텐센트 훈위안 3D-2.0: 대규모 확산 모델 기반의 고해상도 3D 에셋 생성 시스템으로, 텍스트-3D 및 이미지-3D 변환을 지원합니다.

Hunyuan3D-2.0 프로젝트 상세 소개

프로젝트 개요

Hunyuan3D-2.0은 텐센트에서 개발한 첨단 대규모 3D 합성 시스템으로, 고해상도 텍스처가 적용된 3D 에셋을 생성하는 데 특화되어 있습니다. 이 시스템은 현재 3D 생성 기술의 최신 수준을 대표하며, 텍스트 설명 또는 이미지 입력을 통해 고품질 3D 모델을 만들 수 있습니다.

프로젝트 주소: https://github.com/Tencent-Hunyuan/Hunyuan3D-2

핵심 아키텍처

Hunyuan3D-2.0은 2단계 생성 파이프라인을 채택했습니다.

1. 형상 생성 모델 - Hunyuan3D-DiT

• 확장 가능한 플로우 기반 확산 트랜스포머(Flow-based Diffusion Transformer) 기반
• 주어진 조건 이미지에 올바르게 정렬된 형상 생성 담당
• 다운스트림 애플리케이션에 견고한 기하학적 기반 제공

2. 텍스처 합성 모델 - Hunyuan3D-Paint

• 강력한 기하학 및 확산 사전 지식 활용
• 생성된 또는 수작업으로 제작된 메시를 위한 고해상도, 선명한 텍스처 맵 생성
• PBR(물리 기반 렌더링) 재질 합성 지원

3. Hunyuan3D-Studio

• 다기능, 사용자 친화적인 생산 플랫폼
• 3D 에셋 재창조 과정 간소화
• 전문 및 아마추어 사용자가 메시를 효율적으로 조작하고 애니메이션화하는 것을 지원

기술 특징

2단계 설계 장점

• 복잡성 분리: 형상 및 텍스처 생성의 어려운 문제 분리
• 유연성: 생성된 또는 수작업으로 제작된 메시를 위한 텍스처 추가 가능
• 효율성: 각 단계의 처리 흐름을 전문적으로 최적화

성능 지표

다른 오픈 소스 및 폐쇄 소스 3D 생성 방법과 비교했을 때, Hunyuan3D-2.0은 여러 평가 지표에서 뛰어난 성능을 보입니다.

모델	CMMD(⬇)	FID_CLIP(⬇)	FID(⬇)	CLIP-score(⬆)
최고 오픈 소스 모델 1	3.591	54.639	289.287	0.787
최고 폐쇄 소스 모델 1	3.600	55.866	305.922	0.779
최고 폐쇄 소스 모델 2	3.368	49.744	294.628	0.806
최고 폐쇄 소스 모델 3	3.218	51.574	295.691	0.799
Hunyuan3D 2.0	3.193	49.165	282.429	0.809

시스템 요구 사항

하드웨어 요구 사항

• 형상 생성: 6 GB VRAM
• 형상+텍스처 생성: 16 GB VRAM (총)

모델 버전

프로젝트는 여러 사전 훈련된 모델 변형을 제공합니다.

• Hunyuan3D-2mini: 경량 버전
• Hunyuan3D-2mv: 다중 뷰 버전
• Hunyuan3D-2: 전체 버전

설치 및 사용

기본 실행 명령어

# Hunyuan3D-2mini
python3 gradio_app.py --model_path tencent/Hunyuan3D-2mini --subfolder hunyuan3d-dit-v2-mini --texgen_model_path tencent/Hunyuan3D-2 --low_vram_mode

# Hunyuan3D-2mv  
python3 gradio_app.py --model_path tencent/Hunyuan3D-2mv --subfolder hunyuan3d-dit-v2-mv --texgen_model_path tencent/Hunyuan3D-2 --low_vram_mode

# Hunyuan3D-2
python3 gradio_app.py --model_path tencent/Hunyuan3D-2 --subfolder hunyuan3d-dit-v2-0 --texgen_model_path tencent/Hunyuan3D-2 --low_vram_mode

주요 기능

1. 텍스트-3D 생성: 텍스트 설명에서 3D 모델 생성
2. 이미지-3D 생성: 단일 또는 다중 이미지에서 3D 에셋 생성
3. 고해상도 텍스처 합성: 상세한 재질 맵 생성
4. 다중 형식 출력: 다양한 3D 파일 형식 지원
5. 사용자 친화적 인터페이스: Gradio를 통해 웹 인터페이스 제공

기술적 장점

기하학적 품질

• 정확한 조건 정렬 능력
• 풍부한 기하학적 디테일
• 고충실도 형상 생성

텍스처 품질

• 고해상도 텍스처 맵
• 선명하고 사실적인 시각 효과
• PBR 재질 워크플로우 지원

사용자 경험

• 간소화된 작동 흐름
• 전문적인 제작 플랫폼
• 애니메이션 및 편집 기능 지원

활용 시나리오

1. 게임 개발: 게임 에셋을 빠르게 생성
2. 영상 제작: 영화 및 애니메이션 소재 생성
3. 제품 디자인: 프로토타입 및 컨셉 시각화
4. 교육 훈련: 3D 모델링 교육
5. 창의적 디자인: 예술 창작 및 전시

결론

Hunyuan3D-2.0은 3D 생성 기술의 획기적인 발전을 나타내며, 혁신적인 2단계 아키텍처와 대규모 확산 모델을 통해 개념에서 완성된 3D 에셋으로의 효율적인 전환을 실현합니다. 전문 개발자든 일반 사용자든 이 시스템을 통해 고품질 3D 콘텐츠를 쉽게 만들 수 있습니다.