腾讯混元3D-2.0：大規模拡散モデルに基づいた高解像度3Dアセット生成システムで、テキストから3Dおよび画像から3Dへの変換をサポートします。

Hunyuan3D-2.0 プロジェクト詳細

プロジェクト概要

Hunyuan3D-2.0 は、テンセントが開発した高度な大規模3D合成システムであり、高解像度でテクスチャ付きの3Dアセットを生成するために特化しています。このシステムは、現在の3D生成技術の最先端を代表し、テキスト記述または画像入力から高品質の3Dモデルを作成できます。

プロジェクトアドレス: https://github.com/Tencent-Hunyuan/Hunyuan3D-2

コアアーキテクチャ

Hunyuan3D-2.0 は、2段階の生成パイプラインを採用しています。

1. 形状生成モデル - Hunyuan3D-DiT

• スケーラブルなフローベース拡散トランスフォーマー（Flow-based Diffusion Transformer）に基づいています。
• 与えられた条件画像と正確に整列したジオメトリの作成を担当します。
• 下流のアプリケーションに強固なジオメトリ基盤を提供します。

2. テクスチャ合成モデル - Hunyuan3D-Paint

• 強力なジオメトリと拡散の事前知識を利用します。
• 生成された、または手作りのメッシュに対して、高解像度で鮮やかなテクスチャマップを生成します。
• PBR（物理ベースレンダリング）マテリアル合成をサポートします。

3. Hunyuan3D-Studio

• 多機能でユーザーフレンドリーな制作プラットフォームです。
• 3Dアセットの再作成プロセスを簡素化します。
• プロフェッショナルおよびアマチュアユーザーが効率的に操作し、メッシュをアニメーション化することさえサポートします。

技術的特徴

二段階設計の利点

• 複雑性の分離: 形状とテクスチャ生成の難題を分離します。
• 柔軟性: 生成された、または手作りのメッシュにテクスチャを追加できます。
• 効率性: 各段階の処理フローを専門的に最適化します。

性能表現

他のオープンソースおよびクローズドソースの3D生成方法と比較して、Hunyuan3D-2.0 は複数の評価指標で優れたパフォーマンスを示しています。

モデル	CMMD(⬇)	FID_CLIP(⬇)	FID(⬇)	CLIP-score(⬆)
トップオープンソースモデル1	3.591	54.639	289.287	0.787
トップクローズドソースモデル1	3.600	55.866	305.922	0.779
トップクローズドソースモデル2	3.368	49.744	294.628	0.806
トップクローズドソースモデル3	3.218	51.574	295.691	0.799
Hunyuan3D 2.0	3.193	49.165	282.429	0.809

システム要件

ハードウェア要件

• 形状生成: 6 GB VRAM
• 形状+テクスチャ生成: 16 GB VRAM（合計）

モデルバージョン

プロジェクトは、複数の事前トレーニング済みモデルバリアントを提供します。

• Hunyuan3D-2mini: 軽量バージョン
• Hunyuan3D-2mv: マルチビューバージョン
• Hunyuan3D-2: フルバージョン

インストールと使用

基本的な実行コマンド

# Hunyuan3D-2mini
python3 gradio_app.py --model_path tencent/Hunyuan3D-2mini --subfolder hunyuan3d-dit-v2-mini --texgen_model_path tencent/Hunyuan3D-2 --low_vram_mode

# Hunyuan3D-2mv  
python3 gradio_app.py --model_path tencent/Hunyuan3D-2mv --subfolder hunyuan3d-dit-v2-mv --texgen_model_path tencent/Hunyuan3D-2 --low_vram_mode

# Hunyuan3D-2
python3 gradio_app.py --model_path tencent/Hunyuan3D-2 --subfolder hunyuan3d-dit-v2-0 --texgen_model_path tencent/Hunyuan3D-2 --low_vram_mode

主要機能

1. テキストから3D生成: テキスト記述から3Dモデルを作成します。
2. 画像から3D生成: 単一または複数の画像から3Dアセットを生成します。
3. 高解像度テクスチャ合成: 詳細なマテリアルマップを生成します。
4. 多形式出力: さまざまな3Dファイル形式をサポートします。
5. ユーザーフレンドリーなインターフェース: Gradio を介して Web インターフェースを提供します。

技術的優位性

ジオメトリ品質

• 正確な条件アライメント機能
• 豊富なジオメトリディテール
• 高忠実度形状生成

テクスチャ品質

• 高解像度テクスチャマップ
• 鮮やかでリアルな視覚効果
• PBRマテリアルワークフローをサポート

ユーザーエクスペリエンス

• 簡素化された操作フロー
• プロフェッショナルレベルの制作プラットフォーム
• アニメーションおよび編集機能をサポート

アプリケーションシナリオ

1. ゲーム開発: ゲームアセットを迅速に作成します。
2. 映像制作: 映画やアニメーションの素材を生成します。
3. 製品設計: プロトタイプとコンセプトの視覚化。
4. 教育トレーニング: 3Dモデリング教育。
5. クリエイティブデザイン: アート制作と展示。

まとめ

Hunyuan3D-2.0 は、3D生成技術の大きなブレークスルーを代表し、革新的な二段階アーキテクチャと大規模拡散モデルを通じて、コンセプトから完成品の3Dアセットへの効率的な変換を実現します。プロの開発者であろうと一般ユーザーであろうと、このシステムを通じて高品質の3Dコンテンツを簡単に作成できます。