From 29f36fb093d65df1e75a98c17ec9c8b7d764182d Mon Sep 17 00:00:00 2001 From: lin-bot23 Date: Tue, 25 Aug 2026 23:03:41 +0800 Subject: [PATCH 1/9] docs: add Pixal3D, TRELLIS.2 and combined image-to-model workflow tutorials --- docs.json | 12 ++ ja/tutorials/3d/pixal3d-trellis2.mdx | 172 +++++++++++++++++++++++++ ja/tutorials/3d/pixal3d.mdx | 152 ++++++++++++++++++++++ ja/tutorials/3d/trellis2.mdx | 145 +++++++++++++++++++++ ko/tutorials/3d/pixal3d-trellis2.mdx | 172 +++++++++++++++++++++++++ ko/tutorials/3d/pixal3d.mdx | 152 ++++++++++++++++++++++ ko/tutorials/3d/trellis2.mdx | 145 +++++++++++++++++++++ tutorials/3d/pixal3d-trellis2.mdx | 163 ++++++++++++++++++++++++ tutorials/3d/pixal3d.mdx | 146 +++++++++++++++++++++ tutorials/3d/trellis2.mdx | 137 ++++++++++++++++++++ zh/tutorials/3d/pixal3d-trellis2.mdx | 172 +++++++++++++++++++++++++ zh/tutorials/3d/pixal3d.mdx | 153 ++++++++++++++++++++++ zh/tutorials/3d/trellis2.mdx | 184 +++++++++++++++++++++++++++ 13 files changed, 1905 insertions(+) create mode 100644 ja/tutorials/3d/pixal3d-trellis2.mdx create mode 100644 ja/tutorials/3d/pixal3d.mdx create mode 100644 ja/tutorials/3d/trellis2.mdx create mode 100644 ko/tutorials/3d/pixal3d-trellis2.mdx create mode 100644 ko/tutorials/3d/pixal3d.mdx create mode 100644 ko/tutorials/3d/trellis2.mdx create mode 100644 tutorials/3d/pixal3d-trellis2.mdx create mode 100644 tutorials/3d/pixal3d.mdx create mode 100644 tutorials/3d/trellis2.mdx create mode 100644 zh/tutorials/3d/pixal3d-trellis2.mdx create mode 100644 zh/tutorials/3d/pixal3d.mdx create mode 100644 zh/tutorials/3d/trellis2.mdx diff --git a/docs.json b/docs.json index a43b6a7ca..428b36d38 100644 --- a/docs.json +++ b/docs.json @@ -285,6 +285,9 @@ "tutorials/3d/hunyuan3D-2" ] }, + "tutorials/3d/pixal3d", + "tutorials/3d/trellis2", + "tutorials/3d/pixal3d-trellis2", { "group": "LLM", "pages": [ @@ -3239,6 +3242,9 @@ "zh/tutorials/3d/hunyuan3D-2" ] }, + "zh/tutorials/3d/pixal3d", + "zh/tutorials/3d/trellis2", + "zh/tutorials/3d/pixal3d-trellis2", { "group": "LLM", "pages": [ @@ -6213,6 +6219,9 @@ "ja/tutorials/3d/hunyuan3D-2" ] }, + "ja/tutorials/3d/pixal3d", + "ja/tutorials/3d/trellis2", + "ja/tutorials/3d/pixal3d-trellis2", { "group": "LLM", "pages": [ @@ -9265,6 +9274,9 @@ "ko/tutorials/3d/hunyuan3D-2" ] }, + "ko/tutorials/3d/pixal3d", + "ko/tutorials/3d/trellis2", + "ko/tutorials/3d/pixal3d-trellis2", { "group": "LLM", "pages": [ diff --git a/ja/tutorials/3d/pixal3d-trellis2.mdx b/ja/tutorials/3d/pixal3d-trellis2.mdx new file mode 100644 index 000000000..88afa9c14 --- /dev/null +++ b/ja/tutorials/3d/pixal3d-trellis2.mdx @@ -0,0 +1,172 @@ +--- +title: "Pixal3D & TRELLIS.2 画像からモデルを生成する ComfyUI ワークフロー例" +description: "単一のComfyUIワークフロー内の1つの切り替えでPixal3DまたはTRELLIS.2を選択し、1枚の画像からPBRテクスチャ付きの3Dモデルを生成します。" +sidebarTitle: "Pixal3D & TRELLIS.2" +translationSourceHash: a9933f06 +translationFrom: tutorials/3d/pixal3d-trellis2.mdx +translationBlockHashes: + "_intro": 5074d78c + "How the model switch works": 951d692b + "How it works": 470ae1b2 + "Workflow node guide": 9b81795b + "Steps to run": cf7ccb2b + "Model downloads": f187a36d +--- + +import UpdateReminder from "/snippets/ja/tutorials/update-reminder.mdx" + +このワークフローは、画像から3Dモデルを生成する2つのオープンソースモデルを1つのグラフにまとめています:**Pixal3D**(Tencent ARC、MoGeカメラ推定によるピクセル位置合わせ生成)と**TRELLIS.2**(Microsoft Research、O-Voxelスパースボクセルを使用した4Bパラメータモデル)です。両モデルは、同じDINOv3画像エンコーダー、同じ形状およびテクスチャVAE、同じ構造・形状・テクスチャ生成段階を共有しています。 + +1つのブール切り替えで、条件付けをどちらかのモデルに振り分けます。ワークフローはデフォルトでPixal3Dパイプラインを使用します。スイッチを切り替えるとTRELLIS.2パイプラインを使用できます。 + +### Pixal3D & TRELLIS.2: 画像からモデルへ {#3d_pixal3d_trellis2_image_to_model} + +1枚の画像をアップロードします。完全なPBRテクスチャを持つ高忠実度の3Dモデルを生成します。1つの切り替えでPixal3DまたはTRELLIS.2パイプラインを選択できます。 + +Pixal3D & TRELLIS.2 ワークフロープレビュー + + + + + + Comfy Cloudでこのワークフローをすぐに実行 + + + JSONをダウンロードするか、テンプレートライブラリで「Pixal3D & TRELLIS.2: 画像からモデルへ」を検索してください + + + +**入力素材** + +このファイルを`LoadImage`ノードにアップロードします: + + + + `LoadImage` ノード122 · `viking_wolf_rune_axe.png` + + + +
+ 入力画像 +
+ +## モデル切り替えの仕組み + +`Boolean (Switch to Trellis2)` ノードは、パイプラインの選択を制御します: + +- **`false`（デフォルト）**: ワークフローはPixal3Dパイプラインを使用します。MoGeがカメラの視野角（FOV）を推定し、`Pixal3DConditioning`が画像、CLIPビジョン特徴、FOVからピクセル整合の条件付けを構築します +- **`true`**: ワークフローはTRELLIS.2パイプラインを使用します。`Trellis2Conditioning`は、CLIPビジョン特徴とトリミングされた画像のみから条件付けを構築します + +TRELLIS.2パイプラインに切り替える場合は、`UNETLoader`ノードで`trellis_2_bf16.safetensors`も読み込んでください。チェックポイントはデフォルトで`pixal3d_bf16.safetensors`に設定されているためです。 + +パイプラインの残りの部分は共通です: 背景除去、構造生成、形状の精細化、テクスチャ生成、そしてメッシュ後処理チェーン全体です。 + +## 動作の仕組み + +1. **背景除去**: BiRefNetが入力画像から背景を除去し、ワークフローは被写体を中央に配置した1024×1024キャンバスにクロップします。切り替えにより背景除去をスキップできます +2. **カメラ推定（Pixal3Dのみ）**: MoGeがジオメトリとカメラの画角を推定し、ピクセル位置合わせの条件付けを駆動します +3. **構造生成**: スパースな構造潜在がサンプリングされ、ボクセルにデコードされた後、粗いメッシュに変換されます +4. **形状リファインメント**: 形状ステージとアップサンプリングステージが、メッシュを目標解像度（1536）までリファインします +5. **テクスチャ生成**: テクスチャ拡散ステージがPBRマテリアルのボクセル（ベース色、メタリック、ラフネス）を生成します +6. **後処理**: DCリメッシュ、QEMデシメーション、UVアンラップを行い、ベース色、ノーマル、アンビエントオクルージョンマップを最終的なテクスチャ付きメッシュにベイクします + +## ワークフローノードガイド + +### LoadImage +- 入力画像（PNG/JPG）を読み込みます +- サンプル画像: `viking_wolf_rune_axe.png`（テンプレートライブラリで利用可能） + +### RemoveBackground / ImageCropToMask +- BiRefNetで背景除去を行い、被写体を中央寄せの1024×1024キャンバスにトリミングします +- `ComfySwitchNode`が背景除去のオン/オフを切り替えます + +### Boolean（Trellis2に切り替え） +- パイプラインを選択します: Pixal3D（デフォルト）の場合は`false`、TRELLIS.2の場合は`true` + +### MoGeInference / MoGeGeometryToFOV +- 深度、ノーマル、カメラの視野角を推定します。Pixal3Dパイプラインのみで使用されます + +### Pixal3DConditioning / Trellis2Conditioning +- 各パイプラインの条件付けを構築します。2つの`ComfySwitchNode`ノードが、選択済みの条件付けを構造サンプラーと形状ステージにルーティングします + +### EmptyTrellis2LatentStructure + Kサンプラー（構造） +- スパースな構造の潜在をサンプリングします（12ステップ、CFG 7.5） + +### Trellis2ShapeStage + Kサンプラー（形状） +- 形状の潜在を精緻化します（20ステップ、CFG 7.5） + +### Trellis2UpsampleStage + Kサンプラー（アップサンプル） +- 形状をターゲットの解像度にアップスケールします（12ステップ、CFG 7.5） + +### Trellis2TextureStage + Kサンプラー（テクスチャ） +- テクスチャの潜在を生成します（12ステップ、CFG 1） + +### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis +- 構造、形状、テクスチャの潜在をボクセルとメッシュにデコードします + +### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh +- メッシュを再構築し（解像度768でDCリメッシュ）、ターゲットの面数（700,000）に削減し、ノーマルをスムーズにして、設定済みのテクスチャサイズでUVをアンラップします + +### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion +- ベースカラー、メタリック、ラフネス、ノーマル、アンビエントオクルージョンマップをベイクします + +### ApplyTextureToMesh / PaintMesh +- ベイク済みマップをローポリメッシュに適用し、頂点色をペイントします + +### SaveGLB / Preview3DAdvanced +- 結果をGLBファイルとして保存し、3Dでプレビューします + +## 実行手順 + +1. **画像を読み込む**: `LoadImage` ノードを使用して、オブジェクトの画像を1枚読み込みます +2. **パイプラインを選択する**: Pixal3D の場合は `Boolean (Switch to Trellis2)` を `false` のままにし、TRELLIS.2 の場合は `true` に設定して、`UNETLoader` ノードで `trellis_2_bf16.safetensors` を読み込みます +3. **ワークフローをキューに追加する**: Ctrl（macOS では Cmd）+ Enter を押します +4. **パイプラインの完了を待つ**: 構造、形状、テクスチャの各ステージが順番に実行され、その後、後処理が実行されます +5. **結果を確認する**: `Preview3DAdvanced` ノードでメッシュを確認します。GLB は `ComfyUI/output/3d/pixal3d/` に保存されます + +## モデルのダウンロード + +実行するパイプラインに必要なモデルをダウンロードし、対応する `models/` サブディレクトリに配置します。 + + + + pixal3d_bf16.safetensors: Pixal3D 拡散モデル (デフォルトのチェックポイント) + + + trellis_2_bf16.safetensors: TRELLIS.2 拡散モデル + + + trellis_2_shape_vae_bf16.safetensors: 構造とシェイプのデコード用 VAE + + + trellis_2_texture_vae_bf16.safetensors: テクスチャのデコード用 VAE + + + dino_v3_L_naf_fp32.safetensors: 画像条件付け用の CLIP ビジョンエンコーダー + + + moge_2_vitl_normal_fp16.safetensors: 深度・カメラ推定。Pixal3D パイプラインで使用 + + + birefnet.safetensors: 前処理用の背景除去モデル + + + +### モデルの保存場所 + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 diffusion_models/ +│ │ ├── pixal3d_bf16.safetensors +│ │ └── trellis_2_bf16.safetensors +│ ├── 📂 vae/ +│ │ ├── trellis_2_shape_vae_bf16.safetensors +│ │ └── trellis_2_texture_vae_bf16.safetensors +│ ├── 📂 clip_vision/ +│ │ └── dino_v3_L_naf_fp32.safetensors +│ ├── 📂 geometry_estimation/ +│ │ └── moge_2_vitl_normal_fp16.safetensors +│ └── 📂 background_removal/ +│ └── birefnet.safetensors +``` diff --git a/ja/tutorials/3d/pixal3d.mdx b/ja/tutorials/3d/pixal3d.mdx new file mode 100644 index 000000000..32d7c8bac --- /dev/null +++ b/ja/tutorials/3d/pixal3d.mdx @@ -0,0 +1,152 @@ +--- +title: "Pixal3D 画像からモデルへの ComfyUI ワークフロー例" +description: "Pixal3D を使用して、1枚の画像からフル PBR テクスチャ付きの高忠実度 3Dモデルを生成します。Pixal3D は、Tencent ARC によるピクセル位置合わせ型の画像から 3Dモデルへの変換モデルです。" +sidebarTitle: "Pixal3D" +translationSourceHash: ca1b58b7 +translationFrom: tutorials/3d/pixal3d.mdx +translationBlockHashes: + "_intro": 5f9b463f + "How it works": 3650c7ea + "Workflow node guide": ed18954d + "Steps to run": ef1a68d5 + "Model downloads": 68d44529 +--- +import UpdateReminder from "/snippets/ja/tutorials/update-reminder.mdx" + +**Pixal3D** は、Tencent ARC が開発したオープンソースの画像-to-3Dモデルで、SIGGRAPH 2026 で発表されました。単一の画像を、完全なPBRマテリアルを備えた高忠実度の3Dアセットに変換します。 + +ほとんどの3Dネイティブジェネレーターは、正準空間で形を合成し、アテンションを通じて画像の手がかりを注入するため、ピクセルと3Dの対応関係があいまいになります。一方、Pixal3D はピクセル整合生成を採用しています。バックプロジェクションによってピクセルと3Dの直接的な対応関係を確立するため、生成済みモデルの正面は入力画像と1:1で一致し、テクスチャのゆがみやずれが発生しません。 + +### Pixal3D: 画像からモデルへ {#3d_pixal3d_image_to_model} + +単一の画像をアップロードします。入力ビューに合わせて、完全なPBRテクスチャを持つ高忠実度の3Dモデルを生成します。 + +Pixal3Dワークフローのプレビュー + + + + + + このワークフローをComfy Cloudで即座に実行 + + + JSONをダウンロードするか、テンプレートライブラリで「Pixal3D: Image to Model」を検索してください + + + +**入力マテリアル** + +このファイルを `LoadImage` ノードにアップロードしてください： + + + + `LoadImage` ノード122 · `viking_wolf_rune_axe.png` + + + +
+ 入力画像 +
+ +## 仕組み + +Pixal3D は、カメラ対応のピクセルアライン生成と、完全なメッシュ後処理パイプラインを組み合わせます: + +1. **背景除去**: BiRefNet が入力画像の背景を除去し、ワークフローは被写体を中央の 1024×1024 キャンバスに切り取ります。スイッチで背景除去をスキップできます +2. **カメラ推定**: MoGe が画像からジオメトリとカメラの画角を推定します。画角がピクセルアライン条件付けを駆動します +3. **構造生成**: スパースな構造潜在変数がサンプリングされ、ボクセルにデコードされて、粗いメッシュに変換されます +4. **シェイプの精緻化**: シェイプステージとアップサンプルステージが、ターゲット解像度 (1536) までメッシュを精緻化します +5. **テクスチャ生成**: テクスチャ拡散ステージが PBR マテリアルのボクセル (ベースカラー、メタリック、ラフネス) を生成します +6. **後処理**: DC リメッシュ、QEM デシメーション、UV アンラップ、ベースカラー・法線・アンビエントオクルージョンマップのベイクを行い、最終的なテクスチャ付きメッシュを作成します +## ワークフローのノードガイド + +### LoadImage +- 入力画像（PNG/JPG）を読み込みます +- サンプル画像: `viking_wolf_rune_axe.png`（テンプレートライブラリで利用可能） + +### RemoveBackground / ImageCropToMask +- BiRefNet で背景を除去し、被写体を中央の 1024×1024 キャンバスにトリミングします +- `ComfySwitchNode` で背景除去のオン・オフを切り替えます + +### MoGeInference / MoGeGeometryToFOV +- ピクセル整合の条件付けに使用する深度、ノーマル、カメラの視野角（FOV）を推定します + +### Pixal3DConditioning +- CLIP ビジョン特徴、トリミング済み画像、カメラの視野角（FOV）からピクセル整合の条件付けを構築します + +### EmptyTrellis2LatentStructure + KSampler（構造） +- スパースな構造潜在をサンプリングします（12 ステップ、CFG 7.5） + +### Trellis2ShapeStage + KSampler（形状） +- 形状潜在を精緻化します（20 ステップ、CFG 7.5） + +### Trellis2UpsampleStage + KSampler（アップサンプル） +- 形状をターゲット解像度にアップサンプリングします（12 ステップ、CFG 7.5） + +### Trellis2TextureStage + KSampler（テクスチャ） +- テクスチャ潜在を生成します（12 ステップ、CFG 1） + +### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis +- 構造、形状、テクスチャの潜在をボクセルとメッシュにデコードします + +### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh +- メッシュを再構築し（768 解像度で DC リメッシュ）、ターゲットの面数（700,000）に削減し、ノーマルをスムーズにして、設定されたテクスチャサイズで UV を展開します + +### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion +- ベースカラー、メタリック、ラフネス、ノーマル、アンビエントオクルージョンのマップをベイクします + +### ApplyTextureToMesh / PaintMesh +- ベイクしたマップをローポリメッシュに適用し、頂点色をペイントします + +### SaveGLB / Preview3DAdvanced +- 結果を GLB ファイルとして保存し、3D でプレビューします + +## 実行手順 + +1. **画像を読み込む**: `LoadImage` ノードを使用して、オブジェクトの画像を1枚読み込みます +2. **ワークフローをキューに投入する**: Ctrl（macOS では Cmd）+ Enter キーを押します +3. **パイプラインを待つ**: 構造、形状、テクスチャの各ステージが順番に実行され、その後、後処理が続きます +4. **結果を確認する**: `Preview3DAdvanced` ノードでメッシュを確認します。GLB は `ComfyUI/output/3d/pixal3d/` に保存されます + +## モデルのダウンロード + +Pixal3D モデルと必要なファイルをダウンロードし、対応する `models/` サブディレクトリに配置します。 + + + + pixal3d_bf16.safetensors: Pixal3D 拡散モデル。int8_convrot 版も利用可能です + + + trellis_2_shape_vae_bf16.safetensors: 構造とシェイプのデコード用 VAE + + + trellis_2_texture_vae_bf16.safetensors: テクスチャのデコード用 VAE + + + dino_v3_L_naf_fp32.safetensors: 画像条件付け用の CLIP ビジョンエンコーダー + + + moge_2_vitl_normal_fp16.safetensors: ピクセルアライン条件付け用の深度・カメラ推定 + + + birefnet.safetensors: 前処理用の背景除去モデル + + + +### モデルの保存場所 + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 diffusion_models/ +│ │ └── pixal3d_bf16.safetensors +│ ├── 📂 vae/ +│ │ ├── trellis_2_shape_vae_bf16.safetensors +│ │ └── trellis_2_texture_vae_bf16.safetensors +│ ├── 📂 clip_vision/ +│ │ └── dino_v3_L_naf_fp32.safetensors +│ ├── 📂 geometry_estimation/ +│ │ └── moge_2_vitl_normal_fp16.safetensors +│ └── 📂 background_removal/ +│ └── birefnet.safetensors +``` diff --git a/ja/tutorials/3d/trellis2.mdx b/ja/tutorials/3d/trellis2.mdx new file mode 100644 index 000000000..8cf11294b --- /dev/null +++ b/ja/tutorials/3d/trellis2.mdx @@ -0,0 +1,145 @@ +--- +title: "TRELLIS.2 画像からモデルへの ComfyUI ワークフロー例" +description: "Microsoft のオープンソースである 4B パラメータの画像から 3D モデルへの変換モデル TRELLIS.2 を使用して、1 枚の画像からフル PBR テクスチャ付きの高忠実度 3D モデルを生成します。" +sidebarTitle: "TRELLIS.2" +translationSourceHash: 1a2057ed +translationFrom: tutorials/3d/trellis2.mdx +translationBlockHashes: + "_intro": 8e653642 + "How it works": 3531db89 + "Workflow node guide": 58d7d6af + "Steps to run": 234b0cea + "Model downloads": b305c0d6 +--- + +import UpdateReminder from '/snippets/ja/tutorials/update-reminder.mdx' + +**TRELLIS.2** は、Microsoft Research が開発したオープンソースの画像から3Dモデルを生成するモデルで、TRELLIS の後継です。16倍の空間圧縮を備えたネイティブな3D VAE と、O-Voxel と呼ばれるスパースなボクセル表現に基づいて構築された 4B パラメータのモデルであり、単一の画像からフルPBRマテリアルを備えた高精細な3Dアセットを生成します。 + +TRELLIS.2 は Pixal3D と基本アーキテクチャを共有しています。両方とも同じ DINOv3 画像エンコーダ、同じ形状・テクスチャ VAE、同じ構造・形状・テクスチャ生成ステージを使用します。異なるのはメインの diffusion モデルと条件付けの形式のみです。[Pixal3D ワークフロー](pixal3d) を実行したことがあれば、モデルのセットアップはほぼ同じです。 + +### TRELLIS.2: 画像から3Dモデルへ {#3d_trellis2_image_to_model} + +単一の画像をアップロードします。TRELLIS.2 を使用して、フルPBRテクスチャ付きの忠実度の高い3Dモデルを生成します。 + +TRELLIS.2 ワークフローのプレビュー + + + + + + このワークフローを Comfy Cloud で即座に実行します + + + JSON をダウンロードするか、テンプレートライブラリで "TRELLIS.2: Image to Model" を検索してください + + + +**入力マテリアル** + +このファイルを `LoadImage` ノードにアップロードします: + + + + `LoadImage` ノード 122 ・ `viking_wolf_rune_axe.png` + + + +
+ 入力画像 +
+ +## 仕組み + +TRELLIS.2は、3つのdiffusionステージで3Dアセットを生成し、その後、完全なメッシュ後処理パイプラインを実行します。 + +1. **背景除去**: BiRefNetが入力画像から背景を除去し、ワークフローが被写体を中央配置の1024×1024キャンバスにクロップします。切り替えで背景除去をスキップできます +2. **構造生成**: スパース構造latentがサンプリングされ、ボクセルにデコードされてから、ラフなメッシュに変換されます +3. **形状リファイン**: 形状ステージとアップサンプリングステージが、メッシュをターゲット解像度(1536)までリファインします +4. **テクスチャ生成**: テクスチャdiffusionステージがPBRマテリアルボクセル(ベース色、メタリック、ラフネス)を生成します +5. **後処理**: DCリメッシュ、QEMデシメーション、UV展開、およびベース色・ノーマル・アンビエントオクルージョンマップの最終テクスチャ付きメッシュへのベイクを実行します + +## ワークフローノードガイド + +### LoadImage +- 入力画像（PNG/JPG）を読み込みます +- サンプル画像: `viking_wolf_rune_axe.png`（テンプレートライブラリで利用可能） + +### RemoveBackground / ImageCropToMask +- BiRefNetで背景を除去し、被写体を中央寄せの1024×1024キャンバスにクロップします +- `ComfySwitchNode`で背景除去のオン/オフを切り替えます + +### Trellis2Conditioning +- CLIPビジョン特徴量とクロップされた画像から条件付けを構築します + +### EmptyTrellis2LatentStructure + Kサンプラー（構造） +- スパースな構造潜在表現をサンプリングします（12ステップ、CFG 7.5） + +### Trellis2ShapeStage + Kサンプラー（形状） +- 形状潜在表現をリファインします（20ステップ、CFG 7.5） + +### Trellis2UpsampleStage + Kサンプラー（アップサンプル） +- 形状を目標解像度にアップサンプリングします（12ステップ、CFG 7.5） + +### Trellis2TextureStage + Kサンプラー（テクスチャ） +- テクスチャ潜在表現を生成します（12ステップ、CFG 1） + +### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis +- 構造、形状、テクスチャの潜在表現をボクセルとメッシュにデコードします + +### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh +- メッシュを再構築し（768解像度でDCリメッシュ）、目標面数（700,000）に削減し、ノーマルをスムーズ化し、設定されたテクスチャサイズでUVをアンラップします + +### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion +- ベースカラー、メタリック、ラフネス、ノーマル、アンビエントオクルージョンマップをベイクします + +### ApplyTextureToMesh / PaintMesh +- ベイクされたマップをローポリメッシュに適用し、頂点色をペイントします + +### SaveGLB / Preview3DAdvanced +- 結果をGLBファイルとして保存し、3Dでプレビューします + +## 実行手順 + +1. **画像を読み込む**：`LoadImage` ノードを使用して、オブジェクトの画像を1枚読み込みます。 +2. **ワークフローをキューに入れる**：Ctrl（macOSではCmd）+ Enter を押します。 +3. **パイプラインの完了を待つ**：構造、形状、テクスチャの各ステージが順番に実行され、続いてポストプロセッシングが行われます。 +4. **結果を表示する**：`Preview3DAdvanced` ノードでメッシュを確認します。GLBは `ComfyUI/output/3d/trellis2/` に保存されます。 + +## モデルのダウンロード + +TRELLIS.2 モデルと必要なファイルをダウンロードし、対応する `models/` サブディレクトリに配置します。 + + + + trellis_2_bf16.safetensors: TRELLIS.2 拡散モデル。int8_convrot 版も利用可能です + + + trellis_2_shape_vae_bf16.safetensors: 構造とシェイプのデコード用 VAE + + + trellis_2_texture_vae_bf16.safetensors: テクスチャのデコード用 VAE + + + dino_v3_L_naf_fp32.safetensors: 画像条件付け用の CLIP ビジョンエンコーダー。TRELLIS.2 リポジトリの同等の dino_v3_vit_l.safetensors も利用できます + + + birefnet.safetensors: 前処理用の背景除去モデル + + + +### モデルの保存場所 + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 diffusion_models/ +│ │ └── trellis_2_bf16.safetensors +│ ├── 📂 vae/ +│ │ ├── trellis_2_shape_vae_bf16.safetensors +│ │ └── trellis_2_texture_vae_bf16.safetensors +│ ├── 📂 clip_vision/ +│ │ └── dino_v3_L_naf_fp32.safetensors +│ └── 📂 background_removal/ +│ └── birefnet.safetensors +``` diff --git a/ko/tutorials/3d/pixal3d-trellis2.mdx b/ko/tutorials/3d/pixal3d-trellis2.mdx new file mode 100644 index 000000000..b148eddb9 --- /dev/null +++ b/ko/tutorials/3d/pixal3d-trellis2.mdx @@ -0,0 +1,172 @@ +--- +title: "Pixal3D & TRELLIS.2 이미지 투 모델 ComfyUI 워크플로 예제" +description: "단일 ComfyUI 워크플로에서 하나의 전환으로 Pixal3D 또는 TRELLIS.2 중 하나를 선택해, 단일 이미지에서 PBR 텍스처가 포함된 3D 모델을 생성합니다." +sidebarTitle: "Pixal3D & TRELLIS.2" +translationSourceHash: a9933f06 +translationFrom: tutorials/3d/pixal3d-trellis2.mdx +translationBlockHashes: + "_intro": 5074d78c + "How the model switch works": 951d692b + "How it works": 470ae1b2 + "Workflow node guide": 9b81795b + "Steps to run": cf7ccb2b + "Model downloads": f187a36d +--- + +import UpdateReminder from "/snippets/ko/tutorials/update-reminder.mdx" + +이 워크플로는 하나의 그래프에 두 가지 오픈소스 이미지 기반 3D 생성 모델을 포함합니다: **Pixal3D** (Tencent ARC, MoGe 카메라 추정을 사용한 픽셀 정렬 생성) 및 **TRELLIS.2** (Microsoft Research, O-Voxel 희소 복셀 기반 40억 매개변수 모델). 두 모델은 동일한 DINOv3 이미지 인코더, 동일한 형태 및 텍스처 VAE, 그리고 동일한 구조, 형태, 텍스처 생성 단계를 공유합니다. + +단일 논리값 전환이 조건화를 두 모델 중 하나로 보냅니다. 워크플로는 기본적으로 Pixal3D 파이프라인을 사용하며, 전환을 토글하면 TRELLIS.2 파이프라인이 사용됩니다. + +### Pixal3D & TRELLIS.2: 이미지 기반 모델 생성 {#3d_pixal3d_trellis2_image_to_model} + +이미지를 하나 업로드하세요. 하나의 전환으로 Pixal3D 또는 TRELLIS.2 파이프라인을 선택하여, 전체 PBR 텍스처가 적용된 고품질 3D 모델을 생성할 수 있습니다. + +Pixal3D & TRELLIS.2 워크플로 미리보기 + + + + + + 이 워크플로를 Comfy Cloud에서 즉시 실행하세요. + + + 템플릿 라이브러리에서 "Pixal3D & TRELLIS.2: Image to Model"을(를) 검색하거나 JSON을 다운로드하세요. + + + +**입력 자료** + +이 파일을 `LoadImage` 노드에 업로드하세요: + + + + `LoadImage` 노드 122 · `viking_wolf_rune_axe.png` + + + +
+ 입력 이미지 +
+ +## 모델 전환 작동 방식 + +`Boolean (Switch to Trellis2)` 노드는 파이프라인 선택을 제어합니다: + +- **`false`(기본값)**: 워크플로는 Pixal3D 파이프라인을 사용합니다. MoGe가 카메라 시야각을 추정하고, `Pixal3DConditioning`이 이미지, CLIP 비전 특징, 시야각으로부터 픽셀 정렬 조건화를 구성합니다. +- **`true`**: 워크플로는 TRELLIS.2 파이프라인을 사용합니다. `Trellis2Conditioning`은 CLIP 비전 특징과 크롭된 이미지로만 조건화를 구성합니다. + +TRELLIS.2 파이프라인으로 전환할 때는 `UNETLoader` 노드에서 `trellis_2_bf16.safetensors`도 함께 로드하세요. 체크포인트가 기본적으로 `pixal3d_bf16.safetensors`로 설정되어 있기 때문입니다. + +나머지 파이프라인은 공유됩니다: 배경 제거, 구조 생성, 형태 정제, 텍스처 생성, 전체 메시 후처리 체인. + +## 작동 방식 + +1. **배경 제거**: BiRefNet이 입력 이미지에서 배경을 제거하고, 워크플로가 피사체를 중앙 정렬된 1024×1024 캔버스로 크롭합니다. 전환을 통해 배경 제거를 건너뛸 수 있습니다 +2. **카메라 추정(Pixal3D 전용)**: MoGe가 지오메트리와 카메라 화각을 추정하여 픽셀 정렬 조건화를 구동합니다 +3. **구조 생성**: 희소 구조 잠재 데이터가 샘플링되어 복셀로 디코딩된 다음, 대략적인 메시로 변환됩니다 +4. **형태 정제**: 형태 단계와 업샘플링 단계가 메시를 목표 해상도(1536)까지 정제합니다 +5. **텍스처 생성**: 텍스처 diffusion 단계가 PBR 재질 복셀(기본 색상, 금속성, 거칠기)을 생성합니다 +6. **후처리**: DC 리메시, QEM 데시메이션, UV 언랩핑, 그리고 기본 색상, 노멀(normal), 앰비언트 오클루전 맵을 최종 텍스처 메시에 베이킹합니다 + +## 워크플로 노드 가이드 + +### LoadImage +- 입력 이미지(PNG/JPG)를 로드합니다 +- 샘플 이미지: `viking_wolf_rune_axe.png`(템플릿 라이브러리에서 사용 가능) + +### RemoveBackground / ImageCropToMask +- BiRefNet으로 배경을 제거하고 피사체를 중앙 정렬된 1024×1024 캔버스로 크롭합니다 +- `ComfySwitchNode`가 배경 제거를 켜거나 끕니다. + +### Boolean (Switch to Trellis2) +- 파이프라인을 선택합니다: Pixal3D(기본값)는 `false`, TRELLIS.2는 `true`. + +### MoGeInference / MoGeGeometryToFOV +- 깊이, 노멀(normal), 카메라 시야각을 추정합니다. Pixal3D 파이프라인에서만 사용됩니다. + +### Pixal3DConditioning / Trellis2Conditioning +- 각 파이프라인에 대한 조건화를 구성합니다. 두 개의 `ComfySwitchNode` 노드가 선택된 조건화를 구조 샘플러와 형태 단계로 전달합니다. + +### EmptyTrellis2LatentStructure + KSampler (structure) +- 희소 구조 잠재 데이터를 샘플링합니다(12스텝, CFG 7.5) + +### Trellis2ShapeStage + KSampler (shape) +- 형태 잠재 데이터를 정제합니다(20스텝, CFG 7.5) + +### Trellis2UpsampleStage + KSampler (upsample) +- 형태를 대상 해상도로 업스케일합니다(12스텝, CFG 7.5) + +### Trellis2TextureStage + KSampler (texture) +- 텍스처 잠재 데이터를 생성합니다(12스텝, CFG 1) + +### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis +- 구조, 형태, 텍스처 잠재 데이터를 복셀과 메시로 디코딩합니다 + +### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh +- 메시를 재구성하고(768 해상도에서 DC 리메시), 대상 면 수(700,000)로 줄이고, 노멀(normal)을 부드럽게 하고, 설정된 텍스처 크기로 UV를 언랩합니다. + +### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion +- 베이스 색상, 메탈릭, 러프니스, 노멀(normal), 앰비언트 오클루전 맵을 베이크합니다 + +### ApplyTextureToMesh / PaintMesh +- 베이크된 맵을 저폴리 메시에 적용하고 버텍스 색상을 페인팅합니다. + +### SaveGLB / Preview3DAdvanced +- 결과를 GLB 파일로 저장하고 3D로 미리보기합니다. + +## 실행 단계 + +1. **이미지 로드**: `LoadImage` 노드를 사용하여 객체의 단일 이미지를 로드합니다. +2. **파이프라인 선택**: Pixal3D를 사용하려면 `Boolean (Switch to Trellis2)`을 `false`(거짓)로 두고, TRELLIS.2를 사용하려면 `true`(참)로 설정한 후 `UNETLoader` 노드에서 `trellis_2_bf16.safetensors`를 로드합니다. +3. **워크플로 실행 대기열에 추가**: Ctrl(macOS에서는 Cmd) + Enter를 누릅니다. +4. **파이프라인 대기**: 구조, 형태, 텍스처 단계가 순서대로 실행된 후 후처리가 진행됩니다. +5. **결과 확인**: `Preview3DAdvanced` 노드에서 메시를 검사합니다. GLB 파일은 `ComfyUI/output/3d/pixal3d/`에 저장됩니다. + +## 모델 다운로드 + +실행하려는 파이프라인에 필요한 모델을 다운로드하여 해당 `models/` 하위 디렉터리에 배치합니다. + + + + pixal3d_bf16.safetensors: Pixal3D 확산 모델 (기본 체크포인트) + + + trellis_2_bf16.safetensors: TRELLIS.2 확산 모델 + + + trellis_2_shape_vae_bf16.safetensors: 구조 및 셰이프 디코딩용 VAE + + + trellis_2_texture_vae_bf16.safetensors: 텍스처 디코딩용 VAE + + + dino_v3_L_naf_fp32.safetensors: 이미지 컨디셔닝용 CLIP 비전 인코더 + + + moge_2_vitl_normal_fp16.safetensors: 깊이 및 카메라 추정. Pixal3D 파이프라인에서 사용 + + + birefnet.safetensors: 전처리용 배경 제거 모델 + + + +### 모델 저장 위치 + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 diffusion_models/ +│ │ ├── pixal3d_bf16.safetensors +│ │ └── trellis_2_bf16.safetensors +│ ├── 📂 vae/ +│ │ ├── trellis_2_shape_vae_bf16.safetensors +│ │ └── trellis_2_texture_vae_bf16.safetensors +│ ├── 📂 clip_vision/ +│ │ └── dino_v3_L_naf_fp32.safetensors +│ ├── 📂 geometry_estimation/ +│ │ └── moge_2_vitl_normal_fp16.safetensors +│ └── 📂 background_removal/ +│ └── birefnet.safetensors +``` diff --git a/ko/tutorials/3d/pixal3d.mdx b/ko/tutorials/3d/pixal3d.mdx new file mode 100644 index 000000000..443bade6f --- /dev/null +++ b/ko/tutorials/3d/pixal3d.mdx @@ -0,0 +1,152 @@ +--- +title: "Pixal3D 이미지 기반 3D 모델 생성 ComfyUI 워크플로 예제" +description: "Tencent ARC의 픽셀 정렬 이미지 기반 3D 생성 모델인 Pixal3D를 사용해 단일 이미지에서 전체 PBR 텍스처가 포함된 고충실도 3D 모델을 생성하세요." +sidebarTitle: "Pixal3D" +translationSourceHash: ca1b58b7 +translationFrom: tutorials/3d/pixal3d.mdx +translationBlockHashes: + "_intro": 5f9b463f + "How it works": 3650c7ea + "Workflow node guide": ed18954d + "Steps to run": ef1a68d5 + "Model downloads": 68d44529 +--- +import UpdateReminder from "/snippets/ko/tutorials/update-reminder.mdx" + +**Pixal3D**는 SIGGRAPH 2026에서 발표된 Tencent ARC의 오픈소스 이미지 기반 3D 생성 모델입니다. 단일 이미지를 전체 PBR 재질을 갖춘 고품질 3D 에셋으로 변환합니다. + +대부분의 3D 네이티브 생성기는 형태를 캐노니컬 공간에서 합성하고 어텐션을 통해 이미지 신호를 주입하므로 픽셀-3D 연관성이 모호해집니다. 반면 Pixal3D는 픽셀 정렬 생성(pixel-aligned generation) 방식을 사용합니다. 역투영(back-projection)을 통해 픽셀-3D 대응 관계를 직접 설정하므로, 생성된 모델의 전면이 입력 이미지와 1:1로 일치하며 텍스처가 왜곡되거나 정렬이 어긋나지 않습니다. + +### Pixal3D: 이미지를 3D 모델로 {#3d_pixal3d_image_to_model} + +단일 이미지를 업로드하세요. 입력 뷰에 정렬된 전체 PBR 텍스처를 갖춘 고품질 3D 모델을 생성합니다. + +Pixal3D 워크플로 미리보기 + + + + + + 이 워크플로를 Comfy Cloud에서 즉시 실행하세요 + + + JSON을 다운로드하거나 템플릿 라이브러리에서 "Pixal3D: Image to Model"을 검색하세요 + + + +**입력 파일** + +이 파일을 `LoadImage` 노드에 업로드하세요: + + + + `LoadImage` 노드 122 · `viking_wolf_rune_axe.png` + + + +
+ 입력 이미지 +
+ +## 작동 방식 + +Pixal3D는 카메라 인식, 픽셀 정렬 생성과 완전한 메시 후처리 파이프라인을 결합합니다: + +1. **배경 제거**: BiRefNet이 입력 이미지에서 배경을 제거하고, 워크플로가 피사체를 중앙 정렬된 1024×1024 캔버스로 크롭합니다. 전환을 사용하면 배경 제거를 건너뛸 수 있습니다 +2. **카메라 추정**: MoGe는 이미지에서 기하학과 카메라 시야각을 추정합니다. 시야각(FOV)은 픽셀 정렬 조건화를 구동합니다 +3. **구조 생성**: 희소 구조 잠재 데이터가 샘플링되어 복셀로 디코딩된 다음 대략적인 메시로 변환됩니다 +4. **형태 정제**: 형태 단계와 업샘플링 단계가 메시를 목표 해상도(1536)까지 정제합니다 +5. **텍스처 생성**: 텍스처 확산 단계가 PBR 재질 복셀(기본 색상, 금속성, 거칠기)을 생성합니다 +6. **후처리**: DC 리메시, QEM 디시메이션, UV 언랩핑, 그리고 기본 색상, 노멀(normal), 앰비언트 오클루전 맵을 최종 텍스처 메시에 베이킹합니다 + +## 워크플로 노드 가이드 + +### LoadImage +- 입력 이미지를 불러옵니다 (PNG/JPG) +- 샘플 이미지: `viking_wolf_rune_axe.png` (템플릿 라이브러리에서 제공) + +### RemoveBackground / ImageCropToMask +- BiRefNet으로 배경을 제거하고 피사체를 중앙 1024×1024 캔버스로 크롭합니다 +- `ComfySwitchNode`로 배경 제거를 켜거나 끌 수 있습니다 + +### MoGeInference / MoGeGeometryToFOV +- 픽셀 정렬 컨디셔닝에 사용되는 깊이, 법선, 카메라 화각을 추정합니다 + +### Pixal3DConditioning +- CLIP 비전 피처, 크롭된 이미지, 카메라 FOV로 픽셀 정렬 컨디셔닝을 구성합니다 + +### EmptyTrellis2LatentStructure + KSampler (구조) +- 희소 구조 잠재 변수를 샘플링합니다 (12스텝, CFG 7.5) + +### Trellis2ShapeStage + KSampler (셰이프) +- 셰이프 잠재 변수를 정교화합니다 (20스텝, CFG 7.5) + +### Trellis2UpsampleStage + KSampler (업샘플) +- 셰이프를 대상 해상도로 업샘플링합니다 (12스텝, CFG 7.5) + +### Trellis2TextureStage + KSampler (텍스처) +- 텍스처 잠재 변수를 생성합니다 (12스텝, CFG 1) + +### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis +- 구조, 셰이프, 텍스처 잠재 변수를 복셀과 메시로 디코딩합니다 + +### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh +- 메시를 재구성하고 (DC 리메시, 768 해상도), 목표 면 수 (700,000)로 줄이고, 법선을 평활화하고, 설정된 텍스처 크기로 UV를 펼칩니다 + +### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion +- 베이스 컬러, 메탈릭, 러프니스, 법선, 앰비언트 오클루전 맵을 베이크합니다 + +### ApplyTextureToMesh / PaintMesh +- 베이크된 맵을 저폴리 메시에 적용하고 버텍스 컬러를 페인팅합니다 + +### SaveGLB / Preview3DAdvanced +- 결과를 GLB 파일로 저장하고 3D로 미리 봅니다 +## 실행 단계 + +1. **이미지 로드**: `LoadImage` 노드를 사용하여 객체의 단일 이미지를 로드합니다 +2. **워크플로 실행 대기열에 추가**: Ctrl(macOS: Cmd) + Enter를 누릅니다 +3. **파이프라인 대기**: 구조, 형태, 텍스처 단계가 순서대로 실행된 후 후처리가 진행됩니다. +4. **결과 확인**: `Preview3DAdvanced` 노드에서 메시를 확인합니다. GLB 파일은 `ComfyUI/output/3d/pixal3d/`에 저장됩니다 + +## 모델 다운로드 + +Pixal3D 모델과 필요한 파일을 다운로드하여 해당 `models/` 하위 디렉터리에 배치합니다. + + + + pixal3d_bf16.safetensors: Pixal3D 확산 모델. int8_convrot 버전도 사용할 수 있습니다 + + + trellis_2_shape_vae_bf16.safetensors: 구조 및 셰이프 디코딩용 VAE + + + trellis_2_texture_vae_bf16.safetensors: 텍스처 디코딩용 VAE + + + dino_v3_L_naf_fp32.safetensors: 이미지 컨디셔닝용 CLIP 비전 인코더 + + + moge_2_vitl_normal_fp16.safetensors: 픽셀 정렬 컨디셔닝용 깊이 및 카메라 추정 + + + birefnet.safetensors: 전처리용 배경 제거 모델 + + + +### 모델 저장 위치 + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 diffusion_models/ +│ │ └── pixal3d_bf16.safetensors +│ ├── 📂 vae/ +│ │ ├── trellis_2_shape_vae_bf16.safetensors +│ │ └── trellis_2_texture_vae_bf16.safetensors +│ ├── 📂 clip_vision/ +│ │ └── dino_v3_L_naf_fp32.safetensors +│ ├── 📂 geometry_estimation/ +│ │ └── moge_2_vitl_normal_fp16.safetensors +│ └── 📂 background_removal/ +│ └── birefnet.safetensors +``` diff --git a/ko/tutorials/3d/trellis2.mdx b/ko/tutorials/3d/trellis2.mdx new file mode 100644 index 000000000..12a7fb422 --- /dev/null +++ b/ko/tutorials/3d/trellis2.mdx @@ -0,0 +1,145 @@ +--- +title: "TRELLIS.2 이미지 기반 3D 생성 ComfyUI 워크플로 예제" +description: "Microsoft의 오픈소스 4B 파라미터 이미지 기반 3D 생성 모델인 TRELLIS.2를 사용하여 단일 이미지에서 전체 PBR 텍스처가 포함된 고품질 3D 모델을 생성합니다." +sidebarTitle: "TRELLIS.2" +translationSourceHash: 1a2057ed +translationFrom: tutorials/3d/trellis2.mdx +translationBlockHashes: + "_intro": 8e653642 + "How it works": 3531db89 + "Workflow node guide": 58d7d6af + "Steps to run": 234b0cea + "Model downloads": b305c0d6 +--- + +import UpdateReminder from "/snippets/ko/tutorials/update-reminder.mdx" + +**TRELLIS.2**는 Microsoft Research에서 개발한 오픈소스 이미지 기반 3D 생성 모델로, TRELLIS의 후속 모델입니다. 16배 공간 압축을 지원하는 네이티브 3D VAE와 O-Voxel이라는 희소 복셀 표현을 기반으로 구축된 4B 파라미터 모델로, 단일 이미지에서 전체 PBR 머티리얼을 갖춘 정밀한 3D 에셋을 생성합니다. + +TRELLIS.2는 Pixal3D와 기본 아키텍처를 공유합니다. 두 모델 모두 동일한 DINOv3 이미지 인코더, 동일한 형태 및 텍스처 VAE, 동일한 구조·형태·텍스처 생성 단계를 사용합니다. 주요 diffusion 모델과 조건화 형식만 다릅니다. [Pixal3D 워크플로](pixal3d)를 실행해 본 적이 있다면 모델 설정은 거의 동일합니다. + +### TRELLIS.2: 이미지를 모델로 {#3d_trellis2_image_to_model} + +단일 이미지를 업로드하세요. TRELLIS.2를 사용하여 전체 PBR 텍스처가 포함된 고품질 3D 모델을 생성하세요. + +TRELLIS.2 워크플로 미리보기 + + + + + + 이 워크플로를 Comfy Cloud에서 즉시 실행하세요. + + + JSON을 다운로드하거나 템플릿 라이브러리에서 "TRELLIS.2: Image to Model"을 검색하세요. + + + +**입력 파일** + +이 파일을 `LoadImage` 노드에 업로드하세요: + + + + `LoadImage` 노드 122 · `viking_wolf_rune_axe.png` + + + +
+ 입력 이미지 +
+ +## 작동 방식 + +TRELLIS.2는 세 개의 diffusion 단계를 거쳐 3D 에셋을 생성한 다음, 전체 메시 후처리 파이프라인을 실행합니다: + +1. **배경 제거**: BiRefNet이 입력 이미지에서 배경을 제거하고, 워크플로는 피사체를 중앙 정렬된 1024×1024 캔버스로 크롭합니다. 전환을 사용하면 배경 제거를 건너뛸 수 있습니다. +2. **구조 생성**: 희소 구조 잠재 데이터를 샘플링하여 복셀로 디코딩한 다음, 대략적인 메시로 변환합니다. +3. **형태 정제**: 형태 단계와 업샘플링 단계가 메시를 목표 해상도(1536)까지 정제합니다. +4. **텍스처 생성**: 텍스처 diffusion 단계가 PBR 재질 복셀(기본 색상, 금속성, 거칠기)을 생성합니다. +5. **후처리**: DC 리메시, QEM 데시메이션, UV 언랩핑, 그리고 기본 색상·노멀(normal)·앰비언트 오클루전 맵을 최종 텍스처 메시에 베이킹합니다. + +## 워크플로 노드 가이드 + +### LoadImage +- 입력 이미지(PNG/JPG)를 불러옵니다. +- 샘플 이미지: `viking_wolf_rune_axe.png` (템플릿 라이브러리에서 사용 가능) + +### RemoveBackground / ImageCropToMask +- BiRefNet으로 배경을 제거하고 피사체를 1024×1024 캔버스 중앙에 크롭합니다. +- `ComfySwitchNode`는 배경 제거를 켜거나 끕니다. + +### Trellis2Conditioning +- CLIP 비전 특징과 크롭된 이미지로 조건화를 구성합니다. + +### EmptyTrellis2LatentStructure + KSampler (구조) +- 희소 구조 잠재 데이터를 샘플링합니다(12스텝, CFG 7.5). + +### Trellis2ShapeStage + KSampler (형태) +- 형태 잠재 데이터를 정제합니다(20스텝, CFG 7.5). + +### Trellis2UpsampleStage + KSampler (업샘플링) +- 형태를 목표 해상도로 업샘플링합니다(12스텝, CFG 7.5). + +### Trellis2TextureStage + KSampler (텍스처) +- 텍스처 잠재 데이터를 생성합니다(12스텝, CFG 1). + +### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis +- 구조, 형태, 텍스처 잠재 데이터를 복셀과 메시로 디코딩합니다. + +### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh +- 메시를 재구성하고(DC 리메시, 768 해상도), 목표 면 수(700,000)로 줄인 다음, 노멀을 부드럽게 처리하고 설정된 텍스처 크기로 UV를 언랩합니다. + +### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion +- 베이스 색상, 메탈릭, 러프니스, 노멀, 앰비언트 오클루전 맵을 베이킹합니다. + +### ApplyTextureToMesh / PaintMesh +- 베이킹된 맵을 로우폴리 메시에 적용하고 버텍스 색상을 칠합니다. + +### SaveGLB / Preview3DAdvanced +- 결과를 GLB 파일로 저장하고 3D로 미리보기합니다. + +## 실행 단계 + +1. **이미지 로드**: `LoadImage` 노드를 사용하여 객체의 단일 이미지를 로드합니다. +2. **워크플로 실행 대기열에 추가**: Ctrl(macOS의 경우 Cmd) + Enter를 누릅니다. +3. **pipeline 대기**: 구조, 형태, 텍스처 단계가 순서대로 실행된 후 후처리가 이어집니다. +4. **결과 확인**: `Preview3DAdvanced` 노드에서 메시를 확인합니다. GLB 파일은 `ComfyUI/output/3d/trellis2/`에 저장됩니다. + +## 모델 다운로드 + +TRELLIS.2 모델과 필요한 파일을 다운로드하여 해당 `models/` 하위 디렉터리에 배치합니다. + + + + trellis_2_bf16.safetensors: TRELLIS.2 확산 모델. int8_convrot 버전도 사용할 수 있습니다 + + + trellis_2_shape_vae_bf16.safetensors: 구조 및 셰이프 디코딩용 VAE + + + trellis_2_texture_vae_bf16.safetensors: 텍스처 디코딩용 VAE + + + dino_v3_L_naf_fp32.safetensors: 이미지 컨디셔닝용 CLIP 비전 인코더. TRELLIS.2 저장소의 동급 dino_v3_vit_l.safetensors도 사용할 수 있습니다 + + + birefnet.safetensors: 전처리용 배경 제거 모델 + + + +### 모델 저장 위치 + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 diffusion_models/ +│ │ └── trellis_2_bf16.safetensors +│ ├── 📂 vae/ +│ │ ├── trellis_2_shape_vae_bf16.safetensors +│ │ └── trellis_2_texture_vae_bf16.safetensors +│ ├── 📂 clip_vision/ +│ │ └── dino_v3_L_naf_fp32.safetensors +│ └── 📂 background_removal/ +│ └── birefnet.safetensors +``` diff --git a/tutorials/3d/pixal3d-trellis2.mdx b/tutorials/3d/pixal3d-trellis2.mdx new file mode 100644 index 000000000..922556135 --- /dev/null +++ b/tutorials/3d/pixal3d-trellis2.mdx @@ -0,0 +1,163 @@ +--- +title: "Pixal3D & TRELLIS.2 Image to Model ComfyUI Workflow Example" +description: "Generate 3D models with PBR textures from a single image using either Pixal3D or TRELLIS.2, toggled by one switch in a single ComfyUI workflow." +sidebarTitle: "Pixal3D & TRELLIS.2" +--- + +import UpdateReminder from '/snippets/tutorials/update-reminder.mdx' + +This workflow bundles two open-source image-to-3D models in one graph: **Pixal3D** (Tencent ARC, pixel-aligned generation with MoGe camera estimation) and **TRELLIS.2** (Microsoft Research, 4B-parameter model with O-Voxel sparse voxels). Both models share the same DINOv3 image encoder, the same shape and texture VAEs, and the same structure, shape, and texture generation stages. + +A single boolean switch routes the conditioning to either model. The workflow defaults to the Pixal3D pipeline; flip the switch to use the TRELLIS.2 pipeline. + +### Pixal3D & TRELLIS.2: Image to Model {#3d_pixal3d_trellis2_image_to_model} + +Upload a single image. Generate a high-fidelity 3D model with full PBR textures, choosing either the Pixal3D or the TRELLIS.2 pipeline with one switch. + +Pixal3D & TRELLIS.2 workflow preview + + + + + + Run this workflow instantly on Comfy Cloud + + + Download JSON or search "Pixal3D & TRELLIS.2: Image to Model" in Template Library + + + +**Input materials** + +Upload this file to the `LoadImage` node: + + + + `LoadImage` node 122 · `viking_wolf_rune_axe.png` + + + +
+ Input image +
+ +## How the model switch works + +The `Boolean (Switch to Trellis2)` node controls the pipeline selection: + +- **`false` (default)**: the workflow uses the Pixal3D pipeline. MoGe estimates the camera field of view, and `Pixal3DConditioning` builds pixel-aligned conditioning from the image, the CLIP vision features, and the FOV +- **`true`**: the workflow uses the TRELLIS.2 pipeline. `Trellis2Conditioning` builds the conditioning from the CLIP vision features and the cropped image only + +When you switch to the TRELLIS.2 pipeline, also load `trellis_2_bf16.safetensors` in the `UNETLoader` node, since the checkpoint is set to `pixal3d_bf16.safetensors` by default. + +The rest of the pipeline is shared: background removal, structure generation, shape refinement, texture generation, and the full mesh post-processing chain. + +## How it works + +1. **Background removal**: BiRefNet removes the background from the input image, and the workflow crops the subject to a centered 1024×1024 canvas. A switch lets you skip background removal +2. **Camera estimation (Pixal3D only)**: MoGe estimates geometry and the camera field of view, which drives the pixel-aligned conditioning +3. **Structure generation**: a sparse structure latent is sampled and decoded into voxels, then converted into a rough mesh +4. **Shape refinement**: the shape stage and the upsampling stage refine the mesh up to the target resolution (1536) +5. **Texture generation**: a texture diffusion stage produces PBR material voxels (base color, metallic, roughness) +6. **Post-processing**: DC remesh, QEM decimation, UV unwrapping, and baking of base color, normal, and ambient occlusion maps into the final textured mesh + +## Workflow node guide + +### LoadImage +- Loads your input image (PNG/JPG) +- Sample image: `viking_wolf_rune_axe.png` (available in Template Library) + +### RemoveBackground / ImageCropToMask +- Removes the background with BiRefNet and crops the subject to a centered 1024×1024 canvas +- A `ComfySwitchNode` toggles background removal on or off + +### Boolean (Switch to Trellis2) +- Selects the pipeline: `false` for Pixal3D (default), `true` for TRELLIS.2 + +### MoGeInference / MoGeGeometryToFOV +- Estimate depth, normals, and the camera field of view. Only used by the Pixal3D pipeline + +### Pixal3DConditioning / Trellis2Conditioning +- Build the conditioning for each pipeline. Two `ComfySwitchNode` nodes route the selected conditioning to the structure sampler and the shape stage + +### EmptyTrellis2LatentStructure + KSampler (structure) +- Samples the sparse structure latent (12 steps, CFG 7.5) + +### Trellis2ShapeStage + KSampler (shape) +- Refines the shape latent (20 steps, CFG 7.5) + +### Trellis2UpsampleStage + KSampler (upsample) +- Upsamples the shape to the target resolution (12 steps, CFG 7.5) + +### Trellis2TextureStage + KSampler (texture) +- Generates the texture latent (12 steps, CFG 1) + +### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis +- Decode the structure, shape, and texture latents into voxels and a mesh + +### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh +- Rebuild the mesh (DC remesh at 768 resolution), reduce it to a target face count (700,000), smooth normals, and unwrap UVs at the configured texture size + +### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion +- Bake base color, metallic, roughness, normal, and ambient occlusion maps + +### ApplyTextureToMesh / PaintMesh +- Apply the baked maps to the low-poly mesh and paint vertex colors + +### SaveGLB / Preview3DAdvanced +- Save the result as a GLB file and preview it in 3D + +## Steps to run + +1. **Load an image**: use the `LoadImage` node to load a single image of the object +2. **Choose the pipeline**: leave `Boolean (Switch to Trellis2)` as `false` for Pixal3D, or set it to `true` for TRELLIS.2 and load `trellis_2_bf16.safetensors` in the `UNETLoader` node +3. **Queue the workflow**: press Ctrl (Cmd on macOS) + Enter +4. **Wait for the pipeline**: the structure, shape, and texture stages run in sequence, followed by post-processing +5. **View the result**: inspect the mesh in the `Preview3DAdvanced` node. The GLB is saved to `ComfyUI/output/3d/pixal3d/` + +## Model downloads + +Download the models for the pipelines you plan to run. Place them in the corresponding `models/` subdirectories. + + + + pixal3d_bf16.safetensors: Pixal3D diffusion model (default checkpoint) + + + trellis_2_bf16.safetensors: TRELLIS.2 diffusion model + + + trellis_2_shape_vae_bf16.safetensors: VAE for structure and shape decoding + + + trellis_2_texture_vae_bf16.safetensors: VAE for texture decoding + + + dino_v3_L_naf_fp32.safetensors: CLIP vision encoder for image conditioning + + + moge_2_vitl_normal_fp16.safetensors: depth and camera estimation, used by the Pixal3D pipeline + + + birefnet.safetensors: background removal model for preprocessing + + + +### Model storage location + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 diffusion_models/ +│ │ ├── pixal3d_bf16.safetensors +│ │ └── trellis_2_bf16.safetensors +│ ├── 📂 vae/ +│ │ ├── trellis_2_shape_vae_bf16.safetensors +│ │ └── trellis_2_texture_vae_bf16.safetensors +│ ├── 📂 clip_vision/ +│ │ └── dino_v3_L_naf_fp32.safetensors +│ ├── 📂 geometry_estimation/ +│ │ └── moge_2_vitl_normal_fp16.safetensors +│ └── 📂 background_removal/ +│ └── birefnet.safetensors +``` diff --git a/tutorials/3d/pixal3d.mdx b/tutorials/3d/pixal3d.mdx new file mode 100644 index 000000000..084ad92ee --- /dev/null +++ b/tutorials/3d/pixal3d.mdx @@ -0,0 +1,146 @@ +--- +title: "Pixal3D Image to Model ComfyUI Workflow Example" +description: "Generate high-fidelity 3D models with full PBR textures from a single image using Pixal3D, a pixel-aligned image-to-3D model from Tencent ARC." +sidebarTitle: "Pixal3D" +--- + +import UpdateReminder from '/snippets/tutorials/update-reminder.mdx' + +**Pixal3D** is an open-source image-to-3D model from Tencent ARC, presented at SIGGRAPH 2026. It turns a single image into a high-fidelity 3D asset with full PBR materials. + +Most 3D-native generators synthesize shapes in a canonical space and inject image cues through attention, which leaves pixel-to-3D associations ambiguous. Pixal3D instead uses pixel-aligned generation: it establishes direct pixel-to-3D correspondence through back-projection, so the front of the generated model matches your input image 1:1, with no warped or misaligned textures. + +### Pixal3D: Image to Model {#3d_pixal3d_image_to_model} + +Upload a single image. Generate a high-fidelity 3D model with full PBR textures, aligned to your input view. + +Pixal3D workflow preview + + + + + + Run this workflow instantly on Comfy Cloud + + + Download JSON or search "Pixal3D: Image to Model" in Template Library + + + +**Input materials** + +Upload this file to the `LoadImage` node: + + + + `LoadImage` node 122 · `viking_wolf_rune_axe.png` + + + +
+ Input image +
+ +## How it works + +Pixal3D combines camera-aware, pixel-aligned generation with a complete mesh post-processing pipeline: + +1. **Background removal**: BiRefNet removes the background from the input image, and the workflow crops the subject to a centered 1024×1024 canvas. A switch lets you skip background removal +2. **Camera estimation**: MoGe estimates geometry and the camera field of view from the image. The FOV drives the pixel-aligned conditioning +3. **Structure generation**: a sparse structure latent is sampled and decoded into voxels, then converted into a rough mesh +4. **Shape refinement**: the shape stage and the upsampling stage refine the mesh up to the target resolution (1536) +5. **Texture generation**: a texture diffusion stage produces PBR material voxels (base color, metallic, roughness) +6. **Post-processing**: DC remesh, QEM decimation, UV unwrapping, and baking of base color, normal, and ambient occlusion maps into the final textured mesh + +## Workflow node guide + +### LoadImage +- Loads your input image (PNG/JPG) +- Sample image: `viking_wolf_rune_axe.png` (available in Template Library) + +### RemoveBackground / ImageCropToMask +- Removes the background with BiRefNet and crops the subject to a centered 1024×1024 canvas +- A `ComfySwitchNode` toggles background removal on or off + +### MoGeInference / MoGeGeometryToFOV +- Estimate depth, normals, and the camera field of view used for pixel-aligned conditioning + +### Pixal3DConditioning +- Builds the pixel-aligned conditioning from CLIP vision features, the cropped image, and the camera FOV + +### EmptyTrellis2LatentStructure + KSampler (structure) +- Samples the sparse structure latent (12 steps, CFG 7.5) + +### Trellis2ShapeStage + KSampler (shape) +- Refines the shape latent (20 steps, CFG 7.5) + +### Trellis2UpsampleStage + KSampler (upsample) +- Upsamples the shape to the target resolution (12 steps, CFG 7.5) + +### Trellis2TextureStage + KSampler (texture) +- Generates the texture latent (12 steps, CFG 1) + +### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis +- Decode the structure, shape, and texture latents into voxels and a mesh + +### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh +- Rebuild the mesh (DC remesh at 768 resolution), reduce it to a target face count (700,000), smooth normals, and unwrap UVs at the configured texture size + +### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion +- Bake base color, metallic, roughness, normal, and ambient occlusion maps + +### ApplyTextureToMesh / PaintMesh +- Apply the baked maps to the low-poly mesh and paint vertex colors + +### SaveGLB / Preview3DAdvanced +- Save the result as a GLB file and preview it in 3D + +## Steps to run + +1. **Load an image**: use the `LoadImage` node to load a single image of the object +2. **Queue the workflow**: press Ctrl (Cmd on macOS) + Enter +3. **Wait for the pipeline**: the structure, shape, and texture stages run in sequence, followed by post-processing +4. **View the result**: inspect the mesh in the `Preview3DAdvanced` node. The GLB is saved to `ComfyUI/output/3d/pixal3d/` + +## Model downloads + +Download the Pixal3D model and required files. Place them in the corresponding `models/` subdirectories. + + + + pixal3d_bf16.safetensors: Pixal3D diffusion model. An int8_convrot version is also available + + + trellis_2_shape_vae_bf16.safetensors: VAE for structure and shape decoding + + + trellis_2_texture_vae_bf16.safetensors: VAE for texture decoding + + + dino_v3_L_naf_fp32.safetensors: CLIP vision encoder for image conditioning + + + moge_2_vitl_normal_fp16.safetensors: depth and camera estimation for pixel-aligned conditioning + + + birefnet.safetensors: background removal model for preprocessing + + + +### Model storage location + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 diffusion_models/ +│ │ └── pixal3d_bf16.safetensors +│ ├── 📂 vae/ +│ │ ├── trellis_2_shape_vae_bf16.safetensors +│ │ └── trellis_2_texture_vae_bf16.safetensors +│ ├── 📂 clip_vision/ +│ │ └── dino_v3_L_naf_fp32.safetensors +│ ├── 📂 geometry_estimation/ +│ │ └── moge_2_vitl_normal_fp16.safetensors +│ └── 📂 background_removal/ +│ └── birefnet.safetensors +``` diff --git a/tutorials/3d/trellis2.mdx b/tutorials/3d/trellis2.mdx new file mode 100644 index 000000000..38d8e93ba --- /dev/null +++ b/tutorials/3d/trellis2.mdx @@ -0,0 +1,137 @@ +--- +title: "TRELLIS.2 Image to Model ComfyUI Workflow Example" +description: "Generate high-fidelity 3D models with full PBR textures from a single image using TRELLIS.2, Microsoft's open-source 4B-parameter image-to-3D model." +sidebarTitle: "TRELLIS.2" +--- + +import UpdateReminder from '/snippets/tutorials/update-reminder.mdx' + +**TRELLIS.2** is an open-source image-to-3D model from Microsoft Research, and the successor to TRELLIS. It is a 4B-parameter model built on native 3D VAEs with 16× spatial compression and a sparse voxel representation called O-Voxel, producing detailed 3D assets with full PBR materials from a single image. + +TRELLIS.2 shares its base architecture with Pixal3D: both use the same DINOv3 image encoder, the same shape and texture VAEs, and the same structure, shape, and texture generation stages. Only the main diffusion model and the conditioning format differ. If you have run the [Pixal3D workflow](pixal3d), the model setup is almost identical. + +### TRELLIS.2: Image to Model {#3d_trellis2_image_to_model} + +Upload a single image. Generate a high-fidelity 3D model with full PBR textures using TRELLIS.2. + +TRELLIS.2 workflow preview + + + + + + Run this workflow instantly on Comfy Cloud + + + Download JSON or search "TRELLIS.2: Image to Model" in Template Library + + + +**Input materials** + +Upload this file to the `LoadImage` node: + + + + `LoadImage` node 122 · `viking_wolf_rune_axe.png` + + + +
+ Input image +
+ +## How it works + +TRELLIS.2 generates a 3D asset in three diffusion stages and then runs a full mesh post-processing pipeline: + +1. **Background removal**: BiRefNet removes the background from the input image, and the workflow crops the subject to a centered 1024×1024 canvas. A switch lets you skip background removal +2. **Structure generation**: a sparse structure latent is sampled and decoded into voxels, then converted into a rough mesh +3. **Shape refinement**: the shape stage and the upsampling stage refine the mesh up to the target resolution (1536) +4. **Texture generation**: a texture diffusion stage produces PBR material voxels (base color, metallic, roughness) +5. **Post-processing**: DC remesh, QEM decimation, UV unwrapping, and baking of base color, normal, and ambient occlusion maps into the final textured mesh + +## Workflow node guide + +### LoadImage +- Loads your input image (PNG/JPG) +- Sample image: `viking_wolf_rune_axe.png` (available in Template Library) + +### RemoveBackground / ImageCropToMask +- Removes the background with BiRefNet and crops the subject to a centered 1024×1024 canvas +- A `ComfySwitchNode` toggles background removal on or off + +### Trellis2Conditioning +- Builds the conditioning from CLIP vision features and the cropped image + +### EmptyTrellis2LatentStructure + KSampler (structure) +- Samples the sparse structure latent (12 steps, CFG 7.5) + +### Trellis2ShapeStage + KSampler (shape) +- Refines the shape latent (20 steps, CFG 7.5) + +### Trellis2UpsampleStage + KSampler (upsample) +- Upsamples the shape to the target resolution (12 steps, CFG 7.5) + +### Trellis2TextureStage + KSampler (texture) +- Generates the texture latent (12 steps, CFG 1) + +### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis +- Decode the structure, shape, and texture latents into voxels and a mesh + +### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh +- Rebuild the mesh (DC remesh at 768 resolution), reduce it to a target face count (700,000), smooth normals, and unwrap UVs at the configured texture size + +### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion +- Bake base color, metallic, roughness, normal, and ambient occlusion maps + +### ApplyTextureToMesh / PaintMesh +- Apply the baked maps to the low-poly mesh and paint vertex colors + +### SaveGLB / Preview3DAdvanced +- Save the result as a GLB file and preview it in 3D + +## Steps to run + +1. **Load an image**: use the `LoadImage` node to load a single image of the object +2. **Queue the workflow**: press Ctrl (Cmd on macOS) + Enter +3. **Wait for the pipeline**: the structure, shape, and texture stages run in sequence, followed by post-processing +4. **View the result**: inspect the mesh in the `Preview3DAdvanced` node. The GLB is saved to `ComfyUI/output/3d/trellis2/` + +## Model downloads + +Download the TRELLIS.2 model and required files. Place them in the corresponding `models/` subdirectories. + + + + trellis_2_bf16.safetensors: TRELLIS.2 diffusion model. An int8_convrot version is also available + + + trellis_2_shape_vae_bf16.safetensors: VAE for structure and shape decoding + + + trellis_2_texture_vae_bf16.safetensors: VAE for texture decoding + + + dino_v3_L_naf_fp32.safetensors: CLIP vision encoder for image conditioning. The equivalent dino_v3_vit_l.safetensors from the TRELLIS.2 repo also works + + + birefnet.safetensors: background removal model for preprocessing + + + +### Model storage location + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 diffusion_models/ +│ │ └── trellis_2_bf16.safetensors +│ ├── 📂 vae/ +│ │ ├── trellis_2_shape_vae_bf16.safetensors +│ │ └── trellis_2_texture_vae_bf16.safetensors +│ ├── 📂 clip_vision/ +│ │ └── dino_v3_L_naf_fp32.safetensors +│ └── 📂 background_removal/ +│ └── birefnet.safetensors +``` diff --git a/zh/tutorials/3d/pixal3d-trellis2.mdx b/zh/tutorials/3d/pixal3d-trellis2.mdx new file mode 100644 index 000000000..5eb86ee56 --- /dev/null +++ b/zh/tutorials/3d/pixal3d-trellis2.mdx @@ -0,0 +1,172 @@ +--- +title: "Pixal3D & TRELLIS.2 图像转模型 ComfyUI 工作流示例" +description: "使用 Pixal3D 或 TRELLIS.2 从单张图像生成带 PBR 纹理的 3D 模型，只需在单个 ComfyUI 工作流中切换一个开关即可。" +sidebarTitle: "Pixal3D & TRELLIS.2" +translationSourceHash: a9933f06 +translationFrom: tutorials/3d/pixal3d-trellis2.mdx +translationBlockHashes: + "_intro": 5074d78c + "How the model switch works": 951d692b + "How it works": 470ae1b2 + "Workflow node guide": 9b81795b + "Steps to run": cf7ccb2b + "Model downloads": f187a36d +--- + +import UpdateReminder from "/snippets/zh/tutorials/update-reminder.mdx" + +此工作流将两个开源图像转3D模型捆绑在一个节点图中：**Pixal3D**（腾讯ARC，使用MoGe相机估计的像素对齐生成）与 **TRELLIS.2**（微软研究院，采用O-Voxel稀疏体素的4B参数模型）。两个模型共享相同的DINOv3图像编码器、相同的形状与纹理VAE，以及相同的结构、形状和纹理生成阶段。 + +一个布尔开关可将条件路由到任一模型。该工作流默认使用Pixal3D流程；拨动开关即可使用TRELLIS.2流程。 + +### Pixal3D 与 TRELLIS.2：图像到3D模型 {#3d_pixal3d_trellis2_image_to_model} + +上传单个图像。通过一个开关选择Pixal3D或TRELLIS.2流程，即可生成具有完整PBR纹理的高保真3D模型。 + +Pixal3D 与 TRELLIS.2 工作流预览 + + + + + + 立即在 Comfy Cloud 上运行此工作流 + + + 下载JSON，或在模板库中搜索“Pixal3D 与 TRELLIS.2：图像到3D模型” + + + +**输入材料** + +将此文件上传到 `LoadImage` 节点： + + + + `LoadImage` 节点 122 · `viking_wolf_rune_axe.png` + + + +
+ 输入图像 +
+ +## 模型切换的工作原理 + +`Boolean (Switch to Trellis2)` 节点控制流水线的选择： + +- **`否`（默认）**：工作流使用 Pixal3D 流水线。MoGe 估算相机视场，`Pixal3DConditioning` 根据图像、CLIP 视觉特征和视场构建像素对齐的条件 +- **`是`**：工作流使用 TRELLIS.2 流水线。`Trellis2Conditioning` 仅根据 CLIP 视觉特征和裁剪后的图像构建条件 + +当切换到 TRELLIS.2 流水线时，还需要在 `UNETLoader` 节点中加载 `trellis_2_bf16.safetensors`，因为默认情况下 checkpoint 设置为 `pixal3d_bf16.safetensors`。 + +流水线的其余部分是共享的：背景移除、结构生成、形状细化、纹理生成以及完整的网格后处理链。 + +## 工作原理 + +1. **背景移除**：BiRefNet 会移除输入图像的背景，工作流会将主体裁剪到居中的 1024×1024 画布上。可通过切换跳过背景移除。 +2. **相机估算（仅 Pixal3D）**：MoGe 会估算几何信息与相机视野，从而驱动像素对齐的条件。 +3. **结构生成**：对稀疏结构 Latent 进行采样并解码为体素，再转换为粗糙网格。 +4. **形状细化**：形状阶段和上采样阶段会将网格细化到目标分辨率（1536）。 +5. **纹理生成**：纹理扩散阶段会产生 PBR 材质体素（基础颜色、金属度、粗糙度）。 +6. **后处理**：DC 重网格化、QEM 减面、UV 展开，并将基础颜色、法线和环境光遮蔽贴图烘焙到最终的带纹理网格中。 + +## 工作流节点指南 + +### LoadImage +- 加载您的输入图像（PNG/JPG） +- 示例图像：`viking_wolf_rune_axe.png`（可在模板库中找到） + +### RemoveBackground / ImageCropToMask +- 使用 BiRefNet 移除背景，并将主体裁切到居中的 1024×1024 画布 +- `ComfySwitchNode` 用于开启或关闭背景移除 + +### Boolean（切换到 Trellis2） +- 选择管线：`false`（否）表示 Pixal3D（默认），`true`（是）表示 TRELLIS.2 + +### MoGeInference / MoGeGeometryToFOV +- 估算深度、法线和相机视野。仅由 Pixal3D 管线使用 + +### Pixal3DConditioning / Trellis2Conditioning +- 为每条管线构建条件。两个 `ComfySwitchNode` 节点将已选择的条件路由到结构采样器和形状阶段 + +### EmptyTrellis2LatentStructure + KSampler（结构） +- 对稀疏结构 Latent 进行采样（12 步，CFG 7.5） + +### Trellis2ShapeStage + KSampler（形状） +- 细化形状 Latent（20 步，CFG 7.5） + +### Trellis2UpsampleStage + KSampler（上采样） +- 将形状上采样至目标分辨率（12 步，CFG 7.5） + +### Trellis2TextureStage + KSampler（纹理） +- 生成纹理 Latent（12 步，CFG 1） + +### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis +- 将结构、形状和纹理 Latent 解码为体素和网格 + +### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh +- 重建网格（在 768 分辨率下进行 DC 重网格化），将其减少到目标面数（700,000），平滑法线，并在配置的纹理尺寸下展开 UV + +### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion +- 烘焙基色、金属度、粗糙度、法线和环境光遮蔽贴图 + +### ApplyTextureToMesh / PaintMesh +- 将烘焙贴图应用到低多边形网格，并绘制顶点颜色 + +### SaveGLB / Preview3DAdvanced +- 将结果保存为 GLB 文件并在 3D 中预览 + +## 运行步骤 + +1. **加载图像**：使用 `LoadImage` 节点加载对象的单张图像。 +2. **选择流水线**：将 `Boolean (Switch to Trellis2)` 保持为 `false` 以使用 Pixal3D，或将其设置为 `true` 以使用 TRELLIS.2，并在 `UNETLoader` 节点中加载 `trellis_2_bf16.safetensors`。 +3. **将工作流加入队列**：按 Ctrl（macOS 上为 Cmd）+ Enter。 +4. **等待流水线运行**：结构、形状和纹理阶段依次运行，随后进行后处理。 +5. **查看结果**：在 `Preview3DAdvanced` 节点中检查网格。GLB 文件将保存到 `ComfyUI/output/3d/pixal3d/`。 + +## 模型下载 + +下载你要运行的管线所需模型,放到对应的 `models/` 子目录中。 + + + + pixal3d_bf16.safetensors: Pixal3D 扩散模型(默认 checkpoint) + + + trellis_2_bf16.safetensors: TRELLIS.2 扩散模型 + + + trellis_2_shape_vae_bf16.safetensors: 用于结构和形状解码的 VAE + + + trellis_2_texture_vae_bf16.safetensors: 用于纹理解码的 VAE + + + dino_v3_L_naf_fp32.safetensors: 用于图像条件的 CLIP 视觉编码器 + + + moge_2_vitl_normal_fp16.safetensors: 深度与相机估计,Pixal3D 管线使用 + + + birefnet.safetensors: 用于预处理的背景移除模型 + + + +### 模型存储位置 + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 diffusion_models/ +│ │ ├── pixal3d_bf16.safetensors +│ │ └── trellis_2_bf16.safetensors +│ ├── 📂 vae/ +│ │ ├── trellis_2_shape_vae_bf16.safetensors +│ │ └── trellis_2_texture_vae_bf16.safetensors +│ ├── 📂 clip_vision/ +│ │ └── dino_v3_L_naf_fp32.safetensors +│ ├── 📂 geometry_estimation/ +│ │ └── moge_2_vitl_normal_fp16.safetensors +│ └── 📂 background_removal/ +│ └── birefnet.safetensors +``` diff --git a/zh/tutorials/3d/pixal3d.mdx b/zh/tutorials/3d/pixal3d.mdx new file mode 100644 index 000000000..8e446777e --- /dev/null +++ b/zh/tutorials/3d/pixal3d.mdx @@ -0,0 +1,153 @@ +--- +title: "Pixal3D 图像到3D模型 ComfyUI 工作流示例" +description: "使用 Pixal3D（腾讯 ARC 推出的像素对齐图像到3D模型），从单张图像生成具有完整 PBR 纹理的高保真 3D 模型。" +sidebarTitle: "Pixal3D" +translationSourceHash: ca1b58b7 +translationFrom: tutorials/3d/pixal3d.mdx +translationBlockHashes: + "_intro": 5f9b463f + "How it works": 3650c7ea + "Workflow node guide": ed18954d + "Steps to run": ef1a68d5 + "Model downloads": 68d44529 +--- +import UpdateReminder from "/snippets/zh/tutorials/update-reminder.mdx" + +**Pixal3D** 是来自腾讯 ARC 的开源图像转3D模型，发表于 SIGGRAPH 2026。它可将单张图像转换为具有完整PBR材质的高保真3D资源。 + +大多数3D原生生成器在规范空间中合成形状，并通过注意力注入图像线索，这导致像素与3D之间的关联不明确。Pixal3D 则采用像素对齐生成：通过反投影建立像素与3D的直接对应关系，因此已生成模型的正面与你的输入图像1:1匹配，不会出现纹理扭曲或错位。 + +### Pixal3D：图像到模型 {#3d_pixal3d_image_to_model} + +上传单张图像。生成一个具有完整PBR纹理的高保真3D模型，并与你的输入视角对齐。 + +Pixal3D 工作流预览 + + + + + + 在Comfy Cloud上立即运行此工作流 + + + 下载JSON或在模板库中搜索 "Pixal3D: Image to Model" + + + +**输入素材** + +将此文件上传到`LoadImage`节点： + + + + `LoadImage`节点 122 · `viking_wolf_rune_axe.png` + + + +
+ 输入图像 +
+ +## 工作原理 + +Pixal3D 将相机感知、像素对齐的生成与完整的网格后处理 pipeline 相结合： + +1. **背景移除**：BiRefNet 移除输入图像的背景，工作流将主体裁剪到居中的 1024×1024 画布。可以通过一个切换跳过背景移除。 +2. **相机估计**：MoGe 从图像中估计几何和相机视场。该视场驱动像素对齐的条件。 +3. **结构生成**：对稀疏结构 Latent 进行采样并解码为体素，然后转换为粗糙网格。 +4. **形状细化**：形状阶段和上采样阶段将网格细化到目标分辨率（1536）。 +5. **纹理生成**：纹理 diffusion 阶段生成 PBR 材质体素（基础颜色、金属度、粗糙度）。 +6. **后处理**：DC 重网格化、QEM 网格简化、UV 展开，并将基础颜色、法线和环境光遮蔽贴图烘焙到最终的纹理网格中。 + +## 工作流节点指南 + +### LoadImage（加载图像） +- 加载您的输入图像（PNG/JPG） +- 示例图像：`viking_wolf_rune_axe.png`（可在模板库中获取） + +### RemoveBackground（移除背景）/ ImageCropToMask（按蒙版裁剪图像） +- 使用 BiRefNet 移除背景，并将主体裁剪到居中的 1024×1024 画布上 +- `ComfySwitchNode` 用于切换背景移除功能的开启或关闭 + +### MoGeInference（MoGe 推理）/ MoGeGeometryToFOV（MoGe 几何转视场） +- 估算深度、法线以及用于像素对齐条件的相机视场 + +### Pixal3DConditioning（Pixal3D 条件） +- 根据 CLIP 视觉特征、裁剪后的图像和相机视场构建像素对齐条件 + +### EmptyTrellis2LatentStructure + KSampler（structure） +- 对稀疏结构 Latent 进行采样（12 步，CFG 7.5） + +### Trellis2ShapeStage + KSampler（shape） +- 细化形状 Latent（20 步，CFG 7.5） + +### Trellis2UpsampleStage + KSampler（upsample） +- 将形状上采样到目标分辨率（12 步，CFG 7.5） + +### Trellis2TextureStage + KSampler（texture） +- 生成纹理 Latent（12 步，CFG 1） + +### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis +- 将结构、形状和纹理 Latent 解码为体素和网格 + +### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh +- 重建网格（在 768 分辨率下进行 DC 网格重建），将面数降低到目标数量（700,000），平滑法线，并按配置的纹理尺寸展开 UV + +### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion +- 烘焙基础颜色、金属度、粗糙度、法线和环境光遮蔽贴图 + +### ApplyTextureToMesh / PaintMesh +- 将烘焙的贴图应用到低多边形网格上，并绘制顶点颜色 + +### SaveGLB / Preview3DAdvanced +- 将结果保存为 GLB 文件，并在 3D 中预览 + +## 运行步骤 + +1. **加载图像**：使用 `LoadImage` 节点加载对象的单张图像 +2. **将工作流加入队列**：按 Ctrl（macOS 上为 Cmd）+ Enter +3. **等待流水线处理**：结构、形状和纹理阶段依次运行，随后进行后处理 +4. **查看结果**：在 `Preview3DAdvanced` 节点中检查网格。GLB 文件保存到 `ComfyUI/output/3d/pixal3d/` + +## 模型下载 + +下载 Pixal3D 模型和所需文件,放到对应的 `models/` 子目录中。 + + + + pixal3d_bf16.safetensors: Pixal3D 扩散模型。另有 int8_convrot 版本可用 + + + trellis_2_shape_vae_bf16.safetensors: 用于结构和形状解码的 VAE + + + trellis_2_texture_vae_bf16.safetensors: 用于纹理解码的 VAE + + + dino_v3_L_naf_fp32.safetensors: 用于图像条件的 CLIP 视觉编码器 + + + moge_2_vitl_normal_fp16.safetensors: 用于像素对齐条件的深度与相机估计 + + + birefnet.safetensors: 用于预处理的背景移除模型 + + + +### 模型存储位置 + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 diffusion_models/ +│ │ └── pixal3d_bf16.safetensors +│ ├── 📂 vae/ +│ │ ├── trellis_2_shape_vae_bf16.safetensors +│ │ └── trellis_2_texture_vae_bf16.safetensors +│ ├── 📂 clip_vision/ +│ │ └── dino_v3_L_naf_fp32.safetensors +│ ├── 📂 geometry_estimation/ +│ │ └── moge_2_vitl_normal_fp16.safetensors +│ └── 📂 background_removal/ +│ └── birefnet.safetensors +``` diff --git a/zh/tutorials/3d/trellis2.mdx b/zh/tutorials/3d/trellis2.mdx new file mode 100644 index 000000000..2692df046 --- /dev/null +++ b/zh/tutorials/3d/trellis2.mdx @@ -0,0 +1,184 @@ +--- +title: "TRELLIS.2 图像到模型 ComfyUI 工作流示例" +description: "使用 TRELLIS.2（微软的开源 4B 参数图像到 3D 模型），从单个图像生成具有完整 PBR 纹理的高保真 3D 模型。" +sidebarTitle: "TRELLIS.2" +translationSourceHash: 1a2057ed +translationFrom: tutorials/3d/trellis2.mdx +translationBlockHashes: + "_intro": 8e653642 + "How it works": 3531db89 + "Workflow node guide": 58d7d6af + "Steps to run": 234b0cea + "Model downloads": b305c0d6 +--- + + +import UpdateReminder from "/snippets/zh/tutorials/update-reminder.mdx" + +**TRELLIS.2** 是微软研究院推出的开源图生3D模型，也是 TRELLIS 的继任者。它是一个 4B 参数模型，基于原生3D VAE 构建，具有 16× 空间压缩，并采用名为 O-Voxel 的稀疏体素表示，可从单张图像生成带有完整 PBR 材质的精细3D资产。 + +TRELLIS.2 与 Pixal3D 共享基础架构：两者使用相同的 DINOv3 图像编码器、相同的形状和纹理 VAE，以及相同的结构、形状和纹理生成阶段。只有主要的扩散模型和条件格式有所不同。如果你已经运行过 [Pixal3D 工作流](pixal3d)，模型设置几乎完全相同。 + +### TRELLIS.2：图像到模型 {#3d_trellis2_image_to_model} + +上传单张图像。使用 TRELLIS.2 生成带有完整 PBR 纹理的高保真3D模型。 + +TRELLIS.2 工作流预览 + + + + + + 立即在 Comfy Cloud 上运行此工作流 + + + 下载 JSON，或在模板库中搜索“TRELLIS.2: Image to Model” + + + +**输入素材** + +将此文件上传到 `LoadImage` 节点： + + + + `LoadImage` 节点 122 · `viking_wolf_rune_axe.png` + + + +
+ 输入图像 +
+ + +import UpdateReminder from '/snippets/tutorials/update-reminder.mdx' + +**TRELLIS.2** is an open-source image-to-3D model from Microsoft Research, and the successor to TRELLIS. It is a 4B-parameter model built on native 3D VAEs with 16× spatial compression and a sparse voxel representation called O-Voxel, producing detailed 3D assets with full PBR materials from a single image. + +TRELLIS.2 shares its base architecture with Pixal3D: both use the same DINOv3 image encoder, the same shape and texture VAEs, and the same structure, shape, and texture generation stages. Only the main diffusion model and the conditioning format differ. If you have run the [Pixal3D workflow](pixal3d), the model setup is almost identical. + +### TRELLIS.2: Image to Model {#3d_trellis2_image_to_model} + +Upload a single image. Generate a high-fidelity 3D model with full PBR textures using TRELLIS.2. + +TRELLIS.2 workflow preview + + + + + + Run this workflow instantly on Comfy Cloud + + + Download JSON or search "TRELLIS.2: Image to Model" in Template Library + + + +**Input materials** + +Upload this file to the `LoadImage` node: + + + + `LoadImage` node 122 · `viking_wolf_rune_axe.png` + + + +
+ Input image +
+ +## 工作原理 + +TRELLIS.2 通过三个扩散阶段生成 3D 资产,然后运行完整的网格后处理管线: + +1. **背景移除**: BiRefNet 移除输入图像的背景,工作流将主体裁剪到居中的 1024×1024 画布。可通过开关跳过背景移除 +2. **结构生成**: 采样稀疏结构潜变量,解码为体素,再转换为粗略网格 +3. **形状细化**: 形状阶段和上采样阶段将网格细化到目标分辨率(1536) +4. **纹理生成**: 纹理扩散阶段生成 PBR 材质体素(基色、金属度、粗糙度) +5. **后处理**: DC 网格重建、QEM 减面、UV 展开,以及将基色、法线和环境光遮蔽贴图烘焙到最终带纹理的网格 + +## 工作流节点指南 + +### LoadImage +- 加载您的输入图像（PNG/JPG） +- 示例图像：`viking_wolf_rune_axe.png`（可在模板库中获取） + +### RemoveBackground / ImageCropToMask +- 使用 BiRefNet 移除背景，并将主体裁剪到居中的 1024×1024 画布 +- `ComfySwitchNode` 用于切换背景移除的开启或关闭 + +### Trellis2Conditioning +- 从 CLIP 视觉特征和裁剪后的图像构建条件 + +### EmptyTrellis2LatentStructure + KSampler（结构） +- 对稀疏结构 Latent 进行采样（12 步，CFG 7.5） + +### Trellis2ShapeStage + KSampler（形状） +- 细化形状 Latent（20 步，CFG 7.5） + +### Trellis2UpsampleStage + KSampler（上采样） +- 将形状上采样到目标分辨率（12 步，CFG 7.5） + +### Trellis2TextureStage + KSampler（纹理） +- 生成纹理 Latent（12 步，CFG 1） + +### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis +- 将结构、形状和纹理 Latent 解码为体素和网格 + +### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh +- 重建网格（在 768 分辨率下进行 DC 重网格化），将其减少到目标面数（700,000），平滑法线，并在配置的纹理尺寸下展开 UV + +### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion +- 烘焙基础颜色、金属度、粗糙度、法线和环境光遮蔽贴图 + +### ApplyTextureToMesh / PaintMesh +- 将烘焙的贴图应用到低多边形网格，并绘制顶点颜色 + +### SaveGLB / Preview3DAdvanced +- 将结果保存为 GLB 文件，并在 3D 中预览 + +## 运行步骤 + +1. **加载图像**：使用 `LoadImage` 节点加载对象的单个图像 +2. **将工作流加入队列**：按 Ctrl（macOS 上为 Cmd）+ Enter +3. **等待工作流执行**：结构、形状和纹理阶段依次运行，随后进行后处理 +4. **查看结果**：在 `Preview3DAdvanced` 节点中检查网格。GLB 文件将保存到 `ComfyUI/output/3d/trellis2/` + +## 模型下载 + +下载 TRELLIS.2 模型和所需文件,放到对应的 `models/` 子目录中。 + + + + trellis_2_bf16.safetensors: TRELLIS.2 扩散模型。另有 int8_convrot 版本可用 + + + trellis_2_shape_vae_bf16.safetensors: 用于结构和形状解码的 VAE + + + trellis_2_texture_vae_bf16.safetensors: 用于纹理解码的 VAE + + + dino_v3_L_naf_fp32.safetensors: 用于图像条件的 CLIP 视觉编码器。TRELLIS.2 仓库中等价的 dino_v3_vit_l.safetensors 同样可用 + + + birefnet.safetensors: 用于预处理的背景移除模型 + + + +### 模型存储位置 + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 diffusion_models/ +│ │ └── trellis_2_bf16.safetensors +│ ├── 📂 vae/ +│ │ ├── trellis_2_shape_vae_bf16.safetensors +│ │ └── trellis_2_texture_vae_bf16.safetensors +│ ├── 📂 clip_vision/ +│ │ └── dino_v3_L_naf_fp32.safetensors +│ └── 📂 background_removal/ +│ └── birefnet.safetensors +``` From db2d5cc4765f22cba79d4cdf4b3c8c2c104ab4cf Mon Sep 17 00:00:00 2001 From: lin-bot23 Date: Tue, 25 Aug 2026 23:09:57 +0800 Subject: [PATCH 2/9] docs: drop combined Pixal3D & TRELLIS.2 switch page --- docs.json | 4 - ja/tutorials/3d/pixal3d-trellis2.mdx | 172 --------------------------- ko/tutorials/3d/pixal3d-trellis2.mdx | 172 --------------------------- tutorials/3d/pixal3d-trellis2.mdx | 163 ------------------------- zh/tutorials/3d/pixal3d-trellis2.mdx | 172 --------------------------- 5 files changed, 683 deletions(-) delete mode 100644 ja/tutorials/3d/pixal3d-trellis2.mdx delete mode 100644 ko/tutorials/3d/pixal3d-trellis2.mdx delete mode 100644 tutorials/3d/pixal3d-trellis2.mdx delete mode 100644 zh/tutorials/3d/pixal3d-trellis2.mdx diff --git a/docs.json b/docs.json index 428b36d38..0040e6613 100644 --- a/docs.json +++ b/docs.json @@ -287,7 +287,6 @@ }, "tutorials/3d/pixal3d", "tutorials/3d/trellis2", - "tutorials/3d/pixal3d-trellis2", { "group": "LLM", "pages": [ @@ -3244,7 +3243,6 @@ }, "zh/tutorials/3d/pixal3d", "zh/tutorials/3d/trellis2", - "zh/tutorials/3d/pixal3d-trellis2", { "group": "LLM", "pages": [ @@ -6221,7 +6219,6 @@ }, "ja/tutorials/3d/pixal3d", "ja/tutorials/3d/trellis2", - "ja/tutorials/3d/pixal3d-trellis2", { "group": "LLM", "pages": [ @@ -9276,7 +9273,6 @@ }, "ko/tutorials/3d/pixal3d", "ko/tutorials/3d/trellis2", - "ko/tutorials/3d/pixal3d-trellis2", { "group": "LLM", "pages": [ diff --git a/ja/tutorials/3d/pixal3d-trellis2.mdx b/ja/tutorials/3d/pixal3d-trellis2.mdx deleted file mode 100644 index 88afa9c14..000000000 --- a/ja/tutorials/3d/pixal3d-trellis2.mdx +++ /dev/null @@ -1,172 +0,0 @@ ---- -title: "Pixal3D & TRELLIS.2 画像からモデルを生成する ComfyUI ワークフロー例" -description: "単一のComfyUIワークフロー内の1つの切り替えでPixal3DまたはTRELLIS.2を選択し、1枚の画像からPBRテクスチャ付きの3Dモデルを生成します。" -sidebarTitle: "Pixal3D & TRELLIS.2" -translationSourceHash: a9933f06 -translationFrom: tutorials/3d/pixal3d-trellis2.mdx -translationBlockHashes: - "_intro": 5074d78c - "How the model switch works": 951d692b - "How it works": 470ae1b2 - "Workflow node guide": 9b81795b - "Steps to run": cf7ccb2b - "Model downloads": f187a36d ---- - -import UpdateReminder from "/snippets/ja/tutorials/update-reminder.mdx" - -このワークフローは、画像から3Dモデルを生成する2つのオープンソースモデルを1つのグラフにまとめています:**Pixal3D**(Tencent ARC、MoGeカメラ推定によるピクセル位置合わせ生成)と**TRELLIS.2**(Microsoft Research、O-Voxelスパースボクセルを使用した4Bパラメータモデル)です。両モデルは、同じDINOv3画像エンコーダー、同じ形状およびテクスチャVAE、同じ構造・形状・テクスチャ生成段階を共有しています。 - -1つのブール切り替えで、条件付けをどちらかのモデルに振り分けます。ワークフローはデフォルトでPixal3Dパイプラインを使用します。スイッチを切り替えるとTRELLIS.2パイプラインを使用できます。 - -### Pixal3D & TRELLIS.2: 画像からモデルへ {#3d_pixal3d_trellis2_image_to_model} - -1枚の画像をアップロードします。完全なPBRテクスチャを持つ高忠実度の3Dモデルを生成します。1つの切り替えでPixal3DまたはTRELLIS.2パイプラインを選択できます。 - -Pixal3D & TRELLIS.2 ワークフロープレビュー - - - - - - Comfy Cloudでこのワークフローをすぐに実行 - - - JSONをダウンロードするか、テンプレートライブラリで「Pixal3D & TRELLIS.2: 画像からモデルへ」を検索してください - - - -**入力素材** - -このファイルを`LoadImage`ノードにアップロードします: - - - - `LoadImage` ノード122 · `viking_wolf_rune_axe.png` - - - -
- 入力画像 -
- -## モデル切り替えの仕組み - -`Boolean (Switch to Trellis2)` ノードは、パイプラインの選択を制御します: - -- **`false`（デフォルト）**: ワークフローはPixal3Dパイプラインを使用します。MoGeがカメラの視野角（FOV）を推定し、`Pixal3DConditioning`が画像、CLIPビジョン特徴、FOVからピクセル整合の条件付けを構築します -- **`true`**: ワークフローはTRELLIS.2パイプラインを使用します。`Trellis2Conditioning`は、CLIPビジョン特徴とトリミングされた画像のみから条件付けを構築します - -TRELLIS.2パイプラインに切り替える場合は、`UNETLoader`ノードで`trellis_2_bf16.safetensors`も読み込んでください。チェックポイントはデフォルトで`pixal3d_bf16.safetensors`に設定されているためです。 - -パイプラインの残りの部分は共通です: 背景除去、構造生成、形状の精細化、テクスチャ生成、そしてメッシュ後処理チェーン全体です。 - -## 動作の仕組み - -1. **背景除去**: BiRefNetが入力画像から背景を除去し、ワークフローは被写体を中央に配置した1024×1024キャンバスにクロップします。切り替えにより背景除去をスキップできます -2. **カメラ推定（Pixal3Dのみ）**: MoGeがジオメトリとカメラの画角を推定し、ピクセル位置合わせの条件付けを駆動します -3. **構造生成**: スパースな構造潜在がサンプリングされ、ボクセルにデコードされた後、粗いメッシュに変換されます -4. **形状リファインメント**: 形状ステージとアップサンプリングステージが、メッシュを目標解像度（1536）までリファインします -5. **テクスチャ生成**: テクスチャ拡散ステージがPBRマテリアルのボクセル（ベース色、メタリック、ラフネス）を生成します -6. **後処理**: DCリメッシュ、QEMデシメーション、UVアンラップを行い、ベース色、ノーマル、アンビエントオクルージョンマップを最終的なテクスチャ付きメッシュにベイクします - -## ワークフローノードガイド - -### LoadImage -- 入力画像（PNG/JPG）を読み込みます -- サンプル画像: `viking_wolf_rune_axe.png`（テンプレートライブラリで利用可能） - -### RemoveBackground / ImageCropToMask -- BiRefNetで背景除去を行い、被写体を中央寄せの1024×1024キャンバスにトリミングします -- `ComfySwitchNode`が背景除去のオン/オフを切り替えます - -### Boolean（Trellis2に切り替え） -- パイプラインを選択します: Pixal3D（デフォルト）の場合は`false`、TRELLIS.2の場合は`true` - -### MoGeInference / MoGeGeometryToFOV -- 深度、ノーマル、カメラの視野角を推定します。Pixal3Dパイプラインのみで使用されます - -### Pixal3DConditioning / Trellis2Conditioning -- 各パイプラインの条件付けを構築します。2つの`ComfySwitchNode`ノードが、選択済みの条件付けを構造サンプラーと形状ステージにルーティングします - -### EmptyTrellis2LatentStructure + Kサンプラー（構造） -- スパースな構造の潜在をサンプリングします（12ステップ、CFG 7.5） - -### Trellis2ShapeStage + Kサンプラー（形状） -- 形状の潜在を精緻化します（20ステップ、CFG 7.5） - -### Trellis2UpsampleStage + Kサンプラー（アップサンプル） -- 形状をターゲットの解像度にアップスケールします（12ステップ、CFG 7.5） - -### Trellis2TextureStage + Kサンプラー（テクスチャ） -- テクスチャの潜在を生成します（12ステップ、CFG 1） - -### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis -- 構造、形状、テクスチャの潜在をボクセルとメッシュにデコードします - -### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh -- メッシュを再構築し（解像度768でDCリメッシュ）、ターゲットの面数（700,000）に削減し、ノーマルをスムーズにして、設定済みのテクスチャサイズでUVをアンラップします - -### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion -- ベースカラー、メタリック、ラフネス、ノーマル、アンビエントオクルージョンマップをベイクします - -### ApplyTextureToMesh / PaintMesh -- ベイク済みマップをローポリメッシュに適用し、頂点色をペイントします - -### SaveGLB / Preview3DAdvanced -- 結果をGLBファイルとして保存し、3Dでプレビューします - -## 実行手順 - -1. **画像を読み込む**: `LoadImage` ノードを使用して、オブジェクトの画像を1枚読み込みます -2. **パイプラインを選択する**: Pixal3D の場合は `Boolean (Switch to Trellis2)` を `false` のままにし、TRELLIS.2 の場合は `true` に設定して、`UNETLoader` ノードで `trellis_2_bf16.safetensors` を読み込みます -3. **ワークフローをキューに追加する**: Ctrl（macOS では Cmd）+ Enter を押します -4. **パイプラインの完了を待つ**: 構造、形状、テクスチャの各ステージが順番に実行され、その後、後処理が実行されます -5. **結果を確認する**: `Preview3DAdvanced` ノードでメッシュを確認します。GLB は `ComfyUI/output/3d/pixal3d/` に保存されます - -## モデルのダウンロード - -実行するパイプラインに必要なモデルをダウンロードし、対応する `models/` サブディレクトリに配置します。 - - - - pixal3d_bf16.safetensors: Pixal3D 拡散モデル (デフォルトのチェックポイント) - - - trellis_2_bf16.safetensors: TRELLIS.2 拡散モデル - - - trellis_2_shape_vae_bf16.safetensors: 構造とシェイプのデコード用 VAE - - - trellis_2_texture_vae_bf16.safetensors: テクスチャのデコード用 VAE - - - dino_v3_L_naf_fp32.safetensors: 画像条件付け用の CLIP ビジョンエンコーダー - - - moge_2_vitl_normal_fp16.safetensors: 深度・カメラ推定。Pixal3D パイプラインで使用 - - - birefnet.safetensors: 前処理用の背景除去モデル - - - -### モデルの保存場所 - -``` -📂 ComfyUI/ -├── 📂 models/ -│ ├── 📂 diffusion_models/ -│ │ ├── pixal3d_bf16.safetensors -│ │ └── trellis_2_bf16.safetensors -│ ├── 📂 vae/ -│ │ ├── trellis_2_shape_vae_bf16.safetensors -│ │ └── trellis_2_texture_vae_bf16.safetensors -│ ├── 📂 clip_vision/ -│ │ └── dino_v3_L_naf_fp32.safetensors -│ ├── 📂 geometry_estimation/ -│ │ └── moge_2_vitl_normal_fp16.safetensors -│ └── 📂 background_removal/ -│ └── birefnet.safetensors -``` diff --git a/ko/tutorials/3d/pixal3d-trellis2.mdx b/ko/tutorials/3d/pixal3d-trellis2.mdx deleted file mode 100644 index b148eddb9..000000000 --- a/ko/tutorials/3d/pixal3d-trellis2.mdx +++ /dev/null @@ -1,172 +0,0 @@ ---- -title: "Pixal3D & TRELLIS.2 이미지 투 모델 ComfyUI 워크플로 예제" -description: "단일 ComfyUI 워크플로에서 하나의 전환으로 Pixal3D 또는 TRELLIS.2 중 하나를 선택해, 단일 이미지에서 PBR 텍스처가 포함된 3D 모델을 생성합니다." -sidebarTitle: "Pixal3D & TRELLIS.2" -translationSourceHash: a9933f06 -translationFrom: tutorials/3d/pixal3d-trellis2.mdx -translationBlockHashes: - "_intro": 5074d78c - "How the model switch works": 951d692b - "How it works": 470ae1b2 - "Workflow node guide": 9b81795b - "Steps to run": cf7ccb2b - "Model downloads": f187a36d ---- - -import UpdateReminder from "/snippets/ko/tutorials/update-reminder.mdx" - -이 워크플로는 하나의 그래프에 두 가지 오픈소스 이미지 기반 3D 생성 모델을 포함합니다: **Pixal3D** (Tencent ARC, MoGe 카메라 추정을 사용한 픽셀 정렬 생성) 및 **TRELLIS.2** (Microsoft Research, O-Voxel 희소 복셀 기반 40억 매개변수 모델). 두 모델은 동일한 DINOv3 이미지 인코더, 동일한 형태 및 텍스처 VAE, 그리고 동일한 구조, 형태, 텍스처 생성 단계를 공유합니다. - -단일 논리값 전환이 조건화를 두 모델 중 하나로 보냅니다. 워크플로는 기본적으로 Pixal3D 파이프라인을 사용하며, 전환을 토글하면 TRELLIS.2 파이프라인이 사용됩니다. - -### Pixal3D & TRELLIS.2: 이미지 기반 모델 생성 {#3d_pixal3d_trellis2_image_to_model} - -이미지를 하나 업로드하세요. 하나의 전환으로 Pixal3D 또는 TRELLIS.2 파이프라인을 선택하여, 전체 PBR 텍스처가 적용된 고품질 3D 모델을 생성할 수 있습니다. - -Pixal3D & TRELLIS.2 워크플로 미리보기 - - - - - - 이 워크플로를 Comfy Cloud에서 즉시 실행하세요. - - - 템플릿 라이브러리에서 "Pixal3D & TRELLIS.2: Image to Model"을(를) 검색하거나 JSON을 다운로드하세요. - - - -**입력 자료** - -이 파일을 `LoadImage` 노드에 업로드하세요: - - - - `LoadImage` 노드 122 · `viking_wolf_rune_axe.png` - - - -
- 입력 이미지 -
- -## 모델 전환 작동 방식 - -`Boolean (Switch to Trellis2)` 노드는 파이프라인 선택을 제어합니다: - -- **`false`(기본값)**: 워크플로는 Pixal3D 파이프라인을 사용합니다. MoGe가 카메라 시야각을 추정하고, `Pixal3DConditioning`이 이미지, CLIP 비전 특징, 시야각으로부터 픽셀 정렬 조건화를 구성합니다. -- **`true`**: 워크플로는 TRELLIS.2 파이프라인을 사용합니다. `Trellis2Conditioning`은 CLIP 비전 특징과 크롭된 이미지로만 조건화를 구성합니다. - -TRELLIS.2 파이프라인으로 전환할 때는 `UNETLoader` 노드에서 `trellis_2_bf16.safetensors`도 함께 로드하세요. 체크포인트가 기본적으로 `pixal3d_bf16.safetensors`로 설정되어 있기 때문입니다. - -나머지 파이프라인은 공유됩니다: 배경 제거, 구조 생성, 형태 정제, 텍스처 생성, 전체 메시 후처리 체인. - -## 작동 방식 - -1. **배경 제거**: BiRefNet이 입력 이미지에서 배경을 제거하고, 워크플로가 피사체를 중앙 정렬된 1024×1024 캔버스로 크롭합니다. 전환을 통해 배경 제거를 건너뛸 수 있습니다 -2. **카메라 추정(Pixal3D 전용)**: MoGe가 지오메트리와 카메라 화각을 추정하여 픽셀 정렬 조건화를 구동합니다 -3. **구조 생성**: 희소 구조 잠재 데이터가 샘플링되어 복셀로 디코딩된 다음, 대략적인 메시로 변환됩니다 -4. **형태 정제**: 형태 단계와 업샘플링 단계가 메시를 목표 해상도(1536)까지 정제합니다 -5. **텍스처 생성**: 텍스처 diffusion 단계가 PBR 재질 복셀(기본 색상, 금속성, 거칠기)을 생성합니다 -6. **후처리**: DC 리메시, QEM 데시메이션, UV 언랩핑, 그리고 기본 색상, 노멀(normal), 앰비언트 오클루전 맵을 최종 텍스처 메시에 베이킹합니다 - -## 워크플로 노드 가이드 - -### LoadImage -- 입력 이미지(PNG/JPG)를 로드합니다 -- 샘플 이미지: `viking_wolf_rune_axe.png`(템플릿 라이브러리에서 사용 가능) - -### RemoveBackground / ImageCropToMask -- BiRefNet으로 배경을 제거하고 피사체를 중앙 정렬된 1024×1024 캔버스로 크롭합니다 -- `ComfySwitchNode`가 배경 제거를 켜거나 끕니다. - -### Boolean (Switch to Trellis2) -- 파이프라인을 선택합니다: Pixal3D(기본값)는 `false`, TRELLIS.2는 `true`. - -### MoGeInference / MoGeGeometryToFOV -- 깊이, 노멀(normal), 카메라 시야각을 추정합니다. Pixal3D 파이프라인에서만 사용됩니다. - -### Pixal3DConditioning / Trellis2Conditioning -- 각 파이프라인에 대한 조건화를 구성합니다. 두 개의 `ComfySwitchNode` 노드가 선택된 조건화를 구조 샘플러와 형태 단계로 전달합니다. - -### EmptyTrellis2LatentStructure + KSampler (structure) -- 희소 구조 잠재 데이터를 샘플링합니다(12스텝, CFG 7.5) - -### Trellis2ShapeStage + KSampler (shape) -- 형태 잠재 데이터를 정제합니다(20스텝, CFG 7.5) - -### Trellis2UpsampleStage + KSampler (upsample) -- 형태를 대상 해상도로 업스케일합니다(12스텝, CFG 7.5) - -### Trellis2TextureStage + KSampler (texture) -- 텍스처 잠재 데이터를 생성합니다(12스텝, CFG 1) - -### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis -- 구조, 형태, 텍스처 잠재 데이터를 복셀과 메시로 디코딩합니다 - -### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh -- 메시를 재구성하고(768 해상도에서 DC 리메시), 대상 면 수(700,000)로 줄이고, 노멀(normal)을 부드럽게 하고, 설정된 텍스처 크기로 UV를 언랩합니다. - -### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion -- 베이스 색상, 메탈릭, 러프니스, 노멀(normal), 앰비언트 오클루전 맵을 베이크합니다 - -### ApplyTextureToMesh / PaintMesh -- 베이크된 맵을 저폴리 메시에 적용하고 버텍스 색상을 페인팅합니다. - -### SaveGLB / Preview3DAdvanced -- 결과를 GLB 파일로 저장하고 3D로 미리보기합니다. - -## 실행 단계 - -1. **이미지 로드**: `LoadImage` 노드를 사용하여 객체의 단일 이미지를 로드합니다. -2. **파이프라인 선택**: Pixal3D를 사용하려면 `Boolean (Switch to Trellis2)`을 `false`(거짓)로 두고, TRELLIS.2를 사용하려면 `true`(참)로 설정한 후 `UNETLoader` 노드에서 `trellis_2_bf16.safetensors`를 로드합니다. -3. **워크플로 실행 대기열에 추가**: Ctrl(macOS에서는 Cmd) + Enter를 누릅니다. -4. **파이프라인 대기**: 구조, 형태, 텍스처 단계가 순서대로 실행된 후 후처리가 진행됩니다. -5. **결과 확인**: `Preview3DAdvanced` 노드에서 메시를 검사합니다. GLB 파일은 `ComfyUI/output/3d/pixal3d/`에 저장됩니다. - -## 모델 다운로드 - -실행하려는 파이프라인에 필요한 모델을 다운로드하여 해당 `models/` 하위 디렉터리에 배치합니다. - - - - pixal3d_bf16.safetensors: Pixal3D 확산 모델 (기본 체크포인트) - - - trellis_2_bf16.safetensors: TRELLIS.2 확산 모델 - - - trellis_2_shape_vae_bf16.safetensors: 구조 및 셰이프 디코딩용 VAE - - - trellis_2_texture_vae_bf16.safetensors: 텍스처 디코딩용 VAE - - - dino_v3_L_naf_fp32.safetensors: 이미지 컨디셔닝용 CLIP 비전 인코더 - - - moge_2_vitl_normal_fp16.safetensors: 깊이 및 카메라 추정. Pixal3D 파이프라인에서 사용 - - - birefnet.safetensors: 전처리용 배경 제거 모델 - - - -### 모델 저장 위치 - -``` -📂 ComfyUI/ -├── 📂 models/ -│ ├── 📂 diffusion_models/ -│ │ ├── pixal3d_bf16.safetensors -│ │ └── trellis_2_bf16.safetensors -│ ├── 📂 vae/ -│ │ ├── trellis_2_shape_vae_bf16.safetensors -│ │ └── trellis_2_texture_vae_bf16.safetensors -│ ├── 📂 clip_vision/ -│ │ └── dino_v3_L_naf_fp32.safetensors -│ ├── 📂 geometry_estimation/ -│ │ └── moge_2_vitl_normal_fp16.safetensors -│ └── 📂 background_removal/ -│ └── birefnet.safetensors -``` diff --git a/tutorials/3d/pixal3d-trellis2.mdx b/tutorials/3d/pixal3d-trellis2.mdx deleted file mode 100644 index 922556135..000000000 --- a/tutorials/3d/pixal3d-trellis2.mdx +++ /dev/null @@ -1,163 +0,0 @@ ---- -title: "Pixal3D & TRELLIS.2 Image to Model ComfyUI Workflow Example" -description: "Generate 3D models with PBR textures from a single image using either Pixal3D or TRELLIS.2, toggled by one switch in a single ComfyUI workflow." -sidebarTitle: "Pixal3D & TRELLIS.2" ---- - -import UpdateReminder from '/snippets/tutorials/update-reminder.mdx' - -This workflow bundles two open-source image-to-3D models in one graph: **Pixal3D** (Tencent ARC, pixel-aligned generation with MoGe camera estimation) and **TRELLIS.2** (Microsoft Research, 4B-parameter model with O-Voxel sparse voxels). Both models share the same DINOv3 image encoder, the same shape and texture VAEs, and the same structure, shape, and texture generation stages. - -A single boolean switch routes the conditioning to either model. The workflow defaults to the Pixal3D pipeline; flip the switch to use the TRELLIS.2 pipeline. - -### Pixal3D & TRELLIS.2: Image to Model {#3d_pixal3d_trellis2_image_to_model} - -Upload a single image. Generate a high-fidelity 3D model with full PBR textures, choosing either the Pixal3D or the TRELLIS.2 pipeline with one switch. - -Pixal3D & TRELLIS.2 workflow preview - - - - - - Run this workflow instantly on Comfy Cloud - - - Download JSON or search "Pixal3D & TRELLIS.2: Image to Model" in Template Library - - - -**Input materials** - -Upload this file to the `LoadImage` node: - - - - `LoadImage` node 122 · `viking_wolf_rune_axe.png` - - - -
- Input image -
- -## How the model switch works - -The `Boolean (Switch to Trellis2)` node controls the pipeline selection: - -- **`false` (default)**: the workflow uses the Pixal3D pipeline. MoGe estimates the camera field of view, and `Pixal3DConditioning` builds pixel-aligned conditioning from the image, the CLIP vision features, and the FOV -- **`true`**: the workflow uses the TRELLIS.2 pipeline. `Trellis2Conditioning` builds the conditioning from the CLIP vision features and the cropped image only - -When you switch to the TRELLIS.2 pipeline, also load `trellis_2_bf16.safetensors` in the `UNETLoader` node, since the checkpoint is set to `pixal3d_bf16.safetensors` by default. - -The rest of the pipeline is shared: background removal, structure generation, shape refinement, texture generation, and the full mesh post-processing chain. - -## How it works - -1. **Background removal**: BiRefNet removes the background from the input image, and the workflow crops the subject to a centered 1024×1024 canvas. A switch lets you skip background removal -2. **Camera estimation (Pixal3D only)**: MoGe estimates geometry and the camera field of view, which drives the pixel-aligned conditioning -3. **Structure generation**: a sparse structure latent is sampled and decoded into voxels, then converted into a rough mesh -4. **Shape refinement**: the shape stage and the upsampling stage refine the mesh up to the target resolution (1536) -5. **Texture generation**: a texture diffusion stage produces PBR material voxels (base color, metallic, roughness) -6. **Post-processing**: DC remesh, QEM decimation, UV unwrapping, and baking of base color, normal, and ambient occlusion maps into the final textured mesh - -## Workflow node guide - -### LoadImage -- Loads your input image (PNG/JPG) -- Sample image: `viking_wolf_rune_axe.png` (available in Template Library) - -### RemoveBackground / ImageCropToMask -- Removes the background with BiRefNet and crops the subject to a centered 1024×1024 canvas -- A `ComfySwitchNode` toggles background removal on or off - -### Boolean (Switch to Trellis2) -- Selects the pipeline: `false` for Pixal3D (default), `true` for TRELLIS.2 - -### MoGeInference / MoGeGeometryToFOV -- Estimate depth, normals, and the camera field of view. Only used by the Pixal3D pipeline - -### Pixal3DConditioning / Trellis2Conditioning -- Build the conditioning for each pipeline. Two `ComfySwitchNode` nodes route the selected conditioning to the structure sampler and the shape stage - -### EmptyTrellis2LatentStructure + KSampler (structure) -- Samples the sparse structure latent (12 steps, CFG 7.5) - -### Trellis2ShapeStage + KSampler (shape) -- Refines the shape latent (20 steps, CFG 7.5) - -### Trellis2UpsampleStage + KSampler (upsample) -- Upsamples the shape to the target resolution (12 steps, CFG 7.5) - -### Trellis2TextureStage + KSampler (texture) -- Generates the texture latent (12 steps, CFG 1) - -### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis -- Decode the structure, shape, and texture latents into voxels and a mesh - -### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh -- Rebuild the mesh (DC remesh at 768 resolution), reduce it to a target face count (700,000), smooth normals, and unwrap UVs at the configured texture size - -### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion -- Bake base color, metallic, roughness, normal, and ambient occlusion maps - -### ApplyTextureToMesh / PaintMesh -- Apply the baked maps to the low-poly mesh and paint vertex colors - -### SaveGLB / Preview3DAdvanced -- Save the result as a GLB file and preview it in 3D - -## Steps to run - -1. **Load an image**: use the `LoadImage` node to load a single image of the object -2. **Choose the pipeline**: leave `Boolean (Switch to Trellis2)` as `false` for Pixal3D, or set it to `true` for TRELLIS.2 and load `trellis_2_bf16.safetensors` in the `UNETLoader` node -3. **Queue the workflow**: press Ctrl (Cmd on macOS) + Enter -4. **Wait for the pipeline**: the structure, shape, and texture stages run in sequence, followed by post-processing -5. **View the result**: inspect the mesh in the `Preview3DAdvanced` node. The GLB is saved to `ComfyUI/output/3d/pixal3d/` - -## Model downloads - -Download the models for the pipelines you plan to run. Place them in the corresponding `models/` subdirectories. - - - - pixal3d_bf16.safetensors: Pixal3D diffusion model (default checkpoint) - - - trellis_2_bf16.safetensors: TRELLIS.2 diffusion model - - - trellis_2_shape_vae_bf16.safetensors: VAE for structure and shape decoding - - - trellis_2_texture_vae_bf16.safetensors: VAE for texture decoding - - - dino_v3_L_naf_fp32.safetensors: CLIP vision encoder for image conditioning - - - moge_2_vitl_normal_fp16.safetensors: depth and camera estimation, used by the Pixal3D pipeline - - - birefnet.safetensors: background removal model for preprocessing - - - -### Model storage location - -``` -📂 ComfyUI/ -├── 📂 models/ -│ ├── 📂 diffusion_models/ -│ │ ├── pixal3d_bf16.safetensors -│ │ └── trellis_2_bf16.safetensors -│ ├── 📂 vae/ -│ │ ├── trellis_2_shape_vae_bf16.safetensors -│ │ └── trellis_2_texture_vae_bf16.safetensors -│ ├── 📂 clip_vision/ -│ │ └── dino_v3_L_naf_fp32.safetensors -│ ├── 📂 geometry_estimation/ -│ │ └── moge_2_vitl_normal_fp16.safetensors -│ └── 📂 background_removal/ -│ └── birefnet.safetensors -``` diff --git a/zh/tutorials/3d/pixal3d-trellis2.mdx b/zh/tutorials/3d/pixal3d-trellis2.mdx deleted file mode 100644 index 5eb86ee56..000000000 --- a/zh/tutorials/3d/pixal3d-trellis2.mdx +++ /dev/null @@ -1,172 +0,0 @@ ---- -title: "Pixal3D & TRELLIS.2 图像转模型 ComfyUI 工作流示例" -description: "使用 Pixal3D 或 TRELLIS.2 从单张图像生成带 PBR 纹理的 3D 模型，只需在单个 ComfyUI 工作流中切换一个开关即可。" -sidebarTitle: "Pixal3D & TRELLIS.2" -translationSourceHash: a9933f06 -translationFrom: tutorials/3d/pixal3d-trellis2.mdx -translationBlockHashes: - "_intro": 5074d78c - "How the model switch works": 951d692b - "How it works": 470ae1b2 - "Workflow node guide": 9b81795b - "Steps to run": cf7ccb2b - "Model downloads": f187a36d ---- - -import UpdateReminder from "/snippets/zh/tutorials/update-reminder.mdx" - -此工作流将两个开源图像转3D模型捆绑在一个节点图中：**Pixal3D**（腾讯ARC，使用MoGe相机估计的像素对齐生成）与 **TRELLIS.2**（微软研究院，采用O-Voxel稀疏体素的4B参数模型）。两个模型共享相同的DINOv3图像编码器、相同的形状与纹理VAE，以及相同的结构、形状和纹理生成阶段。 - -一个布尔开关可将条件路由到任一模型。该工作流默认使用Pixal3D流程；拨动开关即可使用TRELLIS.2流程。 - -### Pixal3D 与 TRELLIS.2：图像到3D模型 {#3d_pixal3d_trellis2_image_to_model} - -上传单个图像。通过一个开关选择Pixal3D或TRELLIS.2流程，即可生成具有完整PBR纹理的高保真3D模型。 - -Pixal3D 与 TRELLIS.2 工作流预览 - - - - - - 立即在 Comfy Cloud 上运行此工作流 - - - 下载JSON，或在模板库中搜索“Pixal3D 与 TRELLIS.2：图像到3D模型” - - - -**输入材料** - -将此文件上传到 `LoadImage` 节点： - - - - `LoadImage` 节点 122 · `viking_wolf_rune_axe.png` - - - -
- 输入图像 -
- -## 模型切换的工作原理 - -`Boolean (Switch to Trellis2)` 节点控制流水线的选择： - -- **`否`（默认）**：工作流使用 Pixal3D 流水线。MoGe 估算相机视场，`Pixal3DConditioning` 根据图像、CLIP 视觉特征和视场构建像素对齐的条件 -- **`是`**：工作流使用 TRELLIS.2 流水线。`Trellis2Conditioning` 仅根据 CLIP 视觉特征和裁剪后的图像构建条件 - -当切换到 TRELLIS.2 流水线时，还需要在 `UNETLoader` 节点中加载 `trellis_2_bf16.safetensors`，因为默认情况下 checkpoint 设置为 `pixal3d_bf16.safetensors`。 - -流水线的其余部分是共享的：背景移除、结构生成、形状细化、纹理生成以及完整的网格后处理链。 - -## 工作原理 - -1. **背景移除**：BiRefNet 会移除输入图像的背景，工作流会将主体裁剪到居中的 1024×1024 画布上。可通过切换跳过背景移除。 -2. **相机估算（仅 Pixal3D）**：MoGe 会估算几何信息与相机视野，从而驱动像素对齐的条件。 -3. **结构生成**：对稀疏结构 Latent 进行采样并解码为体素，再转换为粗糙网格。 -4. **形状细化**：形状阶段和上采样阶段会将网格细化到目标分辨率（1536）。 -5. **纹理生成**：纹理扩散阶段会产生 PBR 材质体素（基础颜色、金属度、粗糙度）。 -6. **后处理**：DC 重网格化、QEM 减面、UV 展开，并将基础颜色、法线和环境光遮蔽贴图烘焙到最终的带纹理网格中。 - -## 工作流节点指南 - -### LoadImage -- 加载您的输入图像（PNG/JPG） -- 示例图像：`viking_wolf_rune_axe.png`（可在模板库中找到） - -### RemoveBackground / ImageCropToMask -- 使用 BiRefNet 移除背景，并将主体裁切到居中的 1024×1024 画布 -- `ComfySwitchNode` 用于开启或关闭背景移除 - -### Boolean（切换到 Trellis2） -- 选择管线：`false`（否）表示 Pixal3D（默认），`true`（是）表示 TRELLIS.2 - -### MoGeInference / MoGeGeometryToFOV -- 估算深度、法线和相机视野。仅由 Pixal3D 管线使用 - -### Pixal3DConditioning / Trellis2Conditioning -- 为每条管线构建条件。两个 `ComfySwitchNode` 节点将已选择的条件路由到结构采样器和形状阶段 - -### EmptyTrellis2LatentStructure + KSampler（结构） -- 对稀疏结构 Latent 进行采样（12 步，CFG 7.5） - -### Trellis2ShapeStage + KSampler（形状） -- 细化形状 Latent（20 步，CFG 7.5） - -### Trellis2UpsampleStage + KSampler（上采样） -- 将形状上采样至目标分辨率（12 步，CFG 7.5） - -### Trellis2TextureStage + KSampler（纹理） -- 生成纹理 Latent（12 步，CFG 1） - -### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis -- 将结构、形状和纹理 Latent 解码为体素和网格 - -### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh -- 重建网格（在 768 分辨率下进行 DC 重网格化），将其减少到目标面数（700,000），平滑法线，并在配置的纹理尺寸下展开 UV - -### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion -- 烘焙基色、金属度、粗糙度、法线和环境光遮蔽贴图 - -### ApplyTextureToMesh / PaintMesh -- 将烘焙贴图应用到低多边形网格，并绘制顶点颜色 - -### SaveGLB / Preview3DAdvanced -- 将结果保存为 GLB 文件并在 3D 中预览 - -## 运行步骤 - -1. **加载图像**：使用 `LoadImage` 节点加载对象的单张图像。 -2. **选择流水线**：将 `Boolean (Switch to Trellis2)` 保持为 `false` 以使用 Pixal3D，或将其设置为 `true` 以使用 TRELLIS.2，并在 `UNETLoader` 节点中加载 `trellis_2_bf16.safetensors`。 -3. **将工作流加入队列**：按 Ctrl（macOS 上为 Cmd）+ Enter。 -4. **等待流水线运行**：结构、形状和纹理阶段依次运行，随后进行后处理。 -5. **查看结果**：在 `Preview3DAdvanced` 节点中检查网格。GLB 文件将保存到 `ComfyUI/output/3d/pixal3d/`。 - -## 模型下载 - -下载你要运行的管线所需模型,放到对应的 `models/` 子目录中。 - - - - pixal3d_bf16.safetensors: Pixal3D 扩散模型(默认 checkpoint) - - - trellis_2_bf16.safetensors: TRELLIS.2 扩散模型 - - - trellis_2_shape_vae_bf16.safetensors: 用于结构和形状解码的 VAE - - - trellis_2_texture_vae_bf16.safetensors: 用于纹理解码的 VAE - - - dino_v3_L_naf_fp32.safetensors: 用于图像条件的 CLIP 视觉编码器 - - - moge_2_vitl_normal_fp16.safetensors: 深度与相机估计,Pixal3D 管线使用 - - - birefnet.safetensors: 用于预处理的背景移除模型 - - - -### 模型存储位置 - -``` -📂 ComfyUI/ -├── 📂 models/ -│ ├── 📂 diffusion_models/ -│ │ ├── pixal3d_bf16.safetensors -│ │ └── trellis_2_bf16.safetensors -│ ├── 📂 vae/ -│ │ ├── trellis_2_shape_vae_bf16.safetensors -│ │ └── trellis_2_texture_vae_bf16.safetensors -│ ├── 📂 clip_vision/ -│ │ └── dino_v3_L_naf_fp32.safetensors -│ ├── 📂 geometry_estimation/ -│ │ └── moge_2_vitl_normal_fp16.safetensors -│ └── 📂 background_removal/ -│ └── birefnet.safetensors -``` From 651dc554047f6a59f119a41fd72d34cf99af293d Mon Sep 17 00:00:00 2001 From: lin-bot23 Date: Tue, 25 Aug 2026 23:16:53 +0800 Subject: [PATCH 3/9] docs: add SAM 3D Body human mesh extraction tutorial --- docs.json | 12 ++- ja/tutorials/utility/sam3d-body.mdx | 132 ++++++++++++++++++++++++++++ ko/tutorials/utility/sam3d-body.mdx | 129 +++++++++++++++++++++++++++ tutorials/utility/sam3d-body.mdx | 125 ++++++++++++++++++++++++++ zh/tutorials/utility/sam3d-body.mdx | 132 ++++++++++++++++++++++++++++ 5 files changed, 526 insertions(+), 4 deletions(-) create mode 100644 ja/tutorials/utility/sam3d-body.mdx create mode 100644 ko/tutorials/utility/sam3d-body.mdx create mode 100644 tutorials/utility/sam3d-body.mdx create mode 100644 zh/tutorials/utility/sam3d-body.mdx diff --git a/docs.json b/docs.json index 0040e6613..2f9f8f729 100644 --- a/docs.json +++ b/docs.json @@ -421,7 +421,8 @@ ] } ] - } + }, + "tutorials/utility/sam3d-body" ] }, { @@ -3377,7 +3378,8 @@ ] } ] - } + }, + "zh/tutorials/utility/sam3d-body" ] }, { @@ -6354,7 +6356,8 @@ ] } ] - } + }, + "ja/tutorials/utility/sam3d-body" ] }, { @@ -9406,7 +9409,8 @@ ] } ] - } + }, + "ko/tutorials/utility/sam3d-body" ] }, { diff --git a/ja/tutorials/utility/sam3d-body.mdx b/ja/tutorials/utility/sam3d-body.mdx new file mode 100644 index 000000000..9023ae93a --- /dev/null +++ b/ja/tutorials/utility/sam3d-body.mdx @@ -0,0 +1,132 @@ +--- +title: "SAM 3D Body: ComfyUIでビデオから3D人体メッシュを抽出する" +description: "SAM 3D Bodyを使用してビデオから全身の3D人体メッシュを抽出します。ポーズと形状の推定、顔の表情、レンダリングされたメッシュオーバーレイビデオに対応しています。" +sidebarTitle: "SAM 3D Body" +translationSourceHash: fe1cacf1 +translationFrom: tutorials/utility/sam3d-body.mdx +translationBlockHashes: + "_intro": 892aa34b + "How it works": f02ec8f2 + "Workflow node guide": e688e31b + "Steps to run": bd124afc + "Model downloads": 8931e430 +--- +import UpdateReminder from "/snippets/ja/tutorials/update-reminder.mdx" + +**SAM 3D Body** は、単一のビデオから全身の3Dヒューマンメッシュを復元するオープンソースモデルです。ビデオトラッキング、人物検出、メッシュ予測を組み合わせて、ポーズ、形状、表情を含む人体を再構築し、復元されたリグをビデオにレンダリングし直します。 + +このワークフローは、モーションキャプチャのプロトタイピング、生体力学解析、キャラクターアニメーションのプレビジュアライゼーションに役立ちます。 + +### SAM 3D Body：ビデオからの3Dヒューマンメッシュ抽出 {#utility_sam3d_body} + +人物のビデオを読み込みます。ポーズ、形状、表情を含む全身の3Dヒューマンメッシュを抽出し、オーバーレイビデオとしてレンダリングします。 + +SAM 3D Body ワークフロープレビュー + + + + + + このワークフローを Comfy Cloud ですぐに実行 + + + JSON をダウンロードするか、テンプレートライブラリで "SAM 3D Body: 3D Human Mesh Extraction From Video" を検索してください + + + +**入力素材** + +このファイルを `LoadVideo` ノードにアップロードします： + + + + `LoadVideo` ノード 85 · `woman_holding_water_glass.mp4` + + + +## 動作の仕組み + +1. **ビデオ追跡**: SAM3がビデオのフレーム全体で人物を追跡します。追跡は、クリップに複数の人物が写っている場合には実質的に必須であり、一般的に検出精度も向上させます +2. **人物検出**: RT-DETRがテキストプロンプト（`person`）に基づいて人物のバウンディングボックスを検出します +3. **メッシュ予測**: SAM 3D Bodyが追跡されたフレームから全身の3Dメッシュを予測します。オプションのMoGeカメラ視野角（FOV）を使用すると、ソースビデオとの位置合わせをより正確に行えます +4. **表情**: MediaPipeベースのステップが表情を追加します。ベースモデルでは表情が検出されないためです +5. **スムージング**: メッシュシーケンスを時間経過に沿って平滑化します +6. **レンダリング**: ポーズファイル（GLB）を構築し、メッシュをビデオに再レンダリングして、出力ビデオとして保存します + +## ワークフローノードガイド + +### LoadVideo +- 入力ビデオを読み込みます +- サンプルビデオ: `woman_holding_water_glass.mp4` (テンプレートライブラリで利用可能) + +### Video Slice / GetVideoComponents +- 必要に応じてビデオをスライスにトリミングし、フレームに分割します + +### SAM3_VideoTrack +- フレーム全体にわたって被写体を追跡します (SAM3 ビデオトラッキング) +- パラメータ: 検出しきい値など + +### RTDETR_detect +- `CLIPTextEncode` プロンプト (`person`) に基づき、RT-DETR で人物を検出します + +### SAM3DBody_Loader / SAM3DBody_Predict +- SAM 3D Body 検出モデルを読み込み、全身の 3D メッシュを予測します + +### MoGeInference / MoGeGeometryToFOV (オプション) +- ビデオフレームからカメラの視野角 (FOV) を推定し、ソースビデオとの位置合わせをより正確にします + +### SAM3DBody_FaceExpression +- MediaPipe の顔検出を通じて表情を追加します + +### SAM3DBody_Smooth +- メッシュシーケンスを時間経過に沿って滑らかにします + +### BuildPoseFile +- 復元されたボディから GLB ポーズファイルを構築します + +### SAM3DBody_Render / Preview3D +- メッシュオーバーレイをレンダリングし、3D でプレビューします + +### CreateVideo / SaveVideo +- レンダリングしたオーバーレイをビデオに合成し、`ComfyUI/output/video/SAM3D_body/` に保存します + +## 実行手順 + +1. **ビデオを読み込む**: `LoadVideo` ノードを使用して人物のビデオを読み込みます +2. **ワークフローをキューに入れる**: Ctrl（macOSではCmd）+ Enterキーを押します +3. **パイプラインの完了を待つ**: トラッキング、検出、メッシュ予測、レンダリングが順番に実行されます +4. **結果を確認する**: `Preview3D` ノードでメッシュを確認します。オーバーレイビデオは `ComfyUI/output/video/SAM3D_body/` に保存されます + +## モデルのダウンロード + +SAM 3D Body モデルと必要なファイルをダウンロードし、対応する `models/` サブディレクトリに配置します。 + + + + sam3.1_multiplex_fp16.safetensors: 動画トラッキング用の SAM3 multiplex チェックポイント + + + sam_3d_body_dinov3_bf16.safetensors: SAM 3D Body 検出モデル (DINOv3 バックボーン) + + + moge_2_vitl_normal_fp16.safetensors: オプション。位置合わせ用のカメラ FOV 推定 + + + rt_detr_v4-x-hgnet_fp32.safetensors: RT-DETR 人物検出モデル + + + +### モデルの保存場所 + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 checkpoints/ +│ │ └── sam3.1_multiplex_fp16.safetensors +│ ├── 📂 detection/ +│ │ └── sam_3d_body_dinov3_bf16.safetensors +│ ├── 📂 geometry_estimation/ +│ │ └── moge_2_vitl_normal_fp16.safetensors +│ └── 📂 diffusion_models/ +│ └── rt_detr_v4-x-hgnet_fp32.safetensors +``` diff --git a/ko/tutorials/utility/sam3d-body.mdx b/ko/tutorials/utility/sam3d-body.mdx new file mode 100644 index 000000000..4baa7942b --- /dev/null +++ b/ko/tutorials/utility/sam3d-body.mdx @@ -0,0 +1,129 @@ +--- +title: "SAM 3D Body: ComfyUI에서 비디오로부터 3D 인체 메시 추출하기" +description: "SAM 3D Body를 사용하여 비디오에서 전신 3D 인체 메시를 추출하고, 포즈 및 형태 추정, 얼굴 표정, 렌더링된 메시 오버레이 비디오를 제공합니다." +sidebarTitle: "SAM 3D Body" +translationSourceHash: fe1cacf1 +translationFrom: tutorials/utility/sam3d-body.mdx +translationBlockHashes: + "_intro": 892aa34b + "How it works": f02ec8f2 + "Workflow node guide": e688e31b + "Steps to run": bd124afc + "Model downloads": 8931e430 +--- +**SAM 3D Body**는 단일 비디오에서 전신 3D 인간 메시를 복원하는 오픈소스 모델입니다. 비디오 추적, 사람 감지, 메시 예측을 결합하여 포즈, 형태, 표정을 포함한 인체를 재구성하고, 복원된 리그를 비디오에 다시 렌더링합니다. + +이 워크플로는 모션 캡처 프로토타이핑, 생체역학 분석, 캐릭터 애니메이션 프리비주얼라이제이션에 유용합니다. + +### SAM 3D Body: 비디오에서 3D 인간 메시 추출 {#utility_sam3d_body} + +사람의 비디오를 로드합니다. 포즈, 형태, 표정을 포함한 전신 3D 인간 메시를 추출하여 오버레이 비디오로 렌더링합니다. + +SAM 3D Body workflow preview + + + + + + 이 워크플로를 Comfy Cloud에서 즉시 실행하세요 + + + JSON을 다운로드하거나 템플릿 라이브러리에서 "SAM 3D Body: 비디오에서 3D 인간 메시 추출"을 검색하세요 + + + +**입력 자료** + +이 파일을 `LoadVideo` 노드에 업로드하세요: + + + + `LoadVideo` 노드 85 · `woman_holding_water_glass.mp4` + + + +## 작동 방식 + +1. **비디오 추적**: SAM3가 비디오 프레임 전체에서 인물을 추적합니다. 클립에 여러 명이 등장하는 경우 추적은 사실상 필수이며, 일반적으로 감지 정확도를 향상시킵니다. +2. **인물 감지**: RT-DETR이 텍스트 프롬프트(`person`)를 기반으로 인물의 바운딩 박스를 감지합니다. +3. **메시 예측**: SAM 3D Body는 추적된 프레임에서 전신 3D 메시를 예측하며, 선택적으로 MoGe 카메라 시야각을 사용하여 소스 비디오와 더 정확하게 정렬할 수 있습니다. +4. **얼굴 표정**: MediaPipe 기반 단계에서 얼굴 표정을 추가합니다. 베이스 모델은 이를 감지하지 못합니다. +5. **스무딩**: 메시 시퀀스를 시간에 따라 부드럽게 처리합니다. +6. **렌더링**: 포즈 파일(GLB)을 생성하고 메시를 비디오에 다시 렌더링한 다음 출력 비디오로 저장합니다. + +## 워크플로 노드 가이드 + +### LoadVideo +- 입력 비디오를 불러옵니다 +- 샘플 비디오: `woman_holding_water_glass.mp4` (템플릿 라이브러리에서 제공) + +### Video Slice / GetVideoComponents +- 선택적으로 비디오를 구간으로 자르고 프레임으로 분리합니다 + +### SAM3_VideoTrack +- 프레임 간 피사체를 추적합니다 (SAM3 비디오 트래킹) +- 파라미터: 감지 임계값 등 + +### RTDETR_detect +- `CLIPTextEncode` 프롬프트(`person`)에 따라 RT-DETR로 사람을 감지합니다 + +### SAM3DBody_Loader / SAM3DBody_Predict +- SAM 3D Body 감지 모델을 로드하고 전신 3D 메시를 예측합니다 + +### MoGeInference / MoGeGeometryToFOV (선택 사항) +- 비디오 프레임에서 카메라 FOV를 추정하여 소스 비디오와 더 정확하게 정렬합니다 + +### SAM3DBody_FaceExpression +- MediaPipe 얼굴 감지를 통해 표정을 추가합니다 + +### SAM3DBody_Smooth +- 메시 시퀀스를 시간에 따라 평활화합니다 + +### BuildPoseFile +- 복원된 바디에서 GLB 포즈 파일을 생성합니다 + +### SAM3DBody_Render / Preview3D +- 메시 오버레이를 렌더링하고 3D로 미리 봅니다 + +### CreateVideo / SaveVideo +- 렌더링된 오버레이를 비디오로 합성하고 `ComfyUI/output/video/SAM3D_body/`에 저장합니다 +## 실행 단계 + +1. **비디오 로드**: `LoadVideo` 노드를 사용하여 인물 비디오를 로드합니다. +2. **워크플로 실행 대기열에 추가**: Ctrl(macOS에서는 Cmd) + Enter를 누릅니다. +3. **파이프라인 대기**: 추적, 감지, 메시 예측, 렌더링이 순서대로 실행됩니다. +4. **결과 확인**: `Preview3D` 노드에서 메시를 확인합니다. 오버레이 비디오는 `ComfyUI/output/video/SAM3D_body/`에 저장됩니다. + +## 모델 다운로드 + +SAM 3D Body 모델과 필요한 파일을 다운로드하여 해당 `models/` 하위 디렉터리에 배치합니다. + + + + sam3.1_multiplex_fp16.safetensors: 비디오 트래킹용 SAM3 multiplex 체크포인트 + + + sam_3d_body_dinov3_bf16.safetensors: SAM 3D Body 감지 모델 (DINOv3 백본) + + + moge_2_vitl_normal_fp16.safetensors: 선택 사항. 정렬용 카메라 FOV 추정 + + + rt_detr_v4-x-hgnet_fp32.safetensors: RT-DETR 사람 감지 모델 + + + +### 모델 저장 위치 + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 checkpoints/ +│ │ └── sam3.1_multiplex_fp16.safetensors +│ ├── 📂 detection/ +│ │ └── sam_3d_body_dinov3_bf16.safetensors +│ ├── 📂 geometry_estimation/ +│ │ └── moge_2_vitl_normal_fp16.safetensors +│ └── 📂 diffusion_models/ +│ └── rt_detr_v4-x-hgnet_fp32.safetensors +``` diff --git a/tutorials/utility/sam3d-body.mdx b/tutorials/utility/sam3d-body.mdx new file mode 100644 index 000000000..be319cb3d --- /dev/null +++ b/tutorials/utility/sam3d-body.mdx @@ -0,0 +1,125 @@ +--- +title: "SAM 3D Body: Extract 3D Human Mesh From Video in ComfyUI" +description: "Extract a full-body 3D human mesh from a video using SAM 3D Body, with pose and shape estimation, face expressions, and a rendered mesh overlay video." +sidebarTitle: "SAM 3D Body" +--- + +import UpdateReminder from '/snippets/tutorials/update-reminder.mdx' + +**SAM 3D Body** is an open-source model that recovers a full-body 3D human mesh from a single video. It combines video tracking, person detection, and mesh prediction to reconstruct the human body with pose, shape, and face expressions, then renders the recovered rig back onto the video. + +The workflow is useful for motion capture prototyping, biomechanics analysis, and character animation previsualization. + +### SAM 3D Body: 3D Human Mesh Extraction From Video {#utility_sam3d_body} + +Load a video of a person. Extract a full-body 3D human mesh with pose, shape, and face expressions, rendered as an overlay video. + +SAM 3D Body workflow preview + + + + + + Run this workflow instantly on Comfy Cloud + + + Download JSON or search "SAM 3D Body: 3D Human Mesh Extraction From Video" in Template Library + + + +**Input materials** + +Upload this file to the `LoadVideo` node: + + + + `LoadVideo` node 85 · `woman_holding_water_glass.mp4` + + + +## How it works + +1. **Video tracking**: SAM3 tracks the person across the video frames. Tracking is practically required when multiple people appear in the clip, and improves detection accuracy in general +2. **Person detection**: RT-DETR detects the person bounding boxes, guided by the text prompt (`person`) +3. **Mesh prediction**: SAM 3D Body predicts the full-body 3D mesh from the tracked frames, with optional MoGe camera FOV for more accurate alignment with the source video +4. **Face expressions**: a MediaPipe-based step adds face expressions, which the base model does not detect +5. **Smoothing**: the mesh sequence is smoothed over time +6. **Rendering**: a pose file (GLB) is built and the mesh is rendered back onto the video, then saved as an output video + +## Workflow node guide + +### LoadVideo +- Loads your input video +- Sample video: `woman_holding_water_glass.mp4` (available in Template Library) + +### Video Slice / GetVideoComponents +- Optionally trim the video to a slice and split it into frames + +### SAM3_VideoTrack +- Tracks the subject across frames (SAM3 video tracking) +- Parameters: detection threshold, etc. + +### RTDETR_detect +- Detects the person with RT-DETR, guided by the `CLIPTextEncode` prompt (`person`) + +### SAM3DBody_Loader / SAM3DBody_Predict +- Loads the SAM 3D Body detection model and predicts the full-body 3D mesh + +### MoGeInference / MoGeGeometryToFOV (optional) +- Estimate the camera FOV from the video frames for more accurate alignment with the source video + +### SAM3DBody_FaceExpression +- Adds face expressions through MediaPipe face detection + +### SAM3DBody_Smooth +- Smooths the mesh sequence over time + +### BuildPoseFile +- Builds a GLB pose file from the recovered body + +### SAM3DBody_Render / Preview3D +- Renders the mesh overlay and previews it in 3D + +### CreateVideo / SaveVideo +- Composites the rendered overlay into a video and saves it to `ComfyUI/output/video/SAM3D_body/` + +## Steps to run + +1. **Load a video**: use the `LoadVideo` node to load a video of a person +2. **Queue the workflow**: press Ctrl (Cmd on macOS) + Enter +3. **Wait for the pipeline**: tracking, detection, mesh prediction, and rendering run in sequence +4. **View the result**: inspect the mesh in the `Preview3D` node. The overlay video is saved to `ComfyUI/output/video/SAM3D_body/` + +## Model downloads + +Download the SAM 3D Body model and required files. Place them in the corresponding `models/` subdirectories. + + + + sam3.1_multiplex_fp16.safetensors: SAM3 multiplex checkpoint for video tracking + + + sam_3d_body_dinov3_bf16.safetensors: SAM 3D Body detection model (DINOv3 backbone) + + + moge_2_vitl_normal_fp16.safetensors: optional camera FOV estimation for alignment + + + rt_detr_v4-x-hgnet_fp32.safetensors: RT-DETR person detection model + + + +### Model storage location + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 checkpoints/ +│ │ └── sam3.1_multiplex_fp16.safetensors +│ ├── 📂 detection/ +│ │ └── sam_3d_body_dinov3_bf16.safetensors +│ ├── 📂 geometry_estimation/ +│ │ └── moge_2_vitl_normal_fp16.safetensors +│ └── 📂 diffusion_models/ +│ └── rt_detr_v4-x-hgnet_fp32.safetensors +``` diff --git a/zh/tutorials/utility/sam3d-body.mdx b/zh/tutorials/utility/sam3d-body.mdx new file mode 100644 index 000000000..073d72a01 --- /dev/null +++ b/zh/tutorials/utility/sam3d-body.mdx @@ -0,0 +1,132 @@ +--- +title: "SAM 3D Body：在 ComfyUI 中从视频提取 3D 人体网格" +description: "使用 SAM 3D Body 从视频中提取全身 3D 人体网格，包含姿态与形状估计、面部表情以及渲染的网格叠加视频。" +sidebarTitle: "SAM 3D Body" +translationSourceHash: fe1cacf1 +translationFrom: tutorials/utility/sam3d-body.mdx +translationBlockHashes: + "_intro": 892aa34b + "How it works": f02ec8f2 + "Workflow node guide": e688e31b + "Steps to run": bd124afc + "Model downloads": 8931e430 +--- +import UpdateReminder from "/snippets/zh/tutorials/update-reminder.mdx" + +**SAM 3D Body** 是一个开源模型，可以从单个视频中恢复全身 3D 人体网格。它结合了视频追踪、人物检测和网格预测来重建人体，包括姿态、形状和面部表情，然后将恢复的绑定渲染回视频中。 + +该工作流可用于动作捕捉原型设计、生物力学分析和角色动画预可视化。 + +### SAM 3D Body：从视频中提取 3D 人体网格 {#utility_sam3d_body} + +加载一个人的视频。提取包含姿态、形状和面部表情的全身 3D 人体网格，并将其渲染为叠加视频。 + +SAM 3D Body 工作流预览 + + + + + + 在 Comfy Cloud 上立即运行此工作流 + + + 下载 JSON，或在模板库中搜索“SAM 3D Body: 3D Human Mesh Extraction From Video” + + + +**输入素材** + +将以下文件上传到 `LoadVideo` 节点： + + + + `LoadVideo` 节点 85 · `woman_holding_water_glass.mp4` + + + +## 工作原理 + +1. **视频跟踪**：SAM3 会在视频帧之间跟踪人物。当片段中出现多个人物时，跟踪实际上是必需的，并且总体上能提高检测精度。 +2. **人物检测**：RT-DETR 根据文本提示（`person`）检测人物边界框。 +3. **网格预测**：SAM 3D Body 根据跟踪帧预测全身 3D 网格，并可选使用 MoGe 相机视场，以便与来源视频更精确地对齐。 +4. **面部表情**：基于 MediaPipe 的步骤会添加面部表情，而基础模型无法检测到这些表情。 +5. **平滑处理**：网格序列会随时间进行平滑处理。 +6. **渲染**：构建姿态文件（GLB），将网格渲染回视频中，然后保存为输出视频。 + +## 工作流节点指南 + +### LoadVideo +- 加载您的输入视频 +- 示例视频：`woman_holding_water_glass.mp4`（可在模板库中找到） + +### Video Slice / GetVideoComponents +- 可选择将视频修剪为片段并拆分为帧 + +### SAM3_VideoTrack +- 跨帧跟踪主体（SAM3 视频跟踪） +- 参数：检测阈值等 + +### RTDETR_detect +- 通过 RT-DETR 检测人物，由 `CLIPTextEncode` 提示词（`person`）引导 + +### SAM3DBody_Loader / SAM3DBody_Predict +- 加载 SAM 3D Body 检测模型并预测全身 3D 网格 + +### MoGeInference / MoGeGeometryToFOV（可选） +- 根据视频帧估算相机视场，以便与来源视频进行更精确的对齐 + +### SAM3DBody_FaceExpression +- 通过 MediaPipe 人脸检测添加面部表情 + +### SAM3DBody_Smooth +- 随时间平滑网格序列 + +### BuildPoseFile +- 根据恢复的人体构建 GLB 姿态文件 + +### SAM3DBody_Render / Preview3D +- 渲染网格叠加层并在 3D 中预览 + +### CreateVideo / SaveVideo +- 将渲染的叠加层合成到视频中，并保存到 `ComfyUI/output/video/SAM3D_body/` + +## 运行步骤 + +1. **加载视频**：使用 `LoadVideo` 节点加载包含人物的视频 +2. **将工作流加入队列**：按 Ctrl（macOS 上为 Cmd）+ Enter 键 +3. **等待流水线处理**：跟踪、检测、网格预测和渲染依次运行 +4. **查看结果**：在 `Preview3D` 节点中检查网格。叠加视频保存到 `ComfyUI/output/video/SAM3D_body/` + +## 模型下载 + +下载 SAM 3D Body 模型和所需文件,放到对应的 `models/` 子目录中。 + + + + sam3.1_multiplex_fp16.safetensors: 用于视频追踪的 SAM3 multiplex 检查点 + + + sam_3d_body_dinov3_bf16.safetensors: SAM 3D Body 检测模型(DINOv3 主干) + + + moge_2_vitl_normal_fp16.safetensors: 可选,用于对齐的相机 FOV 估计 + + + rt_detr_v4-x-hgnet_fp32.safetensors: RT-DETR 人体检测模型 + + + +### 模型存储位置 + +``` +📂 ComfyUI/ +├── 📂 models/ +│ ├── 📂 checkpoints/ +│ │ └── sam3.1_multiplex_fp16.safetensors +│ ├── 📂 detection/ +│ │ └── sam_3d_body_dinov3_bf16.safetensors +│ ├── 📂 geometry_estimation/ +│ │ └── moge_2_vitl_normal_fp16.safetensors +│ └── 📂 diffusion_models/ +│ └── rt_detr_v4-x-hgnet_fp32.safetensors +``` From 95d2355d2671b072e4dab70ef12217b2c70c2777 Mon Sep 17 00:00:00 2001 From: lin-bot23 Date: Wed, 26 Aug 2026 00:45:07 +0800 Subject: [PATCH 4/9] docs: point Pixal3D/TRELLIS.2 pages at the shared switch workflow --- ja/tutorials/3d/pixal3d.mdx | 21 +++++++----- ja/tutorials/3d/trellis2.mdx | 24 ++++++++------ ko/tutorials/3d/pixal3d.mdx | 21 +++++++----- ko/tutorials/3d/trellis2.mdx | 24 ++++++++------ tutorials/3d/pixal3d.mdx | 15 ++++++--- tutorials/3d/trellis2.mdx | 18 +++++++---- zh/tutorials/3d/pixal3d.mdx | 21 +++++++----- zh/tutorials/3d/trellis2.mdx | 62 ++++++++---------------------------- 8 files changed, 103 insertions(+), 103 deletions(-) diff --git a/ja/tutorials/3d/pixal3d.mdx b/ja/tutorials/3d/pixal3d.mdx index 32d7c8bac..40452f806 100644 --- a/ja/tutorials/3d/pixal3d.mdx +++ b/ja/tutorials/3d/pixal3d.mdx @@ -2,12 +2,12 @@ title: "Pixal3D 画像からモデルへの ComfyUI ワークフロー例" description: "Pixal3D を使用して、1枚の画像からフル PBR テクスチャ付きの高忠実度 3Dモデルを生成します。Pixal3D は、Tencent ARC によるピクセル位置合わせ型の画像から 3Dモデルへの変換モデルです。" sidebarTitle: "Pixal3D" -translationSourceHash: ca1b58b7 +translationSourceHash: 436254a4 translationFrom: tutorials/3d/pixal3d.mdx translationBlockHashes: - "_intro": 5f9b463f + "_intro": 7efc7845 "How it works": 3650c7ea - "Workflow node guide": ed18954d + "Workflow node guide": d6ee0866 "Steps to run": ef1a68d5 "Model downloads": 68d44529 --- @@ -17,20 +17,22 @@ import UpdateReminder from "/snippets/ja/tutorials/update-reminder.mdx" ほとんどの3Dネイティブジェネレーターは、正準空間で形を合成し、アテンションを通じて画像の手がかりを注入するため、ピクセルと3Dの対応関係があいまいになります。一方、Pixal3D はピクセル整合生成を採用しています。バックプロジェクションによってピクセルと3Dの直接的な対応関係を確立するため、生成済みモデルの正面は入力画像と1:1で一致し、テクスチャのゆがみやずれが発生しません。 -### Pixal3D: 画像からモデルへ {#3d_pixal3d_image_to_model} +### Pixal3D: 画像からモデルへ {#pixal3d} 単一の画像をアップロードします。入力ビューに合わせて、完全なPBRテクスチャを持つ高忠実度の3Dモデルを生成します。 -Pixal3Dワークフローのプレビュー +このワークフローには TRELLIS.2 パイプラインも含まれています。`Boolean (Switch to Trellis2)` ノードはデフォルトで `false` となり、ここで説明する Pixal3D パイプラインが実行されます。 + +Pixal3Dワークフローのプレビュー - + このワークフローをComfy Cloudで即座に実行 - - JSONをダウンロードするか、テンプレートライブラリで「Pixal3D: Image to Model」を検索してください + + JSONをダウンロードするか、テンプレートライブラリで「Pixal3D & TRELLIS.2: Image to Model」を検索してください @@ -64,6 +66,9 @@ Pixal3D は、カメラ対応のピクセルアライン生成と、完全なメ - 入力画像（PNG/JPG）を読み込みます - サンプル画像: `viking_wolf_rune_axe.png`（テンプレートライブラリで利用可能） +### Boolean (Switch to Trellis2) +- パイプラインを選択: `false` で Pixal3D (デフォルト)、`true` で TRELLIS.2 + ### RemoveBackground / ImageCropToMask - BiRefNet で背景を除去し、被写体を中央の 1024×1024 キャンバスにトリミングします - `ComfySwitchNode` で背景除去のオン・オフを切り替えます diff --git a/ja/tutorials/3d/trellis2.mdx b/ja/tutorials/3d/trellis2.mdx index 8cf11294b..588e88c4f 100644 --- a/ja/tutorials/3d/trellis2.mdx +++ b/ja/tutorials/3d/trellis2.mdx @@ -2,13 +2,13 @@ title: "TRELLIS.2 画像からモデルへの ComfyUI ワークフロー例" description: "Microsoft のオープンソースである 4B パラメータの画像から 3D モデルへの変換モデル TRELLIS.2 を使用して、1 枚の画像からフル PBR テクスチャ付きの高忠実度 3D モデルを生成します。" sidebarTitle: "TRELLIS.2" -translationSourceHash: 1a2057ed +translationSourceHash: d1b07f84 translationFrom: tutorials/3d/trellis2.mdx translationBlockHashes: - "_intro": 8e653642 + "_intro": c8d5f0d5 "How it works": 3531db89 - "Workflow node guide": 58d7d6af - "Steps to run": 234b0cea + "Workflow node guide": a2c4bb68 + "Steps to run": 69db8419 "Model downloads": b305c0d6 --- @@ -18,20 +18,20 @@ import UpdateReminder from '/snippets/ja/tutorials/update-reminder.mdx' TRELLIS.2 は Pixal3D と基本アーキテクチャを共有しています。両方とも同じ DINOv3 画像エンコーダ、同じ形状・テクスチャ VAE、同じ構造・形状・テクスチャ生成ステージを使用します。異なるのはメインの diffusion モデルと条件付けの形式のみです。[Pixal3D ワークフロー](pixal3d) を実行したことがあれば、モデルのセットアップはほぼ同じです。 -### TRELLIS.2: 画像から3Dモデルへ {#3d_trellis2_image_to_model} +### TRELLIS.2: 画像から3Dモデルへ {#trellis2} 単一の画像をアップロードします。TRELLIS.2 を使用して、フルPBRテクスチャ付きの忠実度の高い3Dモデルを生成します。 -TRELLIS.2 ワークフローのプレビュー +TRELLIS.2 ワークフローのプレビュー - + このワークフローを Comfy Cloud で即座に実行します - - JSON をダウンロードするか、テンプレートライブラリで "TRELLIS.2: Image to Model" を検索してください + + JSON をダウンロードするか、テンプレートライブラリで "Pixal3D & TRELLIS.2: Image to Model" を検索してください @@ -54,6 +54,7 @@ TRELLIS.2 は Pixal3D と基本アーキテクチャを共有しています。 TRELLIS.2は、3つのdiffusionステージで3Dアセットを生成し、その後、完全なメッシュ後処理パイプラインを実行します。 1. **背景除去**: BiRefNetが入力画像から背景を除去し、ワークフローが被写体を中央配置の1024×1024キャンバスにクロップします。切り替えで背景除去をスキップできます +2. **TRELLIS.2 パイプラインに切り替え**: `Boolean (Switch to Trellis2)` を `true` に設定し、`UNETLoader` ノードで `trellis_2_bf16.safetensors` を読み込みます 2. **構造生成**: スパース構造latentがサンプリングされ、ボクセルにデコードされてから、ラフなメッシュに変換されます 3. **形状リファイン**: 形状ステージとアップサンプリングステージが、メッシュをターゲット解像度(1536)までリファインします 4. **テクスチャ生成**: テクスチャdiffusionステージがPBRマテリアルボクセル(ベース色、メタリック、ラフネス)を生成します @@ -65,6 +66,9 @@ TRELLIS.2は、3つのdiffusionステージで3Dアセットを生成し、そ - 入力画像（PNG/JPG）を読み込みます - サンプル画像: `viking_wolf_rune_axe.png`（テンプレートライブラリで利用可能） +### Boolean (Switch to Trellis2) +- パイプラインを選択: `false` で Pixal3D (デフォルト)、`true` で TRELLIS.2 + ### RemoveBackground / ImageCropToMask - BiRefNetで背景を除去し、被写体を中央寄せの1024×1024キャンバスにクロップします - `ComfySwitchNode`で背景除去のオン/オフを切り替えます @@ -104,7 +108,7 @@ TRELLIS.2は、3つのdiffusionステージで3Dアセットを生成し、そ 1. **画像を読み込む**：`LoadImage` ノードを使用して、オブジェクトの画像を1枚読み込みます。 2. **ワークフローをキューに入れる**：Ctrl（macOSではCmd）+ Enter を押します。 3. **パイプラインの完了を待つ**：構造、形状、テクスチャの各ステージが順番に実行され、続いてポストプロセッシングが行われます。 -4. **結果を表示する**：`Preview3DAdvanced` ノードでメッシュを確認します。GLBは `ComfyUI/output/3d/trellis2/` に保存されます。 +4. **結果を表示する**：`Preview3DAdvanced` ノードでメッシュを確認します。GLBは `ComfyUI/output/3d/pixal3d/` に保存されます。 ## モデルのダウンロード diff --git a/ko/tutorials/3d/pixal3d.mdx b/ko/tutorials/3d/pixal3d.mdx index 443bade6f..43044aa44 100644 --- a/ko/tutorials/3d/pixal3d.mdx +++ b/ko/tutorials/3d/pixal3d.mdx @@ -2,12 +2,12 @@ title: "Pixal3D 이미지 기반 3D 모델 생성 ComfyUI 워크플로 예제" description: "Tencent ARC의 픽셀 정렬 이미지 기반 3D 생성 모델인 Pixal3D를 사용해 단일 이미지에서 전체 PBR 텍스처가 포함된 고충실도 3D 모델을 생성하세요." sidebarTitle: "Pixal3D" -translationSourceHash: ca1b58b7 +translationSourceHash: 436254a4 translationFrom: tutorials/3d/pixal3d.mdx translationBlockHashes: - "_intro": 5f9b463f + "_intro": 7efc7845 "How it works": 3650c7ea - "Workflow node guide": ed18954d + "Workflow node guide": d6ee0866 "Steps to run": ef1a68d5 "Model downloads": 68d44529 --- @@ -17,20 +17,22 @@ import UpdateReminder from "/snippets/ko/tutorials/update-reminder.mdx" 대부분의 3D 네이티브 생성기는 형태를 캐노니컬 공간에서 합성하고 어텐션을 통해 이미지 신호를 주입하므로 픽셀-3D 연관성이 모호해집니다. 반면 Pixal3D는 픽셀 정렬 생성(pixel-aligned generation) 방식을 사용합니다. 역투영(back-projection)을 통해 픽셀-3D 대응 관계를 직접 설정하므로, 생성된 모델의 전면이 입력 이미지와 1:1로 일치하며 텍스처가 왜곡되거나 정렬이 어긋나지 않습니다. -### Pixal3D: 이미지를 3D 모델로 {#3d_pixal3d_image_to_model} +### Pixal3D: 이미지를 3D 모델로 {#pixal3d} 단일 이미지를 업로드하세요. 입력 뷰에 정렬된 전체 PBR 텍스처를 갖춘 고품질 3D 모델을 생성합니다. -Pixal3D 워크플로 미리보기 +이 워크플로에는 TRELLIS.2 파이프라인도 포함되어 있습니다. `Boolean (Switch to Trellis2)` 노드는 기본값이 `false`이며, 여기서 설명하는 Pixal3D 파이프라인이 실행됩니다. + +Pixal3D 워크플로 미리보기 - + 이 워크플로를 Comfy Cloud에서 즉시 실행하세요 - - JSON을 다운로드하거나 템플릿 라이브러리에서 "Pixal3D: Image to Model"을 검색하세요 + + JSON을 다운로드하거나 템플릿 라이브러리에서 "Pixal3D & TRELLIS.2: Image to Model"을 검색하세요 @@ -65,6 +67,9 @@ Pixal3D는 카메라 인식, 픽셀 정렬 생성과 완전한 메시 후처리 - 입력 이미지를 불러옵니다 (PNG/JPG) - 샘플 이미지: `viking_wolf_rune_axe.png` (템플릿 라이브러리에서 제공) +### Boolean (Switch to Trellis2) +- 파이프라인 선택: `false`는 Pixal3D(기본), `true`는 TRELLIS.2 + ### RemoveBackground / ImageCropToMask - BiRefNet으로 배경을 제거하고 피사체를 중앙 1024×1024 캔버스로 크롭합니다 - `ComfySwitchNode`로 배경 제거를 켜거나 끌 수 있습니다 diff --git a/ko/tutorials/3d/trellis2.mdx b/ko/tutorials/3d/trellis2.mdx index 12a7fb422..a371d8cfc 100644 --- a/ko/tutorials/3d/trellis2.mdx +++ b/ko/tutorials/3d/trellis2.mdx @@ -2,13 +2,13 @@ title: "TRELLIS.2 이미지 기반 3D 생성 ComfyUI 워크플로 예제" description: "Microsoft의 오픈소스 4B 파라미터 이미지 기반 3D 생성 모델인 TRELLIS.2를 사용하여 단일 이미지에서 전체 PBR 텍스처가 포함된 고품질 3D 모델을 생성합니다." sidebarTitle: "TRELLIS.2" -translationSourceHash: 1a2057ed +translationSourceHash: d1b07f84 translationFrom: tutorials/3d/trellis2.mdx translationBlockHashes: - "_intro": 8e653642 + "_intro": c8d5f0d5 "How it works": 3531db89 - "Workflow node guide": 58d7d6af - "Steps to run": 234b0cea + "Workflow node guide": a2c4bb68 + "Steps to run": 69db8419 "Model downloads": b305c0d6 --- @@ -18,20 +18,20 @@ import UpdateReminder from "/snippets/ko/tutorials/update-reminder.mdx" TRELLIS.2는 Pixal3D와 기본 아키텍처를 공유합니다. 두 모델 모두 동일한 DINOv3 이미지 인코더, 동일한 형태 및 텍스처 VAE, 동일한 구조·형태·텍스처 생성 단계를 사용합니다. 주요 diffusion 모델과 조건화 형식만 다릅니다. [Pixal3D 워크플로](pixal3d)를 실행해 본 적이 있다면 모델 설정은 거의 동일합니다. -### TRELLIS.2: 이미지를 모델로 {#3d_trellis2_image_to_model} +### TRELLIS.2: 이미지를 모델로 {#trellis2} 단일 이미지를 업로드하세요. TRELLIS.2를 사용하여 전체 PBR 텍스처가 포함된 고품질 3D 모델을 생성하세요. -TRELLIS.2 워크플로 미리보기 +TRELLIS.2 워크플로 미리보기 - + 이 워크플로를 Comfy Cloud에서 즉시 실행하세요. - - JSON을 다운로드하거나 템플릿 라이브러리에서 "TRELLIS.2: Image to Model"을 검색하세요. + + JSON을 다운로드하거나 템플릿 라이브러리에서 "Pixal3D & TRELLIS.2: Image to Model"을 검색하세요. @@ -54,6 +54,7 @@ TRELLIS.2는 Pixal3D와 기본 아키텍처를 공유합니다. 두 모델 모 TRELLIS.2는 세 개의 diffusion 단계를 거쳐 3D 에셋을 생성한 다음, 전체 메시 후처리 파이프라인을 실행합니다: 1. **배경 제거**: BiRefNet이 입력 이미지에서 배경을 제거하고, 워크플로는 피사체를 중앙 정렬된 1024×1024 캔버스로 크롭합니다. 전환을 사용하면 배경 제거를 건너뛸 수 있습니다. +2. **TRELLIS.2 파이프라인으로 전환**: `Boolean (Switch to Trellis2)`을 `true`로 설정하고 `UNETLoader` 노드에서 `trellis_2_bf16.safetensors`를 로드합니다 2. **구조 생성**: 희소 구조 잠재 데이터를 샘플링하여 복셀로 디코딩한 다음, 대략적인 메시로 변환합니다. 3. **형태 정제**: 형태 단계와 업샘플링 단계가 메시를 목표 해상도(1536)까지 정제합니다. 4. **텍스처 생성**: 텍스처 diffusion 단계가 PBR 재질 복셀(기본 색상, 금속성, 거칠기)을 생성합니다. @@ -65,6 +66,9 @@ TRELLIS.2는 세 개의 diffusion 단계를 거쳐 3D 에셋을 생성한 다음 - 입력 이미지(PNG/JPG)를 불러옵니다. - 샘플 이미지: `viking_wolf_rune_axe.png` (템플릿 라이브러리에서 사용 가능) +### Boolean (Switch to Trellis2) +- 파이프라인 선택: `false`는 Pixal3D(기본), `true`는 TRELLIS.2 + ### RemoveBackground / ImageCropToMask - BiRefNet으로 배경을 제거하고 피사체를 1024×1024 캔버스 중앙에 크롭합니다. - `ComfySwitchNode`는 배경 제거를 켜거나 끕니다. @@ -104,7 +108,7 @@ TRELLIS.2는 세 개의 diffusion 단계를 거쳐 3D 에셋을 생성한 다음 1. **이미지 로드**: `LoadImage` 노드를 사용하여 객체의 단일 이미지를 로드합니다. 2. **워크플로 실행 대기열에 추가**: Ctrl(macOS의 경우 Cmd) + Enter를 누릅니다. 3. **pipeline 대기**: 구조, 형태, 텍스처 단계가 순서대로 실행된 후 후처리가 이어집니다. -4. **결과 확인**: `Preview3DAdvanced` 노드에서 메시를 확인합니다. GLB 파일은 `ComfyUI/output/3d/trellis2/`에 저장됩니다. +4. **결과 확인**: `Preview3DAdvanced` 노드에서 메시를 확인합니다. GLB 파일은 `ComfyUI/output/3d/pixal3d/`에 저장됩니다. ## 모델 다운로드 diff --git a/tutorials/3d/pixal3d.mdx b/tutorials/3d/pixal3d.mdx index 084ad92ee..ee401beb8 100644 --- a/tutorials/3d/pixal3d.mdx +++ b/tutorials/3d/pixal3d.mdx @@ -10,20 +10,22 @@ import UpdateReminder from '/snippets/tutorials/update-reminder.mdx' Most 3D-native generators synthesize shapes in a canonical space and inject image cues through attention, which leaves pixel-to-3D associations ambiguous. Pixal3D instead uses pixel-aligned generation: it establishes direct pixel-to-3D correspondence through back-projection, so the front of the generated model matches your input image 1:1, with no warped or misaligned textures. -### Pixal3D: Image to Model {#3d_pixal3d_image_to_model} +### Pixal3D & TRELLIS.2: Image to Model {#pixal3d} Upload a single image. Generate a high-fidelity 3D model with full PBR textures, aligned to your input view. -Pixal3D workflow preview +This workflow also includes the TRELLIS.2 pipeline: the `Boolean (Switch to Trellis2)` node defaults to `false`, which runs the Pixal3D pipeline described here. + +Pixal3D workflow preview - + Run this workflow instantly on Comfy Cloud - - Download JSON or search "Pixal3D: Image to Model" in Template Library + + Download JSON or search "Pixal3D & TRELLIS.2: Image to Model" in Template Library @@ -58,6 +60,9 @@ Pixal3D combines camera-aware, pixel-aligned generation with a complete mesh pos - Loads your input image (PNG/JPG) - Sample image: `viking_wolf_rune_axe.png` (available in Template Library) +### Boolean (Switch to Trellis2) +- Selects the pipeline: `false` for Pixal3D (default), `true` for TRELLIS.2 + ### RemoveBackground / ImageCropToMask - Removes the background with BiRefNet and crops the subject to a centered 1024×1024 canvas - A `ComfySwitchNode` toggles background removal on or off diff --git a/tutorials/3d/trellis2.mdx b/tutorials/3d/trellis2.mdx index 38d8e93ba..13dbe8d06 100644 --- a/tutorials/3d/trellis2.mdx +++ b/tutorials/3d/trellis2.mdx @@ -10,20 +10,22 @@ import UpdateReminder from '/snippets/tutorials/update-reminder.mdx' TRELLIS.2 shares its base architecture with Pixal3D: both use the same DINOv3 image encoder, the same shape and texture VAEs, and the same structure, shape, and texture generation stages. Only the main diffusion model and the conditioning format differ. If you have run the [Pixal3D workflow](pixal3d), the model setup is almost identical. -### TRELLIS.2: Image to Model {#3d_trellis2_image_to_model} +### TRELLIS.2: Image to Model {#trellis2} Upload a single image. Generate a high-fidelity 3D model with full PBR textures using TRELLIS.2. -TRELLIS.2 workflow preview +This workflow also includes the Pixal3D pipeline. To run TRELLIS.2, set the `Boolean (Switch to Trellis2)` node to `true` and load `trellis_2_bf16.safetensors` in the `UNETLoader` node. + +TRELLIS.2 workflow preview - + Run this workflow instantly on Comfy Cloud - - Download JSON or search "TRELLIS.2: Image to Model" in Template Library + + Download JSON or search "Pixal3D & TRELLIS.2: Image to Model" in Template Library @@ -57,6 +59,9 @@ TRELLIS.2 generates a 3D asset in three diffusion stages and then runs a full me - Loads your input image (PNG/JPG) - Sample image: `viking_wolf_rune_axe.png` (available in Template Library) +### Boolean (Switch to Trellis2) +- Selects the pipeline: `false` for Pixal3D (default), `true` for TRELLIS.2 + ### RemoveBackground / ImageCropToMask - Removes the background with BiRefNet and crops the subject to a centered 1024×1024 canvas - A `ComfySwitchNode` toggles background removal on or off @@ -94,9 +99,10 @@ TRELLIS.2 generates a 3D asset in three diffusion stages and then runs a full me ## Steps to run 1. **Load an image**: use the `LoadImage` node to load a single image of the object +2. **Switch to the TRELLIS.2 pipeline**: set `Boolean (Switch to Trellis2)` to `true` and load `trellis_2_bf16.safetensors` in the `UNETLoader` node 2. **Queue the workflow**: press Ctrl (Cmd on macOS) + Enter 3. **Wait for the pipeline**: the structure, shape, and texture stages run in sequence, followed by post-processing -4. **View the result**: inspect the mesh in the `Preview3DAdvanced` node. The GLB is saved to `ComfyUI/output/3d/trellis2/` +4. **View the result**: inspect the mesh in the `Preview3DAdvanced` node. The GLB is saved to `ComfyUI/output/3d/pixal3d/` ## Model downloads diff --git a/zh/tutorials/3d/pixal3d.mdx b/zh/tutorials/3d/pixal3d.mdx index 8e446777e..9a170983c 100644 --- a/zh/tutorials/3d/pixal3d.mdx +++ b/zh/tutorials/3d/pixal3d.mdx @@ -2,12 +2,12 @@ title: "Pixal3D 图像到3D模型 ComfyUI 工作流示例" description: "使用 Pixal3D（腾讯 ARC 推出的像素对齐图像到3D模型），从单张图像生成具有完整 PBR 纹理的高保真 3D 模型。" sidebarTitle: "Pixal3D" -translationSourceHash: ca1b58b7 +translationSourceHash: 436254a4 translationFrom: tutorials/3d/pixal3d.mdx translationBlockHashes: - "_intro": 5f9b463f + "_intro": 7efc7845 "How it works": 3650c7ea - "Workflow node guide": ed18954d + "Workflow node guide": d6ee0866 "Steps to run": ef1a68d5 "Model downloads": 68d44529 --- @@ -17,20 +17,22 @@ import UpdateReminder from "/snippets/zh/tutorials/update-reminder.mdx" 大多数3D原生生成器在规范空间中合成形状，并通过注意力注入图像线索，这导致像素与3D之间的关联不明确。Pixal3D 则采用像素对齐生成：通过反投影建立像素与3D的直接对应关系，因此已生成模型的正面与你的输入图像1:1匹配，不会出现纹理扭曲或错位。 -### Pixal3D：图像到模型 {#3d_pixal3d_image_to_model} +### Pixal3D：图像到模型 {#pixal3d} 上传单张图像。生成一个具有完整PBR纹理的高保真3D模型，并与你的输入视角对齐。 -Pixal3D 工作流预览 +该工作流同时包含 TRELLIS.2 管线:`Boolean (Switch to Trellis2)` 节点默认为 `false`,即运行此处描述的 Pixal3D 管线。 + +Pixal3D 工作流预览 - + 在Comfy Cloud上立即运行此工作流 - - 下载JSON或在模板库中搜索 "Pixal3D: Image to Model" + + 下载JSON或在模板库中搜索 "Pixal3D & TRELLIS.2: Image to Model" @@ -65,6 +67,9 @@ Pixal3D 将相机感知、像素对齐的生成与完整的网格后处理 pipel - 加载您的输入图像（PNG/JPG） - 示例图像：`viking_wolf_rune_axe.png`（可在模板库中获取） +### Boolean (Switch to Trellis2) +- 选择管线:`false` 为 Pixal3D(默认),`true` 为 TRELLIS.2 + ### RemoveBackground（移除背景）/ ImageCropToMask（按蒙版裁剪图像） - 使用 BiRefNet 移除背景，并将主体裁剪到居中的 1024×1024 画布上 - `ComfySwitchNode` 用于切换背景移除功能的开启或关闭 diff --git a/zh/tutorials/3d/trellis2.mdx b/zh/tutorials/3d/trellis2.mdx index 2692df046..f962dbbfb 100644 --- a/zh/tutorials/3d/trellis2.mdx +++ b/zh/tutorials/3d/trellis2.mdx @@ -2,13 +2,13 @@ title: "TRELLIS.2 图像到模型 ComfyUI 工作流示例" description: "使用 TRELLIS.2（微软的开源 4B 参数图像到 3D 模型），从单个图像生成具有完整 PBR 纹理的高保真 3D 模型。" sidebarTitle: "TRELLIS.2" -translationSourceHash: 1a2057ed +translationSourceHash: d1b07f84 translationFrom: tutorials/3d/trellis2.mdx translationBlockHashes: - "_intro": 8e653642 + "_intro": c8d5f0d5 "How it works": 3531db89 - "Workflow node guide": 58d7d6af - "Steps to run": 234b0cea + "Workflow node guide": a2c4bb68 + "Steps to run": 69db8419 "Model downloads": b305c0d6 --- @@ -19,20 +19,20 @@ import UpdateReminder from "/snippets/zh/tutorials/update-reminder.mdx" TRELLIS.2 与 Pixal3D 共享基础架构：两者使用相同的 DINOv3 图像编码器、相同的形状和纹理 VAE，以及相同的结构、形状和纹理生成阶段。只有主要的扩散模型和条件格式有所不同。如果你已经运行过 [Pixal3D 工作流](pixal3d)，模型设置几乎完全相同。 -### TRELLIS.2：图像到模型 {#3d_trellis2_image_to_model} +### TRELLIS.2：图像到模型 {#trellis2} 上传单张图像。使用 TRELLIS.2 生成带有完整 PBR 纹理的高保真3D模型。 -TRELLIS.2 工作流预览 +TRELLIS.2 工作流预览 - + 立即在 Comfy Cloud 上运行此工作流 - - 下载 JSON，或在模板库中搜索“TRELLIS.2: Image to Model” + + 下载 JSON，或在模板库中搜索“Pixal3D & TRELLIS.2: Image to Model” @@ -50,49 +50,12 @@ TRELLIS.2 与 Pixal3D 共享基础架构：两者使用相同的 DINOv3 图像 输入图像 - -import UpdateReminder from '/snippets/tutorials/update-reminder.mdx' - -**TRELLIS.2** is an open-source image-to-3D model from Microsoft Research, and the successor to TRELLIS. It is a 4B-parameter model built on native 3D VAEs with 16× spatial compression and a sparse voxel representation called O-Voxel, producing detailed 3D assets with full PBR materials from a single image. - -TRELLIS.2 shares its base architecture with Pixal3D: both use the same DINOv3 image encoder, the same shape and texture VAEs, and the same structure, shape, and texture generation stages. Only the main diffusion model and the conditioning format differ. If you have run the [Pixal3D workflow](pixal3d), the model setup is almost identical. - -### TRELLIS.2: Image to Model {#3d_trellis2_image_to_model} - -Upload a single image. Generate a high-fidelity 3D model with full PBR textures using TRELLIS.2. - -TRELLIS.2 workflow preview - - - - - - Run this workflow instantly on Comfy Cloud - - - Download JSON or search "TRELLIS.2: Image to Model" in Template Library - - - -**Input materials** - -Upload this file to the `LoadImage` node: - - - - `LoadImage` node 122 · `viking_wolf_rune_axe.png` - - - -
- Input image -
- ## 工作原理 TRELLIS.2 通过三个扩散阶段生成 3D 资产,然后运行完整的网格后处理管线: 1. **背景移除**: BiRefNet 移除输入图像的背景,工作流将主体裁剪到居中的 1024×1024 画布。可通过开关跳过背景移除 +2. **切换到 TRELLIS.2 管线**:将 `Boolean (Switch to Trellis2)` 设为 `true`,并在 `UNETLoader` 节点加载 `trellis_2_bf16.safetensors` 2. **结构生成**: 采样稀疏结构潜变量,解码为体素,再转换为粗略网格 3. **形状细化**: 形状阶段和上采样阶段将网格细化到目标分辨率(1536) 4. **纹理生成**: 纹理扩散阶段生成 PBR 材质体素(基色、金属度、粗糙度) @@ -104,6 +67,9 @@ TRELLIS.2 通过三个扩散阶段生成 3D 资产,然后运行完整的网格 - 加载您的输入图像（PNG/JPG） - 示例图像：`viking_wolf_rune_axe.png`（可在模板库中获取） +### Boolean (Switch to Trellis2) +- 选择管线:`false` 为 Pixal3D(默认),`true` 为 TRELLIS.2 + ### RemoveBackground / ImageCropToMask - 使用 BiRefNet 移除背景，并将主体裁剪到居中的 1024×1024 画布 - `ComfySwitchNode` 用于切换背景移除的开启或关闭 @@ -143,7 +109,7 @@ TRELLIS.2 通过三个扩散阶段生成 3D 资产,然后运行完整的网格 1. **加载图像**：使用 `LoadImage` 节点加载对象的单个图像 2. **将工作流加入队列**：按 Ctrl（macOS 上为 Cmd）+ Enter 3. **等待工作流执行**：结构、形状和纹理阶段依次运行，随后进行后处理 -4. **查看结果**：在 `Preview3DAdvanced` 节点中检查网格。GLB 文件将保存到 `ComfyUI/output/3d/trellis2/` +4. **查看结果**：在 `Preview3DAdvanced` 节点中检查网格。GLB 文件将保存到 `ComfyUI/output/3d/pixal3d/` ## 模型下载 From a0fe59e7308bd28b32723bb39fb36213c0187c50 Mon Sep 17 00:00:00 2001 From: lin-bot23 Date: Wed, 26 Aug 2026 03:08:13 +0800 Subject: [PATCH 5/9] docs: update Pixal3D/TRELLIS.2 pages for the auto-switch workflow (#1192) --- ja/tutorials/3d/pixal3d.mdx | 33 +++++++++++++++++++-------------- ja/tutorials/3d/trellis2.mdx | 35 +++++++++++++++++++++-------------- ko/tutorials/3d/pixal3d.mdx | 33 +++++++++++++++++++-------------- ko/tutorials/3d/trellis2.mdx | 35 +++++++++++++++++++++-------------- tutorials/3d/pixal3d.mdx | 27 ++++++++++++++++----------- tutorials/3d/trellis2.mdx | 33 +++++++++++++++++++-------------- zh/tutorials/3d/pixal3d.mdx | 33 +++++++++++++++++++-------------- zh/tutorials/3d/trellis2.mdx | 35 +++++++++++++++++++++-------------- 8 files changed, 155 insertions(+), 109 deletions(-) diff --git a/ja/tutorials/3d/pixal3d.mdx b/ja/tutorials/3d/pixal3d.mdx index 40452f806..6ef542579 100644 --- a/ja/tutorials/3d/pixal3d.mdx +++ b/ja/tutorials/3d/pixal3d.mdx @@ -2,14 +2,14 @@ title: "Pixal3D 画像からモデルへの ComfyUI ワークフロー例" description: "Pixal3D を使用して、1枚の画像からフル PBR テクスチャ付きの高忠実度 3Dモデルを生成します。Pixal3D は、Tencent ARC によるピクセル位置合わせ型の画像から 3Dモデルへの変換モデルです。" sidebarTitle: "Pixal3D" -translationSourceHash: 436254a4 +translationSourceHash: 20887b6b translationFrom: tutorials/3d/pixal3d.mdx translationBlockHashes: - "_intro": 7efc7845 - "How it works": 3650c7ea - "Workflow node guide": d6ee0866 - "Steps to run": ef1a68d5 - "Model downloads": 68d44529 + "_intro": ebe506d7 + "How it works": 30b7a245 + "Workflow node guide": cb054f3b + "Steps to run": 1a7d044c + "Model downloads": 890d9666 --- import UpdateReminder from "/snippets/ja/tutorials/update-reminder.mdx" @@ -21,7 +21,7 @@ import UpdateReminder from "/snippets/ja/tutorials/update-reminder.mdx" 単一の画像をアップロードします。入力ビューに合わせて、完全なPBRテクスチャを持つ高忠実度の3Dモデルを生成します。 -このワークフローには TRELLIS.2 パイプラインも含まれています。`Boolean (Switch to Trellis2)` ノードはデフォルトで `false` となり、ここで説明する Pixal3D パイプラインが実行されます。 +このワークフローには TRELLIS.2 パイプラインも含まれています。`Boolean (Switch to Trellis2)` ノードはデフォルトで `false` となり、ここで説明する Pixal3D パイプラインが実行され、Pixal3D モデルも自動的に読み込まれます。 Pixal3Dワークフローのプレビュー @@ -68,6 +68,7 @@ Pixal3D は、カメラ対応のピクセルアライン生成と、完全なメ ### Boolean (Switch to Trellis2) - パイプラインを選択: `false` で Pixal3D (デフォルト)、`true` で TRELLIS.2 +- モデルのチェックポイントと条件付けも同時に切り替わります ### RemoveBackground / ImageCropToMask - BiRefNet で背景を除去し、被写体を中央の 1024×1024 キャンバスにトリミングします @@ -103,7 +104,7 @@ Pixal3D は、カメラ対応のピクセルアライン生成と、完全なメ ### ApplyTextureToMesh / PaintMesh - ベイクしたマップをローポリメッシュに適用し、頂点色をペイントします -### SaveGLB / Preview3DAdvanced +### Save3DAdvanced / Preview3DAdvanced - 結果を GLB ファイルとして保存し、3D でプレビューします ## 実行手順 @@ -111,17 +112,20 @@ Pixal3D は、カメラ対応のピクセルアライン生成と、完全なメ 1. **画像を読み込む**: `LoadImage` ノードを使用して、オブジェクトの画像を1枚読み込みます 2. **ワークフローをキューに投入する**: Ctrl（macOS では Cmd）+ Enter キーを押します 3. **パイプラインを待つ**: 構造、形状、テクスチャの各ステージが順番に実行され、その後、後処理が続きます -4. **結果を確認する**: `Preview3DAdvanced` ノードでメッシュを確認します。GLB は `ComfyUI/output/3d/pixal3d/` に保存されます +4. **結果を確認する**: `Preview3DAdvanced` ノードでメッシュを確認します。GLB は `ComfyUI/output/3d/ComfyUI/` に保存されます ## モデルのダウンロード -Pixal3D モデルと必要なファイルをダウンロードし、対応する `models/` サブディレクトリに配置します。 +このワークフローで使用するモデルをダウンロードします。2 つの拡散モデルの両方が必要です。スイッチがどちらを実行するかを選択します。対応する `models/` サブディレクトリに配置します。 - - pixal3d_bf16.safetensors: Pixal3D 拡散モデル。int8_convrot 版も利用可能です + + pixal3d_int8_convrot.safetensors: Pixal3D 拡散モデル。int8_convrot 版も利用可能です - + + trellis_2_int8_convrot.safetensors: TRELLIS.2 拡散モデル（スイッチが `true` のときに読み込み） + + trellis_2_shape_vae_bf16.safetensors: 構造とシェイプのデコード用 VAE @@ -144,7 +148,8 @@ Pixal3D モデルと必要なファイルをダウンロードし、対応する 📂 ComfyUI/ ├── 📂 models/ │ ├── 📂 diffusion_models/ -│ │ └── pixal3d_bf16.safetensors +│ │ ├── trellis_2_int8_convrot.safetensors +│ │ └── pixal3d_int8_convrot.safetensors │ ├── 📂 vae/ │ │ ├── trellis_2_shape_vae_bf16.safetensors │ │ └── trellis_2_texture_vae_bf16.safetensors diff --git a/ja/tutorials/3d/trellis2.mdx b/ja/tutorials/3d/trellis2.mdx index 588e88c4f..190c3ce3b 100644 --- a/ja/tutorials/3d/trellis2.mdx +++ b/ja/tutorials/3d/trellis2.mdx @@ -2,14 +2,14 @@ title: "TRELLIS.2 画像からモデルへの ComfyUI ワークフロー例" description: "Microsoft のオープンソースである 4B パラメータの画像から 3D モデルへの変換モデル TRELLIS.2 を使用して、1 枚の画像からフル PBR テクスチャ付きの高忠実度 3D モデルを生成します。" sidebarTitle: "TRELLIS.2" -translationSourceHash: d1b07f84 +translationSourceHash: 0bb7786a translationFrom: tutorials/3d/trellis2.mdx translationBlockHashes: - "_intro": c8d5f0d5 - "How it works": 3531db89 - "Workflow node guide": a2c4bb68 - "Steps to run": 69db8419 - "Model downloads": b305c0d6 + "_intro": a3454090 + "How it works": e79c0e78 + "Workflow node guide": 862f55ae + "Steps to run": f899f7e5 + "Model downloads": 125142da --- import UpdateReminder from '/snippets/ja/tutorials/update-reminder.mdx' @@ -22,6 +22,8 @@ TRELLIS.2 は Pixal3D と基本アーキテクチャを共有しています。 単一の画像をアップロードします。TRELLIS.2 を使用して、フルPBRテクスチャ付きの忠実度の高い3Dモデルを生成します。 +このワークフローには Pixal3D パイプラインも含まれています。TRELLIS.2 を実行するには、`Boolean (Switch to Trellis2)` ノードを `true` に設定します。ワークフローが TRELLIS.2 のモデルと条件付けに自動的に切り替わります。 + TRELLIS.2 ワークフローのプレビュー @@ -54,7 +56,7 @@ TRELLIS.2 は Pixal3D と基本アーキテクチャを共有しています。 TRELLIS.2は、3つのdiffusionステージで3Dアセットを生成し、その後、完全なメッシュ後処理パイプラインを実行します。 1. **背景除去**: BiRefNetが入力画像から背景を除去し、ワークフローが被写体を中央配置の1024×1024キャンバスにクロップします。切り替えで背景除去をスキップできます -2. **TRELLIS.2 パイプラインに切り替え**: `Boolean (Switch to Trellis2)` を `true` に設定し、`UNETLoader` ノードで `trellis_2_bf16.safetensors` を読み込みます +2. **TRELLIS.2 パイプラインに切り替え**: `Boolean (Switch to Trellis2)` を `true` に設定します。ワークフローが TRELLIS.2 モデルを自動的に読み込みます 2. **構造生成**: スパース構造latentがサンプリングされ、ボクセルにデコードされてから、ラフなメッシュに変換されます 3. **形状リファイン**: 形状ステージとアップサンプリングステージが、メッシュをターゲット解像度(1536)までリファインします 4. **テクスチャ生成**: テクスチャdiffusionステージがPBRマテリアルボクセル(ベース色、メタリック、ラフネス)を生成します @@ -68,6 +70,7 @@ TRELLIS.2は、3つのdiffusionステージで3Dアセットを生成し、そ ### Boolean (Switch to Trellis2) - パイプラインを選択: `false` で Pixal3D (デフォルト)、`true` で TRELLIS.2 +- モデルのチェックポイントと条件付けも同時に切り替わります ### RemoveBackground / ImageCropToMask - BiRefNetで背景を除去し、被写体を中央寄せの1024×1024キャンバスにクロップします @@ -100,7 +103,7 @@ TRELLIS.2は、3つのdiffusionステージで3Dアセットを生成し、そ ### ApplyTextureToMesh / PaintMesh - ベイクされたマップをローポリメッシュに適用し、頂点色をペイントします -### SaveGLB / Preview3DAdvanced +### Save3DAdvanced / Preview3DAdvanced - 結果をGLBファイルとして保存し、3Dでプレビューします ## 実行手順 @@ -108,17 +111,20 @@ TRELLIS.2は、3つのdiffusionステージで3Dアセットを生成し、そ 1. **画像を読み込む**：`LoadImage` ノードを使用して、オブジェクトの画像を1枚読み込みます。 2. **ワークフローをキューに入れる**：Ctrl（macOSではCmd）+ Enter を押します。 3. **パイプラインの完了を待つ**：構造、形状、テクスチャの各ステージが順番に実行され、続いてポストプロセッシングが行われます。 -4. **結果を表示する**：`Preview3DAdvanced` ノードでメッシュを確認します。GLBは `ComfyUI/output/3d/pixal3d/` に保存されます。 +4. **結果を表示する**：`Preview3DAdvanced` ノードでメッシュを確認します。GLBは `ComfyUI/output/3d/ComfyUI/` に保存されます。 ## モデルのダウンロード -TRELLIS.2 モデルと必要なファイルをダウンロードし、対応する `models/` サブディレクトリに配置します。 +このワークフローで使用するモデルをダウンロードします。2 つの拡散モデルの両方が必要です。スイッチがどちらを実行するかを選択します。対応する `models/` サブディレクトリに配置します。 - - trellis_2_bf16.safetensors: TRELLIS.2 拡散モデル。int8_convrot 版も利用可能です + + trellis_2_int8_convrot.safetensors: TRELLIS.2 拡散モデル。int8_convrot 版も利用可能です + + + pixal3d_int8_convrot.safetensors: Pixal3D 拡散モデル（デフォルトで読み込み） - + trellis_2_shape_vae_bf16.safetensors: 構造とシェイプのデコード用 VAE @@ -138,7 +144,8 @@ TRELLIS.2 モデルと必要なファイルをダウンロードし、対応す 📂 ComfyUI/ ├── 📂 models/ │ ├── 📂 diffusion_models/ -│ │ └── trellis_2_bf16.safetensors +│ │ ├── pixal3d_int8_convrot.safetensors +│ │ └── trellis_2_int8_convrot.safetensors │ ├── 📂 vae/ │ │ ├── trellis_2_shape_vae_bf16.safetensors │ │ └── trellis_2_texture_vae_bf16.safetensors diff --git a/ko/tutorials/3d/pixal3d.mdx b/ko/tutorials/3d/pixal3d.mdx index 43044aa44..466123d38 100644 --- a/ko/tutorials/3d/pixal3d.mdx +++ b/ko/tutorials/3d/pixal3d.mdx @@ -2,14 +2,14 @@ title: "Pixal3D 이미지 기반 3D 모델 생성 ComfyUI 워크플로 예제" description: "Tencent ARC의 픽셀 정렬 이미지 기반 3D 생성 모델인 Pixal3D를 사용해 단일 이미지에서 전체 PBR 텍스처가 포함된 고충실도 3D 모델을 생성하세요." sidebarTitle: "Pixal3D" -translationSourceHash: 436254a4 +translationSourceHash: 20887b6b translationFrom: tutorials/3d/pixal3d.mdx translationBlockHashes: - "_intro": 7efc7845 - "How it works": 3650c7ea - "Workflow node guide": d6ee0866 - "Steps to run": ef1a68d5 - "Model downloads": 68d44529 + "_intro": ebe506d7 + "How it works": 30b7a245 + "Workflow node guide": cb054f3b + "Steps to run": 1a7d044c + "Model downloads": 890d9666 --- import UpdateReminder from "/snippets/ko/tutorials/update-reminder.mdx" @@ -21,7 +21,7 @@ import UpdateReminder from "/snippets/ko/tutorials/update-reminder.mdx" 단일 이미지를 업로드하세요. 입력 뷰에 정렬된 전체 PBR 텍스처를 갖춘 고품질 3D 모델을 생성합니다. -이 워크플로에는 TRELLIS.2 파이프라인도 포함되어 있습니다. `Boolean (Switch to Trellis2)` 노드는 기본값이 `false`이며, 여기서 설명하는 Pixal3D 파이프라인이 실행됩니다. +이 워크플로에는 TRELLIS.2 파이프라인도 포함되어 있습니다. `Boolean (Switch to Trellis2)` 노드는 기본값이 `false`이며, 여기서 설명하는 Pixal3D 파이프라인이 실행되고 Pixal3D 모델도 자동으로 로드됩니다. Pixal3D 워크플로 미리보기 @@ -69,6 +69,7 @@ Pixal3D는 카메라 인식, 픽셀 정렬 생성과 완전한 메시 후처리 ### Boolean (Switch to Trellis2) - 파이프라인 선택: `false`는 Pixal3D(기본), `true`는 TRELLIS.2 +- 모델 체크포인트와 컨디셔닝도 함께 전환됩니다 ### RemoveBackground / ImageCropToMask - BiRefNet으로 배경을 제거하고 피사체를 중앙 1024×1024 캔버스로 크롭합니다 @@ -104,24 +105,27 @@ Pixal3D는 카메라 인식, 픽셀 정렬 생성과 완전한 메시 후처리 ### ApplyTextureToMesh / PaintMesh - 베이크된 맵을 저폴리 메시에 적용하고 버텍스 컬러를 페인팅합니다 -### SaveGLB / Preview3DAdvanced +### Save3DAdvanced / Preview3DAdvanced - 결과를 GLB 파일로 저장하고 3D로 미리 봅니다 ## 실행 단계 1. **이미지 로드**: `LoadImage` 노드를 사용하여 객체의 단일 이미지를 로드합니다 2. **워크플로 실행 대기열에 추가**: Ctrl(macOS: Cmd) + Enter를 누릅니다 3. **파이프라인 대기**: 구조, 형태, 텍스처 단계가 순서대로 실행된 후 후처리가 진행됩니다. -4. **결과 확인**: `Preview3DAdvanced` 노드에서 메시를 확인합니다. GLB 파일은 `ComfyUI/output/3d/pixal3d/`에 저장됩니다 +4. **결과 확인**: `Preview3DAdvanced` 노드에서 메시를 확인합니다. GLB 파일은 `ComfyUI/output/3d/ComfyUI/`에 저장됩니다 ## 모델 다운로드 -Pixal3D 모델과 필요한 파일을 다운로드하여 해당 `models/` 하위 디렉터리에 배치합니다. +이 워크플로에서 사용하는 모델을 다운로드합니다. 두 확산 모델이 모두 필요합니다. 스위치가 어떤 모델을 실행할지 선택합니다. 해당 `models/` 하위 디렉터리에 배치합니다. - - pixal3d_bf16.safetensors: Pixal3D 확산 모델. int8_convrot 버전도 사용할 수 있습니다 + + pixal3d_int8_convrot.safetensors: Pixal3D 확산 모델. int8_convrot 버전도 사용할 수 있습니다 - + + trellis_2_int8_convrot.safetensors: TRELLIS.2 확산 모델 (스위치가 `true`일 때 로드) + + trellis_2_shape_vae_bf16.safetensors: 구조 및 셰이프 디코딩용 VAE @@ -144,7 +148,8 @@ Pixal3D 모델과 필요한 파일을 다운로드하여 해당 `models/` 하위 📂 ComfyUI/ ├── 📂 models/ │ ├── 📂 diffusion_models/ -│ │ └── pixal3d_bf16.safetensors +│ │ ├── trellis_2_int8_convrot.safetensors +│ │ └── pixal3d_int8_convrot.safetensors │ ├── 📂 vae/ │ │ ├── trellis_2_shape_vae_bf16.safetensors │ │ └── trellis_2_texture_vae_bf16.safetensors diff --git a/ko/tutorials/3d/trellis2.mdx b/ko/tutorials/3d/trellis2.mdx index a371d8cfc..8b52d5e0c 100644 --- a/ko/tutorials/3d/trellis2.mdx +++ b/ko/tutorials/3d/trellis2.mdx @@ -2,14 +2,14 @@ title: "TRELLIS.2 이미지 기반 3D 생성 ComfyUI 워크플로 예제" description: "Microsoft의 오픈소스 4B 파라미터 이미지 기반 3D 생성 모델인 TRELLIS.2를 사용하여 단일 이미지에서 전체 PBR 텍스처가 포함된 고품질 3D 모델을 생성합니다." sidebarTitle: "TRELLIS.2" -translationSourceHash: d1b07f84 +translationSourceHash: 0bb7786a translationFrom: tutorials/3d/trellis2.mdx translationBlockHashes: - "_intro": c8d5f0d5 - "How it works": 3531db89 - "Workflow node guide": a2c4bb68 - "Steps to run": 69db8419 - "Model downloads": b305c0d6 + "_intro": a3454090 + "How it works": e79c0e78 + "Workflow node guide": 862f55ae + "Steps to run": f899f7e5 + "Model downloads": 125142da --- import UpdateReminder from "/snippets/ko/tutorials/update-reminder.mdx" @@ -22,6 +22,8 @@ TRELLIS.2는 Pixal3D와 기본 아키텍처를 공유합니다. 두 모델 모 단일 이미지를 업로드하세요. TRELLIS.2를 사용하여 전체 PBR 텍스처가 포함된 고품질 3D 모델을 생성하세요. +이 워크플로에는 Pixal3D 파이프라인도 포함되어 있습니다. TRELLIS.2를 실행하려면 `Boolean (Switch to Trellis2)` 노드를 `true`로 설정합니다. 워크플로가 TRELLIS.2 모델과 컨디셔닝으로 자동 전환됩니다. + TRELLIS.2 워크플로 미리보기 @@ -54,7 +56,7 @@ TRELLIS.2는 Pixal3D와 기본 아키텍처를 공유합니다. 두 모델 모 TRELLIS.2는 세 개의 diffusion 단계를 거쳐 3D 에셋을 생성한 다음, 전체 메시 후처리 파이프라인을 실행합니다: 1. **배경 제거**: BiRefNet이 입력 이미지에서 배경을 제거하고, 워크플로는 피사체를 중앙 정렬된 1024×1024 캔버스로 크롭합니다. 전환을 사용하면 배경 제거를 건너뛸 수 있습니다. -2. **TRELLIS.2 파이프라인으로 전환**: `Boolean (Switch to Trellis2)`을 `true`로 설정하고 `UNETLoader` 노드에서 `trellis_2_bf16.safetensors`를 로드합니다 +2. **TRELLIS.2 파이프라인으로 전환**: `Boolean (Switch to Trellis2)`을 `true`로 설정합니다. 워크플로가 TRELLIS.2 모델을 자동으로 로드합니다 2. **구조 생성**: 희소 구조 잠재 데이터를 샘플링하여 복셀로 디코딩한 다음, 대략적인 메시로 변환합니다. 3. **형태 정제**: 형태 단계와 업샘플링 단계가 메시를 목표 해상도(1536)까지 정제합니다. 4. **텍스처 생성**: 텍스처 diffusion 단계가 PBR 재질 복셀(기본 색상, 금속성, 거칠기)을 생성합니다. @@ -68,6 +70,7 @@ TRELLIS.2는 세 개의 diffusion 단계를 거쳐 3D 에셋을 생성한 다음 ### Boolean (Switch to Trellis2) - 파이프라인 선택: `false`는 Pixal3D(기본), `true`는 TRELLIS.2 +- 모델 체크포인트와 컨디셔닝도 함께 전환됩니다 ### RemoveBackground / ImageCropToMask - BiRefNet으로 배경을 제거하고 피사체를 1024×1024 캔버스 중앙에 크롭합니다. @@ -100,7 +103,7 @@ TRELLIS.2는 세 개의 diffusion 단계를 거쳐 3D 에셋을 생성한 다음 ### ApplyTextureToMesh / PaintMesh - 베이킹된 맵을 로우폴리 메시에 적용하고 버텍스 색상을 칠합니다. -### SaveGLB / Preview3DAdvanced +### Save3DAdvanced / Preview3DAdvanced - 결과를 GLB 파일로 저장하고 3D로 미리보기합니다. ## 실행 단계 @@ -108,17 +111,20 @@ TRELLIS.2는 세 개의 diffusion 단계를 거쳐 3D 에셋을 생성한 다음 1. **이미지 로드**: `LoadImage` 노드를 사용하여 객체의 단일 이미지를 로드합니다. 2. **워크플로 실행 대기열에 추가**: Ctrl(macOS의 경우 Cmd) + Enter를 누릅니다. 3. **pipeline 대기**: 구조, 형태, 텍스처 단계가 순서대로 실행된 후 후처리가 이어집니다. -4. **결과 확인**: `Preview3DAdvanced` 노드에서 메시를 확인합니다. GLB 파일은 `ComfyUI/output/3d/pixal3d/`에 저장됩니다. +4. **결과 확인**: `Preview3DAdvanced` 노드에서 메시를 확인합니다. GLB 파일은 `ComfyUI/output/3d/ComfyUI/`에 저장됩니다. ## 모델 다운로드 -TRELLIS.2 모델과 필요한 파일을 다운로드하여 해당 `models/` 하위 디렉터리에 배치합니다. +이 워크플로에서 사용하는 모델을 다운로드합니다. 두 확산 모델이 모두 필요합니다. 스위치가 어떤 모델을 실행할지 선택합니다. 해당 `models/` 하위 디렉터리에 배치합니다. - - trellis_2_bf16.safetensors: TRELLIS.2 확산 모델. int8_convrot 버전도 사용할 수 있습니다 + + trellis_2_int8_convrot.safetensors: TRELLIS.2 확산 모델. int8_convrot 버전도 사용할 수 있습니다 + + + pixal3d_int8_convrot.safetensors: Pixal3D 확산 모델 (기본으로 로드) - + trellis_2_shape_vae_bf16.safetensors: 구조 및 셰이프 디코딩용 VAE @@ -138,7 +144,8 @@ TRELLIS.2 모델과 필요한 파일을 다운로드하여 해당 `models/` 하 📂 ComfyUI/ ├── 📂 models/ │ ├── 📂 diffusion_models/ -│ │ └── trellis_2_bf16.safetensors +│ │ ├── pixal3d_int8_convrot.safetensors +│ │ └── trellis_2_int8_convrot.safetensors │ ├── 📂 vae/ │ │ ├── trellis_2_shape_vae_bf16.safetensors │ │ └── trellis_2_texture_vae_bf16.safetensors diff --git a/tutorials/3d/pixal3d.mdx b/tutorials/3d/pixal3d.mdx index ee401beb8..b23012e44 100644 --- a/tutorials/3d/pixal3d.mdx +++ b/tutorials/3d/pixal3d.mdx @@ -10,11 +10,11 @@ import UpdateReminder from '/snippets/tutorials/update-reminder.mdx' Most 3D-native generators synthesize shapes in a canonical space and inject image cues through attention, which leaves pixel-to-3D associations ambiguous. Pixal3D instead uses pixel-aligned generation: it establishes direct pixel-to-3D correspondence through back-projection, so the front of the generated model matches your input image 1:1, with no warped or misaligned textures. -### Pixal3D & TRELLIS.2: Image to Model {#pixal3d} +### Pixal3D: Image to Model {#pixal3d} Upload a single image. Generate a high-fidelity 3D model with full PBR textures, aligned to your input view. -This workflow also includes the TRELLIS.2 pipeline: the `Boolean (Switch to Trellis2)` node defaults to `false`, which runs the Pixal3D pipeline described here. +This workflow also includes the TRELLIS.2 pipeline. The `Boolean (Switch to Trellis2)` node defaults to `false`, which runs the Pixal3D pipeline and loads the Pixal3D model automatically. Pixal3D workflow preview @@ -47,7 +47,7 @@ Upload this file to the `LoadImage` node: Pixal3D combines camera-aware, pixel-aligned generation with a complete mesh post-processing pipeline: -1. **Background removal**: BiRefNet removes the background from the input image, and the workflow crops the subject to a centered 1024×1024 canvas. A switch lets you skip background removal +1. **Background removal**: BiRefNet removes the background from the input image, and the workflow crops the subject to a centered canvas. A switch lets you skip background removal 2. **Camera estimation**: MoGe estimates geometry and the camera field of view from the image. The FOV drives the pixel-aligned conditioning 3. **Structure generation**: a sparse structure latent is sampled and decoded into voxels, then converted into a rough mesh 4. **Shape refinement**: the shape stage and the upsampling stage refine the mesh up to the target resolution (1536) @@ -62,9 +62,10 @@ Pixal3D combines camera-aware, pixel-aligned generation with a complete mesh pos ### Boolean (Switch to Trellis2) - Selects the pipeline: `false` for Pixal3D (default), `true` for TRELLIS.2 +- The model checkpoint and the conditioning switch together ### RemoveBackground / ImageCropToMask -- Removes the background with BiRefNet and crops the subject to a centered 1024×1024 canvas +- Removes the background with BiRefNet and crops the subject to a centered canvas - A `ComfySwitchNode` toggles background removal on or off ### MoGeInference / MoGeGeometryToFOV @@ -97,23 +98,26 @@ Pixal3D combines camera-aware, pixel-aligned generation with a complete mesh pos ### ApplyTextureToMesh / PaintMesh - Apply the baked maps to the low-poly mesh and paint vertex colors -### SaveGLB / Preview3DAdvanced -- Save the result as a GLB file and preview it in 3D +### Save3DAdvanced / Preview3DAdvanced +- Save the result as a 3D file and preview it in 3D ## Steps to run 1. **Load an image**: use the `LoadImage` node to load a single image of the object 2. **Queue the workflow**: press Ctrl (Cmd on macOS) + Enter 3. **Wait for the pipeline**: the structure, shape, and texture stages run in sequence, followed by post-processing -4. **View the result**: inspect the mesh in the `Preview3DAdvanced` node. The GLB is saved to `ComfyUI/output/3d/pixal3d/` +4. **View the result**: inspect the mesh in the `Preview3DAdvanced` node. The 3D model is saved to `ComfyUI/output/3d/ComfyUI/` ## Model downloads -Download the Pixal3D model and required files. Place them in the corresponding `models/` subdirectories. +Download the models used by this workflow. Both diffusion checkpoints are required: the switch selects which one runs. Place them in the corresponding `models/` subdirectories. - - pixal3d_bf16.safetensors: Pixal3D diffusion model. An int8_convrot version is also available + + pixal3d_int8_convrot.safetensors: Pixal3D diffusion model, loaded by default + + + trellis_2_int8_convrot.safetensors: TRELLIS.2 diffusion model, loaded when the switch is set to `true` trellis_2_shape_vae_bf16.safetensors: VAE for structure and shape decoding @@ -138,7 +142,8 @@ Download the Pixal3D model and required files. Place them in the corresponding ` 📂 ComfyUI/ ├── 📂 models/ │ ├── 📂 diffusion_models/ -│ │ └── pixal3d_bf16.safetensors +│ │ ├── pixal3d_int8_convrot.safetensors +│ │ └── trellis_2_int8_convrot.safetensors │ ├── 📂 vae/ │ │ ├── trellis_2_shape_vae_bf16.safetensors │ │ └── trellis_2_texture_vae_bf16.safetensors diff --git a/tutorials/3d/trellis2.mdx b/tutorials/3d/trellis2.mdx index 13dbe8d06..fcdbdfd62 100644 --- a/tutorials/3d/trellis2.mdx +++ b/tutorials/3d/trellis2.mdx @@ -14,7 +14,7 @@ TRELLIS.2 shares its base architecture with Pixal3D: both use the same DINOv3 im Upload a single image. Generate a high-fidelity 3D model with full PBR textures using TRELLIS.2. -This workflow also includes the Pixal3D pipeline. To run TRELLIS.2, set the `Boolean (Switch to Trellis2)` node to `true` and load `trellis_2_bf16.safetensors` in the `UNETLoader` node. +This workflow also includes the Pixal3D pipeline. To run TRELLIS.2, set the `Boolean (Switch to Trellis2)` node to `true`. The workflow automatically switches to the TRELLIS.2 model and its conditioning. TRELLIS.2 workflow preview @@ -25,7 +25,7 @@ This workflow also includes the Pixal3D pipeline. To run TRELLIS.2, set the `Boo Run this workflow instantly on Comfy Cloud - Download JSON or search "Pixal3D & TRELLIS.2: Image to Model" in Template Library + Download JSON or search "Pixal3D & TRELLIS.2: Image to Model" in Template Library @@ -47,7 +47,7 @@ Upload this file to the `LoadImage` node: TRELLIS.2 generates a 3D asset in three diffusion stages and then runs a full mesh post-processing pipeline: -1. **Background removal**: BiRefNet removes the background from the input image, and the workflow crops the subject to a centered 1024×1024 canvas. A switch lets you skip background removal +1. **Background removal**: BiRefNet removes the background from the input image, and the workflow crops the subject to a centered canvas. A switch lets you skip background removal 2. **Structure generation**: a sparse structure latent is sampled and decoded into voxels, then converted into a rough mesh 3. **Shape refinement**: the shape stage and the upsampling stage refine the mesh up to the target resolution (1536) 4. **Texture generation**: a texture diffusion stage produces PBR material voxels (base color, metallic, roughness) @@ -61,9 +61,10 @@ TRELLIS.2 generates a 3D asset in three diffusion stages and then runs a full me ### Boolean (Switch to Trellis2) - Selects the pipeline: `false` for Pixal3D (default), `true` for TRELLIS.2 +- The model checkpoint and the conditioning switch together ### RemoveBackground / ImageCropToMask -- Removes the background with BiRefNet and crops the subject to a centered 1024×1024 canvas +- Removes the background with BiRefNet and crops the subject to a centered canvas - A `ComfySwitchNode` toggles background removal on or off ### Trellis2Conditioning @@ -93,24 +94,27 @@ TRELLIS.2 generates a 3D asset in three diffusion stages and then runs a full me ### ApplyTextureToMesh / PaintMesh - Apply the baked maps to the low-poly mesh and paint vertex colors -### SaveGLB / Preview3DAdvanced -- Save the result as a GLB file and preview it in 3D +### Save3DAdvanced / Preview3DAdvanced +- Save the result as a 3D file and preview it in 3D ## Steps to run 1. **Load an image**: use the `LoadImage` node to load a single image of the object -2. **Switch to the TRELLIS.2 pipeline**: set `Boolean (Switch to Trellis2)` to `true` and load `trellis_2_bf16.safetensors` in the `UNETLoader` node -2. **Queue the workflow**: press Ctrl (Cmd on macOS) + Enter -3. **Wait for the pipeline**: the structure, shape, and texture stages run in sequence, followed by post-processing -4. **View the result**: inspect the mesh in the `Preview3DAdvanced` node. The GLB is saved to `ComfyUI/output/3d/pixal3d/` +2. **Switch to the TRELLIS.2 pipeline**: set `Boolean (Switch to Trellis2)` to `true`. The workflow loads the TRELLIS.2 checkpoint automatically +3. **Queue the workflow**: press Ctrl (Cmd on macOS) + Enter +4. **Wait for the pipeline**: the structure, shape, and texture stages run in sequence, followed by post-processing +5. **View the result**: inspect the mesh in the `Preview3DAdvanced` node. The 3D model is saved to `ComfyUI/output/3d/ComfyUI/` ## Model downloads -Download the TRELLIS.2 model and required files. Place them in the corresponding `models/` subdirectories. +Download the models used by this workflow. Both diffusion checkpoints are required: the switch selects which one runs. Place them in the corresponding `models/` subdirectories. - - trellis_2_bf16.safetensors: TRELLIS.2 diffusion model. An int8_convrot version is also available + + trellis_2_int8_convrot.safetensors: TRELLIS.2 diffusion model, loaded when the switch is set to `true` + + + pixal3d_int8_convrot.safetensors: Pixal3D diffusion model, loaded by default trellis_2_shape_vae_bf16.safetensors: VAE for structure and shape decoding @@ -132,7 +136,8 @@ Download the TRELLIS.2 model and required files. Place them in the corresponding 📂 ComfyUI/ ├── 📂 models/ │ ├── 📂 diffusion_models/ -│ │ └── trellis_2_bf16.safetensors +│ │ ├── trellis_2_int8_convrot.safetensors +│ │ └── pixal3d_int8_convrot.safetensors │ ├── 📂 vae/ │ │ ├── trellis_2_shape_vae_bf16.safetensors │ │ └── trellis_2_texture_vae_bf16.safetensors diff --git a/zh/tutorials/3d/pixal3d.mdx b/zh/tutorials/3d/pixal3d.mdx index 9a170983c..52a07b43c 100644 --- a/zh/tutorials/3d/pixal3d.mdx +++ b/zh/tutorials/3d/pixal3d.mdx @@ -2,14 +2,14 @@ title: "Pixal3D 图像到3D模型 ComfyUI 工作流示例" description: "使用 Pixal3D（腾讯 ARC 推出的像素对齐图像到3D模型），从单张图像生成具有完整 PBR 纹理的高保真 3D 模型。" sidebarTitle: "Pixal3D" -translationSourceHash: 436254a4 +translationSourceHash: 20887b6b translationFrom: tutorials/3d/pixal3d.mdx translationBlockHashes: - "_intro": 7efc7845 - "How it works": 3650c7ea - "Workflow node guide": d6ee0866 - "Steps to run": ef1a68d5 - "Model downloads": 68d44529 + "_intro": ebe506d7 + "How it works": 30b7a245 + "Workflow node guide": cb054f3b + "Steps to run": 1a7d044c + "Model downloads": 890d9666 --- import UpdateReminder from "/snippets/zh/tutorials/update-reminder.mdx" @@ -21,7 +21,7 @@ import UpdateReminder from "/snippets/zh/tutorials/update-reminder.mdx" 上传单张图像。生成一个具有完整PBR纹理的高保真3D模型，并与你的输入视角对齐。 -该工作流同时包含 TRELLIS.2 管线:`Boolean (Switch to Trellis2)` 节点默认为 `false`,即运行此处描述的 Pixal3D 管线。 +该工作流同时包含 TRELLIS.2 管线:`Boolean (Switch to Trellis2)` 节点默认为 `false`,即运行此处描述的 Pixal3D 管线并自动加载 Pixal3D 模型。 Pixal3D 工作流预览 @@ -69,6 +69,7 @@ Pixal3D 将相机感知、像素对齐的生成与完整的网格后处理 pipel ### Boolean (Switch to Trellis2) - 选择管线:`false` 为 Pixal3D(默认),`true` 为 TRELLIS.2 +- 模型 checkpoint 与条件会一起切换 ### RemoveBackground（移除背景）/ ImageCropToMask（按蒙版裁剪图像） - 使用 BiRefNet 移除背景，并将主体裁剪到居中的 1024×1024 画布上 @@ -104,7 +105,7 @@ Pixal3D 将相机感知、像素对齐的生成与完整的网格后处理 pipel ### ApplyTextureToMesh / PaintMesh - 将烘焙的贴图应用到低多边形网格上，并绘制顶点颜色 -### SaveGLB / Preview3DAdvanced +### Save3DAdvanced / Preview3DAdvanced - 将结果保存为 GLB 文件，并在 3D 中预览 ## 运行步骤 @@ -112,17 +113,20 @@ Pixal3D 将相机感知、像素对齐的生成与完整的网格后处理 pipel 1. **加载图像**：使用 `LoadImage` 节点加载对象的单张图像 2. **将工作流加入队列**：按 Ctrl（macOS 上为 Cmd）+ Enter 3. **等待流水线处理**：结构、形状和纹理阶段依次运行，随后进行后处理 -4. **查看结果**：在 `Preview3DAdvanced` 节点中检查网格。GLB 文件保存到 `ComfyUI/output/3d/pixal3d/` +4. **查看结果**：在 `Preview3DAdvanced` 节点中检查网格。GLB 文件保存到 `ComfyUI/output/3d/ComfyUI/` ## 模型下载 -下载 Pixal3D 模型和所需文件,放到对应的 `models/` 子目录中。 +下载此工作流使用的模型。两个扩散模型都需要:开关会决定运行哪一个。放到对应的 `models/` 子目录中。 - - pixal3d_bf16.safetensors: Pixal3D 扩散模型。另有 int8_convrot 版本可用 + + pixal3d_int8_convrot.safetensors: Pixal3D 扩散模型。另有 int8_convrot 版本可用 - + + trellis_2_int8_convrot.safetensors: TRELLIS.2 扩散模型(开关设为 `true` 时加载) + + trellis_2_shape_vae_bf16.safetensors: 用于结构和形状解码的 VAE @@ -145,7 +149,8 @@ Pixal3D 将相机感知、像素对齐的生成与完整的网格后处理 pipel 📂 ComfyUI/ ├── 📂 models/ │ ├── 📂 diffusion_models/ -│ │ └── pixal3d_bf16.safetensors +│ │ ├── trellis_2_int8_convrot.safetensors +│ │ └── pixal3d_int8_convrot.safetensors │ ├── 📂 vae/ │ │ ├── trellis_2_shape_vae_bf16.safetensors │ │ └── trellis_2_texture_vae_bf16.safetensors diff --git a/zh/tutorials/3d/trellis2.mdx b/zh/tutorials/3d/trellis2.mdx index f962dbbfb..7f25e2bff 100644 --- a/zh/tutorials/3d/trellis2.mdx +++ b/zh/tutorials/3d/trellis2.mdx @@ -2,14 +2,14 @@ title: "TRELLIS.2 图像到模型 ComfyUI 工作流示例" description: "使用 TRELLIS.2（微软的开源 4B 参数图像到 3D 模型），从单个图像生成具有完整 PBR 纹理的高保真 3D 模型。" sidebarTitle: "TRELLIS.2" -translationSourceHash: d1b07f84 +translationSourceHash: 0bb7786a translationFrom: tutorials/3d/trellis2.mdx translationBlockHashes: - "_intro": c8d5f0d5 - "How it works": 3531db89 - "Workflow node guide": a2c4bb68 - "Steps to run": 69db8419 - "Model downloads": b305c0d6 + "_intro": a3454090 + "How it works": e79c0e78 + "Workflow node guide": 862f55ae + "Steps to run": f899f7e5 + "Model downloads": 125142da --- @@ -23,6 +23,8 @@ TRELLIS.2 与 Pixal3D 共享基础架构：两者使用相同的 DINOv3 图像 上传单张图像。使用 TRELLIS.2 生成带有完整 PBR 纹理的高保真3D模型。 +该工作流同时包含 Pixal3D 管线。要运行 TRELLIS.2,将 `Boolean (Switch to Trellis2)` 节点设为 `true`,工作流会自动切换到 TRELLIS.2 模型和条件。 + TRELLIS.2 工作流预览 @@ -55,7 +57,7 @@ TRELLIS.2 与 Pixal3D 共享基础架构：两者使用相同的 DINOv3 图像 TRELLIS.2 通过三个扩散阶段生成 3D 资产,然后运行完整的网格后处理管线: 1. **背景移除**: BiRefNet 移除输入图像的背景,工作流将主体裁剪到居中的 1024×1024 画布。可通过开关跳过背景移除 -2. **切换到 TRELLIS.2 管线**:将 `Boolean (Switch to Trellis2)` 设为 `true`,并在 `UNETLoader` 节点加载 `trellis_2_bf16.safetensors` +2. **切换到 TRELLIS.2 管线**:将 `Boolean (Switch to Trellis2)` 设为 `true`,工作流会自动加载 TRELLIS.2 模型 2. **结构生成**: 采样稀疏结构潜变量,解码为体素,再转换为粗略网格 3. **形状细化**: 形状阶段和上采样阶段将网格细化到目标分辨率(1536) 4. **纹理生成**: 纹理扩散阶段生成 PBR 材质体素(基色、金属度、粗糙度) @@ -69,6 +71,7 @@ TRELLIS.2 通过三个扩散阶段生成 3D 资产,然后运行完整的网格 ### Boolean (Switch to Trellis2) - 选择管线:`false` 为 Pixal3D(默认),`true` 为 TRELLIS.2 +- 模型 checkpoint 与条件会一起切换 ### RemoveBackground / ImageCropToMask - 使用 BiRefNet 移除背景，并将主体裁剪到居中的 1024×1024 画布 @@ -101,7 +104,7 @@ TRELLIS.2 通过三个扩散阶段生成 3D 资产,然后运行完整的网格 ### ApplyTextureToMesh / PaintMesh - 将烘焙的贴图应用到低多边形网格，并绘制顶点颜色 -### SaveGLB / Preview3DAdvanced +### Save3DAdvanced / Preview3DAdvanced - 将结果保存为 GLB 文件，并在 3D 中预览 ## 运行步骤 @@ -109,17 +112,20 @@ TRELLIS.2 通过三个扩散阶段生成 3D 资产,然后运行完整的网格 1. **加载图像**：使用 `LoadImage` 节点加载对象的单个图像 2. **将工作流加入队列**：按 Ctrl（macOS 上为 Cmd）+ Enter 3. **等待工作流执行**：结构、形状和纹理阶段依次运行，随后进行后处理 -4. **查看结果**：在 `Preview3DAdvanced` 节点中检查网格。GLB 文件将保存到 `ComfyUI/output/3d/pixal3d/` +4. **查看结果**：在 `Preview3DAdvanced` 节点中检查网格。GLB 文件将保存到 `ComfyUI/output/3d/ComfyUI/` ## 模型下载 -下载 TRELLIS.2 模型和所需文件,放到对应的 `models/` 子目录中。 +下载此工作流使用的模型。两个扩散模型都需要:开关会决定运行哪一个。放到对应的 `models/` 子目录中。 - - trellis_2_bf16.safetensors: TRELLIS.2 扩散模型。另有 int8_convrot 版本可用 + + trellis_2_int8_convrot.safetensors: TRELLIS.2 扩散模型。另有 int8_convrot 版本可用 + + + pixal3d_int8_convrot.safetensors: Pixal3D 扩散模型(默认加载) - + trellis_2_shape_vae_bf16.safetensors: 用于结构和形状解码的 VAE @@ -139,7 +145,8 @@ TRELLIS.2 通过三个扩散阶段生成 3D 资产,然后运行完整的网格 📂 ComfyUI/ ├── 📂 models/ │ ├── 📂 diffusion_models/ -│ │ └── trellis_2_bf16.safetensors +│ │ ├── pixal3d_int8_convrot.safetensors +│ │ └── trellis_2_int8_convrot.safetensors │ ├── 📂 vae/ │ │ ├── trellis_2_shape_vae_bf16.safetensors │ │ └── trellis_2_texture_vae_bf16.safetensors From 9321be1bddafdfa76eaa5465cb85ab6259f20b7a Mon Sep 17 00:00:00 2001 From: lin-bot23 Date: Wed, 26 Aug 2026 03:08:50 +0800 Subject: [PATCH 6/9] docs: fix UNet card descriptions and card indentation in translations --- ja/tutorials/3d/pixal3d.mdx | 6 +++--- ja/tutorials/3d/trellis2.mdx | 6 +++--- ko/tutorials/3d/pixal3d.mdx | 6 +++--- ko/tutorials/3d/trellis2.mdx | 6 +++--- zh/tutorials/3d/pixal3d.mdx | 6 +++--- zh/tutorials/3d/trellis2.mdx | 6 +++--- 6 files changed, 18 insertions(+), 18 deletions(-) diff --git a/ja/tutorials/3d/pixal3d.mdx b/ja/tutorials/3d/pixal3d.mdx index 6ef542579..555888929 100644 --- a/ja/tutorials/3d/pixal3d.mdx +++ b/ja/tutorials/3d/pixal3d.mdx @@ -120,12 +120,12 @@ Pixal3D は、カメラ対応のピクセルアライン生成と、完全なメ - pixal3d_int8_convrot.safetensors: Pixal3D 拡散モデル。int8_convrot 版も利用可能です + pixal3d_int8_convrot.safetensors: Pixal3D 拡散モデル（デフォルトで読み込み） - + trellis_2_int8_convrot.safetensors: TRELLIS.2 拡散モデル（スイッチが `true` のときに読み込み） - + trellis_2_shape_vae_bf16.safetensors: 構造とシェイプのデコード用 VAE diff --git a/ja/tutorials/3d/trellis2.mdx b/ja/tutorials/3d/trellis2.mdx index 190c3ce3b..0bd73844d 100644 --- a/ja/tutorials/3d/trellis2.mdx +++ b/ja/tutorials/3d/trellis2.mdx @@ -119,12 +119,12 @@ TRELLIS.2は、3つのdiffusionステージで3Dアセットを生成し、そ - trellis_2_int8_convrot.safetensors: TRELLIS.2 拡散モデル。int8_convrot 版も利用可能です + trellis_2_int8_convrot.safetensors: TRELLIS.2 拡散モデル（スイッチが `true` のときに読み込み） - + pixal3d_int8_convrot.safetensors: Pixal3D 拡散モデル（デフォルトで読み込み） - + trellis_2_shape_vae_bf16.safetensors: 構造とシェイプのデコード用 VAE diff --git a/ko/tutorials/3d/pixal3d.mdx b/ko/tutorials/3d/pixal3d.mdx index 466123d38..2f928c924 100644 --- a/ko/tutorials/3d/pixal3d.mdx +++ b/ko/tutorials/3d/pixal3d.mdx @@ -120,12 +120,12 @@ Pixal3D는 카메라 인식, 픽셀 정렬 생성과 완전한 메시 후처리 - pixal3d_int8_convrot.safetensors: Pixal3D 확산 모델. int8_convrot 버전도 사용할 수 있습니다 + pixal3d_int8_convrot.safetensors: Pixal3D 확산 모델 (기본으로 로드) - + trellis_2_int8_convrot.safetensors: TRELLIS.2 확산 모델 (스위치가 `true`일 때 로드) - + trellis_2_shape_vae_bf16.safetensors: 구조 및 셰이프 디코딩용 VAE diff --git a/ko/tutorials/3d/trellis2.mdx b/ko/tutorials/3d/trellis2.mdx index 8b52d5e0c..6105eebf0 100644 --- a/ko/tutorials/3d/trellis2.mdx +++ b/ko/tutorials/3d/trellis2.mdx @@ -119,12 +119,12 @@ TRELLIS.2는 세 개의 diffusion 단계를 거쳐 3D 에셋을 생성한 다음 - trellis_2_int8_convrot.safetensors: TRELLIS.2 확산 모델. int8_convrot 버전도 사용할 수 있습니다 + trellis_2_int8_convrot.safetensors: TRELLIS.2 확산 모델 (스위치가 `true`일 때 로드) - + pixal3d_int8_convrot.safetensors: Pixal3D 확산 모델 (기본으로 로드) - + trellis_2_shape_vae_bf16.safetensors: 구조 및 셰이프 디코딩용 VAE diff --git a/zh/tutorials/3d/pixal3d.mdx b/zh/tutorials/3d/pixal3d.mdx index 52a07b43c..ad2e4181a 100644 --- a/zh/tutorials/3d/pixal3d.mdx +++ b/zh/tutorials/3d/pixal3d.mdx @@ -121,12 +121,12 @@ Pixal3D 将相机感知、像素对齐的生成与完整的网格后处理 pipel - pixal3d_int8_convrot.safetensors: Pixal3D 扩散模型。另有 int8_convrot 版本可用 + pixal3d_int8_convrot.safetensors: Pixal3D 扩散模型(默认加载) - + trellis_2_int8_convrot.safetensors: TRELLIS.2 扩散模型(开关设为 `true` 时加载) - + trellis_2_shape_vae_bf16.safetensors: 用于结构和形状解码的 VAE diff --git a/zh/tutorials/3d/trellis2.mdx b/zh/tutorials/3d/trellis2.mdx index 7f25e2bff..dadd824b1 100644 --- a/zh/tutorials/3d/trellis2.mdx +++ b/zh/tutorials/3d/trellis2.mdx @@ -120,12 +120,12 @@ TRELLIS.2 通过三个扩散阶段生成 3D 资产,然后运行完整的网格 - trellis_2_int8_convrot.safetensors: TRELLIS.2 扩散模型。另有 int8_convrot 版本可用 + trellis_2_int8_convrot.safetensors: TRELLIS.2 扩散模型(开关设为 `true` 时加载) - + pixal3d_int8_convrot.safetensors: Pixal3D 扩散模型(默认加载) - + trellis_2_shape_vae_bf16.safetensors: 用于结构和形状解码的 VAE From 365f4cc5f4d7e90ee5e17b096732e193ad5d4d7e Mon Sep 17 00:00:00 2001 From: lin-bot23 Date: Wed, 26 Aug 2026 03:14:40 +0800 Subject: [PATCH 7/9] docs: remove verbose workflow node guide sections --- ja/tutorials/3d/pixal3d.mdx | 50 +---------------------------- ja/tutorials/3d/trellis2.mdx | 47 +-------------------------- ja/tutorials/utility/sam3d-body.mdx | 40 +---------------------- ko/tutorials/3d/pixal3d.mdx | 49 +--------------------------- ko/tutorials/3d/trellis2.mdx | 47 +-------------------------- ko/tutorials/utility/sam3d-body.mdx | 39 +--------------------- tutorials/3d/pixal3d.mdx | 47 --------------------------- tutorials/3d/trellis2.mdx | 44 ------------------------- tutorials/utility/sam3d-body.mdx | 37 --------------------- zh/tutorials/3d/pixal3d.mdx | 50 +---------------------------- zh/tutorials/3d/trellis2.mdx | 48 +-------------------------- zh/tutorials/utility/sam3d-body.mdx | 40 +---------------------- 12 files changed, 9 insertions(+), 529 deletions(-) diff --git a/ja/tutorials/3d/pixal3d.mdx b/ja/tutorials/3d/pixal3d.mdx index 555888929..bfeda8211 100644 --- a/ja/tutorials/3d/pixal3d.mdx +++ b/ja/tutorials/3d/pixal3d.mdx @@ -2,12 +2,11 @@ title: "Pixal3D 画像からモデルへの ComfyUI ワークフロー例" description: "Pixal3D を使用して、1枚の画像からフル PBR テクスチャ付きの高忠実度 3Dモデルを生成します。Pixal3D は、Tencent ARC によるピクセル位置合わせ型の画像から 3Dモデルへの変換モデルです。" sidebarTitle: "Pixal3D" -translationSourceHash: 20887b6b +translationSourceHash: b46ae7b5 translationFrom: tutorials/3d/pixal3d.mdx translationBlockHashes: "_intro": ebe506d7 "How it works": 30b7a245 - "Workflow node guide": cb054f3b "Steps to run": 1a7d044c "Model downloads": 890d9666 --- @@ -60,53 +59,6 @@ Pixal3D は、カメラ対応のピクセルアライン生成と、完全なメ 4. **シェイプの精緻化**: シェイプステージとアップサンプルステージが、ターゲット解像度 (1536) までメッシュを精緻化します 5. **テクスチャ生成**: テクスチャ拡散ステージが PBR マテリアルのボクセル (ベースカラー、メタリック、ラフネス) を生成します 6. **後処理**: DC リメッシュ、QEM デシメーション、UV アンラップ、ベースカラー・法線・アンビエントオクルージョンマップのベイクを行い、最終的なテクスチャ付きメッシュを作成します -## ワークフローのノードガイド - -### LoadImage -- 入力画像（PNG/JPG）を読み込みます -- サンプル画像: `viking_wolf_rune_axe.png`（テンプレートライブラリで利用可能） - -### Boolean (Switch to Trellis2) -- パイプラインを選択: `false` で Pixal3D (デフォルト)、`true` で TRELLIS.2 -- モデルのチェックポイントと条件付けも同時に切り替わります - -### RemoveBackground / ImageCropToMask -- BiRefNet で背景を除去し、被写体を中央の 1024×1024 キャンバスにトリミングします -- `ComfySwitchNode` で背景除去のオン・オフを切り替えます - -### MoGeInference / MoGeGeometryToFOV -- ピクセル整合の条件付けに使用する深度、ノーマル、カメラの視野角（FOV）を推定します - -### Pixal3DConditioning -- CLIP ビジョン特徴、トリミング済み画像、カメラの視野角（FOV）からピクセル整合の条件付けを構築します - -### EmptyTrellis2LatentStructure + KSampler（構造） -- スパースな構造潜在をサンプリングします（12 ステップ、CFG 7.5） - -### Trellis2ShapeStage + KSampler（形状） -- 形状潜在を精緻化します（20 ステップ、CFG 7.5） - -### Trellis2UpsampleStage + KSampler（アップサンプル） -- 形状をターゲット解像度にアップサンプリングします（12 ステップ、CFG 7.5） - -### Trellis2TextureStage + KSampler（テクスチャ） -- テクスチャ潜在を生成します（12 ステップ、CFG 1） - -### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis -- 構造、形状、テクスチャの潜在をボクセルとメッシュにデコードします - -### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh -- メッシュを再構築し（768 解像度で DC リメッシュ）、ターゲットの面数（700,000）に削減し、ノーマルをスムーズにして、設定されたテクスチャサイズで UV を展開します - -### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion -- ベースカラー、メタリック、ラフネス、ノーマル、アンビエントオクルージョンのマップをベイクします - -### ApplyTextureToMesh / PaintMesh -- ベイクしたマップをローポリメッシュに適用し、頂点色をペイントします - -### Save3DAdvanced / Preview3DAdvanced -- 結果を GLB ファイルとして保存し、3D でプレビューします - ## 実行手順 1. **画像を読み込む**: `LoadImage` ノードを使用して、オブジェクトの画像を1枚読み込みます diff --git a/ja/tutorials/3d/trellis2.mdx b/ja/tutorials/3d/trellis2.mdx index 0bd73844d..53a5c401f 100644 --- a/ja/tutorials/3d/trellis2.mdx +++ b/ja/tutorials/3d/trellis2.mdx @@ -2,12 +2,11 @@ title: "TRELLIS.2 画像からモデルへの ComfyUI ワークフロー例" description: "Microsoft のオープンソースである 4B パラメータの画像から 3D モデルへの変換モデル TRELLIS.2 を使用して、1 枚の画像からフル PBR テクスチャ付きの高忠実度 3D モデルを生成します。" sidebarTitle: "TRELLIS.2" -translationSourceHash: 0bb7786a +translationSourceHash: e4864629 translationFrom: tutorials/3d/trellis2.mdx translationBlockHashes: "_intro": a3454090 "How it works": e79c0e78 - "Workflow node guide": 862f55ae "Steps to run": f899f7e5 "Model downloads": 125142da --- @@ -62,50 +61,6 @@ TRELLIS.2は、3つのdiffusionステージで3Dアセットを生成し、そ 4. **テクスチャ生成**: テクスチャdiffusionステージがPBRマテリアルボクセル(ベース色、メタリック、ラフネス)を生成します 5. **後処理**: DCリメッシュ、QEMデシメーション、UV展開、およびベース色・ノーマル・アンビエントオクルージョンマップの最終テクスチャ付きメッシュへのベイクを実行します -## ワークフローノードガイド - -### LoadImage -- 入力画像（PNG/JPG）を読み込みます -- サンプル画像: `viking_wolf_rune_axe.png`（テンプレートライブラリで利用可能） - -### Boolean (Switch to Trellis2) -- パイプラインを選択: `false` で Pixal3D (デフォルト)、`true` で TRELLIS.2 -- モデルのチェックポイントと条件付けも同時に切り替わります - -### RemoveBackground / ImageCropToMask -- BiRefNetで背景を除去し、被写体を中央寄せの1024×1024キャンバスにクロップします -- `ComfySwitchNode`で背景除去のオン/オフを切り替えます - -### Trellis2Conditioning -- CLIPビジョン特徴量とクロップされた画像から条件付けを構築します - -### EmptyTrellis2LatentStructure + Kサンプラー（構造） -- スパースな構造潜在表現をサンプリングします（12ステップ、CFG 7.5） - -### Trellis2ShapeStage + Kサンプラー（形状） -- 形状潜在表現をリファインします（20ステップ、CFG 7.5） - -### Trellis2UpsampleStage + Kサンプラー（アップサンプル） -- 形状を目標解像度にアップサンプリングします（12ステップ、CFG 7.5） - -### Trellis2TextureStage + Kサンプラー（テクスチャ） -- テクスチャ潜在表現を生成します（12ステップ、CFG 1） - -### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis -- 構造、形状、テクスチャの潜在表現をボクセルとメッシュにデコードします - -### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh -- メッシュを再構築し（768解像度でDCリメッシュ）、目標面数（700,000）に削減し、ノーマルをスムーズ化し、設定されたテクスチャサイズでUVをアンラップします - -### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion -- ベースカラー、メタリック、ラフネス、ノーマル、アンビエントオクルージョンマップをベイクします - -### ApplyTextureToMesh / PaintMesh -- ベイクされたマップをローポリメッシュに適用し、頂点色をペイントします - -### Save3DAdvanced / Preview3DAdvanced -- 結果をGLBファイルとして保存し、3Dでプレビューします - ## 実行手順 1. **画像を読み込む**：`LoadImage` ノードを使用して、オブジェクトの画像を1枚読み込みます。 diff --git a/ja/tutorials/utility/sam3d-body.mdx b/ja/tutorials/utility/sam3d-body.mdx index 9023ae93a..70e45867a 100644 --- a/ja/tutorials/utility/sam3d-body.mdx +++ b/ja/tutorials/utility/sam3d-body.mdx @@ -2,12 +2,11 @@ title: "SAM 3D Body: ComfyUIでビデオから3D人体メッシュを抽出する" description: "SAM 3D Bodyを使用してビデオから全身の3D人体メッシュを抽出します。ポーズと形状の推定、顔の表情、レンダリングされたメッシュオーバーレイビデオに対応しています。" sidebarTitle: "SAM 3D Body" -translationSourceHash: fe1cacf1 +translationSourceHash: ca0733f3 translationFrom: tutorials/utility/sam3d-body.mdx translationBlockHashes: "_intro": 892aa34b "How it works": f02ec8f2 - "Workflow node guide": e688e31b "Steps to run": bd124afc "Model downloads": 8931e430 --- @@ -53,43 +52,6 @@ import UpdateReminder from "/snippets/ja/tutorials/update-reminder.mdx" 5. **スムージング**: メッシュシーケンスを時間経過に沿って平滑化します 6. **レンダリング**: ポーズファイル（GLB）を構築し、メッシュをビデオに再レンダリングして、出力ビデオとして保存します -## ワークフローノードガイド - -### LoadVideo -- 入力ビデオを読み込みます -- サンプルビデオ: `woman_holding_water_glass.mp4` (テンプレートライブラリで利用可能) - -### Video Slice / GetVideoComponents -- 必要に応じてビデオをスライスにトリミングし、フレームに分割します - -### SAM3_VideoTrack -- フレーム全体にわたって被写体を追跡します (SAM3 ビデオトラッキング) -- パラメータ: 検出しきい値など - -### RTDETR_detect -- `CLIPTextEncode` プロンプト (`person`) に基づき、RT-DETR で人物を検出します - -### SAM3DBody_Loader / SAM3DBody_Predict -- SAM 3D Body 検出モデルを読み込み、全身の 3D メッシュを予測します - -### MoGeInference / MoGeGeometryToFOV (オプション) -- ビデオフレームからカメラの視野角 (FOV) を推定し、ソースビデオとの位置合わせをより正確にします - -### SAM3DBody_FaceExpression -- MediaPipe の顔検出を通じて表情を追加します - -### SAM3DBody_Smooth -- メッシュシーケンスを時間経過に沿って滑らかにします - -### BuildPoseFile -- 復元されたボディから GLB ポーズファイルを構築します - -### SAM3DBody_Render / Preview3D -- メッシュオーバーレイをレンダリングし、3D でプレビューします - -### CreateVideo / SaveVideo -- レンダリングしたオーバーレイをビデオに合成し、`ComfyUI/output/video/SAM3D_body/` に保存します - ## 実行手順 1. **ビデオを読み込む**: `LoadVideo` ノードを使用して人物のビデオを読み込みます diff --git a/ko/tutorials/3d/pixal3d.mdx b/ko/tutorials/3d/pixal3d.mdx index 2f928c924..cd16d0598 100644 --- a/ko/tutorials/3d/pixal3d.mdx +++ b/ko/tutorials/3d/pixal3d.mdx @@ -2,12 +2,11 @@ title: "Pixal3D 이미지 기반 3D 모델 생성 ComfyUI 워크플로 예제" description: "Tencent ARC의 픽셀 정렬 이미지 기반 3D 생성 모델인 Pixal3D를 사용해 단일 이미지에서 전체 PBR 텍스처가 포함된 고충실도 3D 모델을 생성하세요." sidebarTitle: "Pixal3D" -translationSourceHash: 20887b6b +translationSourceHash: b46ae7b5 translationFrom: tutorials/3d/pixal3d.mdx translationBlockHashes: "_intro": ebe506d7 "How it works": 30b7a245 - "Workflow node guide": cb054f3b "Steps to run": 1a7d044c "Model downloads": 890d9666 --- @@ -61,52 +60,6 @@ Pixal3D는 카메라 인식, 픽셀 정렬 생성과 완전한 메시 후처리 5. **텍스처 생성**: 텍스처 확산 단계가 PBR 재질 복셀(기본 색상, 금속성, 거칠기)을 생성합니다 6. **후처리**: DC 리메시, QEM 디시메이션, UV 언랩핑, 그리고 기본 색상, 노멀(normal), 앰비언트 오클루전 맵을 최종 텍스처 메시에 베이킹합니다 -## 워크플로 노드 가이드 - -### LoadImage -- 입력 이미지를 불러옵니다 (PNG/JPG) -- 샘플 이미지: `viking_wolf_rune_axe.png` (템플릿 라이브러리에서 제공) - -### Boolean (Switch to Trellis2) -- 파이프라인 선택: `false`는 Pixal3D(기본), `true`는 TRELLIS.2 -- 모델 체크포인트와 컨디셔닝도 함께 전환됩니다 - -### RemoveBackground / ImageCropToMask -- BiRefNet으로 배경을 제거하고 피사체를 중앙 1024×1024 캔버스로 크롭합니다 -- `ComfySwitchNode`로 배경 제거를 켜거나 끌 수 있습니다 - -### MoGeInference / MoGeGeometryToFOV -- 픽셀 정렬 컨디셔닝에 사용되는 깊이, 법선, 카메라 화각을 추정합니다 - -### Pixal3DConditioning -- CLIP 비전 피처, 크롭된 이미지, 카메라 FOV로 픽셀 정렬 컨디셔닝을 구성합니다 - -### EmptyTrellis2LatentStructure + KSampler (구조) -- 희소 구조 잠재 변수를 샘플링합니다 (12스텝, CFG 7.5) - -### Trellis2ShapeStage + KSampler (셰이프) -- 셰이프 잠재 변수를 정교화합니다 (20스텝, CFG 7.5) - -### Trellis2UpsampleStage + KSampler (업샘플) -- 셰이프를 대상 해상도로 업샘플링합니다 (12스텝, CFG 7.5) - -### Trellis2TextureStage + KSampler (텍스처) -- 텍스처 잠재 변수를 생성합니다 (12스텝, CFG 1) - -### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis -- 구조, 셰이프, 텍스처 잠재 변수를 복셀과 메시로 디코딩합니다 - -### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh -- 메시를 재구성하고 (DC 리메시, 768 해상도), 목표 면 수 (700,000)로 줄이고, 법선을 평활화하고, 설정된 텍스처 크기로 UV를 펼칩니다 - -### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion -- 베이스 컬러, 메탈릭, 러프니스, 법선, 앰비언트 오클루전 맵을 베이크합니다 - -### ApplyTextureToMesh / PaintMesh -- 베이크된 맵을 저폴리 메시에 적용하고 버텍스 컬러를 페인팅합니다 - -### Save3DAdvanced / Preview3DAdvanced -- 결과를 GLB 파일로 저장하고 3D로 미리 봅니다 ## 실행 단계 1. **이미지 로드**: `LoadImage` 노드를 사용하여 객체의 단일 이미지를 로드합니다 diff --git a/ko/tutorials/3d/trellis2.mdx b/ko/tutorials/3d/trellis2.mdx index 6105eebf0..71eaa0347 100644 --- a/ko/tutorials/3d/trellis2.mdx +++ b/ko/tutorials/3d/trellis2.mdx @@ -2,12 +2,11 @@ title: "TRELLIS.2 이미지 기반 3D 생성 ComfyUI 워크플로 예제" description: "Microsoft의 오픈소스 4B 파라미터 이미지 기반 3D 생성 모델인 TRELLIS.2를 사용하여 단일 이미지에서 전체 PBR 텍스처가 포함된 고품질 3D 모델을 생성합니다." sidebarTitle: "TRELLIS.2" -translationSourceHash: 0bb7786a +translationSourceHash: e4864629 translationFrom: tutorials/3d/trellis2.mdx translationBlockHashes: "_intro": a3454090 "How it works": e79c0e78 - "Workflow node guide": 862f55ae "Steps to run": f899f7e5 "Model downloads": 125142da --- @@ -62,50 +61,6 @@ TRELLIS.2는 세 개의 diffusion 단계를 거쳐 3D 에셋을 생성한 다음 4. **텍스처 생성**: 텍스처 diffusion 단계가 PBR 재질 복셀(기본 색상, 금속성, 거칠기)을 생성합니다. 5. **후처리**: DC 리메시, QEM 데시메이션, UV 언랩핑, 그리고 기본 색상·노멀(normal)·앰비언트 오클루전 맵을 최종 텍스처 메시에 베이킹합니다. -## 워크플로 노드 가이드 - -### LoadImage -- 입력 이미지(PNG/JPG)를 불러옵니다. -- 샘플 이미지: `viking_wolf_rune_axe.png` (템플릿 라이브러리에서 사용 가능) - -### Boolean (Switch to Trellis2) -- 파이프라인 선택: `false`는 Pixal3D(기본), `true`는 TRELLIS.2 -- 모델 체크포인트와 컨디셔닝도 함께 전환됩니다 - -### RemoveBackground / ImageCropToMask -- BiRefNet으로 배경을 제거하고 피사체를 1024×1024 캔버스 중앙에 크롭합니다. -- `ComfySwitchNode`는 배경 제거를 켜거나 끕니다. - -### Trellis2Conditioning -- CLIP 비전 특징과 크롭된 이미지로 조건화를 구성합니다. - -### EmptyTrellis2LatentStructure + KSampler (구조) -- 희소 구조 잠재 데이터를 샘플링합니다(12스텝, CFG 7.5). - -### Trellis2ShapeStage + KSampler (형태) -- 형태 잠재 데이터를 정제합니다(20스텝, CFG 7.5). - -### Trellis2UpsampleStage + KSampler (업샘플링) -- 형태를 목표 해상도로 업샘플링합니다(12스텝, CFG 7.5). - -### Trellis2TextureStage + KSampler (텍스처) -- 텍스처 잠재 데이터를 생성합니다(12스텝, CFG 1). - -### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis -- 구조, 형태, 텍스처 잠재 데이터를 복셀과 메시로 디코딩합니다. - -### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh -- 메시를 재구성하고(DC 리메시, 768 해상도), 목표 면 수(700,000)로 줄인 다음, 노멀을 부드럽게 처리하고 설정된 텍스처 크기로 UV를 언랩합니다. - -### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion -- 베이스 색상, 메탈릭, 러프니스, 노멀, 앰비언트 오클루전 맵을 베이킹합니다. - -### ApplyTextureToMesh / PaintMesh -- 베이킹된 맵을 로우폴리 메시에 적용하고 버텍스 색상을 칠합니다. - -### Save3DAdvanced / Preview3DAdvanced -- 결과를 GLB 파일로 저장하고 3D로 미리보기합니다. - ## 실행 단계 1. **이미지 로드**: `LoadImage` 노드를 사용하여 객체의 단일 이미지를 로드합니다. diff --git a/ko/tutorials/utility/sam3d-body.mdx b/ko/tutorials/utility/sam3d-body.mdx index 4baa7942b..ba7c65ca5 100644 --- a/ko/tutorials/utility/sam3d-body.mdx +++ b/ko/tutorials/utility/sam3d-body.mdx @@ -2,12 +2,11 @@ title: "SAM 3D Body: ComfyUI에서 비디오로부터 3D 인체 메시 추출하기" description: "SAM 3D Body를 사용하여 비디오에서 전신 3D 인체 메시를 추출하고, 포즈 및 형태 추정, 얼굴 표정, 렌더링된 메시 오버레이 비디오를 제공합니다." sidebarTitle: "SAM 3D Body" -translationSourceHash: fe1cacf1 +translationSourceHash: ca0733f3 translationFrom: tutorials/utility/sam3d-body.mdx translationBlockHashes: "_intro": 892aa34b "How it works": f02ec8f2 - "Workflow node guide": e688e31b "Steps to run": bd124afc "Model downloads": 8931e430 --- @@ -51,42 +50,6 @@ translationBlockHashes: 5. **스무딩**: 메시 시퀀스를 시간에 따라 부드럽게 처리합니다. 6. **렌더링**: 포즈 파일(GLB)을 생성하고 메시를 비디오에 다시 렌더링한 다음 출력 비디오로 저장합니다. -## 워크플로 노드 가이드 - -### LoadVideo -- 입력 비디오를 불러옵니다 -- 샘플 비디오: `woman_holding_water_glass.mp4` (템플릿 라이브러리에서 제공) - -### Video Slice / GetVideoComponents -- 선택적으로 비디오를 구간으로 자르고 프레임으로 분리합니다 - -### SAM3_VideoTrack -- 프레임 간 피사체를 추적합니다 (SAM3 비디오 트래킹) -- 파라미터: 감지 임계값 등 - -### RTDETR_detect -- `CLIPTextEncode` 프롬프트(`person`)에 따라 RT-DETR로 사람을 감지합니다 - -### SAM3DBody_Loader / SAM3DBody_Predict -- SAM 3D Body 감지 모델을 로드하고 전신 3D 메시를 예측합니다 - -### MoGeInference / MoGeGeometryToFOV (선택 사항) -- 비디오 프레임에서 카메라 FOV를 추정하여 소스 비디오와 더 정확하게 정렬합니다 - -### SAM3DBody_FaceExpression -- MediaPipe 얼굴 감지를 통해 표정을 추가합니다 - -### SAM3DBody_Smooth -- 메시 시퀀스를 시간에 따라 평활화합니다 - -### BuildPoseFile -- 복원된 바디에서 GLB 포즈 파일을 생성합니다 - -### SAM3DBody_Render / Preview3D -- 메시 오버레이를 렌더링하고 3D로 미리 봅니다 - -### CreateVideo / SaveVideo -- 렌더링된 오버레이를 비디오로 합성하고 `ComfyUI/output/video/SAM3D_body/`에 저장합니다 ## 실행 단계 1. **비디오 로드**: `LoadVideo` 노드를 사용하여 인물 비디오를 로드합니다. diff --git a/tutorials/3d/pixal3d.mdx b/tutorials/3d/pixal3d.mdx index b23012e44..97fccde79 100644 --- a/tutorials/3d/pixal3d.mdx +++ b/tutorials/3d/pixal3d.mdx @@ -54,53 +54,6 @@ Pixal3D combines camera-aware, pixel-aligned generation with a complete mesh pos 5. **Texture generation**: a texture diffusion stage produces PBR material voxels (base color, metallic, roughness) 6. **Post-processing**: DC remesh, QEM decimation, UV unwrapping, and baking of base color, normal, and ambient occlusion maps into the final textured mesh -## Workflow node guide - -### LoadImage -- Loads your input image (PNG/JPG) -- Sample image: `viking_wolf_rune_axe.png` (available in Template Library) - -### Boolean (Switch to Trellis2) -- Selects the pipeline: `false` for Pixal3D (default), `true` for TRELLIS.2 -- The model checkpoint and the conditioning switch together - -### RemoveBackground / ImageCropToMask -- Removes the background with BiRefNet and crops the subject to a centered canvas -- A `ComfySwitchNode` toggles background removal on or off - -### MoGeInference / MoGeGeometryToFOV -- Estimate depth, normals, and the camera field of view used for pixel-aligned conditioning - -### Pixal3DConditioning -- Builds the pixel-aligned conditioning from CLIP vision features, the cropped image, and the camera FOV - -### EmptyTrellis2LatentStructure + KSampler (structure) -- Samples the sparse structure latent (12 steps, CFG 7.5) - -### Trellis2ShapeStage + KSampler (shape) -- Refines the shape latent (20 steps, CFG 7.5) - -### Trellis2UpsampleStage + KSampler (upsample) -- Upsamples the shape to the target resolution (12 steps, CFG 7.5) - -### Trellis2TextureStage + KSampler (texture) -- Generates the texture latent (12 steps, CFG 1) - -### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis -- Decode the structure, shape, and texture latents into voxels and a mesh - -### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh -- Rebuild the mesh (DC remesh at 768 resolution), reduce it to a target face count (700,000), smooth normals, and unwrap UVs at the configured texture size - -### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion -- Bake base color, metallic, roughness, normal, and ambient occlusion maps - -### ApplyTextureToMesh / PaintMesh -- Apply the baked maps to the low-poly mesh and paint vertex colors - -### Save3DAdvanced / Preview3DAdvanced -- Save the result as a 3D file and preview it in 3D - ## Steps to run 1. **Load an image**: use the `LoadImage` node to load a single image of the object diff --git a/tutorials/3d/trellis2.mdx b/tutorials/3d/trellis2.mdx index fcdbdfd62..3543325ab 100644 --- a/tutorials/3d/trellis2.mdx +++ b/tutorials/3d/trellis2.mdx @@ -53,50 +53,6 @@ TRELLIS.2 generates a 3D asset in three diffusion stages and then runs a full me 4. **Texture generation**: a texture diffusion stage produces PBR material voxels (base color, metallic, roughness) 5. **Post-processing**: DC remesh, QEM decimation, UV unwrapping, and baking of base color, normal, and ambient occlusion maps into the final textured mesh -## Workflow node guide - -### LoadImage -- Loads your input image (PNG/JPG) -- Sample image: `viking_wolf_rune_axe.png` (available in Template Library) - -### Boolean (Switch to Trellis2) -- Selects the pipeline: `false` for Pixal3D (default), `true` for TRELLIS.2 -- The model checkpoint and the conditioning switch together - -### RemoveBackground / ImageCropToMask -- Removes the background with BiRefNet and crops the subject to a centered canvas -- A `ComfySwitchNode` toggles background removal on or off - -### Trellis2Conditioning -- Builds the conditioning from CLIP vision features and the cropped image - -### EmptyTrellis2LatentStructure + KSampler (structure) -- Samples the sparse structure latent (12 steps, CFG 7.5) - -### Trellis2ShapeStage + KSampler (shape) -- Refines the shape latent (20 steps, CFG 7.5) - -### Trellis2UpsampleStage + KSampler (upsample) -- Upsamples the shape to the target resolution (12 steps, CFG 7.5) - -### Trellis2TextureStage + KSampler (texture) -- Generates the texture latent (12 steps, CFG 1) - -### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis -- Decode the structure, shape, and texture latents into voxels and a mesh - -### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh -- Rebuild the mesh (DC remesh at 768 resolution), reduce it to a target face count (700,000), smooth normals, and unwrap UVs at the configured texture size - -### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion -- Bake base color, metallic, roughness, normal, and ambient occlusion maps - -### ApplyTextureToMesh / PaintMesh -- Apply the baked maps to the low-poly mesh and paint vertex colors - -### Save3DAdvanced / Preview3DAdvanced -- Save the result as a 3D file and preview it in 3D - ## Steps to run 1. **Load an image**: use the `LoadImage` node to load a single image of the object diff --git a/tutorials/utility/sam3d-body.mdx b/tutorials/utility/sam3d-body.mdx index be319cb3d..b2db57a43 100644 --- a/tutorials/utility/sam3d-body.mdx +++ b/tutorials/utility/sam3d-body.mdx @@ -46,43 +46,6 @@ Upload this file to the `LoadVideo` node: 5. **Smoothing**: the mesh sequence is smoothed over time 6. **Rendering**: a pose file (GLB) is built and the mesh is rendered back onto the video, then saved as an output video -## Workflow node guide - -### LoadVideo -- Loads your input video -- Sample video: `woman_holding_water_glass.mp4` (available in Template Library) - -### Video Slice / GetVideoComponents -- Optionally trim the video to a slice and split it into frames - -### SAM3_VideoTrack -- Tracks the subject across frames (SAM3 video tracking) -- Parameters: detection threshold, etc. - -### RTDETR_detect -- Detects the person with RT-DETR, guided by the `CLIPTextEncode` prompt (`person`) - -### SAM3DBody_Loader / SAM3DBody_Predict -- Loads the SAM 3D Body detection model and predicts the full-body 3D mesh - -### MoGeInference / MoGeGeometryToFOV (optional) -- Estimate the camera FOV from the video frames for more accurate alignment with the source video - -### SAM3DBody_FaceExpression -- Adds face expressions through MediaPipe face detection - -### SAM3DBody_Smooth -- Smooths the mesh sequence over time - -### BuildPoseFile -- Builds a GLB pose file from the recovered body - -### SAM3DBody_Render / Preview3D -- Renders the mesh overlay and previews it in 3D - -### CreateVideo / SaveVideo -- Composites the rendered overlay into a video and saves it to `ComfyUI/output/video/SAM3D_body/` - ## Steps to run 1. **Load a video**: use the `LoadVideo` node to load a video of a person diff --git a/zh/tutorials/3d/pixal3d.mdx b/zh/tutorials/3d/pixal3d.mdx index ad2e4181a..faa608eda 100644 --- a/zh/tutorials/3d/pixal3d.mdx +++ b/zh/tutorials/3d/pixal3d.mdx @@ -2,12 +2,11 @@ title: "Pixal3D 图像到3D模型 ComfyUI 工作流示例" description: "使用 Pixal3D（腾讯 ARC 推出的像素对齐图像到3D模型），从单张图像生成具有完整 PBR 纹理的高保真 3D 模型。" sidebarTitle: "Pixal3D" -translationSourceHash: 20887b6b +translationSourceHash: b46ae7b5 translationFrom: tutorials/3d/pixal3d.mdx translationBlockHashes: "_intro": ebe506d7 "How it works": 30b7a245 - "Workflow node guide": cb054f3b "Steps to run": 1a7d044c "Model downloads": 890d9666 --- @@ -61,53 +60,6 @@ Pixal3D 将相机感知、像素对齐的生成与完整的网格后处理 pipel 5. **纹理生成**：纹理 diffusion 阶段生成 PBR 材质体素（基础颜色、金属度、粗糙度）。 6. **后处理**：DC 重网格化、QEM 网格简化、UV 展开，并将基础颜色、法线和环境光遮蔽贴图烘焙到最终的纹理网格中。 -## 工作流节点指南 - -### LoadImage（加载图像） -- 加载您的输入图像（PNG/JPG） -- 示例图像：`viking_wolf_rune_axe.png`（可在模板库中获取） - -### Boolean (Switch to Trellis2) -- 选择管线:`false` 为 Pixal3D(默认),`true` 为 TRELLIS.2 -- 模型 checkpoint 与条件会一起切换 - -### RemoveBackground（移除背景）/ ImageCropToMask（按蒙版裁剪图像） -- 使用 BiRefNet 移除背景，并将主体裁剪到居中的 1024×1024 画布上 -- `ComfySwitchNode` 用于切换背景移除功能的开启或关闭 - -### MoGeInference（MoGe 推理）/ MoGeGeometryToFOV（MoGe 几何转视场） -- 估算深度、法线以及用于像素对齐条件的相机视场 - -### Pixal3DConditioning（Pixal3D 条件） -- 根据 CLIP 视觉特征、裁剪后的图像和相机视场构建像素对齐条件 - -### EmptyTrellis2LatentStructure + KSampler（structure） -- 对稀疏结构 Latent 进行采样（12 步，CFG 7.5） - -### Trellis2ShapeStage + KSampler（shape） -- 细化形状 Latent（20 步，CFG 7.5） - -### Trellis2UpsampleStage + KSampler（upsample） -- 将形状上采样到目标分辨率（12 步，CFG 7.5） - -### Trellis2TextureStage + KSampler（texture） -- 生成纹理 Latent（12 步，CFG 1） - -### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis -- 将结构、形状和纹理 Latent 解码为体素和网格 - -### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh -- 重建网格（在 768 分辨率下进行 DC 网格重建），将面数降低到目标数量（700,000），平滑法线，并按配置的纹理尺寸展开 UV - -### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion -- 烘焙基础颜色、金属度、粗糙度、法线和环境光遮蔽贴图 - -### ApplyTextureToMesh / PaintMesh -- 将烘焙的贴图应用到低多边形网格上，并绘制顶点颜色 - -### Save3DAdvanced / Preview3DAdvanced -- 将结果保存为 GLB 文件，并在 3D 中预览 - ## 运行步骤 1. **加载图像**：使用 `LoadImage` 节点加载对象的单张图像 diff --git a/zh/tutorials/3d/trellis2.mdx b/zh/tutorials/3d/trellis2.mdx index dadd824b1..e867d17a0 100644 --- a/zh/tutorials/3d/trellis2.mdx +++ b/zh/tutorials/3d/trellis2.mdx @@ -2,17 +2,15 @@ title: "TRELLIS.2 图像到模型 ComfyUI 工作流示例" description: "使用 TRELLIS.2（微软的开源 4B 参数图像到 3D 模型），从单个图像生成具有完整 PBR 纹理的高保真 3D 模型。" sidebarTitle: "TRELLIS.2" -translationSourceHash: 0bb7786a +translationSourceHash: e4864629 translationFrom: tutorials/3d/trellis2.mdx translationBlockHashes: "_intro": a3454090 "How it works": e79c0e78 - "Workflow node guide": 862f55ae "Steps to run": f899f7e5 "Model downloads": 125142da --- - import UpdateReminder from "/snippets/zh/tutorials/update-reminder.mdx" **TRELLIS.2** 是微软研究院推出的开源图生3D模型，也是 TRELLIS 的继任者。它是一个 4B 参数模型，基于原生3D VAE 构建，具有 16× 空间压缩，并采用名为 O-Voxel 的稀疏体素表示，可从单张图像生成带有完整 PBR 材质的精细3D资产。 @@ -63,50 +61,6 @@ TRELLIS.2 通过三个扩散阶段生成 3D 资产,然后运行完整的网格 4. **纹理生成**: 纹理扩散阶段生成 PBR 材质体素(基色、金属度、粗糙度) 5. **后处理**: DC 网格重建、QEM 减面、UV 展开,以及将基色、法线和环境光遮蔽贴图烘焙到最终带纹理的网格 -## 工作流节点指南 - -### LoadImage -- 加载您的输入图像（PNG/JPG） -- 示例图像：`viking_wolf_rune_axe.png`（可在模板库中获取） - -### Boolean (Switch to Trellis2) -- 选择管线:`false` 为 Pixal3D(默认),`true` 为 TRELLIS.2 -- 模型 checkpoint 与条件会一起切换 - -### RemoveBackground / ImageCropToMask -- 使用 BiRefNet 移除背景，并将主体裁剪到居中的 1024×1024 画布 -- `ComfySwitchNode` 用于切换背景移除的开启或关闭 - -### Trellis2Conditioning -- 从 CLIP 视觉特征和裁剪后的图像构建条件 - -### EmptyTrellis2LatentStructure + KSampler（结构） -- 对稀疏结构 Latent 进行采样（12 步，CFG 7.5） - -### Trellis2ShapeStage + KSampler（形状） -- 细化形状 Latent（20 步，CFG 7.5） - -### Trellis2UpsampleStage + KSampler（上采样） -- 将形状上采样到目标分辨率（12 步，CFG 7.5） - -### Trellis2TextureStage + KSampler（纹理） -- 生成纹理 Latent（12 步，CFG 1） - -### VaeDecodeStructureTrellis2 / VaeDecodeShapeTrellis / VaeDecodeTextureTrellis -- 将结构、形状和纹理 Latent 解码为体素和网格 - -### RemeshMesh / DecimateMesh / MeshSmoothNormals / UnwrapMesh -- 重建网格（在 768 分辨率下进行 DC 重网格化），将其减少到目标面数（700,000），平滑法线，并在配置的纹理尺寸下展开 UV - -### BakeTextureFromVoxel / BakeNormalMapFromMesh / BakeAmbientOcclusion -- 烘焙基础颜色、金属度、粗糙度、法线和环境光遮蔽贴图 - -### ApplyTextureToMesh / PaintMesh -- 将烘焙的贴图应用到低多边形网格，并绘制顶点颜色 - -### Save3DAdvanced / Preview3DAdvanced -- 将结果保存为 GLB 文件，并在 3D 中预览 - ## 运行步骤 1. **加载图像**：使用 `LoadImage` 节点加载对象的单个图像 diff --git a/zh/tutorials/utility/sam3d-body.mdx b/zh/tutorials/utility/sam3d-body.mdx index 073d72a01..cc9d7eb9f 100644 --- a/zh/tutorials/utility/sam3d-body.mdx +++ b/zh/tutorials/utility/sam3d-body.mdx @@ -2,12 +2,11 @@ title: "SAM 3D Body：在 ComfyUI 中从视频提取 3D 人体网格" description: "使用 SAM 3D Body 从视频中提取全身 3D 人体网格，包含姿态与形状估计、面部表情以及渲染的网格叠加视频。" sidebarTitle: "SAM 3D Body" -translationSourceHash: fe1cacf1 +translationSourceHash: ca0733f3 translationFrom: tutorials/utility/sam3d-body.mdx translationBlockHashes: "_intro": 892aa34b "How it works": f02ec8f2 - "Workflow node guide": e688e31b "Steps to run": bd124afc "Model downloads": 8931e430 --- @@ -53,43 +52,6 @@ import UpdateReminder from "/snippets/zh/tutorials/update-reminder.mdx" 5. **平滑处理**：网格序列会随时间进行平滑处理。 6. **渲染**：构建姿态文件（GLB），将网格渲染回视频中，然后保存为输出视频。 -## 工作流节点指南 - -### LoadVideo -- 加载您的输入视频 -- 示例视频：`woman_holding_water_glass.mp4`（可在模板库中找到） - -### Video Slice / GetVideoComponents -- 可选择将视频修剪为片段并拆分为帧 - -### SAM3_VideoTrack -- 跨帧跟踪主体（SAM3 视频跟踪） -- 参数：检测阈值等 - -### RTDETR_detect -- 通过 RT-DETR 检测人物，由 `CLIPTextEncode` 提示词（`person`）引导 - -### SAM3DBody_Loader / SAM3DBody_Predict -- 加载 SAM 3D Body 检测模型并预测全身 3D 网格 - -### MoGeInference / MoGeGeometryToFOV（可选） -- 根据视频帧估算相机视场，以便与来源视频进行更精确的对齐 - -### SAM3DBody_FaceExpression -- 通过 MediaPipe 人脸检测添加面部表情 - -### SAM3DBody_Smooth -- 随时间平滑网格序列 - -### BuildPoseFile -- 根据恢复的人体构建 GLB 姿态文件 - -### SAM3DBody_Render / Preview3D -- 渲染网格叠加层并在 3D 中预览 - -### CreateVideo / SaveVideo -- 将渲染的叠加层合成到视频中，并保存到 `ComfyUI/output/video/SAM3D_body/` - ## 运行步骤 1. **加载视频**：使用 `LoadVideo` 节点加载包含人物的视频 From 8ba1df59fd6b6ae41345b4fa90675b9c5cdfd5cd Mon Sep 17 00:00:00 2001 From: lin-bot23 Date: Wed, 26 Aug 2026 03:19:53 +0800 Subject: [PATCH 8/9] docs: fix internal page link to absolute path --- ja/tutorials/3d/trellis2.mdx | 6 +++--- ko/tutorials/3d/trellis2.mdx | 6 +++--- tutorials/3d/trellis2.mdx | 2 +- zh/tutorials/3d/trellis2.mdx | 6 +++--- 4 files changed, 10 insertions(+), 10 deletions(-) diff --git a/ja/tutorials/3d/trellis2.mdx b/ja/tutorials/3d/trellis2.mdx index 53a5c401f..cf5711351 100644 --- a/ja/tutorials/3d/trellis2.mdx +++ b/ja/tutorials/3d/trellis2.mdx @@ -2,10 +2,10 @@ title: "TRELLIS.2 画像からモデルへの ComfyUI ワークフロー例" description: "Microsoft のオープンソースである 4B パラメータの画像から 3D モデルへの変換モデル TRELLIS.2 を使用して、1 枚の画像からフル PBR テクスチャ付きの高忠実度 3D モデルを生成します。" sidebarTitle: "TRELLIS.2" -translationSourceHash: e4864629 +translationSourceHash: 67712115 translationFrom: tutorials/3d/trellis2.mdx translationBlockHashes: - "_intro": a3454090 + "_intro": 62475cee "How it works": e79c0e78 "Steps to run": f899f7e5 "Model downloads": 125142da @@ -15,7 +15,7 @@ import UpdateReminder from '/snippets/ja/tutorials/update-reminder.mdx' **TRELLIS.2** は、Microsoft Research が開発したオープンソースの画像から3Dモデルを生成するモデルで、TRELLIS の後継です。16倍の空間圧縮を備えたネイティブな3D VAE と、O-Voxel と呼ばれるスパースなボクセル表現に基づいて構築された 4B パラメータのモデルであり、単一の画像からフルPBRマテリアルを備えた高精細な3Dアセットを生成します。 -TRELLIS.2 は Pixal3D と基本アーキテクチャを共有しています。両方とも同じ DINOv3 画像エンコーダ、同じ形状・テクスチャ VAE、同じ構造・形状・テクスチャ生成ステージを使用します。異なるのはメインの diffusion モデルと条件付けの形式のみです。[Pixal3D ワークフロー](pixal3d) を実行したことがあれば、モデルのセットアップはほぼ同じです。 +TRELLIS.2 は Pixal3D と基本アーキテクチャを共有しています。両方とも同じ DINOv3 画像エンコーダ、同じ形状・テクスチャ VAE、同じ構造・形状・テクスチャ生成ステージを使用します。異なるのはメインの diffusion モデルと条件付けの形式のみです。[Pixal3D ワークフロー](/tutorials/3d/pixal3d) を実行したことがあれば、モデルのセットアップはほぼ同じです。 ### TRELLIS.2: 画像から3Dモデルへ {#trellis2} diff --git a/ko/tutorials/3d/trellis2.mdx b/ko/tutorials/3d/trellis2.mdx index 71eaa0347..308e0f5db 100644 --- a/ko/tutorials/3d/trellis2.mdx +++ b/ko/tutorials/3d/trellis2.mdx @@ -2,10 +2,10 @@ title: "TRELLIS.2 이미지 기반 3D 생성 ComfyUI 워크플로 예제" description: "Microsoft의 오픈소스 4B 파라미터 이미지 기반 3D 생성 모델인 TRELLIS.2를 사용하여 단일 이미지에서 전체 PBR 텍스처가 포함된 고품질 3D 모델을 생성합니다." sidebarTitle: "TRELLIS.2" -translationSourceHash: e4864629 +translationSourceHash: 67712115 translationFrom: tutorials/3d/trellis2.mdx translationBlockHashes: - "_intro": a3454090 + "_intro": 62475cee "How it works": e79c0e78 "Steps to run": f899f7e5 "Model downloads": 125142da @@ -15,7 +15,7 @@ import UpdateReminder from "/snippets/ko/tutorials/update-reminder.mdx" **TRELLIS.2**는 Microsoft Research에서 개발한 오픈소스 이미지 기반 3D 생성 모델로, TRELLIS의 후속 모델입니다. 16배 공간 압축을 지원하는 네이티브 3D VAE와 O-Voxel이라는 희소 복셀 표현을 기반으로 구축된 4B 파라미터 모델로, 단일 이미지에서 전체 PBR 머티리얼을 갖춘 정밀한 3D 에셋을 생성합니다. -TRELLIS.2는 Pixal3D와 기본 아키텍처를 공유합니다. 두 모델 모두 동일한 DINOv3 이미지 인코더, 동일한 형태 및 텍스처 VAE, 동일한 구조·형태·텍스처 생성 단계를 사용합니다. 주요 diffusion 모델과 조건화 형식만 다릅니다. [Pixal3D 워크플로](pixal3d)를 실행해 본 적이 있다면 모델 설정은 거의 동일합니다. +TRELLIS.2는 Pixal3D와 기본 아키텍처를 공유합니다. 두 모델 모두 동일한 DINOv3 이미지 인코더, 동일한 형태 및 텍스처 VAE, 동일한 구조·형태·텍스처 생성 단계를 사용합니다. 주요 diffusion 모델과 조건화 형식만 다릅니다. [Pixal3D 워크플로](/tutorials/3d/pixal3d)를 실행해 본 적이 있다면 모델 설정은 거의 동일합니다. ### TRELLIS.2: 이미지를 모델로 {#trellis2} diff --git a/tutorials/3d/trellis2.mdx b/tutorials/3d/trellis2.mdx index 3543325ab..d85f45d18 100644 --- a/tutorials/3d/trellis2.mdx +++ b/tutorials/3d/trellis2.mdx @@ -8,7 +8,7 @@ import UpdateReminder from '/snippets/tutorials/update-reminder.mdx' **TRELLIS.2** is an open-source image-to-3D model from Microsoft Research, and the successor to TRELLIS. It is a 4B-parameter model built on native 3D VAEs with 16× spatial compression and a sparse voxel representation called O-Voxel, producing detailed 3D assets with full PBR materials from a single image. -TRELLIS.2 shares its base architecture with Pixal3D: both use the same DINOv3 image encoder, the same shape and texture VAEs, and the same structure, shape, and texture generation stages. Only the main diffusion model and the conditioning format differ. If you have run the [Pixal3D workflow](pixal3d), the model setup is almost identical. +TRELLIS.2 shares its base architecture with Pixal3D: both use the same DINOv3 image encoder, the same shape and texture VAEs, and the same structure, shape, and texture generation stages. Only the main diffusion model and the conditioning format differ. If you have run the [Pixal3D workflow](/tutorials/3d/pixal3d), the model setup is almost identical. ### TRELLIS.2: Image to Model {#trellis2} diff --git a/zh/tutorials/3d/trellis2.mdx b/zh/tutorials/3d/trellis2.mdx index e867d17a0..cb9b3824a 100644 --- a/zh/tutorials/3d/trellis2.mdx +++ b/zh/tutorials/3d/trellis2.mdx @@ -2,10 +2,10 @@ title: "TRELLIS.2 图像到模型 ComfyUI 工作流示例" description: "使用 TRELLIS.2（微软的开源 4B 参数图像到 3D 模型），从单个图像生成具有完整 PBR 纹理的高保真 3D 模型。" sidebarTitle: "TRELLIS.2" -translationSourceHash: e4864629 +translationSourceHash: 67712115 translationFrom: tutorials/3d/trellis2.mdx translationBlockHashes: - "_intro": a3454090 + "_intro": 62475cee "How it works": e79c0e78 "Steps to run": f899f7e5 "Model downloads": 125142da @@ -15,7 +15,7 @@ import UpdateReminder from "/snippets/zh/tutorials/update-reminder.mdx" **TRELLIS.2** 是微软研究院推出的开源图生3D模型，也是 TRELLIS 的继任者。它是一个 4B 参数模型，基于原生3D VAE 构建，具有 16× 空间压缩，并采用名为 O-Voxel 的稀疏体素表示，可从单张图像生成带有完整 PBR 材质的精细3D资产。 -TRELLIS.2 与 Pixal3D 共享基础架构：两者使用相同的 DINOv3 图像编码器、相同的形状和纹理 VAE，以及相同的结构、形状和纹理生成阶段。只有主要的扩散模型和条件格式有所不同。如果你已经运行过 [Pixal3D 工作流](pixal3d)，模型设置几乎完全相同。 +TRELLIS.2 与 Pixal3D 共享基础架构：两者使用相同的 DINOv3 图像编码器、相同的形状和纹理 VAE，以及相同的结构、形状和纹理生成阶段。只有主要的扩散模型和条件格式有所不同。如果你已经运行过 [Pixal3D 工作流](/tutorials/3d/pixal3d)，模型设置几乎完全相同。 ### TRELLIS.2：图像到模型 {#trellis2} From 31565d376b7a552bb5d9de4cf218e5833e81f412 Mon Sep 17 00:00:00 2001 From: lin-bot23 Date: Wed, 26 Aug 2026 03:22:47 +0800 Subject: [PATCH 9/9] docs: localize cross-page links in translations --- ja/tutorials/3d/trellis2.mdx | 2 +- ko/tutorials/3d/trellis2.mdx | 2 +- zh/tutorials/3d/trellis2.mdx | 2 +- 3 files changed, 3 insertions(+), 3 deletions(-) diff --git a/ja/tutorials/3d/trellis2.mdx b/ja/tutorials/3d/trellis2.mdx index cf5711351..bf7c2b453 100644 --- a/ja/tutorials/3d/trellis2.mdx +++ b/ja/tutorials/3d/trellis2.mdx @@ -15,7 +15,7 @@ import UpdateReminder from '/snippets/ja/tutorials/update-reminder.mdx' **TRELLIS.2** は、Microsoft Research が開発したオープンソースの画像から3Dモデルを生成するモデルで、TRELLIS の後継です。16倍の空間圧縮を備えたネイティブな3D VAE と、O-Voxel と呼ばれるスパースなボクセル表現に基づいて構築された 4B パラメータのモデルであり、単一の画像からフルPBRマテリアルを備えた高精細な3Dアセットを生成します。 -TRELLIS.2 は Pixal3D と基本アーキテクチャを共有しています。両方とも同じ DINOv3 画像エンコーダ、同じ形状・テクスチャ VAE、同じ構造・形状・テクスチャ生成ステージを使用します。異なるのはメインの diffusion モデルと条件付けの形式のみです。[Pixal3D ワークフロー](/tutorials/3d/pixal3d) を実行したことがあれば、モデルのセットアップはほぼ同じです。 +TRELLIS.2 は Pixal3D と基本アーキテクチャを共有しています。両方とも同じ DINOv3 画像エンコーダ、同じ形状・テクスチャ VAE、同じ構造・形状・テクスチャ生成ステージを使用します。異なるのはメインの diffusion モデルと条件付けの形式のみです。[Pixal3D ワークフロー](/ja/tutorials/3d/pixal3d) を実行したことがあれば、モデルのセットアップはほぼ同じです。 ### TRELLIS.2: 画像から3Dモデルへ {#trellis2} diff --git a/ko/tutorials/3d/trellis2.mdx b/ko/tutorials/3d/trellis2.mdx index 308e0f5db..73c9e9e5e 100644 --- a/ko/tutorials/3d/trellis2.mdx +++ b/ko/tutorials/3d/trellis2.mdx @@ -15,7 +15,7 @@ import UpdateReminder from "/snippets/ko/tutorials/update-reminder.mdx" **TRELLIS.2**는 Microsoft Research에서 개발한 오픈소스 이미지 기반 3D 생성 모델로, TRELLIS의 후속 모델입니다. 16배 공간 압축을 지원하는 네이티브 3D VAE와 O-Voxel이라는 희소 복셀 표현을 기반으로 구축된 4B 파라미터 모델로, 단일 이미지에서 전체 PBR 머티리얼을 갖춘 정밀한 3D 에셋을 생성합니다. -TRELLIS.2는 Pixal3D와 기본 아키텍처를 공유합니다. 두 모델 모두 동일한 DINOv3 이미지 인코더, 동일한 형태 및 텍스처 VAE, 동일한 구조·형태·텍스처 생성 단계를 사용합니다. 주요 diffusion 모델과 조건화 형식만 다릅니다. [Pixal3D 워크플로](/tutorials/3d/pixal3d)를 실행해 본 적이 있다면 모델 설정은 거의 동일합니다. +TRELLIS.2는 Pixal3D와 기본 아키텍처를 공유합니다. 두 모델 모두 동일한 DINOv3 이미지 인코더, 동일한 형태 및 텍스처 VAE, 동일한 구조·형태·텍스처 생성 단계를 사용합니다. 주요 diffusion 모델과 조건화 형식만 다릅니다. [Pixal3D 워크플로](/ko/tutorials/3d/pixal3d)를 실행해 본 적이 있다면 모델 설정은 거의 동일합니다. ### TRELLIS.2: 이미지를 모델로 {#trellis2} diff --git a/zh/tutorials/3d/trellis2.mdx b/zh/tutorials/3d/trellis2.mdx index cb9b3824a..a94da6da9 100644 --- a/zh/tutorials/3d/trellis2.mdx +++ b/zh/tutorials/3d/trellis2.mdx @@ -15,7 +15,7 @@ import UpdateReminder from "/snippets/zh/tutorials/update-reminder.mdx" **TRELLIS.2** 是微软研究院推出的开源图生3D模型，也是 TRELLIS 的继任者。它是一个 4B 参数模型，基于原生3D VAE 构建，具有 16× 空间压缩，并采用名为 O-Voxel 的稀疏体素表示，可从单张图像生成带有完整 PBR 材质的精细3D资产。 -TRELLIS.2 与 Pixal3D 共享基础架构：两者使用相同的 DINOv3 图像编码器、相同的形状和纹理 VAE，以及相同的结构、形状和纹理生成阶段。只有主要的扩散模型和条件格式有所不同。如果你已经运行过 [Pixal3D 工作流](/tutorials/3d/pixal3d)，模型设置几乎完全相同。 +TRELLIS.2 与 Pixal3D 共享基础架构：两者使用相同的 DINOv3 图像编码器、相同的形状和纹理 VAE，以及相同的结构、形状和纹理生成阶段。只有主要的扩散模型和条件格式有所不同。如果你已经运行过 [Pixal3D 工作流](/zh/tutorials/3d/pixal3d)，模型设置几乎完全相同。 ### TRELLIS.2：图像到模型 {#trellis2}