Nvidiaが3Dモデル生成AI技術「Magic3D」を発表、デジタルモデリングをAI時代にもたらす

2023 年 2 月、Antarctic Bear は、GPU メーカーの Nvidia が、テキストプロンプトに基づいて 3D モデルを生成できる生成 AI テクノロジーである Magic3D の発売を発表したことを知りました。 2022年11月には、研究者らがこの技術をベースにした「Magic3D: 高解像度のテキストから3Dコンテンツの作成」という論文も発表した。これは、3Dプリントにおける生成AI技術の応用に関する最初の論文ではない。2022年9月には、Googleの研究者らが「DREAMFUSION: 2D拡散を使用したテキストから3Dへの変換」というタイトルで研究内容を発表した。では、生成AI技術とは何だろうか？ 2 つのチームが研究している内容の類似点と相違点は何ですか? 3D プリント生成 AI テクノロジーはどのような問題に直面していますか?

△Magic3Dでレンダリングしたヤドクガエルの3Dモデル。

3D プリントにおける生成 AI <br /> 生成 AI (AIGC) は、既存のテキスト、オーディオファイル、または画像から新しいコンテンツを作成するテクノロジーです。応用シナリオには、グラフィック作成、コード生成、ゲーム、広告、アートグラフィックデザインなどがあります。将来、生成型AIは普及した基礎技術となり、デジタルコンテンツの豊かさ、創造性、制作効率を大幅に向上させるとともに、技術の進歩とコストの削減により、その応用範囲もより多くの分野に拡大するでしょう。 3D モデリング用の生成 AI は、複雑な有機的な形状を持つコンポーネントの概念化に役立ちます。 3D プリントは、複雑な構造を製造できると同時にコスト効率も優れているため、これらの複雑な形状を製造するのに理想的な技術です。毎年実施される 3D プリント業界の調査結果によると、 AI を使用して 3D モデルを自動的に生成することが注目の話題となっています。

3Dプリントにおける生成AIの開発

△Magic3D関連論文

Magic3D では、わずか 40 分でカラーテクスチャ付きの 3D メッシュモデルを作成できます。これは、「睡蓮の葉の上に座っている青いヤドクガエル」というプロンプトを入力した後に表示されました。得られた結果に応じて改良し、さまざまな芸術シーンやビデオゲームで使用することができます。

△DreamFusion関連論文

●DreamFusionは、Googleの研究者が2022年9月に発表した「テキストから3Dモデルへ」という論文です。

● Physnaは2週間で8,000のモデルを使用して3Dモデルとシーンの生成AIプロトタイプを作成しました

Magic3D 対 DreamFusion
Nvidia の論文では、研究者らが、生成 AI テクノロジーによって、特別なトレーニングなしで 3D モデルを瞬時に作成できるようになる仕組みを詳しく説明しています。この技術がさらに進歩すれば、ビデオゲームの開発が加速し、映画やテレビの特殊効果にも応用できる可能性があるという。研究者たちは、Magic3D テクノロジーによって 3D 合成を民主化し、3D コンテンツ作成におけるすべての人の創造性を披露したいと考えています。

Nvidia は生成 AI を推進する上で有利な立場にあります。同社の GPU は、画像内の各ピクセルが特定の光の下でどのように表示されるかを指示するシェーダーを使用して、リアルなグラフィックスを作成できます。シェーダーはピクセルごとに計算され、複数のピクセルにわたって繰り返されます。 Intel マイクロプロセッサや汎用 CPU とは異なり、Nvidia GPU は画像を素早くレンダリングし、ピクセルのシェーディングなどの複数の単純な計算を同時に実行できます。

Magic3D は 2 段階のアプローチを採用しており、低解像度で大まかなモデルを作成し、それを高解像度に最適化します。これは、DreamFusion がテキストを使用して 2D 画像を生成し、それを体積 NeRF データに最適化する方法に似ています。

Magic3D は、特定の被写体インスタンスの入力画像に基づいて DreamBooth を使用して拡散モデルを微調整し、指定されたヒントを使用して 3D モデルを最適化できます。

△指定されたトピックのプロンプトに従ってモデルを最適化する

要約すると、Nvidia の原則は、粗い段階から細かい段階までの 2 段階の最適化フレームワークを使用して、高品質のテキストから 3D コンテンツを迅速に作成することです。最初の段階では、低解像度の拡散事前分布を使用して粗いモデルが取得され、ハッシュグリッドとスパース加速構造を使用して加速されます。第 2 段階では、粗いニューラル表現から初期化されたテクスチャメッシュモデルが使用され、高解像度の潜在拡散モデルと相互作用する効率的な微分可能レンダラーを使用した最適化が可能になります。

△ Magic3Dの2段階最適化プロセスの概略図

DreamFusion チームのテクノロジーを見てみましょう。まず、事前トレーニング済みの 2D 拡散モデルを使用して、テキストプロンプトに基づいて 2 次元画像を生成し、次に確率密度蒸留に基づく損失関数を導入して、勾配降下法によってランダムに初期化された神経放射場 NeRF モデルを最適化します。トレーニングされたモデルは、任意の角度、任意の照明条件、および任意の 3 次元環境で、指定されたテキストプロンプトに基づいてモデルを生成できます。プロセス全体では、3D トレーニングデータや画像拡散モデルの変更は必要なく、事前にトレーニングされた拡散モデルに完全に依存します。

比較すると、Magic3D は入力テキストプロンプトに基づいて高品質の 3D テクスチャメッシュモデルを作成できます。低解像度と高解像度の拡散事前分布を使用して、対象コンテンツの 3D 表現を学習するために、粗から細への戦略を採用しています。 Magic3D は、DreamFusion よりも 8 倍高い解像度で 3D モデルを合成し、処理速度も 2 倍高速です。

ジェネレーティブAIと3Dプリント：大きな可能性
Physna の創設者兼 CEO であるポール・パワーズ氏は、生成 AI についての考えを共有し、生成 AI は 2022 年に非常に人気があるため、同社は 3D プリントと生成 AI の組み合わせを詳しく検討することにしたと述べました。 Physna は AR/VR と製造業におけるエンジニアリングと設計のアプリケーションに重点を置いた 3D 検索および分析会社ですが、同社の 3 人のエンジニアはわずか 8,000 個のモデルを使用して 2 週間で 3D モデルとシーン用の非常に基本的な生成 AI プロトタイプを構築しました。

●Physnaの創業者兼CEOであるポール・パワーズ氏は、ジェネレーティブAIの分野に参入した理由について説明しました。パワーズ氏によると、ジェネレーティブAIは多くの業界を席巻しているが、3Dプリンティングではまだ始まったばかりだという。主な理由は、3D モデルが複雑であることと、ラベル付けされた 3D データが不足していることです。 3D モデルは作成が難しいことが多く、互換性のない複数の形式で提供されており、2D モデル分析 (テキスト、画像、ビデオなど) に比べてあまり注目されていません。 3D の研究は非常に難しいため、3D に注力するのに適した企業はほとんどありません。

●Google の DreamFusion チームは論文の中で次のように述べています。 「3D データは 2D データよりも少ない」 。 Google の DreamFusion チームは、Nvidia の Magic3D チームと同じ方法で NeRF を使用しています。ユーザーは対象物に関する情報が少ないだけでなく、その技術について推測することも困難です。 NeRF でのトレーニングは 2D モデルのトレーニングよりも役立つかもしれませんが、Google の DreamFusion チームは、NeRF は実際のラベル付き 3D モデルの代替としては不十分であると指摘しています。そうは言っても、解決策がなければ、生成 AI は近い将来、他の分野ほど 3D ではうまく機能しないでしょう。 DreamFusion チームは、生成 AI と 3D プリントの互換性を検証するためにさらなる実験を実施しました。

GPU コンピューティングは 3D プリントをどのように改善できるのでしょうか?

GPU コンピューティングでは、CPU 上の科学計算を高速化するために、GPU (グラフィックスプロセッシングユニット) をコプロセッサとして使用します。 GPU は、時間がかかり計算量の多いコードをオフロードすることで、CPU ベースのアプリケーションを高速化できます。アプリケーションの残りの部分は CPU 上で引き続き実行されます。ユーザーの観点から見ると、GPU の並列処理機能を活用してパフォーマンスが向上するため、アプリケーションの実行速度が向上します。このタイプのコンピューティングは、「ハイブリッド」または「異種」コンピューティングと呼ばれます。 CPU には通常 4 ～ 8 個の CPU コアがあり、GPU には通常数百個の小さなコアがあります。 GPU の高い計算性能は、その大規模な並列構造によるものです。

アプリケーション開発者は、NVIDIA の「CUDA」並列プログラミングモデルを採用することで、並列 GPU アーキテクチャのパフォーマンスを活用できます。 NVIDIA CUDA 並列プログラミングモデルは、GeForce、Quadro、Tesla を含むすべての NVIDIA GPU でサポートされています。以前、Nvidia は 2D 画像を 3D モデルに変換する方法を紹介しました。このフレームワークは、人間の目の仕組みと同様の方法で、単一の画像から形状、テクスチャ、照明を推測する方法を示しています。「この画面を見るときは左目を閉じてください」と、NVIDIAの広報担当者ローレン・フィンクル氏は同社のブログに書いている。「今度は右目を閉じて左目を開けてください。すると、どちらの目を使うかによって視野が変わることに気づくでしょう。これは、私たちが2次元で見ているのに対し、網膜で捉えた画像が組み合わさって奥行きが生まれ、3次元の感覚が生まれるからです。」

Differentiable Interpolation Based Renderer (DIB-R) と呼ばれる NVIDIA レンダリングフレームワークは、3D 設計やロボット工学のさまざまな分野を支援および加速し、3D モデルを数秒でレンダリングします。フィンクル氏によると、私たちが住んでいる 3D の世界は実際には 2D で構成されており、これを立体視といいます。それぞれの目から見た画像を組み合わせることで脳内に奥行きが生まれ、3次元画像のような印象を与えます。 DIB-R も同様に機能し、2D 画像入力をマップに変換して、画像の形状、色、テクスチャ、照明を予測します。次に多角形の球体が作成され、元の 2D 画像のコンポーネントを表す 3D モデルが作成されます。

関連動画:

関連リンク:
NVIDIA Magic3D プロジェクトアドレス: https://research.nvidia.com/labs/dir/magic3d/

NVIDIA Magic3D 論文アドレス: https://doi.org/10.48550/arXiv.2211.10440

DreamFusion プロジェクトアドレス: https://dreamfusion3d.github.io/

DreamFusion 論文アドレス: https://doi.org/10.48550/arXiv.2209.14988

Nvidiaが3Dモデル生成AI技術「Magic3D」を発表、デジタルモデリングをAI時代にもたらす

3Dプリントされた人間の頭部はAndroidの主力スマートフォンのロックを解除できるが、iPhone Xを騙すことはできない

[分析] 心臓血管組織工学における3Dプリント技術の研究の進歩

アメリカの高校生が3Dプリント技術を使って低コストで水から鉛を除去するフィルターを製作

粉末床の選択的レーザー溶融法を用いた三次元金属セラミックス複合材料部品の製造

新しい「光熱二重硬化」樹脂3Dプリント技術：サポートの追加は不要

ポルシェがモーターローターシャフト用の新しい3Dプリント技術を披露

子犬が喧嘩で重傷を負ったが、3Dプリントマスクのおかげで早く回復した

オーストラリアのコールドスプレー技術のパイオニアであるSPEE3Dがラッセルスミスと提携し、西アフリカの製造業に革命を起こす

デジタル光処理 (DLP) 技術を使用してマイクロ流体チップを作成できますか?

仙林は、重慶市の4906万元の3Dプリンター機器調達プロジェクトを含む、数百万規模の契約3件を落札した。

推薦する

3Dプリントの革新がデザインの未来を変える

書籍プレゼント：「The Big Disruption: From 3D Printing to 3D Manufacturing」、最大の混乱は何だと思いますか?

3D プリンティングは固形廃棄物の合理的な利用を実現するのにどれくらい遠いのでしょうか?

3D プリントのコストを削減するにはどのような方法がありますか?

数百億元を調達した商業航空宇宙部門は、ロケット部品を3Dプリントしている。

eSUNが歯科用樹脂を発売 - インプラント手術ガイド樹脂

宗威キューブと立佳国際は、ベイエリアの高品質な3Dプリントプラットフォームを共同で構築するための戦略的協力協定を締結しました。

Uniformity Labs が、高スループット、高性能 LPBF 印刷を可能にする新しい 316L ステンレス鋼粉末を発売

ドバイ道路交通局が世界初の3Dプリント電気水上バスを試験運用

3Dプリントの「目」 - 3Dスキャン技術に関する調査レポート

マリスとアルセロール・ミッタルが提携し、金属3Dプリントの速度、品質、コスト効率を向上

3DPRINTUKは、今年初めにMJFの生産能力を50％増強し、SLSマシンを追加しており、2023年も拡大を続ける予定である。

マグネシウム合金ワイヤーDEDレーザー金属3Dプリント技術、より軽くて強い

UW のエンジニアが無重力状態で電子部品を 3D プリントし、宇宙製造における新たな課題を克服

3Dプリンティングは製造業に急速に浸透し、質的な飛躍をもたらしている。