Nvidiaが3Dモデル生成AI技術「Magic3D」を発表、デジタルモデリングをAI時代にもたらす

2023 年 2 月、Antarctic Bear は、GPU メーカーの Nvidia が、テキストプロンプトに基づいて 3D モデルを生成できる生成 AI テクノロジーである Magic3D の発売を発表したことを知りました。 2022年11月には、研究者らがこの技術をベースにした「Magic3D: 高解像度のテキストから3Dコンテンツの作成」という論文も発表した。これは、3Dプリントにおける生成AI技術の応用に関する最初の論文ではない。2022年9月には、Googleの研究者らが「DREAMFUSION: 2D拡散を使用したテキストから3Dへの変換」というタイトルで研究内容を発表した。では、生成AI技術とは何だろうか？ 2 つのチームが研究している内容の類似点と相違点は何ですか? 3D プリント生成 AI テクノロジーはどのような問題に直面していますか?

△Magic3Dでレンダリングしたヤドクガエルの3Dモデル。

3D プリントにおける生成 AI <br /> 生成 AI (AIGC) は、既存のテキスト、オーディオファイル、または画像から新しいコンテンツを作成するテクノロジーです。応用シナリオには、グラフィック作成、コード生成、ゲーム、広告、アートグラフィックデザインなどがあります。将来、生成型AIは普及した基礎技術となり、デジタルコンテンツの豊かさ、創造性、制作効率を大幅に向上させるとともに、技術の進歩とコストの削減により、その応用範囲もより多くの分野に拡大するでしょう。 3D モデリング用の生成 AI は、複雑な有機的な形状を持つコンポーネントの概念化に役立ちます。 3D プリントは、複雑な構造を製造できると同時にコスト効率も優れているため、これらの複雑な形状を製造するのに理想的な技術です。毎年実施される 3D プリント業界の調査結果によると、 AI を使用して 3D モデルを自動的に生成することが注目の話題となっています。

3Dプリントにおける生成AIの開発

△Magic3D関連論文

Magic3D では、わずか 40 分でカラーテクスチャ付きの 3D メッシュモデルを作成できます。これは、「睡蓮の葉の上に座っている青いヤドクガエル」というプロンプトを入力した後に表示されました。得られた結果に応じて改良し、さまざまな芸術シーンやビデオゲームで使用することができます。

△DreamFusion関連論文

●DreamFusionは、Googleの研究者が2022年9月に発表した「テキストから3Dモデルへ」という論文です。

● Physnaは2週間で8,000のモデルを使用して3Dモデルとシーンの生成AIプロトタイプを作成しました

Magic3D 対 DreamFusion
Nvidia の論文では、研究者らが、生成 AI テクノロジーによって、特別なトレーニングなしで 3D モデルを瞬時に作成できるようになる仕組みを詳しく説明しています。この技術がさらに進歩すれば、ビデオゲームの開発が加速し、映画やテレビの特殊効果にも応用できる可能性があるという。研究者たちは、Magic3D テクノロジーによって 3D 合成を民主化し、3D コンテンツ作成におけるすべての人の創造性を披露したいと考えています。

Nvidia は生成 AI を推進する上で有利な立場にあります。同社の GPU は、画像内の各ピクセルが特定の光の下でどのように表示されるかを指示するシェーダーを使用して、リアルなグラフィックスを作成できます。シェーダーはピクセルごとに計算され、複数のピクセルにわたって繰り返されます。 Intel マイクロプロセッサや汎用 CPU とは異なり、Nvidia GPU は画像を素早くレンダリングし、ピクセルのシェーディングなどの複数の単純な計算を同時に実行できます。

Magic3D は 2 段階のアプローチを採用しており、低解像度で大まかなモデルを作成し、それを高解像度に最適化します。これは、DreamFusion がテキストを使用して 2D 画像を生成し、それを体積 NeRF データに最適化する方法に似ています。

Magic3D は、特定の被写体インスタンスの入力画像に基づいて DreamBooth を使用して拡散モデルを微調整し、指定されたヒントを使用して 3D モデルを最適化できます。

△指定されたトピックのプロンプトに従ってモデルを最適化する

要約すると、Nvidia の原則は、粗い段階から細かい段階までの 2 段階の最適化フレームワークを使用して、高品質のテキストから 3D コンテンツを迅速に作成することです。最初の段階では、低解像度の拡散事前分布を使用して粗いモデルが取得され、ハッシュグリッドとスパース加速構造を使用して加速されます。第 2 段階では、粗いニューラル表現から初期化されたテクスチャメッシュモデルが使用され、高解像度の潜在拡散モデルと相互作用する効率的な微分可能レンダラーを使用した最適化が可能になります。

△ Magic3Dの2段階最適化プロセスの概略図

DreamFusion チームのテクノロジーを見てみましょう。まず、事前トレーニング済みの 2D 拡散モデルを使用して、テキストプロンプトに基づいて 2 次元画像を生成し、次に確率密度蒸留に基づく損失関数を導入して、勾配降下法によってランダムに初期化された神経放射場 NeRF モデルを最適化します。トレーニングされたモデルは、任意の角度、任意の照明条件、および任意の 3 次元環境で、指定されたテキストプロンプトに基づいてモデルを生成できます。プロセス全体では、3D トレーニングデータや画像拡散モデルの変更は必要なく、事前にトレーニングされた拡散モデルに完全に依存します。

比較すると、Magic3D は入力テキストプロンプトに基づいて高品質の 3D テクスチャメッシュモデルを作成できます。低解像度と高解像度の拡散事前分布を使用して、対象コンテンツの 3D 表現を学習するために、粗から細への戦略を採用しています。 Magic3D は、DreamFusion よりも 8 倍高い解像度で 3D モデルを合成し、処理速度も 2 倍高速です。

ジェネレーティブAIと3Dプリント：大きな可能性
Physna の創設者兼 CEO であるポール・パワーズ氏は、生成 AI についての考えを共有し、生成 AI は 2022 年に非常に人気があるため、同社は 3D プリントと生成 AI の組み合わせを詳しく検討することにしたと述べました。 Physna は AR/VR と製造業におけるエンジニアリングと設計のアプリケーションに重点を置いた 3D 検索および分析会社ですが、同社の 3 人のエンジニアはわずか 8,000 個のモデルを使用して 2 週間で 3D モデルとシーン用の非常に基本的な生成 AI プロトタイプを構築しました。

●Physnaの創業者兼CEOであるポール・パワーズ氏は、ジェネレーティブAIの分野に参入した理由について説明しました。パワーズ氏によると、ジェネレーティブAIは多くの業界を席巻しているが、3Dプリンティングではまだ始まったばかりだという。主な理由は、3D モデルが複雑であることと、ラベル付けされた 3D データが不足していることです。 3D モデルは作成が難しいことが多く、互換性のない複数の形式で提供されており、2D モデル分析 (テキスト、画像、ビデオなど) に比べてあまり注目されていません。 3D の研究は非常に難しいため、3D に注力するのに適した企業はほとんどありません。

●Google の DreamFusion チームは論文の中で次のように述べています。 「3D データは 2D データよりも少ない」 。 Google の DreamFusion チームは、Nvidia の Magic3D チームと同じ方法で NeRF を使用しています。ユーザーは対象物に関する情報が少ないだけでなく、その技術について推測することも困難です。 NeRF でのトレーニングは 2D モデルのトレーニングよりも役立つかもしれませんが、Google の DreamFusion チームは、NeRF は実際のラベル付き 3D モデルの代替としては不十分であると指摘しています。そうは言っても、解決策がなければ、生成 AI は近い将来、他の分野ほど 3D ではうまく機能しないでしょう。 DreamFusion チームは、生成 AI と 3D プリントの互換性を検証するためにさらなる実験を実施しました。

GPU コンピューティングは 3D プリントをどのように改善できるのでしょうか?

GPU コンピューティングでは、CPU 上の科学計算を高速化するために、GPU (グラフィックスプロセッシングユニット) をコプロセッサとして使用します。 GPU は、時間がかかり計算量の多いコードをオフロードすることで、CPU ベースのアプリケーションを高速化できます。アプリケーションの残りの部分は CPU 上で引き続き実行されます。ユーザーの観点から見ると、GPU の並列処理機能を活用してパフォーマンスが向上するため、アプリケーションの実行速度が向上します。このタイプのコンピューティングは、「ハイブリッド」または「異種」コンピューティングと呼ばれます。 CPU には通常 4 ～ 8 個の CPU コアがあり、GPU には通常数百個の小さなコアがあります。 GPU の高い計算性能は、その大規模な並列構造によるものです。

アプリケーション開発者は、NVIDIA の「CUDA」並列プログラミングモデルを採用することで、並列 GPU アーキテクチャのパフォーマンスを活用できます。 NVIDIA CUDA 並列プログラミングモデルは、GeForce、Quadro、Tesla を含むすべての NVIDIA GPU でサポートされています。以前、Nvidia は 2D 画像を 3D モデルに変換する方法を紹介しました。このフレームワークは、人間の目の仕組みと同様の方法で、単一の画像から形状、テクスチャ、照明を推測する方法を示しています。「この画面を見るときは左目を閉じてください」と、NVIDIAの広報担当者ローレン・フィンクル氏は同社のブログに書いている。「今度は右目を閉じて左目を開けてください。すると、どちらの目を使うかによって視野が変わることに気づくでしょう。これは、私たちが2次元で見ているのに対し、網膜で捉えた画像が組み合わさって奥行きが生まれ、3次元の感覚が生まれるからです。」

Differentiable Interpolation Based Renderer (DIB-R) と呼ばれる NVIDIA レンダリングフレームワークは、3D 設計やロボット工学のさまざまな分野を支援および加速し、3D モデルを数秒でレンダリングします。フィンクル氏によると、私たちが住んでいる 3D の世界は実際には 2D で構成されており、これを立体視といいます。それぞれの目から見た画像を組み合わせることで脳内に奥行きが生まれ、3次元画像のような印象を与えます。 DIB-R も同様に機能し、2D 画像入力をマップに変換して、画像の形状、色、テクスチャ、照明を予測します。次に多角形の球体が作成され、元の 2D 画像のコンポーネントを表す 3D モデルが作成されます。

関連動画:

関連リンク:
NVIDIA Magic3D プロジェクトアドレス: https://research.nvidia.com/labs/dir/magic3d/

NVIDIA Magic3D 論文アドレス: https://doi.org/10.48550/arXiv.2211.10440

DreamFusion プロジェクトアドレス: https://dreamfusion3d.github.io/

DreamFusion 論文アドレス: https://doi.org/10.48550/arXiv.2209.14988

Nvidiaが3Dモデル生成AI技術「Magic3D」を発表、デジタルモデリングをAI時代にもたらす

ICON、手頃な価格の住宅を建設するための新しい大型Vulcan II 3Dプリンターを発売

中国国家検査検疫研究所：「古いものを壊し、新しいものを確立する」ことで業界の発展を促進し、3Dプリント医療機器技術の関連基準を策定

3Dプリント技術が金ジュエリー業界に突然の影響を与える

ISAR AEROSPACE は NEBUMIND ソフトウェアを使用して金属 3D プリントの品質を向上

ギネス世界記録：多分野にわたるチームが3Dプリント技術を使って趙州橋を修復

シーメンスがDLP光硬化3Dプリントの自動化を支援

MolyWorks、シンガポールにリサイクル可能な金属3Dプリント粉末工場を開設、世界的な展開を拡大

フランスの3DプリントメーカーProdwaysがOqton AIソフトウェアを組み込み、「ワンストップ」プラットフォームを構築

CO PRINT 3D が Kickstarter キャンペーンで 65 万ドルを調達し、新製品を発売します。

【動画】携帯電話用DLP樹脂3DプリンターONOの最新動作例

推薦する

ドイツの3Dプリンティングとの対話：SLM技術の共同発明者であるディーター・シュヴァルツァー博士への質問

フォーブス誌が市場で最も優れた3Dプリンター7台を選出、うち4台は中国製

リアンタイテクノロジーの3Dプリントソール金型製造イノベーション

eSUNは2018年のTCT展示会で2つの新しいソリューションを発表しました

環境に優しい素材で 3D プリントされたファッショナブルなサングラス、あなたにふさわしい逸品です!

ROSSWAG、3Dプリントプロセスパラメータの世界初のB2B取引プラットフォームを開始

総額2,744万ドルの資金を投じたユーロチャイナテクノロジー金属3Dプリント粉末材料プロジェクトは、2018年に国家重点研究開発計画として承認されました。

Vital Autoの3Dプリントコンセプトカーの経験

Signifyは3Dプリント技術を使用して何千ものライトを印刷し、大手顧客に製品を提供してきました。

3DプリントされたフィボナッチハウスがAirbnbで利用可能に

粘土3Dプリント改造キット：ほとんどのFDMモデルと互換性があり、価格はわずか3500元

メルティオ金属ワイヤーDED技術がフランス海軍に承認され、防衛分野の第3陣ユーザーとなる

2017年の3Dプリント業界における主要な買収を整理する

エアバスのA320隔離キャビンの金属印刷の進捗状況は？

研究者らは、バインダー噴射プロセスを最適化するために適応型スライス法とバインダー投与アルゴリズムを開発しました。