画像やテキストを3Dモデルに変換します。 OpenAIが新しいShap-Eオープンソースモデルをリリース

この投稿は warrior bear によって 2023-5-15 20:13 に最後に編集されました。

2023年5月15日、Antarctic Bearは、有名な人工知能製品ChatGPTをリリースしたOpenAI社が最近、3D画像の生成に特化したShap-Eと呼ばれる条件付き生成モデルをGitHubウェブサイトでリリースしたことを知りました。無料でダウンロードして使用できるこのモデルは、テキストを使用してゼロからモデルを生成したり、2D 画像を 3D モデルに変換したり、モデルを取得して変更したりすることもできます。長期的には、これにより 3D プリントの人気が大幅に高まる可能性があります。結局のところ、3D プリントの専門家にとって、熟練したモデリングスキルは不可欠な要素です。

Shap-E ダウンロードリンク: https://github.com/openai/shap-e
この研究に関連して、Alex Nichol と Haewoo Jun が執筆した「Shap-E: GeneratingConditional 3D Implicit Functions」というタイトルの論文があります。

論文リンク: https://arxiv.org/abs/2305.02463
OpenAI によると、Shap-E は 3D 画像用の新しいタイプの条件付き生成モデルです。従来のモデルでは単一の出力表現しか生成できませんが、Shap·E では、テクスチャメッシュまたはニューラル放射フィールド (NeRF) としてレンダリングできる暗黙関数のパラメータを生成できるため、多様でリアルな 3D 画像の生成が可能になります。 Shap·E は暗黙的なニューラル表現 (INR) を使用して 3D 画像をエンコードし、3D 画像の詳細な幾何学的特徴を捉えることができる柔軟で効率的なフレームワークを提供します。

3D モデルは細部やテクスチャが多く、非常に複雑になる可能性があるため、AI を使用して 3D モデルを生成するのは非常に困難です。したがって、これらのモデルを生成するには大量のデータと計算を処理する必要があり、強力なコンピューターとアルゴリズムのサポートが必要です。同時に、形状、サイズ、テクスチャ、色など、大量のデータを正確に測定し、処理する必要があります。したがって、生成された 3D モデルが期待どおりであることを保証するために、アルゴリズムは高い精度と正確さを備えている必要があります。
Shap-E のトレーニングでは、まずエンコーダーを使用して 3D 画像を暗黙的な関数パラメータに変換し、次に条件付き拡散モデルを使用してトレーニングし、多様で複雑な 3D 画像を生成します。 Point-E モデルと比較すると、Shap-E は、より高次元で多重表現の出力空間において、より高速な修正速度と同等以上のサンプル品質を示します。

Point-Eとの比較
昨年 OpenAI がリリースした Point-E は、テキストプロンプトに基づいて 3D ポイントクラウドを生成しますが、新しくリリースされた Shap-E は、テキストや画像を 3D グラフィックスに変換できる Shap-E モデルです。出力ファイルは Microsoft Paint 3D で開くことも、3D プリンター用の STL ファイルに変換することもできます。さらに、昨年発売されたPoint-Eと比較すると、Shap-Eはより優れた3D画像を提供し、出力効率も高くなっています。

OpenAI が開発した Shap-E 3D モデルは、オブジェクトのアウトラインを直接構築し、Neural Radiance Fields (NeRF) の機能を使用して初期モデルの曖昧さを克服します。 NeRF は VR や AR と同じテクノロジーを使用して、3D シーンをより没入感とリアルさのあるものにします。 Shap-EはGitHubからダウンロードし、パソコンにインストールして実行することができます。現在、Shap-EはOpenAI APIキーを必要とせず、無料で使用できます。
海外メディアTom's Hardwareのテストによると、Shap-Eは画像を使用する場合でもテキストを使用する場合でも、大量のコンピューターシステムリソースを必要とする。 Tom'sHardwareは、例えばRTX 3080グラフィックカードとRyzen9 5900Xプロセッサを搭載したデスクトップパソコンでShap-Eを実行すると、描画が完了するまでに約5分かかると指摘しました。
RTX 4090 グラフィックカードと Intel Core i9-13980HX プロセッサを搭載した ROG ゲーミングノート PC では、わずか 2 ～ 3 分しかかかりません。しかし、Intel 第 8 世代 U シリーズプロセッサと内蔵グラフィックスを搭載した古いラップトップで Shap-E を実行しようとすると、1 時間でレンダリングされたのは約 3% だけでした。また、Shap-E は NVIDIA 以外のグラフィックカードブランドをサポートしておらず、多くの待機時間を無駄にしないようにするには、ハードウェア仕様が一定レベルに達している必要があります。全体的に、現在の Shap-E の結果のほとんどはまだ解像度が低く、詳細が欠けています。

オープンソースの Shap-E モデル<br /> ユーザーは GitHub から Shap-E モデルを無料でダウンロードし、Microsoft Paint 3D で開くことができます。このプログラムは、ユーザーが作成したレンダリングされた 3D 画像を STL ファイルに変換し、3D プリンターで忠実にレンダリングすることができます。
Shap-E モデルの基本は単純に思えるかもしれませんが、モデルをインストールして実行するには、ある程度の技術的な知識が必要になる場合があります。
Shap-E オープンソースモデルの開発者である Avram Piltch 氏は、このモデルをテストし、操作に慣れるまでに 8 時間かかったと主張しています。彼は、OpenAI は Python の pip コマンドを使用してインストールする必要があることを説明する以外にはほとんど指示を提供していないと付け加えた。
インストール後、ピルチ氏は、カラーのアニメーション GIF ファイルとモノクロの PLY ファイルの両方を使用してプロンプトをテストすることができ、アニメーション GIF が人気があることを指摘しました。興味深い例としては、ペンギン、椅子、バナナのような飛行機などがあり、これらはすべてファイルの種類に応じて品質レベルが異なります。ピルチ氏は、ユーザーが 2D 画像をアップロードして 3D オブジェクトに変換できるモデルの機能も使用しました。
△カラーアニメーションGIFファイル
Shap-E の開発者は、Shap-E をインストールして 3D オブジェクトをレンダリングしようとする人は、モデルにかなりの量のコンピュータシステムリソースが必要であることに注意する必要があるとも述べています。特に、Shap-E は Nvidia GPU とのみ互換性があり、レンダリングを数時間ではなく数分で完了するには高性能 CPU が必要です。

画像やテキストを3Dモデルに変換します。 OpenAIが新しいShap-Eオープンソースモデルをリリース

3D Systems、戦略調整のためOqtonソフトウェア事業を売却か

3D Systems は、過去 40 年間で最も深刻な症例の 1 つである頭蓋顔面変形の子供が新たな人生を取り戻すのを支援しました。

ESA初のオールインワン3Dプリントデュアルリフレクター宇宙アンテナがテストに合格

たった1時間！ KSCAN-Magicは4メートルを超えるタービンブレードの3D検査を正確に制御します

3Dプリンティング、起業3年目の私の意見

大型部品のマルチロボット協働アーク積層造形における層内堆積パスの割り当てとスケジュール設定

自然：超微細等軸粒子を使用した高性能チタン銅合金の3Dプリント

珠海市溪通中山大学が3Dプリント医療応用に関するセミナーを開催

販売ではなくレンタルという新しいモデル、FDMデスクトップマシンをわずか0.8元/日でレンタル

プロトラブズは、部品の機能と外観を最適化するための新しい3Dプリント表面品質基準を導入しました。

推薦する

突破！アメリカの科学者たちは、ナノクリスタルインクを使ってトランジスタを 3D プリントする方法を研究しています。

POSTPROCESSとEOS、より持続可能な自動化に向けた戦略的提携を発表

AMS は、高価値の循環型経済材料を開発するために、ニコン SLM 280 第 2 世代金属 3D プリンターを購入

とても明るいですね！これらの精巧な工業用プロトタイプは3Dプリントの成果である

流行との戦いを支援するため、英創建設は江蘇省、浙江省、上海に3Dプリント住宅1,000棟を寄付する予定だ。

2021年の中国3Dプリンター産業の発展状況と輸出入状況

ポーランドのOVE社がフルカラーFFF 3Dプリンターを発売、価格は8万元

アメリカの科学者が金属3Dプリント部品の内部に気孔が現れる理由を明らかに

北京理工大学と康碩電機が大型セラミックコア3DプリンターKSJT-3Dを共同開発

月産300トンの3Dプリントワイヤー生産ライン23本、香港3D ELEMENTS

警察に知られないように: 誰かが3Dプリントした弾丸をテストすることに成功した

Stratasys 2Y22 Reflectionシリーズがデビュー、デザイナーのアイデアを完璧に実現

ADDITIV Medical Worldイベントでは、ヘルスケアにおける3Dプリントのさまざまな用途に焦点を当てます

Tuozhuは多くの人材を採用しており、年俸は50万元から100万元で、3Dプリンターの年間収入は数十億元に達している。

Ultimaker ユーザーストーリー | NavVis は 3D 印刷技術を使用してウェアラブルスキャナーを迅速に反復します