Googleは、携帯電話で効率的なリアルタイム3Dオブジェクト検出を実現できる新しいAIフレームワークをオープンソース化し続けている。

Googleは、携帯電話で効率的なリアルタイム3Dオブジェクト検出を実現できる新しいAIフレームワークをオープンソース化し続けている。
出典:ザ・ペーパー

2D 画像から 3D オブジェクト検出を実行する方法は、コンピューター ビジョン研究にとって常に課題でした。 Google AIは3月12日、公式ブログでMediaPipe Objectronというアルゴリズムフレームワークを公開した。このアルゴリズムフレームワークを使うと、携帯電話だけで2D動画から3Dオブジェクトの位置、大きさ、方向をリアルタイムに特定できる。この技術は、ロボット工学、自動運転車、画像検索、拡張現実などの分野でさまざまなアプリケーションの実現に役立ちます。


個別に説明すると、MediaPipe はオープンソースのクロスプラットフォーム フレームワークであり、主にさまざまな形式の知覚データを構築および処理するために使用されます。一方、Objectron は MediaPipe に実装されており、モバイル デバイス上でオブジェクト指向の 3D 境界ボックスをリアルタイムで計算できます。

3D オブジェクトの追跡は、特にスマートフォンなどの限られたコンピューティング リソースでは、コンピューター ビジョンにおける困難な問題です。データが不足し、2D 画像しか利用できない場合は、オブジェクトの多様な外観と形状を解決する必要があるため、状況はさらに困難になります。


この問題を解決するために、Google Objectron チームは、2D 動画内のオブジェクトの 3D 境界ボックスに注釈を付けるために使用できるツール セットを開発しました。3D 境界ボックスを使用すると、オブジェクトの姿勢とサイズを簡単に計算できます。注釈者は、3D ビューで 3D 境界ボックスを描画し、2D ビデオ フレームでの投影を見てその位置を確認できます。静的オブジェクトの場合、単一のフレーム内のターゲット オブジェクトに注釈を付けるだけで済みます。

チームは、現実世界のトレーニング データを補完して AI モデルの予測精度を向上させるために、AR 合成データ生成と呼ばれる新しい方法も開発しました。 AR セッション データを使用して仮想オブジェクトをシーンに配置できるため、カメラを活用し、平面を検出し、照明を推定してターゲット オブジェクトの可能な位置を生成したり、シーンに一致する照明のあるシーンを作成したりできます。このアプローチでは、シーンのジオメトリを尊重し、現実世界の背景にシームレスにフィットするレンダリングされたオブジェクトで構成される高品質の合成データが生成されます。

ネットワークのサンプル結果: 左側は、推定された境界ボックスを含む元の 2D 画像、中央はガウス分布によるオブジェクト検出、右側は予測されたセグメンテーション マスクです。
Google は、上記 2 つの方法を通じて、現実世界のデータと拡張現実の合成データを組み合わせて、検出精度を 10% 向上させます。

拡張現実のための合成データ生成の例: 実際の青い本の横に、実際のシーンにレンダリングされた仮想の白茶色のシリアル ボックス。

精度が向上したのももちろんだが、Google によれば、Objectron モデルの現在のバージョンはモバイル デバイス上でリアルタイムに実行できるほど「軽量」だという。 LG V60 ThinQ、Samsung Galaxy S20+、Sony Xperia 1 IIなどの携帯電話に搭載されているAdreno 650モバイルグラフィックチップの助けを借りて、1秒あたり約26フレームを処理でき、基本的にリアルタイム検出を実現します。次に、Google チームは次のように述べました。「私たちのソリューションをより多くの研究者や開発者と共有することで、新しい応用事例や新しい研究活動が生まれることを期待しています。今後、このモデルをさらに多くのカテゴリに拡張し、デバイスのパフォーマンスをさらに向上させる予定です。」



Google、フレームワーク、認識

<<:  UltimakerとERIKSは、OEMおよびMRO業界における3Dプリント機能を共同で強化するための協力協定を締結しました。

>>:  まとめ: 3D プリントの失敗の典型的なケース 16 個とその理由

推薦する

この新しい 3D プリント製品群は、Rapid+TCT 2018 展示会で注目を集めました...

3Dプリントイベントが開幕、eSUNの新製品マッチングプリンター「CR-10S」が好評最近、北米で...

中国科学院研究チーム:DLP技術によるAlNセラミックスの印刷

寄稿者: 王成東、陸中良 寄稿者: 機械製造システム工学国家重点研究室窒化アルミニウム (AlN) ...

3Dプリントされたバクテリアはグラフェンのような材料でカスタマイズできる

グラフェンの特性を持つ材料をどのようにカスタマイズできるでしょうか?一つの答えは、バクテリアの3Dプ...

大連化学物理研究所の呉中帥のチーム:3Dプリントマイクロバッテリーの可能性と課題

出典: RSC マテリアルサイエンスフレキシブル/ウェアラブル電子機器、自己発電型マイクロシステム、...

eSUNは多くの新製品を発売しました! 8月のプロモーションはまもなく開始されます

南極熊は、2024年8月7日水曜日20:00に、易盛天猫旗艦店で「オリンピックシーズン」プロモーショ...

Photocentric が新型 LC Magna v.2 3D プリンターを発売、印刷効率が 2 倍に

2022年5月28日、樹脂3Dプリンターおよび材料の開発会社であるフォトセントリックは、新型3Dプ...

ドイツのBASF、HP 3Dプリンター向け新素材の開発を加速

今年3月、大手HPは、マルチジェットフュージョン(MJF)3Dプリンター向けのオープン材料プラットフ...

EOS、UAEの「10倍効率の高い」新しい空調システムの開発を支援

2022年7月11日、Antarctic Bearは、先進的な3DプリンターメーカーであるEOSが...

Raise3D は Speedhut の 3D プリントによる自動車ダッシュボード製造の革新を支援します

Speedhut は、自動車ダッシュボードの改造市場で名を馳せている企業です。ハイエンドのコンポー...

NIMSの研究者は3Dプリントを使用して耐熱鋼のクリープ寿命を10倍以上延長しました

この投稿は Bingdunxiong によって 2025-1-17 11:01 に最後に編集されまし...

3Dプリントされたスマート電気自動車のプロトタイプ検証、レッドドット賞に選出

出典: Future Factory 3D Printing生活水準の向上に伴い、自動車は何千もの家...

国産3Dプリンターは、この3つをうまくやったからこそ反撃に成功した

南極熊の紹介:FDM技術の分野では、国産3Dプリンターは海外の3Dプリンターとどのように競争している...

LaserLight が河北工科大学の付加製造研究を支援

河北工業大学は、国家の「双一流」大学の一つであり、「産業を発展させ国家に奉仕する」という教育の伝統と...

オークリッジ研究所、リグニンを使った新しい3Dプリント材料を開発

リグニンは、多くの植物細胞壁に不可欠な成分である複雑な有機ポリマーであり、細胞壁に木質性と剛性を与え...