Googleは、携帯電話で効率的なリアルタイム3Dオブジェクト検出を実現できる新しいAIフレームワークをオープンソース化し続けている。

Googleは、携帯電話で効率的なリアルタイム3Dオブジェクト検出を実現できる新しいAIフレームワークをオープンソース化し続けている。
出典:ザ・ペーパー

2D 画像から 3D オブジェクト検出を実行する方法は、コンピューター ビジョン研究にとって常に課題でした。 Google AIは3月12日、公式ブログでMediaPipe Objectronというアルゴリズムフレームワークを公開した。このアルゴリズムフレームワークを使うと、携帯電話だけで2D動画から3Dオブジェクトの位置、大きさ、方向をリアルタイムに特定できる。この技術は、ロボット工学、自動運転車、画像検索、拡張現実などの分野でさまざまなアプリケーションの実現に役立ちます。


個別に説明すると、MediaPipe はオープンソースのクロスプラットフォーム フレームワークであり、主にさまざまな形式の知覚データを構築および処理するために使用されます。一方、Objectron は MediaPipe に実装されており、モバイル デバイス上でオブジェクト指向の 3D 境界ボックスをリアルタイムで計算できます。

3D オブジェクトの追跡は、特にスマートフォンなどの限られたコンピューティング リソースでは、コンピューター ビジョンにおける困難な問題です。データが不足し、2D 画像しか利用できない場合は、オブジェクトの多様な外観と形状を解決する必要があるため、状況はさらに困難になります。


この問題を解決するために、Google Objectron チームは、2D 動画内のオブジェクトの 3D 境界ボックスに注釈を付けるために使用できるツール セットを開発しました。3D 境界ボックスを使用すると、オブジェクトの姿勢とサイズを簡単に計算できます。注釈者は、3D ビューで 3D 境界ボックスを描画し、2D ビデオ フレームでの投影を見てその位置を確認できます。静的オブジェクトの場合、単一のフレーム内のターゲット オブジェクトに注釈を付けるだけで済みます。

チームは、現実世界のトレーニング データを補完して AI モデルの予測精度を向上させるために、AR 合成データ生成と呼ばれる新しい方法も開発しました。 AR セッション データを使用して仮想オブジェクトをシーンに配置できるため、カメラを活用し、平面を検出し、照明を推定してターゲット オブジェクトの可能な位置を生成したり、シーンに一致する照明のあるシーンを作成したりできます。このアプローチでは、シーンのジオメトリを尊重し、現実世界の背景にシームレスにフィットするレンダリングされたオブジェクトで構成される高品質の合成データが生成されます。

ネットワークのサンプル結果: 左側は、推定された境界ボックスを含む元の 2D 画像、中央はガウス分布によるオブジェクト検出、右側は予測されたセグメンテーション マスクです。
Google は、上記 2 つの方法を通じて、現実世界のデータと拡張現実の合成データを組み合わせて、検出精度を 10% 向上させます。

拡張現実のための合成データ生成の例: 実際の青い本の横に、実際のシーンにレンダリングされた仮想の白茶色のシリアル ボックス。

精度が向上したのももちろんだが、Google によれば、Objectron モデルの現在のバージョンはモバイル デバイス上でリアルタイムに実行できるほど「軽量」だという。 LG V60 ThinQ、Samsung Galaxy S20+、Sony Xperia 1 IIなどの携帯電話に搭載されているAdreno 650モバイルグラフィックチップの助けを借りて、1秒あたり約26フレームを処理でき、基本的にリアルタイム検出を実現します。次に、Google チームは次のように述べました。「私たちのソリューションをより多くの研究者や開発者と共有することで、新しい応用事例や新しい研究活動が生まれることを期待しています。今後、このモデルをさらに多くのカテゴリに拡張し、デバイスのパフォーマンスをさらに向上させる予定です。」



Google、フレームワーク、認識

<<:  UltimakerとERIKSは、OEMおよびMRO業界における3Dプリント機能を共同で強化するための協力協定を締結しました。

>>:  まとめ: 3D プリントの失敗の典型的なケース 16 個とその理由

推薦する

3Dプリント業界イベント:CAD変換ツールCrossManagerが3MF形式の出力をサポート

Microsoft が立ち上げた新しい 3D 印刷ファイル形式である 3MF は、遅かれ早かれ S...

GE Additive Metal 3Dプリンティング事業紹介: 装置、材料、プロセス

以下の内容は、GE Additive の公式ウェブサイト https://www.ge.com/ad...

FDM フィラメント PLA と ABS を比較すると、どちらを選択すべきでしょうか?

はじめに: ポリマー 3D プリントに関しては、適切な消耗品をどのように選択するかが常に悩みの種でし...

UTS の研究者が 3D プリントされた心臓組織を使用した画期的な心不全治療法を開発

出典:PR Newswire 2023年4月23日、アンタークティックベアは、シドニー工科大学(UT...

年間売上高は7,000万人民元を超え、靴のサンプルの3Dプリントにはわずか7日しかかかりません。

出典:中国新聞社「中国の靴の首都」の一つである温州市鹿城区は、加工工場が集まる場所であるだけでなく、...

ブラックテクノロジー! MITとUIUCが協力して3Dプリントされた光制御生物ロボットを開発

バイオロボットは非常に有望な技術製品です。最近、イリノイ大学アーバナ・シャンペーン校(UIUC)とマ...

科技日報:陝西省の付加製造研究成果が繁栄

近年、陝西省は付加製造産業の発展促進において一連の目覚ましい成果を達成しています。同省は、プロジェク...

BMFマテリアルテクノロジー:超高精度3Dプリント技術の進歩と応用

2019年5月9日午後、「中国付加製造産業発展シルクロードツアー」イベント中に、陝西省渭南市で付加...

金属 3D プリントのサポート構造を「食べる」ことができる電気化学プロセス

Antarctic Bear は、金属 3D プリント業界の多くの人々が、サポートの取り外しが難し...

3D プリントにおける表面処理方法は何ですか?

はじめに: 付加製造は近年驚異的な成長を遂げ、ニッチな技術から、試作から最終使用部品の生産まですべて...

ストラタシス、宇宙実験のために3Dプリント部品を月に送る

2024年3月14日、アンタークティックベアは、ストラタシスが今後の月面ミッションに3Dプリント材...

コーヒーマシンのように簡単に操作できる、Heige Technologyが歯科用椅子用の新しいChairSide 3Dプリンターを発売

2022年3月1日、南極熊は、Heige Technologyが広州で2022年歯科チェアサイド新...