MIT は AI を使って 2D ビデオから 3D プリントされた「キネティック彫刻」を作成

動きを理解することは、ピッチの角度を計算する場合であれ、捕食者と獲物の動きを見る場合であれ、すべての生物種にとって基本的なことです。しかし、単純なビデオでは実際に包括的な理解を得ることはできません。動きを研究するために使用される従来のビデオや写真は 2 次元であるため、対象とする人物や主題の背後にある 3D 構造は示されません。

現在、MIT のコンピューターサイエンスおよび人工知能研究所、Google Research、カリフォルニア大学バークレー校の研究者らが、人体の動きを実証する人工知能 (AI) システムを考案した。

MoSculpと呼ばれるこのシステムは、2Dビデオを3Dプリントされた「モーション彫刻」に変換できるアルゴリズムを使用しています。プロのアスリート、ダンサー、または身体能力を向上させたい人にとって、より詳細な動きの研究が可能になります。

「ロジャー・フェデラーがテニスの試合でボールを投げているビデオと、自分自身がテニスを習っているビデオがあると想像してください」と博士課程の学生、張秀明さんは言う。「その後、両方のシナリオのアクション彫刻を作成して比較し、改善が必要な部分をさらに詳しく調査することができます。」

実際の仕組みは次のとおりです。ビデオをシステムにロードした後、MoSculp は検出されたキーポイントを入力フレームにオーバーレイし、ランダムに選択されたいくつかのフレームで確認します。 (組み込みの修正ツールにより、ユーザーは必要に応じて調整を行うことができます。)「一時的に矛盾した検出」を修正した後、モーションスカルプチャーを生成し、カスタムインターフェイスに読み込みます。

これは複数のステップからなるプロセスであり、MoSculp に必要なのはビデオシーケンスだけです。仕組みは次のとおりです。ビデオをシステムに読み込むと、MoSculp はまず、複雑なダンスシーケンスを実行しているバレリーナの腰、膝、足首など、被写体の体の 2D キーポイントを自動的に検出します。次に、これらのポイントの最適なポーズを 3D「スケルトン」に変換します。

これらのスケルトンをつなぎ合わせた後、システムは 3D プリント可能なモーションスカルプチャーを生成し、対象がたどる滑らかで連続的なモーションパスを表示します。ユーザーは彫刻内を移動し、グラフィックをカスタマイズしてさまざまな体の部位に焦点を当てたり、部位を区別するためにさまざまな素材を割り当てたり、照明をカスタマイズしたりしてから、3D プリンターで印刷することができます。

試験中、研究者らは被験者の75%以上が、MoSculpは標準的な写真撮影技術よりも運動学習のより詳細な視覚化を提供すると感じたことを発見した。

このシステムは、ボールを投げたり、ダンスシーケンス中に飛び跳ねたりするような大きな動きに最適です。また、ゆったりとした服を着ている人や物を運んでいる人など、動きを妨げたり複雑にしたりする可能性がある状況にも適しています。

現在、MoSculp は単一被写体のビデオでのみ機能しますが、チームは複数人物に拡張したいと考えています。将来的には、社会的な障害、対人関係、集団のダイナミクスなどを研究するためにこの技術が利用できるようになると研究者らは考えている。

第一著者の張秀明氏とそのチームによる「ダイナミックな彫刻」
「ダンスや高度な技術を要するスポーツは、しばしば『動く彫刻』のように見えるが、それらはつかの間の、はかない形にしかならない」とアドビの広報責任者コートニー・ブリガム氏は語った。「この作品は、アクションを客観的なモーションビジュアライゼーションでリアルな彫刻に変える方法を示しており、アスリートが移動カメラといくらかの計算時間以外の機器を必要とせずにトレーニング動作を分析する方法を提供します。」

チームは来月、ドイツのベルリンで開催されるユーザーインターフェイスソフトウェアおよびテクノロジー (UIST) カンファレンスで論文 (「MoSculp: 形状と時間のインタラクティブな視覚化」) を発表する予定です。

出典: 3ders

MIT は AI を使って 2D ビデオから 3D プリントされた「キネティック彫刻」を作成

英国諸島の最先端産業の魅力はそのままに、TCT UK展示会は大盛況のうちに終了しました

上海マンカティが上海科学技術館の「3Dプリンティングメーカースペース」展示エリアの入札に勝利

アウディは生産における3Dプリンターの使用を拡大するために独立した3Dプリント部門を設立

ドバイの14歳の少年が、心で制御できる3Dプリントのバイオニックアームを製作

南方加成工業と東方重機が協力し、重金属3Dプリントの開発を推進

AI インテリジェンスを統合したコンシューマーグレードの 3D プリンター! KOKONIマジックコアテクノロジー3Dプリンター製品在庫

イスラエルのXJetとエリコンが積層造形で協力

オランダの2つの主要機関が協力して3Dプリントされた人間の組織と臓器を開発

現代自動車グループ、南洋理工大学および科学技術局との協力を強化、持続可能なエネルギーと先進製造技術の推進に努める

コンティニュアム、プラズマ噴霧法による量産体制で新本社と持続可能な金属粉末生産拠点を開設

推薦する

第4回国際粉末冶金チタンおよび付加製造学術会議が西安で成功裏に開催されました

寧夏回族自治区が3Dプリント技術応用専攻を正式に開設

「また歩ける！」3Dプリント技術が蘇州の75歳の女性の復活を助けた

デジタル歯科におけるHeige Technologyの応用方向

KIMYAは輸送業界向けに特別に開発された新しい高性能3DフィラメントKIMYA PC-FRを発売

水の連結橋：科学者が全液体の「ラボオンチップ」を3Dプリント

科学者たちは3Dプリントされたテンサイに取り組んでいる：植物の表現型解析のための新しいツール

米海兵隊、砂漠問題を克服するために3Dプリント技術を活用

ファルスーン社の大型金属積層造形装置は、まもなく欧州フラウンホーファーIWSに設置される予定

コーヒーマシンが壊れましたか？心配しないでください。3Dプリント家電が役立ちます

「自然」3Dプリント技術が新たなチタン合金を生み出す

富志科技CEO馮華氏の2024年の展望：3Dプリント業界は内部の強さを養い、安定した発展を目指す必要がある

3D プリントの財務状況: T&R BioFab がイノベーションと財務上の課題をいかに両立させるか

オーストラリアのもう 1 つの 3D プリント会社、333D が株式公開を予定しています。 1,400万ドルの調達が見込まれる

方向性細胞成長のための生物学的 3D プリントマイクロナノスキャフォールドが雑誌「Small」でトップにランクインしました。