MIT、2D設計から3Dモデルへ自動変換システム開発

エンジニアは、飛行機や自動車の部品など新しい設計を生成する際、ビジョン・ランゲージモデル（Vision-Language Model）を活用することがよくあります。これらの部品が現実の状況でどのように機能するかをシミュレーションするため、信頼性の高いコンピュータ支援設計（CAD）ソフトウェアを用いて 3D モデルを作成し、仮想衝突試験や耐久性テストにかけます。

MIT や他の機関の研究チームは、2D デザインを CAD プログラムへ自動的に変換するシステムを開発しました。この手法は他社アプローチと比較して精度と機能性が大幅に向上しており、かつ必要な計算リソースもごく一部で済みます。

AI 駆動の CAD 生成におけるパフォーマンスと効率性を高めることで、この技術は迅速なプロトタイピングプロセスを合理化し、コスト削減にも貢献します。また、エンジニアが見過ごしてしまいがちな有益な設計選択の特定を支援する可能性もあります。

このシステムは、2D イメージを CAD プログラムに変換しようとする過程でモデルの能力に基づき新たなデータを生成します。フレームワークはモデルの失敗事例を修正し、成功した解決策とともにデータセットに統合します。

これらのデータを用いて、モデルが単独では対処が難しい特定のミスを修正したり、難易度の高い問題に取り組んだりする方法を学習させます。

「設計上の問題を抱える CAD モデルに対して、本フレームワークを適用し、計算リソースの予算を設定するだけで、システムが自動的に処理を開始します。モデル自体のミスをより良質な学習データへと変換していくのです」と、MIT のデザイン計算・デジタルエンジニアリング（DeCoDE）ラボで研究員を務めると同時に、Red Hat の AI イノベーションチームで主任研究科学者を務めるギオルジオ・ジャンノーネ氏は語ります。

この論文の共著者には、MIT の機械工学専攻大学院生であるアンナ・クレア・ドリス氏、MIT のポスドク研究員であるアミン・ヘイラニ・ノバリ氏、Red Hat のカイ・ Xu 氏が名を連ねています。さらに、IBM コア AI ディレクターであり MIT-IBM コンピューティング研究所の主任研究者でもあるアカシュ・スリバスタヴァ氏と、MIT 機械工学准教授で DeCoDE ラボのリーダー、同研究所の主任研究者であるファエズ・アフメド氏が共同シニア著者として加わっています。本研究成果は、最近開催された国際機械学習会議（ICML）で発表されました。

「飛行機から家電に至るまで、身の回りのほぼすべての物理製品は、CAD モデルとして誕生します。業界チームはこうした設計作成を加速させる AI を切望していますが、現在のモデルが生成するのは実用には不十分な単純な形状に留まることが多いです。私がこの研究に注目する理由は、画像から CAD コードを生成する多くのモデルが、自らエラーから学習することで自己改善できる道を開いた点にあります。つまり、人間による新たなデータ作成を待つ必要がないのです。これにより、信頼性の高い AI 設計ツールが日常のエンジニアリング現場にさらに近づきます」と Ahmed は語ります。

モデル認識型データ

研究者たちは、CAD 生成のためのビジョン・ランゲージモデル（VLM）構築を目指しています。これらの VLM は、2D イメージと説明文を入力として受け取り、実行可能な Python コードを出力します。このコードは CAD ソフトウェア上で動作し、物理オブジェクトの 3D モデルを生成します。

既存の VLM をこのタスクに適用する際の課題を検討した結果、研究者たちはその能力を制限する最大のボトルネックが、学習用として利用可能な多様で高品質な CAD データセットの不足にあると特定しました。

これを解決するため、彼らはデータ拡張（data augmentation）と呼ばれるプロセスを用いて、モデルが CAD 生成を実行する方法を教えるための新たなデータを創出しようと試みました。

データ拡張では、通常、既存のデータにランダムな変更を加えてサンプル数を増やします。具体的には、画像内のオブジェクトの色、サイズ、形状などを調整して新しいデータを生成するのが一般的です。

そこで MIT の研究者たちは、GIFT（Geometric Inference Feedback Tuning：幾何推論フィードバック調整）と呼ばれるデータ拡張システムを開発しました。これは特定のタスクにおいて、ある VLM（ビジョン・ランゲージ・モデル）の性能を向上させることを目的としたデータを生成する仕組みです。

GIFT はモデルを実際にテストすることで、その強みと弱みを理解します。そして得られた知見をもとに、CAD 生成の問題で特に苦手とする部分を克服するためのデータを生成します。「モデル自身からインスピレーションを得たデータ拡張を実現したい」と、Giannone 氏は語ります。

失敗から学ぶ

そのために GIFT は、モデルに対して CAD 生成問題を解決するコードを並列に複数回生成させます。そしてこれらの回答が正しいかどうかを検証し、モデルがどの程度この問題を解けるかを把握します。「モデルにとって、ほぼ正確な CAD クエリコードを生成するのはそれほど難しくないですが、標準的な VLM にとっては完全に正しく、かつ実行可能なコードを生成するのははるかに難しい課題です」と Giannone 氏は説明します。

GIFT は「ほぼ正解」だった回答に対して調整を加え、成功する解決策へと導きます。そしてこれらの「惜しい回答」と成功した解決策を新しいデータセットとして保存します。これにより、モデルが通常つまずくような問題を乗り越える方法を学ぶことができるようになります。「同じ問題に対して 10 回サンプリングしてすべて正解が出た場合、そこから学べることはほとんどありません。重要なのは、モデルがその問題を 50% の確率でしか解決できないような中間ケースです」と同氏は言います。

これらの中間ケースを活用することで、GIFT はモデルの特性とタスクの要件の両方を考慮したデータ拡張を生成できます。さらに、同じ問題に対する複数の正解を組み込むことで、CAD コード生成に関するモデルの汎用的な知識も拡大されます。

この自動システムでは、モデルの誤りを修正するために人間の介入は不要です。

GIFT は、事前学習済み VLM（Vision Language Model）を用いて「推論時のスケーリング」と呼ばれるプロセスでデータ拡張を生成します。この手法により、一度トレーニングが完了した静的なモデルでも、モデル全体を再トレーニングするといった高コストを伴うことなく、より高精度な出力を実現できます。

推論時のスケーリングを採用することで、ユーザーは GIFT に割り当てる計算リソースの量を自由に調整可能です。これにより、利用者の時間や予算の制約に合わせて最適化することができます。

GIFT は複数の競合手法を上回る性能を発揮し、計算コストを約 20% に抑えながら、より正確な CAD プログラムを生成しました。GIFT を活用した VLM が生成する CAD モデルは、正解となるモデルの形状と高い整合性を示しています。

「GIFT ではまず幾何学構造から始めます。なぜなら工学問題において、3D 形状の幾何が正しくなければ他の要素もすべて正しくならないからです」と Giannone 氏は述べています。「しかし、考慮すべき点は幾何学以外にも多岐にわたります」

将来的には、研究チームは GIFT の拡張を目指しており、3D モデルの性能や製造可能性を向上させる CAD プログラムの生成をモデルに学習させたいと考えています。また、より大規模なモデルへの適用や、多様な CAD 生成タスクへの展開も計画されています。

本研究の一部は、MIT-IBM コンピューティング研究ラボによって支援されました。