MIT、2D設計から3Dモデルへ自動変換システム開発
MIT と他機関の研究者が開発した新システムは、AI モデル自身の失敗を学習データとして活用し、2D 設計図から高精度な CAD プログラムを自動生成する技術を実現しました。
キーポイント
自己修正型学習フレームワーク
モデルが 2D 画像から CAD を生成する際の失敗事例を自動的に収集・分析し、それを新たな訓練データとして組み込むことで、モデルの精度を継続的に向上させる仕組みを採用しています。
計算リソースの大幅削減
従来の手法に比べて必要な計算資源が極めて少なく、既存のビジョン言語モデル（VLM）の性能と効率を劇的に改善し、コスト削減と迅速なプロトタイピングを可能にします。
エンジニアリング設計の自動化
航空機や自動車部品などの複雑なコンポーネント設計において、人間が見過ごしがちな有益な設計選択肢を AI が特定し、実用的で信頼性の高い 3D モデル生成を実現します。
重要な引用
"We want engineers to be able to point our framework at an underperforming CAD model, set a compute budget, and let the system take over — turning the model's own mistakes into better training data."
"What excites me about this work is that it gives many image-to-CAD-code models a way to improve themselves, learning from their own errors rather than waiting for more human-made data."
影響分析・編集コメントを表示
影響分析
この技術は、従来の CAD 設計プロセスにおけるボトルネックである「2D から 3D への変換精度」と「計算コスト」の両方を同時に解決する画期的な進展です。AI が人間の介入を最小限にしつつ、実用レベルの設計データを生成できるようになることで、製品開発サイクルが大幅に短縮され、イノベーションの速度が加速すると予想されます。
編集コメント
AI が自ら失敗から学習して設計能力を高めるというアプローチは、信頼性の高いエンジニアリングツールの実現に向けた重要な転換点です。特に計算リソースの削減と既存モデルの活用可能性は、産業現場での即時的な導入を後押しする強力な要素と言えます。
エンジニアは、飛行機や自動車の部品など新しい設計を生成する際、ビジョン・ランゲージモデル（Vision-Language Model）を活用することがよくあります。これらの部品が現実の状況でどのように機能するかをシミュレーションするため、信頼性の高いコンピュータ支援設計（CAD）ソフトウェアを用いて 3D モデルを作成し、仮想衝突試験や耐久性テストにかけます。
MIT や他の機関の研究チームは、2D デザインを CAD プログラムへ自動的に変換するシステムを開発しました。この手法は他社アプローチと比較して精度と機能性が大幅に向上しており、かつ必要な計算リソースもごく一部で済みます。
AI 駆動の CAD 生成におけるパフォーマンスと効率性を高めることで、この技術は迅速なプロトタイピングプロセスを合理化し、コスト削減にも貢献します。また、エンジニアが見過ごしてしまいがちな有益な設計選択の特定を支援する可能性もあります。
このシステムは、2D イメージを CAD プログラムに変換しようとする過程でモデルの能力に基づき新たなデータを生成します。フレームワークはモデルの失敗事例を修正し、成功した解決策とともにデータセットに統合します。
これらのデータを用いて、モデルが単独では対処が難しい特定のミスを修正したり、難易度の高い問題に取り組んだりする方法を学習させます。
「設計上の問題を抱える CAD モデルに対して、本フレームワークを適用し、計算リソースの予算を設定するだけで、システムが自動的に処理を開始します。モデル自体のミスをより良質な学習データへと変換していくのです」と、MIT のデザイン計算・デジタルエンジニアリング（DeCoDE）ラボで研究員を務めると同時に、Red Hat の AI イノベーションチームで主任研究科学者を務めるギオルジオ・ジャンノーネ氏は語ります。
この論文の共著者には、MIT の機械工学専攻大学院生であるアンナ・クレア・ドリス氏、MIT のポスドク研究員であるアミン・ヘイラニ・ノバリ氏、Red Hat のカイ・ Xu 氏が名を連ねています。さらに、IBM コア AI ディレクターであり MIT-IBM コンピューティング研究所の主任研究者でもあるアカシュ・スリバスタヴァ氏と、MIT 機械工学准教授で DeCoDE ラボのリーダー、同研究所の主任研究者であるファエズ・アフメド氏が共同シニア著者として加わっています。本研究成果は、最近開催された国際機械学習会議（ICML）で発表されました。
「飛行機から家電に至るまで、身の回りのほぼすべての物理製品は、CAD モデルとして誕生します。業界チームはこうした設計作成を加速させる AI を切望していますが、現在のモデルが生成するのは実用には不十分な単純な形状に留まることが多いです。私がこの研究に注目する理由は、画像から CAD コードを生成する多くのモデルが、自らエラーから学習することで自己改善できる道を開いた点にあります。つまり、人間による新たなデータ作成を待つ必要がないのです。これにより、信頼性の高い AI 設計ツールが日常のエンジニアリング現場にさらに近づきます」と Ahmed は語ります。
モデル認識型データ
研究者たちは、CAD 生成のためのビジョン・ランゲージモデル（VLM）構築を目指しています。これらの VLM は、2D イメージと説明文を入力として受け取り、実行可能な Python コードを出力します。このコードは CAD ソフトウェア上で動作し、物理オブジェクトの 3D モデルを生成します。
既存の VLM をこのタスクに適用する際の課題を検討した結果、研究者たちはその能力を制限する最大のボトルネックが、学習用として利用可能な多様で高品質な CAD データセットの不足にあると特定しました。
これを解決するため、彼らはデータ拡張（data augmentation）と呼ばれるプロセスを用いて、モデルが CAD 生成を実行する方法を教えるための新たなデータを創出しようと試みました。
データ拡張では、通常、既存のデータにランダムな変更を加えてサンプル数を増やします。具体的には、画像内のオブジェクトの色、サイズ、形状などを調整して新しいデータを生成するのが一般的です。
そこで MIT の研究者たちは、GIFT（Geometric Inference Feedback Tuning：幾何推論フィードバック調整）と呼ばれるデータ拡張システムを開発しました。これは特定のタスクにおいて、ある VLM（ビジョン・ランゲージ・モデル）の性能を向上させることを目的としたデータを生成する仕組みです。
GIFT はモデルを実際にテストすることで、その強みと弱みを理解します。そして得られた知見をもとに、CAD 生成の問題で特に苦手とする部分を克服するためのデータを生成します。「モデル自身からインスピレーションを得たデータ拡張を実現したい」と、Giannone 氏は語ります。
失敗から学ぶ
そのために GIFT は、モデルに対して CAD 生成問題を解決するコードを並列に複数回生成させます。そしてこれらの回答が正しいかどうかを検証し、モデルがどの程度この問題を解けるかを把握します。「モデルにとって、ほぼ正確な CAD クエリコードを生成するのはそれほど難しくないですが、標準的な VLM にとっては完全に正しく、かつ実行可能なコードを生成するのははるかに難しい課題です」と Giannone 氏は説明します。
GIFT は「ほぼ正解」だった回答に対して調整を加え、成功する解決策へと導きます。そしてこれらの「惜しい回答」と成功した解決策を新しいデータセットとして保存します。これにより、モデルが通常つまずくような問題を乗り越える方法を学ぶことができるようになります。「同じ問題に対して 10 回サンプリングしてすべて正解が出た場合、そこから学べることはほとんどありません。重要なのは、モデルがその問題を 50% の確率でしか解決できないような中間ケースです」と同氏は言います。
これらの中間ケースを活用することで、GIFT はモデルの特性とタスクの要件の両方を考慮したデータ拡張を生成できます。さらに、同じ問題に対する複数の正解を組み込むことで、CAD コード生成に関するモデルの汎用的な知識も拡大されます。
この自動システムでは、モデルの誤りを修正するために人間の介入は不要です。
GIFT は、事前学習済み VLM（Vision Language Model）を用いて「推論時のスケーリング」と呼ばれるプロセスでデータ拡張を生成します。この手法により、一度トレーニングが完了した静的なモデルでも、モデル全体を再トレーニングするといった高コストを伴うことなく、より高精度な出力を実現できます。
推論時のスケーリングを採用することで、ユーザーは GIFT に割り当てる計算リソースの量を自由に調整可能です。これにより、利用者の時間や予算の制約に合わせて最適化することができます。
GIFT は複数の競合手法を上回る性能を発揮し、計算コストを約 20% に抑えながら、より正確な CAD プログラムを生成しました。GIFT を活用した VLM が生成する CAD モデルは、正解となるモデルの形状と高い整合性を示しています。
「GIFT ではまず幾何学構造から始めます。なぜなら工学問題において、3D 形状の幾何が正しくなければ他の要素もすべて正しくならないからです」と Giannone 氏は述べています。「しかし、考慮すべき点は幾何学以外にも多岐にわたります」
将来的には、研究チームは GIFT の拡張を目指しており、3D モデルの性能や製造可能性を向上させる CAD プログラムの生成をモデルに学習させたいと考えています。また、より大規模なモデルへの適用や、多様な CAD 生成タスクへの展開も計画されています。
本研究の一部は、MIT-IBM コンピューティング研究ラボによって支援されました。
原文を表示
Engineers often use vision-language models to produce new designs, such as for airplane or automobile components. To simulate how those components will perform in realistic situations, they’ll use tried-and-true computer-aided design (CAD) software to generate 3D models of those designs, which they can put through virtual crash or durability tests.
Researchers from MIT and elsewhere have now developed a system that can teach a vision-language model to automatically convert 2D designs into CAD programs that are much more accurate and functional compared to other approaches, while using only a fraction of the computation.
By improving the performance and efficiency of AI-driven CAD generation, this technique could streamline the rapid prototyping process and reduce costs. It could also help engineers identify beneficial design choices they might otherwise overlook.
The system generates new data based on the model’s abilities as it attempts to convert a 2D image into a CAD program. The framework corrects the model’s failures and incorporates them into a dataset with its successful solutions.
It uses these data to teach the model how to fix specific mistakes and tackle tricky problems it would struggle with on its own.
“We want engineers to be able to point our framework at an underperforming CAD model, set a compute budget, and let the system take over — turning the model’s own mistakes into better training data,” says lead author Giorgio Giannone, a research affiliate in the Design Computation and Digital Engineering (DeCoDE) Lab at MIT and a principal research scientist on the AI Innovation Team at Red Hat.
He is joined on the paper by Anna Claire Doris, a mechanical engineering graduate student at MIT; Amin Heyrani Nobari, an MIT postdoc; Kai Xu of RedHat; and co-senior authors Akash Srivastava, director of Core AI at IBM and a principal investigator at the MIT-IBM Computing Research Lab; and Faez Ahmed, associate professor of mechanical engineering at MIT, leader of the DeCoDE Lab, and a principal investigator at the MIT-IBM Computing Research Lab. The research was recently presented at the International Conference on Machine Learning.
“Nearly every physical product around us, from airplanes to appliances, begins its life as a CAD model. Industry teams are eager for AI that can help speed-up the creation of these designs, but today's models often produce simple shapes inadequate for practice. What excites me about this work is that it gives many image-to-CAD-code models a way to improve themselves, learning from their own errors rather than waiting for more human-made data — and that brings trustworthy AI design tools much closer to everyday engineering,” says Ahmed.
Model-aware data
The researchers are working toward building vision-language models (VLMs) for CAD generation. These VLMs take a 2D image and some descriptive text, and output Python code that can be executed in a CAD software program to generate a 3D model of a physical object.
They studied the challenges of deploying existing VLMs for this task and determined the main bottleneck that limits their capabilities is the lack of diverse, high-quality CAD datasets to train them.
To remedy this, they sought to create new data to teach a model how to perform CAD generation, using a process known as data augmentation.
In data augmentation, scientists typically create new data by randomly tweaking existing data to generate more samples, often by adjusting the color, size, and shape of objects in images.
Instead, the MIT researchers built a data augmentation system called GIFT (which stands for Geometric Inference Feedback Tuning) that generates data designed to improve the performance of one VLM for a specific task.
GIFT develops an understanding of the model’s strengths and weaknesses by testing it. Then it uses this knowledge to generate data that could improve the model’s performance on the CAD generation problems it struggles to solve.
“We want to obtain data augmentation that is informed by the model itself,” Giannone says.
Learning from mistakes
To do this, GIFT asks the model to generate code that solves a CAD generation problem multiple times in parallel. It checks the correctness of these guesses to understand how well the model can solve this problem.
“For a model, generating CAD query code that is almost* *correct is not that hard, but generating code that is perfectly correct and can be executed is much more challenging for a standard VLM,” Giannone says.
For guesses that are nearly correct, GIFT adjusts them to become successful solutions. It saves these “near-misses” and successful solutions in a new dataset that can teach the model how to overcome problems that would usually trip it up.
“If we sample the model 10 times and it generates 10 correct answers to the same problem, then there is not much for it to learn. We care about the in-between cases, where the model might only solve the problem 50 percent of the time,” he says.
Using these in-between cases allows GIFT to generate data augmentations that are both model-aware and task-aware. In addition, by incorporating multiple correct solutions to the same problem, the new data expand the model’s general knowledge of CAD code generation.
This automatic system does not require human intervention to correct the model’s mistakes.
GIFT creates data augmentations from a pre-trained VLM using a process known as inference-time scaling. This process allows a static model, which has already been trained, to generate better outputs without the high computational costs of retraining the entire model.
Using inference-time scaling, the user can determine how much computation they want to use for GIFT, tailoring it to their time and budget constraints.
GIFT outperformed several competing techniques, generating CAD programs that were more accurate while using only about 20 percent as much computation. The CAD models generated by VLMs using GIFT were better aligned with the shapes of ground-truth models.
“With GIFT, we started with geometry because with engineering problems, if the geometry of a 3D shape is not correct, nothing else will be correct, but there are many other aspects to consider,” Giannone says.
In the future, the researchers want to expand GIFT so the framework can teach models to generate CAD programs that improve the performance and manufacturability of 3D models. They also want to apply the system to larger models and more diverse CAD generation tasks.
This research was funded, in part, by the MIT-IBM Computing Research Lab.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み