OpenAI と Broadcom が大規模 LLM 推論向けチップ「Jalapeño」を発表
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Ars Technica AI
ChatGPT を開発する OpenAI と半導体サプライヤーの Broadcom は、データセンターでの大規模言語モデル推論に特化した新チップ「Jalapeño」を共同で発表した。両社は本製品が長期プロジェクトの第1世代であると述べている。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
ChatGPT や Codex、およびそれらのツールが利用するモデルを開発した企業である OpenAI と、確立された半導体サプライヤーである Broadcom は、データセンターにおける大規模言語モデルの推論用に特別に設計された新しいチップ「Jalapeño」を発表しました。
両社によると、このチップは大規模データセンターでの展開を意図しており、これは長期的なプロジェクトの第一世代に過ぎず、将来的にはチップが改良されていく見込みです。
Broadcom は、この ASIC（Application-Specific Integrated Circuit）は OpenAI の研究者との対話から得た「詳細な洞察」に基づき、LLM 推論のためにゼロから設計されたものであり、OpenAI が将来のモデルや製品に対して策定しているロードマップにも基づいて開発が進められたと述べています。このチップの設計および生産には9ヶ月を要しました。
このチップは、既存データセンターで現在運用されているシステム向けに設計されたものよりも、現在の LLM のニーズにより特化しているという点が約束されています。
OpenAI は「初期テストでは、Jalapeño が現在の最先端技術と比較してワットあたりの性能を大幅に上回ることが示された」と主張していますが、性能測定はまだ完了しておらず、「詳細な技術報告書は数ヶ月以内に発表される予定である」とも付け加えています。
原文を表示
OpenAI, the company behind ChatGPT and Codex and the models those tools utilize, and Broadcom, an established silicon supplier, have announced a new chip called Jalapeño, designed specifically for large language model inference in data centers.
The chip is intended to be deployed at large data centers, both companies claim this is just the first generation in a long-term project that will see chips refined over time.
Broadcom says that this ASIC (Application-Specific Integrated Circuit) was designed from scratch for LLM inference, based on “detailed insights” from the company’s conversations with researchers at OpenAI, and that the chip’s development was informed by OpenAI’s own roadmap for future models and products. The design and production of the chip took nine months.
The promise is that this chip is more specialized for the current needs of LLMs than those that inference systems currently run on in existing data centers.
OpenAI claims that “early testing shows that Jalapeño will deliver performance per watt substantially better than current state-of-the-art,” but notes that it is not done measuring performance, and that a “detailed technical report will be presented in the coming months.”
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み