#model evaluation のAIニュース

11件の記事

オープンソース AI グラップマップの公開

非営利団体「Current AI」が、パリで開催されたAIアクションサミットで設立され、4億ドルの資金を確保した同団体が、オープンソースAIの現状を可視化する「Gap Map」を公開しました。

AI 評価プラットフォーム「Arena」が、業界標準として広く利用されるようになり、企業価値が100億ドル規模のビジネスへと拡大したことを発表しました。

Apple Machine Learningチームは、複数の大規模言語モデル（LLM）で構成される評価パネルの信頼性について調査した。その結果、9つの最先端モデルからなるパネルでも、相関する誤差により実質的な有効投票数は約2票に過ぎないことが判明した。

Preferred Networksは、自社が開発する大規模言語モデル「PLaMo」の最新版「PLaMo-3.0-Prime-β」を、データ準備や評価、コード管理など開発業務に直接導入し、作業効率と品質向上を図るとともに、モデル自体の継続的な改善を進めている。