#llm benchmarking のAIニュース

5件の記事

AI スタートアップ Hark、自動操作用エージェント「Handoff」を発表

シリアルアントレプレナーのブレット・アッドコックが設立した AI スタートアップ Hark が、ウェブ上の注文や予約を自律的に実行するコンピューター使用エージェント「Handoff」を公開し、本日登録を開始した。

AI エディタ「Cursor」の性能を評価するベンチマークテスト「CursorBench」がバージョン 3.1 に更新された。このアップデートにより、コード生成やデバッグ能力に関する新たな評価基準が導入され、開発者の生産性向上に寄与する可能性が示されている。

研究者は、単一のAIエージェントのパフォーマンスを評価するベンチマーク手法を提示した。この研究は、自律型AIシステムの性能測定基準を確立し、技術比較の基盤となる。

Z.aiのGLM 5を含む中国発のオープンモデルが、クローズド型最前線モデルに迫る議論を巻き起こしている。過去12ヶ月でオープンモデルの主要供給元はMetaから中国企業へシフトし、定期的な技術追従の動きが続いている。

AI Shiftの記事では、promptomatixというツールを使用して、短時間・低コストで大規模言語モデルのベンチマークスコアを改善する方法を紹介しています。