より信頼性の高い AI を構築するために資金調達 900 万ドルを計画
本文の状態
日本語全文を表示中
詳細モードで約4分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
TechCrunch AI
未詳のスタートアップ企業が、AI の信頼性を高めるための技術開発に充てるため、約 900 万ドルの資金調達を行う予定である。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
LLM がより強力になるにつれ、ハルシネーション（幻覚）を回避することは依然として困難であることが証明されています。最も賢いモデルであってもエラーが発生し、そのエラーを検出する方法は存在するものの、業界全体が最適な方法を模索している段階です。
Andreessen Horowitz からシードラウンドで 900 万ドルの資金調達を完了したばかりの Probably（https://www.probably.dev/）は、これらのエラーを検出するためのより厳密な方法の構築に取り組んでいます。
創業者のピーター・エリアス（上記画像参照）が述べるように、同社の目標は、ハルシネーションや単純な事実誤認がユーザーに届くことを防ぎ、決定論的システムで一般的である 99.99% の精度を達成することです。これは AI では実現が遥かに困難な水準です。実は、LLM をそのような精度レベルに引き上げるには、AI エンジニアリングの多くの基本的な前提を見直す必要があります。
Probably の最初の製品は、複雑なデータセットから迅速な回答を生成するために設計されたデータサイエンスツールです。各結果には出典と、その開発プロセスを追跡できる監査証跡が付随しており、これは AI ツール間でますます一般的な慣行となっています。
しかし、これらの要約にエラーが混入しないようにするには、エリアスが「データサイエンスのメchsスーツ」と表現する複雑なハーンシステムが必要です。LLM の初回回答は決定論的バリデーターシステム（deterministic validator system）によって検証され、データセットと一致しない結果はすべて弾かれます。重要なのは、LLM がこのバリデーターに対してトレーニングされており、同社によれば、全体として高速かつ正確な回答を最適化されている点です。
「これを構築する過程で学んだのは、ハーンエンジニアリングの質が高いほど、モデルはより簡素化できるということです」とエリアスは言います。「文脈を十分に洗練させられれば、モデルは正しい行動をとるためにそれほど努力する必要はありません。基本的にこれは曖昧さを減らすための演習です。」
これにより、Probably のデータサイエンスツールは、はるかに小型の AI モデル上で動作可能になります。エリアスによると、現在のバージョンは「フロンティアモデルより 4 つ階級分弱い」モデル上で稼働しており、つまりデータセンターではなくデスクトップコンピュータなどのローカルハードウェアで実行できるため、AI 利用に伴うトークンコストを大幅に削減できます。
これは、トークンコストが上昇し、多くの顧客が AI バジェットの見直し を行っている時期に歓迎されるアイデアです。さらにエリアスの考えはデータサイエンスに限られず、同じエンジンを経理や医療サービスといったユースケースにも拡張可能であり、エリアス自身の言葉では「精度が敏感なあらゆるユースケース」をカバーできるとのことです。
「大規模 AI ラボがこの取り組みにさえ着手していないのは非常に興味深いことです」とエリアスは言います。「彼らにはそれをしないようインセンティブが働いています。なぜなら、モデルの修正回数が増えるほど収益が発生するからです。」
*当記事内のリンクを通じてご購入いただいた場合、私たちは少額のコミッションを受け取る可能性があります。これは当社の編集独立性には影響しません。*
ラッセル・ブランドムは2012年以来、プラットフォーム政策と新興技術に焦点を当てながらテクノロジー業界の報道を行ってきました。以前はThe VergeやRest of Worldで勤務し、Wired、The Awl、MIT's Technology Reviewにも寄稿しています。
彼への連絡先は russell.brandom@techcrunch.com または Signal（412-401-5489）です。
原文を表示
As LLMs have grown more powerful, hallucinations have proven stubbornly difficult to avoid. Errors pop up in even the smartest models, and while there are ways to catch those errors, the industry is still figuring out the best way to do it.
Probably, which just raised $9 million in seed funding from Andreessen Horowitz, is trying to build a more rigorous way to catch those errors.
As founder Peter Elias (pictured above) puts it, the company’s goal is to prevent hallucinations and simple factual errors from ever reaching the user, and achieve the kind of 99.99% accuracy that’s common in deterministic systems but much more difficult to reach with AI. As it turns out, bringing LLMs to that level of accuracy requires rethinking many of the basic assumptions of AI engineering.
Probably’s first product is a data science tool, built to produce quick answers from complex datasets. Each result comes with a citation and an audit trail for how it was developed, an increasingly common practice among AI tools.
But keeping errors from creeping into those summaries required an elaborate harness system that Elias describes as a “data science mech suit.” The LLM’s first-pass answers are checked against a deterministic validator system, which bounces back any results that don’t match the dataset. Crucially, the LLM has been trained against the validator, and the whole system is optimized for fast and accurate answers, the company said.
“What we learned building this was that the better your harness engineering is, the weaker the model can be,” Elias says. “If you can refine the context enough, the model does not have to work very hard to do the right thing. Basically, it’s an exercise in reducing ambiguity.”
That allows Probably’s data science tool to run on significantly smaller AI models. Elias says the current version is running on a model that’s “four classes weaker than the frontier models,” which means it can be run on local hardware (that is, a desktop computer instead of a data center), which reduces a huge amount of the token costs associated with AI use.
It’s a welcome idea at a time when token costs are rising and many customers are reassessing their AI budgets. And, Elias’ idea doesn’t end with data science, as the same engine can be extended to cover use cases like accounting or medical services — as Elias puts it, “any precision-sensitive use case.”
“I think it’s really interesting that the big AI labs have not even attempted to do this,” Elias says. “They’re incentivized not to, because they make money the more times you have to correct the model.”
*When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.*
Russell Brandom has been covering the tech industry since 2012, with a focus on platform policy and emerging technologies. He previously worked at The Verge and Rest of World, and has written for Wired, The Awl and MIT’s Technology Review.
He can be reached at russell.brandom@techcrunch.com or on Signal at 412-401-5489.
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み