AIのボトルネック：高品質な人間によるデータ

AIのボトルネック：高品質な人手によるデータ 理論上、AIは私たちの最も大胆な夢をはるかに超えて進化している。しかし現実には、Siriでさえ天気を教えてくれない。問題は何か？モデルの訓練と評価に使用する高品質なデータセットの作成は、依然として非常に困難なのである。Redditの分類器を訓練するための20,000件のラベルを1日で収集できるはずなのに、実際には3ヶ月待たされ、スパムだらけの訓練セットが返ってくる。Surge AIは、この問題を解決するために人間とAIのプラットフォームを構築しているGoogle、Facebook、Twitterのエンジニアと研究者のチームである。信頼できるデータセット構築の支援が必要ですか？あるいは、より高品質なMechanical Turkに興味がありますか？team@surgehq.ai（またはTwitterの@HelloSurgeAI）までご連絡ください！ 4年前、AlphaGoは世界の囲碁のエキスパートを打ち負かし、ビッグテック企業は手に入る限りのMLスタートアップを買収し、ニューヨーク・タイムズは「機械学習はコンピューティングそのものを再発明しようとしている」と宣言した。 2016年、DeepMindはStarCraft IIに勝利するAIの構築を開始し、2019年末までにそのAlphaStar AIはグランドマスターレベルに到達した。https://www.youtube.com/watch?v=5iZlrBqDYPM まるであと数年もすれば、Alexaが私たちの家を乗っ取り、Netflixが友達よりも優れた映画の提案をしてくれる世界が来るかのように感じられた。 👀 それ以来、何が起こったのか？ より高速なGPUにより、ニューラルネットワークの訓練コストは低下し、ますます大規模なモデルの訓練が可能になった。新しいツールにより、インフラストラクチャの作業ははるかに容易になった。 また、より主観的なタスクを実行することを学ぶ新しいニューラルネットワークアーキテクチャも開発された。例えば、TransformerはOpenAIのGPT-3モデルを支えており、この言語生成モデルはHacker Newsのトップに到達するブログ記事を書く。 Hacker Newsのトップに到達した、GPT-3が執筆した生産性に関するブログ記事。https://liamp.substack.com/p/my-gpt-3-blog-got-26-thousand-visitors では、革命はどこにあるのか？ では、なぜAIは世界を支配していないのか？ 🧯 なぜGPT-3でブログ記事を生成できるのに、ソーシャルメディア企業は私たちのフィードから扇動的なコンテンツを排除するのに苦労しているのか？ 🥯 なぜ超人的なStarCraftアルゴリズムがあるのに、Eコマースストアは私に2台目のトースターを買うよう勧めてくるのか？ 🎬 なぜ私たちのモデルはリアルな画像（そして映画！）を合成できるのに、顔の検出には失敗するのか？ 簡単に言えば、私たちのモデルは向上したが、データは向上していない。私たちのモデルは、依然として誤りが多く、作成者が実際に望んでいるものと適切に一致していないデータセットで訓練され（評価もされている！）のだ。 今日のデータの何が問題なのか？ ゴミを入れれば、ゴミが出てくる 🦝 場合によっては、モデルはクリックやユーザーエンゲージメントのような代理指標で訓練される。 例えば、ソーシャルメディアのフィードは、ユーザーに最高の体験を提供するように訓練されているわけではない。代わりに、利用可能な最も簡単なデータ源であるクリックとエンゲージメントを最大化するように訓練されている。 しかし、「いいね」は品質とは異なる。衝撃的な陰謀論は中毒性があるが、あなたは本当にそれを自分のフィードで見たいだろうか？この不一致は、クリックベイトの拡散、政治的な誤情報の拡散、憎悪的で扇動的なコンテンツの蔓延など、多くの意図しない副作用を引き起こしている。 他の場合では、モデルは、母国語で作業していない労働者や、低品質な結果が決して検出されないと知っている労働者によって構築されたデータセットで訓練される。 例えば、次のツイートを見てほしい。 典型的なラベラーは「bitches」、「fucking」、「shit」を見つけ、このツイートを有害とラベル付けするだろう。たとえその冒涜的な言葉が肯定的で励みになる意図で使われていてもだ。私たちはこのような問題に訓練セットで無数に遭遇してきた。 データがモデルを定義する。もしデータが誤ってラベル付けされたゴミであれば、どれだけMLの専門知識があっても、モデルが同様にゴミになることを防ぐことはできない。 🧗 私たちに必要な進歩は何か？ データセットの問題は、多くの問題を引き起こす。 パフォーマンスの低いモデルに直面したとき、エンジニアは数ヶ月をかけて機能や新しいアルゴリズムをいじくり回すが、問題がデータにあることに気づかない。友人や家族を結びつけることを意図したアルゴリズムが、激しい感情や怒りのコメントを駆り立てる結果になる。 どうすればこれらの問題を解決できるのか？次のAIの波を解き放つために不可欠だと私たちが信じる、一連の構成要素を以下に示す。 🎒 あなたが解決しようとしている問題を理解する、熟練した高品質なラベラー AIシステムがより複雑になるにつれて、それらを教育し、そのパフォーマンスを測定するために、洗練された人間によるラベリングシステムが必要となる。誤解を招く情報を分類するのに十分な世界の知識を持つモデルや、クリックではなく「有意義に過ごした時間（Time Well Spent）」を増加させるアルゴリズムを考えてみてほしい。 このレベルの洗練さは、低スキルの労働者による多数決からは生み出せない。ヘイトスピーチについて機械に教え、アルゴリズムのバイアスを特定するためには、それらの問題自体を理解している高品質なラベリング要員が必要なのだ。 💃 MLチームとラベラーが交流する場 MLモデルは常に変化している。今日スパムメールと見なされるものが、明日はそうでないかもしれない。そして、ラベリングの指示書にすべてのエッジケースを網羅することは決してできない。 製品構築がユーザーとエンジニアの間のフィードバック駆動プロセスであるのと同様に、データセットの作成もそうあるべきだ。画像の中の顔を数えるとき、漫画のキャラクターは数えるのか？ヘイトスピーチをラベル付けするとき、引用文はどう扱うのか？ラベラーは何千もの例を処理した後、曖昧さや洞察を明らかにする。データ品質を最大化するためには、双方がコミュニケーションを取る必要がある。 人間の価値観に沿った目的関数 モデルは、多くの場合、真の目標の単なる近似に過ぎないデータセットで訓練されるため、意図しない乖離が生じる。 例えば、AI安全性の議論では、機械知能が世界を脅かす力を発達させることを人々は懸念している。他の人々は、これは遠い未来の問題だと反論する。しかし、今日の技術プラットフォームが直面する最大の問題を見ると、これはすでに起こっているのではないだろうか？ 例えば、Facebookの使命は「いいね」を集めることではなく、私たちを友人や家族とつなぐことだ。しかし、「いいね」やインタラクションを増加させるようにモデルを訓練することで、それらは非常にエンゲージメントが高いが、同時に有害で誤った情報を含むコンテンツを拡散することを学んでしまう。 もしFacebookがその訓練目標に人間の価値観を注入できたらどうだろう？これは空想ではない。Google検索はすでに実験プロセスで人間による評価を使用しており、私たちが構築している人間-AIシステムも同じことを目指している。 🤖 人間の力によるAIの未来 機械学習の核心は、コンピュータに私たちが望む仕事を実行するように教えることにある。そして、私たちは正しい例を示すことでそれを実現する。 では、高品質なモデルを構築するためには、高品質なデータセットを構築し、それが手元の問題と一致していることを確認することが、MLエンジニアの最も重要なスキルであるべきではないだろうか？ 結局のところ、私たちが気にかけるのは、AIが人工的なベンチマークを打ち負かすかどうかではなく、人間のニーズを解決するかどうかである。 もしあなたがコンテンツモデレーションに取り組んでいるなら、あなたのデータセットはヘイトスピーチだけでなく、肯定的で励みになる冒涜も捉えているだろうか？ もしあなたが次世代の検索システムやレコメンダーシステムを構築しているなら、あなたの訓練セットは関連性と品質をモデル化しているだろうか？それとも、中毒性のある誤情報とクリックをモデル化しているだろうか？ データセット作成は学校で教えられるものではなく、何年もアルゴリズムを研究してきたエンジニアがarXivの最も洗練されたモデルに固執するのは簡単だ。しかし、私たち自身の現実世界のニーズを解決するAIを望むなら、私たちのモデルを定義するデータセットについて深く考え、それらに人間の手を加える必要がある。 Surge AIは、Google、Facebook、Twitterのエンジニアからなるチームであり、高品質な教師ありデータの問題から始めて、次のAIの波を可能にするプラットフォームを構築している。これには人間と技術の協力が必要だ。私たちの高スキルなラベリング労働力は一連の厳格なテストを受け、私たちのプラットフォームは信頼できるデータ収集を簡単なものにする。私たちは協力して、トップ企業が誤情報、AIの公平性、創造的生成などのための大規模なデータセットを作成するのを支援してきた。低品質なデータセットにうんざりしていますか？あるいは、実際に機能するMechanical Turkに興味がありますか？ぜひお聞かせください。

AIのボトルネック：高品質な人間によるデータ

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト