CyberAgent AIチームがYANS2026参加報告、NLP若手研究の動向を共有

こんにちは。AIチームの林崎 (@u_hyszk) です。

2026年8月16日(日)〜18日(火)に仙台国際センターで開催された、NLP若手の会 第21回シンポジウム(YANS2026)に参加しました。8月16日(日)には分野交流ハッカソンも開催され、3日間にわたるプログラムとなりました。

本記事では、YANS2026の概要と、筆者が特に面白いと感じた発表をいくつか紹介します。

YANS2026の概要

YANSは自然言語処理および関連分野の若手研究者の相互交流と成長を掲げるシンポジウムで、学生や若手研究者の発表が中心となっています。今年は一般ポスターで248件、招待ポスターを含めると269件の発表がありました。

*YANSの参加者数とポスター発表件数の推移

発表傾向としては、NLPモデルの評価に関する発表が目立ち、LLM-as-a-Judgeの信頼性を問うメタ評価研究や、ユーザーシミュレータを用いた対話型評価など、私たちが業務で日々向き合っているテーマがコミュニティ全体の関心事になっていることを実感しました。また、VLMや音声対話を始めとしたマルチモーダルデータに関する研究も増加していました。

発表タイトルに含まれるキーワードを調べてみると、昨年よりも「大規模言語モデル」「言語モデル」の件数が大幅に減っていました。多くの研究でこれらのモデルが使用されるようになり、差別化になりにくいためではないかと考えています。また、「評価」というキーワードが少なくなり、代わりに「LLM-as-a-Judge」「ベンチマーク」のように具体化されたキーワードがよく使われる傾向にありました。「対話」のような応用研究や、マルチモーダルの「音声」のようなキーワードも多くみられました。

なお、親会社であるサイバーエージェントは本会のダイヤモンドスポンサーを務めており、グループからは一般ポスター3件・招待ポスター3件の発表がありました。

研究発表の紹介

ここからは、個人的に気になった発表を紹介します (いずれも著者の皆様に許諾をいただいています)。

ツール呼び出し評価データの構築

• AIエージェントのためのツール呼び出し評価データJMultiWOZ-TCの構築 清水 綾太 (愛工大/NII LLMC), 中山 功太 (NII LLMC), 守山 慧 (東大/NII LLMC), 徳久 良子 (愛工大/理研), 宮尾 雄介 (東大/NII LLMC)

AIエージェントのツール呼び出し性能を評価する日本語データセット「JMultiWOZ-TC」を提案しています。以前の学会 (NLP2026) で発表されていた内容からパワーアップしており、LLM-as-a-Judgeによる柔軟な評価ができるように拡張しています。

AIエージェントの需要は近年急速に高まっているのに対し、日本語における評価用の言語資源は大きく不足しています。また、柔軟な挙動を見せるAIエージェントの性質上、様々な評価方法が考えられ、統一された基準で性能を比較することが難しくなっています。

その中で、利害関係が少ないアカデミアの立場から評価データ・基準を構築し、限界点を示してもらえることはありがたいと考えています。発表で説明をされていたLLM-as-a-judgeの判定基準の精密化や、最終的な出力を含むEnd-to-Endの評価方法について今後の進展を期待したいです。

なお、本データセットはGitHubにて公開されていますので、気になった方は是非触ってみてください。

LLM-as-a-Judgeに関する研究

以下の2つの研究では、LLM-as-a-Judgeで評価を行う際に ①サンプルごとに点数をつけるか ②異なるサンプルを比較させるかのどちらが優れているかを分析した研究になります。

• LLM-as-a-Judgeにおけるリッカート評価とランキング評価の比較分析 松田 翔汰 (東北大), 柴田 圭悟 (東北大), 津田 純花 (東北大), 有川 透矢 (東北大), クェク ヨン シン (東北大), 池田 航 (東北大), 齋藤 由佳 (東北大), 種口 暁人 (東北大), 松田 陵佑 (東北大), 赤間 怜奈 (東北大/理研/国語研), 鈴木 潤 (東北大/理研/NII LLMC)

• LLM-as-a-Judgeにおける絶対評価と相対評価の整合性はスコア帯でどのように変わるか? 山下 伊織 (一橋大), 木山 朔 (一橋大), 伊藤 大陽 (一橋大), 小町 守 (一橋大)

前者では、LLM-as-a-Judgeに必要なコストと、評価の細かさ (分解能) といった観点から分析しています。後者では、出力するスコアの帯域によって傾向が異なるのではないかという仮説を立てて分析しています。

LLMが普及したことによって人手評価に限界が来ており、LLM-as-a-Judgeを含めた自動評価の需要は大きくなると思うので、今後の進展に期待したいです。個人的には、定性的に両者の間でどのような違いが発生しうるのか傾向を調べてみたいと思いました。

その他気になった発表

• 元データの評価観点を保持した制御可能なQAデータ拡張 小島 亮 (豊田工大), 三輪 誠 (豊田工大)

• 評価データがモデルの学習に混入することで正当な評価ができなくなる「データ汚染」に対応するために、拡張データセットを自動生成するという問題設定が明確で良いと思いました。

• 汎⽤テキスト評価モデル構築に向けた評価観点の⾃律的選択能⼒の検証 田中 杏 (お茶大), 小林 一郎 (お茶大)

• LLMによる生成文の一元的な評価が難しいので、評価観点自体を選んでしまおうというメタ的なアイデアが良いと思いました。既存データセットの評価観点に捉われない柔軟な評価ができることを期待したいです。

• Neural KWIC: KWIC 形式用例からの動的単語埋め込みの獲得と可視化 島田 真緒 (一橋大), 木山 朔 (一橋大), 凌 志棟 (一橋大), 小町 守 (一橋大), 小木曽 智信 (国語研), 高村 大也 (産総研), 持橋 大地 (国語研/統数研)

• BERTと比べて最速で1000分の1の時間で埋め込みを獲得できる確かな有効性があることに加え、定性的な観点からも丁寧に分析されている点が印象的でした。

• ⾃⼰進化型強化学習における良いサンプルとは何か︖ 宮本 空 (科学大), 大葉 大輔 (科学大), 小池 隆斗 (科学大), 大井 聖也 (科学大), 岡崎 直観 (科学大/産総研/NIILLMC)

• LLMを学習するための問題をゼロから生成する「Proposer」とその問題を解く「Solver」からなるフレームワークを提案しています。弊社の中でも話題になっていました。

• インターネットラジオを用いた日本語諸方言音声コーパスの半自動構築 中島 未唯 (慶大), 佐藤 なな子 (慶大), 高道 慎之介 (慶大/東大)

• 日本語の方言音声コーパスを収集する研究です。発表者の方がかなりの量の音声データを聞き込んでアノテーションをされている点が印象的でした。

• コモングラウンドを用いた対話的協働におけるすれ違いの可視化と修復 嶌根 伸一(科学大), 吉野 幸一郎(科学大/阪大), 荒瀬 由紀(科学大), 佐藤 拓真(奈良先端大)

• 対話中の認識のズレ(すれ違い)を検出するために、各ターンで話者双方の内部状態(コモングラウンド)を生成し、対話履歴とともにLLMに与える手法を提案しています。改善傾向はあるものの検出内容にはまだ不足があるとのことで、内部状態自体の評価など今後の展開にも期待したいです。

おわりに

本記事では、YANS2026の参加報告として、全体の概要と気になった研究について紹介しました。若手コミュニティの熱量を肌で感じられたことに加え、弊社が日頃から課題意識を持っている部分が分野全体の共通課題であることを再認識できて良かったと思います。

最後になりますが、運営いただいたYANS委員の皆様、議論してくださった発表者・参加者の皆様、ありがとうございました🌱

株式会社AI Shift（サイバーエージェント100％子会社）開発チームのTech Blogです。