LLMの自律的調査能力を高めるAgenticRLの取り組みと知見

こんにちは。ABEJAでデータサイエンティストをしている服部です。LLMの進化は速いですね。推論能力はもちろん、最近では自律的（Agentic）な動作も求められるようになり、LLM開発においても事後学習（Post Training）の重要性が高まっています。本記事では、自律的（Agentic）な能力向上を目指した事後学習（Post Training）、特に教師ありファインチューニング（SFT）と強化学習（Reinforcement Learning）の実施内容と、その過程で得られた知見をまとめました。SFTにおける精度劣化の回避策や、ツール使用（Tool-Use）を活用した自律的（Agentic）な強化学習タスクの紹介、強化学習の落とし穴など、多岐にわたる内容を詰め込んでいます。興味のある部分だけでも読んでいただければ…