LaCy: 小規模言語モデルが学ぶべきことは損失だけの問題ではない

本論文は、ICLRにおけるLLMベースのエージェントシステムのためのメモリに関するワークショップで採択されました。 言語モデルは、パラメータ内により多くの世界知識を圧縮し続けることで一貫して進化してきましたが、事前学習によってモデルに埋め込まれる知識の量はパラメータサイズによって上限が決まります。特に、Small Language Models（SLMs：小規模言語モデル）の容量は限られているため、事実と異なる生成結果が生じる問題が発生します。この問題は、SLMが外部ソースにアクセスできる能力を与えることで緩和されることがよくあります。具体的には、より大規模なモデルや文書、データベースをクエリする機能です。この設定の下で、私たちは以下の根本的な問題について研究します：どの…