#positional embeddings のAIニュース

事前学習済みLLMの位置埋め込みを削除することでコンテキストを拡張

SakanaAIが、事前学習済み大規模言語モデルの位置埋め込みを削除するDroPE手法を発表した。この手法は、大規模な計算コストを伴わずにコンテキスト長を拡張できる。