強化学習微調整済み視覚言語モデルの頑健性と思考連鎖の一貫性に関する研究

Apple Machine Learning は、強化学習で微調整した視覚言語モデルが、誤ったキャプションや思考連鎖の痕跡といった単純なテキスト摂動に対して脆弱であることを示し、視覚的根拠の弱さやハルシネーションの問題を明らかにしました。