データフィルタリングに関する苦い教訓（1 分読了）

[PDF を表示](https://arxiv.org/pdf/2605.19407) [HTML (実験版)](https://arxiv.org/html/2605.19407v1) ** 抄録：私たちは、高計算リソースかつデータ不足の状況に焦点を当てた新しいスケーリング研究を通じて、大規模モデルの前学習におけるデータフィルタリングを検証します。データをフィルタリングして高品質な情報のみを包含することが不可欠であるという、一見すると共通の信念にもかかわらず、私たちの実験は、十分な計算リソースがあれば、最良のデータフィルタは「何もしないこと」であることを示唆しています。私たちは、十分に訓練された大規模パラメータモデルが、低品質やノイズとなるデータを単に耐えるだけでなく、名目上「劣悪な」データからも実際には恩恵を受けることを発見しました。 主題: マシンラーニング (cs.LG); 人工知能 (cs.AI) 引用形式: [arXiv:2605.19407](https://arxiv.org/abs/2605.19407) [cs.LG]