#masked language modeling のAIニュース

知っておくべきこと：マスク言語モデルは驚くほど優れたゼロショット学習者である

従来のBERTなどのエンコーダーモデルはタスク固有のヘッドを使用するが、本稿ではマスク言語モデリングの能力を活用したゼロショット学習の可能性を示唆している。