Lilian Weng研究・専門家·2022年4月16日 07:10·約1分
データ不足での学習 第3部：データ生成
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Lilian Weng
まず要点
Lilian Weng氏は、データ不足時の学習手法として、既存の訓練サンプルに対して増強や変換を適用して合成データを生成する「Augmented data」のアプローチについて解説している。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
データ不足での学習に関するパート3です（前回のパート1はこちら、パート2はこちら）。トレーニング用の合成データを生成するための2つのアプローチを検討してみましょう。
- 拡張データ。既存のトレーニングサンプルセットが与えられた場合、主要な属性を失うことなく、多様な拡張（augmentation）、歪み（distortion）、変換（transformation）を適用して新しいデータポイントを導き出すことができます。対照学習に関する以前の投稿でテキストと画像に対する多くの拡張手法を取り上げましたが、記事の完結性を保つため、ここでは若干の修正を加えてデータ拡張のセクションを再掲します。
- 新規データ。少数あるいは全くデータポイントがない場合でも、強力な事前学習済みモデル（pretrained models）に頼って多数の新規データポイントを生成することが可能です。近年は特に大規模事前学習言語モデル（LM: Language Model）の急速な進歩により、このアプローチが有効となっています。ファーストショットプロンプティング（few shot prompting）は、追加トレーニングなしでコンテキスト内で学習する言語モデルに対して効果的であることが示されています。
データ拡張
データ拡張の目的は、入力形式（例：テキストの wording、視覚的な外観）を変更しつつ、意味内容は不変に保つことです。
原文を表示
Here comes the Part 3 on learning with not enough data (Previous: Part 1 and Part 2). Let’s consider two approaches for generating synthetic data for training.
- Augmented data. Given a set of existing training samples, we can apply a variety of augmentation, distortion and transformation to derive new data points without losing the key attributes. We have covered a bunch of augmentation methods on text and images in a previous post on contrastive learning. For the sake of post completeness, I duplicate the section on data augmentation here with some edits.
- New data. Given few or even no data points, we can rely on powerful pretrained models to generate a number of new data points. This is especially true in recent years given the fast progress in large pretrained language models (LM). Few shot prompting is shown to be effective for LM to learn within context without extra training.
Data Augmentation
The goal of data augmentation is to modify the input format (e.g. text wording, visual appearance) while the semantic meaning stays unchanged.
この記事をシェア
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み