初心者のための損失関数解説（モデルが誤りをどう知るか）

![image](https://www.kdnuggets.com/wp-content/uploads/Noob-Series-Loss-Function-Explained-1.png)** ## # イントロダクション 初心者が機械学習の学習を始めたとき、最初はすべてが簡単に見えるものだということは知っています。データセットを読み込み、モデルを訓練するよう指示されたチュートリアルに従うと、このような表示が出ます：loss = "mse" または criterion = nn.CrossEntropyLoss()。 そしてあっという間に、そのチュートリアルは数式や勾配、最適化、ギリシャ文字について話し始めます。損失関数が何をするのかを本当に理解せずに頷いた経験があるなら、あなた一人ではありません。損失関数の説明は往々にして逆から行われます。** ほとんどのチュートリアルは、まずアイデアから始めるべきところを、いきなり数式から始めてしまいます。この記事は私の「初心者向けシリーズ」の一部で、よりわかりやすく解説していきます。では、始めましょう。 ## # 損失関数とは何か？ ** 損失関数は、機械学習モデルが自分がどれだけ間違っているかを把握する方法です。** これがまさに概念のすべてです。モデルが予測を行います。損失関数がその予測と正解を比較します。そして、「あなたの間違いはこれほどひどかった」という数をモデルに返します。 ** 損失が高い**ということは、モデルが**非常に間違っていた**ことを意味します。 ** 損失が低い**ということは、モデルが**近い**ことを意味します。 訓練中、モデルは損失を小さくするように自らを調整し続けます。 これが学習が行われる仕組みです。ダーツゲームをしたことがあるなら、非常に似ています。あなたはダーツを投げます。改善するためにはフィードバックが必要です。あなたのダーツがわずかに外れたのか、遠くにあるのか、高すぎたのか、あるいは左にやりすぎたのかを知る必要があります。そのフィードバックがなければ、改善することはできません。つまり、的の中心（ブルズアイ）は正解であり、ダーツは予測です。ダーツと的の中心との距離を測定します。損失関数は、ダーツがどこに着地したかを測るものです。この距離がモデルへのフィードバック信号となります。視覚化を好む場合は、以下のように見えます。 ![image](https://www.kdnuggets.com/wp-content/uploads/kanwal-dart-visualization.png) 中心からの距離が重要であるのと同様に、中心に近すぎることと、はるかに外れていることは同じではありません。同様に、モデルにとって答えが間違っていることを知るだけでは不十分です。改善するためには、モデルがどれほど失敗したかを理解する必要があります。 損失関数が何であり、なぜそれが必要なのかを理解したので、機械学習でよく使われるいくつかの一般的な損失関数を見てみましょう。** ## # 平均二乗誤差 (Mean Squared Error) ** 数を予測するための最も一般的な損失関数は、平均二乗誤差（MSE）です。これは、モデルが家の価格や気温、配送時間などの数を予測する際に頻繁に使用されます。考え方は非常にシンプルです。 - エラー：各予測について、推測と真の値とのギャップを計算します。 - 二乗：各ギャップを自分自身で掛けます（自乗します）。 - 平均：それらすべての二乗されたギャップの平均を取ります。 これを Python で以下のように記述できます： def mean_squared_error(predictions, actuals): squared_errors = [(p - a) ** 2 for p, a in zip(predictions, actuals)] return sum(squared_errors) / len(squared_errors) さて、誤差を計算して予測値全体で平均を取る直感的な意味は理解できるでしょうが、なぜ誤差を二乗するのかについては混乱しやすい点です。これには2つの理由があります: - 二乗することですべての誤差が正の値になります。+3 の誤差と -3 の誤差はどちらも同様に悪いですが、二乗すると両方とも9になり、互いに相殺されることがなくなります。 - 二乗することで大きなミスを小さなミスよりもはるかに厳しく罰します。これは多くのユースケースで有効です。例えば家賃価格を予測する場合、1,000 ドル間違えることと200,000 ドル間違えることは、それぞれ相応に罰せられるべきです。 ## # 平均絶対誤差 (Mean Absolute Error) もう一つの一般的な損失関数として、平均絶対誤差（MAE: Mean Absolute Error）があります。MAE も予測値と実際の値の間のギャップを測定しますが、誤差を二乗しません。代わりに単に絶対値**を取ります。 これを実装する Python 関数は以下の通りです: def mean_absolute_error(predictions, actuals): absolute_errors = [abs(p - a) for p, a in zip(predictions, actuals)] return sum(absolute_errors) / len(absolute_errors) つまり、大きな誤差を罰しますが、MSE（平均二乗誤差）ほど厳しくはありません。 - 10 の誤差はコスト10となり、20 の誤差はコスト20となります。 - データに自然な外れ値が含まれており、モデルが過剰反応しないようにしたい場合、MAE は良い選択肢です。 MSE と MAE の曲線を比較する簡単なグラフを示しましょう。 ** ![image](https://www.kdnuggets.com/wp-content/uploads/02_mse_vs_mae.png) ## # クロスエントロピー損失 (Cross-Entropy Loss) これまで、数値の予測について話してきました。しかし、多くの機械学習の問題はカテゴリの予測に関するものです。 このメールはスパムか否か？ これは猫、犬、魚の写真のどちらか？ ある取引は不正行為か否か？ 分類タスクでは、モデルは通常以下のような確率を出力します： 犬：70% 猫：20% 魚：10% もし画像が本当に犬であれば、それは良い予測です。しかし、それが猫である場合、モデルは正解に対して低い確率を割り当てたことでペナルティを受ける必要があります。 したがって、直感的な理解は以下のようになります： - 正解かつ自信あり — 損失小 - 正解だが自信なし — 損失中 - 誤りかつ自信あり — 損失大 ![image](https://www.kdnuggets.com/wp-content/uploads/04_log_loss.png) これがクロスエントロピーが分類において広く使用されている理由です。それは単にモデルが正解だったかどうかだけでなく、モデルの自信度合いにも注目します。 ## # 損失と精度の違い (Loss vs. Accuracy) 異なる損失関数について説明したので、ここで「損失」と「精度」の違いを明確にしておきたいと思います。これらは同じものではありません。 **精度 (Accuracy)** は **どれだけの予測が正しかったか** を示します。 一方、**損失 (Loss)** は **モデルの誤りがどれだけ悪かったか** を示します。 もしモデル A とモデル B の 2 つのモデルがあり、どちらも 100 回の予測のうち 90 回を正解した場合、両者の精度（accuracy）は同じになります。しかし、一方のモデルは正しい答えに対して非常に自信を持っており、誤った答えに対してもわずかな誤りしかしていない可能性があります。他方のモデルは多くの例で barely 正解しているだけで、間違っている時には極めて高い自信を持っている可能性があります。 その場合、精度は同じでも、損失（loss）は異なります。 ## # トレーニングループ ** モデルが損失の数値を持つと、改善が可能になります。トレーニングループは以下のようになります： - モデルが予測を行います。 - 損失関数が誤りを測定します。 - オプティマイザ（optimizer）がモデルを更新します。 - モデルが再び試みます。 - 損失が hopefully 小さくなることを期待します。 モデルをトレーニングする際、時間経過に伴う損失の推移もプロットします。初期段階では、モデルは多くの誤りを犯し予測が苦手なため、損失は高くなります。しかし、トレーニングが進むにつれて損失は減少し、モデルは予測を行うのが上手になっていきます。 健全なトレーニングカーブ（training curve）は通常、以下のような様子を示します： 初期に高い損失 → 急激な低下 → 徐々に平坦化**** これは以下の図で確認できます。 ![image](https://www.kdnuggets.com/wp-content/uploads/05_training_curve.png) 平坦化は正常です。これはモデルが簡単なパターンを学習し、現在はより小さな改善を行っていることを意味します。しかし、トレーニング損失が低下する一方で検証損失が上昇し始めると、過学習の警告サインとなる可能性があります。つまり、モデルが一般化するパターンを学ぶのではなく、トレーニングデータを暗記しているおそれがあるのです。 ## # 最後のまとめ ** 損失関数は、モデルの誤りスコアです。 これはモデルに予測がどれほど間違っているかを伝え、学習に対して明確な目標を与えます：その数値を小さくすることです。 損失関数を理解すれば、勾配降下法、逆伝播、最適化、過学習、評価指標など、他の多くの機械学習の概念も理解しやすくなります。 恐ろしい数式から始める必要はありません。次の考えから始めましょう： - モデルが推測する。 - 損失関数がその推測を採点する。 - モデルはスコアを減らすように自身を更新する。 これが機械学習の核心です。 損失とは、モデルが自分が間違っていると知る方法です。 トレーニングとは、より間違いを少なくする方法を学ぶプロセスです。 これで本記事は終わりです。当シリーズの「初心者向け」では、今後もいくつかの興味深い概念を取り上げていきます。 [Kanwal Mehreen](https://www.linkedin.com/in/kanwal-mehreen1/) は、データサイエンスと AI と医療の交差点に深い情熱を持つ機械学習エンジニアであり技術ライターです。彼女は「ChatGPT で生産性を最大化する」という電子書籍の共著者でもあります。APAC 地域の Google Generation Scholar 2022 に選出され、多様性と学術的卓越性を提唱しています。また、Teradata Diversity in Tech Scholar、Mitacs Globalink Research Scholar、Harvard WeCode Scholar としても認められています。Kanwal は変化の熱心な支持者であり、STEM 分野における女性のエンパワーメントを目的とした FEMCodes を設立しました。

初心者のための損失関数解説（モデルが誤りをどう知るか）

背景や根拠まで確認しますか？

調べる

選ぶ

サイト