ディープラーニングにおけるトレーニングと検証の喪失

1. 序章

このチュートリアルでは、機械学習と深層学習の2つの概念について説明します。これらはトレーニングと検証の損失です。

まず、これら2つの概念を定義します。次に、それらがどこでどのように使用されているかを確認します。最後に、ディープラーニングにおけるこれらの影響または影響を確認します。

2. 定義

まず、いくつかの基本的な概念を定義しましょう。

ディープラーニングは、人工ニューラルネットワークの使用を含む機械学習のブランチです。特に、深層学習アルゴリズムにより、コンピュータープログラムは大量のデータのパターンを学習および発見できます。

人工ニューラルネットワークは、生物の生物学的ニューラルネットワークの働きに触発されたアルゴリズムです。人工ニューラルネットワークは通常、相互接続されたノードと重みのシステムで構成されます。そのため、入力信号は最初にニューロンと呼ばれるノードを通過します。次に、これらのニューロンは関数でアクティブ化され、重みが乗算されて出力信号が生成されます。

したがって、特定のデータセットで深層学習アルゴリズムを採用すると、何らかの入力を取り込んで出力を生成できるモデルが生成されます。ここで、モデルのパフォーマンスを評価するために、損失として知られる尺度を使用します。具体的には、この損失はモデルによって生成されたエラーを定量化します。

高い損失値は通常、モデルが誤った出力を生成していることを意味し、低い損失値はモデルのエラーが少ないことを示します。さらに、損失は通常、さまざまな方法でエラーを測定するコスト関数を使用して計算されます。選択されるコスト関数は通常、解決される問題と使用されるデータに依存します。たとえば、 cross-entropy は通常、二項分類の問題に使用されます。

3. トレーニング損失

トレーニング損失は、深層学習モデルがトレーニングデータにどのように適合するかを評価するために使用されるメトリックです。つまり、トレーニングセットのモデルのエラーを評価します。トレーニングセットは、モデルを最初にトレーニングするために使用されるデータセットの一部であることに注意してください。計算上、トレーニング損失は、トレーニングセットの各例のエラーの合計をとることによって計算されます。

トレーニング損失は、各バッチの後に測定されることに注意することも重要です。これは通常、トレーニング損失の曲線をプロットすることによって視覚化されます。

4. 検証損失

それどころか、検証損失は、検証セットで深層学習モデルのパフォーマンスを評価するために使用されるメトリックです。検証セットは、モデルのパフォーマンスを検証するために確保されたデータセットの一部です。検証損失はトレーニング損失に似ており、検証セットの各例のエラーの合計から計算されます。

さらに、検証損失はそれぞれの後に測定されます時代。これにより、モデルをさらに調整または調整する必要があるかどうかがわかります。これを行うために、通常、検証損失の学習曲線をプロットします

5. トレーニングと検証の損失の影響

ほとんどの深層学習プロジェクトでは、トレーニングと検証の損失は通常、グラフ上で一緒に視覚化されます。これの目的は、モデルのパフォーマンスを診断し、調整が必要な側面を特定することです。このセクションを説明するために、3つの異なるシナリオを使用します。

5.1. アンダーフィッティング

シナリオ1を考えてみましょう。この画像は、トレーニング損失と検証損失の両方が高いことを示しています。

場合によっては、検証の損失がトレーニングの損失よりも大きくなります。これは、モデルがアンダーフィッティングであることを示している可能性があります。アンダーフィッティングは、モデルがトレーニングデータを正確にモデル化できず、大きなエラーが発生する場合に発生します。

さらに、シナリオ1の結果は、トレーニング中に発生する損失を減らすために、さらにトレーニングが必要であることを示しています。または、より多くのサンプルを取得するか、データを増やすことで、トレーニングデータを増やすこともできます。

5.2. 過剰適合

シナリオ2では、画像に示されているように、検証の損失はトレーニングの損失よりも大きくなります。

これは通常、モデルが過剰適合であり、新しいデータを一般化できないことを示しています。特に、モデルはトレーニングデータではうまく機能しますが、検証セットの新しいデータではうまく機能しません。ある時点で、検証損失は減少しますが、再び増加し始めます。

この発生の注目すべき理由は、モデルがデータに対して複雑すぎる可能性があること、またはモデルが長期間トレーニングされていることです。この場合、損失が低く安定しているときにトレーニングを停止できます。これは通常、早期停止として知られています。早期打ち切りは、過剰適合を防ぐために使用される多くのアプローチの1つです。