人工ニューラルネットワークの入力の正規化

一般的な選択肢は、画像が範囲内にある、、または画像が範囲内にあるロジスティック関数です。

ネットワーク出力にこのような非線形活性化関数を使用する場合、ターゲットは関数のイメージを構成する値と互換性のある範囲に配置する必要があります。 上で見た線形正規化を適用することにより、元のデータを任意の範囲に配置できます。

多くのトレーニングアルゴリズムは、パラメーターの変動の関数として、ある種のエラー勾配を調査します。 たとえば、最急降下法の形式であるデルタルールは、次の形式を取ります。

   

勾配消失問題、すなわち 効果的なトレーニングプロセスを妨げる可能性のある、活性化関数の漸近ゾーンの勾配のキャンセルにより、正規化間隔をさらに制限することができます。 一般的な範囲は、およびロジスティック関数です。 すべての著者がこのアプローチの理論的正当化に同意するわけではありません。

3.2. 入力の正規化

これまで見てきたように、非線形活性化関数を使用すると、ターゲットの元のデータを変換することをお勧めします。 ただし、入力を正規化する理由もあります。

最初の理由は、非常に明白ですが、複数の入力を持つデータセットの場合、通常、機能ごとに異なるスケールが使用されるためです。 複数のターゲットを持つデータセットについても同じことを考慮することができます。 この状況は、データの本質的な性質ではなく、単に元の測定尺度に起因する不均衡を伴う、一部の入力の最終結果に大きな影響を与える可能性があります。 同じ範囲内のすべての機能を正規化すると、このタイプの問題を回避できます。

もちろん、さまざまな入力の相対的な重要性に関する事前情報がある場合は、それぞれにカスタマイズされた正規化間隔を使用することを決定できます。 これは可能ですが、ありそうもない状況です。 一般に、機能の相対的な重要性は、いくつかの問題を除いて不明です。

入力の正規化を推奨するもう1つの理由は、前のセクションで説明した勾配問題に関連しています。 小さな範囲内で入力を再スケーリングすると、一般に小さな重み値が発生します。これにより、活性化関数の飽和領域に近いネットワークのユニットの出力の可能性が低くなります。 さらに、重みの変動の初期範囲を非常に狭い間隔（通常は）に設定できます。

4. 例

UCIリポジトリのabalone 問題（リングの数）のターゲットに、範囲内の線形再スケーリングとzスコアによる変換を適用しました。 元のデータと2つの変換の特徴は次のとおりです。

以下に示す2つの変換を適用した後のデータの分布：

変換によって個々のポイントが変更されますが、歪度と尖度の定数値から明らかなように、データセットの統計的本質は変更されないことに注意してください。

5. データセットの標準化とパーティショニング

5.1. 問題の概要

ニューラルネットワークのパフォーマンスの分析は、典型的な相互検証プロセスに従います。 データは、通常、トレーニングセットとテストセットと呼ばれる2つのパーティションに分割されます。 ほとんどのデータセットはトレーニングセットを構成します。 一般的な比率はまたはです。

プロセスは次のとおりです。 選択したアルゴリズムを使用したトレーニングは、トレーニングセットのデータに適用されます。 このプロセスにより、ネットワークの重みと数学的パラメーターの最適値が生成されます。 ただし、エラー推定はテストセットで行われ、新しいデータでのネットワークの一般化機能の推定が提供されます。

テストセットで同等の結果を提供する2つのネットワーク間では、トレーニングセットでエラーが最も高いネットワークが推奨されます。 ニューラルネットワークのアプリケーションに慣れていない読者は、このステートメントに驚かれるかもしれません。

その理由は、アルゴリズムの一般化能力が新しいデータでのパフォーマンスの尺度であるという事実にあります。 ネットワークがトレーニングセットに準拠するほど、つまり、単一ポイントの内挿でより効果的であるほど、新しいパーティションでの内挿が不十分になることを経験的に示すことができます。

一部の作成者は、データセットをトレーニングセット、検証セット、テストセットの3つのパーティションに分割することを提案しています。 検証セットでトレーニングプロセス中にネットワークの品質を測定しますが、ネットワークの一般化機能を提供する最終結果はテストセットで測定されます。 これは二重交差検定と見なすことができます。

5.2. 実際の前処理

正規化はトレーニングセットに適用する必要がありますが、テストデータにも同じスケーリングを適用する必要があります。 つまり、トレーニングデータで使用したスケールとオフセットを保存し、それを再度使用することを意味します。 初心者によくある間違いは、トレーニングデータとテストデータを別々に正規化することです。

理由は明白に見えるはずです。 正規化には、問題変数の新しい測定単位の定義が含まれます。 トレーニングセットまたはテストセットに属するかどうかにかかわらず、各レコードを同じ単位で表現する必要があります。これは、両方を同じ法則で変換する必要があることを意味します。

最終結果は、少なくとも3つの異なるパーティションのテストセットの結果の統計分析で構成する必要があります。 これにより、特に有利または不利なパーティションの結果を平均化できます。

5.3. データセットの統計構造

メイントピックに戻りましょう。 簡単にするために、2つのパーティションのみに分割することを検討します。 以下の考慮事項は、zスコアなどの標準化手法に適用されます。

前処理の一般的なルールはすでに上で述べています。正規化または前処理では、トレーニングセットのテストセットに属する情報を使用しないでください。 この基準は妥当なように見えますが、2つのパーティションの基本的な統計パラメータの違いを暗黙的に意味します。

この違いは経験的な考察によるものですが、理論的な理由によるものではありません。 これは、母集団とサンプルの違いから生じます。

トレーニングセットとテストセットの合計を同じ統計法則によって生成された単一の問題と見なすと、違いを観察する必要はありません。 この状況では、トレーニングセットまたはデータセット全体の正規化は実質的に無関係である必要があります。

残念ながら、これは純粋に理論的な関心の可能性です。 このようなケースは、理論的には、母集団全体、つまり、無限限界で非常に多数の測定値がある場合に発生する可能性があります。

ただし、実際には、母集団のサンプルを使用します。これは、2つのパーティション間の統計的な違いを意味します。 経験的な観点からは、2つの異なる統計法則によって生成された2つのパーティションを考慮することと同じです。

この場合、データセットセット全体の正規化により、テストセットの情報の一部がトレーニングセットに導入されます。 この後者のパーティションからのデータは、必要に応じてネットワークに完全に知られることはなく、最終結果を歪めます。

5.4. トレーニングセットの正規化に関連する問題

したがって、上記のすべての考慮事項は、上記のルールを正当化します。正規化プロセス中に、テストセットからの情報でトレーニングセットを汚染してはなりません。

このルールの必要性は、サンプルの平均と標準偏差を明示的に使用するzスコアを使用してデータを標準化する場合に直感的にわかります。 ただし、線形再スケーリングにも問題があります。

データセットをランダムな方法でトレーニングセットとテストセットに分割し、ターゲットに対して次の条件の一方または両方が発生するとします。

   

   

ニューラルネットワークが、間隔内の画像を使用して、すべてのユニットの活性化関数として使用するとします。 ターゲットの変動範囲がの出力と互換性があるように、この範囲のデータを正規化する必要があります。 ただし、トレーニングセットのみを正規化すると、テストセット内のターゲットのデータの一部がこの範囲外になります。

したがって、これらのデータの場合、適切な近似値を見つけることは不可能です。 パーティショニングが特に好ましくなく、範囲外のデータの割合が大きい場合、テストセット全体で高いエラーを見つけることができます。

5.5. 問題の可能な解決策

いくつかの方法で問題の解決を試みることができます。

• データセット全体が範囲内にあることを確認するために、トレーニングセットの正規化間隔を狭めます。 このアプローチでは、問題が完全に解決されるわけではありません。
  • テストセットデータの一部は、活性化関数の漸近領域に分類される場合があります。 これらのレコードは、勾配消失問題の影響を受けやすい可能性があります。
  • トレーニングは、トレーニングセットデータでカバーされる画像領域でのみ有効になります。 ネットワークは、補間の代わりに外挿を実行することを余儀なくされます。これは、一般的に、より単純な問題です。
• データ内の距離関係を維持する線形再スケーリングの場合、データセット全体を正規化することを決定する場合があります。 これは上記のポイントに相当します。
• 一般に、正規化と標準化の両方の最善のアプローチは、十分な数のパーティションを実現することです。 このアプローチは、前のサブセクションで強調した収差を滑らかにします。

6. パワートランスフォーム

ニューラルネットワークは、さまざまな種類の問題を解決するように設計できます。 入力とターゲットを直接マッピングできますが、モデルの最適なパラメーターを取得するために使用されることもあります。

科学の多くのモデルは、ガウス分布を利用しています。 モデルの正規性の仮定は、経験的データのデータセットでは適切に表現されていない可能性があります。 このタイプの状況は、問題の表現におけるデータの不完全性または高ノイズレベルの存在から導き出すことができます。

このような場合、単調変換またはべき乗変換を実行することにより、元のデータを問題の仮定に近づけることができます。 結果は、歪度と尖度の値が変更された、新しいより正規分布のようなデータセットです。 これは標準化の一形態と考えることができます。

Box-CoxとYeo-Johnsonの変換について学習します。

6.1. ボックスコックス変換

Box-Coxのパラメーターへの変換は、次の式で与えられます。

   

尤度関数の対数を最大化する値です。

   

対数が存在すると、負の値を持つデータセットへの適用が妨げられます。 この場合、ポジティブデータの再スケーリングまたは2つのパラメーターバージョンの使用が必要です。

   

6.2. Yeo-Johnson Transform

Yeo-Johnson変換は次のように与えられます。

   

Yeo-Johnsonの変換は、Box-Coxの変換に関するいくつかの問題を解決し、ネガティブデータセットに適用する際の制限が少なくなります。

どちらの方法でも、線形再スケーリングを実行できます。これにより、変換を保持し、ドメインを任意の活性化関数の出力に適合させることができます。

7. 実際の例

[X54X] UCIリポジトリのアワビ問題（リングの数）のターゲットに両方の変換を適用しました。 元のデータの分布はです：

Box-Cox変換の場合：

Yeo-Johnson変換の場合：