機械学習における誘導バイアスとは何ですか？
1. 概要
このチュートリアルでは、誘導バイアスの定義について説明し、機械学習と深層学習におけるさまざまな形式について説明します。
2. 意味
すべての機械学習モデルには、ある種のアーキテクチャ設計と、分析するデータに関するいくつかの初期の仮定が必要です。
誘導バイアスは、機械学習モデルが見えないデータに一般化する能力において重要な役割を果たします。 強い誘導バイアスは、モデルをグローバル最適に収束させる可能性があります。 一方、弱い誘導バイアスにより、モデルは局所最適点のみを検出し、初期状態のランダムな変化の影響を大きく受ける可能性があります。
誘導バイアスは、リレーショナルと非リレーショナルと呼ばれる2つの異なるグループに分類できます。 前者はネットワーク内のエンティティ間の関係を表し、後者は学習アルゴリズムをさらに制約する一連の手法です。
3. 機械学習における誘導バイアス
従来の機械学習では、すべてのアルゴリズムに独自の誘導バイアスがあります。 このセクションでは、これらのアルゴリズムのいくつかについて説明します。
3.1. ベイジアンモデル
ベイズモデルの誘導バイアスは、変数に選択した事前分布の形式で表示されます。 その結果、前者は、後者が前者と同様の分布であることが判明できるように、事後分布を形成することができます。 さらに、変数は条件付きで独立していると想定しています。つまり、ネットワーク内のノードの親が与えられると、そのノードはその祖先から独立します。 その結果、条件付き確率を利用して推論を行うことができます。 また、ベイジアンネットの構造により、エンティティ間の因果関係の分析が容易になります。
3.2. k最近傍（k-NN）アルゴリズム
k-最近傍法（）アルゴリズムは、特定のカテゴリに属するエンティティが互いに近くに表示され、異なるグループの一部であるエンティティが離れていることを前提としています。 言い換えると、類似したデータポイントが、異なるデータポイントから離れて互いに近くにクラスター化されていると想定します。
3.3. 線形回帰
（、）データポイントが与えられると、線形回帰では、変数（）が説明変数（）に線形依存していると仮定します。 したがって、結果のモデルはトレーニングデータに線形に適合します。 ただし、この仮定は、非線形関数を学習するモデルの能力を制限する可能性があります。
3.4. ロジスティック回帰
ロジスティック回帰では、2つのクラスを互いに分離する超平面があると想定しています。 これにより問題は単純化されますが、仮定が有効でない場合、適切なモデルが得られないことが想像できます。
4. 深層学習における関係誘導バイアス
関係誘導バイアスは、モデル内のさまざまなエンティティまたはパーツ間の関係の構造を定義します。 これらの関係は、任意、順次、ローカルなどになります。
4.1. 弱い関係
神経ユニット間の関係が弱い場合があります。これは、神経ユニットが互いにある程度独立していることを意味します。 ネットに完全に接続されたレイヤーを含めるという選択は、この種の関係を表すことができます。
4.2. 産地
画像を処理するために、まずローカル情報をキャプチャします。 これを行う1つの方法は、畳み込み層を使用することです。 画像のピクセル間のローカルな関係をキャプチャできます。 次に、モデルを深く掘り下げていくと、ローカルフィーチャエクストラクタがグローバルフィーチャの抽出に役立ちます。
4.3. シーケンシャルリレーション
時々、私たちのデータはシーケンシャルな特徴を持っています。 たとえば、時系列と文は、次々に現れる連続した要素で構成されます。 このパターンをモデル化するために、ネットワークに反復層を導入できます。
4.4. 任意の関係
物や人のグループに関連する問題を解決するには、それらをグラフとして表示する方が有益な場合があります。 グラフ構造は、エンティティ間に任意の関係を課します。これは、モデルに明確な順次関係またはローカル関係がない場合に理想的です。
5. 深層学習における非関係的誘導バイアス
リレーショナル誘導バイアスの他に、モデルに追加の制約を課すいくつかの概念もあります。 このセクションでは、これらの概念のいくつかをリストします。
5.1. 非線形活性化関数
非線形活性化関数を使用すると、モデルはデータに隠された非線形性をキャプチャできます。 それらがなければ、ディープニューラルネットワークは単層ネットワークよりもうまく機能することができません。 その理由は、いくつかの線形レイヤーの組み合わせが依然として線形レイヤーであるためです。
5.2. 脱落
Dropout は、ネットワークのランダムなサブセットにそれぞれデータパターンを学習させることにより、ネットワークがデータの記憶を回避するのに役立つ正則化手法です。 その結果、得られたモデルは、最終的に、より一般化して、過剰適合を回避することができます。
5.3. 重量減衰
重みの減衰は、モデルの重みに制約を課すもう1つの正則化方法です。 重みの減衰にはいくつかのバージョンがありますが、一般的なものは正則化手法です。 重みの減衰により、重みが非常に大きくなることはありません。これにより、モデルが過剰適合するのを防ぎます。
5.4. 正規化
正規化手法は、トレーニングの高速化や正規化など、いくつかの方法でモデルを支援できます。 しかし、最も重要なことは、内部共変量シフトと呼ばれるネットの活性化の分布の変化を減らすことです。 バッチ正規化、インスタンス正規化、レイヤー正規化などのさまざまな正規化手法があります。
5.5. データ拡張
データ拡張は別の正則化方法と考えることができます。 モデルに何を課すかは、そのアルゴリズムによって異なります。 たとえば、文中のノイズの追加または単語置換は、2種類のデータ拡張です。 彼らは、ノイズの追加または単語の置換によって、分類タスクの一連の単語のカテゴリが変更されてはならないと想定しています。
5.6. 最適化アルゴリズム
最適化アルゴリズムは、学習したいモデルの結果において重要な役割を果たします。 たとえば、勾配降下アルゴリズムのバージョンが異なると、最適化が異なる可能性があります。 その後、結果のモデルは他の一般化プロパティを持ちます。 さらに、各最適化アルゴリズムには、モデルの収束と最適性に大きな影響を与える可能性のある独自のパラメーターがあります。
6. 結論
このチュートリアルでは、従来の機械学習と深層学習の2種類の誘導バイアスについて学習しました。 さらに、各タイプの例のリストを調べ、与えられた例の効果を説明しました。
