ロジスティック回帰における最急降下方程式

1. 序章

このチュートリアルでは、ロジスティック回帰のコスト関数と、最急降下法を利用して最小コストを計算する方法について学習します。

ロジスティック回帰を使用して、結果が離散変数である分類問題を解決します。通常、ロジスティック回帰を使用して二項分類問題を解決します。名前が示すように、二項分類の問題には2つの可能な出力があります。

シグモイド関数（またはロジスティック関数）を使用して、入力値を広い範囲から限られた間隔にマッピングします。数学的には、シグモイド関数は次のとおりです。

この式は、ベルヌーイ確率変数の出力を観測する確率を表します。この変数はまたは（）のいずれかです。

実数を開区間に絞ります。したがって、分類に適しています。さらに、線形回帰とは異なり、外れ値に対する感度が低くなります。

シグモイド関数をに適用すると、が得られます。入力がに近づくにつれて、出力はになります。逆に、シグモイドは入力がに近づくにつれてになります。

より正式には、二項分類問題のロジスティック回帰モデルを定義します。シグモイド関数となる仮説関数を選択します。

ここで、はパラメータベクトルを示します。フィーチャーを含むモデルの場合、パラメーターが含まれています。仮説関数は、実際の出力がに等しい推定確率を概算します。言い換えると：

と

よりコンパクトに、これは次と同等です。

コスト関数は、モデルの動作を要約します。つまり、コスト関数を使用して、モデルの予測が実際の出力にどれだけ近いかを測定します。

線形回帰では、コスト関数として平均二乗誤差（MSE）を使用します。ただし、ロジスティック回帰では、実際の結果と予測された結果の差の2乗の平均をコスト関数として使用すると、波状の非凸解が得られる可能性があります。多くのローカルオプティマを含む：

この場合、最急降下法で最適な解を見つけることはできません。代わりに、対数関数を使用してロジスティック回帰のコストを表します。以下を含むすべての入力値に対して凸であることが保証されます。最小値は1つだけで、勾配降下アルゴリズムを実行できます。

バイナリ分類問題を処理する場合、エラーの対数コストはの値に依存します。 2つのケースのコストを別々に定義できます。

その結果、次のようになります。

実際の結果の場合、コストはのであり、の最大値を取ります。同様に、の場合、コストは。

出力はまたはのいずれかであるため、方程式を次のように簡略化できます。

観測の場合、コストは次のように計算できます：

最急降下法は、微分可能関数の最小値を見つける反復最適化アルゴリズムです。このプロセスでは、さまざまな値を試し、最適な値に到達するように更新して、出力を最小化します。

この記事では、この方法をロジスティック回帰のコスト関数に適用できます。このようにして、モデルパラメータのコストを最小限に抑える最適なソリューションを見つけることができます。

すでに説明したように、ロジスティック回帰の仮説関数としてシグモイド関数を使用しています。

合計の機能があると仮定します。この場合、ベクトルのパラメーターがあります。コスト関数を最小化するには、各パラメーターで最急降下法を実行する必要があります。

さらに、反復ごとに各パラメーターを同時に更新する必要があります。言い換えると、ベクトルのパラメータ、、…をループする必要があります。

アルゴリズムを完了するには、の値が必要です。これは次のとおりです。

これを最急降下関数に接続すると、更新ルールが表示されます。

驚いたことに、更新ルールは、線形回帰の誤差の二乗和を使用して導出されたルールと同じです。その結果、ロジスティック回帰にも同じ最急降下法を使用できます。

収束するまでトレーニングサンプルを繰り返すことにより、最小のコストにつながる最適なパラメータに到達します。

この記事では、分類の基本的な方法であるロジスティック回帰について学習しました。さらに、最急降下アルゴリズムを利用して最適なパラメーターを計算する方法を調査しました。