線形回帰とロジスティック回帰
1. 概要
このチュートリアルでは、線形回帰とロジスティック回帰の類似点と相違点を調べます。
まず、一般的な回帰の概念を研究することから始めます。 このようにして、回帰が科学における還元主義的アプローチにどのように関連しているかがわかります。
次に、線形回帰とロジスティック回帰を順番に調べます。 また、特徴ベクトルとターゲット変数の観点から、2つの回帰法の形式化を提案します。
最後に、オブザーバブルに対して回帰を実行するための2つの方法の主な違いを調べます。 このチュートリアルの最後に、一方の方法をもう一方の方法よりも優先する条件を理解します。
2. 統計における回帰のアイデア
2.1. 還元主義と統計的推論
科学哲学には、世界は正確で数学的性質の規則に従うという考えがあります。 このアイデアは哲学と科学の両方と同じくらい古く、世界の複雑さを数間の関係にまで減らしようとしたピタゴラスにまでさかのぼります。 現代では、このアイデアは還元主義の名前を想定しており、観察を相互に接続するルールとパターンを抽出する試みを示しています。
還元主義の下での暗黙の仮定は、システムのサブシステムの振る舞いを、より広いシステム全体の全体的な振る舞いとは独立して研究することが可能であるということです。
還元主義のそれとは反対の考えは創発と呼ばれ、代わりに、与えられたシステムを全体的にしか研究できないと述べています。 これは、システムのコンポーネントの動作を要約して独立して分析する際にどれほど正確であっても、システム全体を理解することは決してできないことを意味します。
還元主義は強力な認識論的ツールであり、創薬、統計力学、および生物学のいくつかの分野の研究アプリケーションに適しています。 還元主義は、社会、知識推論のためのベイジアンネットワーク、生物学の他の分野などの複雑なシステムの研究には適していません。
還元主義の下で組み立てることができる問題を回帰分析の下で方法論的に扱うことができますが、後者を行うことができない場合、前者も行うことができません。
2.2. とにかく回帰とは何ですか？
回帰分析の認識論的前提条件について説明した後、とにかくなぜそれをそのように呼ぶのかがわかります。 回帰という言葉は、その一般的な意味で、以前のよりも単純な状態へのシステムの下降を示します。 このことから、システムの複雑さをより単純な形に減らすことで回帰を組み立てる最初の直感を得ることができます。
2番目の直感は、起源、または統計分析における用語の最初の使用法を研究することによってもたらされる可能性があります。 特に背の高い人の家族の身長を調べているときに、ガルトンは、それらの人の甥は体系的に平均的な身長であり、背が高くない傾向があることに気づきました。 これにより、高さなどの変数は、十分な時間が与えられると、平均に向かって後退する傾向があるという考えにつながりました。
今日の時点で、回帰分析は統計分析の適切な分野です。 この分野は、分布のセットから単純化された関係を抽出するモデルの研究に関係しています。 このチュートリアルの2つの主題である線形回帰とロジスティック回帰は、回帰分析の2つのそのようなモデルです。
2.3. 回帰モデルのコンポーネント
変数の分散方法に関係なく、2つ以上の変数セットに対して回帰分析を実行できます。 回帰分析の変数は、同じ数の観測値で構成されている必要がありますが、それ以外の場合は、任意のサイズまたは内容にすることができます。 つまり、スカラーに対して回帰分析を実行することに限定されませんが、順序変数またはカテゴリ変数を使用することもできます。
使用することを選択した特定のタイプのモデルは、後で説明するように、作業している変数のタイプによって影響を受けます。 ただし、これに関係なく、変数が2つ以上ある場合は、回帰分析が常に可能です。
2.4. 従属変数、独立変数、およびエラー
これらの変数のうち、1つは依存と呼ばれます。 他のすべての変数は「独立変数」の名前を取り、独立変数と従属変数の間に因果関係が存在すると想像します。 または、少なくとも、この関係が存在することを疑っており、疑惑をテストしたいと考えています。
言い換えると、従属変数とデータセットの特徴を含むベクトルを記述する場合、これら2つの間に関係が存在すると想定します。 次に、回帰分析により、この仮説が正しいかどうかをテストできます。
この関係は、以外の項にも依存するという意味で、パラメトリックであると想像することもできます。 この場合、これらの用語をまたはとして示し、回帰の「パラメーター」と呼ぶことができます。 この場合、関数はの形式を取ります。
最後に、の値を導き出した測定値は、測定誤差によって特徴付けられることも想像できます。 ニューラルネットワークのバイアスに関する記事で、測定における系統誤差の問題について説明しました。 ただし、ここでは、体系的ではなくランダムなタイプのエラーについて言及します。 次に、このエラーを呼び出して、観察する変数から因果的に独立しているものとして扱うことができます。
2.5. 回帰の一般モデル
最終的に、回帰分析で調査する変数間の関係の基本モデルを構築できます。 したがって、次のように定義できます。
- 、データセット内の-番目の観測値を参照します
- 、従属変数を参照します
- 、独立変数が含まれています
- 、モデルのパラメータのセットが含まれています
- そして最後に、これは特定の観測に関連するランダムエラーを示します
これらの定義の下で、回帰分析は次のような関数を識別します。
2.6. 回帰の限界
回帰分析では、2つ以上の変数が互いに数値的に関連しているかどうかを知ることができます。 しかし、それらの間に存在すると私たちが推定する因果関係の妥当性については何も述べていません。 簡単に言えば、回帰分析を行う前に、因果関係の仮定を仮定します。
優れた回帰モデルが見つかった場合、これは因果関係を支持する証拠となる場合があります。 その場合、私たちが研究している変数は、おそらく互いに因果関係があると言えます。
適切なモデルが見つからない場合、通常、それらの間に因果関係は存在しないと想定します。 ただし、科学文献には、因果関係があると考えられていた変数の例がたくさんありますが、実際にはそうではありませんでした。
したがって、次の点に注意することが非常に重要です。 一部の変数に対して優れた回帰モデルがあるからといって、これら2つの変数が因果関係があるとは限りません。 これを念頭に置いていない場合、明らかに無関係な現象に因果関係を割り当てるリスクがあります。
3. 線形回帰
3.1. 単純な線形モデルの公式
私たちが研究している2つの変数が等しい次元を持っていると仮定しましょう。 ここで、との間に線形関係が存在することを想像してみましょう。これは、のような2つのパラメーターの存在を意味します。 変数の任意の要素について、の場合、関係は完全に線形です。
次の場合、モデルは線形であると言うことで、前のステートメントを形式化できます。
の場合、これは。の値とは無関係であることを意味することに注意してください。 真か偽かという問題は、とは無関係です。 これは、2つの変数について話しているのではなく、1つだけについて話していることを意味します。
したがって、モデルはそのパラメーターに対して未定義であると言えますが、モデルの他のすべての値については別の方法で定義されています。 以下は、パラメータの値が異なる線形モデルの有効な例です。
3.2. 線形モデルから線形回帰へ
モデルが完全に適合していないと想像してみましょう。 これは、与えられた線形ペアの値を計算する場合、そのような値が少なくとも1つあることを意味します。
この場合、線形モデルの予測と変数の観測値の間のいわゆる誤差を計算できます。 このエラーを呼び出すことができます。
単純な線形回帰モデルを特定する問題は、線形関数の2つのパラメーターを特定することにあります。 追加の制約は、ある種のエラーメトリックに従って、このエラー項をできるだけ小さくすることです。
線形回帰で使用される一般的なエラーメトリックは、エラーの2乗の合計であり、次のように計算されます。
したがって、2つの変数の線形回帰モデルを特定する問題は、誤差の二乗和を最小化するパラメーターの発見として再定式化できます。 言い換えれば、問題は次の解決策の特定になります。
3.3. 線形回帰の解を計算する
この問題の解決策は簡単に見つけることができます。 最初に、次のようにパラメータを計算できます。
ここで、およびは変数およびの平均値です。 を見つけたら、次のように簡単に識別できます。 このように計算した2つのパラメーターは、誤差の二乗和を最小化するモデルのパラメーターに対応します。
また、線形モデルを参照していることを考慮に入れることで、2つのパラメーターに割り当てることができるという直感的な理解もあります。 線形回帰および関連する線形モデルで、それぞれ線の傾きとその切片を参照します：
最後に、回帰分析の特定のコンテキストでは、式に従って、パラメーターが分布との相関係数に関連していると想像することもできます。 この式では、との未補正の標準偏差をそれぞれ参照してください。 実際、相関は、2つの標準化された分布にわたる線形回帰モデルの傾きを参照する別の方法です。
4. ロジスティック回帰
4.1. ロジスティック関数の式
これで、前に線形関数に対して行ったように、ロジスティック関数の式を記述し、回帰分析を実行するためにそれを拡張する方法を確認できます。 線形回帰の場合と同様に、ロジスティック回帰は、実際には、2つの変数間の関係をロジスティック関数にマッピングするモデルのパラメーターを見つける試みを構成します。
ロジスティック関数は、の形式の関数です。ここで、はオイラーの数を示し、線形モデルの前と同様に、独立変数です。 この関数を使用すると、連続的に分散された変数を開区間にマッピングできます。 ロジスティック関数に関連するグラフは次のとおりです。
ここで示しているロジスティック関数は、シグモイド関数の一種です。 後者は、ニューラルネットワークの非線形活性化関数のコンテキストで特に重要です。 ただし、これは Logit モデルの定義の基礎でもあります。これは、後で説明するように、ロジスティック回帰を実行しながら学習しようとするモデルです。
4.2. ロジスティック関数の特徴
ロジスティック関数の終域は区間であるため、ロジスティック関数は確率を表すに特に適しています。 ロジスティック関数の他の用途も存在しますが、この関数は通常、実際の値をベルヌーイ分布変数にマップするために使用されます。
従属変数がベルヌーイ分布の場合、これは2つの値（通常は0と1）のいずれかをとることができることを意味します。 代わりに、ロジスティック関数への入力は任意の実数にすることができます。これにより、ロジスティック関数は、定義域を持つ変数を有限区間に圧縮する必要があるアプリケーションに特に適合します。
ロジスティックモデルの従属変数はベルヌーイ分布であると推定できるため、これは、モデルが分類タスクに特に適していることを意味します。 そのコンテキストでは、値1は正のクラス所属に対応します。 対称的に、ゼロの値は誤った分類に対応します。 これにより、ロジスティックモデルは、順序付けされていないカテゴリ変数を含む機械学習タスクの実行に適したものになります。
4.3. ロジスティックモデル
ロジスティック関数を定義した後、機械学習の分類タスクに一般的に使用される Logitモデルを、ロジスティック関数の逆として定義できます。 言い換えれば、これは次のことを意味します。
Logitモデルは、ベルヌーイ分布変数と一般化線形モデルの間のリンクモデルです。 一般化線形モデルは、の形式のモデルです。 これは、上記で検討した線形モデルにほぼ対応しています。
そのモデルでは、ここにあるように、パラメーターのベクトルであり、独立変数が含まれています。 次に、ロジットなどのリンク関数は、分布（この場合は二項分布）を一般化線形モデルに関連付けます。
ロジットモデルを使用すると、モデルの入力に対して特定のしきい値を超える正の出力を返す実際の値を受け取ります。 これにより、分類がトリガーされます。
4.4. ロジスティックに回帰
ここで問題となるのは、一般化線形モデルのパラメーターをどのように学習するかということです。 ロジスティック回帰の場合、これは通常、最急降下法を介して実行する最尤推定によって行われます。
ロジスティック関数について上記の式を拡張することにより、尤度関数を定義します。 がその関数のパラメータを含むベクトルの場合、次のようになります。
次に、この関数の対数を最大化することにより、回帰を続行できます。 その理由は、対数関数の単調性に関係しています。 実際、この単調性は、その最大値がその対数の引数と同じ値にあることを意味します。
この関数は、対数尤度の名前も取ります。 これで、バックトラッキングの段階的なプロセスを使用して、この最大値を任意の精度で特定できます。 これは、対数尤度の最大値に対応して、勾配がゼロであるためです。 これは、近似に満足するまでバックトラックを繰り返すことで、この条件を満たすパラメーターの値を見つけることができることを意味します。
5. 線形回帰とロジスティック回帰の違い
これで、この記事で行った考慮事項を要約できます。 これにより、2つのタイプの回帰の主な違いを特定できます。 具体的には、2つのモデルの主な違いは次のとおりです。
- 式は異なり、それらが回帰する関数も異なります。 線形回帰は関数を意味し、ロジスティック回帰は関数を意味します
- 同様に、従属変数の分布も異なります。 線形回帰の終域は、ですが、ロジスティック回帰の終域は
- エラーの測定値、したがって回帰の測定値は異なります。 線形回帰は通常、誤差の二乗和を使用しますが、ロジスティック回帰は最大（対数）尤度を使用します。
- これらの関数の一般的な使用法も異なります。 通常、仮説検定と相関分析では線形回帰を使用します。 代わりに、ロジスティック回帰は、確率の表現と分類タスクの実行を優先します。
代わりに、類似点は、2つの回帰モデルが回帰分析の一般的なモデルと共通している点です。 これらについては前に詳しく説明しましたが、新しい知識に照らして参照することができます。
6. 結論
この記事では、線形回帰とロジスティック回帰の主な類似点と相違点を調査しました。
まず、すべての回帰モデルの特性を分析し、一般的な回帰分析を行いました。
次に、線形モデルと線形回帰、およびそれらに関連するパラメーターを学習する方法を定義しました。 これは、誤差の二乗和を最小化することによって行います。
同様の方法で、ロジスティック関数、ロジスティックモデル、およびロジスティック回帰も定義しました。 最尤法と最急降下法によるロジスティック回帰のパラメーターを推定する方法についても学びました。
最後に、2つのモデルの主な違いを簡単に特定しました。 これらの違いは、それらの特有の特性とそれらの異なる使用法の両方に関連していました。
