1. 序章


このチュートリアルでは、線形分離可能データについて説明します。 また、線形分離可能性を示さないデータセットを処理するために使用するカーネルトリックについても説明します。


2. 線形分離可能なクラス








分離可能性の概念はバイナリに適用されます 分類 問題。 それらには、2つのクラスがあります。1つはポジティブで、もう1つはネガティブです。 決定境界が正のオブジェクトと負のオブジェクトを分離する分類器があれば、それらは分離可能であると言います。


そのような決定境界が 特徴、クラスは線形分離可能であると言います。


ラベル付けされたデータを処理するため、フィーチャスペースのクラスも線形分離可能である場合、データセット内のオブジェクトは線形分離可能になります。


2.1. 線形分離可能な2Dデータ


正のオブジェクトと負のオブジェクトを直線で分離できれば、2次元データセットは線形分離可能であると言えます。


そのような行が複数存在するかどうかは関係ありません。 線形分離可能性については、次の1つだけを見つけるだけで十分です。


逆に、直線的に分離できない2Dデータを分離できる線はありません。


2.2. 線形分離可能-次元データ


2D線に相当するのは、次元空間の超平面です。 特徴が実在すると仮定すると、超平面の方程式は次のようになります。




 (1)    


ここで、は内積（内積の名前でも呼ばれます）であり、は超平面に直交するベクトルです。 フィーチャスペースのオブジェクトを表します。


2.3. 線形モデル


データが線形分離可能である場合、線形モデルをデータに適合させることにより、決定境界の方程式を見つけることができます。たとえば、線形サポートベクターマシン分類器は、最も幅の広い超平面を見つけます。マージン。


線形モデルには3つの利点があります。 まず、それらはシンプルで、独自の機能で動作します。 したがって、より複雑な非線形モデルよりも解釈が簡単です。 次に、モデルのフィッティング中に発生する最適化問題の分析ソリューションを導き出すことができます。 対照的に、一般的な非線形モデルをトレーニングするには、数値的手法のみに頼ることができます。 そして最後に、非線形問題よりも線形最適化問題に数値解法を適用する方が簡単です。


ただし、データが線形分離可能でない場合、線形モデルの利点を享受することはできません。


3. 線形分離可能空間へのマッピング


このような場合、データを線形分離可能にする方法があります。 アイデアは、クラスが線形分離可能ではない元の特徴空間から、それらが存在する新しい特徴空間にオブジェクトをマッピングすることです。


3.1. 例


例として、上からの2D円形データを考えてみましょう。 2つのクラスを完全に分離できる直線はありません。 ただし、これはフィーチャとを備えた元の2D空間には当てはまりますが、別の空間にマッピングすると、オブジェクトが分離可能になる可能性があります。 それがマッピングに当てはまるかどうかを見てみましょう。


      


のすべてのデータポイントは正の円の半径に等しいために正であり、残りは負であるため、変換されたデータは線形分離可能になります。 したがって、線形SVMを変換されたセットに適合させ、式（ 1 ）に準拠する、、の線形モデルを取得できます。


3.2. 問題


このアプローチにはいくつかの問題があります。 まず、マッピングを手動で設計する必要があります。 場合によっては、によって正しい変換を行うのは簡単ではありません。 これは通常、複雑なデータを扱う場合に当てはまります。 さらに、データを線形分離可能にする方法は複数ある可能性があり、どれが最も自然で、最も解釈可能で、最も効率的な選択であるかが常に明確であるとは限りません。 たとえば、これらすべてのマッピングにより、上からの循環データが線形分離可能になります。


      


もう1つの問題は、モデルをフィッティングする前にデータを変換すると、過度に非効率になる可能性があるということです。 データセットが大きく、変換が複雑な場合、セット全体を新しいフィーチャスペースにマッピングするには、余裕のある時間とメモリよりも多くの時間とメモリが必要になる可能性があります。


最後に、データが無限次元空間でのみ線形分離可能になった場合、対応するマッピングが完了しないため、データを変換できません。


これらの問題を解決するために、カーネルトリックを適用します。


4. カーネル


少しの間、式（ 1 ）に戻りましょう。 その重要な要素は、内積項です。 線形モデルをフィッティングするための分析ソリューションには、データセット内のインスタンスの内積が含まれていることがわかります。


変換マッピングを適用する場合、元の空間の内積項を別の空間の内積に変更します。 ただし、データを変換しなくても評価できます。 そのために、カーネルを使用します。


カーネルは、元のオブジェクトのペアをそれらの画像の内積にマッピングする関数であり、実際にはとを計算しません。 したがって、カーネルを使用すると、変換ステップをスキップして、元の機能を操作することにより、別の空間で線形決定境界を見つけることができます。


たとえば、はとの内積です。 したがって、元の空間の分離決定境界が、、、または、の項を含む曲線である場合、それは変換された空間の平面になります。 したがって、でカーネル化された線形モデルをトレーニングすると、それが見つかります。


5. 結論


この記事では、線形分離可能性について説明しました。 また、別のフィーチャスペースにマッピングすることにより、データを線形分離可能にする方法も示しました。 最後に、カーネルを導入しました。これにより、データを変換せずに線形モデルを非線形データに適合させることができ、無限次元の空間にもマッピングできるようになります。