1. 概要

このチュートリアルでは、オブジェクト検出モデルの評価に使用される平均平均精度（mAP）メトリックについて説明します。最初に、オブジェクト検出のタスクについて簡単に紹介します。 次に、重複基準と適合率および再現率の指標を示します。 最後に、最終的なmAPメトリックを計算する方法について説明します。

2. 物体検出

オブジェクト検出の目的は、画像内の描写されたオブジェクトを見つけて識別することです。これは、自動運転やセキュリティから小売やヘルスケアに至るまで、コンピュータービジョンで最も重要なタスクの1つです。 一般に、オブジェクト検出のタスクには2つのステップが含まれます。

  1. オブジェクトのローカリゼーション：画像内の1つ以上のオブジェクトの位置を予測し、それぞれの周りにバウンディングボックスを描画します
  2. 画像分類：画像内の各オブジェクトのクラスを予測したい

したがって、オブジェクト検出システムは、1つ以上のオブジェクトを含む画像を入力として受け取り、各バウンディングボックスのクラスラベルとともに1つ以上のバウンディングボックスを出力します。オブジェクト検出のタスクは、オブジェクトとも呼ばれます。認識。

下の画像では、入力が道路を表す画像である場合に、オブジェクト検出システムの可能な出力を確認できます。 モデルが6つのオブジェクトの周囲に長方形を描画することで正常にローカライズされ、それぞれのクラス（信号機、トラック、車）に正しく分類されていることを確認します。

過去数年にわたって、R-CNNやYOLOのようなエキサイティングなパフォーマンスを実現するオブジェクト検出のタスクのために、多くの深層学習モデルが提案されてきました。 それらのパフォーマンスを評価するには、適切なメトリックを定義する必要があります。

メトリックへの入力として、予測されたクラスとともに予測された境界ボックスがあります。 これらの値を実際の境界ボックスおよびクラスと一貫性のある定量的な方法で比較するにはどうすればよいですか？オブジェクト検出器を評価するための最も一般的なメトリックは、平均平均精度（mAP）です。

3. 重複基準

mAPを計算する最初のステップは、グラウンドトゥルースと予測されたバウンディングボックスの間のオーバーラップの程度を見つけることです。 最も一般的なオーバーラップ基準は、予測された境界ボックスAとグラウンドトゥルース境界ボックスBを取得し、次のように計算するIntersection over Union（IoU）です。

ここで、はそれらの共通部分を示し、それらの和集合を示します。次の図では、IoUの定義が図式的に示されています。

IoUの値が0と1の間にあることがわかります。ここで、0はオーバーラップがまったくないことを意味し、1は予測とグラウンドトゥルースの境界ボックス間の完全なオーバーラップを意味します。 検出が正しいかどうかを確認するには、最終出力に影響を与えない予測の小さな不正確さを説明できるしきい値を定義する必要があります。通常、しきい値は50％に等しく、が検出された場合、検出は成功したと見なされます。

下の画像では、2つの境界ボックスでIoUを計算するいくつかの例を見ることができます。 検出は、最後の場合にのみ成功します。

4. 適合率と再現率

検出が成功したかどうかを判断する方法ができたので、ローカリゼーション問題をバイナリ分類問題に変換できます。正のクラスはオブジェクトが検出されたことを意味します。すべてのバイナリ分類問題で、予測は、以下の表に基づいて、真陽性、偽陽性、真陰性、または偽陰性になります。

また、精度およびリコールという用語を使用して、分類のパフォーマンスを評価します。

  • リコールは、すべてのグラウンドトゥルースを検出するモデルの能力を測定します。
  • 精度とは、モデルが関連するオブジェクトのみを識別するのにどれだけ成功するかです。

もちろん、モデルには高精度と高リコールが必要です。 両方のメトリックを考慮に入れるために、適合率-再現率曲線を使用します。これは、さまざまな確率しきい値の適合率（y軸）と再現率（x軸）のプロットです。

適合率-再現率曲線の適合率値を平均することにより、平均適合率（AP）を計算します。ここで、適合率は[0、0.1、…、1]の範囲にあります。

ここで、およびは、リコールがに等しい場合の精度の値を示します。

5. 平均平均精度（mAP）

これまで、検出の分類部分については説明していません。 各オブジェクトのバウンディングボックスを計算するだけでなく、そのクラスを予測する必要があります。

したがって、各クラスのAPを個別に計算し、最終的にAPの値になります。ここで、はクラスの数です。 最終的なメトリックはmAPであり、これはすべてのクラスのAP値の平均に等しくなります：

ここで、はクラスのAPの値です。

6. 結論

このチュートリアルでは、オブジェクト検出のmAPメトリックを示しました。 最初に、オブジェクト検出のタスクについて説明し、重複基準と適合率および再現率の指標を定義しました。 次に、mAPメトリックを計算する方法について説明しました。