1. 概要

このチュートリアルでは、画像処理でのオクルージョンについて説明します。最初にオクルージョンという用語を定義し、次に画像処理でオクルージョンの状況を考慮することの重要性について説明します。例。

2. 意味

いくつかのオブジェクトを含む3次元シーンにいて、このシーンの写真を撮るとします。 定義上、画像はシーンのその部分の2次元空間への投影に対応します。 このスペースでは、シーンの前景オブジェクトが背景サーフェスを遮ります。 簡単に言えば、画像のオクルージョンは、オブジェクトが別のオブジェクトの一部を隠すときに発生します。オクルージョンされる領域は、シーンに対するカメラの位置によって異なります。

たとえば、次の画像では、写真家（前景オブジェクト）が建物の一部（背景面）を遮っています。

3. 重要性

オクルージョンは、利用可能な視覚情報を減らす最も一般的なイベントの1つと見なされています。多くの視覚情報が隠されてキャプチャできないため、オクルージョンは、画像処理やコンピュータビジョンの多くのタスクの主な理由の1つです。まだ解決するのは非常に難しいです。

オブジェクト追跡の問題について考えてみましょう。ここでの目標は、環境内の1つまたは複数のオブジェクトを識別して追跡することです。 自動運転での車や歩行者の追跡など、その用途は数多くあります。 ただし、追跡しているオブジェクトがある時点で別のオブジェクトによって遮られている場合、システムは最初のオブジェクトを追跡できなくなる可能性があります。自動運転などの場合、この問題は壊滅的な影響を与える可能性があります。 したがって、追跡アルゴリズムには、可能性のあるオクルージョンを考慮した手順または手法を常に含める必要があります。

下の画像では、オブジェクトの色のみに基づいたトラッカーを使用した場合の、オクルージョンによるオブジェクト追跡の一般的な問題を確認できます。

左右の画像では、システムは両方のオブジェクトを正しく追跡しますが、青いオブジェクトの遮蔽された領域を無視します。 中央の画像では、システムは青いオブジェクトを2つの別々のオブジェクトとして誤って認識しています。

4. 例

ここでは、オクルージョンが重要であり、システムを設計する際に考慮に入れる必要があるいくつかのケースを紹介します。

4.1. 顔認識

顔認識では、私たちの目標は、顔を使用している人の身元を特定することです。 入力は顔画像であり、出力はその人物の名前です。 人々は、アクセサリー、帽子、眼鏡、および顔の重要な部分を塞ぐその他の物体を身に付けることがよくあります。したがって、顔認識システムは、パフォーマンスを向上させるために、この種の閉塞に対して堅牢である必要があります。

下の画像では、マスクをしている女性を見ることができます。 彼女の鼻と口が隠されているため、顔認識システムは彼女を識別できない可能性があります。

4.2. 拡張現実

拡張現実システムの目標は、コンピューター生成画像でユーザーのビジョンを強化することです。 主な問題は、仮想画像を実際のオブジェクトと現実的にブレンドする方法です。 したがって、実オブジェクトと仮想オブジェクトの間のオクルージョンは非常に一般的であり、これらの状況を処理することは、効果的な拡張現実システムにとって非常に重要であることがわかります。

下の画像では、ショッピング用の拡張現実システムのインターフェースを見ることができます。 仮想ラベルは、実世界のオブジェクトの一部を覆い隠します。

5. 結論

このチュートリアルでは、オクルージョンについて説明しました。 用語の定義から始めて、それから多くのコンピュータビジョンと画像処理タスクにおけるその重要な役割について話しました。