物体検出方法及び物体検出装置
【課題】演算コストがより低い物体検出装置を提供すること。
【解決手段】２つのカメラ２ａ、２ｂのそれぞれが撮像するカメラ画像２ａＲ、２ｂＲの視差に基づいて物体５０を検出する物体検出装置１００は、被撮像空間を通る仮想直線ＶＬ上の複数の検査点ＩＰ１〜ＩＰ５のうちの１つＩＰ１に対応する画素を含む部分画像２ａＲ１、２ｂＲ１をカメラ画像２ａＲ、２ｂＲから抽出する部分画像抽出部１０と、同一の検査点ＩＰ１に対応するカメラ画像２ａＲ、２ｂＲの部分画像２ａＲ１、２ｂＲ１同士の類似度に基づいて検査点ＩＰ１に関する評価値ＣＧＲＡを決定する評価値決定部１１と、評価値決定部１１が決定する評価値を用いて物体５０の存否を判定する物体存否判定部１２とを備える。
【解決手段】２つのカメラ２ａ、２ｂのそれぞれが撮像するカメラ画像２ａＲ、２ｂＲの視差に基づいて物体５０を検出する物体検出装置１００は、被撮像空間を通る仮想直線ＶＬ上の複数の検査点ＩＰ１〜ＩＰ５のうちの１つＩＰ１に対応する画素を含む部分画像２ａＲ１、２ｂＲ１をカメラ画像２ａＲ、２ｂＲから抽出する部分画像抽出部１０と、同一の検査点ＩＰ１に対応するカメラ画像２ａＲ、２ｂＲの部分画像２ａＲ１、２ｂＲ１同士の類似度に基づいて検査点ＩＰ１に関する評価値ＣＧＲＡを決定する評価値決定部１１と、評価値決定部１１が決定する評価値を用いて物体５０の存否を判定する物体存否判定部１２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台のカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出方法及び物体検出装置に関する。
【背景技術】
【０００２】
従来、ステレオカメラを用いて物体までの距離を測定する方法が知られている（例えば、特許文献１参照。）。
【０００３】
この方法は、２つのカメラのそれぞれが撮像した２つのカメラ画像のそれぞれにおいて特徴点を見つけ出し、各カメラ画像間での特徴点同士の対応関係を明らかにし、対応付けられたそれらの特徴点の位置の違い（視差）に基づいて、その特徴点を形成する物体までの距離を三角測量で計算する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１１１３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法は、特徴点を見つけ出すための演算コスト及び各カメラ画像間での特徴点同士の対応関係を明らかにするための演算コストが大きいため、低コストの組込み装置への実装が困難である。また、この方法は、二次元のカメラ画像から三次元の距離分布を導き出す方法であるため、カメラ画像の特定部分のみを測定範囲（測定対象の物体が存在する範囲）として予め設定することができず、測定対象の物体が存在し得ない領域に対しても演算コストをかけることとなり効率が悪い。
【０００６】
上述の点に鑑み、本発明は、演算コストがより低い物体検出方法及び物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的を達成するために、本発明の実施例に係る物体検出装置は、少なくとも２つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置であって、被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、同一検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの１つに関する評価値を決定する評価値決定部と、前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、を備えることを特徴とする。
【０００８】
また、本発明の実施例に係る物体検出方法は、少なくとも２つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出方法であって、被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出ステップと、同一検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの１つに関する評価値を決定する評価値決定ステップと、前記評価値決定ステップにおいて決定される評価値を用いて物体の存否を判定する物体存否判定ステップと、を備えることを特徴とする。
【発明の効果】
【０００９】
上述の手段により、本発明は、演算コストがより低い物体検出方法及び物体検出装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る物体検出装置の構成例を概略的に示すブロック図である。
【図２】撮像部と測定ラインとの関係の一例を示す図である。
【図３】図２に示す２台のカメラのそれぞれが撮像するカメラ画像と８つの検査点との関係を示す図である。
【図４】検出対象を撮像する２台のカメラが出力するカメラ画像を示す図である。
【図５】図４の２つのカメラ画像のそれぞれにおける、検査点に対応する画素を含む部分画像を示す図である。
【図６】評価値決定処理の流れを示すフローチャートである。
【図７】水平方向の輝度の微分値、鉛直方向の輝度の微分値、及び、輝度勾配方向の三者の関係を示す図である。
【図８】検査点に対応する画素を中心画素とする部分画像における各画素の輝度勾配方向を示す図である。
【図９】評価値決定部による輝度勾配方向の量子化方法の一例を説明する図である。
【図１０】評価値決定部による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。
【図１１】１６個の検査点のそれぞれに関する評価値の分布を示す図（その１）である。
【図１２】１６個の検査点のそれぞれに関する評価値の分布を示す図（その２）である。
【図１３】１６個の検査点のそれぞれに関する評価値の分布を示す図（その３）である。
【図１４】物体検出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【実施例】
【００１２】
図１は、本発明に係る物体検出装置１００の構成例を概略的に示すブロック図である。物体検出装置１００は、主に、制御部１、撮像部２、表示部３、及び音声出力部４で構成される。
【００１３】
制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータである。制御部１は、例えば、ＲＯＭやＮＶＲＡＭに保存された、後述する部分画像抽出部１０、評価値決定部１１、及び物体存否判定部１２のそれぞれの機能要素に対応するプログラムをＲＡＭに展開し、各機能要素に対応する処理をＣＰＵに実行させる。
【００１４】
撮像部２は、画像を取得する装置であり、例えば、少なくとも２つのカメラで構成されるステレオビジョン装置である。撮像部２は、所定周期で撮像する画像データを制御部１に対して出力する。
【００１５】
撮像部２を構成する少なくとも２つのカメラは、所定距離を隔てて配置され、同じ空間領域を撮像する。以下では、少なくとも２つのカメラが撮像する共通の空間領域を「被撮像空間」と称する。
【００１６】
表示部３は、各種情報を表示するための装置であり、例えば、液晶ディスプレイ、プロジェクタ等であって、制御部１が出力する各種画像を表示する。
【００１７】
音声出力部４は、各種情報を音声出力するための装置であり、例えば、ブザー、スピーカ等であって、制御部１が出力する制御信号に応じて各種情報を音声出力する。
【００１８】
部分画像抽出部１０は、撮像部２が撮像した画像から部分画像を抽出する機能要素である。
【００１９】
具体的には、部分画像抽出部１０は、撮像部２を構成する複数のカメラのそれぞれが撮像したカメラ画像から、検査点に対応する画素を含む所定サイズの部分画像を抽出する。部分画像は、例えば、検査点に対応する画素を中心画素とする矩形画像である。なお、部分画像は、円形、楕円形等の他の形状を有していてもよい。
【００２０】
「検査点」とは、三次元空間である被撮像空間を通る仮想直線（以下、「測定ライン」とする。）上の点である。検査点は、好適には、物体検出装置１００の検出対象に応じて予め設定される。この場合、物体検出装置１００は、三次元空間に定義される三次元座標系における各検査点の三次元座標と、複数のカメラ画像のそれぞれに対して定義される二次元座標系における対応する二次元座標とを予め関連付けて保持する。但し、検査点は、物体検出装置１００の検出対象に応じて動的に設定されてもよい。この場合、物体検出装置１００は、測定ライン及び検査点を動的に設定し、各検査点の三次元座標に基づいて、複数のカメラ画像のそれぞれにおける対応する二次元座標を動的に算出する。
【００２１】
図２は、撮像部２と測定ラインＶＬとの関係の一例を示す図であり、撮像部２を構成する２つのカメラ２ａ、２ｂとカメラ２ａ、２ｂに関する被撮像空間を通る測定ラインＶＬ上に配置される８個の検査点ＩＰ１〜ＩＰ８とを示す。
【００２２】
測定ラインＶＬは、被撮像空間を通る任意の直線であるが、好適には、物体検出装置１００の検出対象である物体が存在する可能性の高い空間領域、又は、物体検出装置１００の検出対象である物体が移動する可能性の高い空間領域を貫くように配置される。
【００２３】
また、測定ラインＶＬ上に配置される検査点間の距離は任意であり、等間隔であってもよく、不等間隔であってもよい。なお、検査点間の距離が長い程、すなわち、検査点の数が少ない程、物体検出装置１００が物体を検出するために要する演算負荷は減少する。一方、検査点間の距離が短い程、すなわち、検査点の数が多い程、物体検出装置１００の分解能は高くなる。
【００２４】
図３は、図２に示す２台のカメラ２ａ、２ｂのそれぞれが撮像するカメラ画像２ａＲ、２ｂＲと８つの検査点ＩＰ１〜ＩＰ８との関係を示す。カメラ２ａが撮像するカメラ画像２ａＲは、検査点ＩＰ１〜ＩＰ８のそれぞれに対応する画素２ａＰ１〜２ａＰ８を中心とする部分画像２ａＲ１〜２ａＲ８を含む。同様に、カメラ２ｂが撮像するカメラ画像２ｂＲは、検査点ＩＰ１〜ＩＰ８のそれぞれに対応する画素２ｂＰ１〜２ｂＰ８を中心とする部分画像２ｂＲ１〜２ｂＲ８を含む。なお、部分画像２ａＲ１〜２ａＲ８及び部分画像２ｂＲ１〜２ｂＲ８のそれぞれのサイズは共通である。部分画像２ｂＲ１〜２ｂＲ８のサイズを共通とした場合、演算処理がしやすいというメリットがある。そのため、図３では、検査点ＩＰ２〜ＩＰ７のそれぞれを中心画素とする、カメラ画像２ａＲ、２ｂＲのそれぞれにおける部分画像の範囲の図示を省略する。なお、部分画像のサイズは、同じ検査点に対応する部分画像間で共通であれば、カメラからの距離に応じて検査点毎に変更されてもよい。この場合、カメラからの距離に応じて変化する、物体のカメラ画像内での映り込みサイズに、部分画像のサイズを合わせられるというメリットがある。なお、カメラ画像２ａＲのサイズは、カメラ画像２ｂＲのサイズと同じである。また、図３は、カメラ２ａの設置位置とカメラ２ｂの設置位置との違いに起因して、カメラ２ａが撮像するカメラ画像２ａＲとカメラ２ｂが撮像するカメラ画像２ｂＲとの間に視差が存在することを示す。
【００２５】
図４は、検出対象５０を撮像する２台のカメラ２ａ、２ｂが出力するカメラ画像２ａＲ、２ｂＲを示す。なお、図４に示す測定ラインは、図３に示す測定ラインＶＬとは延在方向が異なるが、説明の便宜のため、同じ参照符号ＶＬを用いて説明する。検査点ＩＰ１〜ＩＰ５についても同様である。
【００２６】
図４において、カメラ２ａ、２ｂは、床面から５００ｍｍの高さに設置される。また、測定ラインＶＬは、床面からの高さが５００ｍｍの平面上で、カメラ２ａとカメラ２ｂとを結ぶ線分の中点ＭＰを通り、カメラ２ａ、２ｂの光軸方向に平行に伸びる。また、５つの検査点ＩＰ１〜ＩＰ５は、測定ラインＶＬ上に等間隔（例えば、２５０ｍｍ間隔）に配置され、中点ＭＰとの距離が最も小さい検査点ＩＰ１は、中点ＭＰから１０００ｍｍの地点に配置される。また、検出対象５０はヘルメットであり、中点ＭＰから１７５０ｍｍの地点に配置される。
【００２７】
図５は、図４の２つのカメラ画像２ａＲ、２ｂＲのそれぞれにおける、５つの検査点ＩＰ１〜ＩＰ５のそれぞれに対応する画素を含む、２つ１組の５組の部分画像を示す。
【００２８】
部分画像２ａＲ１は、カメラ２ａが撮像したカメラ画像２ａＲにおける、検査点ＩＰ１に対応する画素２ａＰ１を中心画素とする部分画像である。また、部分画像２ｂＲ１は、カメラ２ｂが撮像したカメラ画像２ｂＲにおける、検査点ＩＰ１に対応する画素２ｂＰ１を中心画素とする部分画像である。
【００２９】
同様に、部分画像２ａＲ２〜２ａＲ５のそれぞれは、カメラ画像２ａＲにおける、検査点ＩＰ２〜ＩＰ５のそれぞれに対応する画素２ａＰ２〜２ａＰ５のそれぞれを中心画素とする部分画像である。また、部分画像２ｂＲ２〜２ｂＲ５のそれぞれは、カメラ画像２ｂＲにおける、検査点ＩＰ２〜ＩＰ５のそれぞれに対応する画素２ｂＰ２〜２ｂＰ５のそれぞれを中心画素とする部分画像である。
【００３０】
このようにして、部分画像抽出部１０は、複数の検査点のそれぞれに対応する画素のそれぞれを中心画素とする所定サイズの部分画像を各カメラ画像から抽出する。
【００３１】
評価値決定部１１は、互いに対応する部分画像の類似度に基づいて検査点に関する評価値を決定する機能要素である。
【００３２】
具体的には、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像同士の類似度に基づいてその特定の検査点に関する評価値を決定する。
【００３３】
図６は、評価値決定部１１が検査点に関する評価値を決定する処理（以下、「評価値決定処理」とする。）の流れを示すフローチャートである。
【００３４】
最初に、評価値決定部１１は、部分画像における各画素の輝度勾配方向を算出する（ステップＳ１）。
【００３５】
「輝度勾配方向」とは、ある注目画素において輝度変化が最大である方向を意味し、本実施例では、水平方向（画面横方向）の輝度の微分値と鉛直方向（画面縦方向）の輝度の微分値ｄＩｙ（ｉ、ｊ）とが形成する角度θで表される。
【００３６】
具体的には、カメラ画像２ａＲ、２ｂＲのそれぞれにおける座標（ｉ、ｊ）の画素の輝度をＩ（ｉ、ｊ）で表すと、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）、鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）、及び、輝度勾配方向θは、以下の式で表される。
【００３７】
【数１】
【００３８】
【数２】
【００３９】
【数３】
図７は、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）、鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）、及び、輝度勾配方向θの三者の関係を示す図であり、輝度勾配方向θが、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）と鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）との間の角度であることを示す。
【００４０】
また、図８は、カメラ画像２ａＲにおける、検査点ＩＰ１に対応する画素２ａＰ１を中心画素とする部分画像２ａＲ１における各画素の輝度勾配方向を示す。具体的には、図８（Ａ）は、部分画像２ａＲ１の全体像を示し、図８（Ｂ）は、図８（Ａ）の破線円部分の拡大図を示す。なお、図８（Ａ）は、説明の便宜のため、部分画像２ａＲ１を縦９ピクセル、横９ピクセルのサイズで示す。また、図８（Ｂ）は、各画素の輝度勾配方向を矢印で示す。
【００４１】
このようにして、評価値決定部１１は、部分画像における各画素の輝度勾配方向θを算出する。
【００４２】
部分画像における各画素の輝度勾配方向θを算出した後、評価値決定部１１は、その算出した輝度勾配方向θを量子化する（ステップＳ２）。
【００４３】
図９は、評価値決定部１１による輝度勾配方向θの量子化方法の一例を説明する図である。
【００４４】
図９（Ａ）で示すように、評価値決定部１１は、輝度勾配方向θが０度以上４５度未満の場合に輝度勾配方向を値「０」に変換する。同様に、評価値決定部１１は、輝度勾配方向θが４５度以上９０度未満、９０度以上１３５度未満、１３５度以上１８０度未満、１８０度以上２２５度未満、２２５度以上２７０度未満、２７０度以上３１５度未満、３１５度以上３６０度未満の場合に、輝度勾配方向をそれぞれ値「１」、値「２」、値「３」、値「４」、値「５」、値「６」、値「７」に変換する。図９（Ｂ）は、量子化の結果の一例を示し、図８（Ｂ）に対応する。
【００４５】
このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像における各画素の輝度勾配方向θを量子化する。
【００４６】
輝度勾配方向θを量子化した後、評価値決定部１１は、その量子化した輝度勾配方向の値のヒストグラムを作成する（ステップＳ３）。
【００４７】
図１０は、評価値決定部１１による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。なお、図１０（Ａ）の部分画像２ａＲ１は、図９（Ａ）の部分画像２ａＲ１に対応する。
【００４８】
図１０（Ａ）で示すように、評価値決定部１１は、部分画像２ａＲ１を、中心画素２ａＰ１を含む列より左側にある４列で構成される左側領域と、中心画素２ａＰ１を含む１列、及び中心画素２ａＰ１を含む列より右側にある４列で構成される右側領域とに分割する。
【００４９】
その上で、評価値決定部１１は、左側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「０」〜「７」の値毎に計数する。同様に、評価値決定部１１は、右側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「０」〜「７」の値毎に計数する。
【００５０】
図１０（Ｂ）は、左側領域に関する「０」〜「７」の値と右側領域に関する「０」〜「７」の値とで構成される１６種類（次元）の値のそれぞれの出現頻度の分布を示すヒストグラムの一例である。
【００５１】
このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像の特徴を表すヒストグラムを作成する。
【００５２】
特定の検査点に関連する複数の部分画像のそれぞれの特徴を表すヒストグラムを作成した後、評価値決定部１１は、その特定の検査点に関する評価値ＣＧＲＡを決定する（ステップＳ４）。
【００５３】
具体的には、評価値決定部１１は、検査点ＩＰ１に関連する、カメラ２ａが撮像したカメラ画像２ａＲにおける部分画像２ａＲ１の特徴を表すヒストグラムと、同じく検査点ＩＰ１に関連する、カメラ２ｂが撮像したカメラ画像２ｂＲにおける部分画像２ｂＲ１の特徴を表すヒストグラムとに基づいて、検査点ＩＰ１に関する評価値ＣＧＲＡを決定する。
【００５４】
評価値ＣＧＲＡは、例えば、以下の式で表されるようなヒストグラム同士の各要素の強度差に基づく評価値が採用される。
【００５５】
【数４】
なお、Ｋは次元数を表し、本実施例では、輝度勾配方向の値の種類の数に相当する「１６」である。また、Ｉｇ（ｋ）は、一方の部分画像におけるｋ次元目の値を表し、例えば、Ｉｇ（１）は、部分画像２ａＲ１における輝度勾配方向の値「０」の出現頻度（１次元目の値）を表す。また、Ｔｇ（ｋ）は、他方の部分画像におけるｋ次元目の値を表し、例えば、Ｔｇ（１）は、部分画像２ｂＲ１における輝度勾配方向の値「０」の出現頻度（１次元目の値）を表す。
【００５６】
この場合、検査点ＩＰ１に関する評価値ＣＧＲＡが小さい程２つの部分画像２ａＲ１、２ｂＲ１の類似度が高く、その評価値ＣＧＲＡが大きい程２つの部分画像２ａＲ１、２ｂＲ１の類似度が低い。なお、評価値ＣＧＲＡの大小と類似度の高低との関係は、評価値ＣＧＲＡの計算方法によっては反対となり得る。
【００５７】
また、特定の検査点に関連する部分画像が３つ以上存在する場合、すなわち撮像部２が３つ以上のカメラで構成される場合には、評価値決定部１１は、それら３つ以上の部分画像のうちの２つの間の評価値ＣＧＲＡを全ての組み合わせについて算出した上で、算出した複数の評価値ＣＧＲＡに基づいて最終的な評価値ＣＧＲＡを導き出すようにする。この場合、評価値決定部１１は、例えば、複数の評価値ＣＧＲＡの統計値（平均値、最大値、最小値、中間値等である。）を最終的な評価値ＣＧＲＡとして導き出してもよい。
【００５８】
このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする、互いに対応する部分画像の類似度に基づいて、その特定の検査点に関する評価値ＣＧＲＡを決定する。
【００５９】
また、評価値決定部１１は、予め設定された複数の検査点のそれぞれについて、上述の評価値決定処理を実行し、予め設定された複数の検査点のそれぞれに関する評価値ＣＧＲＡを決定する。
【００６０】
物体存否判定部１２は、評価値決定部１１が決定する、複数の検査点のそれぞれに関する評価値ＣＧＲＡに基づいて物体の存否を判定する機能要素である。
【００６１】
図１１〜図１３は、１６個の検査点ＩＰ１〜ＩＰ１６のそれぞれに関する評価値ＣＧＲＡの分布を示す図である。
【００６２】
図１１〜図１３において、カメラ２ａ、２ｂは、床面から５００ｍｍの高さに設置される。また、測定ラインＶＬは、床面からの高さが５００ｍｍの平面上で、カメラ２ａとカメラ２ｂとを結ぶ線分の中点ＭＰを通り、カメラ２ａ、２ｂの光軸方向に平行に伸びる。また、１６個の検査点ＩＰ１〜ＩＰ１６は、測定ラインＶＬ上に２５０ｍｍ間隔に配置され、中点ＭＰとの距離が最も小さい検査点ＩＰ１は、中点ＭＰから１０００ｍｍの地点に配置される。また、検出対象５０はヘルメットであり、図１１では中点ＭＰから１５００ｍｍの地点に配置され、図１２では中点ＭＰから２２５０ｍｍの地点に配置され、図１３では中点ＭＰから３０００ｍｍの地点に配置される。
【００６３】
図１１のケースでは、物体存否判定部１２は、測定ラインＶＬ上に並ぶ検査点ＩＰ１〜ＩＰ１６のそれぞれに関する評価値ＣＧＲＡの分布ら、中点ＭＰから１５００ｍｍの地点に対応する検査点ＩＰ３に関する評価値ＣＧＲＡが極値（最小値）であると判断する。そして、物体存否判定部１２は、中点ＭＰから１５００ｍｍの地点に検出対象５０が存在すると判定する。また、図１２のケースでは、物体存否判定部１２は、中点ＭＰから２２５０ｍｍの地点に対応する検査点ＩＰ６に関する評価値ＣＧＲＡが極値（最小値）であると判断し、中点ＭＰから２２５０ｍｍの地点に検出対象５０が存在すると判定する。同様に、図１３のケースでは、物体存否判定部１２は、中点ＭＰから３０００ｍｍの地点に対応する検査点ＩＰ９に関する評価値ＣＧＲＡが極値（最小値）であると判断し、中点ＭＰから３０００ｍｍの地点に検出対象５０が存在すると判定する。
【００６４】
このようにして、物体存否判定部１２は、複数の評価値ＣＧＲＡから極値（最小値）を抽出し、その極値となる評価値ＣＧＲＡを有する検査点（以下、「採用点」と称する。）の位置に物体が存在すると判定する。
【００６５】
この判定は、物体が存在する地点に対応する検査点に関する部分画像間の類似度が比較的高くなる一方で、物体が存在しない地点に対応する検査点に関する部分画像間の類似度が比較的低くなるという事実に基づく。物体が存在する地点に対応する検査点に関する、カメラ２ａによる部分画像とカメラ２ｂによる部分画像とは、その物体を共通の被写体として含むのに対し、物体が存在しない地点に対応する検査点に関する、カメラ２ａによる部分画像とカメラ２ｂによる部分画像とは、別々の物体（互いに異なる地点に存在するより遠方の物体）を被写体として含み得るためである。
【００６６】
また、物体存否判定部１２は、複数の評価値ＣＧＲＡの分布に基づいて物体の存否を判定してもよい。
【００６７】
具体的には、物体存否判定部１２は、採用点の評価値ＣＧＲＡと採用点の周囲にある検査点の評価値ＣＧＲＡとの間の関係に基づいて物体の存否を判定してもよい。この場合、採用点の周囲にある検査点の評価値ＣＧＲＡは、例えば、採用点に隣接する複数の検査点の評価値ＣＧＲＡの平均値、最大値、最小値、中間値等である。
【００６８】
例えば、物体存否判定部１２は、採用点の評価値ＣＧＲＡと採用点の周囲にある検査点の評価値ＣＧＲＡとの間の差が所定値以上の場合に限り、採用点の位置に物体が存在すると判定してもよい。すなわち、物体存否判定部１２は、その差が所定値未満の場合には、採用点の位置に物体が存在しないと判定してもよい。検査点の位置に物体が存在しない場合であっても、背景の輝度が均一な場合、その評価値ＣＧＲＡは、物体が存在する場合と同じ程度に低くなるためである。また、物体が存在する場合には特定の１つの検査点の評価値ＣＧＲＡが低くなり易いのに対し、物体が存在せず且つ背景の輝度が均一な場合には、隣接する複数の検査点の評価値ＣＧＲＡが一様に低くなり易いためである。
【００６９】
また、物体検出装置１００は、物体存否判定部１２の判定結果を表示部３及び音声出力部４を通じて操作者に伝えるようにする。
【００７０】
具体的には、物体検出装置１００は、カメラ２ａ、２ｂの何れか一方が撮像した画像を表示部３に表示し、物体存否判定部１２により物体が存在すると判定された位置に対応する採用点の周囲の画像領域を他の画像領域と異ならせて表示する。例えば、物体検出装置１００は、採用点の周囲の画像領域の色を他の画像領域の色と異ならせて表示する。
【００７１】
また、物体検出装置１００は、例えば、音声出力部４を通じて警報を出力したり、「Ｘメートルの地点に物体が存在します」といった音声メッセージを音声出力部４から出力したりする。
【００７２】
次に、図１４を参照しながら、物体検出装置１００が物体を検出する処理（以下、「物体検出処理」とする。）の流れについて説明する。なお、図１４は、物体検出処理の流れを示すフローチャートであり、物体検出装置１００は、所定周期で繰り返しこの物体検出処理を実行する。また、測定ラインＶＬは、検出対象の物体が存在する可能性の高い空間領域を横切るように予め設定される。検査点は、測定ラインＶＬ上に等間隔に所定数だけ予め配置される。また、撮像部２は、２台のカメラ２ａ、２ｂで構成され、カメラ２ａ、２ｂは、カメラ画像２ａＲ、２ｂＲを制御部１に対して出力する。
【００７３】
最初に、物体検出装置１００の制御部１は、部分画像抽出部１０により、複数の検査点のうちの１つに対応する画素を中心画素とする部分画像を、カメラ画像２ａＲ、２ｂＲのそれぞれから抽出する（ステップＳ１１）。
【００７４】
その後、制御部１は、評価値決定部１１により、上述の評価値決定処理を実行し、その検査点に関する評価値ＣＧＲＡを決定する（ステップＳ１２）。
【００７５】
その後、制御部１は、予め設定された全ての検査点に関する評価値ＣＧＲＡを決定したか否かを判定する（ステップＳ１３）。
【００７６】
予め設定された全ての検査点に関する評価値ＣＧＲＡを未だ決定していないと判定した場合（ステップＳ１３のＮＯ）、制御部１は、評価値ＣＧＲＡが未だ決定されていない検査点に関してステップＳ１１及びステップＳ１２を実行する。
【００７７】
予め設定された全ての検査点に関する評価値ＣＧＲＡを決定したと判定した場合（ステップＳ１３のＹＥＳ）、制御部１は、物体存否判定部１２により、全ての検査点に関する評価値ＣＧＲＡの分布に基づいて物体の存否を判定する（ステップＳ１４）。
【００７８】
なお、本実施例では、物体検出装置１００は、１本の測定ラインＶＬ上に配置された複数の検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、その１本の測定ラインＶＬが通る空間における物体の存否を判定する。しかしながら、本発明は、これに限定されない。物体検出装置１００は、複数本の測定ラインのそれぞれに配置された複数の検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定してもよい。
【００７９】
以上の構成により、物体検出装置１００は、特定の検査点に対応する画素を中心画素とする、複数のカメラ画像のそれぞれにおける部分画像間の類似度に基づく評価値を用いて物体の存否を判定する。その結果、物体検出装置１００は、エッジ検出等の画像処理により特徴点を見つけ出す必要なく物体の存否を判定することができ、物体の存否を判定するのに必要な演算コストを低減させることができる。
【００８０】
また、物体検出装置１００は、検査点の位置を任意に設定可能とするので、測定範囲を必要最小限に制限することができ、物体の存否を判定するのに必要な演算コストを更に低減させることができる。
【００８１】
また、物体検出装置１００は、検査点の位置を任意に設定可能とするので、特定領域の物体検出の分解能を高めることができる。
【００８２】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【００８３】
例えば、上述の実施例において、物体検出装置１００は、評価値ＣＧＲＡとしてヒストグラム同士の各要素の強度差に基づく評価値を採用するが、輝度差の二乗和ＳＳＤ（Sum of Squared Difference）、輝度差の総和ＳＡＤ（Sum of Absolute Difference）、正規化相互相関ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）等を評価値として採用してもよい。また、物体検出装置１００は、評価値を決定するために、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＨＯＧ（Histograms of Oriented Gradients）等のアルゴリズムを用いてもよい（藤吉弘亘、"Gradientベースの特徴抽出−ＳＩＦＴとＨＯＧ−"、情報処理学会、研究報告CVIM 160, pp.211-214, 2007参照。）。
【符号の説明】
【００８４】
１・・・制御部 ２・・・撮像部 ２ａ、２ｂ・・・カメラ ３・・・表示部 ４・・・音声出力部 １０・・・部分画像抽出部 １１・・・評価値決定部 １２・・・物体存否判定部 １００・・・物体検出装置 ＩＰ１〜ＩＰ１６・・・検査点 ＶＬ・・・測定ライン
【技術分野】
【０００１】
本発明は、複数台のカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出方法及び物体検出装置に関する。
【背景技術】
【０００２】
従来、ステレオカメラを用いて物体までの距離を測定する方法が知られている（例えば、特許文献１参照。）。
【０００３】
この方法は、２つのカメラのそれぞれが撮像した２つのカメラ画像のそれぞれにおいて特徴点を見つけ出し、各カメラ画像間での特徴点同士の対応関係を明らかにし、対応付けられたそれらの特徴点の位置の違い（視差）に基づいて、その特徴点を形成する物体までの距離を三角測量で計算する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１１１３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法は、特徴点を見つけ出すための演算コスト及び各カメラ画像間での特徴点同士の対応関係を明らかにするための演算コストが大きいため、低コストの組込み装置への実装が困難である。また、この方法は、二次元のカメラ画像から三次元の距離分布を導き出す方法であるため、カメラ画像の特定部分のみを測定範囲（測定対象の物体が存在する範囲）として予め設定することができず、測定対象の物体が存在し得ない領域に対しても演算コストをかけることとなり効率が悪い。
【０００６】
上述の点に鑑み、本発明は、演算コストがより低い物体検出方法及び物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的を達成するために、本発明の実施例に係る物体検出装置は、少なくとも２つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置であって、被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、同一検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの１つに関する評価値を決定する評価値決定部と、前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、を備えることを特徴とする。
【０００８】
また、本発明の実施例に係る物体検出方法は、少なくとも２つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出方法であって、被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出ステップと、同一検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの１つに関する評価値を決定する評価値決定ステップと、前記評価値決定ステップにおいて決定される評価値を用いて物体の存否を判定する物体存否判定ステップと、を備えることを特徴とする。
【発明の効果】
【０００９】
上述の手段により、本発明は、演算コストがより低い物体検出方法及び物体検出装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る物体検出装置の構成例を概略的に示すブロック図である。
【図２】撮像部と測定ラインとの関係の一例を示す図である。
【図３】図２に示す２台のカメラのそれぞれが撮像するカメラ画像と８つの検査点との関係を示す図である。
【図４】検出対象を撮像する２台のカメラが出力するカメラ画像を示す図である。
【図５】図４の２つのカメラ画像のそれぞれにおける、検査点に対応する画素を含む部分画像を示す図である。
【図６】評価値決定処理の流れを示すフローチャートである。
【図７】水平方向の輝度の微分値、鉛直方向の輝度の微分値、及び、輝度勾配方向の三者の関係を示す図である。
【図８】検査点に対応する画素を中心画素とする部分画像における各画素の輝度勾配方向を示す図である。
【図９】評価値決定部による輝度勾配方向の量子化方法の一例を説明する図である。
【図１０】評価値決定部による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。
【図１１】１６個の検査点のそれぞれに関する評価値の分布を示す図（その１）である。
【図１２】１６個の検査点のそれぞれに関する評価値の分布を示す図（その２）である。
【図１３】１６個の検査点のそれぞれに関する評価値の分布を示す図（その３）である。
【図１４】物体検出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【実施例】
【００１２】
図１は、本発明に係る物体検出装置１００の構成例を概略的に示すブロック図である。物体検出装置１００は、主に、制御部１、撮像部２、表示部３、及び音声出力部４で構成される。
【００１３】
制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を備えたコンピュータである。制御部１は、例えば、ＲＯＭやＮＶＲＡＭに保存された、後述する部分画像抽出部１０、評価値決定部１１、及び物体存否判定部１２のそれぞれの機能要素に対応するプログラムをＲＡＭに展開し、各機能要素に対応する処理をＣＰＵに実行させる。
【００１４】
撮像部２は、画像を取得する装置であり、例えば、少なくとも２つのカメラで構成されるステレオビジョン装置である。撮像部２は、所定周期で撮像する画像データを制御部１に対して出力する。
【００１５】
撮像部２を構成する少なくとも２つのカメラは、所定距離を隔てて配置され、同じ空間領域を撮像する。以下では、少なくとも２つのカメラが撮像する共通の空間領域を「被撮像空間」と称する。
【００１６】
表示部３は、各種情報を表示するための装置であり、例えば、液晶ディスプレイ、プロジェクタ等であって、制御部１が出力する各種画像を表示する。
【００１７】
音声出力部４は、各種情報を音声出力するための装置であり、例えば、ブザー、スピーカ等であって、制御部１が出力する制御信号に応じて各種情報を音声出力する。
【００１８】
部分画像抽出部１０は、撮像部２が撮像した画像から部分画像を抽出する機能要素である。
【００１９】
具体的には、部分画像抽出部１０は、撮像部２を構成する複数のカメラのそれぞれが撮像したカメラ画像から、検査点に対応する画素を含む所定サイズの部分画像を抽出する。部分画像は、例えば、検査点に対応する画素を中心画素とする矩形画像である。なお、部分画像は、円形、楕円形等の他の形状を有していてもよい。
【００２０】
「検査点」とは、三次元空間である被撮像空間を通る仮想直線（以下、「測定ライン」とする。）上の点である。検査点は、好適には、物体検出装置１００の検出対象に応じて予め設定される。この場合、物体検出装置１００は、三次元空間に定義される三次元座標系における各検査点の三次元座標と、複数のカメラ画像のそれぞれに対して定義される二次元座標系における対応する二次元座標とを予め関連付けて保持する。但し、検査点は、物体検出装置１００の検出対象に応じて動的に設定されてもよい。この場合、物体検出装置１００は、測定ライン及び検査点を動的に設定し、各検査点の三次元座標に基づいて、複数のカメラ画像のそれぞれにおける対応する二次元座標を動的に算出する。
【００２１】
図２は、撮像部２と測定ラインＶＬとの関係の一例を示す図であり、撮像部２を構成する２つのカメラ２ａ、２ｂとカメラ２ａ、２ｂに関する被撮像空間を通る測定ラインＶＬ上に配置される８個の検査点ＩＰ１〜ＩＰ８とを示す。
【００２２】
測定ラインＶＬは、被撮像空間を通る任意の直線であるが、好適には、物体検出装置１００の検出対象である物体が存在する可能性の高い空間領域、又は、物体検出装置１００の検出対象である物体が移動する可能性の高い空間領域を貫くように配置される。
【００２３】
また、測定ラインＶＬ上に配置される検査点間の距離は任意であり、等間隔であってもよく、不等間隔であってもよい。なお、検査点間の距離が長い程、すなわち、検査点の数が少ない程、物体検出装置１００が物体を検出するために要する演算負荷は減少する。一方、検査点間の距離が短い程、すなわち、検査点の数が多い程、物体検出装置１００の分解能は高くなる。
【００２４】
図３は、図２に示す２台のカメラ２ａ、２ｂのそれぞれが撮像するカメラ画像２ａＲ、２ｂＲと８つの検査点ＩＰ１〜ＩＰ８との関係を示す。カメラ２ａが撮像するカメラ画像２ａＲは、検査点ＩＰ１〜ＩＰ８のそれぞれに対応する画素２ａＰ１〜２ａＰ８を中心とする部分画像２ａＲ１〜２ａＲ８を含む。同様に、カメラ２ｂが撮像するカメラ画像２ｂＲは、検査点ＩＰ１〜ＩＰ８のそれぞれに対応する画素２ｂＰ１〜２ｂＰ８を中心とする部分画像２ｂＲ１〜２ｂＲ８を含む。なお、部分画像２ａＲ１〜２ａＲ８及び部分画像２ｂＲ１〜２ｂＲ８のそれぞれのサイズは共通である。部分画像２ｂＲ１〜２ｂＲ８のサイズを共通とした場合、演算処理がしやすいというメリットがある。そのため、図３では、検査点ＩＰ２〜ＩＰ７のそれぞれを中心画素とする、カメラ画像２ａＲ、２ｂＲのそれぞれにおける部分画像の範囲の図示を省略する。なお、部分画像のサイズは、同じ検査点に対応する部分画像間で共通であれば、カメラからの距離に応じて検査点毎に変更されてもよい。この場合、カメラからの距離に応じて変化する、物体のカメラ画像内での映り込みサイズに、部分画像のサイズを合わせられるというメリットがある。なお、カメラ画像２ａＲのサイズは、カメラ画像２ｂＲのサイズと同じである。また、図３は、カメラ２ａの設置位置とカメラ２ｂの設置位置との違いに起因して、カメラ２ａが撮像するカメラ画像２ａＲとカメラ２ｂが撮像するカメラ画像２ｂＲとの間に視差が存在することを示す。
【００２５】
図４は、検出対象５０を撮像する２台のカメラ２ａ、２ｂが出力するカメラ画像２ａＲ、２ｂＲを示す。なお、図４に示す測定ラインは、図３に示す測定ラインＶＬとは延在方向が異なるが、説明の便宜のため、同じ参照符号ＶＬを用いて説明する。検査点ＩＰ１〜ＩＰ５についても同様である。
【００２６】
図４において、カメラ２ａ、２ｂは、床面から５００ｍｍの高さに設置される。また、測定ラインＶＬは、床面からの高さが５００ｍｍの平面上で、カメラ２ａとカメラ２ｂとを結ぶ線分の中点ＭＰを通り、カメラ２ａ、２ｂの光軸方向に平行に伸びる。また、５つの検査点ＩＰ１〜ＩＰ５は、測定ラインＶＬ上に等間隔（例えば、２５０ｍｍ間隔）に配置され、中点ＭＰとの距離が最も小さい検査点ＩＰ１は、中点ＭＰから１０００ｍｍの地点に配置される。また、検出対象５０はヘルメットであり、中点ＭＰから１７５０ｍｍの地点に配置される。
【００２７】
図５は、図４の２つのカメラ画像２ａＲ、２ｂＲのそれぞれにおける、５つの検査点ＩＰ１〜ＩＰ５のそれぞれに対応する画素を含む、２つ１組の５組の部分画像を示す。
【００２８】
部分画像２ａＲ１は、カメラ２ａが撮像したカメラ画像２ａＲにおける、検査点ＩＰ１に対応する画素２ａＰ１を中心画素とする部分画像である。また、部分画像２ｂＲ１は、カメラ２ｂが撮像したカメラ画像２ｂＲにおける、検査点ＩＰ１に対応する画素２ｂＰ１を中心画素とする部分画像である。
【００２９】
同様に、部分画像２ａＲ２〜２ａＲ５のそれぞれは、カメラ画像２ａＲにおける、検査点ＩＰ２〜ＩＰ５のそれぞれに対応する画素２ａＰ２〜２ａＰ５のそれぞれを中心画素とする部分画像である。また、部分画像２ｂＲ２〜２ｂＲ５のそれぞれは、カメラ画像２ｂＲにおける、検査点ＩＰ２〜ＩＰ５のそれぞれに対応する画素２ｂＰ２〜２ｂＰ５のそれぞれを中心画素とする部分画像である。
【００３０】
このようにして、部分画像抽出部１０は、複数の検査点のそれぞれに対応する画素のそれぞれを中心画素とする所定サイズの部分画像を各カメラ画像から抽出する。
【００３１】
評価値決定部１１は、互いに対応する部分画像の類似度に基づいて検査点に関する評価値を決定する機能要素である。
【００３２】
具体的には、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像同士の類似度に基づいてその特定の検査点に関する評価値を決定する。
【００３３】
図６は、評価値決定部１１が検査点に関する評価値を決定する処理（以下、「評価値決定処理」とする。）の流れを示すフローチャートである。
【００３４】
最初に、評価値決定部１１は、部分画像における各画素の輝度勾配方向を算出する（ステップＳ１）。
【００３５】
「輝度勾配方向」とは、ある注目画素において輝度変化が最大である方向を意味し、本実施例では、水平方向（画面横方向）の輝度の微分値と鉛直方向（画面縦方向）の輝度の微分値ｄＩｙ（ｉ、ｊ）とが形成する角度θで表される。
【００３６】
具体的には、カメラ画像２ａＲ、２ｂＲのそれぞれにおける座標（ｉ、ｊ）の画素の輝度をＩ（ｉ、ｊ）で表すと、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）、鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）、及び、輝度勾配方向θは、以下の式で表される。
【００３７】
【数１】
【００３８】
【数２】
【００３９】
【数３】
図７は、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）、鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）、及び、輝度勾配方向θの三者の関係を示す図であり、輝度勾配方向θが、水平方向の輝度の微分値ｄＩｘ（ｉ、ｊ）と鉛直方向の輝度の微分値ｄＩｙ（ｉ、ｊ）との間の角度であることを示す。
【００４０】
また、図８は、カメラ画像２ａＲにおける、検査点ＩＰ１に対応する画素２ａＰ１を中心画素とする部分画像２ａＲ１における各画素の輝度勾配方向を示す。具体的には、図８（Ａ）は、部分画像２ａＲ１の全体像を示し、図８（Ｂ）は、図８（Ａ）の破線円部分の拡大図を示す。なお、図８（Ａ）は、説明の便宜のため、部分画像２ａＲ１を縦９ピクセル、横９ピクセルのサイズで示す。また、図８（Ｂ）は、各画素の輝度勾配方向を矢印で示す。
【００４１】
このようにして、評価値決定部１１は、部分画像における各画素の輝度勾配方向θを算出する。
【００４２】
部分画像における各画素の輝度勾配方向θを算出した後、評価値決定部１１は、その算出した輝度勾配方向θを量子化する（ステップＳ２）。
【００４３】
図９は、評価値決定部１１による輝度勾配方向θの量子化方法の一例を説明する図である。
【００４４】
図９（Ａ）で示すように、評価値決定部１１は、輝度勾配方向θが０度以上４５度未満の場合に輝度勾配方向を値「０」に変換する。同様に、評価値決定部１１は、輝度勾配方向θが４５度以上９０度未満、９０度以上１３５度未満、１３５度以上１８０度未満、１８０度以上２２５度未満、２２５度以上２７０度未満、２７０度以上３１５度未満、３１５度以上３６０度未満の場合に、輝度勾配方向をそれぞれ値「１」、値「２」、値「３」、値「４」、値「５」、値「６」、値「７」に変換する。図９（Ｂ）は、量子化の結果の一例を示し、図８（Ｂ）に対応する。
【００４５】
このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像における各画素の輝度勾配方向θを量子化する。
【００４６】
輝度勾配方向θを量子化した後、評価値決定部１１は、その量子化した輝度勾配方向の値のヒストグラムを作成する（ステップＳ３）。
【００４７】
図１０は、評価値決定部１１による輝度勾配方向の値のヒストグラムの作成方法の一例を説明する図である。なお、図１０（Ａ）の部分画像２ａＲ１は、図９（Ａ）の部分画像２ａＲ１に対応する。
【００４８】
図１０（Ａ）で示すように、評価値決定部１１は、部分画像２ａＲ１を、中心画素２ａＰ１を含む列より左側にある４列で構成される左側領域と、中心画素２ａＰ１を含む１列、及び中心画素２ａＰ１を含む列より右側にある４列で構成される右側領域とに分割する。
【００４９】
その上で、評価値決定部１１は、左側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「０」〜「７」の値毎に計数する。同様に、評価値決定部１１は、右側領域に含まれる各画素の輝度勾配方向の値の出現頻度を「０」〜「７」の値毎に計数する。
【００５０】
図１０（Ｂ）は、左側領域に関する「０」〜「７」の値と右側領域に関する「０」〜「７」の値とで構成される１６種類（次元）の値のそれぞれの出現頻度の分布を示すヒストグラムの一例である。
【００５１】
このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする部分画像の特徴を表すヒストグラムを作成する。
【００５２】
特定の検査点に関連する複数の部分画像のそれぞれの特徴を表すヒストグラムを作成した後、評価値決定部１１は、その特定の検査点に関する評価値ＣＧＲＡを決定する（ステップＳ４）。
【００５３】
具体的には、評価値決定部１１は、検査点ＩＰ１に関連する、カメラ２ａが撮像したカメラ画像２ａＲにおける部分画像２ａＲ１の特徴を表すヒストグラムと、同じく検査点ＩＰ１に関連する、カメラ２ｂが撮像したカメラ画像２ｂＲにおける部分画像２ｂＲ１の特徴を表すヒストグラムとに基づいて、検査点ＩＰ１に関する評価値ＣＧＲＡを決定する。
【００５４】
評価値ＣＧＲＡは、例えば、以下の式で表されるようなヒストグラム同士の各要素の強度差に基づく評価値が採用される。
【００５５】
【数４】
なお、Ｋは次元数を表し、本実施例では、輝度勾配方向の値の種類の数に相当する「１６」である。また、Ｉｇ（ｋ）は、一方の部分画像におけるｋ次元目の値を表し、例えば、Ｉｇ（１）は、部分画像２ａＲ１における輝度勾配方向の値「０」の出現頻度（１次元目の値）を表す。また、Ｔｇ（ｋ）は、他方の部分画像におけるｋ次元目の値を表し、例えば、Ｔｇ（１）は、部分画像２ｂＲ１における輝度勾配方向の値「０」の出現頻度（１次元目の値）を表す。
【００５６】
この場合、検査点ＩＰ１に関する評価値ＣＧＲＡが小さい程２つの部分画像２ａＲ１、２ｂＲ１の類似度が高く、その評価値ＣＧＲＡが大きい程２つの部分画像２ａＲ１、２ｂＲ１の類似度が低い。なお、評価値ＣＧＲＡの大小と類似度の高低との関係は、評価値ＣＧＲＡの計算方法によっては反対となり得る。
【００５７】
また、特定の検査点に関連する部分画像が３つ以上存在する場合、すなわち撮像部２が３つ以上のカメラで構成される場合には、評価値決定部１１は、それら３つ以上の部分画像のうちの２つの間の評価値ＣＧＲＡを全ての組み合わせについて算出した上で、算出した複数の評価値ＣＧＲＡに基づいて最終的な評価値ＣＧＲＡを導き出すようにする。この場合、評価値決定部１１は、例えば、複数の評価値ＣＧＲＡの統計値（平均値、最大値、最小値、中間値等である。）を最終的な評価値ＣＧＲＡとして導き出してもよい。
【００５８】
このようにして、評価値決定部１１は、特定の検査点に対応する画素を中心画素とする、互いに対応する部分画像の類似度に基づいて、その特定の検査点に関する評価値ＣＧＲＡを決定する。
【００５９】
また、評価値決定部１１は、予め設定された複数の検査点のそれぞれについて、上述の評価値決定処理を実行し、予め設定された複数の検査点のそれぞれに関する評価値ＣＧＲＡを決定する。
【００６０】
物体存否判定部１２は、評価値決定部１１が決定する、複数の検査点のそれぞれに関する評価値ＣＧＲＡに基づいて物体の存否を判定する機能要素である。
【００６１】
図１１〜図１３は、１６個の検査点ＩＰ１〜ＩＰ１６のそれぞれに関する評価値ＣＧＲＡの分布を示す図である。
【００６２】
図１１〜図１３において、カメラ２ａ、２ｂは、床面から５００ｍｍの高さに設置される。また、測定ラインＶＬは、床面からの高さが５００ｍｍの平面上で、カメラ２ａとカメラ２ｂとを結ぶ線分の中点ＭＰを通り、カメラ２ａ、２ｂの光軸方向に平行に伸びる。また、１６個の検査点ＩＰ１〜ＩＰ１６は、測定ラインＶＬ上に２５０ｍｍ間隔に配置され、中点ＭＰとの距離が最も小さい検査点ＩＰ１は、中点ＭＰから１０００ｍｍの地点に配置される。また、検出対象５０はヘルメットであり、図１１では中点ＭＰから１５００ｍｍの地点に配置され、図１２では中点ＭＰから２２５０ｍｍの地点に配置され、図１３では中点ＭＰから３０００ｍｍの地点に配置される。
【００６３】
図１１のケースでは、物体存否判定部１２は、測定ラインＶＬ上に並ぶ検査点ＩＰ１〜ＩＰ１６のそれぞれに関する評価値ＣＧＲＡの分布ら、中点ＭＰから１５００ｍｍの地点に対応する検査点ＩＰ３に関する評価値ＣＧＲＡが極値（最小値）であると判断する。そして、物体存否判定部１２は、中点ＭＰから１５００ｍｍの地点に検出対象５０が存在すると判定する。また、図１２のケースでは、物体存否判定部１２は、中点ＭＰから２２５０ｍｍの地点に対応する検査点ＩＰ６に関する評価値ＣＧＲＡが極値（最小値）であると判断し、中点ＭＰから２２５０ｍｍの地点に検出対象５０が存在すると判定する。同様に、図１３のケースでは、物体存否判定部１２は、中点ＭＰから３０００ｍｍの地点に対応する検査点ＩＰ９に関する評価値ＣＧＲＡが極値（最小値）であると判断し、中点ＭＰから３０００ｍｍの地点に検出対象５０が存在すると判定する。
【００６４】
このようにして、物体存否判定部１２は、複数の評価値ＣＧＲＡから極値（最小値）を抽出し、その極値となる評価値ＣＧＲＡを有する検査点（以下、「採用点」と称する。）の位置に物体が存在すると判定する。
【００６５】
この判定は、物体が存在する地点に対応する検査点に関する部分画像間の類似度が比較的高くなる一方で、物体が存在しない地点に対応する検査点に関する部分画像間の類似度が比較的低くなるという事実に基づく。物体が存在する地点に対応する検査点に関する、カメラ２ａによる部分画像とカメラ２ｂによる部分画像とは、その物体を共通の被写体として含むのに対し、物体が存在しない地点に対応する検査点に関する、カメラ２ａによる部分画像とカメラ２ｂによる部分画像とは、別々の物体（互いに異なる地点に存在するより遠方の物体）を被写体として含み得るためである。
【００６６】
また、物体存否判定部１２は、複数の評価値ＣＧＲＡの分布に基づいて物体の存否を判定してもよい。
【００６７】
具体的には、物体存否判定部１２は、採用点の評価値ＣＧＲＡと採用点の周囲にある検査点の評価値ＣＧＲＡとの間の関係に基づいて物体の存否を判定してもよい。この場合、採用点の周囲にある検査点の評価値ＣＧＲＡは、例えば、採用点に隣接する複数の検査点の評価値ＣＧＲＡの平均値、最大値、最小値、中間値等である。
【００６８】
例えば、物体存否判定部１２は、採用点の評価値ＣＧＲＡと採用点の周囲にある検査点の評価値ＣＧＲＡとの間の差が所定値以上の場合に限り、採用点の位置に物体が存在すると判定してもよい。すなわち、物体存否判定部１２は、その差が所定値未満の場合には、採用点の位置に物体が存在しないと判定してもよい。検査点の位置に物体が存在しない場合であっても、背景の輝度が均一な場合、その評価値ＣＧＲＡは、物体が存在する場合と同じ程度に低くなるためである。また、物体が存在する場合には特定の１つの検査点の評価値ＣＧＲＡが低くなり易いのに対し、物体が存在せず且つ背景の輝度が均一な場合には、隣接する複数の検査点の評価値ＣＧＲＡが一様に低くなり易いためである。
【００６９】
また、物体検出装置１００は、物体存否判定部１２の判定結果を表示部３及び音声出力部４を通じて操作者に伝えるようにする。
【００７０】
具体的には、物体検出装置１００は、カメラ２ａ、２ｂの何れか一方が撮像した画像を表示部３に表示し、物体存否判定部１２により物体が存在すると判定された位置に対応する採用点の周囲の画像領域を他の画像領域と異ならせて表示する。例えば、物体検出装置１００は、採用点の周囲の画像領域の色を他の画像領域の色と異ならせて表示する。
【００７１】
また、物体検出装置１００は、例えば、音声出力部４を通じて警報を出力したり、「Ｘメートルの地点に物体が存在します」といった音声メッセージを音声出力部４から出力したりする。
【００７２】
次に、図１４を参照しながら、物体検出装置１００が物体を検出する処理（以下、「物体検出処理」とする。）の流れについて説明する。なお、図１４は、物体検出処理の流れを示すフローチャートであり、物体検出装置１００は、所定周期で繰り返しこの物体検出処理を実行する。また、測定ラインＶＬは、検出対象の物体が存在する可能性の高い空間領域を横切るように予め設定される。検査点は、測定ラインＶＬ上に等間隔に所定数だけ予め配置される。また、撮像部２は、２台のカメラ２ａ、２ｂで構成され、カメラ２ａ、２ｂは、カメラ画像２ａＲ、２ｂＲを制御部１に対して出力する。
【００７３】
最初に、物体検出装置１００の制御部１は、部分画像抽出部１０により、複数の検査点のうちの１つに対応する画素を中心画素とする部分画像を、カメラ画像２ａＲ、２ｂＲのそれぞれから抽出する（ステップＳ１１）。
【００７４】
その後、制御部１は、評価値決定部１１により、上述の評価値決定処理を実行し、その検査点に関する評価値ＣＧＲＡを決定する（ステップＳ１２）。
【００７５】
その後、制御部１は、予め設定された全ての検査点に関する評価値ＣＧＲＡを決定したか否かを判定する（ステップＳ１３）。
【００７６】
予め設定された全ての検査点に関する評価値ＣＧＲＡを未だ決定していないと判定した場合（ステップＳ１３のＮＯ）、制御部１は、評価値ＣＧＲＡが未だ決定されていない検査点に関してステップＳ１１及びステップＳ１２を実行する。
【００７７】
予め設定された全ての検査点に関する評価値ＣＧＲＡを決定したと判定した場合（ステップＳ１３のＹＥＳ）、制御部１は、物体存否判定部１２により、全ての検査点に関する評価値ＣＧＲＡの分布に基づいて物体の存否を判定する（ステップＳ１４）。
【００７８】
なお、本実施例では、物体検出装置１００は、１本の測定ラインＶＬ上に配置された複数の検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、その１本の測定ラインＶＬが通る空間における物体の存否を判定する。しかしながら、本発明は、これに限定されない。物体検出装置１００は、複数本の測定ラインのそれぞれに配置された複数の検査点のそれぞれに関する評価値ＣＧＲＡの分布に基づいて、測定ライン毎に物体の存否を判定してもよい。
【００７９】
以上の構成により、物体検出装置１００は、特定の検査点に対応する画素を中心画素とする、複数のカメラ画像のそれぞれにおける部分画像間の類似度に基づく評価値を用いて物体の存否を判定する。その結果、物体検出装置１００は、エッジ検出等の画像処理により特徴点を見つけ出す必要なく物体の存否を判定することができ、物体の存否を判定するのに必要な演算コストを低減させることができる。
【００８０】
また、物体検出装置１００は、検査点の位置を任意に設定可能とするので、測定範囲を必要最小限に制限することができ、物体の存否を判定するのに必要な演算コストを更に低減させることができる。
【００８１】
また、物体検出装置１００は、検査点の位置を任意に設定可能とするので、特定領域の物体検出の分解能を高めることができる。
【００８２】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【００８３】
例えば、上述の実施例において、物体検出装置１００は、評価値ＣＧＲＡとしてヒストグラム同士の各要素の強度差に基づく評価値を採用するが、輝度差の二乗和ＳＳＤ（Sum of Squared Difference）、輝度差の総和ＳＡＤ（Sum of Absolute Difference）、正規化相互相関ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）等を評価値として採用してもよい。また、物体検出装置１００は、評価値を決定するために、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＨＯＧ（Histograms of Oriented Gradients）等のアルゴリズムを用いてもよい（藤吉弘亘、"Gradientベースの特徴抽出−ＳＩＦＴとＨＯＧ−"、情報処理学会、研究報告CVIM 160, pp.211-214, 2007参照。）。
【符号の説明】
【００８４】
１・・・制御部 ２・・・撮像部 ２ａ、２ｂ・・・カメラ ３・・・表示部 ４・・・音声出力部 １０・・・部分画像抽出部 １１・・・評価値決定部 １２・・・物体存否判定部 １００・・・物体検出装置 ＩＰ１〜ＩＰ１６・・・検査点 ＶＬ・・・測定ライン
【特許請求の範囲】
【請求項１】
少なくとも２つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置であって、
被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、
同一の検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの１つに関する評価値を決定する評価値決定部と、
前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、
を備えることを特徴とする物体検出装置。
【請求項２】
前記物体存否判定部は、前記仮想直線上に並ぶ複数の検査点のそれぞれに関する評価値の分布に基づいて物体の存否を判定する、
ことを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記物体存否判定部は、評価値が極値となる検査点に物体が存在すると判定する、
ことを特徴とする請求項１又は２に記載の物体検出装置。
【請求項４】
少なくとも２つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出方法であって、
被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出ステップと、
同一の検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの１つに関する評価値を決定する評価値決定ステップと、
前記評価値決定ステップにおいて決定される評価値を用いて物体の存否を判定する物体存否判定ステップと、
を備えることを特徴とする物体検出方法。
【請求項１】
少なくとも２つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出装置であって、
被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出部と、
同一の検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの１つに関する評価値を決定する評価値決定部と、
前記評価値決定部が決定する評価値を用いて物体の存否を判定する物体存否判定部と、
を備えることを特徴とする物体検出装置。
【請求項２】
前記物体存否判定部は、前記仮想直線上に並ぶ複数の検査点のそれぞれに関する評価値の分布に基づいて物体の存否を判定する、
ことを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記物体存否判定部は、評価値が極値となる検査点に物体が存在すると判定する、
ことを特徴とする請求項１又は２に記載の物体検出装置。
【請求項４】
少なくとも２つのカメラのそれぞれが撮像するカメラ画像間の視差に基づいて物体を検出する物体検出方法であって、
被撮像空間を通る仮想直線上の複数の検査点のうちの１つに対応する画素を含む所定サイズの部分画像を各カメラ画像から抽出する部分画像抽出ステップと、
同一の検査点に対応する前記各カメラ画像の部分画像同士の類似度に基づいて前記複数の検査点のうちの１つに関する評価値を決定する評価値決定ステップと、
前記評価値決定ステップにおいて決定される評価値を用いて物体の存否を判定する物体存否判定ステップと、
を備えることを特徴とする物体検出方法。
【図１】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図４】
【図５】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図４】
【図５】
【公開番号】特開２０１３−７３５１５（Ｐ２０１３−７３５１５Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１３４９０（Ｐ２０１１−２１３４９０）
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００２１０７）住友重機械工業株式会社 (2,241)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００２１０７）住友重機械工業株式会社 (2,241)
【Ｆターム（参考）】
[ Back to top ]