距離計測装置、距離計測方法および距離計測プログラム
【課題】信頼性の高い距離情報を取得すること。
【解決手段】本発明にかかる距離計測装置１は、撮像部１０から出力された画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する演算部２１と、演算部２１による演算値の信頼度を取得する信頼度取得部２２と、信頼度が評価基準を満たしていない演算値をレーダ６０の検出値で置き換える補間部３１と、信頼度が評価基準を満たしていない演算値に対応する範囲をレーダ６０の検出範囲として設定する検出範囲設定部３２と、検出範囲設定部３２が設定した検出範囲内に位置する物体までの距離を検出するレーダ６０とを備える。本発明にかかる距離計測装置１によれば、信頼度が評価基準値を満たしていない演算値を、精度の高いレーダ６０の検出値で置き換えた距離データを出力するため、信頼性の高い距離情報を取得することができる。
【解決手段】本発明にかかる距離計測装置１は、撮像部１０から出力された画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する演算部２１と、演算部２１による演算値の信頼度を取得する信頼度取得部２２と、信頼度が評価基準を満たしていない演算値をレーダ６０の検出値で置き換える補間部３１と、信頼度が評価基準を満たしていない演算値に対応する範囲をレーダ６０の検出範囲として設定する検出範囲設定部３２と、検出範囲設定部３２が設定した検出範囲内に位置する物体までの距離を検出するレーダ６０とを備える。本発明にかかる距離計測装置１によれば、信頼度が評価基準値を満たしていない演算値を、精度の高いレーダ６０の検出値で置き換えた距離データを出力するため、信頼性の高い距離情報を取得することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、所定の撮像視野内に位置する物体までの距離を計測する距離計測装置、距離計測方法および距離計測プログラムに関する。
【背景技術】
【０００２】
近年、車両の大衆化にともない、車両に搭載される各種装置が実用化されている。このような車両搭載用装置として、自車両と先行車両との車間距離を計測し、計測した車間距離に基づいて警報出力などの各種処理を行なう距離計測装置がある。
【０００３】
従来から、このような距離計測装置として、イメージセンサを有する光学式の距離計測装置が提案されている（特許文献１参照）。この距離計測装置は、左右二つのレンズと、これら左右のレンズにそれぞれ対応するイメージセンサを有する撮像部を備える。そして、イメージセンサから出力されたそれぞれの画像のうち、一方の画像の中から、他方の画像における任意の画像信号と整合する画像信号を検出し、検出した画像信号における移動量をもとに、三角測量の原理を用いて対象物までの距離を演算する。
【０００４】
【特許文献１】特公昭６３−４６３６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の距離計測装置では、演算した距離値の信頼度は、任意の画像信号と検出された画像信号との整合度の高低に左右されていた。すなわち、任意の画像信号との整合度が低い画像信号に基づいて演算した距離値は、信頼度が低くならざるを得なかった。このため、従来の距離計測装置から信頼性の低い演算値を含む距離情報が出力された場合、このような距離情報を用いて警報出力などの各種処理を正確に行なうことができないという問題があった。
【０００６】
この発明は、上記した従来技術の欠点に鑑みてなされたものであり、光学式の距離計測装置において、信頼性の高い距離情報を取得することができる距離計測装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、この発明にかかる距離計測装置は、所定の撮像視野を有し、前記撮像視野に対応する画像信号群を生成する撮像手段と、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、少なくとも前記撮像視野を含む検出可能範囲を有し、該検出可能範囲内に位置する物体までの距離を検出する検出手段と、前記演算手段による演算値の信頼度を取得する信頼度取得手段と、前記信頼度取得手段によって取得された前記信頼度が評価基準を満たしていない前記演算値を、該演算値に対応する前記検出手段の検出値で置き換えて、距離データを出力する補間手段と、を備えたことを特徴とする。
【０００８】
また、この発明にかかる距離計測装置は、前記補間手段は、前記信頼度が前記評価基準を満たしていない前記演算値に対応する範囲を前記検出手段の検出範囲として設定し、前記検出手段は、前記検出範囲内に位置する物体までの距離を検出することを特徴とする。
【０００９】
また、この発明にかかる距離計測装置は、前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを特徴とする。
【００１０】
また、この発明にかかる距離計測装置は、前記信頼度取得手段は、前記任意の画像信号と前記検出した画像信号との整合度を前記信頼度として取得することを特徴とする。
【００１１】
また、この発明にかかる距離計測装置は、前記撮像手段は、一対の光学系と、一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、を備えたことを特徴とする。
【００１２】
また、この発明にかかる距離計測装置は、前記撮像手段は、一対の導光光学系と、各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、を備えたことを特徴とする。
【００１３】
また、この発明にかかる距離計測装置は、当該距離計測装置は、車両に搭載されることを特徴とする。
【００１４】
また、この発明にかかる距離計測方法は、所定の撮像視野内に位置する物体までの距離を演算する距離計測方法において、前記撮像視野に対応する画像信号群を生成する撮像ステップと、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、前記演算ステップにおける演算値の信頼度を取得する信頼度取得ステップと、少なくとも前記撮像視野を含む検出可能範囲内に位置する物体までの距離を検出する検出ステップと、前記信頼度取得ステップにおける前記信頼度が評価基準を満たしていない前記演算値を、該演算値に対応する前記検出ステップにおける検出値で置き換えて、距離データを生成する補間ステップと、を含むことを特徴とする。
【００１５】
また、この発明にかかる距離計測プログラムは、所定の撮像視野内に位置する物体までの距離を演算する距離計測プログラムにおいて、前記撮像視野に対応する画像信号群を生成する撮像手順と、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手順と、前記演算手順における演算値の信頼度を取得する信頼度取得手順と、少なくとも前記撮像視野を含む検出可能範囲内に位置する物体までの距離を検出する検出手順と、前記信頼度取得手順における前記信頼度が評価基準を満たしていない前記演算値を、該演算値に対応する前記検出手順における検出値で置き換えて、距離データを生成する補間手順と、を含むことを特徴とする。
【発明の効果】
【００１６】
本発明にかかる距離計測装置によれば、演算手段が演算した演算値の信頼度を取得する信頼度取得手段と、信頼度取得手段が取得した信頼度が評価基準を満たしていない演算値を検出手段における検出値で置き換える補間手段とを備えることによって、信頼性の高い距離情報を取得することができ、この距離情報に基づいて、各種処理における警報出力などの安全運転支援処理を正確に行なうことが可能となる。また、本発明にかかる距離計測方法および距離計測プログラムを用いることによって、信頼性の高い距離情報を取得することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して、この発明の実施の形態である距離計測装置について、車両に搭載される距離計測装置を例として説明する。この距離計測装置が出力する距離情報に基づいて他の装置などによる各種安全運転支援処理が行なわれる。なお、この実施の形態により、この発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００１８】
まず、実施の形態にかかる距離計測装置について説明する。本実施の形態にかかる距離計測装置は、所定の画像信号群を用いて演算された距離演算値の信頼度を求め、信頼度が所定の評価基準を満たしていない距離演算値をレーダの検出値で置き換える。図１は、本実施の形態にかかる距離情報装置の概略構成を示すブロック図である。
【００１９】
図１に示すように、本実施の形態にかかる距離計測装置１は、所定の撮像視野を有し、この撮像視野に対応する画像信号群を生成する撮像部１０と、撮像部１０が生成した画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する距離演算部２０と、距離計測装置を構成する各構成部の各処理および各動作を制御する制御部３０と、距離情報を含む各種情報を出力する出力部４０と、距離情報を含む各種情報を記憶する記憶部５０と、少なくとも撮像部１０における撮像視野を含む検出可能範囲を有し、この検出可能範囲内に位置する物体までの距離を検出するレーダ６０とを備える。撮像部１０と、距離演算部２０と、出力部４０と、記憶部５０と、レーダ６０とは、制御部３０に電気的に接続される。距離演算部２０は、演算部２１と信頼度取得部２２とメモリ２３とを備える。また、制御部３０は、検出範囲設定部３２を有する補間部３１を備える。
【００２０】
撮像部１０は、右カメラ１１ａと左カメラ１１ｂとを備える。右カメラ１１ａおよび左カメラ１１ｂは、それぞれの撮像視野に対応した画像信号群を出力する。右カメラ１１ａおよび左カメラ１１ｂは、それぞれ、レンズ１２ａ，１２ｂと、撮像素子１３ａ，１３ｂと、アナログ／デジタル（Ａ／Ｄ）変換部１４ａ，１４ｂと、フレームメモリ１５ａ，１５ｂとを備える。レンズ１２ａ，１２ｂは、所定の視野角から入射する光を集光する。レンズ１２ａ，１２ｂにそれぞれ対応して配置される撮像素子１３ａ，１３ｂは、ＣＣＤまたはＣＭＯＳなどによって実現され、レンズ１２ａ，１２ｂを透過した光を検知してアナログ画像信号に変換する。Ａ／Ｄ変換部１４ａ，１４ｂは、撮像素子１３ａ，１３ｂから出力されたアナログ画像信号をデジタル画像信号に変換する。フレームメモリ１５ａ，１５ｂは、Ａ／Ｄ変換部１４ａ，１４ｂから出力されたデジタル画像信号を記憶し、１枚の撮像画像に対応するデジタル画像信号群を、撮像視野に対応する画像信号群として随時出力する。
【００２１】
距離演算部２０は、撮像部１０から出力された画像信号群を処理して、撮像視野内に位置する物体までの距離を演算する演算部２１と、演算部２１による演算値の信頼度を取得する信頼度取得部２２と、撮像部１０から出力された画像信号群、演算部２１が演算した演算値、信頼度取得部２２が取得した信頼度などを記憶するメモリ２３とを備える。
【００２２】
演算部２１は、ステレオ法を用いて、撮像部１０から出力された画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する。演算部２１は、右カメラ１１ａから出力された右画像信号群の中から、左カメラ１１ｂから出力された左画像信号群中における任意の画像信号と整合する画像信号を検出し、検出した画像信号における任意の画像信号からの移動量Ｉをもとに、三角測量の原理によって距離を演算する。ここで述べた移動量は、一般的に言われる視差量を示す。演算部２１は、以下の（１）式を用いて、撮像部１０から対象物体である車両Ｃまでの距離Ｒを求める。（１）式において、ｆはレンズ１２ａ，１２ｂの焦点距離であり、Ｌはレンズ１２ａ，１２ｂの光軸間の幅である。また、移動量Ｉは、移動した画素の数と画素ピッチとをもとに求めてもよい。
Ｒ＝ｆ・Ｌ／Ｉ・・・（１）
演算部２１は、各画像信号に対応した距離Ｒを演算し、距離演算部２０は、演算値と撮像視野内における位置情報とをそれぞれ対応させた演算データ５１を制御部３０に出力する。なお、ここでは簡単のため、平行ステレオで説明したが、光軸が角度を持って交差したり、焦点距離がおのおの違う、撮像素子とレンズの位置関係が異なる等をキャリブレーションし、レクティフィケーションにより補正し、演算処理による平行ステレオを実現しても良い。
【００２３】
ここで、演算部２１は、左画像信号群の演算対象である画像信号を通過する任意の直線と同一直線上に位置する右画像信号群の各画像信号と、演算対象である画像信号とを順次比較することによって、右画像信号群の中から演算対象である画像信号と最も整合する画像信号を検出する。具体的には、左画像信号群において演算対象である画像信号を中心とした局所領域を設け、この局所領域と同様の領域を右画像信号群に設ける。そして、右画像信号群における局所領域を前述した直線上で走査しながら、左画像信号群における局所領域との整合度が最も高い局所領域を探索する。この探索の結果、整合度が最も高い局所領域の中心に位置する画像信号を、演算対象である画像信号と最も整合する画像信号として検出することができる。演算部２１は、整合度として、局所領域内の画素信号間の差の２乗和であるＳＳＤ（Sum of Squared Difference）を算出している。演算部２１は、局所領域を探索するごとにＳＳＤを算出し、最小値であるＳＳＤを有する局所領域の中心に位置する画像信号を、演算対象である画像信号と最も整合する画像信号として検出する。
【００２４】
信頼度取得部２２は、演算部２１が画像信号ごとに算出した整合度を信頼度として取得し、距離演算部２０は、取得した信頼度と撮像視野内における位置情報とをそれぞれ対応させた信頼度データ５２を制御部３０に出力する。
【００２５】
制御部３０は、記憶部５０に記憶された処理プログラムを実行するＣＰＵなどによって実現され、撮像部１０と距離演算部２０と出力部４０と記憶部５０とレーダ６０との各処理または動作を制御する。制御部３０は、これらの各構成部位に入出力される情報について所定の入出力制御を行うとともに、これらの情報に対して所定の情報処理を行う。
【００２６】
補間部３１は、距離演算部２０から出力された演算データ５１と信頼度データ５２とをもとに、演算データ５１のうち、信頼度が所定の評価基準を満たしていない演算値を、この演算値に対応するレーダ６０の検出値で置き換え、距離データ５４として出力する。検出範囲設定部３２は、演算データ５１と信頼度データ５２とをもとに、信頼度が評価基準を満たしていない演算値に対応する範囲を求め、この範囲をレーダ６０の検出範囲として設定する。制御部３０は、レーダ６０に対して、検出範囲設定部３２が設定した検出範囲内に位置する物体の距離を検出する検出処理を指示する。この結果、レーダ６０から出力された検出データ５３は、検出範囲設定部３２が設定した検出範囲の検出結果となる。補間部３１は、このレーダ６０から出力された検出データ５３を用いて、演算データ５１のうち、信頼度が評価基準を満たしていない演算値を、この演算値に対応するレーダ６０の検出値で置き換えている。レーダ６０の検出値は、精度の高い値であるため、信頼度が評価基準を満たしていない演算値がレーダ６０の検出値で置き換えられた距離データ５４は、必要とされる信頼性を備えたものであると考えられる。なお、所定の評価基準は、距離計測装置１から出力される距離データ５４に対して要求される信頼性をもとに定められる。
【００２７】
出力部４０は、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイなどによって実現され、距離情報に加え撮像部１０が撮像した画像などの各種表示情報を表示出力する。また、出力部４０は、スピーカをさらに備え、距離情報のほか、先行する車両Ｃと接近した旨を報知させる警告音声などの各種音声情報を出力する。
【００２８】
記憶部５０は、処理プログラム等の各種情報が予め記憶されたＲＯＭと、各処理の演算パラメータ、各種構成部位から出力された各種情報、書込情報、あるいは音声情報等を記憶するＲＡＭとを備える。記憶部５０は、距離演算部２０から出力された演算データ５１および信頼度データ５２、レーダ６０から出力された検出データ５３、補間部３１から出力された距離データ５４などの各種情報を記憶する。
【００２９】
レーダ６０は、制御部３０の制御のもと、検出可能範囲のうち、検出範囲設定部３２が設定した検出範囲内に位置する物体までの距離を検出する。レーダ６０は、所定の発信波を送信し、この発信波が物体表面で反射した反射波を受信して、発信状態および受信状態をもとに、レーダ６０から発信波を反射した物体までの距離と、この物体が位置する方向とを検出する。レーダ６０は、発信波の送信角度、反射波の入射角度、反射波の受信強度、発信波を送信してから反射波を受信するまでの時間、反射波の周波数変化などをもとに、距離計測装置１から発信波を反射した物体までの距離を検出する。レーダ６０は、検出範囲内に位置する物体までの検出距離値と、検出範囲内における位置情報とを対応させた検出データ５３を制御部３０に出力する。レーダ６０は、発信波として、レーザ光、赤外線またはミリ波を送信する。
【００３０】
つぎに、距離計測装置１が行なう処理動作のうち、距離演算部２０が距離データ５４を出力するまでの処理動作について説明する。図２は、距離計測装置１において、距離演算部２０が距離データ５４の出力を完了するまでの処理手順を示すフローチャートである。
【００３１】
図２に示すように、まず、制御部３０は、撮像部１０に対して撮像処理を指示し、撮像部１０は、制御部３０の制御のもと、所定の撮像視野を撮像する撮像処理を行ない（ステップＳ１０２）、右カメラ１１ａおよび左カメラ１１ｂはそれぞれ画像信号群を出力する。
【００３２】
制御部３０は、距離演算部２０に対して、撮像部１０から出力された画像信号群を処理して、撮像視野内に位置する物体までの距離を演算する距離演算処理の指示を行なう。距離演算部２０では、制御部３０の指示を受け、演算部２１は、右カメラ１１ａおよび左カメラ１１ｂから出力された画像信号群の各画像信号に対して、この画像信号に対応する距離値を演算する距離演算処理を行なう（ステップＳ１０４）。また、信頼度取得部２２は、演算部２１における距離演算処理において、演算対象である画像信号と最も整合する画像信号として検出する際に求められたＳＳＤ値の最小値を信頼度として取得する信頼度取得処理を行なう（ステップＳ１０６）。
【００３３】
その後、演算部２１は、撮像部１０から出力された画像信号群の全ての画像信号について距離演算処理は終了したか否かを判断する（ステップＳ１０８）。演算部２１は、全ての画像信号について距離演算処理は終了していないと判断した場合には（ステップＳ１０８：Ｎｏ）、ステップＳ１０４に進み、次に演算対象となる画像信号に対して距離演算処理を行なう。また、演算部２１は、全ての画像信号について距離演算処理は終了したと判断した場合（ステップＳ１０８：Ｙｅｓ）、距離演算部２０は、制御部３０に対して、演算データ５１と信頼度データ５２とを出力する（ステップＳ１１０）。
【００３４】
つぎに、制御部３０において、補間部３１は、信頼度データ５２を参照して、各信頼度と評価基準とをそれぞれ比較し、評価基準を満たしていない信頼度はあるか否かを判断する（ステップＳ１１２）。
【００３５】
補間部３１が評価基準を満たしていない信頼度があると判断した場合には（ステップＳ１１２：Ｙｅｓ）、検出範囲設定部３２は、評価基準を満たしていない信頼度に対応する位置情報をもとに、評価基準を満たしていない信頼度が分布する範囲を求め、この範囲をレーダ６０の検出範囲として設定する（ステップＳ１１４）。なお、演算データ５１では、各演算値と撮像視野内における位置情報とが対応づけられており、また、信頼度データ５２では、各演算値における信頼度と、この演算値に対応する撮像視野内における位置情報とが対応づけられている。このため、評価基準を満たしていない信頼度が分布する範囲は、評価基準を満たしていない信頼度を有する演算値に対応する範囲である。したがって、検出範囲設定部３２は、評価基準を満たしていない信頼度を有する演算値に対応する範囲をレーダ６０の検出範囲として設定することとなる。
【００３６】
その後、レーダ６０は、制御部３０の制御のもと、検出範囲設定部３２が設定した検出範囲内に位置する物体までの距離を検出する検出処理を行ない（ステップＳ１１６）、検出データ５３を出力する。補間部３１は、演算データ５１の演算値のうち、信頼度が評価基準を満たしていない演算値を、検出データ５３におけるレーダ６０の検出値で置き換え（ステップＳ１１８）、この置き換えたデータを距離データ５４として出力する（ステップＳ１２０）。
【００３７】
また、補間部３１は、信頼度データ５２を参照した結果、評価基準を満たしていない信頼度がないと判断した場合には（ステップＳ１１２：Ｎｏ）、演算データ５１の各演算値は、必要とされる信頼度を有するものと考えられるため、演算部２１から出力された演算データ５１を距離データ５４として出力する（ステップＳ１２０）。
【００３８】
つぎに、図２に示す各処理手順について具体的に説明する。まず、演算部２１における距離演算処理（ステップＳ１０４）について説明する。図３は、距離演算処理を説明する図であり、右カメラ１１ａから出力された右画像信号群と左カメラ１１ｂから出力された左画像信号群とを模式的に例示した図である。図３に示すように、まず、演算部２１は、左画像信号群１６ｂにおいて、演算対象である画像信号２５ｂを中心とした局所領域Ｂ０を設ける。また、演算部２１は、右画像信号群１６ａにおいても、画像信号２５ｂと同位置の基準信号２５０を中心とした局所領域Ｂ０と同範囲の局所領域Ａ０を設ける。その後、演算部２１は、整合度であるＳＳＤを順次算出しながら、画像信号２５ｂを通過する任意の直線と同一直線上で局所領域を走査する。この結果、図４の曲線ｌ１に示すような局所領域の移動量変化に対するＳＳＤ値変化が得られ、たとえば、ＳＳＤ値が最小である局所領域Ａ１の中心に位置する画像信号２５ａが、画像信号２５ｂと最も整合する画像信号として検出される。その後、演算部２１は、基準信号２５０を基準とした移動量Ｉ１を求め、（１）式を用いて画像信号２５ｂに対応する距離値を演算する。また、信頼度取得部２２は、画像信号２５ｂに対する距離演算処理において算出された各ＳＳＤ値のうち、最小値であるＳＳＤを信頼度として取得する（ステップＳ１０６）。全ての画像信号に対して距離演算処理が行なわれた結果、図５に示すように、各演算値が演算対象であった各画像信号の位置情報と対応づけられた演算データ５１ａと、図６に示すように、各演算値における信頼度が、演算対象であった各画像信号の位置情報と対応づけられた信頼度データ５２ａとが距離演算部２０から出力される（ステップＳ１１０）。
【００３９】
補間部３１は、信頼度データ５２ａを参照し、信頼度データ５２ａの各信頼度が評価基準を満たしているか否かを判断する。この場合、ＳＳＤ値が信頼度として取得されているため、ＳＳＤ値が低いほど整合度が高く、信頼度が高いものと考えられる。このため、補間部３１は、各信頼度が所定の評価基準Ｓを超えているか否かを判断する。たとえば、図４に示すように、曲線ｌ１に対応する演算値の信頼度Ｓ１は評価基準Ｓを下回っている。このため、信頼度Ｓ１は、必要とされる信頼度を備えているため、信頼度Ｓ１に対応する演算値をレーダ６０の検出値で置き換える必要がなく、レーダ６０による検出を要さない。一方、図４に示す曲線ｌ２に対応する演算値の信頼度Ｓ２は、評価基準Ｓを超えており、必要とされる信頼度を備えていない。このため、信頼度Ｓ２に対応する演算値をレーダ６０の検出値で置き換える必要があるため、この信頼度Ｓ２が分布する範囲をレーダ６０で検出する必要がある。
【００４０】
このように、補間部３１は、各信頼度が評価基準を満たしているか否かを判断し、図６に示すように、評価基準を満たしていない信頼度が分布する低信頼度領域５２ｂを求める。つぎに、検出範囲設定部３２は、図７に示すように、検出可能範囲６２のうち、補間部３１が求めた低信頼度領域５２ｂに対応する領域を、検出範囲６３として設定する（ステップＳ１１４）。その後、レーダ６０は、検出範囲設定部３２が設定した検出範囲６３内に位置する物体までの距離を検出する検出処理を行なう（ステップＳ１１６）。この結果、たとえば、図８に示すように、低信頼度領域に対応する検出範囲の検出値のみが含まれる検出データ５３ａがレーダ６０から出力される。その後、補間部３１は、図８に示すように、演算データ５１ａの演算値のうち、評価基準を満たしていない信頼度を有する演算値が分布する低信頼度領域５１ｂの演算値を、検出データ５３ａの検出値で置き換えて（ステップＳ１１８）、距離データ５４ａを作成し、出力する（ステップＳ１２０）。
【００４１】
このように、本実施の形態にかかる距離計測装置１では、演算データの各演算値に対する信頼度を取得し、信頼度が評価基準を満たしていない演算値を、レーダ６０の検出値で置き換えた距離情報を出力している。レーダ６０の検出値は、距離演算部２０において演算された演算値と比較し、信頼度が高いものである。このため、本実施の形態にかかる距離計測装置１によれば、所定の信頼度を満たした信頼性の高い距離情報を取得することができるため、この距離情報に基づく各種安全運転支援処理を正確に行なうことが可能となる。
【００４２】
また、本実施の形態では、検出範囲設定部３２は、距離演算部２０から出力された演算データのうち、信頼度が評価基準を満たしていない演算値が分布する範囲のみをレーダ６０の検出範囲として設定している。このため、本実施の形態では、レーダ６０が検出可能範囲全てに対して距離値を検出する場合と比較し、検出処理に必要とされる時間を短縮することができ、信頼性の高い距離情報を迅速に取得することが可能となる。
【００４３】
なお、本実施の形態では、信頼度として、画像信号間の整合度としてＳＳＤ値を算出し、このＳＳＤ値を信頼度として取得した場合について説明したが、これに限ることはなく、画像信号間の整合度を示す他の値を算出し、信頼度として取得してもよい。たとえば、局所領域間の画像信号間の差の絶対値の和であるＳＡＤ（Sum of Absolute Difference）、または、局所領域内の画像信号間の正規化相互相関であるＮＣＣ（Normalized Cross Correlation）を信頼度として取得してもよい。演算部２１は、ＳＡＤ値を算出する場合、ＳＡＤ値が最小である画像信号を最も整合する画像信号として検出し、信頼度取得部２２は、この画像信号に対応するＳＡＤ値を信頼度として取得する。補間部３１は、信頼度であるＳＡＤ値が所定の評価基準を下回った場合に、このＳＡＤ値は評価基準を満たすと判断し、所定の評価基準を上回った場合に、このＳＡＤ値は評価基準を満たしていないと判断する。また、演算部２１は、ＮＣＣ値を算出する場合、ＮＣＣ値が最大である画像信号を最も整合する画像信号として検出し、信頼度取得部２２は、この画像信号に対応するＮＣＣ値を信頼度として取得する。補間部３１は、信頼度であるＮＣＣ値が所定の評価基準を上回った場合に、このＮＣＣ値は評価基準を満たすと判断し、所定の評価基準を下回った場合に、このＮＣＣ値は評価基準を満たしていないと判断する。
【００４４】
また、本実施の形態では、ＳＳＤ値の値自体を評価基準と比較した場合について説明したが、これに限らず、局所領域の移動量変化に対するＳＳＤ値変化を示す曲線のＱ値を信頼度として求め、このＱ値が評価基準となる所定値を超えているか否かをもとに評価基準との比較を行なってもよい。たとえば、図９に示す曲線ｌ３のように、Ｑ値が、評価基準Ｑ０以下のＱ３である場合には、距離演算処理において検出された画像信号は、隣接する画像信号と比較し、演算対象である画像信号との整合度が際立って高い。このため、この場合に検出された画像信号をもとに演算された演算値は、要求される信頼性を満たすものと考えられる。したがって、曲線ｌ３に対応する演算値は、必要とされる信頼度を備え、演算値をレーダ６０の検出値で置き換える必要がない。一方、図９に示す曲線ｌ４のように、Ｑ値が、評価基準Ｑ０を上回るＱ４である場合には、距離演算処理において検出された画像信号は、隣接する画像信号と比較し、演算対象である画像信号との間で整合度の差が少ない。ここで、Ｑ値が評価基準Ｑ０を上回る場合には、各処理における処理条件の精度を考慮した場合、検出された画像信号の整合度と隣接する画像信号の整合度との差は微小となり、検出された画像信号が、実際に最も高い整合度を有するとは限らない。このため、Ｑ４であるＱ値に対応する画像信号に基づく演算点は、信頼性が低い可能性が高い。したがって、検出範囲設定部３２は、曲線ｌ４に対応する演算値に対しては、レーダ６０の検出値で置き換える必要があるものと判断して、この演算値に対応する検出範囲を設定する。
【００４５】
また、本実施の形態では、信頼度取得部２２は、整合度を信頼度として取得した場合について説明したが、信頼度取得部２２は、演算対象である画像信号に含まれる色情報を信頼度として取得してもよい。この場合、補間部３１は、近傍に位置する画像信号の色情報がほぼ同一である領域を低信頼度領域であると判断し、検出範囲設定部３２は、補間部３１が判断した低信頼度領域をレーダ６０の検出範囲として設定する。演算部２１は、図１０に示すように、ほぼ同一の色情報を備えた黒色領域１９ａに含まれる画像信号と整合する画像信号を他方の画像信号群から検出することが困難であるためである。すなわち、他方の画像信号群においても、この黒い路領域１９ａに対応する領域に含まれる画像信号は同一の色情報を備える。したがって、この領域に分布する画像信号は。ほぼ同等の整合度となり、整合度に差が生じない。この結果、演算部２１は、黒色領域１９ａに含まれる画像信号と整合する画像信号を他方の画像信号群から検出することができない。このため、本実施の形態では、信頼度として取得した色情報をもとに、近傍に位置する画像信号の色情報がほぼ同一である領域、たとえば、図１０に示す黒色領域１９ａおよび白色領域１９ｂを低信頼度領域として求めてもよい。この場合、検出範囲設定部３２は、黒色領域１９ａおよび白色領域１９ｂに対応させてレーダ６０の検出範囲を設定し、補間部３１は、黒色領域１９ａおよび白色領域１９ｂにおける演算値をレーダ６０の検出値で置き換える。この結果、距離計測装置１は、信頼性の高い距離データを出力することが可能となる。
【００４６】
また、本実施の形態では、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係との整合は、以下のように予め求めたうえで各処理を行う。たとえば、距離計測装置１は、形状が既知の物体に対して、撮像部１０における撮像処理およびレーダ６０における検出処理を行い、撮像部１０における既知の物体の位置およびレーダ６０における既知の物体の位置を求める。その後、距離計測装置１では、最小２乗法などを用いて、撮像部１０における既知の物体の位置およびレーダ６０における既知の物体の位置の関係を求め、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係とを整合する。
【００４７】
また、距離計測装置１では、撮像部１０の撮像原点とレーダ６０の検出原点とがずれている場合があっても、撮像点および検出点から距離計測装置１までの距離が十分に離れていた場合であれば、撮像原点と検出原点とがほぼ重なっているものとみなすことができる。さらに、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係との整合が正確に行われている場合には、幾何変換によって、撮像原点と検出原点とのずれを補正することも可能である。
【００４８】
また、実施の形態にかかる距離計測装置１では、各画像信号が位置する画素行に各レーダ検出点が所定間隔で位置する場合について説明したが、必ずしも、撮像部１０から出力された各画像信号が位置する画素行に各レーダ検出点が存在するとは限らない。この場合、演算制御部２１は、評価基準の判断対象となる各画像信号の近傍に位置する複数のレーザ検出点をもとに、一次補間法などを用いて判定対象および修正対象となる各画像信号と同一画素行のレーザ補間値を求め、この補間値を用いて判定処理および修正処理を行えばよい。
【００４９】
また、本実施の形態における撮像部として、一対のレンズ１２ａ，１２ｂのそれぞれに対応する一対の撮像素子１３ａ，１３ｂを備えた撮像部１０について説明したが、これに限らず、図１１に示すように、一対の導光光学系と、各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子を備えた撮像部１１０としてもよい（たとえば、本出願人による特開平８−１７１１５１参照）。図１１に示すように、撮像部１１０は、一対のミラー１１１ａ，１１１ｂと、ミラー１１１ａ，１１１ｂのそれぞれに対応するミラー１１２ａ，１１２ｂと、レンズ１１２ｃと、レンズ１１２ｃによって集光された光をアナログ画像信号に変換する撮像素子１１３と、撮像素子１１３から出力されたアナログ画像信号をデジタル画像信号に変更するＡ／Ｄ変換部１１４と、デジタル信号を記憶するフレームメモリ１１５とを備える。ミラー１１１ａ，１１１ｂは、車両Ｃなどの被写体からの光を受光し、ミラー１１２ａ，１１２ｂは、ミラー１１１ａ，１１１ｂが受光した光をレンズ１１２ｃに反射する。このため、撮像素子１１３上には、各光学系に対応する画像がそれぞれ結像される。したがって、撮像部１１０は、図１２に示すように、画像１１６ａと画像１１６ｂとを含む画像１１６を出力する。このような画像１１６ａ，１１６ｂをもとに、距離演算部２０において、各画像信号に対応する距離値を演算することが可能である。
【００５０】
また、本実施の形態では、複数のカメラを備えた距離計測装置１について説明したが、これに限らず、単数のカメラを備えた距離計測装置に適用してもよい。この場合、距離演算部２０は、撮像部から出力された画像信号群をもとに、たとえば、シェイプフロムフォーカス法、シェイプフロムデフォーカス法、シェイプフロムモーション法またはシェイプフロムシェーディング法を用いて撮像視野内の距離を演算する。単数のカメラを備えた距離計測装置においても、上述した処理手順と同様の処理手順を行なうことによって、各演算値に対応する信頼度をもとに、レーダの検出範囲を設定し、信頼度が評価基準を満たしていない演算値をレーダの検出値で置き換え、距離データを出力すればよい。なお、シェイプフロムフォーカス法とは、最もよく合焦したときのフォーカス位置から距離を求める方法である。また、シェイプフロムデフォーカス法とは、合焦距離の異なる複数の画像から相対的なぼけ量を求め、ぼけ量と距離との相関関係をもとに距離を求める方法である。また、シェイプフロムモーション法とは、時間的に連続する複数の画像における所定の特徴点の移動軌跡をもとに物体までの距離を求める方法である。また、シェイプフロムシェーディング法とは、画像における陰影、対象となる物体の反射特性および光源情報をもとに物体までの距離を求める方法である。
【００５１】
また、撮像部１０は、いわゆる３眼ステレオカメラ構造を構成してもよく、また、いわゆる４眼ステレオカメラ構造を構成してもよい。３眼ステレオカメラ構造または４眼ステレオカメラ構造である撮像部とした場合、３次元再構成処理などを行なうことによって、信頼性が高く、安定した距離演算結果を得ることができる距離計測装置を実現することが可能となる。特に、複数のカメラを２方向の基線長を持つように配置した場合、複数の物体が複雑な構成で配置する場合であっても、３次元再構成処理が可能となり、安定して距離演算結果を得ることができる。また、この場合、一方向の基線長方向にカメラを複数配置するマルチベースライン方式を採用することが可能となり、高精度の距離計測を実現することができる。
【００５２】
また、本実施の形態では、レーダ６０を備えた距離計測装置１について説明したが、レーダ６０に代えて、赤外光または可視光を送信する半導体レーザ素子、発光ダイオードまたはレーザダイオード等の光源と、物体からの反射光を受信するフォトセンサ等の受光素子などによって実現された検出器を備えた距離計測装置であってもよいし、光波、マイクロ波、ミリ波、超音波を利用して反射波の遅れから距離を計測するレーダ型検出器を備えた距離計測装置であってもよい。
【００５３】
また、本実施の形態として、車両に搭載される距離計測装置１を例に説明したが、これに限らず、他の移動体に搭載される距離計測装置に対して適用してもよい。また、移動体に搭載される距離計測装置に限らず、たとえば、所定位置に固定した状態で検出範囲内の距離計測を行なう距離計測装置に適用してもよい。
【図面の簡単な説明】
【００５４】
【図１】実施の形態にかかる距離計測装置の概略構成を示すブロック図である。
【図２】図１に示す距離計測装置において距離データの出力を完了するまでの処理手順を示すフローチャートである。
【図３】図２に示す距離演算処理を説明する図である。
【図４】図２に示す信頼度取得処理を説明する図である。
【図５】図１に示す演算データの一例を示す図である。
【図６】図１に示す信頼度データの一例を示す図である。
【図７】図１に示すレーダの検出可能範囲を説明する図である。
【図８】図１に示す補間部の処理を説明する図である。
【図９】図２に示す信頼度取得処理を説明する図である。
【図１０】図１に示す撮像部１０から出力された画像信号群の一例を示す図である。
【図１１】図１に示す撮像部の概略構成の他の例を示すブロック図である。
【図１２】図１１に示す撮像部から出力される画像の一例を示す図である。
【符号の説明】
【００５５】
１ 距離計測装置
１０、１１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ、１２ｂ、１１２ｃ レンズ
１３ａ、１３ｂ、１１３ 撮像素子
１４ａ、１４ｂ、１１４ Ａ／Ｄ変換部
１５ａ、１５ｂ、１１５ フレームメモリ
１６ａ 右画像信号群
１６ｂ 左画像信号群
１８ 画像信号群
１９ａ 黒色領域
１９ｂ 白色領域
２０ 距離演算部
２１ 演算部
２２ 信頼度取得部
２３ メモリ
２５ａ、２５ｂ 画像信号
２５０ 基準信号
３０ 制御部
３１ 補間部
３２ 検出範囲設定部
４０ 出力部
５０ 記憶部
５１、５１ａ 演算データ
５１ｂ、５２ｂ 低信頼度領域
５２、５２ａ 信頼度データ
５３、５３ａ 検出データ
５４、５４ａ 距離データ
６０ レーダ
６２ 検出可能範囲
６３ 検出範囲
１１１ａ、１１１ｂ、１１２ａ、１１２ｂ ミラー
１１６、１１６ａ、１１６ｂ 画像
Ｃ 車両
【技術分野】
【０００１】
この発明は、所定の撮像視野内に位置する物体までの距離を計測する距離計測装置、距離計測方法および距離計測プログラムに関する。
【背景技術】
【０００２】
近年、車両の大衆化にともない、車両に搭載される各種装置が実用化されている。このような車両搭載用装置として、自車両と先行車両との車間距離を計測し、計測した車間距離に基づいて警報出力などの各種処理を行なう距離計測装置がある。
【０００３】
従来から、このような距離計測装置として、イメージセンサを有する光学式の距離計測装置が提案されている（特許文献１参照）。この距離計測装置は、左右二つのレンズと、これら左右のレンズにそれぞれ対応するイメージセンサを有する撮像部を備える。そして、イメージセンサから出力されたそれぞれの画像のうち、一方の画像の中から、他方の画像における任意の画像信号と整合する画像信号を検出し、検出した画像信号における移動量をもとに、三角測量の原理を用いて対象物までの距離を演算する。
【０００４】
【特許文献１】特公昭６３−４６３６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の距離計測装置では、演算した距離値の信頼度は、任意の画像信号と検出された画像信号との整合度の高低に左右されていた。すなわち、任意の画像信号との整合度が低い画像信号に基づいて演算した距離値は、信頼度が低くならざるを得なかった。このため、従来の距離計測装置から信頼性の低い演算値を含む距離情報が出力された場合、このような距離情報を用いて警報出力などの各種処理を正確に行なうことができないという問題があった。
【０００６】
この発明は、上記した従来技術の欠点に鑑みてなされたものであり、光学式の距離計測装置において、信頼性の高い距離情報を取得することができる距離計測装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、この発明にかかる距離計測装置は、所定の撮像視野を有し、前記撮像視野に対応する画像信号群を生成する撮像手段と、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、少なくとも前記撮像視野を含む検出可能範囲を有し、該検出可能範囲内に位置する物体までの距離を検出する検出手段と、前記演算手段による演算値の信頼度を取得する信頼度取得手段と、前記信頼度取得手段によって取得された前記信頼度が評価基準を満たしていない前記演算値を、該演算値に対応する前記検出手段の検出値で置き換えて、距離データを出力する補間手段と、を備えたことを特徴とする。
【０００８】
また、この発明にかかる距離計測装置は、前記補間手段は、前記信頼度が前記評価基準を満たしていない前記演算値に対応する範囲を前記検出手段の検出範囲として設定し、前記検出手段は、前記検出範囲内に位置する物体までの距離を検出することを特徴とする。
【０００９】
また、この発明にかかる距離計測装置は、前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを特徴とする。
【００１０】
また、この発明にかかる距離計測装置は、前記信頼度取得手段は、前記任意の画像信号と前記検出した画像信号との整合度を前記信頼度として取得することを特徴とする。
【００１１】
また、この発明にかかる距離計測装置は、前記撮像手段は、一対の光学系と、一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、を備えたことを特徴とする。
【００１２】
また、この発明にかかる距離計測装置は、前記撮像手段は、一対の導光光学系と、各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、を備えたことを特徴とする。
【００１３】
また、この発明にかかる距離計測装置は、当該距離計測装置は、車両に搭載されることを特徴とする。
【００１４】
また、この発明にかかる距離計測方法は、所定の撮像視野内に位置する物体までの距離を演算する距離計測方法において、前記撮像視野に対応する画像信号群を生成する撮像ステップと、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、前記演算ステップにおける演算値の信頼度を取得する信頼度取得ステップと、少なくとも前記撮像視野を含む検出可能範囲内に位置する物体までの距離を検出する検出ステップと、前記信頼度取得ステップにおける前記信頼度が評価基準を満たしていない前記演算値を、該演算値に対応する前記検出ステップにおける検出値で置き換えて、距離データを生成する補間ステップと、を含むことを特徴とする。
【００１５】
また、この発明にかかる距離計測プログラムは、所定の撮像視野内に位置する物体までの距離を演算する距離計測プログラムにおいて、前記撮像視野に対応する画像信号群を生成する撮像手順と、前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手順と、前記演算手順における演算値の信頼度を取得する信頼度取得手順と、少なくとも前記撮像視野を含む検出可能範囲内に位置する物体までの距離を検出する検出手順と、前記信頼度取得手順における前記信頼度が評価基準を満たしていない前記演算値を、該演算値に対応する前記検出手順における検出値で置き換えて、距離データを生成する補間手順と、を含むことを特徴とする。
【発明の効果】
【００１６】
本発明にかかる距離計測装置によれば、演算手段が演算した演算値の信頼度を取得する信頼度取得手段と、信頼度取得手段が取得した信頼度が評価基準を満たしていない演算値を検出手段における検出値で置き換える補間手段とを備えることによって、信頼性の高い距離情報を取得することができ、この距離情報に基づいて、各種処理における警報出力などの安全運転支援処理を正確に行なうことが可能となる。また、本発明にかかる距離計測方法および距離計測プログラムを用いることによって、信頼性の高い距離情報を取得することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して、この発明の実施の形態である距離計測装置について、車両に搭載される距離計測装置を例として説明する。この距離計測装置が出力する距離情報に基づいて他の装置などによる各種安全運転支援処理が行なわれる。なお、この実施の形態により、この発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００１８】
まず、実施の形態にかかる距離計測装置について説明する。本実施の形態にかかる距離計測装置は、所定の画像信号群を用いて演算された距離演算値の信頼度を求め、信頼度が所定の評価基準を満たしていない距離演算値をレーダの検出値で置き換える。図１は、本実施の形態にかかる距離情報装置の概略構成を示すブロック図である。
【００１９】
図１に示すように、本実施の形態にかかる距離計測装置１は、所定の撮像視野を有し、この撮像視野に対応する画像信号群を生成する撮像部１０と、撮像部１０が生成した画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する距離演算部２０と、距離計測装置を構成する各構成部の各処理および各動作を制御する制御部３０と、距離情報を含む各種情報を出力する出力部４０と、距離情報を含む各種情報を記憶する記憶部５０と、少なくとも撮像部１０における撮像視野を含む検出可能範囲を有し、この検出可能範囲内に位置する物体までの距離を検出するレーダ６０とを備える。撮像部１０と、距離演算部２０と、出力部４０と、記憶部５０と、レーダ６０とは、制御部３０に電気的に接続される。距離演算部２０は、演算部２１と信頼度取得部２２とメモリ２３とを備える。また、制御部３０は、検出範囲設定部３２を有する補間部３１を備える。
【００２０】
撮像部１０は、右カメラ１１ａと左カメラ１１ｂとを備える。右カメラ１１ａおよび左カメラ１１ｂは、それぞれの撮像視野に対応した画像信号群を出力する。右カメラ１１ａおよび左カメラ１１ｂは、それぞれ、レンズ１２ａ，１２ｂと、撮像素子１３ａ，１３ｂと、アナログ／デジタル（Ａ／Ｄ）変換部１４ａ，１４ｂと、フレームメモリ１５ａ，１５ｂとを備える。レンズ１２ａ，１２ｂは、所定の視野角から入射する光を集光する。レンズ１２ａ，１２ｂにそれぞれ対応して配置される撮像素子１３ａ，１３ｂは、ＣＣＤまたはＣＭＯＳなどによって実現され、レンズ１２ａ，１２ｂを透過した光を検知してアナログ画像信号に変換する。Ａ／Ｄ変換部１４ａ，１４ｂは、撮像素子１３ａ，１３ｂから出力されたアナログ画像信号をデジタル画像信号に変換する。フレームメモリ１５ａ，１５ｂは、Ａ／Ｄ変換部１４ａ，１４ｂから出力されたデジタル画像信号を記憶し、１枚の撮像画像に対応するデジタル画像信号群を、撮像視野に対応する画像信号群として随時出力する。
【００２１】
距離演算部２０は、撮像部１０から出力された画像信号群を処理して、撮像視野内に位置する物体までの距離を演算する演算部２１と、演算部２１による演算値の信頼度を取得する信頼度取得部２２と、撮像部１０から出力された画像信号群、演算部２１が演算した演算値、信頼度取得部２２が取得した信頼度などを記憶するメモリ２３とを備える。
【００２２】
演算部２１は、ステレオ法を用いて、撮像部１０から出力された画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する。演算部２１は、右カメラ１１ａから出力された右画像信号群の中から、左カメラ１１ｂから出力された左画像信号群中における任意の画像信号と整合する画像信号を検出し、検出した画像信号における任意の画像信号からの移動量Ｉをもとに、三角測量の原理によって距離を演算する。ここで述べた移動量は、一般的に言われる視差量を示す。演算部２１は、以下の（１）式を用いて、撮像部１０から対象物体である車両Ｃまでの距離Ｒを求める。（１）式において、ｆはレンズ１２ａ，１２ｂの焦点距離であり、Ｌはレンズ１２ａ，１２ｂの光軸間の幅である。また、移動量Ｉは、移動した画素の数と画素ピッチとをもとに求めてもよい。
Ｒ＝ｆ・Ｌ／Ｉ・・・（１）
演算部２１は、各画像信号に対応した距離Ｒを演算し、距離演算部２０は、演算値と撮像視野内における位置情報とをそれぞれ対応させた演算データ５１を制御部３０に出力する。なお、ここでは簡単のため、平行ステレオで説明したが、光軸が角度を持って交差したり、焦点距離がおのおの違う、撮像素子とレンズの位置関係が異なる等をキャリブレーションし、レクティフィケーションにより補正し、演算処理による平行ステレオを実現しても良い。
【００２３】
ここで、演算部２１は、左画像信号群の演算対象である画像信号を通過する任意の直線と同一直線上に位置する右画像信号群の各画像信号と、演算対象である画像信号とを順次比較することによって、右画像信号群の中から演算対象である画像信号と最も整合する画像信号を検出する。具体的には、左画像信号群において演算対象である画像信号を中心とした局所領域を設け、この局所領域と同様の領域を右画像信号群に設ける。そして、右画像信号群における局所領域を前述した直線上で走査しながら、左画像信号群における局所領域との整合度が最も高い局所領域を探索する。この探索の結果、整合度が最も高い局所領域の中心に位置する画像信号を、演算対象である画像信号と最も整合する画像信号として検出することができる。演算部２１は、整合度として、局所領域内の画素信号間の差の２乗和であるＳＳＤ（Sum of Squared Difference）を算出している。演算部２１は、局所領域を探索するごとにＳＳＤを算出し、最小値であるＳＳＤを有する局所領域の中心に位置する画像信号を、演算対象である画像信号と最も整合する画像信号として検出する。
【００２４】
信頼度取得部２２は、演算部２１が画像信号ごとに算出した整合度を信頼度として取得し、距離演算部２０は、取得した信頼度と撮像視野内における位置情報とをそれぞれ対応させた信頼度データ５２を制御部３０に出力する。
【００２５】
制御部３０は、記憶部５０に記憶された処理プログラムを実行するＣＰＵなどによって実現され、撮像部１０と距離演算部２０と出力部４０と記憶部５０とレーダ６０との各処理または動作を制御する。制御部３０は、これらの各構成部位に入出力される情報について所定の入出力制御を行うとともに、これらの情報に対して所定の情報処理を行う。
【００２６】
補間部３１は、距離演算部２０から出力された演算データ５１と信頼度データ５２とをもとに、演算データ５１のうち、信頼度が所定の評価基準を満たしていない演算値を、この演算値に対応するレーダ６０の検出値で置き換え、距離データ５４として出力する。検出範囲設定部３２は、演算データ５１と信頼度データ５２とをもとに、信頼度が評価基準を満たしていない演算値に対応する範囲を求め、この範囲をレーダ６０の検出範囲として設定する。制御部３０は、レーダ６０に対して、検出範囲設定部３２が設定した検出範囲内に位置する物体の距離を検出する検出処理を指示する。この結果、レーダ６０から出力された検出データ５３は、検出範囲設定部３２が設定した検出範囲の検出結果となる。補間部３１は、このレーダ６０から出力された検出データ５３を用いて、演算データ５１のうち、信頼度が評価基準を満たしていない演算値を、この演算値に対応するレーダ６０の検出値で置き換えている。レーダ６０の検出値は、精度の高い値であるため、信頼度が評価基準を満たしていない演算値がレーダ６０の検出値で置き換えられた距離データ５４は、必要とされる信頼性を備えたものであると考えられる。なお、所定の評価基準は、距離計測装置１から出力される距離データ５４に対して要求される信頼性をもとに定められる。
【００２７】
出力部４０は、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイなどによって実現され、距離情報に加え撮像部１０が撮像した画像などの各種表示情報を表示出力する。また、出力部４０は、スピーカをさらに備え、距離情報のほか、先行する車両Ｃと接近した旨を報知させる警告音声などの各種音声情報を出力する。
【００２８】
記憶部５０は、処理プログラム等の各種情報が予め記憶されたＲＯＭと、各処理の演算パラメータ、各種構成部位から出力された各種情報、書込情報、あるいは音声情報等を記憶するＲＡＭとを備える。記憶部５０は、距離演算部２０から出力された演算データ５１および信頼度データ５２、レーダ６０から出力された検出データ５３、補間部３１から出力された距離データ５４などの各種情報を記憶する。
【００２９】
レーダ６０は、制御部３０の制御のもと、検出可能範囲のうち、検出範囲設定部３２が設定した検出範囲内に位置する物体までの距離を検出する。レーダ６０は、所定の発信波を送信し、この発信波が物体表面で反射した反射波を受信して、発信状態および受信状態をもとに、レーダ６０から発信波を反射した物体までの距離と、この物体が位置する方向とを検出する。レーダ６０は、発信波の送信角度、反射波の入射角度、反射波の受信強度、発信波を送信してから反射波を受信するまでの時間、反射波の周波数変化などをもとに、距離計測装置１から発信波を反射した物体までの距離を検出する。レーダ６０は、検出範囲内に位置する物体までの検出距離値と、検出範囲内における位置情報とを対応させた検出データ５３を制御部３０に出力する。レーダ６０は、発信波として、レーザ光、赤外線またはミリ波を送信する。
【００３０】
つぎに、距離計測装置１が行なう処理動作のうち、距離演算部２０が距離データ５４を出力するまでの処理動作について説明する。図２は、距離計測装置１において、距離演算部２０が距離データ５４の出力を完了するまでの処理手順を示すフローチャートである。
【００３１】
図２に示すように、まず、制御部３０は、撮像部１０に対して撮像処理を指示し、撮像部１０は、制御部３０の制御のもと、所定の撮像視野を撮像する撮像処理を行ない（ステップＳ１０２）、右カメラ１１ａおよび左カメラ１１ｂはそれぞれ画像信号群を出力する。
【００３２】
制御部３０は、距離演算部２０に対して、撮像部１０から出力された画像信号群を処理して、撮像視野内に位置する物体までの距離を演算する距離演算処理の指示を行なう。距離演算部２０では、制御部３０の指示を受け、演算部２１は、右カメラ１１ａおよび左カメラ１１ｂから出力された画像信号群の各画像信号に対して、この画像信号に対応する距離値を演算する距離演算処理を行なう（ステップＳ１０４）。また、信頼度取得部２２は、演算部２１における距離演算処理において、演算対象である画像信号と最も整合する画像信号として検出する際に求められたＳＳＤ値の最小値を信頼度として取得する信頼度取得処理を行なう（ステップＳ１０６）。
【００３３】
その後、演算部２１は、撮像部１０から出力された画像信号群の全ての画像信号について距離演算処理は終了したか否かを判断する（ステップＳ１０８）。演算部２１は、全ての画像信号について距離演算処理は終了していないと判断した場合には（ステップＳ１０８：Ｎｏ）、ステップＳ１０４に進み、次に演算対象となる画像信号に対して距離演算処理を行なう。また、演算部２１は、全ての画像信号について距離演算処理は終了したと判断した場合（ステップＳ１０８：Ｙｅｓ）、距離演算部２０は、制御部３０に対して、演算データ５１と信頼度データ５２とを出力する（ステップＳ１１０）。
【００３４】
つぎに、制御部３０において、補間部３１は、信頼度データ５２を参照して、各信頼度と評価基準とをそれぞれ比較し、評価基準を満たしていない信頼度はあるか否かを判断する（ステップＳ１１２）。
【００３５】
補間部３１が評価基準を満たしていない信頼度があると判断した場合には（ステップＳ１１２：Ｙｅｓ）、検出範囲設定部３２は、評価基準を満たしていない信頼度に対応する位置情報をもとに、評価基準を満たしていない信頼度が分布する範囲を求め、この範囲をレーダ６０の検出範囲として設定する（ステップＳ１１４）。なお、演算データ５１では、各演算値と撮像視野内における位置情報とが対応づけられており、また、信頼度データ５２では、各演算値における信頼度と、この演算値に対応する撮像視野内における位置情報とが対応づけられている。このため、評価基準を満たしていない信頼度が分布する範囲は、評価基準を満たしていない信頼度を有する演算値に対応する範囲である。したがって、検出範囲設定部３２は、評価基準を満たしていない信頼度を有する演算値に対応する範囲をレーダ６０の検出範囲として設定することとなる。
【００３６】
その後、レーダ６０は、制御部３０の制御のもと、検出範囲設定部３２が設定した検出範囲内に位置する物体までの距離を検出する検出処理を行ない（ステップＳ１１６）、検出データ５３を出力する。補間部３１は、演算データ５１の演算値のうち、信頼度が評価基準を満たしていない演算値を、検出データ５３におけるレーダ６０の検出値で置き換え（ステップＳ１１８）、この置き換えたデータを距離データ５４として出力する（ステップＳ１２０）。
【００３７】
また、補間部３１は、信頼度データ５２を参照した結果、評価基準を満たしていない信頼度がないと判断した場合には（ステップＳ１１２：Ｎｏ）、演算データ５１の各演算値は、必要とされる信頼度を有するものと考えられるため、演算部２１から出力された演算データ５１を距離データ５４として出力する（ステップＳ１２０）。
【００３８】
つぎに、図２に示す各処理手順について具体的に説明する。まず、演算部２１における距離演算処理（ステップＳ１０４）について説明する。図３は、距離演算処理を説明する図であり、右カメラ１１ａから出力された右画像信号群と左カメラ１１ｂから出力された左画像信号群とを模式的に例示した図である。図３に示すように、まず、演算部２１は、左画像信号群１６ｂにおいて、演算対象である画像信号２５ｂを中心とした局所領域Ｂ０を設ける。また、演算部２１は、右画像信号群１６ａにおいても、画像信号２５ｂと同位置の基準信号２５０を中心とした局所領域Ｂ０と同範囲の局所領域Ａ０を設ける。その後、演算部２１は、整合度であるＳＳＤを順次算出しながら、画像信号２５ｂを通過する任意の直線と同一直線上で局所領域を走査する。この結果、図４の曲線ｌ１に示すような局所領域の移動量変化に対するＳＳＤ値変化が得られ、たとえば、ＳＳＤ値が最小である局所領域Ａ１の中心に位置する画像信号２５ａが、画像信号２５ｂと最も整合する画像信号として検出される。その後、演算部２１は、基準信号２５０を基準とした移動量Ｉ１を求め、（１）式を用いて画像信号２５ｂに対応する距離値を演算する。また、信頼度取得部２２は、画像信号２５ｂに対する距離演算処理において算出された各ＳＳＤ値のうち、最小値であるＳＳＤを信頼度として取得する（ステップＳ１０６）。全ての画像信号に対して距離演算処理が行なわれた結果、図５に示すように、各演算値が演算対象であった各画像信号の位置情報と対応づけられた演算データ５１ａと、図６に示すように、各演算値における信頼度が、演算対象であった各画像信号の位置情報と対応づけられた信頼度データ５２ａとが距離演算部２０から出力される（ステップＳ１１０）。
【００３９】
補間部３１は、信頼度データ５２ａを参照し、信頼度データ５２ａの各信頼度が評価基準を満たしているか否かを判断する。この場合、ＳＳＤ値が信頼度として取得されているため、ＳＳＤ値が低いほど整合度が高く、信頼度が高いものと考えられる。このため、補間部３１は、各信頼度が所定の評価基準Ｓを超えているか否かを判断する。たとえば、図４に示すように、曲線ｌ１に対応する演算値の信頼度Ｓ１は評価基準Ｓを下回っている。このため、信頼度Ｓ１は、必要とされる信頼度を備えているため、信頼度Ｓ１に対応する演算値をレーダ６０の検出値で置き換える必要がなく、レーダ６０による検出を要さない。一方、図４に示す曲線ｌ２に対応する演算値の信頼度Ｓ２は、評価基準Ｓを超えており、必要とされる信頼度を備えていない。このため、信頼度Ｓ２に対応する演算値をレーダ６０の検出値で置き換える必要があるため、この信頼度Ｓ２が分布する範囲をレーダ６０で検出する必要がある。
【００４０】
このように、補間部３１は、各信頼度が評価基準を満たしているか否かを判断し、図６に示すように、評価基準を満たしていない信頼度が分布する低信頼度領域５２ｂを求める。つぎに、検出範囲設定部３２は、図７に示すように、検出可能範囲６２のうち、補間部３１が求めた低信頼度領域５２ｂに対応する領域を、検出範囲６３として設定する（ステップＳ１１４）。その後、レーダ６０は、検出範囲設定部３２が設定した検出範囲６３内に位置する物体までの距離を検出する検出処理を行なう（ステップＳ１１６）。この結果、たとえば、図８に示すように、低信頼度領域に対応する検出範囲の検出値のみが含まれる検出データ５３ａがレーダ６０から出力される。その後、補間部３１は、図８に示すように、演算データ５１ａの演算値のうち、評価基準を満たしていない信頼度を有する演算値が分布する低信頼度領域５１ｂの演算値を、検出データ５３ａの検出値で置き換えて（ステップＳ１１８）、距離データ５４ａを作成し、出力する（ステップＳ１２０）。
【００４１】
このように、本実施の形態にかかる距離計測装置１では、演算データの各演算値に対する信頼度を取得し、信頼度が評価基準を満たしていない演算値を、レーダ６０の検出値で置き換えた距離情報を出力している。レーダ６０の検出値は、距離演算部２０において演算された演算値と比較し、信頼度が高いものである。このため、本実施の形態にかかる距離計測装置１によれば、所定の信頼度を満たした信頼性の高い距離情報を取得することができるため、この距離情報に基づく各種安全運転支援処理を正確に行なうことが可能となる。
【００４２】
また、本実施の形態では、検出範囲設定部３２は、距離演算部２０から出力された演算データのうち、信頼度が評価基準を満たしていない演算値が分布する範囲のみをレーダ６０の検出範囲として設定している。このため、本実施の形態では、レーダ６０が検出可能範囲全てに対して距離値を検出する場合と比較し、検出処理に必要とされる時間を短縮することができ、信頼性の高い距離情報を迅速に取得することが可能となる。
【００４３】
なお、本実施の形態では、信頼度として、画像信号間の整合度としてＳＳＤ値を算出し、このＳＳＤ値を信頼度として取得した場合について説明したが、これに限ることはなく、画像信号間の整合度を示す他の値を算出し、信頼度として取得してもよい。たとえば、局所領域間の画像信号間の差の絶対値の和であるＳＡＤ（Sum of Absolute Difference）、または、局所領域内の画像信号間の正規化相互相関であるＮＣＣ（Normalized Cross Correlation）を信頼度として取得してもよい。演算部２１は、ＳＡＤ値を算出する場合、ＳＡＤ値が最小である画像信号を最も整合する画像信号として検出し、信頼度取得部２２は、この画像信号に対応するＳＡＤ値を信頼度として取得する。補間部３１は、信頼度であるＳＡＤ値が所定の評価基準を下回った場合に、このＳＡＤ値は評価基準を満たすと判断し、所定の評価基準を上回った場合に、このＳＡＤ値は評価基準を満たしていないと判断する。また、演算部２１は、ＮＣＣ値を算出する場合、ＮＣＣ値が最大である画像信号を最も整合する画像信号として検出し、信頼度取得部２２は、この画像信号に対応するＮＣＣ値を信頼度として取得する。補間部３１は、信頼度であるＮＣＣ値が所定の評価基準を上回った場合に、このＮＣＣ値は評価基準を満たすと判断し、所定の評価基準を下回った場合に、このＮＣＣ値は評価基準を満たしていないと判断する。
【００４４】
また、本実施の形態では、ＳＳＤ値の値自体を評価基準と比較した場合について説明したが、これに限らず、局所領域の移動量変化に対するＳＳＤ値変化を示す曲線のＱ値を信頼度として求め、このＱ値が評価基準となる所定値を超えているか否かをもとに評価基準との比較を行なってもよい。たとえば、図９に示す曲線ｌ３のように、Ｑ値が、評価基準Ｑ０以下のＱ３である場合には、距離演算処理において検出された画像信号は、隣接する画像信号と比較し、演算対象である画像信号との整合度が際立って高い。このため、この場合に検出された画像信号をもとに演算された演算値は、要求される信頼性を満たすものと考えられる。したがって、曲線ｌ３に対応する演算値は、必要とされる信頼度を備え、演算値をレーダ６０の検出値で置き換える必要がない。一方、図９に示す曲線ｌ４のように、Ｑ値が、評価基準Ｑ０を上回るＱ４である場合には、距離演算処理において検出された画像信号は、隣接する画像信号と比較し、演算対象である画像信号との間で整合度の差が少ない。ここで、Ｑ値が評価基準Ｑ０を上回る場合には、各処理における処理条件の精度を考慮した場合、検出された画像信号の整合度と隣接する画像信号の整合度との差は微小となり、検出された画像信号が、実際に最も高い整合度を有するとは限らない。このため、Ｑ４であるＱ値に対応する画像信号に基づく演算点は、信頼性が低い可能性が高い。したがって、検出範囲設定部３２は、曲線ｌ４に対応する演算値に対しては、レーダ６０の検出値で置き換える必要があるものと判断して、この演算値に対応する検出範囲を設定する。
【００４５】
また、本実施の形態では、信頼度取得部２２は、整合度を信頼度として取得した場合について説明したが、信頼度取得部２２は、演算対象である画像信号に含まれる色情報を信頼度として取得してもよい。この場合、補間部３１は、近傍に位置する画像信号の色情報がほぼ同一である領域を低信頼度領域であると判断し、検出範囲設定部３２は、補間部３１が判断した低信頼度領域をレーダ６０の検出範囲として設定する。演算部２１は、図１０に示すように、ほぼ同一の色情報を備えた黒色領域１９ａに含まれる画像信号と整合する画像信号を他方の画像信号群から検出することが困難であるためである。すなわち、他方の画像信号群においても、この黒い路領域１９ａに対応する領域に含まれる画像信号は同一の色情報を備える。したがって、この領域に分布する画像信号は。ほぼ同等の整合度となり、整合度に差が生じない。この結果、演算部２１は、黒色領域１９ａに含まれる画像信号と整合する画像信号を他方の画像信号群から検出することができない。このため、本実施の形態では、信頼度として取得した色情報をもとに、近傍に位置する画像信号の色情報がほぼ同一である領域、たとえば、図１０に示す黒色領域１９ａおよび白色領域１９ｂを低信頼度領域として求めてもよい。この場合、検出範囲設定部３２は、黒色領域１９ａおよび白色領域１９ｂに対応させてレーダ６０の検出範囲を設定し、補間部３１は、黒色領域１９ａおよび白色領域１９ｂにおける演算値をレーダ６０の検出値で置き換える。この結果、距離計測装置１は、信頼性の高い距離データを出力することが可能となる。
【００４６】
また、本実施の形態では、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係との整合は、以下のように予め求めたうえで各処理を行う。たとえば、距離計測装置１は、形状が既知の物体に対して、撮像部１０における撮像処理およびレーダ６０における検出処理を行い、撮像部１０における既知の物体の位置およびレーダ６０における既知の物体の位置を求める。その後、距離計測装置１では、最小２乗法などを用いて、撮像部１０における既知の物体の位置およびレーダ６０における既知の物体の位置の関係を求め、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係とを整合する。
【００４７】
また、距離計測装置１では、撮像部１０の撮像原点とレーダ６０の検出原点とがずれている場合があっても、撮像点および検出点から距離計測装置１までの距離が十分に離れていた場合であれば、撮像原点と検出原点とがほぼ重なっているものとみなすことができる。さらに、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係との整合が正確に行われている場合には、幾何変換によって、撮像原点と検出原点とのずれを補正することも可能である。
【００４８】
また、実施の形態にかかる距離計測装置１では、各画像信号が位置する画素行に各レーダ検出点が所定間隔で位置する場合について説明したが、必ずしも、撮像部１０から出力された各画像信号が位置する画素行に各レーダ検出点が存在するとは限らない。この場合、演算制御部２１は、評価基準の判断対象となる各画像信号の近傍に位置する複数のレーザ検出点をもとに、一次補間法などを用いて判定対象および修正対象となる各画像信号と同一画素行のレーザ補間値を求め、この補間値を用いて判定処理および修正処理を行えばよい。
【００４９】
また、本実施の形態における撮像部として、一対のレンズ１２ａ，１２ｂのそれぞれに対応する一対の撮像素子１３ａ，１３ｂを備えた撮像部１０について説明したが、これに限らず、図１１に示すように、一対の導光光学系と、各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子を備えた撮像部１１０としてもよい（たとえば、本出願人による特開平８−１７１１５１参照）。図１１に示すように、撮像部１１０は、一対のミラー１１１ａ，１１１ｂと、ミラー１１１ａ，１１１ｂのそれぞれに対応するミラー１１２ａ，１１２ｂと、レンズ１１２ｃと、レンズ１１２ｃによって集光された光をアナログ画像信号に変換する撮像素子１１３と、撮像素子１１３から出力されたアナログ画像信号をデジタル画像信号に変更するＡ／Ｄ変換部１１４と、デジタル信号を記憶するフレームメモリ１１５とを備える。ミラー１１１ａ，１１１ｂは、車両Ｃなどの被写体からの光を受光し、ミラー１１２ａ，１１２ｂは、ミラー１１１ａ，１１１ｂが受光した光をレンズ１１２ｃに反射する。このため、撮像素子１１３上には、各光学系に対応する画像がそれぞれ結像される。したがって、撮像部１１０は、図１２に示すように、画像１１６ａと画像１１６ｂとを含む画像１１６を出力する。このような画像１１６ａ，１１６ｂをもとに、距離演算部２０において、各画像信号に対応する距離値を演算することが可能である。
【００５０】
また、本実施の形態では、複数のカメラを備えた距離計測装置１について説明したが、これに限らず、単数のカメラを備えた距離計測装置に適用してもよい。この場合、距離演算部２０は、撮像部から出力された画像信号群をもとに、たとえば、シェイプフロムフォーカス法、シェイプフロムデフォーカス法、シェイプフロムモーション法またはシェイプフロムシェーディング法を用いて撮像視野内の距離を演算する。単数のカメラを備えた距離計測装置においても、上述した処理手順と同様の処理手順を行なうことによって、各演算値に対応する信頼度をもとに、レーダの検出範囲を設定し、信頼度が評価基準を満たしていない演算値をレーダの検出値で置き換え、距離データを出力すればよい。なお、シェイプフロムフォーカス法とは、最もよく合焦したときのフォーカス位置から距離を求める方法である。また、シェイプフロムデフォーカス法とは、合焦距離の異なる複数の画像から相対的なぼけ量を求め、ぼけ量と距離との相関関係をもとに距離を求める方法である。また、シェイプフロムモーション法とは、時間的に連続する複数の画像における所定の特徴点の移動軌跡をもとに物体までの距離を求める方法である。また、シェイプフロムシェーディング法とは、画像における陰影、対象となる物体の反射特性および光源情報をもとに物体までの距離を求める方法である。
【００５１】
また、撮像部１０は、いわゆる３眼ステレオカメラ構造を構成してもよく、また、いわゆる４眼ステレオカメラ構造を構成してもよい。３眼ステレオカメラ構造または４眼ステレオカメラ構造である撮像部とした場合、３次元再構成処理などを行なうことによって、信頼性が高く、安定した距離演算結果を得ることができる距離計測装置を実現することが可能となる。特に、複数のカメラを２方向の基線長を持つように配置した場合、複数の物体が複雑な構成で配置する場合であっても、３次元再構成処理が可能となり、安定して距離演算結果を得ることができる。また、この場合、一方向の基線長方向にカメラを複数配置するマルチベースライン方式を採用することが可能となり、高精度の距離計測を実現することができる。
【００５２】
また、本実施の形態では、レーダ６０を備えた距離計測装置１について説明したが、レーダ６０に代えて、赤外光または可視光を送信する半導体レーザ素子、発光ダイオードまたはレーザダイオード等の光源と、物体からの反射光を受信するフォトセンサ等の受光素子などによって実現された検出器を備えた距離計測装置であってもよいし、光波、マイクロ波、ミリ波、超音波を利用して反射波の遅れから距離を計測するレーダ型検出器を備えた距離計測装置であってもよい。
【００５３】
また、本実施の形態として、車両に搭載される距離計測装置１を例に説明したが、これに限らず、他の移動体に搭載される距離計測装置に対して適用してもよい。また、移動体に搭載される距離計測装置に限らず、たとえば、所定位置に固定した状態で検出範囲内の距離計測を行なう距離計測装置に適用してもよい。
【図面の簡単な説明】
【００５４】
【図１】実施の形態にかかる距離計測装置の概略構成を示すブロック図である。
【図２】図１に示す距離計測装置において距離データの出力を完了するまでの処理手順を示すフローチャートである。
【図３】図２に示す距離演算処理を説明する図である。
【図４】図２に示す信頼度取得処理を説明する図である。
【図５】図１に示す演算データの一例を示す図である。
【図６】図１に示す信頼度データの一例を示す図である。
【図７】図１に示すレーダの検出可能範囲を説明する図である。
【図８】図１に示す補間部の処理を説明する図である。
【図９】図２に示す信頼度取得処理を説明する図である。
【図１０】図１に示す撮像部１０から出力された画像信号群の一例を示す図である。
【図１１】図１に示す撮像部の概略構成の他の例を示すブロック図である。
【図１２】図１１に示す撮像部から出力される画像の一例を示す図である。
【符号の説明】
【００５５】
１ 距離計測装置
１０、１１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ、１２ｂ、１１２ｃ レンズ
１３ａ、１３ｂ、１１３ 撮像素子
１４ａ、１４ｂ、１１４ Ａ／Ｄ変換部
１５ａ、１５ｂ、１１５ フレームメモリ
１６ａ 右画像信号群
１６ｂ 左画像信号群
１８ 画像信号群
１９ａ 黒色領域
１９ｂ 白色領域
２０ 距離演算部
２１ 演算部
２２ 信頼度取得部
２３ メモリ
２５ａ、２５ｂ 画像信号
２５０ 基準信号
３０ 制御部
３１ 補間部
３２ 検出範囲設定部
４０ 出力部
５０ 記憶部
５１、５１ａ 演算データ
５１ｂ、５２ｂ 低信頼度領域
５２、５２ａ 信頼度データ
５３、５３ａ 検出データ
５４、５４ａ 距離データ
６０ レーダ
６２ 検出可能範囲
６３ 検出範囲
１１１ａ、１１１ｂ、１１２ａ、１１２ｂ ミラー
１１６、１１６ａ、１１６ｂ 画像
Ｃ 車両
【特許請求の範囲】
【請求項１】
所定の撮像視野を有し前記撮像視野に対応する画像信号群を生成する撮像手段と、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、
少なくとも前記撮像視野を含む検出可能範囲を有し、該検出可能範囲内に位置する物体までの距離を検出する検出手段と、
前記演算手段による演算値の信頼度を取得する信頼度取得手段と、
前記信頼度取得手段によって取得された前記信頼度が評価基準を満たしていない前記演算値を、該演算値に対応する前記検出手段の検出値で置き換えて、距離データを出力する補間手段と、
を備えたことを特徴とする距離計測装置。
【請求項２】
前記補間手段は、前記信頼度が前記評価基準を満たしていない前記演算値に対応する範囲を前記検出手段の検出範囲として設定し、
前記検出手段は、前記検出範囲内に位置する物体までの距離を検出することを特徴とする請求項１に記載の距離計測装置。
【請求項３】
前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、
前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを特徴とする請求項１または２に記載の距離計測装置。
【請求項４】
前記信頼度取得手段は、前記任意の画像信号と前記検出した画像信号との整合度を前記信頼度として取得することを特徴とする請求項３に記載の距離計測装置。
【請求項５】
前記撮像手段は、
一対の光学系と、
一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、
を備えたことを特徴とする請求項１〜４のいずれか一つに記載の距離計測装置。
【請求項６】
前記撮像手段は、
一対の導光光学系と、
各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、
を備えたことを特徴とする請求項１〜４のいずれか一つに記載の距離計測装置。
【請求項７】
当該距離計測装置は、車両に搭載されることを特徴とする請求項１〜６のいずれか一つに記載の距離計測装置。
【請求項８】
所定の撮像視野内に位置する物体までの距離を演算する距離計測方法において、
前記撮像視野に対応する画像信号群を生成する撮像ステップと、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、
前記演算ステップにおける演算値の信頼度を取得する信頼度取得ステップと、
少なくとも前記撮像視野を含む検出可能範囲内に位置する物体までの距離を検出する検出ステップと、
前記信頼度取得ステップにおける前記信頼度が評価基準を満たしていない前記演算値を、該演算値に対応する前記検出ステップにおける検出値で置き換えて、距離データを生成する補間ステップと、
を含むことを特徴とする距離計測方法。
【請求項９】
所定の撮像視野内に位置する物体までの距離を演算する距離計測プログラムにおいて、
前記撮像視野に対応する画像信号群を生成する撮像手順と、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手順と、
前記演算手順における演算値の信頼度を取得する信頼度取得手順と、
少なくとも前記撮像視野を含む検出可能範囲内に位置する物体までの距離を検出する検出手順と、
前記信頼度取得手順における前記信頼度が評価基準を満たしていない前記演算値を、該演算値に対応する前記検出手順における検出値で置き換えて、距離データを生成する補間手順と、
を含むことを特徴とする距離計測プログラム。
【請求項１】
所定の撮像視野を有し前記撮像視野に対応する画像信号群を生成する撮像手段と、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手段と、
少なくとも前記撮像視野を含む検出可能範囲を有し、該検出可能範囲内に位置する物体までの距離を検出する検出手段と、
前記演算手段による演算値の信頼度を取得する信頼度取得手段と、
前記信頼度取得手段によって取得された前記信頼度が評価基準を満たしていない前記演算値を、該演算値に対応する前記検出手段の検出値で置き換えて、距離データを出力する補間手段と、
を備えたことを特徴とする距離計測装置。
【請求項２】
前記補間手段は、前記信頼度が前記評価基準を満たしていない前記演算値に対応する範囲を前記検出手段の検出範囲として設定し、
前記検出手段は、前記検出範囲内に位置する物体までの距離を検出することを特徴とする請求項１に記載の距離計測装置。
【請求項３】
前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、
前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを特徴とする請求項１または２に記載の距離計測装置。
【請求項４】
前記信頼度取得手段は、前記任意の画像信号と前記検出した画像信号との整合度を前記信頼度として取得することを特徴とする請求項３に記載の距離計測装置。
【請求項５】
前記撮像手段は、
一対の光学系と、
一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、
を備えたことを特徴とする請求項１〜４のいずれか一つに記載の距離計測装置。
【請求項６】
前記撮像手段は、
一対の導光光学系と、
各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、
を備えたことを特徴とする請求項１〜４のいずれか一つに記載の距離計測装置。
【請求項７】
当該距離計測装置は、車両に搭載されることを特徴とする請求項１〜６のいずれか一つに記載の距離計測装置。
【請求項８】
所定の撮像視野内に位置する物体までの距離を演算する距離計測方法において、
前記撮像視野に対応する画像信号群を生成する撮像ステップと、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算ステップと、
前記演算ステップにおける演算値の信頼度を取得する信頼度取得ステップと、
少なくとも前記撮像視野を含む検出可能範囲内に位置する物体までの距離を検出する検出ステップと、
前記信頼度取得ステップにおける前記信頼度が評価基準を満たしていない前記演算値を、該演算値に対応する前記検出ステップにおける検出値で置き換えて、距離データを生成する補間ステップと、
を含むことを特徴とする距離計測方法。
【請求項９】
所定の撮像視野内に位置する物体までの距離を演算する距離計測プログラムにおいて、
前記撮像視野に対応する画像信号群を生成する撮像手順と、
前記画像信号群に基づいて前記撮像視野内に位置する物体までの距離を演算する演算手順と、
前記演算手順における演算値の信頼度を取得する信頼度取得手順と、
少なくとも前記撮像視野を含む検出可能範囲内に位置する物体までの距離を検出する検出手順と、
前記信頼度取得手順における前記信頼度が評価基準を満たしていない前記演算値を、該演算値に対応する前記検出手順における検出値で置き換えて、距離データを生成する補間手順と、
を含むことを特徴とする距離計測プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−３２２８５３（Ｐ２００６−３２２８５３Ａ）
【公開日】平成１８年１１月３０日（２００６．１１．３０）
【国際特許分類】
【出願番号】特願２００５−１４７１７５（Ｐ２００５−１４７１７５）
【出願日】平成１７年５月１９日（２００５．５．１９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１８年１１月３０日（２００６．１１．３０）
【国際特許分類】
【出願日】平成１７年５月１９日（２００５．５．１９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]