車両用障害物検出装置及びそれを用いた車両
【課題】走路上の障害物を検出する障害物検出装置を提供する。
【解決手段】
車両前方を撮影する赤外線カメラ２と、車両前方を撮影するステレオカメラ３と、赤外線カメラ２により撮影された赤外線画像を基に走路を特定する走路特定部５と、ステレオカメラ２により撮影された各画像に基づいてステレオ画像を作成するステレオ画像作成部６と、走路特定部５により特定された走路とステレオ画像とに基づいて、走路上の障害物を特定する障害物検出部７とを備える。
【解決手段】
車両前方を撮影する赤外線カメラ２と、車両前方を撮影するステレオカメラ３と、赤外線カメラ２により撮影された赤外線画像を基に走路を特定する走路特定部５と、ステレオカメラ２により撮影された各画像に基づいてステレオ画像を作成するステレオ画像作成部６と、走路特定部５により特定された走路とステレオ画像とに基づいて、走路上の障害物を特定する障害物検出部７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に設置されたカメラにより走路上の障害物を検出する車両用障害物検出装置及びそれを用いた車両に関する。
【背景技術】
【０００２】
従来、ゴルフ場内の走路を走行するゴルフカートには自動走行機能を有しているものがある。自動走行は、主に電磁誘導線などに沿って走行しており、また、ゴルフカートの前面に超音波センサを設けて、カート前方の障害物を検出する機能を有するものもある。超音波センサにより障害物が検出されると、ゴルフカートは減速または停止する制御がされている。
【０００３】
（１）特許文献１の技術
特許文献１に記載の走行制御装置は、走路上に設けられた白線等の走路基準線を検出し、この走路基準線に基づいて自動走行する。道路線形に応じた迅速な速度制御を行う走行制御装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２９２９１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の車両では、白線の無い走路に対しては走路を特定するのが困難である。たとえば、ゴルフ場の場合、ゴルフコースの芝生とゴルフカートの走路との境界に白線が無いことが多い。芝生と走路との輝度差は小さいので、可視光カメラにより撮影された画像を基に２値化処理をしても、走路と芝生とを区別することが困難であり、走路の特定をすることができない。また、超音波センサでは障害物が走路上にあるかどうかを判別できない問題がある。超音波センサは、車両前方にある物体を全て障害物と認定してしまい、走路外にある木々や上り坂まで障害物と認定してしまう場合がある。
【０００６】
本発明は、このような事情に鑑みてなされたものであって、白線の無い走路であっても走路を特定することができ、走路上の障害物のみを検出することができる車両用障害物検出装置及びそれを用いた車両を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は次のような構成をとる。
すなわち、本発明に係る車両用障害物検出装置は、車両前方を撮影する赤外線カメラと、車両前方を撮影するステレオカメラと、前記赤外線カメラにより撮影された赤外線画像を基に走路を特定する走路特定部と、前記ステレオカメラにより撮影された各画像に基づいてステレオ画像を作成するステレオ画像作成部と、前記走路特定部により特定された走路と前記ステレオ画像とに基づいて、前記走路上の障害物を検出する障害物検出部とを備えた車両用障害物検出装置である。
【０００８】
本発明によれば、赤外線画像を基に走路を特定し、特定された赤外線画像の走路に対応するステレオカメラが撮影した各画像における領域、すなわち、ステレオカメラが撮影した各画像における走路のステレオ画像を作成する。作成されたステレオ画像から走路上の障害物を検出する。赤外線画像により走路を特定するので、走路に白線が無くても走路を検出することができる。また、走路上における障害物のみを検出するので、走路外の障害物を誤認することがない。
【０００９】
また、前記走路特定部は、前記赤外線画像の各画素に対して予め定められた第１閾値を基準として前記各画素を低輝度画素と高輝度画素とに２値化処理する２値化処理部と、予め定められた領域と前記高輝度画素とが重複する領域を部分走路領域と推定する走路推定部と、前記部分走路領域と隣接する前記高輝度画素を順にラベリングして仮走路を特定するラベリング部と、前記仮走路内に含まれる低輝度画素と前記仮走路とを走路として特定する走路補正部とを有することが好ましい。
【００１０】
赤外線画像における各画素に対して予め定められた第１閾値を基準として、各画素を低輝度画素と高輝度画素とに２値化処理することで、赤外線画像において第１閾値よりも赤外線量の多い領域と少ない領域とに判別することができる。走路は第１閾値よりも赤外線量が多い領域に含まれ、高輝度画素領域の一部が走路であるので、赤外線画像を走路を含む領域と、走路を含まない領域とに２分することができる。高輝度画素領域と予め定められた領域とが重複する領域を部分走路領域として推定する。走路は連続して存在するので、部分走路領域と連続する高輝度画素も走路として認定されるので、順にラベリングして仮走路として特定する。また、仮走路内に含まれる低輝度画素も走路領域内であるので、仮走路内に含まれる低輝度画素と仮走路とを走路として特定することで、白線の無い走路であっても精度良く走路を特定することができる。
【００１１】
また、前記障害物検出部は、前記ステレオ画像上の前記走路に対応する領域のみ３次元座標を算出して障害物を検出してもよい。障害物の検出に３次元座標を用いることで精度向上を図ることができる。また、ステレオ画像上の走路の特定をしてから障害物を検出することで３次元座標の算出領域をステレオ画像上の走路に対応する領域に限定することができ、演算負荷の軽減をすることができる。
【００１２】
また、前記ステレオ画像作成部は、前記ステレオカメラにより撮影された各画像において、前記赤外線画像上で特定された前記走路に対応する領域を基に走路のステレオ画像を作成してもよい。ステレオ画像の作成を走路部分に限定することでステレオ画像作成の演算負荷を軽減することができ、障害物の検出をより高速に実施することができる。
【００１３】
また、前記ステレオ画像作成部は、前記赤外線画像を基に特定された前記走路の座標位置に対応する前記ステレオカメラが撮影した各画像における走路を特定する走路マッチング部と、前記ステレオカメラにより撮影された各画像において特定された前記走路を基に前記走路のステレオ画像を作成するステレオ走路画像作成部とを有することが好ましい。
【００１４】
赤外線画像を基に特定された走路の座標位置を用いて、ステレオカメラが撮影した各画像における走路を特定するので、ステレオカメラが撮影した各画像上の走路の特定を容易に実施することができる。さらに、ステレオ画像を作成するのが走路領域だけであるので、画像全体のステレオ画像を作成するのに比べて演算負荷の軽減をすることができる。
【００１５】
また、前記障害物検出部は、前記走路のステレオ画像を基に前記走路の３次元座標を計測する３次元座標計測部と、前記走路の３次元座標を基に前記走路上の障害物を判別する障害物判別部とを有することが好ましい。この構成によれば、ステレオ画像上の走路領域の各画素に対して３次元座標を計測し、３次元座標を基に障害物を検出するので、精度良く障害物を検出することができる。
【００１６】
また、前記障害物判別部は、前記走路の３次元座標を基に、奥行き方向に対する車両高さ方向の変化率を算出し、前記奥行き方向に対する車両高さ方向の変化率と予め定められた第２閾値とを比較し、前記第２閾値よりも前記奥行き方向に対する車両高さ方向の変化率が大きい前記走路の３次元座標上に障害物が有ると判別してもよい。この構成によれば、奥行き方向に対する車両高さ方向の変化率に対して予め定められた第２閾値を基準として障害物を判別するので、適切に障害物を検出することができる。
【００１７】
また、前記ステレオ画像作成部は、前記ステレオカメラの少なくとも１つのカメラにより撮影された画像における、前記赤外線画像を基に特定された前記走路に対応する領域のエッジを強調するエッジ強調部を有し、前記ステレオ走路画像作成部は、特定された前記走路内のエッジが強調された点または線のステレオ画像を作成し、前記障害物検出部は、前記エッジが強調された点または線上の３次元座標を計測する３次元座標計測部と、前記エッジが強調された点または線上の３次元座標を基に、奥行き方向に対する車両高さ方向の変化率を算出し、前記奥行き方向に対する車両高さ方向の変化率と予め定められた第２閾値とを比較し、前記第２閾値よりも前記奥行き方向に対する車両高さ方向の変化率が大きい前記走路の３次元座標上に障害物が有ると判別する障害物判別部とを有してもよい。
【００１８】
この構成によれば、ステレオカメラの少なくとも１つのカメラにより撮影された画像における、赤外線画像を基に特定された記走路に対応する領域のエッジを強調し、このエッジ強調部分のステレオ画像を作成する。さらに、エッジが強調された点または線上の３次元座標を基に、奥行き方向に対する車両高さ方向の変化率を算出する。奥行き方向に対する車両高さ方向の変化率と予め定められた第２閾値とを比較し、第２閾値よりも奥行き方向に対する車両高さ方向の変化率が大きい走路の３次元座標上に障害物が有ると判別する。
ステレオ画像の作成および奥行き方向に対する車両高さ方向の変化率をエッジ強調部分だけ算出して障害物を判別するので、障害物の検出負荷を低減することができる。
【００１９】
また、前記赤外線カメラと前記ステレオカメラとが車幅方向に直線上に配置されていることが好ましい。この構成によれば、赤外線カメラと前記ステレオカメラとが車幅方向に直線上に配置されているので、赤外線画像上の走路とステレオカメラが撮影した各画像上の走路との対応を容易にすることができる。
【００２０】
また、前記ステレオカメラは複数の可視光カメラを有することが好ましい。ステレオカメラが複数の可視光カメラを有することで、ステレオカメラによる画像の解像度を上げることができ、精度の良いステレオ画像を作成することができる。これより、位置精度の高い走路の３次元座標を得ることができる。
【００２１】
また、前記赤外線カメラが２個の可視光カメラを有する前記ステレオカメラの各カメラの間に配置されていることが好ましい。この構成によれば、赤外線カメラがステレオカメラの各カメラの間に配置されているので、赤外線画像上における走路とステレオカメラが撮影した各画像上の走路との位置ずれを低減することができる。
【００２２】
また、前記赤外線カメラの撮影領域と前記ステレオカメラの少なくとも１つのカメラの撮影領域とが位置合わせされていることが好ましい。この構成によれば、赤外線カメラの撮影領域とステレオカメラの少なくとも１つのカメラの撮影領域とが位置合わせされているので、赤外線画像上における走路とステレオカメラが撮影した各画像上の走路との位置合わせを容易にすることができる。
【００２３】
また、本発明に係る車両は、上記車両用障害物検出装置を備えた車両である。上記車両用障害物検出装置を備えることで、走路上の障害物を検出することができる。
【発明の効果】
【００２４】
本発明によれば、赤外線画像を基に走路を特定し、特定された赤外線画像の走路に対応するステレオカメラが撮影した各画像における領域、すなわち、ステレオカメラが撮影した各画像における走路のステレオ画像を作成する。作成されたステレオ画像から走路上の障害物を検出する。赤外線画像により走路を特定するので、走路に白線が無くても走路を検出することができる。また、走路上における障害物のみを検出するので、走路外の障害物を誤認することがない。
【図面の簡単な説明】
【００２５】
【図１】実施例に係る車両の前面図である。
【図２】実施例に係る車両の構成を示す機能ブロック図である。
【図３】実施例に係る障害物検出装置の構成を示すブロック図である。
【図４】実施例１に係る走路特定部の構成を示すブロック図である。
【図５】実施例１に係る２値化処理された赤外線画像を示す説明図である。
【図６】実施例１に係る２値化処理された赤外線画像を示す説明図である。
【図７】実施例１に係る２値化画像において走路の推定を示す説明図である。
【図８】実施例１に係るラベリングされた走路領域を示す説明図である。
【図９】実施例１に係る補正された走路領域を示す説明図である。
【図１０】実施例１に係るステレオ画像作成部の構成を示すブロック図である。
【図１１】実施例に係る障害物検出部の構成を示すブロック図である。
【図１２】実施例１に係る障害物検出の流れを示すフローチャートである。
【図１３】実施例２に係るステレオ画像作成部の構成を示すブロック図である。
【図１４】実施例３および４に係る障害物検出装置の構成を示すブロック図である。
【図１５】実施例３に係る障害物検出部の構成を示すブロック図である。
【図１６】実施例４に係る障害物検出部の構成を示すブロック図である。
【発明を実施するための形態】
【実施例１】
【００２６】
以下、図面を参照して本発明の実施例１を説明する。本発明における車両の実施形態として、自動走行するゴルフカートを挙げる。なお、以下の説明で、前後および左右とは車両１の前進する方向を基準としている。
【００２７】
１．車両の概略構成
図１および図２を参照する。図１は、実施例に係る車両１の概略構成を示す前面図であり、図２は車両１の構成を示す機能ブロック図である。車両１はゴルフ場内を自動または手動走行するゴルフカートである。車両１は、走路に埋め込まれた誘導線から発せられる電磁波に誘導されて自動走行することができる。車両１の前面中央部に赤外線カメラ２と、赤外線カメラ２を挟んで２個の可視光カメラ３ａ、３ｂで構成されるステレオカメラ３とが直線上に設けられている。なおステレオカメラ３は、２個以上の可視光カメラで構成されてもよい。赤外線カメラ２とステレオカメラ３の少なくとも基準カメラである可視光カメラ３ａとはキャリブレーションなどで予め各画像の各座標位置が対応づけられている。赤外線カメラ２とステレオカメラ３とが直線上に配置されているので各画像の各座標位置の対応付けが容易に実施できる。また、赤外線カメラ２を挟んで２個の可視光カメラ３ａ、３ｂが配置されているので、赤外線画像上における走路とステレオカメラが撮影した各画像上の走路との位置合わせを容易にすることができる。また、ステレオカメラ３は可視光カメラ３ａ、３ｂで構成されるので、赤外線カメラに比べて解像度の高い画像を得ることができる。
【００２８】
また、車両１には、車両１が走行する走路および走路上の障害物を検出する障害物検出装置４と、障害物検出装置４が障害物を検出すると運転者に警告を発生する警告出力部８と、障害物の検出により減速または停止の制御をする走行速度制御部９と、車輪を駆動し、走行速度制御部９により回転数が制御される駆動モータ１０とが設けられている。本実施例において、車両１はモータで駆動されるがこれに限らず、エンジンにより駆動されてもよい。
【００２９】
２．障害物検出装置の構成
次に図３を参照して車両１に備えられた障害物検出装置の構成を説明する。図３は、障害物検出装置の構成を示すブロック図である。
【００３０】
障害物検出装置４は、車両１の前方の赤外線画像を撮影する赤外線カメラ２と、車両１の前方の可視光画像を撮影するステレオカメラ３と、赤外線画像を基に車両１の走路を特定する走路特定部５と、ステレオカメラ３により撮影された可視光画像を基にステレオ画像を作成するステレオ画像作成部６と、走路上の障害物を特定する障害物検出部７とを備える。走路特定部５、ステレオ画像作成部６および障害物検出部７はマイクロプロセッサとメモリとで構成される。次にそれぞれの構成部について順に説明する。
【００３１】
図４を参照する。図４は走路特定部５の構成を示すブロック図である。走路特定部５は、赤外線画像に対して２値化処理する２値化処理部１１と、２値化処理された赤外線画像において走路の一部を推定する走路推定部１２と、推定された走路に隣接する同じ輝度値の画像をラベリングするラベリング部１３と、ラベリングされた走路を補正する走路補正部１４とを有する。
【００３２】
２値化処理部１１は、赤外線カメラ２により撮影された赤外線画像を予め定められた閾値で２値化処理する。図５は、２値化処理された赤外線画像の一例である。赤外線カメラ２により撮影された赤外線画像において、赤外線を反射する領域は白く、赤外線を吸収する領域は黒く写される。この性質により、芝生は白く高輝度に、走路２５は黒く低輝度に写される。芝生が白く写されるのは、植物の葉に含まれるクロロフィルが赤外線を反射するからである。また、黒く写されるのは走路２５以外にも、樹木の幹２６や、空２７、建物２８等が挙げられる。予め定められた閾値で赤外線画像を２値化処理することで、高輝度領域と低輝度領域（図５斜線部）とに２分することができる。高輝度領域は芝生や葉が写されている領域であり、低輝度領域には走路２５、樹木の幹２６、空２７および建物２８等が含まれる。なお、走路２５内に例えば葉や芝生が落ちていると、高輝度領域２９として検出される。
【００３３】
走路推定部１２は、画像の下方中央付近の低輝度領域を走路の一部と推定する。これは、赤外線カメラ２が車両１の前面に設けられているので、赤外線カメラ２が撮影する赤外線画像の下方中央付近には必ず走路が含まれる。そこで、２値化処理された赤外線画像（以後、２値化画像と称す）における下方中央付近の低輝度領域を走路の一部と推定することができる。
【００３４】
図６および図７は、２値化画像において走路の推定を示す説明図である。２値化画像において、画像の左下隅を画像の原点Ｏとして、２値化画像内のｘ１≦ｘ≦ｘ２、ｙ１≦ｙ≦ｙ２の範囲Ａｒ内に低輝度領域の画素が存在するときに（図６）、その画素を走路領域の一部３０と推定する（図７）。
【００３５】
ラベリング部１３は、走路推定部１２により推定された走路領域に連続する低輝度領域の画素を順に連結（ラベリング）する。走路は連続しているので、推定された走路領域に連続する全ての低輝度領域の画素を走路領域とすることができる。図８はラベリングされた走路３１を示す説明図である。
【００３６】
走路補正部１４は、ラベリングされた走路内に含まれる高輝度領域も走路として補正する。また、ラベリングされた走路に連続しない低輝度領域を走路と認定しない。すなわち、図８におけるラベリングされた走路３１および走路３１に囲まれた高輝度領域２９とが、新たに走路３２として補正される。また、ラベリングされた走路３１に連続しない樹木の幹２６、空２７および建物２８等の低輝度領域は走路ではないと判別される（図９参照）。以上より、白線の無い走路においても精度よく走路を特定することができる。検出された走路３２の座標情報がステレオ画像作成部６へ送られる。
【００３７】
次に図１０を参照してステレオ画像作成部を説明する。図１０はステレオ画像作成部の構成を示すブロック図である。ステレオ画像作成部６は、赤外線画像上で特定された走路を各可視光画像にマッチングして可視光画像上の走路を特定する走路マッチング部１６と、各可視光画像における走路を基に、走路のステレオ画像を作成するステレオ走路画像作成部１７とを有する。可視光カメラ３ａで撮影された画像を左眼画像として、可視光カメラ３ｂで撮影された画像を右眼画像としてそれぞれステレオ画像が作成される。
【００３８】
走路マッチング部１６は、可視光カメラ３ａおよび３ｂで撮影された各可視光画像上において、赤外線画像上で特定された走路の座標を指定することで、可視光画像上の走路を特定する。すなわち、走路特定部５の走路補正部１４から送られる２値化画像上の走路３２の座標と対応する各可視光画像の領域を走路として特定する。なお、走路補正部１４にて補正された走路３２を含む一回り大きい領域の座標を走路の座標としてもよい。赤外線カメラ２と可視光カメラ３ａおよび３ｂとの視野のズレを吸収することができる。この可視光画像上における特定された走路領域の画像情報がステレオ走路画像作成部１７へ送られる。
【００３９】
ステレオ走路画像作成部１７は、各可視光画像上の走路を基に走路のステレオ画像を作成する。すなわち、ステレオマッチング法により、可視光カメラ３ａで撮影された走路の各画素に対応する可視光カメラ３ｂで撮影された走路の各画素との視差ｄ（ｘ，ｙ）を有するステレオ画像を作成する。ステレオマッチング法として、左眼画像と右眼画像との対応点によりマッチングさせてもよいし、輝度値の分布状況から差分値の一番小さな対応関係となるようにマッチングさせてもよい。作成された走路のステレオ画像は障害物検出部７へ送られる。
【００４０】
次に図１１を参照して障害物検出部を説明する。図１１は障害物検出部の構成を示すブロック図である。障害物検出部７は、走路のステレオ画像から走路の３次元座標を計測する３次元座標計測部２１と、計測された３次元座標を基に、走路上の障害物を判定する障害物判別部２２とを有する。
【００４１】
３次元座標計測部２１は、特定された走路領域のステレオ画像を基に、走路領域の各点の３次元座標を計測する。すなわち、基準カメラである可視光カメラ３ａの焦点を原点とした走路の３次元座標を、可視光カメラ３ａが撮影した画像上の座標（ｘ，ｙ）およびステレオ画像における視差ｄ（ｘ，ｙ）から以下の計算式を用いて算出することができる。
【００４２】
Ｚ＝Ｔ・ｆ／ｄ（ｘ，ｙ） …（１）
Ｘ＝（ｘ−ｘ０）・Ｚ／ｆ …（２）
Ｙ＝（ｙ−ｙ０）・Ｚ／ｆ …（３）
ここで、ｆは可視光カメラ３ａの焦点距離であり、Ｔはステレオカメラ３（可視光カメラ３ａと３ｂ）のカメラ間隔である。（ｘ０，ｙ０）は可視光カメラ３ａが撮影した画像の中心座標である。また、Ｚは距離方向（奥行き方向）を示し、Ｘは水平方向を示し、Ｙは鉛直方向（高さ方向）を示す。以上より、画面上の２次元座標から３次元の世界座標を計測することができる。
【００４３】
障害物判別部２２は、特定された走路領域内の３次元座標を基に、走路上の障害物の有無を判別する。車両１が走行する走路には、一般的に傾斜に上限があり、かつ傾斜変化がなだらかである。これより、走路領域内で、傾斜θが予め設定された閾値を越える場合、または、傾斜変化Δθが予め設定された閾値を越える場合、障害物が有ると判別する。この条件を満たさない場合は、障害物が無いと判別する。
【００４４】
例えば、Ｚ−Ｙ方向の傾斜を判別基準として障害物を判別する場合、以下の式により判別することができる。以下の式において、
ｕ＝ｘ−ｘ０，ｖ＝ｙ−ｙ０，Ｃ＝Ｔ・ｆ
であり、βおよびγは予め設定された値である。
【００４５】
θ＝ΔＹ／ΔＺ
＝（Ｙ（ｕ，ｖ＋１）−Ｙ（ｕ，ｖ））／（Ｚ（ｕ，ｖ＋１）−Ｚ（ｕ，ｖ））
＝（（ｖ＋１）・Ｃ／ｄ（ｕ，ｖ＋１）−ｖ・Ｃ／ｄ（ｕ，ｖ））／（Ｃ／ｄ（ｕ，ｖ＋１）−Ｃ／ｄ（ｕ，ｖ））
＝（（ｖ＋１）／ｄ（ｕ，ｖ＋１）−ｖ／ｄ（ｕ，ｖ））／（１／ｄ（ｕ，ｖ＋１）−１／ｄ（ｕ，ｖ））
＞β …（４）
【００４６】
｜Δθ｜
＝（Ｙ（ｕ，ｖ＋２）−Ｙ（ｕ，ｖ＋１））／（Ｚ（ｕ，ｖ＋２）−Ｚ（ｕ，ｖ＋１））−（Ｙ（ｕ，ｖ＋１）−Ｙ（ｕ，ｖ））／（Ｚ（ｕ，ｖ＋１）−Ｚ（ｕ，ｖ））
＝（（ｖ＋２）／ｄ（ｕ，ｖ＋２）−ｖ／ｄ（ｕ，ｖ＋１））／（１／ｄ（ｕ，ｖ＋２）−１／ｄ（ｕ，ｖ＋１））−（（ｖ＋１）／ｄ（ｕ，ｖ＋１）−ｖ／ｄ（ｕ，ｖ））／（１／ｄ（ｕ，ｖ＋１）−１／ｄ（ｕ，ｖ））
＞γ …（５）
【００４７】
（４）式では、Ｚ−Ｙ方向の傾斜の大きさを基準としており、（５）式ではＺ−Ｙ方向の傾斜の変化の大きさを基準として障害物を判別するので適切に障害物を検出することができる。（４）式または（５）式を満たす場合、障害物が存在すると判別する。障害物が存在すると判別された場合、障害物検出信号が警告出力部８および走行速度制御部９へ送られる。警告出力部８は、障害物検出信号が送られると、音声または映像により運転者へ障害物が走路上に有ることの警告を発する。走行速度制御部９は、障害物検出信号が送られると、障害物までの距離Ｚに応じて車両１の減速または停止の制御が実施される。
【００４８】
次に、実施例１における走路特定および障害物検出の動作を図１２を用いて説明する。図１２は、障害物検出の処理手順を示すフローチャートである。
【００４９】
車両１の前面に設けられた赤外線カメラ２により赤外線画像が撮影される（ステップＳ０１）。また、この撮影と同期して、ステレオカメラ３によりステレオ画像が撮影される（ステップＳ０２）。撮影された赤外線画像は、予め定められた閾値を基準として２値化処理される（ステップＳ０３）。２値化処理により、高輝度領域と低輝度領域に２分された赤外線画像の予め設定された画像中央下部領域と低輝度領域との重複部分を走路領域の一部分として特定する（ステップＳ０４）。特定された走路領域の一部分と連続する低輝度領域を走路としてラベリングする（ステップＳ０５）。ラベリングされた走路領域内に含まれる高輝度領域も走路として特定し、ラベリングされた走路領域と隣接しない低輝度領域を走路として特定しないことで、２値化画像上の走路を特定する（ステップＳ０６）。
【００５０】
次に、２値化画像において特定された走路領域と対応する、ステレオカメラ３により撮影された左眼画像および右眼画像上の走路領域を特定する（ステップＳ０７）。左眼画像および右眼画像上の特定された走路領域のみ視差情報を有するステレオ画像を作成する（ステップＳ０８）。作成されたステレオ画像とステレオカメラ３の焦点距離とを基に、走路の３次元座標を計測する（ステップＳ９）。走路の３次元座標から、走路の傾斜の大きさおよび傾斜変化を算出し、これらの値を予め設定された閾値とそれぞれ比較することで障害物の有無を判別して障害物の位置を特定する（ステップＳ１０）。
【００５１】
実施例１によれば、赤外線画像により走路領域を特定するので、走路に白線がなくても走路を検出することができる。また、赤外線画像上の走路領域だけステレオ画像を作成し走路上の三次元座標計測および障害物検出を行うので、画像全体に対してステレオ画像の作成の処理をするよりも処理速度が向上し、走路外にあるものに対して障害物と判定することを防ぐことができる。また、傾斜変化を考慮しているので、上り坂を障害物と誤検出することがない。また、平易な構成で安価な障害物検出装置を作成することができる。
【実施例２】
【００５２】
図１３を参照して実施例２に係る障害物検出装置について説明する。
図１３は実施例２に係るステレオ画像作成部６’の構成を示すブロック図である。第２実施例は、第１実施例におけるステレオ画像作成および３次元座標計測する走路領域を変更したものである。よって、ここで記載した以外の障害物検出装置および車両の構造は実施例１と同様である。図１３において、実施例１に示した符号と同一の符号で示した部分は、実施例１と同様の構成であるのでここでの説明は省略する。
【００５３】
実施例２の特徴は、実施例１における全ての走路領域におけるステレオ画像の作成に代えて、基準画像である左眼画像上において走路のエッジ強調処理を実施し、強調された点またはラインに対して３次元座標計測をして障害物を検出する点である。これは、障害物の無い走路の輝度値は変化が少なく、障害物のある走路領域は輝度値の変化が大きいことを利用している。
【００５４】
エッジ強調部４１は、可視光カメラ３ａにより撮影された左眼画像において対応する走路領域をエッジ強調する。このエッジ強調はたとえばハイパスフィルタを実施すればよい。ステレオ走路画像作成部１７’は、左眼画像におけるエッジ強調された走路領域の画像とこれに対応する右眼画像におけるエッジ強調部分の領域の画像とから、エッジ強調部分の点およびライン部分領域のステレオ画像を作成する。作成されたステレオ画像は障害物検出部７へ送られ、３次元座標計測部２１でエッジが強調された点または線上の３次元座標を計測する。障害物判別部２２では、エッジが強調された点または線上の３次元座標を基に、奥行き方向に対する車両高さ方向の変化率を算出し、奥行き方向に対する車両高さ方向の変化率と予め定められた第２閾値とを比較し、第２閾値よりも奥行き方向に対する車両高さ方向の変化率が大きい走路の３次元座標上に障害物が有ると判別する。実施例２によれば、走路領域の全ての領域のステレオ画像の作成および３次元座標を計測しなくてもよいので、障害物を検出する演算の負荷を軽減することができる。
【実施例３】
【００５５】
図１４および図１５を参照して実施例３に係る障害物検出装置について説明する。
図１４は実施例３に係る障害物検出装置５４の構成を示すブロック図であり、図１５は実施例３に係る障害物検出部５７の構成を示すブロック図である。実施例３は、実施例１におけるステレオ画像作成および障害物検出方法を変更したものである。よって、ここで記載した以外の障害物検出装置および車両の構造は実施例１と同様である。図１４および図１５において、実施例１に示した符号と同一の符号で示した部分は、実施例１と同様の構成であるのでここでの説明は省略する。
【００５６】
実施例３の特徴は、実施例１において走路領域だけ作成していたステレオ画像を撮影画像全体のステレオ画像を作成する点である。これに伴って、走路特定部の出力を障害物検出部に変更し、作成されたステレオ画像に対して走路の特定を実施する。
【００５７】
ステレオ画像作成部５６は、可視光カメラ３ａ、３ｂから入力された左眼画像および右眼画像を基に、撮影画像全体のステレオ画像を作成する。作成されたステレオ画像は障害物検出部５７へ送られる。また、走路特定部５にて特定された走路３２の座標情報が障害物検出部５７へ送られる。
【００５８】
障害物検出部５７は、赤外線画像上で特定された走路を作成されたステレオ画像にマッチングしてステレオ画像上の走路を特定する走路マッチング部５８と、走路のステレオ画像から走路の３次元座標を計測する３次元座標計測部２１と、計測された３次元座標を基に、走路上の障害物を判定する障害物判別部２２とを有する。
【００５９】
走路マッチング部５８は、作成されたステレオ画像上において、赤外線画像上で特定された走路の座標を指定することで、ステレオ画像上の走路を特定する。すなわち、走路特定部５の走路補正部１４から送られる２値化画像上の走路３２の座標と対応するステレオ画像の領域を走路として特定する。なお、走路補正部１４にて補正された走路３２を含む一回り大きい領域の座標を走路の座標としてもよい。
【００６０】
実施例３の障害物検出装置を用いても、赤外線画像により走路を特定するので、走路に白線が無くても走路を検出することができる。また、走路上における障害物のみを検出するので、走路外の障害物を誤認することがない。
【実施例４】
【００６１】
図１４および図１６を参照して実施例４に係る障害物検出装置について説明する。
図１６は実施例４に係る障害物検出部６７の構成を示すブロック図である。実施例４は、実施例３における障害物検出方法をさらに変更したものである。よって、ここで記載した以外の障害物検出装置および車両の構造は実施例３と同様である。図１６において、実施例３または実施例１に示した符号と同一の符号で示した部分は、実施例３または実施例１と同様の構成であるのでここでの説明は省略する。
【００６２】
実施例４の特徴は、実施例３において撮影画像全体のステレオ画像に対して走路の特定が実施されたが、実施例４では撮影画像全体のステレオ画像を基に撮影画像全体の３次元座標を計測し、この撮影画像全体の３次元座標に対して走路の特定を実施する点である。
【００６３】
障害物検出部６７は、画像全体のステレオ画像から画像全体の３次元座標を計測する３次元座標計測部６１と、赤外線画像上で特定された走路を作成された３次元座標にマッチングして３次元座標上の走路を特定する走路マッチング部６８と、計測された３次元座標を基に、走路上の障害物を判定する障害物判別部２２とを有する。
【００６４】
３次元座標計測部６１は、作成された画像全体のステレオ画像を基に、画像上の各点の３次元座標を計測する。３次元座標の計測の方法は実施例１と同様である。走路マッチング部６８は、作成された３次元座標上において、赤外線画像上で特定された走路の座標を指定することで、３次元座標上の走路を特定する。すなわち、走路特定部５の走路補正部１４から送られる２値化画像上の走路３２の座標と対応する３次元座標上の領域を走路として特定する。なお、走路補正部１４にて補正された走路３２を含む一回り大きい領域の座標を走路の座標としてもよい。
【００６５】
実施例４の障害物検出装置を用いても、赤外線画像により走路を特定するので、走路に白線が無くても走路を検出することができる。また、走路上における障害物のみを検出するので、走路外の障害物を誤認することがない。
【００６６】
本発明は、上記実施例のものに限らず、次のように変形実施することができる。
【００６７】
（１）上記実施例において、２値化処理した後の赤外線画像に対してノイズ除去フィルタを実施して小さいノイズを除去してもよい。ノイズ除去フィルタとして膨張−収縮アルゴリズムを採用することができる。小さいノイズを除去することで、低輝度領域および高輝度領域の区別が明確化される。
【００６８】
（２）上記実施例では、傾斜の計算を２点の座標から算出しているが、３点以上の座標から算出しても良い。同様に、傾斜変化の計算を４点以上の座標から算出しても良い。また、障害物の判別に使用する傾斜、および、傾斜変化の計算は、必ずしも画像内の隣接している点に対するものでなくても良い。
【００６９】
（３）上記実施例では、１つの傾斜、あるいは、１つの傾斜変化から、障害物の判別を行っているが、複数の傾斜、あるいは、傾斜変化を考慮して、障害物の判別を行っても良い。
【００７０】
（４）上記実施例では、Ｚ−Ｙ方向の傾斜、および、傾斜変化から障害物を判別しているが、Ｘ−Ｙ方向を使っても良い。また、複数の方向の傾斜、および、傾斜変化から障害物を判別しても良い。
【００７１】
（５）上記実施例では、Ｚ−Ｙ方向の傾斜、および、傾斜変化から障害物を判別しているが、傾斜変化からのみ障害物を判別しても良い。
【符号の説明】
【００７２】
１ … 車両
２ … 赤外線カメラ
３ … ステレオカメラ
３ａ、３ｂ …可視光カメラ
４ … 障害物検出装置
５ … 走路特定部
６ … ステレオ画像作成部
１１ … ２値化処理部
１２ … 走路推定部
１３ … ラベリング部
１４ … 走路補正部
１６ … 走路マッチング部
１７ … ステレオ走路画像作成部
２１ … ３次元座標計測部
２２ … 障害物判別部
【技術分野】
【０００１】
本発明は、車両に設置されたカメラにより走路上の障害物を検出する車両用障害物検出装置及びそれを用いた車両に関する。
【背景技術】
【０００２】
従来、ゴルフ場内の走路を走行するゴルフカートには自動走行機能を有しているものがある。自動走行は、主に電磁誘導線などに沿って走行しており、また、ゴルフカートの前面に超音波センサを設けて、カート前方の障害物を検出する機能を有するものもある。超音波センサにより障害物が検出されると、ゴルフカートは減速または停止する制御がされている。
【０００３】
（１）特許文献１の技術
特許文献１に記載の走行制御装置は、走路上に設けられた白線等の走路基準線を検出し、この走路基準線に基づいて自動走行する。道路線形に応じた迅速な速度制御を行う走行制御装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２９２９１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の車両では、白線の無い走路に対しては走路を特定するのが困難である。たとえば、ゴルフ場の場合、ゴルフコースの芝生とゴルフカートの走路との境界に白線が無いことが多い。芝生と走路との輝度差は小さいので、可視光カメラにより撮影された画像を基に２値化処理をしても、走路と芝生とを区別することが困難であり、走路の特定をすることができない。また、超音波センサでは障害物が走路上にあるかどうかを判別できない問題がある。超音波センサは、車両前方にある物体を全て障害物と認定してしまい、走路外にある木々や上り坂まで障害物と認定してしまう場合がある。
【０００６】
本発明は、このような事情に鑑みてなされたものであって、白線の無い走路であっても走路を特定することができ、走路上の障害物のみを検出することができる車両用障害物検出装置及びそれを用いた車両を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は次のような構成をとる。
すなわち、本発明に係る車両用障害物検出装置は、車両前方を撮影する赤外線カメラと、車両前方を撮影するステレオカメラと、前記赤外線カメラにより撮影された赤外線画像を基に走路を特定する走路特定部と、前記ステレオカメラにより撮影された各画像に基づいてステレオ画像を作成するステレオ画像作成部と、前記走路特定部により特定された走路と前記ステレオ画像とに基づいて、前記走路上の障害物を検出する障害物検出部とを備えた車両用障害物検出装置である。
【０００８】
本発明によれば、赤外線画像を基に走路を特定し、特定された赤外線画像の走路に対応するステレオカメラが撮影した各画像における領域、すなわち、ステレオカメラが撮影した各画像における走路のステレオ画像を作成する。作成されたステレオ画像から走路上の障害物を検出する。赤外線画像により走路を特定するので、走路に白線が無くても走路を検出することができる。また、走路上における障害物のみを検出するので、走路外の障害物を誤認することがない。
【０００９】
また、前記走路特定部は、前記赤外線画像の各画素に対して予め定められた第１閾値を基準として前記各画素を低輝度画素と高輝度画素とに２値化処理する２値化処理部と、予め定められた領域と前記高輝度画素とが重複する領域を部分走路領域と推定する走路推定部と、前記部分走路領域と隣接する前記高輝度画素を順にラベリングして仮走路を特定するラベリング部と、前記仮走路内に含まれる低輝度画素と前記仮走路とを走路として特定する走路補正部とを有することが好ましい。
【００１０】
赤外線画像における各画素に対して予め定められた第１閾値を基準として、各画素を低輝度画素と高輝度画素とに２値化処理することで、赤外線画像において第１閾値よりも赤外線量の多い領域と少ない領域とに判別することができる。走路は第１閾値よりも赤外線量が多い領域に含まれ、高輝度画素領域の一部が走路であるので、赤外線画像を走路を含む領域と、走路を含まない領域とに２分することができる。高輝度画素領域と予め定められた領域とが重複する領域を部分走路領域として推定する。走路は連続して存在するので、部分走路領域と連続する高輝度画素も走路として認定されるので、順にラベリングして仮走路として特定する。また、仮走路内に含まれる低輝度画素も走路領域内であるので、仮走路内に含まれる低輝度画素と仮走路とを走路として特定することで、白線の無い走路であっても精度良く走路を特定することができる。
【００１１】
また、前記障害物検出部は、前記ステレオ画像上の前記走路に対応する領域のみ３次元座標を算出して障害物を検出してもよい。障害物の検出に３次元座標を用いることで精度向上を図ることができる。また、ステレオ画像上の走路の特定をしてから障害物を検出することで３次元座標の算出領域をステレオ画像上の走路に対応する領域に限定することができ、演算負荷の軽減をすることができる。
【００１２】
また、前記ステレオ画像作成部は、前記ステレオカメラにより撮影された各画像において、前記赤外線画像上で特定された前記走路に対応する領域を基に走路のステレオ画像を作成してもよい。ステレオ画像の作成を走路部分に限定することでステレオ画像作成の演算負荷を軽減することができ、障害物の検出をより高速に実施することができる。
【００１３】
また、前記ステレオ画像作成部は、前記赤外線画像を基に特定された前記走路の座標位置に対応する前記ステレオカメラが撮影した各画像における走路を特定する走路マッチング部と、前記ステレオカメラにより撮影された各画像において特定された前記走路を基に前記走路のステレオ画像を作成するステレオ走路画像作成部とを有することが好ましい。
【００１４】
赤外線画像を基に特定された走路の座標位置を用いて、ステレオカメラが撮影した各画像における走路を特定するので、ステレオカメラが撮影した各画像上の走路の特定を容易に実施することができる。さらに、ステレオ画像を作成するのが走路領域だけであるので、画像全体のステレオ画像を作成するのに比べて演算負荷の軽減をすることができる。
【００１５】
また、前記障害物検出部は、前記走路のステレオ画像を基に前記走路の３次元座標を計測する３次元座標計測部と、前記走路の３次元座標を基に前記走路上の障害物を判別する障害物判別部とを有することが好ましい。この構成によれば、ステレオ画像上の走路領域の各画素に対して３次元座標を計測し、３次元座標を基に障害物を検出するので、精度良く障害物を検出することができる。
【００１６】
また、前記障害物判別部は、前記走路の３次元座標を基に、奥行き方向に対する車両高さ方向の変化率を算出し、前記奥行き方向に対する車両高さ方向の変化率と予め定められた第２閾値とを比較し、前記第２閾値よりも前記奥行き方向に対する車両高さ方向の変化率が大きい前記走路の３次元座標上に障害物が有ると判別してもよい。この構成によれば、奥行き方向に対する車両高さ方向の変化率に対して予め定められた第２閾値を基準として障害物を判別するので、適切に障害物を検出することができる。
【００１７】
また、前記ステレオ画像作成部は、前記ステレオカメラの少なくとも１つのカメラにより撮影された画像における、前記赤外線画像を基に特定された前記走路に対応する領域のエッジを強調するエッジ強調部を有し、前記ステレオ走路画像作成部は、特定された前記走路内のエッジが強調された点または線のステレオ画像を作成し、前記障害物検出部は、前記エッジが強調された点または線上の３次元座標を計測する３次元座標計測部と、前記エッジが強調された点または線上の３次元座標を基に、奥行き方向に対する車両高さ方向の変化率を算出し、前記奥行き方向に対する車両高さ方向の変化率と予め定められた第２閾値とを比較し、前記第２閾値よりも前記奥行き方向に対する車両高さ方向の変化率が大きい前記走路の３次元座標上に障害物が有ると判別する障害物判別部とを有してもよい。
【００１８】
この構成によれば、ステレオカメラの少なくとも１つのカメラにより撮影された画像における、赤外線画像を基に特定された記走路に対応する領域のエッジを強調し、このエッジ強調部分のステレオ画像を作成する。さらに、エッジが強調された点または線上の３次元座標を基に、奥行き方向に対する車両高さ方向の変化率を算出する。奥行き方向に対する車両高さ方向の変化率と予め定められた第２閾値とを比較し、第２閾値よりも奥行き方向に対する車両高さ方向の変化率が大きい走路の３次元座標上に障害物が有ると判別する。
ステレオ画像の作成および奥行き方向に対する車両高さ方向の変化率をエッジ強調部分だけ算出して障害物を判別するので、障害物の検出負荷を低減することができる。
【００１９】
また、前記赤外線カメラと前記ステレオカメラとが車幅方向に直線上に配置されていることが好ましい。この構成によれば、赤外線カメラと前記ステレオカメラとが車幅方向に直線上に配置されているので、赤外線画像上の走路とステレオカメラが撮影した各画像上の走路との対応を容易にすることができる。
【００２０】
また、前記ステレオカメラは複数の可視光カメラを有することが好ましい。ステレオカメラが複数の可視光カメラを有することで、ステレオカメラによる画像の解像度を上げることができ、精度の良いステレオ画像を作成することができる。これより、位置精度の高い走路の３次元座標を得ることができる。
【００２１】
また、前記赤外線カメラが２個の可視光カメラを有する前記ステレオカメラの各カメラの間に配置されていることが好ましい。この構成によれば、赤外線カメラがステレオカメラの各カメラの間に配置されているので、赤外線画像上における走路とステレオカメラが撮影した各画像上の走路との位置ずれを低減することができる。
【００２２】
また、前記赤外線カメラの撮影領域と前記ステレオカメラの少なくとも１つのカメラの撮影領域とが位置合わせされていることが好ましい。この構成によれば、赤外線カメラの撮影領域とステレオカメラの少なくとも１つのカメラの撮影領域とが位置合わせされているので、赤外線画像上における走路とステレオカメラが撮影した各画像上の走路との位置合わせを容易にすることができる。
【００２３】
また、本発明に係る車両は、上記車両用障害物検出装置を備えた車両である。上記車両用障害物検出装置を備えることで、走路上の障害物を検出することができる。
【発明の効果】
【００２４】
本発明によれば、赤外線画像を基に走路を特定し、特定された赤外線画像の走路に対応するステレオカメラが撮影した各画像における領域、すなわち、ステレオカメラが撮影した各画像における走路のステレオ画像を作成する。作成されたステレオ画像から走路上の障害物を検出する。赤外線画像により走路を特定するので、走路に白線が無くても走路を検出することができる。また、走路上における障害物のみを検出するので、走路外の障害物を誤認することがない。
【図面の簡単な説明】
【００２５】
【図１】実施例に係る車両の前面図である。
【図２】実施例に係る車両の構成を示す機能ブロック図である。
【図３】実施例に係る障害物検出装置の構成を示すブロック図である。
【図４】実施例１に係る走路特定部の構成を示すブロック図である。
【図５】実施例１に係る２値化処理された赤外線画像を示す説明図である。
【図６】実施例１に係る２値化処理された赤外線画像を示す説明図である。
【図７】実施例１に係る２値化画像において走路の推定を示す説明図である。
【図８】実施例１に係るラベリングされた走路領域を示す説明図である。
【図９】実施例１に係る補正された走路領域を示す説明図である。
【図１０】実施例１に係るステレオ画像作成部の構成を示すブロック図である。
【図１１】実施例に係る障害物検出部の構成を示すブロック図である。
【図１２】実施例１に係る障害物検出の流れを示すフローチャートである。
【図１３】実施例２に係るステレオ画像作成部の構成を示すブロック図である。
【図１４】実施例３および４に係る障害物検出装置の構成を示すブロック図である。
【図１５】実施例３に係る障害物検出部の構成を示すブロック図である。
【図１６】実施例４に係る障害物検出部の構成を示すブロック図である。
【発明を実施するための形態】
【実施例１】
【００２６】
以下、図面を参照して本発明の実施例１を説明する。本発明における車両の実施形態として、自動走行するゴルフカートを挙げる。なお、以下の説明で、前後および左右とは車両１の前進する方向を基準としている。
【００２７】
１．車両の概略構成
図１および図２を参照する。図１は、実施例に係る車両１の概略構成を示す前面図であり、図２は車両１の構成を示す機能ブロック図である。車両１はゴルフ場内を自動または手動走行するゴルフカートである。車両１は、走路に埋め込まれた誘導線から発せられる電磁波に誘導されて自動走行することができる。車両１の前面中央部に赤外線カメラ２と、赤外線カメラ２を挟んで２個の可視光カメラ３ａ、３ｂで構成されるステレオカメラ３とが直線上に設けられている。なおステレオカメラ３は、２個以上の可視光カメラで構成されてもよい。赤外線カメラ２とステレオカメラ３の少なくとも基準カメラである可視光カメラ３ａとはキャリブレーションなどで予め各画像の各座標位置が対応づけられている。赤外線カメラ２とステレオカメラ３とが直線上に配置されているので各画像の各座標位置の対応付けが容易に実施できる。また、赤外線カメラ２を挟んで２個の可視光カメラ３ａ、３ｂが配置されているので、赤外線画像上における走路とステレオカメラが撮影した各画像上の走路との位置合わせを容易にすることができる。また、ステレオカメラ３は可視光カメラ３ａ、３ｂで構成されるので、赤外線カメラに比べて解像度の高い画像を得ることができる。
【００２８】
また、車両１には、車両１が走行する走路および走路上の障害物を検出する障害物検出装置４と、障害物検出装置４が障害物を検出すると運転者に警告を発生する警告出力部８と、障害物の検出により減速または停止の制御をする走行速度制御部９と、車輪を駆動し、走行速度制御部９により回転数が制御される駆動モータ１０とが設けられている。本実施例において、車両１はモータで駆動されるがこれに限らず、エンジンにより駆動されてもよい。
【００２９】
２．障害物検出装置の構成
次に図３を参照して車両１に備えられた障害物検出装置の構成を説明する。図３は、障害物検出装置の構成を示すブロック図である。
【００３０】
障害物検出装置４は、車両１の前方の赤外線画像を撮影する赤外線カメラ２と、車両１の前方の可視光画像を撮影するステレオカメラ３と、赤外線画像を基に車両１の走路を特定する走路特定部５と、ステレオカメラ３により撮影された可視光画像を基にステレオ画像を作成するステレオ画像作成部６と、走路上の障害物を特定する障害物検出部７とを備える。走路特定部５、ステレオ画像作成部６および障害物検出部７はマイクロプロセッサとメモリとで構成される。次にそれぞれの構成部について順に説明する。
【００３１】
図４を参照する。図４は走路特定部５の構成を示すブロック図である。走路特定部５は、赤外線画像に対して２値化処理する２値化処理部１１と、２値化処理された赤外線画像において走路の一部を推定する走路推定部１２と、推定された走路に隣接する同じ輝度値の画像をラベリングするラベリング部１３と、ラベリングされた走路を補正する走路補正部１４とを有する。
【００３２】
２値化処理部１１は、赤外線カメラ２により撮影された赤外線画像を予め定められた閾値で２値化処理する。図５は、２値化処理された赤外線画像の一例である。赤外線カメラ２により撮影された赤外線画像において、赤外線を反射する領域は白く、赤外線を吸収する領域は黒く写される。この性質により、芝生は白く高輝度に、走路２５は黒く低輝度に写される。芝生が白く写されるのは、植物の葉に含まれるクロロフィルが赤外線を反射するからである。また、黒く写されるのは走路２５以外にも、樹木の幹２６や、空２７、建物２８等が挙げられる。予め定められた閾値で赤外線画像を２値化処理することで、高輝度領域と低輝度領域（図５斜線部）とに２分することができる。高輝度領域は芝生や葉が写されている領域であり、低輝度領域には走路２５、樹木の幹２６、空２７および建物２８等が含まれる。なお、走路２５内に例えば葉や芝生が落ちていると、高輝度領域２９として検出される。
【００３３】
走路推定部１２は、画像の下方中央付近の低輝度領域を走路の一部と推定する。これは、赤外線カメラ２が車両１の前面に設けられているので、赤外線カメラ２が撮影する赤外線画像の下方中央付近には必ず走路が含まれる。そこで、２値化処理された赤外線画像（以後、２値化画像と称す）における下方中央付近の低輝度領域を走路の一部と推定することができる。
【００３４】
図６および図７は、２値化画像において走路の推定を示す説明図である。２値化画像において、画像の左下隅を画像の原点Ｏとして、２値化画像内のｘ１≦ｘ≦ｘ２、ｙ１≦ｙ≦ｙ２の範囲Ａｒ内に低輝度領域の画素が存在するときに（図６）、その画素を走路領域の一部３０と推定する（図７）。
【００３５】
ラベリング部１３は、走路推定部１２により推定された走路領域に連続する低輝度領域の画素を順に連結（ラベリング）する。走路は連続しているので、推定された走路領域に連続する全ての低輝度領域の画素を走路領域とすることができる。図８はラベリングされた走路３１を示す説明図である。
【００３６】
走路補正部１４は、ラベリングされた走路内に含まれる高輝度領域も走路として補正する。また、ラベリングされた走路に連続しない低輝度領域を走路と認定しない。すなわち、図８におけるラベリングされた走路３１および走路３１に囲まれた高輝度領域２９とが、新たに走路３２として補正される。また、ラベリングされた走路３１に連続しない樹木の幹２６、空２７および建物２８等の低輝度領域は走路ではないと判別される（図９参照）。以上より、白線の無い走路においても精度よく走路を特定することができる。検出された走路３２の座標情報がステレオ画像作成部６へ送られる。
【００３７】
次に図１０を参照してステレオ画像作成部を説明する。図１０はステレオ画像作成部の構成を示すブロック図である。ステレオ画像作成部６は、赤外線画像上で特定された走路を各可視光画像にマッチングして可視光画像上の走路を特定する走路マッチング部１６と、各可視光画像における走路を基に、走路のステレオ画像を作成するステレオ走路画像作成部１７とを有する。可視光カメラ３ａで撮影された画像を左眼画像として、可視光カメラ３ｂで撮影された画像を右眼画像としてそれぞれステレオ画像が作成される。
【００３８】
走路マッチング部１６は、可視光カメラ３ａおよび３ｂで撮影された各可視光画像上において、赤外線画像上で特定された走路の座標を指定することで、可視光画像上の走路を特定する。すなわち、走路特定部５の走路補正部１４から送られる２値化画像上の走路３２の座標と対応する各可視光画像の領域を走路として特定する。なお、走路補正部１４にて補正された走路３２を含む一回り大きい領域の座標を走路の座標としてもよい。赤外線カメラ２と可視光カメラ３ａおよび３ｂとの視野のズレを吸収することができる。この可視光画像上における特定された走路領域の画像情報がステレオ走路画像作成部１７へ送られる。
【００３９】
ステレオ走路画像作成部１７は、各可視光画像上の走路を基に走路のステレオ画像を作成する。すなわち、ステレオマッチング法により、可視光カメラ３ａで撮影された走路の各画素に対応する可視光カメラ３ｂで撮影された走路の各画素との視差ｄ（ｘ，ｙ）を有するステレオ画像を作成する。ステレオマッチング法として、左眼画像と右眼画像との対応点によりマッチングさせてもよいし、輝度値の分布状況から差分値の一番小さな対応関係となるようにマッチングさせてもよい。作成された走路のステレオ画像は障害物検出部７へ送られる。
【００４０】
次に図１１を参照して障害物検出部を説明する。図１１は障害物検出部の構成を示すブロック図である。障害物検出部７は、走路のステレオ画像から走路の３次元座標を計測する３次元座標計測部２１と、計測された３次元座標を基に、走路上の障害物を判定する障害物判別部２２とを有する。
【００４１】
３次元座標計測部２１は、特定された走路領域のステレオ画像を基に、走路領域の各点の３次元座標を計測する。すなわち、基準カメラである可視光カメラ３ａの焦点を原点とした走路の３次元座標を、可視光カメラ３ａが撮影した画像上の座標（ｘ，ｙ）およびステレオ画像における視差ｄ（ｘ，ｙ）から以下の計算式を用いて算出することができる。
【００４２】
Ｚ＝Ｔ・ｆ／ｄ（ｘ，ｙ） …（１）
Ｘ＝（ｘ−ｘ０）・Ｚ／ｆ …（２）
Ｙ＝（ｙ−ｙ０）・Ｚ／ｆ …（３）
ここで、ｆは可視光カメラ３ａの焦点距離であり、Ｔはステレオカメラ３（可視光カメラ３ａと３ｂ）のカメラ間隔である。（ｘ０，ｙ０）は可視光カメラ３ａが撮影した画像の中心座標である。また、Ｚは距離方向（奥行き方向）を示し、Ｘは水平方向を示し、Ｙは鉛直方向（高さ方向）を示す。以上より、画面上の２次元座標から３次元の世界座標を計測することができる。
【００４３】
障害物判別部２２は、特定された走路領域内の３次元座標を基に、走路上の障害物の有無を判別する。車両１が走行する走路には、一般的に傾斜に上限があり、かつ傾斜変化がなだらかである。これより、走路領域内で、傾斜θが予め設定された閾値を越える場合、または、傾斜変化Δθが予め設定された閾値を越える場合、障害物が有ると判別する。この条件を満たさない場合は、障害物が無いと判別する。
【００４４】
例えば、Ｚ−Ｙ方向の傾斜を判別基準として障害物を判別する場合、以下の式により判別することができる。以下の式において、
ｕ＝ｘ−ｘ０，ｖ＝ｙ−ｙ０，Ｃ＝Ｔ・ｆ
であり、βおよびγは予め設定された値である。
【００４５】
θ＝ΔＹ／ΔＺ
＝（Ｙ（ｕ，ｖ＋１）−Ｙ（ｕ，ｖ））／（Ｚ（ｕ，ｖ＋１）−Ｚ（ｕ，ｖ））
＝（（ｖ＋１）・Ｃ／ｄ（ｕ，ｖ＋１）−ｖ・Ｃ／ｄ（ｕ，ｖ））／（Ｃ／ｄ（ｕ，ｖ＋１）−Ｃ／ｄ（ｕ，ｖ））
＝（（ｖ＋１）／ｄ（ｕ，ｖ＋１）−ｖ／ｄ（ｕ，ｖ））／（１／ｄ（ｕ，ｖ＋１）−１／ｄ（ｕ，ｖ））
＞β …（４）
【００４６】
｜Δθ｜
＝（Ｙ（ｕ，ｖ＋２）−Ｙ（ｕ，ｖ＋１））／（Ｚ（ｕ，ｖ＋２）−Ｚ（ｕ，ｖ＋１））−（Ｙ（ｕ，ｖ＋１）−Ｙ（ｕ，ｖ））／（Ｚ（ｕ，ｖ＋１）−Ｚ（ｕ，ｖ））
＝（（ｖ＋２）／ｄ（ｕ，ｖ＋２）−ｖ／ｄ（ｕ，ｖ＋１））／（１／ｄ（ｕ，ｖ＋２）−１／ｄ（ｕ，ｖ＋１））−（（ｖ＋１）／ｄ（ｕ，ｖ＋１）−ｖ／ｄ（ｕ，ｖ））／（１／ｄ（ｕ，ｖ＋１）−１／ｄ（ｕ，ｖ））
＞γ …（５）
【００４７】
（４）式では、Ｚ−Ｙ方向の傾斜の大きさを基準としており、（５）式ではＺ−Ｙ方向の傾斜の変化の大きさを基準として障害物を判別するので適切に障害物を検出することができる。（４）式または（５）式を満たす場合、障害物が存在すると判別する。障害物が存在すると判別された場合、障害物検出信号が警告出力部８および走行速度制御部９へ送られる。警告出力部８は、障害物検出信号が送られると、音声または映像により運転者へ障害物が走路上に有ることの警告を発する。走行速度制御部９は、障害物検出信号が送られると、障害物までの距離Ｚに応じて車両１の減速または停止の制御が実施される。
【００４８】
次に、実施例１における走路特定および障害物検出の動作を図１２を用いて説明する。図１２は、障害物検出の処理手順を示すフローチャートである。
【００４９】
車両１の前面に設けられた赤外線カメラ２により赤外線画像が撮影される（ステップＳ０１）。また、この撮影と同期して、ステレオカメラ３によりステレオ画像が撮影される（ステップＳ０２）。撮影された赤外線画像は、予め定められた閾値を基準として２値化処理される（ステップＳ０３）。２値化処理により、高輝度領域と低輝度領域に２分された赤外線画像の予め設定された画像中央下部領域と低輝度領域との重複部分を走路領域の一部分として特定する（ステップＳ０４）。特定された走路領域の一部分と連続する低輝度領域を走路としてラベリングする（ステップＳ０５）。ラベリングされた走路領域内に含まれる高輝度領域も走路として特定し、ラベリングされた走路領域と隣接しない低輝度領域を走路として特定しないことで、２値化画像上の走路を特定する（ステップＳ０６）。
【００５０】
次に、２値化画像において特定された走路領域と対応する、ステレオカメラ３により撮影された左眼画像および右眼画像上の走路領域を特定する（ステップＳ０７）。左眼画像および右眼画像上の特定された走路領域のみ視差情報を有するステレオ画像を作成する（ステップＳ０８）。作成されたステレオ画像とステレオカメラ３の焦点距離とを基に、走路の３次元座標を計測する（ステップＳ９）。走路の３次元座標から、走路の傾斜の大きさおよび傾斜変化を算出し、これらの値を予め設定された閾値とそれぞれ比較することで障害物の有無を判別して障害物の位置を特定する（ステップＳ１０）。
【００５１】
実施例１によれば、赤外線画像により走路領域を特定するので、走路に白線がなくても走路を検出することができる。また、赤外線画像上の走路領域だけステレオ画像を作成し走路上の三次元座標計測および障害物検出を行うので、画像全体に対してステレオ画像の作成の処理をするよりも処理速度が向上し、走路外にあるものに対して障害物と判定することを防ぐことができる。また、傾斜変化を考慮しているので、上り坂を障害物と誤検出することがない。また、平易な構成で安価な障害物検出装置を作成することができる。
【実施例２】
【００５２】
図１３を参照して実施例２に係る障害物検出装置について説明する。
図１３は実施例２に係るステレオ画像作成部６’の構成を示すブロック図である。第２実施例は、第１実施例におけるステレオ画像作成および３次元座標計測する走路領域を変更したものである。よって、ここで記載した以外の障害物検出装置および車両の構造は実施例１と同様である。図１３において、実施例１に示した符号と同一の符号で示した部分は、実施例１と同様の構成であるのでここでの説明は省略する。
【００５３】
実施例２の特徴は、実施例１における全ての走路領域におけるステレオ画像の作成に代えて、基準画像である左眼画像上において走路のエッジ強調処理を実施し、強調された点またはラインに対して３次元座標計測をして障害物を検出する点である。これは、障害物の無い走路の輝度値は変化が少なく、障害物のある走路領域は輝度値の変化が大きいことを利用している。
【００５４】
エッジ強調部４１は、可視光カメラ３ａにより撮影された左眼画像において対応する走路領域をエッジ強調する。このエッジ強調はたとえばハイパスフィルタを実施すればよい。ステレオ走路画像作成部１７’は、左眼画像におけるエッジ強調された走路領域の画像とこれに対応する右眼画像におけるエッジ強調部分の領域の画像とから、エッジ強調部分の点およびライン部分領域のステレオ画像を作成する。作成されたステレオ画像は障害物検出部７へ送られ、３次元座標計測部２１でエッジが強調された点または線上の３次元座標を計測する。障害物判別部２２では、エッジが強調された点または線上の３次元座標を基に、奥行き方向に対する車両高さ方向の変化率を算出し、奥行き方向に対する車両高さ方向の変化率と予め定められた第２閾値とを比較し、第２閾値よりも奥行き方向に対する車両高さ方向の変化率が大きい走路の３次元座標上に障害物が有ると判別する。実施例２によれば、走路領域の全ての領域のステレオ画像の作成および３次元座標を計測しなくてもよいので、障害物を検出する演算の負荷を軽減することができる。
【実施例３】
【００５５】
図１４および図１５を参照して実施例３に係る障害物検出装置について説明する。
図１４は実施例３に係る障害物検出装置５４の構成を示すブロック図であり、図１５は実施例３に係る障害物検出部５７の構成を示すブロック図である。実施例３は、実施例１におけるステレオ画像作成および障害物検出方法を変更したものである。よって、ここで記載した以外の障害物検出装置および車両の構造は実施例１と同様である。図１４および図１５において、実施例１に示した符号と同一の符号で示した部分は、実施例１と同様の構成であるのでここでの説明は省略する。
【００５６】
実施例３の特徴は、実施例１において走路領域だけ作成していたステレオ画像を撮影画像全体のステレオ画像を作成する点である。これに伴って、走路特定部の出力を障害物検出部に変更し、作成されたステレオ画像に対して走路の特定を実施する。
【００５７】
ステレオ画像作成部５６は、可視光カメラ３ａ、３ｂから入力された左眼画像および右眼画像を基に、撮影画像全体のステレオ画像を作成する。作成されたステレオ画像は障害物検出部５７へ送られる。また、走路特定部５にて特定された走路３２の座標情報が障害物検出部５７へ送られる。
【００５８】
障害物検出部５７は、赤外線画像上で特定された走路を作成されたステレオ画像にマッチングしてステレオ画像上の走路を特定する走路マッチング部５８と、走路のステレオ画像から走路の３次元座標を計測する３次元座標計測部２１と、計測された３次元座標を基に、走路上の障害物を判定する障害物判別部２２とを有する。
【００５９】
走路マッチング部５８は、作成されたステレオ画像上において、赤外線画像上で特定された走路の座標を指定することで、ステレオ画像上の走路を特定する。すなわち、走路特定部５の走路補正部１４から送られる２値化画像上の走路３２の座標と対応するステレオ画像の領域を走路として特定する。なお、走路補正部１４にて補正された走路３２を含む一回り大きい領域の座標を走路の座標としてもよい。
【００６０】
実施例３の障害物検出装置を用いても、赤外線画像により走路を特定するので、走路に白線が無くても走路を検出することができる。また、走路上における障害物のみを検出するので、走路外の障害物を誤認することがない。
【実施例４】
【００６１】
図１４および図１６を参照して実施例４に係る障害物検出装置について説明する。
図１６は実施例４に係る障害物検出部６７の構成を示すブロック図である。実施例４は、実施例３における障害物検出方法をさらに変更したものである。よって、ここで記載した以外の障害物検出装置および車両の構造は実施例３と同様である。図１６において、実施例３または実施例１に示した符号と同一の符号で示した部分は、実施例３または実施例１と同様の構成であるのでここでの説明は省略する。
【００６２】
実施例４の特徴は、実施例３において撮影画像全体のステレオ画像に対して走路の特定が実施されたが、実施例４では撮影画像全体のステレオ画像を基に撮影画像全体の３次元座標を計測し、この撮影画像全体の３次元座標に対して走路の特定を実施する点である。
【００６３】
障害物検出部６７は、画像全体のステレオ画像から画像全体の３次元座標を計測する３次元座標計測部６１と、赤外線画像上で特定された走路を作成された３次元座標にマッチングして３次元座標上の走路を特定する走路マッチング部６８と、計測された３次元座標を基に、走路上の障害物を判定する障害物判別部２２とを有する。
【００６４】
３次元座標計測部６１は、作成された画像全体のステレオ画像を基に、画像上の各点の３次元座標を計測する。３次元座標の計測の方法は実施例１と同様である。走路マッチング部６８は、作成された３次元座標上において、赤外線画像上で特定された走路の座標を指定することで、３次元座標上の走路を特定する。すなわち、走路特定部５の走路補正部１４から送られる２値化画像上の走路３２の座標と対応する３次元座標上の領域を走路として特定する。なお、走路補正部１４にて補正された走路３２を含む一回り大きい領域の座標を走路の座標としてもよい。
【００６５】
実施例４の障害物検出装置を用いても、赤外線画像により走路を特定するので、走路に白線が無くても走路を検出することができる。また、走路上における障害物のみを検出するので、走路外の障害物を誤認することがない。
【００６６】
本発明は、上記実施例のものに限らず、次のように変形実施することができる。
【００６７】
（１）上記実施例において、２値化処理した後の赤外線画像に対してノイズ除去フィルタを実施して小さいノイズを除去してもよい。ノイズ除去フィルタとして膨張−収縮アルゴリズムを採用することができる。小さいノイズを除去することで、低輝度領域および高輝度領域の区別が明確化される。
【００６８】
（２）上記実施例では、傾斜の計算を２点の座標から算出しているが、３点以上の座標から算出しても良い。同様に、傾斜変化の計算を４点以上の座標から算出しても良い。また、障害物の判別に使用する傾斜、および、傾斜変化の計算は、必ずしも画像内の隣接している点に対するものでなくても良い。
【００６９】
（３）上記実施例では、１つの傾斜、あるいは、１つの傾斜変化から、障害物の判別を行っているが、複数の傾斜、あるいは、傾斜変化を考慮して、障害物の判別を行っても良い。
【００７０】
（４）上記実施例では、Ｚ−Ｙ方向の傾斜、および、傾斜変化から障害物を判別しているが、Ｘ−Ｙ方向を使っても良い。また、複数の方向の傾斜、および、傾斜変化から障害物を判別しても良い。
【００７１】
（５）上記実施例では、Ｚ−Ｙ方向の傾斜、および、傾斜変化から障害物を判別しているが、傾斜変化からのみ障害物を判別しても良い。
【符号の説明】
【００７２】
１ … 車両
２ … 赤外線カメラ
３ … ステレオカメラ
３ａ、３ｂ …可視光カメラ
４ … 障害物検出装置
５ … 走路特定部
６ … ステレオ画像作成部
１１ … ２値化処理部
１２ … 走路推定部
１３ … ラベリング部
１４ … 走路補正部
１６ … 走路マッチング部
１７ … ステレオ走路画像作成部
２１ … ３次元座標計測部
２２ … 障害物判別部
【特許請求の範囲】
【請求項１】
車両前方を撮影する赤外線カメラと、
車両前方を撮影するステレオカメラと、
前記赤外線カメラにより撮影された赤外線画像を基に走路を特定する走路特定部と、
前記ステレオカメラにより撮影された各画像に基づいてステレオ画像を作成するステレオ画像作成部と、
前記走路特定部により特定された走路と前記ステレオ画像とに基づいて、前記走路上の障害物を検出する障害物検出部と
を備えた車両用障害物検出装置。
【請求項２】
請求項１に記載の車両用障害物検出装置において、
前記走路特定部は、
前記赤外線画像の各画素に対して予め定められた第１閾値を基準として前記各画素を低輝度画素と高輝度画素とに２値化処理する２値化処理部と、
予め定められた領域と前記高輝度画素とが重複する領域を部分走路領域と推定する走路推定部と、
前記部分走路領域と隣接する前記高輝度画素を順にラベリングして仮走路を特定するラベリング部と、
前記仮走路内に含まれる低輝度画素と前記仮走路とを走路として特定する走路補正部と
を有する車両用障害物検出装置。
【請求項３】
請求項１または２に記載の車両用障害物検出装置において、
前記障害物検出部は、
前記ステレオ画像上の前記走路に対応する領域のみ３次元座標を算出して障害物を検出する
車両用障害物検出装置。
【請求項４】
請求項１または２に記載の車両用障害物検出装置において、
前記ステレオ画像作成部は、
前記ステレオカメラにより撮影された各画像において、前記赤外線画像上で特定された前記走路に対応する領域を基に走路のステレオ画像を作成する
車両用障害物検出装置。
【請求項５】
請求項４に記載の車両用障害物検出装置において、
前記ステレオ画像作成部は、
前記赤外線画像を基に特定された前記走路の座標位置に対応する前記ステレオカメラが撮影した各画像における走路を特定する走路マッチング部と、
前記ステレオカメラにより撮影された各画像において特定された前記走路を基に前記走路のステレオ画像を作成するステレオ走路画像作成部と
を有する車両用障害物検出装置。
【請求項６】
請求項５に記載の車両用障害物検出装置において、
前記障害物検出部は、
前記走路のステレオ画像を基に前記走路の３次元座標を計測する３次元座標計測部と、
前記走路の３次元座標を基に前記走路上の障害物を判別する障害物判別部と
を有する車両用障害物検出装置。
【請求項７】
請求項６に記載の車両用障害物検出装置において、
前記障害物判別部は、
前記走路の３次元座標を基に、奥行き方向に対する車両高さ方向の変化率を算出し、
前記奥行き方向に対する車両高さ方向の変化率と予め定められた第２閾値とを比較し、前記第２閾値よりも前記奥行き方向に対する車両高さ方向の変化率が大きい前記走路の３次元座標上に障害物が有ると判別する
車両用障害物検出装置。
【請求項８】
請求項５に記載の車両用障害物検出装置において、
前記ステレオ画像作成部は、
前記ステレオカメラの少なくとも１つのカメラにより撮影された画像における、前記赤外線画像を基に特定された前記走路に対応する領域のエッジを強調するエッジ強調部を有し、
前記ステレオ走路画像作成部は、特定された前記走路内のエッジが強調された点または線のステレオ画像を作成し、
前記障害物検出部は、前記エッジが強調された点または線上の３次元座標を計測する３次元座標計測部と、
前記エッジが強調された点または線上の３次元座標を基に、奥行き方向に対する車両高さ方向の変化率を算出し、前記奥行き方向に対する車両高さ方向の変化率と予め定められた第２閾値とを比較し、前記第２閾値よりも前記奥行き方向に対する車両高さ方向の変化率が大きい前記走路の３次元座標上に障害物が有ると判別する障害物判別部と
を有する車両用障害物検出装置。
【請求項９】
請求項１から８のいずれか１つに記載の車両用障害物検出装置において、
前記赤外線カメラと前記ステレオカメラとが車幅方向に直線上に配置されている
車両用障害物検出装置。
【請求項１０】
請求項１から９のいずれか１つに記載の車両用障害物検出装置において
前記ステレオカメラは複数の可視光カメラを有する
車両用障害物検出装置。
【請求項１１】
請求項１から１０のいずれか１つに記載の車両用障害物検出装置において、
前記赤外線カメラが２個の可視光カメラを有する前記ステレオカメラの各カメラの間に配置されている車両用障害物検出装置。
【請求項１２】
請求項１から１１のいずれか１つに記載の車両用障害物検出装置において、
前記赤外線カメラの撮影領域と前記ステレオカメラの少なくとも１つのカメラの撮影領域とが位置合わせされている
車両用障害物検出装置。
【請求項１３】
請求項１から１２のいずれか１つに記載の車両用障害物検出装置を備えた車両。
【請求項１】
車両前方を撮影する赤外線カメラと、
車両前方を撮影するステレオカメラと、
前記赤外線カメラにより撮影された赤外線画像を基に走路を特定する走路特定部と、
前記ステレオカメラにより撮影された各画像に基づいてステレオ画像を作成するステレオ画像作成部と、
前記走路特定部により特定された走路と前記ステレオ画像とに基づいて、前記走路上の障害物を検出する障害物検出部と
を備えた車両用障害物検出装置。
【請求項２】
請求項１に記載の車両用障害物検出装置において、
前記走路特定部は、
前記赤外線画像の各画素に対して予め定められた第１閾値を基準として前記各画素を低輝度画素と高輝度画素とに２値化処理する２値化処理部と、
予め定められた領域と前記高輝度画素とが重複する領域を部分走路領域と推定する走路推定部と、
前記部分走路領域と隣接する前記高輝度画素を順にラベリングして仮走路を特定するラベリング部と、
前記仮走路内に含まれる低輝度画素と前記仮走路とを走路として特定する走路補正部と
を有する車両用障害物検出装置。
【請求項３】
請求項１または２に記載の車両用障害物検出装置において、
前記障害物検出部は、
前記ステレオ画像上の前記走路に対応する領域のみ３次元座標を算出して障害物を検出する
車両用障害物検出装置。
【請求項４】
請求項１または２に記載の車両用障害物検出装置において、
前記ステレオ画像作成部は、
前記ステレオカメラにより撮影された各画像において、前記赤外線画像上で特定された前記走路に対応する領域を基に走路のステレオ画像を作成する
車両用障害物検出装置。
【請求項５】
請求項４に記載の車両用障害物検出装置において、
前記ステレオ画像作成部は、
前記赤外線画像を基に特定された前記走路の座標位置に対応する前記ステレオカメラが撮影した各画像における走路を特定する走路マッチング部と、
前記ステレオカメラにより撮影された各画像において特定された前記走路を基に前記走路のステレオ画像を作成するステレオ走路画像作成部と
を有する車両用障害物検出装置。
【請求項６】
請求項５に記載の車両用障害物検出装置において、
前記障害物検出部は、
前記走路のステレオ画像を基に前記走路の３次元座標を計測する３次元座標計測部と、
前記走路の３次元座標を基に前記走路上の障害物を判別する障害物判別部と
を有する車両用障害物検出装置。
【請求項７】
請求項６に記載の車両用障害物検出装置において、
前記障害物判別部は、
前記走路の３次元座標を基に、奥行き方向に対する車両高さ方向の変化率を算出し、
前記奥行き方向に対する車両高さ方向の変化率と予め定められた第２閾値とを比較し、前記第２閾値よりも前記奥行き方向に対する車両高さ方向の変化率が大きい前記走路の３次元座標上に障害物が有ると判別する
車両用障害物検出装置。
【請求項８】
請求項５に記載の車両用障害物検出装置において、
前記ステレオ画像作成部は、
前記ステレオカメラの少なくとも１つのカメラにより撮影された画像における、前記赤外線画像を基に特定された前記走路に対応する領域のエッジを強調するエッジ強調部を有し、
前記ステレオ走路画像作成部は、特定された前記走路内のエッジが強調された点または線のステレオ画像を作成し、
前記障害物検出部は、前記エッジが強調された点または線上の３次元座標を計測する３次元座標計測部と、
前記エッジが強調された点または線上の３次元座標を基に、奥行き方向に対する車両高さ方向の変化率を算出し、前記奥行き方向に対する車両高さ方向の変化率と予め定められた第２閾値とを比較し、前記第２閾値よりも前記奥行き方向に対する車両高さ方向の変化率が大きい前記走路の３次元座標上に障害物が有ると判別する障害物判別部と
を有する車両用障害物検出装置。
【請求項９】
請求項１から８のいずれか１つに記載の車両用障害物検出装置において、
前記赤外線カメラと前記ステレオカメラとが車幅方向に直線上に配置されている
車両用障害物検出装置。
【請求項１０】
請求項１から９のいずれか１つに記載の車両用障害物検出装置において
前記ステレオカメラは複数の可視光カメラを有する
車両用障害物検出装置。
【請求項１１】
請求項１から１０のいずれか１つに記載の車両用障害物検出装置において、
前記赤外線カメラが２個の可視光カメラを有する前記ステレオカメラの各カメラの間に配置されている車両用障害物検出装置。
【請求項１２】
請求項１から１１のいずれか１つに記載の車両用障害物検出装置において、
前記赤外線カメラの撮影領域と前記ステレオカメラの少なくとも１つのカメラの撮影領域とが位置合わせされている
車両用障害物検出装置。
【請求項１３】
請求項１から１２のいずれか１つに記載の車両用障害物検出装置を備えた車両。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−２０５４３（Ｐ２０１３−２０５４３Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５５００２（Ｐ２０１１−１５５００２）
【出願日】平成２３年７月１３日（２０１１．７．１３）
【出願人】（００００１００７６）ヤマハ発動機株式会社 (3,045)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１３日（２０１１．７．１３）
【出願人】（００００１００７６）ヤマハ発動機株式会社 (3,045)
【Ｆターム（参考）】
[ Back to top ]