説明

画像処理装置、車両システム、及び、画像処理方法

【課題】天候及び距離によらず好適に物体までの距離を算出する。
【解決手段】画像処理装置は、取得された第1の車両の前方の画像から、第1の車両の前方の第2の車両の画像を検出する車両検出部と、第1の車両と第2の車両との距離を算出するために必要な複数のパラメータのうち、第2の車両の画像と前方の画像とから取得できないパラメータを判定する状況判定部と、第2の車両の画像と前方の画像とからパラメータを取得し、取得されたパラメータによって第1の車両と第2の車両との距離を算出する少なくとも一つの距離測定部と、を備え、状況判定部が、取得できないパラメータを判定した場合、少なくとも一つの距離測定部は、状況判定部によって判定された取得できないパラメータ以外のパラメータを用いて第1の車両と第2の車両との距離を算出するため、第2の車両の画像と前方の画像とを取得する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置に関し、特に、画像を用いて外界を認識する画像処理装置に関する。
【背景技術】
【0002】
交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められている。予防安全システムは、事故が発生する可能性が高い状況において動作するシステムである。
【0003】
予防安全システムには、例えば、自車(すなわち、予防安全システムが備わる車両)前方の障害物(車両、歩行者又は二輪車など)と衝突する可能性が生じた場合に、警報によって自車の運転者に注意を促し、さらに、衝突が避けられない状況になった場合に、自動ブレーキによって乗員の被害を軽減するプリクラッシュセーフティシステム等が実用化されている。
【0004】
こうした予防安全システムを実現する方法には、自車に載せられたカメラ(車載カメラ)によって自車前方を撮影し、撮影された画像から障害物を検出し、検出された障害物との距離を算出する方法が提案されている(例えば、特許文献1〜3参照)。
【0005】
特許文献1は、自車が走行する車線内に存在する障害物の左右下端のエッジを用いて先行する車両を検出し、検出結果によって、車両の左右端のエッジ実幅を求め、さらに、車間距離を算出する方法を開示する。特許文献2は、エッジ実幅の推定にカルマンフィルタを用いる方法を開示する。特許文献3は、車線実幅と先行車両幅との比を用いて車間距離を算出する方法を開示する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第3430641号公報
【特許文献2】米国特許出願公開第2007/0154068号明細書
【特許文献3】特開2007−309799号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1〜3によれば、先行車両のエッジ実幅を求めることによって自車前方を先行する車両と自車との車間距離を算出できる。しかし、特許文献1〜3に開示された車間距離を算出する方法は、全て自車前方の先行車両の下端位置(先行車両のタイヤと道路との設置点)を測定する必要があり、画像上で下端位置を観測できない場合、車間距離を算出できないという課題がある。
【0008】
例えば、雨天時に先行車両が常にスプラッシュ(タイヤが巻き上げる水しぶき)をあげている場合、画像上で先行車両の下端位置を観測できず、車間距離を算出できない。また、先行車両との車間距離が近くなると、車両端がカメラ画角から外れてしまい、下端位置を観測できないことも課題であった。
【0009】
本発明は、上記課題を鑑みてなされたものであり、その目的は、天候及び距離によらず好適に車間距離を算出できる外界認識方法、装置、及び、それらを用いた車両システムを提供することである。
【課題を解決するための手段】
【0010】
本発明の代表的な一例を示せば以下の通りである。すなわち、カメラを搭載した第1の車両に備わり、前記カメラを介して、前記第1の車両の前方の画像を取得する画像処理装置であって、前記画像処理装置は、プロセッサとメモリとを備え、前記取得された前方の画像から、前記第1の車両の前方の第2の車両の画像を検出する車両検出部と、前記第1の車両と前記第2の車両との距離を算出するために必要な複数のパラメータのうち、前記第2の車両の画像と前記前方の画像とから取得できない前記パラメータを判定する状況判定部と、前記第2の車両の画像と前記前方の画像とから前記パラメータを取得し、前記取得されたパラメータによって前記第1の車両と前記第2の車両との距離を算出する少なくとも一つの距離測定部と、を備え、前記状況判定部が、前記取得できないパラメータを判定した場合、前記少なくとも一つの距離測定部は、前記状況判定部によって判定された取得できないパラメータ以外の前記パラメータを用いて前記第1の車両と前記第2の車両との距離を算出するため、前記第2の車両の画像と前記前方の画像とを取得する。
【発明の効果】
【0011】
本発明の一実施形態によると、天候又は距離によらず好適に車間距離を算出することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の第1の実施形態の外界認識装置を示すブロック図である。
【図2】本発明の第1の実施形態の車線及び消失点を示す説明図である。
【図3】本発明の第1の実施形態の画像上の車幅(w)を示す説明図である。
【図4】本発明の第1の実施形態の外界認識装置の処理を示すフローチャートである。
【図5A】本発明の第1の実施形態の下端遮蔽判定部による下端の遮蔽を判定する処理の概要を示す説明図である。
【図5B】本発明の第1の実施形態の車両下端推定部による車両下端位置(by^)を推定する処理の概要を示す説明図である。
【図6】本発明の第1の実施形態の車両下端測定部及び車両下端推定部の処理を示すフローチャートである。
【図7A】本発明の第2の実施形態の先行車両の車両下端位置(by^)を推定するために検出される領域を示す説明図である。
【図7B】本発明の第2の実施形態の推定された先行車両の車両下端位置(by^)を示す説明図である。
【図8】本発明の第2の実施形態の車両下端測定部及び車両下端推定部の処理を示すフローチャートである。
【図9】本発明の第3の実施形態の外界認識装置を示すブロック図である。
【図10】本発明の第3の実施形態の第1の距離測定部を示すブロック図である。
【図11】本発明の第3の実施形態の第2の距離測定部を示すブロック図である。
【図12】本発明の第3の実施形態の第3の距離測定部を示すブロック図である。
【図13】本発明の第3の実施形態の第4の距離測定部を示すブロック図である。
【図14】本発明の第3の実施形態の外界認識装置の処理を示すフローチャートである。
【図15】本発明の第4の実施形態の車両システムを示すブロック図である。
【発明を実施するための形態】
【0013】
本発明は、車間距離を算出するために必要な情報が取得できるか否かに従って、車間距離の算出手順を変更する。
【0014】
(第1の実施形態)
図1は、本発明の第1の実施形態の外界認識装置100を示すブロック図である。
【0015】
図1に示す外界認識装置100は、車線検出部101、消失点測定部102、車両検出部103、車両幅測定部104、下端遮蔽判定部105、車両下端測定部106、車両下端推定部107、実車幅測定部108、及び、距離測定部109を備える。
【0016】
外界認識装置100は、少なくとも一つのプロセッサ、及び、メモリを備える。前述の外界認識装置100に備わる各機能部は、プロセッサを備えるハードウェアによって各々実装されてもよい。また、少なくとも一つのプロセッサが各機能部に対応するプログラムを実行することによって、外界認識装置100に備わる各機能部が実装されてもよい。
【0017】
また、外界認識装置100に備わる各機能部は、ハードウェアとソフトウェアとを組み合わせたモジュールによって実装されてもよい。また、外界認識装置100の各機能部は、相互に接続されてもよく、複数の機能部が、一つのハードウェアによって実装されてもよい。
【0018】
本実施形態の外界認識装置100は、自動車に備えられる。本実施形態において、外界認識装置100が備えられた自動車を自車と記載し、自車の走行方向に、走行又は停止している車両を先行車両と記載する。
【0019】
自車には、先行車両を撮影するためのカメラが備えられる。外界認識装置100は、自車に備えられたカメラによって自車の前方を撮影された画像を、カメラから入力される。
【0020】
車線検出部101は、自車に備えられるカメラによって撮影された画像中の車線201、及び、車線202を検出する。
【0021】
図2は、本発明の第1の実施形態の車線及び消失点を示す説明図である。
【0022】
図2は、自車から先行車両301を撮影した画像を示す。画像には、先行車両301と、自車及び先行車両301が走行する車線のうち左の車線201、右の車線202、及び、二つの車線によって示される領域である自車線領域203が、含まれる。自車線領域203は、自車及び先行車両301が走行する路面を示す。
【0023】
車線201及び車線202は、自車線領域203の端である。車線201及び車線202を、延伸及び交差させることによって消失点204のx座標及びy座標(vx、vy)が検出される。
【0024】
車線検出部101は、自車線領域203と、自車線領域203の端である車線201及び車線202とを検出する。そして、カメラによって撮影された画像と、検出された車線201及び車線202を示す値(例えば、角度、長さ、及び、画像における座標等)とを、消失点測定部102に入力する。
【0025】
消失点測定部102は、車線検出部101によって入力された車線201及び車線202を示す値に基づいて、車線201及び車線202を延伸及び交差させることによって消失点204の位置(例えば、座標等)を検出する。そして、カメラによって撮影された画像と、消失点204のy座標(vy)とを実車幅測定部108に入力する。
【0026】
なお、本実施形態の画像において、横方向をx座標、縦方向をy座標と記載する。
【0027】
車両検出部103は、後述する手順によって画像中の先行車両301の位置を検出する。そして、検出された先行車両301の位置と、カメラによって撮影された画像とを、車両幅測定部104に入力する。先行車両301の位置は、画像上の領域であり、画像の座標によって示されてもよいし、座標と画像上の大きさによって示されてもよい。
【0028】
図3は、本発明の第1の実施形態の画像上の車幅(w)を示す説明図である。
【0029】
自車に備えられたカメラによって撮影された画像には、先行車両301のx座標上の左端(lx)及び右端(rx)が含まれる。
【0030】
車両幅測定部104は、車両検出部103によって入力された先行車両301の位置に基づいて、先行車両301のx座標における左右端位置(lx、rx)を測定する。そして、測定された左右端位置の差を算出することによって車幅(w)を算出し、算出された車幅(w)を実車幅測定部108に入力する。
【0031】
下端遮蔽判定部105は、車両検出部103によって入力された先行車両301の下端が、遮蔽されているか否かを判定する。
【0032】
先行車両301の下端に遮蔽がない場合、下端遮蔽判定部105は、カメラによって撮影された画像と、先行車両301の位置と、を車両下端測定部106に入力する。車両下端測定部106は、下端遮蔽判定部105によって入力された先行車両301の位置に基づいて、車両下端位置(by)を測定する。車両下端位置(by)は、カメラによって撮影された画像のy座標によって示される。車両下端測定部106は、測定された車両下端位置(by)を、実車幅測定部108に入力する。
【0033】
先行車両301の下端に遮蔽がある場合、下端遮蔽判定部105は、カメラによって撮影された画像と、先行車両301の位置と、を車両下端推定部107に入力する。車両下端推定部107は、下端遮蔽判定部105によって入力された先行車両301の位置に基づいて、車両下端位置(by^)を推定する。車両下端推定部107は、推定された車両下端位置(by^)を、実車幅測定部108に入力する。
【0034】
実車幅測定部108は、消失点測定部102によって入力された消失点204のy座標(vy)、車両幅測定部104によって入力された画像上の車幅(w)、及び、車両下端測定部106によって入力された車両下端位置(by)又は車両下端推定部107によって入力された車両下端位置(by^)を用いて、実車幅(W)を測定する。そして、測定された実車幅(W)と、画像上の車幅(w)とを距離測定部109に入力する。
【0035】
距離測定部109は、入力された画像上の車幅(w)及び実車幅(W)を用いて車間距離(Z)を算出する。そして、算出された車間距離(Z)を含む信号を出力する。
【0036】
前述の各機能部の処理内容の詳細は、図4〜図8を用いて後述する。
【0037】
図4は、本発明の第1の実施形態の外界認識装置100の処理を示すフローチャートである。
【0038】
車線検出部101は、カメラによって撮影された画像を入力された場合、従来の車線逸脱警報システムなどにおいて用いられる方法を用い、入力された画像から、車線201、車線202及び自車線領域203を検出する(S4001)。車線201、車線202及び自車線領域203を検出する方法には、例えば、画像を二値化することによって路面上の車線を検出する方法等がある。
【0039】
車線検出部101は、S4001において、単一フレーム、すなわち、一つの画像に基づいて車線201等を検出するだけでなく、過去フレーム、すなわち、過去に撮影された複数の画像に基づいて画像中の路面を追跡し、これによって、車線201等を検出してもよい。
【0040】
S4001の後、消失点測定部102は、車線検出部101によって検出された車線201及び車線202を延伸し、延伸された車線201と車線202との交点を求めることによって消失点204の位置(vx、vy)を検出する(S4002)。
【0041】
車両検出部103は、カメラによって撮影された画像を入力された場合、あらかじめ保持していた車両の背面パターンを用い、入力された画像に含まれる先行車両301の位置を検出する(S4003)。そして、車両検出部103は、検出された先行車両301の位置と、カメラによって撮影された画像とを車両幅測定部104及び下端遮蔽判定部105に入力する。
【0042】
なお、車両検出部103は、AdaBoost、又は、SVM(Support Vector Machine)などの機械学習方法によって生成された画像パターンを有する車両識別器を、事前に備えてもよい。そして、車両識別器は車両の背面パターンを有してもよい。
【0043】
そして、車両検出部103は、S4003において、車両識別器に画像を入力し、車両識別器に画像内を走査させることによって、車両識別器から先行車両301の位置を取得してもよい。そして、これによって、先行車両301を検出してもよい。
【0044】
車両検出部103は、単一フレームに基づいて先行車両301を検出するだけでなく、過去フレームに基づいて画像中の先行車両301を追跡することによって、先行車両301を検出してもよい。
【0045】
S4003の後、車両幅測定部104は、検出された先行車両301の位置の垂直エッジを用い、先行車両301の左右端位置(lx、rx)を測定する。そして、測定された左右端位置(lx、rx)の差を算出することによって、画像上の車幅(w)を算出する(S4004)。
【0046】
例えば、車両幅測定部104は、S4004において、先行車両301の垂直エッジを縦方向に積算し、積算された結果がピークとなる位置を、サブピクセル精度によって抽出する。これによって、先行車両301の二つの端のx座標(左右端位置)を検出する。
【0047】
同様に、車両下端測定部106は、水平エッジを横方向に積算することによって、車両下端位置(by)を測定する。また、車両下端推定部107は、後述する方法によって車両下端位置(by^)を推定する(S4005)。S4005については図5A、図5B及び図6を用いて後述する。車両下端測定部106は、測定された車両下端位置(by)を実車幅測定部108に入力する。車両下端推定部107は、推定された車両下端位置(by^)を実車幅測定部108に入力する。
【0048】
実車幅測定部108は、消失点測定部102によって入力された消失点204のy座標(vy)と、車両幅測定部104によって入力された画像上の車幅(w)と、車両下端測定部106によって入力された車両下端位置(by)と、式(1)とによって実車幅(W)を算出する(S4006)。また、実車幅測定部108は、車両下端推定部107によって車両下端位置(by^)を入力された場合、車両下端位置(by^)を車両下端位置(by)として、式(1)を用いて実車幅(W)を算出する。
【0049】
【数1】

【0050】
ここで、高さHcは、自車に備えられたカメラの、地表からの高さであり、管理者等によって外界認識装置100にあらかじめ与えられる値である。車両下端位置(by)と消失点204のy座標(vy)との差は、高さHcに相当する。このため、画像上の地表からの高さ(by−vy)を実空間上の地表からの高さHcに変換することができる。この特性を利用して実車幅(W)を、式(1)を用いて算出する。
【0051】
S4006の後、距離測定部109は、前記測定された画像上の車幅(w)及び実車幅(W)を用い、式(2)によって車間距離(Z)を算出する(S4007)。ここで、fは焦点距離であり、管理者等によって外界認識装置100にあらかじめ与えられる値である。
【0052】
【数2】

【0053】
図5A、図5B及び図6を用いて、前述のステップS4005の詳細を説明する。
【0054】
図5Aは、本発明の第1の実施形態の下端遮蔽判定部105による下端の遮蔽を判定する処理の概要を示す説明図である。
【0055】
図5Aは、スプラッシュ501及び遮蔽判定領域502を示す。スプラッシュ501は、先行車両301の下端を遮蔽する。スプラッシュ501は、一般的に白い領域(輝度が高く、分散が低い領域)である。また、遮蔽判定領域502は、先行車両301の下端が存在していると推定される領域である。
【0056】
ステップS4005において、下端遮蔽判定部105は、先行車両301の下端が遮蔽されているか否かを、スプラッシュ501を検出することによって判定する。具体的には、スプラッシュ501が検出された場合、先行車両301の下端が遮蔽されていると判定する。
【0057】
下端が遮蔽されていないと下端遮蔽判定部105によって判定された場合、車両下端測定部106が車両下端位置(by)を測定する。下端が遮蔽されていると下端遮蔽判定部105によって判定された場合、車両下端推定部107が車両下端位置(by^)を推定する。
【0058】
図5Bは、本発明の第1の実施形態の車両下端推定部107による車両下端位置(by^)を推定する処理の概要を示す説明図である。
【0059】
図5Bは、先行車両301の下端があると推定される下端存在領域503を示す。下端存在領域503は、先行車両の車の高さが車幅に比べて最も小さい場合の下端位置by^(small)と、先行車両の車の高さが車幅に比べて最も大きい場合の下端位置by^(big)との間の領域である。また、下端位置by^(med)は、下端位置by^(small)と下端位置by^(big)との間の高さである。
【0060】
車両下端推定部107は、下端存在領域503において、先行車両301の車両下端位置(by^)を推定する。
【0061】
図6は、本発明の第1の実施形態の車両下端測定部106及び車両下端推定部107の処理を示すフローチャートである。
【0062】
下端遮蔽判定部105は、図6に示すS6001及びS6002において、車両検出部103によって入力された先行車両301の位置と、カメラによって撮影された画像とに基づいて、先行車両301の下端が遮蔽されているか否かを判定する。
【0063】
まず、下端遮蔽判定部105は、先行車両301の位置の下部に、図5Aに示すような遮蔽判定領域502を設定する(S6001)。遮蔽判定領域502は、過去の統計情報等からあらかじめ大きさを算出された領域であり、下端遮蔽判定部105は、遮蔽判定領域502となる領域の大きさをあらかじめ保持する。
【0064】
S6001の後、下端遮蔽判定部105は、設定された遮蔽判定領域502内における画像の平均輝度及び分散を算出する。そして、算出された平均輝度が閾値以上かつ分散が閾値以下(すなわち、より明るく白い画像)であるか否かを判定する(S6002)。
【0065】
算出された平均輝度が閾値以上かつ分散が閾値以下である場合、下端遮蔽判定部105は、先行車両301の下部にはスプラッシュ501があり、先行車両301の下端が遮蔽されていると判定する。そして、下端遮蔽判定部105は、先行車両301の位置と、カメラによって撮影された画像とを、車両下端推定部107に入力する。
【0066】
算出された平均輝度が閾値より下、又は、分散が閾値より上である場合、下端遮蔽判定部105は、先行車両301の下部にスプラッシュ501はなく、先行車両301の下端が遮蔽されていないと判定する。そして、下端遮蔽判定部105は、先行車両301の位置と、カメラによって撮影された画像とを、車両下端測定部106に入力する。
【0067】
車両下端測定部106は、下端遮蔽判定部105によって先行車両301の位置と画像とを入力された場合、先行車両301下部の水平エッジを検出する(S6003)。車両下端測定部106は、前述の通り、積算された水平エッジのピーク値を求めることによって、先行車両301下部の水平エッジを検出する。S6003の後、車両下端測定部106は、S6003において検出された水平エッジのy座標を、車両下端位置(by)として、サブピクセル精度によって測定する(S6004)。
【0068】
そして、車両下端測定部106は、S6004において、測定された車両下端位置(by)を、実車幅測定部108に入力する。
【0069】
車両下端推定部107は、下端遮蔽判定部105によって先行車両301の位置と、カメラによって撮影された画像とを入力された場合、仮の実車幅(W^)を用いて、先行車両301の下端が存在しうる下端存在領域503を生成する(S6005)。仮の実車幅(W^)は、車両下端推定部107が備えるメモリによって保持されてもよいし、外界認識装置100が備えるメモリによって保持され、車両下端推定部107が必要に応じて読み出してもよい。
【0070】
仮の実車幅(W^)は、過去に測定された先行車両301の実車幅の集合である。仮の実車幅(W^)は、実車幅測定部108によって算出された実車幅(W)を蓄積することによって生成されてもよいし、管理者によって入力されてもよい。
【0071】
仮の実車幅(W^)には、過去の統計情報等から算出された様々な車の車幅が格納される。第1の実施形態において、仮の実車幅(W^)には、最も小さな車の仮の実車幅(small)、中間の大きさの仮の実車幅(medium)、及び、大きな車の仮の実車幅(big)が含まれる。車両下端推定部107は、S6005において、仮の実車幅(W^)から、最も小さな車の仮の実車幅(small)、中間の大きさの仮の実車幅(medium)、及び、最も大きな車の仮の実車幅(big)を取得する。
【0072】
車両下端推定部107は、S6005において、まず画像上の車幅(w)と仮の実車幅(W^)とから式(3)によって推定下端位置by^を算出する。
【0073】
【数3】

【0074】
S6005において、車両下端推定部107は、式(3)と仮の実車幅(small)とによって、推定下端位置by^(small)を算出し、式(3)と仮の実車幅(medium)とによって、推定下端位置by^(med)を算出し、式(3)と仮の実車幅(big)とによって、推定下端位置by^(big)を算出する。
【0075】
そして、車両下端推定部107は、S6005において、推定下端位置by^(small)と、推定下端位置by^(big)と、先行車両301の画像上の実車幅(w)とが囲む領域を生成することによって、下端存在領域503を生成する。
【0076】
S6005の後、車両下端推定部107は、下端存在領域503における輝度分布を算出することによって、先行車両301の車両下端位置(by^)を推定する(S6006)。例えば、下端存在領域503における水平エッジを積算し、積算された水平エッジがピーク値となるy座標を、車両下端位置(by^)とする。
【0077】
また例えば、車両下端推定部107は、ベイズの定理等の確率を用いた算出方法によって、車両下端位置(by^)を推定してもよい。具体的には、S6006において車両下端推定部107は、仮の実車幅(W^)から算出された任意の事前確率(正規分布、一様分布など)をあらかじめ保持しておく。そして、下端存在領域503の輝度分布を取得し、取得された輝度分布に基づいて車両下端位置(by^)の事後確率の期待値を算出することによって、車両下端位置(by^)を推定してもよい。
【0078】
車両下端推定部107は、S6006において、推定された車両下端位置(by^)を、実車幅測定部108に入力する。
【0079】
第1の実施形態によれば、車両下端が観測困難な悪天候時、又は、接近時においても、好適に実車幅を推定することができる。また、実車幅を推定した後、画像上の車幅(w)と実車幅(W)の比を用い、車間距離(Z)を測定するため、ピッチング又は地形変化などによる車両上下方向の揺れの影響を受けずに車間距離測定が可能となる。また、一般に、カメラが設置された高さ(Hc)<実車幅(W)であるため、画像上のカメラの高さ(by−vy)とカメラが設置された高さ(Hc)との比を用いて車間距離(Z)を測定するよりも、安定した車間距離測定が可能となる。
【0080】
(第2の実施形態)
以下、本発明の第2の実施形態を説明する。前述の第1の実施形態の車両下端推定部107は、仮の実車幅(W^)を用いることによって車両下端位置(by^)を推定した。第2の実施形態の車両下端推定部107は、車両識別器に保持される画像上の高さの学習データを用いることによって車両下端位置(by^)を推定する。
【0081】
なお、第2の実施形態に係る外界認識装置100の構成要素のうち、第1の実施形態に係る外界認識装置100の機能部及び処理等と同じものには同じ符号を付す。
【0082】
第2の実施形態の車両識別器は、第1の実施形態と同様に、機械学習方法によって生成された画像パターンを保持する。ただし、第2の実施形態の車両識別器は、過去の統計情報等から算出された様々な車の画像上の高さを保持する。
【0083】
第2の実施形態において外界認識装置100は、先行車両301の下端が遮蔽されているか否かに従って、車両識別器に二種類の学習データを保持する。すなわち、外界認識装置100は、先行車両301の下端が遮蔽されていない場合の学習データによって生成された第1の学習データと、先行車両301の下端が遮蔽された場合の学習データによって生成された第2の学習データとを保持する。
【0084】
なお、外界認識装置100は、車両識別器が学習データごとに分割された、第1の車両識別器及び第2の車両識別器を備えてもよい。また、第2の実施形態の車両識別器は、第2の実施形態の車両検出部103に含まれ、車両識別器の学習データを、車両検出部103が有するメモリに保持してもよい。
【0085】
図7Aは、本発明の第2の実施形態の先行車両301の車両下端位置(by^)を推定するために検出される領域を示す説明図である。
【0086】
先行車両301の下端が遮蔽されている場合、先行車両301の背面のうち車両検出部103によって検出される領域は、領域801である。また、先行車両301の下端が遮蔽されている場合、先行車両301の背面のうち遮蔽されていると推定される領域は、領域802である。
【0087】
以下の説明において、領域801の画像上の高さをαピクセルと記載し、領域802の画像上の高さをβピクセルと記載する。先行車両301の画像上の高さは、α+βピクセルである。
【0088】
車両検出部103によって先行車両301の位置が検出され、下端遮蔽判定部105によって車両の下端が遮蔽されていないと判定された場合、車両識別器に、先行車両301の画像上の高さ(α+βピクセル)が第1の学習データとして蓄積される。また、下端遮蔽判定部105によって車両の下端が遮蔽されていると判定された場合、車両識別器に、先行車両の領域801の画像上の高さ(αピクセル)が第2の学習データとして蓄積される。
【0089】
すなわち、本実施形態の車両識別器は、第1の学習データと第2の学習データとの比率を算出することによって、領域801の画像上の高さαピクセルから領域802の画像上の高さβピクセルを算出することができる。
【0090】
なお、車両検出部103が車両識別器を含む場合、車両検出部103は、下端遮蔽判定部105の判定結果を取得してもよい。
【0091】
図7Bは、本発明の第2の実施形態の推定された先行車両301の車両下端位置(by^)を示す説明図である。
【0092】
図7Aに示すβピクセルを算出することによって、車両検出部103が領域803のみを検出した場合においても、車両下端推定部107は、車両下端位置(by^)を推定することができる。
【0093】
図8は、本発明の第2の実施形態の車両下端測定部106及び車両下端推定部107の処理S4005を示すフローチャートである。
【0094】
第2の実施形態の外界認識装置100も、第1の実施形態と同じく、図4に示す処理を実行する。第2の実施形態のS4005は、第1の実施形態のS4005と異なる処理を含む。
【0095】
第2の実施形態の外界認識装置100も、第1の実施形態のS6001〜S6004を行う。第2の実施形態のS6002において、遮蔽判定領域502の平均輝度が閾値より下、又は、分散が閾値より上であると判定され、下端遮蔽判定部105が先行車両301の位置と、カメラによって撮影された画像とを車両下端推定部107に入力する場合、車両下端推定部107は、S7005を実行する。
【0096】
S6002の後、車両下端推定部107は、下端遮蔽判定部105によって先行車両301の位置と、カメラによって撮影された画像とを入力された場合、車両識別器に先行車両301の位置の情報を入力する。すなわち、車両下端推定部107は、車両識別器に領域801の位置を入力する。車両識別器は、領域801の位置を入力された場合、領域801の画像上の高さからβピクセルを算出する。そして、領域801の下端位置のy座標とβピクセルとを、車両下端推定部107に出力する。
【0097】
そして、車両下端推定部107は、例えば、領域801の下端位置のy座標からβピクセルを減算することによって、車両下端位置(by^)を算出する。車両下端推定部107は、車両下端位置(by^)を、実車幅測定部108に入力する(S7005)。
【0098】
このように、車両識別器が二つの学習データを保持することによって、先行車両301の下端が遮蔽される状況においても、好適に先行車両301と自車との距離(Z)を検出することが可能となる。車両検出部103は、これら二種類の車両識別器を用いて画像を走査することによって、先行車両301を検出することができる。さらに、第2の学習データが出力する領域801の高さαピクセルは、βピクセルを含まないが、学習データを蓄積することによって、αとβとの比率が学習時に既知となる。
【0099】
第2の実施形態における車両下端推定部107は、車両下端の水平エッジの輝度分布を測定しない。このため、強いスプラッシュなどによって車両下端が完全に測定できない場合において、車両下端推定部107は、車両下端位置(by^)を推定することができる。また、先行車両301と自車との距離(Z)が極めて近く下端位置が完全に測定できない場合においても、車両下端位置(by^)を推定することができる。また、車両識別器が出力する下端位置に対して既知のオフセット(β)を加算(又は減算)するのみによって車両下端位置(by^)を推定することができる。このため、第2の実施形態によれば、車両下端推定部107による計算量を大幅に低減できる。
【0100】
(第3の実施形態)
以下、本発明の第3の実施形態を示す。前述の第1の実施形態及び第2の実施形態は、先行車両301の下端が遮蔽される場合に、状況に従って好適に距離(Z)を測定した。第3の実施形態は、さらに様々な状況下(車両下端遮蔽、左右端遮蔽、及び、車線検出不可など)においても好適に距離(Z)を測定する。
【0101】
なお、第3の実施形態に係る外界認識装置900の構成要素のうち、第1の実施形態に係る外界認識装置100の機能部及び処理等と同じものには同じ符号を付す。
【0102】
図9は、本発明の第3の実施形態の外界認識装置900を示すブロック図である。
【0103】
外界認識装置900は、車両検出部103、状況判定部901、状況適応測距部902、及び、距離統合算出部903を備える。
【0104】
外界認識装置100は、少なくとも一つのプロセッサ、及び、メモリを備える。前述の外界認識装置900の各機能部は、プロセッサを備えるハードウェアによって各々実装されてもよい。また、少なくとも一つのプロセッサが各機能部に対応するプログラムを実行することによって、外界認識装置900に備わる各機能部が実装されてもよい。
【0105】
また、外界認識装置900に備わる各機能部は、ハードウェアとソフトウェアとを組み合わせたモジュールであってもよい。また、外界認識装置900の各機能部は、相互に接続されてもよく、複数の機能部が、一つのハードウェアによって実装されてもよい。
【0106】
第3の実施形態の車両検出部103は、前述の第1の実施形態における車両検出部103と同じ方法によって画像中の先行車両301を検出する。
【0107】
状況判定部901は、先行車両301と自車との距離(Z)を算出するために必要な値の取得状況(車両下端遮蔽、左右端遮蔽、又は、車線検出不可など)を判定する。状況判定部901は、第1の実施形態の下端遮蔽判定部105と同じく、先行車両301の下端がスプラッシュ等によって遮蔽されているか否かを判定する。さらに、状況判定部901は、先行車両301の下端が遮蔽されているか否かを判定する手順と同様な手順を用いて、先行車両301の左右が遮蔽されているか否かを判定する。
【0108】
さらに、状況判定部901は、第1の実施形態の車線検出部101と同じ手順によって、車線201及び車線202を検出する。そして、車線201及び車線202を検出できない場合、状況判定部901は、消失点を測定できないと判定する。
【0109】
状況適応測距部902は、状況判定部901によって判定された状況に従って、距離(Z)を好適に測定する。状況適応測距部902は、複数の方法によって距離(Z)を算出する複数の距離測定部を有する。
【0110】
図9に示す状況適応測距部902は、1〜N個(Nは自然数)の距離測定部を有する。状況適応測距部902は、距離(Z)を算出する方法の数に従って、距離測定部を有する。
【0111】
距離統合算出部903は、状況適応測距部902によって出力される1〜N個の距離を選択する。または、平均値算出、中央値算出、最大値算出、又は、最小値算出などによって、1〜N個の距離を統合する。これによって、状況判定部901によって判定された状況に従って、最も精度の高い距離(Z)を測定する。
【0112】
後述する図10〜図13において、状況適応測距部902が有する第1〜第4の距離測定部の例を示す。
【0113】
図10は、本発明の第3の実施形態の第1の距離測定部1000を示すブロック図である。
【0114】
第1の距離測定部1000は、消失点204のy軸(vy)と画像上の車幅(w)と車両下端位置(by)とが測定できる場合に適した距離測定部である。
【0115】
第1の距離測定部1000は、車線検出部101、消失点測定部102、車両幅測定部104、車両下端測定部106、実車幅測定部108、及び、距離測定部109を有する。第1の距離測定部1000は、第1の実施形態の外界認識装置100が有する複数の機能部から、車両検出部103、下端遮蔽判定部105、及び車両下端推定部107を除いた機能部と同じである。これは、状況判定部901において、車両下端位置(by)が測定できると判定されているためである。
【0116】
図11は、本発明の第3の実施形態の第2の距離測定部1100を示すブロック図である。
【0117】
第2の距離測定部1100は、車両下端位置(by)が測定できない場合に適した距離測定部である。
【0118】
第2の距離測定部1100は、車線検出部101、消失点測定部102、車両幅測定部104、車両下端推定部107、実車幅測定部108、及び、距離測定部109を有する。第2の距離測定部1100は、第1の実施形態の外界認識装置100が有する複数の機能部から、車両検出部103、下端遮蔽判定部105、及び車両下端測定部106を除いた機能部と同じである。これは、状況判定部901において、車両下端位置(by)が測定できないと判定されているためである。
【0119】
図12は、本発明の第3の実施形態の第3の距離測定部1200を示すブロック図である。
【0120】
第3の距離測定部1200は、画像上の車幅(w)が測定できない場合に適した距離測定部である。
【0121】
第3の距離測定部1200は、車線検出部101、消失点測定部102、車両下端測定部106、及び、下端距離測定部1201を有する。第3の距離測定部1200は、第1の実施形態の外界認識装置100が有する複数の機能部から、車両検出部103、車両幅測定部104、下端遮蔽判定部105、車両下端推定部107、実車幅測定部108、及び距離測定部109を除いた機能部と同じである。これは、状況判定部901において、車両下端位置(by)が測定できないと判定されているためである。
【0122】
図13は、本発明の第3の実施形態の第4の距離測定部1300を示すブロック図である。
【0123】
第4の距離測定部1300は、消失点及び車両下端位置(by)が測定できない状況、又は、既に実車幅(W)が確定した状況に適した距離測定部である。
【0124】
なお、状況適応測距部902は、第5の距離測定部を有してもよい。第5の距離測定部は、過去に測定された距離(Z)を蓄積し、蓄積された距離(Z)と距離(Z)が測定された時刻とを用いて、先行車両301と自車との速度の差を算出する。そして、算出された速度の差から、新たな車間距離(Z^)を推定する。第5の距離測定部は、図示しない。
【0125】
また、状況適応測距部902は、第3の距離測定部1200の車両下端測定部106が、車両下端推定部107に替った第6の距離測定部を有してもよい。第6の距離測定部は、図示しない。
【0126】
さらに、状況適応測距部902に含まれる各距離測定部は、相互に接続されてもよく、複数の距離測定部によって、一つの機能部が用いられてもよい。例えば、一つの消失点測定部102を、第1の距離測定部1000、第2の距離測定部1100、及び、第3の距離測定部1200が用いてもよい。
【0127】
状況適応測距部902における処理の詳細を、図14に示す。
【0128】
図14は、本発明の第3の実施形態の外界認識装置900の処理を示すフローチャートである。
【0129】
車両検出部103は、先行車両301の背面パターンを用いて先行車両301の画像上の位置を検出し、検出された先行車両301の位置を状況判定部901に入力する(S14001)。車両検出部103によるS14001の処理は、第1の実施形態のS4003の処理と同じである。
【0130】
S14001の後、状況判定部901は、検出された先行車両301の実車幅(W)が確定済みか否かを判定する(S14002)。実車幅(W)が確定済みとは、例えば、実車幅(W)が図14に示す処理によって一定期間の間、複数回算出され、複数回算出された実車幅(W)によって、時系列的に最適値が定められた状態を示す。この場合、初めて先行車両301を検出した場合における実車幅(W)は、確定済みではない。
【0131】
S14002において、実車幅が確定済みではないと判定された場合、状況判定部901は、画像上の車幅(w)を測定できるか否かを判定する(S14010)。具体的には、状況判定部901は、先行車両301の左右が遮蔽されている場合、画像上の車幅(w)を測定できないと判定する。
【0132】
例えば、状況判定部901は、S14010において、先行車両301の左右の一定領域の平均輝度が閾値以上かつ分散が閾値以下である場合、先行車両301の左右が遮蔽されており、画像上の車幅(w)を測定できないと判定する。
【0133】
S14010において、画像上の車幅(w)を測定できると判定された場合、状況判定部901は、消失点204を測定できるか否かを判定する(S14011)。具体的には、状況判定部901は、車線201及び車線202を検出でき、車線201及び車線202が交差した点を検出できる場合、消失点204を測定できると判定する。車線201及び車線202を検出する方法は、第1の実施形態のS4001及びS4002において用いられた方法と同じである。
【0134】
S14011において、消失点204を測定できると判定された場合、状況判定部901は、車両下端位置(by)を測定できるか否かを判定する(S14012)。具体的には、状況判定部901は、先行車両301の下端が遮蔽されているか否かを判定することによって、車両下端位置(by)を測定できるか否かを判定する。
【0135】
例えば、状況判定部901は、S14012において、先行車両301の遮蔽判定領域502の平均輝度が閾値以上かつ分散が閾値以下である場合、先行車両301の下部が遮蔽されており、車両下端位置(by)を測定できないと判定する。車両下端位置(by)を測定できるか否かを判定する方法は、第1の実施形態のS6002と同じである。
【0136】
S14012において、車両下端位置(by)を測定できると判定された場合、状況判定部901は、カメラによって撮影された画像と、先行車両301の位置とを第1の距離測定部1000に入力する。
【0137】
第1の距離測定部1000は、画像を入力された場合、車線検出部101、消失点測定部102、車両幅測定部104、車両下端測定部106によって、消失点204のy軸(vy)、画像上の車幅(w)、及び車両下端位置(vy)を測定する。そして、測定された消失点204のy軸(vy)、画像上の車幅(w)、及び車両下端位置(vy)は、第1の距離測定部1000の実車幅測定部108に入力される。
【0138】
そして、第1の距離測定部1000の実車幅測定部108は、測定された消失点204のy軸(vy)、画像上の車幅(w)、及び車両下端位置(vy)と、前述の式(1)とを用いて実車幅(W)を算出する(S14014)。
【0139】
なお、S14014における第1の距離測定部1000の実車幅測定部108は、一定期間において算出された複数の実車幅(W)を蓄積し、蓄積された複数の実車幅(W)の、例えば平均値を算出することによって実車幅(W)を確定してもよい。
【0140】
S14014の後、第1の距離測定部1000の距離測定部109は、実車幅測定部108によって入力された実車幅(W)と、画像上の車幅(w)と、焦点距離fと、式(2)とを用いて車間距離(Z)を算出する(S14015)。焦点距離fは、外界認識装置900によってあらかじめ保持される。
【0141】
S14012において車両下端位置(by)を測定できないと判定された場合、状況判定部901は、カメラによって撮影された画像と、先行車両301の位置とを第2の距離測定部1100に入力する。そして、第2の距離測定部1100は、先行車両301の位置と画像とを入力された場合、車線検出部101、消失点測定部102、及び車両幅測定部104によって、消失点204のy軸(vy)、及び画像上の車幅(w)を測定し、車両下端推定部107によって車両下端位置(by^)を推定する(S14013)。
【0142】
第2の距離測定部1100の車両下端推定部107による車両下端位置(by^)の推定方法は、第1の実施形態のS6005及びS6006と同じ方法を用いてもよい。また、900の車両検出部103が車両識別器を有し、車両識別器と第2の距離測定部1100とが接続されている場合、第2の実施形態のS7005と同じ方法を用いてもよい。
【0143】
S14013の後、消失点204のy軸(vy)、画像上の車幅(w)、及び車両下端位置(vy)は、第2の距離測定部1100の実車幅測定部108に入力される。そして、第2の距離測定部1100の実車幅測定部108によって、S14014が実行される。
【0144】
S14014の結果、第2の距離測定部1100の実車幅測定部108によって、実車幅(W)が、第2の距離測定部1100の距離測定部109に入力される。そして、第2の距離測定部1100の距離測定部109によって、S14015が実行される。
【0145】
S14011において消失点204を測定できないと判定された場合、状況判定部901は、カメラによって撮影された画像と、先行車両301の位置とを第4の距離測定部1300に入力する。
【0146】
第4の距離測定部1300に画像と先行車両301の位置とが入力された場合、第4の距離測定部の車両幅測定部104は、算出された画像上の車両幅(w)を距離測定部109に入力する。また、第4の距離測定部の実車幅設定部1301は、仮の実車幅(W^)を距離測定部109に入力する(S14016)。第4の距離測定部の車両幅測定部104は、S14016において、第1の実施形態のS4004と同じ方法によって、画像上の車両幅(w)を算出する。
【0147】
また、第4の距離測定部の実車幅設定部1301は、あらかじめ仮の実車幅(W^)を保持する。
【0148】
実車幅設定部1301は、例えば、仮の実車幅(W^)として、大型車両、普通車両及び小型車両などの車の種類による、実車幅を保持する。仮の実車幅(W^)は、管理者によってあらかじめ入力されてもよい。また、実車幅設定部1301は、900に備わるすべての実車幅測定部108によって算出された実車幅(W)を蓄積し、蓄積された実車幅(W)に、管理者が車の種類を指定することによって、仮の実車幅(W^)をあらかじめ生成してもよい。
【0149】
例えば、S14016において実車幅設定部1301は、入力された先行車両301の位置に基づいて、先行車両301の背面画像の縦及び横の比率を算出する。そして、算出された比率に基づいて、おおまかな車の種類を求める。なお、実車幅設定部1301は、背面画像の縦及び横の比率と、車の種類とを対応付けた情報を、保持してもよい。そして、実車幅設定部1301は、求められた車の種類に従って、仮の実車幅(W^)を距離測定部109に入力する。
【0150】
S14016の後、距離測定部109は、入力された画像上の車両幅(w)と、仮の実車幅(W^)と、焦点距離fと、式(4)とを用いて、車間距離(Z)を算出する(S14017)。
【0151】
【数4】

【0152】
S14010において画像上の車幅(w)を測定できないと判定された場合、状況判定部901は、消失点204と車両下端位置(by)との両方を測定できるか否かを判定する(S14018)。S14018において状況判定部901は、第1の実施形態のS4001及びS4002の方法を用いて消失点204を検出し、第1の実施形態のS6001及びS6002の方法を用いて車両下端位置(by)を検出した場合、消失点204と車両下端位置(by)との両方を測定できると判定する。
【0153】
S14018において、消失点204と車両下端位置(by)との両方を測定でき、かつ、車幅(w)のみを測定できないと判定された場合、状況判定部901は、カメラによって撮影された画像と先行車両301の位置とを、第3の距離測定部1200に入力する。
【0154】
第3の距離測定部1200は、画像を入力された場合、車線検出部101、消失点測定部102及び車両下端測定部106によって、消失点204のy軸(vy)と車両下端位置(by)とを測定する。そして、第3の距離測定部1200の下端距離測定部1201は、測定された消失点204のy軸(vy)及び車両下端位置(by)と、焦点距離fと、カメラが設置された高さHcと、式(5)とによって、車間距離(Z)を算出する(S14019)。
【0155】
【数5】

【0156】
S14018において、消失点204と車両下端位置(by)との少なくともいずれか一方を測定できないと判定した場合、状況判定部901は、第5の距離測定部に過去フレームから車間距離(Z^)を推定する指示を入力する(S14020)。車間距離(Z^)を推定する旨の指示を入力された場合、第5の距離測定部は、状況判定部901からの指示に従って、過去に撮影されたフレームと、過去に測定された車間距離(Z)とから、新たな車間距離(Z^)を推定する。そして、第5の距離測定部は、推定された車間距離(Z^)を、車間距離(Z)として出力する。
【0157】
S14002において実車幅(W)が確定済みであると判定された場合、状況判定部901は、S14010と同じく、画像上の車幅(w)を測定できるか否かを判定する(S14003)。
【0158】
S14003において画像上の車幅(w)を測定できると判定された場合、状況判定部901は、カメラによって撮影された画像と、実車幅(W)と、先行車両301の画像上の位置とを第4の距離測定部1300に出力する。第4の距離測定部1300の実車幅設定部1301は、仮の実車幅(W^)に実車幅(W)を蓄積し、かつ、距離測定部109に実車幅(W)を出力する。
【0159】
また、車両幅測定部104は、入力された先行車両301の画像上の位置に基づいて、画像上の車両幅(w)を測定し、測定された画像上の車両幅(w)を距離測定部109に出力する。第4の距離測定部1300の距離測定部109は、実車幅(W)と画像上の車両幅(w)と式(2)とによって、車間距離(Z)を算出し、算出された車間距離(Z)を出力する(S14004)。
【0160】
S14003において画像上の車幅(w)を測定できないと判定された場合、状況判定部901は、S14011と同じく、消失点204を測定できるか否かを判定する(S14005)。S14005において消失点204を測定できると判定された場合、状況判定部901は、車両下端位置(by)を測定できるか否かを判定する(S14006)。
【0161】
S14006において車両下端位置(by)を測定できると判定された場合、状況判定部901は、カメラによって撮影された画像と、先行車両301の位置とを第3の距離測定部1200に入力する。そして、第3の距離測定部1200は、前述のS14019と同じく、車間距離(Z)を算出し、算出された車間距離(Z)を出力する(S14008)。
【0162】
S14006において車両下端位置(by)を測定できないと判定された場合、状況判定部901は、カメラによって撮影された画像と、先行車両301の位置とを第6の距離測定部に入力する。第6の距離測定部は、前述のとおり、第3の距離測定部1200の車両下端測定部106を車両下端推定部107に置き換えた機能部である。
【0163】
第6の距離測定部の車両下端推定部107は、画像と、先行車両301の位置とを入力された場合、前述のS14013と同じく、車両下端位置(by^)を推定する。そして、第6の距離測定部の下端距離測定部1201に推定された車両下端位置(by^)を入力する。また、第6の距離距離測定部の車線検出部101及び消失点測定部102は、消失点のy座標(vy)を測定し、第6の距離測定部の下端距離測定部1201に測定された消失点のy座標(vy)を入力する。
【0164】
第6の距離測定部の下端距離測定部1201は、前述のS14019と同じく、消失点のy座標(vy)と、車両下端位置(by^)と、カメラが設置された高さHcと、焦点距離fと、式(5)とを用いて、車間距離(Z)を算出する。そして、算出された車間距離(Z)を出力する。なお、第6の距離測定部の下端距離測定部1201は、入力された車両下端位置(by^)を車両下端位置(by)として、式(5)を用いて車間距離(Z)を算出する。
【0165】
S14011において消失点のy座標(vy)が測定されないと判定された場合、状況判定部901は、第5の距離測定部に過去フレームから距離(Z)を推定する指示を入力する(S14009)。
【0166】
前述の図14の処理は、状況判定部901が状況適応測距部902が有する一つの距離測定部を選択し、距離統合算出部903に一つの距離(Z)が入力される処理に相当する。しかし、状況判定部901が、状況適応測距部902が有する複数の距離測定部を選択し、距離統合算出部903に複数の距離(Z)が入力されてもよい。そして、距離統合算出部903は、複数の距離(Z)の、平均値を算出したり、中央値を算出したり、最大値又は最小値を算出したりすることによって、統合処理を行ってもよい。
【0167】
例えば、消失点204のy軸(vy)、画像上の車幅(w)、及び、車両下端位置(by)の全てを測定できる場合、第1の距離測定部1000、第3の距離測定部1200、及び第4の距離測定部1300によって複数の距離(Z)を算出する。そして、距離統合算出部903がそれら複数の距離(Z)の中央値を算出することによって、より精度の高い頑健な距離(Z)を算出できる。
【0168】
前述の第3の実施形態によれば、車両下端遮蔽、左右端遮蔽、及び、車線有無など様々な状況判定を判定する手順と、複数の距離測定手順とを備えることによって、様々な状況において最も精度の高い距離(Z)を測定できる。
【0169】
(第4の実施形態)
第4の実施形態は、前述の第1の実施形態、第2の実施形態、又は、第3の実施形態を車両システムに適用した実施形態である。第4の実施形態に係る外界認識装置の構成要素のうち、第1の実施形態、第2の実施形態、又は、第3の実施形態に係る外界認識装置の機能部及び処理等と同じものには同じ符号を付す。
【0170】
図15は、本発明の第4の実施形態の車両システムを示すブロック図である。
【0171】
第4の実施形態の車両システムは、自車に備えられるシステムである。第4の実施形態の車両システムは、カメラ1501、スピーカー1502、走行制御装置1503、及び、車両用外界認識装置1500を備える。
【0172】
カメラ1501は、自車前方を撮影するためのカメラである。カメラ1501は、単眼カメラに限らず、ステレオカメラでもよい。
【0173】
スピーカー1502は、自車の室内に備えられ、そして、音声を出力する。走行制御装置1503は、自車の走行を制御する。
【0174】
車両用外界認識装置1500は、自車の外界を認識する装置である。車両用外界認識装置1500は、入出力(I/O)インタフェース1504と、メモリ1505と、プロセッサ1506と、外界認識装置100又は外界認識装置900とを備える。入出力(I/O)インタフェース1504は、画像データ、及び、音声データ等を含むデータの入出力を行う。メモリ1505には、プログラム及びデータがプロセッサ1506によって読み出される。
【0175】
プロセッサ1506は、各種演算を実行する、例えばCPU等の処理部である。プロセッサ1506は、衝突危険度判定部1507を有する。衝突危険度判定部1507は、プロセッサ1506がプログラムを実行することによって実装されてもよいし、物理的なハードウェアによって実装されてもよい。
【0176】
車両用外界認識装置1500は、第1の実施形態若しくは第2の実施形態の外界認識装置100、又は、第3の実施形態の外界認識装置900を備える。以下の説明において、車両用外界認識装置1500は、外界認識装置100を備えるが、外界認識装置100又は外界認識装置900のいずれを備えてもよい。
【0177】
また、プロセッサ1506がプログラムを実行することによって、外界認識装置100が有する各機能部が実装されてもよい。
【0178】
カメラ1501は、先行車両301を含む画像を撮影し、撮影された画像を車両用外界認識装置1500に入力する。車両用外界認識装置1500の入出力(I/O)インタフェース1504は、カメラ1501から入力された画像をメモリ1505に格納する。なお、カメラ1501は、画像を車両用外界認識装置1500に入力した旨をプロセッサ1506に通知してもよい。
【0179】
プロセッサ1506は、カメラ1501から画像が車両用外界認識装置1500に入力された旨の通知を受信した場合、又は、定期的に、メモリ1505に格納された画像を参照する。そして、プロセッサ1506は、参照した画像を外界認識装置100に入力する。外界認識装置100は、第1の実施形態の外界認識装置100と同じ手順によって、先行車両301と自車との距離(Z)を出力する。そして、出力された距離(Z)は、衝突危険度判定部1507に入力される。
【0180】
衝突危険度判定部1507は、距離(Z)を入力された場合、距離(Z)と式(6)と相対速度vz(Zの微分)によって衝突予測時間(TTC:Time To Collision)を算出する。
【0181】
【数6】

【0182】
そして、衝突危険度判定部1507は、算出された衝突予測期間と管理者等によって予め与えられた閾値とを比較し、比較の結果に基づいて危険度を判定する。例えば、算出された衝突予測時間が閾値よりも短い場合、危険度が高いと判定する。ここで、衝突危険度判定部1507は、複数の閾値と衝突予測時間とを比較することによって、危険度が低い、危険度が高い、又は、危険度が非常に高いなど、段階的に危険度を判定してもよい。
【0183】
判定の結果、危険度が高く、例えば、自車が先行車両301に追突する可能性が高いと判定された場合、衝突危険度判定部1507は、スピーカー1502に警報音を出力させる指示をスピーカー1502に送信する。また、衝突危険度判定部1507は、警告音又は音声などの音声データをスピーカー1502に送信してもよい。
【0184】
また、危険度が非常に高く、例えば、自車が先行車両301に間もなく追突すると判定された場合、衝突危険度判定部1507は、走行制御装置1503に自車のブレーキをかけさせるため、走行制御装置1403に自車を停止させる指示を送信する。
【0185】
前述の第4の実施形態によれば、車両用外界認識装置1500によって衝突予測時間を算出し、算出された衝突予測時間に基づいて、危険度を判定する。そして、危険と判定されたタイミングにおいて、警報を鳴らす衝突警告システムを実現することができ、ドライバーの運転支援が可能となる。
【0186】
また、第4の実施形態の車両用外界認識装置1500は、衝突予測時間を算出することによって、極めて危険と判定されたタイミングにおいてブレーキをかけるプリクラッシュシステムを実現することができる。これによって、ドライバーの運転支援及び衝突の際の被害軽減が可能となる。
【0187】
なお、本発明は、前述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、前述の実施形態は本発明を分かりやすく説明するために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることが可能である。また、各実施形態の構成の一部について、他の構成の追加、削除又は置換をすることが可能である。
【0188】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路等のハードウェアによって実現されてもよい。また、各構成、機能等の機能を実現するソフトウェアで実現する場合を主に説明したが、各機能を実現するプログラム、データ、ファイル等の情報は、メモリのみならず、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体におくことができるし、必要に応じて無線ネットワーク等を介してダウンロード、インストールすることも可能である。
【符号の説明】
【0189】
100、900 外界認識装置
101 車線検出部
102 消失点測定部
103 車両検出部
104 車両幅測定部
105 下端遮蔽判定部
106 車両下端測定部
107 車両下端推定部
108 実車幅測定部
109 距離測定部
201、202 車線
203 自車線領域
204 消失点
301、801 車両
501 スプラッシュ
502 遮蔽判定領域
503 下端存在領域
802 車両下端
901 状況判定部
902 状況適応測距部
903 距離統合算出部
1000 第1の距離測定部
1100 第2の距離測定部
1200 第3の距離測定部
1201 下端距離測定部
1300 第4の距離測定部
1301 実車幅設定部
1500 車両用外界認識装置
1501 カメラ
1502 スピーカー
1503 走行制御装置
1504 入出力(I/O)インタフェース
1505 メモリ
1506 プロセッサ
1507 衝突危険度判定部

【特許請求の範囲】
【請求項1】
カメラを搭載した第1の車両に備わり、前記カメラを介して、前記第1の車両の前方の画像を取得する画像処理装置であって、
前記画像処理装置は、
プロセッサとメモリとを備え、
前記取得された前方の画像から、前記第1の車両の前方の第2の車両の画像を検出する車両検出部と、
前記第1の車両と前記第2の車両との距離を算出するために必要な複数のパラメータのうち、前記第2の車両の画像と前記前方の画像とから取得できない前記パラメータを判定する状況判定部と、
前記第2の車両の画像と前記前方の画像とから前記パラメータを取得し、前記取得されたパラメータによって前記第1の車両と前記第2の車両との距離を算出する少なくとも一つの距離測定部と、を備え、
前記状況判定部が、前記取得できないパラメータを判定した場合、前記少なくとも一つの距離測定部は、前記状況判定部によって判定された取得できないパラメータ以外の前記パラメータを用いて前記第1の車両と前記第2の車両との距離を算出するため、前記第2の車両の画像と前記前方の画像とを取得することを特徴とする画像処理装置。
【請求項2】
前記複数のパラメータは、前記前方の画像における前記第1の車両が走行する車線の消失点の位置と、前記前方の画像における前記第2の車両の幅と、前記前方の画像における前記第2の車両の下端の位置と、を含み、
前記少なくとも一つ距離測定部は、第1の距離測定部を含み、
前記第1の距離測定部は、
前記前方の画像から、前記前方の画像における前記消失点の位置を取得する第1の消失点取得部と、
前記第2の車両の画像から、前記前方の画像における前記第2の車両の幅を取得する第1の車両幅取得部と、
前記第2の車両の画像と前記前方の画像とから、前記前方の画像における第2の車両の下端の位置を推定する下端推定部と、
前記前方の画像において、前記取得された消失点の位置と前記取得された第2の車両の幅と前記推定された下端の位置とに基づいて、前記第1の車両と前記第2の車両との距離を算出する第1の距離算出部と、を有し、
前記状況判定部が、前記前方の画像における第2の車両の下端の位置を取得できないと判定した場合、前記第1の距離測定部は、前記検出された第2の車両の画像と取得された前方の画像とを取得することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記画像処理装置は、複数の車両の幅を、前記メモリに保持し、
前記状況判定部が、前記前方の画像における第2の車両の下端の位置を取得できないと判定した場合、前記下端推定部は、
前記保持された各車両の幅と、前記前方の画像における第2の車両の幅と、前記前方の画像における消失点の位置と、に基づいて、前記前方の画像における第2の車両の下端が存在する領域を特定し、
前記特定された領域において、前記前方の画像における第2の車両の下端の位置を推定することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記画像処理装置は、前記前方の画像における第2の車両の下端を取得できないと判定された場合に取得された前記前方の画像における前記第2の車両の第1の高さと、前記前方の画像における第2の車両の下端を取得できると判定された場合に取得された前記前方の画像における第2の車両の第2の高さと、を前記メモリに保持し、
前記状況判定部が、前記前方の画像における第2の車両の下端の位置を取得できないと判定した場合、前記下端推定部は、前記保持された第2の高さと前記保持された第1の高さと、に基づいて、前記前方の画像における第2の車両の下端の位置を推定することを特徴とする請求項2に記載の画像処理装置。
【請求項5】
前記少なくとも一つ距離測定部は、さらに、第2の距離測定部と第3の距離測定部とを含み、
前記第2の距離測定部は、
前記前方の画像から、前記前方の画像における前記消失点の位置を取得する第2の消失点取得部と、
前記第2の車両の画像から、前記前方の画像における前記第2の車両の幅を取得する第2の車両幅取得部と、
前記第2の車両の画像と前記前方の画像とから、前記前方の画像における第2の車両の下端の位置を取得する第1の下端測定部と、
前記前方の画像において、前記取得された消失点の位置と前記取得された第2の車両の幅と前記取得された下端の位置とに基づいて、前記第1の車両と前記第2の車両との距離を算出する第2の距離算出部と、を有し、
前記第3の距離測定部は、
前記前方の画像から、前記前方の画像における前記消失点の位置を取得する第3の消失点取得部と、
前記第2の車両の画像と前記前方の画像とから、前記前方の画像における第2の車両の下端の位置を取得する第2の下端測定部と、
前記前方の画像において、前記取得された消失点の位置と前記取得された下端の位置とに基づいて、前記第1の車両と前記第2の車両との距離を算出する第3の距離算出部と、を有し、
前記状況判定部が、前記パラメータのうち、取得できない前記パラメータがないと判定した場合、前記第2の距離測定部は、前記検出された第2の車両の画像と取得された前方の画像とを取得し、
前記状況判定部が、前記前方の画像における第2の車両の幅を取得できないと判定した場合、前記第3の距離測定部は、前記検出された第2の車両の画像と取得された前方の画像とを取得することを特徴とする請求項2に記載の画像処理装置。
【請求項6】
前記画像処理装置は、複数の車両の幅を、前記メモリに保持し、
前記少なくとも一つ距離測定部は、さらに、第4の距離測定部を含み、
前記第4の距離測定部は、
前記第2の車両の画像から、前記前方の画像における前記第2の車両の幅を取得する第3の車両幅取得部と、
前記保持された各車両の幅と、前記前方の画像における第2の車両の幅とに基づいて、前記第1の車両と第2の車両との距離を算出する第4の距離算出部と、を有し、
前記状況判定部が、前記前方の画像における、前記第2の車両の下端の位置及び前記消失点の位置を取得できないと判定した場合、前記第4の距離測定部は、前記検出された第2の車両の画像と取得された前方の画像とを取得することを特徴とする請求項5に記載の画像処理装置。
【請求項7】
前記第1の前記消失点取得部と、前記第2の消失点取得部と、前記第3の消失点取得部とは、同じ又は異なる処理部によって構成され、
前記第1の前記車両幅取得部と、前記第2の車両幅取得部と、前記第3の車両幅取得部とは、同じ又は異なる処理部によって構成され、
前記第1の下端測定部と、前記第2の下端測定部とは、同じ処理部によって構成されることを特徴とする請求項6に記載の画像処理装置。
【請求項8】
請求項1に記載の前記画像処理装置を有する車両システムであって、
前記車両システムは、前記画像処理装置によって算出された前記第1の車両と第2の車両との距離に基づいて、前記第1の車両と前記第2の車両とが衝突するまでの衝突予測時間を算出する危険度判定部を有し、
前記危険度判定部は、
前記算出された衝突予測時間と所定の閾値とを比較した結果、前記算出された衝突予測時間が前記所定の閾値よりも低い場合、危険度が高いと判定し、
前記危険度が高いと判定された場合、前記第2の車両との衝突を回避するための指示を、前記第1の車両に送信することを特徴とする車両システム。
【請求項9】
前記第2の車両との衝突を回避するための指示は、前記第1の車両に警告を報知する指示、又は、前記第1の車両を停止させる指示を含むことを特徴とする請求項8に記載の車両システム。
【請求項10】
カメラを搭載した第1の車両に備わり、前記カメラを介して、前記第1の車両の前方の画像を取得する画像処理装置による画像処理方法であって、
前記画像処理装置は、プロセッサとメモリとを備え、
前記方法は、
前記プロセッサが、前記取得された前方の画像から、前記第1の車両の前方の第2の車両の画像を検出する車両検出手順と、
前記プロセッサが、前記第1の車両と前記第2の車両との距離を算出するために必要な複数のパラメータのうち、前記第2の車両の画像と前記前方の画像とから取得できない前記パラメータを判定する状況判定手順と、
前記プロセッサが、前記第2の車両の画像と前記前方の画像とから前記パラメータを取得し、前記取得されたパラメータによって前記第1の車両と前記第2の車両との距離を算出する少なくとも一つの距離測定手順と、を含み、
前記少なくとも一つの距離測定手順は、前記取得できないパラメータが、前記状況判定手順によって判定された場合、前記プロセッサが、前記状況判定手順によって判定された取得できないパラメータ以外の前記パラメータを用いて前記第1の車両と前記第2の車両との距離を算出するため、前記第2の車両の画像と前記前方の画像とを取得する手順を含むことを特徴とする画像処理方法。
【請求項11】
前記複数のパラメータは、前記前方の画像における前記第1の車両が走行する車線の消失点の位置と、前記前方の画像における前記第2の車両の幅と、前記前方の画像における前記第2の車両の下端の位置と、を含み、
前記少なくとも一つ距離測定手順は、第1の距離測定手順を含み、
前記第1の距離測定手順は、
前記プロセッサが、前記前方の画像から、前記前方の画像における前記消失点の位置を取得する消失点取得手順と、
前記プロセッサが、前記第2の車両の画像から、前記前方の画像における前記第2の車両の幅を取得する車両幅取得手順と、
前記プロセッサが、前記第2の車両の画像と前記前方の画像とから、前記前方の画像における第2の車両の下端の位置を推定する下端推定手順と、
前記プロセッサが、前記前方の画像において、前記取得された消失点の位置と前記取得された第2の車両の幅と前記推定された下端の位置とに基づいて、前記第1の車両と前記第2の車両との距離を算出する第1の距離算出手順と、
前記前方の画像における第2の車両の下端の位置を取得できないと、前記状況判定手順によって判定された場合、前記プロセッサが、前記検出された第2の車両の画像と取得された前方の画像とを取得する手順と、を含むことを特徴とする請求項10に記載の画像処理方法。
【請求項12】
前記画像処理装置は、複数の車両の幅を、前記メモリに保持し、
前記下端推定手順は、前記前方の画像における第2の車両の下端の位置を取得できないと、前記状況判定手順によって判定された場合、
前記プロセッサが、前記保持された各車両の幅と、前記前方の画像における第2の車両の幅と、前記前方の画像における消失点の位置と、に基づいて、前記前方の画像における第2の車両の下端が存在する領域を特定する手順と、
前記プロセッサが、前記特定された領域において、前記前方の画像における第2の車両の下端の位置を推定する手順と、を含むことを特徴とする請求項11に記載の画像処理方法。
【請求項13】
前記画像処理装置は、前記前方の画像における第2の車両の下端を取得できないと判定された場合に取得された前記前方の画像における前記第2の車両の第1の高さと、前記前方の画像における第2の車両の下端を取得できると判定された場合に取得された前記前方の画像における第2の車両の第2の高さと、を前記メモリに保持し、
前記下端推定手順は、前記前方の画像における第2の車両の下端の位置を取得できないと、前記状況判定手順によって判定された場合、前記プロセッサが、前記保持された第2の高さと前記保持された第1の高さと、に基づいて、前記前方の画像における第2の車両の下端の位置を推定する手順を含むことを特徴とする請求項11に記載の画像処理方法。
【請求項14】
前記少なくとも一つ距離測定手順は、さらに、第2の距離測定手順と第3の距離測定手順とを含み、
前記第2の距離測定手順は、
前記消失点取得手順と、前記車両幅取得手順と、
前記プロセッサが、前記第2の車両の画像と前記前方の画像とから、前記前方の画像における第2の車両の下端の位置を取得する下端測定手順と、
前記プロセッサが、前記前方の画像において、前記取得された消失点の位置と前記取得された第2の車両の幅と前記取得された下端の位置とに基づいて、前記第1の車両と前記第2の車両との距離を算出する第2の距離算出手順と、を有し、
前記第3の距離測定手順は、
前記消失点取得手順と、前記下端測定手順と、
前記プロセッサが、前記前方の画像において、前記取得された消失点の位置と前記取得された下端の位置とに基づいて、前記第1の車両と前記第2の車両との距離を算出する第3の距離算出手順と、を有し、
前記第2の距離測定手順は、前記パラメータのうち、前記取得できないパラメータがないと、前記状況判定手順によって判定された場合、前記プロセッサが、前記検出された第2の車両の画像と取得された前方の画像とを取得する手順を含み、
前記第3の距離測定手順は、前記前方の画像における第2の車両の幅を取得できないと、前記状況判定手順によって判定された場合、前記プロセッサが、前記検出された第2の車両の画像と取得された前方の画像とを取得する手順を含むことを特徴とする請求項11に記載の画像処理方法。
【請求項15】
前記画像処理装置は、複数の車両の幅を、前記メモリに保持し、
前記少なくとも一つ距離測定手順は、さらに、第4の距離測定手順を含み、
前記第4の距離測定手順は、
前記車両幅取得手順と、
前記プロセッサが、前記保持された各車両の幅と、前記前方の画像における第2の車両の幅とに基づいて、前記第1の車両と第2の車両との距離を算出する第4の距離算出手順と、
前記前方の画像における、前記第2の車両の下端の位置及び前記消失点の位置を取得できないと、前記状況判定手順によって判定された場合、前記プロセッサが、前記検出された第2の車両の画像と取得された前方の画像とを取得する手順とを含むことを特徴とする請求項14に記載の画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図6】
image rotate

【図7A】
image rotate

【図7B】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2013−109455(P2013−109455A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2011−252376(P2011−252376)
【出願日】平成23年11月18日(2011.11.18)
【出願人】(000001487)クラリオン株式会社 (1,722)
【Fターム(参考)】