画像生成装置
【課題】俯瞰画像に映し出された立体物の認識、特にその立体物の立ち位置を簡単に認識することができるモニタ表示画像を生成する画像生成装置の提供。
【解決手段】車両の周辺領域を撮影する車載カメラ１ａ，１ｂ，１ｃ，１ｄによって取得された撮影画像を上方仮想視点で射影変換することで俯瞰画像を生成する俯瞰画像生成部と、周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物検出部と、立体物属性情報に基づいて、立体物の接地位置を示す接地面マークを俯瞰画像における接地位置に画像合成することで、車両運転支援用のモニタ表示画像を生成する画像合成部と、
が備えられている。
【解決手段】車両の周辺領域を撮影する車載カメラ１ａ，１ｂ，１ｃ，１ｄによって取得された撮影画像を上方仮想視点で射影変換することで俯瞰画像を生成する俯瞰画像生成部と、周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物検出部と、立体物属性情報に基づいて、立体物の接地位置を示す接地面マークを俯瞰画像における接地位置に画像合成することで、車両運転支援用のモニタ表示画像を生成する画像合成部と、
が備えられている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像をモニタ表示画像として出力する画像生成装置に関する。
【背景技術】
【０００２】
従来の俯瞰画像生成装置では、車載カメラによって取得された撮影画像を路面に平行な投影面に投影する画像変換原理で、つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像が生成される。この俯瞰画像をモニタに表示させることで、運転者が車両周辺の路面状況を鳥瞰的に把握することができる。しかしながら、そのような射影変換を通じて得られた俯瞰画像では、路面から立ち上がっている立体物はカメラ撮影方向に延びてしまうので、俯瞰画像から実際の立体物の形状を認識しづらくなる。また、複数の車載カメラの撮影画像から車両の全周囲をカバーする俯瞰画像を生成する際には、隣り合う撮影画像の同一領域、つまり重複領域を合成することが一般的に行われている。このような俯瞰画像の場合、重複領域の元の撮影画像の撮影方向が大きく異なるため、この重複領域に存在する立体物が２つの方向に引き延ばされるので、歪な形状の２つの立体物像として映し出され、立体物の認識が困難となり、特に立体物の立ち位置が分かりづらく、車両と立体物の距離感があいまいとなってしまう。
【０００３】
このような問題を解決するため、例えば特許文献１に記載された車両周囲画像表示システムは、車両周囲を撮像するためのカメラと、自車両周囲の障害物を検出する障害物検出手段と、障害物に対応する代替画像を予め格納しておくメモリ部と、カメラが取得した画像を基に自車両周囲の仮想視点からの俯瞰画像を生成する画像処理部とからなり、障害物検出手段が障害物（立体物）を検出した場合に、画像処理部は、障害物を同定し、同定された障害物に対応する代替画像を選択して前記メモリ部から読出して、選択した代替画像の向きと傾きを仮想視点に合わせて変更して前記俯瞰画像に重畳する。このシステムでは、画像処理部が、撮像手段より撮像した画像を車両上部又は車両側面からの俯瞰画像に変換し、障害物検出手段からの情報をもとに、車両周囲の障害物の大きさ、動作に見合った代替画像をメモリ部から選定して、同俯瞰画像上に上書き表示している。
しかしながら、実際の障害物を映し出している障害物画像に代えて人間形態の代替画像を表示する場合、代替画像と実際の障害物の形態がかけ離れている場合、運転者が代替画像と実際に肉眼で確かめた障害物とを同定することが困難となり、迅速な障害物認知の妨げとなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０‐２５１９３９号公報（段落番号〔０００８−００５６〕、図7、図１０）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記実情から、俯瞰画像に映し出された立体物の認識、特にその立体物の立ち位置を簡単に認識することができるモニタ表示画像を生成する画像生成装置が望まれている。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の画像生成装置は、車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで俯瞰画像を生成する俯瞰画像生成部と、前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物検出部と、前記立体物属性情報に基づいて、前記立体物の接地位置を示す接地面マークを前記俯瞰画像における前記接地位置に画像合成することで、立体物の属性車両運転支援用のモニタ表示画像を生成する画像合成部とを備えている。
ここでの立体物の属性とは、車載カメラの撮影視野内に存在している立体物の位置、姿勢、大きさ、種別、色などであり、この属性を示す立体物属性値が立体物属性情報に含まれている。
【０００７】
この構成によれば、立体物の立ち位置である接地位置に接地面マークが追加的に描画された俯瞰画像がモニタ表示画像として生成されるので、運転者は、立体物が撮影方向に引き延ばされた歪んだ形で表示されても、立体物の接地位置は接地面マークを通じて明確に認識することができる。特に、立体物が隣り合う撮影画像の重複領域に存在していることから歪な立体物像として映し出されている場合でも、当該立体物像の共通領域としての、立体物の接地面が接地面マークで示される。従って、そのようなケースでさえ、運転者はモニタ表示画像を通じて立体物の立ち位置を認識することができる。
【０００８】
接地面マークの具体的な形態として、本発明の好適な実施形態の１つでは、前記接地面マークは扁平形状、好ましくは楕円形状であり、前記車両から前記立体物への方向線と楕円長径が直交するように前記接地面マークの傾斜姿勢が決定される。接地面マークを扁平形状とし、立体物の接地位置への配置姿勢を、前記車両（例えば車両中心または車載カメラ中心など）から前記立体物への方向線と直交するように選ぶことで、運転者は、接地面マークの傾斜姿勢から車両に対する方向性を認識することができる。また、接地面マークを楕円形状にすると、輪郭線が滑らかなエッジを有することになるので、画像合成後のエッジがスムーズで見易いものとなる
【０００９】
俯瞰画像における立体物の接地面サイズは、車両からの距離や立体物の種類によって異なるので、本発明の好適な実施形態の１つとして、前記接地面マークのサイズが、前記立体物の推定接地面積に応じて決定されるように構成すると、好都合である。これにより、立体物の接地面サイズに比べて接地面マークのサイズが小さすぎて、立体物の接地面と接地面マークの対応がとり辛いという不都合や、立体物の接地面サイズに比べて接地面マークのサイズが大きすぎて、接地面マークが立体物を見え難くするという不都合を低減することができる。
【００１０】
俯瞰画像における立体物の接地位置へ接地面マークを合成する好適な形態として、以下の２つがあげられる。
その１つの形態では、前記画像合成部による画像合成において、前記俯瞰画像を含む基礎画像レイヤから前記立体物のみの立体物画像レイヤが作成され、前記接地面マークは、前記基礎画像レイヤと前記立体物画像レイヤとの間でかつ前記俯瞰画像における前記立体物の接地位置に配置される。つまり、接地面マークは立体物の背景として俯瞰画像に張りつけられるので、立体物に奥行き感がでて、より立体物と接地面マークとが見やすくなる。また、立体物が接地面マークによって隠れることがなくなるので、運転者は接地面マークが立体物の接地面を示していることを直感的に理解できる。
他の１つでは、前記画像合成部による画像合成において、前記接地面マークは前記俯瞰画像における前記立体物の接地位置に上書きされる。この形態は、単純に、俯瞰画像の立体物の接地位置に接地面マークを貼り付けるだけなので、簡単な画像処理で実現することができる。その際、接地面マークを数十％の透明化を施すことで、ある程度立体物の足元領域が見えるようにすると好都合である。
【００１１】
接地面マークをその都度描画すると処理時間上の負担が生じる。このため、予め作成した接地面マークを接地面マーク格納部に格納しておき、送られてくる立体物属性情報に基づいて適切な接地面マークを抽出して使用することが好ましい。特に、立体物の位置に応じて接地面マークの傾斜姿勢やサイズを変更する場合には、全ての利用可能性のある接地面マークを接地面マーク格納部に格納しておくと合成処理が簡単となり、好都合である。
【００１２】
立体物が認識された場合、運転者にとって、立体物の立ち位置である接地位置から自車がどの程度離れているかが重要な情報となる。従って、本発明の好適な実施形態の１つでは、前記立体物の接地位置から前記車両までの距離が前記接地面マークの近傍に付加される。これにより、モニタ表示画面から運転者が必要とする立体物の情報が一目で確認することができる。
【図面の簡単な説明】
【００１３】
【図１】俯瞰画像における立体物の接地位置に接地面マークを配置する本発明の基本構想を説明する模式図である。
【図２】立体物領域の俯瞰画像と接地面マークとの画像合成を説明する模式図である。
【図３】本発明による画像生成装置を適用した車両周辺監視システムの機能ブロック図である。
【図４】車両周辺監視システムを構成する画像処理モジュールの機能ブロック図である。
【図５】俯瞰画像表示ルーチンを示すフローチャートである。
【図６】接地面マーク付き俯瞰画像の生成表示を図解する模式図である。
【図７】別形態における接地面マーク付き俯瞰画像の生成表示を図解する模式図である。
【図８】別実施形態の画像生成装置を適用した車両周辺監視システムの機能ブロック図である。
【発明を実施するための形態】
【００１４】
具体的な実施形態を説明する前に、本発明の基本構想を図１の模式図を用いて説明する。車両の全周囲を撮影するために車両前後左右１ａ〜１ｄにカメラが搭載されている。車両周辺監視画面としての俯瞰画像をモニタ表示するためには、まずカメラによって自車の周辺領域の撮影画像が取得される（＃１）。ここでは、取得された撮影画像は、車両周辺の障害物となる立体物の検出処理にも利用される。立体物の検出には、一般的な画像認識処理が用いられるが、超音波やレーザレーダー法や赤外線法を用いた立体物検出を用いても良いし、双方を組み合わせても良い。ここでは、処理対象となる立体物は、車両の前方左側に載置された円柱体である。前方撮影画像と左側方撮影画像とに円柱体が写っている。
【００１５】
立体物の画像認識アルゴリズムはよく知られているのでここでは詳しく述べないが、動きベクトル法や差分法を用いた動体か静止体かの判定、大きさ、エッジ検出による形状特定、色情報からの種別特定などにより立体物が認識される（＃２）。また、超音波やレーザレーダーによって立体物を検知した後、その検知情報に基づいて、撮影画像を用いた画像認識でより詳しく立体物を認識してもよい。画像認識を通じて、車載カメラの撮影視野内に存在している立体物の位置、姿勢、大きさ、種別、色などの立体物属性値を含む立体物属性情報が生成される（＃３）。
【００１６】
一方、各撮影画像を用いて、ここでは、投影面を路面に平行な面とする射影変換、つまり真上に仮想視点を設定した視点変換が予め設定されたマッピングを用いて行われる（＃４）。この射影変換処理を通じて得られた俯瞰画像用画像セグメントを、互いに重複する領域を重ね合わせるように組み合わせることで、車両周辺を車両の真上からみた俯瞰画像が得られる（＃５）。俯瞰画像には、この俯瞰画像を前方画像領域と左右側方画像領域、後方画像領域に区分ける境界線が描画されている。
【００１７】
続いて、検出された立体物の俯瞰画像内の立体物領域が立体物属性情報に基づいて俯瞰画像から切り出される（＃６）。また、この例では、立体物属性情報に基づいて検出された立体物に適した、当該立体物の接地面を示す接地面マークが接地面マーク格納部から抽出されるが、接地面マークはその都度作成することも可能である（＃７）。
【００１８】
立体物領域が切り出された俯瞰画像と切り出した立体物領域と抽出された接地面マークとは、図２に示すように、立体物領域が切り出された俯瞰画像を最背面に、接地面マークを背面に、切り出した立体物領域を前面にくるようなレイヤ合成順序で画像合成を行う（＃８）。この画像合成により、立体物が接地面マークによって隠れることがなくなり、接地面マークが立体物の接地面を示すことがより明確となる。もちろん、このような画像合成に代えて、接地面マークを直接、立体物領域を含む俯瞰画像に上書きするように合成してもよい。
【００１９】
画像合成によって生成された画像は、モニタ表示画像としてモニタに転送され、モニタ画面に、必要に応じて選択された１つまたは複数の撮影画像とともに、表示される（＃９）。
【００２０】
なお、図２に示されているように、隣り合う撮影画像の重複領域を重ね合わせて、ブレンド合成（融合）すると、それぞれの撮影方向に引き延ばされた立体物像が２つ残ってしまう。しかしながら、図示した画像合成によれば、共通領域としての接地面が接地面マーカによって明確化されているので、歪んだ形状の２つの立体物像として立体物が表示された場合でも、運転者はモニタ画面を通じて立体物との距離感を把握しやすい。
【００２１】
以下、本発明の実施形態を図面に基づいて説明する。図３は、本発明による画像生成装置を採用した車両周辺監視システムを構成する制御系の機能ブロック図である。
この車両周辺監視システムを搭載した車両には、４つの車載カメラ１、つまり、フロントカメラ１ａ、バックカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃが装備されている。これらの車載カメラ１からの撮影画像から全周囲俯瞰画像が作成される。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。車両周辺監視制御が動作する際には、カメラ１による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。カメラ１は車両周辺を時系列に撮影して得られて撮影画像をデジタル変換してリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズまたは魚眼レンズを備えている。
【００２２】
車両周辺監視システムの中核をなすＥＣＵ２０は、図３に示すように、車両状態検出センサ群からの信号入力をそのまま、あるいは評価してＥＣＵ２０の内部に転送するセンサ入力インターフェース２３や通信インターフェース７０などを備えると共に、入力情報を処理するマイクロプロセッサや、ＤＳＰを備えている。
【００２３】
センサ入力インターフェース２３に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
【００２４】
また、入出力インターフェースとして用いられている通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、モニタ２１、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。その他、音声情報の出力デバイスとしてスピーカ２２も備えられている。
【００２５】
そのほか、ＥＣＵ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が含まれるが、本発明に特に関係する機能部としては、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
【００２６】
図４に、ＥＣＵ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から射影変換によって変換された俯瞰画像等の画像を生成する機能を有している。
【００２７】
画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、立体物検出部５４、画像合成部５５、フレームメモリ５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物検出部５４は、それ自体は公知である物体画像認識アルゴリズムを用いて、撮影画像に含まれている立体物を検出する。検出された立体物の立体物属性情報、例えば立体物の位置、大きさ、色、姿勢などは、画像生成部５３に送られる。
【００２８】
画像生成部５３は、通常画像生成部６０、俯瞰画像生成部６１、マッピングテーブル６２、立体物切り出し部６３、接地面マーク出力部６４を含んでいる。
【００２９】
通常画像生成部６０は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄによる撮影画像から運転者によって選択された１つでもよいし、複数撮影画像の組み合わせでもよい。
【００３０】
俯瞰画像生成部６１は、撮影画像メモリ５１に展開されている1枚又は複数の撮影画像を上方仮想視点で射影変換することで俯瞰画像を生成する機能を有し、具体的には、マッピングテーブル６２を用いたマップ変換によって俯瞰画像が生成される。マッピングテーブル６２には、ここで使用される射影変換のための種々のマップが選択可能に予め格納されている。マッピングテーブル６２に格納されている各マップは種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（通常は俯瞰画像）の画素データとの対応関係が記述されたマップとして構築されている。特に、１フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されており、車載カメラ毎に適応するマップが適用される。俯瞰画像生成部６１は、外部コマンドまたは内部コマンドに基づいて適切なマップをマッピングテーブル６２から選択する機能も有する。
【００３１】
この実施形態では、図２で示されているように、立体物検出部５４で立体物が検出された立体物の俯瞰画像内における立体物画像領域は、接地面マークによって隠れないように、接地面マークは立体物画像領域の裏面側に配置するように合成される合成手法が採用されている。このため、立体物切り出し部６３は、立体物検出部５４で立体物が検出された場合、立体物検出部５４から送られてくる立体物属性情報に基づいて、俯瞰画像から立体物画像領域を切り出す。切り出された立体物画像と俯瞰画像とは画像合成部５５に転送される。
【００３２】
接地面マーク出力部６４は、立体物検出部５４で立体物が検出された場合、立体物検出部５４から送られてくる立体物属性情報に基づいて、前記立体物の接地位置を示すために適切な接地面マークを画像合成部５５に出力する機能を有する。このため、接地面マーク出力部６４は、接地面中心算定部６４ａ、接地面サイズ算定部６４ｂ、接地面傾斜算定部６４ｃ、接地面マーク格納部６４ｄを含んでいる。この実施形態では、接地面マーク出力部６４が出力する接地面マークの形状は楕円形である。その長径／短径比は２.５：１程度が好ましいが、これはモニタに割り当てられる俯瞰画像の表示領域の形状によって異なる。
【００３３】
接地面中心算定部６４ａは、立体物属性情報に含まれている立体物位置に基づいて俯瞰画像における立体物の接地面中心位置を算定する。接地面サイズ算定部６４ｂは、立体物属性情報に含まれている立体物の自車からみた幅に基づいて、俯瞰画像において当該幅より接地面マークの長径が大きくなるように接地面マークのサイズを算定する。接地面傾斜算定部６４ｃは、接地面中心算定部６４ａによって算定された立体物の接地面中心位置と車両中心を結ぶ直線に対して接地面マークの長径が直交する当該接地面マークの傾斜角（姿勢）を算定する。接地面マーク格納部６４ｄは、接地面サイズ算定部６４ｂ及び接地面傾斜算定部６４ｃによって算定されうるサイズと姿勢を有する接地面マークの画像データを格納している。接地面マーク出力部６４は、適切な接地面マーク（画像データ）を接地面マーク格納部６４ｄから抽出して、接地面中心算定部６４ａによって算定された接地面中心位置のデータとともに画像合成部５５に出力する。
【００３４】
なお、接地面マーク格納部６４ｄが予め利用可能性のある接地面マーク（画像データ）を全て格納するのではなく、基本的な基本画像だけを格納しておき、当該基本画像から要望される接地面マークを当該基本画像から生成するように構成してもよい。また、接地面マーク（画像データ）の生成アルゴリズムだけを格納しておき、接地面サイズ算定部６４ｂ及び接地面傾斜算定部６４ｃによって算定されたサイズと姿勢を有する接地面マークを、その都度、生成するようにしてもよい。また、接地面マークのサイズを変更しない場合は、接地面サイズ算定部６４ｂを省略することができる。あるいは、接地面マークに選択した任意の色で着色できる機能を追加してもよい。
【００３５】
画像合成部５５は、立体物検出部５４が立体物を検出していなければ、俯瞰画像生成部６１で生成された、自車の全周囲俯瞰画像の中央に自車イラストまたは自車写真を配置する合成を行う。
立体物検出部５４が立体物を検出した場合には、立体物検出部５４には、立体物切り出し部６３から俯瞰画像と当該俯瞰画像から切り出された立体物画像、及び接地面マーク出力部６４から接地面マークと当該接地面マークの配置データ（接地面中心位置のデータ）が送り込まれる。立体物検出部５４は、立体物領域が切り出された俯瞰画像を最背面レイヤに、接地面マークを背面レイヤに、切り出した立体物領域を前面レイヤに配置して、レイヤ合成を行うことで立体物の接地面に楕円形状の接地面マークを付加した俯瞰画像を生成する。
いずれにしても、生成された俯瞰画像は所定のテンプレートにはめ込まれ、車両運転支援用のモニタ表示画像としてフレームメモリ５６に転送される。フレームメモリ５６に転送された、モニタ表示画像は表示制御部７１を介してモニタ２１に表示される。
【００３６】
次に、上述のように構成された画像生成装置を組み込んだ車両周辺監視システムによる俯瞰画像表示の流れを図５のフローチャートを用いて説明する。
この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定されるか又はデフォルト設定されている俯瞰画像の表示種別が読み出される（＃０１）。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰画像生成部６１で用いられる射影変換のためのマップが、利用される車載カメラ１の撮影画像毎に設定される（＃０２）。４台の車載カメラ１の撮影画像を取得する（＃０３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃０４）。生成された俯瞰画像セグメントを組み合わせ、車両周辺の全周囲俯瞰画像が生成される（＃０５）。
【００３７】
立体物検出部５４から立体物属性情報が出力されているかどうかチェックする（＃０６）。立体物属性情報が出力されていない場合（＃０６No分岐）、どの撮影画像にも注目すべき立体物が写り込んでいないとみなして、ステップ＃０５で生成された俯瞰画像における自車位置に予め設定されている車両の俯瞰イメージ画像（写真、イラスト、シンボルなど）が配置され、モニタ表示用の俯瞰画像（モニタ表示画像）が生成される（＃２０）。生成されたモニタ表示画像はモニタ２１に表示される（＃２１）。この俯瞰画像表示ルーチンの終了指令がない限り（＃２２No分岐）、再びステップ＃０１に戻って、このルーチンを繰り返す。
【００３８】
ステップ＃０６のチェックで、立体物属性情報が出力されている場合（＃０６Yes分岐）、立体物属性情報に含まれている、認識された立体物に関する位置、種別、姿勢、大きさなどのデータを読み出す（＃０７）。読み出した立体物の位置に関するデータに基づいて俯瞰画像における当該立体物の画像領域を決定する（＃０８）。
【００３９】
立体物属性情報に基づいて、立体物切り出し部６３が俯瞰画像から立体物画像領域を切り出し（＃０９）、接地面マーク出力部６４が対象となる立体物に適した接地面マークを出力する（＃１０）。これにより、画像合成部５５において、立体物の接地面に楕円形状の接地面マークを付加した俯瞰画像が生成される（＃１１）。この接地面マーク付き俯瞰画像は、図６で図解されているように、モニタ表示画像として生成され（＃２０）、生成されたモニタ表示画像はモニタ２１に表示される（＃２１）。図６で例示されたモニタ画面では、接地面マーク付き俯瞰画像は、立体物（ここでは歩行者）を移しているフロントカメラ撮影画像と横並びで配置されている。
【００４０】
〔別実施の形態〕
（１）上述した実施形態の説明では、俯瞰画像として、車両上方視点と路面と平行な射影面とを用いて撮影画像から射影変換されて得られる画像が用いられたが、本発明はこのような射影変換で得られる俯瞰画像に限定されるものではない。例えば、射影面として凹曲面や屈曲面を用いた俯瞰画像を用いてもよい。
【００４１】
（２）上述した実施形態の説明では、図２や図６で図解されているように、接地面マークは立体物の背景となるように俯瞰画像に合成されていた。この合成を簡単化するためには、図７に図解されているように、接地面マークが俯瞰画像における立体物の接地位置に単純に上書きする画像合成を用いることができる。
【００４２】
（３）立体物属性情報に検出立体物の位置が含まれているので、自車との距離（最短距離が好ましい）を求めることができる。あるいは、撮影画像からその距離を求めることも可能である。いずれにせよ、検出立体物自車との距離が求まるので、この距離を立体物の接地位置から車両までの距離としてモニタ表示画像に含ませることができる。例えば、図７に示すように、接地面マークの近傍に付加すると、運転者は立体物との間の正確な距離を把握することができる。
【００４３】
（４）上述した実施形態の説明では、立体物検出部５４は、撮影画像から画像認識技術を用いて立体物を検出して立体物属性情報を生成するものであることから、画像処理モジュール５０に組み込まれていた。これに代えて、立体物検出部を画像処理モジュール５０から独立させた構成を採用してもよい。例えば、図８に示すように、車載通信経路によって画像処理モジュール５０と接続された立体物認識モジュール３０を採用することができる。この立体物認識モジュール３０は、複数の超音波センサ３からの検出信号を評価して立体物検知を行う立体物検知機能を有する。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。この場合、画像処理モジュール５０に備えられている立体物検出部５４は、単に、立体物認識モジュール３０から送られてくる立体物属性情報を受け取る機能だけを備えると良い。なお、超音波センサ３に変えてレーザレーダーや赤外線を用いてもよい。また、画像処理モジュール５０からの立体物位置情報に基づいて、立体物検出部５４が、画像認識手法で立体物を検出する構成を採用してもよい。
【産業上の利用可能性】
【００４４】
本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
【符号の説明】
【００４５】
１：カメラ
２１：モニタ
３０：立体物認識モジュール（立体物検出部）
５０：画像処理モジュール
５３：画像生成部
５４：立体物検出部
５５：画像合成部
６０：通常画像生成部
６１： 俯瞰画像生成部
６２：マッピングテーブル
６３：立体物切り出し部
６４：接地面マーク出力部
６４ａ：接地面中心算定部
６４ｂ：接地面サイズ算定部
６４ｃ：接地面傾斜算定部
６４ｄ：接地面マーク格納部
【技術分野】
【０００１】
本発明は、車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで生成される俯瞰画像をモニタ表示画像として出力する画像生成装置に関する。
【背景技術】
【０００２】
従来の俯瞰画像生成装置では、車載カメラによって取得された撮影画像を路面に平行な投影面に投影する画像変換原理で、つまり仮想視点を鉛直上方に位置させた射影変換により真上からの俯瞰画像が生成される。この俯瞰画像をモニタに表示させることで、運転者が車両周辺の路面状況を鳥瞰的に把握することができる。しかしながら、そのような射影変換を通じて得られた俯瞰画像では、路面から立ち上がっている立体物はカメラ撮影方向に延びてしまうので、俯瞰画像から実際の立体物の形状を認識しづらくなる。また、複数の車載カメラの撮影画像から車両の全周囲をカバーする俯瞰画像を生成する際には、隣り合う撮影画像の同一領域、つまり重複領域を合成することが一般的に行われている。このような俯瞰画像の場合、重複領域の元の撮影画像の撮影方向が大きく異なるため、この重複領域に存在する立体物が２つの方向に引き延ばされるので、歪な形状の２つの立体物像として映し出され、立体物の認識が困難となり、特に立体物の立ち位置が分かりづらく、車両と立体物の距離感があいまいとなってしまう。
【０００３】
このような問題を解決するため、例えば特許文献１に記載された車両周囲画像表示システムは、車両周囲を撮像するためのカメラと、自車両周囲の障害物を検出する障害物検出手段と、障害物に対応する代替画像を予め格納しておくメモリ部と、カメラが取得した画像を基に自車両周囲の仮想視点からの俯瞰画像を生成する画像処理部とからなり、障害物検出手段が障害物（立体物）を検出した場合に、画像処理部は、障害物を同定し、同定された障害物に対応する代替画像を選択して前記メモリ部から読出して、選択した代替画像の向きと傾きを仮想視点に合わせて変更して前記俯瞰画像に重畳する。このシステムでは、画像処理部が、撮像手段より撮像した画像を車両上部又は車両側面からの俯瞰画像に変換し、障害物検出手段からの情報をもとに、車両周囲の障害物の大きさ、動作に見合った代替画像をメモリ部から選定して、同俯瞰画像上に上書き表示している。
しかしながら、実際の障害物を映し出している障害物画像に代えて人間形態の代替画像を表示する場合、代替画像と実際の障害物の形態がかけ離れている場合、運転者が代替画像と実際に肉眼で確かめた障害物とを同定することが困難となり、迅速な障害物認知の妨げとなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０‐２５１９３９号公報（段落番号〔０００８−００５６〕、図7、図１０）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記実情から、俯瞰画像に映し出された立体物の認識、特にその立体物の立ち位置を簡単に認識することができるモニタ表示画像を生成する画像生成装置が望まれている。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の画像生成装置は、車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで俯瞰画像を生成する俯瞰画像生成部と、前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物検出部と、前記立体物属性情報に基づいて、前記立体物の接地位置を示す接地面マークを前記俯瞰画像における前記接地位置に画像合成することで、立体物の属性車両運転支援用のモニタ表示画像を生成する画像合成部とを備えている。
ここでの立体物の属性とは、車載カメラの撮影視野内に存在している立体物の位置、姿勢、大きさ、種別、色などであり、この属性を示す立体物属性値が立体物属性情報に含まれている。
【０００７】
この構成によれば、立体物の立ち位置である接地位置に接地面マークが追加的に描画された俯瞰画像がモニタ表示画像として生成されるので、運転者は、立体物が撮影方向に引き延ばされた歪んだ形で表示されても、立体物の接地位置は接地面マークを通じて明確に認識することができる。特に、立体物が隣り合う撮影画像の重複領域に存在していることから歪な立体物像として映し出されている場合でも、当該立体物像の共通領域としての、立体物の接地面が接地面マークで示される。従って、そのようなケースでさえ、運転者はモニタ表示画像を通じて立体物の立ち位置を認識することができる。
【０００８】
接地面マークの具体的な形態として、本発明の好適な実施形態の１つでは、前記接地面マークは扁平形状、好ましくは楕円形状であり、前記車両から前記立体物への方向線と楕円長径が直交するように前記接地面マークの傾斜姿勢が決定される。接地面マークを扁平形状とし、立体物の接地位置への配置姿勢を、前記車両（例えば車両中心または車載カメラ中心など）から前記立体物への方向線と直交するように選ぶことで、運転者は、接地面マークの傾斜姿勢から車両に対する方向性を認識することができる。また、接地面マークを楕円形状にすると、輪郭線が滑らかなエッジを有することになるので、画像合成後のエッジがスムーズで見易いものとなる
【０００９】
俯瞰画像における立体物の接地面サイズは、車両からの距離や立体物の種類によって異なるので、本発明の好適な実施形態の１つとして、前記接地面マークのサイズが、前記立体物の推定接地面積に応じて決定されるように構成すると、好都合である。これにより、立体物の接地面サイズに比べて接地面マークのサイズが小さすぎて、立体物の接地面と接地面マークの対応がとり辛いという不都合や、立体物の接地面サイズに比べて接地面マークのサイズが大きすぎて、接地面マークが立体物を見え難くするという不都合を低減することができる。
【００１０】
俯瞰画像における立体物の接地位置へ接地面マークを合成する好適な形態として、以下の２つがあげられる。
その１つの形態では、前記画像合成部による画像合成において、前記俯瞰画像を含む基礎画像レイヤから前記立体物のみの立体物画像レイヤが作成され、前記接地面マークは、前記基礎画像レイヤと前記立体物画像レイヤとの間でかつ前記俯瞰画像における前記立体物の接地位置に配置される。つまり、接地面マークは立体物の背景として俯瞰画像に張りつけられるので、立体物に奥行き感がでて、より立体物と接地面マークとが見やすくなる。また、立体物が接地面マークによって隠れることがなくなるので、運転者は接地面マークが立体物の接地面を示していることを直感的に理解できる。
他の１つでは、前記画像合成部による画像合成において、前記接地面マークは前記俯瞰画像における前記立体物の接地位置に上書きされる。この形態は、単純に、俯瞰画像の立体物の接地位置に接地面マークを貼り付けるだけなので、簡単な画像処理で実現することができる。その際、接地面マークを数十％の透明化を施すことで、ある程度立体物の足元領域が見えるようにすると好都合である。
【００１１】
接地面マークをその都度描画すると処理時間上の負担が生じる。このため、予め作成した接地面マークを接地面マーク格納部に格納しておき、送られてくる立体物属性情報に基づいて適切な接地面マークを抽出して使用することが好ましい。特に、立体物の位置に応じて接地面マークの傾斜姿勢やサイズを変更する場合には、全ての利用可能性のある接地面マークを接地面マーク格納部に格納しておくと合成処理が簡単となり、好都合である。
【００１２】
立体物が認識された場合、運転者にとって、立体物の立ち位置である接地位置から自車がどの程度離れているかが重要な情報となる。従って、本発明の好適な実施形態の１つでは、前記立体物の接地位置から前記車両までの距離が前記接地面マークの近傍に付加される。これにより、モニタ表示画面から運転者が必要とする立体物の情報が一目で確認することができる。
【図面の簡単な説明】
【００１３】
【図１】俯瞰画像における立体物の接地位置に接地面マークを配置する本発明の基本構想を説明する模式図である。
【図２】立体物領域の俯瞰画像と接地面マークとの画像合成を説明する模式図である。
【図３】本発明による画像生成装置を適用した車両周辺監視システムの機能ブロック図である。
【図４】車両周辺監視システムを構成する画像処理モジュールの機能ブロック図である。
【図５】俯瞰画像表示ルーチンを示すフローチャートである。
【図６】接地面マーク付き俯瞰画像の生成表示を図解する模式図である。
【図７】別形態における接地面マーク付き俯瞰画像の生成表示を図解する模式図である。
【図８】別実施形態の画像生成装置を適用した車両周辺監視システムの機能ブロック図である。
【発明を実施するための形態】
【００１４】
具体的な実施形態を説明する前に、本発明の基本構想を図１の模式図を用いて説明する。車両の全周囲を撮影するために車両前後左右１ａ〜１ｄにカメラが搭載されている。車両周辺監視画面としての俯瞰画像をモニタ表示するためには、まずカメラによって自車の周辺領域の撮影画像が取得される（＃１）。ここでは、取得された撮影画像は、車両周辺の障害物となる立体物の検出処理にも利用される。立体物の検出には、一般的な画像認識処理が用いられるが、超音波やレーザレーダー法や赤外線法を用いた立体物検出を用いても良いし、双方を組み合わせても良い。ここでは、処理対象となる立体物は、車両の前方左側に載置された円柱体である。前方撮影画像と左側方撮影画像とに円柱体が写っている。
【００１５】
立体物の画像認識アルゴリズムはよく知られているのでここでは詳しく述べないが、動きベクトル法や差分法を用いた動体か静止体かの判定、大きさ、エッジ検出による形状特定、色情報からの種別特定などにより立体物が認識される（＃２）。また、超音波やレーザレーダーによって立体物を検知した後、その検知情報に基づいて、撮影画像を用いた画像認識でより詳しく立体物を認識してもよい。画像認識を通じて、車載カメラの撮影視野内に存在している立体物の位置、姿勢、大きさ、種別、色などの立体物属性値を含む立体物属性情報が生成される（＃３）。
【００１６】
一方、各撮影画像を用いて、ここでは、投影面を路面に平行な面とする射影変換、つまり真上に仮想視点を設定した視点変換が予め設定されたマッピングを用いて行われる（＃４）。この射影変換処理を通じて得られた俯瞰画像用画像セグメントを、互いに重複する領域を重ね合わせるように組み合わせることで、車両周辺を車両の真上からみた俯瞰画像が得られる（＃５）。俯瞰画像には、この俯瞰画像を前方画像領域と左右側方画像領域、後方画像領域に区分ける境界線が描画されている。
【００１７】
続いて、検出された立体物の俯瞰画像内の立体物領域が立体物属性情報に基づいて俯瞰画像から切り出される（＃６）。また、この例では、立体物属性情報に基づいて検出された立体物に適した、当該立体物の接地面を示す接地面マークが接地面マーク格納部から抽出されるが、接地面マークはその都度作成することも可能である（＃７）。
【００１８】
立体物領域が切り出された俯瞰画像と切り出した立体物領域と抽出された接地面マークとは、図２に示すように、立体物領域が切り出された俯瞰画像を最背面に、接地面マークを背面に、切り出した立体物領域を前面にくるようなレイヤ合成順序で画像合成を行う（＃８）。この画像合成により、立体物が接地面マークによって隠れることがなくなり、接地面マークが立体物の接地面を示すことがより明確となる。もちろん、このような画像合成に代えて、接地面マークを直接、立体物領域を含む俯瞰画像に上書きするように合成してもよい。
【００１９】
画像合成によって生成された画像は、モニタ表示画像としてモニタに転送され、モニタ画面に、必要に応じて選択された１つまたは複数の撮影画像とともに、表示される（＃９）。
【００２０】
なお、図２に示されているように、隣り合う撮影画像の重複領域を重ね合わせて、ブレンド合成（融合）すると、それぞれの撮影方向に引き延ばされた立体物像が２つ残ってしまう。しかしながら、図示した画像合成によれば、共通領域としての接地面が接地面マーカによって明確化されているので、歪んだ形状の２つの立体物像として立体物が表示された場合でも、運転者はモニタ画面を通じて立体物との距離感を把握しやすい。
【００２１】
以下、本発明の実施形態を図面に基づいて説明する。図３は、本発明による画像生成装置を採用した車両周辺監視システムを構成する制御系の機能ブロック図である。
この車両周辺監視システムを搭載した車両には、４つの車載カメラ１、つまり、フロントカメラ１ａ、バックカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃが装備されている。これらの車載カメラ１からの撮影画像から全周囲俯瞰画像が作成される。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。車両周辺監視制御が動作する際には、カメラ１による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。カメラ１は車両周辺を時系列に撮影して得られて撮影画像をデジタル変換してリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズまたは魚眼レンズを備えている。
【００２２】
車両周辺監視システムの中核をなすＥＣＵ２０は、図３に示すように、車両状態検出センサ群からの信号入力をそのまま、あるいは評価してＥＣＵ２０の内部に転送するセンサ入力インターフェース２３や通信インターフェース７０などを備えると共に、入力情報を処理するマイクロプロセッサや、ＤＳＰを備えている。
【００２３】
センサ入力インターフェース２３に接続されている車両状態検出センサ群は、運転操作や車両走行の状態を検出する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。
【００２４】
また、入出力インターフェースとして用いられている通信インターフェース７０は、データ伝送線として車載ＬＡＮを採用しており、モニタ２１、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットがデータ伝送可能に接続されている。その他、音声情報の出力デバイスとしてスピーカ２２も備えられている。
【００２５】
そのほか、ＥＣＵ２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が含まれるが、本発明に特に関係する機能部としては、画像処理モジュール５０と、表示制御部７１と、音声処理モジュール７２が挙げられる。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。
【００２６】
図４に、ＥＣＵ２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から射影変換によって変換された俯瞰画像等の画像を生成する機能を有している。
【００２７】
画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、画像生成部５３、立体物検出部５４、画像合成部５５、フレームメモリ５６を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。立体物検出部５４は、それ自体は公知である物体画像認識アルゴリズムを用いて、撮影画像に含まれている立体物を検出する。検出された立体物の立体物属性情報、例えば立体物の位置、大きさ、色、姿勢などは、画像生成部５３に送られる。
【００２８】
画像生成部５３は、通常画像生成部６０、俯瞰画像生成部６１、マッピングテーブル６２、立体物切り出し部６３、接地面マーク出力部６４を含んでいる。
【００２９】
通常画像生成部６０は、撮影画像をそのまま車両周辺画像としてモニタ表示するために適した画質に調整する。モニタ表示される車両周辺画像としては、バックカメラ１ａ、左・右サイドカメラ１ｂ,１ｃ、フロントカメラ１ｄによる撮影画像から運転者によって選択された１つでもよいし、複数撮影画像の組み合わせでもよい。
【００３０】
俯瞰画像生成部６１は、撮影画像メモリ５１に展開されている1枚又は複数の撮影画像を上方仮想視点で射影変換することで俯瞰画像を生成する機能を有し、具体的には、マッピングテーブル６２を用いたマップ変換によって俯瞰画像が生成される。マッピングテーブル６２には、ここで使用される射影変換のための種々のマップが選択可能に予め格納されている。マッピングテーブル６２に格納されている各マップは種々の形態で構築することができるが、ここでは、撮影画像の画素データと射影変換画像（通常は俯瞰画像）の画素データとの対応関係が記述されたマップとして構築されている。特に、１フレームの撮影画像の各画素に、俯瞰画像における行き先画素座標が記述されており、車載カメラ毎に適応するマップが適用される。俯瞰画像生成部６１は、外部コマンドまたは内部コマンドに基づいて適切なマップをマッピングテーブル６２から選択する機能も有する。
【００３１】
この実施形態では、図２で示されているように、立体物検出部５４で立体物が検出された立体物の俯瞰画像内における立体物画像領域は、接地面マークによって隠れないように、接地面マークは立体物画像領域の裏面側に配置するように合成される合成手法が採用されている。このため、立体物切り出し部６３は、立体物検出部５４で立体物が検出された場合、立体物検出部５４から送られてくる立体物属性情報に基づいて、俯瞰画像から立体物画像領域を切り出す。切り出された立体物画像と俯瞰画像とは画像合成部５５に転送される。
【００３２】
接地面マーク出力部６４は、立体物検出部５４で立体物が検出された場合、立体物検出部５４から送られてくる立体物属性情報に基づいて、前記立体物の接地位置を示すために適切な接地面マークを画像合成部５５に出力する機能を有する。このため、接地面マーク出力部６４は、接地面中心算定部６４ａ、接地面サイズ算定部６４ｂ、接地面傾斜算定部６４ｃ、接地面マーク格納部６４ｄを含んでいる。この実施形態では、接地面マーク出力部６４が出力する接地面マークの形状は楕円形である。その長径／短径比は２.５：１程度が好ましいが、これはモニタに割り当てられる俯瞰画像の表示領域の形状によって異なる。
【００３３】
接地面中心算定部６４ａは、立体物属性情報に含まれている立体物位置に基づいて俯瞰画像における立体物の接地面中心位置を算定する。接地面サイズ算定部６４ｂは、立体物属性情報に含まれている立体物の自車からみた幅に基づいて、俯瞰画像において当該幅より接地面マークの長径が大きくなるように接地面マークのサイズを算定する。接地面傾斜算定部６４ｃは、接地面中心算定部６４ａによって算定された立体物の接地面中心位置と車両中心を結ぶ直線に対して接地面マークの長径が直交する当該接地面マークの傾斜角（姿勢）を算定する。接地面マーク格納部６４ｄは、接地面サイズ算定部６４ｂ及び接地面傾斜算定部６４ｃによって算定されうるサイズと姿勢を有する接地面マークの画像データを格納している。接地面マーク出力部６４は、適切な接地面マーク（画像データ）を接地面マーク格納部６４ｄから抽出して、接地面中心算定部６４ａによって算定された接地面中心位置のデータとともに画像合成部５５に出力する。
【００３４】
なお、接地面マーク格納部６４ｄが予め利用可能性のある接地面マーク（画像データ）を全て格納するのではなく、基本的な基本画像だけを格納しておき、当該基本画像から要望される接地面マークを当該基本画像から生成するように構成してもよい。また、接地面マーク（画像データ）の生成アルゴリズムだけを格納しておき、接地面サイズ算定部６４ｂ及び接地面傾斜算定部６４ｃによって算定されたサイズと姿勢を有する接地面マークを、その都度、生成するようにしてもよい。また、接地面マークのサイズを変更しない場合は、接地面サイズ算定部６４ｂを省略することができる。あるいは、接地面マークに選択した任意の色で着色できる機能を追加してもよい。
【００３５】
画像合成部５５は、立体物検出部５４が立体物を検出していなければ、俯瞰画像生成部６１で生成された、自車の全周囲俯瞰画像の中央に自車イラストまたは自車写真を配置する合成を行う。
立体物検出部５４が立体物を検出した場合には、立体物検出部５４には、立体物切り出し部６３から俯瞰画像と当該俯瞰画像から切り出された立体物画像、及び接地面マーク出力部６４から接地面マークと当該接地面マークの配置データ（接地面中心位置のデータ）が送り込まれる。立体物検出部５４は、立体物領域が切り出された俯瞰画像を最背面レイヤに、接地面マークを背面レイヤに、切り出した立体物領域を前面レイヤに配置して、レイヤ合成を行うことで立体物の接地面に楕円形状の接地面マークを付加した俯瞰画像を生成する。
いずれにしても、生成された俯瞰画像は所定のテンプレートにはめ込まれ、車両運転支援用のモニタ表示画像としてフレームメモリ５６に転送される。フレームメモリ５６に転送された、モニタ表示画像は表示制御部７１を介してモニタ２１に表示される。
【００３６】
次に、上述のように構成された画像生成装置を組み込んだ車両周辺監視システムによる俯瞰画像表示の流れを図５のフローチャートを用いて説明する。
この車両周辺監視目的の俯瞰画像表示ルーチンがスタートすると、まずは、運転者の希望によってマニュアルで設定されるか又はデフォルト設定されている俯瞰画像の表示種別が読み出される（＃０１）。ここでの俯瞰画像の表示種別とは、車両周辺の俯瞰画像を生成する際に用いる撮影画像や仮想視点位置、生成された俯瞰画像のモニタ画面上のレイアウトなどを規定するものである。読み込まれた俯瞰画像の表示種別に応じて俯瞰画像生成部６１で用いられる射影変換のためのマップが、利用される車載カメラ１の撮影画像毎に設定される（＃０２）。４台の車載カメラ１の撮影画像を取得する（＃０３）。設定された各マップを用いて各撮影画像から俯瞰画像セグメントが生成される（＃０４）。生成された俯瞰画像セグメントを組み合わせ、車両周辺の全周囲俯瞰画像が生成される（＃０５）。
【００３７】
立体物検出部５４から立体物属性情報が出力されているかどうかチェックする（＃０６）。立体物属性情報が出力されていない場合（＃０６No分岐）、どの撮影画像にも注目すべき立体物が写り込んでいないとみなして、ステップ＃０５で生成された俯瞰画像における自車位置に予め設定されている車両の俯瞰イメージ画像（写真、イラスト、シンボルなど）が配置され、モニタ表示用の俯瞰画像（モニタ表示画像）が生成される（＃２０）。生成されたモニタ表示画像はモニタ２１に表示される（＃２１）。この俯瞰画像表示ルーチンの終了指令がない限り（＃２２No分岐）、再びステップ＃０１に戻って、このルーチンを繰り返す。
【００３８】
ステップ＃０６のチェックで、立体物属性情報が出力されている場合（＃０６Yes分岐）、立体物属性情報に含まれている、認識された立体物に関する位置、種別、姿勢、大きさなどのデータを読み出す（＃０７）。読み出した立体物の位置に関するデータに基づいて俯瞰画像における当該立体物の画像領域を決定する（＃０８）。
【００３９】
立体物属性情報に基づいて、立体物切り出し部６３が俯瞰画像から立体物画像領域を切り出し（＃０９）、接地面マーク出力部６４が対象となる立体物に適した接地面マークを出力する（＃１０）。これにより、画像合成部５５において、立体物の接地面に楕円形状の接地面マークを付加した俯瞰画像が生成される（＃１１）。この接地面マーク付き俯瞰画像は、図６で図解されているように、モニタ表示画像として生成され（＃２０）、生成されたモニタ表示画像はモニタ２１に表示される（＃２１）。図６で例示されたモニタ画面では、接地面マーク付き俯瞰画像は、立体物（ここでは歩行者）を移しているフロントカメラ撮影画像と横並びで配置されている。
【００４０】
〔別実施の形態〕
（１）上述した実施形態の説明では、俯瞰画像として、車両上方視点と路面と平行な射影面とを用いて撮影画像から射影変換されて得られる画像が用いられたが、本発明はこのような射影変換で得られる俯瞰画像に限定されるものではない。例えば、射影面として凹曲面や屈曲面を用いた俯瞰画像を用いてもよい。
【００４１】
（２）上述した実施形態の説明では、図２や図６で図解されているように、接地面マークは立体物の背景となるように俯瞰画像に合成されていた。この合成を簡単化するためには、図７に図解されているように、接地面マークが俯瞰画像における立体物の接地位置に単純に上書きする画像合成を用いることができる。
【００４２】
（３）立体物属性情報に検出立体物の位置が含まれているので、自車との距離（最短距離が好ましい）を求めることができる。あるいは、撮影画像からその距離を求めることも可能である。いずれにせよ、検出立体物自車との距離が求まるので、この距離を立体物の接地位置から車両までの距離としてモニタ表示画像に含ませることができる。例えば、図７に示すように、接地面マークの近傍に付加すると、運転者は立体物との間の正確な距離を把握することができる。
【００４３】
（４）上述した実施形態の説明では、立体物検出部５４は、撮影画像から画像認識技術を用いて立体物を検出して立体物属性情報を生成するものであることから、画像処理モジュール５０に組み込まれていた。これに代えて、立体物検出部を画像処理モジュール５０から独立させた構成を採用してもよい。例えば、図８に示すように、車載通信経路によって画像処理モジュール５０と接続された立体物認識モジュール３０を採用することができる。この立体物認識モジュール３０は、複数の超音波センサ３からの検出信号を評価して立体物検知を行う立体物検知機能を有する。超音波センサ３は車両の前部、後部、左側部、右側部のそれぞれにおける両端箇所と中央箇所とに配置されており、車両周辺近傍に存在する物体（障害物）をそれらからの反射波を通じて検知することができる。各超音波センサ３における反射波の戻り時間や振幅を処理することで車両から物体までの距離や物体の大きさを推定できるだけでなく、全ての超音波センサ３の検出結果を経時的に処理することで、物体の動きや横方向の外形形状を推定することも可能である。この場合、画像処理モジュール５０に備えられている立体物検出部５４は、単に、立体物認識モジュール３０から送られてくる立体物属性情報を受け取る機能だけを備えると良い。なお、超音波センサ３に変えてレーザレーダーや赤外線を用いてもよい。また、画像処理モジュール５０からの立体物位置情報に基づいて、立体物検出部５４が、画像認識手法で立体物を検出する構成を採用してもよい。
【産業上の利用可能性】
【００４４】
本発明は、俯瞰画像を用いて車両周辺の監視を行う全てのシステムに利用することができる。
【符号の説明】
【００４５】
１：カメラ
２１：モニタ
３０：立体物認識モジュール（立体物検出部）
５０：画像処理モジュール
５３：画像生成部
５４：立体物検出部
５５：画像合成部
６０：通常画像生成部
６１： 俯瞰画像生成部
６２：マッピングテーブル
６３：立体物切り出し部
６４：接地面マーク出力部
６４ａ：接地面中心算定部
６４ｂ：接地面サイズ算定部
６４ｃ：接地面傾斜算定部
６４ｄ：接地面マーク格納部
【特許請求の範囲】
【請求項１】
車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで俯瞰画像を生成する俯瞰画像生成部と、
前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物検出部と、
前記立体物属性情報に基づいて、前記立体物の接地位置を示す接地面マークを前記俯瞰画像における前記接地位置に画像合成することで、車両運転支援用のモニタ表示画像を生成する画像合成部と、
を備えた画像生成装置。
【請求項２】
前記接地面マークは扁平形状であり、前記車両から前記立体物への方向線と長径が直交するように前記接地面マークの傾斜姿勢が決定される請求項１に記載の画像生成装置。
【請求項３】
前記接地面マークは楕円形状である請求項１または２に記載の画像生成装置。
【請求項４】
前記接地面マークのサイズは、前記立体物の推定接地面積に応じて決定される請求項１から３のいずれか一項に記載の画像生成装置。
【請求項５】
前記画像合成部による画像合成において、前記俯瞰画像を含む基礎画像レイヤから前記立体物のみの立体物画像レイヤが作成され、前記接地面マークは、前記基礎画像レイヤと前記立体物画像レイヤとの間でかつ前記俯瞰画像における前記立体物の接地位置に配置される請求項１から４のいずれか一項に記載の画像生成装置。
【請求項６】
前記画像合成部による画像合成において、前記接地面マークは前記俯瞰画像における前記立体物の接地位置に上書きされる請求項１から４のいずれか一項に記載の画像生成装置。
【請求項７】
前記接地面マークは前記立体物属性情報に基づいて接地面マーク格納部から抽出されて、前記画像合成部に送られる請求項１から６のいずれか一項に記載の画像生成装置。
【請求項８】
前記立体物の接地位置から前記車両までの距離が前記接地面マークの近傍に付加されている請求項１から７のいずれか一項に記載の画像生成装置。
【請求項１】
車両の周辺領域を撮影する車載カメラによって取得された撮影画像を上方仮想視点で射影変換することで俯瞰画像を生成する俯瞰画像生成部と、
前記周辺領域に存在する立体物を認識して当該立体物の属性を示す立体物属性情報を出力する立体物検出部と、
前記立体物属性情報に基づいて、前記立体物の接地位置を示す接地面マークを前記俯瞰画像における前記接地位置に画像合成することで、車両運転支援用のモニタ表示画像を生成する画像合成部と、
を備えた画像生成装置。
【請求項２】
前記接地面マークは扁平形状であり、前記車両から前記立体物への方向線と長径が直交するように前記接地面マークの傾斜姿勢が決定される請求項１に記載の画像生成装置。
【請求項３】
前記接地面マークは楕円形状である請求項１または２に記載の画像生成装置。
【請求項４】
前記接地面マークのサイズは、前記立体物の推定接地面積に応じて決定される請求項１から３のいずれか一項に記載の画像生成装置。
【請求項５】
前記画像合成部による画像合成において、前記俯瞰画像を含む基礎画像レイヤから前記立体物のみの立体物画像レイヤが作成され、前記接地面マークは、前記基礎画像レイヤと前記立体物画像レイヤとの間でかつ前記俯瞰画像における前記立体物の接地位置に配置される請求項１から４のいずれか一項に記載の画像生成装置。
【請求項６】
前記画像合成部による画像合成において、前記接地面マークは前記俯瞰画像における前記立体物の接地位置に上書きされる請求項１から４のいずれか一項に記載の画像生成装置。
【請求項７】
前記接地面マークは前記立体物属性情報に基づいて接地面マーク格納部から抽出されて、前記画像合成部に送られる請求項１から６のいずれか一項に記載の画像生成装置。
【請求項８】
前記立体物の接地位置から前記車両までの距離が前記接地面マークの近傍に付加されている請求項１から７のいずれか一項に記載の画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−９０００５（Ｐ２０１３−９０００５Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２６１０１（Ｐ２０１１−２２６１０１）
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]