ステレオ撮像装置
【課題】単一のカメラによってステレオ撮像が可能であり、且つオクルージョンの発生領域を低減させることが可能なステレオ撮像装置の提供。
【解決手段】ステレオ撮像装置は、１台のカメラ４と、カメラ４の前方左右に配置された一対の反射鏡５，６と、を備える。カメラ４の撮像面２４は、反射鏡５，６を介さない実像が結像される中央領域と、左の反射鏡５を介した鏡像が結像される右領域３５と、右の反射鏡６を介した鏡像が結像される左領域３６とを有する。
【解決手段】ステレオ撮像装置は、１台のカメラ４と、カメラ４の前方左右に配置された一対の反射鏡５，６と、を備える。カメラ４の撮像面２４は、反射鏡５，６を介さない実像が結像される中央領域と、左の反射鏡５を介した鏡像が結像される右領域３５と、右の反射鏡６を介した鏡像が結像される左領域３６とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ撮像装置に関する。
【背景技術】
【０００２】
左右一対の視差画像を撮像するステレオ撮像装置が知られている。
【０００３】
【特許文献１】特開２００２−３００６０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来のステレオ撮像装置では、同一時刻の同一の被写体を２台のカメラによって撮像した際の視差を用いたステレオ視法により、カメラから被写体までの距離を計測することができる。
【０００５】
例えば、図１２に示すように、左右（図中では上下）に配置された２台のカメラ１０１，１０２の間隔（レンズ１０３，１０４間の距離）をＬａｂ、カメラ焦点距離をｆ、被写体Ｑの撮像面Ｇａ，Ｇ２での各座標位置をそれぞれＰａ（Ｘａ，Ｙａ）、Ｐｂ（Ｘｂ，Ｙｂ）とすると、ＹａとＹｂとがほぼ等しい場合、カメラ１０１，１０２（レンズ１０３，１０４）から被写体Ｑまでの距離ｄは、次式によって算出される。
【０００６】
ｄ＝Ｌａｂ×ｆ／（Ｘａ−Ｘｂ）
【０００７】
なお、撮像面Ｇａ，Ｇｂでの座標位置は、各光軸ＯＡａ，ＯＡｂと各撮像面Ｇａ，Ｇｂとの交点Ｏａ，Ｏｂを原点とし、左方向（図中上方向）をｘ軸の正方向とし、鉛直方向上方をｙ軸の正方向とした各平面座標系における座標値である。図１２の例では、Ｘａは正の値となり、Ｘｂは負の値となる。
【０００８】
しかし、上記従来のステレオ撮像装置では、一つの被写体を２台のカメラによって同時に撮像しなければならない。すなわち、２台のカメラが必要であり、且つ両者の撮像タイミングを合わせる必要がある。
【０００９】
また、一方のカメラと被写体との間に障害物が存在してオクルージョン（不可視領域）が生じると、一方のカメラでは被写体を撮像できなくなり、被写体までの距離を計測することができない。このような不都合を回避するためには、カメラの台数を増やしてオクルージョンの発生領域を減少させなければならず、３台以上のカメラが必要となる。
【００１０】
そこで、本発明は、単一のカメラによってステレオ撮像が可能であり、且つオクルージョンの発生領域を低減させることが可能なステレオ撮像装置の提供を目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成すべく、本発明に係るステレオ撮像装置は、１台のカメラと、カメラの前方左右に配置された一対の反射鏡と、を備える。カメラの撮像面は、反射鏡を介さない実像が結像される第１の領域と、左の反射鏡を介した鏡像が結像される第２の領域と、右の反射鏡を介した鏡像が結像される第３の領域とを有する。
【００１２】
上記構成では、第１の領域に結像された第１画像と、第２の領域に結像された第２画像と、第３の領域に結像された第３画像とは、相互に視差を有している。すなわち、単一のカメラによって、ステレオ撮像が可能であり、これらの画像を用いることにより、ステレオマッチング処理を行うことができる。
【００１３】
また、相互に視差を有する３つの画像（第１〜第３画像）を得ることができるので、オクルージョンを低減させることができる。
【発明の効果】
【００１４】
本発明によれば、単一のカメラによってステレオ撮像が可能であり、且つオクルージョンの発生領域を低減させることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施形態を図面に基づいて説明する。図１は本実施形態のステレオ撮像装置の機能的構成を示すブロック図、図２は図１のカメラユニットの配置例を模式的に示す斜視図、図３は図１のステレオ撮像装置の光学的な構成を模式的に示す平面図、図４は図３の部分的な拡大図、図５は図３の側面図、図６は図１のカメラユニットの全体構成を模式的に示す平面図、図７（ａ）は図３の撮像面を説明するための平面図、図７（ｂ）は図７（ａ）の正面図、図８は画像の歪みを説明するための模式図、図９は画像の歪み補正を説明するための光学的な構成を模式的に示す平面図、図１０は図１のカメラユニットの撮像範囲を示す平面図、図１１は図１の画像演算装置が実行する処理を示すフローチャートである。
【００１６】
図１に示すように、本実施形態のステレオ撮像装置１は、カメラユニット２と画像演算装置３とを備える。
【００１７】
カメラユニット２は、１台のカメラ４と、カメラ４の撮像方向前方に固定された左右一対の反射鏡５，６とを備える。画像演算装置３は、カメラ４から撮像データを受信する受信部７と、受信した撮像データを一時的に記憶する記憶部８と、記憶した撮像データを用いてステレオ視法による距離演算処理を実行する画像処理演算部９とを備える。
【００１８】
カメラユニット２は、例えば、図２に示すように、トラック１０のキャブ１１のルーフ上の空間内に固定される。カメラ４は、所定時間毎に車両前方を撮像して、その撮像データを画像演算装置３に送信する。
【００１９】
図３に示すように、カメラ４のレンズ鏡筒内には、レンズ２０を備える撮像光学系２１が配置され、撮像光学系２１の光軸（第１の光軸）２２上には撮像素子（例えばＣＣＤ）２３の撮像面２４が光軸２２に垂直に配置される。左右の反射鏡５，６の反射面（鏡面）１２，１３は、光軸２２を中心として左右対称で、光軸２２に対して所定の傾斜角度θとなるように各外端１２ａ，１３ａが外側に傾いた外開き状態で、且つ撮像光学系２１の画角（カメラ４の本来の画角）２φ内に含まれるように、撮像光学系２１に対して固定されている。本実施形態の画角２φの境界（図３において光軸２２から左右に片側画角φ傾斜した直線２５，２６）は、反射面１２，１３の内端１２ｂ，１３ｂ又はその近傍を通る。
【００２０】
画角２φの範囲のうち、反射面１２，１３を介さずに撮像される範囲は、撮像光学系２１の視点（光軸２２が通るレンズ２０の中心点）Ｖを中心として光軸２２から左右方向に角度φ１までの範囲（画角２φ１の範囲）である。撮像光学系２１の視点Ｖを中央視点と称し、中央視点Ｖを中心とした画角２φ１の範囲を中央視野と称する。また、画角２φの範囲のうち、反射面１２，１３を介して撮像される範囲は、撮像光学系２１の視点Ｖを中心として光軸２２に対し左右方向に角度φ１から角度φまでの範囲（画角２φ２＝φ−φ１の範囲）であり、この範囲から各反射面１２，１３で反射して撮像方向前方へ向かう範囲をそれぞれ左視野及び右視野と称する。中央視野と左視野及び右視野との境界（図３において光軸２２から左右に片側画角φ１傾斜した直線２７，２８）は、反射面１２，１３の外端１２ａ，１３ａを通る。
【００２１】
左視野及び右視野の各光軸２５，２６は、撮像光学系２１の視点Ｖから光軸２２に対して左右にそれぞれ角度（φ１＋φ２）傾斜した方向を指向し、反射面１２，１３で反射して撮像方向前方に屈曲する。本実施形態では、反射面１２，１３で屈曲して撮像方向前方へ指向する左視野及び右視野の各光軸２５，２６が中央視野の光軸２２と平行になるように、反射面１２，１３の位置及び傾斜角度θが設定されている。これら左視野及び右視野は、左右の仮想視点ＶＬ，ＶＲから中央視野の光軸２２と平行な光軸（第３の光軸）２９及び光軸（第２の光軸）３０を中心とした画角２φ２の範囲にそれぞれ設定される。この状態は、図６に示すように、中央視野内の被写体を撮像するカメラ４に加えて、左視野内の被写体を撮像する左側のカメラ３１と右視野内の被写体を撮像する右側のカメラ３２とを仮想的に設けた状態に等しい。なお、実際のカメラ４と左右の仮想的なカメラ３１，３２との前後距離の差（後述するｒ−Ｄ）は、カメラ４と被写体との距離に比べて極めて小さく、無視することが可能である。
【００２２】
図７に示すように、撮像素子２３の撮像面２４は、中央視野内の被写体の実像の画像（第１画像）が結像される中央領域（第１の領域）３３と、中央領域３３の右側で左視野内の被写体の鏡像の画像（第２画像）が結像される右領域（第２の領域）３４と、中央領域３３の左側で右視野内の被写体の鏡像の画像（第３画像）が結像される左領域（第３の領域）３５とに分かれる。
【００２３】
次に、図３〜図５を参照し、カメラ４の内部構造の幾何学的な位置関係について説明する。
【００２４】
焦点距離（レンズ２０から撮像面２４までの距離）をｆ、撮像面２４の左右方向の横幅をｗとすると、撮像光学系２１の片側画角（カメラ４の本来の片側画角）φは、次式（１）によって表される。
【００２５】
φ＝tan−１（ｗ／２ｆ）・・・（１）
【００２６】
仮想視点ＶＬ，ＶＲの片側画角をφ２とすると、中央視点の片側画角φ１と、撮像面２４における右領域３４及び左領域３５の左右方向の各横幅（撮像面２４の右端から右側の視野境界位置３６までの距離、及び撮像面２４の左端から左側の視野境界位置３７までの距離）ｗ１と、反射面１２，１３の傾斜角度θとは、それぞれ次式（２）〜（４）によって表される。
【００２７】
φ１＝φ−２φ２・・・（２）
ｗ１＝ｗ／２−ｆ×tanφ１・・・（３）
θ＝（φ−φ２）／２・・・（４）
【００２８】
左の反射面１２の鏡基準点（反射面１２と左視野の光軸２９との交点）３８と右の反射面１３の鏡基準点（反射面１３と右視野の光軸３０との交点）３９との距離をベースラインＢとすると、レンズ中心ＶからベースラインＢの中点までの距離Ｄと、レンズ中心Ｖから各鏡基準点３８，３９までの距離ｒと、鏡基準点３８，３９より内側の鏡長さ（鏡基準点３８，３９と内端１２ｂ，１３ｂとの距離）Ｍ１と、鏡基準点３８，３９より外側の鏡長さ（鏡基準点３８，３９と外端１２ａ，１３ａとの距離）Ｍ２と、鏡長さＭとは、それぞれ次式（５）〜（９）によって表される。
【００２９】
【数１】
【００３０】
【数２】
【００３１】
【数３】
【００３２】
【数４】
【００３３】
Ｍ＝Ｍ１＋Ｍ２・・・（９）
【００３４】
カメラ４を含まない装置全長Ｌと、装置全幅Ｗとは、それぞれ次式（１０），（１１）によって表される。
【００３５】
Ｌ＝Ｍ２×cosθ＋Ｄ・・・（１０）
Ｗ＝２Ｍ２×sinθ＋Ｂ＝Ｌ×ｗ／ｆ・・・（１１）
【００３６】
撮像面２４の上下方向の縦幅をｈとすると、装置全高Ｈは、次式（１２）によって表される。
【００３７】
Ｈ＝Ｌ×ｈ／ｆ・・・（１２）
【００３８】
例えば、焦点距離ｆを６ｍｍ、撮像面２４の横幅ｗを６．４ｍｍ、撮像面２４の縦幅ｈを４．８ｍｍ、ベースラインＢを３０ｃｍ、仮想視点ＶＬ，ＶＲの片側画角φ２を５°とした場合、上式（１）〜（１２）により、撮像光学系２１の片側画角φは約２８°、中央視点の片側画角φ１は約１８°、反射面１２，１３の傾斜角度θは約１１．５°、レンズ中心ＶからベースラインＢの中点までの距離Ｄは約３５．２ｃｍ、レンズ中心Ｖから各鏡基準点３８，３９までの距離ｒは約３８．３ｃｍ、鏡基準点３８，３９より内側の鏡長さＭ１は約１１．７ｃｍ、鏡基準点３８，３９より外側の鏡長さＭ２は約２９．３ｃｍ、鏡長さＭは約４１．０ｃｍ、装置全長Ｌは約６３．９ｃｍ、装置全幅Ｗは約４１．７ｃｍ、装置全高Ｈは約５１．１ｃｍ、撮像面２４における右領域３４及び左領域３５の左右方向の各横幅ｗ１は約１．２４ｍｍとなる。
【００３９】
次に、撮像面２４の右領域３４及び左領域３５における画像の補正処理について説明する。なお、右領域３４と左領域３５とは左右対称であり、両者の補正処理は共通するため、両者を代表して左領域３５について説明する。
【００４０】
右視野の光軸３０は、撮像面２４の左領域３５に対して斜め方向から入射し、図８（ｂ）に示すように、画像が台形に歪む。従って、左領域３５の画像と中央領域３３の画像との間でマッチングを行うためには、左領域３５の歪みを補正する必要がある。なお、右領域３４と左領域３５との間においても、マッチングを行うためには、各領域の歪みを補正する必要がある。
【００４１】
歪み補正では、図９に示すように、光軸３０と直交し、且つ視点Ｖからの距離が焦点距離ｆとなる仮想撮像面４０を仮想的に設定する。この仮想撮像面４０は、左領域３５の歪みを補正した撮像面である。撮像面２４上の画像を仮想撮像面４０上に投影することにより、歪みが補正された画像を得ることができ、中央領域３３とのマッチングを行うことが可能となる。
【００４２】
例えば、撮像面２４上の左領域３５中の任意の点をＰ（ｘ、ｙ）とすると、点Ｐと視点Ｖとを結ぶ直線４１と光軸３０との角度φｐ、及び視点Ｖと点Ｐとの距離ＶＰは、それぞれ次式（１３）及び（１４）によって表される。なお、点Ｐの座標値（ｘ，ｙ）は、撮像面２４の中心（光軸２２と撮像面２４との交点）を原点とし、水平方向にｘ軸、上下方向にｙ軸を設定した座標系における値である。
【００４３】
φｐ＝φ−φ２−ｔａｎ−１（ｘ／ｆ）・・・（１３）
【００４４】
【数５】
【００４５】
仮想撮像面４０と平行で且つ点Ｐを通る平面４２と光軸３０との交点をＰａとすると、点Ｐと点Ｐａとの距離Ｘ、及び視点Ｖと点Ｐａとの距離Ｚは、それぞれ次式（１５）及び（１６）によって表される。
【００４６】
Ｘ＝ＶＰ×ｓｉｎφｐ・・・（１５）
Ｚ＝ＶＰ×ｃｏｓφｐ・・・（１６）
【００４７】
光軸３０と仮想撮像面４０との交点をＰ０を原点とし、水平方向にｘ軸、上下方向にｙ軸を設定した座標系における仮想撮像面４０上の投影点Ｐｐの座標値（ｘｐ，ｙｐ）は、次式（１７）及び（１８）によって求めることができる。
【００４８】
ｘｐ＝ｆ×Ｘ／Ｚ・・・（１７）
ｙｐ＝ｆ×ｙ／Ｚ・・・（１８）
【００４９】
なお、ｘｐを次式（１９）によって求めてもよい。
【００５０】
ｘｐ＝ｆ×ｔａｎφｐ・・・（１９）
【００５１】
すなわち、右領域３４及び左領域３５の画像（第２及び第３画像）に対して上記歪み補正を施すことによって、中央領域の第１画像と補正後の第２画像とを用いて、又は第１画像と補正後の第３画像とを用いて、ステレオマッチング処理を行うことができる。なお、ステレオマッチング処理には、ステレオ視法において、視差のある複数の画像について、被写体における同一部位に対応した画素の対を見つける対応点探索処理や、対応点について、三角測量の原理を適応して被写体までの距離を求める距離計測処理などが含まれる。
【００５２】
次に、画像演算装置３が実行する処理について、図１０に基づき説明する。
【００５３】
画像処理演算部９は、カメラ４から受信部７が受信して記憶部８に一時的に記憶された画像（画像データ）を取り込み（ステップＳ１）、取り込んだ画像を、中央領域３３に対応する画像（第１画像）と、右領域３４に対応する画像（第２画像）と、左領域３５に対応する画像（第３画像）とに切り分ける（ステップＳ２）。
【００５４】
次に、第２画像及び第３画像に歪み補正を施し（ステップＳ３）、第１画像と、歪み補正を施した第２及び第３画像とを用いて、上記ステレオマッチング処理を実行する（ステップＳ４）。
【００５５】
本実施形態によれば、中央領域３３に結像された第１画像と、右領域３４に結像された第２画像と、左領域３５に結像された第３画像とは、相互に視差を有している。すなわち、単一のカメラ４によって、ステレオ撮像が可能であり、これら第１〜第３画像を用いることにより、ステレオマッチング処理を行うことができる。
【００５６】
また、図１１に示すように、カメラ４の中心から撮像方向前方に指向する光軸２２の両側には、中央視野と左視野と右視野とが重なる領域５０が発生する。この領域５０では、例えば左視野のオクルージョンに被写体が存在している場合であっても、中央視野と右視野とによって被写体が撮像可能な場合がある。すなわち、相互に視差を有する３つの画像（第１〜第３画像）を得ることができるので、全体としてオクルージョンを低減させることができる。
【産業上の利用可能性】
【００５７】
本発明のステレオ撮像装置は、ステレオ視法を用いた画像処理に有用である。
【図面の簡単な説明】
【００５８】
【図１】本発明の一実施形態のステレオ撮像装置の機能的構成を示すブロック図である。
【図２】図１のカメラユニットの配置例を模式的に示す斜視図である。
【図３】図１のステレオ撮像装置の光学的な構成を模式的に示す平面図である。
【図４】図３の部分的な拡大図である。
【図５】図３の側面図である。
【図６】図１のカメラユニットの全体構成を模式的に示す平面図である。
【図７】図３の撮像面を説明するための模式図であり、（ａ）は平面図、（ｂ）は正面図である。
【図８】画像の歪みを説明するための模式図であり、（ａ）は補正後の状態を示し、（ｂ）は補正前の状態を示している。
【図９】画像の歪み補正を説明するための光学的な構成を模式的に示す平面図である。
【図１０】図１の画像処理装置が実行する処理を示すフローチャートである。
【図１１】図１のカメラユニットの撮像範囲を示す平面図である。
【図１２】ステレオ視法による距離の計測を説明するための光学的な構成を模式的に示す平面図である。
【符号の説明】
【００５９】
１：ステレオ撮像装置
２：カメラユニット
３：画像演算装置
４：カメラ
５，６：一対の反射鏡
２２：光軸（第１の光軸）
２４：撮像面
２９：光軸（第２の光軸）
３０：光軸（第３の光軸）
３３：中央領域（第１の領域）
３４：右領域（第２の領域）
３５：左領域（第３の領域）
【技術分野】
【０００１】
本発明は、ステレオ撮像装置に関する。
【背景技術】
【０００２】
左右一対の視差画像を撮像するステレオ撮像装置が知られている。
【０００３】
【特許文献１】特開２００２−３００６０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来のステレオ撮像装置では、同一時刻の同一の被写体を２台のカメラによって撮像した際の視差を用いたステレオ視法により、カメラから被写体までの距離を計測することができる。
【０００５】
例えば、図１２に示すように、左右（図中では上下）に配置された２台のカメラ１０１，１０２の間隔（レンズ１０３，１０４間の距離）をＬａｂ、カメラ焦点距離をｆ、被写体Ｑの撮像面Ｇａ，Ｇ２での各座標位置をそれぞれＰａ（Ｘａ，Ｙａ）、Ｐｂ（Ｘｂ，Ｙｂ）とすると、ＹａとＹｂとがほぼ等しい場合、カメラ１０１，１０２（レンズ１０３，１０４）から被写体Ｑまでの距離ｄは、次式によって算出される。
【０００６】
ｄ＝Ｌａｂ×ｆ／（Ｘａ−Ｘｂ）
【０００７】
なお、撮像面Ｇａ，Ｇｂでの座標位置は、各光軸ＯＡａ，ＯＡｂと各撮像面Ｇａ，Ｇｂとの交点Ｏａ，Ｏｂを原点とし、左方向（図中上方向）をｘ軸の正方向とし、鉛直方向上方をｙ軸の正方向とした各平面座標系における座標値である。図１２の例では、Ｘａは正の値となり、Ｘｂは負の値となる。
【０００８】
しかし、上記従来のステレオ撮像装置では、一つの被写体を２台のカメラによって同時に撮像しなければならない。すなわち、２台のカメラが必要であり、且つ両者の撮像タイミングを合わせる必要がある。
【０００９】
また、一方のカメラと被写体との間に障害物が存在してオクルージョン（不可視領域）が生じると、一方のカメラでは被写体を撮像できなくなり、被写体までの距離を計測することができない。このような不都合を回避するためには、カメラの台数を増やしてオクルージョンの発生領域を減少させなければならず、３台以上のカメラが必要となる。
【００１０】
そこで、本発明は、単一のカメラによってステレオ撮像が可能であり、且つオクルージョンの発生領域を低減させることが可能なステレオ撮像装置の提供を目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成すべく、本発明に係るステレオ撮像装置は、１台のカメラと、カメラの前方左右に配置された一対の反射鏡と、を備える。カメラの撮像面は、反射鏡を介さない実像が結像される第１の領域と、左の反射鏡を介した鏡像が結像される第２の領域と、右の反射鏡を介した鏡像が結像される第３の領域とを有する。
【００１２】
上記構成では、第１の領域に結像された第１画像と、第２の領域に結像された第２画像と、第３の領域に結像された第３画像とは、相互に視差を有している。すなわち、単一のカメラによって、ステレオ撮像が可能であり、これらの画像を用いることにより、ステレオマッチング処理を行うことができる。
【００１３】
また、相互に視差を有する３つの画像（第１〜第３画像）を得ることができるので、オクルージョンを低減させることができる。
【発明の効果】
【００１４】
本発明によれば、単一のカメラによってステレオ撮像が可能であり、且つオクルージョンの発生領域を低減させることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施形態を図面に基づいて説明する。図１は本実施形態のステレオ撮像装置の機能的構成を示すブロック図、図２は図１のカメラユニットの配置例を模式的に示す斜視図、図３は図１のステレオ撮像装置の光学的な構成を模式的に示す平面図、図４は図３の部分的な拡大図、図５は図３の側面図、図６は図１のカメラユニットの全体構成を模式的に示す平面図、図７（ａ）は図３の撮像面を説明するための平面図、図７（ｂ）は図７（ａ）の正面図、図８は画像の歪みを説明するための模式図、図９は画像の歪み補正を説明するための光学的な構成を模式的に示す平面図、図１０は図１のカメラユニットの撮像範囲を示す平面図、図１１は図１の画像演算装置が実行する処理を示すフローチャートである。
【００１６】
図１に示すように、本実施形態のステレオ撮像装置１は、カメラユニット２と画像演算装置３とを備える。
【００１７】
カメラユニット２は、１台のカメラ４と、カメラ４の撮像方向前方に固定された左右一対の反射鏡５，６とを備える。画像演算装置３は、カメラ４から撮像データを受信する受信部７と、受信した撮像データを一時的に記憶する記憶部８と、記憶した撮像データを用いてステレオ視法による距離演算処理を実行する画像処理演算部９とを備える。
【００１８】
カメラユニット２は、例えば、図２に示すように、トラック１０のキャブ１１のルーフ上の空間内に固定される。カメラ４は、所定時間毎に車両前方を撮像して、その撮像データを画像演算装置３に送信する。
【００１９】
図３に示すように、カメラ４のレンズ鏡筒内には、レンズ２０を備える撮像光学系２１が配置され、撮像光学系２１の光軸（第１の光軸）２２上には撮像素子（例えばＣＣＤ）２３の撮像面２４が光軸２２に垂直に配置される。左右の反射鏡５，６の反射面（鏡面）１２，１３は、光軸２２を中心として左右対称で、光軸２２に対して所定の傾斜角度θとなるように各外端１２ａ，１３ａが外側に傾いた外開き状態で、且つ撮像光学系２１の画角（カメラ４の本来の画角）２φ内に含まれるように、撮像光学系２１に対して固定されている。本実施形態の画角２φの境界（図３において光軸２２から左右に片側画角φ傾斜した直線２５，２６）は、反射面１２，１３の内端１２ｂ，１３ｂ又はその近傍を通る。
【００２０】
画角２φの範囲のうち、反射面１２，１３を介さずに撮像される範囲は、撮像光学系２１の視点（光軸２２が通るレンズ２０の中心点）Ｖを中心として光軸２２から左右方向に角度φ１までの範囲（画角２φ１の範囲）である。撮像光学系２１の視点Ｖを中央視点と称し、中央視点Ｖを中心とした画角２φ１の範囲を中央視野と称する。また、画角２φの範囲のうち、反射面１２，１３を介して撮像される範囲は、撮像光学系２１の視点Ｖを中心として光軸２２に対し左右方向に角度φ１から角度φまでの範囲（画角２φ２＝φ−φ１の範囲）であり、この範囲から各反射面１２，１３で反射して撮像方向前方へ向かう範囲をそれぞれ左視野及び右視野と称する。中央視野と左視野及び右視野との境界（図３において光軸２２から左右に片側画角φ１傾斜した直線２７，２８）は、反射面１２，１３の外端１２ａ，１３ａを通る。
【００２１】
左視野及び右視野の各光軸２５，２６は、撮像光学系２１の視点Ｖから光軸２２に対して左右にそれぞれ角度（φ１＋φ２）傾斜した方向を指向し、反射面１２，１３で反射して撮像方向前方に屈曲する。本実施形態では、反射面１２，１３で屈曲して撮像方向前方へ指向する左視野及び右視野の各光軸２５，２６が中央視野の光軸２２と平行になるように、反射面１２，１３の位置及び傾斜角度θが設定されている。これら左視野及び右視野は、左右の仮想視点ＶＬ，ＶＲから中央視野の光軸２２と平行な光軸（第３の光軸）２９及び光軸（第２の光軸）３０を中心とした画角２φ２の範囲にそれぞれ設定される。この状態は、図６に示すように、中央視野内の被写体を撮像するカメラ４に加えて、左視野内の被写体を撮像する左側のカメラ３１と右視野内の被写体を撮像する右側のカメラ３２とを仮想的に設けた状態に等しい。なお、実際のカメラ４と左右の仮想的なカメラ３１，３２との前後距離の差（後述するｒ−Ｄ）は、カメラ４と被写体との距離に比べて極めて小さく、無視することが可能である。
【００２２】
図７に示すように、撮像素子２３の撮像面２４は、中央視野内の被写体の実像の画像（第１画像）が結像される中央領域（第１の領域）３３と、中央領域３３の右側で左視野内の被写体の鏡像の画像（第２画像）が結像される右領域（第２の領域）３４と、中央領域３３の左側で右視野内の被写体の鏡像の画像（第３画像）が結像される左領域（第３の領域）３５とに分かれる。
【００２３】
次に、図３〜図５を参照し、カメラ４の内部構造の幾何学的な位置関係について説明する。
【００２４】
焦点距離（レンズ２０から撮像面２４までの距離）をｆ、撮像面２４の左右方向の横幅をｗとすると、撮像光学系２１の片側画角（カメラ４の本来の片側画角）φは、次式（１）によって表される。
【００２５】
φ＝tan−１（ｗ／２ｆ）・・・（１）
【００２６】
仮想視点ＶＬ，ＶＲの片側画角をφ２とすると、中央視点の片側画角φ１と、撮像面２４における右領域３４及び左領域３５の左右方向の各横幅（撮像面２４の右端から右側の視野境界位置３６までの距離、及び撮像面２４の左端から左側の視野境界位置３７までの距離）ｗ１と、反射面１２，１３の傾斜角度θとは、それぞれ次式（２）〜（４）によって表される。
【００２７】
φ１＝φ−２φ２・・・（２）
ｗ１＝ｗ／２−ｆ×tanφ１・・・（３）
θ＝（φ−φ２）／２・・・（４）
【００２８】
左の反射面１２の鏡基準点（反射面１２と左視野の光軸２９との交点）３８と右の反射面１３の鏡基準点（反射面１３と右視野の光軸３０との交点）３９との距離をベースラインＢとすると、レンズ中心ＶからベースラインＢの中点までの距離Ｄと、レンズ中心Ｖから各鏡基準点３８，３９までの距離ｒと、鏡基準点３８，３９より内側の鏡長さ（鏡基準点３８，３９と内端１２ｂ，１３ｂとの距離）Ｍ１と、鏡基準点３８，３９より外側の鏡長さ（鏡基準点３８，３９と外端１２ａ，１３ａとの距離）Ｍ２と、鏡長さＭとは、それぞれ次式（５）〜（９）によって表される。
【００２９】
【数１】
【００３０】
【数２】
【００３１】
【数３】
【００３２】
【数４】
【００３３】
Ｍ＝Ｍ１＋Ｍ２・・・（９）
【００３４】
カメラ４を含まない装置全長Ｌと、装置全幅Ｗとは、それぞれ次式（１０），（１１）によって表される。
【００３５】
Ｌ＝Ｍ２×cosθ＋Ｄ・・・（１０）
Ｗ＝２Ｍ２×sinθ＋Ｂ＝Ｌ×ｗ／ｆ・・・（１１）
【００３６】
撮像面２４の上下方向の縦幅をｈとすると、装置全高Ｈは、次式（１２）によって表される。
【００３７】
Ｈ＝Ｌ×ｈ／ｆ・・・（１２）
【００３８】
例えば、焦点距離ｆを６ｍｍ、撮像面２４の横幅ｗを６．４ｍｍ、撮像面２４の縦幅ｈを４．８ｍｍ、ベースラインＢを３０ｃｍ、仮想視点ＶＬ，ＶＲの片側画角φ２を５°とした場合、上式（１）〜（１２）により、撮像光学系２１の片側画角φは約２８°、中央視点の片側画角φ１は約１８°、反射面１２，１３の傾斜角度θは約１１．５°、レンズ中心ＶからベースラインＢの中点までの距離Ｄは約３５．２ｃｍ、レンズ中心Ｖから各鏡基準点３８，３９までの距離ｒは約３８．３ｃｍ、鏡基準点３８，３９より内側の鏡長さＭ１は約１１．７ｃｍ、鏡基準点３８，３９より外側の鏡長さＭ２は約２９．３ｃｍ、鏡長さＭは約４１．０ｃｍ、装置全長Ｌは約６３．９ｃｍ、装置全幅Ｗは約４１．７ｃｍ、装置全高Ｈは約５１．１ｃｍ、撮像面２４における右領域３４及び左領域３５の左右方向の各横幅ｗ１は約１．２４ｍｍとなる。
【００３９】
次に、撮像面２４の右領域３４及び左領域３５における画像の補正処理について説明する。なお、右領域３４と左領域３５とは左右対称であり、両者の補正処理は共通するため、両者を代表して左領域３５について説明する。
【００４０】
右視野の光軸３０は、撮像面２４の左領域３５に対して斜め方向から入射し、図８（ｂ）に示すように、画像が台形に歪む。従って、左領域３５の画像と中央領域３３の画像との間でマッチングを行うためには、左領域３５の歪みを補正する必要がある。なお、右領域３４と左領域３５との間においても、マッチングを行うためには、各領域の歪みを補正する必要がある。
【００４１】
歪み補正では、図９に示すように、光軸３０と直交し、且つ視点Ｖからの距離が焦点距離ｆとなる仮想撮像面４０を仮想的に設定する。この仮想撮像面４０は、左領域３５の歪みを補正した撮像面である。撮像面２４上の画像を仮想撮像面４０上に投影することにより、歪みが補正された画像を得ることができ、中央領域３３とのマッチングを行うことが可能となる。
【００４２】
例えば、撮像面２４上の左領域３５中の任意の点をＰ（ｘ、ｙ）とすると、点Ｐと視点Ｖとを結ぶ直線４１と光軸３０との角度φｐ、及び視点Ｖと点Ｐとの距離ＶＰは、それぞれ次式（１３）及び（１４）によって表される。なお、点Ｐの座標値（ｘ，ｙ）は、撮像面２４の中心（光軸２２と撮像面２４との交点）を原点とし、水平方向にｘ軸、上下方向にｙ軸を設定した座標系における値である。
【００４３】
φｐ＝φ−φ２−ｔａｎ−１（ｘ／ｆ）・・・（１３）
【００４４】
【数５】
【００４５】
仮想撮像面４０と平行で且つ点Ｐを通る平面４２と光軸３０との交点をＰａとすると、点Ｐと点Ｐａとの距離Ｘ、及び視点Ｖと点Ｐａとの距離Ｚは、それぞれ次式（１５）及び（１６）によって表される。
【００４６】
Ｘ＝ＶＰ×ｓｉｎφｐ・・・（１５）
Ｚ＝ＶＰ×ｃｏｓφｐ・・・（１６）
【００４７】
光軸３０と仮想撮像面４０との交点をＰ０を原点とし、水平方向にｘ軸、上下方向にｙ軸を設定した座標系における仮想撮像面４０上の投影点Ｐｐの座標値（ｘｐ，ｙｐ）は、次式（１７）及び（１８）によって求めることができる。
【００４８】
ｘｐ＝ｆ×Ｘ／Ｚ・・・（１７）
ｙｐ＝ｆ×ｙ／Ｚ・・・（１８）
【００４９】
なお、ｘｐを次式（１９）によって求めてもよい。
【００５０】
ｘｐ＝ｆ×ｔａｎφｐ・・・（１９）
【００５１】
すなわち、右領域３４及び左領域３５の画像（第２及び第３画像）に対して上記歪み補正を施すことによって、中央領域の第１画像と補正後の第２画像とを用いて、又は第１画像と補正後の第３画像とを用いて、ステレオマッチング処理を行うことができる。なお、ステレオマッチング処理には、ステレオ視法において、視差のある複数の画像について、被写体における同一部位に対応した画素の対を見つける対応点探索処理や、対応点について、三角測量の原理を適応して被写体までの距離を求める距離計測処理などが含まれる。
【００５２】
次に、画像演算装置３が実行する処理について、図１０に基づき説明する。
【００５３】
画像処理演算部９は、カメラ４から受信部７が受信して記憶部８に一時的に記憶された画像（画像データ）を取り込み（ステップＳ１）、取り込んだ画像を、中央領域３３に対応する画像（第１画像）と、右領域３４に対応する画像（第２画像）と、左領域３５に対応する画像（第３画像）とに切り分ける（ステップＳ２）。
【００５４】
次に、第２画像及び第３画像に歪み補正を施し（ステップＳ３）、第１画像と、歪み補正を施した第２及び第３画像とを用いて、上記ステレオマッチング処理を実行する（ステップＳ４）。
【００５５】
本実施形態によれば、中央領域３３に結像された第１画像と、右領域３４に結像された第２画像と、左領域３５に結像された第３画像とは、相互に視差を有している。すなわち、単一のカメラ４によって、ステレオ撮像が可能であり、これら第１〜第３画像を用いることにより、ステレオマッチング処理を行うことができる。
【００５６】
また、図１１に示すように、カメラ４の中心から撮像方向前方に指向する光軸２２の両側には、中央視野と左視野と右視野とが重なる領域５０が発生する。この領域５０では、例えば左視野のオクルージョンに被写体が存在している場合であっても、中央視野と右視野とによって被写体が撮像可能な場合がある。すなわち、相互に視差を有する３つの画像（第１〜第３画像）を得ることができるので、全体としてオクルージョンを低減させることができる。
【産業上の利用可能性】
【００５７】
本発明のステレオ撮像装置は、ステレオ視法を用いた画像処理に有用である。
【図面の簡単な説明】
【００５８】
【図１】本発明の一実施形態のステレオ撮像装置の機能的構成を示すブロック図である。
【図２】図１のカメラユニットの配置例を模式的に示す斜視図である。
【図３】図１のステレオ撮像装置の光学的な構成を模式的に示す平面図である。
【図４】図３の部分的な拡大図である。
【図５】図３の側面図である。
【図６】図１のカメラユニットの全体構成を模式的に示す平面図である。
【図７】図３の撮像面を説明するための模式図であり、（ａ）は平面図、（ｂ）は正面図である。
【図８】画像の歪みを説明するための模式図であり、（ａ）は補正後の状態を示し、（ｂ）は補正前の状態を示している。
【図９】画像の歪み補正を説明するための光学的な構成を模式的に示す平面図である。
【図１０】図１の画像処理装置が実行する処理を示すフローチャートである。
【図１１】図１のカメラユニットの撮像範囲を示す平面図である。
【図１２】ステレオ視法による距離の計測を説明するための光学的な構成を模式的に示す平面図である。
【符号の説明】
【００５９】
１：ステレオ撮像装置
２：カメラユニット
３：画像演算装置
４：カメラ
５，６：一対の反射鏡
２２：光軸（第１の光軸）
２４：撮像面
２９：光軸（第２の光軸）
３０：光軸（第３の光軸）
３３：中央領域（第１の領域）
３４：右領域（第２の領域）
３５：左領域（第３の領域）
【特許請求の範囲】
【請求項１】
１台のカメラと、
前記カメラの前方左右に配置された一対の反射鏡と、を備え、
前記カメラの撮像面は、反射鏡を介さない実像が結像される第１の領域と、前記左の反射鏡を介した鏡像が結像される第２の領域と、前記右の反射鏡を介した鏡像が結像される第３の領域とを有する
ことを特徴とするステレオ撮像装置。
【請求項２】
請求項１に記載のステレオ撮像装置であって、
前記第１の領域に実像を結像する第１の光軸と、前記第２の領域に鏡像を結像するように前記左の反射鏡に入射する第２の光軸と、前記第３の領域に鏡像を結像するように前記右の反射鏡に入射する第３の光軸とが平行となるように、前記一対の反射鏡が前記カメラに対して固定されている
ことを特徴とするステレオ撮像装置。
【請求項３】
請求項１又は請求項２に記載のステレオ撮像装置であって、
前記第２の領域に結像された第２画像と前記第３の領域に結像された第３画像とに対して所定の歪み補正を施し、歪み補正を施した前記第２画像及び前記第３画像の少なくとも一方と前記第１領域に結像された第１画像とを用いて、ステレオマッチング処理を行う画像処理演算部を備えた
ことを特徴とするステレオ撮像装置。
【請求項１】
１台のカメラと、
前記カメラの前方左右に配置された一対の反射鏡と、を備え、
前記カメラの撮像面は、反射鏡を介さない実像が結像される第１の領域と、前記左の反射鏡を介した鏡像が結像される第２の領域と、前記右の反射鏡を介した鏡像が結像される第３の領域とを有する
ことを特徴とするステレオ撮像装置。
【請求項２】
請求項１に記載のステレオ撮像装置であって、
前記第１の領域に実像を結像する第１の光軸と、前記第２の領域に鏡像を結像するように前記左の反射鏡に入射する第２の光軸と、前記第３の領域に鏡像を結像するように前記右の反射鏡に入射する第３の光軸とが平行となるように、前記一対の反射鏡が前記カメラに対して固定されている
ことを特徴とするステレオ撮像装置。
【請求項３】
請求項１又は請求項２に記載のステレオ撮像装置であって、
前記第２の領域に結像された第２画像と前記第３の領域に結像された第３画像とに対して所定の歪み補正を施し、歪み補正を施した前記第２画像及び前記第３画像の少なくとも一方と前記第１領域に結像された第１画像とを用いて、ステレオマッチング処理を行う画像処理演算部を備えた
ことを特徴とするステレオ撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−１１８７１６（Ｐ２０１０−１１８７１６Ａ）
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願番号】特願２００８−２８８３２３（Ｐ２００８−２８８３２３）
【出願日】平成２０年１１月１１日（２００８．１１．１１）
【出願人】（００００００１７０）いすゞ自動車株式会社 (1,721)
【Ｆターム（参考）】
【公開日】平成２２年５月２７日（２０１０．５．２７）
【国際特許分類】
【出願日】平成２０年１１月１１日（２００８．１１．１１）
【出願人】（００００００１７０）いすゞ自動車株式会社 (1,721)
【Ｆターム（参考）】
[ Back to top ]