撮像装置および撮像方法
【課題】 同一時刻に撮影された視差を有し、かつ露光量の異なる画像から広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる撮像装置を提供する。
【解決手段】 撮像装置1は、視差を有しかつ露光量の異なる複数の画像を生成するカメラ100,101と、複数の画像の明るさを露光量に基づいて調整する画像輝度調整部200,201と、明るさが調整された複数の画像を用いて画像のマッチングを行い、マッチング情報を求めるマッチング部21,22と、所定の被写体までの距離をマッチング情報に基づいて求める距離算出部31と、マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部24と、位置校正部24で位置校正された異なる露光量の複数の画像を合成して、カメラ100,101にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部32とを備える。
【解決手段】 撮像装置1は、視差を有しかつ露光量の異なる複数の画像を生成するカメラ100,101と、複数の画像の明るさを露光量に基づいて調整する画像輝度調整部200,201と、明るさが調整された複数の画像を用いて画像のマッチングを行い、マッチング情報を求めるマッチング部21,22と、所定の被写体までの距離をマッチング情報に基づいて求める距離算出部31と、マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部24と、位置校正部24で位置校正された異なる露光量の複数の画像を合成して、カメラ100,101にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部32とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視差を有しかつ露光量の異なる複数枚の画像を撮像する撮像装置に関し、より詳しくは被写体までの測距および複数枚の画像を合成した広ダイナミックレンジ画像の生成機能を有する撮像装置に関する。
【背景技術】
【0002】
近年、監視用カメラや車載用カメラなどに代表されるように、セキュリティ、インフラ、安心安全といった幅広い用途でディジタルカメラの使用が急速に拡大している。こうした用途で使用される場合、一般的な家庭で使用されるディジタルカメラに対する性能要求(高画質、高解像度など)とは異なり、例えば、どのような環境下でも黒潰れや白飛びがなく被写体を確実に撮像するためのダイナミックレンジの広さや、センシング用途として被写体までの距離を測定する測距機能が必要とされる。
【0003】
広ダイナミックレンジ画像の生成は、異なる露光量で撮影された複数枚の画像を合成する方法が一般的であり、従来から種々の手法が提案されている。また、視差のある複数枚の画像を用いて、画像中の被写体までの距離を測定するには、画像間で被写体のマッチングを行い、それぞれの画像における被写体の撮像位置を元に三角測量の原理を用いる手法が一般的である。画像間のマッチング手法についても従来から種々の方法が提案されている。
【0004】
このように広ダイナミックレンジ画像の生成手法と測距手法が、それぞれ独立して種々の手法が提案されている中で、視差を有しかつ露光量が異なる複数枚の画像から広ダイナミックレンジ画像の生成と測距の両方を行う手法も提案されている。例えば、特許文献1に記載された撮像装置は、視差を有しかつ露光量の等しい複数枚の画像と、視差のない露光量の異なる複数枚の画像を撮像する手段を備えている。この撮像装置は、前者の画像から被写体までの距離を測定し、後者の画像から広ダイナミックレンジ画像を生成することで、距離情報と広ダイナミックレンジ画像の両方を得ている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003−18617号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来手法においては、被写体までの測距のために、視差を有しかつ露光量の等しい画像を2枚必要とし、広ダイナミックレンジ画像生成のために、視差のない露光量の異なる画像を2枚とするため、合計4枚の画像が最低でも必要となる。
【0007】
一般的なステレオカメラで撮影することを考えると、映像1フレームの撮影で視差のある露光量の等しい画像を2枚撮影できるので、ある時刻におけるtフレーム目に露光量nで撮影し、次のt+1フレーム目に露光量mで撮影することになる。このとき距離情報は同一フレームで撮影される2枚の画像から測定できる。しかし、広ダイナミックレンジ画像を生成するためにはnフレーム目に撮影した画像とn+1フレーム目に撮影した画像を合成する必要があるので、合成する2枚の画像には撮影時間の差がある。被写体が動くようなシーンでは動きによる残像が発生するという課題があった。
【0008】
また、映像1フレームの撮影で視差があり露光量も異なる画像が2枚撮影できるステレオカメラを使用する場合、ある時刻におけるtフレーム目にカメラAで露光量n、カメラBで露光量mとして撮影し、t+1フレーム目にカメラAで露光量m、カメラBで露光量nとして撮影する。このとき、広ダイナミックレンジ画像は同一フレームで撮影される2枚の画像から生成できる。しかし、測距は、異なるフレームに撮影した画像で行うため撮影時間の差がある。被写体が動くようなシーンでは、被写体がフレーム間で移動してしまうことから、被写体までの距離が正しく算出できないという課題があった。
【0009】
本発明は、従来の問題を解決するためになされたもので、広ダイナミックレンジ画像の生成と、被写体までの測距を同時に行う撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の撮像装置は、複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成する撮像部と、前記撮像部による撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整する画像輝度調整部と、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるマッチング部と、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求める距離算出部と、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部と、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部とを備えた構成を有する。
【0011】
この構成により、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。
【0012】
本発明の撮像装置において、前記画像輝度調整部は、それぞれの画像の撮像に用いられた露光量の比を用いて画像の明るさを調整する構成を有する。
【0013】
この構成により、視差を有しかつ露光量が異なる複数の画像から、露光量の相違による明るさの違いを調整した視差を有する画像を求めることができる。
【0014】
本発明の撮像装置において、前記撮像部は撮像によって視差を有しかつ露光量の異なる第1画像および第2画像を生成し、前記画像輝度調整部は、前記第1画像の明るさを前記第2画像の露光量に基づいて調整した調整済み第1画像と、前記第2画像の明るさを前記第1画像の露光量に基づいて調整した調整済み第2画像を生成し、前記マッチング部は、前記第1画像と前記調整済み第2画像とのマッチングを行って第1のマッチング情報を求め、前記調整済み第1画像と前記第2画像とのマッチングを行って第2のマッチング情報を求め、前記第1のマッチング情報と前記第2のマッチング情報を統合して、前記マッチング情報を求める構成を有する。
【0015】
この構成により、第1のマッチング情報と第2のマッチング情報とを用いて適切にマッチング情報を生成することができる。
【0016】
本発明の撮像装置において、前記マッチング部は、前記第1画像と前記調整済み第2画像とのマッチング、および、前記調整済み第1画像と前記第2画像とのマッチングによって、対応する領域が求まらなかった領域について、当該領域の周囲の領域の対応情報を用いた補間処理によって対応関係を求める構成を有する。
【0017】
この構成により、画像輝度を調整した画像のマッチングによって完全な対応関係が求まらない領域についても、周囲の領域のマッチング情報を補間することによってマッチング情報を求めることができる。
【0018】
本発明の撮像方法は、複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成するステップと、撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップとを備えた構成を有する。
【0019】
本発明のプログラムは、異なる露光量で撮像された視差を有する複数の画像に基づいて画像を生成するために、コンピュータに、複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップとを実行させる構成を有する。
【0020】
この構成により、本発明の撮像方法およびプログラムは、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。本発明の撮像装置の各種の構成を、本発明の撮像方法およびプログラムに適用することも可能である。
【発明の効果】
【0021】
本発明によれば、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができるという優れた効果を有する。
【図面の簡単な説明】
【0022】
【図1】本発明の実施の形態における撮像装置の概略構成を示すブロック図
【図2】本発明の実施の形態における通常の露光制御を示す図
【図3】本発明の実施の形態における露光制御を示す図
【図4】本発明の実施の形態における撮像部100の画像に対する画像露光変換を示す図
【図5】本発明の実施の形態における撮像部101の画像に対する画像露光変換を示す図
【図6】本発明の実施の形態における画像マッチングの流れを示す図
【図7】本発明の実施の形態におけるマッチング補間処理の動作フロー図
【図8】(a)画像を構成する各画素におけるマッチング情報mを示す図(b)画像を構成する各画素におけるマッチング情報nを示す図(c)統合されたマッチング情報を示す図
【図9】本発明の実施の形態におけるマッチング情報の補間処理を示すブロック図
【図10】本発明の実施の形態における画像の位置校正を示すブロック図
【図11】本発明の実施の形態における広ダイナミックレンジ画像生成を示すブロック図
【発明を実施するための形態】
【0023】
以下に、本発明の実施の形態の撮像装置について、図面を参照しながら説明する。
図1は、実施の形態の撮像装置1の構成を示す図である。撮像装置1は、被写体を撮像して映像信号を出力する基本的な撮像処理を行うカメラ100およびカメラ101と、カメラ100とカメラ101に対して所定の露光比になるようにそれぞれの露光量を制御する露光制御部30と、カメラ100から出力される画像とその画像に対して輝度調整した画像を画像バッファに保存する画像露光変換部200と、カメラ101から出力される画像とその画像に対して輝度調整した画像を画像バッファに保存する画像露光変換部201と、画像露光変換部200および画像露光変換部201で保存された画像から露光量が仮想的に等しい画像間でマッチングを取り、マッチングによって得られたマッチング情報を元にマッチング情報の統合と補間処理を行い、かつ、統合されたマッチング情報をもとにカメラ101で撮像された画像に対してカメラ100で撮像された画像と視差がなくなるように位置校正を行う画像視差校正部300と、カメラ100で撮像された画像と画像視差校正部300で求めたマッチング情報から画像に映る被写体までの撮像装置からの距離を算出する距離算出部31と、カメラ100で撮像された画像と画像視差校正部300で位置校正を行った画像を合成して広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部32とを備えている。なお、カメラ100とカメラ101は、所定の距離だけ間隔をあけて水平に設置されている。カメラ100とカメラ101は、本発明の「撮像部」を構成する。
【0024】
カメラ100は、レンズ10と、絞り11と、撮像素子12と、A/D変換器13と、映像信号処理部14とを備えている。カメラ100は、露光制御部30で指定された露光量(露光量mとする)となるように絞りやシャッタースピード(図示しない)を調整し、撮像する。レンズ10から入射する被写体からの光を絞り11で絞り、撮像素子12に結像する。撮像素子12は、結像した像を光電変換してアナログ信号を出力する。A/D変換器13は、撮像素子12から出力されたアナログ信号をデジタル信号に変換する。映像信号処理部14は、A/D変換されたデジタル信号から映像信号を生成するための信号処理を行う。映像信号処理部14は、輝度信号生成、色信号生成、アパーチャ信号生成などの信号処理のほか、OB減算やホワイトバランス調整、ノイズ低減など一般的な映像用の信号処理を行う。
【0025】
カメラ101は、カメラ100と同じ構成を有する。露光制御部30で指定された露光量(露光量nとする)となるように絞りやシャッタースピードを調整し、撮像する。
【0026】
次に、カメラ100およびカメラ101の露光量を制御する露光制御部30について説明する。まず、露光量の通常の制御方法について図2を参照しながら説明する。通常、露光制御は、画面の輝度値があらかじめ定めた目標輝度値と等しくなるようにする。例えば、フレームt(露光量aとする)における画面輝度値を求める。画面輝度値としては、画面全体の平均値を用いてもよいし、画面の中央に重み付けしたような値を用いてもよい。
【0027】
画面輝度値とあらかじめ定めた目標輝度値を比較し、画面輝度値が目標輝度値よりも小さければ、フレームt+1(露光量bとする)ではフレームtよりも明るくなるように、b>aとする。撮像動作としては、露光量が大きくなるように絞りを開けたりシャッタースピードを遅くしたりして露光量を増やす。反対に、画面輝度値が目標輝度値よりも大きければ、フレームtよりも暗くなるようにb<aとする。撮像動作としては、絞りを絞ったりシャッタースピードを速くしたりして露光量を減らす。また、画面輝度値と目標輝度値が等しいとき、露光量aは適正露光であるのでb=aとする。以上が一般的な露光制御である。
【0028】
本実施の形態では露光量の異なる画像を合成して、明るい被写体から暗い被写体までを撮影できる広ダイナミックレンジ画像を生成するので、カメラ100とカメラ101における露光量は異なる露光量とする。
【0029】
図3は、本実施の形態の露光制御について説明するための図である。例えば、フレームtにおけるカメラ100の露光量をmtとしたとき、カメラ101の露光量ntは露光量mtの1/指定比になるように与える。指定比は任意の値でよいが、ここでは指定比=8として説明すると、露光量ntはmt/8となる。すなわち、露光量ntは露光量mtと比較して露光量が1/8であるので、カメラ101で撮像された画像はカメラ100の画像に比べて8倍暗くなる。言い換えれば、カメラ101で撮像可能な被写体の照度の上限はカメラ100での8倍相当となる。
【0030】
これにより、例えばカメラ100では太陽のように非常に明るくて白飛びしていた被写体が、カメラ101では適当な明るさで撮像可能となる。逆に、カメラ100では適当な明るさで撮像できていた木や人などの被写体がカメラ101では暗く撮像される。また、カメラ100では前述した通常の露光制御を行い次フレームt+1の露光量mt+1を求めるが、カメラ101の露光量はカメラ100の露光量を基準に算出できるので、カメラ101では通常の露光制御は行わずカメラ100で求めた露光量mt+1を元に、nt+1=mt+1/指定比で求める。なお、指定比が大きいほど広ダイナミックレンジな画像が生成できるが、露光量が大きく異なる画像の合成が必要となるため画質面などで課題があり、ダイナミックレンジの拡大と画質劣化の弊害の両方を考慮し適度な指定比を設定する必要がある。
【0031】
このような明るさの関係で撮像される2枚の画像を合成することで明るい被写体から暗い被写体まで適切な明るさで撮像されている広ダイナミックレンジ画像が生成できる。
【0032】
図1に戻って、画像露光変換部200は、画像輝度調整部15と、画像バッファ16と、画像バッファ17とを備える。
【0033】
図4は、画像露光変換部200について説明するための図である。画像露光変換部200の画像輝度調整部15は、カメラ100で撮像された画像に対して、露光制御部30から入力されるカメラ100とカメラ101の露光比をゲインとして乗ずる。ここで、カメラ100の露光量をm、カメラ101の露光量をnとしたとき、ゲインはn/mとなる。これにより、カメラ100で撮像された露光量mの画像から、カメラ101で撮像された露光量n相当の画像を仮想的に生成することができる。これらの2枚の画像をそれぞれ画像バッファ16,17に保存する。
【0034】
図5は、画像露光変換部201について説明するための図である。画像露光変換部201は、画像露光変換部200と同じ構成を有する。画像露光変換部201の画像輝度調整部15は、カメラ101で撮像された画像に対して、露光制御部30から入力されるカメラ100とカメラ101の露光比m/nをゲインとして乗ずる。これにより、カメラ101で撮像された露光量nの画像から、カメラ100で撮像された露光量m相当の画像を仮想的に生成することができる。これらの2枚の画像をそれぞれ画像バッファ16,17に保存する。
【0035】
図1に戻って、画像視差校正部300は、マッチング部21,22、マッチング補間部23、位置校正部24を備える。
【0036】
図6は、画像のマッチングについて説明するための図である。画像露光変換部200の画像バッファ16にはカメラ100で撮像された画像(露光量m)が保存され、画像バッファ17には輝度調整された画像(露光量n相当)の保存されている。また、画像露光変換部201の画像バッファ16にはカメラ101で撮像された画像(露光量n)が保存され、画像バッファ17には輝度調整された画像(露光量m相当)が保存されている。画像視差校正部300にこれらの画像4枚を入力する。
【0037】
マッチング部21は画像(露光量m)と画像(露光量m相当)の2枚で画像マッチングを行い、マッチング部22は画像(露光量n)と画像(露光量n相当)の2枚で画像マッチングを行う。すなわち、同じ露光量で撮影した視差のある画像同士でマッチングを行う。ここで2枚の画像間におけるマッチング手法については既知の方法を適用するものとし、本発明は、特定のマッチング手法に限定するものではない。このマッチングにより、画像間における画素の対応が取れる。この対応を示す情報をマッチング情報という。画像(露光量m)および画像(露光量m相当)でマッチングした結果をマッチング情報mとし、画像(露光量n)および画像(露光量n相当)でマッチングした結果をマッチング情報nとする。マッチング補間部23でマッチング情報mとマッチング情報nを統合し補間することで、画像中の各画素におけるマッチング情報ALLを生成する。
【0038】
図7はマッチング情報ALLを生成するフローチャートである。図7を参照して、マッチング補間部23の処理について説明する。まず、マッチング補間部23は、マッチング情報mとマッチング情報nを元に、マッチング情報を統合する処理(s10)を行う。以下のフローは統合後のマッチング情報を元に行う。次に、マッチング補間部23は、画面中の全画素を対象にして以下の処理を行う(s11〜s16)。すなわち、最初に画素0を注目画素とし(s11)、注目画素を対象に以下に示す処理(s12〜s16)を行い、続いて注目画素となる画素を順次インクリメントすることによって、全画素を対象とした処理を行う。以下では、注目画素をpとして説明する。
【0039】
マッチング補間部23は、注目画素pにマッチング情報が求まっているか否かを判定し(s12)、既にマッチング情報が求まっている場合は次の画素の処理に移る(s15)。マッチング情報が求まっていない場合、注目画素pの周辺画素でマッチング情報が求まっている画素を探索し(s13)、周辺画素のマッチング情報を補間することで注目画素pのマッチング情報を求め、補間して求めたマッチング情報を注目画素pに付与する(s14)。これにより注目画素pのマッチング情報が求まるので次の画素の処理に移る(s15)。全ての画素を注目画素として処理し終わったら処理を終了する(s16)。処理の終了段階で全ての画素にマッチング情報が付与された状態になる。
【0040】
図8(a)〜図8(c)は、図7のフローチャートにおけるマッチング統合処理(s10)について説明するための図である。図8(a)〜図8(c)では、説明の便宜上、画像を水平4画素、垂直3画素の計12画素に簡略化した模式図を示している。なお、説明時は、画素の左上から右側へ順番に画素0、画素1、画素2、画素3、さらに1段下がって左から右へ順番に、画素5、画素6・・・、画素11と呼ぶ。また、各画素中に記載する(x,y)がマッチング情報であり、画像間で対応する画素の座標値または相対座標値となる。
【0041】
図8(a)は、各画素におけるマッチング情報m、すなわち露光量mと露光量m相当の画像から求めたマッチングの状態を示した図である。図8(a)では、マッチング情報mは画素0、画素1、画素3、画素4、画素7、画素8で求まっており、その他の画素ではマッチング情報が求まっていないことを示している。
【0042】
図8(b)は、各画素におけるマッチング情報n、すなわち露光量nと露光量n相当の画像から求めたマッチングの状態を示した図である。図8(b)では、マッチング情報nは画素0、画素2、画素6、画素9、画素10、画素11で求まっており、その他の画素ではマッチング情報が求まっていないことを示している。
【0043】
図8(c)は、上記のようなマッチング情報mとマッチング情報nを統合した結果を示す図である。図8(c)で示したマッチング情報の統合では、マッチング情報mとマッチング情報nのいずれか一方だけでマッチング情報が求まっている画素については、そのマッチング情報をそのまま適用する。図では画素1、画素2、画素3、画素4、画素6、画素7、画素8、画素9、画素10、画素11がそれに該当する。マッチング情報mとマッチング情報nの両方でマッチング情報が求まっている画素については、2つのマッチング情報の平均値を統合後のマッチング情報としている。図8(c)では、画素0がそれに該当する。なお、ここでは平均値を使っているが、どちらかのマッチング情報を優先して統合後のマッチング情報としてもよい。マッチング情報mとマッチング情報nの両方でマッチング情報が求まっていない画素については、統合処理の時点ではマッチング情報は求まらない。図8(c)では画素5がそれに該当する。
【0044】
図9は、図7のフローチャートにおけるマッチング情報の補間処理(s12〜s14)について説明するための図である。図9は、図8(c)におけるマッチング情報の統合結果を示した図であり、マッチング情報の統合時点では画素5についてマッチング情報が付与されていない。マッチング情報の補間処理では、マッチング情報が付与されていない画素について、その周辺に位置する画素からマッチング情報が付与されている画素を探索する。図9に示す例では、画素5の周辺画素である画素2、画素4、画素6、画素8に対してマッチング情報が付与されている。図9では、画素5のマッチング情報(x5、y5)を、周辺4画素にそれぞれ付与されているマッチング情報を元に補間して算出する例を示している。このようにマッチング情報の統合時点でマッチング情報が付与されていない画素に対して、周辺画素のマッチング情報を補間して付与することで、全ての画素に対してマッチング情報を付与する。以上、マッチング補間部23について説明した。なお、ここでは周辺4画素を対象に補間した例を示したが、更に広範囲の画素を参照してもよいし、単純に上下左右のいずれかの画素のマッチング情報を割り当ててもよい。
【0045】
図10は、位置校正部24について説明するための図である。位置校正部24では、カメラ101で撮像された画像(露光量n)を、カメラ100で撮像された画像(露光量m)との視差がなくなるように位置校正を行う。既にマッチング部21、22およびマッチング補間部23の処理により、カメラ100で撮像された画像とカメラ101で撮像された画像について、画素単位で画像間の対応を取ったマッチング情報ALLが求められているので、このマッチング情報を使って位置校正を行う。位置校正の結果、カメラ101で撮像された画像(露光量n)はカメラ100で撮像された画像(露光量m)と視差のない画像になる。すなわち、露光量が異なる視差のない2枚の画像が生成される。
【0046】
次に、距離算出部31では、カメラ100で撮像された画像とマッチング情報ALLを使って、カメラ100から画像中の被写体までの距離を算出する。カメラ100とカメラ101は、あらかじめ所定の距離間隔をあけて水平に設置されているので、被写体までの距離の算出方法については既知の三角測量法を適用することで距離を求めることができる。なお、マッチング情報はカメラ101で撮像された画像に対しても適用できるし、広ダイナミックレンジ画像生成部32で生成された広ダイナミックレンジ画像に対しても同様に適用することができるので、カメラ100で撮像された被写体に限定するものではない。
【0047】
広ダイナミックレンジ画像生成部32では、カメラ100で撮像された画像(露光量m)と、カメラ101で撮像され位置校正部24で位置校正した画像(露光量n)の2枚を合成して、露光量mと露光量nでそれぞれ適切な明るさで撮像した画像となる広ダイナミックレンジ画像を生成する(図11参照)。露光量の異なる2枚の画像の合成方法は既知の手法を適用する。既知の手法としては、例えば特許文献1で引用されている特許第4163353号等に記載された手法がある。
【0048】
このように本実施の形態の撮像装置によれば、同一時刻に撮影された視差を有しかつ露光量の異なる画像から、仮想的に露光量を同じにした画像を生成することで、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。
【0049】
上記した実施の形態の撮像装置において、画像露光変換部200、201、画像視差校正部300、距離算出部31、広ダイナミックレンジ画像生成部32は、プログラムをコンピュータで実行することによって実現してもよい。このようなプログラムも本発明の範囲に含まれる。
【産業上の利用可能性】
【0050】
以上のように、本発明に係る撮像装置は、同一時刻に撮影された視差を有し、かつ露光量の異なる画像から、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができるという優れた効果を有し、広ダイナミックレンジ画像と距離情報を必要とするセンシング系のカメラシステム等に有用である。
【符号の説明】
【0051】
1 撮像装置
10 レンズ
11 絞り
12 撮像素子
13 A/D変換器
14 映像信号処理部
15 画像輝度調整部
16、17 画像バッファ
21、22 マッチング部
23 マッチング補間部
24 位置校正部
30 露光制御部
31 距離算出部
32 広ダイナミックレンジ画像生成部
100、101 カメラ
200、201 画像露光変換部
300 画像視差校正部
【技術分野】
【0001】
本発明は、視差を有しかつ露光量の異なる複数枚の画像を撮像する撮像装置に関し、より詳しくは被写体までの測距および複数枚の画像を合成した広ダイナミックレンジ画像の生成機能を有する撮像装置に関する。
【背景技術】
【0002】
近年、監視用カメラや車載用カメラなどに代表されるように、セキュリティ、インフラ、安心安全といった幅広い用途でディジタルカメラの使用が急速に拡大している。こうした用途で使用される場合、一般的な家庭で使用されるディジタルカメラに対する性能要求(高画質、高解像度など)とは異なり、例えば、どのような環境下でも黒潰れや白飛びがなく被写体を確実に撮像するためのダイナミックレンジの広さや、センシング用途として被写体までの距離を測定する測距機能が必要とされる。
【0003】
広ダイナミックレンジ画像の生成は、異なる露光量で撮影された複数枚の画像を合成する方法が一般的であり、従来から種々の手法が提案されている。また、視差のある複数枚の画像を用いて、画像中の被写体までの距離を測定するには、画像間で被写体のマッチングを行い、それぞれの画像における被写体の撮像位置を元に三角測量の原理を用いる手法が一般的である。画像間のマッチング手法についても従来から種々の方法が提案されている。
【0004】
このように広ダイナミックレンジ画像の生成手法と測距手法が、それぞれ独立して種々の手法が提案されている中で、視差を有しかつ露光量が異なる複数枚の画像から広ダイナミックレンジ画像の生成と測距の両方を行う手法も提案されている。例えば、特許文献1に記載された撮像装置は、視差を有しかつ露光量の等しい複数枚の画像と、視差のない露光量の異なる複数枚の画像を撮像する手段を備えている。この撮像装置は、前者の画像から被写体までの距離を測定し、後者の画像から広ダイナミックレンジ画像を生成することで、距離情報と広ダイナミックレンジ画像の両方を得ている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003−18617号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来手法においては、被写体までの測距のために、視差を有しかつ露光量の等しい画像を2枚必要とし、広ダイナミックレンジ画像生成のために、視差のない露光量の異なる画像を2枚とするため、合計4枚の画像が最低でも必要となる。
【0007】
一般的なステレオカメラで撮影することを考えると、映像1フレームの撮影で視差のある露光量の等しい画像を2枚撮影できるので、ある時刻におけるtフレーム目に露光量nで撮影し、次のt+1フレーム目に露光量mで撮影することになる。このとき距離情報は同一フレームで撮影される2枚の画像から測定できる。しかし、広ダイナミックレンジ画像を生成するためにはnフレーム目に撮影した画像とn+1フレーム目に撮影した画像を合成する必要があるので、合成する2枚の画像には撮影時間の差がある。被写体が動くようなシーンでは動きによる残像が発生するという課題があった。
【0008】
また、映像1フレームの撮影で視差があり露光量も異なる画像が2枚撮影できるステレオカメラを使用する場合、ある時刻におけるtフレーム目にカメラAで露光量n、カメラBで露光量mとして撮影し、t+1フレーム目にカメラAで露光量m、カメラBで露光量nとして撮影する。このとき、広ダイナミックレンジ画像は同一フレームで撮影される2枚の画像から生成できる。しかし、測距は、異なるフレームに撮影した画像で行うため撮影時間の差がある。被写体が動くようなシーンでは、被写体がフレーム間で移動してしまうことから、被写体までの距離が正しく算出できないという課題があった。
【0009】
本発明は、従来の問題を解決するためになされたもので、広ダイナミックレンジ画像の生成と、被写体までの測距を同時に行う撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の撮像装置は、複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成する撮像部と、前記撮像部による撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整する画像輝度調整部と、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるマッチング部と、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求める距離算出部と、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部と、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部とを備えた構成を有する。
【0011】
この構成により、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。
【0012】
本発明の撮像装置において、前記画像輝度調整部は、それぞれの画像の撮像に用いられた露光量の比を用いて画像の明るさを調整する構成を有する。
【0013】
この構成により、視差を有しかつ露光量が異なる複数の画像から、露光量の相違による明るさの違いを調整した視差を有する画像を求めることができる。
【0014】
本発明の撮像装置において、前記撮像部は撮像によって視差を有しかつ露光量の異なる第1画像および第2画像を生成し、前記画像輝度調整部は、前記第1画像の明るさを前記第2画像の露光量に基づいて調整した調整済み第1画像と、前記第2画像の明るさを前記第1画像の露光量に基づいて調整した調整済み第2画像を生成し、前記マッチング部は、前記第1画像と前記調整済み第2画像とのマッチングを行って第1のマッチング情報を求め、前記調整済み第1画像と前記第2画像とのマッチングを行って第2のマッチング情報を求め、前記第1のマッチング情報と前記第2のマッチング情報を統合して、前記マッチング情報を求める構成を有する。
【0015】
この構成により、第1のマッチング情報と第2のマッチング情報とを用いて適切にマッチング情報を生成することができる。
【0016】
本発明の撮像装置において、前記マッチング部は、前記第1画像と前記調整済み第2画像とのマッチング、および、前記調整済み第1画像と前記第2画像とのマッチングによって、対応する領域が求まらなかった領域について、当該領域の周囲の領域の対応情報を用いた補間処理によって対応関係を求める構成を有する。
【0017】
この構成により、画像輝度を調整した画像のマッチングによって完全な対応関係が求まらない領域についても、周囲の領域のマッチング情報を補間することによってマッチング情報を求めることができる。
【0018】
本発明の撮像方法は、複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成するステップと、撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップとを備えた構成を有する。
【0019】
本発明のプログラムは、異なる露光量で撮像された視差を有する複数の画像に基づいて画像を生成するために、コンピュータに、複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップとを実行させる構成を有する。
【0020】
この構成により、本発明の撮像方法およびプログラムは、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。本発明の撮像装置の各種の構成を、本発明の撮像方法およびプログラムに適用することも可能である。
【発明の効果】
【0021】
本発明によれば、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができるという優れた効果を有する。
【図面の簡単な説明】
【0022】
【図1】本発明の実施の形態における撮像装置の概略構成を示すブロック図
【図2】本発明の実施の形態における通常の露光制御を示す図
【図3】本発明の実施の形態における露光制御を示す図
【図4】本発明の実施の形態における撮像部100の画像に対する画像露光変換を示す図
【図5】本発明の実施の形態における撮像部101の画像に対する画像露光変換を示す図
【図6】本発明の実施の形態における画像マッチングの流れを示す図
【図7】本発明の実施の形態におけるマッチング補間処理の動作フロー図
【図8】(a)画像を構成する各画素におけるマッチング情報mを示す図(b)画像を構成する各画素におけるマッチング情報nを示す図(c)統合されたマッチング情報を示す図
【図9】本発明の実施の形態におけるマッチング情報の補間処理を示すブロック図
【図10】本発明の実施の形態における画像の位置校正を示すブロック図
【図11】本発明の実施の形態における広ダイナミックレンジ画像生成を示すブロック図
【発明を実施するための形態】
【0023】
以下に、本発明の実施の形態の撮像装置について、図面を参照しながら説明する。
図1は、実施の形態の撮像装置1の構成を示す図である。撮像装置1は、被写体を撮像して映像信号を出力する基本的な撮像処理を行うカメラ100およびカメラ101と、カメラ100とカメラ101に対して所定の露光比になるようにそれぞれの露光量を制御する露光制御部30と、カメラ100から出力される画像とその画像に対して輝度調整した画像を画像バッファに保存する画像露光変換部200と、カメラ101から出力される画像とその画像に対して輝度調整した画像を画像バッファに保存する画像露光変換部201と、画像露光変換部200および画像露光変換部201で保存された画像から露光量が仮想的に等しい画像間でマッチングを取り、マッチングによって得られたマッチング情報を元にマッチング情報の統合と補間処理を行い、かつ、統合されたマッチング情報をもとにカメラ101で撮像された画像に対してカメラ100で撮像された画像と視差がなくなるように位置校正を行う画像視差校正部300と、カメラ100で撮像された画像と画像視差校正部300で求めたマッチング情報から画像に映る被写体までの撮像装置からの距離を算出する距離算出部31と、カメラ100で撮像された画像と画像視差校正部300で位置校正を行った画像を合成して広ダイナミックレンジ画像を生成する広ダイナミックレンジ画像生成部32とを備えている。なお、カメラ100とカメラ101は、所定の距離だけ間隔をあけて水平に設置されている。カメラ100とカメラ101は、本発明の「撮像部」を構成する。
【0024】
カメラ100は、レンズ10と、絞り11と、撮像素子12と、A/D変換器13と、映像信号処理部14とを備えている。カメラ100は、露光制御部30で指定された露光量(露光量mとする)となるように絞りやシャッタースピード(図示しない)を調整し、撮像する。レンズ10から入射する被写体からの光を絞り11で絞り、撮像素子12に結像する。撮像素子12は、結像した像を光電変換してアナログ信号を出力する。A/D変換器13は、撮像素子12から出力されたアナログ信号をデジタル信号に変換する。映像信号処理部14は、A/D変換されたデジタル信号から映像信号を生成するための信号処理を行う。映像信号処理部14は、輝度信号生成、色信号生成、アパーチャ信号生成などの信号処理のほか、OB減算やホワイトバランス調整、ノイズ低減など一般的な映像用の信号処理を行う。
【0025】
カメラ101は、カメラ100と同じ構成を有する。露光制御部30で指定された露光量(露光量nとする)となるように絞りやシャッタースピードを調整し、撮像する。
【0026】
次に、カメラ100およびカメラ101の露光量を制御する露光制御部30について説明する。まず、露光量の通常の制御方法について図2を参照しながら説明する。通常、露光制御は、画面の輝度値があらかじめ定めた目標輝度値と等しくなるようにする。例えば、フレームt(露光量aとする)における画面輝度値を求める。画面輝度値としては、画面全体の平均値を用いてもよいし、画面の中央に重み付けしたような値を用いてもよい。
【0027】
画面輝度値とあらかじめ定めた目標輝度値を比較し、画面輝度値が目標輝度値よりも小さければ、フレームt+1(露光量bとする)ではフレームtよりも明るくなるように、b>aとする。撮像動作としては、露光量が大きくなるように絞りを開けたりシャッタースピードを遅くしたりして露光量を増やす。反対に、画面輝度値が目標輝度値よりも大きければ、フレームtよりも暗くなるようにb<aとする。撮像動作としては、絞りを絞ったりシャッタースピードを速くしたりして露光量を減らす。また、画面輝度値と目標輝度値が等しいとき、露光量aは適正露光であるのでb=aとする。以上が一般的な露光制御である。
【0028】
本実施の形態では露光量の異なる画像を合成して、明るい被写体から暗い被写体までを撮影できる広ダイナミックレンジ画像を生成するので、カメラ100とカメラ101における露光量は異なる露光量とする。
【0029】
図3は、本実施の形態の露光制御について説明するための図である。例えば、フレームtにおけるカメラ100の露光量をmtとしたとき、カメラ101の露光量ntは露光量mtの1/指定比になるように与える。指定比は任意の値でよいが、ここでは指定比=8として説明すると、露光量ntはmt/8となる。すなわち、露光量ntは露光量mtと比較して露光量が1/8であるので、カメラ101で撮像された画像はカメラ100の画像に比べて8倍暗くなる。言い換えれば、カメラ101で撮像可能な被写体の照度の上限はカメラ100での8倍相当となる。
【0030】
これにより、例えばカメラ100では太陽のように非常に明るくて白飛びしていた被写体が、カメラ101では適当な明るさで撮像可能となる。逆に、カメラ100では適当な明るさで撮像できていた木や人などの被写体がカメラ101では暗く撮像される。また、カメラ100では前述した通常の露光制御を行い次フレームt+1の露光量mt+1を求めるが、カメラ101の露光量はカメラ100の露光量を基準に算出できるので、カメラ101では通常の露光制御は行わずカメラ100で求めた露光量mt+1を元に、nt+1=mt+1/指定比で求める。なお、指定比が大きいほど広ダイナミックレンジな画像が生成できるが、露光量が大きく異なる画像の合成が必要となるため画質面などで課題があり、ダイナミックレンジの拡大と画質劣化の弊害の両方を考慮し適度な指定比を設定する必要がある。
【0031】
このような明るさの関係で撮像される2枚の画像を合成することで明るい被写体から暗い被写体まで適切な明るさで撮像されている広ダイナミックレンジ画像が生成できる。
【0032】
図1に戻って、画像露光変換部200は、画像輝度調整部15と、画像バッファ16と、画像バッファ17とを備える。
【0033】
図4は、画像露光変換部200について説明するための図である。画像露光変換部200の画像輝度調整部15は、カメラ100で撮像された画像に対して、露光制御部30から入力されるカメラ100とカメラ101の露光比をゲインとして乗ずる。ここで、カメラ100の露光量をm、カメラ101の露光量をnとしたとき、ゲインはn/mとなる。これにより、カメラ100で撮像された露光量mの画像から、カメラ101で撮像された露光量n相当の画像を仮想的に生成することができる。これらの2枚の画像をそれぞれ画像バッファ16,17に保存する。
【0034】
図5は、画像露光変換部201について説明するための図である。画像露光変換部201は、画像露光変換部200と同じ構成を有する。画像露光変換部201の画像輝度調整部15は、カメラ101で撮像された画像に対して、露光制御部30から入力されるカメラ100とカメラ101の露光比m/nをゲインとして乗ずる。これにより、カメラ101で撮像された露光量nの画像から、カメラ100で撮像された露光量m相当の画像を仮想的に生成することができる。これらの2枚の画像をそれぞれ画像バッファ16,17に保存する。
【0035】
図1に戻って、画像視差校正部300は、マッチング部21,22、マッチング補間部23、位置校正部24を備える。
【0036】
図6は、画像のマッチングについて説明するための図である。画像露光変換部200の画像バッファ16にはカメラ100で撮像された画像(露光量m)が保存され、画像バッファ17には輝度調整された画像(露光量n相当)の保存されている。また、画像露光変換部201の画像バッファ16にはカメラ101で撮像された画像(露光量n)が保存され、画像バッファ17には輝度調整された画像(露光量m相当)が保存されている。画像視差校正部300にこれらの画像4枚を入力する。
【0037】
マッチング部21は画像(露光量m)と画像(露光量m相当)の2枚で画像マッチングを行い、マッチング部22は画像(露光量n)と画像(露光量n相当)の2枚で画像マッチングを行う。すなわち、同じ露光量で撮影した視差のある画像同士でマッチングを行う。ここで2枚の画像間におけるマッチング手法については既知の方法を適用するものとし、本発明は、特定のマッチング手法に限定するものではない。このマッチングにより、画像間における画素の対応が取れる。この対応を示す情報をマッチング情報という。画像(露光量m)および画像(露光量m相当)でマッチングした結果をマッチング情報mとし、画像(露光量n)および画像(露光量n相当)でマッチングした結果をマッチング情報nとする。マッチング補間部23でマッチング情報mとマッチング情報nを統合し補間することで、画像中の各画素におけるマッチング情報ALLを生成する。
【0038】
図7はマッチング情報ALLを生成するフローチャートである。図7を参照して、マッチング補間部23の処理について説明する。まず、マッチング補間部23は、マッチング情報mとマッチング情報nを元に、マッチング情報を統合する処理(s10)を行う。以下のフローは統合後のマッチング情報を元に行う。次に、マッチング補間部23は、画面中の全画素を対象にして以下の処理を行う(s11〜s16)。すなわち、最初に画素0を注目画素とし(s11)、注目画素を対象に以下に示す処理(s12〜s16)を行い、続いて注目画素となる画素を順次インクリメントすることによって、全画素を対象とした処理を行う。以下では、注目画素をpとして説明する。
【0039】
マッチング補間部23は、注目画素pにマッチング情報が求まっているか否かを判定し(s12)、既にマッチング情報が求まっている場合は次の画素の処理に移る(s15)。マッチング情報が求まっていない場合、注目画素pの周辺画素でマッチング情報が求まっている画素を探索し(s13)、周辺画素のマッチング情報を補間することで注目画素pのマッチング情報を求め、補間して求めたマッチング情報を注目画素pに付与する(s14)。これにより注目画素pのマッチング情報が求まるので次の画素の処理に移る(s15)。全ての画素を注目画素として処理し終わったら処理を終了する(s16)。処理の終了段階で全ての画素にマッチング情報が付与された状態になる。
【0040】
図8(a)〜図8(c)は、図7のフローチャートにおけるマッチング統合処理(s10)について説明するための図である。図8(a)〜図8(c)では、説明の便宜上、画像を水平4画素、垂直3画素の計12画素に簡略化した模式図を示している。なお、説明時は、画素の左上から右側へ順番に画素0、画素1、画素2、画素3、さらに1段下がって左から右へ順番に、画素5、画素6・・・、画素11と呼ぶ。また、各画素中に記載する(x,y)がマッチング情報であり、画像間で対応する画素の座標値または相対座標値となる。
【0041】
図8(a)は、各画素におけるマッチング情報m、すなわち露光量mと露光量m相当の画像から求めたマッチングの状態を示した図である。図8(a)では、マッチング情報mは画素0、画素1、画素3、画素4、画素7、画素8で求まっており、その他の画素ではマッチング情報が求まっていないことを示している。
【0042】
図8(b)は、各画素におけるマッチング情報n、すなわち露光量nと露光量n相当の画像から求めたマッチングの状態を示した図である。図8(b)では、マッチング情報nは画素0、画素2、画素6、画素9、画素10、画素11で求まっており、その他の画素ではマッチング情報が求まっていないことを示している。
【0043】
図8(c)は、上記のようなマッチング情報mとマッチング情報nを統合した結果を示す図である。図8(c)で示したマッチング情報の統合では、マッチング情報mとマッチング情報nのいずれか一方だけでマッチング情報が求まっている画素については、そのマッチング情報をそのまま適用する。図では画素1、画素2、画素3、画素4、画素6、画素7、画素8、画素9、画素10、画素11がそれに該当する。マッチング情報mとマッチング情報nの両方でマッチング情報が求まっている画素については、2つのマッチング情報の平均値を統合後のマッチング情報としている。図8(c)では、画素0がそれに該当する。なお、ここでは平均値を使っているが、どちらかのマッチング情報を優先して統合後のマッチング情報としてもよい。マッチング情報mとマッチング情報nの両方でマッチング情報が求まっていない画素については、統合処理の時点ではマッチング情報は求まらない。図8(c)では画素5がそれに該当する。
【0044】
図9は、図7のフローチャートにおけるマッチング情報の補間処理(s12〜s14)について説明するための図である。図9は、図8(c)におけるマッチング情報の統合結果を示した図であり、マッチング情報の統合時点では画素5についてマッチング情報が付与されていない。マッチング情報の補間処理では、マッチング情報が付与されていない画素について、その周辺に位置する画素からマッチング情報が付与されている画素を探索する。図9に示す例では、画素5の周辺画素である画素2、画素4、画素6、画素8に対してマッチング情報が付与されている。図9では、画素5のマッチング情報(x5、y5)を、周辺4画素にそれぞれ付与されているマッチング情報を元に補間して算出する例を示している。このようにマッチング情報の統合時点でマッチング情報が付与されていない画素に対して、周辺画素のマッチング情報を補間して付与することで、全ての画素に対してマッチング情報を付与する。以上、マッチング補間部23について説明した。なお、ここでは周辺4画素を対象に補間した例を示したが、更に広範囲の画素を参照してもよいし、単純に上下左右のいずれかの画素のマッチング情報を割り当ててもよい。
【0045】
図10は、位置校正部24について説明するための図である。位置校正部24では、カメラ101で撮像された画像(露光量n)を、カメラ100で撮像された画像(露光量m)との視差がなくなるように位置校正を行う。既にマッチング部21、22およびマッチング補間部23の処理により、カメラ100で撮像された画像とカメラ101で撮像された画像について、画素単位で画像間の対応を取ったマッチング情報ALLが求められているので、このマッチング情報を使って位置校正を行う。位置校正の結果、カメラ101で撮像された画像(露光量n)はカメラ100で撮像された画像(露光量m)と視差のない画像になる。すなわち、露光量が異なる視差のない2枚の画像が生成される。
【0046】
次に、距離算出部31では、カメラ100で撮像された画像とマッチング情報ALLを使って、カメラ100から画像中の被写体までの距離を算出する。カメラ100とカメラ101は、あらかじめ所定の距離間隔をあけて水平に設置されているので、被写体までの距離の算出方法については既知の三角測量法を適用することで距離を求めることができる。なお、マッチング情報はカメラ101で撮像された画像に対しても適用できるし、広ダイナミックレンジ画像生成部32で生成された広ダイナミックレンジ画像に対しても同様に適用することができるので、カメラ100で撮像された被写体に限定するものではない。
【0047】
広ダイナミックレンジ画像生成部32では、カメラ100で撮像された画像(露光量m)と、カメラ101で撮像され位置校正部24で位置校正した画像(露光量n)の2枚を合成して、露光量mと露光量nでそれぞれ適切な明るさで撮像した画像となる広ダイナミックレンジ画像を生成する(図11参照)。露光量の異なる2枚の画像の合成方法は既知の手法を適用する。既知の手法としては、例えば特許文献1で引用されている特許第4163353号等に記載された手法がある。
【0048】
このように本実施の形態の撮像装置によれば、同一時刻に撮影された視差を有しかつ露光量の異なる画像から、仮想的に露光量を同じにした画像を生成することで、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができる。
【0049】
上記した実施の形態の撮像装置において、画像露光変換部200、201、画像視差校正部300、距離算出部31、広ダイナミックレンジ画像生成部32は、プログラムをコンピュータで実行することによって実現してもよい。このようなプログラムも本発明の範囲に含まれる。
【産業上の利用可能性】
【0050】
以上のように、本発明に係る撮像装置は、同一時刻に撮影された視差を有し、かつ露光量の異なる画像から、広ダイナミックレンジ画像の生成と被写体までの測距を同時に行うことができるという優れた効果を有し、広ダイナミックレンジ画像と距離情報を必要とするセンシング系のカメラシステム等に有用である。
【符号の説明】
【0051】
1 撮像装置
10 レンズ
11 絞り
12 撮像素子
13 A/D変換器
14 映像信号処理部
15 画像輝度調整部
16、17 画像バッファ
21、22 マッチング部
23 マッチング補間部
24 位置校正部
30 露光制御部
31 距離算出部
32 広ダイナミックレンジ画像生成部
100、101 カメラ
200、201 画像露光変換部
300 画像視差校正部
【特許請求の範囲】
【請求項1】
複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成する撮像部と、
前記撮像部による撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整する画像輝度調整部と、
明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるマッチング部と、
所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求める距離算出部と、
前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部と、
前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部と、
を備えたことを特徴とする撮像装置。
【請求項2】
前記画像輝度調整部は、それぞれの画像の撮像に用いられた露光量の比を用いて画像の明るさを調整することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記撮像部は、撮像によって、視差を有しかつ露光量の異なる第1画像および第2画像を生成し、
前記画像輝度調整部は、前記第1画像の明るさを前記第2画像の露光量に基づいて調整した調整済み第1画像と、前記第2画像の明るさを前記第1画像の露光量に基づいて調整した調整済み第2画像を生成し、
前記マッチング部は、前記第1画像と前記調整済み第2画像とのマッチングを行って第1のマッチング情報を求め、前記調整済み第1画像と前記第2画像とのマッチングを行って第2のマッチング情報を求め、前記第1のマッチング情報と前記第2のマッチング情報を統合して、前記マッチング情報を求める請求項1または2に記載の撮像装置。
【請求項4】
前記マッチング部は、前記第1画像と前記調整済み第2画像とのマッチング、および、前記調整済み第1画像と前記第2画像とのマッチングによって、対応する領域が求まらなかった領域について、当該領域の周囲の領域の対応情報を用いた補間処理によって対応関係を求める請求項3に記載の撮像装置。
【請求項5】
複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成するステップと、
撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、
明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、
所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、
前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、
前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップと、
を備えたことを特徴とする撮像方法。
【請求項6】
異なる露光量で撮像された視差を有する複数の画像に基づいて画像を生成するために、コンピュータに、
複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、
明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、
所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、
前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、
前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップと、
を実行させることを特徴とするプログラム。
【請求項1】
複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成する撮像部と、
前記撮像部による撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整する画像輝度調整部と、
明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるマッチング部と、
所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求める距離算出部と、
前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行う位置校正部と、
前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成する広ダイナミックレンジ画像生成部と、
を備えたことを特徴とする撮像装置。
【請求項2】
前記画像輝度調整部は、それぞれの画像の撮像に用いられた露光量の比を用いて画像の明るさを調整することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記撮像部は、撮像によって、視差を有しかつ露光量の異なる第1画像および第2画像を生成し、
前記画像輝度調整部は、前記第1画像の明るさを前記第2画像の露光量に基づいて調整した調整済み第1画像と、前記第2画像の明るさを前記第1画像の露光量に基づいて調整した調整済み第2画像を生成し、
前記マッチング部は、前記第1画像と前記調整済み第2画像とのマッチングを行って第1のマッチング情報を求め、前記調整済み第1画像と前記第2画像とのマッチングを行って第2のマッチング情報を求め、前記第1のマッチング情報と前記第2のマッチング情報を統合して、前記マッチング情報を求める請求項1または2に記載の撮像装置。
【請求項4】
前記マッチング部は、前記第1画像と前記調整済み第2画像とのマッチング、および、前記調整済み第1画像と前記第2画像とのマッチングによって、対応する領域が求まらなかった領域について、当該領域の周囲の領域の対応情報を用いた補間処理によって対応関係を求める請求項3に記載の撮像装置。
【請求項5】
複数の撮像素子が異なる露光量で撮像を行って、視差を有しかつ露光量の異なる画像を生成するステップと、
撮像により得られた複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、
明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、
所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、
前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、
前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップと、
を備えたことを特徴とする撮像方法。
【請求項6】
異なる露光量で撮像された視差を有する複数の画像に基づいて画像を生成するために、コンピュータに、
複数の画像の明るさを、それぞれの画像の撮像に用いられた露光量に基づいて調整するステップと、
明るさが調整された視差を有する複数の画像を用いて、前記画像のマッチングを行い、視差を有する画像間において対応する領域を特定するマッチング情報を求めるステップと、
所定の被写体までの距離を、前記被写体の画像を構成する領域のマッチング情報に基づいて求めるステップと、
前記マッチング情報に基づいて、視差を有する画像の視差を無くすように画像の位置校正を行うステップと、
前記位置校正部で位置校正された異なる露光量の複数の画像を合成して、前記撮像部にて撮像された画像より広いダイナミックレンジを有する画像を生成するステップと、
を実行させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2011−254170(P2011−254170A)
【公開日】平成23年12月15日(2011.12.15)
【国際特許分類】
【出願番号】特願2010−125195(P2010−125195)
【出願日】平成22年5月31日(2010.5.31)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
【公開日】平成23年12月15日(2011.12.15)
【国際特許分類】
【出願日】平成22年5月31日(2010.5.31)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]