撮像装置
【課題】汎用のイメージセンサを使用して高解像度な画像と被写体の経時的な情報を取得することが可能な撮像装置を提供すること
【解決手段】撮像装置は、露光時間をｎ分割した分割時間のいずれかにおいて撮像素子１０４から出力される画像の画素値と、露光時間中に変動する参照信号の代表値との積である相関画像を取得する相関画像取得手段と、露光時間分の前記相関画像の総和を相関画像として算出する相関画像算出手段１０５と、を有することを特徴とする。
【解決手段】撮像装置は、露光時間をｎ分割した分割時間のいずれかにおいて撮像素子１０４から出力される画像の画素値と、露光時間中に変動する参照信号の代表値との積である相関画像を取得する相関画像取得手段と、露光時間分の前記相関画像の総和を相関画像として算出する相関画像算出手段１０５と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
オプティカルフローなどの分野では物体の動き情報を取得する必要があるが、同じ露光時間に高速に複数枚の画像を取得すると記憶容量の増加と高速処理が必要となるという問題が発生する。
【０００３】
そこで、特許文献１は、光電変換された電流に対し参照信号を与え、変調された電流を時間積分して出力するイメージセンサを使用し、入射光と参照信号の時間相関を表す相関画像を提供する方法を提案している。特許文献２は、１枚の画像を取得する際にシャッターを不規則な時間系列で開閉することで符号化し、取得した符号化画像を復号することで画像のぶれを除去する方法を提案している。特許文献３は、撮影時の露出を制御する際に用いるフィルターの代わりに空間光変調素子を用いて光量を変調する方法を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３６４３２１０号公報
【特許文献２】特表２００９−５２２８２５号公報
【特許文献３】特開２００３−３４４９０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、特殊なイメージセンサを使用するため、生産コストが増加すると共に、１つのフォトダイオードに複数のコンデンサが必要となるため１画素が大きくなり高解像度化が困難になる。なお、特許文献２、３は、物体の経時的な情報を取得することには着目していない。
【０００６】
そこで、本発明は、汎用のイメージセンサを使用して高解像度な画像と被写体の経時的な情報を取得することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像光学系によって結像された光学像を光電変換する撮像素子と、露光時間を所定の分割数によって分割した複数の分割時間のいずれかにおいて、前記撮像素子から出力される画像の画素値と、露光期間中に変動する参照信号の代表値との積である相関画像を取得する相関画像取得手段と、露光時間分の前記相関画像の総和を相関画像として算出する相関画像算出手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、汎用のイメージセンサを使用して高解像度な画像と被写体の経時的な情報を取得することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の撮像装置のブロック図である。（実施例１）
【図２】図１に示す露光制御手段の動作を示すフローチャートである。（実施例１）
【図３】図１に示す露光制御手段に供給される参照信号の一例を示す図である。（実施例１）
【図４】図３に示す参照信号を時分割した図である。（実施例１）
【図５】図１に示すシャッターの開閉タイミングを説明するための図である。（実施例１）
【図６】図１に示す相関画像算出手段の動作を説明するためのフローチャートである。（実施例１）
【図７】図３に示す参照信号の別の例の図である。（実施例１）
【図８】変形例におけるシャッターの開閉タイミングを説明するための図である。（実施例１）
【図９】複数の種類の参照信号の時分割合成を示す図である。（実施例１）
【図１０】図９に対応するシャッターの開閉タイミングを説明するための図である。（実施例１）
【図１１】変形例における相関画像算出手段の動作を説明するためのフローチャートである。（実施例１）
【図１２】本発明の撮像装置のブロック図である。（実施例２）
【図１３】図１２に示す露光制御手段の動作を説明するためのフローチャートである。（実施例２）
【図１４】規格化した参照符号の図である。（実施例２）
【図１５】図１２に示す相関画像算出手段の動作を説明するためのフローチャートである。（実施例２）
【図１６】複数の参照信号の時分割合成を示す図である。（実施例２）
【図１７】本発明の撮像装置のブロック図である。（実施例３）
【発明を実施するための形態】
【００１０】
本実施形態の撮像装置は、サブフレーム相関画像を取得するサブフレーム相関画像取得手段と、撮像素子から出力を取得し、露光時間分の前記サブフレーム相関画像の総和を相関画像として算出する相関画像算出手段と、を有する。
【００１１】
ここで、サブフレーム相関画像は、露光時間を所定の分割数によって分割した複数の分割時間のいずれかにおいて、撮像素子から出力される画像の画素値と参照信号の代表値との積である。相関画像算出手段がサブフレーム相関画像取得手段として機能してもよいし、後述する露光制御手段およびシャッター／光量変調素子がサブフレーム相関画像取得手段として機能してもよい。サブフレーム相関画像は分割時間ごとに生成されなくてもよく、複数の分割時間のいずれかにおいて生成されれば足りる。
【００１２】
本実施形態では、相関画像算出手段は撮像素子から出力を受け取ってその外部で相関画像を算出し、撮像素子内では算出しないため、撮像素子に特殊なイメージセンサを使用する必要がなく、コストアップを防止することができる。
【００１３】
以下、本発明の好ましい実施例について添付図面を参照して説明する。
【実施例１】
【００１４】
図１（ａ）、（ｂ）は、それぞれ実施例１の撮像装置の異なる構成を示すブロック図である。
【００１５】
図１（ａ）において、１０１は、被写体の光学像を形成する撮像光学系であり、入射光をイメージセンサ１０４上に結像させる。１０２は、イメージセンサ１０４の露光量を決定するメカニカルシャッターで、高速にかつ異なる速度で開閉することが可能である。１０３は、シャッター速度やシャッターの開閉タイミングの制御を行う露光制御手段である。
【００１６】
イメージセンサ１０４は、光学像を光電変換する撮像素子で、メカニカルシャッター１０２の開閉に合わせて高速に画像を読み出すことが可能である。１０５は、イメージセンサ１０４からの信号から後述する相関画像を算出する相関画像算出手段である。なお、露光制御手段１０３と相関画像算出手段１０５は、プロセッサ（マイクロコンピュータ）として具現化可能である。
【００１７】
１０６は、参照信号を露光制御手段１０３に供給する参照信号供給手段であり、外部とのコネクタまたは参照信号を格納したメモリから構成される。１０７は、相関画像を保存するためのメモリ（記憶手段）である。
【００１８】
図１の（ｂ）は、図１の（ａ）に示す構成からメカニカルシャッター１０２を除いた構成を有する撮像装置のブロック図である。この場合、露光制御手段１０３はイメージセンサ１０４を制御して高速にその露光量を決定する電子シャッターを切り、図１の（ａ）の構成と同様の撮像を行うことが可能となる。
【００１９】
まず、相関画像について説明する。相関画像とは、入射光が撮像光学系１０１を通り、イメージセンサ１０４によって光電変換された通常の撮影画像と、参照信号との時間相関によって得られる画像である。
【００２０】
画素（ｉ，ｊ）におけるイメージセンサ１０４の出力である画像の画素値をｆｉ，ｊ（ｔ）、参照信号をｇ（ｔ）、１フレーム時間をＴとすると相関画像Ｉｉ，ｊ（ｔ）は次式で表される。これは露光時間（１フレーム時間）内の画素値と参照信号の積分値である。
【００２１】
【数１】
【００２２】
数式１を離散的に表すと次式のようになる。
【００２３】
【数２】
【００２４】
つまり、露光時間を更に微小な時間Δｔで分割し、ｔ＋ｎΔｔにおけるイメージセンサ１０４の出力ｆｉ，ｊ（ｔ＋ｎΔｔ）と参照信号値ｇ（ｔ＋ｎΔｔ）の積を求めることで相関画像を得ることが可能となる。ここで、露光時間を微小時間に分割して撮像した際の各画像をサブフレームとし、ｎはサブフレームの番号である。
【００２５】
動作において、物体から入射する光は、撮像光学系１０１によりシャッターが開いている間イメージセンサ１０４上に結像する。撮像光学系１０１とイメージセンサ１０４は、通常の撮像装置と同様のものを利用することが可能であるが、イメージセンサ１０４は高速な読み出しおよび高速な電子シャッターが可能なイメージセンサとする。
【００２６】
露光制御手段１０３は、参照信号に基づき撮像装置全体を制御する。図２は、露光制御手段１０３の動作を示すフローチャートである。図２において、「Ｓ」はステップの略であり、これは他のフローチャートでも同様である。
【００２７】
撮像が開始されると、まず、露光制御手段１０３は参照信号供給手段１０６から参照信号を取得する（Ｓ１００２）。参照信号は露光時間中に変動する信号であり、例えば、図３に示すような露光時間が１周期に対応する正弦波信号を使用することができる。
【００２８】
ここで、「露光時間」は、静止画においては最適な露出時間となるシャッター速度であり、動画像においては１フレーム時間（動画を構成する静止画１枚分の時間）である。動画像における１フレーム時間は、一般に、１／３０秒もしくは１／６０秒である。なお、参照信号の形状は限定されず、その数も一つに限定されない。以下、図３に示す正弦波を参照信号とし、動画像において相関画像を連続的に取得する例について説明する。
【００２９】
参照信号ｇ（ｔ）を取得すると（Ｓ１００２）、露光制御手段１０３は、参照信号ｇ(ｔ)に基づいて１フレーム時間内の分割数を決定し、サブフレームのシャッター速度を算出する（Ｓ１００４）。決定した分割数は参照信号ｇ（ｔ）の情報と共に相関画像算出手段１０５に送られる。例えば、露光制御手段１０３は、サンプリング定理よりサンプリング数が参照信号の最大周波数の２倍以上となるように分割数を設定する。なお、分割数を決定する部材は露光制御手段１０３でなくてもよく、外部から入力されてもよい。
【００３０】
参照信号ｇ（ｔ）を外部から入力する場合は、周波数が未知のため同時には分割数を決定できないため、１フレーム時間の参照信号を取得して周波数を解析し、分割数を決定するのが望ましい。よって、動画像撮像時における参照信号は、１フレーム時間内の参照信号を繰り返して入力するのが好適である。しかし、１フレーム時間ごとに異なる参照信号を入力してもよく、その場合は最大周波数に従って分割数を決めるのが良く、最大周波数を入力可能な構成にするのが望ましい。
【００３１】
次に、決定した分割数と１フレーム時間から微小時間Δｔを算出し、そこからシャッター速度を算出する。シャッター速度はΔｔ間に１回シャッターを切るような速度とし、ノイズを考慮するとその間に最大露光量となるようなシャッター速度とするのが望ましい。
【００３２】
また、シャッター速度は、分割ごとに変えるのではなく１フレーム中で一定速度とし、その速度で繰り返しシャッターを切るものとする。例えば、図４は、参照信号ｇ（ｔ）の１周期を２０分割した場合を示しており、１フレーム時間が１／６０秒であった場合、微小時間Δｔは１／１２００秒となる。シャッターのタイムラグを１／１２０００秒とすると、Δｔの間に最大露光するためのシャッター速度は３／４０００秒となる。
【００３３】
次に、露光制御手段１０３は、Ｓ１００４で決定されたシャッター速度を用い、図５に示すように一定間隔で（即ち、サブフレームの時間内で一定のシャッター速度を有するように）、メカニカルシャッター１０２の開閉を制御する（Ｓ１００６）。
【００３４】
ここで、図５は、シャッターの開閉タイミングを表す図である。図５の縦軸は不図示のシャッター駆動回路に供給される電圧値、横軸は時間で、立ち上がりでシャッターが開口し、立ち下りでシャッターが閉口し、パルス幅がシャッター速度に対応する。図１（ｂ）の場合は、イメージセンサ１０４の電子シャッターを制御する。
【００３５】
次に、露光制御手段１０３は、シャッターと同期して入射光を光電変換するようにイメージセンサ１０４を制御し、露光されたサブフレーム画像を相関画像算出手段１０５に出力させる（Ｓ１００８）。
【００３６】
次に、露光制御手段１０３は、所定の分割数に基づいて１フレーム時間の撮像が終了したかを判定する（Ｓ１０１０）。終了していない場合は（Ｓ１０１０のＮ）、ステップＳ１００６に戻り、シャッターおよびイメージセンサ１０４を制御して撮像を行い、終了した場合は（Ｓ１０１０のＹ）、１フレームを終了する。
【００３７】
次に、露光制御手段１０３は、撮像の終了判定を行い（Ｓ１０１２）、撮像が続行される場合は（Ｓ１０１２のＮ）、Ｓ１００６に戻って処理を繰り返し、撮像終了の場合は（Ｓ１０１２Ｙ）、撮像を終了する。
【００３８】
イメージセンサ１０４は、通常の撮像装置のイメージセンサの構成と同様であり、露光制御手段１０３により制御され、シャッターの開閉に合わせて入射する光を光電変換して得られた画像を相関画像算出手段１０５に出力する。従って、特許文献１のような特殊な時間相関イメージセンサを使用しないので生産コストの増加を抑えることができる。
【００３９】
イメージセンサ１０４は、高速な電子シャッターおよび高速な読み出す必要がある。通常の動画撮像用のイメージセンサが６０ｆｐｓで撮像しているが、本実施例では、１フレームをさらに分割して撮像する。１フレーム中に１周期の参照信号ｇ（ｔ）で撮影する場合、参照信号ｇ（ｔ）を再現するためには最低でも２分割して撮像する必要がある。前述のように、２０分割して変調動画像を撮像する場合には、１２００ｆｐｓでの撮像が可能なイメージセンサが必要となる。
【００４０】
相関画像算出手段１０５は、露光制御手段１０３から送られた参照信号ｇ（ｔ）および分割数を利用し、イメージセンサ１０４から１フレーム間を分割して撮像したサブフレーム画像と合わせて露光時間分のサブフレーム相関画像の総和を相関画像として出力する。
【００４１】
図６は、相関画像算出手段１０５の１フレームにおける動作を説明するためのフローチャートである。
【００４２】
まず、相関画像算出手段１０５は、露光制御手段１０３から参照信号ｇ（ｔ）および１フレーム間の分割数を取得する（Ｓ１０２２）。
【００４３】
次に、相関画像算出手段１０５は、イメージセンサ１０４からサブフレーム画像を取得する（Ｓ１０２４）。サブフレーム画像はＡＤ変換されたデジタル画像であり、γ補正等はサブフレーム画像によらず一定値であるとする。
【００４４】
次に、相関画像算出手段１０５は、１フレーム中のｎ番目の時刻ｔｎからΔｔだけ露光したサブフレーム画像Ｉｎ（ｔｎ）に対応時刻の参照信号値ｇ（ｔｎ）を掛けて時刻ｔｎにおけるサブフレーム相関画像Ｃｎ（ｔｎ）を算出する（Ｓ１０２６）。従って、この場合は、相関画像算出手段１０５はサブフレーム相関画像取得手段として機能する。
【００４５】
ここで、Ｃｎ（ｔｎ）は次式で与えられる。
【００４６】
【数３】
【００４７】
例えば、図４に示す参照信号のように１フレーム間に１周期の正弦波で分割数が２０である場合、１番目のサブフレーム画像撮像開始時刻ｔ１における参照信号値ｇ（ｔ１）は０である。これをサブフレーム画像Ｉ１（ｔ１）にかけ合わせるとサブフレーム相関画像Ｃｎ（ｔｎ）は０となる。
【００４８】
なお、ここでは、サブフレーム画像撮像開始時刻における参照信号値を用いたが、分割した微小時間内でも参照信号は変化するためこの分割数が少ない場合は参照信号値の変化が大きく好ましくない。分割数が少ない場合は、微小時間内の中間時刻における参照信号値を代表値とするのが好適である。
【００４９】
具体的には、２０分割した場合の微小時間Δｔにおける位相変化はπ／１０であるため、１フレーム中の１枚目のサブフレーム画像の場合の参照信号値ｇ（ｔ１）は、微小露光時間の中間位相π／２０における参照信号の値ｓｉｎ（π／２０）となる。分割数が十分多い場合はサブフレームの終了時刻を用いてもよく、分割数が少ない場合はΔｔ間の参照信号値の平均値を代表値としてもよい。
【００５０】
次に、相関画像算出手段１０５は、Ｓ１０２６で算出されたサブフレーム相関画像Ｃｎ（ｔｎ）を順次加算して相関画像保存用のメモリ１０７に保存する（Ｓ１０２８）。つまり、２番目のサブフレーム相関画像Ｃ２（ｔ２）が送られてくると１番目のサブフレーム相関画像Ｃ１（ｔ１）との和をとり、それを相関画像Ｃとして保存していく。
【００５１】
但し、１フレーム間のサブフレーム相関画像に対してそのまま和をとった場合、分割数（サブフレーム数）が多くなるほど総和が大きくなりオーバーフローしてしまうため、サブフレーム相関画像を所定の分割数で割って加算する。つまり、１フレーム全体における相関画像Ｃは次式で与えられる。ｎはサブフレーム数である。
【００５２】
【数４】
【００５３】
次に、相関画像算出手段１０５は、Ｓ１０２２で取得した分割数から１フレーム分の分割画像の全ての取り込みを完了したか判定し（Ｓ１０３０）、１フレーム分に達していない場合は（Ｓ１０３０のＮ）、Ｓ１０２４に戻る。
【００５４】
一方、相関画像算出手段１０５は、１フレーム分に達したら（Ｓ１０３０のＹ）、Ｓ１０２８でメモリ１０７に保存された相関画像を出力して１フレームを終了する（Ｓ１０３２）。相関画像は、サブフレーム相関画像の和がとられているため、１つの参照信号ｇ（ｔ）が入力された場合１フレームで１枚出力される。
【００５５】
前述したように、参照信号は複数あってもよく、例えば、図７に示すように、図３の正弦波信号の位相をずらした信号を用意し、同じサブフレーム画像に異なる参照信号との相関をとって相関画像出力することが可能である。
【００５６】
この場合は、入力される参照信号の種類と同数のメモリ１０７を用意して参照信号ごとに参照信号値をサブフレーム画像に掛けて、サブフレーム相関画像の和をとって保存していく。結果として参照信号の数だけ相関画像を算出して出力する。
【００５７】
なお、参照信号にｇ（ｔ）＝１を指定した場合は、通常の１フレーム間の画像（強度画像）を分割撮影したことと等価である。よって同時に通常の画像も出力可能である。
【００５８】
以上、本実施例によれば、特許文献１の特殊なイメージセンサを使用せずに、相関画像を取得することが可能となり、撮像装置のコストアップを防止することができる。
【００５９】
以下、実施例１の変形例について説明する。撮像装置の構成は図１に示すものと同様であるが、露光制御手段１０３および相関画像算出手段１０５の動作が異なる。変形例では、一定のシャッター速度で微小時間だけ露光したサブフレーム画像に参照信号をかけ合わせることと同じ効果が得られるようにシャッター速度制御して撮像を行う。この結果、参照信号の代表値によってシャッター速度が変調される。そして、得られた露光時間の異なるサブフレーム画像の和をとって１フレームにおける相関画像を算出する。
【００６０】
より具体的には、露光制御手段１０３の動作フローは図２と同様であるが、Ｓ１００４の内容が異なる。実施例１では分割数と１フレーム時間から算出された微小時間内（分割時間内）で最大の露光時間となるように決定し、一定のシャッター速度で撮像を行っていた。一方、変形例では、シャッターは微小時間内で変化するシャッター速度を有し、露光時間により露光量を変え、結果として参照信号を掛け合わせた場合と同じ信号値になるようにしている。
【００６１】
具体的には、微小露光時間で最大の露光時間になる場合を１と規格化し、参照信号も最大値が１となるよう規格化する。例えば、図４に示す参照信号を考える。分割した微小時間内でも参照信号は変化するため、この微小時間内の参照信号値を代表する代表値を決め、それをもとにシャッター速度を決定する。
【００６２】
例えば、微小時間内の中間時刻における参照信号値を代表値とすると、位相変化はπ／１０であるため、１フレーム中の１枚目のサブフレーム画像の場合の参照信号値は、微小露光時間の中間位相π／２０における参照信号の値ｓｉｎ（π／２０）となる。
【００６３】
このときのシャッター速度は、参照信号の値に比例して変化する時間、即ち、最大露光時間×ｓｉｎ（π／２０）となり、１フレーム間の各シャッター速度は、図８に示すような開閉タイミングになる。図８の縦軸と横軸は図５と同様である。参照信号値は０〜１に規格化して使用する。また、シャッター速度には限界があるので、参照信号値は最速のシャッター速度に合わせた離散的な値となる。なお、参照信号の代表値は微小時間内の参照信号値の平均値としてもよい。変形例では、露光制御手段１０３とシャッターがサブフレーム相関画像取得手段として機能する。
【００６４】
上述したように、参照信号値は複数あってもよいが、同時に複数の参照信号値のシャッター速度を実現することはできないため、順番に参照信号を選択してその時刻の信号の値からシャッター速度を決定する。
【００６５】
図９は、ｇ１（ｔ）＝１、ｇ２（ｔ）＝ｓｉｎ（ωｔ）、ｇ３（ｔ）＝ｃｏｓ（ωｔ）という３つの参照信号が入力された場合の時分割の参照信号を示している。即ち、参照信号は、少なくとも異なる２つのサブフレームに対してそれぞれ選択された異なる２つの種類の参照信号を合成することによって形成されている。
【００６６】
第１サブフレームではｇ１（ｔ）＝１（固定値）が選択され、第２サブフレームではｇ２（ｔ）＝ｓｉｎ（ωｔ）、第３サブフレームではｇ３（ｔ）＝ｃｏｓ（ωｔ）が参照信号値として選択している。これを繰り返して合成された参照信号値を実線で示している。この合成された参照信号値をシャッター速度にすると図１０に示すような開閉タイミングとなる。図１０の縦軸と横軸は図５と同様である。
【００６７】
このとき、Ｓ１０３４で制御されたイメージセンサ１０４から相関画像算出手段１０５に出力されるサブフレーム画像は、シャッター速度によって参照信号値との相関が取られており、サブフレーム画像がサブフレーム相関画像となっている。
【００６８】
図１１は、変形例における相関画像算出手段１０５の動作を説明するためのフローチャートであり、図６と同様のステップには同様の符号を付している。
【００６９】
まず、相関画像算出手段１０５は、１フレーム中の分割数を露光制御手段１０３から取得するが（Ｓ１０２２Ａ）、参照信号は取得しなくともよい。次に、相関画像算出手段１０５は、イメージセンサ１０４からサブフレーム画像を取得する（Ｓ１０２４）。Ｓ１０２４では、サブフレーム画像がサブフレーム相関画像となっているので、Ｓ１０２６は行われない。
【００７０】
次に、相関画像算出手段１０５は、Ｓ１０２４で取得するサブフレーム相関画像露光時間分の総和をとって相関画像保存用のメモリ１０７に保存する（Ｓ１０２８）。その後は、実施例１のステップＳ１０３０およびＳ１０３２と同様である。
【００７１】
以上、この変形例においても、特許文献１の特殊なイメージセンサを使用せずに、相関画像を取得することが可能となり、撮像装置のコストアップを防止することができる。
【実施例２】
【００７２】
図１２（ａ）（ｂ）は、それぞれ実施例２の撮像装置の異なる構成を示すブロック図であり、図１と同様の構成要素には同一の参照符号を付している。図１２（ａ）に示す撮像装置は、撮影光学系１０１とメカニカルシャッター１０２との間に配置され、イメージセンサ１０４に入射する入射光の光量を変化させる光量変調素子１０２を有する点で図１（ａ）に示す撮像装置と相違している。図１２（ｂ）は、図１２（ａ）においてメカニカルシャッター１０２が無い構成である点は図１（ｂ）と同様である。
【００７３】
露光制御手段１０３Ａの構成は露光制御手段１０３と同様であるが、図２に示す動作フローの一部が異なる。イメージセンサ１０４は実施例１と同様に通常の撮像装置のイメージセンサである。相関画像算出手段１０５Ａの構成は相関画像算出手段１０５と同様であるが、図６に示す動作フローの一部が異なる。
【００７４】
本実施例は、光量変調素子１０８を用いて参照信号に応じて入射光量を変調して相関画像を撮像する。
【００７５】
図１３は、露光制御手段１０３の動作を示すフローチャートであり、図２と同様のステップには同様の参照符号を付している。図１３はＳ１００５を有する点で図２と相違する。参照信号の例として図３、図４のものを使用できる点は図２と同様である。
【００７６】
図２と同様に、Ｓ１００２とＳ１００４が行った後で、露光制御手段１０３Ａは、参照信号に応じてサブフレーム毎に光量変調素子１０８に通電される電流（または電圧）を制御することによって透過する光量（変調量）を調節する（Ｓ１００５）。
【００７７】
そのためには、光量変調素子１０８の透過率（イメージセンサ１０４に入射する光量の割合）を最大の場合を１、最小の場合を０と規格化し、参照信号ｇ（ｔ）の最大値と最小値と対応付ける必要がある。参照信号ｇ（ｔ）はマイナスの値もとりうるため、参照信号値の絶対値をとった後に０〜１に規格化し、画像を保存する際にマイナス符号をつける。露光制御手段１０３Ａは、時刻ｔｎにおける参照信号ｇ（ｔｎ）の値を算出し、参照信号ｇ（ｔｎ）に対応する透過率になるように光量変調素子１０８に通電される電流（または電圧）を制御する。本実施例では、露光制御手段１０３Ａと光量変調素子１０８がサブフレーム相関画像取得手段として機能する。
【００７８】
ここで、図１４に示す規格化された参照信号を考える。１フレーム間に１周期の正弦波で分割数が２０、光量変調素子１０８の透過率をマイナスの値にすることはできないので振幅が−１〜１の正弦波の絶対値をとって０〜１に規格化している。１番目のサブフレーム画像撮像開始時刻ｔ１における参照信号値ｇ（ｔ１）は０となるので、露光制御手段１０３Ａは、光量変調素子１０８の透過率が０になるように制御する。実施例１と同様に、分割数に応じて参照信号値の代表値を設定することができる。
【００７９】
その後、図２と同様に、Ｓ１００６〜Ｓ１０１２が行われるが、このときＳ１００８で出力されるサブフレーム画像は、光量変調素子１０８により参照信号ｇ（ｔ）との相関がとられているためサブフレーム相関画像である。ｎ番目のサブフレーム相関画像をＣｎ（ｔｎ）、ｎ番目のサブフレーム間の入射光量をＩｎ（ｔ）、参照信号をｇ（ｔｎ）、シャッター開放時間をΔｔとすると、サブフレーム相関画像は次式で表される。
【００８０】
【数５】
【００８１】
図１５は、相関画像算出手段１０５Ａの１フレームにおける動作を説明するためのフローチャートであり、図６と同様のステップには同様の参照符号を付している。図１５はＳ１０２６の代わりにＳ１０２７を有する点で図６と相違する。図６と同様に、Ｓ１０２２が行われた後で、相関画像算出手段１０５Ａは、イメージセンサ１０４からサブフレーム相関画像を取得する（Ｓ１０２４）。Ｓ１０２４では、サブフレーム画像がサブフレーム相関画像となっているので、Ｓ１０２６は行われない。
【００８２】
Ｓ１００５で露光制御手段１０３Ａは参照信号ｇ（ｔ）を０〜１に規格化しているが、本来の参照信号は０〜１ではなくマイナスの値も採り得るため、取得したサブフレーム相関画像を参照信号に合わせて変換する必要がある。このため、相関画像算出手段１０５Ａは、図１１と異なり、取得されたサブフレーム相関画像を参照信号ｇ（ｔ）に合わせて変換する。
【００８３】
例えば、図１４に示す参照信号の場合は、−１〜１の信号の絶対値をとって０〜１に規格化したため、相関画像算出手段１０５Ａは、参照信号ｇ（ｔｎ）がマイナスのサブフレームの場合はサブフレーム相関画像Ｃｎ（ｔｎ）の符号を次式のように反転させる。
【００８４】
【数６】
【００８５】
次に、図６と同様に、Ｓ１０２８が行われる。この場合、図６と同様に、数式４が適用可能である。その後、Ｓ１０３０、Ｓ１０３２が行われる。
【００８６】
なお、本実施例でも、複数の参照符号が使用されてもよい。例えば、図７のように図３の正弦波信号の位相をずらした信号の場合を考える。しかし、同時に複数の参照信号値の光量変調実現することはできないため、順番に参照信号を選択してその時刻の参照信号の値から光量変調素子の透過率を決定する。
【００８７】
図１６にはｇ１（ｔ）＝１、ｇ２（ｔ）＝ｓｉｎ（ωｔ）、ｇ３（ｔ）＝ｃｏｓ（ωｔ）という３つの参照信号が入力された場合の絶対値をとった時分割の参照信号を示している。第１サブフレームではｇ１（ｔ）＝１が選択され、第２サブフレームではｇ２（ｔ）＝ｓｉｎ（ωｔ）、第３サブフレームではｇ３（ｔ）＝ｃｏｓ（ωｔ）が参照信号値として選択している。これを繰り返して合成された参照信号値を実線で示している。
【００８８】
複数の参照信号が入力される場合は、参照信号の種類と同数のメモリを用意し、同じ参照信号ごとにサブフレーム相関画像の和をとって保存していく。結果として参照信号の数だけ相関画像を算出して出力する。参照信号にｇ（ｔ）＝１を指定した場合に通常の画像を出力することができる点も実施例１と同様である。
【００８９】
以上、本実施例によれば、特許文献１の特殊なイメージセンサを使用せずに、相関画像を取得することが可能となり、撮像装置のコストアップを防止することができる。
【００９０】
なお、実施例１で説明されている参照信号の変換方法（正弦波を０〜１に規格化）は、実施例２でも使用でき、実施例２で説明されている参照信号の変換方法（正弦波の絶対値化）は実施例１でも使用できる。
【実施例３】
【００９１】
図１７（ａ）（ｂ）は、それぞれ実施例３の撮像装置の異なる構成を示すブロック図であり、図１、１２と同様の構成要素には同一の参照符号を付している。本実施例では、相関画像と同時に通常の強度画像を取得する場合や複数の種類の参照信号に応じた相関画像を取得する場合に好適な例を示す。
【００９２】
図１７（ａ）に示す撮像装置は、ビームスプリッタ（光束分割手段）１０９によって撮像光学系１０１から入射する光を互いの光量が等しくなるように（複数の種類の参照信号の数である）２つに分割する。
【００９３】
露光制御手段１０３Ｂの構成は露光制御手段１０３Ａと同様である。但し、露光制御手段１０３Ｂは、２つの参照信号に応じて２つの光量変調素子１０８を独立に制御し、それに同期して光電変換するように２つのイメージセンサ１０４とイメージセンサ１０４の電子シャッターを制御する点で露光制御手段１０３Ａと相違する。
【００９４】
実施例２では、２つの参照信号が入力された場合は時分割で参照信号の変調を行っていたが、本実施例では、参照信号の種類に応じた光量変調素子１０８およびイメージセンサ１０４があるため、同時刻に複数種類の参照信号の相関をとることができる。このため、露光制御手段１０３Ｂは、参照信号ごとに光量変調素子１０８をサブフレームに同期して制御する。また、複数のイメージセンサ１０４の電子シャッターの制御もサブフレームごとに同期して行う。露光制御手段１０３Ｂによって光量変調およびシャッター制御されて撮像された画像は相関画像算出手段１０５Ｂに出力される。
【００９５】
相関画像算出手段１０５Ｂは、相関画像算出手段１０５Ａと同様の構成を有するが、相関画像算出手段１０５Ｂに入力される画像の数と総和の方法は相違する。相関画像算出手段１０５Ａでは、１つのイメージセンサ１０４からの入力であったが相関画像算出手段１０５Ｂで２つの（複数の）イメージセンサ１０４から画像を取得する。
【００９６】
図１５に示す画像加算（Ｓ１０２８）では、相関画像算出手段１０５Ａは複数の参照信号の場合は１つの入力画像をサブフレームごとに時分割された参照信号の種類を判別して別のメモリに保存していた。これに対して、相関画像算出手段１０５Ｂではサブフレームごとに参照信号の種類に応じたサブフレーム相関画像が得られるため時分割することなく複数の入力画像を別のメモリに保存する。
【００９７】
図１６（ｂ）に示す撮像装置は、ビームスプリッタ１０９を撮像光学系１０１の光軸上に２枚配置し、入射光を３分割して（即ち、複数の種類の参照信号の数に１を加えた数だけ分割して）独立に変調して画像を取得する。
【００９８】
図１６（ｂ）では、光量変調素子１０８が２つだけ配置され、２つのイメージセンサ１０４は２つの参照信号に対する相関画像を取得する。また、２つのビームスプリッタ１０９を透過した光を受光するイメージセンサ１０４は光量変調素子を経ないで相関画像の形成に使用されない通常の強度画像（サブフレーム画像）を出力する。但し、３つのイメージセンサの前にそれぞれ光量変調素子１０８を配置してもよい。動作は上述の図１０（ａ）の動作を３種類の入力信号に拡張した場合と同様である。
【００９９】
図１６（ｂ）では、入射光を３つに分割するため、ビームスプリッタ１０９を２枚配置している。但し、３分割された光の光量を一定にするには、１枚目のビームスプリッタ１０９は１／３の入射光量を反射し、残りの２／３の入射光量を透過させ、２番目のビームスプリッタ１０９はハーフミラーとするのがよい。
【０１００】
以上、本実施例によれば、複数の光量変調素子１０８およびイメージセンサ１０４を配置することで、複数の参照信号に対する相関画像を同時に取得できる。また、１つの光量変調素子１０８およびイメージセンサ１０４を使用する場合に複数の参照信号を与えられた場合には、十分な分割数の相関画像を取得するために高速な駆動が必要であった。しかし、本実施例によれば、光量変調素子１０８およびイメージセンサ１０４の駆動速度を抑えることができる。
【０１０１】
以上、本発明の実施形態について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【０１０２】
本発明の撮像装置は、カメラなどに適用することができる。
【符号の説明】
【０１０３】
１０２…シャッター、１０３、１０３Ａ、１０３Ｂ…露光制御手段、１０４…撮像素子、１０５、１０５Ａ、１０５Ｂ…相関画像算出手段、１０８…光量変調素子
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
オプティカルフローなどの分野では物体の動き情報を取得する必要があるが、同じ露光時間に高速に複数枚の画像を取得すると記憶容量の増加と高速処理が必要となるという問題が発生する。
【０００３】
そこで、特許文献１は、光電変換された電流に対し参照信号を与え、変調された電流を時間積分して出力するイメージセンサを使用し、入射光と参照信号の時間相関を表す相関画像を提供する方法を提案している。特許文献２は、１枚の画像を取得する際にシャッターを不規則な時間系列で開閉することで符号化し、取得した符号化画像を復号することで画像のぶれを除去する方法を提案している。特許文献３は、撮影時の露出を制御する際に用いるフィルターの代わりに空間光変調素子を用いて光量を変調する方法を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３６４３２１０号公報
【特許文献２】特表２００９−５２２８２５号公報
【特許文献３】特開２００３−３４４９０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、特殊なイメージセンサを使用するため、生産コストが増加すると共に、１つのフォトダイオードに複数のコンデンサが必要となるため１画素が大きくなり高解像度化が困難になる。なお、特許文献２、３は、物体の経時的な情報を取得することには着目していない。
【０００６】
そこで、本発明は、汎用のイメージセンサを使用して高解像度な画像と被写体の経時的な情報を取得することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像光学系によって結像された光学像を光電変換する撮像素子と、露光時間を所定の分割数によって分割した複数の分割時間のいずれかにおいて、前記撮像素子から出力される画像の画素値と、露光期間中に変動する参照信号の代表値との積である相関画像を取得する相関画像取得手段と、露光時間分の前記相関画像の総和を相関画像として算出する相関画像算出手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、汎用のイメージセンサを使用して高解像度な画像と被写体の経時的な情報を取得することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の撮像装置のブロック図である。（実施例１）
【図２】図１に示す露光制御手段の動作を示すフローチャートである。（実施例１）
【図３】図１に示す露光制御手段に供給される参照信号の一例を示す図である。（実施例１）
【図４】図３に示す参照信号を時分割した図である。（実施例１）
【図５】図１に示すシャッターの開閉タイミングを説明するための図である。（実施例１）
【図６】図１に示す相関画像算出手段の動作を説明するためのフローチャートである。（実施例１）
【図７】図３に示す参照信号の別の例の図である。（実施例１）
【図８】変形例におけるシャッターの開閉タイミングを説明するための図である。（実施例１）
【図９】複数の種類の参照信号の時分割合成を示す図である。（実施例１）
【図１０】図９に対応するシャッターの開閉タイミングを説明するための図である。（実施例１）
【図１１】変形例における相関画像算出手段の動作を説明するためのフローチャートである。（実施例１）
【図１２】本発明の撮像装置のブロック図である。（実施例２）
【図１３】図１２に示す露光制御手段の動作を説明するためのフローチャートである。（実施例２）
【図１４】規格化した参照符号の図である。（実施例２）
【図１５】図１２に示す相関画像算出手段の動作を説明するためのフローチャートである。（実施例２）
【図１６】複数の参照信号の時分割合成を示す図である。（実施例２）
【図１７】本発明の撮像装置のブロック図である。（実施例３）
【発明を実施するための形態】
【００１０】
本実施形態の撮像装置は、サブフレーム相関画像を取得するサブフレーム相関画像取得手段と、撮像素子から出力を取得し、露光時間分の前記サブフレーム相関画像の総和を相関画像として算出する相関画像算出手段と、を有する。
【００１１】
ここで、サブフレーム相関画像は、露光時間を所定の分割数によって分割した複数の分割時間のいずれかにおいて、撮像素子から出力される画像の画素値と参照信号の代表値との積である。相関画像算出手段がサブフレーム相関画像取得手段として機能してもよいし、後述する露光制御手段およびシャッター／光量変調素子がサブフレーム相関画像取得手段として機能してもよい。サブフレーム相関画像は分割時間ごとに生成されなくてもよく、複数の分割時間のいずれかにおいて生成されれば足りる。
【００１２】
本実施形態では、相関画像算出手段は撮像素子から出力を受け取ってその外部で相関画像を算出し、撮像素子内では算出しないため、撮像素子に特殊なイメージセンサを使用する必要がなく、コストアップを防止することができる。
【００１３】
以下、本発明の好ましい実施例について添付図面を参照して説明する。
【実施例１】
【００１４】
図１（ａ）、（ｂ）は、それぞれ実施例１の撮像装置の異なる構成を示すブロック図である。
【００１５】
図１（ａ）において、１０１は、被写体の光学像を形成する撮像光学系であり、入射光をイメージセンサ１０４上に結像させる。１０２は、イメージセンサ１０４の露光量を決定するメカニカルシャッターで、高速にかつ異なる速度で開閉することが可能である。１０３は、シャッター速度やシャッターの開閉タイミングの制御を行う露光制御手段である。
【００１６】
イメージセンサ１０４は、光学像を光電変換する撮像素子で、メカニカルシャッター１０２の開閉に合わせて高速に画像を読み出すことが可能である。１０５は、イメージセンサ１０４からの信号から後述する相関画像を算出する相関画像算出手段である。なお、露光制御手段１０３と相関画像算出手段１０５は、プロセッサ（マイクロコンピュータ）として具現化可能である。
【００１７】
１０６は、参照信号を露光制御手段１０３に供給する参照信号供給手段であり、外部とのコネクタまたは参照信号を格納したメモリから構成される。１０７は、相関画像を保存するためのメモリ（記憶手段）である。
【００１８】
図１の（ｂ）は、図１の（ａ）に示す構成からメカニカルシャッター１０２を除いた構成を有する撮像装置のブロック図である。この場合、露光制御手段１０３はイメージセンサ１０４を制御して高速にその露光量を決定する電子シャッターを切り、図１の（ａ）の構成と同様の撮像を行うことが可能となる。
【００１９】
まず、相関画像について説明する。相関画像とは、入射光が撮像光学系１０１を通り、イメージセンサ１０４によって光電変換された通常の撮影画像と、参照信号との時間相関によって得られる画像である。
【００２０】
画素（ｉ，ｊ）におけるイメージセンサ１０４の出力である画像の画素値をｆｉ，ｊ（ｔ）、参照信号をｇ（ｔ）、１フレーム時間をＴとすると相関画像Ｉｉ，ｊ（ｔ）は次式で表される。これは露光時間（１フレーム時間）内の画素値と参照信号の積分値である。
【００２１】
【数１】
【００２２】
数式１を離散的に表すと次式のようになる。
【００２３】
【数２】
【００２４】
つまり、露光時間を更に微小な時間Δｔで分割し、ｔ＋ｎΔｔにおけるイメージセンサ１０４の出力ｆｉ，ｊ（ｔ＋ｎΔｔ）と参照信号値ｇ（ｔ＋ｎΔｔ）の積を求めることで相関画像を得ることが可能となる。ここで、露光時間を微小時間に分割して撮像した際の各画像をサブフレームとし、ｎはサブフレームの番号である。
【００２５】
動作において、物体から入射する光は、撮像光学系１０１によりシャッターが開いている間イメージセンサ１０４上に結像する。撮像光学系１０１とイメージセンサ１０４は、通常の撮像装置と同様のものを利用することが可能であるが、イメージセンサ１０４は高速な読み出しおよび高速な電子シャッターが可能なイメージセンサとする。
【００２６】
露光制御手段１０３は、参照信号に基づき撮像装置全体を制御する。図２は、露光制御手段１０３の動作を示すフローチャートである。図２において、「Ｓ」はステップの略であり、これは他のフローチャートでも同様である。
【００２７】
撮像が開始されると、まず、露光制御手段１０３は参照信号供給手段１０６から参照信号を取得する（Ｓ１００２）。参照信号は露光時間中に変動する信号であり、例えば、図３に示すような露光時間が１周期に対応する正弦波信号を使用することができる。
【００２８】
ここで、「露光時間」は、静止画においては最適な露出時間となるシャッター速度であり、動画像においては１フレーム時間（動画を構成する静止画１枚分の時間）である。動画像における１フレーム時間は、一般に、１／３０秒もしくは１／６０秒である。なお、参照信号の形状は限定されず、その数も一つに限定されない。以下、図３に示す正弦波を参照信号とし、動画像において相関画像を連続的に取得する例について説明する。
【００２９】
参照信号ｇ（ｔ）を取得すると（Ｓ１００２）、露光制御手段１０３は、参照信号ｇ(ｔ)に基づいて１フレーム時間内の分割数を決定し、サブフレームのシャッター速度を算出する（Ｓ１００４）。決定した分割数は参照信号ｇ（ｔ）の情報と共に相関画像算出手段１０５に送られる。例えば、露光制御手段１０３は、サンプリング定理よりサンプリング数が参照信号の最大周波数の２倍以上となるように分割数を設定する。なお、分割数を決定する部材は露光制御手段１０３でなくてもよく、外部から入力されてもよい。
【００３０】
参照信号ｇ（ｔ）を外部から入力する場合は、周波数が未知のため同時には分割数を決定できないため、１フレーム時間の参照信号を取得して周波数を解析し、分割数を決定するのが望ましい。よって、動画像撮像時における参照信号は、１フレーム時間内の参照信号を繰り返して入力するのが好適である。しかし、１フレーム時間ごとに異なる参照信号を入力してもよく、その場合は最大周波数に従って分割数を決めるのが良く、最大周波数を入力可能な構成にするのが望ましい。
【００３１】
次に、決定した分割数と１フレーム時間から微小時間Δｔを算出し、そこからシャッター速度を算出する。シャッター速度はΔｔ間に１回シャッターを切るような速度とし、ノイズを考慮するとその間に最大露光量となるようなシャッター速度とするのが望ましい。
【００３２】
また、シャッター速度は、分割ごとに変えるのではなく１フレーム中で一定速度とし、その速度で繰り返しシャッターを切るものとする。例えば、図４は、参照信号ｇ（ｔ）の１周期を２０分割した場合を示しており、１フレーム時間が１／６０秒であった場合、微小時間Δｔは１／１２００秒となる。シャッターのタイムラグを１／１２０００秒とすると、Δｔの間に最大露光するためのシャッター速度は３／４０００秒となる。
【００３３】
次に、露光制御手段１０３は、Ｓ１００４で決定されたシャッター速度を用い、図５に示すように一定間隔で（即ち、サブフレームの時間内で一定のシャッター速度を有するように）、メカニカルシャッター１０２の開閉を制御する（Ｓ１００６）。
【００３４】
ここで、図５は、シャッターの開閉タイミングを表す図である。図５の縦軸は不図示のシャッター駆動回路に供給される電圧値、横軸は時間で、立ち上がりでシャッターが開口し、立ち下りでシャッターが閉口し、パルス幅がシャッター速度に対応する。図１（ｂ）の場合は、イメージセンサ１０４の電子シャッターを制御する。
【００３５】
次に、露光制御手段１０３は、シャッターと同期して入射光を光電変換するようにイメージセンサ１０４を制御し、露光されたサブフレーム画像を相関画像算出手段１０５に出力させる（Ｓ１００８）。
【００３６】
次に、露光制御手段１０３は、所定の分割数に基づいて１フレーム時間の撮像が終了したかを判定する（Ｓ１０１０）。終了していない場合は（Ｓ１０１０のＮ）、ステップＳ１００６に戻り、シャッターおよびイメージセンサ１０４を制御して撮像を行い、終了した場合は（Ｓ１０１０のＹ）、１フレームを終了する。
【００３７】
次に、露光制御手段１０３は、撮像の終了判定を行い（Ｓ１０１２）、撮像が続行される場合は（Ｓ１０１２のＮ）、Ｓ１００６に戻って処理を繰り返し、撮像終了の場合は（Ｓ１０１２Ｙ）、撮像を終了する。
【００３８】
イメージセンサ１０４は、通常の撮像装置のイメージセンサの構成と同様であり、露光制御手段１０３により制御され、シャッターの開閉に合わせて入射する光を光電変換して得られた画像を相関画像算出手段１０５に出力する。従って、特許文献１のような特殊な時間相関イメージセンサを使用しないので生産コストの増加を抑えることができる。
【００３９】
イメージセンサ１０４は、高速な電子シャッターおよび高速な読み出す必要がある。通常の動画撮像用のイメージセンサが６０ｆｐｓで撮像しているが、本実施例では、１フレームをさらに分割して撮像する。１フレーム中に１周期の参照信号ｇ（ｔ）で撮影する場合、参照信号ｇ（ｔ）を再現するためには最低でも２分割して撮像する必要がある。前述のように、２０分割して変調動画像を撮像する場合には、１２００ｆｐｓでの撮像が可能なイメージセンサが必要となる。
【００４０】
相関画像算出手段１０５は、露光制御手段１０３から送られた参照信号ｇ（ｔ）および分割数を利用し、イメージセンサ１０４から１フレーム間を分割して撮像したサブフレーム画像と合わせて露光時間分のサブフレーム相関画像の総和を相関画像として出力する。
【００４１】
図６は、相関画像算出手段１０５の１フレームにおける動作を説明するためのフローチャートである。
【００４２】
まず、相関画像算出手段１０５は、露光制御手段１０３から参照信号ｇ（ｔ）および１フレーム間の分割数を取得する（Ｓ１０２２）。
【００４３】
次に、相関画像算出手段１０５は、イメージセンサ１０４からサブフレーム画像を取得する（Ｓ１０２４）。サブフレーム画像はＡＤ変換されたデジタル画像であり、γ補正等はサブフレーム画像によらず一定値であるとする。
【００４４】
次に、相関画像算出手段１０５は、１フレーム中のｎ番目の時刻ｔｎからΔｔだけ露光したサブフレーム画像Ｉｎ（ｔｎ）に対応時刻の参照信号値ｇ（ｔｎ）を掛けて時刻ｔｎにおけるサブフレーム相関画像Ｃｎ（ｔｎ）を算出する（Ｓ１０２６）。従って、この場合は、相関画像算出手段１０５はサブフレーム相関画像取得手段として機能する。
【００４５】
ここで、Ｃｎ（ｔｎ）は次式で与えられる。
【００４６】
【数３】
【００４７】
例えば、図４に示す参照信号のように１フレーム間に１周期の正弦波で分割数が２０である場合、１番目のサブフレーム画像撮像開始時刻ｔ１における参照信号値ｇ（ｔ１）は０である。これをサブフレーム画像Ｉ１（ｔ１）にかけ合わせるとサブフレーム相関画像Ｃｎ（ｔｎ）は０となる。
【００４８】
なお、ここでは、サブフレーム画像撮像開始時刻における参照信号値を用いたが、分割した微小時間内でも参照信号は変化するためこの分割数が少ない場合は参照信号値の変化が大きく好ましくない。分割数が少ない場合は、微小時間内の中間時刻における参照信号値を代表値とするのが好適である。
【００４９】
具体的には、２０分割した場合の微小時間Δｔにおける位相変化はπ／１０であるため、１フレーム中の１枚目のサブフレーム画像の場合の参照信号値ｇ（ｔ１）は、微小露光時間の中間位相π／２０における参照信号の値ｓｉｎ（π／２０）となる。分割数が十分多い場合はサブフレームの終了時刻を用いてもよく、分割数が少ない場合はΔｔ間の参照信号値の平均値を代表値としてもよい。
【００５０】
次に、相関画像算出手段１０５は、Ｓ１０２６で算出されたサブフレーム相関画像Ｃｎ（ｔｎ）を順次加算して相関画像保存用のメモリ１０７に保存する（Ｓ１０２８）。つまり、２番目のサブフレーム相関画像Ｃ２（ｔ２）が送られてくると１番目のサブフレーム相関画像Ｃ１（ｔ１）との和をとり、それを相関画像Ｃとして保存していく。
【００５１】
但し、１フレーム間のサブフレーム相関画像に対してそのまま和をとった場合、分割数（サブフレーム数）が多くなるほど総和が大きくなりオーバーフローしてしまうため、サブフレーム相関画像を所定の分割数で割って加算する。つまり、１フレーム全体における相関画像Ｃは次式で与えられる。ｎはサブフレーム数である。
【００５２】
【数４】
【００５３】
次に、相関画像算出手段１０５は、Ｓ１０２２で取得した分割数から１フレーム分の分割画像の全ての取り込みを完了したか判定し（Ｓ１０３０）、１フレーム分に達していない場合は（Ｓ１０３０のＮ）、Ｓ１０２４に戻る。
【００５４】
一方、相関画像算出手段１０５は、１フレーム分に達したら（Ｓ１０３０のＹ）、Ｓ１０２８でメモリ１０７に保存された相関画像を出力して１フレームを終了する（Ｓ１０３２）。相関画像は、サブフレーム相関画像の和がとられているため、１つの参照信号ｇ（ｔ）が入力された場合１フレームで１枚出力される。
【００５５】
前述したように、参照信号は複数あってもよく、例えば、図７に示すように、図３の正弦波信号の位相をずらした信号を用意し、同じサブフレーム画像に異なる参照信号との相関をとって相関画像出力することが可能である。
【００５６】
この場合は、入力される参照信号の種類と同数のメモリ１０７を用意して参照信号ごとに参照信号値をサブフレーム画像に掛けて、サブフレーム相関画像の和をとって保存していく。結果として参照信号の数だけ相関画像を算出して出力する。
【００５７】
なお、参照信号にｇ（ｔ）＝１を指定した場合は、通常の１フレーム間の画像（強度画像）を分割撮影したことと等価である。よって同時に通常の画像も出力可能である。
【００５８】
以上、本実施例によれば、特許文献１の特殊なイメージセンサを使用せずに、相関画像を取得することが可能となり、撮像装置のコストアップを防止することができる。
【００５９】
以下、実施例１の変形例について説明する。撮像装置の構成は図１に示すものと同様であるが、露光制御手段１０３および相関画像算出手段１０５の動作が異なる。変形例では、一定のシャッター速度で微小時間だけ露光したサブフレーム画像に参照信号をかけ合わせることと同じ効果が得られるようにシャッター速度制御して撮像を行う。この結果、参照信号の代表値によってシャッター速度が変調される。そして、得られた露光時間の異なるサブフレーム画像の和をとって１フレームにおける相関画像を算出する。
【００６０】
より具体的には、露光制御手段１０３の動作フローは図２と同様であるが、Ｓ１００４の内容が異なる。実施例１では分割数と１フレーム時間から算出された微小時間内（分割時間内）で最大の露光時間となるように決定し、一定のシャッター速度で撮像を行っていた。一方、変形例では、シャッターは微小時間内で変化するシャッター速度を有し、露光時間により露光量を変え、結果として参照信号を掛け合わせた場合と同じ信号値になるようにしている。
【００６１】
具体的には、微小露光時間で最大の露光時間になる場合を１と規格化し、参照信号も最大値が１となるよう規格化する。例えば、図４に示す参照信号を考える。分割した微小時間内でも参照信号は変化するため、この微小時間内の参照信号値を代表する代表値を決め、それをもとにシャッター速度を決定する。
【００６２】
例えば、微小時間内の中間時刻における参照信号値を代表値とすると、位相変化はπ／１０であるため、１フレーム中の１枚目のサブフレーム画像の場合の参照信号値は、微小露光時間の中間位相π／２０における参照信号の値ｓｉｎ（π／２０）となる。
【００６３】
このときのシャッター速度は、参照信号の値に比例して変化する時間、即ち、最大露光時間×ｓｉｎ（π／２０）となり、１フレーム間の各シャッター速度は、図８に示すような開閉タイミングになる。図８の縦軸と横軸は図５と同様である。参照信号値は０〜１に規格化して使用する。また、シャッター速度には限界があるので、参照信号値は最速のシャッター速度に合わせた離散的な値となる。なお、参照信号の代表値は微小時間内の参照信号値の平均値としてもよい。変形例では、露光制御手段１０３とシャッターがサブフレーム相関画像取得手段として機能する。
【００６４】
上述したように、参照信号値は複数あってもよいが、同時に複数の参照信号値のシャッター速度を実現することはできないため、順番に参照信号を選択してその時刻の信号の値からシャッター速度を決定する。
【００６５】
図９は、ｇ１（ｔ）＝１、ｇ２（ｔ）＝ｓｉｎ（ωｔ）、ｇ３（ｔ）＝ｃｏｓ（ωｔ）という３つの参照信号が入力された場合の時分割の参照信号を示している。即ち、参照信号は、少なくとも異なる２つのサブフレームに対してそれぞれ選択された異なる２つの種類の参照信号を合成することによって形成されている。
【００６６】
第１サブフレームではｇ１（ｔ）＝１（固定値）が選択され、第２サブフレームではｇ２（ｔ）＝ｓｉｎ（ωｔ）、第３サブフレームではｇ３（ｔ）＝ｃｏｓ（ωｔ）が参照信号値として選択している。これを繰り返して合成された参照信号値を実線で示している。この合成された参照信号値をシャッター速度にすると図１０に示すような開閉タイミングとなる。図１０の縦軸と横軸は図５と同様である。
【００６７】
このとき、Ｓ１０３４で制御されたイメージセンサ１０４から相関画像算出手段１０５に出力されるサブフレーム画像は、シャッター速度によって参照信号値との相関が取られており、サブフレーム画像がサブフレーム相関画像となっている。
【００６８】
図１１は、変形例における相関画像算出手段１０５の動作を説明するためのフローチャートであり、図６と同様のステップには同様の符号を付している。
【００６９】
まず、相関画像算出手段１０５は、１フレーム中の分割数を露光制御手段１０３から取得するが（Ｓ１０２２Ａ）、参照信号は取得しなくともよい。次に、相関画像算出手段１０５は、イメージセンサ１０４からサブフレーム画像を取得する（Ｓ１０２４）。Ｓ１０２４では、サブフレーム画像がサブフレーム相関画像となっているので、Ｓ１０２６は行われない。
【００７０】
次に、相関画像算出手段１０５は、Ｓ１０２４で取得するサブフレーム相関画像露光時間分の総和をとって相関画像保存用のメモリ１０７に保存する（Ｓ１０２８）。その後は、実施例１のステップＳ１０３０およびＳ１０３２と同様である。
【００７１】
以上、この変形例においても、特許文献１の特殊なイメージセンサを使用せずに、相関画像を取得することが可能となり、撮像装置のコストアップを防止することができる。
【実施例２】
【００７２】
図１２（ａ）（ｂ）は、それぞれ実施例２の撮像装置の異なる構成を示すブロック図であり、図１と同様の構成要素には同一の参照符号を付している。図１２（ａ）に示す撮像装置は、撮影光学系１０１とメカニカルシャッター１０２との間に配置され、イメージセンサ１０４に入射する入射光の光量を変化させる光量変調素子１０２を有する点で図１（ａ）に示す撮像装置と相違している。図１２（ｂ）は、図１２（ａ）においてメカニカルシャッター１０２が無い構成である点は図１（ｂ）と同様である。
【００７３】
露光制御手段１０３Ａの構成は露光制御手段１０３と同様であるが、図２に示す動作フローの一部が異なる。イメージセンサ１０４は実施例１と同様に通常の撮像装置のイメージセンサである。相関画像算出手段１０５Ａの構成は相関画像算出手段１０５と同様であるが、図６に示す動作フローの一部が異なる。
【００７４】
本実施例は、光量変調素子１０８を用いて参照信号に応じて入射光量を変調して相関画像を撮像する。
【００７５】
図１３は、露光制御手段１０３の動作を示すフローチャートであり、図２と同様のステップには同様の参照符号を付している。図１３はＳ１００５を有する点で図２と相違する。参照信号の例として図３、図４のものを使用できる点は図２と同様である。
【００７６】
図２と同様に、Ｓ１００２とＳ１００４が行った後で、露光制御手段１０３Ａは、参照信号に応じてサブフレーム毎に光量変調素子１０８に通電される電流（または電圧）を制御することによって透過する光量（変調量）を調節する（Ｓ１００５）。
【００７７】
そのためには、光量変調素子１０８の透過率（イメージセンサ１０４に入射する光量の割合）を最大の場合を１、最小の場合を０と規格化し、参照信号ｇ（ｔ）の最大値と最小値と対応付ける必要がある。参照信号ｇ（ｔ）はマイナスの値もとりうるため、参照信号値の絶対値をとった後に０〜１に規格化し、画像を保存する際にマイナス符号をつける。露光制御手段１０３Ａは、時刻ｔｎにおける参照信号ｇ（ｔｎ）の値を算出し、参照信号ｇ（ｔｎ）に対応する透過率になるように光量変調素子１０８に通電される電流（または電圧）を制御する。本実施例では、露光制御手段１０３Ａと光量変調素子１０８がサブフレーム相関画像取得手段として機能する。
【００７８】
ここで、図１４に示す規格化された参照信号を考える。１フレーム間に１周期の正弦波で分割数が２０、光量変調素子１０８の透過率をマイナスの値にすることはできないので振幅が−１〜１の正弦波の絶対値をとって０〜１に規格化している。１番目のサブフレーム画像撮像開始時刻ｔ１における参照信号値ｇ（ｔ１）は０となるので、露光制御手段１０３Ａは、光量変調素子１０８の透過率が０になるように制御する。実施例１と同様に、分割数に応じて参照信号値の代表値を設定することができる。
【００７９】
その後、図２と同様に、Ｓ１００６〜Ｓ１０１２が行われるが、このときＳ１００８で出力されるサブフレーム画像は、光量変調素子１０８により参照信号ｇ（ｔ）との相関がとられているためサブフレーム相関画像である。ｎ番目のサブフレーム相関画像をＣｎ（ｔｎ）、ｎ番目のサブフレーム間の入射光量をＩｎ（ｔ）、参照信号をｇ（ｔｎ）、シャッター開放時間をΔｔとすると、サブフレーム相関画像は次式で表される。
【００８０】
【数５】
【００８１】
図１５は、相関画像算出手段１０５Ａの１フレームにおける動作を説明するためのフローチャートであり、図６と同様のステップには同様の参照符号を付している。図１５はＳ１０２６の代わりにＳ１０２７を有する点で図６と相違する。図６と同様に、Ｓ１０２２が行われた後で、相関画像算出手段１０５Ａは、イメージセンサ１０４からサブフレーム相関画像を取得する（Ｓ１０２４）。Ｓ１０２４では、サブフレーム画像がサブフレーム相関画像となっているので、Ｓ１０２６は行われない。
【００８２】
Ｓ１００５で露光制御手段１０３Ａは参照信号ｇ（ｔ）を０〜１に規格化しているが、本来の参照信号は０〜１ではなくマイナスの値も採り得るため、取得したサブフレーム相関画像を参照信号に合わせて変換する必要がある。このため、相関画像算出手段１０５Ａは、図１１と異なり、取得されたサブフレーム相関画像を参照信号ｇ（ｔ）に合わせて変換する。
【００８３】
例えば、図１４に示す参照信号の場合は、−１〜１の信号の絶対値をとって０〜１に規格化したため、相関画像算出手段１０５Ａは、参照信号ｇ（ｔｎ）がマイナスのサブフレームの場合はサブフレーム相関画像Ｃｎ（ｔｎ）の符号を次式のように反転させる。
【００８４】
【数６】
【００８５】
次に、図６と同様に、Ｓ１０２８が行われる。この場合、図６と同様に、数式４が適用可能である。その後、Ｓ１０３０、Ｓ１０３２が行われる。
【００８６】
なお、本実施例でも、複数の参照符号が使用されてもよい。例えば、図７のように図３の正弦波信号の位相をずらした信号の場合を考える。しかし、同時に複数の参照信号値の光量変調実現することはできないため、順番に参照信号を選択してその時刻の参照信号の値から光量変調素子の透過率を決定する。
【００８７】
図１６にはｇ１（ｔ）＝１、ｇ２（ｔ）＝ｓｉｎ（ωｔ）、ｇ３（ｔ）＝ｃｏｓ（ωｔ）という３つの参照信号が入力された場合の絶対値をとった時分割の参照信号を示している。第１サブフレームではｇ１（ｔ）＝１が選択され、第２サブフレームではｇ２（ｔ）＝ｓｉｎ（ωｔ）、第３サブフレームではｇ３（ｔ）＝ｃｏｓ（ωｔ）が参照信号値として選択している。これを繰り返して合成された参照信号値を実線で示している。
【００８８】
複数の参照信号が入力される場合は、参照信号の種類と同数のメモリを用意し、同じ参照信号ごとにサブフレーム相関画像の和をとって保存していく。結果として参照信号の数だけ相関画像を算出して出力する。参照信号にｇ（ｔ）＝１を指定した場合に通常の画像を出力することができる点も実施例１と同様である。
【００８９】
以上、本実施例によれば、特許文献１の特殊なイメージセンサを使用せずに、相関画像を取得することが可能となり、撮像装置のコストアップを防止することができる。
【００９０】
なお、実施例１で説明されている参照信号の変換方法（正弦波を０〜１に規格化）は、実施例２でも使用でき、実施例２で説明されている参照信号の変換方法（正弦波の絶対値化）は実施例１でも使用できる。
【実施例３】
【００９１】
図１７（ａ）（ｂ）は、それぞれ実施例３の撮像装置の異なる構成を示すブロック図であり、図１、１２と同様の構成要素には同一の参照符号を付している。本実施例では、相関画像と同時に通常の強度画像を取得する場合や複数の種類の参照信号に応じた相関画像を取得する場合に好適な例を示す。
【００９２】
図１７（ａ）に示す撮像装置は、ビームスプリッタ（光束分割手段）１０９によって撮像光学系１０１から入射する光を互いの光量が等しくなるように（複数の種類の参照信号の数である）２つに分割する。
【００９３】
露光制御手段１０３Ｂの構成は露光制御手段１０３Ａと同様である。但し、露光制御手段１０３Ｂは、２つの参照信号に応じて２つの光量変調素子１０８を独立に制御し、それに同期して光電変換するように２つのイメージセンサ１０４とイメージセンサ１０４の電子シャッターを制御する点で露光制御手段１０３Ａと相違する。
【００９４】
実施例２では、２つの参照信号が入力された場合は時分割で参照信号の変調を行っていたが、本実施例では、参照信号の種類に応じた光量変調素子１０８およびイメージセンサ１０４があるため、同時刻に複数種類の参照信号の相関をとることができる。このため、露光制御手段１０３Ｂは、参照信号ごとに光量変調素子１０８をサブフレームに同期して制御する。また、複数のイメージセンサ１０４の電子シャッターの制御もサブフレームごとに同期して行う。露光制御手段１０３Ｂによって光量変調およびシャッター制御されて撮像された画像は相関画像算出手段１０５Ｂに出力される。
【００９５】
相関画像算出手段１０５Ｂは、相関画像算出手段１０５Ａと同様の構成を有するが、相関画像算出手段１０５Ｂに入力される画像の数と総和の方法は相違する。相関画像算出手段１０５Ａでは、１つのイメージセンサ１０４からの入力であったが相関画像算出手段１０５Ｂで２つの（複数の）イメージセンサ１０４から画像を取得する。
【００９６】
図１５に示す画像加算（Ｓ１０２８）では、相関画像算出手段１０５Ａは複数の参照信号の場合は１つの入力画像をサブフレームごとに時分割された参照信号の種類を判別して別のメモリに保存していた。これに対して、相関画像算出手段１０５Ｂではサブフレームごとに参照信号の種類に応じたサブフレーム相関画像が得られるため時分割することなく複数の入力画像を別のメモリに保存する。
【００９７】
図１６（ｂ）に示す撮像装置は、ビームスプリッタ１０９を撮像光学系１０１の光軸上に２枚配置し、入射光を３分割して（即ち、複数の種類の参照信号の数に１を加えた数だけ分割して）独立に変調して画像を取得する。
【００９８】
図１６（ｂ）では、光量変調素子１０８が２つだけ配置され、２つのイメージセンサ１０４は２つの参照信号に対する相関画像を取得する。また、２つのビームスプリッタ１０９を透過した光を受光するイメージセンサ１０４は光量変調素子を経ないで相関画像の形成に使用されない通常の強度画像（サブフレーム画像）を出力する。但し、３つのイメージセンサの前にそれぞれ光量変調素子１０８を配置してもよい。動作は上述の図１０（ａ）の動作を３種類の入力信号に拡張した場合と同様である。
【００９９】
図１６（ｂ）では、入射光を３つに分割するため、ビームスプリッタ１０９を２枚配置している。但し、３分割された光の光量を一定にするには、１枚目のビームスプリッタ１０９は１／３の入射光量を反射し、残りの２／３の入射光量を透過させ、２番目のビームスプリッタ１０９はハーフミラーとするのがよい。
【０１００】
以上、本実施例によれば、複数の光量変調素子１０８およびイメージセンサ１０４を配置することで、複数の参照信号に対する相関画像を同時に取得できる。また、１つの光量変調素子１０８およびイメージセンサ１０４を使用する場合に複数の参照信号を与えられた場合には、十分な分割数の相関画像を取得するために高速な駆動が必要であった。しかし、本実施例によれば、光量変調素子１０８およびイメージセンサ１０４の駆動速度を抑えることができる。
【０１０１】
以上、本発明の実施形態について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【０１０２】
本発明の撮像装置は、カメラなどに適用することができる。
【符号の説明】
【０１０３】
１０２…シャッター、１０３、１０３Ａ、１０３Ｂ…露光制御手段、１０４…撮像素子、１０５、１０５Ａ、１０５Ｂ…相関画像算出手段、１０８…光量変調素子
【特許請求の範囲】
【請求項１】
撮像光学系によって結像された光学像を光電変換する撮像素子と、
露光時間を所定の分割数によって分割した複数の分割時間のいずれかにおいて、前記撮像素子から出力される画像の画素値と、露光時間中に変動する参照信号の代表値との積を取得する相関画像取得手段と、
前記撮像素子から出力を取得し、露光時間分の前記積の総和を相関画像として算出する相関画像算出手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記相関画像算出手段は、前記積を前記所定の分割数で割って総和を求めることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子の露光量を決定するシャッターと、
分割時間内で一定のシャッター速度を有するように前記シャッターの開閉を制御すると共に、前記シャッターの開閉に同期して光電変換するように前記撮像素子を制御する露光制御手段と、
を更に有し、
前記相関画像算出手段は前記相関画像取得手段として機能することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像素子の露光量を決定するシャッターと、
前記参照信号の前記代表値によって変調されたシャッター速度を有するように前記シャッターの開閉を制御すると共に、前記シャッターの開閉に同期して光電変換するように前記撮像素子を制御する露光制御手段と、
を更に有し、
前記撮像素子が出力する前記画像は前記積であり、前記露光制御手段と前記シャッターは前記相関画像取得手段として機能することを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記撮像素子に入射する入射光の光量を変化させる光量変調素子と、
前記光量変調素子を経た前記入射光の光量の割合を０から１で規格化し、前記参照信号を規格化し、規格化された前記参照信号の前記代表値によって前記入射光の光量の割合が変調されるように前記光量変調素子を制御する露光制御手段と、
を更に有し、
前記撮像素子が出力する前記画像は前記積であり、前記露光制御手段と前記光量変調素子は前記相関画像取得手段として機能することを特徴とする請求項１または２に記載の撮像装置。
【請求項６】
前記規格化された参照信号は前記参照信号の絶対値をとった信号であって、かつ、該絶対値をとった信号の最大値が１になるように規格化されており、
前記相関画像算出手段は、前記相関画像を算出する際に、前記規格化された参照符号のマイナスに対応する前記積の符号を反転させることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記相関画像取得手段は、複数の種類の参照信号のそれぞれに対して前記積を取得し、
前記相関画像算出手段は、前記複数の種類の参照信号のそれぞれに対して前記相関画像を算出することを特徴とする請求項１または２に記載の撮像装置。
【請求項８】
複数の種類の参照信号の数だけ入射光を分割する光束分割手段と、
前記複数の種類の参照信号の数に対応する複数の撮像素子に対応し、それぞれが対応する撮像素子に入射する入射光の光量を変化させる複数の光量変調素子と、
前記光量変調素子を経た前記入射光の光量の割合を０から１で規格化し、前記参照信号の絶対値をとった信号を０から１で規格化し、規格化された前記参照信号の前記代表値によって前記入射光の光量の割合が変調されるように前記光量変調素子を制御する露光制御手段と、
を更に有し、
各撮像素子が出力する前記画像は前記積であり、前記露光制御手段と前記光量変調素子は前記相関画像取得手段として機能し、
前記相関画像算出手段は、前記複数の撮像素子から出力を取得し、前記相関画像を算出する際に、前記規格化された参照符号のマイナスに対応する前記積の符号を反転させることを特徴とする請求項１または２に記載の撮像装置。
【請求項９】
前記光束分割手段は前記複数の種類の参照信号の数に１を加えた数だけ入射光を分割し、
前記複数の種類の参照信号の数に１を加えた数に対応する複数の撮像素子が設けられ、
前記光量変調素子と経ずに入射光が入射した撮像素子からは前記相関画像の形成に使用されない前記積が出力されることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記参照信号は、正弦波であることを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記参照信号は、複数の異なる位相の正弦波であることを特徴とする請求項７乃至９のうちいずれか１項に記載の撮像装置。
【請求項１２】
前記参照信号は、複数の異なる位相の正弦波を合成した信号であることを特徴とする請求項７乃至９のうちいずれか１項に記載の撮像装置。
【請求項１３】
前記参照信号は、正弦波と固定値を合成した信号であることを特徴とする請求項７乃至９のうちいずれか１項に記載の撮像装置。
【請求項１】
撮像光学系によって結像された光学像を光電変換する撮像素子と、
露光時間を所定の分割数によって分割した複数の分割時間のいずれかにおいて、前記撮像素子から出力される画像の画素値と、露光時間中に変動する参照信号の代表値との積を取得する相関画像取得手段と、
前記撮像素子から出力を取得し、露光時間分の前記積の総和を相関画像として算出する相関画像算出手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記相関画像算出手段は、前記積を前記所定の分割数で割って総和を求めることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子の露光量を決定するシャッターと、
分割時間内で一定のシャッター速度を有するように前記シャッターの開閉を制御すると共に、前記シャッターの開閉に同期して光電変換するように前記撮像素子を制御する露光制御手段と、
を更に有し、
前記相関画像算出手段は前記相関画像取得手段として機能することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像素子の露光量を決定するシャッターと、
前記参照信号の前記代表値によって変調されたシャッター速度を有するように前記シャッターの開閉を制御すると共に、前記シャッターの開閉に同期して光電変換するように前記撮像素子を制御する露光制御手段と、
を更に有し、
前記撮像素子が出力する前記画像は前記積であり、前記露光制御手段と前記シャッターは前記相関画像取得手段として機能することを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記撮像素子に入射する入射光の光量を変化させる光量変調素子と、
前記光量変調素子を経た前記入射光の光量の割合を０から１で規格化し、前記参照信号を規格化し、規格化された前記参照信号の前記代表値によって前記入射光の光量の割合が変調されるように前記光量変調素子を制御する露光制御手段と、
を更に有し、
前記撮像素子が出力する前記画像は前記積であり、前記露光制御手段と前記光量変調素子は前記相関画像取得手段として機能することを特徴とする請求項１または２に記載の撮像装置。
【請求項６】
前記規格化された参照信号は前記参照信号の絶対値をとった信号であって、かつ、該絶対値をとった信号の最大値が１になるように規格化されており、
前記相関画像算出手段は、前記相関画像を算出する際に、前記規格化された参照符号のマイナスに対応する前記積の符号を反転させることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記相関画像取得手段は、複数の種類の参照信号のそれぞれに対して前記積を取得し、
前記相関画像算出手段は、前記複数の種類の参照信号のそれぞれに対して前記相関画像を算出することを特徴とする請求項１または２に記載の撮像装置。
【請求項８】
複数の種類の参照信号の数だけ入射光を分割する光束分割手段と、
前記複数の種類の参照信号の数に対応する複数の撮像素子に対応し、それぞれが対応する撮像素子に入射する入射光の光量を変化させる複数の光量変調素子と、
前記光量変調素子を経た前記入射光の光量の割合を０から１で規格化し、前記参照信号の絶対値をとった信号を０から１で規格化し、規格化された前記参照信号の前記代表値によって前記入射光の光量の割合が変調されるように前記光量変調素子を制御する露光制御手段と、
を更に有し、
各撮像素子が出力する前記画像は前記積であり、前記露光制御手段と前記光量変調素子は前記相関画像取得手段として機能し、
前記相関画像算出手段は、前記複数の撮像素子から出力を取得し、前記相関画像を算出する際に、前記規格化された参照符号のマイナスに対応する前記積の符号を反転させることを特徴とする請求項１または２に記載の撮像装置。
【請求項９】
前記光束分割手段は前記複数の種類の参照信号の数に１を加えた数だけ入射光を分割し、
前記複数の種類の参照信号の数に１を加えた数に対応する複数の撮像素子が設けられ、
前記光量変調素子と経ずに入射光が入射した撮像素子からは前記相関画像の形成に使用されない前記積が出力されることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記参照信号は、正弦波であることを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記参照信号は、複数の異なる位相の正弦波であることを特徴とする請求項７乃至９のうちいずれか１項に記載の撮像装置。
【請求項１２】
前記参照信号は、複数の異なる位相の正弦波を合成した信号であることを特徴とする請求項７乃至９のうちいずれか１項に記載の撮像装置。
【請求項１３】
前記参照信号は、正弦波と固定値を合成した信号であることを特徴とする請求項７乃至９のうちいずれか１項に記載の撮像装置。
【図２】
【図６】
【図１１】
【図１５】
【図１】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１６】
【図１７】
【図６】
【図１１】
【図１５】
【図１】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１６】
【図１７】
【公開番号】特開２０１３−６２５８２（Ｐ２０１３−６２５８２Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−１９８１９４（Ｐ２０１１−１９８１９４）
【出願日】平成２３年９月１２日（２０１１．９．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１２日（２０１１．９．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]