立体画像撮像位置調整装置、立体画像撮像位置調整方法およびそのプログラムならびに立体画像撮影システム
【課題】２つの撮像素子で取得されるそれぞれの撮影画像の空間的な相対位置を半画素ずらす処理を撮影中であっても行うことができる技術を提供する。
【解決手段】立体画像撮像位置調整装置３は、レンズアレイの位置を示す位置検出用パターンと被写体とを共に、撮像装置に備えられた２つの撮像素子１１によって撮像することで取得された各画像から位置検出用パターンの画像を抽出する画像抽出手段３３１と、抽出された位置検出用パターンの画像が互いに半画素ずれているか否かを判別する画素ずれ判別手段３４１と、半画素ずれていない場合に、位置検出用パターンの画像が互いに半画素ずれるように撮像素子１１の位置をシフトするための移動量を算出する移動量算出手段３４２と、算出された移動量に基づいて、撮像素子１１を移動させる撮像素子移動手段１２に駆動信号を出力する駆動制御手段３５１とを備える。
【解決手段】立体画像撮像位置調整装置３は、レンズアレイの位置を示す位置検出用パターンと被写体とを共に、撮像装置に備えられた２つの撮像素子１１によって撮像することで取得された各画像から位置検出用パターンの画像を抽出する画像抽出手段３３１と、抽出された位置検出用パターンの画像が互いに半画素ずれているか否かを判別する画素ずれ判別手段３４１と、半画素ずれていない場合に、位置検出用パターンの画像が互いに半画素ずれるように撮像素子１１の位置をシフトするための移動量を算出する移動量算出手段３４２と、算出された移動量に基づいて、撮像素子１１を移動させる撮像素子移動手段１２に駆動信号を出力する駆動制御手段３５１とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の立体情報を取得する立体画像撮影装置に係り、特に被写体を撮影する際に撮像素子の位置を調整する技術に関する。
【背景技術】
【０００２】
一般に、レンズアレイ（微小な光学素子アレイ）や空間フィルタ（微小な開口アレイ）を通して被写体の立体情報を取得する手法、いわゆるインテグラルフォトグラフィ（Integral Photography）方式（以下、ＩＰ方式という）の立体画像撮影装置が知られている。この立体画像撮影装置で取得された画像を再生する立体画像表示装置を用いると、任意の視点から自由に立体像（立体再生像）を見ることが可能な立体テレビジョン方式を実現することができる。
【０００３】
ｌＰ方式に基づいてレンズアレイを用いて行う通常の立体画像撮影について図１６を参照して説明する。図１６は、従来のｌＰ方式による立体画像の撮影および再生を模式的に示す説明図であり、（ａ）は立体画像撮影装置、（ｂ）は立体画像表示装置をそれぞれ示している。図１６（ａ）に示すように、立体画像撮影装置１００は、レンズ群（レンズアレイ）１０１と、撮像板１０２とを備えている。レンズ群１０１は、同一平面上に配置された複数のレンズ（凸レンズ）Ｌからなる。撮像板１０２は、基板上に配設された複数の撮像素子を備えて構成された情報取得デバイスである。各撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）撮像素子である。また、図１６（ｂ）に示すように、立体画像表示装置２００は、レンズ群２０１と、表示素子２０２とを備えている。レンズ群２０１は、同一平面上に配置された複数のレンズ（凸レンズ）Ｌ′からなる。表示素子２０２は、例えば液晶パネル等の情報表示デバイスから構成されている。
【０００４】
図１６（ａ）に示した立体画像撮影装置１００は、矢印で示す撮影方向１４１からレンズ群１０１を介して被写体１２１，１２２を撮影する。ここで、撮影方向１４１は、立体画像撮影装置１００がレンズ群１０１の前方（図１６（ａ）では左方）に配置された被写体１２１，１２２を撮影する方向である。このとき、レンズ群１０１の後方（図１６（ａ）では右方）の撮像板１０２には、レンズ群１０１を構成するレンズＬの個数と同じ個数だけ被写体１２１，１２２の像、例えば、像１６１，１６２等が結像する。
【０００５】
図１６（ｂ）に示した立体画像表示装置２００は、立体画像撮影装置１００によって取得された像２６１，２６２を表示素子２０２に表示する。ここで、奥行きが反転してしまう逆視像を回避するために、像２６１，２６２は、立体画像撮影装置１００のレンズ群１０１を構成する各レンズＬで結像される像１６１，１６２を点対称の位置に変換したものである。この立体画像表示装置２００において、表示素子２０２は、撮影時に撮像板１０２を配置した位置に置かれ、レンズ群２０１は撮影時と同じ位置に置かれる。このようにレンズ群２０１と表示素子２０２とが配置された状態で、観察者が矢印で示す観察方向２４１からレンズ群２０１を眺めると、立体像２２１，２２２を観察することができる。ここで、観察方向２４１は、観察者がレンズ群２０１の前方（図１６（ｂ）では左方）から表示素子２０２を眺める方向である。
【０００６】
ＩＰ方式では、高精細な立体画像を表示（再生）するために、一般に、撮影時において、画素数の非常に大きい撮像素子を用いなければならないが、そのようなデバイスは一般に高価である。高精細な立体画像の表示に関連して、２次元画像の表示技術の分野では、従来、撮像素子の画素数を変えることなく高解像度を実現する技術が知られている（非特許文献１参照）。
【０００７】
非特許文献１に記載された映像システムにおいて、撮影側のビデオカメラ内には、赤波長用（Ｒ）、緑波長用（Ｇ１，Ｇ２）および青波長用（Ｂ）の４つの撮像素子が互いに異なる位置に配置されて備えられている。また、表示側のプロジェクタ内には、赤波長用（Ｒ）および青波長用（Ｂ）の２つの撮像素子と、緑波長用（Ｇ１，Ｇ２）の２つの撮像素子とに、別々に信号が入力するように構成され、いわゆる「斜め画素ずらし」によって、高精細画像の表示を可能としている。なお、「斜め画素ずらし」は、緑波長用（Ｇ１，Ｇ２）の２つの撮像素子で取得されるそれぞれの撮影画像の空間的な相対位置を半画素ずらすものである。これにより、等価的に走査線の本数が増加することとなる。本明細書では、この半画素ずらす処理を「画像シフト処理」と呼ぶ場合がある。
【０００８】
このような高解像度をＩＰ方式の立体像で実現する場合には、撮影時および再生時において、正確な位置合わせがなされていることを前提とする。なお、本明細書では、このような位置合わせのことを、前記した画像シフト処理と区別するために、「撮像位置調整処理」と呼ぶ場合がある。例えば、図１６（ａ）に示したレンズ群１０１と撮像板１０２との位置関係と、図１６（ｂ）に示したレンズ群２０１と表示素子２０２との位置関係とが一致せずに、相対的な位置ずれがある場合には、立体像を再生する際に、撮影時の被写体の位置に立体像を正しく再生することができない。このような撮像位置調整処理に関連して、従来、テレビジョンカメラの位置を機械的に補正したり、あるいは取得画像を電気的に処理したりすることで、このような相対的な位置ずれを調整、補正する技術が知られている（特許文献１参照）。なお、特許文献１に記載の立体撮像装置では、テレビジョンカメラ内に複数の撮像素子が備えられている場合に、各撮像素子の相対位置のずれを解消することができない。また、立体撮像装置では、各撮像素子の相対位置が異なるためにフォーカス状態が悪い場合に、電気信号の補正では相対位置のずれを解消することが困難である。
【特許文献１】特開平９−５５９６１号公報（段落００１６−００１７、図３）
【非特許文献１】M.Sugawara et al.,Proc. SPIE, vol. 3653, p.1404-1411, 1999
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ＩＰ方式において高精細な立体画像を再生するために、撮影時において、高精細なテレビジョンカメラを使用してレンズアレイや空間フィルタを通して被写体の立体情報を実時間で取得することが要望されている。しかしながら、非特許文献１に記載の映像システムは、被写体の情報を実時間で取得するものでない。この映像システムでは、予め撮影された位置検出用パターンがディスプレイに表示され、これに基づいて、２つの撮像素子で取得されるそれぞれの撮影画像の空間的な相対位置を正確に半画素ずらすように表示素子の位置合わせが行われる。そして、位置合わせが完了した後で被写体が撮影される。つまり、非特許文献１に記載の映像システムでは、撮影中には、半画素ずらす処理（画像シフト処理）を行うことができないという問題がある。
【００１０】
本発明は、以上のような問題点に鑑みてなされたものであり、２つの撮像素子で取得されるそれぞれの撮影画像の空間的な相対位置を半画素ずらす処理を撮影中であっても行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の立体画像撮像位置調整装置は、結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置に備えられた２つの撮像素子でそれぞれ取得された各画像を互いに半画素ずらす立体画像撮像位置調整装置であって、画像抽出手段と、画素ずれ判別手段と、移動量算出手段と、駆動制御手段とを備えることとした。
【００１２】
かかる構成によれば、立体画像撮像位置調整装置は、画像抽出手段によって、前記結像手段群の位置を示す位置検出用パターンと前記被写体とを共に前記各撮像素子によって撮像することで取得された各画像から前記位置検出用パターンの画像をそれぞれ抽出する。ここで、結像手段群を構成する結像手段は、レンズまたは空間フィルタ（微小開口）である。例えば、結像手段がレンズの場合には、結像手段群であるレンズアレイは、平面状あるいは曲面状に配列される。また、撮像素子は、例えば、ＣＣＤ撮像素子である。また、位置検出用パターンは、結像手段群と撮像装置との位置合わせ、各撮像素子間の位置合わせ、撮像用レンズの位置合わせのうちの少なくとも１つを実行するために利用されるものである。この位置検出用パターンは、例えば、結像手段群の配設された領域の外側や、結像手段群を構成する結像手段の配置されていない領域に設けられている。あるいは、結像手段群を構成する結像手段のうち最も外側に配置された結像手段に設けたとしても、被写体の立体情報を取得するときには実質的に妨げとはならないので、このように構成してもよい。さらに、位置検出用パターンは、その形状や個数が限定されるものではない。かかる構成の立体画像撮像位置調整装置は、撮像装置によって、被写体の立体情報と位置検出用パターンの画像情報とを取得する。
【００１３】
そして、立体画像撮像位置調整装置は、画素ずれ判別手段によって、前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれているか否かを判別し、移動量算出手段によって、前記各位置検出用パターンの画像が互いに半画素ずれていない場合に、前記抽出された位置検出用パターンの画像が互いに半画素ずれるように前記撮像素子の位置をシフトするための移動量を算出する。そして、立体画像撮像位置調整装置は、駆動制御手段によって、前記算出された移動量に基づいて、前記撮像素子を移動させる撮像素子移動手段に駆動信号を出力する。これにより、各撮像素子で抽出された位置検出用パターンの画像が互いに半画素ずれるように撮像素子が移動する。位置検出用パターンは、結像手段群の位置を示すものであって、被写体の立体情報を取得するときには実質的に妨げとはならない領域に配置されるので、２つの撮像素子で取得されるそれぞれの撮影画像の空間的な相対位置を半画素ずらす処理を撮影中であっても行うことができる。
【００１４】
また、請求項２に記載の立体画像撮像位置調整装置は、請求項１に記載の立体画像撮像位置調整装置において、シフト量信号処理手段をさらに備えることとした。
【００１５】
かかる構成によれば、立体画像撮像位置調整装置は、シフト量信号処理手段によって、前記移動量算出手段で算出された情報に基づいて、前記撮像素子から出力される撮像された画像を示す画像信号を処理することで、前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれるように調整する。したがって、立体画像撮像位置調整装置は、撮像素子移動手段によって機械的な処理をさせるだけではなく、各撮像素子から出力される画像信号を電気的に処理することで、微細な位置合わせを精度よく実行できる。
【００１６】
また、請求項３に記載の立体画像撮像位置調整装置は、請求項１または請求項２に記載の立体画像撮像位置調整装置において、前記撮像手段が、色の３原色である赤色、緑色および青色のうちのいずれか１つの色に対応する同色用撮像素子を２つ有すると共に、前記３原色のうちの他の色に対応する色用の撮像素子を１つずつ有し、前記同色用撮像素子でそれぞれ取得された各画像を互いに半画素ずらすこととした。
【００１７】
かかる構成によれば、立体画像撮像位置調整装置は、撮像手段が、赤、緑および青のいずれかに対応する同色用撮像素子を２つ有しており、これら同色用撮像素子でそれぞれ取得された各画像を互いに半画素ずらすことで、高解像度を実現することができる。ここで、画像をずらす方向は、垂直方向でも水平方向でもよく、あるいは、その両方向でもよい。また、同色用撮像素子による画像を例えば垂直方向にずらすと共に、他の撮像素子による画像を水平方向に半画素ずらすようにしてもよい。
【００１８】
また、前記目的を達成するために、請求項４に記載の立体画像撮像位置調整方法は、結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置に備えられた２つの撮像素子でそれぞれ取得された各画像を互いに半画素ずらす立体画像撮像位置調整装置の立体画像撮像位置調整方法であって、画像抽出ステップと、画素ずれ判別ステップと、移動量算出ステップと、駆動制御ステップとを有することとした。
【００１９】
かかる手順によれば、立体画像撮像位置調整装置は、画像抽出ステップにて、前記結像手段群の位置を示す位置検出用パターンと前記被写体とを共に前記各撮像素子によって撮像することで取得された各画像から前記位置検出用パターンの画像をそれぞれ抽出する。そして、立体画像撮像位置調整装置は、画素ずれ判別ステップにて、前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれているか否かを判別し、移動量算出ステップにて、前記各位置検出用パターンの画像が互いに半画素ずれていない場合に、前記抽出された位置検出用パターンの画像が互いに半画素ずれるように前記撮像素子の位置をシフトするための移動量を算出する。そして、立体画像撮像位置調整装置は、駆動制御ステップにて、前記算出された移動量に基づいて、前記撮像素子を移動させる撮像素子移動手段に駆動信号を出力する。
【００２０】
また、請求項５に記載の立体画像撮像位置調整プログラムは、結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置に備えられた２つの撮像素子でそれぞれ取得された各画像を互いに半画素ずらすために、コンピュータを、画像抽出手段、画素ずれ判別手段、移動量算出手段、駆動制御手段、として機能させることとした。
【００２１】
かかる構成によれば、立体画像撮像位置調整プログラムは、画像抽出手段によって、前記結像手段群の位置を示す位置検出用パターンと前記被写体とを共に前記各撮像素子によって撮像することで取得された各画像から前記位置検出用パターンの画像をそれぞれ抽出する。そして、立体画像撮像位置調整プログラムは、画素ずれ判別手段によって、前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれているか否かを判別し、移動量算出手段によって、前記各位置検出用パターンの画像が互いに半画素ずれていない場合に、前記抽出された位置検出用パターンの画像が互いに半画素ずれるように前記撮像素子の位置をシフトするための移動量を算出する。そして、立体画像撮像位置調整プログラムは、駆動制御手段によって、前記算出された移動量に基づいて、前記撮像素子を移動させる撮像素子移動手段に駆動信号を出力する。
【００２２】
また、請求項６に記載の立体画像撮影システムは、結像手段群と、この結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置とを備える立体画像撮影装置と、前記撮像装置に備えられた撮像素子を移動させる撮像素子移動手段と、前記結像手段群の位置を示す位置検出用パターンと、請求項１ないし請求項３のいずれか一項に記載の立体画像撮像位置調整装置とを備えることを特徴とする。
【００２３】
かかる構成によれば、立体画像撮影システムでは、立体画像撮像位置調整装置によって、結像手段群と撮像装置との位置合わせ、各撮像素子間の位置合わせ、撮像用レンズの位置合わせのうちの少なくとも１つが実行されるので、立体画像撮影システムで取得された被写体の立体情報を再生するときに立体再生像のボケを低減させることができる。また、立体画像撮影システムでは、位置検出用パターンは、結像手段群の位置を示すものであって、被写体の立体情報を取得するときには実質的に妨げとはならない領域に配置されるので、２つの撮像素子で取得されるそれぞれの撮影画像の空間的な相対位置を半画素ずらす処理を撮影中であっても行うことができる。
【００２４】
また、請求項７に記載の立体画像撮影システムは、請求項６に記載の立体画像撮影システムにおいて、前記結像手段群の配設された領域の外側に外枠が設けられており、前記位置検出用パターンが、前記外枠に設けられていることとした。
【００２５】
かかる構成によれば、立体画像撮影システムでは、位置検出用パターンが、結像手段群の配設された領域の外側に設けられた外枠に設けられているので、被写体の立体情報を取得する際に、位置検出用パターンが妨げにならない。ここで、位置検出用パターンは、例えば、外枠に固着されるシート状の部材で形成されるか、印刷によって外枠に形成されるか、あるいは外枠に刻設されて形成される。
【００２６】
また、請求項８に記載の立体画像撮影システムは、請求項６に記載の立体画像撮影システムにおいて、前記外枠に表示装置が設けられており、前記位置検出用パターンが前記表示装置に表示されることとした。
【００２７】
かかる構成によれば、立体画像撮影システムでは、位置検出用パターンが、結像手段群の外枠に設けられた表示装置に表示されるので、被写体の立体情報を取得する際に、位置検出用パターンが妨げにならない。このように外枠に設けられた表示装置を用いることで、位置検出用パターンの形状や個数を容易に変更することができる。また、表示装置を用いることで、位置検出用パターンが必要ではないときには、位置検出用パターンの表示を取りやめたり、あるいは、他の必要な情報を表示したりすることが可能である。
【００２８】
また、請求項９に記載の立体画像撮影システムは、請求項６に記載の立体画像撮影システムにおいて、前記位置検出用パターンが、位置検出用光学系によって形成されていることとした。この位置検出用光学系は、前記結像手段群を構成する結像手段のうち最も外側に配置された結像手段の前記被写体側に予め接続され、前記接続された結像手段を透過する光が光軸に対して直交する方向に向かって輝度分布が変化するように構成されている。
【００２９】
かかる構成によれば、立体画像撮影システムでは、位置検出用パターンが、結像手段群を構成する結像手段のうち最も外側に配置された結像手段の被写体側に予め接続され位置検出用光学系によって形成されているので、結像手段群の配設された領域の外側に外枠を設ける必要がない。また、位置検出用光学系は、当該位置検出用光学系が接続された結像手段を透過する光が光軸に対して直交する方向に向かって輝度分布が変化するように構成されているので、位置検出用光学系からなる位置検出用パターンとして複雑な模様を実現することができる。ここで、輝度分布の変化の仕方は、例えば、中心位置で輝度値が最も高く、周辺に行くにしたがって二乗特性で輝度値が減少するようにしてもよいし、輝度分布が正弦波状に変化するようにしてもよい。仮に、点状のパターンあるいは一様な輝度を有したパターンといった単純なパターンを用いたとしたら、２つの撮像素子で抽出された位置検出用パターンの画像が互いに半画素ずれるように制御することはできない。しかしながら、このような輝度分布を有した位置検出用光学系を撮像した画像情報を用いれば、２つの撮像素子で抽出された位置検出用パターンの画像を互いに半画素ずらすことができる。したがって、位置検出用光学系によって、２つの撮像素子で抽出された位置検出用パターンの画像を互いに半画素ずらすときに必要な位置検出用パターンと、例えば、結像手段群と撮像装置との位置合わせといった単純な位置合わせ処理をするときに必要な位置検出用パターンとを兼務させることができる。その結果、位置検出用パターンの種類や個数を低減させることができる。
【発明の効果】
【００３０】
請求項１、請求項４、請求項５および請求項６に記載の発明によれば、結像手段群の位置を示す位置検出用パターンが、被写体の立体情報を取得するときには実質的に妨げとはならない領域に配置されるので、２つの撮像素子で取得されるそれぞれの撮影画像の空間的な相対位置を半画素ずらす処理を撮影中であっても行うことができる。
【００３１】
請求項２に記載の発明によれば、機械的な処理に加えて、各撮像素子から出力される画像信号を電気的に処理することで、微細な位置合わせを精度よく実行できる。
請求項３に記載の発明によれば、高解像度を実現することができる。
【００３２】
請求項７または請求項８に記載の発明によれば、被写体の立体情報を取得する際に、位置検出用パターンが妨げにならない。
請求項９に記載の発明によれば、２つの撮像素子で抽出された位置検出用パターンの画像を互いに半画素ずらすときに必要な位置検出用パターンと、単純な位置合わせをするときに必要な位置検出用パターンとを兼務させることができる。
【発明を実施するための最良の形態】
【００３３】
以下、図面を参照して本発明の立体画像撮像位置調整装置および立体画像撮影システムを実施するための最良の形態（以下「実施形態」という）について詳細に説明する。
【００３４】
（第１実施形態）
［立体画像撮影システムの概要］
図１は、本発明の第１実施形態にかかる立体画像撮影システムの一例を模式的に示す構成図である。立体画像撮影システム１は、図１に示すように、立体画像撮影装置２と、立体画像撮像位置調整装置３と、結像手段群移動手段４とを備えている。
立体画像撮影装置２は、レンズアレイ（結像手段群）５と、撮像装置６と、撮像用レンズ７とを備え、レンズアレイ５を用いて、被写体の立体情報を実時間で取得する。
立体画像撮像位置調整装置３は、後記するように、撮像装置６に備えられた２つの撮像素子１１ａ，１１ｂでそれぞれ取得された各画像を互いに正確に半画素ずらすために、２つの撮像素子１１ａ，１１ｂの相対的な位置を調整するものである。また、そのために、立体画像撮像位置調整装置３は、例えば、レンズアレイ５と撮像装置６との相対的な位置関係等を調整する。
結像手段群移動手段４は、レンズアレイ（結像手段群）５を移動させるものであり、例えば、圧電素子やステッピングモータなどを用いた電気制御可能なステージから構成される。
【００３５】
レンズアレイ（結像手段群）５は、図１に示すように、被写体（撮像対象物）を要素画像としてそれぞれ結像する複数（例えば、１千〜数万個）のレンズ（結像手段）５ａを平面状に配列して構成されている。なお、図１では、説明の都合上、レンズ５ａの配列を簡略化した形で表示している。
【００３６】
図１では、レンズアレイ５として、円形のレンズ５ａが千鳥配列されたレンズアレイを図示したが、レンズ形状は正方形あるいは六角形など他の形状でもよい。また、レンズ５ａの配列は、図示したように俵状に積む形式でもよいし、縦横に揃えた正方配列でもよい。また、結像手段群として、レンズアレイ５の代わりに、ピンホールが二次元状に配列されたピンホールアレイ（空間フィルタ）を用いてもよい。また、レンズアレイ５において互いに隣接するレンズ５ａの間に、隣接するレンズ５ａからクロスオーバーする余計な光の影響を受けないように、例えば、金属または合成樹脂からなる光学遮蔽部を配置するようにしてもよい。
【００３７】
撮像装置６は、レンズアレイ５により結像された被写体の各要素画像を撮像用レンズ７を介して撮像するものである。この撮像装置６は、レンズアレイ５を介して被写体を撮像するので、被写体の各要素画像を被写体の立体情報として取得すると共に、レンズアレイ５の外枠９等に設けられた位置検出用パターンの画像も取得する。
撮像用レンズ７は、撮像用レンズ移動手段８によって移動可能に構成されている。撮像用レンズ移動手段８は、撮像用レンズ７を移動させるものであり、例えば、圧電素子やステッピングモータなどを用いた電気制御可能なステージから構成される。
【００３８】
レンズアレイ５の配設された領域の外側には、外枠９が設けられている。この外枠９には、位置検出用パターンが設けられている。位置検出用パターンは、レンズアレイ５の位置を示すものであり、例えば、レンズアレイ５と撮像装置６との位置合わせや、撮像装置６内の後記する撮像素子１１間の位置合わせ、撮像用レンズ７の位置合わせのうちの少なくとも１つを実行するために利用されるものである。この位置検出用パターンは、後記するように、レンズアレイ５を構成するレンズ５ａの配置されていない領域（例えば、前記した光学遮蔽部等）に設けられている。
【００３９】
［撮像装置の構成］
撮像装置６は、例えば、高精細なテレビジョンカメラであり、ＲＧＢに対応した４個の撮像素子１１ａ〜１１ｄと、撮像素子移動手段１２ａ〜１２ｄとを備えている。撮像素子１１は、レンズアレイ５により結像された被写体の各要素画像をそれぞれ撮影するものであって、例えば、ＣＣＤ（Charge Coupled Device）撮像素子で構成される。この撮像素子１１は、解像度の比較的高い動画での立体画像の撮影に充分である高精細な画素数で構成されている。
【００４０】
撮像素子１１ａは、緑波長用（Ｇ１）の撮像素子であり、撮像素子１１ｂは、緑波長用（Ｇ２）の撮像素子である。撮像素子１１ａ，１１ｂは、緑色に対応する同色用撮像素子である。撮像素子１１ａ，１１ｂは、それぞれの撮影画像が半画素ずれるように、空間的な相対位置を正確にずらした状態で配置されている。なお、一般に撮像素子１１ａ，１１ｂの空間的な相対位置は、温度等の影響で微妙にずれることがある。また、撮像素子１１ｃは、赤波長用（Ｒ）の撮像素子であり、撮像素子１１ｄは、青波長用（Ｂ）の撮像素子である。以下、区別しない場合には、撮像素子１１と表記する。
【００４１】
撮像素子移動手段１２は、撮像素子１１を移動させるものであり、例えば、圧電素子やステッピングモータなどを用いた電気制御可能なステージから構成される。撮像素子移動手段１２ａは、撮像素子１１ａを移動させるものであり、撮像素子移動手段１２ｂは、撮像素子１１ｂを移動させる。また、撮像素子移動手段１２ｃは、撮像素子１１ｃを移動させるものであり、撮像素子移動手段１２ｄは、撮像素子１１ｄを移動させる。以下、区別しない場合には、撮像素子移動手段１２と表記する。なお、本実施形態では、撮像素子移動手段１２をすべての撮像素子１１にそれぞれ配置するものとしているが、これに限定されるものではない。仮に、撮像素子移動手段１２が設けられていない場合には、対応する撮像素子１１を固定して移動不可能な状態に保持するようにしてもよい。また、撮像素子１１および撮像素子移動手段１２の個数はこの限りではない。
【００４２】
［位置検出用パターンの例］
図２は、図１に示したレンズアレイと撮像素子との位置合わせ等に利用される位置検出用パターンの一例を示す図である。
＜楔形パターン＞
図２に示すように、外枠９において、レンズアレイ５との境界の各頂点には、楔形パターン（位置検出用パターン）２１ａ〜２１ｈが設けられている。楔形パターン２１ａ〜２１ｈは、撮像素子１１とレンズアレイ５との微少な位置ずれを検出するための位置検出用パターンである。
【００４３】
楔形パターン２１ａは、２つの楔形からなる。これらの楔形の一方は、鋭角の頂点が左方からレンズアレイ５の左上の頂点に重なり、他方の楔形は、鋭角の頂点が上方からレンズアレイ５の左上の頂点に重なっている。つまり、レンズアレイ５の左上の頂点が、２つの楔形の交点２２ａになっている。同様に、楔形パターン２１ｂは、２つの楔形の互いの鋭角の頂点が重なった交点２２ｂを有している。これらの楔形の一方は、鋭角の頂点が右方からレンズアレイ５の右上の頂点に重なり、他方の楔形は、鋭角の頂点が上方からレンズアレイ５の右上の頂点に重なっている。
【００４４】
また、同様に、楔形パターン２１ｃは、２つの楔形の互いの鋭角の頂点が重なった交点２２ｃを有している。これらの楔形の一方は、鋭角の頂点が右方からレンズアレイ５の右下の頂点に重なり、他方の楔形は、鋭角の頂点が下方からレンズアレイ５の右下の頂点に重なっている。また、同様に、楔形パターン２１ｄは、２つの楔形の互いの鋭角の頂点が重なった交点２２ｄを有している。これらの楔形の一方は、鋭角の頂点が左方からレンズアレイ５の左下の頂点に重なり、他方の楔形は、鋭角の頂点が下方からレンズアレイ５の左下の頂点に重なっている。
【００４５】
楔形パターン２１ｅは、１つの楔形から成り、この楔形の鋭角の頂点が上方からレンズアレイ５の上辺の中点２２ｅに重なっている。
楔形パターン２１ｆは、１つの楔形から成り、この楔形の鋭角の頂点が左方からレンズアレイ５の左辺の中点２２ｆに重なっている。
楔形パターン２１ｇは、１つの楔形から成り、この楔形の鋭角の頂点が右方からレンズアレイ５の右辺の中点２２ｇに重なっている。
楔形パターン２１ｈは、１つの楔形から成り、この楔形の鋭角の頂点が下方からレンズアレイ５の下辺の中点２２ｈに重なっている。
【００４６】
楔形パターン２１ａ〜２１ｅは、外枠９の位置検出用パターンの配置領域に、例えば、合成樹脂等のシート状の部材を接着または融着して貼り付けたり、あるいは、印刷されたり、直接彫刻されたりして固定される。ただし、これに限定されるものではなく、外枠９に、画像表示ディスプレイ等の表示装置を設けて、これら楔形パターン２１ａ〜２１ｅのような位置検出用パターンを表示装置に表示するように構成してもよい。なお、本実施形態は、好ましい実施形態として、これら楔形パターン２１ａ〜２１ｅを備えるものとして説明するが、これらを外枠９に必ずしも設ける必要はない。
【００４７】
＜歪み検出パターン＞
図２に示すように、レンズアレイ５内のレンズ５ａが形成されていない部分（隣り合ったレンズ５ａ間の部分）には、歪み検出パターン（位置検出用パターン）２３が設けられている。歪み検出パターン２３は、撮像用レンズ７の歪みを検出するための位置検出用パターンである。本実施形態では、歪み検出パターン２３は、図２に示すように、レンズアレイ５内の各レンズ５ａを取り囲む正六角形の形状を網目の一単位とした網目状にレンズアレイ５の全体を覆うように形成されている。歪み検出パターン２３の一単位の形状は、正六角形で限定されるものなく、その他の多角形でもよく、レンズアレイ５の中央などその一部分だけを覆うものでもよい。この歪み検出パターン２３は、例えば、合成樹脂等のシート状の部材を接着または融着して貼り付けたり、あるいは、印刷されたりして、レンズアレイ５に固定される。
【００４８】
＜中央位置検出パターン＞
図２に示すように、レンズアレイ５内のレンズ５ａが形成されていない部分のうち、レンズアレイ５のほぼ中央部分には、中央位置検出パターン（位置検出用パターン）２４が設けられている。中央位置検出パターン２４は、撮像素子１１とレンズアレイ５との位置ずれを検出するための位置検出用パターンである。本実施形態では、中央位置検出パターン２４は、一点から放射状に伸びた長さの等しい３本の線分で示されている。これら３本の線分のうちの隣り合う２本のなす角度は１２０度である。この中央位置検出パターン２４の３本の線分の交点によって、レンズアレイ５の中央が特定される。なお、中央位置検出パターン２４の形状は、これに限定されるものなく、例えば、レンズ５ａが正方配列される場合には４本の線分の交点によってレンズアレイ５の中央が特定されるように構成してもよい。この中央位置検出パターン２４は、例えば、合成樹脂等のシート状の部材を接着または融着して貼り付けたり、あるいは、印刷されたりして、レンズアレイ５に固定される。なお、中央位置検出パターン２４は、レンズアレイ５の中心に配置されることが好ましいが、それができない場合には、中心の近くで配置可能な位置に配置されていればよい。
【００４９】
図３は、図１に示した撮像素子間の位置合わせに利用される位置検出用パターンの一例を示す図である。ただし、図３には、図２を参照して説明した各位置検出用パターンが図示されていない。これは、視認性を考慮して図示を省略したためであって、図３には、前記した各位置検出用パターンも配置されているものとする。
【００５０】
＜位置ずれ検出パターン＞
図３に示すように、外枠９のレンズアレイ５の周辺部には、位置ずれ検出パターン（位置検出用パターン）２５ａ〜２５ｈが設けられている。位置ずれ検出パターン２５ａ〜２５ｈは、撮像素子１１ａ〜１１ｄ間の位置ずれを検出するためのパターンである。本実施形態では、位置ずれ検出パターン２５ａ〜２５ｈは、円形であり、円形の領域の中心で輝度値が最も高く、円形の領域の中心から半径に沿って離間していくにしたがって、輝度値が二乗特性で減少する。なお、輝度値が減少する変化の仕方はこれに限定されるものではなく、線形特性で減少するようにしてもよい。
【００５１】
位置ずれ検出パターン２５ａ，２５ｂは、外枠９の上辺をほぼ３等分にする位置にそれぞれ設けられている。
位置ずれ検出パターン２５ｃ，２５ｄは、外枠９の左辺または右辺をほぼ３等分にした位置のうちの上方にそれぞれ設けられている。
位置ずれ検出パターン２５ｅ，２５ｆは、外枠９の左辺または右辺をほぼ３等分にした位置のうちの下方にそれぞれ設けられている。
位置ずれ検出パターン２５ｇ，２５ｈは、外枠９の下辺をほぼ３等分にする位置にそれぞれ設けられている。
【００５２】
位置ずれ検出パターン２５ａ〜２１ｈは、外枠９の位置検出用パターンの配置領域に、例えば、合成樹脂等のシート状の部材を接着または融着して貼り付けたり、あるいは、印刷されたりして固定される。ただし、これに限定されるものではなく、外枠９に、画像表示ディスプレイ等の表示装置を設けて、これら位置ずれ検出パターン２５ａ〜２１ｈのような位置検出用パターンを表示装置に表示するように構成してもよい。
【００５３】
図４は、図１に示した２つの撮像素子による画像を半画素ずらすために利用される位置検出用パターンの一例を示す図である。ただし、図４には、図２及び図３を参照して説明した各位置検出用パターンが図示されていない。これは、視認性を考慮して図示を省略したためであって、図４には、前記した各位置検出用パターンも配置されているものとする。
【００５４】
＜画素ずれ検出パターン＞
図４に示すように、外枠９のレンズアレイ５の周辺部には、画素ずれ検出パターン（位置検出用パターン）２６ａ〜２６ｈが設けられている。画素ずれ検出パターン２６ａ〜２６ｈは、撮像素子１１ａによって撮影された画像と、撮像素子１１ｂによって撮影された画像とを半画素ずらすために利用される位置検出用パターンである。本実施形態では、画素ずれ検出パターン２６ａ〜２６ｈは、２つの正弦波パターンから成る。各正弦波パターンは、長方形の形状であり、長方形の領域の長手方向に、輝度値が正弦波の振幅のように周期的に変化するパターンが設けられている。すなわち、正弦波パターンは、長方形の領域の長辺を位相θラジアン（０＜θ＜２π）に割り当てたときに、長方形の領域の長手方向の輝度値がｓｉｎθに対応している。
【００５５】
画素ずれ検出パターン２６ａ〜２６ｄは、２つの正弦波パターンを長手方向に所定間隔を空けて１列に並べた組を水平方向に配置して構成される。
外枠９の上辺において、画素ずれ検出パターン２６ａは、位置ずれ検出パターン２５ａ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成り、画素ずれ検出パターン２６ｂは、位置ずれ検出パターン２５ｂ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成る。
また、外枠９の下辺において、画素ずれ検出パターン２６ｃは、位置ずれ検出パターン２５ｇ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成り、画素ずれ検出パターン２６ｄは、位置ずれ検出パターン２５ｈ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成る。
これら画素ずれ検出パターン２６ａ〜２６ｄは、撮像素子１１ａと撮像素子１１ｂとの空間的な水平方向の相対位置をずらす場合に利用される。
【００５６】
また、画素ずれ検出パターン２６ｅ〜２６ｈは、２つの正弦波パターンを長手方向に所定間隔を空けて１列に並べた組を垂直方向に配置して構成される。
画素ずれ検出パターン２６ｅは、外枠９の左辺において、位置ずれ検出パターン２５ｃ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成る。
画素ずれ検出パターン２６ｆは、外枠９の右辺において、位置ずれ検出パターン２５ｄ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成る。
画素ずれ検出パターン２６ｇは、外枠９の左辺において、位置ずれ検出パターン２５ｅ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成る。
画素ずれ検出パターン２６ｈは、外枠９の右辺において、位置ずれ検出パターン２５ｆ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成る。
これら画素ずれ検出パターン２６ｅ〜２６ｈは、撮像素子１１ａと撮像素子１１ｂとの空間的な垂直方向の相対位置をずらす場合に利用される。
【００５７】
画素ずれ検出パターン２６ａ〜２６ｈは、外枠９の位置検出用パターンの配置領域に、例えば、合成樹脂等のシート状の部材を接着または融着して貼り付けたり、あるいは、印刷されたりして固定される。ただし、これに限定されるものではなく、外枠９に、画像表示ディスプレイ等の表示装置を設けて、これら画素ずれ検出パターン２６ａ〜２６ｈのような位置検出用パターンを表示装置に表示するように構成してもよい。なお、画素ずれ検出パターン２６ａ〜２６ｈの個数、配置場所、輝度分布特性はこの限りではない。
【００５８】
［立体画像撮像位置調整装置の構成］
図５は、第１実施形態に係る立体画像撮像位置調整装置の構成を示すブロック図である。立体画像撮像位置調整装置３は、例えば、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）と、ＨＤＤ（Hard Disk Drive）等から構成されており、図５に示すように、大別して、入出力手段３１と、記憶手段３２と、制御手段３３とを備える。
【００５９】
入出力手段３１は、所定の入出力インタフェースや通信インタフェース等から構成され、所定の情報やコマンドを入力したり、所定の情報を出力したりするものである。この入出力手段３１は、例えば、通信ケーブル等を介して、撮像素子１１で取得された画像情報を入力する。また、入出力手段３１は、結像手段群移動手段４、撮像用レンズ移動手段８および撮像素子移動手段１２にそれぞれの駆動信号を出力する。
【００６０】
記憶手段３２は、ＲＡＭ３２１と、ＲＯＭ３２２と、抽出条件記憶手段３２３と、基準画像位置情報記憶手段３２４と、立体画像情報記憶手段３２５とを備える。
ＲＡＭ３２１は、制御手段３３による演算処理等に利用されると共に、入出力手段３１を介して取得した情報等を記憶し、ＲＯＭ３２２は、所定のプログラム等を記憶する。
抽出条件記憶手段３２３は、撮像素子１１で取得される情報の中から、被写体の立体情報や所定の位置検出用パターンの画像情報等を抽出する条件を示す抽出条件を記憶するものであり、一般的なハードディスク等から構成される。
【００６１】
基準画像位置情報記憶手段３２４は、予め取得された位置検出用パターンの画像に対応するアドレスを示す基準画像位置情報等を記憶するものであり、一般的なメモリやハードディスク等から構成される。また、基準画像位置情報として、例えば、位置ずれ検出パターン２５ａ〜２５ｈ（図３参照）の輝度分布特性等が含まれる。
【００６２】
ここで、基準画像位置情報としてのアドレスとは、撮像素子１１ａ〜１１ｄ上でのアドレスであって、処理に応じて複数種類設けられている。
第１に、レンズアレイ５と撮像装置６との位置合わせ、撮像用レンズ７の位置合わせ、および撮像素子１１間の位置合わせを含む位置合わせ処理（以下、撮像位置調整処理という）に用いられるアドレス値を基準アドレスとして含んでいる。すなわち、レンズアレイ５と撮像装置６との間の位置ずれが無い場合に取得されるべきアドレス値、撮像用レンズ７による歪みが無い場合に取得されるべきアドレス値、撮像素子１１間の位置ずれが無い場合に取得されるべきアドレス値等を含む。
【００６３】
また、第２に、２つの撮像素子１１ａ，１１ｂによって取得された各画像を正確に半画素ずらす処理（以下、画像シフト処理という）に用いられるアドレス値を基準アドレスとして含んでいる。すなわち、撮像素子１１ａ，１１ｂでそれぞれ取得される画素ずれ検出パターン（位置検出用パターン）２６ａ〜２６ｈの画像が半画素ずれるように撮像素子１１ａ，１１ｂが相対的に正確に配置された状態において撮像素子１１ａ，１１ｂでそれぞれ取得されるべきアドレス値を含む。
【００６４】
立体画像情報記憶手段３２５は、撮像素子１１で取得されて入出力手段３１を介して入力する立体情報（立体画像情報）を記憶するものであり、一般的なハードディスク等から構成される。この立体情報に基づいて、表示手段４０によって、被写体の立体像が再生される。
【００６５】
制御手段３３は、例えば、ＣＰＵ等から構成され、入出力手段３１および記憶手段３２を制御すると共に、図５に示すように、画像抽出手段３３１と、立体画像情報管理手段３３２と、一致判別手段３３３と、補正量算出手段３３４と、配置情報信号処理手段３３５と、画素ずれ判別手段３４１と、移動量算出手段３４２と、シフト量信号処理手段３４３と、駆動制御手段３５１とを備える。
【００６６】
画像抽出手段３３１は、抽出条件記憶手段３２３に記憶された抽出条件にしたがって、撮像素子１１で取得されて入出力手段３１を介して入力する情報（撮像情報）の中から必要な情報を抽出するものであって、立体画像情報抽出手段３３１ａと、パターン画像抽出手段３３１ｂと、シフト用画像抽出手段３３１ｃとを備えている。
立体画像情報抽出手段３３１ａは、撮像情報の中から、被写体の立体情報を抽出するものである。
【００６７】
パターン画像抽出手段３３１ｂは、撮像情報の中から、撮像位置調整処理に必要な位置検出用パターンの画像情報（入力画像情報ともいう）を抽出するものである。ここで、撮像位置調整処理に必要な位置検出用パターンとしては、図２および図３を参照してそれぞれ説明した、楔形パターン２１ａ〜２１ｈと、歪み検出パターン２３と、中央位置検出パターン２４と、位置ずれ検出パターン２５ａ〜２５ｈとが含まれる。
【００６８】
シフト用画像抽出手段３３１ｃは、撮像情報の中から、画像シフト処理に必要な位置検出用パターンの画像情報を抽出するものである。ここで、画像シフト処理に必要な位置検出用パターンは、図４を参照して説明した画素ずれ検出パターン２６ａ〜２６ｈが含まれる。以下では、シフト用画像抽出手段３３１ｃで抽出された位置検出用パターンの画像をシフト用画像という。
【００６９】
立体画像情報管理手段３３２は、立体画像情報抽出手段３３１ａで抽出された立体情報を立体画像情報記憶手段３２５に格納すると共に、立体画像情報記憶手段３２５に記憶された立体情報を読み出して入出力手段３１を介して表示手段４０に出力するものである。
【００７０】
一致判別手段３３３は、パターン画像抽出手段３３１ｂで抽出された位置検出用パターンの抽出画像のアドレスと、基準画像位置情報記憶手段３２４に記憶された当該位置検出用パターンの基準アドレスとが一致するか否かを判別するものである。また、一致判別手段３３３は、抽出画像のアドレスと基準アドレスとの間の差が所定範囲内であるか否かを判別する。
【００７１】
補正量算出手段３３４は、抽出画像のアドレスと基準アドレスとが一致しない場合に、抽出画像のアドレスと基準アドレスとが一致するように補正するための位置ずれ補正量を算出するものである。
配置情報信号処理手段３３５は、抽出画像のアドレスと基準アドレスとの間の差が所定範囲内である場合に、撮像素子１１の出力信号において、抽出画像のアドレスを微調整するものである。
【００７２】
画素ずれ判別手段３４１は、基準画像位置情報記憶手段３２４に記憶された画素ずれ検出パターン２６ａ〜２６ｈの基準アドレスに基づいて、シフト用画像抽出手段３３１ｃでそれぞれ抽出されたシフト用画像が互いに半画素ずれているか否かを判別するものである。また、画素ずれ判別手段３４１は、２つのシフト用画像の画素ずれ量が所定範囲内であるか否かを判別する。
【００７３】
本実施形態では、画素ずれ判別手段３４１は、撮像素子１１ａ，１１ｂでそれぞれ取得された画像情報を合成し、２つのシフト用画像が半画素ずれるように、撮像素子１１ａ，１１ｂの空間的な相対位置を調整する。具体的には、画素ずれ判別手段３４１は、撮像素子１１ａ，１１ｂでそれぞれ取得された画像情報の合成波の折返し成分が最小となる位相を求めることで、撮像素子１１ａ，１１ｂの空間的な相対位置を調整する。
【００７４】
ここで、２つのシフト用画像が半画素ずれるように調整する方法として、２つの表示素子（Ｇ１，Ｇ２）の空間的な相対位置を検出する方法（以下、表示素子位置検出法という）を適用することができる。表示素子位置検出法については、「日下部他、映像情報メディア学会誌、vol.60, no.2, pp.234-241, 2006」に記載されている。この表示素子位置検出法は、２枚の線画像表示素子の位置検出法であり、周期構造の輝度分布を持つパターンを投射し、相対位置のずれにより生じる画像の折り返し成分を検出することで、２つの表示素子の空間的な相対位置を検出する。具体的には、この表示素子位置検出法では、第１表示素子に第１正弦波パターンの画像を表示し、第２表示素子に第２正弦波パターン（第１正弦波パターンの画像と比較して所定の量だけ位相がずれたパターン）の画像を表示する。そして、表示素子位置検出法では、第１表示素子および第２表示素子によりそれぞれ投射された第１正弦波パターンおよび第２正法波パターンの合成波の折返し成分が最小となる位相を求めることで、第１表示素子と第２表示素子との空間的な相対位置が所望の画素ずれ量となる状態に調整している。本実施形態との関係で言えば、図４に示した画素ずれ検出パターン２６ａ〜２６ｈは、表示素子位置検出法における第１正弦波パターンと正弦波パターンの画像に相当するパターンである。なお、高精細映像表示手法として、録画像用の表示素子を２枚使用し、半画素ずらして合成する方法については、「M. Kanazawa et al., J. of SID, vol.12, no.1, pp.93-103, 2004」に記載されている。
【００７５】
移動量算出手段３４２は、シフト用画像抽出手段３３１ｃでそれぞれ抽出されたシフト用画像が互いに半画素ずれていない場合に、抽出されたシフト用画像が互いに半画素ずれるように撮像素子１１ａ（または１１ｂ）の位置をシフトするための移動量を算出するものである。
【００７６】
シフト量信号処理手段３４３は、移動量算出手段３４２で算出された移動量に基づいて、撮像素子１１ａ，１１ｂから出力される画像信号を処理することで、それぞれ抽出されたシフト用画像が互いに半画素ずれるように調整するものである。このシフト量信号処理手段３４３は、画素ずれ量が所定範囲内である場合に、撮像素子１１ａ，１１ｂの出力信号において画素ずれを微調整する。
【００７７】
駆動制御手段３５１は、結像手段群移動手段４、撮像用レンズ移動手段８および撮像素子移動手段１２（以下、特に限定しない場合には単に移動手段という場合もある）に駆動信号を出力するものである。この駆動制御手段３５１は、補正量算出手段３３４で算出された補正量に基づいて、駆動信号を移動手段に出力する。また、駆動制御手段３５１は、移動量算出手段３４２で算出された移動量に基づいて、撮像素子移動手段１２ａ（または１２ｂ）に駆動信号を出力する。
【００７８】
[立体画像撮像システムの一般的な動作]
立体画像撮像システムの一般的な動作を図１を参照して説明する。この立体画像撮影システム１では、レンズアレイ５の前方（図中左側）に配置された被写体を撮影する。このとき、各撮像素子１１には、レンズアレイ５を構成する各レンズ５ａにより生じる要素画像（光学像）が結像する。なお、各要素撮像画像は、被写体の奥行きが反転した状態の画像である。そして、立体画像撮像位置調整装置３は、撮像素子１１から出力された信号に含まれる撮像情報（画像）を点対称に反転させた情報として立体画像情報記憶手段３２５（図５参照）に格納する。この立体画像情報記憶手段３２５（図５参照）に格納された情報を、撮影時に撮像装置６を配置した位置で表示させ、撮影時と同じ位置に配置されたレンズアレイ５の前方から眺めると、被写体と比較して奥行きが等しい立体像を再生できる。このように立体像を正しく再生できるように、立体画像撮像位置調整装置３では、前記したように、正しい配置において各位置検出用パターンの画像を予め取得し、取得された各位置検出用パターンの画像情報を基準アドレスとして、基準画像位置情報記憶手段３２４（図５参照）に格納している。
【００７９】
［立体画像撮像位置調整装置の動作］
＜撮像位置調整処理＞
図５に示した立体画像撮像位置調整装置３の動作について図６を参照（適宜図５参照）して説明する。図６は、第１実施形態に係る立体画像撮像位置調整装置による撮像位置調整処理を示すフローチャートである。撮像位置調整処理において、立体画像撮像位置調整装置３は、パターン画像抽出手段３３１ｂによって、撮像素子１１で撮像された画像から、位置検出用パターンの画像を抽出する（ステップＳ１）。そして、立体画像撮像位置調整装置３は、一致判別手段３３３によって、抽出画像のアドレスと基準アドレスとが一致するか否かを判別する（ステップＳ２）。抽出画像のアドレスと基準アドレスとが一致する場合（ステップＳ２：Ｙｅｓ）、立体画像撮像位置調整装置３は、撮像位置調整処理を終了する。
【００８０】
一方、例えば、図７に示すように、撮像素子１１ａで取得された画像５１ａと、基準アドレスに対応する画像５１ｂとが一致しない場合、すなわち、抽出画像のアドレスと基準アドレスとが一致しない場合（ステップＳ２：Ｎｏ）、立体画像撮像位置調整装置３は、補正量算出手段３３４によって、位置ずれ補正量を算出する（ステップＳ３）。そして、立体画像撮像位置調整装置３は、駆動制御手段３５１によって、算出された補正量に基づいて、駆動信号を移動手段に出力する（ステップＳ４）。そして、立体画像撮像位置調整装置３は、一致判別手段３３３によって、アドレス間の差が所定範囲内であるか否かを判別する（ステップＳ５）。アドレス間の差が所定範囲内ではない場合（ステップＳ５：Ｎｏ）、立体画像撮像位置調整装置３は、ステップＳ１に戻る。一方、アドレス間の差が所定範囲内である場合（ステップＳ５：Ｙｅｓ）、立体画像撮像位置調整装置３は、配置情報信号処理手段３３５によって、撮像素子１１の出力信号において、抽出画像のアドレスを微調整し（ステップＳ６）、撮像位置調整処理を終了する。
【００８１】
＜画像シフト処理＞
図８は、立体画像撮像位置調整装置による画像シフト処理を示すフローチャートである。この画像シフト処理は、図６に示した撮像位置調整処理が完了していることを前提に実行される処理である。画像シフト処理において、立体画像撮像位置調整装置３は、シフト用画像抽出手段３３１ｃによって、２つの撮像素子１１ａ，１１ｂで同一の画素ずれ検出パターン（例えば、２６ａ）を撮像することで取得されたそれぞれの画像をシフト用画像としてそれぞれ抽出する（ステップＳ１１：画像抽出ステップ）。そして、立体画像撮像位置調整装置３は、画素ずれ判別手段３４１によって、２つのシフト用画像が半画素ずれているか否かを判別する（ステップＳ１２：画素ずれ判別ステップ）。２つのシフト用画像が半画素ずれている場合（ステップＳ１２：Ｙｅｓ）、立体画像撮像位置調整装置３は、画像シフト処理を終了する。
【００８２】
一方、例えば、図７に示すように、撮像素子１１ａで取得された画像５２ａが、撮像素子１１ｂで取得された画像５２ｂと一致しない場合、すなわち、２つのシフト用画像が半画素ずれていない場合（ステップＳ１２：Ｎｏ）、立体画像撮像位置調整装置３は、移動量算出手段３４２によって、２つのシフト用画像を互いに半画素ずらすための撮像素子１１ａ（または１１ｂ）の移動量を算出する（ステップＳ１３：移動量算出ステップ）。なお、本実施形態では、図７を、撮像位置調整処理の説明と、画像シフト処理の両方の説明で用いているが、それぞれの説明において図７は異なる意味を有しており、図７では、そのことを符号で区別して示している。
【００８３】
そして、ステップＳ１３に続いて、立体画像撮像位置調整装置３は、駆動制御手段３５１によって、算出された移動量に基づいて、駆動信号を撮像素子移動手段１２ａに出力する（ステップＳ１４：駆動制御ステップ）。続いて、立体画像撮像位置調整装置３は、画素ずれ判別手段３４１によって、画素ずれが所定範囲内であるか否かを判別する（ステップＳ１５）。画素ずれが所定範囲内ではない場合（ステップＳ１５：Ｎｏ）、立体画像撮像位置調整装置３は、ステップＳ１１に戻る。一方、画素ずれが所定範囲内である場合（ステップＳ１５：Ｙｅｓ）、立体画像撮像位置調整装置３は、シフト量信号処理手段３４３によって、撮像素子１１ａ（または１１ｂ）の出力信号において、画素ずれを微調整し（ステップＳ１６：シフト量信号処理ステップ）、画像シフト処理を終了する。なお、ステップＳ１４において、立体画像撮像位置調整装置３は、駆動制御手段３５１によって、駆動信号を撮像素子移動手段１２ａに出力する代わりに、撮像素子移動手段１２ｂに出力するようにしてもよいし、両方に出力するようにしてもよい。
【００８４】
＜立体画像撮像位置調整装置の動作の一連の具体的な流れ＞
図９は、図６に示した撮像位置調整処理と図８に示した画像シフト処理との具体的な一例を示すフローチャートである。ここでは、撮像位置調整処理において、まず、撮像素子１１（あるいは撮像装置６）とレンズアレイ５との位置ずれ検出および補正を行い、次に、撮像用レンズ７の歪み検出および補正を行い、続いて、撮像装置６内の撮像素子１１間の位置ずれ検出および補正を行うこととする。また、一例として撮像素子１１ａ（図１参照）により取得される情報を用いて、撮像用レンズ７の歪み検出および補正を行う手順を説明する。なお、図１に示した他の撮像素子１１ｂ〜１１ｄのいずれかを用いたとしても同様に処理することができる。
【００８５】
この場合、立体画像撮像位置調整装置３は、まず、中央位置検出パターン２４（図２参照）から撮像素子１１とレンズアレイ５との位置ずれを検出し、結像手段群移動手段４を用いて、位置ずれを補正する（ステップＳ２１）。すなわち、立体画像撮像位置調整装置３は、基準画像位置情報記憶手段３２４（図５参照）に保存されている、中央位置検出パターン２４が取得されるべき撮像素子１１ａ上のアドレスと、中央位置検出パターン２４が実際に取得される撮像素子１１ａ上のアドレスとが一致するように、結像手段群移動手段４を用いて調整する。
【００８６】
このステップＳ２１において、結像手段群移動手段４の代わりに撮像素子移動手段１２を用いて調整するようにしてもよい。また、特に、立体画像撮像位置調整装置３に保存されている、中央位置検出パターン２４が取得されるべき撮像素子１１ａ〜１１ｄのアドレスと、中央位置検出パターン２４が実際に取得される撮像素子１１ａ〜１１ｄ上のアドレスとの相対的な位置のずれが、すべての撮像素子１１ａ〜１１ｄにおいて同じずれである場合には、撮像用レンズ移動手段８により撮像用レンズ７を移動させることで、一度に位置ずれを解消するようにしてもよい。なお、ステップＳ２１で示す機械的な補正処理は省略可能である。すなわち、立体画像撮像位置調整装置３は、撮像装置６により取得した情報に基づいて、機械的に補正する代わりに、画像信号を電気的に補正するようにしてもよい。
【００８７】
ステップＳ２１に続いて、立体画像撮像位置調整装置３は、図２に示した楔形パターン２１ａ〜２１ｈから撮像素子１１とレンズアレイ５との微小な位置ずれを検出し、撮像素子１１の出力信号において、抽出画像のアドレスを微調整する（ステップＳ２２）。すなわち、立体画像撮像位置調整装置３は、基準画像位置情報記憶手段３２４（図５参照）に保存されている、楔形パターン２１ａ〜２１ｈにおける交点２２ａ〜２２ｈが取得されるべき撮像素子１１ａ上のアドレスと、楔形パターン２１ａ〜２１ｈが実際に取得される撮像素子１１ａ上のアドレスとが一致するように、配置情報信号処理手段３３５によって、撮像素子１１ａで取得された画像を電気的に処理する。なお、外枠９に楔形パターン２１を備えない場合には、このステップＳ２２の処理は省略されることとなる。
【００８８】
ステップＳ２２に続いて、立体画像撮像位置調整装置３は、歪み検出パターン２３から撮像用レンズ７の歪みを検出し、撮像素子１１の出力信号において、抽出画像のアドレスを微調整する（ステップＳ２３）。すなわち、立体画像撮像位置調整装置３は、基準画像位置情報記憶手段３２４（図５参照）に保存されている、歪み検出パターン２３が取得されるべき撮像素子１１ａ上のアドレスと、歪み検出パターン２３が実際に取得される撮像素子１１ａ上のアドレスとが一致するように、配置情報信号処理手段３３５によって、撮像素子１１ａで取得された画像を電気的に処理する。
【００８９】
なお、ステップＳ２１ないしＳ２３の処理において、撮像素子１１ａ上のアドレスとして、各位置検出用パターンが存在するアドレスを補正するものとして説明したが、撮像素子１１ａ上のアドレスとして、各位置検出用パターンが存在しないアドレスを補正するようにすることもできる。この場合には、例えば、各位置検出用パターンが存在するアドレスから、各位置検出用パターンが存在しない所定のアドレスまでの距離を係数として、補正情報を線形内挿することで算出したアドレスが、基準アドレスと一致するか否かに基づいて補正する。
【００９０】
ここでは、ステップＳ２１〜Ｓ２３の処理が、撮像素子１１ａに対してのみ実施された場合を想定しているので、続けて、撮像素子１１間の位置ずれ検出および補正について説明する。撮像素子１１間の配置が正しい位置からずれている場合には、画像の色ずれ、いわゆるレジずれ（registrationのずれ）が生じてしまう。以下のステップＳ２４およびＳ２５の処理は、これを防ぐための処理である。なお、ステップＳ２１〜Ｓ２３の処理において、すべての撮像素子１１ａ〜１１ｄと、レンズアレイ５とが厳密に位置調整されていれば、ステップＳ２４およびＳ２５の処理は不要である。
【００９１】
ステップＳ２３に続いて、立体画像撮像位置調整装置３は、位置ずれ検出パターン２５ａ〜２５ｈ（図３参照）から、撮像装置６内の撮像素子１１間の位置ずれを検出し、撮像素子移動手段１２を用いて、位置ずれを補正する（ステップＳ２４）。すなわち、立体画像撮像位置調整装置３は、一致判別手段３３３によって、各撮像素子１１ａ〜１１ｄで取得された画像から、各位置ずれ検出パターン２５ａ〜２５ｈの中心位置を検出し、各撮像素子１１ａ〜１１ｄで取得される各位置ずれ検出パターン２５ａ〜２５ｈの中心位置のアドレスが、基準画像位置情報記憶手段３２４（図５参照）に保存されているアドレスと一致するように、撮像素子移動手段１２によって撮像素子１１の位置を調整する。なお、ステップＳ２４において、撮像素子移動手段１２によって撮像素子１１の位置を調整する代わりに、結像手段群移動手段４によりレンズアレイ５の位置を調整するようにしてもよい。
【００９２】
ステップＳ２４に続いて、立体画像撮像位置調整装置３は、撮像素子１１の出力信号において、撮像素子１１間の位置ずれを微調整する（ステップＳ２５）。すなわち、撮像素子移動手段１２による機械的な調整の後に残存する位置ずれについては、立体画像撮像位置調整装置３は、配置情報信号処理手段３３５によって、撮像素子１１ａ〜１１ｄでそれぞれ取得された画像に対応する信号を電気的に処理することで補正する。これにより、撮像位置調整処理が完了する。
【００９３】
ステップＳ２５が完了している前提において、立体画像撮像位置調整装置３は、画像シフト処理を実行する。まず、立体画像撮像位置調整装置３は、画素ずれ検出パターン（例えば２６ａ）に基づいて、２つの撮像素子１１ａ，１１ｂの位置関係を検出し、撮像素子移動手段１２ａ（あるいは１２ｂ）を用いて、２つのシフト用画像を半画素シフトする（ステップＳ２６）。そして、立体画像撮像位置調整装置３は、撮像素子１１ａ，１１ｂの出力信号において、２つのシフト用画像が半画素ずれるように微調整する（ステップＳ２７）。なお、ステップＳ２１ないしＳ２７の処理において、必要に応じて、立体画像撮像位置調整装置３から、補正情報等が撮像素子移動手段１２（または結像手段群移動手段４や撮像用レンズ移動手段８）にフィードバックされる。
【００９４】
第１実施形態によれば、レンズアレイ５の位置を示す各位置検出用パターンが、被写体の立体情報を取得するときには実質的に妨げとはならない領域に配置されるので、２つの撮像素子１１ａ，１１ｂで取得されるそれぞれの撮影画像の空間的な相対位置を半画素ずらす処理を撮影中であっても行うことができる。
【００９５】
（第２実施形態）
第２実施形態の立体画像撮影システムは、図１に示したものと同じ構成であり、また、立体画像撮像位置調整装置は、２つの撮像素子１１ａ，１１ｂによって取得された各画像を半画素ずらす処理（画像シフト処理）において、撮像素子１１ａと撮像素子１１ｂとの空間的な相対位置をずらす手法が第１実施形態のものと異なるだけで、図５に示したものと同様な構成である。そのため、以下では、構成の図面を省略し、同じ符号を用いて第１実施形態と異なる機能だけを説明する。
【００９６】
第２実施形態の立体画像撮像位置調整装置３は、画像シフト処理において、第１実施形態と同様に画素ずれ検出パターン２６ａ〜２６ｈ（図４参照）を用いる。ここでは、説明を簡単にするために、水平方向の画素ずれを検出するための画素ずれ検出パターン２６ａを用いた画像シフト処理について図１０を参照して説明する。図１０は、第２実施形態に係る立体画像撮像位置調整装置による画像シフト処理の説明図である。
【００９７】
図１０には、仮想凸レンズ６０と、撮像素子１１ａが画素ずれ検出パターン２６ａを撮像することで取得される入力画像情報６１ａと、撮像素子１１ｂが画素ずれ検出パターン２６ａを撮像することで取得される入力画像情報６１ｂとが示されている。
【００９８】
画素ずれ判別手段３４１は、撮像素子１１ａ，１１ｂによりそれぞれ取得される入力画像情報６１ａ、６１ｂを、仮想凸レンズ６０から充分離れた位置に合焦状態で結像させ、像の光強度分布６２ａ、６２ｂをそれぞれ算出する。また、画素ずれ判別手段３４１は、それぞれの光強度分布６２ａ、６２ｂをフーリエ変換し、その位相スペクトルから、光強度分布６２ａと光強度分布６２ｂとの位相差（算出位相差）ＰCを算出する。この画素ずれ判別手段３４１によって仮想凸レンズ６０を用いた処理を実行する前の位相差（入力位相差）ＰINは、撮像素子１１ａと撮像素子１１ｂとの空間的な相対位置に応じて異なる。図１０に示すように、入力画像情報６１ａと入力画像情報６１ｂにおいては微小な位相差（入力位相差）ＰINであった情報が、仮想凸レンズ６０から充分離れた位置で結像された像の光強度分布６２ａと光強度分布６２ｂにおいては大きな位相差ＰCとなる。
【００９９】
ここで、入力画像情報６１ａ，６１ｂおよび光強度分布６２ａ，６２ｂは、二次元的な情報から構成されるものであるが、図１０においては、視認性を考慮して、入力画像情報６１ａ，６１ｂおよび光強度分布６２ａ，６２ｂのある一断面を図示した。なお、入力画像情報６１ａ、６１ｂを入力画像とし、仮想凸レンズ６０により結像される像の光強度分布６２ａ，６２ｂを算出する手法については、例えば、「小山、西原、“光波電子工学”、コロナ社、1978」に記載されている。
【０１００】
基準画像位置情報記憶手段３２４は、基準画像位置情報として、以下の位相差を記憶する。すなわち、この位相差は、画素ずれ検出パターン２６ａを撮像することで２つの撮像素子１１ａ，１１ｂによって取得される各画像が半画素ずれた状態となるときに対応した、撮像素子１１ａと撮像素子１１ｂとの空間的な相対位置が実現する配置において、仮想凸レンズ６０を用いて算出されるそれぞれの光強度分布の位相差である。
【０１０１】
移動量算出手段３４２は、画素ずれ判別手段３４１によって算出される、光強度分布６２ａと光強度分布６２ｂとの位相差ＰCと、基準画像位置情報記憶手段３２４に記憶された基準画像位置情報としての位相差とが、一致するように、撮像素子１１ａ（または１１ｂ）の移動量を算出する。
【０１０２】
以上の説明では、水平方向の画素ずれを検出するための画素ずれ検出パターン２６ａを用いて説明したが、水平方向の画素ずれを検出するための画素ずれ検出パターン２６ｂ〜２６ｄや、垂直方向の画素ずれを検出するための画素ずれ検出パターン２６ｅ〜２６ｈを用いて調整することで、より精度の高い位置調整を行うことができる。
【０１０３】
第２実施形態によれば、２つの撮像素子１１ａ，１１ｂによって取得される各画像が正確に半画素ずれた状態となるときに対応した、撮像素子１１ａと撮像素子１１ｂとの空間的な相対位置が実現する配置を実現するための画像情報における微小なずれを、仮想凸レンズ６０を用いて拡大させることで、撮像素子移動手段１２の制御が容易で、かつ精度の高い制御が可能となる。
【０１０４】
（第３実施形態）
第３実施形態の立体画像撮影システムは、図１に示したものと同じ構成であり、また、立体画像撮像位置調整装置は、画像シフト処理において、撮像素子１１ａと撮像素子１１ｂとの空間的な相対位置をずらす手法が第２実施形態のものと異なるだけなので、以下では、第２実施形態と異なる機能だけ説明する。
【０１０５】
第３実施形態の立体画像撮像位置調整装置３は、画素ずれ検出パターン２６ａ〜２６ｈ（図４参照）を利用しない。したがって、第３実施形態の立体画像撮影システムでは、画素ずれ検出パターン２６ａ〜２６ｈ（図４参照）を備えていなくてもよい。その代わり、画像シフト処理において、２つの撮像素子１１ａ，１１ｂによる撮影画像を半画素ずらすために利用される位置検出用パターンとして、図３に示した位置ずれ検出パターン２５ａ〜２５ｈを用いる。なお、図３に示した位置ずれ検出パターン２５ａ〜２５ｈは、撮像位置調整処理にも用いられる。第３実施形態では、画素ずれ検出パターン２６ａ〜２６ｈの機能を位置ずれ検出パターン２５ａ〜２５ｈで代替するので、この意味において、位置ずれ検出パターン２５ａ〜２５ｈのことを、以下では、画素ずれ検出パターン２５ａ〜２５ｈと呼称する。なお、同じ符号を用いている。また、画素ずれ検出パターン２５ａ〜２５ｈの図示は省略する。ここでは、説明を簡単にするために、画素ずれ検出パターン２５ａを用いた画像シフト処理について図１０を参照して説明する。
【０１０６】
図１０に示す入力画像情報６１ａ，６１ｂは、第３実施形態では、撮像素子１１ａ，１１ｂが画素ずれ検出パターン２５ａをそれぞれ撮像することで取得される画像情報を意味する。なお、画素ずれ判別手段３４１によって仮想凸レンズ６０を用いた処理を実行する前の位相差（入力位相差）ＰINは、撮像素子１１ａと撮像素子１１ｂとの空間的な相対位置に応じて異なる。
【０１０７】
画素ずれ判別手段３４１は、第２実施形態と同様にして、取得した入力画像情報６１ａ，６１ｂについての光強度分布６２ａ，６２ｂを算出し、仮想凸レンズ６０によって拡大された位相差を求める。
基準画像位置情報記憶手段３２４は、基準画像位置情報として、以下の位相差を記憶する。すなわち、この位相差は、画素ずれ検出パターン２５ａを撮像することで２つの撮像素子１１ａ，１１ｂによって取得される各画像が半画素ずれた状態となるときに対応した、撮像素子１１ａと撮像素子１１ｂとの空間的な相対位置が実現する配置において、仮想凸レンズ６０を用いて算出されるそれぞれの光強度分布の位相差である。
移動量算出手段３４２は、画素ずれ判別手段３４１によって算出される、光強度分布６２ａと光強度分布６２ｂとの位相差ＰCと、基準画像位置情報記憶手段３２４に記憶された基準画像位置情報としての位相差とが一致するように、撮像素子１１ａ（または１１ｂ）の移動量を算出する。
【０１０８】
以上の説明では、画素ずれ検出パターン２５ａを用いて説明したが、画素ずれ検出パターン２５ｂ〜２５ｈを用いて調整することで、より精度の高い位置調整を行うことができる。このように精度の高い位置検出を行う場合に、第２実施形態で用いた画素ずれ検出パターン２６ａ〜２６ｈでは、水平方向の画素ずれを検出する専用のパターンと、垂直方向の画素ずれを検出する専用のパターンとを用意しておかなければならなかった。
しかしながら、第３実施形態で用いる画素ずれ検出パターン２５ａ〜２５ｈは、それぞれ形状が同一であり、輝度値が二次元状に変化するパターンであるので、水平方向の画素ずれを検出する場合に利用できると共に、垂直方向の画素ずれを検出する場合にも利用できる。
【０１０９】
（第４実施形態）
図１１は、本発明の立体画像撮像システムの他の例を模式的に示す構成図である。図１１に示すように、第４実施形態の立体画像撮影システム１Ｃでは、レンズアレイ５に外枠が設けられておらず、レンズアレイ５の外周部に位置検出用光学系７０ａ〜７０ｄを備え、立体画像撮像位置調整装置３Ｃの機能が異なる点を除いて、図１に示した第１実施形態のシステムと同様なので、同じ構成には同じ符号を付して説明を省略する。
【０１１０】
位置検出用光学系７０ａ〜７０ｄは、位置検出用パターンとして機能するものである。これら位置検出用光学系７０ａ〜７０ｄは、レンズアレイ５を構成するレンズ５ａのうち最も外側に配置されたレンズ５ａの被写体側に予め接続され、接続されたレンズ５ａを透過する光が光軸に対して直交する方向に向かって輝度分布が変化するように構成されている。また、位置検出用光学系７０ａ，７０ｂ，７０ｃ，７０ｄは、レンズアレイ５の左上隅、右上隅、右下隅、左下隅にそれぞれ配置されたレンズ５ａに対応するように接続されている。
【０１１１】
なお、位置検出用光学系７０の個数や配置は、これに限定されるものではなく、例えば、レンズアレイ５の外周部のうち四隅を除く、四辺の所定位置に配置されるように構成してもよい。また、レンズアレイ５には縦横に例えば１千〜数万個のレンズ５ａが配列されるので、被写体の立体情報を取得するときに実質的に妨げとならなければ、位置検出用光学系７０ａ〜７０ｄはレンズアレイ５のうち最も外側から数えて２番目，３番目，…等に配置されたレンズ５ａに設けても構わない。また、位置検出用光学系７０ａ〜７０ｄを移動させる移動手段を備えるように構成してもよい。以下、区別しない場合には、位置検出用光学系７０と表記する。
【０１１２】
図１２は、図１１に示した位置検出用光学系の一例を模式的に示す構成図である。図１２では、位置検出用光学系７０およびレンズ５ａの断面が示されている。レンズ５ａは、レンズアレイ５を構成する要素である。位置検出用光学系７０は、ピンホール７１とコリメータレンズ７２とを備える。ピンホール７１とコリメータレンズ７２との間の距離Ｆは、コリメータレンズ７２の焦点距離（あるいは、略焦点距離）に設定される。このような配置では、被写体側（図１２中左側）から入射する光は、レンズ５ａを通過後に、図３に示した位置ずれ検出パターン２５ａ〜２５ｈと同様の、領域の中心位置で輝度値が最も高く、周辺に行くにしたがって二乗特性で輝度値が減少するパターンが生成され、このパターンを撮像装置６で取得することができる。
【０１１３】
したがって、立体画像撮像位置調整装置３Ｃは、図３に示した位置ずれ検出パターン２５ａ〜２５ｈを、位置検出用光学系７０に置き換えるだけで、第１実施形態と同様にして撮像位置調整処理を行うことができる。また、第３実施形態で説明したように、図３に示した位置ずれ検出パターン２５ａ〜２５ｈを、画素ずれ検出パターンとして利用することができるので、画素ずれ検出パターン２５ａ〜２５ｈを、位置検出用光学系７０に置き換えるだけで、第３実施形態と同様にして画像シフト処理を行うことができる。
【０１１４】
図１３は、図１１に示したレンズアレイと撮像素子との位置合わせ等の撮像位置調整処理に利用される位置検出用パターンの一例を示す図である。図１３に示すように、レンズアレイ５のレンズ５ａが配置されていない領域に、図２に示した歪み検出パターン２３および中央位置検出パターン２４が配置されている。本実施形態では外枠９（図２参照）が存在しないため、図２に示した楔形パターン２１ａ〜２１ｄも存在しない。なお、図２に示した楔形パターン２１ａ〜２１ｄの機能は、位置検出用光学系７０が代替することができる。
【０１１５】
次に、立体画像撮像位置調整装置３Ｃの動作について図１４を参照して説明する。図１４は、第４実施形態に係る立体画像撮像位置調整装置の動作の具体例を示すフローチャートである。立体画像撮像位置調整装置３Ｃが実行するステップＳ３１〜Ｓ３７は、図９に示したステップＳ２１〜Ｓ２７と実質的に同様なので詳細な説明を省略する。ただし、ステップＳ３２において、立体画像撮像位置調整装置３Ｃは、楔形パターン２１ａ〜２１ｈ（図２参照）の代わりに、位置検出用光学系７０の画像情報から、抽出画像の微調整を行う。
【０１１６】
また、ステップＳ３４において、立体画像撮像位置調整装置３Ｃは、位置ずれ検出パターン２５ａ〜２５ｈ（図３参照）の代わりに、位置検出用光学系７０の画像情報から、撮像素子１１間の位置ずれを検出し、撮像素子移動手段１２を用いて、位置ずれを補正する。さらに、ステップＳ３６において、立体画像撮像位置調整装置３Ｃは、画素ずれ検出パターン２６ａ〜２６ｈ（図４参照）の代わりに、位置検出用光学系７０の画像情報から、撮像素子１１ａ，１１ｂ間の画素ずれを検出し、撮像素子移動手段１２を用いて、半画素ずれるように補正する。
【０１１７】
これらステップＳ３２，Ｓ３４およびＳ３６の処理で用いられる位置検出用光学系７０の画像情報の一例を図１５に示す。図１５は、撮像装置６が、レンズアレイ５を介して被写体を撮影するときに撮像素子１１で取得される、レンズアレイ５の画像情報の一例を示している。図１５に示すように、レンズアレイ５を構成するレンズ５ａのうち、最外周の四隅に配置されたレンズ５ａは、位置検出用光学系７０を反映した撮影画像８１ａ〜８１ｄとなる。なお、図１５では、撮影画像８１ａ〜８１ｄをハッチングで簡略化して示したが、撮影画像８１ａ〜８１ｄは、図３に示す位置ずれ検出パターン２５ａ〜２５ｄのような輝度分布を有している。
【０１１８】
第４実施形態によれば、撮像位置調整処理を行うための位置検出用パターンが位置検出用光学系７０によって形成されているので、レンズアレイ５に、位置検出用パターンを貼り付ける外枠等を設ける必要がない。また、位置検出用光学系７０が輝度分布を有しているので、位置検出用光学系７０の画像情報を画像シフト処理にも利用することができる。したがって、位置検出用光学系７０に２種類の機能を持たせることで、位置検出用パターンの種類や個数を低減させることができる。
【０１１９】
以上、各実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を変えない範囲でさまざまに実施することができる。例えば、各実施形態では、撮像素子１１間の位置ずれを検出するための位置検出用パターンとして図３を参照して位置ずれ検出パターン２５ａ〜２５ｈを用いて説明したが、本発明は、位置ずれ検出パターン２５ａ〜２５ｈの形状、個数、配置場所、輝度分布特性に限定されるものではない。例えば、形状として、Ｖ字やＸ字等の文字や楔形の二値パターンを利用することもできる。この場合には、一致判別手段３３３は、円形の位置ずれ検出パターン２５ａ〜２５ｈのように中心位置を検出するのではなく、Ｖ字やＸ字等の文字や楔形の２値パターンの形状に合わせて、例えば、その形状の下底部の中央、上底部の中央、上底部の左端や右端、下底部の左端や右端等のポイント位置のアドレスを検出することで、対応する基準アドレスとの一致判定を行うこともできる。これにより、同等の効果を奏することができる。
【０１２０】
また、各実施形態では、４つの撮像素子１１のうち、撮像素子１１ａ，１１ｂが緑色に対応する同色用撮像素子であるものとして説明したが、これは一例であって、２つの同色用撮像素子に対応する色は、例えば、青でも赤でもよい。
【０１２１】
また、各実施形態では、レンズアレイ５を構成する各レンズ５ａを同一平面上に配置するものとしたが、同一曲面上に配置してもよい。また、レンズアレイ５を構成するレンズ５ａは、特に限定されるものではなく、凸レンズ、ボールレンズ、屈折率分布レンズ、回折光学素子、凹レンズ、あるいは、これらの組み合せでもよい。ここで、屈折率分布レンズは、例えば、中心から外周に向かって屈折率が異なるＧＲＩＮ（Gradient-index）レンズである。また、回折光学素子は、例えばフレネルレンズである。なお、凹レンズは、他のレンズと適宜組み合わせて用いられる。
【図面の簡単な説明】
【０１２２】
【図１】本発明の第１実施形態に係る立体画像撮影システムの一例を模式的に示す構成図である。
【図２】図１に示したレンズアレイと撮像素子との位置合わせ等に利用される位置検出用パターンの一例を示す図である。
【図３】図１に示した撮像素子間の位置合わせに利用される位置検出用パターンの一例を示す図である。
【図４】図１に示した２つの撮像素子による画像を半画素ずらすために利用される位置検出用パターンの一例を示す図である。
【図５】第１実施形態に係る立体画像撮像位置調整装置の構成を示すブロック図である。
【図６】第１実施形態に係る立体画像撮像位置調整装置による撮像位置調整処理を示すフローチャートである。
【図７】位置ずれや画素ずれを説明するための位置検出用パターンの画像の一例を示す図である。
【図８】第１実施形態に係る立体画像撮像位置調整装置による画像シフト処理を示すフローチャートである。
【図９】図６に示した撮像位置調整処理の具体的な一例を示すフローチャートである。
【図１０】第２実施形態に係る立体画像撮像位置調整装置による画像シフト処理の説明図である。
【図１１】本発明の立体画像撮像システムの他の例を模式的に示す構成図である。
【図１２】図１１に示した位置検出用光学系の一例を模式的に示す構成図である。
【図１３】図１１に示したレンズアレイと撮像素子との位置合わせ等に利用される位置検出用パターンの一例を示す図である。
【図１４】第４実施形態に係る立体画像撮像位置調整装置の動作の具体例を示すフローチャートである。
【図１５】位置検出用光学系の画像情報の一例を示す図である。
【図１６】従来のｌＰ方式による立体画像の撮影および再生を模式的に示す説明図であり、（ａ）は立体画像撮影装置、（ｂ）は立体画像表示装置をそれぞれ示している。
【符号の説明】
【０１２３】
１，１Ｃ 立体画像撮影システム
２ 立体画像撮影装置
３，３Ｃ 立体画像撮像位置調整装置
４ 結像手段群移動手段
５ レンズアレイ（結像手段群）
５ａ レンズ（結像手段）
６ 撮像装置
７ 撮像用レンズ
８ 撮像用レンズ移動手段
９ 外枠
１１（１１ｃ，１１ｄ） 撮像素子
１１ａ，１１ｂ 撮像素子（同色用撮像素子）
１２（１２ａ〜１２ｄ） 撮像素子移動手段
２１ａ〜２１ｈ 楔形パターン（位置検出用パターン）
２３ 歪み検出パターン（位置検出用パターン）
２４ 中央位置検出パターン（位置検出用パターン）
２５ａ〜２５ｄ 位置ずれ検出パターン（位置検出用パターン）
２６ａ〜２６ｈ 画素ずれ検出パターン（位置検出用パターン）
３２３ 抽出条件記憶手段
３２４ 基準画像位置情報記憶手段
３２５ 立体画像情報記憶手段
３３１ 画像抽出手段
３３１ａ 立体画像情報抽出手段
３３１ｂ パターン画像抽出手段
３３１ｃ シフト用画像抽出手段
３３２ 立体画像情報管理手段
３３３ 一致判別手段
３３４ 補正量算出手段
３３５ 配置情報信号処理手段
３４１ 画素ずれ判別手段
３４２ 移動量算出手段
３４３ シフト量信号処理手段
３５１ 駆動制御手段
７０（７０ａ〜７０ｄ） 位置検出用光学系
７１ ピンホール
７２ コリメータレンズ
【技術分野】
【０００１】
本発明は、被写体の立体情報を取得する立体画像撮影装置に係り、特に被写体を撮影する際に撮像素子の位置を調整する技術に関する。
【背景技術】
【０００２】
一般に、レンズアレイ（微小な光学素子アレイ）や空間フィルタ（微小な開口アレイ）を通して被写体の立体情報を取得する手法、いわゆるインテグラルフォトグラフィ（Integral Photography）方式（以下、ＩＰ方式という）の立体画像撮影装置が知られている。この立体画像撮影装置で取得された画像を再生する立体画像表示装置を用いると、任意の視点から自由に立体像（立体再生像）を見ることが可能な立体テレビジョン方式を実現することができる。
【０００３】
ｌＰ方式に基づいてレンズアレイを用いて行う通常の立体画像撮影について図１６を参照して説明する。図１６は、従来のｌＰ方式による立体画像の撮影および再生を模式的に示す説明図であり、（ａ）は立体画像撮影装置、（ｂ）は立体画像表示装置をそれぞれ示している。図１６（ａ）に示すように、立体画像撮影装置１００は、レンズ群（レンズアレイ）１０１と、撮像板１０２とを備えている。レンズ群１０１は、同一平面上に配置された複数のレンズ（凸レンズ）Ｌからなる。撮像板１０２は、基板上に配設された複数の撮像素子を備えて構成された情報取得デバイスである。各撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）撮像素子である。また、図１６（ｂ）に示すように、立体画像表示装置２００は、レンズ群２０１と、表示素子２０２とを備えている。レンズ群２０１は、同一平面上に配置された複数のレンズ（凸レンズ）Ｌ′からなる。表示素子２０２は、例えば液晶パネル等の情報表示デバイスから構成されている。
【０００４】
図１６（ａ）に示した立体画像撮影装置１００は、矢印で示す撮影方向１４１からレンズ群１０１を介して被写体１２１，１２２を撮影する。ここで、撮影方向１４１は、立体画像撮影装置１００がレンズ群１０１の前方（図１６（ａ）では左方）に配置された被写体１２１，１２２を撮影する方向である。このとき、レンズ群１０１の後方（図１６（ａ）では右方）の撮像板１０２には、レンズ群１０１を構成するレンズＬの個数と同じ個数だけ被写体１２１，１２２の像、例えば、像１６１，１６２等が結像する。
【０００５】
図１６（ｂ）に示した立体画像表示装置２００は、立体画像撮影装置１００によって取得された像２６１，２６２を表示素子２０２に表示する。ここで、奥行きが反転してしまう逆視像を回避するために、像２６１，２６２は、立体画像撮影装置１００のレンズ群１０１を構成する各レンズＬで結像される像１６１，１６２を点対称の位置に変換したものである。この立体画像表示装置２００において、表示素子２０２は、撮影時に撮像板１０２を配置した位置に置かれ、レンズ群２０１は撮影時と同じ位置に置かれる。このようにレンズ群２０１と表示素子２０２とが配置された状態で、観察者が矢印で示す観察方向２４１からレンズ群２０１を眺めると、立体像２２１，２２２を観察することができる。ここで、観察方向２４１は、観察者がレンズ群２０１の前方（図１６（ｂ）では左方）から表示素子２０２を眺める方向である。
【０００６】
ＩＰ方式では、高精細な立体画像を表示（再生）するために、一般に、撮影時において、画素数の非常に大きい撮像素子を用いなければならないが、そのようなデバイスは一般に高価である。高精細な立体画像の表示に関連して、２次元画像の表示技術の分野では、従来、撮像素子の画素数を変えることなく高解像度を実現する技術が知られている（非特許文献１参照）。
【０００７】
非特許文献１に記載された映像システムにおいて、撮影側のビデオカメラ内には、赤波長用（Ｒ）、緑波長用（Ｇ１，Ｇ２）および青波長用（Ｂ）の４つの撮像素子が互いに異なる位置に配置されて備えられている。また、表示側のプロジェクタ内には、赤波長用（Ｒ）および青波長用（Ｂ）の２つの撮像素子と、緑波長用（Ｇ１，Ｇ２）の２つの撮像素子とに、別々に信号が入力するように構成され、いわゆる「斜め画素ずらし」によって、高精細画像の表示を可能としている。なお、「斜め画素ずらし」は、緑波長用（Ｇ１，Ｇ２）の２つの撮像素子で取得されるそれぞれの撮影画像の空間的な相対位置を半画素ずらすものである。これにより、等価的に走査線の本数が増加することとなる。本明細書では、この半画素ずらす処理を「画像シフト処理」と呼ぶ場合がある。
【０００８】
このような高解像度をＩＰ方式の立体像で実現する場合には、撮影時および再生時において、正確な位置合わせがなされていることを前提とする。なお、本明細書では、このような位置合わせのことを、前記した画像シフト処理と区別するために、「撮像位置調整処理」と呼ぶ場合がある。例えば、図１６（ａ）に示したレンズ群１０１と撮像板１０２との位置関係と、図１６（ｂ）に示したレンズ群２０１と表示素子２０２との位置関係とが一致せずに、相対的な位置ずれがある場合には、立体像を再生する際に、撮影時の被写体の位置に立体像を正しく再生することができない。このような撮像位置調整処理に関連して、従来、テレビジョンカメラの位置を機械的に補正したり、あるいは取得画像を電気的に処理したりすることで、このような相対的な位置ずれを調整、補正する技術が知られている（特許文献１参照）。なお、特許文献１に記載の立体撮像装置では、テレビジョンカメラ内に複数の撮像素子が備えられている場合に、各撮像素子の相対位置のずれを解消することができない。また、立体撮像装置では、各撮像素子の相対位置が異なるためにフォーカス状態が悪い場合に、電気信号の補正では相対位置のずれを解消することが困難である。
【特許文献１】特開平９−５５９６１号公報（段落００１６−００１７、図３）
【非特許文献１】M.Sugawara et al.,Proc. SPIE, vol. 3653, p.1404-1411, 1999
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ＩＰ方式において高精細な立体画像を再生するために、撮影時において、高精細なテレビジョンカメラを使用してレンズアレイや空間フィルタを通して被写体の立体情報を実時間で取得することが要望されている。しかしながら、非特許文献１に記載の映像システムは、被写体の情報を実時間で取得するものでない。この映像システムでは、予め撮影された位置検出用パターンがディスプレイに表示され、これに基づいて、２つの撮像素子で取得されるそれぞれの撮影画像の空間的な相対位置を正確に半画素ずらすように表示素子の位置合わせが行われる。そして、位置合わせが完了した後で被写体が撮影される。つまり、非特許文献１に記載の映像システムでは、撮影中には、半画素ずらす処理（画像シフト処理）を行うことができないという問題がある。
【００１０】
本発明は、以上のような問題点に鑑みてなされたものであり、２つの撮像素子で取得されるそれぞれの撮影画像の空間的な相対位置を半画素ずらす処理を撮影中であっても行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の立体画像撮像位置調整装置は、結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置に備えられた２つの撮像素子でそれぞれ取得された各画像を互いに半画素ずらす立体画像撮像位置調整装置であって、画像抽出手段と、画素ずれ判別手段と、移動量算出手段と、駆動制御手段とを備えることとした。
【００１２】
かかる構成によれば、立体画像撮像位置調整装置は、画像抽出手段によって、前記結像手段群の位置を示す位置検出用パターンと前記被写体とを共に前記各撮像素子によって撮像することで取得された各画像から前記位置検出用パターンの画像をそれぞれ抽出する。ここで、結像手段群を構成する結像手段は、レンズまたは空間フィルタ（微小開口）である。例えば、結像手段がレンズの場合には、結像手段群であるレンズアレイは、平面状あるいは曲面状に配列される。また、撮像素子は、例えば、ＣＣＤ撮像素子である。また、位置検出用パターンは、結像手段群と撮像装置との位置合わせ、各撮像素子間の位置合わせ、撮像用レンズの位置合わせのうちの少なくとも１つを実行するために利用されるものである。この位置検出用パターンは、例えば、結像手段群の配設された領域の外側や、結像手段群を構成する結像手段の配置されていない領域に設けられている。あるいは、結像手段群を構成する結像手段のうち最も外側に配置された結像手段に設けたとしても、被写体の立体情報を取得するときには実質的に妨げとはならないので、このように構成してもよい。さらに、位置検出用パターンは、その形状や個数が限定されるものではない。かかる構成の立体画像撮像位置調整装置は、撮像装置によって、被写体の立体情報と位置検出用パターンの画像情報とを取得する。
【００１３】
そして、立体画像撮像位置調整装置は、画素ずれ判別手段によって、前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれているか否かを判別し、移動量算出手段によって、前記各位置検出用パターンの画像が互いに半画素ずれていない場合に、前記抽出された位置検出用パターンの画像が互いに半画素ずれるように前記撮像素子の位置をシフトするための移動量を算出する。そして、立体画像撮像位置調整装置は、駆動制御手段によって、前記算出された移動量に基づいて、前記撮像素子を移動させる撮像素子移動手段に駆動信号を出力する。これにより、各撮像素子で抽出された位置検出用パターンの画像が互いに半画素ずれるように撮像素子が移動する。位置検出用パターンは、結像手段群の位置を示すものであって、被写体の立体情報を取得するときには実質的に妨げとはならない領域に配置されるので、２つの撮像素子で取得されるそれぞれの撮影画像の空間的な相対位置を半画素ずらす処理を撮影中であっても行うことができる。
【００１４】
また、請求項２に記載の立体画像撮像位置調整装置は、請求項１に記載の立体画像撮像位置調整装置において、シフト量信号処理手段をさらに備えることとした。
【００１５】
かかる構成によれば、立体画像撮像位置調整装置は、シフト量信号処理手段によって、前記移動量算出手段で算出された情報に基づいて、前記撮像素子から出力される撮像された画像を示す画像信号を処理することで、前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれるように調整する。したがって、立体画像撮像位置調整装置は、撮像素子移動手段によって機械的な処理をさせるだけではなく、各撮像素子から出力される画像信号を電気的に処理することで、微細な位置合わせを精度よく実行できる。
【００１６】
また、請求項３に記載の立体画像撮像位置調整装置は、請求項１または請求項２に記載の立体画像撮像位置調整装置において、前記撮像手段が、色の３原色である赤色、緑色および青色のうちのいずれか１つの色に対応する同色用撮像素子を２つ有すると共に、前記３原色のうちの他の色に対応する色用の撮像素子を１つずつ有し、前記同色用撮像素子でそれぞれ取得された各画像を互いに半画素ずらすこととした。
【００１７】
かかる構成によれば、立体画像撮像位置調整装置は、撮像手段が、赤、緑および青のいずれかに対応する同色用撮像素子を２つ有しており、これら同色用撮像素子でそれぞれ取得された各画像を互いに半画素ずらすことで、高解像度を実現することができる。ここで、画像をずらす方向は、垂直方向でも水平方向でもよく、あるいは、その両方向でもよい。また、同色用撮像素子による画像を例えば垂直方向にずらすと共に、他の撮像素子による画像を水平方向に半画素ずらすようにしてもよい。
【００１８】
また、前記目的を達成するために、請求項４に記載の立体画像撮像位置調整方法は、結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置に備えられた２つの撮像素子でそれぞれ取得された各画像を互いに半画素ずらす立体画像撮像位置調整装置の立体画像撮像位置調整方法であって、画像抽出ステップと、画素ずれ判別ステップと、移動量算出ステップと、駆動制御ステップとを有することとした。
【００１９】
かかる手順によれば、立体画像撮像位置調整装置は、画像抽出ステップにて、前記結像手段群の位置を示す位置検出用パターンと前記被写体とを共に前記各撮像素子によって撮像することで取得された各画像から前記位置検出用パターンの画像をそれぞれ抽出する。そして、立体画像撮像位置調整装置は、画素ずれ判別ステップにて、前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれているか否かを判別し、移動量算出ステップにて、前記各位置検出用パターンの画像が互いに半画素ずれていない場合に、前記抽出された位置検出用パターンの画像が互いに半画素ずれるように前記撮像素子の位置をシフトするための移動量を算出する。そして、立体画像撮像位置調整装置は、駆動制御ステップにて、前記算出された移動量に基づいて、前記撮像素子を移動させる撮像素子移動手段に駆動信号を出力する。
【００２０】
また、請求項５に記載の立体画像撮像位置調整プログラムは、結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置に備えられた２つの撮像素子でそれぞれ取得された各画像を互いに半画素ずらすために、コンピュータを、画像抽出手段、画素ずれ判別手段、移動量算出手段、駆動制御手段、として機能させることとした。
【００２１】
かかる構成によれば、立体画像撮像位置調整プログラムは、画像抽出手段によって、前記結像手段群の位置を示す位置検出用パターンと前記被写体とを共に前記各撮像素子によって撮像することで取得された各画像から前記位置検出用パターンの画像をそれぞれ抽出する。そして、立体画像撮像位置調整プログラムは、画素ずれ判別手段によって、前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれているか否かを判別し、移動量算出手段によって、前記各位置検出用パターンの画像が互いに半画素ずれていない場合に、前記抽出された位置検出用パターンの画像が互いに半画素ずれるように前記撮像素子の位置をシフトするための移動量を算出する。そして、立体画像撮像位置調整プログラムは、駆動制御手段によって、前記算出された移動量に基づいて、前記撮像素子を移動させる撮像素子移動手段に駆動信号を出力する。
【００２２】
また、請求項６に記載の立体画像撮影システムは、結像手段群と、この結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置とを備える立体画像撮影装置と、前記撮像装置に備えられた撮像素子を移動させる撮像素子移動手段と、前記結像手段群の位置を示す位置検出用パターンと、請求項１ないし請求項３のいずれか一項に記載の立体画像撮像位置調整装置とを備えることを特徴とする。
【００２３】
かかる構成によれば、立体画像撮影システムでは、立体画像撮像位置調整装置によって、結像手段群と撮像装置との位置合わせ、各撮像素子間の位置合わせ、撮像用レンズの位置合わせのうちの少なくとも１つが実行されるので、立体画像撮影システムで取得された被写体の立体情報を再生するときに立体再生像のボケを低減させることができる。また、立体画像撮影システムでは、位置検出用パターンは、結像手段群の位置を示すものであって、被写体の立体情報を取得するときには実質的に妨げとはならない領域に配置されるので、２つの撮像素子で取得されるそれぞれの撮影画像の空間的な相対位置を半画素ずらす処理を撮影中であっても行うことができる。
【００２４】
また、請求項７に記載の立体画像撮影システムは、請求項６に記載の立体画像撮影システムにおいて、前記結像手段群の配設された領域の外側に外枠が設けられており、前記位置検出用パターンが、前記外枠に設けられていることとした。
【００２５】
かかる構成によれば、立体画像撮影システムでは、位置検出用パターンが、結像手段群の配設された領域の外側に設けられた外枠に設けられているので、被写体の立体情報を取得する際に、位置検出用パターンが妨げにならない。ここで、位置検出用パターンは、例えば、外枠に固着されるシート状の部材で形成されるか、印刷によって外枠に形成されるか、あるいは外枠に刻設されて形成される。
【００２６】
また、請求項８に記載の立体画像撮影システムは、請求項６に記載の立体画像撮影システムにおいて、前記外枠に表示装置が設けられており、前記位置検出用パターンが前記表示装置に表示されることとした。
【００２７】
かかる構成によれば、立体画像撮影システムでは、位置検出用パターンが、結像手段群の外枠に設けられた表示装置に表示されるので、被写体の立体情報を取得する際に、位置検出用パターンが妨げにならない。このように外枠に設けられた表示装置を用いることで、位置検出用パターンの形状や個数を容易に変更することができる。また、表示装置を用いることで、位置検出用パターンが必要ではないときには、位置検出用パターンの表示を取りやめたり、あるいは、他の必要な情報を表示したりすることが可能である。
【００２８】
また、請求項９に記載の立体画像撮影システムは、請求項６に記載の立体画像撮影システムにおいて、前記位置検出用パターンが、位置検出用光学系によって形成されていることとした。この位置検出用光学系は、前記結像手段群を構成する結像手段のうち最も外側に配置された結像手段の前記被写体側に予め接続され、前記接続された結像手段を透過する光が光軸に対して直交する方向に向かって輝度分布が変化するように構成されている。
【００２９】
かかる構成によれば、立体画像撮影システムでは、位置検出用パターンが、結像手段群を構成する結像手段のうち最も外側に配置された結像手段の被写体側に予め接続され位置検出用光学系によって形成されているので、結像手段群の配設された領域の外側に外枠を設ける必要がない。また、位置検出用光学系は、当該位置検出用光学系が接続された結像手段を透過する光が光軸に対して直交する方向に向かって輝度分布が変化するように構成されているので、位置検出用光学系からなる位置検出用パターンとして複雑な模様を実現することができる。ここで、輝度分布の変化の仕方は、例えば、中心位置で輝度値が最も高く、周辺に行くにしたがって二乗特性で輝度値が減少するようにしてもよいし、輝度分布が正弦波状に変化するようにしてもよい。仮に、点状のパターンあるいは一様な輝度を有したパターンといった単純なパターンを用いたとしたら、２つの撮像素子で抽出された位置検出用パターンの画像が互いに半画素ずれるように制御することはできない。しかしながら、このような輝度分布を有した位置検出用光学系を撮像した画像情報を用いれば、２つの撮像素子で抽出された位置検出用パターンの画像を互いに半画素ずらすことができる。したがって、位置検出用光学系によって、２つの撮像素子で抽出された位置検出用パターンの画像を互いに半画素ずらすときに必要な位置検出用パターンと、例えば、結像手段群と撮像装置との位置合わせといった単純な位置合わせ処理をするときに必要な位置検出用パターンとを兼務させることができる。その結果、位置検出用パターンの種類や個数を低減させることができる。
【発明の効果】
【００３０】
請求項１、請求項４、請求項５および請求項６に記載の発明によれば、結像手段群の位置を示す位置検出用パターンが、被写体の立体情報を取得するときには実質的に妨げとはならない領域に配置されるので、２つの撮像素子で取得されるそれぞれの撮影画像の空間的な相対位置を半画素ずらす処理を撮影中であっても行うことができる。
【００３１】
請求項２に記載の発明によれば、機械的な処理に加えて、各撮像素子から出力される画像信号を電気的に処理することで、微細な位置合わせを精度よく実行できる。
請求項３に記載の発明によれば、高解像度を実現することができる。
【００３２】
請求項７または請求項８に記載の発明によれば、被写体の立体情報を取得する際に、位置検出用パターンが妨げにならない。
請求項９に記載の発明によれば、２つの撮像素子で抽出された位置検出用パターンの画像を互いに半画素ずらすときに必要な位置検出用パターンと、単純な位置合わせをするときに必要な位置検出用パターンとを兼務させることができる。
【発明を実施するための最良の形態】
【００３３】
以下、図面を参照して本発明の立体画像撮像位置調整装置および立体画像撮影システムを実施するための最良の形態（以下「実施形態」という）について詳細に説明する。
【００３４】
（第１実施形態）
［立体画像撮影システムの概要］
図１は、本発明の第１実施形態にかかる立体画像撮影システムの一例を模式的に示す構成図である。立体画像撮影システム１は、図１に示すように、立体画像撮影装置２と、立体画像撮像位置調整装置３と、結像手段群移動手段４とを備えている。
立体画像撮影装置２は、レンズアレイ（結像手段群）５と、撮像装置６と、撮像用レンズ７とを備え、レンズアレイ５を用いて、被写体の立体情報を実時間で取得する。
立体画像撮像位置調整装置３は、後記するように、撮像装置６に備えられた２つの撮像素子１１ａ，１１ｂでそれぞれ取得された各画像を互いに正確に半画素ずらすために、２つの撮像素子１１ａ，１１ｂの相対的な位置を調整するものである。また、そのために、立体画像撮像位置調整装置３は、例えば、レンズアレイ５と撮像装置６との相対的な位置関係等を調整する。
結像手段群移動手段４は、レンズアレイ（結像手段群）５を移動させるものであり、例えば、圧電素子やステッピングモータなどを用いた電気制御可能なステージから構成される。
【００３５】
レンズアレイ（結像手段群）５は、図１に示すように、被写体（撮像対象物）を要素画像としてそれぞれ結像する複数（例えば、１千〜数万個）のレンズ（結像手段）５ａを平面状に配列して構成されている。なお、図１では、説明の都合上、レンズ５ａの配列を簡略化した形で表示している。
【００３６】
図１では、レンズアレイ５として、円形のレンズ５ａが千鳥配列されたレンズアレイを図示したが、レンズ形状は正方形あるいは六角形など他の形状でもよい。また、レンズ５ａの配列は、図示したように俵状に積む形式でもよいし、縦横に揃えた正方配列でもよい。また、結像手段群として、レンズアレイ５の代わりに、ピンホールが二次元状に配列されたピンホールアレイ（空間フィルタ）を用いてもよい。また、レンズアレイ５において互いに隣接するレンズ５ａの間に、隣接するレンズ５ａからクロスオーバーする余計な光の影響を受けないように、例えば、金属または合成樹脂からなる光学遮蔽部を配置するようにしてもよい。
【００３７】
撮像装置６は、レンズアレイ５により結像された被写体の各要素画像を撮像用レンズ７を介して撮像するものである。この撮像装置６は、レンズアレイ５を介して被写体を撮像するので、被写体の各要素画像を被写体の立体情報として取得すると共に、レンズアレイ５の外枠９等に設けられた位置検出用パターンの画像も取得する。
撮像用レンズ７は、撮像用レンズ移動手段８によって移動可能に構成されている。撮像用レンズ移動手段８は、撮像用レンズ７を移動させるものであり、例えば、圧電素子やステッピングモータなどを用いた電気制御可能なステージから構成される。
【００３８】
レンズアレイ５の配設された領域の外側には、外枠９が設けられている。この外枠９には、位置検出用パターンが設けられている。位置検出用パターンは、レンズアレイ５の位置を示すものであり、例えば、レンズアレイ５と撮像装置６との位置合わせや、撮像装置６内の後記する撮像素子１１間の位置合わせ、撮像用レンズ７の位置合わせのうちの少なくとも１つを実行するために利用されるものである。この位置検出用パターンは、後記するように、レンズアレイ５を構成するレンズ５ａの配置されていない領域（例えば、前記した光学遮蔽部等）に設けられている。
【００３９】
［撮像装置の構成］
撮像装置６は、例えば、高精細なテレビジョンカメラであり、ＲＧＢに対応した４個の撮像素子１１ａ〜１１ｄと、撮像素子移動手段１２ａ〜１２ｄとを備えている。撮像素子１１は、レンズアレイ５により結像された被写体の各要素画像をそれぞれ撮影するものであって、例えば、ＣＣＤ（Charge Coupled Device）撮像素子で構成される。この撮像素子１１は、解像度の比較的高い動画での立体画像の撮影に充分である高精細な画素数で構成されている。
【００４０】
撮像素子１１ａは、緑波長用（Ｇ１）の撮像素子であり、撮像素子１１ｂは、緑波長用（Ｇ２）の撮像素子である。撮像素子１１ａ，１１ｂは、緑色に対応する同色用撮像素子である。撮像素子１１ａ，１１ｂは、それぞれの撮影画像が半画素ずれるように、空間的な相対位置を正確にずらした状態で配置されている。なお、一般に撮像素子１１ａ，１１ｂの空間的な相対位置は、温度等の影響で微妙にずれることがある。また、撮像素子１１ｃは、赤波長用（Ｒ）の撮像素子であり、撮像素子１１ｄは、青波長用（Ｂ）の撮像素子である。以下、区別しない場合には、撮像素子１１と表記する。
【００４１】
撮像素子移動手段１２は、撮像素子１１を移動させるものであり、例えば、圧電素子やステッピングモータなどを用いた電気制御可能なステージから構成される。撮像素子移動手段１２ａは、撮像素子１１ａを移動させるものであり、撮像素子移動手段１２ｂは、撮像素子１１ｂを移動させる。また、撮像素子移動手段１２ｃは、撮像素子１１ｃを移動させるものであり、撮像素子移動手段１２ｄは、撮像素子１１ｄを移動させる。以下、区別しない場合には、撮像素子移動手段１２と表記する。なお、本実施形態では、撮像素子移動手段１２をすべての撮像素子１１にそれぞれ配置するものとしているが、これに限定されるものではない。仮に、撮像素子移動手段１２が設けられていない場合には、対応する撮像素子１１を固定して移動不可能な状態に保持するようにしてもよい。また、撮像素子１１および撮像素子移動手段１２の個数はこの限りではない。
【００４２】
［位置検出用パターンの例］
図２は、図１に示したレンズアレイと撮像素子との位置合わせ等に利用される位置検出用パターンの一例を示す図である。
＜楔形パターン＞
図２に示すように、外枠９において、レンズアレイ５との境界の各頂点には、楔形パターン（位置検出用パターン）２１ａ〜２１ｈが設けられている。楔形パターン２１ａ〜２１ｈは、撮像素子１１とレンズアレイ５との微少な位置ずれを検出するための位置検出用パターンである。
【００４３】
楔形パターン２１ａは、２つの楔形からなる。これらの楔形の一方は、鋭角の頂点が左方からレンズアレイ５の左上の頂点に重なり、他方の楔形は、鋭角の頂点が上方からレンズアレイ５の左上の頂点に重なっている。つまり、レンズアレイ５の左上の頂点が、２つの楔形の交点２２ａになっている。同様に、楔形パターン２１ｂは、２つの楔形の互いの鋭角の頂点が重なった交点２２ｂを有している。これらの楔形の一方は、鋭角の頂点が右方からレンズアレイ５の右上の頂点に重なり、他方の楔形は、鋭角の頂点が上方からレンズアレイ５の右上の頂点に重なっている。
【００４４】
また、同様に、楔形パターン２１ｃは、２つの楔形の互いの鋭角の頂点が重なった交点２２ｃを有している。これらの楔形の一方は、鋭角の頂点が右方からレンズアレイ５の右下の頂点に重なり、他方の楔形は、鋭角の頂点が下方からレンズアレイ５の右下の頂点に重なっている。また、同様に、楔形パターン２１ｄは、２つの楔形の互いの鋭角の頂点が重なった交点２２ｄを有している。これらの楔形の一方は、鋭角の頂点が左方からレンズアレイ５の左下の頂点に重なり、他方の楔形は、鋭角の頂点が下方からレンズアレイ５の左下の頂点に重なっている。
【００４５】
楔形パターン２１ｅは、１つの楔形から成り、この楔形の鋭角の頂点が上方からレンズアレイ５の上辺の中点２２ｅに重なっている。
楔形パターン２１ｆは、１つの楔形から成り、この楔形の鋭角の頂点が左方からレンズアレイ５の左辺の中点２２ｆに重なっている。
楔形パターン２１ｇは、１つの楔形から成り、この楔形の鋭角の頂点が右方からレンズアレイ５の右辺の中点２２ｇに重なっている。
楔形パターン２１ｈは、１つの楔形から成り、この楔形の鋭角の頂点が下方からレンズアレイ５の下辺の中点２２ｈに重なっている。
【００４６】
楔形パターン２１ａ〜２１ｅは、外枠９の位置検出用パターンの配置領域に、例えば、合成樹脂等のシート状の部材を接着または融着して貼り付けたり、あるいは、印刷されたり、直接彫刻されたりして固定される。ただし、これに限定されるものではなく、外枠９に、画像表示ディスプレイ等の表示装置を設けて、これら楔形パターン２１ａ〜２１ｅのような位置検出用パターンを表示装置に表示するように構成してもよい。なお、本実施形態は、好ましい実施形態として、これら楔形パターン２１ａ〜２１ｅを備えるものとして説明するが、これらを外枠９に必ずしも設ける必要はない。
【００４７】
＜歪み検出パターン＞
図２に示すように、レンズアレイ５内のレンズ５ａが形成されていない部分（隣り合ったレンズ５ａ間の部分）には、歪み検出パターン（位置検出用パターン）２３が設けられている。歪み検出パターン２３は、撮像用レンズ７の歪みを検出するための位置検出用パターンである。本実施形態では、歪み検出パターン２３は、図２に示すように、レンズアレイ５内の各レンズ５ａを取り囲む正六角形の形状を網目の一単位とした網目状にレンズアレイ５の全体を覆うように形成されている。歪み検出パターン２３の一単位の形状は、正六角形で限定されるものなく、その他の多角形でもよく、レンズアレイ５の中央などその一部分だけを覆うものでもよい。この歪み検出パターン２３は、例えば、合成樹脂等のシート状の部材を接着または融着して貼り付けたり、あるいは、印刷されたりして、レンズアレイ５に固定される。
【００４８】
＜中央位置検出パターン＞
図２に示すように、レンズアレイ５内のレンズ５ａが形成されていない部分のうち、レンズアレイ５のほぼ中央部分には、中央位置検出パターン（位置検出用パターン）２４が設けられている。中央位置検出パターン２４は、撮像素子１１とレンズアレイ５との位置ずれを検出するための位置検出用パターンである。本実施形態では、中央位置検出パターン２４は、一点から放射状に伸びた長さの等しい３本の線分で示されている。これら３本の線分のうちの隣り合う２本のなす角度は１２０度である。この中央位置検出パターン２４の３本の線分の交点によって、レンズアレイ５の中央が特定される。なお、中央位置検出パターン２４の形状は、これに限定されるものなく、例えば、レンズ５ａが正方配列される場合には４本の線分の交点によってレンズアレイ５の中央が特定されるように構成してもよい。この中央位置検出パターン２４は、例えば、合成樹脂等のシート状の部材を接着または融着して貼り付けたり、あるいは、印刷されたりして、レンズアレイ５に固定される。なお、中央位置検出パターン２４は、レンズアレイ５の中心に配置されることが好ましいが、それができない場合には、中心の近くで配置可能な位置に配置されていればよい。
【００４９】
図３は、図１に示した撮像素子間の位置合わせに利用される位置検出用パターンの一例を示す図である。ただし、図３には、図２を参照して説明した各位置検出用パターンが図示されていない。これは、視認性を考慮して図示を省略したためであって、図３には、前記した各位置検出用パターンも配置されているものとする。
【００５０】
＜位置ずれ検出パターン＞
図３に示すように、外枠９のレンズアレイ５の周辺部には、位置ずれ検出パターン（位置検出用パターン）２５ａ〜２５ｈが設けられている。位置ずれ検出パターン２５ａ〜２５ｈは、撮像素子１１ａ〜１１ｄ間の位置ずれを検出するためのパターンである。本実施形態では、位置ずれ検出パターン２５ａ〜２５ｈは、円形であり、円形の領域の中心で輝度値が最も高く、円形の領域の中心から半径に沿って離間していくにしたがって、輝度値が二乗特性で減少する。なお、輝度値が減少する変化の仕方はこれに限定されるものではなく、線形特性で減少するようにしてもよい。
【００５１】
位置ずれ検出パターン２５ａ，２５ｂは、外枠９の上辺をほぼ３等分にする位置にそれぞれ設けられている。
位置ずれ検出パターン２５ｃ，２５ｄは、外枠９の左辺または右辺をほぼ３等分にした位置のうちの上方にそれぞれ設けられている。
位置ずれ検出パターン２５ｅ，２５ｆは、外枠９の左辺または右辺をほぼ３等分にした位置のうちの下方にそれぞれ設けられている。
位置ずれ検出パターン２５ｇ，２５ｈは、外枠９の下辺をほぼ３等分にする位置にそれぞれ設けられている。
【００５２】
位置ずれ検出パターン２５ａ〜２１ｈは、外枠９の位置検出用パターンの配置領域に、例えば、合成樹脂等のシート状の部材を接着または融着して貼り付けたり、あるいは、印刷されたりして固定される。ただし、これに限定されるものではなく、外枠９に、画像表示ディスプレイ等の表示装置を設けて、これら位置ずれ検出パターン２５ａ〜２１ｈのような位置検出用パターンを表示装置に表示するように構成してもよい。
【００５３】
図４は、図１に示した２つの撮像素子による画像を半画素ずらすために利用される位置検出用パターンの一例を示す図である。ただし、図４には、図２及び図３を参照して説明した各位置検出用パターンが図示されていない。これは、視認性を考慮して図示を省略したためであって、図４には、前記した各位置検出用パターンも配置されているものとする。
【００５４】
＜画素ずれ検出パターン＞
図４に示すように、外枠９のレンズアレイ５の周辺部には、画素ずれ検出パターン（位置検出用パターン）２６ａ〜２６ｈが設けられている。画素ずれ検出パターン２６ａ〜２６ｈは、撮像素子１１ａによって撮影された画像と、撮像素子１１ｂによって撮影された画像とを半画素ずらすために利用される位置検出用パターンである。本実施形態では、画素ずれ検出パターン２６ａ〜２６ｈは、２つの正弦波パターンから成る。各正弦波パターンは、長方形の形状であり、長方形の領域の長手方向に、輝度値が正弦波の振幅のように周期的に変化するパターンが設けられている。すなわち、正弦波パターンは、長方形の領域の長辺を位相θラジアン（０＜θ＜２π）に割り当てたときに、長方形の領域の長手方向の輝度値がｓｉｎθに対応している。
【００５５】
画素ずれ検出パターン２６ａ〜２６ｄは、２つの正弦波パターンを長手方向に所定間隔を空けて１列に並べた組を水平方向に配置して構成される。
外枠９の上辺において、画素ずれ検出パターン２６ａは、位置ずれ検出パターン２５ａ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成り、画素ずれ検出パターン２６ｂは、位置ずれ検出パターン２５ｂ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成る。
また、外枠９の下辺において、画素ずれ検出パターン２６ｃは、位置ずれ検出パターン２５ｇ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成り、画素ずれ検出パターン２６ｄは、位置ずれ検出パターン２５ｈ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成る。
これら画素ずれ検出パターン２６ａ〜２６ｄは、撮像素子１１ａと撮像素子１１ｂとの空間的な水平方向の相対位置をずらす場合に利用される。
【００５６】
また、画素ずれ検出パターン２６ｅ〜２６ｈは、２つの正弦波パターンを長手方向に所定間隔を空けて１列に並べた組を垂直方向に配置して構成される。
画素ずれ検出パターン２６ｅは、外枠９の左辺において、位置ずれ検出パターン２５ｃ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成る。
画素ずれ検出パターン２６ｆは、外枠９の右辺において、位置ずれ検出パターン２５ｄ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成る。
画素ずれ検出パターン２６ｇは、外枠９の左辺において、位置ずれ検出パターン２５ｅ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成る。
画素ずれ検出パターン２６ｈは、外枠９の右辺において、位置ずれ検出パターン２５ｆ（図３参照）を挟む位置にそれぞれ設けられた２つの正弦波パターンから成る。
これら画素ずれ検出パターン２６ｅ〜２６ｈは、撮像素子１１ａと撮像素子１１ｂとの空間的な垂直方向の相対位置をずらす場合に利用される。
【００５７】
画素ずれ検出パターン２６ａ〜２６ｈは、外枠９の位置検出用パターンの配置領域に、例えば、合成樹脂等のシート状の部材を接着または融着して貼り付けたり、あるいは、印刷されたりして固定される。ただし、これに限定されるものではなく、外枠９に、画像表示ディスプレイ等の表示装置を設けて、これら画素ずれ検出パターン２６ａ〜２６ｈのような位置検出用パターンを表示装置に表示するように構成してもよい。なお、画素ずれ検出パターン２６ａ〜２６ｈの個数、配置場所、輝度分布特性はこの限りではない。
【００５８】
［立体画像撮像位置調整装置の構成］
図５は、第１実施形態に係る立体画像撮像位置調整装置の構成を示すブロック図である。立体画像撮像位置調整装置３は、例えば、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）と、ＨＤＤ（Hard Disk Drive）等から構成されており、図５に示すように、大別して、入出力手段３１と、記憶手段３２と、制御手段３３とを備える。
【００５９】
入出力手段３１は、所定の入出力インタフェースや通信インタフェース等から構成され、所定の情報やコマンドを入力したり、所定の情報を出力したりするものである。この入出力手段３１は、例えば、通信ケーブル等を介して、撮像素子１１で取得された画像情報を入力する。また、入出力手段３１は、結像手段群移動手段４、撮像用レンズ移動手段８および撮像素子移動手段１２にそれぞれの駆動信号を出力する。
【００６０】
記憶手段３２は、ＲＡＭ３２１と、ＲＯＭ３２２と、抽出条件記憶手段３２３と、基準画像位置情報記憶手段３２４と、立体画像情報記憶手段３２５とを備える。
ＲＡＭ３２１は、制御手段３３による演算処理等に利用されると共に、入出力手段３１を介して取得した情報等を記憶し、ＲＯＭ３２２は、所定のプログラム等を記憶する。
抽出条件記憶手段３２３は、撮像素子１１で取得される情報の中から、被写体の立体情報や所定の位置検出用パターンの画像情報等を抽出する条件を示す抽出条件を記憶するものであり、一般的なハードディスク等から構成される。
【００６１】
基準画像位置情報記憶手段３２４は、予め取得された位置検出用パターンの画像に対応するアドレスを示す基準画像位置情報等を記憶するものであり、一般的なメモリやハードディスク等から構成される。また、基準画像位置情報として、例えば、位置ずれ検出パターン２５ａ〜２５ｈ（図３参照）の輝度分布特性等が含まれる。
【００６２】
ここで、基準画像位置情報としてのアドレスとは、撮像素子１１ａ〜１１ｄ上でのアドレスであって、処理に応じて複数種類設けられている。
第１に、レンズアレイ５と撮像装置６との位置合わせ、撮像用レンズ７の位置合わせ、および撮像素子１１間の位置合わせを含む位置合わせ処理（以下、撮像位置調整処理という）に用いられるアドレス値を基準アドレスとして含んでいる。すなわち、レンズアレイ５と撮像装置６との間の位置ずれが無い場合に取得されるべきアドレス値、撮像用レンズ７による歪みが無い場合に取得されるべきアドレス値、撮像素子１１間の位置ずれが無い場合に取得されるべきアドレス値等を含む。
【００６３】
また、第２に、２つの撮像素子１１ａ，１１ｂによって取得された各画像を正確に半画素ずらす処理（以下、画像シフト処理という）に用いられるアドレス値を基準アドレスとして含んでいる。すなわち、撮像素子１１ａ，１１ｂでそれぞれ取得される画素ずれ検出パターン（位置検出用パターン）２６ａ〜２６ｈの画像が半画素ずれるように撮像素子１１ａ，１１ｂが相対的に正確に配置された状態において撮像素子１１ａ，１１ｂでそれぞれ取得されるべきアドレス値を含む。
【００６４】
立体画像情報記憶手段３２５は、撮像素子１１で取得されて入出力手段３１を介して入力する立体情報（立体画像情報）を記憶するものであり、一般的なハードディスク等から構成される。この立体情報に基づいて、表示手段４０によって、被写体の立体像が再生される。
【００６５】
制御手段３３は、例えば、ＣＰＵ等から構成され、入出力手段３１および記憶手段３２を制御すると共に、図５に示すように、画像抽出手段３３１と、立体画像情報管理手段３３２と、一致判別手段３３３と、補正量算出手段３３４と、配置情報信号処理手段３３５と、画素ずれ判別手段３４１と、移動量算出手段３４２と、シフト量信号処理手段３４３と、駆動制御手段３５１とを備える。
【００６６】
画像抽出手段３３１は、抽出条件記憶手段３２３に記憶された抽出条件にしたがって、撮像素子１１で取得されて入出力手段３１を介して入力する情報（撮像情報）の中から必要な情報を抽出するものであって、立体画像情報抽出手段３３１ａと、パターン画像抽出手段３３１ｂと、シフト用画像抽出手段３３１ｃとを備えている。
立体画像情報抽出手段３３１ａは、撮像情報の中から、被写体の立体情報を抽出するものである。
【００６７】
パターン画像抽出手段３３１ｂは、撮像情報の中から、撮像位置調整処理に必要な位置検出用パターンの画像情報（入力画像情報ともいう）を抽出するものである。ここで、撮像位置調整処理に必要な位置検出用パターンとしては、図２および図３を参照してそれぞれ説明した、楔形パターン２１ａ〜２１ｈと、歪み検出パターン２３と、中央位置検出パターン２４と、位置ずれ検出パターン２５ａ〜２５ｈとが含まれる。
【００６８】
シフト用画像抽出手段３３１ｃは、撮像情報の中から、画像シフト処理に必要な位置検出用パターンの画像情報を抽出するものである。ここで、画像シフト処理に必要な位置検出用パターンは、図４を参照して説明した画素ずれ検出パターン２６ａ〜２６ｈが含まれる。以下では、シフト用画像抽出手段３３１ｃで抽出された位置検出用パターンの画像をシフト用画像という。
【００６９】
立体画像情報管理手段３３２は、立体画像情報抽出手段３３１ａで抽出された立体情報を立体画像情報記憶手段３２５に格納すると共に、立体画像情報記憶手段３２５に記憶された立体情報を読み出して入出力手段３１を介して表示手段４０に出力するものである。
【００７０】
一致判別手段３３３は、パターン画像抽出手段３３１ｂで抽出された位置検出用パターンの抽出画像のアドレスと、基準画像位置情報記憶手段３２４に記憶された当該位置検出用パターンの基準アドレスとが一致するか否かを判別するものである。また、一致判別手段３３３は、抽出画像のアドレスと基準アドレスとの間の差が所定範囲内であるか否かを判別する。
【００７１】
補正量算出手段３３４は、抽出画像のアドレスと基準アドレスとが一致しない場合に、抽出画像のアドレスと基準アドレスとが一致するように補正するための位置ずれ補正量を算出するものである。
配置情報信号処理手段３３５は、抽出画像のアドレスと基準アドレスとの間の差が所定範囲内である場合に、撮像素子１１の出力信号において、抽出画像のアドレスを微調整するものである。
【００７２】
画素ずれ判別手段３４１は、基準画像位置情報記憶手段３２４に記憶された画素ずれ検出パターン２６ａ〜２６ｈの基準アドレスに基づいて、シフト用画像抽出手段３３１ｃでそれぞれ抽出されたシフト用画像が互いに半画素ずれているか否かを判別するものである。また、画素ずれ判別手段３４１は、２つのシフト用画像の画素ずれ量が所定範囲内であるか否かを判別する。
【００７３】
本実施形態では、画素ずれ判別手段３４１は、撮像素子１１ａ，１１ｂでそれぞれ取得された画像情報を合成し、２つのシフト用画像が半画素ずれるように、撮像素子１１ａ，１１ｂの空間的な相対位置を調整する。具体的には、画素ずれ判別手段３４１は、撮像素子１１ａ，１１ｂでそれぞれ取得された画像情報の合成波の折返し成分が最小となる位相を求めることで、撮像素子１１ａ，１１ｂの空間的な相対位置を調整する。
【００７４】
ここで、２つのシフト用画像が半画素ずれるように調整する方法として、２つの表示素子（Ｇ１，Ｇ２）の空間的な相対位置を検出する方法（以下、表示素子位置検出法という）を適用することができる。表示素子位置検出法については、「日下部他、映像情報メディア学会誌、vol.60, no.2, pp.234-241, 2006」に記載されている。この表示素子位置検出法は、２枚の線画像表示素子の位置検出法であり、周期構造の輝度分布を持つパターンを投射し、相対位置のずれにより生じる画像の折り返し成分を検出することで、２つの表示素子の空間的な相対位置を検出する。具体的には、この表示素子位置検出法では、第１表示素子に第１正弦波パターンの画像を表示し、第２表示素子に第２正弦波パターン（第１正弦波パターンの画像と比較して所定の量だけ位相がずれたパターン）の画像を表示する。そして、表示素子位置検出法では、第１表示素子および第２表示素子によりそれぞれ投射された第１正弦波パターンおよび第２正法波パターンの合成波の折返し成分が最小となる位相を求めることで、第１表示素子と第２表示素子との空間的な相対位置が所望の画素ずれ量となる状態に調整している。本実施形態との関係で言えば、図４に示した画素ずれ検出パターン２６ａ〜２６ｈは、表示素子位置検出法における第１正弦波パターンと正弦波パターンの画像に相当するパターンである。なお、高精細映像表示手法として、録画像用の表示素子を２枚使用し、半画素ずらして合成する方法については、「M. Kanazawa et al., J. of SID, vol.12, no.1, pp.93-103, 2004」に記載されている。
【００７５】
移動量算出手段３４２は、シフト用画像抽出手段３３１ｃでそれぞれ抽出されたシフト用画像が互いに半画素ずれていない場合に、抽出されたシフト用画像が互いに半画素ずれるように撮像素子１１ａ（または１１ｂ）の位置をシフトするための移動量を算出するものである。
【００７６】
シフト量信号処理手段３４３は、移動量算出手段３４２で算出された移動量に基づいて、撮像素子１１ａ，１１ｂから出力される画像信号を処理することで、それぞれ抽出されたシフト用画像が互いに半画素ずれるように調整するものである。このシフト量信号処理手段３４３は、画素ずれ量が所定範囲内である場合に、撮像素子１１ａ，１１ｂの出力信号において画素ずれを微調整する。
【００７７】
駆動制御手段３５１は、結像手段群移動手段４、撮像用レンズ移動手段８および撮像素子移動手段１２（以下、特に限定しない場合には単に移動手段という場合もある）に駆動信号を出力するものである。この駆動制御手段３５１は、補正量算出手段３３４で算出された補正量に基づいて、駆動信号を移動手段に出力する。また、駆動制御手段３５１は、移動量算出手段３４２で算出された移動量に基づいて、撮像素子移動手段１２ａ（または１２ｂ）に駆動信号を出力する。
【００７８】
[立体画像撮像システムの一般的な動作]
立体画像撮像システムの一般的な動作を図１を参照して説明する。この立体画像撮影システム１では、レンズアレイ５の前方（図中左側）に配置された被写体を撮影する。このとき、各撮像素子１１には、レンズアレイ５を構成する各レンズ５ａにより生じる要素画像（光学像）が結像する。なお、各要素撮像画像は、被写体の奥行きが反転した状態の画像である。そして、立体画像撮像位置調整装置３は、撮像素子１１から出力された信号に含まれる撮像情報（画像）を点対称に反転させた情報として立体画像情報記憶手段３２５（図５参照）に格納する。この立体画像情報記憶手段３２５（図５参照）に格納された情報を、撮影時に撮像装置６を配置した位置で表示させ、撮影時と同じ位置に配置されたレンズアレイ５の前方から眺めると、被写体と比較して奥行きが等しい立体像を再生できる。このように立体像を正しく再生できるように、立体画像撮像位置調整装置３では、前記したように、正しい配置において各位置検出用パターンの画像を予め取得し、取得された各位置検出用パターンの画像情報を基準アドレスとして、基準画像位置情報記憶手段３２４（図５参照）に格納している。
【００７９】
［立体画像撮像位置調整装置の動作］
＜撮像位置調整処理＞
図５に示した立体画像撮像位置調整装置３の動作について図６を参照（適宜図５参照）して説明する。図６は、第１実施形態に係る立体画像撮像位置調整装置による撮像位置調整処理を示すフローチャートである。撮像位置調整処理において、立体画像撮像位置調整装置３は、パターン画像抽出手段３３１ｂによって、撮像素子１１で撮像された画像から、位置検出用パターンの画像を抽出する（ステップＳ１）。そして、立体画像撮像位置調整装置３は、一致判別手段３３３によって、抽出画像のアドレスと基準アドレスとが一致するか否かを判別する（ステップＳ２）。抽出画像のアドレスと基準アドレスとが一致する場合（ステップＳ２：Ｙｅｓ）、立体画像撮像位置調整装置３は、撮像位置調整処理を終了する。
【００８０】
一方、例えば、図７に示すように、撮像素子１１ａで取得された画像５１ａと、基準アドレスに対応する画像５１ｂとが一致しない場合、すなわち、抽出画像のアドレスと基準アドレスとが一致しない場合（ステップＳ２：Ｎｏ）、立体画像撮像位置調整装置３は、補正量算出手段３３４によって、位置ずれ補正量を算出する（ステップＳ３）。そして、立体画像撮像位置調整装置３は、駆動制御手段３５１によって、算出された補正量に基づいて、駆動信号を移動手段に出力する（ステップＳ４）。そして、立体画像撮像位置調整装置３は、一致判別手段３３３によって、アドレス間の差が所定範囲内であるか否かを判別する（ステップＳ５）。アドレス間の差が所定範囲内ではない場合（ステップＳ５：Ｎｏ）、立体画像撮像位置調整装置３は、ステップＳ１に戻る。一方、アドレス間の差が所定範囲内である場合（ステップＳ５：Ｙｅｓ）、立体画像撮像位置調整装置３は、配置情報信号処理手段３３５によって、撮像素子１１の出力信号において、抽出画像のアドレスを微調整し（ステップＳ６）、撮像位置調整処理を終了する。
【００８１】
＜画像シフト処理＞
図８は、立体画像撮像位置調整装置による画像シフト処理を示すフローチャートである。この画像シフト処理は、図６に示した撮像位置調整処理が完了していることを前提に実行される処理である。画像シフト処理において、立体画像撮像位置調整装置３は、シフト用画像抽出手段３３１ｃによって、２つの撮像素子１１ａ，１１ｂで同一の画素ずれ検出パターン（例えば、２６ａ）を撮像することで取得されたそれぞれの画像をシフト用画像としてそれぞれ抽出する（ステップＳ１１：画像抽出ステップ）。そして、立体画像撮像位置調整装置３は、画素ずれ判別手段３４１によって、２つのシフト用画像が半画素ずれているか否かを判別する（ステップＳ１２：画素ずれ判別ステップ）。２つのシフト用画像が半画素ずれている場合（ステップＳ１２：Ｙｅｓ）、立体画像撮像位置調整装置３は、画像シフト処理を終了する。
【００８２】
一方、例えば、図７に示すように、撮像素子１１ａで取得された画像５２ａが、撮像素子１１ｂで取得された画像５２ｂと一致しない場合、すなわち、２つのシフト用画像が半画素ずれていない場合（ステップＳ１２：Ｎｏ）、立体画像撮像位置調整装置３は、移動量算出手段３４２によって、２つのシフト用画像を互いに半画素ずらすための撮像素子１１ａ（または１１ｂ）の移動量を算出する（ステップＳ１３：移動量算出ステップ）。なお、本実施形態では、図７を、撮像位置調整処理の説明と、画像シフト処理の両方の説明で用いているが、それぞれの説明において図７は異なる意味を有しており、図７では、そのことを符号で区別して示している。
【００８３】
そして、ステップＳ１３に続いて、立体画像撮像位置調整装置３は、駆動制御手段３５１によって、算出された移動量に基づいて、駆動信号を撮像素子移動手段１２ａに出力する（ステップＳ１４：駆動制御ステップ）。続いて、立体画像撮像位置調整装置３は、画素ずれ判別手段３４１によって、画素ずれが所定範囲内であるか否かを判別する（ステップＳ１５）。画素ずれが所定範囲内ではない場合（ステップＳ１５：Ｎｏ）、立体画像撮像位置調整装置３は、ステップＳ１１に戻る。一方、画素ずれが所定範囲内である場合（ステップＳ１５：Ｙｅｓ）、立体画像撮像位置調整装置３は、シフト量信号処理手段３４３によって、撮像素子１１ａ（または１１ｂ）の出力信号において、画素ずれを微調整し（ステップＳ１６：シフト量信号処理ステップ）、画像シフト処理を終了する。なお、ステップＳ１４において、立体画像撮像位置調整装置３は、駆動制御手段３５１によって、駆動信号を撮像素子移動手段１２ａに出力する代わりに、撮像素子移動手段１２ｂに出力するようにしてもよいし、両方に出力するようにしてもよい。
【００８４】
＜立体画像撮像位置調整装置の動作の一連の具体的な流れ＞
図９は、図６に示した撮像位置調整処理と図８に示した画像シフト処理との具体的な一例を示すフローチャートである。ここでは、撮像位置調整処理において、まず、撮像素子１１（あるいは撮像装置６）とレンズアレイ５との位置ずれ検出および補正を行い、次に、撮像用レンズ７の歪み検出および補正を行い、続いて、撮像装置６内の撮像素子１１間の位置ずれ検出および補正を行うこととする。また、一例として撮像素子１１ａ（図１参照）により取得される情報を用いて、撮像用レンズ７の歪み検出および補正を行う手順を説明する。なお、図１に示した他の撮像素子１１ｂ〜１１ｄのいずれかを用いたとしても同様に処理することができる。
【００８５】
この場合、立体画像撮像位置調整装置３は、まず、中央位置検出パターン２４（図２参照）から撮像素子１１とレンズアレイ５との位置ずれを検出し、結像手段群移動手段４を用いて、位置ずれを補正する（ステップＳ２１）。すなわち、立体画像撮像位置調整装置３は、基準画像位置情報記憶手段３２４（図５参照）に保存されている、中央位置検出パターン２４が取得されるべき撮像素子１１ａ上のアドレスと、中央位置検出パターン２４が実際に取得される撮像素子１１ａ上のアドレスとが一致するように、結像手段群移動手段４を用いて調整する。
【００８６】
このステップＳ２１において、結像手段群移動手段４の代わりに撮像素子移動手段１２を用いて調整するようにしてもよい。また、特に、立体画像撮像位置調整装置３に保存されている、中央位置検出パターン２４が取得されるべき撮像素子１１ａ〜１１ｄのアドレスと、中央位置検出パターン２４が実際に取得される撮像素子１１ａ〜１１ｄ上のアドレスとの相対的な位置のずれが、すべての撮像素子１１ａ〜１１ｄにおいて同じずれである場合には、撮像用レンズ移動手段８により撮像用レンズ７を移動させることで、一度に位置ずれを解消するようにしてもよい。なお、ステップＳ２１で示す機械的な補正処理は省略可能である。すなわち、立体画像撮像位置調整装置３は、撮像装置６により取得した情報に基づいて、機械的に補正する代わりに、画像信号を電気的に補正するようにしてもよい。
【００８７】
ステップＳ２１に続いて、立体画像撮像位置調整装置３は、図２に示した楔形パターン２１ａ〜２１ｈから撮像素子１１とレンズアレイ５との微小な位置ずれを検出し、撮像素子１１の出力信号において、抽出画像のアドレスを微調整する（ステップＳ２２）。すなわち、立体画像撮像位置調整装置３は、基準画像位置情報記憶手段３２４（図５参照）に保存されている、楔形パターン２１ａ〜２１ｈにおける交点２２ａ〜２２ｈが取得されるべき撮像素子１１ａ上のアドレスと、楔形パターン２１ａ〜２１ｈが実際に取得される撮像素子１１ａ上のアドレスとが一致するように、配置情報信号処理手段３３５によって、撮像素子１１ａで取得された画像を電気的に処理する。なお、外枠９に楔形パターン２１を備えない場合には、このステップＳ２２の処理は省略されることとなる。
【００８８】
ステップＳ２２に続いて、立体画像撮像位置調整装置３は、歪み検出パターン２３から撮像用レンズ７の歪みを検出し、撮像素子１１の出力信号において、抽出画像のアドレスを微調整する（ステップＳ２３）。すなわち、立体画像撮像位置調整装置３は、基準画像位置情報記憶手段３２４（図５参照）に保存されている、歪み検出パターン２３が取得されるべき撮像素子１１ａ上のアドレスと、歪み検出パターン２３が実際に取得される撮像素子１１ａ上のアドレスとが一致するように、配置情報信号処理手段３３５によって、撮像素子１１ａで取得された画像を電気的に処理する。
【００８９】
なお、ステップＳ２１ないしＳ２３の処理において、撮像素子１１ａ上のアドレスとして、各位置検出用パターンが存在するアドレスを補正するものとして説明したが、撮像素子１１ａ上のアドレスとして、各位置検出用パターンが存在しないアドレスを補正するようにすることもできる。この場合には、例えば、各位置検出用パターンが存在するアドレスから、各位置検出用パターンが存在しない所定のアドレスまでの距離を係数として、補正情報を線形内挿することで算出したアドレスが、基準アドレスと一致するか否かに基づいて補正する。
【００９０】
ここでは、ステップＳ２１〜Ｓ２３の処理が、撮像素子１１ａに対してのみ実施された場合を想定しているので、続けて、撮像素子１１間の位置ずれ検出および補正について説明する。撮像素子１１間の配置が正しい位置からずれている場合には、画像の色ずれ、いわゆるレジずれ（registrationのずれ）が生じてしまう。以下のステップＳ２４およびＳ２５の処理は、これを防ぐための処理である。なお、ステップＳ２１〜Ｓ２３の処理において、すべての撮像素子１１ａ〜１１ｄと、レンズアレイ５とが厳密に位置調整されていれば、ステップＳ２４およびＳ２５の処理は不要である。
【００９１】
ステップＳ２３に続いて、立体画像撮像位置調整装置３は、位置ずれ検出パターン２５ａ〜２５ｈ（図３参照）から、撮像装置６内の撮像素子１１間の位置ずれを検出し、撮像素子移動手段１２を用いて、位置ずれを補正する（ステップＳ２４）。すなわち、立体画像撮像位置調整装置３は、一致判別手段３３３によって、各撮像素子１１ａ〜１１ｄで取得された画像から、各位置ずれ検出パターン２５ａ〜２５ｈの中心位置を検出し、各撮像素子１１ａ〜１１ｄで取得される各位置ずれ検出パターン２５ａ〜２５ｈの中心位置のアドレスが、基準画像位置情報記憶手段３２４（図５参照）に保存されているアドレスと一致するように、撮像素子移動手段１２によって撮像素子１１の位置を調整する。なお、ステップＳ２４において、撮像素子移動手段１２によって撮像素子１１の位置を調整する代わりに、結像手段群移動手段４によりレンズアレイ５の位置を調整するようにしてもよい。
【００９２】
ステップＳ２４に続いて、立体画像撮像位置調整装置３は、撮像素子１１の出力信号において、撮像素子１１間の位置ずれを微調整する（ステップＳ２５）。すなわち、撮像素子移動手段１２による機械的な調整の後に残存する位置ずれについては、立体画像撮像位置調整装置３は、配置情報信号処理手段３３５によって、撮像素子１１ａ〜１１ｄでそれぞれ取得された画像に対応する信号を電気的に処理することで補正する。これにより、撮像位置調整処理が完了する。
【００９３】
ステップＳ２５が完了している前提において、立体画像撮像位置調整装置３は、画像シフト処理を実行する。まず、立体画像撮像位置調整装置３は、画素ずれ検出パターン（例えば２６ａ）に基づいて、２つの撮像素子１１ａ，１１ｂの位置関係を検出し、撮像素子移動手段１２ａ（あるいは１２ｂ）を用いて、２つのシフト用画像を半画素シフトする（ステップＳ２６）。そして、立体画像撮像位置調整装置３は、撮像素子１１ａ，１１ｂの出力信号において、２つのシフト用画像が半画素ずれるように微調整する（ステップＳ２７）。なお、ステップＳ２１ないしＳ２７の処理において、必要に応じて、立体画像撮像位置調整装置３から、補正情報等が撮像素子移動手段１２（または結像手段群移動手段４や撮像用レンズ移動手段８）にフィードバックされる。
【００９４】
第１実施形態によれば、レンズアレイ５の位置を示す各位置検出用パターンが、被写体の立体情報を取得するときには実質的に妨げとはならない領域に配置されるので、２つの撮像素子１１ａ，１１ｂで取得されるそれぞれの撮影画像の空間的な相対位置を半画素ずらす処理を撮影中であっても行うことができる。
【００９５】
（第２実施形態）
第２実施形態の立体画像撮影システムは、図１に示したものと同じ構成であり、また、立体画像撮像位置調整装置は、２つの撮像素子１１ａ，１１ｂによって取得された各画像を半画素ずらす処理（画像シフト処理）において、撮像素子１１ａと撮像素子１１ｂとの空間的な相対位置をずらす手法が第１実施形態のものと異なるだけで、図５に示したものと同様な構成である。そのため、以下では、構成の図面を省略し、同じ符号を用いて第１実施形態と異なる機能だけを説明する。
【００９６】
第２実施形態の立体画像撮像位置調整装置３は、画像シフト処理において、第１実施形態と同様に画素ずれ検出パターン２６ａ〜２６ｈ（図４参照）を用いる。ここでは、説明を簡単にするために、水平方向の画素ずれを検出するための画素ずれ検出パターン２６ａを用いた画像シフト処理について図１０を参照して説明する。図１０は、第２実施形態に係る立体画像撮像位置調整装置による画像シフト処理の説明図である。
【００９７】
図１０には、仮想凸レンズ６０と、撮像素子１１ａが画素ずれ検出パターン２６ａを撮像することで取得される入力画像情報６１ａと、撮像素子１１ｂが画素ずれ検出パターン２６ａを撮像することで取得される入力画像情報６１ｂとが示されている。
【００９８】
画素ずれ判別手段３４１は、撮像素子１１ａ，１１ｂによりそれぞれ取得される入力画像情報６１ａ、６１ｂを、仮想凸レンズ６０から充分離れた位置に合焦状態で結像させ、像の光強度分布６２ａ、６２ｂをそれぞれ算出する。また、画素ずれ判別手段３４１は、それぞれの光強度分布６２ａ、６２ｂをフーリエ変換し、その位相スペクトルから、光強度分布６２ａと光強度分布６２ｂとの位相差（算出位相差）ＰCを算出する。この画素ずれ判別手段３４１によって仮想凸レンズ６０を用いた処理を実行する前の位相差（入力位相差）ＰINは、撮像素子１１ａと撮像素子１１ｂとの空間的な相対位置に応じて異なる。図１０に示すように、入力画像情報６１ａと入力画像情報６１ｂにおいては微小な位相差（入力位相差）ＰINであった情報が、仮想凸レンズ６０から充分離れた位置で結像された像の光強度分布６２ａと光強度分布６２ｂにおいては大きな位相差ＰCとなる。
【００９９】
ここで、入力画像情報６１ａ，６１ｂおよび光強度分布６２ａ，６２ｂは、二次元的な情報から構成されるものであるが、図１０においては、視認性を考慮して、入力画像情報６１ａ，６１ｂおよび光強度分布６２ａ，６２ｂのある一断面を図示した。なお、入力画像情報６１ａ、６１ｂを入力画像とし、仮想凸レンズ６０により結像される像の光強度分布６２ａ，６２ｂを算出する手法については、例えば、「小山、西原、“光波電子工学”、コロナ社、1978」に記載されている。
【０１００】
基準画像位置情報記憶手段３２４は、基準画像位置情報として、以下の位相差を記憶する。すなわち、この位相差は、画素ずれ検出パターン２６ａを撮像することで２つの撮像素子１１ａ，１１ｂによって取得される各画像が半画素ずれた状態となるときに対応した、撮像素子１１ａと撮像素子１１ｂとの空間的な相対位置が実現する配置において、仮想凸レンズ６０を用いて算出されるそれぞれの光強度分布の位相差である。
【０１０１】
移動量算出手段３４２は、画素ずれ判別手段３４１によって算出される、光強度分布６２ａと光強度分布６２ｂとの位相差ＰCと、基準画像位置情報記憶手段３２４に記憶された基準画像位置情報としての位相差とが、一致するように、撮像素子１１ａ（または１１ｂ）の移動量を算出する。
【０１０２】
以上の説明では、水平方向の画素ずれを検出するための画素ずれ検出パターン２６ａを用いて説明したが、水平方向の画素ずれを検出するための画素ずれ検出パターン２６ｂ〜２６ｄや、垂直方向の画素ずれを検出するための画素ずれ検出パターン２６ｅ〜２６ｈを用いて調整することで、より精度の高い位置調整を行うことができる。
【０１０３】
第２実施形態によれば、２つの撮像素子１１ａ，１１ｂによって取得される各画像が正確に半画素ずれた状態となるときに対応した、撮像素子１１ａと撮像素子１１ｂとの空間的な相対位置が実現する配置を実現するための画像情報における微小なずれを、仮想凸レンズ６０を用いて拡大させることで、撮像素子移動手段１２の制御が容易で、かつ精度の高い制御が可能となる。
【０１０４】
（第３実施形態）
第３実施形態の立体画像撮影システムは、図１に示したものと同じ構成であり、また、立体画像撮像位置調整装置は、画像シフト処理において、撮像素子１１ａと撮像素子１１ｂとの空間的な相対位置をずらす手法が第２実施形態のものと異なるだけなので、以下では、第２実施形態と異なる機能だけ説明する。
【０１０５】
第３実施形態の立体画像撮像位置調整装置３は、画素ずれ検出パターン２６ａ〜２６ｈ（図４参照）を利用しない。したがって、第３実施形態の立体画像撮影システムでは、画素ずれ検出パターン２６ａ〜２６ｈ（図４参照）を備えていなくてもよい。その代わり、画像シフト処理において、２つの撮像素子１１ａ，１１ｂによる撮影画像を半画素ずらすために利用される位置検出用パターンとして、図３に示した位置ずれ検出パターン２５ａ〜２５ｈを用いる。なお、図３に示した位置ずれ検出パターン２５ａ〜２５ｈは、撮像位置調整処理にも用いられる。第３実施形態では、画素ずれ検出パターン２６ａ〜２６ｈの機能を位置ずれ検出パターン２５ａ〜２５ｈで代替するので、この意味において、位置ずれ検出パターン２５ａ〜２５ｈのことを、以下では、画素ずれ検出パターン２５ａ〜２５ｈと呼称する。なお、同じ符号を用いている。また、画素ずれ検出パターン２５ａ〜２５ｈの図示は省略する。ここでは、説明を簡単にするために、画素ずれ検出パターン２５ａを用いた画像シフト処理について図１０を参照して説明する。
【０１０６】
図１０に示す入力画像情報６１ａ，６１ｂは、第３実施形態では、撮像素子１１ａ，１１ｂが画素ずれ検出パターン２５ａをそれぞれ撮像することで取得される画像情報を意味する。なお、画素ずれ判別手段３４１によって仮想凸レンズ６０を用いた処理を実行する前の位相差（入力位相差）ＰINは、撮像素子１１ａと撮像素子１１ｂとの空間的な相対位置に応じて異なる。
【０１０７】
画素ずれ判別手段３４１は、第２実施形態と同様にして、取得した入力画像情報６１ａ，６１ｂについての光強度分布６２ａ，６２ｂを算出し、仮想凸レンズ６０によって拡大された位相差を求める。
基準画像位置情報記憶手段３２４は、基準画像位置情報として、以下の位相差を記憶する。すなわち、この位相差は、画素ずれ検出パターン２５ａを撮像することで２つの撮像素子１１ａ，１１ｂによって取得される各画像が半画素ずれた状態となるときに対応した、撮像素子１１ａと撮像素子１１ｂとの空間的な相対位置が実現する配置において、仮想凸レンズ６０を用いて算出されるそれぞれの光強度分布の位相差である。
移動量算出手段３４２は、画素ずれ判別手段３４１によって算出される、光強度分布６２ａと光強度分布６２ｂとの位相差ＰCと、基準画像位置情報記憶手段３２４に記憶された基準画像位置情報としての位相差とが一致するように、撮像素子１１ａ（または１１ｂ）の移動量を算出する。
【０１０８】
以上の説明では、画素ずれ検出パターン２５ａを用いて説明したが、画素ずれ検出パターン２５ｂ〜２５ｈを用いて調整することで、より精度の高い位置調整を行うことができる。このように精度の高い位置検出を行う場合に、第２実施形態で用いた画素ずれ検出パターン２６ａ〜２６ｈでは、水平方向の画素ずれを検出する専用のパターンと、垂直方向の画素ずれを検出する専用のパターンとを用意しておかなければならなかった。
しかしながら、第３実施形態で用いる画素ずれ検出パターン２５ａ〜２５ｈは、それぞれ形状が同一であり、輝度値が二次元状に変化するパターンであるので、水平方向の画素ずれを検出する場合に利用できると共に、垂直方向の画素ずれを検出する場合にも利用できる。
【０１０９】
（第４実施形態）
図１１は、本発明の立体画像撮像システムの他の例を模式的に示す構成図である。図１１に示すように、第４実施形態の立体画像撮影システム１Ｃでは、レンズアレイ５に外枠が設けられておらず、レンズアレイ５の外周部に位置検出用光学系７０ａ〜７０ｄを備え、立体画像撮像位置調整装置３Ｃの機能が異なる点を除いて、図１に示した第１実施形態のシステムと同様なので、同じ構成には同じ符号を付して説明を省略する。
【０１１０】
位置検出用光学系７０ａ〜７０ｄは、位置検出用パターンとして機能するものである。これら位置検出用光学系７０ａ〜７０ｄは、レンズアレイ５を構成するレンズ５ａのうち最も外側に配置されたレンズ５ａの被写体側に予め接続され、接続されたレンズ５ａを透過する光が光軸に対して直交する方向に向かって輝度分布が変化するように構成されている。また、位置検出用光学系７０ａ，７０ｂ，７０ｃ，７０ｄは、レンズアレイ５の左上隅、右上隅、右下隅、左下隅にそれぞれ配置されたレンズ５ａに対応するように接続されている。
【０１１１】
なお、位置検出用光学系７０の個数や配置は、これに限定されるものではなく、例えば、レンズアレイ５の外周部のうち四隅を除く、四辺の所定位置に配置されるように構成してもよい。また、レンズアレイ５には縦横に例えば１千〜数万個のレンズ５ａが配列されるので、被写体の立体情報を取得するときに実質的に妨げとならなければ、位置検出用光学系７０ａ〜７０ｄはレンズアレイ５のうち最も外側から数えて２番目，３番目，…等に配置されたレンズ５ａに設けても構わない。また、位置検出用光学系７０ａ〜７０ｄを移動させる移動手段を備えるように構成してもよい。以下、区別しない場合には、位置検出用光学系７０と表記する。
【０１１２】
図１２は、図１１に示した位置検出用光学系の一例を模式的に示す構成図である。図１２では、位置検出用光学系７０およびレンズ５ａの断面が示されている。レンズ５ａは、レンズアレイ５を構成する要素である。位置検出用光学系７０は、ピンホール７１とコリメータレンズ７２とを備える。ピンホール７１とコリメータレンズ７２との間の距離Ｆは、コリメータレンズ７２の焦点距離（あるいは、略焦点距離）に設定される。このような配置では、被写体側（図１２中左側）から入射する光は、レンズ５ａを通過後に、図３に示した位置ずれ検出パターン２５ａ〜２５ｈと同様の、領域の中心位置で輝度値が最も高く、周辺に行くにしたがって二乗特性で輝度値が減少するパターンが生成され、このパターンを撮像装置６で取得することができる。
【０１１３】
したがって、立体画像撮像位置調整装置３Ｃは、図３に示した位置ずれ検出パターン２５ａ〜２５ｈを、位置検出用光学系７０に置き換えるだけで、第１実施形態と同様にして撮像位置調整処理を行うことができる。また、第３実施形態で説明したように、図３に示した位置ずれ検出パターン２５ａ〜２５ｈを、画素ずれ検出パターンとして利用することができるので、画素ずれ検出パターン２５ａ〜２５ｈを、位置検出用光学系７０に置き換えるだけで、第３実施形態と同様にして画像シフト処理を行うことができる。
【０１１４】
図１３は、図１１に示したレンズアレイと撮像素子との位置合わせ等の撮像位置調整処理に利用される位置検出用パターンの一例を示す図である。図１３に示すように、レンズアレイ５のレンズ５ａが配置されていない領域に、図２に示した歪み検出パターン２３および中央位置検出パターン２４が配置されている。本実施形態では外枠９（図２参照）が存在しないため、図２に示した楔形パターン２１ａ〜２１ｄも存在しない。なお、図２に示した楔形パターン２１ａ〜２１ｄの機能は、位置検出用光学系７０が代替することができる。
【０１１５】
次に、立体画像撮像位置調整装置３Ｃの動作について図１４を参照して説明する。図１４は、第４実施形態に係る立体画像撮像位置調整装置の動作の具体例を示すフローチャートである。立体画像撮像位置調整装置３Ｃが実行するステップＳ３１〜Ｓ３７は、図９に示したステップＳ２１〜Ｓ２７と実質的に同様なので詳細な説明を省略する。ただし、ステップＳ３２において、立体画像撮像位置調整装置３Ｃは、楔形パターン２１ａ〜２１ｈ（図２参照）の代わりに、位置検出用光学系７０の画像情報から、抽出画像の微調整を行う。
【０１１６】
また、ステップＳ３４において、立体画像撮像位置調整装置３Ｃは、位置ずれ検出パターン２５ａ〜２５ｈ（図３参照）の代わりに、位置検出用光学系７０の画像情報から、撮像素子１１間の位置ずれを検出し、撮像素子移動手段１２を用いて、位置ずれを補正する。さらに、ステップＳ３６において、立体画像撮像位置調整装置３Ｃは、画素ずれ検出パターン２６ａ〜２６ｈ（図４参照）の代わりに、位置検出用光学系７０の画像情報から、撮像素子１１ａ，１１ｂ間の画素ずれを検出し、撮像素子移動手段１２を用いて、半画素ずれるように補正する。
【０１１７】
これらステップＳ３２，Ｓ３４およびＳ３６の処理で用いられる位置検出用光学系７０の画像情報の一例を図１５に示す。図１５は、撮像装置６が、レンズアレイ５を介して被写体を撮影するときに撮像素子１１で取得される、レンズアレイ５の画像情報の一例を示している。図１５に示すように、レンズアレイ５を構成するレンズ５ａのうち、最外周の四隅に配置されたレンズ５ａは、位置検出用光学系７０を反映した撮影画像８１ａ〜８１ｄとなる。なお、図１５では、撮影画像８１ａ〜８１ｄをハッチングで簡略化して示したが、撮影画像８１ａ〜８１ｄは、図３に示す位置ずれ検出パターン２５ａ〜２５ｄのような輝度分布を有している。
【０１１８】
第４実施形態によれば、撮像位置調整処理を行うための位置検出用パターンが位置検出用光学系７０によって形成されているので、レンズアレイ５に、位置検出用パターンを貼り付ける外枠等を設ける必要がない。また、位置検出用光学系７０が輝度分布を有しているので、位置検出用光学系７０の画像情報を画像シフト処理にも利用することができる。したがって、位置検出用光学系７０に２種類の機能を持たせることで、位置検出用パターンの種類や個数を低減させることができる。
【０１１９】
以上、各実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を変えない範囲でさまざまに実施することができる。例えば、各実施形態では、撮像素子１１間の位置ずれを検出するための位置検出用パターンとして図３を参照して位置ずれ検出パターン２５ａ〜２５ｈを用いて説明したが、本発明は、位置ずれ検出パターン２５ａ〜２５ｈの形状、個数、配置場所、輝度分布特性に限定されるものではない。例えば、形状として、Ｖ字やＸ字等の文字や楔形の二値パターンを利用することもできる。この場合には、一致判別手段３３３は、円形の位置ずれ検出パターン２５ａ〜２５ｈのように中心位置を検出するのではなく、Ｖ字やＸ字等の文字や楔形の２値パターンの形状に合わせて、例えば、その形状の下底部の中央、上底部の中央、上底部の左端や右端、下底部の左端や右端等のポイント位置のアドレスを検出することで、対応する基準アドレスとの一致判定を行うこともできる。これにより、同等の効果を奏することができる。
【０１２０】
また、各実施形態では、４つの撮像素子１１のうち、撮像素子１１ａ，１１ｂが緑色に対応する同色用撮像素子であるものとして説明したが、これは一例であって、２つの同色用撮像素子に対応する色は、例えば、青でも赤でもよい。
【０１２１】
また、各実施形態では、レンズアレイ５を構成する各レンズ５ａを同一平面上に配置するものとしたが、同一曲面上に配置してもよい。また、レンズアレイ５を構成するレンズ５ａは、特に限定されるものではなく、凸レンズ、ボールレンズ、屈折率分布レンズ、回折光学素子、凹レンズ、あるいは、これらの組み合せでもよい。ここで、屈折率分布レンズは、例えば、中心から外周に向かって屈折率が異なるＧＲＩＮ（Gradient-index）レンズである。また、回折光学素子は、例えばフレネルレンズである。なお、凹レンズは、他のレンズと適宜組み合わせて用いられる。
【図面の簡単な説明】
【０１２２】
【図１】本発明の第１実施形態に係る立体画像撮影システムの一例を模式的に示す構成図である。
【図２】図１に示したレンズアレイと撮像素子との位置合わせ等に利用される位置検出用パターンの一例を示す図である。
【図３】図１に示した撮像素子間の位置合わせに利用される位置検出用パターンの一例を示す図である。
【図４】図１に示した２つの撮像素子による画像を半画素ずらすために利用される位置検出用パターンの一例を示す図である。
【図５】第１実施形態に係る立体画像撮像位置調整装置の構成を示すブロック図である。
【図６】第１実施形態に係る立体画像撮像位置調整装置による撮像位置調整処理を示すフローチャートである。
【図７】位置ずれや画素ずれを説明するための位置検出用パターンの画像の一例を示す図である。
【図８】第１実施形態に係る立体画像撮像位置調整装置による画像シフト処理を示すフローチャートである。
【図９】図６に示した撮像位置調整処理の具体的な一例を示すフローチャートである。
【図１０】第２実施形態に係る立体画像撮像位置調整装置による画像シフト処理の説明図である。
【図１１】本発明の立体画像撮像システムの他の例を模式的に示す構成図である。
【図１２】図１１に示した位置検出用光学系の一例を模式的に示す構成図である。
【図１３】図１１に示したレンズアレイと撮像素子との位置合わせ等に利用される位置検出用パターンの一例を示す図である。
【図１４】第４実施形態に係る立体画像撮像位置調整装置の動作の具体例を示すフローチャートである。
【図１５】位置検出用光学系の画像情報の一例を示す図である。
【図１６】従来のｌＰ方式による立体画像の撮影および再生を模式的に示す説明図であり、（ａ）は立体画像撮影装置、（ｂ）は立体画像表示装置をそれぞれ示している。
【符号の説明】
【０１２３】
１，１Ｃ 立体画像撮影システム
２ 立体画像撮影装置
３，３Ｃ 立体画像撮像位置調整装置
４ 結像手段群移動手段
５ レンズアレイ（結像手段群）
５ａ レンズ（結像手段）
６ 撮像装置
７ 撮像用レンズ
８ 撮像用レンズ移動手段
９ 外枠
１１（１１ｃ，１１ｄ） 撮像素子
１１ａ，１１ｂ 撮像素子（同色用撮像素子）
１２（１２ａ〜１２ｄ） 撮像素子移動手段
２１ａ〜２１ｈ 楔形パターン（位置検出用パターン）
２３ 歪み検出パターン（位置検出用パターン）
２４ 中央位置検出パターン（位置検出用パターン）
２５ａ〜２５ｄ 位置ずれ検出パターン（位置検出用パターン）
２６ａ〜２６ｈ 画素ずれ検出パターン（位置検出用パターン）
３２３ 抽出条件記憶手段
３２４ 基準画像位置情報記憶手段
３２５ 立体画像情報記憶手段
３３１ 画像抽出手段
３３１ａ 立体画像情報抽出手段
３３１ｂ パターン画像抽出手段
３３１ｃ シフト用画像抽出手段
３３２ 立体画像情報管理手段
３３３ 一致判別手段
３３４ 補正量算出手段
３３５ 配置情報信号処理手段
３４１ 画素ずれ判別手段
３４２ 移動量算出手段
３４３ シフト量信号処理手段
３５１ 駆動制御手段
７０（７０ａ〜７０ｄ） 位置検出用光学系
７１ ピンホール
７２ コリメータレンズ
【特許請求の範囲】
【請求項１】
結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置に備えられた２つの撮像素子でそれぞれ取得された各画像を互いに半画素ずらす立体画像撮像位置調整装置であって、
前記結像手段群の位置を示す位置検出用パターンと前記被写体とを共に前記各撮像素子によって撮像することで取得された各画像から前記位置検出用パターンの画像をそれぞれ抽出する画像抽出手段と、
前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれているか否かを判別する画素ずれ判別手段と、
前記各位置検出用パターンの画像が互いに半画素ずれていない場合に、前記抽出された位置検出用パターンの画像が互いに半画素ずれるように前記撮像素子の位置をシフトするための移動量を算出する移動量算出手段と、
前記算出された移動量に基づいて、前記撮像素子を移動させる撮像素子移動手段に駆動信号を出力する駆動制御手段と、
を備えることを特徴とする立体画像撮像位置調整装置。
【請求項２】
前記移動量算出手段で算出された情報に基づいて、前記撮像素子から出力される撮像された画像を示す画像信号を処理することで、前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれるように調整するシフト量信号処理手段をさらに備えることを特徴とする請求項１に記載の立体画像撮像位置調整装置。
【請求項３】
前記撮像手段は、色の３原色である赤色、緑色および青色のうちのいずれか１つの色に対応する同色用撮像素子を２つ有すると共に、前記３原色のうちの他の色に対応する色用の撮像素子を１つずつ有し、
前記同色用撮像素子でそれぞれ取得された各画像を互いに半画素ずらすことを特徴とする請求項１または請求項２に記載の立体画像撮像位置調整装置。
【請求項４】
結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置に備えられた２つの撮像素子でそれぞれ取得された各画像を互いに半画素ずらす立体画像撮像位置調整装置の立体画像撮像位置調整方法であって、
画像抽出手段によって、前記結像手段群の位置を示す位置検出用パターンと前記被写体とを共に前記各撮像素子によって撮像することで取得された各画像から前記位置検出用パターンの画像をそれぞれ抽出する画像抽出ステップと、
画素ずれ判別手段によって、前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれているか否かを判別する画素ずれ判別ステップと、
移動量算出手段によって、前記各位置検出用パターンの画像が互いに半画素ずれていない場合に、前記抽出された位置検出用パターンの画像が互いに半画素ずれるように前記撮像素子の位置をシフトするための移動量を算出する移動量算出ステップと、
駆動制御手段によって、前記算出された移動量に基づいて、前記撮像素子を移動させる撮像素子移動手段に駆動信号を出力する駆動制御ステップと、
を有することを特徴とする立体画像撮像位置調整方法。
【請求項５】
結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置に備えられた２つの撮像素子でそれぞれ取得された各画像を互いに半画素ずらすために、コンピュータを、
前記結像手段群の位置を示す位置検出用パターンと前記被写体とを共に前記各撮像素子によって撮像することで取得された各画像から前記位置検出用パターンの画像をそれぞれ抽出する画像抽出手段、
前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれているか否かを判別する画素ずれ判別手段、
前記各位置検出用パターンの画像が互いに半画素ずれていない場合に、前記抽出された位置検出用パターンの画像が互いに半画素ずれるように前記撮像素子の位置をシフトするための移動量を算出する移動量算出手段、
前記算出された移動量に基づいて、前記撮像素子を移動させる撮像素子移動手段に駆動信号を出力する駆動制御手段、
として機能させることを特徴とする立体画像撮像位置調整プログラム。
【請求項６】
結像手段群と、この結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置とを備える立体画像撮影装置と、
前記撮像装置に備えられた撮像素子を移動させる撮像素子移動手段と、
前記結像手段群の位置を示す位置検出用パターンと、
請求項１ないし請求項３のいずれか一項に記載の立体画像撮像位置調整装置とを備えることを特徴とする立体画像撮影システム。
【請求項７】
前記結像手段群の配設された領域の外側に外枠が設けられており、
前記位置検出用パターンは、前記外枠に設けられていることを特徴とする請求項６に記載の立体画像撮影システム。
【請求項８】
前記外枠に表示装置が設けられており、
前記位置検出用パターンは、前記表示装置に表示されることを特徴とする請求項６に記載の立体画像撮影システム。
【請求項９】
前記位置検出用パターンは、位置検出用光学系によって形成され、
前記位置検出用光学系は、
前記結像手段群を構成する結像手段のうち最も外側に配置された結像手段の前記被写体側に予め接続され、前記接続された結像手段を透過する光が光軸に対して直交する方向に向かって輝度分布が変化するように構成されていることを特徴とする請求項６に記載の立体画像撮影システム。
【請求項１】
結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置に備えられた２つの撮像素子でそれぞれ取得された各画像を互いに半画素ずらす立体画像撮像位置調整装置であって、
前記結像手段群の位置を示す位置検出用パターンと前記被写体とを共に前記各撮像素子によって撮像することで取得された各画像から前記位置検出用パターンの画像をそれぞれ抽出する画像抽出手段と、
前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれているか否かを判別する画素ずれ判別手段と、
前記各位置検出用パターンの画像が互いに半画素ずれていない場合に、前記抽出された位置検出用パターンの画像が互いに半画素ずれるように前記撮像素子の位置をシフトするための移動量を算出する移動量算出手段と、
前記算出された移動量に基づいて、前記撮像素子を移動させる撮像素子移動手段に駆動信号を出力する駆動制御手段と、
を備えることを特徴とする立体画像撮像位置調整装置。
【請求項２】
前記移動量算出手段で算出された情報に基づいて、前記撮像素子から出力される撮像された画像を示す画像信号を処理することで、前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれるように調整するシフト量信号処理手段をさらに備えることを特徴とする請求項１に記載の立体画像撮像位置調整装置。
【請求項３】
前記撮像手段は、色の３原色である赤色、緑色および青色のうちのいずれか１つの色に対応する同色用撮像素子を２つ有すると共に、前記３原色のうちの他の色に対応する色用の撮像素子を１つずつ有し、
前記同色用撮像素子でそれぞれ取得された各画像を互いに半画素ずらすことを特徴とする請求項１または請求項２に記載の立体画像撮像位置調整装置。
【請求項４】
結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置に備えられた２つの撮像素子でそれぞれ取得された各画像を互いに半画素ずらす立体画像撮像位置調整装置の立体画像撮像位置調整方法であって、
画像抽出手段によって、前記結像手段群の位置を示す位置検出用パターンと前記被写体とを共に前記各撮像素子によって撮像することで取得された各画像から前記位置検出用パターンの画像をそれぞれ抽出する画像抽出ステップと、
画素ずれ判別手段によって、前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれているか否かを判別する画素ずれ判別ステップと、
移動量算出手段によって、前記各位置検出用パターンの画像が互いに半画素ずれていない場合に、前記抽出された位置検出用パターンの画像が互いに半画素ずれるように前記撮像素子の位置をシフトするための移動量を算出する移動量算出ステップと、
駆動制御手段によって、前記算出された移動量に基づいて、前記撮像素子を移動させる撮像素子移動手段に駆動信号を出力する駆動制御ステップと、
を有することを特徴とする立体画像撮像位置調整方法。
【請求項５】
結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置に備えられた２つの撮像素子でそれぞれ取得された各画像を互いに半画素ずらすために、コンピュータを、
前記結像手段群の位置を示す位置検出用パターンと前記被写体とを共に前記各撮像素子によって撮像することで取得された各画像から前記位置検出用パターンの画像をそれぞれ抽出する画像抽出手段、
前記それぞれ抽出された位置検出用パターンの画像が互いに半画素ずれているか否かを判別する画素ずれ判別手段、
前記各位置検出用パターンの画像が互いに半画素ずれていない場合に、前記抽出された位置検出用パターンの画像が互いに半画素ずれるように前記撮像素子の位置をシフトするための移動量を算出する移動量算出手段、
前記算出された移動量に基づいて、前記撮像素子を移動させる撮像素子移動手段に駆動信号を出力する駆動制御手段、
として機能させることを特徴とする立体画像撮像位置調整プログラム。
【請求項６】
結像手段群と、この結像手段群により結像された被写体の各要素画像を撮像用レンズを介して撮像する撮像装置とを備える立体画像撮影装置と、
前記撮像装置に備えられた撮像素子を移動させる撮像素子移動手段と、
前記結像手段群の位置を示す位置検出用パターンと、
請求項１ないし請求項３のいずれか一項に記載の立体画像撮像位置調整装置とを備えることを特徴とする立体画像撮影システム。
【請求項７】
前記結像手段群の配設された領域の外側に外枠が設けられており、
前記位置検出用パターンは、前記外枠に設けられていることを特徴とする請求項６に記載の立体画像撮影システム。
【請求項８】
前記外枠に表示装置が設けられており、
前記位置検出用パターンは、前記表示装置に表示されることを特徴とする請求項６に記載の立体画像撮影システム。
【請求項９】
前記位置検出用パターンは、位置検出用光学系によって形成され、
前記位置検出用光学系は、
前記結像手段群を構成する結像手段のうち最も外側に配置された結像手段の前記被写体側に予め接続され、前記接続された結像手段を透過する光が光軸に対して直交する方向に向かって輝度分布が変化するように構成されていることを特徴とする請求項６に記載の立体画像撮影システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００８−１７７７２５（Ｐ２００８−１７７７２５Ａ）
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願番号】特願２００７−７７１３（Ｐ２００７−７７１３）
【出願日】平成１９年１月１７日（２００７．１．１７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１８年度、総務省、情報通信研究機構委託研究「多並列・像再生型立体テレビシステムに関する研究開発」（Ｈ１８−Ｈ２２）、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願日】平成１９年１月１７日（２００７．１．１７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１８年度、総務省、情報通信研究機構委託研究「多並列・像再生型立体テレビシステムに関する研究開発」（Ｈ１８−Ｈ２２）、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]