撮像装置
【課題】結像光学系の瞳の位置や大きさが変化した場合に、ライトフィールドの情報量低下および精度劣化を軽減する撮像装置を提供する。
【解決手段】撮像装置は、結像光学系１０１と、複数の画素を備えた撮像素子１０３と、被写体面２０１の同一位置からの光線を、この光線が通過する結像光学系１０１の瞳領域に応じて、撮像素子１０３の互いに異なる画素に入射させるレンズアレイ１０２と、結像光学系１０１の瞳変動に応じて、レンズアレイ１０２と撮像素子１０３の間隔を変化させる制御手段とを有する。
【解決手段】撮像装置は、結像光学系１０１と、複数の画素を備えた撮像素子１０３と、被写体面２０１の同一位置からの光線を、この光線が通過する結像光学系１０１の瞳領域に応じて、撮像素子１０３の互いに異なる画素に入射させるレンズアレイ１０２と、結像光学系１０１の瞳変動に応じて、レンズアレイ１０２と撮像素子１０３の間隔を変化させる制御手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体空間の光の２次元強度分布と光線の角度情報を取得する撮像装置に関する。
【背景技術】
【０００２】
近年、撮像素子で取得されたデータから演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献１、２には、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体空間の光の２次元強度分布と光線の角度情報を同時に取得する撮像装置が開示されている。ここで、光の２次元強度分布と光線の角度情報を合わせてライトフィールドと呼び、ライトフィールドを取得することにより被写体空間の３次元的な情報を得ることができる。このような撮像装置によれば、ライトフィールドを取得して撮影後に画像処理を行うことにより、リフォーカスと呼ばれる画像のピント位置、撮影視点、被写界深度等を変更することが可能である。
【０００３】
特許文献１には、非特許文献１で示されている構成においてレンズアレイの位置を切り換えることで、通常の撮影とライトフィールドの取得を切り換え可能な撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２６４５６９号
【非特許文献】
【０００５】
【非特許文献１】Ｒｅｎ Ｎｇ、他５名、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」、Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−２
【非特許文献２】Ａｎｄｒｅｗ Ｌｕｍｓｄａｉｎｅ、他１名、「Ｆｕｌｌ Ｒｅｓｏｌｕｔｉｏｎ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ」、Ａｄｏｂｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｊａｎｕａｒｙ ２００８
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１、２には、結像光学系の射出瞳の位置や大きさが変化した場合の弊害、および、それに対する対策について開示されていない。結像光学系の射出瞳は、結像光学系の変倍やフォーカシング、また、絞りを絞ることで変化する。結像光学系の射出瞳が変化すると、被写体面上のある位置に対応する光束が撮像素子上で適切な領域に入射しなくなる。このため、不感帯と呼ばれる光線の入射しない画素が増大し、また、クロストークと呼ばれる被写体面上で異なる位置と角度を有する光線が同一の画素に入射する現象が発生する。また、ライトフィールドの角度成分である光線の角度情報に関するサンプリングピッチも大きくなる。このとき、前述の再構成によって生成される画像が制限される。例えば、リフォーカスは撮影時にピントの合っていた被写体面を軸として前後にピント位置を移動させるが、ライトフィールドの角度成分のサンプリングピッチが増大すると、その移動可能範囲は減少する。
【０００７】
また特許文献１には、レンズアレイの位置が可変のライトフィールドを取得する撮像装置が開示されている。しかし、それは通常の撮影とライトフィールドの取得の切り替えのために行われる。結像光学系の射出瞳の位置や大きさが変化した場合の弊害、および、それに対する対策については開示されていない。また、レンズアレイと撮像素子との間隔における変化の仕方と射出瞳の変動に相関も存在しない。
【０００８】
そこで本発明は、結像光学系の瞳の位置や大きさが変化した場合に、ライトフィールドの情報量低下および精度劣化を軽減する撮像装置を提供する。
【課題を解決するための手段】
【０００９】
本発明の一側面としての撮像装置は、結像光学系と、複数の画素を備えた撮像素子と、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、前記結像光学系の瞳変動に応じて、前記レンズアレイと前記撮像素子の間隔を変化させる制御手段とを有する。
【００１０】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１１】
本発明によれば、結像光学系の瞳の位置や大きさが変化した場合に、ライトフィールドの情報量低下および精度劣化を軽減する撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１乃至３における撮像光学系の概略構成図である。
【図２】実施例５における撮像光学系の概略構成図である。
【図３】実施例４、６における撮像光学系の概略構成図である。
【図４】実施例１、２、４、５における撮像装置のブロック図である。
【図５】本実施例における撮像素子上に形成される像の説明図である。
【図６】実施例１乃至３における撮像光学系の説明図である。
【図７】実施例１乃至３におけるリフォーカス範囲の説明図である。
【図８】実施例１乃至３における撮像光学系の瞳変動の影響を示す説明図である。
【図９】本実施例における撮像光学系でのレンズアレイと撮像素子の間隔の変化を示す図である。
【図１０】実施例１乃至３におけるリフォーカス範囲の拡大を示す説明図である。
【図１１】実施例１における撮像光学系の断面図である。
【図１２】実施例１乃至６におけるレンズアレイと撮像素子の駆動部を示す図である。
【図１３】実施例１乃至３における絞りとτ、式（２）、および、有効画素比との関係を示す図である。
【図１４】実施例２、３における撮像光学系の断面図である。
【図１５】実施例２、３における結像光学系の変倍（射出瞳距離）とＦ値の関係を示す図である。
【図１６】実施例２、３における変倍とτ、式（２）、および、有効画素比との関係を示す図である。
【図１７】実施例３、６における画像処置システムのブロック図である。
【図１８】実施例４における撮像光学系の説明図である。
【図１９】実施例４におけるリフォーカス範囲の説明図である。
【図２０】実施例４における撮像光学系の瞳変動の影響を示す説明図である。
【図２１】実施例４におけるリフォーカス範囲の拡大を示す説明図である。
【図２２】実施例４、６におけるリフォーカス範囲の拡大を示す説明図である。
【図２３】実施例４における撮像光学系の断面図である。
【図２４】実施例４乃至６における絞り（Ｆ値）とτ２、τ１、式（７）、および、式（８）との関係を示す図である。
【図２５】実施例５における撮像光学系の断面図である。
【図２６】実施例５、６における結像光学系の変倍（射出瞳距離）とＦ値との関係を示す図である。
【図２７】実施例５、６における変倍（射出瞳距離）とτ２、τ１、式（７）、および、式（８）との関係を示す図である。
【図２８】実施例６における撮像光学系の断面図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１４】
各実施例は、ライトフィールドを取得する撮像装置において、結像光学系の瞳変動（瞳の位置や大きさの変化）に伴うライトフィールドの取得量（情報量）と取得精度の低下に対する影響を低減するものである。
【実施例１】
【００１５】
まず、図４を参照して、本発明の実施例１における撮像装置の構成について説明する。図４は、本実施例における撮像装置のブロック図である。被写体空間（不図示）からの光線は、結像光学系１０１、および、複数の小レンズを備えて構成されたレンズアレイ１０２を介して、複数の画素を備えた撮像素子１０３で受光される。結像光学系１０１、レンズアレイ１０２、および、撮像素子１０３により撮像光学系が構成される。
【００１６】
撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子であり、複数の画素を備える。主レンズ群を備えて構成される結像光学系１０１およびレンズアレイ１０２を介して撮像素子１０３に入射した光線のエネルギーは電気信号（アナログ信号）となり、Ａ／Ｄコンバータ１０４でデジタル信号へ変換される。このデジタル信号は、画像処理部１０５にて所定の処理が行われ、半導体メモリなどの画像記録媒体１１０に所定のフォーマットで保存される。この際、同時に状態検知部１０８から得られた撮像装置の撮像条件情報も保存される。撮影条件情報とは、撮影距離や絞り、ズームレンズにおける焦点距離などである。状態検知部１０８は、システムコントローラ１１１から撮影条件情報を直接得てもよいし、撮像光学系に関する情報に関しては光学系制御部１０７から得ることもできる。
【００１７】
画像記録媒体１１０に保存された画像を表示部１０６に表示する際には、画像処理部１０５で撮影条件情報に基づいた再構成処理が施される。その結果、表示部１０６には所望の視点、ピント位置や被写界深度に再構成された画像が表示される。また高速化のため、所望の画像設定（視点、ピント、被写界深度など）を予め記憶部１０９に保存し、画像記録媒体１１０を介さずに再構成画像を表示部１０６に直接表示させてもよい。さらに、画像記録媒体１１０に記録する画像は、再構成後の画像でもよい。以上の一連の制御は、システムコントローラ１１１により行われ、撮像光学系の機械的な駆動はシステムコントローラ１１１の指示によって光学系制御部１０７で行われる。
【００１８】
次に、結像光学系１０１の瞳変動によるライトフィールドの取得情報量の減少および取得精度の劣化について説明し、続いて、その情報量減少および精度劣化を防ぐためのレンズアレイ１０２と撮像素子１０３との間隔の変化について説明する。以下の説明は、理解容易のため、１次元系の場合について行う。しかし、２次元系に関しても同様の理論が成り立つ。
【００１９】
まず、ライトフィールドを取得する撮像光学系の瞳変動による取得情報量の減少および取得精度の劣化について説明する。図１は、本実施例における撮像光学系の概略構成図である。図６（ａ）〜（ｃ）は、図１の結像光学系１０１に物体側主平面１０１ａ、射出瞳面１０１ｂ、および、像側主平面１０１ｃを加えた図である。図１および図６（ａ）に示されるように、レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する共役面（像側共役面）に配置されている。このとき、レンズアレイ１０２は、撮像素子１０３と射出瞳面１０１ｂが略共役関係になるように構成されている。レンズアレイ１０２は、このような構成により、被写体面２０１の同一位置からの光線を、この光線が通過する結像光学系１０１の瞳領域に応じて、撮像素子１０３の互いに異なる画素に入射させる。このため、本実施例の撮像装置によれば、ライトフィールドを取得することが可能となる。図６（ａ）において、レンズアレイ１０２の光軸近傍に位置する小レンズを通過した光線が入射する撮像素子１０３上の領域は、レンズアレイ１０２のピッチと略同一である。小レンズとは、レンズアレイ１０２を構成するレンズの１つを示す。前記領域がレンズアレイ１０２のピッチより小さい場合、何の情報も取得しない不感帯が発生し、画素が無駄になる。
【００２０】
図５（ａ）、（ｂ）は、撮像素子１０３上に発生する不感帯を２次元的に示した図である。図５（ａ）中の白い円は、結像光学系１０１とレンズアレイ１０２の１つの小レンズを通過した光線が撮像素子１０３上に入射する領域を表している。それ以外の斜線の部分は、光線の入射しない不感帯である。一方、前記領域がレンズアレイ１０２のピッチより大きい場合、レンズアレイ１０２の隣接する小レンズをそれぞれ通過した光線が混じるクロストークが発生し、正しいライトフィールドが得られない。図５（ｂ）中において、白い円の重なった部分は、クロストークを表している。
【００２１】
このように、図６（ａ）は、画素を無駄にすることなく正しいライトフィールドを効率よく取得可能な状態である。図６（ｂ）は、図６（ａ）の状態から、結像光学系１０１の射出瞳（射出瞳面１０１ｂ）が変化した場合（瞳変動が生じた場合）を示している。ここで瞳変動とは、具体的には結像光学系１０１の変倍、フォーカシング、絞りを絞ること等によって発生する瞳（射出瞳）の位置や大きさの変化である。図６（ｂ）に示されるように、射出瞳面１０１ｂが小さくなり、さらに物体側に移動したことにより、被写体面２０１上における同一位置からの光束の分割数が小さくなっている。図６（ｂ）では瞳の分割数が１となり、ライトフィールドの角度成分を取得できない。撮像素子１０３ではその分、不感帯が増大している。逆に、射出瞳面１０１ｂが大きくなるか、または射出瞳面１０１ｂが像側に移動すると、クロストークが発生して正しいライトフィールドが得られない。
【００２２】
次に、ライトフィールドの取得量（取得情報量）の減少および取得精度の劣化が画像再構成に及ぼす影響について、リフォーカスを例として説明する。リフォーカスに関しては、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」（Ｒｅｎ Ｎｇ著、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ． ２４， ７３５−７４４参照）で詳述されているため、本実施例では簡単に説明する。リフォーカス範囲は、被写体空間での光の２次元強度分布を表す空間成分のサンプリングピッチΔｘと、光線の角度情報を表す角度成分のサンプリングピッチΔｕで決定され、その係数α±は以下の式（１）のように与えられる。
【００２３】
【数１】
【００２４】
ここで、Δｘは被写体面２０１対する結像光学系１０１の像側共役面２０２上のサンプリングピッチ、Δｕは結像光学系１０１の射出瞳面１０１ｂ上のサンプリングピッチである。図７は、本実施例におけるα±、Δｘ、Δｕ及びリフォーカス範囲の説明図である。本実施例において、サンプリングピッチΔｘは、レンズアレイ１０２のピッチに一致する。式（１）を用いて表される像側のリフォーカス範囲α＋ｓ２〜α−ｓ２と結像光学系１０１を介して共役な範囲が、物体側のリフォーカス範囲となる。ｓ２は、結像光学系１０１の像側主平面１０１ｃと被写体面２０１に対する結像光学系１０１の像側共役面との間隔である。
【００２５】
次に図８を参照して、結像光学系１０１の瞳変動の影響について説明する。理解を容易にするために、結像光学系１０１のＦ値が一定で射出瞳位置が変化した場合と、射出瞳位置が一定でＦ値が変化した場合に分けて説明する。図８（ａ）、（ｂ）は結像光学系１０１のＦ値が一定で射出瞳位置が変動した場合、図８（ａ）、（ｃ）は結像光学系１０１の射出瞳位置が一定でＦ値が変動した場合を示している。
【００２６】
まず、結像光学系１０１のＦ値が一定で射出瞳位置が変動した場合の影響について説明する。図８（ａ）の状態から図８（ｂ）の状態への変化のようにＦ値が一定で射出瞳が物体側に移動した場合、ライトフィールドの取得精度は劣化する。換言すると、射出瞳面１０１ｂ上でのサンプリングピッチΔｕの値が大きくなる。このため、式（１）で表される係数α±は、１に近付いてリフォーカス範囲は狭まる。逆に、図８（ａ）に示される状態から射出瞳が像側に移動した場合、サンプリングピッチΔｕの値は小さくなる。このため、係数α±は１から離れ、リフォーカス範囲は増大する。このように、結像光学系１０１の射出瞳位置（射出瞳面１０１ｂの位置）の変動は、リフォーカス範囲の変動を引き起こす。リフォーカス以外の視点変更や被写界深度の調整も、同様に、サンプリングピッチΔｕが小さくなるほど、すなわちライトフィールドのサンプリングピッチが細かくなるほど、その自由度が増す。したがって、結像光学系１０１の瞳が変動した場合には、サンプリングピッチΔｕを小さくすることが必要となる。
【００２７】
次に、結像光学系１０１のＦ値の変化が与える影響について考える。結論としては、結像光学系１０１のＦ値が大きくなる（瞳が小さくなる）と撮像素子１０３上で不感帯が増大する。一方、結像光学系１０１のＦ値が小さくなる（瞳が大きくなる）と、クロストークが発生する。例えば、図８（ａ）の状態から結像光学系１０１のＦ値が３倍になると、図８（ｃ）の状態になる。図８（ａ）では１つの小レンズあたりの光が入射する画素数は３画素であるのに対し、図８（ｃ）では受光画素は１画素のみであり、残り２画素は不感帯となっている。
【００２８】
逆に、Ｆ値が小さくなると、小レンズを通過した光線は隣の小レンズを通過した光線と混合し、クロストークが発生する。このとき、クロストークが生じた画素を再構成に用いると、画像が正しく形成できない。このため、正しい画像を出力するには、クロストークの発生していない画素のみを再構成処理に用いる必要がある。したがって、不感帯やクロストークが発生した場合には、使用しない画素が発生し、情報の取得が非効率的になる。また、このとき、ライトフィールドのサンプリングピッチは変化しないが、取得可能な情報量は減少する。このことは、図８（ａ）、（ｃ）を比較すれば明らかである。
【００２９】
ここまでの議論で、ライトフィールドを取得する撮像光学系における結像光学系１０１の瞳変動による課題が明らかとなった。射出瞳位置が物体側へ移動するとライトフィールドのサンプリングピッチが荒くなり、Ｆ値が変化するとライトフィールドの取得効率と情報量が低下する。上記の説明では射出瞳位置の移動とＦ値の変化を、それぞれを個別に扱ったが、実際には２つの現象が複合して起こる場合もある。これらの課題を解決するために、瞳変動（瞳の位置や大きさ）に応じてレンズアレイ１０２と撮像素子１０３の間隔（距離）を変化させる。この間隔は、図４中のシステムコントローラ１１１（制御手段）により制御される。より具体的には、システムコントローラ１１１が後述の駆動部１００１を制御することにより、駆動部１００１はレンズアレイ１０２または撮像素子１０３（または、これらの両方）を移動させる。レンズアレイ１０２と撮像素子１０３の間隔が変化することで、ライトフィールドの取得量と取得精度の低下を軽減し、上記の課題を克服することができる。
【００３０】
図６（ｃ）は、図６（ｂ）の瞳変動に応じて、レンズアレイ１０２と撮像素子１０３の間隔を変化させ、サンプリングピッチΔｕを小さくした状態を示す図である。結像光学系１０１のＦ値の増大により不感帯が増大するが、レンズアレイ１０２と撮像素子１０３の間隔を大きくすることで、その不感帯に光線を入射させることができる。これにより、瞳の分割数を増大させ、ライトフィールドの取得情報量の減少および取得精度の劣化を軽減することができる。図６（ｃ）では、レンズアレイ１０２を移動することで、レンズアレイ１０２と撮像素子１０３の間隔を変化させているが、本実施例はこれに限定されるものではない。レンズアレイ１０２を固定して撮像素子１０３を移動してもよく、また、レンズアレイ１０２および撮像素子１０３の両方を移動してその間隔を変化させてもよい。
【００３１】
一般に、ズームレンズでは広角端で射出瞳面が最も像側に位置し、焦点距離を増大させると射出瞳が物体側へ移動することが多い。このため、焦点距離が大きくなるほどライトフィールドのサンプリングピッチが荒くなり、リフォーカス範囲の減少などを招きやすい。一方、一般にズームレンズは絞り開放時には広角端で最もＦ値が小さく、焦点距離が増大するほどＦ値が大きくなる場合が多い。要するに、広角端から望遠端に近付くほどサンプリングピッチΔｕが大きくなり、かつ不感帯が増大する。このため、広角端から望遠端へ変化する際、その瞳変動に応じてレンズアレイ１０２と撮像素子１０３の間隔を変化させることで、不感帯を減らし、かつサンプリングピッチΔｕを小さくすることができる。ただし、変倍及びフォーカシング時に絞りの大きさが変化せず、絞りおよびそれより像側のレンズ群が移動しない場合、焦点距離が変化しても射出瞳は変化しない。この場合、レンズアレイ１０２と撮像素子１０３の間隔を変化させなくても、撮像素子１０３の受光領域は変化せず、常に一定のサンプリングピッチΔｕでライトフィールドを取得することができる。ただし、特定の焦点距離の状態でレンズアレイ１０２と撮像素子１０３の間隔を変化させ、そのときだけサンプリングピッチΔｕを変化させてもよい。
【００３２】
次に、本実施例において、レンズアレイ１０２と撮像素子１０３の間隔をどのように変化させるかについて詳述する。結像光学系１０１が第１の状態、第２の状態におけるレンズアレイ１０２と撮像素子１０３の間隔を、それぞれ第１の間隔、第２の間隔とする。第１の状態に対して、第２の状態における結像光学系１０１のＦ値が大きいか、または射出瞳位置が物体側である場合、第２の間隔を第１の間隔よりも大きくすればよい。このような制御により、不感帯の発生を低減し、ライトフィールドのサンプリングピッチを細かくすることができる。
【００３３】
また、結像光学系１０１のＦ値の増大は不感帯の増加およびライトフィールドの情報量の減少を招く。結像光学系１０１の射出瞳位置が一定の場合、結像光学系１０１が第１のＦ値、第２のＦ値の状態におけるレンズアレイ１０２と撮像素子１０３の間隔を、それぞれ第１の間隔、第２の間隔とする。第２のＦ値が第１のＦ値より大きい場合、第２の間隔を第１の間隔よりも大きくすればよい。すなわち、結像光学系１０１の射出瞳の位置が一定の場合、レンズアレイ１０２と撮像素子１０３の間隔を、結像光学系１０１が第１のＦ値を有する場合の第１の間隔よりも、第１のＦ値より大きい第２のＦ値を有する場合の第２の間隔を大きくする。このような制御により、瞳変動によるライトフィールドの取得量の減少を、図６（ａ）、（ｃ）に示されるように軽減することができる。
【００３４】
また、結像光学系１０１の射出瞳位置が物体側に近付くほどサンプリングピッチΔｕは大きくなり、ライトフィールドのサンプリングピッチが増大する。結像光学系１０１のＦ値が一定の場合、結像光学系１０１の射出瞳位置が第１の位置、第２の位置に位置している状態におけるレンズアレイ１０２と撮像素子１０３の間隔を、それぞれ第１の間隔、第２の間隔とする。第２の位置が第１の位置より物体側である場合、第２の間隔を第１の間隔よりも大きくすればよい。すなわち、Ｆ値が一定の場合、レンズアレイ１０２と撮像素子１０３の間隔を、射出瞳の位置が第１の位置にある場合の第１の間隔よりも、結像光学系１０１の射出瞳の位置が第１の位置より物体側である第２の位置にある場合の第２の間隔を大きくする。このような制御により、図６（ａ）、（ｃ）に示されるようにライトフィールドの取得精度の劣化を軽減することができる。
【００３５】
ここでは理解を容易にするため、結像光学系１０１の瞳変動を射出瞳位置の移動とＦ値の変化に分け、どちらか一方が固定されている場合に関して説明した。一般的な瞳変動は前記の２つの場合を複合することで表すことができる。例えば、広角端から望遠端への変倍にかけて、Ｆ値が大きくなり、かつ射出瞳位置が物体側へ移動するズームレンズがあったとする。この場合は、まず広角端で絞りを絞って望遠端のＦ値と同じにし、その後そのＦ値を保ったまま望遠端へ変倍したと考えることもできる。
【００３６】
さらに、レンズアレイ１０２と撮像素子１０３の間隔は、以下のように変化させることが好ましい。すなわち、結像光学系１０１の射出瞳が物体側へ移動する際、ライトフィールドの角度成分に関するサンプリングピッチで、空間成分に関するサンプリングピッチを除した値Δｘ／Δｕが大きくなるように、その間隔を変化させる。本実施例において、サンプリングピッチΔｘは、レンズアレイ１０２のピッチに等しい。したがって、結像光学系１０１の射出瞳が物体側に移動した場合、レンズアレイ１０２のピッチを結像光学系１０１の射出瞳でのサンプリングピッチで除した値が大きくなるように、レンズアレイ１０２と撮像素子１０３の間隔を変化させることが好ましい。これにより、式（１）で表されるリフォーカス範囲など、再構成により生成される画像の自由度が増す。
【００３７】
ここで、結像光学系１０１の射出瞳が変動する際、あるアジムス方向の断面において、射出瞳の両端とレンズアレイ１０２の光軸付近に位置する小レンズの中心とを結ぶ２直線を考える。レンズアレイ１０２と撮像素子１０３の間隔は、その２直線がそれぞれ撮像素子１０３と交わる２点の間の長さが、レンズアレイ１０２のピッチ以下となるように変化させることが好ましい。図９は、結像光学系１０１の射出瞳、およびレンズアレイ１０２の小レンズと前記２点の間の長さの関係図である。図９に示される２点の間の長さがレンズアレイ１０２のピッチを超えると、クロストークが発生する。このため、前記２点の間の長さがレンズアレイ１０２のピッチ以下となるように変化させることでクロストークの発生を回避し、ライトフィールドの取得情報量の減少を軽減することができる。さらに好ましくは、前記２直線がそれぞれ撮像素子１０３と交わる２点の間の長さが、レンズアレイ１０２のピッチに近付くように、レンズアレイ１０２と撮像素子１０３の間隔を変化させる。これにより、クロストークを回避し、かつ不感帯を最大限に利用してライトフィールドを取得することができる。
【００３８】
ここで、レンズアレイ１０２を移動させて、レンズアレイ１０２と撮像素子１０３の間隔を変化させる場合を考える。結像光学系１０１の瞳変動に応じてレンズアレイ１０２が移動した場合、結像光学系１０１を介してレンズアレイ１０２と共役な面をレンズアレイ１０２の移動方向と逆の方向へ移動させることが好ましい。この移動は、例えば結像光学系１０１に設けられたフォーカシング手段により行われる。これは、図１の構成でリフォーカスを考える際に、物体側のいずれの面を軸としてピント位置を移動させるかという点に関係する。
【００３９】
図１０を参照して、図１の構成における前記効果について説明をする。図１０は、撮像素子１０３を固定し、レンズアレイ１０２のみを移動させて、両者の間の距離を変化させている。ただし、レンズアレイ１０２が移動すれば、撮像素子１０３が移動する場合でも以下と同様の議論が成り立つ。図１０（ａ）は、レンズアレイ１０２を移動させる前のリフォーカス範囲を示す。図１０（ｂ）は、単純にレンズアレイ１０２のみを移動させた場合のリフォーカス範囲を示す。図１０（ｃ）は、レンズアレイ１０２の移動後に、レンズアレイ１０２の結像光学系１０１に対する共役面をレンズアレイ１０２の移動方向と逆方向へ移動させた場合のリフォーカス範囲を示す。
【００４０】
レンズアレイ１０２の移動後に前記共役面を移動させない場合、図１０（ａ）、（ｂ）に示されるように、レンズアレイ１０２の移動前後で物体側のピント位置が変化する。このとき、リフォーカス範囲は撮影時のピント位置を基準として前後に広がる。このため、レンズアレイ１０２の移動量に応じて、図１０（ａ）、（ｂ）に示されるように移動前に比べて移動後に撮像装置側のリフォーカス範囲が狭まる場合がある。これを避けるには、レンズアレイ１０２の移動時に結像光学系１０１のフォーカス群を移動し、前記共役面も移動させることが好ましい。図１の構成では、前記共役面をレンズアレイ１０２の移動方向と逆方向へ移動することで、図１０（ａ）、（ｃ）に示されるようにリフォーカス範囲を前後ともに伸ばすことができる。一方、レンズアレイ１０２を固定して撮像素子１０３を移動させた場合は、結像光学系１０１のフォーカスを調整しなくてもリフォーカス範囲は常に前後に拡大する。
【００４１】
また、レンズアレイ１０２は、像側の面が凸形状の小レンズで構成されていることが好ましい。これにより、小レンズの非点収差を低減して深度が深くなる。前述のレンズアレイ１０２と撮像素子１０３の間隔の変化は、小レンズの結像関係を保ちながら行う必要がある。図１の構成の場合、結像光学系１０１の射出瞳面１０１ｂと撮像素子１０３は小レンズに対して共役関係である。小レンズの深度を深くすることで、この共役関係を保ちつつレンズアレイ１０２と撮像素子１０３の間隔を容易に変化させることができる。さらに好ましくは、レンズアレイ１０２は物体側の面を平面または凸形状の小レンズで構成する。これにより、小レンズの曲率が緩まって収差が低減し、また、小レンズの結像関係を保ちやすくなる。
【００４２】
図１１は、本実施例における撮像光学系の断面図である。図１１の結像光学系１０１は単焦点レンズである。レンズアレイ１０２は、正の屈折力を有する小レンズにより構成されている。小レンズは両凸の球面固体レンズで構成されているが、表裏のいずれかの面が平面でもよく、また非球面の曲面を有していてもよい。またレンズアレイ１０２は、液体レンズ、液晶レンズ、回折光学素子などが並列して構成されていてもよい。
【００４３】
レンズアレイ１０２と撮像素子１０３の間隔は、結像光学系１０１のフォーカシングおよびＦ値の変化に応じて変化する。図１２は、レンズアレイ１０２と撮像素子１０３の間隔を変化させる駆動部１００１を示す。駆動部１００１は、例えば図１２（ａ）、（ｂ）に示されるように構成されている。レンズアレイ１０２の端部における３か所以上に楕円形の円盤が接しており、円盤を回転させることで図１２（ａ）、（ｂ）のようにレンズアレイ１０２を駆動させることができる。本実施例では、レンズアレイ１０２を駆動してレンズアレイ１０２と撮像素子１０３の間隔を変化させるが、図１２（ｃ）、（ｄ）に示されるように撮像素子１０３を駆動（移動）してもよい。また、レンズアレイ１０２と撮像素子１０３の両方を移動させるように構成してもよい。
【００４４】
クロストークを避けるには、光軸付近に位置するレンズアレイ１０２の小レンズにより撮像素子１０３上に形成される結像光学系１０１の射出瞳の像の大きさが、小レンズの大きさを超えない必要がある。好ましくは、射出瞳の像の大きさが小レンズの大きさと同程度になるように、レンズアレイ１０２と撮像素子１０３の間の距離を変化させる。これにより、不感帯を最大限に利用してライトフィールドの角度成分のサンプリングピッチを小さくすることができる。
【００４５】
また、レンズアレイ１０２と撮像素子１０３の間隔は、以下の式（２）を満たすように変化させてもよい。
【００４６】
【数２】
【００４７】
ここで、Ｆ０は結像光学系１０１が取り得るＦ値の最小値、Ｆは結像光学系１０１の任意の状態におけるＦ値、Δは撮像素子１０３の画素ピッチ、ΔＬＡはレンズアレイ１０２のピッチである。τは、結像光学系１０１のＦ値がＦの場合におけるレンズアレイ１０２の像側主平面と撮像素子１０３の間隔である。それぞれの記号の関係については図６（ａ）、（ｃ）に示される。
【００４８】
続いて、式（２）について説明する。式（２）は、結像光学系１０１の射出瞳と撮像素子１０３の共役関係を保ちながら、ライトフィールドのサンプリングピッチΔｕが小さくなるように、レンズアレイ１０２と撮像素子１０３の間隔を変化させる式である。τ／Ｆは、結像光学系１０１のＦ値がＦの場合に、レンズアレイ１０２の光軸近傍に位置する１つの小レンズを通過する光線が撮像素子１０３上に形成する像のあるアジムス方向における長さである。τ／ＦがΔＬＡを超えると、隣の小レンズが形成する像と混じり、正しくライトフィールドが取得できなくなる。このため、結像光学系１０１のＦ値がＦのときにレンズアレイ１０２と撮像素子１０３の間隔が変化した場合、クロストークが生じない条件は、τ／（ＦΔＬＡ）≦１である。
【００４９】
しかし前述のとおり、レンズアレイ１０２の小レンズは、結像光学系１０１の射出瞳と撮像素子１０３を略共役関係で結んでいる。このため、レンズアレイ１０２の焦点深度内に射出瞳と撮像素子１０３が収まる範囲で、レンズアレイ１０２と撮像素子１０３の間隔を変化させる必要がある。そこで、結像光学系１０１のＦ値がＦ０かつ射出瞳位置が最も像側の場合に、レンズアレイ１０２の焦点深度の端に撮像素子１０３を配置することで、レンズアレイ１０２の移動可能範囲を増大することができる。このとき、以下の式（３）が成り立つ。
【００５０】
【数３】
【００５１】
ここで、Ｐ０は結像光学系１０１のＦ値がＦ０の場合の射出瞳面１０１ｂとレンズアレイ１０２の物体側主平面の間隔の最大値、ｆＬＡはレンズアレイ１０２の焦点距離である。τ０は結像光学系１０１のＦ値がＦ０かつ射出瞳位置が最も像側の場合のレンズアレイ１０２の像側主平面と撮像素子１０３の間隔である。一般的に、Ｐ０≫Δが成り立つため、式（３）を用いると焦点距離ｆＬＡは以下の式（４）のように近似できる。
【００５２】
【数４】
【００５３】
このため、レンズアレイ１０２を構成する小レンズのＦ値は、ＦＬＡ＝τ０／（ΔＬＡ−Δ）となる。撮像素子１０３の画素ピッチがΔであるから、レンズアレイ１０２の像側の被写界深度はピント位置から近似的に±ＦＬＡΔと見積もることができる。このため、τ０から２ＦＬＡΔまでの範囲であれば、レンズアレイ１０２と撮像素子１０３の間隔を増大させても結像関係が概ね保たれる。
【００５４】
レンズアレイ１０２の像側主平面と撮像素子１０３の間隔をτ０から２ＦＬＡΔだけ増大させた場合、クロストークと不感帯が最小限になる結像光学系１０１のＦ値の最大値Ｆｍａｘは、以下の式（５）のように表される。
【００５５】
【数５】
【００５６】
このため、レンズアレイ１０２と撮像素子１０３の間隔は、結像光学系１０１のＦ値がＦ≦Ｆｍａｘの場合にはτ／（ＦΔＬＡ）≦１を満たしながら変化し、Ｆ＞Ｆｍａｘの場合にはレンズアレイ１０２の結像関係を保つ値より大きくならないことが好ましい。この場合分けが式（２）の場合分けである。また、レンズアレイ１０２の焦点深度から、τの最大値τｍａｘは以下の式（６）で与えられる。
【００５７】
【数６】
【００５８】
また、クロストークが少量である場合、取得したライトフィールドが正しい値からそれほど乖離しない。また、再構成時にそのクロストークが生じていない画素のみを用いて再構成してもよい。このため、τ／（ＦΔＬＡ）が１を超えても、その量が小さければ問題ない。ただし、τ／（ＦΔＬＡ）が式（２）の上限である１．２を超えると、クロストークの発生した画素が多くなり再構成に使用可能な画素が少なくなる。一方、τ／（ＦΔＬＡ）が式（２）の下限である０．４を下回ると、Ｆが増大した場合に不感帯の占める割合が増大し、ライトフィールドの取得情報量が低下する。このため、その値を式（２）の範囲内に収めることで、結像光学系１０１の瞳が変動した場合に、不感帯とクロストークの発生を軽減して効率よくライトフィールドを取得することができる。
【００５９】
より好ましくは、以下の式（２ａ）の範囲とすることで、さらに瞳変動によるライトフィールドの取得情報量および取得精度の劣化を軽減することが可能である。
【００６０】
【数７】
【００６１】
本実施例では、Δ＝０．００４３（ｍｍ）、ΔＬＡ＝０．０２１５（ｍｍ）、Ｆ０＝２．９である。また、τ０＝０．０６２３５（ｍｍ）であり、１つの小レンズによって撮像素子１０３上に形成される射出瞳の像の大きさは、レンズアレイ１０２のピッチとほぼ一致している。すなわち、Ｆ０の場合、不感帯やクロストークの発生が低減される。
【００６２】
図１３（ａ）、（ｂ）、（ｃ）は、絞り（Ｆ値）とτ、式（２）、および、有効画素比との関係をそれぞれ示す図である。図１３（ａ）〜（ｃ）のそれぞれにおいて、本実施例における関係は実線で表されている。図１３（ａ）中の実線は、結像光学系１０１の絞りを絞ることによりＦ値が変化した場合に、τをどのように変化させるかを示している。図１３（ａ）において、横軸は結像光学系１０１のＦ値、縦軸はレンズアレイ１０２の像側主平面から撮像素子１０３までの距離τである。横軸のＦ値は１０までプロットされているが、結像光学系１０１はそれ以上の値も取り得る。図１３（ａ）に示されるように、結像光学系１０１のＦ値が増大するにつれて、距離τが増大してレンズアレイ１０２と撮像素子１０３の間隔は大きくなる。また本実施例では、式（５）と式（６）よりＦｍａｘ＝４．３５、τｍａｘ＝０．０９３５３（ｍｍ）と求められる。図１３（ａ）のＦ値が８．９程度から距離τが一定になるのは、τ＝τｍａｘとなるためである。距離τをこれ以上大きくすると、レンズアレイ１０２の結像関係が保つことができず、ライトフィールドを正しく得ることができない。
【００６３】
図１３（ｂ）は、この場合における式（２）の値を示している。Ｆ値が変化しても式（２）の範囲内に収まっている。Ｆ値８．９程度から値がフラット（平坦）になっているのはτ＝τｍａｘとなるためである。図１３（ｃ）は、レンズアレイ１０２と撮像素子１０３の間隔を変化させたことによる効果を示している。図１３（ｃ）において、縦軸の有効画素比はτ／（ＦΔＬＡ）で表され、小レンズ１つに対応した画素群のうち、光が入射する画素の１次元的な割合を示している。有効画素比が１より大きい場合にはクロストークが発生し、１より小さい場合には不感帯が存在する。有効画素比が１と略等しい場合、不感帯とクロストークの発生が軽減され、最も効率的にライトフィールドを取得することができる。図１３（ｃ）中の細い実線は、レンズアレイ１０２と撮像素子１０３の間隔を固定した場合の値であり、両者の間隔を瞳変動に応じて変化させることにより有効画素比が１に近付いている。
【実施例２】
【００６４】
次に、本発明の実施例２について説明する。本実施例における撮像装置の基本構成は、図４を参照して説明した実施例１の撮像装置と同様であるため、それらの説明は省略する。
【００６５】
図１４は、本実施例における撮像光学系の断面図である。図１４の結像光学系１０１はズームレンズである。結像光学系１０１は、正の屈折力を有する第１レンズ群Ｌ１、負の屈折力を有する第２レンズ群Ｌ２、正の屈折力を有する第３レンズ群Ｌ３を備える。結像光学系１０１は、更に、正の屈折力を有する第４レンズ群Ｌ４、負の屈折力を有する第５レンズ群Ｌ５、正の屈折力を有する第６レンズ群Ｌ６を備える。結像光学系１０１は、変倍の際に各レンズ群の間隔を変化させ、第２レンズ群Ｌ２でフォーカシングを行う。レンズアレイ１０２は、その物体側が平面およびその像側が凸形状の小レンズで形成されている。結像光学系１０１の変倍、フォーカシング、絞りを絞った場合の瞳変動（瞳の位置や大きさ）に応じて、レンズアレイ１０２が移動する。その移動方法は実施例１と同様である。このような構成により、結像光学系１０１の瞳が変動した場合でも、ライトフィールドの取得情報量の減少と取得精度の劣化を軽減することができる。
【００６６】
本実施例では、Δ＝０．００６４（ｍｍ）、ΔＬＡ＝０．０３２（ｍｍ）、Ｆ０＝３．２７である。また、τ０＝０．０６２７９（ｍｍ）であり、１つの小レンズによって撮像素子１０３上に形成される射出瞳の像の大きさが、レンズアレイ１０２のピッチよりも小さい。レンズアレイ１０２のピッチが５画素分であるのに対し、射出瞳の像の１次元的な大きさが３画素に対応する。すなわち、１つの小レンズあたり、１次元で２画素、２次元では１６画素の不感帯が存在する。
【００６７】
図１３（ａ）中の破線は、結像光学系１０１の広角端において、絞りを絞ったことによるＦ値の変化に対するτの変化を示している。Ｆ値が増大するにつれて、τが増大してレンズアレイ１０２と撮像素子１０３の間の間隔が大きくなっている。また本実施例では、式（５）および式（６）から、Ｆｍａｘ＝４．９１、τｍａｘ＝０．１５６９８（ｍｍ）と求められる。本実施例では、Ｆ値が１０以下の場合にはτｍａｘに至っていないため、グラフが実施例１のようにフラットになっていない。しかし、Ｆ値がさらに増大してτ＝τｍａｘになった場合、レンズアレイ１０２はそれ以上物体側へ移動しない。図１３（ｂ）中の破線は、このときの式（２）の値を示している。Ｆ値全域に渡って式（２）の範囲内に収まっている。図１３（ｃ）は、この場合のレンズアレイ１０２と撮像素子１０３の間隔変化による効果を示している。図１３（ｃ）中の細い破線は、レンズアレイ１０２と撮像素子１０３の間隔を固定した場合の有効画素比である。図１３（ｃ）に示されるように、両者の間隔を瞳変動に応じて変化させたことにより、有効画素比が１に近付いている。
【００６８】
次に、結像光学系１０１を変倍させた場合のτの変化について説明する。結像光学系１０１は、広角端で焦点距離が２８．９ｍｍ、望遠端で２９１．４ｍｍである。図１５は、絞り開放時に広角端から望遠端まで変倍させた場合において、結像光学系１０１のＦ値の変化を示す図である。横軸は、結像光学系１０１の射出瞳面１０１ｂと像側焦点の間隔である射出瞳距離を示す。本実施例において、射出瞳距離は広角端で最小値をとり、望遠端で最大値をとる。図１５に示されるように、増倍によってＦ値が増大しているため、不感帯が増大していると考えられる。
【００６９】
図１６（ａ）、（ｂ）、（ｃ）は、本実施例における変倍とτ、式（２）、および、有効画素比のそれぞれとの関係を示す図である。図１６（ａ）〜（ｃ）のそれぞれにおいて、本実施例における関係は破線で表されている。図１６（ａ）中の破線は、変倍に対するτの変化を示している。射出瞳が物体側へ移動するにつれて、τは増大している。射出瞳距離が１４３．８程度になったときからτが一定であるのは、τ＝τｍａｘであるためである。図１６（ｂ）は、このときの式（２）の値を示している。図１６（ｂ）に示されるように、全変倍域に対して式（２）の範囲内に収まっている。射出瞳距離が１４３．８程度になったときからτが一定であるのは、τ＝τｍａｘであるためである。図１６（ｃ）は、このときの有効画素比を示している。図１６（ｃ）中の細い破線は、レンズアレイ１０２と撮像素子１０３の間隔を固定した場合の値である。広角端で有効画素比が０．６程度であるのは、前述のように小レンズ１つあたり１次元で光線が３画素に入射し、２画素が不感帯となっているためである。図１６（ｃ）に示されるように、レンズアレイ１０２と撮像素子１０３の間隔を変化させたことにより、有効画素比が１に近付いている。
【実施例３】
【００７０】
次に、本発明の実施例３について説明する。本実施例では、前述の撮像装置を適用した画像処理システムについて説明する。図１７は、本実施例における画像処理システムのブロック図である。図１７に示されるように、画像処理システムは撮像装置３０１を備えている。撮像装置３０１は、図１の構成を備えた撮像光学系を有し、その断面図は図１４に示されるとおりである。画像処理装置３０２は、前述の画像再構成を行うコンピュータ機器である。画像処理装置３０２は、撮像装置３０１で取得された入力画像の撮影条件情報を記憶する記憶部を備える。画像処理装置３０２は、この入力画像に対して所定の再構成処理を行い、その処理結果（出力画像）を出力機器３０５、表示機器３０４、記憶媒体３０３のいずれか又は複数に出力する。
【００７１】
記憶媒体３０３は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力機器３０５は、例えばプリンタである。画像処理装置３０２には表示機器３０４が接続され、再構成された画像が表示機器３０４へ入力される。ユーザーは、表示機器３０４を介して再構成された画像を確認しながら作業を行うことができる。画像処理ソフトウェア３０６（画像処理プログラム）は、前述の再構成処理（画像処理方法）を行うとともに、必要に応じて現像処理やその他の画像処理を行う。表示機器３０４は、例えば液晶ディスプレイやプロジェクタなどである。なお、撮像装置３０１の撮像光学系とレンズアレイ１０２の駆動部１００１は実施例２と同様であるため、それらの説明は省略する。
【００７２】
本実施例では、Δ＝０．００６４（ｍｍ）、ΔＬＡ＝０．０１９２（ｍｍ）、Ｆ０＝３．２７である。また、τ０＝０．０６２７９（ｍｍ）であり、１つの小レンズによって撮像素子１０３上に形成される射出瞳の像の大きさが、レンズアレイ１０２のピッチと略一致している。図１３（ａ）中の一点鎖線は、結像光学系１０１の広角端において、絞りを絞ったことによるＦ値の変化に対するτの変化を示している。Ｆ値が増大につれて、τが増大してレンズアレイ１０２と撮像素子１０３の間隔は大きくなる。また本実施例では、式（５）および式（６）より、Ｆｍａｘ＝６．５４、τｍａｘ＝０．１２５５９（ｍｍ）である。Ｆ値が６．５４の場合にτ＝τｍａｘになるため、それ以上のＦ値ではレンズアレイ１０２は固定される。
【００７３】
図１３（ｂ）中の一点鎖線は、このときの式（２）の値を示している。図１３（ｂ）に示されるように、Ｆ値全域に渡って式（２）の範囲内に収まっている。Ｆ値が３．３〜５．４の範囲内では、式（２）が１を超えており、クロストークが発生している。このとき、クロストークの影響が小さければ、そのまま再構成処理をしても構わない。また、クロストークが生じていない画素のみを用いて再構成してもよい。図１３（ｃ）中の一点鎖線は、このときのレンズアレイ１０２と撮像素子１０３の間隔変化による効果を示している。図１３（ｃ）中の細い一点鎖線は、レンズアレイ１０２と撮像素子１０３の間隔を固定した場合の値である。図１３（ｃ）に示されるように、レンズアレイ１０２を瞳変動に応じて移動したことにより、有効画素比が１に近付いている。有効画素比は、クロストークの起きている領域では１を超えているが、前記間隔を固定した場合より１に近付いている。
【００７４】
次に、絞り開放時に結像光学系１０１を変倍させた時のτの変化について説明する。変倍による射出瞳距離およびＦ値の変化は、実施例２で説明したとおりである。図１６（ａ）中の一点鎖線は、変倍に対するτの変化を示している。射出瞳が物体側へ移動するにつれて、τは増大する。望遠端でもτがτｍａｘを超えていないため、実施例２と異なりグラフはフラットになっていない。図１６（ｂ）の一点鎖線は、このときの式（２）の値を示している。図１６（ｂ）に示されるように、全変倍域に対して式（２）の範囲内に収まっている。常に値が１になっているため、ライトフィールドを取得する効率が最もよい状態にレンズアレイ１０２と撮像素子１０３の間隔が変化している。図１６（ｃ）中の一点鎖線は、このときの有効画素比を示している。図１６（ｃ）中の細い一点鎖線は、レンズアレイ１０２と撮像素子１０３の間隔を固定した場合の値である。レンズアレイ１０２と撮像素子１０３の間隔が瞳変動に応じて変化したことにより有効画素比が１になり、効率的にライトフィールドを取得することができる。
【実施例４】
【００７５】
次に、本発明の実施例４について説明する。本実施例における撮像装置の基本構成は、図４を参照して説明した実施例１の撮像装置と同様であるため、それらの説明は省略する。また、本実施例の撮像光学系は図３で示される構成を有し、その断面図は図２３で示される。
【００７６】
図３の構成において、レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面２０２より物体側へ配置されている。また、像側共役面２０２と撮像素子１０３は、レンズアレイ１０２を介して共役関係になるように配置されている。すなわちレンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する共役面（像側共役面２０２）と撮像素子１０３とが共役となるように配置されている。被写体面２０１からの光線は、結像光学系１０１及びレンズアレイ１０２を通過した後、光線の被写体面２０１上での位置と角度に応じて、撮像素子１０３の異なる画素へ入射し、ライトフィールドが取得される。その結果、撮像素子１０３では、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が取得される。この性質は、後述の実施例５で説明する図２の構成に関しても同様である。図２の構成は、レンズアレイ１０２が像側共役面２０２より像側へ配置されていることを除けば、本実施例の図３に示される構成と同様である。図３の構成との違いは、レンズアレイ１０２が結像光学系１０１の形成した像を虚物体ではなく実物体として見て、撮像素子１０３へ再結像させることである。しかし、図２と図３に示した構成は、どちらも結像光学系１０１の結んだ像をレンズアレイ１０２が物体として見て、その像を撮像素子１０３へ結像しているため、本質的には同じである。
【００７７】
図２３に示される結像光学系１０１は単焦点レンズである。レンズアレイ１０２は、両面が凸形状となっているが、実施例１と同様にこの形状に限定されるものではない。また、駆動部１００１は実施例１と同様である。
【００７８】
続いて、実施例１と同様に、本実施例の構成において瞳変動によるライトフィールドの取得情報量の減少とその取得精度の劣化について説明する。ここでは理解を容易にするために、図２の構成を例に挙げて説明するが、図３に示した構成に関しても同様の議論が成り立つ。図１８は、図２に結像光学系１０１の物体側主平面１０１ａ、射出瞳面１０１ｂ、および、像側主平面１０１ｃを加えた図である。図１８（ａ）に示されるように、被写体面２０１上の同一位置を通過した光線が角度に応じて分割され、それぞれ異なる画素に入射することでライトフィールドは取得される。図１８（ａ）において、レンズアレイ１０２の光軸近傍に位置する小レンズを通過した光線が入射する撮像素子１０３上の領域は、レンズアレイ１０２のピッチと略同一となるように構成されている。前記領域がレンズアレイ１０２のピッチより小さい場合、図５（ａ）に示されるように不感帯が発生する。一方、前記領域がレンズアレイ１０２のピッチより大きい場合、図５（ｂ）に示されるようにクロストークが発生する。このため、図１８（ａ）の状態は、画素を無駄にすることなく、正しいライトフィールドが効率よく取得される状態である。
【００７９】
図１８（ｂ）は、図１８（ａ）の状態から、結像光学系１０１の射出瞳面１０１ｂが変化した状態を示している。図１８（ｂ）に示されるように、射出瞳面１０１ｂが小さくなり、さらに物体側に移動したことによって、被写体面２０１上の同一位置を通過した光線の分割数が小さくなっている。図１８（ｂ）では、光線の分割数が１となり、ライトフィールドの角度成分を取得できない。撮像素子ではその分、不感帯が増大している。逆に、射出瞳面１０１ｂが大きくなる、または射出瞳面１０１ｂが像側に移動すると、クロストークが発生して正しいライトフィールドを取得できない。ライトフィールドの取得情報量の減少および取得精度の劣化が及ぼす影響は、実施例１と同様である。図２の構成におけるリフォーカス範囲は、図１９で示されるとおりである。この関係は、図３の構成に関しても同様に成り立つ。
【００８０】
次に、図２０を参照して、結像光学系１０１の瞳変動の影響について詳述する。実施例１と同様に、結像光学系１０１のＦ値が一定で射出瞳位置が変化した場合と、射出瞳位置が一定でＦ値が変化した場合とに分けて考える。図２０は、本実施例における撮像光学系の瞳変動の影響を示す説明図である。図２０（ａ）、（ｂ）は結像光学系１０１のＦ値が一定で、射出瞳位置が変動した場合、図２０（ａ）、（ｃ）は結像光学系の射出瞳位置が一定で、Ｆ値が変動した場合をそれぞれ示している。
【００８１】
まず、結像光学系１０１のＦ値が一定で射出瞳位置が変動した場合の影響について説明する。図２０（ａ）の状態から図２０（ｂ）の状態の変化のように、Ｆ値が一定で射出瞳（射出瞳面１０１ｂ）が物体側に移動した場合、サンプリングピッチΔｕの値が大きくなり、ライトフィールドの取得精度が劣化する。再構成により生成される画像の自由度を上げるには、結像光学系１０１の瞳が変動した際、サンプリングピッチΔｕを小さくすることが必要である。
【００８２】
次に、結像光学系１０１のＦ値が大きくなると撮像素子１０３上で不感帯が増大し、小さくなるとクロストークが発生する。例えば、図２０（ａ）の結像光学系のＦ値が３倍になると、図２０（ｃ）の状態のようになる。図２０（ａ）では、被写体面２０１上の一点からの光束に対応する画素数は３画素である。しかし図２０（ｃ）では、対応する画素は１画素のみで、残り２画素は不感帯となっている。一方、図２０（ａ）からＦ値が小さくなると、被写体面２０１の一点からの光束が広がり、５つ以上の小レンズに入射する。図２０（ａ）の状態で不感帯が少なくなるように構成すると、被写体面２０１の一点に対応する画素が３画素から５画素以上になるため、他の位置に対応した画素へ光線が入射してクロストークが発生する。これにより、情報の取得が非効率的になる。またこのとき、ライトフィールドのサンプリングピッチは変化しないが、取得可能な情報量は減少する。この点は、図２０（ａ）、（ｃ）を比較すれば明らかである。したがって、図１８（ｃ）に示されるように、結像光学系１０１の瞳変動（瞳の位置や大きさ）に応じてレンズアレイ１０２と撮像素子１０３の間隔を変化させることで、ライトフィールドの取得量の減少と取得精度の劣化を軽減することができる。
【００８３】
次に、本実施例においてレンズアレイ１０２と撮像素子１０３の間隔をどのように変化させるかについて詳述する。結像光学系１０１が第１の状態、第２の状態におけるレンズアレイ１０２の像側焦点から撮像素子１０３までの距離の絶対値を、それぞれ第１の距離の絶対値、第２の距離の絶対値とする。ここで、レンズアレイ１０２の像側焦点から撮像素子１０３までの距離とは、像側焦点から撮像素子１０３の受光面（物体側の面）までの距離である。第１の状態に対して、第２の状態における結像光学系１０１のＦ値が大きいか、または射出瞳位置が物体側である場合、第２の距離の絶対値は第１の距離の絶対値より小さければよい。これにより、不感帯の発生を軽減し、ライトフィールドのサンプリングピッチを細かくすることができる。
【００８４】
また、結像光学系１０１のＦ値の増大は不感帯の増加およびライトフィールドの情報量の減少を招く。結像光学系１０１の射出瞳の位置が一定の場合、結像光学系１０１が第１のＦ値、第２のＦ値の状態におけるレンズアレイ１０２の像側焦点から撮像素子１０３までの距離の絶対値を、それぞれ第１の距離の絶対値、第２の距離の絶対値とする。第２のＦ値が第１のＦ値より大きい場合、第２の距離の絶対値は第１の距離の絶対値より小さければよい。すなわち、レンズアレイ１０２の像側焦点から撮像素子１０３までの距離の絶対値を、結像光学系１０１が第１のＦ値を有する場合の第１の距離の絶対値よりも、第１のＦ値より大きい第２のＦ値を有する場合の第２の距離の絶対値を小さくする。コントローラ１１１は、レンズアレイ１０２と撮像素子１０３の間隔を上記関係が成り立つように制御する。これにより、瞳変動によるライトフィールドの取得量の減少を、図１８（ａ）、（ｃ）に示されるに軽減することができる。
【００８５】
また、結像光学系１０１の射出瞳位置が物体側に近付くほど、サンプリングピッチΔｕが大きくなり、ライトフィールドのサンプリングピッチが増大する。ここで、結像光学系１０１のＦ値が一定の場合を考える。このとき、結像光学系１０１の射出瞳位置が第１の位置、第２の位置に位置している状態におけるレンズアレイ１０２の像側焦点から撮像素子１０３までの距離の絶対値を、それぞれ第１の距離の絶対値、第２の距離の絶対値とする。第２の位置が第１の位置より物体側である場合、第２の距離の絶対値は第１の距離の絶対値より小さければよい。すなわち、レンズアレイ１０２の像側焦点から撮像素子１０３までの距離の絶対値を、射出瞳の位置が第１の位置にある場合の第１の距離の絶対値よりも、第１の位置より物体側である第２の位置にある場合の第２の距離の絶対値を小さくする。これにより、図１８（ａ）、（ｃ）に示されるように、ライトフィールドの取得精度の劣化を軽減することができる。
【００８６】
さらに実施例１と同様に、レンズアレイ１０２と撮像素子１０３の間隔は、結像光学系１０１の射出瞳が物体側へ移動した際、Δｘ／Δｕが大きくなるように変化させることが好ましい。ここで、図２及び図３の構成において、Δｘは図１９のように画素をこの画素に対応した小レンズを介して像側共役面２０２に投影したΔ｜ρ１／ρ２｜に等しい。ρ１は、レンズアレイ１０２の物体側主平面と像側共役面２０２との間隔、ρ２はレンズアレイ１０２の像側主平面と撮像素子の間隔である。このように、結像光学系１０１の射出瞳が物体側に移動した場合、レンズアレイ１０２の撮像素子１０３に対する共役面でのサンプリングピッチを、結像光学系１０１の射出瞳でのサンプリングピッチで除した値が大きくなるように間隔を変化させる。Δｘ／Δｕを大きくすることで、式（１）で表されるリフォーカス範囲など、再構成により生成される画像の自由度が増す。
【００８７】
また、図９に示される関係は、図２および図３の構成でも成り立つ。したがって、実施例１と同様に、レンズアレイ１０２と撮像素子１０３の間隔を、図９中の２直線が撮像素子１０３と交わる２点の間の長さが、レンズアレイ１０２のピッチより大きくならないように変化させることが好ましい。さらに好ましくは、前記２点の間の長さが、レンズアレイ１０２のピッチに近付くように前記間隔を変化させる。これにより、クロストークと不感帯の発生を低減して効率的にライトフィールドを取得することができる。
【００８８】
ここで、レンズアレイ１０２と撮像素子１０３の間隔が変化した場合における、物体側のリフォーカス範囲に関して考える。図２および図３の構成において、リフォーカス範囲の中心は図２１および図２２でそれぞれ表される。図２１および図２２は、撮像素子１０３を固定してレンズアレイ１０２のみを移動させて両者の間隔を変化させているが、図２および図３の構成では撮像素子１０３が移動しても同様の議論が成り立つ。図２１（ａ）および図２２（ａ）は、レンズアレイ１０２を移動する前のリフォーカス範囲を示す。図２１（ｂ）および図２２は、単純にレンズアレイ１０２と撮像素子１０３の間隔を変化させた場合のリフォーカス範囲を示す。図２１（ｃ）および図２２（ｃ）は、結像光学系１０１を介して、撮像素子１０３に対するレンズアレイ１０２の共役面と共役な面を、前記間隔が大きくなった場合は物体側へ、小さくなった場合は像側へ移動させた場合のリフォーカス範囲を示す。
【００８９】
前記共役な面を移動させない場合、図２１（ａ）、（ｂ）および図２２（ａ），（ｂ）のように、レンズアレイ１０２と撮像素子１０３の間隔の変化前後で物体側のピント位置が変化する。リフォーカス範囲は撮影したときのピント位置を基準として前後に広がるため、図２１（ｂ）および図２２（ｂ）のように前記間隔の変化後に撮像装置側のリフォーカス範囲が狭まる場合がある。これを避けるには、前記間隔が変化した際に結像光学系１０１のフォーカス群を移動し、前記共役な面も移動させることが好ましい。この場合、結像光学系１０１を介して、撮像素子１０３に対するレンズアレイ１０２の共役面と共役な面を、レンズアレイ１０２と撮像素子１０３の間隔が大きくなった場合は物体側へ、小さくなった場合は像側へ移動させることが好ましい。これにより、図２１（ｃ）および図２２（ｃ）に示されるように、リフォーカス範囲を前後ともに伸ばすことができる。
【００９０】
また、レンズアレイ１０２と撮像素子１０３の間隔を変化させる場合、以下の式（７）を満たすことが好ましい。
【００９１】
【数８】
【００９２】
ここで、σ１は結像光学系１０１の焦点距離が最小の状態において、結像光学系１０１のＦ値が最小の場合のレンズアレイ１０２の物体側主平面と撮像素子１０３に対するレンズアレイ１０２の共役面との間隔である。σ２は同状態でのレンズアレイ１０２の像側主平面と撮像素子１０３との間隔である。τ１は結像光学系１０１の焦点距離とＦ値が任意の値の状態において、レンズアレイ１０２の物体側主平面と撮像素子１０３に対するレンズアレイ１０２の共役面との間隔である。τ２は同状態でのレンズアレイ１０２の像側主平面と撮像素子１０３の間隔である。
【００９３】
続いて、式（７）について説明する。図２および図３に示される撮像光学系では、レンズアレイ１０２と撮像素子１０３の間隔が変化することにより、画像の空間解像度が変化する。これは、前記間隔の変化によりΔｘが変化するためである。結像光学系１０１の焦点距離とＦ値が任意の状態でのΔｘは、画素ピッチΔの｜τ１／τ２｜倍である。結像光学系１０１の焦点距離が最小の状態において、結像光学系１０１のＦ値が最小のときを基準として考えると、式（７）は基準状態の空間解像度に対する任意の状態の１次元空間解像度の比を表している。すなわち、式（７）はレンズアレイ１０２と撮像素子１０３の間隔変化により、空間解像度を著しく変化させないことを示す。式（７）の下限を超えると、空間解像度の劣化が激しくなる。一方、式（７）の上限を超えると、Δｘが小さくなるようにレンズアレイ１０２と撮像素子１０３の間隔が変化する。Δｘが小さくなると、被写体面２０１上の任意の位置に対応する画素数が低下するため、ライトフィールドの角度成分の取得量が減少し、またその取得精度が劣化する。
【００９４】
さらに、本実施例では以下の式（７ａ）を満たすことがより好ましい。
【００９５】
【数９】
【００９６】
これによって、さらに空間解像度の変化を抑えて、ライトフィールドの取得量及び精度の低下を抑制できる。
【００９７】
さらにこの場合、以下の式（８）を満たすようにレンズアレイ１０２と撮像素子１０３の間隔を変化させることが好ましい。
【００９８】
【数１０】
【００９９】
ここで、Ｐは結像光学系１０１の焦点距離とＦ値が任意の状態における、結像光学系１０１の射出瞳と像側共役面２０２の間隔である。以下、Ｐを射出瞳距離と呼ぶ。ωはレンズアレイ１０２と撮像素子１０３の間の間隔を変化させたことによる、結像光学系１０１の射出瞳と撮像素子１０３の間隔の増分である。
【０１００】
図１８には、射出瞳距離Ｐと増分ωとの関係を示している。結像光学系１０１の射出瞳と撮像素子１０３の間隔が短くなる場合、増分ωは負の値となる。式（８）は、結像光学系１０１の瞳が変動した場合に、Δｕが縮小する方向へレンズアレイ１０２と撮像素子１０３の間隔が変化することを表している。Δｕが小さくなると、式（１）で表されるリフォーカス範囲が増大する。そこで、結像光学系１０１の瞳が変動した状態において、レンズアレイ１０２と撮像素子１０３の間隔の変化前後でリフォーカス範囲の比をとる。変化前のリフォーカス範囲は、以下の式（９）で表すことができる。
【０１０１】
【数１１】
【０１０２】
ここで、Ｎｂはレンズアレイ１０２と撮像素子１０３の間隔変化の前における結像光学系１０１の瞳の１次元分割数である。これは、射出瞳面１０１ｂ上のサンプリングピッチに対する、あるアジムス断面での射出瞳面１０１ｂの長さの比に対応する。例えば、図２ではＮｂ＝３である。Ｆｂは、レンズアレイ１０２と撮像素子１０３の間隔が変化する前の結像光学系１０１のＦ値、Ｐｂはこのときの射出瞳距離である。式（９）では、Δの値が十分に小さいため近似を用いている。
【０１０３】
これに対して、レンズアレイ１０２と撮像素子１０３の間隔の変化後におけるリフォーカス範囲は、以下の式（１０）で表される。
【０１０４】
【数１２】
【０１０５】
ここで、Ｎは前記間隔の変化後における結像光学系１０１の瞳の１次元分割数である。式（９）に対する式（１０）の比を求めることで、式（８）が得られる。このとき、Ｐ〜Ｐｂが用いられている。式（８）の下限を超えると、レンズアレイ１０２と撮像素子１０３の間隔がΔｕを増大させる方向へ変化する。一方、式（８）の上限を超えると、前記間隔の変化により空間解像度が大きく劣化する。本実施例では、以下の式（８ａ）の範囲を満たすことがより好ましい。このような範囲に収めることで、より空間解像度の劣化を軽減し、ライトフィールドの取得情報量の減少および精度の劣化を軽減することができる。
【０１０６】
【数１３】
【０１０７】
本実施例では、Δ＝０．００４３（ｍｍ）、σ１＝１６．４５４０（ｍｍ）、σ２＝１．１０８２（ｍｍ）である。結像光学系１０１の最小Ｆ値は２．９であり、レンズアレイ１０２を構成する小レンズの焦点距離は１．１８８２ｍｍである。また、撮像素子１０３を固定して、レンズアレイ１０２を移動させているため、ω＝０．０である。
【０１０８】
図２４（ａ）〜（ｄ）は、絞り（Ｆ値）とτ２、τ１、式（７）、および、式（８）との関係をそれぞれ示す図である。図２４（ａ）〜（ｄ）のそれぞれにおいて、本実施例における関係は実線で示される。図２４（ａ）中の実線は、結像光学系１０１の絞りを絞ることでＦ値が変化した場合における、レンズアレイ１０２と撮像素子１０３の間隔τ２の変化を示している。図２４（ａ）において、横軸は結像光学系１０１のＦ値（絞り）、縦軸はτ２である。横軸のＦ値は１０までプロットされているが、結像光学系１０１はそれ以上の値も取り得る。
【０１０９】
図２４（ｂ）〜（ｄ）中の実線は、このときのτ１と本実施例の式（７）および式（８）の値をそれぞれ示している。横軸は図２４（ａ）と同じで、縦軸はそれぞれτ１、式（７）、および、式（８）の値である。図２４（ｃ）、（ｄ）に示されるように、それぞれの値は式（７）および式（８）の範囲内に収まっている。図２４（ｂ）より、レンズアレイ１０２の移動によりＦ値が増大するにつれて、レンズアレイ１０２と撮像素子１０３に対するレンズアレイ１０２の共役面の間隔が広がる。図２４（ｃ）の縦軸は、レンズアレイ１０２の移動前に対する移動後の１次元空間解像度の比である。図２４（ｃ）に示されるように、本実施例では１次元の空間解像度が、レンズアレイ１０２移動前の７５％以上を確保するように、レンズアレイ１０２が移動している。Ｆ値が３．８程度からτ１、τ２の値が一定になっているのはこのためである。
【０１１０】
次に、図２４（ｄ）について説明する。図２４（ｄ）の縦軸は、レンズアレイ１０２の移動前に対する移動後のリフォーカス範囲の比を表す。このため、この値が１以上である場合、レンズアレイ１０２と撮像素子１０３の間隔を変化させたことで、ライトフィールドの取得精度が向上していることを意味する。本実施例では、式（８）の値が１以上となっているため、ライトフィールドの取得精度が向上している。
【実施例５】
【０１１１】
次に、本発明の実施例５について説明する。本実施例における撮像装置の基本構成は、図４を参照して説明した実施例１の撮像装置と同様であるため、それらの説明は省略する。また、本実施例の撮像光学系は図２で示される構成を有し、その断面図は図２５で示される。
【０１１２】
図２５に示される結像光学系１０１はズームレンズである。結像光学系１０１は、正の屈折力を有する第１レンズ群Ｌ１、負の屈折力を有する第２レンズ群Ｌ２、正の屈折力を有する第３レンズ群Ｌ３を備える。結像光学系１０１は、更に、正の屈折力を有する第４レンズ群Ｌ４、負の屈折力を有する第５レンズ群Ｌ５、正の屈折力を有する第６レンズ群Ｌ６を備える。結像光学系１０１は、変倍時に各レンズ群の間隔を変化させ、第２レンズ群Ｌ２で合焦を行う。レンズアレイ１０２は、物体側が平面、像側が像側に凸形状の小レンズで形成されている。またレンズアレイ１０２は、結像光学系１０１の変倍、フォーカシング、絞りを絞ったときの瞳変動（瞳の位置や大きさ）に応じて移動する。レンズアレイ１０２の駆動方法は実施例１と同様である。これにより、結像光学系１０１の瞳が変動した場合でも、ライトフィールドの取得情報量の減少と取得精度の劣化を軽減することができる。
【０１１３】
本実施例では、Δ＝０．００６４（ｍｍ）、σ１＝−１４．６５１８（ｍｍ）、σ２＝２．３１２５（ｍｍ）である。レンズアレイ１０２が撮像素子１０３に対するレンズアレイ１０２の共役面より物体側に存在するため、σ１は負の値を示す。結像光学系１０１の広角端における最小Ｆ値は３．２７であり、レンズアレイ１０２を構成する小レンズの焦点距離は１．９９７３ｍｍである。また、撮像素子１０３を固定してレンズアレイ１０２を移動させているため、ω＝０．０である。
【０１１４】
図２４（ａ）中の破線は、結像光学系１０１の広角端において、絞りを絞ることでＦ値が変化した場合の、レンズアレイ１０２から撮像素子１０３までの間隔τ２の変化を示している。図２４（ｂ）〜（ｄ）中の破線は、このときのτ１、式（７）、および、式（８）の値をそれぞれ示している。図２４（ｃ）、（ｄ）に示されるように、それぞれの値が式（７）、（８）の範囲内に収まっている。図２４（ｂ）より、レンズアレイ１０２の移動によりＦ値が増大するにつれて、｜τ１｜が大きくなっている。これは、撮像素子１０３に対するレンズアレイ１０２の共役面とレンズアレイ１０２の間隔が広がっていることを意味する。Ｆ値が４．４程度のときからτ１、τ２の値が一定になっているのは、図２４（ｃ）の破線に示されるように、空間解像度比が０．７５以上となるようにしているためである。また、図２４（ｄ）の破線の値が１以上となっていることから、レンズアレイ１０２の移動により、ライトフィールドの取得情報量の減少およびその取得精度の劣化が軽減されている。
【０１１５】
次に、結像光学系１０１を変倍させた場合における、レンズアレイ１０２と撮像素子１０３の間隔の変化について説明する。結像光学系１０１は、広角端で焦点距離が２８．９ｍｍ、望遠端で２９１．４ｍｍである。図２６は、絞り開放時に広角端から望遠端まで変倍させた場合の、結像光学系１０１のＦ値の変化を示している。図２６において、横軸の射出瞳距離は、結像光学系１０１の射出瞳から結像光学系１０１の像側焦点までの距離である。射出瞳距離は、本実施例では広角端で最小値を、望遠端で最大値をとる。このため、増倍によりライトフィールドのサンプリングピッチは増大する。また図２６から、増倍によりＦ値が増大することが分かり、不感帯も増大していると考えられる。
【０１１６】
図２７（ａ）〜（ｄ）は、変倍（射出瞳距離）とτ２、τ１、式（７）、および、式（８）との関係をそれぞれ示す図である。図２７（ａ）〜（ｄ）のそれぞれにおいて、破線が本実施例における関係を示している。図２７（ａ）中の破線は、変倍に対するレンズアレイ１０２と撮像素子１０３の間隔τ２の変化を示している。また、図２７（ｂ）〜（ｄ）中の破線は、変倍時のτ１、式（７）、および、式（８）の値をそれぞれ示している。図２７（ｃ）および図２７（ｄ）に示されるように、それぞれの値が式（７）、式（８）の範囲内に収まっている。図２７（ｂ）より、レンズアレイ１０２の移動により、射出瞳が物体側へ移動するにつれて、τ２が広がっていることがわかる。これにより、ライトフィールドの取得情報量の減少およびその精度劣化を軽減することができる。その効果は、図２７（ｄ）中の破線が１以上の値を示していることから読み取れる。また、レンズアレイ１０２の移動前に対する１次元の空間解像度比は、図２７（ｃ）に示されるように、最低でも８５％以上確保されている。
【実施例６】
【０１１７】
次に、本発明の実施例６について説明する。本実施例では、前述の撮像装置を適用した画像処理システムについて説明する。本実施例の画像処理システムは、図１７を参照して説明した実施例３と同様の構成を有している。また撮像装置３０１は、図３の構成を有する撮像光学系を備える。図２８は、本実施例における撮像光学系の断面図である。本実施例において、画像処理装置３０２などの他の構成は実施例３と同様である。また、撮像装置３０１の結像光学系１０１とレンズアレイ１０２の駆動部は実施例１と同様である。したがって、これらの説明は省略する。
【０１１８】
本実施例では、Δ＝０．００６４（ｍｍ）、σ１＝８．３７２５（ｍｍ）、σ２＝１．５７４２（ｍｍ）である。結像光学系１０１の広角端における最小Ｆ値は３．２７であり、レンズアレイ１０２を構成する小レンズの焦点距離は１．９３８７ｍｍである。また、撮像素子１０３を固定して、レンズアレイ１０２を移動させているため、ω＝０．０である。
【０１１９】
図２４（ａ）中の一点鎖線は、結像光学系１０１の広角端において絞りを絞ることでＦ値が変化した場合での、τ２の変化を示している。図２４(ｂ)〜（ｄ）中の一点鎖線は、このときのτ１、式（７）、および、式（８）の値をそれぞれ示している。図２４（ｃ）および図２４（ｄ）に示されるように、それぞれの値が式（７）および式（８）の範囲内に収まっている。図２４（ｂ）中の一点鎖線から、レンズアレイ１０２の移動により、結像光学系１０１のＦ値の増大につれてτ１が大きくなっていることが分かる。Ｆ値８．０程度からτ１、τ２の値が一定となっているのは、図２４（ｃ）の一点鎖線で示されるように、レンズアレイ１０２の移動前に対する１次元の空間解像度比が０．５以上であるためである。また、図２４（ｄ）の一点鎖線の値が１以上となっていることから、レンズアレイ１０２の移動により、ライトフィールドの取得情報量の減少およびその精度劣化を軽減することができる。
【０１２０】
次に、結像光学系１０１を変倍させた場合における、レンズアレイ１０２と撮像素子１０３の間隔の変化について説明する。変倍による射出瞳距離およびＦ値の変化は、実施例５で説明したとおりである。図２７（ａ）中の一点鎖線は、変倍に対するτ２の変化を示している。また、図２７（ｂ）〜（ｄ）中の一点鎖線は、変倍時のτ１、式（７）、および、式（８）の値をそれぞれ示している。図２７（ｃ）および図２７（ｄ）に示されるように、それぞれの式（７）および式（８）の範囲内に収まっている。また図２７（ｂ）に示されるように、射出瞳が物体側へ移動するにつれて、τ１は大きくなっている。また、図２７（ｄ）中の一点鎖線が１以上の値を示しているため、ライトフィールドが効率よく取得されていることが分かる。また、レンズアレイ１０２の移動前に対する１次元の空間解像度比は、図２７（ｃ）に示されるように、最低でも７５％以上確保されている。
【０１２１】
上記各実施例によれば、結像光学系の瞳の位置や大きさが変化した場合に、ライトフィールドの情報量低下および精度劣化を軽減する撮像装置を提供することができる。
【０１２２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１２３】
１０１ 結像光学系
１０２ レンズアレイ
１０３ 撮像素子
１１１ システムコントローラ
【技術分野】
【０００１】
本発明は、被写体空間の光の２次元強度分布と光線の角度情報を取得する撮像装置に関する。
【背景技術】
【０００２】
近年、撮像素子で取得されたデータから演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献１、２には、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体空間の光の２次元強度分布と光線の角度情報を同時に取得する撮像装置が開示されている。ここで、光の２次元強度分布と光線の角度情報を合わせてライトフィールドと呼び、ライトフィールドを取得することにより被写体空間の３次元的な情報を得ることができる。このような撮像装置によれば、ライトフィールドを取得して撮影後に画像処理を行うことにより、リフォーカスと呼ばれる画像のピント位置、撮影視点、被写界深度等を変更することが可能である。
【０００３】
特許文献１には、非特許文献１で示されている構成においてレンズアレイの位置を切り換えることで、通常の撮影とライトフィールドの取得を切り換え可能な撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２６４５６９号
【非特許文献】
【０００５】
【非特許文献１】Ｒｅｎ Ｎｇ、他５名、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」、Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−２
【非特許文献２】Ａｎｄｒｅｗ Ｌｕｍｓｄａｉｎｅ、他１名、「Ｆｕｌｌ Ｒｅｓｏｌｕｔｉｏｎ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ」、Ａｄｏｂｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｊａｎｕａｒｙ ２００８
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１、２には、結像光学系の射出瞳の位置や大きさが変化した場合の弊害、および、それに対する対策について開示されていない。結像光学系の射出瞳は、結像光学系の変倍やフォーカシング、また、絞りを絞ることで変化する。結像光学系の射出瞳が変化すると、被写体面上のある位置に対応する光束が撮像素子上で適切な領域に入射しなくなる。このため、不感帯と呼ばれる光線の入射しない画素が増大し、また、クロストークと呼ばれる被写体面上で異なる位置と角度を有する光線が同一の画素に入射する現象が発生する。また、ライトフィールドの角度成分である光線の角度情報に関するサンプリングピッチも大きくなる。このとき、前述の再構成によって生成される画像が制限される。例えば、リフォーカスは撮影時にピントの合っていた被写体面を軸として前後にピント位置を移動させるが、ライトフィールドの角度成分のサンプリングピッチが増大すると、その移動可能範囲は減少する。
【０００７】
また特許文献１には、レンズアレイの位置が可変のライトフィールドを取得する撮像装置が開示されている。しかし、それは通常の撮影とライトフィールドの取得の切り替えのために行われる。結像光学系の射出瞳の位置や大きさが変化した場合の弊害、および、それに対する対策については開示されていない。また、レンズアレイと撮像素子との間隔における変化の仕方と射出瞳の変動に相関も存在しない。
【０００８】
そこで本発明は、結像光学系の瞳の位置や大きさが変化した場合に、ライトフィールドの情報量低下および精度劣化を軽減する撮像装置を提供する。
【課題を解決するための手段】
【０００９】
本発明の一側面としての撮像装置は、結像光学系と、複数の画素を備えた撮像素子と、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、前記結像光学系の瞳変動に応じて、前記レンズアレイと前記撮像素子の間隔を変化させる制御手段とを有する。
【００１０】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１１】
本発明によれば、結像光学系の瞳の位置や大きさが変化した場合に、ライトフィールドの情報量低下および精度劣化を軽減する撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１乃至３における撮像光学系の概略構成図である。
【図２】実施例５における撮像光学系の概略構成図である。
【図３】実施例４、６における撮像光学系の概略構成図である。
【図４】実施例１、２、４、５における撮像装置のブロック図である。
【図５】本実施例における撮像素子上に形成される像の説明図である。
【図６】実施例１乃至３における撮像光学系の説明図である。
【図７】実施例１乃至３におけるリフォーカス範囲の説明図である。
【図８】実施例１乃至３における撮像光学系の瞳変動の影響を示す説明図である。
【図９】本実施例における撮像光学系でのレンズアレイと撮像素子の間隔の変化を示す図である。
【図１０】実施例１乃至３におけるリフォーカス範囲の拡大を示す説明図である。
【図１１】実施例１における撮像光学系の断面図である。
【図１２】実施例１乃至６におけるレンズアレイと撮像素子の駆動部を示す図である。
【図１３】実施例１乃至３における絞りとτ、式（２）、および、有効画素比との関係を示す図である。
【図１４】実施例２、３における撮像光学系の断面図である。
【図１５】実施例２、３における結像光学系の変倍（射出瞳距離）とＦ値の関係を示す図である。
【図１６】実施例２、３における変倍とτ、式（２）、および、有効画素比との関係を示す図である。
【図１７】実施例３、６における画像処置システムのブロック図である。
【図１８】実施例４における撮像光学系の説明図である。
【図１９】実施例４におけるリフォーカス範囲の説明図である。
【図２０】実施例４における撮像光学系の瞳変動の影響を示す説明図である。
【図２１】実施例４におけるリフォーカス範囲の拡大を示す説明図である。
【図２２】実施例４、６におけるリフォーカス範囲の拡大を示す説明図である。
【図２３】実施例４における撮像光学系の断面図である。
【図２４】実施例４乃至６における絞り（Ｆ値）とτ２、τ１、式（７）、および、式（８）との関係を示す図である。
【図２５】実施例５における撮像光学系の断面図である。
【図２６】実施例５、６における結像光学系の変倍（射出瞳距離）とＦ値との関係を示す図である。
【図２７】実施例５、６における変倍（射出瞳距離）とτ２、τ１、式（７）、および、式（８）との関係を示す図である。
【図２８】実施例６における撮像光学系の断面図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１４】
各実施例は、ライトフィールドを取得する撮像装置において、結像光学系の瞳変動（瞳の位置や大きさの変化）に伴うライトフィールドの取得量（情報量）と取得精度の低下に対する影響を低減するものである。
【実施例１】
【００１５】
まず、図４を参照して、本発明の実施例１における撮像装置の構成について説明する。図４は、本実施例における撮像装置のブロック図である。被写体空間（不図示）からの光線は、結像光学系１０１、および、複数の小レンズを備えて構成されたレンズアレイ１０２を介して、複数の画素を備えた撮像素子１０３で受光される。結像光学系１０１、レンズアレイ１０２、および、撮像素子１０３により撮像光学系が構成される。
【００１６】
撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子であり、複数の画素を備える。主レンズ群を備えて構成される結像光学系１０１およびレンズアレイ１０２を介して撮像素子１０３に入射した光線のエネルギーは電気信号（アナログ信号）となり、Ａ／Ｄコンバータ１０４でデジタル信号へ変換される。このデジタル信号は、画像処理部１０５にて所定の処理が行われ、半導体メモリなどの画像記録媒体１１０に所定のフォーマットで保存される。この際、同時に状態検知部１０８から得られた撮像装置の撮像条件情報も保存される。撮影条件情報とは、撮影距離や絞り、ズームレンズにおける焦点距離などである。状態検知部１０８は、システムコントローラ１１１から撮影条件情報を直接得てもよいし、撮像光学系に関する情報に関しては光学系制御部１０７から得ることもできる。
【００１７】
画像記録媒体１１０に保存された画像を表示部１０６に表示する際には、画像処理部１０５で撮影条件情報に基づいた再構成処理が施される。その結果、表示部１０６には所望の視点、ピント位置や被写界深度に再構成された画像が表示される。また高速化のため、所望の画像設定（視点、ピント、被写界深度など）を予め記憶部１０９に保存し、画像記録媒体１１０を介さずに再構成画像を表示部１０６に直接表示させてもよい。さらに、画像記録媒体１１０に記録する画像は、再構成後の画像でもよい。以上の一連の制御は、システムコントローラ１１１により行われ、撮像光学系の機械的な駆動はシステムコントローラ１１１の指示によって光学系制御部１０７で行われる。
【００１８】
次に、結像光学系１０１の瞳変動によるライトフィールドの取得情報量の減少および取得精度の劣化について説明し、続いて、その情報量減少および精度劣化を防ぐためのレンズアレイ１０２と撮像素子１０３との間隔の変化について説明する。以下の説明は、理解容易のため、１次元系の場合について行う。しかし、２次元系に関しても同様の理論が成り立つ。
【００１９】
まず、ライトフィールドを取得する撮像光学系の瞳変動による取得情報量の減少および取得精度の劣化について説明する。図１は、本実施例における撮像光学系の概略構成図である。図６（ａ）〜（ｃ）は、図１の結像光学系１０１に物体側主平面１０１ａ、射出瞳面１０１ｂ、および、像側主平面１０１ｃを加えた図である。図１および図６（ａ）に示されるように、レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する共役面（像側共役面）に配置されている。このとき、レンズアレイ１０２は、撮像素子１０３と射出瞳面１０１ｂが略共役関係になるように構成されている。レンズアレイ１０２は、このような構成により、被写体面２０１の同一位置からの光線を、この光線が通過する結像光学系１０１の瞳領域に応じて、撮像素子１０３の互いに異なる画素に入射させる。このため、本実施例の撮像装置によれば、ライトフィールドを取得することが可能となる。図６（ａ）において、レンズアレイ１０２の光軸近傍に位置する小レンズを通過した光線が入射する撮像素子１０３上の領域は、レンズアレイ１０２のピッチと略同一である。小レンズとは、レンズアレイ１０２を構成するレンズの１つを示す。前記領域がレンズアレイ１０２のピッチより小さい場合、何の情報も取得しない不感帯が発生し、画素が無駄になる。
【００２０】
図５（ａ）、（ｂ）は、撮像素子１０３上に発生する不感帯を２次元的に示した図である。図５（ａ）中の白い円は、結像光学系１０１とレンズアレイ１０２の１つの小レンズを通過した光線が撮像素子１０３上に入射する領域を表している。それ以外の斜線の部分は、光線の入射しない不感帯である。一方、前記領域がレンズアレイ１０２のピッチより大きい場合、レンズアレイ１０２の隣接する小レンズをそれぞれ通過した光線が混じるクロストークが発生し、正しいライトフィールドが得られない。図５（ｂ）中において、白い円の重なった部分は、クロストークを表している。
【００２１】
このように、図６（ａ）は、画素を無駄にすることなく正しいライトフィールドを効率よく取得可能な状態である。図６（ｂ）は、図６（ａ）の状態から、結像光学系１０１の射出瞳（射出瞳面１０１ｂ）が変化した場合（瞳変動が生じた場合）を示している。ここで瞳変動とは、具体的には結像光学系１０１の変倍、フォーカシング、絞りを絞ること等によって発生する瞳（射出瞳）の位置や大きさの変化である。図６（ｂ）に示されるように、射出瞳面１０１ｂが小さくなり、さらに物体側に移動したことにより、被写体面２０１上における同一位置からの光束の分割数が小さくなっている。図６（ｂ）では瞳の分割数が１となり、ライトフィールドの角度成分を取得できない。撮像素子１０３ではその分、不感帯が増大している。逆に、射出瞳面１０１ｂが大きくなるか、または射出瞳面１０１ｂが像側に移動すると、クロストークが発生して正しいライトフィールドが得られない。
【００２２】
次に、ライトフィールドの取得量（取得情報量）の減少および取得精度の劣化が画像再構成に及ぼす影響について、リフォーカスを例として説明する。リフォーカスに関しては、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」（Ｒｅｎ Ｎｇ著、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ． ２４， ７３５−７４４参照）で詳述されているため、本実施例では簡単に説明する。リフォーカス範囲は、被写体空間での光の２次元強度分布を表す空間成分のサンプリングピッチΔｘと、光線の角度情報を表す角度成分のサンプリングピッチΔｕで決定され、その係数α±は以下の式（１）のように与えられる。
【００２３】
【数１】
【００２４】
ここで、Δｘは被写体面２０１対する結像光学系１０１の像側共役面２０２上のサンプリングピッチ、Δｕは結像光学系１０１の射出瞳面１０１ｂ上のサンプリングピッチである。図７は、本実施例におけるα±、Δｘ、Δｕ及びリフォーカス範囲の説明図である。本実施例において、サンプリングピッチΔｘは、レンズアレイ１０２のピッチに一致する。式（１）を用いて表される像側のリフォーカス範囲α＋ｓ２〜α−ｓ２と結像光学系１０１を介して共役な範囲が、物体側のリフォーカス範囲となる。ｓ２は、結像光学系１０１の像側主平面１０１ｃと被写体面２０１に対する結像光学系１０１の像側共役面との間隔である。
【００２５】
次に図８を参照して、結像光学系１０１の瞳変動の影響について説明する。理解を容易にするために、結像光学系１０１のＦ値が一定で射出瞳位置が変化した場合と、射出瞳位置が一定でＦ値が変化した場合に分けて説明する。図８（ａ）、（ｂ）は結像光学系１０１のＦ値が一定で射出瞳位置が変動した場合、図８（ａ）、（ｃ）は結像光学系１０１の射出瞳位置が一定でＦ値が変動した場合を示している。
【００２６】
まず、結像光学系１０１のＦ値が一定で射出瞳位置が変動した場合の影響について説明する。図８（ａ）の状態から図８（ｂ）の状態への変化のようにＦ値が一定で射出瞳が物体側に移動した場合、ライトフィールドの取得精度は劣化する。換言すると、射出瞳面１０１ｂ上でのサンプリングピッチΔｕの値が大きくなる。このため、式（１）で表される係数α±は、１に近付いてリフォーカス範囲は狭まる。逆に、図８（ａ）に示される状態から射出瞳が像側に移動した場合、サンプリングピッチΔｕの値は小さくなる。このため、係数α±は１から離れ、リフォーカス範囲は増大する。このように、結像光学系１０１の射出瞳位置（射出瞳面１０１ｂの位置）の変動は、リフォーカス範囲の変動を引き起こす。リフォーカス以外の視点変更や被写界深度の調整も、同様に、サンプリングピッチΔｕが小さくなるほど、すなわちライトフィールドのサンプリングピッチが細かくなるほど、その自由度が増す。したがって、結像光学系１０１の瞳が変動した場合には、サンプリングピッチΔｕを小さくすることが必要となる。
【００２７】
次に、結像光学系１０１のＦ値の変化が与える影響について考える。結論としては、結像光学系１０１のＦ値が大きくなる（瞳が小さくなる）と撮像素子１０３上で不感帯が増大する。一方、結像光学系１０１のＦ値が小さくなる（瞳が大きくなる）と、クロストークが発生する。例えば、図８（ａ）の状態から結像光学系１０１のＦ値が３倍になると、図８（ｃ）の状態になる。図８（ａ）では１つの小レンズあたりの光が入射する画素数は３画素であるのに対し、図８（ｃ）では受光画素は１画素のみであり、残り２画素は不感帯となっている。
【００２８】
逆に、Ｆ値が小さくなると、小レンズを通過した光線は隣の小レンズを通過した光線と混合し、クロストークが発生する。このとき、クロストークが生じた画素を再構成に用いると、画像が正しく形成できない。このため、正しい画像を出力するには、クロストークの発生していない画素のみを再構成処理に用いる必要がある。したがって、不感帯やクロストークが発生した場合には、使用しない画素が発生し、情報の取得が非効率的になる。また、このとき、ライトフィールドのサンプリングピッチは変化しないが、取得可能な情報量は減少する。このことは、図８（ａ）、（ｃ）を比較すれば明らかである。
【００２９】
ここまでの議論で、ライトフィールドを取得する撮像光学系における結像光学系１０１の瞳変動による課題が明らかとなった。射出瞳位置が物体側へ移動するとライトフィールドのサンプリングピッチが荒くなり、Ｆ値が変化するとライトフィールドの取得効率と情報量が低下する。上記の説明では射出瞳位置の移動とＦ値の変化を、それぞれを個別に扱ったが、実際には２つの現象が複合して起こる場合もある。これらの課題を解決するために、瞳変動（瞳の位置や大きさ）に応じてレンズアレイ１０２と撮像素子１０３の間隔（距離）を変化させる。この間隔は、図４中のシステムコントローラ１１１（制御手段）により制御される。より具体的には、システムコントローラ１１１が後述の駆動部１００１を制御することにより、駆動部１００１はレンズアレイ１０２または撮像素子１０３（または、これらの両方）を移動させる。レンズアレイ１０２と撮像素子１０３の間隔が変化することで、ライトフィールドの取得量と取得精度の低下を軽減し、上記の課題を克服することができる。
【００３０】
図６（ｃ）は、図６（ｂ）の瞳変動に応じて、レンズアレイ１０２と撮像素子１０３の間隔を変化させ、サンプリングピッチΔｕを小さくした状態を示す図である。結像光学系１０１のＦ値の増大により不感帯が増大するが、レンズアレイ１０２と撮像素子１０３の間隔を大きくすることで、その不感帯に光線を入射させることができる。これにより、瞳の分割数を増大させ、ライトフィールドの取得情報量の減少および取得精度の劣化を軽減することができる。図６（ｃ）では、レンズアレイ１０２を移動することで、レンズアレイ１０２と撮像素子１０３の間隔を変化させているが、本実施例はこれに限定されるものではない。レンズアレイ１０２を固定して撮像素子１０３を移動してもよく、また、レンズアレイ１０２および撮像素子１０３の両方を移動してその間隔を変化させてもよい。
【００３１】
一般に、ズームレンズでは広角端で射出瞳面が最も像側に位置し、焦点距離を増大させると射出瞳が物体側へ移動することが多い。このため、焦点距離が大きくなるほどライトフィールドのサンプリングピッチが荒くなり、リフォーカス範囲の減少などを招きやすい。一方、一般にズームレンズは絞り開放時には広角端で最もＦ値が小さく、焦点距離が増大するほどＦ値が大きくなる場合が多い。要するに、広角端から望遠端に近付くほどサンプリングピッチΔｕが大きくなり、かつ不感帯が増大する。このため、広角端から望遠端へ変化する際、その瞳変動に応じてレンズアレイ１０２と撮像素子１０３の間隔を変化させることで、不感帯を減らし、かつサンプリングピッチΔｕを小さくすることができる。ただし、変倍及びフォーカシング時に絞りの大きさが変化せず、絞りおよびそれより像側のレンズ群が移動しない場合、焦点距離が変化しても射出瞳は変化しない。この場合、レンズアレイ１０２と撮像素子１０３の間隔を変化させなくても、撮像素子１０３の受光領域は変化せず、常に一定のサンプリングピッチΔｕでライトフィールドを取得することができる。ただし、特定の焦点距離の状態でレンズアレイ１０２と撮像素子１０３の間隔を変化させ、そのときだけサンプリングピッチΔｕを変化させてもよい。
【００３２】
次に、本実施例において、レンズアレイ１０２と撮像素子１０３の間隔をどのように変化させるかについて詳述する。結像光学系１０１が第１の状態、第２の状態におけるレンズアレイ１０２と撮像素子１０３の間隔を、それぞれ第１の間隔、第２の間隔とする。第１の状態に対して、第２の状態における結像光学系１０１のＦ値が大きいか、または射出瞳位置が物体側である場合、第２の間隔を第１の間隔よりも大きくすればよい。このような制御により、不感帯の発生を低減し、ライトフィールドのサンプリングピッチを細かくすることができる。
【００３３】
また、結像光学系１０１のＦ値の増大は不感帯の増加およびライトフィールドの情報量の減少を招く。結像光学系１０１の射出瞳位置が一定の場合、結像光学系１０１が第１のＦ値、第２のＦ値の状態におけるレンズアレイ１０２と撮像素子１０３の間隔を、それぞれ第１の間隔、第２の間隔とする。第２のＦ値が第１のＦ値より大きい場合、第２の間隔を第１の間隔よりも大きくすればよい。すなわち、結像光学系１０１の射出瞳の位置が一定の場合、レンズアレイ１０２と撮像素子１０３の間隔を、結像光学系１０１が第１のＦ値を有する場合の第１の間隔よりも、第１のＦ値より大きい第２のＦ値を有する場合の第２の間隔を大きくする。このような制御により、瞳変動によるライトフィールドの取得量の減少を、図６（ａ）、（ｃ）に示されるように軽減することができる。
【００３４】
また、結像光学系１０１の射出瞳位置が物体側に近付くほどサンプリングピッチΔｕは大きくなり、ライトフィールドのサンプリングピッチが増大する。結像光学系１０１のＦ値が一定の場合、結像光学系１０１の射出瞳位置が第１の位置、第２の位置に位置している状態におけるレンズアレイ１０２と撮像素子１０３の間隔を、それぞれ第１の間隔、第２の間隔とする。第２の位置が第１の位置より物体側である場合、第２の間隔を第１の間隔よりも大きくすればよい。すなわち、Ｆ値が一定の場合、レンズアレイ１０２と撮像素子１０３の間隔を、射出瞳の位置が第１の位置にある場合の第１の間隔よりも、結像光学系１０１の射出瞳の位置が第１の位置より物体側である第２の位置にある場合の第２の間隔を大きくする。このような制御により、図６（ａ）、（ｃ）に示されるようにライトフィールドの取得精度の劣化を軽減することができる。
【００３５】
ここでは理解を容易にするため、結像光学系１０１の瞳変動を射出瞳位置の移動とＦ値の変化に分け、どちらか一方が固定されている場合に関して説明した。一般的な瞳変動は前記の２つの場合を複合することで表すことができる。例えば、広角端から望遠端への変倍にかけて、Ｆ値が大きくなり、かつ射出瞳位置が物体側へ移動するズームレンズがあったとする。この場合は、まず広角端で絞りを絞って望遠端のＦ値と同じにし、その後そのＦ値を保ったまま望遠端へ変倍したと考えることもできる。
【００３６】
さらに、レンズアレイ１０２と撮像素子１０３の間隔は、以下のように変化させることが好ましい。すなわち、結像光学系１０１の射出瞳が物体側へ移動する際、ライトフィールドの角度成分に関するサンプリングピッチで、空間成分に関するサンプリングピッチを除した値Δｘ／Δｕが大きくなるように、その間隔を変化させる。本実施例において、サンプリングピッチΔｘは、レンズアレイ１０２のピッチに等しい。したがって、結像光学系１０１の射出瞳が物体側に移動した場合、レンズアレイ１０２のピッチを結像光学系１０１の射出瞳でのサンプリングピッチで除した値が大きくなるように、レンズアレイ１０２と撮像素子１０３の間隔を変化させることが好ましい。これにより、式（１）で表されるリフォーカス範囲など、再構成により生成される画像の自由度が増す。
【００３７】
ここで、結像光学系１０１の射出瞳が変動する際、あるアジムス方向の断面において、射出瞳の両端とレンズアレイ１０２の光軸付近に位置する小レンズの中心とを結ぶ２直線を考える。レンズアレイ１０２と撮像素子１０３の間隔は、その２直線がそれぞれ撮像素子１０３と交わる２点の間の長さが、レンズアレイ１０２のピッチ以下となるように変化させることが好ましい。図９は、結像光学系１０１の射出瞳、およびレンズアレイ１０２の小レンズと前記２点の間の長さの関係図である。図９に示される２点の間の長さがレンズアレイ１０２のピッチを超えると、クロストークが発生する。このため、前記２点の間の長さがレンズアレイ１０２のピッチ以下となるように変化させることでクロストークの発生を回避し、ライトフィールドの取得情報量の減少を軽減することができる。さらに好ましくは、前記２直線がそれぞれ撮像素子１０３と交わる２点の間の長さが、レンズアレイ１０２のピッチに近付くように、レンズアレイ１０２と撮像素子１０３の間隔を変化させる。これにより、クロストークを回避し、かつ不感帯を最大限に利用してライトフィールドを取得することができる。
【００３８】
ここで、レンズアレイ１０２を移動させて、レンズアレイ１０２と撮像素子１０３の間隔を変化させる場合を考える。結像光学系１０１の瞳変動に応じてレンズアレイ１０２が移動した場合、結像光学系１０１を介してレンズアレイ１０２と共役な面をレンズアレイ１０２の移動方向と逆の方向へ移動させることが好ましい。この移動は、例えば結像光学系１０１に設けられたフォーカシング手段により行われる。これは、図１の構成でリフォーカスを考える際に、物体側のいずれの面を軸としてピント位置を移動させるかという点に関係する。
【００３９】
図１０を参照して、図１の構成における前記効果について説明をする。図１０は、撮像素子１０３を固定し、レンズアレイ１０２のみを移動させて、両者の間の距離を変化させている。ただし、レンズアレイ１０２が移動すれば、撮像素子１０３が移動する場合でも以下と同様の議論が成り立つ。図１０（ａ）は、レンズアレイ１０２を移動させる前のリフォーカス範囲を示す。図１０（ｂ）は、単純にレンズアレイ１０２のみを移動させた場合のリフォーカス範囲を示す。図１０（ｃ）は、レンズアレイ１０２の移動後に、レンズアレイ１０２の結像光学系１０１に対する共役面をレンズアレイ１０２の移動方向と逆方向へ移動させた場合のリフォーカス範囲を示す。
【００４０】
レンズアレイ１０２の移動後に前記共役面を移動させない場合、図１０（ａ）、（ｂ）に示されるように、レンズアレイ１０２の移動前後で物体側のピント位置が変化する。このとき、リフォーカス範囲は撮影時のピント位置を基準として前後に広がる。このため、レンズアレイ１０２の移動量に応じて、図１０（ａ）、（ｂ）に示されるように移動前に比べて移動後に撮像装置側のリフォーカス範囲が狭まる場合がある。これを避けるには、レンズアレイ１０２の移動時に結像光学系１０１のフォーカス群を移動し、前記共役面も移動させることが好ましい。図１の構成では、前記共役面をレンズアレイ１０２の移動方向と逆方向へ移動することで、図１０（ａ）、（ｃ）に示されるようにリフォーカス範囲を前後ともに伸ばすことができる。一方、レンズアレイ１０２を固定して撮像素子１０３を移動させた場合は、結像光学系１０１のフォーカスを調整しなくてもリフォーカス範囲は常に前後に拡大する。
【００４１】
また、レンズアレイ１０２は、像側の面が凸形状の小レンズで構成されていることが好ましい。これにより、小レンズの非点収差を低減して深度が深くなる。前述のレンズアレイ１０２と撮像素子１０３の間隔の変化は、小レンズの結像関係を保ちながら行う必要がある。図１の構成の場合、結像光学系１０１の射出瞳面１０１ｂと撮像素子１０３は小レンズに対して共役関係である。小レンズの深度を深くすることで、この共役関係を保ちつつレンズアレイ１０２と撮像素子１０３の間隔を容易に変化させることができる。さらに好ましくは、レンズアレイ１０２は物体側の面を平面または凸形状の小レンズで構成する。これにより、小レンズの曲率が緩まって収差が低減し、また、小レンズの結像関係を保ちやすくなる。
【００４２】
図１１は、本実施例における撮像光学系の断面図である。図１１の結像光学系１０１は単焦点レンズである。レンズアレイ１０２は、正の屈折力を有する小レンズにより構成されている。小レンズは両凸の球面固体レンズで構成されているが、表裏のいずれかの面が平面でもよく、また非球面の曲面を有していてもよい。またレンズアレイ１０２は、液体レンズ、液晶レンズ、回折光学素子などが並列して構成されていてもよい。
【００４３】
レンズアレイ１０２と撮像素子１０３の間隔は、結像光学系１０１のフォーカシングおよびＦ値の変化に応じて変化する。図１２は、レンズアレイ１０２と撮像素子１０３の間隔を変化させる駆動部１００１を示す。駆動部１００１は、例えば図１２（ａ）、（ｂ）に示されるように構成されている。レンズアレイ１０２の端部における３か所以上に楕円形の円盤が接しており、円盤を回転させることで図１２（ａ）、（ｂ）のようにレンズアレイ１０２を駆動させることができる。本実施例では、レンズアレイ１０２を駆動してレンズアレイ１０２と撮像素子１０３の間隔を変化させるが、図１２（ｃ）、（ｄ）に示されるように撮像素子１０３を駆動（移動）してもよい。また、レンズアレイ１０２と撮像素子１０３の両方を移動させるように構成してもよい。
【００４４】
クロストークを避けるには、光軸付近に位置するレンズアレイ１０２の小レンズにより撮像素子１０３上に形成される結像光学系１０１の射出瞳の像の大きさが、小レンズの大きさを超えない必要がある。好ましくは、射出瞳の像の大きさが小レンズの大きさと同程度になるように、レンズアレイ１０２と撮像素子１０３の間の距離を変化させる。これにより、不感帯を最大限に利用してライトフィールドの角度成分のサンプリングピッチを小さくすることができる。
【００４５】
また、レンズアレイ１０２と撮像素子１０３の間隔は、以下の式（２）を満たすように変化させてもよい。
【００４６】
【数２】
【００４７】
ここで、Ｆ０は結像光学系１０１が取り得るＦ値の最小値、Ｆは結像光学系１０１の任意の状態におけるＦ値、Δは撮像素子１０３の画素ピッチ、ΔＬＡはレンズアレイ１０２のピッチである。τは、結像光学系１０１のＦ値がＦの場合におけるレンズアレイ１０２の像側主平面と撮像素子１０３の間隔である。それぞれの記号の関係については図６（ａ）、（ｃ）に示される。
【００４８】
続いて、式（２）について説明する。式（２）は、結像光学系１０１の射出瞳と撮像素子１０３の共役関係を保ちながら、ライトフィールドのサンプリングピッチΔｕが小さくなるように、レンズアレイ１０２と撮像素子１０３の間隔を変化させる式である。τ／Ｆは、結像光学系１０１のＦ値がＦの場合に、レンズアレイ１０２の光軸近傍に位置する１つの小レンズを通過する光線が撮像素子１０３上に形成する像のあるアジムス方向における長さである。τ／ＦがΔＬＡを超えると、隣の小レンズが形成する像と混じり、正しくライトフィールドが取得できなくなる。このため、結像光学系１０１のＦ値がＦのときにレンズアレイ１０２と撮像素子１０３の間隔が変化した場合、クロストークが生じない条件は、τ／（ＦΔＬＡ）≦１である。
【００４９】
しかし前述のとおり、レンズアレイ１０２の小レンズは、結像光学系１０１の射出瞳と撮像素子１０３を略共役関係で結んでいる。このため、レンズアレイ１０２の焦点深度内に射出瞳と撮像素子１０３が収まる範囲で、レンズアレイ１０２と撮像素子１０３の間隔を変化させる必要がある。そこで、結像光学系１０１のＦ値がＦ０かつ射出瞳位置が最も像側の場合に、レンズアレイ１０２の焦点深度の端に撮像素子１０３を配置することで、レンズアレイ１０２の移動可能範囲を増大することができる。このとき、以下の式（３）が成り立つ。
【００５０】
【数３】
【００５１】
ここで、Ｐ０は結像光学系１０１のＦ値がＦ０の場合の射出瞳面１０１ｂとレンズアレイ１０２の物体側主平面の間隔の最大値、ｆＬＡはレンズアレイ１０２の焦点距離である。τ０は結像光学系１０１のＦ値がＦ０かつ射出瞳位置が最も像側の場合のレンズアレイ１０２の像側主平面と撮像素子１０３の間隔である。一般的に、Ｐ０≫Δが成り立つため、式（３）を用いると焦点距離ｆＬＡは以下の式（４）のように近似できる。
【００５２】
【数４】
【００５３】
このため、レンズアレイ１０２を構成する小レンズのＦ値は、ＦＬＡ＝τ０／（ΔＬＡ−Δ）となる。撮像素子１０３の画素ピッチがΔであるから、レンズアレイ１０２の像側の被写界深度はピント位置から近似的に±ＦＬＡΔと見積もることができる。このため、τ０から２ＦＬＡΔまでの範囲であれば、レンズアレイ１０２と撮像素子１０３の間隔を増大させても結像関係が概ね保たれる。
【００５４】
レンズアレイ１０２の像側主平面と撮像素子１０３の間隔をτ０から２ＦＬＡΔだけ増大させた場合、クロストークと不感帯が最小限になる結像光学系１０１のＦ値の最大値Ｆｍａｘは、以下の式（５）のように表される。
【００５５】
【数５】
【００５６】
このため、レンズアレイ１０２と撮像素子１０３の間隔は、結像光学系１０１のＦ値がＦ≦Ｆｍａｘの場合にはτ／（ＦΔＬＡ）≦１を満たしながら変化し、Ｆ＞Ｆｍａｘの場合にはレンズアレイ１０２の結像関係を保つ値より大きくならないことが好ましい。この場合分けが式（２）の場合分けである。また、レンズアレイ１０２の焦点深度から、τの最大値τｍａｘは以下の式（６）で与えられる。
【００５７】
【数６】
【００５８】
また、クロストークが少量である場合、取得したライトフィールドが正しい値からそれほど乖離しない。また、再構成時にそのクロストークが生じていない画素のみを用いて再構成してもよい。このため、τ／（ＦΔＬＡ）が１を超えても、その量が小さければ問題ない。ただし、τ／（ＦΔＬＡ）が式（２）の上限である１．２を超えると、クロストークの発生した画素が多くなり再構成に使用可能な画素が少なくなる。一方、τ／（ＦΔＬＡ）が式（２）の下限である０．４を下回ると、Ｆが増大した場合に不感帯の占める割合が増大し、ライトフィールドの取得情報量が低下する。このため、その値を式（２）の範囲内に収めることで、結像光学系１０１の瞳が変動した場合に、不感帯とクロストークの発生を軽減して効率よくライトフィールドを取得することができる。
【００５９】
より好ましくは、以下の式（２ａ）の範囲とすることで、さらに瞳変動によるライトフィールドの取得情報量および取得精度の劣化を軽減することが可能である。
【００６０】
【数７】
【００６１】
本実施例では、Δ＝０．００４３（ｍｍ）、ΔＬＡ＝０．０２１５（ｍｍ）、Ｆ０＝２．９である。また、τ０＝０．０６２３５（ｍｍ）であり、１つの小レンズによって撮像素子１０３上に形成される射出瞳の像の大きさは、レンズアレイ１０２のピッチとほぼ一致している。すなわち、Ｆ０の場合、不感帯やクロストークの発生が低減される。
【００６２】
図１３（ａ）、（ｂ）、（ｃ）は、絞り（Ｆ値）とτ、式（２）、および、有効画素比との関係をそれぞれ示す図である。図１３（ａ）〜（ｃ）のそれぞれにおいて、本実施例における関係は実線で表されている。図１３（ａ）中の実線は、結像光学系１０１の絞りを絞ることによりＦ値が変化した場合に、τをどのように変化させるかを示している。図１３（ａ）において、横軸は結像光学系１０１のＦ値、縦軸はレンズアレイ１０２の像側主平面から撮像素子１０３までの距離τである。横軸のＦ値は１０までプロットされているが、結像光学系１０１はそれ以上の値も取り得る。図１３（ａ）に示されるように、結像光学系１０１のＦ値が増大するにつれて、距離τが増大してレンズアレイ１０２と撮像素子１０３の間隔は大きくなる。また本実施例では、式（５）と式（６）よりＦｍａｘ＝４．３５、τｍａｘ＝０．０９３５３（ｍｍ）と求められる。図１３（ａ）のＦ値が８．９程度から距離τが一定になるのは、τ＝τｍａｘとなるためである。距離τをこれ以上大きくすると、レンズアレイ１０２の結像関係が保つことができず、ライトフィールドを正しく得ることができない。
【００６３】
図１３（ｂ）は、この場合における式（２）の値を示している。Ｆ値が変化しても式（２）の範囲内に収まっている。Ｆ値８．９程度から値がフラット（平坦）になっているのはτ＝τｍａｘとなるためである。図１３（ｃ）は、レンズアレイ１０２と撮像素子１０３の間隔を変化させたことによる効果を示している。図１３（ｃ）において、縦軸の有効画素比はτ／（ＦΔＬＡ）で表され、小レンズ１つに対応した画素群のうち、光が入射する画素の１次元的な割合を示している。有効画素比が１より大きい場合にはクロストークが発生し、１より小さい場合には不感帯が存在する。有効画素比が１と略等しい場合、不感帯とクロストークの発生が軽減され、最も効率的にライトフィールドを取得することができる。図１３（ｃ）中の細い実線は、レンズアレイ１０２と撮像素子１０３の間隔を固定した場合の値であり、両者の間隔を瞳変動に応じて変化させることにより有効画素比が１に近付いている。
【実施例２】
【００６４】
次に、本発明の実施例２について説明する。本実施例における撮像装置の基本構成は、図４を参照して説明した実施例１の撮像装置と同様であるため、それらの説明は省略する。
【００６５】
図１４は、本実施例における撮像光学系の断面図である。図１４の結像光学系１０１はズームレンズである。結像光学系１０１は、正の屈折力を有する第１レンズ群Ｌ１、負の屈折力を有する第２レンズ群Ｌ２、正の屈折力を有する第３レンズ群Ｌ３を備える。結像光学系１０１は、更に、正の屈折力を有する第４レンズ群Ｌ４、負の屈折力を有する第５レンズ群Ｌ５、正の屈折力を有する第６レンズ群Ｌ６を備える。結像光学系１０１は、変倍の際に各レンズ群の間隔を変化させ、第２レンズ群Ｌ２でフォーカシングを行う。レンズアレイ１０２は、その物体側が平面およびその像側が凸形状の小レンズで形成されている。結像光学系１０１の変倍、フォーカシング、絞りを絞った場合の瞳変動（瞳の位置や大きさ）に応じて、レンズアレイ１０２が移動する。その移動方法は実施例１と同様である。このような構成により、結像光学系１０１の瞳が変動した場合でも、ライトフィールドの取得情報量の減少と取得精度の劣化を軽減することができる。
【００６６】
本実施例では、Δ＝０．００６４（ｍｍ）、ΔＬＡ＝０．０３２（ｍｍ）、Ｆ０＝３．２７である。また、τ０＝０．０６２７９（ｍｍ）であり、１つの小レンズによって撮像素子１０３上に形成される射出瞳の像の大きさが、レンズアレイ１０２のピッチよりも小さい。レンズアレイ１０２のピッチが５画素分であるのに対し、射出瞳の像の１次元的な大きさが３画素に対応する。すなわち、１つの小レンズあたり、１次元で２画素、２次元では１６画素の不感帯が存在する。
【００６７】
図１３（ａ）中の破線は、結像光学系１０１の広角端において、絞りを絞ったことによるＦ値の変化に対するτの変化を示している。Ｆ値が増大するにつれて、τが増大してレンズアレイ１０２と撮像素子１０３の間の間隔が大きくなっている。また本実施例では、式（５）および式（６）から、Ｆｍａｘ＝４．９１、τｍａｘ＝０．１５６９８（ｍｍ）と求められる。本実施例では、Ｆ値が１０以下の場合にはτｍａｘに至っていないため、グラフが実施例１のようにフラットになっていない。しかし、Ｆ値がさらに増大してτ＝τｍａｘになった場合、レンズアレイ１０２はそれ以上物体側へ移動しない。図１３（ｂ）中の破線は、このときの式（２）の値を示している。Ｆ値全域に渡って式（２）の範囲内に収まっている。図１３（ｃ）は、この場合のレンズアレイ１０２と撮像素子１０３の間隔変化による効果を示している。図１３（ｃ）中の細い破線は、レンズアレイ１０２と撮像素子１０３の間隔を固定した場合の有効画素比である。図１３（ｃ）に示されるように、両者の間隔を瞳変動に応じて変化させたことにより、有効画素比が１に近付いている。
【００６８】
次に、結像光学系１０１を変倍させた場合のτの変化について説明する。結像光学系１０１は、広角端で焦点距離が２８．９ｍｍ、望遠端で２９１．４ｍｍである。図１５は、絞り開放時に広角端から望遠端まで変倍させた場合において、結像光学系１０１のＦ値の変化を示す図である。横軸は、結像光学系１０１の射出瞳面１０１ｂと像側焦点の間隔である射出瞳距離を示す。本実施例において、射出瞳距離は広角端で最小値をとり、望遠端で最大値をとる。図１５に示されるように、増倍によってＦ値が増大しているため、不感帯が増大していると考えられる。
【００６９】
図１６（ａ）、（ｂ）、（ｃ）は、本実施例における変倍とτ、式（２）、および、有効画素比のそれぞれとの関係を示す図である。図１６（ａ）〜（ｃ）のそれぞれにおいて、本実施例における関係は破線で表されている。図１６（ａ）中の破線は、変倍に対するτの変化を示している。射出瞳が物体側へ移動するにつれて、τは増大している。射出瞳距離が１４３．８程度になったときからτが一定であるのは、τ＝τｍａｘであるためである。図１６（ｂ）は、このときの式（２）の値を示している。図１６（ｂ）に示されるように、全変倍域に対して式（２）の範囲内に収まっている。射出瞳距離が１４３．８程度になったときからτが一定であるのは、τ＝τｍａｘであるためである。図１６（ｃ）は、このときの有効画素比を示している。図１６（ｃ）中の細い破線は、レンズアレイ１０２と撮像素子１０３の間隔を固定した場合の値である。広角端で有効画素比が０．６程度であるのは、前述のように小レンズ１つあたり１次元で光線が３画素に入射し、２画素が不感帯となっているためである。図１６（ｃ）に示されるように、レンズアレイ１０２と撮像素子１０３の間隔を変化させたことにより、有効画素比が１に近付いている。
【実施例３】
【００７０】
次に、本発明の実施例３について説明する。本実施例では、前述の撮像装置を適用した画像処理システムについて説明する。図１７は、本実施例における画像処理システムのブロック図である。図１７に示されるように、画像処理システムは撮像装置３０１を備えている。撮像装置３０１は、図１の構成を備えた撮像光学系を有し、その断面図は図１４に示されるとおりである。画像処理装置３０２は、前述の画像再構成を行うコンピュータ機器である。画像処理装置３０２は、撮像装置３０１で取得された入力画像の撮影条件情報を記憶する記憶部を備える。画像処理装置３０２は、この入力画像に対して所定の再構成処理を行い、その処理結果（出力画像）を出力機器３０５、表示機器３０４、記憶媒体３０３のいずれか又は複数に出力する。
【００７１】
記憶媒体３０３は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力機器３０５は、例えばプリンタである。画像処理装置３０２には表示機器３０４が接続され、再構成された画像が表示機器３０４へ入力される。ユーザーは、表示機器３０４を介して再構成された画像を確認しながら作業を行うことができる。画像処理ソフトウェア３０６（画像処理プログラム）は、前述の再構成処理（画像処理方法）を行うとともに、必要に応じて現像処理やその他の画像処理を行う。表示機器３０４は、例えば液晶ディスプレイやプロジェクタなどである。なお、撮像装置３０１の撮像光学系とレンズアレイ１０２の駆動部１００１は実施例２と同様であるため、それらの説明は省略する。
【００７２】
本実施例では、Δ＝０．００６４（ｍｍ）、ΔＬＡ＝０．０１９２（ｍｍ）、Ｆ０＝３．２７である。また、τ０＝０．０６２７９（ｍｍ）であり、１つの小レンズによって撮像素子１０３上に形成される射出瞳の像の大きさが、レンズアレイ１０２のピッチと略一致している。図１３（ａ）中の一点鎖線は、結像光学系１０１の広角端において、絞りを絞ったことによるＦ値の変化に対するτの変化を示している。Ｆ値が増大につれて、τが増大してレンズアレイ１０２と撮像素子１０３の間隔は大きくなる。また本実施例では、式（５）および式（６）より、Ｆｍａｘ＝６．５４、τｍａｘ＝０．１２５５９（ｍｍ）である。Ｆ値が６．５４の場合にτ＝τｍａｘになるため、それ以上のＦ値ではレンズアレイ１０２は固定される。
【００７３】
図１３（ｂ）中の一点鎖線は、このときの式（２）の値を示している。図１３（ｂ）に示されるように、Ｆ値全域に渡って式（２）の範囲内に収まっている。Ｆ値が３．３〜５．４の範囲内では、式（２）が１を超えており、クロストークが発生している。このとき、クロストークの影響が小さければ、そのまま再構成処理をしても構わない。また、クロストークが生じていない画素のみを用いて再構成してもよい。図１３（ｃ）中の一点鎖線は、このときのレンズアレイ１０２と撮像素子１０３の間隔変化による効果を示している。図１３（ｃ）中の細い一点鎖線は、レンズアレイ１０２と撮像素子１０３の間隔を固定した場合の値である。図１３（ｃ）に示されるように、レンズアレイ１０２を瞳変動に応じて移動したことにより、有効画素比が１に近付いている。有効画素比は、クロストークの起きている領域では１を超えているが、前記間隔を固定した場合より１に近付いている。
【００７４】
次に、絞り開放時に結像光学系１０１を変倍させた時のτの変化について説明する。変倍による射出瞳距離およびＦ値の変化は、実施例２で説明したとおりである。図１６（ａ）中の一点鎖線は、変倍に対するτの変化を示している。射出瞳が物体側へ移動するにつれて、τは増大する。望遠端でもτがτｍａｘを超えていないため、実施例２と異なりグラフはフラットになっていない。図１６（ｂ）の一点鎖線は、このときの式（２）の値を示している。図１６（ｂ）に示されるように、全変倍域に対して式（２）の範囲内に収まっている。常に値が１になっているため、ライトフィールドを取得する効率が最もよい状態にレンズアレイ１０２と撮像素子１０３の間隔が変化している。図１６（ｃ）中の一点鎖線は、このときの有効画素比を示している。図１６（ｃ）中の細い一点鎖線は、レンズアレイ１０２と撮像素子１０３の間隔を固定した場合の値である。レンズアレイ１０２と撮像素子１０３の間隔が瞳変動に応じて変化したことにより有効画素比が１になり、効率的にライトフィールドを取得することができる。
【実施例４】
【００７５】
次に、本発明の実施例４について説明する。本実施例における撮像装置の基本構成は、図４を参照して説明した実施例１の撮像装置と同様であるため、それらの説明は省略する。また、本実施例の撮像光学系は図３で示される構成を有し、その断面図は図２３で示される。
【００７６】
図３の構成において、レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面２０２より物体側へ配置されている。また、像側共役面２０２と撮像素子１０３は、レンズアレイ１０２を介して共役関係になるように配置されている。すなわちレンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する共役面（像側共役面２０２）と撮像素子１０３とが共役となるように配置されている。被写体面２０１からの光線は、結像光学系１０１及びレンズアレイ１０２を通過した後、光線の被写体面２０１上での位置と角度に応じて、撮像素子１０３の異なる画素へ入射し、ライトフィールドが取得される。その結果、撮像素子１０３では、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が取得される。この性質は、後述の実施例５で説明する図２の構成に関しても同様である。図２の構成は、レンズアレイ１０２が像側共役面２０２より像側へ配置されていることを除けば、本実施例の図３に示される構成と同様である。図３の構成との違いは、レンズアレイ１０２が結像光学系１０１の形成した像を虚物体ではなく実物体として見て、撮像素子１０３へ再結像させることである。しかし、図２と図３に示した構成は、どちらも結像光学系１０１の結んだ像をレンズアレイ１０２が物体として見て、その像を撮像素子１０３へ結像しているため、本質的には同じである。
【００７７】
図２３に示される結像光学系１０１は単焦点レンズである。レンズアレイ１０２は、両面が凸形状となっているが、実施例１と同様にこの形状に限定されるものではない。また、駆動部１００１は実施例１と同様である。
【００７８】
続いて、実施例１と同様に、本実施例の構成において瞳変動によるライトフィールドの取得情報量の減少とその取得精度の劣化について説明する。ここでは理解を容易にするために、図２の構成を例に挙げて説明するが、図３に示した構成に関しても同様の議論が成り立つ。図１８は、図２に結像光学系１０１の物体側主平面１０１ａ、射出瞳面１０１ｂ、および、像側主平面１０１ｃを加えた図である。図１８（ａ）に示されるように、被写体面２０１上の同一位置を通過した光線が角度に応じて分割され、それぞれ異なる画素に入射することでライトフィールドは取得される。図１８（ａ）において、レンズアレイ１０２の光軸近傍に位置する小レンズを通過した光線が入射する撮像素子１０３上の領域は、レンズアレイ１０２のピッチと略同一となるように構成されている。前記領域がレンズアレイ１０２のピッチより小さい場合、図５（ａ）に示されるように不感帯が発生する。一方、前記領域がレンズアレイ１０２のピッチより大きい場合、図５（ｂ）に示されるようにクロストークが発生する。このため、図１８（ａ）の状態は、画素を無駄にすることなく、正しいライトフィールドが効率よく取得される状態である。
【００７９】
図１８（ｂ）は、図１８（ａ）の状態から、結像光学系１０１の射出瞳面１０１ｂが変化した状態を示している。図１８（ｂ）に示されるように、射出瞳面１０１ｂが小さくなり、さらに物体側に移動したことによって、被写体面２０１上の同一位置を通過した光線の分割数が小さくなっている。図１８（ｂ）では、光線の分割数が１となり、ライトフィールドの角度成分を取得できない。撮像素子ではその分、不感帯が増大している。逆に、射出瞳面１０１ｂが大きくなる、または射出瞳面１０１ｂが像側に移動すると、クロストークが発生して正しいライトフィールドを取得できない。ライトフィールドの取得情報量の減少および取得精度の劣化が及ぼす影響は、実施例１と同様である。図２の構成におけるリフォーカス範囲は、図１９で示されるとおりである。この関係は、図３の構成に関しても同様に成り立つ。
【００８０】
次に、図２０を参照して、結像光学系１０１の瞳変動の影響について詳述する。実施例１と同様に、結像光学系１０１のＦ値が一定で射出瞳位置が変化した場合と、射出瞳位置が一定でＦ値が変化した場合とに分けて考える。図２０は、本実施例における撮像光学系の瞳変動の影響を示す説明図である。図２０（ａ）、（ｂ）は結像光学系１０１のＦ値が一定で、射出瞳位置が変動した場合、図２０（ａ）、（ｃ）は結像光学系の射出瞳位置が一定で、Ｆ値が変動した場合をそれぞれ示している。
【００８１】
まず、結像光学系１０１のＦ値が一定で射出瞳位置が変動した場合の影響について説明する。図２０（ａ）の状態から図２０（ｂ）の状態の変化のように、Ｆ値が一定で射出瞳（射出瞳面１０１ｂ）が物体側に移動した場合、サンプリングピッチΔｕの値が大きくなり、ライトフィールドの取得精度が劣化する。再構成により生成される画像の自由度を上げるには、結像光学系１０１の瞳が変動した際、サンプリングピッチΔｕを小さくすることが必要である。
【００８２】
次に、結像光学系１０１のＦ値が大きくなると撮像素子１０３上で不感帯が増大し、小さくなるとクロストークが発生する。例えば、図２０（ａ）の結像光学系のＦ値が３倍になると、図２０（ｃ）の状態のようになる。図２０（ａ）では、被写体面２０１上の一点からの光束に対応する画素数は３画素である。しかし図２０（ｃ）では、対応する画素は１画素のみで、残り２画素は不感帯となっている。一方、図２０（ａ）からＦ値が小さくなると、被写体面２０１の一点からの光束が広がり、５つ以上の小レンズに入射する。図２０（ａ）の状態で不感帯が少なくなるように構成すると、被写体面２０１の一点に対応する画素が３画素から５画素以上になるため、他の位置に対応した画素へ光線が入射してクロストークが発生する。これにより、情報の取得が非効率的になる。またこのとき、ライトフィールドのサンプリングピッチは変化しないが、取得可能な情報量は減少する。この点は、図２０（ａ）、（ｃ）を比較すれば明らかである。したがって、図１８（ｃ）に示されるように、結像光学系１０１の瞳変動（瞳の位置や大きさ）に応じてレンズアレイ１０２と撮像素子１０３の間隔を変化させることで、ライトフィールドの取得量の減少と取得精度の劣化を軽減することができる。
【００８３】
次に、本実施例においてレンズアレイ１０２と撮像素子１０３の間隔をどのように変化させるかについて詳述する。結像光学系１０１が第１の状態、第２の状態におけるレンズアレイ１０２の像側焦点から撮像素子１０３までの距離の絶対値を、それぞれ第１の距離の絶対値、第２の距離の絶対値とする。ここで、レンズアレイ１０２の像側焦点から撮像素子１０３までの距離とは、像側焦点から撮像素子１０３の受光面（物体側の面）までの距離である。第１の状態に対して、第２の状態における結像光学系１０１のＦ値が大きいか、または射出瞳位置が物体側である場合、第２の距離の絶対値は第１の距離の絶対値より小さければよい。これにより、不感帯の発生を軽減し、ライトフィールドのサンプリングピッチを細かくすることができる。
【００８４】
また、結像光学系１０１のＦ値の増大は不感帯の増加およびライトフィールドの情報量の減少を招く。結像光学系１０１の射出瞳の位置が一定の場合、結像光学系１０１が第１のＦ値、第２のＦ値の状態におけるレンズアレイ１０２の像側焦点から撮像素子１０３までの距離の絶対値を、それぞれ第１の距離の絶対値、第２の距離の絶対値とする。第２のＦ値が第１のＦ値より大きい場合、第２の距離の絶対値は第１の距離の絶対値より小さければよい。すなわち、レンズアレイ１０２の像側焦点から撮像素子１０３までの距離の絶対値を、結像光学系１０１が第１のＦ値を有する場合の第１の距離の絶対値よりも、第１のＦ値より大きい第２のＦ値を有する場合の第２の距離の絶対値を小さくする。コントローラ１１１は、レンズアレイ１０２と撮像素子１０３の間隔を上記関係が成り立つように制御する。これにより、瞳変動によるライトフィールドの取得量の減少を、図１８（ａ）、（ｃ）に示されるに軽減することができる。
【００８５】
また、結像光学系１０１の射出瞳位置が物体側に近付くほど、サンプリングピッチΔｕが大きくなり、ライトフィールドのサンプリングピッチが増大する。ここで、結像光学系１０１のＦ値が一定の場合を考える。このとき、結像光学系１０１の射出瞳位置が第１の位置、第２の位置に位置している状態におけるレンズアレイ１０２の像側焦点から撮像素子１０３までの距離の絶対値を、それぞれ第１の距離の絶対値、第２の距離の絶対値とする。第２の位置が第１の位置より物体側である場合、第２の距離の絶対値は第１の距離の絶対値より小さければよい。すなわち、レンズアレイ１０２の像側焦点から撮像素子１０３までの距離の絶対値を、射出瞳の位置が第１の位置にある場合の第１の距離の絶対値よりも、第１の位置より物体側である第２の位置にある場合の第２の距離の絶対値を小さくする。これにより、図１８（ａ）、（ｃ）に示されるように、ライトフィールドの取得精度の劣化を軽減することができる。
【００８６】
さらに実施例１と同様に、レンズアレイ１０２と撮像素子１０３の間隔は、結像光学系１０１の射出瞳が物体側へ移動した際、Δｘ／Δｕが大きくなるように変化させることが好ましい。ここで、図２及び図３の構成において、Δｘは図１９のように画素をこの画素に対応した小レンズを介して像側共役面２０２に投影したΔ｜ρ１／ρ２｜に等しい。ρ１は、レンズアレイ１０２の物体側主平面と像側共役面２０２との間隔、ρ２はレンズアレイ１０２の像側主平面と撮像素子の間隔である。このように、結像光学系１０１の射出瞳が物体側に移動した場合、レンズアレイ１０２の撮像素子１０３に対する共役面でのサンプリングピッチを、結像光学系１０１の射出瞳でのサンプリングピッチで除した値が大きくなるように間隔を変化させる。Δｘ／Δｕを大きくすることで、式（１）で表されるリフォーカス範囲など、再構成により生成される画像の自由度が増す。
【００８７】
また、図９に示される関係は、図２および図３の構成でも成り立つ。したがって、実施例１と同様に、レンズアレイ１０２と撮像素子１０３の間隔を、図９中の２直線が撮像素子１０３と交わる２点の間の長さが、レンズアレイ１０２のピッチより大きくならないように変化させることが好ましい。さらに好ましくは、前記２点の間の長さが、レンズアレイ１０２のピッチに近付くように前記間隔を変化させる。これにより、クロストークと不感帯の発生を低減して効率的にライトフィールドを取得することができる。
【００８８】
ここで、レンズアレイ１０２と撮像素子１０３の間隔が変化した場合における、物体側のリフォーカス範囲に関して考える。図２および図３の構成において、リフォーカス範囲の中心は図２１および図２２でそれぞれ表される。図２１および図２２は、撮像素子１０３を固定してレンズアレイ１０２のみを移動させて両者の間隔を変化させているが、図２および図３の構成では撮像素子１０３が移動しても同様の議論が成り立つ。図２１（ａ）および図２２（ａ）は、レンズアレイ１０２を移動する前のリフォーカス範囲を示す。図２１（ｂ）および図２２は、単純にレンズアレイ１０２と撮像素子１０３の間隔を変化させた場合のリフォーカス範囲を示す。図２１（ｃ）および図２２（ｃ）は、結像光学系１０１を介して、撮像素子１０３に対するレンズアレイ１０２の共役面と共役な面を、前記間隔が大きくなった場合は物体側へ、小さくなった場合は像側へ移動させた場合のリフォーカス範囲を示す。
【００８９】
前記共役な面を移動させない場合、図２１（ａ）、（ｂ）および図２２（ａ），（ｂ）のように、レンズアレイ１０２と撮像素子１０３の間隔の変化前後で物体側のピント位置が変化する。リフォーカス範囲は撮影したときのピント位置を基準として前後に広がるため、図２１（ｂ）および図２２（ｂ）のように前記間隔の変化後に撮像装置側のリフォーカス範囲が狭まる場合がある。これを避けるには、前記間隔が変化した際に結像光学系１０１のフォーカス群を移動し、前記共役な面も移動させることが好ましい。この場合、結像光学系１０１を介して、撮像素子１０３に対するレンズアレイ１０２の共役面と共役な面を、レンズアレイ１０２と撮像素子１０３の間隔が大きくなった場合は物体側へ、小さくなった場合は像側へ移動させることが好ましい。これにより、図２１（ｃ）および図２２（ｃ）に示されるように、リフォーカス範囲を前後ともに伸ばすことができる。
【００９０】
また、レンズアレイ１０２と撮像素子１０３の間隔を変化させる場合、以下の式（７）を満たすことが好ましい。
【００９１】
【数８】
【００９２】
ここで、σ１は結像光学系１０１の焦点距離が最小の状態において、結像光学系１０１のＦ値が最小の場合のレンズアレイ１０２の物体側主平面と撮像素子１０３に対するレンズアレイ１０２の共役面との間隔である。σ２は同状態でのレンズアレイ１０２の像側主平面と撮像素子１０３との間隔である。τ１は結像光学系１０１の焦点距離とＦ値が任意の値の状態において、レンズアレイ１０２の物体側主平面と撮像素子１０３に対するレンズアレイ１０２の共役面との間隔である。τ２は同状態でのレンズアレイ１０２の像側主平面と撮像素子１０３の間隔である。
【００９３】
続いて、式（７）について説明する。図２および図３に示される撮像光学系では、レンズアレイ１０２と撮像素子１０３の間隔が変化することにより、画像の空間解像度が変化する。これは、前記間隔の変化によりΔｘが変化するためである。結像光学系１０１の焦点距離とＦ値が任意の状態でのΔｘは、画素ピッチΔの｜τ１／τ２｜倍である。結像光学系１０１の焦点距離が最小の状態において、結像光学系１０１のＦ値が最小のときを基準として考えると、式（７）は基準状態の空間解像度に対する任意の状態の１次元空間解像度の比を表している。すなわち、式（７）はレンズアレイ１０２と撮像素子１０３の間隔変化により、空間解像度を著しく変化させないことを示す。式（７）の下限を超えると、空間解像度の劣化が激しくなる。一方、式（７）の上限を超えると、Δｘが小さくなるようにレンズアレイ１０２と撮像素子１０３の間隔が変化する。Δｘが小さくなると、被写体面２０１上の任意の位置に対応する画素数が低下するため、ライトフィールドの角度成分の取得量が減少し、またその取得精度が劣化する。
【００９４】
さらに、本実施例では以下の式（７ａ）を満たすことがより好ましい。
【００９５】
【数９】
【００９６】
これによって、さらに空間解像度の変化を抑えて、ライトフィールドの取得量及び精度の低下を抑制できる。
【００９７】
さらにこの場合、以下の式（８）を満たすようにレンズアレイ１０２と撮像素子１０３の間隔を変化させることが好ましい。
【００９８】
【数１０】
【００９９】
ここで、Ｐは結像光学系１０１の焦点距離とＦ値が任意の状態における、結像光学系１０１の射出瞳と像側共役面２０２の間隔である。以下、Ｐを射出瞳距離と呼ぶ。ωはレンズアレイ１０２と撮像素子１０３の間の間隔を変化させたことによる、結像光学系１０１の射出瞳と撮像素子１０３の間隔の増分である。
【０１００】
図１８には、射出瞳距離Ｐと増分ωとの関係を示している。結像光学系１０１の射出瞳と撮像素子１０３の間隔が短くなる場合、増分ωは負の値となる。式（８）は、結像光学系１０１の瞳が変動した場合に、Δｕが縮小する方向へレンズアレイ１０２と撮像素子１０３の間隔が変化することを表している。Δｕが小さくなると、式（１）で表されるリフォーカス範囲が増大する。そこで、結像光学系１０１の瞳が変動した状態において、レンズアレイ１０２と撮像素子１０３の間隔の変化前後でリフォーカス範囲の比をとる。変化前のリフォーカス範囲は、以下の式（９）で表すことができる。
【０１０１】
【数１１】
【０１０２】
ここで、Ｎｂはレンズアレイ１０２と撮像素子１０３の間隔変化の前における結像光学系１０１の瞳の１次元分割数である。これは、射出瞳面１０１ｂ上のサンプリングピッチに対する、あるアジムス断面での射出瞳面１０１ｂの長さの比に対応する。例えば、図２ではＮｂ＝３である。Ｆｂは、レンズアレイ１０２と撮像素子１０３の間隔が変化する前の結像光学系１０１のＦ値、Ｐｂはこのときの射出瞳距離である。式（９）では、Δの値が十分に小さいため近似を用いている。
【０１０３】
これに対して、レンズアレイ１０２と撮像素子１０３の間隔の変化後におけるリフォーカス範囲は、以下の式（１０）で表される。
【０１０４】
【数１２】
【０１０５】
ここで、Ｎは前記間隔の変化後における結像光学系１０１の瞳の１次元分割数である。式（９）に対する式（１０）の比を求めることで、式（８）が得られる。このとき、Ｐ〜Ｐｂが用いられている。式（８）の下限を超えると、レンズアレイ１０２と撮像素子１０３の間隔がΔｕを増大させる方向へ変化する。一方、式（８）の上限を超えると、前記間隔の変化により空間解像度が大きく劣化する。本実施例では、以下の式（８ａ）の範囲を満たすことがより好ましい。このような範囲に収めることで、より空間解像度の劣化を軽減し、ライトフィールドの取得情報量の減少および精度の劣化を軽減することができる。
【０１０６】
【数１３】
【０１０７】
本実施例では、Δ＝０．００４３（ｍｍ）、σ１＝１６．４５４０（ｍｍ）、σ２＝１．１０８２（ｍｍ）である。結像光学系１０１の最小Ｆ値は２．９であり、レンズアレイ１０２を構成する小レンズの焦点距離は１．１８８２ｍｍである。また、撮像素子１０３を固定して、レンズアレイ１０２を移動させているため、ω＝０．０である。
【０１０８】
図２４（ａ）〜（ｄ）は、絞り（Ｆ値）とτ２、τ１、式（７）、および、式（８）との関係をそれぞれ示す図である。図２４（ａ）〜（ｄ）のそれぞれにおいて、本実施例における関係は実線で示される。図２４（ａ）中の実線は、結像光学系１０１の絞りを絞ることでＦ値が変化した場合における、レンズアレイ１０２と撮像素子１０３の間隔τ２の変化を示している。図２４（ａ）において、横軸は結像光学系１０１のＦ値（絞り）、縦軸はτ２である。横軸のＦ値は１０までプロットされているが、結像光学系１０１はそれ以上の値も取り得る。
【０１０９】
図２４（ｂ）〜（ｄ）中の実線は、このときのτ１と本実施例の式（７）および式（８）の値をそれぞれ示している。横軸は図２４（ａ）と同じで、縦軸はそれぞれτ１、式（７）、および、式（８）の値である。図２４（ｃ）、（ｄ）に示されるように、それぞれの値は式（７）および式（８）の範囲内に収まっている。図２４（ｂ）より、レンズアレイ１０２の移動によりＦ値が増大するにつれて、レンズアレイ１０２と撮像素子１０３に対するレンズアレイ１０２の共役面の間隔が広がる。図２４（ｃ）の縦軸は、レンズアレイ１０２の移動前に対する移動後の１次元空間解像度の比である。図２４（ｃ）に示されるように、本実施例では１次元の空間解像度が、レンズアレイ１０２移動前の７５％以上を確保するように、レンズアレイ１０２が移動している。Ｆ値が３．８程度からτ１、τ２の値が一定になっているのはこのためである。
【０１１０】
次に、図２４（ｄ）について説明する。図２４（ｄ）の縦軸は、レンズアレイ１０２の移動前に対する移動後のリフォーカス範囲の比を表す。このため、この値が１以上である場合、レンズアレイ１０２と撮像素子１０３の間隔を変化させたことで、ライトフィールドの取得精度が向上していることを意味する。本実施例では、式（８）の値が１以上となっているため、ライトフィールドの取得精度が向上している。
【実施例５】
【０１１１】
次に、本発明の実施例５について説明する。本実施例における撮像装置の基本構成は、図４を参照して説明した実施例１の撮像装置と同様であるため、それらの説明は省略する。また、本実施例の撮像光学系は図２で示される構成を有し、その断面図は図２５で示される。
【０１１２】
図２５に示される結像光学系１０１はズームレンズである。結像光学系１０１は、正の屈折力を有する第１レンズ群Ｌ１、負の屈折力を有する第２レンズ群Ｌ２、正の屈折力を有する第３レンズ群Ｌ３を備える。結像光学系１０１は、更に、正の屈折力を有する第４レンズ群Ｌ４、負の屈折力を有する第５レンズ群Ｌ５、正の屈折力を有する第６レンズ群Ｌ６を備える。結像光学系１０１は、変倍時に各レンズ群の間隔を変化させ、第２レンズ群Ｌ２で合焦を行う。レンズアレイ１０２は、物体側が平面、像側が像側に凸形状の小レンズで形成されている。またレンズアレイ１０２は、結像光学系１０１の変倍、フォーカシング、絞りを絞ったときの瞳変動（瞳の位置や大きさ）に応じて移動する。レンズアレイ１０２の駆動方法は実施例１と同様である。これにより、結像光学系１０１の瞳が変動した場合でも、ライトフィールドの取得情報量の減少と取得精度の劣化を軽減することができる。
【０１１３】
本実施例では、Δ＝０．００６４（ｍｍ）、σ１＝−１４．６５１８（ｍｍ）、σ２＝２．３１２５（ｍｍ）である。レンズアレイ１０２が撮像素子１０３に対するレンズアレイ１０２の共役面より物体側に存在するため、σ１は負の値を示す。結像光学系１０１の広角端における最小Ｆ値は３．２７であり、レンズアレイ１０２を構成する小レンズの焦点距離は１．９９７３ｍｍである。また、撮像素子１０３を固定してレンズアレイ１０２を移動させているため、ω＝０．０である。
【０１１４】
図２４（ａ）中の破線は、結像光学系１０１の広角端において、絞りを絞ることでＦ値が変化した場合の、レンズアレイ１０２から撮像素子１０３までの間隔τ２の変化を示している。図２４（ｂ）〜（ｄ）中の破線は、このときのτ１、式（７）、および、式（８）の値をそれぞれ示している。図２４（ｃ）、（ｄ）に示されるように、それぞれの値が式（７）、（８）の範囲内に収まっている。図２４（ｂ）より、レンズアレイ１０２の移動によりＦ値が増大するにつれて、｜τ１｜が大きくなっている。これは、撮像素子１０３に対するレンズアレイ１０２の共役面とレンズアレイ１０２の間隔が広がっていることを意味する。Ｆ値が４．４程度のときからτ１、τ２の値が一定になっているのは、図２４（ｃ）の破線に示されるように、空間解像度比が０．７５以上となるようにしているためである。また、図２４（ｄ）の破線の値が１以上となっていることから、レンズアレイ１０２の移動により、ライトフィールドの取得情報量の減少およびその取得精度の劣化が軽減されている。
【０１１５】
次に、結像光学系１０１を変倍させた場合における、レンズアレイ１０２と撮像素子１０３の間隔の変化について説明する。結像光学系１０１は、広角端で焦点距離が２８．９ｍｍ、望遠端で２９１．４ｍｍである。図２６は、絞り開放時に広角端から望遠端まで変倍させた場合の、結像光学系１０１のＦ値の変化を示している。図２６において、横軸の射出瞳距離は、結像光学系１０１の射出瞳から結像光学系１０１の像側焦点までの距離である。射出瞳距離は、本実施例では広角端で最小値を、望遠端で最大値をとる。このため、増倍によりライトフィールドのサンプリングピッチは増大する。また図２６から、増倍によりＦ値が増大することが分かり、不感帯も増大していると考えられる。
【０１１６】
図２７（ａ）〜（ｄ）は、変倍（射出瞳距離）とτ２、τ１、式（７）、および、式（８）との関係をそれぞれ示す図である。図２７（ａ）〜（ｄ）のそれぞれにおいて、破線が本実施例における関係を示している。図２７（ａ）中の破線は、変倍に対するレンズアレイ１０２と撮像素子１０３の間隔τ２の変化を示している。また、図２７（ｂ）〜（ｄ）中の破線は、変倍時のτ１、式（７）、および、式（８）の値をそれぞれ示している。図２７（ｃ）および図２７（ｄ）に示されるように、それぞれの値が式（７）、式（８）の範囲内に収まっている。図２７（ｂ）より、レンズアレイ１０２の移動により、射出瞳が物体側へ移動するにつれて、τ２が広がっていることがわかる。これにより、ライトフィールドの取得情報量の減少およびその精度劣化を軽減することができる。その効果は、図２７（ｄ）中の破線が１以上の値を示していることから読み取れる。また、レンズアレイ１０２の移動前に対する１次元の空間解像度比は、図２７（ｃ）に示されるように、最低でも８５％以上確保されている。
【実施例６】
【０１１７】
次に、本発明の実施例６について説明する。本実施例では、前述の撮像装置を適用した画像処理システムについて説明する。本実施例の画像処理システムは、図１７を参照して説明した実施例３と同様の構成を有している。また撮像装置３０１は、図３の構成を有する撮像光学系を備える。図２８は、本実施例における撮像光学系の断面図である。本実施例において、画像処理装置３０２などの他の構成は実施例３と同様である。また、撮像装置３０１の結像光学系１０１とレンズアレイ１０２の駆動部は実施例１と同様である。したがって、これらの説明は省略する。
【０１１８】
本実施例では、Δ＝０．００６４（ｍｍ）、σ１＝８．３７２５（ｍｍ）、σ２＝１．５７４２（ｍｍ）である。結像光学系１０１の広角端における最小Ｆ値は３．２７であり、レンズアレイ１０２を構成する小レンズの焦点距離は１．９３８７ｍｍである。また、撮像素子１０３を固定して、レンズアレイ１０２を移動させているため、ω＝０．０である。
【０１１９】
図２４（ａ）中の一点鎖線は、結像光学系１０１の広角端において絞りを絞ることでＦ値が変化した場合での、τ２の変化を示している。図２４(ｂ)〜（ｄ）中の一点鎖線は、このときのτ１、式（７）、および、式（８）の値をそれぞれ示している。図２４（ｃ）および図２４（ｄ）に示されるように、それぞれの値が式（７）および式（８）の範囲内に収まっている。図２４（ｂ）中の一点鎖線から、レンズアレイ１０２の移動により、結像光学系１０１のＦ値の増大につれてτ１が大きくなっていることが分かる。Ｆ値８．０程度からτ１、τ２の値が一定となっているのは、図２４（ｃ）の一点鎖線で示されるように、レンズアレイ１０２の移動前に対する１次元の空間解像度比が０．５以上であるためである。また、図２４（ｄ）の一点鎖線の値が１以上となっていることから、レンズアレイ１０２の移動により、ライトフィールドの取得情報量の減少およびその精度劣化を軽減することができる。
【０１２０】
次に、結像光学系１０１を変倍させた場合における、レンズアレイ１０２と撮像素子１０３の間隔の変化について説明する。変倍による射出瞳距離およびＦ値の変化は、実施例５で説明したとおりである。図２７（ａ）中の一点鎖線は、変倍に対するτ２の変化を示している。また、図２７（ｂ）〜（ｄ）中の一点鎖線は、変倍時のτ１、式（７）、および、式（８）の値をそれぞれ示している。図２７（ｃ）および図２７（ｄ）に示されるように、それぞれの式（７）および式（８）の範囲内に収まっている。また図２７（ｂ）に示されるように、射出瞳が物体側へ移動するにつれて、τ１は大きくなっている。また、図２７（ｄ）中の一点鎖線が１以上の値を示しているため、ライトフィールドが効率よく取得されていることが分かる。また、レンズアレイ１０２の移動前に対する１次元の空間解像度比は、図２７（ｃ）に示されるように、最低でも７５％以上確保されている。
【０１２１】
上記各実施例によれば、結像光学系の瞳の位置や大きさが変化した場合に、ライトフィールドの情報量低下および精度劣化を軽減する撮像装置を提供することができる。
【０１２２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１２３】
１０１ 結像光学系
１０２ レンズアレイ
１０３ 撮像素子
１１１ システムコントローラ
【特許請求の範囲】
【請求項１】
結像光学系と、
複数の画素を備えた撮像素子と、
被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、
前記結像光学系の瞳変動に応じて、前記レンズアレイと前記撮像素子の間隔を変化させる制御手段と、を有することを特徴とする撮像装置。
【請求項２】
前記瞳変動は、前記結像光学系の変倍、フォーカシング、または、絞りを絞ることにより発生する瞳の位置または大きさの変化であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記結像光学系の射出瞳の両端と前記レンズアレイの光軸付近に位置する小レンズの中心を結ぶ２直線が前記撮像素子と交わる２点の間の長さを、該レンズアレイのピッチ以下とするように、該レンズアレイと該撮像素子の間隔を変化させることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記制御手段は、前記結像光学系の射出瞳の両端と前記レンズアレイの光軸付近に位置する小レンズの中心を結ぶ２直線が前記撮像素子と交わる２点の間の長さを、該レンズアレイのピッチに近付けるように、該レンズアレイと該撮像素子の間隔を変化させることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記レンズアレイは、前記結像光学系の前記被写体面に対する共役面に配置されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記結像光学系の射出瞳の位置が一定の場合、前記制御手段は、前記レンズアレイと前記撮像素子の間隔を、前記結像光学系が第１のＦ値を有する場合の第１の間隔よりも、該結像光学系が該第１のＦ値より大きい第２のＦ値を有する場合の第２の間隔を大きくするように制御することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記結像光学系のＦ値が一定の場合、前記制御手段は、前記レンズアレイと前記撮像素子の間隔を、前記結像光学系の射出瞳の位置が第１の位置にある場合の第１の間隔よりも、該結像光学系の該射出瞳の位置が該第１の位置よりも物体側である第２の位置にある場合の第２の間隔を大きくするように制御することを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記結像光学系の射出瞳が物体側に移動した場合、前記制御手段は、前記レンズアレイのピッチを該結像光学系の前記射出瞳でのサンプリングピッチで除した値が大きくなるように、該レンズアレイと前記撮像素子の間隔を変化させることを特徴とする請求項５または７に記載の撮像装置。
【請求項９】
前記結像光学系は、フォーカシング手段を有し、
前記結像光学系の瞳変動に応じて前記レンズアレイが移動した場合、前記フォーカシング手段は、該結像光学系を介して該レンズアレイと共役な面を、該レンズアレイの移動方向と逆の方向に移動させることを特徴とする請求項５乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記レンズアレイは、前記結像光学系の前記被写体面に対する共役面と前記撮像素子とが共役となるように配置されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項１１】
前記結像光学系の射出瞳の位置が一定の場合、前記制御手段は、前記レンズアレイの像側焦点から前記撮像素子までの距離の絶対値を、前記結像光学系が第１のＦ値を有する場合の第１の距離の絶対値よりも、該結像光学系が該第１のＦ値より大きい第２のＦ値を有する場合の第２の距離の絶対値を小さくするように、前記レンズアレイと前記撮像素子の間隔を制御することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記結像光学系のＦ値が一定の場合、前記制御手段は、前記レンズアレイの像側焦点から前記撮像素子までの距離の絶対値を、前記結像光学系の射出瞳の位置が第１の位置にある場合の第１の距離の絶対値よりも、該結像光学系の該射出瞳の位置が該第１の位置より物体側である第２の位置にある場合の第２の距離の絶対値を小さくするように、前記レンズアレイと前記撮像素子の間隔を制御することを特徴とする請求項１０に記載の撮像装置。
【請求項１３】
前記結像光学系の射出瞳が物体側に移動した場合、前記制御手段は、前記レンズアレイの前記撮像素子に対する共役面でのサンプリングピッチを、該結像光学系の前記射出瞳でのサンプリングピッチで除した値が大きくなるように、該レンズアレイと該撮像素子の間隔を変化させることを特徴とする請求項１０または１２に記載の撮像装置。
【請求項１４】
前記結像光学系は、フォーカシング手段を有し、
前記フォーカシング手段は、前記レンズアレイと前記撮像素子の間隔が大きくなった場合には、前記結像光学系を介して該撮像素子に対する該レンズアレイの共役面と共役な面を物体側に移動させ、該間隔が小さくなった場合には、該共役な面を像側に移動させることを特徴とする請求項１０乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記レンズアレイは、複数の小レンズを有し、
前記小レンズの像側の面は、凸形状であることを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
【請求項１６】
前記小レンズの物体側の面は、平面または凸形状であることを特徴とする請求項１５に記載の撮像装置。
【請求項１】
結像光学系と、
複数の画素を備えた撮像素子と、
被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、
前記結像光学系の瞳変動に応じて、前記レンズアレイと前記撮像素子の間隔を変化させる制御手段と、を有することを特徴とする撮像装置。
【請求項２】
前記瞳変動は、前記結像光学系の変倍、フォーカシング、または、絞りを絞ることにより発生する瞳の位置または大きさの変化であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記結像光学系の射出瞳の両端と前記レンズアレイの光軸付近に位置する小レンズの中心を結ぶ２直線が前記撮像素子と交わる２点の間の長さを、該レンズアレイのピッチ以下とするように、該レンズアレイと該撮像素子の間隔を変化させることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記制御手段は、前記結像光学系の射出瞳の両端と前記レンズアレイの光軸付近に位置する小レンズの中心を結ぶ２直線が前記撮像素子と交わる２点の間の長さを、該レンズアレイのピッチに近付けるように、該レンズアレイと該撮像素子の間隔を変化させることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記レンズアレイは、前記結像光学系の前記被写体面に対する共役面に配置されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記結像光学系の射出瞳の位置が一定の場合、前記制御手段は、前記レンズアレイと前記撮像素子の間隔を、前記結像光学系が第１のＦ値を有する場合の第１の間隔よりも、該結像光学系が該第１のＦ値より大きい第２のＦ値を有する場合の第２の間隔を大きくするように制御することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記結像光学系のＦ値が一定の場合、前記制御手段は、前記レンズアレイと前記撮像素子の間隔を、前記結像光学系の射出瞳の位置が第１の位置にある場合の第１の間隔よりも、該結像光学系の該射出瞳の位置が該第１の位置よりも物体側である第２の位置にある場合の第２の間隔を大きくするように制御することを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記結像光学系の射出瞳が物体側に移動した場合、前記制御手段は、前記レンズアレイのピッチを該結像光学系の前記射出瞳でのサンプリングピッチで除した値が大きくなるように、該レンズアレイと前記撮像素子の間隔を変化させることを特徴とする請求項５または７に記載の撮像装置。
【請求項９】
前記結像光学系は、フォーカシング手段を有し、
前記結像光学系の瞳変動に応じて前記レンズアレイが移動した場合、前記フォーカシング手段は、該結像光学系を介して該レンズアレイと共役な面を、該レンズアレイの移動方向と逆の方向に移動させることを特徴とする請求項５乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記レンズアレイは、前記結像光学系の前記被写体面に対する共役面と前記撮像素子とが共役となるように配置されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項１１】
前記結像光学系の射出瞳の位置が一定の場合、前記制御手段は、前記レンズアレイの像側焦点から前記撮像素子までの距離の絶対値を、前記結像光学系が第１のＦ値を有する場合の第１の距離の絶対値よりも、該結像光学系が該第１のＦ値より大きい第２のＦ値を有する場合の第２の距離の絶対値を小さくするように、前記レンズアレイと前記撮像素子の間隔を制御することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記結像光学系のＦ値が一定の場合、前記制御手段は、前記レンズアレイの像側焦点から前記撮像素子までの距離の絶対値を、前記結像光学系の射出瞳の位置が第１の位置にある場合の第１の距離の絶対値よりも、該結像光学系の該射出瞳の位置が該第１の位置より物体側である第２の位置にある場合の第２の距離の絶対値を小さくするように、前記レンズアレイと前記撮像素子の間隔を制御することを特徴とする請求項１０に記載の撮像装置。
【請求項１３】
前記結像光学系の射出瞳が物体側に移動した場合、前記制御手段は、前記レンズアレイの前記撮像素子に対する共役面でのサンプリングピッチを、該結像光学系の前記射出瞳でのサンプリングピッチで除した値が大きくなるように、該レンズアレイと該撮像素子の間隔を変化させることを特徴とする請求項１０または１２に記載の撮像装置。
【請求項１４】
前記結像光学系は、フォーカシング手段を有し、
前記フォーカシング手段は、前記レンズアレイと前記撮像素子の間隔が大きくなった場合には、前記結像光学系を介して該撮像素子に対する該レンズアレイの共役面と共役な面を物体側に移動させ、該間隔が小さくなった場合には、該共役な面を像側に移動させることを特徴とする請求項１０乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記レンズアレイは、複数の小レンズを有し、
前記小レンズの像側の面は、凸形状であることを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
【請求項１６】
前記小レンズの物体側の面は、平面または凸形状であることを特徴とする請求項１５に記載の撮像装置。
【図１７】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１３−４８３０９（Ｐ２０１３−４８３０９Ａ）
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１１−１８５４０３（Ｐ２０１１−１８５４０３）
【出願日】平成２３年８月２９日（２０１１．８．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願日】平成２３年８月２９日（２０１１．８．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]