撮像システム
【課題】１つの撮像素子を用いて立体画像を撮影する場合でも、より効果的な立体画像を撮影することができる撮像システムを提供する。
【解決手段】撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、主被写体を選択する被写体選択部と、単位画素あたりに２つ以上の光電変換部を有する撮像素子と、主被写体か否かに応じて、それぞれの単位画素の光電変換部を選択する光電変換部選択部と、選択された光電変換部からの信号をもとに視差を有する２つの画像信号を生成する生成部とを有する。
【解決手段】撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、主被写体を選択する被写体選択部と、単位画素あたりに２つ以上の光電変換部を有する撮像素子と、主被写体か否かに応じて、それぞれの単位画素の光電変換部を選択する光電変換部選択部と、選択された光電変換部からの信号をもとに視差を有する２つの画像信号を生成する生成部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は両眼視差を利用した立体的な画像を得るための撮像システムに関する。
【背景技術】
【０００２】
３次元映像に関する需要は高く、長きに渡って研究開発が成されている。人間の目は左右それぞれが２次元画像を取得するが、水平方向に約６〜７ｃｍ離れており、右目による画像と左目による画像との間には対象物までの距離によって視差がある。この２つの画像を脳が処理して３次元立体画像を形成する。従来の立体映像を撮影するための装置としては、人間の目と同様に、カメラあるいは撮像素子を２つ用意したシステムが多い。左右のカメラで撮影した映像をそれぞれの目に分離して呈示することにより、奥行き感を得ることができる。
【０００３】
ところで、撮影レンズの焦点状態を検出する方式の一つとして、センサの各画素にマイクロレンズが形成された２次元のセンサを用いて瞳分割方式の焦点検出を行う装置が特許文献１に開示されている。特許文献１の装置では、センサを構成する各画素の光電変換部が複数に分割され、分割された光電変換部がマイクロレンズを介して撮影レンズの瞳の異なる領域を受光するように構成されている。各マイクロレンズ下の左側の受光部出力と右側の受光部出力の像ズレ量から結像光学系の焦点状態を検出することができる。
【０００４】
また、特許文献１では、この装置を用いた立体映像撮影の実現についても言及している。全ての画素の左側受光部の出力から第１の映像を作成し、全ての画素の右側受光部の出力から第２の映像を作成する。第１、第２の映像を立体映像再生装置で再生することにより、立体映像を得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開昭５８−２４１０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、鑑賞者が感じる被写体の立体感は、前述の第１の映像と第２の映像の視差が小さくなるほど薄れ、視差が大きくなるほどより立体感を感じることができる。
【０００７】
しかし、上述の従来技術では、立体映像を撮影できるものの、撮影者が立体感を選択できなかった。また、立体映像撮影時において、所望の被写体のみを強調して立体的に見えるようにしたい、近い被写体はより近くに遠い被写体はより遠くに見えるようにしたい、といった撮影者の多様な好みには対応していなかった。また、アプリなどで撮影した画像を立体処理する技術も開発されているが、撮影者の意図を反映することは難しかった。
【０００８】
そこで、本発明は、１つの撮像素子を用いて立体画像を撮影する場合でも、より効果的な立体画像を撮影することができる撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係わる撮像システムは、撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、主被写体を選択する被写体選択手段と、単位画素あたりに２つ以上の光電変換部を有する撮像素子と、前記主被写体か否かに応じて、それぞれの前記単位画素の前記光電変換部を選択する光電変換部選択手段と、選択された前記光電変換部からの信号をもとに視差を有する２つの画像信号を生成する生成手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、１つの撮像素子を用いて立体画像を撮影する場合でも、より効果的な立体画像を撮影することができる撮像システムを提供することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る固体撮像装置のブロック図。
【図２】本発明の第１の実施形態に係る撮像素子の構成を説明するための図。
【図３】本発明の第１の実施形態に係る撮像素子の単位画素の構成を説明するための図。
【図４】本発明の第１の実施形態の撮像素子の構成図。
【図５】本発明の第１の実施形態の撮像素子の構成図。
【図６】本発明の第１の実施形態の撮像素子の構成図。
【図７】本発明の第１の実施形態の撮像素子の駆動タイミングチャート。
【図８】本発明の第１の実施形態の撮像素子を利用した立体画像撮影の原理を説明するための図。
【図９】本発明の第１の実施形態の撮像素子を利用した立体画像撮影の原理を説明するための図。
【図１０】本発明の第１の実施形態の動作を説明するためのフローチャート。
【図１１】立体画像撮影を説明するための構図例。
【図１２】立体画像撮影によって得られた画像例。
【図１３】第１の実施形態の変形例で用いられる光電変換部選択スイッチを示す図。
【図１４】図１３の光電変換部選択スイッチを用いた場合の撮像素子の構成を示す図。
【図１５】本発明の第２の実施形態に係る撮像システムのブロック図。
【図１６】本発明の第２の実施形態の動作を説明するためのフローチャート。
【図１７】本発明の第３の実施形態に係る固体撮像装置のブロック図。
【図１８】本発明の第３の実施形態の動作を説明するためのフローチャート。
【図１９】第３の実施形態の立体画像撮影を説明するための構図例。
【図２０】立体画像撮影によって得られた画像の距離マップの例。
【図２１】立体画像撮影によって得られた画像例。
【図２２】本発明の第４の実施形態の動作を説明するためのフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の全体構成を示すブロック図である。図１において、撮像素子１０１は、ＣＭＯＳ型の撮像素子であり、不図示の撮影レンズで結像された画像を取り込む。ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０２は、撮像素子からの信号の増幅や黒レベルの調整（ＯＢクランプ）などを行う信号処理回路である。ＡＦＥ１０２は、タイミング発生回路１１０からＯＢクランプタイミングやＯＢクランプ目標レベルなどを受け取り、それに従って処理を行う。そして、処理を行ったアナログ信号をデジタル信号に変換する。ＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）１０３は、ＡＦＥ１０２で変換された各画素のデジタル信号を受けて画像信号の補正や画素の並び替え等のデジタル処理などを行っている。画像処理装置１０５は、現像処理を行って表示回路１０８に画像を表示する、制御回路１０６を介して記録媒体１０９に記録する、といった処理を行う。なお、制御回路１０６はその他、操作部１０７からの指示を受けて、タイミング発生回路１１０に命令を送るなどの制御も行う。また、記録媒体１０９にはコンパクトフラッシュ（登録商標）メモリなどがある。メモリ回路（記憶部）１０４は、画像処理装置１０５の現像段階での作業用メモリに使用される。また、撮像が続いて行われて現像が間に合わないときのバッファメモリとしても使用される。操作部１０７には、デジタルカメラを起動させるための電源スイッチ、及び測光処理、測距処理などの撮影準備動作開始やミラー、シャッターを駆動して撮像素子１０１から読み出した信号を処理して記録媒体１０９に書き込む一連の撮像動作の開始を指示するシャッタースイッチなどが含まれる。
【００１４】
図２及び図３は、撮像素子１０１の構成を説明するための図である。図２は撮像素子１０１の一部の画素を図示したものである。図２では、６行×６列の画素のみを図示したのみであるが、実際には数千行×数千列と多画素である。
【００１５】
撮像素子１０１は、光電変換部（ＰＤ）上にＲ（赤）、Ｇ（緑）およびＢ（青）のそれぞれの波長帯域を透過するカラーフィルタが設けられたＲ画素、Ｇ画素、Ｂ画素を有する。Ｒ、Ｇ、Ｂをベイヤー状に配置し、１画素毎に１つのマイクロレンズ（ＭＬ）が配されている。各画素は破線で示されているように、水平方向に１つの画素内が４つに分割されている。
【００１６】
図３は、撮像素子１０１の１画素（単位画素）の構造を表す図である。撮像素子１０１の単位画素３０には、図のように水平方向に沿って４つの光電変換部（ＰＤ）３０１〜３０４が配列されている。本実施形態では１画素あたりの分割数は４つで説明しているが、これに限らない。水平方向だけでなく、垂直方向にも分割していても良い。
【００１７】
図４は、本実施形態の撮像素子１０１の回路の一例を示す図である。図４の回路は、図３に示した単位画素３０の回路であり、４つの光電変換部から構成されている。ＰＤ（フォトダイオード）４０１は、撮影レンズによって結像された光画像を受けて電荷を発生し、蓄積する。転送スイッチ４０２は、ＭＯＳトランジスタで構成されている。ＰＤ４０１で蓄積された電荷は転送スイッチ４０２を介してＦＤ（フローティングディフュージョン部）４０４に転送されて電荷が電圧に変換され、ソースフォロワアンプ４０５から出力される。選択スイッチ４０６は、一行分の画素信号を一括して垂直出力線４０７に出力する。リセットスイッチ４０３は、ＦＤ４０４の電位、及び転送スイッチ４０２を介してＰＤ４０１の電位をＶＤＤにリセットする。このような構成の回路が水平方向に４つ並んで、単位画素を構成している。
【００１８】
図５は、撮像素子の構成例を示すブロック図である。図５では、２×２画素分しか図示していないが、実際には数千×数千画素と多画素で構成される。垂直シフトレジスタ５０１は、行選択線Ｐｒｅｓ１、Ｐｔｘ１、Ｐｓｅｌ１等の信号を画素領域５０８に出力する。画素領域５０８は単位画素５０９が格子状に配置された構成になっており、単位画素５０９は４つの光電変換部５１０から構成されている。単位画素５０９の回路構成は、図４に示した通りである。
【００１９】
電流源５０７は、各垂直出力線４０７に接続される。読み出し回路５０２は、垂直出力線上の画素信号を入力し、画素信号をｎチャネルＭＯＳトランジスタ５０３を介して差動増幅器５０５に出力する。また、ノイズ信号をｎチャネルＭＯＳトランジスタ５０４を介して差動増幅器５０５に出力する。水平シフトレジスタ５０６は、トランジスタ５０３及び５０４のオン／オフを制御し、差動増幅器５０５は、画素信号とノイズ信号との差分を出力する。
【００２０】
図４の転送スイッチ４０２のゲートは、横方向に延長して配置される第１の行選択線Ｐｔｘ１（図５）に接続される。同じ行に配置された他の同様な転送スイッチ４０２のゲートも上記第１の行選択線Ｐｔｘ１に共通に接続される。図４のリセットスイッチ４０３のゲートは、横方向に延長して配置される第２の行選択線Ｐｒｅｓ１（図５）に接続される。同じ行に配置された他の同様なリセットスイッチ４０３のゲートも上記第２の行選択線Ｐｒｅｓ１に共通に接続される。図４の選択スイッチ４０６のゲートは、横方向に延長して配置される第３の行選択線Ｐｓｅｌ１（図５）に接続される。同じ行に配置された他の同様な選択スイッチ４０６のゲートも上記第３の行選択線Ｐｓｅｌ１に共通に接続される。これら第１〜第３の行選択線Ｐｔｘ１、Ｐｒｅｓ１、Ｐｓｅｌ１は、垂直シフトレジスタ５０１に接続されて駆動される。図５に示されている残りの行においても同様な構成の画素と、行選択線が設けられる。これらの行選択線は、上記垂直シフトレジスタ５０１に接続された行選択線Ｐｔｘ２、Ｐｒｅｓ２、Ｐｓｅｌ２などである。
【００２１】
上記選択スイッチ４０６のソースは、縦方向に延長して配置される垂直出力線の端子Ｖｏｕｔに接続される。同じ列に配置される光電変換部の同様な選択スイッチ４０６のソースも上記垂直出力線の端子Ｖｏｕｔに接続される。図５において、上記垂直出力線の端子Ｖｏｕｔは負荷手段である定電流源５０７に接続される。
【００２２】
図６は、図５に示した読み出し回路５０２のブロック１列分の回路例を示した図である。破線で囲った部分が列分（水平方向の光電変換部の数）だけあり、各垂直出力線には端子Ｖｏｕｔが接続される。
【００２３】
図７は、ＣＭＯＳ型の撮像素子の動作例を示すタイミングチャートである。フォトダイオード４０１からの光信号電荷の読み出しに先立って、リセットスイッチ４０３のゲート線Ｐｒｅｓ１がハイレベルとなる。これによって、増幅ＭＯＳトランジスタのゲートがリセット電源電圧にリセットされる。リセットスイッチ４０３のゲート線Ｐｒｅｓ１がローレベルに復帰すると同時にクランプスイッチのゲート線Ｐｃ０ｒ（図６）がハイレベルになった後に、選択スイッチ４０６のゲート線Ｐｓｅｌ１がハイレベルとなる。これによって、リセットノイズが重畳されたリセット信号（ノイズ信号）が垂直出力線Ｖｏｕｔに読み出され、各列のクランプ容量Ｃ０にクランプされる。次に、クランプスイッチのゲート線Ｐｃ０ｒがローレベルに復帰した後、ノイズ信号側転送スイッチのゲート線Ｐｃｔｎがハイレベルとなり、各列に設けられたノイズ保持容量Ｃｔｎにリセット信号が保持される。次に、画素信号側転送スイッチのゲート線Ｐｃｔｓをハイレベルにした後、転送スイッチ４０２のゲート線Ｐｔｘ１がハイレベルとなり、フォトダイオード４０１の光信号電荷が、アンプ４０５のゲートに転送されると同時に光信号が垂直出力線Ｖｏｕｔに読み出される。次に転送スイッチ４０２のゲート線Ｐｔｘ１がローレベルに復帰した後、画素信号側転送スイッチのゲート線Ｐｃｔｓがローレベルとなる。これによって、リセット信号からの変化分（光信号）が各列に設けられた信号保持容量Ｃｔｓに読み出される。ここまでの動作で、第１行目に接続された光電変換部５１０の光信号がそれぞれの列に接続された信号保持容量Ｃｔｎ、Ｃｔｓに保持される。
【００２４】
この後、水平シフトレジスタ５０６から供給される信号Ｐｈによって、各列の水平転送スイッチゲートが順次ハイレベルとなる。信号保持容量Ｃｔｎ，Ｃｔｓに保持されていた電圧は、順次水平出力線Ｃｈｎ，Ｃｈｓに読み出され、出力アンプで差分処理されて出力端子ＯＵＴに順次出力される。各列の信号読み出しの合間でリセットスイッチによって水平出力線Ｃｈｎ，Ｃｈｓがリセット電圧ＶＣＨＲＮ、ＶＣＨＲＳにリセットされる。以上で、第１行目に接続された画素の読み出しが完了する。
【００２５】
以下同様に、垂直シフトレジスタ５０１からの信号によって第２行目以降に接続された光電変換部の信号が順次読み出され、全画素（全光電変換部に蓄積された信号）の読み出しが完了する。なお、本実施形態の撮像素子は、１画素あたり水平方向に４つの光電変換部を配する構成になっている。各光電変換部で蓄積された電荷をそれぞれ読み出しており、１画素あたり４つの信号データを保持することになる。この信号データは、画像処理装置１０５で処理され、画像として表示回路１０８で表示、または記録媒体１０９に書き込まれる。もちろん、信号データを全て記録媒体１０９に書き込み、ＰＣ等で画像処理を行っても良い。また、２次元撮影モードの場合などには、４つの信号データの加算信号を１画素として画像生成しても良い。
【００２６】
図４〜図７を用いて説明した本発明の第１の実施形態においては、光電変換部１つに対し垂直出力線１本としたが、本発明はこれに限定されず、複数の光電変換部で垂直出力線を共有する構成でも良い。この場合、垂直出力線を共有する複数の光電変換部の信号は、それぞれ読み出す時刻を変え、順に読み出す。
次に、図２のような画素構造を持つ撮像素子１０１を利用した立体画像撮影の原理について説明する。図８及び図９は、撮像素子１０１を利用した立体画像撮影の原理を説明するための図である。図８の単位画素３０は図３と同様に撮像素子１０１の１画素を表したものであり、４つの光電変換部３０１〜３０４からなる。また、視差８０３は、撮影レンズ８０４における光電変換部３０２の瞳重心８０１と光電変換部３０３の瞳重心８０２との距離である。図８に示すように、射出瞳８０１を通過した光束がマイクロレンズ（ＭＬ）及びカラーフィルタ（ＣＦ）を透過して光電変換部３０２に結像する。一方、射出瞳８０２を通過した光束がマイクロレンズ（ＭＬ）及びカラーフィルタ（ＣＦ）を透過して光電変換部３０３に結像する。得られた情報は光電変換部３０２と光電変換部３０３とでは視差８０３に相当するずれが生じる。なお、対象物が手前にあるほど、視差８０３は大きくなる。
【００２７】
図８に対し、図９は光電変換部３０１と光電変換部３０４を使用した場合を模式的に表している。視差９０３は、撮影レンズ８０４における光電変換部３０１の瞳重心９０１と光電変換部３０４の瞳重心９０２との距離である。射出瞳９０１を通過した光束がマイクロレンズ（ＭＬ）及びカラーフィルタ（ＣＦ）を透過して光電変換部３０１に結像する。一方、射出瞳９０２を通過した光束がマイクロレンズ（ＭＬ）及びカラーフィルタ（ＣＦ）を透過して光電変換部３０４に結像する。内側の光電変換部３０２と３０３を使った場合に比べ、外側の光電変換部３０１と３０４を使った場合の方が、ずれ量（視差 ９０３）が大きくなる。つまり、同じ位置にある被写体を撮影し、同じように立体再生を行った場合、光電変換部３０２と光電変換部３０３から得られた信号から得られる立体像よりも、光電変換部３０１と光電変換部３０４から得られた信号から得られる立体像の方が、手前に位置しているように見える。
【００２８】
図１０は、本実施形態の撮像システムで行う立体画像取得の流れを説明するフローチャートである。まず、図１の撮像装置を用いて撮影を実施する（ステップＳ１００１）。操作部１０７での操作により、撮像装置を起動させ、所望の被写体に対し、測光・測距処理を行い、シャッターを押して撮影する。なお、この撮影動作の際に、撮影者が画面内の被写体位置を選択しても良い。
【００２９】
続いて、撮像素子１０１の光電変換部（ＰＤ）に蓄積された電荷を前述の読み出し方法に従って読み出す（ステップＳ１００２）。ここでは、各画素４つのＰＤ全ての電荷がそれぞれ読み出される。読み出された信号はメモリ回路１０４に格納される。
【００３０】
読み出された信号情報から主被写体の抽出（被写体選択）を行う（ステップＳ１００３）。主被写体の抽出は、撮影時に撮影者が画面内の位置を選択しておいても良いし、読み出された信号から距離情報を算出して一番距離が短い位置にある被写体を主被写体としても良い。被写体までの距離の算出は色々な方法があるが、本実施形態の撮像素子１０１は各座標において視差を持った信号を得ることができるという特徴を持っており、視差を利用した三角測量法が好適である。例えば、画面を複数の画素からなる所定のブロックに分割し、各ブロックで距離を算出するといった方法がある。そして、所望の主被写体の抽出は、算出された距離情報から求めることができる。例えば、主被写体の座標を中心とし、その周囲の領域の距離と主被写体の中心座標における距離とを比較し、類似していたら周囲領域も主被写体として選択していくという方法がある。これを繰り返し、中心座標における距離と周囲領域の距離とにある閾値以上の差があった場合は、その領域は主被写体ではないとし、主被写体の抽出を終了する。また、撮影された画像において、選択された主被写体輪郭を形成するエッジを検出し、その内側領域を主被写体領域として抽出する方法もある。その他の公知技術によっても主被写体の抽出は実施可能である。
【００３１】
図１１は、撮影した画像の一例である。例えば、ステップＳ１００１の撮影時に、主被写体１１０１を選択しておいたとする。まず、選択された座標（Ｘｃ，Ｙｃ）の距離ｄｃを撮影されたデータから算出する。距離ｄｃを基準として、周囲の領域の距離を比較してｄｃと一致すれば、その座標の画素は主被写体領域として抽出していく。主被写体までの距離ｄｃと一致しているかの判定は、例えば０．９０×ｄｃ〜１．１０×ｄｃの範囲内であれば一致、といった閾値を設定して行っても良い。また、距離分布をクラスタ分析し、統計的に判定を行っても良い。上記のような処理を行い、主被写体として抽出された領域に相当する座標情報をメモリ回路１０４に格納しておく（ステップＳ１００４）。
【００３２】
ステップＳ１００５から左目用画像、及び右目用画像作成処理を行う。画像データ作成のために、画素データを順次読み出していく。ステップＳ１００５からステップＳ１００９の処理を全画素終了まで繰り返す。画素データの読み出しは、例えば画像の左上をスタートとし、水平方向に読み出し、１行終了したら次の行の読み出し、といったように走査していく。
【００３３】
読み出した画素（Ｘ，Ｙ）に対し、主被写体領域か否かを判定する（ステップＳ１００６）。ステップＳ１００３とステップＳ１００４で処理された主被写体領域情報と照合し、主被写体領域であればステップＳ１００７に、そうでなければステップＳ１００８に進む。
【００３４】
主被写体の領域であった場合、外側ＰＤからの信号を用いて（第１の方向に視差を有する）画像データとする。具体的には、図９を用いて説明すると、左目画像用にＰＤ３０４のデータを読み出し、右目画像用にＰＤ３０１のデータを読み出す（ステップＳ１００７）。一方、主被写体の領域でなかった（主被写体に対応する画素以外の画素の）場合、内側ＰＤからの信号を用いて画像データとする。すなわち、左目画像用にＰＤ３０３のデータを読み出し、右目画像用にＰＤ３０２のデータを読み出す（ステップＳ１００８）。
【００３５】
主被写体か否かに応じて選択されたＰＤのデータを当該画素のデータとして書き込む（ステップＳ１００９）。なお、１画素あたり４つの光電変換部からなるため、１つの光電変換部に入射する光量は１／４になり、ここで得られる信号出力はほぼ１／４の光信号となる。光電変換部の分割分を考慮し、得られた信号出力に対し、画像処理装置１０５でゲイン補正を行う。ステップＳ１００５からＳ１００９を全画素終了まで繰り返す（ステップＳ１０１０）。
【００３６】
以上より、本実施形態の撮像システムにおける画像撮影から画像データ作成までの一連の処理は終了である。書き出された左目用画像データと右目用画像データは、画像処理装置１０５にて現像処理をし、記録媒体１０９に保存する。図１２に、保存された左目用画像１２０１と右目用画像１２０２の一例を示す。左目用画像の主被写体１２０３はＰＤ３０４から読み出された信号からなり、それ以外の領域１２０５はＰＤ３０３から読み出された信号からなる。一方、右目用画像の主被写体１２０４はＰＤ３０１から読み出された信号からなり、それ以外の領域１２０６はＰＤ３０２から読み出された信号からなる。このようにして得られ、記録媒体１０９により保存された左目用画像１２０１と右目用画像１２０２は、立体画像再生装置で再生すれば、主被写体をより立体的に見ることができる。
【００３７】
なお、本実施形態では、撮像素子１０１で蓄積された電荷データを全ＰＤ分読み出したが、撮像素子１０１からの電荷読み出しの際に、主被写体の抽出と使用するＰＤの選択処理を行っても良い。その場合、例えば図１３のような構成の光電変換部選択スイッチ１３０を設けることで実施可能である。図１３の端子１３０１には、光電変換選択手段より制御される光電変換選択信号が入力される。端子１３０２は垂直出力線とつながっており、光電変換部からの電荷が入力される。そして、光電変換選択信号の制御により選択された光電変換部からの電荷を読み出すことができる。また、出力端Ｖｏｕtには、電流源１３０３が接続される。
【００３８】
図１４は、図１３の光電変換部選択スイッチ１３０を用いた場合の撮像素子の構成を示す図である。垂直出力線４０７、垂直シフトレジスタ５０１から水平シフトレジスタ５０６、及び画素領域５０８から光電変換部５１０までの各構成は、図５と同様である。図５で各垂直出力線に設置していた電流源５０７は、光電変換部選択スイッチ１３０の中の電流源１３０３に置き換えられており、図１４の構成では必要ない。垂直出力線４０７と読み出し回路６０との間に光電変換部選択スイッチ１３０を配する。なお、図１４の読み出し回路６０は図６の読み出し回路の一部である。図１４の場合、単位画素あたり４つのＰＤを水平に配し、左側２つのＰＤのうち１つを選択して読み出し、右側２つのＰＤのうち１つを選択して読み出すという構成になる。選択されたＰＤのみを読み出すため、読み出し回路を少なくすることが可能となる。また、電流源も同様に減らすことが可能となる。
【００３９】
また、本実施形態では１画素あたりのＰＤ数は４つであったが、分割数はそれ以上でも良い。特に、水平方向の分割数が多いほど、視差に差をつけることができる。例えば、被写体によって選択するＰＤを変えたり、撮影者の好みによって、使用するＰＤの組み合わせを選んだりすることができる。
【００４０】
また、主被写体でない領域の画素について、ＰＤは、左目用にＰＤ３０２や３０１を、右目用にＰＤ３０３や３０４を選択し、前述の視差とは異なる逆方向（第２の方向）の視差をつけて画像データを作成してもよい。このようにＰＤを選択することにより、主被写体とそうでない領域について視差情報のコントラストをつけることができ、より効果的に立体画像を作成することができる。
【００４１】
本実施形態では、静止画撮影についてのみ説明したが、動画撮影においても好適である。なお動画の場合、主被写体の選択は前フレームで行い、それを追尾することで処理を高速化することも可能である。
【００４２】
なお、本実施形態の撮像素子を用いて２次元画像撮影と３次元画像撮影の両方を実施することが可能である。２次元画像撮影の場合、１画素内の全てのＰＤからの電荷を加算して１画素の出力とする。加算処理は、全ＰＤの電荷を読み出した後に画像処理装置などで行っても良い。図２のような１画素あたり４つのＰＤを持つ構成の画素の場合、その出力は４倍になる。一方、３次元画像撮影の場合には、左目画像用、右目画像用ともに１画素あたり１つのＰＤ分の電荷から出力を得るため、２次元画像に対して出力が約１／４になる。そこで、３次元画像用に分割画素１つのみを読み出した場合は、ゲイン補正をかける。ゲイン補正をかけることによって、２次元画像撮影と３次元画像撮影とで画像の明るさを揃えることができる。
【００４３】
また、撮像素子内に加算回路を持たせることにより、２次元画像撮影の場合には撮像素子内で１画素分の出力信号を算出して読み出しを行うこともできる。加算方法は、ＦＤで加算する方法や読み出し回路で加算する方法などがある。この場合も、加算（２次元画像撮影）と非加算（３次元画像撮影）とで生じる出力レベル差をなくすようにゲイン補正を行うことが望ましい。
【００４４】
（第２の実施形態）
本発明の第２の実施形態による撮像システムについて図面を参照して説明する。図１５は、本発明の第２の実施形態に係る撮像システムの構成を示す図である。第２の実施形態は、複数の撮像装置１５０１〜１５０４からなる。撮像装置１５０１〜１５０４はそれぞれ、撮像素子を１つ有している。なお、この撮像素子は瞳分割していなくて良い。撮像装置１５０１〜１５０４がそれぞれ有する撮像素子で蓄積された電荷は画像処理装置１５０５で処理され、画像データは記録媒体１５０７にて保存される。また、この撮像システムは測距システム１５０８を備え、画面を複数の画素からなる所定のブロックに分割し、画面内のブロック毎の距離の検出が可能な機能を有する。
【００４５】
図１６は、第２の実施形態の撮像システムで行う立体画像取得の流れを説明するフローチャートである。まず、撮影を実施する（ステップＳ１６０１）。ここでは、図示していないが、制御回路により、撮像装置１５０１〜１５０４が同期して撮影が行われるように制御して撮影する。また、この撮影動作時に、撮影者が主被写体を選択しても良い。
【００４６】
続いて、各撮像装置の撮像素子に蓄積された電荷を読み出し、メモリ回路１５０６に格納する（ステップＳ１６０２）。各撮像装置の電荷を読み出すことにより、各画素について異なる視差情報を持つ４つの電荷データがメモリ回路１５０６に格納されることになる。
【００４７】
読み出された信号情報から主被写体の抽出、及び主被写体領域データの格納を行う（ステップＳ１６０３、ステップＳ１６０４）。主被写体の抽出方法は、第１の実施形態と同様の方法で行うことができる。抽出された主被写体領域情報はメモリ回路１５０６に格納しておく。
【００４８】
ステップＳ１６０５から左目用画像、及び右目用画像作成処理を行う。画像データ作成のために、メモリ回路１５０６に格納された画素データを順次読み出していく。ステップＳ１６０５からステップＳ１６０９の処理を全画素終了まで繰り返す。画素データの読み出しは、例えば画像の左上をスタートとし、水平方向に読み出し、１行終了したら次の行の読み出し、といったように走査していく。
【００４９】
読み出した画素（Ｘ，Ｙ）に対し、主被写体領域か否かを判定する（ステップＳ１６０６）。ステップＳ１６０３とステップＳ１６０４で処理された主被写体領域情報と照合し、主被写体領域であればステップＳ１６０７に、そうでなければステップＳ１６０８に進む。
【００５０】
主被写体の領域であった場合、外側カメラ（撮像装置）からの信号を用いて画像データとする（撮像装置選択）。すなわち、左目画像用に撮像装置１５０４のデータを読み出し、右目画像用に撮像装置１５０１のデータを読み出す（ステップＳ１６０７）。一方、主被写体の領域でなかった場合、内側カメラからの信号を用いて画像データとする。すなわち、左目画像用に撮像装置１５０３のデータを読み出し、右目画像用に撮像装置１５０２のデータを読み出す（ステップＳ１６０８）。主被写体か否かに応じて選択された撮像装置のデータを当該画素のデータとして書き込む（ステップＳ１６０９）。ステップＳ１６０５からＳ１６０９を全画素終了まで繰り返す（ステップＳ１６１０）。
【００５１】
以上より、本実施形態の撮像システムにおける画像撮影から画像データ作成までの一連の処理は終了である。書き出された左目用画像データと右目用画像データは、画像処理装置１５０５にて現像処理をし、記録媒体１５０７に保存する。
【００５２】
このようにして得られ、記録媒体１５０７により保存された左目用画像と右目用画像を立体画像再生装置で再生すれば、主被写体をより立体的に見ることができる。また、主被写体でない領域の画素については、左目用に撮像装置１５０２や１５０１を、右目用に撮像装置１５０３や１５０４を選択して画像データを作成してもよい。このように撮像装置を選択することにより、主被写体とそうでない領域について視差情報のコントラストをつけることができ、より効果的に立体画像を作成することができる。
【００５３】
（第３の実施形態）
以下、第３の実施形態について説明する。図１７に示す第３の実施形態の撮像システムの構成は、第１の実施形態を示す図１の撮像システムの構成とほとんど同じであり、測距システム１１１を有する点のみが異なる。また、第１の実施形態において図２〜図９を用いて説明した内容は、第３の実施形態においても同じである。
【００５４】
図１７は、第３の実施形態の撮像システムの構成を示す図である。図１７において、測距システム１１１は、被写体までの距離を検出するシステムであり、ファインダ内の被写体情報全てに対して距離を検出する。検出された距離情報は、各画素単位に被写体との距離計測値を信号処理し、距離マップとして保持される。なお、測距方法としては、専用の外測ＡＦモジュールを用いても良い。また、本実施形態で使用される撮像素子１０１は、各画素の光電変換部が複数に分割された構造になっており、各座標において視差を持った信号を得ることができる。この視差情報を利用して三角測量法により距離情報を得ても良い。距離マップについては、後で詳細に説明する。
【００５５】
また、前述したように、撮像素子を構成する各画素の光電変換部が複数に分割され、分割された光電変換部がマイクロレンズを介して撮影レンズの瞳の異なる領域を受光するように構成されている。各マイクロレンズ下の左側の受光部出力と右側の受光部出力の像ズレ量から結像光学系の焦点状態を検出（焦点検出）することができる。
【００５６】
ところで、視差は合焦位置では視差ゼロになり、それより前ピンでは画像が飛び出す方向、後ピンでは画像が後退する方向に生じる。この現象は、内側の光電変換部（図３のＰＤ３０２，３０３）を使用する場合に比べて外側の光電変換部（図３のＰＤ３０１，３０４）を使用すると強調される。
【００５７】
図１８は、本実施形態の撮像システムで行う立体画像取得の流れを説明するフローチャートである。まず、図１７の撮像装置を用いて撮影を実施する（ステップＳ１８０１）。操作部１０７での操作により、撮像装置を起動させ、所望の被写体に対し、測光・測距処理を行い、シャッターを押して撮影する。
【００５８】
続いて、撮像素子１０１の光電変換部（ＰＤ）に蓄積された電荷を前述の読み出し方法に従って読み出す（ステップＳ１８０２）。ここでは、各画素４つのＰＤ全ての電荷がそれぞれ読み出される。読み出された信号はメモリ回路１０４に格納される。
【００５９】
読み出された信号情報から被写体距離を算出し、距離マップを作成する（ステップＳ１８０３）。被写体までの距離の算出は色々な方法があるが、本実施形態の撮像素子１０１は各座標において視差を持った信号を得ることができるという特徴を持っており、視差を利用した三角測量法が好適である。ステップＳ１８０２で読み出した、各画素４つのＰＤの電荷信号のうち最外郭のＰＤ３０１とＰＤ３０４の信号を用いて相関演算を行うなど公知の技術により距離を求めるのが好適である。このようにして算出された各画素の距離情報を距離マップとしてメモリ回路１０４に格納する。各画素の距離情報は、算出された距離をそのまま格納しても良いし、量子化して格納しても良い。例えば、至近から無限大までを４分割し、至近〜ｄ１だったら０、ｄ１〜ｄ２だったら１、ｄ２〜ｄ３だったら２、ｄ３〜無限大だったら３というように量子化し、メモリ回路１０４に格納すればメモリ容量を削減することができる。ここで、距離ｄｎは任意の値であり、ｄ１＜ｄ２＜ｄ３の関係にある（ｎ＝１，２，３，…，ｋ）。また、ファインダ内の被写体を全て画像処理により抽出し、類似距離にある被写体ごとに、グループ分けして量子化してもよい。
【００６０】
図１９は撮影した画像の一例である。ステップＳ１８０２で読み出された、各画素の電荷信号より、各画素の距離情報を算出する。距離算出結果をもとに、距離マップを作成する。例えば、被写体１９０１が距離ｄａで最も近く、０≦ｄａ＜ｄ１であれば、被写体１９０１に対応する画素の距離情報は０として格納する。また、被写体１９０１よりも遠く、背景よりは近い位置にいる被写体１９０２は距離ｄｂで、ｄ１≦ｄｂ＜ｄ２であれば、被写体１９０２に対応する画素の距離情報は１として格納する。そして、被写体１９０３(背景)の距離がｄ３〜無限大であれば、対応する画素の距離情報は３を格納する。
【００６１】
図１９の点線のように、画像をブロック分割し、各ブロックにおいて距離情報を取得する。本実施形態では、水平方向７分割、垂直方向４分割の計２８ブロックに分割したが、この限りではない。更に細かく、単位画素ごとに距離情報を持たせても良い。各々のブロックに対し、被写体までの距離を算出し、距離マップとしたものが図２０である。図１９の被写体１９０１に対応したブロックは距離情報０、被写体１９０２に対応したブロックは距離情報１、被写体１９０３に対応したブロックは距離情報３が格納されている。
【００６２】
ここで、ブロックによっては、同一ブロック内に異なる距離に位置する被写体が混在している場合がある。その場合、後述するＰＤの選択の際に、実際に選択されるべきＰＤとは異なるＰＤが選択される領域が生じてしまう。すなわち、同じ被写体であっても領域によって異なるＰＤが選択されてしまうということが起こりうる。そのため、被写体抽出を行い、同一距離にある被写体に対しては、同じ距離情報を格納することが望ましい。例えば、図１９のような画像情報を元に被写体抽出を行い、図２０のブロック単位の距離マップを拡張して、単位画素ごとの距離を求め、単位画素ごとに距離マップを作成するのが好適である。例えば、図１９の座標（Ｘｋ，Ｙｋ）の画素は、被写体１９０２内にあり、本来距離情報は１が格納されるべきであるが、図２０のブロックごとの距離マップでは、３となっている。このような不具合は、被写体抽出を行うことで、同一被写体に関しては同じ距離情報、すなわち１を格納することができ、解消できる。上記のような処理を行い、撮影された画像の距離情報を距離マップとしてメモリ回路１０４に格納しておく（ステップＳ１８０４）。
【００６３】
ステップＳ１８０５から左目用画像、及び右目用画像作成処理を行う。画像データ作成のために、画素データを順次読み出していく。ステップＳ１８０５からステップＳ１８０９の処理を全画素終了まで繰り返す。画素データの読み出しは、例えば画像の左上をスタートとし、水平方向に読み出し、１行終了したら次の行の読み出し、といったように走査していく。
【００６４】
読み出した画素（Ｘ，Ｙ）に対し、選択するＰＤを決定する（ステップＳ１８０６）。ステップＳ１８０４で作成された距離マップから画素（Ｘ，Ｙ）に対応した距離情報を読み出し、その値に応じてＰＤ対を選択する。例えば、距離情報が０であった場合、外側ＰＤからの信号を用いて画像データとする。具体的には、図９を用いて説明すると、左目画像用にＰＤ３０４のデータを読み出し、右目画像用にＰＤ３０１のデータを読み出す。また、距離情報が１であった場合、内側ＰＤからの信号を用いて画像データとする。すなわち、左目画像用にＰＤ３０３のデータを読み出し、右目画像用にＰＤ３０２のデータを読み出す。距離情報が２であった場合、内側ＰＤからの信号を用いるが、左右のＰＤを入れ替えて読み出す。すなわち、左目画像用にＰＤ３０２のデータを読み出し、右目画像用にＰＤ３０３のデータを読み出す。距離情報が３であった場合、左右のＰＤを入れ替えて外側ＰＤからの信号を読み出す。つまり、左目画像用にＰＤ３０１のデータを読み出し、右目画像用にＰＤ３０４のデータを読み出す。
【００６５】
被写体の距離に応じて選択されたＰＤのデータを当該画素のデータとして書き込む（ステップＳ１８０７）。なお、１画素あたり４つの光電変換部からなるため、ここで得られる信号出力はほぼ１／４の光信号となる。光電変換部の分割分を考慮し、得られた信号出力に対し、画像処理装置１０５でゲイン補正を行う。ステップＳ１８０５からＳ１８０７を全画素終了まで繰り返す（ステップＳ１８０８）。
【００６６】
以上より、本実施形態の撮像システムにおける画像撮影から画像データ作成までの一連の処理は終了である。書き出された左目用画像データと右目用画像データは、画像処理装置１０５にて現像処理をし、記録媒体１０９に保存する。図２１に、保存された左目用画像２１０１と右目用画像２１０２の一例を示す。ここで、最も近い位置にいた被写体１９０１は、左目用画像２１０１では被写体２１０３、右目用画像２１０２では被写体２１０４に相当する。同様に被写体１９０２は、被写体２１０５、被写体２１０６に相当し、被写体(背景)１９０３は、被写体２１０７、被写体２１０８に相当する。左目用画像２１０１の被写体２１０３はＰＤ３０４から読み出された信号からなり、被写体２１０５はＰＤ３０３から読み出された信号、被写体２１０７はＰＤ３０１から読み出された信号からなる。一方、右目用画像２１０２の被写体２１０４はＰＤ３０１から読み出された信号からなり、被写体２１０６はＰＤ３０２から読み出された信号、被写体２１０８はＰＤ３０４から読み出された信号からなる。このようにして得られ、記録媒体１０９により保存された左目用画像２１０１と右目用画像２１０２は、立体画像再生装置で再生すれば、被写体１９０１がより近くに、被写体１９０３がより遠方に見え、効果的な立体画像を見ることができる。
【００６７】
なお、本実施形態では、撮像素子１０１で蓄積された電荷データを全ＰＤ分読み出した。しかし、予め専用の外測ＡＦモジュールを用いて距離マップを別途取得しておけば、撮像素子１０１からの電荷読み出しの際に、被写体の距離に応じて使用するＰＤの選択を行って必要な電荷のみを読み出しても良い。その場合の構成、及び動作は、図１３及び図１４を用いて説明した第１の実施形態と同様である。
【００６８】
また、本実施形態では１画素あたりのＰＤ数は４つであったが、分割数はそれ以上でも良い。特に、水平方向の分割数が多いほど、視差に差をつけることができる。その場合、分割数に応じて距離マップの距離情報も細かく保持しておくと好適である。すなわち、本実施形態では、距離マップが保持する距離情報は０、１、２、３の４種類で説明したが、それ以上に増やしてもよい。または、撮影者の好みに応じて、距離によって使用するＰＤの組み合わせを選んでも良い。
【００６９】
（第４の実施形態）
この第４の実施形態の撮像システムの構成は、図１５に示した第２の実施形態の撮像システムの構成と同じであるので、その構成についての説明は省略し、動作についてのみ説明する。
【００７０】
図２２は、本発明の第４の実施形態の撮像システムで行う立体画像取得の流れを説明するフローチャートである。まず、撮影を実施する（ステップＳ２２０１）。ここでは、図示していないが、制御回路により、撮像装置１５０１〜１５０４が同期して撮影が行われるように制御して撮影する。
【００７１】
続いて、各撮像装置の撮像素子に蓄積された電荷を読み出し、メモリ回路１５０６に格納する（ステップＳ２２０２）。各撮像装置の電荷を読み出すことにより、各画素について異なる視差情報を持つ４つの電荷データがメモリ回路１５０６に格納されることになる。
【００７２】
読み出された信号情報から被写体距離を算出し、距離マップを作成する（ステップＳ２２０３、ステップＳ２２０４）。被写体の距離情報取得方法は、第３の実施形態と同様の方法で行うことができる。作成された距離マップはメモリ回路１５０６に格納しておく。
【００７３】
ステップＳ２２０５から左目用画像、及び右目用画像作成処理を行う。画像データ作成のために、メモリ回路１５０６に格納された画素データを順次読み出していく。ステップＳ２２０５からステップＳ２２０８の処理を全画素終了まで繰り返す。画素データの読み出しは、例えば画像の左上をスタートとし、水平方向に読み出し、１行終了したら次の行の読み出し、といったように走査していく。
【００７４】
読み出した画素（Ｘ，Ｙ）に対し、選択するＰＤを決定する（ステップＳ２２０６）。ステップＳ２２０４で作成された距離マップから画素（Ｘ，Ｙ）に対応した距離情報を読み出し、その値に応じてデータを使用するカメラ対を選択する。例えば、距離情報が０であった場合、外側カメラ（撮像装置）からの信号を用いて画像データとする。具体的には、左目画像用に撮像装置１５０４のデータを読み出し、右目画像用に撮像装置１５０１のデータを読み出す。また、距離情報が１であった場合、内側カメラ（撮像装置）からの信号を用いて画像データとする。すなわち、左目画像用に撮像装置１５０３のデータを読み出し、右目画像用に撮像装置１５０２のデータを読み出す。距離情報が２であった場合、内側の撮像装置からの信号を用いるが、左右の撮像装置を入れ替えて読み出す。すなわち、左目画像用に撮像装置１５０２のデータを読み出し、右目画像用に撮像装置１５０３のデータを読み出す。距離情報が３であった場合、左右の撮像装置を入れ替えて外側撮像装置からの信号を読み出す。つまり、左目画像用に撮像装置１５０１のデータを読み出し、右目画像用に撮像装置１５０４のデータを読み出す。
【００７５】
被写体の距離に応じて選択されたＰＤのデータを当該画素のデータとして書き込む（ステップＳ２２０７）。ステップＳ２２０５からＳ２２０７を全画素終了まで繰り返す（ステップＳ２２０８）。
【００７６】
以上より、本実施形態の撮像システムにおける画像撮影から画像データ作成までの一連の処理は終了である。書き出された左目用画像データと右目用画像データは、画像処理装置１５０５にて現像処理をし、記録媒体１５０７に保存する。このようにして得られ、記録媒体１５０７により保存された左目用画像と右目用画像は、立体画像再生装置で再生すれば、近い被写体はより近くに、遠い被写体はより遠くに、効果的な立体画像を見ることができる。
【００７７】
（第５の実施形態）
第５の実施形態の撮像素子は、第３の実施形態と同じ構成であるので説明は省略する。第３の実施形態では、被写体の距離に応じて選択するＰＤを変えたが、本実施形態では、焦点が合っている被写体か否かで選択するＰＤを変える。撮影時に撮像装置のＡＦ機能を使用すれば、どの被写体に焦点が合っているかがわかる。また、撮影者が焦点を合わせた被写体を入力しても良い。被写体に対し、焦点が合っているか否かの情報を、距離マップに持たせる。そして、焦点が合っている被写体の場合、内側のＰＤを選択する。なぜなら、焦点が合っている場合は全ての分割画素に同じ信号が入る。つまり、視差は生じない。ただし、より斜めに光が入射する外側のＰＤの方が入ってくる光が少ないため、外側のＰＤからの電荷を読み出した場合、内側のＰＤからの電荷を読み出して画像を取得するよりも暗い画像になる。そのため、焦点が合っている被写体は内側のＰＤを選択すると良い。
【００７８】
その他の焦点が合っていない被写体に関しては、第３の実施形態と同様の方法でＰＤを選択すればよい。ただし、焦点が合っている被写体の距離を基準とし、それよりも近い被写体は外側のＰＤを選択し、焦点が合っている被写体よりも遠い被写体は左右を入れ替えてＰＤを選択するのが好ましい。例えば、図１９のようなシーンを撮影した場合について説明する。被写体１９０１に焦点を合わせた場合、被写体１９０１に対しては、左目用画像にはＰＤ３０３のデータを読み出し、右目用画像にはＰＤ３０２のデータを読み出す。そして、被写体１９０１よりも遠い被写体１９０２は、内側のＰＤを左右入れ替えて選択し、左目用画像にはＰＤ３０２のデータを、右目用画像にはＰＤ３０３のデータを読み出す。更に遠い被写体１９０３は、左目用画像にはＰＤ３０１を、右目用画像にはＰＤ３０４のデータを読み出す。また、被写体１９０２に焦点を合わせた場合には、被写体１９０２に対して、左目用画像にはＰＤ３０３のデータを、右目用画像にはＰＤ３０２のデータを読み出す。被写体１９０２よりも近い距離にある被写体１９０１に対しては、左目用画像にはＰＤ３０４のデータを、右目用画像にはＰＤ３０１のデータを読み出す。そして、遠い距離にある被写体１９０３に対しては、左目用画像にＰＤ３０１のデータを、右目用画像にＰＤ３０４のデータを読み出す。
【００７９】
このように、被写体のフォーカス情報を考慮してＰＤを選択することにより、より明るい画像を得ることができ、なおかつ効果的な立体画像を取得することができる。また、撮影時に絞りを絞っている時も外側のＰＤには光があまり入ってこない。そこで、絞って撮影した場合には、最外郭のＰＤは使用しない方が明るい画像を得ることができる。このように、撮影時の絞り値に応じて使用するＰＤを変えても良い。もしくは、最外郭のＰＤを使用した場合、その時の絞り値に応じてゲインをかけて補正を行っても良い。
【技術分野】
【０００１】
本発明は両眼視差を利用した立体的な画像を得るための撮像システムに関する。
【背景技術】
【０００２】
３次元映像に関する需要は高く、長きに渡って研究開発が成されている。人間の目は左右それぞれが２次元画像を取得するが、水平方向に約６〜７ｃｍ離れており、右目による画像と左目による画像との間には対象物までの距離によって視差がある。この２つの画像を脳が処理して３次元立体画像を形成する。従来の立体映像を撮影するための装置としては、人間の目と同様に、カメラあるいは撮像素子を２つ用意したシステムが多い。左右のカメラで撮影した映像をそれぞれの目に分離して呈示することにより、奥行き感を得ることができる。
【０００３】
ところで、撮影レンズの焦点状態を検出する方式の一つとして、センサの各画素にマイクロレンズが形成された２次元のセンサを用いて瞳分割方式の焦点検出を行う装置が特許文献１に開示されている。特許文献１の装置では、センサを構成する各画素の光電変換部が複数に分割され、分割された光電変換部がマイクロレンズを介して撮影レンズの瞳の異なる領域を受光するように構成されている。各マイクロレンズ下の左側の受光部出力と右側の受光部出力の像ズレ量から結像光学系の焦点状態を検出することができる。
【０００４】
また、特許文献１では、この装置を用いた立体映像撮影の実現についても言及している。全ての画素の左側受光部の出力から第１の映像を作成し、全ての画素の右側受光部の出力から第２の映像を作成する。第１、第２の映像を立体映像再生装置で再生することにより、立体映像を得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開昭５８−２４１０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、鑑賞者が感じる被写体の立体感は、前述の第１の映像と第２の映像の視差が小さくなるほど薄れ、視差が大きくなるほどより立体感を感じることができる。
【０００７】
しかし、上述の従来技術では、立体映像を撮影できるものの、撮影者が立体感を選択できなかった。また、立体映像撮影時において、所望の被写体のみを強調して立体的に見えるようにしたい、近い被写体はより近くに遠い被写体はより遠くに見えるようにしたい、といった撮影者の多様な好みには対応していなかった。また、アプリなどで撮影した画像を立体処理する技術も開発されているが、撮影者の意図を反映することは難しかった。
【０００８】
そこで、本発明は、１つの撮像素子を用いて立体画像を撮影する場合でも、より効果的な立体画像を撮影することができる撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係わる撮像システムは、撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、主被写体を選択する被写体選択手段と、単位画素あたりに２つ以上の光電変換部を有する撮像素子と、前記主被写体か否かに応じて、それぞれの前記単位画素の前記光電変換部を選択する光電変換部選択手段と、選択された前記光電変換部からの信号をもとに視差を有する２つの画像信号を生成する生成手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、１つの撮像素子を用いて立体画像を撮影する場合でも、より効果的な立体画像を撮影することができる撮像システムを提供することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る固体撮像装置のブロック図。
【図２】本発明の第１の実施形態に係る撮像素子の構成を説明するための図。
【図３】本発明の第１の実施形態に係る撮像素子の単位画素の構成を説明するための図。
【図４】本発明の第１の実施形態の撮像素子の構成図。
【図５】本発明の第１の実施形態の撮像素子の構成図。
【図６】本発明の第１の実施形態の撮像素子の構成図。
【図７】本発明の第１の実施形態の撮像素子の駆動タイミングチャート。
【図８】本発明の第１の実施形態の撮像素子を利用した立体画像撮影の原理を説明するための図。
【図９】本発明の第１の実施形態の撮像素子を利用した立体画像撮影の原理を説明するための図。
【図１０】本発明の第１の実施形態の動作を説明するためのフローチャート。
【図１１】立体画像撮影を説明するための構図例。
【図１２】立体画像撮影によって得られた画像例。
【図１３】第１の実施形態の変形例で用いられる光電変換部選択スイッチを示す図。
【図１４】図１３の光電変換部選択スイッチを用いた場合の撮像素子の構成を示す図。
【図１５】本発明の第２の実施形態に係る撮像システムのブロック図。
【図１６】本発明の第２の実施形態の動作を説明するためのフローチャート。
【図１７】本発明の第３の実施形態に係る固体撮像装置のブロック図。
【図１８】本発明の第３の実施形態の動作を説明するためのフローチャート。
【図１９】第３の実施形態の立体画像撮影を説明するための構図例。
【図２０】立体画像撮影によって得られた画像の距離マップの例。
【図２１】立体画像撮影によって得られた画像例。
【図２２】本発明の第４の実施形態の動作を説明するためのフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の全体構成を示すブロック図である。図１において、撮像素子１０１は、ＣＭＯＳ型の撮像素子であり、不図示の撮影レンズで結像された画像を取り込む。ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０２は、撮像素子からの信号の増幅や黒レベルの調整（ＯＢクランプ）などを行う信号処理回路である。ＡＦＥ１０２は、タイミング発生回路１１０からＯＢクランプタイミングやＯＢクランプ目標レベルなどを受け取り、それに従って処理を行う。そして、処理を行ったアナログ信号をデジタル信号に変換する。ＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）１０３は、ＡＦＥ１０２で変換された各画素のデジタル信号を受けて画像信号の補正や画素の並び替え等のデジタル処理などを行っている。画像処理装置１０５は、現像処理を行って表示回路１０８に画像を表示する、制御回路１０６を介して記録媒体１０９に記録する、といった処理を行う。なお、制御回路１０６はその他、操作部１０７からの指示を受けて、タイミング発生回路１１０に命令を送るなどの制御も行う。また、記録媒体１０９にはコンパクトフラッシュ（登録商標）メモリなどがある。メモリ回路（記憶部）１０４は、画像処理装置１０５の現像段階での作業用メモリに使用される。また、撮像が続いて行われて現像が間に合わないときのバッファメモリとしても使用される。操作部１０７には、デジタルカメラを起動させるための電源スイッチ、及び測光処理、測距処理などの撮影準備動作開始やミラー、シャッターを駆動して撮像素子１０１から読み出した信号を処理して記録媒体１０９に書き込む一連の撮像動作の開始を指示するシャッタースイッチなどが含まれる。
【００１４】
図２及び図３は、撮像素子１０１の構成を説明するための図である。図２は撮像素子１０１の一部の画素を図示したものである。図２では、６行×６列の画素のみを図示したのみであるが、実際には数千行×数千列と多画素である。
【００１５】
撮像素子１０１は、光電変換部（ＰＤ）上にＲ（赤）、Ｇ（緑）およびＢ（青）のそれぞれの波長帯域を透過するカラーフィルタが設けられたＲ画素、Ｇ画素、Ｂ画素を有する。Ｒ、Ｇ、Ｂをベイヤー状に配置し、１画素毎に１つのマイクロレンズ（ＭＬ）が配されている。各画素は破線で示されているように、水平方向に１つの画素内が４つに分割されている。
【００１６】
図３は、撮像素子１０１の１画素（単位画素）の構造を表す図である。撮像素子１０１の単位画素３０には、図のように水平方向に沿って４つの光電変換部（ＰＤ）３０１〜３０４が配列されている。本実施形態では１画素あたりの分割数は４つで説明しているが、これに限らない。水平方向だけでなく、垂直方向にも分割していても良い。
【００１７】
図４は、本実施形態の撮像素子１０１の回路の一例を示す図である。図４の回路は、図３に示した単位画素３０の回路であり、４つの光電変換部から構成されている。ＰＤ（フォトダイオード）４０１は、撮影レンズによって結像された光画像を受けて電荷を発生し、蓄積する。転送スイッチ４０２は、ＭＯＳトランジスタで構成されている。ＰＤ４０１で蓄積された電荷は転送スイッチ４０２を介してＦＤ（フローティングディフュージョン部）４０４に転送されて電荷が電圧に変換され、ソースフォロワアンプ４０５から出力される。選択スイッチ４０６は、一行分の画素信号を一括して垂直出力線４０７に出力する。リセットスイッチ４０３は、ＦＤ４０４の電位、及び転送スイッチ４０２を介してＰＤ４０１の電位をＶＤＤにリセットする。このような構成の回路が水平方向に４つ並んで、単位画素を構成している。
【００１８】
図５は、撮像素子の構成例を示すブロック図である。図５では、２×２画素分しか図示していないが、実際には数千×数千画素と多画素で構成される。垂直シフトレジスタ５０１は、行選択線Ｐｒｅｓ１、Ｐｔｘ１、Ｐｓｅｌ１等の信号を画素領域５０８に出力する。画素領域５０８は単位画素５０９が格子状に配置された構成になっており、単位画素５０９は４つの光電変換部５１０から構成されている。単位画素５０９の回路構成は、図４に示した通りである。
【００１９】
電流源５０７は、各垂直出力線４０７に接続される。読み出し回路５０２は、垂直出力線上の画素信号を入力し、画素信号をｎチャネルＭＯＳトランジスタ５０３を介して差動増幅器５０５に出力する。また、ノイズ信号をｎチャネルＭＯＳトランジスタ５０４を介して差動増幅器５０５に出力する。水平シフトレジスタ５０６は、トランジスタ５０３及び５０４のオン／オフを制御し、差動増幅器５０５は、画素信号とノイズ信号との差分を出力する。
【００２０】
図４の転送スイッチ４０２のゲートは、横方向に延長して配置される第１の行選択線Ｐｔｘ１（図５）に接続される。同じ行に配置された他の同様な転送スイッチ４０２のゲートも上記第１の行選択線Ｐｔｘ１に共通に接続される。図４のリセットスイッチ４０３のゲートは、横方向に延長して配置される第２の行選択線Ｐｒｅｓ１（図５）に接続される。同じ行に配置された他の同様なリセットスイッチ４０３のゲートも上記第２の行選択線Ｐｒｅｓ１に共通に接続される。図４の選択スイッチ４０６のゲートは、横方向に延長して配置される第３の行選択線Ｐｓｅｌ１（図５）に接続される。同じ行に配置された他の同様な選択スイッチ４０６のゲートも上記第３の行選択線Ｐｓｅｌ１に共通に接続される。これら第１〜第３の行選択線Ｐｔｘ１、Ｐｒｅｓ１、Ｐｓｅｌ１は、垂直シフトレジスタ５０１に接続されて駆動される。図５に示されている残りの行においても同様な構成の画素と、行選択線が設けられる。これらの行選択線は、上記垂直シフトレジスタ５０１に接続された行選択線Ｐｔｘ２、Ｐｒｅｓ２、Ｐｓｅｌ２などである。
【００２１】
上記選択スイッチ４０６のソースは、縦方向に延長して配置される垂直出力線の端子Ｖｏｕｔに接続される。同じ列に配置される光電変換部の同様な選択スイッチ４０６のソースも上記垂直出力線の端子Ｖｏｕｔに接続される。図５において、上記垂直出力線の端子Ｖｏｕｔは負荷手段である定電流源５０７に接続される。
【００２２】
図６は、図５に示した読み出し回路５０２のブロック１列分の回路例を示した図である。破線で囲った部分が列分（水平方向の光電変換部の数）だけあり、各垂直出力線には端子Ｖｏｕｔが接続される。
【００２３】
図７は、ＣＭＯＳ型の撮像素子の動作例を示すタイミングチャートである。フォトダイオード４０１からの光信号電荷の読み出しに先立って、リセットスイッチ４０３のゲート線Ｐｒｅｓ１がハイレベルとなる。これによって、増幅ＭＯＳトランジスタのゲートがリセット電源電圧にリセットされる。リセットスイッチ４０３のゲート線Ｐｒｅｓ１がローレベルに復帰すると同時にクランプスイッチのゲート線Ｐｃ０ｒ（図６）がハイレベルになった後に、選択スイッチ４０６のゲート線Ｐｓｅｌ１がハイレベルとなる。これによって、リセットノイズが重畳されたリセット信号（ノイズ信号）が垂直出力線Ｖｏｕｔに読み出され、各列のクランプ容量Ｃ０にクランプされる。次に、クランプスイッチのゲート線Ｐｃ０ｒがローレベルに復帰した後、ノイズ信号側転送スイッチのゲート線Ｐｃｔｎがハイレベルとなり、各列に設けられたノイズ保持容量Ｃｔｎにリセット信号が保持される。次に、画素信号側転送スイッチのゲート線Ｐｃｔｓをハイレベルにした後、転送スイッチ４０２のゲート線Ｐｔｘ１がハイレベルとなり、フォトダイオード４０１の光信号電荷が、アンプ４０５のゲートに転送されると同時に光信号が垂直出力線Ｖｏｕｔに読み出される。次に転送スイッチ４０２のゲート線Ｐｔｘ１がローレベルに復帰した後、画素信号側転送スイッチのゲート線Ｐｃｔｓがローレベルとなる。これによって、リセット信号からの変化分（光信号）が各列に設けられた信号保持容量Ｃｔｓに読み出される。ここまでの動作で、第１行目に接続された光電変換部５１０の光信号がそれぞれの列に接続された信号保持容量Ｃｔｎ、Ｃｔｓに保持される。
【００２４】
この後、水平シフトレジスタ５０６から供給される信号Ｐｈによって、各列の水平転送スイッチゲートが順次ハイレベルとなる。信号保持容量Ｃｔｎ，Ｃｔｓに保持されていた電圧は、順次水平出力線Ｃｈｎ，Ｃｈｓに読み出され、出力アンプで差分処理されて出力端子ＯＵＴに順次出力される。各列の信号読み出しの合間でリセットスイッチによって水平出力線Ｃｈｎ，Ｃｈｓがリセット電圧ＶＣＨＲＮ、ＶＣＨＲＳにリセットされる。以上で、第１行目に接続された画素の読み出しが完了する。
【００２５】
以下同様に、垂直シフトレジスタ５０１からの信号によって第２行目以降に接続された光電変換部の信号が順次読み出され、全画素（全光電変換部に蓄積された信号）の読み出しが完了する。なお、本実施形態の撮像素子は、１画素あたり水平方向に４つの光電変換部を配する構成になっている。各光電変換部で蓄積された電荷をそれぞれ読み出しており、１画素あたり４つの信号データを保持することになる。この信号データは、画像処理装置１０５で処理され、画像として表示回路１０８で表示、または記録媒体１０９に書き込まれる。もちろん、信号データを全て記録媒体１０９に書き込み、ＰＣ等で画像処理を行っても良い。また、２次元撮影モードの場合などには、４つの信号データの加算信号を１画素として画像生成しても良い。
【００２６】
図４〜図７を用いて説明した本発明の第１の実施形態においては、光電変換部１つに対し垂直出力線１本としたが、本発明はこれに限定されず、複数の光電変換部で垂直出力線を共有する構成でも良い。この場合、垂直出力線を共有する複数の光電変換部の信号は、それぞれ読み出す時刻を変え、順に読み出す。
次に、図２のような画素構造を持つ撮像素子１０１を利用した立体画像撮影の原理について説明する。図８及び図９は、撮像素子１０１を利用した立体画像撮影の原理を説明するための図である。図８の単位画素３０は図３と同様に撮像素子１０１の１画素を表したものであり、４つの光電変換部３０１〜３０４からなる。また、視差８０３は、撮影レンズ８０４における光電変換部３０２の瞳重心８０１と光電変換部３０３の瞳重心８０２との距離である。図８に示すように、射出瞳８０１を通過した光束がマイクロレンズ（ＭＬ）及びカラーフィルタ（ＣＦ）を透過して光電変換部３０２に結像する。一方、射出瞳８０２を通過した光束がマイクロレンズ（ＭＬ）及びカラーフィルタ（ＣＦ）を透過して光電変換部３０３に結像する。得られた情報は光電変換部３０２と光電変換部３０３とでは視差８０３に相当するずれが生じる。なお、対象物が手前にあるほど、視差８０３は大きくなる。
【００２７】
図８に対し、図９は光電変換部３０１と光電変換部３０４を使用した場合を模式的に表している。視差９０３は、撮影レンズ８０４における光電変換部３０１の瞳重心９０１と光電変換部３０４の瞳重心９０２との距離である。射出瞳９０１を通過した光束がマイクロレンズ（ＭＬ）及びカラーフィルタ（ＣＦ）を透過して光電変換部３０１に結像する。一方、射出瞳９０２を通過した光束がマイクロレンズ（ＭＬ）及びカラーフィルタ（ＣＦ）を透過して光電変換部３０４に結像する。内側の光電変換部３０２と３０３を使った場合に比べ、外側の光電変換部３０１と３０４を使った場合の方が、ずれ量（視差 ９０３）が大きくなる。つまり、同じ位置にある被写体を撮影し、同じように立体再生を行った場合、光電変換部３０２と光電変換部３０３から得られた信号から得られる立体像よりも、光電変換部３０１と光電変換部３０４から得られた信号から得られる立体像の方が、手前に位置しているように見える。
【００２８】
図１０は、本実施形態の撮像システムで行う立体画像取得の流れを説明するフローチャートである。まず、図１の撮像装置を用いて撮影を実施する（ステップＳ１００１）。操作部１０７での操作により、撮像装置を起動させ、所望の被写体に対し、測光・測距処理を行い、シャッターを押して撮影する。なお、この撮影動作の際に、撮影者が画面内の被写体位置を選択しても良い。
【００２９】
続いて、撮像素子１０１の光電変換部（ＰＤ）に蓄積された電荷を前述の読み出し方法に従って読み出す（ステップＳ１００２）。ここでは、各画素４つのＰＤ全ての電荷がそれぞれ読み出される。読み出された信号はメモリ回路１０４に格納される。
【００３０】
読み出された信号情報から主被写体の抽出（被写体選択）を行う（ステップＳ１００３）。主被写体の抽出は、撮影時に撮影者が画面内の位置を選択しておいても良いし、読み出された信号から距離情報を算出して一番距離が短い位置にある被写体を主被写体としても良い。被写体までの距離の算出は色々な方法があるが、本実施形態の撮像素子１０１は各座標において視差を持った信号を得ることができるという特徴を持っており、視差を利用した三角測量法が好適である。例えば、画面を複数の画素からなる所定のブロックに分割し、各ブロックで距離を算出するといった方法がある。そして、所望の主被写体の抽出は、算出された距離情報から求めることができる。例えば、主被写体の座標を中心とし、その周囲の領域の距離と主被写体の中心座標における距離とを比較し、類似していたら周囲領域も主被写体として選択していくという方法がある。これを繰り返し、中心座標における距離と周囲領域の距離とにある閾値以上の差があった場合は、その領域は主被写体ではないとし、主被写体の抽出を終了する。また、撮影された画像において、選択された主被写体輪郭を形成するエッジを検出し、その内側領域を主被写体領域として抽出する方法もある。その他の公知技術によっても主被写体の抽出は実施可能である。
【００３１】
図１１は、撮影した画像の一例である。例えば、ステップＳ１００１の撮影時に、主被写体１１０１を選択しておいたとする。まず、選択された座標（Ｘｃ，Ｙｃ）の距離ｄｃを撮影されたデータから算出する。距離ｄｃを基準として、周囲の領域の距離を比較してｄｃと一致すれば、その座標の画素は主被写体領域として抽出していく。主被写体までの距離ｄｃと一致しているかの判定は、例えば０．９０×ｄｃ〜１．１０×ｄｃの範囲内であれば一致、といった閾値を設定して行っても良い。また、距離分布をクラスタ分析し、統計的に判定を行っても良い。上記のような処理を行い、主被写体として抽出された領域に相当する座標情報をメモリ回路１０４に格納しておく（ステップＳ１００４）。
【００３２】
ステップＳ１００５から左目用画像、及び右目用画像作成処理を行う。画像データ作成のために、画素データを順次読み出していく。ステップＳ１００５からステップＳ１００９の処理を全画素終了まで繰り返す。画素データの読み出しは、例えば画像の左上をスタートとし、水平方向に読み出し、１行終了したら次の行の読み出し、といったように走査していく。
【００３３】
読み出した画素（Ｘ，Ｙ）に対し、主被写体領域か否かを判定する（ステップＳ１００６）。ステップＳ１００３とステップＳ１００４で処理された主被写体領域情報と照合し、主被写体領域であればステップＳ１００７に、そうでなければステップＳ１００８に進む。
【００３４】
主被写体の領域であった場合、外側ＰＤからの信号を用いて（第１の方向に視差を有する）画像データとする。具体的には、図９を用いて説明すると、左目画像用にＰＤ３０４のデータを読み出し、右目画像用にＰＤ３０１のデータを読み出す（ステップＳ１００７）。一方、主被写体の領域でなかった（主被写体に対応する画素以外の画素の）場合、内側ＰＤからの信号を用いて画像データとする。すなわち、左目画像用にＰＤ３０３のデータを読み出し、右目画像用にＰＤ３０２のデータを読み出す（ステップＳ１００８）。
【００３５】
主被写体か否かに応じて選択されたＰＤのデータを当該画素のデータとして書き込む（ステップＳ１００９）。なお、１画素あたり４つの光電変換部からなるため、１つの光電変換部に入射する光量は１／４になり、ここで得られる信号出力はほぼ１／４の光信号となる。光電変換部の分割分を考慮し、得られた信号出力に対し、画像処理装置１０５でゲイン補正を行う。ステップＳ１００５からＳ１００９を全画素終了まで繰り返す（ステップＳ１０１０）。
【００３６】
以上より、本実施形態の撮像システムにおける画像撮影から画像データ作成までの一連の処理は終了である。書き出された左目用画像データと右目用画像データは、画像処理装置１０５にて現像処理をし、記録媒体１０９に保存する。図１２に、保存された左目用画像１２０１と右目用画像１２０２の一例を示す。左目用画像の主被写体１２０３はＰＤ３０４から読み出された信号からなり、それ以外の領域１２０５はＰＤ３０３から読み出された信号からなる。一方、右目用画像の主被写体１２０４はＰＤ３０１から読み出された信号からなり、それ以外の領域１２０６はＰＤ３０２から読み出された信号からなる。このようにして得られ、記録媒体１０９により保存された左目用画像１２０１と右目用画像１２０２は、立体画像再生装置で再生すれば、主被写体をより立体的に見ることができる。
【００３７】
なお、本実施形態では、撮像素子１０１で蓄積された電荷データを全ＰＤ分読み出したが、撮像素子１０１からの電荷読み出しの際に、主被写体の抽出と使用するＰＤの選択処理を行っても良い。その場合、例えば図１３のような構成の光電変換部選択スイッチ１３０を設けることで実施可能である。図１３の端子１３０１には、光電変換選択手段より制御される光電変換選択信号が入力される。端子１３０２は垂直出力線とつながっており、光電変換部からの電荷が入力される。そして、光電変換選択信号の制御により選択された光電変換部からの電荷を読み出すことができる。また、出力端Ｖｏｕtには、電流源１３０３が接続される。
【００３８】
図１４は、図１３の光電変換部選択スイッチ１３０を用いた場合の撮像素子の構成を示す図である。垂直出力線４０７、垂直シフトレジスタ５０１から水平シフトレジスタ５０６、及び画素領域５０８から光電変換部５１０までの各構成は、図５と同様である。図５で各垂直出力線に設置していた電流源５０７は、光電変換部選択スイッチ１３０の中の電流源１３０３に置き換えられており、図１４の構成では必要ない。垂直出力線４０７と読み出し回路６０との間に光電変換部選択スイッチ１３０を配する。なお、図１４の読み出し回路６０は図６の読み出し回路の一部である。図１４の場合、単位画素あたり４つのＰＤを水平に配し、左側２つのＰＤのうち１つを選択して読み出し、右側２つのＰＤのうち１つを選択して読み出すという構成になる。選択されたＰＤのみを読み出すため、読み出し回路を少なくすることが可能となる。また、電流源も同様に減らすことが可能となる。
【００３９】
また、本実施形態では１画素あたりのＰＤ数は４つであったが、分割数はそれ以上でも良い。特に、水平方向の分割数が多いほど、視差に差をつけることができる。例えば、被写体によって選択するＰＤを変えたり、撮影者の好みによって、使用するＰＤの組み合わせを選んだりすることができる。
【００４０】
また、主被写体でない領域の画素について、ＰＤは、左目用にＰＤ３０２や３０１を、右目用にＰＤ３０３や３０４を選択し、前述の視差とは異なる逆方向（第２の方向）の視差をつけて画像データを作成してもよい。このようにＰＤを選択することにより、主被写体とそうでない領域について視差情報のコントラストをつけることができ、より効果的に立体画像を作成することができる。
【００４１】
本実施形態では、静止画撮影についてのみ説明したが、動画撮影においても好適である。なお動画の場合、主被写体の選択は前フレームで行い、それを追尾することで処理を高速化することも可能である。
【００４２】
なお、本実施形態の撮像素子を用いて２次元画像撮影と３次元画像撮影の両方を実施することが可能である。２次元画像撮影の場合、１画素内の全てのＰＤからの電荷を加算して１画素の出力とする。加算処理は、全ＰＤの電荷を読み出した後に画像処理装置などで行っても良い。図２のような１画素あたり４つのＰＤを持つ構成の画素の場合、その出力は４倍になる。一方、３次元画像撮影の場合には、左目画像用、右目画像用ともに１画素あたり１つのＰＤ分の電荷から出力を得るため、２次元画像に対して出力が約１／４になる。そこで、３次元画像用に分割画素１つのみを読み出した場合は、ゲイン補正をかける。ゲイン補正をかけることによって、２次元画像撮影と３次元画像撮影とで画像の明るさを揃えることができる。
【００４３】
また、撮像素子内に加算回路を持たせることにより、２次元画像撮影の場合には撮像素子内で１画素分の出力信号を算出して読み出しを行うこともできる。加算方法は、ＦＤで加算する方法や読み出し回路で加算する方法などがある。この場合も、加算（２次元画像撮影）と非加算（３次元画像撮影）とで生じる出力レベル差をなくすようにゲイン補正を行うことが望ましい。
【００４４】
（第２の実施形態）
本発明の第２の実施形態による撮像システムについて図面を参照して説明する。図１５は、本発明の第２の実施形態に係る撮像システムの構成を示す図である。第２の実施形態は、複数の撮像装置１５０１〜１５０４からなる。撮像装置１５０１〜１５０４はそれぞれ、撮像素子を１つ有している。なお、この撮像素子は瞳分割していなくて良い。撮像装置１５０１〜１５０４がそれぞれ有する撮像素子で蓄積された電荷は画像処理装置１５０５で処理され、画像データは記録媒体１５０７にて保存される。また、この撮像システムは測距システム１５０８を備え、画面を複数の画素からなる所定のブロックに分割し、画面内のブロック毎の距離の検出が可能な機能を有する。
【００４５】
図１６は、第２の実施形態の撮像システムで行う立体画像取得の流れを説明するフローチャートである。まず、撮影を実施する（ステップＳ１６０１）。ここでは、図示していないが、制御回路により、撮像装置１５０１〜１５０４が同期して撮影が行われるように制御して撮影する。また、この撮影動作時に、撮影者が主被写体を選択しても良い。
【００４６】
続いて、各撮像装置の撮像素子に蓄積された電荷を読み出し、メモリ回路１５０６に格納する（ステップＳ１６０２）。各撮像装置の電荷を読み出すことにより、各画素について異なる視差情報を持つ４つの電荷データがメモリ回路１５０６に格納されることになる。
【００４７】
読み出された信号情報から主被写体の抽出、及び主被写体領域データの格納を行う（ステップＳ１６０３、ステップＳ１６０４）。主被写体の抽出方法は、第１の実施形態と同様の方法で行うことができる。抽出された主被写体領域情報はメモリ回路１５０６に格納しておく。
【００４８】
ステップＳ１６０５から左目用画像、及び右目用画像作成処理を行う。画像データ作成のために、メモリ回路１５０６に格納された画素データを順次読み出していく。ステップＳ１６０５からステップＳ１６０９の処理を全画素終了まで繰り返す。画素データの読み出しは、例えば画像の左上をスタートとし、水平方向に読み出し、１行終了したら次の行の読み出し、といったように走査していく。
【００４９】
読み出した画素（Ｘ，Ｙ）に対し、主被写体領域か否かを判定する（ステップＳ１６０６）。ステップＳ１６０３とステップＳ１６０４で処理された主被写体領域情報と照合し、主被写体領域であればステップＳ１６０７に、そうでなければステップＳ１６０８に進む。
【００５０】
主被写体の領域であった場合、外側カメラ（撮像装置）からの信号を用いて画像データとする（撮像装置選択）。すなわち、左目画像用に撮像装置１５０４のデータを読み出し、右目画像用に撮像装置１５０１のデータを読み出す（ステップＳ１６０７）。一方、主被写体の領域でなかった場合、内側カメラからの信号を用いて画像データとする。すなわち、左目画像用に撮像装置１５０３のデータを読み出し、右目画像用に撮像装置１５０２のデータを読み出す（ステップＳ１６０８）。主被写体か否かに応じて選択された撮像装置のデータを当該画素のデータとして書き込む（ステップＳ１６０９）。ステップＳ１６０５からＳ１６０９を全画素終了まで繰り返す（ステップＳ１６１０）。
【００５１】
以上より、本実施形態の撮像システムにおける画像撮影から画像データ作成までの一連の処理は終了である。書き出された左目用画像データと右目用画像データは、画像処理装置１５０５にて現像処理をし、記録媒体１５０７に保存する。
【００５２】
このようにして得られ、記録媒体１５０７により保存された左目用画像と右目用画像を立体画像再生装置で再生すれば、主被写体をより立体的に見ることができる。また、主被写体でない領域の画素については、左目用に撮像装置１５０２や１５０１を、右目用に撮像装置１５０３や１５０４を選択して画像データを作成してもよい。このように撮像装置を選択することにより、主被写体とそうでない領域について視差情報のコントラストをつけることができ、より効果的に立体画像を作成することができる。
【００５３】
（第３の実施形態）
以下、第３の実施形態について説明する。図１７に示す第３の実施形態の撮像システムの構成は、第１の実施形態を示す図１の撮像システムの構成とほとんど同じであり、測距システム１１１を有する点のみが異なる。また、第１の実施形態において図２〜図９を用いて説明した内容は、第３の実施形態においても同じである。
【００５４】
図１７は、第３の実施形態の撮像システムの構成を示す図である。図１７において、測距システム１１１は、被写体までの距離を検出するシステムであり、ファインダ内の被写体情報全てに対して距離を検出する。検出された距離情報は、各画素単位に被写体との距離計測値を信号処理し、距離マップとして保持される。なお、測距方法としては、専用の外測ＡＦモジュールを用いても良い。また、本実施形態で使用される撮像素子１０１は、各画素の光電変換部が複数に分割された構造になっており、各座標において視差を持った信号を得ることができる。この視差情報を利用して三角測量法により距離情報を得ても良い。距離マップについては、後で詳細に説明する。
【００５５】
また、前述したように、撮像素子を構成する各画素の光電変換部が複数に分割され、分割された光電変換部がマイクロレンズを介して撮影レンズの瞳の異なる領域を受光するように構成されている。各マイクロレンズ下の左側の受光部出力と右側の受光部出力の像ズレ量から結像光学系の焦点状態を検出（焦点検出）することができる。
【００５６】
ところで、視差は合焦位置では視差ゼロになり、それより前ピンでは画像が飛び出す方向、後ピンでは画像が後退する方向に生じる。この現象は、内側の光電変換部（図３のＰＤ３０２，３０３）を使用する場合に比べて外側の光電変換部（図３のＰＤ３０１，３０４）を使用すると強調される。
【００５７】
図１８は、本実施形態の撮像システムで行う立体画像取得の流れを説明するフローチャートである。まず、図１７の撮像装置を用いて撮影を実施する（ステップＳ１８０１）。操作部１０７での操作により、撮像装置を起動させ、所望の被写体に対し、測光・測距処理を行い、シャッターを押して撮影する。
【００５８】
続いて、撮像素子１０１の光電変換部（ＰＤ）に蓄積された電荷を前述の読み出し方法に従って読み出す（ステップＳ１８０２）。ここでは、各画素４つのＰＤ全ての電荷がそれぞれ読み出される。読み出された信号はメモリ回路１０４に格納される。
【００５９】
読み出された信号情報から被写体距離を算出し、距離マップを作成する（ステップＳ１８０３）。被写体までの距離の算出は色々な方法があるが、本実施形態の撮像素子１０１は各座標において視差を持った信号を得ることができるという特徴を持っており、視差を利用した三角測量法が好適である。ステップＳ１８０２で読み出した、各画素４つのＰＤの電荷信号のうち最外郭のＰＤ３０１とＰＤ３０４の信号を用いて相関演算を行うなど公知の技術により距離を求めるのが好適である。このようにして算出された各画素の距離情報を距離マップとしてメモリ回路１０４に格納する。各画素の距離情報は、算出された距離をそのまま格納しても良いし、量子化して格納しても良い。例えば、至近から無限大までを４分割し、至近〜ｄ１だったら０、ｄ１〜ｄ２だったら１、ｄ２〜ｄ３だったら２、ｄ３〜無限大だったら３というように量子化し、メモリ回路１０４に格納すればメモリ容量を削減することができる。ここで、距離ｄｎは任意の値であり、ｄ１＜ｄ２＜ｄ３の関係にある（ｎ＝１，２，３，…，ｋ）。また、ファインダ内の被写体を全て画像処理により抽出し、類似距離にある被写体ごとに、グループ分けして量子化してもよい。
【００６０】
図１９は撮影した画像の一例である。ステップＳ１８０２で読み出された、各画素の電荷信号より、各画素の距離情報を算出する。距離算出結果をもとに、距離マップを作成する。例えば、被写体１９０１が距離ｄａで最も近く、０≦ｄａ＜ｄ１であれば、被写体１９０１に対応する画素の距離情報は０として格納する。また、被写体１９０１よりも遠く、背景よりは近い位置にいる被写体１９０２は距離ｄｂで、ｄ１≦ｄｂ＜ｄ２であれば、被写体１９０２に対応する画素の距離情報は１として格納する。そして、被写体１９０３(背景)の距離がｄ３〜無限大であれば、対応する画素の距離情報は３を格納する。
【００６１】
図１９の点線のように、画像をブロック分割し、各ブロックにおいて距離情報を取得する。本実施形態では、水平方向７分割、垂直方向４分割の計２８ブロックに分割したが、この限りではない。更に細かく、単位画素ごとに距離情報を持たせても良い。各々のブロックに対し、被写体までの距離を算出し、距離マップとしたものが図２０である。図１９の被写体１９０１に対応したブロックは距離情報０、被写体１９０２に対応したブロックは距離情報１、被写体１９０３に対応したブロックは距離情報３が格納されている。
【００６２】
ここで、ブロックによっては、同一ブロック内に異なる距離に位置する被写体が混在している場合がある。その場合、後述するＰＤの選択の際に、実際に選択されるべきＰＤとは異なるＰＤが選択される領域が生じてしまう。すなわち、同じ被写体であっても領域によって異なるＰＤが選択されてしまうということが起こりうる。そのため、被写体抽出を行い、同一距離にある被写体に対しては、同じ距離情報を格納することが望ましい。例えば、図１９のような画像情報を元に被写体抽出を行い、図２０のブロック単位の距離マップを拡張して、単位画素ごとの距離を求め、単位画素ごとに距離マップを作成するのが好適である。例えば、図１９の座標（Ｘｋ，Ｙｋ）の画素は、被写体１９０２内にあり、本来距離情報は１が格納されるべきであるが、図２０のブロックごとの距離マップでは、３となっている。このような不具合は、被写体抽出を行うことで、同一被写体に関しては同じ距離情報、すなわち１を格納することができ、解消できる。上記のような処理を行い、撮影された画像の距離情報を距離マップとしてメモリ回路１０４に格納しておく（ステップＳ１８０４）。
【００６３】
ステップＳ１８０５から左目用画像、及び右目用画像作成処理を行う。画像データ作成のために、画素データを順次読み出していく。ステップＳ１８０５からステップＳ１８０９の処理を全画素終了まで繰り返す。画素データの読み出しは、例えば画像の左上をスタートとし、水平方向に読み出し、１行終了したら次の行の読み出し、といったように走査していく。
【００６４】
読み出した画素（Ｘ，Ｙ）に対し、選択するＰＤを決定する（ステップＳ１８０６）。ステップＳ１８０４で作成された距離マップから画素（Ｘ，Ｙ）に対応した距離情報を読み出し、その値に応じてＰＤ対を選択する。例えば、距離情報が０であった場合、外側ＰＤからの信号を用いて画像データとする。具体的には、図９を用いて説明すると、左目画像用にＰＤ３０４のデータを読み出し、右目画像用にＰＤ３０１のデータを読み出す。また、距離情報が１であった場合、内側ＰＤからの信号を用いて画像データとする。すなわち、左目画像用にＰＤ３０３のデータを読み出し、右目画像用にＰＤ３０２のデータを読み出す。距離情報が２であった場合、内側ＰＤからの信号を用いるが、左右のＰＤを入れ替えて読み出す。すなわち、左目画像用にＰＤ３０２のデータを読み出し、右目画像用にＰＤ３０３のデータを読み出す。距離情報が３であった場合、左右のＰＤを入れ替えて外側ＰＤからの信号を読み出す。つまり、左目画像用にＰＤ３０１のデータを読み出し、右目画像用にＰＤ３０４のデータを読み出す。
【００６５】
被写体の距離に応じて選択されたＰＤのデータを当該画素のデータとして書き込む（ステップＳ１８０７）。なお、１画素あたり４つの光電変換部からなるため、ここで得られる信号出力はほぼ１／４の光信号となる。光電変換部の分割分を考慮し、得られた信号出力に対し、画像処理装置１０５でゲイン補正を行う。ステップＳ１８０５からＳ１８０７を全画素終了まで繰り返す（ステップＳ１８０８）。
【００６６】
以上より、本実施形態の撮像システムにおける画像撮影から画像データ作成までの一連の処理は終了である。書き出された左目用画像データと右目用画像データは、画像処理装置１０５にて現像処理をし、記録媒体１０９に保存する。図２１に、保存された左目用画像２１０１と右目用画像２１０２の一例を示す。ここで、最も近い位置にいた被写体１９０１は、左目用画像２１０１では被写体２１０３、右目用画像２１０２では被写体２１０４に相当する。同様に被写体１９０２は、被写体２１０５、被写体２１０６に相当し、被写体(背景)１９０３は、被写体２１０７、被写体２１０８に相当する。左目用画像２１０１の被写体２１０３はＰＤ３０４から読み出された信号からなり、被写体２１０５はＰＤ３０３から読み出された信号、被写体２１０７はＰＤ３０１から読み出された信号からなる。一方、右目用画像２１０２の被写体２１０４はＰＤ３０１から読み出された信号からなり、被写体２１０６はＰＤ３０２から読み出された信号、被写体２１０８はＰＤ３０４から読み出された信号からなる。このようにして得られ、記録媒体１０９により保存された左目用画像２１０１と右目用画像２１０２は、立体画像再生装置で再生すれば、被写体１９０１がより近くに、被写体１９０３がより遠方に見え、効果的な立体画像を見ることができる。
【００６７】
なお、本実施形態では、撮像素子１０１で蓄積された電荷データを全ＰＤ分読み出した。しかし、予め専用の外測ＡＦモジュールを用いて距離マップを別途取得しておけば、撮像素子１０１からの電荷読み出しの際に、被写体の距離に応じて使用するＰＤの選択を行って必要な電荷のみを読み出しても良い。その場合の構成、及び動作は、図１３及び図１４を用いて説明した第１の実施形態と同様である。
【００６８】
また、本実施形態では１画素あたりのＰＤ数は４つであったが、分割数はそれ以上でも良い。特に、水平方向の分割数が多いほど、視差に差をつけることができる。その場合、分割数に応じて距離マップの距離情報も細かく保持しておくと好適である。すなわち、本実施形態では、距離マップが保持する距離情報は０、１、２、３の４種類で説明したが、それ以上に増やしてもよい。または、撮影者の好みに応じて、距離によって使用するＰＤの組み合わせを選んでも良い。
【００６９】
（第４の実施形態）
この第４の実施形態の撮像システムの構成は、図１５に示した第２の実施形態の撮像システムの構成と同じであるので、その構成についての説明は省略し、動作についてのみ説明する。
【００７０】
図２２は、本発明の第４の実施形態の撮像システムで行う立体画像取得の流れを説明するフローチャートである。まず、撮影を実施する（ステップＳ２２０１）。ここでは、図示していないが、制御回路により、撮像装置１５０１〜１５０４が同期して撮影が行われるように制御して撮影する。
【００７１】
続いて、各撮像装置の撮像素子に蓄積された電荷を読み出し、メモリ回路１５０６に格納する（ステップＳ２２０２）。各撮像装置の電荷を読み出すことにより、各画素について異なる視差情報を持つ４つの電荷データがメモリ回路１５０６に格納されることになる。
【００７２】
読み出された信号情報から被写体距離を算出し、距離マップを作成する（ステップＳ２２０３、ステップＳ２２０４）。被写体の距離情報取得方法は、第３の実施形態と同様の方法で行うことができる。作成された距離マップはメモリ回路１５０６に格納しておく。
【００７３】
ステップＳ２２０５から左目用画像、及び右目用画像作成処理を行う。画像データ作成のために、メモリ回路１５０６に格納された画素データを順次読み出していく。ステップＳ２２０５からステップＳ２２０８の処理を全画素終了まで繰り返す。画素データの読み出しは、例えば画像の左上をスタートとし、水平方向に読み出し、１行終了したら次の行の読み出し、といったように走査していく。
【００７４】
読み出した画素（Ｘ，Ｙ）に対し、選択するＰＤを決定する（ステップＳ２２０６）。ステップＳ２２０４で作成された距離マップから画素（Ｘ，Ｙ）に対応した距離情報を読み出し、その値に応じてデータを使用するカメラ対を選択する。例えば、距離情報が０であった場合、外側カメラ（撮像装置）からの信号を用いて画像データとする。具体的には、左目画像用に撮像装置１５０４のデータを読み出し、右目画像用に撮像装置１５０１のデータを読み出す。また、距離情報が１であった場合、内側カメラ（撮像装置）からの信号を用いて画像データとする。すなわち、左目画像用に撮像装置１５０３のデータを読み出し、右目画像用に撮像装置１５０２のデータを読み出す。距離情報が２であった場合、内側の撮像装置からの信号を用いるが、左右の撮像装置を入れ替えて読み出す。すなわち、左目画像用に撮像装置１５０２のデータを読み出し、右目画像用に撮像装置１５０３のデータを読み出す。距離情報が３であった場合、左右の撮像装置を入れ替えて外側撮像装置からの信号を読み出す。つまり、左目画像用に撮像装置１５０１のデータを読み出し、右目画像用に撮像装置１５０４のデータを読み出す。
【００７５】
被写体の距離に応じて選択されたＰＤのデータを当該画素のデータとして書き込む（ステップＳ２２０７）。ステップＳ２２０５からＳ２２０７を全画素終了まで繰り返す（ステップＳ２２０８）。
【００７６】
以上より、本実施形態の撮像システムにおける画像撮影から画像データ作成までの一連の処理は終了である。書き出された左目用画像データと右目用画像データは、画像処理装置１５０５にて現像処理をし、記録媒体１５０７に保存する。このようにして得られ、記録媒体１５０７により保存された左目用画像と右目用画像は、立体画像再生装置で再生すれば、近い被写体はより近くに、遠い被写体はより遠くに、効果的な立体画像を見ることができる。
【００７７】
（第５の実施形態）
第５の実施形態の撮像素子は、第３の実施形態と同じ構成であるので説明は省略する。第３の実施形態では、被写体の距離に応じて選択するＰＤを変えたが、本実施形態では、焦点が合っている被写体か否かで選択するＰＤを変える。撮影時に撮像装置のＡＦ機能を使用すれば、どの被写体に焦点が合っているかがわかる。また、撮影者が焦点を合わせた被写体を入力しても良い。被写体に対し、焦点が合っているか否かの情報を、距離マップに持たせる。そして、焦点が合っている被写体の場合、内側のＰＤを選択する。なぜなら、焦点が合っている場合は全ての分割画素に同じ信号が入る。つまり、視差は生じない。ただし、より斜めに光が入射する外側のＰＤの方が入ってくる光が少ないため、外側のＰＤからの電荷を読み出した場合、内側のＰＤからの電荷を読み出して画像を取得するよりも暗い画像になる。そのため、焦点が合っている被写体は内側のＰＤを選択すると良い。
【００７８】
その他の焦点が合っていない被写体に関しては、第３の実施形態と同様の方法でＰＤを選択すればよい。ただし、焦点が合っている被写体の距離を基準とし、それよりも近い被写体は外側のＰＤを選択し、焦点が合っている被写体よりも遠い被写体は左右を入れ替えてＰＤを選択するのが好ましい。例えば、図１９のようなシーンを撮影した場合について説明する。被写体１９０１に焦点を合わせた場合、被写体１９０１に対しては、左目用画像にはＰＤ３０３のデータを読み出し、右目用画像にはＰＤ３０２のデータを読み出す。そして、被写体１９０１よりも遠い被写体１９０２は、内側のＰＤを左右入れ替えて選択し、左目用画像にはＰＤ３０２のデータを、右目用画像にはＰＤ３０３のデータを読み出す。更に遠い被写体１９０３は、左目用画像にはＰＤ３０１を、右目用画像にはＰＤ３０４のデータを読み出す。また、被写体１９０２に焦点を合わせた場合には、被写体１９０２に対して、左目用画像にはＰＤ３０３のデータを、右目用画像にはＰＤ３０２のデータを読み出す。被写体１９０２よりも近い距離にある被写体１９０１に対しては、左目用画像にはＰＤ３０４のデータを、右目用画像にはＰＤ３０１のデータを読み出す。そして、遠い距離にある被写体１９０３に対しては、左目用画像にＰＤ３０１のデータを、右目用画像にＰＤ３０４のデータを読み出す。
【００７９】
このように、被写体のフォーカス情報を考慮してＰＤを選択することにより、より明るい画像を得ることができ、なおかつ効果的な立体画像を取得することができる。また、撮影時に絞りを絞っている時も外側のＰＤには光があまり入ってこない。そこで、絞って撮影した場合には、最外郭のＰＤは使用しない方が明るい画像を得ることができる。このように、撮影時の絞り値に応じて使用するＰＤを変えても良い。もしくは、最外郭のＰＤを使用した場合、その時の絞り値に応じてゲインをかけて補正を行っても良い。
【特許請求の範囲】
【請求項１】
撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、
主被写体を選択する被写体選択手段と、
単位画素あたりに２つ以上の光電変換部を有する撮像素子と、
前記主被写体か否かに応じて、それぞれの前記単位画素の前記光電変換部を選択する光電変換部選択手段と、
選択された前記光電変換部からの信号をもとに視差を有する２つの画像信号を生成する生成手段と、
を有することを特徴とする撮像システム。
【請求項２】
前記撮像素子のそれぞれの前記単位画素は、同一のマイクロレンズに対し、２つ以上の前記光電変換部を有することを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記光電変換部は視差をつける方向に１列に並んでおり、前記光電変換部選択手段は、前記主被写体に対応する画素については、第１の方向に視差をつけるように、かつ、視差が最も大きくなるように前記光電変換部の組み合わせを選択することを特徴とする請求項１または２に記載の撮像システム。
【請求項４】
前記光電変換部は視差をつける方向に１列に並んでおり、前記光電変換部選択手段は、前記主被写体に対応する画素以外の画素については、第１の方向に視差をつけるように、かつ、前記主被写体に対応する画素について選択される前記光電変換部の組み合わせよりも内側となるように、前記光電変換部の組み合わせを選択することを特徴とする請求項３に記載の撮像システム。
【請求項５】
前記光電変換部は視差をつける方向に１列に並んでおり、前記光電変換部選択手段は、前記主被写体に対応する画素以外の画素については、前記第１の方向とは逆の第２の方向に視差をつけるように、前記光電変換部の組み合わせを選択することを特徴とする請求項３に記載の撮像システム。
【請求項６】
前記単位画素あたりの、電荷信号を読み出す前記光電変換部の数に応じて、前記光電変換部の出力信号にゲイン補正をかけることを特徴とする請求項１に記載の撮像システム。
【請求項７】
撮影レンズにより結像された被写体の像を撮像する複数の撮像装置を含む撮像システムであって、
主被写体を選択する被写体選択手段と、
前記主被写体か否かに応じて、前記複数の撮像装置から２つの撮像装置を選択する撮像装置選択手段と、
選択された前記２つの撮像装置からの信号をもとに視差を有する２つの画像信号を生成する生成手段と、
を有することを特徴とする撮像システム。
【請求項８】
撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、
被写体までの距離を検出する検出手段と、
単位画素あたりに２つ以上の光電変換部を有する撮像素子と、
前記被写体までの距離に応じて、それぞれの前記単位画素の前記光電変換部を選択する光電変換部選択手段と、
選択された前記光電変換部からの信号をもとに視差を有する２つの画像信号を生成する生成手段と、
を有することを特徴とする撮像システム。
【請求項９】
前記撮像素子のそれぞれの前記単位画素は、同一のマイクロレンズに対し、２つ以上の前記光電変換部を有することを特徴とする請求項８に記載の撮像システム。
【請求項１０】
前記被写体までの距離の情報である距離情報を、前記撮像素子の画面を複数の領域に分割したブロックごとに記憶することを特徴とする請求項８または９に記載の撮像システム。
【請求項１１】
前記光電変換部は視差をつける方向に１列に並んでおり、前記光電変換部選択手段は、前記検出手段により、近い距離に位置すると判定された被写体に対応する画素については、第１の方向に視差をつけるように、かつ、視差が最も大きくなるように前記光電変換部の組み合わせを選択することを特徴とする請求項８乃至１０のいずれか１項に記載の撮像システム。
【請求項１２】
前記光電変換部は視差をつける方向に１列に並んでおり、前記光電変換部選択手段は、前記検出手段により、遠い距離に位置すると判定された被写体に対応する画素については、第１の方向に視差をつけるように、かつ、前記近い距離に位置すると判定された被写体に対応する画素について選択された光電変換部の組み合わせよりも内側となるように、前記光電変換部の組み合わせを選択することを特徴とする請求項１１に記載の撮像システム。
【請求項１３】
前記光電変換部は視差をつける方向に１列に並んでおり、前記光電変換部選択手段は、前記検出手段により、遠い距離に位置すると判定された被写体に対応する画素については、前記第１の方向とは逆の第２の方向に視差をつけるように、前記光電変換部の組み合わせを選択することを特徴とする請求項１１に記載の撮像システム。
【請求項１４】
前記被写体に合焦しているか否かを検出する焦点検出手段をさらに備えるとともに、前記光電変換部は視差をつける方向に１列に並んでおり、前記光電変換部選択手段は、前記焦点検出手段により合焦していると判定された被写体に対応する画素については、前記光電変換部のうちの内側に位置する前記光電変換部の組み合わせを選択することを特徴とする請求項８乃至１０のいずれか１項に記載の撮像システム。
【請求項１５】
撮影レンズにより結像された被写体の像を撮像する複数の撮像装置を含む撮像システムであって、
被写体までの距離を検出する検出手段と、
前記被写体までの距離に応じて、前記複数の撮像装置から２つの撮像装置を選択する撮像装置選択手段と、
選択された前記２つの撮像装置からの信号をもとに視差を有する２つの画像信号を生成する生成手段と、
を有することを特徴とする撮像システム。
【請求項１】
撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、
主被写体を選択する被写体選択手段と、
単位画素あたりに２つ以上の光電変換部を有する撮像素子と、
前記主被写体か否かに応じて、それぞれの前記単位画素の前記光電変換部を選択する光電変換部選択手段と、
選択された前記光電変換部からの信号をもとに視差を有する２つの画像信号を生成する生成手段と、
を有することを特徴とする撮像システム。
【請求項２】
前記撮像素子のそれぞれの前記単位画素は、同一のマイクロレンズに対し、２つ以上の前記光電変換部を有することを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記光電変換部は視差をつける方向に１列に並んでおり、前記光電変換部選択手段は、前記主被写体に対応する画素については、第１の方向に視差をつけるように、かつ、視差が最も大きくなるように前記光電変換部の組み合わせを選択することを特徴とする請求項１または２に記載の撮像システム。
【請求項４】
前記光電変換部は視差をつける方向に１列に並んでおり、前記光電変換部選択手段は、前記主被写体に対応する画素以外の画素については、第１の方向に視差をつけるように、かつ、前記主被写体に対応する画素について選択される前記光電変換部の組み合わせよりも内側となるように、前記光電変換部の組み合わせを選択することを特徴とする請求項３に記載の撮像システム。
【請求項５】
前記光電変換部は視差をつける方向に１列に並んでおり、前記光電変換部選択手段は、前記主被写体に対応する画素以外の画素については、前記第１の方向とは逆の第２の方向に視差をつけるように、前記光電変換部の組み合わせを選択することを特徴とする請求項３に記載の撮像システム。
【請求項６】
前記単位画素あたりの、電荷信号を読み出す前記光電変換部の数に応じて、前記光電変換部の出力信号にゲイン補正をかけることを特徴とする請求項１に記載の撮像システム。
【請求項７】
撮影レンズにより結像された被写体の像を撮像する複数の撮像装置を含む撮像システムであって、
主被写体を選択する被写体選択手段と、
前記主被写体か否かに応じて、前記複数の撮像装置から２つの撮像装置を選択する撮像装置選択手段と、
選択された前記２つの撮像装置からの信号をもとに視差を有する２つの画像信号を生成する生成手段と、
を有することを特徴とする撮像システム。
【請求項８】
撮影レンズにより結像された被写体の像を撮像する撮像装置を含む撮像システムであって、
被写体までの距離を検出する検出手段と、
単位画素あたりに２つ以上の光電変換部を有する撮像素子と、
前記被写体までの距離に応じて、それぞれの前記単位画素の前記光電変換部を選択する光電変換部選択手段と、
選択された前記光電変換部からの信号をもとに視差を有する２つの画像信号を生成する生成手段と、
を有することを特徴とする撮像システム。
【請求項９】
前記撮像素子のそれぞれの前記単位画素は、同一のマイクロレンズに対し、２つ以上の前記光電変換部を有することを特徴とする請求項８に記載の撮像システム。
【請求項１０】
前記被写体までの距離の情報である距離情報を、前記撮像素子の画面を複数の領域に分割したブロックごとに記憶することを特徴とする請求項８または９に記載の撮像システム。
【請求項１１】
前記光電変換部は視差をつける方向に１列に並んでおり、前記光電変換部選択手段は、前記検出手段により、近い距離に位置すると判定された被写体に対応する画素については、第１の方向に視差をつけるように、かつ、視差が最も大きくなるように前記光電変換部の組み合わせを選択することを特徴とする請求項８乃至１０のいずれか１項に記載の撮像システム。
【請求項１２】
前記光電変換部は視差をつける方向に１列に並んでおり、前記光電変換部選択手段は、前記検出手段により、遠い距離に位置すると判定された被写体に対応する画素については、第１の方向に視差をつけるように、かつ、前記近い距離に位置すると判定された被写体に対応する画素について選択された光電変換部の組み合わせよりも内側となるように、前記光電変換部の組み合わせを選択することを特徴とする請求項１１に記載の撮像システム。
【請求項１３】
前記光電変換部は視差をつける方向に１列に並んでおり、前記光電変換部選択手段は、前記検出手段により、遠い距離に位置すると判定された被写体に対応する画素については、前記第１の方向とは逆の第２の方向に視差をつけるように、前記光電変換部の組み合わせを選択することを特徴とする請求項１１に記載の撮像システム。
【請求項１４】
前記被写体に合焦しているか否かを検出する焦点検出手段をさらに備えるとともに、前記光電変換部は視差をつける方向に１列に並んでおり、前記光電変換部選択手段は、前記焦点検出手段により合焦していると判定された被写体に対応する画素については、前記光電変換部のうちの内側に位置する前記光電変換部の組み合わせを選択することを特徴とする請求項８乃至１０のいずれか１項に記載の撮像システム。
【請求項１５】
撮影レンズにより結像された被写体の像を撮像する複数の撮像装置を含む撮像システムであって、
被写体までの距離を検出する検出手段と、
前記被写体までの距離に応じて、前記複数の撮像装置から２つの撮像装置を選択する撮像装置選択手段と、
選択された前記２つの撮像装置からの信号をもとに視差を有する２つの画像信号を生成する生成手段と、
を有することを特徴とする撮像システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２０】
【図２２】
【図１１】
【図１２】
【図１９】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２０】
【図２２】
【図１１】
【図１２】
【図１９】
【図２１】
【公開番号】特開２０１３−５５４２５（Ｐ２０１３−５５４２５Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９１０６９（Ｐ２０１１−１９１０６９）
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]