画像処理装置、撮像装置、および画像処理方法
【課題】イメージエリアに焦点検出画素が配列された撮像素子から得られる画像信号中、焦点検出画素が配設される位置の画素値をより正確に推定可能とする。
【解決手段】撮像部120で生成され、アナログ・フロントエンド122でデジタル信号化された画像信号はRAM164に一時的に記憶される。デフォーカス量導出部304は、焦点検出画素から出力される信号を処理し、撮影光学系110によって形成される像のデフォーカス量を導出して画素値推定部302に出力する。画素値推定部302は、焦点検出画素から出力される焦点検出信号と、撮像素子のイメージエリア内で焦点検出画素の近傍に配設される撮像画素である近傍配設画素から出力される信号とのうち、デフォーカス量導出部304で導出されるデフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて推定画素値を生成する。
【解決手段】撮像部120で生成され、アナログ・フロントエンド122でデジタル信号化された画像信号はRAM164に一時的に記憶される。デフォーカス量導出部304は、焦点検出画素から出力される信号を処理し、撮影光学系110によって形成される像のデフォーカス量を導出して画素値推定部302に出力する。画素値推定部302は、焦点検出画素から出力される焦点検出信号と、撮像素子のイメージエリア内で焦点検出画素の近傍に配設される撮像画素である近傍配設画素から出力される信号とのうち、デフォーカス量導出部304で導出されるデフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて推定画素値を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イメージエリアに二次元配列された撮像画素を備えるカラー撮像素子であって、その撮像画素の配列内に焦点検出用の焦点検出画素が配置された、位相差センサ内蔵式の撮像素子から得られる画像信号を処理して画像データを生成する技術に関する。
【背景技術】
【0002】
多くのデジタルスチルカメラ、デジタルムービーカメラ等の撮像装置には、自動焦点調節装置が備えられる。自動焦点調節を行う方式としてコントラストAFや位相差AFが知られている。位相差AFが可能な撮像装置では、撮像素子の受光面と共役な位置に位相差検出用のオートフォーカスモジュールが配置される。オートフォーカスモジュール内には、コンデンサレンズ、複数対のセパレータレンズ、ミラー、複数対のセパレータレンズに対応して設けられた複数対のラインセンサ等が配置される。そして、撮影レンズの異なる瞳位置を透過した被写体光がミラーによって反射され、オートフォーカスモジュールのセンサ内に導かれる。複数対のセパレータレンズにより、複数対のラインセンサ上のそれぞれに像が形成される。一対のラインセンサから出力される信号の相関をとることにより、一対のラインセンサ上での像のずれ量、すなわち位相差を求めることができる。
【0003】
上記位相差に基づいて撮影レンズのデフォーカス量が導出され、そのデフォーカス量が減じられるように撮影レンズ内のフォーカシングレンズが駆動される。位相差AFの方式によれば、撮影レンズの焦点調節動作を行う前にデフォーカス量を導出することができるので、比較的高速に合焦動作を行うことが可能な反面、オートフォーカスモジュールを配設するためのスペースが撮像装置内に必要となるので撮像装置を小型化することが困難となる。また、オートフォーカスモジュールは構成が複雑で、調整にも工数を要するため、製造コストを増す要因となっている。
【0004】
位相差AFの上述した問題点を解決するため、撮像画素が二次元配列された撮像素子内に位相差を検出可能な画素(焦点検出画素)を配置したものを用いて、上述したオートフォーカスモジュールを用いることなく位相差AFを可能とする技術が提案されている。以下では、撮像画素の配列中に焦点検出画素が配置された撮像素子を本明細書中では位相差センサ内蔵式の撮像素子と称する。
【0005】
特許文献1には、位相差センサ内蔵式の撮像素子を用いた撮像装置において、焦点検出用画素対の周辺にある、焦点検出用画素対以外の画素から出力された信号に基づいて、被写体が所定パターンに該当するかどうかを判定し、この判定結果に基づいてフォーカス制御を変える技術が開示される。
【0006】
ところで、位相差センサ内蔵式の撮像素子から読み出した画像信号を単純に処理して画像データを生成した場合、撮像画素の配列内に焦点検出画素が配列されるため、焦点検出画素の配列される部分の画像情報が欠損する。したがって、位相差センサ内蔵式の撮像素子から得られる画像信号から生成される画像には、偽パターン等を生じる場合がある。この偽パターン等の生成を抑制するものとして、技術特許文献2には、焦点検出画素の周囲に配置される撮像画素の出力に基づいて焦点検出画素の位置における画像の出力構成を演算し、出力構成と焦点検出画素の出力とに基づいて焦点検出画素の位置における画像の出力を推定する技術が開示される。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2009−217252号公報
【特許文献2】特開2007−282107号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1には、位相差センサ内蔵撮像素子から得られる画像信号を処理して画像データを生成する際に、偽パターン等の生成を抑制することに関しては一切触れられていない。特許文献2には、上述したように焦点検出画素の位置における画像の出力を推定する技術が開示される。
【0009】
しかし、特許文献2に開示される技術では、焦点検出画素の周辺に位置する撮像画素の出力を単純平均するか、焦点検出画素からの出力と焦点検出画素の周辺に位置する撮像画素の出力とを単純平均するかして、焦点検出画素の位置における画像の出力を求めている。したがって、焦点検出画素の存在する位置にエッジパターンや細線パターンが重畳するような場合には、偽色や偽パターンが発生したり、パターンが消失したりすることがある。何故ならば、上述した単純平均によって生成された画素値は、焦点検出画素が存在する位置に撮像画素が仮に存在していた場合に得られるであろう画素値とは、焦点検出画素の存在する位置にエッジパターンや細線パターンが重畳するような場合に、大きくかけ離れる場合があるからである。
【0010】
この点、特許文献2には、焦点検出画像のコントラストパターンや、焦点検出画素の周辺に位置する撮像画素から得られる色情報から、焦点検出画素の存在する位置における画素値を推定する技術が開示される。しかし、コントラストパターンは被写体によって様々であるため、常に安定した画素値の推定を行うことは難しい。
【0011】
本発明は、上記の課題に鑑みてなされたものであり、焦点検出画素の存在する位置における画素値をより正確に推定可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明のある態様によれば、イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理装置が、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第1および第2の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備える。
【0013】
本発明のある態様によれば、撮像装置が、
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子と、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第1および第2の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備える。
【0014】
本発明のある態様によれば、イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理方法が、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第1および第2の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出する、デフォーカス量導出処理を行うことと、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定処理であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出処理を行うことにより導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定処理を行うことと
を備える。
【発明の効果】
【0015】
本発明によれば、位相差センサ内蔵式の撮像素子から出力される画像信号中、焦点検出画素の配置される部分の画素値をより正確に推定することが可能となる。
【図面の簡単な説明】
【0016】
【図1】デジタルカメラの概略的構成を説明するブロック図である。
【図2】撮像素子のイメージエリア上における画素の配列を概念的に説明する図であり、(a)はイメージエリアの一部を拡大して示す図であり、(b)は(a)に示される図の一部をさらに拡大して示す図である。
【図3】撮像画素および焦点検出画素の概略的構成を説明する図であり、(a)は撮像画素の構成を示す図であり、(b)および(c)は焦点検出画素の構成を、それぞれ示す図である。
【図4】撮像素子のイメージエリア上における画素の配列を概念的に説明する図である。
【図5】一連の焦点検出画素から読み出される第1および第2の焦点検出信号列を処理してデフォーカス量の検出が行われる様子を概念的に示す図である。
【図6】画像処理装置がコンピュータ上で実行されるプログラムにより実現される場合の構成を説明する図である。
【図7】デジタルカメラが撮影モードに切り替えられたときにデジタルカメラ内で実行される処理手順を説明するフローチャートである。
【図8】デジタルカメラ内で実行されるデフォーカス量導出および画素値推定の処理手順の一例を説明するフローチャートである。
【図9】デジタルカメラ内で実行されるデフォーカス量導出および画素値推定の処理手順のもう一つの例を説明するフローチャートである。
【図10】図9のフローチャートに示される処理中で行われる画素値の混合処理を概念的に説明する図である。
【発明を実施するための形態】
【0017】
図1は、デジタルカメラ100の概略的構成を説明するブロック図である。デジタルカメラ100は、スチルカメラであってもムービーカメラであってもよい。あるいは、携帯電話等に組み込まれるカメラであってもよい。デジタルカメラ100がスチルカメラまたはムービーカメラであるとき、撮影レンズが固定式のものであっても、交換可能に構成されていてもよい。
【0018】
デジタルカメラ100は、撮影光学系110と、レンズ駆動部112と、撮像部120と、アナログ・フロントエンド(図1中では「AFE」と表記される)122と、画像記録媒体130と、操作部140と、表示部150と、記憶部160と、CPU170と、DSP(ディジタル・シグナル・プロセッサ)190と、システムバス180とを備える。記憶部160は、ROM162とRAM164とを備える。デジタルカメラ100はさらに、画素値推定部302と、デフォーカス量導出部304と、AF制御部114とを備える。画素値推定部302およびデフォーカス量導出部304は、DSP190に備えられるものであってもよいが、本実施の形態においてはCPU170がプログラムを実行することにより実現されるものとする。AF制御部114もまた、CPU170がプログラムを実行することにより実現されるものとする。上記の画素値推定部302およびデフォーカス量導出部304を含んで画像処理装置が構成される。
【0019】
レンズ駆動部112、撮像部120、アナログ・フロントエンド122、画像記録媒体130、操作部140、表示部150、記憶部160、CPU170、DSP190は、システムバス180を介して電気的に接続される。RAM164は、CPU170およびDSP190の双方からアクセス可能に構成される。
【0020】
撮影光学系110は、被写体像を撮像部120のイメージエリア上に形成する。撮像部120は、シャッタと撮像素子とを含んで構成され、撮影光学系110を透過した被写体光は、シャッタが開いている間、撮像素子に入射する。撮像素子のイメージエリア上に形成される被写体像が光電変換され、アナログ画像信号が生成される。なお、撮像素子が電気的に露光時間(光電変換時間)の制御を行うことが可能な、電子シャッタの機能を有する場合、シャッタは必ずしも備えられていなくてもよい。アナログ画像信号はアナログ・フロントエンド122に入力される。アナログ・フロントエンド122は、撮像部120から入力した画像信号にノイズ低減、増幅、A/D変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、RAM164に一時的に記憶される。
【0021】
DSP190は画像処理部300を備える。この画像処理部300は、RAM164に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施し、記録用画像データ、表示用画像データ等を生成する。記録用画像データは、画像記録媒体130に記録される。表示用画像データは表示部150に出力される。画素値推定部302およびデフォーカス量導出部304がDSP190内に備えられる場合、画像処理部300が画素値推定部302およびデフォーカス量導出304を含んでいても良い。
【0022】
画像記録媒体130は、フラッシュメモリや磁気記録装置等で構成され、デジタルカメラ100に対して着脱可能に装着される。あるいは、画像記録媒体130がデジタルカメラ100に内蔵されていてもよい。その場合、ROM162内に画像データ記録のための領域が確保されて、それを画像記録媒体130とすることが可能である。
【0023】
操作部140は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうちいずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。操作部140にはレリーズスイッチが含まれる。このレリーズスイッチは、ユーザがレリーズ操作部材を押し下げる際のストロークに応じて動作するファーストレリーズスイッチとセカンドレリーズスイッチとを備える。
【0024】
表示部150は、TFT液晶表示パネルとバックライト装置、あるいは有機EL表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部150は表示インターフェースを備えていて、RAM164上に設けられるVRAM領域内に書き込まれる画像データを表示インターフェースが読み出して画像や文字等の情報が表示部150に表示されるものとする。
【0025】
ROM162は、フラッシュメモリ等で構成され、CPU170により実行される制御プログラム(ファームウェア)や、調整パラメータ、あるいはデジタルカメラ100の電源が入っていない状態でも保持する必要のある情報等が記憶される。RAM164は、SDRAM等で構成され、比較的高速のアクセス速度を有する。CPU170は、ROM162からRAM164に転送されたファームウェアを解釈・実行してデジタルカメラ100の動作を統括的に制御する。
【0026】
ところで、撮像部120に含まれる撮像素子は、位相差センサ内蔵式の撮像素子である。すなわち、撮像素子のイメージエリアには、撮像画素が二次元配列されていて、そのイメージエリア中の適宜の位置における撮像素子が置き換えられるようにして複数の焦点検出画素のペアが配列される撮像素子である。デフォーカス量導出部304は、これら複数の焦点検出画素のペアから出力される一組の信号列(本明細書ではこの一組の信号列を第1および第2の焦点検出信号列と称する)の相関を求めて位相差を検出し、検出された位相差に基づいて撮影光学系110のデフォーカス量を導出する。デフォーカス量導出部304は、導出したデフォーカス量に関する情報を、AF制御部114および画素値推定部302に出力する。
【0027】
画素値推定部302は、撮像素子のイメージエリア内における、焦点検出画素の配列される位置に対応する画素値を推定して推定画素値を生成する。そして、アナログ・フロントエンド122から出力されたデジタル画像信号中、焦点検出画素から読み出された画素値を上記の推定画素値で置き換える処理を行う。推定画素値を生成する際、画素値推定部302は、デフォーカス量導出部304から受け取ったデフォーカス量の値に応じて、画素値推定処理の方法を変える。この画素値推定部302における画素値推定処理の詳細については後でフローチャートを参照して説明する。
【0028】
AF制御部114は、デフォーカス量導出部304から受け取ったデフォーカス量の値に基づいて撮影光学系110内の焦点調節レンズの駆動方向と駆動量とを決定し、レンズ駆動部112に焦点調節制御信号を出力する。レンズ駆動部112は、AF制御部114から受け取った焦点調節制御信号に基づき、撮影光学系110の焦点調節動作を行う。撮影光学系110が可変焦点距離光学系である場合には、撮影光学系110がレンズ駆動部112によって駆動されて焦点距離を変更することが可能に構成されていてもよい。
【0029】
図2(a)は、撮像素子350のイメージエリア内に二次元配列される撮像画素352G、352B、352Rと、この撮像画素352G、352B、352Rの配列内に焦点検出画素364、366が配置される様子を概念的に示す図である。図2(b)は、図2(a)中の一部の画素を拡大して示す図である。図2(a)、図2(b)はいずれも、被写体の側から撮像素子350を見た様子が描かれている。撮像画素352G、352B、352Rはそれぞれ、緑色、青色、赤色の分光波長帯域の感度を有する。これらの撮像画素352G、352B、352Rは、縦に2画素、横に2画素の4画素を配列単位として、その配列単位内の対角位置(図2の例では左上および右下)に撮像画素352Gが二つ配列され、残る二カ所に撮像画素352Bおよび352Rが配列された、ベイヤ型の配列となっている。図2(a)においては、これらの撮像画素352G、352B、352Rのうち、それぞれ一つずつにのみ符号が付されている。同様に、焦点検出画素364、366についても一つずつにのみ符号が付されている。以下では、必要に応じて撮像画素352Gを緑色の撮像画素、撮像画素352Bを青色の撮像画素、撮像画素352Rを赤色の撮像画素と称する。また、焦点検出画素364、366の組み合わせを焦点検出画素のペア364、366と称する。
【0030】
本実施の形態において、焦点検出画素のペア364、366は、本来であれば緑色の撮像画素が配置される位置に配置されている。図2に示される例では、二次元配列された撮像画素中、本来であれば緑色の撮像画素、赤色の撮像画素が交互に配置される行内において、緑色の撮像画素が配置される位置に焦点検出画素364、366が交互に配列される。つまり、撮像画素352R、焦点検出画素364、撮像画素352R、焦点検出画素366、撮像画素352R、…という順で配列される。この行内における焦点検出画素364、366の配列によって焦点検出画素列360が形成される。焦点検出画素364、366も、撮像画素352Gと同様の分光感度特性を有する。
【0031】
図2(b)を参照して焦点検出画素364、366の近傍に配設される撮像画素について説明する。焦点検出画素364の配設位置を中心として、その対角位置(4カ所)には緑色の撮像画素352Gが配設される。そして焦点検出画素364の配設位置に対して上下の位置には青色の撮像画素352Bが、左右の位置には赤色の撮像画素352Rが配設される。焦点検出画素366についても同様であり、焦点検出画素366の配設位置を中心として、その対角位置(4カ所)には緑色の撮像画素352Gが配設される。そして焦点検出画素366の配設位置に対して上下の位置には青色の撮像画素352Bが、左右の位置には赤色の撮像画素352Rが配設される。
【0032】
本実施の形態においては、焦点検出画素列360中、焦点検出画素364から出力される焦点検出信号列、つまり、図2(a)の例で左から2番目、6番目、10番目、…の画素位置にある焦点検出画素364から出力される信号列を第1の焦点検出信号列と称する。同様に、左から4番目、8番目、12番目、…の画素位置にある焦点検出画素366から出力される信号列を第2の焦点検出信号列と称する。これら第1、第2の焦点検出信号列の相関をとり、検出された位相差に基づいてデフォーカス量が導出される。
【0033】
図3は、撮像画素352G、352B、352Rおよび焦点検出画素364、366の概略的構成を説明する図であり、撮像素子350のイメージエリアに配列される各画素上に形成されるマイクロレンズの光軸を含む面で断面をとった様子が示されている。なお、図3に示される断面は、デジタルカメラ100内において撮像素子350が被写体と正対するような姿勢で配設されていて、デジタルカメラ100が横位置の姿勢となっている状態で水平断面をとり、それを上側から見たものとして描かれている。つまり、図3における左右は、デジタルカメラ100の背面側から見たときの左右に一致する。図3(a)には、撮像画素352G、352B、352Rの構成を、図3(b)には焦点検出画素364の構成を、そして図3(c)には焦点検出画素366の構成を示す。以下では撮像画素352G、352B、352Rを区別して説明する必要のない場合、単に撮像画素352と称する。
【0034】
図3(a)を参照して撮像画素352の構成を説明する。フォトダイオード378の上方にはトランジスタや配線の層(不図示)に加えてカラーフィルタ372の層が形成され、それらの層の間は透明材料で構成される層間絶縁膜376の層が形成される。そして、一番上の層にマイクロレンズ370が形成される。本実施の形態において、マイクロレンズ370および層間絶縁膜376を形成する透明材料は、略同一の光学的特性(屈折率、アッベ数、分光透過率等)を有するものとする。撮像画素352は、撮影光学系110の設定F値によらず、その射出瞳からの被写体光を、マイクロレンズ370によって効率よくフォトダイオード378に導くように構成されている。カラーフィルタ372は、撮像画素352G、352B、352Rに求められる分光感度特性に対応して分光透過特性が設定されている。なお、本実施の形態において撮像素子350はB(青)、G(緑)、R(赤)の分光感度を有する撮像画素が配列されたものとして説明するが、その分光感度の組み合わせや色数、配列に関しては用途に応じて様々に変更可能である。
【0035】
図3(b)を参照して焦点検出画素364の構成を説明する。図3(a)に示される撮像画素352との違いは、フォトダイオード378の上方に遮光部374が設けられている点である。また、カラーフィルタ372は、焦点検出画素364の分光透過特性が緑色の撮像画素352Gの分光感度特性と略同一となるようにその分光透過率が定められる。図3(b)において、遮光部374は、フォトダイオード378の左側の領域に光が入射しないように上下方向の配設位置と横方向の寸法とが定められている。遮光部374は、図3(b)においてはフォトダイオード378から離れた位置に設けられるものとして描かれているが、フォトダイオード378と略隣接する位置に設けられていてもよい。このように構成される焦点検出画素364において、フォトダイオード378には、撮影光学系110の軸外の瞳位置からの被写体光が入射する。この瞳位置は、フォトダイオード378上で遮光部374により遮光されずに被写体光が入射する領域を、マイクロレンズ370を通して撮影光学系110の射出瞳位置に逆投影した位置となる。つまり、デジタルカメラ100の背面側より見て、左側に位置する瞳位置からの被写体光が焦点検出画素364のフォトダイオード378に入射する。
【0036】
図3(c)に示される焦点検出画素366も、図3(b)に示される焦点検出画素364と同様に、遮光部374が設けられる点が撮像画素352と異なる。また、カラーフィルタ372は、焦点検出画素364の分光透過特性が緑色の撮像画素352Gの分光感度特性と略同一となるようにその分光透過率が定められる。焦点検出画素364との違いは、遮光部374によってフォトダイオード378が遮光される位置の違いにある。そして、デジタルカメラ100の背面側より見て、右側に位置する瞳位置からの被写体光が焦点検出画素366のフォトダイオード378に入射する。
【0037】
以上に説明した構成が焦点検出画素364、366に備えられることにより、撮影光学系110の異なる瞳位置からの被写体光が焦点検出画素のペア364、366に入射する。従って、焦点検出画素列360から読み出される第1、第2の焦点検出信号列の位相差から撮影光学系110のデフォーカス量を導出することが可能となる。
【0038】
図2においては、一つの列上に焦点検出画素364、366が交互に配列される例について示したが、二つの列上の一方の列に焦点検出画素364が、他方の列に焦点検出画素366が、それぞれ配列されていてもよい。この場合、二つの列は、互いにできるだけ近い位置にあることが、被写体上の略同一の位置から出射される光がこれらの焦点検出画素364、366に導かれるようにする上で望ましい。また、以上では二次元配列される画素の列に沿うように焦点検出画素364、366が配列される例について説明したが、行に沿うように焦点検出画素364、366が配列されていてもよい。その場合、図2中において焦点検出画素364内のフォトダイオードの上側、または下側を覆うように遮光部374を構成する必要がある。また、撮像素子350のイメージエリア内の複数の位置において、列方向および行方向に沿うように焦点検出画素列360を設けることにより、画面内の様々な位置におけるデフォーカス量の導出および焦点調節を行うことが可能となる。
【0039】
図4は、撮像素子350のイメージエリア内に二次元配列される撮像画素352G、352B、352Rおよび焦点検出画素364、366が配置される様子を概念的に示す図であり、イメージエリアの一部が描かれている。図4においては個別の画素を区別するために、緑色の撮像画素352GにはG1、G2、…の符号が付されている。同様に、青色の撮像画素352BにはB1、B2、…の符号が、赤色の撮像画素352RにはR1、R2、…の符号が付されている。また、焦点検出画素364にはAF1、AF3という奇数系列の数字を伴う符号が付されており、焦点検出画素366にはAF2、AF4という偶数系列の数字を伴う符号が付されている。
【0040】
図5は、焦点検出画素364、すなわち図4におけるAF1、AF3、…の画素から読み出される第1の焦点検出信号列のパターンと、焦点検出画素366、すなわち図4におけるAF2、AF4、…の画素から読み出される第2の焦点検出信号列のパターンの例を示す図である。図5中、R1、R2、…、あるいはL1、L2、…の符号が付された矩形の配列が示されている。このうち、L1、L2、…は、撮像素子350の後方から見て光軸よりも左側に位置する瞳位置からの被写体光を受光する焦点検出画素364(AF1、AF3、…)を仮想的に再配列した様子を示している。同様に、R1、R2、…は、撮影光学系110の光軸を含む水平面上において、撮像素子350の後方から見て光軸よりも右側に位置する瞳位置からの被写体光を受光する焦点検出画素366(AF2、AF4、…)を仮想的に再配列した様子を示している。つまり、上記左側に位置する瞳位置からの被写体光を受光する画素L1、L2、…からなる左側瞳用ラインセンサ(これを仮にラインセンサ360Lと称する)から得られる第1の焦点検出信号列と、上記右側に位置する瞳位置からの被写体光を受光する画素R1、R2、…からなる右側瞳用ラインセンサ(これを仮にラインセンサ360Rと称する)から得られる第2の焦点検出信号列とが図5に概念的に示されている。両ラインセンサ360L、360Rにおける1画素分のピッチに相当する長さを本明細書では1ELという単位で表す。図4にも示されるように、撮像素子350の4画素分のピッチが1ELに相当する。
【0041】
図5を参照して説明すると、ラインセンサ360Lから得られる第1の焦点検出信号列と、ラインセンサ360Rから得られる第2の焦点検出信号列とは、デフォーカス量導出部304において、以下のようにして相関をとる処理が行われる。先ず、所定の画素数(図5では5画素の例が示される)のウインドウが定められ、第1の焦点検出信号列中、ウインドウ内の画素値(図5の例ではL6〜L10)が基準の信号パターンと定められる。この基準の信号パターンと一致する信号パターンを第2の焦点検出信号列中から探索する。図5の例では画素R8〜R12の信号パターンが該当するパターンであると判定され、像ずれの量(位相差)は2ELと導出され、この像ずれ量2ELに対応してデフォーカス量が導出される。なお、図4、図5を見て明かであるように、ラインセンサ360L、360Rの撮像素子350内における仮想的な配設位置は2画素分ずれている。そのため、図5の処理においてはこの2画素分のずれを考慮する必要がある。ここでは理解を容易にするため、この2画素分のずれを無視して説明する。
【0042】
以降、第1の焦点検出信号列中でウインドウが5画素分右に移動され、L11〜L15の画素値が基準の信号パターンとされて、この信号パターンと一致する信号パターンが第2の焦点検出信号列中から探索される。ところで、ラインセンサ360L、360Rは所定の長さを有している。したがって、ラインセンサ360L、360R上には、様々な撮影距離に位置する被写体の像が形成される可能性がある。例えば、比較的近距離に位置する人物、中景に位置する木の枝、比較的遠距離に位置する建築物、などといった被写体の像の一部がラインセンサ360L、360R上に位置する可能性がある。
【0043】
その場合、ラインセンサ360L、360R上に形成される像のデフォーカス量は、どの被写体の像の一部であるかによって異なる可能性がある。したがって、ラインセンサ360L、360R上における像ずれの量(位相差)はラインセンサ360L、360R上の位置によって異なる可能性がある。この点、上述のように第1の焦点検出信号列の信号パターンが複数に分割され、分割されたパターンごとに第2の焦点検出信号列内において一致するパターンを探索する処理が行われる。したがって、ラインセンサ360L、360R(焦点検出画素364、366)上におけるデフォーカス量の分布を得ることが可能となる。以上ではウインドウの幅を5画素に固定して探索処理を行う例について説明したが、第1、第2の焦点検出信号列の相関度の高さ等に応じてウインドウの幅(画素数)を適応的に増減させながら探索処理を行うことも可能である。例えば、基準の信号パターンと合致するパターンが第2の焦点検出信号列中で複数探索された場合には、ウインドウの幅を拡げて再探索し、一致度のより高いものとの間で像ずれの量を導出することも可能である。
【0044】
図6は、記録媒体に記録された画像処理プログラムがコンピュータのCPUにより読み出されて実行され、画像処理部300、デフォーカス量導出部304、画素値推定部302としての機能が実装される例を説明するブロック図である。コンピュータ600は、CPU610と、メモリ620と、補助記憶装置630と、インターフェース640と、メモリカードインターフェース650と、光ディスクドライブ660と、ネットワークインターフェース670と、表示部680とを備える。CPU610と、メモリカードインターフェース650と、光ディスクドライブ660と、ネットワークインターフェース670と、表示部680とは、インターフェース640を介して電気的に接続される。
【0045】
メモリ620は、DDR SDRAM等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置630は、ハードディスクドライブ、あるいはソリッドステートドライブ(SSD)等で構成され、比較的大きな記憶容量を備える。
【0046】
メモリカードインターフェース650は、メモリカードMCを着脱自在に装着可能に構成される。デジタルカメラ等で撮影動作が行われて生成され、メモリカードMC内に記憶された画像データは、このメモリカードインターフェース650を介してコンピュータ600内に読み込むことができる。また、コンピュータ600内の画像データをメモリカードMCに書き込むこともできる。
【0047】
光ディスクドライブ660は、光ディスクODからデータを読み取ることが可能に構成される。光ディスクドライブ660はまた、必要に応じて光ディスクODにデータを書き込むことが可能に構成されていてもよい。
【0048】
ネットワークインターフェース670は、ネットワークNWを介して接続されるサーバ等の外部情報処理装置とコンピュータ600との間で情報を授受可能に構成される。
【0049】
表示部680は、フラットパネルディスプレイ装置等で構成され、文字、アイコン、カラー画像等を表示可能に構成される。
【0050】
画像処理部300、デフォーカス量導出部304、および画素値推定部302は、メモリ620上にロードされた画像処理プログラムをCPU610が解釈・実行することにより実現される。図1に示されるデジタルカメラ100と同じく、デフォーカス量導出部304および画素値推定部302を含んで画像処理装置が構成される。画像処理部300、デフォーカス量導出部304、画素値推定部302は、図1で同じ符号が付されているものと同様の作用を有するものであるのでその説明を省略する。画像処理プログラムは、メモリカードMCや光ディスクOD等の記録媒体に記録されてコンピュータ600のユーザに頒布される。あるいは、ネットワークNWを介して、サーバ等の外部情報処理装置からダウンロードされた画像処理プログラムが補助記憶装置630に記憶されてもよい。また、他の有線や無線の形態のインターフェースを介して外部情報処理装置等から画像処理プログラムがダウンロードされて補助記憶装置630に記憶されてもよい。あるいは、サーバ上で上記画像処理プログラムが実行されて、ユーザからネットワークを介して送られた画像データに処理をして、処理後画像データをユーザに返送する、クラウドサービスが実施されてもよい。
【0051】
画像処理部300は、補助記憶装置630に記憶された画像データ、あるいはメモリカードMC、光ディスクOD、ネットワークNW等を介して入力した画像データに後述する画像処理を行う。
【0052】
以上のように、画素値推定部302およびデフォーカス量導出部304を含んで構成される画像処理装置は、デジタルカメラ100内に実装されるものであってもよいし、コンピュータ600上で実行されるプログラムにより実施されるものであってもよい。コンピュータ600上で実行されるプログラムにより実施されるものである場合、処理対象の画像データは、いわゆるロー(RAW)画像データであることが望ましい。このとき、ロー画像データに付加されるヘッダ情報中に、焦点検出画素の配設位置に関する情報等が含まれるようにすることが望ましい。あるいは、プログラム中に複数種類の撮像装置に対応して焦点検出画素の配設位置が収められたデータテーブルが含められていても良い。その場合、ロー画像データに付加されるヘッダ情報中に埋め込まれている撮影機材の情報をもとに、焦点検出画素の配設位置等を得ることが可能となる。
【0053】
図7は、図1に示されるデジタルカメラ100の電源が投入されて、動作モードが撮影モードに切り替えられたときに実行が開始される処理手順を説明するフローチャートである。図7に示される処理は、ROM162内に格納されたファームウェアがRAM164にロードされ、CPU170がそのファームウェアを解釈・実行することにより行われる。このときデジタルカメラ100では、ライブビュー表示動作が行われているものとする。また、AFモードは、コンティニュアスAFモードに設定されているものとして説明するが、ワンショットAFモードに設定されていてもよい。なお、図1中に示される画素値推定部302、デフォーカス量導出部304、およびAF制御部114が、先にも説明したように、本実施の形態においてはCPU170がファームウェアを実行することにより実現されるものとして以下の説明をする。
【0054】
S700においてCPU170は、ファーストレリーズスイッチがオンされたか否かを判定する。この判定が否定されると処理は720に進み、撮影モードの終了、すなわちユーザがデジタルカメラ100の動作モードを再生モード等に切り替えるためのスイッチや電源スイッチなどが押されたか否かを判定する。S720での判定が否定されると再びS700が実行されてユーザ操作を待ち受ける状態が続く。
【0055】
S700の判定が肯定されるとCPU170はS702において、撮像素子350中の焦点検出画素364、366から出力される焦点検出信号を入力する処理を行う。つまり、撮像部120から読み出され、アナログ・フロントエンド122で処理されてRAM164上に一時的に記憶されているデジタル画像信号中で、焦点検出画素364、366から出力された焦点検出信号を読み出す処理をCPU170は行う。
【0056】
S704においてCPU170は、デフォーカス量を導出する処理を行う。すなわち、S702の処理で得られた焦点検出信号から第1および第2の焦点検出信号列を生成して処理し、デフォーカス量を導出する処理をCPU170は行う。この処理の内容は、先に図4、図5を参照して説明したとおりである。S702およびS704の処理が、デフォーカス量導出部304で行われる処理に相当する。
【0057】
S706においてCPU170は、S704で導出されたデフォーカス量が減じられるようにするため、撮影光学系110内のフォーカシングレンズの駆動方向および駆動量を決定し、レンズ駆動部112に制御信号を出力する。S706の処理がAF制御部114での処理に相当する。
【0058】
S708においてCPU170は、合焦動作が完了したか否かを判定する。この判定が否定される間、S700からS708までの処理が繰り返し行われる。S708での判定が肯定されると処理はS710に進む。
【0059】
S710においてCPU170は、セカンドレリーズスイッチがオンされたか否かを判定し、この判定が否定されるとS700に戻る一方、肯定されるとS712に進む。上述した処理により、合焦完了(S708:はい)後、ユーザがセカンドレリーズスイッチを押さずにいると(S710:いいえ)、デフォーカス量の導出および合焦動作が繰り返し行われる。
【0060】
S712においてCPU170は、露光動作を行うための制御を行う。すなわち、CPU170は、ライブビュー動作中に決定された露光量に基づき、撮影光学系110の絞りの設定値と、メカニカルシャッタまたは電子シャッタによる露光時間とを決定する。そして、決定された絞り設定値と露光時間とで露光が行われるように、レンズ駆動部112および撮像部120に制御信号を出力する。
【0061】
S714においてCPU170は、S712で行われた露光動作の結果得られた画像信号を撮像部120から読み出して処理するように撮像部120およびアナログ・フロントエンド122に制御信号を出力する。その結果、アナログ・フロントエンド122から出力されたデジタル画像信号がRAM164に一時的に記憶される。
【0062】
S716においてCPU170は、デフォーカス量導出および画素値推定の処理を行う。この処理は、撮像素子350のイメージエリア内において焦点検出画素364、366の存在する位置における画素値を推定する処理である。本明細書において、画素値を推定する対象の画素を推定対象画素と称する。CPU170は、RAM164に一時的に記憶されるデジタル画像信号中、推定対象画素の画素値を、画素値推定の処理で導出された画素値に置き換える。S716における処理の詳細については後で説明する。
【0063】
S718においてCPU170は、S716の処理を経たデジタル画像信号を処理して画像データを生成するよう、画像処理部300に制御信号を出力する。画像処理部300は、デモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のデジタル信号処理を施して画像データを生成し、必要に応じて圧縮処理等を施して画像記録媒体130に保存する。
【0064】
S720においてCPU170は、ユーザが操作部140を操作して撮影モードを終了させる操作をしたか否かを判定する。この判定が肯定されると、図7に示される一連の処理を完了する。S720の判定が否定されると処理はS700に戻り、引き続きユーザ操作を待ち受ける状態となる。
【0065】
図8は、上述したS716での処理をより詳細に説明するフローチャートであり、S716でコールされるサブプログラムとして示されている。
【0066】
S800においてCPU170は、撮像素子350のイメージエリア中に複数存在する焦点検出画素364、366中、一つの画素を推定対象画素として選択する。S802においてCPU170は、S800で選択された推定対象画素に対するデフォーカス量を導出する。デフォーカス量の導出方法については、図4、図5を参照して先に説明したとおりである。
【0067】
ところで、デジタルカメラ100のAFモードがコンティニュアスAFモードで作動しているものとして図7のフローチャートの説明をした。この場合、S704で導出されたデフォーカス量と、S712の露光動作で得られた画像のデフォーカス量とはほぼ一致しているものと考えることができる。しかし、AFモードがシングルAFモードの場合、合焦動作が完了してから露光動作が行われるまでの間の時間は必ずしも短時間ではなく、また、構図が変化している場合もある。例えば、ユーザはフォーカスフレーム内にピントを合わせたい被写体を収め、ファーストレリーズスイッチをオンしてフォーカシング動作をデジタルカメラ100に行わせる。そして、合焦が完了した後、所望の構図が得られるようにカメラの向きを微調整してセカンドレリーズスイッチをオンする。この場合、S712において露光動作をして得られた画像中のデフォーカス量と、S704の処理で得られたデフォーカス量とは大きく異なる可能性が高い。このような場合、S802では、S712での露光動作によって得られたデジタル画像信号を処理してデフォーカス量を導出しなおすことが望ましい。一方、デジタルカメラ100がコンティニュアスAFモードで作動しているときには、露光動作の直前にS802で導出されたデフォーカス量を参照することも可能である。その訳は、上述のように、コンティニュアスAFモードでは露光動作直前まで合焦動作が行われているので、S702で導出されたデフォーカス量と、S712の露光動作によって得られたデジタル画像信号から導出されるデフォーカス量とは略同じとみなすことができるからである。
【0068】
S804においてCPU170は、推定対象画素の存在する位置におけるデフォーカス量が、閾値よりも小さいか否かを判定する。S804の判定が肯定されると処理はS806に進む一方、否定されるとS808に進む。この閾値は、撮影光学系110の焦点距離、設定F値、撮像素子350の画素の配列ピッチ等を考慮して定められる値である。一例として以下の式(1)によって閾値Thを定めることができる。以下の式(1)において、fは撮影光学系110の焦点距離(撮影光学系110が変倍光学系である場合、撮影動作時に設定されていた焦点距離)、δは許容錯乱円径(直径)、Dは撮影光学系110の撮影動作時における射出瞳径(直径)、Fは撮影動作時に設定されていた撮影光学系110の絞り値である。式(1)を見て明らかなように、本例では片側焦点深度がデフォーカス量の閾値として設定されている。
Th=f×δ/D=δ×F … 式(1)
デフォーカス量の閾値は、デジタルカメラ100の内部で自動的に設定されるものであってもよいし、ユーザが適宜設定変更することが可能に構成されていてもよい。なお、デフォーカス状態としては、いわゆる前ピン状態と後ピン状態とが存在するが、本明細書においてデフォーカス量はその絶対値をとって扱われるものとする。もちろん、デフォーカス状態が前ピン状態であるか後ピン状態であるかに応じて閾値を変化させることも可能である。
【0069】
S806においてCPU170は、推定対象画素の存在する位置にある焦点検出画素364または366からの出力信号(焦点検出信号)を補正(ゲイン調整)し、推定対象画素の画素値を導出する。このとき、焦点検出画素364または366からの出力信号の値をSAF、補正係数をα、導出する画素値をS1とすると、以下の式(2)から画素値S1を導出することが可能となる。
S1=α×SAF … 式(2)
S804での判定が肯定される、ということは、推定対象画素の画素位置においては比較的鮮鋭な像が形成されている、ということである。これは、被写体上のある微小領域からの光が大きく拡がることなく推定対象画素に入射している、ということである。逆に云うと、被写体上の上記微小領域以外の領域からの光が推定対象画素に多くは入射しない、ということである。したがって、推定対象画素の画素位置にある焦点検出画素からの信号を用いて画素値を導出することにより、より正確な画素値を推定して得ることが可能となる。また、図2および図3を参照して先にも説明したように、焦点検出画素364、366には緑色のカラーフィルタ372が設けられている。つまり、緑色の分光帯域に感度を有している。加えて、ベイヤ配列される撮像画素中で、本来緑色の撮像画素が配置される位置に焦点検出画素364、366が配置されているため、遮光部374によって減光される分を式(2)によって補正(ゲイン調整)することにより推定対象画素の画素値を得ることが可能となる。
【0070】
S804での判定が否定された場合の分岐先であるS808においてCPU170は、推定対象画素の近傍に位置する画素(本明細書においてはこれを近傍配設画素と称する)の画素値をもとに推定対象画素の画素値を導出する。S804での判定が否定される、ということは、当該の画素位置においてはぼけた像(錯乱円)が形成されている、ということである。これはすなわち、被写体上の微小領域からの光に加えて、当該微小領域以外の領域からの光も混ざり合って推定対象画素に入射している、ということである。その場合には、例えば図4において焦点検出画素364(AF1)の存在する位置が推定対象画素の画素位置であるとして、その近傍に焦点検出画素364を囲うように存在する四つの撮像画素352G(G5、G6、G9、G10)の画素値をもとに推定する。このとき、四つの近傍配設画素それぞれの画素値をSG1、SG2、SG3、SG4とし、導出する画素値をS2とすると、以下の式(3)から画素値S2を導出することが可能となる。
S2=(SG1+SG2+SG3+SG4)/4 … 式(3)
上述したように、焦点検出画素364、366には緑色のカラーフィルタ372が設けられて緑色の分光帯域の感度を有している。そして、ベイヤ配列される撮像画素中で、本来緑色の撮像画素が配置される位置に焦点検出画素364、366が配置されているため、上記のように推定対象画素の近傍に位置する四つの緑色の撮像画素の画素値の平均値から画素値S2を導出することが可能となる。
【0071】
S806またはS808における推定対象画素の画素値を導出する処理により、一つの推定対象画素の画素値が導出される。S810では全ての推定対象画素の画素値を導出する処理が完了したか否かが判定される。S810での判定が否定される間、上述したS800からS808までの処理が繰り返し行われる。S810での判定が肯定されると、イメージエリア内のすべての推定対象画素の画素値を導出する処理が完了し、リターンする。
【0072】
以上の図8のフローチャートを参照しての説明では、推定対象画素の画素位置におけるデフォーカス量が閾値よりも小さいか否かによって推定対象画素の画素値の導出方法を変える例について説明した。これに関して、以下で図9を参照して説明する方法により推定対象画素の画素値を導出することも可能である。
【0073】
図9は、図8のフローチャートを参照して説明した、S716での処理の別例を説明するフローチャートであり、S716でコールされるサブプログラムとして示されている。
【0074】
S900においてCPU170は、撮像素子350のイメージエリア中に複数存在する焦点検出画素364、366中、一つの画素を推定対象画素として選択する。S902においてCPU170は、S900で選択された推定対象画素に対するデフォーカス量を導出する。以上のS900、S902での処理は、図8のフローチャートに示されるS800、S802での処理と同様である。
【0075】
S904においてCPU170は、推定対象画素の存在する位置にある焦点検出画素364または366からの出力信号(焦点検出信号)SAFから、式(2)を用いて推定対象画素の画素値S1を導出する。
【0076】
S906においてCPU170は、推定対象画素の近傍に位置する画素、すなわち近傍配設画素の画素値SG1、SG2、SG3、SG4から、式(3)を用いて推定対象画素の画素値S2を導出する。
【0077】
S908においてCPU170は、推定対象画素の画素位置におけるデフォーカス量の大きさに応じた混合比で上記画素値S1およびS2を混合する処理を行い、推定対象画素の画素値を導出する。
【0078】
図10には、デフォーカス量に応じて混合比率を変化させる際の変化特性の二つの例が概念的に示されている。図10に示されるグラフの横軸にはデフォーカス量が、縦軸には画素値S1の画素値S2に対する混合比率(S1:S2)が、それぞれ取られている。二つの混合比立変化特性の例のうち、一方の特性は符号C1を付した実線で示され、他方の特性は符号C2を付した破線で示されている。以下では単に特性C1、特性C2と称する。ところで、先にも説明したように、デフォーカス状態としてはいわゆる前ピン状態と後ピン状態とが存在するが、図10に示されるグラフの横軸は、デフォーカス量の絶対値がとられて示されているものとする。無論、デフォーカス状態が前ピン状態であるか後ピン状態であるかに応じて異なる特性が付与されてもよい。
【0079】
特性C1は、デフォーカス量が片側焦点深度に達するまではS1:S2=1:0となっている。そしてデフォーカス量が片側焦点深度を超して所定の値D1に近づくにつれて混合比率は画素値S2に重きが置かれるようになり、S1:S2=0:1に近づく。そして、デフォーカス量が所定の値D1を越すとS1:S2=0:1に固定される。特性C1の変曲点、傾き等についてはユーザが変更することが可能に構成されていてもよい。また、デフォーカス量と上記混合比率との関係は直線的であっても非直線的であってもよい。
【0080】
特性C1は、デフォーカス量が片側焦点深度を超して所定の値D1に近づくまでの間、画素値S1の画素値S2に対する混合比率(S1:S2)が徐々に変化するものであったが、特性C2では段階的に混合比率が変化する。特性C2の屈曲点等についても、ユーザが変更することが可能に構成されていてもよい。
【0081】
特性C1、C2に関しては、デフォーカス量に対応する混合比率をCPU170が導き出すためのルックアップテーブルとして実現されていてもよいし、入力変数に対して所定の演算処理を施して出力値を得るプログラムによって実現されていてもよい。
【0082】
再び図9のフローチャートを参照して説明する。上述した推定対象画素の画素値を導出する処理がS908で行われた後、S910では全ての推定対象画素の画素値を導出する処理が完了したか否かの判定が行われる。S910での判定が否定される間、上述したS900からS908までの処理が繰り返し行われる。S910での判定が肯定されると、イメージエリア内のすべての推定対象画素の画素値を導出する処理が完了し、リターンする。
【0083】
以上の実施の形態で説明した画素推定処理を行うことにより、次のような効果を得ることが可能となる。すなわち、推定対象画素のデフォーカス量が小さい(合焦状態に近い)場合、撮像画素から得られる信号と焦点検出画素から得られる信号との相似性が高いので、遮光部374による光量低下の影響を補正することで推定対象画素の画素値を導出することが可能となる。一方、推定対象画素のデフォーカス量が大きい(ピントが大きく外れている)と、撮像画素から得られる信号と焦点検出画素から得られる信号との相似性は低くなる。このときには推定対象画素の近傍に配設されている撮像画素である近傍配設画素の画素値から画素値を推定する。デフォーカス量の大きい領域では像がぼけているので焦点検出画素の近傍には細い線状の像や急峻なエッジ等は存在しない。したがって、近傍配設画素の画素値から推定対象画素の画素値を推定しても、画像の破綻等を生じにくい。このように、推定対象画素の位置に配設された焦点検出画素からの信号と、推定対象画素の周囲の近傍配設画素からの信号とのうち、当該の画素位置におけるデフォーカス量の値に応じて少なくともいずれかの信号を用いて画素値の推定を行うことにより、いわゆるアーティファクトの目立たない、自然な画像を得ることが可能となる。
【0084】
以上に説明した画素値推定部302およびデフォーカス量導出部304を含む画像処理装置は、デジタルスチルカメラ、デジタルムービーカメラ、カメラ付きの携帯電話や携帯型の情報処理装置に内蔵可能である。また、図6を参照して説明したように、コンピュータ上で画像処理プログラムが実行されて画素値推定部302およびデフォーカス量導出部304を含む画像処理装置が実現されてもよい。
【0085】
以上では撮像素子350が単板式であるものとして説明をしたが、多板式であってもよい。
【符号の説明】
【0086】
100 … デジタルカメラ
110 … 撮影光学系
112 … レンズ駆動部
114 … AF制御部
120 … 撮像部
122 … アナログ・フロントエンド
150、680 … 表示部
160 … 記憶部
170 … CPU
190 … DSP(ディジタル・シグナル・プロセッサ)
600 … コンピュータ
610 … CPU
620 … メモリ
630 … 補助記憶装置
650 … メモリカードインターフェース
660 … 光ディスクドライブ
670 … ネットワークインターフェース
300 … 画像処理部
302 … 画素値推定処理部
304 … デフォーカス量導出部
350 … 撮像素子
352、352B、352G、352R … 撮像画素
360 … 焦点検出画素列
364、366 … 焦点検出画素
370 … マイクロレンズ
372 … カラーフィルタ
374 … 遮光部
378 … フォトダイオード
【技術分野】
【0001】
本発明は、イメージエリアに二次元配列された撮像画素を備えるカラー撮像素子であって、その撮像画素の配列内に焦点検出用の焦点検出画素が配置された、位相差センサ内蔵式の撮像素子から得られる画像信号を処理して画像データを生成する技術に関する。
【背景技術】
【0002】
多くのデジタルスチルカメラ、デジタルムービーカメラ等の撮像装置には、自動焦点調節装置が備えられる。自動焦点調節を行う方式としてコントラストAFや位相差AFが知られている。位相差AFが可能な撮像装置では、撮像素子の受光面と共役な位置に位相差検出用のオートフォーカスモジュールが配置される。オートフォーカスモジュール内には、コンデンサレンズ、複数対のセパレータレンズ、ミラー、複数対のセパレータレンズに対応して設けられた複数対のラインセンサ等が配置される。そして、撮影レンズの異なる瞳位置を透過した被写体光がミラーによって反射され、オートフォーカスモジュールのセンサ内に導かれる。複数対のセパレータレンズにより、複数対のラインセンサ上のそれぞれに像が形成される。一対のラインセンサから出力される信号の相関をとることにより、一対のラインセンサ上での像のずれ量、すなわち位相差を求めることができる。
【0003】
上記位相差に基づいて撮影レンズのデフォーカス量が導出され、そのデフォーカス量が減じられるように撮影レンズ内のフォーカシングレンズが駆動される。位相差AFの方式によれば、撮影レンズの焦点調節動作を行う前にデフォーカス量を導出することができるので、比較的高速に合焦動作を行うことが可能な反面、オートフォーカスモジュールを配設するためのスペースが撮像装置内に必要となるので撮像装置を小型化することが困難となる。また、オートフォーカスモジュールは構成が複雑で、調整にも工数を要するため、製造コストを増す要因となっている。
【0004】
位相差AFの上述した問題点を解決するため、撮像画素が二次元配列された撮像素子内に位相差を検出可能な画素(焦点検出画素)を配置したものを用いて、上述したオートフォーカスモジュールを用いることなく位相差AFを可能とする技術が提案されている。以下では、撮像画素の配列中に焦点検出画素が配置された撮像素子を本明細書中では位相差センサ内蔵式の撮像素子と称する。
【0005】
特許文献1には、位相差センサ内蔵式の撮像素子を用いた撮像装置において、焦点検出用画素対の周辺にある、焦点検出用画素対以外の画素から出力された信号に基づいて、被写体が所定パターンに該当するかどうかを判定し、この判定結果に基づいてフォーカス制御を変える技術が開示される。
【0006】
ところで、位相差センサ内蔵式の撮像素子から読み出した画像信号を単純に処理して画像データを生成した場合、撮像画素の配列内に焦点検出画素が配列されるため、焦点検出画素の配列される部分の画像情報が欠損する。したがって、位相差センサ内蔵式の撮像素子から得られる画像信号から生成される画像には、偽パターン等を生じる場合がある。この偽パターン等の生成を抑制するものとして、技術特許文献2には、焦点検出画素の周囲に配置される撮像画素の出力に基づいて焦点検出画素の位置における画像の出力構成を演算し、出力構成と焦点検出画素の出力とに基づいて焦点検出画素の位置における画像の出力を推定する技術が開示される。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2009−217252号公報
【特許文献2】特開2007−282107号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1には、位相差センサ内蔵撮像素子から得られる画像信号を処理して画像データを生成する際に、偽パターン等の生成を抑制することに関しては一切触れられていない。特許文献2には、上述したように焦点検出画素の位置における画像の出力を推定する技術が開示される。
【0009】
しかし、特許文献2に開示される技術では、焦点検出画素の周辺に位置する撮像画素の出力を単純平均するか、焦点検出画素からの出力と焦点検出画素の周辺に位置する撮像画素の出力とを単純平均するかして、焦点検出画素の位置における画像の出力を求めている。したがって、焦点検出画素の存在する位置にエッジパターンや細線パターンが重畳するような場合には、偽色や偽パターンが発生したり、パターンが消失したりすることがある。何故ならば、上述した単純平均によって生成された画素値は、焦点検出画素が存在する位置に撮像画素が仮に存在していた場合に得られるであろう画素値とは、焦点検出画素の存在する位置にエッジパターンや細線パターンが重畳するような場合に、大きくかけ離れる場合があるからである。
【0010】
この点、特許文献2には、焦点検出画像のコントラストパターンや、焦点検出画素の周辺に位置する撮像画素から得られる色情報から、焦点検出画素の存在する位置における画素値を推定する技術が開示される。しかし、コントラストパターンは被写体によって様々であるため、常に安定した画素値の推定を行うことは難しい。
【0011】
本発明は、上記の課題に鑑みてなされたものであり、焦点検出画素の存在する位置における画素値をより正確に推定可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明のある態様によれば、イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理装置が、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第1および第2の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備える。
【0013】
本発明のある態様によれば、撮像装置が、
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子と、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第1および第2の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備える。
【0014】
本発明のある態様によれば、イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理方法が、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第1および第2の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出する、デフォーカス量導出処理を行うことと、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定処理であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出処理を行うことにより導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定処理を行うことと
を備える。
【発明の効果】
【0015】
本発明によれば、位相差センサ内蔵式の撮像素子から出力される画像信号中、焦点検出画素の配置される部分の画素値をより正確に推定することが可能となる。
【図面の簡単な説明】
【0016】
【図1】デジタルカメラの概略的構成を説明するブロック図である。
【図2】撮像素子のイメージエリア上における画素の配列を概念的に説明する図であり、(a)はイメージエリアの一部を拡大して示す図であり、(b)は(a)に示される図の一部をさらに拡大して示す図である。
【図3】撮像画素および焦点検出画素の概略的構成を説明する図であり、(a)は撮像画素の構成を示す図であり、(b)および(c)は焦点検出画素の構成を、それぞれ示す図である。
【図4】撮像素子のイメージエリア上における画素の配列を概念的に説明する図である。
【図5】一連の焦点検出画素から読み出される第1および第2の焦点検出信号列を処理してデフォーカス量の検出が行われる様子を概念的に示す図である。
【図6】画像処理装置がコンピュータ上で実行されるプログラムにより実現される場合の構成を説明する図である。
【図7】デジタルカメラが撮影モードに切り替えられたときにデジタルカメラ内で実行される処理手順を説明するフローチャートである。
【図8】デジタルカメラ内で実行されるデフォーカス量導出および画素値推定の処理手順の一例を説明するフローチャートである。
【図9】デジタルカメラ内で実行されるデフォーカス量導出および画素値推定の処理手順のもう一つの例を説明するフローチャートである。
【図10】図9のフローチャートに示される処理中で行われる画素値の混合処理を概念的に説明する図である。
【発明を実施するための形態】
【0017】
図1は、デジタルカメラ100の概略的構成を説明するブロック図である。デジタルカメラ100は、スチルカメラであってもムービーカメラであってもよい。あるいは、携帯電話等に組み込まれるカメラであってもよい。デジタルカメラ100がスチルカメラまたはムービーカメラであるとき、撮影レンズが固定式のものであっても、交換可能に構成されていてもよい。
【0018】
デジタルカメラ100は、撮影光学系110と、レンズ駆動部112と、撮像部120と、アナログ・フロントエンド(図1中では「AFE」と表記される)122と、画像記録媒体130と、操作部140と、表示部150と、記憶部160と、CPU170と、DSP(ディジタル・シグナル・プロセッサ)190と、システムバス180とを備える。記憶部160は、ROM162とRAM164とを備える。デジタルカメラ100はさらに、画素値推定部302と、デフォーカス量導出部304と、AF制御部114とを備える。画素値推定部302およびデフォーカス量導出部304は、DSP190に備えられるものであってもよいが、本実施の形態においてはCPU170がプログラムを実行することにより実現されるものとする。AF制御部114もまた、CPU170がプログラムを実行することにより実現されるものとする。上記の画素値推定部302およびデフォーカス量導出部304を含んで画像処理装置が構成される。
【0019】
レンズ駆動部112、撮像部120、アナログ・フロントエンド122、画像記録媒体130、操作部140、表示部150、記憶部160、CPU170、DSP190は、システムバス180を介して電気的に接続される。RAM164は、CPU170およびDSP190の双方からアクセス可能に構成される。
【0020】
撮影光学系110は、被写体像を撮像部120のイメージエリア上に形成する。撮像部120は、シャッタと撮像素子とを含んで構成され、撮影光学系110を透過した被写体光は、シャッタが開いている間、撮像素子に入射する。撮像素子のイメージエリア上に形成される被写体像が光電変換され、アナログ画像信号が生成される。なお、撮像素子が電気的に露光時間(光電変換時間)の制御を行うことが可能な、電子シャッタの機能を有する場合、シャッタは必ずしも備えられていなくてもよい。アナログ画像信号はアナログ・フロントエンド122に入力される。アナログ・フロントエンド122は、撮像部120から入力した画像信号にノイズ低減、増幅、A/D変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、RAM164に一時的に記憶される。
【0021】
DSP190は画像処理部300を備える。この画像処理部300は、RAM164に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施し、記録用画像データ、表示用画像データ等を生成する。記録用画像データは、画像記録媒体130に記録される。表示用画像データは表示部150に出力される。画素値推定部302およびデフォーカス量導出部304がDSP190内に備えられる場合、画像処理部300が画素値推定部302およびデフォーカス量導出304を含んでいても良い。
【0022】
画像記録媒体130は、フラッシュメモリや磁気記録装置等で構成され、デジタルカメラ100に対して着脱可能に装着される。あるいは、画像記録媒体130がデジタルカメラ100に内蔵されていてもよい。その場合、ROM162内に画像データ記録のための領域が確保されて、それを画像記録媒体130とすることが可能である。
【0023】
操作部140は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうちいずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。操作部140にはレリーズスイッチが含まれる。このレリーズスイッチは、ユーザがレリーズ操作部材を押し下げる際のストロークに応じて動作するファーストレリーズスイッチとセカンドレリーズスイッチとを備える。
【0024】
表示部150は、TFT液晶表示パネルとバックライト装置、あるいは有機EL表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部150は表示インターフェースを備えていて、RAM164上に設けられるVRAM領域内に書き込まれる画像データを表示インターフェースが読み出して画像や文字等の情報が表示部150に表示されるものとする。
【0025】
ROM162は、フラッシュメモリ等で構成され、CPU170により実行される制御プログラム(ファームウェア)や、調整パラメータ、あるいはデジタルカメラ100の電源が入っていない状態でも保持する必要のある情報等が記憶される。RAM164は、SDRAM等で構成され、比較的高速のアクセス速度を有する。CPU170は、ROM162からRAM164に転送されたファームウェアを解釈・実行してデジタルカメラ100の動作を統括的に制御する。
【0026】
ところで、撮像部120に含まれる撮像素子は、位相差センサ内蔵式の撮像素子である。すなわち、撮像素子のイメージエリアには、撮像画素が二次元配列されていて、そのイメージエリア中の適宜の位置における撮像素子が置き換えられるようにして複数の焦点検出画素のペアが配列される撮像素子である。デフォーカス量導出部304は、これら複数の焦点検出画素のペアから出力される一組の信号列(本明細書ではこの一組の信号列を第1および第2の焦点検出信号列と称する)の相関を求めて位相差を検出し、検出された位相差に基づいて撮影光学系110のデフォーカス量を導出する。デフォーカス量導出部304は、導出したデフォーカス量に関する情報を、AF制御部114および画素値推定部302に出力する。
【0027】
画素値推定部302は、撮像素子のイメージエリア内における、焦点検出画素の配列される位置に対応する画素値を推定して推定画素値を生成する。そして、アナログ・フロントエンド122から出力されたデジタル画像信号中、焦点検出画素から読み出された画素値を上記の推定画素値で置き換える処理を行う。推定画素値を生成する際、画素値推定部302は、デフォーカス量導出部304から受け取ったデフォーカス量の値に応じて、画素値推定処理の方法を変える。この画素値推定部302における画素値推定処理の詳細については後でフローチャートを参照して説明する。
【0028】
AF制御部114は、デフォーカス量導出部304から受け取ったデフォーカス量の値に基づいて撮影光学系110内の焦点調節レンズの駆動方向と駆動量とを決定し、レンズ駆動部112に焦点調節制御信号を出力する。レンズ駆動部112は、AF制御部114から受け取った焦点調節制御信号に基づき、撮影光学系110の焦点調節動作を行う。撮影光学系110が可変焦点距離光学系である場合には、撮影光学系110がレンズ駆動部112によって駆動されて焦点距離を変更することが可能に構成されていてもよい。
【0029】
図2(a)は、撮像素子350のイメージエリア内に二次元配列される撮像画素352G、352B、352Rと、この撮像画素352G、352B、352Rの配列内に焦点検出画素364、366が配置される様子を概念的に示す図である。図2(b)は、図2(a)中の一部の画素を拡大して示す図である。図2(a)、図2(b)はいずれも、被写体の側から撮像素子350を見た様子が描かれている。撮像画素352G、352B、352Rはそれぞれ、緑色、青色、赤色の分光波長帯域の感度を有する。これらの撮像画素352G、352B、352Rは、縦に2画素、横に2画素の4画素を配列単位として、その配列単位内の対角位置(図2の例では左上および右下)に撮像画素352Gが二つ配列され、残る二カ所に撮像画素352Bおよび352Rが配列された、ベイヤ型の配列となっている。図2(a)においては、これらの撮像画素352G、352B、352Rのうち、それぞれ一つずつにのみ符号が付されている。同様に、焦点検出画素364、366についても一つずつにのみ符号が付されている。以下では、必要に応じて撮像画素352Gを緑色の撮像画素、撮像画素352Bを青色の撮像画素、撮像画素352Rを赤色の撮像画素と称する。また、焦点検出画素364、366の組み合わせを焦点検出画素のペア364、366と称する。
【0030】
本実施の形態において、焦点検出画素のペア364、366は、本来であれば緑色の撮像画素が配置される位置に配置されている。図2に示される例では、二次元配列された撮像画素中、本来であれば緑色の撮像画素、赤色の撮像画素が交互に配置される行内において、緑色の撮像画素が配置される位置に焦点検出画素364、366が交互に配列される。つまり、撮像画素352R、焦点検出画素364、撮像画素352R、焦点検出画素366、撮像画素352R、…という順で配列される。この行内における焦点検出画素364、366の配列によって焦点検出画素列360が形成される。焦点検出画素364、366も、撮像画素352Gと同様の分光感度特性を有する。
【0031】
図2(b)を参照して焦点検出画素364、366の近傍に配設される撮像画素について説明する。焦点検出画素364の配設位置を中心として、その対角位置(4カ所)には緑色の撮像画素352Gが配設される。そして焦点検出画素364の配設位置に対して上下の位置には青色の撮像画素352Bが、左右の位置には赤色の撮像画素352Rが配設される。焦点検出画素366についても同様であり、焦点検出画素366の配設位置を中心として、その対角位置(4カ所)には緑色の撮像画素352Gが配設される。そして焦点検出画素366の配設位置に対して上下の位置には青色の撮像画素352Bが、左右の位置には赤色の撮像画素352Rが配設される。
【0032】
本実施の形態においては、焦点検出画素列360中、焦点検出画素364から出力される焦点検出信号列、つまり、図2(a)の例で左から2番目、6番目、10番目、…の画素位置にある焦点検出画素364から出力される信号列を第1の焦点検出信号列と称する。同様に、左から4番目、8番目、12番目、…の画素位置にある焦点検出画素366から出力される信号列を第2の焦点検出信号列と称する。これら第1、第2の焦点検出信号列の相関をとり、検出された位相差に基づいてデフォーカス量が導出される。
【0033】
図3は、撮像画素352G、352B、352Rおよび焦点検出画素364、366の概略的構成を説明する図であり、撮像素子350のイメージエリアに配列される各画素上に形成されるマイクロレンズの光軸を含む面で断面をとった様子が示されている。なお、図3に示される断面は、デジタルカメラ100内において撮像素子350が被写体と正対するような姿勢で配設されていて、デジタルカメラ100が横位置の姿勢となっている状態で水平断面をとり、それを上側から見たものとして描かれている。つまり、図3における左右は、デジタルカメラ100の背面側から見たときの左右に一致する。図3(a)には、撮像画素352G、352B、352Rの構成を、図3(b)には焦点検出画素364の構成を、そして図3(c)には焦点検出画素366の構成を示す。以下では撮像画素352G、352B、352Rを区別して説明する必要のない場合、単に撮像画素352と称する。
【0034】
図3(a)を参照して撮像画素352の構成を説明する。フォトダイオード378の上方にはトランジスタや配線の層(不図示)に加えてカラーフィルタ372の層が形成され、それらの層の間は透明材料で構成される層間絶縁膜376の層が形成される。そして、一番上の層にマイクロレンズ370が形成される。本実施の形態において、マイクロレンズ370および層間絶縁膜376を形成する透明材料は、略同一の光学的特性(屈折率、アッベ数、分光透過率等)を有するものとする。撮像画素352は、撮影光学系110の設定F値によらず、その射出瞳からの被写体光を、マイクロレンズ370によって効率よくフォトダイオード378に導くように構成されている。カラーフィルタ372は、撮像画素352G、352B、352Rに求められる分光感度特性に対応して分光透過特性が設定されている。なお、本実施の形態において撮像素子350はB(青)、G(緑)、R(赤)の分光感度を有する撮像画素が配列されたものとして説明するが、その分光感度の組み合わせや色数、配列に関しては用途に応じて様々に変更可能である。
【0035】
図3(b)を参照して焦点検出画素364の構成を説明する。図3(a)に示される撮像画素352との違いは、フォトダイオード378の上方に遮光部374が設けられている点である。また、カラーフィルタ372は、焦点検出画素364の分光透過特性が緑色の撮像画素352Gの分光感度特性と略同一となるようにその分光透過率が定められる。図3(b)において、遮光部374は、フォトダイオード378の左側の領域に光が入射しないように上下方向の配設位置と横方向の寸法とが定められている。遮光部374は、図3(b)においてはフォトダイオード378から離れた位置に設けられるものとして描かれているが、フォトダイオード378と略隣接する位置に設けられていてもよい。このように構成される焦点検出画素364において、フォトダイオード378には、撮影光学系110の軸外の瞳位置からの被写体光が入射する。この瞳位置は、フォトダイオード378上で遮光部374により遮光されずに被写体光が入射する領域を、マイクロレンズ370を通して撮影光学系110の射出瞳位置に逆投影した位置となる。つまり、デジタルカメラ100の背面側より見て、左側に位置する瞳位置からの被写体光が焦点検出画素364のフォトダイオード378に入射する。
【0036】
図3(c)に示される焦点検出画素366も、図3(b)に示される焦点検出画素364と同様に、遮光部374が設けられる点が撮像画素352と異なる。また、カラーフィルタ372は、焦点検出画素364の分光透過特性が緑色の撮像画素352Gの分光感度特性と略同一となるようにその分光透過率が定められる。焦点検出画素364との違いは、遮光部374によってフォトダイオード378が遮光される位置の違いにある。そして、デジタルカメラ100の背面側より見て、右側に位置する瞳位置からの被写体光が焦点検出画素366のフォトダイオード378に入射する。
【0037】
以上に説明した構成が焦点検出画素364、366に備えられることにより、撮影光学系110の異なる瞳位置からの被写体光が焦点検出画素のペア364、366に入射する。従って、焦点検出画素列360から読み出される第1、第2の焦点検出信号列の位相差から撮影光学系110のデフォーカス量を導出することが可能となる。
【0038】
図2においては、一つの列上に焦点検出画素364、366が交互に配列される例について示したが、二つの列上の一方の列に焦点検出画素364が、他方の列に焦点検出画素366が、それぞれ配列されていてもよい。この場合、二つの列は、互いにできるだけ近い位置にあることが、被写体上の略同一の位置から出射される光がこれらの焦点検出画素364、366に導かれるようにする上で望ましい。また、以上では二次元配列される画素の列に沿うように焦点検出画素364、366が配列される例について説明したが、行に沿うように焦点検出画素364、366が配列されていてもよい。その場合、図2中において焦点検出画素364内のフォトダイオードの上側、または下側を覆うように遮光部374を構成する必要がある。また、撮像素子350のイメージエリア内の複数の位置において、列方向および行方向に沿うように焦点検出画素列360を設けることにより、画面内の様々な位置におけるデフォーカス量の導出および焦点調節を行うことが可能となる。
【0039】
図4は、撮像素子350のイメージエリア内に二次元配列される撮像画素352G、352B、352Rおよび焦点検出画素364、366が配置される様子を概念的に示す図であり、イメージエリアの一部が描かれている。図4においては個別の画素を区別するために、緑色の撮像画素352GにはG1、G2、…の符号が付されている。同様に、青色の撮像画素352BにはB1、B2、…の符号が、赤色の撮像画素352RにはR1、R2、…の符号が付されている。また、焦点検出画素364にはAF1、AF3という奇数系列の数字を伴う符号が付されており、焦点検出画素366にはAF2、AF4という偶数系列の数字を伴う符号が付されている。
【0040】
図5は、焦点検出画素364、すなわち図4におけるAF1、AF3、…の画素から読み出される第1の焦点検出信号列のパターンと、焦点検出画素366、すなわち図4におけるAF2、AF4、…の画素から読み出される第2の焦点検出信号列のパターンの例を示す図である。図5中、R1、R2、…、あるいはL1、L2、…の符号が付された矩形の配列が示されている。このうち、L1、L2、…は、撮像素子350の後方から見て光軸よりも左側に位置する瞳位置からの被写体光を受光する焦点検出画素364(AF1、AF3、…)を仮想的に再配列した様子を示している。同様に、R1、R2、…は、撮影光学系110の光軸を含む水平面上において、撮像素子350の後方から見て光軸よりも右側に位置する瞳位置からの被写体光を受光する焦点検出画素366(AF2、AF4、…)を仮想的に再配列した様子を示している。つまり、上記左側に位置する瞳位置からの被写体光を受光する画素L1、L2、…からなる左側瞳用ラインセンサ(これを仮にラインセンサ360Lと称する)から得られる第1の焦点検出信号列と、上記右側に位置する瞳位置からの被写体光を受光する画素R1、R2、…からなる右側瞳用ラインセンサ(これを仮にラインセンサ360Rと称する)から得られる第2の焦点検出信号列とが図5に概念的に示されている。両ラインセンサ360L、360Rにおける1画素分のピッチに相当する長さを本明細書では1ELという単位で表す。図4にも示されるように、撮像素子350の4画素分のピッチが1ELに相当する。
【0041】
図5を参照して説明すると、ラインセンサ360Lから得られる第1の焦点検出信号列と、ラインセンサ360Rから得られる第2の焦点検出信号列とは、デフォーカス量導出部304において、以下のようにして相関をとる処理が行われる。先ず、所定の画素数(図5では5画素の例が示される)のウインドウが定められ、第1の焦点検出信号列中、ウインドウ内の画素値(図5の例ではL6〜L10)が基準の信号パターンと定められる。この基準の信号パターンと一致する信号パターンを第2の焦点検出信号列中から探索する。図5の例では画素R8〜R12の信号パターンが該当するパターンであると判定され、像ずれの量(位相差)は2ELと導出され、この像ずれ量2ELに対応してデフォーカス量が導出される。なお、図4、図5を見て明かであるように、ラインセンサ360L、360Rの撮像素子350内における仮想的な配設位置は2画素分ずれている。そのため、図5の処理においてはこの2画素分のずれを考慮する必要がある。ここでは理解を容易にするため、この2画素分のずれを無視して説明する。
【0042】
以降、第1の焦点検出信号列中でウインドウが5画素分右に移動され、L11〜L15の画素値が基準の信号パターンとされて、この信号パターンと一致する信号パターンが第2の焦点検出信号列中から探索される。ところで、ラインセンサ360L、360Rは所定の長さを有している。したがって、ラインセンサ360L、360R上には、様々な撮影距離に位置する被写体の像が形成される可能性がある。例えば、比較的近距離に位置する人物、中景に位置する木の枝、比較的遠距離に位置する建築物、などといった被写体の像の一部がラインセンサ360L、360R上に位置する可能性がある。
【0043】
その場合、ラインセンサ360L、360R上に形成される像のデフォーカス量は、どの被写体の像の一部であるかによって異なる可能性がある。したがって、ラインセンサ360L、360R上における像ずれの量(位相差)はラインセンサ360L、360R上の位置によって異なる可能性がある。この点、上述のように第1の焦点検出信号列の信号パターンが複数に分割され、分割されたパターンごとに第2の焦点検出信号列内において一致するパターンを探索する処理が行われる。したがって、ラインセンサ360L、360R(焦点検出画素364、366)上におけるデフォーカス量の分布を得ることが可能となる。以上ではウインドウの幅を5画素に固定して探索処理を行う例について説明したが、第1、第2の焦点検出信号列の相関度の高さ等に応じてウインドウの幅(画素数)を適応的に増減させながら探索処理を行うことも可能である。例えば、基準の信号パターンと合致するパターンが第2の焦点検出信号列中で複数探索された場合には、ウインドウの幅を拡げて再探索し、一致度のより高いものとの間で像ずれの量を導出することも可能である。
【0044】
図6は、記録媒体に記録された画像処理プログラムがコンピュータのCPUにより読み出されて実行され、画像処理部300、デフォーカス量導出部304、画素値推定部302としての機能が実装される例を説明するブロック図である。コンピュータ600は、CPU610と、メモリ620と、補助記憶装置630と、インターフェース640と、メモリカードインターフェース650と、光ディスクドライブ660と、ネットワークインターフェース670と、表示部680とを備える。CPU610と、メモリカードインターフェース650と、光ディスクドライブ660と、ネットワークインターフェース670と、表示部680とは、インターフェース640を介して電気的に接続される。
【0045】
メモリ620は、DDR SDRAM等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置630は、ハードディスクドライブ、あるいはソリッドステートドライブ(SSD)等で構成され、比較的大きな記憶容量を備える。
【0046】
メモリカードインターフェース650は、メモリカードMCを着脱自在に装着可能に構成される。デジタルカメラ等で撮影動作が行われて生成され、メモリカードMC内に記憶された画像データは、このメモリカードインターフェース650を介してコンピュータ600内に読み込むことができる。また、コンピュータ600内の画像データをメモリカードMCに書き込むこともできる。
【0047】
光ディスクドライブ660は、光ディスクODからデータを読み取ることが可能に構成される。光ディスクドライブ660はまた、必要に応じて光ディスクODにデータを書き込むことが可能に構成されていてもよい。
【0048】
ネットワークインターフェース670は、ネットワークNWを介して接続されるサーバ等の外部情報処理装置とコンピュータ600との間で情報を授受可能に構成される。
【0049】
表示部680は、フラットパネルディスプレイ装置等で構成され、文字、アイコン、カラー画像等を表示可能に構成される。
【0050】
画像処理部300、デフォーカス量導出部304、および画素値推定部302は、メモリ620上にロードされた画像処理プログラムをCPU610が解釈・実行することにより実現される。図1に示されるデジタルカメラ100と同じく、デフォーカス量導出部304および画素値推定部302を含んで画像処理装置が構成される。画像処理部300、デフォーカス量導出部304、画素値推定部302は、図1で同じ符号が付されているものと同様の作用を有するものであるのでその説明を省略する。画像処理プログラムは、メモリカードMCや光ディスクOD等の記録媒体に記録されてコンピュータ600のユーザに頒布される。あるいは、ネットワークNWを介して、サーバ等の外部情報処理装置からダウンロードされた画像処理プログラムが補助記憶装置630に記憶されてもよい。また、他の有線や無線の形態のインターフェースを介して外部情報処理装置等から画像処理プログラムがダウンロードされて補助記憶装置630に記憶されてもよい。あるいは、サーバ上で上記画像処理プログラムが実行されて、ユーザからネットワークを介して送られた画像データに処理をして、処理後画像データをユーザに返送する、クラウドサービスが実施されてもよい。
【0051】
画像処理部300は、補助記憶装置630に記憶された画像データ、あるいはメモリカードMC、光ディスクOD、ネットワークNW等を介して入力した画像データに後述する画像処理を行う。
【0052】
以上のように、画素値推定部302およびデフォーカス量導出部304を含んで構成される画像処理装置は、デジタルカメラ100内に実装されるものであってもよいし、コンピュータ600上で実行されるプログラムにより実施されるものであってもよい。コンピュータ600上で実行されるプログラムにより実施されるものである場合、処理対象の画像データは、いわゆるロー(RAW)画像データであることが望ましい。このとき、ロー画像データに付加されるヘッダ情報中に、焦点検出画素の配設位置に関する情報等が含まれるようにすることが望ましい。あるいは、プログラム中に複数種類の撮像装置に対応して焦点検出画素の配設位置が収められたデータテーブルが含められていても良い。その場合、ロー画像データに付加されるヘッダ情報中に埋め込まれている撮影機材の情報をもとに、焦点検出画素の配設位置等を得ることが可能となる。
【0053】
図7は、図1に示されるデジタルカメラ100の電源が投入されて、動作モードが撮影モードに切り替えられたときに実行が開始される処理手順を説明するフローチャートである。図7に示される処理は、ROM162内に格納されたファームウェアがRAM164にロードされ、CPU170がそのファームウェアを解釈・実行することにより行われる。このときデジタルカメラ100では、ライブビュー表示動作が行われているものとする。また、AFモードは、コンティニュアスAFモードに設定されているものとして説明するが、ワンショットAFモードに設定されていてもよい。なお、図1中に示される画素値推定部302、デフォーカス量導出部304、およびAF制御部114が、先にも説明したように、本実施の形態においてはCPU170がファームウェアを実行することにより実現されるものとして以下の説明をする。
【0054】
S700においてCPU170は、ファーストレリーズスイッチがオンされたか否かを判定する。この判定が否定されると処理は720に進み、撮影モードの終了、すなわちユーザがデジタルカメラ100の動作モードを再生モード等に切り替えるためのスイッチや電源スイッチなどが押されたか否かを判定する。S720での判定が否定されると再びS700が実行されてユーザ操作を待ち受ける状態が続く。
【0055】
S700の判定が肯定されるとCPU170はS702において、撮像素子350中の焦点検出画素364、366から出力される焦点検出信号を入力する処理を行う。つまり、撮像部120から読み出され、アナログ・フロントエンド122で処理されてRAM164上に一時的に記憶されているデジタル画像信号中で、焦点検出画素364、366から出力された焦点検出信号を読み出す処理をCPU170は行う。
【0056】
S704においてCPU170は、デフォーカス量を導出する処理を行う。すなわち、S702の処理で得られた焦点検出信号から第1および第2の焦点検出信号列を生成して処理し、デフォーカス量を導出する処理をCPU170は行う。この処理の内容は、先に図4、図5を参照して説明したとおりである。S702およびS704の処理が、デフォーカス量導出部304で行われる処理に相当する。
【0057】
S706においてCPU170は、S704で導出されたデフォーカス量が減じられるようにするため、撮影光学系110内のフォーカシングレンズの駆動方向および駆動量を決定し、レンズ駆動部112に制御信号を出力する。S706の処理がAF制御部114での処理に相当する。
【0058】
S708においてCPU170は、合焦動作が完了したか否かを判定する。この判定が否定される間、S700からS708までの処理が繰り返し行われる。S708での判定が肯定されると処理はS710に進む。
【0059】
S710においてCPU170は、セカンドレリーズスイッチがオンされたか否かを判定し、この判定が否定されるとS700に戻る一方、肯定されるとS712に進む。上述した処理により、合焦完了(S708:はい)後、ユーザがセカンドレリーズスイッチを押さずにいると(S710:いいえ)、デフォーカス量の導出および合焦動作が繰り返し行われる。
【0060】
S712においてCPU170は、露光動作を行うための制御を行う。すなわち、CPU170は、ライブビュー動作中に決定された露光量に基づき、撮影光学系110の絞りの設定値と、メカニカルシャッタまたは電子シャッタによる露光時間とを決定する。そして、決定された絞り設定値と露光時間とで露光が行われるように、レンズ駆動部112および撮像部120に制御信号を出力する。
【0061】
S714においてCPU170は、S712で行われた露光動作の結果得られた画像信号を撮像部120から読み出して処理するように撮像部120およびアナログ・フロントエンド122に制御信号を出力する。その結果、アナログ・フロントエンド122から出力されたデジタル画像信号がRAM164に一時的に記憶される。
【0062】
S716においてCPU170は、デフォーカス量導出および画素値推定の処理を行う。この処理は、撮像素子350のイメージエリア内において焦点検出画素364、366の存在する位置における画素値を推定する処理である。本明細書において、画素値を推定する対象の画素を推定対象画素と称する。CPU170は、RAM164に一時的に記憶されるデジタル画像信号中、推定対象画素の画素値を、画素値推定の処理で導出された画素値に置き換える。S716における処理の詳細については後で説明する。
【0063】
S718においてCPU170は、S716の処理を経たデジタル画像信号を処理して画像データを生成するよう、画像処理部300に制御信号を出力する。画像処理部300は、デモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のデジタル信号処理を施して画像データを生成し、必要に応じて圧縮処理等を施して画像記録媒体130に保存する。
【0064】
S720においてCPU170は、ユーザが操作部140を操作して撮影モードを終了させる操作をしたか否かを判定する。この判定が肯定されると、図7に示される一連の処理を完了する。S720の判定が否定されると処理はS700に戻り、引き続きユーザ操作を待ち受ける状態となる。
【0065】
図8は、上述したS716での処理をより詳細に説明するフローチャートであり、S716でコールされるサブプログラムとして示されている。
【0066】
S800においてCPU170は、撮像素子350のイメージエリア中に複数存在する焦点検出画素364、366中、一つの画素を推定対象画素として選択する。S802においてCPU170は、S800で選択された推定対象画素に対するデフォーカス量を導出する。デフォーカス量の導出方法については、図4、図5を参照して先に説明したとおりである。
【0067】
ところで、デジタルカメラ100のAFモードがコンティニュアスAFモードで作動しているものとして図7のフローチャートの説明をした。この場合、S704で導出されたデフォーカス量と、S712の露光動作で得られた画像のデフォーカス量とはほぼ一致しているものと考えることができる。しかし、AFモードがシングルAFモードの場合、合焦動作が完了してから露光動作が行われるまでの間の時間は必ずしも短時間ではなく、また、構図が変化している場合もある。例えば、ユーザはフォーカスフレーム内にピントを合わせたい被写体を収め、ファーストレリーズスイッチをオンしてフォーカシング動作をデジタルカメラ100に行わせる。そして、合焦が完了した後、所望の構図が得られるようにカメラの向きを微調整してセカンドレリーズスイッチをオンする。この場合、S712において露光動作をして得られた画像中のデフォーカス量と、S704の処理で得られたデフォーカス量とは大きく異なる可能性が高い。このような場合、S802では、S712での露光動作によって得られたデジタル画像信号を処理してデフォーカス量を導出しなおすことが望ましい。一方、デジタルカメラ100がコンティニュアスAFモードで作動しているときには、露光動作の直前にS802で導出されたデフォーカス量を参照することも可能である。その訳は、上述のように、コンティニュアスAFモードでは露光動作直前まで合焦動作が行われているので、S702で導出されたデフォーカス量と、S712の露光動作によって得られたデジタル画像信号から導出されるデフォーカス量とは略同じとみなすことができるからである。
【0068】
S804においてCPU170は、推定対象画素の存在する位置におけるデフォーカス量が、閾値よりも小さいか否かを判定する。S804の判定が肯定されると処理はS806に進む一方、否定されるとS808に進む。この閾値は、撮影光学系110の焦点距離、設定F値、撮像素子350の画素の配列ピッチ等を考慮して定められる値である。一例として以下の式(1)によって閾値Thを定めることができる。以下の式(1)において、fは撮影光学系110の焦点距離(撮影光学系110が変倍光学系である場合、撮影動作時に設定されていた焦点距離)、δは許容錯乱円径(直径)、Dは撮影光学系110の撮影動作時における射出瞳径(直径)、Fは撮影動作時に設定されていた撮影光学系110の絞り値である。式(1)を見て明らかなように、本例では片側焦点深度がデフォーカス量の閾値として設定されている。
Th=f×δ/D=δ×F … 式(1)
デフォーカス量の閾値は、デジタルカメラ100の内部で自動的に設定されるものであってもよいし、ユーザが適宜設定変更することが可能に構成されていてもよい。なお、デフォーカス状態としては、いわゆる前ピン状態と後ピン状態とが存在するが、本明細書においてデフォーカス量はその絶対値をとって扱われるものとする。もちろん、デフォーカス状態が前ピン状態であるか後ピン状態であるかに応じて閾値を変化させることも可能である。
【0069】
S806においてCPU170は、推定対象画素の存在する位置にある焦点検出画素364または366からの出力信号(焦点検出信号)を補正(ゲイン調整)し、推定対象画素の画素値を導出する。このとき、焦点検出画素364または366からの出力信号の値をSAF、補正係数をα、導出する画素値をS1とすると、以下の式(2)から画素値S1を導出することが可能となる。
S1=α×SAF … 式(2)
S804での判定が肯定される、ということは、推定対象画素の画素位置においては比較的鮮鋭な像が形成されている、ということである。これは、被写体上のある微小領域からの光が大きく拡がることなく推定対象画素に入射している、ということである。逆に云うと、被写体上の上記微小領域以外の領域からの光が推定対象画素に多くは入射しない、ということである。したがって、推定対象画素の画素位置にある焦点検出画素からの信号を用いて画素値を導出することにより、より正確な画素値を推定して得ることが可能となる。また、図2および図3を参照して先にも説明したように、焦点検出画素364、366には緑色のカラーフィルタ372が設けられている。つまり、緑色の分光帯域に感度を有している。加えて、ベイヤ配列される撮像画素中で、本来緑色の撮像画素が配置される位置に焦点検出画素364、366が配置されているため、遮光部374によって減光される分を式(2)によって補正(ゲイン調整)することにより推定対象画素の画素値を得ることが可能となる。
【0070】
S804での判定が否定された場合の分岐先であるS808においてCPU170は、推定対象画素の近傍に位置する画素(本明細書においてはこれを近傍配設画素と称する)の画素値をもとに推定対象画素の画素値を導出する。S804での判定が否定される、ということは、当該の画素位置においてはぼけた像(錯乱円)が形成されている、ということである。これはすなわち、被写体上の微小領域からの光に加えて、当該微小領域以外の領域からの光も混ざり合って推定対象画素に入射している、ということである。その場合には、例えば図4において焦点検出画素364(AF1)の存在する位置が推定対象画素の画素位置であるとして、その近傍に焦点検出画素364を囲うように存在する四つの撮像画素352G(G5、G6、G9、G10)の画素値をもとに推定する。このとき、四つの近傍配設画素それぞれの画素値をSG1、SG2、SG3、SG4とし、導出する画素値をS2とすると、以下の式(3)から画素値S2を導出することが可能となる。
S2=(SG1+SG2+SG3+SG4)/4 … 式(3)
上述したように、焦点検出画素364、366には緑色のカラーフィルタ372が設けられて緑色の分光帯域の感度を有している。そして、ベイヤ配列される撮像画素中で、本来緑色の撮像画素が配置される位置に焦点検出画素364、366が配置されているため、上記のように推定対象画素の近傍に位置する四つの緑色の撮像画素の画素値の平均値から画素値S2を導出することが可能となる。
【0071】
S806またはS808における推定対象画素の画素値を導出する処理により、一つの推定対象画素の画素値が導出される。S810では全ての推定対象画素の画素値を導出する処理が完了したか否かが判定される。S810での判定が否定される間、上述したS800からS808までの処理が繰り返し行われる。S810での判定が肯定されると、イメージエリア内のすべての推定対象画素の画素値を導出する処理が完了し、リターンする。
【0072】
以上の図8のフローチャートを参照しての説明では、推定対象画素の画素位置におけるデフォーカス量が閾値よりも小さいか否かによって推定対象画素の画素値の導出方法を変える例について説明した。これに関して、以下で図9を参照して説明する方法により推定対象画素の画素値を導出することも可能である。
【0073】
図9は、図8のフローチャートを参照して説明した、S716での処理の別例を説明するフローチャートであり、S716でコールされるサブプログラムとして示されている。
【0074】
S900においてCPU170は、撮像素子350のイメージエリア中に複数存在する焦点検出画素364、366中、一つの画素を推定対象画素として選択する。S902においてCPU170は、S900で選択された推定対象画素に対するデフォーカス量を導出する。以上のS900、S902での処理は、図8のフローチャートに示されるS800、S802での処理と同様である。
【0075】
S904においてCPU170は、推定対象画素の存在する位置にある焦点検出画素364または366からの出力信号(焦点検出信号)SAFから、式(2)を用いて推定対象画素の画素値S1を導出する。
【0076】
S906においてCPU170は、推定対象画素の近傍に位置する画素、すなわち近傍配設画素の画素値SG1、SG2、SG3、SG4から、式(3)を用いて推定対象画素の画素値S2を導出する。
【0077】
S908においてCPU170は、推定対象画素の画素位置におけるデフォーカス量の大きさに応じた混合比で上記画素値S1およびS2を混合する処理を行い、推定対象画素の画素値を導出する。
【0078】
図10には、デフォーカス量に応じて混合比率を変化させる際の変化特性の二つの例が概念的に示されている。図10に示されるグラフの横軸にはデフォーカス量が、縦軸には画素値S1の画素値S2に対する混合比率(S1:S2)が、それぞれ取られている。二つの混合比立変化特性の例のうち、一方の特性は符号C1を付した実線で示され、他方の特性は符号C2を付した破線で示されている。以下では単に特性C1、特性C2と称する。ところで、先にも説明したように、デフォーカス状態としてはいわゆる前ピン状態と後ピン状態とが存在するが、図10に示されるグラフの横軸は、デフォーカス量の絶対値がとられて示されているものとする。無論、デフォーカス状態が前ピン状態であるか後ピン状態であるかに応じて異なる特性が付与されてもよい。
【0079】
特性C1は、デフォーカス量が片側焦点深度に達するまではS1:S2=1:0となっている。そしてデフォーカス量が片側焦点深度を超して所定の値D1に近づくにつれて混合比率は画素値S2に重きが置かれるようになり、S1:S2=0:1に近づく。そして、デフォーカス量が所定の値D1を越すとS1:S2=0:1に固定される。特性C1の変曲点、傾き等についてはユーザが変更することが可能に構成されていてもよい。また、デフォーカス量と上記混合比率との関係は直線的であっても非直線的であってもよい。
【0080】
特性C1は、デフォーカス量が片側焦点深度を超して所定の値D1に近づくまでの間、画素値S1の画素値S2に対する混合比率(S1:S2)が徐々に変化するものであったが、特性C2では段階的に混合比率が変化する。特性C2の屈曲点等についても、ユーザが変更することが可能に構成されていてもよい。
【0081】
特性C1、C2に関しては、デフォーカス量に対応する混合比率をCPU170が導き出すためのルックアップテーブルとして実現されていてもよいし、入力変数に対して所定の演算処理を施して出力値を得るプログラムによって実現されていてもよい。
【0082】
再び図9のフローチャートを参照して説明する。上述した推定対象画素の画素値を導出する処理がS908で行われた後、S910では全ての推定対象画素の画素値を導出する処理が完了したか否かの判定が行われる。S910での判定が否定される間、上述したS900からS908までの処理が繰り返し行われる。S910での判定が肯定されると、イメージエリア内のすべての推定対象画素の画素値を導出する処理が完了し、リターンする。
【0083】
以上の実施の形態で説明した画素推定処理を行うことにより、次のような効果を得ることが可能となる。すなわち、推定対象画素のデフォーカス量が小さい(合焦状態に近い)場合、撮像画素から得られる信号と焦点検出画素から得られる信号との相似性が高いので、遮光部374による光量低下の影響を補正することで推定対象画素の画素値を導出することが可能となる。一方、推定対象画素のデフォーカス量が大きい(ピントが大きく外れている)と、撮像画素から得られる信号と焦点検出画素から得られる信号との相似性は低くなる。このときには推定対象画素の近傍に配設されている撮像画素である近傍配設画素の画素値から画素値を推定する。デフォーカス量の大きい領域では像がぼけているので焦点検出画素の近傍には細い線状の像や急峻なエッジ等は存在しない。したがって、近傍配設画素の画素値から推定対象画素の画素値を推定しても、画像の破綻等を生じにくい。このように、推定対象画素の位置に配設された焦点検出画素からの信号と、推定対象画素の周囲の近傍配設画素からの信号とのうち、当該の画素位置におけるデフォーカス量の値に応じて少なくともいずれかの信号を用いて画素値の推定を行うことにより、いわゆるアーティファクトの目立たない、自然な画像を得ることが可能となる。
【0084】
以上に説明した画素値推定部302およびデフォーカス量導出部304を含む画像処理装置は、デジタルスチルカメラ、デジタルムービーカメラ、カメラ付きの携帯電話や携帯型の情報処理装置に内蔵可能である。また、図6を参照して説明したように、コンピュータ上で画像処理プログラムが実行されて画素値推定部302およびデフォーカス量導出部304を含む画像処理装置が実現されてもよい。
【0085】
以上では撮像素子350が単板式であるものとして説明をしたが、多板式であってもよい。
【符号の説明】
【0086】
100 … デジタルカメラ
110 … 撮影光学系
112 … レンズ駆動部
114 … AF制御部
120 … 撮像部
122 … アナログ・フロントエンド
150、680 … 表示部
160 … 記憶部
170 … CPU
190 … DSP(ディジタル・シグナル・プロセッサ)
600 … コンピュータ
610 … CPU
620 … メモリ
630 … 補助記憶装置
650 … メモリカードインターフェース
660 … 光ディスクドライブ
670 … ネットワークインターフェース
300 … 画像処理部
302 … 画素値推定処理部
304 … デフォーカス量導出部
350 … 撮像素子
352、352B、352G、352R … 撮像画素
360 … 焦点検出画素列
364、366 … 焦点検出画素
370 … マイクロレンズ
372 … カラーフィルタ
374 … 遮光部
378 … フォトダイオード
【特許請求の範囲】
【請求項1】
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理装置であって、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第1および第2の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備えることを特徴とする画像処理装置。
【請求項2】
前記画素値推定部は、前記デフォーカス量の値が所定の閾値よりも小さい場合には前記焦点検出信号を補正する処理をして前記推定画素値を生成する一方、前記デフォーカス量の値が前記閾値以上である場合には前記近傍配設画素からの信号を処理して前記推定画素値を生成することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記画素値推定部は、前記近傍配設画素からの信号を処理して得られた値と、前記焦点検出信号を補正する処理をして得られた値とを、前記デフォーカス量の値に応じた合成比率で合成して前記推定画素値を生成する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子と、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第1および第2の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備えることを特徴とする撮像装置。
【請求項5】
前記画素値推定部は、前記デフォーカス量の値が所定の閾値よりも小さい場合には前記焦点検出信号を補正する処理をして前記推定画素値を生成する一方、前記デフォーカス量の値が前記閾値以上である場合には前記近傍配設画素からの信号を処理して前記推定画素値を生成することを特徴とする請求項4に記載の撮像装置。
【請求項6】
前記画素値推定部は、前記近傍配設画素からの信号を処理して得られた値と、前記焦点検出信号を補正する処理をして得られた値とを、前記デフォーカス量の値に応じた合成比率で合成して前記推定画素値を生成する
ことを特徴とする請求項4に記載の撮像装置。
【請求項7】
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理方法であって、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第1および第2の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出する、デフォーカス量導出処理を行うことと、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定処理であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出処理を行うことにより導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定処理を行うことと
を備えることを特徴とする画像処理方法。
【請求項1】
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理装置であって、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第1および第2の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備えることを特徴とする画像処理装置。
【請求項2】
前記画素値推定部は、前記デフォーカス量の値が所定の閾値よりも小さい場合には前記焦点検出信号を補正する処理をして前記推定画素値を生成する一方、前記デフォーカス量の値が前記閾値以上である場合には前記近傍配設画素からの信号を処理して前記推定画素値を生成することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記画素値推定部は、前記近傍配設画素からの信号を処理して得られた値と、前記焦点検出信号を補正する処理をして得られた値とを、前記デフォーカス量の値に応じた合成比率で合成して前記推定画素値を生成する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子と、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第1および第2の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出するデフォーカス量導出部と、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定部であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出部によって導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定部と
を備えることを特徴とする撮像装置。
【請求項5】
前記画素値推定部は、前記デフォーカス量の値が所定の閾値よりも小さい場合には前記焦点検出信号を補正する処理をして前記推定画素値を生成する一方、前記デフォーカス量の値が前記閾値以上である場合には前記近傍配設画素からの信号を処理して前記推定画素値を生成することを特徴とする請求項4に記載の撮像装置。
【請求項6】
前記画素値推定部は、前記近傍配設画素からの信号を処理して得られた値と、前記焦点検出信号を補正する処理をして得られた値とを、前記デフォーカス量の値に応じた合成比率で合成して前記推定画素値を生成する
ことを特徴とする請求項4に記載の撮像装置。
【請求項7】
イメージエリア内に二次元配列された複数の撮像画素と、前記複数の撮像画素の配列内に配置されて、撮影光学系の異なる瞳位置からの被写体光を受光可能に構成される複数組の焦点検出画素のペアとを備え、前記撮像画素で生成される画像信号と、前記焦点検出画素のペアで生成される焦点検出信号とを出力可能に構成される位相差センサ内蔵式の撮像素子から出力される前記画像信号および前記焦点検出信号を処理して前記焦点検出画素の配列される位置に対応する画素値を推定して生成する画像処理方法であって、
前記焦点検出画素のペアのそれぞれから出力される前記焦点検出信号をもとに生成される第1および第2の焦点検出信号列の相関を求めて位相差を検出し、検出された位相差に基づいて前記撮影光学系のデフォーカス量を導出する、デフォーカス量導出処理を行うことと、
前記イメージエリア内における、前記焦点検出画素の配列される位置に対応する画素値を推定処理して推定画素値を生成する画素値推定処理であって、当該位置の焦点検出画素から出力される焦点検出信号と、当該位置の焦点検出画素の近傍に配設される撮像画素である近傍配設画素からの信号とのうち、前記デフォーカス量導出処理を行うことにより導出される前記デフォーカス量の値に応じて、少なくともいずれかの信号の値を用いて前記推定画素値を生成する画素値推定処理を行うことと
を備えることを特徴とする画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2012−150289(P2012−150289A)
【公開日】平成24年8月9日(2012.8.9)
【国際特許分類】
【出願番号】特願2011−9159(P2011−9159)
【出願日】平成23年1月19日(2011.1.19)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成24年8月9日(2012.8.9)
【国際特許分類】
【出願日】平成23年1月19日(2011.1.19)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]