撮像装置、画像処理装置および撮像方法
【課題】被写界深度が拡大された画像を高精度に生成する。
【解決手段】撮像素子１１は、被写体からの光を位相変調素子１２を通じて受光する。画像抽出部１３は、撮像素子１１によって得られた撮像画像Ｐ１から、点画像が分散された領域を含む部分画像Ｐ２を抽出する。復元処理部１４は、画像抽出部１３によって抽出された部分画像Ｐ２を点像分布関数（ＰＳＦ）として用い、撮像素子１１によって得られた撮像画像（例えば撮像画像Ｐ１）に対して被写体像を復元する処理を施す。実際の撮像画像から得られた点像分布関数を用いて被写体像の復元処理が行われるので、光学系の製造誤差などの起因する点像分布関数の誤差が生じにくくなり、被写体を精度よく復元できる。
【解決手段】撮像素子１１は、被写体からの光を位相変調素子１２を通じて受光する。画像抽出部１３は、撮像素子１１によって得られた撮像画像Ｐ１から、点画像が分散された領域を含む部分画像Ｐ２を抽出する。復元処理部１４は、画像抽出部１３によって抽出された部分画像Ｐ２を点像分布関数（ＰＳＦ）として用い、撮像素子１１によって得られた撮像画像（例えば撮像画像Ｐ１）に対して被写体像を復元する処理を施す。実際の撮像画像から得られた点像分布関数を用いて被写体像の復元処理が行われるので、光学系の製造誤差などの起因する点像分布関数の誤差が生じにくくなり、被写体を精度よく復元できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置および撮像方法に関する。
【背景技術】
【０００２】
デジタル方式の撮像装置は、一般に、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子に被写体を結像させることで、撮像動作を行う。近年、このような撮像装置に適用される技術として、ＷＦＣ（Wavefront Coding）と呼ばれる技術が注目されている。
【０００３】
ＷＦＣ技術が採用された撮像装置では、固体撮像素子に対する被写体からの光路上に、位相変調素子が配置される。位相変調素子は、被写体から発せられる光束を規則的に分散させ、固体撮像素子の受光面に結ぶ像を変形させる。これにより、固体撮像素子からは、ピントがずれた状態の画像が得られ、このときに得られる画像は「中間画像」と呼ばれる。撮像装置は、固体撮像素子から得られた中間画像に対して、点像分布関数（ＰＳＦ：Point Spread Function）を用いたデジタル処理を施すことにより、被写体の画像を復元する。
【０００４】
位相変調素子を用いて得られた中間画像に生じるボケの度合いは、撮像装置と被写体との距離が変動した場合であっても、大きく変動しない。このことから、ボケ度合いの変動量が小さい中間画像に対してデジタル処理を施して被写体の画像を復元することにより、被写界深度を拡大することができる。
【０００５】
このようなＷＦＣ技術は、デジタルカメラなどの一般的なカメラ製品の他、電子内視鏡システムに搭載された撮像機構に採用することも考えられている。
なお、ＰＳＦを用いた画像処理を行う他の撮像装置としては、撮影画像内の小領域ごとに点像分布関数（ＰＳＦ：Point Spread Function）を算出し、算出した点像分布関数を基に、色収差によるボケを解消するようにしたものがある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−２３５７９４号公報
【特許文献２】特開２０１０−１４７９２６号公報
【非特許文献】
【０００７】
【非特許文献１】Edward R. Dowski, Jr. and W. Thomas Cathey, "Extended depth of field through wave-front coding", Applied Optics, vol.34, no.11, April, 1995, pp. 1859-1866
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記のＷＦＣ技術において、被写体からの距離によらずボケ度合いの変動量が小さいということは、被写体からの距離によらずＰＳＦの変動量が小さいことを意味する。このため、画像の復元時には、被写体からの距離に関係なく、位相変調素子を含む光学系の設計値から求めた同一のＰＳＦを用いて画像処理が行われる。しかしながら、光学系の製造誤差などの原因により、画像復元時に用いるＰＳＦと、実際の光学系におけるＰＳＦとは、微妙に異なる場合がある。
【０００９】
ＷＦＣ技術では、画像の処理時に用いるＰＳＦの精度が、画像の復元精度に直結する。画像復元時に用いるＰＳＦと、実際の光学系の設計値に基づくＰＳＦとの誤差がある場合、復元された画像にゴーストが発生するなど、画像の復元精度が劣化するという問題があった。
【００１０】
本発明はこのような課題に鑑みてなされたものであり、被写界深度が拡大された画像を高精度に生成することが可能な撮像装置、画像処理装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、被写体からの光を位相変調素子を通じて受光する撮像素子と、前記撮像素子によって得られた撮像画像から、点画像が分散された領域を含む部分画像を抽出する画像抽出部と、前記画像抽出部によって抽出された前記部分画像を点像分布関数として用い、前記撮像素子によって得られた撮像画像に対して被写体像を復元する処理を施す復元処理部と、を有する撮像装置が提供される。
【００１２】
また、上記課題を解決するために、上記の撮像装置と同様の処理が実行される画像処理装置および撮像方法が提供される。
【発明の効果】
【００１３】
上記の撮像装置、画像処理装置および撮像方法によれば、被写界深度が拡大された画像を高精度に生成することができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施の形態に係る撮像装置の構成例を示す図である。
【図２】第２の実施の形態に係る撮像装置の構成例を示す図である。
【図３】位相板の形状例を示す図である。
【図４】ＰＳＦの例を示す図である。
【図５】位相板を用いないで撮像された画像におけるＭＴＦの分布例を示すグラフである。
【図６】位相板を用いて撮像された画像におけるＭＴＦの分布例を示すグラフである。
【図７】画像の復元に使用する逆フィルタの特性例を示すグラフである。
【図８】図７の逆フィルタを用いて被写体像が復元された画像におけるＭＴＦの分布例を示すグラフである。
【図９】第２の実施の形態に係る撮像装置の撮像処理手順を示すフローチャートである。
【図１０】第３の実施の形態に係る撮像装置の構成例を示す図である。
【図１１】ＰＳＦ検出モードにおける撮像動作例を示す第１の図である。
【図１２】ＰＳＦ検出モードにおける撮像動作例を示す第２の図である。
【図１３】ＰＳＦ検出モードにおける撮像動作例を示す第３の図である。
【図１４】第３の実施の形態に係る撮像装置のＰＳＦ検出モードにおける撮像処理手順を示すフローチャートである。
【図１５】第３の実施の形態に係る撮像装置の本撮像モードにおける撮像処理手順を示すフローチャートである。
【図１６】ＰＳＦ検出モードにおいて撮像の対象とする被写体の例を示す図である。
【図１７】第４の実施の形態に係る撮像装置のＰＳＦ検出モードにおける撮像処理手順を示すフローチャートである。
【図１８】第５の実施の形態に係る撮像装置の構成例を示す図である。
【図１９】第５の実施の形態に係る撮像装置の撮像処理手順を示すフローチャートである。
【図２０】第６の実施の形態に係る撮像装置の構成例を示す図である。
【図２１】ＰＳＦ検出モードにおいて撮像の対象とする被写体の例を示す図である。
【図２２】部分画像を抽出する領域の設定例を示す図である。
【図２３】中間画像を分割した分割領域の例を示す図である。
【図２４】第６の実施の形態に係る撮像装置のＰＳＦ検出モードにおける撮像処理手順を示すフローチャートである。
【図２５】第６の実施の形態に係る撮像装置の本撮像モードにおける撮像処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、実施の形態について図面を参照して詳細に説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る撮像装置の構成例を示す図である。
【００１６】
図１に示す撮像装置１は、撮像素子１１によって被写体像を撮像するデジタル方式の撮像装置である。また、この撮像装置１は、ＷＦＣ技術によって被写界深度が拡大された画像を撮像可能になっている。すなわち、撮像素子１１は、被写体からの光を位相変調素子１２を通じて受光する。位相変調素子１２は、入射した被写体像を一定の方向に分散させる。撮像装置１では、撮像素子１１によって得られた撮像画像に対して、点像分布関数（ＰＳＦ）を用いて画像処理を施すことで、被写界深度が拡大された被写体像を復元できるようになっている。
【００１７】
なお、図示しないが、撮像素子１１の被写体側には、位相変調素子１２の他、レンズなどの光学部材が配置される。レンズは、例えば、位相変調素子１２の被写体側、または位相変調素子１２の撮像素子１１側、またはそれら両方に配置される。
【００１８】
ここで、被写体像を復元する際の演算処理の例について説明し、その後に、図１の構成についてあらためて説明する。
位相変調素子１２を用いて撮像された画像、すなわち、図１の撮像素子１１から得られる撮像画像は、中間画像と呼ばれる。ここで、中間画像を「ｈ」、ＰＳＦを「ｇ」、位相変調素子１２を通過せずに撮像素子１１に入射したときに撮像される被写体画像を「ｆ」とすると、「ｈ」「ｇ」「ｆ」の間には次の式（１）の関係が成り立つ。
【００１９】
【数１】
【００２０】
上記の式（１）をフーリエ変換すると、次の式（２）のようになる。
Ｆ・Ｇ＝Ｈ ・・・（２）
上記の式（２）のうち、ＰＳＦ「ｇ」をフーリエ変換した結果である「Ｇ」は、光学伝達関数（ＯＴＦ：Optical Transfer Function）であり、結像光学系における空間周波数の伝達特性を表す。なお、ＯＴＦの絶対値は、ＭＴＦ（Modulation Transfer Function）と呼ばれる。
【００２１】
フーリエ変換後の被写体画像「Ｆ」は、下記の式（３）を用いて求めることができる。この式（３）では、中間画像「ｈ」をフーリエ変換した結果である「Ｈ」に対して、ＯＴＦ「Ｇ」の逆フィルタ「Ｈinv」を乗算することで、フーリエ変換後の被写体画像「Ｆ」が求められる。従って、被写体画像「ｆ」は、式（３）の「Ｆ」を逆フーリエ変換することによって求めることができる。
Ｆ＝Ｈinv・Ｈ ・・・（３）
なお、式（３）に示した逆フィルタ「Ｈinv」は、次の式（４）のように表される。
【００２２】
【数２】
【００２３】
また、他の演算方法として、上記の逆フィルタ「Ｈinv」を逆フーリエ変換することで逆カーネル「ｈinv」を求め、次の式（５）に示すように、中間画像「ｈ」と逆カーネル「ｈinv」との畳み込み演算を行うことで、被写体画像「ｆ」を求めることもできる。
【００２４】
【数３】
【００２５】
以上の式（１）〜（５）に示したように、ＷＦＣ技術では、ＰＳＦを用いて被写体像の復元演算が行われる。また、位相変調素子を用いて撮像された中間画像に生じるボケの度合いは、撮像装置と被写体との距離によらずほぼ一定となる。このことから、ＷＦＣ技術では、位相変調素子を含む光学系の設計値から求められる同一のＰＳＦを用いて復元演算を行うことで、被写界深度が拡大された画像を得ることが可能であった。
【００２６】
しかしながら、光学系の製造誤差などの要因により、画像復元時に用いられるＰＳＦと、実際の光学系におけるＰＳＦとは、微妙に異なる場合がある。このようなＰＳＦの誤差が発生すると、復元された画像にゴーストが発生するなど、画像の復元精度が劣化する可能性がある。
【００２７】
このような問題点に対して、本実施の形態の撮像装置１では、撮像素子１１によって実際に撮像された画像からＰＳＦを求め、求めたＰＳＦを用いて被写体像の復元演算を行う。これにより、光学系の製造誤差などによるＰＳＦ誤差の発生量を低減し、被写体像をより高精度に復元できるようにする。
【００２８】
図１に示すように、撮像装置１は、撮像素子１１、位相変調素子１２の他、画像抽出部１３および復元処理部１４を備えている。画像抽出部１３は、撮像素子１１によって得られた撮像画像から、点状の画像（点画像）が分散された領域を含む部分画像を抽出する。復元処理部１４は、撮像素子１１によって得られた撮像画像に対して、被写体像を復元する処理を施す。この復元処理部１４は、被写体像の復元処理の際に、画像抽出部１３によって抽出された部分画像をＰＳＦとして使用する。
【００２９】
図１の下側には、撮像装置１において撮像される画像の例を示す。撮像画像Ｐ１は、撮像素子１１によって撮像され、撮像素子１１から画像抽出部１３に入力される画像である。この撮像画像Ｐ１は、「中間画像」とも呼ばれ、主として位相変調素子１２の作用により、被写体像にボケが生じた状態になっている。前述のように、位相変調素子１２は、入射した被写体像を一定の方向に分散させる。
【００３０】
部分画像Ｐ２は、画像抽出部１３によって、例えば、撮像画像Ｐ１の右下側の領域から抽出された画像である。この部分画像Ｐ２は、被写体像に含まれる点状の像（点画像）が撮像された領域を含む。部分画像Ｐ２内の点画像は、主として位相変調素子１２の作用によって分散された状態になっている。従って、部分画像Ｐ２における信号分布は、実際に撮像された光学系のＰＳＦを示すことになる。
【００３１】
部分画像Ｐ２は、例えば、パターンマッチングによって抽出することができる。この場合、例えば、撮像装置１の光学系の設計値から求めたＰＳＦをとる比較画像を、撮像装置１内のメモリ（図示せず）に記憶しておく。画像抽出部１３は、撮像素子１１から得られた撮像画像Ｐ１に対して、メモリに記憶された比較画像とのパターンマッチングを行い、比較画像と類似する画像領域を部分画像Ｐ２として抽出する。
【００３２】
復元処理部１４は、抽出された部分画像Ｐ２をＰＳＦとして用いて、撮像素子１１によって得られた撮像画像に対して、上記の式（３）や式（５）などに従って被写体像を復元する処理を施す。図１の下側に示した画像Ｐ３は、画像抽出部１３による部分画像Ｐ２の抽出対象とされた撮像画像Ｐ１と同一の画像から、復元処理部１４によって復元されたものである。この場合、復元処理部１４によって、撮像画像Ｐ１において生じていたボケが解消した画像Ｐ３が復元される。
【００３３】
この画像Ｐ３の例のように、復元処理部１４が処理対象とする撮像画像は、画像抽出部１３によって部分画像の抽出対象とされた撮像画像と同一であってもよい。あるいは、復元処理部１４が処理対象とする撮像画像は、画像抽出部１３によって部分画像が抽出された後に、あらためて撮像素子１１によって得られた撮像画像であってもよい。これらのいずれの場合でも、復元処理部１４は、撮像素子１１によって実際に撮像された画像から求められたＰＳＦを用いて被写体像の復元処理を行うので、光学系の設計値から求めたＰＳＦを用いて復元処理を行う場合と比較して、被写体像をより高精度に復元できるようになる。
【００３４】
なお、上記の画像Ｐ３の例のように、復元処理部１４が処理対象とする撮像画像が、画像抽出部１３によって部分画像の抽出対象とされた撮像画像と同一とされる場合には、撮像装置１と被写体との距離に応じたＰＳＦの誤差も低減し、被写体像をより高精度に復元することもできる。被写体との距離に応じたＰＳＦの誤差が低減される点については、次の第２の実施の形態において詳しく説明する。
【００３５】
〔第２の実施の形態〕
図２は、第２の実施の形態に係る撮像装置の構成例を示す図である。
撮像装置１００は、光学ブロック１１０、撮像素子１２１、Ａ／Ｄ（Analog/Digital）コンバータ１２２、画像復元処理部１３０、不揮発性記憶部１４０、ＤＳＰ（Digital Signal Processor）１５１、表示部１５２、メモリカード１５３、撮像制御部１５４および入力部１５５を備える。
【００３６】
光学ブロック１１０は、被写体からの光束を撮像素子１２１に対して集光する光学系を搭載するブロックであり、レンズ１１１，１１２、アイリス１１３、位相板１１４などを備える。位相板１１４は、位相変調素子の一例であり、被写体からの光束を規則的に分散させる。なお、図２の例では、位相板１１４はアイリス１１３の直後に配置されているが、位相板１１４の位置はこのような位置に限らない。
【００３７】
撮像素子１２１は、例えば、ＣＣＤ、ＣＭＯＳセンサなどとして実現され、光学ブロック１１０を通じて入射した光をアナログ画像信号に変換する。Ａ／Ｄコンバータ１２２は、撮像素子１２１から出力されたアナログ画像信号をデジタル画像信号に変換する。
【００３８】
画像復元処理部１３０は、Ａ／Ｄコンバータ１２２から出力された画像信号に対してＷＦＣ技術に基づくデジタル画像処理を施すことにより、被写界深度が拡大された画像を復元する。不揮発性記憶部１４０は、画像復元処理部１３０での処理時に使用される各種データを記憶する。
【００３９】
ＤＳＰ１５１は、画像復元処理部１３０から出力された画像信号に対して、所定のデジタル画像処理を施す。ＤＳＰ１５１は、例えば、各種の画質補正処理、画質補正のための検波処理、表示用画像信号の生成処理、記録用画像信号を生成するための圧縮符号化処理などを実行する。なお、画像復元処理部１３０の処理機能は、ＤＳＰ１５１の一機能として実現されてもよい。
【００４０】
表示部１５２は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスなどによって実現され、ＤＳＰ１５１から出力された表示用画像信号に基づいて画像を表示する。メモリカード１５３は、可搬型の半導体記憶装置であり、ＤＳＰ１５１から出力された記録用画像信号を記憶する。なお、メモリカード１５３は、記録用画像信号を記憶する記憶媒体の一例であり、例えば、ＨＤＤ（Hard Disk Drive）、光ディスクなどの他の種類の記憶媒体に対して画像信号が記憶されてもよい。
【００４１】
入力部１５５は、シャッタボタンなどの各種の入力スイッチを備える。撮像制御部１５４は、入力部１５５のシャッタボタンの押下などをトリガとして、撮像装置１００における撮像動作を制御する。撮像制御部１５４は、例えば、シャッタボタンが押下されたとき、画像復元処理部１３０に対して、Ａ／Ｄコンバータ１２２から取り込んだ撮像画像信号に対するデジタル画像処理を実行させる。
【００４２】
次に、画像復元処理部１３０の構成例について説明する。画像復元処理部１３０は、画像メモリ１３１、画像抽出部１３２、コンボリューション制御部１３３およびコンボリューション演算部１３４を備える。
【００４３】
画像メモリ１３１は、画像復元処理部１３０での処理の際の作業領域として使用されるＲＡＭ（Random Access Memory）であり、画像データをはじめとする各種のデータを一時的に記憶する。画像メモリ１３１は、例えば、撮像素子１２１によって撮像され、Ａ／Ｄコンバータ１２２によってデジタル化された撮像画像のＲＡＷデータを、一時的に記憶する。以下、画像メモリ１３１に記憶される撮像画像のＲＡＷデータを「中間画像データ」と呼び、この中間画像データに基づく画像を「中間画像」と呼ぶ。
【００４４】
画像抽出部１３２は、画像メモリ１３１に記憶された中間画像データを用いて、中間画像から、点画像が分散された部分領域を抽出する。本実施の形態では、画像抽出部１３２は、不揮発性記憶部１４０に記憶された設計ＰＳＦ１４１を用いて部分領域を抽出する。設計ＰＳＦ１４１は、光学ブロック１１０内の光学系の設計値を基にシミュレーションなどによって算出されたＰＳＦである。画像抽出部１３２は、中間画像に対して設計ＰＳＦ１４１を用いたパターンマッチングを行うことにより、部分領域を抽出する。
【００４５】
コンボリューション制御部１３３およびコンボリューション演算部１３４は、画像抽出部１３２によって抽出された部分画像をＰＳＦとして利用して、画像メモリ１３１に記憶された中間画像データに対して画像処理を行うことにより、被写体像を復元する処理を行う処理部である。本実施の形態では、コンボリューション演算部１３４は、前述した式（５）に従って、画像復元の演算を行うものとする。
【００４６】
コンボリューション制御部１３３は、画像抽出部１３２によって抽出された部分画像をＰＳＦとし、このＰＳＦを基に式（５）に示した逆カーネル「ｈinv」を求めて、コンボリューション演算部１３４に投入する。なお、逆カーネル「ｈinv」は、部分画像に基づくＰＳＦをフーリエ変換することで式（４）の「Ｇ」を求め、この「Ｇ」を用いて式（４）の逆フィルタ「Ｈinv」を求めた後、逆フィルタ「Ｈinv」を逆フーリエ変換することによって求めることができる。
【００４７】
図３は、位相板の形状例を示す図である。
本実施の形態で使用される位相板１１４は、通過する光の位相に対して、例えばｅｘｐ｛ｉψ（ｘ，ｙ）｝のズレを与える。ここで、例としてψ（ｘ，ｙ）＝α（ｘ3＋ｙ3）／２とすると、位相板１１４は、一方の面が平面で、他方の面が、図３に示すようなｚ＝ｉα（ｘ3＋ｙ3）／２で表される３次曲面の形状をなす。なお、図３は、ｘおよびｙがともに−１から１までの範囲をとるときの３次曲面の形状を示す。
【００４８】
図４は、ＰＳＦの例を示す図である。なお、この図４では、わかりやすくするために、信号レベルが高いほど黒く、低いほど白く示している。
図３に示すような位相板１１４を用いた場合のＰＳＦは、図４のようになる。この図４によれば、図３の位相板１１４は、通過した光束を左方向および下方向の２方向に分散させる特性を持つことがわかる。
【００４９】
本実施の形態の撮像装置１００は、図４に示すようなＰＳＦのデータを設計ＰＳＦ１４１として不揮発性記憶部１４０にあらかじめ記憶しておく。そして、画像抽出部１３２は、パターンマッチングにより、撮像素子１２１によって得られた撮像画像から、設計ＰＳＦ１４１に類似する信号分布特性を持つ領域を部分領域として抽出する。
【００５０】
なお、設計ＰＳＦ１４１が図４のようなものとなる場合、画像抽出部１３２は、パターンマッチングの代わりに、撮像画像から、点状の画像を中心として左および下の２方向に画像の分散が生じた画像を探索することで、部分画像を抽出してもよい。
【００５１】
ここで、撮像画像の特性について説明する。まず、図５は、位相板を用いないで撮像された画像におけるＭＴＦの分布例を示すグラフである。
図５の直線Ｌ１は、位相板１１４を使用せずに、被写体からの光束が撮像素子１２１に合焦した状態で得られる撮像画像におけるＭＴＦの分布例を示す。この直線Ｌ１のように、焦点が合った状態で撮像された画像では、ＭＴＦは直線状に分布する。
【００５２】
一方、図５の曲線Ｌ２，Ｌ３は、位相板１１４を使用せずに、光学ブロック１１０内のレンズを焦点が合う位置からずらして撮像したときに得られる撮像画像におけるＭＴＦの分布例を示す。すなわち、直線Ｌ１および曲線Ｌ２，Ｌ３は、撮像装置１００からの距離がそれぞれ異なる被写体を撮像したときに得られる画像の特性を示す。
【００５３】
曲線Ｌ２，Ｌ３に示すように、焦点がずれた状態で撮像された画像では、ＭＴＦの分布は直線Ｌ１から離間する。図５において、曲線Ｌ３は、曲線Ｌ２と比較してレンズを合焦位置からより大きくずらしたときのＭＴＦであり、焦点のずれが大きいほどＭＴＦの劣化度が大きくなることがわかる。
【００５４】
図６は、位相板を用いて撮像された画像におけるＭＴＦの分布例を示すグラフである。
図６の曲線Ｌ１１は、図５の直線Ｌ１の特性が得られる場合と同様のレンズ位置状態で、位相板１１４を挿入して撮像を行った場合に得られる撮像画像（以下、中間画像Ａと呼ぶ）におけるＭＴＦの分布例を示す。また、図６の曲線Ｌ１２，Ｌ１３は、それぞれ図５の曲線Ｌ２，Ｌ３の特性が得られる場合と同様のレンズ位置状態で、位相板１１４を挿入して撮像を行った場合に得られる撮像画像（以下、それぞれ中間画像Ｂ，Ｃと呼ぶ）におけるＭＴＦの分布例を示す。
【００５５】
これらの曲線Ｌ１１〜Ｌ１３でわかるように、光学系に位相板１１４を挿入した場合には、撮像装置１００から被写体までの距離の変化に対するＭＴＦの変化量は、位相板１１４を挿入しない場合と比較して極めて小さい。換言すると、光学系に位相板１１４を挿入した場合には、撮像装置１００から被写体までの距離が変化しても、中間画像に現れるボケの度合いは大きく変化しない。
【００５６】
図７は、画像の復元に使用する逆フィルタの特性例を示すグラフである。この図７のグラフに示した曲線は、図４に示したＰＳＦを用いて式（４）によって得られる逆フィルタ「Ｈinv」の特性を示す。
【００５７】
図８は、図７の逆フィルタを用いて被写体像が復元された画像におけるＭＴＦの分布例を示すグラフである。
図８の曲線Ｌ２１〜Ｌ２３は、それぞれ前述の中間画像Ａ〜Ｃに対して図７に示した逆フィルタを用いて演算を行うことで被写体像を復元した画像におけるＭＴＦの分布例を示す。逆フィルタを用いた演算後の画像は、図６に示したようにＭＴＦの違いが小さい中間画像Ａ〜Ｃに対して同じ逆フィルタを用いて演算されたものであるので、図８に示すように、これらの画像におけるＭＴＦの分布も比較的同じような状態となる。ＷＦＣ技術では、このような特性を利用して、位相板を用いて得られた中間画像を同じＭＴＦを用いて演算することで、被写界深度が拡大された画像を得る。
【００５８】
しかしながら、撮像装置１００からの距離が異なる被写体を撮像した場合には、図８に示すように、実際にはＭＴＦの分布が全く同じになる訳ではない。これは、位相板１１４を用いて撮像された中間画像におけるＭＴＦが、被写体との距離に応じてわずかに変動することに起因する。このようなＭＴＦの違いは、ＰＳＦを用いた復元処理後の画像においてゴーストなどとして現れ、画質劣化の原因となる。
【００５９】
これに対して、本実施の形態の撮像装置１００では、撮像を行うたびに、その撮像によって得られた中間画像からＰＳＦを求め、求めたＰＳＦを用いて中間画像に対する復元処理を行うようにする。このような処理により、被写体との距離の違いによるＰＳＦの誤差が理論上生じなくなるので、被写体像を高精度に復元できるようになる。
【００６０】
なお、本実施の形態の撮像装置１００では、被写体との距離の違いによるＰＳＦ誤差だけでなく、第１の実施の形態と同様に、位相板１１４を含む光学系の製造誤差によるＰＳＦの誤差も低減できることは言うまでもない。
【００６１】
図９は、第２の実施の形態に係る撮像装置の撮像処理手順を示すフローチャートである。
［ステップＳ１１］撮像制御部１５４は、入力部１５５のシャッタボタンが押下されたかを監視する。撮像制御部１５４は、シャッタボタンが押下されたことを検知すると、画像復元処理部１３０に対して撮像動作の開始信号を出力する。開始信号を受信した画像復元処理部１３０は、ステップＳ１２以降の処理を実行する。
【００６２】
［ステップＳ１２］撮像素子１２１によって撮像された画像（中間画像）の信号が、Ａ／Ｄコンバータ１２２によってデジタルデータ化される。撮像制御部１５４からの開始信号を受信した画像復元処理部１３０において、画像メモリ１３１は、Ａ／Ｄコンバータ１２２から出力された中間画像データを取り込む。
【００６３】
［ステップＳ１３］画像抽出部１３２は、不揮発性記憶部１４０から設計ＰＳＦ１４１を読み込む。画像抽出部１３２は、読み込んだ設計ＰＳＦ１４１を用いてパターンマッチングを行うことにより、画像メモリ１３１に記憶された中間画像データに基づく中間画像から部分画像を抽出する。
【００６４】
［ステップＳ１４］コンボリューション制御部１３３は、画像抽出部１３２によって抽出された部分画像のデータをＰＳＦとし、このＰＳＦを基に逆カーネル「ｈinv」を算出する。コンボリューション制御部１３３は、例えば、算出された逆カーネル「ｈinv」を画像メモリ１３１に一時的に格納する。
【００６５】
［ステップＳ１５］コンボリューション演算部１３４は、ステップＳ１４でコンボリューション制御部１３３によって算出された逆カーネル「ｈinv」を用いて、ステップＳ１２で画像メモリ１３１に記憶された中間画像データに対して、式（５）に従って畳み込み演算を行う。これにより、被写体像の復元処理が実行される。
【００６６】
コンボリューション演算部１３４によって演算処理された画像データは、ＤＳＰ１５１によって所定の画質補正処理および圧縮符号化処理が施された後、メモリカード１５３に記録される。
【００６７】
なお、上記の図９では静止画像の撮像動作について説明したが、例えば、表示部１５２に対してモニタ画像を表示する場合や、動画像を撮像して記録する場合には、上記のステップＳ１２〜Ｓ１５の処理が繰り返されればよい。また、モニタ画像の表示時や動画像の記録時には、部分画像の抽出および逆カーネル「ｈinv」の算出を一定時間ごとに実行するようにしてもよい。この場合、新たな逆カーネル「ｈinv」が算出されるまでの間、コンボリューション演算部１３４は同一の逆カーネル「ｈinv」を用いて演算処理を行う。このように、部分画像の抽出および逆カーネル「ｈinv」の算出を一定時間ごとに実行することにより、画像復元処理部１３０における処理負荷や消費電力を低減することができる。
【００６８】
また、図９の処理では、部分画像の抽出と被写体像の復元処理とを、画像メモリ１３１に記憶された同一の中間画像データを基に実行した。しかし、他の処理例として、被写体像の復元処理は、部分画像の抽出後に新たに画像メモリ１３１に記憶された中間画像データを基に実行されてもよい。
【００６９】
例えば、被写体像の復元処理の対象とする中間画像データは、部分画像の抽出対象とする中間画像データが画像メモリ１３１に取り込まれてから、画像抽出部１３２およびコンボリューション制御部１３３での処理に要する時間分だけ後に、画像メモリ１３１に取り込まれたものとされてもよい。このような処理により、画像の撮像タイミングと撮像画像のデータが画像復元処理部１３０から出力されるタイミングとの間に遅延が発生しないようになり、特にモニタ画像の表示時において、表示の遅延によってユーザに与える違和感をなくすことができる。
【００７０】
また、例えば、静止画像を撮像する際には、次のような処理が行われてもよい。まず、シャッタボタンが半押し状態にされたときに、部分画像の抽出および逆カーネル「ｈinv」の算出が行われる。そして、その後にシャッタボタンが全押しされたとき、その時点で画像メモリ１３１に取り込まれた中間画像データに対して、半押し状態の際に算出された逆カーネル「ｈinv」を用いて被写体像の復元処理が実行される。
【００７１】
〔第３の実施の形態〕
図１０は、第３の実施の形態に係る撮像装置の構成例を示す図である。なお、この図１０では、図２に対応する構成要素については同じ符号を付して示す。
【００７２】
第３の実施の形態に係る撮像装置１００ａは、撮像モードとして、部分画像の抽出および逆カーネル「ｈinv」の算出を行うＰＳＦ検出モードと、ＰＳＦ検出モードで算出された逆カーネル「ｈinv」を用いて撮像画像に対する被写体像の復元処理を行う本撮像モードの２種類を備える。これらの撮像モードは、例えば、入力部１５５が備えるモード選択ボタンをユーザが操作することにより選択される。撮像制御部１５４ａは、選択された撮像モードに従って、画像復元処理部１３０ａの動作を制御する。
【００７３】
画像復元処理部１３０ａは、図２に示した画像メモリ１３１およびコンボリューション演算部１３４を備える。ただし、コンボリューション演算部１３４は、上記２つの撮像モードのうち本撮像モードにおいてのみ動作する。また、画像復元処理部１３０ａは、画像抽出部１３２ａおよびコンボリューション制御部１３３ａを備える。画像抽出部１３２ａは、上記２つの撮像モードのうちＰＳＦ検出モードにおいてのみ動作する。
【００７４】
画像抽出部１３２ａは、画像メモリ１３１に記憶された中間画像データに基づく中間画像から、あらかじめ決められた領域を部分画像として抽出する。本実施の形態では例として、画像抽出部１３２ａは、中間画像の中心部を中心とした一定領域を部分画像として抽出する。
【００７５】
コンボリューション制御部１３３ａは、ＰＳＦ検出モードにおいては、図２に示したコンボリューション制御部１３３と同様、画像抽出部１３２によって抽出された部分画像を基に、逆カーネル「ｈinv」を算出する。ただし、コンボリューション制御部１３３ａは、算出した逆カーネル「ｈinv」を、カーネルデータ１４２として不揮発性記憶部１４０に記憶する。そして、本撮像モードに切り替えられた後、コンボリューション制御部１３３ａは、不揮発性記憶部１４０からカーネルデータ１４２を読み出し、コンボリューション演算部１３４に供給する。
【００７６】
ここで、ＰＳＦ検出モードにおける撮像動作について説明する。ＰＳＦ検出モードは、例えば、撮像装置１００ａの製品出荷前の段階、製品出荷後における撮像装置１００ａの初回電源投入時などに選択される。あるいは、撮像装置１００ａの電源が投入されるごとに、自動的にＰＳＦ検出モードになるようにしてもよい。
【００７７】
ＰＳＦ検出モードでは、撮像装置１００ａは、点画像を含む被写体を撮像することによって中間画像を取得し、得られた中間画像からＰＳＦを検出する。点画像を含む被写体を撮像する方法としては、次のような方法がある。
【００７８】
図１１は、ＰＳＦ検出モードにおける撮像動作例を示す第１の図である。
ＰＳＦ検出モードでは、撮像装置１００ａは、図１１に示すようなＰＳＦ検出モード専用の検出用被写体２００を撮像する。検出用被写体２００は、例えば、ピンホール２０１と光源２０２とを備え、ピンホール２０１の背面側から光源２０２によって光が発せられる。検出用被写体２００の撮像面は単色とされることが望ましく、ピンホール２０１から撮像装置１００ａ側に出射される光は、検出用被写体２００の撮像面とは輝度が異なるか、あるいは色が異なるものとされる。撮像装置１００ａは、検出用被写体２００を撮像することで、ピンホール２０１を点画像として認識することができる。
【００７９】
図１２は、ＰＳＦ検出モードにおける撮像動作例を示す第２の図である。
図１２に示すように、任意の撮像面２１１に対して、レーザポインタなどの光源２１２からの光を照射することにより、撮像面２１１に点画像２１３を生成することもできる。この場合、撮像面２１１は単色であることが望ましく、撮像面２１１に生成された点画像２１３は、撮像面２１１とは異なる明るさか、あるいは撮像面２１１とは異なる色とされる。ＰＳＦ検出モードにおいて、撮像装置１００ａは、撮像面２１１に生成された点画像２１３を撮像することで、ＰＳＦを検出する。
【００８０】
なお、光源２１２は、撮像装置１００ａに搭載されてもよい。ただし、この場合、撮像面２１１と撮像装置１００ａとの距離を所定の距離としたときに、光源２１２によって生成された点画像２１３が撮像装置１００ａからの画角の中心に配置されるように、光源２１２の照射角度が調整される。
【００８１】
図１３は、ＰＳＦ検出モードにおける撮像動作例を示す第３の図である。
図１３に示すように、撮像装置１００ａは、ＰＳＦ検出モードにおいて、点画像２２１があらかじめ配置された画像を撮像してもよい。ただし、点画像２２１は、他の画像２２２と離間して配置され、なおかつ、点画像２２１と、この点画像２２１が位相板１１４の作用によって分散された画像成分とが、単色の領域に配置されることが望ましい。
【００８２】
図１４は、第３の実施の形態に係る撮像装置のＰＳＦ検出モードにおける撮像処理手順を示すフローチャートである。
［ステップＳ２１］撮像制御部１５４ａは、入力部１５５のシャッタボタンが押下されたかを監視する。撮像制御部１５４ａは、シャッタボタンが押下されたことを検知すると、画像復元処理部１３０ａに対して撮像動作の開始信号を出力する。開始信号を受信した画像復元処理部１３０ａは、ステップＳ２２以降の処理を実行する。
【００８３】
［ステップＳ２２］撮像素子１２１によって撮像された画像（中間画像）の信号が、Ａ／Ｄコンバータ１２２によってデジタルデータ化される。撮像制御部１５４ａからの開始信号を受信した画像復元処理部１３０ａにおいて、画像メモリ１３１は、Ａ／Ｄコンバータ１２２から出力された中間画像データを取り込む。
【００８４】
［ステップＳ２３］画像抽出部１３２ａは、画像メモリ１３１に記憶された中間画像データに基づく中間画像から、あらかじめ決められた領域を部分画像として抽出する。ここで、ユーザは、ステップＳ２１でシャッタボタンを押下する際に、点画像が画角の中心に配置されるようにする。これにより、画像抽出部１３２ａは、中間画像の中央部を中心とした所定の大きさの領域を抽出することで、点画像とその点画像が分散した成分とを含む領域を、部分画像として抽出することができる。
【００８５】
なお、このステップＳ２３では、第２の実施の形態の画像抽出部１３２と同様に、中間画像と設計ＰＳＦ１４１とをパターンマッチングすることにより、部分画像が抽出されてもよい。
【００８６】
［ステップＳ２４］コンボリューション制御部１３３ａは、画像抽出部１３２ａによって抽出された部分画像のデータをＰＳＦとし、このＰＳＦを基に逆カーネル「ｈinv」を算出する。コンボリューション制御部１３３ａは、算出した逆カーネル「ｈinv」を、カーネルデータ１４２として不揮発性記憶部１４０に記憶する。
【００８７】
図１５は、第３の実施の形態に係る撮像装置の本撮像モードにおける撮像処理手順を示すフローチャートである。
［ステップＳ３１］撮像制御部１５４ａは、入力部１５５のシャッタボタンが押下されたかを監視する。撮像制御部１５４ａは、シャッタボタンが押下されたことを検知すると、画像復元処理部１３０ａに対して撮像動作の開始信号を出力する。開始信号を受信した画像復元処理部１３０ａは、ステップＳ３２以降の処理を実行する。
【００８８】
［ステップＳ３２］撮像素子１２１によって撮像された画像（中間画像）の信号が、Ａ／Ｄコンバータ１２２によってデジタルデータ化される。撮像制御部１５４ａからの開始信号を受信した画像復元処理部１３０ａにおいて、画像メモリ１３１は、Ａ／Ｄコンバータ１２２から出力された中間画像データを取り込む。
【００８９】
［ステップＳ３３］コンボリューション制御部１３３ａは、不揮発性記憶部１４０からカーネルデータ１４２を読み出す。なお、ステップＳ３２，Ｓ３３の処理順は、逆であってもよい。あるいは、ステップＳ３２，Ｓ３３の各処理が並列に実行されてもよい。
【００９０】
［ステップＳ３４］コンボリューション演算部１３４は、コンボリューション制御部１３３ａによって不揮発性記憶部１４０から読み出されたカーネルデータ１４２を用いて、ステップＳ３２で画像メモリ１３１に記憶された中間画像データに対して、式（５）に従って畳み込み演算を行う。これにより、被写体像の復元処理が実行される。
【００９１】
コンボリューション演算部１３４によって演算処理された画像データは、ＤＳＰ１５１によって所定の画質補正処理および圧縮符号化処理が施された後、メモリカード１５３に記録される。
【００９２】
以上の第３の実施の形態では、コンボリューション演算部１３４は、実際の撮像によって得られた中間画像から求められたカーネルデータ１４２を用いて被写体像の復元処理を行う。このため、光学系の設計値から求めたカーネルデータを用いて復元処理を行う場合と比較して、被写体像をより高精度に復元できるようになる。また、カーネルデータ１４２の算出処理をＰＳＦ検出モードにおいて行い、本撮像モードでは、不揮発性記憶部１４０に記憶されたカーネルデータ１４２を用いて被写体像の復元処理が実行されるので、本撮像モードにおける処理負荷を軽減し、復元処理を高速化することができる。
【００９３】
〔第４の実施の形態〕
上記の第３の実施の形態では、ＰＳＦ検出モードにおいて、単色の領域に配置された点画像を撮像した。これに対して、撮像対象の点画像を特定の色にしておくことにより、点画像がどのような被写体の上に存在する場合であっても、点画像とそれが分散された画像成分とを中間画像から分離してＰＳＦを算出することができるようになる。
【００９４】
以下、第４の実施の形態として、特定の色の点画像を含む被写体を撮像することでＰＳＦを算出することが可能な撮像装置について説明する。なお、第４の実施の形態に係る撮像装置は、コンボリューション制御部１３３ａが部分画像から特定の色領域の色を有する画素を分離する機能をさらに有すること以外、第３の実施の形態に係る撮像装置１００ａと同様の構成を有する。このため、以下の第４の実施の形態の説明では、第３の実施の形態と同じ符号を使用する。
【００９５】
図１６は、ＰＳＦ検出モードにおいて撮像の対象とする被写体の例を示す図である。
図１６に示す被写体は、任意の画像２３１と、画像２３１の内部に配置された特定の色の点画像２３２とを含む。点画像２３２の色は、少なくとも、点画像２３２の周辺領域のうち、この点画像２３２が位相板１１４の作用によって分散された画像成分を含む領域とは異なる色とされればよい。また、点画像２３２は、画像２３１の内部にあらかじめ配置されたものでよい。この場合、点画像２３２を含む画像２３１は、例えば、収差補正用のテスト画像などと兼用されてもよい。あるいは、点画像２３２は、図１２に示したように、外部の光源２１２から画像２３１に対して光を照射することで生成されてもよい。
【００９６】
図１７は、第４の実施の形態に係る撮像装置のＰＳＦ検出モードにおける撮像処理手順を示すフローチャートである。
［ステップＳ４１］撮像制御部１５４ａは、入力部１５５のシャッタボタンが押下されたかを監視する。撮像制御部１５４ａは、シャッタボタンが押下されたことを検知すると、画像復元処理部１３０ａに対して撮像動作の開始信号を出力する。開始信号を受信した画像復元処理部１３０ａは、ステップＳ４２以降の処理を実行する。
【００９７】
［ステップＳ４２］撮像素子１２１によって撮像された画像（中間画像）の信号が、Ａ／Ｄコンバータ１２２によってデジタルデータ化される。撮像制御部１５４ａからの開始信号を受信した画像復元処理部１３０ａにおいて、画像メモリ１３１は、Ａ／Ｄコンバータ１２２から出力された中間画像データを取り込む。
【００９８】
［ステップＳ４３］画像抽出部１３２ａは、画像メモリ１３１に記憶された中間画像データに基づく中間画像から、あらかじめ決められた領域を部分画像として抽出する。なお、第３の実施の形態と同様に、ユーザは、ステップＳ４１でシャッタボタンを押下する際に、点画像２３２が画角の中心に配置されるようにする。これにより、画像抽出部１３２ａは、中間画像の中央部の所定領域を抽出することで、点画像２３２とその点画像２３２が分散した成分とを含む領域を、部分画像として抽出することができる。
【００９９】
なお、このステップＳ４３では、第２の実施の形態の画像抽出部１３２と同様に、中間画像と設計ＰＳＦ１４１とをパターンマッチングすることにより、部分画像が抽出されてもよい。
【０１００】
［ステップＳ４４］コンボリューション制御部１３３ａは、画像抽出部１３２ａによって抽出された部分画像のデータから、Ｒ（Red）成分およびＧ（Green）成分を分離する。コンボリューション制御部１３３ａは、部分画像の各画素についてＲ成分の値からＧ成分の値を減算し、その減算結果が所定のしきい値ｔｈ１以上であるかを判定する。コンボリューション制御部１３３ａは、減算結果がしきい値ｔｈ１以上である場合には、その減算結果を画素の値とし、減算結果がしきい値ｔｈ１未満である場合には、画素の値を０にすることにより、（Ｒ−Ｇ）成分の画像を生成する。コンボリューション制御部１３３ａは、生成した画像のデータを画像メモリ１３１に一時的に格納する。
【０１０１】
［ステップＳ４５］コンボリューション制御部１３３ａは、画像抽出部１３２ａによって抽出された部分画像のデータから、Ｒ成分およびＢ（Blue）成分を分離する。コンボリューション制御部１３３ａは、部分画像の各画素についてＲ成分の値からＢ成分の値を減算し、その減算結果が所定のしきい値ｔｈ２以上であるかを判定する。コンボリューション制御部１３３ａは、減算結果がしきい値ｔｈ２以上である場合には、その減算結果を画素の値とし、減算結果がしきい値ｔｈ２未満である場合には、画素の値を０にすることにより、（Ｒ−Ｂ）成分の画像を生成する。コンボリューション制御部１３３ａは、生成した画像のデータを画像メモリ１３１に一時的に格納する。
【０１０２】
なお、ステップＳ４４，Ｓ４５の処理順は、逆であってもよい。あるいは、ステップＳ４４，Ｓ４５の処理が並列に実行されてもよい。
［ステップＳ４６］コンボリューション制御部１３３ａは、ステップＳ４４，Ｓ４５でそれぞれ生成した画像について、各画素の値の平均を演算することで、ＰＳＦを算出する。
【０１０３】
［ステップＳ４７］コンボリューション制御部１３３ａは、算出したＰＳＦを基に逆カーネル「ｈinv」を算出し、算出した逆カーネル「ｈinv」を、カーネルデータ１４２として不揮発性記憶部１４０に記憶する。
【０１０４】
なお、本撮像モードにおける撮像処理手順は、図１５に示した処理手順と同じであるので、ここでは説明を省略する。
また、上記の図１７の処理では、特定の色として赤色の点画像２３２を検出する場合の例を示したが、点画像２３２の色としては赤色に限らない。例えば、図１７のステップＳ４４において、Ｒ成分の値からＧ成分の値を減算する代わりにＢ成分の値からＲ成分の値を減算し、ステップＳ４５において、Ｒ成分の値からＢ成分の値を減算する代わりにＢ成分の値からＧ成分の値を減算することにより、青色の点画像２３２を検出することができる。
【０１０５】
以上の第４の実施の形態では、第３の実施の形態と同様に、光学系の設計値から求めたカーネルデータを用いて復元処理を行う場合と比較して、被写体像をより高精度に復元できるという効果が得られる。また、本撮像モードにおける処理負荷を軽減し、復元処理を高速化できるという効果も得られる。さらに、第４の実施の形態では、第３の実施の形態と比較して、ＰＳＦ検出モードで撮像の対象とする被写体の汎用性を高めることができる。
【０１０６】
〔第５の実施の形態〕
以下の第５の実施の形態に係る撮像装置は、ＰＳＦ検出用の撮像時に被写体に点画像を生成する光源を搭載する。そして、光源を用いて撮像を行うことでＰＳＦを取得した直後に、光源から光を照射しない状態で本撮像を行うようにする。このような動作により、光学系の製造誤差によるＰＳＦの誤差だけでなく、被写体との距離の違いによるＰＳＦ誤差も低減できるようにする。
【０１０７】
図１８は、第５の実施の形態に係る撮像装置の構成例を示す図である。なお、この図１８では、図２に対応する構成要素については同じ符号を付して示す。
図１８に示す撮像装置１００ｂにおいて、画像復元処理部１３０ｂは、図２に示した画像メモリ１３１、コンボリューション制御部１３３およびコンボリューション演算部１３４を備える。さらに、画像復元処理部１３０ｂは、画像抽出部１３２ｂを備える。画像抽出部１３２ｂは、図２の画像抽出部１３２と同様に、パターンマッチングにより中間画像から部分画像を抽出する処理を行う。ただし、画像抽出部１３２ｂは、中間画像から特定の色領域の色を有する画素を分離して特定色画像を生成し、この特定色画像から部分画像を抽出する。
【０１０８】
さらに、撮像装置１００ｂは、被写体上に特定の色の点画像を生成する光源１６１を備える。光源１６１は、例えばレーザ発光素子である。図１６の点画像２３２と同様に、光源１６１が被写体上に生成する点画像の色は、少なくとも、被写体における点画像の周辺領域のうち、この点画像が位相板１１４の作用によって分散された画像成分を含む領域とは異なる色とされる。従って、光源１６１は、例えば、被写体の色と異なる色の点画像を生成できるように、複数の色の光を切り替えて照射することが可能とされてもよい。
【０１０９】
図１９は、第５の実施の形態に係る撮像装置の撮像処理手順を示すフローチャートである。
［ステップＳ５１］撮像制御部１５４ｂは、入力部１５５のシャッタボタンが押下されたかを監視する。撮像制御部１５４ｂがシャッタボタンが押下されたことを検知すると、ステップＳ５２以降の処理が実行される。
【０１１０】
［ステップＳ５２］撮像制御部１５４ｂは、光源１６１をオンにして、光源１６１から被写体に対して光を照射させる。撮像制御部１５４ｂは、光源１６１からの光が照射された被写体を、撮像素子１２１に撮像させる。
【０１１１】
［ステップＳ５３］撮像素子１２１によって撮像された画像（中間画像）の信号は、Ａ／Ｄコンバータ１２２によってデジタルデータ化され、中間画像データとして画像メモリ１３１に取り込まれる。
【０１１２】
［ステップＳ５４］画像抽出部１３２ｂは、ステップＳ５３で画像メモリ１３１に取り込まれた中間画像データから、Ｒ成分およびＧ成分を分離する。画像抽出部１３２ｂは、中間画像の各画素についてＲ成分の値からＧ成分の値を減算し、その減算結果が所定のしきい値ｔｈ１以上であるかを判定する。画像抽出部１３２ｂは、減算結果がしきい値ｔｈ１以上である場合には、その減算結果を画素の値とし、減算結果がしきい値ｔｈ１未満である場合には、画素の値を０にすることにより、（Ｒ−Ｇ）成分の画像を生成する。画像抽出部１３２ｂは、生成した画像のデータを画像メモリ１３１に一時的に格納する。
【０１１３】
［ステップＳ５５］画像抽出部１３２ｂは、ステップＳ５３で画像メモリ１３１に取り込まれた中間画像データから、Ｒ成分およびＢ成分を分離する。画像抽出部１３２ｂは、中間画像の各画素についてＲ成分の値からＢ成分の値を減算し、その減算結果が所定のしきい値ｔｈ２以上であるかを判定する。画像抽出部１３２ｂは、減算結果がしきい値ｔｈ２以上である場合には、その減算結果を画素の値とし、減算結果がしきい値ｔｈ２未満である場合には、画素の値を０にすることにより、（Ｒ−Ｂ）成分の画像を生成する。画像抽出部１３２ｂは、生成した画像のデータを画像メモリ１３１に一時的に格納する。
【０１１４】
なお、ステップＳ５４，Ｓ５５の処理順は、逆であってもよい。あるいは、ステップＳ５４，Ｓ５５の処理が並列に実行されてもよい。
［ステップＳ５６］画像抽出部１３２ｂは、ステップＳ５４，Ｓ５５でそれぞれ生成した画像について、各画素の値の平均を演算することで、特定色画像を生成する。画像抽出部１３２ｂは、生成した特定色画像のデータを画像メモリ１３１に一時的に格納する。
【０１１５】
［ステップＳ５７］画像抽出部１３２ｂは、不揮発性記憶部１４０から設計ＰＳＦ１４１を読み込む。画像抽出部１３２ｂは、読み込んだ設計ＰＳＦ１４１を用いてパターンマッチングを行うことにより、ステップＳ５７で生成した特定色画像から部分画像を抽出する。
【０１１６】
なお、部分画像の抽出にパターンマッチングを使用することで、例えば、被写体の表面が曲面の場合など、光源１６１からの光による点画像の画角内の位置が不安定になる場合でも、部分画像を精度よく抽出できる。ただし、第４の実施の形態のように、パターンマッチングを用いず、部分画像をあらかじめ決められた領域から抽出するようにしてもよい。この場合、ステップＳ５４〜Ｓ５７の処理は、図１７のステップＳ４３〜Ｓ４６の処理手順のように、先に部分画像を抽出し、抽出した部分画像から（Ｒ−Ｇ）成分および（Ｒ−Ｂ）成分の各画像を生成し、各画像の平均をとることによってＰＳＦを求めるように変更してもよい。部分画像をあらかじめ決められた領域から抽出した場合でも、例えば、被写体が平板状の場合などでは、部分画像を精度よく抽出できる。
【０１１７】
［ステップＳ５８］コンボリューション制御部１３３は、ステップＳ５７で画像抽出部１３２ｂによって抽出された部分画像のデータをＰＳＦとし、このＰＳＦを基に逆カーネル「ｈinv」を算出する。コンボリューション制御部１３３は、例えば、算出された逆カーネル「ｈinv」を画像メモリ１３１に一時的に格納する。
【０１１８】
［ステップＳ５９］撮像制御部１５４ｂは、光源１６１をオフにし、光源１６１によって生成された点画像が消滅した被写体を、撮像素子１２１に撮像させる。
［ステップＳ６０］撮像素子１２１によって撮像された画像（中間画像）の信号は、Ａ／Ｄコンバータ１２２によってデジタルデータ化され、中間画像データとして画像メモリ１３１に取り込まれる。
【０１１９】
［ステップＳ６１］コンボリューション演算部１３４は、ステップＳ５８でコンボリューション制御部１３３によって算出された逆カーネル「ｈinv」を用いて、ステップＳ６０で画像メモリ１３１に記憶された中間画像データに対して、式（５）に従って畳み込み演算を行う。これにより、被写体像の復元処理が実行される。
【０１２０】
コンボリューション演算部１３４によって演算処理された画像データは、ＤＳＰ１５１によって所定の画質補正処理および圧縮符号化処理が施された後、メモリカード１５３に記録される。
【０１２１】
なお、上記の図１９の処理では、特定の色として赤色の点画像を検出する場合の例を示したが、点画像の色としては赤色に限らない。
以上の第５の実施の形態では、第２の実施の形態と同様に、撮像を行うたびに、その撮像によって得られた中間画像からＰＳＦが求められ、求められたＰＳＦを用いて中間画像に対する復元処理が行われる。このような処理により、被写体との距離の違いによるＰＳＦの誤差が理論上生じなくなるので、被写体との距離によらず、被写体像を高精度に復元できるようになる。また、第５の本実施の形態では、被写体との距離の違いによるＰＳＦ誤差だけでなく、第１，第３，第４の各実施の形態と同様に、位相板１１４を含む光学系の製造誤差によるＰＳＦの誤差も低減できる。
【０１２２】
〔第６の実施の形態〕
上記の第１〜第５の実施の形態では、中間画像内の一箇所から抽出した部分画像をＰＳＦとし、この１つのＰＳＦを用いて被写体像の復元処理を行った。これに対して、ＰＳＦを複数求め、被写体像の復元処理時に複数のＰＳＦの中から適切なＰＳＦを選択するという方法もある。以下の第６の実施の形態では、複数のＰＳＦを求める例として、中間画像内の複数箇所からそれぞれＰＳＦを求め、これらのＰＳＦを復元処理時に選択的に使用する撮像装置について説明する。
【０１２３】
図２０は、第６の実施の形態に係る撮像装置の構成例を示す図である。なお、この図２０では、図２および図１０に対応する構成要素については同じ符号を付して示す。
図２０に示す撮像装置１００ｃにおいて、画像復元処理部１３０ｃは、図１０に示した画像メモリ１３１を備える。さらに、画像復元処理部１３０ｃは、画像抽出部１３２ｃ、コンボリューション制御部１３３ｃおよびコンボリューション演算部１３４ｃを備える。
【０１２４】
画像抽出部１３２ｃは、図１０の画像抽出部１３２ａと同様に、中間画像の所定領域から部分画像を抽出する。ただし、画像抽出部１３２ｃは、中間画像内の複数領域から部分画像を抽出する。
【０１２５】
コンボリューション制御部１３３ｃは、図１０のコンボリューション制御部１３３ａと同様に、ＰＳＦ検出モードにおいて、画像抽出部１３２ｃによって抽出された部分画像をＰＳＦとし、このＰＳＦを基に逆カーネル「ｈinv」を算出して、算出した逆カーネル「ｈinv」をカーネルデータ１４２として不揮発性記憶部１４０に保存する。ただし、コンボリューション制御部１３３ｃは、画像抽出部１３２ｃによって抽出された複数の部分画像のそれぞれを基にカーネルデータ１４２を算出し、算出した複数のカーネルデータ１４２を不揮発性記憶部１４０に保存する。
【０１２６】
コンボリューション演算部１３４ｃは、図１０のコンボリューション演算部１３４と同様に、本撮像モードにおいて、画像メモリ１３１に記憶された中間画像データに対して、カーネルデータ１４２を用いて被写体像の復元処理を行う。ただし、コンボリューション演算部１３４ｃは、中間画像を複数の領域に分割し、不揮発性記憶部１４０に記憶された複数のカーネルデータ１４２のうち、各分割領域に対応する適切なカーネルデータ１４２を用いて、被写体像の復元処理を行う。これにより、画角内の位置の違いに応じて発生し得るＰＳＦの誤差を低減することができる。画角内の位置の違いに応じてＰＳＦの誤差が発生する要因としては、例えば、光学ブロック１１０内のレンズの収差などがある。
【０１２７】
図２１は、ＰＳＦ検出モードにおいて撮像の対象とする被写体の例を示す図である。
本実施の形態の撮像装置１００ｃは、ＰＳＦ検出モードにおいて、図２１に示すような複数の点画像２４１〜２４５を撮像する。点画像２４１〜２４５は、各点画像２４１〜２４５が位相板１１４の作用によって分散された成分が互いに重複しないように、互いに離間して配置される。また、本実施の形態では、例として、各点画像２４１〜２４５は同じ色とされる。この場合、各点画像２４１〜２４５の色を背景画像２４６の色とは異なるものとすることで、撮像装置１００ｃは、各点画像２４１〜２４５を背景画像２４６から分離して検出することができる。
【０１２８】
点画像２４１〜２４５は、例えば、図１２に示したように、外部の光源から被写体に光を照射することで生成されたものであってよい。あるいは、点画像２４１〜２４５は、被写体状にあらかじめ配置されたものであってもよい。
【０１２９】
図２２は、部分画像を抽出する領域の設定例を示す図である。
図２２に示す中間画像２５０は、ＰＳＦ検出モードにおいて撮像された画像である。画像抽出部１３２ｃは、中間画像２５０の領域内にあらかじめ決められた部分画像領域２５１〜２５５のそれぞれから、部分画像を抽出する。部分画像領域２５１〜２５５は、それぞれ図２１に示した点画像２４１〜２４５に対応付けられている。
【０１３０】
ＰＳＦ検出モードにおいて、ユーザは、点画像２４１〜２４５が、それぞれ部分画像領域２５１〜２５５の略中心部に配置されるように、画角を調整して撮像を行う。ここで、部分画像領域２５１〜２５５のそれぞれの大きさは、点画像２４１〜２４５のそれぞれが位相板１１４によって分散された成分の領域を含むように決定される。
【０１３１】
なお、例えば、ＰＳＦ検出モードでは、モニタ画像を表示する表示部１５２の領域内に、部分画像領域２５１〜２５５をそれぞれ示す枠を表示することで、ユーザは、点画像２４１〜２４５がそれぞれ部分画像領域２５１〜２５５の略中心部に配置されるように画角を調整することができる。このように、点画像２４１〜２４５がそれぞれ部分画像領域２５１〜２５５の略中心部に配置された状態で撮像が行われることで、画像抽出部１３２ｃは、パターンマッチングを用いずに、あらかじめ設定された領域から画像を抽出するという簡単な処理で複数の部分画像を抽出できるようになる。
【０１３２】
図２３は、中間画像を分割した分割領域の例を示す図である。
図２３の中間画像２６０は、コンボリューション演算部１３４ｃが演算の対象とする撮像画像である。コンボリューション演算部１３４ｃは、本撮像モードにおいて、演算対象とする中間画像２６０を複数の領域に分割し、各分割領域に対応するカーネルデータ１４２を用いて、被写体の復元処理を行う。
【０１３３】
図２３の例では、コンボリューション演算部１３４ｃは、演算対象とする中間画像２６０を５つの分割領域２６１〜２６５に分割する。分割領域２６１〜２６５は、それぞれ図２２に示した部分画像領域２５１〜２５５を包含するように設定される。コンボリューション演算部１３４ｃは、分割領域２６１についての復元処理を実行する際には、部分画像領域２５１を基に算出されたカーネルデータ１４２を使用する。同様に、コンボリューション演算部１３４ｃは、分割領域２６２〜２６５についての復元処理を実行する際には、それぞれ部分画像領域２５２〜２５５を基に算出されたカーネルデータ１４２を使用する。これにより、画角内の位置の違いに応じたＰＳＦの誤差が低減され、各分割領域における被写体像をより高精度に復元することができる。
【０１３４】
図２４は、第６の実施の形態に係る撮像装置のＰＳＦ検出モードにおける撮像処理手順を示すフローチャートである。
［ステップＳ７１］撮像制御部１５４ａは、入力部１５５のシャッタボタンが押下されたかを監視する。撮像制御部１５４ａは、シャッタボタンが押下されたことを検知すると、画像復元処理部１３０ｃに対して撮像動作の開始信号を出力する。開始信号を受信した画像復元処理部１３０ｃは、ステップＳ７２以降の処理を実行する。
【０１３５】
［ステップＳ７２］撮像素子１２１によって撮像された画像（中間画像）の信号が、Ａ／Ｄコンバータ１２２によってデジタルデータ化される。撮像制御部１５４ａからの開始信号を受信した画像復元処理部１３０ｃにおいて、画像メモリ１３１は、Ａ／Ｄコンバータ１２２から出力された中間画像データを取り込む。
【０１３６】
［ステップＳ７３］画像抽出部１３２ｃは、あらかじめ決められた複数の部分画像領域２５１〜２５５のうち１つを選択し、画像メモリ１３１に記憶された中間画像データに基づく中間画像から、選択した部分画像領域を部分画像として抽出する。
【０１３７】
なお、このステップＳ７３では、第２の実施の形態の画像抽出部１３２と同様に、中間画像と設計ＰＳＦ１４１とをパターンマッチングすることにより、部分画像が抽出されてもよい。パターンマッチングを行う場合、画像抽出部１３２ｃは例えば、ステップＳ７３において、図２３に示した分割領域２６１〜２６５のうちの１つを選択し、中間画像上の選択した分割領域に対して、設計ＰＳＦ１４１とのパターンマッチングを行う。
【０１３８】
［ステップＳ７４］コンボリューション制御部１３３ｃは、ステップＳ７３で画像抽出部１３２ｃによって抽出された部分画像のデータから、Ｒ成分およびＧ成分を分離する。コンボリューション制御部１３３ｃは、部分画像の各画素についてＲ成分の値からＧ成分の値を減算し、その減算結果が所定のしきい値ｔｈ１以上であるかを判定する。コンボリューション制御部１３３ｃは、減算結果がしきい値ｔｈ１以上である場合には、その減算結果を画素の値とし、減算結果がしきい値ｔｈ１未満である場合には、画素の値を０にすることにより、（Ｒ−Ｇ）成分の画像を生成する。コンボリューション制御部１３３ｃは、生成した画像のデータを画像メモリ１３１に一時的に格納する。
【０１３９】
［ステップＳ７５］コンボリューション制御部１３３ｃは、ステップＳ７３で画像抽出部１３２ａによって抽出された部分画像のデータから、Ｒ成分およびＢ成分を分離する。コンボリューション制御部１３３ｃは、部分画像の各画素についてＲ成分の値からＢ成分の値を減算し、その減算結果が所定のしきい値ｔｈ２以上であるかを判定する。コンボリューション制御部１３３ｃは、減算結果がしきい値ｔｈ２以上である場合には、その減算結果を画素の値とし、減算結果がしきい値ｔｈ２未満である場合には、画素の値を０にすることにより、（Ｒ−Ｂ）成分の画像を生成する。コンボリューション制御部１３３ｃは、生成した画像のデータを画像メモリ１３１に一時的に格納する。
【０１４０】
なお、ステップＳ７４，Ｓ７５の処理順は、逆であってもよい。あるいは、ステップＳ７４，Ｓ７５の処理が並列に実行されてもよい。
［ステップＳ７６］コンボリューション制御部１３３ｃは、ステップＳ７４，Ｓ７５でそれぞれ生成した画像について、各画素の値の平均を演算することで、ＰＳＦを算出する。
【０１４１】
［ステップＳ７７］コンボリューション制御部１３３ｃは、ステップＳ７６で算出したＰＳＦを基に逆カーネル「ｈinv」を算出し、算出した逆カーネル「ｈinv」を、カーネルデータ１４２として不揮発性記憶部１４０に記憶する。
【０１４２】
［ステップＳ７８］画像抽出部１３２ｃは、あらかじめ決められた複数の部分画像の領域のすべてについてステップＳ７３〜Ｓ７７の処理を実行したかを判定する。画像抽出部１３２ｃは、上記処理が済んでいない領域が存在すると判定した場合、ステップＳ７３の処理を実行する。この場合、画像抽出部１３２ｃは、ステップＳ７３において、処理済みでない新たな領域を選択し、中間画像から選択した領域を部分画像として抽出する。一方、画像抽出部１３２ｃは、すべての領域について上記処理が実行されたと判定した場合には、ＰＳＦ検出モードでの処理を終了する。
【０１４３】
図２５は、第６の実施の形態に係る撮像装置の本撮像モードにおける撮像処理手順を示すフローチャートである。
［ステップＳ８１］撮像制御部１５４ａは、入力部１５５のシャッタボタンが押下されたかを監視する。撮像制御部１５４ａは、シャッタボタンが押下されたことを検知すると、画像復元処理部１３０ｃに対して撮像動作の開始信号を出力する。開始信号を受信した画像復元処理部１３０ｃは、ステップＳ８２以降の処理を実行する。
【０１４４】
［ステップＳ８２］撮像素子１２１によって撮像された画像（中間画像）の信号が、Ａ／Ｄコンバータ１２２によってデジタルデータ化される。撮像制御部１５４ａからの開始信号を受信した画像復元処理部１３０ｃにおいて、画像メモリ１３１は、Ａ／Ｄコンバータ１２２から出力された中間画像データを取り込む。
【０１４５】
［ステップＳ８３］コンボリューション制御部１３３ｃは、中間画像の領域のうち、コンボリューション演算部１３４ｃにおいて演算対象とする分割領域を選択する。
［ステップＳ８４］コンボリューション制御部１３３ｃは、ステップＳ８３で選択した分割領域に対応するカーネルデータ１４２を、不揮発性記憶部１４０から読み出す。
【０１４６】
［ステップＳ８５］コンボリューション演算部１３４ｃは、コンボリューション制御部１３３ｃによって不揮発性記憶部１４０から読み出されたカーネルデータ１４２を用いて、ステップＳ８２で画像メモリ１３１に記憶された中間画像データのうち、ステップＳ８３で選択した分割領域のデータに対して、式（５）に従って畳み込み演算を行う。コンボリューション演算部１３４ｃは、演算済みの画像データを、例えば、画像メモリ１３１に一時的に格納する。
【０１４７】
［ステップＳ８６］コンボリューション制御部１３３ｃは、コンボリューション演算部１３４ｃによって演算対象とするすべての分割領域について、ステップＳ８３〜Ｓ８５の処理を実行したかを判定する。コンボリューション制御部１３３ｃは、上記処理が済んでいない分割領域が存在すると判定した場合には、ステップＳ８３の処理を実行する。この場合、コンボリューション制御部１３３ｃは、処理済みでない新たな分割領域を選択し、選択した分割領域に対応するカーネルデータ１４２を、不揮発性記憶部１４０から読み出す。一方、コンボリューション制御部１３３ｃは、すべての分割領域について上記処理が実行されたと判定した場合には、コンボリューション演算部１３４ｃにステップＳ８７の処理を実行させる。
【０１４８】
［ステップＳ８７］コンボリューション演算部１３４ｃは、ステップＳ８５で演算が施された各画像を統合し、被写体像が復元された画像としてＤＳＰ１５１に出力する。
コンボリューション演算部１３４ｃから出力された画像データは、ＤＳＰ１５１によって所定の画質補正処理および圧縮符号化処理が施された後、メモリカード１５３に記録される。
【０１４９】
以上の第６の実施の形態では、中間画像上の複数の領域からＰＳＦが求められ、復元対象とする中間画像上の領域ごとに、各領域に対応するＰＳＦを用いて被写体像の復元処理が実行される。このような処理により、画角内の位置の違いに応じたＰＳＦの誤差が低減され、各分割領域における被写体像をより高精度に復元することができる。
【０１５０】
なお、上記の第６の実施の形態で説明した、複数の領域からそれぞれ求めたＰＳＦのいずれかを用いて被写体像を復元するという処理は、前述の第３，第５の実施の形態にも適用することが可能である。
【０１５１】
また、中間画像に基づくＰＳＦを複数求め、被写体像の復元処理時にＰＳＦを選択的に使用する他の例としては、ＰＳＦ検出モードにおいて、撮像装置との距離が異なる複数の被写体を撮像し、これらの撮像によって得られた複数の中間画像のそれぞれからＰＳＦを求める方法が考えられる。この場合、撮像装置は、被写体との距離を計測する距離計を備え、本撮像モードにおいて、距離計によって被写体との距離を計測し、計測した距離に対応するＰＳＦを用いて被写体像の復元処理を行う。これにより、第２の実施の形態と同様に、被写体との距離の違いによるＰＳＦの誤差が低減されるので、被写体との距離によらず、被写体像を高精度に復元できるようになる。
【０１５２】
また、上記の第２〜第６の実施の形態では、位相変調素子として厚さが変化する位相板を用いたが、位相変調素子としてはこのような位相板に限定されない。他の位相変調素子としては、例えば、屈折率分布型波面変調レンズのように、屈折率が場所によって変化する光学素子、あるいは、波面変調ハイブリッドレンズのように、レンズ表面へのコーディングなどにより厚みや屈折率が変化する光学素子、液晶空間位相変調素子のように、位相分布を変調可能な液晶素子などを使用できる。
【０１５３】
また、上記の第２〜第６の実施の形態では、入射光を２方向に分散させる位相変調素子が用いられたが、位相変調素子としてはこのようなものに限らず、入射光を規則的に分散させる種々の位相変調素子を使用できる。
【０１５４】
以上の各実施の形態に関し、さらに以下の付記を開示する。
（付記１） 被写体からの光を位相変調素子を通じて受光する撮像素子と、
前記撮像素子によって得られた撮像画像から、点画像が分散された領域を含む部分画像を抽出する画像抽出部と、
前記画像抽出部によって抽出された前記部分画像を点像分布関数として用い、前記撮像素子によって得られた撮像画像に対して被写体像を復元する処理を施す復元処理部と、
を有することを特徴とする撮像装置。
【０１５５】
（付記２） 前記復元処理部は、前記画像抽出部によって前記部分画像の抽出対象とされた撮像画像と同じ撮像画像に対して、被写体像を復元する処理を施すことを特徴とする付記１記載の撮像装置。
【０１５６】
（付記３） 前記画像抽出部は、前記撮像素子によって得られた撮像画像に対して、前記位相変調素子を含む光学系の設計値から算出された他の点像分布関数とのパターンマッチングを行うことで、前記部分画像を抽出することを特徴とする付記１または２記載の撮像装置。
【０１５７】
（付記４） 前記復元処理部は、前記画像抽出部による前記部分画像の抽出後に前記撮像素子によって新たに得られた撮像画像に対して、前記画像抽出部によって抽出された前記部分画像を点像分布関数として用い、前記被写体像を復元する処理を施すことを特徴とする付記１記載の撮像装置。
【０１５８】
（付記５） 前記被写体に対して光を照射することで前記被写体上に前記点画像を生成する発光部をさらに有し、
前記画像抽出部は、前記発光部からの光が照射された前記被写体を前記撮像素子が撮像することで得られた撮像画像から、前記部分画像を抽出し、
前記復元処理部は、前記発光部からの光の照射が中止された後の前記被写体を前記撮像素子が撮像することで得られた撮像画像に対して、前記被写体像を復元する処理を施す、
ことを特徴とする付記４記載の撮像装置。
【０１５９】
（付記６） 前記復元処理部は、前記画像抽出部によって抽出された前記部分画像から、前記点画像の色を含む特定の色領域の成分を抽出することで得た画像を、点像分布関数として用いることを特徴とする付記１，４，５のいずれか１つに記載の撮像装置。
【０１６０】
（付記７） 前記画像抽出部は、前記撮像素子によって得られた撮像画像からあらかじめ決められた領域を前記部分画像として抽出することを特徴とする付記１，４，５，６のいずれか１つに記載の撮像装置。
【０１６１】
（付記８） 前記あらかじめ決められた領域は、前記撮像素子によって得られた撮像画像の中央部を中心とした領域であることを特徴とする付記７記載の撮像装置。
（付記９） 前記画像抽出部は、前記撮像素子によって得られた撮像画像から、前記点画像の色を含む特定の色領域の成分を抽出した画像を生成し、前記特定の色領域の成分を抽出した画像に対して、前記位相変調素子を含む光学系の設計値から算出された他の点像分布関数とのパターンマッチングを行うことで、前記部分画像を抽出することを特徴とする付記１，４，５のいずれか１つに記載の撮像装置。
【０１６２】
（付記１０） 前記画像抽出部は、前記撮像素子によって得られた撮像画像から、それぞれ個別の点画像が分散された領域を含む複数の部分画像を抽出し、
前記復元処理部は、前記撮像素子によって得られた撮像画像上の分割領域ごとに、前記複数の部分画像のうち各分割領域に対応する部分画像を選択して点像分布関数として用いて、前記被写体像を復元する処理を施す、
ことを特徴とする付記１〜７のいずれか１つに記載の撮像装置。
【０１６３】
（付記１１） 被写体からの光を位相変調素子を通じて受光する撮像素子によって得られた撮像画像から、点画像が分散された領域を含む部分画像を抽出する画像抽出部と、
前記画像抽出部によって抽出された前記部分画像を点像分布関数として用い、前記撮像素子によって得られた撮像画像に対して被写体像を復元する処理を施す復元処理部と、
を有することを特徴とする画像処理装置。
【０１６４】
（付記１２） 被写体からの光を位相変調素子を通じて受光する撮像素子を備えた撮像装置における撮像方法であって、
前記撮像素子によって得られた撮像画像から、点画像が分散された領域を含む部分画像を抽出し、
抽出された前記部分画像を点像分布関数として用い、前記撮像素子によって得られた撮像画像に対して被写体像を復元する、
ことを特徴とする撮像方法。
【０１６５】
（付記１３） 前記撮像装置は、前記部分画像の抽出対象とした撮像画像と同じ撮像画像に対して、前記被写体像を復元する処理を施すことを特徴とする付記１２記載の撮像方法。
【０１６６】
（付記１４） 前記撮像装置は、前記部分画像の抽出後に前記撮像素子によって得られた撮像画像に対して、当該部分画像を点像分布関数として用い、前記被写体像を復元する処理を施すことを特徴とする付記１２記載の撮像方法。
【０１６７】
（付記１５） 前記撮像装置は、
前記被写体に対して光を照射することで当該被写体上に点画像を生成し、
光が照射された前記被写体を前記撮像素子が撮像することで得られた撮像画像から、前記部分画像を抽出し、
前記被写体に対する光の照射を中止し、
前記光の照射が中止された後の前記被写体を前記撮像素子が撮像することで得られた撮像画像に対して、前記被写体像を復元する処理を施す、
ことを特徴とする付記１４記載の撮像方法。
【符号の説明】
【０１６８】
１ 撮像装置
１１ 撮像素子
１２ 位相変調素子
１３ 画像抽出部
１４ 復元処理部
Ｐ１ 撮像画像
Ｐ２ 部分画像
Ｐ３ 画像
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置および撮像方法に関する。
【背景技術】
【０００２】
デジタル方式の撮像装置は、一般に、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子に被写体を結像させることで、撮像動作を行う。近年、このような撮像装置に適用される技術として、ＷＦＣ（Wavefront Coding）と呼ばれる技術が注目されている。
【０００３】
ＷＦＣ技術が採用された撮像装置では、固体撮像素子に対する被写体からの光路上に、位相変調素子が配置される。位相変調素子は、被写体から発せられる光束を規則的に分散させ、固体撮像素子の受光面に結ぶ像を変形させる。これにより、固体撮像素子からは、ピントがずれた状態の画像が得られ、このときに得られる画像は「中間画像」と呼ばれる。撮像装置は、固体撮像素子から得られた中間画像に対して、点像分布関数（ＰＳＦ：Point Spread Function）を用いたデジタル処理を施すことにより、被写体の画像を復元する。
【０００４】
位相変調素子を用いて得られた中間画像に生じるボケの度合いは、撮像装置と被写体との距離が変動した場合であっても、大きく変動しない。このことから、ボケ度合いの変動量が小さい中間画像に対してデジタル処理を施して被写体の画像を復元することにより、被写界深度を拡大することができる。
【０００５】
このようなＷＦＣ技術は、デジタルカメラなどの一般的なカメラ製品の他、電子内視鏡システムに搭載された撮像機構に採用することも考えられている。
なお、ＰＳＦを用いた画像処理を行う他の撮像装置としては、撮影画像内の小領域ごとに点像分布関数（ＰＳＦ：Point Spread Function）を算出し、算出した点像分布関数を基に、色収差によるボケを解消するようにしたものがある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−２３５７９４号公報
【特許文献２】特開２０１０−１４７９２６号公報
【非特許文献】
【０００７】
【非特許文献１】Edward R. Dowski, Jr. and W. Thomas Cathey, "Extended depth of field through wave-front coding", Applied Optics, vol.34, no.11, April, 1995, pp. 1859-1866
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記のＷＦＣ技術において、被写体からの距離によらずボケ度合いの変動量が小さいということは、被写体からの距離によらずＰＳＦの変動量が小さいことを意味する。このため、画像の復元時には、被写体からの距離に関係なく、位相変調素子を含む光学系の設計値から求めた同一のＰＳＦを用いて画像処理が行われる。しかしながら、光学系の製造誤差などの原因により、画像復元時に用いるＰＳＦと、実際の光学系におけるＰＳＦとは、微妙に異なる場合がある。
【０００９】
ＷＦＣ技術では、画像の処理時に用いるＰＳＦの精度が、画像の復元精度に直結する。画像復元時に用いるＰＳＦと、実際の光学系の設計値に基づくＰＳＦとの誤差がある場合、復元された画像にゴーストが発生するなど、画像の復元精度が劣化するという問題があった。
【００１０】
本発明はこのような課題に鑑みてなされたものであり、被写界深度が拡大された画像を高精度に生成することが可能な撮像装置、画像処理装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、被写体からの光を位相変調素子を通じて受光する撮像素子と、前記撮像素子によって得られた撮像画像から、点画像が分散された領域を含む部分画像を抽出する画像抽出部と、前記画像抽出部によって抽出された前記部分画像を点像分布関数として用い、前記撮像素子によって得られた撮像画像に対して被写体像を復元する処理を施す復元処理部と、を有する撮像装置が提供される。
【００１２】
また、上記課題を解決するために、上記の撮像装置と同様の処理が実行される画像処理装置および撮像方法が提供される。
【発明の効果】
【００１３】
上記の撮像装置、画像処理装置および撮像方法によれば、被写界深度が拡大された画像を高精度に生成することができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施の形態に係る撮像装置の構成例を示す図である。
【図２】第２の実施の形態に係る撮像装置の構成例を示す図である。
【図３】位相板の形状例を示す図である。
【図４】ＰＳＦの例を示す図である。
【図５】位相板を用いないで撮像された画像におけるＭＴＦの分布例を示すグラフである。
【図６】位相板を用いて撮像された画像におけるＭＴＦの分布例を示すグラフである。
【図７】画像の復元に使用する逆フィルタの特性例を示すグラフである。
【図８】図７の逆フィルタを用いて被写体像が復元された画像におけるＭＴＦの分布例を示すグラフである。
【図９】第２の実施の形態に係る撮像装置の撮像処理手順を示すフローチャートである。
【図１０】第３の実施の形態に係る撮像装置の構成例を示す図である。
【図１１】ＰＳＦ検出モードにおける撮像動作例を示す第１の図である。
【図１２】ＰＳＦ検出モードにおける撮像動作例を示す第２の図である。
【図１３】ＰＳＦ検出モードにおける撮像動作例を示す第３の図である。
【図１４】第３の実施の形態に係る撮像装置のＰＳＦ検出モードにおける撮像処理手順を示すフローチャートである。
【図１５】第３の実施の形態に係る撮像装置の本撮像モードにおける撮像処理手順を示すフローチャートである。
【図１６】ＰＳＦ検出モードにおいて撮像の対象とする被写体の例を示す図である。
【図１７】第４の実施の形態に係る撮像装置のＰＳＦ検出モードにおける撮像処理手順を示すフローチャートである。
【図１８】第５の実施の形態に係る撮像装置の構成例を示す図である。
【図１９】第５の実施の形態に係る撮像装置の撮像処理手順を示すフローチャートである。
【図２０】第６の実施の形態に係る撮像装置の構成例を示す図である。
【図２１】ＰＳＦ検出モードにおいて撮像の対象とする被写体の例を示す図である。
【図２２】部分画像を抽出する領域の設定例を示す図である。
【図２３】中間画像を分割した分割領域の例を示す図である。
【図２４】第６の実施の形態に係る撮像装置のＰＳＦ検出モードにおける撮像処理手順を示すフローチャートである。
【図２５】第６の実施の形態に係る撮像装置の本撮像モードにおける撮像処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、実施の形態について図面を参照して詳細に説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る撮像装置の構成例を示す図である。
【００１６】
図１に示す撮像装置１は、撮像素子１１によって被写体像を撮像するデジタル方式の撮像装置である。また、この撮像装置１は、ＷＦＣ技術によって被写界深度が拡大された画像を撮像可能になっている。すなわち、撮像素子１１は、被写体からの光を位相変調素子１２を通じて受光する。位相変調素子１２は、入射した被写体像を一定の方向に分散させる。撮像装置１では、撮像素子１１によって得られた撮像画像に対して、点像分布関数（ＰＳＦ）を用いて画像処理を施すことで、被写界深度が拡大された被写体像を復元できるようになっている。
【００１７】
なお、図示しないが、撮像素子１１の被写体側には、位相変調素子１２の他、レンズなどの光学部材が配置される。レンズは、例えば、位相変調素子１２の被写体側、または位相変調素子１２の撮像素子１１側、またはそれら両方に配置される。
【００１８】
ここで、被写体像を復元する際の演算処理の例について説明し、その後に、図１の構成についてあらためて説明する。
位相変調素子１２を用いて撮像された画像、すなわち、図１の撮像素子１１から得られる撮像画像は、中間画像と呼ばれる。ここで、中間画像を「ｈ」、ＰＳＦを「ｇ」、位相変調素子１２を通過せずに撮像素子１１に入射したときに撮像される被写体画像を「ｆ」とすると、「ｈ」「ｇ」「ｆ」の間には次の式（１）の関係が成り立つ。
【００１９】
【数１】
【００２０】
上記の式（１）をフーリエ変換すると、次の式（２）のようになる。
Ｆ・Ｇ＝Ｈ ・・・（２）
上記の式（２）のうち、ＰＳＦ「ｇ」をフーリエ変換した結果である「Ｇ」は、光学伝達関数（ＯＴＦ：Optical Transfer Function）であり、結像光学系における空間周波数の伝達特性を表す。なお、ＯＴＦの絶対値は、ＭＴＦ（Modulation Transfer Function）と呼ばれる。
【００２１】
フーリエ変換後の被写体画像「Ｆ」は、下記の式（３）を用いて求めることができる。この式（３）では、中間画像「ｈ」をフーリエ変換した結果である「Ｈ」に対して、ＯＴＦ「Ｇ」の逆フィルタ「Ｈinv」を乗算することで、フーリエ変換後の被写体画像「Ｆ」が求められる。従って、被写体画像「ｆ」は、式（３）の「Ｆ」を逆フーリエ変換することによって求めることができる。
Ｆ＝Ｈinv・Ｈ ・・・（３）
なお、式（３）に示した逆フィルタ「Ｈinv」は、次の式（４）のように表される。
【００２２】
【数２】
【００２３】
また、他の演算方法として、上記の逆フィルタ「Ｈinv」を逆フーリエ変換することで逆カーネル「ｈinv」を求め、次の式（５）に示すように、中間画像「ｈ」と逆カーネル「ｈinv」との畳み込み演算を行うことで、被写体画像「ｆ」を求めることもできる。
【００２４】
【数３】
【００２５】
以上の式（１）〜（５）に示したように、ＷＦＣ技術では、ＰＳＦを用いて被写体像の復元演算が行われる。また、位相変調素子を用いて撮像された中間画像に生じるボケの度合いは、撮像装置と被写体との距離によらずほぼ一定となる。このことから、ＷＦＣ技術では、位相変調素子を含む光学系の設計値から求められる同一のＰＳＦを用いて復元演算を行うことで、被写界深度が拡大された画像を得ることが可能であった。
【００２６】
しかしながら、光学系の製造誤差などの要因により、画像復元時に用いられるＰＳＦと、実際の光学系におけるＰＳＦとは、微妙に異なる場合がある。このようなＰＳＦの誤差が発生すると、復元された画像にゴーストが発生するなど、画像の復元精度が劣化する可能性がある。
【００２７】
このような問題点に対して、本実施の形態の撮像装置１では、撮像素子１１によって実際に撮像された画像からＰＳＦを求め、求めたＰＳＦを用いて被写体像の復元演算を行う。これにより、光学系の製造誤差などによるＰＳＦ誤差の発生量を低減し、被写体像をより高精度に復元できるようにする。
【００２８】
図１に示すように、撮像装置１は、撮像素子１１、位相変調素子１２の他、画像抽出部１３および復元処理部１４を備えている。画像抽出部１３は、撮像素子１１によって得られた撮像画像から、点状の画像（点画像）が分散された領域を含む部分画像を抽出する。復元処理部１４は、撮像素子１１によって得られた撮像画像に対して、被写体像を復元する処理を施す。この復元処理部１４は、被写体像の復元処理の際に、画像抽出部１３によって抽出された部分画像をＰＳＦとして使用する。
【００２９】
図１の下側には、撮像装置１において撮像される画像の例を示す。撮像画像Ｐ１は、撮像素子１１によって撮像され、撮像素子１１から画像抽出部１３に入力される画像である。この撮像画像Ｐ１は、「中間画像」とも呼ばれ、主として位相変調素子１２の作用により、被写体像にボケが生じた状態になっている。前述のように、位相変調素子１２は、入射した被写体像を一定の方向に分散させる。
【００３０】
部分画像Ｐ２は、画像抽出部１３によって、例えば、撮像画像Ｐ１の右下側の領域から抽出された画像である。この部分画像Ｐ２は、被写体像に含まれる点状の像（点画像）が撮像された領域を含む。部分画像Ｐ２内の点画像は、主として位相変調素子１２の作用によって分散された状態になっている。従って、部分画像Ｐ２における信号分布は、実際に撮像された光学系のＰＳＦを示すことになる。
【００３１】
部分画像Ｐ２は、例えば、パターンマッチングによって抽出することができる。この場合、例えば、撮像装置１の光学系の設計値から求めたＰＳＦをとる比較画像を、撮像装置１内のメモリ（図示せず）に記憶しておく。画像抽出部１３は、撮像素子１１から得られた撮像画像Ｐ１に対して、メモリに記憶された比較画像とのパターンマッチングを行い、比較画像と類似する画像領域を部分画像Ｐ２として抽出する。
【００３２】
復元処理部１４は、抽出された部分画像Ｐ２をＰＳＦとして用いて、撮像素子１１によって得られた撮像画像に対して、上記の式（３）や式（５）などに従って被写体像を復元する処理を施す。図１の下側に示した画像Ｐ３は、画像抽出部１３による部分画像Ｐ２の抽出対象とされた撮像画像Ｐ１と同一の画像から、復元処理部１４によって復元されたものである。この場合、復元処理部１４によって、撮像画像Ｐ１において生じていたボケが解消した画像Ｐ３が復元される。
【００３３】
この画像Ｐ３の例のように、復元処理部１４が処理対象とする撮像画像は、画像抽出部１３によって部分画像の抽出対象とされた撮像画像と同一であってもよい。あるいは、復元処理部１４が処理対象とする撮像画像は、画像抽出部１３によって部分画像が抽出された後に、あらためて撮像素子１１によって得られた撮像画像であってもよい。これらのいずれの場合でも、復元処理部１４は、撮像素子１１によって実際に撮像された画像から求められたＰＳＦを用いて被写体像の復元処理を行うので、光学系の設計値から求めたＰＳＦを用いて復元処理を行う場合と比較して、被写体像をより高精度に復元できるようになる。
【００３４】
なお、上記の画像Ｐ３の例のように、復元処理部１４が処理対象とする撮像画像が、画像抽出部１３によって部分画像の抽出対象とされた撮像画像と同一とされる場合には、撮像装置１と被写体との距離に応じたＰＳＦの誤差も低減し、被写体像をより高精度に復元することもできる。被写体との距離に応じたＰＳＦの誤差が低減される点については、次の第２の実施の形態において詳しく説明する。
【００３５】
〔第２の実施の形態〕
図２は、第２の実施の形態に係る撮像装置の構成例を示す図である。
撮像装置１００は、光学ブロック１１０、撮像素子１２１、Ａ／Ｄ（Analog/Digital）コンバータ１２２、画像復元処理部１３０、不揮発性記憶部１４０、ＤＳＰ（Digital Signal Processor）１５１、表示部１５２、メモリカード１５３、撮像制御部１５４および入力部１５５を備える。
【００３６】
光学ブロック１１０は、被写体からの光束を撮像素子１２１に対して集光する光学系を搭載するブロックであり、レンズ１１１，１１２、アイリス１１３、位相板１１４などを備える。位相板１１４は、位相変調素子の一例であり、被写体からの光束を規則的に分散させる。なお、図２の例では、位相板１１４はアイリス１１３の直後に配置されているが、位相板１１４の位置はこのような位置に限らない。
【００３７】
撮像素子１２１は、例えば、ＣＣＤ、ＣＭＯＳセンサなどとして実現され、光学ブロック１１０を通じて入射した光をアナログ画像信号に変換する。Ａ／Ｄコンバータ１２２は、撮像素子１２１から出力されたアナログ画像信号をデジタル画像信号に変換する。
【００３８】
画像復元処理部１３０は、Ａ／Ｄコンバータ１２２から出力された画像信号に対してＷＦＣ技術に基づくデジタル画像処理を施すことにより、被写界深度が拡大された画像を復元する。不揮発性記憶部１４０は、画像復元処理部１３０での処理時に使用される各種データを記憶する。
【００３９】
ＤＳＰ１５１は、画像復元処理部１３０から出力された画像信号に対して、所定のデジタル画像処理を施す。ＤＳＰ１５１は、例えば、各種の画質補正処理、画質補正のための検波処理、表示用画像信号の生成処理、記録用画像信号を生成するための圧縮符号化処理などを実行する。なお、画像復元処理部１３０の処理機能は、ＤＳＰ１５１の一機能として実現されてもよい。
【００４０】
表示部１５２は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスなどによって実現され、ＤＳＰ１５１から出力された表示用画像信号に基づいて画像を表示する。メモリカード１５３は、可搬型の半導体記憶装置であり、ＤＳＰ１５１から出力された記録用画像信号を記憶する。なお、メモリカード１５３は、記録用画像信号を記憶する記憶媒体の一例であり、例えば、ＨＤＤ（Hard Disk Drive）、光ディスクなどの他の種類の記憶媒体に対して画像信号が記憶されてもよい。
【００４１】
入力部１５５は、シャッタボタンなどの各種の入力スイッチを備える。撮像制御部１５４は、入力部１５５のシャッタボタンの押下などをトリガとして、撮像装置１００における撮像動作を制御する。撮像制御部１５４は、例えば、シャッタボタンが押下されたとき、画像復元処理部１３０に対して、Ａ／Ｄコンバータ１２２から取り込んだ撮像画像信号に対するデジタル画像処理を実行させる。
【００４２】
次に、画像復元処理部１３０の構成例について説明する。画像復元処理部１３０は、画像メモリ１３１、画像抽出部１３２、コンボリューション制御部１３３およびコンボリューション演算部１３４を備える。
【００４３】
画像メモリ１３１は、画像復元処理部１３０での処理の際の作業領域として使用されるＲＡＭ（Random Access Memory）であり、画像データをはじめとする各種のデータを一時的に記憶する。画像メモリ１３１は、例えば、撮像素子１２１によって撮像され、Ａ／Ｄコンバータ１２２によってデジタル化された撮像画像のＲＡＷデータを、一時的に記憶する。以下、画像メモリ１３１に記憶される撮像画像のＲＡＷデータを「中間画像データ」と呼び、この中間画像データに基づく画像を「中間画像」と呼ぶ。
【００４４】
画像抽出部１３２は、画像メモリ１３１に記憶された中間画像データを用いて、中間画像から、点画像が分散された部分領域を抽出する。本実施の形態では、画像抽出部１３２は、不揮発性記憶部１４０に記憶された設計ＰＳＦ１４１を用いて部分領域を抽出する。設計ＰＳＦ１４１は、光学ブロック１１０内の光学系の設計値を基にシミュレーションなどによって算出されたＰＳＦである。画像抽出部１３２は、中間画像に対して設計ＰＳＦ１４１を用いたパターンマッチングを行うことにより、部分領域を抽出する。
【００４５】
コンボリューション制御部１３３およびコンボリューション演算部１３４は、画像抽出部１３２によって抽出された部分画像をＰＳＦとして利用して、画像メモリ１３１に記憶された中間画像データに対して画像処理を行うことにより、被写体像を復元する処理を行う処理部である。本実施の形態では、コンボリューション演算部１３４は、前述した式（５）に従って、画像復元の演算を行うものとする。
【００４６】
コンボリューション制御部１３３は、画像抽出部１３２によって抽出された部分画像をＰＳＦとし、このＰＳＦを基に式（５）に示した逆カーネル「ｈinv」を求めて、コンボリューション演算部１３４に投入する。なお、逆カーネル「ｈinv」は、部分画像に基づくＰＳＦをフーリエ変換することで式（４）の「Ｇ」を求め、この「Ｇ」を用いて式（４）の逆フィルタ「Ｈinv」を求めた後、逆フィルタ「Ｈinv」を逆フーリエ変換することによって求めることができる。
【００４７】
図３は、位相板の形状例を示す図である。
本実施の形態で使用される位相板１１４は、通過する光の位相に対して、例えばｅｘｐ｛ｉψ（ｘ，ｙ）｝のズレを与える。ここで、例としてψ（ｘ，ｙ）＝α（ｘ3＋ｙ3）／２とすると、位相板１１４は、一方の面が平面で、他方の面が、図３に示すようなｚ＝ｉα（ｘ3＋ｙ3）／２で表される３次曲面の形状をなす。なお、図３は、ｘおよびｙがともに−１から１までの範囲をとるときの３次曲面の形状を示す。
【００４８】
図４は、ＰＳＦの例を示す図である。なお、この図４では、わかりやすくするために、信号レベルが高いほど黒く、低いほど白く示している。
図３に示すような位相板１１４を用いた場合のＰＳＦは、図４のようになる。この図４によれば、図３の位相板１１４は、通過した光束を左方向および下方向の２方向に分散させる特性を持つことがわかる。
【００４９】
本実施の形態の撮像装置１００は、図４に示すようなＰＳＦのデータを設計ＰＳＦ１４１として不揮発性記憶部１４０にあらかじめ記憶しておく。そして、画像抽出部１３２は、パターンマッチングにより、撮像素子１２１によって得られた撮像画像から、設計ＰＳＦ１４１に類似する信号分布特性を持つ領域を部分領域として抽出する。
【００５０】
なお、設計ＰＳＦ１４１が図４のようなものとなる場合、画像抽出部１３２は、パターンマッチングの代わりに、撮像画像から、点状の画像を中心として左および下の２方向に画像の分散が生じた画像を探索することで、部分画像を抽出してもよい。
【００５１】
ここで、撮像画像の特性について説明する。まず、図５は、位相板を用いないで撮像された画像におけるＭＴＦの分布例を示すグラフである。
図５の直線Ｌ１は、位相板１１４を使用せずに、被写体からの光束が撮像素子１２１に合焦した状態で得られる撮像画像におけるＭＴＦの分布例を示す。この直線Ｌ１のように、焦点が合った状態で撮像された画像では、ＭＴＦは直線状に分布する。
【００５２】
一方、図５の曲線Ｌ２，Ｌ３は、位相板１１４を使用せずに、光学ブロック１１０内のレンズを焦点が合う位置からずらして撮像したときに得られる撮像画像におけるＭＴＦの分布例を示す。すなわち、直線Ｌ１および曲線Ｌ２，Ｌ３は、撮像装置１００からの距離がそれぞれ異なる被写体を撮像したときに得られる画像の特性を示す。
【００５３】
曲線Ｌ２，Ｌ３に示すように、焦点がずれた状態で撮像された画像では、ＭＴＦの分布は直線Ｌ１から離間する。図５において、曲線Ｌ３は、曲線Ｌ２と比較してレンズを合焦位置からより大きくずらしたときのＭＴＦであり、焦点のずれが大きいほどＭＴＦの劣化度が大きくなることがわかる。
【００５４】
図６は、位相板を用いて撮像された画像におけるＭＴＦの分布例を示すグラフである。
図６の曲線Ｌ１１は、図５の直線Ｌ１の特性が得られる場合と同様のレンズ位置状態で、位相板１１４を挿入して撮像を行った場合に得られる撮像画像（以下、中間画像Ａと呼ぶ）におけるＭＴＦの分布例を示す。また、図６の曲線Ｌ１２，Ｌ１３は、それぞれ図５の曲線Ｌ２，Ｌ３の特性が得られる場合と同様のレンズ位置状態で、位相板１１４を挿入して撮像を行った場合に得られる撮像画像（以下、それぞれ中間画像Ｂ，Ｃと呼ぶ）におけるＭＴＦの分布例を示す。
【００５５】
これらの曲線Ｌ１１〜Ｌ１３でわかるように、光学系に位相板１１４を挿入した場合には、撮像装置１００から被写体までの距離の変化に対するＭＴＦの変化量は、位相板１１４を挿入しない場合と比較して極めて小さい。換言すると、光学系に位相板１１４を挿入した場合には、撮像装置１００から被写体までの距離が変化しても、中間画像に現れるボケの度合いは大きく変化しない。
【００５６】
図７は、画像の復元に使用する逆フィルタの特性例を示すグラフである。この図７のグラフに示した曲線は、図４に示したＰＳＦを用いて式（４）によって得られる逆フィルタ「Ｈinv」の特性を示す。
【００５７】
図８は、図７の逆フィルタを用いて被写体像が復元された画像におけるＭＴＦの分布例を示すグラフである。
図８の曲線Ｌ２１〜Ｌ２３は、それぞれ前述の中間画像Ａ〜Ｃに対して図７に示した逆フィルタを用いて演算を行うことで被写体像を復元した画像におけるＭＴＦの分布例を示す。逆フィルタを用いた演算後の画像は、図６に示したようにＭＴＦの違いが小さい中間画像Ａ〜Ｃに対して同じ逆フィルタを用いて演算されたものであるので、図８に示すように、これらの画像におけるＭＴＦの分布も比較的同じような状態となる。ＷＦＣ技術では、このような特性を利用して、位相板を用いて得られた中間画像を同じＭＴＦを用いて演算することで、被写界深度が拡大された画像を得る。
【００５８】
しかしながら、撮像装置１００からの距離が異なる被写体を撮像した場合には、図８に示すように、実際にはＭＴＦの分布が全く同じになる訳ではない。これは、位相板１１４を用いて撮像された中間画像におけるＭＴＦが、被写体との距離に応じてわずかに変動することに起因する。このようなＭＴＦの違いは、ＰＳＦを用いた復元処理後の画像においてゴーストなどとして現れ、画質劣化の原因となる。
【００５９】
これに対して、本実施の形態の撮像装置１００では、撮像を行うたびに、その撮像によって得られた中間画像からＰＳＦを求め、求めたＰＳＦを用いて中間画像に対する復元処理を行うようにする。このような処理により、被写体との距離の違いによるＰＳＦの誤差が理論上生じなくなるので、被写体像を高精度に復元できるようになる。
【００６０】
なお、本実施の形態の撮像装置１００では、被写体との距離の違いによるＰＳＦ誤差だけでなく、第１の実施の形態と同様に、位相板１１４を含む光学系の製造誤差によるＰＳＦの誤差も低減できることは言うまでもない。
【００６１】
図９は、第２の実施の形態に係る撮像装置の撮像処理手順を示すフローチャートである。
［ステップＳ１１］撮像制御部１５４は、入力部１５５のシャッタボタンが押下されたかを監視する。撮像制御部１５４は、シャッタボタンが押下されたことを検知すると、画像復元処理部１３０に対して撮像動作の開始信号を出力する。開始信号を受信した画像復元処理部１３０は、ステップＳ１２以降の処理を実行する。
【００６２】
［ステップＳ１２］撮像素子１２１によって撮像された画像（中間画像）の信号が、Ａ／Ｄコンバータ１２２によってデジタルデータ化される。撮像制御部１５４からの開始信号を受信した画像復元処理部１３０において、画像メモリ１３１は、Ａ／Ｄコンバータ１２２から出力された中間画像データを取り込む。
【００６３】
［ステップＳ１３］画像抽出部１３２は、不揮発性記憶部１４０から設計ＰＳＦ１４１を読み込む。画像抽出部１３２は、読み込んだ設計ＰＳＦ１４１を用いてパターンマッチングを行うことにより、画像メモリ１３１に記憶された中間画像データに基づく中間画像から部分画像を抽出する。
【００６４】
［ステップＳ１４］コンボリューション制御部１３３は、画像抽出部１３２によって抽出された部分画像のデータをＰＳＦとし、このＰＳＦを基に逆カーネル「ｈinv」を算出する。コンボリューション制御部１３３は、例えば、算出された逆カーネル「ｈinv」を画像メモリ１３１に一時的に格納する。
【００６５】
［ステップＳ１５］コンボリューション演算部１３４は、ステップＳ１４でコンボリューション制御部１３３によって算出された逆カーネル「ｈinv」を用いて、ステップＳ１２で画像メモリ１３１に記憶された中間画像データに対して、式（５）に従って畳み込み演算を行う。これにより、被写体像の復元処理が実行される。
【００６６】
コンボリューション演算部１３４によって演算処理された画像データは、ＤＳＰ１５１によって所定の画質補正処理および圧縮符号化処理が施された後、メモリカード１５３に記録される。
【００６７】
なお、上記の図９では静止画像の撮像動作について説明したが、例えば、表示部１５２に対してモニタ画像を表示する場合や、動画像を撮像して記録する場合には、上記のステップＳ１２〜Ｓ１５の処理が繰り返されればよい。また、モニタ画像の表示時や動画像の記録時には、部分画像の抽出および逆カーネル「ｈinv」の算出を一定時間ごとに実行するようにしてもよい。この場合、新たな逆カーネル「ｈinv」が算出されるまでの間、コンボリューション演算部１３４は同一の逆カーネル「ｈinv」を用いて演算処理を行う。このように、部分画像の抽出および逆カーネル「ｈinv」の算出を一定時間ごとに実行することにより、画像復元処理部１３０における処理負荷や消費電力を低減することができる。
【００６８】
また、図９の処理では、部分画像の抽出と被写体像の復元処理とを、画像メモリ１３１に記憶された同一の中間画像データを基に実行した。しかし、他の処理例として、被写体像の復元処理は、部分画像の抽出後に新たに画像メモリ１３１に記憶された中間画像データを基に実行されてもよい。
【００６９】
例えば、被写体像の復元処理の対象とする中間画像データは、部分画像の抽出対象とする中間画像データが画像メモリ１３１に取り込まれてから、画像抽出部１３２およびコンボリューション制御部１３３での処理に要する時間分だけ後に、画像メモリ１３１に取り込まれたものとされてもよい。このような処理により、画像の撮像タイミングと撮像画像のデータが画像復元処理部１３０から出力されるタイミングとの間に遅延が発生しないようになり、特にモニタ画像の表示時において、表示の遅延によってユーザに与える違和感をなくすことができる。
【００７０】
また、例えば、静止画像を撮像する際には、次のような処理が行われてもよい。まず、シャッタボタンが半押し状態にされたときに、部分画像の抽出および逆カーネル「ｈinv」の算出が行われる。そして、その後にシャッタボタンが全押しされたとき、その時点で画像メモリ１３１に取り込まれた中間画像データに対して、半押し状態の際に算出された逆カーネル「ｈinv」を用いて被写体像の復元処理が実行される。
【００７１】
〔第３の実施の形態〕
図１０は、第３の実施の形態に係る撮像装置の構成例を示す図である。なお、この図１０では、図２に対応する構成要素については同じ符号を付して示す。
【００７２】
第３の実施の形態に係る撮像装置１００ａは、撮像モードとして、部分画像の抽出および逆カーネル「ｈinv」の算出を行うＰＳＦ検出モードと、ＰＳＦ検出モードで算出された逆カーネル「ｈinv」を用いて撮像画像に対する被写体像の復元処理を行う本撮像モードの２種類を備える。これらの撮像モードは、例えば、入力部１５５が備えるモード選択ボタンをユーザが操作することにより選択される。撮像制御部１５４ａは、選択された撮像モードに従って、画像復元処理部１３０ａの動作を制御する。
【００７３】
画像復元処理部１３０ａは、図２に示した画像メモリ１３１およびコンボリューション演算部１３４を備える。ただし、コンボリューション演算部１３４は、上記２つの撮像モードのうち本撮像モードにおいてのみ動作する。また、画像復元処理部１３０ａは、画像抽出部１３２ａおよびコンボリューション制御部１３３ａを備える。画像抽出部１３２ａは、上記２つの撮像モードのうちＰＳＦ検出モードにおいてのみ動作する。
【００７４】
画像抽出部１３２ａは、画像メモリ１３１に記憶された中間画像データに基づく中間画像から、あらかじめ決められた領域を部分画像として抽出する。本実施の形態では例として、画像抽出部１３２ａは、中間画像の中心部を中心とした一定領域を部分画像として抽出する。
【００７５】
コンボリューション制御部１３３ａは、ＰＳＦ検出モードにおいては、図２に示したコンボリューション制御部１３３と同様、画像抽出部１３２によって抽出された部分画像を基に、逆カーネル「ｈinv」を算出する。ただし、コンボリューション制御部１３３ａは、算出した逆カーネル「ｈinv」を、カーネルデータ１４２として不揮発性記憶部１４０に記憶する。そして、本撮像モードに切り替えられた後、コンボリューション制御部１３３ａは、不揮発性記憶部１４０からカーネルデータ１４２を読み出し、コンボリューション演算部１３４に供給する。
【００７６】
ここで、ＰＳＦ検出モードにおける撮像動作について説明する。ＰＳＦ検出モードは、例えば、撮像装置１００ａの製品出荷前の段階、製品出荷後における撮像装置１００ａの初回電源投入時などに選択される。あるいは、撮像装置１００ａの電源が投入されるごとに、自動的にＰＳＦ検出モードになるようにしてもよい。
【００７７】
ＰＳＦ検出モードでは、撮像装置１００ａは、点画像を含む被写体を撮像することによって中間画像を取得し、得られた中間画像からＰＳＦを検出する。点画像を含む被写体を撮像する方法としては、次のような方法がある。
【００７８】
図１１は、ＰＳＦ検出モードにおける撮像動作例を示す第１の図である。
ＰＳＦ検出モードでは、撮像装置１００ａは、図１１に示すようなＰＳＦ検出モード専用の検出用被写体２００を撮像する。検出用被写体２００は、例えば、ピンホール２０１と光源２０２とを備え、ピンホール２０１の背面側から光源２０２によって光が発せられる。検出用被写体２００の撮像面は単色とされることが望ましく、ピンホール２０１から撮像装置１００ａ側に出射される光は、検出用被写体２００の撮像面とは輝度が異なるか、あるいは色が異なるものとされる。撮像装置１００ａは、検出用被写体２００を撮像することで、ピンホール２０１を点画像として認識することができる。
【００７９】
図１２は、ＰＳＦ検出モードにおける撮像動作例を示す第２の図である。
図１２に示すように、任意の撮像面２１１に対して、レーザポインタなどの光源２１２からの光を照射することにより、撮像面２１１に点画像２１３を生成することもできる。この場合、撮像面２１１は単色であることが望ましく、撮像面２１１に生成された点画像２１３は、撮像面２１１とは異なる明るさか、あるいは撮像面２１１とは異なる色とされる。ＰＳＦ検出モードにおいて、撮像装置１００ａは、撮像面２１１に生成された点画像２１３を撮像することで、ＰＳＦを検出する。
【００８０】
なお、光源２１２は、撮像装置１００ａに搭載されてもよい。ただし、この場合、撮像面２１１と撮像装置１００ａとの距離を所定の距離としたときに、光源２１２によって生成された点画像２１３が撮像装置１００ａからの画角の中心に配置されるように、光源２１２の照射角度が調整される。
【００８１】
図１３は、ＰＳＦ検出モードにおける撮像動作例を示す第３の図である。
図１３に示すように、撮像装置１００ａは、ＰＳＦ検出モードにおいて、点画像２２１があらかじめ配置された画像を撮像してもよい。ただし、点画像２２１は、他の画像２２２と離間して配置され、なおかつ、点画像２２１と、この点画像２２１が位相板１１４の作用によって分散された画像成分とが、単色の領域に配置されることが望ましい。
【００８２】
図１４は、第３の実施の形態に係る撮像装置のＰＳＦ検出モードにおける撮像処理手順を示すフローチャートである。
［ステップＳ２１］撮像制御部１５４ａは、入力部１５５のシャッタボタンが押下されたかを監視する。撮像制御部１５４ａは、シャッタボタンが押下されたことを検知すると、画像復元処理部１３０ａに対して撮像動作の開始信号を出力する。開始信号を受信した画像復元処理部１３０ａは、ステップＳ２２以降の処理を実行する。
【００８３】
［ステップＳ２２］撮像素子１２１によって撮像された画像（中間画像）の信号が、Ａ／Ｄコンバータ１２２によってデジタルデータ化される。撮像制御部１５４ａからの開始信号を受信した画像復元処理部１３０ａにおいて、画像メモリ１３１は、Ａ／Ｄコンバータ１２２から出力された中間画像データを取り込む。
【００８４】
［ステップＳ２３］画像抽出部１３２ａは、画像メモリ１３１に記憶された中間画像データに基づく中間画像から、あらかじめ決められた領域を部分画像として抽出する。ここで、ユーザは、ステップＳ２１でシャッタボタンを押下する際に、点画像が画角の中心に配置されるようにする。これにより、画像抽出部１３２ａは、中間画像の中央部を中心とした所定の大きさの領域を抽出することで、点画像とその点画像が分散した成分とを含む領域を、部分画像として抽出することができる。
【００８５】
なお、このステップＳ２３では、第２の実施の形態の画像抽出部１３２と同様に、中間画像と設計ＰＳＦ１４１とをパターンマッチングすることにより、部分画像が抽出されてもよい。
【００８６】
［ステップＳ２４］コンボリューション制御部１３３ａは、画像抽出部１３２ａによって抽出された部分画像のデータをＰＳＦとし、このＰＳＦを基に逆カーネル「ｈinv」を算出する。コンボリューション制御部１３３ａは、算出した逆カーネル「ｈinv」を、カーネルデータ１４２として不揮発性記憶部１４０に記憶する。
【００８７】
図１５は、第３の実施の形態に係る撮像装置の本撮像モードにおける撮像処理手順を示すフローチャートである。
［ステップＳ３１］撮像制御部１５４ａは、入力部１５５のシャッタボタンが押下されたかを監視する。撮像制御部１５４ａは、シャッタボタンが押下されたことを検知すると、画像復元処理部１３０ａに対して撮像動作の開始信号を出力する。開始信号を受信した画像復元処理部１３０ａは、ステップＳ３２以降の処理を実行する。
【００８８】
［ステップＳ３２］撮像素子１２１によって撮像された画像（中間画像）の信号が、Ａ／Ｄコンバータ１２２によってデジタルデータ化される。撮像制御部１５４ａからの開始信号を受信した画像復元処理部１３０ａにおいて、画像メモリ１３１は、Ａ／Ｄコンバータ１２２から出力された中間画像データを取り込む。
【００８９】
［ステップＳ３３］コンボリューション制御部１３３ａは、不揮発性記憶部１４０からカーネルデータ１４２を読み出す。なお、ステップＳ３２，Ｓ３３の処理順は、逆であってもよい。あるいは、ステップＳ３２，Ｓ３３の各処理が並列に実行されてもよい。
【００９０】
［ステップＳ３４］コンボリューション演算部１３４は、コンボリューション制御部１３３ａによって不揮発性記憶部１４０から読み出されたカーネルデータ１４２を用いて、ステップＳ３２で画像メモリ１３１に記憶された中間画像データに対して、式（５）に従って畳み込み演算を行う。これにより、被写体像の復元処理が実行される。
【００９１】
コンボリューション演算部１３４によって演算処理された画像データは、ＤＳＰ１５１によって所定の画質補正処理および圧縮符号化処理が施された後、メモリカード１５３に記録される。
【００９２】
以上の第３の実施の形態では、コンボリューション演算部１３４は、実際の撮像によって得られた中間画像から求められたカーネルデータ１４２を用いて被写体像の復元処理を行う。このため、光学系の設計値から求めたカーネルデータを用いて復元処理を行う場合と比較して、被写体像をより高精度に復元できるようになる。また、カーネルデータ１４２の算出処理をＰＳＦ検出モードにおいて行い、本撮像モードでは、不揮発性記憶部１４０に記憶されたカーネルデータ１４２を用いて被写体像の復元処理が実行されるので、本撮像モードにおける処理負荷を軽減し、復元処理を高速化することができる。
【００９３】
〔第４の実施の形態〕
上記の第３の実施の形態では、ＰＳＦ検出モードにおいて、単色の領域に配置された点画像を撮像した。これに対して、撮像対象の点画像を特定の色にしておくことにより、点画像がどのような被写体の上に存在する場合であっても、点画像とそれが分散された画像成分とを中間画像から分離してＰＳＦを算出することができるようになる。
【００９４】
以下、第４の実施の形態として、特定の色の点画像を含む被写体を撮像することでＰＳＦを算出することが可能な撮像装置について説明する。なお、第４の実施の形態に係る撮像装置は、コンボリューション制御部１３３ａが部分画像から特定の色領域の色を有する画素を分離する機能をさらに有すること以外、第３の実施の形態に係る撮像装置１００ａと同様の構成を有する。このため、以下の第４の実施の形態の説明では、第３の実施の形態と同じ符号を使用する。
【００９５】
図１６は、ＰＳＦ検出モードにおいて撮像の対象とする被写体の例を示す図である。
図１６に示す被写体は、任意の画像２３１と、画像２３１の内部に配置された特定の色の点画像２３２とを含む。点画像２３２の色は、少なくとも、点画像２３２の周辺領域のうち、この点画像２３２が位相板１１４の作用によって分散された画像成分を含む領域とは異なる色とされればよい。また、点画像２３２は、画像２３１の内部にあらかじめ配置されたものでよい。この場合、点画像２３２を含む画像２３１は、例えば、収差補正用のテスト画像などと兼用されてもよい。あるいは、点画像２３２は、図１２に示したように、外部の光源２１２から画像２３１に対して光を照射することで生成されてもよい。
【００９６】
図１７は、第４の実施の形態に係る撮像装置のＰＳＦ検出モードにおける撮像処理手順を示すフローチャートである。
［ステップＳ４１］撮像制御部１５４ａは、入力部１５５のシャッタボタンが押下されたかを監視する。撮像制御部１５４ａは、シャッタボタンが押下されたことを検知すると、画像復元処理部１３０ａに対して撮像動作の開始信号を出力する。開始信号を受信した画像復元処理部１３０ａは、ステップＳ４２以降の処理を実行する。
【００９７】
［ステップＳ４２］撮像素子１２１によって撮像された画像（中間画像）の信号が、Ａ／Ｄコンバータ１２２によってデジタルデータ化される。撮像制御部１５４ａからの開始信号を受信した画像復元処理部１３０ａにおいて、画像メモリ１３１は、Ａ／Ｄコンバータ１２２から出力された中間画像データを取り込む。
【００９８】
［ステップＳ４３］画像抽出部１３２ａは、画像メモリ１３１に記憶された中間画像データに基づく中間画像から、あらかじめ決められた領域を部分画像として抽出する。なお、第３の実施の形態と同様に、ユーザは、ステップＳ４１でシャッタボタンを押下する際に、点画像２３２が画角の中心に配置されるようにする。これにより、画像抽出部１３２ａは、中間画像の中央部の所定領域を抽出することで、点画像２３２とその点画像２３２が分散した成分とを含む領域を、部分画像として抽出することができる。
【００９９】
なお、このステップＳ４３では、第２の実施の形態の画像抽出部１３２と同様に、中間画像と設計ＰＳＦ１４１とをパターンマッチングすることにより、部分画像が抽出されてもよい。
【０１００】
［ステップＳ４４］コンボリューション制御部１３３ａは、画像抽出部１３２ａによって抽出された部分画像のデータから、Ｒ（Red）成分およびＧ（Green）成分を分離する。コンボリューション制御部１３３ａは、部分画像の各画素についてＲ成分の値からＧ成分の値を減算し、その減算結果が所定のしきい値ｔｈ１以上であるかを判定する。コンボリューション制御部１３３ａは、減算結果がしきい値ｔｈ１以上である場合には、その減算結果を画素の値とし、減算結果がしきい値ｔｈ１未満である場合には、画素の値を０にすることにより、（Ｒ−Ｇ）成分の画像を生成する。コンボリューション制御部１３３ａは、生成した画像のデータを画像メモリ１３１に一時的に格納する。
【０１０１】
［ステップＳ４５］コンボリューション制御部１３３ａは、画像抽出部１３２ａによって抽出された部分画像のデータから、Ｒ成分およびＢ（Blue）成分を分離する。コンボリューション制御部１３３ａは、部分画像の各画素についてＲ成分の値からＢ成分の値を減算し、その減算結果が所定のしきい値ｔｈ２以上であるかを判定する。コンボリューション制御部１３３ａは、減算結果がしきい値ｔｈ２以上である場合には、その減算結果を画素の値とし、減算結果がしきい値ｔｈ２未満である場合には、画素の値を０にすることにより、（Ｒ−Ｂ）成分の画像を生成する。コンボリューション制御部１３３ａは、生成した画像のデータを画像メモリ１３１に一時的に格納する。
【０１０２】
なお、ステップＳ４４，Ｓ４５の処理順は、逆であってもよい。あるいは、ステップＳ４４，Ｓ４５の処理が並列に実行されてもよい。
［ステップＳ４６］コンボリューション制御部１３３ａは、ステップＳ４４，Ｓ４５でそれぞれ生成した画像について、各画素の値の平均を演算することで、ＰＳＦを算出する。
【０１０３】
［ステップＳ４７］コンボリューション制御部１３３ａは、算出したＰＳＦを基に逆カーネル「ｈinv」を算出し、算出した逆カーネル「ｈinv」を、カーネルデータ１４２として不揮発性記憶部１４０に記憶する。
【０１０４】
なお、本撮像モードにおける撮像処理手順は、図１５に示した処理手順と同じであるので、ここでは説明を省略する。
また、上記の図１７の処理では、特定の色として赤色の点画像２３２を検出する場合の例を示したが、点画像２３２の色としては赤色に限らない。例えば、図１７のステップＳ４４において、Ｒ成分の値からＧ成分の値を減算する代わりにＢ成分の値からＲ成分の値を減算し、ステップＳ４５において、Ｒ成分の値からＢ成分の値を減算する代わりにＢ成分の値からＧ成分の値を減算することにより、青色の点画像２３２を検出することができる。
【０１０５】
以上の第４の実施の形態では、第３の実施の形態と同様に、光学系の設計値から求めたカーネルデータを用いて復元処理を行う場合と比較して、被写体像をより高精度に復元できるという効果が得られる。また、本撮像モードにおける処理負荷を軽減し、復元処理を高速化できるという効果も得られる。さらに、第４の実施の形態では、第３の実施の形態と比較して、ＰＳＦ検出モードで撮像の対象とする被写体の汎用性を高めることができる。
【０１０６】
〔第５の実施の形態〕
以下の第５の実施の形態に係る撮像装置は、ＰＳＦ検出用の撮像時に被写体に点画像を生成する光源を搭載する。そして、光源を用いて撮像を行うことでＰＳＦを取得した直後に、光源から光を照射しない状態で本撮像を行うようにする。このような動作により、光学系の製造誤差によるＰＳＦの誤差だけでなく、被写体との距離の違いによるＰＳＦ誤差も低減できるようにする。
【０１０７】
図１８は、第５の実施の形態に係る撮像装置の構成例を示す図である。なお、この図１８では、図２に対応する構成要素については同じ符号を付して示す。
図１８に示す撮像装置１００ｂにおいて、画像復元処理部１３０ｂは、図２に示した画像メモリ１３１、コンボリューション制御部１３３およびコンボリューション演算部１３４を備える。さらに、画像復元処理部１３０ｂは、画像抽出部１３２ｂを備える。画像抽出部１３２ｂは、図２の画像抽出部１３２と同様に、パターンマッチングにより中間画像から部分画像を抽出する処理を行う。ただし、画像抽出部１３２ｂは、中間画像から特定の色領域の色を有する画素を分離して特定色画像を生成し、この特定色画像から部分画像を抽出する。
【０１０８】
さらに、撮像装置１００ｂは、被写体上に特定の色の点画像を生成する光源１６１を備える。光源１６１は、例えばレーザ発光素子である。図１６の点画像２３２と同様に、光源１６１が被写体上に生成する点画像の色は、少なくとも、被写体における点画像の周辺領域のうち、この点画像が位相板１１４の作用によって分散された画像成分を含む領域とは異なる色とされる。従って、光源１６１は、例えば、被写体の色と異なる色の点画像を生成できるように、複数の色の光を切り替えて照射することが可能とされてもよい。
【０１０９】
図１９は、第５の実施の形態に係る撮像装置の撮像処理手順を示すフローチャートである。
［ステップＳ５１］撮像制御部１５４ｂは、入力部１５５のシャッタボタンが押下されたかを監視する。撮像制御部１５４ｂがシャッタボタンが押下されたことを検知すると、ステップＳ５２以降の処理が実行される。
【０１１０】
［ステップＳ５２］撮像制御部１５４ｂは、光源１６１をオンにして、光源１６１から被写体に対して光を照射させる。撮像制御部１５４ｂは、光源１６１からの光が照射された被写体を、撮像素子１２１に撮像させる。
【０１１１】
［ステップＳ５３］撮像素子１２１によって撮像された画像（中間画像）の信号は、Ａ／Ｄコンバータ１２２によってデジタルデータ化され、中間画像データとして画像メモリ１３１に取り込まれる。
【０１１２】
［ステップＳ５４］画像抽出部１３２ｂは、ステップＳ５３で画像メモリ１３１に取り込まれた中間画像データから、Ｒ成分およびＧ成分を分離する。画像抽出部１３２ｂは、中間画像の各画素についてＲ成分の値からＧ成分の値を減算し、その減算結果が所定のしきい値ｔｈ１以上であるかを判定する。画像抽出部１３２ｂは、減算結果がしきい値ｔｈ１以上である場合には、その減算結果を画素の値とし、減算結果がしきい値ｔｈ１未満である場合には、画素の値を０にすることにより、（Ｒ−Ｇ）成分の画像を生成する。画像抽出部１３２ｂは、生成した画像のデータを画像メモリ１３１に一時的に格納する。
【０１１３】
［ステップＳ５５］画像抽出部１３２ｂは、ステップＳ５３で画像メモリ１３１に取り込まれた中間画像データから、Ｒ成分およびＢ成分を分離する。画像抽出部１３２ｂは、中間画像の各画素についてＲ成分の値からＢ成分の値を減算し、その減算結果が所定のしきい値ｔｈ２以上であるかを判定する。画像抽出部１３２ｂは、減算結果がしきい値ｔｈ２以上である場合には、その減算結果を画素の値とし、減算結果がしきい値ｔｈ２未満である場合には、画素の値を０にすることにより、（Ｒ−Ｂ）成分の画像を生成する。画像抽出部１３２ｂは、生成した画像のデータを画像メモリ１３１に一時的に格納する。
【０１１４】
なお、ステップＳ５４，Ｓ５５の処理順は、逆であってもよい。あるいは、ステップＳ５４，Ｓ５５の処理が並列に実行されてもよい。
［ステップＳ５６］画像抽出部１３２ｂは、ステップＳ５４，Ｓ５５でそれぞれ生成した画像について、各画素の値の平均を演算することで、特定色画像を生成する。画像抽出部１３２ｂは、生成した特定色画像のデータを画像メモリ１３１に一時的に格納する。
【０１１５】
［ステップＳ５７］画像抽出部１３２ｂは、不揮発性記憶部１４０から設計ＰＳＦ１４１を読み込む。画像抽出部１３２ｂは、読み込んだ設計ＰＳＦ１４１を用いてパターンマッチングを行うことにより、ステップＳ５７で生成した特定色画像から部分画像を抽出する。
【０１１６】
なお、部分画像の抽出にパターンマッチングを使用することで、例えば、被写体の表面が曲面の場合など、光源１６１からの光による点画像の画角内の位置が不安定になる場合でも、部分画像を精度よく抽出できる。ただし、第４の実施の形態のように、パターンマッチングを用いず、部分画像をあらかじめ決められた領域から抽出するようにしてもよい。この場合、ステップＳ５４〜Ｓ５７の処理は、図１７のステップＳ４３〜Ｓ４６の処理手順のように、先に部分画像を抽出し、抽出した部分画像から（Ｒ−Ｇ）成分および（Ｒ−Ｂ）成分の各画像を生成し、各画像の平均をとることによってＰＳＦを求めるように変更してもよい。部分画像をあらかじめ決められた領域から抽出した場合でも、例えば、被写体が平板状の場合などでは、部分画像を精度よく抽出できる。
【０１１７】
［ステップＳ５８］コンボリューション制御部１３３は、ステップＳ５７で画像抽出部１３２ｂによって抽出された部分画像のデータをＰＳＦとし、このＰＳＦを基に逆カーネル「ｈinv」を算出する。コンボリューション制御部１３３は、例えば、算出された逆カーネル「ｈinv」を画像メモリ１３１に一時的に格納する。
【０１１８】
［ステップＳ５９］撮像制御部１５４ｂは、光源１６１をオフにし、光源１６１によって生成された点画像が消滅した被写体を、撮像素子１２１に撮像させる。
［ステップＳ６０］撮像素子１２１によって撮像された画像（中間画像）の信号は、Ａ／Ｄコンバータ１２２によってデジタルデータ化され、中間画像データとして画像メモリ１３１に取り込まれる。
【０１１９】
［ステップＳ６１］コンボリューション演算部１３４は、ステップＳ５８でコンボリューション制御部１３３によって算出された逆カーネル「ｈinv」を用いて、ステップＳ６０で画像メモリ１３１に記憶された中間画像データに対して、式（５）に従って畳み込み演算を行う。これにより、被写体像の復元処理が実行される。
【０１２０】
コンボリューション演算部１３４によって演算処理された画像データは、ＤＳＰ１５１によって所定の画質補正処理および圧縮符号化処理が施された後、メモリカード１５３に記録される。
【０１２１】
なお、上記の図１９の処理では、特定の色として赤色の点画像を検出する場合の例を示したが、点画像の色としては赤色に限らない。
以上の第５の実施の形態では、第２の実施の形態と同様に、撮像を行うたびに、その撮像によって得られた中間画像からＰＳＦが求められ、求められたＰＳＦを用いて中間画像に対する復元処理が行われる。このような処理により、被写体との距離の違いによるＰＳＦの誤差が理論上生じなくなるので、被写体との距離によらず、被写体像を高精度に復元できるようになる。また、第５の本実施の形態では、被写体との距離の違いによるＰＳＦ誤差だけでなく、第１，第３，第４の各実施の形態と同様に、位相板１１４を含む光学系の製造誤差によるＰＳＦの誤差も低減できる。
【０１２２】
〔第６の実施の形態〕
上記の第１〜第５の実施の形態では、中間画像内の一箇所から抽出した部分画像をＰＳＦとし、この１つのＰＳＦを用いて被写体像の復元処理を行った。これに対して、ＰＳＦを複数求め、被写体像の復元処理時に複数のＰＳＦの中から適切なＰＳＦを選択するという方法もある。以下の第６の実施の形態では、複数のＰＳＦを求める例として、中間画像内の複数箇所からそれぞれＰＳＦを求め、これらのＰＳＦを復元処理時に選択的に使用する撮像装置について説明する。
【０１２３】
図２０は、第６の実施の形態に係る撮像装置の構成例を示す図である。なお、この図２０では、図２および図１０に対応する構成要素については同じ符号を付して示す。
図２０に示す撮像装置１００ｃにおいて、画像復元処理部１３０ｃは、図１０に示した画像メモリ１３１を備える。さらに、画像復元処理部１３０ｃは、画像抽出部１３２ｃ、コンボリューション制御部１３３ｃおよびコンボリューション演算部１３４ｃを備える。
【０１２４】
画像抽出部１３２ｃは、図１０の画像抽出部１３２ａと同様に、中間画像の所定領域から部分画像を抽出する。ただし、画像抽出部１３２ｃは、中間画像内の複数領域から部分画像を抽出する。
【０１２５】
コンボリューション制御部１３３ｃは、図１０のコンボリューション制御部１３３ａと同様に、ＰＳＦ検出モードにおいて、画像抽出部１３２ｃによって抽出された部分画像をＰＳＦとし、このＰＳＦを基に逆カーネル「ｈinv」を算出して、算出した逆カーネル「ｈinv」をカーネルデータ１４２として不揮発性記憶部１４０に保存する。ただし、コンボリューション制御部１３３ｃは、画像抽出部１３２ｃによって抽出された複数の部分画像のそれぞれを基にカーネルデータ１４２を算出し、算出した複数のカーネルデータ１４２を不揮発性記憶部１４０に保存する。
【０１２６】
コンボリューション演算部１３４ｃは、図１０のコンボリューション演算部１３４と同様に、本撮像モードにおいて、画像メモリ１３１に記憶された中間画像データに対して、カーネルデータ１４２を用いて被写体像の復元処理を行う。ただし、コンボリューション演算部１３４ｃは、中間画像を複数の領域に分割し、不揮発性記憶部１４０に記憶された複数のカーネルデータ１４２のうち、各分割領域に対応する適切なカーネルデータ１４２を用いて、被写体像の復元処理を行う。これにより、画角内の位置の違いに応じて発生し得るＰＳＦの誤差を低減することができる。画角内の位置の違いに応じてＰＳＦの誤差が発生する要因としては、例えば、光学ブロック１１０内のレンズの収差などがある。
【０１２７】
図２１は、ＰＳＦ検出モードにおいて撮像の対象とする被写体の例を示す図である。
本実施の形態の撮像装置１００ｃは、ＰＳＦ検出モードにおいて、図２１に示すような複数の点画像２４１〜２４５を撮像する。点画像２４１〜２４５は、各点画像２４１〜２４５が位相板１１４の作用によって分散された成分が互いに重複しないように、互いに離間して配置される。また、本実施の形態では、例として、各点画像２４１〜２４５は同じ色とされる。この場合、各点画像２４１〜２４５の色を背景画像２４６の色とは異なるものとすることで、撮像装置１００ｃは、各点画像２４１〜２４５を背景画像２４６から分離して検出することができる。
【０１２８】
点画像２４１〜２４５は、例えば、図１２に示したように、外部の光源から被写体に光を照射することで生成されたものであってよい。あるいは、点画像２４１〜２４５は、被写体状にあらかじめ配置されたものであってもよい。
【０１２９】
図２２は、部分画像を抽出する領域の設定例を示す図である。
図２２に示す中間画像２５０は、ＰＳＦ検出モードにおいて撮像された画像である。画像抽出部１３２ｃは、中間画像２５０の領域内にあらかじめ決められた部分画像領域２５１〜２５５のそれぞれから、部分画像を抽出する。部分画像領域２５１〜２５５は、それぞれ図２１に示した点画像２４１〜２４５に対応付けられている。
【０１３０】
ＰＳＦ検出モードにおいて、ユーザは、点画像２４１〜２４５が、それぞれ部分画像領域２５１〜２５５の略中心部に配置されるように、画角を調整して撮像を行う。ここで、部分画像領域２５１〜２５５のそれぞれの大きさは、点画像２４１〜２４５のそれぞれが位相板１１４によって分散された成分の領域を含むように決定される。
【０１３１】
なお、例えば、ＰＳＦ検出モードでは、モニタ画像を表示する表示部１５２の領域内に、部分画像領域２５１〜２５５をそれぞれ示す枠を表示することで、ユーザは、点画像２４１〜２４５がそれぞれ部分画像領域２５１〜２５５の略中心部に配置されるように画角を調整することができる。このように、点画像２４１〜２４５がそれぞれ部分画像領域２５１〜２５５の略中心部に配置された状態で撮像が行われることで、画像抽出部１３２ｃは、パターンマッチングを用いずに、あらかじめ設定された領域から画像を抽出するという簡単な処理で複数の部分画像を抽出できるようになる。
【０１３２】
図２３は、中間画像を分割した分割領域の例を示す図である。
図２３の中間画像２６０は、コンボリューション演算部１３４ｃが演算の対象とする撮像画像である。コンボリューション演算部１３４ｃは、本撮像モードにおいて、演算対象とする中間画像２６０を複数の領域に分割し、各分割領域に対応するカーネルデータ１４２を用いて、被写体の復元処理を行う。
【０１３３】
図２３の例では、コンボリューション演算部１３４ｃは、演算対象とする中間画像２６０を５つの分割領域２６１〜２６５に分割する。分割領域２６１〜２６５は、それぞれ図２２に示した部分画像領域２５１〜２５５を包含するように設定される。コンボリューション演算部１３４ｃは、分割領域２６１についての復元処理を実行する際には、部分画像領域２５１を基に算出されたカーネルデータ１４２を使用する。同様に、コンボリューション演算部１３４ｃは、分割領域２６２〜２６５についての復元処理を実行する際には、それぞれ部分画像領域２５２〜２５５を基に算出されたカーネルデータ１４２を使用する。これにより、画角内の位置の違いに応じたＰＳＦの誤差が低減され、各分割領域における被写体像をより高精度に復元することができる。
【０１３４】
図２４は、第６の実施の形態に係る撮像装置のＰＳＦ検出モードにおける撮像処理手順を示すフローチャートである。
［ステップＳ７１］撮像制御部１５４ａは、入力部１５５のシャッタボタンが押下されたかを監視する。撮像制御部１５４ａは、シャッタボタンが押下されたことを検知すると、画像復元処理部１３０ｃに対して撮像動作の開始信号を出力する。開始信号を受信した画像復元処理部１３０ｃは、ステップＳ７２以降の処理を実行する。
【０１３５】
［ステップＳ７２］撮像素子１２１によって撮像された画像（中間画像）の信号が、Ａ／Ｄコンバータ１２２によってデジタルデータ化される。撮像制御部１５４ａからの開始信号を受信した画像復元処理部１３０ｃにおいて、画像メモリ１３１は、Ａ／Ｄコンバータ１２２から出力された中間画像データを取り込む。
【０１３６】
［ステップＳ７３］画像抽出部１３２ｃは、あらかじめ決められた複数の部分画像領域２５１〜２５５のうち１つを選択し、画像メモリ１３１に記憶された中間画像データに基づく中間画像から、選択した部分画像領域を部分画像として抽出する。
【０１３７】
なお、このステップＳ７３では、第２の実施の形態の画像抽出部１３２と同様に、中間画像と設計ＰＳＦ１４１とをパターンマッチングすることにより、部分画像が抽出されてもよい。パターンマッチングを行う場合、画像抽出部１３２ｃは例えば、ステップＳ７３において、図２３に示した分割領域２６１〜２６５のうちの１つを選択し、中間画像上の選択した分割領域に対して、設計ＰＳＦ１４１とのパターンマッチングを行う。
【０１３８】
［ステップＳ７４］コンボリューション制御部１３３ｃは、ステップＳ７３で画像抽出部１３２ｃによって抽出された部分画像のデータから、Ｒ成分およびＧ成分を分離する。コンボリューション制御部１３３ｃは、部分画像の各画素についてＲ成分の値からＧ成分の値を減算し、その減算結果が所定のしきい値ｔｈ１以上であるかを判定する。コンボリューション制御部１３３ｃは、減算結果がしきい値ｔｈ１以上である場合には、その減算結果を画素の値とし、減算結果がしきい値ｔｈ１未満である場合には、画素の値を０にすることにより、（Ｒ−Ｇ）成分の画像を生成する。コンボリューション制御部１３３ｃは、生成した画像のデータを画像メモリ１３１に一時的に格納する。
【０１３９】
［ステップＳ７５］コンボリューション制御部１３３ｃは、ステップＳ７３で画像抽出部１３２ａによって抽出された部分画像のデータから、Ｒ成分およびＢ成分を分離する。コンボリューション制御部１３３ｃは、部分画像の各画素についてＲ成分の値からＢ成分の値を減算し、その減算結果が所定のしきい値ｔｈ２以上であるかを判定する。コンボリューション制御部１３３ｃは、減算結果がしきい値ｔｈ２以上である場合には、その減算結果を画素の値とし、減算結果がしきい値ｔｈ２未満である場合には、画素の値を０にすることにより、（Ｒ−Ｂ）成分の画像を生成する。コンボリューション制御部１３３ｃは、生成した画像のデータを画像メモリ１３１に一時的に格納する。
【０１４０】
なお、ステップＳ７４，Ｓ７５の処理順は、逆であってもよい。あるいは、ステップＳ７４，Ｓ７５の処理が並列に実行されてもよい。
［ステップＳ７６］コンボリューション制御部１３３ｃは、ステップＳ７４，Ｓ７５でそれぞれ生成した画像について、各画素の値の平均を演算することで、ＰＳＦを算出する。
【０１４１】
［ステップＳ７７］コンボリューション制御部１３３ｃは、ステップＳ７６で算出したＰＳＦを基に逆カーネル「ｈinv」を算出し、算出した逆カーネル「ｈinv」を、カーネルデータ１４２として不揮発性記憶部１４０に記憶する。
【０１４２】
［ステップＳ７８］画像抽出部１３２ｃは、あらかじめ決められた複数の部分画像の領域のすべてについてステップＳ７３〜Ｓ７７の処理を実行したかを判定する。画像抽出部１３２ｃは、上記処理が済んでいない領域が存在すると判定した場合、ステップＳ７３の処理を実行する。この場合、画像抽出部１３２ｃは、ステップＳ７３において、処理済みでない新たな領域を選択し、中間画像から選択した領域を部分画像として抽出する。一方、画像抽出部１３２ｃは、すべての領域について上記処理が実行されたと判定した場合には、ＰＳＦ検出モードでの処理を終了する。
【０１４３】
図２５は、第６の実施の形態に係る撮像装置の本撮像モードにおける撮像処理手順を示すフローチャートである。
［ステップＳ８１］撮像制御部１５４ａは、入力部１５５のシャッタボタンが押下されたかを監視する。撮像制御部１５４ａは、シャッタボタンが押下されたことを検知すると、画像復元処理部１３０ｃに対して撮像動作の開始信号を出力する。開始信号を受信した画像復元処理部１３０ｃは、ステップＳ８２以降の処理を実行する。
【０１４４】
［ステップＳ８２］撮像素子１２１によって撮像された画像（中間画像）の信号が、Ａ／Ｄコンバータ１２２によってデジタルデータ化される。撮像制御部１５４ａからの開始信号を受信した画像復元処理部１３０ｃにおいて、画像メモリ１３１は、Ａ／Ｄコンバータ１２２から出力された中間画像データを取り込む。
【０１４５】
［ステップＳ８３］コンボリューション制御部１３３ｃは、中間画像の領域のうち、コンボリューション演算部１３４ｃにおいて演算対象とする分割領域を選択する。
［ステップＳ８４］コンボリューション制御部１３３ｃは、ステップＳ８３で選択した分割領域に対応するカーネルデータ１４２を、不揮発性記憶部１４０から読み出す。
【０１４６】
［ステップＳ８５］コンボリューション演算部１３４ｃは、コンボリューション制御部１３３ｃによって不揮発性記憶部１４０から読み出されたカーネルデータ１４２を用いて、ステップＳ８２で画像メモリ１３１に記憶された中間画像データのうち、ステップＳ８３で選択した分割領域のデータに対して、式（５）に従って畳み込み演算を行う。コンボリューション演算部１３４ｃは、演算済みの画像データを、例えば、画像メモリ１３１に一時的に格納する。
【０１４７】
［ステップＳ８６］コンボリューション制御部１３３ｃは、コンボリューション演算部１３４ｃによって演算対象とするすべての分割領域について、ステップＳ８３〜Ｓ８５の処理を実行したかを判定する。コンボリューション制御部１３３ｃは、上記処理が済んでいない分割領域が存在すると判定した場合には、ステップＳ８３の処理を実行する。この場合、コンボリューション制御部１３３ｃは、処理済みでない新たな分割領域を選択し、選択した分割領域に対応するカーネルデータ１４２を、不揮発性記憶部１４０から読み出す。一方、コンボリューション制御部１３３ｃは、すべての分割領域について上記処理が実行されたと判定した場合には、コンボリューション演算部１３４ｃにステップＳ８７の処理を実行させる。
【０１４８】
［ステップＳ８７］コンボリューション演算部１３４ｃは、ステップＳ８５で演算が施された各画像を統合し、被写体像が復元された画像としてＤＳＰ１５１に出力する。
コンボリューション演算部１３４ｃから出力された画像データは、ＤＳＰ１５１によって所定の画質補正処理および圧縮符号化処理が施された後、メモリカード１５３に記録される。
【０１４９】
以上の第６の実施の形態では、中間画像上の複数の領域からＰＳＦが求められ、復元対象とする中間画像上の領域ごとに、各領域に対応するＰＳＦを用いて被写体像の復元処理が実行される。このような処理により、画角内の位置の違いに応じたＰＳＦの誤差が低減され、各分割領域における被写体像をより高精度に復元することができる。
【０１５０】
なお、上記の第６の実施の形態で説明した、複数の領域からそれぞれ求めたＰＳＦのいずれかを用いて被写体像を復元するという処理は、前述の第３，第５の実施の形態にも適用することが可能である。
【０１５１】
また、中間画像に基づくＰＳＦを複数求め、被写体像の復元処理時にＰＳＦを選択的に使用する他の例としては、ＰＳＦ検出モードにおいて、撮像装置との距離が異なる複数の被写体を撮像し、これらの撮像によって得られた複数の中間画像のそれぞれからＰＳＦを求める方法が考えられる。この場合、撮像装置は、被写体との距離を計測する距離計を備え、本撮像モードにおいて、距離計によって被写体との距離を計測し、計測した距離に対応するＰＳＦを用いて被写体像の復元処理を行う。これにより、第２の実施の形態と同様に、被写体との距離の違いによるＰＳＦの誤差が低減されるので、被写体との距離によらず、被写体像を高精度に復元できるようになる。
【０１５２】
また、上記の第２〜第６の実施の形態では、位相変調素子として厚さが変化する位相板を用いたが、位相変調素子としてはこのような位相板に限定されない。他の位相変調素子としては、例えば、屈折率分布型波面変調レンズのように、屈折率が場所によって変化する光学素子、あるいは、波面変調ハイブリッドレンズのように、レンズ表面へのコーディングなどにより厚みや屈折率が変化する光学素子、液晶空間位相変調素子のように、位相分布を変調可能な液晶素子などを使用できる。
【０１５３】
また、上記の第２〜第６の実施の形態では、入射光を２方向に分散させる位相変調素子が用いられたが、位相変調素子としてはこのようなものに限らず、入射光を規則的に分散させる種々の位相変調素子を使用できる。
【０１５４】
以上の各実施の形態に関し、さらに以下の付記を開示する。
（付記１） 被写体からの光を位相変調素子を通じて受光する撮像素子と、
前記撮像素子によって得られた撮像画像から、点画像が分散された領域を含む部分画像を抽出する画像抽出部と、
前記画像抽出部によって抽出された前記部分画像を点像分布関数として用い、前記撮像素子によって得られた撮像画像に対して被写体像を復元する処理を施す復元処理部と、
を有することを特徴とする撮像装置。
【０１５５】
（付記２） 前記復元処理部は、前記画像抽出部によって前記部分画像の抽出対象とされた撮像画像と同じ撮像画像に対して、被写体像を復元する処理を施すことを特徴とする付記１記載の撮像装置。
【０１５６】
（付記３） 前記画像抽出部は、前記撮像素子によって得られた撮像画像に対して、前記位相変調素子を含む光学系の設計値から算出された他の点像分布関数とのパターンマッチングを行うことで、前記部分画像を抽出することを特徴とする付記１または２記載の撮像装置。
【０１５７】
（付記４） 前記復元処理部は、前記画像抽出部による前記部分画像の抽出後に前記撮像素子によって新たに得られた撮像画像に対して、前記画像抽出部によって抽出された前記部分画像を点像分布関数として用い、前記被写体像を復元する処理を施すことを特徴とする付記１記載の撮像装置。
【０１５８】
（付記５） 前記被写体に対して光を照射することで前記被写体上に前記点画像を生成する発光部をさらに有し、
前記画像抽出部は、前記発光部からの光が照射された前記被写体を前記撮像素子が撮像することで得られた撮像画像から、前記部分画像を抽出し、
前記復元処理部は、前記発光部からの光の照射が中止された後の前記被写体を前記撮像素子が撮像することで得られた撮像画像に対して、前記被写体像を復元する処理を施す、
ことを特徴とする付記４記載の撮像装置。
【０１５９】
（付記６） 前記復元処理部は、前記画像抽出部によって抽出された前記部分画像から、前記点画像の色を含む特定の色領域の成分を抽出することで得た画像を、点像分布関数として用いることを特徴とする付記１，４，５のいずれか１つに記載の撮像装置。
【０１６０】
（付記７） 前記画像抽出部は、前記撮像素子によって得られた撮像画像からあらかじめ決められた領域を前記部分画像として抽出することを特徴とする付記１，４，５，６のいずれか１つに記載の撮像装置。
【０１６１】
（付記８） 前記あらかじめ決められた領域は、前記撮像素子によって得られた撮像画像の中央部を中心とした領域であることを特徴とする付記７記載の撮像装置。
（付記９） 前記画像抽出部は、前記撮像素子によって得られた撮像画像から、前記点画像の色を含む特定の色領域の成分を抽出した画像を生成し、前記特定の色領域の成分を抽出した画像に対して、前記位相変調素子を含む光学系の設計値から算出された他の点像分布関数とのパターンマッチングを行うことで、前記部分画像を抽出することを特徴とする付記１，４，５のいずれか１つに記載の撮像装置。
【０１６２】
（付記１０） 前記画像抽出部は、前記撮像素子によって得られた撮像画像から、それぞれ個別の点画像が分散された領域を含む複数の部分画像を抽出し、
前記復元処理部は、前記撮像素子によって得られた撮像画像上の分割領域ごとに、前記複数の部分画像のうち各分割領域に対応する部分画像を選択して点像分布関数として用いて、前記被写体像を復元する処理を施す、
ことを特徴とする付記１〜７のいずれか１つに記載の撮像装置。
【０１６３】
（付記１１） 被写体からの光を位相変調素子を通じて受光する撮像素子によって得られた撮像画像から、点画像が分散された領域を含む部分画像を抽出する画像抽出部と、
前記画像抽出部によって抽出された前記部分画像を点像分布関数として用い、前記撮像素子によって得られた撮像画像に対して被写体像を復元する処理を施す復元処理部と、
を有することを特徴とする画像処理装置。
【０１６４】
（付記１２） 被写体からの光を位相変調素子を通じて受光する撮像素子を備えた撮像装置における撮像方法であって、
前記撮像素子によって得られた撮像画像から、点画像が分散された領域を含む部分画像を抽出し、
抽出された前記部分画像を点像分布関数として用い、前記撮像素子によって得られた撮像画像に対して被写体像を復元する、
ことを特徴とする撮像方法。
【０１６５】
（付記１３） 前記撮像装置は、前記部分画像の抽出対象とした撮像画像と同じ撮像画像に対して、前記被写体像を復元する処理を施すことを特徴とする付記１２記載の撮像方法。
【０１６６】
（付記１４） 前記撮像装置は、前記部分画像の抽出後に前記撮像素子によって得られた撮像画像に対して、当該部分画像を点像分布関数として用い、前記被写体像を復元する処理を施すことを特徴とする付記１２記載の撮像方法。
【０１６７】
（付記１５） 前記撮像装置は、
前記被写体に対して光を照射することで当該被写体上に点画像を生成し、
光が照射された前記被写体を前記撮像素子が撮像することで得られた撮像画像から、前記部分画像を抽出し、
前記被写体に対する光の照射を中止し、
前記光の照射が中止された後の前記被写体を前記撮像素子が撮像することで得られた撮像画像に対して、前記被写体像を復元する処理を施す、
ことを特徴とする付記１４記載の撮像方法。
【符号の説明】
【０１６８】
１ 撮像装置
１１ 撮像素子
１２ 位相変調素子
１３ 画像抽出部
１４ 復元処理部
Ｐ１ 撮像画像
Ｐ２ 部分画像
Ｐ３ 画像
【特許請求の範囲】
【請求項１】
被写体からの光を位相変調素子を通じて受光する撮像素子と、
前記撮像素子によって得られた撮像画像から、点画像が分散された領域を含む部分画像を抽出する画像抽出部と、
前記画像抽出部によって抽出された前記部分画像を点像分布関数として用い、前記撮像素子によって得られた撮像画像に対して被写体像を復元する処理を施す復元処理部と、
を有することを特徴とする撮像装置。
【請求項２】
前記復元処理部は、前記画像抽出部によって前記部分画像の抽出対象とされた撮像画像と同じ撮像画像に対して、被写体像を復元する処理を施すことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記画像抽出部は、前記撮像素子によって得られた撮像画像に対して、前記位相変調素子を含む光学系の設計値から算出された他の点像分布関数とのパターンマッチングを行うことで、前記部分画像を抽出することを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記復元処理部は、前記画像抽出部による前記部分画像の抽出後に前記撮像素子によって新たに得られた撮像画像に対して、前記画像抽出部によって抽出された前記部分画像を点像分布関数として用い、前記被写体像を復元する処理を施すことを特徴とする請求項１記載の撮像装置。
【請求項５】
前記被写体に対して光を照射することで前記被写体上に前記点画像を生成する発光部をさらに有し、
前記画像抽出部は、前記発光部からの光が照射された前記被写体を前記撮像素子が撮像することで得られた撮像画像から、前記部分画像を抽出し、
前記復元処理部は、前記発光部からの光の照射が中止された後の前記被写体を前記撮像素子が撮像することで得られた撮像画像に対して、前記被写体像を復元する処理を施す、
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記復元処理部は、前記画像抽出部によって抽出された前記部分画像から、前記点画像の色を含む特定の色領域の成分を抽出することで得た画像を、点像分布関数として用いることを特徴とする請求項１，４，５のいずれか１項に記載の撮像装置。
【請求項７】
前記画像抽出部は、前記撮像素子によって得られた撮像画像から、前記点画像の色を含む特定の色領域の成分を抽出した画像を生成し、前記特定の色領域の成分を抽出した画像に対して、前記位相変調素子を含む光学系の設計値から算出された他の点像分布関数とのパターンマッチングを行うことで、前記部分画像を抽出することを特徴とする請求項１，４，５のいずれか１項に記載の撮像装置。
【請求項８】
前記画像抽出部は、前記撮像素子によって得られた撮像画像から、それぞれ個別の点画像が分散された領域を含む複数の部分画像を抽出し、
前記復元処理部は、前記撮像素子によって得られた撮像画像上の分割領域ごとに、前記複数の部分画像のうち各分割領域に対応する部分画像を選択して点像分布関数として用いて、前記被写体像を復元する処理を施す、
ことを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項９】
被写体からの光を位相変調素子を通じて受光する撮像素子によって得られた撮像画像から、点画像が分散された領域を含む部分画像を抽出する画像抽出部と、
前記画像抽出部によって抽出された前記部分画像を点像分布関数として用い、前記撮像素子によって得られた撮像画像に対して被写体像を復元する処理を施す復元処理部と、
を有することを特徴とする画像処理装置。
【請求項１０】
被写体からの光を位相変調素子を通じて受光する撮像素子を備えた撮像装置における撮像方法であって、
前記撮像素子によって得られた撮像画像から、点画像が分散された領域を含む部分画像を抽出し、
抽出された前記部分画像を点像分布関数として用い、前記撮像素子によって得られた撮像画像に対して被写体像を復元する、
ことを特徴とする撮像方法。
【請求項１】
被写体からの光を位相変調素子を通じて受光する撮像素子と、
前記撮像素子によって得られた撮像画像から、点画像が分散された領域を含む部分画像を抽出する画像抽出部と、
前記画像抽出部によって抽出された前記部分画像を点像分布関数として用い、前記撮像素子によって得られた撮像画像に対して被写体像を復元する処理を施す復元処理部と、
を有することを特徴とする撮像装置。
【請求項２】
前記復元処理部は、前記画像抽出部によって前記部分画像の抽出対象とされた撮像画像と同じ撮像画像に対して、被写体像を復元する処理を施すことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記画像抽出部は、前記撮像素子によって得られた撮像画像に対して、前記位相変調素子を含む光学系の設計値から算出された他の点像分布関数とのパターンマッチングを行うことで、前記部分画像を抽出することを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記復元処理部は、前記画像抽出部による前記部分画像の抽出後に前記撮像素子によって新たに得られた撮像画像に対して、前記画像抽出部によって抽出された前記部分画像を点像分布関数として用い、前記被写体像を復元する処理を施すことを特徴とする請求項１記載の撮像装置。
【請求項５】
前記被写体に対して光を照射することで前記被写体上に前記点画像を生成する発光部をさらに有し、
前記画像抽出部は、前記発光部からの光が照射された前記被写体を前記撮像素子が撮像することで得られた撮像画像から、前記部分画像を抽出し、
前記復元処理部は、前記発光部からの光の照射が中止された後の前記被写体を前記撮像素子が撮像することで得られた撮像画像に対して、前記被写体像を復元する処理を施す、
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記復元処理部は、前記画像抽出部によって抽出された前記部分画像から、前記点画像の色を含む特定の色領域の成分を抽出することで得た画像を、点像分布関数として用いることを特徴とする請求項１，４，５のいずれか１項に記載の撮像装置。
【請求項７】
前記画像抽出部は、前記撮像素子によって得られた撮像画像から、前記点画像の色を含む特定の色領域の成分を抽出した画像を生成し、前記特定の色領域の成分を抽出した画像に対して、前記位相変調素子を含む光学系の設計値から算出された他の点像分布関数とのパターンマッチングを行うことで、前記部分画像を抽出することを特徴とする請求項１，４，５のいずれか１項に記載の撮像装置。
【請求項８】
前記画像抽出部は、前記撮像素子によって得られた撮像画像から、それぞれ個別の点画像が分散された領域を含む複数の部分画像を抽出し、
前記復元処理部は、前記撮像素子によって得られた撮像画像上の分割領域ごとに、前記複数の部分画像のうち各分割領域に対応する部分画像を選択して点像分布関数として用いて、前記被写体像を復元する処理を施す、
ことを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項９】
被写体からの光を位相変調素子を通じて受光する撮像素子によって得られた撮像画像から、点画像が分散された領域を含む部分画像を抽出する画像抽出部と、
前記画像抽出部によって抽出された前記部分画像を点像分布関数として用い、前記撮像素子によって得られた撮像画像に対して被写体像を復元する処理を施す復元処理部と、
を有することを特徴とする画像処理装置。
【請求項１０】
被写体からの光を位相変調素子を通じて受光する撮像素子を備えた撮像装置における撮像方法であって、
前記撮像素子によって得られた撮像画像から、点画像が分散された領域を含む部分画像を抽出し、
抽出された前記部分画像を点像分布関数として用い、前記撮像素子によって得られた撮像画像に対して被写体像を復元する、
ことを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１２−１０９８２６（Ｐ２０１２−１０９８２６Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５７５４２（Ｐ２０１０−２５７５４２）
【出願日】平成２２年１１月１８日（２０１０．１１．１８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１８日（２０１０．１１．１８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]