撮像装置
【課題】シャッタチャンスを逃さずに、また全体としての撮影時間も少なくしつつ、ユーザが所望の合焦状態の画像を得ることができる撮像装置を提供すること。
【解決手段】ユーザによるレリーズ指示を受けて、CPU101は、撮影時の被写体を判断し、判断した被写体に応じて撮像部102等の撮影パラメータ、並びにフォーカスレンズのスキャン範囲及びスキャン方向を設定する。その後、CPU101は、フォーカスレンズの駆動と同期するように撮像部102を連続動作させる。合焦評価部111は、撮像部102を介して得られた画像データの合焦状態を評価し、この評価結果に応じて画像データ及び合焦画像情報を記憶させる。撮影終了後に、CPU101は、合焦画像情報に従って、マルチフォーカス画像を表示部108に表示させる。ユーザは、表示部108に表示されたマルチフォーカス画像に対して種々の処理を行うことが可能である。
【解決手段】ユーザによるレリーズ指示を受けて、CPU101は、撮影時の被写体を判断し、判断した被写体に応じて撮像部102等の撮影パラメータ、並びにフォーカスレンズのスキャン範囲及びスキャン方向を設定する。その後、CPU101は、フォーカスレンズの駆動と同期するように撮像部102を連続動作させる。合焦評価部111は、撮像部102を介して得られた画像データの合焦状態を評価し、この評価結果に応じて画像データ及び合焦画像情報を記憶させる。撮影終了後に、CPU101は、合焦画像情報に従って、マルチフォーカス画像を表示部108に表示させる。ユーザは、表示部108に表示されたマルチフォーカス画像に対して種々の処理を行うことが可能である。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オートフォーカス機能を有する撮像装置に関する。
【背景技術】
【0002】
従来のフォーカス技術に関する提案として、ユーザが意図する合焦状態での撮影を可能とするための提案が、各種なされている。例えば、特許文献1では、合焦エリア内に複数の被写体が存在していた場合であっても、ユーザが意図する合焦状態の画像が得られるように、評価値を評価した結果、複数のピークが検出された場合に、検出されたピークの付近のフォーカス位置でブラケット撮影を行うようにしている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−086030号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、特許文献1の手法では、複数のピークが検出されたと判断された後でブラケット撮影を行う。このため、実際にフォーカスレンズがユーザの所望する合焦状態となるまでには時間がかかり易く、シャッタチャンスを逃してしまう可能性がある。また、全体としての撮影時間も長くなり易い。
【0005】
本発明は、上記の事情に鑑みてなされたもので、シャッタチャンスを逃さずに、また全体としての撮影時間も少なくしつつ、ユーザが所望の合焦状態の画像を得ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するために、本発明の一態様の撮像装置は、フォーカスレンズを有する撮像光学系と、前記撮像光学系を介して被写体を撮像し、該被写体に係る画像を得る撮像部と、前記被写体を判断する被写体判断部と、前記被写体判断部による判断結果に応じて、前記フォーカスレンズの駆動範囲及び駆動方向を設定し、該設定したフォーカスレンズの駆動範囲内で前記フォーカスレンズを前記設定した駆動方向に駆動させるように制御するフォーカス制御部と、前記被写体判断部による判断結果に応じて、前記撮像部における撮影パラメータを設定し、該設定した撮影パラメータに従って、前記フォーカスレンズの駆動中に、前記撮像部を連続動作させる撮像制御部と、前記撮像部の連続動作によって得られた複数の画像のそれぞれを複数のエリアに分割し、該分割したエリア毎に前記フォーカスレンズの合焦の有無を評価し、複数の画像のうちで前記フォーカスレンズが合焦しているエリアを有する合焦画像を示す合焦画像情報を生成する合焦評価部と、前記合焦画像と前記合焦画像情報とを記録部に記録する記録制御部と、前記合焦画像情報に従って、前記記録部に記録された合焦画像を表示部に表示させる表示制御部と、前記表示部に表示された合焦画像の中から所望の合焦画像を選択するための選択部と、を具備することを特徴とする。
【発明の効果】
【0007】
本発明によれば、シャッタチャンスを逃さずに、また全体としての撮影時間も少なくしつつ、ユーザが所望の合焦状態の画像を得ることができる撮像装置を提供することが可能である。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。
【図2】撮影動作時の処理について示すフローチャートである。
【図3】被写体パターン判断処理について示すフローチャートである。
【図4】撮影シーンの例を示す図である。
【図5】汎用シーンにおける有効画像サーチ処理の概要を示す図である。
【図6】合焦画像情報について説明するための図である。
【図7】ポートレートシーンにおける有効画像サーチ処理の概要を示す図である。
【図8】有効画像サーチ処理における具体的な処理を示すフローチャートである。
【図9】エリア別画像解析処理について示すフローチャートである。
【図10】画像再生処理について示すフローチャートである。
【図11】画像再生処理中に表示部に表示される画面の遷移を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図1に示すように、撮像装置10は、CPU101と、撮像部102と、フォーカス駆動部103と、絞り駆動部104と、バス105と、メモリ106と、画像処理部107と、表示部108と、ストレージ109と、操作部110と、合焦評価部111と、顏検出部112と、動き検出部113と、プログラムメモリ114と、を有している。
【0010】
CPU101は、撮像装置10の全体の動作を統括的に制御する。具体的には、CPU101は、フォーカス制御部としての機能を有し、フォーカス駆動部103を制御して撮像部102の撮像光学系1021の合焦状態を制御する。また、CPU101は、撮像制御部としての機能を有し、撮像部102の撮像動作を制御する。また、CPU101は、表示制御部としての機能を有し、表示部108における画像の表示制御をする。また、CPU101は、記録制御部としての機能を有し、ストレージ109への各種のデータの書込制御及びストレージ109からの各種のデータの読出制御をする。さらに、CPU101は、被写体判断部としての機能を有し、後述するシーン情報や撮影状況情報に応じて、撮影時における被写体を判断する。
【0011】
撮像部102は、図示しない被写体を撮像して、被写体に係る画像(画像データ)を得る。撮像部102は、撮像光学系1021と、撮像素子1022と、撮像処理部1023と、を有している。
【0012】
撮像光学系1021は、被写体からの光束を撮像素子1022に結像させるための光学系である。この撮像光学系1021は、フォーカスレンズや絞りを有している。フォーカスレンズは、撮像光学系1021の合焦状態を調整するためのレンズである。フォーカスレンズをその光軸方向に沿って駆動させることにより、撮像光学系1021の合焦状態を変化させることが可能である。絞りは、撮像光学系1021中に配置され、絞り込まれることによって、撮像光学系1021を介して撮像素子1022に入射する光束を制限する。
【0013】
撮像素子1022は、光電変換素子が2次元状に配置された受光面を有し、撮像光学系1021を介して受光面に入射した光束を、その光量に応じたアナログ電気信号(画像信号と言う)に変換する。ここで、撮像素子1022は、電子シャッタ機能を有していることが望ましい。
【0014】
撮像処理部1023は、撮像素子1022から出力された画像信号に対して、ゲイン制御処理や相関二重サンプリング処理といったアナログ処理を施す。そして、撮像処理部1023は、アナログ処理をした画像信号を、デジタル信号(画像データと言う)に変換する処理も行う。
【0015】
フォーカス駆動部103は、モータ等を有し、CPU101の制御に従ってフォーカスレンズを駆動する。絞り駆動部104は、モータ等を有し、CPU101の制御に従って絞りを駆動する。
【0016】
バス105は、撮像装置10の内部で発生した各種のデータを転送するための転送路である。図1に示す撮像装置10において、バス105は、CPU101と、撮像部102と、メモリ106と、画像処理部107と、表示部108と、ストレージ109と、操作部110と、合焦評価部111と、顏検出部112と、動き検出部113と、プログラムメモリ114と、に接続されている。
【0017】
メモリ106は、撮像部102で得られた画像データや画像処理部107で得られた画像データ、及びCPU101における処理データ等を一時的に記憶しておくための記憶部である。本実施形態におけるメモリ106は、撮影時において生成されるマルチフォーカス画像データ及び合焦画像情報も記憶する。
【0018】
画像処理部107は、画像データに対して各種の画像処理を施す。この画像処理は、ホワイトバランス処理、階調補正処理、圧縮処理、拡大縮小処理等が含まれる。また、画像処理部107は、画像データの再生時には、圧縮処理された画像データを伸張することも行う。また、本実施形態の画像処理部107は、第1の画像処理部としての機能を有し、後述の画像再生処理においてユーザによって指定された合焦画像中のエリアを拡大することも行う。また、本実施形態の画像処理部107は、第2の画像処理部としての機能を有し、後述の画像再生処理において複数の合焦画像を合成して複数のエリアでフォーカスレンズが合焦している多エリア合焦画像を生成することも行う。さらに、本実施形態の画像処理部107は、第3の画像処理部としての機能を有し、後述の画像再生処理において複数の合焦画像を合成してボケが強調されたボケ強調画像を生成することも行う。
【0019】
表示部108は、CPU101の制御に従って、ライブビュー画像、撮影画像、メニュー画面といった各種の画像を表示する。ここで、ライブビュー画像とは、撮像部102を連続させて得られる画像であって、撮像部102の動作に同期して表示部108にリアルタイム表示される画像である。また、撮影画像は、撮影動作によって得られる記録用の画像である。撮影画像は、表示部108に表示されるとともにストレージ109に記録される。メニュー画面は、ユーザが撮像装置10の各種の設定を行うための画面である。
【0020】
ストレージ109は、CPU101の制御に従って、撮影動作によって得られる撮影画像を画像ファイルとして記録する。ストレージ109は、撮像装置10に内蔵させるようにしても良いし、撮像装置10に対して着脱自在としても良い。
【0021】
操作部110は、ユーザが撮像装置10に対する各種の操作を行うための操作部材である。操作部110は、操作ボタン1101と、タッチパネル1102と、を有している。操作ボタン1101は、レリーズボタンや電源ボタン等のボタン式の操作部材である。なお、ここではボタンとしているが、必ずしもボタン式の操作部材とする必要はない。また、タッチパネル1102は、表示部108と一体的に形成されており、表示部108の画面上でのユーザの指等の接触位置を検出したり、指等の動きを検出したりする。CPU101は、タッチパネル1102を介して検出された接触位置や指等の動きに応じた処理を実行する。このような操作部110は、選択部の一例として機能する。
【0022】
合焦評価部111は、画像データに対する合焦状態を評価する。このために、合焦評価部111は、画像データを複数のエリアに分割し、分割したエリア内の画像データから、コントラストを評価するための評価値を生成する。評価値の変化は、画像データにおけるコントラストの変化に対応している。合焦評価部111は、評価値の変化の極大(ピーク)を判断することによって画像データのそれぞれのエリアにおける合焦状態を判断する。あるエリアのコントラストが極大(ピーク)となるとき、そのエリアに対して撮像光学系1021が合焦していることを示す。
【0023】
顏検出部112は、画像データから人物の顏部を検出する。顏部の検出は、例えば目や鼻といった人物の顏部の特徴を画像データから検出することによって行う。
【0024】
動き検出部113は、例えば加速度センサであって、撮像装置10の動きを検出する。この動き検出部113により、手ブレ等を検出するようにしても良い。
【0025】
プログラムメモリ114は、CPU101が撮像装置10に係る各種の処理を実行するために必要なプログラムや、各種の処理を実行するために必要なパラメータを記憶する記憶部である。本実施形態におけるプログラムメモリ114は、撮像光学系1021の光学特性情報(撮像光学系1021の焦点距離情報)等を、パラメータとして記憶している。
【0026】
次に、図1に示した撮像装置10を用いた撮影動作について説明する。図2は、撮影動作時の処理について示すフローチャートである。図2の動作は、撮像装置10の動作モードが撮影モードに設定されているときに実行される。
【0027】
図2において、CPU101は、ライブビュー表示を行う(ステップS101)。ステップS101において、CPU101は、撮像部102を動作させ、撮像部102を介して得られた画像データに対し、画像処理部107により、ライブビュー表示用の画像処理(ホワイトバランス処理、階調補正処理、縮小処理等)を施した後、この画像処理によって得られたライブビュー画像データを表示部108に入力する。ライブビュー画像データの入力を受けて、表示部108は、ライブビュー画像の表示を行う。このようなライブビュー表示では、ユーザが、表示部108においてリアルタイムで被写体を観察することが可能である。
【0028】
ライブビュー表示の後、CPU101は、現在の撮影シーンを判断する(ステップS102)。ステップS102の撮影シーン判断は、後述の被写体パターン判断処理において被写体を判断するために必要となる、シーン情報を取得する処理である。撮影シーン判断処理において、CPU101は、顏検出部112によって顏部を検出し、顏部の位置及び面積をシーン情報として記憶しておく。また、撮影シーン判断処理において、CPU101は、後述のフルタイムAFの結果を用いて被写体距離を算出し、算出した被写体距離情報をシーン情報として記憶しておく。この他、CPU101は、フレーム毎の画像データ間の差分から被写体の動きベクトルを算出し、算出した動きベクトル情報を記憶しておく。ステップS102で取得する情報は、あくまでも一例であって、被写体を特定できる情報であれば、上述した以外の情報を取得するようにしても良い。
【0029】
撮影シーンを判断した後、CPU101は、現在の撮影状況を判断する(ステップS103)。ステップS103の撮影状況判断処理は、後述の被写体パターン判断処理において被写体を判断するために必要となる、撮影状況情報を取得する処理である。撮影状況判断処理において、CPU101は、動き検出部113の出力から、撮像装置10の動きを検出し、検出した動き情報を撮影状況情報として記憶しておく。ステップS103で取得する情報は、あくまでも一例であって、撮像装置の状況を特定できる情報であれば、上述した以外の情報を取得するようにしても良い。
【0030】
撮影シーン判断処理の後、CPU101は、フルタイムAF処理を実行する(ステップS104)。フルタイムAF処理は、ライブビュー表示が実行されている間に実行されるAF(オートフォーカス)処理である。本実施形態においては、フルタイムAF処理として、山登り式のコントラストAFを実行する。この際、CPU101は、フォーカス駆動部103を駆動してフォーカスレンズを所定のスキャン範囲内で駆動させつつ、撮像部102を介して得られる画像データから、合焦評価部111において画像データにおけるコントラストを評価する。そして、CPU101は、コントラスト(評価値)のピークに対応する位置にフォーカスレンズを駆動する。コントラストのピークに対応した位置にフォーカスレンズを駆動させたとき、撮像光学系1021は合焦状態となる。また、合焦状態となっているときの撮像光学系1021の焦点距離等から、撮影シーン情報としての被写体距離を求めることが可能である。
ここで、複数の被写体が遠近に混在しているシーン等、撮影シーンによっては、複数のフォーカスレンズ位置でコントラストのピークが存在する可能性がある。複数のフォーカスレンズ位置でコントラストのピークが存在する場合、例えば最至近(被写体距離が最も短い)の被写体に対応したフォーカスレンズ位置でフォーカスレンズを停止させる。この他の考え方に従ってフォーカスレンズを駆動させるようにしても良い。
【0031】
フルタイムAFによってフォーカスレンズを駆動した後、CPU101は、ユーザによってレリーズ指示がなされたか否かを判定する(ステップS105)。ステップS105において、CPU101は、例えばユーザによって操作部110のレリーズボタンが押された場合にレリーズ指示がなされたと判定する。ステップS105において、レリーズ指示がなされていないと判定した場合に、CPU101は、処理をステップS101に戻してライブビュー表示を継続する。即ち、CPU101は、次のフレームのライブビュー画像を表示部108に表示させる。
【0032】
ステップS105において、レリーズ指示がなされたと判定した場合、CPU101は、被写体パターン判断処理を実行する(ステップS106)。被写体パターン判断処理は、撮影シーンや撮影状況を特定することによって、撮影時の被写体を判断する処理である。ステップS106の被写体パターン判断処理の詳細については後述する。
【0033】
被写体パターン判断処理によって被写体を特定した後、CPU101は、撮像部102を介して得られた画像データから、被写体の露出(輝度)を算出する(ステップS107)。そして、CPU101は、算出した被写体の露出及び被写体パターン判断処理の判断結果に応じて、露光時間TV、撮像素子感度SV、撮像フレームレートFrate、及び絞り値AVを設定する(ステップS108)。続いて、CPU101は、被写体パターン判断処理の結果に応じて、フォーカスレンズの駆動速度を設定する(ステップS109)。さらに、CPU101は、フォーカスレンズのスキャン方向及びスキャン範囲を設定する(ステップS110)。これらのステップS108〜S110の処理の詳細については後述する。
【0034】
撮影前の各種の撮影パラメータの設定を行った後、CPU101は、フォーカス駆動部103を制御して、ステップS110で設定したスキャン範囲内の初期位置に、フォーカスレンズを駆動する(ステップS111)。その後、CPU101は、有効画像サーチ処理を開始する(ステップS112)。詳細は後述するが、有効画像サーチ処理中には、画像データに対する合焦状態をエリア毎に評価する。撮像光学系1021が合焦しているエリアを1つでも有している画像データに対しては、その画像データを特定するための情報(例えば、その画像データのフレーム番号)を合焦画像情報としてメモリ106に記憶させる。また、その画像データもメモリ106に記憶させる。
【0035】
有効画像サーチ処理が終了した後、CPU101は、有効画像サーチ処理中にメモリ106に記憶された画像データに対し、画像処理部107により、記録用の画像処理(ホワイトバランス処理、階調補正処理、圧縮処理等)を施した後、この画像処理によって得られた撮影画像データに所定のヘッダ情報を付与し、これにより得られた画像ファイルをストレージ109に記録する(ステップS113)。ここで、合焦画像情報がメモリ106に記憶されている場合には、合焦画像情報もヘッダ情報に記録する。
【0036】
詳細は後述するが、本実施形態では、有効画像サーチ処理中に、複数の画像データ(マルチフォーカス画像データ)がメモリ106に記憶される可能性が高い。これらのマルチフォーカス画像データは、別個のファイルとして記録しても良いし、組画像の形式でファイルに記録しても良い。組画像の形式とは、1つのファイル内に複数の画像データを記録する形式である。組画像の形式でマルチフォーカス画像データを記録する場合には、それぞれのマルチフォーカス画像データの位置情報をヘッダ情報に記録しておく。組画像ファイル内の任意のマルチフォーカス画像データにアクセスする際には、ヘッダ情報内の位置情報を参照する。
【0037】
画像ファイルを記録した後、CPU101は、画像再生処理を実行する(ステップS114)。その後、CPU101は、図2の処理を終了させる。画像再生処理は、ストレージ109に記録した撮影画像データに対応した画像(マルチフォーカス画像)を表示部108に表示させる処理である。画像再生処理の詳細については後述する。
【0038】
次に被写体パターン判断処理について説明する。図3は、被写体パターン判断処理について示すフローチャートである。被写体パターン判断処理において、CPU101は、撮像光学系1021の焦点距離及び現在の絞り値等の情報を用いて被写界深度を算出する(ステップS201)。その後、CPU101は、シーン情報及び撮影状況情報を有しているか否かを判定する(ステップS202)。
【0039】
ステップS202において、シーン情報及び撮影状況情報を有していると判定した場合に、CPU101は、シーン情報、撮影状況情報、及び被写界深度情報を用いて現在の撮影シーンを判断する(ステップS203)。本実施形態では、例として、撮影シーンを、人物混在シーン、動体シーン、ポートレートシーン、遠近広域分布シーン、マクロシーン、汎用シーンの6つに分類することとする。
【0040】
人物混在シーンは、図4(a)で示すような、複数の人物を被写体として撮影する撮影シーンである。例えば、顏検出部112により、複数の顏部が検出されたと判定した場合に、CPU101は、撮影シーンが人物混在シーンであると判断する(ステップS204)。
【0041】
動体シーンは、図4(b)で示すような、スポーツシーン等の動きの大きい被写体を撮影する撮影シーンである。例えば、被写体の動きベクトルが所定の閾値よりも大きい場合や、撮像装置10の動きが所定の閾値よりも大きいと判定した場合に、CPU101は、撮影シーンが動体シーンであると判断する(ステップS205)。
【0042】
ポートレートシーンは、図4(c)で示すような、人物の顏が被写体となる撮影シーンである。例えば、顏検出部112により、所定の面積以上の顏部が検出された場合に、CPU101は、撮影シーンがポートレートシーンであると判断する(ステップS206)。
【0043】
遠近広域分布シーンは、図4(d)で示すような被写体と風景とが混在するシーン等の、遠近に被写体が混在する撮影シーンである。例えば、複数の被写体距離が得られ、これらの被写体距離の差が所定の閾値以上であると判定した場合に、CPU101は、撮影シーンが遠近広域分布シーンであると判断する(ステップS207)。
【0044】
マクロシーンは、図4(e)で示すような撮像装置10を被写体に近づけて撮影を行う撮影シーンである。例えば、被写体距離が所定の距離よりも近いと判定した場合に、CPU101は、撮影シーンがマクロシーンであると判断する(ステップS208)。
【0045】
汎用シーンは、人物混在シーン、動体シーン、ポートレートシーン、遠近広域分布シーン、マクロシーンの何れでもない、被写体の特徴が特定できない撮影シーンである。人物混在シーン、動体シーン、ポートレートシーン、遠近広域分布シーン、マクロシーンの何れの判断条件も満足しない場合、又はシーン情報及び撮影状況情報を有していないと判定した場合に、CPU101は、撮影シーンが汎用シーンであると判断する(ステップS209)。
【0046】
ここで、上述した撮影シーンの判断手法の場合、複数の撮影シーンの判断条件を同時に満足する場合がある。この場合には、予め定められた優先順位に従って撮影シーンを判断する。この優先順位は、例えば(1)ポートレートシーン、(2)人物混在シーン、(3遠近広域分布シーン(4)動体シーン、(5)マクロシーンの順とする。この順位付けは一例であって、適宜変更可能である。
【0047】
また、簡易的に撮影シーンを判断する手法としては、シーンモードから判断する手法もある。シーンモードとは、撮影時においてユーザが設定できるモードの1つである。シーンモードが設定されている場合、CPU101は、現在の撮影シーンが、その時点で設定されているシーンモードに応じた撮影シーンであると判断する。
【0048】
次に、有効画像サーチ処理について説明する。まず、有効画像サーチ処理に先立つ撮影パラメータの設定について説明する。詳細は後述するが、有効画像サーチ処理では、フォーカスレンズを一方向に駆動させつつ、このフォーカスレンズの駆動に同期するように複数回の撮像動作を実行して画像データをメモリ106に記憶させていく。この場合、合焦状態の異なる複数の画像データがメモリ106に記憶されることになる。ユーザは、これらの合焦状態の異なる複数の画像データの中から所望の合焦状態の画像データを選択することができる。これは、実質的に本実施形態によって「撮影後にピント合わせ」をしたことに相当する。
【0049】
ここで、有効画像サーチ処理中の露光回数を多くすれば、より多くの合焦状態の画像データを取得でき、ユーザにとっての所望の合焦状態の画像データが得られ易くなる。しかしながら、露光回数を多くするためには、露光時間を短くするか、全体としての撮影時間を長くする必要がある。
【0050】
このため、本実施形態では、撮影シーン中の被写体の特徴に応じて、露光時間TV、撮像素子感度SV、撮像フレームレートFrate、絞り値AV、フォーカスレンズの駆動速度、フォーカスレンズのスキャン方向及びスキャン範囲が適正な値となるように設定する。これにより、全体としての撮影時間を短くしつつ、ユーザが所望とする合焦状態の画像データが得られるようにする。
【0051】
以下、汎用シーンとポートレートシーンを代表例として、有効画像サーチ処理についてさらに説明する。
【0052】
まず、汎用シーンにおける撮影パラメータの設定について説明する。上述したように、汎用シーンは、ユーザが注目している被写体の特徴を判断することが困難な撮影シーンである。このような汎用シーンでは、近距離域から遠距離域までのなるべく多くのフォーカスレンズ位置で画像データを取得することが望ましい。したがって、露光回数(撮像フレームレートFrateに対応)は、なるべく多くすることが望ましい。ただし、被写体の露出が極端に低い場合や、被写体又は撮像装置10の動きが大きい場合等では、画像データにおけるノイズの影響が大きくなる。ノイズの影響が大きい状態では、撮像素子の感度制御だけでは、画像データの露出を制御することが困難である。これは、撮像素子の感度制御によってノイズも増幅されるためである。このため、撮像素子感度SVの制御によって、画質が大きく劣化してしまうと判断される場合には、撮像フレームレートFrateを低くする。このように、汎用シーンにおける撮像フレームレートFrateは、画像に重畳されるノイズの影響(被写体の露出と動き情報から判断される)に基づき、画質を確保できる範囲内で可能な限り高く設定する。
【0053】
露光時間TVは、撮像フレームレートFrateに対し、画像信号の読み出し時間等を考慮して決める。絞り値AVは、汎用シーンでは、例えば固定値とする。撮像素子感度SVは、これらの設定した露光時間TVと絞り値AVとで得られる露出の、適正露出に対するアンダー分を補うように設定する。
【0054】
フォーカスレンズの駆動速度は、撮像部102の露光動作に同期するように設定する。より詳しくは、フォーカスレンズの駆動速度は、露光時間TVに応じて決定する。
【0055】
また、汎用シーンでは、画像データ内のどのエリアにユーザが注目する被写体が存在しているかを判断できないので、フォーカスレンズのスキャン範囲は、フォーカスレンズの駆動可能な全範囲、即ち無限位置から至近位置までとする。スキャン方向は、無限位置から至近位置に向かう方向とする。スキャン方向を、至近位置から無限位置に向かう方向としても良い。
【0056】
図5は、汎用シーンにおける有効画像サーチ処理の概要を示す図である。汎用シーンにおける有効画像サーチにおいて、CPU101は、フォーカス駆動部103を制御して、フォーカスレンズを初期位置としての無限位置に駆動する。その後、CPU101は、無限位置から至近位置に向かってフォーカスレンズを駆動させつつ、予め設定した撮影パラメータに従って撮像部102を連続動作させて複数の画像データを取得する。そして、画像データを取得する毎に、CPU101は、取得した画像データに対する合焦状態をエリア毎に評価し、この評価結果に従ってメモリ106に記憶させる画像データを選別する。記憶させる画像データは、少なくとも1つのエリアで合焦状態となっている合焦画像データ(マルチフォーカス画像データ)である。また、本実施形態シーンにおいては、エリア毎に合焦状態を判断した結果、1つ以上のエリアで合焦状態であると判断された場合には、それぞれのマルチフォーカス画像データを特定するための情報を合焦画像情報として記録する。このようにして、画像データの選別を行いつつ、フォーカスレンズが至近位置に達したと判定したときに、CPU101は、有効画像サーチ処理を終了する。
【0057】
ここで、図5の例では、画像データを35のエリアに分割し、それぞれのエリア毎に合焦状態を評価している。この他、顏部等の特定の被写体が存在することが予め分っている場合には、分割したエリアとは別に、その特定の被写体の存在するエリアについて合焦状態を評価しても良い。図5における「エリア顏1」が、このような顏部のエリアの合焦状態の評価結果に対応している。
【0058】
図6は、合焦画像情報について説明するための図である。図6は、1フレーム分の画像データを例えば35(5行7列)のエリアに分割し、分割したエリア毎に合焦状態の評価を行った結果を示している。ここで、図6の列位置及び行位置のそれぞれに番号を付している。以下、図6におけるそれぞれのエリアを、エリアnと言う。nは、例えば画面の左上端をn=1とし、右方向、下方向の順で増加させ、画面の右下端をn=35とする。
【0059】
図6に示すように、フレーム番号F1の画像データは、エリア6、エリア7、エリア13、エリア14で合焦状態となっている。また、フレーム番号F2の画像データは、エリア5、エリア10で合焦状態となっている。また、フレーム番号F3の画像データは、エリア11、エリア17、エリア18で合焦状態となっている。さらに、フレーム番号F4の画像データは、エリア15、エリア16、エリア22、エリア23、24、30で合焦状態となっている。
【0060】
本実施形態では、エリア毎の合焦画像情報として、例えばそのエリアで合焦状態となっているマルチフォーカス画像データのフレーム番号を記録する。図6を例にすると、エリア6に対応した合焦画像情報としては、フレーム番号F1を記録する。また、エリア22に対応した合焦画像情報としては、フレーム番号F4を記録する。その他のエリアの合焦画像情報も同様である。なお、同じエリアで複数のマルチフォーカス画像データが合焦状態となる可能性もあるが、その場合には1つの合焦画像情報に複数のフレーム番号を記録する。
【0061】
このように、本実施形態では、合焦画像情報を記憶している。これにより、撮影動作の終了後であっても、それぞれのマルチフォーカス画像データに対する合焦状態をエリア毎に判断することが可能である。
【0062】
次に、ポートレートシーンにおける撮影パラメータの設定について説明する。上述したように、ポートレートシーンは、ユーザが注目している被写体が人物の顏部であると判断されている。このため、人物の顏部に対応したフォーカスレンズ位置では、なるべく多くの画像データを取得することが望ましい。これに対し、顏部以外のフォーカスレンズ位置では画像データを取得しなくとも良い。このため、ポートレートシーンでは、フォーカスレンズのスキャン範囲を、顏部の距離に対応したフォーカスレンズ位置の範囲に設定する。
【0063】
露光時間TVは、汎用シーンの場合と同様に、撮像フレームレートFrateに対し、画像信号の読み出し時間等を考慮して決める。絞り値AVは、汎用シーンでは、例えば固定値とする。撮像素子感度SVは、これらの設定した露光時間TVと絞り値AVとで得られる露出の、適正露出に対するアンダー分を補うように設定する。
【0064】
フォーカスレンズの駆動速度も、汎用シーンと同様、露光時間TVに同期するように設定する。上述したように、フォーカスレンズのスキャン範囲は、顏部付近の距離に対応したフォーカスレンズ位置の範囲(以下、顏部範囲と言う)に設定する。スキャン方向は、例えば無限位置から至近位置に向かう方向とする。スキャン方向を、至近位置から無限位置に向かう方向としても良い。
【0065】
図7は、ポートレートシーンにおける有効画像サーチ処理の概要を示す図である。ポートレートシーンにおける有効画像サーチにおいて、CPU101は、フォーカス駆動部103を制御して、フォーカスレンズを初期位置としての、顏部範囲の最も遠距離に対応したフォーカスレンズ位置(以下、顏部遠距離位置と言う)に駆動する。その後、CPU101は、顏部遠距離位置から至近位置に向かってフォーカスレンズを駆動させつつ、予め設定した撮影パラメータに従って撮像部102を動作させて複数の画像データを取得する。そして、画像データを取得する毎に、CPU101は、取得した画像データに対する合焦状態をエリア毎に評価し、この評価結果に従ってメモリ106に記憶させる画像データ(マルチフォーカス画像データ)を選別する。その後、フォーカスレンズが顏部範囲の最も近距離に対応したフォーカスレンズ位置(以下、顏部近距離位置と言う)に達したと判定したときに、CPU101は、有効画像サーチ処理を終了する。ポートレートシーンにおいても、エリア毎に合焦状態を判断した結果、1つ以上のエリアで合焦状態であると判断された場合には、その画像データを示す情報を合焦画像情報としてメモリ106に記憶しておく。
【0066】
ここで、ポートレートシーンにおいて、被写界深度が浅く、瞳等の特にフォーカス精度の求められる顏の特徴部が検出されている場合には、特徴部を含むエリアで合焦していると判断された画像データに加えて、その前後のフォーカスレンズ位置の画像データもメモリ106に記憶しておくようにしても良い。これにより、後述の画像再生処理において、ユーザが所望とする合焦状態の画像が得られ易くなる。
【0067】
汎用シーン及びポートレートシーン以外の人物混在シーン、遠近広域分布シーン、動体シーン、マクロシーンの場合も、撮影パラメータの設定、フォーカスレンズの駆動速度、スキャン範囲が異なるのみで基本的な有効画像サーチ処理の動作は、汎用シーン及びポートレートシーンの例で説明したものと同様である。
【0068】
人物混在シーンでは、複数の人物(顏)が存在する距離範囲に対応したフォーカスレンズ位置の範囲にフォーカスレンズのスキャン範囲を設定する。これにより、人物に対して合焦し易くする。この他の撮影パラメータの設定は、ポートレートシーンと同様で良い。
【0069】
遠近広域分布シーンでは、汎用シーンに比べて絞り値AVを大きくして被写界深度を深くする。これにより、近距離被写体と遠距離被写体の両方に対して合焦し易くする。この他の撮影パラメータの設定は、汎用シーンと同様で良い。
【0070】
動体シーンでは、汎用シーンに比べて撮像フレームレートFrateを高くし、またフォーカスレンズの駆動速度を高速にする。これにより、動体に追従して合焦させ易くする。この他の撮影パラメータの設定は、汎用シーンと同様で良い。
【0071】
マクロシーンでは、被写体が存在するマクロ域(近距離域)に対応したフォーカスレンズ位置の範囲にフォーカスレンズのスキャン範囲を設定する。これにより、マクロ域の被写体に対してより合焦し易くする。この他の撮影パラメータの設定は、ポートレートシーンと同様で良い。
【0072】
図8は、上述した有効画像サーチ処理における具体的な処理を示すフローチャートである。有効画像サーチ処理において、CPU101は、現在のフォーカスレンズ位置において、ステップS108で設定された撮影パラメータに従って撮像部102による撮像(露光)動作を実行する(ステップS301)。撮像動作によって得られた画像データは、メモリ106に記憶される(ステップS302)。
【0073】
1フレーム分の画像データがメモリ106に記憶されると、CPU101は、メモリ106に記憶された画像データを合焦評価部111に入力し、合焦評価部111において評価値を生成させる(ステップS303)。その後、CPU101は、合焦評価部111においてエリア別画像解析処理を実行させる(ステップS304)。エリア別画像解析処理は、画像データのエリア毎の合焦評価を行う処理である。具体的な処理の内容については後述する。
【0074】
エリア別画像解析処理の後、CPU101は、フォーカス駆動部103を制御して、フォーカスレンズを次のフォーカスレンズ位置に駆動させる(ステップS305)。この際の、フォーカスレンズの駆動速度(単位時間当たりの駆動量)は、ステップS109で決定されたもの又は後述のステップS307で更新したものを利用する。
【0075】
フォーカスレンズの駆動後、CPU101は、フォーカスレンズのスキャンが終了したか否か、即ちフォーカスレンズ位置がスキャン範囲の終了位置に達したか否かを判定する(ステップS306)。ステップS306において、フォーカスレンズのスキャンが終了していないと判定した場合に、CPU101は、必要に応じてフォーカスレンズの駆動速度を更新する(ステップS307)。例えば、マクロ域では、フォーカスレンズの位置変化に対する合焦状態の変化の割合が小さいので、フォーカスレンズの駆動速度をより高速にしても良い。フォーカスレンズの駆動速度を更新した後、CPU101は、処理をステップS301に戻して、次のフレームに対する撮像動作を実行する。
【0076】
ステップS306において、フォーカスレンズのスキャンが終了したと判定した場合、CPU101は、図8の処理を終了させ、ステップS113の画像記録を実行する。
【0077】
図9は、エリア別画像解析処理について示すフローチャートである。エリア別画像解析の処理は、合焦評価部111において実行される。
【0078】
図9において、合焦評価部111は、ステップS303で生成した評価値のうち、エリアn(n=1、2、…)の評価値を評価する(ステップS401)。このために、合焦評価部111は、現フレームにおけるエリアnの評価値と前フレームにおけるエリアnの評価値との差分を算出する。この差分を用いて評価を行う。
【0079】
まず、合焦評価部111は、評価値のピーク判断を行う(ステップS402)。このピーク判断において、合焦評価部111は、評価値が増加から減少に転じたか否か、即ちステップS401で算出した差分の符号が正から負に変化したか否かを判断する。評価値が増加から減少に転じたと判断した場合に、合焦評価部111は、現フレームにおけるエリアnにおいて撮像光学系1021が合焦していると判断する。
【0080】
続いて、合焦評価部111は、ピーク有効判断を行う(ステップS403)。ピーク有効判断は、合焦判断の信頼性を担保するため、ステップS402で判断されたピークが有効であるかを判断する処理である。例えば、評価値が所定値以上であると判断した場合には、合焦評価部111は、ピークが有効であると判断する。また、評価値が所定値未満の場合や、本来、ピークが出現するべきでないエリアでピークが判断された場合(例えば、人物混在シーンにおいて顏部以外のエリアでピークが検出された場合等)には、合焦評価部111は、そのピークが無効であると判断する。
【0081】
続いて、合焦評価部111は、ピーク再出現判断を行う(ステップS404)。ピーク再出現判断は、現フレームにおけるエリアnで判断されたピークが再出現したものであるかを判断する処理である。既にエリアnの合焦画像情報が得られている場合に、合焦評価部111は、現フレームにおけるエリアnで判断されたピークが再出現したものであると判断する。
【0082】
続いて、合焦評価部111は、ピーク無効化判断を行う(ステップS405)。ピーク無効化判断は、ステップS403で有効でないと判断されたピークを無効化する処理である。
【0083】
なお、ステップS402のピーク判断において、ピークが検出されなかった場合には、ステップS403〜S405の処理は省略される。
【0084】
エリアnの評価値の評価を行った後、合焦評価部111は、有効なピークが検出されているか否かを判定する(ステップS406)。ステップS406において、有効なピークが検出されていると判定した場合に、合焦評価部111は、エリアnの合焦画像情報として、現フレームのフレーム番号を記録してメモリ106に記憶させる(ステップS407)。エリアnの合焦画像情報が既に作成されている場合には、その作成されている合焦画像情報に現フレームのフレーム番号を追記する。エリアnの合焦画像情報が作成されていない場合には、新たにエリアnの合焦画像情報を作成する。
【0085】
ステップS406において有効なピークを検出していないと判断した場合又はステップS407の後、合焦評価部111は、現フレームの全エリアの評価を終了したか否かを判定する(ステップS408)。ステップS408において、全エリアの評価を終了していないと判定した場合に、合焦評価部111は、処理をステップS401に戻して次のエリアに対する評価を開始する。
【0086】
また、ステップS408において、全エリアの評価を終了したと判定した場合に、合焦評価部は、画像削除判断を行う(ステップS409)。画像削除判断は、現フレームの画像データの何れかのエリアで合焦状態であったか、即ち現フレームのフレーム番号が何れかのエリアに対応した合焦画像情報として記録されているかを判断し、現フレームのフレーム番号が何れのエリアの合焦画像情報にも記録されていない場合に、その現フレームの画像データをメモリ106から削除する処理である。画像削除処理の後、CPU101は、図9の処理を終了させる。
【0087】
ここで、ステップS406の有効なピークの検出判定からステップS409の画像削除判断までの処理は、フォーカスレンズの駆動が終了した後に、全てのフレームの画像データについてまとめて行うようにしても良い。
【0088】
図10は、画像再生処理について示すフローチャートである。また、図11は、画像再生処理中に表示部108に表示される画面の遷移を示す図である。
【0089】
画像再生処理において、CPU101は、ストレージ109に記録された画像ファイルのヘッダ情報を参照して、ヘッダ情報に合焦画像情報が記録されているか否かを判定する(ステップS501)。
【0090】
ステップS501において、合焦画像情報が記録されていないと判定した場合に、CPU101は、通常の画像ファイルの再生を行う。この通常の画像ファイルの再生については簡単に説明する。CPU101は、ステップS113の処理でストレージ109に記録された画像ファイルから画像データを読み出し、読み出した画像データを画像処理部107において伸張する。そして、伸張した画像データに対応した画像を表示部108に表示させる。
【0091】
また、ステップS501において、合焦画像情報が記録されていると判定した場合に、CPU101は、画像ファイル内に記録されている複数のマルチフォーカス画像データのうちの何れかを代表画像データとして読み出し、読み出した代表画像データを画像処理部107において伸張する。そして、伸張した代表画像データ対応した画像301を、図11に示すようにして表示部108に表示させる(ステップS502)。ここで、代表画像データは、例えば画像ファイル内に記録されている複数のマルチフォーカス画像データのうちで最初に記録されたマルチフォーカス画像データとする。最後に記録されたマルチフォーカス画像データを、代表画像データとしても良い。
【0092】
代表画像を表示させた後、CPU101は、画像再生処理用のメニュー項目に対応したソフトウェアボタンを、代表画像に重畳して表示させる(ステップS503)。
ここで、代表画像の表示について説明する。代表画像の表示時のメニュー項目としては、例えば、図11に示す「フォーカス位置選択」302、「全フォーカス画像」303、「合成、切出」304の3つの項目を表示部108に表示させる。また、これらのメニュー項目を選択するためのポインタ305も表示部108に表示させる。これらのメニュー項目を表示させるための表示データは、プログラムメモリ114に予め記憶されているものである。
【0093】
ユーザは、操作ボタン1101を操作してポインタ305を所望のメニュー項目上に移動させることにより、メニュー項目の選択を行うことが可能である。なお、ポインタ305によってメニュー項目を選択する構成とせずに、タッチパネル1102によってメニュー項目の選択を行う構成としても良い。
【0094】
さらに、本実施形態においては、エリア毎の合焦画像情報を参照することにより、代表画像301の何れのエリアが合焦状態であるかを判断することが可能である。このため、代表画像301における合焦状態のエリアを強調表示することもできる。図11では、合焦状態のエリアを、枠306によって強調表示させている。しかしながら、これに限らず各種の方式で合焦状態のエリアを示すようにして良い。
【0095】
メニュー表示をした後、CPU101は、ユーザによって何れかのメニュー項目が選択されたか否か、及び選択されたメニュー項目が何れであるかを判定する(ステップS504)。何れかのメニュー項目が選択されたと判定した場合に、CPU101は、選択されたメニュー項目に従った処理を行う。また、何れのメニュー項目も選択されていないと判定した場合に、CPU101は、ステップS504の判定を継続しつつ、待機する。
【0096】
ステップS504において、「全フォーカス画像」が選択されたと判定した場合に、CPU101は、図11に示すように、画像ファイルに記録されているそれぞれのマルチフォーカス画像データのサムネイル画像301aを表示部108に表示させる(ステップS505)。また、全フォーカス画像表示の際には、複数のサムネイル画像301aを表示させるのに伴って、メニュー項目も全フォーカス画像表示に対応したものに変更する。全フォーカス画像の表示時のメニュー項目としては、例えば「画像分離」307、「代表画像更新」308、「戻る」309の3つの項目を表示部108に表示させる。
【0097】
ここで、表示部108の画面サイズによっては、全てのサムネイル画像301aを同時表示させることができない場合がある。この場合には、切替ボタン310を表示させる。図11は、16枚のサムネイル画像301aを同時表示させる例を示している。仮に、17枚以上のマルチフォーカス画像データが画像ファイルに記録されている場合には、切替ボタン310を表示させる。ユーザによって、切替ボタン310が選択された場合には、画像ファイルに記録されている別の16枚の(現在表示されている16枚の前又は後の)マルチフォーカス画像のサムネイル画像を表示部108に表示させる。ここで、サムネイル画像301aの同時表示枚数は、16枚に限るものではない。この同時表示枚数をユーザが設定するようにしても良い。
【0098】
メニュー項目の更新後、CPU101は、各マルチフォーカス画像の合焦エリアを、例えば枠表示によって強調表示する(ステップS506)。なお、マルチフォーカス画像は、個々の表示サイズが小さいので、強調表示を省略するようにしても良い。
【0099】
強調表示の後、CPU101は、ユーザによる、表示部108に表示されている何れかのサムネイル画像301aの選択を待つ(ステップS507)。サムネイル画像301aの選択がなされた場合に、CPU101は、ユーザによるメニュー項目の選択を待つ。そして、CPU101は、ユーザによって選択されたメニュー項目に応じた処理を行う(ステップS508)。
「画像分離」が選択されたと判定された場合に、CPU101は、現在選択されているサムネイル画像301aに対応しているマルチフォーカス画像データを、組画像から分離する。具体的には、ユーザによって選択されたサムネイル画像301aに対応しているマルチフォーカス画像データを、画像ファイルから読み出して別個の画像ファイルとしてストレージ109に記録する。この際、ユーザによって選択されたサムネイル画像301aに対応しているマルチフォーカス画像データは、もとの画像ファイルから削除しても良いし、そのまま残しておいても良い。
また、「代表画像更新」が選択されたと判定された場合に、CPU101は、現在選択されているサムネイル画像301aに対応しているマルチフォーカス画像データを、代表画像に設定する。
また、「戻る」が選択されたと判定された場合に、CPU101は、全フォーカス画像表示を中断して代表画像表示に戻す。「代表画像更新」が選択されて代表画像が更新されていた場合には、「戻る」の選択後、更新された代表画像が表示部108に表示されることとなる。
【0100】
ステップS504において、「合成、切出」が選択されたと判定した場合に、CPU101は、図11に示すように、合成、切出用のサブメニューを表示させる(ステップS509)。合成、切出用のサブメニューとしては、例えば「全域合焦」311、「代表画像更新」312、「合焦位置切出」313の3つの項目を表示部108に表示させる。
【0101】
合成、切出用のサブメニューの表示後、CPU101は、ユーザによるメニュー項目の選択を待つ。そして、CPU101は、ユーザによって選択されたメニュー項目に応じた処理を行う(ステップS510)。
「全域合焦」が選択されたと判定された場合に、CPU101は、画像処理部107により、複数のマルチフォーカス画像データをエリア単位で合成して、多数のエリアで合焦状態となっている多エリア合焦画像データを生成する。この合成処理は、例えば合焦状態でないエリアのデータを、同じエリアの合焦状態となっているデータで置き換えることにより行う。そして、CPU101は、この多エリア合焦画像データにヘッダ情報を付与して画像ファイルを生成し、生成した画像ファイルをストレージ109に記録する。
【0102】
また、「ボケ強調」が選択されたと判定された場合に、CPU101は、画像処理部107により、複数のマルチフォーカス画像データをエリア単位で合成して所定のエリアでボケが強調されたボケ強調画像データを生成する。この合成処理は、例えば、代表画像データの中でユーザによって選択されたエリアのデータに、このエリアと同じエリアで合焦状態となっていないデータを別のマルチフォーカス画像データから抽出して合成する(例えば加算平均する)ことにより行う。そして、CPU101は、このボケ強調画像データにヘッダ情報を付与して画像ファイルを生成し、生成した画像ファイルをストレージ109に記録する。このような合成を行うことにより、代表画像中のユーザによって選択されたエリア315のボケが強調された画像データを得ることが可能である。
【0103】
また、「合焦位置切出」が選択されたと判定された場合に、CPU101は、画像処理部107により、ユーザによって選択されたエリアのデータを代表画像データから抽出し、抽出した画像データを拡大する。そして、CPU101は、この拡大した画像データにヘッダ情報を付与して画像ファイルを生成し、生成した画像ファイルをストレージ109に記録する。このような合成を行うことにより、代表画像中のユーザによって選択されたエリア314を切り出すことが可能である。
【0104】
ステップS504において、「フォーカス位置選択」が選択されたと判定した場合に、CPU101は、図11に示すように、フォーカス位置選択ウィザード表示を行う(ステップS511)。このフォーカス位置選択ウィザード表示において、CPU101は、フォーカス位置選択枠316を表示させる。
【0105】
フォーカス位置選択ウィザード表示の後、CPU101は、ユーザによるエリアの選択を待つ(ステップS512)。ステップS512において、ユーザは、このフォーカス位置選択枠316を操作部110(操作ボタン1101及びタッチパネル1102の何れでも良い)を用いて操作して、代表画像中の任意のエリアを選択する。この選択を受けて、CPU101は、合焦画像情報を参照して、ユーザによって選択されたエリアにおいて合焦状態となっている複数のマルチフォーカス画像を画像ファイルから抽出し、抽出したマルチフォーカス画像を、ユーザが所望している合焦状態の画像の候補の画像301bとして表示部108に同時表示させる(ステップS513)。図11の例は、ユーザによって選択されたエリアにおいて、3枚のマルチフォーカス画像データが合焦状態となっている例を示している。ここで、図11の例では、3枚のうちの選択された1枚については、ユーザが画像の全体を視認できるように表示させている。この場合、切替ボタン310が操作される毎に視認可能なマルチフォーカス画像の切り替えを行う。また、フォーカス位置選択の際には、複数のマルチフォーカス画像301bを表示させるのに伴って、メニュー項目も変更する。フォーカス位置選択の際のメニュー項目としては、例えば「画像分離」307、「代表画像更新」308、「戻る」309の3つの項目を表示部108に表示させる。
【0106】
候補画像301bの表示の後、CPU101は、ユーザによる、表示部108に表示されている何れかの候補画像301bの選択を待つ(ステップS514)。候補画像301bの選択がなされた場合に、CPU101は、ユーザによるメニュー項目の選択を待つ。そして、CPU101は、ユーザによって選択されたメニュー項目に応じた処理を行う(ステップS515)。このメニュー項目に応じた処理は、全フォーカス画像表示の場合と同様であるので説明を省略する。
【0107】
ここで、前述した実施形態においては、画像再生処理を画像ファイルの記録後に行うようにしている。これに対し、画像再生処理を、撮影動作とは別個に行うようにしても良い。また、前述した実施形態においては、画像再生処理を撮像装置10において行うようにしている。これに対し、画像再生処理を、撮像装置10とは別個の画像編集装置(例えばパーソナルコンピュータ)において行うようにしても良い。
【0108】
以上説明したように、本実施形態によれば、フォーカスレンズを一方向に駆動しつつ、撮像部102によって連続的に撮像動作を実行して合焦状態の異なる複数のマルチフォーカス画像を得るようにしている。また、それぞれのマルチフォーカス画像の何れのエリアが合焦状態であるのかを、合焦画像情報として記録するようにしている。このような構成により、ユーザは、撮影後の画像再生処理において、所望のエリアに合焦しているマルチフォーカス画像を選択することが可能である。また、本実施形態では、ユーザが、レリーズ指示をしたタイミングで、フォーカスレンズの駆動と撮像動作とを同期させて連続して実行するようにしている。これにより、シャッタチャンスを逃すことなく、多くのマルチフォーカス画像を得ることが可能である。さらに、本実施形態では、撮影時における被写体を判断し、この判断結果に応じて、フォーカスレンズのスキャン範囲や各種の撮影パラメータを設定している。これにより、全体としての撮影時間を必要以上に長くすることなく、また、画質の劣化も抑えて、多くの合焦状態の画像を記録することが可能である。
【0109】
また、本実施形態では、一連の撮影動作によって、合焦状態の異なる複数のマルチフォーカス画像が記録されるので、これらのマルチフォーカス画像を合成して合焦状態のエリアを増やした画像データや、ボケを強調した画像データを新たに生成することも可能である。
【0110】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【0111】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【0112】
10…撮像装置、101…CPU、102…撮像部、103…フォーカス駆動部、104…絞り駆動部、105…バス、106…メモリ、107…画像処理部、108…表示部、109…ストレージ、110…操作部、111…合焦評価部、112…顏検出部、113…動き検出部、114…プログラムメモリ、1021…撮像光学系、1022…撮像素子、1023…撮像処理部、1101…操作ボタン、1102…タッチパネル
【技術分野】
【0001】
本発明は、オートフォーカス機能を有する撮像装置に関する。
【背景技術】
【0002】
従来のフォーカス技術に関する提案として、ユーザが意図する合焦状態での撮影を可能とするための提案が、各種なされている。例えば、特許文献1では、合焦エリア内に複数の被写体が存在していた場合であっても、ユーザが意図する合焦状態の画像が得られるように、評価値を評価した結果、複数のピークが検出された場合に、検出されたピークの付近のフォーカス位置でブラケット撮影を行うようにしている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−086030号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、特許文献1の手法では、複数のピークが検出されたと判断された後でブラケット撮影を行う。このため、実際にフォーカスレンズがユーザの所望する合焦状態となるまでには時間がかかり易く、シャッタチャンスを逃してしまう可能性がある。また、全体としての撮影時間も長くなり易い。
【0005】
本発明は、上記の事情に鑑みてなされたもので、シャッタチャンスを逃さずに、また全体としての撮影時間も少なくしつつ、ユーザが所望の合焦状態の画像を得ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するために、本発明の一態様の撮像装置は、フォーカスレンズを有する撮像光学系と、前記撮像光学系を介して被写体を撮像し、該被写体に係る画像を得る撮像部と、前記被写体を判断する被写体判断部と、前記被写体判断部による判断結果に応じて、前記フォーカスレンズの駆動範囲及び駆動方向を設定し、該設定したフォーカスレンズの駆動範囲内で前記フォーカスレンズを前記設定した駆動方向に駆動させるように制御するフォーカス制御部と、前記被写体判断部による判断結果に応じて、前記撮像部における撮影パラメータを設定し、該設定した撮影パラメータに従って、前記フォーカスレンズの駆動中に、前記撮像部を連続動作させる撮像制御部と、前記撮像部の連続動作によって得られた複数の画像のそれぞれを複数のエリアに分割し、該分割したエリア毎に前記フォーカスレンズの合焦の有無を評価し、複数の画像のうちで前記フォーカスレンズが合焦しているエリアを有する合焦画像を示す合焦画像情報を生成する合焦評価部と、前記合焦画像と前記合焦画像情報とを記録部に記録する記録制御部と、前記合焦画像情報に従って、前記記録部に記録された合焦画像を表示部に表示させる表示制御部と、前記表示部に表示された合焦画像の中から所望の合焦画像を選択するための選択部と、を具備することを特徴とする。
【発明の効果】
【0007】
本発明によれば、シャッタチャンスを逃さずに、また全体としての撮影時間も少なくしつつ、ユーザが所望の合焦状態の画像を得ることができる撮像装置を提供することが可能である。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。
【図2】撮影動作時の処理について示すフローチャートである。
【図3】被写体パターン判断処理について示すフローチャートである。
【図4】撮影シーンの例を示す図である。
【図5】汎用シーンにおける有効画像サーチ処理の概要を示す図である。
【図6】合焦画像情報について説明するための図である。
【図7】ポートレートシーンにおける有効画像サーチ処理の概要を示す図である。
【図8】有効画像サーチ処理における具体的な処理を示すフローチャートである。
【図9】エリア別画像解析処理について示すフローチャートである。
【図10】画像再生処理について示すフローチャートである。
【図11】画像再生処理中に表示部に表示される画面の遷移を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図1に示すように、撮像装置10は、CPU101と、撮像部102と、フォーカス駆動部103と、絞り駆動部104と、バス105と、メモリ106と、画像処理部107と、表示部108と、ストレージ109と、操作部110と、合焦評価部111と、顏検出部112と、動き検出部113と、プログラムメモリ114と、を有している。
【0010】
CPU101は、撮像装置10の全体の動作を統括的に制御する。具体的には、CPU101は、フォーカス制御部としての機能を有し、フォーカス駆動部103を制御して撮像部102の撮像光学系1021の合焦状態を制御する。また、CPU101は、撮像制御部としての機能を有し、撮像部102の撮像動作を制御する。また、CPU101は、表示制御部としての機能を有し、表示部108における画像の表示制御をする。また、CPU101は、記録制御部としての機能を有し、ストレージ109への各種のデータの書込制御及びストレージ109からの各種のデータの読出制御をする。さらに、CPU101は、被写体判断部としての機能を有し、後述するシーン情報や撮影状況情報に応じて、撮影時における被写体を判断する。
【0011】
撮像部102は、図示しない被写体を撮像して、被写体に係る画像(画像データ)を得る。撮像部102は、撮像光学系1021と、撮像素子1022と、撮像処理部1023と、を有している。
【0012】
撮像光学系1021は、被写体からの光束を撮像素子1022に結像させるための光学系である。この撮像光学系1021は、フォーカスレンズや絞りを有している。フォーカスレンズは、撮像光学系1021の合焦状態を調整するためのレンズである。フォーカスレンズをその光軸方向に沿って駆動させることにより、撮像光学系1021の合焦状態を変化させることが可能である。絞りは、撮像光学系1021中に配置され、絞り込まれることによって、撮像光学系1021を介して撮像素子1022に入射する光束を制限する。
【0013】
撮像素子1022は、光電変換素子が2次元状に配置された受光面を有し、撮像光学系1021を介して受光面に入射した光束を、その光量に応じたアナログ電気信号(画像信号と言う)に変換する。ここで、撮像素子1022は、電子シャッタ機能を有していることが望ましい。
【0014】
撮像処理部1023は、撮像素子1022から出力された画像信号に対して、ゲイン制御処理や相関二重サンプリング処理といったアナログ処理を施す。そして、撮像処理部1023は、アナログ処理をした画像信号を、デジタル信号(画像データと言う)に変換する処理も行う。
【0015】
フォーカス駆動部103は、モータ等を有し、CPU101の制御に従ってフォーカスレンズを駆動する。絞り駆動部104は、モータ等を有し、CPU101の制御に従って絞りを駆動する。
【0016】
バス105は、撮像装置10の内部で発生した各種のデータを転送するための転送路である。図1に示す撮像装置10において、バス105は、CPU101と、撮像部102と、メモリ106と、画像処理部107と、表示部108と、ストレージ109と、操作部110と、合焦評価部111と、顏検出部112と、動き検出部113と、プログラムメモリ114と、に接続されている。
【0017】
メモリ106は、撮像部102で得られた画像データや画像処理部107で得られた画像データ、及びCPU101における処理データ等を一時的に記憶しておくための記憶部である。本実施形態におけるメモリ106は、撮影時において生成されるマルチフォーカス画像データ及び合焦画像情報も記憶する。
【0018】
画像処理部107は、画像データに対して各種の画像処理を施す。この画像処理は、ホワイトバランス処理、階調補正処理、圧縮処理、拡大縮小処理等が含まれる。また、画像処理部107は、画像データの再生時には、圧縮処理された画像データを伸張することも行う。また、本実施形態の画像処理部107は、第1の画像処理部としての機能を有し、後述の画像再生処理においてユーザによって指定された合焦画像中のエリアを拡大することも行う。また、本実施形態の画像処理部107は、第2の画像処理部としての機能を有し、後述の画像再生処理において複数の合焦画像を合成して複数のエリアでフォーカスレンズが合焦している多エリア合焦画像を生成することも行う。さらに、本実施形態の画像処理部107は、第3の画像処理部としての機能を有し、後述の画像再生処理において複数の合焦画像を合成してボケが強調されたボケ強調画像を生成することも行う。
【0019】
表示部108は、CPU101の制御に従って、ライブビュー画像、撮影画像、メニュー画面といった各種の画像を表示する。ここで、ライブビュー画像とは、撮像部102を連続させて得られる画像であって、撮像部102の動作に同期して表示部108にリアルタイム表示される画像である。また、撮影画像は、撮影動作によって得られる記録用の画像である。撮影画像は、表示部108に表示されるとともにストレージ109に記録される。メニュー画面は、ユーザが撮像装置10の各種の設定を行うための画面である。
【0020】
ストレージ109は、CPU101の制御に従って、撮影動作によって得られる撮影画像を画像ファイルとして記録する。ストレージ109は、撮像装置10に内蔵させるようにしても良いし、撮像装置10に対して着脱自在としても良い。
【0021】
操作部110は、ユーザが撮像装置10に対する各種の操作を行うための操作部材である。操作部110は、操作ボタン1101と、タッチパネル1102と、を有している。操作ボタン1101は、レリーズボタンや電源ボタン等のボタン式の操作部材である。なお、ここではボタンとしているが、必ずしもボタン式の操作部材とする必要はない。また、タッチパネル1102は、表示部108と一体的に形成されており、表示部108の画面上でのユーザの指等の接触位置を検出したり、指等の動きを検出したりする。CPU101は、タッチパネル1102を介して検出された接触位置や指等の動きに応じた処理を実行する。このような操作部110は、選択部の一例として機能する。
【0022】
合焦評価部111は、画像データに対する合焦状態を評価する。このために、合焦評価部111は、画像データを複数のエリアに分割し、分割したエリア内の画像データから、コントラストを評価するための評価値を生成する。評価値の変化は、画像データにおけるコントラストの変化に対応している。合焦評価部111は、評価値の変化の極大(ピーク)を判断することによって画像データのそれぞれのエリアにおける合焦状態を判断する。あるエリアのコントラストが極大(ピーク)となるとき、そのエリアに対して撮像光学系1021が合焦していることを示す。
【0023】
顏検出部112は、画像データから人物の顏部を検出する。顏部の検出は、例えば目や鼻といった人物の顏部の特徴を画像データから検出することによって行う。
【0024】
動き検出部113は、例えば加速度センサであって、撮像装置10の動きを検出する。この動き検出部113により、手ブレ等を検出するようにしても良い。
【0025】
プログラムメモリ114は、CPU101が撮像装置10に係る各種の処理を実行するために必要なプログラムや、各種の処理を実行するために必要なパラメータを記憶する記憶部である。本実施形態におけるプログラムメモリ114は、撮像光学系1021の光学特性情報(撮像光学系1021の焦点距離情報)等を、パラメータとして記憶している。
【0026】
次に、図1に示した撮像装置10を用いた撮影動作について説明する。図2は、撮影動作時の処理について示すフローチャートである。図2の動作は、撮像装置10の動作モードが撮影モードに設定されているときに実行される。
【0027】
図2において、CPU101は、ライブビュー表示を行う(ステップS101)。ステップS101において、CPU101は、撮像部102を動作させ、撮像部102を介して得られた画像データに対し、画像処理部107により、ライブビュー表示用の画像処理(ホワイトバランス処理、階調補正処理、縮小処理等)を施した後、この画像処理によって得られたライブビュー画像データを表示部108に入力する。ライブビュー画像データの入力を受けて、表示部108は、ライブビュー画像の表示を行う。このようなライブビュー表示では、ユーザが、表示部108においてリアルタイムで被写体を観察することが可能である。
【0028】
ライブビュー表示の後、CPU101は、現在の撮影シーンを判断する(ステップS102)。ステップS102の撮影シーン判断は、後述の被写体パターン判断処理において被写体を判断するために必要となる、シーン情報を取得する処理である。撮影シーン判断処理において、CPU101は、顏検出部112によって顏部を検出し、顏部の位置及び面積をシーン情報として記憶しておく。また、撮影シーン判断処理において、CPU101は、後述のフルタイムAFの結果を用いて被写体距離を算出し、算出した被写体距離情報をシーン情報として記憶しておく。この他、CPU101は、フレーム毎の画像データ間の差分から被写体の動きベクトルを算出し、算出した動きベクトル情報を記憶しておく。ステップS102で取得する情報は、あくまでも一例であって、被写体を特定できる情報であれば、上述した以外の情報を取得するようにしても良い。
【0029】
撮影シーンを判断した後、CPU101は、現在の撮影状況を判断する(ステップS103)。ステップS103の撮影状況判断処理は、後述の被写体パターン判断処理において被写体を判断するために必要となる、撮影状況情報を取得する処理である。撮影状況判断処理において、CPU101は、動き検出部113の出力から、撮像装置10の動きを検出し、検出した動き情報を撮影状況情報として記憶しておく。ステップS103で取得する情報は、あくまでも一例であって、撮像装置の状況を特定できる情報であれば、上述した以外の情報を取得するようにしても良い。
【0030】
撮影シーン判断処理の後、CPU101は、フルタイムAF処理を実行する(ステップS104)。フルタイムAF処理は、ライブビュー表示が実行されている間に実行されるAF(オートフォーカス)処理である。本実施形態においては、フルタイムAF処理として、山登り式のコントラストAFを実行する。この際、CPU101は、フォーカス駆動部103を駆動してフォーカスレンズを所定のスキャン範囲内で駆動させつつ、撮像部102を介して得られる画像データから、合焦評価部111において画像データにおけるコントラストを評価する。そして、CPU101は、コントラスト(評価値)のピークに対応する位置にフォーカスレンズを駆動する。コントラストのピークに対応した位置にフォーカスレンズを駆動させたとき、撮像光学系1021は合焦状態となる。また、合焦状態となっているときの撮像光学系1021の焦点距離等から、撮影シーン情報としての被写体距離を求めることが可能である。
ここで、複数の被写体が遠近に混在しているシーン等、撮影シーンによっては、複数のフォーカスレンズ位置でコントラストのピークが存在する可能性がある。複数のフォーカスレンズ位置でコントラストのピークが存在する場合、例えば最至近(被写体距離が最も短い)の被写体に対応したフォーカスレンズ位置でフォーカスレンズを停止させる。この他の考え方に従ってフォーカスレンズを駆動させるようにしても良い。
【0031】
フルタイムAFによってフォーカスレンズを駆動した後、CPU101は、ユーザによってレリーズ指示がなされたか否かを判定する(ステップS105)。ステップS105において、CPU101は、例えばユーザによって操作部110のレリーズボタンが押された場合にレリーズ指示がなされたと判定する。ステップS105において、レリーズ指示がなされていないと判定した場合に、CPU101は、処理をステップS101に戻してライブビュー表示を継続する。即ち、CPU101は、次のフレームのライブビュー画像を表示部108に表示させる。
【0032】
ステップS105において、レリーズ指示がなされたと判定した場合、CPU101は、被写体パターン判断処理を実行する(ステップS106)。被写体パターン判断処理は、撮影シーンや撮影状況を特定することによって、撮影時の被写体を判断する処理である。ステップS106の被写体パターン判断処理の詳細については後述する。
【0033】
被写体パターン判断処理によって被写体を特定した後、CPU101は、撮像部102を介して得られた画像データから、被写体の露出(輝度)を算出する(ステップS107)。そして、CPU101は、算出した被写体の露出及び被写体パターン判断処理の判断結果に応じて、露光時間TV、撮像素子感度SV、撮像フレームレートFrate、及び絞り値AVを設定する(ステップS108)。続いて、CPU101は、被写体パターン判断処理の結果に応じて、フォーカスレンズの駆動速度を設定する(ステップS109)。さらに、CPU101は、フォーカスレンズのスキャン方向及びスキャン範囲を設定する(ステップS110)。これらのステップS108〜S110の処理の詳細については後述する。
【0034】
撮影前の各種の撮影パラメータの設定を行った後、CPU101は、フォーカス駆動部103を制御して、ステップS110で設定したスキャン範囲内の初期位置に、フォーカスレンズを駆動する(ステップS111)。その後、CPU101は、有効画像サーチ処理を開始する(ステップS112)。詳細は後述するが、有効画像サーチ処理中には、画像データに対する合焦状態をエリア毎に評価する。撮像光学系1021が合焦しているエリアを1つでも有している画像データに対しては、その画像データを特定するための情報(例えば、その画像データのフレーム番号)を合焦画像情報としてメモリ106に記憶させる。また、その画像データもメモリ106に記憶させる。
【0035】
有効画像サーチ処理が終了した後、CPU101は、有効画像サーチ処理中にメモリ106に記憶された画像データに対し、画像処理部107により、記録用の画像処理(ホワイトバランス処理、階調補正処理、圧縮処理等)を施した後、この画像処理によって得られた撮影画像データに所定のヘッダ情報を付与し、これにより得られた画像ファイルをストレージ109に記録する(ステップS113)。ここで、合焦画像情報がメモリ106に記憶されている場合には、合焦画像情報もヘッダ情報に記録する。
【0036】
詳細は後述するが、本実施形態では、有効画像サーチ処理中に、複数の画像データ(マルチフォーカス画像データ)がメモリ106に記憶される可能性が高い。これらのマルチフォーカス画像データは、別個のファイルとして記録しても良いし、組画像の形式でファイルに記録しても良い。組画像の形式とは、1つのファイル内に複数の画像データを記録する形式である。組画像の形式でマルチフォーカス画像データを記録する場合には、それぞれのマルチフォーカス画像データの位置情報をヘッダ情報に記録しておく。組画像ファイル内の任意のマルチフォーカス画像データにアクセスする際には、ヘッダ情報内の位置情報を参照する。
【0037】
画像ファイルを記録した後、CPU101は、画像再生処理を実行する(ステップS114)。その後、CPU101は、図2の処理を終了させる。画像再生処理は、ストレージ109に記録した撮影画像データに対応した画像(マルチフォーカス画像)を表示部108に表示させる処理である。画像再生処理の詳細については後述する。
【0038】
次に被写体パターン判断処理について説明する。図3は、被写体パターン判断処理について示すフローチャートである。被写体パターン判断処理において、CPU101は、撮像光学系1021の焦点距離及び現在の絞り値等の情報を用いて被写界深度を算出する(ステップS201)。その後、CPU101は、シーン情報及び撮影状況情報を有しているか否かを判定する(ステップS202)。
【0039】
ステップS202において、シーン情報及び撮影状況情報を有していると判定した場合に、CPU101は、シーン情報、撮影状況情報、及び被写界深度情報を用いて現在の撮影シーンを判断する(ステップS203)。本実施形態では、例として、撮影シーンを、人物混在シーン、動体シーン、ポートレートシーン、遠近広域分布シーン、マクロシーン、汎用シーンの6つに分類することとする。
【0040】
人物混在シーンは、図4(a)で示すような、複数の人物を被写体として撮影する撮影シーンである。例えば、顏検出部112により、複数の顏部が検出されたと判定した場合に、CPU101は、撮影シーンが人物混在シーンであると判断する(ステップS204)。
【0041】
動体シーンは、図4(b)で示すような、スポーツシーン等の動きの大きい被写体を撮影する撮影シーンである。例えば、被写体の動きベクトルが所定の閾値よりも大きい場合や、撮像装置10の動きが所定の閾値よりも大きいと判定した場合に、CPU101は、撮影シーンが動体シーンであると判断する(ステップS205)。
【0042】
ポートレートシーンは、図4(c)で示すような、人物の顏が被写体となる撮影シーンである。例えば、顏検出部112により、所定の面積以上の顏部が検出された場合に、CPU101は、撮影シーンがポートレートシーンであると判断する(ステップS206)。
【0043】
遠近広域分布シーンは、図4(d)で示すような被写体と風景とが混在するシーン等の、遠近に被写体が混在する撮影シーンである。例えば、複数の被写体距離が得られ、これらの被写体距離の差が所定の閾値以上であると判定した場合に、CPU101は、撮影シーンが遠近広域分布シーンであると判断する(ステップS207)。
【0044】
マクロシーンは、図4(e)で示すような撮像装置10を被写体に近づけて撮影を行う撮影シーンである。例えば、被写体距離が所定の距離よりも近いと判定した場合に、CPU101は、撮影シーンがマクロシーンであると判断する(ステップS208)。
【0045】
汎用シーンは、人物混在シーン、動体シーン、ポートレートシーン、遠近広域分布シーン、マクロシーンの何れでもない、被写体の特徴が特定できない撮影シーンである。人物混在シーン、動体シーン、ポートレートシーン、遠近広域分布シーン、マクロシーンの何れの判断条件も満足しない場合、又はシーン情報及び撮影状況情報を有していないと判定した場合に、CPU101は、撮影シーンが汎用シーンであると判断する(ステップS209)。
【0046】
ここで、上述した撮影シーンの判断手法の場合、複数の撮影シーンの判断条件を同時に満足する場合がある。この場合には、予め定められた優先順位に従って撮影シーンを判断する。この優先順位は、例えば(1)ポートレートシーン、(2)人物混在シーン、(3遠近広域分布シーン(4)動体シーン、(5)マクロシーンの順とする。この順位付けは一例であって、適宜変更可能である。
【0047】
また、簡易的に撮影シーンを判断する手法としては、シーンモードから判断する手法もある。シーンモードとは、撮影時においてユーザが設定できるモードの1つである。シーンモードが設定されている場合、CPU101は、現在の撮影シーンが、その時点で設定されているシーンモードに応じた撮影シーンであると判断する。
【0048】
次に、有効画像サーチ処理について説明する。まず、有効画像サーチ処理に先立つ撮影パラメータの設定について説明する。詳細は後述するが、有効画像サーチ処理では、フォーカスレンズを一方向に駆動させつつ、このフォーカスレンズの駆動に同期するように複数回の撮像動作を実行して画像データをメモリ106に記憶させていく。この場合、合焦状態の異なる複数の画像データがメモリ106に記憶されることになる。ユーザは、これらの合焦状態の異なる複数の画像データの中から所望の合焦状態の画像データを選択することができる。これは、実質的に本実施形態によって「撮影後にピント合わせ」をしたことに相当する。
【0049】
ここで、有効画像サーチ処理中の露光回数を多くすれば、より多くの合焦状態の画像データを取得でき、ユーザにとっての所望の合焦状態の画像データが得られ易くなる。しかしながら、露光回数を多くするためには、露光時間を短くするか、全体としての撮影時間を長くする必要がある。
【0050】
このため、本実施形態では、撮影シーン中の被写体の特徴に応じて、露光時間TV、撮像素子感度SV、撮像フレームレートFrate、絞り値AV、フォーカスレンズの駆動速度、フォーカスレンズのスキャン方向及びスキャン範囲が適正な値となるように設定する。これにより、全体としての撮影時間を短くしつつ、ユーザが所望とする合焦状態の画像データが得られるようにする。
【0051】
以下、汎用シーンとポートレートシーンを代表例として、有効画像サーチ処理についてさらに説明する。
【0052】
まず、汎用シーンにおける撮影パラメータの設定について説明する。上述したように、汎用シーンは、ユーザが注目している被写体の特徴を判断することが困難な撮影シーンである。このような汎用シーンでは、近距離域から遠距離域までのなるべく多くのフォーカスレンズ位置で画像データを取得することが望ましい。したがって、露光回数(撮像フレームレートFrateに対応)は、なるべく多くすることが望ましい。ただし、被写体の露出が極端に低い場合や、被写体又は撮像装置10の動きが大きい場合等では、画像データにおけるノイズの影響が大きくなる。ノイズの影響が大きい状態では、撮像素子の感度制御だけでは、画像データの露出を制御することが困難である。これは、撮像素子の感度制御によってノイズも増幅されるためである。このため、撮像素子感度SVの制御によって、画質が大きく劣化してしまうと判断される場合には、撮像フレームレートFrateを低くする。このように、汎用シーンにおける撮像フレームレートFrateは、画像に重畳されるノイズの影響(被写体の露出と動き情報から判断される)に基づき、画質を確保できる範囲内で可能な限り高く設定する。
【0053】
露光時間TVは、撮像フレームレートFrateに対し、画像信号の読み出し時間等を考慮して決める。絞り値AVは、汎用シーンでは、例えば固定値とする。撮像素子感度SVは、これらの設定した露光時間TVと絞り値AVとで得られる露出の、適正露出に対するアンダー分を補うように設定する。
【0054】
フォーカスレンズの駆動速度は、撮像部102の露光動作に同期するように設定する。より詳しくは、フォーカスレンズの駆動速度は、露光時間TVに応じて決定する。
【0055】
また、汎用シーンでは、画像データ内のどのエリアにユーザが注目する被写体が存在しているかを判断できないので、フォーカスレンズのスキャン範囲は、フォーカスレンズの駆動可能な全範囲、即ち無限位置から至近位置までとする。スキャン方向は、無限位置から至近位置に向かう方向とする。スキャン方向を、至近位置から無限位置に向かう方向としても良い。
【0056】
図5は、汎用シーンにおける有効画像サーチ処理の概要を示す図である。汎用シーンにおける有効画像サーチにおいて、CPU101は、フォーカス駆動部103を制御して、フォーカスレンズを初期位置としての無限位置に駆動する。その後、CPU101は、無限位置から至近位置に向かってフォーカスレンズを駆動させつつ、予め設定した撮影パラメータに従って撮像部102を連続動作させて複数の画像データを取得する。そして、画像データを取得する毎に、CPU101は、取得した画像データに対する合焦状態をエリア毎に評価し、この評価結果に従ってメモリ106に記憶させる画像データを選別する。記憶させる画像データは、少なくとも1つのエリアで合焦状態となっている合焦画像データ(マルチフォーカス画像データ)である。また、本実施形態シーンにおいては、エリア毎に合焦状態を判断した結果、1つ以上のエリアで合焦状態であると判断された場合には、それぞれのマルチフォーカス画像データを特定するための情報を合焦画像情報として記録する。このようにして、画像データの選別を行いつつ、フォーカスレンズが至近位置に達したと判定したときに、CPU101は、有効画像サーチ処理を終了する。
【0057】
ここで、図5の例では、画像データを35のエリアに分割し、それぞれのエリア毎に合焦状態を評価している。この他、顏部等の特定の被写体が存在することが予め分っている場合には、分割したエリアとは別に、その特定の被写体の存在するエリアについて合焦状態を評価しても良い。図5における「エリア顏1」が、このような顏部のエリアの合焦状態の評価結果に対応している。
【0058】
図6は、合焦画像情報について説明するための図である。図6は、1フレーム分の画像データを例えば35(5行7列)のエリアに分割し、分割したエリア毎に合焦状態の評価を行った結果を示している。ここで、図6の列位置及び行位置のそれぞれに番号を付している。以下、図6におけるそれぞれのエリアを、エリアnと言う。nは、例えば画面の左上端をn=1とし、右方向、下方向の順で増加させ、画面の右下端をn=35とする。
【0059】
図6に示すように、フレーム番号F1の画像データは、エリア6、エリア7、エリア13、エリア14で合焦状態となっている。また、フレーム番号F2の画像データは、エリア5、エリア10で合焦状態となっている。また、フレーム番号F3の画像データは、エリア11、エリア17、エリア18で合焦状態となっている。さらに、フレーム番号F4の画像データは、エリア15、エリア16、エリア22、エリア23、24、30で合焦状態となっている。
【0060】
本実施形態では、エリア毎の合焦画像情報として、例えばそのエリアで合焦状態となっているマルチフォーカス画像データのフレーム番号を記録する。図6を例にすると、エリア6に対応した合焦画像情報としては、フレーム番号F1を記録する。また、エリア22に対応した合焦画像情報としては、フレーム番号F4を記録する。その他のエリアの合焦画像情報も同様である。なお、同じエリアで複数のマルチフォーカス画像データが合焦状態となる可能性もあるが、その場合には1つの合焦画像情報に複数のフレーム番号を記録する。
【0061】
このように、本実施形態では、合焦画像情報を記憶している。これにより、撮影動作の終了後であっても、それぞれのマルチフォーカス画像データに対する合焦状態をエリア毎に判断することが可能である。
【0062】
次に、ポートレートシーンにおける撮影パラメータの設定について説明する。上述したように、ポートレートシーンは、ユーザが注目している被写体が人物の顏部であると判断されている。このため、人物の顏部に対応したフォーカスレンズ位置では、なるべく多くの画像データを取得することが望ましい。これに対し、顏部以外のフォーカスレンズ位置では画像データを取得しなくとも良い。このため、ポートレートシーンでは、フォーカスレンズのスキャン範囲を、顏部の距離に対応したフォーカスレンズ位置の範囲に設定する。
【0063】
露光時間TVは、汎用シーンの場合と同様に、撮像フレームレートFrateに対し、画像信号の読み出し時間等を考慮して決める。絞り値AVは、汎用シーンでは、例えば固定値とする。撮像素子感度SVは、これらの設定した露光時間TVと絞り値AVとで得られる露出の、適正露出に対するアンダー分を補うように設定する。
【0064】
フォーカスレンズの駆動速度も、汎用シーンと同様、露光時間TVに同期するように設定する。上述したように、フォーカスレンズのスキャン範囲は、顏部付近の距離に対応したフォーカスレンズ位置の範囲(以下、顏部範囲と言う)に設定する。スキャン方向は、例えば無限位置から至近位置に向かう方向とする。スキャン方向を、至近位置から無限位置に向かう方向としても良い。
【0065】
図7は、ポートレートシーンにおける有効画像サーチ処理の概要を示す図である。ポートレートシーンにおける有効画像サーチにおいて、CPU101は、フォーカス駆動部103を制御して、フォーカスレンズを初期位置としての、顏部範囲の最も遠距離に対応したフォーカスレンズ位置(以下、顏部遠距離位置と言う)に駆動する。その後、CPU101は、顏部遠距離位置から至近位置に向かってフォーカスレンズを駆動させつつ、予め設定した撮影パラメータに従って撮像部102を動作させて複数の画像データを取得する。そして、画像データを取得する毎に、CPU101は、取得した画像データに対する合焦状態をエリア毎に評価し、この評価結果に従ってメモリ106に記憶させる画像データ(マルチフォーカス画像データ)を選別する。その後、フォーカスレンズが顏部範囲の最も近距離に対応したフォーカスレンズ位置(以下、顏部近距離位置と言う)に達したと判定したときに、CPU101は、有効画像サーチ処理を終了する。ポートレートシーンにおいても、エリア毎に合焦状態を判断した結果、1つ以上のエリアで合焦状態であると判断された場合には、その画像データを示す情報を合焦画像情報としてメモリ106に記憶しておく。
【0066】
ここで、ポートレートシーンにおいて、被写界深度が浅く、瞳等の特にフォーカス精度の求められる顏の特徴部が検出されている場合には、特徴部を含むエリアで合焦していると判断された画像データに加えて、その前後のフォーカスレンズ位置の画像データもメモリ106に記憶しておくようにしても良い。これにより、後述の画像再生処理において、ユーザが所望とする合焦状態の画像が得られ易くなる。
【0067】
汎用シーン及びポートレートシーン以外の人物混在シーン、遠近広域分布シーン、動体シーン、マクロシーンの場合も、撮影パラメータの設定、フォーカスレンズの駆動速度、スキャン範囲が異なるのみで基本的な有効画像サーチ処理の動作は、汎用シーン及びポートレートシーンの例で説明したものと同様である。
【0068】
人物混在シーンでは、複数の人物(顏)が存在する距離範囲に対応したフォーカスレンズ位置の範囲にフォーカスレンズのスキャン範囲を設定する。これにより、人物に対して合焦し易くする。この他の撮影パラメータの設定は、ポートレートシーンと同様で良い。
【0069】
遠近広域分布シーンでは、汎用シーンに比べて絞り値AVを大きくして被写界深度を深くする。これにより、近距離被写体と遠距離被写体の両方に対して合焦し易くする。この他の撮影パラメータの設定は、汎用シーンと同様で良い。
【0070】
動体シーンでは、汎用シーンに比べて撮像フレームレートFrateを高くし、またフォーカスレンズの駆動速度を高速にする。これにより、動体に追従して合焦させ易くする。この他の撮影パラメータの設定は、汎用シーンと同様で良い。
【0071】
マクロシーンでは、被写体が存在するマクロ域(近距離域)に対応したフォーカスレンズ位置の範囲にフォーカスレンズのスキャン範囲を設定する。これにより、マクロ域の被写体に対してより合焦し易くする。この他の撮影パラメータの設定は、ポートレートシーンと同様で良い。
【0072】
図8は、上述した有効画像サーチ処理における具体的な処理を示すフローチャートである。有効画像サーチ処理において、CPU101は、現在のフォーカスレンズ位置において、ステップS108で設定された撮影パラメータに従って撮像部102による撮像(露光)動作を実行する(ステップS301)。撮像動作によって得られた画像データは、メモリ106に記憶される(ステップS302)。
【0073】
1フレーム分の画像データがメモリ106に記憶されると、CPU101は、メモリ106に記憶された画像データを合焦評価部111に入力し、合焦評価部111において評価値を生成させる(ステップS303)。その後、CPU101は、合焦評価部111においてエリア別画像解析処理を実行させる(ステップS304)。エリア別画像解析処理は、画像データのエリア毎の合焦評価を行う処理である。具体的な処理の内容については後述する。
【0074】
エリア別画像解析処理の後、CPU101は、フォーカス駆動部103を制御して、フォーカスレンズを次のフォーカスレンズ位置に駆動させる(ステップS305)。この際の、フォーカスレンズの駆動速度(単位時間当たりの駆動量)は、ステップS109で決定されたもの又は後述のステップS307で更新したものを利用する。
【0075】
フォーカスレンズの駆動後、CPU101は、フォーカスレンズのスキャンが終了したか否か、即ちフォーカスレンズ位置がスキャン範囲の終了位置に達したか否かを判定する(ステップS306)。ステップS306において、フォーカスレンズのスキャンが終了していないと判定した場合に、CPU101は、必要に応じてフォーカスレンズの駆動速度を更新する(ステップS307)。例えば、マクロ域では、フォーカスレンズの位置変化に対する合焦状態の変化の割合が小さいので、フォーカスレンズの駆動速度をより高速にしても良い。フォーカスレンズの駆動速度を更新した後、CPU101は、処理をステップS301に戻して、次のフレームに対する撮像動作を実行する。
【0076】
ステップS306において、フォーカスレンズのスキャンが終了したと判定した場合、CPU101は、図8の処理を終了させ、ステップS113の画像記録を実行する。
【0077】
図9は、エリア別画像解析処理について示すフローチャートである。エリア別画像解析の処理は、合焦評価部111において実行される。
【0078】
図9において、合焦評価部111は、ステップS303で生成した評価値のうち、エリアn(n=1、2、…)の評価値を評価する(ステップS401)。このために、合焦評価部111は、現フレームにおけるエリアnの評価値と前フレームにおけるエリアnの評価値との差分を算出する。この差分を用いて評価を行う。
【0079】
まず、合焦評価部111は、評価値のピーク判断を行う(ステップS402)。このピーク判断において、合焦評価部111は、評価値が増加から減少に転じたか否か、即ちステップS401で算出した差分の符号が正から負に変化したか否かを判断する。評価値が増加から減少に転じたと判断した場合に、合焦評価部111は、現フレームにおけるエリアnにおいて撮像光学系1021が合焦していると判断する。
【0080】
続いて、合焦評価部111は、ピーク有効判断を行う(ステップS403)。ピーク有効判断は、合焦判断の信頼性を担保するため、ステップS402で判断されたピークが有効であるかを判断する処理である。例えば、評価値が所定値以上であると判断した場合には、合焦評価部111は、ピークが有効であると判断する。また、評価値が所定値未満の場合や、本来、ピークが出現するべきでないエリアでピークが判断された場合(例えば、人物混在シーンにおいて顏部以外のエリアでピークが検出された場合等)には、合焦評価部111は、そのピークが無効であると判断する。
【0081】
続いて、合焦評価部111は、ピーク再出現判断を行う(ステップS404)。ピーク再出現判断は、現フレームにおけるエリアnで判断されたピークが再出現したものであるかを判断する処理である。既にエリアnの合焦画像情報が得られている場合に、合焦評価部111は、現フレームにおけるエリアnで判断されたピークが再出現したものであると判断する。
【0082】
続いて、合焦評価部111は、ピーク無効化判断を行う(ステップS405)。ピーク無効化判断は、ステップS403で有効でないと判断されたピークを無効化する処理である。
【0083】
なお、ステップS402のピーク判断において、ピークが検出されなかった場合には、ステップS403〜S405の処理は省略される。
【0084】
エリアnの評価値の評価を行った後、合焦評価部111は、有効なピークが検出されているか否かを判定する(ステップS406)。ステップS406において、有効なピークが検出されていると判定した場合に、合焦評価部111は、エリアnの合焦画像情報として、現フレームのフレーム番号を記録してメモリ106に記憶させる(ステップS407)。エリアnの合焦画像情報が既に作成されている場合には、その作成されている合焦画像情報に現フレームのフレーム番号を追記する。エリアnの合焦画像情報が作成されていない場合には、新たにエリアnの合焦画像情報を作成する。
【0085】
ステップS406において有効なピークを検出していないと判断した場合又はステップS407の後、合焦評価部111は、現フレームの全エリアの評価を終了したか否かを判定する(ステップS408)。ステップS408において、全エリアの評価を終了していないと判定した場合に、合焦評価部111は、処理をステップS401に戻して次のエリアに対する評価を開始する。
【0086】
また、ステップS408において、全エリアの評価を終了したと判定した場合に、合焦評価部は、画像削除判断を行う(ステップS409)。画像削除判断は、現フレームの画像データの何れかのエリアで合焦状態であったか、即ち現フレームのフレーム番号が何れかのエリアに対応した合焦画像情報として記録されているかを判断し、現フレームのフレーム番号が何れのエリアの合焦画像情報にも記録されていない場合に、その現フレームの画像データをメモリ106から削除する処理である。画像削除処理の後、CPU101は、図9の処理を終了させる。
【0087】
ここで、ステップS406の有効なピークの検出判定からステップS409の画像削除判断までの処理は、フォーカスレンズの駆動が終了した後に、全てのフレームの画像データについてまとめて行うようにしても良い。
【0088】
図10は、画像再生処理について示すフローチャートである。また、図11は、画像再生処理中に表示部108に表示される画面の遷移を示す図である。
【0089】
画像再生処理において、CPU101は、ストレージ109に記録された画像ファイルのヘッダ情報を参照して、ヘッダ情報に合焦画像情報が記録されているか否かを判定する(ステップS501)。
【0090】
ステップS501において、合焦画像情報が記録されていないと判定した場合に、CPU101は、通常の画像ファイルの再生を行う。この通常の画像ファイルの再生については簡単に説明する。CPU101は、ステップS113の処理でストレージ109に記録された画像ファイルから画像データを読み出し、読み出した画像データを画像処理部107において伸張する。そして、伸張した画像データに対応した画像を表示部108に表示させる。
【0091】
また、ステップS501において、合焦画像情報が記録されていると判定した場合に、CPU101は、画像ファイル内に記録されている複数のマルチフォーカス画像データのうちの何れかを代表画像データとして読み出し、読み出した代表画像データを画像処理部107において伸張する。そして、伸張した代表画像データ対応した画像301を、図11に示すようにして表示部108に表示させる(ステップS502)。ここで、代表画像データは、例えば画像ファイル内に記録されている複数のマルチフォーカス画像データのうちで最初に記録されたマルチフォーカス画像データとする。最後に記録されたマルチフォーカス画像データを、代表画像データとしても良い。
【0092】
代表画像を表示させた後、CPU101は、画像再生処理用のメニュー項目に対応したソフトウェアボタンを、代表画像に重畳して表示させる(ステップS503)。
ここで、代表画像の表示について説明する。代表画像の表示時のメニュー項目としては、例えば、図11に示す「フォーカス位置選択」302、「全フォーカス画像」303、「合成、切出」304の3つの項目を表示部108に表示させる。また、これらのメニュー項目を選択するためのポインタ305も表示部108に表示させる。これらのメニュー項目を表示させるための表示データは、プログラムメモリ114に予め記憶されているものである。
【0093】
ユーザは、操作ボタン1101を操作してポインタ305を所望のメニュー項目上に移動させることにより、メニュー項目の選択を行うことが可能である。なお、ポインタ305によってメニュー項目を選択する構成とせずに、タッチパネル1102によってメニュー項目の選択を行う構成としても良い。
【0094】
さらに、本実施形態においては、エリア毎の合焦画像情報を参照することにより、代表画像301の何れのエリアが合焦状態であるかを判断することが可能である。このため、代表画像301における合焦状態のエリアを強調表示することもできる。図11では、合焦状態のエリアを、枠306によって強調表示させている。しかしながら、これに限らず各種の方式で合焦状態のエリアを示すようにして良い。
【0095】
メニュー表示をした後、CPU101は、ユーザによって何れかのメニュー項目が選択されたか否か、及び選択されたメニュー項目が何れであるかを判定する(ステップS504)。何れかのメニュー項目が選択されたと判定した場合に、CPU101は、選択されたメニュー項目に従った処理を行う。また、何れのメニュー項目も選択されていないと判定した場合に、CPU101は、ステップS504の判定を継続しつつ、待機する。
【0096】
ステップS504において、「全フォーカス画像」が選択されたと判定した場合に、CPU101は、図11に示すように、画像ファイルに記録されているそれぞれのマルチフォーカス画像データのサムネイル画像301aを表示部108に表示させる(ステップS505)。また、全フォーカス画像表示の際には、複数のサムネイル画像301aを表示させるのに伴って、メニュー項目も全フォーカス画像表示に対応したものに変更する。全フォーカス画像の表示時のメニュー項目としては、例えば「画像分離」307、「代表画像更新」308、「戻る」309の3つの項目を表示部108に表示させる。
【0097】
ここで、表示部108の画面サイズによっては、全てのサムネイル画像301aを同時表示させることができない場合がある。この場合には、切替ボタン310を表示させる。図11は、16枚のサムネイル画像301aを同時表示させる例を示している。仮に、17枚以上のマルチフォーカス画像データが画像ファイルに記録されている場合には、切替ボタン310を表示させる。ユーザによって、切替ボタン310が選択された場合には、画像ファイルに記録されている別の16枚の(現在表示されている16枚の前又は後の)マルチフォーカス画像のサムネイル画像を表示部108に表示させる。ここで、サムネイル画像301aの同時表示枚数は、16枚に限るものではない。この同時表示枚数をユーザが設定するようにしても良い。
【0098】
メニュー項目の更新後、CPU101は、各マルチフォーカス画像の合焦エリアを、例えば枠表示によって強調表示する(ステップS506)。なお、マルチフォーカス画像は、個々の表示サイズが小さいので、強調表示を省略するようにしても良い。
【0099】
強調表示の後、CPU101は、ユーザによる、表示部108に表示されている何れかのサムネイル画像301aの選択を待つ(ステップS507)。サムネイル画像301aの選択がなされた場合に、CPU101は、ユーザによるメニュー項目の選択を待つ。そして、CPU101は、ユーザによって選択されたメニュー項目に応じた処理を行う(ステップS508)。
「画像分離」が選択されたと判定された場合に、CPU101は、現在選択されているサムネイル画像301aに対応しているマルチフォーカス画像データを、組画像から分離する。具体的には、ユーザによって選択されたサムネイル画像301aに対応しているマルチフォーカス画像データを、画像ファイルから読み出して別個の画像ファイルとしてストレージ109に記録する。この際、ユーザによって選択されたサムネイル画像301aに対応しているマルチフォーカス画像データは、もとの画像ファイルから削除しても良いし、そのまま残しておいても良い。
また、「代表画像更新」が選択されたと判定された場合に、CPU101は、現在選択されているサムネイル画像301aに対応しているマルチフォーカス画像データを、代表画像に設定する。
また、「戻る」が選択されたと判定された場合に、CPU101は、全フォーカス画像表示を中断して代表画像表示に戻す。「代表画像更新」が選択されて代表画像が更新されていた場合には、「戻る」の選択後、更新された代表画像が表示部108に表示されることとなる。
【0100】
ステップS504において、「合成、切出」が選択されたと判定した場合に、CPU101は、図11に示すように、合成、切出用のサブメニューを表示させる(ステップS509)。合成、切出用のサブメニューとしては、例えば「全域合焦」311、「代表画像更新」312、「合焦位置切出」313の3つの項目を表示部108に表示させる。
【0101】
合成、切出用のサブメニューの表示後、CPU101は、ユーザによるメニュー項目の選択を待つ。そして、CPU101は、ユーザによって選択されたメニュー項目に応じた処理を行う(ステップS510)。
「全域合焦」が選択されたと判定された場合に、CPU101は、画像処理部107により、複数のマルチフォーカス画像データをエリア単位で合成して、多数のエリアで合焦状態となっている多エリア合焦画像データを生成する。この合成処理は、例えば合焦状態でないエリアのデータを、同じエリアの合焦状態となっているデータで置き換えることにより行う。そして、CPU101は、この多エリア合焦画像データにヘッダ情報を付与して画像ファイルを生成し、生成した画像ファイルをストレージ109に記録する。
【0102】
また、「ボケ強調」が選択されたと判定された場合に、CPU101は、画像処理部107により、複数のマルチフォーカス画像データをエリア単位で合成して所定のエリアでボケが強調されたボケ強調画像データを生成する。この合成処理は、例えば、代表画像データの中でユーザによって選択されたエリアのデータに、このエリアと同じエリアで合焦状態となっていないデータを別のマルチフォーカス画像データから抽出して合成する(例えば加算平均する)ことにより行う。そして、CPU101は、このボケ強調画像データにヘッダ情報を付与して画像ファイルを生成し、生成した画像ファイルをストレージ109に記録する。このような合成を行うことにより、代表画像中のユーザによって選択されたエリア315のボケが強調された画像データを得ることが可能である。
【0103】
また、「合焦位置切出」が選択されたと判定された場合に、CPU101は、画像処理部107により、ユーザによって選択されたエリアのデータを代表画像データから抽出し、抽出した画像データを拡大する。そして、CPU101は、この拡大した画像データにヘッダ情報を付与して画像ファイルを生成し、生成した画像ファイルをストレージ109に記録する。このような合成を行うことにより、代表画像中のユーザによって選択されたエリア314を切り出すことが可能である。
【0104】
ステップS504において、「フォーカス位置選択」が選択されたと判定した場合に、CPU101は、図11に示すように、フォーカス位置選択ウィザード表示を行う(ステップS511)。このフォーカス位置選択ウィザード表示において、CPU101は、フォーカス位置選択枠316を表示させる。
【0105】
フォーカス位置選択ウィザード表示の後、CPU101は、ユーザによるエリアの選択を待つ(ステップS512)。ステップS512において、ユーザは、このフォーカス位置選択枠316を操作部110(操作ボタン1101及びタッチパネル1102の何れでも良い)を用いて操作して、代表画像中の任意のエリアを選択する。この選択を受けて、CPU101は、合焦画像情報を参照して、ユーザによって選択されたエリアにおいて合焦状態となっている複数のマルチフォーカス画像を画像ファイルから抽出し、抽出したマルチフォーカス画像を、ユーザが所望している合焦状態の画像の候補の画像301bとして表示部108に同時表示させる(ステップS513)。図11の例は、ユーザによって選択されたエリアにおいて、3枚のマルチフォーカス画像データが合焦状態となっている例を示している。ここで、図11の例では、3枚のうちの選択された1枚については、ユーザが画像の全体を視認できるように表示させている。この場合、切替ボタン310が操作される毎に視認可能なマルチフォーカス画像の切り替えを行う。また、フォーカス位置選択の際には、複数のマルチフォーカス画像301bを表示させるのに伴って、メニュー項目も変更する。フォーカス位置選択の際のメニュー項目としては、例えば「画像分離」307、「代表画像更新」308、「戻る」309の3つの項目を表示部108に表示させる。
【0106】
候補画像301bの表示の後、CPU101は、ユーザによる、表示部108に表示されている何れかの候補画像301bの選択を待つ(ステップS514)。候補画像301bの選択がなされた場合に、CPU101は、ユーザによるメニュー項目の選択を待つ。そして、CPU101は、ユーザによって選択されたメニュー項目に応じた処理を行う(ステップS515)。このメニュー項目に応じた処理は、全フォーカス画像表示の場合と同様であるので説明を省略する。
【0107】
ここで、前述した実施形態においては、画像再生処理を画像ファイルの記録後に行うようにしている。これに対し、画像再生処理を、撮影動作とは別個に行うようにしても良い。また、前述した実施形態においては、画像再生処理を撮像装置10において行うようにしている。これに対し、画像再生処理を、撮像装置10とは別個の画像編集装置(例えばパーソナルコンピュータ)において行うようにしても良い。
【0108】
以上説明したように、本実施形態によれば、フォーカスレンズを一方向に駆動しつつ、撮像部102によって連続的に撮像動作を実行して合焦状態の異なる複数のマルチフォーカス画像を得るようにしている。また、それぞれのマルチフォーカス画像の何れのエリアが合焦状態であるのかを、合焦画像情報として記録するようにしている。このような構成により、ユーザは、撮影後の画像再生処理において、所望のエリアに合焦しているマルチフォーカス画像を選択することが可能である。また、本実施形態では、ユーザが、レリーズ指示をしたタイミングで、フォーカスレンズの駆動と撮像動作とを同期させて連続して実行するようにしている。これにより、シャッタチャンスを逃すことなく、多くのマルチフォーカス画像を得ることが可能である。さらに、本実施形態では、撮影時における被写体を判断し、この判断結果に応じて、フォーカスレンズのスキャン範囲や各種の撮影パラメータを設定している。これにより、全体としての撮影時間を必要以上に長くすることなく、また、画質の劣化も抑えて、多くの合焦状態の画像を記録することが可能である。
【0109】
また、本実施形態では、一連の撮影動作によって、合焦状態の異なる複数のマルチフォーカス画像が記録されるので、これらのマルチフォーカス画像を合成して合焦状態のエリアを増やした画像データや、ボケを強調した画像データを新たに生成することも可能である。
【0110】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【0111】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【0112】
10…撮像装置、101…CPU、102…撮像部、103…フォーカス駆動部、104…絞り駆動部、105…バス、106…メモリ、107…画像処理部、108…表示部、109…ストレージ、110…操作部、111…合焦評価部、112…顏検出部、113…動き検出部、114…プログラムメモリ、1021…撮像光学系、1022…撮像素子、1023…撮像処理部、1101…操作ボタン、1102…タッチパネル
【特許請求の範囲】
【請求項1】
フォーカスレンズを有する撮像光学系と、
前記撮像光学系を介して被写体を撮像し、該被写体に係る画像を得る撮像部と、
前記被写体を判断する被写体判断部と、
前記被写体判断部による判断結果に応じて、前記フォーカスレンズの駆動範囲及び駆動方向を設定し、該設定したフォーカスレンズの駆動範囲内で前記フォーカスレンズを前記設定した駆動方向に駆動させるように制御するフォーカス制御部と、
前記被写体判断部による判断結果に応じて、前記撮像部における撮影パラメータを設定し、該設定した撮影パラメータに従って、前記フォーカスレンズの駆動中に、前記撮像部を連続動作させる撮像制御部と、
前記撮像部の連続動作によって得られた複数の画像のそれぞれを複数のエリアに分割し、該分割したエリア毎に前記フォーカスレンズの合焦の有無を評価し、複数の画像のうちで前記フォーカスレンズが合焦しているエリアを有する合焦画像を示す合焦画像情報を生成する合焦評価部と、
前記合焦画像と前記合焦画像情報とを記録部に記録する記録制御部と、
前記合焦画像情報に従って、前記記録部に記録された合焦画像を表示部に表示させる表示制御部と、
前記表示部に表示された合焦画像の中から所望の合焦画像を選択するための選択部と、
を具備することを特徴とする撮像装置。
【請求項2】
前記表示制御部は、前記表示部に表示された合焦画像における何れかの前記エリアが指定された場合に、前記合焦画像情報に基づいて、前記指定されたエリアにおいて前記フォーカスレンズが合焦している合焦画像を前記記録部から抽出し、該抽出した合焦画像をさらに前記表示部に表示させることを特徴する請求項1に記載の撮像装置。
【請求項3】
前記表示部に表示された合焦画像における何れかの前記エリアが指定された場合に、該指定されたエリアを拡大した拡大合焦画像を生成する第1の画像処理部をさらに具備し、
前記記録制御部は、前記拡大合焦画像を前記記録部に記録することを特徴とする請求項1に記載の撮像装置。
【請求項4】
複数の前記合焦画像を合成し、複数の前記エリアにおいて前記フォーカスレンズが合焦している多エリア合焦画像を生成する第2の画像処理部をさらに具備し、
前記記録制御部は、前記多エリア合焦画像を前記記録部に記録することを特徴とする請求項1に記載の撮像装置。
【請求項5】
複数の前記合焦画像を合成し、少なくとも1つの前記エリアにおいてボケが強調されたボケ強調画像を生成する第3の画像処理部をさらに具備し、
前記記録制御部は、前記ボケ強調画像を前記記録部に記録することを特徴とする請求項1に記載の撮像装置。
【請求項1】
フォーカスレンズを有する撮像光学系と、
前記撮像光学系を介して被写体を撮像し、該被写体に係る画像を得る撮像部と、
前記被写体を判断する被写体判断部と、
前記被写体判断部による判断結果に応じて、前記フォーカスレンズの駆動範囲及び駆動方向を設定し、該設定したフォーカスレンズの駆動範囲内で前記フォーカスレンズを前記設定した駆動方向に駆動させるように制御するフォーカス制御部と、
前記被写体判断部による判断結果に応じて、前記撮像部における撮影パラメータを設定し、該設定した撮影パラメータに従って、前記フォーカスレンズの駆動中に、前記撮像部を連続動作させる撮像制御部と、
前記撮像部の連続動作によって得られた複数の画像のそれぞれを複数のエリアに分割し、該分割したエリア毎に前記フォーカスレンズの合焦の有無を評価し、複数の画像のうちで前記フォーカスレンズが合焦しているエリアを有する合焦画像を示す合焦画像情報を生成する合焦評価部と、
前記合焦画像と前記合焦画像情報とを記録部に記録する記録制御部と、
前記合焦画像情報に従って、前記記録部に記録された合焦画像を表示部に表示させる表示制御部と、
前記表示部に表示された合焦画像の中から所望の合焦画像を選択するための選択部と、
を具備することを特徴とする撮像装置。
【請求項2】
前記表示制御部は、前記表示部に表示された合焦画像における何れかの前記エリアが指定された場合に、前記合焦画像情報に基づいて、前記指定されたエリアにおいて前記フォーカスレンズが合焦している合焦画像を前記記録部から抽出し、該抽出した合焦画像をさらに前記表示部に表示させることを特徴する請求項1に記載の撮像装置。
【請求項3】
前記表示部に表示された合焦画像における何れかの前記エリアが指定された場合に、該指定されたエリアを拡大した拡大合焦画像を生成する第1の画像処理部をさらに具備し、
前記記録制御部は、前記拡大合焦画像を前記記録部に記録することを特徴とする請求項1に記載の撮像装置。
【請求項4】
複数の前記合焦画像を合成し、複数の前記エリアにおいて前記フォーカスレンズが合焦している多エリア合焦画像を生成する第2の画像処理部をさらに具備し、
前記記録制御部は、前記多エリア合焦画像を前記記録部に記録することを特徴とする請求項1に記載の撮像装置。
【請求項5】
複数の前記合焦画像を合成し、少なくとも1つの前記エリアにおいてボケが強調されたボケ強調画像を生成する第3の画像処理部をさらに具備し、
前記記録制御部は、前記ボケ強調画像を前記記録部に記録することを特徴とする請求項1に記載の撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−88579(P2013−88579A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−228184(P2011−228184)
【出願日】平成23年10月17日(2011.10.17)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願日】平成23年10月17日(2011.10.17)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
[ Back to top ]