電子カメラ
【構成】イメージセンサ16および56は、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する。フォーカスレンズ12および52は、複数の撮像面にそれぞれ割り当てられる。CPU26は、共通視野に現れた特徴物体を各々が表す複数の特徴画像をイメージセンサ16および56から出力された複数の画像から探索し、複数の撮像面の位置のずれと探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する。CPU26はまた、複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定された距離に対応する特定間隔に調整する。
【効果】合焦性能の向上。
【効果】合焦性能の向上。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、電子カメラに関し、特にフォーカスレンズから撮像面までの距離を合焦点に対応する距離に設定する、電子カメラに関する。
【背景技術】
【0002】
この種のカメラの一例が、特許文献1に開示されている。この背景技術によれば、撮影に用いる撮像素子で撮像される第1画像と基線長方向がカメラの水平面と所定の角度をもって配置された他の撮像素子で撮像される第2画像とに基づいて、三角測距の原理に基づいて焦点が検出される。上記第1画像の中に設定された参照像を基線長方向に所定ピッチずつずらしながら、上記第2画像の中に設定された基準像と一致する上記参照像の位置が演算される。AF処理回路は、この演算結果に基づき被写体までの距離を検出する。また、撮像素子の長辺方向はカメラの水平面と平行であり、他の撮像素子の長辺方向は上記基線長方向と一致する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−134621号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、背景技術では、距離を検出する被写体の設定には操作者の操作が必要であり、操作者の操作が未熟な場合は合焦性能が低下する可能性がある。
【0005】
それゆえに、この発明の主たる目的は、合焦性能を高めることができる、電子カメラを提供することである。
【課題を解決するための手段】
【0006】
この発明に従う電子カメラ(10:実施例で相当する参照符号。以下同じ)は、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する撮像手段(16, 56)、複数の撮像面にそれぞれ割り当てられた複数のレンズ(12, 52)、共通視野に現れた特徴物体を各々が表す複数の特徴画像を撮像手段から出力された複数の画像から探索する第1探索手段(S31, S75, S79, S81, S135)、複数の撮像面の位置のずれと第1探索手段によって探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する測定手段(S35)、および
【0007】
複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定手段によって測定された距離に対応する特定間隔に調整する調整手段(S37)を備える。
【0008】
好ましくは、特定撮像面と特定レンズとの間隔を特定間隔の近傍で変更する変更手段(S141~S147, S153, S155)、および変更手段の変更処理と並列して特定撮像面で捉えられた視野を表す画像に基づいて合焦点を探索する第2探索手段(S149, S151, S157~S161)をさらに備える。
【0009】
好ましくは、測定手段は、撮像面と撮像面に割り当てられたレンズとの間隔を第1探索手段による探知に関連して読み出す読み出し手段(S65)、および複数の撮像面の位置のずれおよび第1探索手段によって探知された複数の特徴画像の位置のずれの比と読み出し手段によって読み出された間隔とに基づいて特徴物体までの距離を算出する算出手段(S67)を含む。
【0010】
さらに好ましくは、算出手段の算出処理は三角測距法に相当する。
【0011】
好ましくは、第1探索手段は辞書画像を用いて探索処理を実行する。
【0012】
さらに好ましくは、辞書画像は人物画像に相当する。
【0013】
この発明に従う撮像制御プログラムは、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する撮像手段(16, 56)、および複数の撮像面にそれぞれ割り当てられた複数のレンズ(12, 52)を備える電子カメラ(10)のプロセッサ(26)に、共通視野に現れた特徴物体を各々が表す複数の特徴画像を撮像手段から出力された複数の画像から探索する第1探索ステップ(S31, S75, S79, S81, S135)、複数の撮像面の位置のずれと探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する測定ステップ(S35)、および複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップ(S37)を実行させるための、撮像制御プログラムである。
【0014】
この発明に従う撮像制御方法は、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する撮像手段(16, 56)、および複数の撮像面にそれぞれ割り当てられた複数のレンズ(12, 52)を備える電子カメラ(10)によって実行される撮像制御方法であって、共通視野に現れた特徴物体を各々が表す複数の特徴画像を撮像手段から出力された複数の画像から探索する第1探索ステップ(S31, S75, S79, S81, S135)、複数の撮像面の位置のずれと探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する測定ステップ(S35)、および複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップ(S37)を備える。
【0015】
この発明に従う外部制御プログラムは、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する撮像手段(16, 56)、複数の撮像面にそれぞれ割り当てられた複数のレンズ(12, 52)、およびメモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)に供給される外部制御プログラムであって、共通視野に現れた特徴物体を各々が表す複数の特徴画像を撮像手段から出力された複数の画像から探索する第1探索ステップ(S31, S75, S79, S81, S135)、複数の撮像面の位置のずれと探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する測定ステップ(S35)、および複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップ(S37)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【0016】
この発明に従う電子カメラ(10)は、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する撮像手段(16, 56)、複数の撮像面にそれぞれ割り当てられた複数のレンズ(12, 52)、外部制御プログラムを受信する受信手段(60)、および受信手段によって受信された外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)であって、外部制御プログラムは、共通視野に現れた特徴物体を各々が表す複数の特徴画像を撮像手段から出力された複数の画像から探索する第1探索ステップ(S31, S75, S79, S81, S135)、複数の撮像面の位置のずれと探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する測定ステップ(S35)、および複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップ(S37)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【0017】
共通視野に現れた特徴物体までの距離は、複数の視野をそれぞれ表す複数の画像の各々から探知された特徴物体像の位置ずれと複数の撮像面の位置ずれとに基づいて測定される。特定撮像面と特定レンズとの間隔は、こうして測定された距離に対応する特定間隔に調整される。これによって、特徴物体に対する合焦性能の向上が図られる。
【0018】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0019】
【図1】この発明の一実施例の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】この発明の一実施例のカメラの外観の一部を示す図解図である。
【図4】図2実施例に適用されるSDRAMのマッピング状態の一例を示す図解図である。
【図5】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図6】顔検出処理において用いられる顔検出枠の一例を示す図解図である。
【図7】図2実施例で参照される顔辞書の構成の一例を示す図解図である。
【図8】顔検出処理の一部を示す図解図である。
【図9】顔検出処理において参照されるレジスタの構成の一例を示す図解図である。
【図10】撮像タスクおよび顔検出タスクにおいて参照されるレジスタの構成の一例を示す図解図である。
【図11】モニタ画面に表示された画像の一例を示す図解図である。
【図12】モニタ画面に表示された画像の他の一例を示す図解図である。
【図13】モニタ画面に表示された画像のその他の一例を示す図解図である。
【図14】この発明の一実施例のカメラと被写体との位置関係を示す図解図である。
【図15】(A)は撮像面によって捉えられたシーンの一例を示す図解図であり、(B)は撮像面によって捉えられたシーンの他の一例を示す図解図である。
【図16】複数の撮像ブロックと被写体との位置関係を示す図解図である。
【図17】被写体距離の算出処理の一例を示す図解図である。
【図18】モニタ画面に表示された画像のその他の一例を示す図解図である。
【図19】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図20】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図21】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図22】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図23】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図24】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図25】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図26】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図27】この発明の他の実施例に適用されるCPUの動作の一部を示すフロー図である。
【図28】図27実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図29】図27実施例において参照されるレジスタの構成の一例を示す図解図である。
【図30】図27実施例のAF処理の一例を示す図解図である。
【図31】この発明のその他の実施例に適用されるCPUの動作の一部を示すフロー図である。
【図32】この発明のさらにその他の実施例の基本的構成を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0021】
図1を参照して、この実施例の電子カメラは、基本的に次のように構成される。撮像手段1は、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する。複数のレンズ2は複数の撮像面にそれぞれ割り当てられる。第1探索手段3は、共通視野に現れた特徴物体を各々が表す複数の特徴画像を撮像手段1から出力された複数の画像から探索する。測定手段4は、複数の撮像面の位置のずれと第1探索手段3によって探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する。調整手段5は、複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定手段4によって測定された距離に対応する特定間隔に調整する。
【0022】
共通視野に現れた特徴物体までの距離は、複数の視野をそれぞれ表す複数の画像の各々から探知された特徴物体像の位置ずれと複数の撮像面の位置ずれとに基づいて測定される。特定撮像面と特定レンズとの間隔は、こうして測定された距離に対応する特定間隔に調整される。これによって、特徴物体に対する合焦性能の向上が図られる。
[実施例]
【0023】
図2を参照して、この実施例のディジタルカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。これらの部材を経たシーンの光学像は、ドライバ18cによって駆動されるイメージセンサ16の撮像面に照射され、光電変換を施される。また、ドライバ18a〜18c,およびイメージセンサ16は、第1撮像ブロック100を構成する。
【0024】
ディジタルカメラ10にはまた、イメージセンサ16によって捉えられたシーンと共通のシーンを捉えるために、フォーカスレンズ52,絞りユニット54,およびイメージセンサ56が設けられている。フォーカスレンズ52および絞りユニット54を経たシーンの光学像は、ドライバ58cによって駆動されるイメージセンサ56の撮像面に照射され、光電変換を施される。また、ドライバ58a〜58c,およびイメージセンサ56は、第2撮像ブロック500を構成する。
【0025】
これらの部材によって、イメージセンサ16によって捉えられたシーンに対応した電荷およびイメージセンサ56によって捉えられたシーンに対応した電荷が生成される。
【0026】
図3を参照して、第1撮像ブロック100および第2撮像ブロック500は、ディジタルカメラ10の筐体CB1の前面に固定的に設けられる。第1撮像ブロック100は筐体CB1の前方に向かって左側に位置し、第2撮像ブロック500は筐体CB1の前方に向かって右側に位置する。以下、第1撮像ブロック100を“L側撮像ブロック”と称し、第2撮像ブロック500を“R側撮像ブロック”と称する。
【0027】
L側撮像ブロックおよびR側撮像ブロックはそれぞれ光軸AX_LおよびAX_Rを有し、筐体CB1の底面から光軸AX_Lまでの距離(=H_L)は筐体CB1の底面から光軸AX_Rまでの距離(=H_R)と一致する。また、水平方向における光軸AX_LおよびAX_Rの間隔(=B)は、人間の両目の間隔を考慮して6cm程度に設定される。さらに、L側撮像ブロックおよびR側撮像ブロックは、共通の倍率を有する。
【0028】
このようなディジタルカメラ10は、3D(three dimensional)静止画像を記録するための3D記録モードおよび2D(two dimensional)静止画像を記録するための通常記録モードからなる2つの撮像モードを有する。操作者によるキー入力装置28の操作によって2つの撮像モードの各々が相互に切り替えられる。
【0029】
電源が投入されると、CPU26は、L側撮像ブロックおよびR側撮像ブロックを共通の既定のフォーカス設定に調整する。CPU26はフォーカスレンズ12の移動をドライバ18aに命令し、ドライバ18aは、既定の焦点距離Fを示すレンズ位置にフォーカスレンズ12を配置する。また、CPU26はフォーカスレンズ52の移動をドライバ58aに命令し、ドライバ58aは、既定の焦点距離Fを示すレンズ位置にフォーカスレンズ52を配置する。
【0030】
CPU26は次に、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ18cおよび58cの各々に命令する。ドライバ18cおよび58cは、図示しないSG(Signal Generator)から周期的に発生する垂直同期信号Vsyncに応答して、イメージセンサ16および56の撮像面をそれぞれ露光し、かつイメージセンサ16および56の撮像面で生成された電荷をラスタ走査態様でそれぞれ読み出す。イメージセンサ16からは読み出された電荷に基づく第1生画像データが周期的に出力され、イメージセンサ56からは読み出された電荷に基づく第2生画像データが周期的に出力される。
【0031】
前処理回路20は、イメージセンサ16から出力された第1生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。これらの処理を施された第1生画像データは、メモリ制御回路30を通して図4に示すSDRAM32の第1生画像エリア32aに書き込まれる。
【0032】
前処理回路20はまた、イメージセンサ56から出力された第2生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。これらの処理を施された第2生画像データは、メモリ制御回路30を通して図4に示すSDRAM32の第2生画像エリア32bに書き込まれる。
【0033】
後処理回路34は、第1生画像エリア32aに格納された第1生画像データをメモリ制御回路30を通して読み出し、読み出された第1生画像データに色分離処理,白バランス調整処理およびYUV変換処理を施す。後処理回路34はさらに、YUV形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、YUV形式に従う表示画像データおよび第1探索画像データが個別に作成される。表示画像データは、メモリ制御回路30によって図4に示すSDRAM32の表示画像エリア32cに書き込まれる。第1探索画像データは、メモリ制御回路30によって図4に示すSDRAM32の第1探索画像エリア32dに書き込まれる。
【0034】
後処理回路34はまた、第2生画像エリア32bに格納された第2生画像データをメモリ制御回路30を通して読み出し、読み出された第2生画像データに色分離処理,白バランス調整処理およびYUV変換処理を施す。後処理回路34はさらに、YUV形式に従う画像データに対して探索用のズーム処理を実行する。この結果、YUV形式に従う第2探索画像データが作成される。第2探索画像データは、メモリ制御回路30によって図4に示すSDRAM32の第2探索画像エリア32eに書き込まれる。
【0035】
LCDドライバ36は、表示画像エリア32cに格納された表示画像データをメモリ制御回路30を通して繰り返し読み出し、読み出された画像データに基づいてLCDモニタ38を駆動する。この結果、シーンを表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0036】
図5を参照して、イメージセンサ16および56の撮像面の中央には評価エリアEVA1およびEVA2がそれぞれ割り当てられる。評価エリアEVA1およびEVA2の各々は水平方向および垂直方向の各々において16分割され、256個の分割エリアが評価エリアEVA1およびEVA2の各々を形成する。また、図2に示す前処理回路20は、上述した処理に加えて、第1生画像データおよび第2生画像データの各々を簡易的にRGBデータに変換する簡易RGB変換処理を実行する。この結果、L側撮像ブロックに対応した第1RGBデータおよびR側撮像ブロックに対応した第2RGBデータの各々が前処理回路20から出力される。
【0037】
AE評価回路22は、第1RGBデータのうち評価エリアEVA1に属するRGBデータおよび第2RGBデータのうち評価エリアEVA2に属するRGBデータの各々を、垂直同期信号Vsyncが発生する毎に積分する。これによって、L側撮像ブロックに対応する256個の積分値つまり256個のAE評価値およびR側撮像ブロックに対応する256個のAE評価値の各々が、垂直同期信号Vsyncに応答してAE評価回路22から出力される。
【0038】
AF評価回路24は、前処理回路20によって生成された第1RGBデータのうち評価エリアEVA1に属するRGBデータの高周波成分を、垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAF評価値が、垂直同期信号Vsyncに応答してAF評価回路24から出力される。こうして得られたAE評価値およびAF評価値に基づく処理については、後述する。
【0039】
撮像タスクと並列して実行される第1顔検出タスクの下で、CPU26は、フラグFLG_Lを“0”に初期設定する。CPU26は次に、第1探索画像エリア32dに格納された第1探索画像データから人物の顔画像を探索するべく、垂直同期信号Vsyncが発生する毎に顔検出処理を実行する。
【0040】
顔検出処理では、図6に示す要領でサイズが調整される顔検出枠FDと図7に示す5つの辞書画像(=向きが互いに異なる顔画像)を収めた顔辞書FDCとが用いられる。なお、顔辞書FDCはフラッシュメモリ44に保存される。
【0041】
顔検出処理ではまず、評価エリアEVA1の全域が探索エリアとして設定される。また、顔検出枠FDのサイズの可変範囲を定義するべく、最大サイズFSZmaxが“200”に設定され、最小サイズFSZminが“20”に設定される。
【0042】
顔検出枠FDは、探索エリアの開始位置(左上位置)から終了位置(右下位置)に向かって、ラスタ走査態様で既定量ずつ移動される(図8参照)。また、顔検出枠FDのサイズは、顔検出枠FDが終了位置に到達する毎に“FSZmax”から“FSZmin”まで“5”ずつ縮小される。
【0043】
顔検出枠FDに属する一部の第1探索画像データは、メモリ制御回路30を通して第1探索画像エリア32dから読み出される。読み出された画像データの特徴量は、顔辞書FDCに収められた5つの辞書画像の各々の特徴量と照合される。閾値THを超える照合度が得られると、顔画像が検出されたものとみなされる。現時点の顔検出枠FDの位置およびサイズは、顔情報として図9に示す第1顔検出レジスタRGST_Lに登録される。
【0044】
CPU26は次に、第1顔検出レジスタRGST_Lに登録された顔情報のうち撮像面中央に最も近い顔情報が示す領域を、後述のAF処理の対象領域とする。AF処理の対象領域とされた顔情報の位置およびサイズは、図10に示すAF対象レジスタRGST_Lafに登録される。また、CPU26は、人物を発見したことを表明するべくフラグFLG_Lを“1”に設定する。
【0045】
なお、顔検出処理の完了後に第1顔検出レジスタRGST_Lに顔情報の登録がなかった場合、すなわち人物の顔が発見されなかった場合は、CPU26は、人物の顔が未発見であることを表明するべくフラグFLG_Lを“0”に設定する。
【0046】
撮像タスクおよび第1顔検出タスクと並列して実行される第2顔検出タスクの下で、CPU26は、第2探索画像エリア32eに格納された第2探索画像データから人物の顔画像を探索するべく、上述の第1顔検出タスクと同様の顔検出処理を垂直同期信号Vsyncが発生する毎に実行する。第2顔検出タスクにおいては、評価エリアEVA2の全域を探索エリアとして顔検出処理が実行される。
【0047】
顔画像が検出されたとき、現時点の顔検出枠FDの位置およびサイズが顔情報として図9に示す第2顔検出レジスタRGST_Rに登録され、人物を発見したことを表明するべくフラグFLG_Rが“1”に設定される。顔画像が検出されなかったとき、人物の顔が未発見であることを表明するべくフラグFLG_Rが“0”に設定される。
【0048】
シャッタボタン28shが非操作状態のとき、CPU26は、以下の処理を実行する。フラグFLG_Lが“0”を示すとき、CPU26は、第1RGBデータに対応してAE評価回路22から出力されたAE評価値に基づく簡易AE処理を撮像タスクの下で実行し、適正EV値を算出する。簡易AE処理は動画取り込み処理と並列して実行され、算出された適正EV値を定義する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。
【0049】
フラグFLG_Lが“1”に更新されるとCPU26は、第1顔検出レジスタRGST_Lの登録内容を参照して、顔枠HFの表示をグラフィックジェネレータ46に要求する。グラフィックジェネレータ46は、顔枠HFを表すグラフィック情報をLCDドライバ36に向けて出力する。この結果、図11を参照して、スルー画像上の顔画像の位置およびサイズに適合する態様で、顔枠HFがLCDモニタ38に表示される。
【0050】
フラグFLG_Lが“1”に更新されるとまた、CPU26は、第1RGBデータに対応してAE評価回路22から出力されたAE評価値のうち、第1顔検出レジスタRGST_Lに登録された位置およびサイズに対応するAE評価値を抽出する。CPU26は、抽出された一部のAE評価値に基づく厳格AE処理を実行する。厳格AE処理によって算出された最適EV値を定義する絞り量および露光時間は、ドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが、第1顔検出レジスタRGST_Lに登録された位置に相当するシーンの一部に注目した明るさに調整される。
【0051】
フラグFLG_Rが“0”を示すとき、CPU26は、第2RGBデータに対応してAE評価回路22から出力されたAE評価値に基づく簡易AE処理を撮像タスクの下で実行し、適正EV値を算出する。簡易AE処理は動画取り込み処理と並列して実行され、算出された適正EV値を定義する絞り量および露光時間はドライバ58bおよび58cにそれぞれ設定される。
【0052】
フラグFLG_Rが“1”に更新されるとCPU26は、第2RGBデータに対応してAE評価回路22から出力されたAE評価値のうち、第2顔検出レジスタRGST_Rに登録された位置およびサイズに対応するAE評価値を抽出する。CPU26は、抽出された一部のAE評価値に基づく厳格AE処理を実行する。厳格AE処理によって算出された最適EV値を定義する絞り量および露光時間は、ドライバ58bおよび58cにそれぞれ設定される。
【0053】
シャッタボタン28shが半押しされると、CPU26はAF処理を実行する。フラグFLG_Lが“0”を示すとき、すなわち顔画像が検出されていないとき、CPU26は、第1RGBデータに対応してAF評価回路24から出力されたAF評価値のうち、シーン中央の既定領域に対応するAF評価値を抽出する。CPU26は、抽出された一部のAF評価値に基づくAF処理を実行する。この結果、図12を参照して、シーン中央に注目した合焦点にフォーカスレンズ12が配置され、スルー画像の鮮鋭度が向上する。
【0054】
しかし、顔画像が検出されたときにも同様のAF処理を実行すると、検出された顔画像に係る人物よりも至近側に、格子模様の金網等で構成される障害物が存在した場合、障害物に合焦される恐れがある。図13に示す例によると、人物HM1よりも至近側に存在する柵FCに合焦された結果、スルー画像において、柵FCの画像の鮮鋭度が向上する一方、人物HM1の顔画像の鮮鋭度が低下する。
【0055】
したがって、フラグFLG_Lが“1”を示すとき、すなわち顔画像が検出されたとき、CPU26は、上述のAF処理に代えて、いわゆる三角測距法により、AF対象レジスタRGST_Lafに顔位置が登録された人物に対する被写体距離Dを以下の要領で算出する。CPU26はまた、算出された被写体距離Dに基づいてAF処理を実行する。図14を参照して、格子模様の金網で構成される柵FCが人物HM1よりも至近側に存在する場合を例にして、本処理の詳細を説明する。
【0056】
L側撮像ブロックおよびR側撮像ブロックの各々で人物HM1の顔を捉えた場合、第1生画像データおよび第2生画像データの各々における人物HM1の顔画像の位置には、ずれが生じる。図14に示す例によると、人物HM1が光軸AX_LおよびAX_Rの間に存在する場合は、イメージセンサ16から図15(A)に示す第1生画像データが出力され、イメージセンサ56から図15(B)に示す第2生画像データが出力される。このとき、図16を参照して、イメージセンサ16の撮像面およびイメージセンサ56の撮像面における人物HM1の位置のずれの大きさ(=“視差”。以下同じ)Kは、人物HM1の顔の右端を基準として、以下の要領で求めることができる。
【0057】
フォーカスレンズ12の中心を示す点mと人物HM1の顔の右端を示す点pとを直線で結び、直線pmとイメージセンサ16の撮像面との交点を点qとする。また、フォーカスレンズ52の中心を示す点nと点pとを直線で結び、直線pnとイメージセンサ56の撮像面との交点を点rとする。さらに、イメージセンサ16の撮像面の中心を点sとし、イメージセンサ56の撮像面の中心を点tとする。この場合、視差Kは、線分qsおよびtrの長さの和によって表すことができる。また、直線pqと平行でかつ点nを通る直線とイメージセンサ56の撮像面との交点を点q’とすると、視差Kは、線分q’rの長さによっても表すことができる。
【0058】
ここで、図17を参照して、ΔmnpとΔq’rnとは相似する。したがって、人物HM1に対する被写体距離Dは、視差Kと光軸AX_LおよびAX_Rの間隔Bと既定の焦点距離Fとに基づいて、以下の数1に示す式で求めることができる。
[数1]
D=B×F/K
D:被写体距離
B:2つの光軸の間隔
F:焦点距離
K:視差
【0059】
このようにして算出された被写体距離Dに対応する焦点距離を示すレンズ位置が、合焦点として判断される。したがって、CPU26はフォーカスレンズ12の移動をドライバ18aに命令し、ドライバ18aはフォーカスレンズ12を合焦点に配置する。この結果、図18を参照して、至近側に柵FCが存在する場合であっても人物HM1の顔に合焦され、スルー画像において、柵FCの画像の鮮鋭度が低下する一方、人物HM1の顔画像の鮮鋭度が向上する。
【0060】
なお、AF対象レジスタRGST_Lafに登録された顔画像に相当する顔画像が退避レジスタRGST_Rbkに登録されていなかったとき、すなわちL側撮像ブロックで捉えられたAF対象の顔画像がR側撮像ブロックにおいて捉えられなかったとき、CPU26は、以下の要領でAF処理を実行する。
【0061】
CPU26は、第1RGBデータに対応してAF評価回路24から出力されたAF評価値のうち、AF対象レジスタRGST_Lafに登録された位置およびサイズに対応するAF評価値を抽出する。CPU26は、抽出された一部のAF評価値に基づくAF処理を実行する。したがってAF処理の結果、AF処理の対象とされた人物の顔位置に注目した合焦点にフォーカスレンズ12が配置され、スルー画像の鮮鋭度が向上する。
【0062】
撮像モードが通常記録モードに設定されていた場合、シャッタボタン28shが全押しされると、CPU26は、撮像タスクの下でL側撮像ブロックの静止画取り込み処理および記録処理を実行する。シャッタボタン28shが全押しされた時点の1フレームの第1生画像データは、静止画取り込み処理によって図4に示すSDRAM32の第1静止画エリア32fに取り込まれる。取り込まれた1フレームの第1生画像データは、記録処理に関連して起動したI/F40によって第1静止画エリア32fから読み出され、ファイル形式で記録媒体42に記録される。
【0063】
撮像モードが3D記録モードに設定されていた場合、シャッタボタン28shが全押しされると、CPU26は、R側撮像ブロックのフォーカス設定をL側撮像ブロックと同一の設定に変更する。したがって、CPU26はフォーカスレンズ52の移動をドライバ58aに命令し、ドライバ58aは、L側撮像ブロックに設定された焦点距離と同一の焦点距離を示すレンズ位置にフォーカスレンズ52を配置する。
【0064】
R側撮像ブロックのフォーカス設定の変更が完了すると、CPU26は、撮像タスクの下でL側撮像ブロックおよびR側撮像ブロックの各々の静止画取り込み処理と3D記録処理とを実行する。シャッタボタン28shが全押しされた時点の1フレームの第1生画像データおよび第2生画像データは、静止画取り込み処理によって第1静止画エリア32fおよび図4に示すSDRAM32の第2静止画エリア32gにそれぞれ取り込まれる。
【0065】
また、3D記録処理によって、3D静止画の記録に対応した形式の1つの静止画ファイルが記録媒体42に作成される。取り込まれた第1生画像データおよび第2生画像データは、3D映像の格納を示す識別コード,2つの画像の配置方法等とともに、新規作成された静止画ファイルに記録処理によって記録される。
【0066】
シャッタボタン28shが全押し後に解除されると、R側撮像ブロックおよびL側撮像ブロックは共通の既定のフォーカス設定に戻される。CPU26はフォーカスレンズ12の移動をドライバ18aに命令し、ドライバ18aは、既定の焦点距離Fを示すレンズ位置にフォーカスレンズ12を配置する。また、CPU26はフォーカスレンズ52の移動をドライバ58aに命令し、ドライバ58aは、既定の焦点距離Fを示すレンズ位置にフォーカスレンズ52を配置する。
【0067】
CPU26は、図19〜21に示す撮像タスク,図23に示す第1顔検出タスク,および図26に示す第2顔検出タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ44に記憶される。
【0068】
図19を参照して、ステップS1ではL側撮像ブロックおよびR側撮像ブロックを共通の既定のフォーカス設定に調整する。この結果、既定の焦点距離Fを示すレンズ位置にフォーカスレンズ12および52が配置される。
【0069】
ステップS3では動画取り込み処理を実行する。この結果、シーンを表すスルー画像がLCDモニタ38に表示される。ステップS5では第1顔検出タスクおよび第2顔検出タスクを起動する。
【0070】
ステップS7ではシャッタボタン28shが半押しされたか否かを判別し、判別結果がYESであればステップS25に進む一方、判別結果がNOであればフラグFLG_Lが“1”に設定されているか否かをステップS9で判別する。ステップS9の判別結果がYESであればステップS11およびS13の処理を経てステップS19に進み、ステップS9の判別結果がNOであればステップS15およびS17の処理を経てステップS19に進む。
【0071】
ステップS11では、第1顔検出レジスタRGST_Lの登録内容を参照して、顔枠HFの表示をグラフィックジェネレータ46に要求する。この結果、第1顔検出タスクの下で検出された顔画像の位置およびサイズに適合する態様で、顔枠HFがLCDモニタ38に表示される。
【0072】
ステップS11の処理が完了すると、L側撮像ブロックの顔画像の位置に対応した厳格AE処理をステップS13で実行する。厳格AE処理によって算出された最適EV値を定義する絞り量および露光時間は、ドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが、第1顔検出レジスタRGST_Lに登録された顔画像の位置に相当するシーンの一部に注目した明るさに調整される。
【0073】
ステップS15では顔枠HFの非表示をグラフィックジェネレータ46に要求する。この結果、LCDモニタ38に表示された顔枠HFは非表示とされる。
【0074】
ステップS15の処理が完了すると、ステップS17でL側撮像ブロックの簡易AE処理を実行する。簡易AE処理によって算出された適正EV値を定義する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。
【0075】
ステップS19ではフラグFLG_Rが“1”に設定されているか否かを判別し、判別結果がYESであればステップS21の処理を経てステップS7に戻り、判別結果がNOであればステップS23の処理を経てステップS7に戻る。
【0076】
ステップS21ではR側撮像ブロックの顔画像の位置に対応した厳格AE処理を実行する。厳格AE処理によって算出された最適EV値を定義する絞り量および露光時間は、ドライバ58bおよび58cにそれぞれ設定される。ステップS23ではR側撮像ブロックの簡易AE処理を実行する。簡易AE処理によって算出された適正EV値を定義する絞り量および露光時間はドライバ58bおよび58cにそれぞれ設定される。
【0077】
ステップS25ではフラグFLG_Lが“1”に設定されているか否かを判別し、判別結果がNOであればステップS27で、L側撮像ブロックのAF評価値のうちシーン中央の既定領域に対応するAF評価値に基づいて、AF処理を実行する。この結果、シーン中央に注目した合焦点にフォーカスレンズ12が配置され、スルー画像の鮮鋭度が向上する。
【0078】
ステップS25の判別結果がYESであれば、AF処理の対象領域を確定するべく、AF対象レジスタRGST_Lafに登録された位置およびサイズをステップS29で読み出す。ステップS31では、AF対象レジスタRGST_Lafに登録された顔画像に相当する顔画像が退避レジスタRGST_Rbkに登録されているか否かを判別する。
【0079】
判別結果がNOであれば、L側撮像ブロックのAF評価値のうちAF対象レジスタRGST_Lafに登録された位置およびサイズに対応するAF評価値に基づいて、ステップS33でAF処理を実行する。この結果、AF処理の対象とされた人物の顔位置に注目した合焦点にフォーカスレンズ12が配置され、スルー画像の鮮鋭度が向上する。
【0080】
ステップS31の判別結果がYESであれば、被写体距離算出処理をステップS35で実行する。ステップS35の処理が完了すると、算出された被写体距離Dに基づいたAF処理をステップS37で実行する。被写体距離Dに対応する焦点距離を示すレンズ位置は、合焦点として判断される。したがって、フォーカスレンズ12の移動をドライバ18aに命令し、ドライバ18aはフォーカスレンズ12を合焦点に配置する。この結果、至近側に網状の障害物が存在する場合であっても人物の顔に合焦され、スルー画像において、人物の顔画像の鮮鋭度が向上する。
【0081】
ステップS27,S33,またはS37の処理が完了するとステップS39に進む。ステップS39ではシャッタボタン28shが全押しされたか否かを判別し、判別結果がNOであればシャッタボタン28shが解除されたか否かをステップS41で判別する。ステップS41の判別結果がNOであればステップS39に戻る一方、ステップS41の判別結果がYESであればステップS55に進む。
【0082】
ステップS39の判別結果がYESであれば、撮像モードが3D記録モードに設定されているか否かをステップS43で判別する。判別結果がYESであればステップS49に進む一方、判別結果がNOであればステップS45で静止画取り込み処理を実行し、ステップS47では記録処理を実行する。
【0083】
シャッタボタン28shが全押しされた時点の1フレームの画像データは、静止画取り込み処理によって第1静止画エリア32fに取り込まれる。取り込まれた1フレームの画像データは、記録処理に関連して起動したI/F40によって第1静止画エリア32fから読み出され、ファイル形式で記録媒体42に記録される。
【0084】
ステップS49では、R側撮像ブロックのフォーカス設定をL側撮像ブロックと同一の設定に変更する。この結果、L側撮像ブロックに設定された焦点距離と同一の焦点距離を示すレンズ位置に、フォーカスレンズ52が配置される。
【0085】
ステップS51では、L側撮像ブロックおよびR側撮像ブロックの各々の静止画取り込み処理を実行する。この結果、シャッタボタン28shが全押しされた時点の1フレームの第1生画像データおよび第2生画像データは、静止画取り込み処理によって第1静止画エリア32fおよび第2静止画エリア32gにそれぞれ取り込まれる。
【0086】
ステップS53では、3D記録処理を実行する。この結果、3D静止画の記録に対応した形式の1つの静止画ファイルが記録媒体42に作成される。取り込まれた第1生画像データおよび第2生画像データは、3D映像の格納を示す識別コードおよび2つの画像の配置方法等とともに、新規作成された静止画ファイルに記録処理によって記録される。
【0087】
ステップS47またはS53の処理が完了するとステップS55に進む。ステップS55では、L側撮像ブロックおよびR側撮像ブロックを共通の既定のフォーカス設定に調整する。この結果、既定の焦点距離Fを示すレンズ位置にフォーカスレンズ12および52が配置される。ステップS55の処理が完了するとステップS7に戻る。
【0088】
ステップS35の被写体距離算出処理は、図22に示すサブルーチンに従って実行される。ステップS61では、AF対象レジスタRGST_Lafに登録された顔画像について、イメージセンサ16およびイメージセンサ56の撮像面における位置のずれの大きさを示す視差Kを算出する。
【0089】
ステップS63では光軸AX_LおよびAX_Rの間隔Bを読み出し、ステップS65では既定の焦点距離Fを読み出す。このような視差K,光軸AX_LおよびAX_Rの間隔B,および既定の焦点距離Fに基づいて、AF対象レジスタRGST_Lafに顔位置が登録された人物に対する被写体距離Dを、ステップS67で算出する。ステップS67の処理が完了すると上階層のルーチンに復帰する。
【0090】
図23を参照して、ステップS71ではフラグFLG_Lを“0”に初期設定し、垂直同期信号Vsyncが発生したか否かをステップS73で繰り返し判別する。判別結果がNOからYESに更新されると、ステップS75でL側撮像ブロックの顔検出処理を実行する。
【0091】
顔検出処理の完了後、顔検出レジスタRGST_Lに顔情報の登録があるか否かをステップS77で判別し、判別結果がNOであればステップS71に戻る一方、判別結果がYESであればステップS79に進む。
【0092】
ステップS79では位置が撮像面中央に最も近い顔情報が示す領域をAF処理の対象領域とし、AF処理の対象領域とされた顔情報の位置およびサイズを用いてAF対象レジスタRGST_LafをステップS81で更新する。
【0093】
ステップS83では人物の顔を発見したことを表明するべくフラグFLG_Lを“1”に設定し、その後にステップS73に戻る。
【0094】
ステップS75の顔検出処理は、図24〜25に示すサブルーチンに従って実行される。ステップS91では、顔検出レジスタRGST_LまたはRGST_Rを初期化すべく登録内容をクリアする。
【0095】
ステップS93では評価エリアEVA1またはEVA2の全域を探索エリアとして設定する。ステップS95では、顔検出枠FDのサイズの可変範囲を定義するべく、最大サイズFSZmaxを“200”に設定し、最小サイズFSZminを“20”に設定する。
【0096】
ステップS97では顔検出枠FDのサイズを“FSZmax”に設定し、ステップS99では顔検出枠FDを探索エリアの左上位置に配置する。ステップS101では、顔検出枠FDに属する一部の探索画像データを第1探索画像エリア32dまたは第2探索画像エリア32eから読み出し、読み出された探索画像データの特徴量を算出する。
【0097】
ステップS103では変数Nを“1”に設定し、ステップS81で算出された特徴量と辞書番号がNである顔辞書FDCの辞書画像の特徴量とをステップS105で照合する。照合の結果、閾値THを超える照合度が得られたか否かをステップS107で判別し、判別結果がNOであればステップS111に進む一方、判別結果がYESであればステップS109の処理を経てステップS111に進む。
【0098】
ステップS109では、現時点の顔検出枠FDの位置およびサイズを顔情報として顔検出レジスタRGST_LまたはRGST_Rに登録する。
【0099】
ステップS111では変数Nをインクリメントし、変数Nが“5”を超えたか否かをステップS113で判別する。判別結果がNOであればステップS105に戻る一方、判別結果がYESであれば、顔検出枠FDが探索エリアの右下位置に到達したか否かをステップS115で判別する。
【0100】
ステップS115の判別結果がNOであれば、ステップS117で顔検出枠FDを既定量だけラスタ方向に移動させ、その後にステップS101に戻る。ステップS115の判別結果がYESであれば、顔検出枠FDのサイズが“FSZmin”以下であるか否かをステップS119で判別する。ステップS119の判別結果がNOであれば、ステップS121で顔検出枠FDのサイズを“5”だけ縮小させ、ステップS123で顔検出枠FDを探索エリアの左上位置に配置し、その後にステップS101に戻る。ステップS119の判別結果がYESであれば、上階層のルーチンに復帰する。
【0101】
図26を参照して、ステップS131ではフラグFLG_Rを“0”に初期設定し、垂直同期信号Vsyncが発生したか否かをステップS133で繰り返し判別する。判別結果がNOからYESに更新されると、ステップS135でR側撮像ブロックの顔検出処理を実行する。顔検出処理は、図24〜25に示すサブルーチンに従って上述の通りに実行される。
【0102】
顔検出処理の完了後、顔検出レジスタRGST_Rに顔情報の登録があるか否かをステップS137で判別し、判別結果がNOであればステップS131に戻る一方、判別結果がYESであればステップS139に進む。
【0103】
ステップS139では人物の顔を発見したことを表明するべくフラグFLG_Rを“1”に設定し、その後にステップS133に戻る。
【0104】
以上の説明から分かるように、イメージセンサ16および56は、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する。フォーカスレンズ12および52は、複数の撮像面にそれぞれ割り当てられる。CPU26は、共通視野に現れた特徴物体を各々が表す複数の特徴画像をイメージセンサ16および56から出力された複数の画像から探索し、複数の撮像面の位置のずれと探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する。CPU26はまた、複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定された距離に対応する特定間隔に調整する。
【0105】
共通視野に現れた特徴物体までの距離は、複数の視野をそれぞれ表す複数の画像の各々から探知された特徴物体像の位置ずれと複数の撮像面の位置ずれとに基づいて測定される。特定撮像面と特定レンズとの間隔は、こうして測定された距離に対応する特定間隔に調整される。これによって、特徴物体に対する合焦性能の向上が図られる。
【0106】
なお、この実施例では、算出された被写体距離Dに対応する焦点距離を示すレンズ位置が合焦点として判断された。しかし、被写体距離Dの周辺の一定範囲内に対応する焦点距離を示す各々のレンズ位置においてAF処理の対象領域のAF評価値を計測し、計測されたAF評価値が最大値を示すレンズ位置を合焦点としてもよい。AF評価値を計測する範囲は例えば、被写体距離Dを中央として無限側および至近側の各々に“被写体距離D×0.2”の範囲内とすればよい。
【0107】
この場合、図20のステップS37に代えて図27〜28のステップS141〜S161を実行するようにすればよい。また、このようなAF処理のために、図29に示すAF評価値レジスタRGST_Levが準備される。
【0108】
ステップS141ではフォーカスレンズ12の目標位置を“被写体距離D×0.8”に設定し、ステップS143ではフォーカスレンズ12の予定位置を“被写体距離D×1.2”に設定する。ステップS145では垂直同期信号Vsyncが発生したか否かを繰り返し判別し、判別結果がNOからYESに更新されると、ステップS147でフォーカスレンズ12を予定位置に移動する。
【0109】
ステップS149では、AF対象レジスタRGST_Lafに記述されたAF処理の対象領域内のAF評価値を計測する。計測は、AF評価回路24から出力された256個のAF評価値のうちAF処理の対象領域内に属するAF評価値の平均値を求めることにより、行う。現時点のフォーカスレンズ12の位置および計測されたAF評価値は、ステップS151でAF評価値レジスタRGST_Levに登録される。
【0110】
ステップS153では予定位置を“予定位置−既定幅”に設定し、新たに設定された予定位置が目標位置よりも至近寄りであるか否かをステップS155で判別する。判別結果がNOであればステップS145に戻る一方、判別結果がYESであればステップS157に進む。
【0111】
ステップS157では、AF評価値レジスタRGST_Levに登録されたAF評価値のうち最大値を示すAF評価値を抽出し、抽出されたAF評価値に対応するレンズ位置にステップS159で予定位置を設定する。ステップS161ではフォーカスレンズ12を予定位置に移動し、その後にステップS39に進む。
【0112】
図30を参照して、曲線CV1の実線部分は、被写体距離Dの周辺の一定範囲内に対応する各々のレンズ位置におけるAF処理の対象領域のAF評価値を表す。また、曲線CV1の破線部分は、それ以外の各々のレンズ位置におけるAF処理の対象領域のAF評価値を表す。
【0113】
曲線CV1によると、レンズ位置がLPS_sからLPS_eの範囲内において、AF対象レジスタRGST_Lafに記述されたAF処理の対象領域内のAF評価値が計測される。曲線CV1の実線部分によると、フォーカスレンズ12の位置がLPS1であるときにAF処理の対象領域内のAF評価値は最大値MV1を示すので、レンズ位置LPS1が合焦点として検出される。よって、フォーカスレンズ12はレンズ位置LPS1に配置される。
【0114】
また、この実施例では、顔検出レジスタRGST_Lに登録された顔情報のうち撮像面中央に最も近い顔情報が示す領域を、AF処理の対象領域とした。しかし、サイズが最も大きい顔情報が示す領域をAF処理の対象領域としてもよい。
【0115】
この場合、図23のステップS79に代えて図31のステップS171〜ステップS175を実行するようにすればよい。ステップS171では、顔検出レジスタRGST_Lに登録された顔情報のうちサイズが最も大きい顔情報が複数あるか否かを判別する。
【0116】
判別結果がYESであればステップS173で、複数の最大サイズの顔情報のうち位置が撮像面中央に最も近い顔情報が示す領域をAF処理の対象領域とする。判別結果がNOであればステップS175で、サイズが最も大きい顔情報が示す領域をAF処理の対象領域とする。ステップS173またはS175の処理が完了すると、ステップS81に進む。
【0117】
また、この実施例では、マルチタスクOSおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ44に予め記憶される。しかし、外部サーバに接続するための通信I/F60を図32に示す要領でディジタルカメラ10に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ44に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【0118】
また、この実施例では、CPU26によって実行される処理を、図19〜21に示す撮像タスク,図23に示す第1顔検出タスク,および図26に示す第2顔検出タスクを含む複数のタスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【0119】
また、この実施例では、2つのイメージセンサをそれぞれ含む2つの撮像ブロックを設けて、各々の撮像ブロックの出力に基づいて探索処理を実行するようにした。しかし、1または2以上の撮像ブロックをさらに設けて、追加された撮像ブロックの出力に基づいて探索処理を実行するようにしてもよい。また、追加された撮像ブロックの合焦点を調整するようにしてもよい。
【0120】
また、この実施例では、ディジタルスチルカメラを用いて説明したが、本発明は、ディジタルビデオカメラ,携帯電話端末またはスマートフォンなどにも適用することができる。
【符号の説明】
【0121】
10 …ディジタルカメラ
12 …フォーカスレンズ
16 …イメージセンサ
26 …CPU
32 …SDRAM
52 …フォーカスレンズ
56 …イメージセンサ
100 …第1撮像ブロック
500 …第2撮像ブロック
【技術分野】
【0001】
この発明は、電子カメラに関し、特にフォーカスレンズから撮像面までの距離を合焦点に対応する距離に設定する、電子カメラに関する。
【背景技術】
【0002】
この種のカメラの一例が、特許文献1に開示されている。この背景技術によれば、撮影に用いる撮像素子で撮像される第1画像と基線長方向がカメラの水平面と所定の角度をもって配置された他の撮像素子で撮像される第2画像とに基づいて、三角測距の原理に基づいて焦点が検出される。上記第1画像の中に設定された参照像を基線長方向に所定ピッチずつずらしながら、上記第2画像の中に設定された基準像と一致する上記参照像の位置が演算される。AF処理回路は、この演算結果に基づき被写体までの距離を検出する。また、撮像素子の長辺方向はカメラの水平面と平行であり、他の撮像素子の長辺方向は上記基線長方向と一致する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−134621号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、背景技術では、距離を検出する被写体の設定には操作者の操作が必要であり、操作者の操作が未熟な場合は合焦性能が低下する可能性がある。
【0005】
それゆえに、この発明の主たる目的は、合焦性能を高めることができる、電子カメラを提供することである。
【課題を解決するための手段】
【0006】
この発明に従う電子カメラ(10:実施例で相当する参照符号。以下同じ)は、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する撮像手段(16, 56)、複数の撮像面にそれぞれ割り当てられた複数のレンズ(12, 52)、共通視野に現れた特徴物体を各々が表す複数の特徴画像を撮像手段から出力された複数の画像から探索する第1探索手段(S31, S75, S79, S81, S135)、複数の撮像面の位置のずれと第1探索手段によって探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する測定手段(S35)、および
【0007】
複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定手段によって測定された距離に対応する特定間隔に調整する調整手段(S37)を備える。
【0008】
好ましくは、特定撮像面と特定レンズとの間隔を特定間隔の近傍で変更する変更手段(S141~S147, S153, S155)、および変更手段の変更処理と並列して特定撮像面で捉えられた視野を表す画像に基づいて合焦点を探索する第2探索手段(S149, S151, S157~S161)をさらに備える。
【0009】
好ましくは、測定手段は、撮像面と撮像面に割り当てられたレンズとの間隔を第1探索手段による探知に関連して読み出す読み出し手段(S65)、および複数の撮像面の位置のずれおよび第1探索手段によって探知された複数の特徴画像の位置のずれの比と読み出し手段によって読み出された間隔とに基づいて特徴物体までの距離を算出する算出手段(S67)を含む。
【0010】
さらに好ましくは、算出手段の算出処理は三角測距法に相当する。
【0011】
好ましくは、第1探索手段は辞書画像を用いて探索処理を実行する。
【0012】
さらに好ましくは、辞書画像は人物画像に相当する。
【0013】
この発明に従う撮像制御プログラムは、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する撮像手段(16, 56)、および複数の撮像面にそれぞれ割り当てられた複数のレンズ(12, 52)を備える電子カメラ(10)のプロセッサ(26)に、共通視野に現れた特徴物体を各々が表す複数の特徴画像を撮像手段から出力された複数の画像から探索する第1探索ステップ(S31, S75, S79, S81, S135)、複数の撮像面の位置のずれと探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する測定ステップ(S35)、および複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップ(S37)を実行させるための、撮像制御プログラムである。
【0014】
この発明に従う撮像制御方法は、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する撮像手段(16, 56)、および複数の撮像面にそれぞれ割り当てられた複数のレンズ(12, 52)を備える電子カメラ(10)によって実行される撮像制御方法であって、共通視野に現れた特徴物体を各々が表す複数の特徴画像を撮像手段から出力された複数の画像から探索する第1探索ステップ(S31, S75, S79, S81, S135)、複数の撮像面の位置のずれと探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する測定ステップ(S35)、および複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップ(S37)を備える。
【0015】
この発明に従う外部制御プログラムは、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する撮像手段(16, 56)、複数の撮像面にそれぞれ割り当てられた複数のレンズ(12, 52)、およびメモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)に供給される外部制御プログラムであって、共通視野に現れた特徴物体を各々が表す複数の特徴画像を撮像手段から出力された複数の画像から探索する第1探索ステップ(S31, S75, S79, S81, S135)、複数の撮像面の位置のずれと探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する測定ステップ(S35)、および複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップ(S37)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【0016】
この発明に従う電子カメラ(10)は、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する撮像手段(16, 56)、複数の撮像面にそれぞれ割り当てられた複数のレンズ(12, 52)、外部制御プログラムを受信する受信手段(60)、および受信手段によって受信された外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)であって、外部制御プログラムは、共通視野に現れた特徴物体を各々が表す複数の特徴画像を撮像手段から出力された複数の画像から探索する第1探索ステップ(S31, S75, S79, S81, S135)、複数の撮像面の位置のずれと探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する測定ステップ(S35)、および複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップ(S37)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【0017】
共通視野に現れた特徴物体までの距離は、複数の視野をそれぞれ表す複数の画像の各々から探知された特徴物体像の位置ずれと複数の撮像面の位置ずれとに基づいて測定される。特定撮像面と特定レンズとの間隔は、こうして測定された距離に対応する特定間隔に調整される。これによって、特徴物体に対する合焦性能の向上が図られる。
【0018】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0019】
【図1】この発明の一実施例の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】この発明の一実施例のカメラの外観の一部を示す図解図である。
【図4】図2実施例に適用されるSDRAMのマッピング状態の一例を示す図解図である。
【図5】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図6】顔検出処理において用いられる顔検出枠の一例を示す図解図である。
【図7】図2実施例で参照される顔辞書の構成の一例を示す図解図である。
【図8】顔検出処理の一部を示す図解図である。
【図9】顔検出処理において参照されるレジスタの構成の一例を示す図解図である。
【図10】撮像タスクおよび顔検出タスクにおいて参照されるレジスタの構成の一例を示す図解図である。
【図11】モニタ画面に表示された画像の一例を示す図解図である。
【図12】モニタ画面に表示された画像の他の一例を示す図解図である。
【図13】モニタ画面に表示された画像のその他の一例を示す図解図である。
【図14】この発明の一実施例のカメラと被写体との位置関係を示す図解図である。
【図15】(A)は撮像面によって捉えられたシーンの一例を示す図解図であり、(B)は撮像面によって捉えられたシーンの他の一例を示す図解図である。
【図16】複数の撮像ブロックと被写体との位置関係を示す図解図である。
【図17】被写体距離の算出処理の一例を示す図解図である。
【図18】モニタ画面に表示された画像のその他の一例を示す図解図である。
【図19】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図20】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図21】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図22】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図23】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図24】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図25】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図26】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図27】この発明の他の実施例に適用されるCPUの動作の一部を示すフロー図である。
【図28】図27実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図29】図27実施例において参照されるレジスタの構成の一例を示す図解図である。
【図30】図27実施例のAF処理の一例を示す図解図である。
【図31】この発明のその他の実施例に適用されるCPUの動作の一部を示すフロー図である。
【図32】この発明のさらにその他の実施例の基本的構成を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0021】
図1を参照して、この実施例の電子カメラは、基本的に次のように構成される。撮像手段1は、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する。複数のレンズ2は複数の撮像面にそれぞれ割り当てられる。第1探索手段3は、共通視野に現れた特徴物体を各々が表す複数の特徴画像を撮像手段1から出力された複数の画像から探索する。測定手段4は、複数の撮像面の位置のずれと第1探索手段3によって探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する。調整手段5は、複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定手段4によって測定された距離に対応する特定間隔に調整する。
【0022】
共通視野に現れた特徴物体までの距離は、複数の視野をそれぞれ表す複数の画像の各々から探知された特徴物体像の位置ずれと複数の撮像面の位置ずれとに基づいて測定される。特定撮像面と特定レンズとの間隔は、こうして測定された距離に対応する特定間隔に調整される。これによって、特徴物体に対する合焦性能の向上が図られる。
[実施例]
【0023】
図2を参照して、この実施例のディジタルカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。これらの部材を経たシーンの光学像は、ドライバ18cによって駆動されるイメージセンサ16の撮像面に照射され、光電変換を施される。また、ドライバ18a〜18c,およびイメージセンサ16は、第1撮像ブロック100を構成する。
【0024】
ディジタルカメラ10にはまた、イメージセンサ16によって捉えられたシーンと共通のシーンを捉えるために、フォーカスレンズ52,絞りユニット54,およびイメージセンサ56が設けられている。フォーカスレンズ52および絞りユニット54を経たシーンの光学像は、ドライバ58cによって駆動されるイメージセンサ56の撮像面に照射され、光電変換を施される。また、ドライバ58a〜58c,およびイメージセンサ56は、第2撮像ブロック500を構成する。
【0025】
これらの部材によって、イメージセンサ16によって捉えられたシーンに対応した電荷およびイメージセンサ56によって捉えられたシーンに対応した電荷が生成される。
【0026】
図3を参照して、第1撮像ブロック100および第2撮像ブロック500は、ディジタルカメラ10の筐体CB1の前面に固定的に設けられる。第1撮像ブロック100は筐体CB1の前方に向かって左側に位置し、第2撮像ブロック500は筐体CB1の前方に向かって右側に位置する。以下、第1撮像ブロック100を“L側撮像ブロック”と称し、第2撮像ブロック500を“R側撮像ブロック”と称する。
【0027】
L側撮像ブロックおよびR側撮像ブロックはそれぞれ光軸AX_LおよびAX_Rを有し、筐体CB1の底面から光軸AX_Lまでの距離(=H_L)は筐体CB1の底面から光軸AX_Rまでの距離(=H_R)と一致する。また、水平方向における光軸AX_LおよびAX_Rの間隔(=B)は、人間の両目の間隔を考慮して6cm程度に設定される。さらに、L側撮像ブロックおよびR側撮像ブロックは、共通の倍率を有する。
【0028】
このようなディジタルカメラ10は、3D(three dimensional)静止画像を記録するための3D記録モードおよび2D(two dimensional)静止画像を記録するための通常記録モードからなる2つの撮像モードを有する。操作者によるキー入力装置28の操作によって2つの撮像モードの各々が相互に切り替えられる。
【0029】
電源が投入されると、CPU26は、L側撮像ブロックおよびR側撮像ブロックを共通の既定のフォーカス設定に調整する。CPU26はフォーカスレンズ12の移動をドライバ18aに命令し、ドライバ18aは、既定の焦点距離Fを示すレンズ位置にフォーカスレンズ12を配置する。また、CPU26はフォーカスレンズ52の移動をドライバ58aに命令し、ドライバ58aは、既定の焦点距離Fを示すレンズ位置にフォーカスレンズ52を配置する。
【0030】
CPU26は次に、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ18cおよび58cの各々に命令する。ドライバ18cおよび58cは、図示しないSG(Signal Generator)から周期的に発生する垂直同期信号Vsyncに応答して、イメージセンサ16および56の撮像面をそれぞれ露光し、かつイメージセンサ16および56の撮像面で生成された電荷をラスタ走査態様でそれぞれ読み出す。イメージセンサ16からは読み出された電荷に基づく第1生画像データが周期的に出力され、イメージセンサ56からは読み出された電荷に基づく第2生画像データが周期的に出力される。
【0031】
前処理回路20は、イメージセンサ16から出力された第1生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。これらの処理を施された第1生画像データは、メモリ制御回路30を通して図4に示すSDRAM32の第1生画像エリア32aに書き込まれる。
【0032】
前処理回路20はまた、イメージセンサ56から出力された第2生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。これらの処理を施された第2生画像データは、メモリ制御回路30を通して図4に示すSDRAM32の第2生画像エリア32bに書き込まれる。
【0033】
後処理回路34は、第1生画像エリア32aに格納された第1生画像データをメモリ制御回路30を通して読み出し、読み出された第1生画像データに色分離処理,白バランス調整処理およびYUV変換処理を施す。後処理回路34はさらに、YUV形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、YUV形式に従う表示画像データおよび第1探索画像データが個別に作成される。表示画像データは、メモリ制御回路30によって図4に示すSDRAM32の表示画像エリア32cに書き込まれる。第1探索画像データは、メモリ制御回路30によって図4に示すSDRAM32の第1探索画像エリア32dに書き込まれる。
【0034】
後処理回路34はまた、第2生画像エリア32bに格納された第2生画像データをメモリ制御回路30を通して読み出し、読み出された第2生画像データに色分離処理,白バランス調整処理およびYUV変換処理を施す。後処理回路34はさらに、YUV形式に従う画像データに対して探索用のズーム処理を実行する。この結果、YUV形式に従う第2探索画像データが作成される。第2探索画像データは、メモリ制御回路30によって図4に示すSDRAM32の第2探索画像エリア32eに書き込まれる。
【0035】
LCDドライバ36は、表示画像エリア32cに格納された表示画像データをメモリ制御回路30を通して繰り返し読み出し、読み出された画像データに基づいてLCDモニタ38を駆動する。この結果、シーンを表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0036】
図5を参照して、イメージセンサ16および56の撮像面の中央には評価エリアEVA1およびEVA2がそれぞれ割り当てられる。評価エリアEVA1およびEVA2の各々は水平方向および垂直方向の各々において16分割され、256個の分割エリアが評価エリアEVA1およびEVA2の各々を形成する。また、図2に示す前処理回路20は、上述した処理に加えて、第1生画像データおよび第2生画像データの各々を簡易的にRGBデータに変換する簡易RGB変換処理を実行する。この結果、L側撮像ブロックに対応した第1RGBデータおよびR側撮像ブロックに対応した第2RGBデータの各々が前処理回路20から出力される。
【0037】
AE評価回路22は、第1RGBデータのうち評価エリアEVA1に属するRGBデータおよび第2RGBデータのうち評価エリアEVA2に属するRGBデータの各々を、垂直同期信号Vsyncが発生する毎に積分する。これによって、L側撮像ブロックに対応する256個の積分値つまり256個のAE評価値およびR側撮像ブロックに対応する256個のAE評価値の各々が、垂直同期信号Vsyncに応答してAE評価回路22から出力される。
【0038】
AF評価回路24は、前処理回路20によって生成された第1RGBデータのうち評価エリアEVA1に属するRGBデータの高周波成分を、垂直同期信号Vsyncが発生する毎に積分する。これによって、256個の積分値つまり256個のAF評価値が、垂直同期信号Vsyncに応答してAF評価回路24から出力される。こうして得られたAE評価値およびAF評価値に基づく処理については、後述する。
【0039】
撮像タスクと並列して実行される第1顔検出タスクの下で、CPU26は、フラグFLG_Lを“0”に初期設定する。CPU26は次に、第1探索画像エリア32dに格納された第1探索画像データから人物の顔画像を探索するべく、垂直同期信号Vsyncが発生する毎に顔検出処理を実行する。
【0040】
顔検出処理では、図6に示す要領でサイズが調整される顔検出枠FDと図7に示す5つの辞書画像(=向きが互いに異なる顔画像)を収めた顔辞書FDCとが用いられる。なお、顔辞書FDCはフラッシュメモリ44に保存される。
【0041】
顔検出処理ではまず、評価エリアEVA1の全域が探索エリアとして設定される。また、顔検出枠FDのサイズの可変範囲を定義するべく、最大サイズFSZmaxが“200”に設定され、最小サイズFSZminが“20”に設定される。
【0042】
顔検出枠FDは、探索エリアの開始位置(左上位置)から終了位置(右下位置)に向かって、ラスタ走査態様で既定量ずつ移動される(図8参照)。また、顔検出枠FDのサイズは、顔検出枠FDが終了位置に到達する毎に“FSZmax”から“FSZmin”まで“5”ずつ縮小される。
【0043】
顔検出枠FDに属する一部の第1探索画像データは、メモリ制御回路30を通して第1探索画像エリア32dから読み出される。読み出された画像データの特徴量は、顔辞書FDCに収められた5つの辞書画像の各々の特徴量と照合される。閾値THを超える照合度が得られると、顔画像が検出されたものとみなされる。現時点の顔検出枠FDの位置およびサイズは、顔情報として図9に示す第1顔検出レジスタRGST_Lに登録される。
【0044】
CPU26は次に、第1顔検出レジスタRGST_Lに登録された顔情報のうち撮像面中央に最も近い顔情報が示す領域を、後述のAF処理の対象領域とする。AF処理の対象領域とされた顔情報の位置およびサイズは、図10に示すAF対象レジスタRGST_Lafに登録される。また、CPU26は、人物を発見したことを表明するべくフラグFLG_Lを“1”に設定する。
【0045】
なお、顔検出処理の完了後に第1顔検出レジスタRGST_Lに顔情報の登録がなかった場合、すなわち人物の顔が発見されなかった場合は、CPU26は、人物の顔が未発見であることを表明するべくフラグFLG_Lを“0”に設定する。
【0046】
撮像タスクおよび第1顔検出タスクと並列して実行される第2顔検出タスクの下で、CPU26は、第2探索画像エリア32eに格納された第2探索画像データから人物の顔画像を探索するべく、上述の第1顔検出タスクと同様の顔検出処理を垂直同期信号Vsyncが発生する毎に実行する。第2顔検出タスクにおいては、評価エリアEVA2の全域を探索エリアとして顔検出処理が実行される。
【0047】
顔画像が検出されたとき、現時点の顔検出枠FDの位置およびサイズが顔情報として図9に示す第2顔検出レジスタRGST_Rに登録され、人物を発見したことを表明するべくフラグFLG_Rが“1”に設定される。顔画像が検出されなかったとき、人物の顔が未発見であることを表明するべくフラグFLG_Rが“0”に設定される。
【0048】
シャッタボタン28shが非操作状態のとき、CPU26は、以下の処理を実行する。フラグFLG_Lが“0”を示すとき、CPU26は、第1RGBデータに対応してAE評価回路22から出力されたAE評価値に基づく簡易AE処理を撮像タスクの下で実行し、適正EV値を算出する。簡易AE処理は動画取り込み処理と並列して実行され、算出された適正EV値を定義する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。
【0049】
フラグFLG_Lが“1”に更新されるとCPU26は、第1顔検出レジスタRGST_Lの登録内容を参照して、顔枠HFの表示をグラフィックジェネレータ46に要求する。グラフィックジェネレータ46は、顔枠HFを表すグラフィック情報をLCDドライバ36に向けて出力する。この結果、図11を参照して、スルー画像上の顔画像の位置およびサイズに適合する態様で、顔枠HFがLCDモニタ38に表示される。
【0050】
フラグFLG_Lが“1”に更新されるとまた、CPU26は、第1RGBデータに対応してAE評価回路22から出力されたAE評価値のうち、第1顔検出レジスタRGST_Lに登録された位置およびサイズに対応するAE評価値を抽出する。CPU26は、抽出された一部のAE評価値に基づく厳格AE処理を実行する。厳格AE処理によって算出された最適EV値を定義する絞り量および露光時間は、ドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが、第1顔検出レジスタRGST_Lに登録された位置に相当するシーンの一部に注目した明るさに調整される。
【0051】
フラグFLG_Rが“0”を示すとき、CPU26は、第2RGBデータに対応してAE評価回路22から出力されたAE評価値に基づく簡易AE処理を撮像タスクの下で実行し、適正EV値を算出する。簡易AE処理は動画取り込み処理と並列して実行され、算出された適正EV値を定義する絞り量および露光時間はドライバ58bおよび58cにそれぞれ設定される。
【0052】
フラグFLG_Rが“1”に更新されるとCPU26は、第2RGBデータに対応してAE評価回路22から出力されたAE評価値のうち、第2顔検出レジスタRGST_Rに登録された位置およびサイズに対応するAE評価値を抽出する。CPU26は、抽出された一部のAE評価値に基づく厳格AE処理を実行する。厳格AE処理によって算出された最適EV値を定義する絞り量および露光時間は、ドライバ58bおよび58cにそれぞれ設定される。
【0053】
シャッタボタン28shが半押しされると、CPU26はAF処理を実行する。フラグFLG_Lが“0”を示すとき、すなわち顔画像が検出されていないとき、CPU26は、第1RGBデータに対応してAF評価回路24から出力されたAF評価値のうち、シーン中央の既定領域に対応するAF評価値を抽出する。CPU26は、抽出された一部のAF評価値に基づくAF処理を実行する。この結果、図12を参照して、シーン中央に注目した合焦点にフォーカスレンズ12が配置され、スルー画像の鮮鋭度が向上する。
【0054】
しかし、顔画像が検出されたときにも同様のAF処理を実行すると、検出された顔画像に係る人物よりも至近側に、格子模様の金網等で構成される障害物が存在した場合、障害物に合焦される恐れがある。図13に示す例によると、人物HM1よりも至近側に存在する柵FCに合焦された結果、スルー画像において、柵FCの画像の鮮鋭度が向上する一方、人物HM1の顔画像の鮮鋭度が低下する。
【0055】
したがって、フラグFLG_Lが“1”を示すとき、すなわち顔画像が検出されたとき、CPU26は、上述のAF処理に代えて、いわゆる三角測距法により、AF対象レジスタRGST_Lafに顔位置が登録された人物に対する被写体距離Dを以下の要領で算出する。CPU26はまた、算出された被写体距離Dに基づいてAF処理を実行する。図14を参照して、格子模様の金網で構成される柵FCが人物HM1よりも至近側に存在する場合を例にして、本処理の詳細を説明する。
【0056】
L側撮像ブロックおよびR側撮像ブロックの各々で人物HM1の顔を捉えた場合、第1生画像データおよび第2生画像データの各々における人物HM1の顔画像の位置には、ずれが生じる。図14に示す例によると、人物HM1が光軸AX_LおよびAX_Rの間に存在する場合は、イメージセンサ16から図15(A)に示す第1生画像データが出力され、イメージセンサ56から図15(B)に示す第2生画像データが出力される。このとき、図16を参照して、イメージセンサ16の撮像面およびイメージセンサ56の撮像面における人物HM1の位置のずれの大きさ(=“視差”。以下同じ)Kは、人物HM1の顔の右端を基準として、以下の要領で求めることができる。
【0057】
フォーカスレンズ12の中心を示す点mと人物HM1の顔の右端を示す点pとを直線で結び、直線pmとイメージセンサ16の撮像面との交点を点qとする。また、フォーカスレンズ52の中心を示す点nと点pとを直線で結び、直線pnとイメージセンサ56の撮像面との交点を点rとする。さらに、イメージセンサ16の撮像面の中心を点sとし、イメージセンサ56の撮像面の中心を点tとする。この場合、視差Kは、線分qsおよびtrの長さの和によって表すことができる。また、直線pqと平行でかつ点nを通る直線とイメージセンサ56の撮像面との交点を点q’とすると、視差Kは、線分q’rの長さによっても表すことができる。
【0058】
ここで、図17を参照して、ΔmnpとΔq’rnとは相似する。したがって、人物HM1に対する被写体距離Dは、視差Kと光軸AX_LおよびAX_Rの間隔Bと既定の焦点距離Fとに基づいて、以下の数1に示す式で求めることができる。
[数1]
D=B×F/K
D:被写体距離
B:2つの光軸の間隔
F:焦点距離
K:視差
【0059】
このようにして算出された被写体距離Dに対応する焦点距離を示すレンズ位置が、合焦点として判断される。したがって、CPU26はフォーカスレンズ12の移動をドライバ18aに命令し、ドライバ18aはフォーカスレンズ12を合焦点に配置する。この結果、図18を参照して、至近側に柵FCが存在する場合であっても人物HM1の顔に合焦され、スルー画像において、柵FCの画像の鮮鋭度が低下する一方、人物HM1の顔画像の鮮鋭度が向上する。
【0060】
なお、AF対象レジスタRGST_Lafに登録された顔画像に相当する顔画像が退避レジスタRGST_Rbkに登録されていなかったとき、すなわちL側撮像ブロックで捉えられたAF対象の顔画像がR側撮像ブロックにおいて捉えられなかったとき、CPU26は、以下の要領でAF処理を実行する。
【0061】
CPU26は、第1RGBデータに対応してAF評価回路24から出力されたAF評価値のうち、AF対象レジスタRGST_Lafに登録された位置およびサイズに対応するAF評価値を抽出する。CPU26は、抽出された一部のAF評価値に基づくAF処理を実行する。したがってAF処理の結果、AF処理の対象とされた人物の顔位置に注目した合焦点にフォーカスレンズ12が配置され、スルー画像の鮮鋭度が向上する。
【0062】
撮像モードが通常記録モードに設定されていた場合、シャッタボタン28shが全押しされると、CPU26は、撮像タスクの下でL側撮像ブロックの静止画取り込み処理および記録処理を実行する。シャッタボタン28shが全押しされた時点の1フレームの第1生画像データは、静止画取り込み処理によって図4に示すSDRAM32の第1静止画エリア32fに取り込まれる。取り込まれた1フレームの第1生画像データは、記録処理に関連して起動したI/F40によって第1静止画エリア32fから読み出され、ファイル形式で記録媒体42に記録される。
【0063】
撮像モードが3D記録モードに設定されていた場合、シャッタボタン28shが全押しされると、CPU26は、R側撮像ブロックのフォーカス設定をL側撮像ブロックと同一の設定に変更する。したがって、CPU26はフォーカスレンズ52の移動をドライバ58aに命令し、ドライバ58aは、L側撮像ブロックに設定された焦点距離と同一の焦点距離を示すレンズ位置にフォーカスレンズ52を配置する。
【0064】
R側撮像ブロックのフォーカス設定の変更が完了すると、CPU26は、撮像タスクの下でL側撮像ブロックおよびR側撮像ブロックの各々の静止画取り込み処理と3D記録処理とを実行する。シャッタボタン28shが全押しされた時点の1フレームの第1生画像データおよび第2生画像データは、静止画取り込み処理によって第1静止画エリア32fおよび図4に示すSDRAM32の第2静止画エリア32gにそれぞれ取り込まれる。
【0065】
また、3D記録処理によって、3D静止画の記録に対応した形式の1つの静止画ファイルが記録媒体42に作成される。取り込まれた第1生画像データおよび第2生画像データは、3D映像の格納を示す識別コード,2つの画像の配置方法等とともに、新規作成された静止画ファイルに記録処理によって記録される。
【0066】
シャッタボタン28shが全押し後に解除されると、R側撮像ブロックおよびL側撮像ブロックは共通の既定のフォーカス設定に戻される。CPU26はフォーカスレンズ12の移動をドライバ18aに命令し、ドライバ18aは、既定の焦点距離Fを示すレンズ位置にフォーカスレンズ12を配置する。また、CPU26はフォーカスレンズ52の移動をドライバ58aに命令し、ドライバ58aは、既定の焦点距離Fを示すレンズ位置にフォーカスレンズ52を配置する。
【0067】
CPU26は、図19〜21に示す撮像タスク,図23に示す第1顔検出タスク,および図26に示す第2顔検出タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ44に記憶される。
【0068】
図19を参照して、ステップS1ではL側撮像ブロックおよびR側撮像ブロックを共通の既定のフォーカス設定に調整する。この結果、既定の焦点距離Fを示すレンズ位置にフォーカスレンズ12および52が配置される。
【0069】
ステップS3では動画取り込み処理を実行する。この結果、シーンを表すスルー画像がLCDモニタ38に表示される。ステップS5では第1顔検出タスクおよび第2顔検出タスクを起動する。
【0070】
ステップS7ではシャッタボタン28shが半押しされたか否かを判別し、判別結果がYESであればステップS25に進む一方、判別結果がNOであればフラグFLG_Lが“1”に設定されているか否かをステップS9で判別する。ステップS9の判別結果がYESであればステップS11およびS13の処理を経てステップS19に進み、ステップS9の判別結果がNOであればステップS15およびS17の処理を経てステップS19に進む。
【0071】
ステップS11では、第1顔検出レジスタRGST_Lの登録内容を参照して、顔枠HFの表示をグラフィックジェネレータ46に要求する。この結果、第1顔検出タスクの下で検出された顔画像の位置およびサイズに適合する態様で、顔枠HFがLCDモニタ38に表示される。
【0072】
ステップS11の処理が完了すると、L側撮像ブロックの顔画像の位置に対応した厳格AE処理をステップS13で実行する。厳格AE処理によって算出された最適EV値を定義する絞り量および露光時間は、ドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが、第1顔検出レジスタRGST_Lに登録された顔画像の位置に相当するシーンの一部に注目した明るさに調整される。
【0073】
ステップS15では顔枠HFの非表示をグラフィックジェネレータ46に要求する。この結果、LCDモニタ38に表示された顔枠HFは非表示とされる。
【0074】
ステップS15の処理が完了すると、ステップS17でL側撮像ブロックの簡易AE処理を実行する。簡易AE処理によって算出された適正EV値を定義する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。
【0075】
ステップS19ではフラグFLG_Rが“1”に設定されているか否かを判別し、判別結果がYESであればステップS21の処理を経てステップS7に戻り、判別結果がNOであればステップS23の処理を経てステップS7に戻る。
【0076】
ステップS21ではR側撮像ブロックの顔画像の位置に対応した厳格AE処理を実行する。厳格AE処理によって算出された最適EV値を定義する絞り量および露光時間は、ドライバ58bおよび58cにそれぞれ設定される。ステップS23ではR側撮像ブロックの簡易AE処理を実行する。簡易AE処理によって算出された適正EV値を定義する絞り量および露光時間はドライバ58bおよび58cにそれぞれ設定される。
【0077】
ステップS25ではフラグFLG_Lが“1”に設定されているか否かを判別し、判別結果がNOであればステップS27で、L側撮像ブロックのAF評価値のうちシーン中央の既定領域に対応するAF評価値に基づいて、AF処理を実行する。この結果、シーン中央に注目した合焦点にフォーカスレンズ12が配置され、スルー画像の鮮鋭度が向上する。
【0078】
ステップS25の判別結果がYESであれば、AF処理の対象領域を確定するべく、AF対象レジスタRGST_Lafに登録された位置およびサイズをステップS29で読み出す。ステップS31では、AF対象レジスタRGST_Lafに登録された顔画像に相当する顔画像が退避レジスタRGST_Rbkに登録されているか否かを判別する。
【0079】
判別結果がNOであれば、L側撮像ブロックのAF評価値のうちAF対象レジスタRGST_Lafに登録された位置およびサイズに対応するAF評価値に基づいて、ステップS33でAF処理を実行する。この結果、AF処理の対象とされた人物の顔位置に注目した合焦点にフォーカスレンズ12が配置され、スルー画像の鮮鋭度が向上する。
【0080】
ステップS31の判別結果がYESであれば、被写体距離算出処理をステップS35で実行する。ステップS35の処理が完了すると、算出された被写体距離Dに基づいたAF処理をステップS37で実行する。被写体距離Dに対応する焦点距離を示すレンズ位置は、合焦点として判断される。したがって、フォーカスレンズ12の移動をドライバ18aに命令し、ドライバ18aはフォーカスレンズ12を合焦点に配置する。この結果、至近側に網状の障害物が存在する場合であっても人物の顔に合焦され、スルー画像において、人物の顔画像の鮮鋭度が向上する。
【0081】
ステップS27,S33,またはS37の処理が完了するとステップS39に進む。ステップS39ではシャッタボタン28shが全押しされたか否かを判別し、判別結果がNOであればシャッタボタン28shが解除されたか否かをステップS41で判別する。ステップS41の判別結果がNOであればステップS39に戻る一方、ステップS41の判別結果がYESであればステップS55に進む。
【0082】
ステップS39の判別結果がYESであれば、撮像モードが3D記録モードに設定されているか否かをステップS43で判別する。判別結果がYESであればステップS49に進む一方、判別結果がNOであればステップS45で静止画取り込み処理を実行し、ステップS47では記録処理を実行する。
【0083】
シャッタボタン28shが全押しされた時点の1フレームの画像データは、静止画取り込み処理によって第1静止画エリア32fに取り込まれる。取り込まれた1フレームの画像データは、記録処理に関連して起動したI/F40によって第1静止画エリア32fから読み出され、ファイル形式で記録媒体42に記録される。
【0084】
ステップS49では、R側撮像ブロックのフォーカス設定をL側撮像ブロックと同一の設定に変更する。この結果、L側撮像ブロックに設定された焦点距離と同一の焦点距離を示すレンズ位置に、フォーカスレンズ52が配置される。
【0085】
ステップS51では、L側撮像ブロックおよびR側撮像ブロックの各々の静止画取り込み処理を実行する。この結果、シャッタボタン28shが全押しされた時点の1フレームの第1生画像データおよび第2生画像データは、静止画取り込み処理によって第1静止画エリア32fおよび第2静止画エリア32gにそれぞれ取り込まれる。
【0086】
ステップS53では、3D記録処理を実行する。この結果、3D静止画の記録に対応した形式の1つの静止画ファイルが記録媒体42に作成される。取り込まれた第1生画像データおよび第2生画像データは、3D映像の格納を示す識別コードおよび2つの画像の配置方法等とともに、新規作成された静止画ファイルに記録処理によって記録される。
【0087】
ステップS47またはS53の処理が完了するとステップS55に進む。ステップS55では、L側撮像ブロックおよびR側撮像ブロックを共通の既定のフォーカス設定に調整する。この結果、既定の焦点距離Fを示すレンズ位置にフォーカスレンズ12および52が配置される。ステップS55の処理が完了するとステップS7に戻る。
【0088】
ステップS35の被写体距離算出処理は、図22に示すサブルーチンに従って実行される。ステップS61では、AF対象レジスタRGST_Lafに登録された顔画像について、イメージセンサ16およびイメージセンサ56の撮像面における位置のずれの大きさを示す視差Kを算出する。
【0089】
ステップS63では光軸AX_LおよびAX_Rの間隔Bを読み出し、ステップS65では既定の焦点距離Fを読み出す。このような視差K,光軸AX_LおよびAX_Rの間隔B,および既定の焦点距離Fに基づいて、AF対象レジスタRGST_Lafに顔位置が登録された人物に対する被写体距離Dを、ステップS67で算出する。ステップS67の処理が完了すると上階層のルーチンに復帰する。
【0090】
図23を参照して、ステップS71ではフラグFLG_Lを“0”に初期設定し、垂直同期信号Vsyncが発生したか否かをステップS73で繰り返し判別する。判別結果がNOからYESに更新されると、ステップS75でL側撮像ブロックの顔検出処理を実行する。
【0091】
顔検出処理の完了後、顔検出レジスタRGST_Lに顔情報の登録があるか否かをステップS77で判別し、判別結果がNOであればステップS71に戻る一方、判別結果がYESであればステップS79に進む。
【0092】
ステップS79では位置が撮像面中央に最も近い顔情報が示す領域をAF処理の対象領域とし、AF処理の対象領域とされた顔情報の位置およびサイズを用いてAF対象レジスタRGST_LafをステップS81で更新する。
【0093】
ステップS83では人物の顔を発見したことを表明するべくフラグFLG_Lを“1”に設定し、その後にステップS73に戻る。
【0094】
ステップS75の顔検出処理は、図24〜25に示すサブルーチンに従って実行される。ステップS91では、顔検出レジスタRGST_LまたはRGST_Rを初期化すべく登録内容をクリアする。
【0095】
ステップS93では評価エリアEVA1またはEVA2の全域を探索エリアとして設定する。ステップS95では、顔検出枠FDのサイズの可変範囲を定義するべく、最大サイズFSZmaxを“200”に設定し、最小サイズFSZminを“20”に設定する。
【0096】
ステップS97では顔検出枠FDのサイズを“FSZmax”に設定し、ステップS99では顔検出枠FDを探索エリアの左上位置に配置する。ステップS101では、顔検出枠FDに属する一部の探索画像データを第1探索画像エリア32dまたは第2探索画像エリア32eから読み出し、読み出された探索画像データの特徴量を算出する。
【0097】
ステップS103では変数Nを“1”に設定し、ステップS81で算出された特徴量と辞書番号がNである顔辞書FDCの辞書画像の特徴量とをステップS105で照合する。照合の結果、閾値THを超える照合度が得られたか否かをステップS107で判別し、判別結果がNOであればステップS111に進む一方、判別結果がYESであればステップS109の処理を経てステップS111に進む。
【0098】
ステップS109では、現時点の顔検出枠FDの位置およびサイズを顔情報として顔検出レジスタRGST_LまたはRGST_Rに登録する。
【0099】
ステップS111では変数Nをインクリメントし、変数Nが“5”を超えたか否かをステップS113で判別する。判別結果がNOであればステップS105に戻る一方、判別結果がYESであれば、顔検出枠FDが探索エリアの右下位置に到達したか否かをステップS115で判別する。
【0100】
ステップS115の判別結果がNOであれば、ステップS117で顔検出枠FDを既定量だけラスタ方向に移動させ、その後にステップS101に戻る。ステップS115の判別結果がYESであれば、顔検出枠FDのサイズが“FSZmin”以下であるか否かをステップS119で判別する。ステップS119の判別結果がNOであれば、ステップS121で顔検出枠FDのサイズを“5”だけ縮小させ、ステップS123で顔検出枠FDを探索エリアの左上位置に配置し、その後にステップS101に戻る。ステップS119の判別結果がYESであれば、上階層のルーチンに復帰する。
【0101】
図26を参照して、ステップS131ではフラグFLG_Rを“0”に初期設定し、垂直同期信号Vsyncが発生したか否かをステップS133で繰り返し判別する。判別結果がNOからYESに更新されると、ステップS135でR側撮像ブロックの顔検出処理を実行する。顔検出処理は、図24〜25に示すサブルーチンに従って上述の通りに実行される。
【0102】
顔検出処理の完了後、顔検出レジスタRGST_Rに顔情報の登録があるか否かをステップS137で判別し、判別結果がNOであればステップS131に戻る一方、判別結果がYESであればステップS139に進む。
【0103】
ステップS139では人物の顔を発見したことを表明するべくフラグFLG_Rを“1”に設定し、その後にステップS133に戻る。
【0104】
以上の説明から分かるように、イメージセンサ16および56は、共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、複数の視野をそれぞれ表す複数の画像を出力する。フォーカスレンズ12および52は、複数の撮像面にそれぞれ割り当てられる。CPU26は、共通視野に現れた特徴物体を各々が表す複数の特徴画像をイメージセンサ16および56から出力された複数の画像から探索し、複数の撮像面の位置のずれと探知された複数の特徴画像の位置のずれとに基づいて特徴物体までの距離を測定する。CPU26はまた、複数の撮像面の1つである特定撮像面と複数のレンズのうち特定撮像面に割り当てられた特定レンズとの間隔を測定された距離に対応する特定間隔に調整する。
【0105】
共通視野に現れた特徴物体までの距離は、複数の視野をそれぞれ表す複数の画像の各々から探知された特徴物体像の位置ずれと複数の撮像面の位置ずれとに基づいて測定される。特定撮像面と特定レンズとの間隔は、こうして測定された距離に対応する特定間隔に調整される。これによって、特徴物体に対する合焦性能の向上が図られる。
【0106】
なお、この実施例では、算出された被写体距離Dに対応する焦点距離を示すレンズ位置が合焦点として判断された。しかし、被写体距離Dの周辺の一定範囲内に対応する焦点距離を示す各々のレンズ位置においてAF処理の対象領域のAF評価値を計測し、計測されたAF評価値が最大値を示すレンズ位置を合焦点としてもよい。AF評価値を計測する範囲は例えば、被写体距離Dを中央として無限側および至近側の各々に“被写体距離D×0.2”の範囲内とすればよい。
【0107】
この場合、図20のステップS37に代えて図27〜28のステップS141〜S161を実行するようにすればよい。また、このようなAF処理のために、図29に示すAF評価値レジスタRGST_Levが準備される。
【0108】
ステップS141ではフォーカスレンズ12の目標位置を“被写体距離D×0.8”に設定し、ステップS143ではフォーカスレンズ12の予定位置を“被写体距離D×1.2”に設定する。ステップS145では垂直同期信号Vsyncが発生したか否かを繰り返し判別し、判別結果がNOからYESに更新されると、ステップS147でフォーカスレンズ12を予定位置に移動する。
【0109】
ステップS149では、AF対象レジスタRGST_Lafに記述されたAF処理の対象領域内のAF評価値を計測する。計測は、AF評価回路24から出力された256個のAF評価値のうちAF処理の対象領域内に属するAF評価値の平均値を求めることにより、行う。現時点のフォーカスレンズ12の位置および計測されたAF評価値は、ステップS151でAF評価値レジスタRGST_Levに登録される。
【0110】
ステップS153では予定位置を“予定位置−既定幅”に設定し、新たに設定された予定位置が目標位置よりも至近寄りであるか否かをステップS155で判別する。判別結果がNOであればステップS145に戻る一方、判別結果がYESであればステップS157に進む。
【0111】
ステップS157では、AF評価値レジスタRGST_Levに登録されたAF評価値のうち最大値を示すAF評価値を抽出し、抽出されたAF評価値に対応するレンズ位置にステップS159で予定位置を設定する。ステップS161ではフォーカスレンズ12を予定位置に移動し、その後にステップS39に進む。
【0112】
図30を参照して、曲線CV1の実線部分は、被写体距離Dの周辺の一定範囲内に対応する各々のレンズ位置におけるAF処理の対象領域のAF評価値を表す。また、曲線CV1の破線部分は、それ以外の各々のレンズ位置におけるAF処理の対象領域のAF評価値を表す。
【0113】
曲線CV1によると、レンズ位置がLPS_sからLPS_eの範囲内において、AF対象レジスタRGST_Lafに記述されたAF処理の対象領域内のAF評価値が計測される。曲線CV1の実線部分によると、フォーカスレンズ12の位置がLPS1であるときにAF処理の対象領域内のAF評価値は最大値MV1を示すので、レンズ位置LPS1が合焦点として検出される。よって、フォーカスレンズ12はレンズ位置LPS1に配置される。
【0114】
また、この実施例では、顔検出レジスタRGST_Lに登録された顔情報のうち撮像面中央に最も近い顔情報が示す領域を、AF処理の対象領域とした。しかし、サイズが最も大きい顔情報が示す領域をAF処理の対象領域としてもよい。
【0115】
この場合、図23のステップS79に代えて図31のステップS171〜ステップS175を実行するようにすればよい。ステップS171では、顔検出レジスタRGST_Lに登録された顔情報のうちサイズが最も大きい顔情報が複数あるか否かを判別する。
【0116】
判別結果がYESであればステップS173で、複数の最大サイズの顔情報のうち位置が撮像面中央に最も近い顔情報が示す領域をAF処理の対象領域とする。判別結果がNOであればステップS175で、サイズが最も大きい顔情報が示す領域をAF処理の対象領域とする。ステップS173またはS175の処理が完了すると、ステップS81に進む。
【0117】
また、この実施例では、マルチタスクOSおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ44に予め記憶される。しかし、外部サーバに接続するための通信I/F60を図32に示す要領でディジタルカメラ10に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ44に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【0118】
また、この実施例では、CPU26によって実行される処理を、図19〜21に示す撮像タスク,図23に示す第1顔検出タスク,および図26に示す第2顔検出タスクを含む複数のタスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【0119】
また、この実施例では、2つのイメージセンサをそれぞれ含む2つの撮像ブロックを設けて、各々の撮像ブロックの出力に基づいて探索処理を実行するようにした。しかし、1または2以上の撮像ブロックをさらに設けて、追加された撮像ブロックの出力に基づいて探索処理を実行するようにしてもよい。また、追加された撮像ブロックの合焦点を調整するようにしてもよい。
【0120】
また、この実施例では、ディジタルスチルカメラを用いて説明したが、本発明は、ディジタルビデオカメラ,携帯電話端末またはスマートフォンなどにも適用することができる。
【符号の説明】
【0121】
10 …ディジタルカメラ
12 …フォーカスレンズ
16 …イメージセンサ
26 …CPU
32 …SDRAM
52 …フォーカスレンズ
56 …イメージセンサ
100 …第1撮像ブロック
500 …第2撮像ブロック
【特許請求の範囲】
【請求項1】
共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を出力する撮像手段、
前記複数の撮像面にそれぞれ割り当てられた複数のレンズ、
前記共通視野に現れた特徴物体を各々が表す複数の特徴画像を前記撮像手段から出力された複数の画像から探索する第1探索手段、
前記複数の撮像面の位置のずれと前記第1探索手段によって探知された複数の特徴画像の位置のずれとに基づいて前記特徴物体までの距離を測定する測定手段、および
前記複数の撮像面の1つである特定撮像面と前記複数のレンズのうち前記特定撮像面に割り当てられた特定レンズとの間隔を前記測定手段によって測定された距離に対応する特定間隔に調整する調整手段を備える、電子カメラ。
【請求項2】
前記特定撮像面と前記特定レンズとの間隔を前記特定間隔の近傍で変更する変更手段、および
前記変更手段の変更処理と並列して前記特定撮像面で捉えられた視野を表す画像に基づいて合焦点を探索する第2探索手段をさらに備える、請求項1記載の電子カメラ。
【請求項3】
前記測定手段は、前記撮像面と前記撮像面に割り当てられたレンズとの間隔を前記第1探索手段による探知に関連して読み出す読み出し手段、および前記複数の撮像面の位置のずれおよび前記第1探索手段によって探知された複数の特徴画像の位置のずれの比と前記読み出し手段によって読み出された間隔とに基づいて前記特徴物体までの距離を算出する算出手段を含む、請求項1または2記載の電子カメラ。
【請求項4】
前記算出手段の算出処理は三角測距法に相当する、請求項3記載の電子カメラ。
【請求項5】
前記第1探索手段は辞書画像を用いて前記探索処理を実行する、請求項1ないし4のいずれかに記載の電子カメラ。
【請求項6】
前記辞書画像は人物画像に相当する、請求項5記載の電子カメラ。
【請求項7】
共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を出力する撮像手段、および
前記複数の撮像面にそれぞれ割り当てられた複数のレンズを備える電子カメラのプロセッサに、
前記共通視野に現れた特徴物体を各々が表す複数の特徴画像を前記撮像手段から出力された複数の画像から探索する第1探索ステップ、
前記複数の撮像面の位置のずれと前記第1探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて前記特徴物体までの距離を測定する測定ステップ、および
前記複数の撮像面の1つである特定撮像面と前記複数のレンズのうち前記特定撮像面に割り当てられた特定レンズとの間隔を前記測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップを実行させるための、撮像制御プログラム。
【請求項8】
共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を出力する撮像手段、および
前記複数の撮像面にそれぞれ割り当てられた複数のレンズを備える電子カメラによって実行される撮像制御方法であって、
前記共通視野に現れた特徴物体を各々が表す複数の特徴画像を前記撮像手段から出力された複数の画像から探索する第1探索ステップ、
前記複数の撮像面の位置のずれと前記第1探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて前記特徴物体までの距離を測定する測定ステップ、および
前記複数の撮像面の1つである特定撮像面と前記複数のレンズのうち前記特定撮像面に割り当てられた特定レンズとの間隔を前記測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップを備える、撮像制御方法。
【請求項9】
共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を出力する撮像手段、
前記複数の撮像面にそれぞれ割り当てられた複数のレンズ、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
前記共通視野に現れた特徴物体を各々が表す複数の特徴画像を前記撮像手段から出力された複数の画像から探索する第1探索ステップ、
前記複数の撮像面の位置のずれと前記第1探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて前記特徴物体までの距離を測定する測定ステップ、および
前記複数の撮像面の1つである特定撮像面と前記複数のレンズのうち前記特定撮像面に割り当てられた特定レンズとの間隔を前記測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項10】
共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を出力する撮像手段、
前記複数の撮像面にそれぞれ割り当てられた複数のレンズ、
外部制御プログラムを受信する受信手段、および
前記受信手段によって受信された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
前記外部制御プログラムは、
前記共通視野に現れた特徴物体を各々が表す複数の特徴画像を前記撮像手段から出力された複数の画像から探索する第1探索ステップ、
前記複数の撮像面の位置のずれと前記第1探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて前記特徴物体までの距離を測定する測定ステップ、および
前記複数の撮像面の1つである特定撮像面と前記複数のレンズのうち前記特定撮像面に割り当てられた特定レンズとの間隔を前記測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。
【請求項1】
共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を出力する撮像手段、
前記複数の撮像面にそれぞれ割り当てられた複数のレンズ、
前記共通視野に現れた特徴物体を各々が表す複数の特徴画像を前記撮像手段から出力された複数の画像から探索する第1探索手段、
前記複数の撮像面の位置のずれと前記第1探索手段によって探知された複数の特徴画像の位置のずれとに基づいて前記特徴物体までの距離を測定する測定手段、および
前記複数の撮像面の1つである特定撮像面と前記複数のレンズのうち前記特定撮像面に割り当てられた特定レンズとの間隔を前記測定手段によって測定された距離に対応する特定間隔に調整する調整手段を備える、電子カメラ。
【請求項2】
前記特定撮像面と前記特定レンズとの間隔を前記特定間隔の近傍で変更する変更手段、および
前記変更手段の変更処理と並列して前記特定撮像面で捉えられた視野を表す画像に基づいて合焦点を探索する第2探索手段をさらに備える、請求項1記載の電子カメラ。
【請求項3】
前記測定手段は、前記撮像面と前記撮像面に割り当てられたレンズとの間隔を前記第1探索手段による探知に関連して読み出す読み出し手段、および前記複数の撮像面の位置のずれおよび前記第1探索手段によって探知された複数の特徴画像の位置のずれの比と前記読み出し手段によって読み出された間隔とに基づいて前記特徴物体までの距離を算出する算出手段を含む、請求項1または2記載の電子カメラ。
【請求項4】
前記算出手段の算出処理は三角測距法に相当する、請求項3記載の電子カメラ。
【請求項5】
前記第1探索手段は辞書画像を用いて前記探索処理を実行する、請求項1ないし4のいずれかに記載の電子カメラ。
【請求項6】
前記辞書画像は人物画像に相当する、請求項5記載の電子カメラ。
【請求項7】
共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を出力する撮像手段、および
前記複数の撮像面にそれぞれ割り当てられた複数のレンズを備える電子カメラのプロセッサに、
前記共通視野に現れた特徴物体を各々が表す複数の特徴画像を前記撮像手段から出力された複数の画像から探索する第1探索ステップ、
前記複数の撮像面の位置のずれと前記第1探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて前記特徴物体までの距離を測定する測定ステップ、および
前記複数の撮像面の1つである特定撮像面と前記複数のレンズのうち前記特定撮像面に割り当てられた特定レンズとの間隔を前記測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップを実行させるための、撮像制御プログラム。
【請求項8】
共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を出力する撮像手段、および
前記複数の撮像面にそれぞれ割り当てられた複数のレンズを備える電子カメラによって実行される撮像制御方法であって、
前記共通視野に現れた特徴物体を各々が表す複数の特徴画像を前記撮像手段から出力された複数の画像から探索する第1探索ステップ、
前記複数の撮像面の位置のずれと前記第1探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて前記特徴物体までの距離を測定する測定ステップ、および
前記複数の撮像面の1つである特定撮像面と前記複数のレンズのうち前記特定撮像面に割り当てられた特定レンズとの間隔を前記測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップを備える、撮像制御方法。
【請求項9】
共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を出力する撮像手段、
前記複数の撮像面にそれぞれ割り当てられた複数のレンズ、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
前記共通視野に現れた特徴物体を各々が表す複数の特徴画像を前記撮像手段から出力された複数の画像から探索する第1探索ステップ、
前記複数の撮像面の位置のずれと前記第1探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて前記特徴物体までの距離を測定する測定ステップ、および
前記複数の撮像面の1つである特定撮像面と前記複数のレンズのうち前記特定撮像面に割り当てられた特定レンズとの間隔を前記測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項10】
共通視野を部分的に含む複数の視野をそれぞれ捉える複数の撮像面を有し、前記複数の視野をそれぞれ表す複数の画像を出力する撮像手段、
前記複数の撮像面にそれぞれ割り当てられた複数のレンズ、
外部制御プログラムを受信する受信手段、および
前記受信手段によって受信された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
前記外部制御プログラムは、
前記共通視野に現れた特徴物体を各々が表す複数の特徴画像を前記撮像手段から出力された複数の画像から探索する第1探索ステップ、
前記複数の撮像面の位置のずれと前記第1探索ステップによって探知された複数の特徴画像の位置のずれとに基づいて前記特徴物体までの距離を測定する測定ステップ、および
前記複数の撮像面の1つである特定撮像面と前記複数のレンズのうち前記特定撮像面に割り当てられた特定レンズとの間隔を前記測定ステップによって測定された距離に対応する特定間隔に調整する調整ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【公開番号】特開2013−5405(P2013−5405A)
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願番号】特願2011−137773(P2011−137773)
【出願日】平成23年6月21日(2011.6.21)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
【公開日】平成25年1月7日(2013.1.7)
【国際特許分類】
【出願日】平成23年6月21日(2011.6.21)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
[ Back to top ]