説明

撮像装置

【課題】 比較的少ない露光回数で、複数のピント位置の被写体にピントの合った動画を得ること。
【解決手段】 撮影レンズと、被写体の光学像を前記撮影レンズを通じて、受光する撮像素子と、該撮像素子から得られた信号により画像データを生成する撮像部と、前記撮像素子に組み込まれた瞳分割位相差方式による焦点検出画素により焦点検出を行う焦点検出手段と、前記焦点検出手段から得た第1の焦点調節状態で得られた第1の画像データと、前記焦点検出手段から得た第2の焦点調節状態で得られた第2の画像データと、前記第1の焦点調節状態は、前記第2の画像データに含まれる前記焦点検出画素の出力から得ることを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルスチルカメラ、ビデオカメラ、銀塩カメラなどの焦点合わせを行う焦点調節装置を備えた撮像装置に関する。
【背景技術】
【0002】
高速で複数の画像を取得し、複数の被写体のうちの任意の被写体にフォーカスを合わせた動画像を得る技術が、特許文献1に記載されている。
【0003】
また、動画像に焦点検出データを合わせて保存し、再生時に、焦点検出データを利用する技術が、特許文献2に記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−28951号公報
【特許文献2】特開2010−258912号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載された技術によれば、フォーカス状態の異なる複数の画像を集合体として扱い、撮影後に、所望のフォーカス状態の画像を選択し動画像として構成することにより、撮影者が意図する任意のフォーカス位置の動画像を得ることができる。
【0006】
しかしながら、集合体を構成する複数の画像を撮影する必要があるため、画像を記憶しておくメモリが必要となり、装置のコストアップが避けられない。また、構成する動画像の一定のフレームレート内で複数の画像を撮影するため、1枚当たりの画像の露光時間が短くなるという課題がある。
【0007】
また、特許文献2に記載された技術によれば、撮像素子上に設けられた焦点検出用画素を用いて、焦点検出を行い、動画像の各フレームに対応した焦点検出データを保存することができ、後に焦点検出データを修正することができる。しかしながら、一度記録した動画像の焦点検出位置を変えることはできず、複数のピント位置の被写体に対応した動画記録は行えないという課題がある。
【0008】
本発明は上記課題に鑑みてなされたものであり、比較的少ない露光回数で、複数のピント位置の被写体にピントの合った動画を得ることを目的とする。
【課題を解決するための手段】
【0009】
撮影レンズと、被写体の光学像を前記撮影レンズを通じて、受光する撮像素子と、該撮像素子から得られた信号により画像データを生成する撮像部と、前記撮像素子に組み込まれた瞳分割位相差方式による焦点検出画素により焦点検出を行う焦点検出手段と、前記焦点検出手段から得た第1の焦点調節状態で得られた第1の画像データと、前記焦点検出手段から得た第2の焦点調節状態で得られた第2の画像データと、前記第1の焦点調節状態は、前記第2の画像データに含まれる前記焦点検出画素の出力から得ることを特徴とする。
【発明の効果】
【0010】
本発明によれば、不要な露光動作を必要とせず、複数のピント位置の被写体に対応した複数の動画を得ることが可能となる。
【図面の簡単な説明】
【0011】
【図1】動画撮影時のシーケンスを示すフローチャート
【図2】本実施形態のデジタルカメラのブロック図
【図3】焦点検出領域の設定を説明する図
【図4】焦点検出領域の更新設定方法を説明する図
【図5】第1の実施形態における焦点調節処理のサブルーチン
【図6】第2の実施形態で想定する被写体状況の一例を示す図
【図7】第1の実施形態における焦点調節処理のサブルーチン
【発明を実施するための形態】
【0012】
以下、添付の図面を参照して、本発明の好適な実施形態を説明する。
【0013】
[第1実施形態]
以下、本発明の第1の実施形態による、本発明の撮像装置を、レンズ交換可能な一眼レフタイプのデジタルカメラに適用した例について説明する。
【0014】
図2は本実施形態のデジタルカメラのブロック図である。本実施形態のデジタルカメラは交換レンズ式一眼レフカメラであり、レンズユニット100とカメラ本体120とを有する。レンズユニット100は図中央の点線で示されるマウントMを介して、カメラ本体120と接続される。レンズユニット100は、請求項中の撮影レンズと対応する。
【0015】
レンズユニット100は、第1レンズ群101、絞り兼用シャッタ102、第2レンズ群103、フォーカスレンズ群(以下、単に「フォーカスレンズ」という)104、及び、駆動/制御系を有する。このようにレンズユニット100は、フォーカスレンズ104を含むと共に被写体の像を形成する撮影レンズを有する。
【0016】
第1レンズ群101は、レンズユニット100の先端に配置され、光軸方向OAに進退可能に保持される。絞り兼用シャッタ102は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとして機能する。絞り兼用シャッタ102は、請求項中の絞り開口と対応する。絞り兼用シャッタ102及び第2レンズ群103は一体として光軸方向OAに進退し、第1レンズ群101の進退動作との連動によりズーム機能を実現する。フォーカスレンズ104は、光軸方向の進退により焦点調節を行う。
【0017】
駆動/制御系は、ズームアクチュエータ111、絞りシャッタアクチュエータ112、フォーカスアクチュエータ113、ズーム駆動回路114、絞りシャッタ駆動回路115、フォーカス駆動回路116、レンズMPU117、レンズメモリ118を有する。
【0018】
ズームアクチュエータ111は、第1レンズ群101や第3レンズ群103を光軸方向OAに進退駆動し、ズーム操作を行なう。絞りシャッタアクチュエータ112は、絞り兼用シャッタ102の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。
【0019】
フォーカスアクチュエータ113で、フォーカスレンズ104を光軸方向OAに進退駆動して焦点調節を行なう。フォーカスアクチュエータ113は、フォーカスレンズ104の現在位置を検出する位置検出部としての機能が備わっている。
【0020】
ズーム駆動回路114は、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。シャッタ駆動回路115は、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。
【0021】
フォーカス駆動回路116は、焦点検出結果に基づいてフォーカスアクチュエータ113を駆動制御し、フォーカスレンズ104を光軸方向OAに進退駆動して焦点調節を行なう。
【0022】
レンズMPU117は、撮影レンズに係る全ての演算、制御を行い、ズーム駆動回路114、シャッタ駆動回路115、フォーカス駆動回路116、レンズメモリ118を制御する。また、レンズMPU117は、現在のレンズ位置を検出し、カメラMPU125からの要求に対してレンズ位置情報を通知する。レンズメモリ118には自動焦点調節に必要な光学情報を記憶する。
【0023】
カメラ本体120は、光学的ローパスフィルタ121、撮像素子122、駆動/制御系を有する。
【0024】
光学的ローパスフィルタ121と撮像素子122はレンズユニット100からの光束によって被写体像を形成する撮像光学系として機能する。
【0025】
光学的ローパスフィルタ121は、撮影画像の偽色やモアレを軽減する。
【0026】
撮像素子122はC−MOSセンサとその周辺回路で構成され、横方向m画素、縦方向n画素の受光ピクセル上に1つの光電変換素子が配置される。撮像素子122は、全画素独立出力が可能なように構成されている。また一部の画素が焦点検出用画素となっており、撮像面で位相差検出方式の焦点検出(撮像面位相差AF)が可能となっている。
【0027】
撮像素子122は、請求項中の撮像素子と対応する。より具体的には、撮像素子122は、被写体の像を形成する撮影レンズの射出瞳の全域を通る光を各々が受光して被写体の像を生成する複数の撮影用画素を有する。また、撮像素子122は、各々が撮影レンズの射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素を更に有する。複数の焦点検出用画素は全体として撮影レンズの射出瞳の全域を通る光を受光することができる。例えば、撮像素子122は、2行×2列の画素のうち、対角に配置される一対のG画素は撮影用画素として残し、R画素とB画素を焦点検出用画素に置き換える。
【0028】
駆動/制御系は、撮像素子駆動回路123、画像処理回路124、カメラMPU125、表示器126、操作スイッチ群127、メモリ128、撮像面位相差焦点検出部129、TVAF焦点検出部130を有する。
【0029】
撮像素子駆動回路123は、撮像素子122の動作を制御するとともに、取得した画像信号をA/D変換してカメラMPU125に送信する。画像処理回路124は、撮像素子122が取得した画像のγ変換、カラー補間、JPEG圧縮などを行う。撮像素子駆動回路123、画像処理回路124は、請求項中の撮像部と対応する。
【0030】
カメラMPU(プロセッサ)125は、カメラ本体120に係る全ての演算、制御を行い、撮像素子駆動回路123、画像処理回路124、表示器126、操作SW127、メモリ128、撮像面位相差焦点検出部129、TVAF焦点検出部130を制御する。カメラMPU125はマウントMの信号線を介してレンズMPU117と接続され、レンズMPU117に対してレンズ位置の取得や所定の駆動量でのレンズ駆動要求を発行したり、レンズユニット100に固有の光学情報を取得したりする。カメラMPU125には、カメラ動作を制御するプログラムを格納したROM125a、変数を記憶するRAM125b、諸パラメータを記憶するEEPROM125cが内蔵されている。
【0031】
更に、カメラMPU125は、ROM125aに格納したプログラムにより焦点検出処理を実行する。焦点検出処理の詳細は後述する。また、カメラMPU125は、撮像面位相差AFにおいて、焦点検出位置の像高が大きい時にケラレの影響が大きく信頼度が低下するため、その補正も行う。
【0032】
表示器126はLCDなどから構成され、カメラの撮影モードに関する情報、撮影前や動画撮影中のライブビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群127は、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。本実施形態のメモリ128は、着脱可能なフラッシュメモリで、撮影済み画像を記録する。
【0033】
撮像面位相差焦点検出部129は、撮像素子122に埋め込まれた焦点検出用画素の像信号により位相差AF方式での焦点検出処理を行う。より具体的には、撮像面位相差焦点検出部129は、撮像光学系の一対の瞳領域を通過する光束により焦点検出用画素に形成される一対の像のずれ量に基づいて撮像面位相差AFを行う。撮像面位相差AFの原理は、特開2009−003122号公報の図5〜7、図16などにおいて説明されているものと同様である。撮像面位相差焦点検出部129は、請求項中の焦点検出手段と対応する。
【0034】
TVAF焦点検出部130は、画像処理回路124にて得られた画像情報のコントラスト成分によりコントラスト方式の焦点検出処理を行う。コントラスト方式の焦点検出処理は、フォーカスレンズ104を移動してコントラスト評価値がピークとなるフォーカスレンズ位置を検出する。
【0035】
このように、本実施形態は撮像面位相差AFとTVAFを組み合わせており、いずれの焦点検出手段も撮像面上の情報に基づくため、位相差AFとTVAFを組み合わせるよりも焦点検出精度を向上することができる。
【0036】
本実施形態では、複数の被写体が認識された場合に、撮像面位相差焦点検出部129を用いて、複数の焦点検出領域の焦点検出を順次行い、複数の被写体に合焦した画像を順次取得し、被写体のピント位置毎に一つの動画像の作成を行う。これにより、撮影者が意図する被写体にピントが合った動画を確実に得ることや、被写体毎にピントが合った動画像を得ることを実現することができる。
【0037】
次に、動画データ保存時の動作について説明する。図1は、動画撮影時のシーケンスを示すフローチャートである。図1においては、動画撮影処理が開始されると、ステップS100で、撮像素子122から撮像データを取得する。次に、ステップS101で撮像データから、画像データ、焦点検出データを取得する。本実施形態では、上述した通り、撮像素子122は、撮影画像取得用画素に加えて、焦点検出データ取得用の画素が配置されており、一度に両方のデータが取得可能になっている。
【0038】
次に、ステップS102で、被写体認識処理を行う。公知の人物の顔の位置や数の認識を行う。ここで、複数の被写体が認識された場合には、認識被写体のコントラスト、大きさ、画面中心からの距離などの情報を用いて、優先順位を設定する。本実施形態では、優先順位の最も高い被写体から、第1優先被写体、第2優先被写体と呼ぶこととする。
【0039】
次に、ステップS103で、第1優先被写体の画面内の位置の焦点検出データを用いて焦点調節処理を行う。また、被写体認識により被写体が認識されていない場合は、撮影者が事前に設定している焦点調節を行う対象領域の焦点検出データを用いた焦点調節処理を行う。
【0040】
次に、ステップS104で、取得した画像データをもとに、表示器126に、ライブビュー表示を行う。
【0041】
次に、ステップS105で、動画撮影が開始されたか否かの判定を行っている。不図示の撮影開始ボタンの押下げ動作などにより、動画撮影の開始指示がされた場合には、次のステップS106に進む。ステップS105で、動画撮影が開始されていない場合には、ステップS100に復帰し、ライブビュー表示を続行する。
【0042】
ステップS106では、複数ピント位置の撮影を行うか否かの判定を行う。ここでは、撮像開始直前のステップS102で行われる被写体認識処理で、複数の被写体が認識されているかを判定し、複数の被写体が認識されている場合には、複数ピント位置撮影を行うものとして、ステップS107に進む。ここで認識された複数の被写体は、被写体認識処理で得られた複数の被写体でもよいし、撮影者が指定した複数の焦点検出領域でもよい。一方で、撮像開始直前のステップS102で行われる被写体認識処理で、複数の被写体が認識されていない場合や、撮影者により焦点検出領域が一つだけ指定されている場合には、複数ピント位置撮影は行わず、ステップS200に進む。
【0043】
ステップS106でYESの場合、ステップS107に進み、フレームカウンタFCの初期化を行う。フレームカウンタは、動画像を記録する際の1フレームの画像の枚数を数えるためのカウンタである。
【0044】
次に、ステップS108でステップS100と同様に、撮像素子122から撮像データを取得する。そして、ステップS109でステップS101と同様に撮像データから、画像データ、焦点検出データを取得する。続いて、ステップS110では、ステップS102と同様に、被写体認識処理を行う。本実施形態では、ステップS102にて、被写体として、第1優先被写体と第2優先被写体が認識された場合の説明を行うが、被写体の数に制限はなく、後程説明するステップS111での分岐の数を、増やして対応すればよい。
【0045】
ステップS110では、事前に認識した第1優先被写体と第2優先被写体の位置や大きさの更新を行う。
【0046】
次に、ステップS111では、フレームカウンタFCが、偶数であるか、奇数であるかの判定を行う。これは、第1優先被写体と第2優先被写体の動画記録処理を交互に行うためのもので、より多くの被写体に対応する場合は、フレームカウンタFCを対応する被写体の数で除算した場合の剰余で場合分けを行えばよい。本実施形態では、フレームカウンタFCが、偶数の場合は、第1優先被写体を記録する動画ファイル、奇数の場合は、第2優先被写体を記録する動画ファイルを保存するように構成している。
【0047】
ステップS111でYESの場合、ステップS112に進み第2の焦点検出領域設定を行う。ここで、焦点検出領域の設定について、図3を用いて説明する。
【0048】
図3(a)は、撮像素子122で取得した画像データを示している。Target1およびTarget2は、いずれも被写体認識処理にて、被写体として認識された被写体領域を示している。被写体認識処理では、Target1の方が、コントラストが高く、画面の中心近傍に位置し、大きいため、Target1を第1優先被写体、Target2を第2優先被写体として認識している。動画撮影開始前の焦点調節においては、第1優先被写体に対して焦点調節が行われるため、Target1にピントが合った画像が得られている。
【0049】
図3(b)は、図3(a)で得られた画像に対して、焦点検出領域を重ねて表示したものである。本実施形態では、撮像素子122に焦点検出用画素が、全体的に所定の割合で配置されている。そのため、焦点検出領域を設定する自由度が高く、Target1やTarget2の位置や大きさに合わせて焦点検出領域を設定することができる。図1のステップS112の第2の焦点検出領域は、図3(b)において、202で示されるTarget2の焦点検出を行うための焦点検出領域である。一方で、図3(b)では、Target1の焦点検出を行うための第1の焦点検出領域は、201で示されている。動画撮影の場合、1フレームの画像記録の度に、焦点検出領域を設定しなおして、焦点調節を行うが、複数回の焦点検出領域の設定の間に、被写体が移動し、誤った領域を焦点検出領域としてしまう恐れがある。本実施形態では、複数の被写体各々の位置の連続性やデフォーカス量の連続性を鑑みて、焦点検出領域を設定する。詳細は後述する。ここで、第1、第2の焦点検出領域は、請求項中の第1、第2の焦点検出領域と対応する。
【0050】
図1のステップS112で、第2の焦点検出領域設定を終えると、ステップS113に進み焦点調節処理を行う。ここでは、第2の焦点検出領域に対して焦点調節を行うため、第2優先被写体に対してピントが合うように焦点調節を行う。
【0051】
次に、ステップS114で、ステップS109で得られた画像データをもとに、ライブビュー表示を行う。続いて、ステップS115に進み、ステップS109で得られた画像データの第1の動画ファイルとして保存する。本実施形態では、第1優先被写体にピントが合った画像データをつなぎ合わせた画像ファイルとして、第1の動画ファイルを構成する。第1の動画ファイルは、請求項中の第1の画像データと対応する。
【0052】
一方で、ステップS111でNoの場合、ステップS120に進み、第1の焦点検出領域の設定を行う。ここでの処理は、図3で説明した第2の焦点検出領域の設定と同様である。第1の焦点検出領域の設定を行う際の画像は、第2優先被写体(Target2)にピントが合った画像で、行われるため、第1優先被写体(Target1)は、ピントがずれた状態である。
【0053】
続いて、ステップS121では、焦点調節処理を行う。ここでは、第1の焦点検出領域に対して焦点調節を行うため、第1優先被写体に対してピントが合うように焦点調節を行う。
【0054】
次に、ステップS122に進み、ステップS109で得られた画像データの第2の動画ファイルとして保存する。本実施形態では、第2優先被写体にピントが合った画像データをつなぎ合わせた画像ファイルとして、第2の動画ファイルを構成する。第2の動画ファイルを取得する際に、LV表示処理を行わないため、撮影者に、2つの被写体の間をピントが揺れ動く様子が気づかれず、使用感を損なわないように構成できる。第2の動画ファイルは、請求項中の第2の画像データと対応する。
【0055】
ステップS115やS122で動画ファイルの保存を終えると、ステップS116に進み、撮像終了指示があったか否かを判定する。撮像終了が支持されておらず、継続して撮像を行う場合には、ステップS119に進み、フレームカウンタを、カウントアップし、ステップS106に戻り、処理を続ける。
【0056】
ステップS106で、複数ピント位置の撮影を行わない、すなわち、事前の被写体認識処理で、被写体が1つであった場合には、ステップS200に進む。ステップS200では、ステップS100と同様に、撮像素子122から撮像データを取得する。そして、ステップS201でステップS101と同様に撮像データから、画像データ、焦点検出データを取得する。続いて、ステップS202では、ステップS102と同様に、被写体認識処理を行う。ここでは、事前に認識された1つの被写体の位置、大きさなどの更新を行う。
【0057】
次に、ステップS203で、ステップS103と同様に、被写体の画面内の位置の焦点検出データを用いて焦点調節処理を行う。また、被写体認識により被写体が認識されていない場合は、撮影者が事前に設定している焦点調節を行う対象領域の焦点検出データを用いた焦点調節処理を行う。
【0058】
次に、ステップS204で、取得した画像データをもとに、表示器126に、ライブビュー表示を行う。続いて、ステップS205では、ステップS201で得られた画像データを記録し、動画ファイルの保存を行う。
【0059】
ステップS205を終えると、ステップS206に進み、撮像終了指示があったか否かを判定する。撮像終了が支持されておらず、継続して撮像を行う場合には、ステップS200に戻り、処理を続ける。本実施形態では、1つの被写体について動画撮影を行うフローでは、フレームカウンタを用いなかったが、実施形態はこれに限らない。
【0060】
ステップS116もしくは、S206で撮像終了と判定された場合、ステップS117に進み、動画ファイル保存の完了処理を行う。ステップS106でYESの場合は、複数の動画ファイルについて完了処理を行い、ステップS106でNoの場合は、一つの動画ファイルについて完了処理を行う。
【0061】
次に、ステップS118で、動画撮影処理を終了するか否かを判定する。引き続き、動画撮影処理を行う場合は、ステップS100に戻り処理を続行する。ステップS118でYesの場合は、動画撮影処理を終了する。
【0062】
上述した動画撮影処理においては、ステップS113やステップS121で行う焦点調節処理を、第2の焦点検出領域や第1の焦点検出領域に対して行う。その際に、例えば、ステップS113では、レンズ駆動のための第2の焦点検出領域のデフォーカス量を得ると同時に、第1の焦点検出領域のデフォーカス量も取得し、事後の焦点調節の際の補正値として記憶することも可能である。ステップS113でレンズ駆動を伴う焦点調節を行う前の状態では、第1の焦点検出領域の被写体は、事前の焦点調節処理で検出されたデフォーカス量に基づくレンズ駆動によって、ほぼ、合焦状態にある。しかし、事前の焦点調節処理で検出されたデフォーカス量が大きい場合、検出誤差が大きい可能性がある。その誤差を補正するために、ほぼ合焦状態にある状況で、再度、第1の焦点検出領域のデフォーカス量を検出することにより、検出誤差の小さいデフォーカス量を得ることができ、事前のデフォーカス量が大きい場合の検出誤差を補正する補正値を算出することができる。以降の第1の焦点検出領域における焦点検出に、補正値を用いることにより、より高精度な焦点調節を行うことができる。
【0063】
図4を用いて、被写体の位置の連続性やデフォーカス量の連続性を考慮した焦点検出領域の更新設定方法について説明する。
【0064】
図4は、二つの被写体が時系列に移動している様子を示しているもので、図4(a)、(b)、(c)の順に、被写体であるTarget1とTarget2が移動している様子を示している。図3と異なり撮像装置で撮像される画像ではないため、被写体のデフォーカス状態によるボケは、図中では表現されていない。本発明では、まず図4(a)の被写体状況で、第1優先被写体と第2優先被写体を設定する。ここでは、Target1の方が、撮像装置に距離が近く、撮像範囲の中で中心に近いことから、Target1を第1優先被写体、Target2を第2優先被写体と設定する。その後、図4(b)では、Target1が後方に、Target2が前方に移動した様子を示している。また、図4(c)では、さらに、Target1が後方に、Target2が前方に移動した様子を示している。このような状況で、撮影の度に、第1優先被写体、第2優先被写体の設定を行うと、図4(c)の状況では、Target2の方が、撮像装置に距離が近く、撮像範囲の中で中心に近いことから、Target2を第1優先被写体と設定してしまう。本発明では、第1優先被写体にピントが合った動画、第2優先被写体にピントが合った動画を、それぞれ保存を行うため、第1優先被写体が、撮影中に、Target1からTarget2に切り替わることは望ましくない。そこで、本発明では、撮像データを得るごとに、第1優先被写体、第2優先被写体の位置とデフォーカス量の連続性を記憶しておき、不用意な被写体の乗り移りを防ぐ。図4の例では、撮像データを得る度に得られるデフォーカス量とレンズユニット100の焦点距離情報から、被写体距離を算出し、第1優先被写体であるTarget1が、徐々に後方に移動していることを検出する。一方で、同様に第2優先被写体であるTarget2が、徐々に前方に移動していることを検出する。これにより、図4(c)のような状況でも、事前の状況を鑑み、優先被写体の乗り移りを防ぐことができる。ここで、デフォーカス量の連続性は、請求項中の焦点検出結果と対応し、被写体の位置の連続性は、請求項中の被写体位置情報と対応する。
【0065】
図5を用いて、焦点調節処理のサブルーチンについて説明する。図5において、ステップS1000で、焦点調節モードが、連続的にピントを合わせ続けるSERVO AFモードであるか否かの判定を行う。ステップS1000において、焦点調節モードがSERVO AFモードに設定されていると判定された場合には、次のステップS1001に移行する。ステップS1001では、デフォーカス量を算出し、合焦状態であるか否かの判定を行い、合焦状態である場合には、メインルーチンに復帰する。一方ステップS1001で合焦状態ではないと判定された場合には、ステップS1002に進み、検出したデフォーカス量に基づきレンズ駆動を実施し、メインルーチンに復帰する。
【0066】
ステップS1000において、焦点調節モードがSERVO AFモードではないと判定された場合には、ステップS1003に進む。ステップS1003では、合焦ロック状態であるというフラグが設定されているか否かを判定する。合焦ロック状態の場合は、フラグに1が設定されており、合焦状態がロックされていると判断し、メインルーチンに復帰する。ステップS1003で合焦フラグが1でない場合、合焦ロック状態でないと判定し、ステップS1004に進む。ステップS1004では、デフォーカス量を算出し、合焦状態であるか否かの判定を行う。合焦状態であると判定された場合、ステップS1005に進み、合焦ロック状態を示す合焦フラグに1を設定する。その後、メインルーチンに復帰する。ステップS1004で合焦状態でないと判定された場合、ステップS1006に進み、検出したデフォーカス量に基づき、レンズ駆動を実施し、メインルーチンに復帰する。
【0067】
以上説明したように、本実施形態の構成をとることにより、認識した被写体毎に動画ファイルを作成し、それぞれの動画ファイルに、被写体毎にピント調整を行った画像が保存される。本実施形態では、ある被写体(Target1)の動画記録中に、次の動画記録のピント位置として、もう一方の被写体(Target2)のピント位置を検出するため、無駄なピント位置での撮影を必要としない。そのため、比較的少ない露光回数で、複数のピント位置での画像記録が可能となり、公知技術のようにフォーカスブラケット撮影することに比べて、画像記録の露光時間を長くすることができ、設定の自由度を高めることができる。また、複数の被写体のピント位置で交互に画像記録し、ピント位置毎に動画ファイルを作成するようにしたため、複数のピント位置の被写体に対応した動画記録ができる。これにより、撮影者が意図する被写体の動画の撮り逃しを防いだり、より多くの被写体に対応した動画記録を行ったりすることができる。これらは、請求項中の「前記第1の焦点調節状態は、前記第2の画像データに含まれる前記焦点検出画素の出力から得ること」により実現することが可能となっている。
【0068】
本実施形態では、2つの被写体に対して、交互にピント位置を移動させながら、各々のピント位置にあった動画を作成するように構成したが、3つ以上の被写体に対しても、順次ピント位置を変化させながら動画像を記録していくことにより、同様に構成することが可能である。しかしながら、撮影するピント位置が多くなるにつれ、一つの動画像におけるフレームレートが遅くなったり、1つのピント位置での露光時間の上限が短くなったりといった課題が発生する。それを解決するため、第1優先被写体の動画記録を優先し、第1優先被写体→第2優先被写体→第3優先被写体→第1優先被写体・・・といった第1優先被写体の動画記録の間に他の被写体の動画記録をすることも可能である。その場合、例えば、第1優先被写体のフレームレートを再生のフレームレートと合わせると、第2、第3優先被写体のフレームレートが落ちるが、第1優先被写体の記録画像の品質を落とすことなく、複数の被写体に対応した動画を記録することができる。
【0069】
[第2実施形態]
以下に図6、図7を参照して、本発明の第2の実施形態について説明する。第2の実施形態と第1の実施形態の違いは、被写体の数が多い場合に、記録するピント位置の省略を図る点である。第2の実施形態の構成によれば、より少ないピント位置での動画記録で、より多くの被写体にピントが合った動画を記録することができる。なお、第1の実施形態における撮像装置の構成を示すブロック図(図2)、動画撮影処理を行うフローチャート(図1)に関しては、第2の実施形態においても同様の構成であり、同様の動作を行うため、説明は省略する。
【0070】
図6は、第2の実施形態で想定する被写体状況の一例を示す図である。撮像装置が認識している被写体が3つある場合を示している。
【0071】
図6(a)は、撮像素子122で取得した画像データを示している。Target1〜Target3は、いずれも被写体認識処理にて、被写体として認識された被写体領域を示している。被写体認識処理では、Target1が最もコントラストが高く、画面の中心近傍に位置し、大きいため、Target1を第1優先被写体として認識している。次いで、同様に、Target2を第2優先被写体、Target3を第3優先被写体として認識している。動画撮影開始前の焦点調節においては、第1優先被写体に対して焦点調節が行われるため、Target1にピントが合った画像が得られている。
【0072】
図6(b)は、図6(a)で得られた画像に対して、焦点検出領域を重ねて表示したものである。本実施形態では、撮像素子122に焦点検出用画素が、全体的に所定の割合で配置されている。そのため、焦点検出領域を設定する自由度が高く、Target1〜Target3の位置や大きさに合わせて焦点検出領域を設定することができる。図6(b)では、Target1〜Target3の焦点検出を行うための焦点検出領域は、301〜303で示されている。事前に設定された記録する動画像のフレームレートや、一つのピント位置での露光にかかる時間、各ピント位置間の移動に要する時間によるが、記録するピント位置が増えれば増えるほど、これらの条件に制約が発生する。そのため、第2の実施形態では、第1優先被写体以外の被写体は、一つのピント位置で撮影できるよう被写界深度を調節、すなわち、レンズユニット100の絞り兼用シャッタ102の開口を制御して、撮影する。
【0073】
図1のステップS112の第2の焦点検出領域は、第2優先被写体と第3優先被写体の焦点検出領域302と303として設定される。
【0074】
図7を用いて、第2の実施形態における焦点調節処理のサブルーチンについて、説明する。図6で示すような焦点検出領域として、複数の被写体の焦点検出領域が設定されている場合について、説明する。図7のフローチャートにおいて、第1の実施形態の図5で示した焦点調節処理のサブルーチンと同様の処理を行う部分に関しては、同じ番号を付している。
【0075】
図7において、ステップS1000で、焦点調節モードが、連続的にピントを合わせ続けるSERVO AFモードであるか否かの判定を行う。ステップS1000において、焦点調節モードがSERVO AFモードに設定されていると判定された場合には、次のステップS1001に移行する。ステップS1001では、デフォーカス量を算出し、合焦状態であるか否かの判定を行う。ここで、焦点検出領域として、複数の焦点検出領域が設定されている場合、複数の焦点検出結果の平均値を、デフォーカス量として設定し、この平均値と各焦点検出結果の差分の最大値を記憶しておく。ステップS1001で合焦状態である場合には、ステップS2000に進む。一方ステップS1001で合焦状態ではないと判定された場合には、ステップS1002に進み、検出したデフォーカス量の平均値に基づきレンズ駆動を実施し、ステップS2000に進む。
【0076】
ステップS1000において、焦点調節モードがSERVO AFモードではないと判定された場合には、ステップS1003に進む。ステップS1003では、合焦ロック状態であるというフラグが設定されているか否かを判定する。合焦ロック状態の場合は、フラグに1が設定されており、合焦状態がロックされていると判断し、ステップS2000に進む。ステップS1003で合焦フラグが1でない場合、合焦ロック状態でないと判定し、ステップS1004に進む。ステップS1004では、複数の焦点検出結果の平均値を、デフォーカス量として設定し、各焦点検出結果の平均値から差分の最大値を記憶しておく。さらに、デフォーカス量の平均値から、合焦状態であるか否かの判定を行う。合焦状態であると判定された場合、ステップS1005に進み、合焦ロック状態を示す合焦フラグに1を設定する。その後、ステップS2000に進む。
【0077】
ステップS1004で合焦状態でないと判定された場合、ステップS1006に進み、検出したデフォーカス量に基づき、レンズ駆動を実施し、ステップS2000に進む。ステップS2000では、記憶された各焦点検出結果の平均値から差分の最大値を用いて、撮影する絞り値を設定する。図6のような状況では、焦点検出領域302,303から検出されるデフォーカス量の平均値により駆動されるレンズ位置は、Target2とTarget3の概ね中心になる。そのため、Taregt2及び、Target3いずれも、焦点検出結果の平均値からのデフォーカス量の差分を同等に有する。一般に許容錯乱円をδ(μm)と設定すると、レンズのF値と合わせて、デフォーカス量がFδ(μm)以内であれば、ボケが認識できないとされている。本実施形態では、Target2およびTarget3のデフォーカス量がFδ以内となるように、絞り兼用シャッタ102の開口を閉じる方向に変更し、F値を調節する。
【0078】
以上のように構成することにより、図1のフローにおける第1の動画ファイルには、第1優先被写体が、撮影者の意図するレンズのF値条件での動画像が記録される。一方、第2の動画ファイルには、第2優先被写体、第3優先被写体が、いずれもピントが合うよう撮像装置が判断したF値条件での動画像が記録される。これにより、事前に設定された記録する動画像のフレームレートや、一つのピント位置での露光にかかる時間、各ピント位置間の移動に要する時間による制約を、比較的受けることなく、複数の被写体に対応した動画ファイルを記録することができる。
【符号の説明】
【0079】
100 レンズユニット
102 絞り兼用シャッタ
122 撮像素子
123 撮像素子駆動回路
124 画像処理回路
129 撮像面位相差焦点検出部


【特許請求の範囲】
【請求項1】
撮影レンズと、
被写体の光学像を前記撮影レンズを通じて、受光する撮像素子と、
該撮像素子から得られた信号により画像データを生成する撮像部と、
前記撮像素子に組み込まれた瞳分割位相差方式による焦点検出画素により焦点検出を行う焦点検出手段と、
前記焦点検出手段から得た第1の焦点調節状態で得られた第1の画像データと、
前記焦点検出手段から得た第2の焦点調節状態で得られた第2の画像データと、
前記第1の焦点調節状態は、前記第2の画像データに含まれる前記焦点検出画素の出力から得ることを特徴とする撮像装置。
【請求項2】
前記第1の焦点調節状態を得る前記画像データ中の領域である第1の焦点検出領域と、前記第2の焦点調節状態を得る前記画像データ中の領域である第2の焦点検出領域は、少なくとも一部が異なることを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記焦点検出領域で時系列に得られる焦点検出結果、被写体位置情報の少なくとも一つから、前記焦点検出領域を変更することを特徴とする請求項1に記載の撮像装置。
【請求項4】
前記第1の焦点検出領域で得られた焦点検出結果が、所定の閾値より大きい場合に、前記撮影レンズの絞り開口を閉じる方向に変化させることを特徴とする請求項1に記載の撮像装置。
【請求項5】
前記第1の焦点検出領域で得られた焦点検出結果が、所定の閾値より大きい場合に、第2の画像データを取得する間隔を長くすることを特徴とする請求項1に記載の撮像装置。
【請求項6】
前記第1の画像データの前記第1の焦点検出領域から、前記第1の焦点調節状態を得るための焦点調節の補正値を算出することを特徴とする請求項1に記載の撮像装置。
【請求項7】
複数の前記第1の画像データから、第1の動画像を生成し、複数の前記第2の画像データから、第2の動画像を生成することを特徴とする請求項1に記載の撮像装置。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2013−105052(P2013−105052A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−249335(P2011−249335)
【出願日】平成23年11月15日(2011.11.15)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】