撮像装置及びその制御方法
【課題】ＡＥ制御に連動してセンサーの駆動モードを切り替えながら電子シャッター制御を行う場合の他の機能への影響を防止することができる撮像装置及びその制御方法等を提供する。
【解決手段】測光評価の結果に応じて少なくともＣＭＯＳイメージセンサー１０３の蓄積時間を変更することにより自動露光制御を行うＡＥ制御部１１９と、ＣＭＯＳイメージセンサー１０３の駆動モードを切り替えるセンサー駆動モード変更制御部１２６と、が設けられている。センサー駆動モード変更制御部１２６は、ＡＥ制御部１１９による自動露光制御及びＣＭＯＳイメージセンサー１０３の駆動モードの切り替えにより生じるＣＭＯＳイメージセンサー１０３の解像度の変化と、撮像装置の動作状態と、を比較し、この結果に応じてＣＭＯＳイメージセンサー１０３の駆動モードを切り替える。
【解決手段】測光評価の結果に応じて少なくともＣＭＯＳイメージセンサー１０３の蓄積時間を変更することにより自動露光制御を行うＡＥ制御部１１９と、ＣＭＯＳイメージセンサー１０３の駆動モードを切り替えるセンサー駆動モード変更制御部１２６と、が設けられている。センサー駆動モード変更制御部１２６は、ＡＥ制御部１１９による自動露光制御及びＣＭＯＳイメージセンサー１０３の駆動モードの切り替えにより生じるＣＭＯＳイメージセンサー１０３の解像度の変化と、撮像装置の動作状態と、を比較し、この結果に応じてＣＭＯＳイメージセンサー１０３の駆動モードを切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラ等の撮像装置及びその制御方法等に関する。
【背景技術】
【０００２】
従来、ビデオカメラ等の撮像装置には、自動露光（ＡＥ：Auto-Exposure）機能が搭載されている。これは、光電変換に使用するイメージセンサーのダイナミックレンジが、被写体の物理的なダイナミックレンジに対してはるかに狭いという制約を解消するためである。
ＡＥの方法として、次の３種類が挙げられる。一つは、結像光学系とイメージセンサーとの間に、光学的な絞りを設けて、絞りを開け閉めすることにより、イメージセンサーへ照射される光量そのものを制御する方法である。他の一つは、イメージセンサーにおける露光時間を、センサー駆動制御で行う、いわゆる電子シャッターによる方法である。残りの一つは、イメージセンサーから出力された映像信号に対するゲイン制御による方法である。従来、これら３種類の方法が組み合わされている。
そして、被写体が暗い場合のＡＥでは、先ず、暗くなるに従い、絞りを開くことで光量を確保し、絞りを全開としてもなお、光量が不足する場合には、ゲインをかけることにより対応する。このときのゲインは、回路仕様の許す限りかけることはできるが、高ゲインになるに従いＳ／Ｎ比が低下するので、画質の面でゲインの上限が決まる。さらに暗い被写体をも撮影する場合には、イメージセンサーの電子シャッター機能を用いて、センサーの電荷蓄積時間（蓄積時間）を延長することにより対応する。
但し、ビデオカメラのように動画撮影する撮像装置においては、基本的に蓄積時間が１フレーム又は１フィールド期間とほぼ一致するため、それ以上に蓄積時間を延長することは、撮影画像の動解像度を犠牲にすることに繋がる。従って、ビデオカメラのユーザーが、より暗い被写体まで撮影するために、特定のＡＥモードを設定したときに、蓄積時間を延長して動解像度を落として撮影する機能を提供することが多い。
このようにイメージセンサーの電子シャッターにより、蓄積時間を延長して暗い被写体の動画を撮影する場合、通常は動解像度が犠牲になる。これに対し、特許文献１に、このような課題を解決することを目的とした技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０５−３３６４４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、先に説明した、ＡＥ制御に連動してセンサー駆動方法を切り替えながら電子シャッター制御を行う際に、以下のように、ビデオカメラの他の機能に影響が及ぶことがある。
【０００５】
例えば、個人認証機能に影響が及ぶことがある。個人認証機能では、イメージセンサーから得られた撮像画像に含まれる被写体の特徴と、予め登録した顔画像情報を比較して、特定の顔を認識する。この際に、予め登録した顔画像情報と被写体の特徴との比較に支障をきたし、個人認証ができなくなることがある。
また、いわゆる、動きベクトル演算に影響が及ぶこともある。動きベクトル演算では、イメージセンサーから得られた複数の撮像画像の時間的差分情報から、被写体の動きを算出するが、このような処理ができないことがある。従って、周知のような動きベクトルを利用したブレ補正を行う場合に、センサー駆動を変更した瞬間にブレが大きいと、ブレ補正残りが発生して目立つことがある。
また、ＡＦ（Auto-Focus）制御において致命的な外乱を与えることもある。ＡＦ制御では、イメージセンサーから得られた撮像画像に含まれる高周波成分を検波して、結像光学系に構成されるフォーカスレンズを制御して、常に被写体にピントを合わせる制御を行う。しかし、特に合焦したか否かを判定するタイミングにおいて、致命的な外乱を与えることがある。
また、ＡＥ制御の性能が向上しても画質が低下することもある。
【０００６】
本発明は、ＡＥ制御に連動してセンサーの駆動モードを切り替えながら電子シャッター制御を行う場合の他の機能への影響を防止することができる撮像装置及びその制御方法等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本願発明者が上記のようなビデオカメラの他の機能への影響が及ぶ原因について鋭意検討を行ったところ、従来の技術では、空間解像度（垂直解像度）が犠牲にされていることを見出した。そして、本願発明者は以下の発明に想到した。
【０００８】
本発明に係る撮像装置は、複数画素の電荷の蓄積の開始及び読み出しを、フレーム又はフィールド内で順次行う第１の駆動モードと、前記複数画素を複数のグループに分け、前記複数のグループ各々の画素の電荷の蓄積の開始及び読み出しをフレーム又はフィールド内で順次行い、かつ、前記複数のグループ間の電荷の蓄積の開始及び読み出しを互いに重複するようにする第２の駆動モードと、の切り替えが可能な撮像素子と、測光評価の結果に応じて少なくとも前記撮像素子の蓄積時間を変更することにより自動露光制御を行う自動露光制御手段と、前記第１の駆動モードと前記第２の駆動モードとを切り替えるモード変更制御手段と、を有する撮像装置であって、前記モード変更制御手段は、前記自動露光制御手段による自動露光制御及び前記第１の駆動モードと前記第２の駆動モードとの切り替えにより生じる前記撮像素子の解像度の変化と、前記撮像装置の動作状態と、を比較し、この結果に応じて前記第１の駆動モードと前記第２の駆動モードとを切り替えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ＡＥ制御に連動してセンサーの駆動モードを切り替えながら電子シャッター制御を行う場合であっても、他の機能への影響を防止することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る撮像装置を示すブロック図である。
【図２】ＡＦ制御部の動作を示すフローチャートである。
【図３】特定顔位置追尾制御部の動作を示すフローチャートである。
【図４】ＡＥ制御部１１９の動作を示す制御線図である。
【図５】ＣＭＯＳイメージセンサーの構成を示す図である。
【図６】ＣＭＯＳイメージセンサーの動作を示すタイミングチャートである。
【図７】センサー駆動モード変更制御部の動作を示すフローチャートである。
【図８】センサー駆動モード変更制御部の動作を示すフローチャートである。
【図９】第３の実施形態に係る撮像装置を示すブロック図である。
【図１０】センサー駆動モード変更制御部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。
【００１２】
（第１の実施形態）
先ず、第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置を示すブロック図である。図１において、１０１はフォーカスレンズ、１０２は絞り、１０３はＣＭＯＳイメージセンサー（撮像素子）、１０４はアナログフロントエンド（ＡＦＥ）、１０５はゲイン回路、１０６はカメラ信号処理回路、１０７は第１のフレームメモリを示す。１０８は第１のメモリコントローラ、１０９は拡大処理回路、１１０は表示記録部、１１１は測光評価演算回路、１１２はＴＶ−ＡＦ検波回路、１１３は第３のフレームメモリ、１１４は動きベクトル演算回路、１１５は第２のフレームメモリを示す。１１６は第２のメモリコントローラ、１１７は特定顔認識回路、１１８は不特定顔検出回路を示す。１１９はＡＥ制御部、１２０は同期信号生成部、１２１はＡＦ制御部、１２２はブレ補正制御部、１２３はブレ補正量判定部、１２４は特定顔位置追尾制御部、１２５はセンサー駆動モード変更履歴保持部、１２６はセンサー駆動モード変更制御部を示す。
ＡＥ制御部１１９、同期信号生成部１２０、ＡＦ制御部１２１、ブレ補正制御部１２２、ブレ補正量判定部１２３、特定顔位置追尾制御部１２４、センサー駆動モード変更履歴保持部１２５、及びセンサー駆動モード変更制御部１２６は、例えば、マイクロコンピュータ等のソフトウェアにより構成される。
また、Ｓ１０１は入力映像信号、Ｓ１０２はコンポーネント映像信号、Ｓ１０３はメモリ切り出し映像信号、Ｓ１０４は出力映像信号、Ｓ１０５は１フレーム遅延映像信号、Ｓ１０６は顔認識及び検出用映像信号、Ｓ１０７は測光評価値を示す。Ｓ１０８はＴＶ−ＡＦ評価値、Ｓ１０９は動きベクトルデータ、Ｓ１１０は特定顔位置データ、Ｓ１１１は不特定顔位置データ、Ｓ１１２は同期信号、Ｓ１１３は絞り制御信号、Ｓ１１４は電子シャッター制御信号、Ｓ１１５はゲイン設定データを示す。Ｓ１１６はセンサー駆動モード設定データ、Ｓ１１７はＴＶ−ＡＦ制御モードデータ、Ｓ１１８はフォーカスレンズ制御信号、Ｓ１１９はブレ補正制御信号、Ｓ１２０は画像切り出し範囲設定データ、Ｓ１２１はブレ補正量判定データを示す。Ｓ１２２はブレ補正状況判別データ、Ｓ１２３は特定顔認識と不特定顔検出の状態判別データ、Ｓ１２４はセンサー駆動モード切替制御信号、Ｓ１２５はセンサー駆動モード切替履歴データ、Ｓ１２６は顔位置表示枠信号を示す。
【００１３】
次に、第１の実施形態の動作について説明する。
フォーカスレンズ１０１及び絞り１０２（光学的絞り）を通じて、ＣＭＯＳイメージセンサー１０３に被写体の光学像が結像されると、ＣＭＯＳイメージセンサー１０３から映像信号が出力される。次いで、映像信号がＡＦＥ１０４によりディジタル映像化され、ゲイン回路１０５（ゲイン調整回路）において所定のゲイン演算がなされて、入力映像信号Ｓ１０１が生成される。ＣＭＯＳイメージセンサー１０３及びＡＦＥ１０４の駆動は、同期信号生成部１２０により生成される同期信号Ｓ１１２に同期して行われる。なお、ＣＭＯＳイメージセンサー１０３の内部構成及び動作については、詳細に後述する。
カメラ信号処理回路１０６は、入力映像信号Ｓ１０１に対して、ガンマ補正、輪郭補正、各種色信号処理等の周知の信号処理を施し、コンポーネント映像信号Ｓ１０２を生成する。
コンポーネント映像信号Ｓ１０２は、例えば第１のフレームメモリ１０７に格納される。第１のフレームメモリ１０７は、第１のメモリコントローラ１０８からの画像切り出し範囲設定データＳ１２０による切り出し範囲の制御に基づき、メモリ切り出し映像信号Ｓ１０３を出力する。
拡大処理回路１０９は、メモリ切り出し映像信号Ｓ１０３を所定の倍率で拡大し、出力映像信号Ｓ１０４を生成する。出力映像信号Ｓ１０４は表示記録部１１０に送られて、表示及び図示しない記録メディアへの映像記録が行われる。
【００１４】
測光評価演算回路１１１は、入力映像信号Ｓ１０１を用い、撮影中の被写体の明るさを表す測光評価値Ｓ１０７を生成する。
ＴＶ−ＡＦ検波回路１１２は、入力映像信号Ｓ１０１を用い、撮影中の被写体へのピントの度合いを表すＴＶ−ＡＦ評価値Ｓ１０８を生成する。
第３のフレームメモリ１１３は、入力映像信号Ｓ１０１を格納する。そして、動きベクトル演算回路１１４は、ゲイン回路１０５からの入力映像信号Ｓ１０１及び第３のフレームメモリ１１３からの１フレーム遅延映像信号Ｓ１０５を用いて、撮影中の全景がどのように動いているかを表す動きベクトルデータＳ１０９を生成する。動きベクトルデータＳ１０９は、ブレ補正制御部１２２へと入力され、ブレ補正制御部１２２は、ブレ補正制御信号Ｓ１１９及びブレ補正量判定データＳ１２１を生成する。ブレ補正制御信号Ｓ１１９は、動きベクトルデータＳ１０９に対し、大きさが等しく方向成分が逆のベクトルデータである。第１のメモリコントローラ１０８は、ブレ補正制御信号Ｓ１１９に従い、画像切り出し範囲設定データＳ１２０を生成する。従って、第１のフレームメモリ１０７から出力されるメモリ切り出し映像信号Ｓ１０３の画像は、撮像装置本体のブレが除去された画像となる。また、ブレ補正量判定データＳ１２１は、動きベクトルデータＳ１０９の大きさが、所定の大きさ以上であるときは「１」となり、前記所定の大きさ未満であるときは「０」となる。なお、ブレ補正量に代えてブレ量を用いてもよい。
第２のフレームメモリ１１５は、入力映像信号Ｓ１０１を格納する。そして、特定顔認識回路１１７は、第２のフレームメモリ１１５からの顔認識及び検出用映像信号Ｓ１０６を用い、撮影中の被写体に予め登録された特定の人物顔が存在するかを識別し、前記特定の顔の位置情報である特定顔位置データＳ１１０を生成する。また、不特定顔検出回路１１８は、第２のフレームメモリ１１５からの顔認識及び検出用映像信号Ｓ１０６を用い、撮影中の被写体に不特定の人物顔が存在するかを検出し、前記不特定の顔の位置情報である不特定顔位置データＳ１１１を生成する。
【００１５】
次に、ＡＦ制御部１２１の動作（自動焦点制御）について、図２に示すフローチャートを参照しながら説明する。本実施形態では、コントラストＡＦ制御の動作モードとして、次の３つのモードが設定されている。一つは、フォーカスレンズ１０１のレンズ位置が合焦となる位置を探索するサーチモードである。他の一つは、合焦位置に到達しているかを判定する合焦判定モードである。残りの一つは、到達した合焦位置に安定してピントを合わせつつ、微小なピント変化に対しては追従可能とするウォブリングモードの３モードである。
ステップＳＴ１においてＡＦ制御動作が開始されると、先ず、ステップＳＴ２において、ＡＦ制御部１２１は、ＴＶ−ＡＦ制御モードデータＳ１１７を「０」として、サーチモードに設定する。サーチモード設定中は、ＴＶ−ＡＦ制御モードデータＳ１１７として「０」が出力される。次いで、ステップＳＴ３において、ＡＦ制御部１２１は、フォーカスレンズ１０１のレンズ位置を「２０」移動させ、ステップＳＴ４において、ＴＶ−ＡＦ検波回路１１２からＴＶ−ＡＦ評価値Ｓ１０８を取得する。その後、ステップＳＴ５において、ＡＦ制御部１２１は、ステップＳＴ４で取得したＴＶ−ＡＦ評価値Ｓ１０８と、過去に取得したＴＶ−ＡＦ評価値Ｓ１０８との差分絶対値が所定の値、例えば、１００以上かどうかを判定し、１００以上ならステップＳＴ２に戻り、１００未満ならステップＳＴ６へ進む。差分絶対値が所定の値未満であることは、除々に合焦位置に近づいていることを示すので、ステップＳＴ６では、ＡＦ制御部１２１は、フォーカスレンズ１０１のレンズ位置の移動量を少なく、「５」移動させる。続いて、ステップＳＴ７において、ＡＦ制御部１２１は、再度、ＴＶ−ＡＦ検波回路１１２からＴＶ−ＡＦ評価値Ｓ１０８を取得し、ステップＳＴ８において、ステップＳＴ５と同様、差分絶対値が１００以上かどうかを判定し、１００以上ならステップＳＴ２に戻る。これは、除々に合焦位置に近づいている状態で被写体の状況が急に変化して、フォーカスレンズ１０１のレンズ位置の調整をやり直す必要がある場合に備えるものである。ステップＳＴ８で差分絶対値が１００未満ならステップＳＴ９へ進む。ステップＳＴ８で差分絶対値が１００未満であることは、順調に合焦位置に近づいていることを示すので、ステップＳＴ９では、ＡＦ制御部１２１は、差分絶対値が上記の値よりも低い所定の値、例えば２０以上かどうかを判定する。そして、２０以上ならステップＳＴ６に戻り、２０未満ならステップＳＴ１０へと進む。
【００１６】
差分絶対値が２０未満であることは、ほぼ合焦位置に到達していることを示すので、ステップＳＴ１０では、ＡＦ制御部１２１は、ＴＶ−ＡＦ制御モードデータＳ１１７を「１」として、合焦判定モードに設定する。合焦判定モード設定中は、ＴＶ−ＡＦ制御モードデータＳ１１７として「１」が出力される。次いで、ステップＳＴ１１において、ＡＦ制御部１２１は、フォーカスレンズ１０１のレンズ位置を移動させる。ここでは、おおむね合焦位置に到達しているので、移動量は「１」とする。その後、ステップＳＴ１２において、ＡＦ制御部１２１は、ＴＶ−ＡＦ評価値Ｓ１０８を取得し、ステップＳＴ１３で、ステップＳＴ５と同様、差分絶対値が、１００以上かどうかを判定する。そして、１００以上であれば、被写体の状況が急に変化して、フォーカスレンズ１０１のレンズ位置の調整をやり直す必要があるため、ステップＳＴ２へ戻り、１００未満であれば被写体の状況に変化はないものとして、ステップＳＴ１４へと進む。ステップＳＴ１４では、おおむね合焦位置に到達しており、かつ、被写体の状況に変化はなく、ほぼ合焦状態であるので、ＡＦ制御部１２１は、それを確認するために、差分絶対値が５以上であるかを判定する。そして、差分絶対値が５以上ならば、ステップＳＴ１０へと戻る。まだ所定の合焦状態ではないからである。差分絶対値が５未満ならば、ステップＳＴ１５へと進む。ステップＳＴ１５では、所定の合焦状態とみなすことができるため、ＡＦ制御部１２１は、さらに、安定して合焦したかを判定するため、差分絶対値が５未満である状態が５回連続しているかを判定する。５回連続していなければ、ステップＳＴ１０に戻り、５回連続したならば、ステップＳＴ１６に進む。
【００１７】
差分絶対値が５未満である状態が５回連続していることは、安定した所定の合焦状態であることを示すため、ステップＳＴ１６では、ＡＦ制御部１２１は、ＴＶ−ＡＦ制御モードデータＳ１１７を「２」として、ウォブリングモードに設定する。ウォブリングモードに設定中は、ＴＶ−ＡＦ制御モードデータＳ１１７として「２」が出力される。次いで、ステップＳＴ１７において、ＡＦ制御部１２１は、フォーカスレンズ１０１のレンズ位置を移動させる。ここでは、安定して合焦しているので、移動量は「１」とする。その後、ステップＳＴ１８において、ＡＦ制御部１２１は、ＴＶ−ＡＦ評価値Ｓ１０８を取得する。続いて、ステップＳＴ１９において、ＡＦ制御部１２１は、過去５回分の取得評価値のメディアン値を求める。メディアン処理を行うと、孤立点状の外乱を排除することが可能である。ステップＳＴ１９の処理を行うのは、ウォブリングモード時は、撮影したい被写体に対して安定して合焦できている状態なので、例えば、被写体の前面を別の物体が一瞬横切るなどの撮影時の外乱に対しては、焦点制御が過剰に応答しないようにすることが好ましいからである。次いで、ステップＳＴ２０において、ＡＦ制御部１２１は、ステップＳＴ１９のメディアン処理された評価値に対する差分絶対値が１００以上であるかどうかの判定を行い、１００以上であれば、ステップＳＴ２へと戻る。これは、明らかに被写体の状況が変化して、フォーカスレンズ１０１のレンズ位置の調整をやり直すためである。一方、メディアン処理された評価値に対する差分絶対値が１００未満であれば、ステップＳＴ１６へ戻る。安定した合焦状態が維持されているからである。
このようにして、ＡＦ制御部１２１は動作する。
【００１８】
次に、特定顔位置追尾制御部１２４の動作について、図３に示すフローチャートを参照しながら説明する。
ステップＳＴ３１において特定顔位置追尾制御が開始されると、先ず、ステップＳＴ３２において、特定顔位置追尾制御部１２４は、特定顔認識と不特定顔検出の状態判別データＳ１２３を「０」とし、ステップＳＴ３３において、特定顔認識の処理を開始する。ここで、状態判別データＳ１２３が「０」であることは、特定の顔の位置を認識中であるか、又は、認識できていない状態を表す。つまり、状態判別データＳ１２３は特定顔認識の結果の取得状態を反映する。ステップＳＴ３３では、特定顔位置追尾制御部１２４は、第２のメモリコントローラ１１６を制御して、第２のフレームメモリ１１５に記憶された全画像領域の顔認識及び検出用映像信号Ｓ１０６を、特定顔認識回路１１７に供給させる。そして、予め登録された特定の顔が認識されて、特定顔認識回路１１７が特定顔位置データＳ１１０を出力する。
その後、ステップＳＴ３４において、特定顔位置追尾制御部１２４は、ステップＳＴ３３の特定顔認識の処理において、特定顔が認識できたかを判定し、できなければ再度特定顔認識を行うため、ステップＳＴ３２へと戻り、できていればステップＳＴ３５へと進む。ステップＳＴ３５では、特定顔位置追尾制御部１２４は、ステップＳＴ３３で得られた特定顔位置データＳ１１０に基づき、顔位置表示枠信号Ｓ１２６を生成し、表示記録部１１０に出力する。表示記録部１１０は、例えば前記特定の顔の位置に四角い枠を重畳して表示及び／又は記録する。
続いて、ステップＳＴ３６において、特定顔位置追尾制御部１２４は、状態判別データＳ１２３を「１」とする。ここで、状態判別データＳ１２３が「１」であることは、特定の顔が認識でき、かつ、その位置が判明している状態を表す。
次いで、ステップＳＴ３７において、特定顔位置追尾制御部１２４は、ステップＳＴ３３で得られた特定顔位置データＳ１１０に基づき、第２のフレームメモリ１１５から読み出される顔認識及び検出用映像信号Ｓ１０６の切り出し範囲を調整する。この結果、切り出し範囲が調整された顔認識及び検出用映像信号Ｓ１０６においては、ステップＳＴ３３で得られた特定の顔のみを含む部分画像が含まれることとなる。
その後、ステップＳＴ３８において、不特定顔検出回路１１８が、不特定顔検出処理を実施する。即ち、不特定顔検出回路１１８は、ステップＳＴ３７で得られた特定の顔のみを含む部分画像に対して、顔の位置の検出を実行し、不特定顔位置データＳ１１１を出力する。不特定顔位置データＳ１１１は、特定の顔に限らず、その位置を表すものであるが、上述したように、既に特定の顔のみを含む部分画像から得られた顔の位置情報であるので、特定の顔の位置情報となっている。特定の顔認識に係る計算負荷と、不特定の顔検出に係る計算負荷とでは、前者の方がはるかに大きいので、本実施形態では、特定の顔認識をした後、不特定の顔検出により特定の顔に対する追従を行う。
ステップＳＴ３８の後、ステップＳＴ３９において、特定顔位置追尾制御部１２４は、ステップＳＴ３８の不特定顔検出の処理において、顔位置が検出できたかを判定し、ステップＳＴ３２へと戻る。顔画像が消失したものと判定できるからである。一方、顔位置が検出できていれば、ステップＳＴ３５へと戻る。特定の顔を追尾し続けているからである。
このようにして、特定顔位置追尾制御部１２４は動作する。
【００１９】
次に、ＡＥ制御部１１９の動作（自動露光制御）について、図４に示す制御線図を参照しながら説明する。図４の制御線図の横軸は測光評価値Ｓ１０７であり、被写体輝度が暗い方から順に、ＥＶ０、ＥＶ１、ＥＶ２、ＥＶ３、ＥＶ４、ＥＶ５の計６箇所の制御切り換えポイントを設定した例を示してある。ここでは、被写体輝度が明るい方から順を追って説明する。
被写体輝度がＥＶ５以上の範囲内にある場合、ＡＥ制御部１１９は、絞り１０２を、絞り制御信号Ｓ１１３によりＦ１６で固定する。また、ＡＥ制御部１１９は、ＣＭＯＳイメージセンサー１０３の蓄積時間を、電子シャッター制御信号Ｓ１１４により１／５００ｓｅｃに固定する。更に、ＡＥ制御部１１９は、ゲイン回路１０５の利得を、ゲイン設定データＳ１１５により０ｄＢに固定する。従って、ＥＶ５以上の被写体輝度においては、ＡＥ制御が行われず、被写体が最も白飛びしにくい限度の設定で固定される。
被写体輝度がＥＶ５未満ＥＶ４以上の範囲内にある場合、ＡＥ制御部１１９は、絞り１０２を、絞り制御信号Ｓ１１３によりＦ１６〜Ｆ５．６の範囲内で調整する。従って、絞り１０２を用いたＡＥ制御が実施される。
被写体輝度がＥＶ４未満ＥＶ３以上の範囲内にある場合、ＡＥ制御部１１９は、ＣＭＯＳイメージセンサー１０３の蓄積時間を、電子シャッター制御信号Ｓ１１４により１／５００ｓｅｃ〜１／６０ｓｅｃの範囲内で調整する。従って、ＣＭＯＳイメージセンサー１０３の蓄積時間を用いたＡＥ制御が実施される。
被写体輝度がＥＶ３未満ＥＶ２以上の範囲内にある場合、ＡＥ制御部１１９は、絞り１０２を、絞り制御信号Ｓ１１３によりＦ５．６〜開放の範囲内で調整する。従って、絞り１０２を用いたＡＥ制御が実施される。
被写体輝度がＥＶ２未満ＥＶ１以上の範囲内にある場合、ＡＥ制御部１１９は、ゲイン回路１０５の利得を、ゲイン設定データＳ１１５により０ｄＢ〜１８ｄＢの範囲内で調整する。従って、ゲイン回路１０５の利得を用いたＡＥ制御が実施される。
被写体輝度がＥＶ１未満ＥＶ０以上の範囲内にある場合、ＡＥ制御部１１９は、ＣＭＯＳイメージセンサー１０３の蓄積時間を、電子シャッター制御信号Ｓ１１４により、１／６０ｓｅｃ〜１／３０ｓｅｃの範囲内で調整する。従って、ＣＭＯＳイメージセンサー１０３の蓄積時間を用いたＡＥ制御が実施される。また、このとき、センサー駆動モード設定データＳ１１６が「１」に切り換えられる。センサー駆動モード設定データＳ１１６の作用については、詳細に後述する。
被写体輝度がＥＶ０未満の範囲内にある場合、ＡＥ制御部１１９は、絞り１０２を、絞り制御信号Ｓ１１３により開放に固定する。また、ＡＥ制御部１１９は、ＣＭＯＳイメージセンサー１０３の蓄積時間を、電子シャッター制御信号Ｓ１１４により、１／３０ｓｅｃに固定する。更に、ＡＥ制御部１１９は、ゲイン回路１０５の利得を、ゲイン設定データＳ１１５により、１８ｄＢに固定する。従って、ＥＶ０未満の被写体輝度においては、ＡＥ制御が行われず、被写体を最も明るく表示及び記録する限度の設定で固定される。
このようにして、ＡＥ制御部１１９は動作する。
【００２０】
次に、ＣＭＯＳイメージセンサー１０３の構成及び動作について、図５に示す構成図及び図６に示すタイミングチャートを参照しながら説明する。
図５（ａ）において、５０１は画素部、５０２は垂直信号線、５０３は垂直駆動回路、５０４は電荷読み出し制御線、５０５はリセット制御線を示す。また、５０６は行選択線、５０７は列アンプ、５０８は水平駆動部、５０９は出力バッファ、５１０は映像出力端子、５１１は同期信号入力端子を示す。また、図５（ｂ）は各画素部５０１の構成を示しており、５０１０はフォトダイオード、５０１１はフローティングディフュージョン部、５０１２は読み出しトランジスタを示す。また、５０１３はリセットトランジスタ、５０１４は画素アンプ、５０１５は行選択トランジスタ、５０１６は電源配線を示す。なお、本実施形態では説明の簡略化のため、複数画素として４行４列の１６個の画素の例を示している。
【００２１】
図６（ａ）は、図５の詳細構成のＣＭＯＳイメージセンサー１０３を、全画素プログレッシブ駆動する場合のタイミングチャートであり、図６（ｂ）は、蓄積時間重複の間引き駆動する場合のタイミングチャートである。
【００２２】
先ず、全画素プログレッシブ駆動（第１の駆動モード）について説明する。
図６（ａ）において、ｔ０１、ｔ１１、ｔ２１、及びｔ３１は、４行各々の画素部５０１における、フォトダイオード５０１０及びフローティングディフュージョン部５０１１の電荷をリセットするタイミングであり、各々１水平期間ずつずれたものとなっている。即ち、図６（ａ）のＴｘ０、Ｔｘ１、Ｔｘ２、及びＴｘ３、並びに、Ｒｅｓ０、Ｒｅｓ１、Ｒｅｓ２、及びＲｅｓ３に示すように、１水平期間ずれながら、電荷読み出し制御線５０４（Ｔｘ）及びリセット制御線５０５（Ｒｅｓ）が同時にアクティブとなる。この結果、フォトダイオード５０１０及びフローティングディフュージョン部５０１１が、読み出しトランジスタ５０１２及びリセットトランジスタ５０１３を介して、同時に電源配線５０１６とつながり、電位が電源電位にリセットされるのである。
図６（ａ）において、ｔ０２、ｔ１２、ｔ２２、及びｔ３２は、４行各々の画素部５０１のフォトダイオード５０１０において蓄積された電荷を、読み出しトランジスタ５０１２を介してフローティングディフュージョン部５０１１に読み出すタイミングを示す。ｔ０２、ｔ１２、ｔ２２、及びｔ３２も、各々１水平期間ずつずれたタイミングである。このときの蓄積時間は、１行目においてはｔ０１〜ｔ０２、２行目においてはｔ１１〜ｔ１２、３行目においてはｔ２１〜ｔ２２、４行目においてはｔ３１〜ｔ３２となっており、いずれも図６（ａ）に示した垂直同期信号周期（フレーム周期でもある）Ｔｖ＝１／６０ｓｅｃとほぼ同じ時間となる。ｔ０１、ｔ１１、ｔ２１、及びｔ３１の発生タイミングは、電子シャッター制御信号Ｓ１１４に従い、垂直駆動回路５０３の動作により変更可能である。そして、ｔ０１、ｔ１１、ｔ２１、及びｔ３１をｔ０２、ｔ１２、ｔ２２、及びｔ３２に近づけてゆけば、図４のＥＶ３〜ＥＶ４で行う蓄積時間１／６０〜１／５００ｓｅｃの制御が実現される。なお、図４のＥＶ０〜ＥＶ１で行う蓄積時間１／３０〜１／６０ｓｅｃの制御では、ｔ０１、ｔ１１、ｔ２１、及びｔ３１をｔ０２、ｔ１２、ｔ２２、及びｔ３２から遠ざける制御が必要である。このため、図６（ａ）に示した垂直同期信号周期を伸ばす必要がある。しかし、本実施形態では、後述する蓄積時間重複の間引き駆動により、垂直同期信号周期を伸ばすことなく、図４のＥＶ０〜ＥＶ１で行う蓄積時間１／３０〜１／６０ｓｅｃの制御を行う。これについては詳細に後述する。
図６（ａ）において、ｔ０３、ｔ１３、ｔ２３、及びｔ３３は、４行の各行毎に、行選択線５０６（Ｓｅｌ）を１水平期間ずつずれたタイミングでアクティブにするタイミングを示す。行選択線５０６（Ｓｅｌ）がアクティブになると、フローティングディフュージョン部５０１１に読み出された電荷を、画素アンプ５０１４が電圧信号に変換し、行選択トランジスタ５０１５及び垂直信号線５０２を介して列アンプ５０７が増幅する。
図６（ａ）において、ｔ０４、ｔ１４、ｔ２４、及びｔ３４は、ｔ０３、ｔ１３、ｔ２３、及びｔ３３において、列アンプ５０７で増幅された各行毎の蓄積電荷信号を、水平駆動部５０８において水平駆動開始するタイミングである。また、ｔ０５、ｔ１５、ｔ２５、及びｔ３５は、この駆動の終了のタイミングである。即ち、ｔ０４〜ｔ０５は１行目の蓄積電荷信号を水平駆動して出力バッファ５０９及び映像出力端子５１０から出力する時間に相当する。同様に、ｔ１４〜ｔ１５は２行目の蓄積電荷信号を水平駆動して出力バッファ５０９及び映像出力端子５１０から出力する時間に相当し、ｔ２４〜ｔ２５は３行目の蓄積電荷信号を水平駆動して出力バッファ５０９及び映像出力端子５１０から出力する時間に相当する。ｔ３４〜ｔ３５は４行目の蓄積電荷信号を水平駆動して出力バッファ５０９及び映像出力端子５１０から出力する時間に相当する。また、例えばｔ０５〜ｔ１４は、いわゆる水平ブランキング期間である。
【００２３】
なお、同期信号入力端子５１１より入力される同期信号Ｓ１１２は、垂直駆動回路５０３及び水平駆動部５０８に入力され、上記説明した、各タイミングの基準として用いられる。
以上説明したとおり、図６（ａ）のように、ＣＭＯＳイメージセンサー１０３を全画素プログレッシブ駆動する場合には、最長蓄積時間として約１／６０ｓｅｃとし、フレーム周期として毎秒６０フレームで、垂直画素数４画素の動画像を得ることができる。なお、電荷の蓄積の開始及び読み出しをフィールド内で順次行ってもよい。
【００２４】
次に、蓄積時間重複の間引き駆動（第２の駆動モード）について説明する。
図６（ｂ）においても、ｔ０１、ｔ１１、ｔ２１、及びｔ３１は、４行各々の画素部５０１における、フォトダイオード５０１０及びフローティングディフュージョン部５０１１の電荷をリセットするタイミングである。ここでは、ｔ０１及びｔ２１が１水平期間ずれたタイミングとなり、１垂直期間をおいて、ｔ１１及びｔ３１が１水平期間ずれたタイミングとなる。
図６（ｂ）においても、ｔ０２、ｔ１２、ｔ２２、及びｔ３２は、４行各々の画素部５０１のフォトダイオード５０１０において蓄積された電荷を、読み出しトランジスタ５０１２を介してフローティングディフュージョン部５０１１に読み出すタイミングを示す。ここでは、ｔ０２及びｔ２２が１水平期間ずれたタイミングとなり、１垂直期間をおいて、ｔ１２及びｔ３２が１水平期間ずれたタイミングとなる。このときの蓄積時間は、図６（ａ）と同様に、１行目においてはｔ０１〜ｔ０２、２行目においてはｔ１１〜ｔ１２、３行目においてはｔ２１〜ｔ２２、４行目においてはｔ３１〜ｔ３２である。従って、図６（ｂ）に示した垂直同期信号周期Ｔｖ＝１／６０ｓｅｃのほぼ２倍の時間となる。また、図６（ａ）と同様に、ｔ０１、ｔ１１、ｔ２１、及びｔ３１の発生タイミングは、電子シャッター制御信号Ｓ１１４に従い、垂直駆動回路５０３の動作により変更可能である。従って、図４のＥＶ０〜ＥＶ１で行う蓄積時間１／３０〜１／６０ｓｅｃの制御は、上述したように、垂直同期信号周期を伸ばすことなく実現されるものとなる。
図６（ｂ）においても、ｔ０３、ｔ１３、ｔ２３、及びｔ３３は、４行の各行毎に、行選択線５０６（Ｓｅｌ）をアクティブにするタイミングを示す。ここでは、ｔ０３及びｔ２３が１水平期間ずれてアクティブとなるタイミングとなり、１垂直期間をおいて、ｔ１３とｔ３３が１水平期間ずれてアクティブとなるタイミングとなる。
図６（ｂ）においても、ｔ０４、ｔ１４、ｔ２４、及びｔ３４は、水平駆動部５０８において水平駆動開始するタイミングであり、ｔ０５、ｔ１５、ｔ２５、及びｔ３５は、この駆動の終了のタイミングである。ここでは、ｔ０４及びｔ２４、並びにｔ０５及びｔ２５が１水平期間ずれたタイミングとなっている。また、１垂直期間をおいて、ｔ１４及びｔ３４、並びにｔ１５及びｔ３５が１水平期間ずれたタイミングとなっている。このため、１行目及び３行目の蓄積電荷信号が水平駆動されて、出力バッファ５０９及び映像出力端子５１０から出力され、１垂直期間をおいて、２行目及び４行目の蓄積電荷信号が水平駆動されて、出力バッファ５０９及び映像出力端子５１０から出力される。
【００２５】
以上説明したとおり、図６（ｂ）のように、ＣＭＯＳイメージセンサー１０３を蓄積時間重複の間引き駆動する場合には、最長蓄積時間として約１／３０ｓｅｃとし、フレーム周期として毎秒６０フレームで、垂直画素数２画素の動画像を得ることができる。この場合、１６個の画素を複数（４）のグループに分け、グループ各々の画素の電荷の蓄積の開始及び読み出しを行うこととなる。また、複数のグループ間の電荷の蓄積の開始及び読み出しが互いに重複するようになる。ここで、電荷の蓄積の開始及び読み出しをフィールド内で順次行ってもよい。
このようにして、ＣＭＯＳイメージセンサー１０３は動作する。
【００２６】
次に、センサー駆動モード変更制御部１２６の動作について、図７に示すフローチャートを参照しながら説明する。
ステップＳＴ７１においてセンサー駆動モード変更の制御が開始されると、先ず、ステップＳＴ７２において、センサー駆動モード変更制御部１２６は、センサー駆動モード設定データＳ１１６の値を取得する。次いで、ステップＳＴ７３において、センサー駆動モード変更制御部１２６は、図４に示すＡＥ制御の制御線図に基づき、センサー駆動モード設定データＳ１１６の値が「０」から１に、又は「１」から「０」に変更したか否かを判定する。そして、変更がなければ、ステップＳＴ７２へと戻る。変更があれば、ステップＳＴ７４に進む。ステップＳＴ７４において、センサー駆動モード変更制御部１２６は、ＴＶ−ＡＦ制御モードデータＳ１１７を取得する。その後、ステップＳＴ７５において、センサー駆動モード変更制御部１２６は、ブレ補正状況判別データＳ１２２を取得する。続いて、ステップＳＴ７６において、センサー駆動モード変更制御部１２６は、特定顔認識及び不特定顔検出の状態判別データＳ１２３を取得する。更に、センサー駆動モード変更制御部１２６は、ステップＳＴ７７において、センサー駆動モード切替履歴データＳ１２５を取得する。次いで、ステップＳＴ７８において、センサー駆動モード変更制御部１２６は、ＴＶ−ＡＦ制御モードデータＳ１１７が「１」、ブレ補正状況判別データＳ１２２が「１」、状態判別データＳ１２３が「０」、センサー駆動モード切替履歴データＳ１２５が「１」の４つの条件のいずれかが満たされているか判定する。つまり、撮像装置の動作状態を確認する。
【００２７】
ＴＶ−ＡＦ制御モードデータＳ１１７が「１」であることは、ＴＶ−ＡＦ制御が合焦判定モードであることを表す。上述したように、合焦判定モードでは、ＴＶ−ＡＦ評価値Ｓ１０８の微小な変動を検出して合焦しているか否かが判定される。従って、ＣＭＯＳイメージセンサー１０３の駆動に、全画素プログレッシブ駆動と蓄積時間重複の間引き駆動との切り替わりによる解像度変化という外乱が生じると、その影響が甚大である。それに対し、サーチモードはＴＶ−ＡＦ評価値Ｓ１０８の微小な変動は見ないので影響はほとんどなく、ウォブリングモードでは、図２のステップＳＴ１９で示すような外乱防止機能があるので問題ない。
ブレ補正状況判別データＳ１２２が「１」であることは、動きベクトルデータＳ１０９の大きさが、所定の大きさ以上であることを表す。ＣＭＯＳイメージセンサー１０３の駆動に、全画素プログレッシブ駆動と蓄積時間重複の間引き駆動との切り替わりが生じると、その瞬間は、動きベクトルデータＳ１０９が出力されない。このため、第１のフレームメモリ１０７のメモリ切り出し映像信号Ｓ１０３により実現している撮像装置本体のブレ除去が一瞬途切れ、さらにそれが目立つ結果となる。
状態判別データＳ１２３が「０」であることは、特定の顔の位置を認識中であるか、又は、認識できていない状態を表す。このとき、ＣＭＯＳイメージセンサー１０３の駆動に、全画素プログレッシブ駆動と蓄積時間重複の間引き駆動との切り替わりが生じ、特に間引き駆動となる場合には、目など、特定顔認識（形状認識）に重要な情報が欠落する場合が生じ、認識ができない可能性がある。
センサー駆動モード切替履歴データＳ１２５が「１」であることは、ＣＭＯＳイメージセンサー１０３の駆動の全画素プログレッシブ駆動と蓄積時間重複の間引き駆動との切り替えが、所定の時間内に生じたことを示す。このとき、更にＣＭＯＳイメージセンサー１０３の駆動の切り替わりが発生すると、全画素プログレッシブ駆動と間引き駆動とが頻繁に発生して動画像画質としても不適当である。
【００２８】
そこで、ステップＳＴ７８での判定が成立する場合、即ち、上記の４つの条件の少なくともいずれかが満たされる場合には、ＣＭＯＳイメージセンサー１０３の駆動切り替えを控えた方がよい状況にある。従って、ステップＳＴ７４に戻り、センサー駆動モード変更制御部１２６は、再度、ステップＳＴ７４〜ステップＳＴ７８を繰り返す。また、ステップＳＴ７８での判定が成立しない場合、即ち、４つの条件の少なくともいずれもが満たされない場合には、ＣＭＯＳイメージセンサー１０３の駆動切り替えても差し支えない状況にある。従って、センサー駆動モード変更制御部１２６は、ステップＳＴ７９において、ＣＭＯＳイメージセンサー１０３の駆動を切り替えるセンサー駆動モード切替制御信号Ｓ１２４を、全画素プログレッシブ駆動又は蓄積時間重複の間引き駆動のいずれかを表す値に切り替える。そして、ステップＳＴ７１０において処理を終了する。
このようにして、センサー駆動モード変更制御部１２６は動作する。
【００２９】
また、センサー駆動モード変更履歴保持部１２５においては、センサー駆動モード切替制御信号Ｓ１２４の値が変化したタイミングを起点に、例えば変化後の値が１０回連続するかを検出する。即ち、センサー駆動モード切替制御信号Ｓ１２４が「０」から「１」に変化した場合には、「１」が１０回連続するかを検出する。また、センサー駆動モード切替制御信号Ｓ１２４が「１」から「０」に変化した場合には、「０」が１０回連続するかを検出する。そして、センサー駆動モード変更履歴保持部１２５は、連続回数が１０回未満の間はセンサー駆動モード切替履歴データＳ１２５を「０」とし、１０回以上連続すると、センサー駆動モード切替履歴データＳ１２５を「１」とする。このような動作によれば、一旦、全画素プログレッシブ駆動又は間引き駆動の駆動モード変更が生じたら、以降の１０フレーム期間は、同様の駆動モードの変更が抑制されることとなる。
【００３０】
このような第１の実施形態によれば、予め登録した顔画像情報と被写体との特徴の比較中は、垂直解像度が変動するようなセンサー駆動の変更が一時的に控えられる。このため、個人認証ができなくなる虞を軽減することができる。
また、ブレが大きい瞬間のみ、垂直解像度が変動するようなセンサー駆動の変更が控えられる。このため、ブレ補正残りが発生して、目立ってしまう虞を軽減することができる。
また、合焦したか否かを判定するタイミングにおいて、垂直解像度が変動するようなセンサー駆動の変更が控えられる。このため、ＡＦ制御に対する致命的な外乱を与える虞を軽減することができる。
また、センサー駆動モードの変更が頻繁に発生することを抑制することができる。このため、ＡＥとしての性能向上より、垂直解像度変動による画質低下が検知されやすくなる虞を軽減することができる。
従って、第１の実施形態によれば、ＡＥ制御に連動してセンサー駆動方法を切り替えながら電子シャッター制御を行う際に、ビデオカメラの他の機能に及ぶ虞のある影響を抑制することができる。
【００３１】
なお、第１の実施形態では、間引き駆動の駆動モードにおける間引きが、垂直方向のみで行われているが、水平方向の間引きが行われてもよく、垂直方向及び水平両方向の２次元の間引きが行われてもよい。
【００３２】
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態では、センサー駆動モード変更制御部１２６の動作が第１の実施形態と相違している。他の構成及び動作は第１の実施形態と同様である。
【００３３】
ここで、第２の実施形態におけるセンサー駆動モード変更制御部１２６の動作について、図８に示すフローチャートを参照しながら説明する。
先ず、ステップＳＴ８１〜ＳＴ８８において、第１の実施形態におけるステップＳＴ７１〜Ｔ７８と同様の処理を行う。そして、ステップＳＴ８８において、４つの条件のいずれもが満たされない場合、即ち、ＣＭＯＳイメージセンサー１０３の駆動切り替えてもよい状況では、ステップＳＴ８９及びステップＳＴ８１０へ進む。ステップＳＴ８９〜ＳＴ８１０では、第１の実施形態におけるステップＳＴ７９〜ＳＴ７１０と同様の処理を行う。
【００３４】
一方、ステップＳＴ８８において、４つの条件のいずれかが満たされている場合、センサー駆動モード変更制御部１２６は、ステップＳＴ８１１で、ＴＶ−ＡＦ制御モードデータＳ１１７が「１」であったかを判定する。そして、「１」であったならば、ステップＳＴ８１２で、センサー駆動モード変更制御部１２６は、ＴＶ−ＡＦ制御モードデータＳ１１７が「１」の状態が発生したことをカウントする第１のカウントデータのカウント値を１つ増やしてステップＳＴ８１３へ進む。一方、「１」でなかったならば、第１のカウントデータのカウント値を増やすことなく、そのままステップＳＴ８１３へ進む。
ステップＳＴ８１３で、センサー駆動モード変更制御部１２６は、ブレ補正状況判別データＳ１２２が「１」であったかを判定する。そして、「１」であったならば、ステップＳＴ８１４で、センサー駆動モード変更制御部１２６は、ブレ補正状況判別データＳ１２２が「１」の状態が発生したことをカウントする第２のカウントデータのカウント値を１つ増やしてステップＳＴ８１５へ進む。一方、「１」でなかったならば、第２のカウントデータのカウント値を増やすことなく、そのままステップＳＴ８１５へ進む。
ステップＳＴ８１５で、センサー駆動モード変更制御部１２６は、特定顔認識と不特定顔検出の状態判別データＳ１２３が「０」であったかを判定する。そして、「０」であったならば、ステップＳＴ８１６で、センサー駆動モード変更制御部１２６は、状態判別データＳ１２３が「０の状態が発生したことをカウントする第３のカウントデータのカウント値を１つ増やしてステップＳＴ８１７へ進む。一方、「０」でなかったならば、第３のカウントデータのカウント値を増やすことなく、そのままステップＳＴ８１７へ進む。
ステップＳＴ８１７で、センサー駆動モード変更制御部１２６は、第１のカウントデータのカウント値が２０回以上、第２のカウントデータのカウント値が５回以上、及び第３のカウントデータのカウント値が１００回以上の３つの条件のいずれかが満たされるか判定する。
【００３５】
第１のカウントデータのカウント値が２０回以上であることは、合焦判定モードが２０フレーム以上かかることがあれば、そもそもＡＦ制御として合焦しづらい状況であって、これ以上合焦判定の結果を待つより、センサー駆動モードを切り替えて、ＡＥ制御を優先させた方がよい状況にあることを示す。なお、２０回という回数は、一例の回数である。
第２のカウントデータのカウント値が５回以上であることは、大きなブレ（主に、ビデオカメラの撮影者が手持ち撮影するときに発生する手ブレ）が、５フレーム以上続いている状況にあることを示す。このような状況は、屋外で子供などの動く被写体を歩き撮りしながら、撮影者も動いている状況等である。従って、暗い被写体へのＡＥのために、センサー駆動モードを切り替えて、かつ、蓄積時間を延長する状況である可能性は低い。一方で、そうした暗い被写体を撮影する場合には、撮影者が動きながら撮影する状況は少なく、手持ちとはいえ、５フレーム程度の時間内においては、ブレが小さいタイミングも発生する可能性が高い。従って、ブレ情報を参照する上では、５フレーム程度は待った上で、センサー駆動モードを切り替えるのがよいという頃合のカウントである。
第３のカウントデータのカウント値が１００回以上であることは、個人認証にかかる時間として、長くとも１００フレーム程度というシステム上の時間を超えていることを意味する。従って、本実施形態では１００としたが、個人認証のアルゴリズム如何で、変更すればよいカウントである。
このようなステップＳＴ８１７の処理を経て、各カウント値のデータに関する適切な上限値に基づいた待ち時間が経過した後、ステップＳＴ８１８へと進む。また、ステップＳＴ８１７において、上記の待ち時間を経過していなければ、ステップＳＴ８４へ戻る。
ステップＳＴ８１８で、センサー駆動モード変更制御部１２６は、センサー駆動モード切替履歴データＳ１２５が「１」であるか、即ち、一旦、全画素プログレッシブ駆動又は間引き駆動の駆動モード変更が生じてから１０フレーム以上の期間があるかを判定する。そして、「１」であれば、ステップＳＴ８９及びステップＳＴ８１０へ進む。一方、「１」でなければ、ステップＳＴ８４へ戻る。
このようなステップＳＴ８１１〜ＳＴ８１８の処理により、４つの条件の要因分析が実施される。
【００３６】
このような第２の実施形態によれば、解像度が変動するようなセンサー駆動の変更を控える時間に上限（上限時間）を設けているので、ＡＥ性能に支障をきたす虞を更に軽減することができる。更に、解像度が変動するようなセンサー駆動の変更を控える時間への上限の設定基準を、ビデオカメラの他の機能の種類毎に変えることができるので、ＡＥ性能に支障をきたす虞を更に軽減することができる。
【００３７】
（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態では、センサー駆動モード変更制御部１２６及びＡＥ制御部１１９の動作が第１の実施形態と相違している。他の構成及び動作は第１の実施形態と同様である。図９は、本発明の第３の実施形態に係る撮像装置を示すブロック図である。
図９に示すように、センサー駆動モード変更制御部１２６は、蓄積時間調整抑制データＳ９２７を生成する動作も行う。蓄積時間調整抑制データＳ９２７はＡＥ制御部１１９へと送られる。ＡＥ制御部１１９は、蓄積時間調整抑制データＳ９２７が「１」である場合、電子シャッター制御信号Ｓ１１４及びセンサー駆動モード設定データＳ１１６の変更を停止し、絞り制御信号Ｓ１１３及びゲイン設定データＳ１１５のみを調整してＡＥ制御を行う。
【００３８】
ここで、センサー駆動モード変更制御部１２６による蓄積時間調整抑制データＳ９２７を生成する動作について、図１０に示すフローチャートを参照しながら説明する。
先ず、ステップＳＴ１０１〜ＳＴ１０１０において、第２の実施形態におけるステップＳＴ８１〜ＳＴ８１０と同様の処理を行う。そして、ステップＳＴ８８において、４つの条件のいずれかが満たされている場合、センサー駆動モード変更制御部１２６は、ステップＳＴ１０１９で、蓄積時間調整抑制データＳ９２７を「１」とする。その後、ステップＳ１０１１〜Ｓ１０１８において、第２の実施形態におけるステップＳＴ８１１〜ＳＴ８１８と同様の処理を行う。そして、ステップＳＴ１０１８において、センサー駆動モード切替履歴データＳ１２５が「１」であれば、ステップＳＴ１０２０へ進み、「１」でなければ、ステップＳＴ１０４へと戻る。
ステップＳＴ１０２０で、センサー駆動モード変更制御部１２６は、蓄積時間調整抑制データＳ９２７を「０」とする。
ＡＥ制御部１１９は、このようにしてセンサー駆動モード変更制御部１２６により設定された蓄積時間調整抑制データＳ９２７を用いてＡＥ制御を行うのである。
【００３９】
このような第３の実施形態によれば、解像度が変動するようなセンサー駆動の変更を控える時間に上限を設け、かつ、変更を控える時間においては、絞り制御信号Ｓ１１３及びゲイン設定データＳ１１５のみを調整してＡＥ制御を行うことができる。従って、ＡＥ性能に支障をきたす虞を更に軽減することができる。
【００４０】
なお、本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
【符号の説明】
【００４１】
１０１：フォーカスレンズ １０２：絞り １０３：ＣＭＯＳイメージセンサー １０５：ゲイン回路 １１９：ＡＥ制御部 １２１：ＡＦ制御部 １２６：センサー駆動モード変更制御部
【技術分野】
【０００１】
本発明は、ビデオカメラ等の撮像装置及びその制御方法等に関する。
【背景技術】
【０００２】
従来、ビデオカメラ等の撮像装置には、自動露光（ＡＥ：Auto-Exposure）機能が搭載されている。これは、光電変換に使用するイメージセンサーのダイナミックレンジが、被写体の物理的なダイナミックレンジに対してはるかに狭いという制約を解消するためである。
ＡＥの方法として、次の３種類が挙げられる。一つは、結像光学系とイメージセンサーとの間に、光学的な絞りを設けて、絞りを開け閉めすることにより、イメージセンサーへ照射される光量そのものを制御する方法である。他の一つは、イメージセンサーにおける露光時間を、センサー駆動制御で行う、いわゆる電子シャッターによる方法である。残りの一つは、イメージセンサーから出力された映像信号に対するゲイン制御による方法である。従来、これら３種類の方法が組み合わされている。
そして、被写体が暗い場合のＡＥでは、先ず、暗くなるに従い、絞りを開くことで光量を確保し、絞りを全開としてもなお、光量が不足する場合には、ゲインをかけることにより対応する。このときのゲインは、回路仕様の許す限りかけることはできるが、高ゲインになるに従いＳ／Ｎ比が低下するので、画質の面でゲインの上限が決まる。さらに暗い被写体をも撮影する場合には、イメージセンサーの電子シャッター機能を用いて、センサーの電荷蓄積時間（蓄積時間）を延長することにより対応する。
但し、ビデオカメラのように動画撮影する撮像装置においては、基本的に蓄積時間が１フレーム又は１フィールド期間とほぼ一致するため、それ以上に蓄積時間を延長することは、撮影画像の動解像度を犠牲にすることに繋がる。従って、ビデオカメラのユーザーが、より暗い被写体まで撮影するために、特定のＡＥモードを設定したときに、蓄積時間を延長して動解像度を落として撮影する機能を提供することが多い。
このようにイメージセンサーの電子シャッターにより、蓄積時間を延長して暗い被写体の動画を撮影する場合、通常は動解像度が犠牲になる。これに対し、特許文献１に、このような課題を解決することを目的とした技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０５−３３６４４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、先に説明した、ＡＥ制御に連動してセンサー駆動方法を切り替えながら電子シャッター制御を行う際に、以下のように、ビデオカメラの他の機能に影響が及ぶことがある。
【０００５】
例えば、個人認証機能に影響が及ぶことがある。個人認証機能では、イメージセンサーから得られた撮像画像に含まれる被写体の特徴と、予め登録した顔画像情報を比較して、特定の顔を認識する。この際に、予め登録した顔画像情報と被写体の特徴との比較に支障をきたし、個人認証ができなくなることがある。
また、いわゆる、動きベクトル演算に影響が及ぶこともある。動きベクトル演算では、イメージセンサーから得られた複数の撮像画像の時間的差分情報から、被写体の動きを算出するが、このような処理ができないことがある。従って、周知のような動きベクトルを利用したブレ補正を行う場合に、センサー駆動を変更した瞬間にブレが大きいと、ブレ補正残りが発生して目立つことがある。
また、ＡＦ（Auto-Focus）制御において致命的な外乱を与えることもある。ＡＦ制御では、イメージセンサーから得られた撮像画像に含まれる高周波成分を検波して、結像光学系に構成されるフォーカスレンズを制御して、常に被写体にピントを合わせる制御を行う。しかし、特に合焦したか否かを判定するタイミングにおいて、致命的な外乱を与えることがある。
また、ＡＥ制御の性能が向上しても画質が低下することもある。
【０００６】
本発明は、ＡＥ制御に連動してセンサーの駆動モードを切り替えながら電子シャッター制御を行う場合の他の機能への影響を防止することができる撮像装置及びその制御方法等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本願発明者が上記のようなビデオカメラの他の機能への影響が及ぶ原因について鋭意検討を行ったところ、従来の技術では、空間解像度（垂直解像度）が犠牲にされていることを見出した。そして、本願発明者は以下の発明に想到した。
【０００８】
本発明に係る撮像装置は、複数画素の電荷の蓄積の開始及び読み出しを、フレーム又はフィールド内で順次行う第１の駆動モードと、前記複数画素を複数のグループに分け、前記複数のグループ各々の画素の電荷の蓄積の開始及び読み出しをフレーム又はフィールド内で順次行い、かつ、前記複数のグループ間の電荷の蓄積の開始及び読み出しを互いに重複するようにする第２の駆動モードと、の切り替えが可能な撮像素子と、測光評価の結果に応じて少なくとも前記撮像素子の蓄積時間を変更することにより自動露光制御を行う自動露光制御手段と、前記第１の駆動モードと前記第２の駆動モードとを切り替えるモード変更制御手段と、を有する撮像装置であって、前記モード変更制御手段は、前記自動露光制御手段による自動露光制御及び前記第１の駆動モードと前記第２の駆動モードとの切り替えにより生じる前記撮像素子の解像度の変化と、前記撮像装置の動作状態と、を比較し、この結果に応じて前記第１の駆動モードと前記第２の駆動モードとを切り替えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ＡＥ制御に連動してセンサーの駆動モードを切り替えながら電子シャッター制御を行う場合であっても、他の機能への影響を防止することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る撮像装置を示すブロック図である。
【図２】ＡＦ制御部の動作を示すフローチャートである。
【図３】特定顔位置追尾制御部の動作を示すフローチャートである。
【図４】ＡＥ制御部１１９の動作を示す制御線図である。
【図５】ＣＭＯＳイメージセンサーの構成を示す図である。
【図６】ＣＭＯＳイメージセンサーの動作を示すタイミングチャートである。
【図７】センサー駆動モード変更制御部の動作を示すフローチャートである。
【図８】センサー駆動モード変更制御部の動作を示すフローチャートである。
【図９】第３の実施形態に係る撮像装置を示すブロック図である。
【図１０】センサー駆動モード変更制御部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。
【００１２】
（第１の実施形態）
先ず、第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置を示すブロック図である。図１において、１０１はフォーカスレンズ、１０２は絞り、１０３はＣＭＯＳイメージセンサー（撮像素子）、１０４はアナログフロントエンド（ＡＦＥ）、１０５はゲイン回路、１０６はカメラ信号処理回路、１０７は第１のフレームメモリを示す。１０８は第１のメモリコントローラ、１０９は拡大処理回路、１１０は表示記録部、１１１は測光評価演算回路、１１２はＴＶ−ＡＦ検波回路、１１３は第３のフレームメモリ、１１４は動きベクトル演算回路、１１５は第２のフレームメモリを示す。１１６は第２のメモリコントローラ、１１７は特定顔認識回路、１１８は不特定顔検出回路を示す。１１９はＡＥ制御部、１２０は同期信号生成部、１２１はＡＦ制御部、１２２はブレ補正制御部、１２３はブレ補正量判定部、１２４は特定顔位置追尾制御部、１２５はセンサー駆動モード変更履歴保持部、１２６はセンサー駆動モード変更制御部を示す。
ＡＥ制御部１１９、同期信号生成部１２０、ＡＦ制御部１２１、ブレ補正制御部１２２、ブレ補正量判定部１２３、特定顔位置追尾制御部１２４、センサー駆動モード変更履歴保持部１２５、及びセンサー駆動モード変更制御部１２６は、例えば、マイクロコンピュータ等のソフトウェアにより構成される。
また、Ｓ１０１は入力映像信号、Ｓ１０２はコンポーネント映像信号、Ｓ１０３はメモリ切り出し映像信号、Ｓ１０４は出力映像信号、Ｓ１０５は１フレーム遅延映像信号、Ｓ１０６は顔認識及び検出用映像信号、Ｓ１０７は測光評価値を示す。Ｓ１０８はＴＶ−ＡＦ評価値、Ｓ１０９は動きベクトルデータ、Ｓ１１０は特定顔位置データ、Ｓ１１１は不特定顔位置データ、Ｓ１１２は同期信号、Ｓ１１３は絞り制御信号、Ｓ１１４は電子シャッター制御信号、Ｓ１１５はゲイン設定データを示す。Ｓ１１６はセンサー駆動モード設定データ、Ｓ１１７はＴＶ−ＡＦ制御モードデータ、Ｓ１１８はフォーカスレンズ制御信号、Ｓ１１９はブレ補正制御信号、Ｓ１２０は画像切り出し範囲設定データ、Ｓ１２１はブレ補正量判定データを示す。Ｓ１２２はブレ補正状況判別データ、Ｓ１２３は特定顔認識と不特定顔検出の状態判別データ、Ｓ１２４はセンサー駆動モード切替制御信号、Ｓ１２５はセンサー駆動モード切替履歴データ、Ｓ１２６は顔位置表示枠信号を示す。
【００１３】
次に、第１の実施形態の動作について説明する。
フォーカスレンズ１０１及び絞り１０２（光学的絞り）を通じて、ＣＭＯＳイメージセンサー１０３に被写体の光学像が結像されると、ＣＭＯＳイメージセンサー１０３から映像信号が出力される。次いで、映像信号がＡＦＥ１０４によりディジタル映像化され、ゲイン回路１０５（ゲイン調整回路）において所定のゲイン演算がなされて、入力映像信号Ｓ１０１が生成される。ＣＭＯＳイメージセンサー１０３及びＡＦＥ１０４の駆動は、同期信号生成部１２０により生成される同期信号Ｓ１１２に同期して行われる。なお、ＣＭＯＳイメージセンサー１０３の内部構成及び動作については、詳細に後述する。
カメラ信号処理回路１０６は、入力映像信号Ｓ１０１に対して、ガンマ補正、輪郭補正、各種色信号処理等の周知の信号処理を施し、コンポーネント映像信号Ｓ１０２を生成する。
コンポーネント映像信号Ｓ１０２は、例えば第１のフレームメモリ１０７に格納される。第１のフレームメモリ１０７は、第１のメモリコントローラ１０８からの画像切り出し範囲設定データＳ１２０による切り出し範囲の制御に基づき、メモリ切り出し映像信号Ｓ１０３を出力する。
拡大処理回路１０９は、メモリ切り出し映像信号Ｓ１０３を所定の倍率で拡大し、出力映像信号Ｓ１０４を生成する。出力映像信号Ｓ１０４は表示記録部１１０に送られて、表示及び図示しない記録メディアへの映像記録が行われる。
【００１４】
測光評価演算回路１１１は、入力映像信号Ｓ１０１を用い、撮影中の被写体の明るさを表す測光評価値Ｓ１０７を生成する。
ＴＶ−ＡＦ検波回路１１２は、入力映像信号Ｓ１０１を用い、撮影中の被写体へのピントの度合いを表すＴＶ−ＡＦ評価値Ｓ１０８を生成する。
第３のフレームメモリ１１３は、入力映像信号Ｓ１０１を格納する。そして、動きベクトル演算回路１１４は、ゲイン回路１０５からの入力映像信号Ｓ１０１及び第３のフレームメモリ１１３からの１フレーム遅延映像信号Ｓ１０５を用いて、撮影中の全景がどのように動いているかを表す動きベクトルデータＳ１０９を生成する。動きベクトルデータＳ１０９は、ブレ補正制御部１２２へと入力され、ブレ補正制御部１２２は、ブレ補正制御信号Ｓ１１９及びブレ補正量判定データＳ１２１を生成する。ブレ補正制御信号Ｓ１１９は、動きベクトルデータＳ１０９に対し、大きさが等しく方向成分が逆のベクトルデータである。第１のメモリコントローラ１０８は、ブレ補正制御信号Ｓ１１９に従い、画像切り出し範囲設定データＳ１２０を生成する。従って、第１のフレームメモリ１０７から出力されるメモリ切り出し映像信号Ｓ１０３の画像は、撮像装置本体のブレが除去された画像となる。また、ブレ補正量判定データＳ１２１は、動きベクトルデータＳ１０９の大きさが、所定の大きさ以上であるときは「１」となり、前記所定の大きさ未満であるときは「０」となる。なお、ブレ補正量に代えてブレ量を用いてもよい。
第２のフレームメモリ１１５は、入力映像信号Ｓ１０１を格納する。そして、特定顔認識回路１１７は、第２のフレームメモリ１１５からの顔認識及び検出用映像信号Ｓ１０６を用い、撮影中の被写体に予め登録された特定の人物顔が存在するかを識別し、前記特定の顔の位置情報である特定顔位置データＳ１１０を生成する。また、不特定顔検出回路１１８は、第２のフレームメモリ１１５からの顔認識及び検出用映像信号Ｓ１０６を用い、撮影中の被写体に不特定の人物顔が存在するかを検出し、前記不特定の顔の位置情報である不特定顔位置データＳ１１１を生成する。
【００１５】
次に、ＡＦ制御部１２１の動作（自動焦点制御）について、図２に示すフローチャートを参照しながら説明する。本実施形態では、コントラストＡＦ制御の動作モードとして、次の３つのモードが設定されている。一つは、フォーカスレンズ１０１のレンズ位置が合焦となる位置を探索するサーチモードである。他の一つは、合焦位置に到達しているかを判定する合焦判定モードである。残りの一つは、到達した合焦位置に安定してピントを合わせつつ、微小なピント変化に対しては追従可能とするウォブリングモードの３モードである。
ステップＳＴ１においてＡＦ制御動作が開始されると、先ず、ステップＳＴ２において、ＡＦ制御部１２１は、ＴＶ−ＡＦ制御モードデータＳ１１７を「０」として、サーチモードに設定する。サーチモード設定中は、ＴＶ−ＡＦ制御モードデータＳ１１７として「０」が出力される。次いで、ステップＳＴ３において、ＡＦ制御部１２１は、フォーカスレンズ１０１のレンズ位置を「２０」移動させ、ステップＳＴ４において、ＴＶ−ＡＦ検波回路１１２からＴＶ−ＡＦ評価値Ｓ１０８を取得する。その後、ステップＳＴ５において、ＡＦ制御部１２１は、ステップＳＴ４で取得したＴＶ−ＡＦ評価値Ｓ１０８と、過去に取得したＴＶ−ＡＦ評価値Ｓ１０８との差分絶対値が所定の値、例えば、１００以上かどうかを判定し、１００以上ならステップＳＴ２に戻り、１００未満ならステップＳＴ６へ進む。差分絶対値が所定の値未満であることは、除々に合焦位置に近づいていることを示すので、ステップＳＴ６では、ＡＦ制御部１２１は、フォーカスレンズ１０１のレンズ位置の移動量を少なく、「５」移動させる。続いて、ステップＳＴ７において、ＡＦ制御部１２１は、再度、ＴＶ−ＡＦ検波回路１１２からＴＶ−ＡＦ評価値Ｓ１０８を取得し、ステップＳＴ８において、ステップＳＴ５と同様、差分絶対値が１００以上かどうかを判定し、１００以上ならステップＳＴ２に戻る。これは、除々に合焦位置に近づいている状態で被写体の状況が急に変化して、フォーカスレンズ１０１のレンズ位置の調整をやり直す必要がある場合に備えるものである。ステップＳＴ８で差分絶対値が１００未満ならステップＳＴ９へ進む。ステップＳＴ８で差分絶対値が１００未満であることは、順調に合焦位置に近づいていることを示すので、ステップＳＴ９では、ＡＦ制御部１２１は、差分絶対値が上記の値よりも低い所定の値、例えば２０以上かどうかを判定する。そして、２０以上ならステップＳＴ６に戻り、２０未満ならステップＳＴ１０へと進む。
【００１６】
差分絶対値が２０未満であることは、ほぼ合焦位置に到達していることを示すので、ステップＳＴ１０では、ＡＦ制御部１２１は、ＴＶ−ＡＦ制御モードデータＳ１１７を「１」として、合焦判定モードに設定する。合焦判定モード設定中は、ＴＶ−ＡＦ制御モードデータＳ１１７として「１」が出力される。次いで、ステップＳＴ１１において、ＡＦ制御部１２１は、フォーカスレンズ１０１のレンズ位置を移動させる。ここでは、おおむね合焦位置に到達しているので、移動量は「１」とする。その後、ステップＳＴ１２において、ＡＦ制御部１２１は、ＴＶ−ＡＦ評価値Ｓ１０８を取得し、ステップＳＴ１３で、ステップＳＴ５と同様、差分絶対値が、１００以上かどうかを判定する。そして、１００以上であれば、被写体の状況が急に変化して、フォーカスレンズ１０１のレンズ位置の調整をやり直す必要があるため、ステップＳＴ２へ戻り、１００未満であれば被写体の状況に変化はないものとして、ステップＳＴ１４へと進む。ステップＳＴ１４では、おおむね合焦位置に到達しており、かつ、被写体の状況に変化はなく、ほぼ合焦状態であるので、ＡＦ制御部１２１は、それを確認するために、差分絶対値が５以上であるかを判定する。そして、差分絶対値が５以上ならば、ステップＳＴ１０へと戻る。まだ所定の合焦状態ではないからである。差分絶対値が５未満ならば、ステップＳＴ１５へと進む。ステップＳＴ１５では、所定の合焦状態とみなすことができるため、ＡＦ制御部１２１は、さらに、安定して合焦したかを判定するため、差分絶対値が５未満である状態が５回連続しているかを判定する。５回連続していなければ、ステップＳＴ１０に戻り、５回連続したならば、ステップＳＴ１６に進む。
【００１７】
差分絶対値が５未満である状態が５回連続していることは、安定した所定の合焦状態であることを示すため、ステップＳＴ１６では、ＡＦ制御部１２１は、ＴＶ−ＡＦ制御モードデータＳ１１７を「２」として、ウォブリングモードに設定する。ウォブリングモードに設定中は、ＴＶ−ＡＦ制御モードデータＳ１１７として「２」が出力される。次いで、ステップＳＴ１７において、ＡＦ制御部１２１は、フォーカスレンズ１０１のレンズ位置を移動させる。ここでは、安定して合焦しているので、移動量は「１」とする。その後、ステップＳＴ１８において、ＡＦ制御部１２１は、ＴＶ−ＡＦ評価値Ｓ１０８を取得する。続いて、ステップＳＴ１９において、ＡＦ制御部１２１は、過去５回分の取得評価値のメディアン値を求める。メディアン処理を行うと、孤立点状の外乱を排除することが可能である。ステップＳＴ１９の処理を行うのは、ウォブリングモード時は、撮影したい被写体に対して安定して合焦できている状態なので、例えば、被写体の前面を別の物体が一瞬横切るなどの撮影時の外乱に対しては、焦点制御が過剰に応答しないようにすることが好ましいからである。次いで、ステップＳＴ２０において、ＡＦ制御部１２１は、ステップＳＴ１９のメディアン処理された評価値に対する差分絶対値が１００以上であるかどうかの判定を行い、１００以上であれば、ステップＳＴ２へと戻る。これは、明らかに被写体の状況が変化して、フォーカスレンズ１０１のレンズ位置の調整をやり直すためである。一方、メディアン処理された評価値に対する差分絶対値が１００未満であれば、ステップＳＴ１６へ戻る。安定した合焦状態が維持されているからである。
このようにして、ＡＦ制御部１２１は動作する。
【００１８】
次に、特定顔位置追尾制御部１２４の動作について、図３に示すフローチャートを参照しながら説明する。
ステップＳＴ３１において特定顔位置追尾制御が開始されると、先ず、ステップＳＴ３２において、特定顔位置追尾制御部１２４は、特定顔認識と不特定顔検出の状態判別データＳ１２３を「０」とし、ステップＳＴ３３において、特定顔認識の処理を開始する。ここで、状態判別データＳ１２３が「０」であることは、特定の顔の位置を認識中であるか、又は、認識できていない状態を表す。つまり、状態判別データＳ１２３は特定顔認識の結果の取得状態を反映する。ステップＳＴ３３では、特定顔位置追尾制御部１２４は、第２のメモリコントローラ１１６を制御して、第２のフレームメモリ１１５に記憶された全画像領域の顔認識及び検出用映像信号Ｓ１０６を、特定顔認識回路１１７に供給させる。そして、予め登録された特定の顔が認識されて、特定顔認識回路１１７が特定顔位置データＳ１１０を出力する。
その後、ステップＳＴ３４において、特定顔位置追尾制御部１２４は、ステップＳＴ３３の特定顔認識の処理において、特定顔が認識できたかを判定し、できなければ再度特定顔認識を行うため、ステップＳＴ３２へと戻り、できていればステップＳＴ３５へと進む。ステップＳＴ３５では、特定顔位置追尾制御部１２４は、ステップＳＴ３３で得られた特定顔位置データＳ１１０に基づき、顔位置表示枠信号Ｓ１２６を生成し、表示記録部１１０に出力する。表示記録部１１０は、例えば前記特定の顔の位置に四角い枠を重畳して表示及び／又は記録する。
続いて、ステップＳＴ３６において、特定顔位置追尾制御部１２４は、状態判別データＳ１２３を「１」とする。ここで、状態判別データＳ１２３が「１」であることは、特定の顔が認識でき、かつ、その位置が判明している状態を表す。
次いで、ステップＳＴ３７において、特定顔位置追尾制御部１２４は、ステップＳＴ３３で得られた特定顔位置データＳ１１０に基づき、第２のフレームメモリ１１５から読み出される顔認識及び検出用映像信号Ｓ１０６の切り出し範囲を調整する。この結果、切り出し範囲が調整された顔認識及び検出用映像信号Ｓ１０６においては、ステップＳＴ３３で得られた特定の顔のみを含む部分画像が含まれることとなる。
その後、ステップＳＴ３８において、不特定顔検出回路１１８が、不特定顔検出処理を実施する。即ち、不特定顔検出回路１１８は、ステップＳＴ３７で得られた特定の顔のみを含む部分画像に対して、顔の位置の検出を実行し、不特定顔位置データＳ１１１を出力する。不特定顔位置データＳ１１１は、特定の顔に限らず、その位置を表すものであるが、上述したように、既に特定の顔のみを含む部分画像から得られた顔の位置情報であるので、特定の顔の位置情報となっている。特定の顔認識に係る計算負荷と、不特定の顔検出に係る計算負荷とでは、前者の方がはるかに大きいので、本実施形態では、特定の顔認識をした後、不特定の顔検出により特定の顔に対する追従を行う。
ステップＳＴ３８の後、ステップＳＴ３９において、特定顔位置追尾制御部１２４は、ステップＳＴ３８の不特定顔検出の処理において、顔位置が検出できたかを判定し、ステップＳＴ３２へと戻る。顔画像が消失したものと判定できるからである。一方、顔位置が検出できていれば、ステップＳＴ３５へと戻る。特定の顔を追尾し続けているからである。
このようにして、特定顔位置追尾制御部１２４は動作する。
【００１９】
次に、ＡＥ制御部１１９の動作（自動露光制御）について、図４に示す制御線図を参照しながら説明する。図４の制御線図の横軸は測光評価値Ｓ１０７であり、被写体輝度が暗い方から順に、ＥＶ０、ＥＶ１、ＥＶ２、ＥＶ３、ＥＶ４、ＥＶ５の計６箇所の制御切り換えポイントを設定した例を示してある。ここでは、被写体輝度が明るい方から順を追って説明する。
被写体輝度がＥＶ５以上の範囲内にある場合、ＡＥ制御部１１９は、絞り１０２を、絞り制御信号Ｓ１１３によりＦ１６で固定する。また、ＡＥ制御部１１９は、ＣＭＯＳイメージセンサー１０３の蓄積時間を、電子シャッター制御信号Ｓ１１４により１／５００ｓｅｃに固定する。更に、ＡＥ制御部１１９は、ゲイン回路１０５の利得を、ゲイン設定データＳ１１５により０ｄＢに固定する。従って、ＥＶ５以上の被写体輝度においては、ＡＥ制御が行われず、被写体が最も白飛びしにくい限度の設定で固定される。
被写体輝度がＥＶ５未満ＥＶ４以上の範囲内にある場合、ＡＥ制御部１１９は、絞り１０２を、絞り制御信号Ｓ１１３によりＦ１６〜Ｆ５．６の範囲内で調整する。従って、絞り１０２を用いたＡＥ制御が実施される。
被写体輝度がＥＶ４未満ＥＶ３以上の範囲内にある場合、ＡＥ制御部１１９は、ＣＭＯＳイメージセンサー１０３の蓄積時間を、電子シャッター制御信号Ｓ１１４により１／５００ｓｅｃ〜１／６０ｓｅｃの範囲内で調整する。従って、ＣＭＯＳイメージセンサー１０３の蓄積時間を用いたＡＥ制御が実施される。
被写体輝度がＥＶ３未満ＥＶ２以上の範囲内にある場合、ＡＥ制御部１１９は、絞り１０２を、絞り制御信号Ｓ１１３によりＦ５．６〜開放の範囲内で調整する。従って、絞り１０２を用いたＡＥ制御が実施される。
被写体輝度がＥＶ２未満ＥＶ１以上の範囲内にある場合、ＡＥ制御部１１９は、ゲイン回路１０５の利得を、ゲイン設定データＳ１１５により０ｄＢ〜１８ｄＢの範囲内で調整する。従って、ゲイン回路１０５の利得を用いたＡＥ制御が実施される。
被写体輝度がＥＶ１未満ＥＶ０以上の範囲内にある場合、ＡＥ制御部１１９は、ＣＭＯＳイメージセンサー１０３の蓄積時間を、電子シャッター制御信号Ｓ１１４により、１／６０ｓｅｃ〜１／３０ｓｅｃの範囲内で調整する。従って、ＣＭＯＳイメージセンサー１０３の蓄積時間を用いたＡＥ制御が実施される。また、このとき、センサー駆動モード設定データＳ１１６が「１」に切り換えられる。センサー駆動モード設定データＳ１１６の作用については、詳細に後述する。
被写体輝度がＥＶ０未満の範囲内にある場合、ＡＥ制御部１１９は、絞り１０２を、絞り制御信号Ｓ１１３により開放に固定する。また、ＡＥ制御部１１９は、ＣＭＯＳイメージセンサー１０３の蓄積時間を、電子シャッター制御信号Ｓ１１４により、１／３０ｓｅｃに固定する。更に、ＡＥ制御部１１９は、ゲイン回路１０５の利得を、ゲイン設定データＳ１１５により、１８ｄＢに固定する。従って、ＥＶ０未満の被写体輝度においては、ＡＥ制御が行われず、被写体を最も明るく表示及び記録する限度の設定で固定される。
このようにして、ＡＥ制御部１１９は動作する。
【００２０】
次に、ＣＭＯＳイメージセンサー１０３の構成及び動作について、図５に示す構成図及び図６に示すタイミングチャートを参照しながら説明する。
図５（ａ）において、５０１は画素部、５０２は垂直信号線、５０３は垂直駆動回路、５０４は電荷読み出し制御線、５０５はリセット制御線を示す。また、５０６は行選択線、５０７は列アンプ、５０８は水平駆動部、５０９は出力バッファ、５１０は映像出力端子、５１１は同期信号入力端子を示す。また、図５（ｂ）は各画素部５０１の構成を示しており、５０１０はフォトダイオード、５０１１はフローティングディフュージョン部、５０１２は読み出しトランジスタを示す。また、５０１３はリセットトランジスタ、５０１４は画素アンプ、５０１５は行選択トランジスタ、５０１６は電源配線を示す。なお、本実施形態では説明の簡略化のため、複数画素として４行４列の１６個の画素の例を示している。
【００２１】
図６（ａ）は、図５の詳細構成のＣＭＯＳイメージセンサー１０３を、全画素プログレッシブ駆動する場合のタイミングチャートであり、図６（ｂ）は、蓄積時間重複の間引き駆動する場合のタイミングチャートである。
【００２２】
先ず、全画素プログレッシブ駆動（第１の駆動モード）について説明する。
図６（ａ）において、ｔ０１、ｔ１１、ｔ２１、及びｔ３１は、４行各々の画素部５０１における、フォトダイオード５０１０及びフローティングディフュージョン部５０１１の電荷をリセットするタイミングであり、各々１水平期間ずつずれたものとなっている。即ち、図６（ａ）のＴｘ０、Ｔｘ１、Ｔｘ２、及びＴｘ３、並びに、Ｒｅｓ０、Ｒｅｓ１、Ｒｅｓ２、及びＲｅｓ３に示すように、１水平期間ずれながら、電荷読み出し制御線５０４（Ｔｘ）及びリセット制御線５０５（Ｒｅｓ）が同時にアクティブとなる。この結果、フォトダイオード５０１０及びフローティングディフュージョン部５０１１が、読み出しトランジスタ５０１２及びリセットトランジスタ５０１３を介して、同時に電源配線５０１６とつながり、電位が電源電位にリセットされるのである。
図６（ａ）において、ｔ０２、ｔ１２、ｔ２２、及びｔ３２は、４行各々の画素部５０１のフォトダイオード５０１０において蓄積された電荷を、読み出しトランジスタ５０１２を介してフローティングディフュージョン部５０１１に読み出すタイミングを示す。ｔ０２、ｔ１２、ｔ２２、及びｔ３２も、各々１水平期間ずつずれたタイミングである。このときの蓄積時間は、１行目においてはｔ０１〜ｔ０２、２行目においてはｔ１１〜ｔ１２、３行目においてはｔ２１〜ｔ２２、４行目においてはｔ３１〜ｔ３２となっており、いずれも図６（ａ）に示した垂直同期信号周期（フレーム周期でもある）Ｔｖ＝１／６０ｓｅｃとほぼ同じ時間となる。ｔ０１、ｔ１１、ｔ２１、及びｔ３１の発生タイミングは、電子シャッター制御信号Ｓ１１４に従い、垂直駆動回路５０３の動作により変更可能である。そして、ｔ０１、ｔ１１、ｔ２１、及びｔ３１をｔ０２、ｔ１２、ｔ２２、及びｔ３２に近づけてゆけば、図４のＥＶ３〜ＥＶ４で行う蓄積時間１／６０〜１／５００ｓｅｃの制御が実現される。なお、図４のＥＶ０〜ＥＶ１で行う蓄積時間１／３０〜１／６０ｓｅｃの制御では、ｔ０１、ｔ１１、ｔ２１、及びｔ３１をｔ０２、ｔ１２、ｔ２２、及びｔ３２から遠ざける制御が必要である。このため、図６（ａ）に示した垂直同期信号周期を伸ばす必要がある。しかし、本実施形態では、後述する蓄積時間重複の間引き駆動により、垂直同期信号周期を伸ばすことなく、図４のＥＶ０〜ＥＶ１で行う蓄積時間１／３０〜１／６０ｓｅｃの制御を行う。これについては詳細に後述する。
図６（ａ）において、ｔ０３、ｔ１３、ｔ２３、及びｔ３３は、４行の各行毎に、行選択線５０６（Ｓｅｌ）を１水平期間ずつずれたタイミングでアクティブにするタイミングを示す。行選択線５０６（Ｓｅｌ）がアクティブになると、フローティングディフュージョン部５０１１に読み出された電荷を、画素アンプ５０１４が電圧信号に変換し、行選択トランジスタ５０１５及び垂直信号線５０２を介して列アンプ５０７が増幅する。
図６（ａ）において、ｔ０４、ｔ１４、ｔ２４、及びｔ３４は、ｔ０３、ｔ１３、ｔ２３、及びｔ３３において、列アンプ５０７で増幅された各行毎の蓄積電荷信号を、水平駆動部５０８において水平駆動開始するタイミングである。また、ｔ０５、ｔ１５、ｔ２５、及びｔ３５は、この駆動の終了のタイミングである。即ち、ｔ０４〜ｔ０５は１行目の蓄積電荷信号を水平駆動して出力バッファ５０９及び映像出力端子５１０から出力する時間に相当する。同様に、ｔ１４〜ｔ１５は２行目の蓄積電荷信号を水平駆動して出力バッファ５０９及び映像出力端子５１０から出力する時間に相当し、ｔ２４〜ｔ２５は３行目の蓄積電荷信号を水平駆動して出力バッファ５０９及び映像出力端子５１０から出力する時間に相当する。ｔ３４〜ｔ３５は４行目の蓄積電荷信号を水平駆動して出力バッファ５０９及び映像出力端子５１０から出力する時間に相当する。また、例えばｔ０５〜ｔ１４は、いわゆる水平ブランキング期間である。
【００２３】
なお、同期信号入力端子５１１より入力される同期信号Ｓ１１２は、垂直駆動回路５０３及び水平駆動部５０８に入力され、上記説明した、各タイミングの基準として用いられる。
以上説明したとおり、図６（ａ）のように、ＣＭＯＳイメージセンサー１０３を全画素プログレッシブ駆動する場合には、最長蓄積時間として約１／６０ｓｅｃとし、フレーム周期として毎秒６０フレームで、垂直画素数４画素の動画像を得ることができる。なお、電荷の蓄積の開始及び読み出しをフィールド内で順次行ってもよい。
【００２４】
次に、蓄積時間重複の間引き駆動（第２の駆動モード）について説明する。
図６（ｂ）においても、ｔ０１、ｔ１１、ｔ２１、及びｔ３１は、４行各々の画素部５０１における、フォトダイオード５０１０及びフローティングディフュージョン部５０１１の電荷をリセットするタイミングである。ここでは、ｔ０１及びｔ２１が１水平期間ずれたタイミングとなり、１垂直期間をおいて、ｔ１１及びｔ３１が１水平期間ずれたタイミングとなる。
図６（ｂ）においても、ｔ０２、ｔ１２、ｔ２２、及びｔ３２は、４行各々の画素部５０１のフォトダイオード５０１０において蓄積された電荷を、読み出しトランジスタ５０１２を介してフローティングディフュージョン部５０１１に読み出すタイミングを示す。ここでは、ｔ０２及びｔ２２が１水平期間ずれたタイミングとなり、１垂直期間をおいて、ｔ１２及びｔ３２が１水平期間ずれたタイミングとなる。このときの蓄積時間は、図６（ａ）と同様に、１行目においてはｔ０１〜ｔ０２、２行目においてはｔ１１〜ｔ１２、３行目においてはｔ２１〜ｔ２２、４行目においてはｔ３１〜ｔ３２である。従って、図６（ｂ）に示した垂直同期信号周期Ｔｖ＝１／６０ｓｅｃのほぼ２倍の時間となる。また、図６（ａ）と同様に、ｔ０１、ｔ１１、ｔ２１、及びｔ３１の発生タイミングは、電子シャッター制御信号Ｓ１１４に従い、垂直駆動回路５０３の動作により変更可能である。従って、図４のＥＶ０〜ＥＶ１で行う蓄積時間１／３０〜１／６０ｓｅｃの制御は、上述したように、垂直同期信号周期を伸ばすことなく実現されるものとなる。
図６（ｂ）においても、ｔ０３、ｔ１３、ｔ２３、及びｔ３３は、４行の各行毎に、行選択線５０６（Ｓｅｌ）をアクティブにするタイミングを示す。ここでは、ｔ０３及びｔ２３が１水平期間ずれてアクティブとなるタイミングとなり、１垂直期間をおいて、ｔ１３とｔ３３が１水平期間ずれてアクティブとなるタイミングとなる。
図６（ｂ）においても、ｔ０４、ｔ１４、ｔ２４、及びｔ３４は、水平駆動部５０８において水平駆動開始するタイミングであり、ｔ０５、ｔ１５、ｔ２５、及びｔ３５は、この駆動の終了のタイミングである。ここでは、ｔ０４及びｔ２４、並びにｔ０５及びｔ２５が１水平期間ずれたタイミングとなっている。また、１垂直期間をおいて、ｔ１４及びｔ３４、並びにｔ１５及びｔ３５が１水平期間ずれたタイミングとなっている。このため、１行目及び３行目の蓄積電荷信号が水平駆動されて、出力バッファ５０９及び映像出力端子５１０から出力され、１垂直期間をおいて、２行目及び４行目の蓄積電荷信号が水平駆動されて、出力バッファ５０９及び映像出力端子５１０から出力される。
【００２５】
以上説明したとおり、図６（ｂ）のように、ＣＭＯＳイメージセンサー１０３を蓄積時間重複の間引き駆動する場合には、最長蓄積時間として約１／３０ｓｅｃとし、フレーム周期として毎秒６０フレームで、垂直画素数２画素の動画像を得ることができる。この場合、１６個の画素を複数（４）のグループに分け、グループ各々の画素の電荷の蓄積の開始及び読み出しを行うこととなる。また、複数のグループ間の電荷の蓄積の開始及び読み出しが互いに重複するようになる。ここで、電荷の蓄積の開始及び読み出しをフィールド内で順次行ってもよい。
このようにして、ＣＭＯＳイメージセンサー１０３は動作する。
【００２６】
次に、センサー駆動モード変更制御部１２６の動作について、図７に示すフローチャートを参照しながら説明する。
ステップＳＴ７１においてセンサー駆動モード変更の制御が開始されると、先ず、ステップＳＴ７２において、センサー駆動モード変更制御部１２６は、センサー駆動モード設定データＳ１１６の値を取得する。次いで、ステップＳＴ７３において、センサー駆動モード変更制御部１２６は、図４に示すＡＥ制御の制御線図に基づき、センサー駆動モード設定データＳ１１６の値が「０」から１に、又は「１」から「０」に変更したか否かを判定する。そして、変更がなければ、ステップＳＴ７２へと戻る。変更があれば、ステップＳＴ７４に進む。ステップＳＴ７４において、センサー駆動モード変更制御部１２６は、ＴＶ−ＡＦ制御モードデータＳ１１７を取得する。その後、ステップＳＴ７５において、センサー駆動モード変更制御部１２６は、ブレ補正状況判別データＳ１２２を取得する。続いて、ステップＳＴ７６において、センサー駆動モード変更制御部１２６は、特定顔認識及び不特定顔検出の状態判別データＳ１２３を取得する。更に、センサー駆動モード変更制御部１２６は、ステップＳＴ７７において、センサー駆動モード切替履歴データＳ１２５を取得する。次いで、ステップＳＴ７８において、センサー駆動モード変更制御部１２６は、ＴＶ−ＡＦ制御モードデータＳ１１７が「１」、ブレ補正状況判別データＳ１２２が「１」、状態判別データＳ１２３が「０」、センサー駆動モード切替履歴データＳ１２５が「１」の４つの条件のいずれかが満たされているか判定する。つまり、撮像装置の動作状態を確認する。
【００２７】
ＴＶ−ＡＦ制御モードデータＳ１１７が「１」であることは、ＴＶ−ＡＦ制御が合焦判定モードであることを表す。上述したように、合焦判定モードでは、ＴＶ−ＡＦ評価値Ｓ１０８の微小な変動を検出して合焦しているか否かが判定される。従って、ＣＭＯＳイメージセンサー１０３の駆動に、全画素プログレッシブ駆動と蓄積時間重複の間引き駆動との切り替わりによる解像度変化という外乱が生じると、その影響が甚大である。それに対し、サーチモードはＴＶ−ＡＦ評価値Ｓ１０８の微小な変動は見ないので影響はほとんどなく、ウォブリングモードでは、図２のステップＳＴ１９で示すような外乱防止機能があるので問題ない。
ブレ補正状況判別データＳ１２２が「１」であることは、動きベクトルデータＳ１０９の大きさが、所定の大きさ以上であることを表す。ＣＭＯＳイメージセンサー１０３の駆動に、全画素プログレッシブ駆動と蓄積時間重複の間引き駆動との切り替わりが生じると、その瞬間は、動きベクトルデータＳ１０９が出力されない。このため、第１のフレームメモリ１０７のメモリ切り出し映像信号Ｓ１０３により実現している撮像装置本体のブレ除去が一瞬途切れ、さらにそれが目立つ結果となる。
状態判別データＳ１２３が「０」であることは、特定の顔の位置を認識中であるか、又は、認識できていない状態を表す。このとき、ＣＭＯＳイメージセンサー１０３の駆動に、全画素プログレッシブ駆動と蓄積時間重複の間引き駆動との切り替わりが生じ、特に間引き駆動となる場合には、目など、特定顔認識（形状認識）に重要な情報が欠落する場合が生じ、認識ができない可能性がある。
センサー駆動モード切替履歴データＳ１２５が「１」であることは、ＣＭＯＳイメージセンサー１０３の駆動の全画素プログレッシブ駆動と蓄積時間重複の間引き駆動との切り替えが、所定の時間内に生じたことを示す。このとき、更にＣＭＯＳイメージセンサー１０３の駆動の切り替わりが発生すると、全画素プログレッシブ駆動と間引き駆動とが頻繁に発生して動画像画質としても不適当である。
【００２８】
そこで、ステップＳＴ７８での判定が成立する場合、即ち、上記の４つの条件の少なくともいずれかが満たされる場合には、ＣＭＯＳイメージセンサー１０３の駆動切り替えを控えた方がよい状況にある。従って、ステップＳＴ７４に戻り、センサー駆動モード変更制御部１２６は、再度、ステップＳＴ７４〜ステップＳＴ７８を繰り返す。また、ステップＳＴ７８での判定が成立しない場合、即ち、４つの条件の少なくともいずれもが満たされない場合には、ＣＭＯＳイメージセンサー１０３の駆動切り替えても差し支えない状況にある。従って、センサー駆動モード変更制御部１２６は、ステップＳＴ７９において、ＣＭＯＳイメージセンサー１０３の駆動を切り替えるセンサー駆動モード切替制御信号Ｓ１２４を、全画素プログレッシブ駆動又は蓄積時間重複の間引き駆動のいずれかを表す値に切り替える。そして、ステップＳＴ７１０において処理を終了する。
このようにして、センサー駆動モード変更制御部１２６は動作する。
【００２９】
また、センサー駆動モード変更履歴保持部１２５においては、センサー駆動モード切替制御信号Ｓ１２４の値が変化したタイミングを起点に、例えば変化後の値が１０回連続するかを検出する。即ち、センサー駆動モード切替制御信号Ｓ１２４が「０」から「１」に変化した場合には、「１」が１０回連続するかを検出する。また、センサー駆動モード切替制御信号Ｓ１２４が「１」から「０」に変化した場合には、「０」が１０回連続するかを検出する。そして、センサー駆動モード変更履歴保持部１２５は、連続回数が１０回未満の間はセンサー駆動モード切替履歴データＳ１２５を「０」とし、１０回以上連続すると、センサー駆動モード切替履歴データＳ１２５を「１」とする。このような動作によれば、一旦、全画素プログレッシブ駆動又は間引き駆動の駆動モード変更が生じたら、以降の１０フレーム期間は、同様の駆動モードの変更が抑制されることとなる。
【００３０】
このような第１の実施形態によれば、予め登録した顔画像情報と被写体との特徴の比較中は、垂直解像度が変動するようなセンサー駆動の変更が一時的に控えられる。このため、個人認証ができなくなる虞を軽減することができる。
また、ブレが大きい瞬間のみ、垂直解像度が変動するようなセンサー駆動の変更が控えられる。このため、ブレ補正残りが発生して、目立ってしまう虞を軽減することができる。
また、合焦したか否かを判定するタイミングにおいて、垂直解像度が変動するようなセンサー駆動の変更が控えられる。このため、ＡＦ制御に対する致命的な外乱を与える虞を軽減することができる。
また、センサー駆動モードの変更が頻繁に発生することを抑制することができる。このため、ＡＥとしての性能向上より、垂直解像度変動による画質低下が検知されやすくなる虞を軽減することができる。
従って、第１の実施形態によれば、ＡＥ制御に連動してセンサー駆動方法を切り替えながら電子シャッター制御を行う際に、ビデオカメラの他の機能に及ぶ虞のある影響を抑制することができる。
【００３１】
なお、第１の実施形態では、間引き駆動の駆動モードにおける間引きが、垂直方向のみで行われているが、水平方向の間引きが行われてもよく、垂直方向及び水平両方向の２次元の間引きが行われてもよい。
【００３２】
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態では、センサー駆動モード変更制御部１２６の動作が第１の実施形態と相違している。他の構成及び動作は第１の実施形態と同様である。
【００３３】
ここで、第２の実施形態におけるセンサー駆動モード変更制御部１２６の動作について、図８に示すフローチャートを参照しながら説明する。
先ず、ステップＳＴ８１〜ＳＴ８８において、第１の実施形態におけるステップＳＴ７１〜Ｔ７８と同様の処理を行う。そして、ステップＳＴ８８において、４つの条件のいずれもが満たされない場合、即ち、ＣＭＯＳイメージセンサー１０３の駆動切り替えてもよい状況では、ステップＳＴ８９及びステップＳＴ８１０へ進む。ステップＳＴ８９〜ＳＴ８１０では、第１の実施形態におけるステップＳＴ７９〜ＳＴ７１０と同様の処理を行う。
【００３４】
一方、ステップＳＴ８８において、４つの条件のいずれかが満たされている場合、センサー駆動モード変更制御部１２６は、ステップＳＴ８１１で、ＴＶ−ＡＦ制御モードデータＳ１１７が「１」であったかを判定する。そして、「１」であったならば、ステップＳＴ８１２で、センサー駆動モード変更制御部１２６は、ＴＶ−ＡＦ制御モードデータＳ１１７が「１」の状態が発生したことをカウントする第１のカウントデータのカウント値を１つ増やしてステップＳＴ８１３へ進む。一方、「１」でなかったならば、第１のカウントデータのカウント値を増やすことなく、そのままステップＳＴ８１３へ進む。
ステップＳＴ８１３で、センサー駆動モード変更制御部１２６は、ブレ補正状況判別データＳ１２２が「１」であったかを判定する。そして、「１」であったならば、ステップＳＴ８１４で、センサー駆動モード変更制御部１２６は、ブレ補正状況判別データＳ１２２が「１」の状態が発生したことをカウントする第２のカウントデータのカウント値を１つ増やしてステップＳＴ８１５へ進む。一方、「１」でなかったならば、第２のカウントデータのカウント値を増やすことなく、そのままステップＳＴ８１５へ進む。
ステップＳＴ８１５で、センサー駆動モード変更制御部１２６は、特定顔認識と不特定顔検出の状態判別データＳ１２３が「０」であったかを判定する。そして、「０」であったならば、ステップＳＴ８１６で、センサー駆動モード変更制御部１２６は、状態判別データＳ１２３が「０の状態が発生したことをカウントする第３のカウントデータのカウント値を１つ増やしてステップＳＴ８１７へ進む。一方、「０」でなかったならば、第３のカウントデータのカウント値を増やすことなく、そのままステップＳＴ８１７へ進む。
ステップＳＴ８１７で、センサー駆動モード変更制御部１２６は、第１のカウントデータのカウント値が２０回以上、第２のカウントデータのカウント値が５回以上、及び第３のカウントデータのカウント値が１００回以上の３つの条件のいずれかが満たされるか判定する。
【００３５】
第１のカウントデータのカウント値が２０回以上であることは、合焦判定モードが２０フレーム以上かかることがあれば、そもそもＡＦ制御として合焦しづらい状況であって、これ以上合焦判定の結果を待つより、センサー駆動モードを切り替えて、ＡＥ制御を優先させた方がよい状況にあることを示す。なお、２０回という回数は、一例の回数である。
第２のカウントデータのカウント値が５回以上であることは、大きなブレ（主に、ビデオカメラの撮影者が手持ち撮影するときに発生する手ブレ）が、５フレーム以上続いている状況にあることを示す。このような状況は、屋外で子供などの動く被写体を歩き撮りしながら、撮影者も動いている状況等である。従って、暗い被写体へのＡＥのために、センサー駆動モードを切り替えて、かつ、蓄積時間を延長する状況である可能性は低い。一方で、そうした暗い被写体を撮影する場合には、撮影者が動きながら撮影する状況は少なく、手持ちとはいえ、５フレーム程度の時間内においては、ブレが小さいタイミングも発生する可能性が高い。従って、ブレ情報を参照する上では、５フレーム程度は待った上で、センサー駆動モードを切り替えるのがよいという頃合のカウントである。
第３のカウントデータのカウント値が１００回以上であることは、個人認証にかかる時間として、長くとも１００フレーム程度というシステム上の時間を超えていることを意味する。従って、本実施形態では１００としたが、個人認証のアルゴリズム如何で、変更すればよいカウントである。
このようなステップＳＴ８１７の処理を経て、各カウント値のデータに関する適切な上限値に基づいた待ち時間が経過した後、ステップＳＴ８１８へと進む。また、ステップＳＴ８１７において、上記の待ち時間を経過していなければ、ステップＳＴ８４へ戻る。
ステップＳＴ８１８で、センサー駆動モード変更制御部１２６は、センサー駆動モード切替履歴データＳ１２５が「１」であるか、即ち、一旦、全画素プログレッシブ駆動又は間引き駆動の駆動モード変更が生じてから１０フレーム以上の期間があるかを判定する。そして、「１」であれば、ステップＳＴ８９及びステップＳＴ８１０へ進む。一方、「１」でなければ、ステップＳＴ８４へ戻る。
このようなステップＳＴ８１１〜ＳＴ８１８の処理により、４つの条件の要因分析が実施される。
【００３６】
このような第２の実施形態によれば、解像度が変動するようなセンサー駆動の変更を控える時間に上限（上限時間）を設けているので、ＡＥ性能に支障をきたす虞を更に軽減することができる。更に、解像度が変動するようなセンサー駆動の変更を控える時間への上限の設定基準を、ビデオカメラの他の機能の種類毎に変えることができるので、ＡＥ性能に支障をきたす虞を更に軽減することができる。
【００３７】
（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態では、センサー駆動モード変更制御部１２６及びＡＥ制御部１１９の動作が第１の実施形態と相違している。他の構成及び動作は第１の実施形態と同様である。図９は、本発明の第３の実施形態に係る撮像装置を示すブロック図である。
図９に示すように、センサー駆動モード変更制御部１２６は、蓄積時間調整抑制データＳ９２７を生成する動作も行う。蓄積時間調整抑制データＳ９２７はＡＥ制御部１１９へと送られる。ＡＥ制御部１１９は、蓄積時間調整抑制データＳ９２７が「１」である場合、電子シャッター制御信号Ｓ１１４及びセンサー駆動モード設定データＳ１１６の変更を停止し、絞り制御信号Ｓ１１３及びゲイン設定データＳ１１５のみを調整してＡＥ制御を行う。
【００３８】
ここで、センサー駆動モード変更制御部１２６による蓄積時間調整抑制データＳ９２７を生成する動作について、図１０に示すフローチャートを参照しながら説明する。
先ず、ステップＳＴ１０１〜ＳＴ１０１０において、第２の実施形態におけるステップＳＴ８１〜ＳＴ８１０と同様の処理を行う。そして、ステップＳＴ８８において、４つの条件のいずれかが満たされている場合、センサー駆動モード変更制御部１２６は、ステップＳＴ１０１９で、蓄積時間調整抑制データＳ９２７を「１」とする。その後、ステップＳ１０１１〜Ｓ１０１８において、第２の実施形態におけるステップＳＴ８１１〜ＳＴ８１８と同様の処理を行う。そして、ステップＳＴ１０１８において、センサー駆動モード切替履歴データＳ１２５が「１」であれば、ステップＳＴ１０２０へ進み、「１」でなければ、ステップＳＴ１０４へと戻る。
ステップＳＴ１０２０で、センサー駆動モード変更制御部１２６は、蓄積時間調整抑制データＳ９２７を「０」とする。
ＡＥ制御部１１９は、このようにしてセンサー駆動モード変更制御部１２６により設定された蓄積時間調整抑制データＳ９２７を用いてＡＥ制御を行うのである。
【００３９】
このような第３の実施形態によれば、解像度が変動するようなセンサー駆動の変更を控える時間に上限を設け、かつ、変更を控える時間においては、絞り制御信号Ｓ１１３及びゲイン設定データＳ１１５のみを調整してＡＥ制御を行うことができる。従って、ＡＥ性能に支障をきたす虞を更に軽減することができる。
【００４０】
なお、本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
【符号の説明】
【００４１】
１０１：フォーカスレンズ １０２：絞り １０３：ＣＭＯＳイメージセンサー １０５：ゲイン回路 １１９：ＡＥ制御部 １２１：ＡＦ制御部 １２６：センサー駆動モード変更制御部
【特許請求の範囲】
【請求項１】
複数画素の電荷の蓄積の開始及び読み出しを、フレーム又はフィールド内で順次行う第１の駆動モードと、前記複数画素を複数のグループに分け、前記複数のグループ各々の画素の電荷の蓄積の開始及び読み出しをフレーム又はフィールド内で順次行い、かつ、前記複数のグループ間の電荷の蓄積の開始及び読み出しを互いに重複するようにする第２の駆動モードと、の切り替えが可能な撮像素子と、
測光評価の結果に応じて少なくとも前記撮像素子の蓄積時間を変更することにより自動露光制御を行う自動露光制御手段と、
前記第１の駆動モードと前記第２の駆動モードとを切り替えるモード変更制御手段と、
を有する撮像装置であって、
前記モード変更制御手段は、前記自動露光制御手段による自動露光制御及び前記第１の駆動モードと前記第２の駆動モードとの切り替えにより生じる前記撮像素子の解像度の変化と、前記撮像装置の動作状態と、を比較し、この結果に応じて前記第１の駆動モードと前記第２の駆動モードとを切り替えることを特徴とする撮像装置。
【請求項２】
前記動作状態は、形状認識の結果の取得状態を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記動作状態は、画像のブレ量又はブレ補正量を含むことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記動作状態は、自動焦点制御の状態を含むことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記動作状態は、前記駆動モードの切り替えの履歴を含むことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
光学的絞り手段又はゲイン調整手段の少なくとも一方を更に有し、
前記第１の駆動モードと前記第２の駆動モードとの切り替えが抑制される期間では、前記自動露光制御手段は、前記光学的絞り手段又は前記ゲイン調整手段の少なくとも一方を用いて前記自動露光制御を行うことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記モード変更制御手段は、前記切り替えが抑制される期間に上限時間を設定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記モード変更制御手段は、前記動作状態に応じて前記上限時間を異ならせることを特徴とする請求項７に記載の撮像装置。
【請求項９】
複数画素の電荷の蓄積の開始及び読み出しを、フレーム又はフィールド内で順次行う第１の駆動モードと、前記複数画素を複数のグループに分け、前記複数のグループ各々の画素の電荷の蓄積の開始及び読み出しをフレーム又はフィールド内で順次行い、かつ、前記複数のグループ間の電荷の蓄積の開始及び読み出しを互いに重複するようにする第２の駆動モードと、の切り替えが可能な撮像素子を有する撮像装置の制御方法であって、
測光評価の結果に応じて少なくとも前記撮像素子の蓄積時間を変更することにより自動露光制御を行う自動露光制御ステップと、
前記第１の駆動モードと前記第２の駆動モードとを切り替えるモード変更制御ステップと、
を備え、
前記モード変更制御ステップでは、前記自動露光制御ステップにおける自動露光制御及び前記第１の駆動モードと前記第２の駆動モードとの切り替えにより生じる前記撮像素子の解像度の変化と、前記撮像装置の動作状態と、を比較し、この結果に応じて前記第１の駆動モードと前記第２の駆動モードとを切り替えることを特徴とする撮像装置の制御方法。
【請求項１０】
複数画素の電荷の蓄積の開始及び読み出しを、フレーム又はフィールド内で順次行う第１の駆動モードと、前記複数画素を複数のグループに分け、前記複数のグループ各々の画素の電荷の蓄積の開始及び読み出しをフレーム又はフィールド内で順次行い、かつ、前記複数のグループ間の電荷の蓄積の開始及び読み出しを互いに重複するようにする第２の駆動モードと、の切り替えが可能な撮像素子を有する撮像装置の制御をコンピュータに行わせるプログラムであって、
前記コンピュータに、
測光評価の結果に応じて少なくとも前記撮像素子の蓄積時間を変更することにより自動露光制御を行う自動露光制御ステップと、
前記第１の駆動モードと前記第２の駆動モードとを切り替えるモード変更制御ステップと、
を実行させ、
前記モード変更制御ステップでは、前記自動露光制御ステップにおける自動露光制御及び前記第１の駆動モードと前記第２の駆動モードとの切り替えにより生じる前記撮像素子の解像度の変化と、前記撮像装置の動作状態と、を比較し、この結果に応じて前記第１の駆動モードと前記第２の駆動モードとを切り替えることを特徴とするプログラム。
【請求項１】
複数画素の電荷の蓄積の開始及び読み出しを、フレーム又はフィールド内で順次行う第１の駆動モードと、前記複数画素を複数のグループに分け、前記複数のグループ各々の画素の電荷の蓄積の開始及び読み出しをフレーム又はフィールド内で順次行い、かつ、前記複数のグループ間の電荷の蓄積の開始及び読み出しを互いに重複するようにする第２の駆動モードと、の切り替えが可能な撮像素子と、
測光評価の結果に応じて少なくとも前記撮像素子の蓄積時間を変更することにより自動露光制御を行う自動露光制御手段と、
前記第１の駆動モードと前記第２の駆動モードとを切り替えるモード変更制御手段と、
を有する撮像装置であって、
前記モード変更制御手段は、前記自動露光制御手段による自動露光制御及び前記第１の駆動モードと前記第２の駆動モードとの切り替えにより生じる前記撮像素子の解像度の変化と、前記撮像装置の動作状態と、を比較し、この結果に応じて前記第１の駆動モードと前記第２の駆動モードとを切り替えることを特徴とする撮像装置。
【請求項２】
前記動作状態は、形状認識の結果の取得状態を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記動作状態は、画像のブレ量又はブレ補正量を含むことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記動作状態は、自動焦点制御の状態を含むことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記動作状態は、前記駆動モードの切り替えの履歴を含むことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
光学的絞り手段又はゲイン調整手段の少なくとも一方を更に有し、
前記第１の駆動モードと前記第２の駆動モードとの切り替えが抑制される期間では、前記自動露光制御手段は、前記光学的絞り手段又は前記ゲイン調整手段の少なくとも一方を用いて前記自動露光制御を行うことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記モード変更制御手段は、前記切り替えが抑制される期間に上限時間を設定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記モード変更制御手段は、前記動作状態に応じて前記上限時間を異ならせることを特徴とする請求項７に記載の撮像装置。
【請求項９】
複数画素の電荷の蓄積の開始及び読み出しを、フレーム又はフィールド内で順次行う第１の駆動モードと、前記複数画素を複数のグループに分け、前記複数のグループ各々の画素の電荷の蓄積の開始及び読み出しをフレーム又はフィールド内で順次行い、かつ、前記複数のグループ間の電荷の蓄積の開始及び読み出しを互いに重複するようにする第２の駆動モードと、の切り替えが可能な撮像素子を有する撮像装置の制御方法であって、
測光評価の結果に応じて少なくとも前記撮像素子の蓄積時間を変更することにより自動露光制御を行う自動露光制御ステップと、
前記第１の駆動モードと前記第２の駆動モードとを切り替えるモード変更制御ステップと、
を備え、
前記モード変更制御ステップでは、前記自動露光制御ステップにおける自動露光制御及び前記第１の駆動モードと前記第２の駆動モードとの切り替えにより生じる前記撮像素子の解像度の変化と、前記撮像装置の動作状態と、を比較し、この結果に応じて前記第１の駆動モードと前記第２の駆動モードとを切り替えることを特徴とする撮像装置の制御方法。
【請求項１０】
複数画素の電荷の蓄積の開始及び読み出しを、フレーム又はフィールド内で順次行う第１の駆動モードと、前記複数画素を複数のグループに分け、前記複数のグループ各々の画素の電荷の蓄積の開始及び読み出しをフレーム又はフィールド内で順次行い、かつ、前記複数のグループ間の電荷の蓄積の開始及び読み出しを互いに重複するようにする第２の駆動モードと、の切り替えが可能な撮像素子を有する撮像装置の制御をコンピュータに行わせるプログラムであって、
前記コンピュータに、
測光評価の結果に応じて少なくとも前記撮像素子の蓄積時間を変更することにより自動露光制御を行う自動露光制御ステップと、
前記第１の駆動モードと前記第２の駆動モードとを切り替えるモード変更制御ステップと、
を実行させ、
前記モード変更制御ステップでは、前記自動露光制御ステップにおける自動露光制御及び前記第１の駆動モードと前記第２の駆動モードとの切り替えにより生じる前記撮像素子の解像度の変化と、前記撮像装置の動作状態と、を比較し、この結果に応じて前記第１の駆動モードと前記第２の駆動モードとを切り替えることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１０４９１８（Ｐ２０１２−１０４９１８Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２４９５８６（Ｐ２０１０−２４９５８６）
【出願日】平成２２年１１月８日（２０１０．１１．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月８日（２０１０．１１．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]