説明

焦点調節装置及び方法

【課題】 顔などのコントラストの低い対象物に焦点を合わせる場合に、合焦制御を安定的に行えるようにすること。
【解決手段】 画像から所定の対象物を表す領域を検出する検出手段(116)と、フォーカスレンズ(105)を所定量ずつ光軸方向に駆動する駆動手段(111)と、前記所定量を設定する設定手段(114)と、AF制御において、対象物が検出された場合には上記画像の該対象物を表す画像信号から、対象物が検出されない場合には画像の予め設定された領域内の画像信号から、高周波成分を取り出してAF評価値を生成するAF評価値生成手段(113、114、116)と、生成されたAF評価値に基づいて、駆動手段を制御して焦点調節を行う自動焦点調節手段(114)とを有し、設定手段は、対象物が検出された場合に、検出されなかった場合よりも所定量を小さい値に設定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置で用いられる焦点調節装置及び焦点調節方法に関し、更に詳しくは、撮影して得られた画像に基づいて自動焦点調節を行う焦点調節装置及び焦点調節方法に関する。
【背景技術】
【0002】
ビデオカメラ等のオートフォーカス(AF)制御では、撮像素子を用いて生成された画像信号の鮮鋭度(コントラスト状態)を示すAF評価値信号を生成し、該AF評価値信号が最大となるフォーカスレンズの位置を探索するTV−AF方式が主流である。
【0003】
しかしながら、人物を撮影する場合において、主被写体である人物とその背景のコントラストの関係から、人物にピントが合わず、背景に合ってしまうという問題があった。
【0004】
このような問題を解決するために、顔認識機能を有する撮像装置が知られている。例えば、認識された顔領域を含む焦点検出エリアを設定し、AFを行う撮像装置や(例えば、特許文献1参照)、また人物の目を検出し、その目に基づいてAFを行う撮像装置(例えば、特許文献2参照)が提案されている。
【0005】
【特許文献1】特開2006−227080号公報
【特許文献2】特開2001−215403号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
これまでのTV−AF方式では、被写体が特定できないため多くの被写体で望ましい合焦動作が実現できるように、次のような制御を行っていた。即ち、焦点評価値が大きい場合は合焦である場合が多いとして応答性を落とすように、焦点評価値が小さい場合は非合焦である場合が多いとして応答速度を高めるような制御を行っていた。このため、例えば人間の顔のようなコントラストの低い被写体は、図7に示すように合焦であっても焦点評価値が低いため、合焦であっても応答速度を高めるような制御を行ってしまい安定性が損なわれる場合があった。このような問題はこれまでもあったが、顔検出を行う撮像装置においては、AF評価値の取り込みエリアが顔に限定され他の被写体を含まないため、特に顕著に表れるようになった。
【0007】
本発明は上記問題点を鑑みてなされたものであり、顔などのコントラストの低い対象物に焦点を合わせる場合に、合焦制御を安定的に行えるようにすることを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明の焦点調節装置は、撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出手段と、フォーカスレンズを所定量ずつ光軸方向に駆動する駆動手段と、前記フォーカスレンズを駆動する所定量を設定する設定手段と、AF制御において、前記検出手段により前記対象物が検出された場合には、該対象物を表す前記画像信号から高周波成分を取り出してAF評価値を生成し、前記対象物が検出されない場合には、前記画像の予め設定された領域内の前記画像信号から高周波成分を取り出してAF評価値を生成するAF評価値生成手段と、前記AF評価値に基づいて、前記駆動手段を制御して焦点調節を行う自動焦点調節手段とを有し、前記設定手段は、前記対象物が検出された場合に、検出されなかった場合よりも前記所定量を小さい値に設定する。
【0009】
また、本発明の焦点調節方法は、撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出工程と、AF制御においてフォーカスレンズを所定量ずつ光軸方向に駆動する駆動工程と、前記フォーカスレンズを駆動する所定量を設定する設定工程と、前記対象物が検出された場合には、該対象物を表す前記画像信号から高周波成分を取り出してAF評価値を生成し、前記対象物が検出されない場合には、前記画像の予め設定された領域内の前記画像信号から高周波成分を取り出してAF評価値を生成するAF評価値生成工程と、前記AF評価値を用いて焦点調節を行う自動焦点調節工程とを有し、前記設定工程では、前記対象物が検出された場合に、検出されなかった場合よりも前記所定量を小さい値に設定する。
【発明の効果】
【0010】
本発明によれば、顔などのコントラストの低い対象物に焦点を合わせる場合にも、合焦制御を安定的に行うことができる。
【発明を実施するための最良の形態】
【0011】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
【0012】
図1は、本発明の実施の形態における撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、本実施の形態では、ビデオカメラについて説明するが、本発明はデジタルスチルカメラ等、連続的に画像を取得することのできる他の撮像装置にも適用することができる。
【0013】
図1において、101は第1固定レンズ、102は光軸方向に移動して変倍を行う変倍レンズ、103は絞りである。また、104は第2固定レンズ、105は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ(以下、「フォーカスレンズ」という。)である。第1固定レンズ101、変倍レンズ102、絞り103、第2固定レンズ104及びフォーカスレンズ105により撮像光学系が構成される。
【0014】
106は、CCDセンサやCMOSセンサにより構成される光電変換素子としての撮像素子である。107は撮像素子106の出力をサンプリングし、ゲイン調整するCDS/AGC回路である。108はカメラ信号処理回路であり、CDS/AGC回路107からの出力信号に対して各種の画像処理を施し、画像信号を生成する。
【0015】
109はLCD等により構成されるモニタであり、カメラ信号処理回路108からの画像信号を表示する。115は記録部であり、カメラ信号処理回路108からの画像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。
【0016】
110は変倍レンズ102を移動させるためのズーム駆動源、111はフォーカスレンズ105を移動させるためのフォーカシング駆動源である。ズーム駆動源110及びフォーカシング駆動源111は、ステッピングモータ、DCモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。
【0017】
112はCDS/AGC回路107からの全画素の出力信号のうち、焦点検出に用いられる領域(焦点検出領域)の信号のみを通すAFゲートである。AF信号処理回路113は、AFゲート112を通過した画像信号から高周波成分を抽出して、AF評価値を生成する。AF評価値は、カメラ/AFマイコン114に出力される。AF評価値は、撮像素子106からの出力信号に基づいて生成される映像の鮮鋭度(コントラスト状態)を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。
【0018】
カメラ/AFマイコン114は、ビデオカメラ全体の動作の制御を司るとともに、AF評価値に基づいて、フォーカシング駆動源111を制御してフォーカスレンズ105を移動させるAF制御を行う。
【0019】
顔検出部116は、画像信号に対して公知の顔認識処理を施し、撮影画面内の顔領域を検出し、検出結果をカメラ/AFマイコン114に送信する。カメラ/AFマイコン114は、送信された顔領域の検出結果に基づき、焦点検出領域が検出された顔領域を含むように焦点検出領域を設定し、AFゲート112へ情報を送信する。なお、顔認識処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔を検出する方法等があるが、本願発明は顔認識処理により限定されるものではなく、どのような方法を用いても構わない。
【0020】
次に、カメラ/AFマイコン114で行われるAF制御について、図2を用いて説明する。このAF制御は、カメラ/AFマイコン114内に格納されたコンピュータプログラムに従って実行される。
【0021】
ステップS201で処理が開始されると、ステップS202で微小駆動動作を行う。微小駆動動作において、合焦か、合焦でないならどちらの方向に合焦点があるか(フォーカスレンズ105の駆動方向)を判別するが、詳細な動作は、図3を参照して後述する。
【0022】
ステップS203においては、ステップS202で合焦と判別された場合はステップS209へ進んで合焦処理を行い、合焦と判別されなかった場合はステップS204へ進む。
【0023】
ステップS204においては、ステップS202で合焦点が存在する方向の判別ができているかどうかを判断する。判別できている場合はステップS205へ進んで山登り駆動動作を行い、方向判別ができていない場合はステップS202へ戻って微小駆動動作を継続する。ステップS205では、AF評価値が大きくなる方向へ高速でレンズを山登り駆動する。なお、ステップS205における山登り駆動の詳細は、図5を参照して後述する。
【0024】
ステップS206において、ステップS205でAF評価値のピークを越えたかどうかを判断し、超えたと判別された場合はステップS207へ進み、越えたと判別されない場合はステップS205へ戻って山登り駆動を継続する。
【0025】
ステップS207では、山登り駆動中のAF評価値がピークとなるレンズ位置にフォーカスレンズ105を戻す。そして、ステップS208においては、ステップS207の処理によりピークのレンズ位置に戻ったかどうかを判断し、戻ったと判断された場合はステップS202へ戻って再び微小駆動動作を行う。一方、ピークのレンズ位置に戻っていないと判断された場合はステップS207へ戻ってピークのレンズ位置にフォーカスレンズ105を戻す動作を継続する。
【0026】
次に、ステップS209からの合焦動作について説明する。ステップS209では、ステップS202の微小駆動動作で得られたAF評価値を保持し、続くステップS210で、最新のAF評価値を取得する。ステップS211では、ステップS209で保持したAF評価値とステップS210で新たに取得したAF評価値とを比較し、所定レベル以上差があれば再起動と判定し、ステップS202へ戻って微小駆動動作を再開する。ステップS211でAF評価値の差が所定レベルより少ないと判定されていなければステップS212へ進み、レンズを停止してステップS210へ戻り、上述した処理を繰り返す。
【0027】
次に、微小駆動動作について図3を参照して説明する。
【0028】
ステップS301で処理が開始されると、ステップS302において最新の顔検出位置及び大きさを取得すると共に、それらの情報に基づいてAF枠を設定する。ここでは、顔が検出されている場合には顔の領域を表す顔枠を、また、顔が検出されていない場合には画面の予め設定された領域を、AF枠として設定し、AF枠内(領域内)の画像信号のAF評価値を取得する。ステップS303では、AF枠として顔枠を使用しているかどうか判別する。顔枠を使用していればステップS306へ進み、顔枠を使用していなければステップS304へ進む。
【0029】
ステップS304においては、フォーカスレンズ105の1回当りの駆動量を設定する。駆動量は、通常、レンズ位置や絞りの状態、AF評価値に応じて決められる。被写界深度が深い時や、AF評価値が小さくボケていると考えられるときは駆動量を大きくするようにしている。ステップS305ではAF評価値が予め設定された閾値Th1より小さいかどうかを判断する。小さい場合はこのまま方向判別を続けてもAF評価値のピーク位置の方向を検出するのは困難と判断し、ステップS314へ進む。閾値Th1以上であればステップS308へ進む。
【0030】
一方、ステップS306においては、顔枠用のフォーカスレンズ105の1回当りの駆動量を設定する。顔枠用の駆動量も、通常、レンズ位置や絞りの状態、AF評価値に応じて決められる。ただし、一般的に顔は低コントラストなのでAF評価値は小さい傾向があるため、ステップS306では、AF評価値に対する駆動量は、ステップS304で決められる駆動量よりも小さくなるように設定する。ステップS307ではAF評価値が閾値Th2より小さいかどうかを判断する。ここで、閾値Th2は、閾値Th1より小さくしておくのであるが、これは、上述したように顔のAF評価値が小さい傾向があるためである。ステップS307で閾値Th2より小さいと判断された場合はこのまま方向判別を続けてもAF評価値のピーク位置の方向を検出するのは困難と判断し、ステップS314へ進む。閾値Th2以上であれば、ステップS308へ進む。
【0031】
ステップS308では、ステップS302で取り込んだAF評価値が前回のAF評価値より大きいかどうかを判断し、大きければステップS309へ進み、小さければステップS310へ進む。ステップS309では、前回フォーカスレンズ105を動かした方向(順方向)に、ステップS304またはS306で設定された駆動量、フォーカスレンズ105を駆動する。一方、ステップS310では前回フォーカスレンズ105を動かした方向と逆方向に、ステップS304またはS306で設定された駆動量、フォーカスレンズ105を所定量駆動する。
【0032】
次に、ステップS311において、所定回数連続して合焦方向と判断される方向が同一かどうかを判断し、同一であればステップS315へ進み、所定回数連続して同一方向に進んでいなければステップS312へ進む。ステップS312においては、所定回数フォーカスレンズ105が所定範囲で往復を繰り返していればステップS316へ進み、所定時間フォーカスレンズが所定範囲にいなければ、微小駆動処理を抜けて、図2のステップS203に進む。
【0033】
ステップS315ではフォーカスレンズ105を動かす方向が判別できたと判断し、また、ステップS316では合焦判別できたと判断して、微小駆動処理を抜けて、図2のステップS203へ進む。
【0034】
図3で説明したレンズ動作の時間経過を図4に示す。図4において、Aの間に撮像素子106に蓄積された電荷に対するAF評価値AをTで取り込み、Bの間に撮像素子106に蓄積された電荷に対するAF評価値BをTで取り込む。Tでは、AF評価値A、Bを比較し、A<Bであればそのまま順方向に移動し、一方A≧Bであれば逆方向にする。
【0035】
次に、山登り駆動動作について図5を用いて説明する。
【0036】
ステップS501で処理が開始されると、ステップS502において最新の顔検出位置及び大きさを取得すると共に、それらの情報に基づいてAF枠を設定し、AF評価値を取得する。ステップS503では、AF枠として顔枠を使用しているかどうか判別する。顔枠を使用していればステップS505へ進み、顔枠を使用していなければステップS504へ進む。
【0037】
ステップS504においては、フォーカスレンズ105の山登りスピードを設定する。山登りスピードは、通常、レンズ位置や絞りの状態、AF評価値に応じて決められる。被写界深度が深い時や、AF評価値が小さくボケていると考えられるときは山登りスピードを大きくするようにしている。その後、ステップS506へ進む。
【0038】
一方、ステップS505においては、顔枠用のフォーカスレンズ105の山登りスピードを設定する。顔枠用の山登りスピードも、通常、レンズ位置や絞りの状態、AF評価値に応じて決められる。ただし、一般的に顔は低コントラストなのでAF評価値は小さい傾向があるため、ステップS504で決められる山登りスピードより遅くなるように設定する。その後、ステップS506へ進む。
【0039】
ステップS506においては、ステップS502で取り込んだAF評価値が前回のAF評価値より大きいかどうか判断し、大きければステップS507へ進み、同じか小さければステップS509へ進む。ステップS507ではフォーカスレンズ105を動かした方向(順方向)に、ステップS504またはS505で設定された山登りスピードでフォーカスレンズ105を駆動して、処理を終了する。一方、ステップS509においては、AF評価値がピークを越えて減少しているかどうかを判断し、減少していればステップS511へ進んでピークを越えたとして、処理を終了する。ステップS509で、AF評価値がピークを越えて減っていなければステップS510へ進み、前回と逆方向に所定の速度でフォーカスレンズを駆動し、処理を終了する。
【0040】
図5で説明したレンズ動作を図6に示す。図6において、AではAF評価値がピークを越えて減少しているので合焦点があるとして山登り駆動動作を終了し、微小駆動動作に移行する。一方、BではAF評価値がピークが無く減少しているので方向を間違えたものとして反転し、山登り動作を続ける。なお、一定時間あたりの移動量は微小駆動時よりも大きな移動量となる。
【0041】
以上説明したように、カメラ/AFマイコン114は、再起動判定→微小駆動→山登り駆動→微小駆動→再起動判定を繰り返しながらフォーカスレンズ105を移動させ、AF評価値を大きくするように制御している。
【0042】
以上のように本実施の形態によれば、顔検出を行う撮像装置においてフォーカスレンズ105の駆動量を、顔枠を用いる場合と、顔枠を用いない場合とで変更することで、特に顔枠使用時のAF性能を向上させることができる。
【0043】
また、本実施の形態では、検出手段の一例として、顔検出部116により人の顔を検出の対象物としているが、例えば、動物、車など、人の顔以外の特定の対象物を検出するようにしても構わない。更に、外部入力手段から撮像画面内の位置を入力したり、ファインダーを見ている撮影者の視線を検出して撮像画面内の位置を決定して、対象物を検出するようにしてもよい。また、本実施の形態においてはAF評価値生成エリアは顔検出枠と通常枠の切替になっているが、同時に顔検出枠と通常枠との間で選択されたAF枠に応じて制御特性を変えても構わない。
【0044】
<他の実施形態>
なお、本発明は、複数の機器(例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、デジタルビデオカメラ、デジタルスチルカメラなど)に適用してもよい。
【0045】
また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0046】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ROM、RAM、磁気テープ、不揮発性のメモリカード、CD−ROM、CD−R、DVD、光ディスク、光磁気ディスク、MOなどが考えられる。また、LAN(ローカル・エリア・ネットワーク)やWAN(ワイド・エリア・ネットワーク)などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【図面の簡単な説明】
【0047】
【図1】本発明の実施の形態におけるビデオカメラの構成を示すブロック図である。
【図2】本発明の実施の形態におけるAF制御を示すフローチャートである。
【図3】本発明の実施の形態における微小駆動動作の処理を示すフローチャートである。
【図4】本発明の実施の形態における微小駆動動作を示す図である。
【図5】本発明の実施の形態における山登り駆動動作の処理を示すフローチャートである。
【図6】本発明の実施の形態におけるの山登り動作を示す図である。
【図7】顔と、通常の被写体のAF評価値をそれぞれ示す概念図である。
【符号の説明】
【0048】
101 第1固定レンズ
102 変倍レンズ
103 絞り
104 第2固定レンズ
105 フォーカスレンズ
106 撮像素子
107 CDS/AGC回路
108 カメラ信号処理回路
109 モニタ
110 ズーム駆動源
111 フォーカシング駆動源
112 AFゲート
113 AF信号処理回路
114 カメラ/AFマイコン
115 記録部
116 顔検出部

【特許請求の範囲】
【請求項1】
撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出手段と、
フォーカスレンズを所定量ずつ光軸方向に駆動する駆動手段と、
前記フォーカスレンズを駆動する所定量を設定する設定手段と、
AF制御において、前記検出手段により前記対象物が検出された場合には、該対象物を表す前記画像信号から高周波成分を取り出してAF評価値を生成し、前記対象物が検出されない場合には、前記画像の予め設定された領域内の前記画像信号から高周波成分を取り出してAF評価値を生成するAF評価値生成手段と、
前記AF評価値に基づいて、前記駆動手段を制御して焦点調節を行う自動焦点調節手段とを有し、
前記設定手段は、前記対象物が検出された場合に、検出されなかった場合よりも前記所定量を小さい値に設定することを特徴とする焦点調節装置。
【請求項2】
前記焦点調節装置は、前記AF評価値に基づいて前記フォーカスレンズの駆動方向を決定するための微小駆動と、前記決定された駆動方向に前記フォーカスレンズを駆動する山登り駆動とを行い、
前記設定手段は、前記微小駆動のための前記所定量を、前記山登り駆動のための前記所定量よりも小さい値に設定することを特徴とする請求項1に記載の焦点調節装置。
【請求項3】
前記微小駆動において、前記AF評価値生成手段により生成されたAF評価値を閾値と比較し、前記閾値よりも小さい場合に、前記山登り駆動に移行するように制御する制御手段を更に有し、
前記制御手段は、前記対象物が検出された場合に、検出されなかった場合よりも小さい値の前記閾値を前記比較に用いることを特徴とする請求項2に記載の焦点調節装置。
【請求項4】
前記予め決められた対象物は、人の顔であることを特徴とする請求項1乃至3のいずれか1項に記載の焦点調節装置。
【請求項5】
撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出工程と、
AF制御においてフォーカスレンズを所定量ずつ光軸方向に駆動する駆動工程と、
前記フォーカスレンズを駆動する所定量を設定する設定工程と、
前記対象物が検出された場合には、該対象物を表す前記画像信号から高周波成分を取り出してAF評価値を生成し、前記対象物が検出されない場合には、前記画像の予め設定された領域内の前記画像信号から高周波成分を取り出してAF評価値を生成するAF評価値生成工程と、
前記AF評価値を用いて焦点調節を行う自動焦点調節工程とを有し、
前記設定工程では、前記対象物が検出された場合に、検出されなかった場合よりも前記所定量を小さい値に設定することを特徴とする焦点調節方法。
【請求項6】
コンピュータに、請求項5に記載の焦点調節方法の各工程を実行させるためのプログラム。
【請求項7】
請求項6に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2010−15035(P2010−15035A)
【公開日】平成22年1月21日(2010.1.21)
【国際特許分類】
【出願番号】特願2008−175909(P2008−175909)
【出願日】平成20年7月4日(2008.7.4)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】