オートフォーカスシステム
【課題】パターンマッチングで人物を追尾する際、画面内で複数の人物同士が交差しても確実に追尾対象を追尾する。
【解決手段】撮像手段と、光学系のフォーカス調整を行うオートフォーカス手段と、前記撮像手段によって撮像された画像範囲内の被写体の移動に合わせて前記ＡＦエリアを移動させる追尾手段と、前記撮像手段により所定周期で撮像された撮影画像の中からピントを合わせる対象の画像を基準パターンとして複数登録する基準パターン登録手段と、前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する画像を検出する合致画像検出手段とを備え、前記基準パターンに対する合致の度合いを示す相関値が所定の閾値より大きい場合には、前記基準パターンの一つを更新するとともに、相関値が所定の閾値より大きくない場合には、追尾を中止する。
【解決手段】撮像手段と、光学系のフォーカス調整を行うオートフォーカス手段と、前記撮像手段によって撮像された画像範囲内の被写体の移動に合わせて前記ＡＦエリアを移動させる追尾手段と、前記撮像手段により所定周期で撮像された撮影画像の中からピントを合わせる対象の画像を基準パターンとして複数登録する基準パターン登録手段と、前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する画像を検出する合致画像検出手段とを備え、前記基準パターンに対する合致の度合いを示す相関値が所定の閾値より大きい場合には、前記基準パターンの一つを更新するとともに、相関値が所定の閾値より大きくない場合には、追尾を中止する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オートフォーカスシステムに係り、特に、パターンマッチングで撮影画像中の人物をピント合わせの対象として追尾し、ＡＦ枠を自動追尾するシステムに関する。
【背景技術】
【０００２】
従来、カメラのフォーカスを自動的に合わせるオートフォーカス（ＡＦ）システムにおいては、どこにフォーカスを合わせるか（どこにピントを合わせるか）をカメラに対して指示しなければならない。このとき、一般のカメラなどでは、フォーカスを合わせる位置は撮影範囲のセンターに固定されていて、例えば撮影範囲の中央にいる人物等にフォーカスが合うようになっていた。そして、オートフォーカス（ＡＦ）の方式としては、撮像素子により取り込まれた画像信号から被写体画像のコントラストを検出し、そのコントラストが最も高くなるように撮影レンズのフォーカスを制御することによって最良ピント状態に自動でピント合わせをするコントラスト方式が採用されていた。
【０００３】
なお、カメラの撮影範囲のうちＡＦの対象とする被写体の範囲、又はカメラの撮影画像を再生した場合の撮影画像の画面のうちＡＦの対象とする被写体の画面上での範囲をＡＦエリアといい、そのＡＦエリアの輪郭を示す枠をＡＦ枠という。
【０００４】
ところで、動いている被写体を撮影する場合などにおいては、このようにフォーカスを合わせる位置が固定されていては都合が悪い。そこで、例えば、テレビカメラなどで、スポーツのように被写体の動きの激しいシーンを撮影する場合において、撮影画像中からピントを合わせる対象被写体を検出して追尾するために、フォーカス対象（合焦対象）の被写体の画像を基準パターンとして記憶し、新たに取り込んだフレームの撮影画像においてその基準パターン画像と最も合致する画像をパターンマッチングにより検出し、対象被写体の位置を検出するようにしたものが知られている（例えば、特許文献１等参照）。
【特許文献１】特開２００６−２５８９４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来のように、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾した場合、画面内に複数の人物が存在して、その人物同士が互いに交差したようなときに、追尾不能となってしまう虞れがあるという問題がある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内で複数の人物同士が交差しても確実に追尾対象を追尾することができるオートフォーカスシステムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、請求項１に記載の発明は、光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のＡＦエリア内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、前記撮像手段によって撮像された画像範囲内の被写体の移動に合わせて前記ＡＦエリアを移動させる追尾手段と、前記撮像手段により所定周期で撮像された撮影画像の中からピントを合わせる対象の画像を基準パターンとして複数登録する基準パターン登録手段と、前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する画像を検出する合致画像検出手段と、を備え、前記合致画像検出手段により検出された画像の、前記基準パターンに対する合致の度合いを示す相関値が所定の閾値より大きい場合には、前記合致画像検出手段により検出された画像により前記基準パターンの一つを更新するとともに、前記合致画像検出手段により検出された画像の、前記基準パターンに対するいずれの相関値も所定の閾値より大きくない場合には、前記追尾手段は前記撮影画像中の被写体の追尾を中止することを特徴とするオートフォーカスシステムを提供する。
【０００８】
これにより、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内で複数の人物同士が交差しても確実に追尾対象を追尾することが可能となる。
【０００９】
また、請求項２に示すように、請求項１に記載のオートフォーカスシステムであって、前記基準パターンは、少なくとも、最初に登録された画像をずっと保持する基準パターンと、前記相関値が所定の閾値より大きくないことが検出された場合に、その直前に前記合致画像検出手段により検出された画像で更新される基準パターンの２つを有することを特徴とする。
【００１０】
これにより、最初に登録された画像がずっと保持されるので、一方の更新される基準パターンが当初の追尾対象の画像からかけ離れてしまった場合でも、常に最初の画像とパターンマッチングを行うことができ、最初に登録された画像の被写体を追尾することができる。
【００１１】
また、請求項３に示すように、請求項１または２に記載のオートフォーカスシステムであって、前記追尾手段が前記撮影画像中の被写体の追尾を中止したときは、その後、前記撮像手段により撮像された撮影画像の中から、前記いずれかの基準パターンに最も合致する画像が合致画像検出手段により検出された場合には、前記追尾手段は該検出された画像中の被写体の追尾を再開することを特徴とする。
【００１２】
これにより、追尾を中止しても、その後追尾を再開することができる。
【００１３】
また、請求項４に示すように、請求項１〜３において、前記最新の画像による基準パターンの更新は、一定の周期で行われることを特徴とする。
【００１４】
これにより、パターンマッチングの１サイクルが速過ぎた場合に人物が交差しても相関値が下がらずに追尾対象が変わってしまい追尾を失敗することを防止することができる。
【発明の効果】
【００１５】
以上説明したように、本発明によれば、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内で複数の人物同士が交差しても確実に追尾対象を追尾することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して、本発明に係るオートフォーカスシステムについて詳細に説明する。
【００１７】
図１は、本発明に係るオートフォーカスシステムが適用されたビデオカメラシステムの一実施形態の全体構成を示したブロック図である。このビデオカメラシステムは、例えば、放送用テレビカメラでの撮影に用いられる撮像システムである。
【００１８】
図１に示すように、本実施形態のビデオカメラシステム１は、テレビカメラ１０、画像処理ユニット１８等を有して構成されている。
【００１９】
テレビカメラ１０は、ハイビジョンテレビ［ＨＤ（High Definition)ＴＶ］方式に対応したＨＤカメラからなるカメラ本体１２と、カメラ本体１２のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１４とから構成される。なお、図示は省略するが、カメラ本体１２は雲台上に旋回方向（パン）及び上下傾動方向（チルト）に移動可能に支承されている。
【００２０】
カメラ本体１２には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１４の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてＨＤＴＶ方式の映像信号（ＨＤＴＶ信号）として、カメラ本体１２の映像信号出力端子等から外部に出力される。
【００２１】
また、カメラ本体１２は、ビューファインダ１３を備えており、テレビカメラ１０により現在撮影されている映像等がビューファインダ１３に表示されるようになっている。また、ビューファインダ１３には、各種情報が表示されるようになっており、例えば、後述のオートフォーカスにおいてピント合わせの対象範囲となるＡＦ枠が撮影映像に重畳されて表示されるようになっている。
【００２２】
レンズ装置１４は、カメラ本体１２のレンズマウントに装着される撮影レンズ（ズームレンズ）２４を備えている。撮影レンズ２４により、被写体１６がカメラ本体１２の撮像素子の撮像面に結像されるようになっている。撮影レンズ２４には、図示を省略するが、その構成部としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、またズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。
【００２３】
なお、オートフォーカス（ＡＦ）に関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。また、所定の可動部を操作者の操作に従って電動駆動する場合には、図示しない操作手段（レンズ装置１４に接続されるコントローラの操作手段等）から操作者の操作に従って出力されるコントール信号に基づいて可動部の動作が制御されるが詳細は省略する。
【００２４】
また、レンズ装置１４には、ＡＦユニット２６及び図示しないレンズＣＰＵ等が搭載されている。レンズＣＰＵはレンズ装置１４全体を統括制御するものである。また、ＡＦユニット２６は、ＡＦによるフォーカス制御（自動ピント調整）を行うために必要な情報を取得するための処理部であり、図示を省略するが、ＡＦ処理部、ＡＦ用撮像回路等から構成されている。ＡＦ用撮像回路はＡＦ処理用の映像信号を取得するためにレンズ装置１４に配置されており、撮像素子ＣＣＤ等の撮像素子（ＡＦ用撮像素子という）やＡＦ用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。なお、ＡＦ用撮像回路から出力される映像信号は輝度信号である。
【００２５】
ＡＦ用撮像素子の撮像面には、撮影レンズ２４の光路上に配置されたハーフミラー等によってカメラ本体１２の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラ本体１２の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる被写体画像は、カメラ本体１２の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラ本体１２の撮像素子の撮影範囲を包含する大きな範囲であってもよい。
【００２６】
ＡＦ処理部は、ＡＦ用撮像回路から映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちＡＦの対象とするＡＦエリアに対応する範囲の信号を１画面（１フレーム）分ずつ積算する。このようにして１画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値としてレンズＣＰＵに与えられる。
【００２７】
レンズＣＰＵは、ＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を、後述するように画像処理ユニット１８から取得し、そのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部から取得する。
【００２８】
このようにしてＡＦ用撮像回路から１画面分の映像信号が取得されるごとに（ＡＦ処理部で焦点評価値が求められるごとに）ＡＦ処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大（極大）、即ち、ＡＦ枠内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。
【００２９】
なお、上述のＡＦ処理部は、焦点評価値を算出するためにレンズ装置に搭載されたＡＦ用撮像素子から映像信号を取得しているが、カメラ本体１２の撮像素子より撮影された映像の映像信号をカメラ本体１２から取得するような構成としてもよい。また、ＡＦ枠内の被写体に自動でピントを合わせるためのＡＦ手段はどのようなものであってもよい。
【００３０】
また、カメラ本体１２とレンズ装置１４、レンズ装置１４と後述の画像処理ユニット１８とは、各装置に設けられたシリアル通信コネクタが直接的又はケーブル等を介して接続される。これによって、カメラ本体１２とレンズ装置１４とが、それぞれに設けられたシリアル通信インターフェイス（ＳＣＩ）１２ａ及び１４ａを介して様々な情報の送受信をシリアル通信により行うようになっている。また、レンズ装置１４と画像処理ユニット１８とが、それぞれに設けられたシリアル通信インターフェイス１４ａ及び３０ａとの間で様々な情報の送受信をシリアル通信により行うようになっている。
【００３１】
また、カメラ本体１２の映像出力コネクタと画像処理ユニット１８の映像入力コネクタとが、ダウンコンバータ２８を介してケーブルで接続される。これによって、カメラ本体１２の映像出力コネクタから出力されたＨＤＴＶ信号は、ダウンコンバータ２８によって、標準テレビ［ＮＴＳＣ（National Television System Committee)]方式の映像信号（ＳＤＴＶ信号）に変換（ダウンコンバート）されて、画像処理ユニット１８に入力されるようになっている。
【００３２】
詳しくは後述するが、画像処理ユニット１８は、撮像された被写体画像中の被写体人物について顔認証を行い、それがオートフォーカスをかけて自動追尾するように設定された被写体（フォーカス対象）であると認定された場合には、ＡＦユニット２６を通じてレンズ装置１４をオートフォーカス制御するものである。
【００３３】
また、顔認証を行い、現在撮影中の被写体がオートフォーカスをかけて自動追尾する対象であるか否かを判定するためには、ＨＤＴＶ信号による高精細な画像である必要はなく、標準テレビ方式の映像信号（ＳＤＴＶ信号）の画像で充分であるので、上述したように、カメラ本体１２から出力されたＨＤＴＶ信号をダウンコンバータ２８によってＳＤＴＶ信号に変換するようにしたものである。
【００３４】
画像処理ユニット１８は、上記のようにレンズ装置１４のＡＦユニット２６によりＡＦによるフォーカス制御を実施する際のＡＦ枠の範囲（位置、大きさ、形状（縦横比））の指定を行うための装置であり、テレビカメラ１０の撮影画像（撮影画面）内でのＡＦ枠の範囲を指定するＡＦ枠情報が画像処理ユニット１８からレンズ装置１４に上記シリアル通信により与えられるようになっている。ＡＦユニット２６では、画像処理ユニット１８からのＡＦ枠情報に基づいてＡＦ枠の範囲を設定して上記のようにＡＦの処理を実行する。
【００３５】
画像処理ユニット１８は、主としてメインボード３０、パターンマッチング処理演算ボード３２、顔認証処理演算ボード３４から構成されている。メインボード３０、パターンマッチング処理演算ボード３２、顔認証処理演算ボード３４の各々にはＣＰＵ３８、５０、５２が搭載されており、各ボード毎に個別の演算処理が行われると共に、各ＣＰＵ３８、５０、５２は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。また、画像処理ユニット１８は、顔認証処理を行うための顔認証データを格納した顔認証データカード７４を有している。
【００３６】
画像処理ユニット１８における処理は、メインボード３０において統括的に行われるようになっている。そのメインボード３０には、演算処理を行う上記ＣＰＵ３８の他に、ＳＣＩ３０ａ、デコーダ（Ａ／Ｄ変換器）３６、スーパーインポーザ４２、ＲＡＭ４０等が搭載されている。
【００３７】
ＳＣＩ３０ａは、上述のようにレンズ装置１４のＳＣＩ１４ａとの間でシリアル通信を行うためのインターフェイス回路であり、上記ＡＦ枠情報等をレンズ装置１４に送信する。
【００３８】
デコーダ３６は、上記ダウンコンバータ２８から画像処理ユニット１８に入力されるテレビカメラ１０において撮影映像の映像信号（ＳＤＴＶ信号）を、画像処理ユニット１８においてデジタル処理可能なデータに変換するための回路であり、アナログのＳＤＴＶ信号をデジタルデータの映像信号に変換するＡ／Ｄ変換処理等を行っている。
【００３９】
ＲＡＭ４０は、ＣＰＵ３８の演算処理において使用するデータを一時的に格納するメモリである。
【００４０】
一方、パターンマッチング処理演算ボード３２や顔認証処理演算ボード３４は、パターンマッチングと顔検出・認証処理を個別に行うための演算ボードであり、各々、演算処理を行うＣＰＵ５０、５２の他に画像データを一時的に格納するＶＲＡＭ５４、５６等を備えている。
【００４１】
また、画像処理ユニット１８には、操作部２０が一体的に設けられ、又は、操作部２０の一部又は全ての操作部材が画像処理ユニット１８とは別体の装置に設けられてケーブル等で接続されている。
【００４２】
詳細は省略するが、操作部２０には、ＡＦ枠の位置をユーザの手動操作により上下左右に移動させるための位置操作部材６０（例えば、ジョイスティックやトラックボール）、ＡＦ枠の大きさを手動操作により変更するためのサイズ操作部材６２（例えば、ツマミ)、ＡＦ枠の形状を手動操作により変更するための形状操作部材６４（例えば、ツマミ）、自動追尾の開始を指示する追尾開始スイッチ６８、自動追尾の停止を指示する追尾停止スイッチ７０が設けられており、これらの操作部材６０、６２、６４、６８、７０の設定状態が、画像処理ユニット１８におけるメインボード３０のＣＰＵ３８により読み取られるようになっている。
【００４３】
なお、タッチパネル付ＬＣＤ６６は、ＡＦ枠の自動追尾に関するモード等の設定をタッチ操作で入力できるようにしたもので、画像処理ユニット１８のＣＰＵ３８によりＬＣＤ６６に表示される画像は、設定内容に応じて適宜切り換えられるようになっている。
【００４４】
また、タッチパネル付ＬＣＤ６６に表示される画像は、メインボード３０のスーパーインポーザ４２を介して与えられるようになっており、そのスーパーインポーザ４２では、デコーダ３６から与えられるテレビカメラ１０の撮影映像の映像信号と、ＣＰＵ３８で生成される画像信号の合成が行えるようになっている。これによって、カメラ本体１２に設定されているビューファインダ１３と同様にテレビカメラ１０で撮影されている撮影映像と現在設定されているＡＦ枠の画像とを重畳させた映像をタッチパネル付ＬＣＤ６６に表示させることが可能であり、この画面上でのタッチ操作により、ユーザは、上記操作部材６０、６２、６４、６８、７０で行うのと同様の操作を行うことができるようになっている。
【００４５】
また、操作部２０には、タッチパネル付ＬＣＤ６６の他に、外部モニタ７２が設けられており、タッチパネル付ＬＣＤ６６に表示されるのと同じ画像が表示されるようになっている。そして、外部モニタ７２は、カメラマン以外の例えばフォーカスマンなどがこれを見て、そのタッチパネル機能により適宜指示を入力することができるようになっている。
【００４６】
本実施形態は、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾した場合に、画面内に複数の人物がいて、その人物同士が交差したときにも追尾不能とはならずに、追尾対象を確実に追尾することができるようにしたものである。
【００４７】
次に、フローチャートに沿って本発明に係るオートフォーカスシステムの作用について説明する。
【００４８】
図２は、本発明の一実施形態の作用を示すフローチャートである。
【００４９】
まず、図２のステップＳ１００において、カメラマンは撮影を開始するにあたり、ビューファインダ１３あるいはタッチパネル付ＬＣＤ６６の画面に表示された映像及びＡＦ枠を見ながら操作部２０の位置操作部材６０、サイズ操作部材６２、形状操作部材６４等の操作部材を操作し、ピント合わせの対象として追尾する対象物がＡＦ枠の範囲に収まるようにＡＦ枠の範囲を設定する。これによって、レンズ装置１４のレンズＣＰＵにおけるＡＦの処理によりその対象物にピントが合わせられる。
【００５０】
ステップＳ１０２において追尾がスタートすると、ステップＳ１０４において、画像処理ユニット１８のＣＰＵ３８は、レンズ装置１４のＡＦユニット２６（ＡＦ処理部）から与えられる映像信号から１画面分（１フレーム分）の撮影画像を取り込む。
【００５１】
そして、ステップＳ１０６、Ｓ１０８、Ｓ１１０において、それぞれ後でパターンマッチングに用いられる基準パターンを登録するためのバッファを確保して、当初取り込まれた撮影画像から得られた追尾対象である同じ画像をそれぞれに格納し、基準パターンＡ、基準パターンＢ、基準パターンＣとする。ここで基準パターンＢや基準パターンＣは今後取り込まれた画像に応じて、基準パターンＣは最新の画像として、また基準パターンＢはその次に最新の画像に近い画像としてそれぞれ更新されるが、基準パターンＡは最初に登録した基準パターンとしてずっと保存される。
【００５２】
次にステップＳ１１２において、画像処理ユニット１８は、前回の画像取り込みから所定時間経過した後に１画面分の撮影画像を前回と同様に取り込む。
【００５３】
次にステップＳ１１４において、今取り込んだ撮影画像と、最新の画像として登録された基準パターンＣとに対して、パターンマッチング処理演算ボード５０においてパターンマッチング処理を行い、いわば２つの画像の類似度を表す相関値を算出する。
【００５４】
ここで一般に、２つの確率変数Ｘ、Ｙの相関値（相関係数）γｘｙとは、これらの共分散μｘｙと、各確率変数の標準偏差σｘ、及びσｙの積σｘ・σｙとの比を言う。
【００５５】
すなわち、相関値γｘｙ＝μｘｙ／σｘ・σｙである。
【００５６】
従ってこの場合には、相関値ｃは、例えば以下のように定義される。すなわち、座標（ｘ，ｙ）における基準パターン画像の画素値がｆ（ｘ，ｙ）であり、これと比較される撮影画像の画素値がｇ（ｘ，ｙ）であるとする。また、撮影画像を基準パターン画像からｘ方向にｍ、及びｙ方向にｎだけずらした画素値をｇ（ｍ＋ｘ，ｎ＋ｙ）とし、ｆ（ｘ，ｙ）及びｇ（ｍ＋ｘ，ｎ＋ｙ）を確率変数と考えて、この撮影画像を基準パターン画像に重ねたときの両者の相関値をｃ（ｍ，ｎ）とする。
【００５７】
所定の領域における基準パターン画像及び撮影画像の画素値の平均値をそれぞれｆａｖ、ｇａｖとすると、相関値ｃ（ｍ，ｎ）は、以下の式（１）で定義される。
【００５８】
ｃ（ｍ，ｎ）
＝｛ Σ（|ｆ（ｘ，ｙ）−ｆａｖ|×|ｇ（ｍ＋ｘ，ｎ＋ｙ）−ｇａｖ|）
／（Σ|ｆ（ｘ，ｙ）−ｆａｖ|２×Σ|ｇ（ｍ＋ｘ，ｎ＋ｙ）−ｇａｖ|２）１／２ ｝
・・・（１）
ここで、式（１）中のΣは、所定領域におけるｘ及びｙについての和を表す。
【００５９】
相関値は０と１との間の値をとり、相関が高い（すなわち２つの画像が類似している程）１に近い値をとる。
【００６０】
次にステップＳ１１６において、今求めた相関値ｃが９０％より大きい（すなわち、相関値ｃが０．９より大）か否か判断する。
【００６１】
その結果相関値ｃが９０％より大のとき、すなわち今取り込んだ撮影画像が基準パターンＣとよく類似している場合には、次のステップＳ１１８において、この撮影画像で基準パターンＢを更新する。もしこれが基準パターンＢのはじめての更新である場合には、それまで基準パターンＢには、基準パターンＡに登録されているものと同じ最初の撮影画像が登録されており、それをより新しい画像で置き換えることとなる。
【００６２】
次に、ステップＳ１２０において、上で算出された相関値ｃ（ｍ，ｎ）により、追尾対象が移動したか否か判断する。ｍ、ｎが０でないところで相関値ｃ（ｍ，ｎ）が高くなっている場合には、追尾対象が画像上で、いままでの（ｘ，ｙ）の位置から（ｍ＋ｘ，ｎ＋ｙ）の位置まで移動したことになる。
【００６３】
追尾対象が移動していると判断された場合には、次のステップＳ１２２において、この最新の画像によって基準パターンＣを更新する。
【００６４】
そして、追尾対象が移動している場合には、次のステップＳ１２４において、移動後の追尾対象に合わせてＡＦ枠を更新する。
【００６５】
また追尾対象が移動していない場合には、基準パターンＣもＡＦ枠も更新せずに、ステップＳ１１２に戻り次の画像を取り込み、同様の処理を繰り返す。
【００６６】
また一方、ステップＳ１１６において、相関値ｃ（ｍ，ｎ）が９０％より大きくないと判断された場合には、次にステップＳ１２６において、今度は相関値ｃ（ｍ，ｎ）が８０％より大きいか否か判断する。
【００６７】
そして相関値ｃ（ｍ，ｎ）が８０％より大きいと判断された場合には、基準パターンＢを更新することなく、ステップＳ１２０へ進み、追尾対象が移動したか否か判断し、移動している場合には、その次のステップＳ１２２において、この撮影画像で基準パターンＣを更新する。
【００６８】
また、ステップＳ１１６において、相関値ｃ（ｍ，ｎ）が８０％より大きくないと判断された場合には、ステップＳ１２８において、この撮影画像を基準パターンＡとパターンマッチングを行い、このときの相関値を計算する。
【００６９】
ステップＳ１３０において、この撮影画像と基準パターンＡとの相関値が８０％より大きいか否か判断する。
【００７０】
このとき、この相関値が８０％より大きい場合には、次のステップＳ１３２において、この撮影画像で基準パターンＢを更新する。その後はステップＳ１２０へ進み、撮影画像が移動したか否か判断する。
【００７１】
また、ステップＳ１３０において、相関値が８０％より大きくないと判断された場合には、ステップ１３４において、この撮影画像と基準パターンＢとでパターンマッチングを行い、このときの相関値を算出する。
【００７２】
そして、この撮影画像と基準パターンＢとの相関値が８０％より大きい場合には、ステップＳ１３２に進み、この撮影画像で基準パターンＢを更新する。このように、相関値が下がる前の画像を記憶しておくようにする。その後ステップＳ１２０へ進み、追尾対象が移動したか否か判断する。
【００７３】
また、ステップＳ１３６において、この撮影画像と基準パターンＢとの相関値が８０％より大きくない場合には、もうこの撮影画像は追尾対象ではないと判断して、このように相関値が下がったら追尾を中止するとともに、ステップＳ１１２に戻り、次の画像取り込みを行い、最初と相関値が下がる前に格納した基準パターンとのパターンマッチングを繰り返していく。そして、相関値が上がったら画面中から追尾対象が再び検出されたとして追尾を再開するようにする。
【００７４】
結局、基準パターンＢ、Ｃには、相関値が所定値以上に下がる直前の画像が常に登録され、特に基準パターンＣには、常に、最初の登録画像とある程度の類似度を有する最新の画像が登録されることとなる。
【００７５】
以上フローチャートに沿って説明したが、これを図３に示す具体例に即して説明することとする。
【００７６】
まず図３（ａ）に示すように、今撮影画面中の人物Ｐを追尾しているものとし、人物Ｐの顔の部分にＡＦ枠９０が表示されている。この顔の画像が最初の基準パターンとして登録されている。その後パターンマッチングに使用する基準パターンは、一定の周期で更新される。
【００７７】
なお、ここで一定の周期とは、パターンマッチングの１サイクルが速すぎると相関値が下がらないため、人物が交差しても追尾してしまうので、数サイクルにつき、１回更新するぐらいの程度が好ましい。
【００７８】
次に図３（ｂ）に示すように、人物Ｐが移動して人物Ｑと交差するような状況が生じたとする。このとき、ＡＦ枠９０には人物Ｐ以外の物体も入ってきて、このＡＦ枠９０内の画像を最初の基準パターンとパターンマッチングした場合には、相関値が１(１００％）よりもかなり低くなってしまう。そして人物Ｐがさらに移動して人物Ｑの陰に隠れると相関値は０に近い値となり、追尾が中止される。
【００７９】
そして、相関値が下がる前の基準パターンを記憶しておき、その後は相関値が下がる前に記憶した基準パターンとのパターンマッチングを繰り返すようにする。
【００８０】
そして、図３（ｃ）に示すように、さらに人物Ｐが移動して人物Ｑの向こう側に再び姿を現し、相関値が下がる前に記憶した基準パターンとパターンマッチングを行った結果、相関値がまた上がった場合には、人物Ｐの顔に対してＡＦ枠９０を再度設定して追尾を再開する。
【００８１】
このように本実施形態においては、相関値が所定値より下がった場合には、追尾を中止するようにしたため、人物が交差したような場合に、今まで追尾していた人物とは違う人物の追尾を始めてしまうというような追尾の失敗を防止することができる。
【００８２】
次に、本発明の他の実施形態について説明する。上で説明した実施形態においては、３つの基準パターンＡ、Ｂ、Ｃを用いたが、これから説明する実施形態は、２つの基準パターンＡ、Ｃのみを用いるものである。
【００８３】
図４は、本発明の他の実施形態の作用を示すフローチャートであり、以下このフローチャートに沿って説明する。
【００８４】
まず図４のステップＳ２００において、カメラマンはＡＦ枠を設定する。そして、ステップＳ２０２で追尾をスタートし、ステップＳ２０４で画像を取り込む。そして、ステップＳ２０６、Ｓ２０８において、この取り込んだ撮影画像を基準パターンＡ及び基準パターンＣとして登録する。
【００８５】
前述した実施形態と同様に、基準パターンＡは追尾対象を示す最初の画像であり、更新されることなくこのままずっと保存される。一方基準パターンＣは、最新の画像が格納されるように常に更新される。
【００８６】
ステップＳ２１０において、一定の時間間隔で撮影画像が取り込まれる。そして、ステップＳ２１２において、今取り込まれた撮影画像と基準パターンＣとでパターンマッチング処理が行われ、相関値が算出される。
【００８７】
そして、ステップＳ２１４において、算出された相関値が９０％より大きいか否か判断される。
【００８８】
その結果、相関値が９０％よりも大きいと判断された場合には、ステップＳ２１６において、追尾対象が撮影画面内で移動したか否か判断する。
【００８９】
そして、追尾対象が移動したと判断された場合には、ステップＳ２１８において、現在の撮影画像で基準パターンＣを更新する。このように、相関値が下がる前の画像を基準パターンＣとして記憶するようにする。さらに、ステップＳ２２０において、撮影画面内で移動した追尾対象に合わせてＡＦ枠も更新する。その後、ステップＳ２１０に戻り次の画像を取り込み、上と同様の処理を繰り返す。
【００９０】
また、追尾対象が移動していない場合には、基準パターンＣもＡＦ枠も更新することなく、ステップＳ２１０に戻り次の画像を取り込み、上の処理を繰り返す。
【００９１】
一方、ステップＳ２１４で相関値が９０％よりも大きくないと判断された場合には、ステップＳ２２２において、撮影画像と最初に登録された基準パターンＡとの間でパターンマッチングが行われる。
【００９２】
これは、ステップＳ２１４における判断で、すでに更新され最新のものとなっている基準パターンＣとではマッチングせず、追尾対象を見失ったと判断して、再度追尾開始当初の画像と比較することで追尾対象を再発見して追尾を再開しようとするものである。
【００９３】
そして、ステップＳ２２４において、上で撮影画像と基準パターンＡとをパターンマッチングして算出した相関値が８０％より大きいか否か判断する。
【００９４】
この相関値が８０％より大きい場合には、ステップＳ２１６に進み、追尾対象が撮影画面内で移動したか否か判断し、以下前と同じ処理を行う。
【００９５】
また、相関値が８０％より大きくない場合には、例えば、追尾していた人物の前に他の人物が交差するなどして相関値が下がってしまったような場合で、このような場合には追尾を中止して、ステップＳ２１０に戻り次の画像を取り込み、再び最初の基準パターンＡが検出されたら追尾を再開し、上の処理を繰り返すようにする。
【００９６】
以上説明した本発明の実施形態においては、最初の登録画像をずっと保持する基準パターンと常に最新の画像を記憶する基準パターンの少なくとも２つの基準パターンを持ち、通常は最新の基準パターンと撮影画像とでパターンマッチングを行い、追尾対象を追尾して行く。そしてパターンマッチングにより相関値を算出し、この相関値が一定値より大きい場合には、そのときの画像で基準パターンを更新することにより、常に一つの基準パターンには最新の画像が記憶される。また、相関値が一定値より小さくなった場合には、追尾を中止する。そして、次の撮影画像を取り込み、最初の基準パターンとパターンマッチングを行い、最初の追尾対象が検出された場合に、再び追尾を開始するようにする。
【００９７】
このようにして、結局、相関値が一定値より小さくなって追尾を中止するときの直前の画像が一つの基準パターンに記憶されるようになっている。
【００９８】
これにより、人物が交差して追尾対象を見失ってしまうような場合でも、一旦追尾を中止し、その後最初の追尾対象が検出されたら追尾を再開することで、追尾対象でないものを追尾してしまうような追尾の失敗を防止することができる。
【００９９】
以上、本発明のオートフォーカスシステムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
【図面の簡単な説明】
【０１００】
【図１】本発明に係るオートフォーカスシステムが適用されたビデオカメラシステムの一実施形態の全体構成を示したブロック図である。
【図２】本発明の一実施形態の作用を示すフローチャートである。
【図３】（ａ）〜（ｃ）は、本実施形態の作用を具体例で示す説明図である。
【図４】本発明の他の実施形態の作用を示すフローチャートである。
【符号の説明】
【０１０１】
１…ビデオカメラシステム、１０…テレビカメラ、１２…カメラ本体、１３…ビューファインダ、１４…レンズ装置、１６…被写体、１８…画像処理ユニット、２０…操作部、２４…撮影レンズ、２６…ＡＦユニット、２８…ダウンコンバータ、３０…メインボード、３２…パターンマッチング処理演算ボード、３４…顔認証処理演算ボード、６６…タッチパネル付ＬＣＤ、７２…外部モニタ
【技術分野】
【０００１】
本発明は、オートフォーカスシステムに係り、特に、パターンマッチングで撮影画像中の人物をピント合わせの対象として追尾し、ＡＦ枠を自動追尾するシステムに関する。
【背景技術】
【０００２】
従来、カメラのフォーカスを自動的に合わせるオートフォーカス（ＡＦ）システムにおいては、どこにフォーカスを合わせるか（どこにピントを合わせるか）をカメラに対して指示しなければならない。このとき、一般のカメラなどでは、フォーカスを合わせる位置は撮影範囲のセンターに固定されていて、例えば撮影範囲の中央にいる人物等にフォーカスが合うようになっていた。そして、オートフォーカス（ＡＦ）の方式としては、撮像素子により取り込まれた画像信号から被写体画像のコントラストを検出し、そのコントラストが最も高くなるように撮影レンズのフォーカスを制御することによって最良ピント状態に自動でピント合わせをするコントラスト方式が採用されていた。
【０００３】
なお、カメラの撮影範囲のうちＡＦの対象とする被写体の範囲、又はカメラの撮影画像を再生した場合の撮影画像の画面のうちＡＦの対象とする被写体の画面上での範囲をＡＦエリアといい、そのＡＦエリアの輪郭を示す枠をＡＦ枠という。
【０００４】
ところで、動いている被写体を撮影する場合などにおいては、このようにフォーカスを合わせる位置が固定されていては都合が悪い。そこで、例えば、テレビカメラなどで、スポーツのように被写体の動きの激しいシーンを撮影する場合において、撮影画像中からピントを合わせる対象被写体を検出して追尾するために、フォーカス対象（合焦対象）の被写体の画像を基準パターンとして記憶し、新たに取り込んだフレームの撮影画像においてその基準パターン画像と最も合致する画像をパターンマッチングにより検出し、対象被写体の位置を検出するようにしたものが知られている（例えば、特許文献１等参照）。
【特許文献１】特開２００６−２５８９４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来のように、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾した場合、画面内に複数の人物が存在して、その人物同士が互いに交差したようなときに、追尾不能となってしまう虞れがあるという問題がある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内で複数の人物同士が交差しても確実に追尾対象を追尾することができるオートフォーカスシステムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、請求項１に記載の発明は、光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のＡＦエリア内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、前記撮像手段によって撮像された画像範囲内の被写体の移動に合わせて前記ＡＦエリアを移動させる追尾手段と、前記撮像手段により所定周期で撮像された撮影画像の中からピントを合わせる対象の画像を基準パターンとして複数登録する基準パターン登録手段と、前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する画像を検出する合致画像検出手段と、を備え、前記合致画像検出手段により検出された画像の、前記基準パターンに対する合致の度合いを示す相関値が所定の閾値より大きい場合には、前記合致画像検出手段により検出された画像により前記基準パターンの一つを更新するとともに、前記合致画像検出手段により検出された画像の、前記基準パターンに対するいずれの相関値も所定の閾値より大きくない場合には、前記追尾手段は前記撮影画像中の被写体の追尾を中止することを特徴とするオートフォーカスシステムを提供する。
【０００８】
これにより、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内で複数の人物同士が交差しても確実に追尾対象を追尾することが可能となる。
【０００９】
また、請求項２に示すように、請求項１に記載のオートフォーカスシステムであって、前記基準パターンは、少なくとも、最初に登録された画像をずっと保持する基準パターンと、前記相関値が所定の閾値より大きくないことが検出された場合に、その直前に前記合致画像検出手段により検出された画像で更新される基準パターンの２つを有することを特徴とする。
【００１０】
これにより、最初に登録された画像がずっと保持されるので、一方の更新される基準パターンが当初の追尾対象の画像からかけ離れてしまった場合でも、常に最初の画像とパターンマッチングを行うことができ、最初に登録された画像の被写体を追尾することができる。
【００１１】
また、請求項３に示すように、請求項１または２に記載のオートフォーカスシステムであって、前記追尾手段が前記撮影画像中の被写体の追尾を中止したときは、その後、前記撮像手段により撮像された撮影画像の中から、前記いずれかの基準パターンに最も合致する画像が合致画像検出手段により検出された場合には、前記追尾手段は該検出された画像中の被写体の追尾を再開することを特徴とする。
【００１２】
これにより、追尾を中止しても、その後追尾を再開することができる。
【００１３】
また、請求項４に示すように、請求項１〜３において、前記最新の画像による基準パターンの更新は、一定の周期で行われることを特徴とする。
【００１４】
これにより、パターンマッチングの１サイクルが速過ぎた場合に人物が交差しても相関値が下がらずに追尾対象が変わってしまい追尾を失敗することを防止することができる。
【発明の効果】
【００１５】
以上説明したように、本発明によれば、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内で複数の人物同士が交差しても確実に追尾対象を追尾することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して、本発明に係るオートフォーカスシステムについて詳細に説明する。
【００１７】
図１は、本発明に係るオートフォーカスシステムが適用されたビデオカメラシステムの一実施形態の全体構成を示したブロック図である。このビデオカメラシステムは、例えば、放送用テレビカメラでの撮影に用いられる撮像システムである。
【００１８】
図１に示すように、本実施形態のビデオカメラシステム１は、テレビカメラ１０、画像処理ユニット１８等を有して構成されている。
【００１９】
テレビカメラ１０は、ハイビジョンテレビ［ＨＤ（High Definition)ＴＶ］方式に対応したＨＤカメラからなるカメラ本体１２と、カメラ本体１２のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１４とから構成される。なお、図示は省略するが、カメラ本体１２は雲台上に旋回方向（パン）及び上下傾動方向（チルト）に移動可能に支承されている。
【００２０】
カメラ本体１２には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１４の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてＨＤＴＶ方式の映像信号（ＨＤＴＶ信号）として、カメラ本体１２の映像信号出力端子等から外部に出力される。
【００２１】
また、カメラ本体１２は、ビューファインダ１３を備えており、テレビカメラ１０により現在撮影されている映像等がビューファインダ１３に表示されるようになっている。また、ビューファインダ１３には、各種情報が表示されるようになっており、例えば、後述のオートフォーカスにおいてピント合わせの対象範囲となるＡＦ枠が撮影映像に重畳されて表示されるようになっている。
【００２２】
レンズ装置１４は、カメラ本体１２のレンズマウントに装着される撮影レンズ（ズームレンズ）２４を備えている。撮影レンズ２４により、被写体１６がカメラ本体１２の撮像素子の撮像面に結像されるようになっている。撮影レンズ２４には、図示を省略するが、その構成部としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、またズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。
【００２３】
なお、オートフォーカス（ＡＦ）に関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。また、所定の可動部を操作者の操作に従って電動駆動する場合には、図示しない操作手段（レンズ装置１４に接続されるコントローラの操作手段等）から操作者の操作に従って出力されるコントール信号に基づいて可動部の動作が制御されるが詳細は省略する。
【００２４】
また、レンズ装置１４には、ＡＦユニット２６及び図示しないレンズＣＰＵ等が搭載されている。レンズＣＰＵはレンズ装置１４全体を統括制御するものである。また、ＡＦユニット２６は、ＡＦによるフォーカス制御（自動ピント調整）を行うために必要な情報を取得するための処理部であり、図示を省略するが、ＡＦ処理部、ＡＦ用撮像回路等から構成されている。ＡＦ用撮像回路はＡＦ処理用の映像信号を取得するためにレンズ装置１４に配置されており、撮像素子ＣＣＤ等の撮像素子（ＡＦ用撮像素子という）やＡＦ用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。なお、ＡＦ用撮像回路から出力される映像信号は輝度信号である。
【００２５】
ＡＦ用撮像素子の撮像面には、撮影レンズ２４の光路上に配置されたハーフミラー等によってカメラ本体１２の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラ本体１２の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる被写体画像は、カメラ本体１２の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラ本体１２の撮像素子の撮影範囲を包含する大きな範囲であってもよい。
【００２６】
ＡＦ処理部は、ＡＦ用撮像回路から映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちＡＦの対象とするＡＦエリアに対応する範囲の信号を１画面（１フレーム）分ずつ積算する。このようにして１画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値としてレンズＣＰＵに与えられる。
【００２７】
レンズＣＰＵは、ＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を、後述するように画像処理ユニット１８から取得し、そのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部から取得する。
【００２８】
このようにしてＡＦ用撮像回路から１画面分の映像信号が取得されるごとに（ＡＦ処理部で焦点評価値が求められるごとに）ＡＦ処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大（極大）、即ち、ＡＦ枠内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。
【００２９】
なお、上述のＡＦ処理部は、焦点評価値を算出するためにレンズ装置に搭載されたＡＦ用撮像素子から映像信号を取得しているが、カメラ本体１２の撮像素子より撮影された映像の映像信号をカメラ本体１２から取得するような構成としてもよい。また、ＡＦ枠内の被写体に自動でピントを合わせるためのＡＦ手段はどのようなものであってもよい。
【００３０】
また、カメラ本体１２とレンズ装置１４、レンズ装置１４と後述の画像処理ユニット１８とは、各装置に設けられたシリアル通信コネクタが直接的又はケーブル等を介して接続される。これによって、カメラ本体１２とレンズ装置１４とが、それぞれに設けられたシリアル通信インターフェイス（ＳＣＩ）１２ａ及び１４ａを介して様々な情報の送受信をシリアル通信により行うようになっている。また、レンズ装置１４と画像処理ユニット１８とが、それぞれに設けられたシリアル通信インターフェイス１４ａ及び３０ａとの間で様々な情報の送受信をシリアル通信により行うようになっている。
【００３１】
また、カメラ本体１２の映像出力コネクタと画像処理ユニット１８の映像入力コネクタとが、ダウンコンバータ２８を介してケーブルで接続される。これによって、カメラ本体１２の映像出力コネクタから出力されたＨＤＴＶ信号は、ダウンコンバータ２８によって、標準テレビ［ＮＴＳＣ（National Television System Committee)]方式の映像信号（ＳＤＴＶ信号）に変換（ダウンコンバート）されて、画像処理ユニット１８に入力されるようになっている。
【００３２】
詳しくは後述するが、画像処理ユニット１８は、撮像された被写体画像中の被写体人物について顔認証を行い、それがオートフォーカスをかけて自動追尾するように設定された被写体（フォーカス対象）であると認定された場合には、ＡＦユニット２６を通じてレンズ装置１４をオートフォーカス制御するものである。
【００３３】
また、顔認証を行い、現在撮影中の被写体がオートフォーカスをかけて自動追尾する対象であるか否かを判定するためには、ＨＤＴＶ信号による高精細な画像である必要はなく、標準テレビ方式の映像信号（ＳＤＴＶ信号）の画像で充分であるので、上述したように、カメラ本体１２から出力されたＨＤＴＶ信号をダウンコンバータ２８によってＳＤＴＶ信号に変換するようにしたものである。
【００３４】
画像処理ユニット１８は、上記のようにレンズ装置１４のＡＦユニット２６によりＡＦによるフォーカス制御を実施する際のＡＦ枠の範囲（位置、大きさ、形状（縦横比））の指定を行うための装置であり、テレビカメラ１０の撮影画像（撮影画面）内でのＡＦ枠の範囲を指定するＡＦ枠情報が画像処理ユニット１８からレンズ装置１４に上記シリアル通信により与えられるようになっている。ＡＦユニット２６では、画像処理ユニット１８からのＡＦ枠情報に基づいてＡＦ枠の範囲を設定して上記のようにＡＦの処理を実行する。
【００３５】
画像処理ユニット１８は、主としてメインボード３０、パターンマッチング処理演算ボード３２、顔認証処理演算ボード３４から構成されている。メインボード３０、パターンマッチング処理演算ボード３２、顔認証処理演算ボード３４の各々にはＣＰＵ３８、５０、５２が搭載されており、各ボード毎に個別の演算処理が行われると共に、各ＣＰＵ３８、５０、５２は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。また、画像処理ユニット１８は、顔認証処理を行うための顔認証データを格納した顔認証データカード７４を有している。
【００３６】
画像処理ユニット１８における処理は、メインボード３０において統括的に行われるようになっている。そのメインボード３０には、演算処理を行う上記ＣＰＵ３８の他に、ＳＣＩ３０ａ、デコーダ（Ａ／Ｄ変換器）３６、スーパーインポーザ４２、ＲＡＭ４０等が搭載されている。
【００３７】
ＳＣＩ３０ａは、上述のようにレンズ装置１４のＳＣＩ１４ａとの間でシリアル通信を行うためのインターフェイス回路であり、上記ＡＦ枠情報等をレンズ装置１４に送信する。
【００３８】
デコーダ３６は、上記ダウンコンバータ２８から画像処理ユニット１８に入力されるテレビカメラ１０において撮影映像の映像信号（ＳＤＴＶ信号）を、画像処理ユニット１８においてデジタル処理可能なデータに変換するための回路であり、アナログのＳＤＴＶ信号をデジタルデータの映像信号に変換するＡ／Ｄ変換処理等を行っている。
【００３９】
ＲＡＭ４０は、ＣＰＵ３８の演算処理において使用するデータを一時的に格納するメモリである。
【００４０】
一方、パターンマッチング処理演算ボード３２や顔認証処理演算ボード３４は、パターンマッチングと顔検出・認証処理を個別に行うための演算ボードであり、各々、演算処理を行うＣＰＵ５０、５２の他に画像データを一時的に格納するＶＲＡＭ５４、５６等を備えている。
【００４１】
また、画像処理ユニット１８には、操作部２０が一体的に設けられ、又は、操作部２０の一部又は全ての操作部材が画像処理ユニット１８とは別体の装置に設けられてケーブル等で接続されている。
【００４２】
詳細は省略するが、操作部２０には、ＡＦ枠の位置をユーザの手動操作により上下左右に移動させるための位置操作部材６０（例えば、ジョイスティックやトラックボール）、ＡＦ枠の大きさを手動操作により変更するためのサイズ操作部材６２（例えば、ツマミ)、ＡＦ枠の形状を手動操作により変更するための形状操作部材６４（例えば、ツマミ）、自動追尾の開始を指示する追尾開始スイッチ６８、自動追尾の停止を指示する追尾停止スイッチ７０が設けられており、これらの操作部材６０、６２、６４、６８、７０の設定状態が、画像処理ユニット１８におけるメインボード３０のＣＰＵ３８により読み取られるようになっている。
【００４３】
なお、タッチパネル付ＬＣＤ６６は、ＡＦ枠の自動追尾に関するモード等の設定をタッチ操作で入力できるようにしたもので、画像処理ユニット１８のＣＰＵ３８によりＬＣＤ６６に表示される画像は、設定内容に応じて適宜切り換えられるようになっている。
【００４４】
また、タッチパネル付ＬＣＤ６６に表示される画像は、メインボード３０のスーパーインポーザ４２を介して与えられるようになっており、そのスーパーインポーザ４２では、デコーダ３６から与えられるテレビカメラ１０の撮影映像の映像信号と、ＣＰＵ３８で生成される画像信号の合成が行えるようになっている。これによって、カメラ本体１２に設定されているビューファインダ１３と同様にテレビカメラ１０で撮影されている撮影映像と現在設定されているＡＦ枠の画像とを重畳させた映像をタッチパネル付ＬＣＤ６６に表示させることが可能であり、この画面上でのタッチ操作により、ユーザは、上記操作部材６０、６２、６４、６８、７０で行うのと同様の操作を行うことができるようになっている。
【００４５】
また、操作部２０には、タッチパネル付ＬＣＤ６６の他に、外部モニタ７２が設けられており、タッチパネル付ＬＣＤ６６に表示されるのと同じ画像が表示されるようになっている。そして、外部モニタ７２は、カメラマン以外の例えばフォーカスマンなどがこれを見て、そのタッチパネル機能により適宜指示を入力することができるようになっている。
【００４６】
本実施形態は、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾した場合に、画面内に複数の人物がいて、その人物同士が交差したときにも追尾不能とはならずに、追尾対象を確実に追尾することができるようにしたものである。
【００４７】
次に、フローチャートに沿って本発明に係るオートフォーカスシステムの作用について説明する。
【００４８】
図２は、本発明の一実施形態の作用を示すフローチャートである。
【００４９】
まず、図２のステップＳ１００において、カメラマンは撮影を開始するにあたり、ビューファインダ１３あるいはタッチパネル付ＬＣＤ６６の画面に表示された映像及びＡＦ枠を見ながら操作部２０の位置操作部材６０、サイズ操作部材６２、形状操作部材６４等の操作部材を操作し、ピント合わせの対象として追尾する対象物がＡＦ枠の範囲に収まるようにＡＦ枠の範囲を設定する。これによって、レンズ装置１４のレンズＣＰＵにおけるＡＦの処理によりその対象物にピントが合わせられる。
【００５０】
ステップＳ１０２において追尾がスタートすると、ステップＳ１０４において、画像処理ユニット１８のＣＰＵ３８は、レンズ装置１４のＡＦユニット２６（ＡＦ処理部）から与えられる映像信号から１画面分（１フレーム分）の撮影画像を取り込む。
【００５１】
そして、ステップＳ１０６、Ｓ１０８、Ｓ１１０において、それぞれ後でパターンマッチングに用いられる基準パターンを登録するためのバッファを確保して、当初取り込まれた撮影画像から得られた追尾対象である同じ画像をそれぞれに格納し、基準パターンＡ、基準パターンＢ、基準パターンＣとする。ここで基準パターンＢや基準パターンＣは今後取り込まれた画像に応じて、基準パターンＣは最新の画像として、また基準パターンＢはその次に最新の画像に近い画像としてそれぞれ更新されるが、基準パターンＡは最初に登録した基準パターンとしてずっと保存される。
【００５２】
次にステップＳ１１２において、画像処理ユニット１８は、前回の画像取り込みから所定時間経過した後に１画面分の撮影画像を前回と同様に取り込む。
【００５３】
次にステップＳ１１４において、今取り込んだ撮影画像と、最新の画像として登録された基準パターンＣとに対して、パターンマッチング処理演算ボード５０においてパターンマッチング処理を行い、いわば２つの画像の類似度を表す相関値を算出する。
【００５４】
ここで一般に、２つの確率変数Ｘ、Ｙの相関値（相関係数）γｘｙとは、これらの共分散μｘｙと、各確率変数の標準偏差σｘ、及びσｙの積σｘ・σｙとの比を言う。
【００５５】
すなわち、相関値γｘｙ＝μｘｙ／σｘ・σｙである。
【００５６】
従ってこの場合には、相関値ｃは、例えば以下のように定義される。すなわち、座標（ｘ，ｙ）における基準パターン画像の画素値がｆ（ｘ，ｙ）であり、これと比較される撮影画像の画素値がｇ（ｘ，ｙ）であるとする。また、撮影画像を基準パターン画像からｘ方向にｍ、及びｙ方向にｎだけずらした画素値をｇ（ｍ＋ｘ，ｎ＋ｙ）とし、ｆ（ｘ，ｙ）及びｇ（ｍ＋ｘ，ｎ＋ｙ）を確率変数と考えて、この撮影画像を基準パターン画像に重ねたときの両者の相関値をｃ（ｍ，ｎ）とする。
【００５７】
所定の領域における基準パターン画像及び撮影画像の画素値の平均値をそれぞれｆａｖ、ｇａｖとすると、相関値ｃ（ｍ，ｎ）は、以下の式（１）で定義される。
【００５８】
ｃ（ｍ，ｎ）
＝｛ Σ（|ｆ（ｘ，ｙ）−ｆａｖ|×|ｇ（ｍ＋ｘ，ｎ＋ｙ）−ｇａｖ|）
／（Σ|ｆ（ｘ，ｙ）−ｆａｖ|２×Σ|ｇ（ｍ＋ｘ，ｎ＋ｙ）−ｇａｖ|２）１／２ ｝
・・・（１）
ここで、式（１）中のΣは、所定領域におけるｘ及びｙについての和を表す。
【００５９】
相関値は０と１との間の値をとり、相関が高い（すなわち２つの画像が類似している程）１に近い値をとる。
【００６０】
次にステップＳ１１６において、今求めた相関値ｃが９０％より大きい（すなわち、相関値ｃが０．９より大）か否か判断する。
【００６１】
その結果相関値ｃが９０％より大のとき、すなわち今取り込んだ撮影画像が基準パターンＣとよく類似している場合には、次のステップＳ１１８において、この撮影画像で基準パターンＢを更新する。もしこれが基準パターンＢのはじめての更新である場合には、それまで基準パターンＢには、基準パターンＡに登録されているものと同じ最初の撮影画像が登録されており、それをより新しい画像で置き換えることとなる。
【００６２】
次に、ステップＳ１２０において、上で算出された相関値ｃ（ｍ，ｎ）により、追尾対象が移動したか否か判断する。ｍ、ｎが０でないところで相関値ｃ（ｍ，ｎ）が高くなっている場合には、追尾対象が画像上で、いままでの（ｘ，ｙ）の位置から（ｍ＋ｘ，ｎ＋ｙ）の位置まで移動したことになる。
【００６３】
追尾対象が移動していると判断された場合には、次のステップＳ１２２において、この最新の画像によって基準パターンＣを更新する。
【００６４】
そして、追尾対象が移動している場合には、次のステップＳ１２４において、移動後の追尾対象に合わせてＡＦ枠を更新する。
【００６５】
また追尾対象が移動していない場合には、基準パターンＣもＡＦ枠も更新せずに、ステップＳ１１２に戻り次の画像を取り込み、同様の処理を繰り返す。
【００６６】
また一方、ステップＳ１１６において、相関値ｃ（ｍ，ｎ）が９０％より大きくないと判断された場合には、次にステップＳ１２６において、今度は相関値ｃ（ｍ，ｎ）が８０％より大きいか否か判断する。
【００６７】
そして相関値ｃ（ｍ，ｎ）が８０％より大きいと判断された場合には、基準パターンＢを更新することなく、ステップＳ１２０へ進み、追尾対象が移動したか否か判断し、移動している場合には、その次のステップＳ１２２において、この撮影画像で基準パターンＣを更新する。
【００６８】
また、ステップＳ１１６において、相関値ｃ（ｍ，ｎ）が８０％より大きくないと判断された場合には、ステップＳ１２８において、この撮影画像を基準パターンＡとパターンマッチングを行い、このときの相関値を計算する。
【００６９】
ステップＳ１３０において、この撮影画像と基準パターンＡとの相関値が８０％より大きいか否か判断する。
【００７０】
このとき、この相関値が８０％より大きい場合には、次のステップＳ１３２において、この撮影画像で基準パターンＢを更新する。その後はステップＳ１２０へ進み、撮影画像が移動したか否か判断する。
【００７１】
また、ステップＳ１３０において、相関値が８０％より大きくないと判断された場合には、ステップ１３４において、この撮影画像と基準パターンＢとでパターンマッチングを行い、このときの相関値を算出する。
【００７２】
そして、この撮影画像と基準パターンＢとの相関値が８０％より大きい場合には、ステップＳ１３２に進み、この撮影画像で基準パターンＢを更新する。このように、相関値が下がる前の画像を記憶しておくようにする。その後ステップＳ１２０へ進み、追尾対象が移動したか否か判断する。
【００７３】
また、ステップＳ１３６において、この撮影画像と基準パターンＢとの相関値が８０％より大きくない場合には、もうこの撮影画像は追尾対象ではないと判断して、このように相関値が下がったら追尾を中止するとともに、ステップＳ１１２に戻り、次の画像取り込みを行い、最初と相関値が下がる前に格納した基準パターンとのパターンマッチングを繰り返していく。そして、相関値が上がったら画面中から追尾対象が再び検出されたとして追尾を再開するようにする。
【００７４】
結局、基準パターンＢ、Ｃには、相関値が所定値以上に下がる直前の画像が常に登録され、特に基準パターンＣには、常に、最初の登録画像とある程度の類似度を有する最新の画像が登録されることとなる。
【００７５】
以上フローチャートに沿って説明したが、これを図３に示す具体例に即して説明することとする。
【００７６】
まず図３（ａ）に示すように、今撮影画面中の人物Ｐを追尾しているものとし、人物Ｐの顔の部分にＡＦ枠９０が表示されている。この顔の画像が最初の基準パターンとして登録されている。その後パターンマッチングに使用する基準パターンは、一定の周期で更新される。
【００７７】
なお、ここで一定の周期とは、パターンマッチングの１サイクルが速すぎると相関値が下がらないため、人物が交差しても追尾してしまうので、数サイクルにつき、１回更新するぐらいの程度が好ましい。
【００７８】
次に図３（ｂ）に示すように、人物Ｐが移動して人物Ｑと交差するような状況が生じたとする。このとき、ＡＦ枠９０には人物Ｐ以外の物体も入ってきて、このＡＦ枠９０内の画像を最初の基準パターンとパターンマッチングした場合には、相関値が１(１００％）よりもかなり低くなってしまう。そして人物Ｐがさらに移動して人物Ｑの陰に隠れると相関値は０に近い値となり、追尾が中止される。
【００７９】
そして、相関値が下がる前の基準パターンを記憶しておき、その後は相関値が下がる前に記憶した基準パターンとのパターンマッチングを繰り返すようにする。
【００８０】
そして、図３（ｃ）に示すように、さらに人物Ｐが移動して人物Ｑの向こう側に再び姿を現し、相関値が下がる前に記憶した基準パターンとパターンマッチングを行った結果、相関値がまた上がった場合には、人物Ｐの顔に対してＡＦ枠９０を再度設定して追尾を再開する。
【００８１】
このように本実施形態においては、相関値が所定値より下がった場合には、追尾を中止するようにしたため、人物が交差したような場合に、今まで追尾していた人物とは違う人物の追尾を始めてしまうというような追尾の失敗を防止することができる。
【００８２】
次に、本発明の他の実施形態について説明する。上で説明した実施形態においては、３つの基準パターンＡ、Ｂ、Ｃを用いたが、これから説明する実施形態は、２つの基準パターンＡ、Ｃのみを用いるものである。
【００８３】
図４は、本発明の他の実施形態の作用を示すフローチャートであり、以下このフローチャートに沿って説明する。
【００８４】
まず図４のステップＳ２００において、カメラマンはＡＦ枠を設定する。そして、ステップＳ２０２で追尾をスタートし、ステップＳ２０４で画像を取り込む。そして、ステップＳ２０６、Ｓ２０８において、この取り込んだ撮影画像を基準パターンＡ及び基準パターンＣとして登録する。
【００８５】
前述した実施形態と同様に、基準パターンＡは追尾対象を示す最初の画像であり、更新されることなくこのままずっと保存される。一方基準パターンＣは、最新の画像が格納されるように常に更新される。
【００８６】
ステップＳ２１０において、一定の時間間隔で撮影画像が取り込まれる。そして、ステップＳ２１２において、今取り込まれた撮影画像と基準パターンＣとでパターンマッチング処理が行われ、相関値が算出される。
【００８７】
そして、ステップＳ２１４において、算出された相関値が９０％より大きいか否か判断される。
【００８８】
その結果、相関値が９０％よりも大きいと判断された場合には、ステップＳ２１６において、追尾対象が撮影画面内で移動したか否か判断する。
【００８９】
そして、追尾対象が移動したと判断された場合には、ステップＳ２１８において、現在の撮影画像で基準パターンＣを更新する。このように、相関値が下がる前の画像を基準パターンＣとして記憶するようにする。さらに、ステップＳ２２０において、撮影画面内で移動した追尾対象に合わせてＡＦ枠も更新する。その後、ステップＳ２１０に戻り次の画像を取り込み、上と同様の処理を繰り返す。
【００９０】
また、追尾対象が移動していない場合には、基準パターンＣもＡＦ枠も更新することなく、ステップＳ２１０に戻り次の画像を取り込み、上の処理を繰り返す。
【００９１】
一方、ステップＳ２１４で相関値が９０％よりも大きくないと判断された場合には、ステップＳ２２２において、撮影画像と最初に登録された基準パターンＡとの間でパターンマッチングが行われる。
【００９２】
これは、ステップＳ２１４における判断で、すでに更新され最新のものとなっている基準パターンＣとではマッチングせず、追尾対象を見失ったと判断して、再度追尾開始当初の画像と比較することで追尾対象を再発見して追尾を再開しようとするものである。
【００９３】
そして、ステップＳ２２４において、上で撮影画像と基準パターンＡとをパターンマッチングして算出した相関値が８０％より大きいか否か判断する。
【００９４】
この相関値が８０％より大きい場合には、ステップＳ２１６に進み、追尾対象が撮影画面内で移動したか否か判断し、以下前と同じ処理を行う。
【００９５】
また、相関値が８０％より大きくない場合には、例えば、追尾していた人物の前に他の人物が交差するなどして相関値が下がってしまったような場合で、このような場合には追尾を中止して、ステップＳ２１０に戻り次の画像を取り込み、再び最初の基準パターンＡが検出されたら追尾を再開し、上の処理を繰り返すようにする。
【００９６】
以上説明した本発明の実施形態においては、最初の登録画像をずっと保持する基準パターンと常に最新の画像を記憶する基準パターンの少なくとも２つの基準パターンを持ち、通常は最新の基準パターンと撮影画像とでパターンマッチングを行い、追尾対象を追尾して行く。そしてパターンマッチングにより相関値を算出し、この相関値が一定値より大きい場合には、そのときの画像で基準パターンを更新することにより、常に一つの基準パターンには最新の画像が記憶される。また、相関値が一定値より小さくなった場合には、追尾を中止する。そして、次の撮影画像を取り込み、最初の基準パターンとパターンマッチングを行い、最初の追尾対象が検出された場合に、再び追尾を開始するようにする。
【００９７】
このようにして、結局、相関値が一定値より小さくなって追尾を中止するときの直前の画像が一つの基準パターンに記憶されるようになっている。
【００９８】
これにより、人物が交差して追尾対象を見失ってしまうような場合でも、一旦追尾を中止し、その後最初の追尾対象が検出されたら追尾を再開することで、追尾対象でないものを追尾してしまうような追尾の失敗を防止することができる。
【００９９】
以上、本発明のオートフォーカスシステムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
【図面の簡単な説明】
【０１００】
【図１】本発明に係るオートフォーカスシステムが適用されたビデオカメラシステムの一実施形態の全体構成を示したブロック図である。
【図２】本発明の一実施形態の作用を示すフローチャートである。
【図３】（ａ）〜（ｃ）は、本実施形態の作用を具体例で示す説明図である。
【図４】本発明の他の実施形態の作用を示すフローチャートである。
【符号の説明】
【０１０１】
１…ビデオカメラシステム、１０…テレビカメラ、１２…カメラ本体、１３…ビューファインダ、１４…レンズ装置、１６…被写体、１８…画像処理ユニット、２０…操作部、２４…撮影レンズ、２６…ＡＦユニット、２８…ダウンコンバータ、３０…メインボード、３２…パターンマッチング処理演算ボード、３４…顔認証処理演算ボード、６６…タッチパネル付ＬＣＤ、７２…外部モニタ
【特許請求の範囲】
【請求項１】
光学系により結像された被写体像を撮像する撮像手段と、
前記撮像手段により撮像された撮影画像のうち、所定のＡＦエリア内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、
前記撮像手段によって撮像された画像範囲内の被写体の移動に合わせて前記ＡＦエリアを移動させる追尾手段と、
前記撮像手段により所定周期で撮像された撮影画像の中からピントを合わせる対象の画像を基準パターンとして複数登録する基準パターン登録手段と、
前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する画像を検出する合致画像検出手段と、
を備え、前記合致画像検出手段により検出された画像の、前記基準パターンに対する合致の度合いを示す相関値が所定の閾値より大きい場合には、前記合致画像検出手段により検出された画像により前記基準パターンの一つを更新するとともに、前記合致画像検出手段により検出された画像の、前記基準パターンに対するいずれの相関値も所定の閾値より大きくない場合には、前記追尾手段は前記撮影画像中の被写体の追尾を中止することを特徴とするオートフォーカスシステム。
【請求項２】
請求項１に記載のオートフォーカスシステムであって、前記基準パターンは、少なくとも、最初に登録された画像をずっと保持する基準パターンと、前記相関値が所定の閾値より大きくないことが検出された場合に、その直前に前記合致画像検出手段により検出された画像で更新される基準パターンの２つを有することを特徴とするオートフォーカスシステム。
【請求項３】
請求項１または２に記載のオートフォーカスシステムであって、前記追尾手段が前記撮影画像中の被写体の追尾を中止したときは、その後、前記撮像手段により撮像された撮影画像の中から、前記いずれかの基準パターンに最も合致する画像が合致画像検出手段により検出された場合には、前記追尾手段は該検出された画像中の被写体の追尾を再開することを特徴とするオートフォーカスシステム。
【請求項４】
前記最新の画像による基準パターンの更新は、一定の周期で行われることを特徴とする請求項１〜３のいずれかに記載のオートフォーカスシステム。
【請求項１】
光学系により結像された被写体像を撮像する撮像手段と、
前記撮像手段により撮像された撮影画像のうち、所定のＡＦエリア内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、
前記撮像手段によって撮像された画像範囲内の被写体の移動に合わせて前記ＡＦエリアを移動させる追尾手段と、
前記撮像手段により所定周期で撮像された撮影画像の中からピントを合わせる対象の画像を基準パターンとして複数登録する基準パターン登録手段と、
前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する画像を検出する合致画像検出手段と、
を備え、前記合致画像検出手段により検出された画像の、前記基準パターンに対する合致の度合いを示す相関値が所定の閾値より大きい場合には、前記合致画像検出手段により検出された画像により前記基準パターンの一つを更新するとともに、前記合致画像検出手段により検出された画像の、前記基準パターンに対するいずれの相関値も所定の閾値より大きくない場合には、前記追尾手段は前記撮影画像中の被写体の追尾を中止することを特徴とするオートフォーカスシステム。
【請求項２】
請求項１に記載のオートフォーカスシステムであって、前記基準パターンは、少なくとも、最初に登録された画像をずっと保持する基準パターンと、前記相関値が所定の閾値より大きくないことが検出された場合に、その直前に前記合致画像検出手段により検出された画像で更新される基準パターンの２つを有することを特徴とするオートフォーカスシステム。
【請求項３】
請求項１または２に記載のオートフォーカスシステムであって、前記追尾手段が前記撮影画像中の被写体の追尾を中止したときは、その後、前記撮像手段により撮像された撮影画像の中から、前記いずれかの基準パターンに最も合致する画像が合致画像検出手段により検出された場合には、前記追尾手段は該検出された画像中の被写体の追尾を再開することを特徴とするオートフォーカスシステム。
【請求項４】
前記最新の画像による基準パターンの更新は、一定の周期で行われることを特徴とする請求項１〜３のいずれかに記載のオートフォーカスシステム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−１４５９６５（Ｐ２０１０−１４５９６５Ａ）
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願番号】特願２００８−３２６１８５（Ｐ２００８−３２６１８５）
【出願日】平成２０年１２月２２日（２００８．１２．２２）
【出願人】（０００００５４３０）フジノン株式会社 (2,231)
【Ｆターム（参考）】
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願日】平成２０年１２月２２日（２００８．１２．２２）
【出願人】（０００００５４３０）フジノン株式会社 (2,231)
【Ｆターム（参考）】
[ Back to top ]