オートフォーカスシステム
【課題】パターンマッチングで人物を追尾する際、画面内に似たようなパターンが存在しても確実に追尾対象を追尾する。
【解決手段】撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のＡＦエリア内の被写体にピントが合うようにフォーカス調整を行うオートフォーカス手段と、撮像された画像範囲内の被写体の移動に合わせて前記ＡＦエリアを移動させる追尾手段と、ピントを合わせる被写体の画像を基準パターンとして登録する基準パターン登録手段と、撮影画像の中から、前記基準パターンに最も合致する被写体を検出する合致画像検出手段とを備え、検出された被写体の撮影画面内における移動量が所定値より小である場合には、前記被写体の画像で基準パターンを更新するとともに移動した前記被写体に合わせてＡＦ枠を更新し、また前記移動量が所定値以上である場合には追尾を中止することを特徴とする。
【解決手段】撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のＡＦエリア内の被写体にピントが合うようにフォーカス調整を行うオートフォーカス手段と、撮像された画像範囲内の被写体の移動に合わせて前記ＡＦエリアを移動させる追尾手段と、ピントを合わせる被写体の画像を基準パターンとして登録する基準パターン登録手段と、撮影画像の中から、前記基準パターンに最も合致する被写体を検出する合致画像検出手段とを備え、検出された被写体の撮影画面内における移動量が所定値より小である場合には、前記被写体の画像で基準パターンを更新するとともに移動した前記被写体に合わせてＡＦ枠を更新し、また前記移動量が所定値以上である場合には追尾を中止することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オートフォーカスシステムに係り、特に、パターンマッチングを用いてＡＦ枠を自動追尾するシステムに関する。
【背景技術】
【０００２】
従来、カメラのフォーカスを自動的に合わせるオートフォーカス（ＡＦ）システムにおいては、どこにフォーカスを合わせるか（どこにピントを合わせるか）をカメラに対して指示しなければならない。このとき、一般のカメラなどでは、フォーカスを合わせる位置は撮影範囲のセンターに固定されていて、例えば撮影範囲の中央にいる人物等にフォーカスが合うようになっていた。そして、オートフォーカス（ＡＦ）の方式としては、撮像素子により取り込まれた画像信号から被写体画像のコントラストを検出し、そのコントラストが最も高くなるように撮影レンズのフォーカスを制御することによって最良ピント状態に自動でピント合わせをするコントラスト方式が採用されていた。
【０００３】
なお、カメラの撮影範囲のうちＡＦの対象とする被写体の範囲、又はカメラの撮影画像を再生した場合の撮影画像の画面のうちＡＦの対象とする被写体の画面上での範囲をＡＦエリアといい、そのＡＦエリアの輪郭を示す枠をＡＦ枠という。
【０００４】
ところで、動いている被写体を撮影する場合などにおいては、このようにフォーカスを合わせる位置が固定されていては都合が悪い。そこで、例えば、テレビカメラなどで、スポーツのように被写体の動きの激しいシーンを撮影する場合において、撮影画像中からピントを合わせる対象被写体を検出して追尾するために、フォーカス対象（合焦対象）の被写体の画像を基準パターンとして記憶し、新たに取り込んだフレームの撮影画像においてその基準パターン画像と最も合致する画像をパターンマッチングにより検出し、対象被写体の位置を検出するようにしたものが知られている（例えば、特許文献１等参照）。
【特許文献１】特開２００６−２５８９４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来のように、ＡＦ枠を自動追尾するアルゴリズムにパターンマッチングを使用した場合、例えば同じユニフォームを着用したスポーツの撮影などにおいて、画面内に似たようなパターンが複数存在すると、誤って追尾してしまう虞れがあるという問題がある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内に似たようなパターンが複数存在しても確実に追尾対象を追尾することができるオートフォーカスシステムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、請求項１に記載の発明は、光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のＡＦエリア内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、前記撮像手段によって撮像された画像範囲内の被写体の移動に合わせて前記ＡＦエリアを移動させる追尾手段と、前記撮像手段により撮像された撮影画像の中からピントを合わせる被写体の画像を基準パターンとして登録する基準パターン登録手段と、前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する被写体を検出する合致画像検出手段と、を備え、前記合致画像検出手段により検出された被写体の、前記撮像手段の撮影画面内における移動量が所定値より小である場合には、今回検出された前記被写体の画像で基準パターンを更新するとともに移動した前記被写体に合わせてＡＦ枠を更新し、また前記移動量が所定値以上である場合には、前記追尾手段は追尾を中止することを特徴とするオートフォーカスシステムを提供する。
【０００８】
これにより、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内に似たようなパターンが複数存在しても確実に追尾対象を追尾することが可能となる。
【０００９】
また、請求項２に示すように、請求項１に記載のオートフォーカスシステムであって、前記追尾手段が前記撮影画像中の被写体の追尾を中止したときは、その後、前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する画像が合致画像検出手段により検出された場合には、前記追尾手段は該検出された画像中の被写体の追尾を再開することを特徴とする。
【００１０】
これにより、一旦追尾が中断しても再度追尾対象を検出することにより追尾を続行することができる。
【００１１】
また、請求項３に示すように、請求項１または２に記載のオートフォーカスシステムであって、前記所定値は、前記撮像手段のパン／チルト動作に応じて変更されることを特徴とする。
【００１２】
これにより、より撮影実態に適応した被写体追尾を実行することができる。
【００１３】
また、請求項４に示すように、前記撮像手段は、一定の周期で撮像画像の取り込みを行うことを特徴とする。
【００１４】
これにより、基準パターンを常に最新の画像で更新することができる。
【発明の効果】
【００１５】
以上説明したように、本発明によれば、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内に似たようなパターンが複数存在しても確実に追尾対象を追尾することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して、本発明に係るオートフォーカスシステムについて詳細に説明する。
【００１７】
図１は、本発明に係るオートフォーカスシステムが適用されたビデオカメラシステムの一実施形態の全体構成を示したブロック図である。このビデオカメラシステムは、例えば、放送用テレビカメラでの撮影に用いられる撮像システムである。
【００１８】
図１に示すように、本実施形態のビデオカメラシステム１は、テレビカメラ１０、画像処理ユニット１８等を有して構成されている。
【００１９】
テレビカメラ１０は、ハイビジョンテレビ［ＨＤ（High Definition)ＴＶ］方式に対応したＨＤカメラからなるカメラ本体１２と、カメラ本体１２のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１４とから構成される。なお、図示は省略するが、カメラ本体１２は雲台上に旋回方向（パン）及び上下傾動方向（チルト）に移動可能に支承されている。
【００２０】
カメラ本体１２には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１４の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてＨＤＴＶ方式の映像信号（ＨＤＴＶ信号）として、カメラ本体１２の映像信号出力端子等から外部に出力される。
【００２１】
また、カメラ本体１２は、ビューファインダ１３を備えており、テレビカメラ１０により現在撮影されている映像等がビューファインダ１３に表示されるようになっている。また、ビューファインダ１３には、各種情報が表示されるようになっており、例えば、後述のオートフォーカスにおいてピント合わせの対象範囲となるＡＦ枠が撮影映像に重畳されて表示されるようになっている。
【００２２】
レンズ装置１４は、カメラ本体１２のレンズマウントに装着される撮影レンズ（ズームレンズ）２４を備えている。撮影レンズ２４により、被写体１６がカメラ本体１２の撮像素子の撮像面に結像されるようになっている。撮影レンズ２４には、図示を省略するが、その構成部としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、またズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。
【００２３】
なお、オートフォーカス（ＡＦ）に関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。また、所定の可動部を操作者の操作に従って電動駆動する場合には、図示しない操作手段（レンズ装置１４に接続されるコントローラの操作手段等）から操作者の操作に従って出力されるコントール信号に基づいて可動部の動作が制御されるが詳細は省略する。
【００２４】
また、レンズ装置１４には、ＡＦユニット２６及び図示しないレンズＣＰＵ等が搭載されている。レンズＣＰＵはレンズ装置１４全体を統括制御するものである。また、ＡＦユニット２６は、ＡＦによるフォーカス制御（自動ピント調整）を行うために必要な情報を取得するための処理部であり、図示を省略するが、ＡＦ処理部、ＡＦ用撮像回路等から構成されている。ＡＦ用撮像回路はＡＦ処理用の映像信号を取得するためにレンズ装置１４に配置されており、撮像素子ＣＣＤ等の撮像素子（ＡＦ用撮像素子という）やＡＦ用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。なお、ＡＦ用撮像回路から出力される映像信号は輝度信号である。
【００２５】
ＡＦ用撮像素子の撮像面には、撮影レンズ２４の光路上に配置されたハーフミラー等によってカメラ本体１２の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラ本体１２の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる被写体画像は、カメラ本体１２の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラ本体１２の撮像素子の撮影範囲を包含する大きな範囲であってもよい。
【００２６】
ＡＦ処理部は、ＡＦ用撮像回路から映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちＡＦの対象とするＡＦエリアに対応する範囲の信号を１画面（１フレーム）分ずつ積算する。このようにして１画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値としてレンズＣＰＵに与えられる。
【００２７】
レンズＣＰＵは、ＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を、後述するように画像処理ユニット１８から取得し、そのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部から取得する。
【００２８】
このようにしてＡＦ用撮像回路から１画面分の映像信号が取得されるごとに（ＡＦ処理部で焦点評価値が求められるごとに）ＡＦ処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大（極大）、即ち、ＡＦ枠内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。
【００２９】
なお、上述のＡＦ処理部は、焦点評価値を算出するためにレンズ装置に搭載されたＡＦ用撮像素子から映像信号を取得しているが、カメラ本体１２の撮像素子より撮影された映像の映像信号をカメラ本体１２から取得するような構成としてもよい。また、ＡＦ枠内の被写体に自動でピントを合わせるためのＡＦ手段はどのようなものであってもよい。
【００３０】
また、カメラ本体１２とレンズ装置１４、レンズ装置１４と後述の画像処理ユニット１８とは、各装置に設けられたシリアル通信コネクタが直接的又はケーブル等を介して接続される。これによって、カメラ本体１２とレンズ装置１４とが、それぞれに設けられたシリアル通信インターフェイス（ＳＣＩ）１２ａ及び１４ａを介して様々な情報の送受信をシリアル通信により行うようになっている。また、レンズ装置１４と画像処理ユニット１８とが、それぞれに設けられたシリアル通信インターフェイス１４ａ及び３０ａとの間で様々な情報の送受信をシリアル通信により行うようになっている。
【００３１】
また、カメラ本体１２の映像出力コネクタと画像処理ユニット１８の映像入力コネクタとが、ダウンコンバータ２８を介してケーブルで接続される。これによって、カメラ本体１２の映像出力コネクタから出力されたＨＤＴＶ信号は、ダウンコンバータ２８によって、標準テレビ［ＮＴＳＣ（National Television System Committee)]方式の映像信号（ＳＤＴＶ信号）に変換（ダウンコンバート）されて、画像処理ユニット１８に入力されるようになっている。
【００３２】
詳しくは後述するが、画像処理ユニット１８は、撮像された被写体画像中の被写体人物について基準パターンとパターンマッチングを行い、それがオートフォーカスをかけて自動追尾するように設定された被写体（フォーカス対象）であると認定された場合には、ＡＦユニット２６を通じてレンズ装置１４をオートフォーカス制御するものである。
【００３３】
また、顔認証を行い、現在撮影中の被写体がオートフォーカスをかけて自動追尾する対象であるか否かを判定することもできる。このように、パターンマッチングや顔認証を行うためには、ＨＤＴＶ信号による高精細な画像である必要はなく、標準テレビ方式の映像信号（ＳＤＴＶ信号）の画像で充分であるので、上述したように、カメラ本体１２から出力されたＨＤＴＶ信号をダウンコンバータ２８によってＳＤＴＶ信号に変換するようにしたものである。
【００３４】
画像処理ユニット１８は、上記のようにレンズ装置１４のＡＦユニット２６によりＡＦによるフォーカス制御を実施する際のＡＦ枠の範囲（位置、大きさ、形状（縦横比））の指定を行うための装置であり、テレビカメラ１０の撮影画像（撮影画面）内でのＡＦ枠の範囲を指定するＡＦ枠情報が画像処理ユニット１８からレンズ装置１４に上記シリアル通信により与えられるようになっている。ＡＦユニット２６では、画像処理ユニット１８からのＡＦ枠情報に基づいてＡＦ枠の範囲を設定して上記のようにＡＦの処理を実行する。
【００３５】
画像処理ユニット１８は、主としてメインボード３０、パターンマッチング処理演算ボード３２、顔認証処理演算ボード３４から構成されている。メインボード３０、パターンマッチング処理演算ボード３２、顔認証処理演算ボード３４の各々にはＣＰＵ３８、５０、５２が搭載されており、各ボード毎に個別の演算処理が行われると共に、各ＣＰＵ３８、５０、５２は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。また、画像処理ユニット１８は、顔認証処理を行うための顔認証データを格納した顔認証データカード７４を有している。
【００３６】
画像処理ユニット１８における処理は、メインボード３０において統括的に行われるようになっている。そのメインボード３０には、演算処理を行う上記ＣＰＵ３８の他に、ＳＣＩ３０ａ、デコーダ（Ａ／Ｄ変換器）３６、スーパーインポーザ４２、ＲＡＭ４０等が搭載されている。
【００３７】
ＳＣＩ３０ａは、上述のようにレンズ装置１４のＳＣＩ１４ａとの間でシリアル通信を行うためのインターフェイス回路であり、上記ＡＦ枠情報等をレンズ装置１４に送信する。
【００３８】
デコーダ３６は、上記ダウンコンバータ２８から画像処理ユニット１８に入力されるテレビカメラ１０において撮影映像の映像信号（ＳＤＴＶ信号）を、画像処理ユニット１８においてデジタル処理可能なデータに変換するための回路であり、アナログのＳＤＴＶ信号をデジタルデータの映像信号に変換するＡ／Ｄ変換処理等を行っている。
【００３９】
ＲＡＭ４０は、ＣＰＵ３８の演算処理において使用するデータを一時的に格納するメモリである。
【００４０】
一方、パターンマッチング処理演算ボード３２や顔認証処理演算ボード３４は、パターンマッチングと顔検出・認証処理を個別に行うための演算ボードであり、各々、演算処理を行うＣＰＵ５０、５２の他に画像データを一時的に格納するＶＲＡＭ５４、５６等を備えている。
【００４１】
また、画像処理ユニット１８には、操作部２０が一体的に設けられ、又は、操作部２０の一部又は全ての操作部材が画像処理ユニット１８とは別体の装置に設けられてケーブル等で接続されている。
【００４２】
詳細は省略するが、操作部２０には、ＡＦ枠の位置をユーザの手動操作により上下左右に移動させるための位置操作部材６０（例えば、ジョイスティックやトラックボール）、ＡＦ枠の大きさを手動操作により変更するためのサイズ操作部材６２（例えば、ツマミ)、ＡＦ枠の形状を手動操作により変更するための形状操作部材６４（例えば、ツマミ）、自動追尾の開始を指示する追尾開始スイッチ６８、自動追尾の停止を指示する追尾停止スイッチ７０が設けられており、これらの操作部材６０、６２、６４、６８、７０の設定状態が、画像処理ユニット１８におけるメインボード３０のＣＰＵ３８により読み取られるようになっている。
【００４３】
なお、タッチパネル付ＬＣＤ６６は、ＡＦ枠の自動追尾に関するモード等の設定をタッチ操作で入力できるようにしたもので、画像処理ユニット１８のＣＰＵ３８によりＬＣＤ６６に表示される画像は、設定内容に応じて適宜切り換えられるようになっている。
【００４４】
また、タッチパネル付ＬＣＤ６６に表示される画像は、メインボード３０のスーパーインポーザ４２を介して与えられるようになっており、そのスーパーインポーザ４２では、デコーダ３６から与えられるテレビカメラ１０の撮影映像の映像信号と、ＣＰＵ３８で生成される画像信号の合成が行えるようになっている。これによって、カメラ本体１２に設定されているビューファインダ１３と同様にテレビカメラ１０で撮影されている撮影映像と現在設定されているＡＦ枠の画像とを重畳させた映像をタッチパネル付ＬＣＤ６６に表示させることが可能であり、この画面上でのタッチ操作により、ユーザは、上記操作部材６０、６２、６４、６８、７０で行うのと同様の操作を行うことができるようになっている。
【００４５】
また、操作部２０には、タッチパネル付ＬＣＤ６６の他に、外部モニタ７２が設けられており、タッチパネル付ＬＣＤ６６に表示されるのと同じ画像が表示されるようになっている。そして、外部モニタ７２は、カメラマン以外の例えばフォーカスマンなどがこれを見て、そのタッチパネル機能により適宜指示を入力することができるようになっている。
【００４６】
本実施形態は、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで物体を追尾するとき、画面内に複数の似たようなパターンが存在した場合に、画面内で移動量の大きいデータを無視することによって、誤って追尾するのを防ぐようにしたものである。
【００４７】
この画面内で移動量の大きいデータを無視するという本発明のポイントについて、図２を用いて説明する。
【００４８】
図２に示すように、撮影画面８０上に被写体８２の被写体画像８４が撮像されているとする。図２においては、被写体８２は人物の顔であるが、その被写体画像８４の大きさを撮影画面８０の１／８程度にすることが望ましい。
【００４９】
いま、撮影画面８０の大きさを２／３”イメージサイズとする。このとき撮影画面８０の横幅Ｗは９．５９ｍｍである。また、画素数（画像処理画素）は６４０画素である。また、被写体８２の顔の幅Ｈは２００ｍｍ、被写体距離Ｌは１０ｍ（１００００ｍｍ）とする。
【００５０】
上記のような条件で被写体画像８４の顔の幅Ｈ’が撮影画面８０の幅Ｗの１／８となるように撮影する場合の焦点距離ｆを求めると、焦点距離ｆは、次式、ｆ＝Ｌ×Ｈ’／Ｈによって求められるので、これに上記数値を入れると次のようになる。
【００５１】
すなわち、焦点距離はｆ＝１００００×（９．５９／８）／２００＝５９．９３７５＝約６０ｍｍとなる。
【００５２】
また、被写体が人物の場合、最も速く移動するとしてもせいぜい１００ｍを１０秒前後である。通常のテレビカメラの場合１秒間に３０フレームを伝送するので、１００ｍを１０秒で移動する場合、１フレームで、１０／３０＝０．３３ｍ＝３３０ｍｍ移動することになる。
【００５３】
撮影画面８０上での移動距離（移動量）は、例えば図２中の記号を用いると、Ｈ’＝Ｈ×ｆ／Ｌで計算できる。
【００５４】
これに上記値を入れて計算すると、Ｈ’＝３３０×６０／１００００＝１．９８ｍｍとなる。
【００５５】
これは画素数でいうと、１．９８×６４０／９．５９＝１３２画素である。結局、撮影画面内で人が１フレームで最速で移動できる量は、画素でいうと１３２画素である。なお、このような状況においては、人物をパンして追いかけるので移動画素は少なくなる。
【００５６】
このように、人物を追尾している場合、人物が最速で移動しても撮影画面でせいぜい１３２画素であるので、例えば同じユニフォームを着用した選手が多数画面内に存在しているような場合に、画面の中央に追尾対象が存在し、そこにＡＦ枠があったとき、皆同じユニフォームなので、次に画面の端にいる選手を誤って追尾対象と判定してしまったとしても、画面中央から画面端部まで人間がそんなに速く移動することはあり得ない。
【００５７】
そこで、パターンマッチングで人物の追尾を実行した場合、１フレームで大きく（例えば、１００画素以上）移動したと判断されるような場合には、人間の場合本来そのようなことはあり得ないので、エラーであると判断することにより、似たような被写体を誤って追尾してしまうのを防止しようというものである。
【００５８】
次に、本実施形態の作用をフローチャートに沿って説明する。
【００５９】
図３は、本実施形態の作用を示すフローチャートである。
【００６０】
まず、図３のステップＳ１００において、カメラマンは撮影を開始するにあたり、ビューファインダ１３あるいはタッチパネル付ＬＣＤ６６の画面に表示された映像及びＡＦ枠を見ながら操作部２０の位置操作部材６０、サイズ操作部材６２、形状操作部材６４等の操作部材を操作し、ピント合わせの対象として追尾する対象物がＡＦ枠の範囲に収まるようにＡＦ枠の範囲を設定する。これによって、レンズ装置１４のレンズＣＰＵにおけるＡＦの処理によりその対象物にピントが合わせられる。
【００６１】
ステップＳ１１０において追尾がスタートすると、ステップＳ１２０において、画像処理ユニット１８のＣＰＵ３８は、レンズ装置１４のＡＦユニット２６（ＡＦ処理部）から与えられる映像信号から１画面分（１フレーム分）の撮影画像を取り込む。
【００６２】
そして、ステップＳ１３０において、後でパターンマッチングに用いられる基準パターンを登録するためのバッファを確保して、当初取り込まれた撮影画像から得られた追尾対象である同じ画像を格納し、基準パターンの登録を行う。
【００６３】
次にステップＳ１４０において、画像処理ユニット１８は、前回の画像取り込みから所定時間経過した後に１画面分の撮影画像を前回と同様に取り込む。
【００６４】
そして、ステップＳ１５０において、画像処理ユニット１８は、パターンマッチング処理演算ボード３２において、今取り込んだ撮影画像と基準パターンとの間でパターンマッチング処理を行う。
【００６５】
そして、ステップＳ１６０において、画像処理ユニット１８のメインボード３０のＣＰＵ３８は、パターンマッチングの結果から、被写体が撮影画面内で移動したか否か判断する。
【００６６】
被写体が移動した場合には、さらにＣＰＵ３８は、次のステップＳ１７０で、その移動量が１００画素より小か否か判断する。撮影画面内における前回の被写体の位置は、最新の画像として基準パターンに登録されているので、ここで言う移動量は、今回検出された被写体の基準パターンに対する撮影画面内における移動量として、パターンマッチング処理演算ボード３２におけるパターンマッチングの結果を用いて、画像処理ユニット１８のメインボード３０のＣＰＵ３８において算出される。
【００６７】
撮影画面内における被写体の移動量が１００画素より小の場合には、次のステップＳ１８０において、今パターンマッチングを行った最新の撮影画像で基準パターンを更新し、さらに、ステップＳ１９０において、移動した被写体にあわせてＡＦ枠を更新する。
【００６８】
また、ステップＳ１６０の判断において、被写体が撮影画面内で移動していないと判定された場合には、基準パターンの更新もＡＦ枠の更新も行わずに、ステップＳ１４０に戻り次の撮影画像を取り込む。
【００６９】
また、被写体が移動した場合に、ステップＳ１７０において、その撮影画面内での移動量が１００画素以上である場合には、エラーであると判断して、追尾を中止し、基準パターンの更新もＡＦ枠の更新も行わずに、ステップＳ１４０に戻り次の撮影画像を取り込むようにする。そして、以後取り込まれた撮影画像中にパターンマッチングにより追尾対象が検出されたら、追尾を再開する。
【００７０】
なお、ステップＳ１７０において撮影画面内における被写体の移動量が大きいか否か判断する基準値として、上では１００画素としたが、これに限定されるものではない。例えば、人物をパンして追いかける場合には移動画素は少なくなる。そこで、パンやチルトの動作に応じて、例えば１００画素より小さく、７０〜８０画素のように、この基準値を変更するようにしてもよい。
【００７１】
以上説明したように、本実施形態においては、パターンマッチングの結果、被写体が撮影画面内で大きく移動した場合にはエラーとすることで、撮影画面内に似たようなパターンが複数存在する場合に、本来の追尾対象に似た他の対象を誤って追尾するのを防止することが可能となる。
【００７２】
以上、本発明のオートフォーカスシステムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
【図面の簡単な説明】
【００７３】
【図１】本発明に係るオートフォーカスシステムが適用されたビデオカメラシステムの一実施形態の全体構成を示したブロック図である。
【図２】画面内における被写体の移動量についての説明図である。
【図３】本実施形態の作用を示すフローチャートである。
【符号の説明】
【００７４】
１…ビデオカメラシステム、１０…テレビカメラ、１２…カメラ本体、１３…ビューファインダ、１４…レンズ装置、１６…被写体、１８…画像処理ユニット、２０…操作部、２４…撮影レンズ、２６…ＡＦユニット、２８…ダウンコンバータ、３０…メインボード、３２…パターンマッチング処理演算ボード、３４…顔認証処理演算ボード、６６…タッチパネル付ＬＣＤ、７２…外部モニタ
【技術分野】
【０００１】
本発明は、オートフォーカスシステムに係り、特に、パターンマッチングを用いてＡＦ枠を自動追尾するシステムに関する。
【背景技術】
【０００２】
従来、カメラのフォーカスを自動的に合わせるオートフォーカス（ＡＦ）システムにおいては、どこにフォーカスを合わせるか（どこにピントを合わせるか）をカメラに対して指示しなければならない。このとき、一般のカメラなどでは、フォーカスを合わせる位置は撮影範囲のセンターに固定されていて、例えば撮影範囲の中央にいる人物等にフォーカスが合うようになっていた。そして、オートフォーカス（ＡＦ）の方式としては、撮像素子により取り込まれた画像信号から被写体画像のコントラストを検出し、そのコントラストが最も高くなるように撮影レンズのフォーカスを制御することによって最良ピント状態に自動でピント合わせをするコントラスト方式が採用されていた。
【０００３】
なお、カメラの撮影範囲のうちＡＦの対象とする被写体の範囲、又はカメラの撮影画像を再生した場合の撮影画像の画面のうちＡＦの対象とする被写体の画面上での範囲をＡＦエリアといい、そのＡＦエリアの輪郭を示す枠をＡＦ枠という。
【０００４】
ところで、動いている被写体を撮影する場合などにおいては、このようにフォーカスを合わせる位置が固定されていては都合が悪い。そこで、例えば、テレビカメラなどで、スポーツのように被写体の動きの激しいシーンを撮影する場合において、撮影画像中からピントを合わせる対象被写体を検出して追尾するために、フォーカス対象（合焦対象）の被写体の画像を基準パターンとして記憶し、新たに取り込んだフレームの撮影画像においてその基準パターン画像と最も合致する画像をパターンマッチングにより検出し、対象被写体の位置を検出するようにしたものが知られている（例えば、特許文献１等参照）。
【特許文献１】特開２００６−２５８９４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来のように、ＡＦ枠を自動追尾するアルゴリズムにパターンマッチングを使用した場合、例えば同じユニフォームを着用したスポーツの撮影などにおいて、画面内に似たようなパターンが複数存在すると、誤って追尾してしまう虞れがあるという問題がある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内に似たようなパターンが複数存在しても確実に追尾対象を追尾することができるオートフォーカスシステムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、請求項１に記載の発明は、光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のＡＦエリア内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、前記撮像手段によって撮像された画像範囲内の被写体の移動に合わせて前記ＡＦエリアを移動させる追尾手段と、前記撮像手段により撮像された撮影画像の中からピントを合わせる被写体の画像を基準パターンとして登録する基準パターン登録手段と、前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する被写体を検出する合致画像検出手段と、を備え、前記合致画像検出手段により検出された被写体の、前記撮像手段の撮影画面内における移動量が所定値より小である場合には、今回検出された前記被写体の画像で基準パターンを更新するとともに移動した前記被写体に合わせてＡＦ枠を更新し、また前記移動量が所定値以上である場合には、前記追尾手段は追尾を中止することを特徴とするオートフォーカスシステムを提供する。
【０００８】
これにより、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内に似たようなパターンが複数存在しても確実に追尾対象を追尾することが可能となる。
【０００９】
また、請求項２に示すように、請求項１に記載のオートフォーカスシステムであって、前記追尾手段が前記撮影画像中の被写体の追尾を中止したときは、その後、前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する画像が合致画像検出手段により検出された場合には、前記追尾手段は該検出された画像中の被写体の追尾を再開することを特徴とする。
【００１０】
これにより、一旦追尾が中断しても再度追尾対象を検出することにより追尾を続行することができる。
【００１１】
また、請求項３に示すように、請求項１または２に記載のオートフォーカスシステムであって、前記所定値は、前記撮像手段のパン／チルト動作に応じて変更されることを特徴とする。
【００１２】
これにより、より撮影実態に適応した被写体追尾を実行することができる。
【００１３】
また、請求項４に示すように、前記撮像手段は、一定の周期で撮像画像の取り込みを行うことを特徴とする。
【００１４】
これにより、基準パターンを常に最新の画像で更新することができる。
【発明の効果】
【００１５】
以上説明したように、本発明によれば、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内に似たようなパターンが複数存在しても確実に追尾対象を追尾することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して、本発明に係るオートフォーカスシステムについて詳細に説明する。
【００１７】
図１は、本発明に係るオートフォーカスシステムが適用されたビデオカメラシステムの一実施形態の全体構成を示したブロック図である。このビデオカメラシステムは、例えば、放送用テレビカメラでの撮影に用いられる撮像システムである。
【００１８】
図１に示すように、本実施形態のビデオカメラシステム１は、テレビカメラ１０、画像処理ユニット１８等を有して構成されている。
【００１９】
テレビカメラ１０は、ハイビジョンテレビ［ＨＤ（High Definition)ＴＶ］方式に対応したＨＤカメラからなるカメラ本体１２と、カメラ本体１２のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１４とから構成される。なお、図示は省略するが、カメラ本体１２は雲台上に旋回方向（パン）及び上下傾動方向（チルト）に移動可能に支承されている。
【００２０】
カメラ本体１２には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１４の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてＨＤＴＶ方式の映像信号（ＨＤＴＶ信号）として、カメラ本体１２の映像信号出力端子等から外部に出力される。
【００２１】
また、カメラ本体１２は、ビューファインダ１３を備えており、テレビカメラ１０により現在撮影されている映像等がビューファインダ１３に表示されるようになっている。また、ビューファインダ１３には、各種情報が表示されるようになっており、例えば、後述のオートフォーカスにおいてピント合わせの対象範囲となるＡＦ枠が撮影映像に重畳されて表示されるようになっている。
【００２２】
レンズ装置１４は、カメラ本体１２のレンズマウントに装着される撮影レンズ（ズームレンズ）２４を備えている。撮影レンズ２４により、被写体１６がカメラ本体１２の撮像素子の撮像面に結像されるようになっている。撮影レンズ２４には、図示を省略するが、その構成部としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、またズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。
【００２３】
なお、オートフォーカス（ＡＦ）に関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。また、所定の可動部を操作者の操作に従って電動駆動する場合には、図示しない操作手段（レンズ装置１４に接続されるコントローラの操作手段等）から操作者の操作に従って出力されるコントール信号に基づいて可動部の動作が制御されるが詳細は省略する。
【００２４】
また、レンズ装置１４には、ＡＦユニット２６及び図示しないレンズＣＰＵ等が搭載されている。レンズＣＰＵはレンズ装置１４全体を統括制御するものである。また、ＡＦユニット２６は、ＡＦによるフォーカス制御（自動ピント調整）を行うために必要な情報を取得するための処理部であり、図示を省略するが、ＡＦ処理部、ＡＦ用撮像回路等から構成されている。ＡＦ用撮像回路はＡＦ処理用の映像信号を取得するためにレンズ装置１４に配置されており、撮像素子ＣＣＤ等の撮像素子（ＡＦ用撮像素子という）やＡＦ用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。なお、ＡＦ用撮像回路から出力される映像信号は輝度信号である。
【００２５】
ＡＦ用撮像素子の撮像面には、撮影レンズ２４の光路上に配置されたハーフミラー等によってカメラ本体１２の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラ本体１２の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる被写体画像は、カメラ本体１２の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラ本体１２の撮像素子の撮影範囲を包含する大きな範囲であってもよい。
【００２６】
ＡＦ処理部は、ＡＦ用撮像回路から映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちＡＦの対象とするＡＦエリアに対応する範囲の信号を１画面（１フレーム）分ずつ積算する。このようにして１画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値としてレンズＣＰＵに与えられる。
【００２７】
レンズＣＰＵは、ＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を、後述するように画像処理ユニット１８から取得し、そのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部から取得する。
【００２８】
このようにしてＡＦ用撮像回路から１画面分の映像信号が取得されるごとに（ＡＦ処理部で焦点評価値が求められるごとに）ＡＦ処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大（極大）、即ち、ＡＦ枠内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。
【００２９】
なお、上述のＡＦ処理部は、焦点評価値を算出するためにレンズ装置に搭載されたＡＦ用撮像素子から映像信号を取得しているが、カメラ本体１２の撮像素子より撮影された映像の映像信号をカメラ本体１２から取得するような構成としてもよい。また、ＡＦ枠内の被写体に自動でピントを合わせるためのＡＦ手段はどのようなものであってもよい。
【００３０】
また、カメラ本体１２とレンズ装置１４、レンズ装置１４と後述の画像処理ユニット１８とは、各装置に設けられたシリアル通信コネクタが直接的又はケーブル等を介して接続される。これによって、カメラ本体１２とレンズ装置１４とが、それぞれに設けられたシリアル通信インターフェイス（ＳＣＩ）１２ａ及び１４ａを介して様々な情報の送受信をシリアル通信により行うようになっている。また、レンズ装置１４と画像処理ユニット１８とが、それぞれに設けられたシリアル通信インターフェイス１４ａ及び３０ａとの間で様々な情報の送受信をシリアル通信により行うようになっている。
【００３１】
また、カメラ本体１２の映像出力コネクタと画像処理ユニット１８の映像入力コネクタとが、ダウンコンバータ２８を介してケーブルで接続される。これによって、カメラ本体１２の映像出力コネクタから出力されたＨＤＴＶ信号は、ダウンコンバータ２８によって、標準テレビ［ＮＴＳＣ（National Television System Committee)]方式の映像信号（ＳＤＴＶ信号）に変換（ダウンコンバート）されて、画像処理ユニット１８に入力されるようになっている。
【００３２】
詳しくは後述するが、画像処理ユニット１８は、撮像された被写体画像中の被写体人物について基準パターンとパターンマッチングを行い、それがオートフォーカスをかけて自動追尾するように設定された被写体（フォーカス対象）であると認定された場合には、ＡＦユニット２６を通じてレンズ装置１４をオートフォーカス制御するものである。
【００３３】
また、顔認証を行い、現在撮影中の被写体がオートフォーカスをかけて自動追尾する対象であるか否かを判定することもできる。このように、パターンマッチングや顔認証を行うためには、ＨＤＴＶ信号による高精細な画像である必要はなく、標準テレビ方式の映像信号（ＳＤＴＶ信号）の画像で充分であるので、上述したように、カメラ本体１２から出力されたＨＤＴＶ信号をダウンコンバータ２８によってＳＤＴＶ信号に変換するようにしたものである。
【００３４】
画像処理ユニット１８は、上記のようにレンズ装置１４のＡＦユニット２６によりＡＦによるフォーカス制御を実施する際のＡＦ枠の範囲（位置、大きさ、形状（縦横比））の指定を行うための装置であり、テレビカメラ１０の撮影画像（撮影画面）内でのＡＦ枠の範囲を指定するＡＦ枠情報が画像処理ユニット１８からレンズ装置１４に上記シリアル通信により与えられるようになっている。ＡＦユニット２６では、画像処理ユニット１８からのＡＦ枠情報に基づいてＡＦ枠の範囲を設定して上記のようにＡＦの処理を実行する。
【００３５】
画像処理ユニット１８は、主としてメインボード３０、パターンマッチング処理演算ボード３２、顔認証処理演算ボード３４から構成されている。メインボード３０、パターンマッチング処理演算ボード３２、顔認証処理演算ボード３４の各々にはＣＰＵ３８、５０、５２が搭載されており、各ボード毎に個別の演算処理が行われると共に、各ＣＰＵ３８、５０、５２は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。また、画像処理ユニット１８は、顔認証処理を行うための顔認証データを格納した顔認証データカード７４を有している。
【００３６】
画像処理ユニット１８における処理は、メインボード３０において統括的に行われるようになっている。そのメインボード３０には、演算処理を行う上記ＣＰＵ３８の他に、ＳＣＩ３０ａ、デコーダ（Ａ／Ｄ変換器）３６、スーパーインポーザ４２、ＲＡＭ４０等が搭載されている。
【００３７】
ＳＣＩ３０ａは、上述のようにレンズ装置１４のＳＣＩ１４ａとの間でシリアル通信を行うためのインターフェイス回路であり、上記ＡＦ枠情報等をレンズ装置１４に送信する。
【００３８】
デコーダ３６は、上記ダウンコンバータ２８から画像処理ユニット１８に入力されるテレビカメラ１０において撮影映像の映像信号（ＳＤＴＶ信号）を、画像処理ユニット１８においてデジタル処理可能なデータに変換するための回路であり、アナログのＳＤＴＶ信号をデジタルデータの映像信号に変換するＡ／Ｄ変換処理等を行っている。
【００３９】
ＲＡＭ４０は、ＣＰＵ３８の演算処理において使用するデータを一時的に格納するメモリである。
【００４０】
一方、パターンマッチング処理演算ボード３２や顔認証処理演算ボード３４は、パターンマッチングと顔検出・認証処理を個別に行うための演算ボードであり、各々、演算処理を行うＣＰＵ５０、５２の他に画像データを一時的に格納するＶＲＡＭ５４、５６等を備えている。
【００４１】
また、画像処理ユニット１８には、操作部２０が一体的に設けられ、又は、操作部２０の一部又は全ての操作部材が画像処理ユニット１８とは別体の装置に設けられてケーブル等で接続されている。
【００４２】
詳細は省略するが、操作部２０には、ＡＦ枠の位置をユーザの手動操作により上下左右に移動させるための位置操作部材６０（例えば、ジョイスティックやトラックボール）、ＡＦ枠の大きさを手動操作により変更するためのサイズ操作部材６２（例えば、ツマミ)、ＡＦ枠の形状を手動操作により変更するための形状操作部材６４（例えば、ツマミ）、自動追尾の開始を指示する追尾開始スイッチ６８、自動追尾の停止を指示する追尾停止スイッチ７０が設けられており、これらの操作部材６０、６２、６４、６８、７０の設定状態が、画像処理ユニット１８におけるメインボード３０のＣＰＵ３８により読み取られるようになっている。
【００４３】
なお、タッチパネル付ＬＣＤ６６は、ＡＦ枠の自動追尾に関するモード等の設定をタッチ操作で入力できるようにしたもので、画像処理ユニット１８のＣＰＵ３８によりＬＣＤ６６に表示される画像は、設定内容に応じて適宜切り換えられるようになっている。
【００４４】
また、タッチパネル付ＬＣＤ６６に表示される画像は、メインボード３０のスーパーインポーザ４２を介して与えられるようになっており、そのスーパーインポーザ４２では、デコーダ３６から与えられるテレビカメラ１０の撮影映像の映像信号と、ＣＰＵ３８で生成される画像信号の合成が行えるようになっている。これによって、カメラ本体１２に設定されているビューファインダ１３と同様にテレビカメラ１０で撮影されている撮影映像と現在設定されているＡＦ枠の画像とを重畳させた映像をタッチパネル付ＬＣＤ６６に表示させることが可能であり、この画面上でのタッチ操作により、ユーザは、上記操作部材６０、６２、６４、６８、７０で行うのと同様の操作を行うことができるようになっている。
【００４５】
また、操作部２０には、タッチパネル付ＬＣＤ６６の他に、外部モニタ７２が設けられており、タッチパネル付ＬＣＤ６６に表示されるのと同じ画像が表示されるようになっている。そして、外部モニタ７２は、カメラマン以外の例えばフォーカスマンなどがこれを見て、そのタッチパネル機能により適宜指示を入力することができるようになっている。
【００４６】
本実施形態は、ＡＦ枠を自動追尾するシステムにおいて、パターンマッチングで物体を追尾するとき、画面内に複数の似たようなパターンが存在した場合に、画面内で移動量の大きいデータを無視することによって、誤って追尾するのを防ぐようにしたものである。
【００４７】
この画面内で移動量の大きいデータを無視するという本発明のポイントについて、図２を用いて説明する。
【００４８】
図２に示すように、撮影画面８０上に被写体８２の被写体画像８４が撮像されているとする。図２においては、被写体８２は人物の顔であるが、その被写体画像８４の大きさを撮影画面８０の１／８程度にすることが望ましい。
【００４９】
いま、撮影画面８０の大きさを２／３”イメージサイズとする。このとき撮影画面８０の横幅Ｗは９．５９ｍｍである。また、画素数（画像処理画素）は６４０画素である。また、被写体８２の顔の幅Ｈは２００ｍｍ、被写体距離Ｌは１０ｍ（１００００ｍｍ）とする。
【００５０】
上記のような条件で被写体画像８４の顔の幅Ｈ’が撮影画面８０の幅Ｗの１／８となるように撮影する場合の焦点距離ｆを求めると、焦点距離ｆは、次式、ｆ＝Ｌ×Ｈ’／Ｈによって求められるので、これに上記数値を入れると次のようになる。
【００５１】
すなわち、焦点距離はｆ＝１００００×（９．５９／８）／２００＝５９．９３７５＝約６０ｍｍとなる。
【００５２】
また、被写体が人物の場合、最も速く移動するとしてもせいぜい１００ｍを１０秒前後である。通常のテレビカメラの場合１秒間に３０フレームを伝送するので、１００ｍを１０秒で移動する場合、１フレームで、１０／３０＝０．３３ｍ＝３３０ｍｍ移動することになる。
【００５３】
撮影画面８０上での移動距離（移動量）は、例えば図２中の記号を用いると、Ｈ’＝Ｈ×ｆ／Ｌで計算できる。
【００５４】
これに上記値を入れて計算すると、Ｈ’＝３３０×６０／１００００＝１．９８ｍｍとなる。
【００５５】
これは画素数でいうと、１．９８×６４０／９．５９＝１３２画素である。結局、撮影画面内で人が１フレームで最速で移動できる量は、画素でいうと１３２画素である。なお、このような状況においては、人物をパンして追いかけるので移動画素は少なくなる。
【００５６】
このように、人物を追尾している場合、人物が最速で移動しても撮影画面でせいぜい１３２画素であるので、例えば同じユニフォームを着用した選手が多数画面内に存在しているような場合に、画面の中央に追尾対象が存在し、そこにＡＦ枠があったとき、皆同じユニフォームなので、次に画面の端にいる選手を誤って追尾対象と判定してしまったとしても、画面中央から画面端部まで人間がそんなに速く移動することはあり得ない。
【００５７】
そこで、パターンマッチングで人物の追尾を実行した場合、１フレームで大きく（例えば、１００画素以上）移動したと判断されるような場合には、人間の場合本来そのようなことはあり得ないので、エラーであると判断することにより、似たような被写体を誤って追尾してしまうのを防止しようというものである。
【００５８】
次に、本実施形態の作用をフローチャートに沿って説明する。
【００５９】
図３は、本実施形態の作用を示すフローチャートである。
【００６０】
まず、図３のステップＳ１００において、カメラマンは撮影を開始するにあたり、ビューファインダ１３あるいはタッチパネル付ＬＣＤ６６の画面に表示された映像及びＡＦ枠を見ながら操作部２０の位置操作部材６０、サイズ操作部材６２、形状操作部材６４等の操作部材を操作し、ピント合わせの対象として追尾する対象物がＡＦ枠の範囲に収まるようにＡＦ枠の範囲を設定する。これによって、レンズ装置１４のレンズＣＰＵにおけるＡＦの処理によりその対象物にピントが合わせられる。
【００６１】
ステップＳ１１０において追尾がスタートすると、ステップＳ１２０において、画像処理ユニット１８のＣＰＵ３８は、レンズ装置１４のＡＦユニット２６（ＡＦ処理部）から与えられる映像信号から１画面分（１フレーム分）の撮影画像を取り込む。
【００６２】
そして、ステップＳ１３０において、後でパターンマッチングに用いられる基準パターンを登録するためのバッファを確保して、当初取り込まれた撮影画像から得られた追尾対象である同じ画像を格納し、基準パターンの登録を行う。
【００６３】
次にステップＳ１４０において、画像処理ユニット１８は、前回の画像取り込みから所定時間経過した後に１画面分の撮影画像を前回と同様に取り込む。
【００６４】
そして、ステップＳ１５０において、画像処理ユニット１８は、パターンマッチング処理演算ボード３２において、今取り込んだ撮影画像と基準パターンとの間でパターンマッチング処理を行う。
【００６５】
そして、ステップＳ１６０において、画像処理ユニット１８のメインボード３０のＣＰＵ３８は、パターンマッチングの結果から、被写体が撮影画面内で移動したか否か判断する。
【００６６】
被写体が移動した場合には、さらにＣＰＵ３８は、次のステップＳ１７０で、その移動量が１００画素より小か否か判断する。撮影画面内における前回の被写体の位置は、最新の画像として基準パターンに登録されているので、ここで言う移動量は、今回検出された被写体の基準パターンに対する撮影画面内における移動量として、パターンマッチング処理演算ボード３２におけるパターンマッチングの結果を用いて、画像処理ユニット１８のメインボード３０のＣＰＵ３８において算出される。
【００６７】
撮影画面内における被写体の移動量が１００画素より小の場合には、次のステップＳ１８０において、今パターンマッチングを行った最新の撮影画像で基準パターンを更新し、さらに、ステップＳ１９０において、移動した被写体にあわせてＡＦ枠を更新する。
【００６８】
また、ステップＳ１６０の判断において、被写体が撮影画面内で移動していないと判定された場合には、基準パターンの更新もＡＦ枠の更新も行わずに、ステップＳ１４０に戻り次の撮影画像を取り込む。
【００６９】
また、被写体が移動した場合に、ステップＳ１７０において、その撮影画面内での移動量が１００画素以上である場合には、エラーであると判断して、追尾を中止し、基準パターンの更新もＡＦ枠の更新も行わずに、ステップＳ１４０に戻り次の撮影画像を取り込むようにする。そして、以後取り込まれた撮影画像中にパターンマッチングにより追尾対象が検出されたら、追尾を再開する。
【００７０】
なお、ステップＳ１７０において撮影画面内における被写体の移動量が大きいか否か判断する基準値として、上では１００画素としたが、これに限定されるものではない。例えば、人物をパンして追いかける場合には移動画素は少なくなる。そこで、パンやチルトの動作に応じて、例えば１００画素より小さく、７０〜８０画素のように、この基準値を変更するようにしてもよい。
【００７１】
以上説明したように、本実施形態においては、パターンマッチングの結果、被写体が撮影画面内で大きく移動した場合にはエラーとすることで、撮影画面内に似たようなパターンが複数存在する場合に、本来の追尾対象に似た他の対象を誤って追尾するのを防止することが可能となる。
【００７２】
以上、本発明のオートフォーカスシステムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
【図面の簡単な説明】
【００７３】
【図１】本発明に係るオートフォーカスシステムが適用されたビデオカメラシステムの一実施形態の全体構成を示したブロック図である。
【図２】画面内における被写体の移動量についての説明図である。
【図３】本実施形態の作用を示すフローチャートである。
【符号の説明】
【００７４】
１…ビデオカメラシステム、１０…テレビカメラ、１２…カメラ本体、１３…ビューファインダ、１４…レンズ装置、１６…被写体、１８…画像処理ユニット、２０…操作部、２４…撮影レンズ、２６…ＡＦユニット、２８…ダウンコンバータ、３０…メインボード、３２…パターンマッチング処理演算ボード、３４…顔認証処理演算ボード、６６…タッチパネル付ＬＣＤ、７２…外部モニタ
【特許請求の範囲】
【請求項１】
光学系により結像された被写体像を撮像する撮像手段と、
前記撮像手段により撮像された撮影画像のうち、所定のＡＦエリア内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、
前記撮像手段によって撮像された画像範囲内の被写体の移動に合わせて前記ＡＦエリアを移動させる追尾手段と、
前記撮像手段により撮像された撮影画像の中からピントを合わせる被写体の画像を基準パターンとして登録する基準パターン登録手段と、
前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する被写体を検出する合致画像検出手段と、
を備え、前記合致画像検出手段により検出された被写体の、前記撮像手段の撮影画面内における移動量が所定値より小である場合には、今回検出された前記被写体の画像で基準パターンを更新するとともに移動した前記被写体に合わせてＡＦ枠を更新し、また前記移動量が所定値以上である場合には、前記追尾手段は追尾を中止することを特徴とするオートフォーカスシステム。
【請求項２】
請求項１に記載のオートフォーカスシステムであって、前記追尾手段が前記撮影画像中の被写体の追尾を中止したときは、その後、前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する画像が合致画像検出手段により検出された場合には、前記追尾手段は該検出された画像中の被写体の追尾を再開することを特徴とするオートフォーカスシステム。
【請求項３】
請求項１または２に記載のオートフォーカスシステムであって、前記所定値は、前記撮像手段のパン／チルト動作に応じて変更されることを特徴とするオートフォーカスシステム。
【請求項４】
前記撮像手段は、一定の周期で撮像画像の取り込みを行うことを特徴とする請求項１〜３のいずれかに記載のオートフォーカスシステム。
【請求項１】
光学系により結像された被写体像を撮像する撮像手段と、
前記撮像手段により撮像された撮影画像のうち、所定のＡＦエリア内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、
前記撮像手段によって撮像された画像範囲内の被写体の移動に合わせて前記ＡＦエリアを移動させる追尾手段と、
前記撮像手段により撮像された撮影画像の中からピントを合わせる被写体の画像を基準パターンとして登録する基準パターン登録手段と、
前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する被写体を検出する合致画像検出手段と、
を備え、前記合致画像検出手段により検出された被写体の、前記撮像手段の撮影画面内における移動量が所定値より小である場合には、今回検出された前記被写体の画像で基準パターンを更新するとともに移動した前記被写体に合わせてＡＦ枠を更新し、また前記移動量が所定値以上である場合には、前記追尾手段は追尾を中止することを特徴とするオートフォーカスシステム。
【請求項２】
請求項１に記載のオートフォーカスシステムであって、前記追尾手段が前記撮影画像中の被写体の追尾を中止したときは、その後、前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する画像が合致画像検出手段により検出された場合には、前記追尾手段は該検出された画像中の被写体の追尾を再開することを特徴とするオートフォーカスシステム。
【請求項３】
請求項１または２に記載のオートフォーカスシステムであって、前記所定値は、前記撮像手段のパン／チルト動作に応じて変更されることを特徴とするオートフォーカスシステム。
【請求項４】
前記撮像手段は、一定の周期で撮像画像の取り込みを行うことを特徴とする請求項１〜３のいずれかに記載のオートフォーカスシステム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１０−１４５９６６（Ｐ２０１０−１４５９６６Ａ）
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願番号】特願２００８−３２６１８６（Ｐ２００８−３２６１８６）
【出願日】平成２０年１２月２２日（２００８．１２．２２）
【出願人】（０００００５４３０）フジノン株式会社 (2,231)
【Ｆターム（参考）】
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願日】平成２０年１２月２２日（２００８．１２．２２）
【出願人】（０００００５４３０）フジノン株式会社 (2,231)
【Ｆターム（参考）】
[ Back to top ]