対象画像検出デバイス、その制御方法、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器
【課題】顔画像の検出結果を迅速に出力する。
【解決手段】デジタルカメラ１０の制御部２０は、撮影画像の中から顔画像を検出する対象画像検出デバイスである。制御部２０は、撮影画像を取得する画像取得部２２と、顔画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定する条件決定部２３と、画像取得部２２が取得した撮影画像に対し、条件決定部２３が決定した検出条件で、顔画像を検出する顔検出部２４と、検出された顔画像の位置情報を画像合成部１７に出力する位置情報出力部２６とを備えている。
【解決手段】デジタルカメラ１０の制御部２０は、撮影画像の中から顔画像を検出する対象画像検出デバイスである。制御部２０は、撮影画像を取得する画像取得部２２と、顔画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定する条件決定部２３と、画像取得部２２が取得した撮影画像に対し、条件決定部２３が決定した検出条件で、顔画像を検出する顔検出部２４と、検出された顔画像の位置情報を画像合成部１７に出力する位置情報出力部２６とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、元画像の中から対象画像を検出する対象画像検出デバイス、その制御方法、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器に関するものである。
【背景技術】
【０００２】
従来、撮像機器および表示デバイスなどにおいて、使い易いユーザインタフェースを提供したり、自動的に最適な画像を取得したりするために、撮影対象または表示対象を自動認識するニーズが高まっている。このようなニーズの一例として、人の顔を検出し、検出した顔に最適なフォーカスおよび露出となるように調整したり、文字を認識し、認識した文字の領域を自動的にＯＣＲ（Optical Character Recognition）の対象にしたりするような機能が挙げられる。
【０００３】
一般に、このような機能を実現するには、高度な画像処理が必要となり、多大な計算量が必要となる。また、上記機能は、一般に、リアルタイム性が要求されるため、高速な処理が必要となる。このため、デジタルカメラ、携帯型通信端末などのような、処理能力、消費電力、およびコストが制約される組込み機器で上記機能を実現することが困難な場合が多い。
【０００４】
この問題点に対し、処理を高速化する種々の方法が提案されている。例えば、特許文献１に記載の画像処理装置では、解像度が順次段階的に変化する順序により縮小画像を順次テンプレートマッチングして、特定の被写体が撮影された領域を検出し、検出後に処理を中断することにより、処理の高速化を図っている。また、特許文献２に記載の顔検出方法では、大きい顔から順に検出し、顔が検出されたら、それ以降は既に顔が検出された領域を検出対象領域から除いて検出を続けている。これにより、顔を検出する度に検出対象領域を縮小できるので、処理を高速化することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１３５１１５号公報（２００７年５月３１日公開）
【特許文献２】特開２００６−３０１８４７号公報（２００６年１１月２日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の画像処理装置は、特定の被写体の動きを追従するためのものである。このため、不特定であり、かつ数が未定である被写体が撮影された領域を検出する処理では、検出後に処理を中断することが困難であり、処理の高速化を図ることが困難となる。また、特許文献２の顔検出方法では、検出対象領域に対する顔の検出を、大きい顔から小さい顔まで順番に繰り返しているため、依然として処理に時間がかかることになる。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、検出結果を迅速に出力できる対象画像検出デバイスなどを提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る対象画像検出デバイスは、元画像の中から対象画像を検出する対象画像検出デバイスであって、前記元画像を取得する取得手段と、前記対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる第１の検出条件に決定する決定手段と、前記取得手段が取得した第１の元画像から、前記決定手段が決定した第１の検出条件で前記対象画像を検出する検出手段と、前記検出手段が検出した対象画像を特定可能な情報を、前記第１の元画像に続く第２の元画像に出力する出力手段とを備え、前記決定手段は、或る検出条件と前記検出手段が該検出条件で前記対象画像を検出したか否かを示す検出結果との対応付けの履歴に基づいて、前記第１の検出条件とは異なる第２の検出条件をさらに決定することを特徴としている。
【０００９】
また、本発明に係る対象画像検出デバイスの制御方法は、元画像の中から対象画像を検出する対象画像検出デバイスの制御方法であって、前記元画像を取得する取得ステップと、前記対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる第１の検出条件に決定する決定ステップと、前記取得ステップにおいて取得された第１の元画像から、前記決定ステップにおいて決定された第１の検出条件で前記対象画像を検出する検出ステップと、前記検出ステップにおいて検出された対象画像を特定可能な情報を、前記第１の元画像に続く第２の元画像に出力する出力ステップとを含み、前記決定ステップでは、或る検出条件と前記検出ステップにおいて該検出条件で前記対象画像が検出されたか否かを示す検出結果との対応付けの履歴に基づいて、前記第１の検出条件とは異なる第２の検出条件をさらに決定することを特徴としている。
【００１０】
本発明に係る対象画像検出デバイスでは、前記検出手段は、前記第２の元画像から前記決定手段が決定した第２の検出条件で前記対象画像をさらに検出し、前記出力手段は、前記検出手段が検出した対象画像を特定可能な情報を、前記第２の元画像に続く第３の元画像にさらに出力してもよい。
【００１１】
本発明に係る対象画像検出デバイスは、前記検出条件が検出した対象画像を、当該対象画像を含む元画像に続く元画像にて追跡する追跡手段をさらに備えてもよい。
【００１２】
本発明に係る対象画像検出デバイスでは、前記追跡手段は、前記第１の検出条件に含まれる追跡条件で、前記第２の元画像にて前記対象画像を追跡し、前記出力手段は、前記追跡手段が追跡した対象画像を特定可能な情報を、前記第２の元画像に続く第３の元画像にさらに出力してもよい。
【００１３】
本発明に係る対象画像検出デバイスは、前記対応付けの履歴に基づいて、前記追跡手段が追跡した追跡結果を補正する補正手段をさらに備え、前記出力手段は、前記補正手段が補正した追跡結果を、前記追跡手段が追跡した対象画像を特定可能な情報として、前記第２の元画像に続く第３の元画像にさらに出力してもよい。
【００１４】
本発明に係る対象画像検出デバイスでは、前記補正手段は、前記検出結果に対応付けられた検出条件に含まれる数値の平均で、前記追跡手段が追跡した追跡結果を補正してもよい。
【００１５】
本発明に係る対象画像検出デバイスでは、前記補正手段は、前記検出条件を変更することで前記対象画像を検出したことを示す検出結果の検出数が減少した場合、減少する前の検出条件を優先して適用することによって、前記追跡手段が追跡した追跡結果を補正してもよい。
【００１６】
本発明に係る対象画像検出デバイスでは、前記決定手段は、或る検出条件によるこれまでの検出回数に応じて当該検出条件の利用頻度を変更し、変更した利用頻度に基づいて、前記複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定してもよい。
【００１７】
本発明に係る対象画像検出デバイスでは、前記決定手段は、前記対象画像を検出するための複数の検出条件の組み合わせに応じて、前記複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定してもよい。
【００１８】
本発明に係る対象画像検出デバイスでは、前記決定手段は、所定の規則性に基づいて前記対象画像を検出するための複数の検出条件の順番を変更することによって、前記複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定してもよい。
【００１９】
本発明に係る対象画像検出デバイスは、或る検出条件と前記検出手段が該検出条件で前記対象画像を検出したか否かを示す検出結果との対応付けの履歴を記憶する結果履歴記憶部をさらに備えてもよい。
【００２０】
本発明に係る対象画像検出デバイスでは、前記決定手段は、前記対象画像を検出するための複数の検出条件の中から、検出条件を逐次決定してもよい。
【００２１】
本発明に係る対象画像検出デバイスでは、前記取得手段は、動画像に含まれる一連の静止画像を前記元画像として取得してもよい。
【００２２】
本発明に係る電子機器は、上記対象画像検出デバイスを備えてもよい。
【００２３】
本発明に係る電子機器は、情報を表示する表示部と、前記対象画像検出デバイスが検出した検出結果を示す画像を、前記元画像に合成して前記表示部に表示させる画像合成手段とをさらに備えてもよい。
【００２４】
なお、上記対象画像検出デバイスにおける各手段を、制御プログラムによりコンピュータ上で実行させることができる。さらに、上記制御プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記制御プログラムを実行させることができる。
【発明の効果】
【００２５】
以上のように、本発明に係る対象画像検出デバイスは、元画像を取得すると、対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる検出条件で、取得された元画像に対して対象画像を検出して、検出結果を出力するので、従来技術に比べて、対象画像の一部の検出結果ではあるが、該検出結果を短時間で出力でき、その結果、出力された検出結果を他のデバイスが迅速に利用できるという効果を奏する。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態であるデジタルカメラの概略構成を示すブロック図である。
【図２】顔検出の検出条件の例を示す図である。
【図３】上記デジタルカメラにおける顔検出処理および顔追跡処理の処理動作を示すフローチャートである。
【図４】上記デジタルカメラにおいて表示される合成画像の例と、従来技術により表示される合成画像の比較例とを時系列的に示す図である。
【図５】本発明の他の実施形態であるデジタルカメラの概略構成を示すブロック図である。
【図６】上記デジタルカメラにおける顔検出処理および顔追跡処理の処理動作を示すフローチャートである。
【図７】上記デジタルカメラにおける顔追跡の追跡結果を補正する一例を説明するための図である。
【発明を実施するための形態】
【００２７】
〔実施の形態１〕
本発明の一実施形態について図１〜図４を参照して説明する。図１は、本実施形態であるデジタルカメラの概略構成を示している。図示のように、デジタルカメラ（電子機器）１０は、撮影部１１で撮影され、画像処理部１２にて画像処理された撮影画像（元画像）が、ライブビュー画像として表示部１３に表示される。また、デジタルカメラ１０は、ユーザが操作部１４のシャッターボタン（図示せず）を押すと、画像処理部１２にて画像処理された撮影画像が、画像圧縮部１５にて画像圧縮された後、画像記録部１６に記憶される。
【００２８】
本実施形態のデジタルカメラ１０は、まず、画像処理部１２にて画像処理された撮影画像を取得し、顔画像（対象画像）を検出するための複数の検出条件のうち、前回の検出条件とは別の検出条件に変更する。次に、取得された撮影画像に対し、変更された検出条件で顔画像を検出する。そして、検出された顔画像の領域を囲む枠画像（対象画像を特定可能な情報）を生成し、生成された枠画像を、画像合成部（画像合成手段）１７にて上記撮影画像と合成して、ライブビュー画像として表示部１３に表示される。
【００２９】
これにより、従来技術に比べて、顔画像の一部の検出結果ではあるが、該検出結果が短時間で出力される。その結果、出力された検出結果を利用して、枠画像を迅速に表示することができる。また、続く撮影画像に対し、さらに別の検出条件で顔画像を検出し、別の検出結果が短時間で出力される。従って、撮影画像が動画像である場合、枠画像の数が徐々に増えていくので、枠画像の表示の様子が、従来技術に比べて滑らかとなる。
【００３０】
次に、本実施形態のデジタルカメラ１０の詳細について説明する。上述のように、デジタルカメラ１０は、撮影部１１、画像処理部１２、表示部１３、操作部１４、画像圧縮部１５、画像記録部１６、および画像合成部１７を備えている。さらに、図１に示すように、デジタルカメラ１０は、制御部（対象画像検出デバイス）２０および記憶部２１を備えている。
【００３１】
撮影部１１は、被写体の撮影を行うものであり、例えばレンズ群、絞り、撮像素子などの光学系と、アンプ、Ａ／Ｄコンバータなどの回路系とを備えている。撮像素子の例としては、ＣＣＤ、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）イメージセンサなどが挙げられる。撮影部１１は、上記撮影により撮影画像を生成し、撮影画像のデータに変換して画像処理部１２に送信する。
【００３２】
画像処理部１２は、撮影部１１からの撮影画像のデータに対し、マトリックス演算、γ補正、ホワイトバランスの調整などの画像処理を行うものである。また、画像処理部１２は、画像処理された撮影画像のデータから、表示用、記録用、および顔検出用の撮影画像のデータを作成し、それぞれ、表示部１３、画像圧縮部１５、および制御部２０に送信する。なお、表示用および顔検出用の撮影画像のデータは同じであってもよい。
【００３３】
画像合成部１７は、画像処理部１２からの撮影画像に対し、制御部２０からの指示に基づく画像を合成するものである。画像合成部１７は、合成した画像である合成画像のデータを表示部１３に送信する。
【００３４】
本実施形態では、画像合成部１７は、制御部２０が検出した顔画像の位置情報を受信し、受信した位置情報に基づいて、上記顔画像を適当に囲む矩形画像、円形画像などの枠画像を生成する。また、画像合成部１７は、制御部２０が追跡した顔画像の位置情報を受信し、受信した位置情報に基づいて、上記顔画像を適当に囲む枠画像を生成する。そして、画像合成部１７は、生成した枠画像を画像処理部１２からの撮影画像に合成する。合成された合成画像は、そのデータが表示部１３に送信されて、表示部１３に表示される。
【００３５】
なお、制御部２０が検出した顔画像に関する枠画像と、制御部２０が追跡した顔画像に関する枠画像とは、同じでもよいし、異なっていてもよい。また、枠画像は、その内側に顔画像を含むことを示し得る図形であればよく、例えば、矩形の頂点付近のみを表示するような画像であってもよい。
【００３６】
表示部１３は、ＬＣＤ（液晶表示素子）、ＣＲＴ（陰極線管）、プラズマディスプレイなどの表示デバイスによって構成されている。表示部１３は、画像合成部１７からの合成画像のデータに基づいて、文字や画像などの各種の情報を表示出力する。
【００３７】
操作部１４は、ユーザの操作によりユーザから各種の入力を受け付けるものであり、入力用ボタン、タッチパネル、その他の入力デバイスによって構成されている。操作部１４は、ユーザが操作した情報を操作データに変換して制御部２０に送信する。なお、入力デバイスの他の例としては、キーボードと、テンキーと、マウスなどのポインティングデバイスとが挙げられる。
【００３８】
画像圧縮部１５は、画像処理部１２からの撮影画像のデータを、ＪＰＥＧ、ＭＰＥＧなどの方式に従って圧縮するものである。画像圧縮部１５は、圧縮した撮影画像のデータを画像記録部１６に記録する。
【００３９】
画像記録部１６は、情報を記録するものであり、特に画像圧縮部１５が圧縮した撮影画像のデータを記録するものである。画像記録部１６は、フラッシュメモリ、ハードディスクなどの不揮発性の記憶装置によって構成される。
【００４０】
制御部２０は、デジタルカメラ１０内における各種構成の動作を統括的に制御する。制御部２０は、例えばＣＰＵ（Central Processing Unit）およびメモリを含むコンピュータによって構成される。そして、各種構成の動作制御は、制御プログラムをコンピュータに実行させることによって行われる。このプログラムは、例えばフラッシュメモリなどのリムーバブルメディアに記録されているものを読み込んで使用する形態であってもよいし、ハードディスクなどにインストールされたものを読み込んで使用する形態であってもよい。また、上記プログラムをダウンロードしてハードディスクなどにインストールして実行する形態なども考えられる。なお、制御部２０の詳細については後述する。
【００４１】
記憶部２１は、フラッシュメモリ、ＲＯＭ（Read Only Memory）などの不揮発性の記憶装置と、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置とによって構成されるものである。不揮発性の記憶装置に記憶される内容としては、上記した制御プログラム、ＯＳ（operating system）プログラム、その他の各種プログラム、画像処理部１２における動作設定値、入力された文字データなどが挙げられる。画像処理部１２における動作設定値としては、装置出荷時やメンテナンス時などに設定されるホワイトバランスの値、撮影画像の明暗などを調整する際の画像処理に関する各種パラメータ値などが挙げられる。一方、揮発性の記憶装置に記憶される内容としては、作業用ファイル、テンポラリファイルなどが挙げられる。なお、記憶部２１の詳細については後述する。
【００４２】
本実施形態では、制御部２０は、時系列順の複数の撮影画像からなる動画像に関して、上記撮影画像から顔画像を検出する顔検出機能と、検出された顔画像を、続く撮影画像から検出することにより、上記顔画像を追跡する顔追跡機能とを有している。なお、顔画像の検出には、テンプレートマッチングを利用したり、肌色領域を検出したり、顔の輪郭を検出したり、顔の特徴点を検出したりするなど、公知の顔検出技術を利用することができる。
【００４３】
図１には、制御部２０および記憶部２１において、顔検出機能および顔追跡機能に関連する構成が示されている。図示のように、制御部２０は、画像取得部（取得手段）２２、条件決定部（決定手段）２３、顔検出部（検出手段）２４、顔追跡部（追跡手段）２５、および位置情報出力部（出力手段）２６を備える構成である。また、記憶部２１は、条件記憶部２７および結果履歴記憶部２８を備える構成である。
【００４４】
条件記憶部２７は、上記顔画像を検出するための複数の検出条件（以下「顔検出の検出条件」と称する。）を予め記憶している。図２は、上記顔検出の検出条件の例を示している。なお、図示の矢印は、テンプレートのスキャン方向を示している。同図の（ａ）は、上記テンプレートマッチングで利用されるテンプレートであって、サイズが異なる複数のテンプレートを示している。また、同図の（ｂ）は、上記テンプレートに対し画像内の回転（ＲＩＰ（Rotation In Plane））を行った複数のテンプレートを示している。また、同図の（ｃ）は、上記テンプレートに対し観測方向の変化（ＲＯＰ（Rotation Off Plane））した複数のテンプレートを示している。
【００４５】
また、図２の（ｄ）は、顔検出の対象となる撮影画像において、上記テンプレートで検索を行う複数の検索範囲を示している。また、同図の（ｅ）は、特徴量の異なる複数のテンプレートを示している。その他の検出条件としては、顔検出を良好に行うための複数の画像フィルタ、テンプレートとの類似度を算出する複数の類似度算出方法などが挙げられる。
【００４６】
ところで、人は、１または数フレームといったごく短時間にさほど移動しないと考えられる。このことから、或る撮影画像で検出された顔画像は、続く撮影画像においても、前回検出された顔画像の位置付近に、前回の検出条件と同じまたは類似する検出条件で検出されることが予想される。従って、上記顔画像を追跡するための追跡条件は、上記顔画像を検出するための検出条件に含まれることになる。
【００４７】
結果履歴記憶部２８は、上記顔検出の検出結果および検出条件と、上記顔追跡の追跡結果および検出条件とを結果履歴として蓄積している。上記検出結果および上記追跡結果としては、検出された顔画像の検出日時、サイズ、位置情報などが挙げられる。
【００４８】
画像取得部２２は、画像処理部１２から撮影画像のデータを取得するものである。画像取得部２２は、上記撮影画像のデータを取得すると、その旨を条件決定部２３に通知すると共に、取得した上記撮影画像のデータを顔検出部２４および顔追跡部２５に送出する。
【００４９】
条件決定部２３は、画像取得部２２からの通知を受け取ると、結果履歴記憶部２８の検出条件を参照し、条件記憶部２７における複数の検出条件の中から、前回の検出条件とは異なる検出条件を決定するものである。本実施形態では、条件決定部２３は、撮影画像から全ての顔画像を検出するために必要とされる複数の検出条件を逐次決定している。条件決定部２３は、決定した検出条件を顔検出部２４に送出する。
【００５０】
また、条件決定部２３は、画像取得部２２からの通知を受け取ると、結果履歴記憶部２８における顔画像の検出履歴および追跡履歴に基づき、上記追跡条件を決定する。条件決定部２３は、決定した追跡条件を顔追跡部２５に送出する。なお、条件決定部２３は、上記追跡条件を決定するときに、条件記憶部２７における複数の検出条件を利用してもよい。
【００５１】
顔検出部２４は、画像取得部２２から撮影画像のデータを受け取ると、条件決定部２３からの検出条件に基づいて、当該撮影画像から顔画像を検出する。顔検出部２４は、検出結果を位置情報出力部２６に送出すると共に、上記検出結果および上記検出条件を結果履歴記憶部２８に蓄積する。なお、顔検出部２４が行う顔検出の具体的な処理は、従来と同様であるので、その説明を省略する。
【００５２】
顔追跡部２５は、画像取得部２２から撮影画像のデータを受け取ると、条件決定部２３からの追跡条件に基づいて、当該撮影画像から顔画像を追跡する。具体的には、顔追跡部２５は、条件決定部２３からの上記顔追跡に適した検出条件に基づいて、前回検出した顔画像を当該撮影画像から検出する。顔追跡部２５は、追跡結果を位置情報出力部２６に送出すると共に、上記追跡結果および上記追跡条件を結果履歴記憶部２８に蓄積する。なお、顔追跡部２５が行う顔追跡の具体的な処理は、従来と同様であるので、その説明を省略する。
【００５３】
位置情報出力部２６は、顔検出部２４からの検出結果に基づいて、検出された顔画像の位置情報を画像合成部１７に出力するものである。また、位置情報出力部２６は、顔追跡部２５からの追跡結果に基づいて、追跡された顔画像の位置情報を画像合成部１７に出力するものである。
【００５４】
なお、位置情報出力部２６が出力する顔画像の位置情報としては、撮影画像における顔画像の領域を特定できる情報であれば任意の情報を利用できる。上記顔画像の位置情報の例としては、上記顔画像の領域における中心座標および幅の組合せや、上記顔画像の領域の境界を示す矩形の４頂点の座標の組合せなどが挙げられる。
【００５５】
図３は、上記構成のデジタルカメラ１０における顔検出処理および顔追跡処理の処理動作を示している。図示のように、撮影部１１にて撮影された動画像における一撮影画像を画像取得部２２が取得すると、条件決定部２３は、結果履歴記憶部２８における結果履歴である顔画像の検出履歴および追跡履歴を参照し、検出された顔画像（検出済対象）が存在するか否かを判断する（ステップＳ１０。以下、単に「Ｓ１０」と記載することがある。他のステップについても同様である。）。存在しない場合、ステップＳ１５に進む。
【００５６】
検出済対象が存在する場合、条件決定部２３は、上記結果履歴から上記追跡条件を決定し（Ｓ１１）、決定された追跡条件で、顔追跡部２５は、検出された顔画像を追跡する（Ｓ１２）。次に、顔追跡部２５は、追跡結果および追跡条件を結果履歴記憶部２８に記憶する一方、位置情報出力部２６は、上記追跡結果に基づく顔画像の位置情報を画像合成部１７に出力する（Ｓ１３）。これにより、画像合成部１７は、顔追跡部２５が追跡した顔画像に関する枠画像を生成し、生成した枠画像と撮影画像とを合成して、表示部１３を介して表示出力する。
【００５７】
次に、条件決定部２３は、上記検出済対象を全て処理したか否かを判断する（Ｓ１４）。全て処理していない場合、ステップＳ１１に戻って上記処理動作を繰り返す。一方、全て処理している場合、ステップＳ１５に進む。
【００５８】
ステップＳ１５において、条件決定部２３は、結果履歴記憶部２８における検出条件を参照して、検出条件を前回の検出条件から変更する。次に、変更された検出条件で、顔検出部２４は、顔画像を検出する（Ｓ１６）。そして、顔検出部２４は、検出結果および検出条件を結果履歴記憶部２８に記憶する一方、位置情報出力部２６は、上記検出結果に基づく顔画像の位置情報を画像合成部１７に出力する（Ｓ１７）。これにより、画像合成部１７は、顔検出部２４が検出した顔画像に関する枠画像を生成し、生成した枠画像と撮影画像とを合成して、表示部１３を介して表示出力する。その後、処理動作を終了する。
【００５９】
図４は、上記合成画像の例を示している。同図の（ａ）は、本実施形態のデジタルカメラ１０において表示される合成画像の例を時系列的に示している。また、同図の（ｂ）は、比較例であり、従来のデジタルカメラにおいて表示される合成画像の例を時系列的に示している。なお、図示の例では、全ての顔検出を行うための検出条件の数は５つとしている。
【００６０】
本実施形態では、図４の（ａ）に示すように、１番目の撮影画像ａ１に対し、第１の検出条件で顔検出が行われて、検出された顔画像を囲む矩形の枠画像ｂ１が２番目の撮影画像ａ２に合成されて表示される。次に、２番目の撮影画像ａ２に対し、第１の検出条件とは異なる第２の検出条件で顔検出が行われて、検出された顔画像を囲む矩形の枠画像ｂ２が３番目の撮影画像ａ３に合成されて表示される。また、２番目の撮影画像ａ２に対し、枠画像ｂ１で囲まれた顔画像に適した追跡条件で顔追跡が行われて、追跡された顔画像を囲む矩形の枠画像ｃ１が３番目の撮影画像ａ３に合成されて表示される。
【００６１】
次に、３番目の撮影画像ａ３に対し、第１・第２の検出条件とは異なる第３の検出条件で顔検出が行われて、検出された顔画像を囲む矩形の枠画像ｂ３が４番目の撮影画像ａ４に合成されて表示される。また、３番目の撮影画像ａ３に対し、枠画像ｃ１・ｂ２で囲まれた２つの顔画像のそれぞれに適した追跡条件で顔追跡が行われて、追跡された顔画像を囲む矩形の枠画像ｃ１・ｃ２が４番目の撮影画像ａ４に合成されて表示される。
【００６２】
次に、４番目の撮影画像ａ４に対し、第１〜第３の検出条件とは異なる第４の検出条件で顔検出が行われて、検出された顔画像を囲む矩形の枠画像ｂ４が５番目の撮影画像ａ５に合成されて表示される。また、４番目の撮影画像ａ４に対し、枠画像ｃ１・ｃ２・ｂ３で囲まれた３つの顔画像のそれぞれに適した追跡条件で顔追跡が行われて、追跡された顔画像を囲む矩形の枠画像ｃ１〜ｃ３が５番目の撮影画像ａ５に合成されて表示される。
【００６３】
以下、これを繰り返すことにより、６番目の撮影画像ａ６と、５番目の撮影画像ａ５にて検出された顔画像を囲む矩形の枠画像ｂ５と、５番目の撮影画像ａ５にて追跡された顔画像を囲む矩形の枠画像ｃ１〜ｃ４とが合成されて表示されることになる。すなわち、６番目の合成画像に、全ての検出条件で顔検出が行われた結果の枠画像ｃ１〜ｃ４・ｂ５が表示されることになる。
【００６４】
一方、従来は、図４の（ｂ）に示すように、１番目の撮影画像ａ１に対し、第１〜第５の検出条件で順番に顔検出が行われ、該顔検出の終了後に、検出された全ての顔画像を囲む矩形の枠画像ｄ１〜ｄ５が撮影画像と合成されて表示される。このため、上記枠画像ｄ１〜ｄ５が表示されるまでに時間がかかることになる。図示の例では、１番目の撮影画像ａ１に対する顔検出による枠画像ｄ１〜ｄ５が、６番目の撮影画像ａ６と合成されて表示されることになる。
【００６５】
なお、図４では、撮影画像における各被写体の位置は、撮影画像ａ１〜ａ６間で同じとしているが、実際には被写体は動くので、撮影画像ａ１〜ａ６間で異なることが多く、時間の経過と共に、ずれが大きくなることが多い。
【００６６】
図４の（ａ）および（ｂ）を比較すると、本実施形態の方が、従来よりも、顔検出および顔追跡の結果を示す枠画像が、一部とはいえ迅速に表示開始されるので、顔画像の検出をユーザが待機する時間を短縮できることが理解できる。また、枠画像の数が徐々に増えていくので、枠画像の表示の様子が、従来技術に比べて滑らかとなる。また、顔検出および顔追跡の残りの結果を示す枠画像が逐次表示されるので、ユーザに新たな娯楽を提供できることが理解できる。
【００６７】
また、本実施形態では、図４の（ａ）に示すように、第２の検出条件での顔検出が、２番目の撮影画像ａ２に対し行われて、検出結果を示す枠画像ｂ２が次（３番目）の撮影画像ａ３と合成される。一方、従来技術では、図４の（ｂ）に示すように、第２の検出条件での顔検出が、１番目の撮影画像ａ１に対し行われて、検出結果を示す枠画像ｄ２が６番目の撮影画像ａ６と合成される。
【００６８】
従って、本実施形態の方が、従来よりも、顔検出の対象となる撮影画像の撮影時刻と、検出結果を示す枠画像が合成される撮影画像の撮影時刻との期間が短いので、枠画像と、該枠画像が合成される撮影画像における顔画像とのずれが小さくなることが理解できる。
【００６９】
また、本実施形態では、図４の（ａ）に示すように、６番目の撮影画像ａ６と合成される枠画像のうち、枠画像ｃ１〜ｃ４は、５番目までの撮影画像に対し、一度検出された後に追跡され続けた顔画像に関するものであり、枠画像ｂ５は、５番目までの撮影画像に対し検出された顔画像に関するものである。すなわち、本実施形態では、６番目の撮影画像ａ６と合成される枠画像は、直前（５番目）の撮影画像ａ５における顔画像に関するものである。一方、従来技術では、図４の（ｂ）に示すように、６番目の撮影画像ａ６と合成される枠画像ｄ１〜ｄ５の全ては、１番目の撮影画像ａ１に対し検出された顔画像に関するものである。
【００７０】
従って、本実施形態の方が、従来よりも、枠画像を生成する元になった撮影画像の撮影時刻と、当該枠画像が合成される撮影画像の撮影時刻との期間が短いので、枠画像と、該枠画像が合成される撮影画像における顔画像とのずれがさらに小さくなることが理解できる。
【００７１】
〔実施の形態２〕
次に、本発明の他の実施形態について図５〜図７を参照して説明する。図５は、本実施形態であるデジタルカメラの概略構成を示している。図示のデジタルカメラ１０は、図１に示すデジタルカメラ１０に比べて、条件決定部３０の機能が異なる点と、顔検出部２４および顔追跡部２５から位置情報出力部２６までの間に、結果補正部（補正手段）３１が追加されている点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成および処理動作と同様の構成および処理動作には、同一の符号を付して、その説明を省略する。
【００７２】
図１に示す条件決定部２３は、全ての顔画像を検出するために必要とされる複数の検出条件を逐次決定していた。この場合、動画像に含まれる複数の撮影画像を取得することにより、上記複数の検出条件の全てについて、上記従来技術と同様に、顔画像の全検出結果を出力することができる。
【００７３】
これに対し、本実施形態の条件決定部３０は、結果履歴記憶部２８の検出結果の履歴に基づいて、検出条件を動的に変更して決定している。なお、動的に変更する条件の情報は、条件記憶部２７に記憶される。
【００７４】
例えば、図２の（ｃ）における左側の画像に示されるような、横向きの顔画像のテンプレートによる顔検出が所定期間に無い場合、該テンプレートを利用する検出条件での検出頻度を減らすことが挙げられる。これは、上記の場合では、被写体の顔がデジタルカメラ１０の方向を向いていると考えられるからである。
【００７５】
また、今まで顔画像が検出されていた撮影画像の領域から急に顔画像が検出されなくなった場合、当該顔画像の検出条件での検出頻度を増やすことが挙げられる。これは、上記の場合では、被写体がデジタルカメラ１０からフレームアウトしたか、或いは、被写体が振り返ったため、被写体の顔がデジタルカメラ１０と反対の方向を向いていると考えられ、再び当該顔画像が検出される可能性が高いからである。
【００７６】
このように、上記検出結果の履歴に基づいて、検出条件を動的に変更することにより、顔検出の効率を向上することができる。
【００７７】
以下に、上記検出結果の履歴に基づいて、検出条件を動的に変更する手法をまとめて記載する。第１の手法は、或る検出条件によるこれまでの検出回数に応じて、当該検出条件の利用頻度を変更することである。例えば、撮影画像の或る領域での検出回数が多い場合、当該領域を検出条件として利用する頻度を増加することが挙げられる。また、顔の或る向きの検出回数が少ない場合、当該向きのテンプレートを検出条件として利用する頻度を減少することが挙げられる。
【００７８】
第２の手法は、検出条件の組合せに応じて、検出条件の利用頻度および/または組合せを変更することである。例えば、撮影画像における右下の領域と左上の領域とに同時に顔画像を検出する回数が少ない場合、一方の領域で顔画像を検出すると、他方の領域を検出条件として利用する頻度を減少することが挙げられる。また、第１の方向の顔画像と、第１の方向から画像内で１８０°回転した第２の方向の顔画像とを同時に検出する可能性が低い場合、第１の方向の顔画像を検出すると、第２の方向を検出条件として利用する頻度を減少することが挙げられる。
【００７９】
また、例えば、撮影画像の中央領域で３０ピクセルの顔画像が多く、周縁領域で２０ピクセルの顔画像が多い場合のように、撮影画像における領域に応じて、検出される顔画像のサイズに傾向が存在する場合、顔画像のサイズを検出条件として利用する頻度を、領域に応じて変更することが挙げられる。
【００８０】
第３の手法は、検出条件の順番に規則性が存在する場合、当該規則性に基づいて検出条件の順番を変更することである。例えば、一度検出した顔画像のサイズが時間と共に小さくなる傾向がある場合、顔画像のサイズを大きい方から小さい方に順番に検出条件として利用することが挙げられる。また、一度検出した顔画像を見失うと、しばらくの間に同じ検出条件で再度現れることが予想される場合、しばらくの間上記検出条件を利用する頻度を増加することが挙げられる。
【００８１】
結果補正部３１は、顔検出部２４からの検出結果に基づいて、顔追跡部２５からの追跡結果を補正するものである。結果補正部３１は、補正した検出結果および追跡結果を位置情報出力部２６に送出する。
【００８２】
従来は、撮影画像から全ての顔画像を検出するために必要とされる複数の検出条件のそれぞれについて順番に顔画像を検出し、これらの複数の検出結果に基づき、検出結果を補正して、補正された検出結果を出力していた。例えば、撮影画像の或る領域に対し、サイズが２０画素である顔画像と、サイズが３０画素である顔画像との両方が検出された場合、平均値である２５画素をサイズとする顔画像に補正することが挙げられる。
【００８３】
これに対し、本実施形態では、撮影画像を取得すると、上記複数の検出条件の一部を決定し、決定された検出条件で顔画像を検出し、検出結果を出力している。このため、上記複数の検出条件の全てによる検出結果に基づいて、検出結果を補正する従来の場合に比べて、検出結果の精度が低下することになる。
【００８４】
そこで、本実施形態では、結果補正部３１は、上述のように、顔追跡部２５からの追跡結果を、顔検出部２４からの検出結果に基づいて補正している。なお、結果補正部３１は、さらに結果履歴記憶部２８の結果履歴に基づいて顔追跡部２５からの追跡結果を補正してもよい。
【００８５】
図７は、追跡結果の補正の一例を説明するためのものである。同図の（ａ）は、或る時点での合成画像を示している。図示のように、該合成画像は、或る時点での撮影画像ｅ１と、該時点の直前の撮影画像（図示せず）に対し、顔検出により検出された３０ピクセルの顔画像に対応する枠画像ｆ１とを含んでいる。同図の（ａ）に示す撮影画像ｅ１に対し、２０ピクセルのテンプレートを用いて顔検出部２４が顔検出を行ったところ、同図の（ｂ）に破線で示すように、２０ピクセルの顔画像ｇ１・ｇ２が２つ検出されたとする。このとき、枠画像ｆ１で囲まれた３０ピクセルの顔画像と、２０ピクセルの顔画像ｇ１とは、撮影画像における同じ様な領域で検出されるので、同一の顔であると考えられる。
【００８６】
そこで、図７の（ａ）に示す撮影画像ｅ１に対し、枠画像ｆ１で囲まれた顔画像に適した追跡条件で追跡された３０ピクセルの顔画像（図示せず）を、結果補正部３１が、３０ピクセルと２０ピクセルの平均である２５ピクセルの顔画像に補正し、補正結果を位置情報出力部２６に送出する。なお、上記領域とは別の領域で初めて検出された顔画像ｇ２は、補正されることなく位置情報出力部２６に送出される。
【００８７】
このとき、表示部１３に表示される合成画像を図７の（ｃ）に示す。図示のように、該構成画像は、次の撮影画像ｅ２と、撮影画像ｅ１に対し、顔検出により検出された２０ピクセルの顔画像に対応する枠画像ｆ２と、顔追跡により追跡されかつ補正された２５ピクセルの顔画像に対応する枠画像ｈ１とを含んでいる。同図の（ａ）および（ｃ）を比較すると、補正後の枠画像ｈ１は、補正前の枠画像ｆ１に比べて、サイズが実際の顔画像のサイズに近付いていることが理解できる。従って、顔画像の精度を徐々に向上させることができる。
【００８８】
以下に、検出結果に基づいて追跡結果を補正する手法をまとめて記載する。第１の手法は、同じ被写体と推測される顔画像を複数の検出条件で検出した場合、検出結果の平均で追跡結果を補正する手法である。例えば、撮影画像のほぼ同じ領域での顔画像の検出回数が所定のフレーム数に達した場合、検出した顔画像のサイズの平均値で、追跡結果における顔画像のサイズを補正したり、検出した顔画像の方向の平均値で、追跡結果における顔画像の方向を補正したりすることが挙げられる。また、同じ被写体と推測される顔画像の移動軌跡が滑らかとなるように、追跡結果における顔画像の追跡位置を補正することが挙げられる。
【００８９】
また、同じ被写体と推測される顔画像を複数の検出条件で検出した場合、適切な方の検出条件の検出結果を優先して追跡結果を補正する手法である。例えば、画像フィルタの検出条件を変更することで検出数が減った場合、前の検出条件の検出結果の方がより適切であるとして、その検出結果に重きをおいた加重平均を算出し、算出結果に基づいて追跡結果を補正することが挙げられる。
【００９０】
図６は、上記構成のデジタルカメラ１０における顔検出処理および顔追跡処理の処理動作を示している。図示のように、撮影部１１にて撮影された動画像における一撮影画像を画像取得部２２が取得すると、条件決定部３０は、結果履歴記憶部２８における結果履歴を参照し、検出済対象が存在するか否かを判断する（Ｓ１０）。存在しない場合、ステップＳ２１に進む。
【００９１】
検出済対象が存在する場合、条件決定部３０は、上記結果履歴から上記追跡条件を決定し（Ｓ１１）、決定された追跡条件で、顔追跡部２５は、検出された顔画像を追跡する（Ｓ１２）。次に、顔追跡部２５は、追跡結果および追跡条件を結果履歴記憶部２８に記憶する（Ｓ２０）。
【００９２】
次に、条件決定部３０は、上記検出済対象を全て処理したか否かを判断する（Ｓ１４）。全て処理していない場合、ステップＳ１１に戻って上記処理動作を繰り返す。一方、全て処理している場合、ステップＳ２１に進む。
【００９３】
ステップＳ２１において、条件決定部３０は、結果履歴記憶部２８における検出条件を参照して、検出条件を前回の検出条件から変更する。このとき、条件決定部３０は、さらに、結果履歴記憶部２８における検出結果の履歴を考慮して検出条件を変更する。
【００９４】
次に、変更された検出条件で、顔検出部２４は、顔画像を検出する（Ｓ１６）。そして、顔検出部２４は、検出結果および検出条件を結果履歴記憶部２８に記憶する（Ｓ２２）。
【００９５】
次に、結果補正部３１は、ステップＳ１６による検出結果に基づいて、ステップＳ１２による追跡結果を補正する（Ｓ２３）。そして、位置情報出力部２６は、上記検出結果に基づく顔画像の位置情報と、補正された追跡結果に基づく顔画像の位置情報とを画像合成部１７に出力する（Ｓ２４）。これにより、画像合成部１７は、顔検出部２４が検出した顔画像に関する枠画像と、顔追跡部２５が追跡し、結果補正部３１が補正した顔画像に関する枠画像とを生成し、生成した枠画像と撮影画像とを合成して、表示部１３を介して表示出力する。その後、処理動作を終了する。
【００９６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００９７】
例えば、上記実施形態では、顔検出および顔追跡に関する各構成２２〜２８・３０・３１を制御部２０に設けているが、画像処理部１２に設けることもできる。また、上記実施形態では、検出結果および追跡結果を枠画像として表示出力しているが、検出結果および追跡結果に基づいて、フォーカス調整やピント調整などの撮影部１１の制御を行うこともできる。
【００９８】
また、上記実施形態では、撮影画像から人の顔画像を検出して追跡している。しかしながら、アニメーションその他の動画像にも適用可能である。また、人の上半身や全身の画像を検出してもよいし、ボール、車両、運搬される荷物その他の動く物体の画像を検出してもよい。さらには、静止した物体であっても、デジタルカメラ１０を動かせば、撮影画像上では移動することになるので、適用可能である。すなわち、本発明は、取得した時系列画像上で移動する物体の画像の検出に適用可能である。
【００９９】
また、上記実施形態では、本発明をデジタルカメラ１０に適用しているが、カメラ付き携帯電話機など、撮影部を有する任意の電子機器に本発明を適用可能である。さらに、動画像を取得して画像処理を行う画像処理デバイスにも適用可能である。このような画像処理デバイスは、デジタルカメラ１０だけでなく、プリンタにも適用されることが予想される。
【０１００】
最後に、デジタルカメラ１０の各ブロック、特に制御部２０および画像処理部１２は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１０１】
すなわち、デジタルカメラ１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカメラ１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記デジタルカメラ１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１０２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１０３】
また、デジタルカメラ１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１０４】
〔付記事項〕
本発明に係る対象画像検出デバイスは、元画像の中から対象画像を検出する対象画像検出デバイスであって、上記課題を解決するために、前記元画像を取得する取得手段と、前記対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定する決定手段と、前記取得手段が取得した元画像に対し、前記決定手段が決定した検出条件で、前記対象画像を検出する検出手段と、該検出手段が検出した検出結果を出力する出力手段とを備えることを特徴としている。
【０１０５】
また、本発明に係る対象画像検出デバイスの制御方法は、元画像の中から対象画像を検出するものであって、上記課題を解決するために、前記元画像を取得する取得ステップと、前記対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定する決定ステップと、前記取得ステップにて取得された元画像に対し、前記決定手段が決定した検出条件で、前記対象画像を検出する検出ステップと、該検出ステップにて検出された検出結果を出力する出力ステップとを含むことを特徴としている。
【０１０６】
ここで、検出される対象の例としては、人の顔、上半身、および全身、ボール、車両など、移動する物体またはその一部が挙げられる。
【０１０７】
上記の構成および方法によると、元画像を取得すると、対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる検出条件で、取得された元画像に対して対象画像を検出して、検出結果を出力する。従って、或る元画像に対して、対象画像を検出するための複数の検出条件で対象画像をそれぞれ検出し、全検出結果を一斉に出力する従来技術に比べて、対象画像の一部の検出結果ではあるが、該検出結果を短時間で出力することができる。その結果、出力された検出結果を他のデバイス（例えば表示を制御するデバイス、撮影を制御するデバイスなど）が迅速に利用することができる。
【０１０８】
本発明に係る対象画像検出デバイスでは、前記検出手段が検出した検出結果の履歴を記憶する結果履歴記憶部をさらに備えており、前記決定手段は、さらに、前記結果履歴記憶部における検出結果の履歴に基づいて、検出条件を決定してもよい。或いは、本発明に係る対象画像検出デバイスでは、前記決定手段は、前記対象画像を検出するための複数の検出条件の中から、検出条件を逐次決定してもよい。
【０１０９】
逐次決定する場合、上記複数の検出条件の全てについて、上記従来技術と同様に、対象画像の全検出結果を出力することができる。さらに、元画像が、動画像に含まれる複数の静止画像であり、上記従来技術において或る静止画像の全検出結果が出力されるまでに、後に続く静止画像が取得される場合、本発明では、上記後に続く静止画像に対する検出結果を出力できるので、従来よりも新しい静止画像に対する検出結果を含むことができる。
【０１１０】
一方、検出結果の履歴に基づいて検出条件を決定する場合、例えば、対象画像を検出する可能性の高い検出条件は、検出条件として決定される頻度を多くする一方、対象画像を検出する可能性の低い検出条件は、検出条件として決定される頻度を少なくすることなどが考えられる。従って、対象画像を検出する効率が向上する。
【０１１１】
ところで、検出対象は上記移動する物体などであるため、元画像が動画像に含まれる複数の静止画像である場合、対象画像の位置は、時間の経過と共に検出位置からずれる虞がある。
【０１１２】
そこで、本発明に係る対象画像検出デバイスでは、前記取得手段は、動画像に含まれる複数の静止画像を前記元画像として取得しており、前記取得手段が取得した或る時点の元画像に対し、前記検出手段が検出した前記対象画像を、前記時点より後の時点の元画像にて追跡する追跡手段をさらに備えており、前記出力手段は、前記追跡手段が追跡した追跡結果をさらに出力することが好ましい。
【０１１３】
この場合、一度検出した対象画像を追跡して、追跡結果を出力するので、上記問題点を回避することができる。なお、追跡手段は、追跡条件に基づいて対象画像を追跡してもよい。さらに、上記追跡条件は、上記検出条件から取得してもよい。
【０１１４】
ところで、本発明では、一部の検出条件で対象画像を検出して、検出結果を出力するので、全ての検出条件で対象画像を検出した後に検出結果を出力する従来技術に比べて、検出結果の精度が低い場合が存在する。
【０１１５】
そこで、本発明に係る対象画像検出デバイスでは、前記追跡手段が追跡した追跡結果を、前記検出手段が検出した検出結果に基づいて補正する補正手段をさらに備えており、前記出力手段は、前記追跡手段が追跡した追跡結果に代えて、前記補正手段が補正した追跡結果を出力することが好ましい。
【０１１６】
この場合、別の検出条件での検出結果を追跡結果に反映させることができるので、検出結果の精度を徐々に向上させることができる。なお、上記補正手段は、さらに検出結果の履歴に基づいて補正してもよい。
【０１１７】
なお、上記構成の対象画像検出デバイスを備えた電子機器でも、上述の作用効果を奏することができる。
【０１１８】
さらに、上記電子機器では、情報を表示する表示部と、前記対象画像検出デバイスが検出した検出結果を示す画像を、前記元画像に合成して前記表示部に表示させる画像合成手段とをさらに備えてもよい。この場合、一部ではあるが、検出結果を示す画像の表示開始を迅速に行うことができ、その後に残りの検出結果を示す画像を逐次表示することができる。その結果、全ての検出結果を示す画像を一斉に表示する従来技術に比べて、対象画像の検出をユーザが待機する時間を短縮することができる。また、検出結果を示す画像が逐次表示されるので、ユーザに新たな娯楽を提供することができる。さらに、残りの検出結果は、最初の検出が行われた元画像よりも後の元画像に対するものであるので、当該検出結果を示す画像と、現在表示されている元画像に対して対象画像を検出した場合の検出結果を示す画像とのずれを抑えることができる。
【産業上の利用可能性】
【０１１９】
以上のように、本発明に係るデジタルカメラは、撮影画像を取得すると、前回の検出条件とは異なる検出条件で、取得された撮影画像に対し顔画像を検出することにより、一部ではあるが検出結果を短時間で出力できるので、カメラ付き携帯電話機以外にも、プリンタなどのように、元画像から対象画像を検出する任意の電子機器に適用することができる。
【符号の説明】
【０１２０】
１０ デジタルカメラ（電子機器）
１１ 撮影部
１２ 画像処理部
１３ 表示部
１４ 操作部
１５ 画像圧縮部
１６ 画像記録部
１７ 画像合成部（画像合成手段）
２０ 制御部（対象画像検出デバイス）
２１ 記憶部
２２ 画像取得部（取得手段）
２３・３０ 条件決定部（決定手段）
２４ 顔検出部（検出手段）
２５ 顔追跡部（追跡手段）
２６ 位置情報出力部（出力手段）
２７ 条件記憶部
２８ 結果履歴記憶部
３１ 結果補正部（補正手段）
【技術分野】
【０００１】
本発明は、元画像の中から対象画像を検出する対象画像検出デバイス、その制御方法、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器に関するものである。
【背景技術】
【０００２】
従来、撮像機器および表示デバイスなどにおいて、使い易いユーザインタフェースを提供したり、自動的に最適な画像を取得したりするために、撮影対象または表示対象を自動認識するニーズが高まっている。このようなニーズの一例として、人の顔を検出し、検出した顔に最適なフォーカスおよび露出となるように調整したり、文字を認識し、認識した文字の領域を自動的にＯＣＲ（Optical Character Recognition）の対象にしたりするような機能が挙げられる。
【０００３】
一般に、このような機能を実現するには、高度な画像処理が必要となり、多大な計算量が必要となる。また、上記機能は、一般に、リアルタイム性が要求されるため、高速な処理が必要となる。このため、デジタルカメラ、携帯型通信端末などのような、処理能力、消費電力、およびコストが制約される組込み機器で上記機能を実現することが困難な場合が多い。
【０００４】
この問題点に対し、処理を高速化する種々の方法が提案されている。例えば、特許文献１に記載の画像処理装置では、解像度が順次段階的に変化する順序により縮小画像を順次テンプレートマッチングして、特定の被写体が撮影された領域を検出し、検出後に処理を中断することにより、処理の高速化を図っている。また、特許文献２に記載の顔検出方法では、大きい顔から順に検出し、顔が検出されたら、それ以降は既に顔が検出された領域を検出対象領域から除いて検出を続けている。これにより、顔を検出する度に検出対象領域を縮小できるので、処理を高速化することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１３５１１５号公報（２００７年５月３１日公開）
【特許文献２】特開２００６−３０１８４７号公報（２００６年１１月２日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の画像処理装置は、特定の被写体の動きを追従するためのものである。このため、不特定であり、かつ数が未定である被写体が撮影された領域を検出する処理では、検出後に処理を中断することが困難であり、処理の高速化を図ることが困難となる。また、特許文献２の顔検出方法では、検出対象領域に対する顔の検出を、大きい顔から小さい顔まで順番に繰り返しているため、依然として処理に時間がかかることになる。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、検出結果を迅速に出力できる対象画像検出デバイスなどを提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る対象画像検出デバイスは、元画像の中から対象画像を検出する対象画像検出デバイスであって、前記元画像を取得する取得手段と、前記対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる第１の検出条件に決定する決定手段と、前記取得手段が取得した第１の元画像から、前記決定手段が決定した第１の検出条件で前記対象画像を検出する検出手段と、前記検出手段が検出した対象画像を特定可能な情報を、前記第１の元画像に続く第２の元画像に出力する出力手段とを備え、前記決定手段は、或る検出条件と前記検出手段が該検出条件で前記対象画像を検出したか否かを示す検出結果との対応付けの履歴に基づいて、前記第１の検出条件とは異なる第２の検出条件をさらに決定することを特徴としている。
【０００９】
また、本発明に係る対象画像検出デバイスの制御方法は、元画像の中から対象画像を検出する対象画像検出デバイスの制御方法であって、前記元画像を取得する取得ステップと、前記対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる第１の検出条件に決定する決定ステップと、前記取得ステップにおいて取得された第１の元画像から、前記決定ステップにおいて決定された第１の検出条件で前記対象画像を検出する検出ステップと、前記検出ステップにおいて検出された対象画像を特定可能な情報を、前記第１の元画像に続く第２の元画像に出力する出力ステップとを含み、前記決定ステップでは、或る検出条件と前記検出ステップにおいて該検出条件で前記対象画像が検出されたか否かを示す検出結果との対応付けの履歴に基づいて、前記第１の検出条件とは異なる第２の検出条件をさらに決定することを特徴としている。
【００１０】
本発明に係る対象画像検出デバイスでは、前記検出手段は、前記第２の元画像から前記決定手段が決定した第２の検出条件で前記対象画像をさらに検出し、前記出力手段は、前記検出手段が検出した対象画像を特定可能な情報を、前記第２の元画像に続く第３の元画像にさらに出力してもよい。
【００１１】
本発明に係る対象画像検出デバイスは、前記検出条件が検出した対象画像を、当該対象画像を含む元画像に続く元画像にて追跡する追跡手段をさらに備えてもよい。
【００１２】
本発明に係る対象画像検出デバイスでは、前記追跡手段は、前記第１の検出条件に含まれる追跡条件で、前記第２の元画像にて前記対象画像を追跡し、前記出力手段は、前記追跡手段が追跡した対象画像を特定可能な情報を、前記第２の元画像に続く第３の元画像にさらに出力してもよい。
【００１３】
本発明に係る対象画像検出デバイスは、前記対応付けの履歴に基づいて、前記追跡手段が追跡した追跡結果を補正する補正手段をさらに備え、前記出力手段は、前記補正手段が補正した追跡結果を、前記追跡手段が追跡した対象画像を特定可能な情報として、前記第２の元画像に続く第３の元画像にさらに出力してもよい。
【００１４】
本発明に係る対象画像検出デバイスでは、前記補正手段は、前記検出結果に対応付けられた検出条件に含まれる数値の平均で、前記追跡手段が追跡した追跡結果を補正してもよい。
【００１５】
本発明に係る対象画像検出デバイスでは、前記補正手段は、前記検出条件を変更することで前記対象画像を検出したことを示す検出結果の検出数が減少した場合、減少する前の検出条件を優先して適用することによって、前記追跡手段が追跡した追跡結果を補正してもよい。
【００１６】
本発明に係る対象画像検出デバイスでは、前記決定手段は、或る検出条件によるこれまでの検出回数に応じて当該検出条件の利用頻度を変更し、変更した利用頻度に基づいて、前記複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定してもよい。
【００１７】
本発明に係る対象画像検出デバイスでは、前記決定手段は、前記対象画像を検出するための複数の検出条件の組み合わせに応じて、前記複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定してもよい。
【００１８】
本発明に係る対象画像検出デバイスでは、前記決定手段は、所定の規則性に基づいて前記対象画像を検出するための複数の検出条件の順番を変更することによって、前記複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定してもよい。
【００１９】
本発明に係る対象画像検出デバイスは、或る検出条件と前記検出手段が該検出条件で前記対象画像を検出したか否かを示す検出結果との対応付けの履歴を記憶する結果履歴記憶部をさらに備えてもよい。
【００２０】
本発明に係る対象画像検出デバイスでは、前記決定手段は、前記対象画像を検出するための複数の検出条件の中から、検出条件を逐次決定してもよい。
【００２１】
本発明に係る対象画像検出デバイスでは、前記取得手段は、動画像に含まれる一連の静止画像を前記元画像として取得してもよい。
【００２２】
本発明に係る電子機器は、上記対象画像検出デバイスを備えてもよい。
【００２３】
本発明に係る電子機器は、情報を表示する表示部と、前記対象画像検出デバイスが検出した検出結果を示す画像を、前記元画像に合成して前記表示部に表示させる画像合成手段とをさらに備えてもよい。
【００２４】
なお、上記対象画像検出デバイスにおける各手段を、制御プログラムによりコンピュータ上で実行させることができる。さらに、上記制御プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記制御プログラムを実行させることができる。
【発明の効果】
【００２５】
以上のように、本発明に係る対象画像検出デバイスは、元画像を取得すると、対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる検出条件で、取得された元画像に対して対象画像を検出して、検出結果を出力するので、従来技術に比べて、対象画像の一部の検出結果ではあるが、該検出結果を短時間で出力でき、その結果、出力された検出結果を他のデバイスが迅速に利用できるという効果を奏する。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態であるデジタルカメラの概略構成を示すブロック図である。
【図２】顔検出の検出条件の例を示す図である。
【図３】上記デジタルカメラにおける顔検出処理および顔追跡処理の処理動作を示すフローチャートである。
【図４】上記デジタルカメラにおいて表示される合成画像の例と、従来技術により表示される合成画像の比較例とを時系列的に示す図である。
【図５】本発明の他の実施形態であるデジタルカメラの概略構成を示すブロック図である。
【図６】上記デジタルカメラにおける顔検出処理および顔追跡処理の処理動作を示すフローチャートである。
【図７】上記デジタルカメラにおける顔追跡の追跡結果を補正する一例を説明するための図である。
【発明を実施するための形態】
【００２７】
〔実施の形態１〕
本発明の一実施形態について図１〜図４を参照して説明する。図１は、本実施形態であるデジタルカメラの概略構成を示している。図示のように、デジタルカメラ（電子機器）１０は、撮影部１１で撮影され、画像処理部１２にて画像処理された撮影画像（元画像）が、ライブビュー画像として表示部１３に表示される。また、デジタルカメラ１０は、ユーザが操作部１４のシャッターボタン（図示せず）を押すと、画像処理部１２にて画像処理された撮影画像が、画像圧縮部１５にて画像圧縮された後、画像記録部１６に記憶される。
【００２８】
本実施形態のデジタルカメラ１０は、まず、画像処理部１２にて画像処理された撮影画像を取得し、顔画像（対象画像）を検出するための複数の検出条件のうち、前回の検出条件とは別の検出条件に変更する。次に、取得された撮影画像に対し、変更された検出条件で顔画像を検出する。そして、検出された顔画像の領域を囲む枠画像（対象画像を特定可能な情報）を生成し、生成された枠画像を、画像合成部（画像合成手段）１７にて上記撮影画像と合成して、ライブビュー画像として表示部１３に表示される。
【００２９】
これにより、従来技術に比べて、顔画像の一部の検出結果ではあるが、該検出結果が短時間で出力される。その結果、出力された検出結果を利用して、枠画像を迅速に表示することができる。また、続く撮影画像に対し、さらに別の検出条件で顔画像を検出し、別の検出結果が短時間で出力される。従って、撮影画像が動画像である場合、枠画像の数が徐々に増えていくので、枠画像の表示の様子が、従来技術に比べて滑らかとなる。
【００３０】
次に、本実施形態のデジタルカメラ１０の詳細について説明する。上述のように、デジタルカメラ１０は、撮影部１１、画像処理部１２、表示部１３、操作部１４、画像圧縮部１５、画像記録部１６、および画像合成部１７を備えている。さらに、図１に示すように、デジタルカメラ１０は、制御部（対象画像検出デバイス）２０および記憶部２１を備えている。
【００３１】
撮影部１１は、被写体の撮影を行うものであり、例えばレンズ群、絞り、撮像素子などの光学系と、アンプ、Ａ／Ｄコンバータなどの回路系とを備えている。撮像素子の例としては、ＣＣＤ、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）イメージセンサなどが挙げられる。撮影部１１は、上記撮影により撮影画像を生成し、撮影画像のデータに変換して画像処理部１２に送信する。
【００３２】
画像処理部１２は、撮影部１１からの撮影画像のデータに対し、マトリックス演算、γ補正、ホワイトバランスの調整などの画像処理を行うものである。また、画像処理部１２は、画像処理された撮影画像のデータから、表示用、記録用、および顔検出用の撮影画像のデータを作成し、それぞれ、表示部１３、画像圧縮部１５、および制御部２０に送信する。なお、表示用および顔検出用の撮影画像のデータは同じであってもよい。
【００３３】
画像合成部１７は、画像処理部１２からの撮影画像に対し、制御部２０からの指示に基づく画像を合成するものである。画像合成部１７は、合成した画像である合成画像のデータを表示部１３に送信する。
【００３４】
本実施形態では、画像合成部１７は、制御部２０が検出した顔画像の位置情報を受信し、受信した位置情報に基づいて、上記顔画像を適当に囲む矩形画像、円形画像などの枠画像を生成する。また、画像合成部１７は、制御部２０が追跡した顔画像の位置情報を受信し、受信した位置情報に基づいて、上記顔画像を適当に囲む枠画像を生成する。そして、画像合成部１７は、生成した枠画像を画像処理部１２からの撮影画像に合成する。合成された合成画像は、そのデータが表示部１３に送信されて、表示部１３に表示される。
【００３５】
なお、制御部２０が検出した顔画像に関する枠画像と、制御部２０が追跡した顔画像に関する枠画像とは、同じでもよいし、異なっていてもよい。また、枠画像は、その内側に顔画像を含むことを示し得る図形であればよく、例えば、矩形の頂点付近のみを表示するような画像であってもよい。
【００３６】
表示部１３は、ＬＣＤ（液晶表示素子）、ＣＲＴ（陰極線管）、プラズマディスプレイなどの表示デバイスによって構成されている。表示部１３は、画像合成部１７からの合成画像のデータに基づいて、文字や画像などの各種の情報を表示出力する。
【００３７】
操作部１４は、ユーザの操作によりユーザから各種の入力を受け付けるものであり、入力用ボタン、タッチパネル、その他の入力デバイスによって構成されている。操作部１４は、ユーザが操作した情報を操作データに変換して制御部２０に送信する。なお、入力デバイスの他の例としては、キーボードと、テンキーと、マウスなどのポインティングデバイスとが挙げられる。
【００３８】
画像圧縮部１５は、画像処理部１２からの撮影画像のデータを、ＪＰＥＧ、ＭＰＥＧなどの方式に従って圧縮するものである。画像圧縮部１５は、圧縮した撮影画像のデータを画像記録部１６に記録する。
【００３９】
画像記録部１６は、情報を記録するものであり、特に画像圧縮部１５が圧縮した撮影画像のデータを記録するものである。画像記録部１６は、フラッシュメモリ、ハードディスクなどの不揮発性の記憶装置によって構成される。
【００４０】
制御部２０は、デジタルカメラ１０内における各種構成の動作を統括的に制御する。制御部２０は、例えばＣＰＵ（Central Processing Unit）およびメモリを含むコンピュータによって構成される。そして、各種構成の動作制御は、制御プログラムをコンピュータに実行させることによって行われる。このプログラムは、例えばフラッシュメモリなどのリムーバブルメディアに記録されているものを読み込んで使用する形態であってもよいし、ハードディスクなどにインストールされたものを読み込んで使用する形態であってもよい。また、上記プログラムをダウンロードしてハードディスクなどにインストールして実行する形態なども考えられる。なお、制御部２０の詳細については後述する。
【００４１】
記憶部２１は、フラッシュメモリ、ＲＯＭ（Read Only Memory）などの不揮発性の記憶装置と、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置とによって構成されるものである。不揮発性の記憶装置に記憶される内容としては、上記した制御プログラム、ＯＳ（operating system）プログラム、その他の各種プログラム、画像処理部１２における動作設定値、入力された文字データなどが挙げられる。画像処理部１２における動作設定値としては、装置出荷時やメンテナンス時などに設定されるホワイトバランスの値、撮影画像の明暗などを調整する際の画像処理に関する各種パラメータ値などが挙げられる。一方、揮発性の記憶装置に記憶される内容としては、作業用ファイル、テンポラリファイルなどが挙げられる。なお、記憶部２１の詳細については後述する。
【００４２】
本実施形態では、制御部２０は、時系列順の複数の撮影画像からなる動画像に関して、上記撮影画像から顔画像を検出する顔検出機能と、検出された顔画像を、続く撮影画像から検出することにより、上記顔画像を追跡する顔追跡機能とを有している。なお、顔画像の検出には、テンプレートマッチングを利用したり、肌色領域を検出したり、顔の輪郭を検出したり、顔の特徴点を検出したりするなど、公知の顔検出技術を利用することができる。
【００４３】
図１には、制御部２０および記憶部２１において、顔検出機能および顔追跡機能に関連する構成が示されている。図示のように、制御部２０は、画像取得部（取得手段）２２、条件決定部（決定手段）２３、顔検出部（検出手段）２４、顔追跡部（追跡手段）２５、および位置情報出力部（出力手段）２６を備える構成である。また、記憶部２１は、条件記憶部２７および結果履歴記憶部２８を備える構成である。
【００４４】
条件記憶部２７は、上記顔画像を検出するための複数の検出条件（以下「顔検出の検出条件」と称する。）を予め記憶している。図２は、上記顔検出の検出条件の例を示している。なお、図示の矢印は、テンプレートのスキャン方向を示している。同図の（ａ）は、上記テンプレートマッチングで利用されるテンプレートであって、サイズが異なる複数のテンプレートを示している。また、同図の（ｂ）は、上記テンプレートに対し画像内の回転（ＲＩＰ（Rotation In Plane））を行った複数のテンプレートを示している。また、同図の（ｃ）は、上記テンプレートに対し観測方向の変化（ＲＯＰ（Rotation Off Plane））した複数のテンプレートを示している。
【００４５】
また、図２の（ｄ）は、顔検出の対象となる撮影画像において、上記テンプレートで検索を行う複数の検索範囲を示している。また、同図の（ｅ）は、特徴量の異なる複数のテンプレートを示している。その他の検出条件としては、顔検出を良好に行うための複数の画像フィルタ、テンプレートとの類似度を算出する複数の類似度算出方法などが挙げられる。
【００４６】
ところで、人は、１または数フレームといったごく短時間にさほど移動しないと考えられる。このことから、或る撮影画像で検出された顔画像は、続く撮影画像においても、前回検出された顔画像の位置付近に、前回の検出条件と同じまたは類似する検出条件で検出されることが予想される。従って、上記顔画像を追跡するための追跡条件は、上記顔画像を検出するための検出条件に含まれることになる。
【００４７】
結果履歴記憶部２８は、上記顔検出の検出結果および検出条件と、上記顔追跡の追跡結果および検出条件とを結果履歴として蓄積している。上記検出結果および上記追跡結果としては、検出された顔画像の検出日時、サイズ、位置情報などが挙げられる。
【００４８】
画像取得部２２は、画像処理部１２から撮影画像のデータを取得するものである。画像取得部２２は、上記撮影画像のデータを取得すると、その旨を条件決定部２３に通知すると共に、取得した上記撮影画像のデータを顔検出部２４および顔追跡部２５に送出する。
【００４９】
条件決定部２３は、画像取得部２２からの通知を受け取ると、結果履歴記憶部２８の検出条件を参照し、条件記憶部２７における複数の検出条件の中から、前回の検出条件とは異なる検出条件を決定するものである。本実施形態では、条件決定部２３は、撮影画像から全ての顔画像を検出するために必要とされる複数の検出条件を逐次決定している。条件決定部２３は、決定した検出条件を顔検出部２４に送出する。
【００５０】
また、条件決定部２３は、画像取得部２２からの通知を受け取ると、結果履歴記憶部２８における顔画像の検出履歴および追跡履歴に基づき、上記追跡条件を決定する。条件決定部２３は、決定した追跡条件を顔追跡部２５に送出する。なお、条件決定部２３は、上記追跡条件を決定するときに、条件記憶部２７における複数の検出条件を利用してもよい。
【００５１】
顔検出部２４は、画像取得部２２から撮影画像のデータを受け取ると、条件決定部２３からの検出条件に基づいて、当該撮影画像から顔画像を検出する。顔検出部２４は、検出結果を位置情報出力部２６に送出すると共に、上記検出結果および上記検出条件を結果履歴記憶部２８に蓄積する。なお、顔検出部２４が行う顔検出の具体的な処理は、従来と同様であるので、その説明を省略する。
【００５２】
顔追跡部２５は、画像取得部２２から撮影画像のデータを受け取ると、条件決定部２３からの追跡条件に基づいて、当該撮影画像から顔画像を追跡する。具体的には、顔追跡部２５は、条件決定部２３からの上記顔追跡に適した検出条件に基づいて、前回検出した顔画像を当該撮影画像から検出する。顔追跡部２５は、追跡結果を位置情報出力部２６に送出すると共に、上記追跡結果および上記追跡条件を結果履歴記憶部２８に蓄積する。なお、顔追跡部２５が行う顔追跡の具体的な処理は、従来と同様であるので、その説明を省略する。
【００５３】
位置情報出力部２６は、顔検出部２４からの検出結果に基づいて、検出された顔画像の位置情報を画像合成部１７に出力するものである。また、位置情報出力部２６は、顔追跡部２５からの追跡結果に基づいて、追跡された顔画像の位置情報を画像合成部１７に出力するものである。
【００５４】
なお、位置情報出力部２６が出力する顔画像の位置情報としては、撮影画像における顔画像の領域を特定できる情報であれば任意の情報を利用できる。上記顔画像の位置情報の例としては、上記顔画像の領域における中心座標および幅の組合せや、上記顔画像の領域の境界を示す矩形の４頂点の座標の組合せなどが挙げられる。
【００５５】
図３は、上記構成のデジタルカメラ１０における顔検出処理および顔追跡処理の処理動作を示している。図示のように、撮影部１１にて撮影された動画像における一撮影画像を画像取得部２２が取得すると、条件決定部２３は、結果履歴記憶部２８における結果履歴である顔画像の検出履歴および追跡履歴を参照し、検出された顔画像（検出済対象）が存在するか否かを判断する（ステップＳ１０。以下、単に「Ｓ１０」と記載することがある。他のステップについても同様である。）。存在しない場合、ステップＳ１５に進む。
【００５６】
検出済対象が存在する場合、条件決定部２３は、上記結果履歴から上記追跡条件を決定し（Ｓ１１）、決定された追跡条件で、顔追跡部２５は、検出された顔画像を追跡する（Ｓ１２）。次に、顔追跡部２５は、追跡結果および追跡条件を結果履歴記憶部２８に記憶する一方、位置情報出力部２６は、上記追跡結果に基づく顔画像の位置情報を画像合成部１７に出力する（Ｓ１３）。これにより、画像合成部１７は、顔追跡部２５が追跡した顔画像に関する枠画像を生成し、生成した枠画像と撮影画像とを合成して、表示部１３を介して表示出力する。
【００５７】
次に、条件決定部２３は、上記検出済対象を全て処理したか否かを判断する（Ｓ１４）。全て処理していない場合、ステップＳ１１に戻って上記処理動作を繰り返す。一方、全て処理している場合、ステップＳ１５に進む。
【００５８】
ステップＳ１５において、条件決定部２３は、結果履歴記憶部２８における検出条件を参照して、検出条件を前回の検出条件から変更する。次に、変更された検出条件で、顔検出部２４は、顔画像を検出する（Ｓ１６）。そして、顔検出部２４は、検出結果および検出条件を結果履歴記憶部２８に記憶する一方、位置情報出力部２６は、上記検出結果に基づく顔画像の位置情報を画像合成部１７に出力する（Ｓ１７）。これにより、画像合成部１７は、顔検出部２４が検出した顔画像に関する枠画像を生成し、生成した枠画像と撮影画像とを合成して、表示部１３を介して表示出力する。その後、処理動作を終了する。
【００５９】
図４は、上記合成画像の例を示している。同図の（ａ）は、本実施形態のデジタルカメラ１０において表示される合成画像の例を時系列的に示している。また、同図の（ｂ）は、比較例であり、従来のデジタルカメラにおいて表示される合成画像の例を時系列的に示している。なお、図示の例では、全ての顔検出を行うための検出条件の数は５つとしている。
【００６０】
本実施形態では、図４の（ａ）に示すように、１番目の撮影画像ａ１に対し、第１の検出条件で顔検出が行われて、検出された顔画像を囲む矩形の枠画像ｂ１が２番目の撮影画像ａ２に合成されて表示される。次に、２番目の撮影画像ａ２に対し、第１の検出条件とは異なる第２の検出条件で顔検出が行われて、検出された顔画像を囲む矩形の枠画像ｂ２が３番目の撮影画像ａ３に合成されて表示される。また、２番目の撮影画像ａ２に対し、枠画像ｂ１で囲まれた顔画像に適した追跡条件で顔追跡が行われて、追跡された顔画像を囲む矩形の枠画像ｃ１が３番目の撮影画像ａ３に合成されて表示される。
【００６１】
次に、３番目の撮影画像ａ３に対し、第１・第２の検出条件とは異なる第３の検出条件で顔検出が行われて、検出された顔画像を囲む矩形の枠画像ｂ３が４番目の撮影画像ａ４に合成されて表示される。また、３番目の撮影画像ａ３に対し、枠画像ｃ１・ｂ２で囲まれた２つの顔画像のそれぞれに適した追跡条件で顔追跡が行われて、追跡された顔画像を囲む矩形の枠画像ｃ１・ｃ２が４番目の撮影画像ａ４に合成されて表示される。
【００６２】
次に、４番目の撮影画像ａ４に対し、第１〜第３の検出条件とは異なる第４の検出条件で顔検出が行われて、検出された顔画像を囲む矩形の枠画像ｂ４が５番目の撮影画像ａ５に合成されて表示される。また、４番目の撮影画像ａ４に対し、枠画像ｃ１・ｃ２・ｂ３で囲まれた３つの顔画像のそれぞれに適した追跡条件で顔追跡が行われて、追跡された顔画像を囲む矩形の枠画像ｃ１〜ｃ３が５番目の撮影画像ａ５に合成されて表示される。
【００６３】
以下、これを繰り返すことにより、６番目の撮影画像ａ６と、５番目の撮影画像ａ５にて検出された顔画像を囲む矩形の枠画像ｂ５と、５番目の撮影画像ａ５にて追跡された顔画像を囲む矩形の枠画像ｃ１〜ｃ４とが合成されて表示されることになる。すなわち、６番目の合成画像に、全ての検出条件で顔検出が行われた結果の枠画像ｃ１〜ｃ４・ｂ５が表示されることになる。
【００６４】
一方、従来は、図４の（ｂ）に示すように、１番目の撮影画像ａ１に対し、第１〜第５の検出条件で順番に顔検出が行われ、該顔検出の終了後に、検出された全ての顔画像を囲む矩形の枠画像ｄ１〜ｄ５が撮影画像と合成されて表示される。このため、上記枠画像ｄ１〜ｄ５が表示されるまでに時間がかかることになる。図示の例では、１番目の撮影画像ａ１に対する顔検出による枠画像ｄ１〜ｄ５が、６番目の撮影画像ａ６と合成されて表示されることになる。
【００６５】
なお、図４では、撮影画像における各被写体の位置は、撮影画像ａ１〜ａ６間で同じとしているが、実際には被写体は動くので、撮影画像ａ１〜ａ６間で異なることが多く、時間の経過と共に、ずれが大きくなることが多い。
【００６６】
図４の（ａ）および（ｂ）を比較すると、本実施形態の方が、従来よりも、顔検出および顔追跡の結果を示す枠画像が、一部とはいえ迅速に表示開始されるので、顔画像の検出をユーザが待機する時間を短縮できることが理解できる。また、枠画像の数が徐々に増えていくので、枠画像の表示の様子が、従来技術に比べて滑らかとなる。また、顔検出および顔追跡の残りの結果を示す枠画像が逐次表示されるので、ユーザに新たな娯楽を提供できることが理解できる。
【００６７】
また、本実施形態では、図４の（ａ）に示すように、第２の検出条件での顔検出が、２番目の撮影画像ａ２に対し行われて、検出結果を示す枠画像ｂ２が次（３番目）の撮影画像ａ３と合成される。一方、従来技術では、図４の（ｂ）に示すように、第２の検出条件での顔検出が、１番目の撮影画像ａ１に対し行われて、検出結果を示す枠画像ｄ２が６番目の撮影画像ａ６と合成される。
【００６８】
従って、本実施形態の方が、従来よりも、顔検出の対象となる撮影画像の撮影時刻と、検出結果を示す枠画像が合成される撮影画像の撮影時刻との期間が短いので、枠画像と、該枠画像が合成される撮影画像における顔画像とのずれが小さくなることが理解できる。
【００６９】
また、本実施形態では、図４の（ａ）に示すように、６番目の撮影画像ａ６と合成される枠画像のうち、枠画像ｃ１〜ｃ４は、５番目までの撮影画像に対し、一度検出された後に追跡され続けた顔画像に関するものであり、枠画像ｂ５は、５番目までの撮影画像に対し検出された顔画像に関するものである。すなわち、本実施形態では、６番目の撮影画像ａ６と合成される枠画像は、直前（５番目）の撮影画像ａ５における顔画像に関するものである。一方、従来技術では、図４の（ｂ）に示すように、６番目の撮影画像ａ６と合成される枠画像ｄ１〜ｄ５の全ては、１番目の撮影画像ａ１に対し検出された顔画像に関するものである。
【００７０】
従って、本実施形態の方が、従来よりも、枠画像を生成する元になった撮影画像の撮影時刻と、当該枠画像が合成される撮影画像の撮影時刻との期間が短いので、枠画像と、該枠画像が合成される撮影画像における顔画像とのずれがさらに小さくなることが理解できる。
【００７１】
〔実施の形態２〕
次に、本発明の他の実施形態について図５〜図７を参照して説明する。図５は、本実施形態であるデジタルカメラの概略構成を示している。図示のデジタルカメラ１０は、図１に示すデジタルカメラ１０に比べて、条件決定部３０の機能が異なる点と、顔検出部２４および顔追跡部２５から位置情報出力部２６までの間に、結果補正部（補正手段）３１が追加されている点が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成および処理動作と同様の構成および処理動作には、同一の符号を付して、その説明を省略する。
【００７２】
図１に示す条件決定部２３は、全ての顔画像を検出するために必要とされる複数の検出条件を逐次決定していた。この場合、動画像に含まれる複数の撮影画像を取得することにより、上記複数の検出条件の全てについて、上記従来技術と同様に、顔画像の全検出結果を出力することができる。
【００７３】
これに対し、本実施形態の条件決定部３０は、結果履歴記憶部２８の検出結果の履歴に基づいて、検出条件を動的に変更して決定している。なお、動的に変更する条件の情報は、条件記憶部２７に記憶される。
【００７４】
例えば、図２の（ｃ）における左側の画像に示されるような、横向きの顔画像のテンプレートによる顔検出が所定期間に無い場合、該テンプレートを利用する検出条件での検出頻度を減らすことが挙げられる。これは、上記の場合では、被写体の顔がデジタルカメラ１０の方向を向いていると考えられるからである。
【００７５】
また、今まで顔画像が検出されていた撮影画像の領域から急に顔画像が検出されなくなった場合、当該顔画像の検出条件での検出頻度を増やすことが挙げられる。これは、上記の場合では、被写体がデジタルカメラ１０からフレームアウトしたか、或いは、被写体が振り返ったため、被写体の顔がデジタルカメラ１０と反対の方向を向いていると考えられ、再び当該顔画像が検出される可能性が高いからである。
【００７６】
このように、上記検出結果の履歴に基づいて、検出条件を動的に変更することにより、顔検出の効率を向上することができる。
【００７７】
以下に、上記検出結果の履歴に基づいて、検出条件を動的に変更する手法をまとめて記載する。第１の手法は、或る検出条件によるこれまでの検出回数に応じて、当該検出条件の利用頻度を変更することである。例えば、撮影画像の或る領域での検出回数が多い場合、当該領域を検出条件として利用する頻度を増加することが挙げられる。また、顔の或る向きの検出回数が少ない場合、当該向きのテンプレートを検出条件として利用する頻度を減少することが挙げられる。
【００７８】
第２の手法は、検出条件の組合せに応じて、検出条件の利用頻度および/または組合せを変更することである。例えば、撮影画像における右下の領域と左上の領域とに同時に顔画像を検出する回数が少ない場合、一方の領域で顔画像を検出すると、他方の領域を検出条件として利用する頻度を減少することが挙げられる。また、第１の方向の顔画像と、第１の方向から画像内で１８０°回転した第２の方向の顔画像とを同時に検出する可能性が低い場合、第１の方向の顔画像を検出すると、第２の方向を検出条件として利用する頻度を減少することが挙げられる。
【００７９】
また、例えば、撮影画像の中央領域で３０ピクセルの顔画像が多く、周縁領域で２０ピクセルの顔画像が多い場合のように、撮影画像における領域に応じて、検出される顔画像のサイズに傾向が存在する場合、顔画像のサイズを検出条件として利用する頻度を、領域に応じて変更することが挙げられる。
【００８０】
第３の手法は、検出条件の順番に規則性が存在する場合、当該規則性に基づいて検出条件の順番を変更することである。例えば、一度検出した顔画像のサイズが時間と共に小さくなる傾向がある場合、顔画像のサイズを大きい方から小さい方に順番に検出条件として利用することが挙げられる。また、一度検出した顔画像を見失うと、しばらくの間に同じ検出条件で再度現れることが予想される場合、しばらくの間上記検出条件を利用する頻度を増加することが挙げられる。
【００８１】
結果補正部３１は、顔検出部２４からの検出結果に基づいて、顔追跡部２５からの追跡結果を補正するものである。結果補正部３１は、補正した検出結果および追跡結果を位置情報出力部２６に送出する。
【００８２】
従来は、撮影画像から全ての顔画像を検出するために必要とされる複数の検出条件のそれぞれについて順番に顔画像を検出し、これらの複数の検出結果に基づき、検出結果を補正して、補正された検出結果を出力していた。例えば、撮影画像の或る領域に対し、サイズが２０画素である顔画像と、サイズが３０画素である顔画像との両方が検出された場合、平均値である２５画素をサイズとする顔画像に補正することが挙げられる。
【００８３】
これに対し、本実施形態では、撮影画像を取得すると、上記複数の検出条件の一部を決定し、決定された検出条件で顔画像を検出し、検出結果を出力している。このため、上記複数の検出条件の全てによる検出結果に基づいて、検出結果を補正する従来の場合に比べて、検出結果の精度が低下することになる。
【００８４】
そこで、本実施形態では、結果補正部３１は、上述のように、顔追跡部２５からの追跡結果を、顔検出部２４からの検出結果に基づいて補正している。なお、結果補正部３１は、さらに結果履歴記憶部２８の結果履歴に基づいて顔追跡部２５からの追跡結果を補正してもよい。
【００８５】
図７は、追跡結果の補正の一例を説明するためのものである。同図の（ａ）は、或る時点での合成画像を示している。図示のように、該合成画像は、或る時点での撮影画像ｅ１と、該時点の直前の撮影画像（図示せず）に対し、顔検出により検出された３０ピクセルの顔画像に対応する枠画像ｆ１とを含んでいる。同図の（ａ）に示す撮影画像ｅ１に対し、２０ピクセルのテンプレートを用いて顔検出部２４が顔検出を行ったところ、同図の（ｂ）に破線で示すように、２０ピクセルの顔画像ｇ１・ｇ２が２つ検出されたとする。このとき、枠画像ｆ１で囲まれた３０ピクセルの顔画像と、２０ピクセルの顔画像ｇ１とは、撮影画像における同じ様な領域で検出されるので、同一の顔であると考えられる。
【００８６】
そこで、図７の（ａ）に示す撮影画像ｅ１に対し、枠画像ｆ１で囲まれた顔画像に適した追跡条件で追跡された３０ピクセルの顔画像（図示せず）を、結果補正部３１が、３０ピクセルと２０ピクセルの平均である２５ピクセルの顔画像に補正し、補正結果を位置情報出力部２６に送出する。なお、上記領域とは別の領域で初めて検出された顔画像ｇ２は、補正されることなく位置情報出力部２６に送出される。
【００８７】
このとき、表示部１３に表示される合成画像を図７の（ｃ）に示す。図示のように、該構成画像は、次の撮影画像ｅ２と、撮影画像ｅ１に対し、顔検出により検出された２０ピクセルの顔画像に対応する枠画像ｆ２と、顔追跡により追跡されかつ補正された２５ピクセルの顔画像に対応する枠画像ｈ１とを含んでいる。同図の（ａ）および（ｃ）を比較すると、補正後の枠画像ｈ１は、補正前の枠画像ｆ１に比べて、サイズが実際の顔画像のサイズに近付いていることが理解できる。従って、顔画像の精度を徐々に向上させることができる。
【００８８】
以下に、検出結果に基づいて追跡結果を補正する手法をまとめて記載する。第１の手法は、同じ被写体と推測される顔画像を複数の検出条件で検出した場合、検出結果の平均で追跡結果を補正する手法である。例えば、撮影画像のほぼ同じ領域での顔画像の検出回数が所定のフレーム数に達した場合、検出した顔画像のサイズの平均値で、追跡結果における顔画像のサイズを補正したり、検出した顔画像の方向の平均値で、追跡結果における顔画像の方向を補正したりすることが挙げられる。また、同じ被写体と推測される顔画像の移動軌跡が滑らかとなるように、追跡結果における顔画像の追跡位置を補正することが挙げられる。
【００８９】
また、同じ被写体と推測される顔画像を複数の検出条件で検出した場合、適切な方の検出条件の検出結果を優先して追跡結果を補正する手法である。例えば、画像フィルタの検出条件を変更することで検出数が減った場合、前の検出条件の検出結果の方がより適切であるとして、その検出結果に重きをおいた加重平均を算出し、算出結果に基づいて追跡結果を補正することが挙げられる。
【００９０】
図６は、上記構成のデジタルカメラ１０における顔検出処理および顔追跡処理の処理動作を示している。図示のように、撮影部１１にて撮影された動画像における一撮影画像を画像取得部２２が取得すると、条件決定部３０は、結果履歴記憶部２８における結果履歴を参照し、検出済対象が存在するか否かを判断する（Ｓ１０）。存在しない場合、ステップＳ２１に進む。
【００９１】
検出済対象が存在する場合、条件決定部３０は、上記結果履歴から上記追跡条件を決定し（Ｓ１１）、決定された追跡条件で、顔追跡部２５は、検出された顔画像を追跡する（Ｓ１２）。次に、顔追跡部２５は、追跡結果および追跡条件を結果履歴記憶部２８に記憶する（Ｓ２０）。
【００９２】
次に、条件決定部３０は、上記検出済対象を全て処理したか否かを判断する（Ｓ１４）。全て処理していない場合、ステップＳ１１に戻って上記処理動作を繰り返す。一方、全て処理している場合、ステップＳ２１に進む。
【００９３】
ステップＳ２１において、条件決定部３０は、結果履歴記憶部２８における検出条件を参照して、検出条件を前回の検出条件から変更する。このとき、条件決定部３０は、さらに、結果履歴記憶部２８における検出結果の履歴を考慮して検出条件を変更する。
【００９４】
次に、変更された検出条件で、顔検出部２４は、顔画像を検出する（Ｓ１６）。そして、顔検出部２４は、検出結果および検出条件を結果履歴記憶部２８に記憶する（Ｓ２２）。
【００９５】
次に、結果補正部３１は、ステップＳ１６による検出結果に基づいて、ステップＳ１２による追跡結果を補正する（Ｓ２３）。そして、位置情報出力部２６は、上記検出結果に基づく顔画像の位置情報と、補正された追跡結果に基づく顔画像の位置情報とを画像合成部１７に出力する（Ｓ２４）。これにより、画像合成部１７は、顔検出部２４が検出した顔画像に関する枠画像と、顔追跡部２５が追跡し、結果補正部３１が補正した顔画像に関する枠画像とを生成し、生成した枠画像と撮影画像とを合成して、表示部１３を介して表示出力する。その後、処理動作を終了する。
【００９６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００９７】
例えば、上記実施形態では、顔検出および顔追跡に関する各構成２２〜２８・３０・３１を制御部２０に設けているが、画像処理部１２に設けることもできる。また、上記実施形態では、検出結果および追跡結果を枠画像として表示出力しているが、検出結果および追跡結果に基づいて、フォーカス調整やピント調整などの撮影部１１の制御を行うこともできる。
【００９８】
また、上記実施形態では、撮影画像から人の顔画像を検出して追跡している。しかしながら、アニメーションその他の動画像にも適用可能である。また、人の上半身や全身の画像を検出してもよいし、ボール、車両、運搬される荷物その他の動く物体の画像を検出してもよい。さらには、静止した物体であっても、デジタルカメラ１０を動かせば、撮影画像上では移動することになるので、適用可能である。すなわち、本発明は、取得した時系列画像上で移動する物体の画像の検出に適用可能である。
【００９９】
また、上記実施形態では、本発明をデジタルカメラ１０に適用しているが、カメラ付き携帯電話機など、撮影部を有する任意の電子機器に本発明を適用可能である。さらに、動画像を取得して画像処理を行う画像処理デバイスにも適用可能である。このような画像処理デバイスは、デジタルカメラ１０だけでなく、プリンタにも適用されることが予想される。
【０１００】
最後に、デジタルカメラ１０の各ブロック、特に制御部２０および画像処理部１２は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１０１】
すなわち、デジタルカメラ１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカメラ１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記デジタルカメラ１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１０２】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１０３】
また、デジタルカメラ１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１０４】
〔付記事項〕
本発明に係る対象画像検出デバイスは、元画像の中から対象画像を検出する対象画像検出デバイスであって、上記課題を解決するために、前記元画像を取得する取得手段と、前記対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定する決定手段と、前記取得手段が取得した元画像に対し、前記決定手段が決定した検出条件で、前記対象画像を検出する検出手段と、該検出手段が検出した検出結果を出力する出力手段とを備えることを特徴としている。
【０１０５】
また、本発明に係る対象画像検出デバイスの制御方法は、元画像の中から対象画像を検出するものであって、上記課題を解決するために、前記元画像を取得する取得ステップと、前記対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定する決定ステップと、前記取得ステップにて取得された元画像に対し、前記決定手段が決定した検出条件で、前記対象画像を検出する検出ステップと、該検出ステップにて検出された検出結果を出力する出力ステップとを含むことを特徴としている。
【０１０６】
ここで、検出される対象の例としては、人の顔、上半身、および全身、ボール、車両など、移動する物体またはその一部が挙げられる。
【０１０７】
上記の構成および方法によると、元画像を取得すると、対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる検出条件で、取得された元画像に対して対象画像を検出して、検出結果を出力する。従って、或る元画像に対して、対象画像を検出するための複数の検出条件で対象画像をそれぞれ検出し、全検出結果を一斉に出力する従来技術に比べて、対象画像の一部の検出結果ではあるが、該検出結果を短時間で出力することができる。その結果、出力された検出結果を他のデバイス（例えば表示を制御するデバイス、撮影を制御するデバイスなど）が迅速に利用することができる。
【０１０８】
本発明に係る対象画像検出デバイスでは、前記検出手段が検出した検出結果の履歴を記憶する結果履歴記憶部をさらに備えており、前記決定手段は、さらに、前記結果履歴記憶部における検出結果の履歴に基づいて、検出条件を決定してもよい。或いは、本発明に係る対象画像検出デバイスでは、前記決定手段は、前記対象画像を検出するための複数の検出条件の中から、検出条件を逐次決定してもよい。
【０１０９】
逐次決定する場合、上記複数の検出条件の全てについて、上記従来技術と同様に、対象画像の全検出結果を出力することができる。さらに、元画像が、動画像に含まれる複数の静止画像であり、上記従来技術において或る静止画像の全検出結果が出力されるまでに、後に続く静止画像が取得される場合、本発明では、上記後に続く静止画像に対する検出結果を出力できるので、従来よりも新しい静止画像に対する検出結果を含むことができる。
【０１１０】
一方、検出結果の履歴に基づいて検出条件を決定する場合、例えば、対象画像を検出する可能性の高い検出条件は、検出条件として決定される頻度を多くする一方、対象画像を検出する可能性の低い検出条件は、検出条件として決定される頻度を少なくすることなどが考えられる。従って、対象画像を検出する効率が向上する。
【０１１１】
ところで、検出対象は上記移動する物体などであるため、元画像が動画像に含まれる複数の静止画像である場合、対象画像の位置は、時間の経過と共に検出位置からずれる虞がある。
【０１１２】
そこで、本発明に係る対象画像検出デバイスでは、前記取得手段は、動画像に含まれる複数の静止画像を前記元画像として取得しており、前記取得手段が取得した或る時点の元画像に対し、前記検出手段が検出した前記対象画像を、前記時点より後の時点の元画像にて追跡する追跡手段をさらに備えており、前記出力手段は、前記追跡手段が追跡した追跡結果をさらに出力することが好ましい。
【０１１３】
この場合、一度検出した対象画像を追跡して、追跡結果を出力するので、上記問題点を回避することができる。なお、追跡手段は、追跡条件に基づいて対象画像を追跡してもよい。さらに、上記追跡条件は、上記検出条件から取得してもよい。
【０１１４】
ところで、本発明では、一部の検出条件で対象画像を検出して、検出結果を出力するので、全ての検出条件で対象画像を検出した後に検出結果を出力する従来技術に比べて、検出結果の精度が低い場合が存在する。
【０１１５】
そこで、本発明に係る対象画像検出デバイスでは、前記追跡手段が追跡した追跡結果を、前記検出手段が検出した検出結果に基づいて補正する補正手段をさらに備えており、前記出力手段は、前記追跡手段が追跡した追跡結果に代えて、前記補正手段が補正した追跡結果を出力することが好ましい。
【０１１６】
この場合、別の検出条件での検出結果を追跡結果に反映させることができるので、検出結果の精度を徐々に向上させることができる。なお、上記補正手段は、さらに検出結果の履歴に基づいて補正してもよい。
【０１１７】
なお、上記構成の対象画像検出デバイスを備えた電子機器でも、上述の作用効果を奏することができる。
【０１１８】
さらに、上記電子機器では、情報を表示する表示部と、前記対象画像検出デバイスが検出した検出結果を示す画像を、前記元画像に合成して前記表示部に表示させる画像合成手段とをさらに備えてもよい。この場合、一部ではあるが、検出結果を示す画像の表示開始を迅速に行うことができ、その後に残りの検出結果を示す画像を逐次表示することができる。その結果、全ての検出結果を示す画像を一斉に表示する従来技術に比べて、対象画像の検出をユーザが待機する時間を短縮することができる。また、検出結果を示す画像が逐次表示されるので、ユーザに新たな娯楽を提供することができる。さらに、残りの検出結果は、最初の検出が行われた元画像よりも後の元画像に対するものであるので、当該検出結果を示す画像と、現在表示されている元画像に対して対象画像を検出した場合の検出結果を示す画像とのずれを抑えることができる。
【産業上の利用可能性】
【０１１９】
以上のように、本発明に係るデジタルカメラは、撮影画像を取得すると、前回の検出条件とは異なる検出条件で、取得された撮影画像に対し顔画像を検出することにより、一部ではあるが検出結果を短時間で出力できるので、カメラ付き携帯電話機以外にも、プリンタなどのように、元画像から対象画像を検出する任意の電子機器に適用することができる。
【符号の説明】
【０１２０】
１０ デジタルカメラ（電子機器）
１１ 撮影部
１２ 画像処理部
１３ 表示部
１４ 操作部
１５ 画像圧縮部
１６ 画像記録部
１７ 画像合成部（画像合成手段）
２０ 制御部（対象画像検出デバイス）
２１ 記憶部
２２ 画像取得部（取得手段）
２３・３０ 条件決定部（決定手段）
２４ 顔検出部（検出手段）
２５ 顔追跡部（追跡手段）
２６ 位置情報出力部（出力手段）
２７ 条件記憶部
２８ 結果履歴記憶部
３１ 結果補正部（補正手段）
【特許請求の範囲】
【請求項１】
元画像の中から対象画像を検出する対象画像検出デバイスであって、
前記元画像を取得する取得手段と、
前記対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる第１の検出条件に決定する決定手段と、
前記取得手段が取得した第１の元画像から、前記決定手段が決定した第１の検出条件で前記対象画像を検出する検出手段と、
前記検出手段が検出した対象画像を特定可能な情報を、前記第１の元画像に続く第２の元画像に出力する出力手段とを備え、
前記決定手段は、或る検出条件と前記検出手段が該検出条件で前記対象画像を検出したか否かを示す検出結果との対応付けの履歴に基づいて、前記第１の検出条件とは異なる第２の検出条件をさらに決定することを特徴とする対象画像検出デバイス。
【請求項２】
前記検出手段は、前記第２の元画像から前記決定手段が決定した第２の検出条件で前記対象画像をさらに検出し、
前記出力手段は、前記検出手段が検出した対象画像を特定可能な情報を、前記第２の元画像に続く第３の元画像にさらに出力することを特徴とする請求項１に記載の対象画像検出デバイス。
【請求項３】
前記検出条件が検出した対象画像を、当該対象画像を含む元画像に続く元画像にて追跡する追跡手段をさらに備えたことを特徴とする請求項１または２に記載の対象画像検出デバイス。
【請求項４】
前記追跡手段は、前記第１の検出条件に含まれる追跡条件で、前記第２の元画像にて前記対象画像を追跡し、
前記出力手段は、前記追跡手段が追跡した対象画像を特定可能な情報を、前記第２の元画像に続く第３の元画像にさらに出力することを特徴とする請求項３に記載の対象画像検出デバイス。
【請求項５】
前記対応付けの履歴に基づいて、前記追跡手段が追跡した追跡結果を補正する補正手段をさらに備え、
前記出力手段は、前記補正手段が補正した追跡結果を、前記追跡手段が追跡した対象画像を特定可能な情報として、前記第２の元画像に続く第３の元画像にさらに出力することを特徴とする請求項３または４に記載の対象画像検出デバイス。
【請求項６】
前記補正手段は、前記検出結果に対応付けられた検出条件に含まれる数値の平均で、前記追跡手段が追跡した追跡結果を補正することを特徴とする請求項５に記載の対象画像検出デバイス。
【請求項７】
前記補正手段は、前記検出条件を変更することで前記対象画像を検出したことを示す検出結果の検出数が減少した場合、減少する前の検出条件を優先して適用することによって、前記追跡手段が追跡した追跡結果を補正することを特徴とする請求項５または６に記載の対象画像検出デバイス。
【請求項８】
前記決定手段は、或る検出条件によるこれまでの検出回数に応じて当該検出条件の利用頻度を変更し、変更した利用頻度に基づいて、前記複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定することを特徴とする請求項１から７の何れか１項に記載の対象画像検出デバイス。
【請求項９】
前記決定手段は、前記対象画像を検出するための複数の検出条件の組み合わせに応じて、前記複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定することを特徴とする請求項１から８の何れか１項に記載の対象画像検出デバイス。
【請求項１０】
前記決定手段は、所定の規則性に基づいて前記対象画像を検出するための複数の検出条件の順番を変更することによって、前記複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定することを特徴とする請求項１から９の何れか１項に記載の対象画像検出デバイス。
【請求項１１】
或る検出条件と前記検出手段が該検出条件で前記対象画像を検出したか否かを示す検出結果との対応付けの履歴を記憶する結果履歴記憶部をさらに備えたことを特徴とする請求項１から１０の何れか１項に記載の対象画像検出デバイス。
【請求項１２】
前記決定手段は、前記対象画像を検出するための複数の検出条件の中から、検出条件を逐次決定することを特徴とする請求項１から１１の何れか１項に記載の対象画像検出デバイス。
【請求項１３】
前記取得手段は、動画像に含まれる複数の静止画像を前記元画像として取得することを特徴とする請求項１から１２の何れか１項に記載の対象画像検出デバイス。
【請求項１４】
請求項１から１３までの何れか１項に記載の対象画像検出デバイスを備えた電子機器。
【請求項１５】
情報を表示する表示部と、
前記対象画像検出デバイスが検出した検出結果を示す画像を、前記元画像に合成して前記表示部に表示させる画像合成手段とをさらに備えたことを特徴とする請求項１４に記載の電子機器。
【請求項１６】
請求項１から１３までの何れか１項に記載の対象画像検出デバイスを動作させるための制御プログラムであって、コンピュータを前記各手段として機能させるための制御プログラム。
【請求項１７】
請求項１６に記載の制御プログラムが記録されたコンピュータ読取り可能な記録媒体。
【請求項１８】
元画像の中から対象画像を検出する対象画像検出デバイスの制御方法であって、
前記元画像を取得する取得ステップと、
前記対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる第１の検出条件に決定する決定ステップと、
前記取得ステップにおいて取得された第１の元画像から、前記決定ステップにおいて決定された第１の検出条件で前記対象画像を検出する検出ステップと、
前記検出ステップにおいて検出された対象画像を特定可能な情報を、前記第１の元画像に続く第２の元画像に出力する出力ステップとを含み、
前記決定ステップでは、或る検出条件と前記検出ステップにおいて該検出条件で前記対象画像が検出されたか否かを示す検出結果との対応付けの履歴に基づいて、前記第１の検出条件とは異なる第２の検出条件をさらに決定することを特徴とする対象画像検出デバイスの制御方法。
【請求項１】
元画像の中から対象画像を検出する対象画像検出デバイスであって、
前記元画像を取得する取得手段と、
前記対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる第１の検出条件に決定する決定手段と、
前記取得手段が取得した第１の元画像から、前記決定手段が決定した第１の検出条件で前記対象画像を検出する検出手段と、
前記検出手段が検出した対象画像を特定可能な情報を、前記第１の元画像に続く第２の元画像に出力する出力手段とを備え、
前記決定手段は、或る検出条件と前記検出手段が該検出条件で前記対象画像を検出したか否かを示す検出結果との対応付けの履歴に基づいて、前記第１の検出条件とは異なる第２の検出条件をさらに決定することを特徴とする対象画像検出デバイス。
【請求項２】
前記検出手段は、前記第２の元画像から前記決定手段が決定した第２の検出条件で前記対象画像をさらに検出し、
前記出力手段は、前記検出手段が検出した対象画像を特定可能な情報を、前記第２の元画像に続く第３の元画像にさらに出力することを特徴とする請求項１に記載の対象画像検出デバイス。
【請求項３】
前記検出条件が検出した対象画像を、当該対象画像を含む元画像に続く元画像にて追跡する追跡手段をさらに備えたことを特徴とする請求項１または２に記載の対象画像検出デバイス。
【請求項４】
前記追跡手段は、前記第１の検出条件に含まれる追跡条件で、前記第２の元画像にて前記対象画像を追跡し、
前記出力手段は、前記追跡手段が追跡した対象画像を特定可能な情報を、前記第２の元画像に続く第３の元画像にさらに出力することを特徴とする請求項３に記載の対象画像検出デバイス。
【請求項５】
前記対応付けの履歴に基づいて、前記追跡手段が追跡した追跡結果を補正する補正手段をさらに備え、
前記出力手段は、前記補正手段が補正した追跡結果を、前記追跡手段が追跡した対象画像を特定可能な情報として、前記第２の元画像に続く第３の元画像にさらに出力することを特徴とする請求項３または４に記載の対象画像検出デバイス。
【請求項６】
前記補正手段は、前記検出結果に対応付けられた検出条件に含まれる数値の平均で、前記追跡手段が追跡した追跡結果を補正することを特徴とする請求項５に記載の対象画像検出デバイス。
【請求項７】
前記補正手段は、前記検出条件を変更することで前記対象画像を検出したことを示す検出結果の検出数が減少した場合、減少する前の検出条件を優先して適用することによって、前記追跡手段が追跡した追跡結果を補正することを特徴とする請求項５または６に記載の対象画像検出デバイス。
【請求項８】
前記決定手段は、或る検出条件によるこれまでの検出回数に応じて当該検出条件の利用頻度を変更し、変更した利用頻度に基づいて、前記複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定することを特徴とする請求項１から７の何れか１項に記載の対象画像検出デバイス。
【請求項９】
前記決定手段は、前記対象画像を検出するための複数の検出条件の組み合わせに応じて、前記複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定することを特徴とする請求項１から８の何れか１項に記載の対象画像検出デバイス。
【請求項１０】
前記決定手段は、所定の規則性に基づいて前記対象画像を検出するための複数の検出条件の順番を変更することによって、前記複数の検出条件のうち、前回の検出条件とは異なる検出条件に決定することを特徴とする請求項１から９の何れか１項に記載の対象画像検出デバイス。
【請求項１１】
或る検出条件と前記検出手段が該検出条件で前記対象画像を検出したか否かを示す検出結果との対応付けの履歴を記憶する結果履歴記憶部をさらに備えたことを特徴とする請求項１から１０の何れか１項に記載の対象画像検出デバイス。
【請求項１２】
前記決定手段は、前記対象画像を検出するための複数の検出条件の中から、検出条件を逐次決定することを特徴とする請求項１から１１の何れか１項に記載の対象画像検出デバイス。
【請求項１３】
前記取得手段は、動画像に含まれる複数の静止画像を前記元画像として取得することを特徴とする請求項１から１２の何れか１項に記載の対象画像検出デバイス。
【請求項１４】
請求項１から１３までの何れか１項に記載の対象画像検出デバイスを備えた電子機器。
【請求項１５】
情報を表示する表示部と、
前記対象画像検出デバイスが検出した検出結果を示す画像を、前記元画像に合成して前記表示部に表示させる画像合成手段とをさらに備えたことを特徴とする請求項１４に記載の電子機器。
【請求項１６】
請求項１から１３までの何れか１項に記載の対象画像検出デバイスを動作させるための制御プログラムであって、コンピュータを前記各手段として機能させるための制御プログラム。
【請求項１７】
請求項１６に記載の制御プログラムが記録されたコンピュータ読取り可能な記録媒体。
【請求項１８】
元画像の中から対象画像を検出する対象画像検出デバイスの制御方法であって、
前記元画像を取得する取得ステップと、
前記対象画像を検出するための複数の検出条件のうち、前回の検出条件とは異なる第１の検出条件に決定する決定ステップと、
前記取得ステップにおいて取得された第１の元画像から、前記決定ステップにおいて決定された第１の検出条件で前記対象画像を検出する検出ステップと、
前記検出ステップにおいて検出された対象画像を特定可能な情報を、前記第１の元画像に続く第２の元画像に出力する出力ステップとを含み、
前記決定ステップでは、或る検出条件と前記検出ステップにおいて該検出条件で前記対象画像が検出されたか否かを示す検出結果との対応付けの履歴に基づいて、前記第１の検出条件とは異なる第２の検出条件をさらに決定することを特徴とする対象画像検出デバイスの制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−４２５１４（Ｐ２０１３−４２５１４Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１２−２０８５４４（Ｐ２０１２−２０８５４４）
【出願日】平成２４年９月２１日（２０１２．９．２１）
【分割の表示】特願２００８−６６７７５（Ｐ２００８−６６７７５）の分割
【原出願日】平成２０年３月１４日（２００８．３．１４）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２４年９月２１日（２０１２．９．２１）
【分割の表示】特願２００８−６６７７５（Ｐ２００８−６６７７５）の分割
【原出願日】平成２０年３月１４日（２００８．３．１４）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]