映像シーン情報生成装置
【課題】 個人認識技術を利用し、シーン毎の登場人物を特定した映像シーン情報を作成する場合、それぞれ重要度の高い人物を特定し、さらに不必要な登場人物データを除くことができる映像シーン情報生成装置を提供する。
【解決手段】 撮影した映像信号を出力するカメラ部１１、映像信号を個人認証処理用に一時記憶させる映像メモリ処理部１２、範囲パターン中で画面分割された領域の重要度の下限設定を行う重要度下限設定処理部１３、個人認証をする範囲パターンを設定する範囲パターン設定処理部１４、顔認証など映像から個人を特定する個人認証処理部１５、シーン毎に認証した人物データを重要度別にランク付けして映像シーン情報を生成する映像シーン情報生成処理部１６を備え、シーン毎に重要な役割を果たしている人物に絞った個人認証を行うことで、不要な人物データを除いた映像シーン情報を作成することができる。
【解決手段】 撮影した映像信号を出力するカメラ部１１、映像信号を個人認証処理用に一時記憶させる映像メモリ処理部１２、範囲パターン中で画面分割された領域の重要度の下限設定を行う重要度下限設定処理部１３、個人認証をする範囲パターンを設定する範囲パターン設定処理部１４、顔認証など映像から個人を特定する個人認証処理部１５、シーン毎に認証した人物データを重要度別にランク付けして映像シーン情報を生成する映像シーン情報生成処理部１６を備え、シーン毎に重要な役割を果たしている人物に絞った個人認証を行うことで、不要な人物データを除いた映像シーン情報を作成することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像シーン毎の登場人物を個人認証により特定し、映像シーン情報を作成する機能を有する映像シーン情報生成装置に関する。
【背景技術】
【０００２】
各種の映像を撮影した映像コンテンツをアップロードし、視聴できるようにしたコンテンツアーカイブシステムが知られている。このコンテンツアーカイブシステムでは、コンテンツ検索やシーン検索、または将来実施が予定されているサーバ型放送でのダイジェスト視聴等で利用が想定される映像シーン情報（各シーンの説明やシーンの開始終了時刻など）などを作成する場合、例えば画像処理により取り込まれた映像内の人物を認識して映像シーン情報などを手動で作成する場合、手間と時間がかかる。そこで、この映像シーン情報などを、個人認識技術を利用することで、自動的に形成することができる映像シーン情報生成装置が知られている（例えば、特許文献１参照）。
【０００３】
例えば図１８に示すように、この映像シーン情報生成装置１００は、カメラ部１０１、映像メモリ処理部１０２、個人認証処理部１０３、映像シーン情報生成処理部１０４で構成されており、カメラ部１０１から映像信号を取得し、映像メモリ処理部１０２で映像データを一時保持し、個人認証処理部１０３で、一時保持した映像データから、例えば顔認識技術を利用して個人を特定し、映像シーン情報生成処理部１０４で映像のシーン毎の登場人物の情報を生成し、メタデータ等として出力する。このメタデータとは、例えば画像ファイルに含まれる単に生の画像データだけでなく、そのファイルの映像に関する説明などを記述した付加的なデータのことをいう。
【特許文献１】特開２００４−６２８６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の映像シーン情報生成装置では、画面内に登場するすべての人物を個人認識するため、登場人物が多い場合、シーン毎にどの人物が重要な役割を果たしているか認識できないという問題が生じている。また、個人認証の不必要な人物まで認識しようとするため、不必要な登場人物のデータを作成し、その分処理時間がかかるという問題もあった。
【０００５】
本発明は、上記した事情に鑑みてなされたもので、シーン毎に重要度の高い順に人物の特定とランク付けすることができるとともに、不必要な登場人物のデータはカットすることができる映像シーン情報生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の映像シーン情報生成装置は、各映像シーンでの登場人物情報を個人認証により生成する映像シーン情報生成装置であって、カメラ部、映像メモリ処理部、重要度下限設定処理部、範囲パターン設定処理部、個人認証処理部、映像シーン情報生成処理部を備え、前記カメラ部は、映像信号を出力し、前記範囲パターン設定処理部は、前記各映像シーンでの登場人物のうち重要な役割を果す登場人物が映る画面領域を最重要範囲として画面全体を重要度別に領域分割した範囲パターンを予め複数用意しておき、その中から撮影者が撮影シーン毎に最適な範囲パターンを選択し、前記重要度下限設定処理部は、個人認証する画面領域を限定するために選択した前記範囲パターンの重要度の中で最低とする重要度を指定し、前記個人認証処理部は、前記最重要度から前記指定した重要度までの前記範囲パターン内の画面領域で個人認証を行い、前記映像シーン情報生成処理部は、前記範囲パターンで指定した各重要度の画面領域内に映っている登場人物の情報とその登場人物の重要度とをランク付けしたデータを生成し各映像シーンで重要な役割を担っている登場人物に絞った情報生成を行うとともに、前記映像シーンの時刻情報と併せて映像シーン情報として生成する構成を有している。この構成により、カメラ部から入力された映像信号をもとに、範囲パターン設定処理部では、各シーンで重要な役割を担う登場人物が映っている画面領域を最重要範囲として画面全体を重要度別に領域分割した範囲パターンを予め複数用意し、その中から撮影者が撮影シーン毎に最適な範囲パターンを選択する。さらに、重要度下限設定処理部では、個人認証する画面領域を限定するために、選択した範囲パターンの重要度の中で最低とする重要度を指定し、個人認証処理部では最重要度から指定重要度までの範囲内の画面領域で個人認証を行う。さらに、映像シーン情報生成処理部では、範囲パターンで指定した各重要度の画面領域内に映っている登場人物の情報と、その重要度値を紐付けてランク付けしたデータ生成することで、各映像シーンで重要な役割を担っている登場人物に絞った情報生成を行い、さらにシーン時刻（認識した人物の登場時刻・期間）の情報等と併せ、映像シーン情報として生成することができる。
【０００７】
また、本発明の映像シーン情報生成装置は、前記カメラ部、前記映像メモリ処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、ズーム情報取得処理部、第１の重要度下限判定処理部及び被写体距離取得処理部を備え、前記ズーム情報取得処理部は、前記カメラ部からレンズの画角情報を取得し、前記被写体距離取得処理部は、被写体までの距離情報を取得し、前記第１の重要度下限判定処理部は、前記被写体がほぼ一定の距離のままズームアップして画角を変えるとき、前記画角に合わせて個人認証する画面範囲を自動で限定する構成を有している。この構成により、ズーム情報取得処理部ではカメラ部からレンズの画角情報を常に取得し、被写体距離取得処理部では被写体までの距離情報を常に取得し、重要度下限判定処理部では、被写体がほぼ一定の距離でズームアップし画角を変えるとき、画角が狭くなるにつれ画面中央部にいる登場人物がクローズアップされ重要度が上がることが多い。このため、それに合わせ範囲パターン設定処理部で設定されている重要度の中で画面中央付近のみ個人認証するように狭める重要度下限の自動設定を行うことで、画角に合わせて個人認証する画面範囲を自動で限定し映像シーン情報を生成することができる。
【０００８】
さらに、本発明の映像シーン情報生成装置は、前記カメラ部、前記映像メモリ処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、カメラ台座情報取得処理部及び第２の重要度下限判定処理部を備え、前記カメラ台座情報取得処理部は、位置検出による単位時間当たりのカメラ移動量と、雲台の単位時間当たりのカメラ回転量とを検出し、前記第２の重要度下限判定処理部は、前記カメラ移動量及び前記カメラ回転量の変化量が多くなるにつれ、前記範囲パターン中の検索範囲を前記画面中央付近のみ個人認証するように自動設定を行い、単位時間当たりの前記カメラ移動量及び前記カメラ回転量に合わせて個人認証する画面範囲を自動で限定する構成を有している。この構成により、カメラ台座情報取得処理部では、カメラ台座のタイヤ回転量や赤外線などを利用した位置検出による単位時間当たりのカメラ移動量や、ロータリーエンコーダーなどによる雲台の単位時間当たりのカメラ回転量を検出する。ここで、前記カメラ移動量やカメラ回転量の単位時間当たりの変化量が多い時は、撮影者が被写体を追っている場合が多く、また被写体は、映像中央付近に映されることが多い。このため、重要度下限判定処理部では、変化量が多くなるにつれ範囲パターン設定処理部で設定した範囲パターン中の検索範囲の重要度下限設定を映像中央付近のみ個人認証するように自動設定を行うことで、単位時間当たりのカメラ移動量やカメラ回転量に合わせて個人認証する画面範囲を自動で限定し、映像シーン情報を生成することができる。
【０００９】
さらに、本発明の映像シーン情報生成装置は、前記カメラ部、前記映像メモリ処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、ズーム情報取得処理部、カメラ台座情報取得処理部、被写体距離取得処理部、第３の重要度下限判定処理部及び被写体距離取得処理部を備え、前記ズーム情報取得処理部は、ズーム情報を取得するとともに、前記被写体距離取得処理部は、被写体距離に関する情報を取得し、前記カメラ台座情報取得処理部は、前記カメラ移動量及び前記カメラ回転量に関するカメラ台座情報を取得し、前記第３の重要度下限判定処理部は、前記ズーム情報と前記被写体距離から画角を取得するとともに、前記カメラ台座情報からカメラ移動やカメラ回転の変化量を取得し、画角と変化量のパラメータのマトリクスに合わせて個人認証する画面範囲を自動で限定する構成を有している。この構成により、前述のズーム情報取得処理部、被写体距離取得処理部、及びカメラ台座情報取得処理部では、前述の場合と同様の方法で各情報を取得するとともに、重要度下限判定処理部では、ズーム情報と被写体距離から画角を取得する。即ち、カメラ台座情報からカメラ移動やカメラ回転の変化量を取得する一方、画角とその変化量のパラメータのマトリクスに合わせ、範囲パターン設定処理部で設定した重要度の中で下限設定を自動で行うことで、画角と変化量にあわせ個人認証する画面範囲を自動で限定し、映像シーン情報を生成することができる。
【００１０】
さらに、本発明の映像シーン情報生成装置は、前記カメラ部、前記映像メモリ処理部、前記重要度下限設定処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、設定確認処理部を備え、前記カメラ部、前記映像メモリ処理部、前記設定確認処理部、前記重要度下限設定処理部及び前記範囲パターン設定処理部は一体化したカメラ撮影装置としてまとめて構成し、前記カメラ撮影装置のビューファインダー又はモニター上の映像に、前記範囲パターンを重ねて表示し、前記個人認証処理部は、前記ビューファインダー又は前記モニター上の前記範囲パターンの種類、位置、各重要度範囲の幅を確認しながら、個人認証を行う構成を有している。この構成により、カメラ部、映像メモリ処理部、設定確認処理部、重要度下限設定部及び範囲パターン設定処理部を一体化したカメラ撮影装置を形成し、カメラのビューファインダーやモニター上の映像に、設定する範囲パターンと重ねて表示させることで、撮影者の意図で範囲パターン種類や位置、各重要度範囲の幅を撮影状況に合わせ確認しながら調節し、個人認証処理部で個人認証を行い、映像シーン情報を生成することができる。
【００１１】
さらに、本発明の映像シーン情報生成装置は、前記ズーム情報取得処理部はレンズ焦点距離を取得するとともに、前記被写体距離取得処理部は被写体距離を取得し、前記範囲パターン設定処理部は、前記被写体の結像サイズを計算し、前記レンズ焦点距離、前記被写体距離、前記結像サイズにより、範囲パターン中の各重要度範囲の幅設定を自動で行い、前記個人認証処理部は個人認証を行う構成を有している。この構成により、ズーム情報取得処理部からレンズ焦点距離を取得し、被写体距離取得処理部から被写体距離を取得することで、範囲パターン設定処理部では、被写体のカメラ映像素子上の結像サイズ（倍率）を計算し、範囲パターン中の各重要度範囲の幅設定を自動で行い、個人認証処理部で個人認証を行い、映像シーン情報を生成することができる。
【００１２】
さらに、本発明の映像シーン情報生成装置は、前記個人認証処理部は、個人認証をする際、顔の動きが多い人物の重要度を自動で設定した値より高くして映像シーン情報を生成する構成を有している。この構成により、最重要付近の重要度の範囲内に映っている複数人物のうち、どの人物が重要であるかを判別する場合、一定時間以上、顔が移動したり、回転したり、口が動くなどの動作が続くと、その登場人物は、最重要度の範囲に映っていなくても重要な役割を果たしている可能性があるため、個人認証処理部で個人認証をする際、顔の動きが多い人物の重要度を自動で設定した値より高くして、映像シーン情報を生成することができる。
【発明の効果】
【００１３】
本発明によれば、映像シーン毎の登場人物を特定し映像シーン情報を作成するときに、個人認証を利用してデータ作成効率を上げるという効果に加え、シーン毎にどの登場人物が重要な役割を果たしているかを判別して作成し、特に登場人物が多い場合、不要な人物のデータを作成しないという効果、および不要な人物の認識処理をしないため処理速度を向上させる効果を有する映像シーン情報生成装置を提供することができるものである。
また、コンテンツアーカイブシステムでのコンテンツ検索や、シーン検索、および将来実施が予定されているサーバ型放送でのダイジェスト視聴等での利用が想定される映像シーン情報は、手動で作成する場合、手間と時間がかかるが、本発明によれば、個人認識技術を利用することでデータ作成効率を上げることができ、さらにシーン毎に重要な役割を果たしている人物に絞って映像シーン情報を作成することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について、添付図面を用いて説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る映像シーン情報生成装置１を示すものであり、この映像シーン情報生成装置１は、カメラ部１１と、映像メモリ処理部１２と、重要度下限設定処理部１３と、範囲パターン設定処理部１４と、個人認証処理部１５と、映像シーン情報生成処理部１６とを備えている。
【００１５】
カメラ部１１は、被写体を撮影するためのものであり、出力が映像メモリ処理部１２の入力に接続されている。映像メモリ処理部１２は、映像信号を個人認証処理用に一時記憶させるためのものであり、入力がカメラ部の出力に接続されているとともに、出力が個人認証処理部１５の入力に接続されている。重要度下限設定処理部１３は、後述する範囲パターン中で画面分割された領域の重要度の下限設定を行うためのものであり、出力が範囲パターン設定処理部１４の入力に接続されている。範囲パターン設定処理部１４は、個人認証をする範囲パターンを設定するためのものであり、入力が重要度下限設定処理部１３の出力に接続されているとともに、出力が個人認証処理部１５の入力に接続されている。個人認証処理部１５は、顔認証など映像から個人を特定するためのものであり、入力が映像メモリ処理部１２出力及び範囲パターン設定処理部１４の出力に接続されているとともに、出力が映像シーン情報生成処理部１６の入力に接続されている。映像シーン情報生成処理部１６は、シーン毎に認証した人物データを重要度別にランク付けして映像シーン情報を生成するためのものであり、入力が個人認証処理部１５の出力に接続されている。
【００１６】
以上のように構成された映像シーン情報生成装置について、図２を用いてその動作を説明する。
（１）まず、範囲パターン設定処理（第１ステップＳ１１）では、範囲パターン設定処理部１４で、映像シーン毎に重要な役割を果たす登場人物が映っている範囲を最重要度の範囲として、映像画面全体を重要度別に領域分割した情報を「範囲パターン」として、予め複数用意しておき、この中から撮影者が撮影シーンに合わせて最適な範囲パターンを選択する。
ここで、範囲パターンで設定する「重要度」とは、映像画面上の人物がどの重要度のエリアに映っているかで登場人物の重要度を判断し、ランク付けするためのものである。この範囲パターンは、例えば図３（Ａ）のように、同心円状の重要度の範囲設定を行い、中央の円を最重要として設定するパターンＰ１が考えられる。前記の範囲パターンは、バラエティ番組などで階段席にゲストが座っているシーンや演説シーンなど重要人物の周りに人がいる場合に適用できる。また、図３（Ｂ）のように、縦縞状の重要度範囲設定を行い、中央の縦縞を最重要として設定するパターンＰ２なども考えられる。
また、この範囲パターンは、例えば図３（Ｂ）のように、野球などで立ちポーズの人物を特定するシーンに適用できる。画面上に人物が映る大きさによって、各重要度に範囲を分割するときの半径の大きさや幅を変更する必要がある。その他、シーンに合わせて最適な範囲パターンの形状を考える必要があるが、撮影者は注目すべき人物を中央付近に置いたアングルにすることが多い。このため、基本的に映像中央が最重要になることが多い。映像中央付近が最重要でない撮影シーンの場合でも、最重要人物が映る範囲を最重要として範囲パターンを作成すれば、同様に適用可能である。範囲パターンは、撮影状況に応じて、どの位置を最重要位置にするかまたは、どのような形状や間隔にするかについて自由に取り決められる。
【００１７】
（２）重要度下限設定処理（第２ステップＳ１２）では、重要度下限設定処理部１３で処理され、範囲パターン設定処理部１４で設定した重要度範囲のうち、最重要の範囲を含めどの重要度までの範囲に映っている人物を個人認証の対象とするか、下限を設定する。ここで設定された範囲のみを対象として個人認証が行われる。下限を設定することで、不要な人物の個人認証を行う必要がなくなり、認証処理速度向上が図れ、またシーン毎に重要な役割を果たしている人物に絞った映像シーン情報を生成できる。例えば、図４は、前記の同心円状の範囲パターンで重要度下限を設定したパターンＰ３であって、重要度下限をＢに設定し色づけしたＡ〜Ｂの範囲（但し、図４において、Ａ，Ｂの範囲については色づけに替えて背景に多数の細かいドットを付してある）を検索対象としている。
【００１８】
（３）映像信号取得処理（第３ステップＳ１３）では、カメラ部１１で映像信号を取得し、個人認証処理で使用する映像データを映像メモリ処理部１２へ一時記録する。
【００１９】
（４）個人認証処理（第４ステップＳ１４）では、重要度下限設定処理部１３で設定された映像画面上の範囲内で、個人認証処理部１５が各重要度別に個人認証を行い人物名を特定する。個人認証方法としては、例えば顔認証など映像から個人を特定できる技術を利用することで実現可能である。また、重要度の境界線にまたがる人物を認証する場合は、予め重要度を切り上げるか切り下げるか、またがり具合で四捨五入するかを決めておく必要がある。
【００２０】
（５）映像シーン情報生成処理（第５ステップＳ１５）では、個人認証処理部１５で特定した人物名を重要度と関連付けたデータを映像シーン情報生成処理部１６で映像シーン情報として出力する。生成された映像シーン情報は、シーン毎の開始時刻と期間を加えることで、例えばコンテンツアーカイブシステムで人物名をキーワードにコンテンツ検索やシーン検索をする場合の情報として有用である。また、将来実施が予定されているサーバー型放送のダイジェスト視聴用のメタ情報として利用し、特定の登場人物のダイジェストを閲覧する場合などにも有用である。その他、個人認証により解析した人物の情報と映像を管理し、映像を検索する装置やシステムにおいても有用である。
【００２１】
従って、このような本実施形態の映像シーン情報生成装置１によれば、従来の構成に加え、重要度下限設定処理部１３と、範囲パターン設定処理部１４とを設けることにより、各シーンで重要な役割を果たしている人物に絞って個人認証を行った映像シーン情報を生成することができる。また、絞込みをしてから個人認証を行うことで、処理時間の短縮にもつながる。
【００２２】
［第２の実施形態］
次に、本発明の第２の実施形態に係る映像シーン情報生成装置２について、説明する。なお、本実施形態において、第１の実施形態と同一部分には同一符号を付して、重複説明を避ける。
図５は、本実施形態に係る映像シーン情報生成装置２を示すものであり、この映像シーン情報生成装置２は、カメラ部１１と、映像メモリ処理部１２と、範囲パターン設定処理部１４と、個人認証処理部１５と、映像シーン情報生成処理部１６との他に、ズーム情報取得処理部２１と、第１の重要度下限判定処理部２２Ａと、被写体距離取得処理部２３とを備えている。
【００２３】
ズーム情報取得処理部２１は、画角計算に必要なカメラレンズの情報を取得するためのものであり、入力がカメラ部１１の出力に接続されているとともに、出力が第１の重要度下限判定処理部２２Ａの入力に接続されている。第１の重要度下限判定処理部２２Ａは、後述の対応表を用いて、前記範囲パターンの重要度の下限設定を入力値から自動で設定するためのものであり、入力がズーム情報取得処理部２１及び被写体距離取得処理部２３の各出力に接続されているとともに、出力が範囲パターン設定処理部１４の入力に接続されている。被写体距離取得処理部２３は、被写体までの距離を計測するためのものであり、出力が第１の重要度下限判定処理部２２Ａの入力に接続されている。
【００２４】
以上のように構成された本実施形態の映像シーン情報生成装置２について、図６を用いてその動作を説明する。
（１）まず、被写体距離取得処理（第１ステップＳ２１）では、被写体距離取得処理部２３で処理され被写体までの距離を計測する。計測は既存の画像処理や赤外線での計測などの方法を使うことで実現できる。
（２）ズーム情報取得処理（第２ステップＳ２２）では、ズーム情報取得処理部２１で処理されカメラ部１１から画角計算に必要な情報を取得する。
（３）範囲パターン設定処理（第３ステップＳ２３）では、範囲パターン設定処理部１４で処理されるが、本発明の第１の実施形態である範囲パターン設定処理（第１ステップＳ１１）と同様の処理であるため、説明を省略する。
（４）重要度下限判定処理（第４ステップＳ２４）では、第１の重要度下限判定処理部２２Ａで処理され、取得したズーム情報と被写体距離を常に取得し、レンズの画角を求める。被写体がほぼ一定の距離で撮影者がズームアップし画角を変化させる場合、画角が狭くなるにつれ、画面中央部にいる登場人物がクローズアップされ重要度が上がることが多い。このため、画角が狭くなるにつれ、重要度下限設定値を引き上げる（個人認証範囲を狭くする）。この制御を実現するため、例えば図７（Ｃ）に示すように、画角と重要度下限設定値の対応表Ｔ１を作成しておき、ズーム情報から計算される画角を入力値として対応表Ｔ１と比較しながら、対応する重要度下限設定値を自動で設定する。
（５）映像信号取得処理（第５ステップＳ２５）、個人認証処理（第６ステップＳ２６）および映像シーン情報生成処理（第７ステップＳ２７）は、それぞれ、カメラ部１１、映像メモリ１２、個人認証処理部１５、映像シーン情報生成処理部１６で処理されるが、本発明の第１の実施形態での第３ステップＳ１３から第５ステップＳ１５と同様の処理であるため、説明を省略する。
【００２５】
なお、図７の画角と重要度下限設定値の対応表Ｔ１は、例えば被写体までの距離を予め想定しておいて、被写体までの距離毎に対応表を用意しておき、被写体までの想定する距離で、対応する対応表を切りかえて重要度を設定しても良い。
【００２６】
以上のように、本発明の第２の実施形態の映像シーン情報生成装置２によれば、従来の形態に加え、ズーム情報取得処理部２１、第１の重要度下限判定処理部２２Ａ、範囲パターン設定処理部１４、被写体距離取得処理部２３を設けることにより、本発明の第１の実施形態での効果に加え、ズーム情報および被写体距離により重要度下限を自動で設定できる、という効果が得られる。
【００２７】
［第３の実施形態］
次に、本発明の第３の実施形態の映像シーン情報生成装置３について、説明する。なお、本実施形態において、第１、第２の実施形態と同一部分には同一符号を付して、重複説明を避ける。
図８は、本発明の実施形態に係る映像シーン情報生成装置３を示すものであり、この映像シーン情報生成装置３は、カメラ部１１と、映像メモリ処理部１２と、範囲パターン設定処理部１４と、個人認証処理部１５と、映像シーン情報生成処理部１６と、第２の重要度下限判定処理部２２Ｂとの他に、カメラ台座情報取得処理部３１を備えている。
【００２８】
カメラ台座情報取得処理部３１は、カメラの移動量や回転量を取得するためのものであり、入力がカメラ部１１の出力に接続されているとともに、出力が第２の重要度下限判定処理部２２Ｂの入力に接続されている。
【００２９】
次に、以上のように構成された本実施形態に係る映像シーン情報生成装置３について、図９を用いてその動作を説明する。
（１）まず、カメラ台座情報取得処理（第１ステップＳ３１）では、カメラ台座情報取得処理部３１で処理され、カメラ移動量やカメラ回転量を取得する。カメラ移動量は、撮影者の移動距離、レール上のカメラ台の移動距離、カメラアームの移動量などを、例えば赤外線やレール上のタイヤの回転量などで検出する。一方、カメラ回転量は、雲台回転時に例えばロータリーエンコーダーなどで検出可能である。これらの情報は、リアルタイムに取得することもできる。
（２）範囲パターン設定処理（第２ステップＳ３２）では、範囲パターン設定処理部１４で処理されるが、本発明の第１の実施形態での範囲パターン設定処理（第１ステップＳ１１）と同様の処理であるため、説明を省略する。
（３）重要度下限判定処理（第３ステップＳ３３）では、第２の重要度下限判定処理部２２Ｂで処理され、カメラ台座情報からカメラ移動量やカメラ回転量をリアルタイムに取得し、常に単位時間当たりの変化量を求める。カメラ移動量やカメラ回転量の単位時間当たりの変化量が大きいときは、撮影者が被写体を追っている場合が多く、また被写体を映像中心付近に映した構図としていることが多い。このため、変化量が大きくなるにつれ映像（構図）中央付近の重要度が高くなり、重要度下限を引き上げる（個人認証範囲を狭くする）という制御が可能である。この制御を実現するため、例えば図１０（Ａ）のようなカメラ移動量やタイヤや雲台の回転量の単位時間当たりの変化量と重要度下限設定値の対応表Ｔ２（同図（Ｃ）参照）を作成しておき、カメラ台座情報を入力値として対応表Ｔ２と比較しながら対応する重要度下限値を自動で設定する。
（４）映像信号取得処理（第４ステップＳ３４）、個人認証処理（第５ステップＳ３５）、および映像シーン情報生成処理（第６ステップＳ３６）では、それぞれカメラ部１１、映像メモリ処理部１２、個人認証処理部１５、映像シーン情報生成処理部１６で処理されるが、本発明の第１の実施形態である第３ステップＳ１３から第５ステップＳ１５と同様の処理であるため、説明を省略する。
【００３０】
以上のように、本発明の第３の実施形態に係る映像シーン情報生成装置３によれば、第１の実施形態の構成に加え、第２の重要度下限判定処理部２２Ｂ、カメラ台座情報取得処理部３１を設けることにより、本発明の第１の実施形態の効果に加え、カメラ台座情報により重要度下限を自動で設定できるという効果を得が得られる。
【００３１】
［第４の実施形態］
次に、本発明の第４の実施形態の映像シーン情報生成装置４について説明する。なお、本実施形態において、第１〜第３の実施形態と同一部分には同一符号を付して、重複説明を避ける。
図１１は、本発明の第４の実施形態に係る映像シーン情報生成装置４を示すものであり、この映像シーン情報生成装置４は、第２実施形態及び第３実施形態に備える構成ものを全て備えた（但し、後述する第３の重要度下限判定処理部２２Ｃは新規に設けてある）構成となっている。即ち、本実施形態の映像シーン情報生成装置４は、第２実施形態の構成である、カメラ部１１と、映像メモリ処理部１２と、ズーム情報取得処理部２１と、第３の重要度下限判定処理部２２Ｃと、被写体距離取得処理部２３と、範囲パターン設定処理部１４、個人認証処理部１５と、映像シーン情報生成処理部１６とを備える他に、第３の実施形態に備えるカメラ台座情報取得処理部３１も具備した構成のものである。
【００３２】
以上のように構成された映像シーン情報生成装置４について、図１２を用いてその動作を説明する。
なお、ここで、
（１）被写体距離取得処理(第１ステップＳ４１)は、本発明の第２の実施形態での処理である被写体距離取得処理(第１ステップＳ２１)と、
（２）ズーム情報取得処理(第２ステップＳ４２)は、本発明の第２の実施形態での処理である第２ステップＳ２２と、
（３）カメラ台座情報取得処理(第３ステップＳ４３)は、本発明の第３の実施形態での処理であるカメラ台座情報取得処理(第１ステップＳ３１)と、それぞれ、同様の処理であるため、説明を省略する。
（４）範囲パターン設定処理(第４ステップＳ４４)は、範囲パターン設定処理部１４で処理されるが、本発明の第１の実施形態での処理である第１ステップＳ１１と同様の処理であるため説明を省略する。
（５）重要度下限判定処理(第５ステップＳ４５)は、第３の重要度下限判定処理部２２Ｃで処理され、取得したズーム情報や被写体距離、カメラ台座情報から、画角と後述の変化量を計算する。即ち、ズーム情報や被写体距離は、本発明の第２の実施形態での処理である第４ステップＳ２４と同様の処理を行い、画角を計算する。一方、カメラ台座情報は、本発明の第３の実施形態での処理である第３ステップＳ３３と同等の処理を行い、カメラ移動量やカメラ回転量から、変化量を計算する。
なお、入力値が画角と変化量の２入力であるため、図１３のように、重要度下限設定値の対応表Ｔ３の作成はマトリクス形式で行い、対応表Ｔ３と比較しながら対応する重要度下限設定を自動で設定する。
（６）映像信号取得処理（第６ステップＳ４６）、（７）個人認証処理（第７ステップＳ４７）および（８）映像シーン情報生成処理（第８ステップＳ４８）は、それぞれカメラ部１１、映像メモリ処理部１２、個人認証処理部１５、映像シーン情報生成処理部１６で処理されるが、本発明の第１の実施形態である第３ステップＳ１３〜第５ステップＳ１５と同様の処理であるため、説明を省略する。
【００３３】
以上のように、本発明の第４の実施形態に係る映像シーン情報生成装置４によれば、従来の構成に加え、ズーム情報取得処理部２１、カメラ台座情報取得処理部３１、被写体距離取得処理部２３、第３の重要度下限判定処理部２２Ｃ、範囲パターン設定処理部１４を設けることにより、本発明の第１の実施形態の効果に加え、ズーム情報と被写体距離、カメラ台座情報により重要度下限を自動で設定できるという効果が得られる。
【００３４】
［第５の実施形態］
次に、本発明の第５の実施形態の映像シーン情報生成装置について説明する。なお、本実施形態において、第１〜第４の実施形態と同一部分には同一符号を付して、重複説明を避ける。
図１４は、本発明の第５の実施形態に係る映像シーン情報生成装置５を示すものであり、この映像シーン情報生成装置５は、カメラ部１１と、映像メモリ処理部１２と、重要度下限設定処理部１３と、範囲パターン設定処理部１４と、個人認証処理部１５と、映像シーン情報生成処理部１６との他に、設定確認処理部５１を備えている。
また、本実施形態では、カメラ部１１、映像メモリ処理部１２、重要度下限設定処理部１３、範囲パターン設定処理部１４及び設定確認処理部５１を一体化したカメラ撮影装置としている。
【００３５】
次に、以上のように構成された本実施形態の映像シーン情報生成装置５について、図１５を用いてその動作を説明する。
（１）範囲パターン設定処理(第１ステップＳ５１)は、本発明の第１の実施形態での処理である第１ステップＳ１１と、
（２）重要度下限設定処理(第２ステップＳ５２)は、本発明の第１の実施形態での処理である第２ステップＳ１２と同様の処理を行い、
（３）設定確認処理(第３ステップＳ５３)では、先の第１ステップＳ５１及び第２ステップＳ５２で設定した内容を、撮影者がカメラビューファインダーやモニター上の映像に重ねて表示させることで、確認しながら範囲パターンや重要度下限の設定を行う。
これにより、撮影者の意図で撮影状況に合わせて範囲パターンを選択し、最重要範囲の位置設定（中央以外でも設定可能）、重要度を領域分割するときの間隔の設定、重要度下限設定を行うことができる。
（４）映像信号取得処理（第４ステップＳ５４）、（５）個人認証処理（第４ステップＳ５４）および（６）映像シーン情報生成処理（第６ステップＳ５６）は、それぞれカメラ部１１、映像メモリ１２、個人認証処理部１５、映像シーン情報生成処理部１６で処理されるが、本発明の第１の実施形態での処理である第３ステップＳ１３〜第５ステップＳ１５と同様の処理であるため、説明を省略する。
【００３６】
以上のように、本発明の第５の実施形態の映像シーン情報生成装置５によれば、従来の構成に加え、設定確認処理部５１、重要度下限設定処理部１３、範囲パターン設定処理部１４を設けることにより、本発明の第１の実施形態の効果に加え、撮影者の意図でカメラファインダーやモニターで確認しながら、範囲パターン設定（範囲パターン選択、最重要範囲の位置設定、重要度を分割する間隔の設定など）や重要度下限設定を行うことで、さらに撮影シーンに柔軟に対応できるという効果が得られる。
【００３７】
［第６の実施形態］
次に、本発明の第６の実施形態に係る映像シーン情報生成装置について説明する。
本実施形態の映像シーン情報生成装置は、本発明の第２の実施形態および本発明の第４の実施形態と同様の構成であるが、第２の実施形態および第４の実施形態と異なる点は、範囲パターン設定処理部１４の処理である。
即ち、本実施形態では、ズーム情報から、例えば図１６（Ａ）に示すように、被写体までの距離（ａ）、レンズ焦点距離（ｂ）と人の顔の大きさ（一般的な大きさ（ｈ）を想定し、汎用的に扱う）から、範囲パターンの重要度を分割する幅（間隔）の値、例えば図１６（Ｂ）に示すように、Ｄ１、Ｄ２などを図１６（Ｃ）の演算式などから計算し、自動で調整する機能が範囲パターン設定処理部１４に加わることである。その他の処理は、本発明の第２の実施形態および本発明の第４の実施形態と同様である。
【００３８】
以上のように、本発明の第６の実施形態の映像シーン情報生成装置６によれば、第２の実施形態および本発明の第４の実施形態の範囲パターン設定処理部１４に、ズーム情報と被写体距離から範囲パターンの重要度を分割する幅（間隔）を自動で設定する機能を加えることで、撮影状況に応じて範囲パターンの設定を自動で変えることが可能である。
【００３９】
［第７の実施形態］
次に、本発明の第７の実施の形態の映像シーン情報生成装置について説明する。
本実施形態の映像シーン情報生成装置は、本発明の第１〜６の実施形態と同様の構成であるが、本発明の第１〜６の実施形態と異なる点は、個人認証処理部１５の処理である。
本実施形態では、図１７のパターンＰ８に示すように、個人認証を行うとき、特に最重要範囲付近の各重要度のランク（例えば、Ａ，Ｂ）の範囲内の位置に映っている人の中で、顔の移動や顔の回転、口の動きが一定時間以上継続して変化する場合、そのシーンではその登場人物が最重要の範囲内に映っていなくても、重要な役割を果たしている可能性が高い（会話しているなどの状況が考えられる）。このため、図１７に示すように、例えば該当人物が映っている重要度がＢの範囲内であるが、個人認証処理部１５では、これをランクＡに引き上げる処理をする。このように、個人認証処理部１５には、顔の動作を検知する機能と重要度を引き上げる機能を加えることで、さらに登場人物の重要度のランク付けの微調整が可能である。その他の処理については、本発明の第１〜６の実施形態と同様である。
【００４０】
以上のように、本発明の第７の実施形態の映像シーン情報生成装置によれば、本発明の第１〜６の実施形態の個人認証処理部１５に、顔の動きを検知する機能と、ある一定時間以上動作した場合は重要度を引き上げる機能を加えることで、登場人物の重要度のランク付けの微調整を行うことが可能である。
【００４１】
なお、本発明は上述した実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において種々の形態で実施し得るものである。
【産業上の利用可能性】
【００４２】
本発明にかかる映像シーン情報生成装置は、映像シーン毎の登場人物データを個人認証により映像シーン情報を生成する場合、映像シーン毎に重要度の高い順に人物を特定し、さらに不必要な登場人物データはカットして生成することができるという効果、および不要な認識処理をしないため処理速度を向上させることができるという効果を有し、コンテンツアーカイブシステムでのコンテンツ検索やシーン検索、および将来実施が予定されているサーバ型放送でのダイジェスト視聴等で利用するための映像シーン情報作成用途にも適用でき、有用である。
【図面の簡単な説明】
【００４３】
【図１】本発明の第１の実施形態に係る映像シーン情報生成装置の構成を示すブロック図
【図２】その映像シーン情報生成装置の動作説明のためのフロー図
【図３】（Ａ）はその映像シーン情報生成装置の範囲パターン設定例を示す説明図 （Ｂ）はその範囲パターン設定例の変形例を示す説明図
【図４】その映像シーン情報生成装置の重要度下限設定例を示す説明図
【図５】本発明の第２の実施形態に係る映像シーン情報生成装置の構成を示すブロック図
【図６】その映像シーン情報生成装置の動作説明のためのフロー図
【図７】（Ａ）はその映像シーン情報生成装置での画角を示す説明図、（Ｂ）は範囲パターンを示す説明図、（Ｃ）は重要度下限設定の対応表を示す説明図
【図８】本発明の第３の実施形態に係る映像シーン情報生成装置の構成を示すブロック図
【図９】その映像シーン情報生成装置の動作説明のためのフロー図
【図１０】（Ａ）はその映像シーン情報生成装置での移動量や回転量を示す説明図、（Ｂ）は範囲パターンを示す説明図、（Ｃ）は重要度下限設定の対応表を示す説明図
【図１１】本発明の第４の実施形態に係る映像シーン情報生成装置の構成を示すブロック図
【図１２】その映像シーン情報生成装置の動作説明のためのフロー図
【図１３】（Ａ）はその映像シーン情報生成装置の範囲パターンを示す説明図、（Ｂ）は重要度下限設定の対応表を示す説明図
【図１４】本発明の第５の実施形態に係る映像シーン情報生成装置の構成を示すブロック図
【図１５】その映像シーン情報生成装置の動作説明のためのフロー図
【図１６】（Ａ）はその映像シーン情報生成装置での結像サイズを示す説明図、（Ｂ）は結像素子面での範囲パターンを示す説明図、（Ｃ）は範囲パターン幅の設定値を算出する演算式を示す説明図
【図１７】本発明の第７の実施形態に係る映像シーン情報生成装置の登場人物の重要度引き上げ方法を示す説明図
【図１８】従来の映像シーン情報生成装置の構成を示すブロック図
【符号の説明】
【００４４】
１、２、３、４、５ 映像シーン情報生成装置
１１ カメラ部
１２ 映像メモリ処理部
１３ 重要度下限設定処理部
１４ 範囲パターン設定処理部
１５ 個人認証処理部
１６ 映像シーン情報生成処理部
２１ ズーム情報取得処理部
２２Ａ〜２２Ｃ 第１〜第３の重要度下限判定処理部
２３ 被写体距離取得処理部
３１ カメラ台座情報取得処理部
５１ 設定確認処理部
Ｐ１ 範囲パターン設定例（同心円状）
Ｐ２ 範囲パターン設定例（縦縞状）
Ｐ３ 重要度下限設定例（同心円状）
Ｐ４ 範囲パターン設定例（縦縞状）
Ｔ１ 画角と重要度下限設定値の対応表
Ｔ２ 回転量と重要度下限設定値の対応表
Ｔ３ 回転量と画角のマトリクスによる重要度下限設定値の対応表
Ｐ８ 顔の動作検地による重要度設定値の変更方法の説明図
【技術分野】
【０００１】
本発明は、映像シーン毎の登場人物を個人認証により特定し、映像シーン情報を作成する機能を有する映像シーン情報生成装置に関する。
【背景技術】
【０００２】
各種の映像を撮影した映像コンテンツをアップロードし、視聴できるようにしたコンテンツアーカイブシステムが知られている。このコンテンツアーカイブシステムでは、コンテンツ検索やシーン検索、または将来実施が予定されているサーバ型放送でのダイジェスト視聴等で利用が想定される映像シーン情報（各シーンの説明やシーンの開始終了時刻など）などを作成する場合、例えば画像処理により取り込まれた映像内の人物を認識して映像シーン情報などを手動で作成する場合、手間と時間がかかる。そこで、この映像シーン情報などを、個人認識技術を利用することで、自動的に形成することができる映像シーン情報生成装置が知られている（例えば、特許文献１参照）。
【０００３】
例えば図１８に示すように、この映像シーン情報生成装置１００は、カメラ部１０１、映像メモリ処理部１０２、個人認証処理部１０３、映像シーン情報生成処理部１０４で構成されており、カメラ部１０１から映像信号を取得し、映像メモリ処理部１０２で映像データを一時保持し、個人認証処理部１０３で、一時保持した映像データから、例えば顔認識技術を利用して個人を特定し、映像シーン情報生成処理部１０４で映像のシーン毎の登場人物の情報を生成し、メタデータ等として出力する。このメタデータとは、例えば画像ファイルに含まれる単に生の画像データだけでなく、そのファイルの映像に関する説明などを記述した付加的なデータのことをいう。
【特許文献１】特開２００４−６２８６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の映像シーン情報生成装置では、画面内に登場するすべての人物を個人認識するため、登場人物が多い場合、シーン毎にどの人物が重要な役割を果たしているか認識できないという問題が生じている。また、個人認証の不必要な人物まで認識しようとするため、不必要な登場人物のデータを作成し、その分処理時間がかかるという問題もあった。
【０００５】
本発明は、上記した事情に鑑みてなされたもので、シーン毎に重要度の高い順に人物の特定とランク付けすることができるとともに、不必要な登場人物のデータはカットすることができる映像シーン情報生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の映像シーン情報生成装置は、各映像シーンでの登場人物情報を個人認証により生成する映像シーン情報生成装置であって、カメラ部、映像メモリ処理部、重要度下限設定処理部、範囲パターン設定処理部、個人認証処理部、映像シーン情報生成処理部を備え、前記カメラ部は、映像信号を出力し、前記範囲パターン設定処理部は、前記各映像シーンでの登場人物のうち重要な役割を果す登場人物が映る画面領域を最重要範囲として画面全体を重要度別に領域分割した範囲パターンを予め複数用意しておき、その中から撮影者が撮影シーン毎に最適な範囲パターンを選択し、前記重要度下限設定処理部は、個人認証する画面領域を限定するために選択した前記範囲パターンの重要度の中で最低とする重要度を指定し、前記個人認証処理部は、前記最重要度から前記指定した重要度までの前記範囲パターン内の画面領域で個人認証を行い、前記映像シーン情報生成処理部は、前記範囲パターンで指定した各重要度の画面領域内に映っている登場人物の情報とその登場人物の重要度とをランク付けしたデータを生成し各映像シーンで重要な役割を担っている登場人物に絞った情報生成を行うとともに、前記映像シーンの時刻情報と併せて映像シーン情報として生成する構成を有している。この構成により、カメラ部から入力された映像信号をもとに、範囲パターン設定処理部では、各シーンで重要な役割を担う登場人物が映っている画面領域を最重要範囲として画面全体を重要度別に領域分割した範囲パターンを予め複数用意し、その中から撮影者が撮影シーン毎に最適な範囲パターンを選択する。さらに、重要度下限設定処理部では、個人認証する画面領域を限定するために、選択した範囲パターンの重要度の中で最低とする重要度を指定し、個人認証処理部では最重要度から指定重要度までの範囲内の画面領域で個人認証を行う。さらに、映像シーン情報生成処理部では、範囲パターンで指定した各重要度の画面領域内に映っている登場人物の情報と、その重要度値を紐付けてランク付けしたデータ生成することで、各映像シーンで重要な役割を担っている登場人物に絞った情報生成を行い、さらにシーン時刻（認識した人物の登場時刻・期間）の情報等と併せ、映像シーン情報として生成することができる。
【０００７】
また、本発明の映像シーン情報生成装置は、前記カメラ部、前記映像メモリ処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、ズーム情報取得処理部、第１の重要度下限判定処理部及び被写体距離取得処理部を備え、前記ズーム情報取得処理部は、前記カメラ部からレンズの画角情報を取得し、前記被写体距離取得処理部は、被写体までの距離情報を取得し、前記第１の重要度下限判定処理部は、前記被写体がほぼ一定の距離のままズームアップして画角を変えるとき、前記画角に合わせて個人認証する画面範囲を自動で限定する構成を有している。この構成により、ズーム情報取得処理部ではカメラ部からレンズの画角情報を常に取得し、被写体距離取得処理部では被写体までの距離情報を常に取得し、重要度下限判定処理部では、被写体がほぼ一定の距離でズームアップし画角を変えるとき、画角が狭くなるにつれ画面中央部にいる登場人物がクローズアップされ重要度が上がることが多い。このため、それに合わせ範囲パターン設定処理部で設定されている重要度の中で画面中央付近のみ個人認証するように狭める重要度下限の自動設定を行うことで、画角に合わせて個人認証する画面範囲を自動で限定し映像シーン情報を生成することができる。
【０００８】
さらに、本発明の映像シーン情報生成装置は、前記カメラ部、前記映像メモリ処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、カメラ台座情報取得処理部及び第２の重要度下限判定処理部を備え、前記カメラ台座情報取得処理部は、位置検出による単位時間当たりのカメラ移動量と、雲台の単位時間当たりのカメラ回転量とを検出し、前記第２の重要度下限判定処理部は、前記カメラ移動量及び前記カメラ回転量の変化量が多くなるにつれ、前記範囲パターン中の検索範囲を前記画面中央付近のみ個人認証するように自動設定を行い、単位時間当たりの前記カメラ移動量及び前記カメラ回転量に合わせて個人認証する画面範囲を自動で限定する構成を有している。この構成により、カメラ台座情報取得処理部では、カメラ台座のタイヤ回転量や赤外線などを利用した位置検出による単位時間当たりのカメラ移動量や、ロータリーエンコーダーなどによる雲台の単位時間当たりのカメラ回転量を検出する。ここで、前記カメラ移動量やカメラ回転量の単位時間当たりの変化量が多い時は、撮影者が被写体を追っている場合が多く、また被写体は、映像中央付近に映されることが多い。このため、重要度下限判定処理部では、変化量が多くなるにつれ範囲パターン設定処理部で設定した範囲パターン中の検索範囲の重要度下限設定を映像中央付近のみ個人認証するように自動設定を行うことで、単位時間当たりのカメラ移動量やカメラ回転量に合わせて個人認証する画面範囲を自動で限定し、映像シーン情報を生成することができる。
【０００９】
さらに、本発明の映像シーン情報生成装置は、前記カメラ部、前記映像メモリ処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、ズーム情報取得処理部、カメラ台座情報取得処理部、被写体距離取得処理部、第３の重要度下限判定処理部及び被写体距離取得処理部を備え、前記ズーム情報取得処理部は、ズーム情報を取得するとともに、前記被写体距離取得処理部は、被写体距離に関する情報を取得し、前記カメラ台座情報取得処理部は、前記カメラ移動量及び前記カメラ回転量に関するカメラ台座情報を取得し、前記第３の重要度下限判定処理部は、前記ズーム情報と前記被写体距離から画角を取得するとともに、前記カメラ台座情報からカメラ移動やカメラ回転の変化量を取得し、画角と変化量のパラメータのマトリクスに合わせて個人認証する画面範囲を自動で限定する構成を有している。この構成により、前述のズーム情報取得処理部、被写体距離取得処理部、及びカメラ台座情報取得処理部では、前述の場合と同様の方法で各情報を取得するとともに、重要度下限判定処理部では、ズーム情報と被写体距離から画角を取得する。即ち、カメラ台座情報からカメラ移動やカメラ回転の変化量を取得する一方、画角とその変化量のパラメータのマトリクスに合わせ、範囲パターン設定処理部で設定した重要度の中で下限設定を自動で行うことで、画角と変化量にあわせ個人認証する画面範囲を自動で限定し、映像シーン情報を生成することができる。
【００１０】
さらに、本発明の映像シーン情報生成装置は、前記カメラ部、前記映像メモリ処理部、前記重要度下限設定処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、設定確認処理部を備え、前記カメラ部、前記映像メモリ処理部、前記設定確認処理部、前記重要度下限設定処理部及び前記範囲パターン設定処理部は一体化したカメラ撮影装置としてまとめて構成し、前記カメラ撮影装置のビューファインダー又はモニター上の映像に、前記範囲パターンを重ねて表示し、前記個人認証処理部は、前記ビューファインダー又は前記モニター上の前記範囲パターンの種類、位置、各重要度範囲の幅を確認しながら、個人認証を行う構成を有している。この構成により、カメラ部、映像メモリ処理部、設定確認処理部、重要度下限設定部及び範囲パターン設定処理部を一体化したカメラ撮影装置を形成し、カメラのビューファインダーやモニター上の映像に、設定する範囲パターンと重ねて表示させることで、撮影者の意図で範囲パターン種類や位置、各重要度範囲の幅を撮影状況に合わせ確認しながら調節し、個人認証処理部で個人認証を行い、映像シーン情報を生成することができる。
【００１１】
さらに、本発明の映像シーン情報生成装置は、前記ズーム情報取得処理部はレンズ焦点距離を取得するとともに、前記被写体距離取得処理部は被写体距離を取得し、前記範囲パターン設定処理部は、前記被写体の結像サイズを計算し、前記レンズ焦点距離、前記被写体距離、前記結像サイズにより、範囲パターン中の各重要度範囲の幅設定を自動で行い、前記個人認証処理部は個人認証を行う構成を有している。この構成により、ズーム情報取得処理部からレンズ焦点距離を取得し、被写体距離取得処理部から被写体距離を取得することで、範囲パターン設定処理部では、被写体のカメラ映像素子上の結像サイズ（倍率）を計算し、範囲パターン中の各重要度範囲の幅設定を自動で行い、個人認証処理部で個人認証を行い、映像シーン情報を生成することができる。
【００１２】
さらに、本発明の映像シーン情報生成装置は、前記個人認証処理部は、個人認証をする際、顔の動きが多い人物の重要度を自動で設定した値より高くして映像シーン情報を生成する構成を有している。この構成により、最重要付近の重要度の範囲内に映っている複数人物のうち、どの人物が重要であるかを判別する場合、一定時間以上、顔が移動したり、回転したり、口が動くなどの動作が続くと、その登場人物は、最重要度の範囲に映っていなくても重要な役割を果たしている可能性があるため、個人認証処理部で個人認証をする際、顔の動きが多い人物の重要度を自動で設定した値より高くして、映像シーン情報を生成することができる。
【発明の効果】
【００１３】
本発明によれば、映像シーン毎の登場人物を特定し映像シーン情報を作成するときに、個人認証を利用してデータ作成効率を上げるという効果に加え、シーン毎にどの登場人物が重要な役割を果たしているかを判別して作成し、特に登場人物が多い場合、不要な人物のデータを作成しないという効果、および不要な人物の認識処理をしないため処理速度を向上させる効果を有する映像シーン情報生成装置を提供することができるものである。
また、コンテンツアーカイブシステムでのコンテンツ検索や、シーン検索、および将来実施が予定されているサーバ型放送でのダイジェスト視聴等での利用が想定される映像シーン情報は、手動で作成する場合、手間と時間がかかるが、本発明によれば、個人認識技術を利用することでデータ作成効率を上げることができ、さらにシーン毎に重要な役割を果たしている人物に絞って映像シーン情報を作成することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について、添付図面を用いて説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る映像シーン情報生成装置１を示すものであり、この映像シーン情報生成装置１は、カメラ部１１と、映像メモリ処理部１２と、重要度下限設定処理部１３と、範囲パターン設定処理部１４と、個人認証処理部１５と、映像シーン情報生成処理部１６とを備えている。
【００１５】
カメラ部１１は、被写体を撮影するためのものであり、出力が映像メモリ処理部１２の入力に接続されている。映像メモリ処理部１２は、映像信号を個人認証処理用に一時記憶させるためのものであり、入力がカメラ部の出力に接続されているとともに、出力が個人認証処理部１５の入力に接続されている。重要度下限設定処理部１３は、後述する範囲パターン中で画面分割された領域の重要度の下限設定を行うためのものであり、出力が範囲パターン設定処理部１４の入力に接続されている。範囲パターン設定処理部１４は、個人認証をする範囲パターンを設定するためのものであり、入力が重要度下限設定処理部１３の出力に接続されているとともに、出力が個人認証処理部１５の入力に接続されている。個人認証処理部１５は、顔認証など映像から個人を特定するためのものであり、入力が映像メモリ処理部１２出力及び範囲パターン設定処理部１４の出力に接続されているとともに、出力が映像シーン情報生成処理部１６の入力に接続されている。映像シーン情報生成処理部１６は、シーン毎に認証した人物データを重要度別にランク付けして映像シーン情報を生成するためのものであり、入力が個人認証処理部１５の出力に接続されている。
【００１６】
以上のように構成された映像シーン情報生成装置について、図２を用いてその動作を説明する。
（１）まず、範囲パターン設定処理（第１ステップＳ１１）では、範囲パターン設定処理部１４で、映像シーン毎に重要な役割を果たす登場人物が映っている範囲を最重要度の範囲として、映像画面全体を重要度別に領域分割した情報を「範囲パターン」として、予め複数用意しておき、この中から撮影者が撮影シーンに合わせて最適な範囲パターンを選択する。
ここで、範囲パターンで設定する「重要度」とは、映像画面上の人物がどの重要度のエリアに映っているかで登場人物の重要度を判断し、ランク付けするためのものである。この範囲パターンは、例えば図３（Ａ）のように、同心円状の重要度の範囲設定を行い、中央の円を最重要として設定するパターンＰ１が考えられる。前記の範囲パターンは、バラエティ番組などで階段席にゲストが座っているシーンや演説シーンなど重要人物の周りに人がいる場合に適用できる。また、図３（Ｂ）のように、縦縞状の重要度範囲設定を行い、中央の縦縞を最重要として設定するパターンＰ２なども考えられる。
また、この範囲パターンは、例えば図３（Ｂ）のように、野球などで立ちポーズの人物を特定するシーンに適用できる。画面上に人物が映る大きさによって、各重要度に範囲を分割するときの半径の大きさや幅を変更する必要がある。その他、シーンに合わせて最適な範囲パターンの形状を考える必要があるが、撮影者は注目すべき人物を中央付近に置いたアングルにすることが多い。このため、基本的に映像中央が最重要になることが多い。映像中央付近が最重要でない撮影シーンの場合でも、最重要人物が映る範囲を最重要として範囲パターンを作成すれば、同様に適用可能である。範囲パターンは、撮影状況に応じて、どの位置を最重要位置にするかまたは、どのような形状や間隔にするかについて自由に取り決められる。
【００１７】
（２）重要度下限設定処理（第２ステップＳ１２）では、重要度下限設定処理部１３で処理され、範囲パターン設定処理部１４で設定した重要度範囲のうち、最重要の範囲を含めどの重要度までの範囲に映っている人物を個人認証の対象とするか、下限を設定する。ここで設定された範囲のみを対象として個人認証が行われる。下限を設定することで、不要な人物の個人認証を行う必要がなくなり、認証処理速度向上が図れ、またシーン毎に重要な役割を果たしている人物に絞った映像シーン情報を生成できる。例えば、図４は、前記の同心円状の範囲パターンで重要度下限を設定したパターンＰ３であって、重要度下限をＢに設定し色づけしたＡ〜Ｂの範囲（但し、図４において、Ａ，Ｂの範囲については色づけに替えて背景に多数の細かいドットを付してある）を検索対象としている。
【００１８】
（３）映像信号取得処理（第３ステップＳ１３）では、カメラ部１１で映像信号を取得し、個人認証処理で使用する映像データを映像メモリ処理部１２へ一時記録する。
【００１９】
（４）個人認証処理（第４ステップＳ１４）では、重要度下限設定処理部１３で設定された映像画面上の範囲内で、個人認証処理部１５が各重要度別に個人認証を行い人物名を特定する。個人認証方法としては、例えば顔認証など映像から個人を特定できる技術を利用することで実現可能である。また、重要度の境界線にまたがる人物を認証する場合は、予め重要度を切り上げるか切り下げるか、またがり具合で四捨五入するかを決めておく必要がある。
【００２０】
（５）映像シーン情報生成処理（第５ステップＳ１５）では、個人認証処理部１５で特定した人物名を重要度と関連付けたデータを映像シーン情報生成処理部１６で映像シーン情報として出力する。生成された映像シーン情報は、シーン毎の開始時刻と期間を加えることで、例えばコンテンツアーカイブシステムで人物名をキーワードにコンテンツ検索やシーン検索をする場合の情報として有用である。また、将来実施が予定されているサーバー型放送のダイジェスト視聴用のメタ情報として利用し、特定の登場人物のダイジェストを閲覧する場合などにも有用である。その他、個人認証により解析した人物の情報と映像を管理し、映像を検索する装置やシステムにおいても有用である。
【００２１】
従って、このような本実施形態の映像シーン情報生成装置１によれば、従来の構成に加え、重要度下限設定処理部１３と、範囲パターン設定処理部１４とを設けることにより、各シーンで重要な役割を果たしている人物に絞って個人認証を行った映像シーン情報を生成することができる。また、絞込みをしてから個人認証を行うことで、処理時間の短縮にもつながる。
【００２２】
［第２の実施形態］
次に、本発明の第２の実施形態に係る映像シーン情報生成装置２について、説明する。なお、本実施形態において、第１の実施形態と同一部分には同一符号を付して、重複説明を避ける。
図５は、本実施形態に係る映像シーン情報生成装置２を示すものであり、この映像シーン情報生成装置２は、カメラ部１１と、映像メモリ処理部１２と、範囲パターン設定処理部１４と、個人認証処理部１５と、映像シーン情報生成処理部１６との他に、ズーム情報取得処理部２１と、第１の重要度下限判定処理部２２Ａと、被写体距離取得処理部２３とを備えている。
【００２３】
ズーム情報取得処理部２１は、画角計算に必要なカメラレンズの情報を取得するためのものであり、入力がカメラ部１１の出力に接続されているとともに、出力が第１の重要度下限判定処理部２２Ａの入力に接続されている。第１の重要度下限判定処理部２２Ａは、後述の対応表を用いて、前記範囲パターンの重要度の下限設定を入力値から自動で設定するためのものであり、入力がズーム情報取得処理部２１及び被写体距離取得処理部２３の各出力に接続されているとともに、出力が範囲パターン設定処理部１４の入力に接続されている。被写体距離取得処理部２３は、被写体までの距離を計測するためのものであり、出力が第１の重要度下限判定処理部２２Ａの入力に接続されている。
【００２４】
以上のように構成された本実施形態の映像シーン情報生成装置２について、図６を用いてその動作を説明する。
（１）まず、被写体距離取得処理（第１ステップＳ２１）では、被写体距離取得処理部２３で処理され被写体までの距離を計測する。計測は既存の画像処理や赤外線での計測などの方法を使うことで実現できる。
（２）ズーム情報取得処理（第２ステップＳ２２）では、ズーム情報取得処理部２１で処理されカメラ部１１から画角計算に必要な情報を取得する。
（３）範囲パターン設定処理（第３ステップＳ２３）では、範囲パターン設定処理部１４で処理されるが、本発明の第１の実施形態である範囲パターン設定処理（第１ステップＳ１１）と同様の処理であるため、説明を省略する。
（４）重要度下限判定処理（第４ステップＳ２４）では、第１の重要度下限判定処理部２２Ａで処理され、取得したズーム情報と被写体距離を常に取得し、レンズの画角を求める。被写体がほぼ一定の距離で撮影者がズームアップし画角を変化させる場合、画角が狭くなるにつれ、画面中央部にいる登場人物がクローズアップされ重要度が上がることが多い。このため、画角が狭くなるにつれ、重要度下限設定値を引き上げる（個人認証範囲を狭くする）。この制御を実現するため、例えば図７（Ｃ）に示すように、画角と重要度下限設定値の対応表Ｔ１を作成しておき、ズーム情報から計算される画角を入力値として対応表Ｔ１と比較しながら、対応する重要度下限設定値を自動で設定する。
（５）映像信号取得処理（第５ステップＳ２５）、個人認証処理（第６ステップＳ２６）および映像シーン情報生成処理（第７ステップＳ２７）は、それぞれ、カメラ部１１、映像メモリ１２、個人認証処理部１５、映像シーン情報生成処理部１６で処理されるが、本発明の第１の実施形態での第３ステップＳ１３から第５ステップＳ１５と同様の処理であるため、説明を省略する。
【００２５】
なお、図７の画角と重要度下限設定値の対応表Ｔ１は、例えば被写体までの距離を予め想定しておいて、被写体までの距離毎に対応表を用意しておき、被写体までの想定する距離で、対応する対応表を切りかえて重要度を設定しても良い。
【００２６】
以上のように、本発明の第２の実施形態の映像シーン情報生成装置２によれば、従来の形態に加え、ズーム情報取得処理部２１、第１の重要度下限判定処理部２２Ａ、範囲パターン設定処理部１４、被写体距離取得処理部２３を設けることにより、本発明の第１の実施形態での効果に加え、ズーム情報および被写体距離により重要度下限を自動で設定できる、という効果が得られる。
【００２７】
［第３の実施形態］
次に、本発明の第３の実施形態の映像シーン情報生成装置３について、説明する。なお、本実施形態において、第１、第２の実施形態と同一部分には同一符号を付して、重複説明を避ける。
図８は、本発明の実施形態に係る映像シーン情報生成装置３を示すものであり、この映像シーン情報生成装置３は、カメラ部１１と、映像メモリ処理部１２と、範囲パターン設定処理部１４と、個人認証処理部１５と、映像シーン情報生成処理部１６と、第２の重要度下限判定処理部２２Ｂとの他に、カメラ台座情報取得処理部３１を備えている。
【００２８】
カメラ台座情報取得処理部３１は、カメラの移動量や回転量を取得するためのものであり、入力がカメラ部１１の出力に接続されているとともに、出力が第２の重要度下限判定処理部２２Ｂの入力に接続されている。
【００２９】
次に、以上のように構成された本実施形態に係る映像シーン情報生成装置３について、図９を用いてその動作を説明する。
（１）まず、カメラ台座情報取得処理（第１ステップＳ３１）では、カメラ台座情報取得処理部３１で処理され、カメラ移動量やカメラ回転量を取得する。カメラ移動量は、撮影者の移動距離、レール上のカメラ台の移動距離、カメラアームの移動量などを、例えば赤外線やレール上のタイヤの回転量などで検出する。一方、カメラ回転量は、雲台回転時に例えばロータリーエンコーダーなどで検出可能である。これらの情報は、リアルタイムに取得することもできる。
（２）範囲パターン設定処理（第２ステップＳ３２）では、範囲パターン設定処理部１４で処理されるが、本発明の第１の実施形態での範囲パターン設定処理（第１ステップＳ１１）と同様の処理であるため、説明を省略する。
（３）重要度下限判定処理（第３ステップＳ３３）では、第２の重要度下限判定処理部２２Ｂで処理され、カメラ台座情報からカメラ移動量やカメラ回転量をリアルタイムに取得し、常に単位時間当たりの変化量を求める。カメラ移動量やカメラ回転量の単位時間当たりの変化量が大きいときは、撮影者が被写体を追っている場合が多く、また被写体を映像中心付近に映した構図としていることが多い。このため、変化量が大きくなるにつれ映像（構図）中央付近の重要度が高くなり、重要度下限を引き上げる（個人認証範囲を狭くする）という制御が可能である。この制御を実現するため、例えば図１０（Ａ）のようなカメラ移動量やタイヤや雲台の回転量の単位時間当たりの変化量と重要度下限設定値の対応表Ｔ２（同図（Ｃ）参照）を作成しておき、カメラ台座情報を入力値として対応表Ｔ２と比較しながら対応する重要度下限値を自動で設定する。
（４）映像信号取得処理（第４ステップＳ３４）、個人認証処理（第５ステップＳ３５）、および映像シーン情報生成処理（第６ステップＳ３６）では、それぞれカメラ部１１、映像メモリ処理部１２、個人認証処理部１５、映像シーン情報生成処理部１６で処理されるが、本発明の第１の実施形態である第３ステップＳ１３から第５ステップＳ１５と同様の処理であるため、説明を省略する。
【００３０】
以上のように、本発明の第３の実施形態に係る映像シーン情報生成装置３によれば、第１の実施形態の構成に加え、第２の重要度下限判定処理部２２Ｂ、カメラ台座情報取得処理部３１を設けることにより、本発明の第１の実施形態の効果に加え、カメラ台座情報により重要度下限を自動で設定できるという効果を得が得られる。
【００３１】
［第４の実施形態］
次に、本発明の第４の実施形態の映像シーン情報生成装置４について説明する。なお、本実施形態において、第１〜第３の実施形態と同一部分には同一符号を付して、重複説明を避ける。
図１１は、本発明の第４の実施形態に係る映像シーン情報生成装置４を示すものであり、この映像シーン情報生成装置４は、第２実施形態及び第３実施形態に備える構成ものを全て備えた（但し、後述する第３の重要度下限判定処理部２２Ｃは新規に設けてある）構成となっている。即ち、本実施形態の映像シーン情報生成装置４は、第２実施形態の構成である、カメラ部１１と、映像メモリ処理部１２と、ズーム情報取得処理部２１と、第３の重要度下限判定処理部２２Ｃと、被写体距離取得処理部２３と、範囲パターン設定処理部１４、個人認証処理部１５と、映像シーン情報生成処理部１６とを備える他に、第３の実施形態に備えるカメラ台座情報取得処理部３１も具備した構成のものである。
【００３２】
以上のように構成された映像シーン情報生成装置４について、図１２を用いてその動作を説明する。
なお、ここで、
（１）被写体距離取得処理(第１ステップＳ４１)は、本発明の第２の実施形態での処理である被写体距離取得処理(第１ステップＳ２１)と、
（２）ズーム情報取得処理(第２ステップＳ４２)は、本発明の第２の実施形態での処理である第２ステップＳ２２と、
（３）カメラ台座情報取得処理(第３ステップＳ４３)は、本発明の第３の実施形態での処理であるカメラ台座情報取得処理(第１ステップＳ３１)と、それぞれ、同様の処理であるため、説明を省略する。
（４）範囲パターン設定処理(第４ステップＳ４４)は、範囲パターン設定処理部１４で処理されるが、本発明の第１の実施形態での処理である第１ステップＳ１１と同様の処理であるため説明を省略する。
（５）重要度下限判定処理(第５ステップＳ４５)は、第３の重要度下限判定処理部２２Ｃで処理され、取得したズーム情報や被写体距離、カメラ台座情報から、画角と後述の変化量を計算する。即ち、ズーム情報や被写体距離は、本発明の第２の実施形態での処理である第４ステップＳ２４と同様の処理を行い、画角を計算する。一方、カメラ台座情報は、本発明の第３の実施形態での処理である第３ステップＳ３３と同等の処理を行い、カメラ移動量やカメラ回転量から、変化量を計算する。
なお、入力値が画角と変化量の２入力であるため、図１３のように、重要度下限設定値の対応表Ｔ３の作成はマトリクス形式で行い、対応表Ｔ３と比較しながら対応する重要度下限設定を自動で設定する。
（６）映像信号取得処理（第６ステップＳ４６）、（７）個人認証処理（第７ステップＳ４７）および（８）映像シーン情報生成処理（第８ステップＳ４８）は、それぞれカメラ部１１、映像メモリ処理部１２、個人認証処理部１５、映像シーン情報生成処理部１６で処理されるが、本発明の第１の実施形態である第３ステップＳ１３〜第５ステップＳ１５と同様の処理であるため、説明を省略する。
【００３３】
以上のように、本発明の第４の実施形態に係る映像シーン情報生成装置４によれば、従来の構成に加え、ズーム情報取得処理部２１、カメラ台座情報取得処理部３１、被写体距離取得処理部２３、第３の重要度下限判定処理部２２Ｃ、範囲パターン設定処理部１４を設けることにより、本発明の第１の実施形態の効果に加え、ズーム情報と被写体距離、カメラ台座情報により重要度下限を自動で設定できるという効果が得られる。
【００３４】
［第５の実施形態］
次に、本発明の第５の実施形態の映像シーン情報生成装置について説明する。なお、本実施形態において、第１〜第４の実施形態と同一部分には同一符号を付して、重複説明を避ける。
図１４は、本発明の第５の実施形態に係る映像シーン情報生成装置５を示すものであり、この映像シーン情報生成装置５は、カメラ部１１と、映像メモリ処理部１２と、重要度下限設定処理部１３と、範囲パターン設定処理部１４と、個人認証処理部１５と、映像シーン情報生成処理部１６との他に、設定確認処理部５１を備えている。
また、本実施形態では、カメラ部１１、映像メモリ処理部１２、重要度下限設定処理部１３、範囲パターン設定処理部１４及び設定確認処理部５１を一体化したカメラ撮影装置としている。
【００３５】
次に、以上のように構成された本実施形態の映像シーン情報生成装置５について、図１５を用いてその動作を説明する。
（１）範囲パターン設定処理(第１ステップＳ５１)は、本発明の第１の実施形態での処理である第１ステップＳ１１と、
（２）重要度下限設定処理(第２ステップＳ５２)は、本発明の第１の実施形態での処理である第２ステップＳ１２と同様の処理を行い、
（３）設定確認処理(第３ステップＳ５３)では、先の第１ステップＳ５１及び第２ステップＳ５２で設定した内容を、撮影者がカメラビューファインダーやモニター上の映像に重ねて表示させることで、確認しながら範囲パターンや重要度下限の設定を行う。
これにより、撮影者の意図で撮影状況に合わせて範囲パターンを選択し、最重要範囲の位置設定（中央以外でも設定可能）、重要度を領域分割するときの間隔の設定、重要度下限設定を行うことができる。
（４）映像信号取得処理（第４ステップＳ５４）、（５）個人認証処理（第４ステップＳ５４）および（６）映像シーン情報生成処理（第６ステップＳ５６）は、それぞれカメラ部１１、映像メモリ１２、個人認証処理部１５、映像シーン情報生成処理部１６で処理されるが、本発明の第１の実施形態での処理である第３ステップＳ１３〜第５ステップＳ１５と同様の処理であるため、説明を省略する。
【００３６】
以上のように、本発明の第５の実施形態の映像シーン情報生成装置５によれば、従来の構成に加え、設定確認処理部５１、重要度下限設定処理部１３、範囲パターン設定処理部１４を設けることにより、本発明の第１の実施形態の効果に加え、撮影者の意図でカメラファインダーやモニターで確認しながら、範囲パターン設定（範囲パターン選択、最重要範囲の位置設定、重要度を分割する間隔の設定など）や重要度下限設定を行うことで、さらに撮影シーンに柔軟に対応できるという効果が得られる。
【００３７】
［第６の実施形態］
次に、本発明の第６の実施形態に係る映像シーン情報生成装置について説明する。
本実施形態の映像シーン情報生成装置は、本発明の第２の実施形態および本発明の第４の実施形態と同様の構成であるが、第２の実施形態および第４の実施形態と異なる点は、範囲パターン設定処理部１４の処理である。
即ち、本実施形態では、ズーム情報から、例えば図１６（Ａ）に示すように、被写体までの距離（ａ）、レンズ焦点距離（ｂ）と人の顔の大きさ（一般的な大きさ（ｈ）を想定し、汎用的に扱う）から、範囲パターンの重要度を分割する幅（間隔）の値、例えば図１６（Ｂ）に示すように、Ｄ１、Ｄ２などを図１６（Ｃ）の演算式などから計算し、自動で調整する機能が範囲パターン設定処理部１４に加わることである。その他の処理は、本発明の第２の実施形態および本発明の第４の実施形態と同様である。
【００３８】
以上のように、本発明の第６の実施形態の映像シーン情報生成装置６によれば、第２の実施形態および本発明の第４の実施形態の範囲パターン設定処理部１４に、ズーム情報と被写体距離から範囲パターンの重要度を分割する幅（間隔）を自動で設定する機能を加えることで、撮影状況に応じて範囲パターンの設定を自動で変えることが可能である。
【００３９】
［第７の実施形態］
次に、本発明の第７の実施の形態の映像シーン情報生成装置について説明する。
本実施形態の映像シーン情報生成装置は、本発明の第１〜６の実施形態と同様の構成であるが、本発明の第１〜６の実施形態と異なる点は、個人認証処理部１５の処理である。
本実施形態では、図１７のパターンＰ８に示すように、個人認証を行うとき、特に最重要範囲付近の各重要度のランク（例えば、Ａ，Ｂ）の範囲内の位置に映っている人の中で、顔の移動や顔の回転、口の動きが一定時間以上継続して変化する場合、そのシーンではその登場人物が最重要の範囲内に映っていなくても、重要な役割を果たしている可能性が高い（会話しているなどの状況が考えられる）。このため、図１７に示すように、例えば該当人物が映っている重要度がＢの範囲内であるが、個人認証処理部１５では、これをランクＡに引き上げる処理をする。このように、個人認証処理部１５には、顔の動作を検知する機能と重要度を引き上げる機能を加えることで、さらに登場人物の重要度のランク付けの微調整が可能である。その他の処理については、本発明の第１〜６の実施形態と同様である。
【００４０】
以上のように、本発明の第７の実施形態の映像シーン情報生成装置によれば、本発明の第１〜６の実施形態の個人認証処理部１５に、顔の動きを検知する機能と、ある一定時間以上動作した場合は重要度を引き上げる機能を加えることで、登場人物の重要度のランク付けの微調整を行うことが可能である。
【００４１】
なお、本発明は上述した実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において種々の形態で実施し得るものである。
【産業上の利用可能性】
【００４２】
本発明にかかる映像シーン情報生成装置は、映像シーン毎の登場人物データを個人認証により映像シーン情報を生成する場合、映像シーン毎に重要度の高い順に人物を特定し、さらに不必要な登場人物データはカットして生成することができるという効果、および不要な認識処理をしないため処理速度を向上させることができるという効果を有し、コンテンツアーカイブシステムでのコンテンツ検索やシーン検索、および将来実施が予定されているサーバ型放送でのダイジェスト視聴等で利用するための映像シーン情報作成用途にも適用でき、有用である。
【図面の簡単な説明】
【００４３】
【図１】本発明の第１の実施形態に係る映像シーン情報生成装置の構成を示すブロック図
【図２】その映像シーン情報生成装置の動作説明のためのフロー図
【図３】（Ａ）はその映像シーン情報生成装置の範囲パターン設定例を示す説明図 （Ｂ）はその範囲パターン設定例の変形例を示す説明図
【図４】その映像シーン情報生成装置の重要度下限設定例を示す説明図
【図５】本発明の第２の実施形態に係る映像シーン情報生成装置の構成を示すブロック図
【図６】その映像シーン情報生成装置の動作説明のためのフロー図
【図７】（Ａ）はその映像シーン情報生成装置での画角を示す説明図、（Ｂ）は範囲パターンを示す説明図、（Ｃ）は重要度下限設定の対応表を示す説明図
【図８】本発明の第３の実施形態に係る映像シーン情報生成装置の構成を示すブロック図
【図９】その映像シーン情報生成装置の動作説明のためのフロー図
【図１０】（Ａ）はその映像シーン情報生成装置での移動量や回転量を示す説明図、（Ｂ）は範囲パターンを示す説明図、（Ｃ）は重要度下限設定の対応表を示す説明図
【図１１】本発明の第４の実施形態に係る映像シーン情報生成装置の構成を示すブロック図
【図１２】その映像シーン情報生成装置の動作説明のためのフロー図
【図１３】（Ａ）はその映像シーン情報生成装置の範囲パターンを示す説明図、（Ｂ）は重要度下限設定の対応表を示す説明図
【図１４】本発明の第５の実施形態に係る映像シーン情報生成装置の構成を示すブロック図
【図１５】その映像シーン情報生成装置の動作説明のためのフロー図
【図１６】（Ａ）はその映像シーン情報生成装置での結像サイズを示す説明図、（Ｂ）は結像素子面での範囲パターンを示す説明図、（Ｃ）は範囲パターン幅の設定値を算出する演算式を示す説明図
【図１７】本発明の第７の実施形態に係る映像シーン情報生成装置の登場人物の重要度引き上げ方法を示す説明図
【図１８】従来の映像シーン情報生成装置の構成を示すブロック図
【符号の説明】
【００４４】
１、２、３、４、５ 映像シーン情報生成装置
１１ カメラ部
１２ 映像メモリ処理部
１３ 重要度下限設定処理部
１４ 範囲パターン設定処理部
１５ 個人認証処理部
１６ 映像シーン情報生成処理部
２１ ズーム情報取得処理部
２２Ａ〜２２Ｃ 第１〜第３の重要度下限判定処理部
２３ 被写体距離取得処理部
３１ カメラ台座情報取得処理部
５１ 設定確認処理部
Ｐ１ 範囲パターン設定例（同心円状）
Ｐ２ 範囲パターン設定例（縦縞状）
Ｐ３ 重要度下限設定例（同心円状）
Ｐ４ 範囲パターン設定例（縦縞状）
Ｔ１ 画角と重要度下限設定値の対応表
Ｔ２ 回転量と重要度下限設定値の対応表
Ｔ３ 回転量と画角のマトリクスによる重要度下限設定値の対応表
Ｐ８ 顔の動作検地による重要度設定値の変更方法の説明図
【特許請求の範囲】
【請求項１】
各映像シーンでの登場人物情報を個人認証により生成する映像シーン情報生成装置であって、
カメラ部、映像メモリ処理部、重要度下限設定処理部、範囲パターン設定処理部、個人認証処理部、映像シーン情報生成処理部を備え、
前記カメラ部は、映像信号を出力し、
前記範囲パターン設定処理部は、前記各映像シーンでの登場人物のうち重要な役割を果す登場人物が映る画面領域を最重要範囲として画面全体を重要度別に領域分割した範囲パターンを予め複数用意しておき、その中から撮影者が撮影シーン毎に最適な範囲パターンを選択し、
前記重要度下限設定処理部は、個人認証する画面領域を限定するために選択した前記範囲パターンの重要度の中で最低とする重要度を指定し、
前記個人認証処理部は、前記最重要度から前記指定した重要度までの前記範囲パターン内の画面領域で個人認証を行い、
前記映像シーン情報生成処理部は、前記範囲パターンで指定した各重要度の画面領域内に映っている登場人物の情報とその登場人物の重要度とをランク付けしたデータを生成し各映像シーンで重要な役割を担っている登場人物に絞った情報生成を行うとともに、前記映像シーンの時刻情報と併せて映像シーン情報として生成する映像シーン情報生成装置。
【請求項２】
前記カメラ部、前記映像メモリ処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、ズーム情報取得処理部、第１の重要度下限判定処理部及び被写体距離取得処理部を備え、
前記ズーム情報取得処理部は、前記カメラ部からレンズの画角情報を取得し、
前記被写体距離取得処理部は、被写体までの距離情報を取得し、
前記第１の重要度下限判定処理部は、前記被写体がほぼ一定の距離のままズームアップして画角を変えるとき、前記画角に合わせて個人認証する画面範囲を自動で限定する請求項１に記載の映像シーン情報生成装置。
【請求項３】
前記カメラ部、前記映像メモリ処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、カメラ台座情報取得処理部及び第２の重要度下限判定処理部を備え、
前記カメラ台座情報取得処理部は、位置検出による単位時間当たりのカメラ移動量と、雲台の単位時間当たりのカメラ回転量とを検出し、
前記第２の重要度下限判定処理部は、前記カメラ移動量及び前記カメラ回転量の変化量が多くなるにつれ、前記範囲パターン中の検索範囲を前記画面中央付近のみ個人認証するように自動設定を行い、単位時間当たりの前記カメラ移動量及び前記カメラ回転量に合わせて個人認証する画面範囲を自動で限定する請求項１に記載の映像シーン情報生成装置。
【請求項４】
前記カメラ部、前記映像メモリ処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、ズーム情報取得処理部、カメラ台座情報取得処理部、被写体距離取得処理部、第３の重要度下限判定処理部及び被写体距離取得処理部を備え、
前記ズーム情報取得処理部は、ズーム情報を取得するとともに、
前記被写体距離取得処理部は、被写体距離に関する情報を取得し、
前記カメラ台座情報取得処理部は、前記カメラ移動量及び前記カメラ回転量に関するカメラ台座情報を取得し、
前記第３の重要度下限判定処理部は、前記ズーム情報と前記被写体距離から画角を取得するとともに、前記カメラ台座情報からカメラ移動やカメラ回転の変化量を取得し、画角と変化量のパラメータのマトリクスに合わせて個人認証する画面範囲を自動で限定する請求項１に記載の映像シーン情報生成装置。
【請求項５】
前記カメラ部、前記映像メモリ処理部、前記重要度下限設定処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、設定確認処理部を備え、
前記カメラ部、前記映像メモリ処理部、前記設定確認処理部、前記重要度下限設定処理部及び前記範囲パターン設定処理部は一体化したカメラ撮影装置としてまとめて構成し、
前記カメラ撮影装置のビューファインダー又はモニター上の映像に、前記範囲パターンを重ねて表示し、
前記個人認証処理部は、前記ビューファインダー又は前記モニター上の前記範囲パターンの種類、位置、各重要度範囲の幅を確認しながら、個人認証を行う請求項１に記載の映像シーン情報生成装置。
【請求項６】
前記ズーム情報取得処理部はレンズ焦点距離を取得するとともに、
前記被写体距離取得処理部は被写体距離を取得し、
前記範囲パターン設定処理部は、前記被写体の結像サイズを計算し、前記レンズ焦点距離、前記被写体距離、前記結像サイズにより、範囲パターン中の各重要度範囲の幅設定を自動で行い、
前記個人認証処理部は個人認証を行う請求項２または４記載の映像シーン生成装置。
【請求項７】
前記個人認証処理部は、個人認証をする際、顔の動きが多い人物の重要度を自動で設定した値より高くして映像シーン情報を生成する請求項１〜６の何れか１項に記載の映像シーン情報生成装置。
【請求項１】
各映像シーンでの登場人物情報を個人認証により生成する映像シーン情報生成装置であって、
カメラ部、映像メモリ処理部、重要度下限設定処理部、範囲パターン設定処理部、個人認証処理部、映像シーン情報生成処理部を備え、
前記カメラ部は、映像信号を出力し、
前記範囲パターン設定処理部は、前記各映像シーンでの登場人物のうち重要な役割を果す登場人物が映る画面領域を最重要範囲として画面全体を重要度別に領域分割した範囲パターンを予め複数用意しておき、その中から撮影者が撮影シーン毎に最適な範囲パターンを選択し、
前記重要度下限設定処理部は、個人認証する画面領域を限定するために選択した前記範囲パターンの重要度の中で最低とする重要度を指定し、
前記個人認証処理部は、前記最重要度から前記指定した重要度までの前記範囲パターン内の画面領域で個人認証を行い、
前記映像シーン情報生成処理部は、前記範囲パターンで指定した各重要度の画面領域内に映っている登場人物の情報とその登場人物の重要度とをランク付けしたデータを生成し各映像シーンで重要な役割を担っている登場人物に絞った情報生成を行うとともに、前記映像シーンの時刻情報と併せて映像シーン情報として生成する映像シーン情報生成装置。
【請求項２】
前記カメラ部、前記映像メモリ処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、ズーム情報取得処理部、第１の重要度下限判定処理部及び被写体距離取得処理部を備え、
前記ズーム情報取得処理部は、前記カメラ部からレンズの画角情報を取得し、
前記被写体距離取得処理部は、被写体までの距離情報を取得し、
前記第１の重要度下限判定処理部は、前記被写体がほぼ一定の距離のままズームアップして画角を変えるとき、前記画角に合わせて個人認証する画面範囲を自動で限定する請求項１に記載の映像シーン情報生成装置。
【請求項３】
前記カメラ部、前記映像メモリ処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、カメラ台座情報取得処理部及び第２の重要度下限判定処理部を備え、
前記カメラ台座情報取得処理部は、位置検出による単位時間当たりのカメラ移動量と、雲台の単位時間当たりのカメラ回転量とを検出し、
前記第２の重要度下限判定処理部は、前記カメラ移動量及び前記カメラ回転量の変化量が多くなるにつれ、前記範囲パターン中の検索範囲を前記画面中央付近のみ個人認証するように自動設定を行い、単位時間当たりの前記カメラ移動量及び前記カメラ回転量に合わせて個人認証する画面範囲を自動で限定する請求項１に記載の映像シーン情報生成装置。
【請求項４】
前記カメラ部、前記映像メモリ処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、ズーム情報取得処理部、カメラ台座情報取得処理部、被写体距離取得処理部、第３の重要度下限判定処理部及び被写体距離取得処理部を備え、
前記ズーム情報取得処理部は、ズーム情報を取得するとともに、
前記被写体距離取得処理部は、被写体距離に関する情報を取得し、
前記カメラ台座情報取得処理部は、前記カメラ移動量及び前記カメラ回転量に関するカメラ台座情報を取得し、
前記第３の重要度下限判定処理部は、前記ズーム情報と前記被写体距離から画角を取得するとともに、前記カメラ台座情報からカメラ移動やカメラ回転の変化量を取得し、画角と変化量のパラメータのマトリクスに合わせて個人認証する画面範囲を自動で限定する請求項１に記載の映像シーン情報生成装置。
【請求項５】
前記カメラ部、前記映像メモリ処理部、前記重要度下限設定処理部、前記範囲パターン設定処理部、前記個人認証処理部、前記映像シーン情報生成処理部の他に、設定確認処理部を備え、
前記カメラ部、前記映像メモリ処理部、前記設定確認処理部、前記重要度下限設定処理部及び前記範囲パターン設定処理部は一体化したカメラ撮影装置としてまとめて構成し、
前記カメラ撮影装置のビューファインダー又はモニター上の映像に、前記範囲パターンを重ねて表示し、
前記個人認証処理部は、前記ビューファインダー又は前記モニター上の前記範囲パターンの種類、位置、各重要度範囲の幅を確認しながら、個人認証を行う請求項１に記載の映像シーン情報生成装置。
【請求項６】
前記ズーム情報取得処理部はレンズ焦点距離を取得するとともに、
前記被写体距離取得処理部は被写体距離を取得し、
前記範囲パターン設定処理部は、前記被写体の結像サイズを計算し、前記レンズ焦点距離、前記被写体距離、前記結像サイズにより、範囲パターン中の各重要度範囲の幅設定を自動で行い、
前記個人認証処理部は個人認証を行う請求項２または４記載の映像シーン生成装置。
【請求項７】
前記個人認証処理部は、個人認証をする際、顔の動きが多い人物の重要度を自動で設定した値より高くして映像シーン情報を生成する請求項１〜６の何れか１項に記載の映像シーン情報生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００７−３６５４０（Ｐ２００７−３６５４０Ａ）
【公開日】平成１９年２月８日（２００７．２．８）
【国際特許分類】
【出願番号】特願２００５−２１５４９６（Ｐ２００５−２１５４９６）
【出願日】平成１７年７月２６日（２００５．７．２６）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１９年２月８日（２００７．２．８）
【国際特許分類】
【出願日】平成１７年７月２６日（２００５．７．２６）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]