画像情報処理装置及び画像情報処理方法
【課題】本実施形態では、視聴者の顔画像データと番組の番組データに含まれる出演者の顔画像データと番組情報とを有効活用できる画像情報処理装置及び画像情報処理方法を提供する。
【解決手段】実施形態によれば、視聴者画像処理部304が視聴者を撮像した撮像信号から前記視聴者の顔画像データを検出する。視聴番組画像処理部305が、前記視聴者が視聴している番組データに含まれる出演者の顔画像データを検出する。同期制御部303が前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報とを関連つけた視聴者情報を作成し、視聴データ登録部306に送信する。
【解決手段】実施形態によれば、視聴者画像処理部304が視聴者を撮像した撮像信号から前記視聴者の顔画像データを検出する。視聴番組画像処理部305が、前記視聴者が視聴している番組データに含まれる出演者の顔画像データを検出する。同期制御部303が前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報とを関連つけた視聴者情報を作成し、視聴データ登録部306に送信する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は画像情報処理装置及び画像情報処理方法に関する。
【背景技術】
【0002】
視聴者が興味を持つと考えられる画像コンテンツを特定する装置がある。この装置は、画像コンテンツを視聴したときの視聴者の表情を撮像し、視聴者の感情を推測する、また画像コンテンツの出演者の表情から出演者の感情を推測する。そして視聴者と出演者の感情が一致するシーンを、視聴者が共感したシーンであると推測し、このシーンの画像を要約画像として所定の記憶領域に記憶する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−97047号公報
【特許文献2】特開2010−26871号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
番組の特定のシーンと視聴者の表情を関連付ける技術が開発されているが、この技術はさらなる展開を要望される。
【0005】
本実施形態では、視聴者の顔画像データと番組の番組データに含まれる出演者の顔画像データと番組情報とを有効活用できる画像情報処理装置及び画像情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
実施形態によれば、視聴者画像処理部が視聴者を撮像した撮像信号から前記視聴者の顔画像データを検出する。視聴番組画像処理部が、前記視聴者が視聴している番組データに含まれる出演者の顔画像データを検出する。同期制御部が前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報とを関連つけた視聴者情報を作成し、視聴データ登録部に送信する。
【図面の簡単な説明】
【0007】
【図1】本実施形態が適用されたテレビジョン受信装置の概略構成を示す図である。
【図2】図1の客観的画像処理201のブロック構成を示す図である。
【図3】図2に示した視聴者画像処理部304と視聴番組画像処理部305の動作を簡単に示すフローチャートである。
【図4】本実施形態における視聴者画像処理部304の動作を簡単に示すフローチャートである。
【図5】本実施形態における視聴番組画像処理部305の動作を簡単に示すフローチャートである。
【図6】視聴データ登録部306内のデータベース(視聴者情報)の構成例を示す図である。
【図7】本実施形態におけるお勧め番組情報構築部202のデータ整理部202aにより実行される登録処理ルーチンの例を示す図である。
【図8】本実施形態における視聴データ登録部306内において、各視聴者に対するお勧め番組を充実させるための機能を説明する図である。
【図9】同じく視聴データ登録部306内において、各視聴者に対するお勧め番組を充実させるための機能を説明する図である。
【図10】本実施形態におけるテレビジョン受信装置が、視聴者にお勧め番組情報を提供している例を示す図である。
【図11】本実施形態に含まれる表情解析部343が表情解析を行う時期を設定する場合種々の選択肢を説明する図である。
【図12】図1の客観的画像処理201の他の実施形態によるブロック構成を示す図である。
【図13】本実施形態における視聴者の顔画像信号と、対応する番組の出演者の顔画像信号と、当該番組の画像信号とを対応付けたダイジェスト版ファイルのデータ構成例を示す図である。
【図14】本実施形態における視聴者反応画像ファイルが再生されたときの表示器に表示される画像の例を示す図である。
【図15】本実施形態における視聴者反応画像ファイルが再生されたときの表示器に表示される画像の他の例を示す図である。
【発明を実施するための形態】
【0008】
以下、実施の形態について図面を参照して説明する。図1は、本実施形態が適用された例えばテレビジョン受信装置の概略構成を示している。テレビジョン受信装置に代わって、データ記録再生装置であってもよい。11は、チューナ装置であり、複数のチューナが内蔵されており、同時に複数のチャンネルを受信し、複数の放送番組を復調することができる。チューナ装置11には、入力端子AN1,・・・ANnを介してアンテナで受けられた高周波信号が入力される。入力端子BN1は、外部入力端子であり、ケーブル或いはネットワーク或いは他の機器からの信号が入力する。
【0009】
セレクタ12は、チューナ装置11からの復調信号(ストリーム信号)、或いは入力端子BN1からの信号を制御部20からの制御の元で選択して出力する。セレクタ12で選択された制御ストリームは、制御部20に入力される。セレクタ12で選択された番組信号のストリームは、信号処理部13に入力される。
【0010】
信号処理部13は、入力した番組信号のストリームの内、例えば視聴される番組のストリームを復号処理し、復号された画像信号を出力部14に出力する。出力部14では制御部20からのグラフィック画像信号(番組表画像信号、メニュー画像信号など)が、番組画像信号に多重される。また出力部14では、画像信号のサイズ、スケール変換、解像度処理などが行われ、表示器15に出力される。
【0011】
表示器15には、カメラ17が取り付けられている。カメラ17は、表示器15のキャビネット内に内蔵されていてもよい。カメラ17は、表示器17の画像を視聴している視聴者を撮像するものである。カメラ17の撮像信号は、インターフェース18を介して制御部20に取り込むことができる。またカメラ17の撮像信号は、制御部20から出力部14を通り、表示器15でモニタすることができる。このとき、ユーザは、カメラ17の撮像状態を調整し、撮像方向、撮像エリアなどを設定することができる。この設定は、リモートコントローラで行うことも可能であるし、カメラ17の操作部を直接操作することで可能である。なおカメラ17は、その配置位置を種々変更可能に取り付けられていてもよい。
【0012】
制御部20は、周辺に接続されているブロックを統括的に制御している。またリモートコントローラ22からの操作信号が、受信部21を介して制御部20に入力される。これによりユーザの操作が装置全体に反映される。
【0013】
制御部20にはリードオンリーメモリ(ROM)26が接続されている。ROM206には、制御部20が利用する各種のプログラムが格納されている。制御部20にはランダムアクセスメモリ23が接続されている。このメモリ23は、一時的なデータの保存部、演算処理のためのプログラムの展開部として利用される。さらに制御部20にはハードディスクドライブ(HDD)24が接続されている。HDD24は、番組信号を録画及び再生するための媒体として利用される。また制御部20にはBD/DVDドライブ25が接続されている。BD/DVDドライブ25もまた、番組信号を録画及び又は再生するための媒体として利用される。さらにまた、制御部20には、USBケーブルを介して、キーボード27を接続することができる。ユーザは、ある動作モードにおいては、表示器15を見ながらキーボード27を操作して、データ(文字、図形など)を入力することができる。
【0014】
制御部20には、客観的画像処理部201、お勧め番組情報構築部202、表示データ制御部203が内蔵されている。
【0015】
図2には、客観的画像処理部201のブロック構成を示している。302は、この客観的画像処理部201の動作を指令するための実行指示部である。この実行指示部302に実行操作信号が入力されると、同期制御部303が起動する。同期制御部303は、視聴者画像処理部304に含まれる視聴者画像取得部341を起動する。視聴者画像取得部341は、カメラ17を起動し、視聴者の撮像画像を取り込む。
【0016】
顔検出部342は、視聴者を撮像した画像信号の中から顔画像信号を検出する。検出した顔画像信号は、表情解析部343に入力される。表情解析部343は、顔画像に複数点(例えば眼、口、頬)を設定し、フレーム時間の経過とともに複数点の移動(動き)を監視する。この複数点の動き(極端な変化)により、顔の変化(例えば笑顔、泣き顔、怒り顔)を検出することができる。つまり視聴者の表情変化が設定レベル以上になったときを検出している。
【0017】
表情解析部343の解析結果信号は、同期制御部303に入力される。同期制御部303は、解析結果信号が来たときの番組の視聴画像信号の区間を決定する。つまり、視聴者が視聴している視聴画像信号であって、視聴者が例えば笑顔に変化したとき及びその前後の例えば1乃至2分間の視聴画像信号を特定する。
【0018】
この視聴画像信号を特定するタイミングは、視聴者が笑顔に変化したときに限定されるものではなく、定期的に実施されてもよい。定期的に実施される場合は、上記の解析結果信号は、定期的なタイミング信号となる。
【0019】
同期制御部303の制御に基づいて、視聴番組画像処理部305は、以下のように動作する。視聴画像取得部351は、前記1乃至2分間の視聴画像信号を取り込む。顔検出部352は、取り込まれた番組の画像信号から顔画像信号を検出する。この顔画像信号は、視聴者が視聴した番組の出演者に相当することがほとんどである。顔検出部352は、顔検出部342と同じ方法で画像信号の中から顔画像信号を検出する
顔画像信号は顔認識部353に入力される。顔認識部353は、認識した顔画像信号に対応する人物(出演者)の画像信号がデータベース354に含まれているかどうかをサーチする。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース354に存在しない場合、認識した顔画像信号を新たな情報として特定し、データベース354に登録のために送信したことを同期制御部303に通知する。しかし、認識した顔画像信号に対応する人物(出演者)の画像信号が、データベース354に存在した場合、その存在を確認し、特定したことを同期制御部303に通知する。
【0020】
同期制御部303は、上記の通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。又このとき、各顔画像信号に対して識別データを付加する。そして視聴者の識別データと、視聴者の例えば顔画像信号と、前記番組の特定した出演者の顔画像信号と、視聴者が視聴していた番組情報とを関連付けたテーブルを作成することができる。このテーブルは、ある視聴者が、どの出演者に興味を持つかという視聴者情報として位置づけられる。
【0021】
客観的画像処理部201が処理対象とする番組の画像信号は、例えば受信中であって視聴者が視聴しておりかつ録画中の番組の画像信号であってもよい。或いは、客観的画像処理部201が、処理対象とする番組の画像信号は、すでに記録媒体に録画されている番組の画像信号であって現在当該番組が再生されて、視聴者が視聴している番組の画像信号であってもよい。
【0022】
図3は、図2に示した視聴者画像処理部304と視聴番組画像処理部305の動作を簡単に示すフローチャートである。実行指示部302から処理開始の指示があると(ステップS3−1)、同期制御部303は、画像取得指示を視聴者画像処理部304、視聴番組画像処理部305に指示する。視聴者画像処理部304は、上記したようにカメラ17から取り込んだ撮像信号を処理し、視聴者の顔画像信号を処理する。視聴番組画像処理部305は、視聴者が視聴している番組の画像信号処理に移行する(ステップS3−4)。
【0023】
視聴者画像処理部304、視聴番組画像処理部305の処理動作は、同期制御部303により統括されている。同期制御部303は、視聴者画像処理部304及び視聴番組画像処理部305からの通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。又このとき、各顔画像信号に対して識別データを付加する。そして、識別データと、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号と、視聴者が視聴していた番組情報とを関連付けた前述したテーブルを作成することができる。
【0024】
図4は、上記した視聴者画像処理部304の動作を簡単に示すフローチャートである。実行指示部302から画像を取得せよとの指示があると(ステップS4−1)、視聴者の画像がカメラ17から取り込まれる。次に顔検出処理が行われ(ステップS4−2)、検出した顔画像信号を用いて、表情解析処理が実施される(ステップS4−3)。そして表情解析結果信号は、同期信号制御部303に通知される。
【0025】
図5は、上記した視聴番組画像処理部305の動作を簡単に示すフローチャートである。同期制御部303の制御に基づいて、視聴画像取得部351が、前記表情解析結果信号が通知された時点の前後数秒間の画像信号を取り込む(ステップS5−1)(ステップS5−2)。顔検出部352は、取り込まれた番組の画像信号から顔画像信号を検出する(ステップS5−3)。番組信号から取得した顔画像信号に対応する人物の画像信号がデータベース354に含まれているかどうかをサーチされる(ステップS5−4)。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース354に存在するか否かの判定が行われる(ステップS5−5)。
【0026】
これにより、同期制御部303は、上記したように視聴者画像処理部304及び視聴番組画像処理部305からの通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。
【0027】
図6は、視聴データ登録部306内のデータベース(視聴者情報)の構成例を示している。411は、新しく取り込まれた新視聴者Nのための視聴者情報領域であり、視聴者Nの顔画像と、視聴者Nが視聴した番組NPに出演している出演者NAの顔画像及び出演者識別子NAIDと、視聴した番組の番組情報NPが記述される。
【0028】
412は、視聴者Aのための視聴者情報領域であり、413は、視聴者Bのための視聴者情報領域であり、414は、視聴者Cのための視聴者情報領域である。
【0029】
今、視聴者情報領域412には、視聴者Aの顔画像、出演者AAの顔画像及び識別子AAID、及び番組情報AP1が格納されているものとする。この視聴者情報は、出演者AAが番組情報AP1の番組に出演し、視聴者Aがこの出演者AAに興味を持っているものとして位置づけられている。
【0030】
また、視聴者情報領域413には、視聴者Bの顔画像、出演者BAの顔画像及び識別子であるBAID、及び番組情報BP1が格納されているものとする。この視聴者情報は、出演者BAが番組情報BP1の番組に出演し、視聴者Bがこの出演者BAに興味を持っているものとして位置づけられている。
【0031】
さらに、視聴者情報領域414には、視聴者Cの顔画像、出演者CAの顔画像及び識別子であるCAID、及び番組情報CP1が格納されているものとする。この視聴者情報は、出演者CAが番組情報CP1の番組に出演し、視聴者Cがこの出演者CAに興味を持っているものとして位置づけられている。さらにこの視聴者情報には、出演者BAの顔画像及び識別子であるBAID、及び番組情報BP1が格納されている。この情報は、視聴者Bの視聴者情報と同じであり、このことは、視聴者Cは、視聴者Bが興味をもつ出演者BAにも興味を持つことを意味する。さらにまた視聴者Cの視聴者情報には、出演者AAの顔画像及び識別子AAID、及び番組情報AP2が格納されているものとする。この場合は、視聴者Cは、視聴者Aと同じ出演者AAに興味を持つが、視聴者AとCは異なる番組を見て出演者AAに興味を持ったことを意味している。
【0032】
今、一次保存領域である視聴者情報領域411には、新しく取り込まれた新視聴者Nのための視聴者情報領域であり、視聴者Nの顔画像と、視聴者Nが視聴した番組NPに出演している出演者NAの顔画像及び出演者識別子NAIDと、視聴した番組の番組情報NPが記述されている。
【0033】
しかし、新しく取り込んだ視聴者情報は、視聴者データ登録部306に登録されるべきか否かチェックされる必要がある。これは、視聴者データ登録部306において、重複情報が構築されるのを防ぐ必要があるからである。この重複情報のチェックは、お勧め番組情報構築部202のデータ整理部202aにより行われる。
【0034】
図7には、データ整理部202aにより実行される登録処理ルーチンを示している。視聴者情報を視聴者データ登録部306に登録すべきか否かをチェックする処理ルーチンである。
【0035】
新しく取り込んだ視聴者情報の視聴者Nの顔画像は、視聴データ登録部306に登録されている既登録の視聴者の顔画像と比較される(ステップS7−1)。一致する既登録顔画像が無い場合は、新しく取り込んだ顔画像は、新規の視聴者であるから、登録が実施される。即ち、新しい視聴者情報ための領域が確保され、視聴者Nの顔画像と、視聴者Nが視聴した番組(番組情報NP)に出演している出演者NAの顔画像及び出演者識別子NAIDと、視聴した番組の番組情報NPが登録される。
【0036】
ステップS7−1で、一致する既登録顔画像が存在する場合(例えばN=Cであるとする)は、既に、視聴者Cが登録されていることである。そして、次のチェック(ステップS7−2)として、出演者NAの顔画像及び出演者識別子NAIDと、既登録の出演者の顔画像及び出演者識別子とを比較する。一致するものが無い場合は、視聴者Cが新しい出演者の番組を視聴したことであり、当該出演者及びそのときの番組情報を視聴者Cの番組情報領域414に登録する。
【0037】
しかしここで、出演者NAの顔画像及び出演者識別子NAIDと一致する出演者の顔画像及び出演者識別子が存在する場合(例えばNA=AA、NAID=AAIDとする)、すでに視聴者Cの視聴者情報には、出演者AAの顔画像及び出演者識別子が含まれていることである。次は番組情報のチェックが実施される(ステップS7−3)。即ち、新しい番組情報NPと、視聴者Cの視聴者情報内で出演者AAが出演する番組情報と一致するものが存在するか否かの判定が行われる。いま、番組情報NPがNP=AP2であったとする。一方、出演者AAが出演する既登録番組情報がAP1であったとする。この場合は、ステップS7−3の判定では、一致無しであるから、番組情報AP2の登録が実施される(ステップS7−5)。しかしステップS7−3で番組情報が一致した場合は、登録無しで終了する(ステップS7−4)。
【0038】
上記したように、新しく視聴者Nの顔画像と、視聴者Nが視聴した番組情報NPの番組に出演している出演者NAの顔画像及び出演者識別子NAIDと、視聴した番組の番組情報NPが取得されたとしても、既登録の情報と比較され、重複登録が回避される。
【0039】
図8と図9は、視聴データ登録部306内において、各視聴者に対するお勧め番組を充実させるための機能を説明する図である。
【0040】
図8の例に示すように、視聴者Aと視聴者Cは、同じアクター(出演者AA)に興味を持っているものとする。ここで、視聴者Aは、出演者AAが出演した番組情報AP1の番組を視聴し、視聴者Cは、出演者AAが出演した番組情報AP2の番組を視聴したものとする。このような場合は、視聴者Aの視聴者情報にも番組情報AP2を追加し、視聴者Cの視聴者情報にも番組情報AP1を追加することが好ましい。
【0041】
なお図8では、視聴データ登録部306に視聴者反応画像ファイル415,416,417を示しているがこのファイルについては後述する。
【0042】
図9は、図8で示した形態の視聴者情報編集処理を実施するための処理ルーチンである。例えば視聴者Aの視聴者情報に含まれている出演者AAの顔画像及びAAIDをレジスタへ格納する(ステップS9−1)。
【0043】
次に、出演者AAの顔画像及びAAIDと、他の視聴者の視聴者情報に含まれる出演者の顔画像及び識別子とを順次比較する(ステップS9−2)。出演者AAの顔画像及びAAIDに一致する他の視聴者の視聴者情報に含まれる出演者の顔画像及び識別子が存在しない場合は、終了する。
【0044】
しかし、出演者AAの顔画像及びAAIDに一致する他の出演者の顔画像及び識別子が存在した場合、次のチェックにシフトする。図9、図8の例では、視聴者Aの視聴者情報に含まれる出演者AAの顔画像及びAAIDと、視聴者Cの視聴者情報に含まれる出演者AAの顔画像及びAAIDとが一致する。このことは、視聴者AとCが、出演者(アクター)AAに興味を持つことを意味する。
【0045】
次のステップS9−3では、視聴者Aの視聴者情報に含まれる番組AP1情報と、視聴者Cの視聴者情報に含まれる番組情報AP2との比較を実施する。この場合は、番組情報AP1と番組情報AP2とが不一致であるから、ステップS9−4で、番組情報AP2を視聴者Aの番組情報に追加する。
【0046】
視聴者Cの視聴者情報が他の視聴者の視聴者情報と比較される場合は、番組情報AP1が視聴者Cの視聴者情報に含まれていないことが判明する。したがって、視聴者Cの視聴者情報に番組情報AP1が追加される。
【0047】
上記の視聴者情報は、お勧め番組を提供する場合に有効である。例えば視聴者Aの視聴者情報を読み出して、出演者の顔と、番組情報(番組名、チャンネルなど)を表示器に表示することができる。
【0048】
図10(A),図10(B)は、テレビジョン受信装置15が、表示データ制御部203の制御に基づいて、視聴者に対してお勧め番組情報を提供している様子を示している。例えば、視聴者が、リモートコントローラ操作を通じて、テレビジョン受信装置15に対してメニュー表示を要求したとする。すると、図10(A)に示すようにメニューの中には、「お勧め番組」の項目があり、この項目の横には「あなたにお勧めの番組情報が用意されています。番組リストを表示しますか?」と言う、コメントが表示される。
【0049】
視聴者が、この「お勧め番組」の項目を選択して決定ボタンを操作すると、図10(B)に示すように、視聴者に対応する視聴者情報が表示される。例えば視聴者が図8で説明した視聴者Cであったとすると、視聴者Cが興味を持っている出演者CA及びAAが出演している番組の番組情報CP1、BP1,AP1,AP2などが各番組の出演者の顔画像と共に表示される。視聴者は、視聴しようとする番組名をカーソル操作により選択し、決定ボタンを押すことで、当該番組の再生が開始される。
【0050】
このように視聴者毎にお勧め番組を提供できるのは、以下の理由による。視聴者が例えばメニューボタンを押したとき、カメラ17を介して視聴者が撮像される。撮像された視聴者の顔が顔検出部で検出される。検出された顔画像は、既に視聴者データ登録部に登録されている視聴者の顔画像と比較され、登録顔画像内に同一人物が存在するか否か判定される。そして、同一人物(視聴者)が検出されている場合に、前述した「お勧め番組」の項目が表示される。
【0051】
上記したように、視聴者は、自分が興味を持っているアクターが出演した番組情報を他の視聴者情報からも取得することが可能である。
【0052】
図11には、表情解析部343が表情解析を行う時期を設定する場合、種々の選択肢を示している。まず、表情解析部343が表情解析を行う時期に対してCM期間停止情報501を与えることで、CM期間は停止するように設定することができる。また表情解析部343が表情解析を行う期間として、連続して行う連続指示情報503又は定期的に行うことを指示するための定期的実行指示情報504の何れかを与えることができる。定期的実行指示情報504が表情解析部343に与えられた場合、そのインターバル情報505(例えば5分間隔、10分間隔、15分間隔など)を設定することができる。
【0053】
CM期間停止情報501は、視聴番組画像処理部305或いはその内部の視聴画像取得部351、顔検出部352、顔認識部353などに与えられてもよい。
【0054】
さらに、視聴データ登録部306に「視聴者情報」を登録する場合、登録する条件を設定することも可能である。まず条件設定512は、条件無しで定期的に視聴者情報を登録するように設定することができる。視聴者情報の登録は、図7乃至図9で説明したとおりである。次に条件設定513がある、この設定513は、視聴者の笑顔検出があったときを登録条件とするものである。このとき笑い声検出により、笑い声も条件設定514の項目としてよい。
【0055】
さらに条件設定として、視聴者の視聴人数をデータ登録条件としてもよい。視聴している視聴者の人数を登録条件として(条件設定515)、複数の場合と単独の場合との何れかを指定できるようにしてもよい。また視聴者が特定の人物であるときのみを登録条件として設定できるようにしてもよい(条件設定516)。このためには、予めカメラで撮像した人物を登録しておくことで、現在の視聴者を特定可能としている。
【0056】
さらに、視聴データが登録される場合、番組画像と視聴者顔画像とを関連付けた、ダイジェストファイル作成を設定できるようにしても良い(条件設定523)。
【0057】
図12は、視聴データが視聴データ登録部に登録される場合、番組画像と視聴者顔画像とを関連付けた、ダイジェストファイルの作成を設定できる実施形態の例を示している。図2に示したブロックと同一部分には同一符号を付している。
【0058】
客観的画像処理部201において、視聴者画像処理部304は、図2に示した構成とほぼ同じである。表情解析部343は、顔画像に複数点(例えば眼、口、頬)を設定し、フレーム時間の経過とともに複数点の移動(動き)を監視する。この複数点の動き(極端な変化)の情報が、笑顔検出部344に入力される。笑顔検出部344は、顔の変化の情報から笑顔を検出することができる。
【0059】
笑顔検出信号は、視聴番組画像処理部305の取得画像選択部357に入力される。取得画像選択部357は、視聴コンテンツ取得部356を制御し、視聴者の笑顔が検出された時点とその前後例えば1乃至2分のコンテンツを取得する。さらに取得されたコンテンツから、顔検出部352が人物の顔画像を検出する。この顔画像信号は、視聴者が視聴した番組の出演者に相当することがほとんどである。顔検出部352は、顔検出部342と同じ方法で画像信号の中から顔画像信号を検出する
顔画像信号は顔認識部353に入力される。顔認識部353は、認識した顔画像信号に対応する人物(出演者)の画像信号がデータベース354に含まれているかどうかをサーチする。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース354に存在しない場合、認識した顔画像信号を新たな情報として特定し、データベース354に登録し、登録したことを同期制御部303に通知する。しかし、認識した顔画像信号に対応する人物(出演者)の画像信号が、データベース354に存在した場合、その存在を確認し、特定したことを同期制御部303に通知する。
【0060】
同期制御部303は、上記の通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば数十秒間の顔画像信号と、対応する番組の出演者の顔画像信号と、当該番組の画像信号とを対応付けたダイジェスト版ファイル(視聴者反応画像ファイルと称しても良い)を作成することができる。
【0061】
図13には、視聴者の顔画像信号と、対応する番組の出演者の顔画像信号と、当該番組の画像信号とを対応付けたダイジェスト版ファイルのデータ構成例を示している。これらのファイルは、図8で示した所謂、視聴者反応画像ファイル415,416,417であり、視聴データ登録部306を構成している例えばHDDなどの記録媒体の記録エリアに格納される。
【0062】
例えば番組Aに対する視聴者情報(この実施形態では視聴者情報ファイルと称しても良い)は、番組Aの番組情報(たとえば番組名、放送局名、チャンネル、収録日時情報、ジャンル)の領域と、画像データの領域を有する。画像データの領域は、例えば番組の代表画像(出演者の顔画像でも良い)の領域、視聴者の顔画像の領域と、サンプリング画像領域とを有する。
【0063】
サンプリング画像領域では、視聴者の笑顔を検出した時点とその前後1乃至5分程度の区間における視聴者を撮像した画像と前記区間に対応する番組のシーンの画像とがペアになって記録されている。図の例では番組のシーン1、シーン2、シーン3の区間がサンプリング画像として記憶されている。ここで、視聴者を撮像した画像データの先頭には、シーン1,2,3に対応するが現れる視聴者画像データには、番組の相対時間を示したタイムスタンプTSを記述しておいても良い。
【0064】
図14、図15は、表示データ制御部203の制御に基づいて、上記した視聴者反応画像ファイルが再生されたときの表示器に表示される画像の例を示している。ユーザは、表示器15に例えば録画リストを表示することができる。録画リストは、制御部20にて管理されている。録画リストの中には、視聴者反応画像ファイル415,416,417が含まれている。ユーザは、リモートコントローラ操作により、所望のファイルを選択して再生ボタンを操作することができる。ユーザが、例えば視聴者反応画像ファイル415を再生したとすると、例えば図13で示した番組のシーン1,2,3が順次再生されるとともに、同時に対応して視聴者の画像が再生される。選択ボタンにより、番組のシーンと視聴者の画像の何れか一方をピクチャーインピクチャーとして表示することができる。
【0065】
視聴者画像を再生する場合は、上記の形態に限定されない。例えば、番組Aを最初から連続して再生している途中で、シーン1、シーン2、シーン3のときに図14或いは図15に示すような表示形態に切換ってもよい。視聴者画像1,2,3にはそれぞれタイムスタンプTSが含まれているので、番組Aが再生されている途中で、シーン1、2、3が再生されるときに同期させて視聴者画像1,2,3を再生することができる。この再生を行う場合は、さらに再生モード選択ボタンにより、視聴者反応画像ファイルの同時再生を選択できるように構成される。なお、上記の説明で用いた用語は、このような称呼に限定されるものではなく、同等の機能を実現できる構成であれば、他の呼び方をされてもよい。
【0066】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0067】
11・・・チューナ装置、12・・・セレクタ、13・・・信号処理部、14・・・出力部、15・・・表示器、17・・・カメラ、18・・・インターフェース、20・・・制御部、201・・・客観的画像処理部、202・・・お勧め番組情報構築部。
【技術分野】
【0001】
本発明の実施形態は画像情報処理装置及び画像情報処理方法に関する。
【背景技術】
【0002】
視聴者が興味を持つと考えられる画像コンテンツを特定する装置がある。この装置は、画像コンテンツを視聴したときの視聴者の表情を撮像し、視聴者の感情を推測する、また画像コンテンツの出演者の表情から出演者の感情を推測する。そして視聴者と出演者の感情が一致するシーンを、視聴者が共感したシーンであると推測し、このシーンの画像を要約画像として所定の記憶領域に記憶する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−97047号公報
【特許文献2】特開2010−26871号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
番組の特定のシーンと視聴者の表情を関連付ける技術が開発されているが、この技術はさらなる展開を要望される。
【0005】
本実施形態では、視聴者の顔画像データと番組の番組データに含まれる出演者の顔画像データと番組情報とを有効活用できる画像情報処理装置及び画像情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
実施形態によれば、視聴者画像処理部が視聴者を撮像した撮像信号から前記視聴者の顔画像データを検出する。視聴番組画像処理部が、前記視聴者が視聴している番組データに含まれる出演者の顔画像データを検出する。同期制御部が前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報とを関連つけた視聴者情報を作成し、視聴データ登録部に送信する。
【図面の簡単な説明】
【0007】
【図1】本実施形態が適用されたテレビジョン受信装置の概略構成を示す図である。
【図2】図1の客観的画像処理201のブロック構成を示す図である。
【図3】図2に示した視聴者画像処理部304と視聴番組画像処理部305の動作を簡単に示すフローチャートである。
【図4】本実施形態における視聴者画像処理部304の動作を簡単に示すフローチャートである。
【図5】本実施形態における視聴番組画像処理部305の動作を簡単に示すフローチャートである。
【図6】視聴データ登録部306内のデータベース(視聴者情報)の構成例を示す図である。
【図7】本実施形態におけるお勧め番組情報構築部202のデータ整理部202aにより実行される登録処理ルーチンの例を示す図である。
【図8】本実施形態における視聴データ登録部306内において、各視聴者に対するお勧め番組を充実させるための機能を説明する図である。
【図9】同じく視聴データ登録部306内において、各視聴者に対するお勧め番組を充実させるための機能を説明する図である。
【図10】本実施形態におけるテレビジョン受信装置が、視聴者にお勧め番組情報を提供している例を示す図である。
【図11】本実施形態に含まれる表情解析部343が表情解析を行う時期を設定する場合種々の選択肢を説明する図である。
【図12】図1の客観的画像処理201の他の実施形態によるブロック構成を示す図である。
【図13】本実施形態における視聴者の顔画像信号と、対応する番組の出演者の顔画像信号と、当該番組の画像信号とを対応付けたダイジェスト版ファイルのデータ構成例を示す図である。
【図14】本実施形態における視聴者反応画像ファイルが再生されたときの表示器に表示される画像の例を示す図である。
【図15】本実施形態における視聴者反応画像ファイルが再生されたときの表示器に表示される画像の他の例を示す図である。
【発明を実施するための形態】
【0008】
以下、実施の形態について図面を参照して説明する。図1は、本実施形態が適用された例えばテレビジョン受信装置の概略構成を示している。テレビジョン受信装置に代わって、データ記録再生装置であってもよい。11は、チューナ装置であり、複数のチューナが内蔵されており、同時に複数のチャンネルを受信し、複数の放送番組を復調することができる。チューナ装置11には、入力端子AN1,・・・ANnを介してアンテナで受けられた高周波信号が入力される。入力端子BN1は、外部入力端子であり、ケーブル或いはネットワーク或いは他の機器からの信号が入力する。
【0009】
セレクタ12は、チューナ装置11からの復調信号(ストリーム信号)、或いは入力端子BN1からの信号を制御部20からの制御の元で選択して出力する。セレクタ12で選択された制御ストリームは、制御部20に入力される。セレクタ12で選択された番組信号のストリームは、信号処理部13に入力される。
【0010】
信号処理部13は、入力した番組信号のストリームの内、例えば視聴される番組のストリームを復号処理し、復号された画像信号を出力部14に出力する。出力部14では制御部20からのグラフィック画像信号(番組表画像信号、メニュー画像信号など)が、番組画像信号に多重される。また出力部14では、画像信号のサイズ、スケール変換、解像度処理などが行われ、表示器15に出力される。
【0011】
表示器15には、カメラ17が取り付けられている。カメラ17は、表示器15のキャビネット内に内蔵されていてもよい。カメラ17は、表示器17の画像を視聴している視聴者を撮像するものである。カメラ17の撮像信号は、インターフェース18を介して制御部20に取り込むことができる。またカメラ17の撮像信号は、制御部20から出力部14を通り、表示器15でモニタすることができる。このとき、ユーザは、カメラ17の撮像状態を調整し、撮像方向、撮像エリアなどを設定することができる。この設定は、リモートコントローラで行うことも可能であるし、カメラ17の操作部を直接操作することで可能である。なおカメラ17は、その配置位置を種々変更可能に取り付けられていてもよい。
【0012】
制御部20は、周辺に接続されているブロックを統括的に制御している。またリモートコントローラ22からの操作信号が、受信部21を介して制御部20に入力される。これによりユーザの操作が装置全体に反映される。
【0013】
制御部20にはリードオンリーメモリ(ROM)26が接続されている。ROM206には、制御部20が利用する各種のプログラムが格納されている。制御部20にはランダムアクセスメモリ23が接続されている。このメモリ23は、一時的なデータの保存部、演算処理のためのプログラムの展開部として利用される。さらに制御部20にはハードディスクドライブ(HDD)24が接続されている。HDD24は、番組信号を録画及び再生するための媒体として利用される。また制御部20にはBD/DVDドライブ25が接続されている。BD/DVDドライブ25もまた、番組信号を録画及び又は再生するための媒体として利用される。さらにまた、制御部20には、USBケーブルを介して、キーボード27を接続することができる。ユーザは、ある動作モードにおいては、表示器15を見ながらキーボード27を操作して、データ(文字、図形など)を入力することができる。
【0014】
制御部20には、客観的画像処理部201、お勧め番組情報構築部202、表示データ制御部203が内蔵されている。
【0015】
図2には、客観的画像処理部201のブロック構成を示している。302は、この客観的画像処理部201の動作を指令するための実行指示部である。この実行指示部302に実行操作信号が入力されると、同期制御部303が起動する。同期制御部303は、視聴者画像処理部304に含まれる視聴者画像取得部341を起動する。視聴者画像取得部341は、カメラ17を起動し、視聴者の撮像画像を取り込む。
【0016】
顔検出部342は、視聴者を撮像した画像信号の中から顔画像信号を検出する。検出した顔画像信号は、表情解析部343に入力される。表情解析部343は、顔画像に複数点(例えば眼、口、頬)を設定し、フレーム時間の経過とともに複数点の移動(動き)を監視する。この複数点の動き(極端な変化)により、顔の変化(例えば笑顔、泣き顔、怒り顔)を検出することができる。つまり視聴者の表情変化が設定レベル以上になったときを検出している。
【0017】
表情解析部343の解析結果信号は、同期制御部303に入力される。同期制御部303は、解析結果信号が来たときの番組の視聴画像信号の区間を決定する。つまり、視聴者が視聴している視聴画像信号であって、視聴者が例えば笑顔に変化したとき及びその前後の例えば1乃至2分間の視聴画像信号を特定する。
【0018】
この視聴画像信号を特定するタイミングは、視聴者が笑顔に変化したときに限定されるものではなく、定期的に実施されてもよい。定期的に実施される場合は、上記の解析結果信号は、定期的なタイミング信号となる。
【0019】
同期制御部303の制御に基づいて、視聴番組画像処理部305は、以下のように動作する。視聴画像取得部351は、前記1乃至2分間の視聴画像信号を取り込む。顔検出部352は、取り込まれた番組の画像信号から顔画像信号を検出する。この顔画像信号は、視聴者が視聴した番組の出演者に相当することがほとんどである。顔検出部352は、顔検出部342と同じ方法で画像信号の中から顔画像信号を検出する
顔画像信号は顔認識部353に入力される。顔認識部353は、認識した顔画像信号に対応する人物(出演者)の画像信号がデータベース354に含まれているかどうかをサーチする。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース354に存在しない場合、認識した顔画像信号を新たな情報として特定し、データベース354に登録のために送信したことを同期制御部303に通知する。しかし、認識した顔画像信号に対応する人物(出演者)の画像信号が、データベース354に存在した場合、その存在を確認し、特定したことを同期制御部303に通知する。
【0020】
同期制御部303は、上記の通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。又このとき、各顔画像信号に対して識別データを付加する。そして視聴者の識別データと、視聴者の例えば顔画像信号と、前記番組の特定した出演者の顔画像信号と、視聴者が視聴していた番組情報とを関連付けたテーブルを作成することができる。このテーブルは、ある視聴者が、どの出演者に興味を持つかという視聴者情報として位置づけられる。
【0021】
客観的画像処理部201が処理対象とする番組の画像信号は、例えば受信中であって視聴者が視聴しておりかつ録画中の番組の画像信号であってもよい。或いは、客観的画像処理部201が、処理対象とする番組の画像信号は、すでに記録媒体に録画されている番組の画像信号であって現在当該番組が再生されて、視聴者が視聴している番組の画像信号であってもよい。
【0022】
図3は、図2に示した視聴者画像処理部304と視聴番組画像処理部305の動作を簡単に示すフローチャートである。実行指示部302から処理開始の指示があると(ステップS3−1)、同期制御部303は、画像取得指示を視聴者画像処理部304、視聴番組画像処理部305に指示する。視聴者画像処理部304は、上記したようにカメラ17から取り込んだ撮像信号を処理し、視聴者の顔画像信号を処理する。視聴番組画像処理部305は、視聴者が視聴している番組の画像信号処理に移行する(ステップS3−4)。
【0023】
視聴者画像処理部304、視聴番組画像処理部305の処理動作は、同期制御部303により統括されている。同期制御部303は、視聴者画像処理部304及び視聴番組画像処理部305からの通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。又このとき、各顔画像信号に対して識別データを付加する。そして、識別データと、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号と、視聴者が視聴していた番組情報とを関連付けた前述したテーブルを作成することができる。
【0024】
図4は、上記した視聴者画像処理部304の動作を簡単に示すフローチャートである。実行指示部302から画像を取得せよとの指示があると(ステップS4−1)、視聴者の画像がカメラ17から取り込まれる。次に顔検出処理が行われ(ステップS4−2)、検出した顔画像信号を用いて、表情解析処理が実施される(ステップS4−3)。そして表情解析結果信号は、同期信号制御部303に通知される。
【0025】
図5は、上記した視聴番組画像処理部305の動作を簡単に示すフローチャートである。同期制御部303の制御に基づいて、視聴画像取得部351が、前記表情解析結果信号が通知された時点の前後数秒間の画像信号を取り込む(ステップS5−1)(ステップS5−2)。顔検出部352は、取り込まれた番組の画像信号から顔画像信号を検出する(ステップS5−3)。番組信号から取得した顔画像信号に対応する人物の画像信号がデータベース354に含まれているかどうかをサーチされる(ステップS5−4)。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース354に存在するか否かの判定が行われる(ステップS5−5)。
【0026】
これにより、同期制御部303は、上記したように視聴者画像処理部304及び視聴番組画像処理部305からの通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば顔画像信号と、対応する番組の出演者の顔画像信号とを対応付けることができる。
【0027】
図6は、視聴データ登録部306内のデータベース(視聴者情報)の構成例を示している。411は、新しく取り込まれた新視聴者Nのための視聴者情報領域であり、視聴者Nの顔画像と、視聴者Nが視聴した番組NPに出演している出演者NAの顔画像及び出演者識別子NAIDと、視聴した番組の番組情報NPが記述される。
【0028】
412は、視聴者Aのための視聴者情報領域であり、413は、視聴者Bのための視聴者情報領域であり、414は、視聴者Cのための視聴者情報領域である。
【0029】
今、視聴者情報領域412には、視聴者Aの顔画像、出演者AAの顔画像及び識別子AAID、及び番組情報AP1が格納されているものとする。この視聴者情報は、出演者AAが番組情報AP1の番組に出演し、視聴者Aがこの出演者AAに興味を持っているものとして位置づけられている。
【0030】
また、視聴者情報領域413には、視聴者Bの顔画像、出演者BAの顔画像及び識別子であるBAID、及び番組情報BP1が格納されているものとする。この視聴者情報は、出演者BAが番組情報BP1の番組に出演し、視聴者Bがこの出演者BAに興味を持っているものとして位置づけられている。
【0031】
さらに、視聴者情報領域414には、視聴者Cの顔画像、出演者CAの顔画像及び識別子であるCAID、及び番組情報CP1が格納されているものとする。この視聴者情報は、出演者CAが番組情報CP1の番組に出演し、視聴者Cがこの出演者CAに興味を持っているものとして位置づけられている。さらにこの視聴者情報には、出演者BAの顔画像及び識別子であるBAID、及び番組情報BP1が格納されている。この情報は、視聴者Bの視聴者情報と同じであり、このことは、視聴者Cは、視聴者Bが興味をもつ出演者BAにも興味を持つことを意味する。さらにまた視聴者Cの視聴者情報には、出演者AAの顔画像及び識別子AAID、及び番組情報AP2が格納されているものとする。この場合は、視聴者Cは、視聴者Aと同じ出演者AAに興味を持つが、視聴者AとCは異なる番組を見て出演者AAに興味を持ったことを意味している。
【0032】
今、一次保存領域である視聴者情報領域411には、新しく取り込まれた新視聴者Nのための視聴者情報領域であり、視聴者Nの顔画像と、視聴者Nが視聴した番組NPに出演している出演者NAの顔画像及び出演者識別子NAIDと、視聴した番組の番組情報NPが記述されている。
【0033】
しかし、新しく取り込んだ視聴者情報は、視聴者データ登録部306に登録されるべきか否かチェックされる必要がある。これは、視聴者データ登録部306において、重複情報が構築されるのを防ぐ必要があるからである。この重複情報のチェックは、お勧め番組情報構築部202のデータ整理部202aにより行われる。
【0034】
図7には、データ整理部202aにより実行される登録処理ルーチンを示している。視聴者情報を視聴者データ登録部306に登録すべきか否かをチェックする処理ルーチンである。
【0035】
新しく取り込んだ視聴者情報の視聴者Nの顔画像は、視聴データ登録部306に登録されている既登録の視聴者の顔画像と比較される(ステップS7−1)。一致する既登録顔画像が無い場合は、新しく取り込んだ顔画像は、新規の視聴者であるから、登録が実施される。即ち、新しい視聴者情報ための領域が確保され、視聴者Nの顔画像と、視聴者Nが視聴した番組(番組情報NP)に出演している出演者NAの顔画像及び出演者識別子NAIDと、視聴した番組の番組情報NPが登録される。
【0036】
ステップS7−1で、一致する既登録顔画像が存在する場合(例えばN=Cであるとする)は、既に、視聴者Cが登録されていることである。そして、次のチェック(ステップS7−2)として、出演者NAの顔画像及び出演者識別子NAIDと、既登録の出演者の顔画像及び出演者識別子とを比較する。一致するものが無い場合は、視聴者Cが新しい出演者の番組を視聴したことであり、当該出演者及びそのときの番組情報を視聴者Cの番組情報領域414に登録する。
【0037】
しかしここで、出演者NAの顔画像及び出演者識別子NAIDと一致する出演者の顔画像及び出演者識別子が存在する場合(例えばNA=AA、NAID=AAIDとする)、すでに視聴者Cの視聴者情報には、出演者AAの顔画像及び出演者識別子が含まれていることである。次は番組情報のチェックが実施される(ステップS7−3)。即ち、新しい番組情報NPと、視聴者Cの視聴者情報内で出演者AAが出演する番組情報と一致するものが存在するか否かの判定が行われる。いま、番組情報NPがNP=AP2であったとする。一方、出演者AAが出演する既登録番組情報がAP1であったとする。この場合は、ステップS7−3の判定では、一致無しであるから、番組情報AP2の登録が実施される(ステップS7−5)。しかしステップS7−3で番組情報が一致した場合は、登録無しで終了する(ステップS7−4)。
【0038】
上記したように、新しく視聴者Nの顔画像と、視聴者Nが視聴した番組情報NPの番組に出演している出演者NAの顔画像及び出演者識別子NAIDと、視聴した番組の番組情報NPが取得されたとしても、既登録の情報と比較され、重複登録が回避される。
【0039】
図8と図9は、視聴データ登録部306内において、各視聴者に対するお勧め番組を充実させるための機能を説明する図である。
【0040】
図8の例に示すように、視聴者Aと視聴者Cは、同じアクター(出演者AA)に興味を持っているものとする。ここで、視聴者Aは、出演者AAが出演した番組情報AP1の番組を視聴し、視聴者Cは、出演者AAが出演した番組情報AP2の番組を視聴したものとする。このような場合は、視聴者Aの視聴者情報にも番組情報AP2を追加し、視聴者Cの視聴者情報にも番組情報AP1を追加することが好ましい。
【0041】
なお図8では、視聴データ登録部306に視聴者反応画像ファイル415,416,417を示しているがこのファイルについては後述する。
【0042】
図9は、図8で示した形態の視聴者情報編集処理を実施するための処理ルーチンである。例えば視聴者Aの視聴者情報に含まれている出演者AAの顔画像及びAAIDをレジスタへ格納する(ステップS9−1)。
【0043】
次に、出演者AAの顔画像及びAAIDと、他の視聴者の視聴者情報に含まれる出演者の顔画像及び識別子とを順次比較する(ステップS9−2)。出演者AAの顔画像及びAAIDに一致する他の視聴者の視聴者情報に含まれる出演者の顔画像及び識別子が存在しない場合は、終了する。
【0044】
しかし、出演者AAの顔画像及びAAIDに一致する他の出演者の顔画像及び識別子が存在した場合、次のチェックにシフトする。図9、図8の例では、視聴者Aの視聴者情報に含まれる出演者AAの顔画像及びAAIDと、視聴者Cの視聴者情報に含まれる出演者AAの顔画像及びAAIDとが一致する。このことは、視聴者AとCが、出演者(アクター)AAに興味を持つことを意味する。
【0045】
次のステップS9−3では、視聴者Aの視聴者情報に含まれる番組AP1情報と、視聴者Cの視聴者情報に含まれる番組情報AP2との比較を実施する。この場合は、番組情報AP1と番組情報AP2とが不一致であるから、ステップS9−4で、番組情報AP2を視聴者Aの番組情報に追加する。
【0046】
視聴者Cの視聴者情報が他の視聴者の視聴者情報と比較される場合は、番組情報AP1が視聴者Cの視聴者情報に含まれていないことが判明する。したがって、視聴者Cの視聴者情報に番組情報AP1が追加される。
【0047】
上記の視聴者情報は、お勧め番組を提供する場合に有効である。例えば視聴者Aの視聴者情報を読み出して、出演者の顔と、番組情報(番組名、チャンネルなど)を表示器に表示することができる。
【0048】
図10(A),図10(B)は、テレビジョン受信装置15が、表示データ制御部203の制御に基づいて、視聴者に対してお勧め番組情報を提供している様子を示している。例えば、視聴者が、リモートコントローラ操作を通じて、テレビジョン受信装置15に対してメニュー表示を要求したとする。すると、図10(A)に示すようにメニューの中には、「お勧め番組」の項目があり、この項目の横には「あなたにお勧めの番組情報が用意されています。番組リストを表示しますか?」と言う、コメントが表示される。
【0049】
視聴者が、この「お勧め番組」の項目を選択して決定ボタンを操作すると、図10(B)に示すように、視聴者に対応する視聴者情報が表示される。例えば視聴者が図8で説明した視聴者Cであったとすると、視聴者Cが興味を持っている出演者CA及びAAが出演している番組の番組情報CP1、BP1,AP1,AP2などが各番組の出演者の顔画像と共に表示される。視聴者は、視聴しようとする番組名をカーソル操作により選択し、決定ボタンを押すことで、当該番組の再生が開始される。
【0050】
このように視聴者毎にお勧め番組を提供できるのは、以下の理由による。視聴者が例えばメニューボタンを押したとき、カメラ17を介して視聴者が撮像される。撮像された視聴者の顔が顔検出部で検出される。検出された顔画像は、既に視聴者データ登録部に登録されている視聴者の顔画像と比較され、登録顔画像内に同一人物が存在するか否か判定される。そして、同一人物(視聴者)が検出されている場合に、前述した「お勧め番組」の項目が表示される。
【0051】
上記したように、視聴者は、自分が興味を持っているアクターが出演した番組情報を他の視聴者情報からも取得することが可能である。
【0052】
図11には、表情解析部343が表情解析を行う時期を設定する場合、種々の選択肢を示している。まず、表情解析部343が表情解析を行う時期に対してCM期間停止情報501を与えることで、CM期間は停止するように設定することができる。また表情解析部343が表情解析を行う期間として、連続して行う連続指示情報503又は定期的に行うことを指示するための定期的実行指示情報504の何れかを与えることができる。定期的実行指示情報504が表情解析部343に与えられた場合、そのインターバル情報505(例えば5分間隔、10分間隔、15分間隔など)を設定することができる。
【0053】
CM期間停止情報501は、視聴番組画像処理部305或いはその内部の視聴画像取得部351、顔検出部352、顔認識部353などに与えられてもよい。
【0054】
さらに、視聴データ登録部306に「視聴者情報」を登録する場合、登録する条件を設定することも可能である。まず条件設定512は、条件無しで定期的に視聴者情報を登録するように設定することができる。視聴者情報の登録は、図7乃至図9で説明したとおりである。次に条件設定513がある、この設定513は、視聴者の笑顔検出があったときを登録条件とするものである。このとき笑い声検出により、笑い声も条件設定514の項目としてよい。
【0055】
さらに条件設定として、視聴者の視聴人数をデータ登録条件としてもよい。視聴している視聴者の人数を登録条件として(条件設定515)、複数の場合と単独の場合との何れかを指定できるようにしてもよい。また視聴者が特定の人物であるときのみを登録条件として設定できるようにしてもよい(条件設定516)。このためには、予めカメラで撮像した人物を登録しておくことで、現在の視聴者を特定可能としている。
【0056】
さらに、視聴データが登録される場合、番組画像と視聴者顔画像とを関連付けた、ダイジェストファイル作成を設定できるようにしても良い(条件設定523)。
【0057】
図12は、視聴データが視聴データ登録部に登録される場合、番組画像と視聴者顔画像とを関連付けた、ダイジェストファイルの作成を設定できる実施形態の例を示している。図2に示したブロックと同一部分には同一符号を付している。
【0058】
客観的画像処理部201において、視聴者画像処理部304は、図2に示した構成とほぼ同じである。表情解析部343は、顔画像に複数点(例えば眼、口、頬)を設定し、フレーム時間の経過とともに複数点の移動(動き)を監視する。この複数点の動き(極端な変化)の情報が、笑顔検出部344に入力される。笑顔検出部344は、顔の変化の情報から笑顔を検出することができる。
【0059】
笑顔検出信号は、視聴番組画像処理部305の取得画像選択部357に入力される。取得画像選択部357は、視聴コンテンツ取得部356を制御し、視聴者の笑顔が検出された時点とその前後例えば1乃至2分のコンテンツを取得する。さらに取得されたコンテンツから、顔検出部352が人物の顔画像を検出する。この顔画像信号は、視聴者が視聴した番組の出演者に相当することがほとんどである。顔検出部352は、顔検出部342と同じ方法で画像信号の中から顔画像信号を検出する
顔画像信号は顔認識部353に入力される。顔認識部353は、認識した顔画像信号に対応する人物(出演者)の画像信号がデータベース354に含まれているかどうかをサーチする。サーチした結果、認識した顔画像信号に対応する人物の画像信号が、データベース354に存在しない場合、認識した顔画像信号を新たな情報として特定し、データベース354に登録し、登録したことを同期制御部303に通知する。しかし、認識した顔画像信号に対応する人物(出演者)の画像信号が、データベース354に存在した場合、その存在を確認し、特定したことを同期制御部303に通知する。
【0060】
同期制御部303は、上記の通知を受けて、視聴者が視聴していた番組情報と、視聴者の例えば数十秒間の顔画像信号と、対応する番組の出演者の顔画像信号と、当該番組の画像信号とを対応付けたダイジェスト版ファイル(視聴者反応画像ファイルと称しても良い)を作成することができる。
【0061】
図13には、視聴者の顔画像信号と、対応する番組の出演者の顔画像信号と、当該番組の画像信号とを対応付けたダイジェスト版ファイルのデータ構成例を示している。これらのファイルは、図8で示した所謂、視聴者反応画像ファイル415,416,417であり、視聴データ登録部306を構成している例えばHDDなどの記録媒体の記録エリアに格納される。
【0062】
例えば番組Aに対する視聴者情報(この実施形態では視聴者情報ファイルと称しても良い)は、番組Aの番組情報(たとえば番組名、放送局名、チャンネル、収録日時情報、ジャンル)の領域と、画像データの領域を有する。画像データの領域は、例えば番組の代表画像(出演者の顔画像でも良い)の領域、視聴者の顔画像の領域と、サンプリング画像領域とを有する。
【0063】
サンプリング画像領域では、視聴者の笑顔を検出した時点とその前後1乃至5分程度の区間における視聴者を撮像した画像と前記区間に対応する番組のシーンの画像とがペアになって記録されている。図の例では番組のシーン1、シーン2、シーン3の区間がサンプリング画像として記憶されている。ここで、視聴者を撮像した画像データの先頭には、シーン1,2,3に対応するが現れる視聴者画像データには、番組の相対時間を示したタイムスタンプTSを記述しておいても良い。
【0064】
図14、図15は、表示データ制御部203の制御に基づいて、上記した視聴者反応画像ファイルが再生されたときの表示器に表示される画像の例を示している。ユーザは、表示器15に例えば録画リストを表示することができる。録画リストは、制御部20にて管理されている。録画リストの中には、視聴者反応画像ファイル415,416,417が含まれている。ユーザは、リモートコントローラ操作により、所望のファイルを選択して再生ボタンを操作することができる。ユーザが、例えば視聴者反応画像ファイル415を再生したとすると、例えば図13で示した番組のシーン1,2,3が順次再生されるとともに、同時に対応して視聴者の画像が再生される。選択ボタンにより、番組のシーンと視聴者の画像の何れか一方をピクチャーインピクチャーとして表示することができる。
【0065】
視聴者画像を再生する場合は、上記の形態に限定されない。例えば、番組Aを最初から連続して再生している途中で、シーン1、シーン2、シーン3のときに図14或いは図15に示すような表示形態に切換ってもよい。視聴者画像1,2,3にはそれぞれタイムスタンプTSが含まれているので、番組Aが再生されている途中で、シーン1、2、3が再生されるときに同期させて視聴者画像1,2,3を再生することができる。この再生を行う場合は、さらに再生モード選択ボタンにより、視聴者反応画像ファイルの同時再生を選択できるように構成される。なお、上記の説明で用いた用語は、このような称呼に限定されるものではなく、同等の機能を実現できる構成であれば、他の呼び方をされてもよい。
【0066】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0067】
11・・・チューナ装置、12・・・セレクタ、13・・・信号処理部、14・・・出力部、15・・・表示器、17・・・カメラ、18・・・インターフェース、20・・・制御部、201・・・客観的画像処理部、202・・・お勧め番組情報構築部。
【特許請求の範囲】
【請求項1】
視聴者を撮像した撮像信号から前記視聴者の顔画像データを検出する視聴者画像処理部と、
前記視聴者が視聴している番組データに含まれる出演者の顔画像データを検出する視聴番組画像処理部と、
前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報とを関連つけた視聴者情報を作成し、視聴データ登録部に送信する同期制御部とを有した画像情報処理装置。
【請求項2】
前記同期制御部の制御に基づいて行われる前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報の取得及びこれらを関連つけた視聴者情報の作成は、定期的に実行される請求項1記載の画像情報処理装置。
【請求項3】
前記同期制御部の制御に基づいて行われる前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報の取得は、前記番組内のコマーシャル期間は除かれる請求項2記載の画像情報処理装置。
【請求項4】
さらにお勧め番組情報構築部が設けられ、このお勧め番組情報構築部は、新しく作成された新規視聴者情報と前記視聴データ登録部に登録されている既保存の視聴者情報との比較を行い、既保存の情報と重複している前記新規視聴者情報内の情報を破棄し、前記既保存の情報と重複しない前記新規視聴者情報内の情報を保存登録する請求項1記載の画像情報処理装置。
【請求項5】
さらに表示制御部が設けられ、この表示制御部は、前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報をお勧め番組リストとして表示する請求項4記載の画像情報処理装置。
【請求項6】
前記視聴者画像処理部は、前記視聴者の顔画像データを用いて、前記視聴者の表情変化が設定レベル以上であることを検出し、
前記同期制御部は、前記視聴者の表情変化が設定レベル以上であることが検出された場合、前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報とを関連つけて、視聴データ登録部に送信する請求項1記載の画像情報処理装置。
【請求項7】
前記同期制御部は、さらに前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報に加えて、前記視聴者の表情変化が設定レベル以上であることが検出された時点及びその前後の数分間の前記番組のデータ、及び視聴者を撮像した視聴者画像のデータを視聴者反応画像ファイルに格納する請求項5記載の画像情報処理装置。
【請求項8】
さらに表示データ制御部が設けられ、この表示データ制御部は前記視聴者反応画像ファイルをアクセスして前記番組のデータ及び前記視聴者画像のデータを表示器に同時画像として出力する請求項7記載の画像情報処理装置。
【請求項9】
視聴者画像処理部により、視聴者を撮像した撮像信号から前記視聴者の顔画像データを検出し、前記顔画像データを用いて前記視聴者の表情変化が設定レベル以上であることを検出し、
視聴番組画像処理部により、前記視聴者が視聴している番組データに含まれる出演者の顔画像データを検出し、
前記視聴者の表情変化が設定レベル以上であることが検出された場合、同期制御部により、前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報とを関連つけた視聴者情報を視聴データ登録部に送信し、
お勧め番組情報構築部により、新しく作成された新規視聴者情報と前記視聴データ登録部に登録されている既保存の視聴者情報との比較を行い、既保存の情報と重複している前記新規視聴者情報内の情報を破棄し、前記既保存の情報と重複しない前記新規視聴者情報内の情報を保存登録する画像情報処理方法。
【請求項10】
前記出演者の顔画像データと前記視聴者の顔画像データの検出は、前記番組中のコマーシャル期間は除く請求項9記載の画像情報処理方法。
【請求項1】
視聴者を撮像した撮像信号から前記視聴者の顔画像データを検出する視聴者画像処理部と、
前記視聴者が視聴している番組データに含まれる出演者の顔画像データを検出する視聴番組画像処理部と、
前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報とを関連つけた視聴者情報を作成し、視聴データ登録部に送信する同期制御部とを有した画像情報処理装置。
【請求項2】
前記同期制御部の制御に基づいて行われる前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報の取得及びこれらを関連つけた視聴者情報の作成は、定期的に実行される請求項1記載の画像情報処理装置。
【請求項3】
前記同期制御部の制御に基づいて行われる前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報の取得は、前記番組内のコマーシャル期間は除かれる請求項2記載の画像情報処理装置。
【請求項4】
さらにお勧め番組情報構築部が設けられ、このお勧め番組情報構築部は、新しく作成された新規視聴者情報と前記視聴データ登録部に登録されている既保存の視聴者情報との比較を行い、既保存の情報と重複している前記新規視聴者情報内の情報を破棄し、前記既保存の情報と重複しない前記新規視聴者情報内の情報を保存登録する請求項1記載の画像情報処理装置。
【請求項5】
さらに表示制御部が設けられ、この表示制御部は、前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報をお勧め番組リストとして表示する請求項4記載の画像情報処理装置。
【請求項6】
前記視聴者画像処理部は、前記視聴者の顔画像データを用いて、前記視聴者の表情変化が設定レベル以上であることを検出し、
前記同期制御部は、前記視聴者の表情変化が設定レベル以上であることが検出された場合、前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報とを関連つけて、視聴データ登録部に送信する請求項1記載の画像情報処理装置。
【請求項7】
前記同期制御部は、さらに前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報に加えて、前記視聴者の表情変化が設定レベル以上であることが検出された時点及びその前後の数分間の前記番組のデータ、及び視聴者を撮像した視聴者画像のデータを視聴者反応画像ファイルに格納する請求項5記載の画像情報処理装置。
【請求項8】
さらに表示データ制御部が設けられ、この表示データ制御部は前記視聴者反応画像ファイルをアクセスして前記番組のデータ及び前記視聴者画像のデータを表示器に同時画像として出力する請求項7記載の画像情報処理装置。
【請求項9】
視聴者画像処理部により、視聴者を撮像した撮像信号から前記視聴者の顔画像データを検出し、前記顔画像データを用いて前記視聴者の表情変化が設定レベル以上であることを検出し、
視聴番組画像処理部により、前記視聴者が視聴している番組データに含まれる出演者の顔画像データを検出し、
前記視聴者の表情変化が設定レベル以上であることが検出された場合、同期制御部により、前記出演者の顔画像データと前記視聴者の顔画像データ及び前記番組の番組情報とを関連つけた視聴者情報を視聴データ登録部に送信し、
お勧め番組情報構築部により、新しく作成された新規視聴者情報と前記視聴データ登録部に登録されている既保存の視聴者情報との比較を行い、既保存の情報と重複している前記新規視聴者情報内の情報を破棄し、前記既保存の情報と重複しない前記新規視聴者情報内の情報を保存登録する画像情報処理方法。
【請求項10】
前記出演者の顔画像データと前記視聴者の顔画像データの検出は、前記番組中のコマーシャル期間は除く請求項9記載の画像情報処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2013−77866(P2013−77866A)
【公開日】平成25年4月25日(2013.4.25)
【国際特許分類】
【出願番号】特願2011−214841(P2011−214841)
【出願日】平成23年9月29日(2011.9.29)
【特許番号】特許第5106669号(P5106669)
【特許公報発行日】平成24年12月26日(2012.12.26)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成25年4月25日(2013.4.25)
【国際特許分類】
【出願日】平成23年9月29日(2011.9.29)
【特許番号】特許第5106669号(P5106669)
【特許公報発行日】平成24年12月26日(2012.12.26)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]