テレビジョン視聴支援装置
【課題】操作される操作部と操作者とを即座に特定し、操作者による操作部の操作履歴情報を適切に取得する。
【解決手段】視聴者の顔とこの視聴者によって操作される操作部とを撮像して赤外線画像信号を生成する光センサ部を備えた。また、操作履歴情報取得部３００は、赤外線画像データから視聴者の顔画像領域を検出して視聴者個人を特定し、その顔画像領域における顔基準位置を検出する顔認識処理部３０３と、赤外線画像データから操作部の操作部基準位置を検出する操作部位置検出部３０５と、視聴者の個人識別情報および顔基準位置と操作部基準位置とを取得し、顔基準位置と操作部基準位置との距離に応じて操作部の操作者を特定する特定部３０８と、赤外線画像信号から操作部の操作制御情報を取得する操作制御情報取得部３０９と、個人識別情報と操作制御情報とを対応付けて操作履歴情報を生成する操作履歴情報生成部３１０とを備えた。
【解決手段】視聴者の顔とこの視聴者によって操作される操作部とを撮像して赤外線画像信号を生成する光センサ部を備えた。また、操作履歴情報取得部３００は、赤外線画像データから視聴者の顔画像領域を検出して視聴者個人を特定し、その顔画像領域における顔基準位置を検出する顔認識処理部３０３と、赤外線画像データから操作部の操作部基準位置を検出する操作部位置検出部３０５と、視聴者の個人識別情報および顔基準位置と操作部基準位置とを取得し、顔基準位置と操作部基準位置との距離に応じて操作部の操作者を特定する特定部３０８と、赤外線画像信号から操作部の操作制御情報を取得する操作制御情報取得部３０９と、個人識別情報と操作制御情報とを対応付けて操作履歴情報を生成する操作履歴情報生成部３１０とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン視聴支援装置に関する。
【背景技術】
【０００２】
携帯電話機、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン等の携帯端末を、テレビジョン受像機（テレビ装置）を遠隔操作するリモートコントロール装置（リモコン）として機能させるためのリモコン用アプリケーションプログラムが知られている。
このリモコン用アプリケーションプログラムを実行する、携帯電話機、タブレットＰＣ、スマートフォン等の複数の携帯端末それぞれは、一台のテレビ装置を遠隔操作することができる。
【０００３】
また、操作ボタンの配置等の操作環境を操作者ごとにカスタマイズすることができるリモコンが知られている（例えば、特許文献１参照）。
ところで、テレビ装置のリモコンの操作者が特定の一個人であるとは限らない。例えば、家庭に設置されたテレビ装置のリモコンは、家族内で共用されることが多い。よって、複数人分のカスタマイズデータが記憶されたリモコンを複数人で共用する場合、そのリモコンが操作者を正しく判別する必要がある。特許文献１に記載されたリモコンは、このリモコンが充電のためのクレードルから取り外されたことを検知したときに操作者の認証を開始することによって、操作者を早期に識別して特定するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載のリモコンがクレードルを経由することなく人から人に渡された場合、そのリモコンは、あらためて個人認証モードボタンが押されてからでないと操作者の認証を行うことができず、即座に操作者を特定することができない。
また、パスワード認証、携帯端末の内蔵カメラが撮像した顔画像を用いた顔認証、携帯端末が具備する指紋認証装置による指紋認証等の従来技術による個人認証は、被認証者による煩雑な操作を必要とする。よって、これらの個人認証を必要とするリモコンには、手に取ったリモコンを即座に操作することができないという問題がある。
したがって、これら従来技術によれば、複数種類のリモコンがテレビ装置を遠隔操作する操作環境において、実際に遠隔操作されるリモコンとこのリモコンの操作者とを迅速に特定し、その操作者によるそのリモコンの操作履歴情報を適切に取得することができなかった。
【０００６】
そこで、本発明は上記問題点を解決するためになされたものであり、複数種類のリモコンがテレビ装置を遠隔操作する操作環境において、実際に遠隔操作されるリモコンとこのリモコンの操作者とを即座に特定し、その操作者によるそのリモコンの操作履歴情報を適切に取得することができる、テレビジョン視聴支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
［１］上記の課題を解決するため、本発明の一態様であるテレビジョン視聴支援装置は、視聴者の顔と前記視聴者によって操作される赤外線出射型の操作部とを被写体として撮像し、一連の赤外線画像データを生成する光センサ部と、前記光センサ部が生成した前記赤外線画像データから前記視聴者の顔画像領域を検出して視聴者個人を特定し、前記赤外線画像データにおける前記顔画像領域の顔基準位置を検出する顔認識処理部と、前記赤外線画像データにおける、前記操作部に対応する赤外線画像領域の操作部基準位置を検出する操作部位置検出部と、前記顔認識処理部が特定した前記視聴者個人を示す個人識別情報および検出した前記顔基準位置と前記操作部位置検出部が検出した前記操作部基準位置とを取得し、前記赤外線画像データにおける前記顔基準位置と前記操作部基準位置との距離に応じて、前記操作部の操作者である視聴者個人を特定する特定部と、前記光センサ部が生成する一連の赤外線画像データから前記操作部の操作制御情報を取得する操作制御情報取得部と、前記特定部が特定した前記視聴者個人を示す個人識別情報と前記操作制御情報取得部が取得した前記操作制御情報とを対応付けて操作履歴情報を生成する操作履歴情報生成部と、を備えることを特徴とする。
ここで、赤外線出射型の操作部は、例えば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等である。また、光センサ部は、例えば、赤外線撮像装置である。光センサ部は、例えば、テレビジョン受像機でコンテンツを視聴する視聴者の顔とその視聴者によって保持されて操作される赤外線出射型の操作部とを撮像して一連の赤外線画像データを生成するものである。
このように構成したことにより、テレビジョン視聴支援装置は、赤外線出射型の操作部を保持しテレビジョン受像機でコンテンツを視聴している視聴者を即座に特定することができ、特定した視聴者が操作部を操作した操作履歴情報を適切に取得することができる。
すなわち、本発明の第１の態様によれば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等の赤外線出射型の操作部について、誰がどのような遠隔操作を行ったかという履歴情報を即座に且つ適切に取得することができる。
【０００８】
［２］上記［１］記載のテレビジョン視聴支援装置において、前記光センサ部は、前記被写体を撮像して一連のカラー画像データをも生成し、前記光センサ部が生成した前記カラー画像データから、前記操作部位置検出部が検出した前記操作部基準位置の周辺領域の色情報に基づいて前記操作部を識別する操作部識別部をさらに備え、前記特定部は、前記顔認識処理部が特定した前記視聴者個人を示す個人識別情報および検出した前記顔基準位置と、前記操作部位置検出部が検出した前記操作部基準位置と、前記操作部識別部が識別した前記操作部の識別情報とを取得し、前記赤外線画像データにおける前記顔基準位置と前記操作部基準位置との距離に応じて前記操作部の操作者である視聴者個人を特定し、前記視聴者個人を示す個人識別情報および前記操作部の識別情報を対応付け、前記操作履歴情報生成部は、前記特定部が対応付けた前記視聴者個人を示す個人識別情報および前記操作部の識別情報と前記操作制御情報取得部が取得した前記操作制御情報とを対応付けて操作履歴情報を生成することを特徴とする。
ここで、光センサ部は、例えば、赤外線撮像装置と同一の画角、または被写体が重なるように光学調整されたカラー撮像装置を含む。
このように構成したことにより、テレビジョン視聴支援装置は、操作部を保持しテレビジョン受像機でコンテンツを視聴している視聴者を即座に特定することができ、さらに操作部を識別して、特定した視聴者が識別した操作部を操作した操作履歴情報を適切に取得することができる。
すなわち、本発明の第２の態様によれば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等の赤外線出射型の操作部について、誰が、どの操作部を用いてどのような遠隔操作を行ったかという履歴情報を即座に且つ適切に取得することができる。
【０００９】
［３］上記［１］または［２］記載のテレビジョン視聴支援装置において、前記光センサ部は、撮像光軸と同軸の照明光軸を有する同軸赤外線照明をさらに備え、赤外線非出射型の操作部をも撮像することを特徴とする。
ここで、赤外線非出射型の操作部は、例えば、タブレットＰＣ、スマートフォン等の携帯端末である。また、その操作部を遠隔操作のために使用する際に、テレビジョン受像機側に向けられる操作部の端面には、再帰性反射材が設けられていることが好ましい。
【００１０】
［４］上記［３］記載のテレビジョン視聴支援装置において、前記操作部位置検出部は、前記赤外線画像データから閉領域を抽出してクラスタ分析処理を実行し、前記赤外線画像データにおける相対距離が所定距離以下であるクラスタ同士を統合して前記操作部の赤外線画像領域とし、前記赤外線画像領域の操作部基準位置を検出することを特徴とする。
ここで、上記の所定距離は、例えば操作部を視聴者が保持する場合に、指や手等によって再帰性反射材が分断されることを考慮して決められる距離である。
【発明の効果】
【００１１】
本発明によれば、複数種類のリモコンがテレビ装置を遠隔操作する操作環境において、実際に遠隔操作されるリモコンとこのリモコンの操作者とを即座に特定し、その操作者によるそのリモコンの操作履歴情報を適切に取得することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態であるテレビジョン視聴支援装置を適用したテレビ視聴システムの全体構成を示すブロック図である。
【図２】同実施形態において、光センサ部の概略構成を模式的に示す断面図である。
【図３】顔特徴情報のデータ構成を示す図である。
【図４】色ヒストグラム情報のデータ構成を示す図である。
【図５】同実施形態において、操作履歴情報取得部の機能構成を示すブロック図である。
【図６】同実施形態において、操作履歴情報取得部が実行する利用操作部の特定処理全体のフローチャートである。
【図７】同実施形態において、顔認識処理部が実行する顔認識処理の手順を示すフローチャートである。
【図８】同実施形態において、マスク画像生成部と操作部位置検出部とが連携して実行するマスク画像生成処理の手順を示すフローチャートである。
【図９】同実施形態において、操作部位置検出部が実行する操作部位置情報取得処理の手順を示すフローチャートである。
【図１０】同実施形態において、操作部識別部と特定部とが実行する操作部特定処理の手順を示すフローチャートである。
【図１１】同実施形態において、操作履歴情報取得部が実行する操作履歴情報の取得処理の手順を示すフローチャートである。
【図１２】本発明の第２実施形態であるテレビジョン視聴支援装置を適用したテレビ視聴システムの全体構成を示すブロック図である。
【図１３】同実施形態において、操作部の概略の外観を示す斜視図である。
【図１４】同実施形態において、光センサ部の概略構成を模式的に示す断面図である。
【図１５】同実施形態において、操作履歴情報取得部の機能構成を示すブロック図である
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
なお、以下の説明において、テレビジョンをテレビ、リモートコントロールをリモコンと略記することがある。
【００１４】
［第１の実施の形態］
図１は、本発明の第１実施形態であるテレビジョン視聴支援装置を適用したテレビ視聴システムの全体構成を示すブロック図である。同図に示すように、テレビ視聴システム１は、テレビジョン受像機１０と、操作部１１と、テレビジョン視聴支援装置２０とを備える。
【００１５】
テレビジョン受像機１０は、放送電波を受信する受信アンテナから供給される地上デジタル放送や衛星放送等の放送信号を取り込んで復調し、この復調された信号から、視聴者によって所望に選択された放送番組を抽出するチューナ部と、映像を表示する表示部と、音声を出力する音声出力部とを備えるテレビ装置である。テレビジョン受像機１０は、電源の入切、選局（チャンネル切替え）、音量調節、入力信号の切替え等を、操作部１１から供給される操作制御信号に基づいて行う。テレビジョン受像機１０は、操作部１１から供給される操作制御信号を取り込むためのインタフェースとして、赤外線受信部やネットワーク・インタフェースを備える。
テレビジョン受像機１０は、例えば、チューナ部と表示部（例えば、液晶表示部）と音声出力部とを一体的に構成した液晶テレビ装置、チューナ部をセットトップボックスとして表示部から分離して構成したテレビシステム、チューナ部を備えたコンピュータ装置および表示装置等により実現される。
【００１６】
操作部１１は、操作部１１の保持者（操作者）による操作にしたがって操作制御信号を発生し、この操作制御信号をテレビジョン受像機１０とテレビジョン視聴支援装置２０とに送信する遠隔操作機器である。操作部１１は、パルス化した操作制御信号を赤外線Ｓにより送信する赤外線出射型の操作部であり、例えば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機により実現される。
なお、本実施形態における携帯電話機は、この携帯電話機を赤外線リモコン装置として機能させるためのリモコン用アプリケーションプログラムを実行している状態のものである。
【００１７】
テレビジョン視聴支援装置２０は、テレビジョン受像機１０でコンテンツを視聴している一または複数の視聴者の中から、テレビジョン受像機１０を遠隔操作する操作部１１と、操作部１１を実際に操作している視聴者とを特定し、この特定結果に基づいて、視聴者ごとの操作部１１の操作履歴情報を取得する装置である。
図１に示すように、テレビジョン視聴支援装置２０は、光センサ部２００と、操作履歴情報取得部３００とを備える。
【００１８】
光センサ部２００は、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔と、テレビジョン受像機１０を遠隔操作する操作部１１とを赤外線波長領域および可視光波長領域それぞれの波長領域で撮影し、これらの撮影により得た赤外線画像信号とカラー画像信号とを操作履歴情報取得部３００に供給する。赤外線画像信号は、赤外線波長領域における撮像画像の信号である。また、カラー画像信号は、可視光波長領域における撮像画像の信号である。
【００１９】
光センサ部２００は、テレビジョン受像機１０でコンテンツを視聴する視聴者の略正面（正面を含む）の顔と、操作部１１の赤外線送信部とを撮影可能な位置に設置される。また、操作部１１が送信する赤外線Ｓはテレビジョン受像機１０の赤外線受信部でも受信される必要があるため、光センサ部２００は、テレビジョン受像機１０の赤外線受信部に比較的近い位置に設置される。光センサ部２００の構成の詳細については後述する。
【００２０】
操作履歴情報取得部３００は、利用操作部の特定処理と操作履歴情報の取得処理とを実行する。利用操作部の特定処理は、テレビジョン受像機１０を遠隔操作する操作部１１と、操作部１１を操作する視聴者とを特定する処理である。特定された操作部１１を利用操作部とも呼ぶ。操作履歴情報の取得処理は、特定した視聴者の操作によって利用操作部から得られる視聴者ごとの操作履歴情報を取得する処理である。
【００２１】
利用操作部の特定処理において、操作履歴情報取得部３００は、光センサ部２００から供給される赤外線画像信号とカラー画像信号とを取り込み、これら赤外線画像信号とカラー画像信号との画像処理を行うことによって、テレビジョン受像機１０を遠隔操作する操作部１１と、操作部１１を操作する視聴者とを特定する。
【００２２】
また、操作履歴情報の取得処理において、操作履歴情報取得部３００は、光センサ部２００から供給される赤外線画像信号を取り込み、この赤外線画像信号に基づいて操作部１１が送信した操作制御情報を取得する。操作履歴情報取得部３００は、その操作制御情報と、利用操作部の特定処理において特定した操作部１１および操作部１１を操作する視聴者とを対応付けた操作履歴情報を生成する。
操作履歴情報取得部３００の構成の詳細については後述する。
【００２３】
図２は、光センサ部２００の概略構成を模式的に示す断面図である。同図に示すように、光センサ部２００は、光束分離部２１０と、赤外線撮像部２２０と、カラー撮像部２３０とを備える。
光束分離部２１０は、到来する光束を赤外線と可視光とに分離する光学フィルタである。光束分離部２１０は、例えば、赤外線Ｓを透過させる一方、可視光を反射させるコールドミラーにより実現される。
赤外線撮像部２２０は、光束分離部２１０を透過して到来する赤外線Ｓを受光して撮像し赤外線画像信号を生成する。赤外線撮像部２２０は、例えば赤外線ビデオカメラ装置により実現される。
カラー撮像部２３０は、光束分離部２１０から反射して到来する可視光を受光して撮像しカラー画像信号を生成する。カラー撮像部２３０は、例えばカラービデオカメラ装置により実現される。
なお、光束分離部２１０は、例えば、可視光を透過させる一方、赤外線Ｓを反射させるホットミラーにより実現してもよい。
【００２４】
赤外線撮像部２２０およびカラー撮像部２３０それぞれの被写体は、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔と、テレビジョン受像機１０を遠隔操作している操作部１１（利用操作部）とである。赤外線撮像部２２０およびカラー撮像部２３０は、それぞれのフレームの画角が一致するか、または被写体が重なるように光学調整されて設置される。
【００２５】
図３は、操作履歴情報取得部３００が記憶する顔特徴情報のデータ構成を示す図である。顔特徴情報は、テレビジョン受像機１０を視聴する視聴者ごとの顔の特徴を示すデータの集合である。同図に示すように、顔特徴情報は、個人識別情報と顔特徴データとの各項目を対応付けたデータテーブルである。個人識別情報は、視聴者個人を識別する情報である。顔特徴データは、あらかじめ撮像した視聴者の顔画像から得た顔の特徴データである。顔特徴データは、例えば、眉毛、目、鼻、唇等の大きさおよび相対位置、ならびに顔の輪郭等を示す特徴量である。同図に示す顔特徴情報は、４人分の顔特徴データを個人識別情報に対応付けて有している。
【００２６】
図４は、操作履歴情報取得部３００が記憶する色ヒストグラム情報のデータ構成を示す図である。色ヒストグラム情報は、テレビジョン受像機１０を遠隔操作する操作部１１ごとの、赤外線送信部の周囲の色ヒストグラムの集合である。同図に示すように、色ヒストグラム情報は、操作部識別情報と色ヒストグラムとの各項目を対応付けたデータテーブルである。操作部識別情報は、操作部１１を識別する情報である。色ヒストグラムは、色成分を級数とし画素数を度数としたヒストグラムである。同図に示す色ヒストグラム情報は、５個分の操作部１１の色ヒストグラムを操作部識別情報に対応付けて有している。
【００２７】
図５は、操作履歴情報取得部３００の機能構成を示すブロック図である。同図に示すように、操作履歴情報取得部３００は、画像信号取得部３０１と、顔特徴情報記憶部３０２と、顔認識処理部３０３と、マスク画像生成部３０４と、操作部位置検出部３０５と、色ヒストグラム記憶部３０６と、操作部識別部３０７と、特定部３０８と、操作制御情報取得部３０９と、操作履歴情報生成部３１０とを備える。
【００２８】
画像信号取得部３０１は、光センサ部２００から供給される赤外線画像信号とカラー画像信号とを取り込む。
【００２９】
具体的には、画像信号取得部３０１は、利用操作部の特定処理において、光センサ部２００から供給される赤外線画像信号とカラー画像信号とをそれぞれ取り込み、毎フレーム、または複数フレームごとに、１フレーム画像分の赤外線画像データを顔認識処理部３０３とマスク画像生成部３０４と操作部位置検出部３０５とに供給する。また、画像信号取得部３０１は、毎フレーム、または複数フレームごとに、１フレーム画像分のカラー画像データを顔認識処理部３０３と操作部識別部３０７とに供給する。
また、画像信号取得部３０１は、操作履歴情報の取得処理において、光センサ部２００から供給される赤外線画像信号を取り込み、毎フレーム、または複数フレームごとに、１フレーム画像分の赤外線画像データを操作制御情報取得部３０９に供給する。
【００３０】
顔特徴情報記憶部３０２は、テレビジョン受像機１０を利用する視聴者全員分の顔特徴情報をあらかじめ記憶する。
【００３１】
顔認識処理部３０３は、画像信号取得部３０１から供給されるカラー画像データおよび赤外線画像データと、顔特徴情報記憶部３０２に記憶された顔特徴情報とに基づいて、テレビジョン受像機１０でコンテンツを視聴している一または複数の視聴者個人を特定する。また、顔認識処理部３０３は、フレーム画像における、特定した視聴者の顔の基準位置を取得する。顔認識処理部３０３は、特定した視聴者の個人識別情報と顔の基準位置を示す位置情報とを対応付けて、特定部３０８に供給する。
【００３２】
具体的には、顔認識処理部３０３は、画像信号取得部３０１から供給されるカラー画像データと赤外線画像データとを取り込む。顔認識処理部３０３は、カラー画像データの平均輝度値（カラー画像平均輝度値）を計算する。顔認識処理部３０３は、カラー画像平均輝度値があらかじめ記憶した閾値を超える場合に、カラー画像データを用いて顔画像検出処理を実行し、カラー画像平均輝度値がその閾値以下である場合に、赤外線画像データを用いて顔画像検出処理を実行し、一または複数の顔画像領域を検出する。
上記の閾値は、例えば、顔認識処理部３０３が、カラー画像平均輝度値が異なる複数のカラー画像データそれぞれについて顔画像検出処理を実行した場合の、検出可否の結果および検出誤差に応じて決定される。
【００３３】
顔認識処理部３０３は、検出した一または複数の顔画像領域から顔特徴データを抽出する処理を実行する。顔認識処理部３０３は、顔画像領域ごとに、その抽出した顔特徴データと、顔特徴情報記憶部３０２に記憶された顔特徴情報に含まれる全ての顔特徴データとの類似度をそれぞれ計算し、類似度が最も高い顔特徴データのペアに対応する個人識別情報を顔特徴情報から抽出して、その個人識別情報と当該顔画像領域とを対応付ける。
顔認識処理部３０３は、フレーム画像における当該顔画像領域の顔基準位置を取得し、この顔基準位置と当該顔画像領域に対応付けられた個人識別情報とを対応付けて、特定部３０８に供給する。顔基準位置は、例えば、顔画像領域を少なくとも含む円の中心位置である。または、顔画像領域の重心位置を顔基準位置としてもよい。
【００３４】
マスク画像生成部３０４は、画像信号取得部３０１から供給される赤外線画像データに基づいて、操作部位置検出部３０５と連携動作することによりマスク画像データを生成する。マスク画像データは、赤外線画像データから赤外線Ｓが照射されている領域（赤外線照射領域）を精度よく取得するためのマスクデータである。
【００３５】
具体的には、マスク画像生成部３０４は、画像信号取得部３０１から供給される赤外線画像データを取り込み、内部の記憶部（図示省略）に記憶させる。詳細には、マスク画像生成部３０４は、現時点から所定時間分だけ過去の赤外線画像データを上記の記憶部に記憶させる。マスク画像生成部３０４は、上記の記憶部に記憶された所定時間分の赤外線画像データの画素ごとの平均輝度値を計算して１フレーム画像分の平均輝度画像データを生成し、この平均輝度画像データを操作部位置検出部３０５に供給する。以下、この平均輝度画像データを背景画像データと呼ぶ。
【００３６】
背景画像データは、光センサ部２００に到来する赤外線雑音による影響を抑制または除去するために用いられる画像データである。赤外線雑音は、例えば、カーテンやブラインドを開けたことにより室外から入来する赤外線、室内の照明を点灯したときに発生する赤外線等である。上記の所定時間は、光センサ部２００の周囲環境に応じて任意に設定される。
【００３７】
また、マスク画像生成部３０４は、背景画像データの全画素の平均輝度値（背景画像全画素平均輝度値）を計算し、この平均輝度値を前記の記憶部に記憶させる。
また、マスク画像生成部３０４は、背景画像データの輝度値ヒストグラムを生成し、例えば、最低輝度値である画素を先頭として１フレーム画像分の画素の８０％までを順次計数したときの最高輝度値を操作部位置検出部３０５に供給する。
また、マスク画像生成部３０４は、操作部位置検出部３０５から供給されるクラスタ分析処理後の赤外線画像データを取り込み、このクラスタ分析処理後の赤外線画像データをマスク画像データとして前記の記憶部に記憶させる。
【００３８】
操作部位置検出部３０５は、画像信号取得部３０１から供給される赤外線画像データと、マスク画像生成部３０４から供給される背景画像データおよび最高輝度値とに基づいて、赤外線画像データから操作部１１の赤外線送信部の位置を検出する。
【００３９】
具体的には、操作部位置検出部３０５は、画像信号取得部３０１から供給される赤外線画像データを取り込み、マスク画像生成部３０４から供給される背景画像データと最高輝度値とを取り込む。そして、操作部位置検出部３０５は、赤外線画像データと背景画像データとの画素ごとの差分を計算し、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ；ＳＡＤ）を計算する。
【００４０】
操作部位置検出部３０５は、差分絶対値和があらかじめ記憶した閾値以下である場合、赤外線画像データに対して一定値である第１の閾値を用いた第１の閾値処理を実行する。差分絶対値和が閾値以下であるとは、操作部１１による像が赤外線画像データ内で静止しているか、または殆ど静止した状態であることを示す。
操作部位置検出部３０５は、マスク画像生成部３０４の記憶部に記憶されたマスク画像データを読み込み、第１の閾値処理後の赤外線画像データをマスク画像データでマスクする。
【００４１】
また、操作部位置検出部３０５は、差分絶対値和が上記の閾値を超える場合、赤外線画像データに対して最高輝度値を第２の閾値として用いた第２の閾値処理を実行する。差分絶対値和が閾値を超えるとは、操作部１１による像が赤外線画像データ内で動いていることを示す。
【００４２】
また、操作部位置検出部３０５は、マスクされた赤外線画像データまたは第２の閾値処理された赤外線画像データから閉領域を抽出してクラスタ分析処理（クラスタリング）を実行する。
操作部位置検出部３０５は、クラスタ分析処理後の赤外線画像データをマスク画像生成部３０４に供給する。
【００４３】
また、操作部位置検出部３０５は、クラスタ分析処理後の赤外線画像データからクラスタである赤外線画像領域の操作部基準位置を計算し、この操作部基準位置を示す情報を操作部位置情報として操作部識別部３０７に供給する。操作部基準位置は、例えば赤外線画像領域の重心位置であり、操作部１１の赤外線送信部またはその近傍を示す位置である。
【００４４】
色ヒストグラム記憶部３０６は、テレビジョン受像機１０を遠隔操作する一または複数の操作部１１の色ヒストグラム情報をあらかじめ記憶する。
【００４５】
操作部識別部３０７は、画像信号取得部３０１から供給されるカラー画像データと、操作部位置検出部３０５から供給される操作部位置情報と、色ヒストグラム記憶部３０６に記憶された色ヒストグラム情報とに基づいて、カラー画像データ内の操作部１１を識別する。
【００４６】
具体的には、操作部識別部３０７は、画像信号取得部３０１から供給されるカラー画像データを取り込み、操作部位置検出部３０５から供給される操作部位置情報を取り込む。操作部識別部３０７は、カラー画像データから操作部位置情報が示す操作部基準位置の周囲、例えば、その操作部基準位置を中心として所定距離を半径とした円領域の色情報である色ヒストグラムを生成する。所定距離は、想定される操作部１１の大きさに応じて任意に決定される。
操作部識別部３０７は、生成した色ヒストグラムと色ヒストグラム記憶部３０６に記憶された色ヒストグラム情報に含まれる全ての色ヒストグラムそれぞれとのヒストグラムインターセクションを計算する。操作部識別部３０７は、そのヒストグラムインターセクションの計算結果について、類似度が最も高いペアに対応する操作部識別情報を色ヒストグラム情報から抽出し、その操作部識別情報と操作部位置情報とを対応付けて特定部３０８に供給する。この操作部識別情報に対応する操作部１１が利用操作部である。
【００４７】
特定部３０８は、顔認識処理部３０３から供給される一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータと、操作部識別部３０７から供給される操作部識別情報と操作部位置情報とのペアデータとに基づいて、利用操作部とこの利用操作部を操作する視聴者とを特定する。
【００４８】
具体的には、特定部３０８は、顔認識処理部３０３から供給される一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータを取り込み、操作部識別部３０７から供給される操作部識別情報と操作部位置情報とのペアデータを取り込む。特定部３０８は、一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータと、操作部識別情報と操作部位置情報とのペアデータとの全ての組み合わせについて、顔画像領域の顔基準位置と操作部位置情報が示す赤外線画像領域の操作部基準位置との距離を計算し、距離が最も短い、または所定距離以下となる組み合わせにおける個人識別情報と操作部識別情報とを対応付けて内部の記憶部（図示省略）に記憶させる。
【００４９】
操作制御情報取得部３０９は、操作履歴情報の取得処理において、画像信号取得部３０１から供給される赤外線画像データと、マスク画像生成部３０４に記憶された背景画像全画素平均輝度値とに基づいて、利用操作部である操作部１１が送信した赤外線Ｓから操作制御情報を取得する。
【００５０】
具体的には、操作制御情報取得部３０９は、マスク画像生成部３０４に記憶された背景画像全画素平均輝度値を読み込み、画像信号取得部３０１から供給される赤外線画像データを取り込む。背景画像全画素平均輝度値は、操作部１１から赤外線Ｓが送信されていない状態を示す。
【００５１】
操作制御情報取得部３０９は、画像信号取得部３０１から供給される赤外線画像データを取り込むたびに、その赤外線画像データの平均輝度値（赤外線画像平均輝度値）を計算し、この赤外線画像平均輝度値と背景画像全画素平均輝度値とを比較する。操作制御情報取得部３０９は、赤外線画像平均輝度値が背景画像全画素平均輝度値よりも大きい場合、例えば、赤外線画像平均輝度値が背景画像全画素平均輝度値の１．２倍以上の輝度である場合にオン状態であると判定する。また、操作制御情報取得部３０９は、赤外線画像平均輝度値が背景画像全画素平均輝度値よりも小さい場合、例えば、赤外線画像平均輝度値が背景画像全画素平均輝度値の０．８倍以下の輝度である場合にオフ状態であると判定する。オン状態とは、操作部１１が赤外光Ｓを送信している状態であり、オフ状態とは、操作部１１が赤外光Ｓの送信を停止している状態である。
【００５２】
操作制御情報取得部３０９は、時系列の赤外線画像データのオン状態またはオフ状態を判定することによって赤外線Ｓのパルス符号を取得し、このパルス符号を復号して操作制御情報を取得し、この操作制御情報を操作履歴情報生成部３１０に供給する。
【００５３】
操作履歴情報生成部３１０は、特定部３０８の記憶部に記憶された個人識別情報と操作部識別情報とのペアを読み込み、操作制御情報取得部３０９から供給される操作制御情報を取り込む。操作履歴情報生成部３１０は、これら取り込んだ個人識別情報と操作部識別情報と操作制御情報とを関連付けた操作履歴情報を生成し、この操作履歴情報を外部の情報処理装置（図示省略）に出力したり、内部の記憶部（図示省略）に記憶させたりする。
【００５４】
次に、第１実施形態であるテレビジョン視聴支援装置２０の操作履歴情報取得部３００の動作について説明する。
図６は、操作履歴情報取得部３００が実行する利用操作部の特定処理全体のフローチャートである。
まず、初期の処理として、画像信号取得部３０１は、光センサ部２００から供給される赤外線画像信号とカラー画像信号とをそれぞれ取り込み、これら赤外線画像信号とカラー画像信号とのフレーム同期をかける。
次に、ステップＳ１において、画像信号取得部３０１は、毎フレーム、または複数フレームごとに、１フレーム画像分の赤外線画像データおよびカラー画像データを取得する。
【００５５】
ステップＳ２，Ｓ３，Ｓ４の各処理は、ステップＳ１の処理に続けて並列実行される。ステップＳ２は、顔認識処理部３０３が実行する顔認識処理である。ステップＳ３は、マスク画像生成部３０４と操作部位置検出部３０５とが連携して実行するマスク画像生成処理である。ステップＳ４は、操作部位置検出部３０５が実行する操作部位置情報取得処理である。ステップＳ５は、ステップＳ４の処理の次に、操作部識別部３０７と特定部３０８とが実行する操作部特定処理である。
【００５６】
次に、ステップＳ２〜Ｓ５の各処理の詳細を説明する。
図７は、顔認識処理部３０３が実行する顔認識処理（Ｓ２）の手順を示すフローチャートである。顔認識処理部３０３は、画像信号取得部３０１から各１フレーム画像のカラー画像データと赤外線画像データとを取り込むと本フローチャートの処理を実行する。
ステップＳ２０１において、顔認識処理部３０３は、カラー画像データの平均輝度値であるカラー画像平均輝度値を計算する。
次に、ステップＳ２０２において、顔認識処理部３０３は、カラー画像平均輝度値があらかじめ記憶した閾値を超える場合（Ｓ２０２：ＹＥＳ）、ステップＳ２０３の処理に移し、カラー画像平均輝度値がその閾値以下である場合（Ｓ２０２：ＮＯ）、ステップＳ２０４の処理に移す。
【００５７】
ステップＳ２０３において、顔認識処理部３０３は、取り込んだカラー画像データを用いて顔画像検出処理を実行し、ステップＳ２０５の処理に移す。
一方、ステップＳ２０４において、顔認識処理部３０３は、取り込んだ赤外線画像データを用いて顔画像検出処理を実行し、ステップＳ２０５の処理に移す。
顔認識処理部３０３が実行する顔画像検出処理として、公知の顔画像検出アルゴリズムを適用する。具体的には、顔認識処理部３０３は、例えば、ＡｄａＢｏｏｓｔアルゴリズムによりカラー画像データまたは赤外線画像データから一または複数の顔画像領域を検出する。
【００５８】
ステップＳ２０５において、顔認識処理部３０３は、検出した一または複数の顔画像領域から顔特徴データを抽出する。
次に、顔認識処理部３０３は、顔画像領域ごとに、その抽出した顔特徴データと、顔特徴情報記憶部３０２に記憶された顔特徴情報に含まれる全ての顔特徴データとの類似度をそれぞれ計算し、類似度が最も高い顔特徴データのペアに対応する個人識別情報を顔特徴情報から抽出し、その個人識別情報と当該顔画像領域とを対応付ける。
【００５９】
次に、ステップＳ２０６において、顔認識処理部３０３は、フレーム画像における当該顔画像領域の顔基準位置を取得し、この顔基準位置と当該顔画像領域に対応付けられた個人識別情報とを対応付けて特定部３０８に供給する。
【００６０】
図８は、マスク画像生成部３０４と操作部位置検出部３０５とが連携して実行するマスク画像生成処理（Ｓ３）の手順を示すフローチャートである。マスク画像生成部３０４は、画像信号取得部３０１から１フレームの赤外線画像データを取り込むと本フローチャートの処理を実行する。
ステップＳ３０１において、マスク画像生成部３０４は、赤外線画像データを内部の記憶部（図示省略）に記憶させる。この時点で、マスク画像生成部３０４の上記の記憶部は、現時点から所定時間分だけ過去の赤外線画像データを記憶することとなる。
次に、ステップＳ３０２において、マスク画像生成部３０４は、上記の記憶部に記憶された所定時間分の赤外線画像データの画素ごとの平均輝度値を計算して１フレーム分の平均輝度画像データを生成し、この平均輝度画像データを背景画像データとして操作部位置検出部３０５に供給する。
【００６１】
次に、ステップＳ３０３において、マスク画像生成部３０４は、背景画像データの全画素の平均輝度値である背景画像全画素平均輝度値を計算し、この背景画像全画素平均輝度値を前記の記憶部に記憶させる。
次に、マスク画像生成部３０４は、背景画像データの輝度値ヒストグラムを生成し、例えば、最低輝度値である画素を先頭として１フレーム画像分の画素の８０％までを順次計数したときの最高輝度値を操作部位置検出部３０５に供給する。
次に、ステップＳ３０４において、マスク画像生成部３０４は、操作部位置検出部３０５から供給されるクラスタ分析処理後の赤外線画像データを取り込み、このクラスタ分析処理後の赤外線画像データをマスク画像データとして前記の記憶部に記憶させる。
【００６２】
図９は、操作部位置検出部３０５が実行する操作部位置情報取得処理（Ｓ４）の手順を示すフローチャートである。操作部位置検出部３０５は、画像信号取得部３０１から１フレームの赤外線画像データを取り込むと本フローチャートの処理を実行する。
ステップＳ４０１において、操作部位置検出部３０５は、マスク画像生成部３０４から供給される背景画像データと最高輝度値とを取り込む。
次に、ステップＳ４０２において、操作部位置検出部３０５は、赤外線画像データと背景画像データとの画素ごとの差分を計算し、差分絶対値和を計算する。
【００６３】
次に、ステップＳ４０３において、操作部位置検出部３０５は、差分絶対値和があらかじめ記憶した閾値以下である場合（Ｓ４０３：ＹＥＳ）は、ステップＳ４０４の処理に移す。一方、操作部位置検出部３０５は、差分絶対値和が上記の閾値を超える場合（ステップＳ４０３：ＮＯ）は、ステップＳ４０６の処理に移す。
【００６４】
ステップＳ４０４において、操作部位置検出部３０５は、赤外線画像データに対して一定値である第１の閾値を用いた第１の閾値処理を実行する。
次に、ステップＳ４０５において、操作部位置検出部３０５は、マスク画像生成部３０４の記憶部に記憶されたマスク画像データを読み込み、第１の閾値処理が実行された赤外線画像データをマスク画像データでマスクする。次に、操作部位置検出部３０５は、ステップＳ４０７の処理に移す。
【００６５】
一方、ステップＳ４０６において、操作部位置検出部３０５は、赤外線画像データに対して最高輝度値を第２の閾値として用いた第２の閾値処理を実行する。次に、操作部位置検出部３０５は、ステップＳ４０７の処理に移す。
【００６６】
ステップＳ４０７において、操作部位置検出部３０５は、ステップＳ４０５の処理においてマスクされた赤外線画像データ、またはステップＳ４０６の処理において第２の閾値処理された赤外線画像データから閉領域を抽出する。
次に、ステップＳ４０８において、操作部位置検出部３０５は、抽出した閉領域に対するクラスタ分析処理を実行する。クラスタ分析処理としては、例えばＫ平均法を適用する。
次に、操作部位置検出部３０５は、クラスタ分析処理後の赤外線画像データをマスク画像生成部３０４に供給する。
【００６７】
次に、ステップＳ４０９において、操作部位置検出部３０５は、クラスタ分析処理後の赤外線画像データから赤外線画像領域の操作部基準位置を計算し、この操作部基準位置を示す情報を操作部位置情報として操作部識別部３０７に供給する。
【００６８】
図１０は、操作部識別部３０７と特定部３０８とが実行する操作部特定処理（Ｓ５）の手順を示すフローチャートである。操作部識別部３０７は、画像信号取得部３０１から１フレームのカラー画像データを取り込むと本フローチャートの処理を実行する。
ステップＳ５０１において、操作部識別部３０７は、カラー画像データから操作部位置情報が示す操作部基準位置の周囲、例えば、その操作部基準位置を中心として所定距離を半径とした円領域の色ヒストグラムを生成する。
【００６９】
次に、ステップＳ５０２において、操作部識別部３０７は、ステップＳ５０１の処理において生成した色ヒストグラムと、色ヒストグラム記憶部３０６に記憶された色ヒストグラム情報に含まれる全ての色ヒストグラムそれぞれとのヒストグラムインターセクションを計算する。
次に、操作部識別部３０７は、そのヒストグラムインターセクションの計算結果について、類似度が最も高いペアに対応する操作部識別情報を色ヒストグラム情報から抽出し、その操作部識別情報と操作部位置情報とを対応付けて特定部３０８に供給する。
【００７０】
次に、ステップＳ５０３において、特定部３０８は、顔認識処理部３０３から供給される一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータを取り込み、操作部識別部３０７から供給される操作部識別情報と操作部位置情報とのペアデータを取り込む。
次に、特定部３０８は、一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータと、操作部識別情報と操作部位置情報とのペアデータとの全ての組み合わせについて、顔画像領域の顔基準位置と操作部位置情報が示す赤外線画像領域の操作部基準位置との距離を計算し、距離が最も短い、または所定距離以下となる組み合わせにおける個人識別情報と操作部識別情報とを対応付けて内部の記憶部に記憶させる。
【００７１】
図１１は、操作履歴情報取得部３００が実行する操作履歴情報の取得処理の手順を示すフローチャートである。
ステップＳ６０１において、操作制御情報取得部３０９は、マスク画像生成部３０４に記憶された背景画像全画素平均輝度値を読み込み、画像信号取得部３０１から供給される赤外線画像データを取り込む。
次に、ステップＳ６０２において、操作制御情報取得部３０９は、赤外線画像データの平均輝度値である赤外線画像平均輝度値を計算する。
【００７２】
次に、ステップＳ６０３において、操作制御情報取得部３０９は、赤外線画像平均輝度値と背景画像全画素平均輝度値とを比較する。
次に、ステップＳ６０４において、操作制御情報取得部３０９は、ステップＳ６０３の処理における比較結果がオン状態であると判定する場合（Ｓ６０４：ＹＥＳ）はステップＳ６０５の処理に移し、比較結果がオフ状態であると判定する場合（Ｓ６０４：ＮＯ）はステップＳ６０６の処理に移す。
具体的には、例えば、操作制御情報取得部３０９は、赤外線画像平均輝度値が背景画像全画素平均輝度値よりも大きい場合、例えば、赤外線画像平均輝度値が背景画像全画素平均輝度値の１．２倍以上の輝度である場合にオン状態であると判定する。また、操作制御情報取得部３０９は、赤外線画像平均輝度値が背景画像全画素平均輝度値よりも小さい場合、例えば、赤外線画像平均輝度値が背景画像全画素平均輝度値の０．８倍以下の輝度である場合にオフ状態であると判定する。
【００７３】
ステップＳ６０５において、操作制御情報取得部３０９は、オン状態を表すフラグデータ（例えば“１”）を図示しないメモリに記憶させて、ステップＳ６０７の処理に移す。
ステップＳ６０６において、操作制御情報取得部３０９は、オフ状態を表すフラグデータ（例えば“０（ゼロ）”）を上記のメモリに記憶させて、ステップＳ６０７の処理に移す。
【００７４】
ステップＳ６０７において、操作制御情報取得部３０９は、上記のメモリに記憶された時系列のフラグデータ（フラグデータ列）がリモコンコードを表すパルス符号であるか否かを判定する。
操作制御情報取得部３０９は、フラグデータ列がリモコンコードを表すパルス符号であると判定した場合（ステップＳ６０７：ＹＥＳ）はステップＳ６０８の処理に移し、フラグデータ列がリモコンコードを表すパルス符号でないと判定した場合（ステップＳ６０７：ＮＯ）はステップＳ６０１の処理に戻す。
ステップＳ６０８において、操作制御情報取得部３０９は、リモコンコードを復号して操作制御情報を取得し、この操作制御情報を操作履歴情報生成部３１０に供給する。
【００７５】
次に、ステップＳ６０９において、操作履歴情報生成部３１０は、特定部３０８の記憶部に記憶された個人識別情報と操作部識別情報とのペアを読み込み、操作制御情報取得部３０９から供給される操作制御情報を取り込む。
次に、操作履歴情報生成部３１０は、これら取り込んだ個人識別情報と操作部識別情報と操作制御情報とを関連付けた操作履歴情報を生成し、この操作履歴情報を外部の情報処理装置に出力したり、内部の記憶部に記憶させたりする。
【００７６】
以上詳述したとおり、本発明の第１実施形態であるテレビジョン視聴支援装置２０において、光センサ部２００は、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔といずれかの視聴者によって保持されて操作される赤外線出射型の操作部１１とを撮像して赤外線画像信号およびカラー画像信号を生成する。
【００７７】
また、操作履歴情報取得部３００において、顔認識処理部３０３は、カラー画像データまたは赤外線画像データから、一または複数の視聴者の顔画像領域を検出して視聴者個人を特定し、検出した顔画像領域における顔基準位置を検出する。また、操作部位置検出部３０５は、赤外線画像データから、操作部１１の赤外線画像領域における操作部基準位置を検出する。また、操作部識別部３０７は、カラー画像データから、操作部位置検出部３０５が検出した操作部基準位置の周辺領域の色ヒストグラムに基づいて操作部１１を識別する。
【００７８】
また、特定部３０８は、顔認識処理部３０３が特定した視聴者個人を示す個人識別情報および検出した顔基準位置と、操作部位置検出部３０５が検出した操作部基準位置と、操作部識別部３０７が識別した操作部１１の操作部識別情報とを取得し、顔基準位置と操作部基準位置との距離に応じて操作部１１の操作者である視聴者個人を特定し、視聴者個人を示す個人識別情報および操作部１１の操作部識別情報を対応付ける。また、操作履歴情報生成部３１０は、特定部３０８が対応付けた視聴者個人を示す個人識別情報および操作部１１の操作部識別情報と操作制御情報取得部３０９が取得した操作制御情報とを対応付けて操作履歴情報を生成する。
【００７９】
このように構成したことにより、テレビジョン視聴支援装置２０は、操作部１１を保持しテレビジョン受像機１０でコンテンツを視聴している視聴者を即座に特定することができ、さらに操作部１１を識別して、特定した視聴者が識別した操作部１１を操作した操作履歴情報を適切に取得することができる。
すなわち、本発明の第１実施形態によれば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等の赤外線出射型の操作部１１について、誰が、どの操作部１１を用いてどのような遠隔操作を行ったかという履歴情報を即座に且つ適切に取得することができる。
【００８０】
［第２の実施の形態］
上述した第１実施形態において、操作部１１は、例えば、パルス化した操作制御信号を赤外線Ｓにより送信する、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等であるものとして説明した。本発明の第２実施形態では、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）パケット化した操作制御信号を、電気通信回線を介して送信する、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン等の携帯端末を操作部として用いた例について説明する。
なお、本実施形態において、第１実施形態と同一の構成については同一の符号を付し、その説明を省略する。
【００８１】
図１２は、本発明の第２実施形態であるテレビジョン視聴支援装置を適用したテレビ視聴システムの全体構成を示すブロック図である。同図に示すように、テレビ視聴システム１ａは、テレビジョン受像機１０と、操作部１１ａと、テレビジョン視聴支援装置２０ａとを、ネットワーク３０を介して接続した構成を有する。
【００８２】
ネットワーク３０は、有線および無線またはいずれか一方によるコンピュータネットワークである。ネットワーク３０は、例えばホームネットワーク等のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットである。
【００８３】
操作部１１ａは、操作部１１ａの保持者（操作者）による操作にしたがって操作制御信号を発生させ、この操作制御信号を、ネットワーク３０を介してテレビジョン受像機１０および操作履歴情報取得部３００ａに送信する遠隔操作機器である。操作部１１ａは、ＩＰパケット化した操作制御信号を、ネットワーク３０を介して送信する赤外線非出射型の操作部であり、例えば、タブレットＰＣ、スマートフォン等の携帯端末により実現される。
なお、本実施形態における携帯端末は、この携帯端末を赤外線リモコン装置として機能させるためのリモコン用アプリケーションプログラムを実行している状態のものである。
【００８４】
また、詳しくは後述するが、操作部１１ａの外装部分には、再帰性反射材が取り付けられている。再帰性反射材は、入射光を入射方向に反射させる再帰性の性質を有した反射材である。
【００８５】
テレビジョン視聴支援装置２０ａは、光センサ部２００ａと、操作履歴情報取得部３００ａとを備える。
光センサ部２００ａは、第１実施形態における光センサ部２００と同様に、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔と、テレビジョン受像機１０を遠隔操作する操作部１１ａとを赤外線波長領域および可視光波長領域それぞれの波長領域で撮影し、これらの撮影により得た赤外線画像信号とカラー画像信号とを、操作履歴情報取得部３００ａに供給する。
また、光センサ部２００ａは、上記の撮影方向に赤外光を照明する。光センサ部２００ａの構成の詳細については後述する。
【００８６】
操作履歴情報取得部３００ａは、第１実施形態における操作履歴情報取得部３００と同様に、利用操作部の特定処理と操作履歴情報の取得処理とを実行する。
利用操作部の特定処理において、操作履歴情報取得部３００ａは、光センサ部２００ａから供給される赤外線画像信号とカラー画像信号とを取り込み、これら赤外線画像信号とカラー画像信号との画像処理を行うことによって、テレビジョン受像機１０を遠隔操作する操作部１１ａと、操作部１１ａを操作する視聴者とを特定する。
【００８７】
また、操作履歴情報の取得処理において、操作履歴情報取得部３００ａは、ネットワーク３０を介して、操作部１１ａが送信した操作制御情報を取得する。操作履歴情報取得部３００ａは、その操作制御情報と、利用操作部の特定処理において特定した操作部１１ａと操作部１１ａを操作する視聴者とを対応付けた操作履歴情報を生成する。
操作履歴情報取得部３００ａの構成の詳細については後述する。
【００８８】
図１３は、操作部１１ａの概略の外観を示す斜視図である。同図は、操作部１１ａとしてスマートフォンを用いた例を示している。同図において、操作部１１ａを遠隔操作のために使用する際に、テレビジョン受像機１０側に向けられる操作部１１ａの端面には、再帰性反射材１０１が設けられている。再帰性反射材１０１は、例えば、ビーズタイプやプリズムタイプの再帰性反射テープや再帰性反射パネルであり、操作部１１ａの端面に貼付される。
なお、操作部１１ａのケースカバーを再帰性反射材により形成したり、操作部１１ａの外装ケースを再帰性反射材により形成したりしてもよい。
【００８９】
図１４は、光センサ部２００ａの概略構成を模式的に示す断面図である。同図に示すように、光センサ部２００ａは、第１実施形態における光センサ部２００に、同軸赤外線照明２４０を備えたものである。
同軸赤外線照明２４０は、赤外照明光を照射する同軸照明である。同軸照明とは、照明光軸と撮像光軸とが同軸となる照明である。同軸赤外線照明２４０は、赤外線出射部２４１と、ハーフミラー２４２とを備える。赤外線出射部２４１は、赤外線を出射する発光部であり、例えば、赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により実現される。ハーフミラー２４２は、赤外線出射部２４１から到来する赤外照明光を反射させる一方、外部から到来する赤外線Ｓを透過させる。
同軸赤外線照明２４０は、赤外線出射部２４１が出射する赤外照明光の光軸と、赤外線撮像部２２０の撮像光軸とが一致するように設けられる。
【００９０】
図１５は、操作履歴情報取得部３００ａの機能構成を示すブロック図である。同図に示すように、操作履歴情報取得部３００ａは、第１実施形態における操作履歴情報取得部３００に対して、操作部位置検出部３０５と操作制御情報取得部３０９とを、操作部位置検出部３０５ａと操作制御情報取得部３０９ａとに変更した構成を有する。
【００９１】
操作部位置検出部３０５ａは、第１実施形態における操作部位置検出部３０５と同様に、画像信号取得部３０１から供給される赤外線画像データと、マスク画像生成部３０４から供給される背景画像データおよび最高輝度値とに基づいて、赤外線画像データから操作部１１ａの再帰性反射材の画像領域を検出する。
【００９２】
ただし、操作部位置検出部３０５ａは、クラスタ分析処理後の赤外線画像データについて、相対距離が所定距離以下であるクラスタ同士を統合する。この所定距離は、例えば操作部１１ａを視聴者が保持する場合に、指や手等によって再帰性反射材が分断されることを考慮して決められる。例えば、所定距離は、成人男性の頭の幅の寸法と操作部１１ａの一辺の寸法との比に基づいて決められる距離である。
操作部位置検出部３０５ａは、このクラスタ統合処理後の赤外線画像データをマスク画像生成部３０４に供給する。
【００９３】
また、操作部位置検出部３０５ａは、クラスタ統合処理後の赤外線画像データから赤外線画像領域の操作部基準位置を計算し、この操作部基準位置を示す情報を操作部位置情報として操作部識別部３０７に供給する。
【００９４】
操作制御情報取得部３０９ａは、操作履歴情報の取得処理において、第１実施形態における操作制御情報取得部３０９と同様に、画像信号取得部３０１から供給される赤外線画像データと、マスク画像生成部３０４に記憶された背景画像全画素平均輝度値とに基づいて、利用操作部（赤外線リモコン装置）が送信した赤外線Ｓから操作制御情報を取得する。また、操作制御情報取得部３０９ａは、操作履歴情報の取得処理において、操作部１１ａが送信する操作制御データを、ネットワーク３０を介して受信し、この操作制御データを操作制御情報として取得する。
【００９５】
次に、第２実施形態であるテレビジョン視聴支援装置２０ａの操作履歴情報取得部３００ａの動作について説明する。ここでは、第１実施形態であるテレビジョン視聴支援装置２０の動作と異なる動作についてのみ説明する。
【００９６】
マスク画像生成部３０４と操作部位置検出部３０５とが連携して実行するマスク画像生成処理のステップＳ３０４の処理において、マスク画像生成部３０４は、操作部位置検出部３０５ａから供給されるクラスタ統合処理後の赤外線画像データを取り込み、このクラスタ分析処理後の赤外線画像データをマスク画像データとして内部の記憶部に記憶させる。
【００９７】
また、操作部位置検出部３０５ａが実行する操作部位置情報取得処理のステップＳ４０８の処理において、操作部位置検出部３０５ａは、抽出した閉領域に対するクラスタ分析処理を実行する。次に、操作部位置検出部３０５ａは、クラスタ分析処理後の赤外線画像データについて、相対距離が所定距離以下にあるクラスタ同士を統合する。
次に、操作部位置検出部３０５ａは、クラスタ統合処理後の赤外線画像データをマスク画像生成部３０４に供給する。
【００９８】
また、操作履歴情報取得部３００ａが実行する操作履歴情報の取得処理において、操作制御情報取得部３０９ａは、操作部１１ａが送信する操作制御データを、ネットワーク３０を介して受信し、この操作制御データを操作制御情報として操作履歴情報生成部３１０に供給する。
【００９９】
以上詳述したとおり、本発明の第２実施形態であるテレビジョン視聴支援装置２０ａにおいて、光センサ部２００ａは、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔といずれかの視聴者によって保持されて操作される赤外線非出射型の操作部１１ａとを撮像して赤外線画像信号およびカラー画像信号を生成する。
【０１００】
また、操作履歴情報取得部３００ａにおいて、顔認識処理部３０３は、カラー画像データまたは赤外線画像データから、一または複数の視聴者の顔画像領域を検出して視聴者個人を特定し、検出した顔画像領域における顔基準位置を検出する。また、操作部位置検出部３０５ａは、赤外線画像データから、操作部１１ａの赤外線画像領域における操作部基準位置を検出する。また、操作部識別部３０７は、カラー画像データから、操作部位置検出部３０５ａが検出した操作部基準位置の周辺領域の色ヒストグラムに基づいて操作部１１ａを識別する。
【０１０１】
また、特定部３０８は、顔認識処理部３０３が特定した視聴者個人を示す個人識別情報および検出した顔基準位置と、操作部位置検出部３０５ａが検出した操作部基準位置と、操作部識別部３０７が識別した操作部１１ａの操作部識別情報とを取得し、顔基準位置と操作部基準位置との距離に応じて操作部１１ａの操作者である視聴者個人を特定し、視聴者個人を示す個人識別情報および操作部１１ａの操作部識別情報を対応付ける。また、操作履歴情報生成部３１０は、特定部３０８が対応付けた視聴者個人を示す個人識別情報および操作部１１ａの操作部識別情報と操作制御情報取得部３０９ａが取得した操作制御情報とを対応付けて操作履歴情報を生成する。
【０１０２】
このように構成したことにより、テレビジョン視聴支援装置２０ａは、操作部１１ａを保持しテレビジョン受像機１０でコンテンツを視聴している視聴者を即座に特定することができ、さらに操作部１１ａを識別して、特定した視聴者が識別した操作部１１ａを操作した操作履歴情報を適切に取得することができる。
すなわち、本発明の第２実施形態によれば、タブレットＰＣ、スマートフォン等の赤外線非出射型の操作部１１ａについて、誰が、どの操作部１１ａを用いてどのような遠隔操作を行ったかという履歴情報を即座に且つ適切に取得することができる。
【０１０３】
［応用例］
次に、前述した第１実施形態および第２実施形態におけるテレビジョン視聴支援装置２０，２０ａが取得した操作履歴情報を用いる応用例について説明する。
第１の例は、情報処理装置（例えば、コンピュータ装置）が操作履歴情報と電子番組ガイドとに基づいてコンテンツ推薦リストを生成する例である。具体的には、情報処理装置は、操作履歴情報取得部３００，３００ａから操作履歴情報を取り込み、また、テレビジョン受像機１０または外部の電子番組ガイドサーバから電子番組ガイドを取り込む。情報処理装置は、操作履歴情報と電子番組ガイドとに基づいて、視聴者ごとに、視聴したコンテンツの属性と、遠隔操作によってコンテンツを切り替えるタイミングとを取得する。そして、情報処理装置は、切替間隔が短いほど当該コンテンツに興味がなく、切替時間が長いほど当該コンテンツに興味があると判定する。そして、情報処理装置は、興味があると判定したコンテンツの属性に同一または類似するコンテンツを、推薦順位を高くする一方、興味がないと判定したコンテンツの属性に同一または類似するコンテンツを、推薦順位を低くしたコンテンツ推薦リストを作成する。そして、情報処理装置は、このコンテンツ推薦リストを表示装置に表示させたり、テレビジョン受像機１０に供給したりする。
【０１０４】
上記の第１の例において、情報処理装置は、取得した属性（例えば、ジャンル）からキーワードを抽出して、このキーワードに基づいて視聴者個人の趣味や嗜好を推定し、この推定結果を用いてコンテンツ推薦リストを生成してもよい。
【０１０５】
第２の例は、情報処理装置が操作履歴情報から視聴者ごとの周期性がある履歴を取得し、この取得結果に基づいた遠隔操作を行う例である。周期性がある履歴とは、例えば、ある視聴者は、毎週水曜日の２１時から特定の放送番組を視聴していることが示された履歴である。情報処理装置は、周期性がある履歴を取得した場合、その周期にしたがった内容の操作制御データを、ネットワーク３０を介してテレビジョン受像機１０に供給する。
【０１０６】
第３の例は、 操作部１１ａが、操作パネルのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を、視聴者ごとの操作履歴情報に基づいて変更する例である。具体的には、操作部１１ａは、操作履歴情報取得部３００ａから操作履歴情報を取り込む。操作部１１ａは、操作履歴情報に基づいて、使用頻度が高いＧＵＩボタンを使用頻度が低いＧＵＩボタンよりも大きく表示したりする。
【０１０７】
なお、第１実施形態であるテレビジョン視聴支援装置２０において、カラー画像信号を用いない構成とすることもできる。このように構成する場合、光センサ部２００は、光束分離部２１０とカラー撮像部２３０とを省略することができる。また、顔認識処理部３００は、赤外線画像データのみを用いて顔画像検出処理を実行する。第２実施形態についても同様である。
【０１０８】
また、色ヒストグラム記憶部３０６と操作部識別部３０７とを省略することができる。このように構成する場合、操作履歴情報生成部３１０は、個人識別情報と操作制御情報とを関連付けた操作履歴情報を生成する。つまり、操作部１１はあらかじめ識別されていることが前提となる。第２実施形態についても同様である。
【０１０９】
また、第１実施形態および第２実施形態では、テレビジョン受像機１０とテレビジョン視聴支援装置２０，２０ａとを分離してテレビ視聴システム１，１ａを構成したが、これ以外にも、テレビジョン受像機１０とテレビジョン視聴支援装置２０，２０ａとを一体的に構成してもよい。
【０１１０】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１１１】
１，１ａ テレビ視聴システム
１０ テレビジョン受像機
１１，１１ａ 操作部
２０，２０ａ テレビジョン視聴支援装置
３０ ネットワーク
１０１ 再帰性反射材
２００，２００ａ 光センサ部
２１０ 光束分離部
２２０ 赤外線撮像部
２３０ カラー撮像部
２４０ 同軸赤外線照明
２４１ 赤外線出射部
２４２ ハーフミラー
３００，３００ａ 操作履歴情報取得部
３０１ 画像信号取得部
３０２ 顔特徴情報記憶部
３０３ 顔認識処理部
３０４ マスク画像生成部
３０５，３０５ａ 操作部位置検出部
３０６ 色ヒストグラム記憶部
３０７ 操作部識別部
３０８ 特定部
３０９，３０９ａ 操作制御情報取得部
３１０ 操作履歴情報生成部
【技術分野】
【０００１】
本発明は、テレビジョン視聴支援装置に関する。
【背景技術】
【０００２】
携帯電話機、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン等の携帯端末を、テレビジョン受像機（テレビ装置）を遠隔操作するリモートコントロール装置（リモコン）として機能させるためのリモコン用アプリケーションプログラムが知られている。
このリモコン用アプリケーションプログラムを実行する、携帯電話機、タブレットＰＣ、スマートフォン等の複数の携帯端末それぞれは、一台のテレビ装置を遠隔操作することができる。
【０００３】
また、操作ボタンの配置等の操作環境を操作者ごとにカスタマイズすることができるリモコンが知られている（例えば、特許文献１参照）。
ところで、テレビ装置のリモコンの操作者が特定の一個人であるとは限らない。例えば、家庭に設置されたテレビ装置のリモコンは、家族内で共用されることが多い。よって、複数人分のカスタマイズデータが記憶されたリモコンを複数人で共用する場合、そのリモコンが操作者を正しく判別する必要がある。特許文献１に記載されたリモコンは、このリモコンが充電のためのクレードルから取り外されたことを検知したときに操作者の認証を開始することによって、操作者を早期に識別して特定するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載のリモコンがクレードルを経由することなく人から人に渡された場合、そのリモコンは、あらためて個人認証モードボタンが押されてからでないと操作者の認証を行うことができず、即座に操作者を特定することができない。
また、パスワード認証、携帯端末の内蔵カメラが撮像した顔画像を用いた顔認証、携帯端末が具備する指紋認証装置による指紋認証等の従来技術による個人認証は、被認証者による煩雑な操作を必要とする。よって、これらの個人認証を必要とするリモコンには、手に取ったリモコンを即座に操作することができないという問題がある。
したがって、これら従来技術によれば、複数種類のリモコンがテレビ装置を遠隔操作する操作環境において、実際に遠隔操作されるリモコンとこのリモコンの操作者とを迅速に特定し、その操作者によるそのリモコンの操作履歴情報を適切に取得することができなかった。
【０００６】
そこで、本発明は上記問題点を解決するためになされたものであり、複数種類のリモコンがテレビ装置を遠隔操作する操作環境において、実際に遠隔操作されるリモコンとこのリモコンの操作者とを即座に特定し、その操作者によるそのリモコンの操作履歴情報を適切に取得することができる、テレビジョン視聴支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
［１］上記の課題を解決するため、本発明の一態様であるテレビジョン視聴支援装置は、視聴者の顔と前記視聴者によって操作される赤外線出射型の操作部とを被写体として撮像し、一連の赤外線画像データを生成する光センサ部と、前記光センサ部が生成した前記赤外線画像データから前記視聴者の顔画像領域を検出して視聴者個人を特定し、前記赤外線画像データにおける前記顔画像領域の顔基準位置を検出する顔認識処理部と、前記赤外線画像データにおける、前記操作部に対応する赤外線画像領域の操作部基準位置を検出する操作部位置検出部と、前記顔認識処理部が特定した前記視聴者個人を示す個人識別情報および検出した前記顔基準位置と前記操作部位置検出部が検出した前記操作部基準位置とを取得し、前記赤外線画像データにおける前記顔基準位置と前記操作部基準位置との距離に応じて、前記操作部の操作者である視聴者個人を特定する特定部と、前記光センサ部が生成する一連の赤外線画像データから前記操作部の操作制御情報を取得する操作制御情報取得部と、前記特定部が特定した前記視聴者個人を示す個人識別情報と前記操作制御情報取得部が取得した前記操作制御情報とを対応付けて操作履歴情報を生成する操作履歴情報生成部と、を備えることを特徴とする。
ここで、赤外線出射型の操作部は、例えば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等である。また、光センサ部は、例えば、赤外線撮像装置である。光センサ部は、例えば、テレビジョン受像機でコンテンツを視聴する視聴者の顔とその視聴者によって保持されて操作される赤外線出射型の操作部とを撮像して一連の赤外線画像データを生成するものである。
このように構成したことにより、テレビジョン視聴支援装置は、赤外線出射型の操作部を保持しテレビジョン受像機でコンテンツを視聴している視聴者を即座に特定することができ、特定した視聴者が操作部を操作した操作履歴情報を適切に取得することができる。
すなわち、本発明の第１の態様によれば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等の赤外線出射型の操作部について、誰がどのような遠隔操作を行ったかという履歴情報を即座に且つ適切に取得することができる。
【０００８】
［２］上記［１］記載のテレビジョン視聴支援装置において、前記光センサ部は、前記被写体を撮像して一連のカラー画像データをも生成し、前記光センサ部が生成した前記カラー画像データから、前記操作部位置検出部が検出した前記操作部基準位置の周辺領域の色情報に基づいて前記操作部を識別する操作部識別部をさらに備え、前記特定部は、前記顔認識処理部が特定した前記視聴者個人を示す個人識別情報および検出した前記顔基準位置と、前記操作部位置検出部が検出した前記操作部基準位置と、前記操作部識別部が識別した前記操作部の識別情報とを取得し、前記赤外線画像データにおける前記顔基準位置と前記操作部基準位置との距離に応じて前記操作部の操作者である視聴者個人を特定し、前記視聴者個人を示す個人識別情報および前記操作部の識別情報を対応付け、前記操作履歴情報生成部は、前記特定部が対応付けた前記視聴者個人を示す個人識別情報および前記操作部の識別情報と前記操作制御情報取得部が取得した前記操作制御情報とを対応付けて操作履歴情報を生成することを特徴とする。
ここで、光センサ部は、例えば、赤外線撮像装置と同一の画角、または被写体が重なるように光学調整されたカラー撮像装置を含む。
このように構成したことにより、テレビジョン視聴支援装置は、操作部を保持しテレビジョン受像機でコンテンツを視聴している視聴者を即座に特定することができ、さらに操作部を識別して、特定した視聴者が識別した操作部を操作した操作履歴情報を適切に取得することができる。
すなわち、本発明の第２の態様によれば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等の赤外線出射型の操作部について、誰が、どの操作部を用いてどのような遠隔操作を行ったかという履歴情報を即座に且つ適切に取得することができる。
【０００９】
［３］上記［１］または［２］記載のテレビジョン視聴支援装置において、前記光センサ部は、撮像光軸と同軸の照明光軸を有する同軸赤外線照明をさらに備え、赤外線非出射型の操作部をも撮像することを特徴とする。
ここで、赤外線非出射型の操作部は、例えば、タブレットＰＣ、スマートフォン等の携帯端末である。また、その操作部を遠隔操作のために使用する際に、テレビジョン受像機側に向けられる操作部の端面には、再帰性反射材が設けられていることが好ましい。
【００１０】
［４］上記［３］記載のテレビジョン視聴支援装置において、前記操作部位置検出部は、前記赤外線画像データから閉領域を抽出してクラスタ分析処理を実行し、前記赤外線画像データにおける相対距離が所定距離以下であるクラスタ同士を統合して前記操作部の赤外線画像領域とし、前記赤外線画像領域の操作部基準位置を検出することを特徴とする。
ここで、上記の所定距離は、例えば操作部を視聴者が保持する場合に、指や手等によって再帰性反射材が分断されることを考慮して決められる距離である。
【発明の効果】
【００１１】
本発明によれば、複数種類のリモコンがテレビ装置を遠隔操作する操作環境において、実際に遠隔操作されるリモコンとこのリモコンの操作者とを即座に特定し、その操作者によるそのリモコンの操作履歴情報を適切に取得することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態であるテレビジョン視聴支援装置を適用したテレビ視聴システムの全体構成を示すブロック図である。
【図２】同実施形態において、光センサ部の概略構成を模式的に示す断面図である。
【図３】顔特徴情報のデータ構成を示す図である。
【図４】色ヒストグラム情報のデータ構成を示す図である。
【図５】同実施形態において、操作履歴情報取得部の機能構成を示すブロック図である。
【図６】同実施形態において、操作履歴情報取得部が実行する利用操作部の特定処理全体のフローチャートである。
【図７】同実施形態において、顔認識処理部が実行する顔認識処理の手順を示すフローチャートである。
【図８】同実施形態において、マスク画像生成部と操作部位置検出部とが連携して実行するマスク画像生成処理の手順を示すフローチャートである。
【図９】同実施形態において、操作部位置検出部が実行する操作部位置情報取得処理の手順を示すフローチャートである。
【図１０】同実施形態において、操作部識別部と特定部とが実行する操作部特定処理の手順を示すフローチャートである。
【図１１】同実施形態において、操作履歴情報取得部が実行する操作履歴情報の取得処理の手順を示すフローチャートである。
【図１２】本発明の第２実施形態であるテレビジョン視聴支援装置を適用したテレビ視聴システムの全体構成を示すブロック図である。
【図１３】同実施形態において、操作部の概略の外観を示す斜視図である。
【図１４】同実施形態において、光センサ部の概略構成を模式的に示す断面図である。
【図１５】同実施形態において、操作履歴情報取得部の機能構成を示すブロック図である
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
なお、以下の説明において、テレビジョンをテレビ、リモートコントロールをリモコンと略記することがある。
【００１４】
［第１の実施の形態］
図１は、本発明の第１実施形態であるテレビジョン視聴支援装置を適用したテレビ視聴システムの全体構成を示すブロック図である。同図に示すように、テレビ視聴システム１は、テレビジョン受像機１０と、操作部１１と、テレビジョン視聴支援装置２０とを備える。
【００１５】
テレビジョン受像機１０は、放送電波を受信する受信アンテナから供給される地上デジタル放送や衛星放送等の放送信号を取り込んで復調し、この復調された信号から、視聴者によって所望に選択された放送番組を抽出するチューナ部と、映像を表示する表示部と、音声を出力する音声出力部とを備えるテレビ装置である。テレビジョン受像機１０は、電源の入切、選局（チャンネル切替え）、音量調節、入力信号の切替え等を、操作部１１から供給される操作制御信号に基づいて行う。テレビジョン受像機１０は、操作部１１から供給される操作制御信号を取り込むためのインタフェースとして、赤外線受信部やネットワーク・インタフェースを備える。
テレビジョン受像機１０は、例えば、チューナ部と表示部（例えば、液晶表示部）と音声出力部とを一体的に構成した液晶テレビ装置、チューナ部をセットトップボックスとして表示部から分離して構成したテレビシステム、チューナ部を備えたコンピュータ装置および表示装置等により実現される。
【００１６】
操作部１１は、操作部１１の保持者（操作者）による操作にしたがって操作制御信号を発生し、この操作制御信号をテレビジョン受像機１０とテレビジョン視聴支援装置２０とに送信する遠隔操作機器である。操作部１１は、パルス化した操作制御信号を赤外線Ｓにより送信する赤外線出射型の操作部であり、例えば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機により実現される。
なお、本実施形態における携帯電話機は、この携帯電話機を赤外線リモコン装置として機能させるためのリモコン用アプリケーションプログラムを実行している状態のものである。
【００１７】
テレビジョン視聴支援装置２０は、テレビジョン受像機１０でコンテンツを視聴している一または複数の視聴者の中から、テレビジョン受像機１０を遠隔操作する操作部１１と、操作部１１を実際に操作している視聴者とを特定し、この特定結果に基づいて、視聴者ごとの操作部１１の操作履歴情報を取得する装置である。
図１に示すように、テレビジョン視聴支援装置２０は、光センサ部２００と、操作履歴情報取得部３００とを備える。
【００１８】
光センサ部２００は、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔と、テレビジョン受像機１０を遠隔操作する操作部１１とを赤外線波長領域および可視光波長領域それぞれの波長領域で撮影し、これらの撮影により得た赤外線画像信号とカラー画像信号とを操作履歴情報取得部３００に供給する。赤外線画像信号は、赤外線波長領域における撮像画像の信号である。また、カラー画像信号は、可視光波長領域における撮像画像の信号である。
【００１９】
光センサ部２００は、テレビジョン受像機１０でコンテンツを視聴する視聴者の略正面（正面を含む）の顔と、操作部１１の赤外線送信部とを撮影可能な位置に設置される。また、操作部１１が送信する赤外線Ｓはテレビジョン受像機１０の赤外線受信部でも受信される必要があるため、光センサ部２００は、テレビジョン受像機１０の赤外線受信部に比較的近い位置に設置される。光センサ部２００の構成の詳細については後述する。
【００２０】
操作履歴情報取得部３００は、利用操作部の特定処理と操作履歴情報の取得処理とを実行する。利用操作部の特定処理は、テレビジョン受像機１０を遠隔操作する操作部１１と、操作部１１を操作する視聴者とを特定する処理である。特定された操作部１１を利用操作部とも呼ぶ。操作履歴情報の取得処理は、特定した視聴者の操作によって利用操作部から得られる視聴者ごとの操作履歴情報を取得する処理である。
【００２１】
利用操作部の特定処理において、操作履歴情報取得部３００は、光センサ部２００から供給される赤外線画像信号とカラー画像信号とを取り込み、これら赤外線画像信号とカラー画像信号との画像処理を行うことによって、テレビジョン受像機１０を遠隔操作する操作部１１と、操作部１１を操作する視聴者とを特定する。
【００２２】
また、操作履歴情報の取得処理において、操作履歴情報取得部３００は、光センサ部２００から供給される赤外線画像信号を取り込み、この赤外線画像信号に基づいて操作部１１が送信した操作制御情報を取得する。操作履歴情報取得部３００は、その操作制御情報と、利用操作部の特定処理において特定した操作部１１および操作部１１を操作する視聴者とを対応付けた操作履歴情報を生成する。
操作履歴情報取得部３００の構成の詳細については後述する。
【００２３】
図２は、光センサ部２００の概略構成を模式的に示す断面図である。同図に示すように、光センサ部２００は、光束分離部２１０と、赤外線撮像部２２０と、カラー撮像部２３０とを備える。
光束分離部２１０は、到来する光束を赤外線と可視光とに分離する光学フィルタである。光束分離部２１０は、例えば、赤外線Ｓを透過させる一方、可視光を反射させるコールドミラーにより実現される。
赤外線撮像部２２０は、光束分離部２１０を透過して到来する赤外線Ｓを受光して撮像し赤外線画像信号を生成する。赤外線撮像部２２０は、例えば赤外線ビデオカメラ装置により実現される。
カラー撮像部２３０は、光束分離部２１０から反射して到来する可視光を受光して撮像しカラー画像信号を生成する。カラー撮像部２３０は、例えばカラービデオカメラ装置により実現される。
なお、光束分離部２１０は、例えば、可視光を透過させる一方、赤外線Ｓを反射させるホットミラーにより実現してもよい。
【００２４】
赤外線撮像部２２０およびカラー撮像部２３０それぞれの被写体は、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔と、テレビジョン受像機１０を遠隔操作している操作部１１（利用操作部）とである。赤外線撮像部２２０およびカラー撮像部２３０は、それぞれのフレームの画角が一致するか、または被写体が重なるように光学調整されて設置される。
【００２５】
図３は、操作履歴情報取得部３００が記憶する顔特徴情報のデータ構成を示す図である。顔特徴情報は、テレビジョン受像機１０を視聴する視聴者ごとの顔の特徴を示すデータの集合である。同図に示すように、顔特徴情報は、個人識別情報と顔特徴データとの各項目を対応付けたデータテーブルである。個人識別情報は、視聴者個人を識別する情報である。顔特徴データは、あらかじめ撮像した視聴者の顔画像から得た顔の特徴データである。顔特徴データは、例えば、眉毛、目、鼻、唇等の大きさおよび相対位置、ならびに顔の輪郭等を示す特徴量である。同図に示す顔特徴情報は、４人分の顔特徴データを個人識別情報に対応付けて有している。
【００２６】
図４は、操作履歴情報取得部３００が記憶する色ヒストグラム情報のデータ構成を示す図である。色ヒストグラム情報は、テレビジョン受像機１０を遠隔操作する操作部１１ごとの、赤外線送信部の周囲の色ヒストグラムの集合である。同図に示すように、色ヒストグラム情報は、操作部識別情報と色ヒストグラムとの各項目を対応付けたデータテーブルである。操作部識別情報は、操作部１１を識別する情報である。色ヒストグラムは、色成分を級数とし画素数を度数としたヒストグラムである。同図に示す色ヒストグラム情報は、５個分の操作部１１の色ヒストグラムを操作部識別情報に対応付けて有している。
【００２７】
図５は、操作履歴情報取得部３００の機能構成を示すブロック図である。同図に示すように、操作履歴情報取得部３００は、画像信号取得部３０１と、顔特徴情報記憶部３０２と、顔認識処理部３０３と、マスク画像生成部３０４と、操作部位置検出部３０５と、色ヒストグラム記憶部３０６と、操作部識別部３０７と、特定部３０８と、操作制御情報取得部３０９と、操作履歴情報生成部３１０とを備える。
【００２８】
画像信号取得部３０１は、光センサ部２００から供給される赤外線画像信号とカラー画像信号とを取り込む。
【００２９】
具体的には、画像信号取得部３０１は、利用操作部の特定処理において、光センサ部２００から供給される赤外線画像信号とカラー画像信号とをそれぞれ取り込み、毎フレーム、または複数フレームごとに、１フレーム画像分の赤外線画像データを顔認識処理部３０３とマスク画像生成部３０４と操作部位置検出部３０５とに供給する。また、画像信号取得部３０１は、毎フレーム、または複数フレームごとに、１フレーム画像分のカラー画像データを顔認識処理部３０３と操作部識別部３０７とに供給する。
また、画像信号取得部３０１は、操作履歴情報の取得処理において、光センサ部２００から供給される赤外線画像信号を取り込み、毎フレーム、または複数フレームごとに、１フレーム画像分の赤外線画像データを操作制御情報取得部３０９に供給する。
【００３０】
顔特徴情報記憶部３０２は、テレビジョン受像機１０を利用する視聴者全員分の顔特徴情報をあらかじめ記憶する。
【００３１】
顔認識処理部３０３は、画像信号取得部３０１から供給されるカラー画像データおよび赤外線画像データと、顔特徴情報記憶部３０２に記憶された顔特徴情報とに基づいて、テレビジョン受像機１０でコンテンツを視聴している一または複数の視聴者個人を特定する。また、顔認識処理部３０３は、フレーム画像における、特定した視聴者の顔の基準位置を取得する。顔認識処理部３０３は、特定した視聴者の個人識別情報と顔の基準位置を示す位置情報とを対応付けて、特定部３０８に供給する。
【００３２】
具体的には、顔認識処理部３０３は、画像信号取得部３０１から供給されるカラー画像データと赤外線画像データとを取り込む。顔認識処理部３０３は、カラー画像データの平均輝度値（カラー画像平均輝度値）を計算する。顔認識処理部３０３は、カラー画像平均輝度値があらかじめ記憶した閾値を超える場合に、カラー画像データを用いて顔画像検出処理を実行し、カラー画像平均輝度値がその閾値以下である場合に、赤外線画像データを用いて顔画像検出処理を実行し、一または複数の顔画像領域を検出する。
上記の閾値は、例えば、顔認識処理部３０３が、カラー画像平均輝度値が異なる複数のカラー画像データそれぞれについて顔画像検出処理を実行した場合の、検出可否の結果および検出誤差に応じて決定される。
【００３３】
顔認識処理部３０３は、検出した一または複数の顔画像領域から顔特徴データを抽出する処理を実行する。顔認識処理部３０３は、顔画像領域ごとに、その抽出した顔特徴データと、顔特徴情報記憶部３０２に記憶された顔特徴情報に含まれる全ての顔特徴データとの類似度をそれぞれ計算し、類似度が最も高い顔特徴データのペアに対応する個人識別情報を顔特徴情報から抽出して、その個人識別情報と当該顔画像領域とを対応付ける。
顔認識処理部３０３は、フレーム画像における当該顔画像領域の顔基準位置を取得し、この顔基準位置と当該顔画像領域に対応付けられた個人識別情報とを対応付けて、特定部３０８に供給する。顔基準位置は、例えば、顔画像領域を少なくとも含む円の中心位置である。または、顔画像領域の重心位置を顔基準位置としてもよい。
【００３４】
マスク画像生成部３０４は、画像信号取得部３０１から供給される赤外線画像データに基づいて、操作部位置検出部３０５と連携動作することによりマスク画像データを生成する。マスク画像データは、赤外線画像データから赤外線Ｓが照射されている領域（赤外線照射領域）を精度よく取得するためのマスクデータである。
【００３５】
具体的には、マスク画像生成部３０４は、画像信号取得部３０１から供給される赤外線画像データを取り込み、内部の記憶部（図示省略）に記憶させる。詳細には、マスク画像生成部３０４は、現時点から所定時間分だけ過去の赤外線画像データを上記の記憶部に記憶させる。マスク画像生成部３０４は、上記の記憶部に記憶された所定時間分の赤外線画像データの画素ごとの平均輝度値を計算して１フレーム画像分の平均輝度画像データを生成し、この平均輝度画像データを操作部位置検出部３０５に供給する。以下、この平均輝度画像データを背景画像データと呼ぶ。
【００３６】
背景画像データは、光センサ部２００に到来する赤外線雑音による影響を抑制または除去するために用いられる画像データである。赤外線雑音は、例えば、カーテンやブラインドを開けたことにより室外から入来する赤外線、室内の照明を点灯したときに発生する赤外線等である。上記の所定時間は、光センサ部２００の周囲環境に応じて任意に設定される。
【００３７】
また、マスク画像生成部３０４は、背景画像データの全画素の平均輝度値（背景画像全画素平均輝度値）を計算し、この平均輝度値を前記の記憶部に記憶させる。
また、マスク画像生成部３０４は、背景画像データの輝度値ヒストグラムを生成し、例えば、最低輝度値である画素を先頭として１フレーム画像分の画素の８０％までを順次計数したときの最高輝度値を操作部位置検出部３０５に供給する。
また、マスク画像生成部３０４は、操作部位置検出部３０５から供給されるクラスタ分析処理後の赤外線画像データを取り込み、このクラスタ分析処理後の赤外線画像データをマスク画像データとして前記の記憶部に記憶させる。
【００３８】
操作部位置検出部３０５は、画像信号取得部３０１から供給される赤外線画像データと、マスク画像生成部３０４から供給される背景画像データおよび最高輝度値とに基づいて、赤外線画像データから操作部１１の赤外線送信部の位置を検出する。
【００３９】
具体的には、操作部位置検出部３０５は、画像信号取得部３０１から供給される赤外線画像データを取り込み、マスク画像生成部３０４から供給される背景画像データと最高輝度値とを取り込む。そして、操作部位置検出部３０５は、赤外線画像データと背景画像データとの画素ごとの差分を計算し、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ；ＳＡＤ）を計算する。
【００４０】
操作部位置検出部３０５は、差分絶対値和があらかじめ記憶した閾値以下である場合、赤外線画像データに対して一定値である第１の閾値を用いた第１の閾値処理を実行する。差分絶対値和が閾値以下であるとは、操作部１１による像が赤外線画像データ内で静止しているか、または殆ど静止した状態であることを示す。
操作部位置検出部３０５は、マスク画像生成部３０４の記憶部に記憶されたマスク画像データを読み込み、第１の閾値処理後の赤外線画像データをマスク画像データでマスクする。
【００４１】
また、操作部位置検出部３０５は、差分絶対値和が上記の閾値を超える場合、赤外線画像データに対して最高輝度値を第２の閾値として用いた第２の閾値処理を実行する。差分絶対値和が閾値を超えるとは、操作部１１による像が赤外線画像データ内で動いていることを示す。
【００４２】
また、操作部位置検出部３０５は、マスクされた赤外線画像データまたは第２の閾値処理された赤外線画像データから閉領域を抽出してクラスタ分析処理（クラスタリング）を実行する。
操作部位置検出部３０５は、クラスタ分析処理後の赤外線画像データをマスク画像生成部３０４に供給する。
【００４３】
また、操作部位置検出部３０５は、クラスタ分析処理後の赤外線画像データからクラスタである赤外線画像領域の操作部基準位置を計算し、この操作部基準位置を示す情報を操作部位置情報として操作部識別部３０７に供給する。操作部基準位置は、例えば赤外線画像領域の重心位置であり、操作部１１の赤外線送信部またはその近傍を示す位置である。
【００４４】
色ヒストグラム記憶部３０６は、テレビジョン受像機１０を遠隔操作する一または複数の操作部１１の色ヒストグラム情報をあらかじめ記憶する。
【００４５】
操作部識別部３０７は、画像信号取得部３０１から供給されるカラー画像データと、操作部位置検出部３０５から供給される操作部位置情報と、色ヒストグラム記憶部３０６に記憶された色ヒストグラム情報とに基づいて、カラー画像データ内の操作部１１を識別する。
【００４６】
具体的には、操作部識別部３０７は、画像信号取得部３０１から供給されるカラー画像データを取り込み、操作部位置検出部３０５から供給される操作部位置情報を取り込む。操作部識別部３０７は、カラー画像データから操作部位置情報が示す操作部基準位置の周囲、例えば、その操作部基準位置を中心として所定距離を半径とした円領域の色情報である色ヒストグラムを生成する。所定距離は、想定される操作部１１の大きさに応じて任意に決定される。
操作部識別部３０７は、生成した色ヒストグラムと色ヒストグラム記憶部３０６に記憶された色ヒストグラム情報に含まれる全ての色ヒストグラムそれぞれとのヒストグラムインターセクションを計算する。操作部識別部３０７は、そのヒストグラムインターセクションの計算結果について、類似度が最も高いペアに対応する操作部識別情報を色ヒストグラム情報から抽出し、その操作部識別情報と操作部位置情報とを対応付けて特定部３０８に供給する。この操作部識別情報に対応する操作部１１が利用操作部である。
【００４７】
特定部３０８は、顔認識処理部３０３から供給される一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータと、操作部識別部３０７から供給される操作部識別情報と操作部位置情報とのペアデータとに基づいて、利用操作部とこの利用操作部を操作する視聴者とを特定する。
【００４８】
具体的には、特定部３０８は、顔認識処理部３０３から供給される一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータを取り込み、操作部識別部３０７から供給される操作部識別情報と操作部位置情報とのペアデータを取り込む。特定部３０８は、一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータと、操作部識別情報と操作部位置情報とのペアデータとの全ての組み合わせについて、顔画像領域の顔基準位置と操作部位置情報が示す赤外線画像領域の操作部基準位置との距離を計算し、距離が最も短い、または所定距離以下となる組み合わせにおける個人識別情報と操作部識別情報とを対応付けて内部の記憶部（図示省略）に記憶させる。
【００４９】
操作制御情報取得部３０９は、操作履歴情報の取得処理において、画像信号取得部３０１から供給される赤外線画像データと、マスク画像生成部３０４に記憶された背景画像全画素平均輝度値とに基づいて、利用操作部である操作部１１が送信した赤外線Ｓから操作制御情報を取得する。
【００５０】
具体的には、操作制御情報取得部３０９は、マスク画像生成部３０４に記憶された背景画像全画素平均輝度値を読み込み、画像信号取得部３０１から供給される赤外線画像データを取り込む。背景画像全画素平均輝度値は、操作部１１から赤外線Ｓが送信されていない状態を示す。
【００５１】
操作制御情報取得部３０９は、画像信号取得部３０１から供給される赤外線画像データを取り込むたびに、その赤外線画像データの平均輝度値（赤外線画像平均輝度値）を計算し、この赤外線画像平均輝度値と背景画像全画素平均輝度値とを比較する。操作制御情報取得部３０９は、赤外線画像平均輝度値が背景画像全画素平均輝度値よりも大きい場合、例えば、赤外線画像平均輝度値が背景画像全画素平均輝度値の１．２倍以上の輝度である場合にオン状態であると判定する。また、操作制御情報取得部３０９は、赤外線画像平均輝度値が背景画像全画素平均輝度値よりも小さい場合、例えば、赤外線画像平均輝度値が背景画像全画素平均輝度値の０．８倍以下の輝度である場合にオフ状態であると判定する。オン状態とは、操作部１１が赤外光Ｓを送信している状態であり、オフ状態とは、操作部１１が赤外光Ｓの送信を停止している状態である。
【００５２】
操作制御情報取得部３０９は、時系列の赤外線画像データのオン状態またはオフ状態を判定することによって赤外線Ｓのパルス符号を取得し、このパルス符号を復号して操作制御情報を取得し、この操作制御情報を操作履歴情報生成部３１０に供給する。
【００５３】
操作履歴情報生成部３１０は、特定部３０８の記憶部に記憶された個人識別情報と操作部識別情報とのペアを読み込み、操作制御情報取得部３０９から供給される操作制御情報を取り込む。操作履歴情報生成部３１０は、これら取り込んだ個人識別情報と操作部識別情報と操作制御情報とを関連付けた操作履歴情報を生成し、この操作履歴情報を外部の情報処理装置（図示省略）に出力したり、内部の記憶部（図示省略）に記憶させたりする。
【００５４】
次に、第１実施形態であるテレビジョン視聴支援装置２０の操作履歴情報取得部３００の動作について説明する。
図６は、操作履歴情報取得部３００が実行する利用操作部の特定処理全体のフローチャートである。
まず、初期の処理として、画像信号取得部３０１は、光センサ部２００から供給される赤外線画像信号とカラー画像信号とをそれぞれ取り込み、これら赤外線画像信号とカラー画像信号とのフレーム同期をかける。
次に、ステップＳ１において、画像信号取得部３０１は、毎フレーム、または複数フレームごとに、１フレーム画像分の赤外線画像データおよびカラー画像データを取得する。
【００５５】
ステップＳ２，Ｓ３，Ｓ４の各処理は、ステップＳ１の処理に続けて並列実行される。ステップＳ２は、顔認識処理部３０３が実行する顔認識処理である。ステップＳ３は、マスク画像生成部３０４と操作部位置検出部３０５とが連携して実行するマスク画像生成処理である。ステップＳ４は、操作部位置検出部３０５が実行する操作部位置情報取得処理である。ステップＳ５は、ステップＳ４の処理の次に、操作部識別部３０７と特定部３０８とが実行する操作部特定処理である。
【００５６】
次に、ステップＳ２〜Ｓ５の各処理の詳細を説明する。
図７は、顔認識処理部３０３が実行する顔認識処理（Ｓ２）の手順を示すフローチャートである。顔認識処理部３０３は、画像信号取得部３０１から各１フレーム画像のカラー画像データと赤外線画像データとを取り込むと本フローチャートの処理を実行する。
ステップＳ２０１において、顔認識処理部３０３は、カラー画像データの平均輝度値であるカラー画像平均輝度値を計算する。
次に、ステップＳ２０２において、顔認識処理部３０３は、カラー画像平均輝度値があらかじめ記憶した閾値を超える場合（Ｓ２０２：ＹＥＳ）、ステップＳ２０３の処理に移し、カラー画像平均輝度値がその閾値以下である場合（Ｓ２０２：ＮＯ）、ステップＳ２０４の処理に移す。
【００５７】
ステップＳ２０３において、顔認識処理部３０３は、取り込んだカラー画像データを用いて顔画像検出処理を実行し、ステップＳ２０５の処理に移す。
一方、ステップＳ２０４において、顔認識処理部３０３は、取り込んだ赤外線画像データを用いて顔画像検出処理を実行し、ステップＳ２０５の処理に移す。
顔認識処理部３０３が実行する顔画像検出処理として、公知の顔画像検出アルゴリズムを適用する。具体的には、顔認識処理部３０３は、例えば、ＡｄａＢｏｏｓｔアルゴリズムによりカラー画像データまたは赤外線画像データから一または複数の顔画像領域を検出する。
【００５８】
ステップＳ２０５において、顔認識処理部３０３は、検出した一または複数の顔画像領域から顔特徴データを抽出する。
次に、顔認識処理部３０３は、顔画像領域ごとに、その抽出した顔特徴データと、顔特徴情報記憶部３０２に記憶された顔特徴情報に含まれる全ての顔特徴データとの類似度をそれぞれ計算し、類似度が最も高い顔特徴データのペアに対応する個人識別情報を顔特徴情報から抽出し、その個人識別情報と当該顔画像領域とを対応付ける。
【００５９】
次に、ステップＳ２０６において、顔認識処理部３０３は、フレーム画像における当該顔画像領域の顔基準位置を取得し、この顔基準位置と当該顔画像領域に対応付けられた個人識別情報とを対応付けて特定部３０８に供給する。
【００６０】
図８は、マスク画像生成部３０４と操作部位置検出部３０５とが連携して実行するマスク画像生成処理（Ｓ３）の手順を示すフローチャートである。マスク画像生成部３０４は、画像信号取得部３０１から１フレームの赤外線画像データを取り込むと本フローチャートの処理を実行する。
ステップＳ３０１において、マスク画像生成部３０４は、赤外線画像データを内部の記憶部（図示省略）に記憶させる。この時点で、マスク画像生成部３０４の上記の記憶部は、現時点から所定時間分だけ過去の赤外線画像データを記憶することとなる。
次に、ステップＳ３０２において、マスク画像生成部３０４は、上記の記憶部に記憶された所定時間分の赤外線画像データの画素ごとの平均輝度値を計算して１フレーム分の平均輝度画像データを生成し、この平均輝度画像データを背景画像データとして操作部位置検出部３０５に供給する。
【００６１】
次に、ステップＳ３０３において、マスク画像生成部３０４は、背景画像データの全画素の平均輝度値である背景画像全画素平均輝度値を計算し、この背景画像全画素平均輝度値を前記の記憶部に記憶させる。
次に、マスク画像生成部３０４は、背景画像データの輝度値ヒストグラムを生成し、例えば、最低輝度値である画素を先頭として１フレーム画像分の画素の８０％までを順次計数したときの最高輝度値を操作部位置検出部３０５に供給する。
次に、ステップＳ３０４において、マスク画像生成部３０４は、操作部位置検出部３０５から供給されるクラスタ分析処理後の赤外線画像データを取り込み、このクラスタ分析処理後の赤外線画像データをマスク画像データとして前記の記憶部に記憶させる。
【００６２】
図９は、操作部位置検出部３０５が実行する操作部位置情報取得処理（Ｓ４）の手順を示すフローチャートである。操作部位置検出部３０５は、画像信号取得部３０１から１フレームの赤外線画像データを取り込むと本フローチャートの処理を実行する。
ステップＳ４０１において、操作部位置検出部３０５は、マスク画像生成部３０４から供給される背景画像データと最高輝度値とを取り込む。
次に、ステップＳ４０２において、操作部位置検出部３０５は、赤外線画像データと背景画像データとの画素ごとの差分を計算し、差分絶対値和を計算する。
【００６３】
次に、ステップＳ４０３において、操作部位置検出部３０５は、差分絶対値和があらかじめ記憶した閾値以下である場合（Ｓ４０３：ＹＥＳ）は、ステップＳ４０４の処理に移す。一方、操作部位置検出部３０５は、差分絶対値和が上記の閾値を超える場合（ステップＳ４０３：ＮＯ）は、ステップＳ４０６の処理に移す。
【００６４】
ステップＳ４０４において、操作部位置検出部３０５は、赤外線画像データに対して一定値である第１の閾値を用いた第１の閾値処理を実行する。
次に、ステップＳ４０５において、操作部位置検出部３０５は、マスク画像生成部３０４の記憶部に記憶されたマスク画像データを読み込み、第１の閾値処理が実行された赤外線画像データをマスク画像データでマスクする。次に、操作部位置検出部３０５は、ステップＳ４０７の処理に移す。
【００６５】
一方、ステップＳ４０６において、操作部位置検出部３０５は、赤外線画像データに対して最高輝度値を第２の閾値として用いた第２の閾値処理を実行する。次に、操作部位置検出部３０５は、ステップＳ４０７の処理に移す。
【００６６】
ステップＳ４０７において、操作部位置検出部３０５は、ステップＳ４０５の処理においてマスクされた赤外線画像データ、またはステップＳ４０６の処理において第２の閾値処理された赤外線画像データから閉領域を抽出する。
次に、ステップＳ４０８において、操作部位置検出部３０５は、抽出した閉領域に対するクラスタ分析処理を実行する。クラスタ分析処理としては、例えばＫ平均法を適用する。
次に、操作部位置検出部３０５は、クラスタ分析処理後の赤外線画像データをマスク画像生成部３０４に供給する。
【００６７】
次に、ステップＳ４０９において、操作部位置検出部３０５は、クラスタ分析処理後の赤外線画像データから赤外線画像領域の操作部基準位置を計算し、この操作部基準位置を示す情報を操作部位置情報として操作部識別部３０７に供給する。
【００６８】
図１０は、操作部識別部３０７と特定部３０８とが実行する操作部特定処理（Ｓ５）の手順を示すフローチャートである。操作部識別部３０７は、画像信号取得部３０１から１フレームのカラー画像データを取り込むと本フローチャートの処理を実行する。
ステップＳ５０１において、操作部識別部３０７は、カラー画像データから操作部位置情報が示す操作部基準位置の周囲、例えば、その操作部基準位置を中心として所定距離を半径とした円領域の色ヒストグラムを生成する。
【００６９】
次に、ステップＳ５０２において、操作部識別部３０７は、ステップＳ５０１の処理において生成した色ヒストグラムと、色ヒストグラム記憶部３０６に記憶された色ヒストグラム情報に含まれる全ての色ヒストグラムそれぞれとのヒストグラムインターセクションを計算する。
次に、操作部識別部３０７は、そのヒストグラムインターセクションの計算結果について、類似度が最も高いペアに対応する操作部識別情報を色ヒストグラム情報から抽出し、その操作部識別情報と操作部位置情報とを対応付けて特定部３０８に供給する。
【００７０】
次に、ステップＳ５０３において、特定部３０８は、顔認識処理部３０３から供給される一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータを取り込み、操作部識別部３０７から供給される操作部識別情報と操作部位置情報とのペアデータを取り込む。
次に、特定部３０８は、一または複数の個人識別情報と顔画像領域の顔基準位置とのペアデータと、操作部識別情報と操作部位置情報とのペアデータとの全ての組み合わせについて、顔画像領域の顔基準位置と操作部位置情報が示す赤外線画像領域の操作部基準位置との距離を計算し、距離が最も短い、または所定距離以下となる組み合わせにおける個人識別情報と操作部識別情報とを対応付けて内部の記憶部に記憶させる。
【００７１】
図１１は、操作履歴情報取得部３００が実行する操作履歴情報の取得処理の手順を示すフローチャートである。
ステップＳ６０１において、操作制御情報取得部３０９は、マスク画像生成部３０４に記憶された背景画像全画素平均輝度値を読み込み、画像信号取得部３０１から供給される赤外線画像データを取り込む。
次に、ステップＳ６０２において、操作制御情報取得部３０９は、赤外線画像データの平均輝度値である赤外線画像平均輝度値を計算する。
【００７２】
次に、ステップＳ６０３において、操作制御情報取得部３０９は、赤外線画像平均輝度値と背景画像全画素平均輝度値とを比較する。
次に、ステップＳ６０４において、操作制御情報取得部３０９は、ステップＳ６０３の処理における比較結果がオン状態であると判定する場合（Ｓ６０４：ＹＥＳ）はステップＳ６０５の処理に移し、比較結果がオフ状態であると判定する場合（Ｓ６０４：ＮＯ）はステップＳ６０６の処理に移す。
具体的には、例えば、操作制御情報取得部３０９は、赤外線画像平均輝度値が背景画像全画素平均輝度値よりも大きい場合、例えば、赤外線画像平均輝度値が背景画像全画素平均輝度値の１．２倍以上の輝度である場合にオン状態であると判定する。また、操作制御情報取得部３０９は、赤外線画像平均輝度値が背景画像全画素平均輝度値よりも小さい場合、例えば、赤外線画像平均輝度値が背景画像全画素平均輝度値の０．８倍以下の輝度である場合にオフ状態であると判定する。
【００７３】
ステップＳ６０５において、操作制御情報取得部３０９は、オン状態を表すフラグデータ（例えば“１”）を図示しないメモリに記憶させて、ステップＳ６０７の処理に移す。
ステップＳ６０６において、操作制御情報取得部３０９は、オフ状態を表すフラグデータ（例えば“０（ゼロ）”）を上記のメモリに記憶させて、ステップＳ６０７の処理に移す。
【００７４】
ステップＳ６０７において、操作制御情報取得部３０９は、上記のメモリに記憶された時系列のフラグデータ（フラグデータ列）がリモコンコードを表すパルス符号であるか否かを判定する。
操作制御情報取得部３０９は、フラグデータ列がリモコンコードを表すパルス符号であると判定した場合（ステップＳ６０７：ＹＥＳ）はステップＳ６０８の処理に移し、フラグデータ列がリモコンコードを表すパルス符号でないと判定した場合（ステップＳ６０７：ＮＯ）はステップＳ６０１の処理に戻す。
ステップＳ６０８において、操作制御情報取得部３０９は、リモコンコードを復号して操作制御情報を取得し、この操作制御情報を操作履歴情報生成部３１０に供給する。
【００７５】
次に、ステップＳ６０９において、操作履歴情報生成部３１０は、特定部３０８の記憶部に記憶された個人識別情報と操作部識別情報とのペアを読み込み、操作制御情報取得部３０９から供給される操作制御情報を取り込む。
次に、操作履歴情報生成部３１０は、これら取り込んだ個人識別情報と操作部識別情報と操作制御情報とを関連付けた操作履歴情報を生成し、この操作履歴情報を外部の情報処理装置に出力したり、内部の記憶部に記憶させたりする。
【００７６】
以上詳述したとおり、本発明の第１実施形態であるテレビジョン視聴支援装置２０において、光センサ部２００は、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔といずれかの視聴者によって保持されて操作される赤外線出射型の操作部１１とを撮像して赤外線画像信号およびカラー画像信号を生成する。
【００７７】
また、操作履歴情報取得部３００において、顔認識処理部３０３は、カラー画像データまたは赤外線画像データから、一または複数の視聴者の顔画像領域を検出して視聴者個人を特定し、検出した顔画像領域における顔基準位置を検出する。また、操作部位置検出部３０５は、赤外線画像データから、操作部１１の赤外線画像領域における操作部基準位置を検出する。また、操作部識別部３０７は、カラー画像データから、操作部位置検出部３０５が検出した操作部基準位置の周辺領域の色ヒストグラムに基づいて操作部１１を識別する。
【００７８】
また、特定部３０８は、顔認識処理部３０３が特定した視聴者個人を示す個人識別情報および検出した顔基準位置と、操作部位置検出部３０５が検出した操作部基準位置と、操作部識別部３０７が識別した操作部１１の操作部識別情報とを取得し、顔基準位置と操作部基準位置との距離に応じて操作部１１の操作者である視聴者個人を特定し、視聴者個人を示す個人識別情報および操作部１１の操作部識別情報を対応付ける。また、操作履歴情報生成部３１０は、特定部３０８が対応付けた視聴者個人を示す個人識別情報および操作部１１の操作部識別情報と操作制御情報取得部３０９が取得した操作制御情報とを対応付けて操作履歴情報を生成する。
【００７９】
このように構成したことにより、テレビジョン視聴支援装置２０は、操作部１１を保持しテレビジョン受像機１０でコンテンツを視聴している視聴者を即座に特定することができ、さらに操作部１１を識別して、特定した視聴者が識別した操作部１１を操作した操作履歴情報を適切に取得することができる。
すなわち、本発明の第１実施形態によれば、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等の赤外線出射型の操作部１１について、誰が、どの操作部１１を用いてどのような遠隔操作を行ったかという履歴情報を即座に且つ適切に取得することができる。
【００８０】
［第２の実施の形態］
上述した第１実施形態において、操作部１１は、例えば、パルス化した操作制御信号を赤外線Ｓにより送信する、赤外線リモコン装置、赤外線通信機能を有する携帯電話機等であるものとして説明した。本発明の第２実施形態では、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）パケット化した操作制御信号を、電気通信回線を介して送信する、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン等の携帯端末を操作部として用いた例について説明する。
なお、本実施形態において、第１実施形態と同一の構成については同一の符号を付し、その説明を省略する。
【００８１】
図１２は、本発明の第２実施形態であるテレビジョン視聴支援装置を適用したテレビ視聴システムの全体構成を示すブロック図である。同図に示すように、テレビ視聴システム１ａは、テレビジョン受像機１０と、操作部１１ａと、テレビジョン視聴支援装置２０ａとを、ネットワーク３０を介して接続した構成を有する。
【００８２】
ネットワーク３０は、有線および無線またはいずれか一方によるコンピュータネットワークである。ネットワーク３０は、例えばホームネットワーク等のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットである。
【００８３】
操作部１１ａは、操作部１１ａの保持者（操作者）による操作にしたがって操作制御信号を発生させ、この操作制御信号を、ネットワーク３０を介してテレビジョン受像機１０および操作履歴情報取得部３００ａに送信する遠隔操作機器である。操作部１１ａは、ＩＰパケット化した操作制御信号を、ネットワーク３０を介して送信する赤外線非出射型の操作部であり、例えば、タブレットＰＣ、スマートフォン等の携帯端末により実現される。
なお、本実施形態における携帯端末は、この携帯端末を赤外線リモコン装置として機能させるためのリモコン用アプリケーションプログラムを実行している状態のものである。
【００８４】
また、詳しくは後述するが、操作部１１ａの外装部分には、再帰性反射材が取り付けられている。再帰性反射材は、入射光を入射方向に反射させる再帰性の性質を有した反射材である。
【００８５】
テレビジョン視聴支援装置２０ａは、光センサ部２００ａと、操作履歴情報取得部３００ａとを備える。
光センサ部２００ａは、第１実施形態における光センサ部２００と同様に、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔と、テレビジョン受像機１０を遠隔操作する操作部１１ａとを赤外線波長領域および可視光波長領域それぞれの波長領域で撮影し、これらの撮影により得た赤外線画像信号とカラー画像信号とを、操作履歴情報取得部３００ａに供給する。
また、光センサ部２００ａは、上記の撮影方向に赤外光を照明する。光センサ部２００ａの構成の詳細については後述する。
【００８６】
操作履歴情報取得部３００ａは、第１実施形態における操作履歴情報取得部３００と同様に、利用操作部の特定処理と操作履歴情報の取得処理とを実行する。
利用操作部の特定処理において、操作履歴情報取得部３００ａは、光センサ部２００ａから供給される赤外線画像信号とカラー画像信号とを取り込み、これら赤外線画像信号とカラー画像信号との画像処理を行うことによって、テレビジョン受像機１０を遠隔操作する操作部１１ａと、操作部１１ａを操作する視聴者とを特定する。
【００８７】
また、操作履歴情報の取得処理において、操作履歴情報取得部３００ａは、ネットワーク３０を介して、操作部１１ａが送信した操作制御情報を取得する。操作履歴情報取得部３００ａは、その操作制御情報と、利用操作部の特定処理において特定した操作部１１ａと操作部１１ａを操作する視聴者とを対応付けた操作履歴情報を生成する。
操作履歴情報取得部３００ａの構成の詳細については後述する。
【００８８】
図１３は、操作部１１ａの概略の外観を示す斜視図である。同図は、操作部１１ａとしてスマートフォンを用いた例を示している。同図において、操作部１１ａを遠隔操作のために使用する際に、テレビジョン受像機１０側に向けられる操作部１１ａの端面には、再帰性反射材１０１が設けられている。再帰性反射材１０１は、例えば、ビーズタイプやプリズムタイプの再帰性反射テープや再帰性反射パネルであり、操作部１１ａの端面に貼付される。
なお、操作部１１ａのケースカバーを再帰性反射材により形成したり、操作部１１ａの外装ケースを再帰性反射材により形成したりしてもよい。
【００８９】
図１４は、光センサ部２００ａの概略構成を模式的に示す断面図である。同図に示すように、光センサ部２００ａは、第１実施形態における光センサ部２００に、同軸赤外線照明２４０を備えたものである。
同軸赤外線照明２４０は、赤外照明光を照射する同軸照明である。同軸照明とは、照明光軸と撮像光軸とが同軸となる照明である。同軸赤外線照明２４０は、赤外線出射部２４１と、ハーフミラー２４２とを備える。赤外線出射部２４１は、赤外線を出射する発光部であり、例えば、赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により実現される。ハーフミラー２４２は、赤外線出射部２４１から到来する赤外照明光を反射させる一方、外部から到来する赤外線Ｓを透過させる。
同軸赤外線照明２４０は、赤外線出射部２４１が出射する赤外照明光の光軸と、赤外線撮像部２２０の撮像光軸とが一致するように設けられる。
【００９０】
図１５は、操作履歴情報取得部３００ａの機能構成を示すブロック図である。同図に示すように、操作履歴情報取得部３００ａは、第１実施形態における操作履歴情報取得部３００に対して、操作部位置検出部３０５と操作制御情報取得部３０９とを、操作部位置検出部３０５ａと操作制御情報取得部３０９ａとに変更した構成を有する。
【００９１】
操作部位置検出部３０５ａは、第１実施形態における操作部位置検出部３０５と同様に、画像信号取得部３０１から供給される赤外線画像データと、マスク画像生成部３０４から供給される背景画像データおよび最高輝度値とに基づいて、赤外線画像データから操作部１１ａの再帰性反射材の画像領域を検出する。
【００９２】
ただし、操作部位置検出部３０５ａは、クラスタ分析処理後の赤外線画像データについて、相対距離が所定距離以下であるクラスタ同士を統合する。この所定距離は、例えば操作部１１ａを視聴者が保持する場合に、指や手等によって再帰性反射材が分断されることを考慮して決められる。例えば、所定距離は、成人男性の頭の幅の寸法と操作部１１ａの一辺の寸法との比に基づいて決められる距離である。
操作部位置検出部３０５ａは、このクラスタ統合処理後の赤外線画像データをマスク画像生成部３０４に供給する。
【００９３】
また、操作部位置検出部３０５ａは、クラスタ統合処理後の赤外線画像データから赤外線画像領域の操作部基準位置を計算し、この操作部基準位置を示す情報を操作部位置情報として操作部識別部３０７に供給する。
【００９４】
操作制御情報取得部３０９ａは、操作履歴情報の取得処理において、第１実施形態における操作制御情報取得部３０９と同様に、画像信号取得部３０１から供給される赤外線画像データと、マスク画像生成部３０４に記憶された背景画像全画素平均輝度値とに基づいて、利用操作部（赤外線リモコン装置）が送信した赤外線Ｓから操作制御情報を取得する。また、操作制御情報取得部３０９ａは、操作履歴情報の取得処理において、操作部１１ａが送信する操作制御データを、ネットワーク３０を介して受信し、この操作制御データを操作制御情報として取得する。
【００９５】
次に、第２実施形態であるテレビジョン視聴支援装置２０ａの操作履歴情報取得部３００ａの動作について説明する。ここでは、第１実施形態であるテレビジョン視聴支援装置２０の動作と異なる動作についてのみ説明する。
【００９６】
マスク画像生成部３０４と操作部位置検出部３０５とが連携して実行するマスク画像生成処理のステップＳ３０４の処理において、マスク画像生成部３０４は、操作部位置検出部３０５ａから供給されるクラスタ統合処理後の赤外線画像データを取り込み、このクラスタ分析処理後の赤外線画像データをマスク画像データとして内部の記憶部に記憶させる。
【００９７】
また、操作部位置検出部３０５ａが実行する操作部位置情報取得処理のステップＳ４０８の処理において、操作部位置検出部３０５ａは、抽出した閉領域に対するクラスタ分析処理を実行する。次に、操作部位置検出部３０５ａは、クラスタ分析処理後の赤外線画像データについて、相対距離が所定距離以下にあるクラスタ同士を統合する。
次に、操作部位置検出部３０５ａは、クラスタ統合処理後の赤外線画像データをマスク画像生成部３０４に供給する。
【００９８】
また、操作履歴情報取得部３００ａが実行する操作履歴情報の取得処理において、操作制御情報取得部３０９ａは、操作部１１ａが送信する操作制御データを、ネットワーク３０を介して受信し、この操作制御データを操作制御情報として操作履歴情報生成部３１０に供給する。
【００９９】
以上詳述したとおり、本発明の第２実施形態であるテレビジョン視聴支援装置２０ａにおいて、光センサ部２００ａは、テレビジョン受像機１０でコンテンツを視聴する一または複数の視聴者の顔といずれかの視聴者によって保持されて操作される赤外線非出射型の操作部１１ａとを撮像して赤外線画像信号およびカラー画像信号を生成する。
【０１００】
また、操作履歴情報取得部３００ａにおいて、顔認識処理部３０３は、カラー画像データまたは赤外線画像データから、一または複数の視聴者の顔画像領域を検出して視聴者個人を特定し、検出した顔画像領域における顔基準位置を検出する。また、操作部位置検出部３０５ａは、赤外線画像データから、操作部１１ａの赤外線画像領域における操作部基準位置を検出する。また、操作部識別部３０７は、カラー画像データから、操作部位置検出部３０５ａが検出した操作部基準位置の周辺領域の色ヒストグラムに基づいて操作部１１ａを識別する。
【０１０１】
また、特定部３０８は、顔認識処理部３０３が特定した視聴者個人を示す個人識別情報および検出した顔基準位置と、操作部位置検出部３０５ａが検出した操作部基準位置と、操作部識別部３０７が識別した操作部１１ａの操作部識別情報とを取得し、顔基準位置と操作部基準位置との距離に応じて操作部１１ａの操作者である視聴者個人を特定し、視聴者個人を示す個人識別情報および操作部１１ａの操作部識別情報を対応付ける。また、操作履歴情報生成部３１０は、特定部３０８が対応付けた視聴者個人を示す個人識別情報および操作部１１ａの操作部識別情報と操作制御情報取得部３０９ａが取得した操作制御情報とを対応付けて操作履歴情報を生成する。
【０１０２】
このように構成したことにより、テレビジョン視聴支援装置２０ａは、操作部１１ａを保持しテレビジョン受像機１０でコンテンツを視聴している視聴者を即座に特定することができ、さらに操作部１１ａを識別して、特定した視聴者が識別した操作部１１ａを操作した操作履歴情報を適切に取得することができる。
すなわち、本発明の第２実施形態によれば、タブレットＰＣ、スマートフォン等の赤外線非出射型の操作部１１ａについて、誰が、どの操作部１１ａを用いてどのような遠隔操作を行ったかという履歴情報を即座に且つ適切に取得することができる。
【０１０３】
［応用例］
次に、前述した第１実施形態および第２実施形態におけるテレビジョン視聴支援装置２０，２０ａが取得した操作履歴情報を用いる応用例について説明する。
第１の例は、情報処理装置（例えば、コンピュータ装置）が操作履歴情報と電子番組ガイドとに基づいてコンテンツ推薦リストを生成する例である。具体的には、情報処理装置は、操作履歴情報取得部３００，３００ａから操作履歴情報を取り込み、また、テレビジョン受像機１０または外部の電子番組ガイドサーバから電子番組ガイドを取り込む。情報処理装置は、操作履歴情報と電子番組ガイドとに基づいて、視聴者ごとに、視聴したコンテンツの属性と、遠隔操作によってコンテンツを切り替えるタイミングとを取得する。そして、情報処理装置は、切替間隔が短いほど当該コンテンツに興味がなく、切替時間が長いほど当該コンテンツに興味があると判定する。そして、情報処理装置は、興味があると判定したコンテンツの属性に同一または類似するコンテンツを、推薦順位を高くする一方、興味がないと判定したコンテンツの属性に同一または類似するコンテンツを、推薦順位を低くしたコンテンツ推薦リストを作成する。そして、情報処理装置は、このコンテンツ推薦リストを表示装置に表示させたり、テレビジョン受像機１０に供給したりする。
【０１０４】
上記の第１の例において、情報処理装置は、取得した属性（例えば、ジャンル）からキーワードを抽出して、このキーワードに基づいて視聴者個人の趣味や嗜好を推定し、この推定結果を用いてコンテンツ推薦リストを生成してもよい。
【０１０５】
第２の例は、情報処理装置が操作履歴情報から視聴者ごとの周期性がある履歴を取得し、この取得結果に基づいた遠隔操作を行う例である。周期性がある履歴とは、例えば、ある視聴者は、毎週水曜日の２１時から特定の放送番組を視聴していることが示された履歴である。情報処理装置は、周期性がある履歴を取得した場合、その周期にしたがった内容の操作制御データを、ネットワーク３０を介してテレビジョン受像機１０に供給する。
【０１０６】
第３の例は、 操作部１１ａが、操作パネルのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を、視聴者ごとの操作履歴情報に基づいて変更する例である。具体的には、操作部１１ａは、操作履歴情報取得部３００ａから操作履歴情報を取り込む。操作部１１ａは、操作履歴情報に基づいて、使用頻度が高いＧＵＩボタンを使用頻度が低いＧＵＩボタンよりも大きく表示したりする。
【０１０７】
なお、第１実施形態であるテレビジョン視聴支援装置２０において、カラー画像信号を用いない構成とすることもできる。このように構成する場合、光センサ部２００は、光束分離部２１０とカラー撮像部２３０とを省略することができる。また、顔認識処理部３００は、赤外線画像データのみを用いて顔画像検出処理を実行する。第２実施形態についても同様である。
【０１０８】
また、色ヒストグラム記憶部３０６と操作部識別部３０７とを省略することができる。このように構成する場合、操作履歴情報生成部３１０は、個人識別情報と操作制御情報とを関連付けた操作履歴情報を生成する。つまり、操作部１１はあらかじめ識別されていることが前提となる。第２実施形態についても同様である。
【０１０９】
また、第１実施形態および第２実施形態では、テレビジョン受像機１０とテレビジョン視聴支援装置２０，２０ａとを分離してテレビ視聴システム１，１ａを構成したが、これ以外にも、テレビジョン受像機１０とテレビジョン視聴支援装置２０，２０ａとを一体的に構成してもよい。
【０１１０】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１１１】
１，１ａ テレビ視聴システム
１０ テレビジョン受像機
１１，１１ａ 操作部
２０，２０ａ テレビジョン視聴支援装置
３０ ネットワーク
１０１ 再帰性反射材
２００，２００ａ 光センサ部
２１０ 光束分離部
２２０ 赤外線撮像部
２３０ カラー撮像部
２４０ 同軸赤外線照明
２４１ 赤外線出射部
２４２ ハーフミラー
３００，３００ａ 操作履歴情報取得部
３０１ 画像信号取得部
３０２ 顔特徴情報記憶部
３０３ 顔認識処理部
３０４ マスク画像生成部
３０５，３０５ａ 操作部位置検出部
３０６ 色ヒストグラム記憶部
３０７ 操作部識別部
３０８ 特定部
３０９，３０９ａ 操作制御情報取得部
３１０ 操作履歴情報生成部
【特許請求の範囲】
【請求項１】
視聴者の顔と前記視聴者によって操作される赤外線出射型の操作部とを被写体として撮像し、一連の赤外線画像データを生成する光センサ部と、
前記光センサ部が生成した前記赤外線画像データから前記視聴者の顔画像領域を検出して視聴者個人を特定し、前記赤外線画像データにおける前記顔画像領域の顔基準位置を検出する顔認識処理部と、
前記赤外線画像データにおける、前記操作部に対応する赤外線画像領域の操作部基準位置を検出する操作部位置検出部と、
前記顔認識処理部が特定した前記視聴者個人を示す個人識別情報および検出した前記顔基準位置と前記操作部位置検出部が検出した前記操作部基準位置とを取得し、前記赤外線画像データにおける前記顔基準位置と前記操作部基準位置との距離に応じて、前記操作部の操作者である視聴者個人を特定する特定部と、
前記光センサ部が生成する一連の赤外線画像データから前記操作部の操作制御情報を取得する操作制御情報取得部と、
前記特定部が特定した前記視聴者個人を示す個人識別情報と前記操作制御情報取得部が取得した前記操作制御情報とを対応付けて操作履歴情報を生成する操作履歴情報生成部と、
を備えることを特徴とするテレビジョン視聴支援装置。
【請求項２】
前記光センサ部は、前記被写体を撮像して一連のカラー画像データをも生成し、
前記光センサ部が生成した前記カラー画像データから、前記操作部位置検出部が検出した前記操作部基準位置の周辺領域の色情報に基づいて前記操作部を識別する操作部識別部をさらに備え、
前記特定部は、前記顔認識処理部が特定した前記視聴者個人を示す個人識別情報および検出した前記顔基準位置と、前記操作部位置検出部が検出した前記操作部基準位置と、前記操作部識別部が識別した前記操作部の識別情報とを取得し、前記赤外線画像データにおける前記顔基準位置と前記操作部基準位置との距離に応じて前記操作部の操作者である視聴者個人を特定し、前記視聴者個人を示す個人識別情報および前記操作部の識別情報を対応付け、
前記操作履歴情報生成部は、前記特定部が対応付けた前記視聴者個人を示す個人識別情報および前記操作部の識別情報と前記操作制御情報取得部が取得した前記操作制御情報とを対応付けて操作履歴情報を生成する
ことを特徴とする請求項１記載のテレビジョン視聴支援装置。
【請求項３】
前記光センサ部は、撮像光軸と同軸の照明光軸を有する同軸赤外線照明をさらに備え、
赤外線非出射型の操作部をも撮像する
ことを特徴とする請求項１または２記載のテレビジョン視聴支援装置。
【請求項４】
前記操作部位置検出部は、前記赤外線画像データから閉領域を抽出してクラスタ分析処理を実行し、前記赤外線画像データにおける相対距離が所定距離以下であるクラスタ同士を統合して前記操作部の赤外線画像領域とし、前記赤外線画像領域の操作部基準位置を検出する
ことを特徴とする請求項３記載のテレビジョン視聴支援装置。
【請求項１】
視聴者の顔と前記視聴者によって操作される赤外線出射型の操作部とを被写体として撮像し、一連の赤外線画像データを生成する光センサ部と、
前記光センサ部が生成した前記赤外線画像データから前記視聴者の顔画像領域を検出して視聴者個人を特定し、前記赤外線画像データにおける前記顔画像領域の顔基準位置を検出する顔認識処理部と、
前記赤外線画像データにおける、前記操作部に対応する赤外線画像領域の操作部基準位置を検出する操作部位置検出部と、
前記顔認識処理部が特定した前記視聴者個人を示す個人識別情報および検出した前記顔基準位置と前記操作部位置検出部が検出した前記操作部基準位置とを取得し、前記赤外線画像データにおける前記顔基準位置と前記操作部基準位置との距離に応じて、前記操作部の操作者である視聴者個人を特定する特定部と、
前記光センサ部が生成する一連の赤外線画像データから前記操作部の操作制御情報を取得する操作制御情報取得部と、
前記特定部が特定した前記視聴者個人を示す個人識別情報と前記操作制御情報取得部が取得した前記操作制御情報とを対応付けて操作履歴情報を生成する操作履歴情報生成部と、
を備えることを特徴とするテレビジョン視聴支援装置。
【請求項２】
前記光センサ部は、前記被写体を撮像して一連のカラー画像データをも生成し、
前記光センサ部が生成した前記カラー画像データから、前記操作部位置検出部が検出した前記操作部基準位置の周辺領域の色情報に基づいて前記操作部を識別する操作部識別部をさらに備え、
前記特定部は、前記顔認識処理部が特定した前記視聴者個人を示す個人識別情報および検出した前記顔基準位置と、前記操作部位置検出部が検出した前記操作部基準位置と、前記操作部識別部が識別した前記操作部の識別情報とを取得し、前記赤外線画像データにおける前記顔基準位置と前記操作部基準位置との距離に応じて前記操作部の操作者である視聴者個人を特定し、前記視聴者個人を示す個人識別情報および前記操作部の識別情報を対応付け、
前記操作履歴情報生成部は、前記特定部が対応付けた前記視聴者個人を示す個人識別情報および前記操作部の識別情報と前記操作制御情報取得部が取得した前記操作制御情報とを対応付けて操作履歴情報を生成する
ことを特徴とする請求項１記載のテレビジョン視聴支援装置。
【請求項３】
前記光センサ部は、撮像光軸と同軸の照明光軸を有する同軸赤外線照明をさらに備え、
赤外線非出射型の操作部をも撮像する
ことを特徴とする請求項１または２記載のテレビジョン視聴支援装置。
【請求項４】
前記操作部位置検出部は、前記赤外線画像データから閉領域を抽出してクラスタ分析処理を実行し、前記赤外線画像データにおける相対距離が所定距離以下であるクラスタ同士を統合して前記操作部の赤外線画像領域とし、前記赤外線画像領域の操作部基準位置を検出する
ことを特徴とする請求項３記載のテレビジョン視聴支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２３９００４（Ｐ２０１２−２３９００４Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０６１２８（Ｐ２０１１−１０６１２８）
【出願日】平成２３年５月１１日（２０１１．５．１１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１１日（２０１１．５．１１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]