表示装置及び表示方法
【課題】ユーザの位置に追随してコンテンツが表示されるようにして、視聴が邪魔されるのを最小限に抑えることができるようにする。
【解決手段】表示装置において、複数の映像コンテンツを入力する手段と、複数のユーザを識別する手段と、ユーザの位置を検出する検出手段と、ユーザと視聴する映像コンテンツを関連付ける手段と、ユーザの位置に応じて優先度を決定する手段と、該優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成手段と、該表示画面を表示する手段とを設け、複数ユーザの位置関係を検出し、最も画面に近いユーザのコンテンツに最も高い表示優先度を与えるように重ね合わせて表示する。
【解決手段】表示装置において、複数の映像コンテンツを入力する手段と、複数のユーザを識別する手段と、ユーザの位置を検出する検出手段と、ユーザと視聴する映像コンテンツを関連付ける手段と、ユーザの位置に応じて優先度を決定する手段と、該優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成手段と、該表示画面を表示する手段とを設け、複数ユーザの位置関係を検出し、最も画面に近いユーザのコンテンツに最も高い表示優先度を与えるように重ね合わせて表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は表示装置及び表示方法に関し、特に、複数のユーザが視聴する表示装置に用いて好適な技術に関する。
【背景技術】
【0002】
従来、液晶ディスプレイや投射型ディスプレイに代表される、大画面ディスプレイが普及している。一台又は複数台のディスプレイを組合せて、壁面全体に表示するような表示システムも実用化されている。
【0003】
壁面の表示システムにおいて、複数のユーザがそれぞれ異なるコンテンツを視聴するための方法として、リモコンを操作する毎にユーザの位置を検出し、その最寄りの位置に画面を表示する方法が考案されている。これによれば、複数のユーザがいた場合は人数割りしたサイズで表示を行なうようにしている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−94900号公報
【特許文献2】特開平08−153187号公報
【特許文献3】特開2001−250121号公報
【特許文献4】特開2005−100366号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、前述した従来例においては、複数のユーザの位置が近付いた場合に、他のユーザのコンテンツに上書きされて視聴が妨げられてしまう場合があった。例えば、他のユーザが横切る場合に、他のユーザのコンテンツ画面によって自分の視聴するコンテンツ画面が隠されてしまう問題点があった。
本発明は前述の問題点に鑑み、ユーザの位置に追随してコンテンツが表示されるようにして、視聴が邪魔されるのを最小限に抑えることができるようにすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の表示装置は、複数の映像コンテンツを入力する手段と、複数のユーザを識別する手段と、ユーザの位置を検出する検出手段と、ユーザと視聴する映像コンテンツを関連付ける手段と、ユーザの位置に応じて優先度を決定する手段と、前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成手段と、前記表示画面を表示する手段とを備えたことを特徴とする。
【発明の効果】
【0007】
本発明によれば、最も近くで視聴するユーザのコンテンツを最も高い優先度で表示することが可能となり、視聴の邪魔を最小限に抑えることができるという効果がある。
【図面の簡単な説明】
【0008】
【図1】第1の実施形態の表示装置の特徴的な構成例を示すブロック図である。
【図2】ウインドウ間の干渉がない場合の表示例を示す図である。
【図3】ユーザが移動した場合の表示例を示す図である。
【図4】ユーザが後ろを横切った場合の表示例を示す図である。
【図5】ユーザが前を横切った場合の表示例を示す図である。
【図6】表示装置の詳細な構成例を示すブロック図である。
【図7】ユーザ位置検出の処理の流れを示すフローチャートである。
【図8】ユーザリストの構成例を示す図である。
【図9】ユーザとウインドウの関連付け処理の流れを示すフローチャートである。
【図10】ウインドウリストの構成例を示す図である。
【図11】映像表示の処理の流れを示すフローチャートである。
【図12】ユーザが後ろを横切った場合の表示例を示す図である。
【図13】ユーザが後ろを横切った場合の表示例を示す図である。
【図14】第2の実施形態の表示装置の特徴的な構成例を示すブロック図である。
【図15】第2の実施形態の表示装置の詳細な構成例を示すブロック図である。
【図16】ユーザ位置検出の処理の流れを示すフローチャートである。
【図17】第2の実施形態のユーザリストの構成例を示す図である。
【図18】第2の実施形態の映像表示の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例であり、本発明は図示された構成に限定されるものではない。
(第1の実施形態)
本実施形態では、大型のディスプレイを複数のユーザが視聴する場合に、ユーザの移動に追随してコンテンツ画面の表示位置が移動する例を説明する。本実施形態においては、コンテンツ画面の表示位置が干渉する場合には、ユーザの位置を検出し、最も画面に近いユーザの視聴コンテンツを優先して表示する、という特徴的な動作を行なう。
【0010】
<コンテンツウインドウ表示の動作画面例(図2〜図5)>
以下、図2〜5の動作画面例を表す図面を用い、本実施形態の表示制御の動作例を説明する。本実施形態では、ウインドウ間の表示位置が干渉した場合に、ディスプレイに最も近いユーザの視聴ウインドウが最も前面になるように重ね合わせて表示する。
【0011】
図2は、ウインドウ間の干渉がない場合の表示例を示す図である。表示ディスプレイを2人のユーザが視聴している。
まず、表示ディスプレイの構成に関し、1は表示ディスプレイ本体であり、31は表示パネルである。表示ディスプレイ1の上辺には、水平方向にリモコン位置検出部21が複数個設置されている。22はカメラであり、表示ディスプレイ1が設置された部屋の上部に設置されており、表示ディスプレイ1の周囲の映像を撮影する。なお、ユーザの位置を表す座標系として、表示面の水平方向をX軸、垂直方向をY軸、表示面と鉛直の方向をZ軸と定義する。
【0012】
表示ディスプレイ1の周囲には2名のユーザがおり、50はユーザA、51はユーザBである。表示パネル31上には、視聴するユーザの最寄りの位置にコンテンツウインドウが表示されている。ユーザAが視聴するウインドウA(52)は、ユーザAの最寄りの位置に表示される。ユーザBが視聴するウインドウB(53)は、ユーザBの最寄りの位置に表示される。
【0013】
図3は、ユーザが移動した場合の表示例を示す。図3は、ユーザB(51)が表示ディスプレイ1に向かって右方向に移動した様子を示す。ユーザの移動に追随してウインドウB(53)の表示位置も右方向に移動し、ユーザB(51)の新たな位置の最寄りに表示される。
【0014】
図4は、ユーザが他のユーザの後ろを横切った場合の表示例を示す。ユーザA(50)とユーザB(51)の位置が近接した結果、ウインドウAとウインドウBの表示位置が干渉している。ユーザAの身体が邪魔になって、ユーザBの視聴が妨げられている。本実施形態では、ウインドウA(52)を最前面に表示することで、ユーザA(50)の視聴を継続できるようにした。
【0015】
図5は、ユーザが他のユーザの前を横切った場合の表示例を示す。この場合も、ウインドウA(52)とウインドウB(53)の表示位置が干渉する。ユーザB(51)の身体が邪魔になって、ユーザAの視聴が妨げられている。この場合には、ウインドウB(53)を最前面に表示することで、最も画面近くにいるユーザBの視聴を継続できるようにした。
以上のように、本実施形態では、最も近いユーザの視聴するコンテンツ画面が最も前面になるように表示する動作を行なう。
【0016】
<表示装置の構成(図1、図6)>
図1は、本実施形態の表示装置の特徴的な構成例を示すブロック図であり、図1を用いて表示装置の構成を説明する。
図1において、1は表示装置の本体であり、大型の表示面を持ち、複数の映像コンテンツの画面を表示できる表示ディスプレイである。2はユーザ位置検出部であり、表示ディスプレイ1の周囲にいるユーザの位置を検出する。また、コンテンツの操作を行なったユーザがどの位置のユーザであるかを検出する。
【0017】
3はユーザ識別部であり、検出されたユーザにIDを振って、それぞれのユーザを識別する。4はウインドウ関連付け部であり、コンテンツウインドウとユーザとを関連付けする。コンテンツウインドウの生成や操作を行なったユーザを当該ウインドウのオーナーであるとして、関連付けを行なう。
【0018】
5は優先度判定部であり、各ウインドウの表示優先度を判定する。ウインドウに関連付けられたユーザの距離を判定基準に用い、距離が近いウインドウに高い優先度を割当てる。6は映像入力部であり、放送波やビデオ信号等、外部から映像コンテンツのデータを入力する。7は表示画面作成部であり、決定された優先度に従ってコンテンツウインドウのレイアウトを行なって、表示画面データを作成する。
【0019】
本実施形態では、各ウインドウの表示位置が干渉した場合に、最も優先度の高いウインドウが最も前面になるように重ね合わせを行なう。8は表示部であり、表示画面データを表示パネル32に表示する。
【0020】
図6は、本実施形態の表示装置の詳細な構成例を示すブロック図である。図1と共通の要素には同一番号を付し、説明を省略する。
本実施形態では、RFIDで検出したリモコン20の位置と画像認識で検出した人物の位置をマッチングさせることで、コンテンツを視聴するユーザの位置を特定する。
図6において、20はリモコンであり、ユーザに指示されたコマンドを赤外光に変調したデータ形式で出力する。また、リモコン20はRFIDを内蔵しており、ディスプレイ側にリモコン20のIDを検出させることができる。
【0021】
33はリモコン受光部であり、リモコン20から送信される赤外光を受信して電気信号に変換する。21はリモコン位置検出部であり、複数のRFID受信部で構成され、リモコン20の位置を検出する。図2で説明したように、表示ディスプレイ1の上辺に複数個が設置されている。最も受信感度が高かったRFID受信部の位置がリモコン20の位置として検出される。リモコン位置検出は、複数の赤外受光部を配置して検出するようにしてもよい。
【0022】
22はカメラであり、ディスプレイ周囲の光景を撮影する。23は画像認識部であり、撮影された画像の認識を行って、人物の位置を検出する。画像認識の方法は、任意の公知のアルゴリズムを使用することができる。例えば、特許文献2に示されるように、背景画像との差分から人物のシルエット関数を作成し、人体各部の寸法の閾値と比較することで、複数の人物を分離して抽出することができる。
【0023】
これに加えて、位置が既知である床上の物体と各人物の足位置を比較することで、人物の位置を特定することができる。24はユーザリストであり、認識された各ユーザの位置を記録する。25はウインドウリストであり、ウインドウに関連付けられたユーザのIDやウインドウを表示するための情報を記録する。両リストの詳細は後述する。
【0024】
次に、映像コンテンツの表示に関わる要素を説明する。
26は映像入力部6を構成するビデオ入力インタフェースであり、外部からの映像コンテンツを入力する。例えば、アナログコンポジット信号やアナログコンポーネント信号、HDMIやDVI等のデジタルビデオ信号規格のインタフェースで構成され、各種の映像コンテンツを入力する。
【0025】
27は放送チューナであり、アンテナから入力された放送波から選択されたチャンネルの信号を抽出し、復調する。また、復調されたストリームデータのデコードを行なって、ビデオデータを出力する。
【0026】
28は高画質化処理部であり、入力された画像データに対して拡大縮小や輪郭補正、色補正等の画像処理を施す。29は重ね合せ制御部であり、視聴中のコンテンツウインドウを重ね合わせて描画することにより、表示パネル32に表示する画面データを作成する。30はOSD合成部であり、ビデオポート番号や音量設定など各種の操作情報を表示画面データにさらに重ね合わせる。
【0027】
31は表示パネル制御部であり、表示パネル32に画面を表示するための制御を行なう。表示パネル32の特性に合わせたタイミングの同期信号を生成し、同期信号に合わせて表示画面データを読み出して出力する。また、信号電圧レベルの変換や補助信号の作成も行なう。32は表示パネルであり、液晶やプラズマ、プロジェクション、CRT、有機EL、SED等の任意の表示方式で構成される。
【0028】
34は全体制御部であり、ユーザ位置検出や関連付け、映像表示制御を含め、表示ディスプレイ1の装置全体の制御を行なう。全体制御部34は、CPUと周辺回路、メモリ等から構成される。また、図示されていないが、表示ディスプレイ1は、音声データを再生するための音声処理部、アンプ、スピーカ、通信インタフェース、ユーザインタフェース、電源等を含む。
【0029】
<ユーザ位置検出の処理の流れ(図7、図8)>
図7のフローチャートを用いて、ユーザ位置検出の処理の流れを説明する。ユーザ位置検出においては、ディスプレイ周囲の画像を画像認識して人物を抽出し、人物の位置を算出してユーザリストに登録する。なお、図7のフローチャートの各ステップの処理は、本実施形態の全体制御部34内の、不図示のRAMやROMなどのメモリに格納され、不図示のCPUなどにより読み出されるプログラムにより実行される。
図7中、S701では、カメラ22を駆動してディスプレイ周囲の画像を撮影する。S702では、画像認識部23を駆動して人物を抽出する。S703では、ユーザ位置抽出部35を駆動して、人物の位置を算出する。S704では、算出した位置座標をユーザリスト24に登録し、S701へ戻る。前記の処理を、一定周期毎に繰り返すことで、ディスプレイ周囲にいるユーザの位置を追尾することができる。
【0030】
図8は、ユーザリストの構成例を示す図である。リストには人物毎の位置座標が記録されている。81はユーザIDであり、人物を識別するユニークな識別名が割当てられる。82はX座標であり、ディスプレイ左端から水平方向の距離が記録される。83はY座標であり、ディスプレイ上端から垂直方向の距離が記録される。84はZ座標であり、ディスプレイ面から鉛直方向の距離が記録される。図8の例では、ユーザAはX座標が1000、Y座標が500、Z座標が1700の場所にいることが記録されている。
【0031】
<コンテンツウインドウ関連付けの処理の流れ(図9、図10)>
図9のフローチャートを用いて、ユーザとウインドウの関連付け処理の流れを説明する。図9のフローチャートの各ステップの処理は、本実施形態の全体制御部34内の、不図示のRAMやROMなどのメモリに格納され、不図示のCPUなどにより読み出されるプログラムにより実行される。
リモコン20が操作された時にリモコン位置を検出し、操作したユーザとユーザリスト中のユーザをマッチングする。リモコン20によって生成・操作されたウインドウをユーザに関連付け、ウインドウリストに登録する。
【0032】
S901では、リモコン受信があったかを判定し、肯定であればS902へ進み、否定であればS901の実行を繰返す(待機状態)。
S902では、リモコン受光部33を用いて、リモコン20のコマンドを受信する。
S903では、リモコン位置検出部21を用いて、リモコン20の位置を検出する。
S904では、リモコン位置の最も近傍にいるユーザをユーザリスト24から検索する。
S905では、検索されたユーザをウインドウリスト25に追加する。
S906では、リモコン20で指示されたコマンドをウインドウに対して実行し、S901へ戻る。
【0033】
図10は、ウインドウリスト25の構成例を示す図である。ウインドウリスト25には、関連付けられたユーザID、表示コンテンツ名、表示座標、優先順位が記録される。
図10において、1001はウインドウIDであり、ウインドウを識別するID番号が割当てられる。1002はユーザIDであり、ウインドウに関連付けられたユーザIDが記録される。1003はコンテンツ名であり、ウインドウで表示する入力ソース名やチャンネル名が記録される。
【0034】
1004はX座標、1005はY座標であり、表示画面上でウインドウがレイアウトされる領域の座標が記録される。1006は優先順位であり、後述の映像表示処理で決定された優先順位が記録される。図10の例では、ウインドウ1は、ユーザAに関連付けられており、VIDEO3のソースを表示する。また、表示位置はX座標が700、Y座標が400であり、優先順位は1である。
以上の処理により、ユーザとユーザが操作指示したコンテンツを関連付けることができる。
【0035】
<映像表示の処理の流れ(図11)>
図11のフローチャートを用いて映像表示の処理の流れを説明する。この映像表示処理は、ディスプレイが1フレームを表示する毎に実行される。各ウインドウの表示位置と優先順位を決定した後に、優先順位の順にコンテンツを描画して表示出力する。
【0036】
S1101では、ウインドウリスト25からウインドウIDを順に取り出す。当該ウインドウに関連付けられたユーザIDを取り出す。
S1102では、ユーザリスト24からユーザIDを検索し、当該ユーザの位置座標を取り出す。
S1103では、ユーザの位置が中心となるように、ウインドウの表示位置を決定する。
S1104では、関連付けられたユーザの距離が近い順にウインドウの優先順位を並べ替える。ユーザの距離はユーザリストのZ座標フィールド84の値を用い、並べ替えられた優先順位はウインドウリスト25の優先順位フィールド1006に記録される。
【0037】
S1105では、優先度判定したウインドウが最後のウインドウか判定し、肯定であればS1106へ、否定であればS1101へ進む。
S1106では、優先順位が低いウインドウから順に、コンテンツ画面を表示用メモリに描画する。優先順位が低いウインドウほど背面に描画される。
S1107では、描画されたウインドウが最後のウインドウか判定し、肯定であればS1108へ、否定であればS1106へ進む。
S1108では、全てのコンテンツ画面が描画された1フレーム分の画面データを表示パネルに出力し、ディスプレイ画面に表示させる。
【0038】
以上の処理により、ユーザの最寄りの位置に追随してコンテンツ画面を表示することができる。ウインドウ位置が干渉した場合は、最も近いユーザが視聴するウインドウを最前面に重ね合わせて表示することができる。
以上説明したように、本実施形態によれば、最も近くで視聴するユーザのコンテンツを優先して表示するので、視聴の邪魔を最小限に抑えることができる。
【0039】
本発明は、前述の実施形態に限定されるものではなく、幅広く応用することが可能である。
優先されたウインドウの表示レイアウトは、以下のようにしてもよい。図12に示すように、高優先度のウインドウ(52)を迂回する位置に低優先度のウインドウ(53)をレイアウトしてもよい。図13に示すように、低優先度のウインドウ(53)を縮小表示してもよい。低優先度のウインドウの表示を薄くして表示してもよい。
【0040】
3次元映像を表示可能なディスプレイにおいて、低優先度の3次元コンテンツを3次元的に遠方にレイアウトしてもよい。ユーザは遠方よりも近くのオブジェクトを注視する可能性が高いから、低優先度の3次元コンテンツを遠方にレイアウトすることで、視聴の妨げを減らすことができる。また、ウインドウ自体を遠方にレイアウトするのではなく、主要な被写体が遠方に配置されるようにコンテンツ画像をブレンド表示するようにしてもよい。
また、前述した表示レイアウト方法を組み合わせてもよい。例えば、低優先度のウインドウを縮小した上で迂回するようにレイアウトしてもよい。
【0041】
本実施形態でのユーザ位置検出はリモコンの位置検出と画像認識を併用して行なったが、画像認識だけで行なうようにしてもよい。リモコンの形状をマッチングさせ、撮影画像のどこに位置するかを検出すればよい。また、CMOSエリアセンサや超音波センサ等の距離センサを併用して位置検出するようにしてもよい。
【0042】
本実施形態でのユーザの関連付けはリモコン位置の検出と画像認識を併用して行なったが、リモコンのRFIDだけで行なうようにしてもよい。ユニークなIDを持つ複数のリモコンが存在して一人一台持っていた場合には、操作が行なわれたリモコンのRFIDで関連付けを行なうことができる。
さらに、本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウエア(プログラム)をパソコン等の処理装置(CPU、プロセッサ)にて実行することでも実現できる。
【0043】
(第2の実施形態)
本実施形態では、ウインドウが視聴中か否かを検出し、見られていないウインドウを優先制御の対象から外す例を説明する。撮影画像を画像認識してユーザの顔の向きを検出し、ユーザがウインドウを向いている場合を視聴中と判定する。
【0044】
<表示装置の構成(図14、図15)>
図14は、本実施形態の表示装置の特徴的な構成例を示すブロック図である。図1と共通の要素には同一番号を付し、説明を省略する。図14では、ユーザ視聴検出部9が追加されている。ユーザ視聴検出部9は、各ユーザがウインドウを見ているか否かを検出し、検出結果をユーザ識別部3に通知する。
【0045】
図15は、本実施形態の表示装置の詳細な構成例を示すブロック図である。図15では、図6の構成にユーザ視聴検出部9が追加されている。ユーザ視聴検出部9は、ユーザ顔方向抽出部36で構成される。ユーザ顔方向抽出部36は、画像認識部23の認識結果からユーザの顔の方向を検出する。顔方向の検出は、任意の公知のアルゴリズムを使用してよい。例えば、特許文献3に示されるように、顔の向きごとに算出した平均特徴ベクトルと、認識対象の画像データから抽出した特徴データを使用してマッチングを行なうことで、顔の向きを検出できる。
【0046】
<ユーザ位置検出の処理の流れ(図16、図17)>
図16は、ユーザ位置検出の処理の流れを示すフローチャートである。図16のフローチャートは、図7のフローチャートにS1601を追加した。S1601では、画像認識部23の結果を用いて、ユーザの顔の方向を判定する。続くS704では、従前のフィールドに加えて、ユーザの顔方向の判定結果を視聴有無のフィールドに登録する。
図17は、本実施形態におけるユーザリストの構成例を示す図である。図17は、図8のユーザリストに視聴有無フィールド85を追加した。視聴有無フィールド85は、ユーザ視聴検出部9の結果を記録する。図17の例では、ユーザAはウインドウを見ており、ユーザBは見ていないことを示す。
【0047】
<映像表示の処理の流れ(図18)>
図18は、映像表示の処理の流れを示すフローチャートである。図18は、図11のフローチャートにS1801及びS1802を追加した。S1801では、関連付けられているユーザが当該ウインドウを見ているかを判定し、肯定であればS1104へ、否定であればS1802へ進む。
【0048】
S1104では、前述の実施形態と同様にウインドウの優先度の並べ替えを行ない、S1105へ進む。S1802では、優先度制御の対象から外れた場合の処理であり、当該ウインドウを優先度を最も低く設定し、S1105へ進む。これにより、優先度制御の対象から外れたウインドウは、背面にレイアウトされる。以上の処理により、ユーザがウインドウを見ているか判定して、見られていないウインドウを優先度制御の対象から外して背面にレイアウトすることができる。
【0049】
以上説明したように、本実施形態によれば前述の実施形態と同様な効果を得ることができる。さらに、画面を見ていないユーザを優先度制御の対象から外せるので、本当に視聴しているユーザの視聴の邪魔をさらに低減することが可能になる。
【0050】
本発明は、前述の実施形態に限定されるものではなく、幅広く応用することが可能である。
本実施形態では視聴しているか否かの判定を顔の向きで行なったが、視線の方向で行なってもよい。この場合、ユーザ視聴検出部9は、撮影された画像の画像認識結果から視線方向を検出する。視線方向の検出は、任意の公知のアルゴリズムを使用してよい。例えば、特許文献4に示されるように、被験者の目の開閉画像でキャリブレーションを行い、目と眉のテンプレートと入力画像を比較することで、視線方向を検出できる。
【0051】
また、画像認識によらず、角度センサなど各種センサを使用して視聴検出するようにしてもよい。ユーザの頭部に眼球の動きを検出するようなセンサを装着して、視線を検出するようにしてもよい。
【0052】
また、見られていないウインドウを一旦、表示画面から消去するようにしてもよい。一定時間以上、見られていないことを検出して、ウインドウリストに記録する。映像表示の処理では、見られていないウインドウの描画をスキップする。再びユーザが表示画面を見た場合には、その最寄りの位置にコンテンツ画面を改めて描画するようにしてもよい。また、再度のリモコン処理でウインドウの表示を再開するようにしてもよい。
【0053】
本実施形態では、ユーザが見ていない場合に優先度を下げる処理を行なったが、ユーザが移動速度に応じて優先度を下げるようにしてもよい。移動中は前方の光景を注視する可能性が高いから、優先度を下げても視聴への影響度合いは少ない。ユーザ位置抽出部35は、前回のユーザ位置との差分からユーザの移動速度を検出し、ユーザリスト24に記録する。映像表示処理では、ユーザの移動速度が一定以上の場合は、優先度並べ替えの対象から外して背面にレイアウトする。以上のようにすることで、ユーザの移動速度を考慮した優先度制御を行なうことができる。
【0054】
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【符号の説明】
【0055】
1 表示装置、2 ユーザ位置検出部、3 ユーザ識別部、4 ウインドウ関連付け部、5 優先度判定部、6 映像入力部、7 表示画面作成部、8 表示部、9 ユーザ視聴検出部、20 リモコン、21 リモコン位置検出部、22 カメラ、23 画像認識部、24 ユーザリスト、25 ウインドウリスト、26 ビデオ入力インタフェース、27 放送チューナ、28 高画質化処理部、29 重ね合せ制御部、30 OSD合成部、31 表示パネル制御部、32 表示パネル、33 リモコン受光部、34 全体制御部、35 ユーザ位置抽出部、36 ユーザ顔方向抽出部、50 ユーザA、51 ユーザB、52 ウインドウA、53 ウインドウB
【技術分野】
【0001】
本発明は表示装置及び表示方法に関し、特に、複数のユーザが視聴する表示装置に用いて好適な技術に関する。
【背景技術】
【0002】
従来、液晶ディスプレイや投射型ディスプレイに代表される、大画面ディスプレイが普及している。一台又は複数台のディスプレイを組合せて、壁面全体に表示するような表示システムも実用化されている。
【0003】
壁面の表示システムにおいて、複数のユーザがそれぞれ異なるコンテンツを視聴するための方法として、リモコンを操作する毎にユーザの位置を検出し、その最寄りの位置に画面を表示する方法が考案されている。これによれば、複数のユーザがいた場合は人数割りしたサイズで表示を行なうようにしている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−94900号公報
【特許文献2】特開平08−153187号公報
【特許文献3】特開2001−250121号公報
【特許文献4】特開2005−100366号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、前述した従来例においては、複数のユーザの位置が近付いた場合に、他のユーザのコンテンツに上書きされて視聴が妨げられてしまう場合があった。例えば、他のユーザが横切る場合に、他のユーザのコンテンツ画面によって自分の視聴するコンテンツ画面が隠されてしまう問題点があった。
本発明は前述の問題点に鑑み、ユーザの位置に追随してコンテンツが表示されるようにして、視聴が邪魔されるのを最小限に抑えることができるようにすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の表示装置は、複数の映像コンテンツを入力する手段と、複数のユーザを識別する手段と、ユーザの位置を検出する検出手段と、ユーザと視聴する映像コンテンツを関連付ける手段と、ユーザの位置に応じて優先度を決定する手段と、前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成手段と、前記表示画面を表示する手段とを備えたことを特徴とする。
【発明の効果】
【0007】
本発明によれば、最も近くで視聴するユーザのコンテンツを最も高い優先度で表示することが可能となり、視聴の邪魔を最小限に抑えることができるという効果がある。
【図面の簡単な説明】
【0008】
【図1】第1の実施形態の表示装置の特徴的な構成例を示すブロック図である。
【図2】ウインドウ間の干渉がない場合の表示例を示す図である。
【図3】ユーザが移動した場合の表示例を示す図である。
【図4】ユーザが後ろを横切った場合の表示例を示す図である。
【図5】ユーザが前を横切った場合の表示例を示す図である。
【図6】表示装置の詳細な構成例を示すブロック図である。
【図7】ユーザ位置検出の処理の流れを示すフローチャートである。
【図8】ユーザリストの構成例を示す図である。
【図9】ユーザとウインドウの関連付け処理の流れを示すフローチャートである。
【図10】ウインドウリストの構成例を示す図である。
【図11】映像表示の処理の流れを示すフローチャートである。
【図12】ユーザが後ろを横切った場合の表示例を示す図である。
【図13】ユーザが後ろを横切った場合の表示例を示す図である。
【図14】第2の実施形態の表示装置の特徴的な構成例を示すブロック図である。
【図15】第2の実施形態の表示装置の詳細な構成例を示すブロック図である。
【図16】ユーザ位置検出の処理の流れを示すフローチャートである。
【図17】第2の実施形態のユーザリストの構成例を示す図である。
【図18】第2の実施形態の映像表示の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例であり、本発明は図示された構成に限定されるものではない。
(第1の実施形態)
本実施形態では、大型のディスプレイを複数のユーザが視聴する場合に、ユーザの移動に追随してコンテンツ画面の表示位置が移動する例を説明する。本実施形態においては、コンテンツ画面の表示位置が干渉する場合には、ユーザの位置を検出し、最も画面に近いユーザの視聴コンテンツを優先して表示する、という特徴的な動作を行なう。
【0010】
<コンテンツウインドウ表示の動作画面例(図2〜図5)>
以下、図2〜5の動作画面例を表す図面を用い、本実施形態の表示制御の動作例を説明する。本実施形態では、ウインドウ間の表示位置が干渉した場合に、ディスプレイに最も近いユーザの視聴ウインドウが最も前面になるように重ね合わせて表示する。
【0011】
図2は、ウインドウ間の干渉がない場合の表示例を示す図である。表示ディスプレイを2人のユーザが視聴している。
まず、表示ディスプレイの構成に関し、1は表示ディスプレイ本体であり、31は表示パネルである。表示ディスプレイ1の上辺には、水平方向にリモコン位置検出部21が複数個設置されている。22はカメラであり、表示ディスプレイ1が設置された部屋の上部に設置されており、表示ディスプレイ1の周囲の映像を撮影する。なお、ユーザの位置を表す座標系として、表示面の水平方向をX軸、垂直方向をY軸、表示面と鉛直の方向をZ軸と定義する。
【0012】
表示ディスプレイ1の周囲には2名のユーザがおり、50はユーザA、51はユーザBである。表示パネル31上には、視聴するユーザの最寄りの位置にコンテンツウインドウが表示されている。ユーザAが視聴するウインドウA(52)は、ユーザAの最寄りの位置に表示される。ユーザBが視聴するウインドウB(53)は、ユーザBの最寄りの位置に表示される。
【0013】
図3は、ユーザが移動した場合の表示例を示す。図3は、ユーザB(51)が表示ディスプレイ1に向かって右方向に移動した様子を示す。ユーザの移動に追随してウインドウB(53)の表示位置も右方向に移動し、ユーザB(51)の新たな位置の最寄りに表示される。
【0014】
図4は、ユーザが他のユーザの後ろを横切った場合の表示例を示す。ユーザA(50)とユーザB(51)の位置が近接した結果、ウインドウAとウインドウBの表示位置が干渉している。ユーザAの身体が邪魔になって、ユーザBの視聴が妨げられている。本実施形態では、ウインドウA(52)を最前面に表示することで、ユーザA(50)の視聴を継続できるようにした。
【0015】
図5は、ユーザが他のユーザの前を横切った場合の表示例を示す。この場合も、ウインドウA(52)とウインドウB(53)の表示位置が干渉する。ユーザB(51)の身体が邪魔になって、ユーザAの視聴が妨げられている。この場合には、ウインドウB(53)を最前面に表示することで、最も画面近くにいるユーザBの視聴を継続できるようにした。
以上のように、本実施形態では、最も近いユーザの視聴するコンテンツ画面が最も前面になるように表示する動作を行なう。
【0016】
<表示装置の構成(図1、図6)>
図1は、本実施形態の表示装置の特徴的な構成例を示すブロック図であり、図1を用いて表示装置の構成を説明する。
図1において、1は表示装置の本体であり、大型の表示面を持ち、複数の映像コンテンツの画面を表示できる表示ディスプレイである。2はユーザ位置検出部であり、表示ディスプレイ1の周囲にいるユーザの位置を検出する。また、コンテンツの操作を行なったユーザがどの位置のユーザであるかを検出する。
【0017】
3はユーザ識別部であり、検出されたユーザにIDを振って、それぞれのユーザを識別する。4はウインドウ関連付け部であり、コンテンツウインドウとユーザとを関連付けする。コンテンツウインドウの生成や操作を行なったユーザを当該ウインドウのオーナーであるとして、関連付けを行なう。
【0018】
5は優先度判定部であり、各ウインドウの表示優先度を判定する。ウインドウに関連付けられたユーザの距離を判定基準に用い、距離が近いウインドウに高い優先度を割当てる。6は映像入力部であり、放送波やビデオ信号等、外部から映像コンテンツのデータを入力する。7は表示画面作成部であり、決定された優先度に従ってコンテンツウインドウのレイアウトを行なって、表示画面データを作成する。
【0019】
本実施形態では、各ウインドウの表示位置が干渉した場合に、最も優先度の高いウインドウが最も前面になるように重ね合わせを行なう。8は表示部であり、表示画面データを表示パネル32に表示する。
【0020】
図6は、本実施形態の表示装置の詳細な構成例を示すブロック図である。図1と共通の要素には同一番号を付し、説明を省略する。
本実施形態では、RFIDで検出したリモコン20の位置と画像認識で検出した人物の位置をマッチングさせることで、コンテンツを視聴するユーザの位置を特定する。
図6において、20はリモコンであり、ユーザに指示されたコマンドを赤外光に変調したデータ形式で出力する。また、リモコン20はRFIDを内蔵しており、ディスプレイ側にリモコン20のIDを検出させることができる。
【0021】
33はリモコン受光部であり、リモコン20から送信される赤外光を受信して電気信号に変換する。21はリモコン位置検出部であり、複数のRFID受信部で構成され、リモコン20の位置を検出する。図2で説明したように、表示ディスプレイ1の上辺に複数個が設置されている。最も受信感度が高かったRFID受信部の位置がリモコン20の位置として検出される。リモコン位置検出は、複数の赤外受光部を配置して検出するようにしてもよい。
【0022】
22はカメラであり、ディスプレイ周囲の光景を撮影する。23は画像認識部であり、撮影された画像の認識を行って、人物の位置を検出する。画像認識の方法は、任意の公知のアルゴリズムを使用することができる。例えば、特許文献2に示されるように、背景画像との差分から人物のシルエット関数を作成し、人体各部の寸法の閾値と比較することで、複数の人物を分離して抽出することができる。
【0023】
これに加えて、位置が既知である床上の物体と各人物の足位置を比較することで、人物の位置を特定することができる。24はユーザリストであり、認識された各ユーザの位置を記録する。25はウインドウリストであり、ウインドウに関連付けられたユーザのIDやウインドウを表示するための情報を記録する。両リストの詳細は後述する。
【0024】
次に、映像コンテンツの表示に関わる要素を説明する。
26は映像入力部6を構成するビデオ入力インタフェースであり、外部からの映像コンテンツを入力する。例えば、アナログコンポジット信号やアナログコンポーネント信号、HDMIやDVI等のデジタルビデオ信号規格のインタフェースで構成され、各種の映像コンテンツを入力する。
【0025】
27は放送チューナであり、アンテナから入力された放送波から選択されたチャンネルの信号を抽出し、復調する。また、復調されたストリームデータのデコードを行なって、ビデオデータを出力する。
【0026】
28は高画質化処理部であり、入力された画像データに対して拡大縮小や輪郭補正、色補正等の画像処理を施す。29は重ね合せ制御部であり、視聴中のコンテンツウインドウを重ね合わせて描画することにより、表示パネル32に表示する画面データを作成する。30はOSD合成部であり、ビデオポート番号や音量設定など各種の操作情報を表示画面データにさらに重ね合わせる。
【0027】
31は表示パネル制御部であり、表示パネル32に画面を表示するための制御を行なう。表示パネル32の特性に合わせたタイミングの同期信号を生成し、同期信号に合わせて表示画面データを読み出して出力する。また、信号電圧レベルの変換や補助信号の作成も行なう。32は表示パネルであり、液晶やプラズマ、プロジェクション、CRT、有機EL、SED等の任意の表示方式で構成される。
【0028】
34は全体制御部であり、ユーザ位置検出や関連付け、映像表示制御を含め、表示ディスプレイ1の装置全体の制御を行なう。全体制御部34は、CPUと周辺回路、メモリ等から構成される。また、図示されていないが、表示ディスプレイ1は、音声データを再生するための音声処理部、アンプ、スピーカ、通信インタフェース、ユーザインタフェース、電源等を含む。
【0029】
<ユーザ位置検出の処理の流れ(図7、図8)>
図7のフローチャートを用いて、ユーザ位置検出の処理の流れを説明する。ユーザ位置検出においては、ディスプレイ周囲の画像を画像認識して人物を抽出し、人物の位置を算出してユーザリストに登録する。なお、図7のフローチャートの各ステップの処理は、本実施形態の全体制御部34内の、不図示のRAMやROMなどのメモリに格納され、不図示のCPUなどにより読み出されるプログラムにより実行される。
図7中、S701では、カメラ22を駆動してディスプレイ周囲の画像を撮影する。S702では、画像認識部23を駆動して人物を抽出する。S703では、ユーザ位置抽出部35を駆動して、人物の位置を算出する。S704では、算出した位置座標をユーザリスト24に登録し、S701へ戻る。前記の処理を、一定周期毎に繰り返すことで、ディスプレイ周囲にいるユーザの位置を追尾することができる。
【0030】
図8は、ユーザリストの構成例を示す図である。リストには人物毎の位置座標が記録されている。81はユーザIDであり、人物を識別するユニークな識別名が割当てられる。82はX座標であり、ディスプレイ左端から水平方向の距離が記録される。83はY座標であり、ディスプレイ上端から垂直方向の距離が記録される。84はZ座標であり、ディスプレイ面から鉛直方向の距離が記録される。図8の例では、ユーザAはX座標が1000、Y座標が500、Z座標が1700の場所にいることが記録されている。
【0031】
<コンテンツウインドウ関連付けの処理の流れ(図9、図10)>
図9のフローチャートを用いて、ユーザとウインドウの関連付け処理の流れを説明する。図9のフローチャートの各ステップの処理は、本実施形態の全体制御部34内の、不図示のRAMやROMなどのメモリに格納され、不図示のCPUなどにより読み出されるプログラムにより実行される。
リモコン20が操作された時にリモコン位置を検出し、操作したユーザとユーザリスト中のユーザをマッチングする。リモコン20によって生成・操作されたウインドウをユーザに関連付け、ウインドウリストに登録する。
【0032】
S901では、リモコン受信があったかを判定し、肯定であればS902へ進み、否定であればS901の実行を繰返す(待機状態)。
S902では、リモコン受光部33を用いて、リモコン20のコマンドを受信する。
S903では、リモコン位置検出部21を用いて、リモコン20の位置を検出する。
S904では、リモコン位置の最も近傍にいるユーザをユーザリスト24から検索する。
S905では、検索されたユーザをウインドウリスト25に追加する。
S906では、リモコン20で指示されたコマンドをウインドウに対して実行し、S901へ戻る。
【0033】
図10は、ウインドウリスト25の構成例を示す図である。ウインドウリスト25には、関連付けられたユーザID、表示コンテンツ名、表示座標、優先順位が記録される。
図10において、1001はウインドウIDであり、ウインドウを識別するID番号が割当てられる。1002はユーザIDであり、ウインドウに関連付けられたユーザIDが記録される。1003はコンテンツ名であり、ウインドウで表示する入力ソース名やチャンネル名が記録される。
【0034】
1004はX座標、1005はY座標であり、表示画面上でウインドウがレイアウトされる領域の座標が記録される。1006は優先順位であり、後述の映像表示処理で決定された優先順位が記録される。図10の例では、ウインドウ1は、ユーザAに関連付けられており、VIDEO3のソースを表示する。また、表示位置はX座標が700、Y座標が400であり、優先順位は1である。
以上の処理により、ユーザとユーザが操作指示したコンテンツを関連付けることができる。
【0035】
<映像表示の処理の流れ(図11)>
図11のフローチャートを用いて映像表示の処理の流れを説明する。この映像表示処理は、ディスプレイが1フレームを表示する毎に実行される。各ウインドウの表示位置と優先順位を決定した後に、優先順位の順にコンテンツを描画して表示出力する。
【0036】
S1101では、ウインドウリスト25からウインドウIDを順に取り出す。当該ウインドウに関連付けられたユーザIDを取り出す。
S1102では、ユーザリスト24からユーザIDを検索し、当該ユーザの位置座標を取り出す。
S1103では、ユーザの位置が中心となるように、ウインドウの表示位置を決定する。
S1104では、関連付けられたユーザの距離が近い順にウインドウの優先順位を並べ替える。ユーザの距離はユーザリストのZ座標フィールド84の値を用い、並べ替えられた優先順位はウインドウリスト25の優先順位フィールド1006に記録される。
【0037】
S1105では、優先度判定したウインドウが最後のウインドウか判定し、肯定であればS1106へ、否定であればS1101へ進む。
S1106では、優先順位が低いウインドウから順に、コンテンツ画面を表示用メモリに描画する。優先順位が低いウインドウほど背面に描画される。
S1107では、描画されたウインドウが最後のウインドウか判定し、肯定であればS1108へ、否定であればS1106へ進む。
S1108では、全てのコンテンツ画面が描画された1フレーム分の画面データを表示パネルに出力し、ディスプレイ画面に表示させる。
【0038】
以上の処理により、ユーザの最寄りの位置に追随してコンテンツ画面を表示することができる。ウインドウ位置が干渉した場合は、最も近いユーザが視聴するウインドウを最前面に重ね合わせて表示することができる。
以上説明したように、本実施形態によれば、最も近くで視聴するユーザのコンテンツを優先して表示するので、視聴の邪魔を最小限に抑えることができる。
【0039】
本発明は、前述の実施形態に限定されるものではなく、幅広く応用することが可能である。
優先されたウインドウの表示レイアウトは、以下のようにしてもよい。図12に示すように、高優先度のウインドウ(52)を迂回する位置に低優先度のウインドウ(53)をレイアウトしてもよい。図13に示すように、低優先度のウインドウ(53)を縮小表示してもよい。低優先度のウインドウの表示を薄くして表示してもよい。
【0040】
3次元映像を表示可能なディスプレイにおいて、低優先度の3次元コンテンツを3次元的に遠方にレイアウトしてもよい。ユーザは遠方よりも近くのオブジェクトを注視する可能性が高いから、低優先度の3次元コンテンツを遠方にレイアウトすることで、視聴の妨げを減らすことができる。また、ウインドウ自体を遠方にレイアウトするのではなく、主要な被写体が遠方に配置されるようにコンテンツ画像をブレンド表示するようにしてもよい。
また、前述した表示レイアウト方法を組み合わせてもよい。例えば、低優先度のウインドウを縮小した上で迂回するようにレイアウトしてもよい。
【0041】
本実施形態でのユーザ位置検出はリモコンの位置検出と画像認識を併用して行なったが、画像認識だけで行なうようにしてもよい。リモコンの形状をマッチングさせ、撮影画像のどこに位置するかを検出すればよい。また、CMOSエリアセンサや超音波センサ等の距離センサを併用して位置検出するようにしてもよい。
【0042】
本実施形態でのユーザの関連付けはリモコン位置の検出と画像認識を併用して行なったが、リモコンのRFIDだけで行なうようにしてもよい。ユニークなIDを持つ複数のリモコンが存在して一人一台持っていた場合には、操作が行なわれたリモコンのRFIDで関連付けを行なうことができる。
さらに、本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウエア(プログラム)をパソコン等の処理装置(CPU、プロセッサ)にて実行することでも実現できる。
【0043】
(第2の実施形態)
本実施形態では、ウインドウが視聴中か否かを検出し、見られていないウインドウを優先制御の対象から外す例を説明する。撮影画像を画像認識してユーザの顔の向きを検出し、ユーザがウインドウを向いている場合を視聴中と判定する。
【0044】
<表示装置の構成(図14、図15)>
図14は、本実施形態の表示装置の特徴的な構成例を示すブロック図である。図1と共通の要素には同一番号を付し、説明を省略する。図14では、ユーザ視聴検出部9が追加されている。ユーザ視聴検出部9は、各ユーザがウインドウを見ているか否かを検出し、検出結果をユーザ識別部3に通知する。
【0045】
図15は、本実施形態の表示装置の詳細な構成例を示すブロック図である。図15では、図6の構成にユーザ視聴検出部9が追加されている。ユーザ視聴検出部9は、ユーザ顔方向抽出部36で構成される。ユーザ顔方向抽出部36は、画像認識部23の認識結果からユーザの顔の方向を検出する。顔方向の検出は、任意の公知のアルゴリズムを使用してよい。例えば、特許文献3に示されるように、顔の向きごとに算出した平均特徴ベクトルと、認識対象の画像データから抽出した特徴データを使用してマッチングを行なうことで、顔の向きを検出できる。
【0046】
<ユーザ位置検出の処理の流れ(図16、図17)>
図16は、ユーザ位置検出の処理の流れを示すフローチャートである。図16のフローチャートは、図7のフローチャートにS1601を追加した。S1601では、画像認識部23の結果を用いて、ユーザの顔の方向を判定する。続くS704では、従前のフィールドに加えて、ユーザの顔方向の判定結果を視聴有無のフィールドに登録する。
図17は、本実施形態におけるユーザリストの構成例を示す図である。図17は、図8のユーザリストに視聴有無フィールド85を追加した。視聴有無フィールド85は、ユーザ視聴検出部9の結果を記録する。図17の例では、ユーザAはウインドウを見ており、ユーザBは見ていないことを示す。
【0047】
<映像表示の処理の流れ(図18)>
図18は、映像表示の処理の流れを示すフローチャートである。図18は、図11のフローチャートにS1801及びS1802を追加した。S1801では、関連付けられているユーザが当該ウインドウを見ているかを判定し、肯定であればS1104へ、否定であればS1802へ進む。
【0048】
S1104では、前述の実施形態と同様にウインドウの優先度の並べ替えを行ない、S1105へ進む。S1802では、優先度制御の対象から外れた場合の処理であり、当該ウインドウを優先度を最も低く設定し、S1105へ進む。これにより、優先度制御の対象から外れたウインドウは、背面にレイアウトされる。以上の処理により、ユーザがウインドウを見ているか判定して、見られていないウインドウを優先度制御の対象から外して背面にレイアウトすることができる。
【0049】
以上説明したように、本実施形態によれば前述の実施形態と同様な効果を得ることができる。さらに、画面を見ていないユーザを優先度制御の対象から外せるので、本当に視聴しているユーザの視聴の邪魔をさらに低減することが可能になる。
【0050】
本発明は、前述の実施形態に限定されるものではなく、幅広く応用することが可能である。
本実施形態では視聴しているか否かの判定を顔の向きで行なったが、視線の方向で行なってもよい。この場合、ユーザ視聴検出部9は、撮影された画像の画像認識結果から視線方向を検出する。視線方向の検出は、任意の公知のアルゴリズムを使用してよい。例えば、特許文献4に示されるように、被験者の目の開閉画像でキャリブレーションを行い、目と眉のテンプレートと入力画像を比較することで、視線方向を検出できる。
【0051】
また、画像認識によらず、角度センサなど各種センサを使用して視聴検出するようにしてもよい。ユーザの頭部に眼球の動きを検出するようなセンサを装着して、視線を検出するようにしてもよい。
【0052】
また、見られていないウインドウを一旦、表示画面から消去するようにしてもよい。一定時間以上、見られていないことを検出して、ウインドウリストに記録する。映像表示の処理では、見られていないウインドウの描画をスキップする。再びユーザが表示画面を見た場合には、その最寄りの位置にコンテンツ画面を改めて描画するようにしてもよい。また、再度のリモコン処理でウインドウの表示を再開するようにしてもよい。
【0053】
本実施形態では、ユーザが見ていない場合に優先度を下げる処理を行なったが、ユーザが移動速度に応じて優先度を下げるようにしてもよい。移動中は前方の光景を注視する可能性が高いから、優先度を下げても視聴への影響度合いは少ない。ユーザ位置抽出部35は、前回のユーザ位置との差分からユーザの移動速度を検出し、ユーザリスト24に記録する。映像表示処理では、ユーザの移動速度が一定以上の場合は、優先度並べ替えの対象から外して背面にレイアウトする。以上のようにすることで、ユーザの移動速度を考慮した優先度制御を行なうことができる。
【0054】
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【符号の説明】
【0055】
1 表示装置、2 ユーザ位置検出部、3 ユーザ識別部、4 ウインドウ関連付け部、5 優先度判定部、6 映像入力部、7 表示画面作成部、8 表示部、9 ユーザ視聴検出部、20 リモコン、21 リモコン位置検出部、22 カメラ、23 画像認識部、24 ユーザリスト、25 ウインドウリスト、26 ビデオ入力インタフェース、27 放送チューナ、28 高画質化処理部、29 重ね合せ制御部、30 OSD合成部、31 表示パネル制御部、32 表示パネル、33 リモコン受光部、34 全体制御部、35 ユーザ位置抽出部、36 ユーザ顔方向抽出部、50 ユーザA、51 ユーザB、52 ウインドウA、53 ウインドウB
【特許請求の範囲】
【請求項1】
複数の映像コンテンツを入力する手段と、
複数のユーザを識別する手段と、
ユーザの位置を検出する検出手段と、
ユーザと視聴する映像コンテンツを関連付ける手段と、
ユーザの位置に応じて優先度を決定する手段と、
前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成手段と、
前記表示画面を表示する手段と、
を備えたことを特徴とする表示装置。
【請求項2】
前記作成手段は、関連付けられたコンテンツをユーザの最寄りの位置に表示することを特徴とする請求項1に記載の表示装置。
【請求項3】
前記優先度を決定する手段は、装置とユーザとの距離が近いほど、関連付けられたコンテンツに高い優先度を与えるように制御することを特徴とする請求項1または2に記載の表示装置。
【請求項4】
ユーザが移動しているかを判定する判定手段をさらに設け、
前記優先度を決定する手段は、前記判定手段による判定の結果に応じて、移動の速度が低いユーザほど高い優先度を与えることを特徴とする請求項1〜3の何れか1項に記載の表示装置。
【請求項5】
ユーザの映像コンテンツを見ているかを検出する手段をさらに設け、
前記優先度を決定する手段は、前記検出手段の検出結果に応じて、映像コンテンツを見ているユーザのみを優先度の制御の対象とすることを特徴とする請求項1〜4の何れか1項に記載の表示装置。
【請求項6】
前記映像コンテンツを見ているかを検出する手段は、撮影手段と画像認識手段とを含み、ユーザの顔が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項5に記載の表示装置。
【請求項7】
前記映像コンテンツを見ているかを検出する手段は、撮影手段と画像認識手段とを含み、ユーザの視線が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項5に記載の表示装置。
【請求項8】
前記作成手段は、優先度の低い映像コンテンツが背面になるようにコンテンツ画面を重ね合わせることを特徴とする請求項1〜7の何れか1項に記載の表示装置。
【請求項9】
前記作成手段は、優先度の低い映像コンテンツを縮小してレイアウトすることを特徴とする請求項1〜7の何れか1項に記載の表示装置。
【請求項10】
前記作成手段は、優先度の低い映像コンテンツの色を薄くしてレイアウトすることを特徴とする請求項1〜7の何れか1項に記載の表示装置。
【請求項11】
前記作成手段は、3次元の表示画面を作成するものであって、優先度の低い映像コンテンツが遠方に位置するようにレイアウトすることを特徴とする請求項1〜7の何れか1項に記載の表示装置。
【請求項12】
複数の映像コンテンツを入力するステップと、
複数のユーザを識別するステップと、
ユーザの位置を検出する検出ステップと、
ユーザと視聴する映像コンテンツを関連付けるステップと、
ユーザの位置に応じて優先度を決定するステップと、
前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成ステップと、
前記表示画面を表示するステップと、
を備えたことを特徴とする表示方法。
【請求項13】
前記作成ステップは、関連付けられたコンテンツをユーザの最寄りの位置に表示することを特徴とする請求項12に記載の表示方法。
【請求項14】
前記優先度を決定するステップは、装置とユーザとの距離が近いほど、関連付けられたコンテンツに高い優先度を与えるように制御することを特徴とする請求項12または13に記載の表示方法。
【請求項15】
ユーザが移動しているかを判定する判定ステップをさらに設け、
前記優先度を決定するステップは、前記判定ステップによる判定の結果に応じて、移動の速度が低いユーザほど高い優先度を与えることを特徴とする請求項12〜14の何れか1項に記載の表示方法。
【請求項16】
ユーザの映像コンテンツを見ているかを検出するステップをさらに設け、
前記優先度を決定するステップは、前記検出ステップの検出結果に応じて、映像コンテンツを見ているユーザのみを優先度の制御の対象とすることを特徴とする請求項12〜15の何れか1項に記載の表示方法。
【請求項17】
前記映像コンテンツを見ているかを検出するステップは、撮影ステップと画像認識ステップとを含み、ユーザの顔が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項16に記載の表示方法。
【請求項18】
前記映像コンテンツを見ているかを検出するステップは、撮影ステップと画像認識ステップとを含み、ユーザの視線が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項16に記載の表示方法。
【請求項19】
前記作成ステップは、優先度の低い映像コンテンツが背面になるようにコンテンツ画面を重ね合わせることを特徴とする請求項12〜18の何れか1項に記載の表示方法。
【請求項20】
前記作成ステップは、優先度の低い映像コンテンツを縮小してレイアウトすることを特徴とする請求項12〜18の何れか1項に記載の表示方法。
【請求項21】
前記作成ステップは、優先度の低い映像コンテンツの色を薄くしてレイアウトすることを特徴とする請求項12〜18の何れか1項に記載の表示方法。
【請求項22】
前記作成ステップは、3次元の表示画面を作成するものであって、優先度の低い映像コンテンツが遠方に位置するようにレイアウトすることを特徴とする請求項12〜18の何れか1項に記載の表示方法。
【請求項23】
複数の映像コンテンツを入力するステップと、
複数のユーザを識別するステップと、
ユーザの位置を検出する検出ステップと、
ユーザと視聴する映像コンテンツを関連付けるステップと、
ユーザの位置に応じて優先度を決定するステップと、
前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成ステップと、
前記表示画面を表示するステップとをコンピュータに実行させることを特徴とするプログラム。
【請求項24】
請求項23に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項1】
複数の映像コンテンツを入力する手段と、
複数のユーザを識別する手段と、
ユーザの位置を検出する検出手段と、
ユーザと視聴する映像コンテンツを関連付ける手段と、
ユーザの位置に応じて優先度を決定する手段と、
前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成手段と、
前記表示画面を表示する手段と、
を備えたことを特徴とする表示装置。
【請求項2】
前記作成手段は、関連付けられたコンテンツをユーザの最寄りの位置に表示することを特徴とする請求項1に記載の表示装置。
【請求項3】
前記優先度を決定する手段は、装置とユーザとの距離が近いほど、関連付けられたコンテンツに高い優先度を与えるように制御することを特徴とする請求項1または2に記載の表示装置。
【請求項4】
ユーザが移動しているかを判定する判定手段をさらに設け、
前記優先度を決定する手段は、前記判定手段による判定の結果に応じて、移動の速度が低いユーザほど高い優先度を与えることを特徴とする請求項1〜3の何れか1項に記載の表示装置。
【請求項5】
ユーザの映像コンテンツを見ているかを検出する手段をさらに設け、
前記優先度を決定する手段は、前記検出手段の検出結果に応じて、映像コンテンツを見ているユーザのみを優先度の制御の対象とすることを特徴とする請求項1〜4の何れか1項に記載の表示装置。
【請求項6】
前記映像コンテンツを見ているかを検出する手段は、撮影手段と画像認識手段とを含み、ユーザの顔が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項5に記載の表示装置。
【請求項7】
前記映像コンテンツを見ているかを検出する手段は、撮影手段と画像認識手段とを含み、ユーザの視線が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項5に記載の表示装置。
【請求項8】
前記作成手段は、優先度の低い映像コンテンツが背面になるようにコンテンツ画面を重ね合わせることを特徴とする請求項1〜7の何れか1項に記載の表示装置。
【請求項9】
前記作成手段は、優先度の低い映像コンテンツを縮小してレイアウトすることを特徴とする請求項1〜7の何れか1項に記載の表示装置。
【請求項10】
前記作成手段は、優先度の低い映像コンテンツの色を薄くしてレイアウトすることを特徴とする請求項1〜7の何れか1項に記載の表示装置。
【請求項11】
前記作成手段は、3次元の表示画面を作成するものであって、優先度の低い映像コンテンツが遠方に位置するようにレイアウトすることを特徴とする請求項1〜7の何れか1項に記載の表示装置。
【請求項12】
複数の映像コンテンツを入力するステップと、
複数のユーザを識別するステップと、
ユーザの位置を検出する検出ステップと、
ユーザと視聴する映像コンテンツを関連付けるステップと、
ユーザの位置に応じて優先度を決定するステップと、
前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成ステップと、
前記表示画面を表示するステップと、
を備えたことを特徴とする表示方法。
【請求項13】
前記作成ステップは、関連付けられたコンテンツをユーザの最寄りの位置に表示することを特徴とする請求項12に記載の表示方法。
【請求項14】
前記優先度を決定するステップは、装置とユーザとの距離が近いほど、関連付けられたコンテンツに高い優先度を与えるように制御することを特徴とする請求項12または13に記載の表示方法。
【請求項15】
ユーザが移動しているかを判定する判定ステップをさらに設け、
前記優先度を決定するステップは、前記判定ステップによる判定の結果に応じて、移動の速度が低いユーザほど高い優先度を与えることを特徴とする請求項12〜14の何れか1項に記載の表示方法。
【請求項16】
ユーザの映像コンテンツを見ているかを検出するステップをさらに設け、
前記優先度を決定するステップは、前記検出ステップの検出結果に応じて、映像コンテンツを見ているユーザのみを優先度の制御の対象とすることを特徴とする請求項12〜15の何れか1項に記載の表示方法。
【請求項17】
前記映像コンテンツを見ているかを検出するステップは、撮影ステップと画像認識ステップとを含み、ユーザの顔が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項16に記載の表示方法。
【請求項18】
前記映像コンテンツを見ているかを検出するステップは、撮影ステップと画像認識ステップとを含み、ユーザの視線が映像コンテンツの表示画面の方向を向いているかを検出することを特徴とする請求項16に記載の表示方法。
【請求項19】
前記作成ステップは、優先度の低い映像コンテンツが背面になるようにコンテンツ画面を重ね合わせることを特徴とする請求項12〜18の何れか1項に記載の表示方法。
【請求項20】
前記作成ステップは、優先度の低い映像コンテンツを縮小してレイアウトすることを特徴とする請求項12〜18の何れか1項に記載の表示方法。
【請求項21】
前記作成ステップは、優先度の低い映像コンテンツの色を薄くしてレイアウトすることを特徴とする請求項12〜18の何れか1項に記載の表示方法。
【請求項22】
前記作成ステップは、3次元の表示画面を作成するものであって、優先度の低い映像コンテンツが遠方に位置するようにレイアウトすることを特徴とする請求項12〜18の何れか1項に記載の表示方法。
【請求項23】
複数の映像コンテンツを入力するステップと、
複数のユーザを識別するステップと、
ユーザの位置を検出する検出ステップと、
ユーザと視聴する映像コンテンツを関連付けるステップと、
ユーザの位置に応じて優先度を決定するステップと、
前記優先度に応じて映像コンテンツをレイアウトして表示画面を作成する作成ステップと、
前記表示画面を表示するステップとをコンピュータに実行させることを特徴とするプログラム。
【請求項24】
請求項23に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2013−115644(P2013−115644A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−260591(P2011−260591)
【出願日】平成23年11月29日(2011.11.29)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願日】平成23年11月29日(2011.11.29)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]