コミュニケーションシステム及びコミュニケーション装置
【課題】 本発明によれば、利用者に与える臨場感を向上させるコミュニケーションシステムを提供することができる。
【解決手段】 本発明は、第１の利用者と第２の利用者との間のコミュニケーションを可能とするコミュニケーションシステムに関する。そして、コミュニケーションシステムは、カメラを用いて第２の利用者を撮像した映像の映像データを保持する手段と、保持した映像データに基づく映像を、第１の利用者に提示するために画面表示するディスプレイと、ディスプレイの画面方向を制御に応じた方向に向ける方向制御機構と、上記第１の利用者又は上記第２の利用者の身体的位置情報を取得する手段と、上記第１の利用者又は上記第２の利用者の身体的位置情報に応じて、ディスプレイの新たな画面方向を決定して制御する手段とを有することを特徴とする。
【解決手段】 本発明は、第１の利用者と第２の利用者との間のコミュニケーションを可能とするコミュニケーションシステムに関する。そして、コミュニケーションシステムは、カメラを用いて第２の利用者を撮像した映像の映像データを保持する手段と、保持した映像データに基づく映像を、第１の利用者に提示するために画面表示するディスプレイと、ディスプレイの画面方向を制御に応じた方向に向ける方向制御機構と、上記第１の利用者又は上記第２の利用者の身体的位置情報を取得する手段と、上記第１の利用者又は上記第２の利用者の身体的位置情報に応じて、ディスプレイの新たな画面方向を決定して制御する手段とを有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、コミュニケーションシステム及びコミュニケーション装置に関し、例えば、音声及び映像を用いた通話で遠隔コミュニケーションを実現するコミュニケーションシステムに適用し得る。
【背景技術】
【０００２】
遠隔コミュニケーションの重要性はますます高まっており、遠隔地の会話者の存在感や場の臨場感を視覚的および聴覚的に遠隔地に伝えるコミュニケーションシステムが注目されている。
【０００３】
従来のコミュニケーションシステムに関する技術としては、特許文献１〜４の記載技術がある。
【０００４】
特許文献１の記載技術は、人間の頭部形状を模したダミーヘッドに、遠隔地の会話者の表情を表示することで、視覚的、聴覚的に高い臨場感を持った高臨場感通信装置を提供するものである。しかしながら、臨場感を提供するためにダミーヘッドのような大がかりな装置を用意しなければならず、容易に臨場感を生むことができない。これに対して、特許文献２では、遠隔の会議出席者の顔がほぼ実物大にビデオモニタに映され、直接目で見つめているような感覚を与え、自動的または手動的にビデオモニタは発話者の方を向き、遠隔の会議出席者が顔を回転している感覚を与えることができる装置について記載されている。
【０００５】
また、特許文献３では、イヤホンマイクからの音源信号を解析してイヤホンマイクの位置を特定し、その位置情報に基づいて携帯電話端末のディスプレイの向きを変え、イヤホンマイクに正対させる情報処理端末について記載されている。さらにまた、特許文献４では、人体の接近を検知し、その接近する方向にディスプレイを向ける近距離通信装置について記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２６９５４９号公報
【特許文献２】特表２００１−５２４２８６号公報
【特許文献３】特開２００３−１６９１６１号公報
【特許文献４】特開２００３−２８９２７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２の記載技術は、特許文献１の記載技術と同様に、高い臨場感を提供するために大がかりな装置を用いなければならず、またビデオモニタの移動回転と遠隔地からの映像の変化は統合的なものではない。
【０００８】
また、特許文献３、４の記載技術は、双方とも、利用者の動作に応じてディスプレイの向きを変化させることに特徴があるが、利用者の労力を軽減させることが目的であり、遠隔地の会話者を表示したり、遠隔コミュニケーションを支援したりする目的ではない。また、特許文献３、４の記載技術は、ディスプレイの回転と遠隔地からの映像の変化は統合的なものではない。
【０００９】
そのため、利用者に与える臨場感を向上させることができるコミュニケーションシステム及びコミュニケーション装置が望まれている。
【課題を解決するための手段】
【００１０】
第１の本発明は、第１の利用者と第２の利用者との間のコミュニケーションを可能とするコミュニケーションシステムにおいて、（１）１又は複数のカメラを用いて、上記第２の利用者を撮像した映像の映像データを保持する映像データ保持手段と、（２）上記映像データ保持手段が保持した映像データに基づく映像を、上記第１の利用者に提示するために画面表示するディスプレイと、上記ディスプレイの画面方向を制御に応じた方向に向ける画面方向制御機構とを備える映像表示手段と、（３）上記第１の利用者又は上記第２の利用者の身体的位置情報を取得する身体的位置情報取得手段と、（４）上記第１の利用者又は上記第２の利用者の身体的位置情報に応じて、上記ディスプレイの新たな画面方向を決定し、上記ディスプレイの画面方向が決定した画面方向となるように、上記画面方向制御機構を制御する画面方向制御手段とを有することを特徴とする。
【００１１】
第２の本発明は、第１の利用者と第２の利用者との間のコミュニケーションを可能とするコミュニケーションシステムを構成する、上記第１の利用者が利用する第１のコミュニケーション装置において、（１）上記第２の利用者が利用する第２のコミュニケーション装置から、１又は複数のカメラを用いて、上記第２の利用者を撮像した映像データを取得する映像データ取得手段と、（２）上記映像データ取得手段が取得した映像データの映像を、上記第１の利用者に提示するために画面表示するディスプレイと、上記ディスプレイの画面方向を制御に応じた方向に向ける画面方向制御機構とを備える映像表示手段と、（３）上記第１の利用者又は上記第２の利用者の身体的位置情報を取得する身体的位置情報取得手段と、（４）上記第１の利用者又は上記第２の利用者の身体的位置情報に応じて、上記ディスプレイの新たな画面方向を決定し、上記ディスプレイの画面方向が決定した画面方向となるように、上記画面方向制御機構を制御する画面方向制御手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、利用者に与える臨場感を向上させるコミュニケーションシステムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係るコミュニケーション装置（コミュニケーション装置本体）の機能的構成について示したブロック図である。
【図２】第１の実施形態に係るコミュニケーションシステムの全体構成について示したブロック図である。
【図３】第１の実施形態に係るコミュニケーション装置の斜視図である。
【図４】第１の実施形態に係る映像処理部が、利用者情報として把握する利用者頭部方向について示した説明図である。
【図５】第１の実施形態に係る映像合成部及び回転制御部の処理について示した説明図である。
【図６】第１の実施形態に係るコミュニケーション装置の動作について示したフローチャートである。
【図７】第２の実施形態に係る映像処理部が、利用者情報として把握する利用者視線方向について示した説明図である。
【図８】第２の実施形態に係る映像合成部及び回転制御部が行う処理について示した説明図である。
【図９】第２の実施形態に係るコミュニケーション装置の動作について示したフローチャートである。
【図１０】第３の実施形態に係るコミュニケーション装置を構成するカメラシステムの構成について示した説明図である。
【図１１】第３の実施形態に係るコミュニケーション装置の動作について示したフローチャートである。
【図１２】第４の実施形態に係るコミュニケーション装置の動作について示したフローチャートである。
【図１３】第５の実施形態に係るコミュニケーション装置（コミュニケーション装置本体）の機能的構成について示したブロック図である。
【図１４】第５の実施形態に係るコミュニケーション装置の動作について示したフローチャートである。
【発明を実施するための形態】
【００１４】
（Ａ）第１の実施形態
以下、本発明によるコミュニケーションシステム及びコミュニケーション装置の第１の実施形態を、図面を参照しながら詳述する。
【００１５】
（Ａ−１）第１の実施形態の構成
図２は、この実施形態のコミュニケーションシステム１の全体構成を示すブロック図である。
【００１６】
図２に示すように、コミュニケーションシステム１では、ネットワークＮを介して、２台のコミュニケーション装置１０（１０−１、１０−２）の間が接続されている。コミュニケーション装置１０は、ビデオ会議機能等のネットワークＮを介した遠隔コミュニケーション機能を利用者に提供する装置である。
【００１７】
なお、以下では、コミュニケーション装置１０−１は第１の利用者Ｕ１が利用するものであるものとし、コミュニケーション装置１０−２は、第２の利用者Ｕ２が利用するものであるものとする。
【００１８】
また、以下では、それぞれのコミュニケーション装置１０において、自装置の利用者を「自装置利用者」と呼び、ネットワークＮを介して対向するコミュニケーション装置１０の利用者を「遠隔側利用者」と表わすものとする。また、それぞれのコミュニケーション装置１０において、自装置と、ネットワークＮを介して対向するコミュニケーション装置１０のことを「遠隔側装置」と表わすものとする。なお、ここでは、説明を簡易とするために、コミュニケーション装置１０−１とコミュニケーション装置１０−２とは同じ構成であるものとして説明するが、異なる構成としても良い。
【００１９】
次に、コミュニケーション装置１０の構成について説明する。
【００２０】
図３は、コミュニケーション装置１０の斜視図である。図３に示すように、コミュニケーション装置１０は、コミュニケーション装置本体１１、カメラ１２、及びディスプレイ１３を有している。
【００２１】
コミュニケーション装置本体１１は、コミュニケーション装置１０の全体を制御する機能等を担っている。コミュニケーション装置１０では、コミュニケーション装置本体１１により、カメラ１２及びディスプレイ１３が制御されている。コミュニケーション装置本体１１としては、例えば、プログラムを実行するプロセッサ及びネットワークに接続するインタフェースを備える情報処理装置（例えば、ＰＣや、専用装置等）に、実施形態のコミュニケーションプログラム等をインストールすることにより実現するようにしても良く、その場合でも、コミュニケーション装置１０の機能的構成は、図１のように示すことができる。
【００２２】
カメラ１２は、自装置の利用者を撮像するためのカメラ本体１２１と、カメラ本体１２１を載置するカメラ回転板１２２とを有している。
【００２３】
カメラ本体１２１は、コミュニケーション装置本体１１の制御に応じて撮像した映像の映像データを、コミュニケーション装置本体１１に供給する。また、カメラ本体１２１としては、例えば、既存のビデオ会議端末等に利用されるＣＣＤカメラ等を適用することができる。
【００２４】
カメラ回転板１２２は、コミュニケーション装置本体１１の制御により動作する回転機構（図示せず、例えば、モータ等）により、左右方向（水平方向）に、時計回り又は反時計回りに回転し、載置しているカメラ本体１２１の撮像する方向を変更させる。言い換えると、コミュニケーション装置１０では、コミュニケーション装置本体１１により、カメラ回転板１２２が備える上述の回転機構を動作させることにより、カメラ本体１２１の撮像する方向を制御している。カメラ１２としては、例えば、既存のビデオ会議端末等で用いられる撮像方向を変更することができるカメラ（例えば、ロボットカメラ等）を用いることができる。なお、第１の実施形態では、カメラ本体１２１の撮像する方向を制御する手段は限定されないものであり、上述の回転機構以外の手段（例えば、首振り機構を備えるスタンド等）を適用するようにしても良い。また、図３では、カメラ１２とコミュニケーション装置本体１１との間の物理インタフェースは限定されないものであり、既存の有線（例えば、ＵＳＢケーブル等）や無線のインタフェースを適用することができる。
【００２５】
ディスプレイ１３は、コミュニケーション装置本体１１から出力された映像（映像信号）を当該第１の利用者Ｕ１に表示出力するためのディスプレイ本体１３１と、ディスプレイ本体１３１を載置するディスプレイ回転板１３２とを有している。
【００２６】
ディスプレイ本体１３１としては、例えば、既存のＰＣ等で用いられる液晶ディスプレイ等を用いることができる。
【００２７】
ディスプレイ回転板１３２は、コミュニケーション装置本体１１の制御により動作する回転機構（図示せず、例えば、モータ等）により、水平方向（左右方向）に、時計回り又は反時計回りに回転し、載置しているディスプレイ本体１３１の画面の方向を変更させる。言い換えると、コミュニケーション装置１０では、コミュニケーション装置本体１１により、ディスプレイ回転板１３２が備える上述の回転機構を動作させ、ディスプレイ本体１３１の画面を向ける方向を制御している。なお、第１の実施形態では、ディスプレイ本体１３１の画面方向を制御する手段は限定されないものであり、カメラ１２と同様に、上述の回転機構以外の手段を適用することができる。また、図３では、ディスプレイ１３の図示しない回転機構とコミュニケーション装置本体１１との間の物理インタフェースは限定されないものであり、既存の有線（例えば、ＵＳＢケーブル等）や無線のインタフェースを適用することができる。また、ディスプレイ本体１３１が、コミュニケーション装置本体１１から映像信号の供給を受けるための物理インタフェースについても限定されないものであり、例えば、既存のＰＣ等のディスプレイと同様のインタフェースを適用することができる。
【００２８】
次に、図１を用いて、コミュニケーション装置本体１１の機能的構成について説明する。
【００２９】
コミュニケーション装置１０を構成するコミュニケーション装置本体１１は、機能的には、映像取得部１０１、映像処理部１０２、情報送信部１０３、情報受信部１０４、映像合成部１０５、映像表示部１０６、回転制御部１０７、及び制御部１０８を有している。なお、図１においては図示を省略しているが、コミュニケーション装置本体１１は、自装置利用者が発話する音声を捕捉するマイクや、遠隔側装置から供給された遠隔側利用者が発話した音声を出力するスピーカ等、既存のビデオ会議端末と同様の構成も備えているものとする。
【００３０】
制御部１０８は、当該コミュニケーション装置１０全体の動作を制御するものであり、例えば、当該コミュニケーション装置１０内の各構成要素との間で制御情報のやりとりをしたり、他のコミュニケーション装置１０との呼接続等を行う機能等を担っている。また、制御部１０８は、上述の図示しないマイクから捕捉した自装置利用者の発話した音声の音声信号（音声データ）を遠隔側装置に送出する処理も行うものとする。さらに、制御部１０８は、遠隔側装置から供給される遠隔側利用者の発話した音声信号（音声データ）の音声を、上述の図示しないスピーカに出力する処理も行うものとする。なお、この実施形態において、コミュニケーション装置１０は、音声及び映像を用いて遠隔側利用者とコミュニケーション（通話）可能な端末であるものとして説明するが、映像だけを用いたコミュニケーションに対応させ、音声を処理する構成について省略するようにしても良い。
【００３１】
映像取得部１０１は、自装置利用者を撮像した映像データを、カメラ１２から取得する機能を担っている。また、映像取得部１０１は、自装置利用者の動きに追従するように、カメラ１２の撮影する方向や撮影倍率を制御しているものとする。ここでは、例として、映像取得部１０１は、自装置利用者の頭部が撮影映像の中心となるようにカメラ１２の方向等を制御するものとする。映像取得部１０１が、自装置利用者を撮像し続けるように、カメラ１２の方向等を制御する方式については限定されないものであるが、既存のビデオ会議端末等と同様の方法を適用することができる。そして、映像取得部１０１は、カメラ１２により撮影された映像データ（動画像データ）を、遠隔側装置にリアルタイムで送信する。映像取得部１０１が、映像データを遠隔側装置にリアルタイムで送信する方式については限定されないものであり、既存のビデオ会議端末等で用いられる種々の方式を適用することができる。
【００３２】
映像処理部１０２は、映像取得部１０１が取得した映像データの映像（自装置利用者の映像）を処理する機能を担っている。具体的には、映像処理部１０２は、処理対象となる映像について、背景映像と人物映像（自装置利用者の映像）に分離するとともに、自装置利用者の利用者情報（詳細については後述する）を算出する。
【００３３】
ここで、利用者情報とは、例えば、コミュニケーション装置１０を利用している利用者の非言語情報であり、利用者の身体的な位置情報（以下、「身体的位置情報」ともいう）を含む情報であるものとする。利用者情報に含まれる利用者の身体的位置情報としては、例えば、ディスプレイ本体１３１を回転する回転軸から見た、利用者の頭部の位置姿勢や視線の方向、肩の向き等が挙げられる。ここでは、例として、ディスプレイ本体１３１の回転軸から見た利用者の頭部の一部（例えば、利用者の眼球の間の中心位置）の方向（以下、「利用者頭部方向θＨ」という）に関する情報が、利用者情報に含まれるものとする。映像処理部１０２が、自装置利用者の映像を用いて、自装置利用者の利用者頭部方向を把握する方法は限定されないものであるが、例えば、参考文献１（特開２００８−１０２９０２号公報）の記載技術を用いることができる。参考文献１では、ユーザを撮影した映像から、当該ユーザの頭部の位置姿勢や視線の方向、肩の向き等を把握することについて記載されている。なお、以下では、コミュニケーション装置１０−１を利用する第１の利用者Ｕ１の利用者頭部方向を「利用者頭部方向θＨ１」、コミュニケーション装置１０−２を利用する第２の利用者Ｕ２の利用者頭部方向を「利用者頭部方向θＨ２」と表すものとする。
【００３４】
図４は、コミュニケーション装置１０を構成する映像処理部１０２が把握する利用者情報の例について示した説明図である。
【００３５】
ここでは、例として、ディスプレイ本体１３１が初期の状態で向いている画面に対する垂直平面Ｓを０度の方向と呼び、ディスプレイ本体１３１の回転軸ＰＡを中心として、時計回りにずれた方向を正の角度、反時計回りにずれた方向を負の角度として方向を表すものとする。すなわち、ディスプレイ本体１３１の画面は、初期状態では０度の方向を向いているものとする。その後、ディスプレイ本体１３１の画面の方向が、ディスプレイ回転板１３２の動作に従って変化する。以下では、現在のディスプレイ本体１３１の画面の方向を、「画面方向θＳ」と表わすものとする。また、以下では、コミュニケーション装置１０−１の画面方向を「画面方向θＳ１」、コミュニケーション装置１０−２の画面方向を「画面方向θＳ２」と表わすものとする。
【００３６】
そして、ここでは、映像処理部１０２は、ディスプレイ本体１３１の回転軸ＰＡから、利用者の頭部の所定部分の位置ＰＥ（例えば、利用者の眼球の間の中心位置）への方向を利用者頭部方向θＨとして把握するものとする。
【００３７】
そして、映像処理部１０２は、自装置利用者の利用者情報（利用者頭部方向θＨ）に基づいて、ディスプレイ本体１３１を、回転させる量（以下、「回転量θＴ」と表わす）を決定する。そして、映像処理部１０２は、決定した回転量θＴの情報を、回転制御部１０７に与える。なお、以下では、コミュニケーション装置１０−１で決定された回転量を「回転量θＴ１」、コミュニケーション装置１０−２で決定された回転量を「回転量θＴ２」と表わすものとする。
【００３８】
ここでは、映像処理部１０２は、原則として、ディスプレイ本体１３１の画面を自装置利用者に正対させる（すなわち、利用者頭部方向θＨと画面方向θＳとを一致させる）ための回転量θＴを算出するものとする。具体的には、利用者頭部方向θＨと画面方向θＳとを一致させるためには、回転量θＴ＝θＨ−θＳとする必要がある。例えば、図４の状態の場合、θＳ＝０度であり、θＨ＝４５度とした場合、利用者頭部方向θＨと画面方向θＳとを一致させるためには、回転量θＴ＝４５度−０度＝４５度とする必要がある。
【００３９】
映像処理部１０２は、利用者頭部方向θＨと画面方向θＳとを一致させるための回転量θＴをそのまま、回転制御部１０７に与えても良いし、画面方向θＳを所定の範囲内（例えば、−４５度〜４５度）に保つように変換してから回転制御部１０７に与えても良い。例えば、画面方向θＳが４０度の状態で、利用者頭部方向θＨと画面方向θＳとを一致させるための回転量θＴが１０度だった場合には、映像処理部１０２は、画面方向θＳを−４５度〜４５度の範囲に保つために、回転制御部１０７に与える回転量θＴを５度と決定するようにしても良い。
【００４０】
回転制御部１０７は、ディスプレイ本体１３１や、カメラ本体１２１の回転を制御するものである。回転制御部１０７は、映像処理部１０２から与えられる回転量θＴに応じて、図示しないディスプレイ回転板１３２のモータを制御して回転させる。すなわち、回転制御部１０７は、ディスプレイ本体１３１の画面方向θＳ＝θＳ＋θＴとなるように、図示しないディスプレイ回転板１３２が備える回転機構を制御する。
【００４１】
情報送信部１０３は、映像取得部１０１が取得した自装置利用者の利用者情報（利用者頭部方向θＨ）について、ネットワークＮを介して遠隔側装置に送信するものである。
【００４２】
情報受信部１０４は、ネットワークＮを介して、遠隔側装置から、遠隔側利用者の利用者情報（利用者頭部方向θＨ）を取得するものである。
【００４３】
映像合成部１０５は、遠隔側装置から供給された映像データの処理（例えば、合成処理等）を行い、映像表示部１０６に供給するものである。
【００４４】
ここでは、映像合成部１０５は、遠隔側利用者の人物映像（以下、「遠隔側人物映像」と表わす）を変形することなく、遠隔側の人物の背景映像（以下、「遠隔側背景映像」と表わす）についてだけ、自装置における画面方向θＳと逆方向に歪ませて合成する（例えば、射影変換して合成する）ものとする。
【００４５】
遠隔側装置から受信した映像データから、遠隔側背景映像と遠隔側人物映像とに分割する処理は限定されないものであり、既存の処理方法を適用することができる。遠隔側から受信した映像データから、遠隔側人物映像を抽出する処理については、例えば、参考文献３（特開２００１−１４４７４号公報）の記載技術を適用することができる。参考文献３では、予め撮影されて記憶された背景画像、及び背景と人物が撮像されている混合画像の２枚の画像を背景差分法を用いて比較し、人物の画像を抽出している。映像合成部１０５で、参考文献３の記載技術を利用する場合には、予め遠隔側背景映像を保持しておき、保持した遠隔側背景映像と、遠隔側装置から受信した映像データ（背景と人物が撮影されている混合映像）とを比較して、遠隔側人物映像を取得することができる。参考文献３の記載技術を利用する場合には、遠隔側装置から受信した映像データから遠隔側背景映像を抽出せずに、予め保持しているものを利用するようにしても良い。映像合成部１０５が、遠隔側背景映像を予め保持する方法については限定されないものである。例えば、予め利用者により登録されるようにしても良いし、遠隔側利用者又は自装置利用者の操作に応じて、遠隔側利用者が撮像されない状態（すなわち遠隔側背景映像）の映像をキャプチャして保持するようにしても良い。
【００４６】
映像合成部１０５は、遠隔側背景映像については、上述の通り、自装置における画面方向θＳと逆方向に歪ませて合成する。遠隔側背景映像を画面方向θＳに応じて歪ませる（例えば、射影変換）方法については限定されず、既存の処理方法用いることができるが、例えば、参考文献４（特開２００９−２６０８１９）の記載技術を用いるようにしてもよい。参考文献４では、矩形の映像を射影変換パラメータに応じて射影変換することについて記載されている。映像合成部１０５で、参考文献４の記載技術を利用して、遠隔側背景映像を射影変換する場合には、画面方向θＳに応じた射影変換パラメータを決定して射影変換するようにしても良い。なお、参考文献４では、台形の画像を矩形に変換する処理について記載されているが、この実施形態では、矩形を台形に変換する処理として行う必要がある。そして、映像合成部１０５は、射影変換した遠隔側背景映像に遠隔側人物映像を合成し、映像表示部１０６に供給する。
【００４７】
次に、映像合成部１０５が行う合成処理等の具体例について説明する。
【００４８】
図５は、コミュニケーション装置１０−１における映像合成部１０５及び回転制御部１０７の行う処理について示した説明図である。
【００４９】
図５（ａ−１）は、画面方向θＳ１が０度の場合（図５（ａ−２）の状態の場合）に映像合成部１０５が合成した映像について示している。図５（ｂ−１）は、画面方向θＳ１が正の角度（例えば、４５度）の場合（図５（ｂ−２）の状態の場合）に映像合成部１０５が合成した映像について示している。図５（ｃ−１）は、画面方向θＳ１が負の角度（例えば、−４５度）の場合（図５（ｃ−２）の状態の場合）に映像合成部１０５が合成した映像について示している。
【００５０】
図５（ａ−１）、図５（ｂ−１）、図５（ｃ−１）において、Ａ１１１、Ａ１２１、Ａ１３１の領域は、遠隔側人物映像を示している。また、Ａ１１２、Ａ１２２、Ａ１３２の領域は、遠隔側背景映像を示している。
【００５１】
図５（ａ−１）に示すように、画面方向θＳ１が０度の場合には、映像合成部１０５は、遠隔側背景映像について射影変換せずにそのまま遠隔側人物映像と合成した映像を生成する。
【００５２】
また、図５（ｂ−１）に示すように、画面方向θＳ１が正の角度（例えば、４５度）の場合には、映像合成部１０５は、画面が回転した方向（画面に向かって左側）の端を台形の底辺とし、反対の方向（画面に向かって右側）の端を台形の上辺とするように、遠隔側背景映像を射影変換により歪ませている。さらに、図５（ｃ−１）に示すように、画面方向θＳ１が負の角度（例えば、−４５度）の場合には、映像合成部１０５は、画面が回転した方向（画面に向かって右側）の端を台形の底辺とし、反対の方向（画面に向かって左側）の端を台形の上辺とするように射影変換により歪ませている。さらにまた、映像合成部１０５は、画面方向θＳの絶対値が大きくなるほど、遠隔側背景映像の歪みを大きく（台形の底辺と上辺の差異を大きく）するように、遠隔側背景映像を射影変換する。
【００５３】
また、映像合成部１０５は、遠隔側背景映像の射影変換により、ディスプレイ本体１３１の画面上で、映像が表示されない領域（例えば、図５（ａ−１）の領域Ａ１２１、Ａ１２３等の遠隔側背景映像が欠ける領域）については、例えば、所定の単色の画素や、所定のパターンで塗りつぶして補完するようにしても良いし、遠隔側背景映像に最も色彩（色相）が近い色の画素で塗りつぶして補完するようにしても良い。
【００５４】
（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態のコミュニケーションシステム１の動作を説明する。
【００５５】
以下では、第１の利用者Ｕ１が利用するコミュニケーション装置１０−１の動作を中心として説明する。
【００５６】
図６は、コミュニケーションシステム１を構成するコミュニケーション装置１０の動作について示したフローチャートである。
【００５７】
まず、コミュニケーション装置１０−１とコミュニケーション装置１０−２との間でビデオ通話が開始されたものとする（Ｓ１００）。
【００５８】
次に、コミュニケーション装置１０−１の映像処理部１０２にて、映像取得部１０１より取得された第１の利用者Ｕ１の映像を用いて、第１の利用者Ｕ１の利用者情報として利用者頭部方向θＨ１が算出される（Ｓ１０１）。
【００５９】
次に、映像処理部１０２にて、上述のステップＳ１０１で算出された利用者頭部方向θＨ１基づいて、画面方向θＳ１及び回転量θＴ１が決定される。そして、映像処理部１０２から回転制御部１０７へ決定された回転量θＴ１の情報が与えられる。そして、回転制御部１０７は、与えられた回転量θＴ１にしたがって、ディスプレイ本体１３１（ディスプレイ回転板１３２）を回転動作させる（Ｓ１０２）。
【００６０】
そして、映像合成部１０５にて、コミュニケーション装置１０−２からの映像データが取得され（Ｓ１０３）、その映像データの映像についての合成処理等がおこなわれ、映像表示部１０６に与えられる（Ｓ１０４）。
【００６１】
ステップＳ１０４では、映像合成部１０５にて、コミュニケーション装置１０−２からの映像データの映像について、遠隔側人物映像が抽出され、さらに、予め保持していた遠隔側背景映像について最新の画面方向θＳ１に応じた射影変換が行われる。そして、映像合成部１０５にて、抽出された遠隔側人物映像と、射影変換後の遠隔側背景映像が合成されて、合成後の映像データが、映像表示部１０６に与えられる。
【００６２】
そして、映像表示部１０６により、映像合成部１０５から与えられた映像データの映像が、ディスプレイ本体１３１に表示される（Ｓ１０５）。なお、ステップＳ１０３〜Ｓ１０５の処理は、次に、利用者情報が更新されるまで繰り返し行われる。
【００６３】
そして、コミュニケーション装置１０−１の制御部１０８にて、コミュニケーション装置１０−２とのコミュニケーションが継続しているか否か、すなわち、コミュニケーション装置１０−１、１０−２の間の回線がつながっているか否かが確認される（Ｓ１０６）。ステップＳ１０６にて、コミュニケーション装置１０−２とのコミュニケーションが継続していると判定された場合（回線が接続中の場合）には、制御部１０８は、上述のステップＳ１０１の処理に戻って、動作するように、各構成要素を制御する。一方、ステップＳ１０６にて、コミュニケーション装置１０−２とのコミュニケーションが継続していると判定された場合（回線が切断された場合）には、制御部１０８は、上述の一連の処理を終了する（Ｓ１０７）。
【００６４】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。
【００６５】
第１の実施形態のコミュニケーション装置１０では、自装置利用者の利用者情報（利用者頭部方向θＨ）に、自装置のディスプレイ本体１３１の画面方向を追従させている。具体的には、コミュニケーション装置１０では、自装置利用者に、ディスプレイ本体１３１の画面を正対させるように、ディスプレイ本体１３１の画面方向を制御している。また、第１の実施形態のコミュニケーション装置１０では、自装置のディスプレイ本体１３１の画面方向θＳに応じて、ディスプレイ本体１３１の画面に表示する遠隔側背景映像を、ディスプレイ本体１３１の画面の回転方向と逆方向に歪ませる処理（射影変換処理）を行っている。これにより、コミュニケーション装置１０では、自装置利用者へ、遠隔側の映像を、擬似的に立体映像として見せることができ、相手（遠隔側利用者）の存在感を提示し、臨場感を高めることができる。
【００６６】
また、第１の実施形態のコミュニケーション装置１０は、ハードウェア的には、従来のビデオ会議端末等に、ディスプレイの画面方向を制御できる機構を設けるだけで構築することができるため、低コストで実現することが可能である。
【００６７】
（Ｂ）第２の実施形態
以下、本発明によるコミュニケーションシステム及びコミュニケーション装置の第２の実施形態を、図面を参照しながら詳述する。
【００６８】
（Ｂ−１）第２の実施形態の構成
第２の実施形態のコミュニケーションシステム１Ａの構成も、上述の図２により示すことができる。以下、第２の実施形態について、第１の実施形態との差異を中心として説明する。
【００６９】
第２の実施形態のコミュニケーションシステム１Ａでは、コミュニケーション装置１０（１０−１、１０−２）が、コミュニケーション装置１０Ａ（１０Ａ−１、１０Ａ−２）に置き換わっている点で、第１の実施形態と異なっている。
【００７０】
第２の実施形態のコミュニケーション装置１０Ａも、上述の図１、図３により示すことができる。
【００７１】
第２の実施形態のコミュニケーション装置１０Ａを構成するコミュニケーション装置本体１１Ａは、機能的には、映像取得部１０１、映像処理部１０２Ａ、情報送信部１０３、情報受信部１０４、映像合成部１０５、映像表示部１０６、回転制御部１０７Ａ、及び制御部１０８を有している。第２の実施形態のコミュニケーション装置本体１１Ａでは、機能的には、映像処理部１０２Ａ及び回転制御部１０７Ａ以外の構成については、第１の実施形態と同様であるため、詳しい説明を省略する。
【００７２】
映像処理部１０２Ａは、利用者情報として、利用者頭部方向θＨではなく、自装置の利用者の視線の方向（以下、「利用者視線方向θＥ」と表わす）を把握する点で、第１の実施形態と異なっている。
【００７３】
図７は、映像処理部１０２Ａが、利用者情報として把握する利用者視線方向θＥについて示した説明図である。
【００７４】
図７に示すように、利用者視線方向θＥは、利用者Ｕの頭部の所定部分の位置ＰＥ（例えば、利用者の眼球の間の中心位置）から利用者Ｕの視線の方向に伸びる線ＬＥが示す方向である。そして、ディスプレイ本体１３１が初期の状態（画面方向θＳが０度）で向いている画面に対する垂直平面Ｓと、線ＬＥとが並行となる場合に利用者視線方向θＥは０度の方向と表すものとする。そして、それ以外の場合（垂直平面Ｓと、線ＬＥとが並行でない場合）には、ＬＥと垂直平面Ｓとがなす角度により、利用者視線方向θＥは、表されるものとする。なお、上述の通り、利用者頭部方向θＨや画面方向θＳについては、ディスプレイ本体１３１の回転軸から見た方向として表していたが、利用者視線方向θＥについては、利用者Ｕから見た方向として表すものとする。そして、利用者視線方向θＥは、利用者Ｕから見て、０度の方向から反時計回りにずれた方向を正の角度、時計回りにずれた方向を負の角度として方向を表すものとする。図７の例の場合には、利用者Ｕの視線は、０度の方向から反時計回りの方向にずれているので、正の角度として表されることになる。
【００７５】
そして、以下では、コミュニケーション装置１０Ａ−１を利用する第１の利用者Ｕ１の利用者視線方向を「利用者視線方向θＥ１」と表わし、コミュニケーション装置１０Ａ−２を利用する第２の利用者Ｕ２の利用者視線方向を「利用者視線方向θＥ２」と表すものとする。
【００７６】
第１の実施形態の回転制御部１０７は、自装置利用者の利用者頭部方向θＨに基づいて、自装置のディスプレイ本体１３１を向ける方向（画面方向θＳ）を決定していた。これに対して、第２の実施形態の回転制御部１０７Ａでは、遠隔側利用者の利用者視線方向θＥに基づいて、自装置の画面方向θＳを決定するものとする。
【００７７】
例えば、コミュニケーション装置１０Ａ−１では、コミュニケーション装置１０Ａ−２から、第２の利用者Ｕ２の利用者情報（利用者視線方向θＥ２）が供給されると、回転制御部１０７Ａにより、利用者視線方向θＥ２に基づいた回転量θＴ１が算出される。具体的には、コミュニケーション装置１０Ａ−１の回転制御部１０７Ａは、自装置のディスプレイ本体１３１の画面方向θＳ１に対して、正負を逆転させた利用者視線方向θＥ２に一致させるための回転量を、回転量θＴ１として算出する。すなわち、この場合、回転量θＴ１＝−θＥ２−θＳ１とする必要がある。そして、回転制御部１０７Ａは、算出した回転量θＴ１にしたがって、自装置のディスプレイ本体１３１を回転させる。
【００７８】
第２の実施形態において、映像合成部１０５は、第１の実施形態と同様に、遠隔側人物映像を変形することなく、遠隔側背景映像についてだけ、自装置における画面方向θＳと逆方向に歪ませて合成する（例えば、射影変換して合成する）ものとする。
【００７９】
図８は、コミュニケーション装置１０Ａ−１において、映像合成部１０５及び回転制御部１０７Ａが行う処理について示した説明図である。
【００８０】
図８（ａ−２）は、コミュニケーション装置１０−２において把握された第２の利用者Ｕ２の利用者視線方向θＥ２が０度の場合（図８（ａ−１）の状態の場合）に映像合成部１０５が合成した映像について示している。図８（ｂ−２）は、利用者視線方向θＥ２が負の角度（例えば、−４５度）の場合（図８（ｂ−１）の状態の場合）に映像合成部１０５が合成した映像について示している。図８（ｃ−２）は、利用者視線方向θＥ２が正の角度（例えば、４５度）の場合（図８（ｃ−１）の状態の場合）に映像合成部１０５が合成した映像について示している。図８（ａ−２）、図８（ｂ−２）、図８（ｃ−２）において、Ａ２１１、Ａ２２１、Ａ２３１の領域は、遠隔側人物映像を示している。また、Ａ２１２、Ａ２２２、Ａ２３２の領域は、遠隔側背景映像を示している。
【００８１】
図８（ａ−３）は、利用者視線方向θＥ２が０度の場合（図８（ａ−１）の状態の場合）に、回転制御部１０７Ａがディスプレイ本体１３１の画面を向ける方向について示している。図８（ｂ−３）は、利用者視線方向θＥ２が負の角度（例えば、−４５度）の場合（図８（ｂ−１）の状態の場合）に、回転制御部１０７Ａがディスプレイ本体１３１の画面を向ける方向について示している。図８（ｃ−３）は、利用者視線方向θＥ２が正の角度（例えば、＋４５度）の場合（図８（ｃ−１）の状態の場合）に、回転制御部１０７Ａがディスプレイ本体１３１の画面を向ける方向について示している。
【００８２】
図８（ａ−３）に示すように、利用者視線方向θＥ２が０度の場合には、回転制御部１０７Ａは、ディスプレイ本体１３１の画面を０度の方向に向けるように回転量θＴ１を決定して制御する。また、図８（ｂ−３）に示すように、利用者視線方向θＥ２が−４５度の場合には、回転制御部１０７Ａは、ディスプレイ本体１３１の画面を、画面方向θＳ１＝−θＳ２＝＋４５度となるように、回転量θＴ１を決定して制御する。さらに、図８（ｃ−３）に示すように、利用者視線方向θＥ２が＋４５度の場合には、回転制御部１０７Ａは、ディスプレイ本体１３１の画面を、画面方向θＳ１＝−θＳ２＝−４５度となるように、回転量θＴ１を決定して制御する。
【００８３】
（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態のコミュニケーションシステム１Ａの動作を説明する。
【００８４】
以下では、第１の利用者Ｕ１が利用するコミュニケーション装置１０Ａ−１の動作を中心として説明する。
【００８５】
図９は、コミュニケーションシステム１Ａを構成するコミュニケーション装置１０Ａの動作について示したフローチャートである。
【００８６】
まず、コミュニケーション装置１０Ａ−１とコミュニケーション装置１０Ａ−２との間でビデオ通話が開始されたものとする（Ｓ２００）。
【００８７】
そして、コミュニケーション装置１０Ａ−２の映像処理部１０２Ａにより、映像取得部１０１より取得された第２の利用者Ｕ２の映像を用いて、第２の利用者Ｕ２の利用者情報（利用者視線方向θＥ２）が算出される。そして、コミュニケーション装置１０Ａ−２で算出された利用者情報（利用者視線方向θＥ２）が、コミュニケーション装置１０Ａ−１に供給されたものとする（Ｓ２０１）。
【００８８】
そして、コミュニケーション装置１０Ａ−１において、回転制御部１０７Ａにより、上述のステップＳ２０１で供給された利用者視線方向θＥ２に基づいて、画面方向θＳ１及び回転量θＴ１が決定される。そして、回転制御部１０７Ａにより、決定された回転量θＴ１にしたがって、ディスプレイ本体１３１（ディスプレイ回転板１３２）が回転動作するように制御される（Ｓ２０２）。
【００８９】
そして、映像合成部１０５にて、コミュニケーション装置１０Ａ−２からの映像データが取得され、さらに、その映像データの映像についての合成処理等がおこなわれる（Ｓ２０３）。
【００９０】
ステップＳ２０３では、映像合成部１０５にて、コミュニケーション装置１０Ａ−２からの映像データの映像について、遠隔側人物映像が抽出され、さらに、予め保持していた遠隔側背景映像について最新の画面方向θＳ１に応じた射影変換が行われる。そして、映像合成部１０５にて、抽出された遠隔側人物映像と、射影変換後の遠隔側背景映像が合成されて、合成後の映像データが、映像表示部１０６に与えられる。
【００９１】
そして、映像表示部１０６により、映像合成部１０５から与えられた映像データの映像が、ディスプレイ本体１３１の画面の表示される（Ｓ２０４）。なお、ステップＳ２０３、Ｓ２０４の処理は、次に、遠隔側利用者の利用者情報が更新されるまで繰り返し行われる。
【００９２】
そして、コミュニケーション装置１０Ａ−１の制御部１０８にて、コミュニケーション装置１０Ａ−２とのコミュニケーションが継続しているか否か、すなわち、コミュニケーション装置１０Ａ−１、１０Ａ−２の間の回線がつながっているか否かが確認される（Ｓ２０５）。ステップＳ２０５にて、コミュニケーション装置１０Ａ−２とのコミュニケーションが継続していると判定された場合（回線が接続中の場合）には、制御部１０８は、上述のステップＳ２０１の処理に戻って、動作するように、各構成要素を制御する。一方、ステップＳ２０５にて、コミュニケーション装置１０Ａ−２とのコミュニケーションが継続していると判定された場合（回線が切断された場合）には、制御部１０８は、上述の一連の処理を終了する（Ｓ２０６）。
【００９３】
（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、以下のような効果を奏することができる。
【００９４】
第２の実施形態のコミュニケーション装置１０Ａでは、遠隔側利用者の利用者情報（利用者視線方向θＥ）に、自装置のディスプレイ本体１３１の画面方向を追従させている。具体的には、例えば、コミュニケーション装置１０Ａでは、遠隔側利用者が頭部の向きを右方向へ回転させた場合に、それに対応して自装置のディスプレイ本体１３１の画面方向を、右方向へ回転させている。また、第２の実施形態のコミュニケーション装置１０Ａでは、自装置のディスプレイ本体１３１の画面方向θＳに応じて、ディスプレイ本体１３１の画面に表示する遠隔側背景映像を、ディスプレイ本体１３１の画面の回転方向と逆方向に歪ませる処理（射影変換処理）を行っている。これにより、コミュニケーション装置１０Ａでは、自装置利用者に、遠隔側人物映像が静止しているかのように見せること等ができる。このことで、コミュニケーション装置１０Ａでは、自装置利用者へ、遠隔側利用者の些細な動作を、ディスプレイ本体１３１の画面の回転として強調して表現することができ、自装置利用者に対して遠隔側利用者の存在感を伝達することができる。
【００９５】
また、第２の実施形態のコミュニケーション装置１０Ａは、ハードウェア的には、従来のビデオ会議端末等に、ディスプレイの画面方向を制御できる機構を設けるだけで構築することができるため、低コストで実現することが可能である。
【００９６】
（Ｃ）第３の実施形態
以下、本発明によるコミュニケーションシステム及びコミュニケーション装置の第３の実施形態を、図面を参照しながら詳述する。
【００９７】
（Ｃ−１）第３の実施形態の構成
第３の実施形態のコミュニケーションシステム１Ｂの構成も、上述の図２により示すことができる。以下、第３の実施形態について、第１の実施形態との差異を中心として説明する。
【００９８】
第３の実施形態のコミュニケーションシステム１Ｂでは、コミュニケーション装置１０（１０−１、１０−２）が、コミュニケーション装置１０Ｂ（１０Ｂ−１、１０Ｂ−２）に置き換わっている点で、第１の実施形態と異なっている。
【００９９】
第３のコミュニケーション装置１０Ｂのハードウェア構成は、上述の図３に示す構成において、カメラ１２がカメラシステム１４（詳細については後述する）に置き換わっている点で、第１の実施形態と異なっている。一方、第３の実施形態のコミュニケーション装置１０Ｂを構成するコミュニケーション装置本体１１Ｂの機能的構成については、上述の図１により示すことができる。
【０１００】
第３の実施形態では、コミュニケーション装置１０Ｂを構成するコミュニケーション装置本体１１Ｂは、機能的には、映像取得部１０１Ｂ、映像処理部１０２、情報送信部１０３、情報受信部１０４、映像合成部１０５Ｂ、映像表示部１０６、回転制御部１０７、及び制御部１０８を有している。第３の実施形態のコミュニケーション装置本体１１Ｂでは、機能的には、映像取得部１０１Ｂ及び映像合成部１０５Ｂ以外の構成については、第１の実施形態と同様であるため、詳しい説明を省略する。
【０１０１】
次に、第３の実施形態のコミュニケーション装置１０Ｂにおける、複数のカメラ１５を備えるカメラシステム１４について説明する。
【０１０２】
図１０は、第３の実施形態のコミュニケーション装置１０Ｂが備えるカメラシステム１４の構成について示した説明図である。図１０では、カメラシステム１４を構成する複数のカメラ１５、利用者Ｕ、及びディスプレイ本体１３１の位置関係を上方向から見た構成について示している。
【０１０３】
図１０に示すように、カメラシステム１４は、３つのカメラ１５（１５−１〜１５−３）を備えている。また、図１０に示すように、それぞれのカメラ１５（１５−１〜１５−３）は、カメラ本体１５１（１５１−１〜１５１−３）及び、カメラ回転板１５２（１５２−１〜１５２−３）を備えている。それぞれのカメラ１５は、第１の実施形態のカメラ１２と同様のものを適用することができる。そして、カメラ１５−１は、第１の実施形態のカメラ１２と同様の位置に配置されているものとする。そして、カメラ１５−２及びカメラ１５−３は、利用者Ｕから見て、カメラ１５−１とは異なる方向から、利用者Ｕを撮像できるように配置されているものとする。
【０１０４】
図１０では、初期状態において所定の基準位置に利用者Ｕが位置した場合に、利用者Ｕから見て、カメラ１５−１は、利用者Ｕの正面方向（ディスプレイ本体１３１の回転軸と同じ方向）に配置されており、カメラ１５−２は利用者から見て左側、カメラ１５−３は利用者から見て右側に、それぞれ配置されている。なお、カメラシステム１４において、配置するカメラ１５の数及び配置する位置（撮像する方向）については限定されないものである。そして、カメラシステム１４では、それぞれのカメラ１５で撮像した映像データを、映像取得部１０１Ｂに供給する。
【０１０５】
映像取得部１０１Ｂは、それぞれのカメラ１５から供給された映像データを、遠隔側装置にリアルタイムで送信する。
【０１０６】
第１の実施形態のコミュニケーション装置１０では、遠隔側装置から自装置に供給されてくる映像データは１種類であったが、第３の実施形態のコミュニケーション装置１０Ｂでは、上述の通り３種類の映像データが供給されてくる。したがって、第３の実施形態の映像合成部１０５Ｂでは、処理対象となる映像データの選択を行う必要がある。ここでは、映像合成部１０５Ｂは、自装置利用者の利用者頭部方向θＨに応じて、映像データを選択するものとする。例えば、自装置利用者の利用者頭部方向θＨが９０度だった場合には、自装置利用者は、ディスプレイ本体１３１から見て右側に移動したことになる。そして、このときディスプレイ本体１３１に、遠隔利用者を右側から撮影することができるカメラ１５−３が撮影した映像を表示することで、自装置利用者には、あたかもその場に遠隔利用者が存在するような臨場感を与えることができる。
【０１０７】
ここでは、カメラ１５ごとに対応する利用者頭部方向θＨの情報が、映像合成部１０５Ｂに登録されているものとする。ここでは、映像合成部１０５Ｂは、利用者頭部方向θＨが−４５度〜＋４５の範囲内の場合にカメラ１５−１の映像データを処理対象として選択するものとする。また、映像合成部１０５Ｂは、利用者頭部方向θＨが＋４５度〜＋９０の範囲内の場合にカメラ１５−３の映像データを処理対象として選択するものとする。さらに、映像合成部１０５Ｂは、利用者頭部方向θＨが−４５度〜―９０の範囲内の場合にカメラ１５−２の映像データを処理対象として選択するものとする。
【０１０８】
そして、ここでは、映像合成部１０５Ｂは、選択した映像データについて、加工せずに、そのまま映像表示部１０６に供給するものとする。
【０１０９】
（Ｃ−２）第３の実施形態の動作
次に、以上のような構成を有する第３の実施形態のコミュニケーションシステム１Ｂの動作を説明する。
【０１１０】
以下では、第１の利用者Ｕ１が利用するコミュニケーション装置１０Ｂ−１の動作を中心として説明する。
【０１１１】
図１１は、コミュニケーションシステム１Ｂを構成するコミュニケーション装置１０Ｂの動作について示したフローチャートである。
【０１１２】
以下では、図１１を用いて、コミュニケーション装置１０Ｂ−１が、利用する第１の利用者Ｕ１の動きに応じて動作する場合について説明する。
【０１１３】
まず、コミュニケーション装置１０Ｂ−１とコミュニケーション装置１０Ｂ−２との間でビデオ通話が開始されたものとする（Ｓ３００）。
【０１１４】
次に、コミュニケーション装置１０Ｂ−１の映像処理部１０２Ｂにて、映像取得部１０１Ｂより取得された第１の利用者Ｕ１の映像を用いて、第１の利用者Ｕ１の利用者情報として利用者頭部方向θＨ１が算出される（Ｓ３０１）。
【０１１５】
次に、映像処理部１０２Ｂにて、上述のステップＳ３０１で算出された利用者頭部方向θＨ１に基づいて、画面方向θＳ１及び回転量θＴ１が決定される。そして、映像処理部１０２Ｂから回転制御部１０７へ決定された回転量θＴ１の情報が与えられる。そして、回転制御部１０７は、与えられた回転量θＴ１にしたがって、ディスプレイ本体１３１（ディスプレイ回転板１３２）を回転動作させる（Ｓ３０２）。
【０１１６】
そして、映像合成部１０５Ｂにて、遠隔側装置（コミュニケーション装置１０Ｂ−２）からの映像データ（複数種類の映像データ）が取得される（Ｓ３０３）。
【０１１７】
そして、映像合成部１０５Ｂにて、自装置利用者の利用者情報（利用者頭部方向θＨ１）に基づいて、遠隔側装置から供給された複数種類の映像データから処理対象となるものが１つ選択され、映像表示部１０６に与えられる（Ｓ３０４）。
【０１１８】
そして、映像表示部１０６により、映像合成部１０５Ｂから与えられた映像データの映像が、ディスプレイ本体１３１に表示される（Ｓ３０５）。なお、ステップＳ３０３〜Ｓ３０５の処理は、次に利用者情報が更新されるまで繰り返し行われる。
【０１１９】
そして、コミュニケーション装置１０Ｂ−１の制御部１０８にて、コミュニケーション装置１０Ｂ−２とのコミュニケーションが継続しているか否か、すなわち、コミュニケーション装置１０Ｂ−１、１０Ｂ−２の間の回線がつながっているか否かが確認される（Ｓ３０６）。ステップＳ３０６にて、コミュニケーション装置１０Ｂ−２とのコミュニケーションが継続していると判定された場合（回線が接続中の場合）には、制御部１０８は、上述のステップＳ３０１の処理に戻って、動作するように、各構成要素を制御する。一方、ステップＳ３０６にて、コミュニケーション装置１０Ｂ−２とのコミュニケーションが継続していると判定された場合（回線が切断された場合）には、制御部１０８は、上述の一連の処理を終了する（Ｓ３０７）。
【０１２０】
（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、以下のような効果を奏することができる。
【０１２１】
第３の実施形態のコミュニケーション装置１０Ｂでは、自装置利用者の利用者情報（利用者頭部方向θＨ）に、自装置のディスプレイ本体１３１の画面方向を追従させている。具体的には、コミュニケーション装置１０Ｂでは、自装置利用者に、ディスプレイ本体１３１の画面を正対させるように、ディスプレイ本体１３１の画面方向を制御している。
【０１２２】
また、第３の実施形態のコミュニケーション装置１０Ｂでは、自装置利用者の利用者情報（利用者頭部方向θＨ）に応じて、ディスプレイ本体１３１の画面に表示する遠隔側映像（遠隔側利用者を撮像する角度）を切替えている。これにより、コミュニケーション装置１０Ｂでは、自装置利用者に対して、遠隔側利用者が自身の動作に追従しているように見せることができる。このことで、コミュニケーション装置１０Ｂでは、自装置利用者に対して、遠隔側利用者を様々な角度から見回われるような感覚を与えることができ、相手（遠隔側利用者）の存在感を高めることができる。
【０１２３】
また、第３の実施形態のコミュニケーション装置１０Ｂは、ハードウェア的には、従来のビデオ会議端末等に、ディスプレイの画面方向を制御できる機構や、複数のカメラを設けるだけで構築することができるため、低コストで実現することが可能である。
【０１２４】
（Ｄ）第４の実施形態
以下、本発明によるコミュニケーションシステム及びコミュニケーション装置の第４の実施形態を、図面を参照しながら詳述する。
【０１２５】
（Ｄ−１）第４の実施形態の構成
第４の実施形態のコミュニケーションシステム１Ｃの構成も、上述の図２により示すことができる。以下、第４の実施形態について、第３の実施形態との差異を中心として説明する。
【０１２６】
第４の実施形態のコミュニケーションシステム１Ｃでは、コミュニケーション装置１０Ｂ（１０Ｂ−１、１０Ｂ−２）が、コミュニケーション装置１０Ｃ（１０Ｃ−１、１０Ｃ−２）に置き換わっている点で、第３の実施形態と異なっている。
【０１２７】
第４のコミュニケーション装置１０Ｃのハードウェア構成は、第３の実施形態と同様の構成となっている。すなわち、第４のコミュニケーション装置１０Ｃは、第３の実施形態と同様に、カメラシステム１４を備えている。また、第４の実施形態のコミュニケーション装置１０Ｃを構成するコミュニケーション装置本体１１Ｃの機能的構成については、上述の図１により示すことができる。
【０１２８】
第４の実施形態のコミュニケーション装置１０Ｃを構成するコミュニケーション装置本体１１Ｃは、機能的には、映像取得部１０１Ｂ、映像処理部１０２Ｃ、情報送信部１０３、情報受信部１０４、映像合成部１０５Ｃ、映像表示部１０６、回転制御部１０７Ｃ、及び制御部１０８を有している。第４の実施形態のコミュニケーション装置本体１１Ｃでは、機能的には、映像処理部１０２Ｃ、映像合成部１０５Ｃ及び回転制御部１０７Ｃ以外の構成については、第３の実施形態と同様であるので詳しい説明を省略する。
【０１２９】
映像処理部１０２Ｃは、利用者情報として、利用者頭部方向θＨではなく、利用者視線方向θＥを把握する点で、第３の実施形態と異なっている。
【０１３０】
第３の実施形態において、映像処理部１０２Ｂは、自装置利用者の利用者頭部方向θＨに基づいて、遠隔側装置から自装置に供給されてくる複数種類の映像データから、１種類の映像データを選択していた。これに対して、第４の実施形態の映像処理部１０２Ｃでは、遠隔側利用者の利用者視線方向θＥに応じて、映像データを選択するものとする。ここでは、映像合成部１０５Ｃは、利用者視線方向θＥに基づいて、遠隔側利用者の顔をできるだけ正面から撮影した映像データを選択するものとする。
【０１３１】
図１０に示すように、遠隔側装置のカメラシステム１４には、３台のカメラ１５−１〜１５−３が配置されている。そして、カメラ１５ごとに対応する遠隔側利用者の利用者視線方向θＥの情報が、映像合成部１０５Ｃで保持されているものとする。例えば、映像合成部１０５Ｃは、利用者視線方向θＥが−４５度〜＋４５の範囲内の場合にカメラ１５−１の映像データを処理対象として選択するものとする。また、映像合成部１０５Ｃは、利用者視線方向θＥが＋４５度〜＋９０の範囲内の場合にカメラ１５−２の映像データを処理対象として選択するものとする。さらに、映像合成部１０５Ｃは、利用者視線方向θＥが−４５度〜―９０の範囲内の場合にカメラ１５−３の映像データを処理対象として選択するものとする。
【０１３２】
そして、ここでは、映像合成部１０５Ｃは、選択した映像データについて、加工せずに、そのまま映像表示部１０６に供給するものとする。
【０１３３】
第３の実施形態の回転制御部１０７は、第１の実施形態と同様に、自装置利用者の利用者頭部方向θＨに基づいて、自装置のディスプレイ本体１３１を向ける方向（画面方向θＳ）を決定していた。これに対して、第４の実施形態の回転制御部１０７Ｃでは、第２の実施形態の回転制御部１０７Ａと同様に、遠隔側利用者の利用者視線方向θＥに基づいて、自装置の画面方向θＳを決定するものとする。すなわち、回転制御部１０７Ｃは、第２の実施形態の回転制御部１０７Ａと同様の処理を行うものであり、ここでは詳しい説明を省略する。
【０１３４】
（Ｄ−２）第４の実施形態の動作
次に、以上のような構成を有する第４の実施形態のコミュニケーションシステム１Ｃの動作を説明する。
【０１３５】
以下では、第１の利用者Ｕ１が利用するコミュニケーション装置１０Ｃ−１の動作を中心として説明する。
【０１３６】
図１２は、コミュニケーションシステム１Ｃを構成するコミュニケーション装置１０Ｃの動作について示したフローチャートである。
【０１３７】
まず、コミュニケーション装置１０Ｃ−１とコミュニケーション装置１０Ｃ−２との間でビデオ通話が開始されたものとする（Ｓ４００）。
【０１３８】
そして、コミュニケーション装置１０Ｃ−２の映像処理部１０２により、映像取得部１０１で取得された第２の利用者Ｕ２の映像を用いて、第２の利用者Ｕ２の状態に関する利用者情報（利用者視線方向θＥ２）が算出される。そして、コミュニケーション装置１０Ｃ−２で算出された利用者情報（利用者視線方向θＥ２）が、コミュニケーション装置１０Ｃ−１に供給されたものとする（Ｓ４０１）。
【０１３９】
そして、コミュニケーション装置１０−１において、回転制御部１０７Ｃにより、上述のステップＳ４０１で供給された利用者視線方向θＥ２に基づいて、画面方向θＳ１及び回転量θＴ１が決定される。そして、回転制御部１０７Ｃにより、決定された回転量θＴ１にしたがって、ディスプレイ本体１３１（ディスプレイ回転板１３２）が回転動作するように制御される（Ｓ４０２）。
【０１４０】
そして、映像合成部１０５Ｃにて、遠隔側利用者の利用者視線方向θＥ２に基づいて、遠隔側装置から供給された複数種類の映像データから処理対象となるものが１つ選択され、映像表示部１０６に与えられる（Ｓ４０３）。
【０１４１】
そして、映像表示部１０６により、映像合成部１０５Ｃから与えられた映像データの映像が、ディスプレイ本体１３１に表示される（Ｓ４０４）。なお、ステップＳ４０３、Ｓ４０４の処理は、次に利用者情報が更新されるまで繰り返し行われる。
【０１４２】
そして、コミュニケーション装置１０Ｃ−１の制御部１０８にて、コミュニケーション装置１０Ｃ−２とのコミュニケーションが継続しているか否か、すなわち、コミュニケーション装置１０Ｃ−１、１０Ｃ−２の間の回線がつながっているか否かが確認される（Ｓ４０５）。ステップＳ４０５にて、コミュニケーション装置１０Ｃ−２とのコミュニケーションが継続していると判定された場合（回線が接続中の場合）には、制御部１０８は、上述のステップＳ４０１の処理に戻って動作するように、各構成要素を制御する。一方、ステップＳ４０５にて、コミュニケーション装置１０Ｃ−２とのコミュニケーションが継続していると判定された場合（回線が切断された場合）には、制御部１０８は、上述の一連の処理を終了する（Ｓ４０６）。
【０１４３】
（Ｄ−３）第４の実施形態の効果
第４の実施形態によれば、以下のような効果を奏することができる。
【０１４４】
第４の実施形態のコミュニケーション装置１０Ｃでは、第２の実施形態と同様に、遠隔側利用者の利用者情報（利用者視線方向θＥ）に、自装置のディスプレイ本体１３１の画面方向を追従させている。また、第４の実施形態のコミュニケーション装置１０Ｃでは、自装置利用者の利用者情報（利用者視線方向θＥ）に応じて、ディスプレイ本体１３１の画面に表示する遠隔側映像（遠隔側利用者を撮像する角度）を切替えている。例えば、コミュニケーション装置１０Ｃでは、複数の角度から遠隔側利用者を撮影した映像データのうち、できるだけ遠隔側利用者が正面を向いている映像の映像データを選択して、ディスプレイ本体１３１の画面に表示している。これにより、コミュニケーション装置１０Ｃでは、自装置利用者に対して、常に、正面方向から撮影した遠隔側利用者を提示することができる。これにより、コミュニケーション装置１０Ｃでは、自装置利用者へ、第２の実施形態のような存在感を伝達すると同時に、遠隔側利用者の顔の表情を同時に見せることができ、より臨場感のあるコミュニケーションを提供することができる。
【０１４５】
また、第４の実施形態のコミュニケーション装置１０Ｃは、ハードウェア的には、従来のビデオ会議端末等に、ディスプレイの画面方向を制御できる機構や、複数のカメラを設けるだけで構築することができるため、低コストで実現することが可能である。
【０１４６】
（Ｅ）第５の実施形態
以下、本発明によるコミュニケーションシステム及びコミュニケーション装置の第５の実施形態を、図面を参照しながら詳述する。
【０１４７】
（Ｅ−１）第５の実施形態の構成
第５の実施形態のコミュニケーションシステム１Ｄの構成も、図２により示すことができる。
【０１４８】
第５の実施形態のコミュニケーションシステム１Ｄは、コミュニケーション装置１０Ｄ（１０Ｄ−１、１０Ｄ−２）を有している。
【０１４９】
第５の実施形態のコミュニケーション装置１０Ｄは、動作モードを切り替えることにより、第１〜第４の実施形態のいずれかの処理を実現する構成を備えている。すなわち、第５の実施形態のコミュニケーション装置１０Ｄは、第１の実施形態と同様の動作を行うことができる動作モード（以下、「モードＭ１」と表わす）と、第２の実施形態と同様の動作を行うことができる動作モード（以下、「モードＭ２」と表わす）と、第３の実施形態と同様の動作を行うことができる動作モード（以下、「モードＭ３」と表わす）と、第４の実施形態と同様の動作を行うことができる動作モード（以下、「モードＭ４」と表わす）とを備えており、動作モードを切り替えて動作することができる。
【０１５０】
以下、第５の実施形態について、第１〜第４の実施形態との差異について説明する。
【０１５１】
コミュニケーション装置１０Ｄは、ハードウェア的には、第３及び第４の実施形態のコミュニケーション装置１０Ｂ、１０Ｃと同様の構成を備えているものとする。ここでは、コミュニケーション装置１０Ｄは、第３、第４の実施形態と同様に、カメラシステム１４を備えており、モードＭ１、モードＭ２で動作する場合には、カメラシステム１４を構成する一つのカメラ１５（ここでは、カメラ１５−１であるものとする）が、第１及び第２の実施形態におけるカメラ１２として動作するものとして説明する。
【０１５２】
図１３は、コミュニケーション装置１０Ｄを構成するコミュニケーション装置本体１１Ｄの機能的構成について示した説明図である。
【０１５３】
コミュニケーション装置１０Ｄを構成するコミュニケーション装置本体１１Ｄは、機能的には、映像取得部１０１Ｄ、映像処理部１０２Ｄ、情報送信部１０３、情報受信部１０４、映像合成部１０５Ｄ、映像表示部１０６、回転制御部１０７Ｄ、制御部１０８、及びコミュニケーション推定部１０９を有している。情報送信部１０３、情報受信部１０４、映像表示部１０６、及び制御部１０８については、第１〜第４の実施形態と同様のものを適用することができるので、詳しい説明を省略する。
【０１５４】
コミュニケーション推定部１０９は、自装置利用者と遠隔側利用者との間のコミュニケーションの状況に応じて、自装置の動作モードを選択する。そして、コミュニケーション推定部１０９は、選択した動作モードで動作するように自装置の各構成要素を制御する処理を行う。なお、この実施形態において、コミュニケーション装置１０Ｄは、上述の通り、モードＭ１〜モードＭ４に対応するものとして説明するが、対応する動作モードの数や組合せは限定されないものである。例えば、コミュニケーション装置１０Ｄでは、モードＭ１〜モードＭ４のうち一部の動作モードについてだけ対応するようにしても良いし、さらに他の動作モードを追加するようにしても良い。
【０１５５】
そして、映像取得部１０１Ｄ、映像処理部１０２Ｄ、映像合成部１０５Ｄ、及び回転制御部１０７Ｄは、コミュニケーション推定部１０９で選択された動作モードに従った処理を行うようになる。例えば、コミュニケーション推定部１０９で、モードＭ１が選択された場合には、映像取得部１０１Ｄ、映像処理部１０２Ｄ、映像合成部１０５Ｄ、及び回転制御部１０７Ｄは、第１の実施形態と同様の処理（例えば、上述の図６に示すフローチャートの処理）を行うことになる。
【０１５６】
コミュニケーション推定部１０９が、初期において選択する動作モードは限定されないものであり、例えば、予め設定された動作モードで動作を開始し、その後他の動作モードに切り替えるようにしても良い。
【０１５７】
また、コミュニケーション推定部１０９が、動作モードを切り替える契機については限定されないものである。コミュニケーション推定部１０９が、動作モードを切り替える契機については、例えば、自装置利用者又は遠隔側利用者の操作（例えば、図示しないキーボードやタッチパネル等を用いた操作）に基づいて、切り替えるようにしても良い。また、コミュニケーション推定部１０９は、例えば、利用者情報や、利用者の発話した音声に基づいて、自装置利用者と遠隔側利用者との間のコミュニケーションの状況を推定し、その推定結果に基づいて、自装置の動作モードを切り替えるようにしても良く、具体例としては、以下のような方法が挙げられる。
【０１５８】
[コミュニケーション時間に応じた切替え]
コミュニケーション推定部１０９が、自装置の動作モードの選択を行う方法としては、例えば、コミュニケーション時間が挙げられる。
【０１５９】
例えば、コミュニケーション推定部１０９は、自装置利用者と遠隔側利用者との間の会話が始まってすぐの間（例えば、遠隔側装置との呼接続が開始されてから一定時間経過するまでの間）は、モードＭ１とするようにしてもよい。自装置利用者と遠隔側利用者との間の会話が始まってからすぐの間は、お互いの存在を認め合う必要があるため、相手（遠隔側利用者）の動作に応じて、画面方向及び遠隔側背景映像変換が変動しない方が良いと推定できるためである。そして、自装置利用者と遠隔側利用者との間の会話が始まってから一定時間が経過した場合（例えば、呼が接続してから一定時間経過した場合）には、コミュニケーション推定部１０９は、自装置の動作モードをモードＭ２とするようにしてもよい。自装置利用者と遠隔側利用者との間の会話が始まってから一定時間が経過した場合には、会話が乗ってきており、相手（遠隔側利用者）の反応がコミュニケーションに特に重要になるため、相手の動作に応じて、画面方向及び遠隔側背景映像を変動させた方が良いと推定できるためである。
【０１６０】
[発話者の交代に応じた切替え]
コミュニケーション推定部１０９が、自装置の動作モードの選択を行う方法としては、例えば、発話者の交代に応じた切替え方法が挙げられる。
【０１６１】
具体的には、コミュニケーション推定部１０９は、話し手と聞き手の交代に応じたモードの切り替えを行うようにしても良い。コミュニケーション推定部１０９は、例えば、自装置が備えるマイクが捕捉した自装置利用者の音声信号と、遠隔側のコミュニケーション装置１０Ｂから供給された遠隔側利用者の音声信号とを保持し、保持した２つの音声信号に基づいて、現在の話し手がいずれの利用者であるのかを判定するようにしても良い。コミュニケーション推定部１０９が、いずれの利用者が話し手であるかを判定する方法については限定されないものであるが、例えば、いずれかの利用者がある一定時間発言を続けている場合（たとえば、一定時間以上、音声信号のパワーが閾値以上だった場合）には、その利用者を話し手として判断し、他方を聞き手と判断するようにしても良い。コミュニケーション推定部１０９が、いずれの利用者が話し手であるかを判定する方法としては、その他にも参考文献５（特開２０１０−３２７９２号公報）に記載されているような発話者の切り替えを検出することで発話者の交代を認識することや、うなずきの回数を測定して判定するようにしても良い。
【０１６２】
そして、コミュニケーション推定部１０９は、現在の話し手が、自装置利用者であると判定した場合には、モードＭ２とするようにしても良い。これは、自装置利用者が話し手の場合には、自分の話している内容に対する相手（遠隔側利用者）の反応が知りたいと考えられるため、遠隔側利用者の動作に応じて、画面方向及び遠隔側背景映像変換を制御する方が良いと推定できるためである。また、コミュニケーション推定部１０９は、現在の聞き手が、自装置利用者であると判定した場合には、モードＭ１とするようにしても良い。これは、自装置利用者が聞き手の場合には、話している相手が目の前にいるような感覚が望まれると推定できるためである。
【０１６３】
［利用者の身体的位置情報に応じた切り替え］
コミュニケーション推定部１０９が、自装置の動作モードの選択を行う方法としては、例えば、遠隔側利用者又は自装置利用者の身体的位置情報に応じたモードの切り替えが挙げられる。ここで、身体的位置情報とは、例えば、利用者頭部方向θＨや利用者視線方向θＥ等の利用者情報に含まれるパラメータが挙げられる。コミュニケーション推定部１０９は、例えば、遠隔側利用者又は字装置利用者の利用者情報（利用者頭部方向θＨ又は利用者視線方向θＥ）が、所定範囲を超えて変動した場合にモード切換えを行うようにしてもよい。
【０１６４】
例えば、遠隔側利用者の利用者頭部方向θＨが、ディスプレイ本体１３１の正面から見て、ある一定範囲以内の角度（例えば、−４５度〜４５度の範囲内）で遷移している場合には、コミュニケーション推定部１０９は、モードＭ１又はモードＭ２を選択するようにしても良い。また、遠隔側利用者の利用者頭部方向θＨが上述の範囲外の角度となった場合には、コミュニケーション推定部１０９は、モードＭ３又はモードＭ４を選択するようにしても良い。これは、遠隔側利用者の利用者頭部方向θＨが上述の一定範囲内の角度を外れた場合には、遠隔利用者の側面方向に興味の対象があると推定できるためである。
【０１６５】
［遠隔地の映像に対応した切り替え］
コミュニケーション推定部１０９が、自装置の動作モードの選択を行う方法としては、例えば、遠隔側装置から供給された映像データの映像に、遠隔側背景映像および遠隔側人物映像以外の物体が写っていた場合に対応したモードの切り替えが挙げられる。
【０１６６】
例えば、遠隔側利用者が、自装置利用者の興味の引くような物体を提示した場合には、自装置利用者はその物体（例えば、取引商品等）を様々な角度から見たいと推定できる。このとき、コミュニケーション推定部１０９は、自装置の動作モードをモードＭ３へと切り替えることで、自装置利用者は、その物体を様々な角度から身を乗り出しながらその物体を見ることができる。コミュニケーション推定部１０９が、遠隔側装置から供給された映像データに基づいて、遠隔地背景および遠隔人物像以外の物体を判定するためには、例えばパターンマッチングなどの物体追跡手法が考えられる。具体的には、遠隔側利用者が所定パターンが付された物体（例えば、２次元バーコード等が付された商品）を提示した場合、コミュニケーション推定部１０９は、遠隔側装置から供給された映像データの内容から、その所定のパターンを認識して、動作モードをモードＭ３へ切り替えるようにしても良い。
【０１６７】
（Ｅ−２）第５の実施形態の動作
次に、以上のような構成を有する第５の実施形態のコミュニケーションシステム１Ｄの動作を説明する。
【０１６８】
図１４は、コミュニケーションシステム１を構成するコミュニケーション装置１０Ｄ（コミュニケーション推定部１０９）の動作について示したフローチャートである。以下では、第１の利用者Ｕ１が利用するコミュニケーション装置１０Ｄ−１（コミュニケーション推定部１０９）の動作を中心として説明する。
【０１６９】
まず、コミュニケーション装置１０Ｄ−１とコミュニケーション装置１０Ｄ−２との間でビデオ通話が開始されたものとする（Ｓ５００）。ここでは、初期状態として、コミュニケーション装置１０Ｄ−１では、モードＭ１で動作するように設定されているものとする。
【０１７０】
そして、コミュニケーション装置１０Ｄ−１において、コミュニケーション推定部１０９により、自装置の動作モードの変更の要否が判定される。そして、コミュニケーション推定部１０９は、動作モードの変更が必要と判定した場合には、変更後のモードに応じた動作をするように、自装置内の各構成要素を制御する（Ｓ５０１）。
【０１７１】
ここでは、例として、コミュニケーション推定部１０９は、コミュニケーション時間に応じて、自装置の動作モード変更の要否を判定するものとする。その場合、コミュニケーション推定部１０９は、ビデオ通話が開始されたタイミング（上述のステップＳ５００のタイミング）で、時間を計測するためのタイマ（図示せず）をスタートさせ、そのタイマの計測時間が一定時間以下の場合には、動作モード変更は不要と判定するようにしても良い。そして、コミュニケーション推定部１０９は、上述のタイマの計測時間が一定時間異常の場合に、自装置の動作モードをモードＭ２に変更すると判定するようにしても良い。なお、コミュニケーション推定部１０９が同時に行う判定処理（コミュニケーションの状況の推定処理）は、１種類であっても良いし、複数種類であってもよく、その種類や数は限定されないものである。
【０１７２】
そして、コミュニケーション装置１０Ｄ−１の制御部１０８にて、コミュニケーション装置１０Ｄ−２とのコミュニケーションが継続しているか否か、すなわち、コミュニケーション装置１０Ｄ−１、１０Ｄ−２の間の回線がつながっているか否かが確認される（Ｓ５０２）。ステップＳ５０２にて、コミュニケーション装置１０Ｄ−２とのコミュニケーションが継続していると判定された場合（回線が接続中の場合）には、制御部１０８は、上述のステップＳ５０１の処理に戻って、動作する。一方、ステップＳ５０２にて、コミュニケーション装置１０Ｄ−２とのコミュニケーションが継続していると判定された場合（回線が切断された場合）には、制御部１０８は、上述の一連の処理を終了する（Ｓ５０３）。
【０１７３】
（Ｅ−３）第５の実施形態の効果
第５の実施形態によれば、以下のような効果を奏することができる。
【０１７４】
コミュニケーション装置１０Ｄ−１、１０Ｄ−２では、利用者のディスプレイ本体１３１の動作と、ディスプレイ本体１３１の画面に表示される遠隔側の映像の加工・変形操作等の連動手法を、利用者間のコミュニケーションの状況に応じて動的に切り替えている。これにより、コミュニケーションシステム１Ｄでは、第１〜第４の実施形態と比較して、さらなる臨場感を利用者に提供することができる。
【０１７５】
（Ｆ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【０１７６】
（Ｆ−１）上記の各実施形態では、映像合成部が、遠隔側装置から供給された映像データの映像から、遠隔側背景映像と遠隔側人物映像とを分離する際に、映像処理（背景差分法）を用いる例について説明した。しかし、映像合成部の分離方法はこれに限定されず、例えば、深度センサを有したカメラなどを用いて利用者を撮像することで、計測された深度に応じて複数に分離された映像群を用いて、遠隔側背景映像と遠隔側人物映像とを分離するようにしても良い。例えば、映像合成部は、上述の深度センサを有したカメラに最も近距離の物体の映像が利用者の映像（遠隔側人物映像）であり、それよりも遠距離の物体の映像を背景の映像（遠隔側背景映像）であると認識するようにしても良い。
【０１７７】
（Ｆ−２）上記の各実施形態において、ディスプレイ本体は、ディスプレイ回転板により左右方向（水平方向）にのみ画面を回転できる構成として説明したが、上下方向（水平方向）に画面を回転できる構成としても良いし、左右方向及び上下方向の両方に画面を回転できる構成としても良い。なお、利用者を撮像するカメラについてもディスプレイ本体と同様に、左右方向及び又は上下方向に回転可能な構成としても良い。
【０１７８】
（Ｆ−３）第５の実施形態では、コミュニケーション装置は、遠隔側装置から供給される利用者情報および、遠隔側装置から供給される音声信号から得られる発話音声を用いて、動作モードを切り替えるためのコミュニケーションの推定を行うことを説明した。しかし、コミュニケーション装置は、その他にも超音波センサなどに代表される距離センサや赤外線カメラなどで取得できる利用者の位置情報等から、統合的に利用者情報を構成してコミュニケーションの推定処理に適用するようにしても良いし、それを上記の実施形態に組み合わせて、コミュニケーションの推定処理の精度を向上させるようにしても良い。
【０１７９】
（Ｆ−４）上記の各実施形態におけるコミュニケーション装置が行う情報処理（利用者に対する入出力処理は除く）について、どの処理をどの装置が行うかは、上記の各実施形態の例に限定されないものである。例えば、利用者に対する入出力処理以外の情報処理については、第１又は第２の利用者が利用するコミュニケーション装置のいずれか一方でのみ行うようにしても良い。また、各コミュニケーション装置は、利用者に対する入出力処理のみを行い、その他の処理（利用者情報の取得や、映像の合成、ディスプレイ本体の画面の向きの制御等）を一括して、ＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）形式でサーバによる処理を行うようにしても良い。この場合、各コミュニケーション装置は、上述のサーバを介して、遠隔側装置と接続する構成となる。
【０１８０】
（Ｆ−５）上記の各実施形態では、２者間のコミュニケーションを提供するシステムとして説明したが、３者以上の利用者間のコミュニケーションに適用するようにしても良い。例えば、音声だけを３者会議とし、ディスプレイ本体の画面及び画面の向きを変更する対象として、いずれか１人の遠隔側利用者を選択（例えば、利用者の操作により選択するようにしても良い）して適用するようにしても良い。
【０１８１】
（Ｆ−６）第３及び第４の実施形態では、映像合成部は、遠隔側背景映像について特に加工を行っていないが、第１の実施形態と同様に、ディスプレイ本体の画面の向きに応じた加工を施すようにしても良い。また、第１及び第２の実施形態では、映像合成部は、遠隔側背景映像について射影変換等の加工をおこなっているが、特に加工せずに、ディスプレイ本体の画面に表示するようにしても良い。
【符号の説明】
【０１８２】
１…コミュニケーションシステム、１０、１０−１、１０−２…コミュニケーション装置、Ｎ…ネットワーク、１１…コミュニケーション装置本体、１２…カメラ、１２１…カメラ本体、１２２…カメラ回転板、１３…ディスプレイ、１３１…ディスプレイ本体、１３２…ディスプレイ回転板、１０１…映像取得部、１０２…映像処理部、１０３…情報送信部、１０４…情報受信部、１０５…映像合成部、１０６…映像表示部、１０７…回転制御部、１０８…制御部。
【技術分野】
【０００１】
この発明は、コミュニケーションシステム及びコミュニケーション装置に関し、例えば、音声及び映像を用いた通話で遠隔コミュニケーションを実現するコミュニケーションシステムに適用し得る。
【背景技術】
【０００２】
遠隔コミュニケーションの重要性はますます高まっており、遠隔地の会話者の存在感や場の臨場感を視覚的および聴覚的に遠隔地に伝えるコミュニケーションシステムが注目されている。
【０００３】
従来のコミュニケーションシステムに関する技術としては、特許文献１〜４の記載技術がある。
【０００４】
特許文献１の記載技術は、人間の頭部形状を模したダミーヘッドに、遠隔地の会話者の表情を表示することで、視覚的、聴覚的に高い臨場感を持った高臨場感通信装置を提供するものである。しかしながら、臨場感を提供するためにダミーヘッドのような大がかりな装置を用意しなければならず、容易に臨場感を生むことができない。これに対して、特許文献２では、遠隔の会議出席者の顔がほぼ実物大にビデオモニタに映され、直接目で見つめているような感覚を与え、自動的または手動的にビデオモニタは発話者の方を向き、遠隔の会議出席者が顔を回転している感覚を与えることができる装置について記載されている。
【０００５】
また、特許文献３では、イヤホンマイクからの音源信号を解析してイヤホンマイクの位置を特定し、その位置情報に基づいて携帯電話端末のディスプレイの向きを変え、イヤホンマイクに正対させる情報処理端末について記載されている。さらにまた、特許文献４では、人体の接近を検知し、その接近する方向にディスプレイを向ける近距離通信装置について記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２６９５４９号公報
【特許文献２】特表２００１−５２４２８６号公報
【特許文献３】特開２００３−１６９１６１号公報
【特許文献４】特開２００３−２８９２７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２の記載技術は、特許文献１の記載技術と同様に、高い臨場感を提供するために大がかりな装置を用いなければならず、またビデオモニタの移動回転と遠隔地からの映像の変化は統合的なものではない。
【０００８】
また、特許文献３、４の記載技術は、双方とも、利用者の動作に応じてディスプレイの向きを変化させることに特徴があるが、利用者の労力を軽減させることが目的であり、遠隔地の会話者を表示したり、遠隔コミュニケーションを支援したりする目的ではない。また、特許文献３、４の記載技術は、ディスプレイの回転と遠隔地からの映像の変化は統合的なものではない。
【０００９】
そのため、利用者に与える臨場感を向上させることができるコミュニケーションシステム及びコミュニケーション装置が望まれている。
【課題を解決するための手段】
【００１０】
第１の本発明は、第１の利用者と第２の利用者との間のコミュニケーションを可能とするコミュニケーションシステムにおいて、（１）１又は複数のカメラを用いて、上記第２の利用者を撮像した映像の映像データを保持する映像データ保持手段と、（２）上記映像データ保持手段が保持した映像データに基づく映像を、上記第１の利用者に提示するために画面表示するディスプレイと、上記ディスプレイの画面方向を制御に応じた方向に向ける画面方向制御機構とを備える映像表示手段と、（３）上記第１の利用者又は上記第２の利用者の身体的位置情報を取得する身体的位置情報取得手段と、（４）上記第１の利用者又は上記第２の利用者の身体的位置情報に応じて、上記ディスプレイの新たな画面方向を決定し、上記ディスプレイの画面方向が決定した画面方向となるように、上記画面方向制御機構を制御する画面方向制御手段とを有することを特徴とする。
【００１１】
第２の本発明は、第１の利用者と第２の利用者との間のコミュニケーションを可能とするコミュニケーションシステムを構成する、上記第１の利用者が利用する第１のコミュニケーション装置において、（１）上記第２の利用者が利用する第２のコミュニケーション装置から、１又は複数のカメラを用いて、上記第２の利用者を撮像した映像データを取得する映像データ取得手段と、（２）上記映像データ取得手段が取得した映像データの映像を、上記第１の利用者に提示するために画面表示するディスプレイと、上記ディスプレイの画面方向を制御に応じた方向に向ける画面方向制御機構とを備える映像表示手段と、（３）上記第１の利用者又は上記第２の利用者の身体的位置情報を取得する身体的位置情報取得手段と、（４）上記第１の利用者又は上記第２の利用者の身体的位置情報に応じて、上記ディスプレイの新たな画面方向を決定し、上記ディスプレイの画面方向が決定した画面方向となるように、上記画面方向制御機構を制御する画面方向制御手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、利用者に与える臨場感を向上させるコミュニケーションシステムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係るコミュニケーション装置（コミュニケーション装置本体）の機能的構成について示したブロック図である。
【図２】第１の実施形態に係るコミュニケーションシステムの全体構成について示したブロック図である。
【図３】第１の実施形態に係るコミュニケーション装置の斜視図である。
【図４】第１の実施形態に係る映像処理部が、利用者情報として把握する利用者頭部方向について示した説明図である。
【図５】第１の実施形態に係る映像合成部及び回転制御部の処理について示した説明図である。
【図６】第１の実施形態に係るコミュニケーション装置の動作について示したフローチャートである。
【図７】第２の実施形態に係る映像処理部が、利用者情報として把握する利用者視線方向について示した説明図である。
【図８】第２の実施形態に係る映像合成部及び回転制御部が行う処理について示した説明図である。
【図９】第２の実施形態に係るコミュニケーション装置の動作について示したフローチャートである。
【図１０】第３の実施形態に係るコミュニケーション装置を構成するカメラシステムの構成について示した説明図である。
【図１１】第３の実施形態に係るコミュニケーション装置の動作について示したフローチャートである。
【図１２】第４の実施形態に係るコミュニケーション装置の動作について示したフローチャートである。
【図１３】第５の実施形態に係るコミュニケーション装置（コミュニケーション装置本体）の機能的構成について示したブロック図である。
【図１４】第５の実施形態に係るコミュニケーション装置の動作について示したフローチャートである。
【発明を実施するための形態】
【００１４】
（Ａ）第１の実施形態
以下、本発明によるコミュニケーションシステム及びコミュニケーション装置の第１の実施形態を、図面を参照しながら詳述する。
【００１５】
（Ａ−１）第１の実施形態の構成
図２は、この実施形態のコミュニケーションシステム１の全体構成を示すブロック図である。
【００１６】
図２に示すように、コミュニケーションシステム１では、ネットワークＮを介して、２台のコミュニケーション装置１０（１０−１、１０−２）の間が接続されている。コミュニケーション装置１０は、ビデオ会議機能等のネットワークＮを介した遠隔コミュニケーション機能を利用者に提供する装置である。
【００１７】
なお、以下では、コミュニケーション装置１０−１は第１の利用者Ｕ１が利用するものであるものとし、コミュニケーション装置１０−２は、第２の利用者Ｕ２が利用するものであるものとする。
【００１８】
また、以下では、それぞれのコミュニケーション装置１０において、自装置の利用者を「自装置利用者」と呼び、ネットワークＮを介して対向するコミュニケーション装置１０の利用者を「遠隔側利用者」と表わすものとする。また、それぞれのコミュニケーション装置１０において、自装置と、ネットワークＮを介して対向するコミュニケーション装置１０のことを「遠隔側装置」と表わすものとする。なお、ここでは、説明を簡易とするために、コミュニケーション装置１０−１とコミュニケーション装置１０−２とは同じ構成であるものとして説明するが、異なる構成としても良い。
【００１９】
次に、コミュニケーション装置１０の構成について説明する。
【００２０】
図３は、コミュニケーション装置１０の斜視図である。図３に示すように、コミュニケーション装置１０は、コミュニケーション装置本体１１、カメラ１２、及びディスプレイ１３を有している。
【００２１】
コミュニケーション装置本体１１は、コミュニケーション装置１０の全体を制御する機能等を担っている。コミュニケーション装置１０では、コミュニケーション装置本体１１により、カメラ１２及びディスプレイ１３が制御されている。コミュニケーション装置本体１１としては、例えば、プログラムを実行するプロセッサ及びネットワークに接続するインタフェースを備える情報処理装置（例えば、ＰＣや、専用装置等）に、実施形態のコミュニケーションプログラム等をインストールすることにより実現するようにしても良く、その場合でも、コミュニケーション装置１０の機能的構成は、図１のように示すことができる。
【００２２】
カメラ１２は、自装置の利用者を撮像するためのカメラ本体１２１と、カメラ本体１２１を載置するカメラ回転板１２２とを有している。
【００２３】
カメラ本体１２１は、コミュニケーション装置本体１１の制御に応じて撮像した映像の映像データを、コミュニケーション装置本体１１に供給する。また、カメラ本体１２１としては、例えば、既存のビデオ会議端末等に利用されるＣＣＤカメラ等を適用することができる。
【００２４】
カメラ回転板１２２は、コミュニケーション装置本体１１の制御により動作する回転機構（図示せず、例えば、モータ等）により、左右方向（水平方向）に、時計回り又は反時計回りに回転し、載置しているカメラ本体１２１の撮像する方向を変更させる。言い換えると、コミュニケーション装置１０では、コミュニケーション装置本体１１により、カメラ回転板１２２が備える上述の回転機構を動作させることにより、カメラ本体１２１の撮像する方向を制御している。カメラ１２としては、例えば、既存のビデオ会議端末等で用いられる撮像方向を変更することができるカメラ（例えば、ロボットカメラ等）を用いることができる。なお、第１の実施形態では、カメラ本体１２１の撮像する方向を制御する手段は限定されないものであり、上述の回転機構以外の手段（例えば、首振り機構を備えるスタンド等）を適用するようにしても良い。また、図３では、カメラ１２とコミュニケーション装置本体１１との間の物理インタフェースは限定されないものであり、既存の有線（例えば、ＵＳＢケーブル等）や無線のインタフェースを適用することができる。
【００２５】
ディスプレイ１３は、コミュニケーション装置本体１１から出力された映像（映像信号）を当該第１の利用者Ｕ１に表示出力するためのディスプレイ本体１３１と、ディスプレイ本体１３１を載置するディスプレイ回転板１３２とを有している。
【００２６】
ディスプレイ本体１３１としては、例えば、既存のＰＣ等で用いられる液晶ディスプレイ等を用いることができる。
【００２７】
ディスプレイ回転板１３２は、コミュニケーション装置本体１１の制御により動作する回転機構（図示せず、例えば、モータ等）により、水平方向（左右方向）に、時計回り又は反時計回りに回転し、載置しているディスプレイ本体１３１の画面の方向を変更させる。言い換えると、コミュニケーション装置１０では、コミュニケーション装置本体１１により、ディスプレイ回転板１３２が備える上述の回転機構を動作させ、ディスプレイ本体１３１の画面を向ける方向を制御している。なお、第１の実施形態では、ディスプレイ本体１３１の画面方向を制御する手段は限定されないものであり、カメラ１２と同様に、上述の回転機構以外の手段を適用することができる。また、図３では、ディスプレイ１３の図示しない回転機構とコミュニケーション装置本体１１との間の物理インタフェースは限定されないものであり、既存の有線（例えば、ＵＳＢケーブル等）や無線のインタフェースを適用することができる。また、ディスプレイ本体１３１が、コミュニケーション装置本体１１から映像信号の供給を受けるための物理インタフェースについても限定されないものであり、例えば、既存のＰＣ等のディスプレイと同様のインタフェースを適用することができる。
【００２８】
次に、図１を用いて、コミュニケーション装置本体１１の機能的構成について説明する。
【００２９】
コミュニケーション装置１０を構成するコミュニケーション装置本体１１は、機能的には、映像取得部１０１、映像処理部１０２、情報送信部１０３、情報受信部１０４、映像合成部１０５、映像表示部１０６、回転制御部１０７、及び制御部１０８を有している。なお、図１においては図示を省略しているが、コミュニケーション装置本体１１は、自装置利用者が発話する音声を捕捉するマイクや、遠隔側装置から供給された遠隔側利用者が発話した音声を出力するスピーカ等、既存のビデオ会議端末と同様の構成も備えているものとする。
【００３０】
制御部１０８は、当該コミュニケーション装置１０全体の動作を制御するものであり、例えば、当該コミュニケーション装置１０内の各構成要素との間で制御情報のやりとりをしたり、他のコミュニケーション装置１０との呼接続等を行う機能等を担っている。また、制御部１０８は、上述の図示しないマイクから捕捉した自装置利用者の発話した音声の音声信号（音声データ）を遠隔側装置に送出する処理も行うものとする。さらに、制御部１０８は、遠隔側装置から供給される遠隔側利用者の発話した音声信号（音声データ）の音声を、上述の図示しないスピーカに出力する処理も行うものとする。なお、この実施形態において、コミュニケーション装置１０は、音声及び映像を用いて遠隔側利用者とコミュニケーション（通話）可能な端末であるものとして説明するが、映像だけを用いたコミュニケーションに対応させ、音声を処理する構成について省略するようにしても良い。
【００３１】
映像取得部１０１は、自装置利用者を撮像した映像データを、カメラ１２から取得する機能を担っている。また、映像取得部１０１は、自装置利用者の動きに追従するように、カメラ１２の撮影する方向や撮影倍率を制御しているものとする。ここでは、例として、映像取得部１０１は、自装置利用者の頭部が撮影映像の中心となるようにカメラ１２の方向等を制御するものとする。映像取得部１０１が、自装置利用者を撮像し続けるように、カメラ１２の方向等を制御する方式については限定されないものであるが、既存のビデオ会議端末等と同様の方法を適用することができる。そして、映像取得部１０１は、カメラ１２により撮影された映像データ（動画像データ）を、遠隔側装置にリアルタイムで送信する。映像取得部１０１が、映像データを遠隔側装置にリアルタイムで送信する方式については限定されないものであり、既存のビデオ会議端末等で用いられる種々の方式を適用することができる。
【００３２】
映像処理部１０２は、映像取得部１０１が取得した映像データの映像（自装置利用者の映像）を処理する機能を担っている。具体的には、映像処理部１０２は、処理対象となる映像について、背景映像と人物映像（自装置利用者の映像）に分離するとともに、自装置利用者の利用者情報（詳細については後述する）を算出する。
【００３３】
ここで、利用者情報とは、例えば、コミュニケーション装置１０を利用している利用者の非言語情報であり、利用者の身体的な位置情報（以下、「身体的位置情報」ともいう）を含む情報であるものとする。利用者情報に含まれる利用者の身体的位置情報としては、例えば、ディスプレイ本体１３１を回転する回転軸から見た、利用者の頭部の位置姿勢や視線の方向、肩の向き等が挙げられる。ここでは、例として、ディスプレイ本体１３１の回転軸から見た利用者の頭部の一部（例えば、利用者の眼球の間の中心位置）の方向（以下、「利用者頭部方向θＨ」という）に関する情報が、利用者情報に含まれるものとする。映像処理部１０２が、自装置利用者の映像を用いて、自装置利用者の利用者頭部方向を把握する方法は限定されないものであるが、例えば、参考文献１（特開２００８−１０２９０２号公報）の記載技術を用いることができる。参考文献１では、ユーザを撮影した映像から、当該ユーザの頭部の位置姿勢や視線の方向、肩の向き等を把握することについて記載されている。なお、以下では、コミュニケーション装置１０−１を利用する第１の利用者Ｕ１の利用者頭部方向を「利用者頭部方向θＨ１」、コミュニケーション装置１０−２を利用する第２の利用者Ｕ２の利用者頭部方向を「利用者頭部方向θＨ２」と表すものとする。
【００３４】
図４は、コミュニケーション装置１０を構成する映像処理部１０２が把握する利用者情報の例について示した説明図である。
【００３５】
ここでは、例として、ディスプレイ本体１３１が初期の状態で向いている画面に対する垂直平面Ｓを０度の方向と呼び、ディスプレイ本体１３１の回転軸ＰＡを中心として、時計回りにずれた方向を正の角度、反時計回りにずれた方向を負の角度として方向を表すものとする。すなわち、ディスプレイ本体１３１の画面は、初期状態では０度の方向を向いているものとする。その後、ディスプレイ本体１３１の画面の方向が、ディスプレイ回転板１３２の動作に従って変化する。以下では、現在のディスプレイ本体１３１の画面の方向を、「画面方向θＳ」と表わすものとする。また、以下では、コミュニケーション装置１０−１の画面方向を「画面方向θＳ１」、コミュニケーション装置１０−２の画面方向を「画面方向θＳ２」と表わすものとする。
【００３６】
そして、ここでは、映像処理部１０２は、ディスプレイ本体１３１の回転軸ＰＡから、利用者の頭部の所定部分の位置ＰＥ（例えば、利用者の眼球の間の中心位置）への方向を利用者頭部方向θＨとして把握するものとする。
【００３７】
そして、映像処理部１０２は、自装置利用者の利用者情報（利用者頭部方向θＨ）に基づいて、ディスプレイ本体１３１を、回転させる量（以下、「回転量θＴ」と表わす）を決定する。そして、映像処理部１０２は、決定した回転量θＴの情報を、回転制御部１０７に与える。なお、以下では、コミュニケーション装置１０−１で決定された回転量を「回転量θＴ１」、コミュニケーション装置１０−２で決定された回転量を「回転量θＴ２」と表わすものとする。
【００３８】
ここでは、映像処理部１０２は、原則として、ディスプレイ本体１３１の画面を自装置利用者に正対させる（すなわち、利用者頭部方向θＨと画面方向θＳとを一致させる）ための回転量θＴを算出するものとする。具体的には、利用者頭部方向θＨと画面方向θＳとを一致させるためには、回転量θＴ＝θＨ−θＳとする必要がある。例えば、図４の状態の場合、θＳ＝０度であり、θＨ＝４５度とした場合、利用者頭部方向θＨと画面方向θＳとを一致させるためには、回転量θＴ＝４５度−０度＝４５度とする必要がある。
【００３９】
映像処理部１０２は、利用者頭部方向θＨと画面方向θＳとを一致させるための回転量θＴをそのまま、回転制御部１０７に与えても良いし、画面方向θＳを所定の範囲内（例えば、−４５度〜４５度）に保つように変換してから回転制御部１０７に与えても良い。例えば、画面方向θＳが４０度の状態で、利用者頭部方向θＨと画面方向θＳとを一致させるための回転量θＴが１０度だった場合には、映像処理部１０２は、画面方向θＳを−４５度〜４５度の範囲に保つために、回転制御部１０７に与える回転量θＴを５度と決定するようにしても良い。
【００４０】
回転制御部１０７は、ディスプレイ本体１３１や、カメラ本体１２１の回転を制御するものである。回転制御部１０７は、映像処理部１０２から与えられる回転量θＴに応じて、図示しないディスプレイ回転板１３２のモータを制御して回転させる。すなわち、回転制御部１０７は、ディスプレイ本体１３１の画面方向θＳ＝θＳ＋θＴとなるように、図示しないディスプレイ回転板１３２が備える回転機構を制御する。
【００４１】
情報送信部１０３は、映像取得部１０１が取得した自装置利用者の利用者情報（利用者頭部方向θＨ）について、ネットワークＮを介して遠隔側装置に送信するものである。
【００４２】
情報受信部１０４は、ネットワークＮを介して、遠隔側装置から、遠隔側利用者の利用者情報（利用者頭部方向θＨ）を取得するものである。
【００４３】
映像合成部１０５は、遠隔側装置から供給された映像データの処理（例えば、合成処理等）を行い、映像表示部１０６に供給するものである。
【００４４】
ここでは、映像合成部１０５は、遠隔側利用者の人物映像（以下、「遠隔側人物映像」と表わす）を変形することなく、遠隔側の人物の背景映像（以下、「遠隔側背景映像」と表わす）についてだけ、自装置における画面方向θＳと逆方向に歪ませて合成する（例えば、射影変換して合成する）ものとする。
【００４５】
遠隔側装置から受信した映像データから、遠隔側背景映像と遠隔側人物映像とに分割する処理は限定されないものであり、既存の処理方法を適用することができる。遠隔側から受信した映像データから、遠隔側人物映像を抽出する処理については、例えば、参考文献３（特開２００１−１４４７４号公報）の記載技術を適用することができる。参考文献３では、予め撮影されて記憶された背景画像、及び背景と人物が撮像されている混合画像の２枚の画像を背景差分法を用いて比較し、人物の画像を抽出している。映像合成部１０５で、参考文献３の記載技術を利用する場合には、予め遠隔側背景映像を保持しておき、保持した遠隔側背景映像と、遠隔側装置から受信した映像データ（背景と人物が撮影されている混合映像）とを比較して、遠隔側人物映像を取得することができる。参考文献３の記載技術を利用する場合には、遠隔側装置から受信した映像データから遠隔側背景映像を抽出せずに、予め保持しているものを利用するようにしても良い。映像合成部１０５が、遠隔側背景映像を予め保持する方法については限定されないものである。例えば、予め利用者により登録されるようにしても良いし、遠隔側利用者又は自装置利用者の操作に応じて、遠隔側利用者が撮像されない状態（すなわち遠隔側背景映像）の映像をキャプチャして保持するようにしても良い。
【００４６】
映像合成部１０５は、遠隔側背景映像については、上述の通り、自装置における画面方向θＳと逆方向に歪ませて合成する。遠隔側背景映像を画面方向θＳに応じて歪ませる（例えば、射影変換）方法については限定されず、既存の処理方法用いることができるが、例えば、参考文献４（特開２００９−２６０８１９）の記載技術を用いるようにしてもよい。参考文献４では、矩形の映像を射影変換パラメータに応じて射影変換することについて記載されている。映像合成部１０５で、参考文献４の記載技術を利用して、遠隔側背景映像を射影変換する場合には、画面方向θＳに応じた射影変換パラメータを決定して射影変換するようにしても良い。なお、参考文献４では、台形の画像を矩形に変換する処理について記載されているが、この実施形態では、矩形を台形に変換する処理として行う必要がある。そして、映像合成部１０５は、射影変換した遠隔側背景映像に遠隔側人物映像を合成し、映像表示部１０６に供給する。
【００４７】
次に、映像合成部１０５が行う合成処理等の具体例について説明する。
【００４８】
図５は、コミュニケーション装置１０−１における映像合成部１０５及び回転制御部１０７の行う処理について示した説明図である。
【００４９】
図５（ａ−１）は、画面方向θＳ１が０度の場合（図５（ａ−２）の状態の場合）に映像合成部１０５が合成した映像について示している。図５（ｂ−１）は、画面方向θＳ１が正の角度（例えば、４５度）の場合（図５（ｂ−２）の状態の場合）に映像合成部１０５が合成した映像について示している。図５（ｃ−１）は、画面方向θＳ１が負の角度（例えば、−４５度）の場合（図５（ｃ−２）の状態の場合）に映像合成部１０５が合成した映像について示している。
【００５０】
図５（ａ−１）、図５（ｂ−１）、図５（ｃ−１）において、Ａ１１１、Ａ１２１、Ａ１３１の領域は、遠隔側人物映像を示している。また、Ａ１１２、Ａ１２２、Ａ１３２の領域は、遠隔側背景映像を示している。
【００５１】
図５（ａ−１）に示すように、画面方向θＳ１が０度の場合には、映像合成部１０５は、遠隔側背景映像について射影変換せずにそのまま遠隔側人物映像と合成した映像を生成する。
【００５２】
また、図５（ｂ−１）に示すように、画面方向θＳ１が正の角度（例えば、４５度）の場合には、映像合成部１０５は、画面が回転した方向（画面に向かって左側）の端を台形の底辺とし、反対の方向（画面に向かって右側）の端を台形の上辺とするように、遠隔側背景映像を射影変換により歪ませている。さらに、図５（ｃ−１）に示すように、画面方向θＳ１が負の角度（例えば、−４５度）の場合には、映像合成部１０５は、画面が回転した方向（画面に向かって右側）の端を台形の底辺とし、反対の方向（画面に向かって左側）の端を台形の上辺とするように射影変換により歪ませている。さらにまた、映像合成部１０５は、画面方向θＳの絶対値が大きくなるほど、遠隔側背景映像の歪みを大きく（台形の底辺と上辺の差異を大きく）するように、遠隔側背景映像を射影変換する。
【００５３】
また、映像合成部１０５は、遠隔側背景映像の射影変換により、ディスプレイ本体１３１の画面上で、映像が表示されない領域（例えば、図５（ａ−１）の領域Ａ１２１、Ａ１２３等の遠隔側背景映像が欠ける領域）については、例えば、所定の単色の画素や、所定のパターンで塗りつぶして補完するようにしても良いし、遠隔側背景映像に最も色彩（色相）が近い色の画素で塗りつぶして補完するようにしても良い。
【００５４】
（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態のコミュニケーションシステム１の動作を説明する。
【００５５】
以下では、第１の利用者Ｕ１が利用するコミュニケーション装置１０−１の動作を中心として説明する。
【００５６】
図６は、コミュニケーションシステム１を構成するコミュニケーション装置１０の動作について示したフローチャートである。
【００５７】
まず、コミュニケーション装置１０−１とコミュニケーション装置１０−２との間でビデオ通話が開始されたものとする（Ｓ１００）。
【００５８】
次に、コミュニケーション装置１０−１の映像処理部１０２にて、映像取得部１０１より取得された第１の利用者Ｕ１の映像を用いて、第１の利用者Ｕ１の利用者情報として利用者頭部方向θＨ１が算出される（Ｓ１０１）。
【００５９】
次に、映像処理部１０２にて、上述のステップＳ１０１で算出された利用者頭部方向θＨ１基づいて、画面方向θＳ１及び回転量θＴ１が決定される。そして、映像処理部１０２から回転制御部１０７へ決定された回転量θＴ１の情報が与えられる。そして、回転制御部１０７は、与えられた回転量θＴ１にしたがって、ディスプレイ本体１３１（ディスプレイ回転板１３２）を回転動作させる（Ｓ１０２）。
【００６０】
そして、映像合成部１０５にて、コミュニケーション装置１０−２からの映像データが取得され（Ｓ１０３）、その映像データの映像についての合成処理等がおこなわれ、映像表示部１０６に与えられる（Ｓ１０４）。
【００６１】
ステップＳ１０４では、映像合成部１０５にて、コミュニケーション装置１０−２からの映像データの映像について、遠隔側人物映像が抽出され、さらに、予め保持していた遠隔側背景映像について最新の画面方向θＳ１に応じた射影変換が行われる。そして、映像合成部１０５にて、抽出された遠隔側人物映像と、射影変換後の遠隔側背景映像が合成されて、合成後の映像データが、映像表示部１０６に与えられる。
【００６２】
そして、映像表示部１０６により、映像合成部１０５から与えられた映像データの映像が、ディスプレイ本体１３１に表示される（Ｓ１０５）。なお、ステップＳ１０３〜Ｓ１０５の処理は、次に、利用者情報が更新されるまで繰り返し行われる。
【００６３】
そして、コミュニケーション装置１０−１の制御部１０８にて、コミュニケーション装置１０−２とのコミュニケーションが継続しているか否か、すなわち、コミュニケーション装置１０−１、１０−２の間の回線がつながっているか否かが確認される（Ｓ１０６）。ステップＳ１０６にて、コミュニケーション装置１０−２とのコミュニケーションが継続していると判定された場合（回線が接続中の場合）には、制御部１０８は、上述のステップＳ１０１の処理に戻って、動作するように、各構成要素を制御する。一方、ステップＳ１０６にて、コミュニケーション装置１０−２とのコミュニケーションが継続していると判定された場合（回線が切断された場合）には、制御部１０８は、上述の一連の処理を終了する（Ｓ１０７）。
【００６４】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。
【００６５】
第１の実施形態のコミュニケーション装置１０では、自装置利用者の利用者情報（利用者頭部方向θＨ）に、自装置のディスプレイ本体１３１の画面方向を追従させている。具体的には、コミュニケーション装置１０では、自装置利用者に、ディスプレイ本体１３１の画面を正対させるように、ディスプレイ本体１３１の画面方向を制御している。また、第１の実施形態のコミュニケーション装置１０では、自装置のディスプレイ本体１３１の画面方向θＳに応じて、ディスプレイ本体１３１の画面に表示する遠隔側背景映像を、ディスプレイ本体１３１の画面の回転方向と逆方向に歪ませる処理（射影変換処理）を行っている。これにより、コミュニケーション装置１０では、自装置利用者へ、遠隔側の映像を、擬似的に立体映像として見せることができ、相手（遠隔側利用者）の存在感を提示し、臨場感を高めることができる。
【００６６】
また、第１の実施形態のコミュニケーション装置１０は、ハードウェア的には、従来のビデオ会議端末等に、ディスプレイの画面方向を制御できる機構を設けるだけで構築することができるため、低コストで実現することが可能である。
【００６７】
（Ｂ）第２の実施形態
以下、本発明によるコミュニケーションシステム及びコミュニケーション装置の第２の実施形態を、図面を参照しながら詳述する。
【００６８】
（Ｂ−１）第２の実施形態の構成
第２の実施形態のコミュニケーションシステム１Ａの構成も、上述の図２により示すことができる。以下、第２の実施形態について、第１の実施形態との差異を中心として説明する。
【００６９】
第２の実施形態のコミュニケーションシステム１Ａでは、コミュニケーション装置１０（１０−１、１０−２）が、コミュニケーション装置１０Ａ（１０Ａ−１、１０Ａ−２）に置き換わっている点で、第１の実施形態と異なっている。
【００７０】
第２の実施形態のコミュニケーション装置１０Ａも、上述の図１、図３により示すことができる。
【００７１】
第２の実施形態のコミュニケーション装置１０Ａを構成するコミュニケーション装置本体１１Ａは、機能的には、映像取得部１０１、映像処理部１０２Ａ、情報送信部１０３、情報受信部１０４、映像合成部１０５、映像表示部１０６、回転制御部１０７Ａ、及び制御部１０８を有している。第２の実施形態のコミュニケーション装置本体１１Ａでは、機能的には、映像処理部１０２Ａ及び回転制御部１０７Ａ以外の構成については、第１の実施形態と同様であるため、詳しい説明を省略する。
【００７２】
映像処理部１０２Ａは、利用者情報として、利用者頭部方向θＨではなく、自装置の利用者の視線の方向（以下、「利用者視線方向θＥ」と表わす）を把握する点で、第１の実施形態と異なっている。
【００７３】
図７は、映像処理部１０２Ａが、利用者情報として把握する利用者視線方向θＥについて示した説明図である。
【００７４】
図７に示すように、利用者視線方向θＥは、利用者Ｕの頭部の所定部分の位置ＰＥ（例えば、利用者の眼球の間の中心位置）から利用者Ｕの視線の方向に伸びる線ＬＥが示す方向である。そして、ディスプレイ本体１３１が初期の状態（画面方向θＳが０度）で向いている画面に対する垂直平面Ｓと、線ＬＥとが並行となる場合に利用者視線方向θＥは０度の方向と表すものとする。そして、それ以外の場合（垂直平面Ｓと、線ＬＥとが並行でない場合）には、ＬＥと垂直平面Ｓとがなす角度により、利用者視線方向θＥは、表されるものとする。なお、上述の通り、利用者頭部方向θＨや画面方向θＳについては、ディスプレイ本体１３１の回転軸から見た方向として表していたが、利用者視線方向θＥについては、利用者Ｕから見た方向として表すものとする。そして、利用者視線方向θＥは、利用者Ｕから見て、０度の方向から反時計回りにずれた方向を正の角度、時計回りにずれた方向を負の角度として方向を表すものとする。図７の例の場合には、利用者Ｕの視線は、０度の方向から反時計回りの方向にずれているので、正の角度として表されることになる。
【００７５】
そして、以下では、コミュニケーション装置１０Ａ−１を利用する第１の利用者Ｕ１の利用者視線方向を「利用者視線方向θＥ１」と表わし、コミュニケーション装置１０Ａ−２を利用する第２の利用者Ｕ２の利用者視線方向を「利用者視線方向θＥ２」と表すものとする。
【００７６】
第１の実施形態の回転制御部１０７は、自装置利用者の利用者頭部方向θＨに基づいて、自装置のディスプレイ本体１３１を向ける方向（画面方向θＳ）を決定していた。これに対して、第２の実施形態の回転制御部１０７Ａでは、遠隔側利用者の利用者視線方向θＥに基づいて、自装置の画面方向θＳを決定するものとする。
【００７７】
例えば、コミュニケーション装置１０Ａ−１では、コミュニケーション装置１０Ａ−２から、第２の利用者Ｕ２の利用者情報（利用者視線方向θＥ２）が供給されると、回転制御部１０７Ａにより、利用者視線方向θＥ２に基づいた回転量θＴ１が算出される。具体的には、コミュニケーション装置１０Ａ−１の回転制御部１０７Ａは、自装置のディスプレイ本体１３１の画面方向θＳ１に対して、正負を逆転させた利用者視線方向θＥ２に一致させるための回転量を、回転量θＴ１として算出する。すなわち、この場合、回転量θＴ１＝−θＥ２−θＳ１とする必要がある。そして、回転制御部１０７Ａは、算出した回転量θＴ１にしたがって、自装置のディスプレイ本体１３１を回転させる。
【００７８】
第２の実施形態において、映像合成部１０５は、第１の実施形態と同様に、遠隔側人物映像を変形することなく、遠隔側背景映像についてだけ、自装置における画面方向θＳと逆方向に歪ませて合成する（例えば、射影変換して合成する）ものとする。
【００７９】
図８は、コミュニケーション装置１０Ａ−１において、映像合成部１０５及び回転制御部１０７Ａが行う処理について示した説明図である。
【００８０】
図８（ａ−２）は、コミュニケーション装置１０−２において把握された第２の利用者Ｕ２の利用者視線方向θＥ２が０度の場合（図８（ａ−１）の状態の場合）に映像合成部１０５が合成した映像について示している。図８（ｂ−２）は、利用者視線方向θＥ２が負の角度（例えば、−４５度）の場合（図８（ｂ−１）の状態の場合）に映像合成部１０５が合成した映像について示している。図８（ｃ−２）は、利用者視線方向θＥ２が正の角度（例えば、４５度）の場合（図８（ｃ−１）の状態の場合）に映像合成部１０５が合成した映像について示している。図８（ａ−２）、図８（ｂ−２）、図８（ｃ−２）において、Ａ２１１、Ａ２２１、Ａ２３１の領域は、遠隔側人物映像を示している。また、Ａ２１２、Ａ２２２、Ａ２３２の領域は、遠隔側背景映像を示している。
【００８１】
図８（ａ−３）は、利用者視線方向θＥ２が０度の場合（図８（ａ−１）の状態の場合）に、回転制御部１０７Ａがディスプレイ本体１３１の画面を向ける方向について示している。図８（ｂ−３）は、利用者視線方向θＥ２が負の角度（例えば、−４５度）の場合（図８（ｂ−１）の状態の場合）に、回転制御部１０７Ａがディスプレイ本体１３１の画面を向ける方向について示している。図８（ｃ−３）は、利用者視線方向θＥ２が正の角度（例えば、＋４５度）の場合（図８（ｃ−１）の状態の場合）に、回転制御部１０７Ａがディスプレイ本体１３１の画面を向ける方向について示している。
【００８２】
図８（ａ−３）に示すように、利用者視線方向θＥ２が０度の場合には、回転制御部１０７Ａは、ディスプレイ本体１３１の画面を０度の方向に向けるように回転量θＴ１を決定して制御する。また、図８（ｂ−３）に示すように、利用者視線方向θＥ２が−４５度の場合には、回転制御部１０７Ａは、ディスプレイ本体１３１の画面を、画面方向θＳ１＝−θＳ２＝＋４５度となるように、回転量θＴ１を決定して制御する。さらに、図８（ｃ−３）に示すように、利用者視線方向θＥ２が＋４５度の場合には、回転制御部１０７Ａは、ディスプレイ本体１３１の画面を、画面方向θＳ１＝−θＳ２＝−４５度となるように、回転量θＴ１を決定して制御する。
【００８３】
（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態のコミュニケーションシステム１Ａの動作を説明する。
【００８４】
以下では、第１の利用者Ｕ１が利用するコミュニケーション装置１０Ａ−１の動作を中心として説明する。
【００８５】
図９は、コミュニケーションシステム１Ａを構成するコミュニケーション装置１０Ａの動作について示したフローチャートである。
【００８６】
まず、コミュニケーション装置１０Ａ−１とコミュニケーション装置１０Ａ−２との間でビデオ通話が開始されたものとする（Ｓ２００）。
【００８７】
そして、コミュニケーション装置１０Ａ−２の映像処理部１０２Ａにより、映像取得部１０１より取得された第２の利用者Ｕ２の映像を用いて、第２の利用者Ｕ２の利用者情報（利用者視線方向θＥ２）が算出される。そして、コミュニケーション装置１０Ａ−２で算出された利用者情報（利用者視線方向θＥ２）が、コミュニケーション装置１０Ａ−１に供給されたものとする（Ｓ２０１）。
【００８８】
そして、コミュニケーション装置１０Ａ−１において、回転制御部１０７Ａにより、上述のステップＳ２０１で供給された利用者視線方向θＥ２に基づいて、画面方向θＳ１及び回転量θＴ１が決定される。そして、回転制御部１０７Ａにより、決定された回転量θＴ１にしたがって、ディスプレイ本体１３１（ディスプレイ回転板１３２）が回転動作するように制御される（Ｓ２０２）。
【００８９】
そして、映像合成部１０５にて、コミュニケーション装置１０Ａ−２からの映像データが取得され、さらに、その映像データの映像についての合成処理等がおこなわれる（Ｓ２０３）。
【００９０】
ステップＳ２０３では、映像合成部１０５にて、コミュニケーション装置１０Ａ−２からの映像データの映像について、遠隔側人物映像が抽出され、さらに、予め保持していた遠隔側背景映像について最新の画面方向θＳ１に応じた射影変換が行われる。そして、映像合成部１０５にて、抽出された遠隔側人物映像と、射影変換後の遠隔側背景映像が合成されて、合成後の映像データが、映像表示部１０６に与えられる。
【００９１】
そして、映像表示部１０６により、映像合成部１０５から与えられた映像データの映像が、ディスプレイ本体１３１の画面の表示される（Ｓ２０４）。なお、ステップＳ２０３、Ｓ２０４の処理は、次に、遠隔側利用者の利用者情報が更新されるまで繰り返し行われる。
【００９２】
そして、コミュニケーション装置１０Ａ−１の制御部１０８にて、コミュニケーション装置１０Ａ−２とのコミュニケーションが継続しているか否か、すなわち、コミュニケーション装置１０Ａ−１、１０Ａ−２の間の回線がつながっているか否かが確認される（Ｓ２０５）。ステップＳ２０５にて、コミュニケーション装置１０Ａ−２とのコミュニケーションが継続していると判定された場合（回線が接続中の場合）には、制御部１０８は、上述のステップＳ２０１の処理に戻って、動作するように、各構成要素を制御する。一方、ステップＳ２０５にて、コミュニケーション装置１０Ａ−２とのコミュニケーションが継続していると判定された場合（回線が切断された場合）には、制御部１０８は、上述の一連の処理を終了する（Ｓ２０６）。
【００９３】
（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、以下のような効果を奏することができる。
【００９４】
第２の実施形態のコミュニケーション装置１０Ａでは、遠隔側利用者の利用者情報（利用者視線方向θＥ）に、自装置のディスプレイ本体１３１の画面方向を追従させている。具体的には、例えば、コミュニケーション装置１０Ａでは、遠隔側利用者が頭部の向きを右方向へ回転させた場合に、それに対応して自装置のディスプレイ本体１３１の画面方向を、右方向へ回転させている。また、第２の実施形態のコミュニケーション装置１０Ａでは、自装置のディスプレイ本体１３１の画面方向θＳに応じて、ディスプレイ本体１３１の画面に表示する遠隔側背景映像を、ディスプレイ本体１３１の画面の回転方向と逆方向に歪ませる処理（射影変換処理）を行っている。これにより、コミュニケーション装置１０Ａでは、自装置利用者に、遠隔側人物映像が静止しているかのように見せること等ができる。このことで、コミュニケーション装置１０Ａでは、自装置利用者へ、遠隔側利用者の些細な動作を、ディスプレイ本体１３１の画面の回転として強調して表現することができ、自装置利用者に対して遠隔側利用者の存在感を伝達することができる。
【００９５】
また、第２の実施形態のコミュニケーション装置１０Ａは、ハードウェア的には、従来のビデオ会議端末等に、ディスプレイの画面方向を制御できる機構を設けるだけで構築することができるため、低コストで実現することが可能である。
【００９６】
（Ｃ）第３の実施形態
以下、本発明によるコミュニケーションシステム及びコミュニケーション装置の第３の実施形態を、図面を参照しながら詳述する。
【００９７】
（Ｃ−１）第３の実施形態の構成
第３の実施形態のコミュニケーションシステム１Ｂの構成も、上述の図２により示すことができる。以下、第３の実施形態について、第１の実施形態との差異を中心として説明する。
【００９８】
第３の実施形態のコミュニケーションシステム１Ｂでは、コミュニケーション装置１０（１０−１、１０−２）が、コミュニケーション装置１０Ｂ（１０Ｂ−１、１０Ｂ−２）に置き換わっている点で、第１の実施形態と異なっている。
【００９９】
第３のコミュニケーション装置１０Ｂのハードウェア構成は、上述の図３に示す構成において、カメラ１２がカメラシステム１４（詳細については後述する）に置き換わっている点で、第１の実施形態と異なっている。一方、第３の実施形態のコミュニケーション装置１０Ｂを構成するコミュニケーション装置本体１１Ｂの機能的構成については、上述の図１により示すことができる。
【０１００】
第３の実施形態では、コミュニケーション装置１０Ｂを構成するコミュニケーション装置本体１１Ｂは、機能的には、映像取得部１０１Ｂ、映像処理部１０２、情報送信部１０３、情報受信部１０４、映像合成部１０５Ｂ、映像表示部１０６、回転制御部１０７、及び制御部１０８を有している。第３の実施形態のコミュニケーション装置本体１１Ｂでは、機能的には、映像取得部１０１Ｂ及び映像合成部１０５Ｂ以外の構成については、第１の実施形態と同様であるため、詳しい説明を省略する。
【０１０１】
次に、第３の実施形態のコミュニケーション装置１０Ｂにおける、複数のカメラ１５を備えるカメラシステム１４について説明する。
【０１０２】
図１０は、第３の実施形態のコミュニケーション装置１０Ｂが備えるカメラシステム１４の構成について示した説明図である。図１０では、カメラシステム１４を構成する複数のカメラ１５、利用者Ｕ、及びディスプレイ本体１３１の位置関係を上方向から見た構成について示している。
【０１０３】
図１０に示すように、カメラシステム１４は、３つのカメラ１５（１５−１〜１５−３）を備えている。また、図１０に示すように、それぞれのカメラ１５（１５−１〜１５−３）は、カメラ本体１５１（１５１−１〜１５１−３）及び、カメラ回転板１５２（１５２−１〜１５２−３）を備えている。それぞれのカメラ１５は、第１の実施形態のカメラ１２と同様のものを適用することができる。そして、カメラ１５−１は、第１の実施形態のカメラ１２と同様の位置に配置されているものとする。そして、カメラ１５−２及びカメラ１５−３は、利用者Ｕから見て、カメラ１５−１とは異なる方向から、利用者Ｕを撮像できるように配置されているものとする。
【０１０４】
図１０では、初期状態において所定の基準位置に利用者Ｕが位置した場合に、利用者Ｕから見て、カメラ１５−１は、利用者Ｕの正面方向（ディスプレイ本体１３１の回転軸と同じ方向）に配置されており、カメラ１５−２は利用者から見て左側、カメラ１５−３は利用者から見て右側に、それぞれ配置されている。なお、カメラシステム１４において、配置するカメラ１５の数及び配置する位置（撮像する方向）については限定されないものである。そして、カメラシステム１４では、それぞれのカメラ１５で撮像した映像データを、映像取得部１０１Ｂに供給する。
【０１０５】
映像取得部１０１Ｂは、それぞれのカメラ１５から供給された映像データを、遠隔側装置にリアルタイムで送信する。
【０１０６】
第１の実施形態のコミュニケーション装置１０では、遠隔側装置から自装置に供給されてくる映像データは１種類であったが、第３の実施形態のコミュニケーション装置１０Ｂでは、上述の通り３種類の映像データが供給されてくる。したがって、第３の実施形態の映像合成部１０５Ｂでは、処理対象となる映像データの選択を行う必要がある。ここでは、映像合成部１０５Ｂは、自装置利用者の利用者頭部方向θＨに応じて、映像データを選択するものとする。例えば、自装置利用者の利用者頭部方向θＨが９０度だった場合には、自装置利用者は、ディスプレイ本体１３１から見て右側に移動したことになる。そして、このときディスプレイ本体１３１に、遠隔利用者を右側から撮影することができるカメラ１５−３が撮影した映像を表示することで、自装置利用者には、あたかもその場に遠隔利用者が存在するような臨場感を与えることができる。
【０１０７】
ここでは、カメラ１５ごとに対応する利用者頭部方向θＨの情報が、映像合成部１０５Ｂに登録されているものとする。ここでは、映像合成部１０５Ｂは、利用者頭部方向θＨが−４５度〜＋４５の範囲内の場合にカメラ１５−１の映像データを処理対象として選択するものとする。また、映像合成部１０５Ｂは、利用者頭部方向θＨが＋４５度〜＋９０の範囲内の場合にカメラ１５−３の映像データを処理対象として選択するものとする。さらに、映像合成部１０５Ｂは、利用者頭部方向θＨが−４５度〜―９０の範囲内の場合にカメラ１５−２の映像データを処理対象として選択するものとする。
【０１０８】
そして、ここでは、映像合成部１０５Ｂは、選択した映像データについて、加工せずに、そのまま映像表示部１０６に供給するものとする。
【０１０９】
（Ｃ−２）第３の実施形態の動作
次に、以上のような構成を有する第３の実施形態のコミュニケーションシステム１Ｂの動作を説明する。
【０１１０】
以下では、第１の利用者Ｕ１が利用するコミュニケーション装置１０Ｂ−１の動作を中心として説明する。
【０１１１】
図１１は、コミュニケーションシステム１Ｂを構成するコミュニケーション装置１０Ｂの動作について示したフローチャートである。
【０１１２】
以下では、図１１を用いて、コミュニケーション装置１０Ｂ−１が、利用する第１の利用者Ｕ１の動きに応じて動作する場合について説明する。
【０１１３】
まず、コミュニケーション装置１０Ｂ−１とコミュニケーション装置１０Ｂ−２との間でビデオ通話が開始されたものとする（Ｓ３００）。
【０１１４】
次に、コミュニケーション装置１０Ｂ−１の映像処理部１０２Ｂにて、映像取得部１０１Ｂより取得された第１の利用者Ｕ１の映像を用いて、第１の利用者Ｕ１の利用者情報として利用者頭部方向θＨ１が算出される（Ｓ３０１）。
【０１１５】
次に、映像処理部１０２Ｂにて、上述のステップＳ３０１で算出された利用者頭部方向θＨ１に基づいて、画面方向θＳ１及び回転量θＴ１が決定される。そして、映像処理部１０２Ｂから回転制御部１０７へ決定された回転量θＴ１の情報が与えられる。そして、回転制御部１０７は、与えられた回転量θＴ１にしたがって、ディスプレイ本体１３１（ディスプレイ回転板１３２）を回転動作させる（Ｓ３０２）。
【０１１６】
そして、映像合成部１０５Ｂにて、遠隔側装置（コミュニケーション装置１０Ｂ−２）からの映像データ（複数種類の映像データ）が取得される（Ｓ３０３）。
【０１１７】
そして、映像合成部１０５Ｂにて、自装置利用者の利用者情報（利用者頭部方向θＨ１）に基づいて、遠隔側装置から供給された複数種類の映像データから処理対象となるものが１つ選択され、映像表示部１０６に与えられる（Ｓ３０４）。
【０１１８】
そして、映像表示部１０６により、映像合成部１０５Ｂから与えられた映像データの映像が、ディスプレイ本体１３１に表示される（Ｓ３０５）。なお、ステップＳ３０３〜Ｓ３０５の処理は、次に利用者情報が更新されるまで繰り返し行われる。
【０１１９】
そして、コミュニケーション装置１０Ｂ−１の制御部１０８にて、コミュニケーション装置１０Ｂ−２とのコミュニケーションが継続しているか否か、すなわち、コミュニケーション装置１０Ｂ−１、１０Ｂ−２の間の回線がつながっているか否かが確認される（Ｓ３０６）。ステップＳ３０６にて、コミュニケーション装置１０Ｂ−２とのコミュニケーションが継続していると判定された場合（回線が接続中の場合）には、制御部１０８は、上述のステップＳ３０１の処理に戻って、動作するように、各構成要素を制御する。一方、ステップＳ３０６にて、コミュニケーション装置１０Ｂ−２とのコミュニケーションが継続していると判定された場合（回線が切断された場合）には、制御部１０８は、上述の一連の処理を終了する（Ｓ３０７）。
【０１２０】
（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、以下のような効果を奏することができる。
【０１２１】
第３の実施形態のコミュニケーション装置１０Ｂでは、自装置利用者の利用者情報（利用者頭部方向θＨ）に、自装置のディスプレイ本体１３１の画面方向を追従させている。具体的には、コミュニケーション装置１０Ｂでは、自装置利用者に、ディスプレイ本体１３１の画面を正対させるように、ディスプレイ本体１３１の画面方向を制御している。
【０１２２】
また、第３の実施形態のコミュニケーション装置１０Ｂでは、自装置利用者の利用者情報（利用者頭部方向θＨ）に応じて、ディスプレイ本体１３１の画面に表示する遠隔側映像（遠隔側利用者を撮像する角度）を切替えている。これにより、コミュニケーション装置１０Ｂでは、自装置利用者に対して、遠隔側利用者が自身の動作に追従しているように見せることができる。このことで、コミュニケーション装置１０Ｂでは、自装置利用者に対して、遠隔側利用者を様々な角度から見回われるような感覚を与えることができ、相手（遠隔側利用者）の存在感を高めることができる。
【０１２３】
また、第３の実施形態のコミュニケーション装置１０Ｂは、ハードウェア的には、従来のビデオ会議端末等に、ディスプレイの画面方向を制御できる機構や、複数のカメラを設けるだけで構築することができるため、低コストで実現することが可能である。
【０１２４】
（Ｄ）第４の実施形態
以下、本発明によるコミュニケーションシステム及びコミュニケーション装置の第４の実施形態を、図面を参照しながら詳述する。
【０１２５】
（Ｄ−１）第４の実施形態の構成
第４の実施形態のコミュニケーションシステム１Ｃの構成も、上述の図２により示すことができる。以下、第４の実施形態について、第３の実施形態との差異を中心として説明する。
【０１２６】
第４の実施形態のコミュニケーションシステム１Ｃでは、コミュニケーション装置１０Ｂ（１０Ｂ−１、１０Ｂ−２）が、コミュニケーション装置１０Ｃ（１０Ｃ−１、１０Ｃ−２）に置き換わっている点で、第３の実施形態と異なっている。
【０１２７】
第４のコミュニケーション装置１０Ｃのハードウェア構成は、第３の実施形態と同様の構成となっている。すなわち、第４のコミュニケーション装置１０Ｃは、第３の実施形態と同様に、カメラシステム１４を備えている。また、第４の実施形態のコミュニケーション装置１０Ｃを構成するコミュニケーション装置本体１１Ｃの機能的構成については、上述の図１により示すことができる。
【０１２８】
第４の実施形態のコミュニケーション装置１０Ｃを構成するコミュニケーション装置本体１１Ｃは、機能的には、映像取得部１０１Ｂ、映像処理部１０２Ｃ、情報送信部１０３、情報受信部１０４、映像合成部１０５Ｃ、映像表示部１０６、回転制御部１０７Ｃ、及び制御部１０８を有している。第４の実施形態のコミュニケーション装置本体１１Ｃでは、機能的には、映像処理部１０２Ｃ、映像合成部１０５Ｃ及び回転制御部１０７Ｃ以外の構成については、第３の実施形態と同様であるので詳しい説明を省略する。
【０１２９】
映像処理部１０２Ｃは、利用者情報として、利用者頭部方向θＨではなく、利用者視線方向θＥを把握する点で、第３の実施形態と異なっている。
【０１３０】
第３の実施形態において、映像処理部１０２Ｂは、自装置利用者の利用者頭部方向θＨに基づいて、遠隔側装置から自装置に供給されてくる複数種類の映像データから、１種類の映像データを選択していた。これに対して、第４の実施形態の映像処理部１０２Ｃでは、遠隔側利用者の利用者視線方向θＥに応じて、映像データを選択するものとする。ここでは、映像合成部１０５Ｃは、利用者視線方向θＥに基づいて、遠隔側利用者の顔をできるだけ正面から撮影した映像データを選択するものとする。
【０１３１】
図１０に示すように、遠隔側装置のカメラシステム１４には、３台のカメラ１５−１〜１５−３が配置されている。そして、カメラ１５ごとに対応する遠隔側利用者の利用者視線方向θＥの情報が、映像合成部１０５Ｃで保持されているものとする。例えば、映像合成部１０５Ｃは、利用者視線方向θＥが−４５度〜＋４５の範囲内の場合にカメラ１５−１の映像データを処理対象として選択するものとする。また、映像合成部１０５Ｃは、利用者視線方向θＥが＋４５度〜＋９０の範囲内の場合にカメラ１５−２の映像データを処理対象として選択するものとする。さらに、映像合成部１０５Ｃは、利用者視線方向θＥが−４５度〜―９０の範囲内の場合にカメラ１５−３の映像データを処理対象として選択するものとする。
【０１３２】
そして、ここでは、映像合成部１０５Ｃは、選択した映像データについて、加工せずに、そのまま映像表示部１０６に供給するものとする。
【０１３３】
第３の実施形態の回転制御部１０７は、第１の実施形態と同様に、自装置利用者の利用者頭部方向θＨに基づいて、自装置のディスプレイ本体１３１を向ける方向（画面方向θＳ）を決定していた。これに対して、第４の実施形態の回転制御部１０７Ｃでは、第２の実施形態の回転制御部１０７Ａと同様に、遠隔側利用者の利用者視線方向θＥに基づいて、自装置の画面方向θＳを決定するものとする。すなわち、回転制御部１０７Ｃは、第２の実施形態の回転制御部１０７Ａと同様の処理を行うものであり、ここでは詳しい説明を省略する。
【０１３４】
（Ｄ−２）第４の実施形態の動作
次に、以上のような構成を有する第４の実施形態のコミュニケーションシステム１Ｃの動作を説明する。
【０１３５】
以下では、第１の利用者Ｕ１が利用するコミュニケーション装置１０Ｃ−１の動作を中心として説明する。
【０１３６】
図１２は、コミュニケーションシステム１Ｃを構成するコミュニケーション装置１０Ｃの動作について示したフローチャートである。
【０１３７】
まず、コミュニケーション装置１０Ｃ−１とコミュニケーション装置１０Ｃ−２との間でビデオ通話が開始されたものとする（Ｓ４００）。
【０１３８】
そして、コミュニケーション装置１０Ｃ−２の映像処理部１０２により、映像取得部１０１で取得された第２の利用者Ｕ２の映像を用いて、第２の利用者Ｕ２の状態に関する利用者情報（利用者視線方向θＥ２）が算出される。そして、コミュニケーション装置１０Ｃ−２で算出された利用者情報（利用者視線方向θＥ２）が、コミュニケーション装置１０Ｃ−１に供給されたものとする（Ｓ４０１）。
【０１３９】
そして、コミュニケーション装置１０−１において、回転制御部１０７Ｃにより、上述のステップＳ４０１で供給された利用者視線方向θＥ２に基づいて、画面方向θＳ１及び回転量θＴ１が決定される。そして、回転制御部１０７Ｃにより、決定された回転量θＴ１にしたがって、ディスプレイ本体１３１（ディスプレイ回転板１３２）が回転動作するように制御される（Ｓ４０２）。
【０１４０】
そして、映像合成部１０５Ｃにて、遠隔側利用者の利用者視線方向θＥ２に基づいて、遠隔側装置から供給された複数種類の映像データから処理対象となるものが１つ選択され、映像表示部１０６に与えられる（Ｓ４０３）。
【０１４１】
そして、映像表示部１０６により、映像合成部１０５Ｃから与えられた映像データの映像が、ディスプレイ本体１３１に表示される（Ｓ４０４）。なお、ステップＳ４０３、Ｓ４０４の処理は、次に利用者情報が更新されるまで繰り返し行われる。
【０１４２】
そして、コミュニケーション装置１０Ｃ−１の制御部１０８にて、コミュニケーション装置１０Ｃ−２とのコミュニケーションが継続しているか否か、すなわち、コミュニケーション装置１０Ｃ−１、１０Ｃ−２の間の回線がつながっているか否かが確認される（Ｓ４０５）。ステップＳ４０５にて、コミュニケーション装置１０Ｃ−２とのコミュニケーションが継続していると判定された場合（回線が接続中の場合）には、制御部１０８は、上述のステップＳ４０１の処理に戻って動作するように、各構成要素を制御する。一方、ステップＳ４０５にて、コミュニケーション装置１０Ｃ−２とのコミュニケーションが継続していると判定された場合（回線が切断された場合）には、制御部１０８は、上述の一連の処理を終了する（Ｓ４０６）。
【０１４３】
（Ｄ−３）第４の実施形態の効果
第４の実施形態によれば、以下のような効果を奏することができる。
【０１４４】
第４の実施形態のコミュニケーション装置１０Ｃでは、第２の実施形態と同様に、遠隔側利用者の利用者情報（利用者視線方向θＥ）に、自装置のディスプレイ本体１３１の画面方向を追従させている。また、第４の実施形態のコミュニケーション装置１０Ｃでは、自装置利用者の利用者情報（利用者視線方向θＥ）に応じて、ディスプレイ本体１３１の画面に表示する遠隔側映像（遠隔側利用者を撮像する角度）を切替えている。例えば、コミュニケーション装置１０Ｃでは、複数の角度から遠隔側利用者を撮影した映像データのうち、できるだけ遠隔側利用者が正面を向いている映像の映像データを選択して、ディスプレイ本体１３１の画面に表示している。これにより、コミュニケーション装置１０Ｃでは、自装置利用者に対して、常に、正面方向から撮影した遠隔側利用者を提示することができる。これにより、コミュニケーション装置１０Ｃでは、自装置利用者へ、第２の実施形態のような存在感を伝達すると同時に、遠隔側利用者の顔の表情を同時に見せることができ、より臨場感のあるコミュニケーションを提供することができる。
【０１４５】
また、第４の実施形態のコミュニケーション装置１０Ｃは、ハードウェア的には、従来のビデオ会議端末等に、ディスプレイの画面方向を制御できる機構や、複数のカメラを設けるだけで構築することができるため、低コストで実現することが可能である。
【０１４６】
（Ｅ）第５の実施形態
以下、本発明によるコミュニケーションシステム及びコミュニケーション装置の第５の実施形態を、図面を参照しながら詳述する。
【０１４７】
（Ｅ−１）第５の実施形態の構成
第５の実施形態のコミュニケーションシステム１Ｄの構成も、図２により示すことができる。
【０１４８】
第５の実施形態のコミュニケーションシステム１Ｄは、コミュニケーション装置１０Ｄ（１０Ｄ−１、１０Ｄ−２）を有している。
【０１４９】
第５の実施形態のコミュニケーション装置１０Ｄは、動作モードを切り替えることにより、第１〜第４の実施形態のいずれかの処理を実現する構成を備えている。すなわち、第５の実施形態のコミュニケーション装置１０Ｄは、第１の実施形態と同様の動作を行うことができる動作モード（以下、「モードＭ１」と表わす）と、第２の実施形態と同様の動作を行うことができる動作モード（以下、「モードＭ２」と表わす）と、第３の実施形態と同様の動作を行うことができる動作モード（以下、「モードＭ３」と表わす）と、第４の実施形態と同様の動作を行うことができる動作モード（以下、「モードＭ４」と表わす）とを備えており、動作モードを切り替えて動作することができる。
【０１５０】
以下、第５の実施形態について、第１〜第４の実施形態との差異について説明する。
【０１５１】
コミュニケーション装置１０Ｄは、ハードウェア的には、第３及び第４の実施形態のコミュニケーション装置１０Ｂ、１０Ｃと同様の構成を備えているものとする。ここでは、コミュニケーション装置１０Ｄは、第３、第４の実施形態と同様に、カメラシステム１４を備えており、モードＭ１、モードＭ２で動作する場合には、カメラシステム１４を構成する一つのカメラ１５（ここでは、カメラ１５−１であるものとする）が、第１及び第２の実施形態におけるカメラ１２として動作するものとして説明する。
【０１５２】
図１３は、コミュニケーション装置１０Ｄを構成するコミュニケーション装置本体１１Ｄの機能的構成について示した説明図である。
【０１５３】
コミュニケーション装置１０Ｄを構成するコミュニケーション装置本体１１Ｄは、機能的には、映像取得部１０１Ｄ、映像処理部１０２Ｄ、情報送信部１０３、情報受信部１０４、映像合成部１０５Ｄ、映像表示部１０６、回転制御部１０７Ｄ、制御部１０８、及びコミュニケーション推定部１０９を有している。情報送信部１０３、情報受信部１０４、映像表示部１０６、及び制御部１０８については、第１〜第４の実施形態と同様のものを適用することができるので、詳しい説明を省略する。
【０１５４】
コミュニケーション推定部１０９は、自装置利用者と遠隔側利用者との間のコミュニケーションの状況に応じて、自装置の動作モードを選択する。そして、コミュニケーション推定部１０９は、選択した動作モードで動作するように自装置の各構成要素を制御する処理を行う。なお、この実施形態において、コミュニケーション装置１０Ｄは、上述の通り、モードＭ１〜モードＭ４に対応するものとして説明するが、対応する動作モードの数や組合せは限定されないものである。例えば、コミュニケーション装置１０Ｄでは、モードＭ１〜モードＭ４のうち一部の動作モードについてだけ対応するようにしても良いし、さらに他の動作モードを追加するようにしても良い。
【０１５５】
そして、映像取得部１０１Ｄ、映像処理部１０２Ｄ、映像合成部１０５Ｄ、及び回転制御部１０７Ｄは、コミュニケーション推定部１０９で選択された動作モードに従った処理を行うようになる。例えば、コミュニケーション推定部１０９で、モードＭ１が選択された場合には、映像取得部１０１Ｄ、映像処理部１０２Ｄ、映像合成部１０５Ｄ、及び回転制御部１０７Ｄは、第１の実施形態と同様の処理（例えば、上述の図６に示すフローチャートの処理）を行うことになる。
【０１５６】
コミュニケーション推定部１０９が、初期において選択する動作モードは限定されないものであり、例えば、予め設定された動作モードで動作を開始し、その後他の動作モードに切り替えるようにしても良い。
【０１５７】
また、コミュニケーション推定部１０９が、動作モードを切り替える契機については限定されないものである。コミュニケーション推定部１０９が、動作モードを切り替える契機については、例えば、自装置利用者又は遠隔側利用者の操作（例えば、図示しないキーボードやタッチパネル等を用いた操作）に基づいて、切り替えるようにしても良い。また、コミュニケーション推定部１０９は、例えば、利用者情報や、利用者の発話した音声に基づいて、自装置利用者と遠隔側利用者との間のコミュニケーションの状況を推定し、その推定結果に基づいて、自装置の動作モードを切り替えるようにしても良く、具体例としては、以下のような方法が挙げられる。
【０１５８】
[コミュニケーション時間に応じた切替え]
コミュニケーション推定部１０９が、自装置の動作モードの選択を行う方法としては、例えば、コミュニケーション時間が挙げられる。
【０１５９】
例えば、コミュニケーション推定部１０９は、自装置利用者と遠隔側利用者との間の会話が始まってすぐの間（例えば、遠隔側装置との呼接続が開始されてから一定時間経過するまでの間）は、モードＭ１とするようにしてもよい。自装置利用者と遠隔側利用者との間の会話が始まってからすぐの間は、お互いの存在を認め合う必要があるため、相手（遠隔側利用者）の動作に応じて、画面方向及び遠隔側背景映像変換が変動しない方が良いと推定できるためである。そして、自装置利用者と遠隔側利用者との間の会話が始まってから一定時間が経過した場合（例えば、呼が接続してから一定時間経過した場合）には、コミュニケーション推定部１０９は、自装置の動作モードをモードＭ２とするようにしてもよい。自装置利用者と遠隔側利用者との間の会話が始まってから一定時間が経過した場合には、会話が乗ってきており、相手（遠隔側利用者）の反応がコミュニケーションに特に重要になるため、相手の動作に応じて、画面方向及び遠隔側背景映像を変動させた方が良いと推定できるためである。
【０１６０】
[発話者の交代に応じた切替え]
コミュニケーション推定部１０９が、自装置の動作モードの選択を行う方法としては、例えば、発話者の交代に応じた切替え方法が挙げられる。
【０１６１】
具体的には、コミュニケーション推定部１０９は、話し手と聞き手の交代に応じたモードの切り替えを行うようにしても良い。コミュニケーション推定部１０９は、例えば、自装置が備えるマイクが捕捉した自装置利用者の音声信号と、遠隔側のコミュニケーション装置１０Ｂから供給された遠隔側利用者の音声信号とを保持し、保持した２つの音声信号に基づいて、現在の話し手がいずれの利用者であるのかを判定するようにしても良い。コミュニケーション推定部１０９が、いずれの利用者が話し手であるかを判定する方法については限定されないものであるが、例えば、いずれかの利用者がある一定時間発言を続けている場合（たとえば、一定時間以上、音声信号のパワーが閾値以上だった場合）には、その利用者を話し手として判断し、他方を聞き手と判断するようにしても良い。コミュニケーション推定部１０９が、いずれの利用者が話し手であるかを判定する方法としては、その他にも参考文献５（特開２０１０−３２７９２号公報）に記載されているような発話者の切り替えを検出することで発話者の交代を認識することや、うなずきの回数を測定して判定するようにしても良い。
【０１６２】
そして、コミュニケーション推定部１０９は、現在の話し手が、自装置利用者であると判定した場合には、モードＭ２とするようにしても良い。これは、自装置利用者が話し手の場合には、自分の話している内容に対する相手（遠隔側利用者）の反応が知りたいと考えられるため、遠隔側利用者の動作に応じて、画面方向及び遠隔側背景映像変換を制御する方が良いと推定できるためである。また、コミュニケーション推定部１０９は、現在の聞き手が、自装置利用者であると判定した場合には、モードＭ１とするようにしても良い。これは、自装置利用者が聞き手の場合には、話している相手が目の前にいるような感覚が望まれると推定できるためである。
【０１６３】
［利用者の身体的位置情報に応じた切り替え］
コミュニケーション推定部１０９が、自装置の動作モードの選択を行う方法としては、例えば、遠隔側利用者又は自装置利用者の身体的位置情報に応じたモードの切り替えが挙げられる。ここで、身体的位置情報とは、例えば、利用者頭部方向θＨや利用者視線方向θＥ等の利用者情報に含まれるパラメータが挙げられる。コミュニケーション推定部１０９は、例えば、遠隔側利用者又は字装置利用者の利用者情報（利用者頭部方向θＨ又は利用者視線方向θＥ）が、所定範囲を超えて変動した場合にモード切換えを行うようにしてもよい。
【０１６４】
例えば、遠隔側利用者の利用者頭部方向θＨが、ディスプレイ本体１３１の正面から見て、ある一定範囲以内の角度（例えば、−４５度〜４５度の範囲内）で遷移している場合には、コミュニケーション推定部１０９は、モードＭ１又はモードＭ２を選択するようにしても良い。また、遠隔側利用者の利用者頭部方向θＨが上述の範囲外の角度となった場合には、コミュニケーション推定部１０９は、モードＭ３又はモードＭ４を選択するようにしても良い。これは、遠隔側利用者の利用者頭部方向θＨが上述の一定範囲内の角度を外れた場合には、遠隔利用者の側面方向に興味の対象があると推定できるためである。
【０１６５】
［遠隔地の映像に対応した切り替え］
コミュニケーション推定部１０９が、自装置の動作モードの選択を行う方法としては、例えば、遠隔側装置から供給された映像データの映像に、遠隔側背景映像および遠隔側人物映像以外の物体が写っていた場合に対応したモードの切り替えが挙げられる。
【０１６６】
例えば、遠隔側利用者が、自装置利用者の興味の引くような物体を提示した場合には、自装置利用者はその物体（例えば、取引商品等）を様々な角度から見たいと推定できる。このとき、コミュニケーション推定部１０９は、自装置の動作モードをモードＭ３へと切り替えることで、自装置利用者は、その物体を様々な角度から身を乗り出しながらその物体を見ることができる。コミュニケーション推定部１０９が、遠隔側装置から供給された映像データに基づいて、遠隔地背景および遠隔人物像以外の物体を判定するためには、例えばパターンマッチングなどの物体追跡手法が考えられる。具体的には、遠隔側利用者が所定パターンが付された物体（例えば、２次元バーコード等が付された商品）を提示した場合、コミュニケーション推定部１０９は、遠隔側装置から供給された映像データの内容から、その所定のパターンを認識して、動作モードをモードＭ３へ切り替えるようにしても良い。
【０１６７】
（Ｅ−２）第５の実施形態の動作
次に、以上のような構成を有する第５の実施形態のコミュニケーションシステム１Ｄの動作を説明する。
【０１６８】
図１４は、コミュニケーションシステム１を構成するコミュニケーション装置１０Ｄ（コミュニケーション推定部１０９）の動作について示したフローチャートである。以下では、第１の利用者Ｕ１が利用するコミュニケーション装置１０Ｄ−１（コミュニケーション推定部１０９）の動作を中心として説明する。
【０１６９】
まず、コミュニケーション装置１０Ｄ−１とコミュニケーション装置１０Ｄ−２との間でビデオ通話が開始されたものとする（Ｓ５００）。ここでは、初期状態として、コミュニケーション装置１０Ｄ−１では、モードＭ１で動作するように設定されているものとする。
【０１７０】
そして、コミュニケーション装置１０Ｄ−１において、コミュニケーション推定部１０９により、自装置の動作モードの変更の要否が判定される。そして、コミュニケーション推定部１０９は、動作モードの変更が必要と判定した場合には、変更後のモードに応じた動作をするように、自装置内の各構成要素を制御する（Ｓ５０１）。
【０１７１】
ここでは、例として、コミュニケーション推定部１０９は、コミュニケーション時間に応じて、自装置の動作モード変更の要否を判定するものとする。その場合、コミュニケーション推定部１０９は、ビデオ通話が開始されたタイミング（上述のステップＳ５００のタイミング）で、時間を計測するためのタイマ（図示せず）をスタートさせ、そのタイマの計測時間が一定時間以下の場合には、動作モード変更は不要と判定するようにしても良い。そして、コミュニケーション推定部１０９は、上述のタイマの計測時間が一定時間異常の場合に、自装置の動作モードをモードＭ２に変更すると判定するようにしても良い。なお、コミュニケーション推定部１０９が同時に行う判定処理（コミュニケーションの状況の推定処理）は、１種類であっても良いし、複数種類であってもよく、その種類や数は限定されないものである。
【０１７２】
そして、コミュニケーション装置１０Ｄ−１の制御部１０８にて、コミュニケーション装置１０Ｄ−２とのコミュニケーションが継続しているか否か、すなわち、コミュニケーション装置１０Ｄ−１、１０Ｄ−２の間の回線がつながっているか否かが確認される（Ｓ５０２）。ステップＳ５０２にて、コミュニケーション装置１０Ｄ−２とのコミュニケーションが継続していると判定された場合（回線が接続中の場合）には、制御部１０８は、上述のステップＳ５０１の処理に戻って、動作する。一方、ステップＳ５０２にて、コミュニケーション装置１０Ｄ−２とのコミュニケーションが継続していると判定された場合（回線が切断された場合）には、制御部１０８は、上述の一連の処理を終了する（Ｓ５０３）。
【０１７３】
（Ｅ−３）第５の実施形態の効果
第５の実施形態によれば、以下のような効果を奏することができる。
【０１７４】
コミュニケーション装置１０Ｄ−１、１０Ｄ−２では、利用者のディスプレイ本体１３１の動作と、ディスプレイ本体１３１の画面に表示される遠隔側の映像の加工・変形操作等の連動手法を、利用者間のコミュニケーションの状況に応じて動的に切り替えている。これにより、コミュニケーションシステム１Ｄでは、第１〜第４の実施形態と比較して、さらなる臨場感を利用者に提供することができる。
【０１７５】
（Ｆ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【０１７６】
（Ｆ−１）上記の各実施形態では、映像合成部が、遠隔側装置から供給された映像データの映像から、遠隔側背景映像と遠隔側人物映像とを分離する際に、映像処理（背景差分法）を用いる例について説明した。しかし、映像合成部の分離方法はこれに限定されず、例えば、深度センサを有したカメラなどを用いて利用者を撮像することで、計測された深度に応じて複数に分離された映像群を用いて、遠隔側背景映像と遠隔側人物映像とを分離するようにしても良い。例えば、映像合成部は、上述の深度センサを有したカメラに最も近距離の物体の映像が利用者の映像（遠隔側人物映像）であり、それよりも遠距離の物体の映像を背景の映像（遠隔側背景映像）であると認識するようにしても良い。
【０１７７】
（Ｆ−２）上記の各実施形態において、ディスプレイ本体は、ディスプレイ回転板により左右方向（水平方向）にのみ画面を回転できる構成として説明したが、上下方向（水平方向）に画面を回転できる構成としても良いし、左右方向及び上下方向の両方に画面を回転できる構成としても良い。なお、利用者を撮像するカメラについてもディスプレイ本体と同様に、左右方向及び又は上下方向に回転可能な構成としても良い。
【０１７８】
（Ｆ−３）第５の実施形態では、コミュニケーション装置は、遠隔側装置から供給される利用者情報および、遠隔側装置から供給される音声信号から得られる発話音声を用いて、動作モードを切り替えるためのコミュニケーションの推定を行うことを説明した。しかし、コミュニケーション装置は、その他にも超音波センサなどに代表される距離センサや赤外線カメラなどで取得できる利用者の位置情報等から、統合的に利用者情報を構成してコミュニケーションの推定処理に適用するようにしても良いし、それを上記の実施形態に組み合わせて、コミュニケーションの推定処理の精度を向上させるようにしても良い。
【０１７９】
（Ｆ−４）上記の各実施形態におけるコミュニケーション装置が行う情報処理（利用者に対する入出力処理は除く）について、どの処理をどの装置が行うかは、上記の各実施形態の例に限定されないものである。例えば、利用者に対する入出力処理以外の情報処理については、第１又は第２の利用者が利用するコミュニケーション装置のいずれか一方でのみ行うようにしても良い。また、各コミュニケーション装置は、利用者に対する入出力処理のみを行い、その他の処理（利用者情報の取得や、映像の合成、ディスプレイ本体の画面の向きの制御等）を一括して、ＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）形式でサーバによる処理を行うようにしても良い。この場合、各コミュニケーション装置は、上述のサーバを介して、遠隔側装置と接続する構成となる。
【０１８０】
（Ｆ−５）上記の各実施形態では、２者間のコミュニケーションを提供するシステムとして説明したが、３者以上の利用者間のコミュニケーションに適用するようにしても良い。例えば、音声だけを３者会議とし、ディスプレイ本体の画面及び画面の向きを変更する対象として、いずれか１人の遠隔側利用者を選択（例えば、利用者の操作により選択するようにしても良い）して適用するようにしても良い。
【０１８１】
（Ｆ−６）第３及び第４の実施形態では、映像合成部は、遠隔側背景映像について特に加工を行っていないが、第１の実施形態と同様に、ディスプレイ本体の画面の向きに応じた加工を施すようにしても良い。また、第１及び第２の実施形態では、映像合成部は、遠隔側背景映像について射影変換等の加工をおこなっているが、特に加工せずに、ディスプレイ本体の画面に表示するようにしても良い。
【符号の説明】
【０１８２】
１…コミュニケーションシステム、１０、１０−１、１０−２…コミュニケーション装置、Ｎ…ネットワーク、１１…コミュニケーション装置本体、１２…カメラ、１２１…カメラ本体、１２２…カメラ回転板、１３…ディスプレイ、１３１…ディスプレイ本体、１３２…ディスプレイ回転板、１０１…映像取得部、１０２…映像処理部、１０３…情報送信部、１０４…情報受信部、１０５…映像合成部、１０６…映像表示部、１０７…回転制御部、１０８…制御部。
【特許請求の範囲】
【請求項１】
第１の利用者と第２の利用者との間のコミュニケーションを可能とするコミュニケーションシステムにおいて、
１又は複数のカメラを用いて、上記第２の利用者を撮像した映像の映像データを保持する映像データ保持手段と、
上記映像データ保持手段が保持した映像データに基づく映像を、上記第１の利用者に提示するために画面表示するディスプレイと、上記ディスプレイの画面方向を制御に応じた方向に向ける画面方向制御機構とを備える映像表示手段と、
上記第１の利用者又は上記第２の利用者の身体的位置情報を取得する身体的位置情報取得手段と、
上記第１の利用者又は上記第２の利用者の身体的位置情報に応じて、上記ディスプレイの新たな画面方向を決定し、上記ディスプレイの画面方向が決定した画面方向となるように、上記画面方向制御機構を制御する画面方向制御手段と
を有することを特徴とするコミュニケーションシステム。
【請求項２】
上記ディスプレイの画面方向に応じて、上記映像データ保持手段が保持した映像データの映像を加工する映像データ加工手段をさらに有し、
上記映像表示手段は、上記映像データ加工手段が加工した映像データの映像を、上記ディスプレイの画面に表示する
ことを特徴とする請求項１に記載のコミュニケーションシステム。
【請求項３】
上記映像データ加工手段は、上記ディスプレイの画面方向に応じて、上記映像データ保持手段が保持した映像データの映像の射影変換を行うことを特徴とする請求項２に記載のコミュニケーションシステム。
【請求項４】
映像データ保持手段は、それぞれ異なる方向から、上記第２の利用者を撮像する複数のカメラを備えており、それぞれの上記カメラが撮像した映像の映像データを保持し、
上記第１の利用者又は上記第２の利用者の身体的位置情報に応じて、上記カメラが撮像した映像データのうち、いずれかの映像データを選択する映像データ選択手段をさらに備え、
上記映像表示手段は、上記映像データ選択手段が選択した映像データに基づく映像を、上記ディスプレイの画面に表示させる
ことを特徴とする請求項１に記載のコミュニケーションシステム。
【請求項５】
第１の利用者と第２の利用者との間のコミュニケーションを可能とするコミュニケーションシステムを構成する、上記第１の利用者が利用する第１のコミュニケーション装置において、
上記第２の利用者が利用する第２のコミュニケーション装置から、１又は複数のカメラを用いて、上記第２の利用者を撮像した映像データを取得する映像データ取得手段と、
上記映像データ取得手段が取得した映像データの映像を、上記第１の利用者に提示するために画面表示するディスプレイと、上記ディスプレイの画面方向を制御に応じた方向に向ける画面方向制御機構とを備える映像表示手段と、
上記第１の利用者又は上記第２の利用者の身体的位置情報を取得する身体的位置情報取得手段と、
上記第１の利用者又は上記第２の利用者の身体的位置情報に応じて、上記ディスプレイの新たな画面方向を決定し、上記ディスプレイの画面方向が決定した画面方向となるように、上記画面方向制御機構を制御する画面方向制御手段と
を有することを特徴とするコミュニケーション装置。
【請求項１】
第１の利用者と第２の利用者との間のコミュニケーションを可能とするコミュニケーションシステムにおいて、
１又は複数のカメラを用いて、上記第２の利用者を撮像した映像の映像データを保持する映像データ保持手段と、
上記映像データ保持手段が保持した映像データに基づく映像を、上記第１の利用者に提示するために画面表示するディスプレイと、上記ディスプレイの画面方向を制御に応じた方向に向ける画面方向制御機構とを備える映像表示手段と、
上記第１の利用者又は上記第２の利用者の身体的位置情報を取得する身体的位置情報取得手段と、
上記第１の利用者又は上記第２の利用者の身体的位置情報に応じて、上記ディスプレイの新たな画面方向を決定し、上記ディスプレイの画面方向が決定した画面方向となるように、上記画面方向制御機構を制御する画面方向制御手段と
を有することを特徴とするコミュニケーションシステム。
【請求項２】
上記ディスプレイの画面方向に応じて、上記映像データ保持手段が保持した映像データの映像を加工する映像データ加工手段をさらに有し、
上記映像表示手段は、上記映像データ加工手段が加工した映像データの映像を、上記ディスプレイの画面に表示する
ことを特徴とする請求項１に記載のコミュニケーションシステム。
【請求項３】
上記映像データ加工手段は、上記ディスプレイの画面方向に応じて、上記映像データ保持手段が保持した映像データの映像の射影変換を行うことを特徴とする請求項２に記載のコミュニケーションシステム。
【請求項４】
映像データ保持手段は、それぞれ異なる方向から、上記第２の利用者を撮像する複数のカメラを備えており、それぞれの上記カメラが撮像した映像の映像データを保持し、
上記第１の利用者又は上記第２の利用者の身体的位置情報に応じて、上記カメラが撮像した映像データのうち、いずれかの映像データを選択する映像データ選択手段をさらに備え、
上記映像表示手段は、上記映像データ選択手段が選択した映像データに基づく映像を、上記ディスプレイの画面に表示させる
ことを特徴とする請求項１に記載のコミュニケーションシステム。
【請求項５】
第１の利用者と第２の利用者との間のコミュニケーションを可能とするコミュニケーションシステムを構成する、上記第１の利用者が利用する第１のコミュニケーション装置において、
上記第２の利用者が利用する第２のコミュニケーション装置から、１又は複数のカメラを用いて、上記第２の利用者を撮像した映像データを取得する映像データ取得手段と、
上記映像データ取得手段が取得した映像データの映像を、上記第１の利用者に提示するために画面表示するディスプレイと、上記ディスプレイの画面方向を制御に応じた方向に向ける画面方向制御機構とを備える映像表示手段と、
上記第１の利用者又は上記第２の利用者の身体的位置情報を取得する身体的位置情報取得手段と、
上記第１の利用者又は上記第２の利用者の身体的位置情報に応じて、上記ディスプレイの新たな画面方向を決定し、上記ディスプレイの画面方向が決定した画面方向となるように、上記画面方向制御機構を制御する画面方向制御手段と
を有することを特徴とするコミュニケーション装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−９１１１（Ｐ２０１３−９１１１Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１３９８２１（Ｐ２０１１−１３９８２１）
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]