画像処理装置及び、画像処理方法
【課題】
テレビ電話装置において、一旦接続が完了すると、画面を見ていても、見ていなくても、映像データは転送されるため、有限なリソースであるネットワーク帯域を無駄に消費してしまう場合がある。
【解決手段】
テレビ電話装置において、視聴者側端末のおいて、相手側の映像を解析し、相手が画面を見ていると判断される場合は、送出する映像データの圧縮率を低く（ビットレートを高く）し、相手が画面を見ていないと判断される場合は、送出する映像データの圧縮率を高く（ビットレートを低く）し、ネットワーク帯域を無駄に消費しないよう適切に制御する。
テレビ電話装置において、一旦接続が完了すると、画面を見ていても、見ていなくても、映像データは転送されるため、有限なリソースであるネットワーク帯域を無駄に消費してしまう場合がある。
【解決手段】
テレビ電話装置において、視聴者側端末のおいて、相手側の映像を解析し、相手が画面を見ていると判断される場合は、送出する映像データの圧縮率を低く（ビットレートを高く）し、相手が画面を見ていないと判断される場合は、送出する映像データの圧縮率を高く（ビットレートを低く）し、ネットワーク帯域を無駄に消費しないよう適切に制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、映像音声によるコミュニケーション手段であるテレビ電話装置に関するもので、特に映像音声データの制御技術に関するものである。
【背景技術】
【０００２】
近年、ネットワークの普及、広帯域化と、デジタル放送を始めとするデジタル映像、音声技術の発展により、映像と音声によるコミュニケーション手段であるテレビ電話装置が一般家庭にも普及するものと思われる。
【０００３】
これに関連して、参加者の表示画面に対する興味領域を含む視線位置をリアルタイムに検出し、映像画質の劣化を参加者に意識させることなく通信の低コスト化を図る画像圧縮通信方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−５４８３０公報 画像圧縮通信方法及び装置
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来技術では、通信相手から視線情報を受け取り、受け取った視線情報を元に映像の圧縮率が低い値（つまりデータレートが高い値）となるように映像圧縮手段により圧縮して送信手段に出力するものである。従って、通信を行う双方のシステムが前記の方式に対応している必要がある点、および、相互に視線情報を交換するため、その分余分なデータ転送が発生してしまう点が課題である。
【課題を解決するための手段】
【０００６】
本技術によるテレビ電話装置では、通信相手の視線情報を、受信した映像から検出し、その検出した視線情報から、通信相手に送信する映像のビットレートを制御する手段を有することを特徴とする。
【発明の効果】
【０００７】
これにより、通信相手の視線情報の取得が不要となり、視線情報の余分なデータ転送を発生させることがなくなる。また、ビットレートを制御する機能を持たない従来型のテレビ電話装置との接続においても、通信相手から映像のビットレートの制御機能は動作しないが、システム上の接続性については互換が確保されており、ユーザの利便性を高めることができる。
【図面の簡単な説明】
【０００８】
【図１】実施例１における画像処理装置の機能ブロック図の例である。
【図２】実施例１における視線検出処理のフローチャートの例である。
【図３】実施例１における第１の動作例の図である。
【図４】実施例１における第２の動作例の図である。
【図５】実施例１における第３の動作例の図である。
【図６】実施例２における画像処理装置の機能ブロック図の例である。
【図７】実施例２における音声検出処理のフローチャートの例である。
【図８】実施例３における画像処理装置の機能ブロック図の例である。
【図９】実施例３における視線検出処理のフローチャートの例である。
【図１０】実施例４における画像処理装置の機能ブロック図の例である。
【図１１】実施例４における視線検出処理のフローチャートの例である。
【図１２】実施例４におけるレート設定の例である。
【図１３】実施例４における動作例の図である。
【図１４】実施例５における画像処理装置の機能ブロック図の例である。
【図１５】実施例５における視線検出処理のフローチャートの例である。
【図１６】実施例５におけるレート設定の例である。
【図１７】実施例５における動作例の図である。
【図１８】画像処理装置のハードウェア構成図の例である。
【発明を実施するための形態】
【０００９】
図１８は本実施の形態に係る画像処理装置のハードウェア構成図の例である。
画像処理装置３００はストレージ部１８０１、外部機器制御部１８０２、通信部１８０３、メモリ１８０４、制御部１８０５から構成され、それぞれがハブ１８０６により接続されている。
【００１０】
外部機器制御部１８０２は、マイク、カメラ、ディスプレイ、スピーカ等の外部機器に接続され、外部機器と通信を行うことにより、外部機器の動作を制御する。
【００１１】
通信部１８０３は、ネットワーク１０９に接続され、ネットワークを介して他の画像処理装置、サーバ等と通信を行う。本実施例に係る画像処理装置は、通信部１８０３を介して他の画像処理装置と接続され、他の画像処理装置に映像・音声を送信し、他の画像処理装置から映像・音声を受信する。
【００１２】
制御部１８０５は、ストレージ部１８０１に記憶されているソフトウェアプログラムを読み出し、読み出したソフトウェアプログラムをメモリ１８０４に展開し、ソフトウェアプログラムを実行することにより、画像処理装置３００の各機能を発現することができる。
【００１３】
制御部１８０５は、例えば図１に記載される音声信号処理プログラム１０３、映像信号処理プログラム１０４、音声エンコード処理プログラムなどの各種プログラムを実行することにより、音声信号処理、映像信号処理、音声エンコード処理などの各種処理を行う。
【００１４】
ただし、以下の実施例において、各種処理を行うのは制御部１８０５とは限らず、音声信号処理部１０３、映像信号処理部１０４、音声エンコード処理部１０５などのように、実施例に記載の各処理部が行う各処理を行う処理部として集積回路化するなどしてハードウェアで実現することもできる。また、複数の処理、もしくは各処理部が行う一部の処理、を集積回路化することも可能である。従って、以下の実施例における画像処理装置のハードウェア構成は図１８の例とは異なっていてもよい。
【００１５】
以下では説明を簡略化するため、各種プログラムを制御部１８０５が実行することで実現される各処理を各処理部が主体となって実現されるとして説明する。なお各処理部をハードウェアで実現した場合にはその各処理部が主体となって各処理を行う。
【００１６】
以下、実施の形態を図面に基づいて詳細に説明する。
【実施例１】
【００１７】
最初に、本実施例の画像処理装置について説明する。
【００１８】
図１は実施例１における画像処理装置の機能ブロック図の例である。画像処理装置３００は、音声信号処理部１０３、映像信号処理部１０４、音声エンコード処理部１０５、映像エンコード処理部１０６、ＡＶパケット合成処理部１０７、ネットワーク処理部１０８、ＡＶパケット分離処理部１１０、映像デコード処理部１１１、音声デコード処理部１１２、ディスプレイドライバ１１３、音声ドライバ１１４、視線検出処理部１１７、ビットレート設定処理部１１８を備え、通信部１８０３を介してネットワーク１０９に接続され、外部機器制御部１８０２を介してマイク１０１、カメラ１０２、ディスプレイ１１５、スピーカ１１６に接続されている。
【００１９】
音声信号処理部１０３は、マイク１０１からの音声入力を量子化し、出力する。
【００２０】
音声エンコード処理部１０５は、音声信号処理部１０３から入力された音声信号を圧縮符号化する。
【００２１】
映像信号処理部１０４は、カメラ１０２からの映像入力を量子化し、出力する。
【００２２】
映像エンコード処理部１０６は、映像信号処理部１０４から入力された映像信号を圧縮符号化する。
【００２３】
ＡＶパケット合成処理部１０７は、音声エンコード処理部１０５からの圧縮符号化された音声信号及び、映像エンコード処理部１０６からの圧縮された映像信号を多重化し、ＡＶパケットとして出力する。
【００２４】
ネットワーク処理部１０８は、ＡＶパケット合成処理部１０７からのＡＶパケットをネットワーク１０９に出力すると共に、ネットワーク１０９からのＡＶパケット分離処理１１０に出力する。
【００２５】
ＡＶパケット分離処理部１１０は、ネットワーク処理部１０８からのＡＶパケットを分離し、圧縮符号化された映像信号は映像デコード１１１に、圧縮符号化された音声信号は音声デコード処理１１２に出力する。
【００２６】
映像デコード処理部１１１は、ＡＶパケット分離１１０からの圧縮符号化された映像信号を復号化し、ディスプレイドライバ１１３及び、視線検出処理１１７に出力する。
【００２７】
音声デコード処理部１１２は、ＡＶパケット分離１１０からの圧縮符号化された音声信号を復号化し、音声ドライバ１１４に出力する。
【００２８】
ディスプレイドライバ１１３および音声ドライバ１１４は、映像デコード処理１１１からの復号化映像信号をディスプレイ１１５へ、音声デコード処理１１２からの復号化音声信号をスピーカ１１６へそれぞれ出力する。
【００２９】
視線検出処理部１１７は、視線測定処理、正視判定処理、ビットレート設定処理、ウェイト処理、終了判定処理を行う。視線測定処理とは、映像デコード処理１１１の出力映像信号中の人物の視線が上下左右のどの範囲の角度であるかを測定する処理である。正視判定処理とは、視線測定処理により得られた角度の情報から、ディスプレイまたはカメラを正視している角度か否かを判定する処理である。ビットレート設定処理とは、正視判定処理により得られた判定結果に従い、ビットレート設定処理部１１８に対してビットレート値を設定する処理である。ウェイト処理とは、一定期間の実行待ちの処理である。終了判定処理とは、再度、視線測定処理に戻るか、視線測定処理に戻らずに終了するかを判定する処理である。
【００３０】
ビットレート設定処理部１１８は、視線検出処理部１１７の結果に従い、映像エンコード処理１０５のビットレート制御に関する符号化パラメータを設定する。
【００３１】
まず、画像処理装置３００から映像・音声データを送信する処理する手順について説明する。マイク１０１によって集音された音声は、音声信号処理部１０３によりデジタル信号に変換され、音声エンコード処理部１０５によりエンコードされて音声出力データとされる。
【００３２】
また、カメラ１０２によって撮像された映像も、映像信号処理部１０４によりデジタル信号に変換され、映像エンコード処理部１０６によりエンコードされて映像出力データとされる。音声出力データと映像出力データは、ＡＶパケット合成処理部１０７により多重化処理され、ネットワーク１０９を介して通信相手が利用する画像処理装置に多重化した映像・音声データを送信する。
【００３３】
次に、画像処理装置３００が受信した映像・音声データを出力する処理について説明する。映像・音声データをネットワーク１０９を介して画像処理装置３００が受信した場合、映像・音声データは、ＡＶパケット分離処理部１１０により映像出力データと音声出力データに分離される。映像出力データは、映像デコード処理１１１によりデコードされ、ディスプレイドライバ１１３で出力映像信号に変換し、ディスプレイ１１５に映像として出力される。また、音声出力データも音声デコード処理１１２によりデコードされ、音声ドライバ１１４で出力音声信号に変換し、スピーカ１１６に音声としてを出力される。
【００３４】
この際、映像デコード処理部１１１が出力する映像に含まれる画像を、視線検出処理部１１７が解析することで、視線情報を作成する。ビットレート設定処理部１１８は、視線検出部１１７が作成した視線情報を取得し、取得した視線情報を元に、視聴者側の映像エンコード処理部１０６の符号化パラメータを制御する。
【００３５】
次に、実施例１における視線検出処理部１１７の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。
【００３６】
図２は、実施例１における視線検出処理のフローチャートの例である。
図２は、図１の視線検出処理部１１７が、映像デコード処理部１１１から受信する映像出力データを入力として視線検出処理を行い、視線検出の結果に基づいてビットレート設定処理部１１８が、視聴者の使用する映像処理装置３００の映像エンコード処理のパラメータとして、映像出力データのビットレートを制御する方法を示すフローチャートである。当該処理は視線検出処理部１１７が、映像デコード処理１１１からの出力を入力として解析、判定を行い、ビットレート設定処理１１８の入力を出力することで実現される。
【００３７】
視線検出処理部１１７は、画像処理装置３００の他の機能ブロックと同期して起動されると、視線検出処理を開始し（Ｓ５０１）、ビットレート設定処理部１１８に対して、初期値ビットレート設定処理を行う（Ｓ５０２）。
【００３８】
次に視線検出処理部１１７は、映像デコード処理部１１１から受信した映像出力データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果から、正視判定処理を実行し（Ｓ５０４）、正視と判定された場合には、高いビットレート値を設定する高ビットレート設定処理（Ｓ５０５）を、正視と判定されない場合は、低いビットレート値を設定する低ビットレート設定処理（Ｓ５０６）を、ビットレート設定処理部１１８に対して行う。
【００３９】
更に、一定時間のウェイト処理を実行し（Ｓ５０７）、実行プログラムの終了判定処理を行い（Ｓ５０８）、終了でない場合には、再度、視線測定処理（Ｓ５０３）に戻り、終了の場合には、視線検出処理１１７を終了する（Ｓ５０９）。
【００４０】
図３は、実施例１における第１の動作例の図である。ネットワーク１０９を介して画像処理装置３００Ａ、画像処理装置３００Ｂが接続されており、それぞれにはディスプレイ、スピーカが接続されているものとする。
【００４１】
この第１の動作例の図では、画像処理装置３００Ａ、画像処理装置３００Ｂの視聴者双方はお互いにディスプレイの画面を注視している例である。
【００４２】
図３における画像処理装置３００Ａの視線検出処理部１１７の動作は、図２を元に説明すると以下のようになる。画像処理装置３００Ａの視線検出処理部１１７は、画像処理装置３００Ａの他の機能ブロックと同期して起動されると（Ｓ５０１）、ビットレート設定処理部１１８に対して初期値ビットレート設定処理を行う（Ｓ５０２）。次に映像デコード処理部１１１から受信した映像信号データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果から正視判定処理を実行（Ｓ５０４）する。
【００４３】
正視判定処理の結果として、正視と判定された場合は高ビットレート設定処理（Ｓ５０５）を、ビットレート設定処理１１８に対して行う。更に、一定時間のウェイト処理を実行し（Ｓ５０７）、終了判定処理を行う（Ｓ５０８）。この例では、終了していないので、再度、視線測定処理（Ｓ５０３）に戻る。この例では、画像処理装置３００Ｂも全く同様の処理となる。
【００４４】
以上のようにして、図３の場合は双方はお互いにディスプレイの画面を注視しているので、臨場感を重視し、圧縮率が低い値（つまりデータレートが高い値）となるように制御される。
【００４５】
図４は、実施例１における第２の動作例の図である。図３と同様にネットワーク１０９を介して画像処理装置３００Ａ、画像処理装置３００Ｂが接続されており、それぞれにはディスプレイ、スピーカが接続されているものとする。
【００４６】
この第２の動作例の図では、画像処理装置３００Ａの視聴者は、ディスプレイの画面を注視しているが、画像処理装置３００Ｂの視聴者は、手元の資料を見ており、ディスプレイの画面を注視していない例である。
【００４７】
図４における画像処理装置３００Ａの視線検出処理部１１７の動作は、図２を元に説明すると以下のようになる。画像処理装置３００Ａの視線検出処理部１１７は、画像処理装置３００Ａの他の機能ブロックと同期して起動されると（Ｓ５０１）、ビットレート設定処理部１１８に対して初期値ビットレート設定処理を行う（Ｓ５０２）。次に映像デコード処理部１１１から受信した映像信号データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果から、正視判定処理を実行する（Ｓ５０４）。
【００４８】
画像処理装置３００Ａの視線検出処理部１１７は、正視判定処理の結果として画像処理装置３００Ｂの視聴者がディスプレイを正視していないと判定し、低ビットレート設定処理（Ｓ５０６）を、ビットレート設定処理部１１８に対して行う。更に、一定時間のウェイト処理を実行し（Ｓ５０７）、終了判定処理を行う（Ｓ５０８）。この例では、実行プログラムが終了していないので、再度、視線測定処理（Ｓ５０３）に戻る。
【００４９】
一方、画像処理装置３００Ｂの視線検出処理部１１７は、画像処理装置３００Ｂの他の機能ブロックと同期して起動されると（Ｓ５０１）、ビットレート設定処理部１１８に対して、初期値ビットレート設定処理を行う（Ｓ５０２）。次に映像デコード処理部１１１から受信した映像信号データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果から、正視判定処理を実行（Ｓ５０４）する。
【００５０】
画像処理装置３００Ｂの視線検出処理部１１７は、正視判定処理の結果として、画像処理装置３００Ａの視聴者がディスプレイを正視していると判定し、高ビットレート設定処理（Ｓ５０５）を、ビットレート設定処理部１１８に対して行う。更に、一定時間のウェイト処理を実行し（Ｓ５０７）、終了判定処理を行い（Ｓ５０８）、終了でないので、再度、視線測定処理（Ｓ５０３）に戻る。
【００５１】
図４の場合、画像処理装置３００Ａの視聴者は、ディスプレイの画面を注視しているが、画像処理装置３００Ｂの視聴者は、ディスプレイの画面を注視していない。従って、画像処理装置３００Ａから、画像処理装置３００Ｂに対しては、臨場感は必要ないため、データの転送効率を重視し、圧縮率が高い値（つまりデータレートが低い値）となるように制御される。逆に、画像処理装置３００Ｂから、画像処理装置３００Ａに対しては、臨場感を重視し、圧縮率が低い値（つまりデータレートが高い値）となるように制御される。
【００５２】
図５は、実施例１における第３の動作例の図である。図３と同様にネットワーク１０９を介して画像処理装置３００Ａ、画像処理装置３００Ｂが接続されており、それぞれにはディスプレイ、スピーカが接続されているものとする。
【００５３】
この第３の動作例の図では、画像処理装置３００Ａ、画像処理装置３００Ｂの双方の視聴者はお互いにディスプレイの画面を注視していない例である。
【００５４】
図５における画像処理装置３００Ａの視線検出処理部１１７の動作は、図２を元に説明すると以下のようになる。画像処理装置３００Ａの視線検出処理部１１７は、画像処理装置３００Ａの他の機能ブロックと同期して起動されると（Ｓ５０１）、ビットレート設定処理部１１８に対して初期値ビットレート設定処理を行う（Ｓ５０２）。次に映像デコード処理部１１１から受信した映像信号データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果から、正視判定処理を実行する（Ｓ５０４）。
【００５５】
画像処理装置３００Ａの視線検出処理部１１７は、正視判定処理の結果として、画像処理装置３００Ｂの視聴者がディスプレイを正視していないと判定し、低ビットレート設定処理（Ｓ５０６）を、ビットレート設定処理部１１８に対して行う。更に、一定時間のウェイト処理を実行し（Ｓ５０７）、終了判定処理を行う（Ｓ５０８）。この例では、実行プログラムが終了していないので、再度、視線測定処理（Ｓ５０３）に戻る。この例では、画像処理装置３００Ｂも全く同様の処理となる。
【００５６】
図５の場合、視聴者双方はお互いにディスプレイの画面を注視していないので、臨場感は必要ないため、データの転送効率を重視し、圧縮率が高い値（つまりデータレートが低い値）となるように制御される。
【００５７】
本実施例によれば、画像処理装置３００は、通信相手の視線状態を検出し、映像エンコード処理の符号化パラメータを制御することにより、通信相手がディスプレイを注視していないと判断された場合には、一方の画像処理装置３００から他方の画像処理装置３００に対して圧縮率が高い値（つまりデータレートが低い値）の映像データを送出するように動作することで、有限であるネットワークの回線帯域を有効に利用することができるようになる。
【００５８】
本実施例では、画像処理装置内部で、通信相手の視線状態を検出し映像符号化パラメータを制御するので、通信相手が利用する画像処理装置が、本実施例のように符号化パラメータを制御する機能を持たない画像処理装置の場合でも、相互接続性は保障される。
【００５９】
ただし、両者の画像処理装置３００が映像符号化パラメータを制御する機能を有する場合、一方の画像処理装置３００において極端に高い圧縮率（つまりデータレートが低い値）が設定されていると、画質が非常に悪くなったり、映像フレームレートが非常に低くなったりして通信相手の視線状態の検出精度が低下してしまい、正視であるにもかかわらず高い圧縮率（つまりデータレートが低い値）で映像信号を送信することになるため、視線検出の精度が所定の精度以上となるように圧縮率を設定する必要がある。
【実施例２】
【００６０】
他の本実施例の画像処理装置について説明する。なお、実施例１と同等の機能、処理等については図面において同じ番号を付しており、説明を省略する。
【００６１】
図６は実施例２における画像処理装置の機能ブロック図の例である。本実施例の画像処理装置３０１は、実施例１の画像処理装置３００に加えてキャリブレーション制御部１１９及びメモリ１２０を備えている。
【００６２】
キャリブレーション制御部１１９は、予め正視している状態の映像デコード処理部１１１の出力映像を視線検出処理部１１７での視線検出処理の比較用データとして基準映像を取り込むための制御部である。
【００６３】
メモリ１２０は、キャリブレーション制御部１１９により基準画像を保持する。
【００６４】
また本実施例における視線検出処理部１１７は、さらに映像デコード処理１１１の出力映像とメモリ１２０の基準映像を比較・判定する視線比較処理を実行する。
【００６５】
本実施例においても実施例１と同様に、映像デコード処理部１１１から受信した映像出力データを、視線検出処理部１１７が解析することで、視線情報を取得し、取得した視線情報を元に、視聴者側の映像エンコード処理部１０６の符号化パラメータを、ビットレート設定処理部１１８により制御するが、カメラ１０２の設置場所により、正しく視線検出処理部１１７のディスプレイを正視しているか否かの判定に誤差が生じる場合ある。従って本実施例では、キャリブレーション制御部１１９により、予め正視している状態の映像デコード処理部１１１の出力映像を視線検出処理部１１７での視線検出処理の比較用データとして、メモリ１２０に保存する。
【００６６】
次に、実施例２における視線検出処理１１７の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。
【００６７】
図７は、実施例２における視線検出処理のフローチャートの例である。
図７は、図６の視線検出処理部１１７が、映像デコード処理部１１１から受信する映像出力データを入力として視線検出処理を行い、視線検出処理の結果に基づいてビットレート設定処理部１１８が、映像エンコード処理部１１１の映像エンコード処理におけるビットレートを設定する処理を制御する方法を示すフローチャートであり、当該処理は、映像デコード処理１１１からの出力を入力として解析、判定を行い、ビットレート設定処理１１８の入力を出力することで実現される。
【００６８】
視線検出処理部１１７は、画像処理装置３０１の他の機能ブロックと同期して起動されると、視線検出処理を開始し（Ｓ５０１）、ビットレート設定処理部１１８に対して、初期値ビットレート設定処理を行う（Ｓ５０２）。
【００６９】
次に視線検出処理部１１７は、映像デコード処理部１１１から受信した映像出力データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果と予め保存したメモリ１２０に保存された視線検出処理の比較用データから、視線比較処理を実行する（Ｓ５１６）。視線比較処理の結果、比較用データと映像出力データの視線が一致と判定された場合には、高ビットレート設定処理（Ｓ５０５）を、視線が不一致と判定された場合は、低ビットレート設定処理（Ｓ５０６）を、ビットレート設定処理部１１８に対して行う。
【００７０】
更に、一定時間のウェイト処理を実行し（Ｓ５０７）、実行プログラムの終了判定処理を行い（Ｓ５０８）、終了でない場合には、再度、視線測定処理（Ｓ５０３）に戻り、終了の場合には、視線検出処理１１７を終了する（Ｓ５０９）。
【００７１】
本実施例によれば、画像処理装置３０１は、実施例１の効果に加え、画像処理装置３０１の設置場所（特にカメラ１０２の位置）により、正視判定に誤差が生じてしまうような場合に、予め基準となる正視した状態の画像を記録するキャリブレーションを行うことで、正視状態の誤判定を軽減することができるようになる。
【実施例３】
【００７２】
他の本実施例の画像処理装置について説明する。なお、実施例１と同等の機能、処理等については図面において同じ番号を付しており、説明を省略する。
【００７３】
図８は実施例３における画像処理装置の機能ブロック図の例である。本実施例の画像処理装置３０２は、実施例１の画像処理装置３００に加えて音声検出処理部１２１を備えている。
【００７４】
音声検出処理部１２１は、音声信号処理１０３からの入力レベルを検出し、ビットレート設定処理１１８を制御する。
【００７５】
また本実施例におけるビットレート設定処理１１８は、視線検出処理１１７からの入力および、音声検出処理１２１からの入力により、映像エンコード処理１０６を制御する。
【００７６】
本実施例においても実施例１と同様に、映像デコード処理部１１１から受信した映像出力データを、視線検出処理部１１７が解析することで、視線情報を取得し、取得した視線情報を元に、視聴者側の映像エンコード処理部１０６の符号化パラメータを、ビットレート設定処理部１１８により制御するが、本実施例では、実施例１に加えて、音声信号処理部１０３が出力する音声出力データを、音声検出処理部１２１が解析することで、マイク１０１が集音した音声情報を元に、視聴者側の映像エンコード処理部１０６の符号化パラメータを、ビットレート設定処理部１１８により制御する。
【００７７】
実施例３における視線検出処理部１１７の動作については、実施例１と同じであるため、説明を省略する。
【００７８】
次に、実施例３における音声検出処理部１２１の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。
【００７９】
図９は、実施例３における音声検出処理のフローチャートの例である。
図９は、図８の音声検出処理部１２１が、視聴者の使用する映像処理装置から送信される音声を入力とし、視聴者の使用する映像処理装置３００の映像エンコード処理のパラメータとして、映像出力データのビットレートを制御する方法を示すフローチャートである。当該処理は、音声検出処理部１２１が音声信号処理部１０３からの出力を入力として解析、判定を行い、ビットレート設定処理部１１８の入力の１つとして出力することで実現される。
【００８０】
音声検出処理部１２１は、画像処理装置３０２の他の機能ブロックと同期して起動されると、音声検出処理を開始し（Ｓ５１０）、音声信号処理部１０３から入力された出力音声出力データのレベルを測定し（Ｓ５１１）、測定した音声データのレベル判定処理を行う（Ｓ５１２）。測定した音声データのレベルが判定値を越えた場合には、高ビットレート設定処理（Ｓ５１３）を行い、レベルが判定値を越えない場合には、何もしない。
【００８１】
更に、一定時間のウェイト処理を実行し（Ｓ５０７）、実行プログラムの終了判定処理を行い（Ｓ５１４）、終了でない場合には、再度、音声測定処理（Ｓ５１１）に戻り、終了の場合には、音声検出処理１２１を終了する（Ｓ５１５）。
【００８２】
本実施例によれば、画像処理装置３０２は、実施例１の効果に加え、視聴者の音声を入力とし、視聴者の映像エンコード処理のパラメータとして、ビットレート設定処理への制御を行うことで、視聴者が会話を始めた際に、即座にビットレート設定処理への制御を行うことができ、通信相手がモニタに視線を向けるよりも早く、臨場感を重視した、圧縮率が低い値（つまりデータレートが高い値）映像が表示されるようにすることができる。
【００８３】
また、本実施例によれば、本実施例の画像処理装置３０２Ａおよび３０２Ｂが互いに低ビットレートで映像を送信しており、画像処理装置３０２Ａおよび３０２Ｂの視線検出処理部１１７による視線検出が困難である場合であっても、画像処理装置３０２Ａの視聴者が音声を発することによって高ビットレートの映像を画像処理装置３０２Ｂに送信することができる。画像処理装置３０２Ｂの視線検出処理部１１７は、受信した高ビットレートの映像を解析することによって画像処理装置３０２Ａの視聴者がディスプレイを正視していることを検出することができ、画像処理装置３０２Ａに対して高ビットレートの映像を送信するように制御することができる。
【００８４】
以上のようにして、本実施例における画像処理装置３０２は低ビットレートの映像を送信することによって視線検出の精度が低下した場合でも適切にビットレートの切替をすることができ、画像処理装置３０２間の通信量を低下させることができる。
【００８５】
なお、上記の効果は、画像処理装置３０２本体に設けられたスイッチ、図示しないリモコンに設けられたスイッチ、ディスプレイ上に表示され、マウスなどの入力手段によって選択できるボタンが押下もしくは選択されることによって、視線検出処理部１１７が高ビットレート処理を行うようにしても同様にして得ることができる。
【実施例４】
【００８６】
他の本実施例の画像処理装置について説明する。なお、実施例１と同等の機能、処理等については図面において同じ番号を付しており、説明を省略する。
【００８７】
図１０は実施例４における画像処理装置の機能ブロック図の例である。本実施例の画像処理装置３０３は、実施例１の画像処理装置３００に加えて音声信号処理部２０３、映像信号処理部２０４、音声エンコード処理部２０５、映像エンコード処理部２０６、ＡＶパケット合成処理部２０７、ネットワーク処理部２０８、ＡＶパケット分離処理部２１０、映像デコード処理部２１１、音声デコード処理部２１２、ディスプレイドライバ２１３、音声ドライバ２１４、を備え、外部機器制御部１８０２を介してマイク２０１、カメラ２０２、ディスプレイ２１５、スピーカ２１６に接続されている。
【００８８】
マイク２０１、カメラ２０２、音声信号処理部２０３、映像信号処理部２０４、音声エンコード処理部２０５、映像エンコード処理部２０６、ＡＶパケット合成処理部２０７、ネットワーク処理部２０８、ＡＶパケット分離処理部２１０、映像デコード処理部２１１、音声デコード処理部２１２、ディスプレイドライバ２１３、音声ドライバ２１４、ディスプレイ２１５、スピーカ２１６の説明は、実施例１で説明した同名の処理部もしくは機器等と同様であるため、説明を省略する。
【００８９】
次に、実施例４における視線検出処理部１１７の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。
【００９０】
図１１は、実施例４における視線検出処理のフローチャートの例である。
図１１は、図１０の視線検出処理部１１７が、映像デコード処理部１１１から受信する映像出力データを入力として視線検出処理を行い、視線検出の結果に基づいてビットレート設定処理部１１８が、映像エンコード処理部１１１の映像エンコード処理におけるビットレートを設定する処理を制御する方法を示すフローチャートであり、当該処理は、映像デコード処理部１１１/２１１からの出力を入力として解析、判定を行い、ビットレート設定処理部１１８の入力を出力することで実現される。
【００９１】
視線検出処理部１１７は、画像処理装置３０３の他の機能ブロックと同期して起動されると、視線検出処理を開始し（Ｓ５０１）、ビットレート設定処理部１１８に対して、初期値ビットレート設定処理を行う（Ｓ５０２）。
【００９２】
次に視線検出処理部１１７は、映像デコード処理部１１１/２１１から受信した映像出力データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果から、正視判定処理を実行し（Ｓ５１７）、正視判定処理結果により、図１２のレート設定１処理（Ｓ５１８）、レート設定２処理（Ｓ５１９）、レート設定３処理（Ｓ５２０）、レート設定４処理（Ｓ５２１）の何れかを、ビットレート設定処理部１１８に対して行う。
【００９３】
更に、一定時間のウェイト処理を実行し（Ｓ５０７）、実行プログラムの終了判定処理を行い（Ｓ５０８）、終了でない場合には、再度、視線測定処理（Ｓ５０３）に戻り、終了の場合には、視線検出処理を終了する（Ｓ５０９）。
【００９４】
図１２の表は、図１１のレート設定１処理（Ｓ５１８）、レート設定２処理（Ｓ５１９）、レート設定３処理（Ｓ５２０）、レート設定４処理（Ｓ５２１）のビットレート設定処理部１１８に対して行なわれる設定パラメータの組み合わせの例である。この例では、視線検出処理部１１７による図１１の視線測定処理（Ｓ５０３）、視線判定処理（Ｓ５１７）により、（画面Ａ）の拠点からの送出画像も、（画面Ｂ）の拠点からの送出画像も、正視していると判定した場合には、レート設定１処理を選択するように動作するものとする。以下、同様に、視線測定処理（Ｓ５０３）、視線判定処理（Ｓ５１７）により、（画面Ａ）の拠点からの送出画像は正視しているが、（画面Ｂ）の拠点からの送出画像は正視していないと判定した場合には、レート設定２処理を選択し、（画面Ｂ）の拠点からの送出画像は正視しているが、（画面Ａ）の拠点からの送出画像は正視していないと判定した場合には、レート設定３処理を選択し、（画面Ａ）の拠点からの送出画像も、（画面Ｂ）の拠点からの送出画像も、正視していないと判定した場合には、レート設定４処理を選択するように動作するものとする。図１２の表では、ビットレート設定処理部１１８は、視線検出処理部１１７によりレート設定１処理が選択された場合には、「レート設定１」の「（画面Ａ）の拠点への送出画質制御」として、「高ビットレート」を設定し、「（画面Ｂ）の拠点への送出画質制御」として、「高ビットレート」を設定することを示している。以下同様に、ビットレート設定処理部１１８は、レート設定２処理が選択された場合には、「レート設定２」の「（画面Ａ）の拠点への送出画質制御」として「高ビットレート」を設定し、「（画面Ｂ）の拠点への送出画質制御」として「低ビットレート」を設定することを、レート設定３処理が選択された場合には、「レート設定３」の「（画面Ａ）の拠点への送出画質制御」として「低ビットレート」を設定し、「（画面Ｂ）の拠点への送出画質制御」として「高ビットレート」を設定することを、レート設定４処理が選択された場合には、「レート設定４」の「（画面Ａ）の拠点への送出画質制御」として、「低ビットレート」を設定し、「（画面Ｂ）の拠点への送出画質制御」として、「低ビットレート」を設定することを示している。
【００９５】
図１３は、実施例４における動作例の図である。ネットワーク１０９を介して画像処理装置３０３Ａ、画像処理装置３０３Ｂ、画像処理装置３０３Ｃが接続されており、それぞれにはディスプレイ、スピーカが接続されているものとする。
【００９６】
この動作例の図では、画像処理装置３０３Ａ、画像処理装置３０３Ｂ、画像処理装置３０３Ｃは、画像処理装置３０３Ａの視聴者は画面Ａを注視しており、画面Ａの拠点である画像処理装置３０３Ｂの視聴者も、画像処理装置３０３Ａの視聴者の画面を注視している。また、画像処理装置３０３Ａの視聴者は画面Ｂを注視していないが、画面Ｂの拠点である画像処理装置３０３Ｃの視聴者は、画像処理装置３０３Ａの視聴者の画面を注視している例である。
【００９７】
図１３における画像処理装置３０３Ａの視線検出処理部１１７の動作は、図１１を元に説明すると以下のようになる。画像処理装置３０３Ａの視線検出処理部１１７は、画像処理装置３０３Ａの他の機能ブロックと同期して起動されると、視線検出処理を開始し（Ｓ５０１）、ビットレート設定処理部２１８に対して、初期値ビットレート設定処理を行う（Ｓ５０２）。次に映像デコード処理部１１１/２１１から受信した映像信号データを解析し、視線測定処理を行う（Ｓ５０３）。
【００９８】
視線測定処理の測定結果から、正視判定処理を実行（Ｓ５１７）した結果として、この例では、レート設定１処理（Ｓ５１８）をビットレート設定処理部１１８に対して行う。
【００９９】
更に、一定時間のウェイト処理を実行し（Ｓ５０７）、実行プログラムの終了判定処理を行い（Ｓ５０８）、終了でないので、再度、視線測定処理（Ｓ５０３）に戻る。この例では、画像処理装置３０３Ｂも全く同様の処理となり、画像処理装置３０３Ｃでは、視線測定処理を行い（Ｓ５０３）、その測定結果から、正視判定処理を実行（Ｓ５１７）した結果として、この例では、レート設定４処理（Ｓ５２１）をビットレート設定処理部１１８に対して行う。
【０１００】
図１３の場合、互いに送信される映像・音声データは、画像処理装置３０３Ａと画像処理装置３０３Ｂ間は、双方はお互いにディスプレイの画面を注視しているので、臨場感を重視し、圧縮率が低い値（つまりデータレートが高い値）となるように制御され、画像処理装置３０３Ａと画像処理装置３０３Ｃ間は、画像処理装置３０３Ａから画像処理装置３０３Ｃに対しては、臨場感を重視し、圧縮率が低い値（つまりデータレートが高い値）となるように制御されるが、画像処理装置３０３Ｃから画像処理装置３０３Ａに対しては、臨場感は必要ないため、データの転送効率を重視し、圧縮率が高い値（つまりデータレートが低い値）となるように制御される。画像処理装置３０３Ｂと画像処理装置３０３Ｃ間は、双方はお互いにディスプレイの画面を注視しておらず、臨場感は必要ないため、データの転送効率を重視し、圧縮率が高い値（つまりデータレートが低い値）となるように制御される。
【０１０１】
本実施例によれば、映像処理装置３０３が３者間の視線状態を検出し映像符号化パラメータを制御することにより、不必要な映像データを送出せずに済むので、有限であるネットワークの回線帯域を有効に利用することができるようになる。
【実施例５】
【０１０２】
他の本実施例の画像処理装置について説明する。なお、実施例１と同等の機能、処理等については図面において同じ番号を付しており、説明を省略する。
【０１０３】
図１４は実施例５における画像処理装置のブロック図の例である。本実施例の画像処理装置３０４は、実施例１の画像処理装置３００に加えて音声エンコード処理部２０５、映像エンコード処理部２０６、ＡＶパケット合成処理部２０７、ネットワーク処理部２０８、ＡＶパケット分離処理部２１０、映像デコード処理部２１１、音声デコード処理部２１２、ディスプレイドライバ２１３、音声ドライバ２１４、キャリブレーション制御部１１９、メモリ１２０を備え、外部機器制御部１８０２を介してディスプレイ２１５、スピーカ２１６に接続されている。
【０１０４】
音声エンコード処理部２０５、映像エンコード処理部２０６、ＡＶパケット合成処理部２０７、ＡＶパケット分離処理部２１０、映像デコード処理部２１１、音声デコード処理部２１２、ディスプレイドライバ２１３、音声ドライバ２１４の説明は、実施例１で説明した同名の処理部もしくは機器等と同様であるため、説明を省略する。
【０１０５】
次に、実施例５における視線検出処理２１７の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。
【０１０６】
図１５は、実施例５における視線検出処理のフローチャートの例である。
図１５は、図１４の視線検出処理部１１７において、映像デコード処理部１１１から受信する映像出力データを入力として視線検出処理を行い、視線検出処理の結果に基づいてビットレート設定処理部１１８が、映像エンコード処理部１１１の映像エンコード処理におけるビットレートを設定する処理を制御する方法を示すフローチャートであり、当該処理は、映像デコード処理部１１１/２１１からの出力を入力として解析、判定を行い、ビットレート設定処理部１１８の入力を出力することで実現される。
【０１０７】
視線検出処理部１１７は、画像処理装置３０４の他の機能ブロックと同期して起動されると、視線検出処理を開始し（Ｓ５０１）、ビットレート設定処理部１１８に対して、初期値ビットレート設定処理を行う（Ｓ５０２）。
【０１０８】
次に視線検出処理部１１７は、映像デコード処理部１１１/２１１から受信した映像出力データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果と予め保存したメモリ１２０に保存された視線検出処理の比較用データから、正視判定処理を実行し（Ｓ５１７）、視線判定比較処理結果により、図１６のレート設定１処理（Ｓ５１８）、レート設定２処理（Ｓ５１９）、レート設定３処理（Ｓ５２０）、レート設定４処理（Ｓ５２１）、レート設定５処理（Ｓ５２２）の何れかを、ビットレート設定処理部１１８に対して行う。
【０１０９】
更に、一定時間のウェイト処理を実行し（Ｓ５０７）、実行プログラムの終了判定処理を行い（Ｓ５０８）、終了でない場合には、再度、視線測定処理（Ｓ５０３）に戻り、終了の場合には、視線検出処理を終了する（Ｓ５０９）。
【０１１０】
図１６の表は、図１５のレート設定１処理（Ｓ５１８）、レート設定２処理（Ｓ５１９）、レート設定３処理（Ｓ５２０）、レート設定４処理（Ｓ５２１）、レート設定５処理（Ｓ５２２）のビットレート設定処理部１１８に対して行なわれる設定パラメータの組み合わせの例である。視線検出処理部１１７によるレート設定１から４までの選択の基準は実施例４と同様であるが、本実施例においては、複数のディスプレイのうち、どのディスプレイを見ているか、若しくは複数のディスプレイのどれも見ていないのか、を図１７のように１台のカメラで判断しているため、視線検出の精度が低下する。
【０１１１】
そこで、本実施例では、視線検出処理部１１７が視線を検出することができなかった場合、および視聴者が複数のディスプレイのうち、どのディスプレイを見ているのかを判定できなかった場合に、視線検出処理部１１７はレート設定５を選択することとする。
【０１１２】
ビットレート設定処理部１１８は、レート設定５が選択された場合は「（画面Ａ）の拠点への送出画質制御」も、「（画面Ｂ）の拠点への送出画質制御」も、高ビットレートと低ビットレートとの間のビットレート値である「中ビットレート」を設定する。
【０１１３】
また、複数の人物の視線が検出された場合や、複数の人物が検出された場合、または複数の人物の視線が検出されてその一部の視線が正視と判断された場合に、レート設定５を選択するようにしてもよい。上記の場合、一台の画像処理装置３００を用いて複数の人物が通信を行うことに対応することができる。また、複数の人物が検出された場合にレート設定5を選択するようにすれば、視線検出をするまでもなくビットレートを設定することができるため、視線検出処理部１１７による処理負担を減少させることができ、また、複数の人物の視線が検出されてその一部の視線が正視と判断された場合に、レート設定５を選択するようにした場合は、カメラ１０２が撮像する複数の人物の全員が正視していない場合にレート設定４とすることで、画像処理装置間の通信量をさらに減少させることができる。
【０１１４】
ビットレート設定処理部１１８は、視線検出処理部１１７によりレート設定１処理が選択された場合は、（画面Ａ）の拠点への送出画質制御として、高ビットレートを設定し、（画面Ｂ）の拠点への送出画質制御として、高ビットレートを設定することを示している。以下同様に、図１６の表は、ビットレート設定処理部１１８が、レート設定２処理が選択された場合に（画面Ａ）の拠点への送出画質制御として高ビットレートを設定し、（画面Ｂ）の拠点への送出画質制御として、低ビットレートを設定することを、レート設定３処理が選択された場合に（画面Ａ）の拠点への送出画質制御として低ビットレートを設定し、（画面Ｂ）の拠点への送出画質制御として高ビットレートを設定すること、レート設定４処理が選択された場合に（画面Ａ）の拠点への送出画質制御として低ビットレートを設定し、（画面Ｂ）の拠点への送出画質制御として低ビットレートを設定すること、レート設定５処理が選択された場合に（画面Ａ）の拠点への送出画質制御として中ビットレートを設定し、（画面Ｂ）の拠点への送出画質制御として中ビットレートを設定すること、を示している。
【０１１５】
図１７は、実施例５における動作例の図である。ネットワーク１０９を介して画像処理装置３０４Ａ、画像処理装置３０４Ｂ、画像処理装置３０４Ｃが接続されており、それぞれにはディスプレイ、スピーカが接続されているものとする。
【０１１６】
この例では、実施例４の場合とレート設定以外は、同様の動作となるため、簡略化のため説明を省略する。また、図１７では、モニタを２台用いた場合について記載しているが、モニタの２画面表示機能を使うことにより、１台のモニタで同様のシステムを構築することもできる。
【０１１７】
本実施例によれば、映像処理装置３０３が実施例４と同様に３者間の利用におけるネットワークの回線帯域を有効に利用することができるようになるほか、本実施例では、カメラ、マイク、映像信号処理、音声信号処理の部分が共用化されているので、システムコストを下げる効果がある。一方本実施例では、カメラ、マイク、映像信号処理、音声信号処理の部分が共用化されることにより、視聴者が画面Ａを注視しているのか、画面Ｂを注視しているのかの判定が付かなくなる場合が発生するため、このような場合は、レート設定５処理により、（画面Ａ）の拠点、（画面Ｂ）の拠点の両方に対して、中ビットレートを設定できるようにしたものである。また、複数人で同一の画像処理装置を利用した場合に、複数の視線を検出するケースがあり、この場合は、レート設定５処理により、（画面Ａ）の拠点、（画面Ｂ）の拠点の両方に対して、中ビットレートを設定できるようにすることも考えられる。
【０１１８】
以上の実施例では、ディスプレイ、スピーカが外付けの画像処理装置について説明をしたが、ディスプレイ、スピーカを内蔵したデジタルテレビ受信機などを利用して上記の例を実施することも可能である。
【０１１９】
また、上記の実施例で説明した画像処理装置と同様の機能を持つＭＣＵ（Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と、ビットレートを変更する機能を有さない複数の画像処理装置とを有し、画像処理装置はそれぞれがＭＣＵに接続した構成を持つＴＶ会議システムを構成することも可能である。
【０１２０】
この場合、それぞれの画像処理装置はＭＣＵに対して各視聴者の映像音声データを送信し、ＭＣＵから送信された映像音声データをディスプレイ、スピーカで再生する。ＭＣＵは各画像処理装置から送信された映像音声データに含まれる映像の視線検出処理、音声のレベル判定処理等を行い、各画像処理装置にビットレートを変更して送信する。以上の構成にすることでＭＣＵを用いたＴＶ会議システムであっても上記の実施例と同様にして各画像処理装置に送信する映像音声データの通信量を低下させることができる。
【０１２１】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【０１２２】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【０１２３】
１０１ マイク
１０２ カメラ
１０３ 音声信号処理部
１０４ 映像信号処理部
１０５ 音声エンコード処理部
１０６ 映像エンコード処理部
１０７ ＡＶパケット合成処理部
１０８ ネットワーク処理部
１０９ ネットワーク
１１０ ＡＶパケット分離処理部
１１１ 映像デコード処理部
１１２ 音声デコード処理部
１１３ ディスプレイドライバ
１１４ 音声ドライバ
１１５ モニタ
１１６ スピーカ
１１７ 視線検出処理部
１１８ ビットレート設定処理部
１１９ キャリブレーション制御部
１２０ メモリ
１２１ 音声検出処理部
２０１ マイク
２０２ カメラ
２０３ 音声信号処理部
２０４ 映像信号処理部
２０５ 音声エンコード処理部
２０６ 映像エンコード処理部
２０７ ＡＶパケット合成処理部
２０８ ネットワーク処理部
２０９ ネットワーク
２１０ ＡＶパケット分離処理部
２１１ 映像デコード処理部
２１２ 音声デコード処理部
２１３ ディスプレイドライバ
２１４ 音声ドライバ
２１５ モニタ
２１６ スピーカ
３００ 画像処理装置
３０１ 画像処理装置
３０２ 画像処理装置
３０３ 画像処理装置
３０４ 画像処理装置
【技術分野】
【０００１】
本技術は、映像音声によるコミュニケーション手段であるテレビ電話装置に関するもので、特に映像音声データの制御技術に関するものである。
【背景技術】
【０００２】
近年、ネットワークの普及、広帯域化と、デジタル放送を始めとするデジタル映像、音声技術の発展により、映像と音声によるコミュニケーション手段であるテレビ電話装置が一般家庭にも普及するものと思われる。
【０００３】
これに関連して、参加者の表示画面に対する興味領域を含む視線位置をリアルタイムに検出し、映像画質の劣化を参加者に意識させることなく通信の低コスト化を図る画像圧縮通信方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−５４８３０公報 画像圧縮通信方法及び装置
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来技術では、通信相手から視線情報を受け取り、受け取った視線情報を元に映像の圧縮率が低い値（つまりデータレートが高い値）となるように映像圧縮手段により圧縮して送信手段に出力するものである。従って、通信を行う双方のシステムが前記の方式に対応している必要がある点、および、相互に視線情報を交換するため、その分余分なデータ転送が発生してしまう点が課題である。
【課題を解決するための手段】
【０００６】
本技術によるテレビ電話装置では、通信相手の視線情報を、受信した映像から検出し、その検出した視線情報から、通信相手に送信する映像のビットレートを制御する手段を有することを特徴とする。
【発明の効果】
【０００７】
これにより、通信相手の視線情報の取得が不要となり、視線情報の余分なデータ転送を発生させることがなくなる。また、ビットレートを制御する機能を持たない従来型のテレビ電話装置との接続においても、通信相手から映像のビットレートの制御機能は動作しないが、システム上の接続性については互換が確保されており、ユーザの利便性を高めることができる。
【図面の簡単な説明】
【０００８】
【図１】実施例１における画像処理装置の機能ブロック図の例である。
【図２】実施例１における視線検出処理のフローチャートの例である。
【図３】実施例１における第１の動作例の図である。
【図４】実施例１における第２の動作例の図である。
【図５】実施例１における第３の動作例の図である。
【図６】実施例２における画像処理装置の機能ブロック図の例である。
【図７】実施例２における音声検出処理のフローチャートの例である。
【図８】実施例３における画像処理装置の機能ブロック図の例である。
【図９】実施例３における視線検出処理のフローチャートの例である。
【図１０】実施例４における画像処理装置の機能ブロック図の例である。
【図１１】実施例４における視線検出処理のフローチャートの例である。
【図１２】実施例４におけるレート設定の例である。
【図１３】実施例４における動作例の図である。
【図１４】実施例５における画像処理装置の機能ブロック図の例である。
【図１５】実施例５における視線検出処理のフローチャートの例である。
【図１６】実施例５におけるレート設定の例である。
【図１７】実施例５における動作例の図である。
【図１８】画像処理装置のハードウェア構成図の例である。
【発明を実施するための形態】
【０００９】
図１８は本実施の形態に係る画像処理装置のハードウェア構成図の例である。
画像処理装置３００はストレージ部１８０１、外部機器制御部１８０２、通信部１８０３、メモリ１８０４、制御部１８０５から構成され、それぞれがハブ１８０６により接続されている。
【００１０】
外部機器制御部１８０２は、マイク、カメラ、ディスプレイ、スピーカ等の外部機器に接続され、外部機器と通信を行うことにより、外部機器の動作を制御する。
【００１１】
通信部１８０３は、ネットワーク１０９に接続され、ネットワークを介して他の画像処理装置、サーバ等と通信を行う。本実施例に係る画像処理装置は、通信部１８０３を介して他の画像処理装置と接続され、他の画像処理装置に映像・音声を送信し、他の画像処理装置から映像・音声を受信する。
【００１２】
制御部１８０５は、ストレージ部１８０１に記憶されているソフトウェアプログラムを読み出し、読み出したソフトウェアプログラムをメモリ１８０４に展開し、ソフトウェアプログラムを実行することにより、画像処理装置３００の各機能を発現することができる。
【００１３】
制御部１８０５は、例えば図１に記載される音声信号処理プログラム１０３、映像信号処理プログラム１０４、音声エンコード処理プログラムなどの各種プログラムを実行することにより、音声信号処理、映像信号処理、音声エンコード処理などの各種処理を行う。
【００１４】
ただし、以下の実施例において、各種処理を行うのは制御部１８０５とは限らず、音声信号処理部１０３、映像信号処理部１０４、音声エンコード処理部１０５などのように、実施例に記載の各処理部が行う各処理を行う処理部として集積回路化するなどしてハードウェアで実現することもできる。また、複数の処理、もしくは各処理部が行う一部の処理、を集積回路化することも可能である。従って、以下の実施例における画像処理装置のハードウェア構成は図１８の例とは異なっていてもよい。
【００１５】
以下では説明を簡略化するため、各種プログラムを制御部１８０５が実行することで実現される各処理を各処理部が主体となって実現されるとして説明する。なお各処理部をハードウェアで実現した場合にはその各処理部が主体となって各処理を行う。
【００１６】
以下、実施の形態を図面に基づいて詳細に説明する。
【実施例１】
【００１７】
最初に、本実施例の画像処理装置について説明する。
【００１８】
図１は実施例１における画像処理装置の機能ブロック図の例である。画像処理装置３００は、音声信号処理部１０３、映像信号処理部１０４、音声エンコード処理部１０５、映像エンコード処理部１０６、ＡＶパケット合成処理部１０７、ネットワーク処理部１０８、ＡＶパケット分離処理部１１０、映像デコード処理部１１１、音声デコード処理部１１２、ディスプレイドライバ１１３、音声ドライバ１１４、視線検出処理部１１７、ビットレート設定処理部１１８を備え、通信部１８０３を介してネットワーク１０９に接続され、外部機器制御部１８０２を介してマイク１０１、カメラ１０２、ディスプレイ１１５、スピーカ１１６に接続されている。
【００１９】
音声信号処理部１０３は、マイク１０１からの音声入力を量子化し、出力する。
【００２０】
音声エンコード処理部１０５は、音声信号処理部１０３から入力された音声信号を圧縮符号化する。
【００２１】
映像信号処理部１０４は、カメラ１０２からの映像入力を量子化し、出力する。
【００２２】
映像エンコード処理部１０６は、映像信号処理部１０４から入力された映像信号を圧縮符号化する。
【００２３】
ＡＶパケット合成処理部１０７は、音声エンコード処理部１０５からの圧縮符号化された音声信号及び、映像エンコード処理部１０６からの圧縮された映像信号を多重化し、ＡＶパケットとして出力する。
【００２４】
ネットワーク処理部１０８は、ＡＶパケット合成処理部１０７からのＡＶパケットをネットワーク１０９に出力すると共に、ネットワーク１０９からのＡＶパケット分離処理１１０に出力する。
【００２５】
ＡＶパケット分離処理部１１０は、ネットワーク処理部１０８からのＡＶパケットを分離し、圧縮符号化された映像信号は映像デコード１１１に、圧縮符号化された音声信号は音声デコード処理１１２に出力する。
【００２６】
映像デコード処理部１１１は、ＡＶパケット分離１１０からの圧縮符号化された映像信号を復号化し、ディスプレイドライバ１１３及び、視線検出処理１１７に出力する。
【００２７】
音声デコード処理部１１２は、ＡＶパケット分離１１０からの圧縮符号化された音声信号を復号化し、音声ドライバ１１４に出力する。
【００２８】
ディスプレイドライバ１１３および音声ドライバ１１４は、映像デコード処理１１１からの復号化映像信号をディスプレイ１１５へ、音声デコード処理１１２からの復号化音声信号をスピーカ１１６へそれぞれ出力する。
【００２９】
視線検出処理部１１７は、視線測定処理、正視判定処理、ビットレート設定処理、ウェイト処理、終了判定処理を行う。視線測定処理とは、映像デコード処理１１１の出力映像信号中の人物の視線が上下左右のどの範囲の角度であるかを測定する処理である。正視判定処理とは、視線測定処理により得られた角度の情報から、ディスプレイまたはカメラを正視している角度か否かを判定する処理である。ビットレート設定処理とは、正視判定処理により得られた判定結果に従い、ビットレート設定処理部１１８に対してビットレート値を設定する処理である。ウェイト処理とは、一定期間の実行待ちの処理である。終了判定処理とは、再度、視線測定処理に戻るか、視線測定処理に戻らずに終了するかを判定する処理である。
【００３０】
ビットレート設定処理部１１８は、視線検出処理部１１７の結果に従い、映像エンコード処理１０５のビットレート制御に関する符号化パラメータを設定する。
【００３１】
まず、画像処理装置３００から映像・音声データを送信する処理する手順について説明する。マイク１０１によって集音された音声は、音声信号処理部１０３によりデジタル信号に変換され、音声エンコード処理部１０５によりエンコードされて音声出力データとされる。
【００３２】
また、カメラ１０２によって撮像された映像も、映像信号処理部１０４によりデジタル信号に変換され、映像エンコード処理部１０６によりエンコードされて映像出力データとされる。音声出力データと映像出力データは、ＡＶパケット合成処理部１０７により多重化処理され、ネットワーク１０９を介して通信相手が利用する画像処理装置に多重化した映像・音声データを送信する。
【００３３】
次に、画像処理装置３００が受信した映像・音声データを出力する処理について説明する。映像・音声データをネットワーク１０９を介して画像処理装置３００が受信した場合、映像・音声データは、ＡＶパケット分離処理部１１０により映像出力データと音声出力データに分離される。映像出力データは、映像デコード処理１１１によりデコードされ、ディスプレイドライバ１１３で出力映像信号に変換し、ディスプレイ１１５に映像として出力される。また、音声出力データも音声デコード処理１１２によりデコードされ、音声ドライバ１１４で出力音声信号に変換し、スピーカ１１６に音声としてを出力される。
【００３４】
この際、映像デコード処理部１１１が出力する映像に含まれる画像を、視線検出処理部１１７が解析することで、視線情報を作成する。ビットレート設定処理部１１８は、視線検出部１１７が作成した視線情報を取得し、取得した視線情報を元に、視聴者側の映像エンコード処理部１０６の符号化パラメータを制御する。
【００３５】
次に、実施例１における視線検出処理部１１７の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。
【００３６】
図２は、実施例１における視線検出処理のフローチャートの例である。
図２は、図１の視線検出処理部１１７が、映像デコード処理部１１１から受信する映像出力データを入力として視線検出処理を行い、視線検出の結果に基づいてビットレート設定処理部１１８が、視聴者の使用する映像処理装置３００の映像エンコード処理のパラメータとして、映像出力データのビットレートを制御する方法を示すフローチャートである。当該処理は視線検出処理部１１７が、映像デコード処理１１１からの出力を入力として解析、判定を行い、ビットレート設定処理１１８の入力を出力することで実現される。
【００３７】
視線検出処理部１１７は、画像処理装置３００の他の機能ブロックと同期して起動されると、視線検出処理を開始し（Ｓ５０１）、ビットレート設定処理部１１８に対して、初期値ビットレート設定処理を行う（Ｓ５０２）。
【００３８】
次に視線検出処理部１１７は、映像デコード処理部１１１から受信した映像出力データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果から、正視判定処理を実行し（Ｓ５０４）、正視と判定された場合には、高いビットレート値を設定する高ビットレート設定処理（Ｓ５０５）を、正視と判定されない場合は、低いビットレート値を設定する低ビットレート設定処理（Ｓ５０６）を、ビットレート設定処理部１１８に対して行う。
【００３９】
更に、一定時間のウェイト処理を実行し（Ｓ５０７）、実行プログラムの終了判定処理を行い（Ｓ５０８）、終了でない場合には、再度、視線測定処理（Ｓ５０３）に戻り、終了の場合には、視線検出処理１１７を終了する（Ｓ５０９）。
【００４０】
図３は、実施例１における第１の動作例の図である。ネットワーク１０９を介して画像処理装置３００Ａ、画像処理装置３００Ｂが接続されており、それぞれにはディスプレイ、スピーカが接続されているものとする。
【００４１】
この第１の動作例の図では、画像処理装置３００Ａ、画像処理装置３００Ｂの視聴者双方はお互いにディスプレイの画面を注視している例である。
【００４２】
図３における画像処理装置３００Ａの視線検出処理部１１７の動作は、図２を元に説明すると以下のようになる。画像処理装置３００Ａの視線検出処理部１１７は、画像処理装置３００Ａの他の機能ブロックと同期して起動されると（Ｓ５０１）、ビットレート設定処理部１１８に対して初期値ビットレート設定処理を行う（Ｓ５０２）。次に映像デコード処理部１１１から受信した映像信号データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果から正視判定処理を実行（Ｓ５０４）する。
【００４３】
正視判定処理の結果として、正視と判定された場合は高ビットレート設定処理（Ｓ５０５）を、ビットレート設定処理１１８に対して行う。更に、一定時間のウェイト処理を実行し（Ｓ５０７）、終了判定処理を行う（Ｓ５０８）。この例では、終了していないので、再度、視線測定処理（Ｓ５０３）に戻る。この例では、画像処理装置３００Ｂも全く同様の処理となる。
【００４４】
以上のようにして、図３の場合は双方はお互いにディスプレイの画面を注視しているので、臨場感を重視し、圧縮率が低い値（つまりデータレートが高い値）となるように制御される。
【００４５】
図４は、実施例１における第２の動作例の図である。図３と同様にネットワーク１０９を介して画像処理装置３００Ａ、画像処理装置３００Ｂが接続されており、それぞれにはディスプレイ、スピーカが接続されているものとする。
【００４６】
この第２の動作例の図では、画像処理装置３００Ａの視聴者は、ディスプレイの画面を注視しているが、画像処理装置３００Ｂの視聴者は、手元の資料を見ており、ディスプレイの画面を注視していない例である。
【００４７】
図４における画像処理装置３００Ａの視線検出処理部１１７の動作は、図２を元に説明すると以下のようになる。画像処理装置３００Ａの視線検出処理部１１７は、画像処理装置３００Ａの他の機能ブロックと同期して起動されると（Ｓ５０１）、ビットレート設定処理部１１８に対して初期値ビットレート設定処理を行う（Ｓ５０２）。次に映像デコード処理部１１１から受信した映像信号データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果から、正視判定処理を実行する（Ｓ５０４）。
【００４８】
画像処理装置３００Ａの視線検出処理部１１７は、正視判定処理の結果として画像処理装置３００Ｂの視聴者がディスプレイを正視していないと判定し、低ビットレート設定処理（Ｓ５０６）を、ビットレート設定処理部１１８に対して行う。更に、一定時間のウェイト処理を実行し（Ｓ５０７）、終了判定処理を行う（Ｓ５０８）。この例では、実行プログラムが終了していないので、再度、視線測定処理（Ｓ５０３）に戻る。
【００４９】
一方、画像処理装置３００Ｂの視線検出処理部１１７は、画像処理装置３００Ｂの他の機能ブロックと同期して起動されると（Ｓ５０１）、ビットレート設定処理部１１８に対して、初期値ビットレート設定処理を行う（Ｓ５０２）。次に映像デコード処理部１１１から受信した映像信号データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果から、正視判定処理を実行（Ｓ５０４）する。
【００５０】
画像処理装置３００Ｂの視線検出処理部１１７は、正視判定処理の結果として、画像処理装置３００Ａの視聴者がディスプレイを正視していると判定し、高ビットレート設定処理（Ｓ５０５）を、ビットレート設定処理部１１８に対して行う。更に、一定時間のウェイト処理を実行し（Ｓ５０７）、終了判定処理を行い（Ｓ５０８）、終了でないので、再度、視線測定処理（Ｓ５０３）に戻る。
【００５１】
図４の場合、画像処理装置３００Ａの視聴者は、ディスプレイの画面を注視しているが、画像処理装置３００Ｂの視聴者は、ディスプレイの画面を注視していない。従って、画像処理装置３００Ａから、画像処理装置３００Ｂに対しては、臨場感は必要ないため、データの転送効率を重視し、圧縮率が高い値（つまりデータレートが低い値）となるように制御される。逆に、画像処理装置３００Ｂから、画像処理装置３００Ａに対しては、臨場感を重視し、圧縮率が低い値（つまりデータレートが高い値）となるように制御される。
【００５２】
図５は、実施例１における第３の動作例の図である。図３と同様にネットワーク１０９を介して画像処理装置３００Ａ、画像処理装置３００Ｂが接続されており、それぞれにはディスプレイ、スピーカが接続されているものとする。
【００５３】
この第３の動作例の図では、画像処理装置３００Ａ、画像処理装置３００Ｂの双方の視聴者はお互いにディスプレイの画面を注視していない例である。
【００５４】
図５における画像処理装置３００Ａの視線検出処理部１１７の動作は、図２を元に説明すると以下のようになる。画像処理装置３００Ａの視線検出処理部１１７は、画像処理装置３００Ａの他の機能ブロックと同期して起動されると（Ｓ５０１）、ビットレート設定処理部１１８に対して初期値ビットレート設定処理を行う（Ｓ５０２）。次に映像デコード処理部１１１から受信した映像信号データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果から、正視判定処理を実行する（Ｓ５０４）。
【００５５】
画像処理装置３００Ａの視線検出処理部１１７は、正視判定処理の結果として、画像処理装置３００Ｂの視聴者がディスプレイを正視していないと判定し、低ビットレート設定処理（Ｓ５０６）を、ビットレート設定処理部１１８に対して行う。更に、一定時間のウェイト処理を実行し（Ｓ５０７）、終了判定処理を行う（Ｓ５０８）。この例では、実行プログラムが終了していないので、再度、視線測定処理（Ｓ５０３）に戻る。この例では、画像処理装置３００Ｂも全く同様の処理となる。
【００５６】
図５の場合、視聴者双方はお互いにディスプレイの画面を注視していないので、臨場感は必要ないため、データの転送効率を重視し、圧縮率が高い値（つまりデータレートが低い値）となるように制御される。
【００５７】
本実施例によれば、画像処理装置３００は、通信相手の視線状態を検出し、映像エンコード処理の符号化パラメータを制御することにより、通信相手がディスプレイを注視していないと判断された場合には、一方の画像処理装置３００から他方の画像処理装置３００に対して圧縮率が高い値（つまりデータレートが低い値）の映像データを送出するように動作することで、有限であるネットワークの回線帯域を有効に利用することができるようになる。
【００５８】
本実施例では、画像処理装置内部で、通信相手の視線状態を検出し映像符号化パラメータを制御するので、通信相手が利用する画像処理装置が、本実施例のように符号化パラメータを制御する機能を持たない画像処理装置の場合でも、相互接続性は保障される。
【００５９】
ただし、両者の画像処理装置３００が映像符号化パラメータを制御する機能を有する場合、一方の画像処理装置３００において極端に高い圧縮率（つまりデータレートが低い値）が設定されていると、画質が非常に悪くなったり、映像フレームレートが非常に低くなったりして通信相手の視線状態の検出精度が低下してしまい、正視であるにもかかわらず高い圧縮率（つまりデータレートが低い値）で映像信号を送信することになるため、視線検出の精度が所定の精度以上となるように圧縮率を設定する必要がある。
【実施例２】
【００６０】
他の本実施例の画像処理装置について説明する。なお、実施例１と同等の機能、処理等については図面において同じ番号を付しており、説明を省略する。
【００６１】
図６は実施例２における画像処理装置の機能ブロック図の例である。本実施例の画像処理装置３０１は、実施例１の画像処理装置３００に加えてキャリブレーション制御部１１９及びメモリ１２０を備えている。
【００６２】
キャリブレーション制御部１１９は、予め正視している状態の映像デコード処理部１１１の出力映像を視線検出処理部１１７での視線検出処理の比較用データとして基準映像を取り込むための制御部である。
【００６３】
メモリ１２０は、キャリブレーション制御部１１９により基準画像を保持する。
【００６４】
また本実施例における視線検出処理部１１７は、さらに映像デコード処理１１１の出力映像とメモリ１２０の基準映像を比較・判定する視線比較処理を実行する。
【００６５】
本実施例においても実施例１と同様に、映像デコード処理部１１１から受信した映像出力データを、視線検出処理部１１７が解析することで、視線情報を取得し、取得した視線情報を元に、視聴者側の映像エンコード処理部１０６の符号化パラメータを、ビットレート設定処理部１１８により制御するが、カメラ１０２の設置場所により、正しく視線検出処理部１１７のディスプレイを正視しているか否かの判定に誤差が生じる場合ある。従って本実施例では、キャリブレーション制御部１１９により、予め正視している状態の映像デコード処理部１１１の出力映像を視線検出処理部１１７での視線検出処理の比較用データとして、メモリ１２０に保存する。
【００６６】
次に、実施例２における視線検出処理１１７の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。
【００６７】
図７は、実施例２における視線検出処理のフローチャートの例である。
図７は、図６の視線検出処理部１１７が、映像デコード処理部１１１から受信する映像出力データを入力として視線検出処理を行い、視線検出処理の結果に基づいてビットレート設定処理部１１８が、映像エンコード処理部１１１の映像エンコード処理におけるビットレートを設定する処理を制御する方法を示すフローチャートであり、当該処理は、映像デコード処理１１１からの出力を入力として解析、判定を行い、ビットレート設定処理１１８の入力を出力することで実現される。
【００６８】
視線検出処理部１１７は、画像処理装置３０１の他の機能ブロックと同期して起動されると、視線検出処理を開始し（Ｓ５０１）、ビットレート設定処理部１１８に対して、初期値ビットレート設定処理を行う（Ｓ５０２）。
【００６９】
次に視線検出処理部１１７は、映像デコード処理部１１１から受信した映像出力データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果と予め保存したメモリ１２０に保存された視線検出処理の比較用データから、視線比較処理を実行する（Ｓ５１６）。視線比較処理の結果、比較用データと映像出力データの視線が一致と判定された場合には、高ビットレート設定処理（Ｓ５０５）を、視線が不一致と判定された場合は、低ビットレート設定処理（Ｓ５０６）を、ビットレート設定処理部１１８に対して行う。
【００７０】
更に、一定時間のウェイト処理を実行し（Ｓ５０７）、実行プログラムの終了判定処理を行い（Ｓ５０８）、終了でない場合には、再度、視線測定処理（Ｓ５０３）に戻り、終了の場合には、視線検出処理１１７を終了する（Ｓ５０９）。
【００７１】
本実施例によれば、画像処理装置３０１は、実施例１の効果に加え、画像処理装置３０１の設置場所（特にカメラ１０２の位置）により、正視判定に誤差が生じてしまうような場合に、予め基準となる正視した状態の画像を記録するキャリブレーションを行うことで、正視状態の誤判定を軽減することができるようになる。
【実施例３】
【００７２】
他の本実施例の画像処理装置について説明する。なお、実施例１と同等の機能、処理等については図面において同じ番号を付しており、説明を省略する。
【００７３】
図８は実施例３における画像処理装置の機能ブロック図の例である。本実施例の画像処理装置３０２は、実施例１の画像処理装置３００に加えて音声検出処理部１２１を備えている。
【００７４】
音声検出処理部１２１は、音声信号処理１０３からの入力レベルを検出し、ビットレート設定処理１１８を制御する。
【００７５】
また本実施例におけるビットレート設定処理１１８は、視線検出処理１１７からの入力および、音声検出処理１２１からの入力により、映像エンコード処理１０６を制御する。
【００７６】
本実施例においても実施例１と同様に、映像デコード処理部１１１から受信した映像出力データを、視線検出処理部１１７が解析することで、視線情報を取得し、取得した視線情報を元に、視聴者側の映像エンコード処理部１０６の符号化パラメータを、ビットレート設定処理部１１８により制御するが、本実施例では、実施例１に加えて、音声信号処理部１０３が出力する音声出力データを、音声検出処理部１２１が解析することで、マイク１０１が集音した音声情報を元に、視聴者側の映像エンコード処理部１０６の符号化パラメータを、ビットレート設定処理部１１８により制御する。
【００７７】
実施例３における視線検出処理部１１７の動作については、実施例１と同じであるため、説明を省略する。
【００７８】
次に、実施例３における音声検出処理部１２１の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。
【００７９】
図９は、実施例３における音声検出処理のフローチャートの例である。
図９は、図８の音声検出処理部１２１が、視聴者の使用する映像処理装置から送信される音声を入力とし、視聴者の使用する映像処理装置３００の映像エンコード処理のパラメータとして、映像出力データのビットレートを制御する方法を示すフローチャートである。当該処理は、音声検出処理部１２１が音声信号処理部１０３からの出力を入力として解析、判定を行い、ビットレート設定処理部１１８の入力の１つとして出力することで実現される。
【００８０】
音声検出処理部１２１は、画像処理装置３０２の他の機能ブロックと同期して起動されると、音声検出処理を開始し（Ｓ５１０）、音声信号処理部１０３から入力された出力音声出力データのレベルを測定し（Ｓ５１１）、測定した音声データのレベル判定処理を行う（Ｓ５１２）。測定した音声データのレベルが判定値を越えた場合には、高ビットレート設定処理（Ｓ５１３）を行い、レベルが判定値を越えない場合には、何もしない。
【００８１】
更に、一定時間のウェイト処理を実行し（Ｓ５０７）、実行プログラムの終了判定処理を行い（Ｓ５１４）、終了でない場合には、再度、音声測定処理（Ｓ５１１）に戻り、終了の場合には、音声検出処理１２１を終了する（Ｓ５１５）。
【００８２】
本実施例によれば、画像処理装置３０２は、実施例１の効果に加え、視聴者の音声を入力とし、視聴者の映像エンコード処理のパラメータとして、ビットレート設定処理への制御を行うことで、視聴者が会話を始めた際に、即座にビットレート設定処理への制御を行うことができ、通信相手がモニタに視線を向けるよりも早く、臨場感を重視した、圧縮率が低い値（つまりデータレートが高い値）映像が表示されるようにすることができる。
【００８３】
また、本実施例によれば、本実施例の画像処理装置３０２Ａおよび３０２Ｂが互いに低ビットレートで映像を送信しており、画像処理装置３０２Ａおよび３０２Ｂの視線検出処理部１１７による視線検出が困難である場合であっても、画像処理装置３０２Ａの視聴者が音声を発することによって高ビットレートの映像を画像処理装置３０２Ｂに送信することができる。画像処理装置３０２Ｂの視線検出処理部１１７は、受信した高ビットレートの映像を解析することによって画像処理装置３０２Ａの視聴者がディスプレイを正視していることを検出することができ、画像処理装置３０２Ａに対して高ビットレートの映像を送信するように制御することができる。
【００８４】
以上のようにして、本実施例における画像処理装置３０２は低ビットレートの映像を送信することによって視線検出の精度が低下した場合でも適切にビットレートの切替をすることができ、画像処理装置３０２間の通信量を低下させることができる。
【００８５】
なお、上記の効果は、画像処理装置３０２本体に設けられたスイッチ、図示しないリモコンに設けられたスイッチ、ディスプレイ上に表示され、マウスなどの入力手段によって選択できるボタンが押下もしくは選択されることによって、視線検出処理部１１７が高ビットレート処理を行うようにしても同様にして得ることができる。
【実施例４】
【００８６】
他の本実施例の画像処理装置について説明する。なお、実施例１と同等の機能、処理等については図面において同じ番号を付しており、説明を省略する。
【００８７】
図１０は実施例４における画像処理装置の機能ブロック図の例である。本実施例の画像処理装置３０３は、実施例１の画像処理装置３００に加えて音声信号処理部２０３、映像信号処理部２０４、音声エンコード処理部２０５、映像エンコード処理部２０６、ＡＶパケット合成処理部２０７、ネットワーク処理部２０８、ＡＶパケット分離処理部２１０、映像デコード処理部２１１、音声デコード処理部２１２、ディスプレイドライバ２１３、音声ドライバ２１４、を備え、外部機器制御部１８０２を介してマイク２０１、カメラ２０２、ディスプレイ２１５、スピーカ２１６に接続されている。
【００８８】
マイク２０１、カメラ２０２、音声信号処理部２０３、映像信号処理部２０４、音声エンコード処理部２０５、映像エンコード処理部２０６、ＡＶパケット合成処理部２０７、ネットワーク処理部２０８、ＡＶパケット分離処理部２１０、映像デコード処理部２１１、音声デコード処理部２１２、ディスプレイドライバ２１３、音声ドライバ２１４、ディスプレイ２１５、スピーカ２１６の説明は、実施例１で説明した同名の処理部もしくは機器等と同様であるため、説明を省略する。
【００８９】
次に、実施例４における視線検出処理部１１７の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。
【００９０】
図１１は、実施例４における視線検出処理のフローチャートの例である。
図１１は、図１０の視線検出処理部１１７が、映像デコード処理部１１１から受信する映像出力データを入力として視線検出処理を行い、視線検出の結果に基づいてビットレート設定処理部１１８が、映像エンコード処理部１１１の映像エンコード処理におけるビットレートを設定する処理を制御する方法を示すフローチャートであり、当該処理は、映像デコード処理部１１１/２１１からの出力を入力として解析、判定を行い、ビットレート設定処理部１１８の入力を出力することで実現される。
【００９１】
視線検出処理部１１７は、画像処理装置３０３の他の機能ブロックと同期して起動されると、視線検出処理を開始し（Ｓ５０１）、ビットレート設定処理部１１８に対して、初期値ビットレート設定処理を行う（Ｓ５０２）。
【００９２】
次に視線検出処理部１１７は、映像デコード処理部１１１/２１１から受信した映像出力データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果から、正視判定処理を実行し（Ｓ５１７）、正視判定処理結果により、図１２のレート設定１処理（Ｓ５１８）、レート設定２処理（Ｓ５１９）、レート設定３処理（Ｓ５２０）、レート設定４処理（Ｓ５２１）の何れかを、ビットレート設定処理部１１８に対して行う。
【００９３】
更に、一定時間のウェイト処理を実行し（Ｓ５０７）、実行プログラムの終了判定処理を行い（Ｓ５０８）、終了でない場合には、再度、視線測定処理（Ｓ５０３）に戻り、終了の場合には、視線検出処理を終了する（Ｓ５０９）。
【００９４】
図１２の表は、図１１のレート設定１処理（Ｓ５１８）、レート設定２処理（Ｓ５１９）、レート設定３処理（Ｓ５２０）、レート設定４処理（Ｓ５２１）のビットレート設定処理部１１８に対して行なわれる設定パラメータの組み合わせの例である。この例では、視線検出処理部１１７による図１１の視線測定処理（Ｓ５０３）、視線判定処理（Ｓ５１７）により、（画面Ａ）の拠点からの送出画像も、（画面Ｂ）の拠点からの送出画像も、正視していると判定した場合には、レート設定１処理を選択するように動作するものとする。以下、同様に、視線測定処理（Ｓ５０３）、視線判定処理（Ｓ５１７）により、（画面Ａ）の拠点からの送出画像は正視しているが、（画面Ｂ）の拠点からの送出画像は正視していないと判定した場合には、レート設定２処理を選択し、（画面Ｂ）の拠点からの送出画像は正視しているが、（画面Ａ）の拠点からの送出画像は正視していないと判定した場合には、レート設定３処理を選択し、（画面Ａ）の拠点からの送出画像も、（画面Ｂ）の拠点からの送出画像も、正視していないと判定した場合には、レート設定４処理を選択するように動作するものとする。図１２の表では、ビットレート設定処理部１１８は、視線検出処理部１１７によりレート設定１処理が選択された場合には、「レート設定１」の「（画面Ａ）の拠点への送出画質制御」として、「高ビットレート」を設定し、「（画面Ｂ）の拠点への送出画質制御」として、「高ビットレート」を設定することを示している。以下同様に、ビットレート設定処理部１１８は、レート設定２処理が選択された場合には、「レート設定２」の「（画面Ａ）の拠点への送出画質制御」として「高ビットレート」を設定し、「（画面Ｂ）の拠点への送出画質制御」として「低ビットレート」を設定することを、レート設定３処理が選択された場合には、「レート設定３」の「（画面Ａ）の拠点への送出画質制御」として「低ビットレート」を設定し、「（画面Ｂ）の拠点への送出画質制御」として「高ビットレート」を設定することを、レート設定４処理が選択された場合には、「レート設定４」の「（画面Ａ）の拠点への送出画質制御」として、「低ビットレート」を設定し、「（画面Ｂ）の拠点への送出画質制御」として、「低ビットレート」を設定することを示している。
【００９５】
図１３は、実施例４における動作例の図である。ネットワーク１０９を介して画像処理装置３０３Ａ、画像処理装置３０３Ｂ、画像処理装置３０３Ｃが接続されており、それぞれにはディスプレイ、スピーカが接続されているものとする。
【００９６】
この動作例の図では、画像処理装置３０３Ａ、画像処理装置３０３Ｂ、画像処理装置３０３Ｃは、画像処理装置３０３Ａの視聴者は画面Ａを注視しており、画面Ａの拠点である画像処理装置３０３Ｂの視聴者も、画像処理装置３０３Ａの視聴者の画面を注視している。また、画像処理装置３０３Ａの視聴者は画面Ｂを注視していないが、画面Ｂの拠点である画像処理装置３０３Ｃの視聴者は、画像処理装置３０３Ａの視聴者の画面を注視している例である。
【００９７】
図１３における画像処理装置３０３Ａの視線検出処理部１１７の動作は、図１１を元に説明すると以下のようになる。画像処理装置３０３Ａの視線検出処理部１１７は、画像処理装置３０３Ａの他の機能ブロックと同期して起動されると、視線検出処理を開始し（Ｓ５０１）、ビットレート設定処理部２１８に対して、初期値ビットレート設定処理を行う（Ｓ５０２）。次に映像デコード処理部１１１/２１１から受信した映像信号データを解析し、視線測定処理を行う（Ｓ５０３）。
【００９８】
視線測定処理の測定結果から、正視判定処理を実行（Ｓ５１７）した結果として、この例では、レート設定１処理（Ｓ５１８）をビットレート設定処理部１１８に対して行う。
【００９９】
更に、一定時間のウェイト処理を実行し（Ｓ５０７）、実行プログラムの終了判定処理を行い（Ｓ５０８）、終了でないので、再度、視線測定処理（Ｓ５０３）に戻る。この例では、画像処理装置３０３Ｂも全く同様の処理となり、画像処理装置３０３Ｃでは、視線測定処理を行い（Ｓ５０３）、その測定結果から、正視判定処理を実行（Ｓ５１７）した結果として、この例では、レート設定４処理（Ｓ５２１）をビットレート設定処理部１１８に対して行う。
【０１００】
図１３の場合、互いに送信される映像・音声データは、画像処理装置３０３Ａと画像処理装置３０３Ｂ間は、双方はお互いにディスプレイの画面を注視しているので、臨場感を重視し、圧縮率が低い値（つまりデータレートが高い値）となるように制御され、画像処理装置３０３Ａと画像処理装置３０３Ｃ間は、画像処理装置３０３Ａから画像処理装置３０３Ｃに対しては、臨場感を重視し、圧縮率が低い値（つまりデータレートが高い値）となるように制御されるが、画像処理装置３０３Ｃから画像処理装置３０３Ａに対しては、臨場感は必要ないため、データの転送効率を重視し、圧縮率が高い値（つまりデータレートが低い値）となるように制御される。画像処理装置３０３Ｂと画像処理装置３０３Ｃ間は、双方はお互いにディスプレイの画面を注視しておらず、臨場感は必要ないため、データの転送効率を重視し、圧縮率が高い値（つまりデータレートが低い値）となるように制御される。
【０１０１】
本実施例によれば、映像処理装置３０３が３者間の視線状態を検出し映像符号化パラメータを制御することにより、不必要な映像データを送出せずに済むので、有限であるネットワークの回線帯域を有効に利用することができるようになる。
【実施例５】
【０１０２】
他の本実施例の画像処理装置について説明する。なお、実施例１と同等の機能、処理等については図面において同じ番号を付しており、説明を省略する。
【０１０３】
図１４は実施例５における画像処理装置のブロック図の例である。本実施例の画像処理装置３０４は、実施例１の画像処理装置３００に加えて音声エンコード処理部２０５、映像エンコード処理部２０６、ＡＶパケット合成処理部２０７、ネットワーク処理部２０８、ＡＶパケット分離処理部２１０、映像デコード処理部２１１、音声デコード処理部２１２、ディスプレイドライバ２１３、音声ドライバ２１４、キャリブレーション制御部１１９、メモリ１２０を備え、外部機器制御部１８０２を介してディスプレイ２１５、スピーカ２１６に接続されている。
【０１０４】
音声エンコード処理部２０５、映像エンコード処理部２０６、ＡＶパケット合成処理部２０７、ＡＶパケット分離処理部２１０、映像デコード処理部２１１、音声デコード処理部２１２、ディスプレイドライバ２１３、音声ドライバ２１４の説明は、実施例１で説明した同名の処理部もしくは機器等と同様であるため、説明を省略する。
【０１０５】
次に、実施例５における視線検出処理２１７の動作についてフローチャートを用いて説明する。フローチャートにおいて「Ｓ」は「ステップ」を意味する。
【０１０６】
図１５は、実施例５における視線検出処理のフローチャートの例である。
図１５は、図１４の視線検出処理部１１７において、映像デコード処理部１１１から受信する映像出力データを入力として視線検出処理を行い、視線検出処理の結果に基づいてビットレート設定処理部１１８が、映像エンコード処理部１１１の映像エンコード処理におけるビットレートを設定する処理を制御する方法を示すフローチャートであり、当該処理は、映像デコード処理部１１１/２１１からの出力を入力として解析、判定を行い、ビットレート設定処理部１１８の入力を出力することで実現される。
【０１０７】
視線検出処理部１１７は、画像処理装置３０４の他の機能ブロックと同期して起動されると、視線検出処理を開始し（Ｓ５０１）、ビットレート設定処理部１１８に対して、初期値ビットレート設定処理を行う（Ｓ５０２）。
【０１０８】
次に視線検出処理部１１７は、映像デコード処理部１１１/２１１から受信した映像出力データを解析し、視線測定処理を行い（Ｓ５０３）、その測定結果と予め保存したメモリ１２０に保存された視線検出処理の比較用データから、正視判定処理を実行し（Ｓ５１７）、視線判定比較処理結果により、図１６のレート設定１処理（Ｓ５１８）、レート設定２処理（Ｓ５１９）、レート設定３処理（Ｓ５２０）、レート設定４処理（Ｓ５２１）、レート設定５処理（Ｓ５２２）の何れかを、ビットレート設定処理部１１８に対して行う。
【０１０９】
更に、一定時間のウェイト処理を実行し（Ｓ５０７）、実行プログラムの終了判定処理を行い（Ｓ５０８）、終了でない場合には、再度、視線測定処理（Ｓ５０３）に戻り、終了の場合には、視線検出処理を終了する（Ｓ５０９）。
【０１１０】
図１６の表は、図１５のレート設定１処理（Ｓ５１８）、レート設定２処理（Ｓ５１９）、レート設定３処理（Ｓ５２０）、レート設定４処理（Ｓ５２１）、レート設定５処理（Ｓ５２２）のビットレート設定処理部１１８に対して行なわれる設定パラメータの組み合わせの例である。視線検出処理部１１７によるレート設定１から４までの選択の基準は実施例４と同様であるが、本実施例においては、複数のディスプレイのうち、どのディスプレイを見ているか、若しくは複数のディスプレイのどれも見ていないのか、を図１７のように１台のカメラで判断しているため、視線検出の精度が低下する。
【０１１１】
そこで、本実施例では、視線検出処理部１１７が視線を検出することができなかった場合、および視聴者が複数のディスプレイのうち、どのディスプレイを見ているのかを判定できなかった場合に、視線検出処理部１１７はレート設定５を選択することとする。
【０１１２】
ビットレート設定処理部１１８は、レート設定５が選択された場合は「（画面Ａ）の拠点への送出画質制御」も、「（画面Ｂ）の拠点への送出画質制御」も、高ビットレートと低ビットレートとの間のビットレート値である「中ビットレート」を設定する。
【０１１３】
また、複数の人物の視線が検出された場合や、複数の人物が検出された場合、または複数の人物の視線が検出されてその一部の視線が正視と判断された場合に、レート設定５を選択するようにしてもよい。上記の場合、一台の画像処理装置３００を用いて複数の人物が通信を行うことに対応することができる。また、複数の人物が検出された場合にレート設定5を選択するようにすれば、視線検出をするまでもなくビットレートを設定することができるため、視線検出処理部１１７による処理負担を減少させることができ、また、複数の人物の視線が検出されてその一部の視線が正視と判断された場合に、レート設定５を選択するようにした場合は、カメラ１０２が撮像する複数の人物の全員が正視していない場合にレート設定４とすることで、画像処理装置間の通信量をさらに減少させることができる。
【０１１４】
ビットレート設定処理部１１８は、視線検出処理部１１７によりレート設定１処理が選択された場合は、（画面Ａ）の拠点への送出画質制御として、高ビットレートを設定し、（画面Ｂ）の拠点への送出画質制御として、高ビットレートを設定することを示している。以下同様に、図１６の表は、ビットレート設定処理部１１８が、レート設定２処理が選択された場合に（画面Ａ）の拠点への送出画質制御として高ビットレートを設定し、（画面Ｂ）の拠点への送出画質制御として、低ビットレートを設定することを、レート設定３処理が選択された場合に（画面Ａ）の拠点への送出画質制御として低ビットレートを設定し、（画面Ｂ）の拠点への送出画質制御として高ビットレートを設定すること、レート設定４処理が選択された場合に（画面Ａ）の拠点への送出画質制御として低ビットレートを設定し、（画面Ｂ）の拠点への送出画質制御として低ビットレートを設定すること、レート設定５処理が選択された場合に（画面Ａ）の拠点への送出画質制御として中ビットレートを設定し、（画面Ｂ）の拠点への送出画質制御として中ビットレートを設定すること、を示している。
【０１１５】
図１７は、実施例５における動作例の図である。ネットワーク１０９を介して画像処理装置３０４Ａ、画像処理装置３０４Ｂ、画像処理装置３０４Ｃが接続されており、それぞれにはディスプレイ、スピーカが接続されているものとする。
【０１１６】
この例では、実施例４の場合とレート設定以外は、同様の動作となるため、簡略化のため説明を省略する。また、図１７では、モニタを２台用いた場合について記載しているが、モニタの２画面表示機能を使うことにより、１台のモニタで同様のシステムを構築することもできる。
【０１１７】
本実施例によれば、映像処理装置３０３が実施例４と同様に３者間の利用におけるネットワークの回線帯域を有効に利用することができるようになるほか、本実施例では、カメラ、マイク、映像信号処理、音声信号処理の部分が共用化されているので、システムコストを下げる効果がある。一方本実施例では、カメラ、マイク、映像信号処理、音声信号処理の部分が共用化されることにより、視聴者が画面Ａを注視しているのか、画面Ｂを注視しているのかの判定が付かなくなる場合が発生するため、このような場合は、レート設定５処理により、（画面Ａ）の拠点、（画面Ｂ）の拠点の両方に対して、中ビットレートを設定できるようにしたものである。また、複数人で同一の画像処理装置を利用した場合に、複数の視線を検出するケースがあり、この場合は、レート設定５処理により、（画面Ａ）の拠点、（画面Ｂ）の拠点の両方に対して、中ビットレートを設定できるようにすることも考えられる。
【０１１８】
以上の実施例では、ディスプレイ、スピーカが外付けの画像処理装置について説明をしたが、ディスプレイ、スピーカを内蔵したデジタルテレビ受信機などを利用して上記の例を実施することも可能である。
【０１１９】
また、上記の実施例で説明した画像処理装置と同様の機能を持つＭＣＵ（Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と、ビットレートを変更する機能を有さない複数の画像処理装置とを有し、画像処理装置はそれぞれがＭＣＵに接続した構成を持つＴＶ会議システムを構成することも可能である。
【０１２０】
この場合、それぞれの画像処理装置はＭＣＵに対して各視聴者の映像音声データを送信し、ＭＣＵから送信された映像音声データをディスプレイ、スピーカで再生する。ＭＣＵは各画像処理装置から送信された映像音声データに含まれる映像の視線検出処理、音声のレベル判定処理等を行い、各画像処理装置にビットレートを変更して送信する。以上の構成にすることでＭＣＵを用いたＴＶ会議システムであっても上記の実施例と同様にして各画像処理装置に送信する映像音声データの通信量を低下させることができる。
【０１２１】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【０１２２】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【０１２３】
１０１ マイク
１０２ カメラ
１０３ 音声信号処理部
１０４ 映像信号処理部
１０５ 音声エンコード処理部
１０６ 映像エンコード処理部
１０７ ＡＶパケット合成処理部
１０８ ネットワーク処理部
１０９ ネットワーク
１１０ ＡＶパケット分離処理部
１１１ 映像デコード処理部
１１２ 音声デコード処理部
１１３ ディスプレイドライバ
１１４ 音声ドライバ
１１５ モニタ
１１６ スピーカ
１１７ 視線検出処理部
１１８ ビットレート設定処理部
１１９ キャリブレーション制御部
１２０ メモリ
１２１ 音声検出処理部
２０１ マイク
２０２ カメラ
２０３ 音声信号処理部
２０４ 映像信号処理部
２０５ 音声エンコード処理部
２０６ 映像エンコード処理部
２０７ ＡＶパケット合成処理部
２０８ ネットワーク処理部
２０９ ネットワーク
２１０ ＡＶパケット分離処理部
２１１ 映像デコード処理部
２１２ 音声デコード処理部
２１３ ディスプレイドライバ
２１４ 音声ドライバ
２１５ モニタ
２１６ スピーカ
３００ 画像処理装置
３０１ 画像処理装置
３０２ 画像処理装置
３０３ 画像処理装置
３０４ 画像処理装置
【特許請求の範囲】
【請求項１】
第１の入力映像情報の視線検出を行い検出結果を出力する第１の映像処理ユニットと、
第２の入力映像情報を制御入力情報に基づいて圧縮符号化し映像情報を出力する第２の映像処理ユニットと、
前記第１の映像処理ユニットの出力を前記第２の映像処理ユニットの前記制御入力情報に変換する変換処理ユニットと、
他の機器からネットワークを介して受信した入力映像情報を前記第１の映像処理ユニットの前記第１の入力映像情報として出力すると共に、前記第２の映像処理ユニットで圧縮符号化した前記映像情報を前記他の機器へ前記ネットワークを介して送信するネットワーク接続ユニットと
を備えることを特徴とする画像処理装置。
【請求項２】
第１の入力映像情報を予め保持した映像情報を比較して視線検出を行い検出結果を出力する第１の映像処理ユニットと、
第２の入力映像情報を制御入力情報に基づいて圧縮符号化し出力する第２の映像処理ユニットと、
前記第１の映像処理ユニットの出力を前記第２の映像処理ユニットの前記制御入力情報に変換する変換処理ユニットと、
他の機器からネットワークを介して受信した入力映像情報を前記第１の映像処理ユニットの前記第１の入力映像情報として出力すると共に、前記第２の映像処理ユニットで圧縮符号化した前記映像情報を前記他の機器へ前記ネットワークを介して送信するネットワーク接続ユニットと
を備えることを特徴とする画像処理装置。
【請求項３】
請求項１または、請求項２の画像処理装置において、
入力音声情報の特徴検出を行い検出結果を出力する音声処理ユニットを備え、
前記変換処理ユニットは、前記音声処理ユニットの出力を前記第２の映像処理ユニットの前記制御入力情報に変換することを特徴とする画像処理装置。
【請求項４】
第１の入力映像情報を解析して映像情報に含まれる視線検出を行う視線検出ステップと、
前記第１の入力映像情報の解析結果により、制御情報を作成するステップと、
前記制御情報により、第２の入力映像情報の圧縮符号化を制御するステップと、
ネットワークを介して受信した入力映像情報を前記第１の入力映像情報として出力すると共に、圧縮符号化された前記第２の入力映像情報を前記ネットワークに送信するステップと
を有することを特徴とする画像処理方法。
【請求項５】
第１の入力映像情報を予め保持した映像情報と比較して映像情報に含まれる視線検出を行うステップと、
前記第１の入力映像情報の解析結果により、制御情報を作成するステップと、
前記制御情報により、第２の入力映像情報の圧縮符号化を制御するステップと、
ネットワークを介して受信した入力映像情報を前記第１の入力映像情報として出力すると共に、圧縮符号化された前記第２の入力映像情報を前記ネットワークに送信するステップと
を有することを特徴とする画像処理方法。
【請求項６】
入力音声情報を解析して音声情報に含まれる特徴検出を行うステップと、
前記入力音声情報の検出結果により、制御情報を作成するステップと
前記制御情報により、第２の入力映像情報の圧縮符号化を制御するステップと、
ネットワークを介して受信した音声情報を前記入力音声情報として出力すると共に、圧縮符号化された前記第２の映像情報を前記ネットワークに送信するステップと
を有することを特徴とする画像処理方法。
【請求項１】
第１の入力映像情報の視線検出を行い検出結果を出力する第１の映像処理ユニットと、
第２の入力映像情報を制御入力情報に基づいて圧縮符号化し映像情報を出力する第２の映像処理ユニットと、
前記第１の映像処理ユニットの出力を前記第２の映像処理ユニットの前記制御入力情報に変換する変換処理ユニットと、
他の機器からネットワークを介して受信した入力映像情報を前記第１の映像処理ユニットの前記第１の入力映像情報として出力すると共に、前記第２の映像処理ユニットで圧縮符号化した前記映像情報を前記他の機器へ前記ネットワークを介して送信するネットワーク接続ユニットと
を備えることを特徴とする画像処理装置。
【請求項２】
第１の入力映像情報を予め保持した映像情報を比較して視線検出を行い検出結果を出力する第１の映像処理ユニットと、
第２の入力映像情報を制御入力情報に基づいて圧縮符号化し出力する第２の映像処理ユニットと、
前記第１の映像処理ユニットの出力を前記第２の映像処理ユニットの前記制御入力情報に変換する変換処理ユニットと、
他の機器からネットワークを介して受信した入力映像情報を前記第１の映像処理ユニットの前記第１の入力映像情報として出力すると共に、前記第２の映像処理ユニットで圧縮符号化した前記映像情報を前記他の機器へ前記ネットワークを介して送信するネットワーク接続ユニットと
を備えることを特徴とする画像処理装置。
【請求項３】
請求項１または、請求項２の画像処理装置において、
入力音声情報の特徴検出を行い検出結果を出力する音声処理ユニットを備え、
前記変換処理ユニットは、前記音声処理ユニットの出力を前記第２の映像処理ユニットの前記制御入力情報に変換することを特徴とする画像処理装置。
【請求項４】
第１の入力映像情報を解析して映像情報に含まれる視線検出を行う視線検出ステップと、
前記第１の入力映像情報の解析結果により、制御情報を作成するステップと、
前記制御情報により、第２の入力映像情報の圧縮符号化を制御するステップと、
ネットワークを介して受信した入力映像情報を前記第１の入力映像情報として出力すると共に、圧縮符号化された前記第２の入力映像情報を前記ネットワークに送信するステップと
を有することを特徴とする画像処理方法。
【請求項５】
第１の入力映像情報を予め保持した映像情報と比較して映像情報に含まれる視線検出を行うステップと、
前記第１の入力映像情報の解析結果により、制御情報を作成するステップと、
前記制御情報により、第２の入力映像情報の圧縮符号化を制御するステップと、
ネットワークを介して受信した入力映像情報を前記第１の入力映像情報として出力すると共に、圧縮符号化された前記第２の入力映像情報を前記ネットワークに送信するステップと
を有することを特徴とする画像処理方法。
【請求項６】
入力音声情報を解析して音声情報に含まれる特徴検出を行うステップと、
前記入力音声情報の検出結果により、制御情報を作成するステップと
前記制御情報により、第２の入力映像情報の圧縮符号化を制御するステップと、
ネットワークを介して受信した音声情報を前記入力音声情報として出力すると共に、圧縮符号化された前記第２の映像情報を前記ネットワークに送信するステップと
を有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−４６３１９（Ｐ２０１３−４６３１９Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８４２５９（Ｐ２０１１−１８４２５９）
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
[ Back to top ]