動画像符号化装置及びプログラム、並びに、動画像配信システム
【課題】 動画像の符号化について、符号化効率を向上させることができる。
【解決手段】 受信装置と、配信用動画像データを受信装置に配信する動画像配信装置とを有する動画像配信システムに関する。そして、動画像配信装置に搭載された動画像符号化装置は、入力シーケンスのうち非キーフレームの予測画像をキーフレームを利用して生成する手段と、非キーフレームの原画像に対する予測画像の誤りやすさに応じた誤り訂正符号の量を求め、求めた誤り訂正符号の量に応じた誤り訂正符号を符号化データとして生成する手段と、所定の方法により第１の誤り訂正符号の量を算出する手段と、第１の誤り訂正符号の量に対する補正量を算出する手段と、第１の誤り訂正符号の量とは異なる方法で誤り訂正符号の量を算出し、その算出結果に応じて第１の誤り訂正符号の量を補正するか否か判定して補正する手段とを有することを特徴とする。
【解決手段】 受信装置と、配信用動画像データを受信装置に配信する動画像配信装置とを有する動画像配信システムに関する。そして、動画像配信装置に搭載された動画像符号化装置は、入力シーケンスのうち非キーフレームの予測画像をキーフレームを利用して生成する手段と、非キーフレームの原画像に対する予測画像の誤りやすさに応じた誤り訂正符号の量を求め、求めた誤り訂正符号の量に応じた誤り訂正符号を符号化データとして生成する手段と、所定の方法により第１の誤り訂正符号の量を算出する手段と、第１の誤り訂正符号の量に対する補正量を算出する手段と、第１の誤り訂正符号の量とは異なる方法で誤り訂正符号の量を算出し、その算出結果に応じて第１の誤り訂正符号の量を補正するか否か判定して補正する手段とを有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像符号化装置及びプログラム、並びに、動画像配信システムに関し、例えば、動画像についてＤＶＣ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式で動画像データを符号化して配信する動画像配信システムに適用し得る。
【背景技術】
【０００２】
近年、非特許文献１に説明されるようなＤＶＣという符号化方式に注目が集まっている。
【０００３】
この方式は、符号化部で符号化するべき原画像に対してＳｌｅｐｉａｎ−Ｗｏｌｆ符号化処理を行い、その符号化データと復号側で行った符号化部の原画像の予測画像とともにＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行うことで画像の復号処理を行う新しい符号化方式である。
【０００４】
符号化部で符号化するべき原画像（以下、「Ｗｙｎｅｒ−Ｚｉｖフレーム」という）を、符号化部のＷｙｎｅｒ−Ｚｉｖフレーム符号化部で、変換係数領域（ＤＣＴ）に変換した後、各帯域毎に量子化（２Ｍｋ ｌｅｖｅｌ Ｑｕａｎｔｉｚｅｒ）し、その値（ｑｋ）を２値で表し、各ビットの情報を、例えば１ｆｒａｍｅ分集めた情報（Ｅｘｔｒａｃｔ ｂｉｔ−ｐｌａｎｅｓ）毎にＳｌｅｐｉａｎ−Ｗｏｌｆ符号化（Ｔｕｒｂｏ Ｅｎｃｏｄｅｒ）を行い、その結果のうちパリティビットのみを一時保存（Ｂｕｆｆｅｒ）し、情報ビットは捨てられる。
【０００５】
その後、復号部のＳｌｅｐｉａｎ−Ｗｏｌｆ復号（Ｔｕｒｂｏ Ｄｅｃｏｄｅｒ）の復号値とＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。
【０００６】
一方、復号化部に搭載されたＳｌｅｐｉａｎ−Ｗｏｌｆ復号部（Ｔｕｒｂｏ Ｄｅｃｏｄｅｒ）は符号化部に対して、一時保存しているパリティビットのうち一部に対して送信要求（Ｒｅｑｕｅｓｔ ｂｉｔｓ）を行う。受信したパリティビットと上述したＳｉｄｅ ＩｎｆｏｒｍａｔｉｏｎからＳｌｅｐｉａｎ−Ｗｏｌｆ復号（Ｔｕｒｂｏ Ｄｅｃｏｄｅｒ）を行う。十分な復号が行えなかった場合は、再度符号化部にパリティビットの一部の追加送信要求（Ｒｅｑｕｅｓｔ ｂｉｔｓ）を行い、受信したパリティビットと上述したＳｉｄｅ ＩｎｆｏｒｍａｔｉｏｎからＳｌｅｐｉａｎ−Ｗｏｌｆ復号（Ｔｕｒｂｏ Ｄｅｃｏｄｅｒ）を行う。この処理を、十分な復号が行えるまで続ける。
【０００７】
その後、復号化部のＳｌｅｐｉａｎ−Ｗｏｌｆ復号（Ｔｕｒｂｏ Ｄｅｃｏｄｅｒ）の復号値とＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。
【０００８】
このような、非特許文献１に代表されるＤＶＣの方式は、誤り訂正符号の再送要求というフィードバックを行うため、遅延が生じることや、符号化部と復号部が単独で動作できないという問題がある。
【０００９】
そこで、非特許文献２では、この再送要求を避けるために、誤り訂正に必要な誤り訂正符号の量をＷｙｎｅｒ−Ｚｉｖフレーム符号化部で計算を行う。これは、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部の作る予測画像を想定した予測画像をＷｙｎｅｒ−Ｚｉｖフレーム符号器側で生成し、それをもとに予測画像の誤りを推定し訂正するための必要な誤り訂正符号の量を計算することにより、フィードバックを必要としない手法を実現している。
【００１０】
非特許文献２における送信符号量の推定手法は、「予測画像と原画像の係数の差分の分布はラプラス分布で近似できる」というモデルを利用し、この分布モデルを用いて予測画像と原画像の間の予測誤りの起こる確率を推定する。分布モデルを用いて誤り確率を推定し、推定した確率を用いて条件付きエントロピーを計算することによって、推定した誤りを訂正するのに必要な符号量を推定する。
【００１１】
しかし、符号化側と復号側で生成する予測画像が異なることや、誤りの推定に用いる分布モデルは原画像と予測画像の関係を近似したものであるため、分布モデルから推定した符号量は、実際にＳｌｅｐｉａｎ−Ｗｏｌｆ復号に必要な符号量は異なることがある。
【００１２】
この推定した符号量が復号に必要な符号量より少ない場合は、誤り訂正が正しく行われないことがあり、その結果、復号した画像に歪みとして現れることがある、という問題がある。そこで、この間題に対して、非特許文献２では、ｒｅｌａｔｉｖｅ ｅｒｒｏｒ ｐｒｏｂａｂｉｌｉｔｙと呼ばれる補助情報を分布モデルから得られる符号量に加算することで補正を行い、送信符号量を決定している。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】ＡｎｎｅＡａｒｏｎ，ＳｈａｎｔａｎｕＲａｎｅ，Ｅｒｉｃ Ｓｅｔｔｏｎ，ａｎｄ Ｂｅｒｎｄ Ｇｉｒｏｄ，“Ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｃｏｄｅｃ ｆｏｒ Ｖｉｄｅｏ”．Ｉｎ：Ｐｒｏｃ，ＳＰＩＥ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ＳａｎＪｏｓｅ，ＣＡ（２００４）
【非特許文献２】Ｃ．Ｂｒｉｔｅｓ，Ｆ．Ｐｅｒｅｉｒａ，”Ｅｎｃｏｄｅｒ Ｒａｔｅ Ｃｏｎｔｒｏｌ ｆｏｒ Ｔｒａｎｓｆｏｒｍ Ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，ＩＣＩＰ２００７，ＵＳＡ（Ｓｅｐｔｅｍｂｅｒ ２００７）
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、非特許文献２では、分布モデルから得られる符号量に常に補助情報を加算しているため、分布モデルから推定した符号量で復号に必要な符号量が得られている場合、分布モデルで推定した符号量で予測誤りが訂正できる。このような場合、補助情報分の符号量が増加したとしても、誤り訂正の結果は変わらず、復号画質も変わらない。そのために補正を行った補助情報分の符号量が冗長となることがあるため、符号化効率が悪くなるという問題があった。
【００１５】
そのため、動画像の符号化について、符号化効率を向上させることができる動画像符号化装置及びプログラム、並びに、動画像配信システムが望まれている。
【課題を解決するための手段】
【００１６】
第１の本発明は、フレーム列を有する動画像信号を符号化する動画像符号化装置において、（１）上記フレーム列のそれぞれのフレームをキーフレーム又は非キーフレームに分類するフレーム分類手段と、（２）上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、（３）符号化されたキーフレームを利用して、非キーフレームの予測画像を生成する予測画像生成手段と、（４）非キーフレームの原画像に対する予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、（５）上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号を、非キーフレームの符号化データとして生成する非キーフレーム符号化手段とを備え、（６）上記送信符号量算出手段は、（６−１）所定の方法により上記原画像に対する上記予測画像の誤りを訂正する第１の誤り訂正符号の量を算出する誤り訂正符号量算出手段と、（６−２）上記誤り訂正符号量算出手段が算出する誤り訂正符号の量に対する補正量を算出する補正量算出手段と、（６−３）上記誤り訂正符号量算出手段とは異なる方法を用いて、上記原画像に対する上記予測画像の誤りを訂正する誤り訂正符号の量を算出する１又は複数の判定用誤り訂正符号量算出手段と、（６−４）上記判定用誤り訂正符号量算出手段の算出結果に応じて、上記第１の誤り訂正符号の量を補正するか否か判定する補正判定手段と、（６−５）上記補正判定手段により、上記第１の誤り訂正符号の量を補正すると判定された場合には、上記第１の誤り訂正符号の量について、上記補正量算出手段が算出した補正量を用いて補正した値を、当該送信符号量算出手段の算出結果として出力し、上記補正判定手段により（６−６）、上記第１の誤り訂正符号の量を補正しないと判定された場合には、上記第１の誤り訂正符号の量を、そのまま当該送信符号量算出手段の算出結果として出力する補正手段とを有することを特徴とする。
【００１７】
第２の本発明の動画像符号化プログラムは、コンピュータを、（１）動画像を構成するフレーム列のそれぞれのフレームを、キーフレーム又は非キーフレームに分類するフレーム分類手段と、（２）上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、（３）符号化されたキーフレームを利用して、非キーフレームの予測画像を生成する予測画像生成手段と、（４）非キーフレームの原画像に対する予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、（５）上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号を、非キーフレームの符号化データとして生成する非キーフレーム符号化手段として機能させ、（６）上記送信符号量算出手段を、（６−１）所定の方法により上記原画像に対する上記予測画像の誤りを訂正する第１の誤り訂正符号の量を算出する誤り訂正符号量算出手段と、（６−２）上記誤り訂正符号量算出手段が算出する誤り訂正符号の量に対する補正量を算出する補正量算出手段と、（６−３）上記誤り訂正符号量算出手段とは異なる方法を用いて、上記原画像に対する上記予測画像の誤りを訂正する誤り訂正符号の量を算出する１又は複数の判定用誤り訂正符号量算出手段と、（６−４）上記判定用誤り訂正符号量算出手段の算出結果に応じて、上記第１の誤り訂正符号の量を補正するか否か判定する補正判定手段と、（６−５）上記補正判定手段により、上記第１の誤り訂正符号の量を補正すると判定された場合には、上記第１の誤り訂正符号の量について、上記補正量算出手段が算出した補正量を用いて補正した値を、当該送信符号量算出手段の算出結果として出力し、上記補正判定手段により、上記第１の誤り訂正符号の量を補正しないと判定された場合には、上記第１の誤り訂正符号の量を、そのまま当該送信符号量算出手段の算出結果として出力する補正手段として機能させることを特徴とする。
【００１８】
第３の本発明は、受信装置と、配信用動画像データを上記受信装置に配信する動画像配信装置とを有する動画像配信システムにおいて、上記動画像配信装置は、フレーム列を有する動画像信号を符号化して配信用動画像データを生成する動画像符号化装置を有し、上記動画像符号化装置として、第１の本発明の動画像符号化装置を適用したことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、動画像の符号化について、符号化効率を向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態に係る動画像符号化装置の機能的構成について示したブロック図である。
【図２】第１の実施形態に係る動画像配信システムの全体構成について示したブロック図である。
【図３】第１の実施形態に係る動画像符号化装置の動作について示したフローチャート（１）である。
【図４】第１の実施形態に係る動画像符号化装置の動作について示したフローチャート（２）である。
【図５】第１の実施形態に係る動画像符号化装置の動作について示したフローチャート（３）である。
【図６】第２の実施形態に係る動画像符号化装置の機能的構成について示したブロック図である。
【図７】第２の実施形態に係る動画像符号化装置の動作について示したフローチャート（１）である。
【図８】第２の実施形態に係る動画像符号化装置の動作について示したフローチャート（２）である。
【図９】第２の実施形態に係る動画像符号化装置の動作について示したフローチャート（３）である。
【図１０】第２の実施形態に係る動画像符号化装置の動作について示したフローチャート（４）である。
【発明を実施するための形態】
【００２１】
（Ａ）第１の実施形態
以下、本発明による動画像符号化装置及びプログラム、並びに、動画像配信システムの第１の実施形態を、図面を参照しながら詳述する。
【００２２】
（Ａ−１）第１の実施形態の構成
図２は、この実施形態の動画像配信システム１０の全体構成を示すブロック図である。
【００２３】
なお、図２において括弧内の符号は、後述する第２の実施形態の説明において用いられるものである。
【００２４】
動画像配信システム１０は、動画像配信装置１０及び動画像受信装置２０を有している。動画像配信装置１０は、動画像符号化装置１００を有しており、動画像符号化装置１００により入力された映像信号を符号化して動画像データを生成し、図示しない通信部により動画像受信装置２０に向けて送出する。
【００２５】
動画像符号化装置１００に対して入力される映像信号は、この実施形態においては、フレーム単位の映像信号（例えば、ＣＣＤカメラから入力される映像信号等）の列（以下、「入力シーケンス」という）を適用するものとして説明する。その他にも、動画像符号化装置１００に、ビデオカメラ等によるアナログ形式の映像信号を入力して、動画像符号化装置１００がフレーム単位の画像データに変換するキャプチャを別途備えるようにしても良い。このように、動画像符号化装置１００に対して入力される映像信号の形式は限定されないものである。
【００２６】
図１は、動画像符号化装置１００内部の機能的構成について示したブロック図である。
【００２７】
動画像符号化装置１００は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、ハードディスクなどのプログラムの実行構成に、実施形態の動画像符号化プログラムをインストールすることにより構築するようにしても良いが、その場合でも、機能的には、図１のように表すことができる。また、動画像配信装置１０は、例えば、ハードウェア的な通信部の他は、通信処理やデータ処理等を実行するためのＣＰＵ、ＲＯＭ、ＲＡＭ等を有しており、ＣＰＵが実行するプログラム（実施形態の動画像符号化プログラムを含む）をインストールすることにより構築しても良く、上述したプログラムを含め、動画像配信装置１０の機能的構成を示すと図１に示すようになる。
【００２８】
動画像受信装置２０は、動画像復号装置２００を有しており、動画像配信装置１０から送信された動画像データを受信し、動画像復号装置２００により、受信した符号化された動画像データを復号化して、動画像の信号を生成して所定の出力（例えば、ディスプレイへの出力や、復号化した動画像データの記憶媒体への書き込み等、出力方法限定されないものである）を行う。
【００２９】
動画像受信装置２０（動画像復号装置２００）については、既存の動画像配信システムにおける受信装置（例えば、非特許文献２における復号化方式を適用したもの）と同様のものを適用することができるので、ここでは詳しい説明は省略する。
【００３０】
次に、動画像符号化装置１００の構成の詳細について説明する。
【００３１】
動画像符号化装置１００は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０及びキーフレーム符号化部１６０を有している。動画像符号化装置１００では、映像信号として入力されるフレームを、Ｗｙｎｅｒ−Ｚｉｖフレーム（非キーフレーム）、キーフレームのいずれかに分類して符号化し、Ｗｙｎｅｒ−ＺｉｖフレームはＷｙｎｅｒ−Ｚｉｖフレーム符号化部１１０により符号化され、キーフレームはキーフレーム符号化部１６０に符号化されて、それぞれ動画像受信装置２０に符号化した動画像データを送信する。
【００３２】
Ｗｙｎｅｒ−Ｚｉｖフレームとキーフレームを分類する方法としては、例えば、フレームの順序に応じて決定するようにしても良い。動画像符号化装置１００では、入力シーケンスの１番目のフレームをキーフレームとして分類し、２番目のフレームをＷｙｎｅｒ−Ｚｉｖフレームに分類するといった動作を繰り返して、入力シーケンスのフレームを交互にキーフレーム又はＷｙｎｅｒ−Ｚｉｖフレームのいずれかに分類するものとする。なお、動画像符号化装置１００において、入力シーケンスのフレームを分類する順序は限定されるものではなく、例えば、連続して同一種類のフレーム（Ｗｙｎｅｒ−Ｚｉｖフレーム又はキーフレーム）として分類するようにしても良い。また、Ｗｙｎｅｒ−Ｚｉｖフレームとキーフレームを分類する方法は、既存のＤＶＣ方式を利用した動画像符号化装置と同様の方法を適用することができる。
【００３３】
キーフレーム符号化部１６０は、入力シーケンスからキーフレームを得て、既存の符号化方式（例えば、非特許文献１などと同じくＪＰＥＧやＭＰＥＧのＩフレームのようなフレーム内符号化）で符号化を行い、動画像受信装置２０側へ符号化データを送信する。
【００３４】
ＤＶＣのフレームワークにおいては、入力されたＷｙｎｅｒ−Ｚｉｖフレームを符号化する際に画素領域で処理を行う方法や、ＤＣＴなどの変換を行い、変換係数領域で処理を行う方法がある。ここでは、動画像符号化装置１００は、非特許文献１と同じく、変換を行い変換計数領域で処理を行う方法で説明を行う例について説明するが、他の方式を用いるようにしても良い。
【００３５】
Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０は、量子化部１２０、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０、送信符号量推定部１４０及びＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０を有している。
【００３６】
量子化部１２０は、入力シーケンスからＷｙｎｅｒ−Ｚｉｖフレームを得て、変換・量子化しビットプレーン単位へ分割して、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０及び送信符号量推定部１４０に与える。
【００３７】
Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０は、Ｗｙｎｅｒ−Ｚｉｖフレームの前、もしくは後ろ、もしくは前後のキーフレーム画像に基づいて、Ｗｙｎｅｒ−Ｚｉｖフレーム画像の予測画像を生成し、変換・量子化し、ビットプレーンへ分割する。
【００３８】
送信符号量推定部１４０は、入力されたビットプレーンに対して、入力フレームである原画像とＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０で生成される予測画像を利用して、予測誤りが訂正できる符号量の推定を行う。なお、送信符号量推定部１４０の詳細については後述する。
【００３９】
Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０は、量子化部１２０から入力された各ビットプレーンに対し、例えば、Ｔｕｒｂｏ符号やＬＤＰＣ符号等を用いて、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化を行い、送信符号量推定部１４０で計算された符号量に応じた誤り訂正符号を受信側に与える。
【００４０】
次に、送信符号量推定部１４０の構成について説明する。
【００４１】
送信符号量推定部１４０は、分布モデルエントロピー計算部１４１、補助情報計算部１４２、補正判定部１４３、補正部１４４を有している。なお、送信符号量推定部１４０の各部の処理については、後述する動作説明において詳述する。
【００４２】
分布モデルエントロピー計算部１４１は、量子化部１２０で得られたＷｙｎｅｒ−Ｚｉｖフレームの原画像のビットプレーンと、これに対応する予測画像の変換係数をＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０から得て、分布モデルを利用してビットプレーン中の各ビットの誤り確率を推定したのちエントロピーを計算する。
【００４３】
補助情報計算部１４２は、量子化部１２０で得られたＷｙｎｅｒ−Ｚｉｖフレームの原画像のビットプレーンと、これに対応する予測画像のビットプレーンをＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０から得て、補助情報を計算する。
【００４４】
補正判定部１４３は、分布モデルエントロピー計算部１４１から得られるエントロピーと、原画像のビットプレーンと予測画像の対応するビットプレーンのビットを比較し、異なり（誤り）を計測することにより得られるエントロピーとを比較することで、補助情報が必要かどうかを判定する。
【００４５】
補正部１４４は、補正判定部１４３の判定結果によって、分布モデルエントロピー計算部１４１の計算結果に補正を行い、補正後のものをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０に供給する。
【００４６】
（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の動画像配信システム１の動作、特に動画像符号化装置１００の動作を中心に説明する。
【００４７】
入力シーケンスはキーフレームとＷｙｎｅｒ−Ｚｉｖフレームに分けられ、それぞれの符号化・復号が行われる。ここでは、入力シーケンスをキーフレームとＷｙｎｅｒ−Ｚｉｖフレームを交互に符号化する例について説明を行う。
【００４８】
動画像符号化装置１００では、入力シーケンスの１フレーム目はキーフレームとして符号化が行われる。１フレーム目は、キーフレーム符号化部１６０において、非特許文献１などと同じくＪＰＥＧやＭＰＥＧのＩフレームのようなフレーム内符号化がおこなわれ、受信側に与えられる。次に、２フレーム目はＷｙｎｅｒ−Ｚｉｖフレームとして、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０により符号化が行われる。ここでは、この２フレーム目のデータが、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０により符号化される場合を例として、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０の動作について説明する。
【００４９】
図３〜５は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０の動作について示したフローチャートである。
【００５０】
まず、入力シーケンスから２フレーム目の原画像データが量子化部１２０に取り込まれたものとする（Ｓ３０１）。
【００５１】
次に、量子化部１２０により、ステップＳ３０１で取り込まれた２フレーム目の原画像が変換係数領域に変換（ＤＣＴ）され、帯域ごとに量子化される（Ｓ３０２）。なお、ステップＳ３０２では、各帯域の量子化された変換係数を２値化し、ビットプレーンヘ分割する。帯域毎にビットプレーン化する際に、１フレーム全体の長さでビットプレーンヘ分割してもよいし、画面内の領域ごと、といった形でグループ化した長さで区切り、ビットプレーンヘ分割してもよい。
【００５２】
そして、キーフレーム符号化部１６０から前または後、または両方のキーフレーム画像がＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０に入力される（Ｓ３０３）。
【００５３】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０において２フレーム目（Ｗｙｎｅｒ−Ｚｉｖフレーム）の予測画像が生成される（Ｓ３０４）。ステップＳ３０４における予測画像の生成には、前のキーフレームを利用する方法や、前後のキーフレーム画像の平均を取るなどの方法や、範囲の絞った動き探索などの方法を適用することができる。
【００５４】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０において生成した予測画像に対して、変換・量子化が行われ、ビットプレーンに分割される（Ｓ３０５）。ステップＳ３０５では、このときのビットプレーンの長さは量子化部１２０と同様の分割方法で行われる。
【００５５】
そして、量子化部１２０から１フレーム分の原画像の変換係数が分布モデルエントロピー計算郡１０５へ入力される（Ｓ３０６）。なお、以降のステップの処理により、分布モデルエントロピー計算部１４１では、原画像と予測画像の変換係数の差分の分布はラプラス分布で近似できるという性質を用いて、原画像と予測画像の間の予測誤りの推定が行われ、エントロピーが計算される。
【００５６】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０から１フレーム分の予測画像の変換係数が分布モデルエントロピー計算部１４１へ入力される（Ｓ３０７）。
【００５７】
次に、分布モデルエントロピー計算部１４１にて、帯域ごとにラプラス分布の分布パラメータαが計算される（Ｓ３０８）。ラプラス分布の分布パラメータαと分散σ２には以下の（１）式の関係がある。ここでは、平均（差分）が０である分布を仮定し、原画像の係数値をＸ、予測画像の係数値を、ビットプレーンの長さをＮとすると、分散σ２は以下の（２）式のように計算できる。
【数１】
【００５８】
次に、量子化部１２０から原画像のビットプレーンが分布モデルエントロピー計算部１４１へ入力される（Ｓ３０９）。
【００５９】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０から予測画像のビットプレーンが分布モデルエントロピー計算部１４１へ入力される（Ｓ３１０）。
【００６０】
次に、分布モデルエントロピー計算部１４１にて、分布モデルを用いた誤り確率の計算が行われる（Ｓ３１１）。
【００６１】
ステップＳ３１１では、原画像のある係数値の確率変数をＸ、予測画像の係数の確率変数をＹとすると、予測画像の係数値の分布は、分布モデルエントロピー計算部１４１において、以下の（３）式のように表すことができる。ここで、入力されたビットプレーンのうちのある１ビット（ｎビット日）に注目し、予測画像と原画像とで異なり（誤り）が生じる確率が計算される。この確率をもとに、エントロピーが計算される。
【００６２】
入力されたビットプレーンが上位からｊビットプレーン目であるとする。ここで、原画像の係数値の存在する範囲は、原画像のビットの上位ｊ−１ビットプレーンを参照することによって決まり、この範囲において、ｊビットプレーンの予測画像のビットに対し、原画像のビットが１である確率Ｐｎが以下の（４）式により求められる。
【００６３】
次のステップでＰｎのエントロピーの計算が行われると、Ｐｎ、１−Ｐｎに対して対称な計算となるため、得られたエントロピーは誤りを訂正するのに必要な情報量を計算したことになると考えられる。そのため、このＰｎを求める計算は誤り確率を計算することと捉えることができる。
【数２】
【００６４】
次に、分布モデルエントロピー計算部１４１により、エントロピーが計算される（Ｓ３１２）。ここでは、分布モデルエントロピー計算部１４１により、以下の（５）式によりＰｎのエントロピーＨ（Ｐｎ）が求められる。
【００６５】
Ｈ（Ｐｎ）＝−Ｐｎｌｏｇ（Ｐｎ）−（１−Ｐｎ）ｌｏｇ（１−Ｐｎ）…（５）
分布モデルエントロピー計算部１４１では、上記の（５）式により、エントロピーを求めることで、このビット（ｊビットプレーンのｎビット目）が誤っていた場合、訂正に必要な情報量が得られる。これをｊビットプレーン内の全てのビットに対して計算し、その結果を平均することで、ｊビットプレーン全体に対して、誤りを訂正するのに必要な条件付きエントロピーＨＸ｜Ｙが、以下の（６）式により求められる。そして、ステップＳ３１２で求められたエントロピーを、以下では「分布モデルエントロピー」と呼ぶものとする。
【００６６】
次に、分布モデルエントロピー計算部１４１により、計算した分布モデルエントロピーが補正部１４４へ入力される（Ｓ３１３）。
【数３】
【００６７】
分布モデルエントロピー計算部１４１で計算した分布モデルエントロピーでは、復号に必要な符号量が得られなかった場合があるため、補正を行うことが必要となる。そこで補正に必要な補助情報の計算が、以降のステップにより行われる。ここでは、補助情報の一例として非特許文献２に示されるｒｅｌａｔｉｖｅ ｅｒｒｏｒ ｅｎｔｒｏｐｙを例として用いる。
【００６８】
まず、量子化部１２０から原画像のビットプレーンが補助情報計算部１４２へ入力される（Ｓ３１４）。
【００６９】
そして、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０から予測画像のビットプレーンが補助情報計算部１４２へ入力される（Ｓ３１５）。
【００７０】
次に、補助情報計算部１４２で原画像と予測画像のビットプレーンが比較され、ｒｅｌａｔｉｖｅ ｅｒｒｏｒ ｐｒｏｂａｂｉｌｉｔｙが計算される（Ｓ３１６）。ｒｅｌａｔｉｖｅ ｅｒｒｏｒ ｐｒｏｂａｂｉｌｉｔｙは、原画像と予測画像のビットプレーンを比較し、異なり（誤り）のあるビットのうち、上位ビットプレーンでは誤りが起こらなかったビット数をビットプレーン長で割ることによって計算できる。
【００７１】
次に、補助情報計算部１４２により得られた補助情報が、補正部１４４へ入力される（Ｓ３１７）。
【００７２】
分布モデルエントロピー計算部で得られた分布モデルエントロピーから得られた符号量で復号可能な場合は、補助情報を加算したとしても、訂正できる予測誤りは変わらない。つまり、加算した補助情報の分の符号量が冗長となるため、分布モデルから得られたエントロピーで復号可能かどうかが、以降のステップにおいて、補正判定部１４３により判定される。ここでは、判定方法の例として、分布モデルエントロピーとビット誤りによるエントロピーとの比較を行う方法を挙げる。
【００７３】
まず、分布モデルエントロピー計算部１４１から分布モデルエントロピーＨＸ｜Ｙが補正判定部１４３へ入力される（Ｓ３１８）。
【００７４】
次に、量子化部１２０から補正判定部１４３へ原画像のビットプレーンが入力される（Ｓ３１９）。
【００７５】
次に、ＳｉｄｅＩｎｆｏｒｍａｔｉｏｎ生成部１５０から補正判定部１４３へ予測画像のビットプレーンが入力される（Ｓ３２０）。
【００７６】
次に、補正判定部１４３において、原画像と予測画像が比較され、誤り数ｅを得て、これを元にエントロピーが計算される。得られたｅをビットプレーン長Ｎで割ることで、ビット誤り率ｅｒｒが得られる（ｅｒｒ＝ｅ／Ｎ）（Ｓ３２１）。ここで得られたビット誤り率からエントロピーＨ（ｅｒｒ）が、以下の（７）式により計算される。ここでは、このエントロピーを「ビット誤りエントロピー」と呼ぶものとする。
【００７７】
Ｈ（ｅｒｒ）＝−ｅｒｒｌｏｇ（ｅｒｒ）−（１−ｅｒｒ）ｌｏｇ（１−ｅｒｒ）…（７）
次に、補正判定部１４３において、ピット誤りエントロピーＨ（ｅｒｒ）と分布モデルエントロピーを比較することにより、分布モデルエントロピーで得られた符号量で復号可能かが判定される（Ｓ３２２）。
【００７８】
分布モデルエントロピーは、分布による近似から得られた誤りを訂正するのに必要な量、つまり、モデルから得られる平均的な誤りを訂正するのに必要な情報量と考えられる。一方で、ビット誤りエントロピーは実際の原画像とエンコーダで生成した予測画像から得られた誤り量を復号するのに必要な情報量であると考えられる。ビット誤りエントロピーのほうが分布モデルエントロピーよりも大きい値を示す場合は、分布の想定する平均的な誤り量よりも、実際に生じた誤りが大きいと考えることができる。この場合、分布モデルエントロピーから得られる符号量では誤りが訂正できないと考えられる。
【００７９】
次に、補正判定部１４３の判定結果が補正部１４４へ入力される（Ｓ３２３）。
【００８０】
次に、補正部１４４において、補正判定部１４３から入力された判定結果が確認され（Ｓ３２４）、判定結果が、分布モデルエントロピーで得られた符号量で復号可能という結果であった場合には、後述するステップＳ３２５の処理が行われ、そうでない場合には、後述するステップＳ３２６の処理が行われる。
【００８１】
補正部１４４において、上述のステップＳ３２４での補正判定部１４３の判定結果が、分布モデルエントロピー計算部１４１の計算結果で復号できるだけの符号量が得られていると判定された場合は、分布モデルエントロピー計算部１４１で計算した符号量が送信符号量の計算結果となる（Ｓ３２５）。
【００８２】
一方、上述のステップＳ３２４での補助情報計算部１４２の判定結果が、分布モデルエントロピー計算部１４１の計算結果では復号できるだけの符号量が得られなかったと判定された場合は、補正部１４４において分布モデルエントロピーと補助情報が加算され、補正を行ったものを送信符号量の計算結果となる（Ｓ３２６）。
【００８３】
次に、補正部１４４により、計算した送信符号量がＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０へ入力される（Ｓ３２７）。
【００８４】
次に、量子化部１２０から符号化を行うビットプレーンがＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０へ入力される（Ｓ３２８）。
【００８５】
次に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０において、入力されたビットプレーンがＳｌｅｐｉａｎ−Ｗｏｌｆ符号化される（Ｓ３２９）。
【００８６】
次に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０により、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化されたビットプレーンが送信符号量推定部１４０で得られた符号量に応じた符号が、受信側へ送信される（Ｓ３３０）。
【００８７】
次に、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０では、１フレームの全てのビットプレーンを処理したか否かが判定され（Ｓ３３１）、全てのビットプレーンの処理が完了した場合には当該フレームに係る処理を終了し、そうでない場合には、上述のステップＳ３０９の処理に戻って動作する。
【００８８】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。
【００８９】
送信符号量推定部１４０では、分布モデルエントロピー計算部１４１の計算結果について、常に補正を行うわけではなく、補正判定部１４３において他の計算方法による計算結果（上述の例では、ビット誤りエントロピー）と比較することにより、補正を行うか否かを判定した上で、補正を行っている。すなわち、分布モデルから推定されるエントロピーをもとにした符号量に、補助情報が必要な場合のみ加算するような補正を行うため、効率的な符号量を推定することができる。
【００９０】
（Ｂ）第２の実施形態
以下、本発明による動画像符号化装置及びプログラム、並びに、動画像配信システムの第２の実施形態を、図面を参照しながら詳述する。
【００９１】
（Ｂ−１）第２の実施形態の構成
第２の実施形態の動画像配信システム１Ａの全体構成も図１を用いて説明することができる。
【００９２】
第２の実施形態の動画像配信システム１Ａは、動画像配信装置１０Ａ及び動画像受信装置２０を有している。動画像受信装置２０は、第１の実施形態と同様のものであるので詳しい説明を省略する。また、動画像配信装置１０Ａは、動画像符号化装置１００Ａを有している。
【００９３】
図６は、動画像符号化装置１００Ａ内部の機能的構成について示した説明図である。
【００９４】
動画像符号化装置１００Ａでは、第１の実施形態のＷｙｎｅｒ−Ｚｉｖフレーム符号化部１１０がＷｙｎｅｒ−Ｚｉｖフレーム符号化部１１０Ａに置き換わっただけであるので、その他の構成については、第１の実施形態と同様であり、詳しい説明を省略する。そして、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０Ａでは、第１の実施形態の送信符号量推定部１４０が、送信符号量推定部１４０Ａに置き換わっただけであるので、その他の構成については、第１の実施形態と同様であり、詳しい説明は省略する。
【００９５】
送信符号量推定部１４０Ａでは、第１の実施形態の補助情報計算部１４２が、補助情報計算部１４２Ａに置き換わっただけであるので、その他の構成については、第１の実施形態と同様であり、詳しい説明は省略する。
【００９６】
補助情報計算部１４２Ａは、補正判定部１４３において、補助情報が必要と判定された場合にのみ、補助情報の計算を行う点で、第１の実施形態と異なっている。補助情報計算部１４２Ａが行う処理の詳細については、後述する動作説明において詳述する。
【００９７】
（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の動画像配信システム１Ａの動作、特に動画像符号化装置１００Ａの動作を中心に説明する。
【００９８】
第１の実施形態と同様に、入力シーケンスはキーフレームとＷｙｎｅｒ−Ｚｉｖフレームに分けられ、それぞれの符号化・復号が行われ、入力シーケンスをキーフレームとＷｙｎｅｒ−Ｚｉｖフレームを交互に符号化する例について説明を行う。そして、動画像符号化装置１００Ａでは、第１の実施形態と同様に、入力シーケンスの１フレーム目はキーフレームとして符号化が行われ、２フレーム目はＷｙｎｅｒ−Ｚｉｖフレームとして、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０Ａにより符号化が行われる。ここでは、この２フレーム目のデータが、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０Ａにより符号化される場合を例として、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０Ａの動作について説明する。
【００９９】
図７〜１０は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０Ａの動作について示したフローチャートである。
【０１００】
まず、量子化部１２０で入力シーケンスが変換・量子化されたのちビットプレーンへ分割され、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０で予測画像が生成され、分布モデルエントロピー計算部１４１で分布モデルエントロピーが計算される（Ｓ５０１〜Ｓ５１３）が、ステップＳ５０１〜Ｓ５１３の動作は、第１の実施例の動作におけるステップＳ３０１〜ステップＳ３１３と同様であるため、詳しい説明を省略する。
【０１０１】
そして、以降のステップの処理により、分布モデルから得られたエントロピーで復号可能かどうかが補正判定部１４３で判定される。判定方法の例として、第１の実施形態と同様に、分布モデルエントロピーとビット誤りによるエントロピーとの比較が行われるものとして説明する。
【０１０２】
まず、分布モデルエントロピー計算部１４１から分布モデルエントロピーが、補正判定部１４３へ入力される（Ｓ５１４）。
【０１０３】
そして、量子化部１２０から補正判定部１４３へ原画像のビットプレーンが入力される（Ｓ５１５）。
【０１０４】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０から補正判定部１４３へ予測画像のビットプレーンが入力される（Ｓ５１６）。
【０１０５】
次に、補正判定部１４３で、原画像と予測画像のビットプレーンが比較され、ビットの異なり数が計測され、これを元にビット誤りエントロピーが計算される（Ｓ５１７）。
【０１０６】
次に、補正判定部１４３で、ビット誤りエントロピーと分布モデルエントロピーを比較することにより、分布モデルエントロピーで得られた符号量で復号可能かが判定される（Ｓ５１８）。
【０１０７】
次に、補正判定部１４３の判定結果が補正部１４４へ入力される（Ｓ５１９）。
【０１０８】
次に、補正部１４４において、補正判定部１４３から入力された判定結果が確認され（Ｓ５２０）、判定結果が、分布モデルエントロピーで得られた符号量で復号できないという結果であった場合には、後述するステップＳ５２１の処理から動作し、そうでない場合には、後述するステップＳ５２７の処理から動作する。
【０１０９】
なお、以降のステップにおいて、補助情報計算部１４２Ａによる、補助情報の計算としては、第１の実施形態と同じく、非特許文献２で示されるｒｅｌａｔｉｖｅ ｅｒｒｏｒ ｅｎｔｒｏｐｙの計算が行われるものとして説明する。
【０１１０】
上述のステップＳ５２０において、補正部１４４に入力された判定結果が、補助情報が必要である、という判定結果であった場合には、その判定結果が、補助情報計算部１４２Ａへ入力される（Ｓ５２１）。
【０１１１】
次に、原画像のビットプレーンが補助情報計算部１４２Ａへ入力される（Ｓ５２２）。
【０１１２】
次に、予測画像のビットプレーンが補助情報計算部１４２Ａへ入力される（Ｓ５２３）。
【０１１３】
次に、補助情報計算部１４２Ａで原画像と予測画像のビットプレーンが比較され、ｒｅｌａｔｉｖｅ ｅｒｒｏｒ ｐｒｏｂａｂｉｌｉｔｙが計算される（Ｓ５２４）。
【０１１４】
次に、補助情報計算部１４２Ａにより、得られた補助情報が補正部１４４へ入力される（Ｓ５２５）。
【０１１５】
次に、補正部１４４において分布モデルエントロピーと補助情報を用いて補正が行われる（Ｓ５２６）。ここでは、補正方法の例として、分布モデルエントロピーに補助情報を加算するものとして説明する。また、補正結果を、送信符号量推定部１４０Ａによる送信符号量の計算結果となる。
【０１１６】
一方、上述のステップＳ５２０において、補正部１４４に入力された判定結果が、分布モデルエントロピー計算部１４１の計算結果では復号できるだけの符号量が得られたという結果であった場合は、補正部１４４において分布モデルエントロピーが、送信符号量推定部１４０Ａによる送信符号量の推定結果となる（Ｓ５２７）。
【０１１７】
次に、送信符号量推定部１４０Ａによる送信符号量の計算結果がＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０へ入力される（Ｓ５２８）。
【０１１８】
次に、量子化部１２０から符号化を行うビットプレーンがＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０へ入力される（Ｓ５２９）。
【０１１９】
次に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０において、入力されたビットプレーンがＳｌｅｐｉａｎ−Ｗｏｌｆ符号化される（Ｓ５３０）。
【０１２０】
次に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０により、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化されたビットプレーンを、送信符号量推定部１４０Ａで得られた符号量に応じた符号量が受信側へ送信される（Ｓ５３１）。
【０１２１】
次に、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０Ａでは、１フレームの全てのビットプレーンを処理したか否かが判定され（Ｓ５３２）、全てのビットプレーンの処理が完了した場合には当該フレームに係る処理を終了し、そうでない場合には、上述のステップＳ５０９の処理に戻って動作する。
【０１２２】
（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、以下のような効果を奏することができる。
【０１２３】
補助情報計算部１４２Ａでは、補正判定部１４３において補助情報が必要と判定された場合にのみ補助情報の計算を行うため、符号化に係る処理量を低減させることができる。
【０１２４】
（Ｃ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【０１２５】
（Ｃ−１）なお、図２においては、動画像符号化装置は、動画像配信装置の一部を構成するものとして図示しているが、動画像符号化装置を、単体の装置として構築し、単に入力シーケンスから符号化データを生成して出力（ディスク装置や記憶媒体等に記憶させたり、他の装置に出力したり等、方法は限定されないものである）する装置として構築するようにしても良い。
【０１２６】
（Ｃ−２）上記の実施形態において、送信符号量推定部では、分布モデルエントロピーを用いて計算した送信符号量と、他の方法（ビット誤りエントロピー）を用いて計算した送信符号量との比較結果に基づいて、分布モデルエントロピーを用いて計算した送信符号量を補正するか否か判定し、補正必要な場合は補正を行っている。ここで、送信符号量推定部において、分布モデルエントロピーと比較する他の方法を用いて計算した送信符号量は、ビット誤りエントロピーを用いて計算したものに限定されず、他の計算方法により計算した送信符号量に置き換えるようにしても良い。また、送信符号量推定部において、それぞれ異なる複数の計算方法により計算された送信符号量を求め、それらの送信符号量と、分布モデルエントロピーを用いて計算した送信符号量とを比較して、分布モデルエントロピーを用いて計算した送信符号量を補正するか否か判定するようにしても良い。例えば、他の方法を用いて計算した送信符号量のうち、一つでも、分布モデルエントロピーを用いて計算した送信符号量よりも大きい場合に補正を行うと判定するようにしても良い。
【０１２７】
また、送信符号量推定部において、分布モデルエントロピーとビット誤りエントロピーの適用を置き換えて、ビット誤りエントロピーを用いて計算した送信符号量について、他の方法（分布モデルエントロピー）を用いて計算した送信符号量との比較結果に基づいて補正するか否かを判定し、補正必要な場合は補正を行うようにしても良い。
【符号の説明】
【０１２８】
１…動画像配信システム、１０…動画像配信装置１００…動画像符号化装置、２０…動画像受信装置、２００…動画像復号化装置、１００…動画像符号化装置、１１０…Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部、１２０…量子化部、１３０…Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部、１４０…送信符号量推定部、１４１…分布モデルエントロピー計算部、１４２…補助情報計算部、１４３…補正判定部、１４４…補正部。
【技術分野】
【０００１】
この発明は、動画像符号化装置及びプログラム、並びに、動画像配信システムに関し、例えば、動画像についてＤＶＣ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式で動画像データを符号化して配信する動画像配信システムに適用し得る。
【背景技術】
【０００２】
近年、非特許文献１に説明されるようなＤＶＣという符号化方式に注目が集まっている。
【０００３】
この方式は、符号化部で符号化するべき原画像に対してＳｌｅｐｉａｎ−Ｗｏｌｆ符号化処理を行い、その符号化データと復号側で行った符号化部の原画像の予測画像とともにＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行うことで画像の復号処理を行う新しい符号化方式である。
【０００４】
符号化部で符号化するべき原画像（以下、「Ｗｙｎｅｒ−Ｚｉｖフレーム」という）を、符号化部のＷｙｎｅｒ−Ｚｉｖフレーム符号化部で、変換係数領域（ＤＣＴ）に変換した後、各帯域毎に量子化（２Ｍｋ ｌｅｖｅｌ Ｑｕａｎｔｉｚｅｒ）し、その値（ｑｋ）を２値で表し、各ビットの情報を、例えば１ｆｒａｍｅ分集めた情報（Ｅｘｔｒａｃｔ ｂｉｔ−ｐｌａｎｅｓ）毎にＳｌｅｐｉａｎ−Ｗｏｌｆ符号化（Ｔｕｒｂｏ Ｅｎｃｏｄｅｒ）を行い、その結果のうちパリティビットのみを一時保存（Ｂｕｆｆｅｒ）し、情報ビットは捨てられる。
【０００５】
その後、復号部のＳｌｅｐｉａｎ−Ｗｏｌｆ復号（Ｔｕｒｂｏ Ｄｅｃｏｄｅｒ）の復号値とＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。
【０００６】
一方、復号化部に搭載されたＳｌｅｐｉａｎ−Ｗｏｌｆ復号部（Ｔｕｒｂｏ Ｄｅｃｏｄｅｒ）は符号化部に対して、一時保存しているパリティビットのうち一部に対して送信要求（Ｒｅｑｕｅｓｔ ｂｉｔｓ）を行う。受信したパリティビットと上述したＳｉｄｅ ＩｎｆｏｒｍａｔｉｏｎからＳｌｅｐｉａｎ−Ｗｏｌｆ復号（Ｔｕｒｂｏ Ｄｅｃｏｄｅｒ）を行う。十分な復号が行えなかった場合は、再度符号化部にパリティビットの一部の追加送信要求（Ｒｅｑｕｅｓｔ ｂｉｔｓ）を行い、受信したパリティビットと上述したＳｉｄｅ ＩｎｆｏｒｍａｔｉｏｎからＳｌｅｐｉａｎ−Ｗｏｌｆ復号（Ｔｕｒｂｏ Ｄｅｃｏｄｅｒ）を行う。この処理を、十分な復号が行えるまで続ける。
【０００７】
その後、復号化部のＳｌｅｐｉａｎ−Ｗｏｌｆ復号（Ｔｕｒｂｏ Ｄｅｃｏｄｅｒ）の復号値とＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。
【０００８】
このような、非特許文献１に代表されるＤＶＣの方式は、誤り訂正符号の再送要求というフィードバックを行うため、遅延が生じることや、符号化部と復号部が単独で動作できないという問題がある。
【０００９】
そこで、非特許文献２では、この再送要求を避けるために、誤り訂正に必要な誤り訂正符号の量をＷｙｎｅｒ−Ｚｉｖフレーム符号化部で計算を行う。これは、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部の作る予測画像を想定した予測画像をＷｙｎｅｒ−Ｚｉｖフレーム符号器側で生成し、それをもとに予測画像の誤りを推定し訂正するための必要な誤り訂正符号の量を計算することにより、フィードバックを必要としない手法を実現している。
【００１０】
非特許文献２における送信符号量の推定手法は、「予測画像と原画像の係数の差分の分布はラプラス分布で近似できる」というモデルを利用し、この分布モデルを用いて予測画像と原画像の間の予測誤りの起こる確率を推定する。分布モデルを用いて誤り確率を推定し、推定した確率を用いて条件付きエントロピーを計算することによって、推定した誤りを訂正するのに必要な符号量を推定する。
【００１１】
しかし、符号化側と復号側で生成する予測画像が異なることや、誤りの推定に用いる分布モデルは原画像と予測画像の関係を近似したものであるため、分布モデルから推定した符号量は、実際にＳｌｅｐｉａｎ−Ｗｏｌｆ復号に必要な符号量は異なることがある。
【００１２】
この推定した符号量が復号に必要な符号量より少ない場合は、誤り訂正が正しく行われないことがあり、その結果、復号した画像に歪みとして現れることがある、という問題がある。そこで、この間題に対して、非特許文献２では、ｒｅｌａｔｉｖｅ ｅｒｒｏｒ ｐｒｏｂａｂｉｌｉｔｙと呼ばれる補助情報を分布モデルから得られる符号量に加算することで補正を行い、送信符号量を決定している。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】ＡｎｎｅＡａｒｏｎ，ＳｈａｎｔａｎｕＲａｎｅ，Ｅｒｉｃ Ｓｅｔｔｏｎ，ａｎｄ Ｂｅｒｎｄ Ｇｉｒｏｄ，“Ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｃｏｄｅｃ ｆｏｒ Ｖｉｄｅｏ”．Ｉｎ：Ｐｒｏｃ，ＳＰＩＥ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ＳａｎＪｏｓｅ，ＣＡ（２００４）
【非特許文献２】Ｃ．Ｂｒｉｔｅｓ，Ｆ．Ｐｅｒｅｉｒａ，”Ｅｎｃｏｄｅｒ Ｒａｔｅ Ｃｏｎｔｒｏｌ ｆｏｒ Ｔｒａｎｓｆｏｒｍ Ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，ＩＣＩＰ２００７，ＵＳＡ（Ｓｅｐｔｅｍｂｅｒ ２００７）
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、非特許文献２では、分布モデルから得られる符号量に常に補助情報を加算しているため、分布モデルから推定した符号量で復号に必要な符号量が得られている場合、分布モデルで推定した符号量で予測誤りが訂正できる。このような場合、補助情報分の符号量が増加したとしても、誤り訂正の結果は変わらず、復号画質も変わらない。そのために補正を行った補助情報分の符号量が冗長となることがあるため、符号化効率が悪くなるという問題があった。
【００１５】
そのため、動画像の符号化について、符号化効率を向上させることができる動画像符号化装置及びプログラム、並びに、動画像配信システムが望まれている。
【課題を解決するための手段】
【００１６】
第１の本発明は、フレーム列を有する動画像信号を符号化する動画像符号化装置において、（１）上記フレーム列のそれぞれのフレームをキーフレーム又は非キーフレームに分類するフレーム分類手段と、（２）上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、（３）符号化されたキーフレームを利用して、非キーフレームの予測画像を生成する予測画像生成手段と、（４）非キーフレームの原画像に対する予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、（５）上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号を、非キーフレームの符号化データとして生成する非キーフレーム符号化手段とを備え、（６）上記送信符号量算出手段は、（６−１）所定の方法により上記原画像に対する上記予測画像の誤りを訂正する第１の誤り訂正符号の量を算出する誤り訂正符号量算出手段と、（６−２）上記誤り訂正符号量算出手段が算出する誤り訂正符号の量に対する補正量を算出する補正量算出手段と、（６−３）上記誤り訂正符号量算出手段とは異なる方法を用いて、上記原画像に対する上記予測画像の誤りを訂正する誤り訂正符号の量を算出する１又は複数の判定用誤り訂正符号量算出手段と、（６−４）上記判定用誤り訂正符号量算出手段の算出結果に応じて、上記第１の誤り訂正符号の量を補正するか否か判定する補正判定手段と、（６−５）上記補正判定手段により、上記第１の誤り訂正符号の量を補正すると判定された場合には、上記第１の誤り訂正符号の量について、上記補正量算出手段が算出した補正量を用いて補正した値を、当該送信符号量算出手段の算出結果として出力し、上記補正判定手段により（６−６）、上記第１の誤り訂正符号の量を補正しないと判定された場合には、上記第１の誤り訂正符号の量を、そのまま当該送信符号量算出手段の算出結果として出力する補正手段とを有することを特徴とする。
【００１７】
第２の本発明の動画像符号化プログラムは、コンピュータを、（１）動画像を構成するフレーム列のそれぞれのフレームを、キーフレーム又は非キーフレームに分類するフレーム分類手段と、（２）上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、（３）符号化されたキーフレームを利用して、非キーフレームの予測画像を生成する予測画像生成手段と、（４）非キーフレームの原画像に対する予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、（５）上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号を、非キーフレームの符号化データとして生成する非キーフレーム符号化手段として機能させ、（６）上記送信符号量算出手段を、（６−１）所定の方法により上記原画像に対する上記予測画像の誤りを訂正する第１の誤り訂正符号の量を算出する誤り訂正符号量算出手段と、（６−２）上記誤り訂正符号量算出手段が算出する誤り訂正符号の量に対する補正量を算出する補正量算出手段と、（６−３）上記誤り訂正符号量算出手段とは異なる方法を用いて、上記原画像に対する上記予測画像の誤りを訂正する誤り訂正符号の量を算出する１又は複数の判定用誤り訂正符号量算出手段と、（６−４）上記判定用誤り訂正符号量算出手段の算出結果に応じて、上記第１の誤り訂正符号の量を補正するか否か判定する補正判定手段と、（６−５）上記補正判定手段により、上記第１の誤り訂正符号の量を補正すると判定された場合には、上記第１の誤り訂正符号の量について、上記補正量算出手段が算出した補正量を用いて補正した値を、当該送信符号量算出手段の算出結果として出力し、上記補正判定手段により、上記第１の誤り訂正符号の量を補正しないと判定された場合には、上記第１の誤り訂正符号の量を、そのまま当該送信符号量算出手段の算出結果として出力する補正手段として機能させることを特徴とする。
【００１８】
第３の本発明は、受信装置と、配信用動画像データを上記受信装置に配信する動画像配信装置とを有する動画像配信システムにおいて、上記動画像配信装置は、フレーム列を有する動画像信号を符号化して配信用動画像データを生成する動画像符号化装置を有し、上記動画像符号化装置として、第１の本発明の動画像符号化装置を適用したことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、動画像の符号化について、符号化効率を向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態に係る動画像符号化装置の機能的構成について示したブロック図である。
【図２】第１の実施形態に係る動画像配信システムの全体構成について示したブロック図である。
【図３】第１の実施形態に係る動画像符号化装置の動作について示したフローチャート（１）である。
【図４】第１の実施形態に係る動画像符号化装置の動作について示したフローチャート（２）である。
【図５】第１の実施形態に係る動画像符号化装置の動作について示したフローチャート（３）である。
【図６】第２の実施形態に係る動画像符号化装置の機能的構成について示したブロック図である。
【図７】第２の実施形態に係る動画像符号化装置の動作について示したフローチャート（１）である。
【図８】第２の実施形態に係る動画像符号化装置の動作について示したフローチャート（２）である。
【図９】第２の実施形態に係る動画像符号化装置の動作について示したフローチャート（３）である。
【図１０】第２の実施形態に係る動画像符号化装置の動作について示したフローチャート（４）である。
【発明を実施するための形態】
【００２１】
（Ａ）第１の実施形態
以下、本発明による動画像符号化装置及びプログラム、並びに、動画像配信システムの第１の実施形態を、図面を参照しながら詳述する。
【００２２】
（Ａ−１）第１の実施形態の構成
図２は、この実施形態の動画像配信システム１０の全体構成を示すブロック図である。
【００２３】
なお、図２において括弧内の符号は、後述する第２の実施形態の説明において用いられるものである。
【００２４】
動画像配信システム１０は、動画像配信装置１０及び動画像受信装置２０を有している。動画像配信装置１０は、動画像符号化装置１００を有しており、動画像符号化装置１００により入力された映像信号を符号化して動画像データを生成し、図示しない通信部により動画像受信装置２０に向けて送出する。
【００２５】
動画像符号化装置１００に対して入力される映像信号は、この実施形態においては、フレーム単位の映像信号（例えば、ＣＣＤカメラから入力される映像信号等）の列（以下、「入力シーケンス」という）を適用するものとして説明する。その他にも、動画像符号化装置１００に、ビデオカメラ等によるアナログ形式の映像信号を入力して、動画像符号化装置１００がフレーム単位の画像データに変換するキャプチャを別途備えるようにしても良い。このように、動画像符号化装置１００に対して入力される映像信号の形式は限定されないものである。
【００２６】
図１は、動画像符号化装置１００内部の機能的構成について示したブロック図である。
【００２７】
動画像符号化装置１００は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、ハードディスクなどのプログラムの実行構成に、実施形態の動画像符号化プログラムをインストールすることにより構築するようにしても良いが、その場合でも、機能的には、図１のように表すことができる。また、動画像配信装置１０は、例えば、ハードウェア的な通信部の他は、通信処理やデータ処理等を実行するためのＣＰＵ、ＲＯＭ、ＲＡＭ等を有しており、ＣＰＵが実行するプログラム（実施形態の動画像符号化プログラムを含む）をインストールすることにより構築しても良く、上述したプログラムを含め、動画像配信装置１０の機能的構成を示すと図１に示すようになる。
【００２８】
動画像受信装置２０は、動画像復号装置２００を有しており、動画像配信装置１０から送信された動画像データを受信し、動画像復号装置２００により、受信した符号化された動画像データを復号化して、動画像の信号を生成して所定の出力（例えば、ディスプレイへの出力や、復号化した動画像データの記憶媒体への書き込み等、出力方法限定されないものである）を行う。
【００２９】
動画像受信装置２０（動画像復号装置２００）については、既存の動画像配信システムにおける受信装置（例えば、非特許文献２における復号化方式を適用したもの）と同様のものを適用することができるので、ここでは詳しい説明は省略する。
【００３０】
次に、動画像符号化装置１００の構成の詳細について説明する。
【００３１】
動画像符号化装置１００は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０及びキーフレーム符号化部１６０を有している。動画像符号化装置１００では、映像信号として入力されるフレームを、Ｗｙｎｅｒ−Ｚｉｖフレーム（非キーフレーム）、キーフレームのいずれかに分類して符号化し、Ｗｙｎｅｒ−ＺｉｖフレームはＷｙｎｅｒ−Ｚｉｖフレーム符号化部１１０により符号化され、キーフレームはキーフレーム符号化部１６０に符号化されて、それぞれ動画像受信装置２０に符号化した動画像データを送信する。
【００３２】
Ｗｙｎｅｒ−Ｚｉｖフレームとキーフレームを分類する方法としては、例えば、フレームの順序に応じて決定するようにしても良い。動画像符号化装置１００では、入力シーケンスの１番目のフレームをキーフレームとして分類し、２番目のフレームをＷｙｎｅｒ−Ｚｉｖフレームに分類するといった動作を繰り返して、入力シーケンスのフレームを交互にキーフレーム又はＷｙｎｅｒ−Ｚｉｖフレームのいずれかに分類するものとする。なお、動画像符号化装置１００において、入力シーケンスのフレームを分類する順序は限定されるものではなく、例えば、連続して同一種類のフレーム（Ｗｙｎｅｒ−Ｚｉｖフレーム又はキーフレーム）として分類するようにしても良い。また、Ｗｙｎｅｒ−Ｚｉｖフレームとキーフレームを分類する方法は、既存のＤＶＣ方式を利用した動画像符号化装置と同様の方法を適用することができる。
【００３３】
キーフレーム符号化部１６０は、入力シーケンスからキーフレームを得て、既存の符号化方式（例えば、非特許文献１などと同じくＪＰＥＧやＭＰＥＧのＩフレームのようなフレーム内符号化）で符号化を行い、動画像受信装置２０側へ符号化データを送信する。
【００３４】
ＤＶＣのフレームワークにおいては、入力されたＷｙｎｅｒ−Ｚｉｖフレームを符号化する際に画素領域で処理を行う方法や、ＤＣＴなどの変換を行い、変換係数領域で処理を行う方法がある。ここでは、動画像符号化装置１００は、非特許文献１と同じく、変換を行い変換計数領域で処理を行う方法で説明を行う例について説明するが、他の方式を用いるようにしても良い。
【００３５】
Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０は、量子化部１２０、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０、送信符号量推定部１４０及びＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０を有している。
【００３６】
量子化部１２０は、入力シーケンスからＷｙｎｅｒ−Ｚｉｖフレームを得て、変換・量子化しビットプレーン単位へ分割して、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０及び送信符号量推定部１４０に与える。
【００３７】
Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０は、Ｗｙｎｅｒ−Ｚｉｖフレームの前、もしくは後ろ、もしくは前後のキーフレーム画像に基づいて、Ｗｙｎｅｒ−Ｚｉｖフレーム画像の予測画像を生成し、変換・量子化し、ビットプレーンへ分割する。
【００３８】
送信符号量推定部１４０は、入力されたビットプレーンに対して、入力フレームである原画像とＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０で生成される予測画像を利用して、予測誤りが訂正できる符号量の推定を行う。なお、送信符号量推定部１４０の詳細については後述する。
【００３９】
Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０は、量子化部１２０から入力された各ビットプレーンに対し、例えば、Ｔｕｒｂｏ符号やＬＤＰＣ符号等を用いて、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化を行い、送信符号量推定部１４０で計算された符号量に応じた誤り訂正符号を受信側に与える。
【００４０】
次に、送信符号量推定部１４０の構成について説明する。
【００４１】
送信符号量推定部１４０は、分布モデルエントロピー計算部１４１、補助情報計算部１４２、補正判定部１４３、補正部１４４を有している。なお、送信符号量推定部１４０の各部の処理については、後述する動作説明において詳述する。
【００４２】
分布モデルエントロピー計算部１４１は、量子化部１２０で得られたＷｙｎｅｒ−Ｚｉｖフレームの原画像のビットプレーンと、これに対応する予測画像の変換係数をＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０から得て、分布モデルを利用してビットプレーン中の各ビットの誤り確率を推定したのちエントロピーを計算する。
【００４３】
補助情報計算部１４２は、量子化部１２０で得られたＷｙｎｅｒ−Ｚｉｖフレームの原画像のビットプレーンと、これに対応する予測画像のビットプレーンをＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０から得て、補助情報を計算する。
【００４４】
補正判定部１４３は、分布モデルエントロピー計算部１４１から得られるエントロピーと、原画像のビットプレーンと予測画像の対応するビットプレーンのビットを比較し、異なり（誤り）を計測することにより得られるエントロピーとを比較することで、補助情報が必要かどうかを判定する。
【００４５】
補正部１４４は、補正判定部１４３の判定結果によって、分布モデルエントロピー計算部１４１の計算結果に補正を行い、補正後のものをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０に供給する。
【００４６】
（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の動画像配信システム１の動作、特に動画像符号化装置１００の動作を中心に説明する。
【００４７】
入力シーケンスはキーフレームとＷｙｎｅｒ−Ｚｉｖフレームに分けられ、それぞれの符号化・復号が行われる。ここでは、入力シーケンスをキーフレームとＷｙｎｅｒ−Ｚｉｖフレームを交互に符号化する例について説明を行う。
【００４８】
動画像符号化装置１００では、入力シーケンスの１フレーム目はキーフレームとして符号化が行われる。１フレーム目は、キーフレーム符号化部１６０において、非特許文献１などと同じくＪＰＥＧやＭＰＥＧのＩフレームのようなフレーム内符号化がおこなわれ、受信側に与えられる。次に、２フレーム目はＷｙｎｅｒ−Ｚｉｖフレームとして、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０により符号化が行われる。ここでは、この２フレーム目のデータが、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０により符号化される場合を例として、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０の動作について説明する。
【００４９】
図３〜５は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０の動作について示したフローチャートである。
【００５０】
まず、入力シーケンスから２フレーム目の原画像データが量子化部１２０に取り込まれたものとする（Ｓ３０１）。
【００５１】
次に、量子化部１２０により、ステップＳ３０１で取り込まれた２フレーム目の原画像が変換係数領域に変換（ＤＣＴ）され、帯域ごとに量子化される（Ｓ３０２）。なお、ステップＳ３０２では、各帯域の量子化された変換係数を２値化し、ビットプレーンヘ分割する。帯域毎にビットプレーン化する際に、１フレーム全体の長さでビットプレーンヘ分割してもよいし、画面内の領域ごと、といった形でグループ化した長さで区切り、ビットプレーンヘ分割してもよい。
【００５２】
そして、キーフレーム符号化部１６０から前または後、または両方のキーフレーム画像がＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０に入力される（Ｓ３０３）。
【００５３】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０において２フレーム目（Ｗｙｎｅｒ−Ｚｉｖフレーム）の予測画像が生成される（Ｓ３０４）。ステップＳ３０４における予測画像の生成には、前のキーフレームを利用する方法や、前後のキーフレーム画像の平均を取るなどの方法や、範囲の絞った動き探索などの方法を適用することができる。
【００５４】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０において生成した予測画像に対して、変換・量子化が行われ、ビットプレーンに分割される（Ｓ３０５）。ステップＳ３０５では、このときのビットプレーンの長さは量子化部１２０と同様の分割方法で行われる。
【００５５】
そして、量子化部１２０から１フレーム分の原画像の変換係数が分布モデルエントロピー計算郡１０５へ入力される（Ｓ３０６）。なお、以降のステップの処理により、分布モデルエントロピー計算部１４１では、原画像と予測画像の変換係数の差分の分布はラプラス分布で近似できるという性質を用いて、原画像と予測画像の間の予測誤りの推定が行われ、エントロピーが計算される。
【００５６】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０から１フレーム分の予測画像の変換係数が分布モデルエントロピー計算部１４１へ入力される（Ｓ３０７）。
【００５７】
次に、分布モデルエントロピー計算部１４１にて、帯域ごとにラプラス分布の分布パラメータαが計算される（Ｓ３０８）。ラプラス分布の分布パラメータαと分散σ２には以下の（１）式の関係がある。ここでは、平均（差分）が０である分布を仮定し、原画像の係数値をＸ、予測画像の係数値を、ビットプレーンの長さをＮとすると、分散σ２は以下の（２）式のように計算できる。
【数１】
【００５８】
次に、量子化部１２０から原画像のビットプレーンが分布モデルエントロピー計算部１４１へ入力される（Ｓ３０９）。
【００５９】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０から予測画像のビットプレーンが分布モデルエントロピー計算部１４１へ入力される（Ｓ３１０）。
【００６０】
次に、分布モデルエントロピー計算部１４１にて、分布モデルを用いた誤り確率の計算が行われる（Ｓ３１１）。
【００６１】
ステップＳ３１１では、原画像のある係数値の確率変数をＸ、予測画像の係数の確率変数をＹとすると、予測画像の係数値の分布は、分布モデルエントロピー計算部１４１において、以下の（３）式のように表すことができる。ここで、入力されたビットプレーンのうちのある１ビット（ｎビット日）に注目し、予測画像と原画像とで異なり（誤り）が生じる確率が計算される。この確率をもとに、エントロピーが計算される。
【００６２】
入力されたビットプレーンが上位からｊビットプレーン目であるとする。ここで、原画像の係数値の存在する範囲は、原画像のビットの上位ｊ−１ビットプレーンを参照することによって決まり、この範囲において、ｊビットプレーンの予測画像のビットに対し、原画像のビットが１である確率Ｐｎが以下の（４）式により求められる。
【００６３】
次のステップでＰｎのエントロピーの計算が行われると、Ｐｎ、１−Ｐｎに対して対称な計算となるため、得られたエントロピーは誤りを訂正するのに必要な情報量を計算したことになると考えられる。そのため、このＰｎを求める計算は誤り確率を計算することと捉えることができる。
【数２】
【００６４】
次に、分布モデルエントロピー計算部１４１により、エントロピーが計算される（Ｓ３１２）。ここでは、分布モデルエントロピー計算部１４１により、以下の（５）式によりＰｎのエントロピーＨ（Ｐｎ）が求められる。
【００６５】
Ｈ（Ｐｎ）＝−Ｐｎｌｏｇ（Ｐｎ）−（１−Ｐｎ）ｌｏｇ（１−Ｐｎ）…（５）
分布モデルエントロピー計算部１４１では、上記の（５）式により、エントロピーを求めることで、このビット（ｊビットプレーンのｎビット目）が誤っていた場合、訂正に必要な情報量が得られる。これをｊビットプレーン内の全てのビットに対して計算し、その結果を平均することで、ｊビットプレーン全体に対して、誤りを訂正するのに必要な条件付きエントロピーＨＸ｜Ｙが、以下の（６）式により求められる。そして、ステップＳ３１２で求められたエントロピーを、以下では「分布モデルエントロピー」と呼ぶものとする。
【００６６】
次に、分布モデルエントロピー計算部１４１により、計算した分布モデルエントロピーが補正部１４４へ入力される（Ｓ３１３）。
【数３】
【００６７】
分布モデルエントロピー計算部１４１で計算した分布モデルエントロピーでは、復号に必要な符号量が得られなかった場合があるため、補正を行うことが必要となる。そこで補正に必要な補助情報の計算が、以降のステップにより行われる。ここでは、補助情報の一例として非特許文献２に示されるｒｅｌａｔｉｖｅ ｅｒｒｏｒ ｅｎｔｒｏｐｙを例として用いる。
【００６８】
まず、量子化部１２０から原画像のビットプレーンが補助情報計算部１４２へ入力される（Ｓ３１４）。
【００６９】
そして、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０から予測画像のビットプレーンが補助情報計算部１４２へ入力される（Ｓ３１５）。
【００７０】
次に、補助情報計算部１４２で原画像と予測画像のビットプレーンが比較され、ｒｅｌａｔｉｖｅ ｅｒｒｏｒ ｐｒｏｂａｂｉｌｉｔｙが計算される（Ｓ３１６）。ｒｅｌａｔｉｖｅ ｅｒｒｏｒ ｐｒｏｂａｂｉｌｉｔｙは、原画像と予測画像のビットプレーンを比較し、異なり（誤り）のあるビットのうち、上位ビットプレーンでは誤りが起こらなかったビット数をビットプレーン長で割ることによって計算できる。
【００７１】
次に、補助情報計算部１４２により得られた補助情報が、補正部１４４へ入力される（Ｓ３１７）。
【００７２】
分布モデルエントロピー計算部で得られた分布モデルエントロピーから得られた符号量で復号可能な場合は、補助情報を加算したとしても、訂正できる予測誤りは変わらない。つまり、加算した補助情報の分の符号量が冗長となるため、分布モデルから得られたエントロピーで復号可能かどうかが、以降のステップにおいて、補正判定部１４３により判定される。ここでは、判定方法の例として、分布モデルエントロピーとビット誤りによるエントロピーとの比較を行う方法を挙げる。
【００７３】
まず、分布モデルエントロピー計算部１４１から分布モデルエントロピーＨＸ｜Ｙが補正判定部１４３へ入力される（Ｓ３１８）。
【００７４】
次に、量子化部１２０から補正判定部１４３へ原画像のビットプレーンが入力される（Ｓ３１９）。
【００７５】
次に、ＳｉｄｅＩｎｆｏｒｍａｔｉｏｎ生成部１５０から補正判定部１４３へ予測画像のビットプレーンが入力される（Ｓ３２０）。
【００７６】
次に、補正判定部１４３において、原画像と予測画像が比較され、誤り数ｅを得て、これを元にエントロピーが計算される。得られたｅをビットプレーン長Ｎで割ることで、ビット誤り率ｅｒｒが得られる（ｅｒｒ＝ｅ／Ｎ）（Ｓ３２１）。ここで得られたビット誤り率からエントロピーＨ（ｅｒｒ）が、以下の（７）式により計算される。ここでは、このエントロピーを「ビット誤りエントロピー」と呼ぶものとする。
【００７７】
Ｈ（ｅｒｒ）＝−ｅｒｒｌｏｇ（ｅｒｒ）−（１−ｅｒｒ）ｌｏｇ（１−ｅｒｒ）…（７）
次に、補正判定部１４３において、ピット誤りエントロピーＨ（ｅｒｒ）と分布モデルエントロピーを比較することにより、分布モデルエントロピーで得られた符号量で復号可能かが判定される（Ｓ３２２）。
【００７８】
分布モデルエントロピーは、分布による近似から得られた誤りを訂正するのに必要な量、つまり、モデルから得られる平均的な誤りを訂正するのに必要な情報量と考えられる。一方で、ビット誤りエントロピーは実際の原画像とエンコーダで生成した予測画像から得られた誤り量を復号するのに必要な情報量であると考えられる。ビット誤りエントロピーのほうが分布モデルエントロピーよりも大きい値を示す場合は、分布の想定する平均的な誤り量よりも、実際に生じた誤りが大きいと考えることができる。この場合、分布モデルエントロピーから得られる符号量では誤りが訂正できないと考えられる。
【００７９】
次に、補正判定部１４３の判定結果が補正部１４４へ入力される（Ｓ３２３）。
【００８０】
次に、補正部１４４において、補正判定部１４３から入力された判定結果が確認され（Ｓ３２４）、判定結果が、分布モデルエントロピーで得られた符号量で復号可能という結果であった場合には、後述するステップＳ３２５の処理が行われ、そうでない場合には、後述するステップＳ３２６の処理が行われる。
【００８１】
補正部１４４において、上述のステップＳ３２４での補正判定部１４３の判定結果が、分布モデルエントロピー計算部１４１の計算結果で復号できるだけの符号量が得られていると判定された場合は、分布モデルエントロピー計算部１４１で計算した符号量が送信符号量の計算結果となる（Ｓ３２５）。
【００８２】
一方、上述のステップＳ３２４での補助情報計算部１４２の判定結果が、分布モデルエントロピー計算部１４１の計算結果では復号できるだけの符号量が得られなかったと判定された場合は、補正部１４４において分布モデルエントロピーと補助情報が加算され、補正を行ったものを送信符号量の計算結果となる（Ｓ３２６）。
【００８３】
次に、補正部１４４により、計算した送信符号量がＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０へ入力される（Ｓ３２７）。
【００８４】
次に、量子化部１２０から符号化を行うビットプレーンがＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０へ入力される（Ｓ３２８）。
【００８５】
次に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０において、入力されたビットプレーンがＳｌｅｐｉａｎ−Ｗｏｌｆ符号化される（Ｓ３２９）。
【００８６】
次に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１０により、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化されたビットプレーンが送信符号量推定部１４０で得られた符号量に応じた符号が、受信側へ送信される（Ｓ３３０）。
【００８７】
次に、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０では、１フレームの全てのビットプレーンを処理したか否かが判定され（Ｓ３３１）、全てのビットプレーンの処理が完了した場合には当該フレームに係る処理を終了し、そうでない場合には、上述のステップＳ３０９の処理に戻って動作する。
【００８８】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。
【００８９】
送信符号量推定部１４０では、分布モデルエントロピー計算部１４１の計算結果について、常に補正を行うわけではなく、補正判定部１４３において他の計算方法による計算結果（上述の例では、ビット誤りエントロピー）と比較することにより、補正を行うか否かを判定した上で、補正を行っている。すなわち、分布モデルから推定されるエントロピーをもとにした符号量に、補助情報が必要な場合のみ加算するような補正を行うため、効率的な符号量を推定することができる。
【００９０】
（Ｂ）第２の実施形態
以下、本発明による動画像符号化装置及びプログラム、並びに、動画像配信システムの第２の実施形態を、図面を参照しながら詳述する。
【００９１】
（Ｂ−１）第２の実施形態の構成
第２の実施形態の動画像配信システム１Ａの全体構成も図１を用いて説明することができる。
【００９２】
第２の実施形態の動画像配信システム１Ａは、動画像配信装置１０Ａ及び動画像受信装置２０を有している。動画像受信装置２０は、第１の実施形態と同様のものであるので詳しい説明を省略する。また、動画像配信装置１０Ａは、動画像符号化装置１００Ａを有している。
【００９３】
図６は、動画像符号化装置１００Ａ内部の機能的構成について示した説明図である。
【００９４】
動画像符号化装置１００Ａでは、第１の実施形態のＷｙｎｅｒ−Ｚｉｖフレーム符号化部１１０がＷｙｎｅｒ−Ｚｉｖフレーム符号化部１１０Ａに置き換わっただけであるので、その他の構成については、第１の実施形態と同様であり、詳しい説明を省略する。そして、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０Ａでは、第１の実施形態の送信符号量推定部１４０が、送信符号量推定部１４０Ａに置き換わっただけであるので、その他の構成については、第１の実施形態と同様であり、詳しい説明は省略する。
【００９５】
送信符号量推定部１４０Ａでは、第１の実施形態の補助情報計算部１４２が、補助情報計算部１４２Ａに置き換わっただけであるので、その他の構成については、第１の実施形態と同様であり、詳しい説明は省略する。
【００９６】
補助情報計算部１４２Ａは、補正判定部１４３において、補助情報が必要と判定された場合にのみ、補助情報の計算を行う点で、第１の実施形態と異なっている。補助情報計算部１４２Ａが行う処理の詳細については、後述する動作説明において詳述する。
【００９７】
（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の動画像配信システム１Ａの動作、特に動画像符号化装置１００Ａの動作を中心に説明する。
【００９８】
第１の実施形態と同様に、入力シーケンスはキーフレームとＷｙｎｅｒ−Ｚｉｖフレームに分けられ、それぞれの符号化・復号が行われ、入力シーケンスをキーフレームとＷｙｎｅｒ−Ｚｉｖフレームを交互に符号化する例について説明を行う。そして、動画像符号化装置１００Ａでは、第１の実施形態と同様に、入力シーケンスの１フレーム目はキーフレームとして符号化が行われ、２フレーム目はＷｙｎｅｒ−Ｚｉｖフレームとして、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０Ａにより符号化が行われる。ここでは、この２フレーム目のデータが、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０Ａにより符号化される場合を例として、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０Ａの動作について説明する。
【００９９】
図７〜１０は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０Ａの動作について示したフローチャートである。
【０１００】
まず、量子化部１２０で入力シーケンスが変換・量子化されたのちビットプレーンへ分割され、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０で予測画像が生成され、分布モデルエントロピー計算部１４１で分布モデルエントロピーが計算される（Ｓ５０１〜Ｓ５１３）が、ステップＳ５０１〜Ｓ５１３の動作は、第１の実施例の動作におけるステップＳ３０１〜ステップＳ３１３と同様であるため、詳しい説明を省略する。
【０１０１】
そして、以降のステップの処理により、分布モデルから得られたエントロピーで復号可能かどうかが補正判定部１４３で判定される。判定方法の例として、第１の実施形態と同様に、分布モデルエントロピーとビット誤りによるエントロピーとの比較が行われるものとして説明する。
【０１０２】
まず、分布モデルエントロピー計算部１４１から分布モデルエントロピーが、補正判定部１４３へ入力される（Ｓ５１４）。
【０１０３】
そして、量子化部１２０から補正判定部１４３へ原画像のビットプレーンが入力される（Ｓ５１５）。
【０１０４】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１５０から補正判定部１４３へ予測画像のビットプレーンが入力される（Ｓ５１６）。
【０１０５】
次に、補正判定部１４３で、原画像と予測画像のビットプレーンが比較され、ビットの異なり数が計測され、これを元にビット誤りエントロピーが計算される（Ｓ５１７）。
【０１０６】
次に、補正判定部１４３で、ビット誤りエントロピーと分布モデルエントロピーを比較することにより、分布モデルエントロピーで得られた符号量で復号可能かが判定される（Ｓ５１８）。
【０１０７】
次に、補正判定部１４３の判定結果が補正部１４４へ入力される（Ｓ５１９）。
【０１０８】
次に、補正部１４４において、補正判定部１４３から入力された判定結果が確認され（Ｓ５２０）、判定結果が、分布モデルエントロピーで得られた符号量で復号できないという結果であった場合には、後述するステップＳ５２１の処理から動作し、そうでない場合には、後述するステップＳ５２７の処理から動作する。
【０１０９】
なお、以降のステップにおいて、補助情報計算部１４２Ａによる、補助情報の計算としては、第１の実施形態と同じく、非特許文献２で示されるｒｅｌａｔｉｖｅ ｅｒｒｏｒ ｅｎｔｒｏｐｙの計算が行われるものとして説明する。
【０１１０】
上述のステップＳ５２０において、補正部１４４に入力された判定結果が、補助情報が必要である、という判定結果であった場合には、その判定結果が、補助情報計算部１４２Ａへ入力される（Ｓ５２１）。
【０１１１】
次に、原画像のビットプレーンが補助情報計算部１４２Ａへ入力される（Ｓ５２２）。
【０１１２】
次に、予測画像のビットプレーンが補助情報計算部１４２Ａへ入力される（Ｓ５２３）。
【０１１３】
次に、補助情報計算部１４２Ａで原画像と予測画像のビットプレーンが比較され、ｒｅｌａｔｉｖｅ ｅｒｒｏｒ ｐｒｏｂａｂｉｌｉｔｙが計算される（Ｓ５２４）。
【０１１４】
次に、補助情報計算部１４２Ａにより、得られた補助情報が補正部１４４へ入力される（Ｓ５２５）。
【０１１５】
次に、補正部１４４において分布モデルエントロピーと補助情報を用いて補正が行われる（Ｓ５２６）。ここでは、補正方法の例として、分布モデルエントロピーに補助情報を加算するものとして説明する。また、補正結果を、送信符号量推定部１４０Ａによる送信符号量の計算結果となる。
【０１１６】
一方、上述のステップＳ５２０において、補正部１４４に入力された判定結果が、分布モデルエントロピー計算部１４１の計算結果では復号できるだけの符号量が得られたという結果であった場合は、補正部１４４において分布モデルエントロピーが、送信符号量推定部１４０Ａによる送信符号量の推定結果となる（Ｓ５２７）。
【０１１７】
次に、送信符号量推定部１４０Ａによる送信符号量の計算結果がＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０へ入力される（Ｓ５２８）。
【０１１８】
次に、量子化部１２０から符号化を行うビットプレーンがＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０へ入力される（Ｓ５２９）。
【０１１９】
次に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０において、入力されたビットプレーンがＳｌｅｐｉａｎ−Ｗｏｌｆ符号化される（Ｓ５３０）。
【０１２０】
次に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１３０により、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化されたビットプレーンを、送信符号量推定部１４０Ａで得られた符号量に応じた符号量が受信側へ送信される（Ｓ５３１）。
【０１２１】
次に、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０Ａでは、１フレームの全てのビットプレーンを処理したか否かが判定され（Ｓ５３２）、全てのビットプレーンの処理が完了した場合には当該フレームに係る処理を終了し、そうでない場合には、上述のステップＳ５０９の処理に戻って動作する。
【０１２２】
（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、以下のような効果を奏することができる。
【０１２３】
補助情報計算部１４２Ａでは、補正判定部１４３において補助情報が必要と判定された場合にのみ補助情報の計算を行うため、符号化に係る処理量を低減させることができる。
【０１２４】
（Ｃ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【０１２５】
（Ｃ−１）なお、図２においては、動画像符号化装置は、動画像配信装置の一部を構成するものとして図示しているが、動画像符号化装置を、単体の装置として構築し、単に入力シーケンスから符号化データを生成して出力（ディスク装置や記憶媒体等に記憶させたり、他の装置に出力したり等、方法は限定されないものである）する装置として構築するようにしても良い。
【０１２６】
（Ｃ−２）上記の実施形態において、送信符号量推定部では、分布モデルエントロピーを用いて計算した送信符号量と、他の方法（ビット誤りエントロピー）を用いて計算した送信符号量との比較結果に基づいて、分布モデルエントロピーを用いて計算した送信符号量を補正するか否か判定し、補正必要な場合は補正を行っている。ここで、送信符号量推定部において、分布モデルエントロピーと比較する他の方法を用いて計算した送信符号量は、ビット誤りエントロピーを用いて計算したものに限定されず、他の計算方法により計算した送信符号量に置き換えるようにしても良い。また、送信符号量推定部において、それぞれ異なる複数の計算方法により計算された送信符号量を求め、それらの送信符号量と、分布モデルエントロピーを用いて計算した送信符号量とを比較して、分布モデルエントロピーを用いて計算した送信符号量を補正するか否か判定するようにしても良い。例えば、他の方法を用いて計算した送信符号量のうち、一つでも、分布モデルエントロピーを用いて計算した送信符号量よりも大きい場合に補正を行うと判定するようにしても良い。
【０１２７】
また、送信符号量推定部において、分布モデルエントロピーとビット誤りエントロピーの適用を置き換えて、ビット誤りエントロピーを用いて計算した送信符号量について、他の方法（分布モデルエントロピー）を用いて計算した送信符号量との比較結果に基づいて補正するか否かを判定し、補正必要な場合は補正を行うようにしても良い。
【符号の説明】
【０１２８】
１…動画像配信システム、１０…動画像配信装置１００…動画像符号化装置、２０…動画像受信装置、２００…動画像復号化装置、１００…動画像符号化装置、１１０…Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部、１２０…量子化部、１３０…Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部、１４０…送信符号量推定部、１４１…分布モデルエントロピー計算部、１４２…補助情報計算部、１４３…補正判定部、１４４…補正部。
【特許請求の範囲】
【請求項１】
フレーム列を有する動画像信号を符号化する動画像符号化装置において、
上記フレーム列のそれぞれのフレームをキーフレーム又は非キーフレームに分類するフレーム分類手段と、
上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、
符号化されたキーフレームを利用して、非キーフレームの予測画像を生成する予測画像生成手段と、
非キーフレームの原画像に対する予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、
上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号を、非キーフレームの符号化データとして生成する非キーフレーム符号化手段とを備え、
上記送信符号量算出手段は、
所定の方法により上記原画像に対する上記予測画像の誤りを訂正する第１の誤り訂正符号の量を算出する誤り訂正符号量算出手段と、
上記誤り訂正符号量算出手段が算出する誤り訂正符号の量に対する補正量を算出する補正量算出手段と、
上記誤り訂正符号量算出手段とは異なる方法を用いて、上記原画像に対する上記予測画像の誤りを訂正する誤り訂正符号の量を算出する１又は複数の判定用誤り訂正符号量算出手段と、
上記判定用誤り訂正符号量算出手段の算出結果に応じて、上記第１の誤り訂正符号の量を補正するか否か判定する補正判定手段と、
上記補正判定手段により、上記第１の誤り訂正符号の量を補正すると判定された場合には、上記第１の誤り訂正符号の量について、上記補正量算出手段が算出した補正量を用いて補正した値を、当該送信符号量算出手段の算出結果として出力し、上記補正判定手段により、上記第１の誤り訂正符号の量を補正しないと判定された場合には、上記第１の誤り訂正符号の量を、そのまま当該送信符号量算出手段の算出結果として出力する補正手段とを有する
ことを特徴とする動画像符号化装置。
【請求項２】
上記補正量算出手段は、上記補正判定手段により、上記第１の誤り訂正符号の量を補正すると判定された場合にのみ、補正量を算出することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
上記誤り訂正符号量算出手段は、分布モデルエントロピー、又は、ビット誤りエントロピーを用いて、上記第１の誤り訂正符号の量を算出することを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
上記判定用誤り訂正符号量算出手段のうち、一つは、上記原画像と上記予測画像の関係を近似したモデルを用いて、上記原画像に対する上記予測画像の誤り率に係るエントロピーを計算し、計算したエントロピーを用いて、上記原画像に対する上記予測画像の誤りを訂正する誤り訂正符号の量を算出することを特徴とする請求項１〜３のいずれかに記載の動画像符号化装置。
【請求項５】
上記判定用誤り訂正符号量算出手段のうち、一つは、原画像と予測画像とを比較し、その差異から、記原画像に対する上記予測画像の誤り率に係るエントロピーを計算し、計算したエントロピーを用いて、上記原画像に対する上記予測画像の誤りを訂正する誤り訂正符号の量を算出することを特徴とする請求項１〜４のいずれかに記載の動画像符号化装置。
【請求項６】
コンピュータを、
動画像を構成するフレーム列のそれぞれのフレームを、キーフレーム又は非キーフレームに分類するフレーム分類手段と、
上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、
符号化されたキーフレームを利用して、非キーフレームの予測画像を生成する予測画像生成手段と、
非キーフレームの原画像に対する予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、
上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号を、非キーフレームの符号化データとして生成する非キーフレーム符号化手段として機能させ、
上記送信符号量算出手段を、
所定の方法により上記原画像に対する上記予測画像の誤りを訂正する第１の誤り訂正符号の量を算出する誤り訂正符号量算出手段と、
上記誤り訂正符号量算出手段が算出する誤り訂正符号の量に対する補正量を算出する補正量算出手段と、
上記誤り訂正符号量算出手段とは異なる方法を用いて、上記原画像に対する上記予測画像の誤りを訂正する誤り訂正符号の量を算出する１又は複数の判定用誤り訂正符号量算出手段と、
上記判定用誤り訂正符号量算出手段の算出結果に応じて、上記第１の誤り訂正符号の量を補正するか否か判定する補正判定手段と、
上記補正判定手段により、上記第１の誤り訂正符号の量を補正すると判定された場合には、上記第１の誤り訂正符号の量について、上記補正量算出手段が算出した補正量を用いて補正した値を、当該送信符号量算出手段の算出結果として出力し、上記補正判定手段により、上記第１の誤り訂正符号の量を補正しないと判定された場合には、上記第１の誤り訂正符号の量を、そのまま当該送信符号量算出手段の算出結果として出力する補正手段として機能させる
ことを特徴とする動画像符号化プログラム。
【請求項７】
受信装置と、配信用動画像データを上記受信装置に配信する動画像配信装置とを有する動画像配信システムにおいて、
上記動画像配信装置は、フレーム列を有する動画像信号を符号化して配信用動画像データを生成する動画像符号化装置を有し、
上記動画像符号化装置として、請求項１〜５のいずれかに記載の動画像符号化装置を適用したことを特徴とする動画像配信システム。
【請求項１】
フレーム列を有する動画像信号を符号化する動画像符号化装置において、
上記フレーム列のそれぞれのフレームをキーフレーム又は非キーフレームに分類するフレーム分類手段と、
上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、
符号化されたキーフレームを利用して、非キーフレームの予測画像を生成する予測画像生成手段と、
非キーフレームの原画像に対する予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、
上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号を、非キーフレームの符号化データとして生成する非キーフレーム符号化手段とを備え、
上記送信符号量算出手段は、
所定の方法により上記原画像に対する上記予測画像の誤りを訂正する第１の誤り訂正符号の量を算出する誤り訂正符号量算出手段と、
上記誤り訂正符号量算出手段が算出する誤り訂正符号の量に対する補正量を算出する補正量算出手段と、
上記誤り訂正符号量算出手段とは異なる方法を用いて、上記原画像に対する上記予測画像の誤りを訂正する誤り訂正符号の量を算出する１又は複数の判定用誤り訂正符号量算出手段と、
上記判定用誤り訂正符号量算出手段の算出結果に応じて、上記第１の誤り訂正符号の量を補正するか否か判定する補正判定手段と、
上記補正判定手段により、上記第１の誤り訂正符号の量を補正すると判定された場合には、上記第１の誤り訂正符号の量について、上記補正量算出手段が算出した補正量を用いて補正した値を、当該送信符号量算出手段の算出結果として出力し、上記補正判定手段により、上記第１の誤り訂正符号の量を補正しないと判定された場合には、上記第１の誤り訂正符号の量を、そのまま当該送信符号量算出手段の算出結果として出力する補正手段とを有する
ことを特徴とする動画像符号化装置。
【請求項２】
上記補正量算出手段は、上記補正判定手段により、上記第１の誤り訂正符号の量を補正すると判定された場合にのみ、補正量を算出することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
上記誤り訂正符号量算出手段は、分布モデルエントロピー、又は、ビット誤りエントロピーを用いて、上記第１の誤り訂正符号の量を算出することを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
上記判定用誤り訂正符号量算出手段のうち、一つは、上記原画像と上記予測画像の関係を近似したモデルを用いて、上記原画像に対する上記予測画像の誤り率に係るエントロピーを計算し、計算したエントロピーを用いて、上記原画像に対する上記予測画像の誤りを訂正する誤り訂正符号の量を算出することを特徴とする請求項１〜３のいずれかに記載の動画像符号化装置。
【請求項５】
上記判定用誤り訂正符号量算出手段のうち、一つは、原画像と予測画像とを比較し、その差異から、記原画像に対する上記予測画像の誤り率に係るエントロピーを計算し、計算したエントロピーを用いて、上記原画像に対する上記予測画像の誤りを訂正する誤り訂正符号の量を算出することを特徴とする請求項１〜４のいずれかに記載の動画像符号化装置。
【請求項６】
コンピュータを、
動画像を構成するフレーム列のそれぞれのフレームを、キーフレーム又は非キーフレームに分類するフレーム分類手段と、
上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、
符号化されたキーフレームを利用して、非キーフレームの予測画像を生成する予測画像生成手段と、
非キーフレームの原画像に対する予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、
上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号を、非キーフレームの符号化データとして生成する非キーフレーム符号化手段として機能させ、
上記送信符号量算出手段を、
所定の方法により上記原画像に対する上記予測画像の誤りを訂正する第１の誤り訂正符号の量を算出する誤り訂正符号量算出手段と、
上記誤り訂正符号量算出手段が算出する誤り訂正符号の量に対する補正量を算出する補正量算出手段と、
上記誤り訂正符号量算出手段とは異なる方法を用いて、上記原画像に対する上記予測画像の誤りを訂正する誤り訂正符号の量を算出する１又は複数の判定用誤り訂正符号量算出手段と、
上記判定用誤り訂正符号量算出手段の算出結果に応じて、上記第１の誤り訂正符号の量を補正するか否か判定する補正判定手段と、
上記補正判定手段により、上記第１の誤り訂正符号の量を補正すると判定された場合には、上記第１の誤り訂正符号の量について、上記補正量算出手段が算出した補正量を用いて補正した値を、当該送信符号量算出手段の算出結果として出力し、上記補正判定手段により、上記第１の誤り訂正符号の量を補正しないと判定された場合には、上記第１の誤り訂正符号の量を、そのまま当該送信符号量算出手段の算出結果として出力する補正手段として機能させる
ことを特徴とする動画像符号化プログラム。
【請求項７】
受信装置と、配信用動画像データを上記受信装置に配信する動画像配信装置とを有する動画像配信システムにおいて、
上記動画像配信装置は、フレーム列を有する動画像信号を符号化して配信用動画像データを生成する動画像符号化装置を有し、
上記動画像符号化装置として、請求項１〜５のいずれかに記載の動画像符号化装置を適用したことを特徴とする動画像配信システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−７７８８１（Ｐ２０１１−７７８８１Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２２７９１９（Ｐ２００９−２２７９１９）
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]