画像処理装置及びプログラム
【課題】ケプストラム解析結果のみを用いて、画像符号化に関する特徴を解析することができる。
【解決手段】画像処理装置は、復号画像に対し、所定サイズの領域毎にケプストラム解析を行う解析部と、解析部により解析された解析結果のピーク値の大きさに基づいて、ブロック歪の強度を決定するブロック歪強度決定部と、を備える。
【解決手段】画像処理装置は、復号画像に対し、所定サイズの領域毎にケプストラム解析を行う解析部と、解析部により解析された解析結果のピーク値の大きさに基づいて、ブロック歪の強度を決定するブロック歪強度決定部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、復号画像にケプストラム解析を行う画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、復号画像に対してケプストラム解析を行い、ブロック歪を有する画像の評価を行う技術があった。
【０００３】
例えば、先頭輝度値を変更し、ケプストラムピークを強調することで、高ビットレートでのブロック歪を検出することができる方法がある（非特許文献１）。また、ケプストラム解析結果を用いる技術として、画像ブロック境界を検出し、再符号化に用いる技術がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−３２８２９号公報
【非特許文献】
【０００５】
【非特許文献１】小松俊介他，「ブロック歪を有する画像信号のケプストラム分析」，電子情報通信学会技術報告，ＩＴ９４，ｐ．２１−２４，１９９４年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術では、ブロック歪位相を測定するためにケプストラム解析を行っている。ただし、従来技術は、画像内を詳細に解析するものではないため、ブロック歪の強度を測定することはできない。また、ピクチャタイプの判定やＧＯＰ構造の判定には、別途符号化器が必要になり、処理が煩雑になってしまうという問題点があった。
【０００７】
そこで、本発明は、上記課題に鑑みてなされたものであり、ケプストラム解析結果のみを用いて、画像符号化に関する特徴を解析することができる画像処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様における画像処理装置は、復号画像に対し、所定サイズの領域毎にケプストラム解析を行う解析部と、前記解析部により解析された解析結果のピーク値の大きさに基づいて、ブロック歪の強度を決定するブロック歪強度決定部と、を備える。
【０００９】
また、画像処理装置は、前記解析結果のピーク幅の頻度に基づいて、前記領域がイントラタイプかインタータイプかを判定するタイプ判定部をさらに備えてもよい。
【００１０】
また、画像処理装置は、前記タイプ判定部によりイントラタイプと判定された領域を含む第１フレームを検出し、前記第１フレームの間隔のうち、最も多い頻度の間隔をＧＯＰのフレーム数と決定するＧＯＰ構造決定部をさらに備えてもよい。
【００１１】
また、前記ＧＯＰ構造決定部は、前記ピーク値の大きさの平均値をフレーム毎に求め、前記平均値の時間方向の変化と前記ＧＯＰのフレーム数とに基づいて、イントラフレームを決定してもよい。
【００１２】
また、画像処理装置は、前記ＧＯＰ構造決定部により決定されたＧＯＰの構造と、前記ブロック歪強度決定部により決定された各フレームのブロック歪の強度の平均値又は中央値とを用いて、前記各フレームに含まれる領域毎のブロック歪の強度を修正するブロック歪強度修正部とをさらに備えてもよい。
【００１３】
また、前記ブロック歪強度修正部は、１つのＧＯＰ内において、各フレーム内に含まれる領域毎のブロック歪の強度の平均値又は中央値を算出する第１算出部と、前記第１算出部により算出された平均値又は中央値の最大値と最小値との差分を算出する第２算出部と、前記第２算出部により算出された差分を、ＧＯＰ内のフレームの位置に応じて重み付けし、重み付けされた差分を、該フレームの領域毎のブロック歪の強度に加算する加算部とを備えてもよい。
【００１４】
また前記解析部は、前記所定サイズを、前記解析結果のピーク値の幅が均一になるまで前記復号画像のサイズから徐々に小さくしてもよい。
【００１５】
また、画像処理装置は、前記ブロック歪の強度に応じて修正したフィルタオフセット値を用いてデブロッキングフィルタ処理を行うデブロッキングフィルタ部をさらに備えてもよい。
【００１６】
また、本発明の他の態様におけるプログラムは、復号画像に対し、所定サイズの領域毎にケプストラム解析を行う解析ステップと、前記解析ステップで解析された解析結果のピーク値の大きさに基づいて、ブロック歪の強度を決定するブロック歪強度決定ステップとをコンピュータに実行させる。
【発明の効果】
【００１７】
本発明によれば、ケプストラム解析結果のみを用いて、画像符号化に関する特徴を解析することができる。
【図面の簡単な説明】
【００１８】
【図１】実施例１における画像符号化装置の概略構成の一例を示すブロック図。
【図２】情報解析部の構成の一例を示すブロック図。
【図３】ケプストラム解析結果（その１）の一例を示す図。
【図４】ケプストラム解析結果（その２）の一例を示す図。
【図５】所定サイズの変化の一例を示す図。
【図６】タイプ判定部の構成の一例を示すブロック図。
【図７】画像内のタイプの一例を示す図。
【図８】ＧＯＰ構造決定部の構成の一例を示すブロック図。
【図９】ＧＯＰ構造の決定を説明するための図。
【図１０】ブロック歪強度修正部の構成の一例を示すブロック図。
【図１１】実施例１における情報解析処理の一例を示すフローチャート。
【図１２】実施例２における画像符号化装置の構成の一例を示すブロック図。
【発明を実施するための形態】
【００１９】
以下、添付図面を参照しながら各実施例について詳細に説明する。なお、各実施例で説明するケプストラム解析結果から求められた各情報は、様々な用途で用いることができるが、以下では、デブロッキングフィルタに用いる例について説明する。
【００２０】
［実施例１］
＜構成＞
図１は、実施例１における画像符号化装置１００の概略構成の一例を示すブロック図である。図２に示す例では、画像符号化装置１００は、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、デブロッキングフィルタ部１０８、復号画像記憶部１０９、イントラ予測部１１０、インター予測部１１１、動きベクトル計算部１１２、符号化制御及びヘッダ生成部１１３、予測画像選択部１１４、及び情報解析部１１５を有する。各部についての概略を以下に説明する。
【００２１】
予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像が、例えば１６×１６画素のブロックに分割されたブロックデータを取得する。
【００２２】
予測誤差信号生成部１０１は、そのブロックデータと、予測画像選択部１１４から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に出力する。
【００２３】
直交変換部１０２は、入力された予測誤差信号を直交変換処理する。直交変換部１０２は、直交変換処理によって水平及び垂直方向の周波数成分に分離された信号を量子化部１０３に出力する。
【００２４】
量子化部１０３は、直交変換部１０２からの出力信号を量子化する。量子化部１０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。
【００２５】
エントロピー符号化部１０４は、量子化部１０３からの出力信号や動きベクトル計算部１１２から取得する動きベクトル情報をエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。
【００２６】
逆量子化部１０５は、量子化部１０３からの出力信号を逆量子化してから逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化部１０５からの出力信号を逆直交変換処理してから復号画像生成部１０７に出力する。これら逆量子化部１０５及び逆直交変換部１０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。
【００２７】
復号画像生成部１０７は、インター予測部１１１で動き補償された画像のブロックデータと、逆量子化部１０５及び逆直交変換部１０６により復号処理された予測誤差信号とを加算する。復号画像生成部１０７は、加算して生成した復号画像のブロックデータを、情報解析部１１５及びデブロッキングフィルタ部１０８に出力する。
【００２８】
情報解析部１１５は、復号画像に対して、所定サイズの領域毎にケプストラム解析を行い、ケプストラム解析結果から各種の情報を検出する。各種の情報は、例えばブロック歪の強度を含む。情報解析部１１５は、例えば、ブロック歪の強度をデブロッキングフィルタ部１０８に出力する。情報解析部１１５の詳細は、図２を用いて後述する。
【００２９】
デブロッキングフィルタ部１０８は、復号画像生成部１０７から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、復号画像記憶部１０９に出力する。このとき、デブロッキングフィルタ部１０８は、情報解析部１１５から取得したブロック歪の強度を用いてフィルタ強度を変更する。
【００３０】
復号画像記憶部１０９は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部１１０、インター予測部１１１及び動きベクトル計算部１１２に出力する。
【００３１】
イントラ予測部１１０は、符号化対象画像の処理対象ブロックに対して、すでに符号化された参照画素から予測画像を生成する。
【００３２】
インター予測部１１１は、復号画像記憶部１０９から取得した参照画像のデータを動きベクトル計算部１１２から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。
【００３３】
動きベクトル計算部１１２は、符号化対象画像におけるブロックデータと、復号画像記憶部１０９から取得する参照画像とを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。動きベクトル計算部１１２は、求めた動きベクトルをインター予測部１１１に出力し、動きベクトルや参照画像の位置の情報を含む動きベクトル情報をエントロピー符号化部１０４に出力する。
【００３４】
イントラ予測部１１０とインター予測部１１１から出力されたブロックデータは、予測画像選択部１１４に入力される。
【００３５】
予測画像選択部１１４は、イントラ予測部１１０とインター予測部１１１から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部１０１に出力される。
【００３６】
また、符号化制御及びヘッダ生成部１１３について、符号化の全体制御とヘッダ生成を行う。符号化制御及びヘッダ生成部１１３は、イントラ予測部１１０に対して、スライス分割有無の通知、デブロッキングフィルタ部１０８に対して、デブロッキングフィルタ有無の通知、動きベクトル計算部１１２に対して参照画像の制限通知などを行う。
【００３７】
符号化制御及びヘッダ生成部１１３は、その制御結果を用いて、例えばＨ．２６４／ＡＶＣのヘッダ情報を生成する。生成されたヘッダ情報は、エントロピー符号化部１０４に出力され、画像データ、動きベクトルデータとともにストリームとして出力される。
【００３８】
＜情報解析部の構成＞
次に、情報解析部１１５の構成について説明する。図２は、情報解析部１１５の構成の一例を示すブロック図である。図２に示す情報解析部１１５は、解析部２０１、ブロック歪強度決定部２０２、タイプ判定部２０３、ＧＯＰ構造決定部２０４、及びブロック歪強度修正部２０５を有する。
【００３９】
解析部２０１は、復号画像生成部１０７から復号画像を順に取得し、復号画像の所定サイズの領域毎にケプストラム解析を行う。所定サイズは例えば、マクロブロックを含むサイズの６４×６４などである。また、解析部２０１は、所定の条件を満たすまで、所定サイズを画像サイズから順に小さくするようにしてもよい。これは、図５を用いて後述する。
【００４０】
解析部２０１は、領域毎に、水平・垂直方向毎に１次元でケプストラム解析を行う。例えば、解析部２０１は、水平方向のケプストラム解析を行う場合、領域内の各行についてケプストラム解析を行い、各行の解析結果の平均を計算する。これにより、解析部２０１は、この領域の水平方向のケプストラム解析結果を得る。垂直方向も同様に行われる。
【００４１】
水平・垂直方向のケプストラム解析は、公知の技術、例えば非特許文献１に記載されている技術を用いればよい。また、解析部２０１は、水平・垂直方向毎の解析結果の二乗平均から和の平方根をとり、総合ケプストラムを算出してもよい。
【００４２】
図３は、ケプストラム解析結果（その１）の一例を示す図である。図３は、例えば、イントラブロックを含む領域に対して、水平方向にケプストラム解析を行った結果を示す。イントラブロックとは、例えば、画面内予測が行われるマクロブロックを言う。
【００４３】
図３に示すように、イントラブロックを含む領域では、解析結果のピークの幅は、ほぼ均一になる。イントラブロックでは、動き補償がないため、ブロック境界の規則性が保たれるからである。
【００４４】
図４は、ケプストラム解析結果（その２）の一例を示す図である。図４は、例えば、イントラブロックと、インターブロックを含む領域に対して、水平方向にケプストラム解析を行った結果を示す。インターブロックとは、例えば、画面間予測が行われるマクロブロックを言う。
【００４５】
図４に示すように、イントラブロックとインターブロックを含む領域では、極大のピークに対して小さいピークが多く現れる。インターブロックでは動き補償があるため、ブロックの境界が動きベクトルにより移動するためである。
【００４６】
よって、イントラブロックとインターブロックを含む領域の解析結果は、イントラブロックを含む領域の解析結果に比べて、極大のピーク以外でピークが多く発生する。
【００４７】
次に、解析部２０１は、領域の所定サイズを、所定条件を満たすまで小さくしながら、ケプストラム解析を行うようにしてもよい。例えば、所定サイズは、復号画像のサイズから、次々に半分のサイズにしていく。
【００４８】
図５は、所定サイズの変化の一例を示す図である。図５に示す復号画像１１を含む所定サイズ２０を用いて解析部２０１は、解析を行う。所定サイズ２０は、復号画像１１よりも少し大きいサイズにしておくとよい。
【００４９】
次に、解析部２０１は、この所定サイズ２０の領域での水平・垂直方向の解析結果が、図３に示すような解析結果でなければ、所定サイズ２０の縦横を２で除算し、所定サイズ２１にする。図３に示すような解析結果とは、ピーク幅が均一であることを示す。図４は、小さいピークを含めると、ピーク幅は不均一である。ここで、所定条件は、例えば、ピーク幅が均一であることである。
【００５０】
次に、解析部２０１は、この所定サイズ２１の領域での水平・垂直方向の解析結果が、図３に示すような解析結果でなければ、所定サイズ２１の縦横を２で除算し、所定サイズ２２にする。以下、解析部２０１は、所定サイズの領域の解析結果のピーク幅が、何れかの領域で均一になるまで、所定サイズを小さくする。所定サイズの下限は、例えば、マクロブロックサイズとする。
【００５１】
つまり、解析部２０１は、分割された複数の領域のうち、１つの領域で水平・垂直方向の解析結果が両方とも所定の条件を満たすまで、所定サイズを小さくしていく。解析部２０１は、最終的に解析された解析結果をブロック歪強度決定部２０２及びタイプ判定部２０３に出力する。
【００５２】
なお、解析部２０１は、画像符号化技術が、例えばＨ．２６４／ＡＶＣのように１つのフレーム内でスライス分割できる場合に、所定サイズを変える方法を用いるとよい。なぜなら、１つのフレーム内にイントラスライスとインタースライスが含まれる場合、予め設定されたサイズの領域で、解析結果のピーク幅が全て均一になるとは限らないからである。解析部２０１は、所定サイズを徐々に小さくしていくことで、イントラブロックを含む領域が特定され、イントラスライスの位置が特定されやすくする。
【００５３】
また、画像符号化技術が、例えばＭＰＥＧ２などのように、１つのフレームで、イントラ、インタータイプが決まる場合は、領域の所定サイズは予め設定されておいてもよい。
【００５４】
図２に戻り、ブロック歪強度決定部２０２について説明する。ブロック歪強度決定部２０２は、解析部２０１から取得した解析結果のピーク値の大きさに基づいて、ブロック歪の強度を決定する。
【００５５】
ブロック歪強度決定部２０２は、例えば、水平方向のケプストラムの全要素値についてｋ−ｍｅａｎｓ法のｋ＝２でクラスタリングを行い、クラスタ中心値の大きい方のクラスタの平均値又は中央値を水平方向のピーク値とする。ブロック歪強度決定部２０２は、垂直方向についても同様に行う。
【００５６】
ブロック歪強度決定部２０２は、例えば、各ブロック境界のピーク値の大きさを、ブロック歪の強度として決定する。ブロック歪決定部２０２は、決定した水平・垂直方向のブロック歪の強度をＧＯＰ構造決定部２０４及びブロック歪強度修正部２０５に出力する。
【００５７】
タイプ判定部２０３は、領域毎のケプストラム解析結果を解析部２０１から取得し、各領域のタイプを、インターかイントラかを判定する。ここで、前述したが、イントラスライスの場合は、ブロック歪が均等に並ぶため、ケプストラムのピーク幅は均一となる。一方、インタースライスの場合は、動き補償によりブロック歪が不均一に並ぶため、ケプストラムのピーク幅は不均一となる。
【００５８】
図６は、タイプ判定部２０３の構成の一例を示すブロック図である。図６に示すタイプ判定部２０３は、頻度算出部３０１、及びイントラ／インター判定部３０２を有する。
【００５９】
頻度算出部３０１は、領域毎に、水平・垂直方向のケプストラム解析結果のピーク幅の頻度を算出し、ピーク幅のヒストグラムを生成する。頻度算出部３０１は、生成したヒストグラムをイントラ／インター判定部３０２に出力する。
【００６０】
イントラ／インター判定部３０２は、水平・垂直方向のヒストグラムで、符号化でよく用いられる（マクロ）ブロックサイズの１６の頻度が全体に占める所定割合以上であれば、この領域をイントラと判定する。所定割合は、例えば８５％とする。
【００６１】
また、イントラ／インター判定部３０２は、ブロックサイズの１６の頻度が所定割合未満であれば、この領域をインターとする。イントラ／インター判定部３０２は、判定したタイプを領域に関連付けてＧＯＰ構造決定部２０４に出力する。タイプ判定部２０３は、ヒストグラムの生成と、タイプ判定とを全ての領域に対して行う。
【００６２】
図７は、画像内のタイプの一例を示す図である。図７に示す１つの画像１１内の領域３０がイントラと判定された各領域を含み、領域３１がインターと判定された各領域を含む。領域３０は、例えばイントラスライスに対応し、領域３１は、インタースライスに対応する。このように、イントラ／インター判定部３０２は、スライス位置と、そのスライスのタイプを判定することができる。
【００６３】
図２に戻り、ＧＯＰ構造決定部２０４について説明する。まず、先見知識として、一般の符号化では、イントラスライスは一定間隔で存在する。さらにイントラスライスに対して、後のインタースライスは、距離が遠くなるほど画質が劣化してブロック歪が多くなる可能性が高い。また、符号化の設定にも関係するが、Ｐスライスに対してＢスライスの方が画質が悪く、ブロック歪も多くなる可能性が高い。
【００６４】
ＧＯＰ構造決定部２０４は、この先見知識を用いて、ブロック歪強度決定部２０２から取得したブロック歪強度と、タイプ判定部２０３から取得した領域毎のタイプとに基づいて、ＧＯＰ構造を決定する。
【００６５】
図８は、ＧＯＰ構造決定部２０４の構成の一例を示すブロック図である。図８に示すＧＯＰ構造決定部２０４は、フレーム検出部４０１、頻度算出部４０２、イントラ／インター決定部４０３を有する。
【００６６】
フレーム検出部４０１は、イントラと関連付けられた領域又はイントラスライスを含む第１フレームを検出する。フレーム検出部４０１は、検出した第１フレームを頻度算出部４０２に通知する。
【００６７】
頻度算出部４０２は、フレーム検出部４０１から通知された第１フレームの間隔を算出し、第１フレームの間隔のヒストグラムを生成する。頻度算出部４０２は、算出したヒストグラムをイントラ／インター決定部４０３に出力する。
【００６８】
イントラ／インター決定部４０３は、頻度算出部４０２から取得したヒストグラムで最も多い頻度の間隔値を、ＧＯＰのフレーム数（ＧＯＰ値と呼ぶ。）と決定する。また、イントラ／インター決定部４０３は、第１フレームの間隔を調べ、決定したＧＯＰ値に一致する間隔を有するフレームをイントラフレームと決定する。また、イントラ／インター決定部４０３は、イントラフレームと決定したフレーム以外のフレームを、インターフレームと決定する。
【００６９】
なお、イントラ／インター決定部４０３は、例えば、フレーム毎の水平・垂直方向のピーク値の大きさの平均値に対する時間方向の変化に基づいて、イントラフレームを決定してもよい。これは、第１フレームと検出されるはずのフレームが検出されていなくても、ＧＯＰ値とフレームのピーク値の平均を考慮すれば、イントラフレームを検出することができる。
【００７０】
ここで、イントラフレームが存在する位置に第１フレームが検出されなかった場合に、その位置のフレームを第２フレームと呼ぶ。第２フレームがイントラフレームであるか否かの判定に、ピーク値の平均値とＧＯＰ値とが用いられる。
【００７１】
イントラ／インター決定部４０３は、まず、ＧＯＰ値に基づき、第２フレームを検出する。イントラ／インター決定部４０３は、第２フレームの直前のフレームと第２フレームとの解析結果のピーク値の大きさの平均値が、大から小に変わっていれば、第２フレームは、イントラフレームと決定する。
【００７２】
これは、イントラフレームではブロック歪は少なく、イントラフレームから時間的に離れたインターフレームはブロック歪が多いという考えに基づく。イントラ／インター決定部４０３は、決定した各情報を、ブロック歪強度修正部２０５に出力する。
【００７３】
図９は、ＧＯＰ構造の決定を説明するための図である。図９に示す符号５０〜６４は、１つの画像（フレーム）を示す。例えば、フレーム５０、５７、６４が、イントラ／インター決定部４０３により、イントラフレームと決定されたとする。
【００７４】
このとき、イントラ／インター決定部４０３は、ＧＯＰ値をフレーム５０〜５６までの「７」と決定する。
【００７５】
なお、イントラフレーム５７が、フレーム検出部４０１で、第１フレームと検出されなかった場合を考える。また、頻度算出部４０２で算出したヒストグラムの最も多い頻度は、「７」であるとする。
【００７６】
このとき、イントラ／インター決定部４０３は、ブロック歪強度決定部２０２から取得したフレーム毎のブロック歪の強度の平均値を用いて、イントラフレームを決定する。なお、イントラ／インター決定部４０３は、ブロック歪の強度の平均値を算出する際、フレーム内の水平方向又は垂直方向のどちらか一方、又は両方のブロック歪の強度を用いてもよい。イントラ／インター決定部４０３は、ＧＯＰ値を考慮して、イントラフレーム５０とイントラフレーム６４からフレーム５７は、イントラフレームではないかと推定できる。
【００７７】
イントラ／インター決定部４０３は、推定したフレーム５７の直前のフレーム５６とフレーム５７とのブロック歪の強度の平均値が、「大」から「小」に変わっていれば、フレーム５７は、イントラフレームであると決定する。平均値の大小は、例えば閾値より大きければ「大」、閾値より小さければ「小」と判定できる。
【００７８】
図２に戻り、ブロック歪強度修正部２０５について説明する。ブロック歪強度修正部２０５は、取得した水平・垂直方向のブロック歪の強度を、イントラフレームから遠いインターフレームほど、強いデブロッキングフィルタがかかるように、領域毎のブロック歪の強度を修正する。
【００７９】
図１０は、ブロック歪強度修正部２０５の構成の一例を示すブロック図である。図１０に示すブロック歪強度修正部２０５は、平均値／中央値算出部５０１、差分算出部５０２、及び加算部５０３を有する。
【００８０】
平均値／中央値算出部５０１は、各フレーム内に含まれる領域毎のブロック歪の強度の平均値又は中央値を算出する。平均値／中央値算出部５０１は、算出した各フレームの平均値又は中央値を差分算出部５０２に出力する。
【００８１】
差分算出部５０２は、取得した各フレームの平均値又は中央値のうち、最大値と最小値との差分を算出する。差分算出部５０２は、算出した差分値を加算部５０３に出力する。
【００８２】
加算部５０３は、差分算出部５０２から取得した差分値と、ＧＯＰ構造決定部２０４から取得したＧＯＰ構造とに基づいて、ブロック歪の強度を修正する。例えば、以下の式（１）を用いて、加算部５０３は、ブロック歪の強度を修正する。
修正値＝（ｎ×Ｄｉｆｆ）／Ｇ ・・・式（１）
ｎ（＝０，１，２、・・・）：ＧＯＰ構造の最初のフレーム０とした時のフレーム番号
Ｄｉｆｆ：差分値
Ｇ：ＧＯＰ値
加算部５０３は、この修正値を、そのフレームｎの各領域のブロック歪の強度に加算して、ブロック歪の強度を修正する。加算部５０３は、修正したブロック歪の強度をデブロッキングフィルタ部１０８に出力する。
【００８３】
デブロッキングフィルタ部１０８は、水平又は垂直方向のブロック歪の強度を用いて、例えばフィルタオフセット値αを修正する。デブロッキングフィルタ部１０８は、ブロック歪の強度が大きければ、オフセット値αを大きくし、強いデブロッキングフィルタがかかるようにする。
【００８４】
なお、ブロック歪の強度の修正は、必ずしも必要な処理ではなく、ブロック歪強度決定部２０２により決定されたブロック歪の強度を用いて、デブロッキングフィルタ部１０８は、フィルタ処理を行ってもよい。
【００８５】
＜動作＞
次に、実施例１における画像符号化装置１００の動作について説明する。図１１は、実施例１における情報解析処理の一例を示すフローチャートである。
【００８６】
図１１に示すステップＳ１０１で、解析部２０１は、復号画像を取得し、復号画像に対して、所定サイズの領域毎に、水平、垂直方向でケプストラム解析を行う。
【００８７】
ステップＳ１０２で、ブロック歪強度決定部２０２は、水平・垂直方向のケプストラム解析結果を取得し、ケプストラム解析結果のピーク値の大きさに基づいて、ブロック歪の強度を決定する。例えば、ブロック歪強度決定部２０２は、ピーク値の大きさをブロック歪の強度とする。
【００８８】
ステップＳ１０３で、タイプ判定部２０３は、領域毎のケプストラム解析結果のピーク幅をヒストグラム化し、水平及び／又は垂直方向で１６の幅が所定割合以上であるか否かを判定する。タイプ判定部２０３は、１６の幅が所定割合以上あれば、その領域をイントラと判定し、１６の幅が所定割合未満であれば、その領域をインターと判定する。なお、ステップＳ１０２とＳ１０３の処理は、順不同である。
【００８９】
ステップＳ１０４で、ＧＯＰ構造決定部２０４は、領域のタイプと、領域のピーク値の大きさとに基づいて、フレームＧＯＰ構造を決定する。ＧＯＰ構造は、１つのＧＯＰ内のフレーム数（ＧＯＰ値）と、ＧＯＰ内のフレームのイントラ／インタータイプとを含む。
【００９０】
ＧＯＰ構造決定部２０４は、イントラタイプの領域を含む第１フレームを検出し、第１フレームの間隔をヒストグラム化し、最も多い頻度の間隔をＧＯＰ値とする。ＧＯＰ構造決定部２０４は、ＧＯＰ値の間隔に対応する第１フレームをイントラフレームと決定する。
【００９１】
また、ＧＯＰ構造決定部２０４は、ＧＯＰ値と、フレーム内のピーク値の平均値とを用いて、第１フレームではないフレームをイントラフレームとして決定することもできる。これは、前述した通り、イントラフレームから離れるほど、ブロック歪が多くなるという考えを用いて行う。
【００９２】
ステップＳ１０５で、ブロック歪強度修正部２０５は、ブロック歪強度決定部２０２から取得したブロック歪の強度を、ＧＯＰ構造決定部２０４から取得したＧＯＰ構造を用いて修正する。
【００９３】
ブロック歪強度修正部２０５は、例えば、式（１）を用いて各フレームの修正値を算出し、この修正値を、そのフレーム内の領域毎のブロック歪の強度に加算することで、ブロック歪の強度を修正する。
【００９４】
修正したブロック歪の強度は、デブロッキングフィルタ部１０８で、フィルタオフセット値の修正に用いられる。例えば、ブロック歪の強度が大きいほど、フィルタオフセット値αの値を大きくすることで、そのブロックには強いデブロッキンギフィルタ処理がかかるようにする。
【００９５】
以上、実施例１によれば、ケプストラム解析結果のみを用いて、画像符号化に関する特徴を解析することができる。また、実施例１では、ブロック歪の強度をデブロッキングフィルタに用いる例について説明したが、情報解析部１１５で検出されるブロック歪の強度、スライスのタイプ情報、ＧＯＰ構造などは、後段の処理で用いられればよい。
【００９６】
例えば、スライスのタイプ情報やＧＯＰ構造は、再符号化などで用いられてもよいし、ブロック歪の強度は、画像の主観的な画質評価に用いられてもよい。よって、ケプストラム解析結果のみから決定、又は判定される情報は、何れかの後段の処理で用いられればよい。
【００９７】
［実施例２］
図１２は、実施例２における画像符号化装置６００の構成の一例を示すブロック図である。画像符号化装置６００は、上述した実施例１で説明した画像符号化処理をソフトウェアで実装した装置の一例である。
【００９８】
図１２に示すように、画像符号化装置６００は、制御部６０１、主記憶部６０２、補助記憶部６０３、ドライブ装置６０４、ネットワークＩ／Ｆ部６０６、入力部６０７、表示部６０８を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【００９９】
制御部６０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部６０１は、主記憶部６０２又は補助記憶部６０３に記憶されたフィルタ処理を含む画像符号化処理のプログラムを実行する演算装置である。制御部６０１は、入力部６０７や記憶装置からデータを受け取り、演算、加工した上で、表示部６０８や記憶装置などに出力する。
【０１００】
制御部６０１は、情報解析処理を含む画像符号化処理のプログラムを実行することで、各実施例で説明した情報解析処理を実現することができる。
【０１０１】
主記憶部６０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部６０２は、制御部６０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【０１０２】
補助記憶部６０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【０１０３】
ドライブ装置６０４は、記録媒体６０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
【０１０４】
また、記録媒体６０５に、所定のプログラムを格納し、この記録媒体６０５に格納されたプログラムはドライブ装置６０４を介して画像符号化装置６００にインストールされる。インストールされた所定のプログラムは、画像符号化装置６００により実行可能となる。
【０１０５】
ネットワークＩ／Ｆ部６０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像符号化装置６００とのインターフェースである。
【０１０６】
入力部６０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部６０８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部６０７は、ユーザが制御部６０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
【０１０７】
表示部６０８は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等により構成され、制御部６０１から入力される表示データに応じた表示が行われる。
【０１０８】
なお、図１に示す復号画像記憶部１０９は、例えば主記憶部６０２又は補助記憶部６０３により実現され、図１に示す復号画像記憶部１０９以外の構成は、例えば制御部６０１及びワークメモリとしての主記憶部６０２により実現されうる。
【０１０９】
画像符号化装置６００で実行されるプログラムは、実施例１で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部６０１が補助記憶部６０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部６０２上にロードされ、１又は複数の各部が主記憶部６０２上に生成されるようになっている。
【０１１０】
このように、上述した実施例１で説明した情報解析処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した情報解析処理を実現することができる。
【０１１１】
また、このプログラムを記録媒体６０５に記録し、このプログラムが記録された記録媒体６０５をコンピュータや携帯端末に読み取らせて、前述した情報解析処理を実現させることも可能である。なお、記録媒体６０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【０１１２】
なお、実施例では、画像符号化装置を例にして説明したが、画像復号装置でも同様に情報解析処理を適用することができる。画像符号化装置及び画像復号装置をまとめて画像処理装置と呼ぶ。
【０１１３】
画像処理装置で実行されるプログラムは、前述した各部を含むモジュール構成となっており、実際のハードウェアとしては制御部６０１が補助記憶部６０４からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部６０２上にロードされ、１又は複数の各部が主記憶部６０２上に生成されるようになっている。
【０１１４】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。
【符号の説明】
【０１１５】
１００、６００ 画像符号化装置
１０１ 予測画像生成部
１０２ 直交変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ 逆量子化部
１０６ 逆直交変換部
１０７ 復号画像生成部
１０８ デブロッキングフィルタ部
１０９ 復号画像記憶部
１１０ イントラ予測部
１１１ インター予測部
１１２ 動きベクトル計算部
１１３ 符号化制御及びヘッダ生成部
１１４ 予測画像選択部
２０１ 解析部
２０２ ブロック歪強度決定部
２０３ タイプ判定部
２０４ ＧＯＰ構造決定部
２０５ ブロック歪強度修正部
３０１ 頻度算出部
３０２ イントラ／インター判定部
４０１ フレーム検出部
４０２ 頻度算出部
４０３ イントラ／インター決定部
５０１ 平均値／中央値算出部
５０２ 差分算出部
５０３ 加算部
６０１ 制御部
６０２ 主記憶部
６０３ 補助記憶部
６０４ ドライブ装置
６０６ ネットワークＩ／Ｆ部
６０７ 入力部
６０８ 表示部
【技術分野】
【０００１】
本発明は、復号画像にケプストラム解析を行う画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、復号画像に対してケプストラム解析を行い、ブロック歪を有する画像の評価を行う技術があった。
【０００３】
例えば、先頭輝度値を変更し、ケプストラムピークを強調することで、高ビットレートでのブロック歪を検出することができる方法がある（非特許文献１）。また、ケプストラム解析結果を用いる技術として、画像ブロック境界を検出し、再符号化に用いる技術がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−３２８２９号公報
【非特許文献】
【０００５】
【非特許文献１】小松俊介他，「ブロック歪を有する画像信号のケプストラム分析」，電子情報通信学会技術報告，ＩＴ９４，ｐ．２１−２４，１９９４年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術では、ブロック歪位相を測定するためにケプストラム解析を行っている。ただし、従来技術は、画像内を詳細に解析するものではないため、ブロック歪の強度を測定することはできない。また、ピクチャタイプの判定やＧＯＰ構造の判定には、別途符号化器が必要になり、処理が煩雑になってしまうという問題点があった。
【０００７】
そこで、本発明は、上記課題に鑑みてなされたものであり、ケプストラム解析結果のみを用いて、画像符号化に関する特徴を解析することができる画像処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様における画像処理装置は、復号画像に対し、所定サイズの領域毎にケプストラム解析を行う解析部と、前記解析部により解析された解析結果のピーク値の大きさに基づいて、ブロック歪の強度を決定するブロック歪強度決定部と、を備える。
【０００９】
また、画像処理装置は、前記解析結果のピーク幅の頻度に基づいて、前記領域がイントラタイプかインタータイプかを判定するタイプ判定部をさらに備えてもよい。
【００１０】
また、画像処理装置は、前記タイプ判定部によりイントラタイプと判定された領域を含む第１フレームを検出し、前記第１フレームの間隔のうち、最も多い頻度の間隔をＧＯＰのフレーム数と決定するＧＯＰ構造決定部をさらに備えてもよい。
【００１１】
また、前記ＧＯＰ構造決定部は、前記ピーク値の大きさの平均値をフレーム毎に求め、前記平均値の時間方向の変化と前記ＧＯＰのフレーム数とに基づいて、イントラフレームを決定してもよい。
【００１２】
また、画像処理装置は、前記ＧＯＰ構造決定部により決定されたＧＯＰの構造と、前記ブロック歪強度決定部により決定された各フレームのブロック歪の強度の平均値又は中央値とを用いて、前記各フレームに含まれる領域毎のブロック歪の強度を修正するブロック歪強度修正部とをさらに備えてもよい。
【００１３】
また、前記ブロック歪強度修正部は、１つのＧＯＰ内において、各フレーム内に含まれる領域毎のブロック歪の強度の平均値又は中央値を算出する第１算出部と、前記第１算出部により算出された平均値又は中央値の最大値と最小値との差分を算出する第２算出部と、前記第２算出部により算出された差分を、ＧＯＰ内のフレームの位置に応じて重み付けし、重み付けされた差分を、該フレームの領域毎のブロック歪の強度に加算する加算部とを備えてもよい。
【００１４】
また前記解析部は、前記所定サイズを、前記解析結果のピーク値の幅が均一になるまで前記復号画像のサイズから徐々に小さくしてもよい。
【００１５】
また、画像処理装置は、前記ブロック歪の強度に応じて修正したフィルタオフセット値を用いてデブロッキングフィルタ処理を行うデブロッキングフィルタ部をさらに備えてもよい。
【００１６】
また、本発明の他の態様におけるプログラムは、復号画像に対し、所定サイズの領域毎にケプストラム解析を行う解析ステップと、前記解析ステップで解析された解析結果のピーク値の大きさに基づいて、ブロック歪の強度を決定するブロック歪強度決定ステップとをコンピュータに実行させる。
【発明の効果】
【００１７】
本発明によれば、ケプストラム解析結果のみを用いて、画像符号化に関する特徴を解析することができる。
【図面の簡単な説明】
【００１８】
【図１】実施例１における画像符号化装置の概略構成の一例を示すブロック図。
【図２】情報解析部の構成の一例を示すブロック図。
【図３】ケプストラム解析結果（その１）の一例を示す図。
【図４】ケプストラム解析結果（その２）の一例を示す図。
【図５】所定サイズの変化の一例を示す図。
【図６】タイプ判定部の構成の一例を示すブロック図。
【図７】画像内のタイプの一例を示す図。
【図８】ＧＯＰ構造決定部の構成の一例を示すブロック図。
【図９】ＧＯＰ構造の決定を説明するための図。
【図１０】ブロック歪強度修正部の構成の一例を示すブロック図。
【図１１】実施例１における情報解析処理の一例を示すフローチャート。
【図１２】実施例２における画像符号化装置の構成の一例を示すブロック図。
【発明を実施するための形態】
【００１９】
以下、添付図面を参照しながら各実施例について詳細に説明する。なお、各実施例で説明するケプストラム解析結果から求められた各情報は、様々な用途で用いることができるが、以下では、デブロッキングフィルタに用いる例について説明する。
【００２０】
［実施例１］
＜構成＞
図１は、実施例１における画像符号化装置１００の概略構成の一例を示すブロック図である。図２に示す例では、画像符号化装置１００は、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、デブロッキングフィルタ部１０８、復号画像記憶部１０９、イントラ予測部１１０、インター予測部１１１、動きベクトル計算部１１２、符号化制御及びヘッダ生成部１１３、予測画像選択部１１４、及び情報解析部１１５を有する。各部についての概略を以下に説明する。
【００２１】
予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像が、例えば１６×１６画素のブロックに分割されたブロックデータを取得する。
【００２２】
予測誤差信号生成部１０１は、そのブロックデータと、予測画像選択部１１４から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に出力する。
【００２３】
直交変換部１０２は、入力された予測誤差信号を直交変換処理する。直交変換部１０２は、直交変換処理によって水平及び垂直方向の周波数成分に分離された信号を量子化部１０３に出力する。
【００２４】
量子化部１０３は、直交変換部１０２からの出力信号を量子化する。量子化部１０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。
【００２５】
エントロピー符号化部１０４は、量子化部１０３からの出力信号や動きベクトル計算部１１２から取得する動きベクトル情報をエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。
【００２６】
逆量子化部１０５は、量子化部１０３からの出力信号を逆量子化してから逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化部１０５からの出力信号を逆直交変換処理してから復号画像生成部１０７に出力する。これら逆量子化部１０５及び逆直交変換部１０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。
【００２７】
復号画像生成部１０７は、インター予測部１１１で動き補償された画像のブロックデータと、逆量子化部１０５及び逆直交変換部１０６により復号処理された予測誤差信号とを加算する。復号画像生成部１０７は、加算して生成した復号画像のブロックデータを、情報解析部１１５及びデブロッキングフィルタ部１０８に出力する。
【００２８】
情報解析部１１５は、復号画像に対して、所定サイズの領域毎にケプストラム解析を行い、ケプストラム解析結果から各種の情報を検出する。各種の情報は、例えばブロック歪の強度を含む。情報解析部１１５は、例えば、ブロック歪の強度をデブロッキングフィルタ部１０８に出力する。情報解析部１１５の詳細は、図２を用いて後述する。
【００２９】
デブロッキングフィルタ部１０８は、復号画像生成部１０７から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、復号画像記憶部１０９に出力する。このとき、デブロッキングフィルタ部１０８は、情報解析部１１５から取得したブロック歪の強度を用いてフィルタ強度を変更する。
【００３０】
復号画像記憶部１０９は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部１１０、インター予測部１１１及び動きベクトル計算部１１２に出力する。
【００３１】
イントラ予測部１１０は、符号化対象画像の処理対象ブロックに対して、すでに符号化された参照画素から予測画像を生成する。
【００３２】
インター予測部１１１は、復号画像記憶部１０９から取得した参照画像のデータを動きベクトル計算部１１２から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。
【００３３】
動きベクトル計算部１１２は、符号化対象画像におけるブロックデータと、復号画像記憶部１０９から取得する参照画像とを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。動きベクトル計算部１１２は、求めた動きベクトルをインター予測部１１１に出力し、動きベクトルや参照画像の位置の情報を含む動きベクトル情報をエントロピー符号化部１０４に出力する。
【００３４】
イントラ予測部１１０とインター予測部１１１から出力されたブロックデータは、予測画像選択部１１４に入力される。
【００３５】
予測画像選択部１１４は、イントラ予測部１１０とインター予測部１１１から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部１０１に出力される。
【００３６】
また、符号化制御及びヘッダ生成部１１３について、符号化の全体制御とヘッダ生成を行う。符号化制御及びヘッダ生成部１１３は、イントラ予測部１１０に対して、スライス分割有無の通知、デブロッキングフィルタ部１０８に対して、デブロッキングフィルタ有無の通知、動きベクトル計算部１１２に対して参照画像の制限通知などを行う。
【００３７】
符号化制御及びヘッダ生成部１１３は、その制御結果を用いて、例えばＨ．２６４／ＡＶＣのヘッダ情報を生成する。生成されたヘッダ情報は、エントロピー符号化部１０４に出力され、画像データ、動きベクトルデータとともにストリームとして出力される。
【００３８】
＜情報解析部の構成＞
次に、情報解析部１１５の構成について説明する。図２は、情報解析部１１５の構成の一例を示すブロック図である。図２に示す情報解析部１１５は、解析部２０１、ブロック歪強度決定部２０２、タイプ判定部２０３、ＧＯＰ構造決定部２０４、及びブロック歪強度修正部２０５を有する。
【００３９】
解析部２０１は、復号画像生成部１０７から復号画像を順に取得し、復号画像の所定サイズの領域毎にケプストラム解析を行う。所定サイズは例えば、マクロブロックを含むサイズの６４×６４などである。また、解析部２０１は、所定の条件を満たすまで、所定サイズを画像サイズから順に小さくするようにしてもよい。これは、図５を用いて後述する。
【００４０】
解析部２０１は、領域毎に、水平・垂直方向毎に１次元でケプストラム解析を行う。例えば、解析部２０１は、水平方向のケプストラム解析を行う場合、領域内の各行についてケプストラム解析を行い、各行の解析結果の平均を計算する。これにより、解析部２０１は、この領域の水平方向のケプストラム解析結果を得る。垂直方向も同様に行われる。
【００４１】
水平・垂直方向のケプストラム解析は、公知の技術、例えば非特許文献１に記載されている技術を用いればよい。また、解析部２０１は、水平・垂直方向毎の解析結果の二乗平均から和の平方根をとり、総合ケプストラムを算出してもよい。
【００４２】
図３は、ケプストラム解析結果（その１）の一例を示す図である。図３は、例えば、イントラブロックを含む領域に対して、水平方向にケプストラム解析を行った結果を示す。イントラブロックとは、例えば、画面内予測が行われるマクロブロックを言う。
【００４３】
図３に示すように、イントラブロックを含む領域では、解析結果のピークの幅は、ほぼ均一になる。イントラブロックでは、動き補償がないため、ブロック境界の規則性が保たれるからである。
【００４４】
図４は、ケプストラム解析結果（その２）の一例を示す図である。図４は、例えば、イントラブロックと、インターブロックを含む領域に対して、水平方向にケプストラム解析を行った結果を示す。インターブロックとは、例えば、画面間予測が行われるマクロブロックを言う。
【００４５】
図４に示すように、イントラブロックとインターブロックを含む領域では、極大のピークに対して小さいピークが多く現れる。インターブロックでは動き補償があるため、ブロックの境界が動きベクトルにより移動するためである。
【００４６】
よって、イントラブロックとインターブロックを含む領域の解析結果は、イントラブロックを含む領域の解析結果に比べて、極大のピーク以外でピークが多く発生する。
【００４７】
次に、解析部２０１は、領域の所定サイズを、所定条件を満たすまで小さくしながら、ケプストラム解析を行うようにしてもよい。例えば、所定サイズは、復号画像のサイズから、次々に半分のサイズにしていく。
【００４８】
図５は、所定サイズの変化の一例を示す図である。図５に示す復号画像１１を含む所定サイズ２０を用いて解析部２０１は、解析を行う。所定サイズ２０は、復号画像１１よりも少し大きいサイズにしておくとよい。
【００４９】
次に、解析部２０１は、この所定サイズ２０の領域での水平・垂直方向の解析結果が、図３に示すような解析結果でなければ、所定サイズ２０の縦横を２で除算し、所定サイズ２１にする。図３に示すような解析結果とは、ピーク幅が均一であることを示す。図４は、小さいピークを含めると、ピーク幅は不均一である。ここで、所定条件は、例えば、ピーク幅が均一であることである。
【００５０】
次に、解析部２０１は、この所定サイズ２１の領域での水平・垂直方向の解析結果が、図３に示すような解析結果でなければ、所定サイズ２１の縦横を２で除算し、所定サイズ２２にする。以下、解析部２０１は、所定サイズの領域の解析結果のピーク幅が、何れかの領域で均一になるまで、所定サイズを小さくする。所定サイズの下限は、例えば、マクロブロックサイズとする。
【００５１】
つまり、解析部２０１は、分割された複数の領域のうち、１つの領域で水平・垂直方向の解析結果が両方とも所定の条件を満たすまで、所定サイズを小さくしていく。解析部２０１は、最終的に解析された解析結果をブロック歪強度決定部２０２及びタイプ判定部２０３に出力する。
【００５２】
なお、解析部２０１は、画像符号化技術が、例えばＨ．２６４／ＡＶＣのように１つのフレーム内でスライス分割できる場合に、所定サイズを変える方法を用いるとよい。なぜなら、１つのフレーム内にイントラスライスとインタースライスが含まれる場合、予め設定されたサイズの領域で、解析結果のピーク幅が全て均一になるとは限らないからである。解析部２０１は、所定サイズを徐々に小さくしていくことで、イントラブロックを含む領域が特定され、イントラスライスの位置が特定されやすくする。
【００５３】
また、画像符号化技術が、例えばＭＰＥＧ２などのように、１つのフレームで、イントラ、インタータイプが決まる場合は、領域の所定サイズは予め設定されておいてもよい。
【００５４】
図２に戻り、ブロック歪強度決定部２０２について説明する。ブロック歪強度決定部２０２は、解析部２０１から取得した解析結果のピーク値の大きさに基づいて、ブロック歪の強度を決定する。
【００５５】
ブロック歪強度決定部２０２は、例えば、水平方向のケプストラムの全要素値についてｋ−ｍｅａｎｓ法のｋ＝２でクラスタリングを行い、クラスタ中心値の大きい方のクラスタの平均値又は中央値を水平方向のピーク値とする。ブロック歪強度決定部２０２は、垂直方向についても同様に行う。
【００５６】
ブロック歪強度決定部２０２は、例えば、各ブロック境界のピーク値の大きさを、ブロック歪の強度として決定する。ブロック歪決定部２０２は、決定した水平・垂直方向のブロック歪の強度をＧＯＰ構造決定部２０４及びブロック歪強度修正部２０５に出力する。
【００５７】
タイプ判定部２０３は、領域毎のケプストラム解析結果を解析部２０１から取得し、各領域のタイプを、インターかイントラかを判定する。ここで、前述したが、イントラスライスの場合は、ブロック歪が均等に並ぶため、ケプストラムのピーク幅は均一となる。一方、インタースライスの場合は、動き補償によりブロック歪が不均一に並ぶため、ケプストラムのピーク幅は不均一となる。
【００５８】
図６は、タイプ判定部２０３の構成の一例を示すブロック図である。図６に示すタイプ判定部２０３は、頻度算出部３０１、及びイントラ／インター判定部３０２を有する。
【００５９】
頻度算出部３０１は、領域毎に、水平・垂直方向のケプストラム解析結果のピーク幅の頻度を算出し、ピーク幅のヒストグラムを生成する。頻度算出部３０１は、生成したヒストグラムをイントラ／インター判定部３０２に出力する。
【００６０】
イントラ／インター判定部３０２は、水平・垂直方向のヒストグラムで、符号化でよく用いられる（マクロ）ブロックサイズの１６の頻度が全体に占める所定割合以上であれば、この領域をイントラと判定する。所定割合は、例えば８５％とする。
【００６１】
また、イントラ／インター判定部３０２は、ブロックサイズの１６の頻度が所定割合未満であれば、この領域をインターとする。イントラ／インター判定部３０２は、判定したタイプを領域に関連付けてＧＯＰ構造決定部２０４に出力する。タイプ判定部２０３は、ヒストグラムの生成と、タイプ判定とを全ての領域に対して行う。
【００６２】
図７は、画像内のタイプの一例を示す図である。図７に示す１つの画像１１内の領域３０がイントラと判定された各領域を含み、領域３１がインターと判定された各領域を含む。領域３０は、例えばイントラスライスに対応し、領域３１は、インタースライスに対応する。このように、イントラ／インター判定部３０２は、スライス位置と、そのスライスのタイプを判定することができる。
【００６３】
図２に戻り、ＧＯＰ構造決定部２０４について説明する。まず、先見知識として、一般の符号化では、イントラスライスは一定間隔で存在する。さらにイントラスライスに対して、後のインタースライスは、距離が遠くなるほど画質が劣化してブロック歪が多くなる可能性が高い。また、符号化の設定にも関係するが、Ｐスライスに対してＢスライスの方が画質が悪く、ブロック歪も多くなる可能性が高い。
【００６４】
ＧＯＰ構造決定部２０４は、この先見知識を用いて、ブロック歪強度決定部２０２から取得したブロック歪強度と、タイプ判定部２０３から取得した領域毎のタイプとに基づいて、ＧＯＰ構造を決定する。
【００６５】
図８は、ＧＯＰ構造決定部２０４の構成の一例を示すブロック図である。図８に示すＧＯＰ構造決定部２０４は、フレーム検出部４０１、頻度算出部４０２、イントラ／インター決定部４０３を有する。
【００６６】
フレーム検出部４０１は、イントラと関連付けられた領域又はイントラスライスを含む第１フレームを検出する。フレーム検出部４０１は、検出した第１フレームを頻度算出部４０２に通知する。
【００６７】
頻度算出部４０２は、フレーム検出部４０１から通知された第１フレームの間隔を算出し、第１フレームの間隔のヒストグラムを生成する。頻度算出部４０２は、算出したヒストグラムをイントラ／インター決定部４０３に出力する。
【００６８】
イントラ／インター決定部４０３は、頻度算出部４０２から取得したヒストグラムで最も多い頻度の間隔値を、ＧＯＰのフレーム数（ＧＯＰ値と呼ぶ。）と決定する。また、イントラ／インター決定部４０３は、第１フレームの間隔を調べ、決定したＧＯＰ値に一致する間隔を有するフレームをイントラフレームと決定する。また、イントラ／インター決定部４０３は、イントラフレームと決定したフレーム以外のフレームを、インターフレームと決定する。
【００６９】
なお、イントラ／インター決定部４０３は、例えば、フレーム毎の水平・垂直方向のピーク値の大きさの平均値に対する時間方向の変化に基づいて、イントラフレームを決定してもよい。これは、第１フレームと検出されるはずのフレームが検出されていなくても、ＧＯＰ値とフレームのピーク値の平均を考慮すれば、イントラフレームを検出することができる。
【００７０】
ここで、イントラフレームが存在する位置に第１フレームが検出されなかった場合に、その位置のフレームを第２フレームと呼ぶ。第２フレームがイントラフレームであるか否かの判定に、ピーク値の平均値とＧＯＰ値とが用いられる。
【００７１】
イントラ／インター決定部４０３は、まず、ＧＯＰ値に基づき、第２フレームを検出する。イントラ／インター決定部４０３は、第２フレームの直前のフレームと第２フレームとの解析結果のピーク値の大きさの平均値が、大から小に変わっていれば、第２フレームは、イントラフレームと決定する。
【００７２】
これは、イントラフレームではブロック歪は少なく、イントラフレームから時間的に離れたインターフレームはブロック歪が多いという考えに基づく。イントラ／インター決定部４０３は、決定した各情報を、ブロック歪強度修正部２０５に出力する。
【００７３】
図９は、ＧＯＰ構造の決定を説明するための図である。図９に示す符号５０〜６４は、１つの画像（フレーム）を示す。例えば、フレーム５０、５７、６４が、イントラ／インター決定部４０３により、イントラフレームと決定されたとする。
【００７４】
このとき、イントラ／インター決定部４０３は、ＧＯＰ値をフレーム５０〜５６までの「７」と決定する。
【００７５】
なお、イントラフレーム５７が、フレーム検出部４０１で、第１フレームと検出されなかった場合を考える。また、頻度算出部４０２で算出したヒストグラムの最も多い頻度は、「７」であるとする。
【００７６】
このとき、イントラ／インター決定部４０３は、ブロック歪強度決定部２０２から取得したフレーム毎のブロック歪の強度の平均値を用いて、イントラフレームを決定する。なお、イントラ／インター決定部４０３は、ブロック歪の強度の平均値を算出する際、フレーム内の水平方向又は垂直方向のどちらか一方、又は両方のブロック歪の強度を用いてもよい。イントラ／インター決定部４０３は、ＧＯＰ値を考慮して、イントラフレーム５０とイントラフレーム６４からフレーム５７は、イントラフレームではないかと推定できる。
【００７７】
イントラ／インター決定部４０３は、推定したフレーム５７の直前のフレーム５６とフレーム５７とのブロック歪の強度の平均値が、「大」から「小」に変わっていれば、フレーム５７は、イントラフレームであると決定する。平均値の大小は、例えば閾値より大きければ「大」、閾値より小さければ「小」と判定できる。
【００７８】
図２に戻り、ブロック歪強度修正部２０５について説明する。ブロック歪強度修正部２０５は、取得した水平・垂直方向のブロック歪の強度を、イントラフレームから遠いインターフレームほど、強いデブロッキングフィルタがかかるように、領域毎のブロック歪の強度を修正する。
【００７９】
図１０は、ブロック歪強度修正部２０５の構成の一例を示すブロック図である。図１０に示すブロック歪強度修正部２０５は、平均値／中央値算出部５０１、差分算出部５０２、及び加算部５０３を有する。
【００８０】
平均値／中央値算出部５０１は、各フレーム内に含まれる領域毎のブロック歪の強度の平均値又は中央値を算出する。平均値／中央値算出部５０１は、算出した各フレームの平均値又は中央値を差分算出部５０２に出力する。
【００８１】
差分算出部５０２は、取得した各フレームの平均値又は中央値のうち、最大値と最小値との差分を算出する。差分算出部５０２は、算出した差分値を加算部５０３に出力する。
【００８２】
加算部５０３は、差分算出部５０２から取得した差分値と、ＧＯＰ構造決定部２０４から取得したＧＯＰ構造とに基づいて、ブロック歪の強度を修正する。例えば、以下の式（１）を用いて、加算部５０３は、ブロック歪の強度を修正する。
修正値＝（ｎ×Ｄｉｆｆ）／Ｇ ・・・式（１）
ｎ（＝０，１，２、・・・）：ＧＯＰ構造の最初のフレーム０とした時のフレーム番号
Ｄｉｆｆ：差分値
Ｇ：ＧＯＰ値
加算部５０３は、この修正値を、そのフレームｎの各領域のブロック歪の強度に加算して、ブロック歪の強度を修正する。加算部５０３は、修正したブロック歪の強度をデブロッキングフィルタ部１０８に出力する。
【００８３】
デブロッキングフィルタ部１０８は、水平又は垂直方向のブロック歪の強度を用いて、例えばフィルタオフセット値αを修正する。デブロッキングフィルタ部１０８は、ブロック歪の強度が大きければ、オフセット値αを大きくし、強いデブロッキングフィルタがかかるようにする。
【００８４】
なお、ブロック歪の強度の修正は、必ずしも必要な処理ではなく、ブロック歪強度決定部２０２により決定されたブロック歪の強度を用いて、デブロッキングフィルタ部１０８は、フィルタ処理を行ってもよい。
【００８５】
＜動作＞
次に、実施例１における画像符号化装置１００の動作について説明する。図１１は、実施例１における情報解析処理の一例を示すフローチャートである。
【００８６】
図１１に示すステップＳ１０１で、解析部２０１は、復号画像を取得し、復号画像に対して、所定サイズの領域毎に、水平、垂直方向でケプストラム解析を行う。
【００８７】
ステップＳ１０２で、ブロック歪強度決定部２０２は、水平・垂直方向のケプストラム解析結果を取得し、ケプストラム解析結果のピーク値の大きさに基づいて、ブロック歪の強度を決定する。例えば、ブロック歪強度決定部２０２は、ピーク値の大きさをブロック歪の強度とする。
【００８８】
ステップＳ１０３で、タイプ判定部２０３は、領域毎のケプストラム解析結果のピーク幅をヒストグラム化し、水平及び／又は垂直方向で１６の幅が所定割合以上であるか否かを判定する。タイプ判定部２０３は、１６の幅が所定割合以上あれば、その領域をイントラと判定し、１６の幅が所定割合未満であれば、その領域をインターと判定する。なお、ステップＳ１０２とＳ１０３の処理は、順不同である。
【００８９】
ステップＳ１０４で、ＧＯＰ構造決定部２０４は、領域のタイプと、領域のピーク値の大きさとに基づいて、フレームＧＯＰ構造を決定する。ＧＯＰ構造は、１つのＧＯＰ内のフレーム数（ＧＯＰ値）と、ＧＯＰ内のフレームのイントラ／インタータイプとを含む。
【００９０】
ＧＯＰ構造決定部２０４は、イントラタイプの領域を含む第１フレームを検出し、第１フレームの間隔をヒストグラム化し、最も多い頻度の間隔をＧＯＰ値とする。ＧＯＰ構造決定部２０４は、ＧＯＰ値の間隔に対応する第１フレームをイントラフレームと決定する。
【００９１】
また、ＧＯＰ構造決定部２０４は、ＧＯＰ値と、フレーム内のピーク値の平均値とを用いて、第１フレームではないフレームをイントラフレームとして決定することもできる。これは、前述した通り、イントラフレームから離れるほど、ブロック歪が多くなるという考えを用いて行う。
【００９２】
ステップＳ１０５で、ブロック歪強度修正部２０５は、ブロック歪強度決定部２０２から取得したブロック歪の強度を、ＧＯＰ構造決定部２０４から取得したＧＯＰ構造を用いて修正する。
【００９３】
ブロック歪強度修正部２０５は、例えば、式（１）を用いて各フレームの修正値を算出し、この修正値を、そのフレーム内の領域毎のブロック歪の強度に加算することで、ブロック歪の強度を修正する。
【００９４】
修正したブロック歪の強度は、デブロッキングフィルタ部１０８で、フィルタオフセット値の修正に用いられる。例えば、ブロック歪の強度が大きいほど、フィルタオフセット値αの値を大きくすることで、そのブロックには強いデブロッキンギフィルタ処理がかかるようにする。
【００９５】
以上、実施例１によれば、ケプストラム解析結果のみを用いて、画像符号化に関する特徴を解析することができる。また、実施例１では、ブロック歪の強度をデブロッキングフィルタに用いる例について説明したが、情報解析部１１５で検出されるブロック歪の強度、スライスのタイプ情報、ＧＯＰ構造などは、後段の処理で用いられればよい。
【００９６】
例えば、スライスのタイプ情報やＧＯＰ構造は、再符号化などで用いられてもよいし、ブロック歪の強度は、画像の主観的な画質評価に用いられてもよい。よって、ケプストラム解析結果のみから決定、又は判定される情報は、何れかの後段の処理で用いられればよい。
【００９７】
［実施例２］
図１２は、実施例２における画像符号化装置６００の構成の一例を示すブロック図である。画像符号化装置６００は、上述した実施例１で説明した画像符号化処理をソフトウェアで実装した装置の一例である。
【００９８】
図１２に示すように、画像符号化装置６００は、制御部６０１、主記憶部６０２、補助記憶部６０３、ドライブ装置６０４、ネットワークＩ／Ｆ部６０６、入力部６０７、表示部６０８を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【００９９】
制御部６０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部６０１は、主記憶部６０２又は補助記憶部６０３に記憶されたフィルタ処理を含む画像符号化処理のプログラムを実行する演算装置である。制御部６０１は、入力部６０７や記憶装置からデータを受け取り、演算、加工した上で、表示部６０８や記憶装置などに出力する。
【０１００】
制御部６０１は、情報解析処理を含む画像符号化処理のプログラムを実行することで、各実施例で説明した情報解析処理を実現することができる。
【０１０１】
主記憶部６０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部６０２は、制御部６０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【０１０２】
補助記憶部６０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【０１０３】
ドライブ装置６０４は、記録媒体６０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
【０１０４】
また、記録媒体６０５に、所定のプログラムを格納し、この記録媒体６０５に格納されたプログラムはドライブ装置６０４を介して画像符号化装置６００にインストールされる。インストールされた所定のプログラムは、画像符号化装置６００により実行可能となる。
【０１０５】
ネットワークＩ／Ｆ部６０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像符号化装置６００とのインターフェースである。
【０１０６】
入力部６０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部６０８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部６０７は、ユーザが制御部６０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
【０１０７】
表示部６０８は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等により構成され、制御部６０１から入力される表示データに応じた表示が行われる。
【０１０８】
なお、図１に示す復号画像記憶部１０９は、例えば主記憶部６０２又は補助記憶部６０３により実現され、図１に示す復号画像記憶部１０９以外の構成は、例えば制御部６０１及びワークメモリとしての主記憶部６０２により実現されうる。
【０１０９】
画像符号化装置６００で実行されるプログラムは、実施例１で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部６０１が補助記憶部６０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部６０２上にロードされ、１又は複数の各部が主記憶部６０２上に生成されるようになっている。
【０１１０】
このように、上述した実施例１で説明した情報解析処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した情報解析処理を実現することができる。
【０１１１】
また、このプログラムを記録媒体６０５に記録し、このプログラムが記録された記録媒体６０５をコンピュータや携帯端末に読み取らせて、前述した情報解析処理を実現させることも可能である。なお、記録媒体６０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【０１１２】
なお、実施例では、画像符号化装置を例にして説明したが、画像復号装置でも同様に情報解析処理を適用することができる。画像符号化装置及び画像復号装置をまとめて画像処理装置と呼ぶ。
【０１１３】
画像処理装置で実行されるプログラムは、前述した各部を含むモジュール構成となっており、実際のハードウェアとしては制御部６０１が補助記憶部６０４からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部６０２上にロードされ、１又は複数の各部が主記憶部６０２上に生成されるようになっている。
【０１１４】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。
【符号の説明】
【０１１５】
１００、６００ 画像符号化装置
１０１ 予測画像生成部
１０２ 直交変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ 逆量子化部
１０６ 逆直交変換部
１０７ 復号画像生成部
１０８ デブロッキングフィルタ部
１０９ 復号画像記憶部
１１０ イントラ予測部
１１１ インター予測部
１１２ 動きベクトル計算部
１１３ 符号化制御及びヘッダ生成部
１１４ 予測画像選択部
２０１ 解析部
２０２ ブロック歪強度決定部
２０３ タイプ判定部
２０４ ＧＯＰ構造決定部
２０５ ブロック歪強度修正部
３０１ 頻度算出部
３０２ イントラ／インター判定部
４０１ フレーム検出部
４０２ 頻度算出部
４０３ イントラ／インター決定部
５０１ 平均値／中央値算出部
５０２ 差分算出部
５０３ 加算部
６０１ 制御部
６０２ 主記憶部
６０３ 補助記憶部
６０４ ドライブ装置
６０６ ネットワークＩ／Ｆ部
６０７ 入力部
６０８ 表示部
【特許請求の範囲】
【請求項１】
復号画像に対し、所定サイズの領域毎にケプストラム解析を行う解析部と、
前記解析部により解析された解析結果のピーク値の大きさに基づいて、ブロック歪の強度を決定するブロック歪強度決定部と、
を備える画像処理装置。
【請求項２】
前記解析結果のピーク幅の頻度に基づいて、前記領域がイントラタイプかインタータイプかを判定するタイプ判定部をさらに備える請求項１記載の画像処理装置。
【請求項３】
前記タイプ判定部によりイントラタイプと判定された領域を含む第１フレームを検出し、前記第１フレームの間隔のうち、最も多い頻度の間隔をＧＯＰのフレーム数と決定するＧＯＰ構造決定部をさらに備える請求項２記載の画像処理装置。
【請求項４】
前記ＧＯＰ構造決定部は、
前記ピーク値の大きさの平均値をフレーム毎に求め、前記平均値の時間方向の変化と前記ＧＯＰのフレーム数とに基づいて、イントラフレームを決定する請求項３記載の画像処理装置。
【請求項５】
前記ＧＯＰ構造決定部により決定されたＧＯＰの構造と、前記ブロック歪強度決定部により決定された各フレームのブロック歪の強度の平均値又は中央値とを用いて、前記各フレームに含まれる領域毎のブロック歪の強度を修正するブロック歪強度修正部をさらに備える請求項３又は４記載の画像処理装置。
【請求項６】
前記ブロック歪強度修正部は、
１つのＧＯＰ内において、各フレーム内に含まれる領域毎のブロック歪の強度の平均値又は中央値を算出する第１算出部と、
前記第１算出部により算出された平均値又は中央値の最大値と最小値との差分を算出する第２算出部と、
前記第２算出部により算出された差分を、ＧＯＰ内のフレームの位置に応じて重み付けし、重み付けされた差分を、該フレームの領域毎のブロック歪の強度に加算する加算部とを備える請求項５記載の画像処理装置。
【請求項７】
前記解析部は、
前記所定サイズを、前記解析結果のピーク値の幅が均一になるまで前記復号画像のサイズから徐々に小さくする請求項1乃至６いずれか一項に記載の画像処理装置。
【請求項８】
前記ブロック歪の強度に応じて修正したフィルタオフセット値を用いてデブロッキングフィルタ処理を行うデブロッキングフィルタ部をさらに備える請求項１乃至７いずれか一項に記載の画像処理装置。
【請求項９】
復号画像に対し、所定サイズの領域毎にケプストラム解析を行う解析ステップと、
前記解析ステップで解析された解析結果のピーク値の大きさに基づいて、ブロック歪の強度を決定するブロック歪強度決定ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
復号画像に対し、所定サイズの領域毎にケプストラム解析を行う解析部と、
前記解析部により解析された解析結果のピーク値の大きさに基づいて、ブロック歪の強度を決定するブロック歪強度決定部と、
を備える画像処理装置。
【請求項２】
前記解析結果のピーク幅の頻度に基づいて、前記領域がイントラタイプかインタータイプかを判定するタイプ判定部をさらに備える請求項１記載の画像処理装置。
【請求項３】
前記タイプ判定部によりイントラタイプと判定された領域を含む第１フレームを検出し、前記第１フレームの間隔のうち、最も多い頻度の間隔をＧＯＰのフレーム数と決定するＧＯＰ構造決定部をさらに備える請求項２記載の画像処理装置。
【請求項４】
前記ＧＯＰ構造決定部は、
前記ピーク値の大きさの平均値をフレーム毎に求め、前記平均値の時間方向の変化と前記ＧＯＰのフレーム数とに基づいて、イントラフレームを決定する請求項３記載の画像処理装置。
【請求項５】
前記ＧＯＰ構造決定部により決定されたＧＯＰの構造と、前記ブロック歪強度決定部により決定された各フレームのブロック歪の強度の平均値又は中央値とを用いて、前記各フレームに含まれる領域毎のブロック歪の強度を修正するブロック歪強度修正部をさらに備える請求項３又は４記載の画像処理装置。
【請求項６】
前記ブロック歪強度修正部は、
１つのＧＯＰ内において、各フレーム内に含まれる領域毎のブロック歪の強度の平均値又は中央値を算出する第１算出部と、
前記第１算出部により算出された平均値又は中央値の最大値と最小値との差分を算出する第２算出部と、
前記第２算出部により算出された差分を、ＧＯＰ内のフレームの位置に応じて重み付けし、重み付けされた差分を、該フレームの領域毎のブロック歪の強度に加算する加算部とを備える請求項５記載の画像処理装置。
【請求項７】
前記解析部は、
前記所定サイズを、前記解析結果のピーク値の幅が均一になるまで前記復号画像のサイズから徐々に小さくする請求項1乃至６いずれか一項に記載の画像処理装置。
【請求項８】
前記ブロック歪の強度に応じて修正したフィルタオフセット値を用いてデブロッキングフィルタ処理を行うデブロッキングフィルタ部をさらに備える請求項１乃至７いずれか一項に記載の画像処理装置。
【請求項９】
復号画像に対し、所定サイズの領域毎にケプストラム解析を行う解析ステップと、
前記解析ステップで解析された解析結果のピーク値の大きさに基づいて、ブロック歪の強度を決定するブロック歪強度決定ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−１０２３０４（Ｐ２０１３−１０２３０４Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４４００５（Ｐ２０１１−２４４００５）
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]