画像超解像装置およびそのプログラム
【課題】入力画像から超解像画像を生成する画像超解像装置を提供する。
【解決手段】画像超解像装置１は、入力画像から処理ブロックを切り出す処理ブロック切り出し手段１０と、拡大処理ブロックを生成する処理ブロック拡大手段２０と、入力画像から複数の参照ブロックを切り出す参照ブロック切り出し手段３１と、参照ブロックに劣化過程を模擬して劣化参照ブロックを生成する劣化モデル手段３２と、劣化参照ブロックを拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段４１と、復元参照ブロックと参照ブロックとの差分を損失成分として算出する損失成分算出手段４２と、拡大処理ブロックと損失成分とを合成して超解像ブロックを生成する超解像ブロック合成手段５０と、超解像ブロックを構成することで超解像画像を生成する超解像画像構成手段６０と、を備えることを特徴とする。
【解決手段】画像超解像装置１は、入力画像から処理ブロックを切り出す処理ブロック切り出し手段１０と、拡大処理ブロックを生成する処理ブロック拡大手段２０と、入力画像から複数の参照ブロックを切り出す参照ブロック切り出し手段３１と、参照ブロックに劣化過程を模擬して劣化参照ブロックを生成する劣化モデル手段３２と、劣化参照ブロックを拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段４１と、復元参照ブロックと参照ブロックとの差分を損失成分として算出する損失成分算出手段４２と、拡大処理ブロックと損失成分とを合成して超解像ブロックを生成する超解像ブロック合成手段５０と、超解像ブロックを構成することで超解像画像を生成する超解像画像構成手段６０と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から、当該画像よりも解像度の高い画像を生成する画像超解像装置およびそのプログラムに関する。
【背景技術】
【０００２】
一般に、画像を元のサイズよりも大きくしてディスプレイやプリンタに出力するには、画像の拡大処理が必要となる。この画像の拡大処理には、処理の簡便さから、線形補間、バイキュービック法（Ｂｉｃｕｂｉｃ法）等の画素値の補間法が広く利用されている。
しかし、これらの画素値の補間法では、拡大した画像にボケが生じるという問題がある。その大きな原因として、拡大した画像には、高周波成分が十分含まれていないことが挙げられる。
【０００３】
従来、このような拡大した画像にボケが生じるのを抑えるため、画像の高周波成分を新たに生成し、拡大した画像に足し合わせる超解像手法が提案されている（非特許文献１参照）。この非特許文献１に記載された手法では、学習用データを用意し、それらから画像の低周波成分と高周波成分との相関を学習する。そして、この手法は、処理対象の入力画像を拡大する際に、学習した相関を基に高周波成分を推定し、拡大した画像に足し合わせることで超解像画像を生成する。
【０００４】
また一方で、学習データを用いずに高周波成分を推定し、超解像画像を生成する手法も提案されている（特許文献１参照）。この特許文献１に記載された手法では、入力画像内に存在する画像（画素値の分布）の局所的な相似性を利用し、高周波成分を生成する。
【０００５】
具体的には、この手法は、以下の手順により超解像画像を生成する。
まず、入力画像から相似関係にある大小一組のブロックを切り出し、それらのＤＣＴ（離散コサイン変換）係数を算出する。そして、小さい方のブロックのＤＣＴ係数を、大きい方のブロックのＤＣＴ係数のうち対応するものと置き換える。そして、その置き換えた大きい方のブロックのＤＣＴ係数を逆ＤＣＴすることで、拡大した超解像ブロックの画素値を得る。例えば、小さい方のブロックのサイズを８×８画素、大きい方のブロックのサイズを１６×１６画素としたとき、大きい方のブロックのＤＣＴ係数（１６×１６）のうち、低周波領域の８×８画素のＤＣＴ係数を小さい方のブロックのＤＣＴ係数（８×８）で置き換える。そして、その置き換えて生成したＤＣＴ係数（１６×１６）を逆ＤＣＴすることで、８×８画素の小さいブロックに対応した１６×１６画素の超解像ブロックを生成する。同様な処理を、画像全体の小さいブロックに対して行い、小さいブロックのそれぞれを対応する超解像ブロックに置き換えることで、超解像画像を生成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−３１２２９４号公報
【非特許文献】
【０００７】
【非特許文献１】W.T.Freeman, E.C.Pasztor and O.T.Carmichael: “Learning Low-Level Vision”, International Journal of Computer Vision, Vol40, No1, pp.25-47(2000).
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一般に処理対象となる入力画像は、種々の劣化過程を経ている。例えば、画像取得時（撮影時）の劣化、信号伝送時の劣化、画像縮小による劣化、画像符号化による劣化等を経ている。これらの劣化過程は、複合的に作用している。すなわち、超解像画像を高画質で生成するためには、入力画像が経たこれらの劣化過程を考慮する必要がある。
【０００９】
しかし、前記したように、非特許文献１や特許文献１に記載された手法は、入力画像を拡大する際に、高周波成分を拡大した画像に足し合わせることで、超解像画像を生成している。
すなわち、特許文献１に記載された手法は、画像縮小による劣化過程しか考慮していない。そのため、入力画像が画像縮小以外の劣化過程を経た場合、必ずしも適切な超解像処理ができるとは限らない。例えば、ほとんどのスチルカメラやビデオカメラで撮影された画像や映像は、記録する際に圧縮符号化による劣化過程を経ている。その結果、特許文献１に記載された手法では、圧縮符号化による劣化過程を経た画像から、高画質な超解像画像を生成できないことがあるという問題がある。
【００１０】
また、非特許文献１に記載された手法は、入力画像が経た劣化過程を学習するのに適切な学習用データを用意する必要がある。しかし、実際には、劣化過程は入力画像ごとに異なる。例えば、画像の縮小サイズの違いや、適用した符号化方式によってその劣化が異なる。そのため、非特許文献１に記載された手法では、入力画像が経た劣化過程に対応する様々な学習用データを用意しなければいけないという問題がある。
【００１１】
本発明は、以上のような問題に鑑みてなされたものであり、学習用データを用意することが不要で、画像縮小以外の劣化過程を経た入力画像に対しても、高画質な超解像画像を生成することが可能な画像超解像装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１２】
本発明は、前記課題を達成するために創案されたものである。まず、請求項１に記載の画像超解像装置は、予め定めた符号化方式による符号化および復号により劣化した入力画像を、予め定めた拡大率で拡大し、超解像画像を生成する画像超解像装置であって、処理ブロック切り出し手段と、処理ブロック拡大手段と、参照ブロック切り出し手段と、劣化モデル手段と、類似度算出手段と、劣化参照ブロック拡大手段と、損失成分算出手段と、超解像ブロック合成手段と、超解像画像構成手段と、を備える構成とした。
【００１３】
かかる構成において、画像超解像装置は、処理ブロック切り出し手段によって、入力画像を予め定めた大きさの処理ブロックに分割して切り出す。この処理ブロックが、以降の処理における基準のブロックとなる。そして、画像超解像装置は、処理ブロック拡大手段によって、入力画像を拡大する際の拡大率で処理ブロックを拡大して拡大処理ブロックを生成する。
【００１４】
また、画像超解像装置は、参照ブロック切り出し手段によって、入力画像から、拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す。そして、画像超解像装置は、劣化モデル手段によって、入力画像を拡大する際の拡大率の逆比率で参照ブロックを縮小するとともに、入力画像が経た符号化方式による劣化モデルで劣化させて、劣化参照ブロックを生成する。この符号化方式による劣化モデルは、例えば、符号化方式で予め定めた直交変換や量子化を模擬するモデルである。これによって、復元目標となる超解像画像が仮想の劣化を経て入力画像が生成されたと仮定した際の劣化過程を模擬した複数の劣化参照ブロックが生成されることになる。
【００１５】
そして、画像超解像装置は、類似度算出手段によって、劣化参照ブロックと処理ブロックとの類似度を算出する。この類似度が高いほど、劣化参照ブロックと処理ブロックとの劣化過程が類似するといえる。
【００１６】
また、画像超解像装置は、劣化参照ブロック拡大手段によって、入力画像を拡大する際の拡大率で劣化参照ブロックを拡大して復元参照ブロックを生成する。さらに、画像超解像装置は、損失成分算出手段によって、復元参照ブロックと参照ブロックとの差分を算出する。この差分は、参照ブロックが劣化過程を経ることで生じた損失成分とみなすことができる。すなわち、この損失成分には、縮小および拡大によって損失される高周波成分や、符号化および復号によって損失される劣化成分が含まれることになる。
【００１７】
そして、画像超解像装置は、超解像ブロック合成手段によって、類似度に基づいて拡大処理ブロックと損失成分とを合成する。これによって、処理ブロックを超解像した超解像ブロックが生成されることになる。そして、画像超解像装置は、超解像画像構成手段によって、超解像ブロックを画像として構成する。これによって、入力画像が拡大された超解像画像が生成されることになる。
【００１８】
また、請求項２に記載の画像超解像装置は、予め定めた符号化方式による符号化および復号により劣化した入力画像を、予め定めた拡大率で拡大し、超解像画像を生成する画像超解像装置であって、処理ブロック切り出し手段と、処理ブロック拡大手段と、参照ブロック切り出し手段と、劣化モデル手段と、劣化参照ブロック切り出し手段と、類似度算出手段と、劣化参照ブロック拡大手段と、損失成分算出手段と、超解像ブロック合成手段と、超解像画像構成手段と、を備える構成とした。
【００１９】
かかる構成において、画像超解像装置は、処理ブロック切り出し手段によって、入力画像を予め定めた大きさの処理ブロックに分割して切り出す。そして、画像超解像装置は、処理ブロック拡大手段によって、入力画像を拡大する際の拡大率で処理ブロックを拡大して拡大処理ブロックを生成する。
【００２０】
また、画像超解像装置は、参照ブロック切り出し手段によって、入力画像から、拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す。そして、画像超解像装置は、劣化モデル手段によって、入力画像を拡大する際の拡大率の逆比率で入力画像を縮小するとともに、入力画像が経た符号化方式による符号化および復号により劣化させて、劣化入力画像を生成する。
【００２１】
そして、画像超解像装置は、劣化参照ブロック切り出し手段によって、劣化入力画像から、処理ブロックと同一の大きさで、参照ブロックの位置に対応した複数のブロックを劣化参照ブロックとして切り出す。これによって、復元目標となる超解像画像が仮想の劣化を経て入力画像が生成されたと仮定した際の劣化過程を模擬した複数の劣化参照ブロックが生成されることになる。
【００２２】
そして、画像超解像装置は、類似度算出手段によって、劣化参照ブロックと処理ブロックとの類似度を算出する。この類似度が高いほど、劣化参照ブロックと処理ブロックとの劣化過程が類似するといえる。
【００２３】
また、画像超解像装置は、劣化参照ブロック拡大手段によって、入力画像を拡大する際の拡大率で劣化参照ブロックを拡大して復元参照ブロックを生成する。さらに、画像超解像装置は、損失成分算出手段によって、復元参照ブロックと参照ブロックとの差分を算出する。この差分は、参照ブロックが劣化過程を経ることで生じた損失成分とみなすことができる。すなわち、この損失成分には、縮小および拡大によって損失される高周波成分や、符号化および復号によって損失される劣化成分が含まれることになる。
【００２４】
そして、画像超解像装置は、超解像ブロック合成手段によって、類似度に基づいて拡大処理ブロックと損失成分とを合成する。これによって、処理ブロックを超解像した超解像ブロックが生成されることになる。そして、画像超解像装置は、超解像画像構成手段によって、超解像ブロックを画像として構成する。これによって、入力画像が拡大された超解像画像が生成されることになる。
【００２５】
また、請求項３に記載の画像超解像装置は、請求項１または請求項２に記載の画像超解像装置において、超解像ブロック合成手段が、拡大処理ブロックに、複数の参照ブロックから生成された損失成分を、類似度に基づいて重み付き加算する構成とした。
【００２６】
かかる構成において、画像超解像装置は、超解像ブロック合成手段によって、拡大処理ブロックに、当該拡大処理ブロックに類似する参照ブロックから生成された損失成分をより多く加算することになる。これによって、劣化過程が近い参照ブロックによって生成された損失成分がより多く含まれた超解像ブロックが生成される。
【００２７】
さらに、請求項４に記載の画像超解像装置は、請求項１から請求項３のいずれか一項に記載の画像超解像装置において、類似度算出手段が、劣化参照ブロックと処理ブロックとの画素ごとの類似度を算出し、超解像ブロック合成手段が、拡大処理ブロックに、複数の参照ブロックから生成された損失成分を、画素ごとの類似度に基づいて画素ごとに重み付き加算する構成とした。
【００２８】
かかる構成において、画像超解像装置は、超解像ブロック合成手段によって、拡大処理ブロックに、当該拡大処理ブロックに類似する参照ブロックから生成された損失成分を画素ごとにより多く加算することになる。これによって、劣化過程が近い参照ブロックによって生成された損失成分が画素ごとにより多く含まれた超解像ブロックが生成される。
【００２９】
また、請求項５に記載の画像超解像装置は、請求項１から請求項４のいずれか一項に記載の画像超解像装置において、超解像画像構成手段で生成された画像である拡大画像を記憶する拡大画像記憶手段と、拡大画像記憶手段に記憶されている拡大画像を縮小した処理画像を生成する画像縮小手段と、処理対象の画像を前記入力画像から前記処理画像に切り換える入力切り換え手段とを、さらに備え、超解像画像構成手段が、反復判定手段を備える構成とした。
【００３０】
かかる構成において、画像超解像装置は、超解像画像構成手段の反復判定手段によって、画像縮小手段に対して処理画像を生成させ、入力切り換え手段に対して、処理対象の画像を画像縮小手段が生成した処理画像とすることで拡大画像の生成を繰り返す。そして、予め定めた回数繰り返した段階で、超解像画像構成手段は、拡大画像を超解像画像として出力する。このように、画像の超解像処理と縮小処理を順次繰り返すことで、拡大画像には順次高周波成分が付加されることになる。
【００３１】
また、請求項６に記載の画像超解像装置は、請求項１から請求項４のいずれか一項に記載の画像超解像装置において、超解像画像構成手段で生成された画像である拡大画像を記憶する拡大画像記憶手段と、拡大画像記憶手段に記憶されている拡大画像を縮小した処理画像を生成する画像縮小手段と、処理対象の画像を前記入力画像から前記処理画像に切り換える入力切り換え手段とを、さらに備え、超解像画像構成手段が、ブロック更新手段と、反復判定手段と、を備える構成とした。
【００３２】
かかる構成において、画像超解像装置は、超解像画像構成手段のブロック更新手段によって、更新前後の超解像ブロックの差分が予め定めた閾値以上の場合にのみ新たな超解像ブロックで拡大画像を更新する。これによって、更新による効果の小さいブロックに対しては更新がされなくなる。
【００３３】
そして、画像超解像装置は、超解像画像構成手段の反復判定手段によって、画像縮小手段に対して処理画像を生成させ、入力切り換え手段に対して、処理対象の画像を画像縮小手段が生成した処理画像とすることで、拡大画像の生成を繰り返す。そして、ブロック更新手段における更新を行う超解像ブロックの数が予め定めた数以下となった段階で、超解像画像構成手段は、拡大画像を超解像画像として出力する。
【００３４】
また、請求項７に記載の画像超解像プログラムは、予め定めた符号化方式による符号化および復号により劣化した入力画像を、予め定めた拡大率で拡大し、超解像画像を生成するために、コンピュータを、処理ブロック切り出し手段、処理ブロック拡大手段、参照ブロック切り出し手段、劣化モデル手段、類似度算出手段、劣化参照ブロック拡大手段、損失成分算出手段、超解像ブロック合成手段、超解像画像構成手段、として機能させる構成とした。
【００３５】
かかる構成において、画像超解像プログラムは、処理ブロック切り出し手段によって、入力画像を予め定めた大きさの処理ブロックに分割して切り出す。そして、画像超解像プログラムは、処理ブロック拡大手段によって、入力画像を拡大する際の拡大率で処理ブロックを拡大して拡大処理ブロックを生成する。
【００３６】
また、画像超解像プログラムは、参照ブロック切り出し手段によって、入力画像から、拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す。そして、画像超解像プログラムは、劣化モデル手段によって、入力画像を拡大する際の拡大率の逆比率で参照ブロックを縮小するとともに、入力画像が経た符号化方式による劣化モデルで劣化させて、劣化参照ブロックを生成する。そして、画像超解像プログラムは、類似度算出手段によって、劣化参照ブロックと処理ブロックとの類似度を算出する。
【００３７】
また、画像超解像プログラムは、劣化参照ブロック拡大手段によって、入力画像を拡大する際の拡大率で劣化参照ブロックを拡大して復元参照ブロックを生成する。さらに、画像超解像プログラムは、損失成分算出手段によって、復元参照ブロックと参照ブロックとの差分を損失成分として算出する。
【００３８】
そして、画像超解像プログラムは、超解像ブロック合成手段によって、類似度に基づいて拡大処理ブロックと損失成分とを合成することで、処理ブロックを超解像した超解像ブロックを生成する。そして、画像超解像プログラムは、超解像画像構成手段によって、超解像ブロックを超解像画像として構成する。
【００３９】
さらに、請求項８に記載の画像超解像プログラムは、予め定めた符号化方式による符号化および復号により劣化した入力画像を、予め定めた拡大率で拡大し、超解像画像を生成するために、コンピュータを、処理ブロック切り出し手段、処理ブロック拡大手段、参照ブロック切り出し手段、劣化モデル手段、劣化参照ブロック切り出し手段、類似度算出手段、劣化参照ブロック拡大手段、損失成分算出手段、超解像ブロック合成手段、超解像画像構成手段、として機能させる構成とした。
【００４０】
かかる構成において、画像超解像プログラムは、処理ブロック切り出し手段によって、入力画像を予め定めた大きさの処理ブロックに分割して切り出す。そして、画像超解像装置は、処理ブロック拡大手段によって、入力画像を拡大する際の拡大率で処理ブロックを拡大して拡大処理ブロックを生成する。
【００４１】
また、画像超解像装置は、参照ブロック切り出し手段によって、入力画像から、拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す。そして、画像超解像装置は、劣化モデル手段によって、入力画像を拡大する際の拡大率の逆比率で入力画像を縮小するとともに、入力画像が経た符号化方式による符号化および復号により劣化させて、劣化入力画像を生成する。
【００４２】
そして、画像超解像装置は、劣化参照ブロック切り出し手段によって、劣化入力画像から、処理ブロックと同一の大きさで、参照ブロックの位置に対応した複数のブロックを劣化参照ブロックとして切り出す。そして、画像超解像装置は、類似度算出手段によって、劣化参照ブロックと処理ブロックとの類似度を算出する。
【００４３】
また、画像超解像装置は、劣化参照ブロック拡大手段によって、入力画像を拡大する際の拡大率で劣化参照ブロックを拡大して復元参照ブロックを生成する。さらに、画像超解像装置は、損失成分算出手段によって、復元参照ブロックと参照ブロックとの差分を損失成分として算出する。
【００４４】
そして、画像超解像装置は、超解像ブロック合成手段によって、類似度に基づいて拡大処理ブロックと損失成分とを合成することで、処理ブロックを超解像した超解像ブロックを生成する。そして、画像超解像装置は、超解像画像構成手段によって、超解像ブロックを超解像画像として構成する。
【発明の効果】
【００４５】
本発明は、以下に示す優れた効果を奏するものである。
請求項１，２，７，８に記載の発明によれば、入力画像から、画像縮小による劣化過程のみならず、圧縮符号化による劣化過程による損失成分を付加して超解像画像を生成することができる。これによって、本発明は、学習を行うことなく、既知の符号化方式で符号化および復号された入力画像から、高周波成分を付加し、符号劣化した成分を補完することで、高画質な超解像画像を生成することができる。
【００４６】
請求項３に記載の発明によれば、複数の参照ブロックから生成される損失成分を、類似度に応じて、拡大処理ブロックに加算するため、加算するブロックごとの損失成分の精度を高めることができる。これによって、本発明は、高画質な超解像画像を生成することができる。
【００４７】
請求項４に記載の発明によれば、複数の参照ブロックから生成される損失成分を、画素ごとの類似度に応じて、拡大処理ブロックの画素ごとに加算するため、加算するブロック内の画素ごとの損失成分の精度を高めることができる。これによって、本発明は、高画質な超解像画像を生成することができる。
【００４８】
請求項５，６に記載の発明によれば、超解像処理を反復して行うことで、生成される超解像画像により多くの高周波成分が付加されることになる。これによって、本発明は、高周波成分が多く含まれていない入力画像であっても、繰り返し高周波成分を補完することで、高画質な超解像画像を生成することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の第１実施形態に係る画像超解像装置の構成を示すブロック図である。
【図２】本発明の第２実施形態に係る画像超解像装置の構成を示すブロック図である。
【図３】本発明の第３実施形態に係る画像超解像装置の構成を示すブロック図である。
【図４】本発明の第４実施形態に係る画像超解像装置の構成を示すブロック図である。
【図５】本発明の第１実施形態に係る画像超解像装置の動作を示すフローチャートである。
【図６】本発明の第１実施形態に係る画像超解像装置が行う処理内容を説明するための模式図である。
【図７】本発明の第５実施形態に係る画像超解像装置の構成を示すブロック図である。
【図８】本発明の第５実施形態に係る画像超解像装置が行う処理内容を説明するための模式図である。
【発明を実施するための形態】
【００５０】
以下、本発明の実施形態について図面を参照して説明する。
＜第１実施形態＞
［画像超解像装置の構成］
まず、図１を参照して、本発明の第１実施形態に係る画像超解像装置１の構成について説明する。画像超解像装置１は、入力画像よりも解像度の高い画像（超解像画像）を生成するものである。なお、超解像とは、入力画像の解像度が、出力画像の解像度に満たない場合に、解像度を補完することをいう。
【００５１】
本発明において、入力画像は、仮想の超解像画像（復元目標とする画像）から縮小その他の劣化過程を経て生成されたものであると仮定する。そして、画像超解像装置１は、その劣化過程を模擬し、劣化により損失した成分を補完することで、超解像画像を生成する。ここでは、入力画像Ｇは、既知の符号化方式（例えば、ＪＰＥＧ、ＭＰＥＧ等）により符号化された画像を復号した画像であるとする。
以下の説明において、画像超解像装置１は、入力画像Ｇを縦横２倍に拡大した超解像画像ＳＧを生成するものとして説明する。この拡大率は、任意の比率が可能であることはいうまでもない。
【００５２】
ここでは、画像超解像装置１は、処理ブロック切り出し手段１０と、処理ブロック拡大手段２０と、参照ブロック選択劣化手段３０と、損失成分生成手段４０と、超解像ブロック合成手段５０と、超解像画像構成手段６０と、を備えている。なお、画像超解像装置１は、図示を省略した入力手段を介して、超解像の処理対象となる画像（入力画像Ｇ）を入力し、図示を省略した出力手段を介して、生成した画像（超解像画像ＳＧ）を外部に出力する。
【００５３】
処理ブロック切り出し手段１０は、入力画像Ｇから、処理単位の基準となる予め定めた大きさのブロックを順次切り出すものである。以後、この切り出したブロックを処理ブロック（Ｄ）と呼ぶ。この処理ブロック切り出し手段１０は、切り出した処理ブロックＤを、順次、処理ブロック拡大手段２０および参照ブロック選択劣化手段３０に出力する。
この処理ブロックの大きさは任意に設定することができる。また、処理ブロック切り出し手段１０は、処理ブロックＤ間で重複領域を設けて切り出すこととしてもよい。このように重複領域を設けることで、後記する超解像画像構成手段６０において、超解像画像を構成する際に、ブロック境界で生じやすい画素値の不連続を抑えることができる。
例えば、処理ブロック切り出し手段１０には、処理ブロックＤを４×４画素の正方形領域、処理ブロックＤ間の重複領域の大きさを２画素幅に予め設定しておく。
【００５４】
処理ブロック拡大手段２０は、処理ブロック切り出し手段１０で切り出された処理ブロックＤを拡大するものである。以後、この拡大された処理ブロックを拡大処理ブロック（Ｌ）と呼ぶ。この処理ブロック拡大手段２０は、生成した拡大処理ブロックＬを、超解像ブロック合成手段５０に出力する。
【００５５】
この処理ブロック拡大手段２０における拡大処理は、予め定めた任意の手法で行うことができる。例えば、処理ブロック拡大手段２０は、拡大手法として、最近傍法、線形補間法、Ｂｉｃｕｂｉｃ補間法等の画素値の補間法により処理ブロックＤを拡大する。また、処理ブロック拡大手段２０は、従来の超解像処理により拡大処理を行うこととしてもよい。
【００５６】
なお、処理ブロック拡大手段２０における処理ブロックＤの拡大率は、画像超解像装置１が行う入力画像Ｇの拡大と同一の拡大率とする。すなわち、ここでは、入力画像Ｇを縦横２倍に拡大するため、処理ブロック拡大手段２０は、処理ブロックＤを縦横それぞれ２倍することで拡大処理ブロックＬを生成する。この拡大率は、図示を省略した入力手段を介して、外部から設定されることとする。
【００５７】
参照ブロック選択劣化手段３０は、入力画像Ｇから、予め定めた大きさのブロックを複数選択し、入力画像Ｇの劣化した過程（劣化過程）に相当する劣化処理を施すことで、入力画像Ｇの劣化過程を模擬するものである。ここでは、参照ブロック選択劣化手段３０は、参照ブロック切り出し手段３１と、劣化モデル手段３２と、ブロック記憶手段３３と、類似度算出手段３４と、を備えている。
【００５８】
参照ブロック切り出し手段３１は、入力画像Ｇから、劣化過程を模擬する予め定めた大きさのブロックを複数切り出すものである。以後、この切り出したブロックを参照ブロック（Ｈ）と呼ぶ。この参照ブロック切り出し手段３１は、切り出した参照ブロックＨを、劣化モデル手段３２に出力するとともに、ブロック記憶手段３３に書き込む。
なお、この参照ブロックＨの大きさは、処理ブロックＤを拡大した拡大処理ブロックＬと同一の大きさとする。すなわち、本実施形態において、参照ブロックＨの大きさは、処理ブロックＤの縦横２倍の大きさとする。
【００５９】
この参照ブロック切り出し手段３１が入力画像Ｇから参照ブロックＨを切り出す間隔は任意であって、予め設定しておくこととする。この切り出し間隔が小さければ（例えば、１画素間隔）、処理量は多くなる。しかし、劣化過程における損失成分の情報を含んだ参照ブロックが多く抽出されることになるため、生成される超解像画像の画質を高めることができる。一方、切り出し間隔が大きければ（例えば、８画素間隔）であれば、切り出し間隔が小さい場合に比べ、超解像画像の画質は劣るが、処理量が少なく高速に超解像画像を生成することができる。
【００６０】
なお、この切り出し間隔は、必ずしも画素単位である必要はない。例えば、０．５画素間隔等、小数間隔としてもよい。この場合、参照ブロック切り出し手段３１は、画素間の画素値を、補間法によって求めることで、切り出す参照ブロックＨの画素値を求める。これによって、より劣化過程における損失成分の情報を含んだ参照ブロックＨが多く抽出され、超解像画像の画質を高めることができる。
【００６１】
劣化モデル手段３２は、参照ブロック切り出し手段３１で切り出された参照ブロックＨに対して、予め定めた劣化モデルで劣化処理を施すものである。ここでは、劣化モデル手段３２は、縮小劣化手段３２１と、非縮小劣化手段３２２と、を備えている。
【００６２】
縮小劣化手段３２１は、参照ブロックＨに対して画像縮小を行うことで、縮小に伴う画像の劣化を模擬するものである。以後、この縮小されたブロックを縮小参照ブロック（ＨＤ１）と呼ぶ。この縮小劣化手段３２１は、生成した縮小参照ブロックＨＤ１を非縮小劣化手段３２２に出力する。
この縮小劣化手段３２１における縮小処理は、予め定めた任意の手法で行うことができる。例えば、縮小劣化手段３２１は、縮小手法として、最近傍法、線形補間法、Ｂｉｃｕｂｉｃ補間法等の画素値の補間法により参照ブロックＨを縮小する。
【００６３】
なお、縮小劣化手段３２１における参照ブロックＨの縮小率は、処理ブロック拡大手段２０における処理ブロックＤの拡大率の逆比率とする。すなわち、処理ブロックＤの拡大率が縦横それぞれ２倍ならば、縮小劣化手段３２１における縮小率は、縦横それぞれ２分の１とする。
【００６４】
非縮小劣化手段３２２は、縮小劣化手段３２１で縮小された縮小参照ブロックＨＤ１に対して、縮小劣化以外の予め定めた劣化を模擬するものである。ここでは、非縮小劣化手段３２２は、予め定めた符号化による劣化を模擬するものとする。以後、この劣化されたブロックを劣化参照ブロック（ＨＤ２）と呼ぶ。この非縮小劣化手段３２２は、生成した劣化参照ブロックＨＤ２を、劣化される前の参照ブロックＨと対応付けてブロック記憶手段３３に書き込む。
【００６５】
この非縮小劣化手段３２２は、例えば、以下の手法により符号化による劣化を模擬する。すなわち、非縮小劣化手段３２２は、縮小参照ブロックＨＤ１を、直交変換（例えば、ＤＣＴ〔Discrete Cosine Transform〕）し、高周波成分を表す直交変換係数を劣化（量子化）させたり、削除（係数値を“０”に設定）したりすることで、符号化による劣化を模擬する。この直交変換係数の劣化や削除は、予め入力画像Ｇの元となる符号化された画像において用いられていた符号化方式により設定しておくものとする。例えば、当該符号化方式で使用された量子化ステップと同じ量子化ステップにより、直交変換係数を量子化する。
【００６６】
ブロック記憶手段３３は、参照ブロック切り出し手段３１で切り出された参照ブロックＨと、劣化モデル手段３２で劣化された劣化参照ブロックＨＤ２とを対応付けて複数記憶するものである。このブロック記憶手段３３は、例えば、半導体メモリ等の一般的な記憶媒体を用いることができる。
このブロック記憶手段３３に記憶された劣化参照ブロックＨＤ２は、類似度算出手段３４および損失成分生成手段４０によって読み出される。また、ブロック記憶手段３３に記憶された参照ブロックＨは、損失成分生成手段４０によって読み出される。
【００６７】
類似度算出手段３４は、処理ブロック切り出し手段１０で切り出された処理ブロックＤごとに、劣化モデル手段３２で生成され、ブロック記憶手段３３に記憶されている複数の劣化参照ブロックＨＤ２との類似度を算出するものである。この類似度算出手段３４は、算出した類似度を超解像ブロック合成手段５０に出力する。
【００６８】
この類似度算出手段３４における類似度の算出手法は一般的な手法を用いればよい。例えば、類似度算出手段３４は、処理ブロックＤと劣化参照ブロックＨＤ２との対応する画素値の差分（絶対値誤差や二乗誤差）を計算し、その差分の総和の逆数や予め定めた指数関数により求めた値を類似度として算出する。あるいは、類似度算出手段３４は、類似度として相互相関を用いてもよい。
【００６９】
損失成分生成手段４０は、参照ブロック選択劣化手段３０で選択され劣化された参照ブロックの劣化による損失成分を生成するものである。なお、この損失成分生成手段４０は、参照ブロック選択劣化手段３０（類似度算出手段３４）が、処理ブロックＤに対して１つの劣化参照ブロックＨＤ２の類似度を超解像ブロック合成手段５０に出力するのに同期して、参照ブロックＨごとの損失成分を生成する。ここでは、損失成分生成手段４０は、劣化参照ブロック拡大手段４１と、損失成分算出手段４２と、を備えている。
【００７０】
劣化参照ブロック拡大手段４１は、参照ブロック選択劣化手段３０の劣化モデル手段３２で生成された劣化参照ブロックＨＤ２を拡大するものである。ここでは、劣化参照ブロック拡大手段４１は、ブロック記憶手段３３に記憶されている劣化参照ブロックＨＤ２を順次読み出して拡大する。以後、この拡大された劣化参照ブロックを復元参照ブロック（ＨＬ）と呼ぶ。この劣化参照ブロック拡大手段４１は、生成した復元参照ブロックＨＬを、損失成分算出手段４２に出力する。
【００７１】
この劣化参照ブロック拡大手段４１における拡大処理は、処理ブロック拡大手段２０と同一の拡大手法を用いて、同一の拡大率で劣化参照ブロックＨＤ２を拡大する。これによって、拡大された復元参照ブロックＨＬは、参照ブロックＨや拡大処理ブロックＬとサイズが等しくなる。
【００７２】
損失成分算出手段４２は、参照ブロック選択劣化手段３０の参照ブロック切り出し手段３１で切り出された参照ブロックＨと、劣化参照ブロック拡大手段４１で生成された復元参照ブロックＨＬとの差分をとることで、参照ブロックＨに対する損失成分ＨＦを算出するものである。ここでは、損失成分算出手段４２は、ブロック記憶手段３３に記憶されている対応する参照ブロックＨと劣化参照ブロックＨＤ２とを順次読み出して損失成分ＨＦを算出する。この損失成分算出手段４２は、参照ブロックＨ（劣化参照ブロックＨＤ２）ごとに算出した損失成分ＨＦを、超解像ブロック合成手段５０に出力する。
【００７３】
このように損失成分算出手段４２は、参照ブロックＨごとに、劣化モデル手段３２における縮小劣化および非縮小劣化に伴う損失成分ＨＦを抽出することができる。この損失成分ＨＦは、処理ブロック拡大手段２０によって拡大された拡大処理ブロックＬには含まれていない、劣化によって損失した信号成分に相当する。
【００７４】
超解像ブロック合成手段５０は、処理ブロック拡大手段２０で生成された拡大処理ブロックＬと、損失成分生成手段４０で生成された損失成分ＨＦとを、類似度算出手段３４で算出された類似度に基づいて合成するものである。
具体的には、超解像ブロック合成手段５０は、拡大処理ブロックＬに対して、参照ブロック選択劣化手段３０の類似度算出手段３４で算出された類似度の高さに応じて、すべての損失成分ＨＦを重み付き加算する。これによって、処理ブロックＤを拡大した拡大処理ブロックＬに、縮小劣化および非縮小劣化で失われたと推定される損失成分ＨＦが加算され、処理ブロックＤを超解像したブロックが生成されることになる。
【００７５】
これは、処理ブロックＤと劣化参照ブロックＨＤ２とが類似する場合、処理ブロックＤの劣化過程は、類似する劣化参照ブロックＨＤ２に対応する参照ブロックＨが経た劣化過程に類似するためである。
以後、超解像ブロック合成手段５０が生成したブロックを超解像ブロック（ＳＲ）と呼ぶ。この超解像ブロック合成手段５０は、生成した超解像ブロックＳＲを超解像画像構成手段６０に出力する。
【００７６】
超解像画像構成手段６０は、超解像ブロック合成手段５０で生成された超解像ブロックＳＲを処理ブロックＤに対応する位置に配置（構成）することで、超解像画像ＳＧを生成するものである。
この処理ブロックＤに対応する位置とは、入力画像Ｇにおける処理ブロックＤの位置が、画像超解像装置１において超解像画像ＳＧを生成するために予め定めた拡大率で入力画像Ｇを拡大した画像に対応する位置である。具体的には、ここでは、画像超解像装置１は、入力画像Ｇを縦横２倍に拡大した超解像画像ＳＧを生成するため、処理ブロックＤの位置である水平座標（Ｘ座標）および垂直座標（Ｙ座標）をそれぞれ２倍した座標位置が、処理ブロックＤに対応する位置となる。
【００７７】
なお、処理ブロック切り出し手段１０が処理ブロックＤ間に重複領域を設けて切り出すこととした場合、対応する超解像ブロックＳＲ間にも重複領域が存在する。この場合、超解像画像構成手段６０は、重複領域の各画素において、超解像ブロックＳＲ間で共通する画素位置の平均画素値を、当該画素の画素値とする。
この超解像画像構成手段６０で生成された超解像画像ＳＧが、画像超解像装置１の出力画像となる。
【００７８】
なお、処理ブロックＤ間に重複領域を設ける場合、平均画素値を用いる以外にも、超解像ブロックＳＲ間で共通する画素位置の画素値の中央値を用いることとしてもよい。あるいは、類似度算出手段３４で算出された類似度を用いて、超解像ブロックＳＲの生成に使用した類似度の平均値に応じて重み付き加算により画素値を求めてもよい。あるいは、最も類似度が高い損失成分ＨＦから生成された超解像ブロックＳＲの画素値を用いることとしてもよい。
【００７９】
以上説明したように、画像超解像装置１は、縮小劣化および非縮小劣化による劣化過程を模擬して、入力画像Ｇを拡大する際に、その模擬した劣化過程の損失成分を補完することができる。これによって、画像超解像装置１は、入力画像Ｇから、劣化による成分を補完した高画質な超解像画像ＳＧを生成することができる。
【００８０】
［画像超解像装置の動作］
次に、図５を参照（構成については適宜図１参照）して、本発明の第１実施形態に係る画像超解像装置１の動作について説明する。さらに、ここでは、適宜図６を参照して、各手段において生成されるブロック（画像）についても模式的に説明する。なお、図５に示すステップの番号（Ｓ１等）と、図６に示す処理の番号（Ｐ１等）とは、対応していない。
【００８１】
まず、画像超解像装置１は、参照ブロック選択劣化手段３０の参照ブロック切り出し手段３１によって、入力画像Ｇから、劣化過程を模擬する予め定めた大きさの参照ブロックＨを複数切り出す（ステップＳ１）。すなわち、画像超解像装置１は、図６の＜Ｐ１＞に示すように、入力画像Ｇから、切り出し位置を変えて参照ブロックＨを複数切り出す。
【００８２】
そして、画像超解像装置１は、劣化モデル手段３２の縮小劣化手段３２１によって、ステップＳ１で切り出された参照ブロックＨを画像縮小し、縮小参照ブロックＨＤ１を生成する（ステップＳ２）。これによって、生成する超解像画像ＳＧを入力画像Ｇに仮想的に縮小した縮小劣化が参照ブロックＨごとに模擬されることになる。なお、図６では、縮小参照ブロックＨＤ１を省略している。
【００８３】
さらに、画像超解像装置１は、劣化モデル手段３２の非縮小劣化手段３２２によって、ステップＳ２で生成された縮小参照ブロックＨＤ１を直交変換し、高周波成分の直交変換係数を劣化させることで、劣化参照ブロックＨＤ２を生成する（ステップＳ３）。これによって、入力画像Ｇが経た符号化に伴う劣化が参照ブロックＨごとに模擬されることになる。すなわち、画像超解像装置１は、図６の＜Ｐ２＞に示すように、参照ブロックＨに対して、縮小劣化および非縮小劣化を模擬することで、劣化参照ブロックＨＤ２を生成する。
【００８４】
そして、画像超解像装置１は、ステップＳ１で生成された参照ブロックＨと、ステップＳ３で生成された劣化参照ブロックＨＤ２とを対応付けてブロック記憶手段３３に書き込み記憶する（ステップＳ４）。なお、このブロック記憶手段３３には、ステップＳ１で順次切り出される参照ブロックＨに応じて、対応する劣化参照ブロックＨＤ２との対が複数記憶される。
【００８５】
その後、画像超解像装置１は、処理ブロック切り出し手段１０によって、入力画像Ｇから、予め定めた大きさの処理ブロックＤを切り出す（ステップＳ５）。すなわち、画像超解像装置１は、図６の＜Ｐ３＞に示すように、入力画像Ｇから、超解像する対象となる処理ブロックＤを切り出す。
【００８６】
そして、画像超解像装置１は、類似度算出手段３４によって、ステップＳ５で切り出された処理ブロックＤと、ブロック記憶手段３３に記憶されている劣化参照ブロックＨＤ２との類似度を算出する（ステップＳ６）。すなわち、画像超解像装置１は、図６の＜Ｐ４＞に示すように、入力画像Ｇから切り出した処理ブロックＤと、複数の参照ブロックＨを劣化させた複数の劣化参照ブロックＨＤ２との類似度を算出する。
【００８７】
そして、画像超解像装置１は、処理ブロック拡大手段２０によって、ステップＳ５で切り出された処理ブロックＤを拡大して、拡大処理ブロックＬを生成する（ステップＳ７）。すなわち、画像超解像装置１は、図６の＜Ｐ５＞に示すように、処理ブロックＤを参照ブロックＨと同じ大きさに拡大する。
【００８８】
また、画像超解像装置１は、損失成分生成手段４０の劣化参照ブロック拡大手段４１によって、ブロック記憶手段３３に記憶されている劣化参照ブロックＨＤ２を拡大して、復元参照ブロックＨＬを生成する（ステップＳ８）。すなわち、画像超解像装置１は、図６の＜Ｐ６＞に示すように、劣化参照ブロックＨＤ２を参照ブロックＨと同じ大きさに拡大する。
【００８９】
そして、画像超解像装置１は、損失成分算出手段４２によって、ステップＳ８で生成された復元参照ブロックＨＬと、当該復元参照ブロックＨＬに対応する参照ブロックＨとの差を損失成分ＨＦとして算出する（ステップＳ９）。すなわち、画像超解像装置１は、図６の＜Ｐ７＞に示すように、参照ブロックＨと復元参照ブロックＨＬとの画素ごとの差分を演算することで、損失成分ＨＦを生成する。このとき、損失成分ＨＦは、参照ブロックＨの数だけ生成されることになる。
【００９０】
そして、画像超解像装置１は、超解像ブロック合成手段５０によって、ステップＳ７で生成された拡大処理ブロックＬと、ステップＳ９で生成された損失成分ＨＦとを、ステップＳ６で算出された類似度に基づいて合成する（ステップＳ１０）。すなわち、画像超解像装置１は、図６の＜Ｐ８＞に示すように、処理ブロックＤを拡大した拡大処理ブロックＬに、複数の損失成分ＨＦを画素ごとに類似度に応じて重み加算することで、超解像ブロックＳＲを生成する。以上の動作によって、処理ブロックＤに対応する超解像ブロックＳＲが順次生成されることになる。
【００９１】
そして、画像超解像装置１は、超解像画像構成手段６０によって、ステップＳ１０で順次生成される超解像ブロックＳＲを処理ブロックＤに対応する位置に配置（構成）することで、超解像画像ＳＧを生成する（ステップＳ１１）。すなわち、画像超解像装置１は、図６の＜Ｐ９＞に示すように、入力画像Ｇの拡大率に応じて、超解像ブロックＳＲを、処理ブロックＤに対応する位置に配置することで、超解像画像ＳＧを生成する。
以上の動作によって、画像超解像装置１は、入力画像Ｇから、劣化による成分を補完した高画質な超解像画像ＳＧを生成することができる。
【００９２】
以上、第１実施形態に係る画像超解像装置１の構成および動作について説明したが、本発明は、これに限定されるものではない。
例えば、ここでは、処理ブロック切り出し手段１０は、処理ブロックＤとして、正方形領域のブロックを切り出したが、長方形領域のブロックを切り出すこととしてもよい。この場合、参照ブロック切り出し手段３１は、その長方形領域を予め定めた拡大率で拡大した領域を参照ブロックＨとして切り出せばよい。
【００９３】
また、ここでは、超解像ブロック合成手段５０は、拡大処理ブロックＬに対して、すべての損失成分ＨＦを、類似度に応じて重み付き加算した。しかし、超解像ブロック合成手段５０は、最も類似度の高い劣化参照ブロックＨＤ２に対応した損失成分ＨＦのみを、拡大処理ブロックＬに加算することとしてもよい。これによって、処理が簡易化され、高速処理が可能になる。
あるいは、超解像ブロック合成手段５０は、類似度が予め定めた高さ以上の類似度の劣化参照ブロックＨＤ２に対応する損失成分ＨＦのみを、拡大処理ブロックＬに加算する対象としてもよい。
【００９４】
また、ここでは、参照ブロック切り出し手段３１は、処理ブロックＤを拡大した拡大処理ブロックＬと同じ大きさの矩形（正方形、長方形）領域として参照ブロックＨを切り出した。しかし、参照ブロック切り出し手段３１は、前記した切り出し以外に、入力画像Ｇあるいはその一部を変形し、その変形領域に含まれる拡大処理ブロックＬと同じ大きさの矩形領域を参照ブロックＨとして切り出すこととしてもよい。例えば、参照ブロック切り出し手段３１は、前記した切り出し以外に、入力画像Ｇに対して、回転等のアフィン変換を行い、その変換画像から参照ブロックＨをさらに切り出す。これによって、劣化過程における損失成分の情報を含んだ参照ブロックＨが多く抽出され、損失成分ＨＦが多様化されることで、超解像画像の画質を高めることができる。
【００９５】
また、ここでは、処理ブロック切り出し手段１０と参照ブロック切り出し手段３１によって、入力画像Ｇから切り出した処理ブロックＤと参照ブロックＨの画素値をそのまま用いて超解像ブロックＳＲを生成した。しかし、これらの画素値を正規化して超解像ブロックＳＲを生成してもよい。すなわち、処理ブロックＤと参照ブロックＨの画素値を、それぞれのブロック内の画素値の平均値（平均画素値）で正規化し、正規化後の画素値を用いて損失成分ＨＦを生成する。そして、超解像ブロック合成手段５０は、生成した損失成分ＨＦに対して正規化の逆演算、すなわち処理ブロックＤの平均画素値を乗算した後に、拡大処理ブロックＬに加算し、超解像ブロックＳＲを生成する。また、ここで、正規化はブロック内の画素値の平均値以外にも、画素値の標準偏差によって行ってもよい。このように、損失成分ＨＦが多様化されることで、超解像画像の画質を高めることができる。
【００９６】
また、ここでは、劣化モデル手段３２の非縮小劣化手段３２２は、符号化に伴う劣化を模擬することとした。しかし、非縮小劣化手段３２２は、符号化劣化以外にも、他の劣化を模擬するものを付加してもよい。
例えば、入力画像Ｇに既知のボケやブレが含まれている場合、それらを模擬する処理を付加してもよい。このボケやブレを模擬する場合、非縮小劣化手段３２２は、ローパスフィルタによってボケを模擬したり、水平、垂直、斜め方向のフィルタによって、ブレを模擬したりすることで、画像の劣化を模擬することができる。
【００９７】
また、ここでは、類似度算出手段３４は、処理ブロックＤと劣化参照ブロックＨＤ２とにおいて、ブロック単位で類似度を求めた。しかし、類似度算出手段３４は、類似度として、ブロック単位の類似度ではなく、処理ブロックＤと劣化参照ブロックＨＤ２との各ブロックの画素単位の類似度を算出することとしてもよい。この場合、ブロック間の類似度は、処理ブロックＤの画素数分の類似度で表現される。このとき、超解像ブロック合成手段５０は、拡大処理ブロックＬに対して、画素ごとの類似度に応じて、損失成分ＨＦを重み付け加算する。これによって、拡大処理ブロックＬの画素ごとに損失成分が補完されるため、超解像ブロックＳＲの画質精度を高めることができる。
以下、第１実施形態の変形例以外の他の実施形態について、図面を参照して説明する。
【００９８】
＜第２実施形態＞
まず、図２を参照して、本発明の第２実施形態に係る画像超解像装置１Ｂについて説明する。画像超解像装置１Ｂは、画像超解像装置１（図１参照）と同様、入力画像よりも解像度の高い画像（超解像画像）を生成するものである。画像超解像装置１は、図１で説明したように、参照ブロックＨとそれを劣化させた劣化参照ブロックＨＤ２とを入力画像Ｇから生成し、予めブロック記憶手段３３に記憶しておき、損失成分生成手段４０が逐次参照する構成である。これに対し、第２実施形態に係る画像超解像装置１Ｂは、ブロック記憶手段３３を備えない構成とした。
【００９９】
以下、画像超解像装置１と異なる構成について説明する。なお、画像超解像装置１と同一の構成については、同一の符号を付して説明を省略する。
画像超解像装置１Ｂは、画像超解像装置１の参照ブロック選択劣化手段３０を参照ブロック選択劣化手段３０Ｂに替え、損失成分生成手段４０を損失成分生成手段４０Ｂに替えて構成した。
【０１００】
参照ブロック選択劣化手段３０Ｂは、入力画像Ｇから、予め定めた大きさのブロックを複数選択し、入力画像Ｇの劣化過程に相当する劣化処理を施すことで、入力画像Ｇの劣化過程を模擬するものである。ここでは、参照ブロック選択劣化手段３０Ｂは、参照ブロック切り出し手段３１と、劣化モデル手段３２と、類似度算出手段３４Ｂと、を備えている。参照ブロック切り出し手段３１および劣化モデル手段３２は、画像超解像装置１（図１）と同じ構成である。
【０１０１】
類似度算出手段３４Ｂは、処理ブロック切り出し手段１０で切り出された処理ブロックＤごとに、劣化モデル手段３２で生成された複数の劣化参照ブロックＨＤ２との類似度を算出するものである。この類似度の算出手法は、図１で説明した画像超解像装置１の類似度算出手段３４と同じである。
この類似度算出手段３４Ｂは、算出した類似度を超解像ブロック合成手段５０に出力するとともに、類似度を算出した劣化参照ブロックＨＤ２に対応する参照ブロックＨの切り出し位置を損失成分生成手段４０Ｂに出力する。
【０１０２】
損失成分生成手段４０Ｂは、参照ブロック選択劣化手段３０Ｂで選択された参照ブロックの劣化による損失成分を生成するものである。ここでは、損失成分生成手段４０Ｂは、劣化参照ブロック拡大手段４１と、損失成分算出手段４２と、参照ブロック切り出し手段４３と、劣化モデル手段４４と、を備えている。劣化参照ブロック拡大手段４１および損失成分算出手段４２は、画像超解像装置１（図１）と同じ構成である。
【０１０３】
参照ブロック切り出し手段４３は、入力画像Ｇから、参照ブロック選択劣化手段３０Ｂ（類似度算出手段３４Ｂ）から入力した切り出し位置で参照ブロックＨを切り出すものである。なお、この参照ブロック切り出し手段４３は、参照ブロック選択劣化手段３０Ｂ（類似度算出手段３４Ｂ）から指示される切り出し位置から参照ブロックＨを切り出すことのみが、参照ブロック切り出し手段３１と異なっている。この参照ブロック切り出し手段４３は、切り出した参照ブロックＨを、損失成分算出手段４２および劣化モデル手段４４に出力する。
【０１０４】
劣化モデル手段４４は、参照ブロック切り出し手段４３で切り出された参照ブロックＨに対して、予め定めた劣化処理を施すものである。この劣化モデル手段４４は、劣化モデル手段３２と同じものであり、縮小劣化手段３２１と同じ機能を有する縮小劣化手段４４１と、非縮小劣化手段３２２と同じ機能を有する非縮小劣化手段４４２とを備えている。
そして、非縮小劣化手段４４２は、生成した劣化参照ブロックＨＤ２を劣化参照ブロック拡大手段４１に出力する。
これによって、損失成分生成手段４０Ｂは、参照ブロック選択劣化手段３０Ｂにおいて、処理ブロックＤと比較された同一の参照ブロックＨを入力画像Ｇから切り出して、損失成分ＨＦを生成することができる。
【０１０５】
以上説明したように、画像超解像装置１Ｂは、画像超解像装置１（図１）と同様に、縮小劣化および非縮小劣化による劣化過程を模擬して、入力画像Ｇを拡大する際に、その模擬した劣化過程の損失成分を補完することができる。これによって、画像超解像装置１Ｂは、入力画像Ｇから、劣化による成分を補完した高画質な超解像画像ＳＧを生成することができる。また、画像超解像装置１Ｂは、容量の大きい記憶媒体を構成から省くことができるため、装置を安価に製造することができる。
【０１０６】
＜第３実施形態＞
次に、図３を参照して、本発明の第３実施形態に係る画像超解像装置１Ｃについて説明する。画像超解像装置１Ｃは、画像超解像装置１（図１参照）と同様、入力画像よりも解像度の高い画像（超解像画像）を生成するものである。画像超解像装置１は、図１で説明したように、入力画像Ｇから切り出した参照ブロックＨに対して劣化過程を模擬することで、損失成分を生成する構成である。これに対し、第３実施形態に係る画像超解像装置１Ｃは、入力画像Ｇそのものに劣化過程を模擬することで、損失成分を生成する構成とした。
【０１０７】
以下、画像超解像装置１と異なる構成について説明する。なお、画像超解像装置１と同一の構成については、同一の符号を付して説明を省略する。
画像超解像装置１Ｃは、画像超解像装置１の参照ブロック選択劣化手段３０を参照ブロック選択劣化手段３０Ｃに替えて構成した。
【０１０８】
参照ブロック選択劣化手段３０Ｃは、入力画像Ｇに、入力画像Ｇの劣化していく過程（劣化過程）に相当する劣化処理を施し、その劣化した画像から予め定めた大きさのブロックを複数選択するものである。ここでは、参照ブロック選択劣化手段３０Ｃは、参照ブロック切り出し手段３１Ｃと、劣化モデル手段３２Ｃと、ブロック記憶手段３３と、類似度算出手段３４と、劣化参照ブロック切り出し手段３５と、を備えている。ブロック記憶手段３３および類似度算出手段３４は、画像超解像装置１（図１）と同じ構成である。
【０１０９】
参照ブロック切り出し手段３１Ｃは、後記する劣化参照ブロック切り出し手段３５で、劣化過程を模擬したブロック（劣化参照ブロックＨＤ２）を切り出す際の基準となる予め定めた大きさのブロック（参照ブロックＨ）を、入力画像Ｇから順次切り出すものである。この参照ブロック切り出し手段３１Ｃは、切り出した参照ブロックＨを、ブロック記憶手段３３に書き込むとともに、参照ブロックＨの切り出し位置を劣化参照ブロック切り出し手段３５に出力する。
なお、参照ブロック切り出し手段３１Ｃにおける参照ブロックＨの切り出し方については、図１で説明した参照ブロック切り出し手段３１と同じである。
【０１１０】
劣化モデル手段３２Ｃは、入力画像Ｇに対して、予め定めた劣化処理を施すものである。ここでは、劣化モデル手段３２Ｃは、縮小劣化手段３２１Ｃと、非縮小劣化手段３２２Ｃと、を備えている。
【０１１１】
縮小劣化手段３２１Ｃは、入力画像Ｇに対して画像縮小を行うことで、縮小に伴う画像の劣化を模擬するものである。以後、この縮小された画像を縮小入力画像（Ｇ１）と呼ぶ。この縮小劣化手段３２１Ｃは、生成した縮小入力画像Ｇ１を非縮小劣化手段３２２Ｃに出力する。
この縮小劣化手段３２１Ｃにおける縮小処理は、予め定めた任意の手法で行うことができる。例えば、縮小劣化手段３２１Ｃは、縮小手法として、最近傍法、線形補間法、Ｂｉｃｕｂｉｃ補間法等の画素値の補間法により入力画像Ｇを縮小する。
【０１１２】
なお、縮小劣化手段３２１Ｃにおける入力画像Ｇの縮小率は、処理ブロック拡大手段２０における処理ブロックＤの拡大率の逆比率とする。すなわち、処理ブロックＤの拡大率が縦横それぞれ２倍ならば、縮小劣化手段３２１Ｃにおける縮小率は、縦横それぞれ２分の１とする。
【０１１３】
非縮小劣化手段３２２Ｃは、縮小劣化手段３２１Ｃで縮小された縮小入力画像Ｇ１に対して、縮小劣化以外の予め定めた劣化を模擬するものである。ここでは、非縮小劣化手段３２２Ｃは、予め定めた符号化による劣化を模擬するものとする。以後、この劣化された画像を劣化入力画像（Ｇ２）と呼ぶ。この非縮小劣化手段３２２Ｃは、生成した劣化入力画像Ｇ２を劣化参照ブロック切り出し手段３５に出力する。
【０１１４】
この非縮小劣化手段３２２Ｃは、例えば、以下の手法により符号化による劣化を模擬する。すなわち、非縮小劣化手段３２２Ｃは、入力画像Ｇの元となる符号化された画像において用いられていた符号化方式により、縮小入力画像Ｇ１を符号化し、復号する。これによって、入力画像Ｇが経た符号化による劣化が模擬されることになる。
【０１１５】
劣化参照ブロック切り出し手段３５は、参照ブロック切り出し手段３１Ｃから入力した参照ブロックＨの切り出し位置に対応するブロック（劣化参照ブロックＨＤ２）を、劣化モデル手段３２Ｃで生成された劣化入力画像Ｇ２から切り出すものである。
【０１１６】
この参照ブロックＨの切り出し位置に対応するブロックとは、入力画像Ｇ上の参照ブロックＨが、縮小劣化手段３２１Ｃにおける縮小率で縮小された位置に相当する劣化入力画像Ｇ２上のブロックである。具体的には、ここでは、画像超解像装置１Ｃは、入力画像Ｇを縦横２倍に拡大した超解像画像ＳＧを生成するため、参照ブロックＨの位置である水平座標（Ｘ座標）および垂直座標（Ｙ座標）をそれぞれ１／２倍した座標位置が、劣化入力画像Ｇ２の位置となる。また、劣化参照ブロックＨＤ２の大きさは、処理ブロック切り出し手段１０で切り出される処理ブロックＤと同じ大きさである。
この劣化参照ブロック切り出し手段３５は、切り出した劣化参照ブロックＨＤ２を、参照ブロックＨと対応付けてブロック記憶手段３３に書き込む。
【０１１７】
以上説明したように、画像超解像装置１Ｃは、画像超解像装置１（図１）と同様に、縮小劣化および非縮小劣化による劣化過程を模擬して、入力画像Ｇを拡大する際に、その模擬した劣化過程の損失成分を補完することができる。
【０１１８】
＜第４実施形態＞
次に、図４を参照して、本発明の第４実施形態に係る画像超解像装置１Ｄについて説明する。画像超解像装置１Ｄは、画像超解像装置１Ｃ（図３参照）と同様、入力画像よりも解像度の高い画像（超解像画像）を生成するものである。画像超解像装置１Ｃは、図３で説明したように、参照ブロックＨとそれを劣化させた劣化参照ブロックＨＤ２とを入力画像Ｇから生成し、予めブロック記憶手段３３に記憶しておき、損失成分生成手段４０が逐次参照する構成である。これに対し、第４実施形態に係る画像超解像装置１Ｄは、ブロック記憶手段３３を備えない構成とした。
【０１１９】
以下、画像超解像装置１，１Ｃと異なる構成について説明する。なお、画像超解像装置１，１Ｃと同一の構成については、同一の符号を付して説明を省略する。
画像超解像装置１Ｄは、画像超解像装置１Ｃの参照ブロック選択劣化手段３０Ｃを参照ブロック選択劣化手段３０Ｄに替え、損失成分生成手段４０を損失成分生成手段４０Ｄに替えて構成した。
【０１２０】
参照ブロック選択劣化手段３０Ｄは、入力画像Ｇに、入力画像Ｇの劣化過程に相当する劣化処理を施し、その劣化画像から予め定めた大きさのブロックを複数選択するものである。ここでは、参照ブロック選択劣化手段３０Ｄは、劣化モデル手段３２Ｃと、類似度算出手段３４Ｄと、劣化参照ブロック切り出し手段３５Ｄと、を備えている。劣化モデル手段３２Ｃは、画像超解像装置１Ｃ（図３）と同じ構成である。
【０１２１】
類似度算出手段３４Ｄは、処理ブロック切り出し手段１０で切り出された処理ブロックＤごとに、後記する劣化参照ブロック切り出し手段３５Ｄで切り出された複数の劣化参照ブロックＨＤ２との類似度を算出するものである。この類似度の算出手法は、図１で説明した画像超解像装置１の類似度算出手段３４と同じである。
この類似度算出手段３４Ｄは、算出した類似度を超解像ブロック合成手段５０に出力するとともに、類似度を算出した劣化参照ブロックＨＤ２の劣化前のブロックに相当する参照ブロックの切り出し位置を損失成分生成手段４０Ｄに出力する。
【０１２２】
劣化参照ブロック切り出し手段３５Ｄは、劣化モデル手段３２Ｃで生成された劣化入力画像Ｇ２から、処理ブロック切り出し手段１０で切り出される処理ブロックＤと同じ大きさのブロック（劣化参照ブロックＨＤ２）を複数切り出すものである。この劣化参照ブロック切り出し手段３５Ｄは、切り出した劣化参照ブロックＨＤ２を、類似度算出手段３４Ｄに出力する
【０１２３】
損失成分生成手段４０Ｄは、参照ブロック選択劣化手段３０Ｄで選択された劣化参照ブロックの劣化による損失成分を生成するものである。ここでは、損失成分生成手段４０Ｄは、劣化参照ブロック拡大手段４１と、損失成分算出手段４２と、参照ブロック切り出し手段４３Ｄと、劣化モデル手段４４Ｄと、劣化参照ブロック切り出し手段４５と、を備えている。劣化参照ブロック拡大手段４１および損失成分算出手段４２は、画像超解像装置１（図１）と同じ構成である。
【０１２４】
参照ブロック切り出し手段４３Ｄは、入力画像Ｇから、参照ブロック選択劣化手段３０Ｄ（類似度算出手段３４Ｄ）から入力した切り出し位置で参照ブロックＨを切り出すものである。なお、この参照ブロック切り出し手段４３Ｄは、参照ブロック選択劣化手段３０Ｄ（類似度算出手段３４Ｄ）から指示される切り出し位置から参照ブロックＨを切り出すことのみが、参照ブロック切り出し手段３１Ｃ（図３）と異なっている。この参照ブロック切り出し手段４３Ｄは、切り出した参照ブロックＨを、損失成分算出手段４２に出力するとともに、参照ブロックＨの切り出し位置を劣化参照ブロック切り出し手段４５に出力する。
【０１２５】
劣化モデル手段４４Ｄは、入力画像Ｇに対して画像縮小を行うことで、縮小に伴う画像の劣化を模擬するものである。この劣化モデル手段４４Ｄは、劣化モデル手段３２Ｃと同じものであり、縮小劣化手段３２１Ｃと同じ機能を有する縮小劣化手段４４１Ｄと、非縮小劣化手段３２２Ｃと同じ機能を有する非縮小劣化手段４４２Ｄとを備えている。
そして、非縮小劣化手段４４２Ｄは、生成した劣化入力画像Ｇ２を劣化参照ブロック切り出し手段４５に出力する。
【０１２６】
劣化参照ブロック切り出し手段４５は、参照ブロック切り出し手段４３Ｄから入力した参照ブロックＨの切り出し位置に対応するブロック（劣化参照ブロックＨＤ２）を、劣化モデル手段４４Ｄで生成された劣化入力画像Ｇ２から切り出すものである。この劣化参照ブロック切り出し手段４５は、劣化参照ブロック切り出し手段３５Ｄと同じ機能を有するものである。
この劣化参照ブロック切り出し手段４５は、切り出した劣化参照ブロックＨＤ２を、劣化参照ブロック拡大手段４１に出力する。
【０１２７】
以上説明したように、画像超解像装置１Ｄは、画像超解像装置１，１Ｃ（図１，図３）と同様に、縮小劣化および非縮小劣化による劣化過程を模擬して、入力画像Ｇを拡大する際に、その模擬した劣化過程の損失成分を補完することができる。これによって、画像超解像装置１Ｄは、入力画像Ｇから、劣化による成分を補完した高画質な超解像画像ＳＧを生成することができる。また、画像超解像装置１Ｄは、容量の大きい記憶媒体を構成から省くことができるため、装置を安価に製造することができる。
【０１２８】
以上、画像超解像装置１とその変形例となる画像超解像装置１Ｂ，１Ｃ，１Ｄとについて、第１〜第４実施形態として説明した。
これによって、画像超解像装置１，１Ｂ，１Ｃ，１Ｄは、入力画像が経た劣化過程を考慮して、高周波成分を付加するとともに、符号化に伴う劣化を補完して、高画質な超解像画像を生成することができる。
【０１２９】
＜第５実施形態＞
次に、図７を参照して、本発明の第５実施形態に係る画像超解像装置２について説明する。画像超解像装置２は、画像超解像装置１，１Ｂ，１Ｃ，１Ｄ（図１〜図４参照）と同様、入力画像よりも解像度の高い画像（超解像画像）を生成するものである。画像超解像装置１，１Ｂ，１Ｃ，１Ｄは、入力画像Ｇに対して、劣化過程を模擬した損失成分を１回加算することで超解像画像ＳＧを生成する構成である。これに対し、画像超解像装置２は、画像超解像装置１，１Ｂ，１Ｃ，１Ｄが行う超解像処理を反復する構成とした。
【０１３０】
ここでは、画像超解像装置２は、処理ブロック切り出し手段１０と、処理ブロック拡大手段２０と、参照ブロック選択劣化手段３０と、損失成分生成手段４０と、超解像ブロック合成手段５０と、超解像画像構成手段６０Ｅと、入力切り換え手段７０と、拡大画像記憶手段８０と、画像縮小手段９０と、を備えている。処理ブロック切り出し手段１０、処理ブロック拡大手段２０、参照ブロック選択劣化手段３０、損失成分生成手段４０および超解像ブロック合成手段５０は、図１で説明した構成と同一であるため、同一の符号を付して説明を省略する。
【０１３１】
超解像画像構成手段６０Ｅは、超解像ブロック合成手段５０で生成された超解像ブロックＳＲを処理ブロック切り出し手段１０で切り出した処理ブロックＤに対応する位置に配置することで、超解像画像ＳＧを生成するものである。なお、この超解像ブロックＳＲを配置することで超解像画像を生成する手法は、図１で説明した超解像画像構成手段６０と同一である。
【０１３２】
この超解像画像構成手段６０Ｅは、生成する超解像画像を入力画像Ｇの拡大画像として、逐次、拡大画像記憶手段８０に記憶し、拡大画像の生成を予め定めた条件で反復した後、拡大画像を超解像画像として出力する点が、図１で説明した超解像画像構成手段６０と異なっている。ここでは、超解像画像構成手段６０Ｅは、ブロック更新手段６１と、反復判定手段６２と、を備えている。
【０１３３】
ブロック更新手段６１は、超解像ブロック合成手段５０で生成された超解像ブロックＳＲを、拡大画像記憶手段８０上において、処理ブロックＤに対応する位置に配置するものである。すなわち、ブロック更新手段６１は、超解像ブロック合成手段５０で生成される超解像ブロックＳＲを配置することで、入力画像Ｇを処理ブロック拡大手段２０における拡大率で拡大した拡大画像ＬＧを生成する。
また、ブロック更新手段６１は、超解像ブロック合成手段５０から同一の位置に配置する超解像ブロックＳＲが入力された場合、拡大画像記憶手段８０上において超解像ブロックＳＲを更新する。
【０１３４】
なお、ブロック更新手段６１は、超解像ブロックＳＲを更新する際に、更新前後の超解像ブロックＳＲの差分が予め定めた閾値以上の場合に更新を行い、更新前後の超解像ブロックＳＲの差分が予め定めた閾値よりも小さい場合は、更新を行わないこととしてもよい。ここで、差分としては、超解像ブロックＳＲ内の画素値の絶対値誤差や二乗誤差の総和を用いることができる。
【０１３５】
反復判定手段６２は、拡大画像記憶手段８０上に構成する拡大画像ＬＧを、超解像処理を反復させることにより再生成するか否かを判定するものである。
この反復の判定は、例えば、予め定めた回数で判定する。また、ブロック更新手段６１において、更新を行う超解像ブロックＳＲの数が予め定めた数以下となった場合に、反復を停止すると判定することとしてもよい。
【０１３６】
この反復判定手段６２は、反復を行うと判定した場合、画像縮小手段９０に対して、拡大画像記憶手段８０に記憶されている拡大画像ＬＧの縮小を指示する。また、このとき、反復判定手段６２は、入力切り換え手段７０に対して、入力画像を、画像縮小手段９０が生成する処理画像ＴＧに切り換える旨を指示する。これによって、超解像処理の反復が実行されることになる。
一方、反復判定手段６２は、反復を行わない（終了）と判定した場合、拡大画像記憶手段８０に記憶されている拡大画像ＬＧを読み出して、超解像画像ＳＧとして出力する。
【０１３７】
入力切り換え手段７０は、超解像処理を行う対象となる画像を、外部から入力する入力画像Ｇか、画像縮小手段９０で生成される処理画像ＴＧかを切り換えるものである。
この入力切り換え手段７０は、初期段階では、入力画像Ｇを超解像する対象とし、超解像画像構成手段６０Ｅ（反復判定手段６２）から、切り換えを指示された段階で、処理画像ＴＧを超解像する対象として切り換える。この切り換えられた画像（入力画像Ｇまたは処理画像ＴＧ）は、処理ブロック切り出し手段１０と、参照ブロック選択劣化手段３０とに出力される。
【０１３８】
拡大画像記憶手段８０は、超解像画像構成手段６０Ｅで生成される拡大画像ＬＧを記憶するものである。この拡大画像記憶手段８０は、例えば、半導体メモリ等の一般的な記憶媒体を用いることができる。
この拡大画像記憶手段８０は、超解像画像構成手段６０Ｅによって更新される。また、超解像処理が反復される場合、画像縮小手段９０によって拡大画像ＬＧが読み出され、超解像処理が終了した場合、超解像画像構成手段６０Ｅによって拡大画像ＬＧが超解像画像ＳＧとして読み出される。
【０１３９】
画像縮小手段９０は、拡大画像記憶手段８０に記憶されている拡大画像ＬＧを画像縮小し、超解像処理の対象となる処理画像ＴＧを生成するものである。
この画像縮小手段９０における縮小処理は、予め定めた任意の手法で行うことができる。例えば、画像縮小手段９０は、縮小手法として、最近傍法、線形補間法、Ｂｉｃｕｂｉｃ補間法等の画素値の補間法により拡大画像ＬＧを縮小する。
【０１４０】
なお、画像縮小手段９０における拡大画像ＬＧの縮小率は、処理ブロック拡大手段２０における処理ブロックＤの拡大率の逆比率とする。すなわち、処理ブロックＤの拡大率が縦横それぞれ２倍ならば、画像縮小手段９０における縮小率は、縦横それぞれ２分の１とする。
【０１４１】
このように、画像超解像装置２を構成することで、超解像処理が反復されることになる。これによって、例えば、入力画像Ｇそのものに高周波成分が少ない場合であっても、超解像処理の反復によって、高周波成分が付加されていくため、高画質な超解像画像ＳＧを生成することができる。
【０１４２】
なお、ここでは、画像超解像装置２を、図１で説明した画像超解像装置１の超解像処理を反復する構成とした。しかし、図２〜図４で説明した画像超解像装置１Ｂ，１Ｃ，１Ｄの超解像処理を反復する構成としてもよい。
すなわち、画像超解像装置２は、処理ブロック切り出し手段１０、処理ブロック拡大手段２０、参照ブロック選択劣化手段３０、損失成分生成手段４０および超解像ブロック合成手段５０を、図２〜図４で説明した画像超解像装置１Ｂ，１Ｃ，１Ｄの対応する構成で置き換えて構成することも可能である。
【０１４３】
（画像超解像装置２の超解像処理）
最後に、図８を参照（構成に付いては適宜図７参照）して、画像超解像装置２が行う超解像処理を、各手段によって生成されるブロック（画像）の流れで模式的に説明する。
まず、画像超解像装置２は、入力画像Ｇが入力されると、参照ブロック選択劣化手段３０によって、予め定めた大きさの参照ブロックＨ１（Ｈ）と、当該ブロックを劣化処理した縮小参照ブロックＨＤ２１（ＨＤ２）を生成する。そして、画像超解像装置２は、損失成分生成手段４０によって、縮小参照ブロックＨＤ２１を拡大し、参照ブロックＨ１と差分をとることで、損失成分ＨＦ１（ＨＦ）を生成する。
【０１４４】
また、画像超解像装置２は、処理ブロック切り出し手段１０によって、入力画像Ｇから、順次、処理ブロックＤ１（Ｄ）を切り出し拡大することで、拡大処理ブロックＬ１（Ｌ）を生成する。そして、画像超解像装置２は、超解像ブロック合成手段５０によって、拡大処理ブロックＬ１に、処理ブロックＤ１と類似する縮小参照ブロックＨＤ１から生成された損失成分ＨＦ１を加算することで、超解像ブロックＳＲ１（ＳＲ）を生成する。
【０１４５】
このとき、画像超解像装置２は、超解像画像構成手段６０Ｅのブロック更新手段６１によって、超解像ブロック合成手段５０で生成される超解像ブロックＳＲ１を順次配置することで、拡大画像記憶手段８０上に拡大画像ＬＧ１（ＬＧ）を生成する。
そして、画像超解像装置２は、超解像画像構成手段６０Ｅの反復判定手段６２によって、反復回数等によって反復を行うか否かを判定する。
そして、反復を行うと判定された場合、画像超解像装置２は、画像縮小手段９０によって、拡大画像記憶手段８０に記憶されている拡大画像ＬＧ１を縮小して、処理画像ＴＧを生成する。
【０１４６】
以降、画像超解像装置２は、入力画像Ｇの代わりに、処理画像ＴＧに対して、前記した処理を繰り返す。
そして、画像超解像装置２は、超解像画像構成手段６０Ｅの反復判定手段６２によって、反復を行わないと判定された段階で、拡大画像記憶手段８０に記憶されている拡大画像ＬＧ２を、超解像画像ＳＧ２として出力する。
【０１４７】
以上、本発明の実施形態に係る画像超解像装置１（図１），１Ｂ（図２），１Ｃ（図３），１Ｄ（図４），２（図７）について説明したが、これらは、一般的なＣＰＵ、ＲＡＭ、ＲＯＭなどで構成することができ、コンピュータを、前記した各手段として機能させるプログラム（画像超解像プログラム）で動作させることができる。
【符号の説明】
【０１４８】
１，２ 画像超解像装置
１０ 処理ブロック切り出し手段
２０ 処理ブロック拡大手段
３０ 参照ブロック選択劣化手段
３１ 参照ブロック切り出し手段
３２ 劣化モデル手段
３２１ 縮小劣化手段
３２２ 非縮小劣化手段
３３ ブロック記憶手段
３４ 類似度算出手段
３５ 劣化参照ブロック切り出し手段
４０ 損失成分生成手段
４１ 劣化参照ブロック拡大手段
４２ 損失成分算出手段
４３ 参照ブロック切り出し手段
４４ 劣化モデル手段
４４１ 縮小劣化手段
４４２ 非縮小劣化手段
４５ 劣化参照ブロック切り出し手段
５０ 超解像ブロック合成手段
６０ 超解像画像構成手段
６１ ブロック更新手段
６２ 反復判定手段
７０ 入力切り換え手段
８０ 拡大画像記憶手段
９０ 画像縮小手段
【技術分野】
【０００１】
本発明は、画像から、当該画像よりも解像度の高い画像を生成する画像超解像装置およびそのプログラムに関する。
【背景技術】
【０００２】
一般に、画像を元のサイズよりも大きくしてディスプレイやプリンタに出力するには、画像の拡大処理が必要となる。この画像の拡大処理には、処理の簡便さから、線形補間、バイキュービック法（Ｂｉｃｕｂｉｃ法）等の画素値の補間法が広く利用されている。
しかし、これらの画素値の補間法では、拡大した画像にボケが生じるという問題がある。その大きな原因として、拡大した画像には、高周波成分が十分含まれていないことが挙げられる。
【０００３】
従来、このような拡大した画像にボケが生じるのを抑えるため、画像の高周波成分を新たに生成し、拡大した画像に足し合わせる超解像手法が提案されている（非特許文献１参照）。この非特許文献１に記載された手法では、学習用データを用意し、それらから画像の低周波成分と高周波成分との相関を学習する。そして、この手法は、処理対象の入力画像を拡大する際に、学習した相関を基に高周波成分を推定し、拡大した画像に足し合わせることで超解像画像を生成する。
【０００４】
また一方で、学習データを用いずに高周波成分を推定し、超解像画像を生成する手法も提案されている（特許文献１参照）。この特許文献１に記載された手法では、入力画像内に存在する画像（画素値の分布）の局所的な相似性を利用し、高周波成分を生成する。
【０００５】
具体的には、この手法は、以下の手順により超解像画像を生成する。
まず、入力画像から相似関係にある大小一組のブロックを切り出し、それらのＤＣＴ（離散コサイン変換）係数を算出する。そして、小さい方のブロックのＤＣＴ係数を、大きい方のブロックのＤＣＴ係数のうち対応するものと置き換える。そして、その置き換えた大きい方のブロックのＤＣＴ係数を逆ＤＣＴすることで、拡大した超解像ブロックの画素値を得る。例えば、小さい方のブロックのサイズを８×８画素、大きい方のブロックのサイズを１６×１６画素としたとき、大きい方のブロックのＤＣＴ係数（１６×１６）のうち、低周波領域の８×８画素のＤＣＴ係数を小さい方のブロックのＤＣＴ係数（８×８）で置き換える。そして、その置き換えて生成したＤＣＴ係数（１６×１６）を逆ＤＣＴすることで、８×８画素の小さいブロックに対応した１６×１６画素の超解像ブロックを生成する。同様な処理を、画像全体の小さいブロックに対して行い、小さいブロックのそれぞれを対応する超解像ブロックに置き換えることで、超解像画像を生成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−３１２２９４号公報
【非特許文献】
【０００７】
【非特許文献１】W.T.Freeman, E.C.Pasztor and O.T.Carmichael: “Learning Low-Level Vision”, International Journal of Computer Vision, Vol40, No1, pp.25-47(2000).
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一般に処理対象となる入力画像は、種々の劣化過程を経ている。例えば、画像取得時（撮影時）の劣化、信号伝送時の劣化、画像縮小による劣化、画像符号化による劣化等を経ている。これらの劣化過程は、複合的に作用している。すなわち、超解像画像を高画質で生成するためには、入力画像が経たこれらの劣化過程を考慮する必要がある。
【０００９】
しかし、前記したように、非特許文献１や特許文献１に記載された手法は、入力画像を拡大する際に、高周波成分を拡大した画像に足し合わせることで、超解像画像を生成している。
すなわち、特許文献１に記載された手法は、画像縮小による劣化過程しか考慮していない。そのため、入力画像が画像縮小以外の劣化過程を経た場合、必ずしも適切な超解像処理ができるとは限らない。例えば、ほとんどのスチルカメラやビデオカメラで撮影された画像や映像は、記録する際に圧縮符号化による劣化過程を経ている。その結果、特許文献１に記載された手法では、圧縮符号化による劣化過程を経た画像から、高画質な超解像画像を生成できないことがあるという問題がある。
【００１０】
また、非特許文献１に記載された手法は、入力画像が経た劣化過程を学習するのに適切な学習用データを用意する必要がある。しかし、実際には、劣化過程は入力画像ごとに異なる。例えば、画像の縮小サイズの違いや、適用した符号化方式によってその劣化が異なる。そのため、非特許文献１に記載された手法では、入力画像が経た劣化過程に対応する様々な学習用データを用意しなければいけないという問題がある。
【００１１】
本発明は、以上のような問題に鑑みてなされたものであり、学習用データを用意することが不要で、画像縮小以外の劣化過程を経た入力画像に対しても、高画質な超解像画像を生成することが可能な画像超解像装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１２】
本発明は、前記課題を達成するために創案されたものである。まず、請求項１に記載の画像超解像装置は、予め定めた符号化方式による符号化および復号により劣化した入力画像を、予め定めた拡大率で拡大し、超解像画像を生成する画像超解像装置であって、処理ブロック切り出し手段と、処理ブロック拡大手段と、参照ブロック切り出し手段と、劣化モデル手段と、類似度算出手段と、劣化参照ブロック拡大手段と、損失成分算出手段と、超解像ブロック合成手段と、超解像画像構成手段と、を備える構成とした。
【００１３】
かかる構成において、画像超解像装置は、処理ブロック切り出し手段によって、入力画像を予め定めた大きさの処理ブロックに分割して切り出す。この処理ブロックが、以降の処理における基準のブロックとなる。そして、画像超解像装置は、処理ブロック拡大手段によって、入力画像を拡大する際の拡大率で処理ブロックを拡大して拡大処理ブロックを生成する。
【００１４】
また、画像超解像装置は、参照ブロック切り出し手段によって、入力画像から、拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す。そして、画像超解像装置は、劣化モデル手段によって、入力画像を拡大する際の拡大率の逆比率で参照ブロックを縮小するとともに、入力画像が経た符号化方式による劣化モデルで劣化させて、劣化参照ブロックを生成する。この符号化方式による劣化モデルは、例えば、符号化方式で予め定めた直交変換や量子化を模擬するモデルである。これによって、復元目標となる超解像画像が仮想の劣化を経て入力画像が生成されたと仮定した際の劣化過程を模擬した複数の劣化参照ブロックが生成されることになる。
【００１５】
そして、画像超解像装置は、類似度算出手段によって、劣化参照ブロックと処理ブロックとの類似度を算出する。この類似度が高いほど、劣化参照ブロックと処理ブロックとの劣化過程が類似するといえる。
【００１６】
また、画像超解像装置は、劣化参照ブロック拡大手段によって、入力画像を拡大する際の拡大率で劣化参照ブロックを拡大して復元参照ブロックを生成する。さらに、画像超解像装置は、損失成分算出手段によって、復元参照ブロックと参照ブロックとの差分を算出する。この差分は、参照ブロックが劣化過程を経ることで生じた損失成分とみなすことができる。すなわち、この損失成分には、縮小および拡大によって損失される高周波成分や、符号化および復号によって損失される劣化成分が含まれることになる。
【００１７】
そして、画像超解像装置は、超解像ブロック合成手段によって、類似度に基づいて拡大処理ブロックと損失成分とを合成する。これによって、処理ブロックを超解像した超解像ブロックが生成されることになる。そして、画像超解像装置は、超解像画像構成手段によって、超解像ブロックを画像として構成する。これによって、入力画像が拡大された超解像画像が生成されることになる。
【００１８】
また、請求項２に記載の画像超解像装置は、予め定めた符号化方式による符号化および復号により劣化した入力画像を、予め定めた拡大率で拡大し、超解像画像を生成する画像超解像装置であって、処理ブロック切り出し手段と、処理ブロック拡大手段と、参照ブロック切り出し手段と、劣化モデル手段と、劣化参照ブロック切り出し手段と、類似度算出手段と、劣化参照ブロック拡大手段と、損失成分算出手段と、超解像ブロック合成手段と、超解像画像構成手段と、を備える構成とした。
【００１９】
かかる構成において、画像超解像装置は、処理ブロック切り出し手段によって、入力画像を予め定めた大きさの処理ブロックに分割して切り出す。そして、画像超解像装置は、処理ブロック拡大手段によって、入力画像を拡大する際の拡大率で処理ブロックを拡大して拡大処理ブロックを生成する。
【００２０】
また、画像超解像装置は、参照ブロック切り出し手段によって、入力画像から、拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す。そして、画像超解像装置は、劣化モデル手段によって、入力画像を拡大する際の拡大率の逆比率で入力画像を縮小するとともに、入力画像が経た符号化方式による符号化および復号により劣化させて、劣化入力画像を生成する。
【００２１】
そして、画像超解像装置は、劣化参照ブロック切り出し手段によって、劣化入力画像から、処理ブロックと同一の大きさで、参照ブロックの位置に対応した複数のブロックを劣化参照ブロックとして切り出す。これによって、復元目標となる超解像画像が仮想の劣化を経て入力画像が生成されたと仮定した際の劣化過程を模擬した複数の劣化参照ブロックが生成されることになる。
【００２２】
そして、画像超解像装置は、類似度算出手段によって、劣化参照ブロックと処理ブロックとの類似度を算出する。この類似度が高いほど、劣化参照ブロックと処理ブロックとの劣化過程が類似するといえる。
【００２３】
また、画像超解像装置は、劣化参照ブロック拡大手段によって、入力画像を拡大する際の拡大率で劣化参照ブロックを拡大して復元参照ブロックを生成する。さらに、画像超解像装置は、損失成分算出手段によって、復元参照ブロックと参照ブロックとの差分を算出する。この差分は、参照ブロックが劣化過程を経ることで生じた損失成分とみなすことができる。すなわち、この損失成分には、縮小および拡大によって損失される高周波成分や、符号化および復号によって損失される劣化成分が含まれることになる。
【００２４】
そして、画像超解像装置は、超解像ブロック合成手段によって、類似度に基づいて拡大処理ブロックと損失成分とを合成する。これによって、処理ブロックを超解像した超解像ブロックが生成されることになる。そして、画像超解像装置は、超解像画像構成手段によって、超解像ブロックを画像として構成する。これによって、入力画像が拡大された超解像画像が生成されることになる。
【００２５】
また、請求項３に記載の画像超解像装置は、請求項１または請求項２に記載の画像超解像装置において、超解像ブロック合成手段が、拡大処理ブロックに、複数の参照ブロックから生成された損失成分を、類似度に基づいて重み付き加算する構成とした。
【００２６】
かかる構成において、画像超解像装置は、超解像ブロック合成手段によって、拡大処理ブロックに、当該拡大処理ブロックに類似する参照ブロックから生成された損失成分をより多く加算することになる。これによって、劣化過程が近い参照ブロックによって生成された損失成分がより多く含まれた超解像ブロックが生成される。
【００２７】
さらに、請求項４に記載の画像超解像装置は、請求項１から請求項３のいずれか一項に記載の画像超解像装置において、類似度算出手段が、劣化参照ブロックと処理ブロックとの画素ごとの類似度を算出し、超解像ブロック合成手段が、拡大処理ブロックに、複数の参照ブロックから生成された損失成分を、画素ごとの類似度に基づいて画素ごとに重み付き加算する構成とした。
【００２８】
かかる構成において、画像超解像装置は、超解像ブロック合成手段によって、拡大処理ブロックに、当該拡大処理ブロックに類似する参照ブロックから生成された損失成分を画素ごとにより多く加算することになる。これによって、劣化過程が近い参照ブロックによって生成された損失成分が画素ごとにより多く含まれた超解像ブロックが生成される。
【００２９】
また、請求項５に記載の画像超解像装置は、請求項１から請求項４のいずれか一項に記載の画像超解像装置において、超解像画像構成手段で生成された画像である拡大画像を記憶する拡大画像記憶手段と、拡大画像記憶手段に記憶されている拡大画像を縮小した処理画像を生成する画像縮小手段と、処理対象の画像を前記入力画像から前記処理画像に切り換える入力切り換え手段とを、さらに備え、超解像画像構成手段が、反復判定手段を備える構成とした。
【００３０】
かかる構成において、画像超解像装置は、超解像画像構成手段の反復判定手段によって、画像縮小手段に対して処理画像を生成させ、入力切り換え手段に対して、処理対象の画像を画像縮小手段が生成した処理画像とすることで拡大画像の生成を繰り返す。そして、予め定めた回数繰り返した段階で、超解像画像構成手段は、拡大画像を超解像画像として出力する。このように、画像の超解像処理と縮小処理を順次繰り返すことで、拡大画像には順次高周波成分が付加されることになる。
【００３１】
また、請求項６に記載の画像超解像装置は、請求項１から請求項４のいずれか一項に記載の画像超解像装置において、超解像画像構成手段で生成された画像である拡大画像を記憶する拡大画像記憶手段と、拡大画像記憶手段に記憶されている拡大画像を縮小した処理画像を生成する画像縮小手段と、処理対象の画像を前記入力画像から前記処理画像に切り換える入力切り換え手段とを、さらに備え、超解像画像構成手段が、ブロック更新手段と、反復判定手段と、を備える構成とした。
【００３２】
かかる構成において、画像超解像装置は、超解像画像構成手段のブロック更新手段によって、更新前後の超解像ブロックの差分が予め定めた閾値以上の場合にのみ新たな超解像ブロックで拡大画像を更新する。これによって、更新による効果の小さいブロックに対しては更新がされなくなる。
【００３３】
そして、画像超解像装置は、超解像画像構成手段の反復判定手段によって、画像縮小手段に対して処理画像を生成させ、入力切り換え手段に対して、処理対象の画像を画像縮小手段が生成した処理画像とすることで、拡大画像の生成を繰り返す。そして、ブロック更新手段における更新を行う超解像ブロックの数が予め定めた数以下となった段階で、超解像画像構成手段は、拡大画像を超解像画像として出力する。
【００３４】
また、請求項７に記載の画像超解像プログラムは、予め定めた符号化方式による符号化および復号により劣化した入力画像を、予め定めた拡大率で拡大し、超解像画像を生成するために、コンピュータを、処理ブロック切り出し手段、処理ブロック拡大手段、参照ブロック切り出し手段、劣化モデル手段、類似度算出手段、劣化参照ブロック拡大手段、損失成分算出手段、超解像ブロック合成手段、超解像画像構成手段、として機能させる構成とした。
【００３５】
かかる構成において、画像超解像プログラムは、処理ブロック切り出し手段によって、入力画像を予め定めた大きさの処理ブロックに分割して切り出す。そして、画像超解像プログラムは、処理ブロック拡大手段によって、入力画像を拡大する際の拡大率で処理ブロックを拡大して拡大処理ブロックを生成する。
【００３６】
また、画像超解像プログラムは、参照ブロック切り出し手段によって、入力画像から、拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す。そして、画像超解像プログラムは、劣化モデル手段によって、入力画像を拡大する際の拡大率の逆比率で参照ブロックを縮小するとともに、入力画像が経た符号化方式による劣化モデルで劣化させて、劣化参照ブロックを生成する。そして、画像超解像プログラムは、類似度算出手段によって、劣化参照ブロックと処理ブロックとの類似度を算出する。
【００３７】
また、画像超解像プログラムは、劣化参照ブロック拡大手段によって、入力画像を拡大する際の拡大率で劣化参照ブロックを拡大して復元参照ブロックを生成する。さらに、画像超解像プログラムは、損失成分算出手段によって、復元参照ブロックと参照ブロックとの差分を損失成分として算出する。
【００３８】
そして、画像超解像プログラムは、超解像ブロック合成手段によって、類似度に基づいて拡大処理ブロックと損失成分とを合成することで、処理ブロックを超解像した超解像ブロックを生成する。そして、画像超解像プログラムは、超解像画像構成手段によって、超解像ブロックを超解像画像として構成する。
【００３９】
さらに、請求項８に記載の画像超解像プログラムは、予め定めた符号化方式による符号化および復号により劣化した入力画像を、予め定めた拡大率で拡大し、超解像画像を生成するために、コンピュータを、処理ブロック切り出し手段、処理ブロック拡大手段、参照ブロック切り出し手段、劣化モデル手段、劣化参照ブロック切り出し手段、類似度算出手段、劣化参照ブロック拡大手段、損失成分算出手段、超解像ブロック合成手段、超解像画像構成手段、として機能させる構成とした。
【００４０】
かかる構成において、画像超解像プログラムは、処理ブロック切り出し手段によって、入力画像を予め定めた大きさの処理ブロックに分割して切り出す。そして、画像超解像装置は、処理ブロック拡大手段によって、入力画像を拡大する際の拡大率で処理ブロックを拡大して拡大処理ブロックを生成する。
【００４１】
また、画像超解像装置は、参照ブロック切り出し手段によって、入力画像から、拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す。そして、画像超解像装置は、劣化モデル手段によって、入力画像を拡大する際の拡大率の逆比率で入力画像を縮小するとともに、入力画像が経た符号化方式による符号化および復号により劣化させて、劣化入力画像を生成する。
【００４２】
そして、画像超解像装置は、劣化参照ブロック切り出し手段によって、劣化入力画像から、処理ブロックと同一の大きさで、参照ブロックの位置に対応した複数のブロックを劣化参照ブロックとして切り出す。そして、画像超解像装置は、類似度算出手段によって、劣化参照ブロックと処理ブロックとの類似度を算出する。
【００４３】
また、画像超解像装置は、劣化参照ブロック拡大手段によって、入力画像を拡大する際の拡大率で劣化参照ブロックを拡大して復元参照ブロックを生成する。さらに、画像超解像装置は、損失成分算出手段によって、復元参照ブロックと参照ブロックとの差分を損失成分として算出する。
【００４４】
そして、画像超解像装置は、超解像ブロック合成手段によって、類似度に基づいて拡大処理ブロックと損失成分とを合成することで、処理ブロックを超解像した超解像ブロックを生成する。そして、画像超解像装置は、超解像画像構成手段によって、超解像ブロックを超解像画像として構成する。
【発明の効果】
【００４５】
本発明は、以下に示す優れた効果を奏するものである。
請求項１，２，７，８に記載の発明によれば、入力画像から、画像縮小による劣化過程のみならず、圧縮符号化による劣化過程による損失成分を付加して超解像画像を生成することができる。これによって、本発明は、学習を行うことなく、既知の符号化方式で符号化および復号された入力画像から、高周波成分を付加し、符号劣化した成分を補完することで、高画質な超解像画像を生成することができる。
【００４６】
請求項３に記載の発明によれば、複数の参照ブロックから生成される損失成分を、類似度に応じて、拡大処理ブロックに加算するため、加算するブロックごとの損失成分の精度を高めることができる。これによって、本発明は、高画質な超解像画像を生成することができる。
【００４７】
請求項４に記載の発明によれば、複数の参照ブロックから生成される損失成分を、画素ごとの類似度に応じて、拡大処理ブロックの画素ごとに加算するため、加算するブロック内の画素ごとの損失成分の精度を高めることができる。これによって、本発明は、高画質な超解像画像を生成することができる。
【００４８】
請求項５，６に記載の発明によれば、超解像処理を反復して行うことで、生成される超解像画像により多くの高周波成分が付加されることになる。これによって、本発明は、高周波成分が多く含まれていない入力画像であっても、繰り返し高周波成分を補完することで、高画質な超解像画像を生成することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の第１実施形態に係る画像超解像装置の構成を示すブロック図である。
【図２】本発明の第２実施形態に係る画像超解像装置の構成を示すブロック図である。
【図３】本発明の第３実施形態に係る画像超解像装置の構成を示すブロック図である。
【図４】本発明の第４実施形態に係る画像超解像装置の構成を示すブロック図である。
【図５】本発明の第１実施形態に係る画像超解像装置の動作を示すフローチャートである。
【図６】本発明の第１実施形態に係る画像超解像装置が行う処理内容を説明するための模式図である。
【図７】本発明の第５実施形態に係る画像超解像装置の構成を示すブロック図である。
【図８】本発明の第５実施形態に係る画像超解像装置が行う処理内容を説明するための模式図である。
【発明を実施するための形態】
【００５０】
以下、本発明の実施形態について図面を参照して説明する。
＜第１実施形態＞
［画像超解像装置の構成］
まず、図１を参照して、本発明の第１実施形態に係る画像超解像装置１の構成について説明する。画像超解像装置１は、入力画像よりも解像度の高い画像（超解像画像）を生成するものである。なお、超解像とは、入力画像の解像度が、出力画像の解像度に満たない場合に、解像度を補完することをいう。
【００５１】
本発明において、入力画像は、仮想の超解像画像（復元目標とする画像）から縮小その他の劣化過程を経て生成されたものであると仮定する。そして、画像超解像装置１は、その劣化過程を模擬し、劣化により損失した成分を補完することで、超解像画像を生成する。ここでは、入力画像Ｇは、既知の符号化方式（例えば、ＪＰＥＧ、ＭＰＥＧ等）により符号化された画像を復号した画像であるとする。
以下の説明において、画像超解像装置１は、入力画像Ｇを縦横２倍に拡大した超解像画像ＳＧを生成するものとして説明する。この拡大率は、任意の比率が可能であることはいうまでもない。
【００５２】
ここでは、画像超解像装置１は、処理ブロック切り出し手段１０と、処理ブロック拡大手段２０と、参照ブロック選択劣化手段３０と、損失成分生成手段４０と、超解像ブロック合成手段５０と、超解像画像構成手段６０と、を備えている。なお、画像超解像装置１は、図示を省略した入力手段を介して、超解像の処理対象となる画像（入力画像Ｇ）を入力し、図示を省略した出力手段を介して、生成した画像（超解像画像ＳＧ）を外部に出力する。
【００５３】
処理ブロック切り出し手段１０は、入力画像Ｇから、処理単位の基準となる予め定めた大きさのブロックを順次切り出すものである。以後、この切り出したブロックを処理ブロック（Ｄ）と呼ぶ。この処理ブロック切り出し手段１０は、切り出した処理ブロックＤを、順次、処理ブロック拡大手段２０および参照ブロック選択劣化手段３０に出力する。
この処理ブロックの大きさは任意に設定することができる。また、処理ブロック切り出し手段１０は、処理ブロックＤ間で重複領域を設けて切り出すこととしてもよい。このように重複領域を設けることで、後記する超解像画像構成手段６０において、超解像画像を構成する際に、ブロック境界で生じやすい画素値の不連続を抑えることができる。
例えば、処理ブロック切り出し手段１０には、処理ブロックＤを４×４画素の正方形領域、処理ブロックＤ間の重複領域の大きさを２画素幅に予め設定しておく。
【００５４】
処理ブロック拡大手段２０は、処理ブロック切り出し手段１０で切り出された処理ブロックＤを拡大するものである。以後、この拡大された処理ブロックを拡大処理ブロック（Ｌ）と呼ぶ。この処理ブロック拡大手段２０は、生成した拡大処理ブロックＬを、超解像ブロック合成手段５０に出力する。
【００５５】
この処理ブロック拡大手段２０における拡大処理は、予め定めた任意の手法で行うことができる。例えば、処理ブロック拡大手段２０は、拡大手法として、最近傍法、線形補間法、Ｂｉｃｕｂｉｃ補間法等の画素値の補間法により処理ブロックＤを拡大する。また、処理ブロック拡大手段２０は、従来の超解像処理により拡大処理を行うこととしてもよい。
【００５６】
なお、処理ブロック拡大手段２０における処理ブロックＤの拡大率は、画像超解像装置１が行う入力画像Ｇの拡大と同一の拡大率とする。すなわち、ここでは、入力画像Ｇを縦横２倍に拡大するため、処理ブロック拡大手段２０は、処理ブロックＤを縦横それぞれ２倍することで拡大処理ブロックＬを生成する。この拡大率は、図示を省略した入力手段を介して、外部から設定されることとする。
【００５７】
参照ブロック選択劣化手段３０は、入力画像Ｇから、予め定めた大きさのブロックを複数選択し、入力画像Ｇの劣化した過程（劣化過程）に相当する劣化処理を施すことで、入力画像Ｇの劣化過程を模擬するものである。ここでは、参照ブロック選択劣化手段３０は、参照ブロック切り出し手段３１と、劣化モデル手段３２と、ブロック記憶手段３３と、類似度算出手段３４と、を備えている。
【００５８】
参照ブロック切り出し手段３１は、入力画像Ｇから、劣化過程を模擬する予め定めた大きさのブロックを複数切り出すものである。以後、この切り出したブロックを参照ブロック（Ｈ）と呼ぶ。この参照ブロック切り出し手段３１は、切り出した参照ブロックＨを、劣化モデル手段３２に出力するとともに、ブロック記憶手段３３に書き込む。
なお、この参照ブロックＨの大きさは、処理ブロックＤを拡大した拡大処理ブロックＬと同一の大きさとする。すなわち、本実施形態において、参照ブロックＨの大きさは、処理ブロックＤの縦横２倍の大きさとする。
【００５９】
この参照ブロック切り出し手段３１が入力画像Ｇから参照ブロックＨを切り出す間隔は任意であって、予め設定しておくこととする。この切り出し間隔が小さければ（例えば、１画素間隔）、処理量は多くなる。しかし、劣化過程における損失成分の情報を含んだ参照ブロックが多く抽出されることになるため、生成される超解像画像の画質を高めることができる。一方、切り出し間隔が大きければ（例えば、８画素間隔）であれば、切り出し間隔が小さい場合に比べ、超解像画像の画質は劣るが、処理量が少なく高速に超解像画像を生成することができる。
【００６０】
なお、この切り出し間隔は、必ずしも画素単位である必要はない。例えば、０．５画素間隔等、小数間隔としてもよい。この場合、参照ブロック切り出し手段３１は、画素間の画素値を、補間法によって求めることで、切り出す参照ブロックＨの画素値を求める。これによって、より劣化過程における損失成分の情報を含んだ参照ブロックＨが多く抽出され、超解像画像の画質を高めることができる。
【００６１】
劣化モデル手段３２は、参照ブロック切り出し手段３１で切り出された参照ブロックＨに対して、予め定めた劣化モデルで劣化処理を施すものである。ここでは、劣化モデル手段３２は、縮小劣化手段３２１と、非縮小劣化手段３２２と、を備えている。
【００６２】
縮小劣化手段３２１は、参照ブロックＨに対して画像縮小を行うことで、縮小に伴う画像の劣化を模擬するものである。以後、この縮小されたブロックを縮小参照ブロック（ＨＤ１）と呼ぶ。この縮小劣化手段３２１は、生成した縮小参照ブロックＨＤ１を非縮小劣化手段３２２に出力する。
この縮小劣化手段３２１における縮小処理は、予め定めた任意の手法で行うことができる。例えば、縮小劣化手段３２１は、縮小手法として、最近傍法、線形補間法、Ｂｉｃｕｂｉｃ補間法等の画素値の補間法により参照ブロックＨを縮小する。
【００６３】
なお、縮小劣化手段３２１における参照ブロックＨの縮小率は、処理ブロック拡大手段２０における処理ブロックＤの拡大率の逆比率とする。すなわち、処理ブロックＤの拡大率が縦横それぞれ２倍ならば、縮小劣化手段３２１における縮小率は、縦横それぞれ２分の１とする。
【００６４】
非縮小劣化手段３２２は、縮小劣化手段３２１で縮小された縮小参照ブロックＨＤ１に対して、縮小劣化以外の予め定めた劣化を模擬するものである。ここでは、非縮小劣化手段３２２は、予め定めた符号化による劣化を模擬するものとする。以後、この劣化されたブロックを劣化参照ブロック（ＨＤ２）と呼ぶ。この非縮小劣化手段３２２は、生成した劣化参照ブロックＨＤ２を、劣化される前の参照ブロックＨと対応付けてブロック記憶手段３３に書き込む。
【００６５】
この非縮小劣化手段３２２は、例えば、以下の手法により符号化による劣化を模擬する。すなわち、非縮小劣化手段３２２は、縮小参照ブロックＨＤ１を、直交変換（例えば、ＤＣＴ〔Discrete Cosine Transform〕）し、高周波成分を表す直交変換係数を劣化（量子化）させたり、削除（係数値を“０”に設定）したりすることで、符号化による劣化を模擬する。この直交変換係数の劣化や削除は、予め入力画像Ｇの元となる符号化された画像において用いられていた符号化方式により設定しておくものとする。例えば、当該符号化方式で使用された量子化ステップと同じ量子化ステップにより、直交変換係数を量子化する。
【００６６】
ブロック記憶手段３３は、参照ブロック切り出し手段３１で切り出された参照ブロックＨと、劣化モデル手段３２で劣化された劣化参照ブロックＨＤ２とを対応付けて複数記憶するものである。このブロック記憶手段３３は、例えば、半導体メモリ等の一般的な記憶媒体を用いることができる。
このブロック記憶手段３３に記憶された劣化参照ブロックＨＤ２は、類似度算出手段３４および損失成分生成手段４０によって読み出される。また、ブロック記憶手段３３に記憶された参照ブロックＨは、損失成分生成手段４０によって読み出される。
【００６７】
類似度算出手段３４は、処理ブロック切り出し手段１０で切り出された処理ブロックＤごとに、劣化モデル手段３２で生成され、ブロック記憶手段３３に記憶されている複数の劣化参照ブロックＨＤ２との類似度を算出するものである。この類似度算出手段３４は、算出した類似度を超解像ブロック合成手段５０に出力する。
【００６８】
この類似度算出手段３４における類似度の算出手法は一般的な手法を用いればよい。例えば、類似度算出手段３４は、処理ブロックＤと劣化参照ブロックＨＤ２との対応する画素値の差分（絶対値誤差や二乗誤差）を計算し、その差分の総和の逆数や予め定めた指数関数により求めた値を類似度として算出する。あるいは、類似度算出手段３４は、類似度として相互相関を用いてもよい。
【００６９】
損失成分生成手段４０は、参照ブロック選択劣化手段３０で選択され劣化された参照ブロックの劣化による損失成分を生成するものである。なお、この損失成分生成手段４０は、参照ブロック選択劣化手段３０（類似度算出手段３４）が、処理ブロックＤに対して１つの劣化参照ブロックＨＤ２の類似度を超解像ブロック合成手段５０に出力するのに同期して、参照ブロックＨごとの損失成分を生成する。ここでは、損失成分生成手段４０は、劣化参照ブロック拡大手段４１と、損失成分算出手段４２と、を備えている。
【００７０】
劣化参照ブロック拡大手段４１は、参照ブロック選択劣化手段３０の劣化モデル手段３２で生成された劣化参照ブロックＨＤ２を拡大するものである。ここでは、劣化参照ブロック拡大手段４１は、ブロック記憶手段３３に記憶されている劣化参照ブロックＨＤ２を順次読み出して拡大する。以後、この拡大された劣化参照ブロックを復元参照ブロック（ＨＬ）と呼ぶ。この劣化参照ブロック拡大手段４１は、生成した復元参照ブロックＨＬを、損失成分算出手段４２に出力する。
【００７１】
この劣化参照ブロック拡大手段４１における拡大処理は、処理ブロック拡大手段２０と同一の拡大手法を用いて、同一の拡大率で劣化参照ブロックＨＤ２を拡大する。これによって、拡大された復元参照ブロックＨＬは、参照ブロックＨや拡大処理ブロックＬとサイズが等しくなる。
【００７２】
損失成分算出手段４２は、参照ブロック選択劣化手段３０の参照ブロック切り出し手段３１で切り出された参照ブロックＨと、劣化参照ブロック拡大手段４１で生成された復元参照ブロックＨＬとの差分をとることで、参照ブロックＨに対する損失成分ＨＦを算出するものである。ここでは、損失成分算出手段４２は、ブロック記憶手段３３に記憶されている対応する参照ブロックＨと劣化参照ブロックＨＤ２とを順次読み出して損失成分ＨＦを算出する。この損失成分算出手段４２は、参照ブロックＨ（劣化参照ブロックＨＤ２）ごとに算出した損失成分ＨＦを、超解像ブロック合成手段５０に出力する。
【００７３】
このように損失成分算出手段４２は、参照ブロックＨごとに、劣化モデル手段３２における縮小劣化および非縮小劣化に伴う損失成分ＨＦを抽出することができる。この損失成分ＨＦは、処理ブロック拡大手段２０によって拡大された拡大処理ブロックＬには含まれていない、劣化によって損失した信号成分に相当する。
【００７４】
超解像ブロック合成手段５０は、処理ブロック拡大手段２０で生成された拡大処理ブロックＬと、損失成分生成手段４０で生成された損失成分ＨＦとを、類似度算出手段３４で算出された類似度に基づいて合成するものである。
具体的には、超解像ブロック合成手段５０は、拡大処理ブロックＬに対して、参照ブロック選択劣化手段３０の類似度算出手段３４で算出された類似度の高さに応じて、すべての損失成分ＨＦを重み付き加算する。これによって、処理ブロックＤを拡大した拡大処理ブロックＬに、縮小劣化および非縮小劣化で失われたと推定される損失成分ＨＦが加算され、処理ブロックＤを超解像したブロックが生成されることになる。
【００７５】
これは、処理ブロックＤと劣化参照ブロックＨＤ２とが類似する場合、処理ブロックＤの劣化過程は、類似する劣化参照ブロックＨＤ２に対応する参照ブロックＨが経た劣化過程に類似するためである。
以後、超解像ブロック合成手段５０が生成したブロックを超解像ブロック（ＳＲ）と呼ぶ。この超解像ブロック合成手段５０は、生成した超解像ブロックＳＲを超解像画像構成手段６０に出力する。
【００７６】
超解像画像構成手段６０は、超解像ブロック合成手段５０で生成された超解像ブロックＳＲを処理ブロックＤに対応する位置に配置（構成）することで、超解像画像ＳＧを生成するものである。
この処理ブロックＤに対応する位置とは、入力画像Ｇにおける処理ブロックＤの位置が、画像超解像装置１において超解像画像ＳＧを生成するために予め定めた拡大率で入力画像Ｇを拡大した画像に対応する位置である。具体的には、ここでは、画像超解像装置１は、入力画像Ｇを縦横２倍に拡大した超解像画像ＳＧを生成するため、処理ブロックＤの位置である水平座標（Ｘ座標）および垂直座標（Ｙ座標）をそれぞれ２倍した座標位置が、処理ブロックＤに対応する位置となる。
【００７７】
なお、処理ブロック切り出し手段１０が処理ブロックＤ間に重複領域を設けて切り出すこととした場合、対応する超解像ブロックＳＲ間にも重複領域が存在する。この場合、超解像画像構成手段６０は、重複領域の各画素において、超解像ブロックＳＲ間で共通する画素位置の平均画素値を、当該画素の画素値とする。
この超解像画像構成手段６０で生成された超解像画像ＳＧが、画像超解像装置１の出力画像となる。
【００７８】
なお、処理ブロックＤ間に重複領域を設ける場合、平均画素値を用いる以外にも、超解像ブロックＳＲ間で共通する画素位置の画素値の中央値を用いることとしてもよい。あるいは、類似度算出手段３４で算出された類似度を用いて、超解像ブロックＳＲの生成に使用した類似度の平均値に応じて重み付き加算により画素値を求めてもよい。あるいは、最も類似度が高い損失成分ＨＦから生成された超解像ブロックＳＲの画素値を用いることとしてもよい。
【００７９】
以上説明したように、画像超解像装置１は、縮小劣化および非縮小劣化による劣化過程を模擬して、入力画像Ｇを拡大する際に、その模擬した劣化過程の損失成分を補完することができる。これによって、画像超解像装置１は、入力画像Ｇから、劣化による成分を補完した高画質な超解像画像ＳＧを生成することができる。
【００８０】
［画像超解像装置の動作］
次に、図５を参照（構成については適宜図１参照）して、本発明の第１実施形態に係る画像超解像装置１の動作について説明する。さらに、ここでは、適宜図６を参照して、各手段において生成されるブロック（画像）についても模式的に説明する。なお、図５に示すステップの番号（Ｓ１等）と、図６に示す処理の番号（Ｐ１等）とは、対応していない。
【００８１】
まず、画像超解像装置１は、参照ブロック選択劣化手段３０の参照ブロック切り出し手段３１によって、入力画像Ｇから、劣化過程を模擬する予め定めた大きさの参照ブロックＨを複数切り出す（ステップＳ１）。すなわち、画像超解像装置１は、図６の＜Ｐ１＞に示すように、入力画像Ｇから、切り出し位置を変えて参照ブロックＨを複数切り出す。
【００８２】
そして、画像超解像装置１は、劣化モデル手段３２の縮小劣化手段３２１によって、ステップＳ１で切り出された参照ブロックＨを画像縮小し、縮小参照ブロックＨＤ１を生成する（ステップＳ２）。これによって、生成する超解像画像ＳＧを入力画像Ｇに仮想的に縮小した縮小劣化が参照ブロックＨごとに模擬されることになる。なお、図６では、縮小参照ブロックＨＤ１を省略している。
【００８３】
さらに、画像超解像装置１は、劣化モデル手段３２の非縮小劣化手段３２２によって、ステップＳ２で生成された縮小参照ブロックＨＤ１を直交変換し、高周波成分の直交変換係数を劣化させることで、劣化参照ブロックＨＤ２を生成する（ステップＳ３）。これによって、入力画像Ｇが経た符号化に伴う劣化が参照ブロックＨごとに模擬されることになる。すなわち、画像超解像装置１は、図６の＜Ｐ２＞に示すように、参照ブロックＨに対して、縮小劣化および非縮小劣化を模擬することで、劣化参照ブロックＨＤ２を生成する。
【００８４】
そして、画像超解像装置１は、ステップＳ１で生成された参照ブロックＨと、ステップＳ３で生成された劣化参照ブロックＨＤ２とを対応付けてブロック記憶手段３３に書き込み記憶する（ステップＳ４）。なお、このブロック記憶手段３３には、ステップＳ１で順次切り出される参照ブロックＨに応じて、対応する劣化参照ブロックＨＤ２との対が複数記憶される。
【００８５】
その後、画像超解像装置１は、処理ブロック切り出し手段１０によって、入力画像Ｇから、予め定めた大きさの処理ブロックＤを切り出す（ステップＳ５）。すなわち、画像超解像装置１は、図６の＜Ｐ３＞に示すように、入力画像Ｇから、超解像する対象となる処理ブロックＤを切り出す。
【００８６】
そして、画像超解像装置１は、類似度算出手段３４によって、ステップＳ５で切り出された処理ブロックＤと、ブロック記憶手段３３に記憶されている劣化参照ブロックＨＤ２との類似度を算出する（ステップＳ６）。すなわち、画像超解像装置１は、図６の＜Ｐ４＞に示すように、入力画像Ｇから切り出した処理ブロックＤと、複数の参照ブロックＨを劣化させた複数の劣化参照ブロックＨＤ２との類似度を算出する。
【００８７】
そして、画像超解像装置１は、処理ブロック拡大手段２０によって、ステップＳ５で切り出された処理ブロックＤを拡大して、拡大処理ブロックＬを生成する（ステップＳ７）。すなわち、画像超解像装置１は、図６の＜Ｐ５＞に示すように、処理ブロックＤを参照ブロックＨと同じ大きさに拡大する。
【００８８】
また、画像超解像装置１は、損失成分生成手段４０の劣化参照ブロック拡大手段４１によって、ブロック記憶手段３３に記憶されている劣化参照ブロックＨＤ２を拡大して、復元参照ブロックＨＬを生成する（ステップＳ８）。すなわち、画像超解像装置１は、図６の＜Ｐ６＞に示すように、劣化参照ブロックＨＤ２を参照ブロックＨと同じ大きさに拡大する。
【００８９】
そして、画像超解像装置１は、損失成分算出手段４２によって、ステップＳ８で生成された復元参照ブロックＨＬと、当該復元参照ブロックＨＬに対応する参照ブロックＨとの差を損失成分ＨＦとして算出する（ステップＳ９）。すなわち、画像超解像装置１は、図６の＜Ｐ７＞に示すように、参照ブロックＨと復元参照ブロックＨＬとの画素ごとの差分を演算することで、損失成分ＨＦを生成する。このとき、損失成分ＨＦは、参照ブロックＨの数だけ生成されることになる。
【００９０】
そして、画像超解像装置１は、超解像ブロック合成手段５０によって、ステップＳ７で生成された拡大処理ブロックＬと、ステップＳ９で生成された損失成分ＨＦとを、ステップＳ６で算出された類似度に基づいて合成する（ステップＳ１０）。すなわち、画像超解像装置１は、図６の＜Ｐ８＞に示すように、処理ブロックＤを拡大した拡大処理ブロックＬに、複数の損失成分ＨＦを画素ごとに類似度に応じて重み加算することで、超解像ブロックＳＲを生成する。以上の動作によって、処理ブロックＤに対応する超解像ブロックＳＲが順次生成されることになる。
【００９１】
そして、画像超解像装置１は、超解像画像構成手段６０によって、ステップＳ１０で順次生成される超解像ブロックＳＲを処理ブロックＤに対応する位置に配置（構成）することで、超解像画像ＳＧを生成する（ステップＳ１１）。すなわち、画像超解像装置１は、図６の＜Ｐ９＞に示すように、入力画像Ｇの拡大率に応じて、超解像ブロックＳＲを、処理ブロックＤに対応する位置に配置することで、超解像画像ＳＧを生成する。
以上の動作によって、画像超解像装置１は、入力画像Ｇから、劣化による成分を補完した高画質な超解像画像ＳＧを生成することができる。
【００９２】
以上、第１実施形態に係る画像超解像装置１の構成および動作について説明したが、本発明は、これに限定されるものではない。
例えば、ここでは、処理ブロック切り出し手段１０は、処理ブロックＤとして、正方形領域のブロックを切り出したが、長方形領域のブロックを切り出すこととしてもよい。この場合、参照ブロック切り出し手段３１は、その長方形領域を予め定めた拡大率で拡大した領域を参照ブロックＨとして切り出せばよい。
【００９３】
また、ここでは、超解像ブロック合成手段５０は、拡大処理ブロックＬに対して、すべての損失成分ＨＦを、類似度に応じて重み付き加算した。しかし、超解像ブロック合成手段５０は、最も類似度の高い劣化参照ブロックＨＤ２に対応した損失成分ＨＦのみを、拡大処理ブロックＬに加算することとしてもよい。これによって、処理が簡易化され、高速処理が可能になる。
あるいは、超解像ブロック合成手段５０は、類似度が予め定めた高さ以上の類似度の劣化参照ブロックＨＤ２に対応する損失成分ＨＦのみを、拡大処理ブロックＬに加算する対象としてもよい。
【００９４】
また、ここでは、参照ブロック切り出し手段３１は、処理ブロックＤを拡大した拡大処理ブロックＬと同じ大きさの矩形（正方形、長方形）領域として参照ブロックＨを切り出した。しかし、参照ブロック切り出し手段３１は、前記した切り出し以外に、入力画像Ｇあるいはその一部を変形し、その変形領域に含まれる拡大処理ブロックＬと同じ大きさの矩形領域を参照ブロックＨとして切り出すこととしてもよい。例えば、参照ブロック切り出し手段３１は、前記した切り出し以外に、入力画像Ｇに対して、回転等のアフィン変換を行い、その変換画像から参照ブロックＨをさらに切り出す。これによって、劣化過程における損失成分の情報を含んだ参照ブロックＨが多く抽出され、損失成分ＨＦが多様化されることで、超解像画像の画質を高めることができる。
【００９５】
また、ここでは、処理ブロック切り出し手段１０と参照ブロック切り出し手段３１によって、入力画像Ｇから切り出した処理ブロックＤと参照ブロックＨの画素値をそのまま用いて超解像ブロックＳＲを生成した。しかし、これらの画素値を正規化して超解像ブロックＳＲを生成してもよい。すなわち、処理ブロックＤと参照ブロックＨの画素値を、それぞれのブロック内の画素値の平均値（平均画素値）で正規化し、正規化後の画素値を用いて損失成分ＨＦを生成する。そして、超解像ブロック合成手段５０は、生成した損失成分ＨＦに対して正規化の逆演算、すなわち処理ブロックＤの平均画素値を乗算した後に、拡大処理ブロックＬに加算し、超解像ブロックＳＲを生成する。また、ここで、正規化はブロック内の画素値の平均値以外にも、画素値の標準偏差によって行ってもよい。このように、損失成分ＨＦが多様化されることで、超解像画像の画質を高めることができる。
【００９６】
また、ここでは、劣化モデル手段３２の非縮小劣化手段３２２は、符号化に伴う劣化を模擬することとした。しかし、非縮小劣化手段３２２は、符号化劣化以外にも、他の劣化を模擬するものを付加してもよい。
例えば、入力画像Ｇに既知のボケやブレが含まれている場合、それらを模擬する処理を付加してもよい。このボケやブレを模擬する場合、非縮小劣化手段３２２は、ローパスフィルタによってボケを模擬したり、水平、垂直、斜め方向のフィルタによって、ブレを模擬したりすることで、画像の劣化を模擬することができる。
【００９７】
また、ここでは、類似度算出手段３４は、処理ブロックＤと劣化参照ブロックＨＤ２とにおいて、ブロック単位で類似度を求めた。しかし、類似度算出手段３４は、類似度として、ブロック単位の類似度ではなく、処理ブロックＤと劣化参照ブロックＨＤ２との各ブロックの画素単位の類似度を算出することとしてもよい。この場合、ブロック間の類似度は、処理ブロックＤの画素数分の類似度で表現される。このとき、超解像ブロック合成手段５０は、拡大処理ブロックＬに対して、画素ごとの類似度に応じて、損失成分ＨＦを重み付け加算する。これによって、拡大処理ブロックＬの画素ごとに損失成分が補完されるため、超解像ブロックＳＲの画質精度を高めることができる。
以下、第１実施形態の変形例以外の他の実施形態について、図面を参照して説明する。
【００９８】
＜第２実施形態＞
まず、図２を参照して、本発明の第２実施形態に係る画像超解像装置１Ｂについて説明する。画像超解像装置１Ｂは、画像超解像装置１（図１参照）と同様、入力画像よりも解像度の高い画像（超解像画像）を生成するものである。画像超解像装置１は、図１で説明したように、参照ブロックＨとそれを劣化させた劣化参照ブロックＨＤ２とを入力画像Ｇから生成し、予めブロック記憶手段３３に記憶しておき、損失成分生成手段４０が逐次参照する構成である。これに対し、第２実施形態に係る画像超解像装置１Ｂは、ブロック記憶手段３３を備えない構成とした。
【００９９】
以下、画像超解像装置１と異なる構成について説明する。なお、画像超解像装置１と同一の構成については、同一の符号を付して説明を省略する。
画像超解像装置１Ｂは、画像超解像装置１の参照ブロック選択劣化手段３０を参照ブロック選択劣化手段３０Ｂに替え、損失成分生成手段４０を損失成分生成手段４０Ｂに替えて構成した。
【０１００】
参照ブロック選択劣化手段３０Ｂは、入力画像Ｇから、予め定めた大きさのブロックを複数選択し、入力画像Ｇの劣化過程に相当する劣化処理を施すことで、入力画像Ｇの劣化過程を模擬するものである。ここでは、参照ブロック選択劣化手段３０Ｂは、参照ブロック切り出し手段３１と、劣化モデル手段３２と、類似度算出手段３４Ｂと、を備えている。参照ブロック切り出し手段３１および劣化モデル手段３２は、画像超解像装置１（図１）と同じ構成である。
【０１０１】
類似度算出手段３４Ｂは、処理ブロック切り出し手段１０で切り出された処理ブロックＤごとに、劣化モデル手段３２で生成された複数の劣化参照ブロックＨＤ２との類似度を算出するものである。この類似度の算出手法は、図１で説明した画像超解像装置１の類似度算出手段３４と同じである。
この類似度算出手段３４Ｂは、算出した類似度を超解像ブロック合成手段５０に出力するとともに、類似度を算出した劣化参照ブロックＨＤ２に対応する参照ブロックＨの切り出し位置を損失成分生成手段４０Ｂに出力する。
【０１０２】
損失成分生成手段４０Ｂは、参照ブロック選択劣化手段３０Ｂで選択された参照ブロックの劣化による損失成分を生成するものである。ここでは、損失成分生成手段４０Ｂは、劣化参照ブロック拡大手段４１と、損失成分算出手段４２と、参照ブロック切り出し手段４３と、劣化モデル手段４４と、を備えている。劣化参照ブロック拡大手段４１および損失成分算出手段４２は、画像超解像装置１（図１）と同じ構成である。
【０１０３】
参照ブロック切り出し手段４３は、入力画像Ｇから、参照ブロック選択劣化手段３０Ｂ（類似度算出手段３４Ｂ）から入力した切り出し位置で参照ブロックＨを切り出すものである。なお、この参照ブロック切り出し手段４３は、参照ブロック選択劣化手段３０Ｂ（類似度算出手段３４Ｂ）から指示される切り出し位置から参照ブロックＨを切り出すことのみが、参照ブロック切り出し手段３１と異なっている。この参照ブロック切り出し手段４３は、切り出した参照ブロックＨを、損失成分算出手段４２および劣化モデル手段４４に出力する。
【０１０４】
劣化モデル手段４４は、参照ブロック切り出し手段４３で切り出された参照ブロックＨに対して、予め定めた劣化処理を施すものである。この劣化モデル手段４４は、劣化モデル手段３２と同じものであり、縮小劣化手段３２１と同じ機能を有する縮小劣化手段４４１と、非縮小劣化手段３２２と同じ機能を有する非縮小劣化手段４４２とを備えている。
そして、非縮小劣化手段４４２は、生成した劣化参照ブロックＨＤ２を劣化参照ブロック拡大手段４１に出力する。
これによって、損失成分生成手段４０Ｂは、参照ブロック選択劣化手段３０Ｂにおいて、処理ブロックＤと比較された同一の参照ブロックＨを入力画像Ｇから切り出して、損失成分ＨＦを生成することができる。
【０１０５】
以上説明したように、画像超解像装置１Ｂは、画像超解像装置１（図１）と同様に、縮小劣化および非縮小劣化による劣化過程を模擬して、入力画像Ｇを拡大する際に、その模擬した劣化過程の損失成分を補完することができる。これによって、画像超解像装置１Ｂは、入力画像Ｇから、劣化による成分を補完した高画質な超解像画像ＳＧを生成することができる。また、画像超解像装置１Ｂは、容量の大きい記憶媒体を構成から省くことができるため、装置を安価に製造することができる。
【０１０６】
＜第３実施形態＞
次に、図３を参照して、本発明の第３実施形態に係る画像超解像装置１Ｃについて説明する。画像超解像装置１Ｃは、画像超解像装置１（図１参照）と同様、入力画像よりも解像度の高い画像（超解像画像）を生成するものである。画像超解像装置１は、図１で説明したように、入力画像Ｇから切り出した参照ブロックＨに対して劣化過程を模擬することで、損失成分を生成する構成である。これに対し、第３実施形態に係る画像超解像装置１Ｃは、入力画像Ｇそのものに劣化過程を模擬することで、損失成分を生成する構成とした。
【０１０７】
以下、画像超解像装置１と異なる構成について説明する。なお、画像超解像装置１と同一の構成については、同一の符号を付して説明を省略する。
画像超解像装置１Ｃは、画像超解像装置１の参照ブロック選択劣化手段３０を参照ブロック選択劣化手段３０Ｃに替えて構成した。
【０１０８】
参照ブロック選択劣化手段３０Ｃは、入力画像Ｇに、入力画像Ｇの劣化していく過程（劣化過程）に相当する劣化処理を施し、その劣化した画像から予め定めた大きさのブロックを複数選択するものである。ここでは、参照ブロック選択劣化手段３０Ｃは、参照ブロック切り出し手段３１Ｃと、劣化モデル手段３２Ｃと、ブロック記憶手段３３と、類似度算出手段３４と、劣化参照ブロック切り出し手段３５と、を備えている。ブロック記憶手段３３および類似度算出手段３４は、画像超解像装置１（図１）と同じ構成である。
【０１０９】
参照ブロック切り出し手段３１Ｃは、後記する劣化参照ブロック切り出し手段３５で、劣化過程を模擬したブロック（劣化参照ブロックＨＤ２）を切り出す際の基準となる予め定めた大きさのブロック（参照ブロックＨ）を、入力画像Ｇから順次切り出すものである。この参照ブロック切り出し手段３１Ｃは、切り出した参照ブロックＨを、ブロック記憶手段３３に書き込むとともに、参照ブロックＨの切り出し位置を劣化参照ブロック切り出し手段３５に出力する。
なお、参照ブロック切り出し手段３１Ｃにおける参照ブロックＨの切り出し方については、図１で説明した参照ブロック切り出し手段３１と同じである。
【０１１０】
劣化モデル手段３２Ｃは、入力画像Ｇに対して、予め定めた劣化処理を施すものである。ここでは、劣化モデル手段３２Ｃは、縮小劣化手段３２１Ｃと、非縮小劣化手段３２２Ｃと、を備えている。
【０１１１】
縮小劣化手段３２１Ｃは、入力画像Ｇに対して画像縮小を行うことで、縮小に伴う画像の劣化を模擬するものである。以後、この縮小された画像を縮小入力画像（Ｇ１）と呼ぶ。この縮小劣化手段３２１Ｃは、生成した縮小入力画像Ｇ１を非縮小劣化手段３２２Ｃに出力する。
この縮小劣化手段３２１Ｃにおける縮小処理は、予め定めた任意の手法で行うことができる。例えば、縮小劣化手段３２１Ｃは、縮小手法として、最近傍法、線形補間法、Ｂｉｃｕｂｉｃ補間法等の画素値の補間法により入力画像Ｇを縮小する。
【０１１２】
なお、縮小劣化手段３２１Ｃにおける入力画像Ｇの縮小率は、処理ブロック拡大手段２０における処理ブロックＤの拡大率の逆比率とする。すなわち、処理ブロックＤの拡大率が縦横それぞれ２倍ならば、縮小劣化手段３２１Ｃにおける縮小率は、縦横それぞれ２分の１とする。
【０１１３】
非縮小劣化手段３２２Ｃは、縮小劣化手段３２１Ｃで縮小された縮小入力画像Ｇ１に対して、縮小劣化以外の予め定めた劣化を模擬するものである。ここでは、非縮小劣化手段３２２Ｃは、予め定めた符号化による劣化を模擬するものとする。以後、この劣化された画像を劣化入力画像（Ｇ２）と呼ぶ。この非縮小劣化手段３２２Ｃは、生成した劣化入力画像Ｇ２を劣化参照ブロック切り出し手段３５に出力する。
【０１１４】
この非縮小劣化手段３２２Ｃは、例えば、以下の手法により符号化による劣化を模擬する。すなわち、非縮小劣化手段３２２Ｃは、入力画像Ｇの元となる符号化された画像において用いられていた符号化方式により、縮小入力画像Ｇ１を符号化し、復号する。これによって、入力画像Ｇが経た符号化による劣化が模擬されることになる。
【０１１５】
劣化参照ブロック切り出し手段３５は、参照ブロック切り出し手段３１Ｃから入力した参照ブロックＨの切り出し位置に対応するブロック（劣化参照ブロックＨＤ２）を、劣化モデル手段３２Ｃで生成された劣化入力画像Ｇ２から切り出すものである。
【０１１６】
この参照ブロックＨの切り出し位置に対応するブロックとは、入力画像Ｇ上の参照ブロックＨが、縮小劣化手段３２１Ｃにおける縮小率で縮小された位置に相当する劣化入力画像Ｇ２上のブロックである。具体的には、ここでは、画像超解像装置１Ｃは、入力画像Ｇを縦横２倍に拡大した超解像画像ＳＧを生成するため、参照ブロックＨの位置である水平座標（Ｘ座標）および垂直座標（Ｙ座標）をそれぞれ１／２倍した座標位置が、劣化入力画像Ｇ２の位置となる。また、劣化参照ブロックＨＤ２の大きさは、処理ブロック切り出し手段１０で切り出される処理ブロックＤと同じ大きさである。
この劣化参照ブロック切り出し手段３５は、切り出した劣化参照ブロックＨＤ２を、参照ブロックＨと対応付けてブロック記憶手段３３に書き込む。
【０１１７】
以上説明したように、画像超解像装置１Ｃは、画像超解像装置１（図１）と同様に、縮小劣化および非縮小劣化による劣化過程を模擬して、入力画像Ｇを拡大する際に、その模擬した劣化過程の損失成分を補完することができる。
【０１１８】
＜第４実施形態＞
次に、図４を参照して、本発明の第４実施形態に係る画像超解像装置１Ｄについて説明する。画像超解像装置１Ｄは、画像超解像装置１Ｃ（図３参照）と同様、入力画像よりも解像度の高い画像（超解像画像）を生成するものである。画像超解像装置１Ｃは、図３で説明したように、参照ブロックＨとそれを劣化させた劣化参照ブロックＨＤ２とを入力画像Ｇから生成し、予めブロック記憶手段３３に記憶しておき、損失成分生成手段４０が逐次参照する構成である。これに対し、第４実施形態に係る画像超解像装置１Ｄは、ブロック記憶手段３３を備えない構成とした。
【０１１９】
以下、画像超解像装置１，１Ｃと異なる構成について説明する。なお、画像超解像装置１，１Ｃと同一の構成については、同一の符号を付して説明を省略する。
画像超解像装置１Ｄは、画像超解像装置１Ｃの参照ブロック選択劣化手段３０Ｃを参照ブロック選択劣化手段３０Ｄに替え、損失成分生成手段４０を損失成分生成手段４０Ｄに替えて構成した。
【０１２０】
参照ブロック選択劣化手段３０Ｄは、入力画像Ｇに、入力画像Ｇの劣化過程に相当する劣化処理を施し、その劣化画像から予め定めた大きさのブロックを複数選択するものである。ここでは、参照ブロック選択劣化手段３０Ｄは、劣化モデル手段３２Ｃと、類似度算出手段３４Ｄと、劣化参照ブロック切り出し手段３５Ｄと、を備えている。劣化モデル手段３２Ｃは、画像超解像装置１Ｃ（図３）と同じ構成である。
【０１２１】
類似度算出手段３４Ｄは、処理ブロック切り出し手段１０で切り出された処理ブロックＤごとに、後記する劣化参照ブロック切り出し手段３５Ｄで切り出された複数の劣化参照ブロックＨＤ２との類似度を算出するものである。この類似度の算出手法は、図１で説明した画像超解像装置１の類似度算出手段３４と同じである。
この類似度算出手段３４Ｄは、算出した類似度を超解像ブロック合成手段５０に出力するとともに、類似度を算出した劣化参照ブロックＨＤ２の劣化前のブロックに相当する参照ブロックの切り出し位置を損失成分生成手段４０Ｄに出力する。
【０１２２】
劣化参照ブロック切り出し手段３５Ｄは、劣化モデル手段３２Ｃで生成された劣化入力画像Ｇ２から、処理ブロック切り出し手段１０で切り出される処理ブロックＤと同じ大きさのブロック（劣化参照ブロックＨＤ２）を複数切り出すものである。この劣化参照ブロック切り出し手段３５Ｄは、切り出した劣化参照ブロックＨＤ２を、類似度算出手段３４Ｄに出力する
【０１２３】
損失成分生成手段４０Ｄは、参照ブロック選択劣化手段３０Ｄで選択された劣化参照ブロックの劣化による損失成分を生成するものである。ここでは、損失成分生成手段４０Ｄは、劣化参照ブロック拡大手段４１と、損失成分算出手段４２と、参照ブロック切り出し手段４３Ｄと、劣化モデル手段４４Ｄと、劣化参照ブロック切り出し手段４５と、を備えている。劣化参照ブロック拡大手段４１および損失成分算出手段４２は、画像超解像装置１（図１）と同じ構成である。
【０１２４】
参照ブロック切り出し手段４３Ｄは、入力画像Ｇから、参照ブロック選択劣化手段３０Ｄ（類似度算出手段３４Ｄ）から入力した切り出し位置で参照ブロックＨを切り出すものである。なお、この参照ブロック切り出し手段４３Ｄは、参照ブロック選択劣化手段３０Ｄ（類似度算出手段３４Ｄ）から指示される切り出し位置から参照ブロックＨを切り出すことのみが、参照ブロック切り出し手段３１Ｃ（図３）と異なっている。この参照ブロック切り出し手段４３Ｄは、切り出した参照ブロックＨを、損失成分算出手段４２に出力するとともに、参照ブロックＨの切り出し位置を劣化参照ブロック切り出し手段４５に出力する。
【０１２５】
劣化モデル手段４４Ｄは、入力画像Ｇに対して画像縮小を行うことで、縮小に伴う画像の劣化を模擬するものである。この劣化モデル手段４４Ｄは、劣化モデル手段３２Ｃと同じものであり、縮小劣化手段３２１Ｃと同じ機能を有する縮小劣化手段４４１Ｄと、非縮小劣化手段３２２Ｃと同じ機能を有する非縮小劣化手段４４２Ｄとを備えている。
そして、非縮小劣化手段４４２Ｄは、生成した劣化入力画像Ｇ２を劣化参照ブロック切り出し手段４５に出力する。
【０１２６】
劣化参照ブロック切り出し手段４５は、参照ブロック切り出し手段４３Ｄから入力した参照ブロックＨの切り出し位置に対応するブロック（劣化参照ブロックＨＤ２）を、劣化モデル手段４４Ｄで生成された劣化入力画像Ｇ２から切り出すものである。この劣化参照ブロック切り出し手段４５は、劣化参照ブロック切り出し手段３５Ｄと同じ機能を有するものである。
この劣化参照ブロック切り出し手段４５は、切り出した劣化参照ブロックＨＤ２を、劣化参照ブロック拡大手段４１に出力する。
【０１２７】
以上説明したように、画像超解像装置１Ｄは、画像超解像装置１，１Ｃ（図１，図３）と同様に、縮小劣化および非縮小劣化による劣化過程を模擬して、入力画像Ｇを拡大する際に、その模擬した劣化過程の損失成分を補完することができる。これによって、画像超解像装置１Ｄは、入力画像Ｇから、劣化による成分を補完した高画質な超解像画像ＳＧを生成することができる。また、画像超解像装置１Ｄは、容量の大きい記憶媒体を構成から省くことができるため、装置を安価に製造することができる。
【０１２８】
以上、画像超解像装置１とその変形例となる画像超解像装置１Ｂ，１Ｃ，１Ｄとについて、第１〜第４実施形態として説明した。
これによって、画像超解像装置１，１Ｂ，１Ｃ，１Ｄは、入力画像が経た劣化過程を考慮して、高周波成分を付加するとともに、符号化に伴う劣化を補完して、高画質な超解像画像を生成することができる。
【０１２９】
＜第５実施形態＞
次に、図７を参照して、本発明の第５実施形態に係る画像超解像装置２について説明する。画像超解像装置２は、画像超解像装置１，１Ｂ，１Ｃ，１Ｄ（図１〜図４参照）と同様、入力画像よりも解像度の高い画像（超解像画像）を生成するものである。画像超解像装置１，１Ｂ，１Ｃ，１Ｄは、入力画像Ｇに対して、劣化過程を模擬した損失成分を１回加算することで超解像画像ＳＧを生成する構成である。これに対し、画像超解像装置２は、画像超解像装置１，１Ｂ，１Ｃ，１Ｄが行う超解像処理を反復する構成とした。
【０１３０】
ここでは、画像超解像装置２は、処理ブロック切り出し手段１０と、処理ブロック拡大手段２０と、参照ブロック選択劣化手段３０と、損失成分生成手段４０と、超解像ブロック合成手段５０と、超解像画像構成手段６０Ｅと、入力切り換え手段７０と、拡大画像記憶手段８０と、画像縮小手段９０と、を備えている。処理ブロック切り出し手段１０、処理ブロック拡大手段２０、参照ブロック選択劣化手段３０、損失成分生成手段４０および超解像ブロック合成手段５０は、図１で説明した構成と同一であるため、同一の符号を付して説明を省略する。
【０１３１】
超解像画像構成手段６０Ｅは、超解像ブロック合成手段５０で生成された超解像ブロックＳＲを処理ブロック切り出し手段１０で切り出した処理ブロックＤに対応する位置に配置することで、超解像画像ＳＧを生成するものである。なお、この超解像ブロックＳＲを配置することで超解像画像を生成する手法は、図１で説明した超解像画像構成手段６０と同一である。
【０１３２】
この超解像画像構成手段６０Ｅは、生成する超解像画像を入力画像Ｇの拡大画像として、逐次、拡大画像記憶手段８０に記憶し、拡大画像の生成を予め定めた条件で反復した後、拡大画像を超解像画像として出力する点が、図１で説明した超解像画像構成手段６０と異なっている。ここでは、超解像画像構成手段６０Ｅは、ブロック更新手段６１と、反復判定手段６２と、を備えている。
【０１３３】
ブロック更新手段６１は、超解像ブロック合成手段５０で生成された超解像ブロックＳＲを、拡大画像記憶手段８０上において、処理ブロックＤに対応する位置に配置するものである。すなわち、ブロック更新手段６１は、超解像ブロック合成手段５０で生成される超解像ブロックＳＲを配置することで、入力画像Ｇを処理ブロック拡大手段２０における拡大率で拡大した拡大画像ＬＧを生成する。
また、ブロック更新手段６１は、超解像ブロック合成手段５０から同一の位置に配置する超解像ブロックＳＲが入力された場合、拡大画像記憶手段８０上において超解像ブロックＳＲを更新する。
【０１３４】
なお、ブロック更新手段６１は、超解像ブロックＳＲを更新する際に、更新前後の超解像ブロックＳＲの差分が予め定めた閾値以上の場合に更新を行い、更新前後の超解像ブロックＳＲの差分が予め定めた閾値よりも小さい場合は、更新を行わないこととしてもよい。ここで、差分としては、超解像ブロックＳＲ内の画素値の絶対値誤差や二乗誤差の総和を用いることができる。
【０１３５】
反復判定手段６２は、拡大画像記憶手段８０上に構成する拡大画像ＬＧを、超解像処理を反復させることにより再生成するか否かを判定するものである。
この反復の判定は、例えば、予め定めた回数で判定する。また、ブロック更新手段６１において、更新を行う超解像ブロックＳＲの数が予め定めた数以下となった場合に、反復を停止すると判定することとしてもよい。
【０１３６】
この反復判定手段６２は、反復を行うと判定した場合、画像縮小手段９０に対して、拡大画像記憶手段８０に記憶されている拡大画像ＬＧの縮小を指示する。また、このとき、反復判定手段６２は、入力切り換え手段７０に対して、入力画像を、画像縮小手段９０が生成する処理画像ＴＧに切り換える旨を指示する。これによって、超解像処理の反復が実行されることになる。
一方、反復判定手段６２は、反復を行わない（終了）と判定した場合、拡大画像記憶手段８０に記憶されている拡大画像ＬＧを読み出して、超解像画像ＳＧとして出力する。
【０１３７】
入力切り換え手段７０は、超解像処理を行う対象となる画像を、外部から入力する入力画像Ｇか、画像縮小手段９０で生成される処理画像ＴＧかを切り換えるものである。
この入力切り換え手段７０は、初期段階では、入力画像Ｇを超解像する対象とし、超解像画像構成手段６０Ｅ（反復判定手段６２）から、切り換えを指示された段階で、処理画像ＴＧを超解像する対象として切り換える。この切り換えられた画像（入力画像Ｇまたは処理画像ＴＧ）は、処理ブロック切り出し手段１０と、参照ブロック選択劣化手段３０とに出力される。
【０１３８】
拡大画像記憶手段８０は、超解像画像構成手段６０Ｅで生成される拡大画像ＬＧを記憶するものである。この拡大画像記憶手段８０は、例えば、半導体メモリ等の一般的な記憶媒体を用いることができる。
この拡大画像記憶手段８０は、超解像画像構成手段６０Ｅによって更新される。また、超解像処理が反復される場合、画像縮小手段９０によって拡大画像ＬＧが読み出され、超解像処理が終了した場合、超解像画像構成手段６０Ｅによって拡大画像ＬＧが超解像画像ＳＧとして読み出される。
【０１３９】
画像縮小手段９０は、拡大画像記憶手段８０に記憶されている拡大画像ＬＧを画像縮小し、超解像処理の対象となる処理画像ＴＧを生成するものである。
この画像縮小手段９０における縮小処理は、予め定めた任意の手法で行うことができる。例えば、画像縮小手段９０は、縮小手法として、最近傍法、線形補間法、Ｂｉｃｕｂｉｃ補間法等の画素値の補間法により拡大画像ＬＧを縮小する。
【０１４０】
なお、画像縮小手段９０における拡大画像ＬＧの縮小率は、処理ブロック拡大手段２０における処理ブロックＤの拡大率の逆比率とする。すなわち、処理ブロックＤの拡大率が縦横それぞれ２倍ならば、画像縮小手段９０における縮小率は、縦横それぞれ２分の１とする。
【０１４１】
このように、画像超解像装置２を構成することで、超解像処理が反復されることになる。これによって、例えば、入力画像Ｇそのものに高周波成分が少ない場合であっても、超解像処理の反復によって、高周波成分が付加されていくため、高画質な超解像画像ＳＧを生成することができる。
【０１４２】
なお、ここでは、画像超解像装置２を、図１で説明した画像超解像装置１の超解像処理を反復する構成とした。しかし、図２〜図４で説明した画像超解像装置１Ｂ，１Ｃ，１Ｄの超解像処理を反復する構成としてもよい。
すなわち、画像超解像装置２は、処理ブロック切り出し手段１０、処理ブロック拡大手段２０、参照ブロック選択劣化手段３０、損失成分生成手段４０および超解像ブロック合成手段５０を、図２〜図４で説明した画像超解像装置１Ｂ，１Ｃ，１Ｄの対応する構成で置き換えて構成することも可能である。
【０１４３】
（画像超解像装置２の超解像処理）
最後に、図８を参照（構成に付いては適宜図７参照）して、画像超解像装置２が行う超解像処理を、各手段によって生成されるブロック（画像）の流れで模式的に説明する。
まず、画像超解像装置２は、入力画像Ｇが入力されると、参照ブロック選択劣化手段３０によって、予め定めた大きさの参照ブロックＨ１（Ｈ）と、当該ブロックを劣化処理した縮小参照ブロックＨＤ２１（ＨＤ２）を生成する。そして、画像超解像装置２は、損失成分生成手段４０によって、縮小参照ブロックＨＤ２１を拡大し、参照ブロックＨ１と差分をとることで、損失成分ＨＦ１（ＨＦ）を生成する。
【０１４４】
また、画像超解像装置２は、処理ブロック切り出し手段１０によって、入力画像Ｇから、順次、処理ブロックＤ１（Ｄ）を切り出し拡大することで、拡大処理ブロックＬ１（Ｌ）を生成する。そして、画像超解像装置２は、超解像ブロック合成手段５０によって、拡大処理ブロックＬ１に、処理ブロックＤ１と類似する縮小参照ブロックＨＤ１から生成された損失成分ＨＦ１を加算することで、超解像ブロックＳＲ１（ＳＲ）を生成する。
【０１４５】
このとき、画像超解像装置２は、超解像画像構成手段６０Ｅのブロック更新手段６１によって、超解像ブロック合成手段５０で生成される超解像ブロックＳＲ１を順次配置することで、拡大画像記憶手段８０上に拡大画像ＬＧ１（ＬＧ）を生成する。
そして、画像超解像装置２は、超解像画像構成手段６０Ｅの反復判定手段６２によって、反復回数等によって反復を行うか否かを判定する。
そして、反復を行うと判定された場合、画像超解像装置２は、画像縮小手段９０によって、拡大画像記憶手段８０に記憶されている拡大画像ＬＧ１を縮小して、処理画像ＴＧを生成する。
【０１４６】
以降、画像超解像装置２は、入力画像Ｇの代わりに、処理画像ＴＧに対して、前記した処理を繰り返す。
そして、画像超解像装置２は、超解像画像構成手段６０Ｅの反復判定手段６２によって、反復を行わないと判定された段階で、拡大画像記憶手段８０に記憶されている拡大画像ＬＧ２を、超解像画像ＳＧ２として出力する。
【０１４７】
以上、本発明の実施形態に係る画像超解像装置１（図１），１Ｂ（図２），１Ｃ（図３），１Ｄ（図４），２（図７）について説明したが、これらは、一般的なＣＰＵ、ＲＡＭ、ＲＯＭなどで構成することができ、コンピュータを、前記した各手段として機能させるプログラム（画像超解像プログラム）で動作させることができる。
【符号の説明】
【０１４８】
１，２ 画像超解像装置
１０ 処理ブロック切り出し手段
２０ 処理ブロック拡大手段
３０ 参照ブロック選択劣化手段
３１ 参照ブロック切り出し手段
３２ 劣化モデル手段
３２１ 縮小劣化手段
３２２ 非縮小劣化手段
３３ ブロック記憶手段
３４ 類似度算出手段
３５ 劣化参照ブロック切り出し手段
４０ 損失成分生成手段
４１ 劣化参照ブロック拡大手段
４２ 損失成分算出手段
４３ 参照ブロック切り出し手段
４４ 劣化モデル手段
４４１ 縮小劣化手段
４４２ 非縮小劣化手段
４５ 劣化参照ブロック切り出し手段
５０ 超解像ブロック合成手段
６０ 超解像画像構成手段
６１ ブロック更新手段
６２ 反復判定手段
７０ 入力切り換え手段
８０ 拡大画像記憶手段
９０ 画像縮小手段
【特許請求の範囲】
【請求項１】
予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成する画像超解像装置であって、
前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段と、
この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段と、
前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段と、
この参照ブロック切り出し手段で切り出された参照ブロックを、前記拡大率の逆比率で縮小するとともに、前記符号化方式による劣化モデルで劣化させて、劣化参照ブロックを生成する劣化モデル手段と、
この劣化モデル手段で生成された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段と、
前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段と、
この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段と、
前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段と、
この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段と、
を備えることを特徴とする画像超解像装置。
【請求項２】
予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成する画像超解像装置であって、
前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段と、
この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段と、
前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段と、
前記入力画像を、前記拡大率の逆比率で縮小するとともに、前記符号化方式による符号化および復号により劣化させて、劣化入力画像を生成する劣化モデル手段と、
この劣化モデル手段で生成された劣化入力画像から、前記処理ブロックと同一の大きさで、前記参照ブロックの位置に対応した複数のブロックを劣化参照ブロックとして切り出す劣化参照ブロック切り出し手段と、
この劣化参照ブロック切り出し手段で切り出された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段と、
前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段と、
この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段と、
前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段と、
この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段と、
を備えることを特徴とする画像超解像装置。
【請求項３】
前記超解像ブロック合成手段は、前記拡大処理ブロックに、前記複数の参照ブロックから生成された前記損失成分を、前記類似度に基づいて重み付き加算することを特徴とする請求項１または請求項２に記載の画像超解像装置。
【請求項４】
前記類似度算出手段は、前記劣化参照ブロックと前記処理ブロックとの画素ごとの類似度を算出し、
前記超解像ブロック合成手段は、前記拡大処理ブロックに、前記複数の参照ブロックから生成された前記損失成分を、前記画素ごとの類似度に基づいて画素ごとに重み付き加算することを特徴とする請求項１から請求項３のいずれか一項に記載の画像超解像装置。
【請求項５】
前記超解像画像構成手段で生成された画像である拡大画像を記憶する拡大画像記憶手段と、
この拡大画像記憶手段に記憶されている拡大画像を縮小した処理画像を生成する画像縮小手段と、
処理対象の画像を前記入力画像から前記処理画像に切り換える入力切り換え手段とを、さらに備え、
前記超解像画像構成手段は、
前記画像縮小手段に対して前記処理画像を生成させ、前記入力切り換え手段に対して、前記処理対象の画像を前記処理画像とすることで、前記拡大画像の生成を繰り返し、予め定めた回数繰り返した段階で、前記拡大画像を前記超解像画像として出力する反復判定手段を備えることを特徴とする請求項１から請求項４のいずれか一項に記載の画像超解像装置。
【請求項６】
前記超解像画像構成手段で生成された画像である拡大画像を記憶する拡大画像記憶手段と、
この拡大画像記憶手段に記憶されている拡大画像を縮小した処理画像を生成する画像縮小手段と、
処理対象の画像を前記入力画像から前記処理画像に切り換える入力切り換え手段とを、さらに備え、
前記超解像画像構成手段は、
前記拡大画像において、更新前後の超解像ブロックの差分が予め定めた閾値以上の場合にのみ新たな超解像ブロックで前記拡大画像を更新するブロック更新手段と、
前記画像縮小手段に対して前記処理画像を生成させ、前記入力切り換え手段に対して、前記処理対象の画像を前記処理画像とすることで、前記拡大画像の生成を繰り返し、前記ブロック更新手段における更新を行う前記超解像ブロックの数が予め定めた数以下となった段階で、前記拡大画像を前記超解像画像として出力する反復判定手段と、
を備えることを特徴とする請求項１から請求項４のいずれか一項に記載の画像超解像装置。
【請求項７】
予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成するために、コンピュータを、
前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段、
この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段、
前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段、
この参照ブロック切り出し手段で切り出された参照ブロックを、前記拡大率の逆比率で縮小するとともに、前記符号化方式による劣化モデルで劣化させて、劣化参照ブロックを生成する劣化モデル手段、
この劣化モデル手段で生成された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段、
前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段、
この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段、
前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段、
この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段、
として機能させることを特徴とする画像超解像プログラム。
【請求項８】
予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成するために、コンピュータを、
前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段、
この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段、
前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段、
前記入力画像を、前記拡大率の逆比率で縮小するとともに、前記符号化方式による符号化および復号により劣化させて、劣化入力画像を生成する劣化モデル手段、
この劣化モデル手段で生成された劣化入力画像から、前記処理ブロックと同一の大きさで、前記参照ブロックの位置に対応した複数のブロックを劣化参照ブロックとして切り出す劣化参照ブロック切り出し手段、
この劣化参照ブロック切り出し手段で切り出された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段、
前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段、
この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段、
前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段、
この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段、
として機能させることを特徴とする画像超解像プログラム。
【請求項１】
予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成する画像超解像装置であって、
前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段と、
この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段と、
前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段と、
この参照ブロック切り出し手段で切り出された参照ブロックを、前記拡大率の逆比率で縮小するとともに、前記符号化方式による劣化モデルで劣化させて、劣化参照ブロックを生成する劣化モデル手段と、
この劣化モデル手段で生成された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段と、
前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段と、
この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段と、
前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段と、
この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段と、
を備えることを特徴とする画像超解像装置。
【請求項２】
予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成する画像超解像装置であって、
前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段と、
この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段と、
前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段と、
前記入力画像を、前記拡大率の逆比率で縮小するとともに、前記符号化方式による符号化および復号により劣化させて、劣化入力画像を生成する劣化モデル手段と、
この劣化モデル手段で生成された劣化入力画像から、前記処理ブロックと同一の大きさで、前記参照ブロックの位置に対応した複数のブロックを劣化参照ブロックとして切り出す劣化参照ブロック切り出し手段と、
この劣化参照ブロック切り出し手段で切り出された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段と、
前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段と、
この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段と、
前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段と、
この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段と、
を備えることを特徴とする画像超解像装置。
【請求項３】
前記超解像ブロック合成手段は、前記拡大処理ブロックに、前記複数の参照ブロックから生成された前記損失成分を、前記類似度に基づいて重み付き加算することを特徴とする請求項１または請求項２に記載の画像超解像装置。
【請求項４】
前記類似度算出手段は、前記劣化参照ブロックと前記処理ブロックとの画素ごとの類似度を算出し、
前記超解像ブロック合成手段は、前記拡大処理ブロックに、前記複数の参照ブロックから生成された前記損失成分を、前記画素ごとの類似度に基づいて画素ごとに重み付き加算することを特徴とする請求項１から請求項３のいずれか一項に記載の画像超解像装置。
【請求項５】
前記超解像画像構成手段で生成された画像である拡大画像を記憶する拡大画像記憶手段と、
この拡大画像記憶手段に記憶されている拡大画像を縮小した処理画像を生成する画像縮小手段と、
処理対象の画像を前記入力画像から前記処理画像に切り換える入力切り換え手段とを、さらに備え、
前記超解像画像構成手段は、
前記画像縮小手段に対して前記処理画像を生成させ、前記入力切り換え手段に対して、前記処理対象の画像を前記処理画像とすることで、前記拡大画像の生成を繰り返し、予め定めた回数繰り返した段階で、前記拡大画像を前記超解像画像として出力する反復判定手段を備えることを特徴とする請求項１から請求項４のいずれか一項に記載の画像超解像装置。
【請求項６】
前記超解像画像構成手段で生成された画像である拡大画像を記憶する拡大画像記憶手段と、
この拡大画像記憶手段に記憶されている拡大画像を縮小した処理画像を生成する画像縮小手段と、
処理対象の画像を前記入力画像から前記処理画像に切り換える入力切り換え手段とを、さらに備え、
前記超解像画像構成手段は、
前記拡大画像において、更新前後の超解像ブロックの差分が予め定めた閾値以上の場合にのみ新たな超解像ブロックで前記拡大画像を更新するブロック更新手段と、
前記画像縮小手段に対して前記処理画像を生成させ、前記入力切り換え手段に対して、前記処理対象の画像を前記処理画像とすることで、前記拡大画像の生成を繰り返し、前記ブロック更新手段における更新を行う前記超解像ブロックの数が予め定めた数以下となった段階で、前記拡大画像を前記超解像画像として出力する反復判定手段と、
を備えることを特徴とする請求項１から請求項４のいずれか一項に記載の画像超解像装置。
【請求項７】
予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成するために、コンピュータを、
前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段、
この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段、
前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段、
この参照ブロック切り出し手段で切り出された参照ブロックを、前記拡大率の逆比率で縮小するとともに、前記符号化方式による劣化モデルで劣化させて、劣化参照ブロックを生成する劣化モデル手段、
この劣化モデル手段で生成された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段、
前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段、
この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段、
前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段、
この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段、
として機能させることを特徴とする画像超解像プログラム。
【請求項８】
予め定めた符号化方式による符号化および復号により劣化した入力画像を予め定めた拡大率で拡大し、超解像画像を生成するために、コンピュータを、
前記入力画像を予め定めた大きさの処理ブロックに分割して切り出す処理ブロック切り出し手段、
この処理ブロック切り出し手段で切り出された処理ブロックを前記拡大率で拡大して拡大処理ブロックを生成する処理ブロック拡大手段、
前記入力画像から、前記拡大処理ブロックと同一の大きさの複数のブロックを参照ブロックとして切り出す参照ブロック切り出し手段、
前記入力画像を、前記拡大率の逆比率で縮小するとともに、前記符号化方式による符号化および復号により劣化させて、劣化入力画像を生成する劣化モデル手段、
この劣化モデル手段で生成された劣化入力画像から、前記処理ブロックと同一の大きさで、前記参照ブロックの位置に対応した複数のブロックを劣化参照ブロックとして切り出す劣化参照ブロック切り出し手段、
この劣化参照ブロック切り出し手段で切り出された劣化参照ブロックと前記処理ブロックとの類似度を算出する類似度算出手段、
前記劣化参照ブロックを前記拡大率で拡大して復元参照ブロックを生成する劣化参照ブロック拡大手段、
この劣化参照ブロック拡大手段で生成された復元参照ブロックと前記参照ブロックとの差分を損失成分として算出する損失成分算出手段、
前記類似度算出手段で算出された類似度に基づいて、前記拡大処理ブロックと前記損失成分とを合成することで、前記処理ブロックを超解像した超解像ブロックを生成する超解像ブロック合成手段、
この超解像ブロック合成手段で生成された超解像ブロックを構成することで、前記入力画像を拡大した画像を生成する超解像画像構成手段、
として機能させることを特徴とする画像超解像プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１１３５１３（Ｐ２０１２−１１３５１３Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２６１９１３（Ｐ２０１０−２６１９１３）
【出願日】平成２２年１１月２５日（２０１０．１１．２５）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２５日（２０１０．１１．２５）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]