画像処理装置および方法、プログラム、並びに記録媒体
【課題】照度変化に対しても高品質なノイズ低減画像を生成する。
【解決手段】ローカル動き補償処理部は、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、ローカル動きベクトルを用いて参照画像の動き補償を行うことで、ローカル動き補償画像を生成し、グローバル動き補償処理部は、ローカル動きベクトルを用いて、基準画像と参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、グローバル動きベクトルを用いて参照画像の動き補償を行うことでグローバル動き補償画像を生成し、ブレンド処理部は、画像の輝度値に対するノイズ強度に応じて、ローカル動き補償画像の画素の画素値と、グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成する。本技術は、画像処理装置に適用することができる。
【解決手段】ローカル動き補償処理部は、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、ローカル動きベクトルを用いて参照画像の動き補償を行うことで、ローカル動き補償画像を生成し、グローバル動き補償処理部は、ローカル動きベクトルを用いて、基準画像と参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、グローバル動きベクトルを用いて参照画像の動き補償を行うことでグローバル動き補償画像を生成し、ブレンド処理部は、画像の輝度値に対するノイズ強度に応じて、ローカル動き補償画像の画素の画素値と、グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成する。本技術は、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、照度変化に対しても高品質なノイズ低減画像を生成することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来、撮像装置によって撮像された画像に対するノイズ低減手法として、ブロック単位のローカル動きベクトルを用いて生成されたローカル動き補償画像（LMC画）と、画像全体のグローバル動きベクトルを用いて生成されたグローバル動き補償画像（GMC画）とを、それぞれの信頼度に応じて合成したブレンド動き補償画像（BMC画）を用いて、ノイズ低減画像を生成するようにしたものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特願２０１０−１４７９８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した手法においては、撮像環境において照度が変化した場合にノイズの強度が変化することが考慮されておらず、このよう場合、LMC画とGMC画とを正しく合成することができず、正確なBMC画が得られなくなる恐れがあった。その結果、ノイズ低減画像の品質が低下してしまう恐れがあった。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、照度変化に対しても高品質なノイズ低減画像を生成することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の画像処理装置は、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成するローカル動き補償処理部と、前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成するグローバル動き補償処理部と、画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するブレンド処理部とを備える。
【０００７】
前記ブレンド処理部には、前記基準画像の画素の画素値と、前記ローカル動き補償画像の画素の画素値との差分絶対値が、前記ノイズ強度に基づいて設定された閾値より大きいか否かを判定する閾値処理部と、前記差分絶対値が前記閾値より大きいか否かに応じて、前記ブレンド動き補償画像の画素の画素値を、前記ローカル動き補償画像または前記グローバル動き補償画像の画素の画素値とすることで、前記ブレンド動き補償画像を生成するブレンド動き補償画像生成部とを設けることができる。
【０００８】
前記ブレンド動き補償画像生成部には、前記差分絶対値が前記閾値より大きいと判定された場合、前記ブレンド動き補償画像の画素の画素値を、前記ローカル動き補償画像の画素の画素値とさせ、前記差分絶対値が前記閾値より大きくないと判定された場合、前記ブレンド動き補償画像の画素の画素値を、前記グローバル動き補償画像の画素の画素値とさせることができる。
【０００９】
前記ブレンド処理部には、前記ノイズ強度に基づいて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値との合成に用いるブレンド比率を決定するブレンド比率決定部と、前記ブレンド比率に基づいて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することで、前記ブレンド動き補償画像を生成するブレンド動き補償画像生成部とを設けることができる。
【００１０】
本技術の一側面の画像処理方法は、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成するローカル動き補償処理部と、前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成するグローバル動き補償処理部と、画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するブレンド処理部とを備える画像処理装置の画像処理方法であって、前記画像処理装置が、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成し、前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成し、画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するステップを含む。
【００１１】
本技術の一側面のプログラムおよび一側面の記録媒体に記録されるプログラムは、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成するローカル動き補償処理ステップと、前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成するグローバル動き補償処理ステップと、画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するブレンド処理ステップとを含む処理をコンピュータに実行させる。
【００１２】
本技術の一側面においては、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルが検出され、ローカル動きベクトルを用いて参照画像の動き補償を行うことで、ローカル動き補償画像が生成され、ローカル動きベクトルを用いて、基準画像と参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルが算出され、グローバル動きベクトルを用いて参照画像の動き補償を行うことでグローバル動き補償画像が生成され、画像の輝度値に対するノイズ強度に応じて、ローカル動き補償画像の画素の画素値と、グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像が生成される。
【発明の効果】
【００１３】
本技術の一側面によれば、照度変化に対しても高品質なノイズ低減画像を生成することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本技術を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図２】MC画ブレンド処理部の第１の構成例を示すブロック図である。
【図３】ノイズ低減処理について説明するフローチャートである。
【図４】図２のMC画ブレンド処理部によるブレンド処理について説明するフローチャートである。
【図５】輝度値に対するノイズ強度について説明する図である。
【図６】MC画ブレンド処理部の第２の構成例を示すブロック図である。
【図７】図６のMC画ブレンド処理部によるブレンド処理について説明するフローチャートである。
【図８】MC画ブレンド処理部の第３の構成例を示すブロック図である。
【図９】図８のMC画ブレンド処理部によるブレンド処理について説明するフローチャートである。
【図１０】MC画ブレンド処理部の第４の構成例を示すブロック図である。
【図１１】図１０のMC画ブレンド処理部によるブレンド処理について説明するフローチャートである。
【図１２】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本技術の実施の形態について図面を参照して説明する。なお、説明は以下の順序で行う。
１．画像処理装置の構成
２．MC画ブレンド処理部の第１の構成例
３．ノイズ低減処理とブレンド処理について
４．MC画ブレンド処理部の第２の構成例とブレンド処理
５．MC画ブレンド処理部の第３の構成例とブレンド処理
６．MC画ブレンド処理部の第４の構成例とブレンド処理
【００１６】
＜１．画像処理装置の構成＞
図１は、本技術を適用した画像処理装置の一実施の形態の構成を示している。
【００１７】
図１の画像処理装置１１は、例えば、図示せぬ撮像装置から供給（入力）されてくる基準画像（以下、Cur画という）に対して、そのCur画に含まれるノイズを低減するノイズ低減処理を施し、その結果得られたノイズ低減画像（以下、NR画という）を、図示せぬ記憶装置や表示装置等に供給する。画像処理装置１１に入力される画像は、時間的に連続した複数のフレームからなる動画像であるものとする。なお、画像処理装置１１は、それ自身がデジタルカメラ等の撮像装置に設けられるようにしてもよい。
【００１８】
図１の画像処理装置１１は、ローカル動き補償処理部３１、グローバル動き補償処理部３２、MC画ブレンド処理部３３、加算判定部３４、加算処理部３５、およびフレームメモリ３６から構成される。
【００１９】
ローカル動き補償処理部３１は、注目しているフレームとしてのCur画と、ノイズ低減処理において参照される参照画像としての、フレームメモリ３６からの１フレーム前のNR画とから、これらの画像を構成するブロック単位の動きベクトルであるローカル動きベクトルLMVを検出し、グローバル動き補償処理部３２に供給する。具体的には、ローカル動き補償処理部３１は、Cur画のブロックと、対応するNR画のブロックとの位置合わせを行うことで、ブロック単位のローカル動きベクトルLMVを求める。
【００２０】
また、ローカル動き補償処理部３１は、検出したブロック単位のローカル動きベクトルLMVを用いてNR画の動き補償を行うことで、NR画をブロック単位でCur画に位置合わせしたローカル動き補償画像（以下、LMC画という）を生成し、MC画ブレンド処理部３３に供給する。
【００２１】
グローバル動き補償処理部３２は、ローカル動き補償処理部３１からのローカル動きベクトルLMVを用いてNR画の動き補償を行うことで、NR画を画像全体でCur画に位置合わせしたグローバル動き補償画像（以下、GMC画という）を生成し、MC画ブレンド処理部３３に供給する。具体的には、グローバル動き補償処理部３２は、ローカル動き補償処理部３１からのローカル動きベクトルLMVを用いて、Cur画とNR画との間の画像単位の動きベクトルであるグローバル動きベクトルGMVを検出し、そのグローバル動きベクトルGMVを用いてNR画の動き補償を行うことで、GMC画を生成する。
【００２２】
ローカル動き補償処理部３１によって生成されるLMC画は、局所的な動きがある場合でも正しく位置合わせされるが、画像全体の位置合わせの精度は低いという性質を持つ。また、グローバル動き補償処理部３２によって生成されるGMC画は、画像全体の位置合わせの精度は高いが、局所的な動きは考慮されないという性質を持つ。
【００２３】
そこで、MC画ブレンド処理部３３は、２つの動き補償画像（MC画）、すなわち、ローカル動き補償処理部３１からのLMC画と、グローバル動き補償処理部３２からのGMC画とを合成して、局所的な動きがある部分はLMC画で、また、局所的な動きがない部分はGMC画で構成されるブレンド動き補償画像（以下、BMC画という）を生成し、加算判定部３４および加算処理部３５に供給する。具体的には、MC画ブレンド処理部３３は、撮像装置から供給される画像に含まれる、イメージセンサ由来のノイズの強度に応じて、LMC画とGMC画とを合成して、BMC画を生成する。
【００２４】
加算判定部３４は、Cur画およびMC画ブレンド処理部３３からのBMC画に基づいて、加算処理部３５で用いられる加算重みを画素毎で算出する。具体的には、加算判定部３４は、BMC画の加算重みを０乃至１の値で画素毎に設定した加算マップを生成し、加算処理部３５に供給する。
【００２５】
加算処理部３５は、加算判定部３４からの加算マップを用いて、Cur画とBMC画とを画素毎に加算することで、NR画を生成する。具体的には、加算処理部３５は、加算判定部３４からの加算マップに基づいて、Cur画とBMC画との加重平均を画素毎に算出することで、NR画を生成し、図示せぬ記憶装置や表示装置等に出力するとともに、フレームメモリ３６に保持（記憶）させる。
【００２６】
フレームメモリ３６は、加算処理部３５からのNR画を１フレーム遅延させ、ノイズ低減処理が済んだ前フレームのNR画として、ローカル動き補償処理部３１およびグローバル動き補償処理部３２に供給する。
【００２７】
＜２．MC画ブレンド処理部の第１の構成例＞
次に、図２を参照して、MC画ブレンド処理部３３の第１の構成例について説明する。
【００２８】
図３のMC画ブレンド処理部３３は、フィルタ処理部５１、フィルタ処理部５２、差分算出部５３、閾値処理部５４、およびBMC画生成部５５から構成される。
【００２９】
フィルタ処理部５１は、Cur画に対してフィルタ処理を施し、差分算出部５３に供給する。具体的には、フィルタ処理部５１は、メディアンフィルタやローパスフィルタ、メディアンフィルタとローパスフィルタとの組み合わせのフィルタ等を用いて、Cur画に対してフィルタ処理を施す。
【００３０】
フィルタ処理部５２は、GMC画に対してフィルタ処理を施し、差分算出部５３に供給する。具体的には、フィルタ処理部５２は、フィルタ処理部５１と同様に、メディアンフィルタやローパスフィルタ、メディアンフィルタとローパスフィルタとの組み合わせのフィルタ等を用いて、GMC画に対してフィルタ処理を施す。
【００３１】
差分算出部５３は、フィルタ処理部５１によってフィルタ処理が施されたCur画と、フィルタ処理部５２によってフィルタ処理が施されたGMC画の、画素毎の画素値の差分値を算出し、得られた差分値の絶対値（差分絶対値）を、閾値処理部５４に供給する。なお、以下においては、Cur画の画素値とGMC画の画素値の差分絶対値を、単に、差分値ともいう。
【００３２】
閾値処理部５４は、差分算出部５３からの画素毎の差分値が、輝度値に対するノイズ強度に基づいて設定された閾値より大きいか否かを判定し、その判定結果を、BMC画生成部５５に供給する。
【００３３】
BMC画生成部５５は、閾値処理部５４からの判定結果に応じて、GMC画またはLMC画のいずれかを画素毎に選択することで、BMC画を生成し、加算判定部３４および加算処理部３５に供給する。
【００３４】
＜３．ノイズ低減処理とブレンド処理について＞
次に、図３および図４のフローチャートを参照して、図１の画像処理装置１１によるノイズ低減処理、および、図２のMC画ブレンド処理部３３によるブレンド処理について説明する。
【００３５】
［ノイズ低減処理について］
まず、図３のフローチャートを参照して、図１の画像処理装置１１によるノイズ低減処理について説明する。
【００３６】
ステップＳ１１において、ローカル動き補償処理部３１は、Cur画とフレームメモリ３６からのNR画とから、ブロック毎に、ローカル動きベクトルLMVを検出し、グローバル動き補償処理部３２に供給する。
【００３７】
ステップＳ１２において、ローカル動き補償処理部３１は、ローカル動きベクトルLMVを用いてNR画の動き補償を行うことで、ローカル動き補償画像（LMC画）を生成し、MC画ブレンド処理部３３に供給する。
【００３８】
ステップＳ１３において、グローバル動き補償処理部３２は、ローカル動き補償処理部３１からのローカル動きベクトルLMVを用いてNR画の動き補償を行うことで、グローバル動き補償画像（GMC画）を生成し、MC画ブレンド処理部３３に供給する。
【００３９】
ステップＳ１４において、MC画ブレンド処理部３３は、ブレンド処理を実行することで、ローカル動き補償処理部３１からのLMC画と、グローバル動き補償処理部３２からのGMC画とを合成して、ブレンド動き補償画像（BMC画）を生成し、加算判定部３４および加算処理部３５に供給する。なお、ブレンド処理の詳細は後述する。
【００４０】
ステップＳ１５において、加算判定部３４は、Cur画およびMC画ブレンド処理部３３からのBMC画に基づいて、加算マップを生成し、加算処理部３５に供給する。
【００４１】
ステップＳ１６において、加算処理部３５は、加算判定部３４からの加算マップに基づいて、Cur画とBMC画との加重平均を画素毎に算出することで、ノイズ低減画像（NR画）を生成し、図示せぬ記憶装置や表示装置等に出力するとともに、フレームメモリ３６に保持（記憶）させる。
【００４２】
以上のようにして、ノイズを低減したノイズ低減画像が出力される。
【００４３】
［ブレンド処理について］
次に、図４のフローチャートを参照して、図３のフローチャートのステップＳ１４におけるブレンド処理について説明する。
【００４４】
ステップＳ３１において、フィルタ処理部５１は、Cur画に対してフィルタ処理を施し、差分算出部５３に供給する。
【００４５】
ステップＳ３２において、フィルタ処理部５２は、GMC画に対してフィルタ処理を施し、差分算出部５３に供給する。
【００４６】
このように、Cur画およびGMC画に対してフィルタ処理を施すことにより、それぞれの画像に含まれるノイズを抑制することができる。なお、ステップＳ３１およびステップＳ３２の処理は、並列して実行されてもよい。
【００４７】
ステップＳ３３において、差分算出部５３は、フィルタ処理部５１によってフィルタ処理が施されたCur画と、フィルタ処理部５２によってフィルタ処理が施されたGMC画の、画素毎の差分値（差分絶対値）を算出し、閾値処理部５４に供給する。なお、ステップＳ３３以降の処理は、画素単位で実行される。
【００４８】
ステップＳ３４において、閾値処理部５４は、差分算出部５３からの画素毎の差分値が、予め求められた、輝度値に対するノイズ強度に基づいて設定された閾値より大きいか否かを判定する。
【００４９】
図５は、図示せぬ撮像装置によって得られる画像の、輝度値に対するノイズ強度を示している。
【００５０】
図５において、横軸は、画素の輝度値を示しており、縦軸は、ノイズ強度を示している。ノイズ強度は、画素によってばらつきを持っているので、画像全体おける画素毎のノイズ強度の分布を予め求め、そのノイズ強度の分布に基づいて、図５に示されるノイズ強度が得られる。
【００５１】
なお、ノイズ強度は、Ｒ，Ｇ，Ｂの３チャンネルの輝度値（輝度信号）について与えられるものであり、図５に示されるノイズ強度は、例えばＧ信号についてのノイズ強度を示しているものとする。
【００５２】
すなわち、閾値処理部５４は、注目している画素位置の、Cur画における画素の輝度値（例えばＧ信号）に基づいて、図５に示される関係から、その輝度値に対応するノイズ強度を閾値に設定する。そして、閾値処理部５４は、その閾値と、差分算出部５３からの画素毎の差分値とを比較し、差分値が閾値より大きいか否かを判定する。
【００５３】
差分値が閾値より大きい場合、Cur画の画素値とGMC画の画素値の差分値（差分絶対値）には、ノイズだけでなく、画像自体の差異が含まれているということができる。つまり、この場合、注目している画素は、局所的に動きがある部分の画素ということができる。
【００５４】
一方、差分値が閾値より大きくない場合、Cur画の画素値とGMC画の画素値の差分値（差分絶対値）には、ノイズのみが含まれているということができる。つまり、この場合、注目している画素は、局所的に動きがない部分の画素ということができる。
【００５５】
したがって、ステップＳ３４において、差分値が閾値より大きいと判定された場合、すなわち、その画素が局所的に動きがある部分の画素である場合、処理はステップＳ３５に進み、BMC画生成部５５は、LMC画の画素の画素値を、対応するBMC画の画素の画素値とする。
【００５６】
一方、ステップＳ３４において、差分値が閾値より大きくないと判定された場合、すなわち、その画素が局所的に動きがない部分の画素である場合、処理はステップＳ３６に進み、BMC画生成部５５は、GMC画の画素の画素値を、対応するBMC画の画素の画素値とする。
【００５７】
ステップＳ３７において、BMC画生成部５５は、全ての画素について処理したか、すなわち、GMC画またはLMC画のいずれかが画素毎に選択されることで、BMC画が生成されたか否かを判定する。
【００５８】
ステップＳ３７において、全ての画素について処理していないと判定された場合、処理はステップＳ３３に戻り、これ以降の処理が繰り返される。
【００５９】
一方、ステップＳ３７において、全ての画素について処理したと判定された場合、BMC画生成部５５は、生成したBMC画を、加算判定部３４および加算処理部３５に供給して、ブレンド処理は終了する。その後、処理は、図３のフローチャートのステップＳ１４に戻る。
【００６０】
以上の処理によれば、Cur画とGMC画の差分絶対値が算出され、その差分絶対値が、ノイズ強度に応じて設定される閾値より大きいか否かが判定され、その判定結果に応じて、GMC画またはLMC画のいずれかが画素毎に選択されて、BMC画が生成されるようになる。したがって、撮像環境において照度が変化した場合であっても、そのときの輝度値に対応するノイズ強度に応じて、LMC画とGMC画とを正しく合成することができ、正確なBMC画を得ることが可能となる。結果として、照度変化に対しても高品質なノイズ低減画像を生成することができる。
【００６１】
なお、ノイズ強度に応じて設定される閾値は、上述したように、輝度値に対応するノイズ強度の値そのものであってもよいし、ノイズ強度の値に所定の係数を乗じる等して調整した値であってもよい。
【００６２】
＜４．MC画ブレンド処理部の第２の構成例とブレンド処理＞
［MC画ブレンド処理部の第２の構成例］
次に、図６を参照して、MC画ブレンド処理部の第２の構成例について説明する。
【００６３】
図６のMC画ブレンド処理部７１は、フィルタ処理部５１、フィルタ処理部５２、ブレンド比率決定部９１、およびBMC画生成部９２から構成される。
【００６４】
なお、図６のMC画ブレンド処理部７１において、図２のMC画ブレンド処理部３３に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は省略する。
【００６５】
すなわち、ブレンド比率決定部９１は、フィルタ処理部５１からのCur画、フィルタ処理部５２からのGMC画、および輝度値に対するノイズ強度に基づいて、BMC画生成部９２におけるGMC画とLMC画の合成に用いられるブレンド比率を決定し、そのブレンド比率を表す情報をBMC画生成部９２に供給する。
【００６６】
BMC画生成部９２は、ブレンド比率決定部９１からのブレンド比率を表す情報に基づいて、GMC画とLMC画とを合成（ブレンド）することで、BMC画を生成する。
【００６７】
［ブレンド処理について］
ここで、図７のフローチャートを参照して、図６のMC画ブレンド処理部７１によるブレンド処理について説明する。
【００６８】
なお、図７のフローチャートのステップＳ５１，Ｓ５２の処理は、図４のフローチャートのステップＳ３１，Ｓ３２の処理とそれぞれ同様であるので、その説明は省略する。
【００６９】
すなわち、ステップＳ５３において、ブレンド比率決定部９１は、フィルタ処理部５１からのCur画、フィルタ処理部５２からのGMC画、および、図５を参照して説明した輝度値に対するノイズ強度に基づいて、画素毎に、GMC画とLMC画のブレンド比率を決定し、そのブレンド比率を表す情報をBMC画生成部９２に供給する。
【００７０】
ここで、GMC画、LMC画、BMC画の画素の画素値をそれぞれGmc、Lmc、Bmcとし、BMC画の画素値BmcにおけるGMC画の画素値Gmcの割合（ブレンド比率）をα（０≦α≦１）とすると、ブレンド処理の結果得られるBMC画の画素値Bmcは、以下の式（１）で表わされる。
【００７１】
Bmc＝α×Gmc＋（１−α）×Lmc
・・・（１）
【００７２】
ここで、輝度値は１チャンネルしかないものとして、Cur画の画素の画素値をCurとすると、ブレンド比率αは、以下の式（２）で与えられる。
【００７３】
【数１】
・・・（２）
【００７４】
なお、式（２）において、σは、上述したノイズ強度の分布の標準偏差を表す。
【００７５】
式（２）によれば、ブレンド比率αは、ノイズ成分を含んでいる可能性のあるCur画の画素値とGMC画の画素値との差分が小さいほど、１に近い値をとり、その差分が大きいほど、０に近い値をとる。
【００７６】
しかしながら、上述したように、輝度値は、実際にはＲ，Ｇ，Ｂの３チャンネルあるので、それぞれについてのブレンド比率を、αR，αG，αBとした場合、ブレンド比率αを、以下の式（３）のように表すこととする。
【００７７】
α＝min（αR，αG，αB）
・・・（３）
【００７８】
なお、min（ａ，ｂ，ｃ）は、ａ，ｂ，ｃの中の最小値を表す。
【００７９】
以上のようにしてブレンド比率αが決定される。
【００８０】
ステップＳ５４において、BMC画生成部９２は、ブレンド比率決定部９１からのブレンド比率を表す情報に基づいて、上述の式（１）に従って、対応するBMC画の画素の画素値を求める。
【００８１】
ステップＳ５５において、BMC画生成部９２は、全ての画素について処理したか、すなわち、BMC画の画素の画素値が求められることで、BMC画が生成されたか否かを判定する。
【００８２】
ステップＳ５５において、全ての画素について処理していないと判定された場合、処理はステップＳ５３に戻り、これ以降の処理が繰り返される。
【００８３】
一方、ステップＳ５５において、全ての画素について処理したと判定された場合、BMC画生成部９２は、生成されたBMC画を、加算判定部３４および加算処理部３５に供給して、ブレンド処理は終了する。
【００８４】
以上の処理によれば、Cur画とGMC画の差分値およびノイズ強度に基づいて、ブレンド比率が決定され、そのブレンド比率に応じてGMC画とLMC画とが合成されてBMC画が生成されるようになる。したがって、撮像環境において照度が変化した場合であっても、そのときの輝度値に対応するノイズ強度に応じて、LMC画とGMC画とを正しく合成することができ、正確なBMC画を得ることが可能となる。結果として、照度変化に対しても高品質なノイズ低減画像を生成することができる。
【００８５】
また、以上の処理によれば、生成されたBMC画において、画素毎にCur画とGMC画とが切り替わることがないため、画像のグラデーション部分での階調の劣化を防ぐことが可能となる。
【００８６】
以上においては、Cur画、LMC画、およびGMC画を用いて、BMC画を生成する構成について説明してきたが、以下においては、Cur画を用いず、LMC画およびGMC画を用いて、BMC画を生成する構成について説明する。
【００８７】
＜５．MC画ブレンド処理部の第３の構成例とブレンド処理＞
［MC画ブレンド処理部の第３の構成例］
まず、図８を参照して、MC画ブレンド処理部の第３の構成例について説明する。
【００８８】
図８のMC画ブレンド処理部１３１は、フィルタ処理部５２、閾値処理部５４、BMC画生成部５５、フィルタ処理部１５１、および差分算出部１５２から構成される。
【００８９】
なお、図８のMC画ブレンド処理部１３１において、図２のMC画ブレンド処理部３３に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は省略する。
【００９０】
すなわち、フィルタ処理部１５１は、LMC画に対してフィルタ処理を施し、差分算出部１５２に供給する。具体的には、フィルタ処理部１５１は、メディアンフィルタやローパスフィルタ、メディアンフィルタとローパスフィルタとの組み合わせのフィルタ等を用いて、LMC画に対してフィルタ処理を施す。
【００９１】
差分算出部１５２は、フィルタ処理部１５１によってフィルタ処理が施されたLMC画と、フィルタ処理部５２によってフィルタ処理が施されたGMC画の、画素毎の画素値の差分値を算出し、算出した差分値の絶対値（差分絶対値）を、閾値処理部５４に供給する。
【００９２】
［ブレンド処理について］
次に、図９のフローチャートを参照して、図８のMC画ブレンド処理部１３１によるブレンド処理について説明する。
【００９３】
なお、図９のフローチャートのステップＳ１３２，Ｓ１３４乃至１３７の処理は、図４のフローチャートのステップＳ３２，Ｓ３４乃至３７の処理とそれぞれ同様であるので、その説明は省略する。
【００９４】
すなわち、ステップＳ１３１において、フィルタ処理部１５１は、LMC画に対してフィルタ処理を施し、差分算出部１５２に供給する。
【００９５】
また、ステップＳ１３３において、差分算出部１５２は、フィルタ処理部１５１によってフィルタ処理が施されたLMC画と、フィルタ処理部５２によってフィルタ処理が施されたGMC画の、画素毎の差分値（差分絶対値）を算出し、閾値処理部５４に供給する。
【００９６】
図９のフローチャートで示されるブレンド処理においても、図４のフローチャートで示されるブレンド処理と同様の作用効果を奏することができる。また、図８のMC画ブレンド処理部１３１においては、図２のMC画ブレンド処理部３３と比較して、用いられるデータ（画像）の数が少なくなるので、図２のMC画ブレンド処理部３３より、回路構成を簡単することが可能となる。
【００９７】
＜６．MC画ブレンド処理部の第４の構成例とブレンド処理＞
［MC画ブレンド処理部の第４の構成例］
次に、図１０を参照して、MC画ブレンド処理部の第４の構成例について説明する。
【００９８】
図１０のMC画ブレンド処理部１７１は、フィルタ処理部５２、BMC画生成部９２、フィルタ処理部１５１、およびブレンド比率決定部１９１から構成される。
【００９９】
なお、図１０のMC画ブレンド処理部１７１において、図６のMC画ブレンド処理部７１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は省略する。また、フィルタ処理部１５１は、図８のMC画ブレンド処理部１３１に設けられたものと同一であるので、その説明も省略する。
【０１００】
すなわち、ブレンド比率決定部１９１は、フィルタ処理部１５１からのLMC画、フィルタ処理部５２からのGMC画、および、輝度値に対するノイズ強度に基づいて、BMC画生成部９２におけるGMC画とLMC画の合成に用いられるブレンド比率を決定し、そのブレンド比率を表す情報をBMC画生成部９２に供給する。
【０１０１】
［ブレンド処理について］
次に、図１１のフローチャートを参照して、図１０のMC画ブレンド処理部１７１によるブレンド処理について説明する。
【０１０２】
なお、図１１のフローチャートのステップＳ１５２，Ｓ１５４，Ｓ１５５の処理は、図７のフローチャートのステップＳ５２，Ｓ５４，Ｓ５５の処理とそれぞれ同様であるので、その説明は省略する。
【０１０３】
すなわち、ステップＳ１５１において、フィルタ処理部１５１は、LMC画に対してフィルタ処理を施し、ブレンド比率決定部１９１に供給する。
【０１０４】
また、ステップＳ１５３において、ブレンド比率決定部１９１は、フィルタ処理部１５１からのLMC画、フィルタ処理部５２からのGMC画、および、図５を参照して説明した輝度値に対するノイズ強度に基づいて、画素毎に、GMC画とLMC画のブレンド比率を決定し、そのブレンド比率を表す情報をBMC画生成部９２に供給する。なお、ブレンド比率αは、上述の式（２）において、Cur画の画素値Curを、LMC画の画素値Lmcに置き換えた式により与えられる。
【０１０５】
図１１のフローチャートで示されるブレンド処理においても、図７のフローチャートで示されるブレンド処理と同様の作用効果を奏することができる。また、図１０のMC画ブレンド処理部１７１においては、図６のMC画ブレンド処理部７１と比較して、用いられるデータ（画像）の数が少なくなるので、図６のMC画ブレンド処理部７１より、回路構成を簡単することが可能となる。
【０１０６】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１０７】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１０８】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１０９】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０１１０】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１１１】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１１２】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１１３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１４】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１５】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１１６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【符号の説明】
【０１１８】
１１ 画像処理装置， ３１ ローカル動き補償処理部， ３２ グローバル動き補償処理部， ３３ MC画ブレンド処理部， ３４ 加算判定部， ３５ 加算処理部， ５３ 差分算出部， ５４ 閾値処理部， ５５ BMC画生成部， ９１ ブレンド比率決定部， ９２ BMC画生成部
【技術分野】
【０００１】
本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、照度変化に対しても高品質なノイズ低減画像を生成することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来、撮像装置によって撮像された画像に対するノイズ低減手法として、ブロック単位のローカル動きベクトルを用いて生成されたローカル動き補償画像（LMC画）と、画像全体のグローバル動きベクトルを用いて生成されたグローバル動き補償画像（GMC画）とを、それぞれの信頼度に応じて合成したブレンド動き補償画像（BMC画）を用いて、ノイズ低減画像を生成するようにしたものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特願２０１０−１４７９８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した手法においては、撮像環境において照度が変化した場合にノイズの強度が変化することが考慮されておらず、このよう場合、LMC画とGMC画とを正しく合成することができず、正確なBMC画が得られなくなる恐れがあった。その結果、ノイズ低減画像の品質が低下してしまう恐れがあった。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、照度変化に対しても高品質なノイズ低減画像を生成することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の画像処理装置は、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成するローカル動き補償処理部と、前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成するグローバル動き補償処理部と、画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するブレンド処理部とを備える。
【０００７】
前記ブレンド処理部には、前記基準画像の画素の画素値と、前記ローカル動き補償画像の画素の画素値との差分絶対値が、前記ノイズ強度に基づいて設定された閾値より大きいか否かを判定する閾値処理部と、前記差分絶対値が前記閾値より大きいか否かに応じて、前記ブレンド動き補償画像の画素の画素値を、前記ローカル動き補償画像または前記グローバル動き補償画像の画素の画素値とすることで、前記ブレンド動き補償画像を生成するブレンド動き補償画像生成部とを設けることができる。
【０００８】
前記ブレンド動き補償画像生成部には、前記差分絶対値が前記閾値より大きいと判定された場合、前記ブレンド動き補償画像の画素の画素値を、前記ローカル動き補償画像の画素の画素値とさせ、前記差分絶対値が前記閾値より大きくないと判定された場合、前記ブレンド動き補償画像の画素の画素値を、前記グローバル動き補償画像の画素の画素値とさせることができる。
【０００９】
前記ブレンド処理部には、前記ノイズ強度に基づいて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値との合成に用いるブレンド比率を決定するブレンド比率決定部と、前記ブレンド比率に基づいて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することで、前記ブレンド動き補償画像を生成するブレンド動き補償画像生成部とを設けることができる。
【００１０】
本技術の一側面の画像処理方法は、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成するローカル動き補償処理部と、前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成するグローバル動き補償処理部と、画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するブレンド処理部とを備える画像処理装置の画像処理方法であって、前記画像処理装置が、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成し、前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成し、画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するステップを含む。
【００１１】
本技術の一側面のプログラムおよび一側面の記録媒体に記録されるプログラムは、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成するローカル動き補償処理ステップと、前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成するグローバル動き補償処理ステップと、画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するブレンド処理ステップとを含む処理をコンピュータに実行させる。
【００１２】
本技術の一側面においては、基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルが検出され、ローカル動きベクトルを用いて参照画像の動き補償を行うことで、ローカル動き補償画像が生成され、ローカル動きベクトルを用いて、基準画像と参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルが算出され、グローバル動きベクトルを用いて参照画像の動き補償を行うことでグローバル動き補償画像が生成され、画像の輝度値に対するノイズ強度に応じて、ローカル動き補償画像の画素の画素値と、グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像が生成される。
【発明の効果】
【００１３】
本技術の一側面によれば、照度変化に対しても高品質なノイズ低減画像を生成することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本技術を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図２】MC画ブレンド処理部の第１の構成例を示すブロック図である。
【図３】ノイズ低減処理について説明するフローチャートである。
【図４】図２のMC画ブレンド処理部によるブレンド処理について説明するフローチャートである。
【図５】輝度値に対するノイズ強度について説明する図である。
【図６】MC画ブレンド処理部の第２の構成例を示すブロック図である。
【図７】図６のMC画ブレンド処理部によるブレンド処理について説明するフローチャートである。
【図８】MC画ブレンド処理部の第３の構成例を示すブロック図である。
【図９】図８のMC画ブレンド処理部によるブレンド処理について説明するフローチャートである。
【図１０】MC画ブレンド処理部の第４の構成例を示すブロック図である。
【図１１】図１０のMC画ブレンド処理部によるブレンド処理について説明するフローチャートである。
【図１２】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本技術の実施の形態について図面を参照して説明する。なお、説明は以下の順序で行う。
１．画像処理装置の構成
２．MC画ブレンド処理部の第１の構成例
３．ノイズ低減処理とブレンド処理について
４．MC画ブレンド処理部の第２の構成例とブレンド処理
５．MC画ブレンド処理部の第３の構成例とブレンド処理
６．MC画ブレンド処理部の第４の構成例とブレンド処理
【００１６】
＜１．画像処理装置の構成＞
図１は、本技術を適用した画像処理装置の一実施の形態の構成を示している。
【００１７】
図１の画像処理装置１１は、例えば、図示せぬ撮像装置から供給（入力）されてくる基準画像（以下、Cur画という）に対して、そのCur画に含まれるノイズを低減するノイズ低減処理を施し、その結果得られたノイズ低減画像（以下、NR画という）を、図示せぬ記憶装置や表示装置等に供給する。画像処理装置１１に入力される画像は、時間的に連続した複数のフレームからなる動画像であるものとする。なお、画像処理装置１１は、それ自身がデジタルカメラ等の撮像装置に設けられるようにしてもよい。
【００１８】
図１の画像処理装置１１は、ローカル動き補償処理部３１、グローバル動き補償処理部３２、MC画ブレンド処理部３３、加算判定部３４、加算処理部３５、およびフレームメモリ３６から構成される。
【００１９】
ローカル動き補償処理部３１は、注目しているフレームとしてのCur画と、ノイズ低減処理において参照される参照画像としての、フレームメモリ３６からの１フレーム前のNR画とから、これらの画像を構成するブロック単位の動きベクトルであるローカル動きベクトルLMVを検出し、グローバル動き補償処理部３２に供給する。具体的には、ローカル動き補償処理部３１は、Cur画のブロックと、対応するNR画のブロックとの位置合わせを行うことで、ブロック単位のローカル動きベクトルLMVを求める。
【００２０】
また、ローカル動き補償処理部３１は、検出したブロック単位のローカル動きベクトルLMVを用いてNR画の動き補償を行うことで、NR画をブロック単位でCur画に位置合わせしたローカル動き補償画像（以下、LMC画という）を生成し、MC画ブレンド処理部３３に供給する。
【００２１】
グローバル動き補償処理部３２は、ローカル動き補償処理部３１からのローカル動きベクトルLMVを用いてNR画の動き補償を行うことで、NR画を画像全体でCur画に位置合わせしたグローバル動き補償画像（以下、GMC画という）を生成し、MC画ブレンド処理部３３に供給する。具体的には、グローバル動き補償処理部３２は、ローカル動き補償処理部３１からのローカル動きベクトルLMVを用いて、Cur画とNR画との間の画像単位の動きベクトルであるグローバル動きベクトルGMVを検出し、そのグローバル動きベクトルGMVを用いてNR画の動き補償を行うことで、GMC画を生成する。
【００２２】
ローカル動き補償処理部３１によって生成されるLMC画は、局所的な動きがある場合でも正しく位置合わせされるが、画像全体の位置合わせの精度は低いという性質を持つ。また、グローバル動き補償処理部３２によって生成されるGMC画は、画像全体の位置合わせの精度は高いが、局所的な動きは考慮されないという性質を持つ。
【００２３】
そこで、MC画ブレンド処理部３３は、２つの動き補償画像（MC画）、すなわち、ローカル動き補償処理部３１からのLMC画と、グローバル動き補償処理部３２からのGMC画とを合成して、局所的な動きがある部分はLMC画で、また、局所的な動きがない部分はGMC画で構成されるブレンド動き補償画像（以下、BMC画という）を生成し、加算判定部３４および加算処理部３５に供給する。具体的には、MC画ブレンド処理部３３は、撮像装置から供給される画像に含まれる、イメージセンサ由来のノイズの強度に応じて、LMC画とGMC画とを合成して、BMC画を生成する。
【００２４】
加算判定部３４は、Cur画およびMC画ブレンド処理部３３からのBMC画に基づいて、加算処理部３５で用いられる加算重みを画素毎で算出する。具体的には、加算判定部３４は、BMC画の加算重みを０乃至１の値で画素毎に設定した加算マップを生成し、加算処理部３５に供給する。
【００２５】
加算処理部３５は、加算判定部３４からの加算マップを用いて、Cur画とBMC画とを画素毎に加算することで、NR画を生成する。具体的には、加算処理部３５は、加算判定部３４からの加算マップに基づいて、Cur画とBMC画との加重平均を画素毎に算出することで、NR画を生成し、図示せぬ記憶装置や表示装置等に出力するとともに、フレームメモリ３６に保持（記憶）させる。
【００２６】
フレームメモリ３６は、加算処理部３５からのNR画を１フレーム遅延させ、ノイズ低減処理が済んだ前フレームのNR画として、ローカル動き補償処理部３１およびグローバル動き補償処理部３２に供給する。
【００２７】
＜２．MC画ブレンド処理部の第１の構成例＞
次に、図２を参照して、MC画ブレンド処理部３３の第１の構成例について説明する。
【００２８】
図３のMC画ブレンド処理部３３は、フィルタ処理部５１、フィルタ処理部５２、差分算出部５３、閾値処理部５４、およびBMC画生成部５５から構成される。
【００２９】
フィルタ処理部５１は、Cur画に対してフィルタ処理を施し、差分算出部５３に供給する。具体的には、フィルタ処理部５１は、メディアンフィルタやローパスフィルタ、メディアンフィルタとローパスフィルタとの組み合わせのフィルタ等を用いて、Cur画に対してフィルタ処理を施す。
【００３０】
フィルタ処理部５２は、GMC画に対してフィルタ処理を施し、差分算出部５３に供給する。具体的には、フィルタ処理部５２は、フィルタ処理部５１と同様に、メディアンフィルタやローパスフィルタ、メディアンフィルタとローパスフィルタとの組み合わせのフィルタ等を用いて、GMC画に対してフィルタ処理を施す。
【００３１】
差分算出部５３は、フィルタ処理部５１によってフィルタ処理が施されたCur画と、フィルタ処理部５２によってフィルタ処理が施されたGMC画の、画素毎の画素値の差分値を算出し、得られた差分値の絶対値（差分絶対値）を、閾値処理部５４に供給する。なお、以下においては、Cur画の画素値とGMC画の画素値の差分絶対値を、単に、差分値ともいう。
【００３２】
閾値処理部５４は、差分算出部５３からの画素毎の差分値が、輝度値に対するノイズ強度に基づいて設定された閾値より大きいか否かを判定し、その判定結果を、BMC画生成部５５に供給する。
【００３３】
BMC画生成部５５は、閾値処理部５４からの判定結果に応じて、GMC画またはLMC画のいずれかを画素毎に選択することで、BMC画を生成し、加算判定部３４および加算処理部３５に供給する。
【００３４】
＜３．ノイズ低減処理とブレンド処理について＞
次に、図３および図４のフローチャートを参照して、図１の画像処理装置１１によるノイズ低減処理、および、図２のMC画ブレンド処理部３３によるブレンド処理について説明する。
【００３５】
［ノイズ低減処理について］
まず、図３のフローチャートを参照して、図１の画像処理装置１１によるノイズ低減処理について説明する。
【００３６】
ステップＳ１１において、ローカル動き補償処理部３１は、Cur画とフレームメモリ３６からのNR画とから、ブロック毎に、ローカル動きベクトルLMVを検出し、グローバル動き補償処理部３２に供給する。
【００３７】
ステップＳ１２において、ローカル動き補償処理部３１は、ローカル動きベクトルLMVを用いてNR画の動き補償を行うことで、ローカル動き補償画像（LMC画）を生成し、MC画ブレンド処理部３３に供給する。
【００３８】
ステップＳ１３において、グローバル動き補償処理部３２は、ローカル動き補償処理部３１からのローカル動きベクトルLMVを用いてNR画の動き補償を行うことで、グローバル動き補償画像（GMC画）を生成し、MC画ブレンド処理部３３に供給する。
【００３９】
ステップＳ１４において、MC画ブレンド処理部３３は、ブレンド処理を実行することで、ローカル動き補償処理部３１からのLMC画と、グローバル動き補償処理部３２からのGMC画とを合成して、ブレンド動き補償画像（BMC画）を生成し、加算判定部３４および加算処理部３５に供給する。なお、ブレンド処理の詳細は後述する。
【００４０】
ステップＳ１５において、加算判定部３４は、Cur画およびMC画ブレンド処理部３３からのBMC画に基づいて、加算マップを生成し、加算処理部３５に供給する。
【００４１】
ステップＳ１６において、加算処理部３５は、加算判定部３４からの加算マップに基づいて、Cur画とBMC画との加重平均を画素毎に算出することで、ノイズ低減画像（NR画）を生成し、図示せぬ記憶装置や表示装置等に出力するとともに、フレームメモリ３６に保持（記憶）させる。
【００４２】
以上のようにして、ノイズを低減したノイズ低減画像が出力される。
【００４３】
［ブレンド処理について］
次に、図４のフローチャートを参照して、図３のフローチャートのステップＳ１４におけるブレンド処理について説明する。
【００４４】
ステップＳ３１において、フィルタ処理部５１は、Cur画に対してフィルタ処理を施し、差分算出部５３に供給する。
【００４５】
ステップＳ３２において、フィルタ処理部５２は、GMC画に対してフィルタ処理を施し、差分算出部５３に供給する。
【００４６】
このように、Cur画およびGMC画に対してフィルタ処理を施すことにより、それぞれの画像に含まれるノイズを抑制することができる。なお、ステップＳ３１およびステップＳ３２の処理は、並列して実行されてもよい。
【００４７】
ステップＳ３３において、差分算出部５３は、フィルタ処理部５１によってフィルタ処理が施されたCur画と、フィルタ処理部５２によってフィルタ処理が施されたGMC画の、画素毎の差分値（差分絶対値）を算出し、閾値処理部５４に供給する。なお、ステップＳ３３以降の処理は、画素単位で実行される。
【００４８】
ステップＳ３４において、閾値処理部５４は、差分算出部５３からの画素毎の差分値が、予め求められた、輝度値に対するノイズ強度に基づいて設定された閾値より大きいか否かを判定する。
【００４９】
図５は、図示せぬ撮像装置によって得られる画像の、輝度値に対するノイズ強度を示している。
【００５０】
図５において、横軸は、画素の輝度値を示しており、縦軸は、ノイズ強度を示している。ノイズ強度は、画素によってばらつきを持っているので、画像全体おける画素毎のノイズ強度の分布を予め求め、そのノイズ強度の分布に基づいて、図５に示されるノイズ強度が得られる。
【００５１】
なお、ノイズ強度は、Ｒ，Ｇ，Ｂの３チャンネルの輝度値（輝度信号）について与えられるものであり、図５に示されるノイズ強度は、例えばＧ信号についてのノイズ強度を示しているものとする。
【００５２】
すなわち、閾値処理部５４は、注目している画素位置の、Cur画における画素の輝度値（例えばＧ信号）に基づいて、図５に示される関係から、その輝度値に対応するノイズ強度を閾値に設定する。そして、閾値処理部５４は、その閾値と、差分算出部５３からの画素毎の差分値とを比較し、差分値が閾値より大きいか否かを判定する。
【００５３】
差分値が閾値より大きい場合、Cur画の画素値とGMC画の画素値の差分値（差分絶対値）には、ノイズだけでなく、画像自体の差異が含まれているということができる。つまり、この場合、注目している画素は、局所的に動きがある部分の画素ということができる。
【００５４】
一方、差分値が閾値より大きくない場合、Cur画の画素値とGMC画の画素値の差分値（差分絶対値）には、ノイズのみが含まれているということができる。つまり、この場合、注目している画素は、局所的に動きがない部分の画素ということができる。
【００５５】
したがって、ステップＳ３４において、差分値が閾値より大きいと判定された場合、すなわち、その画素が局所的に動きがある部分の画素である場合、処理はステップＳ３５に進み、BMC画生成部５５は、LMC画の画素の画素値を、対応するBMC画の画素の画素値とする。
【００５６】
一方、ステップＳ３４において、差分値が閾値より大きくないと判定された場合、すなわち、その画素が局所的に動きがない部分の画素である場合、処理はステップＳ３６に進み、BMC画生成部５５は、GMC画の画素の画素値を、対応するBMC画の画素の画素値とする。
【００５７】
ステップＳ３７において、BMC画生成部５５は、全ての画素について処理したか、すなわち、GMC画またはLMC画のいずれかが画素毎に選択されることで、BMC画が生成されたか否かを判定する。
【００５８】
ステップＳ３７において、全ての画素について処理していないと判定された場合、処理はステップＳ３３に戻り、これ以降の処理が繰り返される。
【００５９】
一方、ステップＳ３７において、全ての画素について処理したと判定された場合、BMC画生成部５５は、生成したBMC画を、加算判定部３４および加算処理部３５に供給して、ブレンド処理は終了する。その後、処理は、図３のフローチャートのステップＳ１４に戻る。
【００６０】
以上の処理によれば、Cur画とGMC画の差分絶対値が算出され、その差分絶対値が、ノイズ強度に応じて設定される閾値より大きいか否かが判定され、その判定結果に応じて、GMC画またはLMC画のいずれかが画素毎に選択されて、BMC画が生成されるようになる。したがって、撮像環境において照度が変化した場合であっても、そのときの輝度値に対応するノイズ強度に応じて、LMC画とGMC画とを正しく合成することができ、正確なBMC画を得ることが可能となる。結果として、照度変化に対しても高品質なノイズ低減画像を生成することができる。
【００６１】
なお、ノイズ強度に応じて設定される閾値は、上述したように、輝度値に対応するノイズ強度の値そのものであってもよいし、ノイズ強度の値に所定の係数を乗じる等して調整した値であってもよい。
【００６２】
＜４．MC画ブレンド処理部の第２の構成例とブレンド処理＞
［MC画ブレンド処理部の第２の構成例］
次に、図６を参照して、MC画ブレンド処理部の第２の構成例について説明する。
【００６３】
図６のMC画ブレンド処理部７１は、フィルタ処理部５１、フィルタ処理部５２、ブレンド比率決定部９１、およびBMC画生成部９２から構成される。
【００６４】
なお、図６のMC画ブレンド処理部７１において、図２のMC画ブレンド処理部３３に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は省略する。
【００６５】
すなわち、ブレンド比率決定部９１は、フィルタ処理部５１からのCur画、フィルタ処理部５２からのGMC画、および輝度値に対するノイズ強度に基づいて、BMC画生成部９２におけるGMC画とLMC画の合成に用いられるブレンド比率を決定し、そのブレンド比率を表す情報をBMC画生成部９２に供給する。
【００６６】
BMC画生成部９２は、ブレンド比率決定部９１からのブレンド比率を表す情報に基づいて、GMC画とLMC画とを合成（ブレンド）することで、BMC画を生成する。
【００６７】
［ブレンド処理について］
ここで、図７のフローチャートを参照して、図６のMC画ブレンド処理部７１によるブレンド処理について説明する。
【００６８】
なお、図７のフローチャートのステップＳ５１，Ｓ５２の処理は、図４のフローチャートのステップＳ３１，Ｓ３２の処理とそれぞれ同様であるので、その説明は省略する。
【００６９】
すなわち、ステップＳ５３において、ブレンド比率決定部９１は、フィルタ処理部５１からのCur画、フィルタ処理部５２からのGMC画、および、図５を参照して説明した輝度値に対するノイズ強度に基づいて、画素毎に、GMC画とLMC画のブレンド比率を決定し、そのブレンド比率を表す情報をBMC画生成部９２に供給する。
【００７０】
ここで、GMC画、LMC画、BMC画の画素の画素値をそれぞれGmc、Lmc、Bmcとし、BMC画の画素値BmcにおけるGMC画の画素値Gmcの割合（ブレンド比率）をα（０≦α≦１）とすると、ブレンド処理の結果得られるBMC画の画素値Bmcは、以下の式（１）で表わされる。
【００７１】
Bmc＝α×Gmc＋（１−α）×Lmc
・・・（１）
【００７２】
ここで、輝度値は１チャンネルしかないものとして、Cur画の画素の画素値をCurとすると、ブレンド比率αは、以下の式（２）で与えられる。
【００７３】
【数１】
・・・（２）
【００７４】
なお、式（２）において、σは、上述したノイズ強度の分布の標準偏差を表す。
【００７５】
式（２）によれば、ブレンド比率αは、ノイズ成分を含んでいる可能性のあるCur画の画素値とGMC画の画素値との差分が小さいほど、１に近い値をとり、その差分が大きいほど、０に近い値をとる。
【００７６】
しかしながら、上述したように、輝度値は、実際にはＲ，Ｇ，Ｂの３チャンネルあるので、それぞれについてのブレンド比率を、αR，αG，αBとした場合、ブレンド比率αを、以下の式（３）のように表すこととする。
【００７７】
α＝min（αR，αG，αB）
・・・（３）
【００７８】
なお、min（ａ，ｂ，ｃ）は、ａ，ｂ，ｃの中の最小値を表す。
【００７９】
以上のようにしてブレンド比率αが決定される。
【００８０】
ステップＳ５４において、BMC画生成部９２は、ブレンド比率決定部９１からのブレンド比率を表す情報に基づいて、上述の式（１）に従って、対応するBMC画の画素の画素値を求める。
【００８１】
ステップＳ５５において、BMC画生成部９２は、全ての画素について処理したか、すなわち、BMC画の画素の画素値が求められることで、BMC画が生成されたか否かを判定する。
【００８２】
ステップＳ５５において、全ての画素について処理していないと判定された場合、処理はステップＳ５３に戻り、これ以降の処理が繰り返される。
【００８３】
一方、ステップＳ５５において、全ての画素について処理したと判定された場合、BMC画生成部９２は、生成されたBMC画を、加算判定部３４および加算処理部３５に供給して、ブレンド処理は終了する。
【００８４】
以上の処理によれば、Cur画とGMC画の差分値およびノイズ強度に基づいて、ブレンド比率が決定され、そのブレンド比率に応じてGMC画とLMC画とが合成されてBMC画が生成されるようになる。したがって、撮像環境において照度が変化した場合であっても、そのときの輝度値に対応するノイズ強度に応じて、LMC画とGMC画とを正しく合成することができ、正確なBMC画を得ることが可能となる。結果として、照度変化に対しても高品質なノイズ低減画像を生成することができる。
【００８５】
また、以上の処理によれば、生成されたBMC画において、画素毎にCur画とGMC画とが切り替わることがないため、画像のグラデーション部分での階調の劣化を防ぐことが可能となる。
【００８６】
以上においては、Cur画、LMC画、およびGMC画を用いて、BMC画を生成する構成について説明してきたが、以下においては、Cur画を用いず、LMC画およびGMC画を用いて、BMC画を生成する構成について説明する。
【００８７】
＜５．MC画ブレンド処理部の第３の構成例とブレンド処理＞
［MC画ブレンド処理部の第３の構成例］
まず、図８を参照して、MC画ブレンド処理部の第３の構成例について説明する。
【００８８】
図８のMC画ブレンド処理部１３１は、フィルタ処理部５２、閾値処理部５４、BMC画生成部５５、フィルタ処理部１５１、および差分算出部１５２から構成される。
【００８９】
なお、図８のMC画ブレンド処理部１３１において、図２のMC画ブレンド処理部３３に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は省略する。
【００９０】
すなわち、フィルタ処理部１５１は、LMC画に対してフィルタ処理を施し、差分算出部１５２に供給する。具体的には、フィルタ処理部１５１は、メディアンフィルタやローパスフィルタ、メディアンフィルタとローパスフィルタとの組み合わせのフィルタ等を用いて、LMC画に対してフィルタ処理を施す。
【００９１】
差分算出部１５２は、フィルタ処理部１５１によってフィルタ処理が施されたLMC画と、フィルタ処理部５２によってフィルタ処理が施されたGMC画の、画素毎の画素値の差分値を算出し、算出した差分値の絶対値（差分絶対値）を、閾値処理部５４に供給する。
【００９２】
［ブレンド処理について］
次に、図９のフローチャートを参照して、図８のMC画ブレンド処理部１３１によるブレンド処理について説明する。
【００９３】
なお、図９のフローチャートのステップＳ１３２，Ｓ１３４乃至１３７の処理は、図４のフローチャートのステップＳ３２，Ｓ３４乃至３７の処理とそれぞれ同様であるので、その説明は省略する。
【００９４】
すなわち、ステップＳ１３１において、フィルタ処理部１５１は、LMC画に対してフィルタ処理を施し、差分算出部１５２に供給する。
【００９５】
また、ステップＳ１３３において、差分算出部１５２は、フィルタ処理部１５１によってフィルタ処理が施されたLMC画と、フィルタ処理部５２によってフィルタ処理が施されたGMC画の、画素毎の差分値（差分絶対値）を算出し、閾値処理部５４に供給する。
【００９６】
図９のフローチャートで示されるブレンド処理においても、図４のフローチャートで示されるブレンド処理と同様の作用効果を奏することができる。また、図８のMC画ブレンド処理部１３１においては、図２のMC画ブレンド処理部３３と比較して、用いられるデータ（画像）の数が少なくなるので、図２のMC画ブレンド処理部３３より、回路構成を簡単することが可能となる。
【００９７】
＜６．MC画ブレンド処理部の第４の構成例とブレンド処理＞
［MC画ブレンド処理部の第４の構成例］
次に、図１０を参照して、MC画ブレンド処理部の第４の構成例について説明する。
【００９８】
図１０のMC画ブレンド処理部１７１は、フィルタ処理部５２、BMC画生成部９２、フィルタ処理部１５１、およびブレンド比率決定部１９１から構成される。
【００９９】
なお、図１０のMC画ブレンド処理部１７１において、図６のMC画ブレンド処理部７１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は省略する。また、フィルタ処理部１５１は、図８のMC画ブレンド処理部１３１に設けられたものと同一であるので、その説明も省略する。
【０１００】
すなわち、ブレンド比率決定部１９１は、フィルタ処理部１５１からのLMC画、フィルタ処理部５２からのGMC画、および、輝度値に対するノイズ強度に基づいて、BMC画生成部９２におけるGMC画とLMC画の合成に用いられるブレンド比率を決定し、そのブレンド比率を表す情報をBMC画生成部９２に供給する。
【０１０１】
［ブレンド処理について］
次に、図１１のフローチャートを参照して、図１０のMC画ブレンド処理部１７１によるブレンド処理について説明する。
【０１０２】
なお、図１１のフローチャートのステップＳ１５２，Ｓ１５４，Ｓ１５５の処理は、図７のフローチャートのステップＳ５２，Ｓ５４，Ｓ５５の処理とそれぞれ同様であるので、その説明は省略する。
【０１０３】
すなわち、ステップＳ１５１において、フィルタ処理部１５１は、LMC画に対してフィルタ処理を施し、ブレンド比率決定部１９１に供給する。
【０１０４】
また、ステップＳ１５３において、ブレンド比率決定部１９１は、フィルタ処理部１５１からのLMC画、フィルタ処理部５２からのGMC画、および、図５を参照して説明した輝度値に対するノイズ強度に基づいて、画素毎に、GMC画とLMC画のブレンド比率を決定し、そのブレンド比率を表す情報をBMC画生成部９２に供給する。なお、ブレンド比率αは、上述の式（２）において、Cur画の画素値Curを、LMC画の画素値Lmcに置き換えた式により与えられる。
【０１０５】
図１１のフローチャートで示されるブレンド処理においても、図７のフローチャートで示されるブレンド処理と同様の作用効果を奏することができる。また、図１０のMC画ブレンド処理部１７１においては、図６のMC画ブレンド処理部７１と比較して、用いられるデータ（画像）の数が少なくなるので、図６のMC画ブレンド処理部７１より、回路構成を簡単することが可能となる。
【０１０６】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１０７】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１０８】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１０９】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０１１０】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１１１】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１１２】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１１３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１４】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１５】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１１６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【符号の説明】
【０１１８】
１１ 画像処理装置， ３１ ローカル動き補償処理部， ３２ グローバル動き補償処理部， ３３ MC画ブレンド処理部， ３４ 加算判定部， ３５ 加算処理部， ５３ 差分算出部， ５４ 閾値処理部， ５５ BMC画生成部， ９１ ブレンド比率決定部， ９２ BMC画生成部
【特許請求の範囲】
【請求項１】
基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成するローカル動き補償処理部と、
前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成するグローバル動き補償処理部と、
画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するブレンド処理部と
を備える画像処理装置。
【請求項２】
前記ブレンド処理部は、
前記基準画像の画素の画素値と、前記ローカル動き補償画像の画素の画素値との差分絶対値が、前記ノイズ強度に基づいて設定された閾値より大きいか否かを判定する閾値処理部と、
前記差分絶対値が前記閾値より大きいか否かに応じて、前記ブレンド動き補償画像の画素の画素値を、前記ローカル動き補償画像または前記グローバル動き補償画像の画素の画素値とすることで、前記ブレンド動き補償画像を生成するブレンド動き補償画像生成部とを備える
請求項１に記載の画像処理装置。
【請求項３】
前記ブレンド動き補償画像生成部は、前記差分絶対値が前記閾値より大きいと判定された場合、前記ブレンド動き補償画像の画素の画素値を、前記ローカル動き補償画像の画素の画素値とし、前記差分絶対値が前記閾値より大きくないと判定された場合、前記ブレンド動き補償画像の画素の画素値を、前記グローバル動き補償画像の画素の画素値とする
請求項２に記載の画像処理装置。
【請求項４】
前記ブレンド処理部は、
前記ノイズ強度に基づいて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値との合成に用いるブレンド比率を決定するブレンド比率決定部と、
前記ブレンド比率に基づいて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することで、前記ブレンド動き補償画像を生成するブレンド動き補償画像生成部とを備える
請求項１に記載の画像処理装置。
【請求項５】
基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成するローカル動き補償処理部と、
前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成するグローバル動き補償処理部と、
画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するブレンド処理部と
を備える画像処理装置の画像処理方法であって、
前記画像処理装置が、
基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成し、
前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成し、
画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成する
ステップを含む画像処理方法。
【請求項６】
基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成するローカル動き補償処理ステップと、
前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成するグローバル動き補償処理ステップと、
画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するブレンド処理ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項７】
基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成するローカル動き補償処理ステップと、
前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成するグローバル動き補償処理ステップと、
画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するブレンド処理ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項１】
基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成するローカル動き補償処理部と、
前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成するグローバル動き補償処理部と、
画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するブレンド処理部と
を備える画像処理装置。
【請求項２】
前記ブレンド処理部は、
前記基準画像の画素の画素値と、前記ローカル動き補償画像の画素の画素値との差分絶対値が、前記ノイズ強度に基づいて設定された閾値より大きいか否かを判定する閾値処理部と、
前記差分絶対値が前記閾値より大きいか否かに応じて、前記ブレンド動き補償画像の画素の画素値を、前記ローカル動き補償画像または前記グローバル動き補償画像の画素の画素値とすることで、前記ブレンド動き補償画像を生成するブレンド動き補償画像生成部とを備える
請求項１に記載の画像処理装置。
【請求項３】
前記ブレンド動き補償画像生成部は、前記差分絶対値が前記閾値より大きいと判定された場合、前記ブレンド動き補償画像の画素の画素値を、前記ローカル動き補償画像の画素の画素値とし、前記差分絶対値が前記閾値より大きくないと判定された場合、前記ブレンド動き補償画像の画素の画素値を、前記グローバル動き補償画像の画素の画素値とする
請求項２に記載の画像処理装置。
【請求項４】
前記ブレンド処理部は、
前記ノイズ強度に基づいて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値との合成に用いるブレンド比率を決定するブレンド比率決定部と、
前記ブレンド比率に基づいて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することで、前記ブレンド動き補償画像を生成するブレンド動き補償画像生成部とを備える
請求項１に記載の画像処理装置。
【請求項５】
基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成するローカル動き補償処理部と、
前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成するグローバル動き補償処理部と、
画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するブレンド処理部と
を備える画像処理装置の画像処理方法であって、
前記画像処理装置が、
基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成し、
前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成し、
画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成する
ステップを含む画像処理方法。
【請求項６】
基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成するローカル動き補償処理ステップと、
前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成するグローバル動き補償処理ステップと、
画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するブレンド処理ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項７】
基準画像および参照画像から、画像を構成するブロック単位の動きベクトルであるローカル動きベクトルを検出し、前記ローカル動きベクトルを用いて前記参照画像の動き補償を行うことで、ローカル動き補償画像を生成するローカル動き補償処理ステップと、
前記ローカル動きベクトルを用いて、前記基準画像と前記参照画像との間の画像単位の動きベクトルであるグローバル動きベクトルを算出し、前記グローバル動きベクトルを用いて前記参照画像の動き補償を行うことでグローバル動き補償画像を生成するグローバル動き補償処理ステップと、
画像の輝度値に対するノイズ強度に応じて、前記ローカル動き補償画像の画素の画素値と、前記グローバル動き補償画像の画素の画素値とを合成することでブレンド動き補償画像を生成するブレンド処理ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−７４５７１（Ｐ２０１３−７４５７１Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１３８６７（Ｐ２０１１−２１３８６７）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]