画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
【課題】ノイズ量を低減しつつ揺れの少ない動画像を得ることを目的とする。
【解決手段】画像処理装置は、算出した動きベクトルに基づいて、参照画像を基準画像に位置合わせするように動き補償する動き補償部（１０２）と、基準画像において前記合成処理の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を算出する高周波成分算出部（１０３）と、高周波成分値がより大きい場合に高周波成分値がより小さい場合と比較してより少なくなるような量のノイズ成分を生成するノイズ生成部（１０４）と、ノイズ成分と参照画像と基準画像を用いて対象画素の動き補償の信頼度を算出する信頼度算出部（１０５）と、信頼度に応じて基準画像の対象画素と参照画像において前記対象画素に対応する対応画素との合成比率を算出し、合成比率に基づいて対象画素と対応画素を合成する合成部（１０６）と、を備える。
【解決手段】画像処理装置は、算出した動きベクトルに基づいて、参照画像を基準画像に位置合わせするように動き補償する動き補償部（１０２）と、基準画像において前記合成処理の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を算出する高周波成分算出部（１０３）と、高周波成分値がより大きい場合に高周波成分値がより小さい場合と比較してより少なくなるような量のノイズ成分を生成するノイズ生成部（１０４）と、ノイズ成分と参照画像と基準画像を用いて対象画素の動き補償の信頼度を算出する信頼度算出部（１０５）と、信頼度に応じて基準画像の対象画素と参照画像において前記対象画素に対応する対応画素との合成比率を算出し、合成比率に基づいて対象画素と対応画素を合成する合成部（１０６）と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置に関する。
【背景技術】
【０００２】
従来の動画像のノイズ量を低減する技術として、巡回型のノイズリダクション技術がある。この技術は、入力フレーム画像と処理済みの前フレーム画像との間で動き補償を行い、各画素に関する動き補償の信頼度を周辺画素の差分量から算出する。信頼度と動き量とノイズ推定量に応じて導出されたブレンド合成比率（混合比率）で、入力フレーム画像（現フレーム）と前フレーム画像は、ブレンド合成される（特許文献１、２参照）。
【０００３】
近年の動画記録の高画素化・高フレームレート化により、画素毎に動き検出することは、回路規模や計算時間が多大となってしまう。一方、離散点での動き検出に基づいて動き補償することで回路規模や計算時間が減少するが、この場合、動き検出に誤差が生じる。また、高速に動き検出できるブロックマッチング法などでは、レンズ歪みやローリングシャッター等の影響により動き検出に誤差が生じる。さらにノイズの影響によっても、動き検出に誤差が生じる。そのため、従来のノイズ量を低減する技術は、ブレンド合成時に残像やアーティファクトが発生しないように、動き補償の信頼度が高いほど程、前フレーム画像の合成比率を高くし、動き補償の信頼度が低いほど、前フレーム画像の合成比率を低くする。なお、動き補償の信頼度は、動き補償した画像間の差分絶対値和（ＳＡＤ）などの相違度の評価値から算出でき、差分絶対値和が小さいほど信頼度は増加し、差分絶対値和が大きいほど信頼度は減少する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４３２１６２６
【特許文献２】特開２０１０−１４７９８６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、画像中の低、中、高の各コントラスト部分では、同じ動き検出誤差、例えば＋方向０．５ピクセルの動き量又は動きベクトルの誤差があった場合でも、画像間の差分絶対値和（ＳＡＤ）の値に対する誤差の影響が著しく異なる。コントラストが高い部分（即ち、高周波成分が多い）ほど、誤差の影響で差分絶対値和は大きくなってしまう。そのため、異なるコントラストの部分が密接した被写体の場合、動き検出誤差があると、低中コントラスト部分は、前フレーム画像の合成比率が高くなるようブレンド合成されても、高コントラスト部分は現フレームの合成比率が高くなるようブレンド合成される。
【０００６】
静止物体がパン／チルト撮影される場合において、一様なパンチルトの動き量が変化して、高コントラスト部分に対する低中コントラスト部分の動き検出誤差（即ち動き補償誤差）が＋０．５ピクセルから−０．５ピクセルへ急激に変わる場合がある。この場合、巡回型のノイズリダクションでは、高コントラスト部分は、差分絶対値和（ＳＡＤ）が大きいので誤差がない現フレーム画像の位置にあるために、動画像として見た際に低中コントラスト部は揺れてしまうという問題が発生する。この問題は、ノイズ量の低減効果を高くするほど、つまり、処理済みの前フレーム画像のブレンド合成比率を高くするほど顕著となる。
【０００７】
即ち、動き補償誤差がある場合、コントラストが高い、つまり、高周波成分が多いと動き補償の信頼性の指標である相違度（ＳＡＤ等）が大きくなり（類似度は小さくなり）、高周波成分が少ないと相違度が小さくなる（類似度は大きくなる）。このように、相違度（又は類似度）は、高周波成分の多寡に影響されるため、相違度（又は類似度）を用いて動き補償が信頼できるかどうかを適切に判断することは困難となっていた。
【０００８】
本発明は、上記の問題に鑑みて、ブレンド合成比率に対する動き補償誤差の影響が高周波成分の量により異なることを抑制し、ノイズ量を低減しつつ揺れの少ない動画像を得ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明のある態様に係る画像処理装置は、基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理装置であって、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部と、前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償部と、前記基準画像において前記合成処理の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を、前記基準画像または前記参照画像から算出する高周波成分算出部と、前記高周波成分値がより大きい場合に前記高周波成分値がより小さい場合と比較してより少なくなるような量のノイズ成分を、少なくとも一パターン生成するノイズ生成部と、前記ノイズ成分と前記参照画像と前記基準画像を用いて前記対象画素の動き補償の信頼度を算出する信頼度算出部と、前記信頼度に応じて前記基準画像の前記対象画素と前記参照画像において前記対象画素に対応する対応画素との合成比率を算出し、前記合成比率に基づいて前記対象画素と前記対応画素を合成する合成部と、を備える。
【００１０】
本発明の別の態様に係る画像処理方法は、基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理方法であって、前記基準画像と前記参照画像との間の動きベクトルを算出することと、前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償することと、前記基準画像において前記合成処理の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を、前記基準画像または前記参照画像から算出することと、前記高周波成分値がより大きい場合に前記高周波成分値がより小さい場合と比較してより少なくなるような量のノイズ成分を、少なくとも一パターン生成することと、前記ノイズ成分と前記参照画像と前記基準画像を用いて前記対象画素の動き補償の信頼度を算出することと、前記信頼度に応じて前記基準画像の前記対象画素と前記参照画像において前記対象画素に対応する対応画素との合成比率を算出し、前記合成比率に基づいて前記対象画素と前記対応画素を合成することと、を含む。
【００１１】
本発明のさらに別の態様に係る画像処理プログラムは、基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理プログラムであって、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順と、前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償手順と、前記基準画像において前記合成処理の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を、前記基準画像または前記参照画像から算出する高周波成分算出手順と、前記高周波成分値がより大きい場合に前記高周波成分値がより小さい場合と比較してより少なくなるような量のノイズ成分を、少なくとも一パターン生成するノイズ生成手順と、前記ノイズ成分と前記参照画像と前記基準画像を用いて前記対象画素の動き補償の信頼度を算出する信頼度算出手順と、前記信頼度に応じて前記基準画像の前記対象画素と前記参照画像において前記対象画素に対応する対応画素との合成比率を算出し、前記合成比率に基づいて前記対象画素と前記対応画素を合成する合成手順と、をコンピュータに実行させる。
【発明の効果】
【００１２】
本発明によると、参照画像と基準画像の画素を合成する場合、合成比率に対する動き補償誤差の影響が高周波成分の量により異なることを抑制できる。これにより、ノイズ量を低減しつつ揺れの少ない動画像を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る画像処理装置を示すブロック図である。
【図２】本発明に係るブレンド合成処理を示すシーケンス図である。
【図３】離散コサイン変換（ＤＣＴ）係数を示す図である。
【図４】（ａ）ノイズ量と高周波成分値（高周波成分の量）との関係を示し、ノイズ生成の一例を示す図である。（ｂ）ノイズ量と高周波成分値（高周波成分の量）との関係を示し、ノイズ生成の他の一例を示す図である。
【図５】第一実施形態に係る信頼度算出処理の手順を示すフローチャートである。
【図６】第一実施形態におけるノイズ付加の一例を示す図である。
【図７】第一実施形態におけるノイズ付加の他の一例を示す図である。
【図８】第一実施形態におけるノイズ付加のさらに他の一例を示す図である。
【図９】動き補償の信頼度Ｒとブレンド合成比率との関係を示すグラフである。
【図１０】第二実施形態に係る信頼度算出処理の手順を示すフローチャートである。
【図１１】第二実施形態におけるノイズ付加の一例を示す図である。
【図１２】画像処理プログラムの手順を例示するフローチャートである。
【発明を実施するための形態】
【００１４】
［第一実施形態］
図１は、第一実施形態に係る画像処理装置のブロック構成図を示す。本実施形態では、画像処理装置は、撮像装置に搭載されている。撮像装置は、電子機器の一例として示すものであり、例えば、ビデオカメラ、電子スチルカメラなどである。
【００１５】
撮像装置は、撮像部１００と画像処理装置２００とを備える。画像を撮影する撮像部１００は、画像処理装置２００へ画像（画像データ）を入力する画像入力部として機能する。画像処理装置２００は、ノイズ量が低減された画像を外部へ出力する。
【００１６】
撮像部１００は、撮像光学系、撮像素子、Ａ／Ｄ変換回路などを備える。画像処理装置２００は、動きベクトル算出部１０１（動きベクトル算出手段）、動き補償部１０２（動き補償手段）、高周波成分算出部１０３（高周波成分算出手段）、ノイズ生成部１０４（ノイズ生成手段）、信頼度算出部１０５（信頼度算出手段）、及び、ブレンド合成部１０６（ブレンド合成手段）を備える。なお、画像処理装置２００の上記の各部（又はこれら全体）は、ＡＳＩＣ、ＦＰＧＡなどの論理回路から構成されてよい。或いは、画像処理装置２００の上記の各部（又はこれら全体）は、データを格納するメモリ、演算プログラムを格納するメモリ、この演算プログラムを実行するＣＰＵ／ＤＳＰ（中央演算処理装置／デジタルシグナルプロセッサ）等から構成されてもよい。
【００１７】
さらに、画像処理装置２００は、フレームメモリ１０７（記憶部）も備える。フレームメモリ１０７は、撮像部１００により撮像されフレームメモリ１０７に出力された現フレーム画像と、ブレンド合成部１０６から出力された前フレーム画像とを画素値データとして保存する。
【００１８】
フレームメモリ１０７に保存された前フレーム画像と現フレーム画像は、動きベクトル算出部１０１に入力され、それぞれ、参照画像と基準画像として使用される。ここで、「前フレーム画像」は、画像処理装置２００の前回の処理で、ブレンド合成部１０６から出力されフレームメモリ１０７に記憶された画像である。「現フレーム画像」は、今回の画像処理装置２００の処理で、ブレンド合成の対象となる撮像部１００で撮像された画像（合成前の画像）である。
【００１９】
動きベクトル算出部１０１は、テンプレートマッチング法などにより、入力された２フレームの画像間の動きベクトルを算出し、動き補償部１０２へ出力する。動き補償部１０２は、参照画像としての前フレーム画像を、基準画像としての現フレーム画像に位置合わせするように動き（位置ずれ）を補償する。さらに、動き補償部１０２は、現フレーム画像の小領域、及び、現フレーム画像に位置合わせした前フレーム画像の小領域を切り出す。前フレーム画像の小領域は、現フレーム画像の小領域に対応し、それぞれ、参照領域と基準領域と呼ばれる。動き補償部１０２は、動きベクトルを相殺するように、動きベクトルに基づいて前フレーム画像の小領域の切り出し位置を決定する。小領域は、ブレンド合成の対象となっている対象画素を中心とし、画像全体に比較して小さな所定のサイズの領域であって、例えば、３×３ピクセル、５×５ピクセルの領域である。
【００２０】
フレームメモリ１０７に保存された現フレーム画像（基準画像）の小領域と前フレーム画像（参照画像）の小領域の画素値データは、高周波成分算出部１０３に入力される。高周波成分算出部１０３は、ブレンド合成の対象となる対象画素を含む領域内の高周波成分の量を示す高周波成分値を算出して、ノイズ生成部１０４へと出力する。ノイズ生成部１０４は、入力された高周波成分値に応じたノイズ量を有するノイズ成分（ランダムノイズ）を生成し、信頼度算出部１０５に出力する。ノイズ量とは、ノイズの振幅の大きさの指標となるもので、ノイズ成分の画素値ヒストグラムをとった場合における分散（又は標準偏差）で表されてもよい。
【００２１】
信頼度算出部１０５は、ノイズ成分と現フレーム画像の小領域と前フレーム画像の小領域を用いて相違度（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅなど）又は類似度（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎなど）を算出する。さらに、信頼度算出部１０５は、相違度又は類似度から動き補償の信頼度Ｒ（即ち、動きベクトルの信頼度Ｒ）を算出して、ブレンド合成部１０６の合成比率算出部１０６ａへ出力する。
【００２２】
ブレンド合成部１０６の合成比率算出部１０６ａは、入力された信頼度Ｒに基づいて、現フレーム画像の対象画素（小領域の中心画素）とこれに対応する前フレーム画像の対応画素とのブレンド合成比率を算出する。前フレーム画像の対応画素の合成比率をαとすると、現フレーム画像の対象画素の合成比率は（１−α）となる。ブレンド合成部１０６は、算出された合成比率によってこれら対象画素と対応画素をブレンド合成して、フレームメモリ１０７に出力して保存する。ブレンド合成として、対象画素と対応画素の合成比率を重みとして、重み付き加算、又は、加重平均が行われる。
【００２３】
その後、全ての対象画素（即ち、現フレーム画像の全画素）に関してブレンド合成が行われた後、フレームメモリ１０７の合成画像は、記録媒体（メモリカード）などに出力され記録されるか、又は、表示部（液晶モニタ等）に出力され表示される。
【００２４】
図２は、第一実施形態に係る処理シーケンス図を示す。複数の画像を連続して撮像する動画撮像の際、一枚目の入力画像は、そのまま出力画像となる。２枚目の入力画像が撮像されたら、保存してある一枚目の出力画像（前フレーム画像）と２枚目の入力画像（現フレーム画像）とが、ブレンド合成され合成画像が生成される。合成画像が２枚目の出力動画像となる。図２に示すように、３枚目の入力画像以降も、２枚目の入力画像と同様にブレンド合成が行われる。
【００２５】
高周波成分算出部１０３における高周波成分値の算出方法について説明する。簡単には、高周波成分算出部１０３は、対象画素に関するコントラスト値を高周波成分値として計算できる。現フレーム画像の画素値のうち、対象画素を含む小領域内での画素値の平均値を求め、その平均値と小領域内の各画素の画素値との差分量（差の絶対値）を算出し、その差分量が最大のもの（コントラスト値）を対象画素に関する高周波成分値とする。また、例えば、高周波成分算出部１０３は、現フレーム画像の画素値のうち、対象画素を含む小領域内で最も低い画素値と最も高い画素値の差（コントラスト値）を、対象画素に関する高周波成分値としてもよい。
【００２６】
さらに、例えば、高周波成分算出部１０３は、現フレーム画像のうち対象画素を含む小領域において、エッジ量を抽出するフィルタ（微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタなど）を各画素にかかるようにフィルタ処理し、小領域内の各エッジ量の合計を正規化したものを、対象画素に関する高周波成分値としてもよい。
【００２７】
なお、前述した３つのコントラスト算出方法において、現フレーム画像の輝度が画素値として利用されるが、画素の明度を示すような、例えば三原色ＲＧＢのうちのＧの画素値などを利用してもよい。また、現フレーム画像からコントラストを算出するようにしたが、動き補償によって、現フレーム画像（基準画像）の対象画素に対して動き補償によって位置が対応する前フレーム画像の対応画素がわかるため、前フレーム画像の対応画素を含む小領域を利用して高周波成分値（コントラスト値）を算出してよい。
【００２８】
なお、高周波成分算出部１０３は、対象画素を含む小領域において、離散コサイン変換（ＤＣＴ）や離散フーリエ変換等の直交変換によって高周波成分値を直接的に正確に求めてもよい。例えば、高周波成分算出部１０３は、図３のように求めた離散コサイン変換（ＤＣＴ）係数Ｆｍｎのうち高周波成分の係数に基づいて高周波成分値を計算する。例えば、５×５ピクセルの小領域に対する離散コサイン変換によって、周波数成分としてのＤＣＴ係数が求められる。高周波成分値は、例えば、太線で囲まれた所定の高周波領域におけるＤＣＴ係数の合計（Ｆ１４＋Ｆ２４＋Ｆ３４＋Ｆ４４＋Ｆ２３＋Ｆ３３＋Ｆ４３＋Ｆ３２＋Ｆ４２＋Ｆ４１）である。
【００２９】
図４（ａ）（ｂ）は、ノイズ生成の例を説明する図である。ノイズ生成部１０４は、ランダムノイズを発生する公知のランダムノイズ発生器である。発生するランダムノイズのノイズ量は、高周波成分値に応じて決定される。なお、ランダムノイズ発生器は、ランダムノイズとして、乱数によって発生するホワイトノイズなどを発生させてよい。
【００３０】
図４（ａ）のノイズ生成例１において、高周波成分値が第一の閾値ＴＨ1以下の場合には、ノイズ量は高周波成分値に依存しない値（第一のノイズ量）である。高周波成分値が第一の閾値ＴＨ1より大きい場合には、高周波成分値が高くなるほど、ノイズ量が小さくなる。
【００３１】
図４（ｂ）のノイズ生成例２において、高周波成分値が第一の閾値ＴＨ1以下の場合には、ノイズ量は高周波成分値に依存しない値（第一のノイズ量）である。高周波成分値が第一の閾値ＴＨ1から第二の閾値ＴＨ2の範囲内では、高周波成分値が高くなるほど、ノイズ量は小さくなる。高周波成分値が第二の閾値ＴＨ2以上の場合には、ノイズ量は高周波成分値に依存しない値（第二のノイズ量）で一定である。なお、ノイズ生成例２の第一の閾値ＴＨ1は、ノイズ生成例２の第一の閾値ＴＨ1と異なってよい。
【００３２】
ノイズ生成部１０４は、図４（ａ）（ｂ）のようにノイズ量と高周波成分値を対応付ける関数、マップ又はテーブルにより、ノイズ量を高周波成分値から決定して、そのノイズ量のランダムノイズを発生する。
【００３３】
図５のフローチャートに、信頼度算出部１０５が実行する信頼度算出処理の手順を示す。フローチャートにおいて、Ｓを付した番号はステップ番号を示す。
【００３４】
まず、Ｓ１１において、信頼度算出部１０５は、フレームメモリ１０７から現フレーム画像の小領域（基準領域）の画素値データと位置合わせにより抽出された前フレーム画像の小領域（参照領域）の画素値データを読み込む。信頼度算出部１０５は、ノイズ生成部１０４で発生したノイズ成分を、基準領域の画素値データと参照領域の画素値データの一方又は両方に付加（加算）する。ノイズ成分の付加方法については後述する。
【００３５】
Ｓ１２において、信頼度算出部１０５は、両小領域の相違度又は類似度を算出する。ここでは、相違度として差分の絶対値和（ＳＡＤ）が算出される。代わりに、信頼度算出部１０５は、相違度として画素差の二乗和（ＳＳＤ）を、類似度として正規化相互相関（ＮＣＣ）を算出してもよい。
【００３６】
Ｓ１３において、信頼度算出部１０５は、ＳＡＤに基づいて、動き補償の信頼度Ｒを算出する。なお、ＳＡＤやＳＳＤが相違度として使用される場合、信頼度Ｒは、相違度が小さいほど高くなり、相違度が大きいほど低くなるように算出される。例えば、信頼度Ｒは、相違度が大きいほど値が小さくなる関数を用いて計算できる。なお、正規化相互相関（ＮＣＣ）が類似度として使用される場合、信頼度Ｒは、類似度が大きいほど高くなり、類似度が小さいほど低くなるように算出される。
【００３７】
このように、信頼度算出部１０５は、Ｓ１１−Ｓ１３の信頼度算出処理により、対象画素を含む領域の高周波成分値に応じて、信頼度Ｒを算出する。合成比率算出部１０６ａは、信頼度Ｒに応じて合成比率を計算する。
【００３８】
以下に、図６−８を参照して、ノイズ成分の付加方法を説明する。以下のようにノイズ付加することで、高周波成分の多寡に影響されない動き補償に対する信頼度が算出できるようになる。
【００３９】
まず、図６は、ノイズ成分の付加方法の第一例を示す。第一例では、信頼度算出部１０５がノイズ生成部１０４で生成されたある１つのパターン（１種類）のノイズを基準領域のみに付加する。そして、信頼度算出部１０５は、ノイズが付加された基準領域とノイズが付加されていない参照領域の相違度としてＳＡＤを算出した後、ＳＡＤに基づいて信頼度Ｒを算出する。
【００４０】
図７は、ノイズ成分の付加方法の第二例を示す。第二例では、信頼度算出部１０５がノイズ生成部１０４で生成されたある１つのパターン（１種類）のノイズを基準領域と参照領域の両方に付加する。そして、信頼度算出部１０５は、共通のノイズが付加された基準領域と参照領域の相違度としてＳＡＤを算出した後、ＳＡＤに基づいて信頼度Ｒを算出する。
【００４１】
図８は、ノイズ成分の付加方法の第三例を示す。第三例では、信頼度算出部１０５が、ノイズ生成部１０４で生成された２つのパターン（２種類）のノイズのうち、一つのパターンを基準領域に、他の一つのパターンを参照領域に付加する。そして、信頼度算出部１０５は、異なるノイズが付加された基準領域と参照領域の相違度としてＳＡＤを算出した後、ＳＡＤに基づいて信頼度Ｒを算出する。
【００４２】
図９は、信頼度Ｒとブレンド合成比率との関係を示す。図９に示すように、合成比率算出部１０６ａは、信頼度Ｒに基づいて、前フレーム画像の対応画素の合成比率αと、現フレーム画像の対象画素の合成比率（１−α）を決定する。図９の実線のように、前フレーム画像の合成比率αは、信頼度Ｒが低いほど小さくなる。図９の破線のように、現フレーム画像の合成比率（１−α）は、信頼度Ｒが低いほど大きくなる。ブレンド合成部１０６は、決定された合成比率で現フレーム画像の対象画素と前フレーム画像の対応画素とをブレンド合成する。ブレンド合成部１０６は、ブレンド合成までの画像処理を現フレーム画像の全画素について施したものを現フレーム画像の出力画像とする。フレームメモリ１０７は、この出力画像を次のフレーム処理で使用する前フレーム画像として保存する。
【００４３】
なお、上記の第一実施形態において、合成比率は、画素ごとに求めるのではなく、画像の領域ごとに求めることもできる。
【００４４】
（作用効果）
高周波成分算出部１０３は、基準画像（現フレーム画像）の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を、基準画像または参照画像（前フレーム画像）から算出する。ノイズ生成部１０４は、高周波成分値が大きい場合に高周波成分値が小さい場合と比較して少なくなるような量のノイズ成分を、少なくとも一パターン生成する。信頼度算出部１０５は、ノイズ成分と参照画像と基準画像を用いて対象画素の動き補償の信頼度を算出する。ブレンド合成部１０６は、信頼度に応じて基準画像の対象画素と参照画像の対応画素との合成比率を算出し、この合成比率に基づいて対象画素と対応画素を合成する。高周波成分値が大きい場合には少ないノイズ量で、高周波成分値が小さい場合には多いノイズ量でノイズ成分を利用することによって、高周波成分値が小さい場合における動き補償誤差の影響を、大きい場合に近づけることができる。このため、合成比率に対する動き補償誤差の影響が高周波成分値によって異なることを抑制できる。そして、動き補償誤差が生じる動き検出精度においても動画像の揺れを回避しつつ少なくとも基準画像に比べてノイズ量を低減することができる。
【００４５】
信頼度算出部１０５は、基準画像の対象画素を含む基準領域、または動き補償した参照画像内で基準領域に対応する参照領域のどちらかにノイズ成分を付加し、両領域間で相違度又は類似度を計算する。または、信頼度算出部１０５は、基準画像の対象画素を含む基準領域と、動き補償した参照画像内で基準領域に対応する参照領域とに、同じパターンまたは別のパターンのノイズ成分を付加し、両領域間で相違度又は類似度を計算する。そして、信頼度算出部１０５は、相違度が小さいほど又は類似度が大きいほど信頼度が高くなるように信頼度を算出する。このようにノイズ成分を付加することにより、基準領域又は参照領域の高周波成分の量が小さい場合でも、相違度を増加させ、合成比率に対する動き補償誤差の影響が高周波成分値によって異なることを好適に抑制できる。なお、同じパターンのノイズ成分が付加される場合には、特に動き補償誤差が生じるときに相違度が増加する。基準領域または参照領域のどちらかにノイズ成分が付加される場合には、構成が簡単になる。
【００４６】
ノイズ生成部１０４は、対象画素の高周波成分値が第一の閾値ＴＨ1より高い場合、高周波成分値が大きくなるほどノイズ量が少なくなるようにノイズ成分を生成する。高周波成分の量が少ないほど相違度が動き補償誤差に鈍感になるが、高周波成分の量が少ないほどノイズ量が徐々に大きくなるため、高周波成分値が小さい場合における動き補償誤差の影響を適度に大きくできる。このため、合成比率に対する動き補償誤差の影響が高周波成分値によって異なることを好適に抑制できる。
【００４７】
ノイズ生成部１０４は、対象画素の高周波成分値が第一の閾値ＴＨ1以下の場合、高周波成分値に依存しない第一の量のノイズ成分を生成し、高周波成分値が第二の閾値ＴＨ2以上である場合、高周波成分値に依存しない第二の量のノイズ成分を生成してよい。これにより、付加されるノイズ成分が大きくなり過ぎたり又は小さくなり過ぎたりすることを防止でき、合成比率に対する動き補償誤差の影響が高周波成分値によって異なることをさらに好適に抑制できる。
【００４８】
高周波成分算出部１０３は、基準画像の対象画素を含む領域又はこれに対応する参照画像の領域のコントラストによって、簡単に高周波成分値を求めることができる。また、高周波成分算出部１０３は、基準画像の対象画素を含む領域又はこれに対応する参照画像の領域に対して直交変換（離散コサイン変換など）によって空間周波数成分を求め、直接的に正確に高周波成分値を求めることができる。
【００４９】
［第二実施形態］
図１０のフローチャートにおいて、第二実施形態に係る信頼度算出部１０５が実行する信頼度算出処理の手順を示す。信頼度算出処理以外の構成は、第一実施形態と同じであり説明を省略する。
【００５０】
Ｓ２１において、信頼度算出部１０５は、まず動き補償部１０２によって位置合わせされ抽出された現フレーム画像の小領域（基準領域）と前フレーム画像の小領域（参照領域）の間で相違度又は類似度を算出する。相違度として、差分の絶対値和（ＳＡＤ）や差分の２乗和（ＳＳＤ）が算出される。または、信頼度算出部１０５は、類似度として正規化相互相関（ＮＣＣ）を算出してもよい。
【００５１】
Ｓ２２において、信頼度算出部１０５は、算出された相違度（例えば、ＳＡＤ）又は類似度にノイズ生成部１０４で生成されたノイズ成分に基づくノイズ値を付加する。ノイズ値として、ランダム発生したランダムノイズの分散値、平均振幅、又は平均値などが使用できる。ＳＡＤやＳＳＤが使用される場合、ＳＡＤやＳＳＤの値が大きいほど相違度が高いので、信頼度算出部１０５はノイズ値をＳＡＤやＳＳＤに加算する。ＮＣＣが使用される場合、ＮＣＣの値が小さいほど相違度が高いので、信頼度算出部１０５はノイズ値をＮＣＣから減算する。信頼度算出部１０５は、ノイズを付加した相違度又は類似度から信頼度を算出する。なお、ＳＡＤやＳＳＤが相違度として使用される場合、信頼度Ｒは、相違度が小さいほど高くなり、相違度が大きいほど低くなるように算出される。ＮＣＣが類似度として使用される場合、信頼度Ｒは、類似度が大きいほど高くなり、類似度が小さいほど低くなるように算出される。
【００５２】
図１０に、第二実施形態におけるノイズ付加の例を示す。基準領域と参照領域とでＳＡＤを算出後、ノイズ生成部１０４で生成されたある一つのタイプ（１種類）のノイズをＳＡＤに加算し、加算されたＳＡＤをもとに信頼度が算出される。
【００５３】
第二実施形態によると、信頼度算出部１０５は、基準画像の対象画素を含む基準領域と、動き補償した参照画像内で基準領域に対応する参照領域との間で相違度又は類似度を計算し、相違度又は類似度に対してノイズ成分に基づくノイズ値を付加する。そして、信頼度算出部１０５は、ノイズ値を付加した相違度が小さいほど又はノイズ値を付加した類似度が大きいほど信頼度が高くなるように前記信頼度を算出する。従って、基準領域又は参照領域の高周波成分の量が小さい場合でも、相違度を増加させ（類似度を減少させ）、合成比率に対する動き補償誤差の影響が高周波成分値によって異なることを簡便に抑制できる。
【００５４】
［その他の実施形態］
上述した各実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、コンピュータに相当し、ＣＰＵと、画像データを記憶するＲＡＭ等の主記憶装置と、上記の画像処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体とを備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、画像データの加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【００５５】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００５６】
図１２のフローチャートは、画像処理装置（コンピュータ）が実行する画像処理プログラムを例示する。ステップＳ１００において、画像処理装置は、メモリカード等の記録媒体に記録された画像データ（動画の各フレーム）を読み取る。図１２のステップＳ１０１―Ｓ１０６で行われる処理は、それぞれ、図１の各部１０１−１０６が行う処理に対応する。
【００５７】
本発明は上記の各実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【符号の説明】
【００５８】
１００ 撮像部（画像入力部）
１０１ 動きベクトル算出部
１０２ 動き補償部
１０３ 高周波成分算出部
１０４ ノイズ生成部
１０５ 信頼度算出部
１０６ ブレンド合成部
１０６ａ 合成比率算出部
１０７ フレームメモリ
２００ 画像処理装置
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置に関する。
【背景技術】
【０００２】
従来の動画像のノイズ量を低減する技術として、巡回型のノイズリダクション技術がある。この技術は、入力フレーム画像と処理済みの前フレーム画像との間で動き補償を行い、各画素に関する動き補償の信頼度を周辺画素の差分量から算出する。信頼度と動き量とノイズ推定量に応じて導出されたブレンド合成比率（混合比率）で、入力フレーム画像（現フレーム）と前フレーム画像は、ブレンド合成される（特許文献１、２参照）。
【０００３】
近年の動画記録の高画素化・高フレームレート化により、画素毎に動き検出することは、回路規模や計算時間が多大となってしまう。一方、離散点での動き検出に基づいて動き補償することで回路規模や計算時間が減少するが、この場合、動き検出に誤差が生じる。また、高速に動き検出できるブロックマッチング法などでは、レンズ歪みやローリングシャッター等の影響により動き検出に誤差が生じる。さらにノイズの影響によっても、動き検出に誤差が生じる。そのため、従来のノイズ量を低減する技術は、ブレンド合成時に残像やアーティファクトが発生しないように、動き補償の信頼度が高いほど程、前フレーム画像の合成比率を高くし、動き補償の信頼度が低いほど、前フレーム画像の合成比率を低くする。なお、動き補償の信頼度は、動き補償した画像間の差分絶対値和（ＳＡＤ）などの相違度の評価値から算出でき、差分絶対値和が小さいほど信頼度は増加し、差分絶対値和が大きいほど信頼度は減少する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４３２１６２６
【特許文献２】特開２０１０−１４７９８６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、画像中の低、中、高の各コントラスト部分では、同じ動き検出誤差、例えば＋方向０．５ピクセルの動き量又は動きベクトルの誤差があった場合でも、画像間の差分絶対値和（ＳＡＤ）の値に対する誤差の影響が著しく異なる。コントラストが高い部分（即ち、高周波成分が多い）ほど、誤差の影響で差分絶対値和は大きくなってしまう。そのため、異なるコントラストの部分が密接した被写体の場合、動き検出誤差があると、低中コントラスト部分は、前フレーム画像の合成比率が高くなるようブレンド合成されても、高コントラスト部分は現フレームの合成比率が高くなるようブレンド合成される。
【０００６】
静止物体がパン／チルト撮影される場合において、一様なパンチルトの動き量が変化して、高コントラスト部分に対する低中コントラスト部分の動き検出誤差（即ち動き補償誤差）が＋０．５ピクセルから−０．５ピクセルへ急激に変わる場合がある。この場合、巡回型のノイズリダクションでは、高コントラスト部分は、差分絶対値和（ＳＡＤ）が大きいので誤差がない現フレーム画像の位置にあるために、動画像として見た際に低中コントラスト部は揺れてしまうという問題が発生する。この問題は、ノイズ量の低減効果を高くするほど、つまり、処理済みの前フレーム画像のブレンド合成比率を高くするほど顕著となる。
【０００７】
即ち、動き補償誤差がある場合、コントラストが高い、つまり、高周波成分が多いと動き補償の信頼性の指標である相違度（ＳＡＤ等）が大きくなり（類似度は小さくなり）、高周波成分が少ないと相違度が小さくなる（類似度は大きくなる）。このように、相違度（又は類似度）は、高周波成分の多寡に影響されるため、相違度（又は類似度）を用いて動き補償が信頼できるかどうかを適切に判断することは困難となっていた。
【０００８】
本発明は、上記の問題に鑑みて、ブレンド合成比率に対する動き補償誤差の影響が高周波成分の量により異なることを抑制し、ノイズ量を低減しつつ揺れの少ない動画像を得ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明のある態様に係る画像処理装置は、基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理装置であって、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部と、前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償部と、前記基準画像において前記合成処理の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を、前記基準画像または前記参照画像から算出する高周波成分算出部と、前記高周波成分値がより大きい場合に前記高周波成分値がより小さい場合と比較してより少なくなるような量のノイズ成分を、少なくとも一パターン生成するノイズ生成部と、前記ノイズ成分と前記参照画像と前記基準画像を用いて前記対象画素の動き補償の信頼度を算出する信頼度算出部と、前記信頼度に応じて前記基準画像の前記対象画素と前記参照画像において前記対象画素に対応する対応画素との合成比率を算出し、前記合成比率に基づいて前記対象画素と前記対応画素を合成する合成部と、を備える。
【００１０】
本発明の別の態様に係る画像処理方法は、基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理方法であって、前記基準画像と前記参照画像との間の動きベクトルを算出することと、前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償することと、前記基準画像において前記合成処理の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を、前記基準画像または前記参照画像から算出することと、前記高周波成分値がより大きい場合に前記高周波成分値がより小さい場合と比較してより少なくなるような量のノイズ成分を、少なくとも一パターン生成することと、前記ノイズ成分と前記参照画像と前記基準画像を用いて前記対象画素の動き補償の信頼度を算出することと、前記信頼度に応じて前記基準画像の前記対象画素と前記参照画像において前記対象画素に対応する対応画素との合成比率を算出し、前記合成比率に基づいて前記対象画素と前記対応画素を合成することと、を含む。
【００１１】
本発明のさらに別の態様に係る画像処理プログラムは、基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理プログラムであって、前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順と、前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償手順と、前記基準画像において前記合成処理の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を、前記基準画像または前記参照画像から算出する高周波成分算出手順と、前記高周波成分値がより大きい場合に前記高周波成分値がより小さい場合と比較してより少なくなるような量のノイズ成分を、少なくとも一パターン生成するノイズ生成手順と、前記ノイズ成分と前記参照画像と前記基準画像を用いて前記対象画素の動き補償の信頼度を算出する信頼度算出手順と、前記信頼度に応じて前記基準画像の前記対象画素と前記参照画像において前記対象画素に対応する対応画素との合成比率を算出し、前記合成比率に基づいて前記対象画素と前記対応画素を合成する合成手順と、をコンピュータに実行させる。
【発明の効果】
【００１２】
本発明によると、参照画像と基準画像の画素を合成する場合、合成比率に対する動き補償誤差の影響が高周波成分の量により異なることを抑制できる。これにより、ノイズ量を低減しつつ揺れの少ない動画像を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る画像処理装置を示すブロック図である。
【図２】本発明に係るブレンド合成処理を示すシーケンス図である。
【図３】離散コサイン変換（ＤＣＴ）係数を示す図である。
【図４】（ａ）ノイズ量と高周波成分値（高周波成分の量）との関係を示し、ノイズ生成の一例を示す図である。（ｂ）ノイズ量と高周波成分値（高周波成分の量）との関係を示し、ノイズ生成の他の一例を示す図である。
【図５】第一実施形態に係る信頼度算出処理の手順を示すフローチャートである。
【図６】第一実施形態におけるノイズ付加の一例を示す図である。
【図７】第一実施形態におけるノイズ付加の他の一例を示す図である。
【図８】第一実施形態におけるノイズ付加のさらに他の一例を示す図である。
【図９】動き補償の信頼度Ｒとブレンド合成比率との関係を示すグラフである。
【図１０】第二実施形態に係る信頼度算出処理の手順を示すフローチャートである。
【図１１】第二実施形態におけるノイズ付加の一例を示す図である。
【図１２】画像処理プログラムの手順を例示するフローチャートである。
【発明を実施するための形態】
【００１４】
［第一実施形態］
図１は、第一実施形態に係る画像処理装置のブロック構成図を示す。本実施形態では、画像処理装置は、撮像装置に搭載されている。撮像装置は、電子機器の一例として示すものであり、例えば、ビデオカメラ、電子スチルカメラなどである。
【００１５】
撮像装置は、撮像部１００と画像処理装置２００とを備える。画像を撮影する撮像部１００は、画像処理装置２００へ画像（画像データ）を入力する画像入力部として機能する。画像処理装置２００は、ノイズ量が低減された画像を外部へ出力する。
【００１６】
撮像部１００は、撮像光学系、撮像素子、Ａ／Ｄ変換回路などを備える。画像処理装置２００は、動きベクトル算出部１０１（動きベクトル算出手段）、動き補償部１０２（動き補償手段）、高周波成分算出部１０３（高周波成分算出手段）、ノイズ生成部１０４（ノイズ生成手段）、信頼度算出部１０５（信頼度算出手段）、及び、ブレンド合成部１０６（ブレンド合成手段）を備える。なお、画像処理装置２００の上記の各部（又はこれら全体）は、ＡＳＩＣ、ＦＰＧＡなどの論理回路から構成されてよい。或いは、画像処理装置２００の上記の各部（又はこれら全体）は、データを格納するメモリ、演算プログラムを格納するメモリ、この演算プログラムを実行するＣＰＵ／ＤＳＰ（中央演算処理装置／デジタルシグナルプロセッサ）等から構成されてもよい。
【００１７】
さらに、画像処理装置２００は、フレームメモリ１０７（記憶部）も備える。フレームメモリ１０７は、撮像部１００により撮像されフレームメモリ１０７に出力された現フレーム画像と、ブレンド合成部１０６から出力された前フレーム画像とを画素値データとして保存する。
【００１８】
フレームメモリ１０７に保存された前フレーム画像と現フレーム画像は、動きベクトル算出部１０１に入力され、それぞれ、参照画像と基準画像として使用される。ここで、「前フレーム画像」は、画像処理装置２００の前回の処理で、ブレンド合成部１０６から出力されフレームメモリ１０７に記憶された画像である。「現フレーム画像」は、今回の画像処理装置２００の処理で、ブレンド合成の対象となる撮像部１００で撮像された画像（合成前の画像）である。
【００１９】
動きベクトル算出部１０１は、テンプレートマッチング法などにより、入力された２フレームの画像間の動きベクトルを算出し、動き補償部１０２へ出力する。動き補償部１０２は、参照画像としての前フレーム画像を、基準画像としての現フレーム画像に位置合わせするように動き（位置ずれ）を補償する。さらに、動き補償部１０２は、現フレーム画像の小領域、及び、現フレーム画像に位置合わせした前フレーム画像の小領域を切り出す。前フレーム画像の小領域は、現フレーム画像の小領域に対応し、それぞれ、参照領域と基準領域と呼ばれる。動き補償部１０２は、動きベクトルを相殺するように、動きベクトルに基づいて前フレーム画像の小領域の切り出し位置を決定する。小領域は、ブレンド合成の対象となっている対象画素を中心とし、画像全体に比較して小さな所定のサイズの領域であって、例えば、３×３ピクセル、５×５ピクセルの領域である。
【００２０】
フレームメモリ１０７に保存された現フレーム画像（基準画像）の小領域と前フレーム画像（参照画像）の小領域の画素値データは、高周波成分算出部１０３に入力される。高周波成分算出部１０３は、ブレンド合成の対象となる対象画素を含む領域内の高周波成分の量を示す高周波成分値を算出して、ノイズ生成部１０４へと出力する。ノイズ生成部１０４は、入力された高周波成分値に応じたノイズ量を有するノイズ成分（ランダムノイズ）を生成し、信頼度算出部１０５に出力する。ノイズ量とは、ノイズの振幅の大きさの指標となるもので、ノイズ成分の画素値ヒストグラムをとった場合における分散（又は標準偏差）で表されてもよい。
【００２１】
信頼度算出部１０５は、ノイズ成分と現フレーム画像の小領域と前フレーム画像の小領域を用いて相違度（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅなど）又は類似度（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎなど）を算出する。さらに、信頼度算出部１０５は、相違度又は類似度から動き補償の信頼度Ｒ（即ち、動きベクトルの信頼度Ｒ）を算出して、ブレンド合成部１０６の合成比率算出部１０６ａへ出力する。
【００２２】
ブレンド合成部１０６の合成比率算出部１０６ａは、入力された信頼度Ｒに基づいて、現フレーム画像の対象画素（小領域の中心画素）とこれに対応する前フレーム画像の対応画素とのブレンド合成比率を算出する。前フレーム画像の対応画素の合成比率をαとすると、現フレーム画像の対象画素の合成比率は（１−α）となる。ブレンド合成部１０６は、算出された合成比率によってこれら対象画素と対応画素をブレンド合成して、フレームメモリ１０７に出力して保存する。ブレンド合成として、対象画素と対応画素の合成比率を重みとして、重み付き加算、又は、加重平均が行われる。
【００２３】
その後、全ての対象画素（即ち、現フレーム画像の全画素）に関してブレンド合成が行われた後、フレームメモリ１０７の合成画像は、記録媒体（メモリカード）などに出力され記録されるか、又は、表示部（液晶モニタ等）に出力され表示される。
【００２４】
図２は、第一実施形態に係る処理シーケンス図を示す。複数の画像を連続して撮像する動画撮像の際、一枚目の入力画像は、そのまま出力画像となる。２枚目の入力画像が撮像されたら、保存してある一枚目の出力画像（前フレーム画像）と２枚目の入力画像（現フレーム画像）とが、ブレンド合成され合成画像が生成される。合成画像が２枚目の出力動画像となる。図２に示すように、３枚目の入力画像以降も、２枚目の入力画像と同様にブレンド合成が行われる。
【００２５】
高周波成分算出部１０３における高周波成分値の算出方法について説明する。簡単には、高周波成分算出部１０３は、対象画素に関するコントラスト値を高周波成分値として計算できる。現フレーム画像の画素値のうち、対象画素を含む小領域内での画素値の平均値を求め、その平均値と小領域内の各画素の画素値との差分量（差の絶対値）を算出し、その差分量が最大のもの（コントラスト値）を対象画素に関する高周波成分値とする。また、例えば、高周波成分算出部１０３は、現フレーム画像の画素値のうち、対象画素を含む小領域内で最も低い画素値と最も高い画素値の差（コントラスト値）を、対象画素に関する高周波成分値としてもよい。
【００２６】
さらに、例えば、高周波成分算出部１０３は、現フレーム画像のうち対象画素を含む小領域において、エッジ量を抽出するフィルタ（微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタなど）を各画素にかかるようにフィルタ処理し、小領域内の各エッジ量の合計を正規化したものを、対象画素に関する高周波成分値としてもよい。
【００２７】
なお、前述した３つのコントラスト算出方法において、現フレーム画像の輝度が画素値として利用されるが、画素の明度を示すような、例えば三原色ＲＧＢのうちのＧの画素値などを利用してもよい。また、現フレーム画像からコントラストを算出するようにしたが、動き補償によって、現フレーム画像（基準画像）の対象画素に対して動き補償によって位置が対応する前フレーム画像の対応画素がわかるため、前フレーム画像の対応画素を含む小領域を利用して高周波成分値（コントラスト値）を算出してよい。
【００２８】
なお、高周波成分算出部１０３は、対象画素を含む小領域において、離散コサイン変換（ＤＣＴ）や離散フーリエ変換等の直交変換によって高周波成分値を直接的に正確に求めてもよい。例えば、高周波成分算出部１０３は、図３のように求めた離散コサイン変換（ＤＣＴ）係数Ｆｍｎのうち高周波成分の係数に基づいて高周波成分値を計算する。例えば、５×５ピクセルの小領域に対する離散コサイン変換によって、周波数成分としてのＤＣＴ係数が求められる。高周波成分値は、例えば、太線で囲まれた所定の高周波領域におけるＤＣＴ係数の合計（Ｆ１４＋Ｆ２４＋Ｆ３４＋Ｆ４４＋Ｆ２３＋Ｆ３３＋Ｆ４３＋Ｆ３２＋Ｆ４２＋Ｆ４１）である。
【００２９】
図４（ａ）（ｂ）は、ノイズ生成の例を説明する図である。ノイズ生成部１０４は、ランダムノイズを発生する公知のランダムノイズ発生器である。発生するランダムノイズのノイズ量は、高周波成分値に応じて決定される。なお、ランダムノイズ発生器は、ランダムノイズとして、乱数によって発生するホワイトノイズなどを発生させてよい。
【００３０】
図４（ａ）のノイズ生成例１において、高周波成分値が第一の閾値ＴＨ1以下の場合には、ノイズ量は高周波成分値に依存しない値（第一のノイズ量）である。高周波成分値が第一の閾値ＴＨ1より大きい場合には、高周波成分値が高くなるほど、ノイズ量が小さくなる。
【００３１】
図４（ｂ）のノイズ生成例２において、高周波成分値が第一の閾値ＴＨ1以下の場合には、ノイズ量は高周波成分値に依存しない値（第一のノイズ量）である。高周波成分値が第一の閾値ＴＨ1から第二の閾値ＴＨ2の範囲内では、高周波成分値が高くなるほど、ノイズ量は小さくなる。高周波成分値が第二の閾値ＴＨ2以上の場合には、ノイズ量は高周波成分値に依存しない値（第二のノイズ量）で一定である。なお、ノイズ生成例２の第一の閾値ＴＨ1は、ノイズ生成例２の第一の閾値ＴＨ1と異なってよい。
【００３２】
ノイズ生成部１０４は、図４（ａ）（ｂ）のようにノイズ量と高周波成分値を対応付ける関数、マップ又はテーブルにより、ノイズ量を高周波成分値から決定して、そのノイズ量のランダムノイズを発生する。
【００３３】
図５のフローチャートに、信頼度算出部１０５が実行する信頼度算出処理の手順を示す。フローチャートにおいて、Ｓを付した番号はステップ番号を示す。
【００３４】
まず、Ｓ１１において、信頼度算出部１０５は、フレームメモリ１０７から現フレーム画像の小領域（基準領域）の画素値データと位置合わせにより抽出された前フレーム画像の小領域（参照領域）の画素値データを読み込む。信頼度算出部１０５は、ノイズ生成部１０４で発生したノイズ成分を、基準領域の画素値データと参照領域の画素値データの一方又は両方に付加（加算）する。ノイズ成分の付加方法については後述する。
【００３５】
Ｓ１２において、信頼度算出部１０５は、両小領域の相違度又は類似度を算出する。ここでは、相違度として差分の絶対値和（ＳＡＤ）が算出される。代わりに、信頼度算出部１０５は、相違度として画素差の二乗和（ＳＳＤ）を、類似度として正規化相互相関（ＮＣＣ）を算出してもよい。
【００３６】
Ｓ１３において、信頼度算出部１０５は、ＳＡＤに基づいて、動き補償の信頼度Ｒを算出する。なお、ＳＡＤやＳＳＤが相違度として使用される場合、信頼度Ｒは、相違度が小さいほど高くなり、相違度が大きいほど低くなるように算出される。例えば、信頼度Ｒは、相違度が大きいほど値が小さくなる関数を用いて計算できる。なお、正規化相互相関（ＮＣＣ）が類似度として使用される場合、信頼度Ｒは、類似度が大きいほど高くなり、類似度が小さいほど低くなるように算出される。
【００３７】
このように、信頼度算出部１０５は、Ｓ１１−Ｓ１３の信頼度算出処理により、対象画素を含む領域の高周波成分値に応じて、信頼度Ｒを算出する。合成比率算出部１０６ａは、信頼度Ｒに応じて合成比率を計算する。
【００３８】
以下に、図６−８を参照して、ノイズ成分の付加方法を説明する。以下のようにノイズ付加することで、高周波成分の多寡に影響されない動き補償に対する信頼度が算出できるようになる。
【００３９】
まず、図６は、ノイズ成分の付加方法の第一例を示す。第一例では、信頼度算出部１０５がノイズ生成部１０４で生成されたある１つのパターン（１種類）のノイズを基準領域のみに付加する。そして、信頼度算出部１０５は、ノイズが付加された基準領域とノイズが付加されていない参照領域の相違度としてＳＡＤを算出した後、ＳＡＤに基づいて信頼度Ｒを算出する。
【００４０】
図７は、ノイズ成分の付加方法の第二例を示す。第二例では、信頼度算出部１０５がノイズ生成部１０４で生成されたある１つのパターン（１種類）のノイズを基準領域と参照領域の両方に付加する。そして、信頼度算出部１０５は、共通のノイズが付加された基準領域と参照領域の相違度としてＳＡＤを算出した後、ＳＡＤに基づいて信頼度Ｒを算出する。
【００４１】
図８は、ノイズ成分の付加方法の第三例を示す。第三例では、信頼度算出部１０５が、ノイズ生成部１０４で生成された２つのパターン（２種類）のノイズのうち、一つのパターンを基準領域に、他の一つのパターンを参照領域に付加する。そして、信頼度算出部１０５は、異なるノイズが付加された基準領域と参照領域の相違度としてＳＡＤを算出した後、ＳＡＤに基づいて信頼度Ｒを算出する。
【００４２】
図９は、信頼度Ｒとブレンド合成比率との関係を示す。図９に示すように、合成比率算出部１０６ａは、信頼度Ｒに基づいて、前フレーム画像の対応画素の合成比率αと、現フレーム画像の対象画素の合成比率（１−α）を決定する。図９の実線のように、前フレーム画像の合成比率αは、信頼度Ｒが低いほど小さくなる。図９の破線のように、現フレーム画像の合成比率（１−α）は、信頼度Ｒが低いほど大きくなる。ブレンド合成部１０６は、決定された合成比率で現フレーム画像の対象画素と前フレーム画像の対応画素とをブレンド合成する。ブレンド合成部１０６は、ブレンド合成までの画像処理を現フレーム画像の全画素について施したものを現フレーム画像の出力画像とする。フレームメモリ１０７は、この出力画像を次のフレーム処理で使用する前フレーム画像として保存する。
【００４３】
なお、上記の第一実施形態において、合成比率は、画素ごとに求めるのではなく、画像の領域ごとに求めることもできる。
【００４４】
（作用効果）
高周波成分算出部１０３は、基準画像（現フレーム画像）の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を、基準画像または参照画像（前フレーム画像）から算出する。ノイズ生成部１０４は、高周波成分値が大きい場合に高周波成分値が小さい場合と比較して少なくなるような量のノイズ成分を、少なくとも一パターン生成する。信頼度算出部１０５は、ノイズ成分と参照画像と基準画像を用いて対象画素の動き補償の信頼度を算出する。ブレンド合成部１０６は、信頼度に応じて基準画像の対象画素と参照画像の対応画素との合成比率を算出し、この合成比率に基づいて対象画素と対応画素を合成する。高周波成分値が大きい場合には少ないノイズ量で、高周波成分値が小さい場合には多いノイズ量でノイズ成分を利用することによって、高周波成分値が小さい場合における動き補償誤差の影響を、大きい場合に近づけることができる。このため、合成比率に対する動き補償誤差の影響が高周波成分値によって異なることを抑制できる。そして、動き補償誤差が生じる動き検出精度においても動画像の揺れを回避しつつ少なくとも基準画像に比べてノイズ量を低減することができる。
【００４５】
信頼度算出部１０５は、基準画像の対象画素を含む基準領域、または動き補償した参照画像内で基準領域に対応する参照領域のどちらかにノイズ成分を付加し、両領域間で相違度又は類似度を計算する。または、信頼度算出部１０５は、基準画像の対象画素を含む基準領域と、動き補償した参照画像内で基準領域に対応する参照領域とに、同じパターンまたは別のパターンのノイズ成分を付加し、両領域間で相違度又は類似度を計算する。そして、信頼度算出部１０５は、相違度が小さいほど又は類似度が大きいほど信頼度が高くなるように信頼度を算出する。このようにノイズ成分を付加することにより、基準領域又は参照領域の高周波成分の量が小さい場合でも、相違度を増加させ、合成比率に対する動き補償誤差の影響が高周波成分値によって異なることを好適に抑制できる。なお、同じパターンのノイズ成分が付加される場合には、特に動き補償誤差が生じるときに相違度が増加する。基準領域または参照領域のどちらかにノイズ成分が付加される場合には、構成が簡単になる。
【００４６】
ノイズ生成部１０４は、対象画素の高周波成分値が第一の閾値ＴＨ1より高い場合、高周波成分値が大きくなるほどノイズ量が少なくなるようにノイズ成分を生成する。高周波成分の量が少ないほど相違度が動き補償誤差に鈍感になるが、高周波成分の量が少ないほどノイズ量が徐々に大きくなるため、高周波成分値が小さい場合における動き補償誤差の影響を適度に大きくできる。このため、合成比率に対する動き補償誤差の影響が高周波成分値によって異なることを好適に抑制できる。
【００４７】
ノイズ生成部１０４は、対象画素の高周波成分値が第一の閾値ＴＨ1以下の場合、高周波成分値に依存しない第一の量のノイズ成分を生成し、高周波成分値が第二の閾値ＴＨ2以上である場合、高周波成分値に依存しない第二の量のノイズ成分を生成してよい。これにより、付加されるノイズ成分が大きくなり過ぎたり又は小さくなり過ぎたりすることを防止でき、合成比率に対する動き補償誤差の影響が高周波成分値によって異なることをさらに好適に抑制できる。
【００４８】
高周波成分算出部１０３は、基準画像の対象画素を含む領域又はこれに対応する参照画像の領域のコントラストによって、簡単に高周波成分値を求めることができる。また、高周波成分算出部１０３は、基準画像の対象画素を含む領域又はこれに対応する参照画像の領域に対して直交変換（離散コサイン変換など）によって空間周波数成分を求め、直接的に正確に高周波成分値を求めることができる。
【００４９】
［第二実施形態］
図１０のフローチャートにおいて、第二実施形態に係る信頼度算出部１０５が実行する信頼度算出処理の手順を示す。信頼度算出処理以外の構成は、第一実施形態と同じであり説明を省略する。
【００５０】
Ｓ２１において、信頼度算出部１０５は、まず動き補償部１０２によって位置合わせされ抽出された現フレーム画像の小領域（基準領域）と前フレーム画像の小領域（参照領域）の間で相違度又は類似度を算出する。相違度として、差分の絶対値和（ＳＡＤ）や差分の２乗和（ＳＳＤ）が算出される。または、信頼度算出部１０５は、類似度として正規化相互相関（ＮＣＣ）を算出してもよい。
【００５１】
Ｓ２２において、信頼度算出部１０５は、算出された相違度（例えば、ＳＡＤ）又は類似度にノイズ生成部１０４で生成されたノイズ成分に基づくノイズ値を付加する。ノイズ値として、ランダム発生したランダムノイズの分散値、平均振幅、又は平均値などが使用できる。ＳＡＤやＳＳＤが使用される場合、ＳＡＤやＳＳＤの値が大きいほど相違度が高いので、信頼度算出部１０５はノイズ値をＳＡＤやＳＳＤに加算する。ＮＣＣが使用される場合、ＮＣＣの値が小さいほど相違度が高いので、信頼度算出部１０５はノイズ値をＮＣＣから減算する。信頼度算出部１０５は、ノイズを付加した相違度又は類似度から信頼度を算出する。なお、ＳＡＤやＳＳＤが相違度として使用される場合、信頼度Ｒは、相違度が小さいほど高くなり、相違度が大きいほど低くなるように算出される。ＮＣＣが類似度として使用される場合、信頼度Ｒは、類似度が大きいほど高くなり、類似度が小さいほど低くなるように算出される。
【００５２】
図１０に、第二実施形態におけるノイズ付加の例を示す。基準領域と参照領域とでＳＡＤを算出後、ノイズ生成部１０４で生成されたある一つのタイプ（１種類）のノイズをＳＡＤに加算し、加算されたＳＡＤをもとに信頼度が算出される。
【００５３】
第二実施形態によると、信頼度算出部１０５は、基準画像の対象画素を含む基準領域と、動き補償した参照画像内で基準領域に対応する参照領域との間で相違度又は類似度を計算し、相違度又は類似度に対してノイズ成分に基づくノイズ値を付加する。そして、信頼度算出部１０５は、ノイズ値を付加した相違度が小さいほど又はノイズ値を付加した類似度が大きいほど信頼度が高くなるように前記信頼度を算出する。従って、基準領域又は参照領域の高周波成分の量が小さい場合でも、相違度を増加させ（類似度を減少させ）、合成比率に対する動き補償誤差の影響が高周波成分値によって異なることを簡便に抑制できる。
【００５４】
［その他の実施形態］
上述した各実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、コンピュータに相当し、ＣＰＵと、画像データを記憶するＲＡＭ等の主記憶装置と、上記の画像処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体とを備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、画像データの加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【００５５】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００５６】
図１２のフローチャートは、画像処理装置（コンピュータ）が実行する画像処理プログラムを例示する。ステップＳ１００において、画像処理装置は、メモリカード等の記録媒体に記録された画像データ（動画の各フレーム）を読み取る。図１２のステップＳ１０１―Ｓ１０６で行われる処理は、それぞれ、図１の各部１０１−１０６が行う処理に対応する。
【００５７】
本発明は上記の各実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【符号の説明】
【００５８】
１００ 撮像部（画像入力部）
１０１ 動きベクトル算出部
１０２ 動き補償部
１０３ 高周波成分算出部
１０４ ノイズ生成部
１０５ 信頼度算出部
１０６ ブレンド合成部
１０６ａ 合成比率算出部
１０７ フレームメモリ
２００ 画像処理装置
【特許請求の範囲】
【請求項１】
基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理装置であって、
前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部と、
前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償部と、
前記基準画像において前記合成処理の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を、前記基準画像または前記参照画像から算出する高周波成分算出部と、
前記高周波成分値がより大きい場合に前記高周波成分値がより小さい場合と比較してより少なくなるような量のノイズ成分を、少なくとも一パターン生成するノイズ生成部と、
前記ノイズ成分と前記参照画像と前記基準画像を用いて前記対象画素の動き補償の信頼度を算出する信頼度算出部と、
前記信頼度に応じて前記基準画像の前記対象画素と前記参照画像において前記対象画素に対応する対応画素との合成比率を算出し、前記合成比率に基づいて前記対象画素と前記対応画素を合成する合成部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記信頼度算出部は、
前記基準画像の対象画素を含む基準領域、または前記動き補償した参照画像内で前記基準領域に対応する参照領域のどちらか一方に前記ノイズ成分を付加し、両領域間で相違度又は類似度を計算し、
前記相違度が小さいほど又は前記類似度が大きいほど前記信頼度が高くなるように前記信頼度を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記信頼度算出部は、
前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域との両方に、同じパターンまたは別のパターンの前記ノイズ成分を付加し、両領域間で相違度又は類似度を計算し、
前記相違度が小さいほど又は前記類似度が大きいほど前記信頼度が高くなるように前記信頼度を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記信頼度算出部は、
前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域との間で相違度又は類似度を計算し、前記相違度又は前記類似度に対して前記ノイズ成分に基づくノイズ値を付加し、
前記ノイズ値を付加した相違度が小さいほど又は前記ノイズ値を付加した類似度が大きいほど前記信頼度が高くなるように前記信頼度を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記ノイズ生成部は、
前記高周波成分値が第一の閾値より高い場合、前記高周波成分値が大きくなるほど前記ノイズ量が少なくなるようにノイズ成分を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記ノイズ生成部は、
前記高周波成分値が前記第一の閾値以下の場合、前記高周波成分値に依存しない第一の量のノイズ成分を生成することを特徴とすることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記ノイズ生成部は、
前記高周波成分値が第一の閾値から第二の閾値の範囲内である場合、前記高周波成分値が大きくなるほどノイズ量が少なくなるようにノイズ成分を生成し、
前記高周波成分値が前記第二の閾値以上である場合、前記高周波成分値に依存しない第二の量のノイズ成分を生成することを特徴とすることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記高周波成分算出部は、
前記対象画素を含む領域内において、前記領域内の画素値の平均値と前記領域内の各画素の画素値との差分の最大値を、前記高周波成分値として算出することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記高周波成分算出部は、
前記対象画素を含む領域において、最も暗い画素と最も明るい画素の輝度または明度の差を、前記高周波成分値として算出することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記高周波成分算出部は、
前記対象画素を含む領域における各画素のエッジ量を検出し、各エッジ量の合計を、前記高周波成分値として算出することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記高周波成分算出部は、
前記対象画素を含む領域における高周波成分値を、直交変換によって求めた空間周波数成分を用いて算出することを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
請求項１から請求項１１のいずれか一つに記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項１３】
基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理方法であって、
前記基準画像と前記参照画像との間の動きベクトルを算出することと、
前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償することと、
前記基準画像において前記合成処理の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を、前記基準画像または前記参照画像から算出することと、
前記高周波成分値がより大きい場合に前記高周波成分値がより小さい場合と比較してより少なくなるような量のノイズ成分を、少なくとも一パターン生成することと、
前記ノイズ成分と前記参照画像と前記基準画像を用いて前記対象画素の動き補償の信頼度を算出することと、
前記信頼度に応じて前記基準画像の前記対象画素と前記参照画像において前記対象画素に対応する対応画素との合成比率を算出し、前記合成比率に基づいて前記対象画素と前記対応画素を合成することと、を含むことを特徴とする画像処理方法。
【請求項１４】
基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理プログラムであって、
前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順と、
前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償手順と、
前記基準画像において前記合成処理の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を、前記基準画像または前記参照画像から算出する高周波成分算出手順と、
前記高周波成分値がより大きい場合に前記高周波成分値がより小さい場合と比較してより少なくなるような量のノイズ成分を、少なくとも一パターン生成するノイズ生成手順と、
前記ノイズ成分と前記参照画像と前記基準画像を用いて前記対象画素の動き補償の信頼度を算出する信頼度算出手順と、
前記信頼度に応じて前記基準画像の前記対象画素と前記参照画像において前記対象画素に対応する対応画素との合成比率を算出し、前記合成比率に基づいて前記対象画素と前記対応画素を合成する合成手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理装置であって、
前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出部と、
前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償部と、
前記基準画像において前記合成処理の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を、前記基準画像または前記参照画像から算出する高周波成分算出部と、
前記高周波成分値がより大きい場合に前記高周波成分値がより小さい場合と比較してより少なくなるような量のノイズ成分を、少なくとも一パターン生成するノイズ生成部と、
前記ノイズ成分と前記参照画像と前記基準画像を用いて前記対象画素の動き補償の信頼度を算出する信頼度算出部と、
前記信頼度に応じて前記基準画像の前記対象画素と前記参照画像において前記対象画素に対応する対応画素との合成比率を算出し、前記合成比率に基づいて前記対象画素と前記対応画素を合成する合成部と、を備えることを特徴とする画像処理装置。
【請求項２】
前記信頼度算出部は、
前記基準画像の対象画素を含む基準領域、または前記動き補償した参照画像内で前記基準領域に対応する参照領域のどちらか一方に前記ノイズ成分を付加し、両領域間で相違度又は類似度を計算し、
前記相違度が小さいほど又は前記類似度が大きいほど前記信頼度が高くなるように前記信頼度を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記信頼度算出部は、
前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域との両方に、同じパターンまたは別のパターンの前記ノイズ成分を付加し、両領域間で相違度又は類似度を計算し、
前記相違度が小さいほど又は前記類似度が大きいほど前記信頼度が高くなるように前記信頼度を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記信頼度算出部は、
前記基準画像の対象画素を含む基準領域と、前記動き補償した参照画像内で前記基準領域に対応する参照領域との間で相違度又は類似度を計算し、前記相違度又は前記類似度に対して前記ノイズ成分に基づくノイズ値を付加し、
前記ノイズ値を付加した相違度が小さいほど又は前記ノイズ値を付加した類似度が大きいほど前記信頼度が高くなるように前記信頼度を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記ノイズ生成部は、
前記高周波成分値が第一の閾値より高い場合、前記高周波成分値が大きくなるほど前記ノイズ量が少なくなるようにノイズ成分を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記ノイズ生成部は、
前記高周波成分値が前記第一の閾値以下の場合、前記高周波成分値に依存しない第一の量のノイズ成分を生成することを特徴とすることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記ノイズ生成部は、
前記高周波成分値が第一の閾値から第二の閾値の範囲内である場合、前記高周波成分値が大きくなるほどノイズ量が少なくなるようにノイズ成分を生成し、
前記高周波成分値が前記第二の閾値以上である場合、前記高周波成分値に依存しない第二の量のノイズ成分を生成することを特徴とすることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記高周波成分算出部は、
前記対象画素を含む領域内において、前記領域内の画素値の平均値と前記領域内の各画素の画素値との差分の最大値を、前記高周波成分値として算出することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記高周波成分算出部は、
前記対象画素を含む領域において、最も暗い画素と最も明るい画素の輝度または明度の差を、前記高周波成分値として算出することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記高周波成分算出部は、
前記対象画素を含む領域における各画素のエッジ量を検出し、各エッジ量の合計を、前記高周波成分値として算出することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記高周波成分算出部は、
前記対象画素を含む領域における高周波成分値を、直交変換によって求めた空間周波数成分を用いて算出することを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
請求項１から請求項１１のいずれか一つに記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項１３】
基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理方法であって、
前記基準画像と前記参照画像との間の動きベクトルを算出することと、
前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償することと、
前記基準画像において前記合成処理の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を、前記基準画像または前記参照画像から算出することと、
前記高周波成分値がより大きい場合に前記高周波成分値がより小さい場合と比較してより少なくなるような量のノイズ成分を、少なくとも一パターン生成することと、
前記ノイズ成分と前記参照画像と前記基準画像を用いて前記対象画素の動き補償の信頼度を算出することと、
前記信頼度に応じて前記基準画像の前記対象画素と前記参照画像において前記対象画素に対応する対応画素との合成比率を算出し、前記合成比率に基づいて前記対象画素と前記対応画素を合成することと、を含むことを特徴とする画像処理方法。
【請求項１４】
基準画像と少なくとも一つの参照画像とを用いて合成処理を行って少なくとも前記基準画像に比べてノイズ量が少ない合成画像を生成する画像処理プログラムであって、
前記基準画像と前記参照画像との間の動きベクトルを算出する動きベクトル算出手順と、
前記動きベクトルに基づいて、前記参照画像を前記基準画像に位置合わせするように動き補償する動き補償手順と、
前記基準画像において前記合成処理の対象画素を含む領域内にどのくらい高周波成分が含まれているかを示す高周波成分値を、前記基準画像または前記参照画像から算出する高周波成分算出手順と、
前記高周波成分値がより大きい場合に前記高周波成分値がより小さい場合と比較してより少なくなるような量のノイズ成分を、少なくとも一パターン生成するノイズ生成手順と、
前記ノイズ成分と前記参照画像と前記基準画像を用いて前記対象画素の動き補償の信頼度を算出する信頼度算出手順と、
前記信頼度に応じて前記基準画像の前記対象画素と前記参照画像において前記対象画素に対応する対応画素との合成比率を算出し、前記合成比率に基づいて前記対象画素と前記対応画素を合成する合成手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−８５０４４（Ｐ２０１３−８５０４４Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２２３６１（Ｐ２０１１−２２２３６１）
【出願日】平成２３年１０月６日（２０１１．１０．６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月６日（２０１１．１０．６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]