ノイズ低減装置
【課題】フレーム巡回型ノイズ低減を行ったときに、画面に被写体である移動体の輪郭状に現れる残像を低減する。
【解決手段】動き判定部１０４は、注目画素から左右方向にそれぞれ複数画素離れた二つの代替画素の内、フレーム間差分値の大きい方の代替画素を動き判定対象の画素として選択する。動き判定部１０４は、選ばれた代替画素のフレーム間差分値が大きいほど乗算部１０５に供給する巡回係数（１−Ｋ）の値を大とし、かつ、乗算部１０６に供給する巡回係数Ｋの値を小とする。これにより、乗算部１０５からの現フレームの乗算後信号に対して、加算部１０７において加算される乗算部１０６からの前フレームの乗算後信号の割合を、注目画素の動きが大きいほど小なる割合とすることで残像を抑え、注目画素の動きが小さいほど大なる割合とすることでノイズを低減することができる。
【解決手段】動き判定部１０４は、注目画素から左右方向にそれぞれ複数画素離れた二つの代替画素の内、フレーム間差分値の大きい方の代替画素を動き判定対象の画素として選択する。動き判定部１０４は、選ばれた代替画素のフレーム間差分値が大きいほど乗算部１０５に供給する巡回係数（１−Ｋ）の値を大とし、かつ、乗算部１０６に供給する巡回係数Ｋの値を小とする。これにより、乗算部１０５からの現フレームの乗算後信号に対して、加算部１０７において加算される乗算部１０６からの前フレームの乗算後信号の割合を、注目画素の動きが大きいほど小なる割合とすることで残像を抑え、注目画素の動きが小さいほど大なる割合とすることでノイズを低減することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はノイズ低減装置に係り、特に映像信号におけるノイズを低減する装置に関する。
【背景技術】
【０００２】
映像信号におけるランダムノイズを取り除く技術として、３次元ノイズ低減装置が知られている。この３次元ノイズ低減装置は、映像信号におけるノイズ成分がフレーム間に相関関係がないことに着目し、入力される映像信号の複数のフレーム間の平均を求めて出力することでノイズを低減する。
【０００３】
この種の３次元ノイズ低減装置のうち、現在の入力映像信号とフレームメモリからの１フレーム前の映像信号との差分をとり、その差分に巡回係数を乗算した信号と入力映像信号を加減算して、ノイズの低減された映像信号を出力すると共に上記フレームメモリに供給する構成のものがフレーム巡回型ノイズ低減装置である。
【０００４】
しかし、このノイズ低減装置は、入力映像信号中の静止画部分においてはノイズを低減できるが、動画部分においては、単純に平均を求めると残像が残ってしまう。そこで、従来は入力映像信号と１フレーム前の出力映像信号間のフレーム間差分値によって動き判定を行い、動画部分に対しては巡回量を減らして残像を抑え、静止画部分においては巡回量を増やしてノイズを低減するようにしている。
【０００５】
ここで、上記のフレーム間差分値には動きによる差分とノイズによる差分とが含まれる。このため、フレーム間差分値によって巡回量を制御するノイズ低減装置では、動きの視認性を良くするとノイズによる差分を動きとして誤検出する割合が増える結果ノイズが目立ち、他方、ノイズの抑制を強めると、動きによる差分をノイズとして誤検出する割合が増える結果動きの残像が目立つというトレードオフの関係がある。
【０００６】
このため、ノイズと動きを区別する手法が重要である。そこで、特許文献１記載のノイズ低減装置では、まず、図２０に示すような注目画素を中心とする１５画素のエリア内において、フレーム間差分値の動き画素数とフレーム間差分値の静止画素数をそれぞれ求める。続いて、上記のノイズ低減装置は、それら動き画素数と静止画素数を別々のしきい値と比較して得た比較結果を多数決判定して動きかノイズかを判定し、その判定結果から得た動き度合いを示す信号に応じてノイズに対する係数を設定してノイズ除去を行っている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２７４０６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１記載の周辺画素による多数決判定を用いたノイズ低減装置では、移動体の輪郭状に残像が目立ち、見苦しい映像になってしまう課題がある。その課題の原理を、図２１を用いて説明する。
【０００９】
図２１（ａ）は、撮像装置により背景１００２に対して輝度の高い物体１００１が撮影された撮像画面を示す。物体１００１はほぼ均一の輝度であり、背景１００２もほぼ均一の輝度であるとする。次に、図２１（ａ）の位置にある物体１００１は画面上で右に動き始め、図２１（ｂ）に示す画面の状態を経て１フレーム後に図２１（ｃ）の位置に移動したとする。ここで、図２１（ｂ）は、図２１（ｃ）の状態からｘ秒前（ｘは、１フレーム間隔より短い）の瞬間の物体１００１の位置を表しており、点線から分かるように、図２１（ｃ）より画面上で左側に位置している。
【００１０】
今、撮像装置のシャッタースピードがｘ秒であるとする。図２１（ｄ）に示す画面において、領域＃１では、図２１（ｂ）〜図２１（ｃ）のｘ秒間に背景１００２から物体１００１へと移り変わり、領域＃２では物体１００１から背景１００２へと移り変わる。これに対し、領域＃３は、ｘ秒間、ほぼ同一の物体１００１の輝度にある。このように、シャッタースピードと物体の動く速度との関係に起因する画素に対する露出の違いにより、撮像信号すなわちノイズ低減装置の入力映像信号は、図２１（ｄ）に示すように領域＃１と領域＃２とにおいて、背景１００２と物体１００１の中間の輝度として表される。
【００１１】
従って、図２１（ａ）に示す画面と１フレーム後の図２１（ｄ）に示す画面との輝度差は、領域＃３に比べ領域＃１、領域＃２では小さくなる。このため、従来のフレーム巡回ノイズ低減装置では、領域＃３を動画部、領域＃１及び領域＃２を静止部（又は静止と動画の中間部）と判定し、出力される映像信号は図２１（ｅ）に示すように、領域＃１及び領域＃２の画像部分１００３が、入力映像信号（図２１（ｄ））の物体１００１と背景１００２の各画像の中間輝度になる。
【００１２】
さらに物体１００１は動き続けると、１フレーム後、輝度信号すなわちノイズ低減装置への入力映像信号による画像は、上記と同じ理由で図２１（ｆ）に示すようになる。ここで、ノイズ低減装置は、図２１（ｅ）に示す１フレーム前の映像信号と図２１（ｆ）に示す現在のフレームの映像信号とのフレーム間差分値から、領域＃１及び領域＃２を静止部（又は静止と動画の中間部）と判定すると、図２１（ｇ）に示すように輪郭状の残像１００４が現れた映像信号を出力する。
【００１３】
一旦、輪郭状の残像１００４となった領域（画素）は、次フレーム以降も背景に近づきながらも収束するまで静止画として残ってしまうため、見苦しく不快な映像の原因となっている。
【００１４】
なお、図２１では、モノクロームで説明したが、色差がある場合、色差成分についても同様である。また、領域＃１と領域＃２を均一の輝度で表現したが、領域＃１と領域＃２内に複数の画素がある場合、実際には背景輝度から物体輝度内でのグラデーションになる。
【００１５】
このように、特許文献１記載の周辺画素による多数決判定を用いたノイズ低減装置では、周辺画素が移動体の輪郭部内に入ってしまうため適切な判定が行えず、輪郭状の残像に対しては効果がない。
【００１６】
本発明は以上の点に鑑みなされたもので、注目画素の動き判定結果に応じて巡回係数を増減させて入力映像信号のノイズを低減するフレーム巡回型のノイズ低減を行うときに、画面に被写体である移動体の輪郭状に現れる残像を低減し得るノイズ低減装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記の目的を達成するため、第１の発明のノイズ低減装置は、撮像装置から入力される入力映像信号のノイズ低減対象の注目画素に対して、所定方向と所定方向の逆方向とにそれぞれ複数の画素数だけ離れた位置にある二つの代替画素又は代替画素領域のフレーム間差分値をそれぞれ算出するフレーム間差分値算出手段と、二つの代替画素又は代替画素領域のフレーム間差分値のうち大きい方のフレーム間差分値を選択し、その選択したフレーム間差分値が大きいほど大なる値の第１の巡回係数と、選択したフレーム間差分値が小さいほど大なる値の第２の巡回係数とをそれぞれ算出する巡回係数算出手段と、入力映像信号と第１の巡回係数とを乗算して第１の乗算後信号を生成する第１の乗算手段と、入力映像信号より１フレーム前の出力映像信号と第２の巡回係数とを乗算して第２の乗算後信号を生成する第２の乗算手段と、第１及び第２の乗算後信号を加算して出力映像信号を生成する加算手段と、出力映像信号を１フレーム遅延して１フレーム前の出力映像信号を生成する遅延手段とを有することを特徴とする。
【００１８】
また、上記の目的を達成するため、第２の発明のノイズ低減装置は、入力映像信号と１フレーム前の入力映像信号の各画素毎のフレーム間差分値の絶対値と動き判定用閾値との比較結果に基づいて入力映像信号中の動き画素を判定する処理を入力映像信号の各フレーム毎に行い、各フレームにおいて動き画素と判定された各画素の重心画素の位置の差に基づいて、撮像素子の被写体である移動体の移動速度を算出する移動体速度算出手段を更に有し、フレーム間差分値算出手段は、注目画素と代替画素又は代替画素領域との間の画素数を、移動体速度算出手段により算出された移動体の移動速度が速いほど大に可変することを特徴とする。
【００１９】
更に、上記の目的を達成するため、第３の発明のノイズ低減装置は、ズーム機能を有する撮像手段と、撮像手段から入力される入力映像信号のノイズ低減対象の注目画素に対して、所定方向と所定方向の逆方向とにそれぞれ複数の画素数だけ離れた位置にある二つの代替画素又は代替画素領域のフレーム間差分値をそれぞれ算出するフレーム間差分値算出手段と、入力映像信号と１フレーム前の入力映像信号の各画素毎のフレーム間差分値の絶対値と動き判定用閾値との比較結果に基づいて入力映像信号中の動き画素を判定する処理を入力映像信号の各フレーム毎に行い、各フレームにおいて動き画素と判定された各画素の重心画素の位置の差に基づいて、撮像素子の被写体である移動体の移動速度を算出する移動体速度算出手段と、撮像手段から得たシャッタースピード値及びズーム値のどちらか一方の情報、又はシャッタースピード値とズーム値の両方の情報、又はシャッタースピード値と移動体の移動速度との両方の情報に基づいて、注目画素と代替画素又は代替画素領域との間の画素数を可変する画素数可変手段と、二つの代替画素又は代替画素領域のフレーム間差分値のうち大きい方のフレーム間差分値を選択し、その選択したフレーム間差分値が大きいほど大なる値の第１の巡回係数と、選択したフレーム間差分値が小さいほど大なる値の第２の巡回係数とを算出する巡回係数算出手段と、入力映像信号と第１の巡回係数とを乗算して第１の乗算後信号を生成する第１の乗算手段と、入力映像信号より１フレーム前の出力映像信号と第２の巡回係数とを乗算して第２の乗算後信号を生成する第２の乗算手段と、第１及び第２の乗算後信号を加算して出力映像信号を生成する加算手段と、出力映像信号を１フレーム遅延して１フレーム前の出力映像信号を生成する遅延手段とを有することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、注目画素に対して複数の画素数だけ離れた位置にある代替画素又は代替画素領域のフレーム間差分値に基づいて注目画素の動き判定を行うことで、フレーム巡回型のノイズ低減を行うときに、画面に被写体である移動体の輪郭状に現れる残像を低減することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明のノイズ低減装置の第１の実施の形態のブロック図である。
【図２】図１中の動き判定部で動き判定に用いる注目画素と代替画素との間の画素数の一例を示す図である。
【図３】図１中の動き判定部におけるフレーム間差分値対巡回係数特性の一例を示す図である。
【図４】撮影状況の一例を示す上面図である。
【図５】図１中の動き判定部で動き判定に用いる注目画素と代替画素領域との間の画素数の一例を示す図である。
【図６】図１中の動き判定部におけるフレーム間差分値対巡回係数特性の他の例を示す図である。
【図７】本発明のノイズ低減装置の第１の実施の形態における動き判定部の一例の動作説明用フローチャートである。
【図８】本発明のノイズ低減装置の第１の実施の形態における動き判定部の他の例の動作説明用フローチャートである。
【図９】本発明のノイズ低減装置の第２の実施の形態のブロック図である。
【図１０】本発明のノイズ低減装置の第３の実施の携帯のブロック図である。
【図１１】１フレームの画素構成を示す図である。
【図１２】本発明のノイズ低減装置の第３の実施の形態における動き判定部の動作説明用フローチャートである。
【図１３】本発明のノイズ低減装置の第３の実施の形態の変形例における動き判定部の動作説明用フローチャートである。
【図１４】１フレームの画面のブロック分割の一例を示す図である。
【図１５】２つの移動体の移動履歴の一例を示す図である。
【図１６】図１５の２つの移動体を例に、図１３による動作の説明を補足する図（その１）である。
【図１７】図１５の２つの移動体を例に、図１３による動作の説明を補足する図（その２）である。
【図１８】図１４中の一つのブロックＢ（１，４）の画素構成を示す図である。
【図１９】図１４と異なるブロック分割における画素構成例を示す図である。
【図２０】特許文献１を説明する図である。
【図２１】従来のフレーム巡回型ノイズ低減装置の課題説明図である。
【発明を実施するための形態】
【００２２】
次に、本発明の各実施の形態について、図面を参照して説明する。
【００２３】
（第１の実施の形態）
図１は、本発明になるノイズ低減装置の第１の実施の形態のブロック図を示す。同図において、本実施の形態のノイズ低減装置１００は、撮像素子（図示せず）により撮像して得られたランダムノイズの含まれた映像信号が入力される入力端子１０１と、減算部１０２と、フレームメモリ１０３と、動き判定部１０４と、乗算部１０５及び１０６と、加算部１０７と、映像信号の出力端子１０８とより構成される。
【００２４】
減算部１０２は、入力端子１０１を介して入力される映像信号とフレームメモリ１０３に記憶された１フレーム前の出力映像信号との輝度又は色差成分の差分をとり、その差分信号を動き判定部１０４へ送出する。動き判定部１０４は、減算部１０２から入力される差分信号を基に後述の方法で動き量を判定し、動き量に基づいて巡回係数Ｋ（０以上１以下）を発生する。
【００２５】
乗算部１０５は、入力端子１０１を介して入力される映像信号に動き判定部１０４で発生された第１の巡回係数（１−Ｋ）を乗じる。また、乗算部１０６は、１フレーム前の映像信号に動き判定部１０４で発生された第２の巡回係数Ｋを乗じる。加算部１０７は、乗算部１０５及び１０６からそれぞれ出力される乗算後信号を加算して出力映像信号を映像信号出力端子１０８に出力すると共にフレームメモリ１０３へ供給して１フレーム分を記憶する。フレームメモリ１０３は映像信号出力端子１０８への出力映像信号を１フレーム期間遅延して乗算部１０６へ供給する。
【００２６】
本実施の形態のノイズ低減装置１００は、動き判定部１０４による動き判定による巡回係数の決定方法に特徴があり、以下その特徴について説明する。
【００２７】
まず、動き判定部１０４における動き判定方法を図２〜図８を用いて説明する。
【００２８】
動き判定部１０４は、図２に示す注目画素１５０について動き判定を行う場合、この注目画素１５０自身の動きを判定するのではなく、注目画素１５０から左方向に（ｐ＋１）画素離れた代替画素Ｌ、または右方向に（ｐ＋１）画素離れた代替画素Ｒのどちらかの代替画素におけるフレーム間差分値に基づいて動き判定を行う。ここでは、左右の代替画素Ｌ，Ｒの内、フレーム間差分値の大きい方の代替画素を動き判定対象の画素として選択する。フレーム間差分値の大きい代替画素の方が、被写体の動きをより確実に判定できるからである。なお、画素数ｐは後述するように設定された値であるとする。
【００２９】
図３は、動き判定部１０４におけるフレーム間差分値対巡回係数特性の一例を示す。動き判定部１０４は、選ばれた代替画素のフレーム間差分値により、注目画素１５０の巡回係数Ｋを図３に示したフレーム間差分値対巡回係数特性に従って決定する。これにより、動き判定部１０４は、選ばれた代替画素のフレーム間差分値が大きいほど注目画素の動きが大きいと判断して乗算部１０５に供給する第１の巡回係数（１−Ｋ）の値を大とし、かつ、乗算部１０６に供給する第２の巡回係数Ｋの値を小とする。他方、動き判定部１０４は、選ばれた代替画素のフレーム間差分値が小さいほど注目画素の動きが小さいと判断して乗算部１０５に供給する第１の巡回係数（１−Ｋ）の値を小とし、かつ、乗算部１０６に供給する第２の巡回係数Ｋの値を大とする。
【００３０】
これにより、本実施の形態のノイズ低減装置１００は、入力端子１０１を介して入力される撮像素子からの映像信号と第１の巡回係数（１−Ｋ）を乗算した現フレームの乗算後信号に対して、加算部１０７において加算される乗算部１０６からの前フレームの映像信号に第２の巡回係数Ｋを乗算した前フレームの乗算後信号の割合を、動き判定部１０４による動き判定結果が注目画素の動きが大きいほど小なる割合とする（巡回量を減らす）ことで残像を抑え、注目画素の動きが小さいほど大なる割合とする（巡回量を増やす）ことでノイズを低減することができる。
【００３１】
前述の通り、従来のノイズ低減装置では、被写体として撮影された移動体の映像信号の輪郭部分は背景との中間輝度となるため動き量の判定が正しく行えない。これに対し、本実施の形態の動き判定部１０４は、注目画素の左右のどちらかには現れる、中間輝度から外れたフレーム間差分値の大きい方の画素を動き判定対象の画素として使用することで、注目画素の動き判定を精度良く行うことができる。
【００３２】
次に、図２の画素数ｐの設定方法について説明する。画素数ｐは、撮影状況に応じて適切な値に予め設定される。例えば、図１の入力端子１０１に映像信号を供給する撮像素子が監視カメラの撮像素子の場合は、画素数ｐは次のような条件に基づいて設定される。
【００３３】
図４の上面図に示すように、水平画素数１２８０画素、シャッタースピード１／６０秒の監視カメラ１１０１から５メートル離れた被写体を、監視カメラ１１０１が水平画角６０°の撮影範囲１１０２で撮像しているものとする。ここで、被写体は、例えば、想定移動速度２メートル／秒（急歩程度）で図４に矢印１１０３で示す方向に移動する移動体であるものとする。
【００３４】
図４に示した監視カメラ１１０１の撮影範囲１１０２は、実距離約５.７７（＝２×５×tan３０°）メートルである。また、監視カメラ１１０１の水平画素数は１２８０画素である。従って、撮影範囲１１０２内の２メートルは約４４３（＝２×１２８０÷５.７７）画素に相当するため、被写体である移動体が撮影範囲１１０２内を移動方向１１０３に進むときの移動速度（以下、移動体速度ともいう）は、４４３画素／秒になる。
【００３５】
今、シャッタースピードが１／６０秒であるので、中間輝度となる領域は、約７画素（＝４４３画素／６０）となる。図２に示した代替画素Ｌと代替画素Ｒとの間は（２ｐ＋１）画素である。従って、画素数ｐは「３」と設定される。
【００３６】
なお、代替画素は、図２に示したように、１画素とは限らず、図５に示すように注目画素１５０から左方向に（ｐ＋１）画素離れた位置のｎ画素（ｎは２以上の自然数）からなる代替画素領域１５１、または右方向に（ｐ＋１）画素離れた位置のｎ画素からなる代替画素領域１５２のような水平方向に並ぶｎ個の画素としてもよい。
【００３７】
次に、図５に示すように代替画素領域を複数画素とした場合の巡回係数の決定方法について説明する。図６は、この場合の動き判定部１０４におけるフレーム間差分値対巡回係数特性の一例を示す。また、図７は、この場合の動き判定部１０４による巡回係数の決定方法の一例の説明用フローチャートである。
【００３８】
図１の動き判定部１０４は、図５の代替画素領域１５１または１５２において、代替画素領域を構成するｎ画素のうち予め設定されたｍ画素（ｍはｎ以下の自然数）以上において、フレーム間差分値が最大の閾値ＴＨ１以上であるか否かを判定する（ステップＳ１）。フレーム間差分値が閾値ＴＨ１以上の画素がｍ画素以上ある場合は、動き判定部１０４は、注目画素１５０は大きな動きのある画素と判定して巡回係数Ｋを「０」とする（ステップＳ２）。
【００３９】
ｎ画素のうちフレーム間差分値が閾値ＴＨ１以上の画素がｍ画素以上ない場合は、代替画素領域１５１または１５２において、代替画素領域を構成するｎ画素のうち予め設定されたｍ画素以上において、フレーム間差分値が閾値ＴＨ２（ＴＨ２＜ＴＨ１）以上であるか否かを判定する（ステップＳ３）。フレーム間差分値が閾値ＴＨ２以上の画素がｍ画素以上ある場合は、動き判定部１０４は、注目画素１５０は比較的大きな動きのある画素と判定して巡回係数Ｋを図６に示した小さな値Ｋ１とする（ステップＳ４）。
【００４０】
以下同様に続け、代替画素領域１５１または１５２において、代替画素領域を構成するｎ画素のうち予め設定されたｍ画素以上のフレーム間差分値が最小の閾値ＴＨj（ＴＨj＜・・・＜ＴＨ2＜ＴＨ１）以上であるか否かを判定する（ステップＳ５）。フレーム間差分値が閾値ＴＨj以上の画素がｍ画素以上ある場合は、動き判定部１０４は、注目画素１５０は比較的小さな動きのある画素と判定して巡回係数Ｋを図６に示した大きな値Ｋiとする（ステップＳ６）。他方、ステップＳ５において、フレーム間差分値が閾値ＴＨj以上の画素がｍ画素以上ないと判定した場合は、動き判定部１０４は、注目画素１５０は殆ど動きのない画素と判定して巡回係数Ｋを図６に示した最大値Ｋjとする（ステップＳ７）。
【００４１】
このように、動き判定部１０４は、複数画素の多数決判定結果を動き判定に用いるようにしているため、代替画素領域１５１、１５２にランダムノイズが現れるような場合でも、ランダムノイズの影響を排除することができ、精度良く動きの大きさを判定することができる。
【００４２】
なお、代替画素と代替画素領域の取り方は、図２、図５に限ったものではない、例えば注目画素と別のラインの画素を代替画素または代替画素領域に入れてもよい。
【００４３】
ところで、以上説明した方法では、空間サイズが（２ｐ＋１）画素以下の移動体があった場合、静止部と判定されたり、単なる静止部分を動きと判定してしまう可能性もある。
【００４４】
そこで、このような可能性をなくすため、本実施の形態の変形例では、動き判定部１０４は代替画素または代替画素領域だけで判定するのでなく、例えば図８のフローチャートに示す手順に従い、注目画素の結果と併せて判定する。
【００４５】
図８において、動き判定部１０４は、注目画素１５０におけるフレーム間差分値が、ＴＨｘ以上であるか否かを判定する（ステップＳ１１）。閾値ＴＨｘは、注目画素１５０のフレーム間差分値の結果だけで動き部分であると判定できる十分大きな値である。動き判定部１０４は、注目画素１５０におけるフレーム間差分値が閾値の最大値ＴＨｘ以上であると判定したときは、注目画素１５０は動き部分であると判断して巡回係数Ｋを「０」に設定する（ステップＳ１２）。
【００４６】
一方、動き判定部１０４は、ステップＳ１１において注目画素１５０におけるフレーム間差分値が閾値の最大値ＴＨｘ以上でないと判定したときは、注目画素１５０におけるフレーム間差分値が、最小の閾値ＴＨｙ以下であるか否かを判定する（ステップＳ１２）。閾値ＴＨｙは、注目画素１５０のフレーム間差分値の結果だけで静止部であると判断できる十分小さな値である。
【００４７】
動き判定部１０４は、注目画素１５０におけるフレーム間差分値が最小の閾値ＴＨｙ以下であると判定したときは、注目画素１５０は静止部であると判断して巡回係数Ｋを「１」に近い大きな値Ｋj（例えば０.８）に設定する（ステップＳ１４）。動き判定部１０４は、注目画素１５０におけるフレーム間差分値が最小の閾値ＴＨｙ以下でないと判定したときは、注目画素１５０は注目画素のフレーム間差分値だけでは注目画素が静止部か動き部分か判断できないので、代替画素または代替画素領域により巡回係数を決定する（ステップＳ１５）。ステップＳ１５では図２に示した代替画素を用いる場合は図３に示したフレーム間差分値対巡回係数特性に従い巡回係数を決定し、図５に示した代替画素領域１５１、１５２を用いる場合は図７に示したフローチャートと図６に示したフレーム間差分値対巡回係数特性に従い巡回係数を決定する。
【００４８】
なお、図８のフローチャートにおいて、注目画素による判定を、注目画素の周辺における（２ｐ＋１）画素での判定を用いてもよい。ただし、この場合は、図８に示したステップＳ１１、Ｓ１３を以下の処理を行うステップに置き換える必要がある。すなわち、ステップＳ１１は、注目画素の水平方向周辺の（２ｐ＋１）画素のうち予め設定されたｓ画素（ｓは２ｐ＋１以下の自然数）以上のフレーム間差分値が閾値ＴＨｘ以上であるかを判定するステップに置き換える。また、図８に示したステップＳ１３は、注目画素周辺の（２ｐ＋１）画素のうち予め設定されたｓ画素以上のフレーム間差分値が閾値ＴＨｙ以下であるかを判定するステップに置き換える。
【００４９】
このように、本実施の形態によれば、注目画素１５０から画素数ｐだけ水平方向に隔てた代替画素又は代替画素領域のフレーム間差分値に基づいて注目画素１５０の動き量を判定するようにしているため、撮像画面に輪郭状に現れる移動体の残像を低減することができる。
【００５０】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図９は、本発明になるノイズ低減装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。
【００５１】
図９に示すように、本実施の形態のノイズ低減装置２００は、撮像素子（図示せず）により撮像して得られたランダムノイズの含まれた映像信号が入力される入力端子１０１と、減算部１０２と、フレームメモリ１０３と、乗算部１０５及び１０６と、加算部１０７と、映像信号の出力端子１０８と、撮像設定値取得部２０１と、動き判定部２０４とより構成される。
【００５２】
撮像設定値取得部２０１は、撮像部（図示せず）のシャッタースピードを取得するシャッタースピード取得手段２０２と、撮像部のズーム値を取得するズーム値取得手段２０３とからなる。動き判定部２０４は、減算部１０２からのフレーム間差分値だけでなく、撮像設定値取得部２０１により取得されたシャッタースピード及びズーム値に応じて、前述した画素数ｐを適応的に可変設定して巡回係数Ｋを算出する。
【００５３】
前述した第１の実施の形態のノイズ低減装置１００では、画素数ｐが固定値であるため、移動体速度によっては画素数ｐが少なすぎて代替画素（又は代替画素領域）が中間輝度の領域に入ってしまい正しく動き量を判定できなかったり、他方、画素数ｐが多すぎて代替画素（又は代替画素領域）が移動体から外れてしまう可能性もある。そこで、本実施の形態のノイズ低減装置２００は、動き量の判定精度を向上するために、画素数ｐを適応的に変化させることを特徴とする。
【００５４】
前述した通り、画面において被写体である移動体と背景との中間輝度となる残像は、シャッタースピードと移動体の移動速度との関係に起因する画素に対する露出の違いにより生じるものである。従って、移動体の移動速度（画面上で単位時間に進む画素数）が同じであれば、シャッタースピードが速いほど中間輝度領域は狭くなる。そこで、本実施の形態における動き判定部２０４は、シャッタースピードが速くなるに従って画素数ｐを小さくするよう制御する。
【００５５】
また、移動体速度は、実際には同じ速さで動いている移動体でも、ズーム値が大きいほど、単位時間に進む画素数は増える。そこで、本実施の形態における動き判定部２０４は、ズーム値が大きくなるに従って画素数ｐを大きくするよう制御する。
【００５６】
例えば、第１の実施の形態の条件、被写体とカメラの距離が５メートル、カメラの水平画素数が１２８０画素、想定移動体速度が２メートル／秒（急歩程度）において、シャッタースピードがｘ秒に変化し、ズーム値が前条件時のｙ倍に変化したとすると、動き判定部２０４は画素数ｐを次式に基づいて設定する。
【００５７】
ｐ＝４４３・ｘ・ｙ／２ （小数点以下切捨て） （１）
ここで、上式の「４４３」は前述した移動体が移動する１秒当たりの画素数の「４４３」である。これにより、例えば、シャッタースピードｘが１／１００秒に、ズーム値ｙが３倍に変化した場合、上式から画素数ｐは「６」に設定される。
【００５８】
このように、本実施の形態によれば、動き判定部２０４がフレーム間差分値に基づいて算出した画素数ｐを、シャッタースピード取得手段２０２で取得されたシャッタースピードが速いほど画素数ｐを小さな値に可変調整し、ズーム値取得手段２０３で取得されたズーム値が大きいほど画素数ｐを大きな値に可変調整することで、画素数ｐをより適切な値に設定することができるため、移動体速度やズーム値に応じて巡回係数をより適切に決定し、残像を精度良く低減することができる。
【００５９】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。図１０は、本発明になるノイズ低減装置の第３の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。
【００６０】
図１０に示すように、本実施の形態のノイズ低減装置３００は、撮像素子（図示せず）により撮像して得られたランダムノイズの含まれた映像信号が入力される入力端子１０１と、減算部１０２と、フレームメモリ１０３と、乗算部１０５及び１０６と、加算部１０７と、映像信号の出力端子１０８と、シャッタースピード取得手段３０１と、輪郭画素数算出部３０２と、重心画素記録部３０３と、動き判定部３０４とより構成される。
【００６１】
シャッタースピード取得手段３０１は、撮像部（図示せず）のシャッタースピードを取得する。輪郭画素数算出部３０２は、後述するように減算部１０２から供給されるフレーム間差分信号から１フレーム内の動き画素の水平方向の重心画素を求めた後、その重心画素に基づいて移動体速度を算出し、更にその移動体速度から画素数ｐを求める。輪郭画素数算出部３０２は、算出した画素数ｐを動き判定部３０４に供給すると共に、算出した重心画素を重心画素記録部３０３に記録し、移動体速度算出時に重心画素記録部３０３から記録されている重心画素を読み出す。
【００６２】
動き判定部３０４は、減算部１０２から供給されるフレーム間差分信号と、輪郭画素数算出部３０２から供給される画素数ｐとに基づいて、巡回係数Ｋを図１の動き検出部１０４と同様の動作により巡回係数Ｋを算出し、その巡回係数Ｋを乗算部１０６へ出力し、巡回係数（１−Ｋ）を乗算部１０５へ出力する。
【００６３】
次に、輪郭画素数算出部３０２における移動体の速度と画素数ｐの算出方法を図１１及び図１２のフローチャートを参照して説明する。図１１は、入力映像信号の１フレーム（水平ｎ画素、垂直ｍ画素）の全画素を表す。図１２は、画素数ｐを求める手順の一例を示すフローチャートである。
【００６４】
輪郭画素数算出部３０２は、まず、図１１に示す入力映像信号の１フレームの垂直方向ｉ番目（ｉはｍ以下の自然数）、水平方向ｊ番目（ｊはｎ以下の自然数）の画素Ｘ（ｉ，ｊ）と、１フレーム前の同じ位置の画素Ｙ（ｉ，ｊ）（図示せず）との差分の絶対値｜Ｘ（ｉ，ｊ）−Ｙ（ｉ，ｊ）｜が、予め設定された閾値ＴＨより大きいか否かを判断する。大きい場合は、その画素を動きがあった画素（以後、動き画素）と判断し、否の場合は、その画素を静止画素と判断する（ステップＳ２１）。輪郭画素数算出部３０２は、上記のステップＳ２１の処理を、１フレームの全画素が終了するまで繰り返す（ステップＳ２２）。
【００６５】
次に、輪郭画素数算出部３０２は、１フレーム内の動き画素について、次式により水平方向の重心画素を求め、その重心画素を重心画素記録部３０３に記録する（ステップＳ２３）。
【００６６】
重心画素＝（動き画素の水平方向の座標値ｊの合計）／動き画素の全数 （２）
続いて、輪郭画素数算出部３０２は、１フレーム前の動き画素の重心画素を重心画素記録部３０３から読み出し、次式により、移動体速度（単位：画素／秒）を算出する（ステップＳ２４）。
【００６７】
移動体速度＝（現フレームの重心画素−１フレーム前の重心画素）／フレーム間隔
（３）
ただし、現フレームに動き画素がない場合は、中間輝度領域が存在しないので移動体速度は「０」とする。また、１フレーム前のみ動き画素がない場合は、次式により、移動体速度を算出する。
【００６８】
移動体速度＝（ｎ／２）−｜現フレームの重心画素−（ｎ／２）｜ （４）
すなわち、１フレームの左右近いほうの端から重心画素までの移動距離を基に移動体速度を当てはめる。
【００６９】
続いて、輪郭画素数算出部３０２は、シャッタースピード取得手段３０１から得られるシャッタースピードと、ステップＳ２４で算出した移動体速度とにより、次式に基づいて画素数ｐを算出する（ステップＳ２５）。
【００７０】
ｐ＝（移動体速度×シャッタースピード）／２ （小数点以下切捨て） （５）
例えば、移動体速度が４００（画素／秒）、シャッタースピードが１／６０（秒）であった場合、画素数ｐは（５）式から３画素となる。
【００７１】
最後に、輪郭画素数算出部３０２は、画素数ｐを動き判定部３０４へ送出する（ステップＳ２６）。
【００７２】
動き判定部３０４は、輪郭画素数算出部３０２において算出された画素数ｐを、次のフレームで参照して動き判定して巡回係数Ｋを算出することとなる。この動き判定部３０４の動作は、図２〜図８で述べた動き判定部１０４と同じであるので、その説明は省略する。
【００７３】
なお、上記の説明において、輪郭画素数算出部３０２は画素数ｐを毎フレーム算出して最新の値を動き判定部３０４へ送出しているが、例えば３フレーム分等幾つかの値の平均を採用してもよい。
【００７４】
以上のようにして、移動体速度を算出し画素数ｐを求めることができる。ただし、移動体が一画面内に複数個存在する場合は、動き画素の重心では移動体速度が正しく求められない。
【００７５】
図１５は、異なる方向に進む２つの移動体Ａ及びＢの１フレーム毎の移動履歴の一例を表す。図１５に示すように、異なる方向に進む２つの移動体Ａ及びＢが存在する場合、図１２に示したフローチャートによる方法では移動体速度が相殺されてしまい、正しく画素数ｐを算出することができない。
【００７６】
そこで、以下図１３〜図１８と共に説明する第３の実施の形態の変形例では、計算量は多くなるが、移動体が複数ある場合でも正確に画素数ｐを算出する。
【００７７】
図１３は、上記変形例における画素数ｐを求める手順の一例を示すフローチャートである。輪郭画素数算出部３０２は、まず、ブロック内の各画素の動き判定を行う（ステップＳ３１）。ステップＳ３１におけるブロックは、例えば図１４に示すように、入力映像信号の１フレームを水平方向４ブロック、垂直方向４ブロックに分割した計１６個の矩形領域Ｂ（１，１）〜Ｂ（４，４）である。
【００７８】
そして、輪郭画素数算出部３０２は、ステップＳ３１において、上記の１６個のブロックのうち最初の一つのブロックＢ（１，１）において、１フレームの垂直方向ｇ番目（ｇはｍ／４以下の自然数）、水平方向ｈ番目（ｈはｎ／４以下の自然数）の画素Ｘ（ｇ，ｈ）と、１フレーム前の同じ位置の画素Ｙ（ｇ，ｈ）（図示せず）との差分の絶対値｜Ｘ（ｇ，ｈ）−Ｙ（ｇ，ｈ）｜が、予め設定された閾値ＴＨより大きいか否かを判断する。大きい場合は、その画素を動きがあった画素（以後、動き画素）と判断し、否の場合は、その画素を静止画素と判断する。輪郭画素数算出部３０２は、上記のステップＳ３１の処理を、１つのブロックの全画素が終了するまで繰り返す（ステップＳ３２）。つまり、画素が、Ｘ（１，１）、Ｘ（１，２）、・・・、Ｘ（１，ｎ）、Ｘ（２，１）、Ｘ（２，２）、・・・の順に入力されるとき、画素Ｘ（ｍ／４，ｎ／４）までが最初のブロックＢ（１，１）の全画素である。
【００７９】
次に、輪郭画素数算出部３０２は、１ブロック内の動き画素について、次式により水平方向の重心画素を算出し、算出した重心画素を重心画素記録部３０３に記録する（ステップＳ３３）。
【００８０】
重心画素＝（１ブロック内の動き画素の水平方向の座標値ｈの合計）／（１ブロック内
の動き画素の全数） （６）
続いて、輪郭画素数算出部３０２は、１フレーム前の該当ブロックにおける動き画素の重心画素を重心画素記録部３０３から読み出し、次式により、移動体速度（単位：画素／秒）を算出する（ステップＳ３４）。
【００８１】
移動体速度＝｜現フレームの重心画素−１フレーム前の重心画素｜／フレーム間隔
（７）
ただし、１フレーム前もしくは現フレームの該当ブロックのどちらかに動き画素がない場合は、移動体速度を「０」とする。
【００８２】
続いて、輪郭画素数算出部３０２は、シャッタースピード取得手段３０１から得られるシャッタースピードと、ステップＳ３４で算出した移動体速度とにより、次式に基づいて画素数ｐを算出する（ステップＳ３５）。
【００８３】
ｐ＝（移動体速度×シャッタースピード）／２ （小数点以下切捨て） （８）
そして、輪郭画素数算出部３０２は、画素数ｐを動き判定部３０４へ送出する（ステップＳ３６）。ステップＳ３５で算出した画素数ｐは一つのブロックについての画素数であるので、続いて輪郭画素数算出部３０２は、１フレームの残りのブロックのすべてについて画素数ｐの算出が終了するまで、上記のステップＳ３１〜ステップＳ３６の処理を繰り返す（ステップＳ３７）。１フレームの全ブロックについて画素数ｐの算出が終わると、処理完了となる。
【００８４】
次に、図１５に示した２つの移動体Ａ及びＢを例に、図１６及び図１７を用いて、動作の説明を補足する。図１６、図１７は、それぞれフレーム２、フレーム３における動きが検出された領域とブロック内の重心位置を示す。
【００８５】
すなわち、フレーム２において、領域２ａは、フレーム１からフレーム２までの期間に移動体Ａが移動したことによって、背景から移動体Ａが新たに現れた差分による動き検出領域であり、領域１ａは移動体Ａがいなくなった差分による動き検出領域である。間の白部分は、フレーム間で移動体Ａ自身しか通過していないので差分が少なく、動き検出領域とはならない。×印は、ブロックＢ（２，４）とブロックＢ（３，４）のブロック内重心位置を示している。
【００８６】
また、フレーム２において、領域２ｂは、フレーム１からフレーム２までの期間に移動体Ｂが移動したことによって、背景から移動体Ｂが新たに現れた差分による動き検出領域であり、領域１ｂは移動体Ｂがいなくなった差分による動き検出領域である。×印は、ブロックＢ（１，１）とブロックＢ（１，２）のブロック内重心位置を示している。
【００８７】
同様に、フレーム３において、領域３ａは、フレーム２からフレーム３までの期間に移動体Ａが移動したことによって、背景から移動体Ａが新たに現れた差分による動き検出領域であり、領域２ａは移動体Ａがいなくなった差分による動き検出領域である。間の白部分は、フレーム間で移動体Ａ自身しか通過していないので差分が少なく、動き検出領域とはならない。×印は、ブロックＢ（２，４）とブロックＢ（３，４）のブロック内重心位置を示している。
【００８８】
また、フレーム３において、領域３ｂは、フレーム２からフレーム３までの期間に移動体Ｂが移動したことによって、背景から移動体Ｂが新たに現れた差分による動き検出領域であり、領域２ｂは移動体Ｂがいなくなった差分による動き検出領域である。×印は、ブロックＢ（１，１）とブロックＢ（１，２）のブロック内重心位置を示している。
【００８９】
このように、図１６及び図１７から分かる通り、ブロックＢ（１，１）、Ｂ（１，２）、Ｂ（２，４）、Ｂ（３，４）のそれぞれで、２つの移動体の動きが検出された領域が干渉することなく移動体速度と画素数ｐを求めることができる。
【００９０】
動き判定部３０４は、上記のように求まったブロック毎の画素数ｐを、該当ブロック内のすべての画素の動き判定に用いる。例えばブロックＢ（１，４）には、図１８に示すｎ・ｍ／１６個の画素Ｘ（１，(3ｎ/4)＋１）〜画素Ｘ（ｍ/４，ｎ)が存在する。このブロックＢ（１，４）における移動体速度は、ブロック内の最後の画素Ｘ（ｍ/４，ｎ)が入力された以降に求まる。
【００９１】
従って、最初の画素Ｘ（１，(3ｎ/4)＋１）から動き判定を行うためには、動き判定部３０４は、ｍ／４ライン分データをメモリに保存しておけば、移動体速度が求まった後に動き判定を行うことができる。また、メモリを持たない構成とする場合は、求まった画素数ｐを次のフレームで採用してもよい。動き判定部３０４の動作は、図２〜図８で説明した動き判定部１０４の動作と同じである。
【００９２】
なお、上記では分割ブロックは固定であるが、動き判定する画素毎に変動してもよい。例えば、図１８に表されたブロックＢ（１，４）内の画素のうち、ブロックＢ（１，３）及びブロックＢ（２，４）にそれぞれ隣接する画素Ｘ（ｍ/４，(３ｎ/４)＋１）について動き判定を行う場合、図１９に示すようにその画素Ｘ（ｍ/４，(３ｎ/４)＋１）を中心とした水平方向ｎ/４画素、垂直方向ｍ/４画素の一つのブロックを構成し、そのブロック内で求められた画素数ｐを採用してもよい。
【００９３】
なお、本発明は以上の実施の形態及び変形例に限定されるものではなく、例えば、図９や図１０に示した第２及び第３の実施の形態ではシャッタースピードに応じて、注目画素と代替画素又は代替画素領域との間の水平方向の画素数ｐを算出するように説明したが、シャッタースピードを予め標準値に固定しておき、移動体速度のみで画素数ｐを算出するようにしてもよい。また、図９に示した第２の実施の形態では、画素数ｐをズーム値のみ、又はシャッタースピードのみに応じて変更するようにしてもよい。更に、図１０に示した第３の実施の形態では、（５）式によりシャッタースピードと移動体速度に応じて画素数ｐを決定したが、本発明は、画素数ｐをズーム値と移動体速度とにより変更する方法も包含するものである。また、更に、巡回係数Ｋは、フレーム間差分値に対して図３又は図６に示す特性とは逆の特性でもよい。ただし、その場合は、動き判定部１０４、２０４、３０４は乗算部１０５には第１の巡回係数Ｋを供給し、乗算部１０６には第２の巡回係数（１−Ｋ）を供給する必要がある。
【００９４】
なお、上記各実施例は、説明を簡単にするために、水平方向におけるノイズ低減の例を主に説明したが、本発明は、垂直方向や斜め方向に対してももちろん適用可能である。
【００９５】
また、本発明は上記した装置の機能をコンピュータに実現させるためのプログラムを含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【符号の説明】
【００９６】
１００、２００、３００ ノイズ低減装置
１０１ 映像信号入力端子
１０２ 減算部
１０３ フレームメモリ
１０４、２０４、３０４ 動き判定部
１０５、１０６ 乗算部
１０７ 加算部
１０８ 映像信号出力端子
１５０ 注目画素
１５１、１５２ 代替画素領域
２０１ 撮像設定値取得部
２０２、３０１ シャッタースピード取得手段
２０３ ズーム値取得手段
３０２ 輪郭画素数算出部
３０３ 重心画素記録部
１１０１ 監視カメラ
【技術分野】
【０００１】
本発明はノイズ低減装置に係り、特に映像信号におけるノイズを低減する装置に関する。
【背景技術】
【０００２】
映像信号におけるランダムノイズを取り除く技術として、３次元ノイズ低減装置が知られている。この３次元ノイズ低減装置は、映像信号におけるノイズ成分がフレーム間に相関関係がないことに着目し、入力される映像信号の複数のフレーム間の平均を求めて出力することでノイズを低減する。
【０００３】
この種の３次元ノイズ低減装置のうち、現在の入力映像信号とフレームメモリからの１フレーム前の映像信号との差分をとり、その差分に巡回係数を乗算した信号と入力映像信号を加減算して、ノイズの低減された映像信号を出力すると共に上記フレームメモリに供給する構成のものがフレーム巡回型ノイズ低減装置である。
【０００４】
しかし、このノイズ低減装置は、入力映像信号中の静止画部分においてはノイズを低減できるが、動画部分においては、単純に平均を求めると残像が残ってしまう。そこで、従来は入力映像信号と１フレーム前の出力映像信号間のフレーム間差分値によって動き判定を行い、動画部分に対しては巡回量を減らして残像を抑え、静止画部分においては巡回量を増やしてノイズを低減するようにしている。
【０００５】
ここで、上記のフレーム間差分値には動きによる差分とノイズによる差分とが含まれる。このため、フレーム間差分値によって巡回量を制御するノイズ低減装置では、動きの視認性を良くするとノイズによる差分を動きとして誤検出する割合が増える結果ノイズが目立ち、他方、ノイズの抑制を強めると、動きによる差分をノイズとして誤検出する割合が増える結果動きの残像が目立つというトレードオフの関係がある。
【０００６】
このため、ノイズと動きを区別する手法が重要である。そこで、特許文献１記載のノイズ低減装置では、まず、図２０に示すような注目画素を中心とする１５画素のエリア内において、フレーム間差分値の動き画素数とフレーム間差分値の静止画素数をそれぞれ求める。続いて、上記のノイズ低減装置は、それら動き画素数と静止画素数を別々のしきい値と比較して得た比較結果を多数決判定して動きかノイズかを判定し、その判定結果から得た動き度合いを示す信号に応じてノイズに対する係数を設定してノイズ除去を行っている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２７４０６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１記載の周辺画素による多数決判定を用いたノイズ低減装置では、移動体の輪郭状に残像が目立ち、見苦しい映像になってしまう課題がある。その課題の原理を、図２１を用いて説明する。
【０００９】
図２１（ａ）は、撮像装置により背景１００２に対して輝度の高い物体１００１が撮影された撮像画面を示す。物体１００１はほぼ均一の輝度であり、背景１００２もほぼ均一の輝度であるとする。次に、図２１（ａ）の位置にある物体１００１は画面上で右に動き始め、図２１（ｂ）に示す画面の状態を経て１フレーム後に図２１（ｃ）の位置に移動したとする。ここで、図２１（ｂ）は、図２１（ｃ）の状態からｘ秒前（ｘは、１フレーム間隔より短い）の瞬間の物体１００１の位置を表しており、点線から分かるように、図２１（ｃ）より画面上で左側に位置している。
【００１０】
今、撮像装置のシャッタースピードがｘ秒であるとする。図２１（ｄ）に示す画面において、領域＃１では、図２１（ｂ）〜図２１（ｃ）のｘ秒間に背景１００２から物体１００１へと移り変わり、領域＃２では物体１００１から背景１００２へと移り変わる。これに対し、領域＃３は、ｘ秒間、ほぼ同一の物体１００１の輝度にある。このように、シャッタースピードと物体の動く速度との関係に起因する画素に対する露出の違いにより、撮像信号すなわちノイズ低減装置の入力映像信号は、図２１（ｄ）に示すように領域＃１と領域＃２とにおいて、背景１００２と物体１００１の中間の輝度として表される。
【００１１】
従って、図２１（ａ）に示す画面と１フレーム後の図２１（ｄ）に示す画面との輝度差は、領域＃３に比べ領域＃１、領域＃２では小さくなる。このため、従来のフレーム巡回ノイズ低減装置では、領域＃３を動画部、領域＃１及び領域＃２を静止部（又は静止と動画の中間部）と判定し、出力される映像信号は図２１（ｅ）に示すように、領域＃１及び領域＃２の画像部分１００３が、入力映像信号（図２１（ｄ））の物体１００１と背景１００２の各画像の中間輝度になる。
【００１２】
さらに物体１００１は動き続けると、１フレーム後、輝度信号すなわちノイズ低減装置への入力映像信号による画像は、上記と同じ理由で図２１（ｆ）に示すようになる。ここで、ノイズ低減装置は、図２１（ｅ）に示す１フレーム前の映像信号と図２１（ｆ）に示す現在のフレームの映像信号とのフレーム間差分値から、領域＃１及び領域＃２を静止部（又は静止と動画の中間部）と判定すると、図２１（ｇ）に示すように輪郭状の残像１００４が現れた映像信号を出力する。
【００１３】
一旦、輪郭状の残像１００４となった領域（画素）は、次フレーム以降も背景に近づきながらも収束するまで静止画として残ってしまうため、見苦しく不快な映像の原因となっている。
【００１４】
なお、図２１では、モノクロームで説明したが、色差がある場合、色差成分についても同様である。また、領域＃１と領域＃２を均一の輝度で表現したが、領域＃１と領域＃２内に複数の画素がある場合、実際には背景輝度から物体輝度内でのグラデーションになる。
【００１５】
このように、特許文献１記載の周辺画素による多数決判定を用いたノイズ低減装置では、周辺画素が移動体の輪郭部内に入ってしまうため適切な判定が行えず、輪郭状の残像に対しては効果がない。
【００１６】
本発明は以上の点に鑑みなされたもので、注目画素の動き判定結果に応じて巡回係数を増減させて入力映像信号のノイズを低減するフレーム巡回型のノイズ低減を行うときに、画面に被写体である移動体の輪郭状に現れる残像を低減し得るノイズ低減装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記の目的を達成するため、第１の発明のノイズ低減装置は、撮像装置から入力される入力映像信号のノイズ低減対象の注目画素に対して、所定方向と所定方向の逆方向とにそれぞれ複数の画素数だけ離れた位置にある二つの代替画素又は代替画素領域のフレーム間差分値をそれぞれ算出するフレーム間差分値算出手段と、二つの代替画素又は代替画素領域のフレーム間差分値のうち大きい方のフレーム間差分値を選択し、その選択したフレーム間差分値が大きいほど大なる値の第１の巡回係数と、選択したフレーム間差分値が小さいほど大なる値の第２の巡回係数とをそれぞれ算出する巡回係数算出手段と、入力映像信号と第１の巡回係数とを乗算して第１の乗算後信号を生成する第１の乗算手段と、入力映像信号より１フレーム前の出力映像信号と第２の巡回係数とを乗算して第２の乗算後信号を生成する第２の乗算手段と、第１及び第２の乗算後信号を加算して出力映像信号を生成する加算手段と、出力映像信号を１フレーム遅延して１フレーム前の出力映像信号を生成する遅延手段とを有することを特徴とする。
【００１８】
また、上記の目的を達成するため、第２の発明のノイズ低減装置は、入力映像信号と１フレーム前の入力映像信号の各画素毎のフレーム間差分値の絶対値と動き判定用閾値との比較結果に基づいて入力映像信号中の動き画素を判定する処理を入力映像信号の各フレーム毎に行い、各フレームにおいて動き画素と判定された各画素の重心画素の位置の差に基づいて、撮像素子の被写体である移動体の移動速度を算出する移動体速度算出手段を更に有し、フレーム間差分値算出手段は、注目画素と代替画素又は代替画素領域との間の画素数を、移動体速度算出手段により算出された移動体の移動速度が速いほど大に可変することを特徴とする。
【００１９】
更に、上記の目的を達成するため、第３の発明のノイズ低減装置は、ズーム機能を有する撮像手段と、撮像手段から入力される入力映像信号のノイズ低減対象の注目画素に対して、所定方向と所定方向の逆方向とにそれぞれ複数の画素数だけ離れた位置にある二つの代替画素又は代替画素領域のフレーム間差分値をそれぞれ算出するフレーム間差分値算出手段と、入力映像信号と１フレーム前の入力映像信号の各画素毎のフレーム間差分値の絶対値と動き判定用閾値との比較結果に基づいて入力映像信号中の動き画素を判定する処理を入力映像信号の各フレーム毎に行い、各フレームにおいて動き画素と判定された各画素の重心画素の位置の差に基づいて、撮像素子の被写体である移動体の移動速度を算出する移動体速度算出手段と、撮像手段から得たシャッタースピード値及びズーム値のどちらか一方の情報、又はシャッタースピード値とズーム値の両方の情報、又はシャッタースピード値と移動体の移動速度との両方の情報に基づいて、注目画素と代替画素又は代替画素領域との間の画素数を可変する画素数可変手段と、二つの代替画素又は代替画素領域のフレーム間差分値のうち大きい方のフレーム間差分値を選択し、その選択したフレーム間差分値が大きいほど大なる値の第１の巡回係数と、選択したフレーム間差分値が小さいほど大なる値の第２の巡回係数とを算出する巡回係数算出手段と、入力映像信号と第１の巡回係数とを乗算して第１の乗算後信号を生成する第１の乗算手段と、入力映像信号より１フレーム前の出力映像信号と第２の巡回係数とを乗算して第２の乗算後信号を生成する第２の乗算手段と、第１及び第２の乗算後信号を加算して出力映像信号を生成する加算手段と、出力映像信号を１フレーム遅延して１フレーム前の出力映像信号を生成する遅延手段とを有することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、注目画素に対して複数の画素数だけ離れた位置にある代替画素又は代替画素領域のフレーム間差分値に基づいて注目画素の動き判定を行うことで、フレーム巡回型のノイズ低減を行うときに、画面に被写体である移動体の輪郭状に現れる残像を低減することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明のノイズ低減装置の第１の実施の形態のブロック図である。
【図２】図１中の動き判定部で動き判定に用いる注目画素と代替画素との間の画素数の一例を示す図である。
【図３】図１中の動き判定部におけるフレーム間差分値対巡回係数特性の一例を示す図である。
【図４】撮影状況の一例を示す上面図である。
【図５】図１中の動き判定部で動き判定に用いる注目画素と代替画素領域との間の画素数の一例を示す図である。
【図６】図１中の動き判定部におけるフレーム間差分値対巡回係数特性の他の例を示す図である。
【図７】本発明のノイズ低減装置の第１の実施の形態における動き判定部の一例の動作説明用フローチャートである。
【図８】本発明のノイズ低減装置の第１の実施の形態における動き判定部の他の例の動作説明用フローチャートである。
【図９】本発明のノイズ低減装置の第２の実施の形態のブロック図である。
【図１０】本発明のノイズ低減装置の第３の実施の携帯のブロック図である。
【図１１】１フレームの画素構成を示す図である。
【図１２】本発明のノイズ低減装置の第３の実施の形態における動き判定部の動作説明用フローチャートである。
【図１３】本発明のノイズ低減装置の第３の実施の形態の変形例における動き判定部の動作説明用フローチャートである。
【図１４】１フレームの画面のブロック分割の一例を示す図である。
【図１５】２つの移動体の移動履歴の一例を示す図である。
【図１６】図１５の２つの移動体を例に、図１３による動作の説明を補足する図（その１）である。
【図１７】図１５の２つの移動体を例に、図１３による動作の説明を補足する図（その２）である。
【図１８】図１４中の一つのブロックＢ（１，４）の画素構成を示す図である。
【図１９】図１４と異なるブロック分割における画素構成例を示す図である。
【図２０】特許文献１を説明する図である。
【図２１】従来のフレーム巡回型ノイズ低減装置の課題説明図である。
【発明を実施するための形態】
【００２２】
次に、本発明の各実施の形態について、図面を参照して説明する。
【００２３】
（第１の実施の形態）
図１は、本発明になるノイズ低減装置の第１の実施の形態のブロック図を示す。同図において、本実施の形態のノイズ低減装置１００は、撮像素子（図示せず）により撮像して得られたランダムノイズの含まれた映像信号が入力される入力端子１０１と、減算部１０２と、フレームメモリ１０３と、動き判定部１０４と、乗算部１０５及び１０６と、加算部１０７と、映像信号の出力端子１０８とより構成される。
【００２４】
減算部１０２は、入力端子１０１を介して入力される映像信号とフレームメモリ１０３に記憶された１フレーム前の出力映像信号との輝度又は色差成分の差分をとり、その差分信号を動き判定部１０４へ送出する。動き判定部１０４は、減算部１０２から入力される差分信号を基に後述の方法で動き量を判定し、動き量に基づいて巡回係数Ｋ（０以上１以下）を発生する。
【００２５】
乗算部１０５は、入力端子１０１を介して入力される映像信号に動き判定部１０４で発生された第１の巡回係数（１−Ｋ）を乗じる。また、乗算部１０６は、１フレーム前の映像信号に動き判定部１０４で発生された第２の巡回係数Ｋを乗じる。加算部１０７は、乗算部１０５及び１０６からそれぞれ出力される乗算後信号を加算して出力映像信号を映像信号出力端子１０８に出力すると共にフレームメモリ１０３へ供給して１フレーム分を記憶する。フレームメモリ１０３は映像信号出力端子１０８への出力映像信号を１フレーム期間遅延して乗算部１０６へ供給する。
【００２６】
本実施の形態のノイズ低減装置１００は、動き判定部１０４による動き判定による巡回係数の決定方法に特徴があり、以下その特徴について説明する。
【００２７】
まず、動き判定部１０４における動き判定方法を図２〜図８を用いて説明する。
【００２８】
動き判定部１０４は、図２に示す注目画素１５０について動き判定を行う場合、この注目画素１５０自身の動きを判定するのではなく、注目画素１５０から左方向に（ｐ＋１）画素離れた代替画素Ｌ、または右方向に（ｐ＋１）画素離れた代替画素Ｒのどちらかの代替画素におけるフレーム間差分値に基づいて動き判定を行う。ここでは、左右の代替画素Ｌ，Ｒの内、フレーム間差分値の大きい方の代替画素を動き判定対象の画素として選択する。フレーム間差分値の大きい代替画素の方が、被写体の動きをより確実に判定できるからである。なお、画素数ｐは後述するように設定された値であるとする。
【００２９】
図３は、動き判定部１０４におけるフレーム間差分値対巡回係数特性の一例を示す。動き判定部１０４は、選ばれた代替画素のフレーム間差分値により、注目画素１５０の巡回係数Ｋを図３に示したフレーム間差分値対巡回係数特性に従って決定する。これにより、動き判定部１０４は、選ばれた代替画素のフレーム間差分値が大きいほど注目画素の動きが大きいと判断して乗算部１０５に供給する第１の巡回係数（１−Ｋ）の値を大とし、かつ、乗算部１０６に供給する第２の巡回係数Ｋの値を小とする。他方、動き判定部１０４は、選ばれた代替画素のフレーム間差分値が小さいほど注目画素の動きが小さいと判断して乗算部１０５に供給する第１の巡回係数（１−Ｋ）の値を小とし、かつ、乗算部１０６に供給する第２の巡回係数Ｋの値を大とする。
【００３０】
これにより、本実施の形態のノイズ低減装置１００は、入力端子１０１を介して入力される撮像素子からの映像信号と第１の巡回係数（１−Ｋ）を乗算した現フレームの乗算後信号に対して、加算部１０７において加算される乗算部１０６からの前フレームの映像信号に第２の巡回係数Ｋを乗算した前フレームの乗算後信号の割合を、動き判定部１０４による動き判定結果が注目画素の動きが大きいほど小なる割合とする（巡回量を減らす）ことで残像を抑え、注目画素の動きが小さいほど大なる割合とする（巡回量を増やす）ことでノイズを低減することができる。
【００３１】
前述の通り、従来のノイズ低減装置では、被写体として撮影された移動体の映像信号の輪郭部分は背景との中間輝度となるため動き量の判定が正しく行えない。これに対し、本実施の形態の動き判定部１０４は、注目画素の左右のどちらかには現れる、中間輝度から外れたフレーム間差分値の大きい方の画素を動き判定対象の画素として使用することで、注目画素の動き判定を精度良く行うことができる。
【００３２】
次に、図２の画素数ｐの設定方法について説明する。画素数ｐは、撮影状況に応じて適切な値に予め設定される。例えば、図１の入力端子１０１に映像信号を供給する撮像素子が監視カメラの撮像素子の場合は、画素数ｐは次のような条件に基づいて設定される。
【００３３】
図４の上面図に示すように、水平画素数１２８０画素、シャッタースピード１／６０秒の監視カメラ１１０１から５メートル離れた被写体を、監視カメラ１１０１が水平画角６０°の撮影範囲１１０２で撮像しているものとする。ここで、被写体は、例えば、想定移動速度２メートル／秒（急歩程度）で図４に矢印１１０３で示す方向に移動する移動体であるものとする。
【００３４】
図４に示した監視カメラ１１０１の撮影範囲１１０２は、実距離約５.７７（＝２×５×tan３０°）メートルである。また、監視カメラ１１０１の水平画素数は１２８０画素である。従って、撮影範囲１１０２内の２メートルは約４４３（＝２×１２８０÷５.７７）画素に相当するため、被写体である移動体が撮影範囲１１０２内を移動方向１１０３に進むときの移動速度（以下、移動体速度ともいう）は、４４３画素／秒になる。
【００３５】
今、シャッタースピードが１／６０秒であるので、中間輝度となる領域は、約７画素（＝４４３画素／６０）となる。図２に示した代替画素Ｌと代替画素Ｒとの間は（２ｐ＋１）画素である。従って、画素数ｐは「３」と設定される。
【００３６】
なお、代替画素は、図２に示したように、１画素とは限らず、図５に示すように注目画素１５０から左方向に（ｐ＋１）画素離れた位置のｎ画素（ｎは２以上の自然数）からなる代替画素領域１５１、または右方向に（ｐ＋１）画素離れた位置のｎ画素からなる代替画素領域１５２のような水平方向に並ぶｎ個の画素としてもよい。
【００３７】
次に、図５に示すように代替画素領域を複数画素とした場合の巡回係数の決定方法について説明する。図６は、この場合の動き判定部１０４におけるフレーム間差分値対巡回係数特性の一例を示す。また、図７は、この場合の動き判定部１０４による巡回係数の決定方法の一例の説明用フローチャートである。
【００３８】
図１の動き判定部１０４は、図５の代替画素領域１５１または１５２において、代替画素領域を構成するｎ画素のうち予め設定されたｍ画素（ｍはｎ以下の自然数）以上において、フレーム間差分値が最大の閾値ＴＨ１以上であるか否かを判定する（ステップＳ１）。フレーム間差分値が閾値ＴＨ１以上の画素がｍ画素以上ある場合は、動き判定部１０４は、注目画素１５０は大きな動きのある画素と判定して巡回係数Ｋを「０」とする（ステップＳ２）。
【００３９】
ｎ画素のうちフレーム間差分値が閾値ＴＨ１以上の画素がｍ画素以上ない場合は、代替画素領域１５１または１５２において、代替画素領域を構成するｎ画素のうち予め設定されたｍ画素以上において、フレーム間差分値が閾値ＴＨ２（ＴＨ２＜ＴＨ１）以上であるか否かを判定する（ステップＳ３）。フレーム間差分値が閾値ＴＨ２以上の画素がｍ画素以上ある場合は、動き判定部１０４は、注目画素１５０は比較的大きな動きのある画素と判定して巡回係数Ｋを図６に示した小さな値Ｋ１とする（ステップＳ４）。
【００４０】
以下同様に続け、代替画素領域１５１または１５２において、代替画素領域を構成するｎ画素のうち予め設定されたｍ画素以上のフレーム間差分値が最小の閾値ＴＨj（ＴＨj＜・・・＜ＴＨ2＜ＴＨ１）以上であるか否かを判定する（ステップＳ５）。フレーム間差分値が閾値ＴＨj以上の画素がｍ画素以上ある場合は、動き判定部１０４は、注目画素１５０は比較的小さな動きのある画素と判定して巡回係数Ｋを図６に示した大きな値Ｋiとする（ステップＳ６）。他方、ステップＳ５において、フレーム間差分値が閾値ＴＨj以上の画素がｍ画素以上ないと判定した場合は、動き判定部１０４は、注目画素１５０は殆ど動きのない画素と判定して巡回係数Ｋを図６に示した最大値Ｋjとする（ステップＳ７）。
【００４１】
このように、動き判定部１０４は、複数画素の多数決判定結果を動き判定に用いるようにしているため、代替画素領域１５１、１５２にランダムノイズが現れるような場合でも、ランダムノイズの影響を排除することができ、精度良く動きの大きさを判定することができる。
【００４２】
なお、代替画素と代替画素領域の取り方は、図２、図５に限ったものではない、例えば注目画素と別のラインの画素を代替画素または代替画素領域に入れてもよい。
【００４３】
ところで、以上説明した方法では、空間サイズが（２ｐ＋１）画素以下の移動体があった場合、静止部と判定されたり、単なる静止部分を動きと判定してしまう可能性もある。
【００４４】
そこで、このような可能性をなくすため、本実施の形態の変形例では、動き判定部１０４は代替画素または代替画素領域だけで判定するのでなく、例えば図８のフローチャートに示す手順に従い、注目画素の結果と併せて判定する。
【００４５】
図８において、動き判定部１０４は、注目画素１５０におけるフレーム間差分値が、ＴＨｘ以上であるか否かを判定する（ステップＳ１１）。閾値ＴＨｘは、注目画素１５０のフレーム間差分値の結果だけで動き部分であると判定できる十分大きな値である。動き判定部１０４は、注目画素１５０におけるフレーム間差分値が閾値の最大値ＴＨｘ以上であると判定したときは、注目画素１５０は動き部分であると判断して巡回係数Ｋを「０」に設定する（ステップＳ１２）。
【００４６】
一方、動き判定部１０４は、ステップＳ１１において注目画素１５０におけるフレーム間差分値が閾値の最大値ＴＨｘ以上でないと判定したときは、注目画素１５０におけるフレーム間差分値が、最小の閾値ＴＨｙ以下であるか否かを判定する（ステップＳ１２）。閾値ＴＨｙは、注目画素１５０のフレーム間差分値の結果だけで静止部であると判断できる十分小さな値である。
【００４７】
動き判定部１０４は、注目画素１５０におけるフレーム間差分値が最小の閾値ＴＨｙ以下であると判定したときは、注目画素１５０は静止部であると判断して巡回係数Ｋを「１」に近い大きな値Ｋj（例えば０.８）に設定する（ステップＳ１４）。動き判定部１０４は、注目画素１５０におけるフレーム間差分値が最小の閾値ＴＨｙ以下でないと判定したときは、注目画素１５０は注目画素のフレーム間差分値だけでは注目画素が静止部か動き部分か判断できないので、代替画素または代替画素領域により巡回係数を決定する（ステップＳ１５）。ステップＳ１５では図２に示した代替画素を用いる場合は図３に示したフレーム間差分値対巡回係数特性に従い巡回係数を決定し、図５に示した代替画素領域１５１、１５２を用いる場合は図７に示したフローチャートと図６に示したフレーム間差分値対巡回係数特性に従い巡回係数を決定する。
【００４８】
なお、図８のフローチャートにおいて、注目画素による判定を、注目画素の周辺における（２ｐ＋１）画素での判定を用いてもよい。ただし、この場合は、図８に示したステップＳ１１、Ｓ１３を以下の処理を行うステップに置き換える必要がある。すなわち、ステップＳ１１は、注目画素の水平方向周辺の（２ｐ＋１）画素のうち予め設定されたｓ画素（ｓは２ｐ＋１以下の自然数）以上のフレーム間差分値が閾値ＴＨｘ以上であるかを判定するステップに置き換える。また、図８に示したステップＳ１３は、注目画素周辺の（２ｐ＋１）画素のうち予め設定されたｓ画素以上のフレーム間差分値が閾値ＴＨｙ以下であるかを判定するステップに置き換える。
【００４９】
このように、本実施の形態によれば、注目画素１５０から画素数ｐだけ水平方向に隔てた代替画素又は代替画素領域のフレーム間差分値に基づいて注目画素１５０の動き量を判定するようにしているため、撮像画面に輪郭状に現れる移動体の残像を低減することができる。
【００５０】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図９は、本発明になるノイズ低減装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。
【００５１】
図９に示すように、本実施の形態のノイズ低減装置２００は、撮像素子（図示せず）により撮像して得られたランダムノイズの含まれた映像信号が入力される入力端子１０１と、減算部１０２と、フレームメモリ１０３と、乗算部１０５及び１０６と、加算部１０７と、映像信号の出力端子１０８と、撮像設定値取得部２０１と、動き判定部２０４とより構成される。
【００５２】
撮像設定値取得部２０１は、撮像部（図示せず）のシャッタースピードを取得するシャッタースピード取得手段２０２と、撮像部のズーム値を取得するズーム値取得手段２０３とからなる。動き判定部２０４は、減算部１０２からのフレーム間差分値だけでなく、撮像設定値取得部２０１により取得されたシャッタースピード及びズーム値に応じて、前述した画素数ｐを適応的に可変設定して巡回係数Ｋを算出する。
【００５３】
前述した第１の実施の形態のノイズ低減装置１００では、画素数ｐが固定値であるため、移動体速度によっては画素数ｐが少なすぎて代替画素（又は代替画素領域）が中間輝度の領域に入ってしまい正しく動き量を判定できなかったり、他方、画素数ｐが多すぎて代替画素（又は代替画素領域）が移動体から外れてしまう可能性もある。そこで、本実施の形態のノイズ低減装置２００は、動き量の判定精度を向上するために、画素数ｐを適応的に変化させることを特徴とする。
【００５４】
前述した通り、画面において被写体である移動体と背景との中間輝度となる残像は、シャッタースピードと移動体の移動速度との関係に起因する画素に対する露出の違いにより生じるものである。従って、移動体の移動速度（画面上で単位時間に進む画素数）が同じであれば、シャッタースピードが速いほど中間輝度領域は狭くなる。そこで、本実施の形態における動き判定部２０４は、シャッタースピードが速くなるに従って画素数ｐを小さくするよう制御する。
【００５５】
また、移動体速度は、実際には同じ速さで動いている移動体でも、ズーム値が大きいほど、単位時間に進む画素数は増える。そこで、本実施の形態における動き判定部２０４は、ズーム値が大きくなるに従って画素数ｐを大きくするよう制御する。
【００５６】
例えば、第１の実施の形態の条件、被写体とカメラの距離が５メートル、カメラの水平画素数が１２８０画素、想定移動体速度が２メートル／秒（急歩程度）において、シャッタースピードがｘ秒に変化し、ズーム値が前条件時のｙ倍に変化したとすると、動き判定部２０４は画素数ｐを次式に基づいて設定する。
【００５７】
ｐ＝４４３・ｘ・ｙ／２ （小数点以下切捨て） （１）
ここで、上式の「４４３」は前述した移動体が移動する１秒当たりの画素数の「４４３」である。これにより、例えば、シャッタースピードｘが１／１００秒に、ズーム値ｙが３倍に変化した場合、上式から画素数ｐは「６」に設定される。
【００５８】
このように、本実施の形態によれば、動き判定部２０４がフレーム間差分値に基づいて算出した画素数ｐを、シャッタースピード取得手段２０２で取得されたシャッタースピードが速いほど画素数ｐを小さな値に可変調整し、ズーム値取得手段２０３で取得されたズーム値が大きいほど画素数ｐを大きな値に可変調整することで、画素数ｐをより適切な値に設定することができるため、移動体速度やズーム値に応じて巡回係数をより適切に決定し、残像を精度良く低減することができる。
【００５９】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。図１０は、本発明になるノイズ低減装置の第３の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。
【００６０】
図１０に示すように、本実施の形態のノイズ低減装置３００は、撮像素子（図示せず）により撮像して得られたランダムノイズの含まれた映像信号が入力される入力端子１０１と、減算部１０２と、フレームメモリ１０３と、乗算部１０５及び１０６と、加算部１０７と、映像信号の出力端子１０８と、シャッタースピード取得手段３０１と、輪郭画素数算出部３０２と、重心画素記録部３０３と、動き判定部３０４とより構成される。
【００６１】
シャッタースピード取得手段３０１は、撮像部（図示せず）のシャッタースピードを取得する。輪郭画素数算出部３０２は、後述するように減算部１０２から供給されるフレーム間差分信号から１フレーム内の動き画素の水平方向の重心画素を求めた後、その重心画素に基づいて移動体速度を算出し、更にその移動体速度から画素数ｐを求める。輪郭画素数算出部３０２は、算出した画素数ｐを動き判定部３０４に供給すると共に、算出した重心画素を重心画素記録部３０３に記録し、移動体速度算出時に重心画素記録部３０３から記録されている重心画素を読み出す。
【００６２】
動き判定部３０４は、減算部１０２から供給されるフレーム間差分信号と、輪郭画素数算出部３０２から供給される画素数ｐとに基づいて、巡回係数Ｋを図１の動き検出部１０４と同様の動作により巡回係数Ｋを算出し、その巡回係数Ｋを乗算部１０６へ出力し、巡回係数（１−Ｋ）を乗算部１０５へ出力する。
【００６３】
次に、輪郭画素数算出部３０２における移動体の速度と画素数ｐの算出方法を図１１及び図１２のフローチャートを参照して説明する。図１１は、入力映像信号の１フレーム（水平ｎ画素、垂直ｍ画素）の全画素を表す。図１２は、画素数ｐを求める手順の一例を示すフローチャートである。
【００６４】
輪郭画素数算出部３０２は、まず、図１１に示す入力映像信号の１フレームの垂直方向ｉ番目（ｉはｍ以下の自然数）、水平方向ｊ番目（ｊはｎ以下の自然数）の画素Ｘ（ｉ，ｊ）と、１フレーム前の同じ位置の画素Ｙ（ｉ，ｊ）（図示せず）との差分の絶対値｜Ｘ（ｉ，ｊ）−Ｙ（ｉ，ｊ）｜が、予め設定された閾値ＴＨより大きいか否かを判断する。大きい場合は、その画素を動きがあった画素（以後、動き画素）と判断し、否の場合は、その画素を静止画素と判断する（ステップＳ２１）。輪郭画素数算出部３０２は、上記のステップＳ２１の処理を、１フレームの全画素が終了するまで繰り返す（ステップＳ２２）。
【００６５】
次に、輪郭画素数算出部３０２は、１フレーム内の動き画素について、次式により水平方向の重心画素を求め、その重心画素を重心画素記録部３０３に記録する（ステップＳ２３）。
【００６６】
重心画素＝（動き画素の水平方向の座標値ｊの合計）／動き画素の全数 （２）
続いて、輪郭画素数算出部３０２は、１フレーム前の動き画素の重心画素を重心画素記録部３０３から読み出し、次式により、移動体速度（単位：画素／秒）を算出する（ステップＳ２４）。
【００６７】
移動体速度＝（現フレームの重心画素−１フレーム前の重心画素）／フレーム間隔
（３）
ただし、現フレームに動き画素がない場合は、中間輝度領域が存在しないので移動体速度は「０」とする。また、１フレーム前のみ動き画素がない場合は、次式により、移動体速度を算出する。
【００６８】
移動体速度＝（ｎ／２）−｜現フレームの重心画素−（ｎ／２）｜ （４）
すなわち、１フレームの左右近いほうの端から重心画素までの移動距離を基に移動体速度を当てはめる。
【００６９】
続いて、輪郭画素数算出部３０２は、シャッタースピード取得手段３０１から得られるシャッタースピードと、ステップＳ２４で算出した移動体速度とにより、次式に基づいて画素数ｐを算出する（ステップＳ２５）。
【００７０】
ｐ＝（移動体速度×シャッタースピード）／２ （小数点以下切捨て） （５）
例えば、移動体速度が４００（画素／秒）、シャッタースピードが１／６０（秒）であった場合、画素数ｐは（５）式から３画素となる。
【００７１】
最後に、輪郭画素数算出部３０２は、画素数ｐを動き判定部３０４へ送出する（ステップＳ２６）。
【００７２】
動き判定部３０４は、輪郭画素数算出部３０２において算出された画素数ｐを、次のフレームで参照して動き判定して巡回係数Ｋを算出することとなる。この動き判定部３０４の動作は、図２〜図８で述べた動き判定部１０４と同じであるので、その説明は省略する。
【００７３】
なお、上記の説明において、輪郭画素数算出部３０２は画素数ｐを毎フレーム算出して最新の値を動き判定部３０４へ送出しているが、例えば３フレーム分等幾つかの値の平均を採用してもよい。
【００７４】
以上のようにして、移動体速度を算出し画素数ｐを求めることができる。ただし、移動体が一画面内に複数個存在する場合は、動き画素の重心では移動体速度が正しく求められない。
【００７５】
図１５は、異なる方向に進む２つの移動体Ａ及びＢの１フレーム毎の移動履歴の一例を表す。図１５に示すように、異なる方向に進む２つの移動体Ａ及びＢが存在する場合、図１２に示したフローチャートによる方法では移動体速度が相殺されてしまい、正しく画素数ｐを算出することができない。
【００７６】
そこで、以下図１３〜図１８と共に説明する第３の実施の形態の変形例では、計算量は多くなるが、移動体が複数ある場合でも正確に画素数ｐを算出する。
【００７７】
図１３は、上記変形例における画素数ｐを求める手順の一例を示すフローチャートである。輪郭画素数算出部３０２は、まず、ブロック内の各画素の動き判定を行う（ステップＳ３１）。ステップＳ３１におけるブロックは、例えば図１４に示すように、入力映像信号の１フレームを水平方向４ブロック、垂直方向４ブロックに分割した計１６個の矩形領域Ｂ（１，１）〜Ｂ（４，４）である。
【００７８】
そして、輪郭画素数算出部３０２は、ステップＳ３１において、上記の１６個のブロックのうち最初の一つのブロックＢ（１，１）において、１フレームの垂直方向ｇ番目（ｇはｍ／４以下の自然数）、水平方向ｈ番目（ｈはｎ／４以下の自然数）の画素Ｘ（ｇ，ｈ）と、１フレーム前の同じ位置の画素Ｙ（ｇ，ｈ）（図示せず）との差分の絶対値｜Ｘ（ｇ，ｈ）−Ｙ（ｇ，ｈ）｜が、予め設定された閾値ＴＨより大きいか否かを判断する。大きい場合は、その画素を動きがあった画素（以後、動き画素）と判断し、否の場合は、その画素を静止画素と判断する。輪郭画素数算出部３０２は、上記のステップＳ３１の処理を、１つのブロックの全画素が終了するまで繰り返す（ステップＳ３２）。つまり、画素が、Ｘ（１，１）、Ｘ（１，２）、・・・、Ｘ（１，ｎ）、Ｘ（２，１）、Ｘ（２，２）、・・・の順に入力されるとき、画素Ｘ（ｍ／４，ｎ／４）までが最初のブロックＢ（１，１）の全画素である。
【００７９】
次に、輪郭画素数算出部３０２は、１ブロック内の動き画素について、次式により水平方向の重心画素を算出し、算出した重心画素を重心画素記録部３０３に記録する（ステップＳ３３）。
【００８０】
重心画素＝（１ブロック内の動き画素の水平方向の座標値ｈの合計）／（１ブロック内
の動き画素の全数） （６）
続いて、輪郭画素数算出部３０２は、１フレーム前の該当ブロックにおける動き画素の重心画素を重心画素記録部３０３から読み出し、次式により、移動体速度（単位：画素／秒）を算出する（ステップＳ３４）。
【００８１】
移動体速度＝｜現フレームの重心画素−１フレーム前の重心画素｜／フレーム間隔
（７）
ただし、１フレーム前もしくは現フレームの該当ブロックのどちらかに動き画素がない場合は、移動体速度を「０」とする。
【００８２】
続いて、輪郭画素数算出部３０２は、シャッタースピード取得手段３０１から得られるシャッタースピードと、ステップＳ３４で算出した移動体速度とにより、次式に基づいて画素数ｐを算出する（ステップＳ３５）。
【００８３】
ｐ＝（移動体速度×シャッタースピード）／２ （小数点以下切捨て） （８）
そして、輪郭画素数算出部３０２は、画素数ｐを動き判定部３０４へ送出する（ステップＳ３６）。ステップＳ３５で算出した画素数ｐは一つのブロックについての画素数であるので、続いて輪郭画素数算出部３０２は、１フレームの残りのブロックのすべてについて画素数ｐの算出が終了するまで、上記のステップＳ３１〜ステップＳ３６の処理を繰り返す（ステップＳ３７）。１フレームの全ブロックについて画素数ｐの算出が終わると、処理完了となる。
【００８４】
次に、図１５に示した２つの移動体Ａ及びＢを例に、図１６及び図１７を用いて、動作の説明を補足する。図１６、図１７は、それぞれフレーム２、フレーム３における動きが検出された領域とブロック内の重心位置を示す。
【００８５】
すなわち、フレーム２において、領域２ａは、フレーム１からフレーム２までの期間に移動体Ａが移動したことによって、背景から移動体Ａが新たに現れた差分による動き検出領域であり、領域１ａは移動体Ａがいなくなった差分による動き検出領域である。間の白部分は、フレーム間で移動体Ａ自身しか通過していないので差分が少なく、動き検出領域とはならない。×印は、ブロックＢ（２，４）とブロックＢ（３，４）のブロック内重心位置を示している。
【００８６】
また、フレーム２において、領域２ｂは、フレーム１からフレーム２までの期間に移動体Ｂが移動したことによって、背景から移動体Ｂが新たに現れた差分による動き検出領域であり、領域１ｂは移動体Ｂがいなくなった差分による動き検出領域である。×印は、ブロックＢ（１，１）とブロックＢ（１，２）のブロック内重心位置を示している。
【００８７】
同様に、フレーム３において、領域３ａは、フレーム２からフレーム３までの期間に移動体Ａが移動したことによって、背景から移動体Ａが新たに現れた差分による動き検出領域であり、領域２ａは移動体Ａがいなくなった差分による動き検出領域である。間の白部分は、フレーム間で移動体Ａ自身しか通過していないので差分が少なく、動き検出領域とはならない。×印は、ブロックＢ（２，４）とブロックＢ（３，４）のブロック内重心位置を示している。
【００８８】
また、フレーム３において、領域３ｂは、フレーム２からフレーム３までの期間に移動体Ｂが移動したことによって、背景から移動体Ｂが新たに現れた差分による動き検出領域であり、領域２ｂは移動体Ｂがいなくなった差分による動き検出領域である。×印は、ブロックＢ（１，１）とブロックＢ（１，２）のブロック内重心位置を示している。
【００８９】
このように、図１６及び図１７から分かる通り、ブロックＢ（１，１）、Ｂ（１，２）、Ｂ（２，４）、Ｂ（３，４）のそれぞれで、２つの移動体の動きが検出された領域が干渉することなく移動体速度と画素数ｐを求めることができる。
【００９０】
動き判定部３０４は、上記のように求まったブロック毎の画素数ｐを、該当ブロック内のすべての画素の動き判定に用いる。例えばブロックＢ（１，４）には、図１８に示すｎ・ｍ／１６個の画素Ｘ（１，(3ｎ/4)＋１）〜画素Ｘ（ｍ/４，ｎ)が存在する。このブロックＢ（１，４）における移動体速度は、ブロック内の最後の画素Ｘ（ｍ/４，ｎ)が入力された以降に求まる。
【００９１】
従って、最初の画素Ｘ（１，(3ｎ/4)＋１）から動き判定を行うためには、動き判定部３０４は、ｍ／４ライン分データをメモリに保存しておけば、移動体速度が求まった後に動き判定を行うことができる。また、メモリを持たない構成とする場合は、求まった画素数ｐを次のフレームで採用してもよい。動き判定部３０４の動作は、図２〜図８で説明した動き判定部１０４の動作と同じである。
【００９２】
なお、上記では分割ブロックは固定であるが、動き判定する画素毎に変動してもよい。例えば、図１８に表されたブロックＢ（１，４）内の画素のうち、ブロックＢ（１，３）及びブロックＢ（２，４）にそれぞれ隣接する画素Ｘ（ｍ/４，(３ｎ/４)＋１）について動き判定を行う場合、図１９に示すようにその画素Ｘ（ｍ/４，(３ｎ/４)＋１）を中心とした水平方向ｎ/４画素、垂直方向ｍ/４画素の一つのブロックを構成し、そのブロック内で求められた画素数ｐを採用してもよい。
【００９３】
なお、本発明は以上の実施の形態及び変形例に限定されるものではなく、例えば、図９や図１０に示した第２及び第３の実施の形態ではシャッタースピードに応じて、注目画素と代替画素又は代替画素領域との間の水平方向の画素数ｐを算出するように説明したが、シャッタースピードを予め標準値に固定しておき、移動体速度のみで画素数ｐを算出するようにしてもよい。また、図９に示した第２の実施の形態では、画素数ｐをズーム値のみ、又はシャッタースピードのみに応じて変更するようにしてもよい。更に、図１０に示した第３の実施の形態では、（５）式によりシャッタースピードと移動体速度に応じて画素数ｐを決定したが、本発明は、画素数ｐをズーム値と移動体速度とにより変更する方法も包含するものである。また、更に、巡回係数Ｋは、フレーム間差分値に対して図３又は図６に示す特性とは逆の特性でもよい。ただし、その場合は、動き判定部１０４、２０４、３０４は乗算部１０５には第１の巡回係数Ｋを供給し、乗算部１０６には第２の巡回係数（１−Ｋ）を供給する必要がある。
【００９４】
なお、上記各実施例は、説明を簡単にするために、水平方向におけるノイズ低減の例を主に説明したが、本発明は、垂直方向や斜め方向に対してももちろん適用可能である。
【００９５】
また、本発明は上記した装置の機能をコンピュータに実現させるためのプログラムを含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【符号の説明】
【００９６】
１００、２００、３００ ノイズ低減装置
１０１ 映像信号入力端子
１０２ 減算部
１０３ フレームメモリ
１０４、２０４、３０４ 動き判定部
１０５、１０６ 乗算部
１０７ 加算部
１０８ 映像信号出力端子
１５０ 注目画素
１５１、１５２ 代替画素領域
２０１ 撮像設定値取得部
２０２、３０１ シャッタースピード取得手段
２０３ ズーム値取得手段
３０２ 輪郭画素数算出部
３０３ 重心画素記録部
１１０１ 監視カメラ
【特許請求の範囲】
【請求項１】
撮像装置から入力される入力映像信号のノイズ低減対象の注目画素に対して、所定方向と前記所定方向の逆方向とにそれぞれ複数の画素数だけ離れた位置にある二つの代替画素又は代替画素領域のフレーム間差分値をそれぞれ算出するフレーム間差分値算出手段と、
前記二つの代替画素又は代替画素領域の前記フレーム間差分値のうち大きい方のフレーム間差分値を選択し、その選択したフレーム間差分値が大きいほど大なる値の第１の巡回係数と、前記選択したフレーム間差分値が小さいほど大なる値の第２の巡回係数とをそれぞれ算出する巡回係数算出手段と、
前記入力映像信号と前記第１の巡回係数とを乗算して第１の乗算後信号を生成する第１の乗算手段と、
前記入力映像信号より１フレーム前の出力映像信号と前記第２の巡回係数とを乗算して第２の乗算後信号を生成する第２の乗算手段と、
前記第１及び第２の乗算後信号を加算して出力映像信号を生成する加算手段と、
前記出力映像信号を１フレーム遅延して前記１フレーム前の出力映像信号を生成する遅延手段と
を有することを特徴とするノイズ低減装置。
【請求項２】
前記入力映像信号と１フレーム前の前記入力映像信号の各画素毎のフレーム間差分値の絶対値と動き判定用閾値との比較結果に基づいて前記入力映像信号中の動き画素を判定する処理を前記入力映像信号の各フレーム毎に行い、各フレームにおいて動き画素と判定された各画素の重心画素の位置の差に基づいて、前記撮像素子の被写体である移動体の移動速度を算出する移動体速度算出手段を更に有し、
前記フレーム間差分値算出手段は、前記注目画素と前記代替画素又は前記代替画素領域との間の前記画素数を、前記移動体速度算出手段により算出された前記移動体の移動速度が速いほど大に可変することを特徴とする請求項１記載のノイズ低減装置。
【請求項３】
ズーム機能を有する撮像手段と、
前記撮像手段から入力される入力映像信号のノイズ低減対象の注目画素に対して、所定方向と前記所定方向の逆方向とにそれぞれ複数の画素数だけ離れた位置にある二つの代替画素又は代替画素領域のフレーム間差分値をそれぞれ算出するフレーム間差分値算出手段と、
前記入力映像信号と１フレーム前の前記入力映像信号の各画素毎のフレーム間差分値の絶対値と動き判定用閾値との比較結果に基づいて前記入力映像信号中の動き画素を判定する処理を前記入力映像信号の各フレーム毎に行い、各フレームにおいて動き画素と判定された各画素の重心画素の位置の差に基づいて、前記撮像素子の被写体である移動体の移動速度を算出する移動体速度算出手段と、
前記撮像手段から得たシャッタースピード値及びズーム値のどちらか一方の情報、又は前記シャッタースピード値と前記ズーム値の両方の情報、又は前記シャッタースピード値と前記移動体の移動速度との両方の情報に基づいて、前記注目画素と前記代替画素又は前記代替画素領域との間の前記画素数を可変する画素数可変手段と、
前記二つの代替画素又は代替画素領域の前記フレーム間差分値のうち大きい方のフレーム間差分値を選択し、その選択したフレーム間差分値が大きいほど大なる値の第１の巡回係数と、前記選択したフレーム間差分値が小さいほど大なる値の第２の巡回係数とを算出する巡回係数算出手段と、
前記入力映像信号と前記第１の巡回係数とを乗算して第１の乗算後信号を生成する第１の乗算手段と、
前記入力映像信号より１フレーム前の出力映像信号と前記第２の巡回係数とを乗算して第２の乗算後信号を生成する第２の乗算手段と、
前記第１及び第２の乗算後信号を加算して出力映像信号を生成する加算手段と、
前記出力映像信号を１フレーム遅延して前記１フレーム前の出力映像信号を生成する遅延手段と
を有することを特徴とするノイズ低減装置。
【請求項１】
撮像装置から入力される入力映像信号のノイズ低減対象の注目画素に対して、所定方向と前記所定方向の逆方向とにそれぞれ複数の画素数だけ離れた位置にある二つの代替画素又は代替画素領域のフレーム間差分値をそれぞれ算出するフレーム間差分値算出手段と、
前記二つの代替画素又は代替画素領域の前記フレーム間差分値のうち大きい方のフレーム間差分値を選択し、その選択したフレーム間差分値が大きいほど大なる値の第１の巡回係数と、前記選択したフレーム間差分値が小さいほど大なる値の第２の巡回係数とをそれぞれ算出する巡回係数算出手段と、
前記入力映像信号と前記第１の巡回係数とを乗算して第１の乗算後信号を生成する第１の乗算手段と、
前記入力映像信号より１フレーム前の出力映像信号と前記第２の巡回係数とを乗算して第２の乗算後信号を生成する第２の乗算手段と、
前記第１及び第２の乗算後信号を加算して出力映像信号を生成する加算手段と、
前記出力映像信号を１フレーム遅延して前記１フレーム前の出力映像信号を生成する遅延手段と
を有することを特徴とするノイズ低減装置。
【請求項２】
前記入力映像信号と１フレーム前の前記入力映像信号の各画素毎のフレーム間差分値の絶対値と動き判定用閾値との比較結果に基づいて前記入力映像信号中の動き画素を判定する処理を前記入力映像信号の各フレーム毎に行い、各フレームにおいて動き画素と判定された各画素の重心画素の位置の差に基づいて、前記撮像素子の被写体である移動体の移動速度を算出する移動体速度算出手段を更に有し、
前記フレーム間差分値算出手段は、前記注目画素と前記代替画素又は前記代替画素領域との間の前記画素数を、前記移動体速度算出手段により算出された前記移動体の移動速度が速いほど大に可変することを特徴とする請求項１記載のノイズ低減装置。
【請求項３】
ズーム機能を有する撮像手段と、
前記撮像手段から入力される入力映像信号のノイズ低減対象の注目画素に対して、所定方向と前記所定方向の逆方向とにそれぞれ複数の画素数だけ離れた位置にある二つの代替画素又は代替画素領域のフレーム間差分値をそれぞれ算出するフレーム間差分値算出手段と、
前記入力映像信号と１フレーム前の前記入力映像信号の各画素毎のフレーム間差分値の絶対値と動き判定用閾値との比較結果に基づいて前記入力映像信号中の動き画素を判定する処理を前記入力映像信号の各フレーム毎に行い、各フレームにおいて動き画素と判定された各画素の重心画素の位置の差に基づいて、前記撮像素子の被写体である移動体の移動速度を算出する移動体速度算出手段と、
前記撮像手段から得たシャッタースピード値及びズーム値のどちらか一方の情報、又は前記シャッタースピード値と前記ズーム値の両方の情報、又は前記シャッタースピード値と前記移動体の移動速度との両方の情報に基づいて、前記注目画素と前記代替画素又は前記代替画素領域との間の前記画素数を可変する画素数可変手段と、
前記二つの代替画素又は代替画素領域の前記フレーム間差分値のうち大きい方のフレーム間差分値を選択し、その選択したフレーム間差分値が大きいほど大なる値の第１の巡回係数と、前記選択したフレーム間差分値が小さいほど大なる値の第２の巡回係数とを算出する巡回係数算出手段と、
前記入力映像信号と前記第１の巡回係数とを乗算して第１の乗算後信号を生成する第１の乗算手段と、
前記入力映像信号より１フレーム前の出力映像信号と前記第２の巡回係数とを乗算して第２の乗算後信号を生成する第２の乗算手段と、
前記第１及び第２の乗算後信号を加算して出力映像信号を生成する加算手段と、
前記出力映像信号を１フレーム遅延して前記１フレーム前の出力映像信号を生成する遅延手段と
を有することを特徴とするノイズ低減装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１８】
【図１９】
【図２０】
【図１５】
【図１６】
【図１７】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１８】
【図１９】
【図２０】
【図１５】
【図１６】
【図１７】
【図２１】
【公開番号】特開２０１１−１７１７９５（Ｐ２０１１−１７１７９５Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３１０５０（Ｐ２０１０−３１０５０）
【出願日】平成２２年２月１６日（２０１０．２．１６）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月１６日（２０１０．２．１６）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]