映像監視装置
【課題】 屋外に設けられた雲台に設置されて一定方向を回転しながら撮影してか映像監視装置は、ほとんど変化がない背景やマスクされた領域など、高解像度化が不要な領域が多く含まれており、画像全体を高解像度化するのは無駄が多い。
【解決手段】 本発明に係る映像監視装置は、旋回可能に設置され、パン、チルト、ズームを制御する制御情報に基づいて撮像する撮像装置の撮像画像より、高解像度化したい高解像度指定領域を指定するとともに、領域情報を出力する映像領域入力手段２と、制御情報と領域情報に基づいて、撮像装置の撮像した撮像画像より高解像度指定領域を選択する映像領域選択手段３と、複数の連続映像により高解像度映像を取得する高解像度映像取得手段４と、この高解像度映像と映像領域入力手段から出力される映像を重畳して表示装置に表示する映像出力手段５とを設けたものである。
【解決手段】 本発明に係る映像監視装置は、旋回可能に設置され、パン、チルト、ズームを制御する制御情報に基づいて撮像する撮像装置の撮像画像より、高解像度化したい高解像度指定領域を指定するとともに、領域情報を出力する映像領域入力手段２と、制御情報と領域情報に基づいて、撮像装置の撮像した撮像画像より高解像度指定領域を選択する映像領域選択手段３と、複数の連続映像により高解像度映像を取得する高解像度映像取得手段４と、この高解像度映像と映像領域入力手段から出力される映像を重畳して表示装置に表示する映像出力手段５とを設けたものである。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は映像を撮像し、記録・再生・表示する防犯等に供する映像監視装置に関するものであり、特に、解像度の比較的低い複数の映像から高解像度画像を得る「超解像」技術を適用した映像監視装置に関する。
【背景技術】
【０００２】
特許文献１には、伝送データ量を抑えつつ、撮影した画像を高解像度化して表示する監視システムを実現するために、画像データから連続する複数の画像フレームを所定間隔で残すように間引き処理を行い送信する撮像装置と、撮像装置より伝送された複数の画像フレームを用いて高解像処理を行う監視センターを含む監視システムが開示されている。また、特許文献２には、入力画像と背景画像の対応する背景領域の明るさの変化率に基づいて、入力画像の移動体領域の明るさ等の変化の補正を行うことにより、最適な背景画像を作成する画像処理装置が開示されている。特許文献３には領域の座標算出方法（ラベリング方式）が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０４４５３８号公報
【特許文献２】特開平３−１１８６７７号公報
【特許文献３】特公昭６３−０２５３９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、プライバシー保護の観点から撮影画像の一部を目隠ししたマスク領域を設ける機能を備えた監視システムがあり、また、解像度の比較的低い複数の映像から高解像度画像を得る「超解像」技術を適用した表示装置も普及しつつある。現在、普及している映像監視システムにおいては、解像度の低いアナログカメラが使用されていることが多いので、撮像する物体等の識別が困難な場合に超解像技術を適用する必要性は高い。しかし、一般的な映像の高解像化技術では、映像監視では不要なプライバシー保護のためのマスク領域や背景部領域の高解像度化まで行うため、演算量が大きくなり、装置の高価格化・大型化・消費電力増大となる問題点があった。
【０００５】
映像監視システムにおいては、天井や壁等の高所に設置されたカメラが、特定方向を撮影しているもの、水平方向や垂直方向に所定範囲を可動しながら撮影しているもの、屋外に設けられた雲台に設置されて一定方向を回転しながら撮影しているものがある。このような場合、カメラが撮影した撮影画像には、ほとんど変化がない背景領域やマスクされた領域など、高解像度化が不要な領域が多く含まれているので、撮影画像全体を高解像度化するのは、装置の規模、消費電力、コストの観点から無駄が多い。
【０００６】
また静止画を保存する場合、カメラからの映像ないし、符号化された映像の再生映像の特定フレームを保存するようにしていたので解像度が低く、符号化された映像の場合符号化に特有なノイズなどが含まれており、ユーザの求める画質が担保できない場合がある。本発明は、上記のような問題点を解消するためになされたもので、ユーザが映像監視をする際に着目するエリア、物体のみに高解像度化技術を適用することで、高解像度映像を得るための演算量を減らし、装置の高価格化・大型化・消費電力低減を実現することを目的としたものである。
【０００７】
本発明は、上記のような問題点を解消するためになされたもので、装置の高価格化・大型化・消費電力低減を達成できるとともに、監視者が注目する領域のみの高解像度化を実現できるようにした映像監視装置を提供するものである。
【課題を解決するための手段】
【０００８】
本発明に係る映像監視装置は、旋回可能に設置され、パン、チルト、ズームを制御する制御情報に基づいて撮像する撮像装置の撮像画像より、高解像度化したい高解像度指定領域を指定するとともに、指定された高解像度指定領域を示す領域情報を出力する映像領域入力手段と、制御情報と領域情報に基づいて、撮像装置の撮像した撮像画像より高解像度指定領域を選択する映像領域選択手段と、この映像領域選択手段から出力される複数の連続映像により高解像度映像を取得する高解像度映像取得手段と、この高解像度映像情報取得手段から出力される高解像度映像と映像領域入力手段から出力される映像を重畳して表示装置に表示する映像出力手段とを設けたものである。
【０００９】
本発明に係る映像監視装置は、旋回可能に設置され、パン、チルト、ズームを制御する制御情報に基づいて撮像する撮像装置の撮像画像より動体領域を算出するとともに、この動体領域を示す動体領域情報を出力する映像領域入力手段と、制御情報と動体領域情報に基づいて、撮像装置の撮像した撮像画像より、動体領域を高解像度化する領域として選択する映像領域選択手段と、この映像領域選択手段から出力される複数の連続映像により高解像度映像を取得する高解像度映像取得手段と、この高解像度映像情報取得手段から出力される高解像度映像と映像領域入力手段から出力される映像を重畳して表示装置に表示する映像出力手段とを設けたものである。
【発明の効果】
【００１０】
本発明に係る映像監視装置は、旋回可能に設置され、パン、チルト、ズームを制御する制御情報に基づいて撮像する撮像装置の撮像画像より、高解像度化したい高解像度指定領域を指定するとともに、指定された高解像度指定領域を示す領域情報を出力する映像領域入力手段と、制御情報と領域情報に基づいて、撮像装置の撮像した撮像画像より高解像度指定領域を選択する映像領域選択手段と、この映像領域選択手段から出力される複数の連続映像により高解像度映像を取得する高解像度映像取得手段と、この高解像度映像情報取得手段から出力される高解像度映像と映像領域入力手段から出力される映像を重畳して表示装置に表示する映像出力手段とを設けたので、映像監視者・操作者が着目する領域のみを高解像度化することで高解像度化による演算量を前記領域のみに実施することで、演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。
【００１１】
本発明に係る映像監視装置は、旋回可能に設置され、パン、チルト、ズームを制御する制御情報に基づいて撮像する撮像装置の撮像画像より動体領域を算出するとともに、この動体領域を示す動体領域情報を出力する映像領域入力手段と、制御情報と動体領域情報に基づいて、撮像装置の撮像した撮像画像より、動体領域を高解像度化する領域として選択する映像領域選択手段と、この映像領域選択手段から出力される複数の連続映像により高解像度映像を取得する高解像度映像取得手段と、この高解像度映像情報取得手段から出力される高解像度映像と映像領域入力手段から出力される映像を重畳して表示装置に表示する映像出力手段とを設けたので、映像の動きが検出された部分の変化（不審人物の侵入）領域を高解像度化することで、撮影画像全体を高解像度化する必要がなくなるので、高解像度化に要する演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１に係る映像監視装置の構成を示すブロック図である。
【図２】映像入力手段の動作を説明するフローチャートである。
【図３】映像領域選択を行うアプリケーションの一例を示す説明図である。
【図４】映像領域入力手段の動作を説明するフローチャートである。
【図５】映像領域選択手段の動作を説明するフローチャートである。
【図６】カメラの最大撮影範囲の映像領域選択処理を説明する説明図である。
【図７】高解像度映像取得手段の動作を説明するフローチャートである。
【図８】高解像度映像取得手段による高解像処理について説明する説明図である。
【図９】映像出力手段の動作を説明するフローチャートである。
【図１０】映像領域選択手段の動作を説明するフローチャートである。
【図１１】映像領域選択を行うアプリケーションの一例を示す説明図である。
【図１２】映像領域入力手段の動作を説明するフローチャートである。
【図１３】高解像映像取得手段の動作を説明するフローチャートである。
【図１４】映像出力手段の動作を説明するフローチャートである。
【図１５】映像領域選択を行うアプリケーションの一例を示す説明図である。
【図１６】映像領域入力手段の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、本発明の実施の形態１に係る映像監視装置の構成を示すブロック図である。図１において、カメラ（撮像装置）が撮影した画像信号はインターネット等のネットワークを介して伝送され、映像入力手段１に入力される。カメラが撮影した画像信号には映像や映像同期信号が含まれており、映像入力手段１は、この入力信号を処理してＲＧＢ信号などのデジタル映像を映像領域選択手段３に出力する。映像領域入力手段２は、ユーザ操作により選択される映像領域を保存する。映像領域選択手段３は、映像入力手段１からの映像より、映像領域入力手段２で指定された領域の映像を出力する。高解像度映像取得手段４は、映像領域選択手段３から出力される複数の連続映像により高解像度映像を取得する。映像出力手段５は、高解像度映像情報取得手段４から出力される高解像度映像と映像入力手段１から出力される映像を重畳して表示装置に表示する。画角制御手段６は旋回カメラを制御する。図１に示すカメラは、雲台などに設置され、カメラ画角を制御可能な装置を備えた旋回カメラであるものとする。
【００１４】
図２は、映像入力手段１の動作を説明するフローチャートである。図２において、映像入力手段１はＳ１００においてカメラからの同期信号を含む映像信号を受けて、垂直／水平同期信号に基づき映像信号をＡ／Ｄ変換してデジタル信号を得る。Ｓ１０１において、ステップデジタル信号の輝度値と色信号値からＲＧＢ信号を得る。Ｓ１０２において、Ｓ１０１で得られたデジタル信号値をメモリに格納する。メモリに格納されたデジタル信号値は、映像領域選択手段３と映像出力手段５へ出力される。Ｓ１０３において、垂直同期信号を待機して次の映像フレームまで待機する。以降Ｓ１００へ戻り毎フレーム映像をデジタル信号に変換する。
【００１５】
図３は、表示装置に表示する映像領域選択を行うためのアプリケーションの一例を示す説明図である。図４は、映像領域入力手段２の動作を説明するフローチャートである。図３において、７１１０は表示装置に表示する映像領域選択を行うアプリケーションの一例で、７１１１はカメラが撮影した画像を表示する映像表示領域、７１１２は操作者がマウス等の入力装置から指示した始点座標、７１１３は操作者がマウス等の入力装置から指示した終点座標、７１１４は始点座標７１１２、終点座標７１１３から構成される矩形領域、７１１５は画角制御手段６にパン、チルト、ズームを通知するボタン、７１１６は操作者が始点座標７１１２、終点座標７１１３を指定した後、映像領域選択手段に前記始点座標７１１２、終点座標７１１３を通知する「決定」ボタンである。
【００１６】
次に、映像領域入力手段２の動作について図３、図４を用いて説明する。操作者はアプリケーション７１１０の映像表示領域７１１１内の、高解像度化したい領域の左上隅座標を始点７１１２としてマウス等の入力装置で指定する。次に、操作者は右下隅座標を終点７１１３としてマウス等の入力装置で指定する（図４ Ｓ７４００）。このように、始点座標７１１２と終点座標７１１３を指定することにより矩形領域７１１４が定まる。操作者は適宜ＰＴＺ（パン・チルト・ズーム）操作ボタン７１１５により、パン・チルト・ズームを制御する制御情報であるＰＴＺ値を画角制御手段６に通知し、所望の映像を映像表示領域７１１１に表示する（図４ Ｓ７４０１）。最後に操作者はアプリケーション７１１０の「決定」ボタン７１１６により映像領域入力手段２へ高解像度化したい領域（高解像度指定領域）を通知する。映像領域入力手段２では「決定」ボタン７１１６押下することにより、高解像度指定領域を示す領域情報である始点座標７１１２及び終点座標７１１３、パン・チルト・ズームを制御する制御情報であるＰＴＺ値をメモリに格納する（図４ Ｓ７４０２）。メモリに格納された始点座標７１１２、終点座標７１１３は映像領域選択手段３へ出力される。
【００１７】
図５は、映像領域選択手段の動作を説明するフローチャートである。図６は、カメラの最大撮影範囲における映像領域選択処理を説明する説明図である。図６において、７２００はパン・チルトを最小値から、最大値まで動作させた場合の撮像範囲を示し、７２０１はパン値の最大値（Ｐｍａｘ）、７２０２はチルト値の最大値（Ｔｍａｘ）、７２０３はカメラから入力される撮像範囲、７２０４は映像入力手段２で操作者が指定した領域、７２０５はカメラから入力される撮像範囲における水平方向のパン値、７２０６はカメラから入力される撮像範囲における垂直方向のチルト値、７２０７は映像入力手段２で領域設定を行ったときのＰＴＺ値である。
【００１８】
次に、映像領域選択手段の動作について図５、図６を用いて説明する。図５のＳ７５００において、映像領域入力手段２からのＰＴＺ値、開始座標及び終点座標を得る。Ｓ７５０１において画角制御手段６からＰＴＺ値を得る。Ｓ７５０２において現在の画像における映像領域入力手段２の領域の重なり領域を算出する。重なり領域の算出は映像座標系からパン・チルト座標系へ変換して求める。
開始Ｐ値＝Ｐ０＋（開始Ｘ座標 ／ 画像幅 ｘ 画角パン値）
開始Ｔ値＝Ｔ０＋（開始Ｙ座標 ／ 画像高さ ｘ 画角パン値）
終了Ｐ値＝Ｐ０＋（終了Ｘ座標 ／ 画像幅 ｘ 画角パン値）
終了Ｔ値＝Ｔ０＋（終了Ｙ座標 ／ 画像高さ ｘ 画角パン値）
重なり領域Ｐ値＝開始Ｐ値−現在のＰ値
重なり領域Ｔ値＝開始Ｔ値−現在のＴ値
重なりＸ座標＝重なりＰ値 ／ 画角パン値 ｘ 画像幅
重なりＹ座標＝重なりＴ値 ／ 画角チルト値 ｘ 画像高さ
ここで開始Ｐ値は映像領域入力手段２の選択領域の開始Ｘ座標のパン・チルト座標系におけるパン値で、画像幅は入力画像の幅の画素数、画像高さは入力画像の高さの画素数、画角パン値は図６の７２０５、画角チルト値は７２０６である。重なり領域Ｐ値、Ｔ値が負値の場合重なり無しとして、開始座標と終了座標を同じ値で出力する。重なりＸ座標を開始Ｘ座標とし、重なりＹ座標を開始Ｙ座標として出力し、終了Ｘ座標、終了Ｙ座標は映像領域入力手段２の選択領域の幅と高さから算出する。Ｓ７５０３において重なり領域の映像を出力する。
【００１９】
図７は、高解像度映像取得手段の動作を説明するフローチャートである。図８は、高解像度映像取得手段４による高解像処理について説明する図である。この処理の代表として、特許文献１に記載される超解像処理の手法について説明する。動きのある複数の連続映像において、１００９は本来観測される実際の映像の輝度値で、時刻ｔではＣＣＤ素子の開口部で受けた光量に比例した輝度値１００６が得られ、同様に時刻t−１での輝度値１００７、時刻ｔ−２での輝度値１００８を得る。この時刻ｔでの輝度値１００６、時刻ｔ−１での輝度値１００７、時刻ｔ−２での輝度値１００８で実際の映像の輝度値１００９を補完して得る。具体的には隣接する複数（ここでは３枚）の原画像１００２（時刻ｔ）、１００３（時刻ｔ−１）、１００４（時刻ｔ−２）を準備し、小数精度で位置合わせを行う。位置合わせは時刻ｔの輝度値を基準値として、時刻ｔ−１との差分を計算し、順次その差分値が小さいずらし量１０１０を求める、同様に時刻ｔと時刻ｔ−２とのずらし量１０１１を計算する。ずらし量１０１０、１０１１から映像１００２、１００３、１００４の合成画像を得る。前記合成画像について目的とする解像度で再度サンプリングしなおして高解像画像を生成する。再サンプリングにあたっては、ローパスフィルタを用いて画素数（サンプリング点）を補間して増やす方法などで画素値を決定する。その結果、原画像の高周波成分を復元し、ぼけの少ない高解像画像を生成することができる。
【００２０】
図７を用いて高解像度映像取得手段の動作を説明する。図７に示すＳ３００において映像領域選択手段３から時刻ｔの映像１００６を取得する。同様に時刻ｔ−１、時刻ｔ−２の映像１００７、１００８を取得する。Ｓ３０１において、隣接する複数（ここでは３枚）の原画像１００２（時刻ｔ）、１００３（時刻ｔ−１）、１００４（時刻ｔ−２）を小数精度で位置合わせを行う。位置合わせは時刻ｔの輝度値を基準値として、時刻ｔ−１との差分を計算し、順次その差分値が小さいずらし量１０１０を求める、同様に時刻ｔと時刻ｔ−２とのずらし量１０１１を計算する。ステップＳ３０２においてずらし量１０１０、１０１１から映像１００２、１００３、１００４の合成画像を得る。合成映像は小数レベルの画素となるため、実際には原画像に対して拡大された映像となる。Ｓ３０３において前記合成画像について目的とする解像度で再度サンプリングしなおして高解像画像を生成する。再サンプリングにあたっては、ローパスフィルタを用いて画素数（サンプリング点）を補間して増やす方法などで画素値を決定し、映像出力手段５へ出力する。
【００２１】
図９は、映像出力手段５の動作を説明するフローチャートである。図９に示すＳ５００において、映像入力手段１の映像と、高解像度映像取得手段４の映像を入力する。Ｓ５０１において、まず映像入力手段１の映像を表示して、高解像度映像を映像領域入力手段２の出力する始点座標１１２、終点座標１１３からなる矩形領域１１４上に高解像度映像取得手段４の映像を表示する。なお映像入力手段１ではカメラの出力するアナログ信号を入力したが、ＩＥＴＦ（The Internet Engineering Task Force）が定めたＲＴＰ(Real-time Transport Protocol)により伝送される映像としてもよい。
【００２２】
次に、画角制御手段６の動作を説明する。表示装置に表示された、図３に示すアプリケーション７１１０を使用して、ユーザから指定された指定ＰＴＺ値に基づき、画角制御手段６は、現在のＰＴＺ値との差分を求め、その差分値をカメラに対して、パン・チルト・ズームを行うよう制御を行う。
【００２３】
この発明によれば、映像監視者・操作者が着目する領域のみを高解像度化することで高解像度化による演算量を前記領域のみに実施することで、演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。また、この発明によれば、旋回カメラにおいても映像監視者・操作者が着目する領域のみを高解像度化することで高解像度化による演算量を前記領域のみに実施することで、演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。監視者は旋回カメラ操作中においても高解像度対象とする領域について高解像度映像を閲覧することが出来、監視の効率化が可能である。
【００２４】
実施の形態２．
実施の形態１では、操作者が指定した規定領域について高解像度映像取得手段４で高解像度化するようにしていたが、本実施の形態では映像内の動体領域を算出して、動体領域部分を高解像度映像取得手段４により高解像度を得るようにした。以下、この発明の実施の形態を図に基づいて説明する。
【００２５】
図１０は映像領域選択手段の動作を説明するフローチャートである。図１０において、映像領域選択手段３は、Ｓ５２００において映像入力手段１から映像を入力する。Ｓ５２０１において前記映像から動体領域を検出する。動体領域検出は例えば、「背景差分方式」と呼ばれる動体検出方法で行うことが可能である。具体的には、Ｓ５２０１から得られる映像と過去に入力された映像から背景部を算出する。背景部と前記映像との差分を求め、一定差分以上の領域を動体領域とする。Ｓ５２０２において動体領域の始点・終点を求める。領域の座標算出は「ラベリング方式」と称する座標算出方法を採用することが可能である。具体的には背景部と前記映像との差分を非空白領域とし、それ以外を空白領域とする。その領域の連結を求め領域分割ができなくなるまで実施する。この結果の分割された領域の非空白領域の開始Ｘ座標、開始Ｙ座標を始点座標とし、非空白領域の終了Ｘ座標、終了Ｙ座標を終点座標とする。これらの始点座標及び終点座標が動体領域を示す動体領域情報となる。Ｓ５２０３において、前記始点座標と終点座標とを頂点とする領域の映像を高解像度映像取得手段４へ出力し、Ｓ５２０４において前記始点座標と終点座標をメモリに格納する。
【００２６】
この発明によれば、映像の動きが検出された部分の変化（不審人物の侵入）領域を高解像度化することで、撮影画像全体を高解像度化する必要がなくなるので、高解像度化に要する演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。また、自動的に動体領域検出を行い、検出された動体領域を高解像度化する領域と設定するため、監視者は高解像度とする領域を登録する必要がなくなり、監視に要する操作を簡単化することができた。
【００２７】
実施の形態３．
実施の形態１では、操作者が指定した規定領域について高解像度映像取得手段４で高解像度化するようにしていたが、本実施の形態では、プライバシー保護のため操作者が指定した目隠しされる領域（マスク領域）を除外して高解像度映像取得手段４で高解像度化するようにする。以下、この発明の実施の形態を図に基づいて説明する。図１１は、映像領域選択を行うアプリケーションの一例を示す説明図である。図１１において図３と同一の符号は同一又は相当部分を示すので、説明は省略する。７１１７は始点座標７１１２、終点座標７１１３から構成される非選択領域としての矩形領域、７１１５は操作者が始点座標７１１２、終点座標７１１３を指定した後、映像領域選択手段に前記始点座標７１１２、終点座標７１１３を非選択領域として通知する「決定」ボタンである。図１２は映像領域入力手段の動作を説明するフローチャートである。図１３は高解像映像取得手段の動作を説明するフローチャートである。
【００２８】
次に、映像領域入力手段２の動作について図１１、図１２を用いて説明する。操作者はアプリケーション７１１０の映像表示領域７１１１内の、プライバシー保護のための塗りつぶし領域（マスク領域）の左上隅座標を始点７１１２として、マウス等の入力装置で指定する、次に操作者は右下隅座標を終点７１１３として、マウス等の入力装置で指定する。前記始点座標７１１２、終点座標７１１３を頂点とする矩形領域７１１７が定まる。始点座標７１１２、終点座標７１１３がマスク領域を示すマスク領域情報である。操作者はアプリケーション７１１０の「決定」ボタン７１１５により映像領域入力手段２へプライバシー保護のためのマスク領域７１１７を非高解像度化領域として通知する。図１２において、映像領域入力手段２ではＳ２０００において映像入力を行い、Ｓ２００１において始点座標７１１２、終点座標７１１５からなる矩形領域７１１７を除く映像を取得する。Ｓ２００２において前記映像を出力し、Ｓ２００３において前記映像出力をメモリに格納する。前記メモリに格納された映像は高解像度映像取得手段４へ出力する。
【００２９】
次に高解像度映像取得手段４の動作を図１３を用いて説明する。Ｓ２３００において映像領域選択手段３から時刻ｔの映像１００６を取得する。同様に時刻ｔ−１、時刻ｔ−２の映像１００７、１００８を取得する。Ｓ２３０１において、隣接する複数（ここでは３枚）の原画像１００２（時刻ｔ）、１００３（時刻ｔ−１）、１００４（時刻ｔ−２）において小数精度で位置合わせを行う。位置合わせは時刻ｔの輝度値を基準値として、時刻ｔ−１との差分を計算し、順次その差分値が小さいずらし量１０１０を求める、同様に時刻ｔと時刻ｔ−２とのずらし量１０１１を計算する。ただし、前記映像領域入力手段２の出力する非高解像度化領域を除外して計算を行う。Ｓ２３０２においてずらし量１０１０、１０１１から映像１００２、１００３、１００４の合成画像を得る。合成映像は小数レベルの画素となるため、実際には原画像に対して拡大された映像となる。Ｓ２３０１同様に前記映像領域入力手段２の出力する非高解像度化領域を除外して計算を行う。Ｓ２３０３において前記合成画像について目的とする解像度で再度サンプリングしなおして高解像画像を生成する。Ｓ２３０１同様に前記映像領域入力手段２の出力する非高解像度化領域を除外して計算を行う。再サンプリングにあたっては、ローパスフィルタを用いて画素数（サンプリング点）を補間して増やす方法などで画素値を決定し、映像出力手段５へ出力する。
【００３０】
この発明によれば、映像監視においてプライバシー保護によるマスク領域を除外して高解像度化することで高解像度化による演算量を前記領域のみに実施することで、演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。またプライバシー保護以外に動きが少ない明らかに不要な領域を登録することで、注目部分のみ高解像度化されるので、監視者が注目すべき部分が明確になる。
【００３１】
実施の形態４．
実施の形態１では、映像出力手段５は表示装置に高解像度化映像を表示するようにしたが、本実施の形態では前記映像出力手段５は前記高解像度化映像をファイルとして保存できるようにした。以下、この発明の実施の形態を図に基づいて説明する。図１４は映像出力手段５の動作を説明するフローチャートである。
【００３２】
次に、映像出力手段５の動作について図１４を用いて説明する。Ｓ３５００において映像入力手段１から映像を入力し、また高解像度映像取得手段４からの映像を入力する。Ｓ３５０１において、高解像度映像を映像領域入力手段の出力する始点・終点からなる矩形領域上に合成出力する。Ｓ３５０２において前記映像を映像ファイルとして保存する。なお、映像ファイルとしてＲＧＢ信号などの値として保存でき、また符号化してファイル保存してよい。例えば符号化としてＪＰＥＧ(Joint Photographic Experts Group)を採用してよい。
【００３３】
この発明によれば、映像からの静止画取得において、映像監視者・操作者が着目する領域のみを高解像度化することで高解像度化による演算量を前記領域のみに実施することで、演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。また、映像入力をそのまま静止画とするより、高解像度化される。したがって、低解像度のカメラであっても、高解像度カメラを設置したのと同様の効果を得ることができる。
【００３４】
実施の形態５．
実施の形態１では、操作者は、高解像度化したい領域の始点７１１２と終点７１１３をマウス等の入力装置で指定し、適宜ＰＴＺ（パン・チルト・ズーム）操作ボタン７１１５によりＰＴＺ値を画角制御手段６に通知するとともに、アプリケーション７１１０の「決定」ボタン７１１６により映像領域入力手段２へ高解像度化したい領域を通知していた。映像選択手段３は、「決定」ボタン７１１６押下時の始点座標７１１２、終点座標７１１３、前記ＰＴＺ値をメモリに格納する。メモリに格納された始点座標７１１２、終点座標７１１３は映像領域選択手段３へ出力される。本実施の形態では操作者がマウス等の入力装置で高解像度化したい領域を指定（クリック）することにより、指定した座標を含む規定の領域を高解像度するようにした。このようにすることで、高解像度化したい領域の始点７１１２及び終点７１１３の指定、決定ボタン７１１５による通知などの操作を行わずに領域指定を行うことができる。
【００３５】
以下、この発明の実施の形態を図に基づいて説明する。図１５は、映像領域選択を行うアプリケーションの一例を示す説明図である。図１５において、４１１０は表示装置において操作者に提示する映像領域選択を行うアプリケーションの一例で、４１１１はカメラ等から得た映像入力手段でデジタル映像に変換した結果を表示する映像表示領域で、４１１２は操作者がマウス等の入力装置から指示した座標、４１１３は操作者が指示した座標４１１２を中心とした規定サイズの矩形領域の始点座標、４１１４は操作者が指示した座標４１１２を中心とした規定サイズの矩形領域の終点座標、４１１５は始点座標４１１３、終点座標４１１４を頂点とする矩形領域である。図１６は映像領域入力手段２の動作を説明するフローチャートである。
【００３６】
次に、映像領域入力手段２の動作について図１５、図１６を用いて説明する。操作者はアプリケーション４１１０の映像表示領域４１１１内の、特定箇所４１１２を指示する。映像領域入力手段２はＳ４４００においてマウス座標を取得、マウス座標を中心とした規定サイズの始点・終点算出する。
始点ｘ＝Ｘ−Ｗｉｄｔｈ
始点ｙ＝Ｙ−Ｈｅｉｇｈｔ
終点ｘ＝Ｘ＋Ｗｉｄｔｈ
終点ｙ＝Ｙ＋Ｈｅｉｇｈｔ
ここでＸ，Ｙはマウス座標から映像表示領域４１１１の左上隅座標を減算した座標値で、Ｗｉｄｔｈ、Ｈｅｉｇｈｔは規定の座標である。Ｓ４４０１において始点・終点メモリ格納し、映像領域選択手段３に出力する。
【００３７】
この発明によれば、映像監視者・操作者が着目する領域をマウス等の入力装置で逐次リアルタイムに取得して高解像度化することで高解像度化による演算量を前記領域のみに実施することで、演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。監視者の着目点のみの高解像度化により、ズーム処理などが不要となる。
【符号の説明】
【００３８】
１ 映像入力手段、２ 映像領域入力手段、３ 映像領域選択手段、
４ 高解像度映像取得手段、５ 映像出力手段、６ 画角制御手段
【技術分野】
【０００１】
この発明は映像を撮像し、記録・再生・表示する防犯等に供する映像監視装置に関するものであり、特に、解像度の比較的低い複数の映像から高解像度画像を得る「超解像」技術を適用した映像監視装置に関する。
【背景技術】
【０００２】
特許文献１には、伝送データ量を抑えつつ、撮影した画像を高解像度化して表示する監視システムを実現するために、画像データから連続する複数の画像フレームを所定間隔で残すように間引き処理を行い送信する撮像装置と、撮像装置より伝送された複数の画像フレームを用いて高解像処理を行う監視センターを含む監視システムが開示されている。また、特許文献２には、入力画像と背景画像の対応する背景領域の明るさの変化率に基づいて、入力画像の移動体領域の明るさ等の変化の補正を行うことにより、最適な背景画像を作成する画像処理装置が開示されている。特許文献３には領域の座標算出方法（ラベリング方式）が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０４４５３８号公報
【特許文献２】特開平３−１１８６７７号公報
【特許文献３】特公昭６３−０２５３９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、プライバシー保護の観点から撮影画像の一部を目隠ししたマスク領域を設ける機能を備えた監視システムがあり、また、解像度の比較的低い複数の映像から高解像度画像を得る「超解像」技術を適用した表示装置も普及しつつある。現在、普及している映像監視システムにおいては、解像度の低いアナログカメラが使用されていることが多いので、撮像する物体等の識別が困難な場合に超解像技術を適用する必要性は高い。しかし、一般的な映像の高解像化技術では、映像監視では不要なプライバシー保護のためのマスク領域や背景部領域の高解像度化まで行うため、演算量が大きくなり、装置の高価格化・大型化・消費電力増大となる問題点があった。
【０００５】
映像監視システムにおいては、天井や壁等の高所に設置されたカメラが、特定方向を撮影しているもの、水平方向や垂直方向に所定範囲を可動しながら撮影しているもの、屋外に設けられた雲台に設置されて一定方向を回転しながら撮影しているものがある。このような場合、カメラが撮影した撮影画像には、ほとんど変化がない背景領域やマスクされた領域など、高解像度化が不要な領域が多く含まれているので、撮影画像全体を高解像度化するのは、装置の規模、消費電力、コストの観点から無駄が多い。
【０００６】
また静止画を保存する場合、カメラからの映像ないし、符号化された映像の再生映像の特定フレームを保存するようにしていたので解像度が低く、符号化された映像の場合符号化に特有なノイズなどが含まれており、ユーザの求める画質が担保できない場合がある。本発明は、上記のような問題点を解消するためになされたもので、ユーザが映像監視をする際に着目するエリア、物体のみに高解像度化技術を適用することで、高解像度映像を得るための演算量を減らし、装置の高価格化・大型化・消費電力低減を実現することを目的としたものである。
【０００７】
本発明は、上記のような問題点を解消するためになされたもので、装置の高価格化・大型化・消費電力低減を達成できるとともに、監視者が注目する領域のみの高解像度化を実現できるようにした映像監視装置を提供するものである。
【課題を解決するための手段】
【０００８】
本発明に係る映像監視装置は、旋回可能に設置され、パン、チルト、ズームを制御する制御情報に基づいて撮像する撮像装置の撮像画像より、高解像度化したい高解像度指定領域を指定するとともに、指定された高解像度指定領域を示す領域情報を出力する映像領域入力手段と、制御情報と領域情報に基づいて、撮像装置の撮像した撮像画像より高解像度指定領域を選択する映像領域選択手段と、この映像領域選択手段から出力される複数の連続映像により高解像度映像を取得する高解像度映像取得手段と、この高解像度映像情報取得手段から出力される高解像度映像と映像領域入力手段から出力される映像を重畳して表示装置に表示する映像出力手段とを設けたものである。
【０００９】
本発明に係る映像監視装置は、旋回可能に設置され、パン、チルト、ズームを制御する制御情報に基づいて撮像する撮像装置の撮像画像より動体領域を算出するとともに、この動体領域を示す動体領域情報を出力する映像領域入力手段と、制御情報と動体領域情報に基づいて、撮像装置の撮像した撮像画像より、動体領域を高解像度化する領域として選択する映像領域選択手段と、この映像領域選択手段から出力される複数の連続映像により高解像度映像を取得する高解像度映像取得手段と、この高解像度映像情報取得手段から出力される高解像度映像と映像領域入力手段から出力される映像を重畳して表示装置に表示する映像出力手段とを設けたものである。
【発明の効果】
【００１０】
本発明に係る映像監視装置は、旋回可能に設置され、パン、チルト、ズームを制御する制御情報に基づいて撮像する撮像装置の撮像画像より、高解像度化したい高解像度指定領域を指定するとともに、指定された高解像度指定領域を示す領域情報を出力する映像領域入力手段と、制御情報と領域情報に基づいて、撮像装置の撮像した撮像画像より高解像度指定領域を選択する映像領域選択手段と、この映像領域選択手段から出力される複数の連続映像により高解像度映像を取得する高解像度映像取得手段と、この高解像度映像情報取得手段から出力される高解像度映像と映像領域入力手段から出力される映像を重畳して表示装置に表示する映像出力手段とを設けたので、映像監視者・操作者が着目する領域のみを高解像度化することで高解像度化による演算量を前記領域のみに実施することで、演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。
【００１１】
本発明に係る映像監視装置は、旋回可能に設置され、パン、チルト、ズームを制御する制御情報に基づいて撮像する撮像装置の撮像画像より動体領域を算出するとともに、この動体領域を示す動体領域情報を出力する映像領域入力手段と、制御情報と動体領域情報に基づいて、撮像装置の撮像した撮像画像より、動体領域を高解像度化する領域として選択する映像領域選択手段と、この映像領域選択手段から出力される複数の連続映像により高解像度映像を取得する高解像度映像取得手段と、この高解像度映像情報取得手段から出力される高解像度映像と映像領域入力手段から出力される映像を重畳して表示装置に表示する映像出力手段とを設けたので、映像の動きが検出された部分の変化（不審人物の侵入）領域を高解像度化することで、撮影画像全体を高解像度化する必要がなくなるので、高解像度化に要する演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１に係る映像監視装置の構成を示すブロック図である。
【図２】映像入力手段の動作を説明するフローチャートである。
【図３】映像領域選択を行うアプリケーションの一例を示す説明図である。
【図４】映像領域入力手段の動作を説明するフローチャートである。
【図５】映像領域選択手段の動作を説明するフローチャートである。
【図６】カメラの最大撮影範囲の映像領域選択処理を説明する説明図である。
【図７】高解像度映像取得手段の動作を説明するフローチャートである。
【図８】高解像度映像取得手段による高解像処理について説明する説明図である。
【図９】映像出力手段の動作を説明するフローチャートである。
【図１０】映像領域選択手段の動作を説明するフローチャートである。
【図１１】映像領域選択を行うアプリケーションの一例を示す説明図である。
【図１２】映像領域入力手段の動作を説明するフローチャートである。
【図１３】高解像映像取得手段の動作を説明するフローチャートである。
【図１４】映像出力手段の動作を説明するフローチャートである。
【図１５】映像領域選択を行うアプリケーションの一例を示す説明図である。
【図１６】映像領域入力手段の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、本発明の実施の形態１に係る映像監視装置の構成を示すブロック図である。図１において、カメラ（撮像装置）が撮影した画像信号はインターネット等のネットワークを介して伝送され、映像入力手段１に入力される。カメラが撮影した画像信号には映像や映像同期信号が含まれており、映像入力手段１は、この入力信号を処理してＲＧＢ信号などのデジタル映像を映像領域選択手段３に出力する。映像領域入力手段２は、ユーザ操作により選択される映像領域を保存する。映像領域選択手段３は、映像入力手段１からの映像より、映像領域入力手段２で指定された領域の映像を出力する。高解像度映像取得手段４は、映像領域選択手段３から出力される複数の連続映像により高解像度映像を取得する。映像出力手段５は、高解像度映像情報取得手段４から出力される高解像度映像と映像入力手段１から出力される映像を重畳して表示装置に表示する。画角制御手段６は旋回カメラを制御する。図１に示すカメラは、雲台などに設置され、カメラ画角を制御可能な装置を備えた旋回カメラであるものとする。
【００１４】
図２は、映像入力手段１の動作を説明するフローチャートである。図２において、映像入力手段１はＳ１００においてカメラからの同期信号を含む映像信号を受けて、垂直／水平同期信号に基づき映像信号をＡ／Ｄ変換してデジタル信号を得る。Ｓ１０１において、ステップデジタル信号の輝度値と色信号値からＲＧＢ信号を得る。Ｓ１０２において、Ｓ１０１で得られたデジタル信号値をメモリに格納する。メモリに格納されたデジタル信号値は、映像領域選択手段３と映像出力手段５へ出力される。Ｓ１０３において、垂直同期信号を待機して次の映像フレームまで待機する。以降Ｓ１００へ戻り毎フレーム映像をデジタル信号に変換する。
【００１５】
図３は、表示装置に表示する映像領域選択を行うためのアプリケーションの一例を示す説明図である。図４は、映像領域入力手段２の動作を説明するフローチャートである。図３において、７１１０は表示装置に表示する映像領域選択を行うアプリケーションの一例で、７１１１はカメラが撮影した画像を表示する映像表示領域、７１１２は操作者がマウス等の入力装置から指示した始点座標、７１１３は操作者がマウス等の入力装置から指示した終点座標、７１１４は始点座標７１１２、終点座標７１１３から構成される矩形領域、７１１５は画角制御手段６にパン、チルト、ズームを通知するボタン、７１１６は操作者が始点座標７１１２、終点座標７１１３を指定した後、映像領域選択手段に前記始点座標７１１２、終点座標７１１３を通知する「決定」ボタンである。
【００１６】
次に、映像領域入力手段２の動作について図３、図４を用いて説明する。操作者はアプリケーション７１１０の映像表示領域７１１１内の、高解像度化したい領域の左上隅座標を始点７１１２としてマウス等の入力装置で指定する。次に、操作者は右下隅座標を終点７１１３としてマウス等の入力装置で指定する（図４ Ｓ７４００）。このように、始点座標７１１２と終点座標７１１３を指定することにより矩形領域７１１４が定まる。操作者は適宜ＰＴＺ（パン・チルト・ズーム）操作ボタン７１１５により、パン・チルト・ズームを制御する制御情報であるＰＴＺ値を画角制御手段６に通知し、所望の映像を映像表示領域７１１１に表示する（図４ Ｓ７４０１）。最後に操作者はアプリケーション７１１０の「決定」ボタン７１１６により映像領域入力手段２へ高解像度化したい領域（高解像度指定領域）を通知する。映像領域入力手段２では「決定」ボタン７１１６押下することにより、高解像度指定領域を示す領域情報である始点座標７１１２及び終点座標７１１３、パン・チルト・ズームを制御する制御情報であるＰＴＺ値をメモリに格納する（図４ Ｓ７４０２）。メモリに格納された始点座標７１１２、終点座標７１１３は映像領域選択手段３へ出力される。
【００１７】
図５は、映像領域選択手段の動作を説明するフローチャートである。図６は、カメラの最大撮影範囲における映像領域選択処理を説明する説明図である。図６において、７２００はパン・チルトを最小値から、最大値まで動作させた場合の撮像範囲を示し、７２０１はパン値の最大値（Ｐｍａｘ）、７２０２はチルト値の最大値（Ｔｍａｘ）、７２０３はカメラから入力される撮像範囲、７２０４は映像入力手段２で操作者が指定した領域、７２０５はカメラから入力される撮像範囲における水平方向のパン値、７２０６はカメラから入力される撮像範囲における垂直方向のチルト値、７２０７は映像入力手段２で領域設定を行ったときのＰＴＺ値である。
【００１８】
次に、映像領域選択手段の動作について図５、図６を用いて説明する。図５のＳ７５００において、映像領域入力手段２からのＰＴＺ値、開始座標及び終点座標を得る。Ｓ７５０１において画角制御手段６からＰＴＺ値を得る。Ｓ７５０２において現在の画像における映像領域入力手段２の領域の重なり領域を算出する。重なり領域の算出は映像座標系からパン・チルト座標系へ変換して求める。
開始Ｐ値＝Ｐ０＋（開始Ｘ座標 ／ 画像幅 ｘ 画角パン値）
開始Ｔ値＝Ｔ０＋（開始Ｙ座標 ／ 画像高さ ｘ 画角パン値）
終了Ｐ値＝Ｐ０＋（終了Ｘ座標 ／ 画像幅 ｘ 画角パン値）
終了Ｔ値＝Ｔ０＋（終了Ｙ座標 ／ 画像高さ ｘ 画角パン値）
重なり領域Ｐ値＝開始Ｐ値−現在のＰ値
重なり領域Ｔ値＝開始Ｔ値−現在のＴ値
重なりＸ座標＝重なりＰ値 ／ 画角パン値 ｘ 画像幅
重なりＹ座標＝重なりＴ値 ／ 画角チルト値 ｘ 画像高さ
ここで開始Ｐ値は映像領域入力手段２の選択領域の開始Ｘ座標のパン・チルト座標系におけるパン値で、画像幅は入力画像の幅の画素数、画像高さは入力画像の高さの画素数、画角パン値は図６の７２０５、画角チルト値は７２０６である。重なり領域Ｐ値、Ｔ値が負値の場合重なり無しとして、開始座標と終了座標を同じ値で出力する。重なりＸ座標を開始Ｘ座標とし、重なりＹ座標を開始Ｙ座標として出力し、終了Ｘ座標、終了Ｙ座標は映像領域入力手段２の選択領域の幅と高さから算出する。Ｓ７５０３において重なり領域の映像を出力する。
【００１９】
図７は、高解像度映像取得手段の動作を説明するフローチャートである。図８は、高解像度映像取得手段４による高解像処理について説明する図である。この処理の代表として、特許文献１に記載される超解像処理の手法について説明する。動きのある複数の連続映像において、１００９は本来観測される実際の映像の輝度値で、時刻ｔではＣＣＤ素子の開口部で受けた光量に比例した輝度値１００６が得られ、同様に時刻t−１での輝度値１００７、時刻ｔ−２での輝度値１００８を得る。この時刻ｔでの輝度値１００６、時刻ｔ−１での輝度値１００７、時刻ｔ−２での輝度値１００８で実際の映像の輝度値１００９を補完して得る。具体的には隣接する複数（ここでは３枚）の原画像１００２（時刻ｔ）、１００３（時刻ｔ−１）、１００４（時刻ｔ−２）を準備し、小数精度で位置合わせを行う。位置合わせは時刻ｔの輝度値を基準値として、時刻ｔ−１との差分を計算し、順次その差分値が小さいずらし量１０１０を求める、同様に時刻ｔと時刻ｔ−２とのずらし量１０１１を計算する。ずらし量１０１０、１０１１から映像１００２、１００３、１００４の合成画像を得る。前記合成画像について目的とする解像度で再度サンプリングしなおして高解像画像を生成する。再サンプリングにあたっては、ローパスフィルタを用いて画素数（サンプリング点）を補間して増やす方法などで画素値を決定する。その結果、原画像の高周波成分を復元し、ぼけの少ない高解像画像を生成することができる。
【００２０】
図７を用いて高解像度映像取得手段の動作を説明する。図７に示すＳ３００において映像領域選択手段３から時刻ｔの映像１００６を取得する。同様に時刻ｔ−１、時刻ｔ−２の映像１００７、１００８を取得する。Ｓ３０１において、隣接する複数（ここでは３枚）の原画像１００２（時刻ｔ）、１００３（時刻ｔ−１）、１００４（時刻ｔ−２）を小数精度で位置合わせを行う。位置合わせは時刻ｔの輝度値を基準値として、時刻ｔ−１との差分を計算し、順次その差分値が小さいずらし量１０１０を求める、同様に時刻ｔと時刻ｔ−２とのずらし量１０１１を計算する。ステップＳ３０２においてずらし量１０１０、１０１１から映像１００２、１００３、１００４の合成画像を得る。合成映像は小数レベルの画素となるため、実際には原画像に対して拡大された映像となる。Ｓ３０３において前記合成画像について目的とする解像度で再度サンプリングしなおして高解像画像を生成する。再サンプリングにあたっては、ローパスフィルタを用いて画素数（サンプリング点）を補間して増やす方法などで画素値を決定し、映像出力手段５へ出力する。
【００２１】
図９は、映像出力手段５の動作を説明するフローチャートである。図９に示すＳ５００において、映像入力手段１の映像と、高解像度映像取得手段４の映像を入力する。Ｓ５０１において、まず映像入力手段１の映像を表示して、高解像度映像を映像領域入力手段２の出力する始点座標１１２、終点座標１１３からなる矩形領域１１４上に高解像度映像取得手段４の映像を表示する。なお映像入力手段１ではカメラの出力するアナログ信号を入力したが、ＩＥＴＦ（The Internet Engineering Task Force）が定めたＲＴＰ(Real-time Transport Protocol)により伝送される映像としてもよい。
【００２２】
次に、画角制御手段６の動作を説明する。表示装置に表示された、図３に示すアプリケーション７１１０を使用して、ユーザから指定された指定ＰＴＺ値に基づき、画角制御手段６は、現在のＰＴＺ値との差分を求め、その差分値をカメラに対して、パン・チルト・ズームを行うよう制御を行う。
【００２３】
この発明によれば、映像監視者・操作者が着目する領域のみを高解像度化することで高解像度化による演算量を前記領域のみに実施することで、演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。また、この発明によれば、旋回カメラにおいても映像監視者・操作者が着目する領域のみを高解像度化することで高解像度化による演算量を前記領域のみに実施することで、演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。監視者は旋回カメラ操作中においても高解像度対象とする領域について高解像度映像を閲覧することが出来、監視の効率化が可能である。
【００２４】
実施の形態２．
実施の形態１では、操作者が指定した規定領域について高解像度映像取得手段４で高解像度化するようにしていたが、本実施の形態では映像内の動体領域を算出して、動体領域部分を高解像度映像取得手段４により高解像度を得るようにした。以下、この発明の実施の形態を図に基づいて説明する。
【００２５】
図１０は映像領域選択手段の動作を説明するフローチャートである。図１０において、映像領域選択手段３は、Ｓ５２００において映像入力手段１から映像を入力する。Ｓ５２０１において前記映像から動体領域を検出する。動体領域検出は例えば、「背景差分方式」と呼ばれる動体検出方法で行うことが可能である。具体的には、Ｓ５２０１から得られる映像と過去に入力された映像から背景部を算出する。背景部と前記映像との差分を求め、一定差分以上の領域を動体領域とする。Ｓ５２０２において動体領域の始点・終点を求める。領域の座標算出は「ラベリング方式」と称する座標算出方法を採用することが可能である。具体的には背景部と前記映像との差分を非空白領域とし、それ以外を空白領域とする。その領域の連結を求め領域分割ができなくなるまで実施する。この結果の分割された領域の非空白領域の開始Ｘ座標、開始Ｙ座標を始点座標とし、非空白領域の終了Ｘ座標、終了Ｙ座標を終点座標とする。これらの始点座標及び終点座標が動体領域を示す動体領域情報となる。Ｓ５２０３において、前記始点座標と終点座標とを頂点とする領域の映像を高解像度映像取得手段４へ出力し、Ｓ５２０４において前記始点座標と終点座標をメモリに格納する。
【００２６】
この発明によれば、映像の動きが検出された部分の変化（不審人物の侵入）領域を高解像度化することで、撮影画像全体を高解像度化する必要がなくなるので、高解像度化に要する演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。また、自動的に動体領域検出を行い、検出された動体領域を高解像度化する領域と設定するため、監視者は高解像度とする領域を登録する必要がなくなり、監視に要する操作を簡単化することができた。
【００２７】
実施の形態３．
実施の形態１では、操作者が指定した規定領域について高解像度映像取得手段４で高解像度化するようにしていたが、本実施の形態では、プライバシー保護のため操作者が指定した目隠しされる領域（マスク領域）を除外して高解像度映像取得手段４で高解像度化するようにする。以下、この発明の実施の形態を図に基づいて説明する。図１１は、映像領域選択を行うアプリケーションの一例を示す説明図である。図１１において図３と同一の符号は同一又は相当部分を示すので、説明は省略する。７１１７は始点座標７１１２、終点座標７１１３から構成される非選択領域としての矩形領域、７１１５は操作者が始点座標７１１２、終点座標７１１３を指定した後、映像領域選択手段に前記始点座標７１１２、終点座標７１１３を非選択領域として通知する「決定」ボタンである。図１２は映像領域入力手段の動作を説明するフローチャートである。図１３は高解像映像取得手段の動作を説明するフローチャートである。
【００２８】
次に、映像領域入力手段２の動作について図１１、図１２を用いて説明する。操作者はアプリケーション７１１０の映像表示領域７１１１内の、プライバシー保護のための塗りつぶし領域（マスク領域）の左上隅座標を始点７１１２として、マウス等の入力装置で指定する、次に操作者は右下隅座標を終点７１１３として、マウス等の入力装置で指定する。前記始点座標７１１２、終点座標７１１３を頂点とする矩形領域７１１７が定まる。始点座標７１１２、終点座標７１１３がマスク領域を示すマスク領域情報である。操作者はアプリケーション７１１０の「決定」ボタン７１１５により映像領域入力手段２へプライバシー保護のためのマスク領域７１１７を非高解像度化領域として通知する。図１２において、映像領域入力手段２ではＳ２０００において映像入力を行い、Ｓ２００１において始点座標７１１２、終点座標７１１５からなる矩形領域７１１７を除く映像を取得する。Ｓ２００２において前記映像を出力し、Ｓ２００３において前記映像出力をメモリに格納する。前記メモリに格納された映像は高解像度映像取得手段４へ出力する。
【００２９】
次に高解像度映像取得手段４の動作を図１３を用いて説明する。Ｓ２３００において映像領域選択手段３から時刻ｔの映像１００６を取得する。同様に時刻ｔ−１、時刻ｔ−２の映像１００７、１００８を取得する。Ｓ２３０１において、隣接する複数（ここでは３枚）の原画像１００２（時刻ｔ）、１００３（時刻ｔ−１）、１００４（時刻ｔ−２）において小数精度で位置合わせを行う。位置合わせは時刻ｔの輝度値を基準値として、時刻ｔ−１との差分を計算し、順次その差分値が小さいずらし量１０１０を求める、同様に時刻ｔと時刻ｔ−２とのずらし量１０１１を計算する。ただし、前記映像領域入力手段２の出力する非高解像度化領域を除外して計算を行う。Ｓ２３０２においてずらし量１０１０、１０１１から映像１００２、１００３、１００４の合成画像を得る。合成映像は小数レベルの画素となるため、実際には原画像に対して拡大された映像となる。Ｓ２３０１同様に前記映像領域入力手段２の出力する非高解像度化領域を除外して計算を行う。Ｓ２３０３において前記合成画像について目的とする解像度で再度サンプリングしなおして高解像画像を生成する。Ｓ２３０１同様に前記映像領域入力手段２の出力する非高解像度化領域を除外して計算を行う。再サンプリングにあたっては、ローパスフィルタを用いて画素数（サンプリング点）を補間して増やす方法などで画素値を決定し、映像出力手段５へ出力する。
【００３０】
この発明によれば、映像監視においてプライバシー保護によるマスク領域を除外して高解像度化することで高解像度化による演算量を前記領域のみに実施することで、演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。またプライバシー保護以外に動きが少ない明らかに不要な領域を登録することで、注目部分のみ高解像度化されるので、監視者が注目すべき部分が明確になる。
【００３１】
実施の形態４．
実施の形態１では、映像出力手段５は表示装置に高解像度化映像を表示するようにしたが、本実施の形態では前記映像出力手段５は前記高解像度化映像をファイルとして保存できるようにした。以下、この発明の実施の形態を図に基づいて説明する。図１４は映像出力手段５の動作を説明するフローチャートである。
【００３２】
次に、映像出力手段５の動作について図１４を用いて説明する。Ｓ３５００において映像入力手段１から映像を入力し、また高解像度映像取得手段４からの映像を入力する。Ｓ３５０１において、高解像度映像を映像領域入力手段の出力する始点・終点からなる矩形領域上に合成出力する。Ｓ３５０２において前記映像を映像ファイルとして保存する。なお、映像ファイルとしてＲＧＢ信号などの値として保存でき、また符号化してファイル保存してよい。例えば符号化としてＪＰＥＧ(Joint Photographic Experts Group)を採用してよい。
【００３３】
この発明によれば、映像からの静止画取得において、映像監視者・操作者が着目する領域のみを高解像度化することで高解像度化による演算量を前記領域のみに実施することで、演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。また、映像入力をそのまま静止画とするより、高解像度化される。したがって、低解像度のカメラであっても、高解像度カメラを設置したのと同様の効果を得ることができる。
【００３４】
実施の形態５．
実施の形態１では、操作者は、高解像度化したい領域の始点７１１２と終点７１１３をマウス等の入力装置で指定し、適宜ＰＴＺ（パン・チルト・ズーム）操作ボタン７１１５によりＰＴＺ値を画角制御手段６に通知するとともに、アプリケーション７１１０の「決定」ボタン７１１６により映像領域入力手段２へ高解像度化したい領域を通知していた。映像選択手段３は、「決定」ボタン７１１６押下時の始点座標７１１２、終点座標７１１３、前記ＰＴＺ値をメモリに格納する。メモリに格納された始点座標７１１２、終点座標７１１３は映像領域選択手段３へ出力される。本実施の形態では操作者がマウス等の入力装置で高解像度化したい領域を指定（クリック）することにより、指定した座標を含む規定の領域を高解像度するようにした。このようにすることで、高解像度化したい領域の始点７１１２及び終点７１１３の指定、決定ボタン７１１５による通知などの操作を行わずに領域指定を行うことができる。
【００３５】
以下、この発明の実施の形態を図に基づいて説明する。図１５は、映像領域選択を行うアプリケーションの一例を示す説明図である。図１５において、４１１０は表示装置において操作者に提示する映像領域選択を行うアプリケーションの一例で、４１１１はカメラ等から得た映像入力手段でデジタル映像に変換した結果を表示する映像表示領域で、４１１２は操作者がマウス等の入力装置から指示した座標、４１１３は操作者が指示した座標４１１２を中心とした規定サイズの矩形領域の始点座標、４１１４は操作者が指示した座標４１１２を中心とした規定サイズの矩形領域の終点座標、４１１５は始点座標４１１３、終点座標４１１４を頂点とする矩形領域である。図１６は映像領域入力手段２の動作を説明するフローチャートである。
【００３６】
次に、映像領域入力手段２の動作について図１５、図１６を用いて説明する。操作者はアプリケーション４１１０の映像表示領域４１１１内の、特定箇所４１１２を指示する。映像領域入力手段２はＳ４４００においてマウス座標を取得、マウス座標を中心とした規定サイズの始点・終点算出する。
始点ｘ＝Ｘ−Ｗｉｄｔｈ
始点ｙ＝Ｙ−Ｈｅｉｇｈｔ
終点ｘ＝Ｘ＋Ｗｉｄｔｈ
終点ｙ＝Ｙ＋Ｈｅｉｇｈｔ
ここでＸ，Ｙはマウス座標から映像表示領域４１１１の左上隅座標を減算した座標値で、Ｗｉｄｔｈ、Ｈｅｉｇｈｔは規定の座標である。Ｓ４４０１において始点・終点メモリ格納し、映像領域選択手段３に出力する。
【００３７】
この発明によれば、映像監視者・操作者が着目する領域をマウス等の入力装置で逐次リアルタイムに取得して高解像度化することで高解像度化による演算量を前記領域のみに実施することで、演算量を大幅に低減でき、装置の低価格化・小型化・低消費電力することができる。監視者の着目点のみの高解像度化により、ズーム処理などが不要となる。
【符号の説明】
【００３８】
１ 映像入力手段、２ 映像領域入力手段、３ 映像領域選択手段、
４ 高解像度映像取得手段、５ 映像出力手段、６ 画角制御手段
【特許請求の範囲】
【請求項１】
旋回可能に設置され、パン、チルト、ズームを制御する制御情報に基づいて撮像する撮像装置の撮像画像より、高解像度化したい高解像度指定領域を指定するとともに、指定された高解像度指定領域を示す領域情報を出力する映像領域入力手段と、
前記制御情報と前記領域情報に基づいて、前記撮像装置の撮像した前記撮像画像より前記高解像度指定領域を選択する映像領域選択手段と、
この映像領域選択手段から出力される複数の連続映像により高解像度映像を取得する高解像度映像取得手段と、
この高解像度映像情報取得手段から出力される高解像度映像と前記映像領域入力手段から出力される映像を重畳して表示装置に表示する映像出力手段とを設けたこととを特徴とする映像監視装置。
【請求項２】
旋回可能に設置され、パン、チルト、ズームを制御する制御情報に基づいて撮像する撮像装置の撮像画像より動体領域を算出するとともに、この動体領域を示す動体領域情報を出力する映像領域入力手段と、
前記制御情報と前記動体領域情報に基づいて、前記撮像装置の撮像した前記撮像画像より、前記動体領域を高解像度化する領域として選択する映像領域選択手段と、
この映像領域選択手段から出力される複数の連続映像により高解像度映像を取得する高解像度映像取得手段と、
この高解像度映像情報取得手段から出力される高解像度映像と前記映像領域入力手段から出力される映像を重畳して表示装置に表示する映像出力手段とを設けたこととを特徴とする映像監視装置。
【請求項３】
映像領域入力手段は、撮像装置の撮像画像より、プライバシー保護のために表示装置に表示しないマスク領域のマスク領域情報を映像領域選択手段に出力するとともに、前記映像領域選択手段は、前記マスク領域情報を高解像度化する領域から除外することを特徴とする請求項１又は請求項２に記載の映像監視装置。
【請求項４】
映像出力手段は、高解像度映像情報取得手段から出力される高解像度映像と前記映像領域入力手段から出力される映像を重畳した画像を映像ファイルとして保存することを特徴とする請求項１から請求項３のいずれか一項に記載の映像監視装置。
【請求項５】
映像領域入力手段は、撮像画像の所定位置を指定すると、当該所定位置を中心とした規定サイズの矩形の始点座標と終点座標を頂点とする矩形領域を算出し、前記矩形領域を高解像度化する高解像度指定領域とする請求項１から請求項４のいずれか一項に記載の映像監視装置。
【請求項１】
旋回可能に設置され、パン、チルト、ズームを制御する制御情報に基づいて撮像する撮像装置の撮像画像より、高解像度化したい高解像度指定領域を指定するとともに、指定された高解像度指定領域を示す領域情報を出力する映像領域入力手段と、
前記制御情報と前記領域情報に基づいて、前記撮像装置の撮像した前記撮像画像より前記高解像度指定領域を選択する映像領域選択手段と、
この映像領域選択手段から出力される複数の連続映像により高解像度映像を取得する高解像度映像取得手段と、
この高解像度映像情報取得手段から出力される高解像度映像と前記映像領域入力手段から出力される映像を重畳して表示装置に表示する映像出力手段とを設けたこととを特徴とする映像監視装置。
【請求項２】
旋回可能に設置され、パン、チルト、ズームを制御する制御情報に基づいて撮像する撮像装置の撮像画像より動体領域を算出するとともに、この動体領域を示す動体領域情報を出力する映像領域入力手段と、
前記制御情報と前記動体領域情報に基づいて、前記撮像装置の撮像した前記撮像画像より、前記動体領域を高解像度化する領域として選択する映像領域選択手段と、
この映像領域選択手段から出力される複数の連続映像により高解像度映像を取得する高解像度映像取得手段と、
この高解像度映像情報取得手段から出力される高解像度映像と前記映像領域入力手段から出力される映像を重畳して表示装置に表示する映像出力手段とを設けたこととを特徴とする映像監視装置。
【請求項３】
映像領域入力手段は、撮像装置の撮像画像より、プライバシー保護のために表示装置に表示しないマスク領域のマスク領域情報を映像領域選択手段に出力するとともに、前記映像領域選択手段は、前記マスク領域情報を高解像度化する領域から除外することを特徴とする請求項１又は請求項２に記載の映像監視装置。
【請求項４】
映像出力手段は、高解像度映像情報取得手段から出力される高解像度映像と前記映像領域入力手段から出力される映像を重畳した画像を映像ファイルとして保存することを特徴とする請求項１から請求項３のいずれか一項に記載の映像監視装置。
【請求項５】
映像領域入力手段は、撮像画像の所定位置を指定すると、当該所定位置を中心とした規定サイズの矩形の始点座標と終点座標を頂点とする矩形領域を算出し、前記矩形領域を高解像度化する高解像度指定領域とする請求項１から請求項４のいずれか一項に記載の映像監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１７５６３１（Ｐ２０１２−１７５６３１Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３８３５９（Ｐ２０１１−３８３５９）
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]