撮像装置、撮像装置の制御方法
【課題】 撮影方向を移動することができる撮像装置において、撮影範囲内の被写体位置の認識を容易に行う為の技術を提供すること。
【解決手段】 撮像方向を変化させながら撮像を行うことで、それぞれの撮像方向における撮像画像を取得し、取得するたびに、該取得した撮像画像から被写体を検出し、取得したそれぞれの撮像画像を連結してパノラマ画像を生成する。そして、該パノラマ画像上における被写体を報知するための情報を、パノラマ画像上に合成して出力する。
【解決手段】 撮像方向を変化させながら撮像を行うことで、それぞれの撮像方向における撮像画像を取得し、取得するたびに、該取得した撮像画像から被写体を検出し、取得したそれぞれの撮像画像を連結してパノラマ画像を生成する。そして、該パノラマ画像上における被写体を報知するための情報を、パノラマ画像上に合成して出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、移動機構を持ち、撮影方向を移動させることが可能な撮像装置に関するものである。
【背景技術】
【０００２】
近年、ネットワークや専用線を介して、遠隔操作によりカメラを制御し、映像を監視するネットワークカメラが知られている。ネットワークカメラは多機能化しており、AF（自動合焦）や電動ズーム可能なレンズを搭載したものや、パン（水平方向回転）、チルト（垂直方向回転）機構を有し、撮影方向を移動できるものもある。
【０００３】
パン・チルト（以下PTと略す）機構を有したネットワークカメラには、プリセット撮影機能が備えられているものが多い。プリセット撮影では、事前に任意の撮影方向を設定しておくことで、その設定された撮影方向に自動で移動を行い撮影することができる。また、監視エリアにおけるプライバシーや機密情報の保護のため、撮影画像の中の任意の箇所を隠すことができるマスキング機能を有したものがある。また、画像解析により監視エリアにおける物の持ち去りや置き去り等の異常をカメラ自身が検出するインテリジェント機能を有していたものもある。
【０００４】
これらの機能を利用する際の設定、例えばプリセット撮影機能でのプリセット位置の設定においては、プリセット位置として登録したい撮影方向の設定を行う。撮影方向を操作する方法としては、パン位置、チルト位置を示したスクロールバーを用いた操作方法や、撮影範囲全域を一つの広域画像として示したパノラマ画像を利用した操作方法等が一般的である。
【０００５】
パノラマ画像を利用した操作方法では、まずPT機構の可動範囲内を順次移動して撮影を行った後、各方向にて撮影した画像を合成し、撮影範囲全域を一つの広域画像として示したパノラマ画像を生成する。そのパノラマ画像の中で撮影箇所を指定し、撮影方向を操作する。例えばパノラマ画像中に撮影画角を示した枠を表示し、この枠を任意の位置、画角に設定することで撮影方向を操作する。
【０００６】
これらの方法における課題として、スクロールバーを用いた方法では、操作にある程度慣れが必要であり、また撮影したい被写体を探しながら操作する必要があるため、撮影したい方向までカメラを導くのに時間を要してしまうことがあった。またパノラマ画像を利用した方法では、撮影位置を指定することで瞬時に撮影方向を移動させることはできるが、パノラマ画像の中でどこに何が映っているのかといった被写体の位置を認識しづらいことがあった。さらには、ユーザが注視の必要性を意識して設定を行った撮影箇所以外にも、ユーザが気付いていない注視が必要な撮影箇所がある場合もあり、注視を要する撮影箇所が抜けてしまう可能性もあった。
【０００７】
パノラマ画像を利用した撮像装置として特許文献１は、生成したパノラマ画像を構成する一つの画像と先に撮像された同一撮影方向の画像との間で差異を順次検出し、検出した結果に基づき生成したパノラマ画像と共に所定情報を表示することを開示している。
【０００８】
また、特許文献２には次のようなことが開示されている。即ちプリセット撮影機能を有した撮像装置において、登録されたプリセット位置にて撮影した画像のサムネイル画像を表示し、サムネイル画像を選択することで、該選択サムネイル画像に対応するプリセット位置へ撮像装置の姿勢を制御する方法を開示している。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−２４４６２６号公報
【特許文献２】特開平１１−２４２５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述の特許文献１に開示された従来技術では、撮影画像の差分により被写体の変化は検出するが、撮影範囲の被写体位置の認識を容易化するものではない。また、複数回パノラマ撮影を行った画像同士の差分検出では、比較する画像の撮影された時間差が大きいため画像の変化も大きくなり、誤検出が生じる可能性が高い。
【００１１】
また、特許文献２に開示された従来技術では、登録したプリセット位置のサムネイル画像表示により、登録したプリセット位置の撮影方向を把握しやすくするもので、プリセット位置登録時の設定を容易化するものではない。
【００１２】
本発明はこのような問題に鑑みてなされたものであり、撮影方向を移動することができる撮像装置において、撮影範囲内の被写体位置の認識を容易に行う為の技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の目的を達成するために、例えば、本発明の撮像装置は、撮像方向を変化させながら撮像を行うことで、それぞれの撮像方向における撮像画像を取得する取得手段と、前記取得手段が撮像画像を取得するたびに、該取得した撮像画像から被写体を検出する検出手段と、前記取得手段が取得したそれぞれの撮像画像を連結してパノラマ画像を生成すると共に、該パノラマ画像上における被写体を報知するための情報を、前記パノラマ画像上に合成して出力する出力手段とを備えることを特徴とする。
【発明の効果】
【００１４】
本発明の構成によれば、撮影方向を移動することができる撮像装置において、撮影範囲内の被写体位置の認識を容易に行うことができる。
【図面の簡単な説明】
【００１５】
【図１】ネットワークカメラシステムの構成例を示す図。
【図２】ネットワークカメラ１００の機構例を示す図。
【図３】パノラマ画像を示す図。
【図４】ネットワークカメラ１００が行う処理のフローチャート。
【図５】ステップＳ１０３における処理の詳細を示すフローチャート。
【図６】ＵＩの一例を示す図。
【図７】サブユーザインターフェース画面を示す図。
【図８】ネットワークカメラ１００が行う処理のフローチャート。
【図９】合成結果を示す図。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１７】
［第１の実施形態］
先ず、本実施形態に係るネットワークカメラシステムの構成例について、図１を用いて説明する。図１に示す如く、本実施形態に係るネットワークカメラシステムは、撮像装置としてのネットワークカメラ１００と、情報処理装置としてのクライアント装置１２０と、を有している。そして、ネットワークカメラ１００とクライアント装置１２０とは、ＬＡＮやインターネットなどのネットワーク１１０に接続されており、互いにデータ通信が可能な状態となっている。もちろん、このネットワーク１１０は有線、無線の何れであってもよい。また、ネットワークカメラ１００とクライアント装置１２０との間は２種類以上のネットワークを介してもよいし、ネットワークカメラ１００とクライアント装置１２０との間に１以上の装置を介してもよい。即ち、ネットワークカメラ１００とクライアント装置１２０とが互いにデータ通信を行うことができるのであれば、ネットワークカメラ１００とクライアント装置１２０との間のネットワーク構成は特定のネットワーク構成に限るものではない。
【００１８】
先ず、ネットワークカメラ１００の構成例について説明する。なお、ネットワークカメラ１００の構成について、図１には以下の説明で使用する主要な構成しか示していない。
【００１９】
撮像部１０１は、レンズ及び撮像素子から構成され、被写体を含む外界の光を電気信号に変換し、変換した電気信号を画像信号として画像処理部１０２に転送する。
【００２０】
画像処理部１０２は、撮像部１０１から順次送出される各フレームの画像信号に対して適当な画像処理を施すことで、ディジタルデータとしての撮像画像を生成する。
【００２１】
システム制御部１０３は、ネットワークカメラ１００を構成する各部の動作制御を行うと共に、ネットワーク１１０を介したクライアント装置１２０とのデータ通信（データの送受信）を制御する。
【００２２】
例えば、システム制御部１０３は、画像処理部１２２から順次送出される各フレームの撮像画像を順次、ネットワーク１１０を介してクライアント装置１２０に対して送信する。
【００２３】
また、システム制御部１０３は、ネットワーク１１０を介してクライアント装置１２０から送信された各種のコマンドを受信すると、該受信したコマンドに応じた処理も実行する。
【００２４】
例えば、クライアント装置１２０からカメラ制御コマンドを受信すると、システム制御部１０３は、ネットワークカメラ１００の撮像条件の設定や、撮像方向におけるパン角及びチルト角の制御を行う。より詳しくは、システム制御部１０３は、カメラ制御コマンドを受信すると、レンズ制御コマンドをレンズ制御部１０５に送出する。これによりレンズ制御部１０５は、レンズ制御コマンドに従ってレンズ駆動部１０４を制御することで、撮像部１０１の画角などを制御する。またシステム制御部１０３は、カメラ制御コマンドを受信すると、ＰＴ動作コマンドをパンチルト制御部１０７に送出する。これによりパンチルト制御部１０７は、ＰＴ動作コマンドに従ってパン駆動部１０６やチルト駆動部１０８を制御することで、撮像部１０１のパン角及びチルト角を制御する。
【００２５】
また例えば、クライアント装置１２０から被写体位置解析コマンドを受信すると、システム制御部１０３は、後述する被写体位置解析処理を実行する。この被写体位置解析処理の詳細については後述する。
【００２６】
レンズ駆動部１０４は、フォーカスレンズ及びズームレンズの駆動系及びその駆動源のモータにより構成され、その動作はレンズ制御部１０５によりレンズ制御コマンドに従って制御される。
【００２７】
パン駆動部１０６は、撮像部１０１のパン角を変更する為のメカ駆動系及び駆動源のモータにより構成され、その動作はパンチルト制御部１０７によりＰＴ動作コマンドに従って制御される。
【００２８】
チルト駆動部１０８は、撮像部１０１のチルト角を変更する為のメカ駆動系及び駆動源のモータにより構成され、その動作はパンチルト制御部１０７によりＰＴ動作コマンドに従って制御される。
【００２９】
記憶装置１０９は、後述する各処理を実行する際に一時的に若しくは恒久的に情報を格納しておくためのものである。例えば、記憶装置１０９には、後述するプリセット撮影機能におけるプリセット位置や被写体位置解析処理におけるパノラマ画像、解析結果、被写体ライブラリ等を記憶する。
【００３０】
次に、クライアント装置１２０の構成例について説明する。
【００３１】
ネットワーク処理部１２１は、ネットワーク１１０を介してネットワークカメラ１００とのデータの送受信を行う。例えば、ネットワークカメラ１００からネットワーク１１０を介して撮像画像等の情報が送信された場合、ネットワーク処理部１２１は、この情報を受信して画像処理部１２２に転送する。また、ネットワーク処理部１２１は、カメラ制御ＵＩ処理部１２４から各種のコマンドを受けると、このコマンドをネットワーク１１０を介してネットワークカメラ１００に送信する。
【００３２】
画像処理部１２２は、ネットワーク処理部１２１から撮像画像を受けると、この撮像画像に対して各種の画像処理を行った後、画像処理済みの撮像画像を表示装置１２３に送出する。これにより表示装置１２３の表示画面上にはこの画像処理済みの撮像画像が表示される。
【００３３】
表示装置１２３は、ＣＲＴや液晶画面などにより構成されており、画像処理部１２２から受けた撮像画像や、後述する様々なＵＩ（ユーザインターフェース）等、様々な情報を表示する。
【００３４】
カメラ制御ＵＩ処理部１２４は、ネットワークカメラ１００の撮影条件の設定やパン角やチルト角等を指示するとともに、後述するプリセット位置の設定や被写体解析処理などのＵＩを表示装置１２３の表示画面上に表示させる。
【００３５】
ユーザは、キーボードやマウスなどにより構成されている入力装置１２５を操作することで、このＵＩを操作することができると共に、各種のコマンドを入力することができる。
【００３６】
このように、クライアント装置１２０は、ネットワークカメラ１００からネットワーク１１０を介して送信された撮像画像を取得することができると共に、ネットワーク１１０を介してネットワークカメラ１００を制御することができる。
【００３７】
次に、パン角及びチルト角が制御可能なネットワークカメラ１００の機構例を図２に示す。図２（Ａ）はネットワークカメラ１００の上面図、図２（Ｂ）はネットワークカメラ１００の側面図である。
【００３８】
パンの回転部はボトムケース２０１とターンテーブル２０２とで構成され、パン回転軸２０６を中心にターンテーブル２０２が水平面内で回転する。カメラヘッド２０４ａ、カメラヘッド２０４ｂは、パン回転した際のカメラヘッド２０４（レンズ２０５付き）の動きを示す。
【００３９】
チルトの回転部はカメラヘッド支柱２０３とカメラヘッド２０４で構成され、チルト回転軸２０７を中心にカメラヘッド２０４が垂直方向に回転する。カメラヘッド２０４ｃ、カメラヘッド２０４ｄは、チルト回転した際のカメラヘッド２０４の動きを示す。
【００４０】
このように、カメラヘッドを水平方向及び垂直方向に回転移動させることで、撮影方向を変えることができ、これにより、広範囲を撮影することができる。
【００４１】
本実施形態におけるネットワークカメラ１００は、事前に任意の撮像方向を設定しておくことで、その設定された撮像方向に自動で移動を行うことができるプリセット撮影機能を有している。そして、プリセット撮影機能におけるプリセット位置を設定する際には、事前に撮影範囲内の被写体位置の認識を容易化するための被写体位置解析処理を行うことができる。
【００４２】
次に、クライアント装置１２０から被写体位置解析コマンドを受信した場合に、ネットワークカメラ１００が行う処理について、同処理のフローチャートを示す図４を用いて説明する。
【００４３】
ステップＳ１０１でシステム制御部１０３は、撮像部１０１の撮像方向のパン角及びチルト角を規定範囲内で変化させながら撮像を行うための最初のパン角及びチルト角に撮像部１０１の姿勢を移動させるべく、パンチルト制御部１０７を制御する。
【００４４】
ステップＳ１０１で行う処理について、図３（Ａ）を用いて説明する。図３（Ａ）において太線Ａで示す枠が、撮像部１０１が（現在設定されている画角で）撮像可能な撮像範囲である。本実施形態では、この撮像部１０１のパン角及びチルト角を変更させながら撮像を行うことで、点線Ｂで示す枠内の撮像範囲を撮像して、この撮像範囲内の撮像画像であるパノラマ画像を生成する。
【００４５】
より詳しくは、パン方向については各撮像位置（パン位置）１〜ｍで撮像が行えるように、パン角を変更する（パン位置ｐで撮像を行った後にパン角を変更してパン位置（ｐ＋１）で撮像を行うことを繰り返す）。チルト方向については各撮像位置（チルト位置）１〜ｎで撮像が行えるように、チルト角を変更する（チルト位置ｑで撮像を行った後にチルト角を変更してチルト位置（ｑ＋１）で撮像を行うことを繰り返す）。このように、ｍ個のパン位置とｎ個のチルト位置の組み合わせ（ｍ×ｎ）個の撮像位置（撮像方向）で撮像を行うことで、点線Ｂで示す枠内の撮像範囲の撮像（パノラマ画像の撮像）を実現することができる。
【００４６】
本実施形態では、点線Ｂで示す枠内の撮像範囲を撮像するために、次のようにして撮像部１０１のパン角及びチルト角を制御する。パン位置をＰ、チルト位置をＴ、撮像位置を（Ｐ，Ｔ）とすると、先ず（１，１）の撮像位置（開始位置）で撮像を行い、その後、パン角を変更しながら、（２，１）、（３，１）、…、（ｍ、１）の各撮像位置で撮像を行う。そしてその後、撮像位置（ｍ、２）で撮像を行うべくチルト角を変更する。そして、撮像位置（ｍ、２）で撮像を行った後、パン角を変更しながら、（ｍ−１，２）、（ｍ−２，２）、…、（１、２）の各撮像位置で撮像を行う。そしてその後、撮像位置（１、３）で撮像を行うべくチルト角を変更する。そしてその後、（２，３）、（３，３）、…、（ｍ、３）（ｍ、４）、（ｍ−１，４）、（ｍ−２，４）、…、（１、４）のようにジグザグに移動していき、チルト位置１〜ｎにおいて、パン位置１〜ｍにおける撮像を行う。
【００４７】
然るにステップＳ１０１では、システム制御部１０３は、撮像部１０１のパン角及びチルト角を、上記開始位置への撮像方向のパン角及びチルト角に変更すべく、パンチルト制御部１０７を制御する。これによりパンチルト制御部１０７は、撮像部１０１のパン角及びチルト角が、上記開始位置への撮像方向のパン角及びチルト角となるように、パン駆動部１０６及びチルト駆動部１０８を制御する。
【００４８】
次に、ステップＳ１０２では、システム制御部１０３は、現在のパン角及びチルト角で撮像部１０１が撮像した撮像画像を画像処理部１０２から取得し、該取得した撮像画像中に映っている被写体の種別を識別する。
【００４９】
例えば、先ず、撮像画像から被写体の特徴量を抽出する。この特徴量は、例えば、撮像画像中のエッジである。撮像画像中の不連続となっている部分、例えば隣り合う画素の輝度値が大きく変化する部分をエッジとして抽出し、このエッジを境界線として撮像画像中の連続領域を抽出する。
【００５０】
そして、「ドア」、「窓」、「人」等のそれぞれ異なる種別の被写体の特徴量を保持するデータベース（被写体ライブラリ）を参照し、データベースに登録されているそれぞれの被写体の特徴量と、撮像画像から抽出した特徴量とのパターンマッチングを行う。パターンマッチングでは、データベースに登録されているそれぞれの被写体の特徴量と、撮像画像から抽出した特徴量との相関を評価する。そして、撮像画像から抽出した特徴量との相関評価値が最も高い特徴量の被写体の種別を、撮像画像中の被写体の種別として特定する。もちろん、撮像画像中の被写体の種別の識別方法はこれに限るものではなく、他の技術を用いてもよい。
【００５１】
このとき、ユーザがデータベース中の各種被写体の中から検出を必要とする被写体を選択し、選択された被写体のみ検出処理を行うようにしてもよい。これにより、必要のない処理を省くことができ、処理時間を短縮することができる。
【００５２】
ステップＳ１０３では、システム制御部１０３は、現在のパン角及びチルト角で撮像部１０１が撮像した撮像画像を画像処理部１０２から取得し、該取得した撮像画像中に映っている動体としての被写体の種別を識別する。ステップＳ１０３における処理の詳細を、図５を用いて説明する。
【００５３】
ステップＳ３０１では、システム制御部１０３は、画像処理部１０２を介して順次送出される複数枚の撮像画像の差分（フレーム間差分）を求め、求めたフレーム間差分から、動体としての被写体が映っているであろう部分（差分部）を検出する。ステップＳ３０２では、システム制御部１０３は、上記差分部の特徴量を抽出する。
【００５４】
ステップＳ３０３では、システム制御部１０３は、ステップＳ３０２で抽出した特徴量を用いて上記パターンマッチングにより、ステップＳ３０１で検出した差分部における被写体の種別を特定する。
【００５５】
ステップＳ３０４では、システム制御部１０３は、ステップＳ１０２の処理を開始してから所定時間が経過したか否かを判断する。この判断の結果、経過している場合は、処理はステップＳ１０４に進み、経過していない場合は、処理はステップＳ３０１に戻る。この所定時間は、被写体を検出するために、撮像画像を監視して検出処理を継続する時間であり、ユーザにより設定できるようにしてもかまわない。
【００５６】
ステップＳ１０４では、システム制御部１０３は、最終撮像位置での撮像が完了したか否か（図３（Ａ）の例では、点線Ｂの枠内の各撮像位置について撮像が完了したか否か）を判断する。この判断の結果、完了した場合は処理はステップＳ１０６に進み、完了していない場合は、処理はステップＳ１０５に進む。
【００５７】
ステップＳ１０５では、システム制御部１０３は、撮像部１０１のパン角及びチルト角を、次の撮像位置への撮像方向のパン角及びチルト角に変更すべく、パンチルト制御部１０７を制御する。これによりパンチルト制御部１０７は、撮像部１０１のパン角及びチルト角が、次の撮像位置への撮像方向のパン角及びチルト角となるように、パン駆動部１０６及びチルト駆動部１０８を制御する。
【００５８】
一方、処理がステップＳ１０６に進んだ時点で、点線Ｂの枠内の各撮像位置における撮像は完了しているので、ステップＳ１０６でシステム制御部１０３は、各撮像位置で撮像した撮像画像を連結することで、点線Ｂの枠内の画像、即ちパノラマ画像を生成する。
【００５９】
ステップＳ１０７でシステム制御部１０３は、パノラマ画像上における被写体について、該被写体を囲む枠と、ステップＳ１０２及びステップＳ１０３で識別した該被写体の種別を示す情報と、をパノラマ画像上に合成して、クライアント装置１２０に送信する。
【００６０】
ステップＳ１０７における処理について、図３（Ｂ）を用いて説明する。上記の通り、パノラマ画像は各撮像位置で撮像した撮像画像を連結して成るものであるため、パノラマ画像上のいくつかの撮像画像には被写体が登場している。そしてこの被写体の種別は、ステップＳ１０２及びステップＳ１０３の処理で特定されている。図３（Ｂ）の場合、撮像位置（１，２）で撮像した撮像画像には被写体として「ドア」が映っており、撮像位置（２，２）で撮像した撮像画像には被写体として「人」が映っている。然るにこの場合、「ドア」である被写体を囲む枠を、撮像位置（２，１）で撮像した撮像画像上に合成すると共に、この枠の周辺位置に、この被写体の種別を示す情報として「ドア」の文字を合成する。また、「人」である被写体を囲む枠を、撮像位置（２，２）で撮像した撮像画像上に合成すると共に、この枠の周辺位置に、この被写体の種別を示す情報として「人」の文字を合成する。
【００６１】
なお、撮像画像中における被写体の領域は、周知の如く、撮像画像中における被写体の種類の識別処理の過程で特定済みであるため、この領域を包含する枠をパノラマ画像上に合成すればよい。
【００６２】
もちろん、被写体の種別を表現する方法はこれに限るものではなく、枠の色や形等の表示形態でもって被写体の種別を表してもよいし、文字の代わりにアイコンなどを表示してもよい。
【００６３】
このように、パノラマ画像上のどの位置にどのような被写体が位置しているのかを明示的に表示することで、次のような効果を奏することができる。即ち、ユーザがネットワークカメラ１００のプリセット位置を設定する際に、監視対象の候補となる撮影範囲内における被写体の種別や位置、あるいは「人」の流れが多い箇所等を容易に認識することができ、ユーザの利便性を向上させることができる。
【００６４】
なお、パノラマ画像上における被写体の数が規定数以上であるがために、パノラマ画像上に被写体の種別を示す情報が数多く表示されてしまい、パノラマ画像上の情報が見づらくなってしまうなどの問題が生じうる。このような場合、例えば、被写体のサイズの大きいものから順に優先度を高くする、あるいはユーザが被写体の優先度を指定することで、上位Ｘ番目までの優先度の被写体について、枠及び種別を示す情報を合成するようにしてもよい。このように、何らかの基準を用いて、枠及び種別を示す情報を合成する対象となる被写体を選択することで、その数を制限するようもしてもよい。
【００６５】
また、被写体位置解析処理にて全ての撮影方向での解析処理を行うのに、一定の時間を要する。そのため、被写体位置解析処理中に他のクライアント装置からの操作要求があった場合には、この被写体位置解析処理を変更してもかまわない。例えば、被写体位置解析処理を中断する、あるいは被写体位置解析処理を一部省略する。また、クライアント装置に対して優先度を設定し、クライアント装置の優先度に応じて対応を決定する等、被写体位置解析処理中に他のクライアント装置からの操作要求への対応のため処理を変更してもかまわない。
【００６６】
次に、クライアント装置１２０側のカメラ制御ＵＩ処理部１２４が表示装置１２３の表示画面上に表示するＵＩについて、その一例を示す図６を用いて説明する。図６に示したＵＩは、クライアント装置１２０側でプリセット位置を設定するためのＵＩである。
【００６７】
ユーザが入力装置１２５を操作して、プリセット位置の設定指示を入力すると、カメラ制御ＵＩ処理部１２４は、図６に例示するようなＵＩを表示装置１２３の表示画面上に表示させる。なお、以下の説明において、ＵＩの表示制御は何れも、カメラ制御ＵＩ処理部１２４が行うものとする。
【００６８】
領域３０１内には、ネットワーク処理部１２１がネットワーク１１０を介してネットワークカメラ１００から受信した撮像画像が表示される。
【００６９】
パンスクロールバー３０２は撮像部１０１のパン可動範囲を示しており、パンスクロールノブ３０３はパン可動範囲における現在の撮像部１０１のパン位置を示している。ユーザは入力装置１２５を操作してこのパンスクロールノブ３０３をパンスクロールバー３０２の範囲内で左右に操作することで、撮像部１０１のパン角を操作することができる。カメラ制御ＵＩ処理部１２４は、パンスクロールノブ３０３が操作されたことを検知すると、パンスクロールノブ３０３の現在位置に対応するパン角に移動させるためのコマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをカメラ制御コマンドに含めてからネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。
【００７０】
チルトスクロールバー３０４は撮像部１０１のチルト可動範囲を示しており、チルトスクロールノブ３０５はチルト可動範囲における現在の撮像部１０１のチルト位置を示している。ユーザは入力装置１２５を操作してこのチルトスクロールノブ３０５をチルトスクロールバー３０４の範囲内で上下に操作することで、撮像部１０１のチルト角を操作することができる。カメラ制御ＵＩ処理部１２４は、チルトスクロールノブ３０５が操作されたことを検知すると、チルトスクロールノブ３０５の現在位置に対応するチルト角に移動させるためのコマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをカメラ制御コマンドに含めてからネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。
【００７１】
これにより、このカメラ制御コマンドを受信したシステム制御部１０３は、このカメラ制御コマンドに含まれているパン角変更用コマンドやチルト角変更用コマンドに応じたＰＴ動作コマンドをパンチルト制御部１０７に送出することができる。
【００７２】
ズームスクロールバー３０６は撮像部１０１のズーム範囲を示しており、ズームスクロールノブ３０７はズーム範囲における現在の撮像部１０１の画角を示している。ユーザは入力装置１２５を操作してこのズームスクロールノブ３０７をズームスクロールバー３０６の範囲内で上下に操作することで、撮像部１０１の画角を操作することができる。カメラ制御ＵＩ処理部１２４は、ズームスクロールノブ３０７が操作されたことを検知すると、ズームスクロールノブ３０７の現在位置に対応する画角に変更させるためのコマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをカメラ制御コマンドに含めてからネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。
【００７３】
これにより、このカメラ制御コマンドを受信したシステム制御部１０３は、このカメラ制御コマンドに含まれている画角変更用コマンドに応じたレンズ制御コマンドをレンズ制御部１０５に送出することができる。
【００７４】
このように、クライアント装置１２０のユーザは、領域３０１内に映っている映像を確認しながら、撮像部１０１の撮像方向や画角を指示することができる。そして、ユーザがこのような操作により、プリセット位置として登録したい撮影アングルを指示した後、入力装置１２５を操作してプリセット位置登録ボタン３０８ａを指示したとする。このときカメラ制御ＵＩ処理部１２４は、現在ＵＩにて設定されているパン角、チルト角、画角をプリセット位置としてクライアント装置１２０内の不図示のメモリに登録する。そしてカメラ制御ＵＩ処理部１２４は、このプリセット位置からプリセット位置登録コマンドを生成し、ネットワーク処理部１２１はこのプリセット位置登録コマンドをネットワーク信号に変換してから、ネットワークカメラ１００に送信する。
【００７５】
ユーザが入力装置１２５を操作して、被写体位置解析ボタン３１１を指示すると、カメラ制御ＵＩ処理部１２４は、被写体位置解析コマンドをネットワーク処理部１２１を介してネットワークカメラ１００に送信する。これによりネットワークカメラ１００は、図４のフローチャートに従った処理を実行するので、ネットワークカメラ１００からは、図４のフローチャートに従って生成されたパノラマ画像が送信される。然るに、ネットワーク処理部１２１はこのパノラマ画像を受信すると、これを画像処理部１２２に送出するので、表示装置１２３の表示画面（領域３０９）上には、画像処理部１２２による画像処理が施されたパノラマ画像が表示されることになる。
【００７６】
領域３０９内に表示されている撮影範囲枠３１０は、現在の撮像部１０１のパン角、チルト角、画角を表している。より詳しくは、領域３０９内における撮影範囲枠３１０の位置は、現在の撮像部１０１のパノラマ画像における撮像位置（パン位置、チルト位置）を表しており、撮影範囲枠３１０の縦横サイズが、現在の撮像部１０１の画角を表している。そしてこの領域３０９に占める撮影範囲枠３１０内の領域の撮像結果が領域３０１内に表示されている。
【００７７】
この撮影範囲枠３１０の領域３０９内における位置は、ユーザが入力装置１２５を操作して移動させることができる。カメラ制御ＵＩ処理部１２４は、撮影範囲枠３１０の移動を検知すると、撮像部１０１のパン角及びチルト角を、領域３０９内における撮影範囲枠３１０の位置を撮像するためのパン角及びチルト角に変更するためのコマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをカメラ制御コマンドに含めてからネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。
【００７８】
また、この撮影範囲枠３１０の領域３０９内におけるサイズは、ユーザが入力装置１２５を操作して変更することができる。カメラ制御ＵＩ処理部１２４は、撮影範囲枠３１０のサイズの変更を検知すると、撮像部１０１の画角を、領域３０９内における撮影範囲枠３１０のサイズに応じた画角に変更するためのコマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをカメラ制御コマンドに含めてからネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。
【００７９】
このように、クライアント装置１２０のユーザは、領域３０９の撮影範囲枠３１０の位置やサイズを変更することで、撮像部１０１の撮像方向や画角を指示することができる。そして、ユーザがこのような操作により、プリセット位置として登録したい撮影アングルを指示した後、入力装置１２５を操作してプリセット位置登録ボタン３０８ｂを指示したとする。このときカメラ制御ＵＩ処理部１２４は、現在ＵＩにて設定されているパン角、チルト角、画角をプリセット位置としてクライアント装置１２０内の不図示のメモリに登録する。そしてカメラ制御ＵＩ処理部１２４は、このプリセット位置からプリセット位置登録コマンドを生成し、ネットワーク処理部１２１はこのプリセット位置登録コマンドをネットワーク信号に変換してから、ネットワークカメラ１００に送信する。
【００８０】
また、ユーザが入力装置１２５を操作して被写体種類選択設定ボタン３１２を指示すると、カメラ制御ＵＩ処理部１２４は、図７（Ａ）に例示する検出被写体選択の設定を行う為のサブユーザインタフェース画面を表示装置１２３の表示画面上に表示する。図７（Ａ）のサブユーザインタフェース画面では、データベース（被写体ライブラリ）に登録されている被写体の名称３２３が一覧表示されており、それぞれの名称の左隣にはチェックボックス３２１が表示されている。ユーザが入力装置１２５を操作して、検出を必要とする被写体の名称の左隣にあるチェックボックスを指示すると、そのチェックボックスにはチェックマーク３２２が付される。図７（Ａ）では、「ドア」、「人」、「窓」のそれぞれに対するチェックボックスにチェックマークが付されているため、検出を必要とする被写体として、「ドア」、「人」、「窓」のそれぞれの被写体が選択されていることになる。検出を必要とする被写体の選択を完了する場合は、ユーザは入力装置１２５を操作して完了ボタン３２４を指示する。この完了ボタン３２４が指示されると、カメラ制御ＵＩ処理部１２４は、このサブユーザインターフェース画面にて設定された内容（検出を必要とする被写体を示す情報）から設定変更コマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。これによりネットワークカメラ１００は、このコマンドによる設定に基づいて被写体位置解析処理を行うことができる。
【００８１】
また、ユーザが入力装置１２５を操作して被写体優先度設定ボタン３１３を指示すると、カメラ制御ＵＩ処理部１２４は、図７（Ｂ）に例示する検出被写体優先度の設定を行う為のサブユーザインタフェース画面を表示装置１２３の表示画面上に表示する。図７（Ｂ）のサブユーザインタフェース画面における領域３２５内には、図７（Ａ）のサブユーザインターフェース画面にて選択した被写体の名称３２３が上から優先度が高い順に一覧表示されている。即ち、より上部に表示されているものほど優先度が高く、より下部に表示されているものほど優先度が低い。ユーザは入力装置１２５を操作して、表示されている名称のうち任意のものを上下に移動させることで、この名称の被写体の優先度を変更することができる。図７（Ｂ）では、「人」、「ドア」、「窓」の順に優先度が高く設定されている。被写体の優先度の設定を完了する場合は、ユーザは入力装置１２５を操作して完了ボタン３２４を指示する。この完了ボタン３２４が指示されると、カメラ制御ＵＩ処理部１２４は、このサブユーザインターフェース画面にて設定された内容（検出を必要とする被写体のそれぞれの優先度を示す情報）から設定変更コマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。これによりネットワークカメラ１００は、このコマンドによる設定に基づいて被写体位置解析処理を行うことができる。
【００８２】
また、ユーザが入力装置１２５を操作して被写体検出時間ボタン３１４を指示すると、カメラ制御ＵＩ処理部１２４は、被写体を検出するために要する時間を設定するためのサブユーザインタフェース画面を表示装置１２３の表示画面上に表示する。然るにユーザが入力装置１２５を操作してこのサブユーザインターフェース画面にて時間を入力し、その後、設定を完了する旨の指示を入力装置１２５を操作して入力すると、カメラ制御ＵＩ処理部１２４は、設定した時間から設定変更コマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。これによりネットワークカメラ１００は、このコマンドによる設定に基づいて被写体位置解析処理を行うことができる。
【００８３】
また、ユーザが入力装置１２５を操作して表示数制限ボタン３１５を指示すると、カメラ制御ＵＩ処理部１２４は、枠及び種別を示す情報を合成する対象となる被写体の数を設定する為のサブユーザインタフェース画面を表示装置１２３の表示画面上に表示する。然るにユーザが入力装置１２５を操作してこのサブユーザインターフェース画面にて数を入力し、その後、設定を完了する旨の指示を入力装置１２５を操作して入力すると、カメラ制御ＵＩ処理部１２４は、設定した数から設定変更コマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。これによりネットワークカメラ１００は、このコマンドによる設定に基づいて被写体位置解析処理を行うことができる。
【００８４】
以上の説明のとおり、本実施形態では、ＰＴ機構の可動範囲内を移動しながら順次撮影し、それぞれの撮影位置にて撮影した画像に対して画像解析を行い、「ドア」、「窓」、「絵画」、「人」等の被写体を検出する。全方向での撮影及び検出処理が終了した後、各方向の撮影画像を合成し撮影範囲全域を一つの広角画像に示したパノラマ画像を生成し、パノラマ画像とともに、被写体の位置を示す枠や被写体の種類などの被写体情報を出力する。これにより、プリセット位置を設定する際にも、撮影範囲内の被写体位置を容易に把握することができ、ユーザの利便性を向上させることができる。
【００８５】
なお、上記の説明では、プリセット撮影機能におけるプリセット位置の設定において利用する方法について説明しているが、これに限定されない。例えば、マスキング機能におけるマスク位置設定や、インテリジェント機能における検出エリア設定にて利用する場合においても、あるいは通常のPT機構の操作を行う場合にも上記の方法を利用することで同様の効果が得られる。
【００８６】
また、上記の説明では、検出する被写体として、「ドア」、「窓」、「絵画」、「人」の例を挙げて説明しているが、これに限定されない。これら以外の被写体を検出する方法でもかまわない。
【００８７】
また、上記の説明では、動体としての被写体を検出する方法では、複数フレーム画像間の差分を検出する方法を用いて説明しているが、これに限定されない。例えば、所定のフレーム数の画像より生成した基準となる背景画像との差分を検出する背景差分を利用する方法を利用してもかまわない。
【００８８】
また、上記の説明では、解析結果の出力において、被写体位置枠や被写体種類を示す情報を出力する方法について説明しているが、これに限定されない。それら以外の被写体に関する情報を出力する方法でもかまわない。
【００８９】
また、上記の説明では、解析結果の出力において、表示装置に表示する方法について説明しているが、これに限定されない。例えば、解析結果を記録装置に記録する方法でもかまわない。
【００９０】
また、上記の説明では、PT可動範囲全域について被写体位置を解析する方法について説明しているが、これに限定されない。例えば、PT可動範囲のある範囲内に限定して被写体位置解析を行ってもかまわない。
【００９１】
また、上記の説明からも分かるように、本実施形態に係る撮像装置は、次の構成の一例過ぎない。即ち、撮像方向を変化させながら撮像を行うことで、それぞれの撮像方向における撮像画像を取得し、撮像画像を取得するたびに、該取得した撮像画像から被写体を検出する。そして、取得したそれぞれの撮像画像を連結してパノラマ画像を生成すると共に、該パノラマ画像上における被写体を報知するための情報を、パノラマ画像上に合成して出力する、という構成である。然るにこの構成と同等の効果を奏する構成であれば、ネットワークカメラ１００の構成は図１の構成に限るものではない。また、本実施形態では、この「被写体を報知するための情報」として、枠と種別を示す情報の両方を用いているが、一方だけでもよいし、上記の通り、他の情報を用いてもよい。
【００９２】
［第２の実施形態］
以下では、本実施形態において、第１の実施形態と異なる点について説明する。本実施形態に係わるネットワークカメラは、第１の実施形態の構成と同様に、パン動作、チルト動作が可能なＰＴ機構を持つ。また、LAN等のネットワークに接続されたクライアント装置から送信されたカメラ制御コマンドに応じて所定のカメラ制御及びPT動作を行う。
【００９３】
第１の実施形態で示した被写体検出処理では、検出時間を一定の時間としていた。その場合、人のような動く被写体が検出された場合も、停止している被写体が検出された場合も一定の時間検出処理を行う。何も検出物がない場合や停止している被写体が検出された場合、その後を注目する必要性は少ない。しかし、人が検出された場合には、その検出された人がその後どのように移動するかを注目することは重要である。検出時間が一定であり、その検出時間を長く設定した場合、検出する必要がない場合も一定の時間を要し、不要な検出時間が増える場面もある。しかし、反対に検出時間を短く設定すると、上記のように人のような動的被写体の動向を確認するための検出時間が足りなくなってしまう。
【００９４】
そこで本実施形態では、検出された被写体に応じて適切な検出時間を設定することにより、各種被写体に応じた適切な検出処理を行う。これにより、効率良く被写体位置解析処理を進めることができる。
【００９５】
本実施形態では、上記ステップＳ１０３では、以下に説明する処理を実行する。先ず、図５のステップＳ３０１〜Ｓ３０３の処理を実行する。そして次に、システム制御部１０３は、被写体検出の結果から検出時間を設定する。例えば、検出時間の初期値を３秒と設定し、検出処理開始後３秒間は検出処理を実行する。その時間内で動的被写体が検出されなければ検出処理を終える。動的被写体が検出された場合には、検出時間を１０秒間追加して設定する。追加した検出時間の間、検出処理を継続し、検出された動的被写体がどのように行動するかを確認する。
【００９６】
このとき、動的被写体の種類に応じてその時間を設定してもよい。例えば、人の動作は注目する必要があるが、動物の動作は特に注目しなくてよい場合、動的被写体の種類判別処理の結果により、「人」と判別された場合は検出時間を追加するが、「動物」と判別された場合には検出時間を追加しないとしてもよい。
【００９７】
また、追加した検出時間の中で検出された動的被写体が検出されなくなれば、つまり検出された動的被写体が撮影画面から外れた場合には、再度検出時間を短く設定し直し、追加した検出時間の経過を待たずに検出処理を終えてもよい。
【００９８】
また、これらの検出被写体の条件と検出時間の設定をユーザが設定できるようにしてもかまわない。例えば、動的被写体の流動を検出するには一定の時間を要するので、その検出を必要としないユーザに対しては、その検出処理を省略してもよい。
【００９９】
以上の説明のとおり、本実施形態では、検出された被写体に応じて適切な検出時間を設定することにより、被写体に応じた適切な検出処理を行う。これにより、効率よく被写体位置解析処理を進めることができ、ユーザの利便性をさらに向上させることができる。
【０１００】
［第３の実施形態］
以下では、本実施形態において、第１の実施形態と異なる点について説明する。本実施形態に係わるネットワークカメラは、第１の実施形態の構成と同様に、パン動作、チルト動作が可能なＰＴ機構を持つ。また、LAN等のネットワークに接続されたクライアント装置から送信されたカメラ制御コマンドに応じて所定のカメラ制御及びPT動作を行う。さらに本実施形態のネットワークカメラはプリセット撮影機能を有している。
【０１０１】
第１の実施形態で示したように、被写体位置解析処理により出力された被写体位置情報をユーザが利用してプリセット位置の設定を行った後、再度被写体位置解析処理を行った場合に、その解析結果に前回利用した情報が反映されている方が分かりやすい。例えば、１回目の解析処理時に撮影画像に存在しなかった被写体が２回目の解析処理で新たに出現していることを知ることができれば、再度プリセット位置を設定する際にその差異部分を中心に注目すればよい。また、解析処理で検出したいくつかの被写体の中で、プリセット位置として登録された被写体と登録されなかった被写体が区別できれば、登録が漏れていた被写体を把握することができる。
【０１０２】
本実施形態では、複数回解析処理を行った際の過去の解析結果、及びプリセット位置登録情報を、新しい解析処理の結果に反映させる。これにより、ユーザの利便性をさらに向上することができる。
【０１０３】
クライアント装置１２０から被写体位置解析コマンドを受信した場合に、ネットワークカメラ１００が行う処理について、同処理のフローチャートを示す図８を用いて説明する。なお、図８において、図４と同じ処理ステップには同じ参照番号を付しており、その説明は省略する。
【０１０４】
ステップＳ５０７では、システム制御部１０３は、ステップＳ１０２及びステップＳ１０３における処理結果、即ち、どの撮像画像からどの種別の被写体を検出したのかを示す情報（被写体情報）を記憶装置１０９に格納する。そしてシステム制御部１０３は、この格納した被写体情報と、過去に記憶装置１０９に格納した被写体情報と、プリセット位置登録コマンドに含まれているプリセット位置で撮像した撮像画像から識別された被写体を示す情報とから解析結果の出力情報を作成する。
【０１０５】
より詳しくは、先ず、今回格納した被写体情報と、過去に記憶装置１０９に格納した被写体情報との比較を行い、その差分を求める。この差分は、過去にすでに識別した被写体、今回新たに識別した被写体、が含まれる。
【０１０６】
次に、今回の格納した被写体情報のうち、クライアント装置１２０から送信されたプリセット位置登録コマンドに含まれているプリセット位置で撮像した撮像画像から今回識別された被写体を示す情報を抽出する。
【０１０７】
そしてステップＳ５０８では、システム制御部１０３は、パノラマ画像上に解析結果の出力情報に従った表示を合成して、クライアント装置１２０に送信する。この合成結果を図９に示す。図９では、過去にすでに識別した被写体には点線枠を付し、今回新たに識別した被写体には実践枠を付し、今回検出されている被写体の中でプリセット位置での撮像画像から識別された被写体には二重実線枠を付している。このように、検出された被写体をそれぞれの状態を反映して表示枠を区別する。これら被写体を区別する方法としては、線の色を変える、ある条件の被写体は枠を表示しない等により区別してもかまわない。
【０１０８】
以上の説明の通り、本実施形態では、過去の被写体解析処理にて検出した被写体情報、及びプリセット位置登録情報を反映して、解析結果の出力情報を作成し、パノラマ画像とともにその解析結果を出力する。即ち、新たに検出した被写体を報知するための情報と、該被写体以外の被写体を報知するための情報と、を識別可能に、パノラマ画像上に合成して出力する。これにより、ユーザは前回の解析結果及び現在のプリセット位置の登録状況を一目で認識することができ、ユーザの利便性をさらに向上させることができる。
【０１０９】
尚、上記の説明では、プリセット撮影機能におけるプリセット位置の設定において利用する方法について説明しているが、これに限定されない。例えば、マスキング機能におけるマスク位置設定や、インテリジェント機能における検出エリア設定にて利用する場合においても上記の方法を利用することで同様の効果が得られる。
【０１１０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、上記の各実施形態は適宜組み合わせて用いてもよいし、その組み合わせの際に、適宜構成を追加、削除してもかまわない。
【０１１１】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、移動機構を持ち、撮影方向を移動させることが可能な撮像装置に関するものである。
【背景技術】
【０００２】
近年、ネットワークや専用線を介して、遠隔操作によりカメラを制御し、映像を監視するネットワークカメラが知られている。ネットワークカメラは多機能化しており、AF（自動合焦）や電動ズーム可能なレンズを搭載したものや、パン（水平方向回転）、チルト（垂直方向回転）機構を有し、撮影方向を移動できるものもある。
【０００３】
パン・チルト（以下PTと略す）機構を有したネットワークカメラには、プリセット撮影機能が備えられているものが多い。プリセット撮影では、事前に任意の撮影方向を設定しておくことで、その設定された撮影方向に自動で移動を行い撮影することができる。また、監視エリアにおけるプライバシーや機密情報の保護のため、撮影画像の中の任意の箇所を隠すことができるマスキング機能を有したものがある。また、画像解析により監視エリアにおける物の持ち去りや置き去り等の異常をカメラ自身が検出するインテリジェント機能を有していたものもある。
【０００４】
これらの機能を利用する際の設定、例えばプリセット撮影機能でのプリセット位置の設定においては、プリセット位置として登録したい撮影方向の設定を行う。撮影方向を操作する方法としては、パン位置、チルト位置を示したスクロールバーを用いた操作方法や、撮影範囲全域を一つの広域画像として示したパノラマ画像を利用した操作方法等が一般的である。
【０００５】
パノラマ画像を利用した操作方法では、まずPT機構の可動範囲内を順次移動して撮影を行った後、各方向にて撮影した画像を合成し、撮影範囲全域を一つの広域画像として示したパノラマ画像を生成する。そのパノラマ画像の中で撮影箇所を指定し、撮影方向を操作する。例えばパノラマ画像中に撮影画角を示した枠を表示し、この枠を任意の位置、画角に設定することで撮影方向を操作する。
【０００６】
これらの方法における課題として、スクロールバーを用いた方法では、操作にある程度慣れが必要であり、また撮影したい被写体を探しながら操作する必要があるため、撮影したい方向までカメラを導くのに時間を要してしまうことがあった。またパノラマ画像を利用した方法では、撮影位置を指定することで瞬時に撮影方向を移動させることはできるが、パノラマ画像の中でどこに何が映っているのかといった被写体の位置を認識しづらいことがあった。さらには、ユーザが注視の必要性を意識して設定を行った撮影箇所以外にも、ユーザが気付いていない注視が必要な撮影箇所がある場合もあり、注視を要する撮影箇所が抜けてしまう可能性もあった。
【０００７】
パノラマ画像を利用した撮像装置として特許文献１は、生成したパノラマ画像を構成する一つの画像と先に撮像された同一撮影方向の画像との間で差異を順次検出し、検出した結果に基づき生成したパノラマ画像と共に所定情報を表示することを開示している。
【０００８】
また、特許文献２には次のようなことが開示されている。即ちプリセット撮影機能を有した撮像装置において、登録されたプリセット位置にて撮影した画像のサムネイル画像を表示し、サムネイル画像を選択することで、該選択サムネイル画像に対応するプリセット位置へ撮像装置の姿勢を制御する方法を開示している。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−２４４６２６号公報
【特許文献２】特開平１１−２４２５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述の特許文献１に開示された従来技術では、撮影画像の差分により被写体の変化は検出するが、撮影範囲の被写体位置の認識を容易化するものではない。また、複数回パノラマ撮影を行った画像同士の差分検出では、比較する画像の撮影された時間差が大きいため画像の変化も大きくなり、誤検出が生じる可能性が高い。
【００１１】
また、特許文献２に開示された従来技術では、登録したプリセット位置のサムネイル画像表示により、登録したプリセット位置の撮影方向を把握しやすくするもので、プリセット位置登録時の設定を容易化するものではない。
【００１２】
本発明はこのような問題に鑑みてなされたものであり、撮影方向を移動することができる撮像装置において、撮影範囲内の被写体位置の認識を容易に行う為の技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の目的を達成するために、例えば、本発明の撮像装置は、撮像方向を変化させながら撮像を行うことで、それぞれの撮像方向における撮像画像を取得する取得手段と、前記取得手段が撮像画像を取得するたびに、該取得した撮像画像から被写体を検出する検出手段と、前記取得手段が取得したそれぞれの撮像画像を連結してパノラマ画像を生成すると共に、該パノラマ画像上における被写体を報知するための情報を、前記パノラマ画像上に合成して出力する出力手段とを備えることを特徴とする。
【発明の効果】
【００１４】
本発明の構成によれば、撮影方向を移動することができる撮像装置において、撮影範囲内の被写体位置の認識を容易に行うことができる。
【図面の簡単な説明】
【００１５】
【図１】ネットワークカメラシステムの構成例を示す図。
【図２】ネットワークカメラ１００の機構例を示す図。
【図３】パノラマ画像を示す図。
【図４】ネットワークカメラ１００が行う処理のフローチャート。
【図５】ステップＳ１０３における処理の詳細を示すフローチャート。
【図６】ＵＩの一例を示す図。
【図７】サブユーザインターフェース画面を示す図。
【図８】ネットワークカメラ１００が行う処理のフローチャート。
【図９】合成結果を示す図。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１７】
［第１の実施形態］
先ず、本実施形態に係るネットワークカメラシステムの構成例について、図１を用いて説明する。図１に示す如く、本実施形態に係るネットワークカメラシステムは、撮像装置としてのネットワークカメラ１００と、情報処理装置としてのクライアント装置１２０と、を有している。そして、ネットワークカメラ１００とクライアント装置１２０とは、ＬＡＮやインターネットなどのネットワーク１１０に接続されており、互いにデータ通信が可能な状態となっている。もちろん、このネットワーク１１０は有線、無線の何れであってもよい。また、ネットワークカメラ１００とクライアント装置１２０との間は２種類以上のネットワークを介してもよいし、ネットワークカメラ１００とクライアント装置１２０との間に１以上の装置を介してもよい。即ち、ネットワークカメラ１００とクライアント装置１２０とが互いにデータ通信を行うことができるのであれば、ネットワークカメラ１００とクライアント装置１２０との間のネットワーク構成は特定のネットワーク構成に限るものではない。
【００１８】
先ず、ネットワークカメラ１００の構成例について説明する。なお、ネットワークカメラ１００の構成について、図１には以下の説明で使用する主要な構成しか示していない。
【００１９】
撮像部１０１は、レンズ及び撮像素子から構成され、被写体を含む外界の光を電気信号に変換し、変換した電気信号を画像信号として画像処理部１０２に転送する。
【００２０】
画像処理部１０２は、撮像部１０１から順次送出される各フレームの画像信号に対して適当な画像処理を施すことで、ディジタルデータとしての撮像画像を生成する。
【００２１】
システム制御部１０３は、ネットワークカメラ１００を構成する各部の動作制御を行うと共に、ネットワーク１１０を介したクライアント装置１２０とのデータ通信（データの送受信）を制御する。
【００２２】
例えば、システム制御部１０３は、画像処理部１２２から順次送出される各フレームの撮像画像を順次、ネットワーク１１０を介してクライアント装置１２０に対して送信する。
【００２３】
また、システム制御部１０３は、ネットワーク１１０を介してクライアント装置１２０から送信された各種のコマンドを受信すると、該受信したコマンドに応じた処理も実行する。
【００２４】
例えば、クライアント装置１２０からカメラ制御コマンドを受信すると、システム制御部１０３は、ネットワークカメラ１００の撮像条件の設定や、撮像方向におけるパン角及びチルト角の制御を行う。より詳しくは、システム制御部１０３は、カメラ制御コマンドを受信すると、レンズ制御コマンドをレンズ制御部１０５に送出する。これによりレンズ制御部１０５は、レンズ制御コマンドに従ってレンズ駆動部１０４を制御することで、撮像部１０１の画角などを制御する。またシステム制御部１０３は、カメラ制御コマンドを受信すると、ＰＴ動作コマンドをパンチルト制御部１０７に送出する。これによりパンチルト制御部１０７は、ＰＴ動作コマンドに従ってパン駆動部１０６やチルト駆動部１０８を制御することで、撮像部１０１のパン角及びチルト角を制御する。
【００２５】
また例えば、クライアント装置１２０から被写体位置解析コマンドを受信すると、システム制御部１０３は、後述する被写体位置解析処理を実行する。この被写体位置解析処理の詳細については後述する。
【００２６】
レンズ駆動部１０４は、フォーカスレンズ及びズームレンズの駆動系及びその駆動源のモータにより構成され、その動作はレンズ制御部１０５によりレンズ制御コマンドに従って制御される。
【００２７】
パン駆動部１０６は、撮像部１０１のパン角を変更する為のメカ駆動系及び駆動源のモータにより構成され、その動作はパンチルト制御部１０７によりＰＴ動作コマンドに従って制御される。
【００２８】
チルト駆動部１０８は、撮像部１０１のチルト角を変更する為のメカ駆動系及び駆動源のモータにより構成され、その動作はパンチルト制御部１０７によりＰＴ動作コマンドに従って制御される。
【００２９】
記憶装置１０９は、後述する各処理を実行する際に一時的に若しくは恒久的に情報を格納しておくためのものである。例えば、記憶装置１０９には、後述するプリセット撮影機能におけるプリセット位置や被写体位置解析処理におけるパノラマ画像、解析結果、被写体ライブラリ等を記憶する。
【００３０】
次に、クライアント装置１２０の構成例について説明する。
【００３１】
ネットワーク処理部１２１は、ネットワーク１１０を介してネットワークカメラ１００とのデータの送受信を行う。例えば、ネットワークカメラ１００からネットワーク１１０を介して撮像画像等の情報が送信された場合、ネットワーク処理部１２１は、この情報を受信して画像処理部１２２に転送する。また、ネットワーク処理部１２１は、カメラ制御ＵＩ処理部１２４から各種のコマンドを受けると、このコマンドをネットワーク１１０を介してネットワークカメラ１００に送信する。
【００３２】
画像処理部１２２は、ネットワーク処理部１２１から撮像画像を受けると、この撮像画像に対して各種の画像処理を行った後、画像処理済みの撮像画像を表示装置１２３に送出する。これにより表示装置１２３の表示画面上にはこの画像処理済みの撮像画像が表示される。
【００３３】
表示装置１２３は、ＣＲＴや液晶画面などにより構成されており、画像処理部１２２から受けた撮像画像や、後述する様々なＵＩ（ユーザインターフェース）等、様々な情報を表示する。
【００３４】
カメラ制御ＵＩ処理部１２４は、ネットワークカメラ１００の撮影条件の設定やパン角やチルト角等を指示するとともに、後述するプリセット位置の設定や被写体解析処理などのＵＩを表示装置１２３の表示画面上に表示させる。
【００３５】
ユーザは、キーボードやマウスなどにより構成されている入力装置１２５を操作することで、このＵＩを操作することができると共に、各種のコマンドを入力することができる。
【００３６】
このように、クライアント装置１２０は、ネットワークカメラ１００からネットワーク１１０を介して送信された撮像画像を取得することができると共に、ネットワーク１１０を介してネットワークカメラ１００を制御することができる。
【００３７】
次に、パン角及びチルト角が制御可能なネットワークカメラ１００の機構例を図２に示す。図２（Ａ）はネットワークカメラ１００の上面図、図２（Ｂ）はネットワークカメラ１００の側面図である。
【００３８】
パンの回転部はボトムケース２０１とターンテーブル２０２とで構成され、パン回転軸２０６を中心にターンテーブル２０２が水平面内で回転する。カメラヘッド２０４ａ、カメラヘッド２０４ｂは、パン回転した際のカメラヘッド２０４（レンズ２０５付き）の動きを示す。
【００３９】
チルトの回転部はカメラヘッド支柱２０３とカメラヘッド２０４で構成され、チルト回転軸２０７を中心にカメラヘッド２０４が垂直方向に回転する。カメラヘッド２０４ｃ、カメラヘッド２０４ｄは、チルト回転した際のカメラヘッド２０４の動きを示す。
【００４０】
このように、カメラヘッドを水平方向及び垂直方向に回転移動させることで、撮影方向を変えることができ、これにより、広範囲を撮影することができる。
【００４１】
本実施形態におけるネットワークカメラ１００は、事前に任意の撮像方向を設定しておくことで、その設定された撮像方向に自動で移動を行うことができるプリセット撮影機能を有している。そして、プリセット撮影機能におけるプリセット位置を設定する際には、事前に撮影範囲内の被写体位置の認識を容易化するための被写体位置解析処理を行うことができる。
【００４２】
次に、クライアント装置１２０から被写体位置解析コマンドを受信した場合に、ネットワークカメラ１００が行う処理について、同処理のフローチャートを示す図４を用いて説明する。
【００４３】
ステップＳ１０１でシステム制御部１０３は、撮像部１０１の撮像方向のパン角及びチルト角を規定範囲内で変化させながら撮像を行うための最初のパン角及びチルト角に撮像部１０１の姿勢を移動させるべく、パンチルト制御部１０７を制御する。
【００４４】
ステップＳ１０１で行う処理について、図３（Ａ）を用いて説明する。図３（Ａ）において太線Ａで示す枠が、撮像部１０１が（現在設定されている画角で）撮像可能な撮像範囲である。本実施形態では、この撮像部１０１のパン角及びチルト角を変更させながら撮像を行うことで、点線Ｂで示す枠内の撮像範囲を撮像して、この撮像範囲内の撮像画像であるパノラマ画像を生成する。
【００４５】
より詳しくは、パン方向については各撮像位置（パン位置）１〜ｍで撮像が行えるように、パン角を変更する（パン位置ｐで撮像を行った後にパン角を変更してパン位置（ｐ＋１）で撮像を行うことを繰り返す）。チルト方向については各撮像位置（チルト位置）１〜ｎで撮像が行えるように、チルト角を変更する（チルト位置ｑで撮像を行った後にチルト角を変更してチルト位置（ｑ＋１）で撮像を行うことを繰り返す）。このように、ｍ個のパン位置とｎ個のチルト位置の組み合わせ（ｍ×ｎ）個の撮像位置（撮像方向）で撮像を行うことで、点線Ｂで示す枠内の撮像範囲の撮像（パノラマ画像の撮像）を実現することができる。
【００４６】
本実施形態では、点線Ｂで示す枠内の撮像範囲を撮像するために、次のようにして撮像部１０１のパン角及びチルト角を制御する。パン位置をＰ、チルト位置をＴ、撮像位置を（Ｐ，Ｔ）とすると、先ず（１，１）の撮像位置（開始位置）で撮像を行い、その後、パン角を変更しながら、（２，１）、（３，１）、…、（ｍ、１）の各撮像位置で撮像を行う。そしてその後、撮像位置（ｍ、２）で撮像を行うべくチルト角を変更する。そして、撮像位置（ｍ、２）で撮像を行った後、パン角を変更しながら、（ｍ−１，２）、（ｍ−２，２）、…、（１、２）の各撮像位置で撮像を行う。そしてその後、撮像位置（１、３）で撮像を行うべくチルト角を変更する。そしてその後、（２，３）、（３，３）、…、（ｍ、３）（ｍ、４）、（ｍ−１，４）、（ｍ−２，４）、…、（１、４）のようにジグザグに移動していき、チルト位置１〜ｎにおいて、パン位置１〜ｍにおける撮像を行う。
【００４７】
然るにステップＳ１０１では、システム制御部１０３は、撮像部１０１のパン角及びチルト角を、上記開始位置への撮像方向のパン角及びチルト角に変更すべく、パンチルト制御部１０７を制御する。これによりパンチルト制御部１０７は、撮像部１０１のパン角及びチルト角が、上記開始位置への撮像方向のパン角及びチルト角となるように、パン駆動部１０６及びチルト駆動部１０８を制御する。
【００４８】
次に、ステップＳ１０２では、システム制御部１０３は、現在のパン角及びチルト角で撮像部１０１が撮像した撮像画像を画像処理部１０２から取得し、該取得した撮像画像中に映っている被写体の種別を識別する。
【００４９】
例えば、先ず、撮像画像から被写体の特徴量を抽出する。この特徴量は、例えば、撮像画像中のエッジである。撮像画像中の不連続となっている部分、例えば隣り合う画素の輝度値が大きく変化する部分をエッジとして抽出し、このエッジを境界線として撮像画像中の連続領域を抽出する。
【００５０】
そして、「ドア」、「窓」、「人」等のそれぞれ異なる種別の被写体の特徴量を保持するデータベース（被写体ライブラリ）を参照し、データベースに登録されているそれぞれの被写体の特徴量と、撮像画像から抽出した特徴量とのパターンマッチングを行う。パターンマッチングでは、データベースに登録されているそれぞれの被写体の特徴量と、撮像画像から抽出した特徴量との相関を評価する。そして、撮像画像から抽出した特徴量との相関評価値が最も高い特徴量の被写体の種別を、撮像画像中の被写体の種別として特定する。もちろん、撮像画像中の被写体の種別の識別方法はこれに限るものではなく、他の技術を用いてもよい。
【００５１】
このとき、ユーザがデータベース中の各種被写体の中から検出を必要とする被写体を選択し、選択された被写体のみ検出処理を行うようにしてもよい。これにより、必要のない処理を省くことができ、処理時間を短縮することができる。
【００５２】
ステップＳ１０３では、システム制御部１０３は、現在のパン角及びチルト角で撮像部１０１が撮像した撮像画像を画像処理部１０２から取得し、該取得した撮像画像中に映っている動体としての被写体の種別を識別する。ステップＳ１０３における処理の詳細を、図５を用いて説明する。
【００５３】
ステップＳ３０１では、システム制御部１０３は、画像処理部１０２を介して順次送出される複数枚の撮像画像の差分（フレーム間差分）を求め、求めたフレーム間差分から、動体としての被写体が映っているであろう部分（差分部）を検出する。ステップＳ３０２では、システム制御部１０３は、上記差分部の特徴量を抽出する。
【００５４】
ステップＳ３０３では、システム制御部１０３は、ステップＳ３０２で抽出した特徴量を用いて上記パターンマッチングにより、ステップＳ３０１で検出した差分部における被写体の種別を特定する。
【００５５】
ステップＳ３０４では、システム制御部１０３は、ステップＳ１０２の処理を開始してから所定時間が経過したか否かを判断する。この判断の結果、経過している場合は、処理はステップＳ１０４に進み、経過していない場合は、処理はステップＳ３０１に戻る。この所定時間は、被写体を検出するために、撮像画像を監視して検出処理を継続する時間であり、ユーザにより設定できるようにしてもかまわない。
【００５６】
ステップＳ１０４では、システム制御部１０３は、最終撮像位置での撮像が完了したか否か（図３（Ａ）の例では、点線Ｂの枠内の各撮像位置について撮像が完了したか否か）を判断する。この判断の結果、完了した場合は処理はステップＳ１０６に進み、完了していない場合は、処理はステップＳ１０５に進む。
【００５７】
ステップＳ１０５では、システム制御部１０３は、撮像部１０１のパン角及びチルト角を、次の撮像位置への撮像方向のパン角及びチルト角に変更すべく、パンチルト制御部１０７を制御する。これによりパンチルト制御部１０７は、撮像部１０１のパン角及びチルト角が、次の撮像位置への撮像方向のパン角及びチルト角となるように、パン駆動部１０６及びチルト駆動部１０８を制御する。
【００５８】
一方、処理がステップＳ１０６に進んだ時点で、点線Ｂの枠内の各撮像位置における撮像は完了しているので、ステップＳ１０６でシステム制御部１０３は、各撮像位置で撮像した撮像画像を連結することで、点線Ｂの枠内の画像、即ちパノラマ画像を生成する。
【００５９】
ステップＳ１０７でシステム制御部１０３は、パノラマ画像上における被写体について、該被写体を囲む枠と、ステップＳ１０２及びステップＳ１０３で識別した該被写体の種別を示す情報と、をパノラマ画像上に合成して、クライアント装置１２０に送信する。
【００６０】
ステップＳ１０７における処理について、図３（Ｂ）を用いて説明する。上記の通り、パノラマ画像は各撮像位置で撮像した撮像画像を連結して成るものであるため、パノラマ画像上のいくつかの撮像画像には被写体が登場している。そしてこの被写体の種別は、ステップＳ１０２及びステップＳ１０３の処理で特定されている。図３（Ｂ）の場合、撮像位置（１，２）で撮像した撮像画像には被写体として「ドア」が映っており、撮像位置（２，２）で撮像した撮像画像には被写体として「人」が映っている。然るにこの場合、「ドア」である被写体を囲む枠を、撮像位置（２，１）で撮像した撮像画像上に合成すると共に、この枠の周辺位置に、この被写体の種別を示す情報として「ドア」の文字を合成する。また、「人」である被写体を囲む枠を、撮像位置（２，２）で撮像した撮像画像上に合成すると共に、この枠の周辺位置に、この被写体の種別を示す情報として「人」の文字を合成する。
【００６１】
なお、撮像画像中における被写体の領域は、周知の如く、撮像画像中における被写体の種類の識別処理の過程で特定済みであるため、この領域を包含する枠をパノラマ画像上に合成すればよい。
【００６２】
もちろん、被写体の種別を表現する方法はこれに限るものではなく、枠の色や形等の表示形態でもって被写体の種別を表してもよいし、文字の代わりにアイコンなどを表示してもよい。
【００６３】
このように、パノラマ画像上のどの位置にどのような被写体が位置しているのかを明示的に表示することで、次のような効果を奏することができる。即ち、ユーザがネットワークカメラ１００のプリセット位置を設定する際に、監視対象の候補となる撮影範囲内における被写体の種別や位置、あるいは「人」の流れが多い箇所等を容易に認識することができ、ユーザの利便性を向上させることができる。
【００６４】
なお、パノラマ画像上における被写体の数が規定数以上であるがために、パノラマ画像上に被写体の種別を示す情報が数多く表示されてしまい、パノラマ画像上の情報が見づらくなってしまうなどの問題が生じうる。このような場合、例えば、被写体のサイズの大きいものから順に優先度を高くする、あるいはユーザが被写体の優先度を指定することで、上位Ｘ番目までの優先度の被写体について、枠及び種別を示す情報を合成するようにしてもよい。このように、何らかの基準を用いて、枠及び種別を示す情報を合成する対象となる被写体を選択することで、その数を制限するようもしてもよい。
【００６５】
また、被写体位置解析処理にて全ての撮影方向での解析処理を行うのに、一定の時間を要する。そのため、被写体位置解析処理中に他のクライアント装置からの操作要求があった場合には、この被写体位置解析処理を変更してもかまわない。例えば、被写体位置解析処理を中断する、あるいは被写体位置解析処理を一部省略する。また、クライアント装置に対して優先度を設定し、クライアント装置の優先度に応じて対応を決定する等、被写体位置解析処理中に他のクライアント装置からの操作要求への対応のため処理を変更してもかまわない。
【００６６】
次に、クライアント装置１２０側のカメラ制御ＵＩ処理部１２４が表示装置１２３の表示画面上に表示するＵＩについて、その一例を示す図６を用いて説明する。図６に示したＵＩは、クライアント装置１２０側でプリセット位置を設定するためのＵＩである。
【００６７】
ユーザが入力装置１２５を操作して、プリセット位置の設定指示を入力すると、カメラ制御ＵＩ処理部１２４は、図６に例示するようなＵＩを表示装置１２３の表示画面上に表示させる。なお、以下の説明において、ＵＩの表示制御は何れも、カメラ制御ＵＩ処理部１２４が行うものとする。
【００６８】
領域３０１内には、ネットワーク処理部１２１がネットワーク１１０を介してネットワークカメラ１００から受信した撮像画像が表示される。
【００６９】
パンスクロールバー３０２は撮像部１０１のパン可動範囲を示しており、パンスクロールノブ３０３はパン可動範囲における現在の撮像部１０１のパン位置を示している。ユーザは入力装置１２５を操作してこのパンスクロールノブ３０３をパンスクロールバー３０２の範囲内で左右に操作することで、撮像部１０１のパン角を操作することができる。カメラ制御ＵＩ処理部１２４は、パンスクロールノブ３０３が操作されたことを検知すると、パンスクロールノブ３０３の現在位置に対応するパン角に移動させるためのコマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをカメラ制御コマンドに含めてからネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。
【００７０】
チルトスクロールバー３０４は撮像部１０１のチルト可動範囲を示しており、チルトスクロールノブ３０５はチルト可動範囲における現在の撮像部１０１のチルト位置を示している。ユーザは入力装置１２５を操作してこのチルトスクロールノブ３０５をチルトスクロールバー３０４の範囲内で上下に操作することで、撮像部１０１のチルト角を操作することができる。カメラ制御ＵＩ処理部１２４は、チルトスクロールノブ３０５が操作されたことを検知すると、チルトスクロールノブ３０５の現在位置に対応するチルト角に移動させるためのコマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをカメラ制御コマンドに含めてからネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。
【００７１】
これにより、このカメラ制御コマンドを受信したシステム制御部１０３は、このカメラ制御コマンドに含まれているパン角変更用コマンドやチルト角変更用コマンドに応じたＰＴ動作コマンドをパンチルト制御部１０７に送出することができる。
【００７２】
ズームスクロールバー３０６は撮像部１０１のズーム範囲を示しており、ズームスクロールノブ３０７はズーム範囲における現在の撮像部１０１の画角を示している。ユーザは入力装置１２５を操作してこのズームスクロールノブ３０７をズームスクロールバー３０６の範囲内で上下に操作することで、撮像部１０１の画角を操作することができる。カメラ制御ＵＩ処理部１２４は、ズームスクロールノブ３０７が操作されたことを検知すると、ズームスクロールノブ３０７の現在位置に対応する画角に変更させるためのコマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをカメラ制御コマンドに含めてからネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。
【００７３】
これにより、このカメラ制御コマンドを受信したシステム制御部１０３は、このカメラ制御コマンドに含まれている画角変更用コマンドに応じたレンズ制御コマンドをレンズ制御部１０５に送出することができる。
【００７４】
このように、クライアント装置１２０のユーザは、領域３０１内に映っている映像を確認しながら、撮像部１０１の撮像方向や画角を指示することができる。そして、ユーザがこのような操作により、プリセット位置として登録したい撮影アングルを指示した後、入力装置１２５を操作してプリセット位置登録ボタン３０８ａを指示したとする。このときカメラ制御ＵＩ処理部１２４は、現在ＵＩにて設定されているパン角、チルト角、画角をプリセット位置としてクライアント装置１２０内の不図示のメモリに登録する。そしてカメラ制御ＵＩ処理部１２４は、このプリセット位置からプリセット位置登録コマンドを生成し、ネットワーク処理部１２１はこのプリセット位置登録コマンドをネットワーク信号に変換してから、ネットワークカメラ１００に送信する。
【００７５】
ユーザが入力装置１２５を操作して、被写体位置解析ボタン３１１を指示すると、カメラ制御ＵＩ処理部１２４は、被写体位置解析コマンドをネットワーク処理部１２１を介してネットワークカメラ１００に送信する。これによりネットワークカメラ１００は、図４のフローチャートに従った処理を実行するので、ネットワークカメラ１００からは、図４のフローチャートに従って生成されたパノラマ画像が送信される。然るに、ネットワーク処理部１２１はこのパノラマ画像を受信すると、これを画像処理部１２２に送出するので、表示装置１２３の表示画面（領域３０９）上には、画像処理部１２２による画像処理が施されたパノラマ画像が表示されることになる。
【００７６】
領域３０９内に表示されている撮影範囲枠３１０は、現在の撮像部１０１のパン角、チルト角、画角を表している。より詳しくは、領域３０９内における撮影範囲枠３１０の位置は、現在の撮像部１０１のパノラマ画像における撮像位置（パン位置、チルト位置）を表しており、撮影範囲枠３１０の縦横サイズが、現在の撮像部１０１の画角を表している。そしてこの領域３０９に占める撮影範囲枠３１０内の領域の撮像結果が領域３０１内に表示されている。
【００７７】
この撮影範囲枠３１０の領域３０９内における位置は、ユーザが入力装置１２５を操作して移動させることができる。カメラ制御ＵＩ処理部１２４は、撮影範囲枠３１０の移動を検知すると、撮像部１０１のパン角及びチルト角を、領域３０９内における撮影範囲枠３１０の位置を撮像するためのパン角及びチルト角に変更するためのコマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをカメラ制御コマンドに含めてからネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。
【００７８】
また、この撮影範囲枠３１０の領域３０９内におけるサイズは、ユーザが入力装置１２５を操作して変更することができる。カメラ制御ＵＩ処理部１２４は、撮影範囲枠３１０のサイズの変更を検知すると、撮像部１０１の画角を、領域３０９内における撮影範囲枠３１０のサイズに応じた画角に変更するためのコマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをカメラ制御コマンドに含めてからネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。
【００７９】
このように、クライアント装置１２０のユーザは、領域３０９の撮影範囲枠３１０の位置やサイズを変更することで、撮像部１０１の撮像方向や画角を指示することができる。そして、ユーザがこのような操作により、プリセット位置として登録したい撮影アングルを指示した後、入力装置１２５を操作してプリセット位置登録ボタン３０８ｂを指示したとする。このときカメラ制御ＵＩ処理部１２４は、現在ＵＩにて設定されているパン角、チルト角、画角をプリセット位置としてクライアント装置１２０内の不図示のメモリに登録する。そしてカメラ制御ＵＩ処理部１２４は、このプリセット位置からプリセット位置登録コマンドを生成し、ネットワーク処理部１２１はこのプリセット位置登録コマンドをネットワーク信号に変換してから、ネットワークカメラ１００に送信する。
【００８０】
また、ユーザが入力装置１２５を操作して被写体種類選択設定ボタン３１２を指示すると、カメラ制御ＵＩ処理部１２４は、図７（Ａ）に例示する検出被写体選択の設定を行う為のサブユーザインタフェース画面を表示装置１２３の表示画面上に表示する。図７（Ａ）のサブユーザインタフェース画面では、データベース（被写体ライブラリ）に登録されている被写体の名称３２３が一覧表示されており、それぞれの名称の左隣にはチェックボックス３２１が表示されている。ユーザが入力装置１２５を操作して、検出を必要とする被写体の名称の左隣にあるチェックボックスを指示すると、そのチェックボックスにはチェックマーク３２２が付される。図７（Ａ）では、「ドア」、「人」、「窓」のそれぞれに対するチェックボックスにチェックマークが付されているため、検出を必要とする被写体として、「ドア」、「人」、「窓」のそれぞれの被写体が選択されていることになる。検出を必要とする被写体の選択を完了する場合は、ユーザは入力装置１２５を操作して完了ボタン３２４を指示する。この完了ボタン３２４が指示されると、カメラ制御ＵＩ処理部１２４は、このサブユーザインターフェース画面にて設定された内容（検出を必要とする被写体を示す情報）から設定変更コマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。これによりネットワークカメラ１００は、このコマンドによる設定に基づいて被写体位置解析処理を行うことができる。
【００８１】
また、ユーザが入力装置１２５を操作して被写体優先度設定ボタン３１３を指示すると、カメラ制御ＵＩ処理部１２４は、図７（Ｂ）に例示する検出被写体優先度の設定を行う為のサブユーザインタフェース画面を表示装置１２３の表示画面上に表示する。図７（Ｂ）のサブユーザインタフェース画面における領域３２５内には、図７（Ａ）のサブユーザインターフェース画面にて選択した被写体の名称３２３が上から優先度が高い順に一覧表示されている。即ち、より上部に表示されているものほど優先度が高く、より下部に表示されているものほど優先度が低い。ユーザは入力装置１２５を操作して、表示されている名称のうち任意のものを上下に移動させることで、この名称の被写体の優先度を変更することができる。図７（Ｂ）では、「人」、「ドア」、「窓」の順に優先度が高く設定されている。被写体の優先度の設定を完了する場合は、ユーザは入力装置１２５を操作して完了ボタン３２４を指示する。この完了ボタン３２４が指示されると、カメラ制御ＵＩ処理部１２４は、このサブユーザインターフェース画面にて設定された内容（検出を必要とする被写体のそれぞれの優先度を示す情報）から設定変更コマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。これによりネットワークカメラ１００は、このコマンドによる設定に基づいて被写体位置解析処理を行うことができる。
【００８２】
また、ユーザが入力装置１２５を操作して被写体検出時間ボタン３１４を指示すると、カメラ制御ＵＩ処理部１２４は、被写体を検出するために要する時間を設定するためのサブユーザインタフェース画面を表示装置１２３の表示画面上に表示する。然るにユーザが入力装置１２５を操作してこのサブユーザインターフェース画面にて時間を入力し、その後、設定を完了する旨の指示を入力装置１２５を操作して入力すると、カメラ制御ＵＩ処理部１２４は、設定した時間から設定変更コマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。これによりネットワークカメラ１００は、このコマンドによる設定に基づいて被写体位置解析処理を行うことができる。
【００８３】
また、ユーザが入力装置１２５を操作して表示数制限ボタン３１５を指示すると、カメラ制御ＵＩ処理部１２４は、枠及び種別を示す情報を合成する対象となる被写体の数を設定する為のサブユーザインタフェース画面を表示装置１２３の表示画面上に表示する。然るにユーザが入力装置１２５を操作してこのサブユーザインターフェース画面にて数を入力し、その後、設定を完了する旨の指示を入力装置１２５を操作して入力すると、カメラ制御ＵＩ処理部１２４は、設定した数から設定変更コマンドを生成する。ネットワーク処理部１２１は、この生成されたコマンドをネットワーク信号に変換し、変換したネットワーク信号をネットワーク１１０を介してネットワークカメラ１００に送信する。これによりネットワークカメラ１００は、このコマンドによる設定に基づいて被写体位置解析処理を行うことができる。
【００８４】
以上の説明のとおり、本実施形態では、ＰＴ機構の可動範囲内を移動しながら順次撮影し、それぞれの撮影位置にて撮影した画像に対して画像解析を行い、「ドア」、「窓」、「絵画」、「人」等の被写体を検出する。全方向での撮影及び検出処理が終了した後、各方向の撮影画像を合成し撮影範囲全域を一つの広角画像に示したパノラマ画像を生成し、パノラマ画像とともに、被写体の位置を示す枠や被写体の種類などの被写体情報を出力する。これにより、プリセット位置を設定する際にも、撮影範囲内の被写体位置を容易に把握することができ、ユーザの利便性を向上させることができる。
【００８５】
なお、上記の説明では、プリセット撮影機能におけるプリセット位置の設定において利用する方法について説明しているが、これに限定されない。例えば、マスキング機能におけるマスク位置設定や、インテリジェント機能における検出エリア設定にて利用する場合においても、あるいは通常のPT機構の操作を行う場合にも上記の方法を利用することで同様の効果が得られる。
【００８６】
また、上記の説明では、検出する被写体として、「ドア」、「窓」、「絵画」、「人」の例を挙げて説明しているが、これに限定されない。これら以外の被写体を検出する方法でもかまわない。
【００８７】
また、上記の説明では、動体としての被写体を検出する方法では、複数フレーム画像間の差分を検出する方法を用いて説明しているが、これに限定されない。例えば、所定のフレーム数の画像より生成した基準となる背景画像との差分を検出する背景差分を利用する方法を利用してもかまわない。
【００８８】
また、上記の説明では、解析結果の出力において、被写体位置枠や被写体種類を示す情報を出力する方法について説明しているが、これに限定されない。それら以外の被写体に関する情報を出力する方法でもかまわない。
【００８９】
また、上記の説明では、解析結果の出力において、表示装置に表示する方法について説明しているが、これに限定されない。例えば、解析結果を記録装置に記録する方法でもかまわない。
【００９０】
また、上記の説明では、PT可動範囲全域について被写体位置を解析する方法について説明しているが、これに限定されない。例えば、PT可動範囲のある範囲内に限定して被写体位置解析を行ってもかまわない。
【００９１】
また、上記の説明からも分かるように、本実施形態に係る撮像装置は、次の構成の一例過ぎない。即ち、撮像方向を変化させながら撮像を行うことで、それぞれの撮像方向における撮像画像を取得し、撮像画像を取得するたびに、該取得した撮像画像から被写体を検出する。そして、取得したそれぞれの撮像画像を連結してパノラマ画像を生成すると共に、該パノラマ画像上における被写体を報知するための情報を、パノラマ画像上に合成して出力する、という構成である。然るにこの構成と同等の効果を奏する構成であれば、ネットワークカメラ１００の構成は図１の構成に限るものではない。また、本実施形態では、この「被写体を報知するための情報」として、枠と種別を示す情報の両方を用いているが、一方だけでもよいし、上記の通り、他の情報を用いてもよい。
【００９２】
［第２の実施形態］
以下では、本実施形態において、第１の実施形態と異なる点について説明する。本実施形態に係わるネットワークカメラは、第１の実施形態の構成と同様に、パン動作、チルト動作が可能なＰＴ機構を持つ。また、LAN等のネットワークに接続されたクライアント装置から送信されたカメラ制御コマンドに応じて所定のカメラ制御及びPT動作を行う。
【００９３】
第１の実施形態で示した被写体検出処理では、検出時間を一定の時間としていた。その場合、人のような動く被写体が検出された場合も、停止している被写体が検出された場合も一定の時間検出処理を行う。何も検出物がない場合や停止している被写体が検出された場合、その後を注目する必要性は少ない。しかし、人が検出された場合には、その検出された人がその後どのように移動するかを注目することは重要である。検出時間が一定であり、その検出時間を長く設定した場合、検出する必要がない場合も一定の時間を要し、不要な検出時間が増える場面もある。しかし、反対に検出時間を短く設定すると、上記のように人のような動的被写体の動向を確認するための検出時間が足りなくなってしまう。
【００９４】
そこで本実施形態では、検出された被写体に応じて適切な検出時間を設定することにより、各種被写体に応じた適切な検出処理を行う。これにより、効率良く被写体位置解析処理を進めることができる。
【００９５】
本実施形態では、上記ステップＳ１０３では、以下に説明する処理を実行する。先ず、図５のステップＳ３０１〜Ｓ３０３の処理を実行する。そして次に、システム制御部１０３は、被写体検出の結果から検出時間を設定する。例えば、検出時間の初期値を３秒と設定し、検出処理開始後３秒間は検出処理を実行する。その時間内で動的被写体が検出されなければ検出処理を終える。動的被写体が検出された場合には、検出時間を１０秒間追加して設定する。追加した検出時間の間、検出処理を継続し、検出された動的被写体がどのように行動するかを確認する。
【００９６】
このとき、動的被写体の種類に応じてその時間を設定してもよい。例えば、人の動作は注目する必要があるが、動物の動作は特に注目しなくてよい場合、動的被写体の種類判別処理の結果により、「人」と判別された場合は検出時間を追加するが、「動物」と判別された場合には検出時間を追加しないとしてもよい。
【００９７】
また、追加した検出時間の中で検出された動的被写体が検出されなくなれば、つまり検出された動的被写体が撮影画面から外れた場合には、再度検出時間を短く設定し直し、追加した検出時間の経過を待たずに検出処理を終えてもよい。
【００９８】
また、これらの検出被写体の条件と検出時間の設定をユーザが設定できるようにしてもかまわない。例えば、動的被写体の流動を検出するには一定の時間を要するので、その検出を必要としないユーザに対しては、その検出処理を省略してもよい。
【００９９】
以上の説明のとおり、本実施形態では、検出された被写体に応じて適切な検出時間を設定することにより、被写体に応じた適切な検出処理を行う。これにより、効率よく被写体位置解析処理を進めることができ、ユーザの利便性をさらに向上させることができる。
【０１００】
［第３の実施形態］
以下では、本実施形態において、第１の実施形態と異なる点について説明する。本実施形態に係わるネットワークカメラは、第１の実施形態の構成と同様に、パン動作、チルト動作が可能なＰＴ機構を持つ。また、LAN等のネットワークに接続されたクライアント装置から送信されたカメラ制御コマンドに応じて所定のカメラ制御及びPT動作を行う。さらに本実施形態のネットワークカメラはプリセット撮影機能を有している。
【０１０１】
第１の実施形態で示したように、被写体位置解析処理により出力された被写体位置情報をユーザが利用してプリセット位置の設定を行った後、再度被写体位置解析処理を行った場合に、その解析結果に前回利用した情報が反映されている方が分かりやすい。例えば、１回目の解析処理時に撮影画像に存在しなかった被写体が２回目の解析処理で新たに出現していることを知ることができれば、再度プリセット位置を設定する際にその差異部分を中心に注目すればよい。また、解析処理で検出したいくつかの被写体の中で、プリセット位置として登録された被写体と登録されなかった被写体が区別できれば、登録が漏れていた被写体を把握することができる。
【０１０２】
本実施形態では、複数回解析処理を行った際の過去の解析結果、及びプリセット位置登録情報を、新しい解析処理の結果に反映させる。これにより、ユーザの利便性をさらに向上することができる。
【０１０３】
クライアント装置１２０から被写体位置解析コマンドを受信した場合に、ネットワークカメラ１００が行う処理について、同処理のフローチャートを示す図８を用いて説明する。なお、図８において、図４と同じ処理ステップには同じ参照番号を付しており、その説明は省略する。
【０１０４】
ステップＳ５０７では、システム制御部１０３は、ステップＳ１０２及びステップＳ１０３における処理結果、即ち、どの撮像画像からどの種別の被写体を検出したのかを示す情報（被写体情報）を記憶装置１０９に格納する。そしてシステム制御部１０３は、この格納した被写体情報と、過去に記憶装置１０９に格納した被写体情報と、プリセット位置登録コマンドに含まれているプリセット位置で撮像した撮像画像から識別された被写体を示す情報とから解析結果の出力情報を作成する。
【０１０５】
より詳しくは、先ず、今回格納した被写体情報と、過去に記憶装置１０９に格納した被写体情報との比較を行い、その差分を求める。この差分は、過去にすでに識別した被写体、今回新たに識別した被写体、が含まれる。
【０１０６】
次に、今回の格納した被写体情報のうち、クライアント装置１２０から送信されたプリセット位置登録コマンドに含まれているプリセット位置で撮像した撮像画像から今回識別された被写体を示す情報を抽出する。
【０１０７】
そしてステップＳ５０８では、システム制御部１０３は、パノラマ画像上に解析結果の出力情報に従った表示を合成して、クライアント装置１２０に送信する。この合成結果を図９に示す。図９では、過去にすでに識別した被写体には点線枠を付し、今回新たに識別した被写体には実践枠を付し、今回検出されている被写体の中でプリセット位置での撮像画像から識別された被写体には二重実線枠を付している。このように、検出された被写体をそれぞれの状態を反映して表示枠を区別する。これら被写体を区別する方法としては、線の色を変える、ある条件の被写体は枠を表示しない等により区別してもかまわない。
【０１０８】
以上の説明の通り、本実施形態では、過去の被写体解析処理にて検出した被写体情報、及びプリセット位置登録情報を反映して、解析結果の出力情報を作成し、パノラマ画像とともにその解析結果を出力する。即ち、新たに検出した被写体を報知するための情報と、該被写体以外の被写体を報知するための情報と、を識別可能に、パノラマ画像上に合成して出力する。これにより、ユーザは前回の解析結果及び現在のプリセット位置の登録状況を一目で認識することができ、ユーザの利便性をさらに向上させることができる。
【０１０９】
尚、上記の説明では、プリセット撮影機能におけるプリセット位置の設定において利用する方法について説明しているが、これに限定されない。例えば、マスキング機能におけるマスク位置設定や、インテリジェント機能における検出エリア設定にて利用する場合においても上記の方法を利用することで同様の効果が得られる。
【０１１０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、上記の各実施形態は適宜組み合わせて用いてもよいし、その組み合わせの際に、適宜構成を追加、削除してもかまわない。
【０１１１】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
撮像方向を変化させながら撮像を行うことで、それぞれの撮像方向における撮像画像を取得する取得手段と、
前記取得手段が撮像画像を取得するたびに、該取得した撮像画像から被写体を検出する検出手段と、
前記取得手段が取得したそれぞれの撮像画像を連結してパノラマ画像を生成すると共に、該パノラマ画像上における被写体を報知するための情報を、前記パノラマ画像上に合成して出力する出力手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記出力手段は、前記パノラマ画像上に、前記検出手段が検出した被写体を囲む枠、及び／又は、該被写体の種別を示す情報、を合成して出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段は、前記取得手段が撮像画像を取得するたびに、該取得した撮像画像中の被写体の特徴量を求め、それぞれ異なる種別の被写体の特徴量を保持するデータベースを参照して、前記求めた特徴量に対応する被写体の種別を特定することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記出力手段は、前記パノラマ画像上における被写体の数が規定数以上である場合には、前記パノラマ画像上に、規定の基準で選択された被写体を報知するための情報を合成して出力することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
【請求項５】
前記出力手段は、前記検出手段が新たに検出した被写体を報知するための情報と、該被写体以外の被写体を報知するための情報と、を識別可能に、前記パノラマ画像上に合成して出力する
ことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
撮像装置の制御方法であって、
前記撮像装置の取得手段が、撮像方向を変化させながら撮像を行うことで、それぞれの撮像方向における撮像画像を取得する取得工程と、
前記撮像装置の検出手段が、前記取得工程で撮像画像を取得するたびに、該取得した撮像画像から被写体を検出する検出工程と、
前記撮像装置の出力手段が、前記取得工程で取得したそれぞれの撮像画像を連結してパノラマ画像を生成すると共に、該パノラマ画像上における被写体を報知するための情報を、前記パノラマ画像上に合成して出力する出力工程と
を備えることを特徴とする撮像装置の制御方法。
【請求項１】
撮像方向を変化させながら撮像を行うことで、それぞれの撮像方向における撮像画像を取得する取得手段と、
前記取得手段が撮像画像を取得するたびに、該取得した撮像画像から被写体を検出する検出手段と、
前記取得手段が取得したそれぞれの撮像画像を連結してパノラマ画像を生成すると共に、該パノラマ画像上における被写体を報知するための情報を、前記パノラマ画像上に合成して出力する出力手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記出力手段は、前記パノラマ画像上に、前記検出手段が検出した被写体を囲む枠、及び／又は、該被写体の種別を示す情報、を合成して出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段は、前記取得手段が撮像画像を取得するたびに、該取得した撮像画像中の被写体の特徴量を求め、それぞれ異なる種別の被写体の特徴量を保持するデータベースを参照して、前記求めた特徴量に対応する被写体の種別を特定することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記出力手段は、前記パノラマ画像上における被写体の数が規定数以上である場合には、前記パノラマ画像上に、規定の基準で選択された被写体を報知するための情報を合成して出力することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
【請求項５】
前記出力手段は、前記検出手段が新たに検出した被写体を報知するための情報と、該被写体以外の被写体を報知するための情報と、を識別可能に、前記パノラマ画像上に合成して出力する
ことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
撮像装置の制御方法であって、
前記撮像装置の取得手段が、撮像方向を変化させながら撮像を行うことで、それぞれの撮像方向における撮像画像を取得する取得工程と、
前記撮像装置の検出手段が、前記取得工程で撮像画像を取得するたびに、該取得した撮像画像から被写体を検出する検出工程と、
前記撮像装置の出力手段が、前記取得工程で取得したそれぞれの撮像画像を連結してパノラマ画像を生成すると共に、該パノラマ画像上における被写体を報知するための情報を、前記パノラマ画像上に合成して出力する出力工程と
を備えることを特徴とする撮像装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−６５９７１（Ｐ２０１３−６５９７１Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０２３３７（Ｐ２０１１−２０２３３７）
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]