撮像装置及び表示装置
【課題】 撮像条件等の変化に対して違和感のないパノラマ画像を得る。
【解決手段】 撮像手段としての撮像装置１０からの映像信号がコンピュータ装置３０のビデオキャプチャーボード３１に供給される。レンズブロック部１１はカメラコントローラ４１からの駆動命令によって変倍用レンズが駆動される。撮像装置１０は回転雲台５０に設置され、パンチルタコントローラ４３からの駆動命令によって各方向に駆動される。モードコントローラ４２はコンピュータ装置３０からの絶対位置駆動要求に対して撮像装置１０及び回転雲台５０の制御を行う。コンピュータ装置３０には記憶装置３２と画像処理装置３３と制御装置３４とが設けられ、これらの装置によってパノラマ画像の形成のための映像信号処理及び制御が行われると共に、記憶装置３２への映像信号の記憶の際に、撮像時刻や露出、ホワイトバランス等の種々の撮像条件が付加して記憶される。
【解決手段】 撮像手段としての撮像装置１０からの映像信号がコンピュータ装置３０のビデオキャプチャーボード３１に供給される。レンズブロック部１１はカメラコントローラ４１からの駆動命令によって変倍用レンズが駆動される。撮像装置１０は回転雲台５０に設置され、パンチルタコントローラ４３からの駆動命令によって各方向に駆動される。モードコントローラ４２はコンピュータ装置３０からの絶対位置駆動要求に対して撮像装置１０及び回転雲台５０の制御を行う。コンピュータ装置３０には記憶装置３２と画像処理装置３３と制御装置３４とが設けられ、これらの装置によってパノラマ画像の形成のための映像信号処理及び制御が行われると共に、記憶装置３２への映像信号の記憶の際に、撮像時刻や露出、ホワイトバランス等の種々の撮像条件が付加して記憶される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばコンピュータネットワークを利用して遠隔地からの観視を行う際に使用して好適な撮像、記憶、処理、表示、再生、伝送装置及び記録媒体に関するものである。
【背景技術】
【０００２】
事象の観察や監視、案内等の目的で、遠隔地からの画像を例えばコンピュータネットワーク（インターネット）を利用して観視を行うことが考えられている。そのような遠隔地からの観視を行う場合に、水平方向の画角を広げたいわゆるパノラマ画像が観視には好適である。
【０００３】
そこでこのようなパノラマ画像を得る方法としては、例えば広角系のレンズを用いる方法が知られているが、一般的に広角系のレンズは高価であり、また通常の広角系のレンズでは垂直方向の画角も広げられるために、パノラマ画像の範囲の走査線数が減少し解像度が低下してしまう恐れがある。
【０００４】
これに対して、パノラマ画像を予め撮像してハードディスク等の記憶装置に保存しておき、新たに撮像された画像をその中に嵌め込み合成してパノラマ画像を形成する方法が実施されている。しかしながらこの方法では、疑似的なパノラマ画像が形成されているに過ぎず、また、撮像時刻や撮像条件等の変化に対して、嵌め込み合成された新たな画像と保存画像との間で違和感を生じる等の問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この出願はこのような点に鑑みて成されたものであって、解決しようとする問題点は、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったというものである。
【課題を解決するための手段】
【０００６】
このため本発明においては、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、その際の撮像時刻及び／または撮像条件を記憶するようにしたものであって、これによれば、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【０００７】
さらに本発明においては、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正するようにしたものであって、これによれば、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができる。
【発明の効果】
【０００８】
請求項１の発明によれば、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、その際の撮像時刻及び／または撮像条件を記憶することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるようになった。
【０００９】
これによって、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができるものである。
【００１０】
請求項２〜５の発明によれば、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００１１】
請求項６の発明によれば、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができるものである。
【００１２】
請求項７〜１０の発明によれば、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００１３】
請求項１１の発明によれば、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で形成することができるものである。
【００１４】
請求項１２〜１５の発明によれば、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００１５】
請求項１６の発明によれば、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【００１６】
請求項１７〜２０の発明によれば、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００１７】
請求項２１の発明によれば、撮像範囲が順次変化された映像信号、その撮像の際の撮像時刻や撮像条件を再生し、この再生映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができるものである。
【００１８】
請求項２２〜２５の発明によれば、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００１９】
請求項２６の発明によれば、遠隔地に設置された撮像手段で撮像された映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【００２０】
請求項２７〜３０の発明によれば、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００２１】
請求項３１の発明によれば、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、この記録媒体を再生し連結することで、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるものである。
【００２２】
請求項３２〜３５の発明によれば、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００２３】
さらに本発明によれば、記憶された撮像時刻や撮像条件等の情報を用いて撮像された映像信号の検索を、迅速且つ容易に行うことができるものである。
【発明を実施するための最良の形態】
【００２４】
すなわち本発明は、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像された映像信号を記憶する記憶手段と、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段とを有し、撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を映像信号と共に記憶手段に記憶するものである。
【００２５】
また本発明は、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像された映像信号を記憶する記憶手段と、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段とを有し、撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を映像信号と共に記憶するものである。
【００２６】
また本発明は、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像された映像信号と共に撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を記憶する記憶手段とを有し、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成するものである。
【００２７】
また本発明は、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像された映像信号を記憶する記憶手段と、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段と、形成された映像信号を表示する表示手段とを有し、撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を映像信号と共に記憶手段に記憶すると共に、表示手段上で指示された映像信号の部分領域に撮像手段で撮像された映像信号を連結して映像信号を形成するものである。
【００２８】
また本発明は、撮像手段の動作が制御されて撮像された映像信号と共に撮像手段での撮像の行われた撮像時刻及び／または撮像条件の記録された記録媒体を再生する再生手段と、再生手段によって再生された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成するものである。
【００２９】
また本発明は、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像された映像信号と共に撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を記憶する記憶手段と、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段と、処理手段で形成された映像信号を伝送する伝送手段とからなるものである。
【００３０】
また本発明は、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段と映像信号を発生する撮像手段とを用いて、撮像手段で撮像された映像信号と共に撮像手段で撮像を行う際の撮像時刻及び／または撮像条件が記録されてなるものである。
【００３１】
さらに本発明は、撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、撮像時刻及び／または撮像条件の近い映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成するものである。
【００３２】
さらに本発明は、撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に撮像条件に従って映像信号を補正するものである。
【００３３】
さらに本発明は、撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、形成された映像信号を表示する表示手段上で指示された映像信号の部分領域に撮像手段で撮像された映像信号を連結して映像信号を形成するものである。
【００３４】
さらに本発明は、撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正するものである。
【００３５】
以下、図面を参照して本発明を説明するに、図１は本発明を適用した装置の一例の構成を示すブロック図である。
【００３６】
この図１において、撮像手段としての撮像装置１０は全体としてビデオカメラを示し、被写体（図示せず）から到達する撮像光は、レンズブロック部１１のレンズ、絞り等を通して固体撮像素子、例えばＣＣＤ１２に結像される。そしてこのＣＣＤ１２で、任意の視野映像が映像信号に変換された後、信号分離（サンプルホールド：ＳＨ）／自動利得制御（ＡＧＣ）装置１３に与えられる。
【００３７】
信号分離／自動利得制御装置１３では、ＣＣＤ１２からの映像出力信号が、例えば所定の画素クロックに従ってサンプルホールドされると共に、例えばオートアイリス（ＡＥ）の制御信号によって所定のゲインを持つように自動利得制御が行われる。かくして得られた映像出力信号は、Ａ／Ｄ変換装置１４を介して信号処理装置１５に供給される。
【００３８】
信号処理装置１５では、入力されてきた信号が、輝度、色差、ビデオ信号といった各信号に変換され、映像信号としてテレビジョンモニタ２０や、パーソナルコンピュータ等の後述するコンピュータ装置３０のビデオキャプチャーボード３１に供給される。これによってこのビデオキャプチャーボード３１に供給された映像信号が、順次コンピュータ装置３０に取り込まれる。
【００３９】
また、撮像装置１０のレンズブロック部１１は、変倍用のレンズを駆動することによって撮像する画角を変化させることが可能なズームレンズである。そして後述するカメラコントローラ４１からの駆動命令によって、モータ、例えばズーム用ステッピングモータ１６が回転されて、上述の変倍用のレンズが駆動される如く構成されている。
【００４０】
カメラコントローラ４１は、撮像装置１０のレンズ制御（フォーカス、ズーム）、露出制御（絞り、ゲイン、電子シャッタースピード）、ホワイトバランス制御、画質制御等を常時行うと共に、モードコントローラ４２とのインターフェースが行われる。そして例えばズームの駆動要求に対しては、変倍用レンズを要求位置に駆動する制御信号がモータ１６の駆動回路（図示せず）に出力されると共に、変倍用レンズの位置情報が常時モードコントローラ４２に通信される。
【００４１】
さらに撮像装置１０は、駆動手段として例えばパン（左右）及びチルト（上下）といった２軸の回転方向の自由度を持つ装置、例えば回転雲台５０の上に設置される。そして後述するパンチルタコントローラ４３からの駆動命令によって、モータ、例えばパン用ステッピングモータ５１及びチルト用ステッピングモータ５２が回転されて、回転雲台５０が各方向に駆動される如く構成されている。
【００４２】
パンチルタコントローラ４３では、モードコントローラ４２とのインターフェースが行われる。そして例えばパン、チルトの各方向の駆動要求に対しては、回転雲台５０を要求された方向に駆動する制御信号がモータ５１、５２の駆動回路（図示せず）に出力されると共に、回転雲台５０の例えばパン、チルトの各方向の位置情報が常時モードコントローラ４２に通信される。
【００４３】
さらにモードコントローラ４２は、撮像装置１０及び回転雲台５０の内部状態や、装置外部からのインターフェース情報に従ってシステム全体の制御を行う。そしてこのモードコントローラ４２は、例えばＲＳ２３２Ｃによってコンピュータ装置３０に接続され、コンピュータ装置３０からの絶対位置駆動要求に対して制御が行われる。
【００４４】
すなわちモードコントローラ４２では、コンピュータ装置３０からの絶対位置駆動要求に対し、撮像装置１０でその位置を撮像するべく、レンズブロック部１１のモータ１６及び回転雲台５０のモータ５１、５２を駆動する駆動命令が、カメラコントローラ４１及びパンチルタコントローラ４３に振り分けられる。
【００４５】
それと共に、これらのコントローラ４１及び４３からの位置情報やレンズ制御情報、露出制御情報、ホワイトバランス制御情報、画質制御情報等の各種の撮影条件がモードコントローラ４２を通じてコンピュータ装置３０に送信される。
【００４６】
さらにこのコンピュータ装置３０には、記憶装置３２と画像処理装置３３と制御装置３４とが設けられ、これらの装置によってこのコンピュータ装置３０は、例えばパノラマ画像の形成のための映像信号処理手段、及び制御手段として使用される。このコンピュータ装置３０で形成された映像信号がコンピュータモニタ６０に供給されてユーザーインターフェースとされ、この管面上にグラフィック表示される画像を用いて内部処理の条件等が決定される。
【００４７】
さらに上述のビデオキャプチャーボード３１では、取り込まれた映像信号を任意のクォリティでモニタ６０に表示すると共に、キャプチャー信号により任意の画像フォーマット（例えばビットマップ形式、ＪＰＥＧ形式の静止画、動画等）に任意のクォリティでキャプチャーし、ハードディスク等の記憶装置３２に記憶することができる。
【００４８】
そしてこの際に、上述の映像信号がキャプチャーされた撮像時刻と、モードコントローラ４２から提供された上述の各種の撮影条件が、キャプチャーされた映像信号と共に記憶装置３２に記憶される。
【００４９】
さらにこのコンピュータ装置３０で実行される制御アルゴリズムについて図２を用いて説明する。
【００５０】
図２においてプログラムがスタートされると、まずステップ〔１〕で撮像映像とパノラマ画像の各々の表示領域をモニタ６０上に設定する処理が行われる。これによってモニタ６０上には、例えば図１中に示すように、撮像映像の表示領域６１と、パノラマ画像の表示領域６２とが設定される。そしてこの内の表示領域６１に例えば撮像装置１０から入力される映像信号が表示される。
【００５１】
さらにステップ〔２〕で、例えばモードコントローラ４２と周期的に通信を行うためのタイマーが設定される。そしてこれらの初期設定が完了すると、ステップ〔３〕で、各種の発生されるイベントの待機状態に推移される。なお発生されるイベントは、上述のステップ〔２〕で設定されたタイマーイベント（詳細は後述）と、後述のパノラマ画像の作成要求イベントである。
【００５２】
ここでタイマーイベントの詳細について図４を用いて説明する。なおこのタイマーイベントは、例えばモードコントローラ４２と周期的に通信を行うために発生されるイベントである。
【００５３】
そこでこのイベントが発生されると、ステップ〔１１〕で通信ポートの設定が完了しているか否か判断され、初回のみ通信ポートの設定が完了していないのでステップ〔１２〕で通信ポートの開設処理が行われる。なお、上述の装置では、通信ポートとして例えばコンピュータ装置３０上のＲＳ２３２Ｃポートの開設が行われる。
【００５４】
さらに２回目以降のタイマーイベントでは、ステップ〔１３〕で受信データの有無が判断され、受信データが有る時はステップ〔１４〕で受信データの解析処理が行われる。すなわちこのステップ〔１４〕では、例えばモードコントローラ４２との通信によって、レンズブロック部１１の変倍用レンズの位置情報、回転雲台５０のパン、チルトの各方向の位置情報が取得される。そしてこれらの情報からそれぞれズームの倍率情報、パン、チルトの角度情報が取り出される。
【００５５】
次にステップ〔１５〕では、データの転送要求（Ｆｌａｇ ｓｏ）の有無が確認される。そして転送要求が有る（Ｔｒｕｅ）のときは、データはすでに送信バッファに格納されているので、ステップ〔１６〕で直ちにこの送信バッファのデータを用いて転送処理が行われると共に、転送要求が無し（Ｆｌａｇ ｓｏ＝Ｆａｌｓｅ）にされる。
【００５６】
そしてステップ〔１５〕で転送要求が無い（Ｆａｌｓｅ）のときは、ステップ〔１７〕〔１８〕〔１９〕でそれぞれ内部カウンタ（ｒｅｑ ｃｎｔ）の値が判断される。ここで（ｒｅｑ ｃｎｔ＝０）のときは、ステップ〔１７〕からステップ〔２０〕に進められて、回転雲台５０のモータ５１、５２を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。
【００５７】
また（ｒｅｑ ｃｎｔ＝１）のときは、ステップ〔１８〕からステップ〔２１〕に進められて、レンズブロック部１１のモータ１６を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。また（ｒｅｑ ｃｎｔ＝２）のときは、ステップ〔１９〕からステップ〔２２〕に進められて、後述するパノラマ画像の作成処理が行われる。
【００５８】
そしてステップ〔２０〕〔２１〕が実行された後は、ステップ〔２３〕で（ｒｅｑ ｃｎｔ）をカウントアップする処理が行われる。またステップ〔２２〕が実行された後は、ステップ〔２４〕で（ｒｅｑ ｃｎｔ）を０に戻す処理が行われる。これによって、これらのステップ〔２０〕〔２１〕〔２２〕の処理が、各イベントの処理ごとに循環して実行される。
【００５９】
さらに上述のパノラマ画像の作成処理は以下に述べるようにして行われる。すなわちこのパノラマ画像の作成処理は、例えば図３に示すステップ〔３０〕において、パノラマ作成要求（Ｆｌａｇ ｐａ）が設定されることによって、上述のタイマーイベントのステップ〔２２〕においてこの処理が実行される。
【００６０】
ここでパノラマ画像の作成処理の詳細について図５を用いて説明する。なおこの例では、処理の手順が、内部カウンタ（Ｐａｎｏ ｃｎｔ）に従って行われるものである。
【００６１】
そこでまずステップ〔３１〕〔３２〕で内部カウンタ（Ｐａｎｏ ｃｎｔ）の値が判断される。ここで（Ｐａｎｏ ｃｎｔ＝１）のときは、ステップ〔３１〕からステップ〔３３〕に進められて、撮像装置１０の画角を最広角に設定するようにレンズブロック部１１のモータ１６を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。なお、画角が最広角に設定されることで、より少ない回数の画像取得でパノラマ画像が形成される。
【００６２】
また、（Ｐａｎｏ ｃｎｔ＝２）のときは、ステップ〔３２〕からステップ〔３４〕に進められて、撮像装置１０の撮像範囲をパノラマ画像の作成処理で最初に画像取得を行う位置に設定するように、回転雲台５０のモータ５１、５２を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。
【００６３】
さらに（Ｐａｎｏ ｃｎｔ）が３以上のときは、ステップ〔３５〕〔３６〕で上述のステップ〔３３〕〔３４〕で設定されたズーム位置及び撮像範囲に移動されたことが確認される。そしてこれらの設定位置に到達した場合には、ステップ〔３７〕で最初の画像取得が行われる。さらにステップ〔３８〕で次の画像取得位置に回転雲台５０のモータ５１、５２を駆動する処理が行われる。
【００６４】
また、ステップ〔３９〕で先に取得した画像の水平、垂直方向への圧縮処理等が行われ、ステップ〔４０〕でパノラマ画像の作成状況がモニタ６０の表示領域６２に表示される。さらにステップ〔４１〕で（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われ、ステップ〔４２〕でパノラマ画像が完成されたか否か判断され、完成していないときは以上の動作が繰り返される。
【００６５】
そしてステップ〔４２〕でパノラマ画像が完成されると、ステップ〔４３〕でパノラマ作成要求（Ｆｌａｇ ｐａ）が無し（Ｆｌａｇ ｐａ＝Ｆａｌｓｅ）にされると共に、ステップ〔４４〕で完成されたパノラマ画像が保存されて、動作が終了される。
【００６６】
このようにして、例えば回転雲台５０によって撮像装置１０の撮像範囲が順次移動されながら取得された画像が圧縮処理されながら連結されて、パノラマ画像が形成される。なお、ここで回転雲台５０は、指令される目標位置に対して常に同じ方向から進入するように動作される。これによって、例えば画像の連結の際に発生し得る駆動系の機構の遊び（ギアのバックラッシュ等）による連結画像のずれを補正することができるものである。
【００６７】
そしてこの装置において、上述のパノラマ画像の形成で連結される元の映像信号は、撮像条件が一定でないために、そのまま連結すると露出やホワイトバランス等が部分によって不揃いになり、画質の均一なパノラマ画像を得ることができない。そこで上述の装置においては、コンピュータ装置３０の画像処理装置３３において画像処理を施し、画質の均一なパノラマ画像を得るようにしている。
【００６８】
すなわち図６は、そのための画像処理の一例を示すものである。この図６において、パノラマ画像を形成する各撮像信号には、それぞれの撮像時刻や、位置情報レンズ制御情報、露出制御情報、ホワイトバランス制御情報、画質制御情報等の撮像条件が付属して記憶されている。
【００６９】
そこで図６のＡに示すような連結される各映像信号から、例えば平均輝度情報を抽出し、それぞれの撮像条件に応じた重み付けをした後、予め設定されている基準輝度と比較して、各画素の補正量を決定（図６のＢ）する。この補正を実行することによって、パノラマ画像の全体としての露出が均一にされる。
【００７０】
さらにその後、例えば一定以上の輝度を持つ画素の赤（Ｒ）緑（Ｇ）青（Ｂ）の積分を求め、白からのずれ量を算出して、各画素に対してのホワイトバランスの調整（図６のＣ）を行う。これによって、例えば図６のＤに示すような画質の均一なパノラマ画像を得ることができる。
【００７１】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、その際の撮像時刻及び／または撮像条件を記憶することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【００７２】
これによって、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができる。
【００７３】
さらに上述の装置において、作成されたパノラマ画像は、上述のコンピュータモニタ６０のパノラマ画像の表示領域６２に表示される。この場合にモニタ６０上には、上述の表示領域６１、６２と共に、例えば図７に示すような操作ボタン６３が表示される。
【００７４】
そしてこのようなコンピュータモニタ６０上において、使用者が、ポインティングデバイス（マウス）等の入力手段によって表示領域６２中の任意の画素を指示すると、例えば表示領域６２の左上隅を原点として指示された画素の座標が取得され、取得された指示点の座標がコンピュータ装置３０に転送される。
【００７５】
そこでコンピュータ装置３０では、転送された座標から指示点の画素を含む撮像領域を判別し、この撮像領域の座標と移動命令がモードコントローラ４２に送信される。これによってモードコントローラ４２では、上述のタイマーイベントのステップ〔１４〕で受信されたデータが解析処理され、この解析されたデータに従って回転雲台５０を駆動して、指示された画素を含む目標の撮像領域を撮像するように制御が行われる。
【００７６】
すなわち使用者は、例えばコンピュータモニタ６０上のパノラマ画像を確認しながら、ポインティングデバイス（マウス）等の入力手段を利用して、詳しく観察したい場所を指示する。この指示によって、撮像装置１０は回転雲台５０により指示された方向に向けられ、その場所の現在の映像が撮像映像の表示領域６１に表示される。
【００７７】
そして使用者は、この撮像映像の表示領域６１に表示される画像を観察しながら、記録したい映像になったらモニタ６０上の操作ボタン６３の記録開始ボタンをポインティングデバイス（マウス）等で押すことによって、必要な映像をハードディスク等の記憶装置３２に記憶（保存）することができる。
【００７８】
なおこの保存される映像は、使用者が記録開始ボタンを押した瞬間の静止画であってもよいし、また任意の操作ボタン６３の操作によって所望の長さの動画を保存することもできる。あるいは記憶装置３２の容量に余裕がない場合には、静止画を利用した間欠動画を保存してもよい。そして、これらの静止画、動画、間欠動画の記憶（保存）の際にも、上述の撮像時刻や撮像条件のデータが付属して記憶される。
【００７９】
そこで、さらにこのようにして記憶（保存）された映像を用いてのパノラマ画像の作成が次のようにして行われる。
【００８０】
すなわち、上述の図７に示すようなコンピュータモニタ６０の表示において、使用者が、ポインティングデバイス（マウス）等の入力手段によって表示領域６２中の任意の画素を指示すると、例えば表示領域６２の左上隅を原点として指示された画素の座標が取得され、取得された指示点の座標がコンピュータ装置３０に転送される。
【００８１】
そこでコンピュータ装置３０では、転送された座標から指示点の画素を含む撮像領域を判別し、この撮像領域を含む部分画像が保存されている場合には、パノラマ画像上にその領域を例えば着色された境界線で囲う等によって表示すると共に、そこに保存された画像を表示する。これによってパノラマ画像上で所望の領域の保存画像を見ることができる。
【００８２】
この場合に、パノラマ画像上では画像は圧縮されて表示されるので、詳細に見たい場合には表示領域６２外に拡大して表示することもできる。その場合には、例えば撮像映像の表示領域６１への表示や、拡大補完してモニタ６０の画面全体に表示することもできる。
【００８３】
また、上述の指示された同一の領域に複数の画像が保存されている場合には、例えばモニタ６０上の操作ボタン６３の操作によって所望の画像を検索することができる。この場合に画像の検索は、上述の映像信号と共に記憶された撮像時刻や撮像条件等を指定して行うことができる。
【００８４】
さらに上述のパノラマ画像上で保存画像を見る場合に、指定された領域の画像を単純にパノラマ画像に重ねて表示すると、その撮影条件に差異がある場合に不自然な画像となってしまう。そこでそのような場合には、上述の図６に示したと同様の処理を行うことで、画質の均一なパノラマ画像を得ることができる。
【００８５】
従ってこの装置において、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができる。
【００８６】
これによって、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また例えば指示された部分領域の映像信号を嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができる。
【００８７】
なお、上述の装置において、上述の図３のステップ〔３０〕におけるパノラマ作成要求（Ｆｌａｇ ｐａ）の設定は、例えば使用者がモニタ６０上に示されるボタンを操作したり、いわゆるリモートコントロールによって行うこともできるが、さらに撮影時刻の指定による設定や、画像認識（処理）、各種のセンサの検知等によって自動的に設定が行われるようにすることもできる。
【００８８】
すなわち、例えば撮影時刻の指定による設定を行う場合には、例えば図１のコンピュータ装置３０に付属されるキーボードやいわゆるマウス等のポインティングデバイス等の入力装置３５によってパノラマ撮影を行う時刻を設定することにより、その時刻が記憶装置３２に保存される。
【００８９】
そして例えば図２のイベント判定のステップ〔３〕において、コンピュータ装置３０に内蔵された時計（図示せず）と保存された設定時刻とを比較し、両者が一致したときにパノラマ画像の作成要求が指令され、撮影が行われる。なお、時刻は複数を設定したり、また一定の時間間隔を指示することによって、自動的に連続撮影を行うことも可能である。
【００９０】
あるいは、撮像装置１０から得られる映像情報を現在と過去とで比較して、その差異を検出して自動的にパノラマ画像の作成要求が指令されるようにすることもできる。ここで得られる映像情報とは、画像の輝度、色差、輪郭、カラーバランス等である。
【００９１】
そこで例えば輝度情報を利用する方法では、撮像装置１０から現在映出されている画像の部分の輝度平均が、撮影されて記憶装置３２に保存されているパノラマ画像の一部分の輝度平均と比較される。そしてその差が一定以上に開いたときにパノラマ画像の作成要求が指令され、撮影が行われる。そして作成されたパノラマ画像は直ちに、モニタ６０等に映出される。
【００９２】
なおこの方法では、風景等の撮影において、時間経過と共に周囲の明るさが変化しているような場合に、自動的にパノラマ画像が撮影更新されるので、常に現在の撮像装置１０で撮像されている映像に近いパノラマ画像を提供することが可能となるものである。
【００９３】
また、例えば図８に示すように、撮像装置１０で撮像されている被写体について代表点を指定し、その輝度と色差情報を組み合わせてモデル化して、その位置情報と共に記憶装置３２に保存する。そして同一の範囲を撮像装置１０により常に撮像し、被写体モデルの位置座標に差異が生じたときにパノラマ画像の作成要求が指令され、撮影を行うことが可能である。
【００９４】
すなわち図８のＡにおいて、元の被写体モデルの位置座標（Ｘ０、Ｙ０）が、図８のＢに示すように位置座標（Ｘ１、Ｙ１）になったときに、Ｘ０≠Ｘ１またはＹ０≠Ｙ１を判断して、図８のＣに示すように被写体が移動したと認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。この方法によって、上述の装置を動態監視システムとして利用することができる。
【００９５】
この他、マイクロフォンのような音声情報を得られる手段を備え、音声の検出に伴ってパノラマ画像の作成要求を指令して撮影を開始することも可能である。この場合には、例えば図９に示すように、撮像装置１０が回転雲台５０等の駆動手段によって移動されて撮像可能な範囲に、例えば指向性マイクロフォンを複数設置する。これらの指向性マイクロフォンで収音された音声情報が図１のコンピュータ装置３０に入力される。
【００９６】
そしてこのコンピュータ装置３０では、マイクロフォンで収音された音声情報の中に特定の音声情報を検出すると、パノラマ画像の作成要求を指令すると共に、その音声情報を検出したマイクロフォンの指向性がどの方向であるか記憶し、必要ならばその方向から撮影を行ってパノラマ画像を更新することができる。
【００９７】
このようにして、特定の音声情報の検出によって被写体の変化を認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。またこの方法では、同様に光センサや焦電センサ等の各種センサを用いて、それぞれ必要に応じた検出と、パノラマ画像の更新を行うことができるものである。
【００９８】
さらに上述の図１の装置において、記録手段としての記憶装置３２を設けたことによって、この装置は記録装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号と共に、その撮像の際の撮像時刻や撮像条件が記録されるものである。
【００９９】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができるものである。
【０１００】
さらに上述の図１の装置において、映像信号の処理手段としての画像処理装置３３を設けたことによって、この装置は処理装置として実施することができる。なおこの場合に画像処理装置３３では、撮像装置１０からの映像信号を連結してパノラマ画像を形成すると共に、撮像時刻や撮像条件等の変化に対して連結される映像信号の補正を行うものである。
【０１０１】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で形成することができるものである。
【０１０２】
さらに上述の図１の装置において、表示手段としてのコンピュータモニタ６０を設けたことによって、この装置は表示装置として実施することができる。
【０１０３】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【０１０４】
さらに上述の図１の装置において、再生手段としての記憶装置３２を設けたことによって、この装置は再生装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号と、その撮像の際の撮像時刻や撮像条件が記録されて再生されるものである。
【０１０５】
従ってこの装置において、撮像範囲が順次変化された映像信号、その撮像の際の撮像時刻や撮像条件を再生し、この再生映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができるものである。
【０１０６】
さらに上述の図１の装置において、コンピュータ装置３０からコンピュータモニタ６０に送られる信号をモデム（図示せず）を介して、例えばインターネットのようなコンピュータネットワークに送出することによって、この装置は伝送装置として実施することができる。
【０１０７】
すなわちこのようなコンピュータネットワークにおいて、遠隔地に設置された撮像装置１０〜コンピュータ装置３０〜回転雲台５０の構成に対して、任意のコンピュータ装置と表示装置とモデムを有する使用者側の装置からネットワークを通じてアクセスを行う。これによって、その時の撮像画像と、例えばコンピュータ装置３０の記憶装置３２に保存されているパノラマ画像を、例えば図１のモニタ６０と同様の画面構成で使用者側の表示装置に得ることができる。
【０１０８】
従ってこの装置において、遠隔地に設置された撮像手段で撮像された映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【０１０９】
さらに上述の図１の装置において、記憶装置３２の記録媒体を着脱自在のものとし、この記録媒体を取り出すことによって、この装置は記録媒体として実施することができる。
【０１１０】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、この記録媒体を再生し連結することで、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるものである。
【０１１１】
またこれらの装置において、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【０１１２】
さらに上述の装置において、撮像の際の撮像時刻及び／または撮像条件等の情報を、撮像された映像信号と共に記憶する際には、例えば図１０のＡに示すように、通常の画像形式の先頭にこれらの情報を付加して保存する。あるいは、同図のＢに示すように、各映像のファイルとは別に、撮像時刻及び／または撮像条件等の情報だけをまとめて記憶し、各映像ファイルと対応づける方法を用いることができる。
【０１１３】
なお、上述の装置においては、例えば撮像装置１０の１台を回転雲台５０によって撮像範囲を変化させてパノラマ画像の撮像を行うこととしたが、これはこのような手段に限られるものではない。すなわち、このようなパノラマ画像の撮像を行う手段としては、例えばデジタル静止画カメラを用いて撮像された一連の映像を基に、あるいはビデオカメラにより撮像された動画像を基にパノラマ画像を作成することができる。
【０１１４】
また、回転雲台５０を用いる代わりに、例えば複数台の撮像装置をパノラマ画像を形成する各方向に向けて配置し、これらの撮像装置からの映像信号を順次切り換えて駆動手段としても、同様の映像信号の取得を行うことができるものである。
【０１１５】
さらに上述の装置においては、記憶された撮像時刻や撮像条件等の情報を用いて撮像された映像信号の検索を迅速且つ容易に行うことができる。これによって、例えば上述のモニタ６０上の操作ボタン６３の操作によって所望の画像を検索する場合にも、検索を極めて円滑に行うことができるものである。
【図面の簡単な説明】
【０１１６】
【図１】本発明の適用される撮像、表示装置の一例のシステム全体の構成図である。
【図２】その動作の説明のためのフローチャート図である。
【図３】その動作の説明のためのフローチャート図である。
【図４】その動作の説明のためのフローチャート図である。
【図５】その動作の説明のためのフローチャート図である。
【図６】その説明のための図である。
【図７】その説明のための図である。
【図８】その説明のための図である。
【図９】その説明のための図である。
【図１０】その説明のための図である。
【符号の説明】
【０１１７】
１０…撮像装置、１１…レンズブロック部、１２…ＣＣＤ、１３…信号分離／自動利得制御装置、１４…Ａ／Ｄ変換装置、１５…信号処理装置、１６…ズーム用ステッピングモータ、２０…テレビジョンモニタ、３０…コンピュータ、３１…ビデオキャプチャーボード、３２…記憶装置、３３…画像処理装置、３４…制御装置、３５…入力装置、４１…カメラコントローラ、４２…モードコントローラ、４３…パンチルタコントローラ、５０…回転雲台、５１…パン用ステッピングモータ、５２…チルト用ステッピングモータ、６０…コンピュータモニタ、６１…撮像映像の表示領域、６２…パノラマ画像の表示領域
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばコンピュータネットワークを利用して遠隔地からの観視を行う際に使用して好適な撮像装置及び表示装置に関するものである。
【背景技術】
【０００２】
事象の観察や監視、案内等の目的で、遠隔地からの画像を例えばコンピュータネットワーク（インターネット）を利用して観視を行うことが考えられている。そのような遠隔地からの観視を行う場合に、水平方向の画角を広げたいわゆるパノラマ画像が観視には好適である。
【０００３】
そこでこのようなパノラマ画像を得る方法としては、例えば広角系のレンズを用いる方法が知られているが、一般的に広角系のレンズは高価であり、また通常の広角系のレンズでは垂直方向の画角も広げられるために、パノラマ画像の範囲の走査線数が減少し解像度が低下してしまう恐れがある。
【０００４】
これに対して、パノラマ画像を予め撮像してハードディスク等の記憶装置に保存しておき、新たに撮像された画像をその中に嵌め込み合成してパノラマ画像を形成する方法が実施されている。しかしながらこの方法では、疑似的なパノラマ画像が形成されているに過ぎず、また、撮像時刻や撮像条件等の変化に対して、嵌め込み合成された新たな画像と保存画像との間で違和感を生じる等の問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この出願はこのような点に鑑みて成されたものであって、解決しようとする問題点は、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったというものである。
【課題を解決するための手段】
【０００６】
このため本発明においては、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、その際の撮像時刻及び／または撮像条件を記憶するようにしたものであって、これによれば、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【０００７】
さらに本発明においては、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正するようにしたものであって、これによれば、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができる。
【発明の効果】
【０００８】
請求項１の発明によれば、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像手段で撮像を行う際の撮像条件を撮像された映像信号と共に記憶する記憶手段と、映像信号毎に平均輝度情報を抽出し、映像信号毎の撮像条件に基づいて平均輝度情報の重み付けをし、重み付け後の平均輝度情報と基準輝度とを比較して映像信号を構成する各画素の補正量を決定し、補正実行後の映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有するパノラマ映像信号を形成する処理手段とを有することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるようになった。
【０００９】
請求項２の発明によれば、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像手段で撮像を行う際の撮像条件を撮像された映像信号と共に記憶する記憶手段と、映像信号毎に平均輝度情報を抽出し、映像信号毎の撮像条件に基づいて平均輝度情報の重み付けをし、重み付け後の平均輝度情報と基準輝度とを比較して映像信号を構成する各画素の補正量を決定し、補正実行後の映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有するパノラマ映像信号を形成する処理手段と、パノラマ映像信号を表示する表示手段とを有することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明を説明するに、図１は本発明を適用した装置の一例の構成を示すブロック図である。
【００１１】
この図１において、撮像手段としての撮像装置１０は全体としてビデオカメラを示し、被写体（図示せず）から到達する撮像光は、レンズブロック部１１のレンズ、絞り等を通して固体撮像素子、例えばＣＣＤ１２に結像される。そしてこのＣＣＤ１２で、任意の視野映像が映像信号に変換された後、信号分離（サンプルホールド：ＳＨ）／自動利得制御（ＡＧＣ）装置１３に与えられる。
【００１２】
信号分離／自動利得制御装置１３では、ＣＣＤ１２からの映像出力信号が、例えば所定の画素クロックに従ってサンプルホールドされると共に、例えばオートアイリス（ＡＥ）の制御信号によって所定のゲインを持つように自動利得制御が行われる。かくして得られた映像出力信号は、Ａ／Ｄ変換装置１４を介して信号処理装置１５に供給される。
【００１３】
信号処理装置１５では、入力されてきた信号が、輝度、色差、ビデオ信号といった各信号に変換され、映像信号としてテレビジョンモニタ２０や、パーソナルコンピュータ等の後述するコンピュータ装置３０のビデオキャプチャーボード３１に供給される。これによってこのビデオキャプチャーボード３１に供給された映像信号が、順次コンピュータ装置３０に取り込まれる。
【００１４】
また、撮像装置１０のレンズブロック部１１は、変倍用のレンズを駆動することによって撮像する画角を変化させることが可能なズームレンズである。そして後述するカメラコントローラ４１からの駆動命令によって、モータ、例えばズーム用ステッピングモータ１６が回転されて、上述の変倍用のレンズが駆動される如く構成されている。
【００１５】
カメラコントローラ４１は、撮像装置１０のレンズ制御（フォーカス、ズーム）、露出制御（絞り、ゲイン、電子シャッタースピード）、ホワイトバランス制御、画質制御等を常時行うと共に、モードコントローラ４２とのインターフェースが行われる。そして例えばズームの駆動要求に対しては、変倍用レンズを要求位置に駆動する制御信号がモータ１６の駆動回路（図示せず）に出力されると共に、変倍用レンズの位置情報が常時モードコントローラ４２に通信される。
【００１６】
さらに撮像装置１０は、駆動手段として例えばパン（左右）及びチルト（上下）といった２軸の回転方向の自由度を持つ装置、例えば回転雲台５０の上に設置される。そして後述するパンチルタコントローラ４３からの駆動命令によって、モータ、例えばパン用ステッピングモータ５１及びチルト用ステッピングモータ５２が回転されて、回転雲台５０が各方向に駆動される如く構成されている。
【００１７】
パンチルタコントローラ４３では、モードコントローラ４２とのインターフェースが行われる。そして例えばパン、チルトの各方向の駆動要求に対しては、回転雲台５０を要求された方向に駆動する制御信号がモータ５１、５２の駆動回路（図示せず）に出力されると共に、回転雲台５０の例えばパン、チルトの各方向の位置情報が常時モードコントローラ４２に通信される。
【００１８】
さらにモードコントローラ４２は、撮像装置１０及び回転雲台５０の内部状態や、装置外部からのインターフェース情報に従ってシステム全体の制御を行う。そしてこのモードコントローラ４２は、例えばＲＳ２３２Ｃによってコンピュータ装置３０に接続され、コンピュータ装置３０からの絶対位置駆動要求に対して制御が行われる。
【００１９】
すなわちモードコントローラ４２では、コンピュータ装置３０からの絶対位置駆動要求に対し、撮像装置１０でその位置を撮像するべく、レンズブロック部１１のモータ１６及び回転雲台５０のモータ５１、５２を駆動する駆動命令が、カメラコントローラ４１及びパンチルタコントローラ４３に振り分けられる。
【００２０】
それと共に、これらのコントローラ４１及び４３からの位置情報やレンズ制御情報、露出制御情報、ホワイトバランス制御情報、画質制御情報等の各種の撮影条件がモードコントローラ４２を通じてコンピュータ装置３０に送信される。
【００２１】
さらにこのコンピュータ装置３０には、記憶装置３２と画像処理装置３３と制御装置３４とが設けられ、これらの装置によってこのコンピュータ装置３０は、例えばパノラマ画像の形成のための映像信号処理手段、及び制御手段として使用される。このコンピュータ装置３０で形成された映像信号がコンピュータモニタ６０に供給されてユーザーインターフェースとされ、この管面上にグラフィック表示される画像を用いて内部処理の条件等が決定される。
【００２２】
さらに上述のビデオキャプチャーボード３１では、取り込まれた映像信号を任意のクォリティでモニタ６０に表示すると共に、キャプチャー信号により任意の画像フォーマット（例えばビットマップ形式、ＪＰＥＧ形式の静止画、動画等）に任意のクォリティでキャプチャーし、ハードディスク等の記憶装置３２に記憶することができる。
【００２３】
そしてこの際に、上述の映像信号がキャプチャーされた撮像時刻と、モードコントローラ４２から提供された上述の各種の撮影条件が、キャプチャーされた映像信号と共に記憶装置３２に記憶される。
【００２４】
さらにこのコンピュータ装置３０で実行される制御アルゴリズムについて図２を用いて説明する。
【００２５】
図２においてプログラムがスタートされると、まずステップ〔１〕で撮像映像とパノラマ画像の各々の表示領域をモニタ６０上に設定する処理が行われる。これによってモニタ６０上には、例えば図１中に示すように、撮像映像の表示領域６１と、パノラマ画像の表示領域６２とが設定される。そしてこの内の表示領域６１に例えば撮像装置１０から入力される映像信号が表示される。
【００２６】
さらにステップ〔２〕で、例えばモードコントローラ４２と周期的に通信を行うためのタイマーが設定される。そしてこれらの初期設定が完了すると、ステップ〔３〕で、各種の発生されるイベントの待機状態に推移される。なお発生されるイベントは、上述のステップ〔２〕で設定されたタイマーイベント（詳細は後述）と、後述のパノラマ画像の作成要求イベントである。
【００２７】
ここでタイマーイベントの詳細について図４を用いて説明する。なおこのタイマーイベントは、例えばモードコントローラ４２と周期的に通信を行うために発生されるイベントである。
【００２８】
そこでこのイベントが発生されると、ステップ〔１１〕で通信ポートの設定が完了しているか否か判断され、初回のみ通信ポートの設定が完了していないのでステップ〔１２〕で通信ポートの開設処理が行われる。なお、上述の装置では、通信ポートとして例えばコンピュータ装置３０上のＲＳ２３２Ｃポートの開設が行われる。
【００２９】
さらに２回目以降のタイマーイベントでは、ステップ〔１３〕で受信データの有無が判断され、受信データが有る時はステップ〔１４〕で受信データの解析処理が行われる。すなわちこのステップ〔１４〕では、例えばモードコントローラ４２との通信によって、レンズブロック部１１の変倍用レンズの位置情報、回転雲台５０のパン、チルトの各方向の位置情報が取得される。そしてこれらの情報からそれぞれズームの倍率情報、パン、チルトの角度情報が取り出される。
【００３０】
次にステップ〔１５〕では、データの転送要求（Ｆｌａｇ ｓｏ）の有無が確認される。そして転送要求が有る（Ｔｒｕｅ）のときは、データはすでに送信バッファに格納されているので、ステップ〔１６〕で直ちにこの送信バッファのデータを用いて転送処理が行われると共に、転送要求が無し（Ｆｌａｇ ｓｏ＝Ｆａｌｓｅ）にされる。
【００３１】
そしてステップ〔１５〕で転送要求が無い（Ｆａｌｓｅ）のときは、ステップ〔１７〕〔１８〕〔１９〕でそれぞれ内部カウンタ（ｒｅｑ ｃｎｔ）の値が判断される。ここで（ｒｅｑ ｃｎｔ＝０）のときは、ステップ〔１７〕からステップ〔２０〕に進められて、回転雲台５０のモータ５１、５２を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。
【００３２】
また（ｒｅｑ ｃｎｔ＝１）のときは、ステップ〔１８〕からステップ〔２１〕に進められて、レンズブロック部１１のモータ１６を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。また（ｒｅｑ ｃｎｔ＝２）のときは、ステップ〔１９〕からステップ〔２２〕に進められて、後述するパノラマ画像の作成処理が行われる。
【００３３】
そしてステップ〔２０〕〔２１〕が実行された後は、ステップ〔２３〕で（ｒｅｑ ｃｎｔ）をカウントアップする処理が行われる。またステップ〔２２〕が実行された後は、ステップ〔２４〕で（ｒｅｑ ｃｎｔ）を０に戻す処理が行われる。これによって、これらのステップ〔２０〕〔２１〕〔２２〕の処理が、各イベントの処理ごとに循環して実行される。
【００３４】
さらに上述のパノラマ画像の作成処理は以下に述べるようにして行われる。すなわちこのパノラマ画像の作成処理は、例えば図３に示すステップ〔３０〕において、パノラマ作成要求（Ｆｌａｇ ｐａ）が設定されることによって、上述のタイマーイベントのステップ〔２２〕においてこの処理が実行される。
【００３５】
ここでパノラマ画像の作成処理の詳細について図５を用いて説明する。なおこの例では、処理の手順が、内部カウンタ（Ｐａｎｏ ｃｎｔ）に従って行われるものである。
【００３６】
そこでまずステップ〔３１〕〔３２〕で内部カウンタ（Ｐａｎｏ ｃｎｔ）の値が判断される。ここで（Ｐａｎｏ ｃｎｔ＝１）のときは、ステップ〔３１〕からステップ〔３３〕に進められて、撮像装置１０の画角を最広角に設定するようにレンズブロック部１１のモータ１６を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。なお、画角が最広角に設定されることで、より少ない回数の画像取得でパノラマ画像が形成される。
【００３７】
また、（Ｐａｎｏ ｃｎｔ＝２）のときは、ステップ〔３２〕からステップ〔３４〕に進められて、撮像装置１０の撮像範囲をパノラマ画像の作成処理で最初に画像取得を行う位置に設定するように、回転雲台５０のモータ５１、５２を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。
【００３８】
さらに（Ｐａｎｏ ｃｎｔ）が３以上のときは、ステップ〔３５〕〔３６〕で上述のステップ〔３３〕〔３４〕で設定されたズーム位置及び撮像範囲に移動されたことが確認される。そしてこれらの設定位置に到達した場合には、ステップ〔３７〕で最初の画像取得が行われる。さらにステップ〔３８〕で次の画像取得位置に回転雲台５０のモータ５１、５２を駆動する処理が行われる。
【００３９】
また、ステップ〔３９〕で先に取得した画像の水平、垂直方向への圧縮処理等が行われ、ステップ〔４０〕でパノラマ画像の作成状況がモニタ６０の表示領域６２に表示される。さらにステップ〔４１〕で（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われ、ステップ〔４２〕でパノラマ画像が完成されたか否か判断され、完成していないときは以上の動作が繰り返される。
【００４０】
そしてステップ〔４２〕でパノラマ画像が完成されると、ステップ〔４３〕でパノラマ作成要求（Ｆｌａｇ ｐａ）が無し（Ｆｌａｇ ｐａ＝Ｆａｌｓｅ）にされると共に、ステップ〔４４〕で完成されたパノラマ画像が保存されて、動作が終了される。
【００４１】
このようにして、例えば回転雲台５０によって撮像装置１０の撮像範囲が順次移動されながら取得された画像が圧縮処理されながら連結されて、パノラマ画像が形成される。なお、ここで回転雲台５０は、指令される目標位置に対して常に同じ方向から進入するように動作される。これによって、例えば画像の連結の際に発生し得る駆動系の機構の遊び（ギアのバックラッシュ等）による連結画像のずれを補正することができるものである。
【００４２】
そしてこの装置において、上述のパノラマ画像の形成で連結される元の映像信号は、撮像条件が一定でないために、そのまま連結すると露出やホワイトバランス等が部分によって不揃いになり、画質の均一なパノラマ画像を得ることができない。そこで上述の装置においては、コンピュータ装置３０の画像処理装置３３において画像処理を施し、画質の均一なパノラマ画像を得るようにしている。
【００４３】
すなわち図６は、そのための画像処理の一例を示すものである。この図６において、パノラマ画像を形成する各撮像信号には、それぞれの撮像時刻や、位置情報レンズ制御情報、露出制御情報、ホワイトバランス制御情報、画質制御情報等の撮像条件が付属して記憶されている。
【００４４】
そこで図６のＡに示すような連結される各映像信号から、例えば平均輝度情報を抽出し、それぞれの撮像条件に応じた重み付けをした後、予め設定されている基準輝度と比較して、各画素の補正量を決定（図６のＢ）する。この補正を実行することによって、パノラマ画像の全体としての露出が均一にされる。
【００４５】
さらにその後、例えば一定以上の輝度を持つ画素の赤（Ｒ）緑（Ｇ）青（Ｂ）の積分を求め、白からのずれ量を算出して、各画素に対してのホワイトバランスの調整（図６のＣ）を行う。これによって、例えば図６のＤに示すような画質の均一なパノラマ画像を得ることができる。
【００４６】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、その際の撮像時刻及び／または撮像条件を記憶することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【００４７】
これによって、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができる。
【００４８】
さらに上述の装置において、作成されたパノラマ画像は、上述のコンピュータモニタ６０のパノラマ画像の表示領域６２に表示される。この場合にモニタ６０上には、上述の表示領域６１、６２と共に、例えば図７に示すような操作ボタン６３が表示される。
【００４９】
そしてこのようなコンピュータモニタ６０上において、使用者が、ポインティングデバイス（マウス）等の入力手段によって表示領域６２中の任意の画素を指示すると、例えば表示領域６２の左上隅を原点として指示された画素の座標が取得され、取得された指示点の座標がコンピュータ装置３０に転送される。
【００５０】
そこでコンピュータ装置３０では、転送された座標から指示点の画素を含む撮像領域を判別し、この撮像領域の座標と移動命令がモードコントローラ４２に送信される。これによってモードコントローラ４２では、上述のタイマーイベントのステップ〔１４〕で受信されたデータが解析処理され、この解析されたデータに従って回転雲台５０を駆動して、指示された画素を含む目標の撮像領域を撮像するように制御が行われる。
【００５１】
すなわち使用者は、例えばコンピュータモニタ６０上のパノラマ画像を確認しながら、ポインティングデバイス（マウス）等の入力手段を利用して、詳しく観察したい場所を指示する。この指示によって、撮像装置１０は回転雲台５０により指示された方向に向けられ、その場所の現在の映像が撮像映像の表示領域６１に表示される。
【００５２】
そして使用者は、この撮像映像の表示領域６１に表示される画像を観察しながら、記録したい映像になったらモニタ６０上の操作ボタン６３の記録開始ボタンをポインティングデバイス（マウス）等で押すことによって、必要な映像をハードディスク等の記憶装置３２に記憶（保存）することができる。
【００５３】
なおこの保存される映像は、使用者が記録開始ボタンを押した瞬間の静止画であってもよいし、また任意の操作ボタン６３の操作によって所望の長さの動画を保存することもできる。あるいは記憶装置３２の容量に余裕がない場合には、静止画を利用した間欠動画を保存してもよい。そして、これらの静止画、動画、間欠動画の記憶（保存）の際にも、上述の撮像時刻や撮像条件のデータが付属して記憶される。
【００５４】
そこで、さらにこのようにして記憶（保存）された映像を用いてのパノラマ画像の作成が次のようにして行われる。
【００５５】
すなわち、上述の図７に示すようなコンピュータモニタ６０の表示において、使用者が、ポインティングデバイス（マウス）等の入力手段によって表示領域６２中の任意の画素を指示すると、例えば表示領域６２の左上隅を原点として指示された画素の座標が取得され、取得された指示点の座標がコンピュータ装置３０に転送される。
【００５６】
そこでコンピュータ装置３０では、転送された座標から指示点の画素を含む撮像領域を判別し、この撮像領域を含む部分画像が保存されている場合には、パノラマ画像上にその領域を例えば着色された境界線で囲う等によって表示すると共に、そこに保存された画像を表示する。これによってパノラマ画像上で所望の領域の保存画像を見ることができる。
【００５７】
この場合に、パノラマ画像上では画像は圧縮されて表示されるので、詳細に見たい場合には表示領域６２外に拡大して表示することもできる。その場合には、例えば撮像映像の表示領域６１への表示や、拡大補完してモニタ６０の画面全体に表示することもできる。
【００５８】
また、上述の指示された同一の領域に複数の画像が保存されている場合には、例えばモニタ６０上の操作ボタン６３の操作によって所望の画像を検索することができる。この場合に画像の検索は、上述の映像信号と共に記憶された撮像時刻や撮像条件等を指定して行うことができる。
【００５９】
さらに上述のパノラマ画像上で保存画像を見る場合に、指定された領域の画像を単純にパノラマ画像に重ねて表示すると、その撮影条件に差異がある場合に不自然な画像となってしまう。そこでそのような場合には、上述の図６に示したと同様の処理を行うことで、画質の均一なパノラマ画像を得ることができる。
【００６０】
従ってこの装置において、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができる。
【００６１】
これによって、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また例えば指示された部分領域の映像信号を嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができる。
【００６２】
なお、上述の装置において、上述の図３のステップ〔３０〕におけるパノラマ作成要求（Ｆｌａｇ ｐａ）の設定は、例えば使用者がモニタ６０上に示されるボタンを操作したり、いわゆるリモートコントロールによって行うこともできるが、さらに撮影時刻の指定による設定や、画像認識（処理）、各種のセンサの検知等によって自動的に設定が行われるようにすることもできる。
【００６３】
すなわち、例えば撮影時刻の指定による設定を行う場合には、例えば図１のコンピュータ装置３０に付属されるキーボードやいわゆるマウス等のポインティングデバイス等の入力装置３５によってパノラマ撮影を行う時刻を設定することにより、その時刻が記憶装置３２に保存される。
【００６４】
そして例えば図２のイベント判定のステップ〔３〕において、コンピュータ装置３０に内蔵された時計（図示せず）と保存された設定時刻とを比較し、両者が一致したときにパノラマ画像の作成要求が指令され、撮影が行われる。なお、時刻は複数を設定したり、また一定の時間間隔を指示することによって、自動的に連続撮影を行うことも可能である。
【００６５】
あるいは、撮像装置１０から得られる映像情報を現在と過去とで比較して、その差異を検出して自動的にパノラマ画像の作成要求が指令されるようにすることもできる。ここで得られる映像情報とは、画像の輝度、色差、輪郭、カラーバランス等である。
【００６６】
そこで例えば輝度情報を利用する方法では、撮像装置１０から現在映出されている画像の部分の輝度平均が、撮影されて記憶装置３２に保存されているパノラマ画像の一部分の輝度平均と比較される。そしてその差が一定以上に開いたときにパノラマ画像の作成要求が指令され、撮影が行われる。そして作成されたパノラマ画像は直ちに、モニタ６０等に映出される。
【００６７】
なおこの方法では、風景等の撮影において、時間経過と共に周囲の明るさが変化しているような場合に、自動的にパノラマ画像が撮影更新されるので、常に現在の撮像装置１０で撮像されている映像に近いパノラマ画像を提供することが可能となるものである。
【００６８】
また、例えば図８に示すように、撮像装置１０で撮像されている被写体について代表点を指定し、その輝度と色差情報を組み合わせてモデル化して、その位置情報と共に記憶装置３２に保存する。そして同一の範囲を撮像装置１０により常に撮像し、被写体モデルの位置座標に差異が生じたときにパノラマ画像の作成要求が指令され、撮影を行うことが可能である。
【００６９】
すなわち図８のＡにおいて、元の被写体モデルの位置座標（Ｘ０、Ｙ０）が、図８のＢに示すように位置座標（Ｘ１、Ｙ１）になったときに、Ｘ０≠Ｘ１またはＹ０≠Ｙ１を判断して、図８のＣに示すように被写体が移動したと認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。この方法によって、上述の装置を動態監視システムとして利用することができる。
【００７０】
この他、マイクロフォンのような音声情報を得られる手段を備え、音声の検出に伴ってパノラマ画像の作成要求を指令して撮影を開始することも可能である。この場合には、例えば図９に示すように、撮像装置１０が回転雲台５０等の駆動手段によって移動されて撮像可能な範囲に、例えば指向性マイクロフォンを複数設置する。これらの指向性マイクロフォンで収音された音声情報が図１のコンピュータ装置３０に入力される。
【００７１】
そしてこのコンピュータ装置３０では、マイクロフォンで収音された音声情報の中に特定の音声情報を検出すると、パノラマ画像の作成要求を指令すると共に、その音声情報を検出したマイクロフォンの指向性がどの方向であるか記憶し、必要ならばその方向から撮影を行ってパノラマ画像を更新することができる。
【００７２】
このようにして、特定の音声情報の検出によって被写体の変化を認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。またこの方法では、同様に光センサや焦電センサ等の各種センサを用いて、それぞれ必要に応じた検出と、パノラマ画像の更新を行うことができるものである。
【００７３】
さらに上述の図１の装置において、記録手段としての記憶装置３２を設けたことによって、この装置は記録装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号と共に、その撮像の際の撮像時刻や撮像条件が記録されるものである。
【００７４】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができるものである。
【００７５】
さらに上述の図１の装置において、映像信号の処理手段としての画像処理装置３３を設けたことによって、この装置は処理装置として実施することができる。なおこの場合に画像処理装置３３では、撮像装置１０からの映像信号を連結してパノラマ画像を形成すると共に、撮像時刻や撮像条件等の変化に対して連結される映像信号の補正を行うものである。
【００７６】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で形成することができるものである。
【００７７】
さらに上述の図１の装置において、表示手段としてのコンピュータモニタ６０を設けたことによって、この装置は表示装置として実施することができる。
【００７８】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【００７９】
さらに上述の図１の装置において、再生手段としての記憶装置３２を設けたことによって、この装置は再生装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号と、その撮像の際の撮像時刻や撮像条件が記録されて再生されるものである。
【００８０】
従ってこの装置において、撮像範囲が順次変化された映像信号、その撮像の際の撮像時刻や撮像条件を再生し、この再生映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができるものである。
【００８１】
さらに上述の図１の装置において、コンピュータ装置３０からコンピュータモニタ６０に送られる信号をモデム（図示せず）を介して、例えばインターネットのようなコンピュータネットワークに送出することによって、この装置は伝送装置として実施することができる。
【００８２】
すなわちこのようなコンピュータネットワークにおいて、遠隔地に設置された撮像装置１０〜コンピュータ装置３０〜回転雲台５０の構成に対して、任意のコンピュータ装置と表示装置とモデムを有する使用者側の装置からネットワークを通じてアクセスを行う。これによって、その時の撮像画像と、例えばコンピュータ装置３０の記憶装置３２に保存されているパノラマ画像を、例えば図１のモニタ６０と同様の画面構成で使用者側の表示装置に得ることができる。
【００８３】
従ってこの装置において、遠隔地に設置された撮像手段で撮像された映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【００８４】
さらに上述の図１の装置において、記憶装置３２の記録媒体を着脱自在のものとし、この記録媒体を取り出すことによって、この装置は記録媒体として実施することができる。
【００８５】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、この記録媒体を再生し連結することで、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるものである。
【００８６】
またこれらの装置において、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００８７】
さらに上述の装置において、撮像の際の撮像時刻及び／または撮像条件等の情報を、撮像された映像信号と共に記憶する際には、例えば図１０のＡに示すように、通常の画像形式の先頭にこれらの情報を付加して保存する。あるいは、同図のＢに示すように、各映像のファイルとは別に、撮像時刻及び／または撮像条件等の情報だけをまとめて記憶し、各映像ファイルと対応づける方法を用いることができる。
【００８８】
なお、上述の装置においては、例えば撮像装置１０の１台を回転雲台５０によって撮像範囲を変化させてパノラマ画像の撮像を行うこととしたが、これはこのような手段に限られるものではない。すなわち、このようなパノラマ画像の撮像を行う手段としては、例えばデジタル静止画カメラを用いて撮像された一連の映像を基に、あるいはビデオカメラにより撮像された動画像を基にパノラマ画像を作成することができる。
【００８９】
また、回転雲台５０を用いる代わりに、例えば複数台の撮像装置をパノラマ画像を形成する各方向に向けて配置し、これらの撮像装置からの映像信号を順次切り換えて駆動手段としても、同様の映像信号の取得を行うことができるものである。
【００９０】
さらに上述の装置においては、記憶された撮像時刻や撮像条件等の情報を用いて撮像された映像信号の検索を迅速且つ容易に行うことができる。これによって、例えば上述のモニタ６０上の操作ボタン６３の操作によって所望の画像を検索する場合にも、検索を極めて円滑に行うことができるものである。
【図面の簡単な説明】
【００９１】
【図１】本発明の適用される撮像、表示装置の一例のシステム全体の構成図である。
【図２】その動作の説明のためのフローチャート図である。
【図３】その動作の説明のためのフローチャート図である。
【図４】その動作の説明のためのフローチャート図である。
【図５】その動作の説明のためのフローチャート図である。
【図６】その説明のための図である。
【図７】その説明のための図である。
【図８】その説明のための図である。
【図９】その説明のための図である。
【図１０】その説明のための図である。
【符号の説明】
【００９２】
１０…撮像装置、１１…レンズブロック部、１２…ＣＣＤ、１３…信号分離／自動利得制御装置、１４…Ａ／Ｄ変換装置、１５…信号処理装置、１６…ズーム用ステッピングモータ、２０…テレビジョンモニタ、３０…コンピュータ、３１…ビデオキャプチャーボード、３２…記憶装置、３３…画像処理装置、３４…制御装置、３５…入力装置、４１…カメラコントローラ、４２…モードコントローラ、４３…パンチルタコントローラ、５０…回転雲台、５１…パン用ステッピングモータ、５２…チルト用ステッピングモータ、６０…コンピュータモニタ、６１…撮像映像の表示領域、６２…パノラマ画像の表示領域
【技術分野】
【０００１】
本発明は、例えばコンピュータネットワークを利用して遠隔地からの観視を行う際に使用して好適な撮像、記憶、処理、表示、再生、伝送装置及び記録媒体に関するものである。
【背景技術】
【０００２】
事象の観察や監視、案内等の目的で、遠隔地からの画像を例えばコンピュータネットワーク（インターネット）を利用して観視を行うことが考えられている。そのような遠隔地からの観視を行う場合に、水平方向の画角を広げたいわゆるパノラマ画像が観視には好適である。
【０００３】
そこでこのようなパノラマ画像を得る方法としては、例えば広角系のレンズを用いる方法が知られているが、一般的に広角系のレンズは高価であり、また通常の広角系のレンズでは垂直方向の画角も広げられるために、パノラマ画像の範囲の走査線数が減少し解像度が低下してしまう恐れがある。
【０００４】
これに対して、パノラマ画像を予め撮像してハードディスク等の記憶装置に保存しておき、新たに撮像された画像をその中に嵌め込み合成してパノラマ画像を形成する方法が実施されている。しかしながらこの方法では、疑似的なパノラマ画像が形成されているに過ぎず、また、撮像時刻や撮像条件等の変化に対して、嵌め込み合成された新たな画像と保存画像との間で違和感を生じる等の問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この出願はこのような点に鑑みて成されたものであって、解決しようとする問題点は、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったというものである。
【課題を解決するための手段】
【０００６】
このため本発明においては、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、その際の撮像時刻及び／または撮像条件を記憶するようにしたものであって、これによれば、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【０００７】
さらに本発明においては、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正するようにしたものであって、これによれば、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができる。
【発明の効果】
【０００８】
請求項１の発明によれば、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、その際の撮像時刻及び／または撮像条件を記憶することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるようになった。
【０００９】
これによって、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができるものである。
【００１０】
請求項２〜５の発明によれば、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００１１】
請求項６の発明によれば、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができるものである。
【００１２】
請求項７〜１０の発明によれば、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００１３】
請求項１１の発明によれば、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で形成することができるものである。
【００１４】
請求項１２〜１５の発明によれば、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００１５】
請求項１６の発明によれば、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【００１６】
請求項１７〜２０の発明によれば、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００１７】
請求項２１の発明によれば、撮像範囲が順次変化された映像信号、その撮像の際の撮像時刻や撮像条件を再生し、この再生映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができるものである。
【００１８】
請求項２２〜２５の発明によれば、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００１９】
請求項２６の発明によれば、遠隔地に設置された撮像手段で撮像された映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【００２０】
請求項２７〜３０の発明によれば、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００２１】
請求項３１の発明によれば、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、この記録媒体を再生し連結することで、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるものである。
【００２２】
請求項３２〜３５の発明によれば、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００２３】
さらに本発明によれば、記憶された撮像時刻や撮像条件等の情報を用いて撮像された映像信号の検索を、迅速且つ容易に行うことができるものである。
【発明を実施するための最良の形態】
【００２４】
すなわち本発明は、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像された映像信号を記憶する記憶手段と、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段とを有し、撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を映像信号と共に記憶手段に記憶するものである。
【００２５】
また本発明は、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像された映像信号を記憶する記憶手段と、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段とを有し、撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を映像信号と共に記憶するものである。
【００２６】
また本発明は、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像された映像信号と共に撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を記憶する記憶手段とを有し、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成するものである。
【００２７】
また本発明は、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像された映像信号を記憶する記憶手段と、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段と、形成された映像信号を表示する表示手段とを有し、撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を映像信号と共に記憶手段に記憶すると共に、表示手段上で指示された映像信号の部分領域に撮像手段で撮像された映像信号を連結して映像信号を形成するものである。
【００２８】
また本発明は、撮像手段の動作が制御されて撮像された映像信号と共に撮像手段での撮像の行われた撮像時刻及び／または撮像条件の記録された記録媒体を再生する再生手段と、再生手段によって再生された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成するものである。
【００２９】
また本発明は、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像された映像信号と共に撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を記憶する記憶手段と、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段と、処理手段で形成された映像信号を伝送する伝送手段とからなるものである。
【００３０】
また本発明は、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段と映像信号を発生する撮像手段とを用いて、撮像手段で撮像された映像信号と共に撮像手段で撮像を行う際の撮像時刻及び／または撮像条件が記録されてなるものである。
【００３１】
さらに本発明は、撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、撮像時刻及び／または撮像条件の近い映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成するものである。
【００３２】
さらに本発明は、撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に撮像条件に従って映像信号を補正するものである。
【００３３】
さらに本発明は、撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、形成された映像信号を表示する表示手段上で指示された映像信号の部分領域に撮像手段で撮像された映像信号を連結して映像信号を形成するものである。
【００３４】
さらに本発明は、撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、撮像及び記憶された映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正するものである。
【００３５】
以下、図面を参照して本発明を説明するに、図１は本発明を適用した装置の一例の構成を示すブロック図である。
【００３６】
この図１において、撮像手段としての撮像装置１０は全体としてビデオカメラを示し、被写体（図示せず）から到達する撮像光は、レンズブロック部１１のレンズ、絞り等を通して固体撮像素子、例えばＣＣＤ１２に結像される。そしてこのＣＣＤ１２で、任意の視野映像が映像信号に変換された後、信号分離（サンプルホールド：ＳＨ）／自動利得制御（ＡＧＣ）装置１３に与えられる。
【００３７】
信号分離／自動利得制御装置１３では、ＣＣＤ１２からの映像出力信号が、例えば所定の画素クロックに従ってサンプルホールドされると共に、例えばオートアイリス（ＡＥ）の制御信号によって所定のゲインを持つように自動利得制御が行われる。かくして得られた映像出力信号は、Ａ／Ｄ変換装置１４を介して信号処理装置１５に供給される。
【００３８】
信号処理装置１５では、入力されてきた信号が、輝度、色差、ビデオ信号といった各信号に変換され、映像信号としてテレビジョンモニタ２０や、パーソナルコンピュータ等の後述するコンピュータ装置３０のビデオキャプチャーボード３１に供給される。これによってこのビデオキャプチャーボード３１に供給された映像信号が、順次コンピュータ装置３０に取り込まれる。
【００３９】
また、撮像装置１０のレンズブロック部１１は、変倍用のレンズを駆動することによって撮像する画角を変化させることが可能なズームレンズである。そして後述するカメラコントローラ４１からの駆動命令によって、モータ、例えばズーム用ステッピングモータ１６が回転されて、上述の変倍用のレンズが駆動される如く構成されている。
【００４０】
カメラコントローラ４１は、撮像装置１０のレンズ制御（フォーカス、ズーム）、露出制御（絞り、ゲイン、電子シャッタースピード）、ホワイトバランス制御、画質制御等を常時行うと共に、モードコントローラ４２とのインターフェースが行われる。そして例えばズームの駆動要求に対しては、変倍用レンズを要求位置に駆動する制御信号がモータ１６の駆動回路（図示せず）に出力されると共に、変倍用レンズの位置情報が常時モードコントローラ４２に通信される。
【００４１】
さらに撮像装置１０は、駆動手段として例えばパン（左右）及びチルト（上下）といった２軸の回転方向の自由度を持つ装置、例えば回転雲台５０の上に設置される。そして後述するパンチルタコントローラ４３からの駆動命令によって、モータ、例えばパン用ステッピングモータ５１及びチルト用ステッピングモータ５２が回転されて、回転雲台５０が各方向に駆動される如く構成されている。
【００４２】
パンチルタコントローラ４３では、モードコントローラ４２とのインターフェースが行われる。そして例えばパン、チルトの各方向の駆動要求に対しては、回転雲台５０を要求された方向に駆動する制御信号がモータ５１、５２の駆動回路（図示せず）に出力されると共に、回転雲台５０の例えばパン、チルトの各方向の位置情報が常時モードコントローラ４２に通信される。
【００４３】
さらにモードコントローラ４２は、撮像装置１０及び回転雲台５０の内部状態や、装置外部からのインターフェース情報に従ってシステム全体の制御を行う。そしてこのモードコントローラ４２は、例えばＲＳ２３２Ｃによってコンピュータ装置３０に接続され、コンピュータ装置３０からの絶対位置駆動要求に対して制御が行われる。
【００４４】
すなわちモードコントローラ４２では、コンピュータ装置３０からの絶対位置駆動要求に対し、撮像装置１０でその位置を撮像するべく、レンズブロック部１１のモータ１６及び回転雲台５０のモータ５１、５２を駆動する駆動命令が、カメラコントローラ４１及びパンチルタコントローラ４３に振り分けられる。
【００４５】
それと共に、これらのコントローラ４１及び４３からの位置情報やレンズ制御情報、露出制御情報、ホワイトバランス制御情報、画質制御情報等の各種の撮影条件がモードコントローラ４２を通じてコンピュータ装置３０に送信される。
【００４６】
さらにこのコンピュータ装置３０には、記憶装置３２と画像処理装置３３と制御装置３４とが設けられ、これらの装置によってこのコンピュータ装置３０は、例えばパノラマ画像の形成のための映像信号処理手段、及び制御手段として使用される。このコンピュータ装置３０で形成された映像信号がコンピュータモニタ６０に供給されてユーザーインターフェースとされ、この管面上にグラフィック表示される画像を用いて内部処理の条件等が決定される。
【００４７】
さらに上述のビデオキャプチャーボード３１では、取り込まれた映像信号を任意のクォリティでモニタ６０に表示すると共に、キャプチャー信号により任意の画像フォーマット（例えばビットマップ形式、ＪＰＥＧ形式の静止画、動画等）に任意のクォリティでキャプチャーし、ハードディスク等の記憶装置３２に記憶することができる。
【００４８】
そしてこの際に、上述の映像信号がキャプチャーされた撮像時刻と、モードコントローラ４２から提供された上述の各種の撮影条件が、キャプチャーされた映像信号と共に記憶装置３２に記憶される。
【００４９】
さらにこのコンピュータ装置３０で実行される制御アルゴリズムについて図２を用いて説明する。
【００５０】
図２においてプログラムがスタートされると、まずステップ〔１〕で撮像映像とパノラマ画像の各々の表示領域をモニタ６０上に設定する処理が行われる。これによってモニタ６０上には、例えば図１中に示すように、撮像映像の表示領域６１と、パノラマ画像の表示領域６２とが設定される。そしてこの内の表示領域６１に例えば撮像装置１０から入力される映像信号が表示される。
【００５１】
さらにステップ〔２〕で、例えばモードコントローラ４２と周期的に通信を行うためのタイマーが設定される。そしてこれらの初期設定が完了すると、ステップ〔３〕で、各種の発生されるイベントの待機状態に推移される。なお発生されるイベントは、上述のステップ〔２〕で設定されたタイマーイベント（詳細は後述）と、後述のパノラマ画像の作成要求イベントである。
【００５２】
ここでタイマーイベントの詳細について図４を用いて説明する。なおこのタイマーイベントは、例えばモードコントローラ４２と周期的に通信を行うために発生されるイベントである。
【００５３】
そこでこのイベントが発生されると、ステップ〔１１〕で通信ポートの設定が完了しているか否か判断され、初回のみ通信ポートの設定が完了していないのでステップ〔１２〕で通信ポートの開設処理が行われる。なお、上述の装置では、通信ポートとして例えばコンピュータ装置３０上のＲＳ２３２Ｃポートの開設が行われる。
【００５４】
さらに２回目以降のタイマーイベントでは、ステップ〔１３〕で受信データの有無が判断され、受信データが有る時はステップ〔１４〕で受信データの解析処理が行われる。すなわちこのステップ〔１４〕では、例えばモードコントローラ４２との通信によって、レンズブロック部１１の変倍用レンズの位置情報、回転雲台５０のパン、チルトの各方向の位置情報が取得される。そしてこれらの情報からそれぞれズームの倍率情報、パン、チルトの角度情報が取り出される。
【００５５】
次にステップ〔１５〕では、データの転送要求（Ｆｌａｇ ｓｏ）の有無が確認される。そして転送要求が有る（Ｔｒｕｅ）のときは、データはすでに送信バッファに格納されているので、ステップ〔１６〕で直ちにこの送信バッファのデータを用いて転送処理が行われると共に、転送要求が無し（Ｆｌａｇ ｓｏ＝Ｆａｌｓｅ）にされる。
【００５６】
そしてステップ〔１５〕で転送要求が無い（Ｆａｌｓｅ）のときは、ステップ〔１７〕〔１８〕〔１９〕でそれぞれ内部カウンタ（ｒｅｑ ｃｎｔ）の値が判断される。ここで（ｒｅｑ ｃｎｔ＝０）のときは、ステップ〔１７〕からステップ〔２０〕に進められて、回転雲台５０のモータ５１、５２を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。
【００５７】
また（ｒｅｑ ｃｎｔ＝１）のときは、ステップ〔１８〕からステップ〔２１〕に進められて、レンズブロック部１１のモータ１６を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。また（ｒｅｑ ｃｎｔ＝２）のときは、ステップ〔１９〕からステップ〔２２〕に進められて、後述するパノラマ画像の作成処理が行われる。
【００５８】
そしてステップ〔２０〕〔２１〕が実行された後は、ステップ〔２３〕で（ｒｅｑ ｃｎｔ）をカウントアップする処理が行われる。またステップ〔２２〕が実行された後は、ステップ〔２４〕で（ｒｅｑ ｃｎｔ）を０に戻す処理が行われる。これによって、これらのステップ〔２０〕〔２１〕〔２２〕の処理が、各イベントの処理ごとに循環して実行される。
【００５９】
さらに上述のパノラマ画像の作成処理は以下に述べるようにして行われる。すなわちこのパノラマ画像の作成処理は、例えば図３に示すステップ〔３０〕において、パノラマ作成要求（Ｆｌａｇ ｐａ）が設定されることによって、上述のタイマーイベントのステップ〔２２〕においてこの処理が実行される。
【００６０】
ここでパノラマ画像の作成処理の詳細について図５を用いて説明する。なおこの例では、処理の手順が、内部カウンタ（Ｐａｎｏ ｃｎｔ）に従って行われるものである。
【００６１】
そこでまずステップ〔３１〕〔３２〕で内部カウンタ（Ｐａｎｏ ｃｎｔ）の値が判断される。ここで（Ｐａｎｏ ｃｎｔ＝１）のときは、ステップ〔３１〕からステップ〔３３〕に進められて、撮像装置１０の画角を最広角に設定するようにレンズブロック部１１のモータ１６を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。なお、画角が最広角に設定されることで、より少ない回数の画像取得でパノラマ画像が形成される。
【００６２】
また、（Ｐａｎｏ ｃｎｔ＝２）のときは、ステップ〔３２〕からステップ〔３４〕に進められて、撮像装置１０の撮像範囲をパノラマ画像の作成処理で最初に画像取得を行う位置に設定するように、回転雲台５０のモータ５１、５２を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。
【００６３】
さらに（Ｐａｎｏ ｃｎｔ）が３以上のときは、ステップ〔３５〕〔３６〕で上述のステップ〔３３〕〔３４〕で設定されたズーム位置及び撮像範囲に移動されたことが確認される。そしてこれらの設定位置に到達した場合には、ステップ〔３７〕で最初の画像取得が行われる。さらにステップ〔３８〕で次の画像取得位置に回転雲台５０のモータ５１、５２を駆動する処理が行われる。
【００６４】
また、ステップ〔３９〕で先に取得した画像の水平、垂直方向への圧縮処理等が行われ、ステップ〔４０〕でパノラマ画像の作成状況がモニタ６０の表示領域６２に表示される。さらにステップ〔４１〕で（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われ、ステップ〔４２〕でパノラマ画像が完成されたか否か判断され、完成していないときは以上の動作が繰り返される。
【００６５】
そしてステップ〔４２〕でパノラマ画像が完成されると、ステップ〔４３〕でパノラマ作成要求（Ｆｌａｇ ｐａ）が無し（Ｆｌａｇ ｐａ＝Ｆａｌｓｅ）にされると共に、ステップ〔４４〕で完成されたパノラマ画像が保存されて、動作が終了される。
【００６６】
このようにして、例えば回転雲台５０によって撮像装置１０の撮像範囲が順次移動されながら取得された画像が圧縮処理されながら連結されて、パノラマ画像が形成される。なお、ここで回転雲台５０は、指令される目標位置に対して常に同じ方向から進入するように動作される。これによって、例えば画像の連結の際に発生し得る駆動系の機構の遊び（ギアのバックラッシュ等）による連結画像のずれを補正することができるものである。
【００６７】
そしてこの装置において、上述のパノラマ画像の形成で連結される元の映像信号は、撮像条件が一定でないために、そのまま連結すると露出やホワイトバランス等が部分によって不揃いになり、画質の均一なパノラマ画像を得ることができない。そこで上述の装置においては、コンピュータ装置３０の画像処理装置３３において画像処理を施し、画質の均一なパノラマ画像を得るようにしている。
【００６８】
すなわち図６は、そのための画像処理の一例を示すものである。この図６において、パノラマ画像を形成する各撮像信号には、それぞれの撮像時刻や、位置情報レンズ制御情報、露出制御情報、ホワイトバランス制御情報、画質制御情報等の撮像条件が付属して記憶されている。
【００６９】
そこで図６のＡに示すような連結される各映像信号から、例えば平均輝度情報を抽出し、それぞれの撮像条件に応じた重み付けをした後、予め設定されている基準輝度と比較して、各画素の補正量を決定（図６のＢ）する。この補正を実行することによって、パノラマ画像の全体としての露出が均一にされる。
【００７０】
さらにその後、例えば一定以上の輝度を持つ画素の赤（Ｒ）緑（Ｇ）青（Ｂ）の積分を求め、白からのずれ量を算出して、各画素に対してのホワイトバランスの調整（図６のＣ）を行う。これによって、例えば図６のＤに示すような画質の均一なパノラマ画像を得ることができる。
【００７１】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、その際の撮像時刻及び／または撮像条件を記憶することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【００７２】
これによって、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができる。
【００７３】
さらに上述の装置において、作成されたパノラマ画像は、上述のコンピュータモニタ６０のパノラマ画像の表示領域６２に表示される。この場合にモニタ６０上には、上述の表示領域６１、６２と共に、例えば図７に示すような操作ボタン６３が表示される。
【００７４】
そしてこのようなコンピュータモニタ６０上において、使用者が、ポインティングデバイス（マウス）等の入力手段によって表示領域６２中の任意の画素を指示すると、例えば表示領域６２の左上隅を原点として指示された画素の座標が取得され、取得された指示点の座標がコンピュータ装置３０に転送される。
【００７５】
そこでコンピュータ装置３０では、転送された座標から指示点の画素を含む撮像領域を判別し、この撮像領域の座標と移動命令がモードコントローラ４２に送信される。これによってモードコントローラ４２では、上述のタイマーイベントのステップ〔１４〕で受信されたデータが解析処理され、この解析されたデータに従って回転雲台５０を駆動して、指示された画素を含む目標の撮像領域を撮像するように制御が行われる。
【００７６】
すなわち使用者は、例えばコンピュータモニタ６０上のパノラマ画像を確認しながら、ポインティングデバイス（マウス）等の入力手段を利用して、詳しく観察したい場所を指示する。この指示によって、撮像装置１０は回転雲台５０により指示された方向に向けられ、その場所の現在の映像が撮像映像の表示領域６１に表示される。
【００７７】
そして使用者は、この撮像映像の表示領域６１に表示される画像を観察しながら、記録したい映像になったらモニタ６０上の操作ボタン６３の記録開始ボタンをポインティングデバイス（マウス）等で押すことによって、必要な映像をハードディスク等の記憶装置３２に記憶（保存）することができる。
【００７８】
なおこの保存される映像は、使用者が記録開始ボタンを押した瞬間の静止画であってもよいし、また任意の操作ボタン６３の操作によって所望の長さの動画を保存することもできる。あるいは記憶装置３２の容量に余裕がない場合には、静止画を利用した間欠動画を保存してもよい。そして、これらの静止画、動画、間欠動画の記憶（保存）の際にも、上述の撮像時刻や撮像条件のデータが付属して記憶される。
【００７９】
そこで、さらにこのようにして記憶（保存）された映像を用いてのパノラマ画像の作成が次のようにして行われる。
【００８０】
すなわち、上述の図７に示すようなコンピュータモニタ６０の表示において、使用者が、ポインティングデバイス（マウス）等の入力手段によって表示領域６２中の任意の画素を指示すると、例えば表示領域６２の左上隅を原点として指示された画素の座標が取得され、取得された指示点の座標がコンピュータ装置３０に転送される。
【００８１】
そこでコンピュータ装置３０では、転送された座標から指示点の画素を含む撮像領域を判別し、この撮像領域を含む部分画像が保存されている場合には、パノラマ画像上にその領域を例えば着色された境界線で囲う等によって表示すると共に、そこに保存された画像を表示する。これによってパノラマ画像上で所望の領域の保存画像を見ることができる。
【００８２】
この場合に、パノラマ画像上では画像は圧縮されて表示されるので、詳細に見たい場合には表示領域６２外に拡大して表示することもできる。その場合には、例えば撮像映像の表示領域６１への表示や、拡大補完してモニタ６０の画面全体に表示することもできる。
【００８３】
また、上述の指示された同一の領域に複数の画像が保存されている場合には、例えばモニタ６０上の操作ボタン６３の操作によって所望の画像を検索することができる。この場合に画像の検索は、上述の映像信号と共に記憶された撮像時刻や撮像条件等を指定して行うことができる。
【００８４】
さらに上述のパノラマ画像上で保存画像を見る場合に、指定された領域の画像を単純にパノラマ画像に重ねて表示すると、その撮影条件に差異がある場合に不自然な画像となってしまう。そこでそのような場合には、上述の図６に示したと同様の処理を行うことで、画質の均一なパノラマ画像を得ることができる。
【００８５】
従ってこの装置において、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができる。
【００８６】
これによって、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また例えば指示された部分領域の映像信号を嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができる。
【００８７】
なお、上述の装置において、上述の図３のステップ〔３０〕におけるパノラマ作成要求（Ｆｌａｇ ｐａ）の設定は、例えば使用者がモニタ６０上に示されるボタンを操作したり、いわゆるリモートコントロールによって行うこともできるが、さらに撮影時刻の指定による設定や、画像認識（処理）、各種のセンサの検知等によって自動的に設定が行われるようにすることもできる。
【００８８】
すなわち、例えば撮影時刻の指定による設定を行う場合には、例えば図１のコンピュータ装置３０に付属されるキーボードやいわゆるマウス等のポインティングデバイス等の入力装置３５によってパノラマ撮影を行う時刻を設定することにより、その時刻が記憶装置３２に保存される。
【００８９】
そして例えば図２のイベント判定のステップ〔３〕において、コンピュータ装置３０に内蔵された時計（図示せず）と保存された設定時刻とを比較し、両者が一致したときにパノラマ画像の作成要求が指令され、撮影が行われる。なお、時刻は複数を設定したり、また一定の時間間隔を指示することによって、自動的に連続撮影を行うことも可能である。
【００９０】
あるいは、撮像装置１０から得られる映像情報を現在と過去とで比較して、その差異を検出して自動的にパノラマ画像の作成要求が指令されるようにすることもできる。ここで得られる映像情報とは、画像の輝度、色差、輪郭、カラーバランス等である。
【００９１】
そこで例えば輝度情報を利用する方法では、撮像装置１０から現在映出されている画像の部分の輝度平均が、撮影されて記憶装置３２に保存されているパノラマ画像の一部分の輝度平均と比較される。そしてその差が一定以上に開いたときにパノラマ画像の作成要求が指令され、撮影が行われる。そして作成されたパノラマ画像は直ちに、モニタ６０等に映出される。
【００９２】
なおこの方法では、風景等の撮影において、時間経過と共に周囲の明るさが変化しているような場合に、自動的にパノラマ画像が撮影更新されるので、常に現在の撮像装置１０で撮像されている映像に近いパノラマ画像を提供することが可能となるものである。
【００９３】
また、例えば図８に示すように、撮像装置１０で撮像されている被写体について代表点を指定し、その輝度と色差情報を組み合わせてモデル化して、その位置情報と共に記憶装置３２に保存する。そして同一の範囲を撮像装置１０により常に撮像し、被写体モデルの位置座標に差異が生じたときにパノラマ画像の作成要求が指令され、撮影を行うことが可能である。
【００９４】
すなわち図８のＡにおいて、元の被写体モデルの位置座標（Ｘ０、Ｙ０）が、図８のＢに示すように位置座標（Ｘ１、Ｙ１）になったときに、Ｘ０≠Ｘ１またはＹ０≠Ｙ１を判断して、図８のＣに示すように被写体が移動したと認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。この方法によって、上述の装置を動態監視システムとして利用することができる。
【００９５】
この他、マイクロフォンのような音声情報を得られる手段を備え、音声の検出に伴ってパノラマ画像の作成要求を指令して撮影を開始することも可能である。この場合には、例えば図９に示すように、撮像装置１０が回転雲台５０等の駆動手段によって移動されて撮像可能な範囲に、例えば指向性マイクロフォンを複数設置する。これらの指向性マイクロフォンで収音された音声情報が図１のコンピュータ装置３０に入力される。
【００９６】
そしてこのコンピュータ装置３０では、マイクロフォンで収音された音声情報の中に特定の音声情報を検出すると、パノラマ画像の作成要求を指令すると共に、その音声情報を検出したマイクロフォンの指向性がどの方向であるか記憶し、必要ならばその方向から撮影を行ってパノラマ画像を更新することができる。
【００９７】
このようにして、特定の音声情報の検出によって被写体の変化を認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。またこの方法では、同様に光センサや焦電センサ等の各種センサを用いて、それぞれ必要に応じた検出と、パノラマ画像の更新を行うことができるものである。
【００９８】
さらに上述の図１の装置において、記録手段としての記憶装置３２を設けたことによって、この装置は記録装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号と共に、その撮像の際の撮像時刻や撮像条件が記録されるものである。
【００９９】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができるものである。
【０１００】
さらに上述の図１の装置において、映像信号の処理手段としての画像処理装置３３を設けたことによって、この装置は処理装置として実施することができる。なおこの場合に画像処理装置３３では、撮像装置１０からの映像信号を連結してパノラマ画像を形成すると共に、撮像時刻や撮像条件等の変化に対して連結される映像信号の補正を行うものである。
【０１０１】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で形成することができるものである。
【０１０２】
さらに上述の図１の装置において、表示手段としてのコンピュータモニタ６０を設けたことによって、この装置は表示装置として実施することができる。
【０１０３】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【０１０４】
さらに上述の図１の装置において、再生手段としての記憶装置３２を設けたことによって、この装置は再生装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号と、その撮像の際の撮像時刻や撮像条件が記録されて再生されるものである。
【０１０５】
従ってこの装置において、撮像範囲が順次変化された映像信号、その撮像の際の撮像時刻や撮像条件を再生し、この再生映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができるものである。
【０１０６】
さらに上述の図１の装置において、コンピュータ装置３０からコンピュータモニタ６０に送られる信号をモデム（図示せず）を介して、例えばインターネットのようなコンピュータネットワークに送出することによって、この装置は伝送装置として実施することができる。
【０１０７】
すなわちこのようなコンピュータネットワークにおいて、遠隔地に設置された撮像装置１０〜コンピュータ装置３０〜回転雲台５０の構成に対して、任意のコンピュータ装置と表示装置とモデムを有する使用者側の装置からネットワークを通じてアクセスを行う。これによって、その時の撮像画像と、例えばコンピュータ装置３０の記憶装置３２に保存されているパノラマ画像を、例えば図１のモニタ６０と同様の画面構成で使用者側の表示装置に得ることができる。
【０１０８】
従ってこの装置において、遠隔地に設置された撮像手段で撮像された映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【０１０９】
さらに上述の図１の装置において、記憶装置３２の記録媒体を着脱自在のものとし、この記録媒体を取り出すことによって、この装置は記録媒体として実施することができる。
【０１１０】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、この記録媒体を再生し連結することで、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるものである。
【０１１１】
またこれらの装置において、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【０１１２】
さらに上述の装置において、撮像の際の撮像時刻及び／または撮像条件等の情報を、撮像された映像信号と共に記憶する際には、例えば図１０のＡに示すように、通常の画像形式の先頭にこれらの情報を付加して保存する。あるいは、同図のＢに示すように、各映像のファイルとは別に、撮像時刻及び／または撮像条件等の情報だけをまとめて記憶し、各映像ファイルと対応づける方法を用いることができる。
【０１１３】
なお、上述の装置においては、例えば撮像装置１０の１台を回転雲台５０によって撮像範囲を変化させてパノラマ画像の撮像を行うこととしたが、これはこのような手段に限られるものではない。すなわち、このようなパノラマ画像の撮像を行う手段としては、例えばデジタル静止画カメラを用いて撮像された一連の映像を基に、あるいはビデオカメラにより撮像された動画像を基にパノラマ画像を作成することができる。
【０１１４】
また、回転雲台５０を用いる代わりに、例えば複数台の撮像装置をパノラマ画像を形成する各方向に向けて配置し、これらの撮像装置からの映像信号を順次切り換えて駆動手段としても、同様の映像信号の取得を行うことができるものである。
【０１１５】
さらに上述の装置においては、記憶された撮像時刻や撮像条件等の情報を用いて撮像された映像信号の検索を迅速且つ容易に行うことができる。これによって、例えば上述のモニタ６０上の操作ボタン６３の操作によって所望の画像を検索する場合にも、検索を極めて円滑に行うことができるものである。
【図面の簡単な説明】
【０１１６】
【図１】本発明の適用される撮像、表示装置の一例のシステム全体の構成図である。
【図２】その動作の説明のためのフローチャート図である。
【図３】その動作の説明のためのフローチャート図である。
【図４】その動作の説明のためのフローチャート図である。
【図５】その動作の説明のためのフローチャート図である。
【図６】その説明のための図である。
【図７】その説明のための図である。
【図８】その説明のための図である。
【図９】その説明のための図である。
【図１０】その説明のための図である。
【符号の説明】
【０１１７】
１０…撮像装置、１１…レンズブロック部、１２…ＣＣＤ、１３…信号分離／自動利得制御装置、１４…Ａ／Ｄ変換装置、１５…信号処理装置、１６…ズーム用ステッピングモータ、２０…テレビジョンモニタ、３０…コンピュータ、３１…ビデオキャプチャーボード、３２…記憶装置、３３…画像処理装置、３４…制御装置、３５…入力装置、４１…カメラコントローラ、４２…モードコントローラ、４３…パンチルタコントローラ、５０…回転雲台、５１…パン用ステッピングモータ、５２…チルト用ステッピングモータ、６０…コンピュータモニタ、６１…撮像映像の表示領域、６２…パノラマ画像の表示領域
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばコンピュータネットワークを利用して遠隔地からの観視を行う際に使用して好適な撮像装置及び表示装置に関するものである。
【背景技術】
【０００２】
事象の観察や監視、案内等の目的で、遠隔地からの画像を例えばコンピュータネットワーク（インターネット）を利用して観視を行うことが考えられている。そのような遠隔地からの観視を行う場合に、水平方向の画角を広げたいわゆるパノラマ画像が観視には好適である。
【０００３】
そこでこのようなパノラマ画像を得る方法としては、例えば広角系のレンズを用いる方法が知られているが、一般的に広角系のレンズは高価であり、また通常の広角系のレンズでは垂直方向の画角も広げられるために、パノラマ画像の範囲の走査線数が減少し解像度が低下してしまう恐れがある。
【０００４】
これに対して、パノラマ画像を予め撮像してハードディスク等の記憶装置に保存しておき、新たに撮像された画像をその中に嵌め込み合成してパノラマ画像を形成する方法が実施されている。しかしながらこの方法では、疑似的なパノラマ画像が形成されているに過ぎず、また、撮像時刻や撮像条件等の変化に対して、嵌め込み合成された新たな画像と保存画像との間で違和感を生じる等の問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この出願はこのような点に鑑みて成されたものであって、解決しようとする問題点は、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったというものである。
【課題を解決するための手段】
【０００６】
このため本発明においては、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、その際の撮像時刻及び／または撮像条件を記憶するようにしたものであって、これによれば、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【０００７】
さらに本発明においては、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正するようにしたものであって、これによれば、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができる。
【発明の効果】
【０００８】
請求項１の発明によれば、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像手段で撮像を行う際の撮像条件を撮像された映像信号と共に記憶する記憶手段と、映像信号毎に平均輝度情報を抽出し、映像信号毎の撮像条件に基づいて平均輝度情報の重み付けをし、重み付け後の平均輝度情報と基準輝度とを比較して映像信号を構成する各画素の補正量を決定し、補正実行後の映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有するパノラマ映像信号を形成する処理手段とを有することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるようになった。
【０００９】
請求項２の発明によれば、被写体を撮像して映像信号を発生する撮像手段と、撮像手段の動作を制御する制御手段と、撮像手段で撮像を行う際の撮像条件を撮像された映像信号と共に記憶する記憶手段と、映像信号毎に平均輝度情報を抽出し、映像信号毎の撮像条件に基づいて平均輝度情報の重み付けをし、重み付け後の平均輝度情報と基準輝度とを比較して映像信号を構成する各画素の補正量を決定し、補正実行後の映像信号を連結して撮像手段の一つの撮像範囲より広い画角を有するパノラマ映像信号を形成する処理手段と、パノラマ映像信号を表示する表示手段とを有することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明を説明するに、図１は本発明を適用した装置の一例の構成を示すブロック図である。
【００１１】
この図１において、撮像手段としての撮像装置１０は全体としてビデオカメラを示し、被写体（図示せず）から到達する撮像光は、レンズブロック部１１のレンズ、絞り等を通して固体撮像素子、例えばＣＣＤ１２に結像される。そしてこのＣＣＤ１２で、任意の視野映像が映像信号に変換された後、信号分離（サンプルホールド：ＳＨ）／自動利得制御（ＡＧＣ）装置１３に与えられる。
【００１２】
信号分離／自動利得制御装置１３では、ＣＣＤ１２からの映像出力信号が、例えば所定の画素クロックに従ってサンプルホールドされると共に、例えばオートアイリス（ＡＥ）の制御信号によって所定のゲインを持つように自動利得制御が行われる。かくして得られた映像出力信号は、Ａ／Ｄ変換装置１４を介して信号処理装置１５に供給される。
【００１３】
信号処理装置１５では、入力されてきた信号が、輝度、色差、ビデオ信号といった各信号に変換され、映像信号としてテレビジョンモニタ２０や、パーソナルコンピュータ等の後述するコンピュータ装置３０のビデオキャプチャーボード３１に供給される。これによってこのビデオキャプチャーボード３１に供給された映像信号が、順次コンピュータ装置３０に取り込まれる。
【００１４】
また、撮像装置１０のレンズブロック部１１は、変倍用のレンズを駆動することによって撮像する画角を変化させることが可能なズームレンズである。そして後述するカメラコントローラ４１からの駆動命令によって、モータ、例えばズーム用ステッピングモータ１６が回転されて、上述の変倍用のレンズが駆動される如く構成されている。
【００１５】
カメラコントローラ４１は、撮像装置１０のレンズ制御（フォーカス、ズーム）、露出制御（絞り、ゲイン、電子シャッタースピード）、ホワイトバランス制御、画質制御等を常時行うと共に、モードコントローラ４２とのインターフェースが行われる。そして例えばズームの駆動要求に対しては、変倍用レンズを要求位置に駆動する制御信号がモータ１６の駆動回路（図示せず）に出力されると共に、変倍用レンズの位置情報が常時モードコントローラ４２に通信される。
【００１６】
さらに撮像装置１０は、駆動手段として例えばパン（左右）及びチルト（上下）といった２軸の回転方向の自由度を持つ装置、例えば回転雲台５０の上に設置される。そして後述するパンチルタコントローラ４３からの駆動命令によって、モータ、例えばパン用ステッピングモータ５１及びチルト用ステッピングモータ５２が回転されて、回転雲台５０が各方向に駆動される如く構成されている。
【００１７】
パンチルタコントローラ４３では、モードコントローラ４２とのインターフェースが行われる。そして例えばパン、チルトの各方向の駆動要求に対しては、回転雲台５０を要求された方向に駆動する制御信号がモータ５１、５２の駆動回路（図示せず）に出力されると共に、回転雲台５０の例えばパン、チルトの各方向の位置情報が常時モードコントローラ４２に通信される。
【００１８】
さらにモードコントローラ４２は、撮像装置１０及び回転雲台５０の内部状態や、装置外部からのインターフェース情報に従ってシステム全体の制御を行う。そしてこのモードコントローラ４２は、例えばＲＳ２３２Ｃによってコンピュータ装置３０に接続され、コンピュータ装置３０からの絶対位置駆動要求に対して制御が行われる。
【００１９】
すなわちモードコントローラ４２では、コンピュータ装置３０からの絶対位置駆動要求に対し、撮像装置１０でその位置を撮像するべく、レンズブロック部１１のモータ１６及び回転雲台５０のモータ５１、５２を駆動する駆動命令が、カメラコントローラ４１及びパンチルタコントローラ４３に振り分けられる。
【００２０】
それと共に、これらのコントローラ４１及び４３からの位置情報やレンズ制御情報、露出制御情報、ホワイトバランス制御情報、画質制御情報等の各種の撮影条件がモードコントローラ４２を通じてコンピュータ装置３０に送信される。
【００２１】
さらにこのコンピュータ装置３０には、記憶装置３２と画像処理装置３３と制御装置３４とが設けられ、これらの装置によってこのコンピュータ装置３０は、例えばパノラマ画像の形成のための映像信号処理手段、及び制御手段として使用される。このコンピュータ装置３０で形成された映像信号がコンピュータモニタ６０に供給されてユーザーインターフェースとされ、この管面上にグラフィック表示される画像を用いて内部処理の条件等が決定される。
【００２２】
さらに上述のビデオキャプチャーボード３１では、取り込まれた映像信号を任意のクォリティでモニタ６０に表示すると共に、キャプチャー信号により任意の画像フォーマット（例えばビットマップ形式、ＪＰＥＧ形式の静止画、動画等）に任意のクォリティでキャプチャーし、ハードディスク等の記憶装置３２に記憶することができる。
【００２３】
そしてこの際に、上述の映像信号がキャプチャーされた撮像時刻と、モードコントローラ４２から提供された上述の各種の撮影条件が、キャプチャーされた映像信号と共に記憶装置３２に記憶される。
【００２４】
さらにこのコンピュータ装置３０で実行される制御アルゴリズムについて図２を用いて説明する。
【００２５】
図２においてプログラムがスタートされると、まずステップ〔１〕で撮像映像とパノラマ画像の各々の表示領域をモニタ６０上に設定する処理が行われる。これによってモニタ６０上には、例えば図１中に示すように、撮像映像の表示領域６１と、パノラマ画像の表示領域６２とが設定される。そしてこの内の表示領域６１に例えば撮像装置１０から入力される映像信号が表示される。
【００２６】
さらにステップ〔２〕で、例えばモードコントローラ４２と周期的に通信を行うためのタイマーが設定される。そしてこれらの初期設定が完了すると、ステップ〔３〕で、各種の発生されるイベントの待機状態に推移される。なお発生されるイベントは、上述のステップ〔２〕で設定されたタイマーイベント（詳細は後述）と、後述のパノラマ画像の作成要求イベントである。
【００２７】
ここでタイマーイベントの詳細について図４を用いて説明する。なおこのタイマーイベントは、例えばモードコントローラ４２と周期的に通信を行うために発生されるイベントである。
【００２８】
そこでこのイベントが発生されると、ステップ〔１１〕で通信ポートの設定が完了しているか否か判断され、初回のみ通信ポートの設定が完了していないのでステップ〔１２〕で通信ポートの開設処理が行われる。なお、上述の装置では、通信ポートとして例えばコンピュータ装置３０上のＲＳ２３２Ｃポートの開設が行われる。
【００２９】
さらに２回目以降のタイマーイベントでは、ステップ〔１３〕で受信データの有無が判断され、受信データが有る時はステップ〔１４〕で受信データの解析処理が行われる。すなわちこのステップ〔１４〕では、例えばモードコントローラ４２との通信によって、レンズブロック部１１の変倍用レンズの位置情報、回転雲台５０のパン、チルトの各方向の位置情報が取得される。そしてこれらの情報からそれぞれズームの倍率情報、パン、チルトの角度情報が取り出される。
【００３０】
次にステップ〔１５〕では、データの転送要求（Ｆｌａｇ ｓｏ）の有無が確認される。そして転送要求が有る（Ｔｒｕｅ）のときは、データはすでに送信バッファに格納されているので、ステップ〔１６〕で直ちにこの送信バッファのデータを用いて転送処理が行われると共に、転送要求が無し（Ｆｌａｇ ｓｏ＝Ｆａｌｓｅ）にされる。
【００３１】
そしてステップ〔１５〕で転送要求が無い（Ｆａｌｓｅ）のときは、ステップ〔１７〕〔１８〕〔１９〕でそれぞれ内部カウンタ（ｒｅｑ ｃｎｔ）の値が判断される。ここで（ｒｅｑ ｃｎｔ＝０）のときは、ステップ〔１７〕からステップ〔２０〕に進められて、回転雲台５０のモータ５１、５２を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。
【００３２】
また（ｒｅｑ ｃｎｔ＝１）のときは、ステップ〔１８〕からステップ〔２１〕に進められて、レンズブロック部１１のモータ１６を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。また（ｒｅｑ ｃｎｔ＝２）のときは、ステップ〔１９〕からステップ〔２２〕に進められて、後述するパノラマ画像の作成処理が行われる。
【００３３】
そしてステップ〔２０〕〔２１〕が実行された後は、ステップ〔２３〕で（ｒｅｑ ｃｎｔ）をカウントアップする処理が行われる。またステップ〔２２〕が実行された後は、ステップ〔２４〕で（ｒｅｑ ｃｎｔ）を０に戻す処理が行われる。これによって、これらのステップ〔２０〕〔２１〕〔２２〕の処理が、各イベントの処理ごとに循環して実行される。
【００３４】
さらに上述のパノラマ画像の作成処理は以下に述べるようにして行われる。すなわちこのパノラマ画像の作成処理は、例えば図３に示すステップ〔３０〕において、パノラマ作成要求（Ｆｌａｇ ｐａ）が設定されることによって、上述のタイマーイベントのステップ〔２２〕においてこの処理が実行される。
【００３５】
ここでパノラマ画像の作成処理の詳細について図５を用いて説明する。なおこの例では、処理の手順が、内部カウンタ（Ｐａｎｏ ｃｎｔ）に従って行われるものである。
【００３６】
そこでまずステップ〔３１〕〔３２〕で内部カウンタ（Ｐａｎｏ ｃｎｔ）の値が判断される。ここで（Ｐａｎｏ ｃｎｔ＝１）のときは、ステップ〔３１〕からステップ〔３３〕に進められて、撮像装置１０の画角を最広角に設定するようにレンズブロック部１１のモータ１６を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。なお、画角が最広角に設定されることで、より少ない回数の画像取得でパノラマ画像が形成される。
【００３７】
また、（Ｐａｎｏ ｃｎｔ＝２）のときは、ステップ〔３２〕からステップ〔３４〕に進められて、撮像装置１０の撮像範囲をパノラマ画像の作成処理で最初に画像取得を行う位置に設定するように、回転雲台５０のモータ５１、５２を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。
【００３８】
さらに（Ｐａｎｏ ｃｎｔ）が３以上のときは、ステップ〔３５〕〔３６〕で上述のステップ〔３３〕〔３４〕で設定されたズーム位置及び撮像範囲に移動されたことが確認される。そしてこれらの設定位置に到達した場合には、ステップ〔３７〕で最初の画像取得が行われる。さらにステップ〔３８〕で次の画像取得位置に回転雲台５０のモータ５１、５２を駆動する処理が行われる。
【００３９】
また、ステップ〔３９〕で先に取得した画像の水平、垂直方向への圧縮処理等が行われ、ステップ〔４０〕でパノラマ画像の作成状況がモニタ６０の表示領域６２に表示される。さらにステップ〔４１〕で（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われ、ステップ〔４２〕でパノラマ画像が完成されたか否か判断され、完成していないときは以上の動作が繰り返される。
【００４０】
そしてステップ〔４２〕でパノラマ画像が完成されると、ステップ〔４３〕でパノラマ作成要求（Ｆｌａｇ ｐａ）が無し（Ｆｌａｇ ｐａ＝Ｆａｌｓｅ）にされると共に、ステップ〔４４〕で完成されたパノラマ画像が保存されて、動作が終了される。
【００４１】
このようにして、例えば回転雲台５０によって撮像装置１０の撮像範囲が順次移動されながら取得された画像が圧縮処理されながら連結されて、パノラマ画像が形成される。なお、ここで回転雲台５０は、指令される目標位置に対して常に同じ方向から進入するように動作される。これによって、例えば画像の連結の際に発生し得る駆動系の機構の遊び（ギアのバックラッシュ等）による連結画像のずれを補正することができるものである。
【００４２】
そしてこの装置において、上述のパノラマ画像の形成で連結される元の映像信号は、撮像条件が一定でないために、そのまま連結すると露出やホワイトバランス等が部分によって不揃いになり、画質の均一なパノラマ画像を得ることができない。そこで上述の装置においては、コンピュータ装置３０の画像処理装置３３において画像処理を施し、画質の均一なパノラマ画像を得るようにしている。
【００４３】
すなわち図６は、そのための画像処理の一例を示すものである。この図６において、パノラマ画像を形成する各撮像信号には、それぞれの撮像時刻や、位置情報レンズ制御情報、露出制御情報、ホワイトバランス制御情報、画質制御情報等の撮像条件が付属して記憶されている。
【００４４】
そこで図６のＡに示すような連結される各映像信号から、例えば平均輝度情報を抽出し、それぞれの撮像条件に応じた重み付けをした後、予め設定されている基準輝度と比較して、各画素の補正量を決定（図６のＢ）する。この補正を実行することによって、パノラマ画像の全体としての露出が均一にされる。
【００４５】
さらにその後、例えば一定以上の輝度を持つ画素の赤（Ｒ）緑（Ｇ）青（Ｂ）の積分を求め、白からのずれ量を算出して、各画素に対してのホワイトバランスの調整（図６のＣ）を行う。これによって、例えば図６のＤに示すような画質の均一なパノラマ画像を得ることができる。
【００４６】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、その際の撮像時刻及び／または撮像条件を記憶することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【００４７】
これによって、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができる。
【００４８】
さらに上述の装置において、作成されたパノラマ画像は、上述のコンピュータモニタ６０のパノラマ画像の表示領域６２に表示される。この場合にモニタ６０上には、上述の表示領域６１、６２と共に、例えば図７に示すような操作ボタン６３が表示される。
【００４９】
そしてこのようなコンピュータモニタ６０上において、使用者が、ポインティングデバイス（マウス）等の入力手段によって表示領域６２中の任意の画素を指示すると、例えば表示領域６２の左上隅を原点として指示された画素の座標が取得され、取得された指示点の座標がコンピュータ装置３０に転送される。
【００５０】
そこでコンピュータ装置３０では、転送された座標から指示点の画素を含む撮像領域を判別し、この撮像領域の座標と移動命令がモードコントローラ４２に送信される。これによってモードコントローラ４２では、上述のタイマーイベントのステップ〔１４〕で受信されたデータが解析処理され、この解析されたデータに従って回転雲台５０を駆動して、指示された画素を含む目標の撮像領域を撮像するように制御が行われる。
【００５１】
すなわち使用者は、例えばコンピュータモニタ６０上のパノラマ画像を確認しながら、ポインティングデバイス（マウス）等の入力手段を利用して、詳しく観察したい場所を指示する。この指示によって、撮像装置１０は回転雲台５０により指示された方向に向けられ、その場所の現在の映像が撮像映像の表示領域６１に表示される。
【００５２】
そして使用者は、この撮像映像の表示領域６１に表示される画像を観察しながら、記録したい映像になったらモニタ６０上の操作ボタン６３の記録開始ボタンをポインティングデバイス（マウス）等で押すことによって、必要な映像をハードディスク等の記憶装置３２に記憶（保存）することができる。
【００５３】
なおこの保存される映像は、使用者が記録開始ボタンを押した瞬間の静止画であってもよいし、また任意の操作ボタン６３の操作によって所望の長さの動画を保存することもできる。あるいは記憶装置３２の容量に余裕がない場合には、静止画を利用した間欠動画を保存してもよい。そして、これらの静止画、動画、間欠動画の記憶（保存）の際にも、上述の撮像時刻や撮像条件のデータが付属して記憶される。
【００５４】
そこで、さらにこのようにして記憶（保存）された映像を用いてのパノラマ画像の作成が次のようにして行われる。
【００５５】
すなわち、上述の図７に示すようなコンピュータモニタ６０の表示において、使用者が、ポインティングデバイス（マウス）等の入力手段によって表示領域６２中の任意の画素を指示すると、例えば表示領域６２の左上隅を原点として指示された画素の座標が取得され、取得された指示点の座標がコンピュータ装置３０に転送される。
【００５６】
そこでコンピュータ装置３０では、転送された座標から指示点の画素を含む撮像領域を判別し、この撮像領域を含む部分画像が保存されている場合には、パノラマ画像上にその領域を例えば着色された境界線で囲う等によって表示すると共に、そこに保存された画像を表示する。これによってパノラマ画像上で所望の領域の保存画像を見ることができる。
【００５７】
この場合に、パノラマ画像上では画像は圧縮されて表示されるので、詳細に見たい場合には表示領域６２外に拡大して表示することもできる。その場合には、例えば撮像映像の表示領域６１への表示や、拡大補完してモニタ６０の画面全体に表示することもできる。
【００５８】
また、上述の指示された同一の領域に複数の画像が保存されている場合には、例えばモニタ６０上の操作ボタン６３の操作によって所望の画像を検索することができる。この場合に画像の検索は、上述の映像信号と共に記憶された撮像時刻や撮像条件等を指定して行うことができる。
【００５９】
さらに上述のパノラマ画像上で保存画像を見る場合に、指定された領域の画像を単純にパノラマ画像に重ねて表示すると、その撮影条件に差異がある場合に不自然な画像となってしまう。そこでそのような場合には、上述の図６に示したと同様の処理を行うことで、画質の均一なパノラマ画像を得ることができる。
【００６０】
従ってこの装置において、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができる。
【００６１】
これによって、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また例えば指示された部分領域の映像信号を嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができる。
【００６２】
なお、上述の装置において、上述の図３のステップ〔３０〕におけるパノラマ作成要求（Ｆｌａｇ ｐａ）の設定は、例えば使用者がモニタ６０上に示されるボタンを操作したり、いわゆるリモートコントロールによって行うこともできるが、さらに撮影時刻の指定による設定や、画像認識（処理）、各種のセンサの検知等によって自動的に設定が行われるようにすることもできる。
【００６３】
すなわち、例えば撮影時刻の指定による設定を行う場合には、例えば図１のコンピュータ装置３０に付属されるキーボードやいわゆるマウス等のポインティングデバイス等の入力装置３５によってパノラマ撮影を行う時刻を設定することにより、その時刻が記憶装置３２に保存される。
【００６４】
そして例えば図２のイベント判定のステップ〔３〕において、コンピュータ装置３０に内蔵された時計（図示せず）と保存された設定時刻とを比較し、両者が一致したときにパノラマ画像の作成要求が指令され、撮影が行われる。なお、時刻は複数を設定したり、また一定の時間間隔を指示することによって、自動的に連続撮影を行うことも可能である。
【００６５】
あるいは、撮像装置１０から得られる映像情報を現在と過去とで比較して、その差異を検出して自動的にパノラマ画像の作成要求が指令されるようにすることもできる。ここで得られる映像情報とは、画像の輝度、色差、輪郭、カラーバランス等である。
【００６６】
そこで例えば輝度情報を利用する方法では、撮像装置１０から現在映出されている画像の部分の輝度平均が、撮影されて記憶装置３２に保存されているパノラマ画像の一部分の輝度平均と比較される。そしてその差が一定以上に開いたときにパノラマ画像の作成要求が指令され、撮影が行われる。そして作成されたパノラマ画像は直ちに、モニタ６０等に映出される。
【００６７】
なおこの方法では、風景等の撮影において、時間経過と共に周囲の明るさが変化しているような場合に、自動的にパノラマ画像が撮影更新されるので、常に現在の撮像装置１０で撮像されている映像に近いパノラマ画像を提供することが可能となるものである。
【００６８】
また、例えば図８に示すように、撮像装置１０で撮像されている被写体について代表点を指定し、その輝度と色差情報を組み合わせてモデル化して、その位置情報と共に記憶装置３２に保存する。そして同一の範囲を撮像装置１０により常に撮像し、被写体モデルの位置座標に差異が生じたときにパノラマ画像の作成要求が指令され、撮影を行うことが可能である。
【００６９】
すなわち図８のＡにおいて、元の被写体モデルの位置座標（Ｘ０、Ｙ０）が、図８のＢに示すように位置座標（Ｘ１、Ｙ１）になったときに、Ｘ０≠Ｘ１またはＹ０≠Ｙ１を判断して、図８のＣに示すように被写体が移動したと認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。この方法によって、上述の装置を動態監視システムとして利用することができる。
【００７０】
この他、マイクロフォンのような音声情報を得られる手段を備え、音声の検出に伴ってパノラマ画像の作成要求を指令して撮影を開始することも可能である。この場合には、例えば図９に示すように、撮像装置１０が回転雲台５０等の駆動手段によって移動されて撮像可能な範囲に、例えば指向性マイクロフォンを複数設置する。これらの指向性マイクロフォンで収音された音声情報が図１のコンピュータ装置３０に入力される。
【００７１】
そしてこのコンピュータ装置３０では、マイクロフォンで収音された音声情報の中に特定の音声情報を検出すると、パノラマ画像の作成要求を指令すると共に、その音声情報を検出したマイクロフォンの指向性がどの方向であるか記憶し、必要ならばその方向から撮影を行ってパノラマ画像を更新することができる。
【００７２】
このようにして、特定の音声情報の検出によって被写体の変化を認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。またこの方法では、同様に光センサや焦電センサ等の各種センサを用いて、それぞれ必要に応じた検出と、パノラマ画像の更新を行うことができるものである。
【００７３】
さらに上述の図１の装置において、記録手段としての記憶装置３２を設けたことによって、この装置は記録装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号と共に、その撮像の際の撮像時刻や撮像条件が記録されるものである。
【００７４】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができるものである。
【００７５】
さらに上述の図１の装置において、映像信号の処理手段としての画像処理装置３３を設けたことによって、この装置は処理装置として実施することができる。なおこの場合に画像処理装置３３では、撮像装置１０からの映像信号を連結してパノラマ画像を形成すると共に、撮像時刻や撮像条件等の変化に対して連結される映像信号の補正を行うものである。
【００７６】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で形成することができるものである。
【００７７】
さらに上述の図１の装置において、表示手段としてのコンピュータモニタ６０を設けたことによって、この装置は表示装置として実施することができる。
【００７８】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【００７９】
さらに上述の図１の装置において、再生手段としての記憶装置３２を設けたことによって、この装置は再生装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号と、その撮像の際の撮像時刻や撮像条件が記録されて再生されるものである。
【００８０】
従ってこの装置において、撮像範囲が順次変化された映像信号、その撮像の際の撮像時刻や撮像条件を再生し、この再生映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができるものである。
【００８１】
さらに上述の図１の装置において、コンピュータ装置３０からコンピュータモニタ６０に送られる信号をモデム（図示せず）を介して、例えばインターネットのようなコンピュータネットワークに送出することによって、この装置は伝送装置として実施することができる。
【００８２】
すなわちこのようなコンピュータネットワークにおいて、遠隔地に設置された撮像装置１０〜コンピュータ装置３０〜回転雲台５０の構成に対して、任意のコンピュータ装置と表示装置とモデムを有する使用者側の装置からネットワークを通じてアクセスを行う。これによって、その時の撮像画像と、例えばコンピュータ装置３０の記憶装置３２に保存されているパノラマ画像を、例えば図１のモニタ６０と同様の画面構成で使用者側の表示装置に得ることができる。
【００８３】
従ってこの装置において、遠隔地に設置された撮像手段で撮像された映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【００８４】
さらに上述の図１の装置において、記憶装置３２の記録媒体を着脱自在のものとし、この記録媒体を取り出すことによって、この装置は記録媒体として実施することができる。
【００８５】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、この記録媒体を再生し連結することで、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるものである。
【００８６】
またこれらの装置において、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００８７】
さらに上述の装置において、撮像の際の撮像時刻及び／または撮像条件等の情報を、撮像された映像信号と共に記憶する際には、例えば図１０のＡに示すように、通常の画像形式の先頭にこれらの情報を付加して保存する。あるいは、同図のＢに示すように、各映像のファイルとは別に、撮像時刻及び／または撮像条件等の情報だけをまとめて記憶し、各映像ファイルと対応づける方法を用いることができる。
【００８８】
なお、上述の装置においては、例えば撮像装置１０の１台を回転雲台５０によって撮像範囲を変化させてパノラマ画像の撮像を行うこととしたが、これはこのような手段に限られるものではない。すなわち、このようなパノラマ画像の撮像を行う手段としては、例えばデジタル静止画カメラを用いて撮像された一連の映像を基に、あるいはビデオカメラにより撮像された動画像を基にパノラマ画像を作成することができる。
【００８９】
また、回転雲台５０を用いる代わりに、例えば複数台の撮像装置をパノラマ画像を形成する各方向に向けて配置し、これらの撮像装置からの映像信号を順次切り換えて駆動手段としても、同様の映像信号の取得を行うことができるものである。
【００９０】
さらに上述の装置においては、記憶された撮像時刻や撮像条件等の情報を用いて撮像された映像信号の検索を迅速且つ容易に行うことができる。これによって、例えば上述のモニタ６０上の操作ボタン６３の操作によって所望の画像を検索する場合にも、検索を極めて円滑に行うことができるものである。
【図面の簡単な説明】
【００９１】
【図１】本発明の適用される撮像、表示装置の一例のシステム全体の構成図である。
【図２】その動作の説明のためのフローチャート図である。
【図３】その動作の説明のためのフローチャート図である。
【図４】その動作の説明のためのフローチャート図である。
【図５】その動作の説明のためのフローチャート図である。
【図６】その説明のための図である。
【図７】その説明のための図である。
【図８】その説明のための図である。
【図９】その説明のための図である。
【図１０】その説明のための図である。
【符号の説明】
【００９２】
１０…撮像装置、１１…レンズブロック部、１２…ＣＣＤ、１３…信号分離／自動利得制御装置、１４…Ａ／Ｄ変換装置、１５…信号処理装置、１６…ズーム用ステッピングモータ、２０…テレビジョンモニタ、３０…コンピュータ、３１…ビデオキャプチャーボード、３２…記憶装置、３３…画像処理装置、３４…制御装置、３５…入力装置、４１…カメラコントローラ、４２…モードコントローラ、４３…パンチルタコントローラ、５０…回転雲台、５１…パン用ステッピングモータ、５２…チルト用ステッピングモータ、６０…コンピュータモニタ、６１…撮像映像の表示領域、６２…パノラマ画像の表示領域
【特許請求の範囲】
【請求項１】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像された映像信号を記憶する記憶手段と、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段とを有し、
上記撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を上記映像信号と共に上記記憶手段に記憶する
ことを特徴とする撮像装置。
【請求項２】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像時刻及び／または撮像条件の近い上記映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成することを特徴とする請求項１記載の撮像装置。
【請求項３】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記撮像条件に従って上記映像信号を補正することを特徴とする請求項１記載の撮像装置。
【請求項４】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成することを特徴とする請求項１記載の撮像装置。
【請求項５】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記表示手段上で指示された部分領域の上記映像信号の撮像条件に従って他の部分領域の上記映像信号を補正することを特徴とする請求項１記載の撮像装置。
【請求項６】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像された映像信号を記憶する記憶手段と、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段とを有し、
上記撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を上記映像信号と共に記憶する
ことを特徴とする記憶装置。
【請求項７】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像時刻及び／または撮像条件の近い上記映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成することを特徴とする請求項６記載の記憶装置。
【請求項８】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記撮像条件に従って上記映像信号を補正することを特徴とする請求項６記載の記憶装置。
【請求項９】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成することを特徴とする請求項６記載の記憶装置。
【請求項１０】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記表示手段上で指示された部分領域の上記映像信号の撮像条件に従って他の部分領域の上記映像信号を補正することを特徴とする請求項６記載の記憶装置。
【請求項１１】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像された映像信号と共に上記撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を記憶する記憶手段とを有し、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する
ことを特徴とする処理装置。
【請求項１２】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像時刻及び／または撮像条件の近い上記映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成することを特徴とする請求項１１記載の処理装置。
【請求項１３】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記撮像条件に従って上記映像信号を補正することを特徴とする請求項１１記載の処理装置。
【請求項１４】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成することを特徴とする請求項１１記載の処理装置。
【請求項１５】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記表示手段上で指示された部分領域の上記映像信号の撮像条件に従って他の部分領域の上記映像信号を補正することを特徴とする請求項１１記載の処理装置。
【請求項１６】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像された映像信号を記憶する記憶手段と、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段と、上記形成された映像信号を表示する表示手段とを有し、
上記撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を上記映像信号と共に上記記憶手段に記憶すると共に、
上記表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成する
ことを特徴とする表示装置。
【請求項１７】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像時刻及び／または撮像条件の近い上記映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成することを特徴とする請求項１６記載の表示装置。
【請求項１８】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記撮像条件に従って上記映像信号を補正することを特徴とする請求項１６記載の表示装置。
【請求項１９】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成することを特徴とする請求項１６記載の表示装置。
【請求項２０】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記指示された部分領域の上記映像信号の撮像条件に従って他の部分領域の上記映像信号を補正することを特徴とする請求項１６記載の表示装置。
【請求項２１】
撮像手段の動作が制御されて撮像された映像信号と共に上記撮像手段での撮像の行われた撮像時刻及び／または撮像条件の記録された記録媒体を再生する再生手段と、
上記再生手段によって再生された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する
ことを特徴とする再生装置。
【請求項２２】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像時刻及び／または撮像条件の近い上記映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成することを特徴とする請求項２１記載の再生装置。
【請求項２３】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記撮像条件に従って上記映像信号を補正することを特徴とする請求項２１記載の再生装置。
【請求項２４】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成することを特徴とする請求項２１記載の再生装置。
【請求項２５】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記指示された部分領域の上記映像信号の撮像条件に従って他の部分領域の上記映像信号を補正することを特徴とする請求項２１記載の再生装置。
【請求項２６】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像された映像信号と共に上記撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を記憶する記憶手段と、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段と、
上記処理手段で形成された映像信号を伝送する伝送手段とからなる
ことを特徴とする伝送装置。
【請求項２７】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像時刻及び／または撮像条件の近い上記映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成することを特徴とする請求項２６記載の伝送装置。
【請求項２８】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記撮像条件に従って上記映像信号を補正することを特徴とする請求項２６記載の伝送装置。
【請求項２９】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成することを特徴とする請求項２６記載の伝送装置。
【請求項３０】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記表示手段上で指示された部分領域の上記映像信号の撮像条件に従って他の部分領域の上記映像信号を補正することを特徴とする請求項２６記載の伝送装置。
【請求項３１】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段と映像信号を発生する撮像手段とを用いて、
上記撮像手段で撮像された映像信号と共に上記撮像手段で撮像を行う際の撮像時刻及び／または撮像条件が記録されてなる
ことを特徴とする記録媒体。
【請求項３２】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像時刻及び／または撮像条件の近い上記映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成することを特徴とする請求項３１記載の記録媒体。
【請求項３３】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記撮像条件に従って上記映像信号を補正することを特徴とする請求項３１記載の記録媒体。
【請求項３４】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成することを特徴とする請求項３１記載の記録媒体。
【請求項３５】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記形成された映像信号を表示する表示手段上で指示された部分領域の上記映像信号の撮像条件に従って他の部分領域の上記映像信号を補正することを特徴とする請求項３１記載の記録媒体。
【特許請求の範囲】
【請求項１】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像手段で撮像を行う際の撮像条件を上記撮像された映像信号と共に記憶する記憶手段と、
上記映像信号毎に平均輝度情報を抽出し、上記映像信号毎の撮像条件に基づいて上記平均輝度情報の重み付けをし、上記重み付け後の上記平均輝度情報と基準輝度とを比較して上記映像信号を構成する各画素の補正量を決定し、補正実行後の映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有するパノラマ映像信号を形成する処理手段と
を有することを特徴とする撮像装置。
【請求項２】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像手段で撮像を行う際の撮像条件を上記撮像された映像信号と共に記憶する記憶手段と、
上記映像信号毎に平均輝度情報を抽出し、上記映像信号毎の撮像条件に基づいて上記平均輝度情報の重み付けをし、上記重み付け後の上記平均輝度情報と基準輝度とを比較して上記映像信号を構成する各画素の補正量を決定し、補正実行後の映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有するパノラマ映像信号を形成する処理手段と、
上記パノラマ映像信号を表示する表示手段と
を有することを特徴とする表示装置。
【請求項１】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像された映像信号を記憶する記憶手段と、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段とを有し、
上記撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を上記映像信号と共に上記記憶手段に記憶する
ことを特徴とする撮像装置。
【請求項２】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像時刻及び／または撮像条件の近い上記映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成することを特徴とする請求項１記載の撮像装置。
【請求項３】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記撮像条件に従って上記映像信号を補正することを特徴とする請求項１記載の撮像装置。
【請求項４】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成することを特徴とする請求項１記載の撮像装置。
【請求項５】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記表示手段上で指示された部分領域の上記映像信号の撮像条件に従って他の部分領域の上記映像信号を補正することを特徴とする請求項１記載の撮像装置。
【請求項６】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像された映像信号を記憶する記憶手段と、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段とを有し、
上記撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を上記映像信号と共に記憶する
ことを特徴とする記憶装置。
【請求項７】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像時刻及び／または撮像条件の近い上記映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成することを特徴とする請求項６記載の記憶装置。
【請求項８】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記撮像条件に従って上記映像信号を補正することを特徴とする請求項６記載の記憶装置。
【請求項９】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成することを特徴とする請求項６記載の記憶装置。
【請求項１０】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記表示手段上で指示された部分領域の上記映像信号の撮像条件に従って他の部分領域の上記映像信号を補正することを特徴とする請求項６記載の記憶装置。
【請求項１１】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像された映像信号と共に上記撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を記憶する記憶手段とを有し、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する
ことを特徴とする処理装置。
【請求項１２】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像時刻及び／または撮像条件の近い上記映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成することを特徴とする請求項１１記載の処理装置。
【請求項１３】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記撮像条件に従って上記映像信号を補正することを特徴とする請求項１１記載の処理装置。
【請求項１４】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成することを特徴とする請求項１１記載の処理装置。
【請求項１５】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記表示手段上で指示された部分領域の上記映像信号の撮像条件に従って他の部分領域の上記映像信号を補正することを特徴とする請求項１１記載の処理装置。
【請求項１６】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像された映像信号を記憶する記憶手段と、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段と、上記形成された映像信号を表示する表示手段とを有し、
上記撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を上記映像信号と共に上記記憶手段に記憶すると共に、
上記表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成する
ことを特徴とする表示装置。
【請求項１７】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像時刻及び／または撮像条件の近い上記映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成することを特徴とする請求項１６記載の表示装置。
【請求項１８】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記撮像条件に従って上記映像信号を補正することを特徴とする請求項１６記載の表示装置。
【請求項１９】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成することを特徴とする請求項１６記載の表示装置。
【請求項２０】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記指示された部分領域の上記映像信号の撮像条件に従って他の部分領域の上記映像信号を補正することを特徴とする請求項１６記載の表示装置。
【請求項２１】
撮像手段の動作が制御されて撮像された映像信号と共に上記撮像手段での撮像の行われた撮像時刻及び／または撮像条件の記録された記録媒体を再生する再生手段と、
上記再生手段によって再生された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する
ことを特徴とする再生装置。
【請求項２２】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像時刻及び／または撮像条件の近い上記映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成することを特徴とする請求項２１記載の再生装置。
【請求項２３】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記撮像条件に従って上記映像信号を補正することを特徴とする請求項２１記載の再生装置。
【請求項２４】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成することを特徴とする請求項２１記載の再生装置。
【請求項２５】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記指示された部分領域の上記映像信号の撮像条件に従って他の部分領域の上記映像信号を補正することを特徴とする請求項２１記載の再生装置。
【請求項２６】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像された映像信号と共に上記撮像手段で撮像を行う際の撮像時刻及び／または撮像条件を記憶する記憶手段と、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段と、
上記処理手段で形成された映像信号を伝送する伝送手段とからなる
ことを特徴とする伝送装置。
【請求項２７】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像時刻及び／または撮像条件の近い上記映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成することを特徴とする請求項２６記載の伝送装置。
【請求項２８】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記撮像条件に従って上記映像信号を補正することを特徴とする請求項２６記載の伝送装置。
【請求項２９】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成することを特徴とする請求項２６記載の伝送装置。
【請求項３０】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段を有し、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記表示手段上で指示された部分領域の上記映像信号の撮像条件に従って他の部分領域の上記映像信号を補正することを特徴とする請求項２６記載の伝送装置。
【請求項３１】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する処理手段と映像信号を発生する撮像手段とを用いて、
上記撮像手段で撮像された映像信号と共に上記撮像手段で撮像を行う際の撮像時刻及び／または撮像条件が記録されてなる
ことを特徴とする記録媒体。
【請求項３２】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像時刻及び／または撮像条件の近い上記映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成することを特徴とする請求項３１記載の記録媒体。
【請求項３３】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記撮像条件に従って上記映像信号を補正することを特徴とする請求項３１記載の記録媒体。
【請求項３４】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記形成された映像信号を表示する表示手段上で指示された上記映像信号の部分領域に上記撮像手段で撮像された映像信号を連結して上記映像信号を形成することを特徴とする請求項３１記載の記録媒体。
【請求項３５】
上記撮像条件には、露出、ホワイトバランス、焦点、倍率、サイズ、位置座標の内の一または複数の情報を含み、
上記撮像及び記憶された映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する際に上記形成された映像信号を表示する表示手段上で指示された部分領域の上記映像信号の撮像条件に従って他の部分領域の上記映像信号を補正することを特徴とする請求項３１記載の記録媒体。
【特許請求の範囲】
【請求項１】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像手段で撮像を行う際の撮像条件を上記撮像された映像信号と共に記憶する記憶手段と、
上記映像信号毎に平均輝度情報を抽出し、上記映像信号毎の撮像条件に基づいて上記平均輝度情報の重み付けをし、上記重み付け後の上記平均輝度情報と基準輝度とを比較して上記映像信号を構成する各画素の補正量を決定し、補正実行後の映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有するパノラマ映像信号を形成する処理手段と
を有することを特徴とする撮像装置。
【請求項２】
被写体を撮像して映像信号を発生する撮像手段と、
上記撮像手段の動作を制御する制御手段と、
上記撮像手段で撮像を行う際の撮像条件を上記撮像された映像信号と共に記憶する記憶手段と、
上記映像信号毎に平均輝度情報を抽出し、上記映像信号毎の撮像条件に基づいて上記平均輝度情報の重み付けをし、上記重み付け後の上記平均輝度情報と基準輝度とを比較して上記映像信号を構成する各画素の補正量を決定し、補正実行後の映像信号を連結して上記撮像手段の一つの撮像範囲より広い画角を有するパノラマ映像信号を形成する処理手段と、
上記パノラマ映像信号を表示する表示手段と
を有することを特徴とする表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−５０６５５（Ｐ２００６−５０６５５Ａ）
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願番号】特願２００５−２５４０５５（Ｐ２００５−２５４０５５）
【出願日】平成１７年９月１日（２００５．９．１）
【分割の表示】特願平９−９５９９０の分割
【原出願日】平成９年４月１４日（１９９７．４．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願日】平成１７年９月１日（２００５．９．１）
【分割の表示】特願平９−９５９９０の分割
【原出願日】平成９年４月１４日（１９９７．４．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]