制御装置、カメラシステム及びプログラム
【課題】全体画像の中に設定されたプリセット領域へ直感的に撮像方向を制御する。
【解決手段】カメラ端末装置200で撮像されたパノラマ画像を表示するパノラマ画像表示領域と、パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示処理部305と、前記全体画像上で指定された位置に対応する領域を前記カメラで撮像するように制御する制御部310と、を有し、前記領域は、少なくとも1つのプリセット領域を含み、表示制御部305は、全体画像上にプリセット領域に対応する箇所を表示する、センターサーバー300が提供される。
【解決手段】カメラ端末装置200で撮像されたパノラマ画像を表示するパノラマ画像表示領域と、パノラマ画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示処理部305と、前記全体画像上で指定された位置に対応する領域を前記カメラで撮像するように制御する制御部310と、を有し、前記領域は、少なくとも1つのプリセット領域を含み、表示制御部305は、全体画像上にプリセット領域に対応する箇所を表示する、センターサーバー300が提供される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置、カメラシステム及びプログラムに関する。
【背景技術】
【0002】
従来、例えば下記の特許文献1に記載されているように、カメラで撮影できる範囲を全体画像として表示し、その全体画像上での操作により、カメラの撮影方位を制御するカメラ制御システムが知られている。また、プリセット設定された箇所に対応する箇所をサムネイルとして表示し、所望のサムネイルを選択することで、プリセット設定された箇所にカメラの撮影方位を制御するカメラ制御システムが知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−354748号公報
【特許文献2】特開平2008−22260号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記いずれの文献においても、プリセット設定された箇所が、カメラが撮影できる範囲(全体画像)のどの位置に対応するか容易に把握することはできなかった。また、上記文献に記載された技術では、全体画像上でのプリセット位置が判別できないことから、全体画像上での操作により、プリセット設定された箇所へ撮影方向の制御を行うことはできない。このため、プリセット設定された所望の方向へ撮影方向を直感的に制御することができず、多くの試行錯誤を必要とする問題が生じていた。
【0005】
そこで、本発明は、上記課題に鑑みてなされたものであり、本発明の目的とするところは、全体画像の中に設定されたプリセット領域へ直感的に撮像方向を制御することが可能な、新規かつ改良された制御装置、カメラシステム及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある観点によれば、カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、前記全体画像上で指定された位置に対応する領域を変化させるように制御する制御部と、を有し、前記領域は、少なくとも1つのプリセット領域を含み、前記表示制御部は、前記全体画像上に前記プリセット領域に対応する箇所を表示する、制御装置が提供される。
【0007】
また、記制御部は、前記全体画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するものであってもよい。
【0008】
また、前記制御部は、前記全体画像上で前記プリセット領域に対応する箇所が選択された場合に、選択された前記プリセット領域を撮像するように前記カメラの撮像方向を制御するものであってもよい。
【0009】
また、前記表示制御部は、前記プリセット領域に基づいて設定された画角のサイズに基づいて、前記全体画像上に前記対応する箇所を表示するものであってもよい。
【0010】
また、前記表示制御部は、前記プリセット領域が全体画像の中心に位置しない場合、前記プリセット領域が全体画像の中心に位置する場合の枠の大きさを基準として、前記プリセット領域に基づいて設定された撮影倍率で前記枠の大きさを補正して表示するものであってもよい。
【0011】
また、前記表示制御部は、ユーザのドラッグ操作に応じて前記プリセット領域の位置を変更して表示するものであってもよい。
【0012】
また、前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、前記表示制御部は、前記複数のプリセット領域を一覧表示するように画像表示を制御するものであってもよい。
【0013】
また、前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、前記表示制御部は、前記複数のプリセット領域を交代で表示するものであってもよい。
【0014】
また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像するカメラと、前記カメラを制御する制御装置とを有するカメラシステムであって、前記制御装置は、カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、前記全体画像上で指定された位置に対応する領域を変化させるように制御する制御部と、を有し、前記領域は、少なくとも1つのプリセット領域を含み、前記表示制御部は、前記全体画像上に前記プリセット領域に対応する箇所を表示する、カメラシステムが提供される。
【0015】
また、前記制御部は、前記全体画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するものであってもよい。
【0016】
また、前記制御部は、前記全体画像上で前記プリセット領域に対応する箇所が選択された場合に、選択された前記プリセット領域を撮像するように前記カメラの撮像方向を制御するものであってもよい。
【0017】
また、前記表示制御部は、前記プリセット領域に基づいて設定された画角のサイズに基づいて、前記全体画像上に前記対応する箇所を表示するものであってもよい。
【0018】
また、前記表示制御部は、前記プリセット領域が全体画像の中心に位置しない場合、前記プリセット領域が全体画像の中心に位置する場合の枠の大きさを基準として、前記プリセット領域に基づいて設定された撮影倍率で前記枠の大きさを補正して表示するものであってもよい。
【0019】
また、前記表示制御部は、ユーザのドラッグ操作に応じて前記プリセット領域の位置を変更して表示するものであってもよい。
【0020】
また、前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、前記表示制御部は、前記複数のプリセット領域を一覧表示するように画像表示を制御するものであってもよい。
【0021】
また、前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、前記表示制御部は、前記複数のプリセット領域を交代で表示するものであってもよい。
【0022】
また、上記課題を解決するために、本発明の別の観点によれば、カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された少なくとも1つのプリセット領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御するとともに、前記全体画像上に前記プリセット領域に対応する箇所を表示する手段、前記全体画像上で指定された位置に対応する領域を変化させるように制御する手段、としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【0023】
本発明によれば、全体画像の中に設定されたプリセット領域へ直感的に撮像方向を制御することが可能な制御装置、カメラシステム及びプログラムを提供することができる。
【図面の簡単な説明】
【0024】
【図1】本発明の一実施形態に係る撮像システムの全体構成を示す模式図である。
【図2】図1のシステムにおいて、カメラ端末装置とセンターサーバーの構成を詳細に示す模式図である。
【図3】カメラ端末装置200のパン動作、チルト動作を説明するための模式図である。
【図4】パノラマ画と俯瞰画の表示状態を示す模式図である。
【図5】俯瞰画信号DFを生成する処理を説明するための模式図である。
【図6】俯瞰画信号DFを生成する処理を説明するための模式図である。
【図7】俯瞰画信号DFを生成する処理を説明するための模式図である。
【図8】俯瞰画信号DFを生成する処理を説明するための模式図である。
【図9】モニターの表示画面を示す模式図である。
【図10】操作パネルによる操作を説明するための模式図である。
【図11】パネル“View”をクリックした場合に“Screen Mode”、“View Size” “Image Codec”、“Frame Rate”などのメニューが表示された状態を示す模式図である。
【図12】パネル“Camera”をクリックした場合に表示されるメニューを示す模式図である。
【図13】“Presetposition”、“Trigger”、“Other”、“information”をクリックした場合に表示される各メニューを示す模式図である。
【図14】俯瞰画像の表示について説明するための模式図である。
【図15】俯瞰画像の表示について説明するための模式図である。
【図16】俯瞰画像の表示について説明するための模式図である。
【図17】俯瞰画像の表示について説明するための模式図である。
【図18】俯瞰画像の表示について説明するための模式図である。
【図19】本実施形態のカメラ端末装置が会議室内に設置された場合を示す模式図である。
【図20】図19に示す全体画像中の枠A〜Dを選択することによって4つのプリセット位置の中からライブ映像を指定した状態を示す模式図である。
【図21】図19に示す全体画像中の枠A〜Dを選択することによって4つのプリセット位置の中からライブ映像を指定した状態を示す模式図である。
【図22】図19に示す全体画像中の枠A〜Dを選択することによって4つのプリセット位置の中からライブ映像を指定した状態を示す模式図である。
【図23】図19に示す全体画像中の枠A〜Dを選択することによって4つのプリセット位置の中からライブ映像を指定した状態を示す模式図である。
【図24】プリセット位置を変更する方法を示す模式図である。
【図25】プリセット位置を変更する方法を示す模式図である。
【図26】ユーザのドラッグ操作により枠Bと枠Dの2つが選択された状態を示す模式図である。
【図27】ユーザのドラッグ操作により枠Bと枠Dの2つが選択された場合に、枠Bに対応する映像と、枠Dに対応する映像を共に表示した例を示す模式図である。
【図28】プリセット位置を設定するための設定画面の例を詳細に示す模式図である。
【発明を実施するための形態】
【0025】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0026】
なお、説明は以下の順序で行うものとする。
1.第1の実施の形態(カメラ端末装置とサーバーからなる撮像システムの例)
(1)撮像システムの構成例
(2)カメラ端末装置とセンターサーバーの構成例
(3)第1のパノラマ画像及び第2のパノラマ画像の表示動作について
(4)第1のパノラマ画像を生成する処理について
(5)GUIについて
(6)第1のパノラマ画像上での撮影方向の指定
(7)プリセット位置を用いた制御
【0027】
<1.第1の実施形態>
(1)撮像システムの構成例
図1は、本発明の一実施形態に係る撮像システムの全体構成を示す模式図である。撮像システム100は、カメラ端末装置(IPカメラ)200、センターサーバー300、クライアント400を有しており、複数のカメラ端末装置200、センターサーバー300及びクライアント400は、ネットワーク500を介して接続されている。また、ネットワーク500には、プロキシサーバー600が接続されており、プロキシサーバー600には複数のカメラ端末装置200が接続されている。また、センターサーバー300にはモニター320が接続されている。本実施形態において、カメラ端末装置200は、例えば屋内又は屋外に設置される監視カメラであって、カメラ端末装置200で取得した画像をセンターサーバー300のモニタ320に表示することで、カメラ端末装置200が設置された領域を監視できる。クライアント400は、ネットワーク500を介してカメラ端末装置200、センターサーバー300、またはプロキシサーバー600と接続される。また、クライアント400は、後述するセンターサーバ300の機能とモニタ320の機能を備えるものであっても良い。カメラ端末装置200で撮影された映像は、ネットワーク500を介してクライアント400に送られ、クライアント400の表示画面には後述するライブ映像とともに第1のパノラマ画像、第2のパノラマ画像が表示される。なお、カメラ端末装置200の例として、IPカメラをあげているが、これに限定されず、アナログカメラであってもよい。
パノラマ画像(全景画像、全体画像)は、カメラ端末装置200で撮像可能な範囲を示している。パノラマ画像には、様々な形状があり、例えば、図4のように、円形のパノラマ画像や長方形のパノラマ画像、円筒面上に投射したような輪っか状のパノラマ画像などがある。以下、実施形態において、第1のパノラマ画像及び第2のパノラマ画像の例として、それぞれ円形のパノラマ画像及び長方形のパノラマ画像をあげて説明する。
【0028】
(2)カメラ端末装置とセンターサーバーの構成例
図2は、図1のシステムにおいて、カメラ端末装置200とセンターサーバー300の構成を詳細に示す模式図である。図2に示すカメラ端末装置200またはセンターサーバー300の各構成要素は、ハードウェア(回路など)または、CPUなどの演算処理装置とこれを機能させるためのソフトウェア(プログラム)によって構成することができる。カメラ端末装置200のカメラ部201は、撮像光学系を含み、後述する端末制御部210から供給された撮像制御信号CTaに基づいて撮像動作を行い、映像信号Dcamを生成する。また、カメラ部201は、生成した映像信号Dcamを、バス220を介して信号処理部202に供給する。なお、バス220には、メモリ部203、撮像方向制御部204、ネットワークインタフェース部206、記憶部207、端末制御部210も接続されている。
【0029】
信号処理部202は、映像信号Dcamの圧縮処理を行い、得られた映像符号化信号DVをメモリ部203に記憶させる。また、カメラ部201の撮像方向を順次移動して得られた映像信号Dcamを用いて第1のパノラマ画の映像信号(以下「第1のパノラマ画信号という」DF及び第2のパノラマ画の映像信号(以下「第2のパノラマ画信号」という)DPを生成して、記憶部207に記憶させる。なお、映像信号Dcamの圧縮処理や、第1のパノラマ画信号DFまたは第2のパノラマ画信号DPの生成は、後述する端末制御部210から供給された信号処理制御信号CTbに基づいて行う。
【0030】
撮像方向制御部204は、カメラ部201の撮像方向を、後述する端末制御部210から供給された方向制御信号CTcによって指示された方向に移動させるため、撮像方向を移動する際の速度や加速度の計算を行う。また、計算結果に基づきパン動作を行うための駆動信号MDpやチルト動作を行うための駆動信号MDtを生成して、撮像方向調整部205に供給する。また、撮像方向制御部204は、カメラ部201の撮像方向がいずれの方向であるかを示すカメラ位置情報信号PMを生成して、端末制御部210に供給する。
【0031】
撮像方向調整部205は、カメラ部201を左右方向に移動させるパン動作モータと、カメラ部201を上下方向に移動させるチルト動作モータを有している。撮像方向調整部205は、駆動信号MDpによってパン動作モータ、駆動信号MDtによってチルト動作モータをそれぞれ駆動して、カメラ部201の撮像方向を方向制御信号CTcによって指示された方向に調整する。また、撮像方向調整部205は、動作範囲が制限されることなくエンドレスにパン動作を行うものとする。
【0032】
図3は、カメラ端末装置200のパン動作、チルト動作を説明するための模式図であって、カメラ端末装置200を天井などに装着した場合を示している。ここで、図3(B)は、本実施形態に係るカメラ端末装置200のパン・チルト動作を示している。一方、図3(A)は、比較のため、一般的なカメラ端末装置のパン・チルト動作を示している。図3(A)に示すように、一般的なカメラ端末装置では、パン動作を360°のエンドレスで行い、チルト動作については、鉛直方向から水平方向までの90°の範囲で行う。これに対し、本実施形態に係るカメラ端末装置200は、パン動作を360°のエンドレスで行うとともに、チルト動作については、鉛直方向を中心として220°の範囲で行うことができる。従って、後述する手法により第1のパノラマ画の映像信号DFを生成して記憶部207に記憶することができる。後述の第1のパノラマ画像は、円形のパノラマ画像であり、円の中央付近を中心をまたいで、撮像方向を操作する場合に、本実施形態に係るカメラ端末装置200は、目的撮像方向まで最短でメカ的にも移動することができる。一方、一般的なカメラ端末装置では、円の中心をまたぐようにはカメラ撮像方位をメカ的に移動させることができない。
【0033】
ネットワークインタフェース部206は、カメラ端末装置200とセンターサーバー300との間で、ネットワーク500を介して通信を行うためのインタフェースである。
【0034】
端末制御部210は、撮像制御信号CTaによってカメラ部201を制御し、信号処理制御信号CTbによって信号処理部202を制御し、方向制御信号CTcによって撮像方向制御部204を制御して、撮像方向を順次移動しながら撮像を行う。そして、端末制御部210は、得られた映像信号Dcamに基づいて第1のパノラマ画信号DF及び第2のパノラマ画信号DPを生成させて記憶部207に記憶させる。
【0035】
本実施形態に係る撮像システム100は、映像信号Dcamによるライブ映像と、第1のパノラマ画信号DFまたは第2のパノラマ画信号DPによる第1のパノラマ画または第2のパノラマ画を共にカメラ端末装置200からセンターサーバー300に送信し、モニター320に表示することができる。尚、本明細書において、第1のパノラマ画像または第2のパノラマ画像を全体画像と称する場合がある。図4は、第2のパノラマ画と第1のパノラマ画の表示状態を示す模式図である。センターサーバー300は、ユーザの選択に応じて、第1のパノラマ画または第2のパノラマ画の一方をモニター320にライブ映像とともに表示することができる。また、センターサーバー300は、第1のパノラマ画及び第2のパノラマ画の双方をライブ映像とともに表示するように構成されていても良い。なお、図4の右図では、中央付近の画像が欠けた円形のパノラマ画像を第1のパノラマ画像としているが、これに限定されず、中央付近の画像が欠けていない円形のパノラマ画像を第1のパノラマ画像としてもよい。
【0036】
カメラ端末装置200は、天井などに設置され、カメラ端末装置200の下方向の画像を表示する。このため、図4に示すように、第1のパノラマ画は、カメラ端末装置200から下向きに延在する鉛直線を中心として、パン360°、チルト220°の範囲で取得され、その輪郭は円形となる。
【0037】
また、撮像方向調整部205は、上述のようにエンドレスにパン動作を行うことができるように構成されている。したがって、記憶部207に記憶する第2のパノラマ画像は、例えば図4に示すように、画像が重複しないように、一方の端部が基準方向から「+180°」の角度差、他方の端部が基準方向から「−180°」の角度差を有するものとする。また、パン動作の動作範囲が制限されないので、例えば動作範囲が制限されている場合のように、動作範囲の中央位置を基準方向とすることができない。したがって、基準方向を予め設定しておき、この基準方向が第2のパノラマ画像の中央位置となるように第2のパノラマ画信号DPを生成する。また、撮像方向制御部204は、カメラ位置情報信号PMとして、予め設定された基準方向に対する撮像方向の例えば角度差を示す信号を生成する。
【0038】
このように基準方向を予め設定しておくものとすれば、第2のパノラマ画像がいずれの方向を基準とした撮像動作によって生成された画像であるかを判別する必要がない。また、カメラ位置情報信号PMによって、基準方向に対する撮像方向の角度差を示すものとすれば、第2のパノラマ画像上におけるカメラ位置情報信号PMに基づく撮像方向の位置を容易に判別できる。
【0039】
チルト動作においても、予め基準方向を設定しておき、カメラ位置情報信号PMによって、基準方向に対する撮像方向の角度差を示すものとする。これにより、第1のパノラマ画像、第2のパノラマ画像の双方において、カメラ位置情報信号PMに基づく撮像方向の位置を容易に判別できる。なお、チルト動作については、カメラ端末装置200が天井に設置されている場合、鉛直方向を基準方向とすることができる。
【0040】
端末制御部210は、ネットワークインタフェース部206を介してセンターサーバー300から供給されたコマンド信号CMを解析して、撮像制御信号CTaや信号処理制御信号CTb,方向制御信号CTcの生成を行う。また、メモリ部203に記憶されている映像符号化信号DVや、記憶部207に記憶されている第1のパノラマ画信号DF、第2のパノラマ画信号DP、および撮像方向制御部204から供給されたカメラ位置情報信号PMをセンターサーバー300に送出する処理等を行う。
【0041】
センターサーバー300のネットワークインタフェース部301は、カメラ端末装置200とセンターサーバー300とで、ネットワーク500を介して通信を行うためのインタフェースである。ネットワークインタフェース部301は、カメラ端末装置200から供給された映像符号化信号DVを伸長処理部302に供給する。また、ネットワークインタフェース部301は、カメラ位置情報信号PMを位置判別処理部303に供給し、第1のパノラマ画信号DF及び第2のパノラマ画信号DPを画像処理部304に供給する。
【0042】
伸長処理部302は、映像符号化信号DVの伸長処理を行い、得られた映像信号Dcamを表示処理部305に供給する。
【0043】
位置判別処理部303は、カメラ位置情報信号PMで示された撮像方向が第1のパノラマ画像または第2のパノラマ画像のいずれの位置に対応するか判別して、位置判別結果KPを画像処理部304に供給する。ここで、カメラ位置情報信号PMは、上述のように予め設定した基準方向がパン動作、チルト動作の中央位置となるように第1のパノラマ画信号DFまたは第2のパノラマ画信号DPを生成し、カメラ位置情報信号PMは基準方向と現在の撮像方向の角度差を示すものとすれば、カメラ位置情報信号PMに基づき、現在の撮像方向が俯瞰画像または第2のパノラマ画像のいずれの位置に対応するか容易に判別できる。
【0044】
画像処理部304は、位置判別結果KPに基づいて画像処理を行い、第1のパノラマ画像の第1のパノラマ画信号DFC、及び第2のパノラマ画像の第2のパノラマ画信号DPCを生成する。第2のパノラマ画信号DPCについては、位置判別結果KPにより判別された位置が中央位置とされた第2のパノラマ画信号DPCを生成することができる。この場合、画像処理部304では、判別された位置と第2のパノラマ画像の中心位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の中央位置となるように第2のパノラマ画像を処理する。すなわち、判別された位置を中央位置として「±180°」の第2のパノラマ画像表示画枠を設定して、第2のパノラマ画像表示画枠から外れる差分量分の領域の第2のパノラマ画像を、画像の無い領域に貼り付けることで、判別された位置を中央位置とした第2のパノラマ画像の第2のパノラマ画信号DPCを生成する。第1のパノラマ画信号DFCの場合においても、後述する「第1のパノラマ画像を回転させるモード」の場合は、第2のパノラマ画信号DPCと同様に、判別された位置と第1のパノラマ画のパン方向の基準位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の上に位置するように第1のパノラマ画像を処理する。なお、位置判別結果KPにより判別された位置を中央位置としない場合は、画像処理部304は、第1のパノラマ画信号DF及び第2のパノラマ画信号DPに基づいて、中央位置を変更することなく、第1のパノラマ画像の第1のパノラマ画信号DFC、及び第2のパノラマ画像の第2のパノラマ画信号DPCを生成する。また、画像処理部304は、第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCのそれぞれにおいて、位置判別結果KPに基づく位置(カメラ部201の撮像光学系の光軸が向いている位置)を表示する。さらに、画像処理部304は、画像処理を行うことにより生成した第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCを表示処理部305に供給する。
【0045】
表示処理部305は、伸長処理部302から供給された映像信号Dcamや、画像処理部304から供給された第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCを用いて表示駆動信号HDを生成してモニター320に供給する。また、表示処理部305は、後述する制御部310から供給されたGUI表示制御信号CTgに基づいて生成したGUI用映像信号を用いて、表示駆動信号HDを生成してモニター320に供給する。表示処理部305は、複数のカメラ端末装置200から送られたライブ映像とパノラマ画をモニター320上に一覧表示するように制御することができる。
【0046】
モニター320は、表示駆動信号HDに基づいて、表示素子例えば液晶表示素子やプラズマ表示素子あるいは陰極線管等を駆動して、第1のパノラマ画像、撮像方向を中央位置とした第2のパノラマ画像やカメラ部201の撮像画像(ライブ映像)、GUI画像等を画面上に表示する。
【0047】
ユーザインタフェース部315は、GUIが用いられており、モニター320を用いてユーザに対する情報の提示を行い、提示された情報に基づき操作入力手段であるポインティングデバイスやキーボード等でユーザ操作が行われたとき、ユーザ操作に応じた操作信号USを制御部310に供給して所望の動作等を行わせる。
【0048】
制御部310は、操作信号USとモニター320の表示状態に基づき、ユーザがどのような処理の選択やどのような処理の実行を要求したか判別して、判別結果に基づき制御信号CTmを生成して各部に供給し、センターサーバー300の動作を制御する。また、判別結果に基づきコマンド信号CMを生成して、ネットワークインタフェース部301を介してカメラ端末装置200に供給し、カメラ端末装置20の動作を制御する。さらに、制御部310は、GUI表示制御信号CTgを生成して表示処理部305に供給する。
【0049】
なお、上述した例では、カメラ端末装置200が映像信号Dcamから第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPを生成したが、センターサーバー300またはクライアント400が第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPを生成しても良い。この場合、カメラ端末装置200のネットワークインタフェース部206は、カメラブロック201から出力された映像信号Dcamをセンターサーバー300またはクライアント400へ送る。センターサーバー300またはクライアント400は、カメラ端末装置200と同様の信号処理部を備えることで、第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPを生成することができる。第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPは、センターサーバー300またはクライアント400が備えるハードディスク等のメモリに記憶される。
【0050】
(3)第1のパノラマ画像及び第2のパノラマ画像の表示動作について
次に、第1のパノラマ画像及び第2のパノラマ画像表示動作について説明する。制御部310は、動作開始時に、カメラ端末装置200に対して、第1のパノラマ画信号DF及び第2のパノラマ画信号DPとカメラ位置情報信号PMおよび映像符号化信号DVを要求するコマンド信号CMを送信する。カメラ端末装置200は、記憶部207に第1のパノラマ画信号DF、第2のパノラマ画信号DPを記憶しているとき、この第1のパノラマ画信号DF、第2のパノラマ画信号DPを読み出してセンターサーバー300に送信する。また、カメラ端末装置200は、画記憶部207に第1のパノラマ画信号DFまたは第2のパノラマ画信号DPが記憶されていないとき、カメラ部201や信号処理部202および撮像方向制御部204を制御して、撮像方向を移動しながら撮像動作を行い、第1のパノラマ画信号DF及び第2のパノラマ画信号DPを生成してセンターサーバー300に送信する。なお、カメラ端末装置200は、生成した第1のパノラマ画信号DF及び第2のパノラマ画信号DPは、記憶部207に記憶させる。
【0051】
カメラ端末装置200は、撮像方向制御部204で生成したカメラ位置情報信号PMをセンターサーバー300に供給する。また、カメラ端末装置200は、カメラ部201の撮像動作を開始して、得られた映像信号Dcamを信号処理部202で圧縮し映像符号化信号DVをメモリ部203に記憶させる。さらに、メモリ部203に記憶されている映像符号化信号DVをセンターサーバー300に供給する。なお、図1に示すように、カメラ端末装置200とネットワーク500とがプロキシサーバ600を介して接続されている場合、カメラ端末装置200とセンターサーバー300との間の情報のやり取りは、プロキシサーバ600を経由して行われる。
【0052】
センターサーバー300の位置判別処理部303は、カメラ位置情報信号PMで示された撮像方向が第1のパノラマ画像または第2のパノラマ画像のいずれの位置に対応するか判別して、位置判別結果KPを画像処理部304に供給する。第2のパノラマ画を例に挙げると、例えばカメラ位置情報信号PMで示す角度差が「0°」であるとき、撮像方向は基準方向に設定されていることから、撮像方向の位置は第2のパノラマ画像の中央位置となっている。
【0053】
画像処理部304は、位置判別結果KPに基づいて画像処理を行う。ここで、位置判別結果KPによって、撮像方向の位置が第2のパノラマ画像の中央位置であることが示されたときは、撮像方向の画像が第2のパノラマ画像の中央となっていることから、第2のパノラマ画像処理を行うことなく、第2のパノラマ画信号DPを第2のパノラマ画信号DPCとして表示処理部305に供給する。一方、撮像方向の位置が第2のパノラマ画像の中央位置でない場合は、判別された撮像方向の位置と第2のパノラマ画像の中心位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の中央位置となるように第2のパノラマ画像を処理し、第2のパノラマ画信号DPCを生成する。
【0054】
このため、第2のパノラマ画像においては、例えばカメラ位置情報信号PMで示す角度差が「0°」であるとき、表示処理部305からの表示駆動信号HDによって駆動されるモニター320の画面上には、カメラ部201で撮影された撮像画像と、基準方向が中央位置とされている第2のパノラマ画像、およびGUIに関する画像が表示される。
【0055】
第1のパノラマ画像の場合、後述する「第1のパノラマ画像を回転させるモード」の場合は、第2のパノラマ画信号DPCと同様に、判別された位置と第1のパノラマ画像のパン方向の基準位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の下(後述する直線L上)に位置するように第1のパノラマ画像を回転させ、第1のパノラマ画信号DFCを生成する。また、画像処理部304は、第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCのそれぞれにおいて、位置判別結果KPに基づく撮像方向の位置(カメラ部201の撮像光学系の光軸が向いている位置)を表示する。
【0056】
第1のパノラマ画像及び第2のパノラマ画像のいずれにおいても、予め設定された基準位置を中心位置として固定して表示することもできる。この場合、位置判別結果KPによって判別された位置と予め設定された基準位置との差分量を判別して、この判別された差分量に基づいて、中心位置から差分量だけ離れた位置にカメラの撮像方向(カメラブロックが有する光学系の光軸の方向)が向いていることを示すカーソル、または枠などを第1または第2のパノラマ画像中に表示する。
【0057】
伸長処理部302は、映像符号化信号DVを伸長して、得られた映像信号Dcamを表示処理部305に供給する。また、制御部310は、GUI表示を行うためのGUI表示制御信号CTgを表示処理部305に供給する。
【0058】
(4)第1のパノラマ画像を生成する処理について
次に、第1のパノラマ画信号DFを生成する処理について、図5〜図8に基づいて説明する。第1のパノラマ画像信号DFを生成する際には、第1のパノラマ画像の領域毎に画像を取得する。先ず、図5に示すように、カメラ端末装置200のズームを固定して、ある任意の間隔でパン、チルトを行い、静止画を取得する。図5中に示す数字は、画像取得の順番を示している。
【0059】
次に、以下の[1]〜[3]の手順により、静止画像座標系の座標変換を行う。ここでは、図6に示すように、静止画像の各点を、カメラ端末装置200の回転中心から見た相対位置(x,y,z)に変換する。
[1] 水平画角thh[degree]、アスペクト比aのカメラの視点を原点に置き、-z方向に向ける。距離Lの位置に被写体平面(x, y, -L)を考えると、見える範囲は 2Lx × 2Ly の長方形になる。ここで、Lx=L・tan(thh/2)、Ly=Lx/aの関係が成立する。
[2] カメラの姿勢は本来(x, y,
z, p, q, r)であるが、視点の位置が原点に固定されていると考えると、x=y=z=0であり、ここでは(p, q, r) (p: Pan(y軸回転), q: Tilt(x軸回転), r: roll(z軸回転))のみを考える。
[3] (2Lx)×(2Ly)の長方形内の点(j, i)を用いると下記の式が成り立つ。
x=Lx × (j-Lx)/Lx
y = Ly × (i - Ly) / Ly
z = -L
[4] (x, y, z)を用いて以下のRoll変換、Tilt変換、Pan変換式を適用する。
【0060】
【数1】
【0061】
ここで得られた(x3,y3,z3)が、静止画像のある点(x,y,z)をカメラの回転中心から見た座標系で表した値となる。
【0062】
次に、相対位置を緯度、経度に変換する。ここでは、図7に示すように、上記で得られた(x3,y3,z3)を緯度、経度に変換する。(x3, y3, z3)の方向が-zの方向に対して水平方向となす角度が経度であり、またx-z平面となす角度が緯度になり、以下の式で求めることができる。
・緯度(Latitude)
La = tan-1
( y3 / ::sqrt( x3 * x3 + z3 * z3))
・経度(Lo)
0.0 < z3のとき
0.0 < x3の場合 Lo = 90.0 + La
0.0≧x3の場合 Lo = -90.0 - La
0.0 ≧ z3のとき
Lo =
tan-1( x3 / z3) / RAD
ただし、
RAD = π/ 180 (π:円周率)
【0063】
次に、第1のパノラマ画像への変換を行う。ここでは、図8に示すように、得られた緯度、経度(La,Lo)を、緯度を半径の軸、経度を円周方向の座標系で表す。
【0064】
以上のようにして、第1のパノラマ画信号DFを生成することができる。
【0065】
(5)GUIについて
次に、GUIについて説明する。図9は、モニター320の表示画面を示す模式図である。図9では、通常の画面と全画面表示の双方を示しており、いずれの場合においても、画面左側に操作パネル(コントロールパネル)が表示され、画面右側にライブ映像が表示されている。操作パネルの“Screen Mode”を“Full”にすると全画面表示となる。
【0066】
図10は、操作パネルによる操作を説明するための模式図である。操作パネル内は機能毎のパネルとなっており、各パネルを折り畳んで格納することができる。パネルの分類は以下の通りである。
・View
表示に関する設定
・Camera control
カメラ操作に関する設定
・Panorama
パノラマ表示
・Preset position
プリセットに関する設定
・Trigger
トリガーに関する設定
・Other
その他の設定
【0067】
各パネルをクリックすると、そのパネルが開くように構成されている。図10(A)は、“View”をクリックした状態を示しており、“View”欄の下にメニューが表示される。一方、図10(B)は、“Camera control”をクリックした状態を示しており、“Camera control”欄の下にメニューが表示される。また、図10(C)はパネル“Camera control”をドラッグした状態を示しており、ドラッグすることによりパネル“Camera control”をフローティングウィンドウにすることができる。
【0068】
図11は、パネル“View”をクリックした場合に“Screen Mode”、“View Size” “Image Codec”、“Frame Rate”などのメニューが表示された状態を示している。“Screen Mode”メニューでは、表示モードをノーマルとフルスクリーンに変更できる。“View Size”では、画像の1/4,1/2,等倍,Fitモードを指定できる。Fitモードは現在の表示エリアの大きさに合わせて画像を表示する。“Image Codec” メニューでは、Codecの変更を行うことができる。“Frame Rate”メニューでは、JPEGのフレームレートを変更することができる。動画保存ボタンは動画の保存に、静止画保存ボタンは静止画の保存のために用いる。その他、マイクボリュームスライダー、マイクミュートオン/オフボタン、音声ボリュームスライダー、音声ミュートオン/オフボタン等が設けられている。
【0069】
図12は、パネル“Camera”をクリックした場合に表示されるメニューを示している。“Operation Mode”メニューでは、画像上での操作モード切替を行うことができる。パン、チルト制御ボタンでは、矢印方向のボタンを操作することにより、パン、チルト方向を指定することができる。パン、チルト制御ボタンの真中に位置するボタンは、ホームポジションボタンである。ズームボタンは、カメラ端末装置200のズームを指定するボタンであって、光学ズームとデジタルズームの境界が分かるように構成されている。ズームボタンの「W」、「T」を押し続けるとズーム操作が継続して行われる。また、フォーカスボタンは、フォーカスを「遠距離」、「近距離」に設定するために用いられる。その他、ONE PUSH AUTO FOCUSボタン、排他制御の制御権獲得ボタン等の各種ボタンが設けられている。
【0070】
図13は、“Preset
position”、“Trigger”、“Other”、“information”をクリックした場合に表示される各メニューを示している。“Preset
position”は、予め定められた複数の撮影方向の画像をサムネイル表示したもので、サムネイル画像の1つをクリックして選択することにより、カメラ端末装置200を選択したサムネイル画像の方向に向けることができる。
【0071】
(6)第1のパノラマ画像上での撮影方向の指定
次に、図14〜図18に基づいて、第1のパノラマ画像の表示について説明する。図14は、モニター320の表示画面において、操作パネルの“Preset position”をクリックして第1のパノラマ画像を表示した状態を示す模式図である。なお、操作パネルの右側にはライブ映像が表示されている。上述したように、“Preset position”欄をドラッグして移動することにより、図15に示すように、第1のパノラマ画像が表示されたサブパネルを操作パネルの外に配置することができる。また、第1のパノラマ画像が表示されたサブパネルは表示画面内で移動することができる。
【0072】
図16は、第1のパノラマ画像が表示されたサブパネルを詳細に示す模式図である。第1のパノラマ画像には、右側のライブ映像で表示されている画像の方向(カメラ端末装置200の撮像光学系の光軸の向き)が、+印によって示されている。また、図16に示すように、第1のパノラマ画像の右上のパノラマ切替釦をクリックすることにより、第1のパノラマ画像を第2のパノラマ画像に切換えることができる。
【0073】
図17は、第1のパノラマ画像を用いてライブ映像の方向を変更する操作を示している。カメラ端末装置200のパン・チルト方向を変更する場合、上述したパン、チルト制御ボタンによって行うことができるが、第1のパノラマ画像中の任意の点を指定することによっても行うことができる。図17の状態では、+印の方向にカメラ端末装置200の撮像光学系の光軸が向けられ、その方向のライブ映像が表示されている。この状態で図17の第1のパノラマ画像に示す●印の部分をクリックすると、ユーザ操作に応じた操作信号USが制御部310に送られて、これに基づいてカメラ端末装置200の撮像方向制御部204が制御されることにより、●印の方向にカメラ端末装置200の撮像光学系の光軸が向けられる。従って、操作パネルの右側に表示されるライブ映像は、●印の方向の映像に切り換わる。
【0074】
これにより、ユーザは、第1のパノラマ画像中の任意の点を指定することにより、カメラ端末装置200のパン・チルト方向を指定することができる。第1のパノラマ画像には、カメラ端末装置200が撮影可能なパン・チルト方向の映像が全て含まれていることから、ユーザは、第1のパノラマ画像上でカメラ端末装置200の方向を指定することで、所望の方向のライブ映像を表示することができる。なお、クリックする位置を示す+印の代わりに、所定範囲を囲む枠で領域指定して光軸の向きを制御するようにしても良い。
【0075】
第1のパノラマ画像上でカメラ端末装置200の方向を指定した場合に、第1のパノラマ画像の表示状態は変わらずにライブ映像のみが切り換わるモードと、第1のパノラマ画像が回転するモードがある。第1のパノラマ画像が回転するモードでは、図18に示すように、現在ライブ映像が表示されている位置(+印)は第1のパノラマ画像の中心から上方に向かう直線L上に位置するように第1のパノラマ画像の角度位置が設定される。次に第1のパノラマ画像上で●印をクリックすると、操作パネルの右側に表示されるライブ映像は、●印の方向の映像に切り換わり、同時に第1のパノラマ画像において●印の位置が直線L上に位置するように第1のパノラマ画像が回転する。従って、ユーザは、第1のパノラマ画像を見ることで、ライブ映像の方向が第1のパノラマ画像の直線L上であることを即座に認識することができる。
【0076】
第2のパノラマ画像においても同様に、ユーザは、第2のパノラマ画像中の任意の点を指定することにより、カメラ端末装置200のパン方向を指定することができ、これに基づいてライブ映像の方向を切換えることができる。
【0077】
(7)プリセット位置を用いた制御
次に、本実施形態のシステムにおいて、プリセット位置を用いた制御について説明する。上述したように、本実施形態のシステムでは、第1のパノラマ画像または第2のパノラマ画像中の所望の領域を指定することで、カメラ端末装置200の撮像方向を指定した方向に向けることができる。一方、予め1または複数のプリセット位置を設定しておいた場合は、プリセット位置を選択することで、その位置にカメラ端末装置200の撮像方向を向けることもできる。
【0078】
図19は、一例として、本実施形態のカメラ端末装置200が会議室内に設置された場合を示している。図19に示す例では、カメラ端末装置200の撮影の設定について、4つのプリセット位置が設定されている。それぞれのプリセット位置では、「ホワイトボード」、「投影用スクリーン」、「会議室の比較的広い範囲」、「会議室の特定の範囲」が撮像される。また、画面下部には、第2のパノラマ画像による全体画像が表示されている。
【0079】
第2のパノラマ画像には、各プリセット位置の範囲が矩形の枠A〜Dで表示されている。ここで、枠Aは「ホワイトボード」に対応し、枠Bは「会議室の比較的広い範囲」に対応し、枠Cは「投影用スクリーン」に対応し、枠Dは「会議室の比較的狭い範囲」に対応する。
【0080】
このように、パノラマ画像の中に、各プリセット位置に対応した撮影範囲の枠を表示することで、ユーザは、パノラマ画像の中のどの範囲がプリセット位置に対応しているかを視覚的に直接判断することができる。
【0081】
プリセット位置は、後述する方法でユーザによって予め設定され、そのデータはカメラ端末装置200のパノラマ画記憶部207、またはセンターサーバー300が備えるメモリ、クライアント400が備えるメモリ等に格納される。
【0082】
次に、以上のようにして設定されたプリセット位置において、パノラマ画像から各プリセット位置におけるライブ映像を表示する方法を説明する。図20〜図23は、図19に示す全体画像中の枠A〜Dを選択することによって4つのプリセット位置の中からライブ映像を指定した状態を示す模式図である。
【0083】
図20は、図19の状態から全体画像中の枠Aを選択した状態を示している。枠Aの選択は、表示画面上のカーソルを全体画像中の枠Aの位置に移動して枠Aをクリックすることにより行うことができる。図20に示すように、全体画像中の枠Aをクリックすると、全体画像の上に枠Aに対応したライブ映像「ホワイトボード」が大きく表示される。
【0084】
同様に、図21は全体画像中の枠Bをクリックした状態を、図22は全体画像中の枠Cをクリックした状態を、図23は全体画像中の枠Dをクリックした状態を、それぞれ示している。図21〜図33に示すように、枠B、枠C、枠Dをクリックすると、枠B、枠C、枠Dのそれぞれに対応するライブ映像が表示される。従って、ユーザは、全体画像を見ながら枠A、枠B、枠C、枠Dを選択することで、所望のライブ映像を切り換えて表示することができる。
【0085】
この場合、ユーザが枠A〜Dのいずれかをクリックすると、その操作に応じた操作信号USがユーザインタフェース部315から制御部310に送られ、操作信号USには選択された枠A〜D(すなわち、プリセット位置)の情報が含まれている。制御部310は、操作信号USに基づいて生成したコマンド信号CMを、ネットワークインタフェース部206を介してカメラ端末装置200の端末制御部210へ送る。端末制御部210は、コマンド信号CMを解析し、パノラマ画記憶部207に記憶されたプリセット位置の情報を用いて、方向制御信号CTcの生成を行う。これにより、撮像方向制御部204、撮像方向調整部205により、カメラ部201の撮像方向が方向制御信号CTcによって指示された方向に調整される。
【0086】
なお、プリセット位置の情報が、センターサーバー300が備えるメモリに格納されている場合、その情報はコマンド信号CMに含められてカメラ端末装置200に送られる。そして、端末制御部210は、コマンド信号CMを解析し、センターサーバー300から送られたプリセット位置の情報を用いて、方向制御信号CTcの生成を行う。
【0087】
図24及び図25は、プリセット位置を変更する方法を示す模式図であって、枠Bの位置をパノラマ画像中で移動させてプリセット位置を変更する方法を示している。具体的には、ユーザが図24に示す状態で枠Bをドラッグして、枠Bを図25に示す位置まで移動してドラッグ操作を終了させると、枠Bに対応したプリセット位置を図25に示す位置に変更することができる。図25に示す状態では、ユーザのドラッグ操作により、枠Bの位置が「ホワイトボード」と「投影用スクリーン」に対応した位置に移動し、移動された枠Bに対応する「ホワイトボード」と「投影用スクリーン」のライブ映像が表示される。これにより、枠Bに対応するプリセット位置が、「ホワイトボード」と「投影用スクリーン」に対応した位置に設定される。
【0088】
この場合、ユーザが枠Bをドラッグして移動すると、その操作に応じた操作信号USがユーザインタフェース部315から制御部310に送られ、操作信号USにはドラッグにより移動された枠B(枠Bに対応するプリセット位置)の情報が含まれている。制御部310は、操作信号USに基づいて生成したコマンド信号CMを、ネットワークインタフェース部206を介してカメラ端末装置200の端末制御部210へ送る。端末制御部210は、コマンド信号CMを解析し、パノラマ画記憶部207に記憶されたプリセット位置の情報を変更するとともに、変更されたプリセット位置に基づいて方向制御信号CTcの生成を行う。これにより、変更されたプリセット位置がパノラマ画記憶部207に記憶されるとともに、カメラ部201の撮像方向が方向制御信号CTcによって指示された方向に調整される。
【0089】
なお、プリセット位置の情報が、センターサーバー300が備えるメモリに格納されている場合、制御部310は、操作信号USに基づいて生成したコマンド信号CMに基づいて、メモリに格納されているプリセット位置を変更する。そして、制御部310は、変更されたプリセット位置を含むコマンド信号CMを、ネットワークインタフェース部206を介してカメラ端末装置200の端末制御部210へ送る。端末制御部210は、コマンド信号CMを解析し、変更されたプリセット位置に基づいて方向制御信号CTcの生成を行う。これにより、カメラ部201の撮像方向が方向制御信号CTcによって指示された方向に調整される。
【0090】
このように、パノラマ画像中に表示されたそれぞれの枠をドラッグして移動することにより、プリセット位置を自由に変更することができる。この際、パノラマ画像にはカメラ端末装置200が撮影可能な全範囲が表示されているため、ユーザは、カメラ端末装置200が撮影可能な全範囲の中から、所望のプリセット位置を視覚的に設定することができる。
【0091】
次に、パノラマ画像中に設定された複数のライブ映像を表示する例について説明する。図26は、ユーザのドラッグ操作により枠Bと枠Dの2つが選択された状態を示している。この場合、ライブ映像として、枠Bに対応する「会議室の比較的広い範囲」の映像と、枠Dに対応する「会議室の比較的狭い範囲」の映像が所定時間毎に交互に表示される。
【0092】
また、図27は、ユーザのドラッグ操作により枠Bと枠Dの2つが選択された場合に、枠Bに対応する「会議室の比較的広い範囲」の映像と、枠Dに対応する「会議室の比較的狭い範囲」の映像を共に表示した例を示している。この場合、2つのライブ映像を同時に表示することはできないため、2つの映像は交互に最新のライブ映像に更新される。また、一方のみライブ映像を表示し、他方については以前に取得された過去の映像を表示しても良い。
【0093】
図26及び図27の場合、ユーザが枠B、枠Dの双方をドラッグにより指定すると、その操作に応じた操作信号USがユーザインタフェース部315から制御部310に送られ、操作信号USには選択された枠B,Dの情報が含まれている。制御部310は、操作信号USに基づいて生成したコマンド信号CMを、ネットワークインタフェース部206を介してカメラ端末装置200の端末制御部210へ送る。端末制御部210は、コマンド信号CMを解析し、枠B,Dの2つが選択されている旨を示す情報と、パノラマ画記憶部207に記憶された枠B,Dのプリセット位置の情報を用いて、方向制御信号CTcの生成を行う。これにより、撮像方向制御部204、撮像方向調整部205により、カメラ部201の撮像方向が方向制御信号CTcによって指示された方向に調整される。
【0094】
図28は、プリセット位置を設定するための設定画面の例を詳細に示す模式図である。図28に示す設定画面は、図10に示す「Preset position」のボタンを押すと現れる。図28に示す設定画面の例では、画面中央右側にパノラマ画像が表示され、画面中央左側にプリ設置位置の映像(ライブ映像)が表示される。
【0095】
ユーザは、パノラマ画像の中でドラッグ操作を行うことにより、プリセット位置の初期設定を行うことができる。この際、例えばパノラマ画像上で矩形の枠の対角線の両端を始点と終点としてドラッグすることにより、各枠A〜Dの初期設定を行う。これにより、パノラマ画像には、初期設定された枠A〜Dが表示される。その後、図24及び図25に示した方法により、ユーザがドラッグ操作により枠A〜Dを所望の位置に設定するなどした状態で、各プリセット位置にプリセット番号と名前を設定して「Set」を押すことにより、各枠A〜Dに対応したプリセットが完了する。また、「Call」を押すことにより、プリセットの呼び出しができる。なお、プリセット位置を座標で入力することによって設定することもできる。本実施形態では、4つのプリセット位置を例示しているが、プリセット位置の数は特に限定されるものではない。
【0096】
図28に示す「グループプリセット位置」の指定では、プリセット位置をいくつかのグループに分けることができる。グループはツリー構造で表される。また、「ホーム設定位置」では、カメラのホームポジションが表示される。
【0097】
また、「New Group」の欄には、新しいグループフォルダを作成した際にその属性が示される。「Rename」はグループ名を変更する際に押すボタンである。また、「Clear」は、グループを消去する際に押すボタンである。また、「OK」は、このページの設定をカメラ側に記憶させる際に押すボタンである。「Cancel」は、このページの設定変更を破棄する際に押すボタンである。
【0098】
ユーザがプリセット位置を設定すると、その操作に応じた操作信号USがユーザインタフェース部315から制御部310に送られる。制御部310は、操作信号USに基づいて生成したコマンド信号CMを、ネットワークインタフェース部206を介してカメラ端末装置200の端末制御部210へ送る。端末制御部210は、コマンド信号CMを解析し、コマンド信号に含まれるプリセット位置をパノラマ画記憶部207に記憶させる。また、プリセット位置の情報が、センターサーバー300が備えるメモリに格納される場合、制御部310は、操作信号USに基づいて生成したコマンド信号CMに基づいて、メモリにプリセット位置を記憶させる。
【0099】
以上のように、ユーザは、図28に示す画面をセンターサーバー300に接続されたモニタ320、またはクライアント400の表示部に表示した状態で、マウス、キーボードなどのポインティングデバイスを使用してプリセット位置を設定、変更、消去することができる。
【0100】
次に、パノラマ画像上における、プリセット位置を示す枠の位置および大きさの設定について説明する。ユーザがドラック操作等によりパノラマ画像中で枠の位置、大きさを指定した場合、枠の中心位置がプリセット位置に設定される。そして、枠の中心位置は、プリセット位置として、パノラマ画記憶部207、またはセンターサーバー300のメモリに記憶される。
【0101】
また、枠の大きさについては、パノラマ画像の周辺では画像に湾曲が生じるため、枠がパノラマ画像の中心に位置している場合を基準の大きさとする。そして、撮影倍率に応じた大きさで基準の枠を拡大または縮小して、最終的な枠の大きさを決定するものとする。
【0102】
枠の大きさとカメラ端末装置200のカメラ部201のズーム量との関係については、一例として以下のように設定される。図28に示すように、パノラマ画像のサイズが、縦90ピクセル、横320ピクセルであるものとする。図28の例では、パノラマ画像はパン方向に360度撮影した画像(第2のパノラマ画像)であるため、水平方向の画角は360度に相当する。
【0103】
一例として、カメラ部201のレンズの水平画角が、ワイド端で58度、テレ端で2度であり、カメラ部201の最大解像度が640×480(ピクセル)であるものとする。この場合、カメラ部201のレンズがワイド端に設定された際の矩形の大きさ(Xw,Yw)(Xw,Ywの単位はピクセル(画素数)とする)は、
360(度):58(度)=320:Xw
の関係が成立するので、水平方向の矩形の大きさは、Xw=52 (ピクセル)となる。
また、垂直方向の矩形の大きさYwについては、
640:480=52:Yw
の関係が成立するので、Yw=39(ピクセル)となる。従って、垂直方向の矩形の枠の大きさは、(52,39)ピクセルとなる。
【0104】
また、カメラ端末装置200が最もズームしたテレ端の場合、矩形の大きさ(Xt,Yt)(ピクセル)は、
360(度):2(度)=320:Xw
の関係が成立するので、水平方向の矩形の大きさは、Xw=1.8 (ピクセル)となる。
また、垂直方向の矩形の枠の大きさYwについては、
640:480=1.7:Yw
の関係が成立するので、Yw=1.4(ピクセル)となる。
【0105】
従って、以上から枠の大きさとカメラ部201のズーム量との関係が得られる。制御部310は、ユーザによって指定された枠の位置、及びズーム量に基づいてコマンド信号CMを生成し、ネットワークインタフェース部206を介してカメラ端末装置200の端末制御部210へ送る。端末制御部210は、コマンド信号CMを解析し、コマンド信号CMに含まれるズーム量に基づいてプリセット位置の枠の大きさを演算し、プリセット位置の中心位置とともにパノラマ画記憶部207に記憶させる。また、プリセット位置がセンターサーバー300またはクライアント400のメモリに記憶される場合、制御部310は、コマンド信号に基づいて、コマンド信号CMに含まれるズーム位置に基づいて枠の大きさを設定し、また、コマンド信号に含まれる枠の中心位置に基づいて、プリセット位置をメモリに記憶させる。なお、ユーザは、枠の大きさによってズーム量を指定する以外に、キーボード入力等によってズーム量を指定することも可能である。
【0106】
以上説明したように本実施形態によれば、全体画像(パノラマ画像)上に、プリセット設定箇所が表示されるため、全体におけるプリセット設定箇所が容易に把握できる。また、全体画像上での指定によりプリセットを指定できるため、使い勝手を大幅に向上することができる。また、撮影画角に基づいてプリセット位置の大きさ(枠の大きさ)を表示できるため、プリセットされた相対的な画角のサイズも把握することができる。更に、全体画像と現実の撮影画像とが歪んで対応している場合でも、画角サイズを相対的に把握できる表示を行うことが可能となる。
【0107】
なお、上述した説明では、複数のユーザが各カメラ端末装置200の撮像方向を制御する場合について説明したが、各カメラ端末装置200の撮像方向が固定されており、全体画像の中からユーザの指示に応じた領域の画像のみを切り出して表示するシステム(デジタル的にパン、チルトの制御を行うシステム)への適用も可能である。このシステムは、例えば、システムサーバ300の制御部310がユーザによる撮像方向の操作入力に応じて、全体画像の中から切り出す範囲を指定して表示処理部305による表示制御を行うことで実現される。この場合においても、上述したプリセット位置を用いた制御を行うことにより、ライブ映像の撮像範囲をデジタル的に制御することができる。以上のように、本システムは、メカ的に撮像方向を制御するシステムのみならず、デジタル的に撮像方向を制御するシステムへの適用が可能である。
【0108】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0109】
100 撮像システム
200 カメラ端末装置
300 センターサーバー
301 ネットワークインターフェース部
305 表示処理部
310 制御部
500 ネットワーク
【技術分野】
【0001】
本発明は、制御装置、カメラシステム及びプログラムに関する。
【背景技術】
【0002】
従来、例えば下記の特許文献1に記載されているように、カメラで撮影できる範囲を全体画像として表示し、その全体画像上での操作により、カメラの撮影方位を制御するカメラ制御システムが知られている。また、プリセット設定された箇所に対応する箇所をサムネイルとして表示し、所望のサムネイルを選択することで、プリセット設定された箇所にカメラの撮影方位を制御するカメラ制御システムが知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−354748号公報
【特許文献2】特開平2008−22260号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記いずれの文献においても、プリセット設定された箇所が、カメラが撮影できる範囲(全体画像)のどの位置に対応するか容易に把握することはできなかった。また、上記文献に記載された技術では、全体画像上でのプリセット位置が判別できないことから、全体画像上での操作により、プリセット設定された箇所へ撮影方向の制御を行うことはできない。このため、プリセット設定された所望の方向へ撮影方向を直感的に制御することができず、多くの試行錯誤を必要とする問題が生じていた。
【0005】
そこで、本発明は、上記課題に鑑みてなされたものであり、本発明の目的とするところは、全体画像の中に設定されたプリセット領域へ直感的に撮像方向を制御することが可能な、新規かつ改良された制御装置、カメラシステム及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある観点によれば、カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、前記全体画像上で指定された位置に対応する領域を変化させるように制御する制御部と、を有し、前記領域は、少なくとも1つのプリセット領域を含み、前記表示制御部は、前記全体画像上に前記プリセット領域に対応する箇所を表示する、制御装置が提供される。
【0007】
また、記制御部は、前記全体画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するものであってもよい。
【0008】
また、前記制御部は、前記全体画像上で前記プリセット領域に対応する箇所が選択された場合に、選択された前記プリセット領域を撮像するように前記カメラの撮像方向を制御するものであってもよい。
【0009】
また、前記表示制御部は、前記プリセット領域に基づいて設定された画角のサイズに基づいて、前記全体画像上に前記対応する箇所を表示するものであってもよい。
【0010】
また、前記表示制御部は、前記プリセット領域が全体画像の中心に位置しない場合、前記プリセット領域が全体画像の中心に位置する場合の枠の大きさを基準として、前記プリセット領域に基づいて設定された撮影倍率で前記枠の大きさを補正して表示するものであってもよい。
【0011】
また、前記表示制御部は、ユーザのドラッグ操作に応じて前記プリセット領域の位置を変更して表示するものであってもよい。
【0012】
また、前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、前記表示制御部は、前記複数のプリセット領域を一覧表示するように画像表示を制御するものであってもよい。
【0013】
また、前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、前記表示制御部は、前記複数のプリセット領域を交代で表示するものであってもよい。
【0014】
また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像するカメラと、前記カメラを制御する制御装置とを有するカメラシステムであって、前記制御装置は、カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、前記全体画像上で指定された位置に対応する領域を変化させるように制御する制御部と、を有し、前記領域は、少なくとも1つのプリセット領域を含み、前記表示制御部は、前記全体画像上に前記プリセット領域に対応する箇所を表示する、カメラシステムが提供される。
【0015】
また、前記制御部は、前記全体画像上で指定された位置に対応する領域を前記カメラで撮像するように制御するものであってもよい。
【0016】
また、前記制御部は、前記全体画像上で前記プリセット領域に対応する箇所が選択された場合に、選択された前記プリセット領域を撮像するように前記カメラの撮像方向を制御するものであってもよい。
【0017】
また、前記表示制御部は、前記プリセット領域に基づいて設定された画角のサイズに基づいて、前記全体画像上に前記対応する箇所を表示するものであってもよい。
【0018】
また、前記表示制御部は、前記プリセット領域が全体画像の中心に位置しない場合、前記プリセット領域が全体画像の中心に位置する場合の枠の大きさを基準として、前記プリセット領域に基づいて設定された撮影倍率で前記枠の大きさを補正して表示するものであってもよい。
【0019】
また、前記表示制御部は、ユーザのドラッグ操作に応じて前記プリセット領域の位置を変更して表示するものであってもよい。
【0020】
また、前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、前記表示制御部は、前記複数のプリセット領域を一覧表示するように画像表示を制御するものであってもよい。
【0021】
また、前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、前記表示制御部は、前記複数のプリセット領域を交代で表示するものであってもよい。
【0022】
また、上記課題を解決するために、本発明の別の観点によれば、カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された少なくとも1つのプリセット領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御するとともに、前記全体画像上に前記プリセット領域に対応する箇所を表示する手段、前記全体画像上で指定された位置に対応する領域を変化させるように制御する手段、としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【0023】
本発明によれば、全体画像の中に設定されたプリセット領域へ直感的に撮像方向を制御することが可能な制御装置、カメラシステム及びプログラムを提供することができる。
【図面の簡単な説明】
【0024】
【図1】本発明の一実施形態に係る撮像システムの全体構成を示す模式図である。
【図2】図1のシステムにおいて、カメラ端末装置とセンターサーバーの構成を詳細に示す模式図である。
【図3】カメラ端末装置200のパン動作、チルト動作を説明するための模式図である。
【図4】パノラマ画と俯瞰画の表示状態を示す模式図である。
【図5】俯瞰画信号DFを生成する処理を説明するための模式図である。
【図6】俯瞰画信号DFを生成する処理を説明するための模式図である。
【図7】俯瞰画信号DFを生成する処理を説明するための模式図である。
【図8】俯瞰画信号DFを生成する処理を説明するための模式図である。
【図9】モニターの表示画面を示す模式図である。
【図10】操作パネルによる操作を説明するための模式図である。
【図11】パネル“View”をクリックした場合に“Screen Mode”、“View Size” “Image Codec”、“Frame Rate”などのメニューが表示された状態を示す模式図である。
【図12】パネル“Camera”をクリックした場合に表示されるメニューを示す模式図である。
【図13】“Presetposition”、“Trigger”、“Other”、“information”をクリックした場合に表示される各メニューを示す模式図である。
【図14】俯瞰画像の表示について説明するための模式図である。
【図15】俯瞰画像の表示について説明するための模式図である。
【図16】俯瞰画像の表示について説明するための模式図である。
【図17】俯瞰画像の表示について説明するための模式図である。
【図18】俯瞰画像の表示について説明するための模式図である。
【図19】本実施形態のカメラ端末装置が会議室内に設置された場合を示す模式図である。
【図20】図19に示す全体画像中の枠A〜Dを選択することによって4つのプリセット位置の中からライブ映像を指定した状態を示す模式図である。
【図21】図19に示す全体画像中の枠A〜Dを選択することによって4つのプリセット位置の中からライブ映像を指定した状態を示す模式図である。
【図22】図19に示す全体画像中の枠A〜Dを選択することによって4つのプリセット位置の中からライブ映像を指定した状態を示す模式図である。
【図23】図19に示す全体画像中の枠A〜Dを選択することによって4つのプリセット位置の中からライブ映像を指定した状態を示す模式図である。
【図24】プリセット位置を変更する方法を示す模式図である。
【図25】プリセット位置を変更する方法を示す模式図である。
【図26】ユーザのドラッグ操作により枠Bと枠Dの2つが選択された状態を示す模式図である。
【図27】ユーザのドラッグ操作により枠Bと枠Dの2つが選択された場合に、枠Bに対応する映像と、枠Dに対応する映像を共に表示した例を示す模式図である。
【図28】プリセット位置を設定するための設定画面の例を詳細に示す模式図である。
【発明を実施するための形態】
【0025】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0026】
なお、説明は以下の順序で行うものとする。
1.第1の実施の形態(カメラ端末装置とサーバーからなる撮像システムの例)
(1)撮像システムの構成例
(2)カメラ端末装置とセンターサーバーの構成例
(3)第1のパノラマ画像及び第2のパノラマ画像の表示動作について
(4)第1のパノラマ画像を生成する処理について
(5)GUIについて
(6)第1のパノラマ画像上での撮影方向の指定
(7)プリセット位置を用いた制御
【0027】
<1.第1の実施形態>
(1)撮像システムの構成例
図1は、本発明の一実施形態に係る撮像システムの全体構成を示す模式図である。撮像システム100は、カメラ端末装置(IPカメラ)200、センターサーバー300、クライアント400を有しており、複数のカメラ端末装置200、センターサーバー300及びクライアント400は、ネットワーク500を介して接続されている。また、ネットワーク500には、プロキシサーバー600が接続されており、プロキシサーバー600には複数のカメラ端末装置200が接続されている。また、センターサーバー300にはモニター320が接続されている。本実施形態において、カメラ端末装置200は、例えば屋内又は屋外に設置される監視カメラであって、カメラ端末装置200で取得した画像をセンターサーバー300のモニタ320に表示することで、カメラ端末装置200が設置された領域を監視できる。クライアント400は、ネットワーク500を介してカメラ端末装置200、センターサーバー300、またはプロキシサーバー600と接続される。また、クライアント400は、後述するセンターサーバ300の機能とモニタ320の機能を備えるものであっても良い。カメラ端末装置200で撮影された映像は、ネットワーク500を介してクライアント400に送られ、クライアント400の表示画面には後述するライブ映像とともに第1のパノラマ画像、第2のパノラマ画像が表示される。なお、カメラ端末装置200の例として、IPカメラをあげているが、これに限定されず、アナログカメラであってもよい。
パノラマ画像(全景画像、全体画像)は、カメラ端末装置200で撮像可能な範囲を示している。パノラマ画像には、様々な形状があり、例えば、図4のように、円形のパノラマ画像や長方形のパノラマ画像、円筒面上に投射したような輪っか状のパノラマ画像などがある。以下、実施形態において、第1のパノラマ画像及び第2のパノラマ画像の例として、それぞれ円形のパノラマ画像及び長方形のパノラマ画像をあげて説明する。
【0028】
(2)カメラ端末装置とセンターサーバーの構成例
図2は、図1のシステムにおいて、カメラ端末装置200とセンターサーバー300の構成を詳細に示す模式図である。図2に示すカメラ端末装置200またはセンターサーバー300の各構成要素は、ハードウェア(回路など)または、CPUなどの演算処理装置とこれを機能させるためのソフトウェア(プログラム)によって構成することができる。カメラ端末装置200のカメラ部201は、撮像光学系を含み、後述する端末制御部210から供給された撮像制御信号CTaに基づいて撮像動作を行い、映像信号Dcamを生成する。また、カメラ部201は、生成した映像信号Dcamを、バス220を介して信号処理部202に供給する。なお、バス220には、メモリ部203、撮像方向制御部204、ネットワークインタフェース部206、記憶部207、端末制御部210も接続されている。
【0029】
信号処理部202は、映像信号Dcamの圧縮処理を行い、得られた映像符号化信号DVをメモリ部203に記憶させる。また、カメラ部201の撮像方向を順次移動して得られた映像信号Dcamを用いて第1のパノラマ画の映像信号(以下「第1のパノラマ画信号という」DF及び第2のパノラマ画の映像信号(以下「第2のパノラマ画信号」という)DPを生成して、記憶部207に記憶させる。なお、映像信号Dcamの圧縮処理や、第1のパノラマ画信号DFまたは第2のパノラマ画信号DPの生成は、後述する端末制御部210から供給された信号処理制御信号CTbに基づいて行う。
【0030】
撮像方向制御部204は、カメラ部201の撮像方向を、後述する端末制御部210から供給された方向制御信号CTcによって指示された方向に移動させるため、撮像方向を移動する際の速度や加速度の計算を行う。また、計算結果に基づきパン動作を行うための駆動信号MDpやチルト動作を行うための駆動信号MDtを生成して、撮像方向調整部205に供給する。また、撮像方向制御部204は、カメラ部201の撮像方向がいずれの方向であるかを示すカメラ位置情報信号PMを生成して、端末制御部210に供給する。
【0031】
撮像方向調整部205は、カメラ部201を左右方向に移動させるパン動作モータと、カメラ部201を上下方向に移動させるチルト動作モータを有している。撮像方向調整部205は、駆動信号MDpによってパン動作モータ、駆動信号MDtによってチルト動作モータをそれぞれ駆動して、カメラ部201の撮像方向を方向制御信号CTcによって指示された方向に調整する。また、撮像方向調整部205は、動作範囲が制限されることなくエンドレスにパン動作を行うものとする。
【0032】
図3は、カメラ端末装置200のパン動作、チルト動作を説明するための模式図であって、カメラ端末装置200を天井などに装着した場合を示している。ここで、図3(B)は、本実施形態に係るカメラ端末装置200のパン・チルト動作を示している。一方、図3(A)は、比較のため、一般的なカメラ端末装置のパン・チルト動作を示している。図3(A)に示すように、一般的なカメラ端末装置では、パン動作を360°のエンドレスで行い、チルト動作については、鉛直方向から水平方向までの90°の範囲で行う。これに対し、本実施形態に係るカメラ端末装置200は、パン動作を360°のエンドレスで行うとともに、チルト動作については、鉛直方向を中心として220°の範囲で行うことができる。従って、後述する手法により第1のパノラマ画の映像信号DFを生成して記憶部207に記憶することができる。後述の第1のパノラマ画像は、円形のパノラマ画像であり、円の中央付近を中心をまたいで、撮像方向を操作する場合に、本実施形態に係るカメラ端末装置200は、目的撮像方向まで最短でメカ的にも移動することができる。一方、一般的なカメラ端末装置では、円の中心をまたぐようにはカメラ撮像方位をメカ的に移動させることができない。
【0033】
ネットワークインタフェース部206は、カメラ端末装置200とセンターサーバー300との間で、ネットワーク500を介して通信を行うためのインタフェースである。
【0034】
端末制御部210は、撮像制御信号CTaによってカメラ部201を制御し、信号処理制御信号CTbによって信号処理部202を制御し、方向制御信号CTcによって撮像方向制御部204を制御して、撮像方向を順次移動しながら撮像を行う。そして、端末制御部210は、得られた映像信号Dcamに基づいて第1のパノラマ画信号DF及び第2のパノラマ画信号DPを生成させて記憶部207に記憶させる。
【0035】
本実施形態に係る撮像システム100は、映像信号Dcamによるライブ映像と、第1のパノラマ画信号DFまたは第2のパノラマ画信号DPによる第1のパノラマ画または第2のパノラマ画を共にカメラ端末装置200からセンターサーバー300に送信し、モニター320に表示することができる。尚、本明細書において、第1のパノラマ画像または第2のパノラマ画像を全体画像と称する場合がある。図4は、第2のパノラマ画と第1のパノラマ画の表示状態を示す模式図である。センターサーバー300は、ユーザの選択に応じて、第1のパノラマ画または第2のパノラマ画の一方をモニター320にライブ映像とともに表示することができる。また、センターサーバー300は、第1のパノラマ画及び第2のパノラマ画の双方をライブ映像とともに表示するように構成されていても良い。なお、図4の右図では、中央付近の画像が欠けた円形のパノラマ画像を第1のパノラマ画像としているが、これに限定されず、中央付近の画像が欠けていない円形のパノラマ画像を第1のパノラマ画像としてもよい。
【0036】
カメラ端末装置200は、天井などに設置され、カメラ端末装置200の下方向の画像を表示する。このため、図4に示すように、第1のパノラマ画は、カメラ端末装置200から下向きに延在する鉛直線を中心として、パン360°、チルト220°の範囲で取得され、その輪郭は円形となる。
【0037】
また、撮像方向調整部205は、上述のようにエンドレスにパン動作を行うことができるように構成されている。したがって、記憶部207に記憶する第2のパノラマ画像は、例えば図4に示すように、画像が重複しないように、一方の端部が基準方向から「+180°」の角度差、他方の端部が基準方向から「−180°」の角度差を有するものとする。また、パン動作の動作範囲が制限されないので、例えば動作範囲が制限されている場合のように、動作範囲の中央位置を基準方向とすることができない。したがって、基準方向を予め設定しておき、この基準方向が第2のパノラマ画像の中央位置となるように第2のパノラマ画信号DPを生成する。また、撮像方向制御部204は、カメラ位置情報信号PMとして、予め設定された基準方向に対する撮像方向の例えば角度差を示す信号を生成する。
【0038】
このように基準方向を予め設定しておくものとすれば、第2のパノラマ画像がいずれの方向を基準とした撮像動作によって生成された画像であるかを判別する必要がない。また、カメラ位置情報信号PMによって、基準方向に対する撮像方向の角度差を示すものとすれば、第2のパノラマ画像上におけるカメラ位置情報信号PMに基づく撮像方向の位置を容易に判別できる。
【0039】
チルト動作においても、予め基準方向を設定しておき、カメラ位置情報信号PMによって、基準方向に対する撮像方向の角度差を示すものとする。これにより、第1のパノラマ画像、第2のパノラマ画像の双方において、カメラ位置情報信号PMに基づく撮像方向の位置を容易に判別できる。なお、チルト動作については、カメラ端末装置200が天井に設置されている場合、鉛直方向を基準方向とすることができる。
【0040】
端末制御部210は、ネットワークインタフェース部206を介してセンターサーバー300から供給されたコマンド信号CMを解析して、撮像制御信号CTaや信号処理制御信号CTb,方向制御信号CTcの生成を行う。また、メモリ部203に記憶されている映像符号化信号DVや、記憶部207に記憶されている第1のパノラマ画信号DF、第2のパノラマ画信号DP、および撮像方向制御部204から供給されたカメラ位置情報信号PMをセンターサーバー300に送出する処理等を行う。
【0041】
センターサーバー300のネットワークインタフェース部301は、カメラ端末装置200とセンターサーバー300とで、ネットワーク500を介して通信を行うためのインタフェースである。ネットワークインタフェース部301は、カメラ端末装置200から供給された映像符号化信号DVを伸長処理部302に供給する。また、ネットワークインタフェース部301は、カメラ位置情報信号PMを位置判別処理部303に供給し、第1のパノラマ画信号DF及び第2のパノラマ画信号DPを画像処理部304に供給する。
【0042】
伸長処理部302は、映像符号化信号DVの伸長処理を行い、得られた映像信号Dcamを表示処理部305に供給する。
【0043】
位置判別処理部303は、カメラ位置情報信号PMで示された撮像方向が第1のパノラマ画像または第2のパノラマ画像のいずれの位置に対応するか判別して、位置判別結果KPを画像処理部304に供給する。ここで、カメラ位置情報信号PMは、上述のように予め設定した基準方向がパン動作、チルト動作の中央位置となるように第1のパノラマ画信号DFまたは第2のパノラマ画信号DPを生成し、カメラ位置情報信号PMは基準方向と現在の撮像方向の角度差を示すものとすれば、カメラ位置情報信号PMに基づき、現在の撮像方向が俯瞰画像または第2のパノラマ画像のいずれの位置に対応するか容易に判別できる。
【0044】
画像処理部304は、位置判別結果KPに基づいて画像処理を行い、第1のパノラマ画像の第1のパノラマ画信号DFC、及び第2のパノラマ画像の第2のパノラマ画信号DPCを生成する。第2のパノラマ画信号DPCについては、位置判別結果KPにより判別された位置が中央位置とされた第2のパノラマ画信号DPCを生成することができる。この場合、画像処理部304では、判別された位置と第2のパノラマ画像の中心位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の中央位置となるように第2のパノラマ画像を処理する。すなわち、判別された位置を中央位置として「±180°」の第2のパノラマ画像表示画枠を設定して、第2のパノラマ画像表示画枠から外れる差分量分の領域の第2のパノラマ画像を、画像の無い領域に貼り付けることで、判別された位置を中央位置とした第2のパノラマ画像の第2のパノラマ画信号DPCを生成する。第1のパノラマ画信号DFCの場合においても、後述する「第1のパノラマ画像を回転させるモード」の場合は、第2のパノラマ画信号DPCと同様に、判別された位置と第1のパノラマ画のパン方向の基準位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の上に位置するように第1のパノラマ画像を処理する。なお、位置判別結果KPにより判別された位置を中央位置としない場合は、画像処理部304は、第1のパノラマ画信号DF及び第2のパノラマ画信号DPに基づいて、中央位置を変更することなく、第1のパノラマ画像の第1のパノラマ画信号DFC、及び第2のパノラマ画像の第2のパノラマ画信号DPCを生成する。また、画像処理部304は、第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCのそれぞれにおいて、位置判別結果KPに基づく位置(カメラ部201の撮像光学系の光軸が向いている位置)を表示する。さらに、画像処理部304は、画像処理を行うことにより生成した第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCを表示処理部305に供給する。
【0045】
表示処理部305は、伸長処理部302から供給された映像信号Dcamや、画像処理部304から供給された第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCを用いて表示駆動信号HDを生成してモニター320に供給する。また、表示処理部305は、後述する制御部310から供給されたGUI表示制御信号CTgに基づいて生成したGUI用映像信号を用いて、表示駆動信号HDを生成してモニター320に供給する。表示処理部305は、複数のカメラ端末装置200から送られたライブ映像とパノラマ画をモニター320上に一覧表示するように制御することができる。
【0046】
モニター320は、表示駆動信号HDに基づいて、表示素子例えば液晶表示素子やプラズマ表示素子あるいは陰極線管等を駆動して、第1のパノラマ画像、撮像方向を中央位置とした第2のパノラマ画像やカメラ部201の撮像画像(ライブ映像)、GUI画像等を画面上に表示する。
【0047】
ユーザインタフェース部315は、GUIが用いられており、モニター320を用いてユーザに対する情報の提示を行い、提示された情報に基づき操作入力手段であるポインティングデバイスやキーボード等でユーザ操作が行われたとき、ユーザ操作に応じた操作信号USを制御部310に供給して所望の動作等を行わせる。
【0048】
制御部310は、操作信号USとモニター320の表示状態に基づき、ユーザがどのような処理の選択やどのような処理の実行を要求したか判別して、判別結果に基づき制御信号CTmを生成して各部に供給し、センターサーバー300の動作を制御する。また、判別結果に基づきコマンド信号CMを生成して、ネットワークインタフェース部301を介してカメラ端末装置200に供給し、カメラ端末装置20の動作を制御する。さらに、制御部310は、GUI表示制御信号CTgを生成して表示処理部305に供給する。
【0049】
なお、上述した例では、カメラ端末装置200が映像信号Dcamから第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPを生成したが、センターサーバー300またはクライアント400が第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPを生成しても良い。この場合、カメラ端末装置200のネットワークインタフェース部206は、カメラブロック201から出力された映像信号Dcamをセンターサーバー300またはクライアント400へ送る。センターサーバー300またはクライアント400は、カメラ端末装置200と同様の信号処理部を備えることで、第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPを生成することができる。第1のパノラマ画の映像信号DF及び第2のパノラマ画の映像信号DPは、センターサーバー300またはクライアント400が備えるハードディスク等のメモリに記憶される。
【0050】
(3)第1のパノラマ画像及び第2のパノラマ画像の表示動作について
次に、第1のパノラマ画像及び第2のパノラマ画像表示動作について説明する。制御部310は、動作開始時に、カメラ端末装置200に対して、第1のパノラマ画信号DF及び第2のパノラマ画信号DPとカメラ位置情報信号PMおよび映像符号化信号DVを要求するコマンド信号CMを送信する。カメラ端末装置200は、記憶部207に第1のパノラマ画信号DF、第2のパノラマ画信号DPを記憶しているとき、この第1のパノラマ画信号DF、第2のパノラマ画信号DPを読み出してセンターサーバー300に送信する。また、カメラ端末装置200は、画記憶部207に第1のパノラマ画信号DFまたは第2のパノラマ画信号DPが記憶されていないとき、カメラ部201や信号処理部202および撮像方向制御部204を制御して、撮像方向を移動しながら撮像動作を行い、第1のパノラマ画信号DF及び第2のパノラマ画信号DPを生成してセンターサーバー300に送信する。なお、カメラ端末装置200は、生成した第1のパノラマ画信号DF及び第2のパノラマ画信号DPは、記憶部207に記憶させる。
【0051】
カメラ端末装置200は、撮像方向制御部204で生成したカメラ位置情報信号PMをセンターサーバー300に供給する。また、カメラ端末装置200は、カメラ部201の撮像動作を開始して、得られた映像信号Dcamを信号処理部202で圧縮し映像符号化信号DVをメモリ部203に記憶させる。さらに、メモリ部203に記憶されている映像符号化信号DVをセンターサーバー300に供給する。なお、図1に示すように、カメラ端末装置200とネットワーク500とがプロキシサーバ600を介して接続されている場合、カメラ端末装置200とセンターサーバー300との間の情報のやり取りは、プロキシサーバ600を経由して行われる。
【0052】
センターサーバー300の位置判別処理部303は、カメラ位置情報信号PMで示された撮像方向が第1のパノラマ画像または第2のパノラマ画像のいずれの位置に対応するか判別して、位置判別結果KPを画像処理部304に供給する。第2のパノラマ画を例に挙げると、例えばカメラ位置情報信号PMで示す角度差が「0°」であるとき、撮像方向は基準方向に設定されていることから、撮像方向の位置は第2のパノラマ画像の中央位置となっている。
【0053】
画像処理部304は、位置判別結果KPに基づいて画像処理を行う。ここで、位置判別結果KPによって、撮像方向の位置が第2のパノラマ画像の中央位置であることが示されたときは、撮像方向の画像が第2のパノラマ画像の中央となっていることから、第2のパノラマ画像処理を行うことなく、第2のパノラマ画信号DPを第2のパノラマ画信号DPCとして表示処理部305に供給する。一方、撮像方向の位置が第2のパノラマ画像の中央位置でない場合は、判別された撮像方向の位置と第2のパノラマ画像の中心位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の中央位置となるように第2のパノラマ画像を処理し、第2のパノラマ画信号DPCを生成する。
【0054】
このため、第2のパノラマ画像においては、例えばカメラ位置情報信号PMで示す角度差が「0°」であるとき、表示処理部305からの表示駆動信号HDによって駆動されるモニター320の画面上には、カメラ部201で撮影された撮像画像と、基準方向が中央位置とされている第2のパノラマ画像、およびGUIに関する画像が表示される。
【0055】
第1のパノラマ画像の場合、後述する「第1のパノラマ画像を回転させるモード」の場合は、第2のパノラマ画信号DPCと同様に、判別された位置と第1のパノラマ画像のパン方向の基準位置との差分量を判別して、この判別した差分量に基づいて、判別された位置が画像の下(後述する直線L上)に位置するように第1のパノラマ画像を回転させ、第1のパノラマ画信号DFCを生成する。また、画像処理部304は、第1のパノラマ画信号DFC及び第2のパノラマ画信号DPCのそれぞれにおいて、位置判別結果KPに基づく撮像方向の位置(カメラ部201の撮像光学系の光軸が向いている位置)を表示する。
【0056】
第1のパノラマ画像及び第2のパノラマ画像のいずれにおいても、予め設定された基準位置を中心位置として固定して表示することもできる。この場合、位置判別結果KPによって判別された位置と予め設定された基準位置との差分量を判別して、この判別された差分量に基づいて、中心位置から差分量だけ離れた位置にカメラの撮像方向(カメラブロックが有する光学系の光軸の方向)が向いていることを示すカーソル、または枠などを第1または第2のパノラマ画像中に表示する。
【0057】
伸長処理部302は、映像符号化信号DVを伸長して、得られた映像信号Dcamを表示処理部305に供給する。また、制御部310は、GUI表示を行うためのGUI表示制御信号CTgを表示処理部305に供給する。
【0058】
(4)第1のパノラマ画像を生成する処理について
次に、第1のパノラマ画信号DFを生成する処理について、図5〜図8に基づいて説明する。第1のパノラマ画像信号DFを生成する際には、第1のパノラマ画像の領域毎に画像を取得する。先ず、図5に示すように、カメラ端末装置200のズームを固定して、ある任意の間隔でパン、チルトを行い、静止画を取得する。図5中に示す数字は、画像取得の順番を示している。
【0059】
次に、以下の[1]〜[3]の手順により、静止画像座標系の座標変換を行う。ここでは、図6に示すように、静止画像の各点を、カメラ端末装置200の回転中心から見た相対位置(x,y,z)に変換する。
[1] 水平画角thh[degree]、アスペクト比aのカメラの視点を原点に置き、-z方向に向ける。距離Lの位置に被写体平面(x, y, -L)を考えると、見える範囲は 2Lx × 2Ly の長方形になる。ここで、Lx=L・tan(thh/2)、Ly=Lx/aの関係が成立する。
[2] カメラの姿勢は本来(x, y,
z, p, q, r)であるが、視点の位置が原点に固定されていると考えると、x=y=z=0であり、ここでは(p, q, r) (p: Pan(y軸回転), q: Tilt(x軸回転), r: roll(z軸回転))のみを考える。
[3] (2Lx)×(2Ly)の長方形内の点(j, i)を用いると下記の式が成り立つ。
x=Lx × (j-Lx)/Lx
y = Ly × (i - Ly) / Ly
z = -L
[4] (x, y, z)を用いて以下のRoll変換、Tilt変換、Pan変換式を適用する。
【0060】
【数1】
【0061】
ここで得られた(x3,y3,z3)が、静止画像のある点(x,y,z)をカメラの回転中心から見た座標系で表した値となる。
【0062】
次に、相対位置を緯度、経度に変換する。ここでは、図7に示すように、上記で得られた(x3,y3,z3)を緯度、経度に変換する。(x3, y3, z3)の方向が-zの方向に対して水平方向となす角度が経度であり、またx-z平面となす角度が緯度になり、以下の式で求めることができる。
・緯度(Latitude)
La = tan-1
( y3 / ::sqrt( x3 * x3 + z3 * z3))
・経度(Lo)
0.0 < z3のとき
0.0 < x3の場合 Lo = 90.0 + La
0.0≧x3の場合 Lo = -90.0 - La
0.0 ≧ z3のとき
Lo =
tan-1( x3 / z3) / RAD
ただし、
RAD = π/ 180 (π:円周率)
【0063】
次に、第1のパノラマ画像への変換を行う。ここでは、図8に示すように、得られた緯度、経度(La,Lo)を、緯度を半径の軸、経度を円周方向の座標系で表す。
【0064】
以上のようにして、第1のパノラマ画信号DFを生成することができる。
【0065】
(5)GUIについて
次に、GUIについて説明する。図9は、モニター320の表示画面を示す模式図である。図9では、通常の画面と全画面表示の双方を示しており、いずれの場合においても、画面左側に操作パネル(コントロールパネル)が表示され、画面右側にライブ映像が表示されている。操作パネルの“Screen Mode”を“Full”にすると全画面表示となる。
【0066】
図10は、操作パネルによる操作を説明するための模式図である。操作パネル内は機能毎のパネルとなっており、各パネルを折り畳んで格納することができる。パネルの分類は以下の通りである。
・View
表示に関する設定
・Camera control
カメラ操作に関する設定
・Panorama
パノラマ表示
・Preset position
プリセットに関する設定
・Trigger
トリガーに関する設定
・Other
その他の設定
【0067】
各パネルをクリックすると、そのパネルが開くように構成されている。図10(A)は、“View”をクリックした状態を示しており、“View”欄の下にメニューが表示される。一方、図10(B)は、“Camera control”をクリックした状態を示しており、“Camera control”欄の下にメニューが表示される。また、図10(C)はパネル“Camera control”をドラッグした状態を示しており、ドラッグすることによりパネル“Camera control”をフローティングウィンドウにすることができる。
【0068】
図11は、パネル“View”をクリックした場合に“Screen Mode”、“View Size” “Image Codec”、“Frame Rate”などのメニューが表示された状態を示している。“Screen Mode”メニューでは、表示モードをノーマルとフルスクリーンに変更できる。“View Size”では、画像の1/4,1/2,等倍,Fitモードを指定できる。Fitモードは現在の表示エリアの大きさに合わせて画像を表示する。“Image Codec” メニューでは、Codecの変更を行うことができる。“Frame Rate”メニューでは、JPEGのフレームレートを変更することができる。動画保存ボタンは動画の保存に、静止画保存ボタンは静止画の保存のために用いる。その他、マイクボリュームスライダー、マイクミュートオン/オフボタン、音声ボリュームスライダー、音声ミュートオン/オフボタン等が設けられている。
【0069】
図12は、パネル“Camera”をクリックした場合に表示されるメニューを示している。“Operation Mode”メニューでは、画像上での操作モード切替を行うことができる。パン、チルト制御ボタンでは、矢印方向のボタンを操作することにより、パン、チルト方向を指定することができる。パン、チルト制御ボタンの真中に位置するボタンは、ホームポジションボタンである。ズームボタンは、カメラ端末装置200のズームを指定するボタンであって、光学ズームとデジタルズームの境界が分かるように構成されている。ズームボタンの「W」、「T」を押し続けるとズーム操作が継続して行われる。また、フォーカスボタンは、フォーカスを「遠距離」、「近距離」に設定するために用いられる。その他、ONE PUSH AUTO FOCUSボタン、排他制御の制御権獲得ボタン等の各種ボタンが設けられている。
【0070】
図13は、“Preset
position”、“Trigger”、“Other”、“information”をクリックした場合に表示される各メニューを示している。“Preset
position”は、予め定められた複数の撮影方向の画像をサムネイル表示したもので、サムネイル画像の1つをクリックして選択することにより、カメラ端末装置200を選択したサムネイル画像の方向に向けることができる。
【0071】
(6)第1のパノラマ画像上での撮影方向の指定
次に、図14〜図18に基づいて、第1のパノラマ画像の表示について説明する。図14は、モニター320の表示画面において、操作パネルの“Preset position”をクリックして第1のパノラマ画像を表示した状態を示す模式図である。なお、操作パネルの右側にはライブ映像が表示されている。上述したように、“Preset position”欄をドラッグして移動することにより、図15に示すように、第1のパノラマ画像が表示されたサブパネルを操作パネルの外に配置することができる。また、第1のパノラマ画像が表示されたサブパネルは表示画面内で移動することができる。
【0072】
図16は、第1のパノラマ画像が表示されたサブパネルを詳細に示す模式図である。第1のパノラマ画像には、右側のライブ映像で表示されている画像の方向(カメラ端末装置200の撮像光学系の光軸の向き)が、+印によって示されている。また、図16に示すように、第1のパノラマ画像の右上のパノラマ切替釦をクリックすることにより、第1のパノラマ画像を第2のパノラマ画像に切換えることができる。
【0073】
図17は、第1のパノラマ画像を用いてライブ映像の方向を変更する操作を示している。カメラ端末装置200のパン・チルト方向を変更する場合、上述したパン、チルト制御ボタンによって行うことができるが、第1のパノラマ画像中の任意の点を指定することによっても行うことができる。図17の状態では、+印の方向にカメラ端末装置200の撮像光学系の光軸が向けられ、その方向のライブ映像が表示されている。この状態で図17の第1のパノラマ画像に示す●印の部分をクリックすると、ユーザ操作に応じた操作信号USが制御部310に送られて、これに基づいてカメラ端末装置200の撮像方向制御部204が制御されることにより、●印の方向にカメラ端末装置200の撮像光学系の光軸が向けられる。従って、操作パネルの右側に表示されるライブ映像は、●印の方向の映像に切り換わる。
【0074】
これにより、ユーザは、第1のパノラマ画像中の任意の点を指定することにより、カメラ端末装置200のパン・チルト方向を指定することができる。第1のパノラマ画像には、カメラ端末装置200が撮影可能なパン・チルト方向の映像が全て含まれていることから、ユーザは、第1のパノラマ画像上でカメラ端末装置200の方向を指定することで、所望の方向のライブ映像を表示することができる。なお、クリックする位置を示す+印の代わりに、所定範囲を囲む枠で領域指定して光軸の向きを制御するようにしても良い。
【0075】
第1のパノラマ画像上でカメラ端末装置200の方向を指定した場合に、第1のパノラマ画像の表示状態は変わらずにライブ映像のみが切り換わるモードと、第1のパノラマ画像が回転するモードがある。第1のパノラマ画像が回転するモードでは、図18に示すように、現在ライブ映像が表示されている位置(+印)は第1のパノラマ画像の中心から上方に向かう直線L上に位置するように第1のパノラマ画像の角度位置が設定される。次に第1のパノラマ画像上で●印をクリックすると、操作パネルの右側に表示されるライブ映像は、●印の方向の映像に切り換わり、同時に第1のパノラマ画像において●印の位置が直線L上に位置するように第1のパノラマ画像が回転する。従って、ユーザは、第1のパノラマ画像を見ることで、ライブ映像の方向が第1のパノラマ画像の直線L上であることを即座に認識することができる。
【0076】
第2のパノラマ画像においても同様に、ユーザは、第2のパノラマ画像中の任意の点を指定することにより、カメラ端末装置200のパン方向を指定することができ、これに基づいてライブ映像の方向を切換えることができる。
【0077】
(7)プリセット位置を用いた制御
次に、本実施形態のシステムにおいて、プリセット位置を用いた制御について説明する。上述したように、本実施形態のシステムでは、第1のパノラマ画像または第2のパノラマ画像中の所望の領域を指定することで、カメラ端末装置200の撮像方向を指定した方向に向けることができる。一方、予め1または複数のプリセット位置を設定しておいた場合は、プリセット位置を選択することで、その位置にカメラ端末装置200の撮像方向を向けることもできる。
【0078】
図19は、一例として、本実施形態のカメラ端末装置200が会議室内に設置された場合を示している。図19に示す例では、カメラ端末装置200の撮影の設定について、4つのプリセット位置が設定されている。それぞれのプリセット位置では、「ホワイトボード」、「投影用スクリーン」、「会議室の比較的広い範囲」、「会議室の特定の範囲」が撮像される。また、画面下部には、第2のパノラマ画像による全体画像が表示されている。
【0079】
第2のパノラマ画像には、各プリセット位置の範囲が矩形の枠A〜Dで表示されている。ここで、枠Aは「ホワイトボード」に対応し、枠Bは「会議室の比較的広い範囲」に対応し、枠Cは「投影用スクリーン」に対応し、枠Dは「会議室の比較的狭い範囲」に対応する。
【0080】
このように、パノラマ画像の中に、各プリセット位置に対応した撮影範囲の枠を表示することで、ユーザは、パノラマ画像の中のどの範囲がプリセット位置に対応しているかを視覚的に直接判断することができる。
【0081】
プリセット位置は、後述する方法でユーザによって予め設定され、そのデータはカメラ端末装置200のパノラマ画記憶部207、またはセンターサーバー300が備えるメモリ、クライアント400が備えるメモリ等に格納される。
【0082】
次に、以上のようにして設定されたプリセット位置において、パノラマ画像から各プリセット位置におけるライブ映像を表示する方法を説明する。図20〜図23は、図19に示す全体画像中の枠A〜Dを選択することによって4つのプリセット位置の中からライブ映像を指定した状態を示す模式図である。
【0083】
図20は、図19の状態から全体画像中の枠Aを選択した状態を示している。枠Aの選択は、表示画面上のカーソルを全体画像中の枠Aの位置に移動して枠Aをクリックすることにより行うことができる。図20に示すように、全体画像中の枠Aをクリックすると、全体画像の上に枠Aに対応したライブ映像「ホワイトボード」が大きく表示される。
【0084】
同様に、図21は全体画像中の枠Bをクリックした状態を、図22は全体画像中の枠Cをクリックした状態を、図23は全体画像中の枠Dをクリックした状態を、それぞれ示している。図21〜図33に示すように、枠B、枠C、枠Dをクリックすると、枠B、枠C、枠Dのそれぞれに対応するライブ映像が表示される。従って、ユーザは、全体画像を見ながら枠A、枠B、枠C、枠Dを選択することで、所望のライブ映像を切り換えて表示することができる。
【0085】
この場合、ユーザが枠A〜Dのいずれかをクリックすると、その操作に応じた操作信号USがユーザインタフェース部315から制御部310に送られ、操作信号USには選択された枠A〜D(すなわち、プリセット位置)の情報が含まれている。制御部310は、操作信号USに基づいて生成したコマンド信号CMを、ネットワークインタフェース部206を介してカメラ端末装置200の端末制御部210へ送る。端末制御部210は、コマンド信号CMを解析し、パノラマ画記憶部207に記憶されたプリセット位置の情報を用いて、方向制御信号CTcの生成を行う。これにより、撮像方向制御部204、撮像方向調整部205により、カメラ部201の撮像方向が方向制御信号CTcによって指示された方向に調整される。
【0086】
なお、プリセット位置の情報が、センターサーバー300が備えるメモリに格納されている場合、その情報はコマンド信号CMに含められてカメラ端末装置200に送られる。そして、端末制御部210は、コマンド信号CMを解析し、センターサーバー300から送られたプリセット位置の情報を用いて、方向制御信号CTcの生成を行う。
【0087】
図24及び図25は、プリセット位置を変更する方法を示す模式図であって、枠Bの位置をパノラマ画像中で移動させてプリセット位置を変更する方法を示している。具体的には、ユーザが図24に示す状態で枠Bをドラッグして、枠Bを図25に示す位置まで移動してドラッグ操作を終了させると、枠Bに対応したプリセット位置を図25に示す位置に変更することができる。図25に示す状態では、ユーザのドラッグ操作により、枠Bの位置が「ホワイトボード」と「投影用スクリーン」に対応した位置に移動し、移動された枠Bに対応する「ホワイトボード」と「投影用スクリーン」のライブ映像が表示される。これにより、枠Bに対応するプリセット位置が、「ホワイトボード」と「投影用スクリーン」に対応した位置に設定される。
【0088】
この場合、ユーザが枠Bをドラッグして移動すると、その操作に応じた操作信号USがユーザインタフェース部315から制御部310に送られ、操作信号USにはドラッグにより移動された枠B(枠Bに対応するプリセット位置)の情報が含まれている。制御部310は、操作信号USに基づいて生成したコマンド信号CMを、ネットワークインタフェース部206を介してカメラ端末装置200の端末制御部210へ送る。端末制御部210は、コマンド信号CMを解析し、パノラマ画記憶部207に記憶されたプリセット位置の情報を変更するとともに、変更されたプリセット位置に基づいて方向制御信号CTcの生成を行う。これにより、変更されたプリセット位置がパノラマ画記憶部207に記憶されるとともに、カメラ部201の撮像方向が方向制御信号CTcによって指示された方向に調整される。
【0089】
なお、プリセット位置の情報が、センターサーバー300が備えるメモリに格納されている場合、制御部310は、操作信号USに基づいて生成したコマンド信号CMに基づいて、メモリに格納されているプリセット位置を変更する。そして、制御部310は、変更されたプリセット位置を含むコマンド信号CMを、ネットワークインタフェース部206を介してカメラ端末装置200の端末制御部210へ送る。端末制御部210は、コマンド信号CMを解析し、変更されたプリセット位置に基づいて方向制御信号CTcの生成を行う。これにより、カメラ部201の撮像方向が方向制御信号CTcによって指示された方向に調整される。
【0090】
このように、パノラマ画像中に表示されたそれぞれの枠をドラッグして移動することにより、プリセット位置を自由に変更することができる。この際、パノラマ画像にはカメラ端末装置200が撮影可能な全範囲が表示されているため、ユーザは、カメラ端末装置200が撮影可能な全範囲の中から、所望のプリセット位置を視覚的に設定することができる。
【0091】
次に、パノラマ画像中に設定された複数のライブ映像を表示する例について説明する。図26は、ユーザのドラッグ操作により枠Bと枠Dの2つが選択された状態を示している。この場合、ライブ映像として、枠Bに対応する「会議室の比較的広い範囲」の映像と、枠Dに対応する「会議室の比較的狭い範囲」の映像が所定時間毎に交互に表示される。
【0092】
また、図27は、ユーザのドラッグ操作により枠Bと枠Dの2つが選択された場合に、枠Bに対応する「会議室の比較的広い範囲」の映像と、枠Dに対応する「会議室の比較的狭い範囲」の映像を共に表示した例を示している。この場合、2つのライブ映像を同時に表示することはできないため、2つの映像は交互に最新のライブ映像に更新される。また、一方のみライブ映像を表示し、他方については以前に取得された過去の映像を表示しても良い。
【0093】
図26及び図27の場合、ユーザが枠B、枠Dの双方をドラッグにより指定すると、その操作に応じた操作信号USがユーザインタフェース部315から制御部310に送られ、操作信号USには選択された枠B,Dの情報が含まれている。制御部310は、操作信号USに基づいて生成したコマンド信号CMを、ネットワークインタフェース部206を介してカメラ端末装置200の端末制御部210へ送る。端末制御部210は、コマンド信号CMを解析し、枠B,Dの2つが選択されている旨を示す情報と、パノラマ画記憶部207に記憶された枠B,Dのプリセット位置の情報を用いて、方向制御信号CTcの生成を行う。これにより、撮像方向制御部204、撮像方向調整部205により、カメラ部201の撮像方向が方向制御信号CTcによって指示された方向に調整される。
【0094】
図28は、プリセット位置を設定するための設定画面の例を詳細に示す模式図である。図28に示す設定画面は、図10に示す「Preset position」のボタンを押すと現れる。図28に示す設定画面の例では、画面中央右側にパノラマ画像が表示され、画面中央左側にプリ設置位置の映像(ライブ映像)が表示される。
【0095】
ユーザは、パノラマ画像の中でドラッグ操作を行うことにより、プリセット位置の初期設定を行うことができる。この際、例えばパノラマ画像上で矩形の枠の対角線の両端を始点と終点としてドラッグすることにより、各枠A〜Dの初期設定を行う。これにより、パノラマ画像には、初期設定された枠A〜Dが表示される。その後、図24及び図25に示した方法により、ユーザがドラッグ操作により枠A〜Dを所望の位置に設定するなどした状態で、各プリセット位置にプリセット番号と名前を設定して「Set」を押すことにより、各枠A〜Dに対応したプリセットが完了する。また、「Call」を押すことにより、プリセットの呼び出しができる。なお、プリセット位置を座標で入力することによって設定することもできる。本実施形態では、4つのプリセット位置を例示しているが、プリセット位置の数は特に限定されるものではない。
【0096】
図28に示す「グループプリセット位置」の指定では、プリセット位置をいくつかのグループに分けることができる。グループはツリー構造で表される。また、「ホーム設定位置」では、カメラのホームポジションが表示される。
【0097】
また、「New Group」の欄には、新しいグループフォルダを作成した際にその属性が示される。「Rename」はグループ名を変更する際に押すボタンである。また、「Clear」は、グループを消去する際に押すボタンである。また、「OK」は、このページの設定をカメラ側に記憶させる際に押すボタンである。「Cancel」は、このページの設定変更を破棄する際に押すボタンである。
【0098】
ユーザがプリセット位置を設定すると、その操作に応じた操作信号USがユーザインタフェース部315から制御部310に送られる。制御部310は、操作信号USに基づいて生成したコマンド信号CMを、ネットワークインタフェース部206を介してカメラ端末装置200の端末制御部210へ送る。端末制御部210は、コマンド信号CMを解析し、コマンド信号に含まれるプリセット位置をパノラマ画記憶部207に記憶させる。また、プリセット位置の情報が、センターサーバー300が備えるメモリに格納される場合、制御部310は、操作信号USに基づいて生成したコマンド信号CMに基づいて、メモリにプリセット位置を記憶させる。
【0099】
以上のように、ユーザは、図28に示す画面をセンターサーバー300に接続されたモニタ320、またはクライアント400の表示部に表示した状態で、マウス、キーボードなどのポインティングデバイスを使用してプリセット位置を設定、変更、消去することができる。
【0100】
次に、パノラマ画像上における、プリセット位置を示す枠の位置および大きさの設定について説明する。ユーザがドラック操作等によりパノラマ画像中で枠の位置、大きさを指定した場合、枠の中心位置がプリセット位置に設定される。そして、枠の中心位置は、プリセット位置として、パノラマ画記憶部207、またはセンターサーバー300のメモリに記憶される。
【0101】
また、枠の大きさについては、パノラマ画像の周辺では画像に湾曲が生じるため、枠がパノラマ画像の中心に位置している場合を基準の大きさとする。そして、撮影倍率に応じた大きさで基準の枠を拡大または縮小して、最終的な枠の大きさを決定するものとする。
【0102】
枠の大きさとカメラ端末装置200のカメラ部201のズーム量との関係については、一例として以下のように設定される。図28に示すように、パノラマ画像のサイズが、縦90ピクセル、横320ピクセルであるものとする。図28の例では、パノラマ画像はパン方向に360度撮影した画像(第2のパノラマ画像)であるため、水平方向の画角は360度に相当する。
【0103】
一例として、カメラ部201のレンズの水平画角が、ワイド端で58度、テレ端で2度であり、カメラ部201の最大解像度が640×480(ピクセル)であるものとする。この場合、カメラ部201のレンズがワイド端に設定された際の矩形の大きさ(Xw,Yw)(Xw,Ywの単位はピクセル(画素数)とする)は、
360(度):58(度)=320:Xw
の関係が成立するので、水平方向の矩形の大きさは、Xw=52 (ピクセル)となる。
また、垂直方向の矩形の大きさYwについては、
640:480=52:Yw
の関係が成立するので、Yw=39(ピクセル)となる。従って、垂直方向の矩形の枠の大きさは、(52,39)ピクセルとなる。
【0104】
また、カメラ端末装置200が最もズームしたテレ端の場合、矩形の大きさ(Xt,Yt)(ピクセル)は、
360(度):2(度)=320:Xw
の関係が成立するので、水平方向の矩形の大きさは、Xw=1.8 (ピクセル)となる。
また、垂直方向の矩形の枠の大きさYwについては、
640:480=1.7:Yw
の関係が成立するので、Yw=1.4(ピクセル)となる。
【0105】
従って、以上から枠の大きさとカメラ部201のズーム量との関係が得られる。制御部310は、ユーザによって指定された枠の位置、及びズーム量に基づいてコマンド信号CMを生成し、ネットワークインタフェース部206を介してカメラ端末装置200の端末制御部210へ送る。端末制御部210は、コマンド信号CMを解析し、コマンド信号CMに含まれるズーム量に基づいてプリセット位置の枠の大きさを演算し、プリセット位置の中心位置とともにパノラマ画記憶部207に記憶させる。また、プリセット位置がセンターサーバー300またはクライアント400のメモリに記憶される場合、制御部310は、コマンド信号に基づいて、コマンド信号CMに含まれるズーム位置に基づいて枠の大きさを設定し、また、コマンド信号に含まれる枠の中心位置に基づいて、プリセット位置をメモリに記憶させる。なお、ユーザは、枠の大きさによってズーム量を指定する以外に、キーボード入力等によってズーム量を指定することも可能である。
【0106】
以上説明したように本実施形態によれば、全体画像(パノラマ画像)上に、プリセット設定箇所が表示されるため、全体におけるプリセット設定箇所が容易に把握できる。また、全体画像上での指定によりプリセットを指定できるため、使い勝手を大幅に向上することができる。また、撮影画角に基づいてプリセット位置の大きさ(枠の大きさ)を表示できるため、プリセットされた相対的な画角のサイズも把握することができる。更に、全体画像と現実の撮影画像とが歪んで対応している場合でも、画角サイズを相対的に把握できる表示を行うことが可能となる。
【0107】
なお、上述した説明では、複数のユーザが各カメラ端末装置200の撮像方向を制御する場合について説明したが、各カメラ端末装置200の撮像方向が固定されており、全体画像の中からユーザの指示に応じた領域の画像のみを切り出して表示するシステム(デジタル的にパン、チルトの制御を行うシステム)への適用も可能である。このシステムは、例えば、システムサーバ300の制御部310がユーザによる撮像方向の操作入力に応じて、全体画像の中から切り出す範囲を指定して表示処理部305による表示制御を行うことで実現される。この場合においても、上述したプリセット位置を用いた制御を行うことにより、ライブ映像の撮像範囲をデジタル的に制御することができる。以上のように、本システムは、メカ的に撮像方向を制御するシステムのみならず、デジタル的に撮像方向を制御するシステムへの適用が可能である。
【0108】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0109】
100 撮像システム
200 カメラ端末装置
300 センターサーバー
301 ネットワークインターフェース部
305 表示処理部
310 制御部
500 ネットワーク
【特許請求の範囲】
【請求項1】
カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、
前記全体画像上で指定された位置に対応する領域を変化させるように制御する制御部と、を有し、
前記領域は、少なくとも1つのプリセット領域を含み、前記表示制御部は、前記全体画像上に前記プリセット領域に対応する箇所を表示する、制御装置。
【請求項2】
前記制御部は、前記全体画像上で指定された位置に対応する領域を前記カメラで撮像するように制御する、請求項1に記載の制御装置。
【請求項3】
前記制御部は、前記全体画像上で前記プリセット領域に対応する箇所が選択された場合に、選択された前記プリセット領域を撮像するように前記カメラの撮像方向を制御する、請求項2に記載の制御装置。
【請求項4】
前記表示制御部は、前記プリセット領域に基づいて設定された画角のサイズに基づいて、前記全体画像上に前記対応する箇所を表示する、請求項2に記載の制御装置。
【請求項5】
前記表示制御部は、前記プリセット領域が全体画像の中心に位置しない場合、前記プリセット領域が全体画像の中心に位置する場合の枠の大きさを基準として、前記プリセット領域に基づいて設定された撮影倍率で前記枠の大きさを補正して表示する、請求項2に記載の制御装置。
【請求項6】
前記表示制御部は、ユーザのドラッグ操作に応じて前記プリセット領域の位置を変更して表示する、請求項2に記載の制御装置。
【請求項7】
前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、
前記表示制御部は、前記複数のプリセット領域を一覧表示するように画像表示を制御する、請求項2に記載の制御装置。
【請求項8】
前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、
前記表示制御部は、前記複数のプリセット領域を交代で表示する、請求項7に記載の制御装置。
【請求項9】
画像を撮像するカメラと、前記カメラを制御する制御装置とを有するカメラシステムであって、
前記制御装置は、
カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、
前記全体画像上で指定された位置に対応する領域を変化させるように制御する制御部と、を有し、
前記領域は、少なくとも1つのプリセット領域を含み、前記表示制御部は、前記全体画像上に前記プリセット領域に対応する箇所を表示する、カメラシステム。
【請求項10】
前記制御部は、前記全体画像上で指定された位置に対応する領域を前記カメラで撮像するように制御する、請求項9に記載のカメラシステム。
【請求項11】
前記制御部は、前記全体画像上で前記プリセット領域に対応する箇所が選択された場合に、選択された前記プリセット領域を撮像するように前記カメラの撮像方向を制御する、請求項10に記載のカメラシステム。
【請求項12】
前記表示制御部は、前記プリセット領域に基づいて設定された画角のサイズに基づいて、前記全体画像上に前記対応する箇所を表示する、請求項10に記載のカメラシステム。
【請求項13】
前記表示制御部は、前記プリセット領域が全体画像の中心に位置しない場合、前記プリセット領域が全体画像の中心に位置する場合の枠の大きさを基準として、前記プリセット領域に基づいて設定された撮影倍率で前記枠の大きさを補正して表示する、請求項10に記載のカメラシステム。
【請求項14】
前記表示制御部は、ユーザのドラッグ操作に応じて前記プリセット領域の位置を変更して表示する、請求項10に記載のカメラシステム。
【請求項15】
前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、
前記表示制御部は、前記複数のプリセット領域を一覧表示するように画像表示を制御する、請求項10に記載のカメラシステム。
【請求項16】
前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、
前記表示制御部は、前記複数のプリセット領域を交代で表示する、請求項15に記載のカメラシステム。
【請求項17】
カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された少なくとも1つのプリセット領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御するとともに、前記全体画像上に前記プリセット領域に対応する箇所を表示する手段、
前記全体画像上で指定された位置に対応する領域を変化させるように制御する手段、
としてコンピュータを機能させるためのプログラム。
【請求項1】
カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、
前記全体画像上で指定された位置に対応する領域を変化させるように制御する制御部と、を有し、
前記領域は、少なくとも1つのプリセット領域を含み、前記表示制御部は、前記全体画像上に前記プリセット領域に対応する箇所を表示する、制御装置。
【請求項2】
前記制御部は、前記全体画像上で指定された位置に対応する領域を前記カメラで撮像するように制御する、請求項1に記載の制御装置。
【請求項3】
前記制御部は、前記全体画像上で前記プリセット領域に対応する箇所が選択された場合に、選択された前記プリセット領域を撮像するように前記カメラの撮像方向を制御する、請求項2に記載の制御装置。
【請求項4】
前記表示制御部は、前記プリセット領域に基づいて設定された画角のサイズに基づいて、前記全体画像上に前記対応する箇所を表示する、請求項2に記載の制御装置。
【請求項5】
前記表示制御部は、前記プリセット領域が全体画像の中心に位置しない場合、前記プリセット領域が全体画像の中心に位置する場合の枠の大きさを基準として、前記プリセット領域に基づいて設定された撮影倍率で前記枠の大きさを補正して表示する、請求項2に記載の制御装置。
【請求項6】
前記表示制御部は、ユーザのドラッグ操作に応じて前記プリセット領域の位置を変更して表示する、請求項2に記載の制御装置。
【請求項7】
前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、
前記表示制御部は、前記複数のプリセット領域を一覧表示するように画像表示を制御する、請求項2に記載の制御装置。
【請求項8】
前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、
前記表示制御部は、前記複数のプリセット領域を交代で表示する、請求項7に記載の制御装置。
【請求項9】
画像を撮像するカメラと、前記カメラを制御する制御装置とを有するカメラシステムであって、
前記制御装置は、
カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された位置に対応する領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御する表示制御部と、
前記全体画像上で指定された位置に対応する領域を変化させるように制御する制御部と、を有し、
前記領域は、少なくとも1つのプリセット領域を含み、前記表示制御部は、前記全体画像上に前記プリセット領域に対応する箇所を表示する、カメラシステム。
【請求項10】
前記制御部は、前記全体画像上で指定された位置に対応する領域を前記カメラで撮像するように制御する、請求項9に記載のカメラシステム。
【請求項11】
前記制御部は、前記全体画像上で前記プリセット領域に対応する箇所が選択された場合に、選択された前記プリセット領域を撮像するように前記カメラの撮像方向を制御する、請求項10に記載のカメラシステム。
【請求項12】
前記表示制御部は、前記プリセット領域に基づいて設定された画角のサイズに基づいて、前記全体画像上に前記対応する箇所を表示する、請求項10に記載のカメラシステム。
【請求項13】
前記表示制御部は、前記プリセット領域が全体画像の中心に位置しない場合、前記プリセット領域が全体画像の中心に位置する場合の枠の大きさを基準として、前記プリセット領域に基づいて設定された撮影倍率で前記枠の大きさを補正して表示する、請求項10に記載のカメラシステム。
【請求項14】
前記表示制御部は、ユーザのドラッグ操作に応じて前記プリセット領域の位置を変更して表示する、請求項10に記載のカメラシステム。
【請求項15】
前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、
前記表示制御部は、前記複数のプリセット領域を一覧表示するように画像表示を制御する、請求項10に記載のカメラシステム。
【請求項16】
前記制御部は、前記全体画像上で複数の前記プリセット領域が指定された場合、当該複数のプリセット画像を順次に撮像するように前記カメラの撮像方向を制御し、
前記表示制御部は、前記複数のプリセット領域を交代で表示する、請求項15に記載のカメラシステム。
【請求項17】
カメラで撮像された全体画像を表示する全体画像表示領域と、前記全体画像で指定された少なくとも1つのプリセット領域を拡大して拡大画像を表示する拡大画像表示領域と、を表示するように制御するとともに、前記全体画像上に前記プリセット領域に対応する箇所を表示する手段、
前記全体画像上で指定された位置に対応する領域を変化させるように制御する手段、
としてコンピュータを機能させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【公開番号】特開2011−205573(P2011−205573A)
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願番号】特願2010−73232(P2010−73232)
【出願日】平成22年3月26日(2010.3.26)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願日】平成22年3月26日(2010.3.26)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]