パノラマ展開画像撮影システムおよび方法
【課題】ディスプレイに全周囲画像をパノラマ展開して表示する際、2段以上に分割する必要があるが、注目する物体が分割するところで切れてしまうという課題があった。
【解決手段】パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部とからなるパノラマ展開画像表示装置を提供する
【解決手段】パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部とからなるパノラマ展開画像表示装置を提供する
【発明の詳細な説明】
【技術分野】
【0001】
本発明はパノラマ展開画像撮像装置およびパノラマ展開画像撮像システムに関するもののである。
【背景技術】
【0002】
通常、全周囲画像をパノラマ展開した画像は、画像の一方の長さに比べ、他方の長さの方が遥かに長いという特性を持っている。そのため、パノラマ展開した画像全体を一度に表示する手段として、画像を複数に切り分けて、それぞれを縦に並べて複数段構成で表示するという手法がある。(例えば、特許文献1参照)。
【0003】
特許文献1では魚眼レンズにより撮像された360度の環状映像において、内円と外円を設定することでパノラマ展開すべき画像の高さを決定し、例えばテーブルの中央に全方位撮像装置を置いて、会議風景などを撮像した際、被写体の頭が切れてしまうことなく処理することを可能としている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−28606号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1のパノラマ展開画像撮像装置では、注目している被写体が頻繁に移動するシーンを対象としておらず、複数段にパノラマ展開画像を切り出した際、切り出し画像の境界に被写体が移動した場合、被写体が切れてしまうという課題がある。
【0006】
本発明は、従来の問題を解決するためになされたもので、パノラマ展開画像上の被写体の移動に合わせて表示形態を変動させることで、被写体が途切れてしまうことなく撮像できるパノラマ展開画像撮像装置およびパノラマ展開画像撮像システムを得ることを目的とする。
【課題を解決するための手段】
【0007】
本発明に係るパノラマ展開画像撮像装置は、パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部とを有する。
【0008】
この構成により、パノラマ展開画像を複数段に切り出して縦に並べて表示した際、被写体の位置情報に基づいて表示する画面構成を変更することができ、ユーザにとってパノラマ画像同士の繋がりが分かりやすい表示が可能となる。
【0009】
さらに、本発明のパノラマ展開画像撮像装置は、前記パノラマ展開画像は動画像を展開したものであり、前記切り出し位置決定部は、前記被写体の位置が前記切り出し基準位置に接近した際、前記被写体の全身が前記パノラマ画像に含まれるように前記切り出し位置を決定する構成を有している。
【0010】
この構成により、パノラマ画面端に被写体が移動した際に画面端が伸縮した表示が可能となり、画像端に被写体が移動したことがユーザに視覚的に伝わりやすくかつ被写体が途切れて映るような事を防ぐことができる。
【0011】
さらに、本発明のパノラマ展開画像撮像装置は、前記パノラマ画像を表示領域に表示する表示部を有し、前記表示画像生成部は、前記切り出し位置が更新された後、前記パノラマ画像を前記表示領域に合わせて大きさを変更して表示させる構成を有している。
【0012】
この構成により、パノラマ画像端に被写体が移動した際にパノラマ画像の表示範囲を伸縮した表示を行いかつ表示領域に合わせて画像をリサイズすることができ、画像端に被写体が移動したことがユーザに視覚的に伝わりやすくなるとともに、表示領域を無駄にすることなく表示が可能となる。
【0013】
さらに、本発明のパノラマ展開画像撮像装置は、前記パノラマ展開画像から背景の背景画像特徴を抽出する背景特徴抽出部を持ち、前記切り出し基準位置決定部は、背景画像特徴に基づいて、前記切り出し基準位置を決定する構成を有している。
この構成により、背景特徴に基づいてパノラマ画像を表示することができるようになり、ユーザにとって分かりやすい表示が可能となる。
【0014】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、色情報を用いる構成を有している。
【0015】
この構成により、切り出し画像の画像端に目立つ物体や看板がある部分を選択することができユーザの空間把握を補助することができる。
【0016】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、文字情報を用いる構成を有している。
この構成により、切り出し画像の画像端に目立つ物体や看板がある部分を選択することができユーザの空間把握を補助することができる。
【0017】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、テクスチャ情報を用いる構成を有している。
この構成により、テクスチャが一定の部分は切り出し画像端として選択しない設定が可能になり、画像端に特徴がある背景部を自動選択することで、ユーザの空間把握を補助することができる。
【0018】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、ターゲットとなる被写体の検出頻度情報を用いる構成を有している。
この構成により、例えば人通りの多い通路など、ユーザが注目すべき領域が画像のパノラマ画像の切れ目に選択されることが無くなる。
【0019】
さらに、本発明のパノラマ展開画像撮像装置は、前記切り出し基準位置決定部は、前記パノラマ画像の端が互いに重なるように決定される構成を有している。
この構成により、画像端同士の一致不一致を知ることができ、ユーザの空間把握を補助することができる。
【0020】
さらに、本発明のパノラマ展開画像撮像装置は、パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展
開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と前記切り出し位置で前記パノラマ展開画像からパノラマ画像を切り出し、前記被写体の前記パノラマ画像中の位置に応じて3D飛び出し具合を決める3D位置決定部と、3D位置決定部によって決定された3D飛び出し具合に従って被写体が飛び出している3D画像を作成する3D画像生成部を有している。
【0021】
この構成により、パノラマ展開画像を複数段に切り出して縦に並べて表示した際、被写体の位置情報に基づいて表示する画面構成を変更することができ、被写体の位置を3D的に表示することができ、被写体の立体的な位置によってユーザがパノラマ画像同士の繋がりや、被写体の位置関係を把握しやすい表示が可能となる。
【0022】
さらに、本発明に係るパノラマ展開画像撮像装置は、パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、被写体のパノラマ画像中の位置に応じて3D飛び出し具合を決める3D位置決定部と、3D位置決定部によって決定された3D飛び出し具合に従って被写体が飛び出している3D画像を作成する3D画像生成部を有している。
【0023】
この構成により、ユーザにとってパノラマ画像同士のつながりが分かりやすい表示を実現することができる。
さらに、本発明に係るパノラマ展開画像撮像装置は、前記3D位置決定部は、分割前に接続されていた異なるパノラマ画像の画像端での飛び出し具合を同じにする構成を有している。
この構成により、画像端同士の一致不一致を知ることができ、ユーザの空間把握を補助することができる。
【発明の効果】
【0024】
本発明は、パノラマ展開画像を複数段に切り出して表示した際に、ユーザの空間把握を補助しパノラマ画像同士の繋がりが分かりやすく、かつ被写体が頻繁に移動するようなシーンにおいても、被写体を途切れさせることなく表示させるという効果を有するパノラマ展開画像撮像装置を提供することができるものである。
【図面の簡単な説明】
【0025】
【図1】本発明の第1の実施の形態におけるパノラマ展開画像撮像装置のブロック図
【図2】伸びしろ領域を利用したパノラマ展開画像撮像装置の動作説明のためのフロー図
【図3】全周囲画像の分割方法を示す説明図
【図4】伸びしろ領域を利用したパノラマ展開画像撮像装置の2画面構成を示す図
【図5】伸びしろ領域を利用したパノラマ展開画像撮像装置の動作を示すを示す説明図
【図6】リサイズ処理を用いたパノラマ展開画像撮像装置の動作説明のためのフロー図
【図7】リサイズ処理を用いたパノラマ展開画像撮像装置の2画面構成を示す図
【図8】リサイズ処理を用いたパノラマ展開画像撮像装置の動作を示す説明図
【図9】本発明の第2の実施の形態におけるパノラマ展開画像装置のブロック図
【図10】3D表示を用いたパノラマ展開画像装置の動作説明のためのフロー図
【図11】3D位置情報保持部の保持するデータ例を示す図
【図12】3D表示を用いたパノラマ展開画像装置の動作例を示す図
【発明を実施するための形態】
【0026】
(実施の形態1)
以下、本発明の実施の形態のパノラマ展開画像撮像装置について、図面を用いて説明する。ここでは、パノラマ展開画像を得るのに360度撮像可能な全方位カメラを用いている。
【0027】
本発明の第1の実施の形態のパノラマ展開画像撮像装置の構成を図1に示す。図1において、パノラマ展開画像撮像装置100は魚眼カメラなどの全方位カメラから全方位画像を生成する全方位画像生成部101と、全方位画像をパノラマ展開するパノラマ展開部102と、パノラマ展開画像から背景の画像特徴量を抽出する背景特徴抽出部103と、背景特徴に基づいてパノラマ展開画像の切り出しに適した切り出し基準位置を更新する切り出し基準位置更新部と104と、表示ターゲットとなる被写体を検出する被写体検出部105と、検出された被写体の位置を算出する被写体位置算出部106と、先に抽出した切り出し基準位置および被写体位置情報に基づいてパノラマ展開画像の切り出しの際の画像端の位置を決定し、複数個の切り出しパノラマ画像を生成する表示画像生成部107と、表示画像生成部107で生成した複数個の切り出しパノラマ画像を表示する表示部108を有している。
【0028】
以上のように構成されたパノラマ展開画像撮像装置100の動作フローを図2に示す。はじめに、全方位画像生成部101から全方位カメラ画像を取得する(ステップ201)。次に、取得した全方位カメラ画像に対してパノラマ展開部102にて展開を行い、360度の全方位画像を任意の位置で切断して展開したパノラマ展開画像を得る(ステップ202)。このパノラマ展開手法は引用文献1に記載してある一般的な手法を用いることができる。また、360度の全方位画像を展開しているため、展開画像の左端と右端は実際には隣接した領域であり、後述の切り出し基準位置によってはパノラマ展開画像の左(右)端から一定距離を切り取り、それをそのまま右(左)端に接続させても、画像の接続性は保たれることになる。
【0029】
次に、切り出し基準位置を更新するかどうかの判断を行う(ステップ203)。当ステップでは、パノラマ展開画像撮像装置100の初期起動時、あるいは別要因によって撮像対象領域が大きく変化した場合、または操作者が決めた任意のタイミングで更新すると判断する。更新すると判断された場合には切り出し基準位置の更新を行う(ステップ204、205)。
切り出し基準位置の更新は、まず背景特徴抽出部103が画像上のテクスチャ情報や色情報、文字情報等の背景特徴量を抽出する(ステップ204)。このとき、抽出する特徴量は画像処理の他、センサーなどにより別経路で入手しても良い。
【0030】
続いてステップ204で求めた背景特徴量を用いて切り出し基準位置更新部104は切り出し基準位置を更新して背景情報の更新を行う(ステップ205)。切り出し基準位置更新部104では、パノラマ展開画像をパノラマ画像に切り出すときの基準位置を求めるのであるが、複数段に分かれたパノラマ画像の端同士の対応関係をわかりやすくするためには、画像的な特徴がある領域(テクスチャが一様でない、色が他に比べ特殊である、看板等文字情報が埋め込まれている、等)ほど値が高くなるように、背景情報スコアを高くする。一方、被写体が動いている場合には、パノラマ画像の端に被写体がないほうが良いので、被写体の検出頻度が高いほど値が低くなるように背景情報スコアを算出する。
【0031】
このようにして、パノラマ展開した画像上のどの位置に特徴的な領域(物体)があるかを表す背景情報を求め、背景スコアが高い領域がパノラマ画像の切り出し後の各画像端に優先的に選ばれるよう、パノラマ展開画像の切り出し基準位置を設定、更新する。例えば、パノラマ展開画像をN段に分割して表示する際には、背景スコア最上位の領域を第1段目の分割画像左端に含むように設定し、その位置を基準にパノラマ展開画像全体をN分割し
て表示を行う。
【0032】
本方式では各分割画像の両端は隣り合う分割画像と一部重なりを持って表示を行うため、第1段目の分割画像の左端にある背景スコア最上位の領域は、第N段目の分割画像の右端にも含まれることになる。この設定により、仮に第m番目の分割画像(m=1…N)の画像端にて背景スコアが低い領域が選択された場合、背景スコア最上位の領域の代わりに背景スコア第2位の領域を基準として、パノラマ展開画像の切り出し位置を再設定する。以下、これを繰り返し、最適な切り出し基準位置を設定する。これにより、分離した各パノラマ展開画像の繋がりが操作者にわかりやすくなるという効果がある。この際に、各段の画像幅が等しくなるように制約条件を加えても良い。
【0033】
この様子を図3を用いて説明する。図3(a)は、全周囲画像301の中に、背景スコア第1位の領域302、背景スコア第2位の領域303、背景スコアの低い領域304が撮影されている様子を示している。
最初に、1回目の切れ目305で、図3(b)のように背景スコア第1位の領域302を基準にして全周囲画像301を3分割すると、背景スコアが低い領域304の物体が1段目と2段目の分割画像の端にかかってしまう。
【0034】
そこで、2回目の切れ目306で、図3(c)のように背景スコア第2位の領域303を基準にして画像を分割すると、背景スコアが低い領域304が分割画像によって分割されることなく表示される。
切り出し基準位置の更新が終了したもしくは、更新が不要だった場合に、続いて被写体検出部105がパノラマ展開画像に対して被写体検出を行い画像内の各位置での被写体(例えば人物)らしさを表すスコアを求めた被写体検出結果を出力する。
さらに被写体位置算出部106は、被写体検出結果を基に被写体らしさを表すスコアが閾値以上の位置を被写体の位置と判断し、被写体位置情報を出力する(ステップ206)。
【0035】
続いて表示画像生成部107は、切り出し基準位置と被写体位置情報とからパノラマ展開部102で生成されたパノラマ展開画像の切り出し位置を決定し切り出し(ステップ207)パノラマ画像を生成する(ステップ208〜210)。
【0036】
具体的には、被写体検出結果と切り出し基準位置との距離が一定値以上かどうかを判断し(ステップ208)、一定値以上の場合には切り出し基準位置が画像端となるように切り出しパノラマ画像を生成(ステップ209)、一定値以下の場合には切り出し基準位置を調整した上で切り出しパノラマ画像を生成する(ステップ210)。ステップ210での切り出し基準位置の調整処理の詳細については後述する。
【0037】
図4に第1の実施形態の表示例を示す。図4(a)、(b)はモニター11に、パノラマ展開画像から2つの切り出しパノラマ画像を生成し2段に表示した例になっている。分割画面上段12と分割画面下段13にそれぞれ切り出しパノラマ画像を表示している。図4(a)は背景情報更新部で設定された切り出し基準位置をそのまま利用して生成した切り出しパノラマ画像を表示した例を示している。このとき、分割画面上段12の右端と、分割画面下段13の左端は同じものが重複して表示されている。
図4(b)の20、21には、人物検出が行われたため切り出し基準位置を調整したうえで生成した切り出しパノラマ画像を伸びしろ領域14を利用して表示した例を示している。伸びしろ領域14とは、被写体22が画面端に来た際、画像の表示幅を変動させて表示するために画像の左右に用意した、表示/非表示が選択できる領域である。
図4(b)では、被写体22が分割画面上段12の右端に来たとき、伸びしろ領域20を利用して画像を表示する例を示している。また、分割画面下段13の左端の伸びしろ領
域21も利用して画像を表示する例を示している。
なお、この伸びしろ領域14には、切り出し基準位置で表示が行われている間は、任意の情報が表示されていても良い。
【0038】
図5に本実施の形態における動作例を示す。図5はパノラマ展開画像中で被写体17(ここでは人物とする)が左から右へ移動する例である。図の上にある太枠で囲まれた画像がパノラマ展開画像である。前述したように、パノラマ展開画像は端同士が接続した画像であるため、切り出しの際には太枠から外れた場合でも連続した画像として扱うことができる。太枠の左右にある点線の領域はパノラマ展開画像の左(右)端から一定距離を切り取り、それをそのまま右(左)端に接続させた場合の画像にあたる。
【0039】
図5は、このパノラマ展開画像を図4と同じく2段に分けて表示する場合の例である。ここでは上段に表示する切り出しパノラマ画像を画面1、下段に表示する切り出しパノラマ画像を画面2と呼ぶ。事前に切り出し基準位置更新部により、切り出し基準位置が求められている。図に示すように画面1、画面2に対してそれぞれ左右の切り出し基準位置が求められている。また、被写体位置算出部106により被写体位置(人物の位置)17が検出されている。
時刻tにおいて、人物の位置17は画面1、画面2の左右の切り出し基準位置の全てから一定距離d1以上離れているため、分割画面上段12、分割画面下段13ともに切り出し基準位置を画面端として切り出した切り出しパノラマ画像を表示しており、人物は分割画面上段12に表示されている。
【0040】
時刻t+1になると、人物16が画面1の右切り出し基準位置(時刻t1での分割画面上段12の右端に相当)から一定距離d1に近づいたため、画面2の左切り出し基準位置に一定距離dLを加えた位置が画面端になるように画面2の切り出しパノラマ画像を生成し、分割画面下段13に表示する。このように表示することで分割画面上段12、分割画面下段13ともに人物が表示されるようになる。また、画面端に近づいたことをユーザに気づかせることが可能となる。
【0041】
時刻t+2になると、人物15が画面1の右切り出し基準位置(時刻t+1での分割画面上段12の右端に相当)から一定距離d2に近づいたため、画面1の右切り出し基準位置に一定距離dRを加えた位置が画面端になるように画面1の切り出しパノラマ画像を生成し、分割画面上段12に表示する。また、画面2は画面2の左切り出し基準位置が画面端になるように画面2の切り出しパノラマ画像を生成し、分割画面下段13に表示する。
【0042】
更に時間が進み、時刻t+3となると、人物18は画面2の左切り出し基準位置から距離d1以上離れたため、画面1、画面2ともに切り出し基準位置を画面端とするようにパノラマ画像が生成され、分割画面上段12、分割画面下段13に表示される。また、被写体が分割画面上段12を右から左へ移動する際も同様に、分割画面下段13の右端と、分割画面上端12の左端というような元のパノラマ展開画像上で接続関係にある画像端がそれぞれ伸縮することで被写体を途切れさせること無く表示することが可能となる。なお、3段以上で表示する構成になった場合でも、各画像端から距離d1、d2に被写体が移動した際にはそれぞれ対応した領域が距離dR,dL分だけ伸縮することで同様の効果を得る。その際に、被写体の横幅を考慮してd1、d2、dR、dLの大きさを決めるとより効果的である。
【0043】
このような本発明の第1の実施の形態のパノラマ展開画像撮像装置によれば、背景特徴抽出部103および切り出し基準位置更新部104により画像的な特徴がある場所がパノラマ展開画像の切り出し後の各画像端に優先的に選ばれるよう、切り出し基準位置を設定し、更に被写体位置算出部106により被写体の位置に合わせてパノラマ展開画像の切り
出し位置を変動させて表示範囲を伸縮させることで、切り出しパノラマ画像の画像端において、被写体を途切れさせることなく表示することができ、さらに伸縮があるため人物の移動がユーザに分かりやすくなる。
【0044】
なお、被写体が切り出し基準位置から一定距離d1、d2に近づいた場合の表示方法は、切り出しパノラマ画像の表示範囲を伸縮させずにあらかじめ決められた幅に固定しておき、切り出しパノラマ画像の幅が(以下、この幅で切り出されたパノラマ画像をリサイズ対象領域と呼ぶ)変わったとき、その幅をリサイズさせても良い。これにより表示領域を無駄にすることなく、かつ被写体が途切れないように表示することができる。リサイズを用いる場合のフローを図6に、画面の表示例を図7、動作例を図8に示す。図6では、図2に示すフローと同じ処理は同じ番号になっている。ステップ510では表示領域を伸縮させるかわりにリサイズして表示している。図7に示すように実際の画面表示では各切り出しパノラマ画像が伸縮することがないので、伸びしろ領域が不要になっている。図8では前述した例でのリサイズ対象領域を時刻t〜時刻t+3の各画像で点線の太枠で表している。例えば、時刻tにおける画面2のリサイズ対象領域よりも時刻t+1における画面2のリサイズ対象領域の方が幅が広くなっている。この場合には、時刻t+1での画面2のリサイズ対象領域を幅を縮小するようにリサイズし時刻tでの幅に合わせて表示する。
【0045】
また、第1の実施形態では、魚眼レンズ等を用いた全方位カメラにより撮像された画像を入力画像としているが、通常のカメラを1個以上用いてパノラマ画像を作成した場合でも同等の効果が得られる。
また、切り出し基準位置は背景特徴を用いて求めることは必須ではなく、事前に決められた位置や人が指定した位置を切り出し基準位置としてもよい。また、各切り出しパノラマ画像の両端が重なり合うように切り出し基準位置を決めることは必須ではなく、重ならない(隣り合う切り出しパノラマ画像の画像端が同じ位置になるもしくは離れる)ように切り出し基準位置を決めてもよい。重なり合うように切り出し基準位置を決めることで、異なるパノラマ切り出し画像に同じ物体が含まれるためそれが特徴的な物体であればユーザにとって位置関係が分かりやすくなるというメリットがあり、重なり合わないように切り出し基準位置を決めることで、表示領域を節約することができるというメリットがあるため、アプリケーションや使用条件に応じて選択するとよい。
【0046】
(実施の形態2)
次に本発明の第2の実施の形態のパノラマ展開画像撮像装置800を図9に示す。実施の形態1で説明したパノラマ展開画像撮像装置100と同じ構成要素は同じ番号で示す。
【0047】
図9において、本発明の第2の実施の形態は、全方位画像生成部101と、パノラマ展開部102と、パノラマ展開画像から背景の画像特徴量を抽出する背景特徴抽出部103と、背景特徴に基づいてパノラマ画像の切り出しに適した位置を更新する切り出し基準位置更新部104と、表示ターゲットとなる被写体を検出する被写体検出部105と、被写体位置を算出する被写体位置算出部106と、検出された被写体情報を基に3D位置情報(3D画像にした際の画面からの飛び出し具合の情報)を算出して被写体の3D画像を生成する3D画像生成部801と、各被写体位置に対応した3D位置情報を保持している3D位置情報保持部802と、生成した3D画像と切り出し基準位置に従ってパノラマ展開画像から切り出した切り出しパノラマ画像とを合成する画像合成部803と、合成した画像を表示する表示部108とによって構成されている。
【0048】
3D位置情報保持部802は、切り出しパノラマ画像内の被写体位置に応じた3D位置情報を保持しており、パノラマ展開画像を2分割する場合や3分割する場合などに応じて事前に定めておけばよい。隣り合う切り出しパノラマ画像の対応する画像端での3D位置情報は同じ値に設定されている。これにより、被写体が切り出しパノラマ画像をまたいで
移動する場合に、被写体の飛び出し具合が同じになるため、同一の被写体であることの対応付けがとりやすくなる。図11に3D位置情報保持部が保持するデータ例を示す。図11(a)は、パノラマ展開画像を2分割する場合の被写体位置に応じた3Dの飛び出し具合を模式的に示したものである。(b)は3分割する場合の例である。この例では、点線部分が1つの切りだしパノラマ画像に相当し、太線部分が飛び出し量に相当する。つまり、切り出し基準位置(点線の端の位置)と被写体位置が分かれば飛び出し量を求めることができる。
なお、被写体に限らず背景に対しても3D位置情報に基づいて3D画像にすることで被写体が移動していない場合でも切り出しパノラマ画像の端が他の切り出しパノラマ画像のどの端と接続しているかが分かりやすくなる。
【0049】
以上のように構成されたパノラマ展開画像撮像装置について、図10を用いてその動作を説明する。
ステップ201〜207は実施の形態1と同様である。ステップ207が終了した時点で切り出し基準位置と被写体位置が求まっている。続いて、3D画像生成部801は出力された被写体の位置情報と3D位置情報保持部802に蓄えられている3D位置情報を基に飛び出し量を求める(ステップ901)。求めた飛び出し量で飛び出しているように見える被写体の3D画像を作成し(ステップ902)、最後に画像合成部803は被写体の存在する切り出しパノラマ画像と被写体の3D画像を合成し表示するための画像を作成する。
【0050】
3D画像生成例を図12に示す。図12は描画平面を仮想的に俯瞰した図であり、仮定平面31を奥行き±0とした際、例えば画面1では左側が奥に、右側が手前に飛び出て表示されることを表現している。3D位置情報保持部802により、被写体の位置毎の立体視具合が保存されており、3D画像生成部801では各被写体の位置情報を基に被写体画像を立体視できるように3D画像を生成し、画像合成部803でオリジナルのパノラマ展開画像と合成した後、表示部108で表示を行う。このとき、分割した各パノラマ画像において、隣接する部分は同じ高さで立体視するよう表示される。例えば図12において、画面1の右端と画面2の左端は同じ場所を表示しており、被写体33の位置毎の奥行き情報を示す3D奥行き情報線32はどちらも同じ高さとなるよう3D位置情報保持部802で調整されている。また、画面1の左端と画面2の右端も同様である。ここで、3D位置情報保持部で画面1の右端と左端では飛び出し具合が異なるように3D位置情報を設定しておけば、2つの被写体が画面1の右端と左端で同時に移動を行っていた場合でも、2つの被写体の飛び出し具合が異なるため画像端同士のつながりを容易に理解することができる表示になっている。
【0051】
このような本発明の第2の実施の形態のパノラマ展開画像撮像装置によれば、被写体検出部105により被写体を検出し、3D位置情報保持部802より該当する位置の3D情報を参照し、3D画像生成部801により3D画像化して表示することで、パノラマ展開画像を複数段に分けて表示した場合においても、分離後の各画像端同士の繋がりをわかりやすく表示させることが可能となる。
【0052】
なお、本実施例ではパノラマ展開画像を2画面に分割した例を示したが、3つ以上に分割した際も同様に、隣接領域が同じ高さで3D表示される。また、隣接領域の高さを同等とすることで上記の効果を得ているが、その立体具合については任意である。即ち、画面端が必ずしも最大の高さを持つ、あるいは最大の奥行きを持つ必要は無い。
【0053】
さらに、画像合成部803で3D情報と背景を合成する際、実施の形態1で行ったように、切り出し基準位置更新部104で検出した背景の切り出し位置と、被写体位置算出部106で算出した被写体の位置を基にして背景画像の切り出し位置を決定してパノラマ画
像を切り出し、そのパノラマ画像を背景として3D情報を合成することもできる。
【産業上の利用可能性】
【0054】
以上のように、本発明にかかるパノラマ展開画像撮像装置は、被写体の移動に合わせてパノラマ展開画像の切り出し位置及び表示方法を変動できるという効果を有し、全方位カメラや複数台のカメラを利用して作成したパノラマ画像の表示方法として有用であり、例えば全方位カメラを用いた監視ソリューション等に幅広く利用することができる。
【符号の説明】
【0055】
101 全方位画像生成部
102 パノラマ展開部
103 背景特徴抽出部
104 切り出し基準位置更新部
105 被写体検出部
106 被写体位置算出部
107 表示画像生成部
108 表示部
【技術分野】
【0001】
本発明はパノラマ展開画像撮像装置およびパノラマ展開画像撮像システムに関するもののである。
【背景技術】
【0002】
通常、全周囲画像をパノラマ展開した画像は、画像の一方の長さに比べ、他方の長さの方が遥かに長いという特性を持っている。そのため、パノラマ展開した画像全体を一度に表示する手段として、画像を複数に切り分けて、それぞれを縦に並べて複数段構成で表示するという手法がある。(例えば、特許文献1参照)。
【0003】
特許文献1では魚眼レンズにより撮像された360度の環状映像において、内円と外円を設定することでパノラマ展開すべき画像の高さを決定し、例えばテーブルの中央に全方位撮像装置を置いて、会議風景などを撮像した際、被写体の頭が切れてしまうことなく処理することを可能としている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−28606号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1のパノラマ展開画像撮像装置では、注目している被写体が頻繁に移動するシーンを対象としておらず、複数段にパノラマ展開画像を切り出した際、切り出し画像の境界に被写体が移動した場合、被写体が切れてしまうという課題がある。
【0006】
本発明は、従来の問題を解決するためになされたもので、パノラマ展開画像上の被写体の移動に合わせて表示形態を変動させることで、被写体が途切れてしまうことなく撮像できるパノラマ展開画像撮像装置およびパノラマ展開画像撮像システムを得ることを目的とする。
【課題を解決するための手段】
【0007】
本発明に係るパノラマ展開画像撮像装置は、パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部とを有する。
【0008】
この構成により、パノラマ展開画像を複数段に切り出して縦に並べて表示した際、被写体の位置情報に基づいて表示する画面構成を変更することができ、ユーザにとってパノラマ画像同士の繋がりが分かりやすい表示が可能となる。
【0009】
さらに、本発明のパノラマ展開画像撮像装置は、前記パノラマ展開画像は動画像を展開したものであり、前記切り出し位置決定部は、前記被写体の位置が前記切り出し基準位置に接近した際、前記被写体の全身が前記パノラマ画像に含まれるように前記切り出し位置を決定する構成を有している。
【0010】
この構成により、パノラマ画面端に被写体が移動した際に画面端が伸縮した表示が可能となり、画像端に被写体が移動したことがユーザに視覚的に伝わりやすくかつ被写体が途切れて映るような事を防ぐことができる。
【0011】
さらに、本発明のパノラマ展開画像撮像装置は、前記パノラマ画像を表示領域に表示する表示部を有し、前記表示画像生成部は、前記切り出し位置が更新された後、前記パノラマ画像を前記表示領域に合わせて大きさを変更して表示させる構成を有している。
【0012】
この構成により、パノラマ画像端に被写体が移動した際にパノラマ画像の表示範囲を伸縮した表示を行いかつ表示領域に合わせて画像をリサイズすることができ、画像端に被写体が移動したことがユーザに視覚的に伝わりやすくなるとともに、表示領域を無駄にすることなく表示が可能となる。
【0013】
さらに、本発明のパノラマ展開画像撮像装置は、前記パノラマ展開画像から背景の背景画像特徴を抽出する背景特徴抽出部を持ち、前記切り出し基準位置決定部は、背景画像特徴に基づいて、前記切り出し基準位置を決定する構成を有している。
この構成により、背景特徴に基づいてパノラマ画像を表示することができるようになり、ユーザにとって分かりやすい表示が可能となる。
【0014】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、色情報を用いる構成を有している。
【0015】
この構成により、切り出し画像の画像端に目立つ物体や看板がある部分を選択することができユーザの空間把握を補助することができる。
【0016】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、文字情報を用いる構成を有している。
この構成により、切り出し画像の画像端に目立つ物体や看板がある部分を選択することができユーザの空間把握を補助することができる。
【0017】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、テクスチャ情報を用いる構成を有している。
この構成により、テクスチャが一定の部分は切り出し画像端として選択しない設定が可能になり、画像端に特徴がある背景部を自動選択することで、ユーザの空間把握を補助することができる。
【0018】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、ターゲットとなる被写体の検出頻度情報を用いる構成を有している。
この構成により、例えば人通りの多い通路など、ユーザが注目すべき領域が画像のパノラマ画像の切れ目に選択されることが無くなる。
【0019】
さらに、本発明のパノラマ展開画像撮像装置は、前記切り出し基準位置決定部は、前記パノラマ画像の端が互いに重なるように決定される構成を有している。
この構成により、画像端同士の一致不一致を知ることができ、ユーザの空間把握を補助することができる。
【0020】
さらに、本発明のパノラマ展開画像撮像装置は、パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展
開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と前記切り出し位置で前記パノラマ展開画像からパノラマ画像を切り出し、前記被写体の前記パノラマ画像中の位置に応じて3D飛び出し具合を決める3D位置決定部と、3D位置決定部によって決定された3D飛び出し具合に従って被写体が飛び出している3D画像を作成する3D画像生成部を有している。
【0021】
この構成により、パノラマ展開画像を複数段に切り出して縦に並べて表示した際、被写体の位置情報に基づいて表示する画面構成を変更することができ、被写体の位置を3D的に表示することができ、被写体の立体的な位置によってユーザがパノラマ画像同士の繋がりや、被写体の位置関係を把握しやすい表示が可能となる。
【0022】
さらに、本発明に係るパノラマ展開画像撮像装置は、パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、被写体のパノラマ画像中の位置に応じて3D飛び出し具合を決める3D位置決定部と、3D位置決定部によって決定された3D飛び出し具合に従って被写体が飛び出している3D画像を作成する3D画像生成部を有している。
【0023】
この構成により、ユーザにとってパノラマ画像同士のつながりが分かりやすい表示を実現することができる。
さらに、本発明に係るパノラマ展開画像撮像装置は、前記3D位置決定部は、分割前に接続されていた異なるパノラマ画像の画像端での飛び出し具合を同じにする構成を有している。
この構成により、画像端同士の一致不一致を知ることができ、ユーザの空間把握を補助することができる。
【発明の効果】
【0024】
本発明は、パノラマ展開画像を複数段に切り出して表示した際に、ユーザの空間把握を補助しパノラマ画像同士の繋がりが分かりやすく、かつ被写体が頻繁に移動するようなシーンにおいても、被写体を途切れさせることなく表示させるという効果を有するパノラマ展開画像撮像装置を提供することができるものである。
【図面の簡単な説明】
【0025】
【図1】本発明の第1の実施の形態におけるパノラマ展開画像撮像装置のブロック図
【図2】伸びしろ領域を利用したパノラマ展開画像撮像装置の動作説明のためのフロー図
【図3】全周囲画像の分割方法を示す説明図
【図4】伸びしろ領域を利用したパノラマ展開画像撮像装置の2画面構成を示す図
【図5】伸びしろ領域を利用したパノラマ展開画像撮像装置の動作を示すを示す説明図
【図6】リサイズ処理を用いたパノラマ展開画像撮像装置の動作説明のためのフロー図
【図7】リサイズ処理を用いたパノラマ展開画像撮像装置の2画面構成を示す図
【図8】リサイズ処理を用いたパノラマ展開画像撮像装置の動作を示す説明図
【図9】本発明の第2の実施の形態におけるパノラマ展開画像装置のブロック図
【図10】3D表示を用いたパノラマ展開画像装置の動作説明のためのフロー図
【図11】3D位置情報保持部の保持するデータ例を示す図
【図12】3D表示を用いたパノラマ展開画像装置の動作例を示す図
【発明を実施するための形態】
【0026】
(実施の形態1)
以下、本発明の実施の形態のパノラマ展開画像撮像装置について、図面を用いて説明する。ここでは、パノラマ展開画像を得るのに360度撮像可能な全方位カメラを用いている。
【0027】
本発明の第1の実施の形態のパノラマ展開画像撮像装置の構成を図1に示す。図1において、パノラマ展開画像撮像装置100は魚眼カメラなどの全方位カメラから全方位画像を生成する全方位画像生成部101と、全方位画像をパノラマ展開するパノラマ展開部102と、パノラマ展開画像から背景の画像特徴量を抽出する背景特徴抽出部103と、背景特徴に基づいてパノラマ展開画像の切り出しに適した切り出し基準位置を更新する切り出し基準位置更新部と104と、表示ターゲットとなる被写体を検出する被写体検出部105と、検出された被写体の位置を算出する被写体位置算出部106と、先に抽出した切り出し基準位置および被写体位置情報に基づいてパノラマ展開画像の切り出しの際の画像端の位置を決定し、複数個の切り出しパノラマ画像を生成する表示画像生成部107と、表示画像生成部107で生成した複数個の切り出しパノラマ画像を表示する表示部108を有している。
【0028】
以上のように構成されたパノラマ展開画像撮像装置100の動作フローを図2に示す。はじめに、全方位画像生成部101から全方位カメラ画像を取得する(ステップ201)。次に、取得した全方位カメラ画像に対してパノラマ展開部102にて展開を行い、360度の全方位画像を任意の位置で切断して展開したパノラマ展開画像を得る(ステップ202)。このパノラマ展開手法は引用文献1に記載してある一般的な手法を用いることができる。また、360度の全方位画像を展開しているため、展開画像の左端と右端は実際には隣接した領域であり、後述の切り出し基準位置によってはパノラマ展開画像の左(右)端から一定距離を切り取り、それをそのまま右(左)端に接続させても、画像の接続性は保たれることになる。
【0029】
次に、切り出し基準位置を更新するかどうかの判断を行う(ステップ203)。当ステップでは、パノラマ展開画像撮像装置100の初期起動時、あるいは別要因によって撮像対象領域が大きく変化した場合、または操作者が決めた任意のタイミングで更新すると判断する。更新すると判断された場合には切り出し基準位置の更新を行う(ステップ204、205)。
切り出し基準位置の更新は、まず背景特徴抽出部103が画像上のテクスチャ情報や色情報、文字情報等の背景特徴量を抽出する(ステップ204)。このとき、抽出する特徴量は画像処理の他、センサーなどにより別経路で入手しても良い。
【0030】
続いてステップ204で求めた背景特徴量を用いて切り出し基準位置更新部104は切り出し基準位置を更新して背景情報の更新を行う(ステップ205)。切り出し基準位置更新部104では、パノラマ展開画像をパノラマ画像に切り出すときの基準位置を求めるのであるが、複数段に分かれたパノラマ画像の端同士の対応関係をわかりやすくするためには、画像的な特徴がある領域(テクスチャが一様でない、色が他に比べ特殊である、看板等文字情報が埋め込まれている、等)ほど値が高くなるように、背景情報スコアを高くする。一方、被写体が動いている場合には、パノラマ画像の端に被写体がないほうが良いので、被写体の検出頻度が高いほど値が低くなるように背景情報スコアを算出する。
【0031】
このようにして、パノラマ展開した画像上のどの位置に特徴的な領域(物体)があるかを表す背景情報を求め、背景スコアが高い領域がパノラマ画像の切り出し後の各画像端に優先的に選ばれるよう、パノラマ展開画像の切り出し基準位置を設定、更新する。例えば、パノラマ展開画像をN段に分割して表示する際には、背景スコア最上位の領域を第1段目の分割画像左端に含むように設定し、その位置を基準にパノラマ展開画像全体をN分割し
て表示を行う。
【0032】
本方式では各分割画像の両端は隣り合う分割画像と一部重なりを持って表示を行うため、第1段目の分割画像の左端にある背景スコア最上位の領域は、第N段目の分割画像の右端にも含まれることになる。この設定により、仮に第m番目の分割画像(m=1…N)の画像端にて背景スコアが低い領域が選択された場合、背景スコア最上位の領域の代わりに背景スコア第2位の領域を基準として、パノラマ展開画像の切り出し位置を再設定する。以下、これを繰り返し、最適な切り出し基準位置を設定する。これにより、分離した各パノラマ展開画像の繋がりが操作者にわかりやすくなるという効果がある。この際に、各段の画像幅が等しくなるように制約条件を加えても良い。
【0033】
この様子を図3を用いて説明する。図3(a)は、全周囲画像301の中に、背景スコア第1位の領域302、背景スコア第2位の領域303、背景スコアの低い領域304が撮影されている様子を示している。
最初に、1回目の切れ目305で、図3(b)のように背景スコア第1位の領域302を基準にして全周囲画像301を3分割すると、背景スコアが低い領域304の物体が1段目と2段目の分割画像の端にかかってしまう。
【0034】
そこで、2回目の切れ目306で、図3(c)のように背景スコア第2位の領域303を基準にして画像を分割すると、背景スコアが低い領域304が分割画像によって分割されることなく表示される。
切り出し基準位置の更新が終了したもしくは、更新が不要だった場合に、続いて被写体検出部105がパノラマ展開画像に対して被写体検出を行い画像内の各位置での被写体(例えば人物)らしさを表すスコアを求めた被写体検出結果を出力する。
さらに被写体位置算出部106は、被写体検出結果を基に被写体らしさを表すスコアが閾値以上の位置を被写体の位置と判断し、被写体位置情報を出力する(ステップ206)。
【0035】
続いて表示画像生成部107は、切り出し基準位置と被写体位置情報とからパノラマ展開部102で生成されたパノラマ展開画像の切り出し位置を決定し切り出し(ステップ207)パノラマ画像を生成する(ステップ208〜210)。
【0036】
具体的には、被写体検出結果と切り出し基準位置との距離が一定値以上かどうかを判断し(ステップ208)、一定値以上の場合には切り出し基準位置が画像端となるように切り出しパノラマ画像を生成(ステップ209)、一定値以下の場合には切り出し基準位置を調整した上で切り出しパノラマ画像を生成する(ステップ210)。ステップ210での切り出し基準位置の調整処理の詳細については後述する。
【0037】
図4に第1の実施形態の表示例を示す。図4(a)、(b)はモニター11に、パノラマ展開画像から2つの切り出しパノラマ画像を生成し2段に表示した例になっている。分割画面上段12と分割画面下段13にそれぞれ切り出しパノラマ画像を表示している。図4(a)は背景情報更新部で設定された切り出し基準位置をそのまま利用して生成した切り出しパノラマ画像を表示した例を示している。このとき、分割画面上段12の右端と、分割画面下段13の左端は同じものが重複して表示されている。
図4(b)の20、21には、人物検出が行われたため切り出し基準位置を調整したうえで生成した切り出しパノラマ画像を伸びしろ領域14を利用して表示した例を示している。伸びしろ領域14とは、被写体22が画面端に来た際、画像の表示幅を変動させて表示するために画像の左右に用意した、表示/非表示が選択できる領域である。
図4(b)では、被写体22が分割画面上段12の右端に来たとき、伸びしろ領域20を利用して画像を表示する例を示している。また、分割画面下段13の左端の伸びしろ領
域21も利用して画像を表示する例を示している。
なお、この伸びしろ領域14には、切り出し基準位置で表示が行われている間は、任意の情報が表示されていても良い。
【0038】
図5に本実施の形態における動作例を示す。図5はパノラマ展開画像中で被写体17(ここでは人物とする)が左から右へ移動する例である。図の上にある太枠で囲まれた画像がパノラマ展開画像である。前述したように、パノラマ展開画像は端同士が接続した画像であるため、切り出しの際には太枠から外れた場合でも連続した画像として扱うことができる。太枠の左右にある点線の領域はパノラマ展開画像の左(右)端から一定距離を切り取り、それをそのまま右(左)端に接続させた場合の画像にあたる。
【0039】
図5は、このパノラマ展開画像を図4と同じく2段に分けて表示する場合の例である。ここでは上段に表示する切り出しパノラマ画像を画面1、下段に表示する切り出しパノラマ画像を画面2と呼ぶ。事前に切り出し基準位置更新部により、切り出し基準位置が求められている。図に示すように画面1、画面2に対してそれぞれ左右の切り出し基準位置が求められている。また、被写体位置算出部106により被写体位置(人物の位置)17が検出されている。
時刻tにおいて、人物の位置17は画面1、画面2の左右の切り出し基準位置の全てから一定距離d1以上離れているため、分割画面上段12、分割画面下段13ともに切り出し基準位置を画面端として切り出した切り出しパノラマ画像を表示しており、人物は分割画面上段12に表示されている。
【0040】
時刻t+1になると、人物16が画面1の右切り出し基準位置(時刻t1での分割画面上段12の右端に相当)から一定距離d1に近づいたため、画面2の左切り出し基準位置に一定距離dLを加えた位置が画面端になるように画面2の切り出しパノラマ画像を生成し、分割画面下段13に表示する。このように表示することで分割画面上段12、分割画面下段13ともに人物が表示されるようになる。また、画面端に近づいたことをユーザに気づかせることが可能となる。
【0041】
時刻t+2になると、人物15が画面1の右切り出し基準位置(時刻t+1での分割画面上段12の右端に相当)から一定距離d2に近づいたため、画面1の右切り出し基準位置に一定距離dRを加えた位置が画面端になるように画面1の切り出しパノラマ画像を生成し、分割画面上段12に表示する。また、画面2は画面2の左切り出し基準位置が画面端になるように画面2の切り出しパノラマ画像を生成し、分割画面下段13に表示する。
【0042】
更に時間が進み、時刻t+3となると、人物18は画面2の左切り出し基準位置から距離d1以上離れたため、画面1、画面2ともに切り出し基準位置を画面端とするようにパノラマ画像が生成され、分割画面上段12、分割画面下段13に表示される。また、被写体が分割画面上段12を右から左へ移動する際も同様に、分割画面下段13の右端と、分割画面上端12の左端というような元のパノラマ展開画像上で接続関係にある画像端がそれぞれ伸縮することで被写体を途切れさせること無く表示することが可能となる。なお、3段以上で表示する構成になった場合でも、各画像端から距離d1、d2に被写体が移動した際にはそれぞれ対応した領域が距離dR,dL分だけ伸縮することで同様の効果を得る。その際に、被写体の横幅を考慮してd1、d2、dR、dLの大きさを決めるとより効果的である。
【0043】
このような本発明の第1の実施の形態のパノラマ展開画像撮像装置によれば、背景特徴抽出部103および切り出し基準位置更新部104により画像的な特徴がある場所がパノラマ展開画像の切り出し後の各画像端に優先的に選ばれるよう、切り出し基準位置を設定し、更に被写体位置算出部106により被写体の位置に合わせてパノラマ展開画像の切り
出し位置を変動させて表示範囲を伸縮させることで、切り出しパノラマ画像の画像端において、被写体を途切れさせることなく表示することができ、さらに伸縮があるため人物の移動がユーザに分かりやすくなる。
【0044】
なお、被写体が切り出し基準位置から一定距離d1、d2に近づいた場合の表示方法は、切り出しパノラマ画像の表示範囲を伸縮させずにあらかじめ決められた幅に固定しておき、切り出しパノラマ画像の幅が(以下、この幅で切り出されたパノラマ画像をリサイズ対象領域と呼ぶ)変わったとき、その幅をリサイズさせても良い。これにより表示領域を無駄にすることなく、かつ被写体が途切れないように表示することができる。リサイズを用いる場合のフローを図6に、画面の表示例を図7、動作例を図8に示す。図6では、図2に示すフローと同じ処理は同じ番号になっている。ステップ510では表示領域を伸縮させるかわりにリサイズして表示している。図7に示すように実際の画面表示では各切り出しパノラマ画像が伸縮することがないので、伸びしろ領域が不要になっている。図8では前述した例でのリサイズ対象領域を時刻t〜時刻t+3の各画像で点線の太枠で表している。例えば、時刻tにおける画面2のリサイズ対象領域よりも時刻t+1における画面2のリサイズ対象領域の方が幅が広くなっている。この場合には、時刻t+1での画面2のリサイズ対象領域を幅を縮小するようにリサイズし時刻tでの幅に合わせて表示する。
【0045】
また、第1の実施形態では、魚眼レンズ等を用いた全方位カメラにより撮像された画像を入力画像としているが、通常のカメラを1個以上用いてパノラマ画像を作成した場合でも同等の効果が得られる。
また、切り出し基準位置は背景特徴を用いて求めることは必須ではなく、事前に決められた位置や人が指定した位置を切り出し基準位置としてもよい。また、各切り出しパノラマ画像の両端が重なり合うように切り出し基準位置を決めることは必須ではなく、重ならない(隣り合う切り出しパノラマ画像の画像端が同じ位置になるもしくは離れる)ように切り出し基準位置を決めてもよい。重なり合うように切り出し基準位置を決めることで、異なるパノラマ切り出し画像に同じ物体が含まれるためそれが特徴的な物体であればユーザにとって位置関係が分かりやすくなるというメリットがあり、重なり合わないように切り出し基準位置を決めることで、表示領域を節約することができるというメリットがあるため、アプリケーションや使用条件に応じて選択するとよい。
【0046】
(実施の形態2)
次に本発明の第2の実施の形態のパノラマ展開画像撮像装置800を図9に示す。実施の形態1で説明したパノラマ展開画像撮像装置100と同じ構成要素は同じ番号で示す。
【0047】
図9において、本発明の第2の実施の形態は、全方位画像生成部101と、パノラマ展開部102と、パノラマ展開画像から背景の画像特徴量を抽出する背景特徴抽出部103と、背景特徴に基づいてパノラマ画像の切り出しに適した位置を更新する切り出し基準位置更新部104と、表示ターゲットとなる被写体を検出する被写体検出部105と、被写体位置を算出する被写体位置算出部106と、検出された被写体情報を基に3D位置情報(3D画像にした際の画面からの飛び出し具合の情報)を算出して被写体の3D画像を生成する3D画像生成部801と、各被写体位置に対応した3D位置情報を保持している3D位置情報保持部802と、生成した3D画像と切り出し基準位置に従ってパノラマ展開画像から切り出した切り出しパノラマ画像とを合成する画像合成部803と、合成した画像を表示する表示部108とによって構成されている。
【0048】
3D位置情報保持部802は、切り出しパノラマ画像内の被写体位置に応じた3D位置情報を保持しており、パノラマ展開画像を2分割する場合や3分割する場合などに応じて事前に定めておけばよい。隣り合う切り出しパノラマ画像の対応する画像端での3D位置情報は同じ値に設定されている。これにより、被写体が切り出しパノラマ画像をまたいで
移動する場合に、被写体の飛び出し具合が同じになるため、同一の被写体であることの対応付けがとりやすくなる。図11に3D位置情報保持部が保持するデータ例を示す。図11(a)は、パノラマ展開画像を2分割する場合の被写体位置に応じた3Dの飛び出し具合を模式的に示したものである。(b)は3分割する場合の例である。この例では、点線部分が1つの切りだしパノラマ画像に相当し、太線部分が飛び出し量に相当する。つまり、切り出し基準位置(点線の端の位置)と被写体位置が分かれば飛び出し量を求めることができる。
なお、被写体に限らず背景に対しても3D位置情報に基づいて3D画像にすることで被写体が移動していない場合でも切り出しパノラマ画像の端が他の切り出しパノラマ画像のどの端と接続しているかが分かりやすくなる。
【0049】
以上のように構成されたパノラマ展開画像撮像装置について、図10を用いてその動作を説明する。
ステップ201〜207は実施の形態1と同様である。ステップ207が終了した時点で切り出し基準位置と被写体位置が求まっている。続いて、3D画像生成部801は出力された被写体の位置情報と3D位置情報保持部802に蓄えられている3D位置情報を基に飛び出し量を求める(ステップ901)。求めた飛び出し量で飛び出しているように見える被写体の3D画像を作成し(ステップ902)、最後に画像合成部803は被写体の存在する切り出しパノラマ画像と被写体の3D画像を合成し表示するための画像を作成する。
【0050】
3D画像生成例を図12に示す。図12は描画平面を仮想的に俯瞰した図であり、仮定平面31を奥行き±0とした際、例えば画面1では左側が奥に、右側が手前に飛び出て表示されることを表現している。3D位置情報保持部802により、被写体の位置毎の立体視具合が保存されており、3D画像生成部801では各被写体の位置情報を基に被写体画像を立体視できるように3D画像を生成し、画像合成部803でオリジナルのパノラマ展開画像と合成した後、表示部108で表示を行う。このとき、分割した各パノラマ画像において、隣接する部分は同じ高さで立体視するよう表示される。例えば図12において、画面1の右端と画面2の左端は同じ場所を表示しており、被写体33の位置毎の奥行き情報を示す3D奥行き情報線32はどちらも同じ高さとなるよう3D位置情報保持部802で調整されている。また、画面1の左端と画面2の右端も同様である。ここで、3D位置情報保持部で画面1の右端と左端では飛び出し具合が異なるように3D位置情報を設定しておけば、2つの被写体が画面1の右端と左端で同時に移動を行っていた場合でも、2つの被写体の飛び出し具合が異なるため画像端同士のつながりを容易に理解することができる表示になっている。
【0051】
このような本発明の第2の実施の形態のパノラマ展開画像撮像装置によれば、被写体検出部105により被写体を検出し、3D位置情報保持部802より該当する位置の3D情報を参照し、3D画像生成部801により3D画像化して表示することで、パノラマ展開画像を複数段に分けて表示した場合においても、分離後の各画像端同士の繋がりをわかりやすく表示させることが可能となる。
【0052】
なお、本実施例ではパノラマ展開画像を2画面に分割した例を示したが、3つ以上に分割した際も同様に、隣接領域が同じ高さで3D表示される。また、隣接領域の高さを同等とすることで上記の効果を得ているが、その立体具合については任意である。即ち、画面端が必ずしも最大の高さを持つ、あるいは最大の奥行きを持つ必要は無い。
【0053】
さらに、画像合成部803で3D情報と背景を合成する際、実施の形態1で行ったように、切り出し基準位置更新部104で検出した背景の切り出し位置と、被写体位置算出部106で算出した被写体の位置を基にして背景画像の切り出し位置を決定してパノラマ画
像を切り出し、そのパノラマ画像を背景として3D情報を合成することもできる。
【産業上の利用可能性】
【0054】
以上のように、本発明にかかるパノラマ展開画像撮像装置は、被写体の移動に合わせてパノラマ展開画像の切り出し位置及び表示方法を変動できるという効果を有し、全方位カメラや複数台のカメラを利用して作成したパノラマ画像の表示方法として有用であり、例えば全方位カメラを用いた監視ソリューション等に幅広く利用することができる。
【符号の説明】
【0055】
101 全方位画像生成部
102 パノラマ展開部
103 背景特徴抽出部
104 切り出し基準位置更新部
105 被写体検出部
106 被写体位置算出部
107 表示画像生成部
108 表示部
【特許請求の範囲】
【請求項1】
パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と
前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部と
からなるパノラマ展開画像表示装置。
【請求項2】
前記パノラマ展開画像は動画像を展開したものであり、
前記切り出し位置決定部は、前記被写体の位置が前記切り出し基準位置に接近した際、前記被写体の全身が前記パノラマ画像に含まれるように前記切り出し位置を決定することを特徴とするした請求項1のパノラマ展開画像表示装置。
【請求項3】
前記パノラマ画像を表示領域に表示する表示部を有し、
前記表示画像生成部は、前記切り出し位置が更新された後、前記パノラマ画像を前記表示領域に合わせて大きさを変更して表示させることを特徴とした請求項1のパノラマ展開画像表示装置。
【請求項4】
前記パノラマ展開画像から背景の背景画像特徴を抽出する背景特徴抽出部を持ち、
前記切り出し基準位置決定部は、背景画像特徴に基づいて、前記切り出し基準位置を決定するパノラマ展開画像表示装置。
【請求項5】
前記背景特徴抽出部にて、色情報を用いることを特徴とした請求項4のパノラマ展開画像表示装置。
【請求項6】
前記背景特徴抽出部にて、文字情報を用いることを特徴とした請求項4のパノラマ展開画像表示装置。
【請求項7】
前記背景特徴抽出部にて、テクスチャ情報を用いることを特徴とした請求項4のパノラマ展開画像表示装置。
【請求項8】
前記背景特徴抽出部にて、ターゲットとなる被写体の検出頻度情報を用いることを特徴した請求項4のパノラマ展開画表示装置。
【請求項9】
前記切り出し基準位置決定部は、前記パノラマ画像の端が互いに重なるように決定される請求項1記載のパノラマ展開画像表示装置。
【請求項10】
パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と
前記切り出し位置で前記パノラマ展開画像からパノラマ画像を切り出し、
前記被写体の前記パノラマ画像中の位置に応じて3D飛び出し具合を決める3D位置決定部と、
3D位置決定部によって決定された3D飛び出し具合に従って被写体が飛び出している3D画像を作成する3D画像生成部と
からなるパノラマ展開画像表示装置。
【請求項11】
パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
被写体のパノラマ画像中の位置に応じて3D飛び出し具合を決める3D位置決定部と、
3D位置決定部によって決定された3D飛び出し具合に従って被写体が飛び出している3D画像を作成する3D画像生成部と
からなるパノラマ展開画像表示装置。
【請求項12】
前記3D位置決定部は、分割前に接続されていた異なるパノラマ画像の画像端での飛び出し具合を同じにするパノラマ展開画像表示装置
【請求項13】
パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示方法であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定ステップと、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出ステップと、
検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定ステップと
前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成ステップと
からなるパノラマ展開画像表示方法。
【請求項1】
パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と
前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部と
からなるパノラマ展開画像表示装置。
【請求項2】
前記パノラマ展開画像は動画像を展開したものであり、
前記切り出し位置決定部は、前記被写体の位置が前記切り出し基準位置に接近した際、前記被写体の全身が前記パノラマ画像に含まれるように前記切り出し位置を決定することを特徴とするした請求項1のパノラマ展開画像表示装置。
【請求項3】
前記パノラマ画像を表示領域に表示する表示部を有し、
前記表示画像生成部は、前記切り出し位置が更新された後、前記パノラマ画像を前記表示領域に合わせて大きさを変更して表示させることを特徴とした請求項1のパノラマ展開画像表示装置。
【請求項4】
前記パノラマ展開画像から背景の背景画像特徴を抽出する背景特徴抽出部を持ち、
前記切り出し基準位置決定部は、背景画像特徴に基づいて、前記切り出し基準位置を決定するパノラマ展開画像表示装置。
【請求項5】
前記背景特徴抽出部にて、色情報を用いることを特徴とした請求項4のパノラマ展開画像表示装置。
【請求項6】
前記背景特徴抽出部にて、文字情報を用いることを特徴とした請求項4のパノラマ展開画像表示装置。
【請求項7】
前記背景特徴抽出部にて、テクスチャ情報を用いることを特徴とした請求項4のパノラマ展開画像表示装置。
【請求項8】
前記背景特徴抽出部にて、ターゲットとなる被写体の検出頻度情報を用いることを特徴した請求項4のパノラマ展開画表示装置。
【請求項9】
前記切り出し基準位置決定部は、前記パノラマ画像の端が互いに重なるように決定される請求項1記載のパノラマ展開画像表示装置。
【請求項10】
パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と
前記切り出し位置で前記パノラマ展開画像からパノラマ画像を切り出し、
前記被写体の前記パノラマ画像中の位置に応じて3D飛び出し具合を決める3D位置決定部と、
3D位置決定部によって決定された3D飛び出し具合に従って被写体が飛び出している3D画像を作成する3D画像生成部と
からなるパノラマ展開画像表示装置。
【請求項11】
パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
被写体のパノラマ画像中の位置に応じて3D飛び出し具合を決める3D位置決定部と、
3D位置決定部によって決定された3D飛び出し具合に従って被写体が飛び出している3D画像を作成する3D画像生成部と
からなるパノラマ展開画像表示装置。
【請求項12】
前記3D位置決定部は、分割前に接続されていた異なるパノラマ画像の画像端での飛び出し具合を同じにするパノラマ展開画像表示装置
【請求項13】
パノラマ展開画像を少なくとも2つのパノラマ画像に分割して表示するパノラマ展開画像表示方法であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定ステップと、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出ステップと、
検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定ステップと
前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成ステップと
からなるパノラマ展開画像表示方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2011−244116(P2011−244116A)
【公開日】平成23年12月1日(2011.12.1)
【国際特許分類】
【出願番号】特願2010−112855(P2010−112855)
【出願日】平成22年5月17日(2010.5.17)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
【公開日】平成23年12月1日(2011.12.1)
【国際特許分類】
【出願日】平成22年5月17日(2010.5.17)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]