画像処理装置、画像処理方法及びプログラム
【課題】鑑賞者が所望する視点で撮影されたのと等価な画像を容易に得ることができる。
【解決手段】撮像画像取得部６２は、オブジェクトＯＢが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数のカメラ１１の各々によって撮像された複数の撮像画像のデータを取得する。位置情報取得部６３は、所定の空間を移動するオブジェクトＯＢの位置を取得する。視点変換画像加工部７４は、取得された位置に基づいて、撮像画像取得部６２により取得された撮像画像のデータを視点変換の加工をすることで、オブジェクトＯＢに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。表示制御部６５は、生成された視点変換画像のデータを表示出力する制御を実行する。
【解決手段】撮像画像取得部６２は、オブジェクトＯＢが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数のカメラ１１の各々によって撮像された複数の撮像画像のデータを取得する。位置情報取得部６３は、所定の空間を移動するオブジェクトＯＢの位置を取得する。視点変換画像加工部７４は、取得された位置に基づいて、撮像画像取得部６２により取得された撮像画像のデータを視点変換の加工をすることで、オブジェクトＯＢに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。表示制御部６５は、生成された視点変換画像のデータを表示出力する制御を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鑑賞者が所望する視点で撮影されたのと等価な画像を容易に得ることを可能にする、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、サッカー等のスポーツ競技における放送に用いる映像の撮影では、定点カメラや、報道席のカメラマンが保持するカメラ等が用いられている。即ち、これらのカメラによって、遠方から望遠撮影されたスポーツ競技の映像が放送等されている。
【０００３】
しかしながら、このような遠方から撮像された映像では、たとえ望遠撮影等を織り交ぜたとしても、迫力に乏しいという印象を鑑賞者に与えてしまう。
【０００４】
そこで、サッカー等の球技について、より迫力のある映像を得るために、球技用のボールの中に、カメラやセンサを内蔵する技術が提案されている（例えば、特許文献１〜特許文献３参照）。このような技術を適用することで、ボール内のセンサが衝撃や加速度を検出したら、ボール内のカメラが所定の瞬間の画像を撮影することができるので、ボール視点とした画像の再生が可能になる。ただし、ボールは回転したり振動するので、落下するボール自体の姿勢制御を行うことで画像を安定化する技術も特許文献１に記載されている。
【０００５】
なお、サッカーや格闘技等、スポーツを模擬したゲーム機器も近年開発されている（例えば、特許文献４参照）。このようなゲーム機器では、所定のシーンを模擬した３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を再構成して、リプレイ表示することができるようになっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１０４２５４号公報
【特許文献２】特開２００１−０４２４２０号公報
【特許文献３】特開２００７−１０４２３４号公報
【特許文献４】特開平０７−１１６３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１〜３の従来の技術を適用してボール視点の画像を得るためには、ボールは逐次姿勢変化していることから、当該ボール自身又は内蔵されたカメラの姿勢制御を逐次的確に行わなければならない。このためには、複雑な構造の大掛かりな設備が必要となり、ボール視点の画像を容易に得ることができなかった。
【０００８】
また、鑑賞者の中には、ボールだけではなく、選手等他のオブジェクトを視点とした画像を得ることを要求するものも多く存在するが、特許文献１〜３の従来の技術では当該要求に十分に応えることはできない。
【０００９】
また、特許文献４の従来の技術は、あくまでもゲームという仮想現実に適用可能な技術であり、現実のスポーツ等を撮像する技術にはそのまま適用することは困難である。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、鑑賞者が所望する視点で撮影されたのと等価な画像を容易に得ることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の一態様の画像処理装置は、オブジェクトが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数の撮像装置の各々によって撮像された複数の撮像画像のデータを取得する画像取得手段と、前記所定の空間を移動する前記オブジェクトの位置を取得する位置取得手段と、前記位置取得手段により取得された前記位置に基づいて、前記画像取得手段により取得された前記複数の撮像画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する画像加工手段と、前記画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、を備える。
【発明の効果】
【００１２】
本発明によれば、鑑賞者が所望する視点で撮影されたのと等価な画像を容易に得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係る画像処理システムの概略的な構成を示す模式図である。
【図２】図１の画像処理装置によって生成される視点変換画像の元画像の各種具体例を示す模式図である。
【図３】図１の画像処理装置で生成される視点変換画像の具体例を示している。
【図４】本実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
【図５】図４の画像処理装置の機能的構成のうち、視点変換画像生成処理を実行するための機能的構成を示す機能ブロック図である。
【図６】図５の機能的構成を有する図４の画像処理装置が実行する、第１実施形態に係る視点変換画像生成処理の流れを説明するフローチャートである。
【図７】本発明の第１実施形態の第１変形例に係る画像処理システムの概略的な構成を示す模式図であって、選手のオブジェクトが視点として選択された場合における概略構成を示す模式図である。
【図８】図１の画像処理装置で生成される視点変換画像の具体例を示している。
【図９】選択オブジェクトの位置情報の取得手法の一例を示す模式図である。
【図１０】選択オブジェクトの位置情報の取得手法の一例を示す模式図である。
【図１１】選択オブジェクトの位置情報の取得手法の一例を示す模式図である。
【図１２】図５の機能的構成を有する図４の画像処理装置が実行する、第２実施形態に係る視点変換画像生成処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【００１４】
［第１実施形態］
以下、本発明の第１実施形態について、図面を用いて説明する。
【００１５】
図１は、本発明の第１実施形態に係る画像処理システムの概略的な構成を示す模式図である。
本実施形態に係る画像処理システム１０は、競技場Ｆで開催されるサッカーの試合を撮像する用途で設定されている。
このため、サッカーボール（以下、「ボール」と略記する）や選手等から、鑑賞者に提供される画像の視点となり得るオブジェクトがｍ個採用されるものとする。ここで、ｍは、１以上の任意の整数値であるが、本実施形態ではボール及び選手数と同一の値である「７」とする。
【００１６】
具体的には、図１は、ボールのオブジェクトに配置された仮想視点が選択された場合における、本実施形態に係る画像処理システムの概略構成を示している。
なお、本明細書では、実空間を実際に撮像する撮像部（カメラ等）の視点を「実際の視点」と呼び、この実際の視点に対する概念として「仮想視点」が記載されている。即ち、「仮想視点」とは、撮像部以外の物体（実物体又は仮想物体）に可変可能に配置される仮想的な視点をいう。
【００１７】
図１に示すように、本実施形態に係る画像処理システム１０においては、ボールであるオブジェクトＯＢ１及び各選手のそれぞれであるオブジェクトＯＢ２〜ＯＢ７と、競技場Ｆを周囲から撮影するカメラ１１ａ〜１１ｈと、画像処理装置１２と、中継装置１３と、ｎ台の外部端末１４−１〜１４−ｎと、がネットワークＮを介して相互に接続されている。ネットワークＮは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の任意のネットワークである。
以下、外部端末１４−１〜１４−ｎを個々に区別する必要がない場合、これらをまとめて、「外部端末１４」と単に呼ぶ。また、外部端末１４と呼んでいる場合には、その構成要素の符号についても、１〜ｎを省略して説明する。
また、以下、オブジェクトＯＢ１〜ＯＢ７を個々に区別する必要がない場合、これらをまとめて、「オブジェクトＯＢ」と単に呼ぶ。また、オブジェクトＯＢと呼んでいる場合には、その構成要素の符号についても、１〜７を省略して説明する。
オブジェクトＯＢは、詳細については、図５を参照し後述するがセンサ部１１１及び送信部１１２を備えており、オブジェクトＯＢの位置情報のデータを画像処理装置１２に逐次送信する。
また、以下、カメラ１１ａ〜１１ｈを個々に区別する必要がない場合、これらをまとめて、「カメラ１１」と単に呼ぶ。また、カメラ１１と呼んでいる場合には、その構成要素の符号についても、ａ〜ｈを省略して説明する。
【００１８】
図１に示すように、画像処理装置１２は、各オブジェクトＯＢ１〜ＯＢ７のうち、ボールのオブジェクトＯＢ１を、仮想視点を配置するためのオブジェクトＯＢとして選択することができる。このように仮想視点となるように選択されたオブジェクトをＯＢ、以下、「選択オブジェクト」と呼ぶ。
【００１９】
ここで、本実施形態では、競技場Ｆ内の任意の１点はカメラ１１ａ〜１１ｈのうちの少なくとも１つの撮像画像に含まれるように、カメラ１１ａ〜１１ｈの各々は競技場Ｆの周囲の各位置（定点）に配置されている。従って、本実施形態では、選択オブジェクトＯＢが映り込んだ画像は、カメラ１１ａ〜１１ｈのうちの少なくとも１つによって常に撮像されているものとする。
そこで、画像処理装置１２は、カメラ１１ａ〜１１ｈにより撮像された撮像画像のデータのうち少なくとも１つを、移動方向Ａ１に移動している選択オブジェクトＯＢ１から逐次送信されてくる位置情報に基づいて加工することによって、当該選択オブジェクトＯＢ１に配置された仮想視点がブレや回転をすることなく移動方向Ａ１に移動していくような一連の画像（動画像、連写画像或いは静止画）のデータを生成する。即ち、この場合、画像処理装置１２は、選択オブジェクトＯＢ１の移動方向Ａ１に基づく画像（動画像、連写画像或いは静止画）のデータを生成する。
具体的には、選択オブジェクトＯＢ１は、ボールであるために本来ブレや回転が生ずるが、仮想視点は、ブレや回転をすることなく移動方向Ａ１に移動していくように、選択オブジェクトＯＢ１に可変配置される。即ち、図１の例では、仮想視点は、選択オブジェクトＯＢ１から眺望するものであるが、固定的に配置されてブレや回転が生じるのではなく、水平方向は常に一定方向を眺望できるように（その結果回転することなく移動方向Ａ１に移動していくように）選択オブジェクトＯＢ１に可変配置される。ここで、選択オブジェクトＯＢ１からの仮想視点が眺める所定の方向を、以下、「眺望方向」と呼ぶ。
一方で、カメラ１１ａ〜１１ｈにより撮像された撮像画像のデータとは、実際の視点から選択オブジェクトＯＢ１を含む競技場Ｆを周囲から眺めた様子を表わす画像のデータである。
従って、画像処理装置１２は、競技場Ｆの周囲（外部）の実際の視点から眺めた様子を表わす画像のデータを、競技場Ｆ内において選択オブジェクトＯＢ１の移動方向Ａ１に移動する仮想視点が、当該移動方向Ａ１を眺望方向として眺めた様子を表わす画像のデータに変換している、と把握することもできる。
なお、以下、競技場Ｆの周囲（外部）のカメラ１１ａ〜１１ｈ等における実際の視点から眺めた様子を表わす画像のデータを、即ち、変換の元になる画像のデータを、「元画像のデータ」と呼ぶ。一方、元画像のデータから変換した画像のデータ、即ち、競技場Ｆの内部において選択オブジェクトＯＢ１の移動方向Ａ１に移動する仮想視点が、当該移動方向Ａ１を眺望方向として眺めた様子を表わす画像のデータを、「視点変換画像のデータ」と呼ぶ。
【００２０】
図２は、カメラ１１ａ〜１１ｈにより撮像された撮像画像、即ち元画像の候補の各種具体例を示している。
【００２１】
図２（ａ）の元画像の候補は、競技場Ｆの周囲（図１中、左下の隅）に設置されたカメラ１１ａにより、競技場Ｆの手前左側コーナーから右斜め４５度の方向で撮像された撮像画像である。
図２（ｂ）の元画像の候補は、競技場Ｆの周囲（図１中、中央下）に設置されたカメラ１１ｂにより、競技場Ｆの手前センターラインから正面に向かう方向で撮像された撮像画像である。
図２（ｃ）の元画像の候補は、競技場Ｆの周囲（図１中、右下の隅）に設置されたカメラ１１ｃにより、競技場Ｆの手前右側コーナーから左斜め４５度の方向で撮像された撮像画像である。
図２（ｄ）の元画像の候補は、競技場Ｆの周囲（図１中、左上の隅）に設置されたカメラ１１ｄにより、競技場Ｆの奥左側コーナーから右斜め４５度の方向で撮像された撮像画像である。
図２（ｅ）の元画像の候補は、競技場Ｆの周囲（図１中、中央上）に設置されたカメラ１１ｅにより、競技場Ｆの奥センターラインから正面に向かう方向で撮像された撮像画像である。
図２（ｆ）の元画像の候補は、競技場Ｆの周囲（図１中、右上の隅）に設置されたカメラ１１ｆにより、競技場Ｆの奥右側コーナーから左斜め４５度の方向で撮像された撮像画像である。
図２（ｇ）の元画像の候補は、競技場Ｆの周囲（図１中、左の隅）に設置されたカメラ１１ｇにより、ゴールＧ１の裏側からゴールＧ２に向かう方向で撮像された撮像画像である。
図２（ｈ）の元画像の候補は、競技場Ｆの周囲（図１中、右の隅）に設置されたカメラ１１ｈにより、ゴールＧ２の裏側からゴールＧ１に向かう方向で撮像された撮像画像である。
【００２２】
本実施形態では、このようにして、カメラ１１ａ〜１１ｈの各々の撮像画像のデータが元画像の候補のデータとなり、これらの候補のデータの中から、選択オブジェクトＯＢの位置情報に基づいて選択された１つが、元画像のデータとして採用される。
【００２３】
ここで、選択オブジェクトＯＢからの位置情報の取得手法として、本実施形態では次のような手法が採用されている。
即ち、選択オブジェクトＯＢになり得るオブジェクトＯＢ１〜ＯＢ７には、位置情報を取得可能なセンサが取り付けられており、時間の経過と共に位置情報が逐次送信されるので、画像処理装置１２が当該位置情報を取得する、という手法が採用されている。
具体的には例えば、ボールのオブジェクトＯＢ１には、位置情報を取得可能なセンサとして、複数の移動位置センサユニットが内蔵されている。移動位置センサユニットは、具体的には、３軸加速度センサ等の３次元位置計測手段や高精度の測位手段と、時間経過毎に３次元位置情報を外部端末１４に送信する無線送信手段と、測位手段や無線送信手段に電力を供給する電力供給手段等により構成される。
そこで、本手法では、画像処理装置１２は、移動位置センサユニットの無線送信手段から、無線ＬＡＮやｂｌｕｅｔｏｏｔｈ（登録商標）等の形態で送信された位置情報を受信することで、当該位置情報を取得する。
【００２４】
画像処理装置１２は、このようにして選択オブジェクトＯＢの位置情報を取得すると、当該位置情報に基づいて、カメラ１１ａ〜１１ｈの各撮像画像のデータの中から、視点変換画像のデータの生成に必要な元画像のデータを選択する。
詳細には、画像処理装置１２は、選択オブジェクトＯＢの位置情報が取得された時間帯と同時間帯にカメラ１１ａ〜１１ｈの各々により撮像された撮像画像のデータを取得する。画像処理装置１２は、これらの撮像画像のデータの中から、元画像のデータとして使用する１つを、選択オブジェクトの位置情報に基づいて選択する。
【００２５】
画像処理装置１２は、このようにして選択した１つの元画像のデータから、所定の移動方向に移動する選択オブジェクトＯＢの眺望方向の様子を表わす視点変換画像のデータを生成する。
画像処理装置１２は、例えば、選択オブジェクトの移動方向と同一方向を眺望方向として仮想視点が眺める様子を示す視点変換画像のデータを生成することができる。
また、画像処理装置１２は、選択オブジェクトの移動速度に対応した大きさとなる視点変換画像のデータを生成することができる。画像処理装置１２は、例えば、選択オブジェクトの移動速度が速い場合には、通常の視点変換画像のデータとは異なる広角な視点変換画像のデータを生成する。
【００２６】
図３は、視点変換画像の具体例を示している。
【００２７】
図３の例では、複数台のカメラ１１ａ〜１１ｈの各々により撮像された複数の撮像画像のデータ、即ち図２（ａ）〜図２（ｈ）の各々に示す複数の撮像画像のデータのうち、図２（ｈ）に示す撮像画像のデータが元画像のデータとして選択されている。
そして、図２（ｈ）に示す撮像画像のデータが、所定の手法に基づいて変換されることによって、図３に示す視点変換画像のデータが生成される。
【００２８】
この場合、視点変換画像のデータへの変換に適用される所定の手法は、特に限定されないが、本実施形態では、例えば、アフィン変換を用いた手法を利用することにより実現可能となる。
このようなアフィン変換を用いた手法を適用することにより、各種オブジェクトＯＢ等を、形状を変形させないで、平行移動や回転をさせたり、縦方向と横方向とで拡大又は縮小の倍率を変化させることが可能になる。
アフィン変換を用いた手法としては、公知又は今後登場するであろう任意の手法、例えば特開２００７−１３３８４３号公報等に開示されている手法等を採用することができるが、本実施形態では次のような手法が採用されている。
【００２９】
具体的には、アフィン変換では、元画像の座標をローカル座標からワールド座標に変換する変換行列が用いられる。この際、アフィン変換では、ローカル座標からワールド座標に移行する際に、オブジェクトの拡大縮小・回転・平行移動等が行わる。なお、「ローカル座標」とは、個々のオブジェクトの中心位置を（Ｘ，Ｙ，Ｚ）＝（０，０，０）とする座標系で、オブジェクトの頂点情報等を表わした座標である。
また、「ワールド座標」とは、個々のオブジェクトを共通の３次元仮想空間内に、相対的な位置関係に基づいて配置したときの座標系で表わした座標である。この「ワールド座標」にはオブジェクトだけでなく、光源・視点も配置される。
次いで、アフィン変換では、ワールド座標からビュー座標に変換する変換行列が用いられ、ビュー座標からパースペクティブ座標に変換する変換行列が用いられる。その結果、３次元情報が表示装置の表示部に表示可能な２次元情報に変換される。この際、表示の中心が（Ｘ，Ｙ）＝（０，０）となる座標系となる。また、「ビュー（視点）座標」は、「ワールド座標」の座標系を視点位置から視点方向を見たときの座標、即ち、視点位置を（Ｘ，Ｙ，Ｚ）＝（０，０，０）で、視点方向がＺ軸のプラス方向となる座標系で表わした座標である。また、「パースペクティブ（透視）座標」は、３次元情報を２次元の座標系で表わした座標である。この「パースペクティブ（透視）座標」は、「スクリーン座標」ともいう。
最後に、アフィン変換では、パースペクティブ座標からディスプレイ座標に変換する変換行列が用いられる。「ディスプレイ座標」は、表示部における描画領域のサイズに対応した座標系で表わした座標である。「ディスプレイ座標」では、パースペクティブ座標で表示の中心を（Ｘ，Ｙ）＝（０，０）としていたが、表示部における描画領域に対応させるべく、描画領域の左上の点を（Ｘ，Ｙ）＝（０，０）とする変換が行われる。
画像処理装置１２は、このようなアフィン変換を用いることにより、元画像のデータを、所定の移動方向に移動する選択オブジェクトＯＢの眺望方向を仮想視点とする視点変換画像のデータに変換することができる。
【００３０】
図１に戻り、中継装置１３は、ネットワークＮを介して接続される画像処理装置１２と、外部端末１４との間で授受される各種情報、例えば視点変換画像のデータを中継する。
【００３１】
外部端末１４は、例えばスマートフォン等で構成されおり、例えば画像処理装置１２から中継装置１３を経由して送信されてきた視点変換画像のデータを受信すると、当該視点変換画像をディスプレイ等に表示する。
ここで、ネットワークＮがインターネットであるならば、外部端末１４は、視点変換画像のデータの取得要求等の指示を、例えばＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）によるＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）要求により行うことができる。
さらに、外部端末１４は、各種制御信号を中継装置１３を介して画像処理装置１２に送信することで、選択オブジェクトの変更指示等の遠隔制御を実行できる。
【００３２】
次に、このような本実施形態の画像処理システム１０のうち、主要構成要素たる画像処理装置１２の構成について説明する。
［画像処理装置］
図４は、本実施形態に係る画像処理装置１２のハードウェアの構成を示すブロック図である。
【００３３】
画像処理装置１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３と、画像処理部３４と、バス３５と、入出力インターフェース３６と、入力部３７と、表示部３８と、計時部３９と、記憶部４０と、通信部４１と、ドライブ４２と、を備えている。
【００３４】
ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラム、又は、記憶部４０からＲＡＭ３３にロードされたプログラムに従って各種の処理を実行する。
【００３５】
ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００３６】
画像処理部３４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ３１と協働して、画像のデータに対して各種画像処理を施す。
【００３７】
ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３及び画像処理部３４は、バス３５を介して相互に接続されている。このバス３５にはまた、入出力インターフェース３６も接続されている。入出力インターフェース３６には、入力部３７、表示部３８、計時部３９、記憶部４０、通信部４１及びドライブ４２が接続されている。
【００３８】
入力部３７は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。
表示部３８は、ディスプレイにより構成され、各種画像、例えば上述の視点変換画像を表示する。
計時部３９は、計時動作を行い、現在時刻を取得する。
記憶部４０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像、例えば上述の視点変換画像のデータを記憶する。
通信部４１は、インターネットを含むネットワークＮを介して他の装置、例えば画像処理システム１０内のオブジェクトＯＢ（図１参照）やカメラ１１（図１参照）や外部端末１４（図１参照）との間で行う通信を制御する。
【００３９】
ドライブ４２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア５１が適宜装着される。ドライブ４２によってリムーバブルメディア５１から読み出されたプログラムは、必要に応じて記憶部４０にインストールされる。また、リムーバブルメディア５１は、記憶部４０に記憶されている画像のデータ等の各種データも、記憶部４０と同様に記憶することができる。
【００４０】
図５は、このような各構成要素を含む画像処理装置１２の機能的構成のうち、視点変換画像生成処理を実行するための機能的構成を示す機能ブロック図である。
本明細書における視点変換画像生成処理とは、次のような一連の処理をいう。即ち、画像処理装置１２は、選択オブジェクトＯＢの位置情報から、複数のカメラ１１から送信された複数の撮像画像のデータのうち１つを元画像のデータとして選択する。画像処理装置１２は、元画像のデータに対して画像変換処理を施すことにより、選択オブジェクトＯＢの眺望方向を仮想視点が眺める様子を示す視点変換画像のデータを生成する。
【００４１】
ここで、画像処理装置１２の機能的構成の理解を容易なものとすべく、その詳細な説明の前に、カメラ１１及びオブジェクトＯＢについて説明する。
【００４２】
図５に示すように、カメラ１１は、撮像部１０１と、送信部１０２と、を備える。
【００４３】
撮像部１０１は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００４４】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００４５】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１０１の出力信号として出力される。
このような撮像部１０１の出力信号は、送信部１０２に適宜供給される。即ち、撮像部１０１は、周囲の空間を連続撮影し、その結果得られる動画像、静止画或いは連写画像のデータ、即ち上述の撮像画像のデータを、バッファ（図示せず）に一次記憶しながら順次圧縮符号化する。
送信部１０２は、撮像部１０１から出力された撮像画像のデータを画像処理装置１２へ無線送信する。
【００４６】
オブジェクトＯＢには、センサ部１１１と、送信部１１２とが取り付けられる。
センサ部１１１は、本実施形態では３軸加速度センサとして構成され、ピエゾ抵抗型もしくは静電容量型の検出機構を備える３軸加速度センサにより構成され、当該検出機構を用いて、加速度の３軸（Ｘ，Ｙ，Ｚ）成分を検出し、その検出結果を示すデータを出力する。なお、センサ部１１１の検出結果を示すデータを、以下、「位置情報のデータ」と呼ぶ。位置情報のデータは、送信部１１２に適宜供給される。
ここで、位置情報のデータのうち、Ｘ成分はオブジェクトＯＢの垂直方向の振動周期に、Ｙ成分はオブジェクトＯＢの水平方向の振動周期に、Ｚ成分はオブジェクトＯＢの進行方向の振動周期に、それぞれ対応する。
また、センサ部１１１は、任意の姿勢（傾斜角度）状態においても、傾斜角度に応じて補正した３軸加速度データを出力することができる。従って、センサ部１１１は、傾斜角度に応じて補正された３軸加速度データに対応して、ジャイロセンサを用いた傾斜センサ（図示せず）等から出力するデータを補正するようにする。これによって、オブジェクトＯＢに遠心力等の外力がかかる動状態で使用するような場合、例えば移動中に被写体を撮像するような場合でも、各種データの正確な取得及び正確な測位演算が実行可能になる。
【００４７】
送信部１１２は、センサ部１１１により出力された位置情報のデータを画像処理装置１２へ無線送信する。
なお、本実施形態においては、センサ部１１１及び送信部１１２は、上述した移動位置センサユニットとしてユニット化されて、ボールのオブジェクトＯＢ１内に内蔵されたり、選手のオブジェクトＯＢ２〜ＯＢ７に取り付けられる。
【００４８】
このようなオブジェクトＯＢが存在する状態で視点変換画像生成処理が実行される場合には、図５に示すように、画像処理装置１２のＣＰＵ３１において、主制御部６１と、撮像画像取得部６２と、位置情報取得部６３と、記憶制御部６４と、表示制御部６５と、通信制御部６６と、が機能する。また、画像処理部３４において、移動方向算出部７１と、移動速度算出部７２と、元画像選択部７３と、視点変換画像加工部７４と、が機能する。
ただし、図５は例示であり、画像処理部３４の機能の少なくとも一部をＣＰＵ３１に委譲してもよいし、逆に、ＣＰＵ３１の機能の少なくとも一部を画像処理部３４に委譲してもよい。
また、画像処理装置１２の記憶部４０の一領域として、元画像候補データ記憶部８１と、オブジェクトデータ記憶部８２と、表示データ記憶部８３と、が設けられている。なお、元画像候補データ記憶部８１、オブジェクトデータ記憶部８２及び表示データ記憶部８３が記憶部４０の一領域として設けられていることは例示であって、その他例えばリムーバブルメディア５１の一領域として設けられるようにしてもよい。
【００４９】
元画像候補データ記憶部８１は、カメラ１１から逐次送信されて画像処理装置１２に受信された、元画像の候補となる撮像画像のデータを逐次記憶する。撮像画像のデータは、取得した時間と共に元画像候補データ記憶部８１に記憶される。
【００５０】
オブジェクトデータ記憶部８２は、オブジェクトＯＢから逐次送信されて画像処理装置１２に受信された位置情報のデータを記憶する。位置情報のデータは、取得した時間と共にオブジェクトデータ記憶部８２に記憶される。
【００５１】
表示データ記憶部８３は、表示部３８に表示するための、画像処理部３４の後述する視点変換画像加工部７４により生成された視点変換画像のデータを記憶する。
【００５２】
主制御部６１は、画像処理装置１２の各部における各種処理の実行を制御する。具体的には、主制御部６１は、入力部３７や外部端末１４からの指示を受けて、選択オブジェクトの設定やカメラ１１における撮像の制御等の各種の制御を行う。
【００５３】
撮像画像取得部６２は、カメラ１１ａ〜１１ｈから送信される撮像画像のデータを、通信部４１を介して取得し、当該撮像画像のデータを、計時部３９から取得した時刻のデータを付帯情報として付加して元画像候補データ記憶部８１に記憶させる制御を実行する。
【００５４】
位置情報取得部６３は、オブジェクトＯＢ１〜ＯＢ７から送信される位置情報のデータを、通信部４１を介して取得する。その後、位置情報取得部６３は、オブジェクトＯＢ１〜ＯＢ７の位置情報のデータを記憶制御部６４に供給する。
【００５５】
記憶制御部６４は、各種データを記憶部４０に記憶させる制御を実行する。具体的には、記憶制御部６４は、位置情報取得部６３により取得された位置情報のデータを、計時部３９から取得した時刻のデータを付帯情報として付加してオブジェクトデータ記憶部８２に記憶させる制御を実行する。
【００５６】
表示制御部６５は、各種の画像を表示部３８に表示出力させる制御を実行する。具体的には、表示制御部６５は、画像処理部３４で生成される視点変換画像を表示部３８に表示させる制御を実行する。
【００５７】
通信制御部６６は、カメラ１１及び外部端末１４と無線通信を行う制御を実行する。具体的には、通信制御部６６は、通信部４１及びネットワークＮを中継する中継装置１７を介してカメラ１１及び外部端末１４と接続して、各種情報を授受するための制御を実行する。
【００５８】
移動方向算出部７１は、オブジェクトデータ記憶部８２に記憶される位置情報のデータに基づいて、選択オブジェクトの移動方向を算出する。即ち、移動方向算出部７１は、オブジェクトデータ記憶部８２に記憶される位置情報のデータの履歴から位置情報のデータ間の位置関係を割り出して、移動方向を算出する。
【００５９】
移動速度算出部７２は、オブジェクトデータ記憶部８２に記憶される位置情報のデータに基づいて、選択オブジェクトＯＢの移動速度を算出する。即ち、移動方向算出部７１は、オブジェクトデータ記憶部８２に記憶される位置情報のデータの履歴から、位置情報のデータ間の時間における移動距離を割り出して、移動速度を算出する。
【００６０】
元画像選択部７３は、オブジェクトデータ記憶部８２に記憶される位置情報、並びに移動速度算出部７２により算出された移動方向及び移動速度に基づいて、元画像候補データ記憶部８１に記憶されている、同時刻に撮像された撮像画像のデータの中から、所定の１枚を元画像のデータとして選択する。具体的には、元画像選択部７３は、オブジェクトＯＢ１〜ＯＢ７のうち仮想視点が可変配置されるオブジェクトの移動方向と、カメラ１１の光軸の方向（実際の視点）とが最も近似した撮像画像のデータを、元画像のデータとして選択する。
【００６１】
視点変換画像加工部７４は、元画像のデータを画像変換することにより、視点変換の加工をして、選択オブジェクトＯＢに可変配置された仮想視点が、当該選択オブジェクトＯＢの移動方向を眺望方向から眺めた様子を表わす視点変換画像のデータを生成する。
詳細には、視点変換画像加工部７４は、移動方向算出部７１により算出された移動方向や移動速度算出部７２により算出された移動速度に基づいて、元画像選択部７３により選択された元画像のデータを画像変換して、視点変換画像のデータを生成する。
視点変換画像加工部７４は、画像変換に関しては、本実施形態においては、元画像選択部７３により選択された１つの撮像画像のデータを上述したアフィン変換することで、選択オブジェクトＯＢに可変配置された仮想視点が、選択オブジェクトＯＢに可変配置された仮想視点が、当該選択オブジェクトＯＢの移動方向を眺望方向から眺めた様子を表わす点変換画像のデータを生成する。
【００６２】
以上、本実施形態の画像処理装置１２の機能的構成について説明した。続いて、図６を参照して、このような機能的構成を有する画像処理装置１２が実行する視点変換画像生成処理について説明する。
図６は、図５の機能的構成を有する画像処理装置１２が実行する視点変換画像生成処理の流れを説明するフローチャートである。
【００６３】
画像処理装置１２の入力部３７を操作するユーザは、視点変換画像生成処理の開始を指示する所定の操作をすることができる。
視点変換画像生成処理は、このようなユーザによる入力部３７への所定の操作を契機として開始され、次のような処理が実行される。
【００６４】
ステップＳ１１において、主制御部６１は、オブジェクトの設定（初期設定）を行う。即ち、主制御部６１は、ユーザによる入力部３７への所定の操作により、選択オブジェクトの初期設定として、図１に示すボールのオブジェクトＯＢ１及び選手のオブジェクトＯＢ２〜ＯＢ７のうち、ボールのオブジェクトＯＢ１を、選択オブジェクトＯＢとして設定する。
【００６５】
ステップＳ１２において、撮像画像取得部６２は、複数のカメラから出力された複数の撮像画像のデータを取得する。即ち、撮像画像取得部６２は、図１に示すように、ボールのオブジェクトＯＢ１及び選手のオブジェクトＯＢ２〜ＯＢ７を含む競技場Ｆを周囲から撮影している複数のカメラ１１ａ〜１１ｈによって撮像された撮像画像のデータを、通信部４１を介して取得する。撮像画像取得部６２は、例えば、複数のカメラ１１ａ〜１１ｈにより競技場Ｆを異なる方向から撮像した図２（ａ）〜（ｈ）に示すような撮像画像のデータを取得する。その後、撮像画像取得部６２は、取得した撮像画像のデータを、計時部３９から取得した時刻のデータを付帯情報として付加して元画像候補データ記憶部８１に記憶させる。
【００６６】
ステップＳ１３において、位置情報取得部６３は、選択オブジェクトＯＢの位置情報のデータを取得する。即ち、位置情報取得部６３は、選択オブジェクトＯＢのセンサ部１１１により計測された位置情報のデータを、通信部４１を介して取得する。
【００６７】
ステップＳ１４において、記憶制御部６４は、選択オブジェクトＯＢの位置情報と時刻とを対応付けて記憶させる。即ち、記憶制御部６４は、位置情報取得部６３により取得された位置情報に、計時部３９で計時された現在の時刻を対応付けて、オブジェクトデータ記憶部８２に記憶させる。
【００６８】
ステップＳ１５において、移動方向算出部７１は、選択オブジェクトＯＢの位置情報のデータの履歴から選択オブジェクトＯＢの移動方向を算出する。即ち、移動方向算出部７１は、オブジェクトデータ記憶部８２に記憶される選択オブジェクトＯＢの位置情報のデータの履歴を取得して、各位置の推移に基づいて移動方向を算出する。
【００６９】
ステップＳ１６において、移動速度算出部７２は、選択オブジェクトＯＢの位置情報のデータの履歴から選択オブジェクトＯＢの移動速度を算出する。即ち、移動速度算出部７２は、オブジェクトデータ記憶部８２に記憶される選択オブジェクトＯＢの位置情報のデータの履歴を取得して、単位時間当たりの移動距離を移動速度として算出する。
【００７０】
ステップＳ１７において、元画像選択部７３は、選択オブジェクトＯＢについての、位置、移動方向、及び移動速度に基づいて、元画像のデータを複数の撮像画像のデータから選択する。即ち、元画像選択部７３は、視点変換画像のデータを生成するのに最適な撮像画像のデータを元画像のデータとして選択する。
【００７１】
ステップＳ１８において、視点変換画像加工部７４は、選択された元画像のデータに基づいて、視点変換画像のデータを生成する。即ち、視点変換画像加工部７４は、元画像選択部７３により選択された元画像のデータを画像変換（本実施形態においてはアフィン変換）することで、選択オブジェクトに可変配置された仮想視点が、選択オブジェクトの移動方向に移動しながら、当該移動方向を眺望方向として眺めた様子を表わす視点変換画像のデータを生成する。なお、視点変換画像のデータは、記憶制御部６４の制御により、表示データ記憶部８３に記憶される。
【００７２】
ステップＳ１９において、表示制御部６５は、ステップＳ１８の処理で生成された視点変換画像のデータを表示部３８に表示出力させる制御を実行する。即ち視点変換画像が表示部３８に表示される。
【００７３】
ステップＳ２０において、通信制御部６６は、外部端末１４に視点変換画像のデータを、通信部４１を介して送信する。
【００７４】
ステップＳ２１において、主制御部６１は、選択オブジェクトを変更する指示をするための操作（以下、「選択オブジェクト変更指示操作」と呼ぶ）を受け付けたか否かを判定する。
選択オブジェクト変更指示操作が受け付けられた場合には、ステップＳ２１においてＹＥＳであると判定されて、処理はステップＳ２２に進む。
【００７５】
ステップＳ２２において、主制御部６１は、選択オブジェクトＯＢとして、複数のオブジェクトＯＢ２〜ＯＢ７の中から選択した別のオブジェクトＯＢに変更する。この処理が終了すると、処理はステップＳ２３に進む。
【００７６】
これに対して、選択オブジェクト変更指示操作が受け付けられていない場合には、ステップＳ２１においてＮＯであると判定されて、処理はステップＳ２３に進む。
【００７７】
ステップＳ２３において、主制御部６１は、視点変換画像生成処理の終了指示を受けたか否かを判定する。
終了指示を受けていない場合には、ステップＳ２３においてＮＯであると判定されて、処理はステップＳ１２に戻される。即ち、視点変換画像生成処理の終了指示が受け付けられるまでの間、ステップＳ１２乃至ステップＳ２３の処理が繰り返し実行される。そして、視点変換画像生成処理の終了指示が受け付けられると、ステップＳ２３においてＹＥＳであると判定されて、視点変換画像生成処理は終了となる。
【００７８】
［第１実施形態の第１変形例］
上述した第１実施形態では、選択オブジェクトをボールとした場合の例について説明したが、本変形例は、ボールに代えて、選手を選択オブジェクトとした場合の例について図７及び図８を用いて説明する。なお、上述の実施形態と同様の部分は、同一の符号をもって詳細な説明を省略し、異なる箇所のみ説明する。
【００７９】
図７は、本発明の第１実施形態の第１変形例に係る画像処理システムの概略的な構成を示す模式図であって、選手のオブジェクトＯＢ２〜ＯＢ７が視点として選択された場合の図である。
画像処理装置１２は、図７に示すように、各オブジェクトＯＢ１〜ＯＢ７のうち、選手の選択オブジェクトＯＢ３を、仮想視点とするためのオブジェクト、即ち仮想視点を用いた処理の対象として選択オブジェクトＯＢとして選択することができる。
【００８０】
画像処理装置１２は、カメラ１１ａ〜１１ｈにより撮像された図２（ａ）〜（ｈ）に示すような撮像画像のデータのうち少なくとも１つの元画像のデータと、移動方向Ａ２に移動している選択オブジェクトＯＢ３から逐次送信されてくる位置情報とに基づいて、移動方向Ａ２に移動する選択オブジェクトＯＢ３の眺望方向の仮想視点から眺めた様子を示す一連の視点変換画像（動画像、連写画像或いは静止画）のデータを生成する。
【００８１】
図８は、画像処理装置１２で生成される視点変換画像の他の具体例を示している。
画像処理装置１２は、図８に示すように、選択オブジェクトＯＢ３が選手であるために、生成される眺めた一連の視点変換画像を、選手の目線の高さから移動方向Ａ２を眺めた視点の画像のデータを生成する。従って、画像処理装置１２は、カメラ１１ａ〜１１ｈの実際の視点から競技場Ｆを周囲から（外部から）眺めた様子を表わす画像のデータを、競技場Ｆの内部において移動方向Ａ２に移動していくオブジェクトＯＢ３の眺望方向の仮想視点（選手の目線となる仮想視点）から眺めた様子を表わす画像のデータに変換して視点変換画像のデータを生成する。
【００８２】
［第１実施形態の第２変形例］
上述した第１実施形態では、選択オブジェクトＯＢからの位置情報の取得手法として、３軸加速度センサを搭載した移動位置センサユニットから送信される位置情報を画像処理装置１２が取得する場合の例を説明したが、本変形例は、移動位置センサユニットから送信される位置情報をカメラ１１と同位置又は異なる位置に配置された受信装置により取得する例について説明する。なお、上述の実施形態と同様の部分は、同一の符号をもって詳細な説明を省略し、異なる箇所のみ説明する。
【００８３】
図９は、選択オブジェクトＯＢの位置情報の取得手法の一例を示す模式図である。
図９に示す例では、カメラ１１の近傍に受信装置１５が設置されている。受信装置１５は、ボールに内蔵された移動位置センサユニットから無線ＬＡＮやｂｌｕｅｔｏｏｔｈ（登録商標）等により送信された位置情報のデータを受信し、画像処理装置１２に送信する。
また、受信装置１５は、競技場Ｆの全範囲をカバーするために、カメラ１１ａ〜１１ｃに対応して３つの受信装置１５−１〜１５−３が設けられる。
このように構成される画像処理システムでは、移動位置センサユニットのセンサ部により測定された選択オブジェクトＯＢの位置情報のデータが移動位置センサユニットの送信部から受信装置１５に送信される。その後、受信装置１５から受信した位置情報のデータを画像処理装置１２は、カメラ１１から取得した撮像画像のデータと共に、視点変換画像のデータの生成に用いる。
なお、本変形例では、カメラ１１の近傍、即ち、カメラ１１ａ〜１１ｃと同位置に受信装置１５−１〜１５−３を配置したがこれに限られず、カメラ１１の位置に関係のない、カメラ１１と異なる位置に受信装置を配置するように構成してもよい。
［第１実施形態の第３変形例］
上述した第１実施形態では、選択オブジェクトＯＢからの位置情報の取得手法として、３軸加速度センサからの位置情報を用いる場合の例を説明したが、本変形例は、オブジェクトに測位センサを設けずに電磁界を利用して選択オブジェクトＯＢからの位置情報を取得する。なお、上述の実施形態と同様の部分は、同一の符号をもって詳細な説明を省略し、異なる箇所のみ説明する。
図１０は、選択オブジェクトＯＢの位置情報の取得手法の一例を示す模式図である。
図１０に示す例では、磁界発生源１６と、受信手段１７とを備える。
磁界発生源１６は、アンテナコイル等で構成され、電磁界を発生させる。この磁界発生源１６は、競技場Ｆの全範囲をカバーするために、３つの磁界発生源１６−１〜１６−３がカメラ１１ａ〜１１ｃに対応して設けられる。
受信手段１７は、磁界発生源１６により発生させられた電磁界を受信検出して、受信した磁気強度の組み合わせから３次元位置を測位する、「ヒポポヒマスセンサ」等で構成される。
また、受信手段１７は、磁界発生源１６−１〜１６−３に対応して３つの受信手段１７−１〜１７−３がカメラ１１ｄ〜１１ｆに設けられる。
このように構成される画像処理システムでは、磁界発生源１６−１〜１６−３により電磁界を発生させて、受信手段１７−１〜１７−３により受信される電磁界の受信強度の組み合わせから選択オブジェクトＯＢの３次元位置を測位する。
【００８４】
［第１実施形態の第４変形例］
上述した第１実施形態では、選択オブジェクトＯＢからの位置情報の取得手法として、３軸加速度センサからの位置情報を用いる場合の例を説明したが、本変形例は、オブジェクトに測位センサを設けずにドップラー効果を利用して選択オブジェクトＯＢからの位置情報を取得する。
【００８５】
画像処理システム１０は、ビーコン電波アンテナを備える。
ビーコン電波アンテナは、カメラに対応して複数設けられ、それぞれ周波数の異なる無線電波を送信する。
【００８６】
このように構成される画像処理システム１０では、周波数の異なる複数のビーコン電波アンテナからの無線電波を送信する。画像処理装置１２は、ビーコン電波アンテナから受信した周波数の遷移等から選択オブジェクトの３次元位置や相対位置を算出する、いわゆる、「電波ドップラーセンサ」等で構成される。
【００８７】
なお、本変形例では、カメラ１１の近傍、即ち、カメラ１１と同位置に受信装置を配置したがこれに限られず、カメラ１１の位置に関係のない、カメラ１１と異なる位置に受信装置を配置するように構成してもよい。
【００８８】
［第１実施形態の第５変形例］
上述した第１実施形態では、選択オブジェクトＯＢからの位置情報の取得手法として、３軸加速度センサからの位置情報を用いる場合の例を説明したが、本変形例は、オブジェクトＯＢに測位のためのセンサを設けずに、カメラ１１から取得した撮像画像を画像処理することにより選択オブジェクトを特定して位置情報を取得する。
【００８９】
図１１は、選択オブジェクトＯＢの位置情報の取得手法の一例を示す模式図である。
具体的には、選択オブジェクトＯＢの位置情報は、図１１に示すように、ボール等の選択オブジェクトの表面に複数の特定のマークＭ１〜Ｍ４（例えば、星印）を付して、当該マークＭ１〜Ｍ４を撮像画像からボールを検出すると共に、連続して撮像された撮像画像での選択オブジェクトの表面のマークＭ１〜Ｍ４（以下、マークＭ１〜Ｍ４を個々に区別する必要がない場合、これらをまとめて、「マークＭ」と単に呼ぶ。）の相対位置や撮像画像間の変化を移動位置から、選択オブジェクトの３次元位置や相対位置を算出するように構成してもよい。
なお、本変形例では、識別情報となるマークＭにより選択オブジェクトＯＢを得していたが、これに限られず、オブジェクトの外観を特定することで、位置情報を算出するように構成することができる。即ち、ボールを選択オブジェクトＯＢとする場合には、ボールの形状を撮像画像から特定して、特定したボールの位置を撮像画像から割り出すようにしてボールの位置情報のデータを取得する。
［第１実施形態の他の変形例］
上述した第１実施形態では、選択オブジェクトＯＢからの位置情報の取得手法として、３軸加速度センサからの位置情報を用いる場合の例を説明したが、その他にも、選択オブジェクトの位置情報は、例えば、レンズの焦点法、パッシブ又はアクティブの三角測量ステレオ法、光レーザ法、照度差ステレオ法、スリット光投影法その他の電磁界式、ワイヤレス式の３次元測定装置等の種々の３次元測定方法や測定方法を採用してもよい。
【００９０】
以上説明したように、本実施形態の画像処理装置１２は、撮像画像取得部６２と、位置情報取得部６３と、視点変換画像加工部７４と、表示制御部６５と、を備える。
撮像画像取得部６２は、オブジェクトＯＢが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数のカメラ１１の各々によって撮像された複数の撮像画像のデータを取得する。
位置情報取得部６３は、所定の空間を移動するオブジェクトＯＢの位置を取得する。
視点変換画像加工部７４は、位置情報取得部６３により取得された位置に基づいて、撮像画像取得部６２により取得された複数の撮像画像のデータを視点変換の加工をすることで、オブジェクトＯＢに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。
表示制御部６５は、視点変換画像加工部７４により生成された視点変換画像のデータを表示出力する制御を実行する。
【００９１】
画像処理装置１２は、位置情報取得部６３により取得された位置に基づいて、撮像画像取得部６２により取得された撮像画像のデータを視点変換の加工をすることで、オブジェクトＯＢに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。
この場合、画像処理装置１２は、鑑賞者が所望する視点で撮像されたのと等価な視点変換画像を容易に得ることができる。
また、画像処理装置１２は、生成された視点変換画像のデータを表示するようにしたことで、移動する選択オブジェクトＯＢにカメラ等の撮像装置を設けることなく、移動するオブジェクトＯＢを視点とした臨場感あふれる画像が得られる。
また、画像処理装置１２は、移動するオブジェクトＯＢに撮像手段を設ける必要がなく撮像の制約を受けないため高画質の画像を得ることができる。
【００９２】
位置情報取得部６３は、所定の空間を移動するオブジェクトＯＢの位置を任意のタイミングで取得する。
視点変換画像加工部７４は、位置情報取得部６３により任意のタイミングで取得されたオブジェクトの位置に基づいて、撮像画像取得部６２により取得された撮像画像のデータを加工する。
この場合、画像処理装置１２は、位置情報取得部６３により取得された任意のタイミングの位置に基づいて撮像画像を加工するために、例えば、ユーザの指定した任意のタイミングの位置での視点変換画像のデータを生成することができる。
【００９３】
位置情報取得部６３は、所定の空間を移動するオブジェクトＯＢの位置を逐次取得する。
視点変換画像加工部７４は、撮像画像取得部６２により逐次取得された撮像画像のデータを逐次加工する。
この場合、画像処理装置１２は、逐次取得された所定の空間を移動するオブジェクトＯＢの位置に基づいて、撮像画像のデータを逐次加工するために、予め記憶した画像（録画した画像）ではなく、リアルタイムで取得した撮像画像のデータを処理して視点変換画像のデータを生成することができる。
【００９４】
また、画像処理装置１２は、撮像画像取得部６２により取得された複数の撮像画像のデータの中から、オブジェクトに配置された仮想視点から眺めた様子を表わす画像の生成の元になる元画像のデータを、位置情報取得部６３により取得された前記位置に基づいて選択する元画像選択部７３と、を備える。
視点変換画像加工部７４は、元画像選択部７３により取得された元画像のデータを視点変換の加工をすることで、オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。
この場合、画像処理装置１２は、元画像選択部７３により複数の撮像画像のデータの中から選択された元画像のデータに基づいて、視点変換画像のデータの生成を行うために、複数の撮像画像のデータのうちから視点変換画像のデータの生成に好適な撮像画像のデータを選択すれば、加工処理の処理負担の軽減や精度の高い視点変換画像のデータの生成等を行うことができる。
【００９５】
また、画像処理装置１２は、オブジェクトＯＢの移動方向を算出する移動方向算出部７１を備える。
元画像選択部７３は、移動方向算出部７１により取得されたオブジェクトＯＢの移動方向に基づいて元画像のデータを選択する。
視点変換画像加工部７４は、移動方向算出部７１により算出されたオブジェクトＯＢの移動方向に基づいて元画像のデータを選択し、オブジェクトＯＢの移動方向に基づいて元画像のデータを加工することで、オブジェクトＯＢの仮想視点が移動方向を眺望方向として眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。
【００９６】
この場合、画像処理装置１２は、移動方向算出部７１により算出された移動方向に基づいて元画像のデータを加工することで、移動方向に移動するオブジェクトＯＢに配置された仮想視点が移動方向を眺望方向として眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するようにしたことで、より臨場感の高い画像が得られる。
【００９７】
また、画像処理装置１２は、オブジェクトＯＢの移動速度を算出する移動速度算出部７２を備える。
視点変換画像加工部７４は、視点変換画像のデータとして、移動速度算出部７２により取得された移動速度に応じた画角の画像のデータを生成する。
【００９８】
この場合、画像処理装置１２は、視点変換画像のデータとして、移動速度算出部７２により取得された移動速度に応じた画角の画像のデータを生成することができるために、さらに速度感を追加された臨場感の高い画像が得られる。
【００９９】
視点変換画像加工部７４は、視点変換画像のデータとして、移動速度に反比例して広角となる画像のデータを生成する。このため、画像処理装置１２は、自然な速度感となる視点変換画像を得ることができる。
【０１００】
また、オブジェクトＯＢは、自己の状態を示すデータを取得して発信する。
位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、オブジェクトＯＢから発信されたデータを取得し、当該データに基づいてオブジェクトの位置、移動方向、或いは移動速度を取得或いは算出する。
この場合、画像処理装置１２は、移動するオブジェクトＯＢの位置情報を受信することによりオブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができ、単純な構成でオブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができる。
【０１０１】
また、画像処理装置１２は、オブジェクトＯＢから発信された、オブジェクトＯＢの位置、移動方向、或いは移動速度を示すデータを受信する受信装置が、外部に設けられている。
位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、オブジェクトＯＢの位置、移動方向、或いは移動速度を示すデータを、受信装置を介して取得する。
この場合、画像処理装置１２は、オブジェクトＯＢの位置、移動方向、或いは移動速度を示すデータを、受信装置を介して取得できるために、精度の高いオブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができる。
【０１０２】
また、画像処理装置１２は、電磁界を発生させる発生源と、電磁界を受信検出する受信手段と、が外部に設けられている。
位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、受信手段の受信検出の結果に基づいて、オブジェクトＯＢの位置、移動方向、或いは移動速度を取得する。
また、画像処理装置１２は、相異なる周波数の無線電波を送信するビーコン電波アンテナが、外部に設けられている。
位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、ビーコン電波アンテナから送信された無線電波によるドップラー効果を利用して、オブジェクトＯＢの位置、移動方向、或いは移動速度を取得する。
従って、画像処理装置１２は、上述したようにオブジェクトＯＢの位置、移動方向、或いは移動速度を取得するようにしたことで、オブジェクトＯＢに個別に位置情報を取得するための装置等を搭載しない、即ち、オブジェクトＯＢに位置情報の取得に係る構成を備える必要がない。
【０１０３】
位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、撮像画像取得部６２により取得された複数の撮像画像のデータのうちオブジェクトＯＢが写った撮像画像のデータに対して画像処理を施し、当該画像処理の結果に基づいて、オブジェクトＯＢの位置、移動方向、或いは移動速度を取得する。
この場合、画像処理装置１２は、画像処理した撮像画像をからオブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができるために、オブジェクトＯＢに別途装置等を搭載せずに、オブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができる。
【０１０４】
また、オブジェクトＯＢには識別情報（マークＭ）が付されている。
位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、画像処理により識別情報（マークＭ）を認識し、当該識別情報（マークＭ）を利用してオブジェクトＯＢの位置、移動方向、或いは移動速度を取得する。
この場合、画像処理装置１２は、オブジェクトＯＢに記された識別情報となるマークＭからオブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができるために、オブジェクトＯＢに別途装置等を搭載せず、かつ、軽い画像処理により、オブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができる。
【０１０５】
また、位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、画像処理によりオブジェクトＯＢの外観を認識し、当該外観に基づいてオブジェクトＯＢの状態（位置、移動方向、或いは移動速度）を取得する。
この場合、画像処理装置１２は、オブジェクトＯＢの外観を認識し、検出することによりオブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができるため、オブジェクトＯＢに別途装置等を搭載せず、かつ軽い画像処理によりオブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができる。
【０１０６】
また、画像処理装置１２においては、複数のカメラ１１が撮像する空間には、複数のオブジェクトが存在する。
位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、複数のオブジェクトの各々の位置、移動方向、或いは移動速度を取得する。
視点変換画像加工部７４は、位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２により取得された複数のオブジェクトの位置、移動方向、或いは移動速度のうち、選択したオブジェクトの位置、移動方向、或いは移動速度に基づいて、視点変換画像のデータを生成する。
この場合、画像処理装置１２は、複数のオブジェクトＯＢの位置、移動方向、或いは移動速度のうち、選択したオブジェクトの位置、移動方向、或いは移動速度に基づいて、視点変換画像のデータを生成するようにしたことで、好みに合わせた画像を得ることができる。
【０１０７】
また、表示制御部６５は、視点変換画像のデータを表示出力する制御を実行する。
この場合、画像処理装置１２は、視点変換画像のデータを表示出力する制御を実行するようにしたことで、画像処理装置で生成された視点変換画像を確認することができる。
【０１０８】
また、表示制御部６５は、視点変換画像加工部７４により生成された視点変換画像のデータを外部機器に送信する送信手段として機能する。
この場合、画像処理装置以外の外部端末１４で生成された視点変換画像を確認することができ、離れた場所でも視点変換画像を楽しむことができる。
【０１０９】
また、画像処理装置１２は、外部端末１４からの制御信号を受信する制御受信手段をさらに備える。
視点変換画像加工部７４は、視点変換画像のデータとして、制御受信手段により受信された制御信号により指示された仮想視点から眺めた様子を表わす画像のデータを生成する。
この場合、画像処理装置１２は、制御受信手段により受信された制御信号により指示された仮想視点から眺めた様子を表わす画像のデータを生成するために、外部端末１４の使用者が要求する視点での視点変換画像のデータを生成することができる。
【０１１０】
また、撮像画像取得部６２は、複数の撮像画像のデータの各々として、動画像のデータを夫々取得する。
視点変換画像加工部７４は、撮像画像取得部６２により取得された動画像のデータに基づいて、視点変換画像のデータとして動画像のデータを生成する。
この場合、画像処理装置１２は、動きのある動画像を提供することができるために、さらに臨場感のある映像を提供することができる。
なお、視点変換画像加工部７４は、視点変換画像のデータとして動画像のデータを生成するように構成したが、連写画像のデータ或いは静止画のデータも生成するように構成してもよい。
【０１１１】
以上、本発明の第１実施形態に係る画像処理装置１２について説明した。
次に、本発明の第２実施形態に係る画像処理装置１２について説明する。
【０１１２】
［第２実施形態］
上述した第１実施形態では、視点変換画像のデータの生成に際して、複数の撮像画像のデータうち、１つの撮像画像のデータを用いる場合の例を説明したが、本実施形態では、複数の撮像画像のデータを用いて視点変換画像のデータを生成する例について説明する。
本発明の第２実施形態に係る画像処理装置１２は、第１実施形態に係る画像処理装置１２と基本的に同様のハードウェア構成及び機能的構成を取ることができる。
従って、図４は、第２実施形態に係る画像処理装置１２のハードウェアの構成を示すブロック図でもある。
また、図５は、第２実施形態に係る画像処理装置１２の機能的構成を示す機能ブロック図でもあるが、第２実施形態では、元画像選択部７３及び視点変換画像加工部７４が異なる。
即ち、第２実施形態では、複数の撮像画像のデータから視点変換画像のデータが生成されるために、元画像選択部７３は、複数の撮像画像のデータのうち、最適な撮像画像のデータを選択せず、複数の撮像画像のデータのうち、選択オブジェクトが映り込んだ撮像画像のデータや、視点変換画像のデータの生成に好適な撮像画像のデータを選択する。
また、視点変換画像加工部７４は、複数の撮像画像のデータの差分から変換したり、複数の撮像画像のデータを変換して合成したりすることで、視点変換画像を生成する。この場合の視点変換画像の生成は、公知の任意の手法を採用することができる。公知の任意の手法とは、例えば特開２０１１−７７９８２公報等に開示されている。
【０１１３】
図１２は、図５の機能的構成を有する図４の画像処理装置１２が実行する、第２実施形態に係る視点変換画像生成処理の流れを説明するフローチャートである。
【０１１４】
上述した第１実施形態における図６の視点変換画像生成処理では、複数の撮像画像データのうち、元画像のデータとなる１つの撮像画像データを選択し、元画像のデータを変換することで視点変換画像のデータを生成しているのに対して、第２実施形態における図１２の視点変換画像生成処理では、複数の撮像画像データを用いて、それぞれの撮像画像のデータを変換して合成することで、視点変換画像のデータを生成している点が差異点である。詳細には、第２実施形態では、第１実施形態に係るステップＳ１５乃至Ｓ１８の処理に代えて、ステップＳ４５の処理が実行される点が差異点である。
そこで、以下、このような差異点について主に説明し、一致点の説明は適宜省略する。
【０１１５】
ステップＳ４５において、視点変換画像加工部７４は、位置情報に基づいて、複数の元画像のデータから視点変換画像を生成する。即ち、視点変換画像加工部７４は、複数の撮像画像のデータの差分から変換したり、複数の撮像画像のデータを変換して合成したりすることで、視点変換画像を生成する。
この際、元画像選択部７３は、複数の撮像画像のデータのうち、視点変換画像のデータに好適な撮像画像のデータを元画像として事前に選択するように構成してもよい。
【０１１６】
なお、上述の第２実施形態においては、第１実施形態の選択オブジェクトＯＢからの位置情報の取得手法を採用することもできるが、第１実施形態の第２変形例乃至第５変形例の手法も適宜採用することができる。
【０１１７】
以上のように構成される画像処理装置１２において、元画像選択部７３は、複数のカメラ１１により撮像された複数の撮像画像のデータの中から、複数の元画像のデータを選択する。
視点変換画像加工部７４は、元画像選択部７３により選択された複数の元画像のデータ（より具体的には、複数の元画像のデータの差分の画像データ）に基づいて、視点変換画像のデータを生成する。
【０１１８】
この場合、画像処理装置１２は、選択された複数の元画像のデータに基づいて、視点変換画像のデータを生成するようにしたことで、よりリアルな視点変換画像を得ることができる。
【０１１９】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０１２０】
上述の実施形態では、本発明が適用される上述の実施形態では、ボール等の競技用品や選手を選択オブジェクトとして選択する例について説明したがこれに限定されない。例えば、審判員、解説者、お客等の競技会場にいる人物や、競技会場にある物を選択オブジェクトとして選択することができる。
【０１２１】
また、上述の実施形態では、撮像部１０１は、連続撮影した画像の画像データを逐次送信部１０２を通じて画像処理装置１２へ送信しているがこれに限られない。例えば、大容量のメモリ（図示せず）に記憶した後、所定の時間毎、容量毎、又は通信速度に応じて分割して、画像処理装置１２へ送信することができる。
【０１２２】
また、上述の実施形態では、カメラ１１は、競技場Ｆの全域を撮像可能に複数台設けたがこれに限られず、例えば、通常の撮像範囲よりも広い範囲を撮像可能な広角カメラ、パノラマカメラ、全天周カメラにより構成してもよい。また、カメラ１１は、設置場所や視角の異なる複数の広角カメラ、パノラマカメラ、全天周カメラにより構成してもよい。
【０１２３】
また、上述の実施形態では、本発明が適用される画像処理装置１２が使用される画像処理システム１０は、スポーツが行われる競技場で用いられる例について説明したがこれに限定されない。例えば、舞台中継等に適用可能である。
【０１２４】
また、上述の実施形態では、画像処理装置１２での指示により、選択オブジェクトＯＢの設定を行い視点変換画像のデータを生成するように構成したがこれに限られない。例えば、外部端末からの指示により、選択オブジェクトＯＢの設定を行い視点変換画像のデータを生成するように構成してもよい。
【０１２５】
また、上述の実施形態では、画像処理装置１２から視点変換画像のデータを外部端末１４に送信するように構成したがこれに限られない。例えば、ネットワーク上に接続されたサーバに視点変換画像のデータを保存し、事後的又はリアルタイムに視点変換画像のデータを外部端末で取得するように構成してもよい。
【０１２６】
また、上述の実施形態では、取得した位置情報のデータから逐次視点変換画像のデータを生成するように構成したがこれに限られない。例えば、位置情報のデータの履歴から、所定の時間を指定して、当該指定された時間帯の視点変換画像のデータを生成するように構成してもよい。
【０１２７】
また、上述の実施形態では、画像処理装置１２は、例えば、選択オブジェクトの移動速度が速い場合には、通常の視点変換画像のデータとは異なる広角な視点変換画像のデータ等の選択オブジェクトＯＢの移動速度に対応した大きさとなる視点変換画像のデータを生成するように構成したこれに限られない。画像処理装置１２は、選択オブジェクトの移動速度が視覚的に伝わるような効果を施して、選択オブジェクトの移動速度を表現してもよく、例えば、選択オブジェクトの移動速度が速い場合には、眺望方向の中心付近に焦点を合わせて、周囲をぼかすような視点変換画像のデータを生成するように構成してもよい。
【０１２８】
また、上述の実施形態では、本発明が適用される画像処理装置１２は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、視点変換画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
【０１２９】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１２に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【０１３０】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１３１】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４のリムーバブルメディア５１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア５１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ３２や、図４の記憶部４０に含まれるハードディスク等で構成される。
【０１３２】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【０１３３】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれる共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１３４】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
オブジェクトが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数の撮像装置の各々によって撮像された複数の撮像画像のデータを取得する画像取得手段と、
前記所定の空間を移動する前記オブジェクトの位置を取得する位置取得手段と、
前記位置取得手段により取得された前記位置に基づいて、前記画像取得手段により取得された前記複数の撮像画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する画像加工手段と、
前記画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記位置取得手段は、前記所定の空間を移動する前記オブジェクトの位置を任意のタイミングで取得し、
前記画像加工手段は、前記位置取得手段により任意のタイミングで取得された前記オブジェクトの位置に基づいて、前記画像取得手段により取得された前記撮像画像のデータを加工する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記位置取得手段は、前記所定の空間を移動する前記オブジェクトの位置を逐次取得し、
前記画像加工手段は、前記位置取得手段により逐次取得された前記オブジェクトの位置に基づいて、前記画像取得手段により取得された前記撮像画像のデータを逐次加工する、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記画像取得手段により取得された前記複数の撮像画像のデータの中から、前記オブジェクトに配置された仮想視点から眺めた様子を表わす画像の生成の元になる元画像のデータを、前記位置取得手段により取得された前記位置に基づいて選択する元画像選択手段を備え、
前記画像加工手段は、前記元画像選択手段により取得された前記元画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する、
ことを特徴とする付記１乃至３の何れか１つに記載の画像処理装置。
［付記５］
前記位置取得手段は、前記オブジェクトの移動方向をさらに取得し、
前記元画像選択手段は、前記位置取得手段により取得された前記オブジェクトの移動方向に基づいて前記元画像のデータを選択し、
前記画像加工手段は、さらに前記位置取得手段により取得された前記移動方向に基づいて前記元画像のデータを加工することで、前記移動方向に移動する前記オブジェクトに配置された仮想視点が前記移動方向を前記眺望方向として眺めた様子を表わす画像のデータを、前記視点変換画像のデータとして生成する、
ことを特徴とする付記４に記載の画像処理装置。
［付記６］
前記位置取得手段は、オブジェクトの移動速度をさらに取得し、
前記画像加工手段は、前記視点変換画像のデータとして、前記位置取得手段により取得された前記移動速度に応じた画角の画像のデータを生成する、
ことを特徴とする付記４又は５に記載の画像処理装置。
［付記７］
前記画像加工手段は、前記視点変換画像のデータとして、前記移動速度に反比例して広角となる画像のデータを生成する、
ことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記元画像選択手段は、前記複数の撮像手段により撮像された前記複数の撮像画像のデータの中から、複数の元画像のデータを選択し、
前記画像加工手段は、前記元画像選択手段により選択された前記複数の元画像のデータに基づいて、前記視点変換画像のデータを生成する、
ことを特徴とする付記４乃至７の何れか１つに記載の画像処理装置。
［付記９］
前記オブジェクトは、自己の状態を示すデータを取得して発信し、
前記位置取得手段は、前記オブジェクトから発信された前記データを取得し、当該データに基づいて前記オブジェクトの状態を取得する、
ことを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１０］
前記オブジェクトから発信された、前記オブジェクトの状態を示す前記データを受信する受信装置が、前記画像処理装置の外部に設けられており、
前記位置取得手段は、前記オブジェクトの状態を示す前記データを、前記受信装置を介して取得する、
ことを特徴とする付記９に記載の画像処理装置。
［付記１１］
電磁界を発生させる発生源と、前記電磁界を受信検出する受信手段と、が前記画像処理装置の外部に設けられており、
前記位置取得手段は、前記受信手段の受信検出の結果に基づいて、前記オブジェクトの状態を取得する、
ことを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１２］
相異なる周波数の無線電波を送信するビーコン電波アンテナが、前記画像処理装置の外部に設けられており、
前記位置取得手段は、前記ビーコン電波アンテナから送信された前記無線電波によるドップラー効果を利用して、前記オブジェクトの状態を取得する、
ことを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１３］
前記位置取得手段は、前記画像取得手段により取得された前記複数の撮像画像のデータのうち前記オブジェクトが写った撮像画像のデータに対して画像処理を施し、当該画像処理の結果に基づいて、前記オブジェクトの状態を取得する、
ことを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１４］
前記オブジェクトには識別情報が付されており、
前記位置取得手段は、前記画像処理により前記識別情報を認識し、当該識別情報を利用して前記オブジェクトの状態を取得する、
ことを特徴とする付記１３に記載の画像処理装置。
［付記１５］
前記位置取得手段は、前記画像処理により前記オブジェクトの外観を認識し、当該外観に基づいて前記オブジェクトの状態を取得する、
ことを特徴とする付記１３に記載の画像処理装置。
［付記１６］
前記複数の撮像装置が撮像する前記空間には、複数のオブジェクトが存在し、
前記位置取得手段は、前記複数のオブジェクトの各々の状態を取得し、
前記画像加工手段は、前記位置取得手段により取得された前記複数のオブジェクトの状態のうち、選択したオブジェクトの状態に基づいて、前記視点変換画像のデータを生成する、
ことを特徴とする付記１乃至１５の何れか１つに記載の画像処理装置。
［付記１７］
前記出力制御手段は、前記画像加工手段により生成された前記視点変換画像のデータを表示出力する制御を実行する、
ことを特徴とする付記１乃至１６の何れか１つに記載の画像処理装置。
［付記１８］
前記出力制御手段は、前記画像加工手段により生成された前記視点変換画像のデータを外部機器に送信する送信手段として機能する、
ことを特徴とする付記１乃至１７の何れか１つに記載の画像処理装置。
［付記１９］
外部機器からの制御信号を受信する制御受信手段をさらに備え、
前記画像加工手段は、前記視点変換画像のデータとして、前記制御受信手段により受信された制御信号により指示された仮想視点から眺めた様子を表わす画像のデータを生成する、
ことを特徴とする付記１乃至１８の何れか１つに記載の画像処理装置。
［付記２０］
視点変換画像のデータを出力する制御を実行する画像処理装置が実行する画像処理方法であって、
オブジェクトが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数の撮像装置の各々によって撮像された複数の撮像画像のデータを取得する画像取得ステップと、
前記所定の空間を移動する前記オブジェクトの位置を取得する位置取得ステップと、
前記位置取得ステップにより取得された前記位置に基づいて、前記画像取得ステップにより取得された前記撮像画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する画像加工ステップと、
前記画像加工ステップにより生成された前記視点変換画像のデータを出力する制御を実行する出力制御ステップと、
を含む画像処理方法。
［付記２１］
視点変換画像のデータを出力する制御を実行する画像処理装置を制御するコンピュータに、
オブジェクトが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数の撮像装置の各々によって撮像された複数の撮像画像のデータを取得する画像取得機能、
前記所定の空間を移動する前記オブジェクトの位置を取得する位置取得機能、
前記位置取得機能により取得された前記位置に基づいて、前記画像取得機能により取得された前記撮像画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する画像加工機能、
前記画像加工機能により生成された前記視点変換画像のデータを出力する制御を実行する出力制御機能、
を含む機能を実現させるプログラム。
【符号の説明】
【０１３５】
１０・・・画像処理システム、１１ａ〜１１ｈ・・・カメラ、１２・・・画像処理装置、１３・・・中継装置、１４−１〜１４−Ｎ・・・外部端末、１５−１〜１５−３・・・受信装置、１６−１〜１６−３・・・磁界発生源、１７−１〜１７−３・・・受信手段、３１・・・ＣＰＵ、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・画像処理部、３５・・・バス、３６・・・入出力インターフェース、３７・・・入力部、３８・・・表示部、３９・・・計時部、４０・・・記憶部、４１・・・通信部、４２・・・ドライブ、５１・・・リムーバブルメディア、６１・・・主制御部、６２・・・撮像画像取得部、６３・・・位置情報取得部、６４・・・記憶制御部、６５・・・表示制御部、６６・・・通信制御部、７１・・・移動方向算出部、７２・・・移動速度算出部、７３・・・元画像選択部、７４・・・視点変換画像加工部、８１・・・元画像候補データ記憶部、８２・・・オブジェクトデータ記憶部、８３・・・表示データ記憶部、１０１・・・撮像部、１０２・・・送信部、１１１・・・センサ部、１１２・・・送信部、Ａ１、Ａ２・・・移動方向、Ｆ・・・競技場、Ｇ１、Ｇ２・・・ゴール、Ｍ１〜Ｍ７・・・マーク、Ｎ・・・ネットワーク、ＯＢ１〜ＯＢ７・・・オブジェクト
【技術分野】
【０００１】
本発明は、鑑賞者が所望する視点で撮影されたのと等価な画像を容易に得ることを可能にする、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、サッカー等のスポーツ競技における放送に用いる映像の撮影では、定点カメラや、報道席のカメラマンが保持するカメラ等が用いられている。即ち、これらのカメラによって、遠方から望遠撮影されたスポーツ競技の映像が放送等されている。
【０００３】
しかしながら、このような遠方から撮像された映像では、たとえ望遠撮影等を織り交ぜたとしても、迫力に乏しいという印象を鑑賞者に与えてしまう。
【０００４】
そこで、サッカー等の球技について、より迫力のある映像を得るために、球技用のボールの中に、カメラやセンサを内蔵する技術が提案されている（例えば、特許文献１〜特許文献３参照）。このような技術を適用することで、ボール内のセンサが衝撃や加速度を検出したら、ボール内のカメラが所定の瞬間の画像を撮影することができるので、ボール視点とした画像の再生が可能になる。ただし、ボールは回転したり振動するので、落下するボール自体の姿勢制御を行うことで画像を安定化する技術も特許文献１に記載されている。
【０００５】
なお、サッカーや格闘技等、スポーツを模擬したゲーム機器も近年開発されている（例えば、特許文献４参照）。このようなゲーム機器では、所定のシーンを模擬した３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を再構成して、リプレイ表示することができるようになっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１０４２５４号公報
【特許文献２】特開２００１−０４２４２０号公報
【特許文献３】特開２００７−１０４２３４号公報
【特許文献４】特開平０７−１１６３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１〜３の従来の技術を適用してボール視点の画像を得るためには、ボールは逐次姿勢変化していることから、当該ボール自身又は内蔵されたカメラの姿勢制御を逐次的確に行わなければならない。このためには、複雑な構造の大掛かりな設備が必要となり、ボール視点の画像を容易に得ることができなかった。
【０００８】
また、鑑賞者の中には、ボールだけではなく、選手等他のオブジェクトを視点とした画像を得ることを要求するものも多く存在するが、特許文献１〜３の従来の技術では当該要求に十分に応えることはできない。
【０００９】
また、特許文献４の従来の技術は、あくまでもゲームという仮想現実に適用可能な技術であり、現実のスポーツ等を撮像する技術にはそのまま適用することは困難である。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、鑑賞者が所望する視点で撮影されたのと等価な画像を容易に得ることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の一態様の画像処理装置は、オブジェクトが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数の撮像装置の各々によって撮像された複数の撮像画像のデータを取得する画像取得手段と、前記所定の空間を移動する前記オブジェクトの位置を取得する位置取得手段と、前記位置取得手段により取得された前記位置に基づいて、前記画像取得手段により取得された前記複数の撮像画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する画像加工手段と、前記画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、を備える。
【発明の効果】
【００１２】
本発明によれば、鑑賞者が所望する視点で撮影されたのと等価な画像を容易に得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係る画像処理システムの概略的な構成を示す模式図である。
【図２】図１の画像処理装置によって生成される視点変換画像の元画像の各種具体例を示す模式図である。
【図３】図１の画像処理装置で生成される視点変換画像の具体例を示している。
【図４】本実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
【図５】図４の画像処理装置の機能的構成のうち、視点変換画像生成処理を実行するための機能的構成を示す機能ブロック図である。
【図６】図５の機能的構成を有する図４の画像処理装置が実行する、第１実施形態に係る視点変換画像生成処理の流れを説明するフローチャートである。
【図７】本発明の第１実施形態の第１変形例に係る画像処理システムの概略的な構成を示す模式図であって、選手のオブジェクトが視点として選択された場合における概略構成を示す模式図である。
【図８】図１の画像処理装置で生成される視点変換画像の具体例を示している。
【図９】選択オブジェクトの位置情報の取得手法の一例を示す模式図である。
【図１０】選択オブジェクトの位置情報の取得手法の一例を示す模式図である。
【図１１】選択オブジェクトの位置情報の取得手法の一例を示す模式図である。
【図１２】図５の機能的構成を有する図４の画像処理装置が実行する、第２実施形態に係る視点変換画像生成処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【００１４】
［第１実施形態］
以下、本発明の第１実施形態について、図面を用いて説明する。
【００１５】
図１は、本発明の第１実施形態に係る画像処理システムの概略的な構成を示す模式図である。
本実施形態に係る画像処理システム１０は、競技場Ｆで開催されるサッカーの試合を撮像する用途で設定されている。
このため、サッカーボール（以下、「ボール」と略記する）や選手等から、鑑賞者に提供される画像の視点となり得るオブジェクトがｍ個採用されるものとする。ここで、ｍは、１以上の任意の整数値であるが、本実施形態ではボール及び選手数と同一の値である「７」とする。
【００１６】
具体的には、図１は、ボールのオブジェクトに配置された仮想視点が選択された場合における、本実施形態に係る画像処理システムの概略構成を示している。
なお、本明細書では、実空間を実際に撮像する撮像部（カメラ等）の視点を「実際の視点」と呼び、この実際の視点に対する概念として「仮想視点」が記載されている。即ち、「仮想視点」とは、撮像部以外の物体（実物体又は仮想物体）に可変可能に配置される仮想的な視点をいう。
【００１７】
図１に示すように、本実施形態に係る画像処理システム１０においては、ボールであるオブジェクトＯＢ１及び各選手のそれぞれであるオブジェクトＯＢ２〜ＯＢ７と、競技場Ｆを周囲から撮影するカメラ１１ａ〜１１ｈと、画像処理装置１２と、中継装置１３と、ｎ台の外部端末１４−１〜１４−ｎと、がネットワークＮを介して相互に接続されている。ネットワークＮは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の任意のネットワークである。
以下、外部端末１４−１〜１４−ｎを個々に区別する必要がない場合、これらをまとめて、「外部端末１４」と単に呼ぶ。また、外部端末１４と呼んでいる場合には、その構成要素の符号についても、１〜ｎを省略して説明する。
また、以下、オブジェクトＯＢ１〜ＯＢ７を個々に区別する必要がない場合、これらをまとめて、「オブジェクトＯＢ」と単に呼ぶ。また、オブジェクトＯＢと呼んでいる場合には、その構成要素の符号についても、１〜７を省略して説明する。
オブジェクトＯＢは、詳細については、図５を参照し後述するがセンサ部１１１及び送信部１１２を備えており、オブジェクトＯＢの位置情報のデータを画像処理装置１２に逐次送信する。
また、以下、カメラ１１ａ〜１１ｈを個々に区別する必要がない場合、これらをまとめて、「カメラ１１」と単に呼ぶ。また、カメラ１１と呼んでいる場合には、その構成要素の符号についても、ａ〜ｈを省略して説明する。
【００１８】
図１に示すように、画像処理装置１２は、各オブジェクトＯＢ１〜ＯＢ７のうち、ボールのオブジェクトＯＢ１を、仮想視点を配置するためのオブジェクトＯＢとして選択することができる。このように仮想視点となるように選択されたオブジェクトをＯＢ、以下、「選択オブジェクト」と呼ぶ。
【００１９】
ここで、本実施形態では、競技場Ｆ内の任意の１点はカメラ１１ａ〜１１ｈのうちの少なくとも１つの撮像画像に含まれるように、カメラ１１ａ〜１１ｈの各々は競技場Ｆの周囲の各位置（定点）に配置されている。従って、本実施形態では、選択オブジェクトＯＢが映り込んだ画像は、カメラ１１ａ〜１１ｈのうちの少なくとも１つによって常に撮像されているものとする。
そこで、画像処理装置１２は、カメラ１１ａ〜１１ｈにより撮像された撮像画像のデータのうち少なくとも１つを、移動方向Ａ１に移動している選択オブジェクトＯＢ１から逐次送信されてくる位置情報に基づいて加工することによって、当該選択オブジェクトＯＢ１に配置された仮想視点がブレや回転をすることなく移動方向Ａ１に移動していくような一連の画像（動画像、連写画像或いは静止画）のデータを生成する。即ち、この場合、画像処理装置１２は、選択オブジェクトＯＢ１の移動方向Ａ１に基づく画像（動画像、連写画像或いは静止画）のデータを生成する。
具体的には、選択オブジェクトＯＢ１は、ボールであるために本来ブレや回転が生ずるが、仮想視点は、ブレや回転をすることなく移動方向Ａ１に移動していくように、選択オブジェクトＯＢ１に可変配置される。即ち、図１の例では、仮想視点は、選択オブジェクトＯＢ１から眺望するものであるが、固定的に配置されてブレや回転が生じるのではなく、水平方向は常に一定方向を眺望できるように（その結果回転することなく移動方向Ａ１に移動していくように）選択オブジェクトＯＢ１に可変配置される。ここで、選択オブジェクトＯＢ１からの仮想視点が眺める所定の方向を、以下、「眺望方向」と呼ぶ。
一方で、カメラ１１ａ〜１１ｈにより撮像された撮像画像のデータとは、実際の視点から選択オブジェクトＯＢ１を含む競技場Ｆを周囲から眺めた様子を表わす画像のデータである。
従って、画像処理装置１２は、競技場Ｆの周囲（外部）の実際の視点から眺めた様子を表わす画像のデータを、競技場Ｆ内において選択オブジェクトＯＢ１の移動方向Ａ１に移動する仮想視点が、当該移動方向Ａ１を眺望方向として眺めた様子を表わす画像のデータに変換している、と把握することもできる。
なお、以下、競技場Ｆの周囲（外部）のカメラ１１ａ〜１１ｈ等における実際の視点から眺めた様子を表わす画像のデータを、即ち、変換の元になる画像のデータを、「元画像のデータ」と呼ぶ。一方、元画像のデータから変換した画像のデータ、即ち、競技場Ｆの内部において選択オブジェクトＯＢ１の移動方向Ａ１に移動する仮想視点が、当該移動方向Ａ１を眺望方向として眺めた様子を表わす画像のデータを、「視点変換画像のデータ」と呼ぶ。
【００２０】
図２は、カメラ１１ａ〜１１ｈにより撮像された撮像画像、即ち元画像の候補の各種具体例を示している。
【００２１】
図２（ａ）の元画像の候補は、競技場Ｆの周囲（図１中、左下の隅）に設置されたカメラ１１ａにより、競技場Ｆの手前左側コーナーから右斜め４５度の方向で撮像された撮像画像である。
図２（ｂ）の元画像の候補は、競技場Ｆの周囲（図１中、中央下）に設置されたカメラ１１ｂにより、競技場Ｆの手前センターラインから正面に向かう方向で撮像された撮像画像である。
図２（ｃ）の元画像の候補は、競技場Ｆの周囲（図１中、右下の隅）に設置されたカメラ１１ｃにより、競技場Ｆの手前右側コーナーから左斜め４５度の方向で撮像された撮像画像である。
図２（ｄ）の元画像の候補は、競技場Ｆの周囲（図１中、左上の隅）に設置されたカメラ１１ｄにより、競技場Ｆの奥左側コーナーから右斜め４５度の方向で撮像された撮像画像である。
図２（ｅ）の元画像の候補は、競技場Ｆの周囲（図１中、中央上）に設置されたカメラ１１ｅにより、競技場Ｆの奥センターラインから正面に向かう方向で撮像された撮像画像である。
図２（ｆ）の元画像の候補は、競技場Ｆの周囲（図１中、右上の隅）に設置されたカメラ１１ｆにより、競技場Ｆの奥右側コーナーから左斜め４５度の方向で撮像された撮像画像である。
図２（ｇ）の元画像の候補は、競技場Ｆの周囲（図１中、左の隅）に設置されたカメラ１１ｇにより、ゴールＧ１の裏側からゴールＧ２に向かう方向で撮像された撮像画像である。
図２（ｈ）の元画像の候補は、競技場Ｆの周囲（図１中、右の隅）に設置されたカメラ１１ｈにより、ゴールＧ２の裏側からゴールＧ１に向かう方向で撮像された撮像画像である。
【００２２】
本実施形態では、このようにして、カメラ１１ａ〜１１ｈの各々の撮像画像のデータが元画像の候補のデータとなり、これらの候補のデータの中から、選択オブジェクトＯＢの位置情報に基づいて選択された１つが、元画像のデータとして採用される。
【００２３】
ここで、選択オブジェクトＯＢからの位置情報の取得手法として、本実施形態では次のような手法が採用されている。
即ち、選択オブジェクトＯＢになり得るオブジェクトＯＢ１〜ＯＢ７には、位置情報を取得可能なセンサが取り付けられており、時間の経過と共に位置情報が逐次送信されるので、画像処理装置１２が当該位置情報を取得する、という手法が採用されている。
具体的には例えば、ボールのオブジェクトＯＢ１には、位置情報を取得可能なセンサとして、複数の移動位置センサユニットが内蔵されている。移動位置センサユニットは、具体的には、３軸加速度センサ等の３次元位置計測手段や高精度の測位手段と、時間経過毎に３次元位置情報を外部端末１４に送信する無線送信手段と、測位手段や無線送信手段に電力を供給する電力供給手段等により構成される。
そこで、本手法では、画像処理装置１２は、移動位置センサユニットの無線送信手段から、無線ＬＡＮやｂｌｕｅｔｏｏｔｈ（登録商標）等の形態で送信された位置情報を受信することで、当該位置情報を取得する。
【００２４】
画像処理装置１２は、このようにして選択オブジェクトＯＢの位置情報を取得すると、当該位置情報に基づいて、カメラ１１ａ〜１１ｈの各撮像画像のデータの中から、視点変換画像のデータの生成に必要な元画像のデータを選択する。
詳細には、画像処理装置１２は、選択オブジェクトＯＢの位置情報が取得された時間帯と同時間帯にカメラ１１ａ〜１１ｈの各々により撮像された撮像画像のデータを取得する。画像処理装置１２は、これらの撮像画像のデータの中から、元画像のデータとして使用する１つを、選択オブジェクトの位置情報に基づいて選択する。
【００２５】
画像処理装置１２は、このようにして選択した１つの元画像のデータから、所定の移動方向に移動する選択オブジェクトＯＢの眺望方向の様子を表わす視点変換画像のデータを生成する。
画像処理装置１２は、例えば、選択オブジェクトの移動方向と同一方向を眺望方向として仮想視点が眺める様子を示す視点変換画像のデータを生成することができる。
また、画像処理装置１２は、選択オブジェクトの移動速度に対応した大きさとなる視点変換画像のデータを生成することができる。画像処理装置１２は、例えば、選択オブジェクトの移動速度が速い場合には、通常の視点変換画像のデータとは異なる広角な視点変換画像のデータを生成する。
【００２６】
図３は、視点変換画像の具体例を示している。
【００２７】
図３の例では、複数台のカメラ１１ａ〜１１ｈの各々により撮像された複数の撮像画像のデータ、即ち図２（ａ）〜図２（ｈ）の各々に示す複数の撮像画像のデータのうち、図２（ｈ）に示す撮像画像のデータが元画像のデータとして選択されている。
そして、図２（ｈ）に示す撮像画像のデータが、所定の手法に基づいて変換されることによって、図３に示す視点変換画像のデータが生成される。
【００２８】
この場合、視点変換画像のデータへの変換に適用される所定の手法は、特に限定されないが、本実施形態では、例えば、アフィン変換を用いた手法を利用することにより実現可能となる。
このようなアフィン変換を用いた手法を適用することにより、各種オブジェクトＯＢ等を、形状を変形させないで、平行移動や回転をさせたり、縦方向と横方向とで拡大又は縮小の倍率を変化させることが可能になる。
アフィン変換を用いた手法としては、公知又は今後登場するであろう任意の手法、例えば特開２００７−１３３８４３号公報等に開示されている手法等を採用することができるが、本実施形態では次のような手法が採用されている。
【００２９】
具体的には、アフィン変換では、元画像の座標をローカル座標からワールド座標に変換する変換行列が用いられる。この際、アフィン変換では、ローカル座標からワールド座標に移行する際に、オブジェクトの拡大縮小・回転・平行移動等が行わる。なお、「ローカル座標」とは、個々のオブジェクトの中心位置を（Ｘ，Ｙ，Ｚ）＝（０，０，０）とする座標系で、オブジェクトの頂点情報等を表わした座標である。
また、「ワールド座標」とは、個々のオブジェクトを共通の３次元仮想空間内に、相対的な位置関係に基づいて配置したときの座標系で表わした座標である。この「ワールド座標」にはオブジェクトだけでなく、光源・視点も配置される。
次いで、アフィン変換では、ワールド座標からビュー座標に変換する変換行列が用いられ、ビュー座標からパースペクティブ座標に変換する変換行列が用いられる。その結果、３次元情報が表示装置の表示部に表示可能な２次元情報に変換される。この際、表示の中心が（Ｘ，Ｙ）＝（０，０）となる座標系となる。また、「ビュー（視点）座標」は、「ワールド座標」の座標系を視点位置から視点方向を見たときの座標、即ち、視点位置を（Ｘ，Ｙ，Ｚ）＝（０，０，０）で、視点方向がＺ軸のプラス方向となる座標系で表わした座標である。また、「パースペクティブ（透視）座標」は、３次元情報を２次元の座標系で表わした座標である。この「パースペクティブ（透視）座標」は、「スクリーン座標」ともいう。
最後に、アフィン変換では、パースペクティブ座標からディスプレイ座標に変換する変換行列が用いられる。「ディスプレイ座標」は、表示部における描画領域のサイズに対応した座標系で表わした座標である。「ディスプレイ座標」では、パースペクティブ座標で表示の中心を（Ｘ，Ｙ）＝（０，０）としていたが、表示部における描画領域に対応させるべく、描画領域の左上の点を（Ｘ，Ｙ）＝（０，０）とする変換が行われる。
画像処理装置１２は、このようなアフィン変換を用いることにより、元画像のデータを、所定の移動方向に移動する選択オブジェクトＯＢの眺望方向を仮想視点とする視点変換画像のデータに変換することができる。
【００３０】
図１に戻り、中継装置１３は、ネットワークＮを介して接続される画像処理装置１２と、外部端末１４との間で授受される各種情報、例えば視点変換画像のデータを中継する。
【００３１】
外部端末１４は、例えばスマートフォン等で構成されおり、例えば画像処理装置１２から中継装置１３を経由して送信されてきた視点変換画像のデータを受信すると、当該視点変換画像をディスプレイ等に表示する。
ここで、ネットワークＮがインターネットであるならば、外部端末１４は、視点変換画像のデータの取得要求等の指示を、例えばＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）によるＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）要求により行うことができる。
さらに、外部端末１４は、各種制御信号を中継装置１３を介して画像処理装置１２に送信することで、選択オブジェクトの変更指示等の遠隔制御を実行できる。
【００３２】
次に、このような本実施形態の画像処理システム１０のうち、主要構成要素たる画像処理装置１２の構成について説明する。
［画像処理装置］
図４は、本実施形態に係る画像処理装置１２のハードウェアの構成を示すブロック図である。
【００３３】
画像処理装置１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３と、画像処理部３４と、バス３５と、入出力インターフェース３６と、入力部３７と、表示部３８と、計時部３９と、記憶部４０と、通信部４１と、ドライブ４２と、を備えている。
【００３４】
ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラム、又は、記憶部４０からＲＡＭ３３にロードされたプログラムに従って各種の処理を実行する。
【００３５】
ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００３６】
画像処理部３４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ３１と協働して、画像のデータに対して各種画像処理を施す。
【００３７】
ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３及び画像処理部３４は、バス３５を介して相互に接続されている。このバス３５にはまた、入出力インターフェース３６も接続されている。入出力インターフェース３６には、入力部３７、表示部３８、計時部３９、記憶部４０、通信部４１及びドライブ４２が接続されている。
【００３８】
入力部３７は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。
表示部３８は、ディスプレイにより構成され、各種画像、例えば上述の視点変換画像を表示する。
計時部３９は、計時動作を行い、現在時刻を取得する。
記憶部４０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像、例えば上述の視点変換画像のデータを記憶する。
通信部４１は、インターネットを含むネットワークＮを介して他の装置、例えば画像処理システム１０内のオブジェクトＯＢ（図１参照）やカメラ１１（図１参照）や外部端末１４（図１参照）との間で行う通信を制御する。
【００３９】
ドライブ４２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア５１が適宜装着される。ドライブ４２によってリムーバブルメディア５１から読み出されたプログラムは、必要に応じて記憶部４０にインストールされる。また、リムーバブルメディア５１は、記憶部４０に記憶されている画像のデータ等の各種データも、記憶部４０と同様に記憶することができる。
【００４０】
図５は、このような各構成要素を含む画像処理装置１２の機能的構成のうち、視点変換画像生成処理を実行するための機能的構成を示す機能ブロック図である。
本明細書における視点変換画像生成処理とは、次のような一連の処理をいう。即ち、画像処理装置１２は、選択オブジェクトＯＢの位置情報から、複数のカメラ１１から送信された複数の撮像画像のデータのうち１つを元画像のデータとして選択する。画像処理装置１２は、元画像のデータに対して画像変換処理を施すことにより、選択オブジェクトＯＢの眺望方向を仮想視点が眺める様子を示す視点変換画像のデータを生成する。
【００４１】
ここで、画像処理装置１２の機能的構成の理解を容易なものとすべく、その詳細な説明の前に、カメラ１１及びオブジェクトＯＢについて説明する。
【００４２】
図５に示すように、カメラ１１は、撮像部１０１と、送信部１０２と、を備える。
【００４３】
撮像部１０１は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００４４】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００４５】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１０１の出力信号として出力される。
このような撮像部１０１の出力信号は、送信部１０２に適宜供給される。即ち、撮像部１０１は、周囲の空間を連続撮影し、その結果得られる動画像、静止画或いは連写画像のデータ、即ち上述の撮像画像のデータを、バッファ（図示せず）に一次記憶しながら順次圧縮符号化する。
送信部１０２は、撮像部１０１から出力された撮像画像のデータを画像処理装置１２へ無線送信する。
【００４６】
オブジェクトＯＢには、センサ部１１１と、送信部１１２とが取り付けられる。
センサ部１１１は、本実施形態では３軸加速度センサとして構成され、ピエゾ抵抗型もしくは静電容量型の検出機構を備える３軸加速度センサにより構成され、当該検出機構を用いて、加速度の３軸（Ｘ，Ｙ，Ｚ）成分を検出し、その検出結果を示すデータを出力する。なお、センサ部１１１の検出結果を示すデータを、以下、「位置情報のデータ」と呼ぶ。位置情報のデータは、送信部１１２に適宜供給される。
ここで、位置情報のデータのうち、Ｘ成分はオブジェクトＯＢの垂直方向の振動周期に、Ｙ成分はオブジェクトＯＢの水平方向の振動周期に、Ｚ成分はオブジェクトＯＢの進行方向の振動周期に、それぞれ対応する。
また、センサ部１１１は、任意の姿勢（傾斜角度）状態においても、傾斜角度に応じて補正した３軸加速度データを出力することができる。従って、センサ部１１１は、傾斜角度に応じて補正された３軸加速度データに対応して、ジャイロセンサを用いた傾斜センサ（図示せず）等から出力するデータを補正するようにする。これによって、オブジェクトＯＢに遠心力等の外力がかかる動状態で使用するような場合、例えば移動中に被写体を撮像するような場合でも、各種データの正確な取得及び正確な測位演算が実行可能になる。
【００４７】
送信部１１２は、センサ部１１１により出力された位置情報のデータを画像処理装置１２へ無線送信する。
なお、本実施形態においては、センサ部１１１及び送信部１１２は、上述した移動位置センサユニットとしてユニット化されて、ボールのオブジェクトＯＢ１内に内蔵されたり、選手のオブジェクトＯＢ２〜ＯＢ７に取り付けられる。
【００４８】
このようなオブジェクトＯＢが存在する状態で視点変換画像生成処理が実行される場合には、図５に示すように、画像処理装置１２のＣＰＵ３１において、主制御部６１と、撮像画像取得部６２と、位置情報取得部６３と、記憶制御部６４と、表示制御部６５と、通信制御部６６と、が機能する。また、画像処理部３４において、移動方向算出部７１と、移動速度算出部７２と、元画像選択部７３と、視点変換画像加工部７４と、が機能する。
ただし、図５は例示であり、画像処理部３４の機能の少なくとも一部をＣＰＵ３１に委譲してもよいし、逆に、ＣＰＵ３１の機能の少なくとも一部を画像処理部３４に委譲してもよい。
また、画像処理装置１２の記憶部４０の一領域として、元画像候補データ記憶部８１と、オブジェクトデータ記憶部８２と、表示データ記憶部８３と、が設けられている。なお、元画像候補データ記憶部８１、オブジェクトデータ記憶部８２及び表示データ記憶部８３が記憶部４０の一領域として設けられていることは例示であって、その他例えばリムーバブルメディア５１の一領域として設けられるようにしてもよい。
【００４９】
元画像候補データ記憶部８１は、カメラ１１から逐次送信されて画像処理装置１２に受信された、元画像の候補となる撮像画像のデータを逐次記憶する。撮像画像のデータは、取得した時間と共に元画像候補データ記憶部８１に記憶される。
【００５０】
オブジェクトデータ記憶部８２は、オブジェクトＯＢから逐次送信されて画像処理装置１２に受信された位置情報のデータを記憶する。位置情報のデータは、取得した時間と共にオブジェクトデータ記憶部８２に記憶される。
【００５１】
表示データ記憶部８３は、表示部３８に表示するための、画像処理部３４の後述する視点変換画像加工部７４により生成された視点変換画像のデータを記憶する。
【００５２】
主制御部６１は、画像処理装置１２の各部における各種処理の実行を制御する。具体的には、主制御部６１は、入力部３７や外部端末１４からの指示を受けて、選択オブジェクトの設定やカメラ１１における撮像の制御等の各種の制御を行う。
【００５３】
撮像画像取得部６２は、カメラ１１ａ〜１１ｈから送信される撮像画像のデータを、通信部４１を介して取得し、当該撮像画像のデータを、計時部３９から取得した時刻のデータを付帯情報として付加して元画像候補データ記憶部８１に記憶させる制御を実行する。
【００５４】
位置情報取得部６３は、オブジェクトＯＢ１〜ＯＢ７から送信される位置情報のデータを、通信部４１を介して取得する。その後、位置情報取得部６３は、オブジェクトＯＢ１〜ＯＢ７の位置情報のデータを記憶制御部６４に供給する。
【００５５】
記憶制御部６４は、各種データを記憶部４０に記憶させる制御を実行する。具体的には、記憶制御部６４は、位置情報取得部６３により取得された位置情報のデータを、計時部３９から取得した時刻のデータを付帯情報として付加してオブジェクトデータ記憶部８２に記憶させる制御を実行する。
【００５６】
表示制御部６５は、各種の画像を表示部３８に表示出力させる制御を実行する。具体的には、表示制御部６５は、画像処理部３４で生成される視点変換画像を表示部３８に表示させる制御を実行する。
【００５７】
通信制御部６６は、カメラ１１及び外部端末１４と無線通信を行う制御を実行する。具体的には、通信制御部６６は、通信部４１及びネットワークＮを中継する中継装置１７を介してカメラ１１及び外部端末１４と接続して、各種情報を授受するための制御を実行する。
【００５８】
移動方向算出部７１は、オブジェクトデータ記憶部８２に記憶される位置情報のデータに基づいて、選択オブジェクトの移動方向を算出する。即ち、移動方向算出部７１は、オブジェクトデータ記憶部８２に記憶される位置情報のデータの履歴から位置情報のデータ間の位置関係を割り出して、移動方向を算出する。
【００５９】
移動速度算出部７２は、オブジェクトデータ記憶部８２に記憶される位置情報のデータに基づいて、選択オブジェクトＯＢの移動速度を算出する。即ち、移動方向算出部７１は、オブジェクトデータ記憶部８２に記憶される位置情報のデータの履歴から、位置情報のデータ間の時間における移動距離を割り出して、移動速度を算出する。
【００６０】
元画像選択部７３は、オブジェクトデータ記憶部８２に記憶される位置情報、並びに移動速度算出部７２により算出された移動方向及び移動速度に基づいて、元画像候補データ記憶部８１に記憶されている、同時刻に撮像された撮像画像のデータの中から、所定の１枚を元画像のデータとして選択する。具体的には、元画像選択部７３は、オブジェクトＯＢ１〜ＯＢ７のうち仮想視点が可変配置されるオブジェクトの移動方向と、カメラ１１の光軸の方向（実際の視点）とが最も近似した撮像画像のデータを、元画像のデータとして選択する。
【００６１】
視点変換画像加工部７４は、元画像のデータを画像変換することにより、視点変換の加工をして、選択オブジェクトＯＢに可変配置された仮想視点が、当該選択オブジェクトＯＢの移動方向を眺望方向から眺めた様子を表わす視点変換画像のデータを生成する。
詳細には、視点変換画像加工部７４は、移動方向算出部７１により算出された移動方向や移動速度算出部７２により算出された移動速度に基づいて、元画像選択部７３により選択された元画像のデータを画像変換して、視点変換画像のデータを生成する。
視点変換画像加工部７４は、画像変換に関しては、本実施形態においては、元画像選択部７３により選択された１つの撮像画像のデータを上述したアフィン変換することで、選択オブジェクトＯＢに可変配置された仮想視点が、選択オブジェクトＯＢに可変配置された仮想視点が、当該選択オブジェクトＯＢの移動方向を眺望方向から眺めた様子を表わす点変換画像のデータを生成する。
【００６２】
以上、本実施形態の画像処理装置１２の機能的構成について説明した。続いて、図６を参照して、このような機能的構成を有する画像処理装置１２が実行する視点変換画像生成処理について説明する。
図６は、図５の機能的構成を有する画像処理装置１２が実行する視点変換画像生成処理の流れを説明するフローチャートである。
【００６３】
画像処理装置１２の入力部３７を操作するユーザは、視点変換画像生成処理の開始を指示する所定の操作をすることができる。
視点変換画像生成処理は、このようなユーザによる入力部３７への所定の操作を契機として開始され、次のような処理が実行される。
【００６４】
ステップＳ１１において、主制御部６１は、オブジェクトの設定（初期設定）を行う。即ち、主制御部６１は、ユーザによる入力部３７への所定の操作により、選択オブジェクトの初期設定として、図１に示すボールのオブジェクトＯＢ１及び選手のオブジェクトＯＢ２〜ＯＢ７のうち、ボールのオブジェクトＯＢ１を、選択オブジェクトＯＢとして設定する。
【００６５】
ステップＳ１２において、撮像画像取得部６２は、複数のカメラから出力された複数の撮像画像のデータを取得する。即ち、撮像画像取得部６２は、図１に示すように、ボールのオブジェクトＯＢ１及び選手のオブジェクトＯＢ２〜ＯＢ７を含む競技場Ｆを周囲から撮影している複数のカメラ１１ａ〜１１ｈによって撮像された撮像画像のデータを、通信部４１を介して取得する。撮像画像取得部６２は、例えば、複数のカメラ１１ａ〜１１ｈにより競技場Ｆを異なる方向から撮像した図２（ａ）〜（ｈ）に示すような撮像画像のデータを取得する。その後、撮像画像取得部６２は、取得した撮像画像のデータを、計時部３９から取得した時刻のデータを付帯情報として付加して元画像候補データ記憶部８１に記憶させる。
【００６６】
ステップＳ１３において、位置情報取得部６３は、選択オブジェクトＯＢの位置情報のデータを取得する。即ち、位置情報取得部６３は、選択オブジェクトＯＢのセンサ部１１１により計測された位置情報のデータを、通信部４１を介して取得する。
【００６７】
ステップＳ１４において、記憶制御部６４は、選択オブジェクトＯＢの位置情報と時刻とを対応付けて記憶させる。即ち、記憶制御部６４は、位置情報取得部６３により取得された位置情報に、計時部３９で計時された現在の時刻を対応付けて、オブジェクトデータ記憶部８２に記憶させる。
【００６８】
ステップＳ１５において、移動方向算出部７１は、選択オブジェクトＯＢの位置情報のデータの履歴から選択オブジェクトＯＢの移動方向を算出する。即ち、移動方向算出部７１は、オブジェクトデータ記憶部８２に記憶される選択オブジェクトＯＢの位置情報のデータの履歴を取得して、各位置の推移に基づいて移動方向を算出する。
【００６９】
ステップＳ１６において、移動速度算出部７２は、選択オブジェクトＯＢの位置情報のデータの履歴から選択オブジェクトＯＢの移動速度を算出する。即ち、移動速度算出部７２は、オブジェクトデータ記憶部８２に記憶される選択オブジェクトＯＢの位置情報のデータの履歴を取得して、単位時間当たりの移動距離を移動速度として算出する。
【００７０】
ステップＳ１７において、元画像選択部７３は、選択オブジェクトＯＢについての、位置、移動方向、及び移動速度に基づいて、元画像のデータを複数の撮像画像のデータから選択する。即ち、元画像選択部７３は、視点変換画像のデータを生成するのに最適な撮像画像のデータを元画像のデータとして選択する。
【００７１】
ステップＳ１８において、視点変換画像加工部７４は、選択された元画像のデータに基づいて、視点変換画像のデータを生成する。即ち、視点変換画像加工部７４は、元画像選択部７３により選択された元画像のデータを画像変換（本実施形態においてはアフィン変換）することで、選択オブジェクトに可変配置された仮想視点が、選択オブジェクトの移動方向に移動しながら、当該移動方向を眺望方向として眺めた様子を表わす視点変換画像のデータを生成する。なお、視点変換画像のデータは、記憶制御部６４の制御により、表示データ記憶部８３に記憶される。
【００７２】
ステップＳ１９において、表示制御部６５は、ステップＳ１８の処理で生成された視点変換画像のデータを表示部３８に表示出力させる制御を実行する。即ち視点変換画像が表示部３８に表示される。
【００７３】
ステップＳ２０において、通信制御部６６は、外部端末１４に視点変換画像のデータを、通信部４１を介して送信する。
【００７４】
ステップＳ２１において、主制御部６１は、選択オブジェクトを変更する指示をするための操作（以下、「選択オブジェクト変更指示操作」と呼ぶ）を受け付けたか否かを判定する。
選択オブジェクト変更指示操作が受け付けられた場合には、ステップＳ２１においてＹＥＳであると判定されて、処理はステップＳ２２に進む。
【００７５】
ステップＳ２２において、主制御部６１は、選択オブジェクトＯＢとして、複数のオブジェクトＯＢ２〜ＯＢ７の中から選択した別のオブジェクトＯＢに変更する。この処理が終了すると、処理はステップＳ２３に進む。
【００７６】
これに対して、選択オブジェクト変更指示操作が受け付けられていない場合には、ステップＳ２１においてＮＯであると判定されて、処理はステップＳ２３に進む。
【００７７】
ステップＳ２３において、主制御部６１は、視点変換画像生成処理の終了指示を受けたか否かを判定する。
終了指示を受けていない場合には、ステップＳ２３においてＮＯであると判定されて、処理はステップＳ１２に戻される。即ち、視点変換画像生成処理の終了指示が受け付けられるまでの間、ステップＳ１２乃至ステップＳ２３の処理が繰り返し実行される。そして、視点変換画像生成処理の終了指示が受け付けられると、ステップＳ２３においてＹＥＳであると判定されて、視点変換画像生成処理は終了となる。
【００７８】
［第１実施形態の第１変形例］
上述した第１実施形態では、選択オブジェクトをボールとした場合の例について説明したが、本変形例は、ボールに代えて、選手を選択オブジェクトとした場合の例について図７及び図８を用いて説明する。なお、上述の実施形態と同様の部分は、同一の符号をもって詳細な説明を省略し、異なる箇所のみ説明する。
【００７９】
図７は、本発明の第１実施形態の第１変形例に係る画像処理システムの概略的な構成を示す模式図であって、選手のオブジェクトＯＢ２〜ＯＢ７が視点として選択された場合の図である。
画像処理装置１２は、図７に示すように、各オブジェクトＯＢ１〜ＯＢ７のうち、選手の選択オブジェクトＯＢ３を、仮想視点とするためのオブジェクト、即ち仮想視点を用いた処理の対象として選択オブジェクトＯＢとして選択することができる。
【００８０】
画像処理装置１２は、カメラ１１ａ〜１１ｈにより撮像された図２（ａ）〜（ｈ）に示すような撮像画像のデータのうち少なくとも１つの元画像のデータと、移動方向Ａ２に移動している選択オブジェクトＯＢ３から逐次送信されてくる位置情報とに基づいて、移動方向Ａ２に移動する選択オブジェクトＯＢ３の眺望方向の仮想視点から眺めた様子を示す一連の視点変換画像（動画像、連写画像或いは静止画）のデータを生成する。
【００８１】
図８は、画像処理装置１２で生成される視点変換画像の他の具体例を示している。
画像処理装置１２は、図８に示すように、選択オブジェクトＯＢ３が選手であるために、生成される眺めた一連の視点変換画像を、選手の目線の高さから移動方向Ａ２を眺めた視点の画像のデータを生成する。従って、画像処理装置１２は、カメラ１１ａ〜１１ｈの実際の視点から競技場Ｆを周囲から（外部から）眺めた様子を表わす画像のデータを、競技場Ｆの内部において移動方向Ａ２に移動していくオブジェクトＯＢ３の眺望方向の仮想視点（選手の目線となる仮想視点）から眺めた様子を表わす画像のデータに変換して視点変換画像のデータを生成する。
【００８２】
［第１実施形態の第２変形例］
上述した第１実施形態では、選択オブジェクトＯＢからの位置情報の取得手法として、３軸加速度センサを搭載した移動位置センサユニットから送信される位置情報を画像処理装置１２が取得する場合の例を説明したが、本変形例は、移動位置センサユニットから送信される位置情報をカメラ１１と同位置又は異なる位置に配置された受信装置により取得する例について説明する。なお、上述の実施形態と同様の部分は、同一の符号をもって詳細な説明を省略し、異なる箇所のみ説明する。
【００８３】
図９は、選択オブジェクトＯＢの位置情報の取得手法の一例を示す模式図である。
図９に示す例では、カメラ１１の近傍に受信装置１５が設置されている。受信装置１５は、ボールに内蔵された移動位置センサユニットから無線ＬＡＮやｂｌｕｅｔｏｏｔｈ（登録商標）等により送信された位置情報のデータを受信し、画像処理装置１２に送信する。
また、受信装置１５は、競技場Ｆの全範囲をカバーするために、カメラ１１ａ〜１１ｃに対応して３つの受信装置１５−１〜１５−３が設けられる。
このように構成される画像処理システムでは、移動位置センサユニットのセンサ部により測定された選択オブジェクトＯＢの位置情報のデータが移動位置センサユニットの送信部から受信装置１５に送信される。その後、受信装置１５から受信した位置情報のデータを画像処理装置１２は、カメラ１１から取得した撮像画像のデータと共に、視点変換画像のデータの生成に用いる。
なお、本変形例では、カメラ１１の近傍、即ち、カメラ１１ａ〜１１ｃと同位置に受信装置１５−１〜１５−３を配置したがこれに限られず、カメラ１１の位置に関係のない、カメラ１１と異なる位置に受信装置を配置するように構成してもよい。
［第１実施形態の第３変形例］
上述した第１実施形態では、選択オブジェクトＯＢからの位置情報の取得手法として、３軸加速度センサからの位置情報を用いる場合の例を説明したが、本変形例は、オブジェクトに測位センサを設けずに電磁界を利用して選択オブジェクトＯＢからの位置情報を取得する。なお、上述の実施形態と同様の部分は、同一の符号をもって詳細な説明を省略し、異なる箇所のみ説明する。
図１０は、選択オブジェクトＯＢの位置情報の取得手法の一例を示す模式図である。
図１０に示す例では、磁界発生源１６と、受信手段１７とを備える。
磁界発生源１６は、アンテナコイル等で構成され、電磁界を発生させる。この磁界発生源１６は、競技場Ｆの全範囲をカバーするために、３つの磁界発生源１６−１〜１６−３がカメラ１１ａ〜１１ｃに対応して設けられる。
受信手段１７は、磁界発生源１６により発生させられた電磁界を受信検出して、受信した磁気強度の組み合わせから３次元位置を測位する、「ヒポポヒマスセンサ」等で構成される。
また、受信手段１７は、磁界発生源１６−１〜１６−３に対応して３つの受信手段１７−１〜１７−３がカメラ１１ｄ〜１１ｆに設けられる。
このように構成される画像処理システムでは、磁界発生源１６−１〜１６−３により電磁界を発生させて、受信手段１７−１〜１７−３により受信される電磁界の受信強度の組み合わせから選択オブジェクトＯＢの３次元位置を測位する。
【００８４】
［第１実施形態の第４変形例］
上述した第１実施形態では、選択オブジェクトＯＢからの位置情報の取得手法として、３軸加速度センサからの位置情報を用いる場合の例を説明したが、本変形例は、オブジェクトに測位センサを設けずにドップラー効果を利用して選択オブジェクトＯＢからの位置情報を取得する。
【００８５】
画像処理システム１０は、ビーコン電波アンテナを備える。
ビーコン電波アンテナは、カメラに対応して複数設けられ、それぞれ周波数の異なる無線電波を送信する。
【００８６】
このように構成される画像処理システム１０では、周波数の異なる複数のビーコン電波アンテナからの無線電波を送信する。画像処理装置１２は、ビーコン電波アンテナから受信した周波数の遷移等から選択オブジェクトの３次元位置や相対位置を算出する、いわゆる、「電波ドップラーセンサ」等で構成される。
【００８７】
なお、本変形例では、カメラ１１の近傍、即ち、カメラ１１と同位置に受信装置を配置したがこれに限られず、カメラ１１の位置に関係のない、カメラ１１と異なる位置に受信装置を配置するように構成してもよい。
【００８８】
［第１実施形態の第５変形例］
上述した第１実施形態では、選択オブジェクトＯＢからの位置情報の取得手法として、３軸加速度センサからの位置情報を用いる場合の例を説明したが、本変形例は、オブジェクトＯＢに測位のためのセンサを設けずに、カメラ１１から取得した撮像画像を画像処理することにより選択オブジェクトを特定して位置情報を取得する。
【００８９】
図１１は、選択オブジェクトＯＢの位置情報の取得手法の一例を示す模式図である。
具体的には、選択オブジェクトＯＢの位置情報は、図１１に示すように、ボール等の選択オブジェクトの表面に複数の特定のマークＭ１〜Ｍ４（例えば、星印）を付して、当該マークＭ１〜Ｍ４を撮像画像からボールを検出すると共に、連続して撮像された撮像画像での選択オブジェクトの表面のマークＭ１〜Ｍ４（以下、マークＭ１〜Ｍ４を個々に区別する必要がない場合、これらをまとめて、「マークＭ」と単に呼ぶ。）の相対位置や撮像画像間の変化を移動位置から、選択オブジェクトの３次元位置や相対位置を算出するように構成してもよい。
なお、本変形例では、識別情報となるマークＭにより選択オブジェクトＯＢを得していたが、これに限られず、オブジェクトの外観を特定することで、位置情報を算出するように構成することができる。即ち、ボールを選択オブジェクトＯＢとする場合には、ボールの形状を撮像画像から特定して、特定したボールの位置を撮像画像から割り出すようにしてボールの位置情報のデータを取得する。
［第１実施形態の他の変形例］
上述した第１実施形態では、選択オブジェクトＯＢからの位置情報の取得手法として、３軸加速度センサからの位置情報を用いる場合の例を説明したが、その他にも、選択オブジェクトの位置情報は、例えば、レンズの焦点法、パッシブ又はアクティブの三角測量ステレオ法、光レーザ法、照度差ステレオ法、スリット光投影法その他の電磁界式、ワイヤレス式の３次元測定装置等の種々の３次元測定方法や測定方法を採用してもよい。
【００９０】
以上説明したように、本実施形態の画像処理装置１２は、撮像画像取得部６２と、位置情報取得部６３と、視点変換画像加工部７４と、表示制御部６５と、を備える。
撮像画像取得部６２は、オブジェクトＯＢが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数のカメラ１１の各々によって撮像された複数の撮像画像のデータを取得する。
位置情報取得部６３は、所定の空間を移動するオブジェクトＯＢの位置を取得する。
視点変換画像加工部７４は、位置情報取得部６３により取得された位置に基づいて、撮像画像取得部６２により取得された複数の撮像画像のデータを視点変換の加工をすることで、オブジェクトＯＢに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。
表示制御部６５は、視点変換画像加工部７４により生成された視点変換画像のデータを表示出力する制御を実行する。
【００９１】
画像処理装置１２は、位置情報取得部６３により取得された位置に基づいて、撮像画像取得部６２により取得された撮像画像のデータを視点変換の加工をすることで、オブジェクトＯＢに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。
この場合、画像処理装置１２は、鑑賞者が所望する視点で撮像されたのと等価な視点変換画像を容易に得ることができる。
また、画像処理装置１２は、生成された視点変換画像のデータを表示するようにしたことで、移動する選択オブジェクトＯＢにカメラ等の撮像装置を設けることなく、移動するオブジェクトＯＢを視点とした臨場感あふれる画像が得られる。
また、画像処理装置１２は、移動するオブジェクトＯＢに撮像手段を設ける必要がなく撮像の制約を受けないため高画質の画像を得ることができる。
【００９２】
位置情報取得部６３は、所定の空間を移動するオブジェクトＯＢの位置を任意のタイミングで取得する。
視点変換画像加工部７４は、位置情報取得部６３により任意のタイミングで取得されたオブジェクトの位置に基づいて、撮像画像取得部６２により取得された撮像画像のデータを加工する。
この場合、画像処理装置１２は、位置情報取得部６３により取得された任意のタイミングの位置に基づいて撮像画像を加工するために、例えば、ユーザの指定した任意のタイミングの位置での視点変換画像のデータを生成することができる。
【００９３】
位置情報取得部６３は、所定の空間を移動するオブジェクトＯＢの位置を逐次取得する。
視点変換画像加工部７４は、撮像画像取得部６２により逐次取得された撮像画像のデータを逐次加工する。
この場合、画像処理装置１２は、逐次取得された所定の空間を移動するオブジェクトＯＢの位置に基づいて、撮像画像のデータを逐次加工するために、予め記憶した画像（録画した画像）ではなく、リアルタイムで取得した撮像画像のデータを処理して視点変換画像のデータを生成することができる。
【００９４】
また、画像処理装置１２は、撮像画像取得部６２により取得された複数の撮像画像のデータの中から、オブジェクトに配置された仮想視点から眺めた様子を表わす画像の生成の元になる元画像のデータを、位置情報取得部６３により取得された前記位置に基づいて選択する元画像選択部７３と、を備える。
視点変換画像加工部７４は、元画像選択部７３により取得された元画像のデータを視点変換の加工をすることで、オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。
この場合、画像処理装置１２は、元画像選択部７３により複数の撮像画像のデータの中から選択された元画像のデータに基づいて、視点変換画像のデータの生成を行うために、複数の撮像画像のデータのうちから視点変換画像のデータの生成に好適な撮像画像のデータを選択すれば、加工処理の処理負担の軽減や精度の高い視点変換画像のデータの生成等を行うことができる。
【００９５】
また、画像処理装置１２は、オブジェクトＯＢの移動方向を算出する移動方向算出部７１を備える。
元画像選択部７３は、移動方向算出部７１により取得されたオブジェクトＯＢの移動方向に基づいて元画像のデータを選択する。
視点変換画像加工部７４は、移動方向算出部７１により算出されたオブジェクトＯＢの移動方向に基づいて元画像のデータを選択し、オブジェクトＯＢの移動方向に基づいて元画像のデータを加工することで、オブジェクトＯＢの仮想視点が移動方向を眺望方向として眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。
【００９６】
この場合、画像処理装置１２は、移動方向算出部７１により算出された移動方向に基づいて元画像のデータを加工することで、移動方向に移動するオブジェクトＯＢに配置された仮想視点が移動方向を眺望方向として眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するようにしたことで、より臨場感の高い画像が得られる。
【００９７】
また、画像処理装置１２は、オブジェクトＯＢの移動速度を算出する移動速度算出部７２を備える。
視点変換画像加工部７４は、視点変換画像のデータとして、移動速度算出部７２により取得された移動速度に応じた画角の画像のデータを生成する。
【００９８】
この場合、画像処理装置１２は、視点変換画像のデータとして、移動速度算出部７２により取得された移動速度に応じた画角の画像のデータを生成することができるために、さらに速度感を追加された臨場感の高い画像が得られる。
【００９９】
視点変換画像加工部７４は、視点変換画像のデータとして、移動速度に反比例して広角となる画像のデータを生成する。このため、画像処理装置１２は、自然な速度感となる視点変換画像を得ることができる。
【０１００】
また、オブジェクトＯＢは、自己の状態を示すデータを取得して発信する。
位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、オブジェクトＯＢから発信されたデータを取得し、当該データに基づいてオブジェクトの位置、移動方向、或いは移動速度を取得或いは算出する。
この場合、画像処理装置１２は、移動するオブジェクトＯＢの位置情報を受信することによりオブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができ、単純な構成でオブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができる。
【０１０１】
また、画像処理装置１２は、オブジェクトＯＢから発信された、オブジェクトＯＢの位置、移動方向、或いは移動速度を示すデータを受信する受信装置が、外部に設けられている。
位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、オブジェクトＯＢの位置、移動方向、或いは移動速度を示すデータを、受信装置を介して取得する。
この場合、画像処理装置１２は、オブジェクトＯＢの位置、移動方向、或いは移動速度を示すデータを、受信装置を介して取得できるために、精度の高いオブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができる。
【０１０２】
また、画像処理装置１２は、電磁界を発生させる発生源と、電磁界を受信検出する受信手段と、が外部に設けられている。
位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、受信手段の受信検出の結果に基づいて、オブジェクトＯＢの位置、移動方向、或いは移動速度を取得する。
また、画像処理装置１２は、相異なる周波数の無線電波を送信するビーコン電波アンテナが、外部に設けられている。
位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、ビーコン電波アンテナから送信された無線電波によるドップラー効果を利用して、オブジェクトＯＢの位置、移動方向、或いは移動速度を取得する。
従って、画像処理装置１２は、上述したようにオブジェクトＯＢの位置、移動方向、或いは移動速度を取得するようにしたことで、オブジェクトＯＢに個別に位置情報を取得するための装置等を搭載しない、即ち、オブジェクトＯＢに位置情報の取得に係る構成を備える必要がない。
【０１０３】
位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、撮像画像取得部６２により取得された複数の撮像画像のデータのうちオブジェクトＯＢが写った撮像画像のデータに対して画像処理を施し、当該画像処理の結果に基づいて、オブジェクトＯＢの位置、移動方向、或いは移動速度を取得する。
この場合、画像処理装置１２は、画像処理した撮像画像をからオブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができるために、オブジェクトＯＢに別途装置等を搭載せずに、オブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができる。
【０１０４】
また、オブジェクトＯＢには識別情報（マークＭ）が付されている。
位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、画像処理により識別情報（マークＭ）を認識し、当該識別情報（マークＭ）を利用してオブジェクトＯＢの位置、移動方向、或いは移動速度を取得する。
この場合、画像処理装置１２は、オブジェクトＯＢに記された識別情報となるマークＭからオブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができるために、オブジェクトＯＢに別途装置等を搭載せず、かつ、軽い画像処理により、オブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができる。
【０１０５】
また、位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、画像処理によりオブジェクトＯＢの外観を認識し、当該外観に基づいてオブジェクトＯＢの状態（位置、移動方向、或いは移動速度）を取得する。
この場合、画像処理装置１２は、オブジェクトＯＢの外観を認識し、検出することによりオブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができるため、オブジェクトＯＢに別途装置等を搭載せず、かつ軽い画像処理によりオブジェクトＯＢの位置、移動方向、或いは移動速度を取得することができる。
【０１０６】
また、画像処理装置１２においては、複数のカメラ１１が撮像する空間には、複数のオブジェクトが存在する。
位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２は、複数のオブジェクトの各々の位置、移動方向、或いは移動速度を取得する。
視点変換画像加工部７４は、位置情報取得部６３、移動方向算出部７１或いは移動速度算出部７２により取得された複数のオブジェクトの位置、移動方向、或いは移動速度のうち、選択したオブジェクトの位置、移動方向、或いは移動速度に基づいて、視点変換画像のデータを生成する。
この場合、画像処理装置１２は、複数のオブジェクトＯＢの位置、移動方向、或いは移動速度のうち、選択したオブジェクトの位置、移動方向、或いは移動速度に基づいて、視点変換画像のデータを生成するようにしたことで、好みに合わせた画像を得ることができる。
【０１０７】
また、表示制御部６５は、視点変換画像のデータを表示出力する制御を実行する。
この場合、画像処理装置１２は、視点変換画像のデータを表示出力する制御を実行するようにしたことで、画像処理装置で生成された視点変換画像を確認することができる。
【０１０８】
また、表示制御部６５は、視点変換画像加工部７４により生成された視点変換画像のデータを外部機器に送信する送信手段として機能する。
この場合、画像処理装置以外の外部端末１４で生成された視点変換画像を確認することができ、離れた場所でも視点変換画像を楽しむことができる。
【０１０９】
また、画像処理装置１２は、外部端末１４からの制御信号を受信する制御受信手段をさらに備える。
視点変換画像加工部７４は、視点変換画像のデータとして、制御受信手段により受信された制御信号により指示された仮想視点から眺めた様子を表わす画像のデータを生成する。
この場合、画像処理装置１２は、制御受信手段により受信された制御信号により指示された仮想視点から眺めた様子を表わす画像のデータを生成するために、外部端末１４の使用者が要求する視点での視点変換画像のデータを生成することができる。
【０１１０】
また、撮像画像取得部６２は、複数の撮像画像のデータの各々として、動画像のデータを夫々取得する。
視点変換画像加工部７４は、撮像画像取得部６２により取得された動画像のデータに基づいて、視点変換画像のデータとして動画像のデータを生成する。
この場合、画像処理装置１２は、動きのある動画像を提供することができるために、さらに臨場感のある映像を提供することができる。
なお、視点変換画像加工部７４は、視点変換画像のデータとして動画像のデータを生成するように構成したが、連写画像のデータ或いは静止画のデータも生成するように構成してもよい。
【０１１１】
以上、本発明の第１実施形態に係る画像処理装置１２について説明した。
次に、本発明の第２実施形態に係る画像処理装置１２について説明する。
【０１１２】
［第２実施形態］
上述した第１実施形態では、視点変換画像のデータの生成に際して、複数の撮像画像のデータうち、１つの撮像画像のデータを用いる場合の例を説明したが、本実施形態では、複数の撮像画像のデータを用いて視点変換画像のデータを生成する例について説明する。
本発明の第２実施形態に係る画像処理装置１２は、第１実施形態に係る画像処理装置１２と基本的に同様のハードウェア構成及び機能的構成を取ることができる。
従って、図４は、第２実施形態に係る画像処理装置１２のハードウェアの構成を示すブロック図でもある。
また、図５は、第２実施形態に係る画像処理装置１２の機能的構成を示す機能ブロック図でもあるが、第２実施形態では、元画像選択部７３及び視点変換画像加工部７４が異なる。
即ち、第２実施形態では、複数の撮像画像のデータから視点変換画像のデータが生成されるために、元画像選択部７３は、複数の撮像画像のデータのうち、最適な撮像画像のデータを選択せず、複数の撮像画像のデータのうち、選択オブジェクトが映り込んだ撮像画像のデータや、視点変換画像のデータの生成に好適な撮像画像のデータを選択する。
また、視点変換画像加工部７４は、複数の撮像画像のデータの差分から変換したり、複数の撮像画像のデータを変換して合成したりすることで、視点変換画像を生成する。この場合の視点変換画像の生成は、公知の任意の手法を採用することができる。公知の任意の手法とは、例えば特開２０１１−７７９８２公報等に開示されている。
【０１１３】
図１２は、図５の機能的構成を有する図４の画像処理装置１２が実行する、第２実施形態に係る視点変換画像生成処理の流れを説明するフローチャートである。
【０１１４】
上述した第１実施形態における図６の視点変換画像生成処理では、複数の撮像画像データのうち、元画像のデータとなる１つの撮像画像データを選択し、元画像のデータを変換することで視点変換画像のデータを生成しているのに対して、第２実施形態における図１２の視点変換画像生成処理では、複数の撮像画像データを用いて、それぞれの撮像画像のデータを変換して合成することで、視点変換画像のデータを生成している点が差異点である。詳細には、第２実施形態では、第１実施形態に係るステップＳ１５乃至Ｓ１８の処理に代えて、ステップＳ４５の処理が実行される点が差異点である。
そこで、以下、このような差異点について主に説明し、一致点の説明は適宜省略する。
【０１１５】
ステップＳ４５において、視点変換画像加工部７４は、位置情報に基づいて、複数の元画像のデータから視点変換画像を生成する。即ち、視点変換画像加工部７４は、複数の撮像画像のデータの差分から変換したり、複数の撮像画像のデータを変換して合成したりすることで、視点変換画像を生成する。
この際、元画像選択部７３は、複数の撮像画像のデータのうち、視点変換画像のデータに好適な撮像画像のデータを元画像として事前に選択するように構成してもよい。
【０１１６】
なお、上述の第２実施形態においては、第１実施形態の選択オブジェクトＯＢからの位置情報の取得手法を採用することもできるが、第１実施形態の第２変形例乃至第５変形例の手法も適宜採用することができる。
【０１１７】
以上のように構成される画像処理装置１２において、元画像選択部７３は、複数のカメラ１１により撮像された複数の撮像画像のデータの中から、複数の元画像のデータを選択する。
視点変換画像加工部７４は、元画像選択部７３により選択された複数の元画像のデータ（より具体的には、複数の元画像のデータの差分の画像データ）に基づいて、視点変換画像のデータを生成する。
【０１１８】
この場合、画像処理装置１２は、選択された複数の元画像のデータに基づいて、視点変換画像のデータを生成するようにしたことで、よりリアルな視点変換画像を得ることができる。
【０１１９】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０１２０】
上述の実施形態では、本発明が適用される上述の実施形態では、ボール等の競技用品や選手を選択オブジェクトとして選択する例について説明したがこれに限定されない。例えば、審判員、解説者、お客等の競技会場にいる人物や、競技会場にある物を選択オブジェクトとして選択することができる。
【０１２１】
また、上述の実施形態では、撮像部１０１は、連続撮影した画像の画像データを逐次送信部１０２を通じて画像処理装置１２へ送信しているがこれに限られない。例えば、大容量のメモリ（図示せず）に記憶した後、所定の時間毎、容量毎、又は通信速度に応じて分割して、画像処理装置１２へ送信することができる。
【０１２２】
また、上述の実施形態では、カメラ１１は、競技場Ｆの全域を撮像可能に複数台設けたがこれに限られず、例えば、通常の撮像範囲よりも広い範囲を撮像可能な広角カメラ、パノラマカメラ、全天周カメラにより構成してもよい。また、カメラ１１は、設置場所や視角の異なる複数の広角カメラ、パノラマカメラ、全天周カメラにより構成してもよい。
【０１２３】
また、上述の実施形態では、本発明が適用される画像処理装置１２が使用される画像処理システム１０は、スポーツが行われる競技場で用いられる例について説明したがこれに限定されない。例えば、舞台中継等に適用可能である。
【０１２４】
また、上述の実施形態では、画像処理装置１２での指示により、選択オブジェクトＯＢの設定を行い視点変換画像のデータを生成するように構成したがこれに限られない。例えば、外部端末からの指示により、選択オブジェクトＯＢの設定を行い視点変換画像のデータを生成するように構成してもよい。
【０１２５】
また、上述の実施形態では、画像処理装置１２から視点変換画像のデータを外部端末１４に送信するように構成したがこれに限られない。例えば、ネットワーク上に接続されたサーバに視点変換画像のデータを保存し、事後的又はリアルタイムに視点変換画像のデータを外部端末で取得するように構成してもよい。
【０１２６】
また、上述の実施形態では、取得した位置情報のデータから逐次視点変換画像のデータを生成するように構成したがこれに限られない。例えば、位置情報のデータの履歴から、所定の時間を指定して、当該指定された時間帯の視点変換画像のデータを生成するように構成してもよい。
【０１２７】
また、上述の実施形態では、画像処理装置１２は、例えば、選択オブジェクトの移動速度が速い場合には、通常の視点変換画像のデータとは異なる広角な視点変換画像のデータ等の選択オブジェクトＯＢの移動速度に対応した大きさとなる視点変換画像のデータを生成するように構成したこれに限られない。画像処理装置１２は、選択オブジェクトの移動速度が視覚的に伝わるような効果を施して、選択オブジェクトの移動速度を表現してもよく、例えば、選択オブジェクトの移動速度が速い場合には、眺望方向の中心付近に焦点を合わせて、周囲をぼかすような視点変換画像のデータを生成するように構成してもよい。
【０１２８】
また、上述の実施形態では、本発明が適用される画像処理装置１２は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、視点変換画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
【０１２９】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１２に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【０１３０】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１３１】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４のリムーバブルメディア５１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア５１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ３２や、図４の記憶部４０に含まれるハードディスク等で構成される。
【０１３２】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【０１３３】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれる共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１３４】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
オブジェクトが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数の撮像装置の各々によって撮像された複数の撮像画像のデータを取得する画像取得手段と、
前記所定の空間を移動する前記オブジェクトの位置を取得する位置取得手段と、
前記位置取得手段により取得された前記位置に基づいて、前記画像取得手段により取得された前記複数の撮像画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する画像加工手段と、
前記画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記位置取得手段は、前記所定の空間を移動する前記オブジェクトの位置を任意のタイミングで取得し、
前記画像加工手段は、前記位置取得手段により任意のタイミングで取得された前記オブジェクトの位置に基づいて、前記画像取得手段により取得された前記撮像画像のデータを加工する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記位置取得手段は、前記所定の空間を移動する前記オブジェクトの位置を逐次取得し、
前記画像加工手段は、前記位置取得手段により逐次取得された前記オブジェクトの位置に基づいて、前記画像取得手段により取得された前記撮像画像のデータを逐次加工する、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記画像取得手段により取得された前記複数の撮像画像のデータの中から、前記オブジェクトに配置された仮想視点から眺めた様子を表わす画像の生成の元になる元画像のデータを、前記位置取得手段により取得された前記位置に基づいて選択する元画像選択手段を備え、
前記画像加工手段は、前記元画像選択手段により取得された前記元画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する、
ことを特徴とする付記１乃至３の何れか１つに記載の画像処理装置。
［付記５］
前記位置取得手段は、前記オブジェクトの移動方向をさらに取得し、
前記元画像選択手段は、前記位置取得手段により取得された前記オブジェクトの移動方向に基づいて前記元画像のデータを選択し、
前記画像加工手段は、さらに前記位置取得手段により取得された前記移動方向に基づいて前記元画像のデータを加工することで、前記移動方向に移動する前記オブジェクトに配置された仮想視点が前記移動方向を前記眺望方向として眺めた様子を表わす画像のデータを、前記視点変換画像のデータとして生成する、
ことを特徴とする付記４に記載の画像処理装置。
［付記６］
前記位置取得手段は、オブジェクトの移動速度をさらに取得し、
前記画像加工手段は、前記視点変換画像のデータとして、前記位置取得手段により取得された前記移動速度に応じた画角の画像のデータを生成する、
ことを特徴とする付記４又は５に記載の画像処理装置。
［付記７］
前記画像加工手段は、前記視点変換画像のデータとして、前記移動速度に反比例して広角となる画像のデータを生成する、
ことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記元画像選択手段は、前記複数の撮像手段により撮像された前記複数の撮像画像のデータの中から、複数の元画像のデータを選択し、
前記画像加工手段は、前記元画像選択手段により選択された前記複数の元画像のデータに基づいて、前記視点変換画像のデータを生成する、
ことを特徴とする付記４乃至７の何れか１つに記載の画像処理装置。
［付記９］
前記オブジェクトは、自己の状態を示すデータを取得して発信し、
前記位置取得手段は、前記オブジェクトから発信された前記データを取得し、当該データに基づいて前記オブジェクトの状態を取得する、
ことを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１０］
前記オブジェクトから発信された、前記オブジェクトの状態を示す前記データを受信する受信装置が、前記画像処理装置の外部に設けられており、
前記位置取得手段は、前記オブジェクトの状態を示す前記データを、前記受信装置を介して取得する、
ことを特徴とする付記９に記載の画像処理装置。
［付記１１］
電磁界を発生させる発生源と、前記電磁界を受信検出する受信手段と、が前記画像処理装置の外部に設けられており、
前記位置取得手段は、前記受信手段の受信検出の結果に基づいて、前記オブジェクトの状態を取得する、
ことを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１２］
相異なる周波数の無線電波を送信するビーコン電波アンテナが、前記画像処理装置の外部に設けられており、
前記位置取得手段は、前記ビーコン電波アンテナから送信された前記無線電波によるドップラー効果を利用して、前記オブジェクトの状態を取得する、
ことを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１３］
前記位置取得手段は、前記画像取得手段により取得された前記複数の撮像画像のデータのうち前記オブジェクトが写った撮像画像のデータに対して画像処理を施し、当該画像処理の結果に基づいて、前記オブジェクトの状態を取得する、
ことを特徴とする付記１乃至８の何れか１つに記載の画像処理装置。
［付記１４］
前記オブジェクトには識別情報が付されており、
前記位置取得手段は、前記画像処理により前記識別情報を認識し、当該識別情報を利用して前記オブジェクトの状態を取得する、
ことを特徴とする付記１３に記載の画像処理装置。
［付記１５］
前記位置取得手段は、前記画像処理により前記オブジェクトの外観を認識し、当該外観に基づいて前記オブジェクトの状態を取得する、
ことを特徴とする付記１３に記載の画像処理装置。
［付記１６］
前記複数の撮像装置が撮像する前記空間には、複数のオブジェクトが存在し、
前記位置取得手段は、前記複数のオブジェクトの各々の状態を取得し、
前記画像加工手段は、前記位置取得手段により取得された前記複数のオブジェクトの状態のうち、選択したオブジェクトの状態に基づいて、前記視点変換画像のデータを生成する、
ことを特徴とする付記１乃至１５の何れか１つに記載の画像処理装置。
［付記１７］
前記出力制御手段は、前記画像加工手段により生成された前記視点変換画像のデータを表示出力する制御を実行する、
ことを特徴とする付記１乃至１６の何れか１つに記載の画像処理装置。
［付記１８］
前記出力制御手段は、前記画像加工手段により生成された前記視点変換画像のデータを外部機器に送信する送信手段として機能する、
ことを特徴とする付記１乃至１７の何れか１つに記載の画像処理装置。
［付記１９］
外部機器からの制御信号を受信する制御受信手段をさらに備え、
前記画像加工手段は、前記視点変換画像のデータとして、前記制御受信手段により受信された制御信号により指示された仮想視点から眺めた様子を表わす画像のデータを生成する、
ことを特徴とする付記１乃至１８の何れか１つに記載の画像処理装置。
［付記２０］
視点変換画像のデータを出力する制御を実行する画像処理装置が実行する画像処理方法であって、
オブジェクトが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数の撮像装置の各々によって撮像された複数の撮像画像のデータを取得する画像取得ステップと、
前記所定の空間を移動する前記オブジェクトの位置を取得する位置取得ステップと、
前記位置取得ステップにより取得された前記位置に基づいて、前記画像取得ステップにより取得された前記撮像画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する画像加工ステップと、
前記画像加工ステップにより生成された前記視点変換画像のデータを出力する制御を実行する出力制御ステップと、
を含む画像処理方法。
［付記２１］
視点変換画像のデータを出力する制御を実行する画像処理装置を制御するコンピュータに、
オブジェクトが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数の撮像装置の各々によって撮像された複数の撮像画像のデータを取得する画像取得機能、
前記所定の空間を移動する前記オブジェクトの位置を取得する位置取得機能、
前記位置取得機能により取得された前記位置に基づいて、前記画像取得機能により取得された前記撮像画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する画像加工機能、
前記画像加工機能により生成された前記視点変換画像のデータを出力する制御を実行する出力制御機能、
を含む機能を実現させるプログラム。
【符号の説明】
【０１３５】
１０・・・画像処理システム、１１ａ〜１１ｈ・・・カメラ、１２・・・画像処理装置、１３・・・中継装置、１４−１〜１４−Ｎ・・・外部端末、１５−１〜１５−３・・・受信装置、１６−１〜１６−３・・・磁界発生源、１７−１〜１７−３・・・受信手段、３１・・・ＣＰＵ、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・画像処理部、３５・・・バス、３６・・・入出力インターフェース、３７・・・入力部、３８・・・表示部、３９・・・計時部、４０・・・記憶部、４１・・・通信部、４２・・・ドライブ、５１・・・リムーバブルメディア、６１・・・主制御部、６２・・・撮像画像取得部、６３・・・位置情報取得部、６４・・・記憶制御部、６５・・・表示制御部、６６・・・通信制御部、７１・・・移動方向算出部、７２・・・移動速度算出部、７３・・・元画像選択部、７４・・・視点変換画像加工部、８１・・・元画像候補データ記憶部、８２・・・オブジェクトデータ記憶部、８３・・・表示データ記憶部、１０１・・・撮像部、１０２・・・送信部、１１１・・・センサ部、１１２・・・送信部、Ａ１、Ａ２・・・移動方向、Ｆ・・・競技場、Ｇ１、Ｇ２・・・ゴール、Ｍ１〜Ｍ７・・・マーク、Ｎ・・・ネットワーク、ＯＢ１〜ＯＢ７・・・オブジェクト
【特許請求の範囲】
【請求項１】
オブジェクトが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数の撮像装置の各々によって撮像された複数の撮像画像のデータを取得する画像取得手段と、
前記所定の空間を移動する前記オブジェクトの位置を取得する位置取得手段と、
前記位置取得手段により取得された前記位置に基づいて、前記画像取得手段により取得された前記複数の撮像画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する画像加工手段と、
前記画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記位置取得手段は、前記所定の空間を移動する前記オブジェクトの位置を任意のタイミングで取得し、
前記画像加工手段は、前記位置取得手段により任意のタイミングで取得された前記オブジェクトの位置に基づいて、前記画像取得手段により取得された前記撮像画像のデータを加工する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記位置取得手段は、前記所定の空間を移動する前記オブジェクトの位置を逐次取得し、
前記画像加工手段は、前記位置取得手段により逐次取得された前記オブジェクトの位置に基づいて、前記画像取得手段により取得された前記撮像画像のデータを逐次加工する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像取得手段により取得された前記複数の撮像画像のデータの中から、前記オブジェクトに配置された仮想視点から眺めた様子を表わす画像の生成の元になる元画像のデータを、前記位置取得手段により取得された前記位置に基づいて選択する元画像選択手段を備え、
前記画像加工手段は、前記元画像選択手段により取得された前記元画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する、
ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記位置取得手段は、前記オブジェクトの移動方向をさらに取得し、
前記元画像選択手段は、前記位置取得手段により取得された前記オブジェクトの移動方向に基づいて前記元画像のデータを選択し、
前記画像加工手段は、さらに前記位置取得手段により取得された前記移動方向に基づいて前記元画像のデータを加工することで、前記移動方向に移動する前記オブジェクトに配置された仮想視点が前記移動方向を前記眺望方向として眺めた様子を表わす画像のデータを、前記視点変換画像のデータとして生成する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記位置取得手段は、オブジェクトの移動速度をさらに取得し、
前記画像加工手段は、前記視点変換画像のデータとして、前記位置取得手段により取得された前記移動速度に応じた画角の画像のデータを生成する、
ことを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記画像加工手段は、前記視点変換画像のデータとして、前記移動速度に反比例して広角となる画像のデータを生成する、
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記元画像選択手段は、前記複数の撮像手段により撮像された前記複数の撮像画像のデータの中から、複数の元画像のデータを選択し、
前記画像加工手段は、前記元画像選択手段により選択された前記複数の元画像のデータに基づいて、前記視点変換画像のデータを生成する、
ことを特徴とする請求項４乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記オブジェクトは、自己の状態を示すデータを取得して発信し、
前記位置取得手段は、前記オブジェクトから発信された前記データを取得し、当該データに基づいて前記オブジェクトの状態を取得する、
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記オブジェクトから発信された、前記オブジェクトの状態を示す前記データを受信する受信装置が、前記画像処理装置の外部に設けられており、
前記位置取得手段は、前記オブジェクトの状態を示す前記データを、前記受信装置を介して取得する、
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
電磁界を発生させる発生源と、前記電磁界を受信検出する受信手段と、が前記画像処理装置の外部に設けられており、
前記位置取得手段は、前記受信手段の受信検出の結果に基づいて、前記オブジェクトの状態を取得する、
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１２】
相異なる周波数の無線電波を送信するビーコン電波アンテナが、前記画像処理装置の外部に設けられており、
前記位置取得手段は、前記ビーコン電波アンテナから送信された前記無線電波によるドップラー効果を利用して、前記オブジェクトの状態を取得する、
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１３】
前記位置取得手段は、前記画像取得手段により取得された前記複数の撮像画像のデータのうち前記オブジェクトが写った撮像画像のデータに対して画像処理を施し、当該画像処理の結果に基づいて、前記オブジェクトの状態を取得する、
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１４】
前記オブジェクトには識別情報が付されており、
前記位置取得手段は、前記画像処理により前記識別情報を認識し、当該識別情報を利用して前記オブジェクトの状態を取得する、
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記位置取得手段は、前記画像処理により前記オブジェクトの外観を認識し、当該外観に基づいて前記オブジェクトの状態を取得する、
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
前記複数の撮像装置が撮像する前記空間には、複数のオブジェクトが存在し、
前記位置取得手段は、前記複数のオブジェクトの各々の状態を取得し、
前記画像加工手段は、前記位置取得手段により取得された前記複数のオブジェクトの状態のうち、選択したオブジェクトの状態に基づいて、前記視点変換画像のデータを生成する、
ことを特徴とする請求項１乃至１５の何れか１項に記載の画像処理装置。
【請求項１７】
前記出力制御手段は、前記画像加工手段により生成された前記視点変換画像のデータを表示出力する制御を実行する、
ことを特徴とする請求項１乃至１６の何れか１項に記載の画像処理装置。
【請求項１８】
前記出力制御手段は、前記画像加工手段により生成された前記視点変換画像のデータを外部機器に送信する送信手段として機能する、
ことを特徴とする請求項１乃至１７の何れか１項に記載の画像処理装置。
【請求項１９】
外部機器からの制御信号を受信する制御受信手段をさらに備え、
前記画像加工手段は、前記視点変換画像のデータとして、前記制御受信手段により受信された制御信号により指示された仮想視点から眺めた様子を表わす画像のデータを生成する、
ことを特徴とする請求項１乃至１８の何れか１項に記載の画像処理装置。
【請求項２０】
視点変換画像のデータを出力する制御を実行する画像処理装置が実行する画像処理方法であって、
オブジェクトが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数の撮像装置の各々によって撮像された複数の撮像画像のデータを取得する画像取得ステップと、
前記所定の空間を移動する前記オブジェクトの位置を取得する位置取得ステップと、
前記位置取得ステップにより取得された前記位置に基づいて、前記画像取得ステップにより取得された前記撮像画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する画像加工ステップと、
前記画像加工ステップにより生成された前記視点変換画像のデータを出力する制御を実行する出力制御ステップと、
を含む画像処理方法。
【請求項２１】
視点変換画像のデータを出力する制御を実行する画像処理装置を制御するコンピュータに、
オブジェクトが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数の撮像装置の各々によって撮像された複数の撮像画像のデータを取得する画像取得機能、
前記所定の空間を移動する前記オブジェクトの位置を取得する位置取得機能、
前記位置取得機能により取得された前記位置に基づいて、前記画像取得機能により取得された前記撮像画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する画像加工機能、
前記画像加工機能により生成された前記視点変換画像のデータを出力する制御を実行する出力制御機能、
を含む機能を実現させるプログラム。
【請求項１】
オブジェクトが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数の撮像装置の各々によって撮像された複数の撮像画像のデータを取得する画像取得手段と、
前記所定の空間を移動する前記オブジェクトの位置を取得する位置取得手段と、
前記位置取得手段により取得された前記位置に基づいて、前記画像取得手段により取得された前記複数の撮像画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する画像加工手段と、
前記画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記位置取得手段は、前記所定の空間を移動する前記オブジェクトの位置を任意のタイミングで取得し、
前記画像加工手段は、前記位置取得手段により任意のタイミングで取得された前記オブジェクトの位置に基づいて、前記画像取得手段により取得された前記撮像画像のデータを加工する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記位置取得手段は、前記所定の空間を移動する前記オブジェクトの位置を逐次取得し、
前記画像加工手段は、前記位置取得手段により逐次取得された前記オブジェクトの位置に基づいて、前記画像取得手段により取得された前記撮像画像のデータを逐次加工する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像取得手段により取得された前記複数の撮像画像のデータの中から、前記オブジェクトに配置された仮想視点から眺めた様子を表わす画像の生成の元になる元画像のデータを、前記位置取得手段により取得された前記位置に基づいて選択する元画像選択手段を備え、
前記画像加工手段は、前記元画像選択手段により取得された前記元画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する、
ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記位置取得手段は、前記オブジェクトの移動方向をさらに取得し、
前記元画像選択手段は、前記位置取得手段により取得された前記オブジェクトの移動方向に基づいて前記元画像のデータを選択し、
前記画像加工手段は、さらに前記位置取得手段により取得された前記移動方向に基づいて前記元画像のデータを加工することで、前記移動方向に移動する前記オブジェクトに配置された仮想視点が前記移動方向を前記眺望方向として眺めた様子を表わす画像のデータを、前記視点変換画像のデータとして生成する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記位置取得手段は、オブジェクトの移動速度をさらに取得し、
前記画像加工手段は、前記視点変換画像のデータとして、前記位置取得手段により取得された前記移動速度に応じた画角の画像のデータを生成する、
ことを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記画像加工手段は、前記視点変換画像のデータとして、前記移動速度に反比例して広角となる画像のデータを生成する、
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記元画像選択手段は、前記複数の撮像手段により撮像された前記複数の撮像画像のデータの中から、複数の元画像のデータを選択し、
前記画像加工手段は、前記元画像選択手段により選択された前記複数の元画像のデータに基づいて、前記視点変換画像のデータを生成する、
ことを特徴とする請求項４乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記オブジェクトは、自己の状態を示すデータを取得して発信し、
前記位置取得手段は、前記オブジェクトから発信された前記データを取得し、当該データに基づいて前記オブジェクトの状態を取得する、
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記オブジェクトから発信された、前記オブジェクトの状態を示す前記データを受信する受信装置が、前記画像処理装置の外部に設けられており、
前記位置取得手段は、前記オブジェクトの状態を示す前記データを、前記受信装置を介して取得する、
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
電磁界を発生させる発生源と、前記電磁界を受信検出する受信手段と、が前記画像処理装置の外部に設けられており、
前記位置取得手段は、前記受信手段の受信検出の結果に基づいて、前記オブジェクトの状態を取得する、
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１２】
相異なる周波数の無線電波を送信するビーコン電波アンテナが、前記画像処理装置の外部に設けられており、
前記位置取得手段は、前記ビーコン電波アンテナから送信された前記無線電波によるドップラー効果を利用して、前記オブジェクトの状態を取得する、
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１３】
前記位置取得手段は、前記画像取得手段により取得された前記複数の撮像画像のデータのうち前記オブジェクトが写った撮像画像のデータに対して画像処理を施し、当該画像処理の結果に基づいて、前記オブジェクトの状態を取得する、
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１４】
前記オブジェクトには識別情報が付されており、
前記位置取得手段は、前記画像処理により前記識別情報を認識し、当該識別情報を利用して前記オブジェクトの状態を取得する、
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記位置取得手段は、前記画像処理により前記オブジェクトの外観を認識し、当該外観に基づいて前記オブジェクトの状態を取得する、
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
前記複数の撮像装置が撮像する前記空間には、複数のオブジェクトが存在し、
前記位置取得手段は、前記複数のオブジェクトの各々の状態を取得し、
前記画像加工手段は、前記位置取得手段により取得された前記複数のオブジェクトの状態のうち、選択したオブジェクトの状態に基づいて、前記視点変換画像のデータを生成する、
ことを特徴とする請求項１乃至１５の何れか１項に記載の画像処理装置。
【請求項１７】
前記出力制御手段は、前記画像加工手段により生成された前記視点変換画像のデータを表示出力する制御を実行する、
ことを特徴とする請求項１乃至１６の何れか１項に記載の画像処理装置。
【請求項１８】
前記出力制御手段は、前記画像加工手段により生成された前記視点変換画像のデータを外部機器に送信する送信手段として機能する、
ことを特徴とする請求項１乃至１７の何れか１項に記載の画像処理装置。
【請求項１９】
外部機器からの制御信号を受信する制御受信手段をさらに備え、
前記画像加工手段は、前記視点変換画像のデータとして、前記制御受信手段により受信された制御信号により指示された仮想視点から眺めた様子を表わす画像のデータを生成する、
ことを特徴とする請求項１乃至１８の何れか１項に記載の画像処理装置。
【請求項２０】
視点変換画像のデータを出力する制御を実行する画像処理装置が実行する画像処理方法であって、
オブジェクトが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数の撮像装置の各々によって撮像された複数の撮像画像のデータを取得する画像取得ステップと、
前記所定の空間を移動する前記オブジェクトの位置を取得する位置取得ステップと、
前記位置取得ステップにより取得された前記位置に基づいて、前記画像取得ステップにより取得された前記撮像画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する画像加工ステップと、
前記画像加工ステップにより生成された前記視点変換画像のデータを出力する制御を実行する出力制御ステップと、
を含む画像処理方法。
【請求項２１】
視点変換画像のデータを出力する制御を実行する画像処理装置を制御するコンピュータに、
オブジェクトが移動し得る所定の空間をそれぞれ異なる位置から撮像する複数の撮像装置の各々によって撮像された複数の撮像画像のデータを取得する画像取得機能、
前記所定の空間を移動する前記オブジェクトの位置を取得する位置取得機能、
前記位置取得機能により取得された前記位置に基づいて、前記画像取得機能により取得された前記撮像画像のデータを視点変換の加工をすることで、前記オブジェクトに配置された仮想視点が所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する画像加工機能、
前記画像加工機能により生成された前記視点変換画像のデータを出力する制御を実行する出力制御機能、
を含む機能を実現させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−１０６３２４（Ｐ２０１３−１０６３２４Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２５１０９４（Ｐ２０１１−２５１０９４）
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]