画像合成方法
【課題】仮想画像が対応づけられた特定の被写体が含まれない撮影範囲であっても、特定の被写体にて対応づけられた、実画像上の位置に仮想画像を合成することが可能な画像合成方法を提供する。
【解決手段】被写体に設けられ自身の位置を示す位置情報を有する位置情報被写体と、撮影された実画像から識別可能な識別被写体と、を含む被写体を撮影し、撮影された実画像を構成する画像データを記憶する実画像記憶工程と、画像データに基づいて、位置情報被写体に対する識別被写体の情報識別間相対位置を算出し、算出した情報識別間相対位置と識別被写体とを対応づけた識別被写体情報を記憶する識別被写体情報記憶工程と、情報被写体を含まず識別被写体を含む被写体を撮影した際に、識別被写体情報に基づいて撮影した実画像と予め生成されている仮想画像とを合成する画像合成工程と、を有する。
【解決手段】被写体に設けられ自身の位置を示す位置情報を有する位置情報被写体と、撮影された実画像から識別可能な識別被写体と、を含む被写体を撮影し、撮影された実画像を構成する画像データを記憶する実画像記憶工程と、画像データに基づいて、位置情報被写体に対する識別被写体の情報識別間相対位置を算出し、算出した情報識別間相対位置と識別被写体とを対応づけた識別被写体情報を記憶する識別被写体情報記憶工程と、情報被写体を含まず識別被写体を含む被写体を撮影した際に、識別被写体情報に基づいて撮影した実画像と予め生成されている仮想画像とを合成する画像合成工程と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した実画像と生成した仮想画像とを合成する画像合成方法に関する。
【背景技術】
【０００２】
撮影した実画像と生成した仮想画像とを合成する画像合成方法としては、例えば、撮影した撮影画像に含まれる特定の被写体と対応づけられた付加画像を、特定の被写体の位置に応じて撮影画像上に配置して合成画像を生成する画像合成方法が知られている（例えば、特許文献１参照）。このような画像合成方法にて合成された合成画像は、たとえば表示画面等に表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０―１８７０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の画像合成方法は、特定の被写体の位置に応じて撮影画像上の位置に付加画像を配置するので、例えば特定の被写体を撮影して表示された付加画像としての仮想画像が表示画面より大きい場合には、仮想画像の画面から外れて表示されていない部位を画面に表示すべく撮影の方向を変更すると、特定の被写体が画面から外れてしまうことにより、画像を合成することができないという課題がある。
【０００５】
本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、仮想画像が対応づけられた特定の被写体が含まれない撮影範囲であっても、特定の被写体にて対応づけられた、実画像上の位置に仮想画像を合成することが可能な画像合成方法を提供することにある。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために本発明の画像合成方法は、被写体を撮影した実画像と予め生成されている仮想画像とを合成する画像合成方法であって、前記被写体に設けられ自身の位置を示す位置情報を有する位置情報被写体と、撮影された実画像から識別可能な識別被写体と、を含む前記被写体を撮影し、撮影された前記実画像を構成する画像データを記憶する実画像記憶工程と、前記画像データに基づいて、前記位置情報被写体に対する前記識別被写体の情報識別間相対位置を算出し、算出した前記情報識別間相対位置と前記識別被写体とを対応づけた識別被写体情報を記憶する識別被写体情報記憶工程と、前記情報被写体を含まず前記識別被写体を含む前記被写体を撮影した際に、前記識別被写体情報に基づいて前記実画像と前記仮想画像とを合成する画像合成工程と、を有することを特徴とする画像合成方法である。
【０００７】
このような画像合成方法によれば、被写体に設けられ自身の位置を示す位置情報を有する情報被写体と識別被写体とを含む被写体を撮影した画像データに基づいて算出した情報識別間相対位置と識別被写体とが対応づけられて記憶されているので、位置情報被写体を含まず識別被写体を含む被写体を撮影した場合であっても、画像上における識別被写体の位置から、位置情報被写体の位置を特定することが可能である。このため、識別被写体の正確な位置を特定できるので、予め生成されている仮想画像を、実画像の正確な位置に配置した合成画像を生成することが可能である。このため、情報被写体を含まず識別被写体を含む被写体を撮影した場合であっても、仮想画像と実画像とを適切な位置に配置して合成することが可能である。
【０００８】
かかる画像合成方法であって、新たに撮影した実画像の画像データに、前記識別被写体と、前記識別被写体と異なる他の識別被写体とが含まれていた場合に、前記新たに撮影した前記実画像の画像データに基づいて、前記識別被写体と前記他の識別被写体との識別同士間相対位置を算出し、算出した前記識別同士間相対位置と前記他の識別被写体とを対応づけた新たな識別被写体情報を記憶することが望ましい。
【０００９】
このような画像合成方法によれば、識別被写体と他の識別被写体との識別同士間相対位置を算出し、算出した識別同士間相対位置と他の識別被写体を対応づけて記憶するので、記憶された識別同士間相対位置と情報識別間相対位置とに基づいて、他の識別被写体と情報被写体との相対位置を算出することが可能である。このため、他の識別被写体の正確な位置を特定できるので、予め生成されている仮想画像を、実画像の正確な位置に配置した合成画像を生成することが可能である。このため、撮影範囲に他の識別被写体しか含まれていない場合であっても、仮想画像と実画像とを適切な位置に配置して合成することが可能である。
【００１０】
かかる画像合成方法であって、新たに撮影した実画像の画像データに、前記識別被写体と、前記識別被写体と異なる他の識別被写体とが含まれていた場合に、前記新たに撮影した前記実画像の画像データに基づいて、前記識別被写体と前記他の識別被写体との識別同士間相対位置を算出し、算出した前記識別同士間相対位置と前記情報識別間相対位置とに基づいて、前記位置情報被写体と前記他の識別被写体との新たな情報識別間相対位置を算出し、算出した前記新たな情報識別間相対位置と前記他の識別被写体とを対応づけた新たな識別被写体情報を記憶することが望ましい。
【００１１】
このような画像合成方法によれば、識別被写体と他の識別被写体との識別同士間相対位置を算出し、算出した識別同士間相対位置と情報識別間相対位置とに基づいて、位置情報被写体と他の識別被写体との新たな情報識別間相対位置を算出し、算出した新たな情報識別間相対位置と他の識別被写体とを対応づけて記憶するので、位置情報被写体に対する他の識別被写体の相対位置を特定することが可能である。このため、撮影範囲に他の識別被写体しか含まれていない場合であっても、記憶されている新たな情報識別間相対位置に基づいて仮想画像と実画像とを適切な位置に配置して合成することが可能である。
【００１２】
かかる画像合成方法であって、新たに撮影した実画像の画像データに、前記識別被写体情報が既に記憶されている前記識別被写体が含まれている場合には、記憶されている前記識別被写体情報に基づいて前記実画像と前記仮想画像とを合成することが望ましい。
【００１３】
このような画像合成方法によれば、新たに撮影した実画像の画像データに含まれていた識別被写体の識別被写体情報が既に記憶されている場合には、記憶されている識別被写体情報に基づいて、仮想画像と実画像とを適切な位置に配置して容易に合成することが可能である。
【発明の効果】
【００１４】
本発明によれば、仮想画像が対応づけられた特定の被写体が含まれない撮影範囲であっても、特定の被写体にて対応づけられた、実画像上の位置に仮想画像が合成された合成画像を生成することが可能である。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【図２】本実施形態にて撮影される被写体と撮影範囲のイメージを示す図である。
【図３】本実施形態にて実画像と仮想画像の全体とが合成された合成画像のイメージを示す図である。
【図４】本実施形態の画像合成方法を説明するためのフローチャートである。図５は、実施形態において撮影されたＡマーカーを含む実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。
【図５】実施形態において撮影されたＡマーカーを含む実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。
【図６】実施形態において撮影されたＡマーカーを含まない実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態について図面を用いて詳細に説明する。
図１は、本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【００１７】
本実施形態の画像合成方法は、たとえば、被写体を撮影した実画像に、撮影された被写体に含まれる情報被写体の情報に基づいて予め形成されている仮想画像を重ね合わせた合成画像を表示する際に、仮想画像が対応づけられた情報被写体が、撮影範囲から外れても、情報被写体にて対応づけられた、実画像上の位置に仮想画像を合成することを可能とする画像合成方法である。
【００１８】
図２は、本実施形態にて撮影される被写体と撮影範囲のイメージを示す図である。図３は、本実施形態にて実画像と仮想画像の全体とが合成された合成画像のイメージを示す図である。
【００１９】
本実施形態では、図２に示すように、室内の壁３に、例えば、ＱＲコード(登録商標)やバーコードなどの情報を示す情報被写体としてのマーカー２１が設けられており、このマーカー２１とともに室内を撮影した際に、マーカー２１に対応づけられた仮想画像としての例えばシステムキッチンの仮想画像２３と、マーカー２１の位置情報Ｐとに基づいて、撮影した実画像２０とマーカー２１に対応づけられたシステムキッチンの仮想画像２３とを合成する例について説明する。
【００２０】
また、本実施形態においては、２種類のマーカー２１を用いている。２種類のマーカー２１のうちの一方のマーカー２１は、撮影した実画像２０を解析してマーカー２１であることを識別可能であり、仮想画像２３が対応づけられた情報被写体としての情報マーカー２１ａであり、他方のマーカー２１は、情報を有していないが撮影した実画像２０を解析してマーカー２１であることを識別可能な識別被写体としての識別マーカー２１ｂである。また、情報マーカー２１ａ及び識別マーカー２１ｂは、説明の便宜上、図面では情報マーカー２１ａを「Ａ」にて示し、以下、Ａマーカー２１ａとする。また、識別マーカー２１ｂは同一のマーカー２１ｂを２つ使用するが、説明にてこれらを区別するために、一方の識別マーカー２１ｂを「Ｂ」にて示し、以下、Ｂマーカー２１ｂとし、他方の識別マーカー２１ｂを「Ｃ」にて示し、以下、Ｃマーカー２１ｂとして示す。
【００２１】
情報マーカー２１ａは、当該情報マーカー２１ａが設けられている位置と、仮想画像２３の所定の位置とが対応づけた相対位置を示す位置情報Ｐを有しており、情報マーカー２１ａを含む被写体が撮影されると、情報マーカー２１ａに対応づけられた仮想画像２３が、位置情報Ｐに基づいて、マーカー２１ａが設けられている位置に位置あわせされて実画像２０と合成される。例えば、Ａマーカー２１ａには、システムキッチンの仮想画像２３が対応づけられており、Ａマーカー２１ａに対応づけられているシステムキッチンの仮想画像２３の所定の位置が、当該Ａマーカー２１ａが設けられている位置に位置あわせされると、図３に示すように、システムキッチンの仮想画像２３が実画像２０の室内の適切な位置に配置されるような位置にＡマーカー２１ａが設けられている。このため、Ａマーカー２１ａは、例えばＧＰＳ等を用いて正確に実測して配置され、配置されている自身の、地球上における絶対位置を示す位置情報を有している。
【００２２】
ところで、室内は広さが限られるため、図３に示すように、システムキッチンの仮想画像２３の全体が、撮影範囲、具体的には、カメラのファインダー内などに含まれるとは限らない。このため、Ａマーカー２１ａを含むように撮影範囲を定めると、システムキッチンの仮想画像２３のうちの撮影範囲外に位置している部位は、見ることができず、撮影範囲外に位置している部位を見るために、撮影範囲を移動するとＡマーカー２１ａが撮影範囲から外れてしまい、撮影範囲にシステムキッチンの仮想画像２３が現れず、システムキッチンの仮想画像２３の見たい部位を見ることができない場合がある。
【００２３】
本発明は、撮影範囲内にＡマーカー２１ａが存在しない場合であっても、適切な位置に配置されているように見えるシステムキッチンの仮想画像２３の見たい部位を見ることを可能とする画像合成方法である。
【００２４】
このような画像合成方法を実現するための画像合成装置１は、被写体を撮影する撮像部１０と、撮影した被写体の実画像と予め形成されている仮想画像とを合成する処理を含み画像合成装置を制御する制御部１２と、画像を合成するために必要な各種情報やデータが記憶される記憶部１４と、合成された合成画像を表示する表示部１６と、本画像合成装置１を操作するための操作部１８と、を有している。本実施形態の画像合成装置１は、例えば、撮像部１０と、撮影した画像を表示する表示部１６とを有し持ち運び可能な、例えばデジタルカメラ、デジタルビデオカメラ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルコンピュータなどに、画像合成処理が実行可能なプログラムが記憶されている。
【００２５】
そして、画像合成装置１の使用者が、被写体を撮影すると、表示部１６に撮影された実画像が表示される。このとき、撮影された実画像２０に、予め設定された、例えば、ＱＲコード(登録商標)やバーコードなどの、所定の合成情報を示す情報被写体としてのＡマーカー２１ａや画像データから識別可能な識別被写体としてのＢマーカー２１ｂ及びＣマーカー２１ｂが含まれていた場合には、当該マーカー２１を検出して情報を取得し、取得した情報に基づいて、撮影した実画像２０と予め記憶されている仮想画像２３とを合成した合成画像２４を生成し合成画像２４が表示部１６に表示されるように構成されている。
【００２６】
撮像部１０は、例えば、デジタルカメラやデジタルビデオカメラのような、撮影により、画像を構成する複数の画素の各画像データを生成するＣＣＤセンサーなどの撮像素子により、光情報を電気情報に変換し、変換した画像データに基づいて表示部１６に画像を表示するように構成されている。
【００２７】
表示部１６は、画像を構成する複数の画素の画像データを、各素子に対応させて表示することが可能な、例えば液晶パネルなどにて構成されている。ここで、各画素の画像データとは、例えば、各画素をＲ（レッド）成分、Ｇ（グリーン）成分、Ｂ（ブルー）成分に分解した各成分を示すデータである。
【００２８】
操作部１８は、画像合成装置１を使用する使用者が、画像合成装置１に対し撮影等の操作を行ったり、設定を変更するなどの操作を行う部位であり、少なくとも実画像２０を撮影するための所謂シャッターを有している。
【００２９】
記憶部１４は、本画像合成装置１にて合成画像を生成するための各種情報が記憶されており、また、情報が記憶される情報記憶領域１４ａと、合成画像を生成する処理の中で画像データが書き換えられていく作業領域となる画像仮想展開領域１４ｂとを有している。
【００３０】
情報記憶領域１４ａには、被写体に含まれているＡマーカー２１ａに対応づけられた仮想画像２３を特定する情報、仮想画像２３の実画像２０に対して配置すべき位置を、Ａマーカー２１ａが設けられている位置および本画像合成装置１の撮影時の視点位置との相対位置にて示す位置情報Ｐなどが記憶されている。また、情報記憶領域１４ａには、撮影された実画像２０に含まれたＢマーカー２１ｂ、Ｃマーカー２１ｂ等の識別マーカーと仮想画像２３と対応づけて合成画像を生成するための情報が記憶される記憶領域が含まれている。
【００３１】
画像仮想展開領域１４ｂは、撮影された画像データが画素毎に記憶される記憶領域である。上述したように、各画素の画像データはＲ，Ｇ，Ｂの３つの成分を示すデータを有するので、画像仮想展開領域１４ｂは、合成画像を構成する画素数の３倍の記憶領域を有している。
【００３２】
画像仮想展開領域１４ｂに記憶される画像データは、合成画像を生成する際には必要に応じて対応する画素の画像データが書き換えられる。そして、画像仮想展開領域１４ｂに画素毎に記憶された３つのデータは、各画素の画像データが書き換えられる場合には、Ｒ成分、Ｇ成分、Ｂ成分の各データがそれぞれ書き換えられる。このとき、画像仮想展開領域１４ｂは、記憶領域が表示部１６または撮像部１０の素子と同様に配列されている必要はなく、各記憶領域の画像データが、表示部１６または撮像部１０の素子と対応づけられて記憶されていればよい。
【００３３】
制御部１２は、使用者により操作部１８が操作されることにより、撮像部１０や表示部１６を制御したり、撮影された実画像２０の画像データからマーカー２１を抽出し、マーカー２１にて示される情報を解析する解析処理、解析された情報に基づいて、実画像２０と記憶部１４に記憶されている仮想画像２３とを合成する画像合成処理等の各種処理を実行する。
【００３４】
次に、制御部１２による画像合成方法について説明する。
【００３５】
本実施形態の画像合成方法は、画像合成装置１に設けられ、撮像部１０にて撮影するための操作部１８であるシャッターが操作されて処理が開始される。このとき、画像合成装置１が、デジタルカメラなどのように、単に実画像を撮影するときと、合成画像を生成するときとで処理を切り替えるスイッチが操作部１８に設けられていてもよい。また、常に合成画像を生成する処理が実行されるように設定されており、撮影された実画像にマーカー２１が検出されたときのみ合成画像を生成する処理を実行することとしてもよい。
【００３６】
図４は、本実施形態の画像合成方法を説明するためのフローチャートであり、図５は、実施形態において撮影されたＡマーカーを含む実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。図６は、実施形態において撮影されたＡマーカーを含まない実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。
【００３７】
制御部１２は、シャッターが操作されると撮像部１０にて被写体を撮影し、撮影された実画像２０を構成する各画素の画像データを生成し（Ｓ１）、生成した画像データを記憶部１４の画像仮想展開領域１４ｂに記憶する（実画像記憶工程Ｓ２）。ここでは、図２及び図５（ａ）に示すような撮影範囲Ｆ１にて撮影されたとする。また、このとき、制御部１２は実画像の撮影時に撮像部１０から取得した情報に基づき、一般的なカメラにも搭載されているオートフォーカス機構の原理を利用して、例えば、レンズの上半分と下半分にて生じる重心位置の違いを利用して被写体と、撮像部１０の視点位置との距離を計測し、計測した距離情報を記憶部１４に記憶する。
【００３８】
次に制御部１２は、実画像２０の画像データに情報被写体としてのＡマーカー２１ａが撮影されているか否かを解析する（Ｓ３）。このとき、実画像２０の画像データにＡマーカー２１ａが撮影されていた場合には（Ｓ４）、Ａマーカー２１ａに対応づけられている情報を記憶部１４から取得する（Ｓ５）。このとき、撮影した実画像２０と合成する仮想画像２３の情報と仮想画像２３を合成するための位置情報Ｐ、すなわち、Ａマーカー２１ａの位置に位置あわせされる仮想画像上の位置を示す情報とを取得する（Ｓ５）。実画像２０の画像データにＡマーカー２１ａが撮影されていなかった場合の処理については後述する。
【００３９】
次に制御部１２は、取得した情報に基づいて、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを、情報マーカー２１に対応付けられ情報記憶領域１４ａに記憶されている仮想画像２３の画像データに書き換えて合成画像２４を生成する（Ｓ６）。
【００４０】
次に制御部１２は、撮影した実画像２０に識別マーカー２１が含まれているか否かを解析する（Ｓ９）。このとき、識別マーカー２１が含まれていない場合には、画像仮想展開領域１４ｂに記憶されている、図５（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。本実施形態の場合には、Ｂマーカー２１ｂが含まれていることが検出される。
【００４１】
そして、Ｂマーカー２１ｂのような識別マーカー２１ｂが含まれていた場合には、検出した識別マーカー２１が既に情報記憶領域１４ａに記憶されているか否かを判定する（Ｓ１０）。このとき、検出した識別マーカー２１ｂの情報が記憶されている場合には、その他に識別マーカー２１ｂが含まれているか否かが判定され、含まれていない場合には、画像仮想展開領域１４ｂに記憶されている、図５（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。
【００４２】
一方、検出した識別マーカー２１の情報が記憶されていない場合には、撮影時に計測した、被写体と撮像部１０の視点位置との距離を示す距離情報及び合成画像上における、情報マーカー２１ａと識別マーカー２１ｂの位置から、現実の情報マーカー２１ａに対する識別マーカー２１ｂの相対位置（情報識別間相対位置Ｑ）を算出する（Ｓ１１）。そして、算出した相対位置（情報識別間相対位置Ｑ）を示す情報とシステムキッチンの仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する（識別被写体情報記憶工程Ｓ１２）。その後、実画像２０に、その他に識別マーカー２１が含まれているか否かが判定され（Ｓ９）、含まれていない場合には、画像仮想展開領域１４ｂに記憶されている、図５（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。また、実画像２０に、その他に識別マーカー２１が含まれていた場合には、含まれていた識別マーカー２１ｂに対応づけられた識別被写体情報Ｔの情報記憶領域１４ａにおける有無を判定し（Ｓ１０）、記憶されていない場合には、相対位置（情報識別間相対位置Ｑ）を算出し（Ｓ１１）、算出した相対位置（情報識別間相対位置Ｑ）の情報と仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する処理（識別被写体情報記憶工程Ｓ１２）を繰り返す。
【００４３】
本実施形態の場合には、撮影した実画像２０を解析してＢマーカー２１ｂが含まれていることが検出されたのち、Ｂマーカー２１ｂに対応づけられた識別被写体情報Ｔが情報記憶領域１４ａに記憶されていないと判定され（Ｓ１０）、撮影時に計測した距離情報及び合成画像２４上における、Ａマーカー２１ａとＢマーカー２１ｂとの位置から、現実のＡマーカー２１ａに対するＢマーカー２１ｂの相対位置（情報識別間相対位置Ｑ）を算出し（Ｓ１１）、算出した相対位置（情報識別間相対位置Ｑ）を示す情報とシステムキッチンの仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する（識別被写体情報記憶工程Ｓ１２）。そして、撮影範囲（図２、Ｆ１）には、他に識別マーカー２１は含まれていないので（Ｓ９）、画像仮想展開領域１４ｂに記憶されている、図５（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。
【００４４】
次に、画像合成装置１の向きが変更され、図２及び図６（ａ）に示すような撮影範囲Ｆ２にて新たに撮影され、撮影された実画像２０を構成する各画素の画像データが生成され（Ｓ１）、生成された画像データを記憶部１４の画像仮想展開領域１４ｂに記憶する（実画像記憶工程、Ｓ２）。また、この場合にも、被写体と撮像部１０の視点位置との距離を計測し、計測した距離情報を情報記憶領域１４ａに記憶する。
【００４５】
次に制御部１２は、実画像２０の画像データに情報被写体としてのＡマーカー２１ａが撮影されているか否かを解析する（Ｓ３）。このとき、実画像２０の画像データにはＡマーカー２１ａが含まれていない。
【００４６】
撮影した実画像２０にＡマーカー２１ａが含まれていない場合には（Ｓ４）、撮影した実画像２０に既に記憶されている識別マーカー２１ｂが含まれているか否かを解析する（Ｓ７）。このとき、識別マーカー２１が含まれていない場合には、画像仮想展開領域１４ｂに記憶されている実画像２０を表示部１６に表示して（Ｓ１３）処理を終了する。
【００４７】
一方、識別マーカー２１ｂに対応づけられた識別被写体情報Ｔが情報記憶領域１４ａに記憶されている場合には、記憶されている識別マーカー２１ｂの相対位置を示す識別同士間相対位置Ｒに基づいて、現状の撮影範囲Ｆ２の実画像に合成されるべき仮想画像２３の画像データを特定し、画像仮想展開領域１４ｂに記憶されている画像データの対応する画素を特定した仮想画像２３の画像データに書き換える（画像合成工程Ｓ８）。
【００４８】
その後、実画像２０に、その他に識別マーカー２１が含まれているか否かが判定され（Ｓ９）、含まれていない場合には、画像仮想展開領域１４ｂに記憶されている合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。
【００４９】
実画像２０に、その他に識別マーカー２１が含まれていた場合には（Ｓ９）、含まれていた識別マーカー２１ｂに対応づけられた識別被写体情報Ｔの情報記憶領域１４ａにおける有無を判定し（Ｓ１０）、記憶されていない場合には、相対位置（識別同士間相対位置Ｒ）を算出し（Ｓ１１）、算出した相対位置（識別同士間相対位置Ｒ）と仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する処理（識別被写体情報記憶工程 Ｓ１２）を繰り返す。
【００５０】
本実施形態の場合には、図２及び図６（ａ）に示すように、撮影範囲Ｆ２にはＡマーカー２１ａが含まれていないので（Ｓ４）、実画像２０に既に記憶されている識別マーカー２１ｂが含まれているか否かが判定される（Ｓ７）。このとき、Ｂマーカー２１ｂに対応づけられた識別被写体情報Ｔは、情報記憶領域１４ａに記憶されているので、Ｂマーカー２１ｂの識別被写体情報Ｔ、すなわち、Ｂマーカー２１ｂのＡマーカー２１ａに対する相対位置を示す情報識別間相対位置Ｑに基づいて、現状の撮影範囲Ｆ２の実画像に合成されるべきシステムキッチンの仮想画像２３の画像データを特定し、画像仮想展開領域１４ｂに記憶されている画像データの対応する画素を特定した仮想画像２３の画像データに書き換える（画像合成工程Ｓ８）。
【００５１】
その後、実画像２０が解析されると、Ｃマーカー２１ｂが検出されるので（Ｓ９）、検出されたＣマーカー２１ｂに対応づけられた識別被写体情報Ｔの情報記憶領域１４ａにおける有無を判定する（Ｓ１０）。このとき、Ｃマーカー２１ｂに対応づけられた識別被写体情報Ｔは記憶されていないので相対位置（識別同士間相対位置Ｒ）を算出し（Ｓ１１）、算出した相対位置（識別同士間相対位置Ｒ）の情報と仮想画像２３とを対応づけた識別被写体情報Ｔを記憶領域１４ａに記憶して（識別被写体情報記憶工程Ｓ１２）、画像仮想展開領域１４ｂに記憶されている、図６（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。
【００５２】
本実施形態の画像合成方法によれば、被写体との相対位置を示す位置情報Ｐを有する情報マーカー２１ａと識別マーカー２１ｂとを含む被写体を撮影した画像データに基づいて算出した情報識別間相対位置Ｑと仮想画像２３とが記憶されているので、情報マーカー２１ａを含まず識別マーカー２１ｂを含む被写体を撮影した場合であっても、画像上における識別マーカー２１ｂの位置から、情報マーカー２１ａの位置を特定することが可能である。そして、生成する合成画像２４にて実画像２０と合成される仮想画像２３は、情報マーカー２１ａが有する被写体との相対位置を示す位置情報Ｐに基づいて実画像２０と合成されるので、情報マーカー２１ａの位置が特定されれば、仮想画像２３と実画像２０とを適切な位置にて合成することが可能である。このため、情報マーカー２１ａを含まず識別マーカー２１ｂを含む被写体を撮影した場合であっても、仮想画像２３と実画像２０とを適切な位置に配置して合成することが可能である。そして、仮想画像２３が対応づけられた情報マーカー２１ａが含まれない撮影範囲Ｆ２であっても、情報マーカー２１ａの位置情報Ｐに基づいて仮想画像２３が位置決めされて合成された合成画像２４における撮影範囲Ｆ２に対応する範囲の合成画像２４を生成することが可能である。
【００５３】
また、識別マーカー２１ｂと他の識別マーカー２１ｂとの識別同士間相対位置Ｒを算出し、算出した識別同士間相対位置Ｒと仮想画像２３とを対応づけて記憶するので、記憶された識別同士間相対位置Ｒと情報識別間相対位置Ｑとに基づいて、他の識別マーカー２１ｂと情報マーカー２１ａとの相対位置を算出することが可能である。このため、識別同士間相対位置Ｒと仮想画像２３とを対応づけた新たな識別被写体情報Ｔを記憶することにより、撮影範囲に他の識別マーカー２１ｂしか含まれていない場合であっても、仮想画像２３と実画像２０とを適切な位置に配置して合成することが可能である。
【００５４】
また、識別マーカー２１ｂと他の識別マーカー２１ｂとの識別同士間相対位置Ｒを算出し、算出した識別同士間相対位置Ｒと情報識別間相対位置Ｑとに基づいて、情報マーカー２１ａと他の識別マーカー２１ｂとの情報識別間相対位置Ｑを算出し、算出した情報識別間相対位置Ｑと仮想画像２３とを対応づけて記憶するので、他の識別マーカー２１ｂと情報マーカー２１ａとの相対位置と仮想画像２３とを対応づけて記憶しておくことが可能である。このため、撮影範囲に他の識別マーカー２１ｂしか含まれていない場合であっても、記憶されている情報識別間相対位置Ｑに基づいて仮想画像２３と実画像２０とを適切な位置に配置して合成することが可能である。
【００５５】
また、新たに撮影した実画像２０の画像データに含まれていた識別マーカー２１ｂの識別被写体情報Ｔが既に記憶されている場合には、記憶されている識別被写体情報Ｔに基づいて、仮想画像２３と実画像２０とを適切な位置に配置して容易に合成することが可能である。
【００５６】
このように、Ａマーカー２１ａを含まずＢマーカー２１ｂ、Ｃマーカー２１ｂを含む被写体を撮影することにより、仮想画像２３の全体が含まれる合成画像２４の全体ではなく、例えば、Ａマーカー２１ａから離れた位置を撮影範囲Ｆ２により特定される仮想画像２３の一部を合成の対象とした合成画像２４を生成することが可能である。また、Ｂマーカー２１ｂ、Ｃマーカー２１ｂのような識別マーカー２１ｂを複数設けることにより、Ａマーカー２１ａからより離れた位置の合成画像２４を生成することが可能である。
【００５７】
例えば、撮影範囲Ｆ１には、Ａマーカー２１ａが含まれているので、撮影範囲Ｆ１の合成画像２４では、システムキッチンの仮想画像２３を実画像２０上に合成することは可能である。ところが、撮影範囲Ｆにはマーカー２１としてＡマーカー２１ａのみが含まれている場合には、システムキッチンのレンジフード２３ａの周辺を見ることはできない。
【００５８】
このため、撮影範囲Ｆの範囲内に、図５（ａ）に示すように、Ａマーカー２１ａとともに含まれるようにＢマーカー２１ｂを設け、Ａマーカー２１ａに対するＢマーカー２１ｂの相対位置を示す情報を予め記憶しておき、Ｂマーカー２１ｂとレンジフード２３ａの周辺が含まれる撮影範囲Ｆ２にて被写体を撮影することにより、撮影された実画像のＢマーカー２１ｂの位置と記憶されているＡマーカー２１ａに対するＢマーカー２１ｂの相対位置を示す情報により、Ａマーカー２１ａの位置と撮影範囲Ｆ２との位置を特定することが可能である。そして、仮想画像２３の撮影範囲Ｆ２に適した領域の画像を、撮影範囲Ｆ２の実画像２０と合成して表示することを可能としている。このとき、Ｂマーカー２１ｂの位置精度が問われず、撮影範囲Ｆ１内にＡマーカー２１ａとともに含まれるように設ければ良いので、Ａマーカー２１ａが撮影範囲から外れてしまうような位置であっても、仮想画像２３を容易にかつ正確に合成することが可能である。また、さらに離れた位置の画像を見たい場合には、既に記憶されているマーカー２１と同じ撮影範囲内に新たな識別マーカー２１ｂが含まれるように撮影範囲を設定していけば、Ａマーカー２１ａの位置に拘わらず所望の位置の合成画像２４を生成すること画可能である。
【００５９】
上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはいうまでもない。
【００６０】
上記実施形態においては、情報マーカー２１ａが含まれていない撮影範囲に複数の識別マーカー２１ｂが含まれていた場合に、２つの識別マーカー２１ｂ間の識別同士間相対位置Ｒを算出し、算出した識別同士間相対位置Ｒと仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する例について説明したが、これに限るものではない。例えば、既に識別被写体情報Ｔが記憶されている識別マーカー２１ｂと識別被写体情報Ｔが記憶されていない識別マーカー２１ｂとの識別同士間相対位置Ｒを算出し、既に識別被写体情報Ｔが記憶されている識別マーカー２１ｂの情報識別間相対位置Ｑまたは識別同士間相対位置Ｒとから、記憶されていない識別マーカー２１ｂの情報識別間相対位置Ｑを算出し、算出された情報識別間相対位置Ｑと仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶してもよい。
【００６１】
上記実施形態おいては、Ａマーカー(位置情報被写体)２１ａの位置をＧＰＳ等を用いて実測した地球上の絶対位置としたが、これに限るものではない。例えば、被写体となる例えば建物などに固有の基準点、及び、建物に固有の基準点から所定距離だけ離れた点であっても構わない。このような場合には、例えば、建物αの原点（０，０，０）に（１，０，０）の向きにＡマーカーが貼付されていたり、建物βの原点（０，０，０）に（１，０，０）の向きにＡマーカーが貼付されていてもよい。また、建物αのＡマーカーと建物βのＡマーカーとの区別が必要な場合には、各々のＡマーカーに、例えば建物αの場合には「建物αの原点（０，０，０）に（１，０，０）の向きに貼付されている」というような建物を特定する情報を含む位置情報が対応づけられている。
【００６２】
このとき、Ａマーカー(位置情報被写体)には仮想画像２３を特定するための情報が対応づけられておらず、仮想画像を特定するための識別マーカーを別途備えていることとしてもよい。具体的には、建物構造モデルの仮想画像が対応づけられたＸマーカー(識別マーカー)や、設備モデルの仮想画像が対応づけられたＹマーカー（識別マーカー）を予め備えておく。Ｘマーカー及びＹマーカーは、Ａマーカーとの相対位置情報も対応づけられている。そして、例えば、Ａマーカーとの相対位置情報を有するＢマーカーとＸマーカーまたはＹマーカーが撮影された実画像に含まれる場合には、Ｂマーカーに基づいてＡマーカーの位置を特定し、特定されたＡマーカーの位置に基づいて、ＸマーカーまたはＹマーカーに対応づけられた仮想画像を配置して合成画像を生成することが可能である。このとき、Ｂマーカーに基づいて特定されたＡマーカーが建物αに設けられたＡマーカーの場合には、ＸマーカーまたはＹマーカーに基づいて建物αの建物構造モデルの仮想画像または建物αの設備モデルの仮想画像を合成し、Ｂマーカーに基づいて特定されたＡマーカーが建物βに設けられたＡマーカーの場合には、ＸマーカーまたはＹマーカーに基づいて建物βの建物構造モデルの仮想画像または建物βの設備モデルの仮想画像を合成することが可能である。すなわち、マーカーの汎用性を高めることが可能である。
【００６３】
上記実施形態においては、仮想画像２３がＡマーカー２１ａに対応づけられている例について説明したが、これに限るものではない。例えば、識別マーカーであるＢマーカー２１ｂやＣマーカー２１ｂに対応づけられていても良い。この場合には、撮影された実画像２０からＢマーカー２１ｂまたはＣマーカー２１ｂが検出されると、Ｂマーカー２１ｂまたはＣマーカー２１ｂに対応づけられた仮想画像２３が特定され、例えばＡマーカー２１ａの位置を基準として仮想画像２３が配置されるように設定されていたとする。このとき、実画像２０にＢマーカー２１ｂが検出された場合には、算出された情報識別間相対位置Ｑに基づいて仮想画像２３が位置合わせされるとともに、Ｂマーカー２１ｂの仮想画像２３上の位置が特定され、特定されたＢマーカー２１ｂの位置と撮影範囲とに基づいて、実画像２０と仮想画像２３とが合成される。また、実画像２０にＣマーカー２１ｂが検出された場合には、算出された情報識別間相対位置Ｑと識別同士間相対位置Ｒに基づいて仮想画像２３が位置合わせされるとともに、Ｃマーカー２１ｂの仮想画像２３上の位置が特定され、特定されたＣマーカー２１ｂの位置と撮影範囲とに基づいて、実画像２０と仮想画像２３とが合成される。また、Ｃマーカー２１ｂの場合には、識別同士間相対位置と情報識別間相対位置とに基づいて、Ａマーカー２１ａとＣマーカー２１ｂとの新たな情報識別間相対位置が記憶されている場合には、新たな情報識別間相対位置に基づいて仮想画像２３が位置合わせされるとともに、Ｃマーカー２１ｂの仮想画像２３上の位置が特定され、特定されたＣマーカー２１ｂの位置と撮影範囲とに基づいて、実画像２０と仮想画像２３とが合成されてもよい。
【００６４】
また、仮想画像２３は、マーカー２１に対応づけられておらず、画像合成装置１の使用者が操作により、仮想画像２３を選択しても良い。この場合には、仮想画像２３と実画像２０とを位置合わせするための基準となる位置が、仮想画像２３に対応づけられていても良いし、使用者が操作により基準位置を設定しても良い。
【００６５】
上記実施形態では、静止画像を合成する例について説明したが、動画を合成する場合には、動画のフレームレートに合わせて、合成した画像を生成して表示すればよい。例えば、フレームレートが１５ｆｐｓであれば、１秒間に１５回、上記のように画像の合成処理を繰り返し表示部の画像を書き換えることにより実現可能である。
【符号の説明】
【００６６】
１ 画像合成装置
３ 壁
１０ 撮像部
１２ 制御部
１４ 記憶部
１４ａ 情報記憶領域
１４ｂ 画像仮想展開領域
１６ 表示部
１８ 操作部
２０ 実画像
２１ マーカー
２１ａ 情報マーカー（Ａマーカー）
２１ｂ 識別マーカー（Ｂマーカー、Ｃマーカー）
２３ 仮想画像
２４ 合成画像
Ｆ１ 撮影範囲
Ｆ２ 撮影範囲
Ｐ 位置情報
Ｑ 情報識別間相対位置
Ｒ 識別同士間相対位置
Ｔ 識別被写体情報
【技術分野】
【０００１】
本発明は、撮影した実画像と生成した仮想画像とを合成する画像合成方法に関する。
【背景技術】
【０００２】
撮影した実画像と生成した仮想画像とを合成する画像合成方法としては、例えば、撮影した撮影画像に含まれる特定の被写体と対応づけられた付加画像を、特定の被写体の位置に応じて撮影画像上に配置して合成画像を生成する画像合成方法が知られている（例えば、特許文献１参照）。このような画像合成方法にて合成された合成画像は、たとえば表示画面等に表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０―１８７０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の画像合成方法は、特定の被写体の位置に応じて撮影画像上の位置に付加画像を配置するので、例えば特定の被写体を撮影して表示された付加画像としての仮想画像が表示画面より大きい場合には、仮想画像の画面から外れて表示されていない部位を画面に表示すべく撮影の方向を変更すると、特定の被写体が画面から外れてしまうことにより、画像を合成することができないという課題がある。
【０００５】
本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、仮想画像が対応づけられた特定の被写体が含まれない撮影範囲であっても、特定の被写体にて対応づけられた、実画像上の位置に仮想画像を合成することが可能な画像合成方法を提供することにある。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために本発明の画像合成方法は、被写体を撮影した実画像と予め生成されている仮想画像とを合成する画像合成方法であって、前記被写体に設けられ自身の位置を示す位置情報を有する位置情報被写体と、撮影された実画像から識別可能な識別被写体と、を含む前記被写体を撮影し、撮影された前記実画像を構成する画像データを記憶する実画像記憶工程と、前記画像データに基づいて、前記位置情報被写体に対する前記識別被写体の情報識別間相対位置を算出し、算出した前記情報識別間相対位置と前記識別被写体とを対応づけた識別被写体情報を記憶する識別被写体情報記憶工程と、前記情報被写体を含まず前記識別被写体を含む前記被写体を撮影した際に、前記識別被写体情報に基づいて前記実画像と前記仮想画像とを合成する画像合成工程と、を有することを特徴とする画像合成方法である。
【０００７】
このような画像合成方法によれば、被写体に設けられ自身の位置を示す位置情報を有する情報被写体と識別被写体とを含む被写体を撮影した画像データに基づいて算出した情報識別間相対位置と識別被写体とが対応づけられて記憶されているので、位置情報被写体を含まず識別被写体を含む被写体を撮影した場合であっても、画像上における識別被写体の位置から、位置情報被写体の位置を特定することが可能である。このため、識別被写体の正確な位置を特定できるので、予め生成されている仮想画像を、実画像の正確な位置に配置した合成画像を生成することが可能である。このため、情報被写体を含まず識別被写体を含む被写体を撮影した場合であっても、仮想画像と実画像とを適切な位置に配置して合成することが可能である。
【０００８】
かかる画像合成方法であって、新たに撮影した実画像の画像データに、前記識別被写体と、前記識別被写体と異なる他の識別被写体とが含まれていた場合に、前記新たに撮影した前記実画像の画像データに基づいて、前記識別被写体と前記他の識別被写体との識別同士間相対位置を算出し、算出した前記識別同士間相対位置と前記他の識別被写体とを対応づけた新たな識別被写体情報を記憶することが望ましい。
【０００９】
このような画像合成方法によれば、識別被写体と他の識別被写体との識別同士間相対位置を算出し、算出した識別同士間相対位置と他の識別被写体を対応づけて記憶するので、記憶された識別同士間相対位置と情報識別間相対位置とに基づいて、他の識別被写体と情報被写体との相対位置を算出することが可能である。このため、他の識別被写体の正確な位置を特定できるので、予め生成されている仮想画像を、実画像の正確な位置に配置した合成画像を生成することが可能である。このため、撮影範囲に他の識別被写体しか含まれていない場合であっても、仮想画像と実画像とを適切な位置に配置して合成することが可能である。
【００１０】
かかる画像合成方法であって、新たに撮影した実画像の画像データに、前記識別被写体と、前記識別被写体と異なる他の識別被写体とが含まれていた場合に、前記新たに撮影した前記実画像の画像データに基づいて、前記識別被写体と前記他の識別被写体との識別同士間相対位置を算出し、算出した前記識別同士間相対位置と前記情報識別間相対位置とに基づいて、前記位置情報被写体と前記他の識別被写体との新たな情報識別間相対位置を算出し、算出した前記新たな情報識別間相対位置と前記他の識別被写体とを対応づけた新たな識別被写体情報を記憶することが望ましい。
【００１１】
このような画像合成方法によれば、識別被写体と他の識別被写体との識別同士間相対位置を算出し、算出した識別同士間相対位置と情報識別間相対位置とに基づいて、位置情報被写体と他の識別被写体との新たな情報識別間相対位置を算出し、算出した新たな情報識別間相対位置と他の識別被写体とを対応づけて記憶するので、位置情報被写体に対する他の識別被写体の相対位置を特定することが可能である。このため、撮影範囲に他の識別被写体しか含まれていない場合であっても、記憶されている新たな情報識別間相対位置に基づいて仮想画像と実画像とを適切な位置に配置して合成することが可能である。
【００１２】
かかる画像合成方法であって、新たに撮影した実画像の画像データに、前記識別被写体情報が既に記憶されている前記識別被写体が含まれている場合には、記憶されている前記識別被写体情報に基づいて前記実画像と前記仮想画像とを合成することが望ましい。
【００１３】
このような画像合成方法によれば、新たに撮影した実画像の画像データに含まれていた識別被写体の識別被写体情報が既に記憶されている場合には、記憶されている識別被写体情報に基づいて、仮想画像と実画像とを適切な位置に配置して容易に合成することが可能である。
【発明の効果】
【００１４】
本発明によれば、仮想画像が対応づけられた特定の被写体が含まれない撮影範囲であっても、特定の被写体にて対応づけられた、実画像上の位置に仮想画像が合成された合成画像を生成することが可能である。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【図２】本実施形態にて撮影される被写体と撮影範囲のイメージを示す図である。
【図３】本実施形態にて実画像と仮想画像の全体とが合成された合成画像のイメージを示す図である。
【図４】本実施形態の画像合成方法を説明するためのフローチャートである。図５は、実施形態において撮影されたＡマーカーを含む実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。
【図５】実施形態において撮影されたＡマーカーを含む実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。
【図６】実施形態において撮影されたＡマーカーを含まない実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態について図面を用いて詳細に説明する。
図１は、本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【００１７】
本実施形態の画像合成方法は、たとえば、被写体を撮影した実画像に、撮影された被写体に含まれる情報被写体の情報に基づいて予め形成されている仮想画像を重ね合わせた合成画像を表示する際に、仮想画像が対応づけられた情報被写体が、撮影範囲から外れても、情報被写体にて対応づけられた、実画像上の位置に仮想画像を合成することを可能とする画像合成方法である。
【００１８】
図２は、本実施形態にて撮影される被写体と撮影範囲のイメージを示す図である。図３は、本実施形態にて実画像と仮想画像の全体とが合成された合成画像のイメージを示す図である。
【００１９】
本実施形態では、図２に示すように、室内の壁３に、例えば、ＱＲコード(登録商標)やバーコードなどの情報を示す情報被写体としてのマーカー２１が設けられており、このマーカー２１とともに室内を撮影した際に、マーカー２１に対応づけられた仮想画像としての例えばシステムキッチンの仮想画像２３と、マーカー２１の位置情報Ｐとに基づいて、撮影した実画像２０とマーカー２１に対応づけられたシステムキッチンの仮想画像２３とを合成する例について説明する。
【００２０】
また、本実施形態においては、２種類のマーカー２１を用いている。２種類のマーカー２１のうちの一方のマーカー２１は、撮影した実画像２０を解析してマーカー２１であることを識別可能であり、仮想画像２３が対応づけられた情報被写体としての情報マーカー２１ａであり、他方のマーカー２１は、情報を有していないが撮影した実画像２０を解析してマーカー２１であることを識別可能な識別被写体としての識別マーカー２１ｂである。また、情報マーカー２１ａ及び識別マーカー２１ｂは、説明の便宜上、図面では情報マーカー２１ａを「Ａ」にて示し、以下、Ａマーカー２１ａとする。また、識別マーカー２１ｂは同一のマーカー２１ｂを２つ使用するが、説明にてこれらを区別するために、一方の識別マーカー２１ｂを「Ｂ」にて示し、以下、Ｂマーカー２１ｂとし、他方の識別マーカー２１ｂを「Ｃ」にて示し、以下、Ｃマーカー２１ｂとして示す。
【００２１】
情報マーカー２１ａは、当該情報マーカー２１ａが設けられている位置と、仮想画像２３の所定の位置とが対応づけた相対位置を示す位置情報Ｐを有しており、情報マーカー２１ａを含む被写体が撮影されると、情報マーカー２１ａに対応づけられた仮想画像２３が、位置情報Ｐに基づいて、マーカー２１ａが設けられている位置に位置あわせされて実画像２０と合成される。例えば、Ａマーカー２１ａには、システムキッチンの仮想画像２３が対応づけられており、Ａマーカー２１ａに対応づけられているシステムキッチンの仮想画像２３の所定の位置が、当該Ａマーカー２１ａが設けられている位置に位置あわせされると、図３に示すように、システムキッチンの仮想画像２３が実画像２０の室内の適切な位置に配置されるような位置にＡマーカー２１ａが設けられている。このため、Ａマーカー２１ａは、例えばＧＰＳ等を用いて正確に実測して配置され、配置されている自身の、地球上における絶対位置を示す位置情報を有している。
【００２２】
ところで、室内は広さが限られるため、図３に示すように、システムキッチンの仮想画像２３の全体が、撮影範囲、具体的には、カメラのファインダー内などに含まれるとは限らない。このため、Ａマーカー２１ａを含むように撮影範囲を定めると、システムキッチンの仮想画像２３のうちの撮影範囲外に位置している部位は、見ることができず、撮影範囲外に位置している部位を見るために、撮影範囲を移動するとＡマーカー２１ａが撮影範囲から外れてしまい、撮影範囲にシステムキッチンの仮想画像２３が現れず、システムキッチンの仮想画像２３の見たい部位を見ることができない場合がある。
【００２３】
本発明は、撮影範囲内にＡマーカー２１ａが存在しない場合であっても、適切な位置に配置されているように見えるシステムキッチンの仮想画像２３の見たい部位を見ることを可能とする画像合成方法である。
【００２４】
このような画像合成方法を実現するための画像合成装置１は、被写体を撮影する撮像部１０と、撮影した被写体の実画像と予め形成されている仮想画像とを合成する処理を含み画像合成装置を制御する制御部１２と、画像を合成するために必要な各種情報やデータが記憶される記憶部１４と、合成された合成画像を表示する表示部１６と、本画像合成装置１を操作するための操作部１８と、を有している。本実施形態の画像合成装置１は、例えば、撮像部１０と、撮影した画像を表示する表示部１６とを有し持ち運び可能な、例えばデジタルカメラ、デジタルビデオカメラ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルコンピュータなどに、画像合成処理が実行可能なプログラムが記憶されている。
【００２５】
そして、画像合成装置１の使用者が、被写体を撮影すると、表示部１６に撮影された実画像が表示される。このとき、撮影された実画像２０に、予め設定された、例えば、ＱＲコード(登録商標)やバーコードなどの、所定の合成情報を示す情報被写体としてのＡマーカー２１ａや画像データから識別可能な識別被写体としてのＢマーカー２１ｂ及びＣマーカー２１ｂが含まれていた場合には、当該マーカー２１を検出して情報を取得し、取得した情報に基づいて、撮影した実画像２０と予め記憶されている仮想画像２３とを合成した合成画像２４を生成し合成画像２４が表示部１６に表示されるように構成されている。
【００２６】
撮像部１０は、例えば、デジタルカメラやデジタルビデオカメラのような、撮影により、画像を構成する複数の画素の各画像データを生成するＣＣＤセンサーなどの撮像素子により、光情報を電気情報に変換し、変換した画像データに基づいて表示部１６に画像を表示するように構成されている。
【００２７】
表示部１６は、画像を構成する複数の画素の画像データを、各素子に対応させて表示することが可能な、例えば液晶パネルなどにて構成されている。ここで、各画素の画像データとは、例えば、各画素をＲ（レッド）成分、Ｇ（グリーン）成分、Ｂ（ブルー）成分に分解した各成分を示すデータである。
【００２８】
操作部１８は、画像合成装置１を使用する使用者が、画像合成装置１に対し撮影等の操作を行ったり、設定を変更するなどの操作を行う部位であり、少なくとも実画像２０を撮影するための所謂シャッターを有している。
【００２９】
記憶部１４は、本画像合成装置１にて合成画像を生成するための各種情報が記憶されており、また、情報が記憶される情報記憶領域１４ａと、合成画像を生成する処理の中で画像データが書き換えられていく作業領域となる画像仮想展開領域１４ｂとを有している。
【００３０】
情報記憶領域１４ａには、被写体に含まれているＡマーカー２１ａに対応づけられた仮想画像２３を特定する情報、仮想画像２３の実画像２０に対して配置すべき位置を、Ａマーカー２１ａが設けられている位置および本画像合成装置１の撮影時の視点位置との相対位置にて示す位置情報Ｐなどが記憶されている。また、情報記憶領域１４ａには、撮影された実画像２０に含まれたＢマーカー２１ｂ、Ｃマーカー２１ｂ等の識別マーカーと仮想画像２３と対応づけて合成画像を生成するための情報が記憶される記憶領域が含まれている。
【００３１】
画像仮想展開領域１４ｂは、撮影された画像データが画素毎に記憶される記憶領域である。上述したように、各画素の画像データはＲ，Ｇ，Ｂの３つの成分を示すデータを有するので、画像仮想展開領域１４ｂは、合成画像を構成する画素数の３倍の記憶領域を有している。
【００３２】
画像仮想展開領域１４ｂに記憶される画像データは、合成画像を生成する際には必要に応じて対応する画素の画像データが書き換えられる。そして、画像仮想展開領域１４ｂに画素毎に記憶された３つのデータは、各画素の画像データが書き換えられる場合には、Ｒ成分、Ｇ成分、Ｂ成分の各データがそれぞれ書き換えられる。このとき、画像仮想展開領域１４ｂは、記憶領域が表示部１６または撮像部１０の素子と同様に配列されている必要はなく、各記憶領域の画像データが、表示部１６または撮像部１０の素子と対応づけられて記憶されていればよい。
【００３３】
制御部１２は、使用者により操作部１８が操作されることにより、撮像部１０や表示部１６を制御したり、撮影された実画像２０の画像データからマーカー２１を抽出し、マーカー２１にて示される情報を解析する解析処理、解析された情報に基づいて、実画像２０と記憶部１４に記憶されている仮想画像２３とを合成する画像合成処理等の各種処理を実行する。
【００３４】
次に、制御部１２による画像合成方法について説明する。
【００３５】
本実施形態の画像合成方法は、画像合成装置１に設けられ、撮像部１０にて撮影するための操作部１８であるシャッターが操作されて処理が開始される。このとき、画像合成装置１が、デジタルカメラなどのように、単に実画像を撮影するときと、合成画像を生成するときとで処理を切り替えるスイッチが操作部１８に設けられていてもよい。また、常に合成画像を生成する処理が実行されるように設定されており、撮影された実画像にマーカー２１が検出されたときのみ合成画像を生成する処理を実行することとしてもよい。
【００３６】
図４は、本実施形態の画像合成方法を説明するためのフローチャートであり、図５は、実施形態において撮影されたＡマーカーを含む実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。図６は、実施形態において撮影されたＡマーカーを含まない実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。
【００３７】
制御部１２は、シャッターが操作されると撮像部１０にて被写体を撮影し、撮影された実画像２０を構成する各画素の画像データを生成し（Ｓ１）、生成した画像データを記憶部１４の画像仮想展開領域１４ｂに記憶する（実画像記憶工程Ｓ２）。ここでは、図２及び図５（ａ）に示すような撮影範囲Ｆ１にて撮影されたとする。また、このとき、制御部１２は実画像の撮影時に撮像部１０から取得した情報に基づき、一般的なカメラにも搭載されているオートフォーカス機構の原理を利用して、例えば、レンズの上半分と下半分にて生じる重心位置の違いを利用して被写体と、撮像部１０の視点位置との距離を計測し、計測した距離情報を記憶部１４に記憶する。
【００３８】
次に制御部１２は、実画像２０の画像データに情報被写体としてのＡマーカー２１ａが撮影されているか否かを解析する（Ｓ３）。このとき、実画像２０の画像データにＡマーカー２１ａが撮影されていた場合には（Ｓ４）、Ａマーカー２１ａに対応づけられている情報を記憶部１４から取得する（Ｓ５）。このとき、撮影した実画像２０と合成する仮想画像２３の情報と仮想画像２３を合成するための位置情報Ｐ、すなわち、Ａマーカー２１ａの位置に位置あわせされる仮想画像上の位置を示す情報とを取得する（Ｓ５）。実画像２０の画像データにＡマーカー２１ａが撮影されていなかった場合の処理については後述する。
【００３９】
次に制御部１２は、取得した情報に基づいて、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを、情報マーカー２１に対応付けられ情報記憶領域１４ａに記憶されている仮想画像２３の画像データに書き換えて合成画像２４を生成する（Ｓ６）。
【００４０】
次に制御部１２は、撮影した実画像２０に識別マーカー２１が含まれているか否かを解析する（Ｓ９）。このとき、識別マーカー２１が含まれていない場合には、画像仮想展開領域１４ｂに記憶されている、図５（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。本実施形態の場合には、Ｂマーカー２１ｂが含まれていることが検出される。
【００４１】
そして、Ｂマーカー２１ｂのような識別マーカー２１ｂが含まれていた場合には、検出した識別マーカー２１が既に情報記憶領域１４ａに記憶されているか否かを判定する（Ｓ１０）。このとき、検出した識別マーカー２１ｂの情報が記憶されている場合には、その他に識別マーカー２１ｂが含まれているか否かが判定され、含まれていない場合には、画像仮想展開領域１４ｂに記憶されている、図５（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。
【００４２】
一方、検出した識別マーカー２１の情報が記憶されていない場合には、撮影時に計測した、被写体と撮像部１０の視点位置との距離を示す距離情報及び合成画像上における、情報マーカー２１ａと識別マーカー２１ｂの位置から、現実の情報マーカー２１ａに対する識別マーカー２１ｂの相対位置（情報識別間相対位置Ｑ）を算出する（Ｓ１１）。そして、算出した相対位置（情報識別間相対位置Ｑ）を示す情報とシステムキッチンの仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する（識別被写体情報記憶工程Ｓ１２）。その後、実画像２０に、その他に識別マーカー２１が含まれているか否かが判定され（Ｓ９）、含まれていない場合には、画像仮想展開領域１４ｂに記憶されている、図５（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。また、実画像２０に、その他に識別マーカー２１が含まれていた場合には、含まれていた識別マーカー２１ｂに対応づけられた識別被写体情報Ｔの情報記憶領域１４ａにおける有無を判定し（Ｓ１０）、記憶されていない場合には、相対位置（情報識別間相対位置Ｑ）を算出し（Ｓ１１）、算出した相対位置（情報識別間相対位置Ｑ）の情報と仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する処理（識別被写体情報記憶工程Ｓ１２）を繰り返す。
【００４３】
本実施形態の場合には、撮影した実画像２０を解析してＢマーカー２１ｂが含まれていることが検出されたのち、Ｂマーカー２１ｂに対応づけられた識別被写体情報Ｔが情報記憶領域１４ａに記憶されていないと判定され（Ｓ１０）、撮影時に計測した距離情報及び合成画像２４上における、Ａマーカー２１ａとＢマーカー２１ｂとの位置から、現実のＡマーカー２１ａに対するＢマーカー２１ｂの相対位置（情報識別間相対位置Ｑ）を算出し（Ｓ１１）、算出した相対位置（情報識別間相対位置Ｑ）を示す情報とシステムキッチンの仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する（識別被写体情報記憶工程Ｓ１２）。そして、撮影範囲（図２、Ｆ１）には、他に識別マーカー２１は含まれていないので（Ｓ９）、画像仮想展開領域１４ｂに記憶されている、図５（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。
【００４４】
次に、画像合成装置１の向きが変更され、図２及び図６（ａ）に示すような撮影範囲Ｆ２にて新たに撮影され、撮影された実画像２０を構成する各画素の画像データが生成され（Ｓ１）、生成された画像データを記憶部１４の画像仮想展開領域１４ｂに記憶する（実画像記憶工程、Ｓ２）。また、この場合にも、被写体と撮像部１０の視点位置との距離を計測し、計測した距離情報を情報記憶領域１４ａに記憶する。
【００４５】
次に制御部１２は、実画像２０の画像データに情報被写体としてのＡマーカー２１ａが撮影されているか否かを解析する（Ｓ３）。このとき、実画像２０の画像データにはＡマーカー２１ａが含まれていない。
【００４６】
撮影した実画像２０にＡマーカー２１ａが含まれていない場合には（Ｓ４）、撮影した実画像２０に既に記憶されている識別マーカー２１ｂが含まれているか否かを解析する（Ｓ７）。このとき、識別マーカー２１が含まれていない場合には、画像仮想展開領域１４ｂに記憶されている実画像２０を表示部１６に表示して（Ｓ１３）処理を終了する。
【００４７】
一方、識別マーカー２１ｂに対応づけられた識別被写体情報Ｔが情報記憶領域１４ａに記憶されている場合には、記憶されている識別マーカー２１ｂの相対位置を示す識別同士間相対位置Ｒに基づいて、現状の撮影範囲Ｆ２の実画像に合成されるべき仮想画像２３の画像データを特定し、画像仮想展開領域１４ｂに記憶されている画像データの対応する画素を特定した仮想画像２３の画像データに書き換える（画像合成工程Ｓ８）。
【００４８】
その後、実画像２０に、その他に識別マーカー２１が含まれているか否かが判定され（Ｓ９）、含まれていない場合には、画像仮想展開領域１４ｂに記憶されている合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。
【００４９】
実画像２０に、その他に識別マーカー２１が含まれていた場合には（Ｓ９）、含まれていた識別マーカー２１ｂに対応づけられた識別被写体情報Ｔの情報記憶領域１４ａにおける有無を判定し（Ｓ１０）、記憶されていない場合には、相対位置（識別同士間相対位置Ｒ）を算出し（Ｓ１１）、算出した相対位置（識別同士間相対位置Ｒ）と仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する処理（識別被写体情報記憶工程 Ｓ１２）を繰り返す。
【００５０】
本実施形態の場合には、図２及び図６（ａ）に示すように、撮影範囲Ｆ２にはＡマーカー２１ａが含まれていないので（Ｓ４）、実画像２０に既に記憶されている識別マーカー２１ｂが含まれているか否かが判定される（Ｓ７）。このとき、Ｂマーカー２１ｂに対応づけられた識別被写体情報Ｔは、情報記憶領域１４ａに記憶されているので、Ｂマーカー２１ｂの識別被写体情報Ｔ、すなわち、Ｂマーカー２１ｂのＡマーカー２１ａに対する相対位置を示す情報識別間相対位置Ｑに基づいて、現状の撮影範囲Ｆ２の実画像に合成されるべきシステムキッチンの仮想画像２３の画像データを特定し、画像仮想展開領域１４ｂに記憶されている画像データの対応する画素を特定した仮想画像２３の画像データに書き換える（画像合成工程Ｓ８）。
【００５１】
その後、実画像２０が解析されると、Ｃマーカー２１ｂが検出されるので（Ｓ９）、検出されたＣマーカー２１ｂに対応づけられた識別被写体情報Ｔの情報記憶領域１４ａにおける有無を判定する（Ｓ１０）。このとき、Ｃマーカー２１ｂに対応づけられた識別被写体情報Ｔは記憶されていないので相対位置（識別同士間相対位置Ｒ）を算出し（Ｓ１１）、算出した相対位置（識別同士間相対位置Ｒ）の情報と仮想画像２３とを対応づけた識別被写体情報Ｔを記憶領域１４ａに記憶して（識別被写体情報記憶工程Ｓ１２）、画像仮想展開領域１４ｂに記憶されている、図６（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。
【００５２】
本実施形態の画像合成方法によれば、被写体との相対位置を示す位置情報Ｐを有する情報マーカー２１ａと識別マーカー２１ｂとを含む被写体を撮影した画像データに基づいて算出した情報識別間相対位置Ｑと仮想画像２３とが記憶されているので、情報マーカー２１ａを含まず識別マーカー２１ｂを含む被写体を撮影した場合であっても、画像上における識別マーカー２１ｂの位置から、情報マーカー２１ａの位置を特定することが可能である。そして、生成する合成画像２４にて実画像２０と合成される仮想画像２３は、情報マーカー２１ａが有する被写体との相対位置を示す位置情報Ｐに基づいて実画像２０と合成されるので、情報マーカー２１ａの位置が特定されれば、仮想画像２３と実画像２０とを適切な位置にて合成することが可能である。このため、情報マーカー２１ａを含まず識別マーカー２１ｂを含む被写体を撮影した場合であっても、仮想画像２３と実画像２０とを適切な位置に配置して合成することが可能である。そして、仮想画像２３が対応づけられた情報マーカー２１ａが含まれない撮影範囲Ｆ２であっても、情報マーカー２１ａの位置情報Ｐに基づいて仮想画像２３が位置決めされて合成された合成画像２４における撮影範囲Ｆ２に対応する範囲の合成画像２４を生成することが可能である。
【００５３】
また、識別マーカー２１ｂと他の識別マーカー２１ｂとの識別同士間相対位置Ｒを算出し、算出した識別同士間相対位置Ｒと仮想画像２３とを対応づけて記憶するので、記憶された識別同士間相対位置Ｒと情報識別間相対位置Ｑとに基づいて、他の識別マーカー２１ｂと情報マーカー２１ａとの相対位置を算出することが可能である。このため、識別同士間相対位置Ｒと仮想画像２３とを対応づけた新たな識別被写体情報Ｔを記憶することにより、撮影範囲に他の識別マーカー２１ｂしか含まれていない場合であっても、仮想画像２３と実画像２０とを適切な位置に配置して合成することが可能である。
【００５４】
また、識別マーカー２１ｂと他の識別マーカー２１ｂとの識別同士間相対位置Ｒを算出し、算出した識別同士間相対位置Ｒと情報識別間相対位置Ｑとに基づいて、情報マーカー２１ａと他の識別マーカー２１ｂとの情報識別間相対位置Ｑを算出し、算出した情報識別間相対位置Ｑと仮想画像２３とを対応づけて記憶するので、他の識別マーカー２１ｂと情報マーカー２１ａとの相対位置と仮想画像２３とを対応づけて記憶しておくことが可能である。このため、撮影範囲に他の識別マーカー２１ｂしか含まれていない場合であっても、記憶されている情報識別間相対位置Ｑに基づいて仮想画像２３と実画像２０とを適切な位置に配置して合成することが可能である。
【００５５】
また、新たに撮影した実画像２０の画像データに含まれていた識別マーカー２１ｂの識別被写体情報Ｔが既に記憶されている場合には、記憶されている識別被写体情報Ｔに基づいて、仮想画像２３と実画像２０とを適切な位置に配置して容易に合成することが可能である。
【００５６】
このように、Ａマーカー２１ａを含まずＢマーカー２１ｂ、Ｃマーカー２１ｂを含む被写体を撮影することにより、仮想画像２３の全体が含まれる合成画像２４の全体ではなく、例えば、Ａマーカー２１ａから離れた位置を撮影範囲Ｆ２により特定される仮想画像２３の一部を合成の対象とした合成画像２４を生成することが可能である。また、Ｂマーカー２１ｂ、Ｃマーカー２１ｂのような識別マーカー２１ｂを複数設けることにより、Ａマーカー２１ａからより離れた位置の合成画像２４を生成することが可能である。
【００５７】
例えば、撮影範囲Ｆ１には、Ａマーカー２１ａが含まれているので、撮影範囲Ｆ１の合成画像２４では、システムキッチンの仮想画像２３を実画像２０上に合成することは可能である。ところが、撮影範囲Ｆにはマーカー２１としてＡマーカー２１ａのみが含まれている場合には、システムキッチンのレンジフード２３ａの周辺を見ることはできない。
【００５８】
このため、撮影範囲Ｆの範囲内に、図５（ａ）に示すように、Ａマーカー２１ａとともに含まれるようにＢマーカー２１ｂを設け、Ａマーカー２１ａに対するＢマーカー２１ｂの相対位置を示す情報を予め記憶しておき、Ｂマーカー２１ｂとレンジフード２３ａの周辺が含まれる撮影範囲Ｆ２にて被写体を撮影することにより、撮影された実画像のＢマーカー２１ｂの位置と記憶されているＡマーカー２１ａに対するＢマーカー２１ｂの相対位置を示す情報により、Ａマーカー２１ａの位置と撮影範囲Ｆ２との位置を特定することが可能である。そして、仮想画像２３の撮影範囲Ｆ２に適した領域の画像を、撮影範囲Ｆ２の実画像２０と合成して表示することを可能としている。このとき、Ｂマーカー２１ｂの位置精度が問われず、撮影範囲Ｆ１内にＡマーカー２１ａとともに含まれるように設ければ良いので、Ａマーカー２１ａが撮影範囲から外れてしまうような位置であっても、仮想画像２３を容易にかつ正確に合成することが可能である。また、さらに離れた位置の画像を見たい場合には、既に記憶されているマーカー２１と同じ撮影範囲内に新たな識別マーカー２１ｂが含まれるように撮影範囲を設定していけば、Ａマーカー２１ａの位置に拘わらず所望の位置の合成画像２４を生成すること画可能である。
【００５９】
上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはいうまでもない。
【００６０】
上記実施形態においては、情報マーカー２１ａが含まれていない撮影範囲に複数の識別マーカー２１ｂが含まれていた場合に、２つの識別マーカー２１ｂ間の識別同士間相対位置Ｒを算出し、算出した識別同士間相対位置Ｒと仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する例について説明したが、これに限るものではない。例えば、既に識別被写体情報Ｔが記憶されている識別マーカー２１ｂと識別被写体情報Ｔが記憶されていない識別マーカー２１ｂとの識別同士間相対位置Ｒを算出し、既に識別被写体情報Ｔが記憶されている識別マーカー２１ｂの情報識別間相対位置Ｑまたは識別同士間相対位置Ｒとから、記憶されていない識別マーカー２１ｂの情報識別間相対位置Ｑを算出し、算出された情報識別間相対位置Ｑと仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶してもよい。
【００６１】
上記実施形態おいては、Ａマーカー(位置情報被写体)２１ａの位置をＧＰＳ等を用いて実測した地球上の絶対位置としたが、これに限るものではない。例えば、被写体となる例えば建物などに固有の基準点、及び、建物に固有の基準点から所定距離だけ離れた点であっても構わない。このような場合には、例えば、建物αの原点（０，０，０）に（１，０，０）の向きにＡマーカーが貼付されていたり、建物βの原点（０，０，０）に（１，０，０）の向きにＡマーカーが貼付されていてもよい。また、建物αのＡマーカーと建物βのＡマーカーとの区別が必要な場合には、各々のＡマーカーに、例えば建物αの場合には「建物αの原点（０，０，０）に（１，０，０）の向きに貼付されている」というような建物を特定する情報を含む位置情報が対応づけられている。
【００６２】
このとき、Ａマーカー(位置情報被写体)には仮想画像２３を特定するための情報が対応づけられておらず、仮想画像を特定するための識別マーカーを別途備えていることとしてもよい。具体的には、建物構造モデルの仮想画像が対応づけられたＸマーカー(識別マーカー)や、設備モデルの仮想画像が対応づけられたＹマーカー（識別マーカー）を予め備えておく。Ｘマーカー及びＹマーカーは、Ａマーカーとの相対位置情報も対応づけられている。そして、例えば、Ａマーカーとの相対位置情報を有するＢマーカーとＸマーカーまたはＹマーカーが撮影された実画像に含まれる場合には、Ｂマーカーに基づいてＡマーカーの位置を特定し、特定されたＡマーカーの位置に基づいて、ＸマーカーまたはＹマーカーに対応づけられた仮想画像を配置して合成画像を生成することが可能である。このとき、Ｂマーカーに基づいて特定されたＡマーカーが建物αに設けられたＡマーカーの場合には、ＸマーカーまたはＹマーカーに基づいて建物αの建物構造モデルの仮想画像または建物αの設備モデルの仮想画像を合成し、Ｂマーカーに基づいて特定されたＡマーカーが建物βに設けられたＡマーカーの場合には、ＸマーカーまたはＹマーカーに基づいて建物βの建物構造モデルの仮想画像または建物βの設備モデルの仮想画像を合成することが可能である。すなわち、マーカーの汎用性を高めることが可能である。
【００６３】
上記実施形態においては、仮想画像２３がＡマーカー２１ａに対応づけられている例について説明したが、これに限るものではない。例えば、識別マーカーであるＢマーカー２１ｂやＣマーカー２１ｂに対応づけられていても良い。この場合には、撮影された実画像２０からＢマーカー２１ｂまたはＣマーカー２１ｂが検出されると、Ｂマーカー２１ｂまたはＣマーカー２１ｂに対応づけられた仮想画像２３が特定され、例えばＡマーカー２１ａの位置を基準として仮想画像２３が配置されるように設定されていたとする。このとき、実画像２０にＢマーカー２１ｂが検出された場合には、算出された情報識別間相対位置Ｑに基づいて仮想画像２３が位置合わせされるとともに、Ｂマーカー２１ｂの仮想画像２３上の位置が特定され、特定されたＢマーカー２１ｂの位置と撮影範囲とに基づいて、実画像２０と仮想画像２３とが合成される。また、実画像２０にＣマーカー２１ｂが検出された場合には、算出された情報識別間相対位置Ｑと識別同士間相対位置Ｒに基づいて仮想画像２３が位置合わせされるとともに、Ｃマーカー２１ｂの仮想画像２３上の位置が特定され、特定されたＣマーカー２１ｂの位置と撮影範囲とに基づいて、実画像２０と仮想画像２３とが合成される。また、Ｃマーカー２１ｂの場合には、識別同士間相対位置と情報識別間相対位置とに基づいて、Ａマーカー２１ａとＣマーカー２１ｂとの新たな情報識別間相対位置が記憶されている場合には、新たな情報識別間相対位置に基づいて仮想画像２３が位置合わせされるとともに、Ｃマーカー２１ｂの仮想画像２３上の位置が特定され、特定されたＣマーカー２１ｂの位置と撮影範囲とに基づいて、実画像２０と仮想画像２３とが合成されてもよい。
【００６４】
また、仮想画像２３は、マーカー２１に対応づけられておらず、画像合成装置１の使用者が操作により、仮想画像２３を選択しても良い。この場合には、仮想画像２３と実画像２０とを位置合わせするための基準となる位置が、仮想画像２３に対応づけられていても良いし、使用者が操作により基準位置を設定しても良い。
【００６５】
上記実施形態では、静止画像を合成する例について説明したが、動画を合成する場合には、動画のフレームレートに合わせて、合成した画像を生成して表示すればよい。例えば、フレームレートが１５ｆｐｓであれば、１秒間に１５回、上記のように画像の合成処理を繰り返し表示部の画像を書き換えることにより実現可能である。
【符号の説明】
【００６６】
１ 画像合成装置
３ 壁
１０ 撮像部
１２ 制御部
１４ 記憶部
１４ａ 情報記憶領域
１４ｂ 画像仮想展開領域
１６ 表示部
１８ 操作部
２０ 実画像
２１ マーカー
２１ａ 情報マーカー（Ａマーカー）
２１ｂ 識別マーカー（Ｂマーカー、Ｃマーカー）
２３ 仮想画像
２４ 合成画像
Ｆ１ 撮影範囲
Ｆ２ 撮影範囲
Ｐ 位置情報
Ｑ 情報識別間相対位置
Ｒ 識別同士間相対位置
Ｔ 識別被写体情報
【特許請求の範囲】
【請求項１】
被写体を撮影した実画像と予め生成されている仮想画像とを合成する画像合成方法であって、
前記被写体に設けられ自身の位置を示す位置情報を有する位置情報被写体と、撮影された実画像から識別可能な識別被写体と、を含む前記被写体を撮影し、撮影された前記実画像を構成する画像データを記憶する実画像記憶工程と、
前記画像データに基づいて、前記位置情報被写体に対する前記識別被写体の情報識別間相対位置を算出し、算出した前記情報識別間相対位置と前記識別被写体とを対応づけた識別被写体情報を記憶する識別被写体情報記憶工程と、
前記情報被写体を含まず前記識別被写体を含む前記被写体を撮影した際に、前記識別被写体情報に基づいて前記実画像と前記仮想画像とを合成する画像合成工程と、
を有することを特徴とする画像合成方法。
【請求項２】
請求項１に記載の画像合成方法であって、
新たに撮影した実画像の画像データに、前記識別被写体と、前記識別被写体と異なる他の識別被写体とが含まれていた場合に、
前記新たに撮影した前記実画像の画像データに基づいて、前記識別被写体と前記他の識別被写体との識別同士間相対位置を算出し、算出した前記識別同士間相対位置と前記他の識別被写体とを対応づけた新たな識別被写体情報を記憶することを特徴とする画像合成方法。
【請求項３】
請求項１に記載の画像合成方法であって、
新たに撮影した実画像の画像データに、前記識別被写体と、前記識別被写体と異なる他の識別被写体とが含まれていた場合に、
前記新たに撮影した前記実画像の画像データに基づいて、前記識別被写体と前記他の識別被写体との識別同士間相対位置を算出し、算出した前記識別同士間相対位置と前記情報識別間相対位置とに基づいて、前記位置情報被写体と前記他の識別被写体との新たな情報識別間相対位置を算出し、算出した前記新たな情報識別間相対位置と前記他の識別被写体とを対応づけた新たな識別被写体情報を記憶することを特徴とする画像合成方法。
【請求項４】
請求項１乃至請求項３のいずれかに記載の画像合成方法であって、
新たに撮影した実画像の画像データに、前記識別被写体情報が既に記憶されている前記識別被写体が含まれている場合には、記憶されている前記識別被写体情報に基づいて前記実画像と前記仮想画像とを合成することを特徴とする画像合成方法。
【請求項１】
被写体を撮影した実画像と予め生成されている仮想画像とを合成する画像合成方法であって、
前記被写体に設けられ自身の位置を示す位置情報を有する位置情報被写体と、撮影された実画像から識別可能な識別被写体と、を含む前記被写体を撮影し、撮影された前記実画像を構成する画像データを記憶する実画像記憶工程と、
前記画像データに基づいて、前記位置情報被写体に対する前記識別被写体の情報識別間相対位置を算出し、算出した前記情報識別間相対位置と前記識別被写体とを対応づけた識別被写体情報を記憶する識別被写体情報記憶工程と、
前記情報被写体を含まず前記識別被写体を含む前記被写体を撮影した際に、前記識別被写体情報に基づいて前記実画像と前記仮想画像とを合成する画像合成工程と、
を有することを特徴とする画像合成方法。
【請求項２】
請求項１に記載の画像合成方法であって、
新たに撮影した実画像の画像データに、前記識別被写体と、前記識別被写体と異なる他の識別被写体とが含まれていた場合に、
前記新たに撮影した前記実画像の画像データに基づいて、前記識別被写体と前記他の識別被写体との識別同士間相対位置を算出し、算出した前記識別同士間相対位置と前記他の識別被写体とを対応づけた新たな識別被写体情報を記憶することを特徴とする画像合成方法。
【請求項３】
請求項１に記載の画像合成方法であって、
新たに撮影した実画像の画像データに、前記識別被写体と、前記識別被写体と異なる他の識別被写体とが含まれていた場合に、
前記新たに撮影した前記実画像の画像データに基づいて、前記識別被写体と前記他の識別被写体との識別同士間相対位置を算出し、算出した前記識別同士間相対位置と前記情報識別間相対位置とに基づいて、前記位置情報被写体と前記他の識別被写体との新たな情報識別間相対位置を算出し、算出した前記新たな情報識別間相対位置と前記他の識別被写体とを対応づけた新たな識別被写体情報を記憶することを特徴とする画像合成方法。
【請求項４】
請求項１乃至請求項３のいずれかに記載の画像合成方法であって、
新たに撮影した実画像の画像データに、前記識別被写体情報が既に記憶されている前記識別被写体が含まれている場合には、記憶されている前記識別被写体情報に基づいて前記実画像と前記仮想画像とを合成することを特徴とする画像合成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１７５６６５（Ｐ２０１２−１７５６６５Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３８７４８（Ｐ２０１１−３８７４８）
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（００００００５４９）株式会社大林組 (1,758)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（００００００５４９）株式会社大林組 (1,758)
【Ｆターム（参考）】
[ Back to top ]