画像合成方法
【課題】実画像に仮想画像が合成された合成画像を、現実の部位における実際の変化に対応させることが可能な画像合成方法を提供する。
【解決手段】仮想画像が対応づけられた第１画像対応被写体を含む撮影範囲を撮影して、撮影された実画像と前記仮想画像とを合成して第１合成画像を生成する第１画像合成工程と、前記撮影範囲内に、前記第１合成画像と合成可能な合成要素が対応づけられた第２画像対応被写体を検出したときに、前記合成要素を前記第１合成画像に合成して第２合成画像を生成する第２画像合成工程と、を有する。
【解決手段】仮想画像が対応づけられた第１画像対応被写体を含む撮影範囲を撮影して、撮影された実画像と前記仮想画像とを合成して第１合成画像を生成する第１画像合成工程と、前記撮影範囲内に、前記第１合成画像と合成可能な合成要素が対応づけられた第２画像対応被写体を検出したときに、前記合成要素を前記第１合成画像に合成して第２合成画像を生成する第２画像合成工程と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した実画像と生成した仮想画像とを合成する画像合成方法に関する。
【背景技術】
【０００２】
撮影した実画像と生成した仮想画像とを合成する画像合成方法としては、例えば、撮影した撮影画像に含まれる特定の被写体と対応づけられた仮想画像などの付加画像を、特定の被写体の位置に応じて撮影画像上に配置して合成画像を生成する画像合成方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０―１８７０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の画像合成方法は、実画像と仮想画像とを合成した合成画像では仮想画像が重ねられている現実の物は、仮想画像により隠されて見ることができないため、現実の物にて生じている変化を確認することができないという課題がある。
【０００５】
本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、実画像に仮想画像が合成された合成画像において、現実の部位における実際の変化を合成画像上にて確認することが可能な画像合成方法を提供することにある。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために本発明の画像合成方法は、仮想画像が対応づけられた第１画像対応被写体を含む撮影範囲を撮影して、撮影された実画像と前記仮想画像とを合成して第１合成画像を生成する第１画像合成工程と、前記撮影範囲内に、前記第１合成画像と合成可能な合成要素が対応づけられた第２画像対応被写体を検出したときに、前記合成要素を前記第１合成画像に合成して第２合成画像を生成する第２画像合成工程と、を有することを特徴とする画像合成方法である。
【０００７】
このような画像合成方法によれば、仮想画像が対応づけられた第１画像対応被写体を含む撮影範囲内に第２画像対応被写体を検出したときに、撮影された実画像と仮想画像とが合成された第１合成画像と合成要素とを合成した第２合成画像を生成するので、実画像に仮想画像が合成された第１合成画像上に、現実の変化に応じた合成要素を合成することが可能である。このため、実画像に仮想画像が合成された第１合成画像に、検出された第２画像対応被写体に対応づけられた合成要素を合成することにより、生成される合成画像に現実の部位における実際の変化を反映させることが可能である。
【０００８】
かかる画像合成方法であって、前記第２画像対応被写体は、移動可能な部材に設けられており、前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材を示す第２の仮想画像であることが望ましい。
【０００９】
このような画像合成方法によれば、実画像、仮想画像が合成された第１合成画像の範囲内に、第２画像対応被写体が設けられた移動可能な部材が検出された場合には、第２画像対応被写体が設けられている部材の仮想画像が第１合成画像に合成されるので、仮想画像と合成された実画像上に、現実に存在している部材をイメージさせる第２の仮想画像を合成することが可能である。
【００１０】
かかる画像合成方法であって、前記第２画像対応被写体は、移動可能な部材に設けられており、前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材の実画像であることが望ましい。
【００１１】
このような画像合成方法によれば、実画像、仮想画像が合成された第１合成画像の範囲内に、第２画像対応被写体が設けられた移動可能な部材が検出された場合には、第２画像対応被写体が設けられている部材の実画像が第１合成画像に合成されるので、仮想画像と合成された実画像上に、現実に存在している部材の実画像を合成することが可能である。
【００１２】
かかる画像合成方法であって、前記第２画像対応被写体は、移動可能な部材に設けられており、前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材に対応づけた位置において前記仮想画像を取り除く領域を示す図形であることが望ましい。
【００１３】
このような画像合成方法によれば、実画像、仮想画像が合成された第１合成画像の範囲内に、第２画像対応被写体が設けられた移動可能な部材が検出された場合には、第２画像対応被写体が設けられている部材に対応づけられた位置において、仮想画像が設定された図形の形状に取り除かれるので、仮想画像と合成された実画像であっても、第２画像対応被写体が設けられている部材に対応づけた位置の仮想画像を取り除き、取り除いた部位の実画像が見えるような第２合成画像を生成することが可能である。
【００１４】
かかる画像合成方法であって、前記第２画像対応被写体は、移動可能な部材に設けられており、前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材の形状に前記仮想画像を取り除く領域を示す図形であることが望ましい。
【００１５】
このような画像合成方法によれば、実画像、仮想画像が合成された第１合成画像の範囲内に、第２画像対応被写体が設けられた移動可能な部材が検出された場合には、第２画像対応被写体が設けられている部材の形状に仮想画像が取り除かれるので、第２合成画像上に、第２画像対応被写体が設けられている部材をイメージすることが可能であるとともに、仮想画像と合成された実画像であっても、第２画像対応被写体が設けられている部材が存在する位置では実画像が見えるような第２合成画像を生成することが可能である。
【００１６】
かかる画像合成方法であって、前記移動可能な部材は筆記具であり、前記筆記具が移動する軌道に基づいて前記第２合成画像を変更することが望ましい。
【００１７】
このような画像合成方法によれば、筆記具が移動する軌道に基づいて第２合成画像が変更されるので、筆記具にて描かれたものを第２合成画像上に反映させることが可能である。
【発明の効果】
【００１８】
本発明によれば、実画像に仮想画像が合成された合成画像において、現実の部位における実際の変化を合成画像上にて確認することが可能な画像合成方法を提供することが可能である。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【図２】本実施形態の画像合成方法を説明するためのフローチャートである。
【図３】図３（ａ）は、最初の撮影範囲の状態を示す図であり、図３（ｂ）は、撮影範囲内に筆記具が移動された撮影範囲の状態を示す図であり、図３（ｃ）は、目印が付与された後の状態を示す図である。
【図４】図４（ａ）は、第１合成画像を示す図であり、図４（ｂ）は、第２合成画像を示す図であり、図４（ｃ）は、第２合成画像に筆記具の先端の軌道を追加した状態を示す図である。
【図５】合成要素を筆記具の先端の軌道に合わせて鉄筋仮想画像を取り除く領域を示す図形とした例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について図面を用いて詳細に説明する。
実施形態の画像合成方法は、予め生成されている仮想画像の情報が対応づけられた画像対応被写体を含む撮影範囲を画像合成装置にて撮影し、撮影された画像対応被写体の情報に基づく仮想画像と、撮影した実画像とを合成して第１合成画像を生成し、第１合成画像の撮影範囲内に、第１合成画像と合成可能な合成要素が対応づけられた第２画像対応被写体を検出したときに、当該合成要素を第１合成画像に合成して第２合成画像を生成するものである。
【００２１】
本実施形態では、例えば内部に鉄筋が配筋された壁に貫通孔を形成する際に実施する例について説明する。具体的には、施工対象となる壁の配筋工事時における壁内部の鉄筋の状態を撮影した写真を鉄筋仮想画像として予め記憶しておき、施工対象となる壁を連続して撮影した実画像に鉄筋仮想画像を合成した第１合成画像を撮影毎に生成し、合成画像内に油性ペンなどの移動可能な部材としての筆記具が移動された際に、筆記具に対応づけられた合成要素としてのペン形状をなすペン型仮想画像を筆記具の動きに対応させて第１合成画像と合成した第２合成画像を生成する例について説明する。
【００２２】
図１は、本実施形態に係る画像合成方法を実現するための装置の一例を示すブロック図である。
本実施形態の画像合成方法を実現するための画像合成装置１は、被写体を撮影する撮像部１０と、撮影した被写体の実画像と予め形成されている仮想画像とを合成する処理を含み画像合成装置１を制御する制御部１２と、画像を合成するために必要な各種情報やデータが記憶される記憶部１４と、合成された合成画像を表示する表示部１６と、本画像合成装置１を操作するための操作部１８と、を有している。
【００２３】
本実施形態の画像合成装置１は、例えば、撮像部１０と、撮影した画像を表示する表示部１６とを有し持ち運び可能な、例えばデジタルカメラ、デジタルビデオカメラ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルコンピュータなどに、画像合成処理が実行可能なプログラムが記憶されている。
【００２４】
そして、画像合成装置１の使用者が、被写体を撮影すると、表示部１６に撮影された実画像が表示される。このとき、撮影された実画像２０（図４）に、予め設定された、例えば、ＱＲコード(登録商標)やバーコードなどの、所定の合成情報を示す画像対応被写体としてのマーカー２１が含まれていた場合には、マーカー２１を検出して合成情報を取得し、取得した合成情報に基づいて、撮影した実画像２０と予め記憶されている仮想画像２３（図４）とを合成した合成画像２４、２５（図４）を生成し、生成した合成画像２４、２５が表示部１６に表示されるように構成されている。
【００２５】
第１実施形態では、２種類のマーカー２１が設けられている。以下、説明の便宜上、２種類のマーカーをＡマーカー２１ａとＢマーカー２１ｂとして区別して説明する。２種類のマーカー２１の一方は、第１画像対応被写体としてのＡマーカー２１ａであり、貫通孔を形成する対象となる壁（以下、施工対象壁という）３０の配筋工事時における内部の鉄筋３１の状態を撮影した写真でなる鉄筋仮想画像２３ａが対応づけられている。２種類のマーカー２１の他方は、第２画像対応被写体としてのＢマーカー２１ｂであり、施工対象壁３０に目印２６を付与するための筆記具２７を模したペン型仮想画像２３ｂが対応づけられている。
【００２６】
Ａマーカー２１ａは、施工対象壁３０の予め設定された所定の位置に正確に計測されて配置されており、Ａマーカー２１ａが設けられている位置情報及びＡマーカー２１ａと鉄筋仮想画像２３ａとの相対位置を示す位置情報とが対応づけられて記憶されている。Ｂマーカー２１ｂは、筆記具２７の表面に設けられており、筆記具２７上のＢマーカー２１ｂの位置と筆記具２７の先端との距離を示す情報が対応づけられて記憶されている。
【００２７】
撮像部１０は、例えば、デジタルカメラやデジタルビデオカメラのような、撮影により、画像を構成する複数の画素の各画像データを生成するＣＣＤセンサーなどの撮像素子により、光情報を電気情報に変換するように構成されている。
【００２８】
表示部１６は、画像を構成する複数の画素の画像データを、各素子に対応させて表示することが可能な、例えば液晶パネルなどにて構成されている。ここで、各画素の画像データとは、例えば、各画素をＲ（レッド）成分、Ｇ（グリーン）成分、Ｂ（ブルー）成分に分解した各成分を示すデータである。
【００２９】
操作部１８は、画像合成装置１を使用する使用者が、画像合成装置１に対し撮影等の操作を行ったり、設定を変更するなどの操作を行う部位であり、少なくとも実画像２０を撮影するための所謂シャッター、及び、筆記具２７の先端に対応する画素の画像データの色を変更するための色変更スイッチを有している。色変更スイッチは、例えば、使用者が操作部１８を操作することにより、ペン型仮想画像２３ｂにおける先端の位置に対応する画素の画像データを所定の色、例えば黒色に変更することができるように設定されている。
【００３０】
記憶部１４は、本画像合成装置１にて合成画像を生成するための各種情報が記憶されており、また、情報が記憶される情報記憶領域１４ａと、合成画像を生成する処理の中で画像データが書き換えられていく作業領域となる画像仮想展開領域１４ｂと、撮影した実画像の画像データを、次の撮影による実画像の画像データが生成されるまで保存しておく実画像保存領域１４ｃとを有している。
【００３１】
情報記憶領域１４ａには、被写体に含まれているＡマーカー２１ａに対応づけられた鉄筋仮想画像２３ａを特定する情報、Ｂマーカー２１ｂに対応づけられたペン型仮想画像２３ｂを特定する情報、鉄筋仮想画像２３ａおよびペン型仮想画像２３ｂの画像データ、鉄筋仮想画像２３ａの実画像２０に対して配置すべき位置を示す位置情報、ペン型仮想画像２３ｂをＢマーカー２１ｂと連動させて配置することを示す位置情報、ペン型仮想画像２３ｂのＢマーカー２１ｂと先端との距離を示す情報などの合成情報が記憶されている。また、情報記憶領域１４ａには、撮影時に測定された撮像部１０の視点から被写体までの距離を示す情報、Ｂマーカー２１ｂの方向や傾きを示す情報等、算出された情報も記憶される。
【００３２】
画像仮想展開領域１４ｂ及び実画像保存領域１４ｃは、撮影された画像データが画素毎に記憶される記憶領域である。上述したように、各画素の画像データはＲ，Ｇ，Ｂの３つの成分を示すデータを有するので、画像仮想展開領域１４ｂ及び実画像保存領域１４ｃは、合成画像を構成する画素数の３倍の記憶領域を有している。
【００３３】
画像仮想展開領域１４ｂに記憶される画像データは、合成画像を生成する際には必要に応じて対応する画素の画像データが書き換えられる。そして、画像仮想展開領域１４ｂに画素毎に記憶された３つのデータは、各画素の画像データが書き換えられる場合には、Ｒ成分、Ｇ成分、Ｂ成分の各データがそれぞれ書き換えられる。一方、実画像保存領域１４ｃに記憶される実画像の画像データは、書き換えられることはないが、画像を解析する際に用いられる。画像仮想展開領域１４ｂ及び実画像保存領域１４ｃは、記憶領域が表示部１６または撮像部１０の素子と同様に配列されている必要はなく、各記憶領域の画像データが、表示部１６または撮像部１０の素子と対応づけられて記憶されていればよい。
【００３４】
制御部１２は、使用者により操作部１８が操作されることにより、撮像部１０や表示部１６を制御したり、撮影された実画像２０の画像データからマーカー２１を検出し、マーカー２１にて示される情報を解析する解析処理、解析された情報に基づいて、実画像２０と記憶部１４に記憶されている仮想画像２３とを合成する画像合成処理等の各種処理を実行する。
【００３５】
次に、本実施形態における制御部１２による画像合成方法について説明する。
本実施形態の画像合成方法は、画像合成装置１に設けられ、撮像部１０にて撮影するための操作部１８であるシャッターが操作されて処理が開始される。このとき、画像合成装置１が、デジタルカメラなどのように、単に実画像を撮影するときと、合成画像を生成するときとで処理を切り替えるスイッチが操作部１８に設けられていてもよい。また、常に合成画像を生成する処理が実行されるように設定されており、撮影された実画像にマーカー２１が検出されたときのみ合成画像を生成する処理を実行することとしてもよい。
【００３６】
第１実施形態は、前述したように、画像合成装置１の撮像部１０にて撮影するときに、撮影範囲Ｆ１内に、ＱＲコード(登録商標)やバーコードなどの情報を示す画像対応被写体としてのマーカー２１ａ、２１ｂが含まれる状態に応じて合成画像２４、２５を生成する。
【００３７】
図２は、第１実施形態の画像合成方法を説明するためのフローチャートである。
【００３８】
図３（ａ）は、最初の撮影範囲の状態を示す図であり、図３（ｂ）は、撮影範囲に筆記具が移動された状態を示す図であり、図３（ｃ）は、目印が付与された後の状態を示す図である。図４（ａ）は、第１合成画像を示す図であり、図４（ｂ）は、第２合成画像を示す図であり、図４（ｃ）は、第２合成画像に筆記具２７の先端の軌道を表した状態を示す図である。
【００３９】
使用者により図３（ａ）に示すように、撮影範囲Ｆ１内にＡマーカー２１ａを含ませてシャッターが操作されると、制御部１２は、撮像部１０にて施工対象壁３０を撮影し（Ｓ１）、撮影された実画像２０を構成する各画素の画像データを生成し、生成した画像データを記憶部１４の画像仮想展開領域１４ｂと実画像保存領域１４ｃとにそれぞれ記憶する（Ｓ２）。
【００４０】
また、制御部１２は実画像２０の撮影時に撮像部１０から取得した情報に基づき、一般的なカメラにも搭載されているオートフォーカス機構の原理を利用して、例えば、レンズの上半分と下半分にて生じる重心位置の違いを利用して被写体と、撮像部１０の視点位置との距離を計測し、計測した距離情報を情報記憶領域１４ａに記憶する。
【００４１】
次に制御部１２は、実画像保存領域１４ｃに記憶されている実画像２０の画像データに第１画像対応被写体としてのＡマーカー２１ａが撮影されているか否かを解析する（Ｓ３）。このとき、実画像２０の画像データにＡマーカー２１ａが撮影されていた場合には（Ｓ４）、Ａマーカー２１ａに対応づけられている情報を情報記憶領域１４ａから取得する（Ｓ５）。ここで、取得される情報には、Ａマーカー２１ａに対応づけられている仮想画像２３を特定する情報、撮影した実画像２０と仮想画像２３とを合成するための位置情報、等が含まれる。
【００４２】
また、このとき実画像保存領域１４ｃに記憶されている実画像２０の画像データを解析し、実画像２０の画像データにＡマーカー２１ａが撮影されていなかった場合には、画像仮想展開領域１４ｂに記憶されている実画像２０の画像データに基づいて、実画像２０が表示部１６に表示される（Ｓ１３）。
【００４３】
本実施形態の場合には、実画像保存領域１４ｃに記憶されている実画像２０の画像データを解析して（Ｓ３）、実画像２０の画像データにＡマーカー２１ａが検出され（Ｓ４）、Ａマーカー２１ａに対応づけられている情報が記憶部１４から取得される（Ｓ５）。このとき、撮影した実画像２０と合成する鉄筋仮想画像２３ａを特定する情報、鉄筋仮想画像２３ａを合成するための位置情報、すなわち、Ａマーカー２１ａの位置に位置あわせして鉄筋仮想画像２３ａが配置されることを示す情報が取得される（Ｓ５）。
【００４４】
次に制御部１２は、取得した情報に基づいて、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを、Ａマーカー２１ａに対応づけられて情報記憶領域１４ａに記憶されている鉄筋仮想画像２３ａの画像データに書き換えて第１合成画像２４を生成する（Ｓ６）。ここで、被写体を撮影する工程Ｓ１から実画像２０と鉄筋仮想画像２３ａとを合成する工程Ｓ６までが第１画像合成工程に相当する。
【００４５】
次に制御部１２は、実画像保存領域１４ｃに記憶されている実画像２０の画像データに第２画像対応被写体としてのＢマーカー２１ｂが撮影されているか否かを解析する（Ｓ７）。
【００４６】
本実施形態における最初の撮影では、図３（ａ）に示すように筆記具２７が撮影範囲Ｆ１に含まれていないので、画像仮想展開領域１４ｂにて合成されている図４(ａ)に示すような第１合成画像２４を表示部１６に表示する（Ｓ１３）。
【００４７】
このような、撮影工程Ｓ１から表示工程（Ｓ１３）までの処理を所定の時間間隔にて繰り返し実行する。たとえば、１秒間に１５回、上記処理を繰り返し表示部１６の画像を書き換えることにより、フレームレートが１５ｆｐｓの動画が表示部１６に表示される。
【００４８】
そして、使用者が、表面にＢマーカー２１ｂが設けられた筆記具２７を撮影範囲Ｆ１内に移動させると、繰り返される撮影の中で、図３（ｂ）に示すように、筆記具２７が撮影範囲Ｆ１内に含まれた実画像２０が撮影される。繰り返される撮影の間には、制御部１２は、上述した第１合成画像を生成する第１画像合成工程（Ｓ１〜Ｓ６）を実行しており、Ｂマーカー２１ｂが検出された際には、撮像部１０の視点位置とＢマーカー２１ｂとの距離も計測し、計測した距離情報を情報記憶領域１４ａに記憶する。
【００４９】
繰り返される撮影にて撮影毎に第１合成画像２４が形成された後に、制御部１２は、実画像保存領域１４ｃに記憶されている実画像２０の画像データに第２画像対応被写体としてのＢマーカー２１ｂが撮影されているか否かを解析する（Ｓ７）。このとき、実画像２０の画像データにはＢマーカー２１ｂが撮影されているので（Ｓ７）、Ｂマーカー２１ｂに対応づけられている情報を記憶部１４から取得する（Ｓ８）。また、このとき、撮影された筆記具２７は施工対象壁３０に目印を付与するために用いられているため、施工対象壁３０とは平行には配置されない。このため、制御部１２は、撮像時に特定したＢマーカー２１ｂの位置、Ｂマーカー２１ｂの幅や傾き、撮影時に計測した距離、に基づいて、Ｂマーカー２１ｂに対応づけられているペン型仮想画像２３ｂの画像データを筆記具２７実体の向きに合わせる補正処理を実行する（Ｓ９）。
【００５０】
次に制御部１２は、補正処理したペン型仮想画像２３ｂの画像データが合成される画素をＢマーカー２１ｂの位置に基づいて特定し、画像仮想展開領域１４ｂに記憶されている第１合成画像の対象となる画素の画像データを、補正処理したペン型仮想画像２３ｂの画像データに書き換えて図４（ｂ）に示すような第２合成画像２５を生成する（Ｓ１０）。ここで、Ｂマーカー２１ｂを検出する工程Ｓ７から第１合成画像と補正後のペン型仮想画像２３ｂとを合成する工程Ｓ１０までが第２画像合成工程に相当する。
【００５１】
このとき、制御部１２は、色変更スイッチにより信号が入力されたか否かを検出している（Ｓ１１）。そして、使用者が、ペン型仮想画像２３ｂの先端が所望の位置、すなわち目印を付与したい位置に配置されたときに、色変更スイッチを操作すると、制御部１２は、色変更スイッチにより信号が入力されたことを検出して（Ｓ１１）、画像仮想展開領域１４ｂに記憶されている第２合成画像２５のペン型仮想画像２３ｂにおける先端の位置に対応する画素の画像データを黒色に変更する（Ｓ１２）。
【００５２】
そして、画像仮想展開領域１４ｂにて合成されている図４（ｂ）に示すような第２合成画像２５を表示部１６に表示する（Ｓ１３）。
【００５３】
その後、使用者が筆記具２７を移動させると、表示部１６上にて筆記具２７の軌道に対応したペン型仮想画像２３ｂの移動が表示され、ペン型仮想画像２３ｂの先端の軌道に伴って黒色に変更された画素のデータが連なって図４（ｃ）に示すような目印を示す画像２８が表示される。すなわち、使用者が撮影範囲Ｆ１内にて筆記具２７を移動させると、ペン型仮想画像２３ｂも連動して移動するので、施工対象壁３０の内部を見ているかのような状態にて、筆記具２７を移動させているような画像が表示される。そして、使用者が所望の位置にて筆記具２７を施工対象壁３０に接触させることにより、図３（ｃ）に示す等に、施工対象壁３０に現実に目印２６を付与することが可能である。
【００５４】
本実施形態の画像合成方法によれば、鉄筋仮想画像２３ａが対応づけられたＡマーカー２１ａを撮影して、撮影された実画像２０と鉄筋仮想画像２３ａとを合成した第１合成画像２４の範囲内にて、第１合成画像２４と合成可能な合成要素としてのペン型仮想画像２３ｂが対応づけられたＢマーカー２１ｂを検出したときには、ペン型仮想画像２３ｂを第１合成画像２４と合成して第２合成画像２５を生成するので、実画像、鉄筋仮想画像２３ａ、及び、ペン型仮想画像２３ｂを合成した第２合成画像２５を生成することが可能である。このため、実画像２０に鉄筋仮想画像２３ａが合成された第１合成画像２４に、検出されたＢマーカー２１ｂに対応づけられたペン型仮想画像２３ｂを合成することにより、生成される第２合成画像２５に、現実の部位における実際の変化を反映させることが可能である。
【００５５】
このため、例えば上記のように、施工対象壁に貫通孔を施工しようとする場合に、施工対象壁３０の内部に埋設されている鉄筋３１を傷つけることがないような位置を容易に特定することが可能である。
【００５６】
また、実画像２０、鉄筋仮想画像２３ａが合成された第１合成画像２４の範囲内に、Ｂマーカー２１ｂが設けられた移動可能な筆記具２７が検出された場合には、Ｂマーカー２１ｂが設けられている筆記具２７のペン型仮想画像２３ｂが第１合成画像２４に合成されるので、鉄筋仮想画像２３ａと合成された実画像２０上に、現実に存在している筆記具２７をイメージさせる第２合成画像２５を合成することが可能である。
【００５７】
上記実施形態においては、第１合成画像２４に合成可能な合成要素をペン型仮想画像２３ｂとしたが、これに限るものではない。たとえば、撮影された実画像２０の筆記具２７に相当する部位でなる筆記具２７の実画像の画像データを合成要素として第１合成画像２４に合成してもよい。
【００５８】
図５は、合成要素を筆記具の先端の軌道に合わせて鉄筋仮想画像を取り除く領域を示す図形とした例を示す図である。
【００５９】
また、合成要素を、筆記具２７の先端の周囲を、筆記具２７の先端の軌道に合わせて、第１合成画像から鉄筋仮想画像２３ａを取り除く領域を示す、図５に示すような図形２９としても構わない。この場合には、鉄筋仮想画像２３ａが取り除かれた部位に施工対象壁３０が表示されるので、実際に施工対象壁３０に付与された目印２６を表示部１６上で視認することが可能である。また、鉄筋仮想画像２３ａを取り除く領域を示す図形の形状を、筆記具２７を示す形状としてもよい。この場合には、筆記具２７の形状に鉄筋仮想画像２３ａが取り除かれるので、第２合成画像２５上に、筆記具２７をイメージすることが可能であるとともに、鉄筋仮想画像２３ａと合成された第２合成画像２５であっても、筆記具２７が存在する位置では実画像が見えるような第２合成画像２５を生成することが可能である。
【００６０】
上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはいうまでもない。
【００６１】
上記実施形態では、最初は撮影範囲Ｆ１に筆記具２７が含まれていない例について説明したが、最初から撮影範囲Ｆ１に筆記具２７が含まれていてもよい。
【００６２】
また、上記実施形態においては、筆記具２７の先端の軌道に対応させて筆記具２７の先端が位置する画素の色を変更する処理の開始を操作部１８に設けた色変更スイッチの操作としたが、これに限るものではない。たとえば、筆記具に送信部と送信スイッチを備え、画像合成装置に受信部を備えた構成とし、たとえば、筆記具にて目印を付与する際に送信スイッチを操作すると画像合成装置が赤外線などによる信号を受信して処理を実行することとしてもよい。また、筆記具と画像合成装置とをケーブルにて接続して筆記具での操作により処理の開始信号が画像合成装置に送信されることとしてもよい。さらに、圧力センサー等を用いて使用者が目印を付与する動作を検出したときに処理が開始されるように構成してもよい。
【００６３】
上記実施形態において説明した、筆記具２７の先端の軌道に対応させて筆記具２７の先端が位置する画素の色を変更する処理は、筆記具２７の先端の周囲を、筆記具２７の先端の軌道に合わせて、第１合成画像から鉄筋仮想画像２３ａを取り除く場合であっても、鉄筋仮想画像上に反映させた合成画像を、画像仮想展開領域とは別に、記憶部に記憶しておくこととしてもよい。これは、たとえば、施工対象壁に目印を付した後に筆記具を移動させた場合に、鉄筋仮想画像が取り除かれる領域も移動することにより、施工対象壁に実際に目印を付した部位が鉄筋仮想画像にて覆われて、施工対象壁上の目印の位置がわからなくなってしまうことを防止するためである。すなわち、目印を付した後に筆記具を移動して、施工対象壁に実際に目印を付した部位が鉄筋仮想画像にて覆われてしまった場合には、鉄筋仮想画像上の目印を表示できるようにするためである。
【００６４】
上記実施形態では、動画を表示する例について説明したが、シャッターを操作する毎に静止画像を表示する形態であっても構わない。
【符号の説明】
【００６５】
１ 画像合成装置
１０ 撮像部
１２ 制御部
１４ 記憶部
１４ａ 情報記憶領域
１４ｂ 画像仮想展開領域
１４ｃ 実画像保存領域
１６ 表示部
１８ 操作部
２０ 実画像
２１ マーカー
２１ａ Ａマーカー
２１ｂ Ｂマーカー
２３ 仮想画像
２３ａ 鉄筋仮想画像
２３ｂ ペン型仮想画像
２４ 第１合成画像
２５ 第２合成画像
２６ 目印
２７ 筆記具
２８ 目印を示す画像
２９ 仮想画像を取り除く領域を示す図形
３０ 施工対象壁
３１ 鉄筋
Ｆ１ 撮影範囲
【技術分野】
【０００１】
本発明は、撮影した実画像と生成した仮想画像とを合成する画像合成方法に関する。
【背景技術】
【０００２】
撮影した実画像と生成した仮想画像とを合成する画像合成方法としては、例えば、撮影した撮影画像に含まれる特定の被写体と対応づけられた仮想画像などの付加画像を、特定の被写体の位置に応じて撮影画像上に配置して合成画像を生成する画像合成方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０―１８７０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の画像合成方法は、実画像と仮想画像とを合成した合成画像では仮想画像が重ねられている現実の物は、仮想画像により隠されて見ることができないため、現実の物にて生じている変化を確認することができないという課題がある。
【０００５】
本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、実画像に仮想画像が合成された合成画像において、現実の部位における実際の変化を合成画像上にて確認することが可能な画像合成方法を提供することにある。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために本発明の画像合成方法は、仮想画像が対応づけられた第１画像対応被写体を含む撮影範囲を撮影して、撮影された実画像と前記仮想画像とを合成して第１合成画像を生成する第１画像合成工程と、前記撮影範囲内に、前記第１合成画像と合成可能な合成要素が対応づけられた第２画像対応被写体を検出したときに、前記合成要素を前記第１合成画像に合成して第２合成画像を生成する第２画像合成工程と、を有することを特徴とする画像合成方法である。
【０００７】
このような画像合成方法によれば、仮想画像が対応づけられた第１画像対応被写体を含む撮影範囲内に第２画像対応被写体を検出したときに、撮影された実画像と仮想画像とが合成された第１合成画像と合成要素とを合成した第２合成画像を生成するので、実画像に仮想画像が合成された第１合成画像上に、現実の変化に応じた合成要素を合成することが可能である。このため、実画像に仮想画像が合成された第１合成画像に、検出された第２画像対応被写体に対応づけられた合成要素を合成することにより、生成される合成画像に現実の部位における実際の変化を反映させることが可能である。
【０００８】
かかる画像合成方法であって、前記第２画像対応被写体は、移動可能な部材に設けられており、前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材を示す第２の仮想画像であることが望ましい。
【０００９】
このような画像合成方法によれば、実画像、仮想画像が合成された第１合成画像の範囲内に、第２画像対応被写体が設けられた移動可能な部材が検出された場合には、第２画像対応被写体が設けられている部材の仮想画像が第１合成画像に合成されるので、仮想画像と合成された実画像上に、現実に存在している部材をイメージさせる第２の仮想画像を合成することが可能である。
【００１０】
かかる画像合成方法であって、前記第２画像対応被写体は、移動可能な部材に設けられており、前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材の実画像であることが望ましい。
【００１１】
このような画像合成方法によれば、実画像、仮想画像が合成された第１合成画像の範囲内に、第２画像対応被写体が設けられた移動可能な部材が検出された場合には、第２画像対応被写体が設けられている部材の実画像が第１合成画像に合成されるので、仮想画像と合成された実画像上に、現実に存在している部材の実画像を合成することが可能である。
【００１２】
かかる画像合成方法であって、前記第２画像対応被写体は、移動可能な部材に設けられており、前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材に対応づけた位置において前記仮想画像を取り除く領域を示す図形であることが望ましい。
【００１３】
このような画像合成方法によれば、実画像、仮想画像が合成された第１合成画像の範囲内に、第２画像対応被写体が設けられた移動可能な部材が検出された場合には、第２画像対応被写体が設けられている部材に対応づけられた位置において、仮想画像が設定された図形の形状に取り除かれるので、仮想画像と合成された実画像であっても、第２画像対応被写体が設けられている部材に対応づけた位置の仮想画像を取り除き、取り除いた部位の実画像が見えるような第２合成画像を生成することが可能である。
【００１４】
かかる画像合成方法であって、前記第２画像対応被写体は、移動可能な部材に設けられており、前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材の形状に前記仮想画像を取り除く領域を示す図形であることが望ましい。
【００１５】
このような画像合成方法によれば、実画像、仮想画像が合成された第１合成画像の範囲内に、第２画像対応被写体が設けられた移動可能な部材が検出された場合には、第２画像対応被写体が設けられている部材の形状に仮想画像が取り除かれるので、第２合成画像上に、第２画像対応被写体が設けられている部材をイメージすることが可能であるとともに、仮想画像と合成された実画像であっても、第２画像対応被写体が設けられている部材が存在する位置では実画像が見えるような第２合成画像を生成することが可能である。
【００１６】
かかる画像合成方法であって、前記移動可能な部材は筆記具であり、前記筆記具が移動する軌道に基づいて前記第２合成画像を変更することが望ましい。
【００１７】
このような画像合成方法によれば、筆記具が移動する軌道に基づいて第２合成画像が変更されるので、筆記具にて描かれたものを第２合成画像上に反映させることが可能である。
【発明の効果】
【００１８】
本発明によれば、実画像に仮想画像が合成された合成画像において、現実の部位における実際の変化を合成画像上にて確認することが可能な画像合成方法を提供することが可能である。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【図２】本実施形態の画像合成方法を説明するためのフローチャートである。
【図３】図３（ａ）は、最初の撮影範囲の状態を示す図であり、図３（ｂ）は、撮影範囲内に筆記具が移動された撮影範囲の状態を示す図であり、図３（ｃ）は、目印が付与された後の状態を示す図である。
【図４】図４（ａ）は、第１合成画像を示す図であり、図４（ｂ）は、第２合成画像を示す図であり、図４（ｃ）は、第２合成画像に筆記具の先端の軌道を追加した状態を示す図である。
【図５】合成要素を筆記具の先端の軌道に合わせて鉄筋仮想画像を取り除く領域を示す図形とした例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について図面を用いて詳細に説明する。
実施形態の画像合成方法は、予め生成されている仮想画像の情報が対応づけられた画像対応被写体を含む撮影範囲を画像合成装置にて撮影し、撮影された画像対応被写体の情報に基づく仮想画像と、撮影した実画像とを合成して第１合成画像を生成し、第１合成画像の撮影範囲内に、第１合成画像と合成可能な合成要素が対応づけられた第２画像対応被写体を検出したときに、当該合成要素を第１合成画像に合成して第２合成画像を生成するものである。
【００２１】
本実施形態では、例えば内部に鉄筋が配筋された壁に貫通孔を形成する際に実施する例について説明する。具体的には、施工対象となる壁の配筋工事時における壁内部の鉄筋の状態を撮影した写真を鉄筋仮想画像として予め記憶しておき、施工対象となる壁を連続して撮影した実画像に鉄筋仮想画像を合成した第１合成画像を撮影毎に生成し、合成画像内に油性ペンなどの移動可能な部材としての筆記具が移動された際に、筆記具に対応づけられた合成要素としてのペン形状をなすペン型仮想画像を筆記具の動きに対応させて第１合成画像と合成した第２合成画像を生成する例について説明する。
【００２２】
図１は、本実施形態に係る画像合成方法を実現するための装置の一例を示すブロック図である。
本実施形態の画像合成方法を実現するための画像合成装置１は、被写体を撮影する撮像部１０と、撮影した被写体の実画像と予め形成されている仮想画像とを合成する処理を含み画像合成装置１を制御する制御部１２と、画像を合成するために必要な各種情報やデータが記憶される記憶部１４と、合成された合成画像を表示する表示部１６と、本画像合成装置１を操作するための操作部１８と、を有している。
【００２３】
本実施形態の画像合成装置１は、例えば、撮像部１０と、撮影した画像を表示する表示部１６とを有し持ち運び可能な、例えばデジタルカメラ、デジタルビデオカメラ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルコンピュータなどに、画像合成処理が実行可能なプログラムが記憶されている。
【００２４】
そして、画像合成装置１の使用者が、被写体を撮影すると、表示部１６に撮影された実画像が表示される。このとき、撮影された実画像２０（図４）に、予め設定された、例えば、ＱＲコード(登録商標)やバーコードなどの、所定の合成情報を示す画像対応被写体としてのマーカー２１が含まれていた場合には、マーカー２１を検出して合成情報を取得し、取得した合成情報に基づいて、撮影した実画像２０と予め記憶されている仮想画像２３（図４）とを合成した合成画像２４、２５（図４）を生成し、生成した合成画像２４、２５が表示部１６に表示されるように構成されている。
【００２５】
第１実施形態では、２種類のマーカー２１が設けられている。以下、説明の便宜上、２種類のマーカーをＡマーカー２１ａとＢマーカー２１ｂとして区別して説明する。２種類のマーカー２１の一方は、第１画像対応被写体としてのＡマーカー２１ａであり、貫通孔を形成する対象となる壁（以下、施工対象壁という）３０の配筋工事時における内部の鉄筋３１の状態を撮影した写真でなる鉄筋仮想画像２３ａが対応づけられている。２種類のマーカー２１の他方は、第２画像対応被写体としてのＢマーカー２１ｂであり、施工対象壁３０に目印２６を付与するための筆記具２７を模したペン型仮想画像２３ｂが対応づけられている。
【００２６】
Ａマーカー２１ａは、施工対象壁３０の予め設定された所定の位置に正確に計測されて配置されており、Ａマーカー２１ａが設けられている位置情報及びＡマーカー２１ａと鉄筋仮想画像２３ａとの相対位置を示す位置情報とが対応づけられて記憶されている。Ｂマーカー２１ｂは、筆記具２７の表面に設けられており、筆記具２７上のＢマーカー２１ｂの位置と筆記具２７の先端との距離を示す情報が対応づけられて記憶されている。
【００２７】
撮像部１０は、例えば、デジタルカメラやデジタルビデオカメラのような、撮影により、画像を構成する複数の画素の各画像データを生成するＣＣＤセンサーなどの撮像素子により、光情報を電気情報に変換するように構成されている。
【００２８】
表示部１６は、画像を構成する複数の画素の画像データを、各素子に対応させて表示することが可能な、例えば液晶パネルなどにて構成されている。ここで、各画素の画像データとは、例えば、各画素をＲ（レッド）成分、Ｇ（グリーン）成分、Ｂ（ブルー）成分に分解した各成分を示すデータである。
【００２９】
操作部１８は、画像合成装置１を使用する使用者が、画像合成装置１に対し撮影等の操作を行ったり、設定を変更するなどの操作を行う部位であり、少なくとも実画像２０を撮影するための所謂シャッター、及び、筆記具２７の先端に対応する画素の画像データの色を変更するための色変更スイッチを有している。色変更スイッチは、例えば、使用者が操作部１８を操作することにより、ペン型仮想画像２３ｂにおける先端の位置に対応する画素の画像データを所定の色、例えば黒色に変更することができるように設定されている。
【００３０】
記憶部１４は、本画像合成装置１にて合成画像を生成するための各種情報が記憶されており、また、情報が記憶される情報記憶領域１４ａと、合成画像を生成する処理の中で画像データが書き換えられていく作業領域となる画像仮想展開領域１４ｂと、撮影した実画像の画像データを、次の撮影による実画像の画像データが生成されるまで保存しておく実画像保存領域１４ｃとを有している。
【００３１】
情報記憶領域１４ａには、被写体に含まれているＡマーカー２１ａに対応づけられた鉄筋仮想画像２３ａを特定する情報、Ｂマーカー２１ｂに対応づけられたペン型仮想画像２３ｂを特定する情報、鉄筋仮想画像２３ａおよびペン型仮想画像２３ｂの画像データ、鉄筋仮想画像２３ａの実画像２０に対して配置すべき位置を示す位置情報、ペン型仮想画像２３ｂをＢマーカー２１ｂと連動させて配置することを示す位置情報、ペン型仮想画像２３ｂのＢマーカー２１ｂと先端との距離を示す情報などの合成情報が記憶されている。また、情報記憶領域１４ａには、撮影時に測定された撮像部１０の視点から被写体までの距離を示す情報、Ｂマーカー２１ｂの方向や傾きを示す情報等、算出された情報も記憶される。
【００３２】
画像仮想展開領域１４ｂ及び実画像保存領域１４ｃは、撮影された画像データが画素毎に記憶される記憶領域である。上述したように、各画素の画像データはＲ，Ｇ，Ｂの３つの成分を示すデータを有するので、画像仮想展開領域１４ｂ及び実画像保存領域１４ｃは、合成画像を構成する画素数の３倍の記憶領域を有している。
【００３３】
画像仮想展開領域１４ｂに記憶される画像データは、合成画像を生成する際には必要に応じて対応する画素の画像データが書き換えられる。そして、画像仮想展開領域１４ｂに画素毎に記憶された３つのデータは、各画素の画像データが書き換えられる場合には、Ｒ成分、Ｇ成分、Ｂ成分の各データがそれぞれ書き換えられる。一方、実画像保存領域１４ｃに記憶される実画像の画像データは、書き換えられることはないが、画像を解析する際に用いられる。画像仮想展開領域１４ｂ及び実画像保存領域１４ｃは、記憶領域が表示部１６または撮像部１０の素子と同様に配列されている必要はなく、各記憶領域の画像データが、表示部１６または撮像部１０の素子と対応づけられて記憶されていればよい。
【００３４】
制御部１２は、使用者により操作部１８が操作されることにより、撮像部１０や表示部１６を制御したり、撮影された実画像２０の画像データからマーカー２１を検出し、マーカー２１にて示される情報を解析する解析処理、解析された情報に基づいて、実画像２０と記憶部１４に記憶されている仮想画像２３とを合成する画像合成処理等の各種処理を実行する。
【００３５】
次に、本実施形態における制御部１２による画像合成方法について説明する。
本実施形態の画像合成方法は、画像合成装置１に設けられ、撮像部１０にて撮影するための操作部１８であるシャッターが操作されて処理が開始される。このとき、画像合成装置１が、デジタルカメラなどのように、単に実画像を撮影するときと、合成画像を生成するときとで処理を切り替えるスイッチが操作部１８に設けられていてもよい。また、常に合成画像を生成する処理が実行されるように設定されており、撮影された実画像にマーカー２１が検出されたときのみ合成画像を生成する処理を実行することとしてもよい。
【００３６】
第１実施形態は、前述したように、画像合成装置１の撮像部１０にて撮影するときに、撮影範囲Ｆ１内に、ＱＲコード(登録商標)やバーコードなどの情報を示す画像対応被写体としてのマーカー２１ａ、２１ｂが含まれる状態に応じて合成画像２４、２５を生成する。
【００３７】
図２は、第１実施形態の画像合成方法を説明するためのフローチャートである。
【００３８】
図３（ａ）は、最初の撮影範囲の状態を示す図であり、図３（ｂ）は、撮影範囲に筆記具が移動された状態を示す図であり、図３（ｃ）は、目印が付与された後の状態を示す図である。図４（ａ）は、第１合成画像を示す図であり、図４（ｂ）は、第２合成画像を示す図であり、図４（ｃ）は、第２合成画像に筆記具２７の先端の軌道を表した状態を示す図である。
【００３９】
使用者により図３（ａ）に示すように、撮影範囲Ｆ１内にＡマーカー２１ａを含ませてシャッターが操作されると、制御部１２は、撮像部１０にて施工対象壁３０を撮影し（Ｓ１）、撮影された実画像２０を構成する各画素の画像データを生成し、生成した画像データを記憶部１４の画像仮想展開領域１４ｂと実画像保存領域１４ｃとにそれぞれ記憶する（Ｓ２）。
【００４０】
また、制御部１２は実画像２０の撮影時に撮像部１０から取得した情報に基づき、一般的なカメラにも搭載されているオートフォーカス機構の原理を利用して、例えば、レンズの上半分と下半分にて生じる重心位置の違いを利用して被写体と、撮像部１０の視点位置との距離を計測し、計測した距離情報を情報記憶領域１４ａに記憶する。
【００４１】
次に制御部１２は、実画像保存領域１４ｃに記憶されている実画像２０の画像データに第１画像対応被写体としてのＡマーカー２１ａが撮影されているか否かを解析する（Ｓ３）。このとき、実画像２０の画像データにＡマーカー２１ａが撮影されていた場合には（Ｓ４）、Ａマーカー２１ａに対応づけられている情報を情報記憶領域１４ａから取得する（Ｓ５）。ここで、取得される情報には、Ａマーカー２１ａに対応づけられている仮想画像２３を特定する情報、撮影した実画像２０と仮想画像２３とを合成するための位置情報、等が含まれる。
【００４２】
また、このとき実画像保存領域１４ｃに記憶されている実画像２０の画像データを解析し、実画像２０の画像データにＡマーカー２１ａが撮影されていなかった場合には、画像仮想展開領域１４ｂに記憶されている実画像２０の画像データに基づいて、実画像２０が表示部１６に表示される（Ｓ１３）。
【００４３】
本実施形態の場合には、実画像保存領域１４ｃに記憶されている実画像２０の画像データを解析して（Ｓ３）、実画像２０の画像データにＡマーカー２１ａが検出され（Ｓ４）、Ａマーカー２１ａに対応づけられている情報が記憶部１４から取得される（Ｓ５）。このとき、撮影した実画像２０と合成する鉄筋仮想画像２３ａを特定する情報、鉄筋仮想画像２３ａを合成するための位置情報、すなわち、Ａマーカー２１ａの位置に位置あわせして鉄筋仮想画像２３ａが配置されることを示す情報が取得される（Ｓ５）。
【００４４】
次に制御部１２は、取得した情報に基づいて、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを、Ａマーカー２１ａに対応づけられて情報記憶領域１４ａに記憶されている鉄筋仮想画像２３ａの画像データに書き換えて第１合成画像２４を生成する（Ｓ６）。ここで、被写体を撮影する工程Ｓ１から実画像２０と鉄筋仮想画像２３ａとを合成する工程Ｓ６までが第１画像合成工程に相当する。
【００４５】
次に制御部１２は、実画像保存領域１４ｃに記憶されている実画像２０の画像データに第２画像対応被写体としてのＢマーカー２１ｂが撮影されているか否かを解析する（Ｓ７）。
【００４６】
本実施形態における最初の撮影では、図３（ａ）に示すように筆記具２７が撮影範囲Ｆ１に含まれていないので、画像仮想展開領域１４ｂにて合成されている図４(ａ)に示すような第１合成画像２４を表示部１６に表示する（Ｓ１３）。
【００４７】
このような、撮影工程Ｓ１から表示工程（Ｓ１３）までの処理を所定の時間間隔にて繰り返し実行する。たとえば、１秒間に１５回、上記処理を繰り返し表示部１６の画像を書き換えることにより、フレームレートが１５ｆｐｓの動画が表示部１６に表示される。
【００４８】
そして、使用者が、表面にＢマーカー２１ｂが設けられた筆記具２７を撮影範囲Ｆ１内に移動させると、繰り返される撮影の中で、図３（ｂ）に示すように、筆記具２７が撮影範囲Ｆ１内に含まれた実画像２０が撮影される。繰り返される撮影の間には、制御部１２は、上述した第１合成画像を生成する第１画像合成工程（Ｓ１〜Ｓ６）を実行しており、Ｂマーカー２１ｂが検出された際には、撮像部１０の視点位置とＢマーカー２１ｂとの距離も計測し、計測した距離情報を情報記憶領域１４ａに記憶する。
【００４９】
繰り返される撮影にて撮影毎に第１合成画像２４が形成された後に、制御部１２は、実画像保存領域１４ｃに記憶されている実画像２０の画像データに第２画像対応被写体としてのＢマーカー２１ｂが撮影されているか否かを解析する（Ｓ７）。このとき、実画像２０の画像データにはＢマーカー２１ｂが撮影されているので（Ｓ７）、Ｂマーカー２１ｂに対応づけられている情報を記憶部１４から取得する（Ｓ８）。また、このとき、撮影された筆記具２７は施工対象壁３０に目印を付与するために用いられているため、施工対象壁３０とは平行には配置されない。このため、制御部１２は、撮像時に特定したＢマーカー２１ｂの位置、Ｂマーカー２１ｂの幅や傾き、撮影時に計測した距離、に基づいて、Ｂマーカー２１ｂに対応づけられているペン型仮想画像２３ｂの画像データを筆記具２７実体の向きに合わせる補正処理を実行する（Ｓ９）。
【００５０】
次に制御部１２は、補正処理したペン型仮想画像２３ｂの画像データが合成される画素をＢマーカー２１ｂの位置に基づいて特定し、画像仮想展開領域１４ｂに記憶されている第１合成画像の対象となる画素の画像データを、補正処理したペン型仮想画像２３ｂの画像データに書き換えて図４（ｂ）に示すような第２合成画像２５を生成する（Ｓ１０）。ここで、Ｂマーカー２１ｂを検出する工程Ｓ７から第１合成画像と補正後のペン型仮想画像２３ｂとを合成する工程Ｓ１０までが第２画像合成工程に相当する。
【００５１】
このとき、制御部１２は、色変更スイッチにより信号が入力されたか否かを検出している（Ｓ１１）。そして、使用者が、ペン型仮想画像２３ｂの先端が所望の位置、すなわち目印を付与したい位置に配置されたときに、色変更スイッチを操作すると、制御部１２は、色変更スイッチにより信号が入力されたことを検出して（Ｓ１１）、画像仮想展開領域１４ｂに記憶されている第２合成画像２５のペン型仮想画像２３ｂにおける先端の位置に対応する画素の画像データを黒色に変更する（Ｓ１２）。
【００５２】
そして、画像仮想展開領域１４ｂにて合成されている図４（ｂ）に示すような第２合成画像２５を表示部１６に表示する（Ｓ１３）。
【００５３】
その後、使用者が筆記具２７を移動させると、表示部１６上にて筆記具２７の軌道に対応したペン型仮想画像２３ｂの移動が表示され、ペン型仮想画像２３ｂの先端の軌道に伴って黒色に変更された画素のデータが連なって図４（ｃ）に示すような目印を示す画像２８が表示される。すなわち、使用者が撮影範囲Ｆ１内にて筆記具２７を移動させると、ペン型仮想画像２３ｂも連動して移動するので、施工対象壁３０の内部を見ているかのような状態にて、筆記具２７を移動させているような画像が表示される。そして、使用者が所望の位置にて筆記具２７を施工対象壁３０に接触させることにより、図３（ｃ）に示す等に、施工対象壁３０に現実に目印２６を付与することが可能である。
【００５４】
本実施形態の画像合成方法によれば、鉄筋仮想画像２３ａが対応づけられたＡマーカー２１ａを撮影して、撮影された実画像２０と鉄筋仮想画像２３ａとを合成した第１合成画像２４の範囲内にて、第１合成画像２４と合成可能な合成要素としてのペン型仮想画像２３ｂが対応づけられたＢマーカー２１ｂを検出したときには、ペン型仮想画像２３ｂを第１合成画像２４と合成して第２合成画像２５を生成するので、実画像、鉄筋仮想画像２３ａ、及び、ペン型仮想画像２３ｂを合成した第２合成画像２５を生成することが可能である。このため、実画像２０に鉄筋仮想画像２３ａが合成された第１合成画像２４に、検出されたＢマーカー２１ｂに対応づけられたペン型仮想画像２３ｂを合成することにより、生成される第２合成画像２５に、現実の部位における実際の変化を反映させることが可能である。
【００５５】
このため、例えば上記のように、施工対象壁に貫通孔を施工しようとする場合に、施工対象壁３０の内部に埋設されている鉄筋３１を傷つけることがないような位置を容易に特定することが可能である。
【００５６】
また、実画像２０、鉄筋仮想画像２３ａが合成された第１合成画像２４の範囲内に、Ｂマーカー２１ｂが設けられた移動可能な筆記具２７が検出された場合には、Ｂマーカー２１ｂが設けられている筆記具２７のペン型仮想画像２３ｂが第１合成画像２４に合成されるので、鉄筋仮想画像２３ａと合成された実画像２０上に、現実に存在している筆記具２７をイメージさせる第２合成画像２５を合成することが可能である。
【００５７】
上記実施形態においては、第１合成画像２４に合成可能な合成要素をペン型仮想画像２３ｂとしたが、これに限るものではない。たとえば、撮影された実画像２０の筆記具２７に相当する部位でなる筆記具２７の実画像の画像データを合成要素として第１合成画像２４に合成してもよい。
【００５８】
図５は、合成要素を筆記具の先端の軌道に合わせて鉄筋仮想画像を取り除く領域を示す図形とした例を示す図である。
【００５９】
また、合成要素を、筆記具２７の先端の周囲を、筆記具２７の先端の軌道に合わせて、第１合成画像から鉄筋仮想画像２３ａを取り除く領域を示す、図５に示すような図形２９としても構わない。この場合には、鉄筋仮想画像２３ａが取り除かれた部位に施工対象壁３０が表示されるので、実際に施工対象壁３０に付与された目印２６を表示部１６上で視認することが可能である。また、鉄筋仮想画像２３ａを取り除く領域を示す図形の形状を、筆記具２７を示す形状としてもよい。この場合には、筆記具２７の形状に鉄筋仮想画像２３ａが取り除かれるので、第２合成画像２５上に、筆記具２７をイメージすることが可能であるとともに、鉄筋仮想画像２３ａと合成された第２合成画像２５であっても、筆記具２７が存在する位置では実画像が見えるような第２合成画像２５を生成することが可能である。
【００６０】
上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはいうまでもない。
【００６１】
上記実施形態では、最初は撮影範囲Ｆ１に筆記具２７が含まれていない例について説明したが、最初から撮影範囲Ｆ１に筆記具２７が含まれていてもよい。
【００６２】
また、上記実施形態においては、筆記具２７の先端の軌道に対応させて筆記具２７の先端が位置する画素の色を変更する処理の開始を操作部１８に設けた色変更スイッチの操作としたが、これに限るものではない。たとえば、筆記具に送信部と送信スイッチを備え、画像合成装置に受信部を備えた構成とし、たとえば、筆記具にて目印を付与する際に送信スイッチを操作すると画像合成装置が赤外線などによる信号を受信して処理を実行することとしてもよい。また、筆記具と画像合成装置とをケーブルにて接続して筆記具での操作により処理の開始信号が画像合成装置に送信されることとしてもよい。さらに、圧力センサー等を用いて使用者が目印を付与する動作を検出したときに処理が開始されるように構成してもよい。
【００６３】
上記実施形態において説明した、筆記具２７の先端の軌道に対応させて筆記具２７の先端が位置する画素の色を変更する処理は、筆記具２７の先端の周囲を、筆記具２７の先端の軌道に合わせて、第１合成画像から鉄筋仮想画像２３ａを取り除く場合であっても、鉄筋仮想画像上に反映させた合成画像を、画像仮想展開領域とは別に、記憶部に記憶しておくこととしてもよい。これは、たとえば、施工対象壁に目印を付した後に筆記具を移動させた場合に、鉄筋仮想画像が取り除かれる領域も移動することにより、施工対象壁に実際に目印を付した部位が鉄筋仮想画像にて覆われて、施工対象壁上の目印の位置がわからなくなってしまうことを防止するためである。すなわち、目印を付した後に筆記具を移動して、施工対象壁に実際に目印を付した部位が鉄筋仮想画像にて覆われてしまった場合には、鉄筋仮想画像上の目印を表示できるようにするためである。
【００６４】
上記実施形態では、動画を表示する例について説明したが、シャッターを操作する毎に静止画像を表示する形態であっても構わない。
【符号の説明】
【００６５】
１ 画像合成装置
１０ 撮像部
１２ 制御部
１４ 記憶部
１４ａ 情報記憶領域
１４ｂ 画像仮想展開領域
１４ｃ 実画像保存領域
１６ 表示部
１８ 操作部
２０ 実画像
２１ マーカー
２１ａ Ａマーカー
２１ｂ Ｂマーカー
２３ 仮想画像
２３ａ 鉄筋仮想画像
２３ｂ ペン型仮想画像
２４ 第１合成画像
２５ 第２合成画像
２６ 目印
２７ 筆記具
２８ 目印を示す画像
２９ 仮想画像を取り除く領域を示す図形
３０ 施工対象壁
３１ 鉄筋
Ｆ１ 撮影範囲
【特許請求の範囲】
【請求項１】
仮想画像が対応づけられた第１画像対応被写体を含む撮影範囲を撮影して、撮影された実画像と前記仮想画像とを合成して第１合成画像を生成する第１画像合成工程と、
前記撮影範囲内に、前記第１合成画像と合成可能な合成要素が対応づけられた第２画像対応被写体を検出したときに、前記合成要素を前記第１合成画像に合成して第２合成画像を生成する第２画像合成工程と、
を有することを特徴とする画像合成方法。
【請求項２】
請求項１に記載の画像合成方法であって、
前記第２画像対応被写体は、移動可能な部材に設けられており、
前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材を示す第２の仮想画像であることを特徴とする画像合成方法。
【請求項３】
請求項１に記載の画像合成方法であって、
前記第２画像対応被写体は、移動可能な部材に設けられており、
前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材の実画像であることを特徴とする画像合成方法。
【請求項４】
請求項１に記載の画像合成方法であって、
前記第２画像対応被写体は、移動可能な部材に設けられており、
前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材に対応づけた位置おいて前記仮想画像を取り除く領域を示す図形であることを特徴とする画像合成方法。
【請求項５】
請求項１に記載の画像合成方法であって、
前記第２画像対応被写体は、移動可能な部材に設けられており、
前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材の形状に前記仮想画像を取り除く領域を示す図形であることを特徴とする画像合成方法。
【請求項６】
請求項２乃至請求項５のいずれかに記載の画像合成方法であって、
前記移動可能な部材は筆記具であり、
前記筆記具が移動する軌道に基づいて前記第２合成画像を変更することを特徴とする画像合成方法。
【請求項１】
仮想画像が対応づけられた第１画像対応被写体を含む撮影範囲を撮影して、撮影された実画像と前記仮想画像とを合成して第１合成画像を生成する第１画像合成工程と、
前記撮影範囲内に、前記第１合成画像と合成可能な合成要素が対応づけられた第２画像対応被写体を検出したときに、前記合成要素を前記第１合成画像に合成して第２合成画像を生成する第２画像合成工程と、
を有することを特徴とする画像合成方法。
【請求項２】
請求項１に記載の画像合成方法であって、
前記第２画像対応被写体は、移動可能な部材に設けられており、
前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材を示す第２の仮想画像であることを特徴とする画像合成方法。
【請求項３】
請求項１に記載の画像合成方法であって、
前記第２画像対応被写体は、移動可能な部材に設けられており、
前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材の実画像であることを特徴とする画像合成方法。
【請求項４】
請求項１に記載の画像合成方法であって、
前記第２画像対応被写体は、移動可能な部材に設けられており、
前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材に対応づけた位置おいて前記仮想画像を取り除く領域を示す図形であることを特徴とする画像合成方法。
【請求項５】
請求項１に記載の画像合成方法であって、
前記第２画像対応被写体は、移動可能な部材に設けられており、
前記第２画像対応被写体と対応づけられた前記合成要素は、前記第２画像対応被写体が設けられている前記部材の形状に前記仮想画像を取り除く領域を示す図形であることを特徴とする画像合成方法。
【請求項６】
請求項２乃至請求項５のいずれかに記載の画像合成方法であって、
前記移動可能な部材は筆記具であり、
前記筆記具が移動する軌道に基づいて前記第２合成画像を変更することを特徴とする画像合成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１７４２１９（Ｐ２０１２−１７４２１９Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３８７５２（Ｐ２０１１−３８７５２）
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（００００００５４９）株式会社大林組 (1,758)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（００００００５４９）株式会社大林組 (1,758)
【Ｆターム（参考）】
[ Back to top ]