説明

情報処理装置および情報処理プログラム

【課題】現実の画像に含まれる立体物に合わせたリアリティのある動作をキャラクタにさせることができる情報処理装置を提供する。
【解決手段】情報処理装置1は、フィギュア8を含む現実の画像を撮像するカメラと、フィギュア8と関連付けてキャラクタC1を動作させる動作範囲が設定された空間情報が記憶された記憶部と、この動作範囲内でキャラクタC1を動作させる動作処理部と、空間情報によって規定される仮想空間内における仮想の視点を、カメラの視点に対応させて設定する視点設定部と、この仮想の視点に基づいて、キャラクタC1を仮想の画像に変換する画像変換部と、仮想の画像と、現実の画像とを重ね合わせて表示させるディスプレイ2とを有する。これによれば、現実の画像に含まれるフィギュア8に合わせたリアリティのある動作をキャラクタC1にさせることができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元の形状を有する仮想のキャラクタを画像に変換し、現実の立体物を撮像した画像に重ね合わせて表示させる情報処理装置および情報処理プログラムに関する。
【背景技術】
【0002】
特許文献1には、拡張現実(Augmented Reality)に関する発明が開示されている。具体的には、特許文献1に記載された発明では、光学コードを含む現実の画像を撮像した場合、この現実の画像内の光学コードを検出し、この光学コードと対応する三次元の形状を有する仮想のキャラクタを読み出している。そして、このキャラクタを画像に変換することによって、現実の画像に重ね合わせて表示させている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−322602号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載された発明では、キャラクタの画像を現実の画像内の光学コードの位置に重ね合わせて表示させているだけであるので、キャラクタは、現実の画像に含まれる立体物に合わせたリアリティのある動作をすることができないという問題がある。
【0005】
本発明の目的は、現実の画像に含まれる立体物に合わせたリアリティのある動作をキャラクタにさせることができる情報処理装置および情報処理プログラムを提供することである。
【課題を解決するための手段】
【0006】
かかる課題を解決すべく、第1の発明は、記憶部と、撮像部と、検出部と、動作処理部と、視点取得部と、視点設定部と、画像変換部と、表示部とを有し、三次元の形状を有する仮想のキャラクタを画像に変換し、現実の立体物を撮像した画像に重ね合わせて表示させる情報処理装置を提供する。記憶部は、既知の形状および大きさを有し、立体物における既知の位置に外観から識別可能に付されたアイコンを規定するアイコン情報と、アイコンを含めた立体物の既知の形状および大きさを規定するとともに、立体物と関連付けてキャラクタを動作させる動作範囲が設定された三次元の空間情報と、動作範囲におけるキャラクタの動作を規定するキャラクタ情報とがそれぞれ関連付けて記憶される。撮像部は、立体物を含む現実の画像を撮像する。検出部は、アイコン情報を参照して現実の画像を走査することによって、現実の画像内のアイコンを検出する。動作処理部は、現実の画像内のアイコンと対応するアイコン情報に関連付けられた空間情報と、このアイコン情報に関連付けられたキャラクタ情報とを記憶部からそれぞれ読み出すとともに、記憶部から読み出されるキャラクタ情報を順々に更新することによって、動作範囲内でキャラクタを動作させる。視点取得部は、現実の画像内のアイコンの形状および大きさと、アイコン情報とを比較することによって、現実の画像を撮像したときの現実の視点を規定する視点情報を、アイコンを基準として取得する。視点設定部は、視点情報に基づいて、空間情報におけるアイコン情報を基準とする仮想の視点を、アイコンを基準とする現実の視点と対応させて設定する。画像変換部は、仮想の視点に基づいて、キャラクタを仮想の画像に変換する。表示部は、仮想の画像と、現実の画像とを重ね合わせて表示する。
【0007】
ここで、第1の発明において、記憶部には、アイコンとは異なるサブアイコンを規定するサブアイコン情報と、アイコン情報およびサブアイコン情報の組み合わせに関連付けられた空間情報と、アイコン情報およびサブアイコン情報の組み合わせに関連付けられたキャラクタ情報とがそれぞれ記憶されることが好ましい。そして、動作処理部は、検出部にて現実の画像内に、アイコンおよびサブアイコンが検出された場合、このアイコンおよびこのサブアイコンと対応するアイコン情報およびサブアイコン情報の組み合わせに関連付けられた空間情報と、このアイコン情報およびこのサブアイコン情報の組み合わせに関連付けられたキャラクタ情報とを記憶部からそれぞれ読み出すことが好ましい。また、記憶部には、キャラクタの状態を規定するパラメータ情報と、パラメータ情報に関連付けられるとともに、このパラメータ情報の変化量を規定するサブアイコン情報とが記憶されることが好ましい。そして、動作処理部は、検出部にて現実の画像内に、パラメータ情報に関連付けられたサブアイコンが検出された場合、このサブアイコンと対応するサブアイコン情報によって規定される変化量に基づいて、このパラメータ情報を変化させることが好ましい。また、記憶部には、複数の時間と、複数の時間にそれぞれ関連付けられた複数のキャラクタ情報が記憶されることが好ましい。そして、動作処理部は、時間を計測するとともに、この時間に関連付けられたキャラクタ情報を記憶部から読み出すことが好ましい。さらに、記憶部には、検出部によるアイコンの検出回数に関連付けられた複数のキャラクタ情報が記憶されることが好ましい。そして、検出部は、アイコンの検出回数を取得し、動作処理部は、検出部にて取得されたアイコンの検出回数に関連付けられたキャラクタ情報を記憶部から読み出すことが好ましい。
【0008】
第2の発明は、コンピュータを、記憶部と、撮像部と、検出部と、動作処理部と、視点取得部と、視点設定部と、画像変換部と、表示部とを有し、三次元の形状を有する仮想のキャラクタを画像に変換し、現実の立体物を撮像した画像に重ね合わせて表示させる情報処理装置として機能させる情報処理プログラムを提供する。記憶部は、既知の形状および大きさを有し、立体物における既知の位置に外観から識別可能に付されたアイコンを規定するアイコン情報と、アイコンを含めた立体物の既知の形状および大きさを規定するとともに、立体物と関連付けてキャラクタを動作させる動作範囲が設定された三次元の空間情報と、動作範囲におけるキャラクタの動作を規定するキャラクタ情報とがそれぞれ関連付けて記憶される。撮像部は、立体物を含む現実の画像を撮像する。検出部は、アイコン情報を参照して現実の画像を走査することによって、現実の画像内のアイコンを検出する。動作処理部は、現実の画像内のアイコンと対応するアイコン情報に関連付けられた空間情報と、このアイコン情報に関連付けられたキャラクタ情報とを記憶部からそれぞれ読み出すとともに、記憶部から読み出されるキャラクタ情報を順々に更新することによって、動作範囲内でキャラクタを動作させる。視点取得部は、現実の画像内のアイコンの形状および大きさと、アイコン情報とを比較することによって、現実の画像を撮像したときの現実の視点を規定する視点情報を、アイコンを基準として取得する。視点設定部は、視点情報に基づいて、空間情報におけるアイコン情報を基準とする仮想の視点を、アイコンを基準とする現実の視点と対応させて設定する。画像変換部は、仮想の視点に基づいて、キャラクタを仮想の画像に変換する。表示部は、仮想の画像と、現実の画像とを重ね合わせて表示する。
【発明の効果】
【0009】
本発明によれば、空間情報には、立体物と関連付けてキャラクタを動作させる動作範囲が設定され、動作処理部は、この動作範囲内でキャラクタを動作させる。したがって、空間情報によって規定される仮想空間内において、立体物に合わせたリアリティのある動作をキャラクタにさせることができる。そして、視点設定部は、空間情報によって規定される仮想空間内における仮想の視点を、現実の視点に対応させて設定し、画像変換部は、この仮想の視点に基づいて、キャラクタを仮想の画像に変換する。したがって、仮想の画像と、現実の画像とを重ね合わせて表示することによって、現実の画像に含まれる立体物に合わせたリアリティのある動作をキャラクタにさせることができる。
【図面の簡単な説明】
【0010】
【図1】第1の実施形態に係る情報処理装置の外観を示す模式図
【図2】第1の実施形態に係るフィギュアを拡大した拡大模式図
【図3】第1の実施形態に係る情報処理装置の詳細構成を示すブロック図
【図4】第1の実施形態に係るアイコンの正面図
【図5】第1の実施形態に係るキャラクタを示す模式図
【図6】第1の実施形態に係るカメラの視点と、仮想の視点との関係を示す模式図
【図7】第1の実施形態に係る仮想の画像と、現実の画像との関係を示す模式図
【図8】第1の実施形態に係る情報処理装置による情報処理のフローチャート
【図9】第2の実施形態に係るサブアイコンを設置した状態を示す模式図
【図10】第2の実施形態に係る情報処理装置の詳細構成を示すブロック図
【図11】第2の実施形態に係るアイコンの正面図
【図12】第2の実施形態に係るキャラクタを示す模式図
【図13】第2の実施形態に係るキャラクタの動作を示す模式図
【図14】第3の実施形態に係るキャラクタの動作を示す模式図
【図15】第4の実施形態に係る情報処理装置の詳細構成を示すブロック図
【図16】第4の実施形態に係るキャラクタの動作を示す模式図
【図17】第4の実施形態に係るサブアイコンを示す模式図
【発明を実施するための形態】
【0011】
(第1の実施形態)
図1は、第1の実施形態に係る情報処理装置の外観を示す模式図である。情報処理装置1は、使用者の手によって把持して移動させることができるポータブルデバイスである。この情報処理装置1は、表示部としてのディスプレイ2と、ディスプレイ2の裏面に設けられた撮像部としてのカメラ3(図3参照)とを有する。カメラ3は、立体物としてのフィギュア8を含む現実の画像を撮像する。
【0012】
図2は、フィギュア8を拡大した拡大図である。フィギュア8は、部屋を模した模型である。このフィギュア8は、床面81と、床面81に対して垂直に設けられる2つの壁面82と、床面81の略中央に設けられたデスク83と、デスク83の上面に付された正方形のアイコン9とを有する。ここで、フィギュア8の形状および大きさは既知であり、アイコン9の形状および大きさも既知である。また、アイコン9は、フィギュア8における既知の位置に外観から識別可能に付されている。
【0013】
図3は、情報処理装置1の詳細構成を示すブロック図である。情報処理装置1は、前述したディスプレイ2およびカメラ3の他、記憶部4と、制御部5とを有する。記憶部4は、メモリ等によって構成され、ポータブルデバイスを情報処理装置1として機能させる情報処理プログラムを含む複数の情報を記憶する。制御部5は、CPU(Central Processing Unit)等によって構成され、記憶部4に記憶された情報処理プログラムに従って情報処理を実行する。また、ディスプレイ2と、カメラ3と、記憶部4と、制御部5とは、情報を互いに送受信することができるように構成されている。
【0014】
記憶部4には、アイコン情報41と、空間情報42と、キャラクタ情報43とがそれぞれ関連付けて記憶されている。
【0015】
図4は、アイコン9の正面図である。換言すれば、図4は、デスク83の上面側からアイコン9を見た図である。アイコン9は、白地に黒色の模様を描いたものであり、正方形の枠線部91と、枠線部91の内側に描かれた絵柄部92とによって構成される。アイコン情報41は、このアイコン9の形状および大きさを二次元の情報で規定する。
【0016】
空間情報42は、アイコン情報41を含んで構成され、アイコン9を含めたフィギュア8の形状および大きさを三次元の情報で規定する。すなわち、この空間情報42によって、フィギュア8におけるアイコン9の位置も規定される。以下の説明では、空間情報42によって規定される空間のうち、フィギュア8における床面81と、各壁面82とによって区画される立方体状の空間と対応する空間を仮想空間と称する。また、空間情報42には、フィギュア8と関連付けてキャラクタC1(図5(a)参照)を動作させる動作範囲が設定される。本実施形態では、動作範囲は、デスク83の占める空間と対応する空間を、仮想空間から差し引いた範囲に設定される。
【0017】
図5は、キャラクタ情報43によって規定されるキャラクタC1,C2を示す模式図である。図5(a)は、人物のキャラクタC1であり、図5(b)は、デスクのキャラクタC2である。キャラクタ情報43は、動作範囲におけるキャラクタC1の動作を三次元の情報で規定する。具体的には、キャラクタC1は、動作範囲内で動作を行うことができる形状および大きさを有し、複数の静止画で構成されたアニメーションによって、動作範囲内で様々な動作を行うものとして規定されている。また、キャラクタ情報43は、キャラクタC2を三次元の情報で規定する。具体的には、キャラクタC2は、デスク83と同一の形状および大きさを有し、フィギュア8におけるデスク83と対応する仮想空間内の位置に設置されるものとして規定されている。なお、キャラクタC2は、キャラクタC1とは異なり、アニメーションによる動作は行わない。
【0018】
なお、情報処理装置1は、無線通信によって情報をダウンロードすることができるように構成されている。したがって、アイコン情報41、空間情報42、およびキャラクタ情報43は、ダウンロードすることによって必要に応じて拡張することができる。また、情報処理プログラムそのものをダウンロードすることによって、情報処理プログラムをアップデートすることもできる。
【0019】
制御部5は、図3に示すように、検出部51と、動作処理部52と、視点取得部53と、視点設定部54と、画像変換部55とを有する。
【0020】
検出部51は、アイコン情報41を参照して現実の画像を走査することによって、現実の画像内のアイコン9を検出する。具体的には、検出部51は、カメラ3によって撮像された濃淡のある現実の画像を、白と黒の2階調に変換して二値化する。次に、検出部51は、二値化した画像を走査することによって、黒色によって閉じられた領域(以下、閉領域とする)を検出する。したがって、検出部51は、現実の画像内にアイコン9が含まれる場合、枠線部91を検出することができる。次に、検出部51は、この閉領域を四角形であると仮定して4つの頂点を検出するとともに、この閉領域を、アイコン情報41によって規定されるアイコン9の大きさと同じ大きさの正方形に変換する。そして、検出部51は、正方形に変換された閉領域の形状と、アイコン情報41によって規定されるアイコン9の形状とを比較することによって、現実の画像内のアイコン9を検出する。具体的には、検出部51は、絵柄部92を含めたアイコン9をテンプレートとしたテンプレートマッチング処理を行うことによって、現実の画像内のアイコン9を検出する。なお、特開2010−287174号公報には、検出部51と同様の処理をする装置が開示されているので、必要ならば参照されたい。
【0021】
動作処理部52は、現実の画像内のアイコン9と対応するアイコン情報41に関連付けられた空間情報42と、このアイコン情報41に関連付けられたキャラクタ情報43とを記憶部4からそれぞれ読み出す。具体的には、動作処理部52は、検出部51にてアイコン9が検出された場合、キャラクタC1,C2を規定するキャラクタ情報43を読み出し、ポリゴン等による三次元オブジェクトとしてモデリングする。そして、動作処理部52は、フィギュア8を規定する空間情報42を読み出し、キャラクタC1,C2を仮想空間内に設置してシーンレイアウトをする。ここで、仮想空間は、アイコン情報41の中心を原点とし、アイコン情報41における枠線部の縦線および横線と平行な軸をそれぞれX,Y軸とし、XY平面と直交する軸をZ軸とした直交座標系(X,Y,Z)で定義されている(図6(b)参照)。なお、前述したモデリングや、シーンレイアウトは、一般的な三次元コンピュータグラフィックスに用いられる処理と同様であるため、詳細な説明を省略する。
【0022】
また、動作処理部52は、キャラクタC1を規定するキャラクタ情報43を順々に記憶部4から読み出して更新し、アニメーションによって、動作範囲内でキャラクタC1を動作させる。
【0023】
図6は、カメラ3の視点と、仮想の視点との関係を示す模式図である。図6(a)は、カメラ3の視点を示す図であり、アイコン9については外形のみを図示している。図6(b)は、仮想の視点Cを示す図である。視点取得部53は、図6(a)に示すように、現実の画像を撮像したときの現実の視点、すなわちカメラ3の視点を、アイコン9を基準として取得する。具体的には、視点取得部53は、アイコン9の中心を原点とし、枠線部91の縦線および横線と平行な軸をそれぞれX,Y軸とし、XY平面と直交する軸をZ軸とした直交座標系(X,Y,Z)を定義する。そして、視点取得部53は、現実の画像内のアイコン9の形状と、アイコン情報41によって規定されるアイコン9の形状とを比較することによって、カメラ3の視線方向を示す視線ベクトルVを取得する。現実の画像内のアイコン9の形状は、カメラ3の視線方向によって変形するからである。また、視点取得部53は、現実の画像内のアイコン9の大きさと、アイコン情報41によって規定されるアイコン9の大きさとを比較することによって、カメラ3の視点位置Pを取得する。現実の画像内のアイコン9の大きさは、カメラ3の視点位置Pによって変化するからである。そして、視点取得部53は、視線ベクトルVと、視点位置Pとを含む視点情報を記憶部4に記憶させる。
【0024】
視点設定部54は、図6(b)に示すように、記憶部4に記憶された視点情報に基づいて、空間情報42におけるアイコン情報41を基準とする仮想の視点Cを、アイコン9を基準とするカメラ3の視点と対応させて設定する。具体的には、仮想空間に定義された直交座標系(X,Y,Z)において、仮想の視点Cの視線方向を示す視線ベクトルVを視線ベクトルVと同一の値に設定し、仮想の視点Cの視点位置Pを視点位置Pと同一の値に設定してシーンレイアウトをする。なお、視点情報には、仮想の視点Cに基づいて、レンダリングをするための他の情報も含まれている。他の情報としては、例えば、レンダリングをする際のスクリーンの位置や大きさなどの情報を例示できる。これらの他の情報は、カメラ3の仕様に基づいて、予め規定されている。
【0025】
図7は、仮想の画像と、現実の画像との関係を示す模式図である。図7では、仮想の画像を実線で示している。また、図7では、仮想の画像と、カメラ3にて撮像された現実の画像との位置関係を示すために、現実の画像を二点鎖線で示している。画像変換部55は、仮想の視点Cに基づいて、レンダリングをすることによって、キャラクタC1,C2を仮想の画像に変換する。ディスプレイ2は、画像変換部55にて変換された仮想の画像と、カメラ3にて撮像された現実の画像とを重ね合わせた画像(以下、合成画像とする)を表示する(図1参照)。
【0026】
図8は、情報処理装置1による情報処理のフローチャートである。記憶部4に記憶された情報処理プログラムが実行されると、カメラ3は、現実の画像を撮像する(ステップ1)。次に、検出部51は、アイコン情報41を参照して現実の画像を走査することによって、現実の画像内のアイコン9を検出する(ステップ2)。ここで、記憶部4は、現実の画像内にアイコン9が検出されているか否かを管理するために、アイコン9が登録されているか否かを示す登録情報と、アイコン9が登録された回数を示す回数情報とを記憶する。具体的には、検出部51は、アイコン9を検出した場合、アイコン9の登録情報を記憶部4に記憶させる。この場合において、検出部51は、アイコン9の登録情報が記憶部4に既に記憶されている場合、回数情報をインクリメントする。また、検出部51は、アイコン9を検出しなかった場合、アイコン9の登録情報と、回数情報とを記憶部4から削除する。
【0027】
次に、制御部5は、登録情報が記憶部4に記憶されているか否かを判定する(ステップ3)。登録情報が記憶されていないと判定された場合、カメラ3は、再度、ステップ1を実行する。これに対して、登録情報が記憶されていると判定された場合、動作処理部52は、モデリングと、シーンレイアウトとをすることによって、動作処理を実行する(ステップ4)。ここで、ステップ2において、回数情報がインクリメントされている場合、動作処理部52は、回数情報に基づいて、キャラクタC1を規定するキャラクタ情報43を順々に記憶部4から読み出して更新し、アニメーションによって、動作範囲内でキャラクタC1を動作させる。
【0028】
次に、視点取得部53は、カメラ3の視点を規定する視点情報を、アイコン9を基準として取得する(ステップ5)。次に、視点設定部54は、仮想の視点Cを、カメラ3の視点と対応させて設定する(ステップ6)。次に、画像変換部55は、仮想の視点Cに基づいて、レンダリングをすることによって、キャラクタC1,C2を仮想の画像に変換する(ステップ7)。そして、ディスプレイ2は、仮想の画像と、現実の画像とを重ね合わせた合成画像を表示する(ステップ8)。ステップ8において、合成画像が表示されると、カメラ3は、再度、ステップ1を実行する。以上のような情報処理のループを繰り返すことによって、合成画像内におけるキャラクタC1は、現実の画像に含まれるフィギュア8に合わせたリアリティのある動作をすることができる。例えば、デスク83の周囲を歩きまわるような動作や、デスク83の椅子に着席させるような動作などをキャラクタC1にさせることができる。なお、情報処理装置1による情報処理は、情報処理プログラムの実行を停止することによって終了する。
【0029】
このように、第1の実施形態によれば、空間情報42には、フィギュア8と関連付けてキャラクタC1を動作させる動作範囲が設定され、動作処理部52は、この動作範囲内でキャラクタC1を動作させる。したがって、空間情報42によって規定される仮想空間内において、フィギュア8に合わせたリアリティのある動作をキャラクタC1にさせることができる。そして、視点設定部54は、空間情報42によって規定される仮想空間内における仮想の視点Cを、カメラ3の視点に対応させて設定し、画像変換部55は、この仮想の視点Cに基づいて、キャラクタC1,C2を仮想の画像に変換する。したがって、仮想の画像と、現実の画像とを重ね合わせて表示することによって、現実の画像に含まれるフィギュア8に合わせたリアリティのある動作をキャラクタC1にさせることができる。
【0030】
(第2の実施形態)
図9は、第2の実施形態に係るサブアイコンを設置した状態を示す模式図である。図9では、サブアイコン9Aは、矩形板状のプレート8Aの上面における既知の位置に外観から識別可能に付されている。
【0031】
図10は、情報処理装置1の詳細構成を示すブロック図である。本実施形態の特徴は、アイコン9とは異なるサブアイコン9Aを規定するサブアイコン情報44と、アイコン情報41およびサブアイコン情報44の組み合わせに関連付けられた空間情報42と、この組み合わせに関連付けられたキャラクタ情報43とが記憶部4に記憶されている点にある。ここで、本実施形態では、1つのサブアイコン9Aを採用する場合について説明しているが、2つ以上の複数のサブアイコンを採用してもよいことはもちろんである。なお、それ以外については、上述した第1の実施形態と同様なので、ここでの説明を省略する。
【0032】
図11は、サブアイコン9Aの正面図である。換言すれば、図11は、プレート8Aの上面側からサブアイコン9Aを見た図である。サブアイコン9Aは、アイコン9と同様、白地に黒色の模様を描いたものであり、正方形の枠線部91Aと、枠線部91Aの内側に描かれた絵柄部92Aとによって構成される。ここで、枠線部91Aは、アイコン9の枠線部91と同一の形状および大きさを有している。絵柄部92Aは、アイコン9の絵柄部92とは異なる形状を有している。そして、サブアイコン情報44は、このサブアイコン9Aの形状および大きさを二次元の情報で規定する。
【0033】
図12は、キャラクタ情報43によって規定されるキャラクタを示す模式図である。図12は、植木鉢のキャラクタC3である。キャラクタ情報43は、キャラクタC3を三次元の情報で規定する。具体的には、キャラクタC3は、プレート8Aの上面内に設置できる形状および大きさを有し、プレート8Aにおける所定の位置に設置されるものとして規定されている。なお、キャラクタC3についてのキャラクタ情報43は、サブアイコン9Aについてのサブアイコン情報44に関連付けられている。
【0034】
検出部51は、アイコン情報41およびサブアイコン情報44を参照して現実の画像を走査することによって、現実の画像内のアイコン9およびサブアイコン9Aを検出する。ここで、サブアイコン9Aの枠線部91Aは、アイコン9の枠線部91と同一の形状および大きさを有しているので、検出部51は、アイコン9と同様の処理によって、サブアイコン9Aを検出することができる。
【0035】
図13は、キャラクタC1の動作を示す模式図である。動作処理部52は、検出部51にて現実の画像内に、アイコン9およびサブアイコン9Aが検出された場合、アイコン9およびサブアイコン9Aと対応するアイコン情報41およびサブアイコン情報44の組み合わせに関連付けられた空間情報42を読み出す。ここで、この空間情報42によって規定される仮想空間および動作範囲の大きさは、上述した第1の実施形態における仮想空間および動作範囲の大きさと異なっていてもよい。例えば、フィギュア8における床面81の範囲外にサブアイコン9Aが設置されている場合には、アイコン9およびサブアイコン9Aを同時に含むように仮想空間および動作範囲の大きさを拡張してもよい。また、動作処理部52は、この組み合わせに関連付けられたキャラクタ情報43(キャラクタC1〜C3を規定する情報を含む)を記憶部4から読み出す。そして、動作処理部52は、モデリングと、シーンレイアウトとをすることによって、動作処理を実行する。具体的には、キャラクタ情報43は、キャラクタC1が植木鉢のキャラクタC3に水を与える動作を行うものとして規定されている。
【0036】
このように、本実施形態によれば、上述した第1の実施形態と同様、現実の画像に含まれるフィギュア8に合わせたリアリティのある動作をキャラクタC1にさせることができる。それとともに、検出部51にて現実の画像内に、アイコン9およびサブアイコン9Aが検出された場合、アイコン9およびサブアイコン9Aと対応するアイコン情報41およびサブアイコン情報44の組み合わせに応じたリアリティのある動作をキャラクタC1にさせることができる。
【0037】
(第3の実施形態)
図14は、第3の実施形態に係るキャラクタC1の動作を示す模式図である。本実施形態の特徴は、複数の時間と、複数の時間にそれぞれ関連付けられた複数のキャラクタ情報43が記憶部4に記憶されている点にある。具体的には、10時、11時、および12時の3つの時間が記憶部4に記憶されている。10時の時間には、キャラクタC1が居眠りをする動作を行うものとして規定されたキャラクタ情報43が関連付けられている。11時の時間には、キャラクタC1が読書をする動作を行うものとして規定されたキャラクタ情報43が関連付けられている。12時の時間には、キャラクタC1が食事をする動作を行うものとして規定されたキャラクタ情報43が関連付けられている。なお、本実施形態では、キャラクタ情報43は、時間に関連付けられているが、時間に代えて日付に関連付けられていてもよい。これによれば、例えば、クリスマスにプレゼントを他のキャラクタに渡す動作などをキャラクタC1にさせることもできる。
【0038】
動作処理部52は、リアルタイムクロックによって時間を計測するとともに、この時間に関連付けられたキャラクタ情報43を記憶部4から読み出し、モデリングと、シーンレイアウトとをすることによって、動作処理を実行する。ここで、本実施形態のように、デスク83と、デスク83の椅子との間にキャラクタC1を配置するような場合、キャラクタC1を動作させる動作範囲は非常に狭くなる。このため、仮想の画像と、現実の画像とを重ね合わせる際に僅かなズレが生じることによって、フィギュア8と、キャラクタC1との位置関係にもズレが生じた場合、キャラクタC1の動作に違和感があるという問題がある。第1〜3の実施形態によれば、キャラクタ情報43によって、仮想空間内に設置されるデスクのキャラクタC2を規定しているので、このような場合であってもリアリティのある動作をキャラクタC1にさせることができる。
【0039】
このように、本実施形態によれば、上述した第1の実施形態と同様、現実の画像に含まれるフィギュア8に合わせたリアリティのある動作をキャラクタC1にさせることができる。それとともに、時間の経過に応じたリアリティのある動作をキャラクタC1にさせることができる。
【0040】
(第4の実施形態)
図15は、第4の実施形態に係る情報処理装置1の詳細構成を示すブロック図である。本実施形態の特徴は、キャラクタの状態を規定するパラメータ情報45と、パラメータ情報45に関連付けられるとともに、このパラメータ情報45の変化量を規定するサブアイコン情報44とが記憶部4に記憶されている点にある。なお、本実施形態では、パラメータ情報45は、キャラクタの生命力を規定する場合について説明しているが、例えば、病気にかかっているか否かなどの他の状態を規定してもよいことはもちろんである。
【0041】
図16は、キャラクタの動作を示す模式図である。本実施形態では、上述した第1〜3の実施形態とは異なり、フィギュア8は、無人島を模した模型である。このフィギュア8は、無人島に付された正方形のアイコン9を有する。また、本実施形態では、キャラクタC4は、犬のキャラクタである。さらに、本実施形態では、動作範囲は、フィギュア8を含む現実の画像の占める空間と対応する範囲に設定される。すなわち、キャラクタC4は、現実の画像内における全ての範囲で動作することができる。なお、キャラクタC4についてのキャラクタ情報43は、アイコン9についてのアイコン情報41に関連付けられている。
【0042】
ディスプレイ2は、記憶部4に記憶されたパラメータ情報45、すなわちキャラクタC4の生命力をライフ(LIFE)と称し、このライフの大きさを示すライフゲージ21を合成画像に重ね合わせて表示する。なお、本実施形態では、パラメータ情報45は、時間の経過に伴って減少する。
【0043】
図17は、サブアイコンを示す模式図である。図17(a)は、トランクケース8Bの外面に付されたサブアイコン9Bであり、図17(b)は、トランクケース8Bの内面に付されたサブアイコン9Cである。サブアイコン9Cは、模型であるトランクケース8Bを開けることによって外観から識別可能となる(図17(b)の矢印A)。サブアイコン情報44は、このサブアイコン9B,9Cの形状および大きさを二次元の情報で規定する。また、サブアイコン9Cと対応するサブアイコン情報44は、パラメータ情報45に関連付けられるとともに、このパラメータ情報45の変化量を規定する。
【0044】
動作処理部52は、検出部51にて現実の画像内に、アイコン9およびサブアイコン9Bが検出された場合、上述した第2の実施形態と同様、アイコン9およびサブアイコン9Bと対応するアイコン情報41およびサブアイコン情報44の組み合わせに関連付けられた空間情報42を読み出す。また、動作処理部52は、この組み合わせに関連付けられたキャラクタ情報43を記憶部4から読み出す。そして、動作処理部52は、モデリングと、シーンレイアウトとをすることによって、動作処理を実行する。具体的には、キャラクタ情報43は、キャラクタC4がトランクケース8Bを泳いで取りに行く動作を行うとともに、トランクケース8Bを無人島に引き上げるようにユーザに促す動作を行うものとして規定されている。
【0045】
また、動作処理部52は、ユーザがトランクケース8Bを無人島に引き上げた後、トランクケース8Bを開けることによって、パラメータ情報45に関連付けられたサブアイコン9Cが検出された場合、サブアイコン9Cと対応するサブアイコン情報44によって規定される変化量に基づいて、パラメータ情報45を変化させる。具体的には、動作処理部52は、サブアイコン9Cと対応するサブアイコン情報44によって規定される変化量に基づいて、パラメータ情報45を上昇させる。これによって、ディスプレイ2に表示されたライフゲージ21は上昇し、キャラクタC4の生命力は回復する。
【0046】
このように、本実施形態によれば、上述した第1の実施形態と同様、現実の画像に含まれるフィギュア8に合わせたリアリティのある動作をキャラクタC4にさせることができる。それとともに、キャラクタC4の動作にゲーム性を付加することができるので、ユーザをさらに楽しませることができる。
【0047】
(変形例)
なお、上述した第1〜3の実施形態では、キャラクタ情報43によって、仮想空間内に設置されるデスクのキャラクタC2を規定していたが、キャラクタC2を規定しなくてもよい。
【0048】
また、上述した各実施形態では、キャラクタ情報43は、アイコン情報41や、時間などに関連付けられていたが、検出部51によるアイコン9の検出回数に関連付けられていてもよい。ここで、アイコンの検出回数とは、ユーザが情報処理プログラムを実行し、現実の画像内にアイコンを検出した回数、すなわち情報処理装置を介して立体物を見た回数の累積である。この場合、記憶部は、検出部によるアイコンの検出回数に関連付けられた複数のキャラクタ情報を記憶するように構成されていればよい。そして、検出部は、アイコンの検出回数を取得し、動作処理部は、検出部にて取得されたアイコンの検出回数に関連付けられたキャラクタ情報を記憶部から読み出すように構成されていればよい。これによれば、例えば、検出部にて取得されたアイコンの検出回数が多い場合、インセンティブを付与するように、キャラクタ情報を規定することによって、情報処理装置を介して立体物をより多く見たユーザに対してインセンティブを付与することができる。したがって、ユーザをさらに楽しませることができる。また、キャラクタ情報43は、情報処理装置1に対するユーザの操作などに関連付けてもよい。例えば、ディスプレイ2をタッチパネルで構成し、ユーザがタッチパネルに触れることによって、居眠りをしていたキャラクタC1が起きるなどの所定の動作をさせるように構成してもよい。
【産業上の利用可能性】
【0049】
以上のように、本発明は、三次元の形状を有する仮想のキャラクタを画像に変換し、現実の立体物を撮像した画像に重ね合わせて表示させる情報処理装置および情報処理プログラムに広く適用できる。
【符号の説明】
【0050】
1 情報処理装置
2 ディスプレイ
3 カメラ
4 記憶部
5 制御部
8 フィギュア
8A プレート
8B トランクケース
9 アイコン
9A,9B,9C サブアイコン
21 ライフゲージ
41 アイコン情報
42 空間情報
43 キャラクタ情報
44 サブアイコン情報
45 パラメータ情報
51 検出部
52 動作処理部
53 視点取得部
54 視点設定部
55 画像変換部
81 床面
82 壁面
83 デスク
91,91A 枠線部
92,92A 絵柄部
C1 人物のキャラクタ
C2 デスクのキャラクタ
C3 植木鉢のキャラクタ
C4 犬のキャラクタ
仮想の視点
,P 視点位置
,V 視線ベクトル

【特許請求の範囲】
【請求項1】
三次元の形状を有する仮想のキャラクタを画像に変換し、現実の立体物を撮像した画像に重ね合わせて表示させる情報処理装置において、
既知の形状および大きさを有し、前記立体物における既知の位置に外観から識別可能に付されたアイコンを規定するアイコン情報と、前記アイコンを含めた前記立体物の既知の形状および大きさを規定するとともに、前記立体物と関連付けて前記キャラクタを動作させる動作範囲が設定された三次元の空間情報と、前記動作範囲における前記キャラクタの動作を規定するキャラクタ情報とがそれぞれ関連付けて記憶された記憶部と、
前記立体物を含む現実の画像を撮像する撮像部と、
前記アイコン情報を参照して前記現実の画像を走査することによって、前記現実の画像内のアイコンを検出する検出部と、
前記現実の画像内のアイコンと対応するアイコン情報に関連付けられた前記空間情報と、当該アイコン情報に関連付けられた前記キャラクタ情報とを前記記憶部からそれぞれ読み出すとともに、前記記憶部から読み出されるキャラクタ情報を順々に更新することによって、前記動作範囲内で前記キャラクタを動作させる動作処理部と、
前記現実の画像内のアイコンの形状および大きさと、前記アイコン情報とを比較することによって、前記現実の画像を撮像したときの現実の視点を規定する視点情報を、前記アイコンを基準として取得する視点取得部と、
前記視点情報に基づいて、前記空間情報における前記アイコン情報を基準とする仮想の視点を、前記アイコンを基準とする現実の視点と対応させて設定する視点設定部と、
前記仮想の視点に基づいて、前記キャラクタを仮想の画像に変換する画像変換部と、
前記仮想の画像と、前記現実の画像とを重ね合わせて表示する表示部と
を有することを特徴とする情報処理装置。
【請求項2】
前記記憶部には、前記アイコンとは異なるサブアイコンを規定するサブアイコン情報と、前記アイコン情報および前記サブアイコン情報の組み合わせに関連付けられた前記空間情報と、前記アイコン情報および前記サブアイコン情報の組み合わせに関連付けられた前記キャラクタ情報とがそれぞれ記憶され、
前記動作処理部は、前記検出部にて前記現実の画像内に、前記アイコンおよび前記サブアイコンが検出された場合、当該アイコンおよび当該サブアイコンと対応するアイコン情報およびサブアイコン情報の組み合わせに関連付けられた前記空間情報と、当該アイコン情報および当該サブアイコン情報の組み合わせに関連付けられた前記キャラクタ情報とを前記記憶部からそれぞれ読み出すことを特徴とする請求項1に記載された情報処理装置。
【請求項3】
前記記憶部には、前記キャラクタの状態を規定するパラメータ情報と、前記パラメータ情報に関連付けられるとともに、当該パラメータ情報の変化量を規定する前記サブアイコン情報とが記憶され、
前記動作処理部は、前記検出部にて前記現実の画像内に、前記パラメータ情報に関連付けられた前記サブアイコンが検出された場合、当該サブアイコンと対応するサブアイコン情報によって規定される変化量に基づいて、当該パラメータ情報を変化させることを特徴とする請求項2に記載された情報処理装置。
【請求項4】
前記記憶部には、複数の時間と、前記複数の時間にそれぞれ関連付けられた複数の前記キャラクタ情報が記憶され、
前記動作処理部は、時間を計測するとともに、当該時間に関連付けられた前記キャラクタ情報を前記記憶部から読み出すことを特徴とする請求項1から3のいずれかに記載された情報処理装置。
【請求項5】
前記記憶部には、前記検出部による前記アイコンの検出回数に関連付けられた複数の前記キャラクタ情報が記憶され、
前記検出部は、前記アイコンの検出回数を取得し、
前記動作処理部は、前記検出部にて取得された前記アイコンの検出回数に関連付けられた前記キャラクタ情報を前記記憶部から読み出すことを特徴とする請求項1から4のいずれかに記載された情報処理装置。
【請求項6】
三次元の形状を有する仮想のキャラクタを画像に変換し、現実の立体物を撮像した画像に重ね合わせて表示させる情報処理プログラムにおいて、
コンピュータを、
既知の形状および大きさを有し、前記立体物における既知の位置に外観から識別可能に付されたアイコンを規定するアイコン情報と、前記アイコンを含めた前記立体物の既知の形状および大きさを規定するとともに、前記立体物と関連付けて前記キャラクタを動作させる動作範囲が設定された三次元の空間情報と、前記動作範囲における前記キャラクタの動作を規定するキャラクタ情報とがそれぞれ関連付けて記憶された記憶部と、
前記立体物を含む現実の画像を撮像する撮像部と、
前記アイコン情報を参照して前記現実の画像を走査することによって、前記現実の画像内のアイコンを検出する検出部と、
前記現実の画像内のアイコンと対応するアイコン情報に関連付けられた前記空間情報と、当該アイコン情報に関連付けられた前記キャラクタ情報とを前記記憶部からそれぞれ読み出すとともに、前記記憶部から読み出されるキャラクタ情報を順々に更新することによって、前記動作範囲内で前記キャラクタを動作させる動作処理部と、
前記現実の画像内のアイコンの形状および大きさと、前記アイコン情報とを比較することによって、前記現実の画像を撮像したときの現実の視点を規定する視点情報を、前記アイコンを基準として取得する視点取得部と、
前記視点情報に基づいて、前記空間情報における前記アイコン情報を基準とする仮想の視点を、前記アイコンを基準とする現実の視点と対応させて設定する視点設定部と、
前記仮想の視点に基づいて、前記キャラクタを仮想の画像に変換する画像変換部と、
前記仮想の画像と、前記現実の画像とを重ね合わせて表示する表示部と
を有する情報処理装置として機能させることを特徴とする情報処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2012−203786(P2012−203786A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−69595(P2011−69595)
【出願日】平成23年3月28日(2011.3.28)
【出願人】(000003584)株式会社タカラトミー (248)
【Fターム(参考)】