携帯端末用撮像方向表示方法、撮像方向表示機能付き携帯端末、携帯端末用撮像方向表示システム
【課題】地磁気が乱れる状況下でも表示画面上で各種設備を撮像した撮像方向の表示を修正可能に精度良く行わせることができる撮像方向表示機能付き携帯端末を提供する。
【解決手段】この携帯端末１は、管理サーバ２から取得した設備マスタデータを設備データ管理手段９で管理し、屋内の各種設備をカメラ３で撮像して撮像方向を方向センサ５で検出し、設備データ表示手段６によりディスプレイ４の表示画面上で各種設備に設備データを重畳して表示する。携帯端末方向入力手段７は、マスタデータの屋内地図データを表示するとき、地図データ上で携帯端末位置とその携帯端末位置から撮像方向に見える設備に対する携帯端末方向とを地図データ上に重畳して表示し、地磁気が乱れる状況下では、地図データ上で携帯端末位置の表示後に正しい撮像方向を示す注視点位置を入力操作すると、その注視点位置の入力に応じて携帯端末方向（撮像方向）を正しく修正表示する。
【解決手段】この携帯端末１は、管理サーバ２から取得した設備マスタデータを設備データ管理手段９で管理し、屋内の各種設備をカメラ３で撮像して撮像方向を方向センサ５で検出し、設備データ表示手段６によりディスプレイ４の表示画面上で各種設備に設備データを重畳して表示する。携帯端末方向入力手段７は、マスタデータの屋内地図データを表示するとき、地図データ上で携帯端末位置とその携帯端末位置から撮像方向に見える設備に対する携帯端末方向とを地図データ上に重畳して表示し、地磁気が乱れる状況下では、地図データ上で携帯端末位置の表示後に正しい撮像方向を示す注視点位置を入力操作すると、その注視点位置の入力に応じて携帯端末方向（撮像方向）を正しく修正表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主に屋内の各種設備を撮像しての保守点検時等での適用が好適な携帯端末用撮像方向表示の技術に係り、詳しくは地磁気を利用した方向センサで撮像方向が検出される携帯端末により室内に設置される各種設備を撮像したときの撮像方向を修正可能として、付設される表示部の表示画面上に精度良く行わせるための携帯端末用撮像方向表示方法、撮像方向表示機能付き携帯端末、携帯端末用撮像方向表示システムに関する。
【背景技術】
【０００２】
従来、携帯端末の操作者の方向を測位するための位置情報を扱うシステムでは、携帯端末に搭載した地磁気を利用した方向センサで得られる地磁気データに基づいて方向測位を行っている。最近の携帯端末では、カメラ等の撮像手段を備えるタイプのものが多く、こうした場合の方向センサでは撮像手段による撮像方向が検出される。
【０００３】
一般に、屋内の人の位置を検出する周知技術としては、例えば磁気方位センサやジャイロセンサを用いて屋内での人の進行方向及び絶対位置情報の補正を行う「屋内位置検出装置及び屋内位置検出方法」（特許文献１参照）、地磁気検出手段や加速度検出手段を用いて屋内での人（歩行者）の移動方向を推定する「進行方向計測装置及び進行方向計測方法」（特許文献２参照）、カメラの緯度及び経度と姿勢とから撮像データにおける表示情報の内容又は形状を変化させる「コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイス生成装置」（特許文献３参照）等が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９１５６５４号公報
【特許文献２】特許第４５１５４９７号公報
【特許文献３】特許第４２９４０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１、特許文献２に係る屋内で方向測位を行う技術は、地磁気を用いた方向センサ、３軸加速度センサ、ジャイロセンサ等を用いており、特許文献３に係る技術は、カメラの位置情報に応じて撮像データ上のフィールド領域の一部や周辺部に表示する情報の内容や形状を変化させるものであるが、これらの技術を携帯端末に適用して屋内の各種設備に対する保守点検等で利用した場合には、操作者が表示画面上で各設備に対する撮像方向（携帯端末方向）の表示を視覚的に容易にして適確に確認し難くなるという問題がある。
【０００６】
特に地磁気を利用した方向センサを具備した撮像機能付き携帯端末の場合には、例えば屋内が金属製扉を閉状態にして閉塞したような地磁気の乱れる状況下で使用すると、方向センサで撮像方向が適確に検出されず、表示画面上に対して画像データが誤表示を起こす等、安定した測位精度を維持することが困難となってしまうという問題がある。
【０００７】
また、携帯端末で３軸加速度センサやジャイロセンサを用いて方向を推定する場合には、誤差が蓄積し易いためにその補正手段として地磁気センサを用いているが、地磁気センサを用いた場合には上述したように地磁気の乱れる状況下では撮像方向が適確に検出されずに画像データ上で誤表示を起こす等、安定した測位精度を維持することが困難となってしまうため、結果として地磁気が乱れる状況下では精度良く方向測位することができないという問題がある。
【０００８】
本発明は、このような問題点を解決すべくなされたもので、その技術的課題の１つは、表示画面上で各設備に対する撮像方向の表示を操作者が視覚的に容易にして適確に確認し得る携帯端末用撮像方向表示方法、撮像方向表示機能付き携帯端末、携帯端末用撮像方向表示システムを提供することにある。
【０００９】
また、本発明の技術的課題のもう１つは、方向センサで撮像方向が正しく検出されない地磁気が乱れる状況下でも、表示画面上に撮像方向の表示を修正可能として精度良く行わせることができる携帯端末用撮像方向表示方法、撮像方向表示機能付き携帯端末、携帯端末用撮像方向表示システムを提供することにある。
【課題を解決するための手段】
【００１０】
上記技術的課題を解決するため、本発明の第１の手段は、管理サーバ側では、屋内の部屋に設置される複数の設備の各種データに係る設備マスタデータを蓄積して管理する設備マスタデータ管理ステップを有し、携帯端末側では、管理サーバから取得した設備マスタデータに含まれる設備データを蓄積して管理する設備データ管理ステップと、屋内の複数の設備を撮像した撮像データを設備マスタデータに含まれる位置データ、並びに地磁気を利用した方向センサにより撮像時に検出される撮像方向に基づいて付設される表示部の表示画面上に画像データとして表示するとき、当該複数の設備に当該設備データをそれぞれ重畳して表示する設備データ表示ステップと、表示画面上で設備マスタデータに含まれる複数の設備を含む屋内のレイアウトを示す屋内地図データを撮像方向に基づいて表示するとき、当該屋内地図データ上で携帯端末位置と当該携帯端末位置から撮像方向に見える設備に対する携帯端末方向とを重畳して表示する携帯端末方向表示ステップと、を有することを特徴とする。
【００１１】
第２の手段は、第１の手段において、携帯端末方向表示ステップでは、設備データ表示ステップにおける表示画面上の画像データについて、複数の設備に設備データが重畳されない地磁気が乱れる状況下にあって、屋内地図データ上で携帯端末方向の表示後に正しい撮像方向を示す注視点位置を操作者が入力操作したとき、当該注視点位置の入力に応じて携帯端末方向を正しく修正表示することを特徴とする。
【００１２】
第３の手段は、第２の手段において、携帯端末側では、携帯端末方向表示ステップで携帯端末方向を正しく修正表示した後、表示画面上で複数の設備に設備データが重畳された修正画像データを表示する修正画像データ表示ステップを有することを特徴とする。
【００１３】
第４の手段は、第１の手段〜第４の手段の何れか１つの手段において、携帯端末方向表示ステップでの画像データと携帯端末方向表示ステップでの屋内地図データとを表示画面上で分割させて同時に表示することを特徴とする。
【００１４】
第５の手段は、屋内の部屋に設置される複数の設備の各種データに係る設備マスタデータを蓄積して管理する管理サーバから取得した当該設備マスタデータに含まれる設備データを蓄積して管理する設備データ管理手段と、屋内の複数の設備を撮像可能な撮像手段と、撮像手段による撮像方向を地磁気を利用して検出する方向センサと、撮像手段による屋内の複数の設備に係る撮像データを設備マスタデータに含まれる位置データ、並びに方向センサで検出された撮像方向に基づいて画像データとして付設される表示部の表示画面上に表示するとき、当該複数の設備に当該設備データをそれぞれ重畳して表示する設備データ表示手段と、表示画面上で設備マスタデータに含まれる複数の設備を含む屋内のレイアウトを示す屋内地図データを撮像方向に基づいて表示するとき、当該屋内地図データ上で携帯端末位置と当該携帯端末位置から当該撮像方向に見える設備に対する携帯端末方向とを重畳して表示する携帯端末方向入力手段と、を備えたことを特徴とする。
【００１５】
第６の手段は、第５の手段において、携帯端末方向入力手段は、設備データ表示手段により表示した表示画面上の画像データについて、複数の設備に設備データが重畳されない地磁気が乱れる状況下にあって、屋内地図データ上で携帯端末方向の表示後に正しい撮像方向を示す注視点位置を操作者が入力操作したとき、当該注視点位置の入力に応じて携帯端末方向を正しく修正表示することを特徴とする。
【００１６】
第７の手段は、第６の手段において、携帯端末方向入力手段は、方向センサが撮像方向を正しく検出できないときに屋内地図データ上で注視点位置を入力させる注視点位置入力処理機能と、携帯端末方向を注視点位置向きへと更新して表示する携帯端末方向更新処理機能と、を有することを特徴とする。
【００１７】
第８の手段は、第６の手段又は第７の手段において、設備データ表示手段は、端末方向入力手段により携帯端末方向を正しく修正表示した後、表示画面上で複数の設備に設備データが重畳された修正画像データを表示することを特徴とする。
【００１８】
第９の手段は、第５の手段〜第８の手段の何れか１つの手段において、携帯端末方向入力手段は、屋内地図データ上で注視点位置を特定して入力操作するための位置特定入力機能を備えたことを特徴とする。
【００１９】
第１０の手段は、第５の手段〜第９の手段の何れか１つの手段において、設備データ表示手段及び携帯端末方向入力手段は、表示画面上で画像データと屋内地図データとを分割させて同時に表示可能であることを特徴とする。
【００２０】
第１１の手段は、第５の手段〜第１０の手段の何れか１つの手段に係る撮像方向表示機能付き携帯端末と、管理サーバとを備えて成る携帯端末用撮像方向表示システムであることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、携帯端末により屋内の各種設備を撮像手段で撮像したとき、方向センサが地磁気を利用していることにより、地磁気が正常状態であれば撮像方向が正しく検出されて表示部の表示画面には屋内地図データ上で携帯端末位置とそれに対して実際に撮像した設備へ向いた正しい携帯端末方向（撮像方向）とが重畳して表示されるため、屋内に設置された各種設備を対象にして操作者（オペレータ）が適確に保守点検等を行うことができる。また、屋内環境が金属製扉等で閉塞されて地磁気が乱れるような異常状態で撮像方向が正しく検出されなくても、操作者が正しい撮像方向を示す注視点位置を表示画面の屋内地図データ上で入力操作すれば、自動的に正しい携帯端末方向（撮像方向）が修正表示され、同様に屋内の各種設備を対象にして適確に保守点検等を行うことができるため、産業上有益となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施例１に係る携帯端末用撮像方向表示システムの全体的構成を示したブロック図である。
【図２】図１に示す携帯端末用撮像方向表示システムの撮像方向表示機能付き携帯端末に備えられる設備データ表示手段の動作処理を示したフローチャートである。
【図３】図１に示す携帯端末用撮像方向表示システムの撮像方向表示機能付き携帯端末に備えられる携帯端末方向入力手段の動作処理を示したフローチャートである。
【図４】図１に示す携帯端末用撮像方向表示システムの撮像方向表示機能付き携帯端末と同機能の携帯端末を所有する操作者が第１設備、第２設備の設置された地磁気を乱さない非金属製扉を閉状態にして部屋に入ったときの使用形態を例示した模式図である。
【図５】図４で説明した地磁気が乱れない状況下で携帯端末を第１設備に向けて撮像したときのディスプレイの表示画面上で表示される第１設備、第２設備に重畳された第１設備データ、第２設備データを含む画像データを例示したものである。
【図６】図４で説明した地磁気が乱れない状況で携帯端末の携帯端末方向入力手段が起動されたときにディスプレイの表示画面上で表示される携帯端末位置とそれに対する正しい携帯端末方向とを含む屋内地図データを例示したものである。
【図７】図１に示す携帯端末用撮像方向表示システムの撮像方向表示機能付き携帯端末と同機能の携帯端末を所有する操作者が第１設備、第２設備の設置された地磁気を乱す金属製扉を閉状態にして部屋に入ったときの使用形態を例示した模式図である。
【図８】図７で説明した地磁気が乱れた状況下で携帯端末を第１設備に向けて撮像したときのディスプレイの表示画面上で表示される第１設備、第２設備に重畳されずに位置ずれされた第１設備データ、第２設備データを含む画像データを例示したものである。
【図９】図７で説明した地磁気が乱れた状況で携帯端末の携帯端末方向入力手段が起動されたときにディスプレイの表示画面上で表示される携帯端末位置とそれに対する誤った携帯端末方向とを含む屋内地図データを例示したものである。
【図１０】図７で説明した地磁気が乱れた状況で携帯端末の携帯端末方向入力手段が起動されて携帯端末位置の表示後にディスプレイの表示画面上で操作者が正しい撮像方向を示す注視点位置を入力操作したときにディスプレイの表示画面上に表示される正しい携帯端末方向を含む屋内地図データを例示したものである。
【図１１】図１０で例示した正しい撮像方向を示す注視点位置を入力操作した後に設備データ表示手段の働きでディスプレイの表示画面上に参照表示される第１設備、第２設備に重畳された第１設備データ、第２設備データを含む修正画像データを例示したものである。
【発明を実施するための形態】
【００２３】
以下に、本発明の携帯端末用撮像方向表示方法、撮像方向表示機能付き携帯端末、携帯端末用撮像方向表示システムについて、図面を参照して詳細に説明する。
【００２４】
最初に、本発明の携帯端末用撮像方向表示方法の技術的概要を簡単に説明する。本発明の携帯端末用撮像方向表示方法は、管理サーバ側では、屋内の部屋に設置される複数の設備の各種データに係る設備マスタデータを蓄積して管理する設備マスタデータ管理ステップを有し、携帯端末側では、管理サーバから取得した設備マスタデータに含まれる設備データを蓄積して管理する設備データ管理ステップと、屋内の複数の設備を撮像した撮像データを設備マスタデータに含まれる位置データ、並びに地磁気を利用した方向センサにより撮像時に検出される撮像方向に基づいて付設される表示部の表示画面上に画像データとして表示するとき、複数の設備に設備データをそれぞれ重畳して表示する設備データ表示ステップと、表示画面上で設備マスタデータに含まれる複数の設備を含む屋内のレイアウトを示す屋内地図データを撮像方向に基づいて表示するとき、屋内地図データ上で携帯端末位置と携帯端末位置から撮像方向に見える設備に対する携帯端末方向とを重畳して表示する携帯端末方向表示ステップと、を有するものである。
【００２５】
但し、上記携帯端末方向表示ステップでは、設備データ表示ステップにおける表示画面上の画像データについて、複数の設備に設備データが重畳されない地磁気が乱れる状況下にあって、屋内地図データ上で携帯端末方向の表示後に正しい撮像方向を示す注視点位置を操作者が入力操作したとき、注視点位置の入力に応じて携帯端末方向を正しく修正表示するものである。更に、携帯端末側では、携帯端末方向表示ステップで携帯端末方向を正しく修正表示した後、表示画面上で複数の設備に設備データが重畳された修正画像データを表示する修正画像データ表示ステップを有することが好ましい。何れにしても、携帯端末方向表示ステップでの画像データと携帯端末方向表示ステップでの屋内地図データとを表示画面上で分割させて同時に表示することが好ましい。
【００２６】
このような携帯端末用撮像方向表示方法によれば、携帯端末により屋内の各種設備を撮像対象としてカメラ等の撮像手段で撮像したとき、方向センサが地磁気を利用していることにより、地磁気が正常状態であれば撮像方向が正しく検出されて付設される表示部の表示画面には屋内地図データ上で携帯端末位置とそれに対して実際に撮像した設備へ向いた正しい携帯端末方向とが重畳して表示されるため、屋内に設置された各種設備を対象にして操作者（オペレータ）が適確に保守点検等を行うことができる。また、屋内環境が金属製扉等で閉塞されて地磁気が乱れるような異常状態で撮像方向が正しく検出されなくても、操作者が正しい撮像方向を示す注視点位置を表示画面の屋内地図データ上で入力操作すれば、自動的に正しい携帯端末方向が修正表示されるため、同様に屋内の各種設備を対象にして適確に保守点検等を行うことができる。
【実施例１】
【００２７】
図１は、本発明の実施例１に係る携帯端末用撮像方向表示システムの全体的構成を示したブロック図である。
【００２８】
この携帯端末用撮像方向表示システムは、屋内の部屋に設置される複数の各種設備についての各種データに係る設備マスタデータを管理する設備管理サーバ２と、上述した携帯端末用撮像方向表示方法が適用された撮像方向表示機能付き携帯端末１と、を備えて構成される。
【００２９】
設備管理サーバ２及び携帯端末１は、よく知られているように、ＣＰＵ、主メモリ、補助記憶部（ＨＤＤ）等による記憶装置、表示装置、並びにキーボード・マウス等の入出力装置を備えて構成されるものであるが、携帯端末１については表示装置や入出力装置に含まれる入力操作部が表示部やキー操作部として本体部に一体化されて構成される。
【００３０】
ここでの撮像方向表示機能付き携帯端末１は、管理サーバ２から取得した設備マスタデータに含まれる設備データを蓄積して管理し、屋内の各種設備を撮像した撮像データを設備マスタデータに含まれる位置データ、並びに地磁気を利用した方向センサにより撮像時に検出される撮像方向に基づいて表示部の表示画面上に画像データとして表示するとき、各設備に設備データをそれぞれ重畳して表示する機能と、表示画面上で設備マスタデータに含まれる各設備を含む屋内のレイアウトを示す屋内地図データを撮像方向に基づいて表示するとき、屋内地図データ上で携帯端末位置と携帯端末位置から撮像方向に見える設備に対する携帯端末方向とを重畳して表示する機能と、を持つものである。
【００３１】
具体的に云えば、管理サーバ２は、複数の設備の各種データに係る設備マスタデータを蓄積して格納した設備マスタデータ用データベース（ＤＢ）１３と、設備マスタデータ用データベース１３における設備マスタデータに含まれる各設備データについての登録・削除・更新等のデータ処理管理を行う設備マスタデータ管理手段１２と、携帯端末１に対してその携帯端末１が位置する部屋の各設備に係る設備マスタデータを無線で送信する設備管理サーバ通信手段１１と、を備えている。ここでの設備マスタデータには、屋内の各設備を含むレイアウトを示す屋内地図データ、各設備についての位置データ及び名称データが含まれる。
【００３２】
携帯端末１は、設備管理サーバ２の設備管理サーバ通信手段１１が送信した設備マスタデータを受信する携帯端末通信手段８と、携帯端末通信手段８で受信された設備マスタデータに含まれる各種設備データを設備データ用データベース（ＤＢ）１０に対して管理する設備データ管理手段９と、設備データ管理手段９により各種設備データが蓄積して格納される設備データ用データベース１０と、屋内に設置されている各種設備を撮像する撮像手段としてのカメラ３と、操作者がカメラ３を向けている撮像方向を地磁気を利用して検知する方向センサ５と、カメラ３による各種設備に係る撮像データを設備データ用データベース（ＤＢ）１０に格納された設備マスタデータに含まれる位置データ、並びに方向センサ５で検出された撮像方向に基づいて画像データとして付設される表示部であるディスプレイ４の表示画面上に表示するとき、各種設備に設備データ管理手段９で管理される設備データ用データベース１０の設備データをそれぞれ重畳して表示する設備データ表示手段６と、表示画面上で設備マスタデータに含まれる各設備を含む屋内のレイアウトを示す屋内地図データを撮像方向に基づいて表示するとき、屋内地図データ上で携帯端末位置と携帯端末位置から撮像方向に見える設備に対する携帯端末方向とを重畳して表示する携帯端末方向入力手段７と、を備えている。
【００３３】
このうち、携帯端末方向入力手段７は、設備データ表示手段６で表示した表示画面上の画像データについて、各種設備に設備データが重畳されない地磁気が乱れる状況下にあって、屋内地図データ上で携帯端末方向の表示後に正しい撮像方向を示す注視点位置を操作者が入力操作したときにその注視点位置の入力に応じて携帯端末方向を正しく修正表示させる機能を有している。
【００３４】
図２は、この携帯端末１に備えられる設備データ表示手段６の動作処理を示したフローチャートである。
【００３５】
携帯端末１における設備データ表示手段６では、カメラ３による各種設備に係る撮像データを方向センサ５で検出された撮像方向に基づいて画像データとしてディスプレイ４の表示画面上に表示するとき、設備管理データ管理手段９が管理する各種設備データをディスプレイ４の表示画面上におけるどの位置に表示するかを設備マスタデータに含まれる携帯端末１の位置データ、並びに方向センサ５が検出した撮像方向に基づいて算出する設備データ表示位置計算処理（ステップＳ１）を行った後、その計算結果に従ってディスプレイ４の表示画面上にカメラ３で撮像した画像データを表示するカメラ画像表示処理（ステップＳ２）を行う。更に、この後は設備データ表示位置計算処理（ステップＳ１）で計算して得られた位置に各種設備についての設備データを重畳表示する設備データ重畳表示処理（ステップＳ３）を行う。
【００３６】
図４は、上述した携帯端末１と同機能の携帯端末２４を所有する操作者２３が第１設備２１、第２設備２２の設置されている地磁気を乱さない非金属製扉２９を閉状態にして部屋に入ったときの使用形態を例示したものである。また、図５は、こうした地磁気が乱れない状況下で携帯端末２４を第１設備２１に向けて撮像したときのディスプレイ４の表示画面上で表示される第１設備２１、第２設備２２に重畳された第１設備データ２５、第２設備データ２６を含む画像データを例示したものである。
【００３７】
図４では、屋内環境として、携帯端末２４を所有する操作者２３が非金属製扉２９を閉状態にして閉塞された地磁気の正常状態である部屋に居るときを示しており、こうした場合のディスプレイ４の表示画面上の画像データには、図５に示されるように、第１設備２１上に第１設備データ２５が正しく表示され、第２設備２２上にも第２設備データ２６が正しく表示される。
【００３８】
一方、図７は、上述した携帯端末１と同機能の携帯端末２４を所有する操作者２３が第１設備２１、第２設備２２の設置されている地磁気を乱す金属製扉３０を閉状態にして部屋に入ったときの使用形態を例示した模式図である。また、図８は、こうした地磁気が乱れた状況下で携帯端末２４を第１設備２１に向けて撮像したときのディスプレイ４の表示画面上で表示される第１設備２１、第２設備２２に重畳されずに位置ずれされた第１設備データ２５、第２設備データ２６を含む画像データを例示したものである。
【００３９】
図７では、別な室内環境として、携帯端末２４を所有する操作者２３が金属製扉３０を閉状態にして閉塞された地磁気の異常状態である部屋に居るときを示しており、こうした場合のディスプレイ４の表示画面上の画像データには、図８に示されるように、第１設備２１上に第１設備データ２５が正しく表示されずに位置ずれされ、第２設備２２上にも第２設備データ２６が正しく表示されずに位置ずれされている。
【００４０】
図３は、携帯端末１に備えられる携帯端末方向入力手段７の動作処理を示したフローチャートである。
【００４１】
携帯端末方向入力手段７の動作処理では、表示画面上で設備マスタデータに含まれる各設備を含む屋内のレイアウトを示す屋内地図データを撮像方向に基づいて画像データから切り替えてディスプレイ４の表示画面上に表示することで屋内地図データ表示処理（ステップＳ１１）を行った後、表示されている屋内地図データ上に携帯端末位置２７を重畳して表示することで携帯端末位置表示処理（ステップＳ１２）を行う。この後は、屋内地図データ上で携帯端末位置２７に対する方向センサ５が検出した撮像方向を携帯端末方向２８として重畳して表示することで携帯端末方向表示処理（ステップＳ１３）を行う。
【００４２】
図６は、図４で説明した地磁気が乱れない状況で携帯端末２４の携帯端末方向入力手段７が起動されたときにディスプレイ４の表示画面上で表示される携帯端末位置２７とそれに対する正しい携帯端末方向（撮像方向）２８とを含む屋内地図データを例示したものである。
【００４３】
図６では、地磁気が乱れていないために方向センサ５が正しい撮像方向を検出しており、これによって携帯端末方向２８は正しく第１設備２１の方向を示している。
【００４４】
更に、携帯端末方向入力手段７の動作処理では、操作者が方向センサ５の撮像方向の変化や第１設備２１、第２設備２２に対する第１設備データ２５、第２設備データ２６の重畳の変化の具合を認知した結果に基づいて、端末方向の修正処理が必要であるか否かを判定（ステップＳ１４）する。
【００４５】
この判定の結果、端末方向の修正処理が必要なければ動作処理を終了するが、端末方向の修正処理が必要であれば、引き続いて携帯端末方向入力手段７による修正処理へ移行する。
【００４６】
図９は、図７で説明した地磁気が乱れた状況で携帯端末２４の携帯端末方向入力手段７が起動されたときにディスプレイ４の表示画面上で表示される携帯端末位置２７とそれに対する誤った携帯端末方向（撮像方向）２８とを含む屋内地図データを例示したものである。
【００４７】
図９では、地磁気の乱れにより方向センサ５が正しい撮像方向を検知できず、図８に示した第１設備２１上に第１設備データ２５が正しく表示されず、第２設備２２上にも第２設備データ２６が正しく表示されない場合にそのまま携帯端末方向表示処理（ステップＳ１３）が行われた様子を示しており、こうした場合には屋内地図データ上において、実際には第１設備２１の方向を向いているにも拘わらず、第２設備２２の方向を向いた誤った携帯端末方向（撮像方向）２８が示されるために端末方向の修正処理が必要となる。
【００４８】
そこで、携帯端末方向入力手段７では、方向センサ５が撮像方向を正しく検出できずに端末方向の修正処理が必要な場合、注視点位置入力処理機能により屋内地図データ上で注視点位置を入力操作させる携帯端末方向入力処理（ステップＳ１５）を行わせた後、携帯端末方向更新処理機能により携帯端末方向を注視点位置の向きへと更新して表示する携帯端末方向更新処理（ステップＳ１６）を行ってから動作処理を終了する。
【００４９】
図１０は、図７に示した地磁気が乱れた状況で携帯端末２４の携帯端末方向入力手段７が起動されて携帯端末位置２７の表示後にディスプレイ４の表示画面上で操作者２３が正しい撮像方向を示す注視点位置３１を入力操作したときにディスプレイ４の表示画面上に表示される携帯端末位置２７とそれに対する正しい携帯端末方向（撮像方向）２８とを含む屋内地図データを例示したものである。
【００５０】
図１０では、携帯端末方向入力処理（ステップＳ１５）によりディスプレイ４の表示画面上に表示されている屋内地図データ上で正しい注視点位置３１を入力操作すると、携帯端末方向更新処理（ステップＳ１６）が行われて正しい携帯端末方向（撮像方向）２８が更新表示（修正表示）される様子を示している。
【００５１】
また、こうした場合に携帯端末方向入力手段７からは設備データ表示手段６に対して携帯端末方向２８を正しく更新表示した旨が伝送されるため、設備データ表示手段６では設備データ表示位置計算処理（ステップＳ１）を再度行って正しい設備データ表示位置を計算し、その結果として表示画面上の画像データには、図１１に示されるように第１設備２１、第２設備２２上にそれぞれ正しく第１設備データ２５、第２設備データ２６が重畳されて表示される。
【００５２】
図１１は、図１０に示した正しい撮像方向を示す注視点位置３１を入力操作した後に設備データ表示手段６の働きでディスプレイ４の表示画面上に参照表示される第１設備２１、第２設備２２に重畳された第１設備データ２５、第２設備データ２６を含む修正画像データを例示したものである。図１１では、図１０で説明した正しい撮像方向を示す注視点位置３１の入力操作による正しい携帯端末方向（撮像方向）２８の更新表示に伴い、画像データについても修正画像データとして表示画面上に修正表示される様子を示している。
【００５３】
因みに、注視点位置３１の入力操作は、携帯端末方向入力手段７に備えられる屋内地図データ上で注視点位置３１を特定して入力操作するための位置特定入力機能により行われるものである。ここでの位置特定入力機能は、具体的にはディスプレイ４の表示画面が例えばタッチパネル式で構築された場合には屋内地図データ上における第１設備２１、第２設備２２の近傍となる所定箇所へのタッチ操作（図１０に示す例では第１設備２１近傍へのタッチ操作）により行えば良く、座標入力指示式で構築された場合には携帯端末２４に付設されるペン先で押下すれば良い。或いは、係る注視点位置３１の入力操作を、屋内地図データ上に対してカーソル指示を行わせるための携帯端末２４に付設される操作部における所定キーの押下操作やマウスのクリック操作により行わせても良い。
【００５４】
尚、実施例１に係る携帯端末用撮像方向表示システムの撮像方向表示機能付き携帯端末１では、ディスプレイ４の表示画面上で設備データ表示手段６による画像データと携帯端末方向入力手段７による屋内地図データとを切り替えて表示する場合を説明したが、設備データ表示手段６及び携帯端末方向入力手段７に係る処理の結果である画像データと屋内地図データとを表示画面上で分割させて同時に表示させることも可能である。
【符号の説明】
【００５５】
１、２４ 携帯端末
２ 管理サーバ
３ カメラ
４ ディスプレイ
５ 方向センサ
６ 設備データ表示手段
７ 端末方向入力手段
８ 携帯端末通信手段
９ 設備データ管理手段
１０ 設備データ用データベース（ＤＢ）
１１ 設備管理サーバ通信手段
１２ 設備マスタデータ管理手段
１３ 設備マスタデータ用データベース（ＤＢ）
２１ 第１設備
２２ 第２設備
２３ 操作者
２５ 第１設備データ
２６ 第２設備データ
２７ 携帯端末位置
２８ 携帯端末方向
２９ 非金属製扉
３０ 金属製扉
３１ 注視点位置
【技術分野】
【０００１】
本発明は、主に屋内の各種設備を撮像しての保守点検時等での適用が好適な携帯端末用撮像方向表示の技術に係り、詳しくは地磁気を利用した方向センサで撮像方向が検出される携帯端末により室内に設置される各種設備を撮像したときの撮像方向を修正可能として、付設される表示部の表示画面上に精度良く行わせるための携帯端末用撮像方向表示方法、撮像方向表示機能付き携帯端末、携帯端末用撮像方向表示システムに関する。
【背景技術】
【０００２】
従来、携帯端末の操作者の方向を測位するための位置情報を扱うシステムでは、携帯端末に搭載した地磁気を利用した方向センサで得られる地磁気データに基づいて方向測位を行っている。最近の携帯端末では、カメラ等の撮像手段を備えるタイプのものが多く、こうした場合の方向センサでは撮像手段による撮像方向が検出される。
【０００３】
一般に、屋内の人の位置を検出する周知技術としては、例えば磁気方位センサやジャイロセンサを用いて屋内での人の進行方向及び絶対位置情報の補正を行う「屋内位置検出装置及び屋内位置検出方法」（特許文献１参照）、地磁気検出手段や加速度検出手段を用いて屋内での人（歩行者）の移動方向を推定する「進行方向計測装置及び進行方向計測方法」（特許文献２参照）、カメラの緯度及び経度と姿勢とから撮像データにおける表示情報の内容又は形状を変化させる「コンピュータ・ビジョン・システムのグラフィック・ユーザ・インターフェイス生成装置」（特許文献３参照）等が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９１５６５４号公報
【特許文献２】特許第４５１５４９７号公報
【特許文献３】特許第４２９４０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１、特許文献２に係る屋内で方向測位を行う技術は、地磁気を用いた方向センサ、３軸加速度センサ、ジャイロセンサ等を用いており、特許文献３に係る技術は、カメラの位置情報に応じて撮像データ上のフィールド領域の一部や周辺部に表示する情報の内容や形状を変化させるものであるが、これらの技術を携帯端末に適用して屋内の各種設備に対する保守点検等で利用した場合には、操作者が表示画面上で各設備に対する撮像方向（携帯端末方向）の表示を視覚的に容易にして適確に確認し難くなるという問題がある。
【０００６】
特に地磁気を利用した方向センサを具備した撮像機能付き携帯端末の場合には、例えば屋内が金属製扉を閉状態にして閉塞したような地磁気の乱れる状況下で使用すると、方向センサで撮像方向が適確に検出されず、表示画面上に対して画像データが誤表示を起こす等、安定した測位精度を維持することが困難となってしまうという問題がある。
【０００７】
また、携帯端末で３軸加速度センサやジャイロセンサを用いて方向を推定する場合には、誤差が蓄積し易いためにその補正手段として地磁気センサを用いているが、地磁気センサを用いた場合には上述したように地磁気の乱れる状況下では撮像方向が適確に検出されずに画像データ上で誤表示を起こす等、安定した測位精度を維持することが困難となってしまうため、結果として地磁気が乱れる状況下では精度良く方向測位することができないという問題がある。
【０００８】
本発明は、このような問題点を解決すべくなされたもので、その技術的課題の１つは、表示画面上で各設備に対する撮像方向の表示を操作者が視覚的に容易にして適確に確認し得る携帯端末用撮像方向表示方法、撮像方向表示機能付き携帯端末、携帯端末用撮像方向表示システムを提供することにある。
【０００９】
また、本発明の技術的課題のもう１つは、方向センサで撮像方向が正しく検出されない地磁気が乱れる状況下でも、表示画面上に撮像方向の表示を修正可能として精度良く行わせることができる携帯端末用撮像方向表示方法、撮像方向表示機能付き携帯端末、携帯端末用撮像方向表示システムを提供することにある。
【課題を解決するための手段】
【００１０】
上記技術的課題を解決するため、本発明の第１の手段は、管理サーバ側では、屋内の部屋に設置される複数の設備の各種データに係る設備マスタデータを蓄積して管理する設備マスタデータ管理ステップを有し、携帯端末側では、管理サーバから取得した設備マスタデータに含まれる設備データを蓄積して管理する設備データ管理ステップと、屋内の複数の設備を撮像した撮像データを設備マスタデータに含まれる位置データ、並びに地磁気を利用した方向センサにより撮像時に検出される撮像方向に基づいて付設される表示部の表示画面上に画像データとして表示するとき、当該複数の設備に当該設備データをそれぞれ重畳して表示する設備データ表示ステップと、表示画面上で設備マスタデータに含まれる複数の設備を含む屋内のレイアウトを示す屋内地図データを撮像方向に基づいて表示するとき、当該屋内地図データ上で携帯端末位置と当該携帯端末位置から撮像方向に見える設備に対する携帯端末方向とを重畳して表示する携帯端末方向表示ステップと、を有することを特徴とする。
【００１１】
第２の手段は、第１の手段において、携帯端末方向表示ステップでは、設備データ表示ステップにおける表示画面上の画像データについて、複数の設備に設備データが重畳されない地磁気が乱れる状況下にあって、屋内地図データ上で携帯端末方向の表示後に正しい撮像方向を示す注視点位置を操作者が入力操作したとき、当該注視点位置の入力に応じて携帯端末方向を正しく修正表示することを特徴とする。
【００１２】
第３の手段は、第２の手段において、携帯端末側では、携帯端末方向表示ステップで携帯端末方向を正しく修正表示した後、表示画面上で複数の設備に設備データが重畳された修正画像データを表示する修正画像データ表示ステップを有することを特徴とする。
【００１３】
第４の手段は、第１の手段〜第４の手段の何れか１つの手段において、携帯端末方向表示ステップでの画像データと携帯端末方向表示ステップでの屋内地図データとを表示画面上で分割させて同時に表示することを特徴とする。
【００１４】
第５の手段は、屋内の部屋に設置される複数の設備の各種データに係る設備マスタデータを蓄積して管理する管理サーバから取得した当該設備マスタデータに含まれる設備データを蓄積して管理する設備データ管理手段と、屋内の複数の設備を撮像可能な撮像手段と、撮像手段による撮像方向を地磁気を利用して検出する方向センサと、撮像手段による屋内の複数の設備に係る撮像データを設備マスタデータに含まれる位置データ、並びに方向センサで検出された撮像方向に基づいて画像データとして付設される表示部の表示画面上に表示するとき、当該複数の設備に当該設備データをそれぞれ重畳して表示する設備データ表示手段と、表示画面上で設備マスタデータに含まれる複数の設備を含む屋内のレイアウトを示す屋内地図データを撮像方向に基づいて表示するとき、当該屋内地図データ上で携帯端末位置と当該携帯端末位置から当該撮像方向に見える設備に対する携帯端末方向とを重畳して表示する携帯端末方向入力手段と、を備えたことを特徴とする。
【００１５】
第６の手段は、第５の手段において、携帯端末方向入力手段は、設備データ表示手段により表示した表示画面上の画像データについて、複数の設備に設備データが重畳されない地磁気が乱れる状況下にあって、屋内地図データ上で携帯端末方向の表示後に正しい撮像方向を示す注視点位置を操作者が入力操作したとき、当該注視点位置の入力に応じて携帯端末方向を正しく修正表示することを特徴とする。
【００１６】
第７の手段は、第６の手段において、携帯端末方向入力手段は、方向センサが撮像方向を正しく検出できないときに屋内地図データ上で注視点位置を入力させる注視点位置入力処理機能と、携帯端末方向を注視点位置向きへと更新して表示する携帯端末方向更新処理機能と、を有することを特徴とする。
【００１７】
第８の手段は、第６の手段又は第７の手段において、設備データ表示手段は、端末方向入力手段により携帯端末方向を正しく修正表示した後、表示画面上で複数の設備に設備データが重畳された修正画像データを表示することを特徴とする。
【００１８】
第９の手段は、第５の手段〜第８の手段の何れか１つの手段において、携帯端末方向入力手段は、屋内地図データ上で注視点位置を特定して入力操作するための位置特定入力機能を備えたことを特徴とする。
【００１９】
第１０の手段は、第５の手段〜第９の手段の何れか１つの手段において、設備データ表示手段及び携帯端末方向入力手段は、表示画面上で画像データと屋内地図データとを分割させて同時に表示可能であることを特徴とする。
【００２０】
第１１の手段は、第５の手段〜第１０の手段の何れか１つの手段に係る撮像方向表示機能付き携帯端末と、管理サーバとを備えて成る携帯端末用撮像方向表示システムであることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、携帯端末により屋内の各種設備を撮像手段で撮像したとき、方向センサが地磁気を利用していることにより、地磁気が正常状態であれば撮像方向が正しく検出されて表示部の表示画面には屋内地図データ上で携帯端末位置とそれに対して実際に撮像した設備へ向いた正しい携帯端末方向（撮像方向）とが重畳して表示されるため、屋内に設置された各種設備を対象にして操作者（オペレータ）が適確に保守点検等を行うことができる。また、屋内環境が金属製扉等で閉塞されて地磁気が乱れるような異常状態で撮像方向が正しく検出されなくても、操作者が正しい撮像方向を示す注視点位置を表示画面の屋内地図データ上で入力操作すれば、自動的に正しい携帯端末方向（撮像方向）が修正表示され、同様に屋内の各種設備を対象にして適確に保守点検等を行うことができるため、産業上有益となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施例１に係る携帯端末用撮像方向表示システムの全体的構成を示したブロック図である。
【図２】図１に示す携帯端末用撮像方向表示システムの撮像方向表示機能付き携帯端末に備えられる設備データ表示手段の動作処理を示したフローチャートである。
【図３】図１に示す携帯端末用撮像方向表示システムの撮像方向表示機能付き携帯端末に備えられる携帯端末方向入力手段の動作処理を示したフローチャートである。
【図４】図１に示す携帯端末用撮像方向表示システムの撮像方向表示機能付き携帯端末と同機能の携帯端末を所有する操作者が第１設備、第２設備の設置された地磁気を乱さない非金属製扉を閉状態にして部屋に入ったときの使用形態を例示した模式図である。
【図５】図４で説明した地磁気が乱れない状況下で携帯端末を第１設備に向けて撮像したときのディスプレイの表示画面上で表示される第１設備、第２設備に重畳された第１設備データ、第２設備データを含む画像データを例示したものである。
【図６】図４で説明した地磁気が乱れない状況で携帯端末の携帯端末方向入力手段が起動されたときにディスプレイの表示画面上で表示される携帯端末位置とそれに対する正しい携帯端末方向とを含む屋内地図データを例示したものである。
【図７】図１に示す携帯端末用撮像方向表示システムの撮像方向表示機能付き携帯端末と同機能の携帯端末を所有する操作者が第１設備、第２設備の設置された地磁気を乱す金属製扉を閉状態にして部屋に入ったときの使用形態を例示した模式図である。
【図８】図７で説明した地磁気が乱れた状況下で携帯端末を第１設備に向けて撮像したときのディスプレイの表示画面上で表示される第１設備、第２設備に重畳されずに位置ずれされた第１設備データ、第２設備データを含む画像データを例示したものである。
【図９】図７で説明した地磁気が乱れた状況で携帯端末の携帯端末方向入力手段が起動されたときにディスプレイの表示画面上で表示される携帯端末位置とそれに対する誤った携帯端末方向とを含む屋内地図データを例示したものである。
【図１０】図７で説明した地磁気が乱れた状況で携帯端末の携帯端末方向入力手段が起動されて携帯端末位置の表示後にディスプレイの表示画面上で操作者が正しい撮像方向を示す注視点位置を入力操作したときにディスプレイの表示画面上に表示される正しい携帯端末方向を含む屋内地図データを例示したものである。
【図１１】図１０で例示した正しい撮像方向を示す注視点位置を入力操作した後に設備データ表示手段の働きでディスプレイの表示画面上に参照表示される第１設備、第２設備に重畳された第１設備データ、第２設備データを含む修正画像データを例示したものである。
【発明を実施するための形態】
【００２３】
以下に、本発明の携帯端末用撮像方向表示方法、撮像方向表示機能付き携帯端末、携帯端末用撮像方向表示システムについて、図面を参照して詳細に説明する。
【００２４】
最初に、本発明の携帯端末用撮像方向表示方法の技術的概要を簡単に説明する。本発明の携帯端末用撮像方向表示方法は、管理サーバ側では、屋内の部屋に設置される複数の設備の各種データに係る設備マスタデータを蓄積して管理する設備マスタデータ管理ステップを有し、携帯端末側では、管理サーバから取得した設備マスタデータに含まれる設備データを蓄積して管理する設備データ管理ステップと、屋内の複数の設備を撮像した撮像データを設備マスタデータに含まれる位置データ、並びに地磁気を利用した方向センサにより撮像時に検出される撮像方向に基づいて付設される表示部の表示画面上に画像データとして表示するとき、複数の設備に設備データをそれぞれ重畳して表示する設備データ表示ステップと、表示画面上で設備マスタデータに含まれる複数の設備を含む屋内のレイアウトを示す屋内地図データを撮像方向に基づいて表示するとき、屋内地図データ上で携帯端末位置と携帯端末位置から撮像方向に見える設備に対する携帯端末方向とを重畳して表示する携帯端末方向表示ステップと、を有するものである。
【００２５】
但し、上記携帯端末方向表示ステップでは、設備データ表示ステップにおける表示画面上の画像データについて、複数の設備に設備データが重畳されない地磁気が乱れる状況下にあって、屋内地図データ上で携帯端末方向の表示後に正しい撮像方向を示す注視点位置を操作者が入力操作したとき、注視点位置の入力に応じて携帯端末方向を正しく修正表示するものである。更に、携帯端末側では、携帯端末方向表示ステップで携帯端末方向を正しく修正表示した後、表示画面上で複数の設備に設備データが重畳された修正画像データを表示する修正画像データ表示ステップを有することが好ましい。何れにしても、携帯端末方向表示ステップでの画像データと携帯端末方向表示ステップでの屋内地図データとを表示画面上で分割させて同時に表示することが好ましい。
【００２６】
このような携帯端末用撮像方向表示方法によれば、携帯端末により屋内の各種設備を撮像対象としてカメラ等の撮像手段で撮像したとき、方向センサが地磁気を利用していることにより、地磁気が正常状態であれば撮像方向が正しく検出されて付設される表示部の表示画面には屋内地図データ上で携帯端末位置とそれに対して実際に撮像した設備へ向いた正しい携帯端末方向とが重畳して表示されるため、屋内に設置された各種設備を対象にして操作者（オペレータ）が適確に保守点検等を行うことができる。また、屋内環境が金属製扉等で閉塞されて地磁気が乱れるような異常状態で撮像方向が正しく検出されなくても、操作者が正しい撮像方向を示す注視点位置を表示画面の屋内地図データ上で入力操作すれば、自動的に正しい携帯端末方向が修正表示されるため、同様に屋内の各種設備を対象にして適確に保守点検等を行うことができる。
【実施例１】
【００２７】
図１は、本発明の実施例１に係る携帯端末用撮像方向表示システムの全体的構成を示したブロック図である。
【００２８】
この携帯端末用撮像方向表示システムは、屋内の部屋に設置される複数の各種設備についての各種データに係る設備マスタデータを管理する設備管理サーバ２と、上述した携帯端末用撮像方向表示方法が適用された撮像方向表示機能付き携帯端末１と、を備えて構成される。
【００２９】
設備管理サーバ２及び携帯端末１は、よく知られているように、ＣＰＵ、主メモリ、補助記憶部（ＨＤＤ）等による記憶装置、表示装置、並びにキーボード・マウス等の入出力装置を備えて構成されるものであるが、携帯端末１については表示装置や入出力装置に含まれる入力操作部が表示部やキー操作部として本体部に一体化されて構成される。
【００３０】
ここでの撮像方向表示機能付き携帯端末１は、管理サーバ２から取得した設備マスタデータに含まれる設備データを蓄積して管理し、屋内の各種設備を撮像した撮像データを設備マスタデータに含まれる位置データ、並びに地磁気を利用した方向センサにより撮像時に検出される撮像方向に基づいて表示部の表示画面上に画像データとして表示するとき、各設備に設備データをそれぞれ重畳して表示する機能と、表示画面上で設備マスタデータに含まれる各設備を含む屋内のレイアウトを示す屋内地図データを撮像方向に基づいて表示するとき、屋内地図データ上で携帯端末位置と携帯端末位置から撮像方向に見える設備に対する携帯端末方向とを重畳して表示する機能と、を持つものである。
【００３１】
具体的に云えば、管理サーバ２は、複数の設備の各種データに係る設備マスタデータを蓄積して格納した設備マスタデータ用データベース（ＤＢ）１３と、設備マスタデータ用データベース１３における設備マスタデータに含まれる各設備データについての登録・削除・更新等のデータ処理管理を行う設備マスタデータ管理手段１２と、携帯端末１に対してその携帯端末１が位置する部屋の各設備に係る設備マスタデータを無線で送信する設備管理サーバ通信手段１１と、を備えている。ここでの設備マスタデータには、屋内の各設備を含むレイアウトを示す屋内地図データ、各設備についての位置データ及び名称データが含まれる。
【００３２】
携帯端末１は、設備管理サーバ２の設備管理サーバ通信手段１１が送信した設備マスタデータを受信する携帯端末通信手段８と、携帯端末通信手段８で受信された設備マスタデータに含まれる各種設備データを設備データ用データベース（ＤＢ）１０に対して管理する設備データ管理手段９と、設備データ管理手段９により各種設備データが蓄積して格納される設備データ用データベース１０と、屋内に設置されている各種設備を撮像する撮像手段としてのカメラ３と、操作者がカメラ３を向けている撮像方向を地磁気を利用して検知する方向センサ５と、カメラ３による各種設備に係る撮像データを設備データ用データベース（ＤＢ）１０に格納された設備マスタデータに含まれる位置データ、並びに方向センサ５で検出された撮像方向に基づいて画像データとして付設される表示部であるディスプレイ４の表示画面上に表示するとき、各種設備に設備データ管理手段９で管理される設備データ用データベース１０の設備データをそれぞれ重畳して表示する設備データ表示手段６と、表示画面上で設備マスタデータに含まれる各設備を含む屋内のレイアウトを示す屋内地図データを撮像方向に基づいて表示するとき、屋内地図データ上で携帯端末位置と携帯端末位置から撮像方向に見える設備に対する携帯端末方向とを重畳して表示する携帯端末方向入力手段７と、を備えている。
【００３３】
このうち、携帯端末方向入力手段７は、設備データ表示手段６で表示した表示画面上の画像データについて、各種設備に設備データが重畳されない地磁気が乱れる状況下にあって、屋内地図データ上で携帯端末方向の表示後に正しい撮像方向を示す注視点位置を操作者が入力操作したときにその注視点位置の入力に応じて携帯端末方向を正しく修正表示させる機能を有している。
【００３４】
図２は、この携帯端末１に備えられる設備データ表示手段６の動作処理を示したフローチャートである。
【００３５】
携帯端末１における設備データ表示手段６では、カメラ３による各種設備に係る撮像データを方向センサ５で検出された撮像方向に基づいて画像データとしてディスプレイ４の表示画面上に表示するとき、設備管理データ管理手段９が管理する各種設備データをディスプレイ４の表示画面上におけるどの位置に表示するかを設備マスタデータに含まれる携帯端末１の位置データ、並びに方向センサ５が検出した撮像方向に基づいて算出する設備データ表示位置計算処理（ステップＳ１）を行った後、その計算結果に従ってディスプレイ４の表示画面上にカメラ３で撮像した画像データを表示するカメラ画像表示処理（ステップＳ２）を行う。更に、この後は設備データ表示位置計算処理（ステップＳ１）で計算して得られた位置に各種設備についての設備データを重畳表示する設備データ重畳表示処理（ステップＳ３）を行う。
【００３６】
図４は、上述した携帯端末１と同機能の携帯端末２４を所有する操作者２３が第１設備２１、第２設備２２の設置されている地磁気を乱さない非金属製扉２９を閉状態にして部屋に入ったときの使用形態を例示したものである。また、図５は、こうした地磁気が乱れない状況下で携帯端末２４を第１設備２１に向けて撮像したときのディスプレイ４の表示画面上で表示される第１設備２１、第２設備２２に重畳された第１設備データ２５、第２設備データ２６を含む画像データを例示したものである。
【００３７】
図４では、屋内環境として、携帯端末２４を所有する操作者２３が非金属製扉２９を閉状態にして閉塞された地磁気の正常状態である部屋に居るときを示しており、こうした場合のディスプレイ４の表示画面上の画像データには、図５に示されるように、第１設備２１上に第１設備データ２５が正しく表示され、第２設備２２上にも第２設備データ２６が正しく表示される。
【００３８】
一方、図７は、上述した携帯端末１と同機能の携帯端末２４を所有する操作者２３が第１設備２１、第２設備２２の設置されている地磁気を乱す金属製扉３０を閉状態にして部屋に入ったときの使用形態を例示した模式図である。また、図８は、こうした地磁気が乱れた状況下で携帯端末２４を第１設備２１に向けて撮像したときのディスプレイ４の表示画面上で表示される第１設備２１、第２設備２２に重畳されずに位置ずれされた第１設備データ２５、第２設備データ２６を含む画像データを例示したものである。
【００３９】
図７では、別な室内環境として、携帯端末２４を所有する操作者２３が金属製扉３０を閉状態にして閉塞された地磁気の異常状態である部屋に居るときを示しており、こうした場合のディスプレイ４の表示画面上の画像データには、図８に示されるように、第１設備２１上に第１設備データ２５が正しく表示されずに位置ずれされ、第２設備２２上にも第２設備データ２６が正しく表示されずに位置ずれされている。
【００４０】
図３は、携帯端末１に備えられる携帯端末方向入力手段７の動作処理を示したフローチャートである。
【００４１】
携帯端末方向入力手段７の動作処理では、表示画面上で設備マスタデータに含まれる各設備を含む屋内のレイアウトを示す屋内地図データを撮像方向に基づいて画像データから切り替えてディスプレイ４の表示画面上に表示することで屋内地図データ表示処理（ステップＳ１１）を行った後、表示されている屋内地図データ上に携帯端末位置２７を重畳して表示することで携帯端末位置表示処理（ステップＳ１２）を行う。この後は、屋内地図データ上で携帯端末位置２７に対する方向センサ５が検出した撮像方向を携帯端末方向２８として重畳して表示することで携帯端末方向表示処理（ステップＳ１３）を行う。
【００４２】
図６は、図４で説明した地磁気が乱れない状況で携帯端末２４の携帯端末方向入力手段７が起動されたときにディスプレイ４の表示画面上で表示される携帯端末位置２７とそれに対する正しい携帯端末方向（撮像方向）２８とを含む屋内地図データを例示したものである。
【００４３】
図６では、地磁気が乱れていないために方向センサ５が正しい撮像方向を検出しており、これによって携帯端末方向２８は正しく第１設備２１の方向を示している。
【００４４】
更に、携帯端末方向入力手段７の動作処理では、操作者が方向センサ５の撮像方向の変化や第１設備２１、第２設備２２に対する第１設備データ２５、第２設備データ２６の重畳の変化の具合を認知した結果に基づいて、端末方向の修正処理が必要であるか否かを判定（ステップＳ１４）する。
【００４５】
この判定の結果、端末方向の修正処理が必要なければ動作処理を終了するが、端末方向の修正処理が必要であれば、引き続いて携帯端末方向入力手段７による修正処理へ移行する。
【００４６】
図９は、図７で説明した地磁気が乱れた状況で携帯端末２４の携帯端末方向入力手段７が起動されたときにディスプレイ４の表示画面上で表示される携帯端末位置２７とそれに対する誤った携帯端末方向（撮像方向）２８とを含む屋内地図データを例示したものである。
【００４７】
図９では、地磁気の乱れにより方向センサ５が正しい撮像方向を検知できず、図８に示した第１設備２１上に第１設備データ２５が正しく表示されず、第２設備２２上にも第２設備データ２６が正しく表示されない場合にそのまま携帯端末方向表示処理（ステップＳ１３）が行われた様子を示しており、こうした場合には屋内地図データ上において、実際には第１設備２１の方向を向いているにも拘わらず、第２設備２２の方向を向いた誤った携帯端末方向（撮像方向）２８が示されるために端末方向の修正処理が必要となる。
【００４８】
そこで、携帯端末方向入力手段７では、方向センサ５が撮像方向を正しく検出できずに端末方向の修正処理が必要な場合、注視点位置入力処理機能により屋内地図データ上で注視点位置を入力操作させる携帯端末方向入力処理（ステップＳ１５）を行わせた後、携帯端末方向更新処理機能により携帯端末方向を注視点位置の向きへと更新して表示する携帯端末方向更新処理（ステップＳ１６）を行ってから動作処理を終了する。
【００４９】
図１０は、図７に示した地磁気が乱れた状況で携帯端末２４の携帯端末方向入力手段７が起動されて携帯端末位置２７の表示後にディスプレイ４の表示画面上で操作者２３が正しい撮像方向を示す注視点位置３１を入力操作したときにディスプレイ４の表示画面上に表示される携帯端末位置２７とそれに対する正しい携帯端末方向（撮像方向）２８とを含む屋内地図データを例示したものである。
【００５０】
図１０では、携帯端末方向入力処理（ステップＳ１５）によりディスプレイ４の表示画面上に表示されている屋内地図データ上で正しい注視点位置３１を入力操作すると、携帯端末方向更新処理（ステップＳ１６）が行われて正しい携帯端末方向（撮像方向）２８が更新表示（修正表示）される様子を示している。
【００５１】
また、こうした場合に携帯端末方向入力手段７からは設備データ表示手段６に対して携帯端末方向２８を正しく更新表示した旨が伝送されるため、設備データ表示手段６では設備データ表示位置計算処理（ステップＳ１）を再度行って正しい設備データ表示位置を計算し、その結果として表示画面上の画像データには、図１１に示されるように第１設備２１、第２設備２２上にそれぞれ正しく第１設備データ２５、第２設備データ２６が重畳されて表示される。
【００５２】
図１１は、図１０に示した正しい撮像方向を示す注視点位置３１を入力操作した後に設備データ表示手段６の働きでディスプレイ４の表示画面上に参照表示される第１設備２１、第２設備２２に重畳された第１設備データ２５、第２設備データ２６を含む修正画像データを例示したものである。図１１では、図１０で説明した正しい撮像方向を示す注視点位置３１の入力操作による正しい携帯端末方向（撮像方向）２８の更新表示に伴い、画像データについても修正画像データとして表示画面上に修正表示される様子を示している。
【００５３】
因みに、注視点位置３１の入力操作は、携帯端末方向入力手段７に備えられる屋内地図データ上で注視点位置３１を特定して入力操作するための位置特定入力機能により行われるものである。ここでの位置特定入力機能は、具体的にはディスプレイ４の表示画面が例えばタッチパネル式で構築された場合には屋内地図データ上における第１設備２１、第２設備２２の近傍となる所定箇所へのタッチ操作（図１０に示す例では第１設備２１近傍へのタッチ操作）により行えば良く、座標入力指示式で構築された場合には携帯端末２４に付設されるペン先で押下すれば良い。或いは、係る注視点位置３１の入力操作を、屋内地図データ上に対してカーソル指示を行わせるための携帯端末２４に付設される操作部における所定キーの押下操作やマウスのクリック操作により行わせても良い。
【００５４】
尚、実施例１に係る携帯端末用撮像方向表示システムの撮像方向表示機能付き携帯端末１では、ディスプレイ４の表示画面上で設備データ表示手段６による画像データと携帯端末方向入力手段７による屋内地図データとを切り替えて表示する場合を説明したが、設備データ表示手段６及び携帯端末方向入力手段７に係る処理の結果である画像データと屋内地図データとを表示画面上で分割させて同時に表示させることも可能である。
【符号の説明】
【００５５】
１、２４ 携帯端末
２ 管理サーバ
３ カメラ
４ ディスプレイ
５ 方向センサ
６ 設備データ表示手段
７ 端末方向入力手段
８ 携帯端末通信手段
９ 設備データ管理手段
１０ 設備データ用データベース（ＤＢ）
１１ 設備管理サーバ通信手段
１２ 設備マスタデータ管理手段
１３ 設備マスタデータ用データベース（ＤＢ）
２１ 第１設備
２２ 第２設備
２３ 操作者
２５ 第１設備データ
２６ 第２設備データ
２７ 携帯端末位置
２８ 携帯端末方向
２９ 非金属製扉
３０ 金属製扉
３１ 注視点位置
【特許請求の範囲】
【請求項１】
管理サーバ側では、屋内の部屋に設置される複数の設備の各種データに係る設備マスタデータを蓄積して管理する設備マスタデータ管理ステップを有し、
携帯端末側では、前記管理サーバから取得した前記設備マスタデータに含まれる設備データを蓄積して管理する設備データ管理ステップと、前記屋内の前記複数の設備を撮像した撮像データを前記設備マスタデータに含まれる位置データ、並びに地磁気を利用した方向センサにより撮像時に検出される撮像方向に基づいて付設される表示部の表示画面上に画像データとして表示するとき、当該複数の設備に当該設備データをそれぞれ重畳して表示する設備データ表示ステップと、前記表示画面上で前記設備マスタデータに含まれる前記複数の設備を含む屋内のレイアウトを示す屋内地図データを前記撮像方向に基づいて表示するとき、当該屋内地図データ上で携帯端末位置と当該携帯端末位置から当該撮像方向に見える設備に対する携帯端末方向とを重畳して表示する携帯端末方向表示ステップと、を有することを特徴とする携帯端末用撮像方向表示方法。
【請求項２】
請求項１記載の携帯端末用撮像方向表示方法において、前記携帯端末方向表示ステップでは、前記設備データ表示ステップにおける前記表示画面上の前記画像データについて、前記複数の設備に前記設備データが重畳されない地磁気が乱れる状況下にあって、前記屋内地図データ上で前記携帯端末方向の表示後に正しい撮像方向を示す注視点位置を操作者が入力操作したとき、当該注視点位置の入力に応じて前記携帯端末方向を正しく修正表示することを特徴とする携帯端末用撮像方向表示方法。
【請求項３】
請求項２項記載の携帯端末用撮像方向表示方法において、前記携帯端末側では、前記携帯端末方向表示ステップで前記携帯端末方向を正しく修正表示した後、前記表示画面上で前記複数の設備に前記設備データが重畳された修正画像データを表示する修正画像データ表示ステップを有することを特徴とする携帯端末用撮像方向表示方法。
【請求項４】
請求項１〜３の何れか１項記載の携帯端末用撮像方向表示方法において、前記携帯端末方向表示ステップでの前記画像データと前記携帯端末方向表示ステップでの前記屋内地図データとを前記表示画面上で分割させて同時に表示することを特徴とする携帯端末用撮像方向表示方法。
【請求項５】
屋内の部屋に設置される複数の設備の各種データに係る設備マスタデータを蓄積して管理する管理サーバから取得した当該設備マスタデータに含まれる設備データを蓄積して管理する設備データ管理手段と、前記屋内の前記複数の設備を撮像可能な撮像手段と、前記撮像手段による撮像方向を地磁気を利用して検出する方向センサと、前記撮像手段による前記屋内の前記複数の設備に係る撮像データを前記設備マスタデータに含まれる位置データ、並びに前記方向センサで検出された前記撮像方向に基づいて画像データとして付設される表示部の表示画面上に表示するとき、当該複数の設備に当該設備データをそれぞれ重畳して表示する設備データ表示手段と、前記表示画面上で前記設備マスタデータに含まれる前記複数の設備を含む屋内のレイアウトを示す屋内地図データを前記撮像方向に基づいて表示するとき、当該屋内地図データ上で携帯端末位置と当該携帯端末位置から当該撮像方向に見える設備に対する携帯端末方向とを重畳して表示する携帯端末方向入力手段と、を備えたことを特徴とする撮像方向表示機能付き携帯端末。
【請求項６】
請求項５記載の撮像方向表示機能付き携帯端末において、前記携帯端末方向入力手段は、前記設備データ表示手段により表示した前記表示画面上の前記画像データについて、前記複数の設備に前記設備データが重畳されない地磁気が乱れる状況下にあって、前記屋内地図データ上で前記携帯端末方向の表示後に正しい撮像方向を示す注視点位置を操作者が入力操作したとき、当該注視点位置の入力に応じて前記携帯端末方向を正しく修正表示することを特徴とする撮像方向表示機能付き携帯端末。
【請求項７】
請求項６記載の撮像方向表示機能付き携帯端末において、前記携帯端末方向入力手段は、前記方向センサが前記撮像方向を正しく検出できないときに前記屋内地図データ上で前記注視点位置を入力させる注視点位置入力処理機能と、前記携帯端末方向を前記注視点位置向きへと更新して表示する携帯端末方向更新処理機能と、を有することを特徴とする撮像方向表示機能付き携帯端末。
【請求項８】
請求項６又は７記載の撮像方向表示機能付き携帯端末において、前記設備データ表示手段は、前記端末方向入力手段により前記携帯端末方向を正しく修正表示した後、前記表示画面上で前記複数の設備に前記設備データが重畳された修正画像データを表示することを特徴とする撮像方向表示機能付き携帯端末。
【請求項９】
請求項５〜８の何れか１項記載の撮像方向表示機能付き携帯端末において、前記携帯端末方向入力手段は、前記屋内地図データ上で前記注視点位置を特定して入力操作するための位置特定入力機能を備えたことを特徴とする撮像方向表示機能付き携帯端末。
【請求項１０】
請求項５〜９の何れか１項記載の撮像方向表示機能付き携帯端末において、前記設備データ表示手段及び前記携帯端末方向入力手段は、前記表示画面上で前記画像データと前記屋内地図データとを分割させて同時に表示可能であることを特徴とする撮像方向表示機能付き携帯端末。
【請求項１１】
請求項５〜１０の何れか１項記載の撮像方向表示機能付き携帯端末と、前記管理サーバと、を備えて成ることを特徴とする携帯端末用撮像方向表示システム。
【請求項１】
管理サーバ側では、屋内の部屋に設置される複数の設備の各種データに係る設備マスタデータを蓄積して管理する設備マスタデータ管理ステップを有し、
携帯端末側では、前記管理サーバから取得した前記設備マスタデータに含まれる設備データを蓄積して管理する設備データ管理ステップと、前記屋内の前記複数の設備を撮像した撮像データを前記設備マスタデータに含まれる位置データ、並びに地磁気を利用した方向センサにより撮像時に検出される撮像方向に基づいて付設される表示部の表示画面上に画像データとして表示するとき、当該複数の設備に当該設備データをそれぞれ重畳して表示する設備データ表示ステップと、前記表示画面上で前記設備マスタデータに含まれる前記複数の設備を含む屋内のレイアウトを示す屋内地図データを前記撮像方向に基づいて表示するとき、当該屋内地図データ上で携帯端末位置と当該携帯端末位置から当該撮像方向に見える設備に対する携帯端末方向とを重畳して表示する携帯端末方向表示ステップと、を有することを特徴とする携帯端末用撮像方向表示方法。
【請求項２】
請求項１記載の携帯端末用撮像方向表示方法において、前記携帯端末方向表示ステップでは、前記設備データ表示ステップにおける前記表示画面上の前記画像データについて、前記複数の設備に前記設備データが重畳されない地磁気が乱れる状況下にあって、前記屋内地図データ上で前記携帯端末方向の表示後に正しい撮像方向を示す注視点位置を操作者が入力操作したとき、当該注視点位置の入力に応じて前記携帯端末方向を正しく修正表示することを特徴とする携帯端末用撮像方向表示方法。
【請求項３】
請求項２項記載の携帯端末用撮像方向表示方法において、前記携帯端末側では、前記携帯端末方向表示ステップで前記携帯端末方向を正しく修正表示した後、前記表示画面上で前記複数の設備に前記設備データが重畳された修正画像データを表示する修正画像データ表示ステップを有することを特徴とする携帯端末用撮像方向表示方法。
【請求項４】
請求項１〜３の何れか１項記載の携帯端末用撮像方向表示方法において、前記携帯端末方向表示ステップでの前記画像データと前記携帯端末方向表示ステップでの前記屋内地図データとを前記表示画面上で分割させて同時に表示することを特徴とする携帯端末用撮像方向表示方法。
【請求項５】
屋内の部屋に設置される複数の設備の各種データに係る設備マスタデータを蓄積して管理する管理サーバから取得した当該設備マスタデータに含まれる設備データを蓄積して管理する設備データ管理手段と、前記屋内の前記複数の設備を撮像可能な撮像手段と、前記撮像手段による撮像方向を地磁気を利用して検出する方向センサと、前記撮像手段による前記屋内の前記複数の設備に係る撮像データを前記設備マスタデータに含まれる位置データ、並びに前記方向センサで検出された前記撮像方向に基づいて画像データとして付設される表示部の表示画面上に表示するとき、当該複数の設備に当該設備データをそれぞれ重畳して表示する設備データ表示手段と、前記表示画面上で前記設備マスタデータに含まれる前記複数の設備を含む屋内のレイアウトを示す屋内地図データを前記撮像方向に基づいて表示するとき、当該屋内地図データ上で携帯端末位置と当該携帯端末位置から当該撮像方向に見える設備に対する携帯端末方向とを重畳して表示する携帯端末方向入力手段と、を備えたことを特徴とする撮像方向表示機能付き携帯端末。
【請求項６】
請求項５記載の撮像方向表示機能付き携帯端末において、前記携帯端末方向入力手段は、前記設備データ表示手段により表示した前記表示画面上の前記画像データについて、前記複数の設備に前記設備データが重畳されない地磁気が乱れる状況下にあって、前記屋内地図データ上で前記携帯端末方向の表示後に正しい撮像方向を示す注視点位置を操作者が入力操作したとき、当該注視点位置の入力に応じて前記携帯端末方向を正しく修正表示することを特徴とする撮像方向表示機能付き携帯端末。
【請求項７】
請求項６記載の撮像方向表示機能付き携帯端末において、前記携帯端末方向入力手段は、前記方向センサが前記撮像方向を正しく検出できないときに前記屋内地図データ上で前記注視点位置を入力させる注視点位置入力処理機能と、前記携帯端末方向を前記注視点位置向きへと更新して表示する携帯端末方向更新処理機能と、を有することを特徴とする撮像方向表示機能付き携帯端末。
【請求項８】
請求項６又は７記載の撮像方向表示機能付き携帯端末において、前記設備データ表示手段は、前記端末方向入力手段により前記携帯端末方向を正しく修正表示した後、前記表示画面上で前記複数の設備に前記設備データが重畳された修正画像データを表示することを特徴とする撮像方向表示機能付き携帯端末。
【請求項９】
請求項５〜８の何れか１項記載の撮像方向表示機能付き携帯端末において、前記携帯端末方向入力手段は、前記屋内地図データ上で前記注視点位置を特定して入力操作するための位置特定入力機能を備えたことを特徴とする撮像方向表示機能付き携帯端末。
【請求項１０】
請求項５〜９の何れか１項記載の撮像方向表示機能付き携帯端末において、前記設備データ表示手段及び前記携帯端末方向入力手段は、前記表示画面上で前記画像データと前記屋内地図データとを分割させて同時に表示可能であることを特徴とする撮像方向表示機能付き携帯端末。
【請求項１１】
請求項５〜１０の何れか１項記載の撮像方向表示機能付き携帯端末と、前記管理サーバと、を備えて成ることを特徴とする携帯端末用撮像方向表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１９５７４９（Ｐ２０１２−１９５７４９Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−５７８９８（Ｐ２０１１−５７８９８）
【出願日】平成２３年３月１６日（２０１１．３．１６）
【出願人】（０００１５３４４３）株式会社日立情報制御ソリューションズ (359)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１６日（２０１１．３．１６）
【出願人】（０００１５３４４３）株式会社日立情報制御ソリューションズ (359)
【Ｆターム（参考）】
[ Back to top ]