説明

カメラファインダ、撮影装置および遠隔作業支援システム

【課題】本発明は、カメラの撮影方向等を算出することなくより簡単な手法で、かつ正確にカメラの撮影範囲を確認することができるように、前記被写体の映像を表示することができるカメラファインダ、これを備えた撮影装置および遠隔作業支援システムを提供する。
【解決手段】本発明のカメラファインダは、例えば撮影装置1に実装されており、被写体の映像を外界光に重ね合わせて表示する表示ユニット40と、表示ユニット40に前記被写体の映像を外界光に重ね合わせて表示する場合に、前記被写体の映像と前記外界光による像とを区別するための判別化画像処理を前記被写体の映像に施す判別化画像処理部63aとを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラによって撮影された被写体の映像を外界光に重ね合わせて表示するカメラファインダに関する。そして、本発明は、このカメラファインダを備え、頭部に装着可能なカメラによって前記被写体の映像を撮影する撮影装置およびこの撮影装置を用いた遠隔作業支援システムに関する。
【背景技術】
【0002】
従来、観察者の頭部や顔面に着脱自在に装着され、小型のCRTや液晶表示素子等の映像表示手段から得られる映像(画像)を接眼光学系によって観察者の視野内に表示させることで、前記映像を観察者に観察可能に構成したいわゆるHMD(Head Mount Display)が知られている。このようなHMDの一つとして、前記映像を外界光に重畳して表示する光学シースルータイプのHMDがあり、例えば、特許文献1に開示されている。
【0003】
この特許文献1に開示のビューファインダ手段を備えた着用可能なカメラ・システムは、眼鏡フレームを備えて構成されており、この眼鏡フレームは、そのノーズ・ブリッジ内に隠された広角カメラと、当該眼鏡フレームの上部に隠されたその狭角カメラと、前記広角カメラおよび前記狭角カメラによって得られたビデオ信号によって駆動されるテレビジョン・スクリーンと、その一方または両方の眼鏡レンズ内またはその背面に設けられた、前記テレビジョン・スクリーンによる拡大画像が得られる光学系とを備えている。
【0004】
このような光学シースルータイプのHMDでは、頭部に装着されるカメラで撮影された前方視野内における被写体の映像が外界光による被写体像に重畳しているため、特に、シースルー性の高い場合には、重なって観察される撮影像と外界像の判別がつき難く、前記映像の範囲、すなわち、前記カメラの撮影範囲を装着者が確認し難い。装着者が撮影範囲を正確に確認したいという要望に対し、例えば、特許文献2に開示の頭部装着型カメラがある。
【0005】
この特許文献2に開示の頭部装着型カメラは、略メガネ型をなす頭部装着部を備えて構成されており、この頭部装着部は、そのテンプル部に一体的に設けられた被写体像を撮像するための第1撮像部と、メガネの視度補正用のレンズに相当する透明光学部材に設けられたシースルー画像表示部とを備えている。前記シースルー画像表示部は、LEDによって発光され集光レンズで集光された光で、前記第1撮像部で撮像された映像を表示する透光型LCDをその背面から照明することによって映像光を生成し、この映像光を、前記透明光学部材に設けられた体積位相型の反射型ホログラフィー光学素子に導光し、この反射型ホログラフィー光学素子で撮影者の視野方向前方に虚像として表示するものである。このような構成によって前記透明光学部材で外界光を撮影者の眼へ向けて透過させるとともに、この透明光学部材に設けられた前記反射型ホログラフィー光学素子で映像光を撮影者の視野方向前方に虚像として表示させることで、第1撮像部で撮像した被写体の映像と外界光による被写体とを重ね合わせている。そして、この特許文献2に開示の頭部装着型カメラでは、撮影範囲を示す撮影画枠をシースルー画像表示部に表示することで、第1撮像部で撮像された被写体の範囲を表している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表2002−508636号公報
【特許文献2】特開2005−223749号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、前記特許文献2に開示の頭部装着型カメラでは、撮影画枠をシースルー画像表示部に表示するために、カメラの撮影方向および撮影範囲と、シースルーの外界光による像との相対関係を正確に求める必要があり、そのための情報処理等のプロセスが複雑になってしまっており、また、外界光による像と撮影画枠とを完全に一致させることは困難である。
【0008】
本発明は、上述の事情に鑑みて為された発明であり、その目的は、カメラの撮影方向等を算出することなくより簡単な手法で、かつ正確にカメラの撮影範囲を確認することができるように、前記被写体の映像を表示することができるカメラファインダを提供することである。そして、本発明は、このカメラファインダを備え、頭部に装着可能なカメラによって前記被写体の映像を撮影する撮影装置およびこの撮影装置を用いた遠隔作業支援システムを提供することである。
【課題を解決するための手段】
【0009】
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかるカメラファインダは、被写体の映像を外界光に重ね合わせて表示するカメラファインダであって、前記被写体の映像を外界光に重ね合わせて表示する表示部と、前記表示部に前記被写体の映像を外界光に重ね合わせて表示する場合に、前記被写体の映像と前記外界光による像とを区別するための判別化画像処理を前記被写体の映像に施す判別化画像処理部とを備えることを特徴とする。
【0010】
このような構成のカメラファインダでは、被写体の映像を外界光に重ね合わせて表示部に表示する場合に、判別化画像処理部によって前記被写体の映像に判別化画像処理が施される。このように前記構成のカメラファインダは、前記被写体の映像自体に判別化画像処理を施すので、カメラの撮影方向等を算出することなくより簡単な手法で、正確にカメラの撮影範囲を確認することができるように、前記被写体の映像を表示することができる。
【0011】
また、他の一態様では、上述のカメラファインダにおいて、好ましくは、前記判別化画像処理は、モノトーン処理、エッジ強調処理、エッジ抽出処理、コントラスト強調処理、ネガポジ反転処理、モザイク処理、階調レベル数低減処理およびノイズ重畳処理のうちの少なくとも1つである。
【0012】
この構成によれば、モノトーン処理、エッジ強調処理、エッジ抽出処理、コントラスト強調処理、ネガポジ反転処理、モザイク処理、階調レベル数低減処理およびノイズ重畳処理のうちの少なくとも1つを判別化画像処理として用いるので、観察者(ユーザ)は、前記被写体の映像を外界光による像から容易に区別して観察することができる。
【0013】
また、他の一態様では、上述のカメラファインダにおいて、好ましくは、前記判別化画像処理は、モノトーン処理、エッジ強調処理、エッジ抽出処理、コントラスト強調処理、ネガポジ反転処理、モザイク処理、階調レベル数低減処理およびノイズ重畳処理のうちの少なくとも1つから成る複数のサブ判別化画像処理を備え、前記判別化画像処理部は、前記複数のサブ判別化画像処理のうちのいずれかを選択し、この選択したサブ判別化画像処理を前記被写体の映像に施すことである。
【0014】
この構成によれば、複数のサブ判別化画像処理が予め用意されているので、例えば室内や昼間や夜間等の外界光の異なる使用環境に応じて、適宜なサブ判別化画像処理を選択することが可能であり、より正確にカメラの撮影範囲を確認することができるように、前記被写体の映像を表示することができる。
【0015】
また、他の一態様では、これら上述のカメラファインダにおいて、好ましくは、前記被写体の映像を外界光に重ね合わせて前記表示部に表示するか否かを制御する表示制御部をさらに備えることである。
【0016】
この構成によれば、前記表示制御部をさらに備えるので、前記被写体の映像を外界光に重ね合わせて前記表示部に表示する場合に、必要に応じて、前記被写体の映像に判別化画像処理を施すことができる。特に、被写体の映像ではない映像を表示部に表示する場合には、この映像は、外界光による像と異なるため、判別化画像処理が本来的に必要ではなく、前記構成は、例えば、このような場合に効果的に対応することができる。
【0017】
また、他の一態様では、これら上述のカメラファインダにおいて、好ましくは、前記表示部における外界光の可視光透過率は、70%以上である。
【0018】
外界光の可視光透過率が70%以上である場合には、被写体の映像と外界光による像との判別が難しくなるが、前記構成によれば、被写体の映像に判別化画像処理が施されるので、被写体の映像と外界光による像との判別が可能となる。このように外界光の可視光透過率が70%以上である場合に、本発明は、より効果的である。
【0019】
また、他の一態様では、これら上述のカメラファインダにおいて、好ましくは、前記表示部は、前記被写体の映像光を生成する映像光生成部と、前記映像光生成部で生成された前記被写体の映像光を複数回全反射して導光する導光部と、前記導光部によって導光された前記被写体の映像光を前記導光部の外部へ反射する反射部とを備えることである。
【0020】
この構成によれば、被写体の映像光を複数回全反射して導光するので、表示部を小型化(コンパクト化)することができる。
【0021】
また、他の一態様では、上述のカメラファインダにおいて、好ましくは、前記反射部は、反射型ホログラム光学素子である。
【0022】
この構成によれば、反射部に反射型ホログラム光学素子を用いるので、外界光の可視光透過率が比較的高くなり、観察者は、外界光による像をより良好に観察することが可能となり、表示部を介して外界を観察して作業する場合に、その作業性が向上する。
【0023】
また、他の一態様では、上述のカメラファインダにおいて、好ましくは、前記反射型ホログラム光学素子は、前記被写体の映像光を拡大反射する正の光学的パワーを持つ反射面を備えることである。
【0024】
この構成によれば、反射型ホログラム光学素子が正の光学的パワーを持つ反射面を有して、この反射型ホログラム光学素子が接眼光学系を兼ねるので、表示部を小型化することができる。
【0025】
そして、本発明の他の一態様にかかる撮影装置(カメラ)は、頭部に装着する装着部と、前記装着部に設けられた、被写体を撮影する撮影部と、前記撮影部によって撮影された被写体の映像を表示するカメラファインダとを備え、前記カメラファインダは、これら上述のいずれかのカメラファインダであることを特徴とする。
【0026】
このような構成の撮影装置では、撮影部が装着部に設けられるので、被写体を撮影する際に、ハンズフリーとなって、両手の使用が可能となる。したがって、装着者(ユーザ)は、被写体を撮影しつつ別の作業を行うこともできる。
【0027】
また、他の一態様では、上述の撮影装置において、好ましくは、前記撮影部が撮影する領域は、装着者の視野内の領域であることである。
【0028】
このような構成では、撮影部によって装着者の視野内の領域が撮影され、外界光による像に映像が重なると区別しにくいため、本発明は、より効果的である。
【0029】
また、他の一態様では、上述の撮影装置において、好ましくは、前記表示部は、前記装着部に設けられることである。
【0030】
この構成によれば、表示部も装着部に設けられるので、装着者は、撮影部によって撮影された被写体を認識することができる。
【0031】
また、他の一態様では、これら上述の撮影装置において、好ましくは、通信信号を送受信する通信部と、前記通信部の送受信を制御する通信制御部とをさらに備え、前記通信制御部は、前記撮影部によって撮影された前記被写体の映像を前記通信部に送信させることである。
【0032】
この構成によれば、通信部によって撮影部で撮影された被写体の映像を外部へ送信することができるので、第三者が装着者の視点での被写体の映像を観察することが可能となる。
【0033】
そして、本発明の他の一態様にかかる遠隔作業支援システムは、撮影装置と、通信網を介して前記撮影装置と通信可能に接続される遠隔作業支援装置とを備える遠隔作業支援システムであって、前記撮影装置は、これら上述のいずれかの撮影装置であり、前記遠隔作業支援装置は、前記通信網を介して受信され、前記撮影部によって撮影された被写体の映像を表示する第2表示部と、指示者の指示を受け付けて該指示を前記通信網を介して前記撮影装置へ送信する指示受付部とを備えることを特徴とする。
【0034】
このような構成の遠隔作業支援システムは、これら上述のいずれかの撮影装置を備えるので、カメラの撮影方向等を算出することなくより簡単な手法で、正確にカメラの撮影範囲を確認することができるように、前記被写体の映像を表示することができ、撮影者は、遠隔作業支援装置のユーザ(指示者)に送信する、撮影された映像の範囲を正確に認識することができる。
【発明の効果】
【0035】
本発明にかかるカメラファインダ、撮影装置および遠隔作業支援システムは、カメラの撮影方向等を算出することなくより簡単な手法で、正確にカメラの撮影範囲を確認することができるように、前記被写体の映像を表示することができる。
【図面の簡単な説明】
【0036】
【図1】実施形態にかかる遠隔作業支援システムの構成を示す図である。
【図2】実施形態にかかる遠隔作業支援システムにおける撮影装置の構成を示す外観斜視図である。
【図3】実施形態にかかる遠隔作業支援システムの撮影装置における表示ユニットの側断面図である。
【図4】実施形態にかかる遠隔作業支援システムの撮影装置における反射型ホログラム光学素子による拡大投影を説明するための図である。
【図5】実施形態にかかる遠隔作業支援システムにおける撮影装置の電気的な構成を示すブロック図である。
【図6】実施形態の遠隔作業支援システムにおける撮影装置の動作を示すフローチャートである。
【図7】実施形態の遠隔作業支援システムにおける撮影装置によって実施される判別化画像処理の一例を説明するための図である。
【発明を実施するための形態】
【0037】
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。
【0038】
図1は、実施形態にかかる遠隔作業支援システムの構成を示す図である。図2は、実施形態にかかる遠隔作業支援システムにおける撮影装置の構成を示す外観斜視図である。図3は、実施形態にかかる遠隔作業支援システムの撮影装置における表示ユニットの側断面図である。図4は、実施形態にかかる遠隔作業支援システムの撮影装置における反射型ホログラム光学素子による拡大投影を説明するための図である。図4(A)は、反射型ホログラム光学素子の作製方法を説明するための図であり、図4(B)は、図4(A)に示す作製方法によって作製された反射型ホログラム光学素子による映像を説明するための図である。図5は、実施形態にかかる遠隔作業支援システムにおける撮影装置の電気的な構成を示すブロック図である。
【0039】
実施形態にかかる遠隔作業支援システムは、作業者における所定の方向の被写体を撮影し、この撮影した被写体の映像を前記作業者とは離れた別の場所に居る指示者が観察することができるように表示し、この被写体の映像を参照した前記指示者の指示を前記作業者に提供するシステムである。このような遠隔作業支援システムSは、例えば、図1ないし図5に示すように、作業者Wに使用され、作業者Wにおける所定の方向、例えば作業者Wの視線方向の例えば作業対象物等の被写体を撮影し、この撮影した被写体の映像を送信する撮影装置1と、ネットワーク(通信網)NTを介してこの撮影装置1によって撮影された被写体の映像を受信し、指示者Aが見ることができるようにこの受信した被写体の映像を表示し、この被写体の映像を参照した指示者Aの指示を受け付け、この受け付けた指示者Aの指示を撮影装置1から出力させるべく、この受け付けた指示者Aの指示をネットワークNTを介して撮影装置1へ送信する遠隔支援装置5とを備えて構成されている。
【0040】
遠隔支援装置5は、撮影装置1から離れた場所に設けられ、撮影装置1と互いにデータを交換することができるように、ネットワークNTを介して通信可能に撮影装置1と接続され、例えば、図1に示すように、メインサーバコンピュータ装置(以下、「メインサーバPC」と略記する。)6と、支援記録サーバコンピュータ装置(以下、「支援記録サーバPC」と略記する。)7と、コンテンツサーバコンピュータ装置(以下、「コンテンツサーバPC」と略記する。)8とを備えて構成される。
【0041】
ネットワークNTは、例えば、電話網、ディジタル通信網および無線通信網等の通信網であり、所定の通信プロトコルを用いてデータが伝送される。本実施形態では、ネットワークNTは、例えば公衆電話網(固定電話網)、ISDN等のディジタル通信網および移動体電話網(携帯電話網)等の公衆ネットワークNTaと、例えばイーサネット(登録商標)等のローカル・エリア・ネットワーク(LAN;プライベートネットワーク)NTbとを備えて構成される。公衆ネットワークNTaは、例えば、通信プロトコルにFTP(File Transfer Protocol)やTCP/IP(Transmission Control Protocol/Internet Protocol)等のインターネットプロトコルが用いられてインターネットを構成し、プライベートネットワークNTbは、例えば、前記インターネットプロトコルが用いられてイントラネットを構成する。撮影装置1は、公衆ネットワークNTaと通信可能に接続され、遠隔支援装置5のメインサーバPC6、支援記録サーバPC7およびコンテンツサーバPC7の各サーバPCは、互いにデータを交換することができるように、プライベートネットワークNTbと通信可能に接続され、そして、公衆ネットワークNTaとプライベートネットワークNTbとは、通信可能に接続されている。
【0042】
メインサーバPC6は、ネットワークNTを介して撮影装置1から受信した被写体の映像を表示するとともに、この被写体の映像を参照した指示者Aの指示を受け付け、この受け付けた指示者Aの指示をネットワークNTを介して撮影装置1へ送信するサーバコンピュータであり、例えば、メインサーバPC6の全体制御を司るコンピュータ161と、指示者Aの指示を受け付け、入力するための例えばキーボード162aやマウス162b等の入力装置162と、例えば映像を表示するディスプレイ163a等の出力装置163とを備えて構成される。
【0043】
なお、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
【0044】
このコンピュータ161は、ネットワークNT(プライベートネットワークNTb)と通信可能に接続するための、撮影装置1における後述のネットワークインタフェース部68と同様の通信インタフェース回路(ネットワークカード)を備えており、撮影装置1からネットワークNTを介して受信した被写体の映像をディスプレイ163aに表示するとともに、キーボード162aやマウス162bから受け付けた(入力された)指示者Aの指示をネットワークNTを介して撮影装置1へ送信する制御を行う。この指示者Aの指示は、撮影装置1にネットワークNTを介して受信され、撮影装置1における後述の表示ユニット40に表示される。
【0045】
支援記録サーバPC7は、撮影装置1と遠隔支援装置5との間でやり取りされた支援データを記憶して記録し、クライアント装置の要求に従ってこの要求に対応する支援データをクライアント装置に提供するサーバコンピュータである。支援記憶サーバPC7は、コンピュータ161の制御に従って、あるいは、プライベートネットワークNTbを伝送する通信信号を監視(モニタ)することによって独自に、撮影映像装置1による被写体の映像を日付や時刻等の日時情報と対応付けて支援データとして記録するとともに遠隔支援装置5による作業者Aの指示を日付や時刻等の日時情報と対応付けて支援データとして記録する。このように支援記録サーバPC7は、遠隔作業支援システムSの履歴として支援データを保存し、記録する。
【0046】
そして、本実施形態の遠隔作業支援システムSは、映像だけでなく、例えば音声等の音も撮影装置1と遠隔支援装置5との間で互いに交換することができるように構成されており、撮影装置1には、後述するように、音入出力ユニット50としてイヤホン51L、51Rとマイクロホン52とを備えており、メインサーバPC6には、入力装置162としてマイクロホン162cをさらに備え、出力装置163としてスピーカ163bをさらに備えている。そして、コンピュータ161は、撮影装置1からネットワークNTを介して受信した音声等の音(マイクロホン52で集音した音)をスピーカ163bから出力するとともに、マイクロホン162cから受け付けた(入力された)指示者Aの指示(音声指示)をネットワークNTを介して撮影装置1へ送信する制御を行う。この指示者Aの音声指示は、撮影装置1にネットワークNTを介して受信され、撮影装置1における前記イヤホン51L、51Rから出力される。また、支援記録サーバPC7は、コンピュータ161の制御に従って、あるいは、独自に、撮影装置1による前記音を日時情報と対応付けて支援データとして記録するとともに遠隔支援装置5による作業者Aの音声指示を日時情報と対応付けて支援データとして記録する。
【0047】
そして、本実施形態における遠隔作業支援システムSでは、指示者Aの指示には、作業者Wが遠隔支援装置5へ直接入力した例えばテキストデータや音声指示等のデータだけでなく、例えば作業対象物を表す参照映像や、作業手順を示す作業マニュアルや、製品の取り扱い方を示す取り扱い説明書等の、作業者Wが作業を行う際にその作業の支援となる映像や音声等の支援コンテンツ(支援情報)も含まれる。コンテンツサーバPC8は、この支援コンテンツを格納し、クライアント装置の要求に従ってこの要求に対応する支援コンテンツをクライアント装置に提供するサーバコンピュータである。メインサーバPC6のコンピュータ161は、キーボード162aやマウス162bから指示者Aの支援コンテンツを選択する指示(コンテンツ選択指示)を受け付け、このコンテンツ選択指示に対応する支援コンテンツをネットワークNTを介して撮影装置1へ送信するようにコンテンツサーバPC8を制御する。コンテンツサーバPC8は、コンピュータ161の制御に従って、コンテンツ選択指示に対応する支援コンテンツをネットワークNTを介して撮影装置1へ送信し、撮影装置1に支援コンテンツを提供する。
【0048】
このような遠隔支援装置5と組み合わせて好適に使用される撮影装置1は、作業者Wの頭部に装着され、作業者W(装着者)の視線方向に略沿った被写体を撮影し、この撮影した被写体の映像をネットワークNTを介して遠隔支援装置5へ送信する頭部装着式の撮影装置(カメラ)であり、例えば、図2ないし図5に示すように、装着ユニット10と、撮影ユニット20と、表示ユニット40と、音入出力ユニット50と、制御ユニット60とを備えて構成される。
【0049】
装着ユニット10は、作業者Wの頭部に装着するための装置であり、本実施形態では、視力矯正用のメガネを模した構造で構成されている。すなわち、本実施形態の装着ユニット10は、左右一対のテンプル11L、11Rと、ブリッジ12と、左右一対の鼻パッド13L、13Rと、左右一対の透明部材14L、14Rとを備えて構成されている。
【0050】
テンプル11L、11Rは、例えば弾性素材等から構成される長尺棒状の部材であり、その一方端部には装着者(ここでは作業者W)の耳に掛けられる耳掛け部分を有し、その他方端部には回動部11La、11Raを介して透明部材14L、14Rに固定されて保持する保持部分を有しており、作業者Wの耳や側頭部に掛け止められ、作業者Wの頭部への保持および装着位置を調整するためのものである。テンプル11L、11Rと透明部材14L、14Rとの固定には、例えば接着剤による接着やねじによるねじ留め等の固定手段が用いられる。また、撮影装置1は、回動部11La、11Raによる回動により、テンプル11L、11Rを互いに回転方向の異なる矢印P、Q方向へ回動させて、テンプル11L、11Rを透明部材14L、14Rに沿わせることによって、不使用時にコンパクトに折り畳めるようになっている。
【0051】
ブリッジ12は、左右一対の透明部材14L、14Rを互いに連結するための短尺棒状の部材であり、テンプル11L、11Rの固定手段と同様の手段によって、その両端で透明部材14L、14Rに固定される。左右一対の透明部材14L、14Rは、このブリッジ12によって一定の間隔を空けた相対位置関係で保持される。
【0052】
鼻パッド13L、13Rは、装着ユニット10の装着者(ここでは作業者W)に対する顔面への保持を行うための部材であり、各脚部を介してブリッジ12に接続されている。
【0053】
透明部材14L、14Rは、例えばポリカーボネートやポリメチルメタクリレート等の樹脂やガラス等の可視光線に対し透明な素材等から構成され、視力矯正用のメガネレンズの外形形状のような、角を丸く縁取りした長方形状の板状部材である。もちろん、透明部材14L、14Rは、撮影装置1の本来の機能の観点において視力矯正用の調整度数を備える必要はないが、視力矯正用の調整度数を備えていても良い。透明部材14L、14Rの一方には、本実施形態では、右眼に対応する透明部材14Rに表示ユニット40の接眼光学系41を嵌め込むための略U字形状の切り欠き部14Rsが形成されている。
【0054】
これらテンプル11L、11R、ブリッジ12および鼻パッド13L、13Rによっていわゆるメガネフレームが構成され、このメガネフレームが装着者に対し掛け止められ、透明部材14L、14Rが装着者の眼に対し所定の状態(所定の距離、所定の位置)で装着される。
【0055】
なお、本実施形態では、装着ユニット10は、テンプル11L、11Rおよびブリッジ12によって透明部材14L、14Rを固定、保持するように構成されたが、左右一対のリムを備え、この各リムを介して透明部材14L、14Rを固定、保持するように構成されてもよい。この各リムは、例えば内溝を持った環状または半環状の部材であり、この環または半環に透明部材14L、14Rの外周部分を嵌め込むことによって透明部材14L、14Rを固定、保持するものである。
【0056】
撮影ユニット20は、例えば作業物体や装着者(ここでは作業者W)の周囲の外界情景等の被写体を撮影する装置であり、装着者(作業者W)に装着され前記装着者が前方略水平方向を見た場合に、その光軸が装着者の視線方向に略一致するように、装着ユニット10に対し固定的に保持される。これによって撮影ユニット20は、装着者の前方視野内を撮影することが可能となる。本実施形態では、撮影ユニット20は、表示ユニット本体45の一方端部に外付けされており、表示ユニット本体45が接眼光学系41を介して装着ユニット10の透明部材14Rに固定的に取り付けられることによって、装着ユニット10に対し固定的に保持される。このように撮影ユニット20は、本実施形態では、装着者(ここでは作業者W)の視野内撮影カメラとして機能し、また装着ユニット10に保持されるので、撮影装置1がコンパクトに構成され、また作業者Wは、ハンズフリーとなって、両手を使った作業が可能となる。したがって、作業者Wは、前方視野内の被写体を撮影しつつ別の作業を行うこともできる。なお、撮影ユニット20を装着ユニット10に前記光軸と前記視線方向に略一致するように固定的に保持する機構は、撮影ユニット20が脱着可能な構造であってもよい。このように構成することによって撮影ユニット20を適宜に変えることができる。
【0057】
撮影ユニット20は、例えば、図5に示すように、撮影光学系21と、撮像素子22と、アナログフロントエンド23と、映像制御部24とを備えて構成される。
【0058】
撮影光学系21は、被写体の光学像(光像)を撮像素子22の受光面に結像するための光学系である。撮影光学系21は、単焦点光学系であってもよく、またズーミングすべくズーム機能を備えた変倍光学系であってもよい。また撮影光学系21は、オートフォーカス(AF)機能を備えて構成されてよい。
【0059】
撮像素子22は、この撮影光学系21によって受光面上に形成された被写体の光学像における光量に応じてR(赤)、G(緑)、B(青)の各成分の画像信号に光電変換してアナログフロントエンド23へ出力する装置である。撮像素子22には、例えば、CCD型カラーイメージセンサやCMOS型カラーイメージセンサ等が用いられる。本実施形態では、CMOS型カラーイメージセンサが用いられ、このCMOS型カラーイメージセンサは、例えば、R(赤)光、G(緑)光、B(青)光の各光に対応した各色透過フィルタをピクセル単位(画素単位)で市松模様に配置されたカラーエリア撮影センサであって、撮影光学系21により結像された被写体光像を、R(赤)光、G(緑)光、B(青)光の各成分の画像信号(各画素単位で受光された画素信号の信号列から成る信号)に光電変換するものである。
【0060】
アナログフロントエンド23は、所定の基準クロックに基づいて撮像素子22の駆動を制御し、撮像素子22で得られた画像信号に周知のアナログ信号処理を施した後にディジタル映像信号に変換し、映像制御部24へ出力する回路である。
【0061】
映像制御部24は、アナログフロントエンド23から入力された映像信号に、例えば黒レベル補正処理、画素補間処理、ホワイトバランス調整処理、ガンマ(γ)補正処理、シェーディング補正処理等の、周知の画像処理を施す回路である。映像制御部24は、アナログフロントエンド23から入力された映像信号を、CMOS型カラーイメージセンサにおける画像信号の読み出しクロックに同期して、制御ユニット60内の画像メモリ61に書き込む。すなわち、映像信号は、アナログフロントエンド23から一旦画像メモリ61に書き込まれ、所定の各画像処理が施される際に、画像メモリ61から映像制御部24に読み込まれ、各画像処理が施される。そして、これら各画像処理の施された映像信号は、再度、画像メモリ61に書き込まれ、記憶(格納)される。
【0062】
表示ユニット40は、所定の画像(映像)を表示する装置であり、遠隔支援装置5からネットワークNTを介して送信されてきた指示者Aの指示を表示するものである。前記指示者Aの指示には、上述したように、指示者Aが遠隔支援装置5へ直接入力した例えばテキストデータ等のデータだけでなく、作業者Wが作業を行う際にその作業の支援となる映像や音声等のコンテンツサーバPC8による支援コンテンツも含まれる。そして、本実施形態では、表示ユニット40は、撮影ユニット20の電子ファインダの機能を兼ねており、撮影ユニット20によって撮影された映像も表示することができるようにされている。撮影ユニット20によって撮影された被写体の映像が別体の表示装置に表示される場合には、作業者Wは、撮影ユニット20によって撮影されている領域(被写体)を見るために前記表示装置の方に向かなければならないが、本実施形態の撮影装置1では、表示ユニット40が撮影ユニット20のカメラファインダとして機能し、これによって撮影ユニット20の撮影者である作業者Wは、撮影ユニット20によって撮影されている領域(被写体)を見るために、その頭部の方向を変える必要がなく、視線をそらせる必要もなく、作業者W自信が撮影ユニット20によって撮影している領域(被写体)を正確に認識することができる。
【0063】
表示ユニット40は、装着ユニット10に取り付けられることなく別体で構成されてもよいが、上述のように作業者W自信が撮影ユニット20によって撮影している領域(被写体)を正確に認識することができるように、あるいは、作業者Wの視界内に指示者Aの指示を表示し、作業者Wが指示者Aの指示を参照しながら作業を行うことができるように、本実施形態では、装着ユニット10に、しかも一方の透明部材14Rに取り付けられている。このような表示ユニット40は、例えば、図2ないし図5に示すように、接眼光学系41と、映像生成部42と、照明光学系43と、光源部44と、これら映像生成部42、照明光学系43および光源部44を収容するとともに接眼光学系41に取り付けられる筐体である表示ユニット本体45とを備えて構成される。表示ユニット本体45には、上述したように、その一方端に撮影ユニット20が外付けされており、そして、底面から外部に接眼光学系41が延びている。さらに、表示ユニット本体45の他方端から、ケーブル46が延び、撮影ユニット20、表示ユニット40および音入出力ユニット50と制御ユニット60とは、相互にデータを交換することができるようにこのケーブル46によって電気的に接続されている。
【0064】
光源部44は、所定波長の光を発光する装置であり、例えば、所定波長色を含む白色発光ダイオード(以下、「白色LED」と略記する)から成る点光源である。
【0065】
照明光学系43は、光源部44の発光光が入射され、この入射された発光光から映像生成部42を照明する照明光を生成する装置であり、例えば、本実施形態では、方向により拡散度が異なり、前記入射された発光光を一方向に拡散する一方向拡散板43aと、一方向拡散板43aで拡散された光を集光する集光レンズ43bとを備えて構成される。より具体的には、例えば、本実施形態では、一方向拡散板43aは、光源部44から入射された発光光を図3の紙面に垂直な方向に約40度で拡散するとともに図3の紙面に平行な方向に約0.2度で拡散する。
【0066】
映像生成部42は、照明光学系43の照明光が入射され、各画素において、この照明光をRGBごとにVRAM64の映像信号に応じて強度変調することによって映像を生成する装置であり、例えば、透過型LCD装置(透過型液晶表示装置)を備えて構成される。
【0067】
接眼光学系41は、映像生成部42で生成された映像を装着者(作業者W)の眼に導くための装置であり、例えば、光学プリズム41aと、反射部41bとを備えて構成される。
【0068】
光学プリズム41aは、例えばガラスや透明樹脂等の可視光に対して透明な材料より成る部材であって、互いに対向する一対の主面が略平行となるように形成された平行平板である。光学プリズム41aの上端部(上面部)は、上面が映像生成部42で生成された映像光の入射面であり、映像光の大部分を内部に採光することができるように、肉厚部411が形成されている。この肉厚部411は、上方に向かってより肉厚となるように前面側(接眼面と反対側)が突き出るくさび形状に形成される。そして、光学プリズム41aの下端部(底面部)は、斜めにカットされた傾斜部412が形成されており、この傾斜部412に反射部41bが設けられている。光学プリズム41aは、その上端部から入射された映像光をその内部で複数回の反射を行わせ、前記映像光を反射部41bへ導光する。より具体的には、光学プリズム41aは、その上端部から入射された映像光を前記一対の主面で交互に全反射を繰り返し、前記映像光を反射部41bへ導光する。
【0069】
反射部41bは、光学プリズム41aによって導光された映像光を、光学プリズム41aの傾斜部412と協働して光学プリズム41aの外部の後面側(接眼面側)へ反射する光学素子であり、例えば、ハーフミラー、多層膜およびホログラム光学素子等である。本実施形態では、反射部41bは、ホログラムを生成するホログラム光学素子(HOE)であり、例えば、波長選択性および角度選択性がともに比較的高いことから、感光材料の厚さにより位相差で情報を記録する体積位相型の反射型ホログラム光学素子である。この反射型ホログラム光学素子は、本実施形態では、被写体の映像光を拡大反射する、光学的に軸非対称ないわゆる自由曲面で構成されて正の光学的パワーを有する。このように本実施形態では、反射型ホログラム光学素子が、正の光学的パワーを持つ反射面を有して被写体の映像光を拡大反射し、接眼光学系を兼ねるので、表示ユニット40を小型化することができる。そして、反射部41bの反射面は、軸非対象であるので、所定の収差を補正するように反射型ホログラム光学素子を構成することができ、作業者W(装着者、観察者)は、収差補正された被写体の映像を観察することが可能となる。このように反射部41bの反射面は、所定の収差を補正することができるように適宜に設計される。
【0070】
また、この反射型ホログラム光学素子は、所定波長の映像光を回折反射するように構成されており、前記光源部44は、この反射型ホログラム光学素子の回折波長に応じた所定波長の光を発光するように構成される。より具体的には、本実施形態では、反射型ホログラム光学素子は、RGB(赤緑青)に対応した各波長465nm±10nm、520nm±10nmおよび635nm±10nmの映像光を回折するように製作され、これに応じて、光源部44は、中心波長465nm、520nmおよび635nmのRGB一体型の白色LEDを備えて構成される。この反射型ホログラム光学素子の感光材料として、例えば、フォトポリマ、銀塩材料、重クロム酸ゼラチン等を挙げることができ、特に、ドライプロセスで製造することができることから、フォトポリマが好ましい。
【0071】
そして、前記透明部材14Rの切り欠き部14Rsは、光学プリズム41aが隙間無く嵌め込まれるように、光学プリズム41aの形状に対応した形状とされており、透明部材14Rの切り欠き部14Rsに接眼光学系41が嵌め込まれた場合に、透明部材14Rと接眼光学系41とは1枚の板状に一体化され、傾斜部412に設けられた反射部41bは、光学プリズム41aと透明部材14Rとに挟まれて埋設する。このように透明部材14Rと光学プリズム41aとは、反射部41bを2つの透明材料に埋設した接合光学プリズムを構成している。このため、反射部41bが外気に触れることが無く、反射部41bがホログラム光学素子である場合に、ホログラムを安定にその性能を保つことが可能となる。
【0072】
光学プリズム41aによって導光された映像光は、反射部41bで反射し、より具体的には、本実施形態では、反射型ホログラム光学素子によって回折され、虚像として光学瞳Eに導かれる。装着者(作業者W)は、この光学瞳Eの映像光をその瞳に入射することで、映像を見ることができる。このように表示ユニット40では、VRAM64の映像信号による映像が映像生成部42の透過型LCD装置に表示され、この映像生成部42の透過型LCD装置によって得られた映像が、接眼光学系41によって装着者(作業者W)の眼球に直接投影され、あたかも該映像が空中に拡大投影されているかのような虚像の観察が可能になっている。
【0073】
ここで、このホログラム光学素子における波面再現性について簡単な例を挙げて説明すると、図4(A)に示すように、平行光を凹面ミラー(Concave mirror)で反射して瞳Eに集光する光束とし、凹面ミラーの前にホログラム材料を配置する。もとの平行光と、収束する光とを、それぞれ、ホログラムにおける参照光と物体光と考えれば、凹面に相当するホログラム光学素子(HOE)が作製できる。そして、再生時において、例えば透過型LCD装置のような映像生成手段(Display panel)からの光は、ホログラムによって瞳Eへ集光する光に変換されるので、図4(B)に示すように、集光点の位置から観察すれば、映像生成手段が拡大されて見える(Virtual image)。
【0074】
また、透明部材14Rは、光学プリズム41aの傾斜部412での屈折をキャンセル(相殺)するので、装着者(作業者W)は、外界光を略歪むことなく見ることができる。また、体積位相型の反射型ホログラム光学素子は、上述のように、特定入射角の特定波長の光のみを回折するので、外界光にはほとんど影響せず、外界光は、透明部材14R、反射部41bの反射型ホログラム光学素子および光学プリズム41aを透過し、装着者(作業者W)は、略通常通り、外界を見ることができる。このように体積位相型の反射型ホログラム光学素子は、特定波長域の反射光とそれ以外の波長域の透過光とを合成するコンバイナ光学素子として機能している。このような構成によって表示ユニット40における外界光の可視光透過率を比較的高く、例えば約70%以上に、好ましくは約85%に、確保することが可能となり、外界光の透過率が高く、装着者(作業者W)がシースルーで外界を良好に見ることができ、装着者(作業者W)の作業性を向上することが可能となる。そして、本実施形態では、接眼光学系41は、右眼に対応する透明部材14Rに配設され、表示ユニット40に表示される映像を右眼で観察することができると同時に外界を右眼でも観察することができる(もちろん、左眼は、外界を観察することができる。
【0075】
ここで、外界光の可視光透過率が70%以上である場合には、被写体の映像と外界光による像との判別が難しくなるが、本実施形態では、後述するように、被写体の映像に判別化画像処理が施されるので、被写体の映像と外界光による像との判別が可能となる。このように外界光の可視光透過率が70%以上である場合に、本実施形態の遠隔作業支援システムSおよび撮影装置1は、より効果的である。
【0076】
また、接眼光学系41は、本実施形態では、映像光を光学プリズム41aの内部で反射するとともに反射部41bの体積位相型の反射型ホログラム光学素子によって光学瞳Eに導くように構成されているので、透明部材14Rの厚みは、通常のメガネレンズと略同程度の厚み(例えば3mm程度)とすることができ、小型(コンパクト)で軽量となる。そして、前記反射は、本実施形態では、全反射であるので、装着者(作業者W)は、透明部材14Rの一対の両主面を通して外界光の透過率を略落とすことなく、外界を見ることができる。
【0077】
音入出力ユニット50は、音を入出力するための回路であり、音を出力する左右一対のイヤホン51L、51Rと、音を集音するマイクロホン52とを備えて構成される。マイクロホン52は、装着ユニット10を作業者Wが装着した場合に、作業者Wの音声を集音すべく、装着ユニット10のテンプル11Lから延びる略L字状のアーム53の先端に取り付けられている。この音入力ユニット50のマイクロホン52によって作業者Wの音声が集音され、この音声の音声データが撮影装置1からネットワークNTを介して遠隔支援装置5へ送信され、遠隔支援装置5のメインサーバPC6におけるスピーカ163bからこの音声データの音声が出力される。一方、この遠隔支援装置5のメインサーバPC6におけるマイクロホン162cによって指示者Aの音声が集音され、この音声の音声データが遠隔支援装置5からネットワークNTを介して撮影装置1へ送信され、撮影装置1のイヤホン51L、51Rからこの音声データの音声が出力される。あるいは、コンテンツサーバPC8から音声の支援コンテンツがネットワークNTを介して撮影装置1へ送信され、撮影装置1のイヤホン51L、51Rからこの音声の支援コンテンツが出力される。なお、撮影装置1のイヤホン51L、51Rは、一方のみであっても良い。これによって本実施形態の遠隔作業支援システムSは、音声指示を作業者Wに与えることができ、また、例えば音声等の音も撮影装置1と遠隔支援装置5との間で互いに交換することができ、作業者Wと指示者Aとは、音声によってコミュニケーションを図ることができる。
【0078】
制御ユニット60は、撮影装置1の全体制御を司る回路である。制御ユニット60は、撮影ユニット20および表示ユニット40のように装着ユニット10に取り付けられても良いが、撮影装置1における作業者Wの頭部に装着される部分の重量を軽減するために、本実施形態では、装着ユニット10に取り付けられることなく装着ユニット10とは別体に設けられており、上述したように、ケーブル46によって撮影ユニット20、表示ユニット40および音入出力ユニット50と電気的に接続されている。制御ユニット60は、例えば、図1、図2および図5に示すように、画像メモリ61と、制御部162と、VRAM64と、音入力処理部65と、音出力処理部66と、電源スイッチ67aと、選択スイッチ67bと、ネットワークIF部68とを備えて構成され、これら画像メモリ61、制御部162、VRAM64、音入力処理部65、音出力処理部66、電源スイッチ67a、選択スイッチ67bおよびネットワークIF部68は、略直方体形状の筐体69に収容されている。なお、電源スイッチ67aおよび選択スイッチ67bは、その操作部分が筐体69の外部に臨むように筐体69内に配設され、ネットワークIF部68は、そのコネクタ部分が筐体69の外部に臨むように筐体69内に配設される。
【0079】
画像メモリ61は、例えば、RAM(Random Access Memory)等の揮発性の記憶素子およびその周辺回路を備えて構成され、上述したように、撮影ユニット20における映像制御部24の作業領域として用いられる。
【0080】
VRAM64は、RAMおよびその周辺回路を備えて構成される、いわゆるビデオラム(Video RAM)であり、表示ユニット40における映像生成部42の画素数に対応した映像信号の記憶容量を少なくとも有し、映像生成部42で再生表示される映像を構成する映像信号をバッファするためのバッファメモリである。
【0081】
音入力処理部65は、音入出力ユニット50におけるマイクロホン52から入力されてきた音信号に対し、例えば、増幅やノイズカット等の所定の信号処理を行って制御部62へ出力する回路である。
【0082】
音出力処理部66は、制御部62から入力されてきた音信号に対し、例えば、増幅やノイズカット等の所定の信号処理を行って音入出力ユニット50におけるイヤホン51L、51Rへ出力する回路である。
【0083】
電源スイッチ67aは、撮影装置1を稼動するために、撮影装置1を起動するスイッチ回路である。電源スイッチ67の投入(スイッチオン)により、例えば電池等の電源から、撮影装置1における電力を必要とする各部へ電力が供給される。
【0084】
選択スイッチ67bは、後述する複数のサブ判別化画像処理のうちからいずれかを選択するために、サブ判別化画像処理の切り換えを指示する切り換え指示をユーザから受け付け、撮影装置1の制御部62に入力するためのスイッチ回路である。選択スイッチ67bは、例えば、押しボタンスイッチを備えて構成され、サブ判別化画像処理の選択に関し撮影装置1は、スイッチ操作を受け付けるたびに、複数のサブ判別化画像処理をサイクリックに順次に切り換え、複数のサブ判別化画像処理のうちから1つのサブ判別化画像処理を選択するように構成されてよい。また例えば、選択スイッチ67bは、複数のスイッチを備えて構成され、これら複数のスイッチのそれぞれに、互いに異なるサブ判別化画像処理が1つずつ割り当てられており、サブ判別化画像処理の選択に関し撮影装置1は、スイッチ操作されてオンされたスイッチに対応するサブ判別化画像処理を選択するように構成されてよい。また例えば、選択スイッチ67bは、複数のスイッチ接点を持つロータリスイッチを備えて構成され、このロータリスイッチにおける複数のスイッチ接点のそれぞれに、互いに異なるサブ判別化画像処理が1つずつが割り当てられており、サブ判別化画像処理の選択に関し撮影装置1は、スイッチ操作されてオンされたスイッチ接点に対応するサブ判別化画像処理を選択するように構成されてよい。
【0085】
ネットワークIF部68は、ネットワークNTを介して撮影装置1と遠隔支援装置5との間で通信を行うための通信インタフェース回路であり、制御部62から入力されてきたデータをネットワークNTの通信プロトコルに対応した通信信号に収容し、この収容した通信信号をネットワークNTへ送信するとともに、ネットワークNTから撮影装置1宛ての通信信号を受信し、この受信した通信信号に収容されているデータを取り出して制御部62で処理可能な形式に変換し、この変換したデータを制御部62へ出力するものである。
【0086】
制御部62は、撮影装置1の各部を当該機能に応じて制御する回路であり、例えば、撮影装置1の各部を当該機能に応じて制御するための制御プログラム等の各種の所定のプログラムや前記所定のプログラムの実行に必要なデータ等の各種の所定のデータ等を記憶する、不揮発性の記憶素子であるROM(Read Only Memory)、前記所定のプログラムを読み出して実行することによって所定の演算処理や制御処理を行うCPU(Central Processing Unit)、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる前記CPUのワーキングメモリとなるRAM、および、これらの周辺回路を備えたマイクロコンピュータ等によって構成される。なお、この制御部62は、例えば、EEPROM(Electrically Erasable Programmable Read Only Memory)等の書き換え可能な不揮発性の記憶素子を備えても良い。制御部62は、機能的に、判別化画像処理部63aと、表示制御部63bとを備えている。
【0087】
判別化画像処理部63aは、表示ユニット40に、撮影ユニット20によって撮影された被写体の映像を外界光に重ね合わせて表示する場合に、前記被写体の映像と前記外界光による像とを区別するための判別化画像処理を前記被写体の映像に施すものである。この判別化画像処理は、撮影ユニット20によって撮影されたカラーの被写体の映像とは当該判別化画像処理後の映像が一目瞭然で異なる映像となる処理であることが好ましい。このように本実施形態の撮影装置1では、被写体の映像自体に判別化画像処理が施され、表示ユニット40に、撮影ユニット20によって撮影された被写体の映像を外界光に重ね合わせて表示する場合に、撮影ユニット20によって撮影された被写体の映像を外界光による像から区別することができるようになっている。特に、撮影ユニット20が作業者Wの視野内の領域を撮影する場合には、外界光による像に映像が重なると区別しにくいため、より効果的である。
【0088】
この判別化画像処理として、モノトーン処理、エッジ強調処理、エッジ抽出処理、コントラスト強調処理、ネガポジ反転処理、モザイク処理、階調レベル数低減処理およびノイズ重畳処理のうちの少なくとも1つが採用される。判別化画像処理部63aは、モノトーン処理、エッジ強調処理、エッジ抽出処理、コントラスト強調処理、ネガポジ反転処理、モザイク処理、階調レベル数低減処理およびノイズ重畳処理のうちの1つを単独で前記被写体の映像に施しても良く、また、判別化画像処理部63aは、モノトーン処理、エッジ強調処理、エッジ抽出処理、コントラスト強調処理、ネガポジ反転処理、モザイク処理、階調レベル数低減処理およびノイズ重畳処理のうちから複数を選択して、この選択した複数の画像処理をそれぞれ前記被写体の映像に施しても良い。例えば、モノトーン処理およびエッジ強調処理のそれぞれが前記被写体の映像に施される。また例えば、エッジ強調処理およびエッジ抽出処理のそれぞれが前記被写体の映像に施される。このため、作業者W(装着者、観察者)は、前記被写体の映像を外界光による像から容易に区別して観察することが可能である。
【0089】
モノトーン処理は、被写体の映像を単色の映像に変換する処理である。モノトーン処理は、例えば、各画素の階調を維持しつつ各画素の色を単色に色変換する処理や、被写体の映像信号におけるRGB3色の強度バランスを変更する処理や、このRGB3色の信号のうちの1色または2色のみを用いる処理等の公知の常套手段によって実行される。モノトーン処理には、色調変更処理や、被写体の映像を白黒の映像に変換するモノクロ化処理(白黒化処理)や、被写体の映像を所定の閾値を境界として互いに異なる2つの階調レベルに変換する二値化処理も含む。被写体の映像信号における明度(輝度)のみを用いることによって容易にモノクロ化処理が実行可能である。このようなモノトーン処理によって、表示ユニット40に表示される映像の表示像の色調が異なるので、作業者W(装着者、観察者)は、撮影ユニット20によって撮影された被写体の映像を外界光による像から容易に区別して観察することが可能である。
【0090】
エッジ強調処理は、映像における明るい部分と暗い部分との境界であるエッジを強調する処理であり、例えば、注目画素近傍の階調値の微分または差分を用いた演算によってエッジを強調するフィルタを用いる等の公知の常套手段によって実行される。このようなエッジ強調処理によって、表示ユニット40に表示される映像のエッジが強調されるので、作業者W(装着者、観察者)は、撮影ユニット20によって撮影された被写体の映像を外界光による像から容易に区別して観察することが可能である。
【0091】
エッジ抽出処理は、前記エッジのみを取り出す処理であり、前記エッジ強調処理と同様の処理によって実行可能である。このようなエッジ抽出処理によって、表示ユニット40に表示される映像のエッジが抽出され、外界光による像と異なるものとなるので、作業者W(装着者、観察者)は、撮影ユニット20によって撮影された被写体の映像を外界光による像から容易に区別して観察することが可能である。
【0092】
コントラスト強調処理は、コントラストを強調する処理であり、明暗の乏しい映像がコントラスト強調処理によってメリハリのある映像に変換される。このコントラスト強調処理は、例えば、予め設定された所定の演算式によって各画素の階調レベルが、暗い場合はより暗く明るい場合はより明るくなるように、変換される等の、公知の常套手段によって実行される。このようなコントラスト処理によって、メリハリのある映像となるので、作業者W(装着者、観察者)は、撮影ユニット20によって撮影された被写体の映像を相対的にコントラストの低い外界光による像から容易に区別して観察することが可能である。
【0093】
ネガポジ反転処理は、ネガ画像をポジ画像に、あるいは、ポジ画像をネガ画像に変換する処理であり、例えば、ネガ画像(ポジ画像)をポジ画像(ネガ画像)に変換する場合では、各画素の色を、ネガ(ポジ)の色からポジ(ネガ)の色へ変換する等の公知の常套手段によって実行される。なお、モノクロの場合には、ネガポジ反転処理によって、白黒が反転される。このようなネガポジ反転処理によって、表示ユニット40に表示される映像がネガポジ反転され、外界光による像と全く異なるものとなるので、作業者W(装着者、観察者)は、撮影ユニット20によって撮影された被写体の映像を外界光による像から容易に区別して観察することが可能である。
【0094】
モザイク処理は、映像をモザイク様にぼかす処理であり、例えば、隣接する複数の画素の画素値を予め設定された所定の演算式によって1つの画素値に統合する等の公知の常套手段によって実行される。モザイク処理する際、実際に観察者がモザイクとして感じるレベルは、観察時の画面サイズ(観察画角)に依存する。すなわち、同じ画素数のモザイク画像を観察者が観察しても、観察画面(観察画角)が大きければ荒い画像として観察され、逆に観察画面(観察画角)が小さければ細かい画像(モザイクとは感じない画像)として観察される。このため、モザイク化する程度(モザイクの大きさ)は、カメラファインダとして観察する表示ユニット40の観察画面サイズ(観察画角)を考慮する必要があるが、一般的なHMDでの観察画角は、約14〜35度程度であるので、本実施形態では、モザイク化は、画素数で2500(一辺約50ピクセル)〜14400(一辺約120ピクセル)程度の画像となるよう処理する。もちろん、縦横比は、表示画像の縦横比に応じて変化される。約6400画素(正方形とすると一辺約80ピクセル)程度が、最も外界像と判別が容易であるので、好ましい。このようなモザイク処理によって、表示ユニット40に表示される映像がモザイク化されて解像度が落ちるので、外界光による像と異なるものとなるから、作業者W(装着者、観察者)は、撮影ユニット20によって撮影された被写体の映像を外界光による像から容易に区別して観察することが可能である。モザイク化の画素数が上記範囲より少ない場合には、表示画像が粗くなり過ぎて被写体の認識が困難となる。モザイク化の画素数が上記範囲より多い場合には、モザイク化のメリットが少ない。
【0095】
階調レベル数低減処理は、映像の階調レベル数を低減する処理であり、例えば、隣接する複数の階調レベルを1つの階調レベルに統合する等の公知の常套手段によって実行される。このような階調レベル数低減処理によって、表示ユニット40に表示される映像の階調レベル数が落ちて、外界光による像と異なるものとなるので、作業者W(装着者、観察者)は、撮影ユニット20によって撮影された被写体の映像を外界光による像から容易に区別して観察することが可能である。
【0096】
ノイズ重畳処理(ノイズ追加処理)は、正規の撮影画像(撮影ユニット20によって撮影された元の映像)に対して、ある一定割合でランダムなノイズデータを重ねる処理であり、公知の常套手段によって実行される。本実施形態では、ノイズ重畳処理は、実際の正規の撮影画像に対して、全画素の15〜50%の割合で画素値をランダムに発生させた画素値に置き換える処理によって実行される。全画素の15%を下回ると、ノイズが少なすぎて外界像との差が小さく判別が困難となってしまい、好ましくない。全画素の50%を上回ると、撮影された被写体の輪郭や領域のノイズに埋もれてしまい、判別が困難となってしまい、好ましくない。全画素の30%程度が最も好ましい。このようなノイズ重畳処理によって、表示ユニット40に表示される映像にノイズが重畳され、外界光による像と異なるものとなるので、作業者W(装着者、観察者)は、撮影ユニット20によって撮影された被写体の映像を外界光による像から容易に区別して観察することが可能である。
【0097】
これらモノトーン処理、エッジ強調処理、エッジ抽出処理、コントラスト強調処理、ネガポジ反転処理、モザイク処理、階調レベル数低減処理およびノイズ重畳処理の各画像処理は、上述のように公知の常套手段によって実現可能であるが、本実施形態の遠隔支援作業システムSおよび撮影装置1では、これら各画像処理は、その本来的な用途だけでなく、撮影ユニット20によって撮影された被写体の映像を外界光に重ね合わせて表示する場合に、前記被写体の映像と前記外界光による像とを区別するため、という全く新規で思いも寄らない発想で用いられている。
【0098】
さらに、本実施形態では、判別化画像処理部63aは、複数のサブ判別化画像処理のうちのいずれかを選択し、この選択したサブ判別化画像処理を前記被写体の映像に施すものである。
【0099】
サブ判別化画像処理は、上述のモノトーン処理、エッジ強調処理、エッジ抽出処理、コントラスト強調処理、ネガポジ反転処理、モザイク処理、階調レベル数低減処理およびノイズ重畳処理のうちの少なくとも1つから成る。例えば、モノトーン処理およびエッジ強調処理がサブ判別化画像処理の1つとして設定される。また例えば、エッジ強調処理およびエッジ抽出処理がサブ判別化画像処理の1つとして設定される。このように複数のサブ判別化画像処理が予め用意されているので、例えば室内や昼間や夜間等の外界光の異なる使用環境に応じて、適宜なサブ判別化画像処理を選択することができ、より正確にカメラの撮影範囲を確認することができるように、前記被写体の映像を表示することができる。
【0100】
より具体的には、本実施形態では、判別化画像処理部63aは、機能的に、判別化処理部631と、判別化処理選択部632とを備えて構成されている。判別化処理選択部632は、選択スイッチ67bのスイッチ操作に応じて複数のサブ判別化画像処理のうちのいずれか1つのサブ判別化画像処理を選択し、この選択したサブ判別化画像処理を前記被写体の映像に施す判別化画像処理として判別化処理部631へ通知するものである。判別化処理部631は、表示ユニット40に、撮影ユニット20によって撮影された被写体の映像を外界光に重ね合わせて表示する場合に、判別化処理選択部632から通知されたサブ判別化画像処理を前記被写体の映像に施すものである。
【0101】
表示制御部63bは、被写体の映像を外界光に重ね合わせて表示ユニット40に表示するか否かを制御するものである。本実施形態では、例えば、表示制御部63bは、撮影ユニット20によって撮影された被写体の映像とは異なる別の映像がある場合(例えば、遠隔支援装置5からネットワークNTを介してネットワークIF部68で受信した映像がある場合)に、撮影ユニット20によって撮影された被写体の映像を外界光に重ね合わせて表示ユニット40に表示することを停止し、前記別の映像を外界光に重ね合わせて表示ユニット40に表示するものである。このように表示制御部63bを備えるので、撮影ユニット20によって撮影された被写体の映像を外界光に重ね合わせて表示ユニット40に表示する場合に、必要に応じて、前記被写体の映像に判別化画像処理を施すことができる。特に、被写体の映像ではない前記別の映像を表示ユニット40に表示する場合には、この別の映像は、外界光による像と本来的に異なるため、判別化画像処理が必要ではなく、このような構成は、例えば、このような場合に効果的に対応することができる。
【0102】
次に、本実施形態の動作について説明する。図6は、本実施形態の遠隔作業支援システムにおける撮影装置の動作を示すフローチャートである。図7は、実施形態の遠隔作業支援システムにおける撮影装置によって実施される判別化画像処理の一例を説明するための図である。
【0103】
本実施形態の遠隔作業支援システムSにおける撮影装置1は、判別化画像処理に関し、図6に示すように動作している。すなわち、図6において、ステップS11では、制御部62によって、撮影ユニット20で被写体を撮影するか否かが判断される。この判断の結果、撮影ユニット20で被写体を撮影しない場合(N)には、ステップS20が実行され、一方、この判断の結果、撮影ユニット20で被写体を撮影する場合(Y)には、ステップS12が実行される。
【0104】
ステップS12では、撮影ユニット20によって被写体が撮影され、制御部62によって、画像メモリ61に格納されている被写体の映像が制御部62に取り込まれる。
【0105】
続いて、ステップS13では、この撮影ユニット20によって撮影された被写体の映像を遠隔支援装置5へ送信するか否かが判断される。この判断の結果、撮影ユニット20によって撮影された被写体の映像を送信する場合(Y)には、ステップS14が実行され、一方、この判断の結果、撮影ユニット20によって撮影された被写体の映像を送信しない場合(N)には、ステップS14がスキップされてステップS15が実行される。
【0106】
ステップS14では、制御部62によって、ネットワークIF部68を用いてネットワークNTを介して遠隔支援装置5へ、撮影ユニット20によって撮影された被写体の映像が送信される。すなわち、判別化画像処理の施されていない、撮影ユニット20によって撮影されたそのままの被写体の映像が遠隔支援装置5へ送信される。なお、この送信の際に、通信負荷の低減や通信時間の短縮のために、制御部62によって、前記被写体の映像は、画像圧縮されてもよい。
【0107】
続いて、ステップS15では、制御部62によって、撮影ユニット20によって撮影された被写体の映像を表示ユニット40に表示するか否かが判断される。この判断の結果、撮影ユニット20によって撮影された被写体の映像を表示ユニット40に表示する場合(Y)には、ステップS16が実行され、一方、この判断の結果、撮影ユニット20によって撮影された被写体の映像を表示ユニット40に表示しない場合(N)には、ステップS20が実行される。
【0108】
ステップS16では、制御部62の判別化画像処理部63aにおける判別化処理部631によって、撮影ユニット20によって撮影された被写体の映像が、判別化処理選択部632から通知されたサブ判別化画像処理で画像処理される。なお、判別化処理選択部632によって、上述したように、選択スイッチ67bのスイッチ操作に応じたサブ判別化画像処理が判別化処理選択部632から判別化処理部631へ通知される。
【0109】
続いて、ステップS17では、制御部62によって、この判別化画像処理部63aの判別化処理部631で判別化画像処理された被写体の映像が表示ユニット40に表示される。このため、作業者W(装着者)は、この判別化画像処理の実行により、撮影ユニット20によって撮影された被写体の映像と外界光による像とを容易に区別することができ、正確に撮影ユニット20の撮影範囲を確認することができる。しかも、このために特許文献2のようにカメラの撮影方向等を算出する必要もなく、より簡単な手法で、前記作用効果を達成することができる。
【0110】
撮影ユニット20によって撮影された被写体の映像が、例えば図7(C)に示すように、前記被写体の映像と外界光による像との区別が難しい映像である場合に、例えばモノトーン処理およびエッジ強調処理の組合せからなるサブ判別化画像処理で判別化画像処理されると、図7(A)に示すようにモノトーン化されるとともにエッジが強調された映像となり、前記被写体の映像と外界光による像との区別が容易となる。あるいは例えば、エッジ抽出処理およびエッジ強調処理の組合せからなるサブ判別化画像処理で判別化画像処理されると、図7(B)に示すようにエッジが抽出されるとともに強調された映像となり、前記被写体の映像と外界光による像との区別が容易となる。
【0111】
続いて、ステップS18では、作業者W(装着者)によって、撮影ユニット20によって撮影された被写体の映像と外界光による像とが区別することができるか否かの視認性が判断され、視認性が良い場合(Y)には、作業者Wによって選択スイッチ67bがスイッチ操作されることなく、制御部62は、本処理を終了し、一方、視認性が良くない場合(N)には、作業者Wによって選択スイッチ67bがスイッチ操作され、ステップS19が実行される。
【0112】
ステップS19では、この選択スイッチ67bのスイッチ操作によって、判別化処理選択部632によって、サブ判別化画像処理が切り換えられ、選択スイッチ67bのスイッチ操作に応じたサブ判別化画像処理が判別化処理選択部632から判別化処理部631へ通知され、処理がステップS16に戻される。このように本実施形態では、外界光の異なる使用環境に応じて、適宜なサブ判別化画像処理を選択することができる。
【0113】
一方、ステップS20では、制御部62の表示制御部63bによって、撮影ユニット20によって撮影された被写体の映像と異なる別の映像を表示するか否かが判断される。この判断の結果、前記別の映像を表示しない場合には、表示制御部63bによって、表示ユニット40の映像生成部42がオフされ、本処理が終了される。一方、この判断の結果、前記別の映像を表示する場合には、表示制御部63bによって、表示ユニット40に前記別の映像が判別化画像処理されることなく、表示され、本処理が終了される。このように本実施形態では、表示ユニット40に表示される映像に必要に応じて判別化画像処理を施すことができ、撮影ユニット20によって撮影された被写体の映像を外界光に重ね合わせて表示ユニット40に表示する場合のみ、前記被写体の映像に判別化画像処理を施すことができる。
【0114】
なお、上述のステップS11、ステップS13、ステップS15およびステップS20の各判断を行うために、作業者W(装着者)からスイッチ操作を受け付ける複数のスイッチを制御ユニット60が備えても良い。これらスイッチのスイッチ操作に応じて各判断の成否が判断される。
【0115】
このように動作するので、本実施形態にかかる遠隔作業支援システムSおよび撮影装置1(カメラファインダを含む)では、被写体の映像を外界光に重ね合わせて表示ユニット40に表示する場合に、判別化画像処理部63aによって前記被写体の映像に判別化画像処理が施される。このため、本実施形態にかかる遠隔作業支援システムSおよび撮影装置1(カメラファインダを含む)は、前記被写体の映像自体に判別化画像処理を施すので、撮影ユニット20の撮影方向等を算出することなくより簡単な手法で、正確に撮影ユニット20の撮影範囲を確認することができるように、前記被写体の映像を表示することができる。
【0116】
また、本実施形態では、撮影装置1は、作業者W(装着者)の視野内撮影カメラとして機能する撮影ユニット20を備え、撮影装置1および遠隔支援装置5は、ネットワークIF部を備え、ネットワークNTを介して相互に通信を行うことができる。このように撮影装置1は、撮影ユニット20で撮影された被写体の映像を外部へ送信することができるので、作業者Wとは遠隔に存在する外部の指示者Aは、作業者Wの視点での被写体の映像を観察することができる。
【0117】
そして、本実施形態では、判別化画像処理によって、作業者W(装着者)は、カメラファインダとして機能する表示ユニット40の表示を参照することで、撮影ユニット20によって撮影された撮影範囲を容易に確認することができるので、例えば指示を得たい作業対象物を適宜なアングルで撮した映像等の作業者Wの意図した映像や、例えば指示者Aから撮影対象の指示を受けた場合等の指示者Aの意図した映像を、作業者Wとは遠隔に存在する外部の指示者Aに、適切に送信することが可能となる。
【0118】
また、本実施形態において、撮影装置1は、図5に破線で示すように、撮影ユニット20によって撮影され、制御部62の判別化画像処理部63aによって判別化画像処理を施す前の被写体の映像を記録する記録部70をさらに備えて構成されてもよい。記録部70は、例えば、ハードディスク、フラッシュメモリ等のメモリカード等を備えて構成される。本実施形態では、画像メモリ61には、判別化画像処理を施す前の被写体の映像が記憶されているので、このような構成を容易に実現することが可能である。このように構成することによって、判別化画像処理を施す前の被写体の映像が記録部70に記録されるので、より正確な被写体の映像を記録することができる。
【0119】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
【符号の説明】
【0120】
S 遠隔作業支援システム
1 撮影装置
5 遠隔支援装置
6 メインサーバコンピュータ装置
7 支援記録サーバコンピュータ装置
8 コンテンツサーバコンピュータ装置
10 装着ユニット
20 撮影ユニット
40 表示ユニット
41 接眼光学系
41a 光学プリズム
41b 反射部
50 音入出力ユニット
60 制御ユニット
63a 判別化画像処理部
63b 表示制御部
631 判別化処理部
632 判別化処理選択部
70 記録部

【特許請求の範囲】
【請求項1】
被写体の映像を外界光に重ね合わせて表示するカメラファインダにおいて、
前記被写体の映像を外界光に重ね合わせて表示する表示部と、
前記表示部に前記被写体の映像を外界光に重ね合わせて表示する場合に、前記被写体の映像と前記外界光による像とを区別するための判別化画像処理を前記被写体の映像に施す判別化画像処理部とを備えること
を特徴とするカメラファインダ。
【請求項2】
前記判別化画像処理は、モノトーン処理、エッジ強調処理、エッジ抽出処理、コントラスト強調処理、ネガポジ反転処理、モザイク処理、階調レベル数低減処理およびノイズ重畳処理のうちの少なくとも1つであること
を特徴とする請求項1に記載のカメラファインダ。
【請求項3】
前記判別化画像処理は、モノトーン処理、エッジ強調処理、エッジ抽出処理、コントラスト強調処理、ネガポジ反転処理、モザイク処理、階調レベル数低減処理およびノイズ重畳処理のうちの少なくとも1つから成る複数のサブ判別化画像処理を備え、
前記判別化画像処理部は、前記複数のサブ判別化画像処理のうちのいずれかを選択し、この選択したサブ判別化画像処理を前記被写体の映像に施すこと
を特徴とする請求項1に記載のカメラファインダ。
【請求項4】
前記被写体の映像を外界光に重ね合わせて前記表示部に表示するか否かを制御する表示制御部をさらに備えること
を特徴とする請求項1ないし請求項3のいずれか1項に記載のカメラファインダ。
【請求項5】
前記表示部における外界光の可視光透過率は、70%以上であること
を特徴とする請求項1ないし請求項4のいずれか1項に記載のカメラファインダ。
【請求項6】
前記表示部は、
前記被写体の映像光を生成する映像光生成部と、
前記映像光生成部で生成された前記被写体の映像光を複数回全反射して導光する導光部と、
前記導光部によって導光された前記被写体の映像光を前記導光部の外部へ反射する反射部とを備えること
を特徴とする請求項1ないし請求項5のいずれか1項に記載のカメラファインダ。
【請求項7】
前記反射部は、反射型ホログラム光学素子であること
を特徴とする請求項6に記載のカメラファインダ。
【請求項8】
前記反射型ホログラム光学素子は、前記被写体の映像光を拡大反射する正の光学的パワーを持つ反射面を備えること
を特徴とする請求項7に記載のカメラファインダ。
【請求項9】
頭部に装着する装着部と、
前記装着部に設けられた、被写体を撮影する撮影部と、
前記撮影部によって撮影された被写体の映像を表示するカメラファインダとを備え、
前記カメラファインダは、請求項1ないし請求項8のいずれか1項に記載のカメラファインダであること
を特徴とする撮影装置。
【請求項10】
前記撮影部が撮影する領域は、装着者の視野内の領域であること
を特徴とする請求項9に記載の撮影装置。
【請求項11】
前記表示部は、前記装着部に設けられること
を特徴とする請求項9に記載の撮影装置。
【請求項12】
通信信号を送受信する通信部と、前記通信部の送受信を制御する通信制御部とをさらに備え、
前記通信制御部は、前記撮影部によって撮影された前記被写体の映像を前記通信部に送信させること
を特徴とする請求項9ないし請求項11のいずれか1項に記載の撮影装置。
【請求項13】
撮影装置と、通信網を介して前記撮影装置と通信可能に接続される遠隔作業支援装置とを備える遠隔作業支援システムであって、
前記撮影装置は、請求項9ないし請求項12のいずれか1項に記載の撮影装置であり、
前記遠隔作業支援装置は、前記通信網を介して受信され、前記撮影部によって撮影された被写体の映像を表示する第2表示部と、指示者の指示を受け付けて該指示を前記通信網を介して前記撮影装置へ送信する指示受付部とを備えること
を特徴とする遠隔作業支援システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2011−109276(P2011−109276A)
【公開日】平成23年6月2日(2011.6.2)
【国際特許分類】
【出願番号】特願2009−260365(P2009−260365)
【出願日】平成21年11月13日(2009.11.13)
【出願人】(303000408)コニカミノルタオプト株式会社 (3,255)
【Fターム(参考)】