表示装置、表示装置の制御方法、及び、プログラム
【課題】画像の表示中に指示された指示位置に基づく処理を行う装置に対し、指示位置を示す情報を適切に提供できるようにする。
【解決手段】プロジェクター11は、画像ソースから入力される入力画像をスクリーンSCに表示する投射ユニット3と、スクリーンSCにおける指示位置を検出する位置検出ユニット150と、位置検出ユニット150により検出された指示位置を示す座標を生成する座標変換部160と、座標変換部160により生成された座標に基づいて処理を実行する画像処理ユニット110と、座標変換部160により生成された座標の、画像処理ユニット110及びPC13に対する出力を制御する出力制御部101と、を備える。
【解決手段】プロジェクター11は、画像ソースから入力される入力画像をスクリーンSCに表示する投射ユニット3と、スクリーンSCにおける指示位置を検出する位置検出ユニット150と、位置検出ユニット150により検出された指示位置を示す座標を生成する座標変換部160と、座標変換部160により生成された座標に基づいて処理を実行する画像処理ユニット110と、座標変換部160により生成された座標の、画像処理ユニット110及びPC13に対する出力を制御する出力制御部101と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示面に画像を表示する表示装置、表示装置の制御方法、及び、プログラムに関する。
【背景技術】
【0002】
従来、プロジェクター等の表示装置が表示する画像の特定の位置が指示された場合に、指示位置を検出し、検出した位置に対応するようにポインター等を表示する装置が知られている(例えば、特許文献1参照)。この種の装置は、指示された位置を検出すると、例えば指示された位置に対応してポインターを表示したり、指示位置の軌跡を示す画像を描画し、表示したりする。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第4272904号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一般に、指示位置に基づいてポインターの表示や軌跡を描画する処理は、表示装置に画像を供給するパーソナルコンピューター等の装置が実行するが、表示装置自身が上記のような処理を行うことも不可能ではない。このため、例えば、表示装置に接続された画像供給装置と、表示装置自身との両方とも指示位置に対応する動作が可能な構成が考えられるし、表示装置に接続された装置がポインターの表示や軌跡を描画する機能を持たない構成も考えられる。ところが、このように様々な構成に対応して指示位置の情報を適切に提供する手法は知られていない。
本発明は、上述した事情に鑑みてなされたものであり、画像の表示中に指示された指示位置に基づく処理を行う装置に対し、指示位置を示す情報を適切に提供できるようにすることを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するため、本発明は、画像ソースから入力される入力画像を表示面に表示する表示手段と、前記表示面における指示位置を検出する位置検出手段と、前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段とを備えることを特徴とする。
本発明によれば、表示面に対して位置の指示がなされた場合に、この指示位置を示す位置情報を生成し、表示装置が備える処理手段に対する位置情報の出力を制御する。これにより、例えば指示位置に基づく処理内容や処理を行う装置に対応して、適切に位置情報を出力でき、或いは、複数の処理手段を有する場合に、どの処理手段に位置情報を出力するかを制御して、適切な出力先に位置情報を出力できる。
【0006】
また、本発明は、上記表示装置において、外部の装置に接続可能に構成され、前記出力制御手段は、前記位置情報生成手段により生成された位置情報の、前記処理手段又は前記外部の装置に対する出力を制御することを特徴とする。
本発明によれば、外部の装置に対しても、表示面に対する指示位置を示す位置情報の出力を制御できるので、外部の装置から入力される情報に基づいて動作する場合や、外部の装置を含む複数の出力先がある場合などに、適切な出力先に位置情報を出力できる。
【0007】
また、本発明は、上記表示装置において、前記外部の装置を含む複数の前記画像ソースから入力画像を入力可能な画像入力手段と、前記画像入力手段に入力される入力画像のいずれか一以上の入力画像を前記表示手段により表示させる表示制御手段と、前記表示制御手段により表示中の入力画像を入力する前記画像ソースの種類を判別するソース判別手段とを備え、前記出力制御手段は、前記ソース判別手段により判別された前記画像ソースの種類に基づいて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする。
本発明によれば、表示中の画像を入力した画像ソースの種類に基づいて位置情報の出力を制御するので、複数の画像ソースから入力画像が入力可能な場合に位置情報を適切な出力先に出力することができる。
【0008】
ここで、前記ソース判別手段が判別する前記画像ソースの種類は、前記画像ソースが接続されるインターフェイスの種類としてもよいし、前記画像ソースから入力される前記入力画像の種類としてもよいし、前記画像ソースとなる前記外部の装置の種類としてもよい。すなわち、前記ソース判別手段は、前記画像入力手段が、前記画像ソースとなる前記外部の装置に接続される複数種類のインターフェイスを有する場合に、インターフェイスの種類に基づいて前記画像ソースの種類を判別してもよいし、前記画像入力手段に接続された外部の装置から入力される入力画像の信号形式またはデータフォーマットに基づいて前記画像ソースの種類を判別してもよく、前記画像入力手段に接続された前記外部の装置の種類自体を識別することにより前記画像ソースの種類を判別してもよい。
また、前記表示装置が、画像データを記憶する記憶手段等の前記画像ソースを内蔵し、この内蔵された前記画像ソースから供給される画像を前記表示手段により表示してもよい。
このため、画像ソースのインターフェイスの種類、入力画像の種類、或いは画像ソースとなっている装置の種類に基づいて、位置情報の出力先を的確に判定し、或いは出力先を適切に選択して、位置情報を出力できる。
【0009】
また、本発明は、上記表示装置において、前記表示制御手段は、前記表示手段によって、前記画像入力手段に複数の前記画像ソースから入力される複数の前記入力画像を、前記表示面に設けられた複数の領域のそれぞれに表示させ、前記出力制御手段は、前記位置検出手段により検出された指示位置がどの前記領域に属するかを判定し、指示位置が属する前記領域に表示されている前記入力画像の前記画像ソースの種類に応じて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする。
本発明によれば、複数の入力画像を表示面に同時に表示し、指示位置を検出した場合に、指示位置に重なる入力画像の画像ソースに対応して、位置情報の出力を制御できる。このため、複数の画像ソースから位置情報の出力先を的確に選択するなど、位置を指示する操作に適切に対応して位置情報を出力できる。
【0010】
また、本発明は、上記表示装置において、前記出力制御手段は、前記位置検出手段により検出された指示位置が、前記表示面に表示された複数の前記入力画像のうち特定の前記入力画像が表示された領域に含まれない場合に、前記位置情報生成手段により生成された前記位置情報の出力を停止し、或いは、前記位置情報を出力する出力先を変更することを特徴とする。
本発明によれば、複数の画像ソースからの入力画像のうち、例えば予め設定された画像ソースからの入力画像、設定された位置に表示されている入力画像、或いは、何らかの条件を満たす入力画像など、特定の入力画像が表示された領域に、指示位置が含まれない場合に、位置情報の出力が停止あるいは出力先の画像ソースが変更されるので、画像ソースの装置が、対応していない座標に基づいて想定外の動作を行わないよう制御を行える。これにより、複数の画像ソースからの入力画像にまたがる操作に適切に対応するとともに、複数の装置が統合されていない動作を行うことによる画像の乱れ等を防止できる。
ここで、出力制御手段は、特定の前記入力画像が表示された領域で検出された指示位置が、その後に当該領域の外に移動したことを判別して、位置情報の出力を停止あるいは出力先の画像ソースを変更してもよい。
【0011】
また、本発明は、上記表示装置において、前記表示手段による表示を停止させる表示停止制御手段をさらに備え、前記出力制御手段は、前記表示停止制御手段により前記表示手段による表示が停止されている間は、前記位置情報生成手段により生成された位置情報の出力を停止することを特徴とする。
本発明によれば、表示を停止している間の位置情報に基づく処理を停止させることができるので、表示を再開した際に意図しない画像が表示される等の事態を防止できる。
【0012】
また、本発明は、上記表示装置において、前記処理手段は、前記位置情報生成手段により生成された位置情報をもとに、前記表示面に表示される画像の少なくとも一部を描画する描画処理、前記表示面に前記位置情報に対応するポインターを表示する処理、及び、当該処理手段の機能に対応づけられた操作画像が前記表示面に表示された状態で、前記位置情報に基づいて選択される前記操作画像に対応する動作を実行するGUI処理の少なくともいずれかを実行することを特徴とする。
本発明によれば、表示装置が、指示位置に対応した描画、指示位置にポインターを表示する処理、及び指示位置に対応したGUI操作のいずれかを実行でき、指示位置に基づいて操作性の高い操作環境を実現できる。また、この表示装置の機能に対する位置情報の出力を適切に制御するので、描画、ポインターの表示あるいはGUI操作における表示の混乱等を回避できる。
【0013】
また、本発明は、上記表示装置において、前記位置情報生成手段により生成された位置情報の出力先を設定する設定画面を前記表示手段により表示させる設定画面表示手段と、前記設定画面表示手段により前記設定画面が表示された状態で、前記位置検出手段により検出された指示位置に基づいて出力先の設定を行う設定手段と、を備え、前記出力制御手段は、前記設定手段により設定された出力先に、前記位置情報生成手段が生成した前記位置情報を出力することを特徴とする。
本発明によれば、位置情報の出力先を、位置検出手段により指示位置が検出される操作によって容易に設定することができる。
【0014】
また、本発明は、上記表示装置において、前記表示手段として、光源と、前記光源が発した光を前記入力画像に基づいて変調する光変調手段と、前記光変調手段により変調された光を前記表示面に投射する投射手段とを備えるプロジェクターであることを特徴とする。
本発明によれば、プロジェクターが投射した画像に対する位置を指示する操作に対応した適切な動作を実行できる。
【0015】
また、上記課題を解決するため、本発明は、画像ソースから入力される入力画像を表示面に表示する表示装置を制御する表示装置の制御方法であって、前記表示面における指示位置を検出し、検出した指示位置を示す位置情報を生成し、前記位置情報に基づいて処理を実行する処理手段に対する前記位置情報の出力を制御することを特徴とする。
本発明の制御方法を実行することにより、表示面に位置の指示がなされた場合に、この指示位置を示す位置情報を生成し、表示装置が備える処理手段に対する位置情報の出力を制御できる。これにより、例えば指示位置に基づく処理内容や処理を行う装置に対応して、適切に位置情報を出力でき、或いは、複数の処理手段を有する場合に、どの処理手段に位置情報を出力するかを制御して、適切な出力先に位置情報を出力できる。
【0016】
また、上記課題を解決するため、本発明は、画像ソースから入力される入力画像を表示面に表示する表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記表示面における指示位置を検出する位置検出手段と、前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段と、して機能させるためのプログラムである。
本発明のプログラムを実行することにより、表示装置を制御するコンピューターは、表示面に位置の指示がなされた場合に、この指示位置を示す位置情報を生成し、表示装置が備える処理手段に対する位置情報の出力を制御できる。これにより、例えば指示位置に基づく処理内容や処理を行う装置に対応して、適切に位置情報を出力でき、或いは、複数の処理手段を有する場合に、どの処理手段に位置情報を出力するかを制御して、適切な出力先に位置情報を出力できる。
また、上記プログラムを、コンピューターが読み取り可能に記録した記録媒体として実現することも可能である。
【発明の効果】
【0017】
本発明によれば、表示面における指示位置を示す位置情報を適切に出力できる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施形態に係る表示システムの構成を示す図である。
【図2】プロジェクターの機能的構成を示すブロック図である。
【図3】PCの機能的構成を示すブロック図である。
【図4】スクリーンに画像を投射した例を示す図であり、(A)は指示位置に従ってポインターを投射した状態を示し、(B)は指示位置に従って描画を行った例を示す。
【図5】座標を検出及び変換する処理の様子を示す説明図である。
【図6】座標を検出及び変換する処理の様子を示す説明図である。
【図7】画像の投射状態の変化と座標を変換する処理の様子を示す説明図である。
【図8】画像の投射状態の変化と座標を変換する処理の様子を示す説明図である。
【図9】プロジェクターの動作を示すフローチャートである。
【図10】画像ソースの種類毎に座標の出力の可否を定義する設定データの構成を模式的に示す図である。
【図11】出力先の設定画面の例を示す図である。
【図12】図9のステップS17に示した座標出力処理を詳細に示すフローチャートである。
【図13】スクリーンにおける指示体による操作の例を示す図であり、(A)は通常表示における操作前の状態を示し、(B)は指示位置の軌跡の例を示し、(C)は多画面表示における操作前の状態を示し、(D)は多画面表示時の指示位置の軌跡の例を示す。
【図14】複数の領域に跨る操作に応じてズーム機能を実行する例を示す説明図であり、(A)はズームの中心が指定された状態を示し、(B)は指定された中心に従ってズーム処理を行った状態を示す。
【図15】位置検出部による位置検出の例を示す説明図である。
【図16】変形例としてのプロジェクターの機能的構成を示すブロック図である。
【発明を実施するための形態】
【0019】
以下、図面を参照して本発明を適用した実施形態について説明する。
図1は、実施形態に係るプロジェクター11を用いた表示システム10の構成を示す図である。図中の一部を円内に拡大して示す。
表示装置としてのプロジェクター11には、画像供給装置としてのPC(Personal Computer)13、DVDプレーヤー15、及びビデオレコーダー16が有線接続されている。プロジェクター11にはネットワーク14を介して複数のPC13が接続され、いずれのPC13からもプロジェクター11に画像データを供給可能である。ネットワーク14はLANケーブル等の有線通信回線または無線通信回線により構成され、ネットワーク14とプロジェクター11とは有線または無線接続され、このネットワーク14を介してプロジェクター11と各PC13との間、及び、PC13間で各種データを送受信可能である。
図1に例示する構成では、プロジェクター11は、一つのPC13に対し、アナログ映像信号を伝送するRGBケーブル61、及び、デジタルデータを伝送するUSBケーブル62により接続されている。このPC13は、プロジェクター11にRGBケーブル61を介してアナログ映像信号を出力できる。また、プロジェクター11は、USBケーブル62を介して、PC13との間で後述する座標データを含む各種制御データ等を送受信する。なお、PC13とプロジェクター11とをDVIケーブル等を介して接続し、デジタル画像データを伝送する構成とすることも勿論可能である。
プロジェクター11は、PC13、DVDプレーヤー15及びビデオレコーダー16から入力された画像データに基づいて、投射面(表示面)としてのスクリーンSCに投射する。プロジェクター11は、PC13、DVDプレーヤー15及びビデオレコーダー16から入力された画像データが静止画像であっても動画像であっても投射できる。スクリーンSCは、壁面に固定された平板に限らず、壁面自体をスクリーンSCとして使用することも可能である。ここで、スクリーンSC上で画像が投射される範囲を実投射領域11B(表示可能領域)とする。また、プロジェクター11は通信ケーブル等によりPC13に接続され、PC13との間で制御データ等を送受信する。
【0020】
表示システム10では、プロジェクター11による画像の投射中、ユーザーが指示体12を手に持って、スクリーンSCの実投射領域11Bにおける位置指示操作を実行できる。指示体12は、ペン型や棒形状の操作デバイスであって、スクリーンSCの上の任意の位置を指し示すために用いられる。プロジェクター11は、後述するように指示体12の先端位置を検出する機能を有し、検出した指示位置の座標を示す制御データをPC13に出力する。また、プロジェクター11は、検出した指示位置の座標に基づいて、指示位置に沿って画像を描画する等の処理を行う。
【0021】
図2は、プロジェクター11の機能的構成を示すブロック図である。
プロジェクター11は、大別して、RGBケーブル61またはネットワーク14を介してPC13から入力される入力画像やDVDプレーヤー15及びビデオレコーダー16等から入力される入力画像に基づいて表示用の画像処理を実行する画像処理ユニット110と、画像処理ユニット110の制御に従ってスクリーンSCに画像を投射する投射ユニット3(表示手段)と、スクリーンSC上の指示体12の指示位置を検出する位置検出ユニット150と、位置検出ユニット150が検出した指示位置の座標を、画像データにおける座標に変換する座標変換部160と、座標変換部160が変換した変換後の座標をPC13または画像処理ユニット110に出力する出力切替部163と、出力切替部163が座標を出力する出力先を切り替えさせる出力制御部101と、これらの各部を制御する制御部103と、を備えている。
制御部103は、図示しないCPU、不揮発性メモリー、RAM等により構成され、制御部103に接続された記憶部105に記憶されている制御プログラム105Aを読み出して実行し、プロジェクター11の各部を制御する。また、記憶部105に記憶された制御プログラム105Aを実行することで、制御部103はキャリブレーション実行部103Aとして機能する。キャリブレーション実行部103Aは、後述するキャリブレーションを実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンSC上の領域における座標との対応関係(座標変換パラメーター)を求める。記憶部105は、磁気的、光学的記録装置または半導体記憶素子により構成され、制御プログラム105Aを含む各種プログラム、及び、各種設定値等のデータを記憶する。
【0022】
制御部103には操作パネル41及びリモコン受光部45が接続されている。
操作パネル41は、各種スイッチ及びインジケーターランプを備え、プロジェクター11の外装筐体(図示略)に配置されている。制御部103は、プロジェクター11の動作状態や設定状態に応じて操作パネル41のインジケーターランプを適宜点灯或いは点滅させる。また、操作パネル41のスイッチが操作されると、操作されたスイッチに対応する操作信号を制御部103に出力する。操作パネル41やリモコン等は、プロジェクター11に対する操作をユーザーが入力するための操作部である。なお、プロジェクター11に対する操作を表す操作信号をPC13からプロジェクター11に送信し、この操作信号に基づいてプロジェクター11を制御することもできる。PC13から操作信号を送信する場合は、例えばUSBインターフェイス等を介してプロジェクター11に操作信号を送信することができる。この場合は、PC13も、プロジェクター11に対する操作をユーザーが入力するための操作部として機能する。
また、プロジェクター11は、プロジェクター11の操作者であるユーザーが使用するリモコン(図示略)がボタン操作に対応して送信した赤外線信号を、リモコン受光部45によって受光する。リモコン受光部45は、上記リモコンから受光した赤外線信号を受光素子により受光し、この信号に対応する操作信号を制御部103に出力する。
制御部103は、操作パネル41またはリモコン受光部45から入力される操作信号に基づいて、ユーザーの操作を検出し、この操作に従ってプロジェクター11を制御する。
【0023】
プロジェクター11は、PC13、ネットワーク14、DVDプレーヤー15及びビデオレコーダー16等に接続される外部I/F102を備えている。外部I/F102は、制御データやデジタル画像データ等の各種データ、及び、アナログ映像信号を送受信するインターフェイスであり、複数種類のコネクター及びこれらのコネクターに対応するインターフェイス回路を備えている。本実施形態において、外部I/F102は、コンピューターの映像出力端子に接続されるCompインターフェイス、ビデオ再生装置やDVD再生装置に接続されるS−Videoインターフェイス、Videoインターフェイス、デジタル家電等が接続されるHDMI(登録商標)規格に準拠したHDMIインターフェイス、コンピューターのUSB端子に接続されるUSBインターフェイス、及び、コンピューターを含んで構成されるLANに接続されるLANインターフェイスを有する。
Compインターフェイスは、コンピューターからアナログ映像信号が入力されるVGA端子、デジタル映像信号が入力されるDVI(Digital Visual Interface)等である。このCompインターフェイスにはRGBケーブル61(図1)が接続され、USBインターフェイスにはUSBケーブル62(図1)が接続される。
【0024】
S−Videoインターフェイスは、ビデオ再生装置、DVD再生装置、テレビチューナー装置、CATVのセットトップボックス、ビデオゲーム装置等の画像供給装置から、NTSC、PAL、SECAM等のコンポジット映像信号が入力されるS映像端子を備え、本実施形態ではDVDプレーヤー15が接続される。
Videoインターフェイスは、上記の画像供給装置からコンポジット映像信号が入力されるRCA端子、或いはコンポーネント映像信号が入力されるD端子等を備え、アナログ画像信号が入力され、本実施形態ではビデオレコーダー16が接続されている。
【0025】
USBインターフェイスは図示しないUSB端子と、このUSB端子を介してコンピューターと制御データやデジタル画像データを送受信するUSBコントローラー(図示略)とを備えている。ここで、外部I/F102Gは、PC13などのUSBホストデバイスとなる装置を接続するためのUSB−Bインターフェイスを備えていてもよいし、プロジェクター11に対してUSBスレーブデバイスとして機能するUSBメモリーや書画カメラ等のデバイスを接続するためのUSB−Aインターフェイスを備えていてもよい。また、USB−A、USB−Bの両方のインターフェイスを備えていてもよい。
また、LANインターフェイスは、LANケーブルを接続可能なRJ−45端子等の端子を備え、この端子を介して1または複数のコンピューターを含むLANに接続される。例えばEthernet(登録商標)規格に準拠したネットワークインターフェース回路(図示略)を備えており、LANを構成するコンピューターとの間で制御データや画像データを送受信する。
また、外部I/F102に、VESA(Video Electronics Standards Association)が策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、プロジェクター11は、PC13や、PC13と同等の機能を有する携帯型デバイスが備えるDisplayPortに接続し、デジタル画像データを入力可能となる。
さらに、外部I/F102は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。例えば、外部I/F102に、無線LAN等の無線通信インターフェイスを備え、プロジェクター11をPC13等の各種装置と無線通信回線を介して接続してもよい。
外部I/F102が備える各インターフェイスに接続された各装置(上述した画像供給装置)を、画像ソースと呼び、各画像ソースから入力される画像信号または画像データを入力画像と総称する。このため、入力画像には、アナログ画像信号及びデジタル画像データの両方が含まれる。
【0026】
プロジェクター11は、大きく分けて光学的な画像の形成を行う光学系と画像信号を電気的に処理する画像処理系とからなる。光学系は、照明光学系31(光源)、光変調装置32(光変調手段)、及び投射光学系33から構成される投射部30(投射手段)を備えている。照明光学系31は、キセノンランプ、超高圧水銀ランプ、LED(Light Emitting Diode)等からなる光源を備えている。また、照明光学系31は、光源が発した光を光変調装置32に導くリフレクター及び補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群(図示略)、偏光板、或いは光源が発した光の光量を光変調装置32に至る経路上で低減させる調光素子等を備えたものであってもよい。
光変調装置32は、後述する画像処理系からの信号を受けて、照明光学系31からの光を変調する。本実施形態では、透過型液晶パネルを用いて光変調装置32を構成した場合を例に挙げて説明する。この構成では、光変調装置32は、カラーの投影を行うため、RGBの三原色に対応した3枚の液晶パネルからなる。照明光学系31からの光はRGBの3色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系33に射出される。
【0027】
投射光学系33は、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター等を備えている。
投射ユニット3(表示手段)は、投射部30とともに、表示制御部107の制御に従って投射光学系33が備える各モーターを駆動する投射光学系駆動部121、表示制御部107から出力される画像信号に基づいて光変調装置32を駆動して描画を行う光変調装置駆動部119、及び、制御部103の制御に従って照明光学系31が備える光源を駆動する光源駆動部117を備えている。
【0028】
一方、画像処理系は、プロジェクター11全体を統合的に制御する制御部103の制御に従って画像データを処理する画像処理ユニット110により構成される。画像処理ユニット110は、外部I/F102から入力された入力画像を処理する画像入力部104を備えている。画像入力部104は、例えば、アナログ映像信号をデジタル画像データに変換するA/D変換回路を有し、外部I/F102が備えるアナログ映像端子を介して入力されたアナログ映像信号を画像データに変換して画像処理部113に出力する。また、画像入力部104は、外部I/F102において入力映像が入力されたポートを判別する機能を有する。
【0029】
また、画像処理ユニット110は、制御部103の制御に従って外部I/F102から画像入力部104を介して入力された入力画像のうち少なくとも1以上の入力画像を選択し、選択した入力画像としての画像データに基づいて画像を表示するための処理を画像処理部113に実行させる表示制御部107、表示制御部107の制御に従って入力画像を処理し、投射部30が投射する画像をフレームメモリー115に展開する画像処理部113、表示制御部107から出力される画像信号に基づいて光変調装置32を駆動して描画を行う光変調装置駆動部119を備えている。画像処理ユニット110は処理手段、及び、表示制御手段として機能する。
【0030】
制御部103は、記憶部105に記憶された制御プログラム105Aを読み出して実行することにより、プロジェクター11の各部を制御する。
表示制御部107は、画像入力部104を介して入力される画像データのフォーマット(フレームレート、解像度、圧縮状態)の判別等を行い、光変調装置32に表示画像を表示するために必要な処理を決定し、画像処理部113を制御して当該処理を実行する。画像処理部113は、表示制御部107の制御に従って、画像入力部104を介して入力された画像データをフレームメモリー115に展開し、インターレース/プログレッシブ変換、解像度変換等の各種変換処理を適宜実行し、フレームメモリー115に描画した表示画像を表示するための所定フォーマットの画像信号を生成して、表示制御部107に出力する。なお、プロジェクター11は、入力された画像データの解像度やアスペクト比を変更して表示することもでき、入力された画像データの解像度やアスペクト比を維持したままドットバイドットで表示することも可能である。また、画像処理部113は、表示制御部107の制御に従って、キーストーン補正、カラーモードに対応した色調補正、画像の拡大/縮小処理等の各種の画像処理を実行可能である。表示制御部107は、画像処理部113により処理された画像信号を光変調装置駆動部119に出力し、光変調装置32に表示させる。また、画像処理部113は、表示中の画像データの解像度、アスペクト比、光変調装置32の液晶表示パネルにおける表示サイズ等の情報から、後述する画像位置情報を導出し、求めた画像位置情報を座標変換部160に出力する。
制御部103は、制御プログラム105Aを実行して表示制御部107を制御し、スクリーンSC上に結像した表示画像のキーストーン補正を実行させる。また、制御部103は、操作パネル41またはリモコン受光部45から入力された操作信号に基づいて、表示制御部107を制御して表示画像の拡大/縮小処理を実行させる。
【0031】
外部I/F102に接続された機器から画像入力部104にアナログ画像信号が入力された場合、画像入力部104によってデジタル画像データに変換され、その後はデジタル画像データとして処理される。また、外部I/F102に接続された機器から画像入力部104にデジタル画像データが入力された場合、画像入力部104はデジタル画像データのまま画像処理部113に出力する。このように、画像処理ユニット110は、入力画像がアナログまたはデジタルのいずれであっても、デジタル画像データとして処理を行うので、以下の説明では、アナログ画像信号をA/D変換する過程については省略し、画像処理ユニット110が画像データを処理するものとして説明する。
【0032】
制御部103は、外部I/F102に接続された各画像ソースのうち、いずれか一以上の画像ソースを選択して当該画像ソースの入力画像を画像入力部104に入力する。また、制御部103は、外部I/F102から画像入力部104に入力されている画像ソースを判別する機能を有する。
ここで、制御部103は、外部I/F102において各画像ソースが接続されるインターフェイスの種類毎に選択及び判別を行ってもよいし、画像ソースから入力される入力画像の種類毎に選択及び判別を行ってもよく、コネクター毎に選択及び判別を行ってもよい。さらに、外部I/F102に接続された各装置の種類自体を識別することにより画像ソースを選択及び判別してもよい。例えば、HDMIインターフェイス、或いはLANインターフェイスに接続された機器は、プロジェクター11との間で制御データを送受信するので、この制御データに基づいて各機器(装置)の種類を判別できる。具体的には、PC13、DVDレコーダー、USBメモリー、PDA(Personal Digital Assistant)、携帯電話機、半導体メモリーを備えたメディアプレーヤー等、画像ソースとしての装置を具体的に特定して分類し、この分類により画像ソースの種類を判別してもよい。
【0033】
また、制御部103は、記憶部105に画像データを記憶している場合に、操作パネル41またはリモコン受光部45により検出した操作により、記憶部105に記憶している画像データの再生表示が指示されると、プロジェクター11自身を画像ソースとして選択することもできる。
また、プロジェクター11は、後述するようにスクリーンSC上に複数の入力画像を並べて同時に表示する、いわゆる多画面表示機能を備えている。操作パネル41又はリモコン受光部45により検出された操作あるいは事前の設定により、制御部103は、画像を表示可能な領域(投射可能領域11Aまたは実投射領域11B)を複数の領域に分割し、複数の画像ソース(画像供給装置)から入力された複数の入力画像を並べて表示する多画面表示を行う。多画面表示を行う場合、制御部103は、外部I/F102に接続された複数の画像ソースのうち、多画面表示で同時に表示可能な上限数以内で、画像ソースを選択する。
【0034】
プロジェクター11は、スクリーンSC上で指示体12により指示された指示位置の座標を検出する位置検出ユニット150を有する。位置検出ユニット150(位置検出手段)は、スクリーンSCを撮影する撮像部153、撮像部153を制御する撮影制御部155、及び、撮像部153の撮影画像に基づいて指示体12の指示位置を検出する位置検出処理部157を有する位置検出部151と、この位置検出部151が検出した指示位置の座標を算出する座標算出部159とを備えている。
撮像部153は、スクリーンSC上で投射部30が画像を投射可能な最大範囲(後述する投射可能領域11Aに相当)を含む画角を撮影するデジタルカメラであり、撮影制御部155の制御に従って撮影を実行し、撮影画像データを出力する。撮影制御部155は、制御部103の制御にしたがって、撮像部153を制御して撮影を実行させる。撮像部153が撮影時のズーム倍率、フォーカス、絞りの調整を行う機構を有する場合、撮影制御部155は、これらの機構を制御して予め設定された条件で撮影を実行させる。撮影後、撮影制御部155は撮像部153が出力する撮影画像データを取得して、位置検出処理部157に出力する。撮像部153から出力される撮影画像データは、RGBやYUV等の形式で表されるものであっても良く、輝度成分のみを表すものであっても良い。また撮影制御部155は、撮像部153から出力される撮影画像データをそのまま位置検出処理部157へ出力してもよく、解像度の調整や所定のファイルフォーマット(JPEG、BMPなど)への変換等を行った上で位置検出処理部157へ出力しても良い。
なお、撮像部153は、可視光を撮像可能な構成であっても良く、非可視光(赤外光など)を撮像可能な構成であっても良い。撮像部153が非可視光を撮像可能な場合には、指示体12が非可視光を射出して、撮像部153が指示体12から射出された非可視光を撮像する構成や、指示体12が非可視光を反射可能な反射部を備えており、制御部103の制御によってプロジェクター11からスクリーンSCに対して非可視光を投射し、指示体12の反射部によって反射された非可視光を撮像部153によって撮像する構成等を採用することができる。
【0035】
位置検出処理部157は、撮影制御部155から入力される撮影画像データを解析してこの撮影画像データから、実投射領域11Bの外部と実投射領域11Bとの境界、及び、指示体12の画像を抽出し、指示体12による指示位置を特定する。指示体12の指示位置は、例えば、棒状あるいはペン型の指示体12の先端の位置である。位置検出部154は、検出した指示位置の実投射領域11Bにおける座標を求める。
【0036】
また、プロジェクター11は、位置検出ユニット150が出力した座標(第1の座標)を、PC13から入力された画像データにおける座標(第2の座標)に変換する座標変換部160(位置情報生成手段)を備えている。
位置検出処理部157が出力する座標は、撮像部153の撮影画像データに基づいて検出された座標であり、スクリーンSCに結像した表示画像上に仮想的に設けられた座標軸における座標である。座標変換部160は、画像処理部113がフレームメモリー115に展開した画像の解像度と、画像処理部113が画像を展開する際に行った解像度変換やズーム等の処理内容に関する情報とを含む各種の情報を取得し、取得した情報をもとに、位置検出処理部157が求めた表示画像における座標を入力画像データにおける座標に変換する。上述のように光変調装置32は、例えば縦横にマトリクス状に並ぶ所定数の画素を有する液晶表示パネルを用いて構成されているので、画素の配列方向に仮想の直交座標系の座標軸を配置することで、パネル上の位置を座標で表すことができる。これに対し、撮影画像データにおける座標は、撮像装置5とスクリーンSCとの距離等の様々な要素の影響を受ける。そこで、本発明に係るプロジェクター11においては、最初にキャリブレーション(後述)を実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンSC上の領域における座標との対応関係(座標変換パラメーター)を求める。ここで、キャリブレーションの対象となるスクリーンSCの領域は、実投射領域11B全体であっても良く、実投射領域11Bの一部であっても良い。実投射領域11Bの一部をキャリブレーションの対象とする場合としては、プロジェクター11の表示画像のアスペクト比とスクリーンSCのアスペクト比が異なる場合(例えば、プロジェクター11の表示解像度がWXGAで、スクリーンSCのアスペクト比が4:3である場合)に、プロジェクター11の表示画像の垂直方向の幅が、スクリーンSCの垂直方向の幅と一致するように表示する場合が考えられる。この場合は、プロジェクター11の実投射領域11Bのうち、スクリーンSCに含まれる領域をキャリブレーションの対象とし、それ以外の領域をキャリブレーションの対象外とすることが考えられる。キャリブレーション実行部103Aによって座標変換パラメーターが求められると、この座標変換パラメーターに基づいて、座標算出部159が座標の変換を行う。この変換処理については後述する。さらに、座標変換部160は、座標算出部159から出力された座標(第1の座標)を画像位置情報(後述)に基づいて変換し、変換後の座標(第2の座標)を出力切替部163に出力する。
【0037】
出力切替部163は、座標変換部160が変換した変換後の座標を出力する出力先を選択的に切り替える機能を有し、本実施形態では、外部I/F102または画像処理ユニット110のいずれかを出力先として選択し、座標を出力する。出力切替部163は、出力制御部101の制御に従って、変換後の座標を出力する出力先を切り替えて、座標を出力する。
表示制御部107は、出力切替部163から入力された座標に基づいて、フレームメモリー115に展開した画像上に、指示体12の指示位置に対応してポインター12Aの画像を描画する。
ここで、座標算出部159は、出力切替部163に対して座標(第1の座標)を出力することも可能である。このため、出力切替部163は、座標算出部159が出力した座標(第1の座標)を、外部I/F102を介してPC13に出力することも、画像処理部113に出力することもできる。また、座標変換部160が、座標算出部159から入力された座標(第1の座標)を変換することなく、出力切替部163に座標を出力する機能を有する構成とすれば、座標算出部159が直接出力切替部163に座標を出力した場合と同様の作用効果が得られる。
【0038】
なお本実施形態では、PC13に座標を出力する場合は座標変換部160によって変換を行い、画像処理部113に座標を出力する場合は座標変換部160によって変換を行わないものとするが、プロジェクター11の構成はこれに限られない。座標変換部160は、PC13に座標情報を出力する場合にも座標の変換を行っても良く、画像処理部113に出力する場合にも座標の変換を行っても良い。
さらに、プロジェクター11は座標変換部160を備えない構成であっても良い。この場合は、座標算出部159が出力した第1の座標が、PC13及び画像処理部113に対して出力される。
出力切替部163が外部I/F102に出力した座標は、例えば、外部I/F102のUSBインターフェイスを介してPC13に入力される。出力切替部163が出力する座標データは、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして、PC13に出力される。
【0039】
ここで、PC13において、出力切替部163から出力される座標データを、汎用的なポインティングデバイスが出力する座標データと同等に扱う場合は、これらの汎用的なポインティングデバイスに対応した、汎用のデバイスドライバープログラムを利用することができる。一般的に、これらの汎用のデバイスドライバープログラムは、PC13のOS(オペレーティングシステム)の一部として予めインストールされているため、汎用のデバイスドライバープログラムを利用する場合はデバイスドライバープログラムのインストールを行う必要がない。また、汎用のデバイスドライバープログラムを利用することから、専用のデバイスドライバープログラムを用意する必要がない一方で、プロジェクター11とPC13との間でやり取りできる情報は、汎用のデバイスドライバープログラムの仕様によって定められた範囲に限定される。
また、プロジェクター11に対応した専用のデバイスドライバープログラムを用意して、このデバイスドライバープログラムをPC13にインストールして使用しても良い。この場合は専用のデバイスドライバープログラムが必要になる一方で、プロジェクター11とPCとの間でやり取りできる情報は、専用のデバイスドライバープログラムの仕様に応じて任意に設定することができる。
【0040】
図3は、PC13の機能的構成を示すブロック図である。
この図3に示すように、PC13は、制御プログラムを実行してPC13の各部を中枢的に制御するCPU131、CPU131により実行される基本制御プログラムや当該プログラムに係るデータを記憶したROM132、CPU131が実行するプログラムやデータを一時的に記憶するRAM133、プログラムやデータを不揮発的に記憶する記憶部134、入力操作を検出して入力内容を示すデータや操作信号をCPU131に出力する入力部135、CPU131による処理結果等を表示するための表示データを出力する表示部136、及び、外部の装置との間でデータ等を送受信する外部I/F137を備えており、これらの各部はバスにより相互に接続されている。
【0041】
入力部135は、コネクターや電源供給回路を有する入力I/F141を有し、この入力I/F141に入力デバイス142が接続される。入力I/F141は、例えばUSBインターフェイス等の入力デバイス用の汎用インターフェイスで構成され、入力デバイス142は、例えば、キーボード、或いは、マウスやデジタイザー等のポインティングデバイスである。
入力I/F141には、プロジェクター11に繋がる通信ケーブル(例えば、USBケーブル62)が接続され、プロジェクター11から、指示体12による指示位置の座標が入力される。ここで、入力I/F141には、プロジェクター11が出力する座標データが、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして入力される。従って、PC13は、プロジェクター11から入力される座標データを入力デバイスからの入力信号として処理することができ、例えば、この座標データに基づいてマウスカーソルやポインターの移動を行う等の動作を行える。
【0042】
表示部136は、画像信号出力用のコネクター等を備えた画像出力I/F143を有し、画像出力I/F143には、モニター144、及び、プロジェクター11に繋がる画像信号ケーブル(例えば、RGBケーブル61)が接続される。画像出力I/F143は、例えば、アナログ映像信号が入力されるVGA端子、デジタル映像信号が入力されるDVIインターフェイス、USBインターフェイス、及びLANインターフェイス、NTSC、PAL、SECAM等のコンポジット映像信号が入力されるS映像端子、コンポジット映像信号が入力されるRCA端子、コンポーネント映像信号が入力されるD端子、HDMI(登録商標)規格に準拠したHDMIコネクター等を複数備え、これら複数のコネクターにモニター144及びプロジェクター11がそれぞれ接続される。また、画像出力I/F143は、VESAが策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、PC13は、プロジェクター11やモニター144或いは他の機器に対し、Displayportを介してデジタル映像信号を出力できる。なお、画像出力I/F143は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。
【0043】
記憶部134は、CPU131により実行される表示制御プログラム13A、及び、表示制御プログラム13Aの実行時に出力される画像データ13Bを記憶している。CPU131は、表示制御プログラム13Aを実行すると、プロジェクター11に対して画像データ13Bを送信する処理を実行する。この処理において、CPU131は画像データ13Bを再生するとともに、表示部136によって所定の表示解像度の画像信号を生成させ、画像出力I/F143に出力させる。ここで、表示部136は、アナログ信号を出力するコネクターに対してはアナログ画像信号を出力し、デジタルデータを出力するコネクターに対してはデジタル画像データを出力する。画像データ13Bは、PC13が表示した画面をキャプチャーした画像データであってもよい。
【0044】
また、CPU131は、表示制御プログラム13Aの実行中、入力部135から、ポインティングデバイスの操作に対応する座標が入力された場合に、この座標に対応する位置に、ポインター12A(図1)を表示するための画像を生成する。そして、CPU131は、再生中の画像データ13Bにポインター12Aを重ねた画像データを生成し、この画像データを入力I/F141からプロジェクター11に出力する。
【0045】
また、表示制御プログラム13Aは、プロジェクター11を制御して、多画面表示の実行を指示したり、多画面表示時にPC13の入力画像を表示する領域を指定したりする機能を有するプロジェクター制御用のプログラムである。この表示制御プログラム13Aを実行することにより、PC13は、プロジェクター11に対して画像を出力するだけでなく、各種の制御データを送受信する。このため、例えばプロジェクター11から入力I/F141に入力される座標データに基づいて、指示体12の操作の軌跡を線で描画した画像をCPU131が生成し、プロジェクター11に出力することも可能である。
【0046】
このように、表示システム10においては、元の画像データによって表される画像(原画像)に対して、新たな画像(付加画像)を重畳して描画する機能を、プロジェクター11の表示制御部107及びPC13の両方において実行できる。具体的に、プロジェクター11の表示制御部107において描画機能を実行する場合は、PC13がプロジェクター11に出力する画像データによって表される原画像に対して、表示制御部107が付加画像を重畳して描画する。一方、PC13において描画機能を実行する場合は、PC13が原画像に対して付加画像を重畳して描画し、付加画像が重畳された原画像を表す画像データをプロジェクター11に出力する。なお、描画機能によって描画される付加画像としてポインター12Aを例示したが、描画機能によってポインター12A以外の付加画像を描画することも可能である。
【0047】
原画像を表す画像データは、PC13がプロジェクター11に出力しても良く、プロジェクター11が記憶していても良い。また、上述したようにプロジェクター11、及びPC13のいずれにおいても付加画像の描画機能を実行することができる。
例えば、原画像を表す画像データをプロジェクター11が記憶しており、プロジェクター11において付加画像を描画する場合は、PC13を用いることなく、原画像に対して描画を行うことができる。
また、PC13から出力された原画像に対して、プロジェクター11において付加画像を描画する場合は、PC13が描画機能を備えていなくても原画像に対して付加画像の描画を行うことができるので、PC13の描画用のソフトウェアがインストールされていなくても、原画像に対して描画を行うことができる。
さらに、原画像を表す画像データをプロジェクター11又はPC13が記憶しており、この原画像に対して、PC13において付加画像を描画しても良い。
【0048】
図4は、プロジェクター11によりスクリーンSCに画像を投射した例を示す図であり、(A)は指示体12の指示位置に従ってポインター12Aを投射した状態を示し、(B)は指示位置に従って描画図形12Cを描画した状態を示す。
光変調装置32が有する液晶表示パネル全体を使用して表示画像を投射した場合には、図4(A)に2点差線で示す投射可能領域11Aに画像が結像する。プロジェクター11がスクリーンSCの真正面に位置している場合を除き、図4(A)に示すように台形歪みが発生するので、プロジェクター11は、表示制御部107の機能によりキーストーン補正を行う。このキーストーン補正の実行後には、実投射領域11Bに表示画像が投射される。実投射領域11Bは、通常、スクリーンSC上で長方形となり、かつ最大のサイズとなるよう設定される。具体的には、光変調装置32の液晶表示パネルの解像度と台形歪みの程度により決定されるが、最大サイズでなくてもよい。
【0049】
プロジェクター11のキャリブレーション実行部103Aは、キーストーン補正を行った後の実投射領域11Bにおいてキャリブレーションを実行する。このキャリブレーションでは、キャリブレーション実行部103Aが画像処理部113を制御して所定のキャリブレーション用の画像を描画させる。このキャリブレーション用の画像がスクリーンSCに投射された状態で、キャリブレーション実行部103Aの制御により位置検出ユニット150がスクリーンSCを撮影する。キャリブレーション用の画像は、例えば白色の背景にドットが配置された画像であり、予め記憶部105等に記憶されている。なお、キャリブレーション用の画像は必ずしも記憶部105等に記憶されている必要はなく、キャリブレーションの実行が必要になり、キャリブレーションを実行する毎に、キャリブレーション実行部10Aがキャリブレーション用の画像をその都度生成する構成であっても良い。
【0050】
キャリブレーション実行部103Aは、撮影画像データ中の表示画像の輪郭、すなわち実投射領域11Bの外部と実投射領域11Bとの境界と、撮影画像データ中のドットを検出し、位置検出ユニット150の撮影範囲(画角)すなわち撮影画像データにおける位置と、実投射領域11B上の位置と、画像処理部113が描画した画像上の位置との対応関係を特定する。キャリブレーション実行部103Aは、キャリブレーションにより特定された撮影画像上の位置と実投射領域11B上の位置との対応関係に基づいて、後述するように座標算出部159が用いる座標変換パラメーターを求める。座標変換パラメーターには、画像処理部113が描画した画像上の座標と、撮影画像データ上で求められた座標とを対応づけるデータ等が含まれる。座標算出部159は、この座標変換パラメーターに基づいて、撮影画像データ上で求められた座標を画像処理部113が描画した画像上の座標に変換することができる。この座標変換パラメーターに基づいて座標算出処理が行われる。
このキャリブレーションは、制御部103が記憶部105に記憶されたキャリブレーション用プログラム(図示略)を実行することで行われるので、PC13においてキャリブレーション用のプログラムをインストールして実行する必要がない。また、撮影画像データに基づいてキャリブレーション実行部103Aが自動で行う処理であっても良く、キャリブレーション用の画像に対するユーザーの操作が必要な処理であっても良い。さらに、プロジェクター11がこれらの処理を併用しても良い。キャリブレーション用の画像に対するユーザーの操作は、キャリブレーション用の画像に含まれるドットをユーザーが指示体12で指示する操作等が考えられる。
【0051】
プロジェクター11が備える位置検出ユニット150は、実投射領域11Bに画像が投射された状態で撮影を実行し、図中に破線の矢印で示すように、撮影画像において実投射領域11Bの隅を原点とする直交座標を仮想的に設定して、この座標系における指示体12の先端位置の座標を求める。この直交座標は、上記のキャリブレーションにより得られた座標変換パラメーターに基づいて設定される。その後、座標変換部160により、実投射領域11Bに表示された画像データにおける指示体12の先端の座標が求められると、この座標に従って、例えば図4(A)に示すポインター12Aや、メニューバー12Bが表示される。ポインター12Aは指示体12の先端位置を示す記号として描画される。また、メニューバー12Bは、指示体12により操作可能なGUIであり、メニューバー12Bに配置されたボタンを指示体12により指示することで、線等の図形の描画、描画した図形のデータの保存、消去、コピー等の機能を実行させるGUI操作を行うことができる。具体的な例としては、指示体12を図4(A)に示す位置から図4(B)の位置まで移動させることで、指示体12の先端の軌跡に沿って描画図形12Cが描画される。この描画図形12Cは、例えば、ポインター12Aやメニューバー12Bと同様に、指示体12の指示位置を示す座標データに従って、表示制御部107が、画像処理部113がフレームメモリー115に展開した画像に重ねて描画する。或いは、描画図形12Cは、PC13が描画して入力画像に重畳させてプロジェクター11に出力する。
【0052】
また、メニューバー12Bには、外部から供給可能な複数の画像(例えば、外部I/F102のUSBインターフェイスに接続されたUSBフラッシュメモリーなどの外部記憶装置が記憶している画像データ)を順次読み出して表示するスライドショー表示の制御用のボタンや、プロジェクター11の機能自体に関する設定(アスペクト比の変更、カラーモードの変更等)を行うためのボタン等を配置することも可能である。制御部103は、指示体12の指示位置が出力切替部163から出力された場合に、この座標を取得して、メニューバー12Bにおいて指示されたボタンを特定し、指示操作に対応した動作を実行する。
【0053】
図5(A)、(B)及び図6(A)、(B)は、プロジェクター11が指示位置の座標を検出し、画像データにおける座標に変換する処理の様子を示す説明図であり、図5(A)は一連の動作の初期状態を示し、図5(B)及び図6(A)、(B)は、図5(A)の状態からPC13が表示画像の解像度を変更した状態を示す。
【0054】
図5(A)に示す例では、光変調装置32の液晶表示パネルの解像度に基づき、実投射領域11Bの解像度が1280×800ドットであり、PC13から入力される画像データの解像度も1280×800ドットである。従って、実投射領域11Bには、1280×800ドットの表示画像201が表示されている。位置検出ユニット150は、実投射領域11Bの左上隅を原点とし、右方向をX軸方向、下方向をY軸方向とするX−Y直交座標系を設定し、表示画像201のX方向の端位置をX1max、Y方向の端位置をY1maxとし、指示体12の指示位置の座標を(X1n,Y1n)とする。
ところで、PC13から入力される画像データが、解像度が1024×768ドットの表示画像202に切り替えられると、スクリーンSCには図5(B)に示すように1066×800ドットの表示画像202が投射される。この1066×800ドットの画像データは、PC13から入力された1024×768ドットのアスペクト比を維持しつつ、拡大した画像データである。この表示画像202は表示画像201より低解像度であるため、表示画像202が投射される領域は実投射領域11Bよりも小さい。
【0055】
ここで、図5(A)及び(B)に示すように、スクリーンSC上の指示体12を動かさないようにすると、指示位置そのものは動いていないが、指示位置と表示されている画像との相対位置は変化する。このため、位置検出ユニット150が撮像部153の撮影画像データに基づいて算出した実投射領域11Bにおける指示位置の座標(X1n,Y1n)をもとにポインター12Aを表示すると、ポインター12Aが実際の指示位置からずれてしまう。
【0056】
すなわち、図6(A)に示すように、変更後の表示画像202の左上隅を原点とする座標系において座標(X1n,Y1n)にポインターを表示すると、指示体12の先端から離れたポインター12A´が表示されてしまう。このように、実投射領域11Bを基準として求めた座標は表示画像の解像度の影響を受けてしまうので、位置検出ユニット150が算出した座標をそのまま、PC13或いは表示制御部107が、ポインター12Aの表示に利用することはできない。
そこで、プロジェクター11は、PC13が出力する表示画像の解像度が変わった場合にも対応できるように、位置検出ユニット150の座標算出部159が算出した指示位置の座標(X1n,Y1n)を、座標変換部160によって、表示中の表示画像における指示位置の座標(X2n,Y2n)に変換する処理を行う。
【0057】
以下、具体的な処理について説明する。
本実施形態では、座標変換部160は、表示画像における座標を実投射領域11Bの隅に原点を設定した座標系(図5(A))により表す。図5(B)及び図6(A)〜(B)に示したように、実投射領域11Bよりも小さい領域に表示画像(ここでは表示画像202)を表示した場合、位置検出処理部157が撮像部153の撮影画像において表示画像の隅を原点とした場合の指示位置を検出し、座標算出部159が実投射領域11Bにおける表示画像202の位置を特定して、実投射領域11Bにおける座標(X1n,Y1n)を算出する。
【0058】
座標変換部160は、画像処理部113から画像位置情報を取得して、変更後の表示画像202の原点に相当する左上隅の座標(X1bmin,Y1bmin)を求める。この座標(X1bmin,Y1bmin)は、実投射領域11Bの左上隅を原点とした場合の座標である。
また、以下の演算では、X2max、X2minの値を用いる。X2maxは、表示画像202を表示した場合に表示画像202の左上隅を原点とした座標系において、X軸方向の最大値であり、X2minは同座標系において最小値である。つまり、X2maxはX軸上で表示画像202の右端の座標であり、X2minは原点であるためゼロであると考えられるが、X2max、X2minの値としては正規化された値を用いるので、X2min=0とは限らない。このため、変数X2minとして演算する。
【0059】
図6(B)に示すように、表示画像202の原点に相当する左上隅の座標を(X1bmin,Y1bmin)とし、実投射領域11BのX軸方向の端の座標値をX1max、表示画像202のX軸方向の端の座標をX1bmax、実投射領域11BのY軸方向の端の座標値をY1max、表示画像202のY軸方向の端の座標をY1bmaxとする。
この場合、座標(X2n,Y2n)は、下記式(1)、(2)により算出される。
【0060】
X2n=(X2max−X2min)×(X1n−X1bmin)÷(X1bmax−X1bmin) …(1)
Y2n=(Y2max−Y2min)×(Y1n−Y1bmin)÷(Y1bmax−Y1bmin) …(2)
本実施形態では図6(B)に示すようにY1bmin=Y2min=0、Y1bmax=Y2max=Y1maxである。このため、上記式(2)から、Y2n=Y1nとなる。
【0061】
指示位置の座標は、実際には正規化された論理座標として求められる。例として、X1min=0、X1max=32767、Y1min=0、Y1max=32767とする。
また、以下の例では、実投射領域11Bは1280×800ドットの解像度の画像に合わせて設定され、この実投射領域11Bにおける座標を(XPn,YPn)で表すと、(XPmin≦XPn≦XPmax,YPmin≦YPn≦YPmax)であり、XPmin=0、XPmax=1280、YPmin=0、YPmax=800であるものとする。
さらに、実投射領域11Bに表示される表示画像の位置及びサイズに関する情報として、表示画像の右上端の座標を(XP0,YP0)とし、この例では(XP0,YP0)=(0,0)とし、表示画像のX軸方向のサイズWP0=1280、Y軸方向のサイズHP0=800とする。
【0062】
実投射領域11Bにおける表示画像の左上隅の座標(X1bmin,Y1bmin)及び端位置の座標(X1bmax,Y1bmax)は、以下の式(3)〜(6)により求められる。
X1bmin=(X1max−X1min)×XP0÷(XPmax−XPmin) …(3)
X1bmax=(X1max−X1min)×(XP0+WP0)÷(XPmax−XPmin) …(4)
Y1bmin=(Y1max−Y1min)×YP0÷(YPmax−YPmin) …(5)
Y1bmax=(Y1max−Y1min)×(YP0+HP0)÷(YPmax−YPmin) …(6)
【0063】
これら式(3)〜(6)により得られた値をもとに、上記式(1)及び(2)の演算を行うことで、座標変換部160は、表示画像における指示位置の座標を得る。この座標は、PC13或いは表示制御部107が、処理対象の画像データにおいてポインター12A、メニューバー12B或いは描画図形12Cを描画する場合に、画像データ中の位置を特定する情報として利用できる。このため、表示画像の解像度やズーム率等に影響されることなく、ポインター12A、メニューバー12B及び描画図形12Cを、正確に、指示体12による指示位置に合わせて描画できる。
【0064】
ところで、実投射領域11Bに表示される表示画像の位置及びサイズは、表示画像の解像度や表示位置の影響を受ける。例えば、操作パネル41またはリモコン受光部45による操作や、PC13から送信される制御信号に応じて、プロジェクター11が、表示解像度の変更、アスペクト比の変更、ズーム、画像の表示位置の変更(移動)、多画面表示処理等、投射状態が変化するような処理を実行した場合には、画像位置情報(XP0,YP0,WP0,HP0)も変化する。ここで、画像位置情報とは、実投射領域11Bに対する画像配置領域(表示画像201、202が投射される(表示される)領域)の配置に関する情報である。換言すれば、画像位置情報は、実投射領域11B(表示可能領域)に対する表示画像の位置(配置)を示す情報である。また、PC13の表示解像度が変化し、PC13がプロジェクター11に出力する画像データの解像度が変化した場合(例えば、PC13において解像度に関する設定が変更された場合)にも、画像位置情報は変化する。
図7及び図8は、画像の投射状態の変化と座標を変換する処理の様子を示す説明図であり、投射状態の変化により画像位置情報(XP0,YP0,WP0,HP0)が変化する例を示す。
図7(A)では実投射領域11Bと同じ解像度(1280×800)の表示画像201を表示している。この場合の画像位置情報は、(XP0=0,YP0=0,WP0=1280,HP0=800)である。ここで、表示画像を、解像度が異なる表示画像202(1066×800)に変更した場合、図7(B)に示すように、表示画像202の周囲に非表示領域11Cが発生する。この場合、画像位置情報は、(XP0=107,YP0=0,WP0=1066,HP0=800)となる。
ここで、表示画像202のアスペクト比を変更して実投射領域11B全体に拡大表示した場合、図7(C)に示すように実投射領域11Bいっぱいに表示画像202が表示され、画像位置情報は(XP0=0,YP0=0,WP0=1280,HP0=800)となる。
【0065】
ここで、非表示領域11Cが発生している状態で、指示体12の指示位置が非表示領域11Cに重なった場合、座標変換部160は、指示位置の座標を出力しないようにしてもよいし、表示画像の範囲内において指示位置に最も近い位置の座標を、出力切替部163に出力してもよい。
具体的には、座標変換部160は、座標変換処理を行う前に、座標算出部159が算出した座標が非表示領域11Cに該当するか否かを、画像位置情報に基づいて判別する。ここで、座標算出部159が算出した座標が非表示領域11Cに該当する場合、座標変換部160は、X軸方向の座標とY軸方向の座標の各々について、非表示領域11Cに該当するか否か(実投射領域11Bに含まれるか否か)、及び、非表示領域11Cに該当する場合は、座標が大きい側と小さい側のどちらの非表示領域11Cに含まれているかを判別する。例えば、図7(B)において指示位置が表示画像202の左側の非表示領域11Cに重なっている場合には、指示位置のX軸方向の座標が、値が小さい側の非表示領域11Cに含まれている。座標変換部160は、X軸方向の座標とY軸方向の座標のいずれかについて逸脱している方向を判別した場合、逸脱している方向の表示画像202の端位置の座標を、指示位置の座標に割り当てる。図7(B)において指示位置が表示画像202の左側の非表示領域11Cに重なっている場合には、その指示位置のX軸方向の座標X1nの値を、X1bminの値に変更する。同様に、指示位置が表示画像202の右側の非表示領域11Cに重なっている場合には、その指示位置のX軸方向の座標X1nの値を、X1bmaxの値に変更する。Y軸方向においても同様である。
【0066】
つまり、座標変換部160は、座標算出部159が算出した座標(X1n,Y1n)が、(X1bmin≦X1n≦X1bmax,Y1bmin≦Yn≦Y1bmax)を満たさない場合には、(X1bmin,Y1n)、(X1bmax,Y1n)、(X1n,Y1bmin)、(X1n,Y1bmax)のいずれかを出力切替部163に出力する。これにより、表示画像に含まれない指示位置に対しても、座標を出力し、ポインター12Aやメニューバー12Bを、指示位置の近くに描画できる。
【0067】
さらに、図7(A)に示す状態から、表示画像201の表示位置を左へ160ドット分シフトさせると、図8(A)に示すように、表示画像201の左側が切れて表示され、表示画像201の右側に非表示領域11Cが発生する。図8(A)の状態では、画像位置情報は、(XP0=-160,YP0=0,WP0=1280,HP0=800)となる。なお、図8(A)では表示画像201の表示位置を左へシフトさせる場合を例示しているが、表示画像201は左以外(右、上又は下など)の方向へ移動させても良い。
図8(B)には、多画面表示機能により、表示画像202と、表示画像203とを表示した例を示す。この例では、2つの表示画像202及び表示画像203は、実投射領域11Bに並べて表示できるように、アスペクト比を保って縮小表示され、その周囲に非表示領域11Cが発生する。多画面表示機能によって複数の表示画像を同時に表示する場合、表示画像のそれぞれについて画像位置情報を定義できる。図8(B)のような場合は、表示画像202及び表示画像203のそれぞれについて異なる画像位置情報を定義できる。縮小後の表示画像201の解像度は縦横半分の533×400となり、表示画像202に関する画像位置情報は、(XP0=53,YP0=200,WP0=533,HP0=400)となる。
プロジェクター11は、上記の多画面表示機能の実行時に、表示画像202及び表示画像203のいずれか一方を拡大あるいは縮小することも可能である。この場合、プロジェクター11は、ユーザーが指示体12で表示画像202、203の一方の拡大または縮小を指示する操作を行った場合に、この操作に応じて指示された表示画像を拡大または縮小し、拡大または縮小した表示画像の画像位置情報を更新する。
なお、プロジェクター11が多画面表示機能を実行する契機は、PC13がプロジェクター11に対して多画面表示の開始を指示する制御データを送信する場合や、操作パネル41又はリモコン等を介してユーザーが多画面表示の開始をプロジェクター11に指示する場合のほか、プロジェクター11自身が、所定の条件の成立を契機として、多画面表示機能を開始することもできる。例えば、プロジェクター11が、外部I/F102を介して複数の画像ソースからの入力画像が入力されたことを、制御部103が検出した場合や、位置検出ユニット150により検出した指示体12の操作により、メニューバー12Bの多画面表示開始のボタンが操作された場合に、多画面表示機能を開始してもよい。
【0068】
プロジェクター11は、画像を実投射領域11Bより大きく拡大して、その一部を表示するズーム機能を備えている。図7(B)に示した表示画像202を、もとの解像度の1.25倍に拡大した例を図8(C)に示す。この図8(C)の例では、表示画像202全体を表示するためには実投射領域11Bより大きい仮想表示領域11Dの領域が必要であり、実際には表示画像202の中央において実投射領域11Bに収まる部分のみが表示される。この場合の画像位置情報は、仮想表示領域11Dの隅の座標及び仮想表示領域11Dの解像度を基準として決定され、(XP0=-27,YP0=-100,WP0=1333,HP0=1000)となる。さらに、ズーム機能により拡大された表示画像における表示位置をシフトさせることも可能である。図8(D)には、図8(C)に示した拡大後の表示画像202を、下方に100ドット分シフトさせた状態を示す。この処理は、仮想表示領域11Dを実投射領域11Bに対して相対的に下方に移動させる処理に相当するので、画像位置情報は、(XP0=-27,YP0=0,WP0=1333,HP0=1000)となる。なお、図8(A)では表示画像201の表示位置を下方へシフトさせる場合を例示しているが、表示画像201は下以外(上、右又は左など)の方向へ移動させても良い。
【0069】
座標変換部160は、投射部30による表示画像の投射状態(表示状態)が変化する毎に、制御部103及び画像処理ユニット110から情報を取得して画像位置情報を更新し、更新後の画像位置情報に基づいて座標を変換する。画像位置情報は、例えば、次に挙げるタイミングで更新される。
・制御部103がPC13からの画像データの入力を検出したとき。
・制御部103が、PC13から入力される画像データに関する情報(画像の解像度など)の変化を検出したとき。
・プロジェクター11において、画像データの解像度を変更したとき。
・画像データのアスペクト比を変更したとき。
・光変調装置32により描画する画像を、投射する画像データの画像処理によって拡大/縮小するデジタルズーム機能を実行または解除したとき。
・実投射領域11Bに対する表示画像の表示位置を変更したとき。
・上記のデジタルズーム機能により画像を拡大し、さらに画像処理によって画像の表示位置を変更する機能を実行または解除したとき。
・光変調装置32により描画する画像と背景を含む全体すなわち実投射領域11B全体の投射サイズを、画像データの画像処理を行うことにより拡大/縮小するテレワイド機能を実行または解除したとき。
・上記のデジタルズーム機能により画像を縮小し、さらに画像処理によって画像の表示位置を変更するピクチャーシフト機能を実行または解除したとき。
・複数の画像の同時表示を実行または解除したとき。
・出力切替部163から座標を出力する出力先が、画像処理ユニット110からPC13へ、或いはその逆へ変更されたとき。
解像度の変更、アスペクト比の変更、各種機能の実行および解除は、いずれも制御部103の制御により、画像処理ユニット110によって実行される。なお、上記に列挙したタイミングはあくまで一例であり、その他のタイミングで画像位置情報を更新することも勿論可能である。
【0070】
図9は、プロジェクター11の動作を示すフローチャートであり、特に、指示体12による指示位置を検出して指示位置の座標を出力する動作を示す。
この図9に示す動作は、プロジェクター11の起動後、或いは、操作パネル41またはリモコン受光部45の操作によってポインター12Aやメニューバー12Bの表示が指示された場合、操作パネル41やリモコン受光部45により位置検出が指示された場合に、一定時間毎に繰り返し実行される。
【0071】
まず、キャリブレーションが必要か否かが判別される(ステップS11)。この判別は、キャリブレーションが必要か否かを示すユーザーの指示に基づいて行っても良く、キャリブレーションを行う必要があるかどうかをキャリブレーション実行部103Aが自動的に判別し、この判別結果に基づいて自動的に行っても良い。キャリブレーションが必要な場合には(ステップS11;Yes)、図4(A)を参照して説明したようにキャリブレーションを実行する(ステップS12)。すなわち、画像処理部113によりキャリブレーション用の画像を描画させ、このキャリブレーション用の画像が投射された状態で位置検出ユニット150により撮影を実行させ、得られた撮影画像データにおける実投射領域11Bの輪郭やキャリブレーション用の画像に含まれる特徴点(ドット等)を検出することで、画像処理部113が描画した画像と撮影画像データとの対応関係を求める。なお、キャリブレーションはプロジェクター11の使用を開始してから1度だけ行えば良く、特定の事象が発生しない限りは再度行う必要がない。例えば、次の(1)〜(3)のような場合には、新たにキャリブレーションを行う必要がある。
(1)キーストーン補正を行った場合。
(2)プロジェクター11の設置条件が変わった場合。例えば、スクリーンSCに対するプロジェクター11の相対的な位置(向きを含む)が変わった場合。
(3)光学条件が変わった場合。例えば、投射光学系33のフォーカスまたはズームの状態が変わった場合。投射光学系33あるいは撮像部153の光軸が経時変化等によりずれた場合。
これらの事象が発生した場合、座標変換部160が座標を算出する基準となる、初期状態における撮影画像データ上の位置と画像処理部113が描画する画像上の位置との対応関係が変化するので、改めてキャリブレーションを行う必要がある。逆にこれらの事象が発生しなければキャリブレーションを再度行う必要はないので、プロジェクター11を前回使用してから今回使用するまでの間に上記の事象が発生していなければ、キャリブレーションを行うことなく、前回のキャリブレーションで求めた座標変換パラメーターを再利用することもできる。キャリブレーションを行う必要があるかどうかをキャリブレーション実行部103Aが判別する方法としては、例えば、操作パネル41においてキーストーン補正の実行を指示するスイッチの操作の有無に基づいて判別する方法や、プロジェクター11に傾きや動きを検出するセンサーを設け、このセンサーの検出値の変化に基づいて判別する方法がある。また、投射光学系33におけるフォーカス、ズームの調整を行った場合に、キャリブレーション実行部103Aがキャリブレーションを自動で実行してもよい。また、ユーザーが、プロジェクター11の設置位置や光学条件の変化を知って、キャリブレーション実行を指示する操作を行えるように、操作パネル41やリモコン等の操作部に、対応するスイッチを設けてもよい。
【0072】
撮影制御部155は、制御部103の制御により撮像部153に実投射領域11Bを含む範囲を撮影させると、位置検出処理部157は撮影画像データを取得し(ステップS13)、この撮影画像データに基づいて指示体12の指示位置を検出する(ステップS14)。続いて、座標算出部159が、位置検出処理部157により検出された指示位置の座標を算出する(ステップS15)。このステップS13で算出される座標は実投射領域11Bにおける座標であり、図5(A)で説明した座標(X1n,Y1n)である。
【0073】
座標変換部160は、画像位置情報の更新が必要か否かを判別し(ステップS16)、更新が必要な場合は制御部103及び画像処理ユニット110から情報を取得して画像位置情報を更新する(ステップS17)。このステップS17の処理は、ステップS15の後に限定されず、上記に例示したタイミングで随時実行してもよい。
その後、座標変換部160は、座標算出部159が算出した座標を表示画像の画像データにおける座標に変換する処理を行い、変換後の座標を出力切替部163に出力する(ステップS18)。変換後の座標は、図5(B)で説明した座標(X2n,Y2n)である。
出力切替部163は、変換後の座標を外部I/F102または画像処理ユニット110のいずれか指定された側に出力し(ステップS19)、本処理を終了する。
【0074】
出力制御部101(出力制御手段、ソース判別手段)は、出力切替部163を制御して、座標変換部160が変換した変換後の座標の出力を切り替えさせる制御を行う。出力制御部101は、外部I/F102に接続された画像ソースのうち、投射部30が表示中の入力画像を供給しているPC13を、座標変換部160が算出した座標を出力する出力先として、出力切替部163により選択させる。また、出力制御部101は、出力切替部163の出力先として、画像処理ユニット110を選択させることも可能である。
また、出力制御部101は、座標変換部160が変換した座標を出力する出力先となる画像ソースを決定するため、現在表示中の画像を供給している画像ソースを特定する機能を有する。
【0075】
また、制御部103は、操作パネル41またはリモコン受光部45により検出した操作により、AVミュートが指示された場合に、スクリーンSCへの投射を一時的に停止させる。この場合に、制御部103は表示停止制御手段として機能する。具体的には、AVミュートの指示を検出すると、制御部103は、表示制御部107が光変調装置駆動部119に出力する表示データを、全面黒を示すデータに切り替えさせる。この動作により、光変調装置32の液晶パネルの全画素は黒表示となり、光変調装置32の透過率はほぼゼロとなるので、スクリーンSCには画像が投射されず、投射光の光量もほぼゼロになる。この動作とともに、制御部103は、光源駆動部117を制御して、光源駆動部117が備える光源の光量を低減させてもよい。その後、制御部103は、操作パネル41またはリモコン受光部45が検出した操作によりAVミュートの解除が指示されると、表示制御部107を制御して光変調装置32を通常表示状態に復帰させ、必要に応じて光源駆動部117の光源の輝度を通常時の輝度に戻す。
【0076】
図10は、画像ソースの種類毎に、座標を出力するか否かを定義する設定データ105Bの構成例を模式的に示す図である。
この図10の例では外部I/F102の各インターフェイスが、PC系インターフェイスと非PC系インターフェイスの2つのグループに分類されている。本実施形態では、プロジェクター11との間で制御データを送受信可能か否かという属性に基づき、PC系インターフェイスと、それ以外の非PC系インターフェイスとの2つのグループに分けた例を示す。PC系インターフェイスのグループに属するインターフェイスは、Compインターフェイス(ここではComp2)、USB及びLANインターフェイスである。Compインターフェイスを経由して制御データを送受信することはできないが、図1に示したようにPC13がRGBケーブル61によりCompインターフェイスに接続されるとともに、USBケーブル62によりUSBインターフェイスに接続されている場合は、入力画像がCompインターフェイスに入力されている場合にUSBインターフェイスを介して制御データを送受信できる。このため、PC系インターフェイスにCompインターフェイスを含めることができる。また、非PC系インターフェイスには、Compインターフェイス(ここではComp1)、S−Video、Video、HDMIの各インターフェイスが属する。
なお、グループ分けの方法は任意であり、グループ分けされた各インターフェイスが設定データ105Bに反映されていればよく、インターフェイスの属性や機能(アナログインターフェイスかデジタルインターフェイスか等)とは無関係にグループ分けを行うことも可能である。
【0077】
表示システム10は、上述のように、指示体12により指示された指示位置に追従するようにポインター12A等を描画する動作を実行可能であり、実際の描画をプロジェクター11自身の画像処理ユニット110が行うことも、PC13が行うこともできる。画像処理ユニット110が描画を行う動作モードは「PJインタラクティブモード」、PC13が描画を行う動作モードは「PCインタラクティブモード」と定義されている。
PJインタラクティブモードでは、指示体12の指示位置の座標に基づく処理をプロジェクター11が実行し、プロジェクター11が、例えば、指示体12の指示位置に追従するようにポインター12Aやメニューバー12Bを表示し、これらの表示位置を移動させる処理や、指示位置の座標に基づいて、後述するように指示位置の軌跡12Dを描画する処理を実行する。
【0078】
これに対し、PCインタラクティブモードでは、上述したように、出力切替部163が出力する座標データを汎用的なポインティングデバイスが出力する座標データと同等に扱うことにより、PC13のOSの一部の機能として予めインストールされた汎用のデバイスドライバープログラムを用いて、指示体12による指示操作をポインティングデバイスの操作として処理できる。例えば、指示体12の指示位置に追従するようにポインター12Aやメニューバー12Bを表示し、これらの表示位置を移動させる処理を行える。また、PC13が、プロジェクター11に対応した専用のデバイスドライバープログラムを実行する構成とすれば、PC13のOSが備える機能に加えて独自の機能を実現できる。例えば、指示体12による指示操作に基づいてプロジェクター11の動作を制御し、特定の機能(AVミュート機能、多画面表示機能等)の実行開始/終了、当該機能の実行中の制御等を行うことが可能となる。この独自の機能は専用のデバイスドライバープログラムの仕様により任意に設定できる。
【0079】
PCインタラクティブモードで、PC13は、例えば、PC13のOSの機能の一部として、或いはOSとともに提供される標準的なアプリケーションプログラムのうち、画像を描く描画機能を有するアプリケーションプログラムによって、プロジェクター11から入力される座標データに基づいて軌跡12Dを描画する。また、PC13は、プロジェクター11の利用を目的とした専用のアプリケーションプログラムを実行して、このアプリケーションプログラムの描画機能によって軌跡12D等を描画してもよい。さらに、この専用のアプリケーションプログラムは、上述したプロジェクター11を制御するためのデバイスドライバープログラムと協働して機能するプログラムとすることができる。この場合、プロジェクター11から入力される座標を取得し、この座標に基づいてポインター12A、メニューバー12B等を表示する処理と、当該座標に基づいて描画を行うことができる。
【0080】
PJインタラクティブモード及びPCインタラクティブモードでは、プロジェクター11及びPC13は、画像の表示状態の変更に関する機能(例えば、上述した描画機能や、画像の色合いを調整する機能など)や、描画された画像データに対する処理に関する機能(例えば、描画された画像データを記録する機能など)を実行することができる。さらに、プロジェクター11及びPC13がPJインタラクティブモードで実行できる機能と、PCインタラクティブモードで実行できる機能とは共通していても良く、異なっていても良い。
【0081】
表示システム10は、PJインタラクティブモードとPCインタラクティブモードとを切り替えて実行できるが、PCインタラクティブモードはPC13から画像データが入力されている場合でなければ行えない。
設定データ105Bでは、インターフェイスのグループ毎あるいはインターフェイス毎に、実行可能な動作モードが設定されている。図10の例では、非PC系インターフェイスにはPJインタラクティブモードが対応づけて設定され、PC系インターフェイスにはPCインタラクティブモードが設定されている。
【0082】
また、設定データ105Bには出力切替部163が座標を出力する出力先が設定されている。例えば、上記のPCインタラクティブモードではPC13に対して座標を出力する必要があり、PJインタラクティブモードでは画像処理ユニット110に座標を出力する必要がある。設定データ105Bには、グループ毎、及び動作モード毎に出力先が設定されている。PC系インターフェイスにはPCインタラクティブモードが設定されているので、出力先としてPC13が設定されている。
このように、設定データ105Bによって、外部I/F102が備えるインターフェイスの種類と、実行する動作モード(PJインタラクティブモード、PCインタラクティブモード)と、出力切替部163が座標データを出力する出力先とが対応づけられる。出力制御部101は、設定データ105Bの設定に従って出力切替部163を制御し、座標データの出力先を切り替えさせる。
なお、設定データ105Bにおいて、いずれかのグループに対応づけてPC13と画像処理ユニット110の両方を出力先として設定することも可能である。また、いったん出力切替部163から画像処理ユニット110に座標を出力し、この座標を画像処理ユニット110からPC13に出力する動作(すなわち、画像処理ユニット110を経由してPC13に出力する動作)と、出力切替部163から直接、外部I/F102を介してPC13に座標を出力する動作とを実行可能としてもよい。この場合、設定データ105Bにおいて出力先としてPC13が設定される場合に、さらに、出力切替部163から直接PC13に座標を出力するのか、画像処理ユニット110を経由して出力するのかを指定する情報を設定してもよい。
【0083】
図11は、出力先の設定画面211の例を示す図である。
この図11に示す設定画面211は、座標の出力先を設定する際にスクリーンSCに表示される画面であって、例えば、メニューバー12Bにおける操作や、プロジェクター11の操作パネル41或いはリモコン受光部45により検出された操作に対応して表示される。設定画面211は、制御部103の制御によって、表示制御部107(設定画面表示手段)により表示される。
【0084】
設定画面211には、外部I/F102が備える各インターフェイスの名称が並べて表示され、各インターフェイスの名称に対応づけて、PCインタラクティブモードに設定するか否かの入力ボックス213が配置されている。設定画面211が表示された状態で、ユーザーが指示体12を用いて入力ボックス213を指定する操作を行うと、この操作に応じて、指定された入力ボックス213の選択状態が変化する。入力ボックス213が塗りつぶされている場合、その入力ボックス213に対応するインターフェイスはPCインタラクティブモードに対応づけられる。また、入力ボックス213が白抜きの状態となっている場合、その入力ボックス213に対応するインターフェイスは、PCインタラクティブモード以外、すなわちPJインタラクティブモードに対応づけられる。図11の例では、Comp1、USB、LANの各インターフェイスがPCインタラクティブモードに対応づけられる。このように、設定画面211をスクリーンSCに表示させることで、座標の出力先を容易に設定できる。また、設定画面211における設定の操作そのものが、指示体12を用いてポインター12Aを移動させるGUIによって実現される。ユーザーの操作によって、設定画面211による設定の終了が指示されると、この設定画面211における設定を反映するように、制御部103(設定手段)は設定データ105Bを生成または更新する。
【0085】
なお、図11の例では設定画面211にプロジェクター11が対応する各インターフェイスの名称の全てが表示されているが、PCインタラクティブモードに対応付けることができないインターフェイスの名称を、設定画面211の表示開始時から設定画面211に表示させなくても良い。この場合、PCインタラクティブモードに対応付けることができるインターフェイスの名称のみが、設定画面に211に表示される。
また、図11に例示する設定画面211の構成では、PCインタラクティブモードに対応付けるインターフェイスの名称を2以上選択できるようになっているが、選択可能なインターフェイスの名称を1つだけに制限しても良い。この場合、選択された1つのインターフェイスのみがPCインタラクティブモードに対応付けられ、それ以外のインターフェイスはPCインタラクティブモードに対応付けられない。
【0086】
図12は、図9のステップS17に示した座標出力処理を詳細に示すフローチャートである。
出力制御部101は、プロジェクター11が多画面表示中であるか否かを判別する(ステップS21)。多画面表示は、上述のように、表示制御部107が、スクリーンSCの実投射領域11Bに複数の画像を同時に表示する機能である。多画面表示中は、実投射領域11Bが複数の領域に分割され、或いは実投射領域11Bに複数の領域が設けられて、これら各領域に、外部I/F102に入力される画像が表示される。
【0087】
多画面表示中でない場合(ステップS21;No)、出力制御部101は、表示中の画像を供給している画像ソースの種類を判別する(ステップS22)。ここで、出力制御部101は、判別した画像ソースの種類に基づいて図10に例示した設定データ105Bを参照し、設定データ105Bの設定に従って、座標の出力先がPC13であるか画像処理ユニット110であるかを判別する(ステップS23)。
【0088】
続いて、出力制御部101は、制御部103によりAVミュートの実行中か否かを判別し(ステップS24)、ミュート中でなければ(ステップS24;No)、ステップS23で判別した出力先への出力実行を決定し(ステップS25)、出力切替部163から、座標変換部160が変換した座標のデータを出力する(ステップS26)。また、ミュート実行中の場合は(ステップS24;Yes)、出力制御部101は座標の出力を行わずに本処理を終了する。ここで、出力制御部101は、AVミュート中に座標変換部160から出力切替部163への座標の出力を停止させてもよいし、出力切替部163から画像処理ユニット110または外部I/F102への座標の出力を停止させても良い。
【0089】
一方、実投射領域11Bに複数の入力画像を表示する多画面表示中であった場合(ステップS21;Yes)、出力制御部101は、最新の指示位置の座標に基づいて指示位置の座標を取得し(ステップS31)、指示体12の指示位置の座標が、実投射領域11Bに配置された複数の表示領域のうち、指示位置がどの表示領域に属しているかを特定する(ステップS32)。
【0090】
次いで、出力制御部101は、特定した領域の入力画像を供給している画像ソースを特定して、この画像ソースのグループを判別する(ステップS33)。出力制御部101は、ステップS33で判別した画像ソースのグループをもとに設定データ105Bを参照し、設定された出力先を判別する(ステップS34)。出力制御部101は、AVミュートの実行中か否かを判別し(ステップS35)、ミュート実行中でなければ(ステップS35;No)、ステップS25で判別した出力先への出力実行を決定し(ステップS36)、出力切替部163によって、座標変換部160が変換した座標データを出力する(ステップS37)。また、ミュート実行中の場合は(ステップS35;Yes)、出力制御部101は座標の出力を行わずに本処理を終了する。
このような処理によって、プロジェクター11が多画面表示を行っている場合に、指示体12の指示位置が含まれる領域に応じて、座標データの出力先を切り替えることができる。例えば、図8(B)に示すような多画面表示を行っているときに、表示画像202の画像ソースがPCインタラクティブモードに対応付けられ、表示画像203の画像ソースがPJインタラクティブモードに対応付けられている場合を考える。この場合は、表示画像202に対応する領域から表示画像203に対応する領域に指示体12が移動した場合は、指示体12の移動に応じて座標データの出力先を切り替えることもできる。
【0091】
なお、多画面表示においては、PC系のインターフェイスに接続された複数の画像ソースから入力される入力画像を表示することがあり、この場合に、全ての画像ソースについて設定データ105Bを参照し、設定データ105Bに設定された出力先に座標を出力することも可能である。ここで、複数のPC13から供給される画像を同時に表示している場合、全てのPC13に座標を出力してもよいし、予め設定された一部のPC13にのみ座標を出力してもよい。さらに、PC13にプロジェクター11を制御する表示制御プログラム13A(図3)がインストールされているか否かを検出し、表示制御プログラム13AがインストールされているPC13にのみ座標を出力してもよい。表示制御プログラム13Aは、指示体12の指示位置を取得して、この指示位置の軌跡の画像や指示位置に対応するポインター12A(図1)の画像を生成して、この画像を入力画像に合成して出力する機能を有する。このため、当該機能を実行可能なPC13にのみ座標を出力することは合理的である。また、座標データとともに、各PC13の出力画像が表示されている領域を示す情報を、PC13に出力してもよい。この場合、指示体12の指示位置に重ならない領域に入力画像が表示されているPC13に対して、誤った座標データを出力してしまうことがない。
【0092】
本実施形態では、指示体12の指示位置が含まれる領域に対応する画像ソースに対して座標を出力する構成としたが、全ての領域の画像がPC13から入力された画像であって、PCインタラクティブモードで軌跡を描画する場合には、全てのPC13に対して座標を出力してもよい。この場合、各PCが、自己が出力する画像に指示位置の軌跡を描画することにより、全体として一続きの軌跡を描画できる。
また、一部また全ての領域の画像がPC13以外の画像ソースから入力された画像であっても、PJインタラクティブモードで軌跡を描画する場合には、プロジェクター11の機能により軌跡を描画できる。この場合、出力制御部101は、設定データ105Bの設定に従って、或いは設定データ105Bの設定によらず、出力切替部163から画像処理ユニット110に対して座標を出力すれば、複数の領域に跨る一続きの軌跡を描画できる。
【0093】
さらに、多画面表示中に、出力制御部101が、実投射領域11Bに表示中の各画像の供給元の画像ソースを特定し、全ての画像ソースがPC13である場合、或いは、全ての画像ソースが、表示制御プログラム13AがインストールされたPC13である場合に限り、座標を全てのPC13に出力し、それ以外の場合は、設定データ105Bの設定によらず出力先を画像処理ユニット110に決定してもよい。この場合、画像ソースがどのような機器であっても、複数の表示領域に跨る軌跡を必ず描画できるという利点がある。
【0094】
また、図12に示した動作においてはAVミュート中は座標変換部160から出力切替部163への座標の出力、或いは出力切替部163からの座標の出力を行わないものとして説明したが、出力制御部101は、例えば以下のような場合にも座標の出力を停止して良い。
・画像ソースの切替を行っている間。
・プロジェクター11が表示する画像が一時停止している間。
・位置検出ユニット150が指示位置を検出可能な領域外に指示体12が移動した場合。即ち、指示体12の位置が検出できない、或いは、検出された指示体12の指示位置の座標が、検出可能な範囲として設定された値から外れている場合。
この場合、座標の出力は行わないが、位置検出ユニット150が指示体12の指示位置を検出し、座標変換部160が座標を変換する処理は行ってもよい。
【0095】
図13は、スクリーンSCにおける指示体12による操作の例を示す図であり、(A)は通常表示における操作前の状態を示し、(B)は指示位置の軌跡の例を示す図である。また、図13(C)は多画面表示における操作前の状態を示し、(D)は多画面表示時の指示位置の軌跡の例を示す。図13〜図15ではペン型の指示体12を用いた例を示す。
図13(A)に示す状態で指示体12が操作され、図13(B)に示す状態となった場合、指示体12は、軌跡12Dを描いて移動する。軌跡12Dは、PCインタラクティブモードにおいてはPC13によって描画されて入力画像に合成され、PJインタラクティブモードにおいては画像処理ユニット110の機能により描画される。
この図13〜図15を参照した説明においてはスクリーンSC上に投射された実投射領域11Bで指示体12が操作される場合について説明する。プロジェクター11の設置状態によっては、投射可能領域11Aの全体に投射する場合、すなわち投射可能領域11Aと実投射領域11Bとが一致する(等しい)場合があり、このような場合も本発明に含まれる。
【0096】
多画面表示の実行中に指示体12が操作され、図13(C)に示す状態から図13(D)に示す状態となった場合、指示体12の軌跡12Dは、実投射領域11Bに設けられた複数の領域18A、18B、18C、18Dに跨る。この場合、各領域18A、18B、18C、18Dには、異なる画像ソースの入力画像が表示されるので、一つのPC13が軌跡12Dを描画することはできない。このような場合、PJインタラクティブモードでは座標変換部160が変換した座標が画像処理ユニット110に出力されるので、領域18A、18B、18C、18Dのうち複数の領域に跨る軌跡12Dを画像処理ユニット110が一括して描画できる。これにより、複数の画像ソースの入力画像に跨るような軌跡12Dを、スクリーンSCに表示できる。
【0097】
また、多画面表示の実行中に、プロジェクター11から各領域18A、18B、18C、18Dに表示中の画像を供給している全てのPC13に対して座標を出力し、各PC13が自己が供給する画像に軌跡12Dを描画することにより、複数の領域に跨る軌跡12Dを描画できる。
図14は、複数の領域に跨る操作に応じてズーム機能を実行する例を示す説明図であり、(A)はズームの中心が指定された状態を示し、(B)は指定された中心に従ってズーム処理を行った状態を示す。
図14(A)では実投射領域11Bに設けられた各領域18A、18B、18C、18Dに異なる画像ソースからの入力画像が表示され、ペン型の指示体12により、ズームの中心として、全領域18A、18B、18C、18Dに跨る円が指定されている。ズームの中心を指定する機能の実行時、制御部103は、指示体12の指示位置の軌跡を経時的に取得し、軌跡12Dが一定の形状となった時点で、ズームの中心を決定する。
制御部103は、軌跡12Dにより決定される円を中心として、各画像ソースの入力画像をそれぞれ拡大する処理を、画像処理部113により実行させる。画像処理部113は、各入力画像のフレームを指定された中心に基づいて拡大し、拡大した各フレームから、各領域18A、18B、18C、18Dに表示される範囲を切り出して、実投射領域11Bに相当する一つのフレームを生成する。これにより、実投射領域11Bには、図14(B)に示す画像が表示される。
【0098】
図14(B)では軌跡12Dの円を中心に所定の拡大率で入力画像が拡大表示されている。この拡大表示の処理は、画像ソースに対して座標を出力することなくプロジェクター11が実行可能であるため、画像ソースの種類を問わず実行できる。また、同様の処理によって各領域18A、18B、18C、18Dに表示中の入力画像を縮小表示することも可能である。
【0099】
図15は、位置検出部による位置検出の例を示す説明図である。
多画面表示を行う場合には、実投射領域11Bの全てを各領域(図15では領域18G、18H)が占めることができず、入力画像を表示する領域18G、18Hの周囲に、黒色の非表示領域18Fが発生することがある。
この場合、図7(B)を参照して説明したように、座標変換部160は、非表示領域18Fが発生している状態で、指示体12の指示位置が非表示領域18Fに重なった場合、指示位置の座標を出力しないようにしてもよいし、画像が表示される領域18G、18H内において指示位置に最も近い位置の座標を出力してもよい。
【0100】
また、図15に示した例に限らず、多画面表示の実行中は、出力切替部163が座標を出力する出力先を、常に画像処理ユニット110とすることも可能である。この場合、実投射領域11Bに一つの画像ソースから入力された一つの入力画像を表示する通常の表示状態から、多画面表示機能を開始した場合に、出力制御部101が出力切替部163の出力先を画像処理ユニット110に切り替えさせ、多画面表示機能の終了時にはこれと逆の制御を行う。この場合、複数の画像ソースから入力された入力画像を同時に実投射領域11Bに表示する場合に、この実投射領域11Bにおける指示位置に基づいてポインター12Aやメニューバー12Bを表示する機能、或いは軌跡12Dを描画する機能をプロジェクター11が実行するので、各入力画像の画像ソースを判別する処理等を省略でき、処理負荷を軽減して、速やかに軌跡12Dの描画等を行えるという利点がある。
【0101】
以上のように、本発明を適用した実施形態に係る表示システム10において、プロジェクター11は、外部I/F102を介して画像ソースから入力される入力画像を投射部30によってスクリーンSCに表示し、スクリーンSCにおいて指示体12が指示した指示位置を検出する位置検出ユニット150と、位置検出ユニット150により検出された指示位置を示す座標を生成する座標変換部160と、座標変換部160により生成された座標に基づいて処理を実行する処理手段としての画像処理ユニット110と、座標変換部160により生成された座標の、画像処理ユニット110に対する出力を制御する出力制御部101とを備え、指示体12の指示位置を示す入力された画像における座標を生成し、この座標の出力を制御できる。これにより、例えば指示位置に基づく処理内容や処理を行うPC13等の外部の装置および内蔵する画像処理ユニット110に対して適切に座標を出力できる。
【0102】
また、プロジェクター11が備える外部I/F102は、複数の画像ソースから入力画像を入力可能であり、プロジェクター11は、外部I/F102に入力される入力画像のいずれか一以上の入力画像を投射部30により表示させる画像処理ユニット110と、表示中の入力画像を入力する画像ソースの種類を判別する出力制御部101とを備え、出力制御部101は、判別した画像ソースの種類に基づいて、PC13及び画像処理ユニット110に対する座標変換部160により生成された座標の出力を制御するので、表示中の画像を供給した画像ソースの種類に基づいて、座標の出力を制御できる。これにより、複数の画像ソースから入力画像が入力可能な場合に座標を適切な出力先に出力することができる。
【0103】
また、画像処理ユニット110は、制御部103の制御により、外部I/F102に複数の画像ソースから入力される複数の入力画像を、スクリーンSCに設けられた複数の領域のそれぞれに表示させる多画面表示を行い、多画面表示時には、出力制御部101は、位置検出ユニット150により検出された指示位置がどの領域に属するかを判定し、指示位置が属する領域に表示されている入力画像の画像ソースの種類に応じて、PC13及び画像処理ユニット110に対する座標変換部160により生成された座標の出力を制御するので、多画面表示中に、指示位置に重なる入力画像の画像ソースに対応して、座標の出力を制御できる。このため、複数のPC13または画像処理ユニット110から座標の出力先を的確に選択するなど、位置を指示する操作に適切に対応して座標を出力できる。
【0104】
また、出力制御部101は、位置検出ユニット150により検出された指示位置が複数の領域にまたがる軌跡を描く場合には、指示位置の座標の出力を行わないので、各画像ソースが統合されない動作を行わないようにできる。これにより、複数の画像ソースからの入力画像にまたがる操作に適切に対応するとともに、複数の装置が統合されていない動作を行うことによる画像の乱れ等を防止できる。
【0105】
さらに、出力制御部101は、位置検出ユニット150によって検出された指示位置が、スクリーンSCに表示された複数の入力画像のうち特定の入力画像が表示された領域に含まれない場合や、指示位置が入力画像の表示領域から外に出た場合に、指示位置の座標の出力を停止し、或いは、指示位置の座標を出力する出力先を変更するので、例えば予め設定された画像ソースからの入力画像、設定された位置に表示されている入力画像、或いは、何らかの条件を満たす入力画像など、特定の入力画像が表示された領域に、検出された指示位置が含まれない場合に、座標の出力が停止され、あるいは座標の出力先が変更される。これにより、画像ソースである画像供給装置が、処理対象である画像が表示されている領域に含まれない無関係な座標に基づいて想定外の動作を行わないよう制御を行える。これにより、複数の画像ソースからの入力画像にまたがる操作に適切に対応するとともに、複数の画像供給装置が統合されていない動作を行うことによる画像の乱れ等を防止できる。
【0106】
また、出力制御部101は、制御部103のミュート機能により投射部30による投射が停止されている間は、座標変換部160により生成された座標の出力を停止して、表示停止中の指示位置に基づく処理を停止させることができるので、表示を再開した際に意図しない画像が表示される等の事態を防止できる。
【0107】
さらに、PJインタラクティブモードにおけるプロジェクター11、及び、PCインタラクティブモードにおけるPC13は、指示位置の座標に基づいて、スクリーンSCに表示される画像に重ねて付加画像としての軌跡12Dを描画する描画処理、スクリーンSCに表示されたポインター12Aを移動させる処理、及び、スクリーンSCに表示されたメニューバー12Bにおいて指示位置に対応するボタンに設定された機能を実行するGUI処理等を実行するので、指示体12を用いた操作性の高い操作環境を実現できる。また、このようなプロジェクター11及びPC13の機能に対応して、座標の出力を適切に制御するので、描画、ポインターの表示あるいはGUI操作の実行時の表示の混乱等を回避できる。
【0108】
なお、上記実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、上記実施形態においては、PC13、または、プロジェクター11が備える画像処理ユニット110に対して座標変換部160が変換した変換後の座標を、出力切替部163が選択した出力先に出力し、PC13または画像処理ユニット110が、ポインター12A、メニューバー12B等を描画する構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、プロジェクター11内に、ポインター12Aやメニューバー12B等、画像データに重畳して描画する画像を生成する画像処理ユニット120を設け、出力切替部163が画像処理ユニット120に座標を出力可能な構成としてもよい。
【0109】
図16に示すプロジェクター51は、実施形態のプロジェクター11と同様の各機能部を有するとともに、指示体12の指示位置に対応してポインター12A、メニューバー12B等を描画する画像処理ユニット120を備えている。画像処理ユニット120は、座標変換部160から入力された座標に従って、画像データに重畳する画像を生成する画像処理部122と、画像処理部122が画像を生成する際にデータを展開するフレームメモリー124とを備えている。
座標変換部160が、変換後の座標データを画像処理ユニット120に出力すると、画像処理ユニット120は、画像処理部122によってポインター12Aやメニューバー12Bの画像を描画し、表示制御部107が展開している画像と同じ解像度の画像を生成して、画像処理部113に出力する。ここで画像処理部122が出力する画像は、ポインター12Aまたはメニューバー12B等の画像を含む。画像処理部113は、画像処理部122から入力された画像を、フレームメモリー115に展開した画像と合成する。これにより、画像処理ユニット110は、速やかにポインター12Aやメニューバー12Bを入力画像に重畳して表示できる。
【0110】
この構成では、例えば、設定データ105B(図10)の設定により、座標の出力先として画像処理ユニットが設定されている場合に、画像処理ユニット110及び画像処理ユニット120の両方に座標を出力するよう設定してもよい。また、座標変換部160から画像処理ユニット110に座標を出力し、この座標が画像処理ユニット110から画像処理ユニット120に出力されるように、設定データ105Bに設定してもよい。或いは、指示体12の指示位置に基づくポインター12A、メニューバー12B、描画図形12C及び軌跡12Dの描画を画像処理ユニット120のみが行う構成とした場合に、座標変換部160から画像処理ユニット120のみに座標を出力するよう設定データ105Bに設定してもよい。また、設定データ105Bに設定された出力先が「画像処理ユニット」となっている場合に、出力制御部101が、画像処理ユニット120のみに座標を出力する処理を行ってもよい。さらに、多画面表示機能の実行中は、出力切替部163の座標の出力先を、画像処理ユニット110、120の両方または画像処理ユニット120にすることも可能である。
【0111】
また、上記実施形態の構成では、座標算出部159により算出された指示位置の座標が、画像データが表示された領域に含まれない場合に、座標変換部160が変換後の座標を出力しない構成を例に挙げて説明したが、本発明はこれに限定されない。例えば、プロジェクター11が外部から入力される信号の種別を判別しているとき、プロジェクター11が投射している画像を一時停止しているとき、又はプロジェクター11が画像の投射を中断しているとき等に、座標変換部160が変換後の座標を出力しない構成としても良い。なお、プロジェクター11は、プロジェクター11の前面に設けられたシャッター等の可動な遮蔽部(不図示)によって投射光学系33が遮られたときや、操作パネル41やリモコン等の操作部を介して画像の投射を中断する旨の指示を受けた場合等に、制御部103の制御により、画像の投射を中断することができる。
【0112】
また、上記実施形態の構成において、位置検出ユニット150が有する撮像部153及び撮影制御部155を、プロジェクター11に外部接続されたデジタルカメラにより代替することも可能である。この場合のデジタルカメラは、制御部103の制御により撮影を実行して撮影画像データを位置検出処理部157に出力するものであればよい。また、このデジタルカメラとプロジェクター11とを接続するインターフェイスとしてはUSB等の汎用インターフェイスを利用できるので、容易に実現可能である。
【0113】
さらに、上記実施形態では、PC13とプロジェクター11とがケーブル等により有線接続される構成を例に挙げて説明したが、プロジェクター11とPC13との接続形態は任意である。例えば、プロジェクター11とPC13とが無線LAN等の近距離無線通信により相互に接続され、画像データや座標データを無線通信回線を介して送受信する構成としてもよい。
また、上記実施形態の構成において、指示体12は、棒状のものやペン型のものに限定されず、例えばユーザーの指を指示体12として、その指示位置を検出する構成とすることも可能である。
さらに、上記実施形態の構成では、位置検出ユニット150が撮影画像データに基づいて指示体12による指示位置を検出する構成を例に挙げて説明したが、本発明はこれに限定されず、例えば、表示面としてのスクリーンSC或いは他の表示方式における表示画面に、感圧式や静電容量式のタッチパネルを設け、このタッチパネルによって指示体12としてのユーザーの指や棒体等の接触を検出する構成としてもよい。
【0114】
また、上記実施形態では、光源が発した光を変調する手段として、光変調装置32がRGBの各色に対応した3枚の透過型または反射型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、1枚の液晶パネルとカラーホイールを組み合わせた方式、3枚のデジタルミラーデバイス(DMD)を用いた方式、1枚のデジタルミラーデバイスとカラーホイールを組み合わせたDMD方式等により構成してもよい。ここで、表示部として1枚のみの液晶パネルまたはDMDを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びDMD以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。
【0115】
また、本発明の表示装置は、スクリーンSCに画像を投射するプロジェクターに限定されず、液晶表示パネルに画像/画像を表示する液晶モニターまたは液晶テレビ、或いは、PDP(プラズマディスプレイパネル)に画像/画像を表示するモニター装置またはテレビ受像機、OLED(Organic light-emitting diode)、OEL(Organic Electro-Luminescence)等と呼ばれる有機EL表示パネルに画像/画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置など、各種の表示装置も本発明の画像表示装置に含まれる。この場合、液晶表示パネル、プラズマディスプレイパネル、有機EL表示パネルが表示手段に相当し、その表示画面が表示面に相当する。より詳細には、画像を表示可能な領域全体が投射可能領域11Aに相当し、常に投射可能領域11Aの全体に画面を表示する場合には、投射可能領域11Aと実投射領域11Bとが等しい場合に相当する。
【0116】
また、図2、図16に示したプロジェクター11、51の各機能部、及び、図3に示したPC13の各機能部は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。その他、プロジェクター11及びPC13を含む表示システム10の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、上記実施形態において記憶部105が記憶していた制御プログラム105Aを、プロジェクター11が通信ネットワークを介して接続された他の装置からダウンロードして実行しても良いし、可搬型の記録媒体に制御プログラム105Aを記録して、この記録媒体から上記各プログラムを読み取って実行する構成としても良い。PC13が記憶していた表示制御プログラム13Aについても同様に、PC13が他の装置から表示制御プログラム13Aをダウンロードして実行しても良いし、可搬型の記録媒体に記録された表示制御プログラム13AをPC13が読み取って実行する構成としても良い。
さらに、PJインタラクティブモードとPCインタラクティブモードとの切り替えは、操作パネル41やリモコン等の操作を契機として実行されてもよいが、例えばメニューバー12BにPJインタラクティブモードとPCインタラクティブモードとを切り替えるためのボタンを設けて、このボタンをユーザーが指示体12により操作し、この操作をプロジェクター11が検出したときに、これを契機として動作モードを切り替えても良い。この場合に、PJインタラクティブモードからPCインタラクティブモードモードへ、或いはその逆の動作モードの切り替えに連動して、座標情報の出力先を切り替えても良い。
【符号の説明】
【0117】
3…投射ユニット(表示手段)、10…表示システム、11、51…プロジェクター(表示装置)、11A…投射領域、11B…実投射領域、11C…非表示領域、12…指示体、13…PC(処理手段)、13A…表示制御プログラム、18A〜18D、18E、18G、18H…領域、18F…非表示領域、30…投射部(投射手段)、31…照明光学系(光源)、32…光変調装置(光変調手段)、101…出力制御部(出力制御手段、ソース判別手段)、102…外部I/F(画像入力手段)、103…制御部(表示停止制御手段、設定手段)、105A…制御プログラム、107…表示制御部(設定画面表示手段)、110、120…画像処理ユニット(処理手段、表示制御手段)、150…位置検出ユニット(位置検出手段)、160…座標変換部(位置情報生成手段)、SC…スクリーン(表示面)。
【技術分野】
【0001】
本発明は、表示面に画像を表示する表示装置、表示装置の制御方法、及び、プログラムに関する。
【背景技術】
【0002】
従来、プロジェクター等の表示装置が表示する画像の特定の位置が指示された場合に、指示位置を検出し、検出した位置に対応するようにポインター等を表示する装置が知られている(例えば、特許文献1参照)。この種の装置は、指示された位置を検出すると、例えば指示された位置に対応してポインターを表示したり、指示位置の軌跡を示す画像を描画し、表示したりする。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第4272904号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一般に、指示位置に基づいてポインターの表示や軌跡を描画する処理は、表示装置に画像を供給するパーソナルコンピューター等の装置が実行するが、表示装置自身が上記のような処理を行うことも不可能ではない。このため、例えば、表示装置に接続された画像供給装置と、表示装置自身との両方とも指示位置に対応する動作が可能な構成が考えられるし、表示装置に接続された装置がポインターの表示や軌跡を描画する機能を持たない構成も考えられる。ところが、このように様々な構成に対応して指示位置の情報を適切に提供する手法は知られていない。
本発明は、上述した事情に鑑みてなされたものであり、画像の表示中に指示された指示位置に基づく処理を行う装置に対し、指示位置を示す情報を適切に提供できるようにすることを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するため、本発明は、画像ソースから入力される入力画像を表示面に表示する表示手段と、前記表示面における指示位置を検出する位置検出手段と、前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段とを備えることを特徴とする。
本発明によれば、表示面に対して位置の指示がなされた場合に、この指示位置を示す位置情報を生成し、表示装置が備える処理手段に対する位置情報の出力を制御する。これにより、例えば指示位置に基づく処理内容や処理を行う装置に対応して、適切に位置情報を出力でき、或いは、複数の処理手段を有する場合に、どの処理手段に位置情報を出力するかを制御して、適切な出力先に位置情報を出力できる。
【0006】
また、本発明は、上記表示装置において、外部の装置に接続可能に構成され、前記出力制御手段は、前記位置情報生成手段により生成された位置情報の、前記処理手段又は前記外部の装置に対する出力を制御することを特徴とする。
本発明によれば、外部の装置に対しても、表示面に対する指示位置を示す位置情報の出力を制御できるので、外部の装置から入力される情報に基づいて動作する場合や、外部の装置を含む複数の出力先がある場合などに、適切な出力先に位置情報を出力できる。
【0007】
また、本発明は、上記表示装置において、前記外部の装置を含む複数の前記画像ソースから入力画像を入力可能な画像入力手段と、前記画像入力手段に入力される入力画像のいずれか一以上の入力画像を前記表示手段により表示させる表示制御手段と、前記表示制御手段により表示中の入力画像を入力する前記画像ソースの種類を判別するソース判別手段とを備え、前記出力制御手段は、前記ソース判別手段により判別された前記画像ソースの種類に基づいて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする。
本発明によれば、表示中の画像を入力した画像ソースの種類に基づいて位置情報の出力を制御するので、複数の画像ソースから入力画像が入力可能な場合に位置情報を適切な出力先に出力することができる。
【0008】
ここで、前記ソース判別手段が判別する前記画像ソースの種類は、前記画像ソースが接続されるインターフェイスの種類としてもよいし、前記画像ソースから入力される前記入力画像の種類としてもよいし、前記画像ソースとなる前記外部の装置の種類としてもよい。すなわち、前記ソース判別手段は、前記画像入力手段が、前記画像ソースとなる前記外部の装置に接続される複数種類のインターフェイスを有する場合に、インターフェイスの種類に基づいて前記画像ソースの種類を判別してもよいし、前記画像入力手段に接続された外部の装置から入力される入力画像の信号形式またはデータフォーマットに基づいて前記画像ソースの種類を判別してもよく、前記画像入力手段に接続された前記外部の装置の種類自体を識別することにより前記画像ソースの種類を判別してもよい。
また、前記表示装置が、画像データを記憶する記憶手段等の前記画像ソースを内蔵し、この内蔵された前記画像ソースから供給される画像を前記表示手段により表示してもよい。
このため、画像ソースのインターフェイスの種類、入力画像の種類、或いは画像ソースとなっている装置の種類に基づいて、位置情報の出力先を的確に判定し、或いは出力先を適切に選択して、位置情報を出力できる。
【0009】
また、本発明は、上記表示装置において、前記表示制御手段は、前記表示手段によって、前記画像入力手段に複数の前記画像ソースから入力される複数の前記入力画像を、前記表示面に設けられた複数の領域のそれぞれに表示させ、前記出力制御手段は、前記位置検出手段により検出された指示位置がどの前記領域に属するかを判定し、指示位置が属する前記領域に表示されている前記入力画像の前記画像ソースの種類に応じて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする。
本発明によれば、複数の入力画像を表示面に同時に表示し、指示位置を検出した場合に、指示位置に重なる入力画像の画像ソースに対応して、位置情報の出力を制御できる。このため、複数の画像ソースから位置情報の出力先を的確に選択するなど、位置を指示する操作に適切に対応して位置情報を出力できる。
【0010】
また、本発明は、上記表示装置において、前記出力制御手段は、前記位置検出手段により検出された指示位置が、前記表示面に表示された複数の前記入力画像のうち特定の前記入力画像が表示された領域に含まれない場合に、前記位置情報生成手段により生成された前記位置情報の出力を停止し、或いは、前記位置情報を出力する出力先を変更することを特徴とする。
本発明によれば、複数の画像ソースからの入力画像のうち、例えば予め設定された画像ソースからの入力画像、設定された位置に表示されている入力画像、或いは、何らかの条件を満たす入力画像など、特定の入力画像が表示された領域に、指示位置が含まれない場合に、位置情報の出力が停止あるいは出力先の画像ソースが変更されるので、画像ソースの装置が、対応していない座標に基づいて想定外の動作を行わないよう制御を行える。これにより、複数の画像ソースからの入力画像にまたがる操作に適切に対応するとともに、複数の装置が統合されていない動作を行うことによる画像の乱れ等を防止できる。
ここで、出力制御手段は、特定の前記入力画像が表示された領域で検出された指示位置が、その後に当該領域の外に移動したことを判別して、位置情報の出力を停止あるいは出力先の画像ソースを変更してもよい。
【0011】
また、本発明は、上記表示装置において、前記表示手段による表示を停止させる表示停止制御手段をさらに備え、前記出力制御手段は、前記表示停止制御手段により前記表示手段による表示が停止されている間は、前記位置情報生成手段により生成された位置情報の出力を停止することを特徴とする。
本発明によれば、表示を停止している間の位置情報に基づく処理を停止させることができるので、表示を再開した際に意図しない画像が表示される等の事態を防止できる。
【0012】
また、本発明は、上記表示装置において、前記処理手段は、前記位置情報生成手段により生成された位置情報をもとに、前記表示面に表示される画像の少なくとも一部を描画する描画処理、前記表示面に前記位置情報に対応するポインターを表示する処理、及び、当該処理手段の機能に対応づけられた操作画像が前記表示面に表示された状態で、前記位置情報に基づいて選択される前記操作画像に対応する動作を実行するGUI処理の少なくともいずれかを実行することを特徴とする。
本発明によれば、表示装置が、指示位置に対応した描画、指示位置にポインターを表示する処理、及び指示位置に対応したGUI操作のいずれかを実行でき、指示位置に基づいて操作性の高い操作環境を実現できる。また、この表示装置の機能に対する位置情報の出力を適切に制御するので、描画、ポインターの表示あるいはGUI操作における表示の混乱等を回避できる。
【0013】
また、本発明は、上記表示装置において、前記位置情報生成手段により生成された位置情報の出力先を設定する設定画面を前記表示手段により表示させる設定画面表示手段と、前記設定画面表示手段により前記設定画面が表示された状態で、前記位置検出手段により検出された指示位置に基づいて出力先の設定を行う設定手段と、を備え、前記出力制御手段は、前記設定手段により設定された出力先に、前記位置情報生成手段が生成した前記位置情報を出力することを特徴とする。
本発明によれば、位置情報の出力先を、位置検出手段により指示位置が検出される操作によって容易に設定することができる。
【0014】
また、本発明は、上記表示装置において、前記表示手段として、光源と、前記光源が発した光を前記入力画像に基づいて変調する光変調手段と、前記光変調手段により変調された光を前記表示面に投射する投射手段とを備えるプロジェクターであることを特徴とする。
本発明によれば、プロジェクターが投射した画像に対する位置を指示する操作に対応した適切な動作を実行できる。
【0015】
また、上記課題を解決するため、本発明は、画像ソースから入力される入力画像を表示面に表示する表示装置を制御する表示装置の制御方法であって、前記表示面における指示位置を検出し、検出した指示位置を示す位置情報を生成し、前記位置情報に基づいて処理を実行する処理手段に対する前記位置情報の出力を制御することを特徴とする。
本発明の制御方法を実行することにより、表示面に位置の指示がなされた場合に、この指示位置を示す位置情報を生成し、表示装置が備える処理手段に対する位置情報の出力を制御できる。これにより、例えば指示位置に基づく処理内容や処理を行う装置に対応して、適切に位置情報を出力でき、或いは、複数の処理手段を有する場合に、どの処理手段に位置情報を出力するかを制御して、適切な出力先に位置情報を出力できる。
【0016】
また、上記課題を解決するため、本発明は、画像ソースから入力される入力画像を表示面に表示する表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記表示面における指示位置を検出する位置検出手段と、前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段と、して機能させるためのプログラムである。
本発明のプログラムを実行することにより、表示装置を制御するコンピューターは、表示面に位置の指示がなされた場合に、この指示位置を示す位置情報を生成し、表示装置が備える処理手段に対する位置情報の出力を制御できる。これにより、例えば指示位置に基づく処理内容や処理を行う装置に対応して、適切に位置情報を出力でき、或いは、複数の処理手段を有する場合に、どの処理手段に位置情報を出力するかを制御して、適切な出力先に位置情報を出力できる。
また、上記プログラムを、コンピューターが読み取り可能に記録した記録媒体として実現することも可能である。
【発明の効果】
【0017】
本発明によれば、表示面における指示位置を示す位置情報を適切に出力できる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施形態に係る表示システムの構成を示す図である。
【図2】プロジェクターの機能的構成を示すブロック図である。
【図3】PCの機能的構成を示すブロック図である。
【図4】スクリーンに画像を投射した例を示す図であり、(A)は指示位置に従ってポインターを投射した状態を示し、(B)は指示位置に従って描画を行った例を示す。
【図5】座標を検出及び変換する処理の様子を示す説明図である。
【図6】座標を検出及び変換する処理の様子を示す説明図である。
【図7】画像の投射状態の変化と座標を変換する処理の様子を示す説明図である。
【図8】画像の投射状態の変化と座標を変換する処理の様子を示す説明図である。
【図9】プロジェクターの動作を示すフローチャートである。
【図10】画像ソースの種類毎に座標の出力の可否を定義する設定データの構成を模式的に示す図である。
【図11】出力先の設定画面の例を示す図である。
【図12】図9のステップS17に示した座標出力処理を詳細に示すフローチャートである。
【図13】スクリーンにおける指示体による操作の例を示す図であり、(A)は通常表示における操作前の状態を示し、(B)は指示位置の軌跡の例を示し、(C)は多画面表示における操作前の状態を示し、(D)は多画面表示時の指示位置の軌跡の例を示す。
【図14】複数の領域に跨る操作に応じてズーム機能を実行する例を示す説明図であり、(A)はズームの中心が指定された状態を示し、(B)は指定された中心に従ってズーム処理を行った状態を示す。
【図15】位置検出部による位置検出の例を示す説明図である。
【図16】変形例としてのプロジェクターの機能的構成を示すブロック図である。
【発明を実施するための形態】
【0019】
以下、図面を参照して本発明を適用した実施形態について説明する。
図1は、実施形態に係るプロジェクター11を用いた表示システム10の構成を示す図である。図中の一部を円内に拡大して示す。
表示装置としてのプロジェクター11には、画像供給装置としてのPC(Personal Computer)13、DVDプレーヤー15、及びビデオレコーダー16が有線接続されている。プロジェクター11にはネットワーク14を介して複数のPC13が接続され、いずれのPC13からもプロジェクター11に画像データを供給可能である。ネットワーク14はLANケーブル等の有線通信回線または無線通信回線により構成され、ネットワーク14とプロジェクター11とは有線または無線接続され、このネットワーク14を介してプロジェクター11と各PC13との間、及び、PC13間で各種データを送受信可能である。
図1に例示する構成では、プロジェクター11は、一つのPC13に対し、アナログ映像信号を伝送するRGBケーブル61、及び、デジタルデータを伝送するUSBケーブル62により接続されている。このPC13は、プロジェクター11にRGBケーブル61を介してアナログ映像信号を出力できる。また、プロジェクター11は、USBケーブル62を介して、PC13との間で後述する座標データを含む各種制御データ等を送受信する。なお、PC13とプロジェクター11とをDVIケーブル等を介して接続し、デジタル画像データを伝送する構成とすることも勿論可能である。
プロジェクター11は、PC13、DVDプレーヤー15及びビデオレコーダー16から入力された画像データに基づいて、投射面(表示面)としてのスクリーンSCに投射する。プロジェクター11は、PC13、DVDプレーヤー15及びビデオレコーダー16から入力された画像データが静止画像であっても動画像であっても投射できる。スクリーンSCは、壁面に固定された平板に限らず、壁面自体をスクリーンSCとして使用することも可能である。ここで、スクリーンSC上で画像が投射される範囲を実投射領域11B(表示可能領域)とする。また、プロジェクター11は通信ケーブル等によりPC13に接続され、PC13との間で制御データ等を送受信する。
【0020】
表示システム10では、プロジェクター11による画像の投射中、ユーザーが指示体12を手に持って、スクリーンSCの実投射領域11Bにおける位置指示操作を実行できる。指示体12は、ペン型や棒形状の操作デバイスであって、スクリーンSCの上の任意の位置を指し示すために用いられる。プロジェクター11は、後述するように指示体12の先端位置を検出する機能を有し、検出した指示位置の座標を示す制御データをPC13に出力する。また、プロジェクター11は、検出した指示位置の座標に基づいて、指示位置に沿って画像を描画する等の処理を行う。
【0021】
図2は、プロジェクター11の機能的構成を示すブロック図である。
プロジェクター11は、大別して、RGBケーブル61またはネットワーク14を介してPC13から入力される入力画像やDVDプレーヤー15及びビデオレコーダー16等から入力される入力画像に基づいて表示用の画像処理を実行する画像処理ユニット110と、画像処理ユニット110の制御に従ってスクリーンSCに画像を投射する投射ユニット3(表示手段)と、スクリーンSC上の指示体12の指示位置を検出する位置検出ユニット150と、位置検出ユニット150が検出した指示位置の座標を、画像データにおける座標に変換する座標変換部160と、座標変換部160が変換した変換後の座標をPC13または画像処理ユニット110に出力する出力切替部163と、出力切替部163が座標を出力する出力先を切り替えさせる出力制御部101と、これらの各部を制御する制御部103と、を備えている。
制御部103は、図示しないCPU、不揮発性メモリー、RAM等により構成され、制御部103に接続された記憶部105に記憶されている制御プログラム105Aを読み出して実行し、プロジェクター11の各部を制御する。また、記憶部105に記憶された制御プログラム105Aを実行することで、制御部103はキャリブレーション実行部103Aとして機能する。キャリブレーション実行部103Aは、後述するキャリブレーションを実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンSC上の領域における座標との対応関係(座標変換パラメーター)を求める。記憶部105は、磁気的、光学的記録装置または半導体記憶素子により構成され、制御プログラム105Aを含む各種プログラム、及び、各種設定値等のデータを記憶する。
【0022】
制御部103には操作パネル41及びリモコン受光部45が接続されている。
操作パネル41は、各種スイッチ及びインジケーターランプを備え、プロジェクター11の外装筐体(図示略)に配置されている。制御部103は、プロジェクター11の動作状態や設定状態に応じて操作パネル41のインジケーターランプを適宜点灯或いは点滅させる。また、操作パネル41のスイッチが操作されると、操作されたスイッチに対応する操作信号を制御部103に出力する。操作パネル41やリモコン等は、プロジェクター11に対する操作をユーザーが入力するための操作部である。なお、プロジェクター11に対する操作を表す操作信号をPC13からプロジェクター11に送信し、この操作信号に基づいてプロジェクター11を制御することもできる。PC13から操作信号を送信する場合は、例えばUSBインターフェイス等を介してプロジェクター11に操作信号を送信することができる。この場合は、PC13も、プロジェクター11に対する操作をユーザーが入力するための操作部として機能する。
また、プロジェクター11は、プロジェクター11の操作者であるユーザーが使用するリモコン(図示略)がボタン操作に対応して送信した赤外線信号を、リモコン受光部45によって受光する。リモコン受光部45は、上記リモコンから受光した赤外線信号を受光素子により受光し、この信号に対応する操作信号を制御部103に出力する。
制御部103は、操作パネル41またはリモコン受光部45から入力される操作信号に基づいて、ユーザーの操作を検出し、この操作に従ってプロジェクター11を制御する。
【0023】
プロジェクター11は、PC13、ネットワーク14、DVDプレーヤー15及びビデオレコーダー16等に接続される外部I/F102を備えている。外部I/F102は、制御データやデジタル画像データ等の各種データ、及び、アナログ映像信号を送受信するインターフェイスであり、複数種類のコネクター及びこれらのコネクターに対応するインターフェイス回路を備えている。本実施形態において、外部I/F102は、コンピューターの映像出力端子に接続されるCompインターフェイス、ビデオ再生装置やDVD再生装置に接続されるS−Videoインターフェイス、Videoインターフェイス、デジタル家電等が接続されるHDMI(登録商標)規格に準拠したHDMIインターフェイス、コンピューターのUSB端子に接続されるUSBインターフェイス、及び、コンピューターを含んで構成されるLANに接続されるLANインターフェイスを有する。
Compインターフェイスは、コンピューターからアナログ映像信号が入力されるVGA端子、デジタル映像信号が入力されるDVI(Digital Visual Interface)等である。このCompインターフェイスにはRGBケーブル61(図1)が接続され、USBインターフェイスにはUSBケーブル62(図1)が接続される。
【0024】
S−Videoインターフェイスは、ビデオ再生装置、DVD再生装置、テレビチューナー装置、CATVのセットトップボックス、ビデオゲーム装置等の画像供給装置から、NTSC、PAL、SECAM等のコンポジット映像信号が入力されるS映像端子を備え、本実施形態ではDVDプレーヤー15が接続される。
Videoインターフェイスは、上記の画像供給装置からコンポジット映像信号が入力されるRCA端子、或いはコンポーネント映像信号が入力されるD端子等を備え、アナログ画像信号が入力され、本実施形態ではビデオレコーダー16が接続されている。
【0025】
USBインターフェイスは図示しないUSB端子と、このUSB端子を介してコンピューターと制御データやデジタル画像データを送受信するUSBコントローラー(図示略)とを備えている。ここで、外部I/F102Gは、PC13などのUSBホストデバイスとなる装置を接続するためのUSB−Bインターフェイスを備えていてもよいし、プロジェクター11に対してUSBスレーブデバイスとして機能するUSBメモリーや書画カメラ等のデバイスを接続するためのUSB−Aインターフェイスを備えていてもよい。また、USB−A、USB−Bの両方のインターフェイスを備えていてもよい。
また、LANインターフェイスは、LANケーブルを接続可能なRJ−45端子等の端子を備え、この端子を介して1または複数のコンピューターを含むLANに接続される。例えばEthernet(登録商標)規格に準拠したネットワークインターフェース回路(図示略)を備えており、LANを構成するコンピューターとの間で制御データや画像データを送受信する。
また、外部I/F102に、VESA(Video Electronics Standards Association)が策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、プロジェクター11は、PC13や、PC13と同等の機能を有する携帯型デバイスが備えるDisplayPortに接続し、デジタル画像データを入力可能となる。
さらに、外部I/F102は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。例えば、外部I/F102に、無線LAN等の無線通信インターフェイスを備え、プロジェクター11をPC13等の各種装置と無線通信回線を介して接続してもよい。
外部I/F102が備える各インターフェイスに接続された各装置(上述した画像供給装置)を、画像ソースと呼び、各画像ソースから入力される画像信号または画像データを入力画像と総称する。このため、入力画像には、アナログ画像信号及びデジタル画像データの両方が含まれる。
【0026】
プロジェクター11は、大きく分けて光学的な画像の形成を行う光学系と画像信号を電気的に処理する画像処理系とからなる。光学系は、照明光学系31(光源)、光変調装置32(光変調手段)、及び投射光学系33から構成される投射部30(投射手段)を備えている。照明光学系31は、キセノンランプ、超高圧水銀ランプ、LED(Light Emitting Diode)等からなる光源を備えている。また、照明光学系31は、光源が発した光を光変調装置32に導くリフレクター及び補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群(図示略)、偏光板、或いは光源が発した光の光量を光変調装置32に至る経路上で低減させる調光素子等を備えたものであってもよい。
光変調装置32は、後述する画像処理系からの信号を受けて、照明光学系31からの光を変調する。本実施形態では、透過型液晶パネルを用いて光変調装置32を構成した場合を例に挙げて説明する。この構成では、光変調装置32は、カラーの投影を行うため、RGBの三原色に対応した3枚の液晶パネルからなる。照明光学系31からの光はRGBの3色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系33に射出される。
【0027】
投射光学系33は、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター等を備えている。
投射ユニット3(表示手段)は、投射部30とともに、表示制御部107の制御に従って投射光学系33が備える各モーターを駆動する投射光学系駆動部121、表示制御部107から出力される画像信号に基づいて光変調装置32を駆動して描画を行う光変調装置駆動部119、及び、制御部103の制御に従って照明光学系31が備える光源を駆動する光源駆動部117を備えている。
【0028】
一方、画像処理系は、プロジェクター11全体を統合的に制御する制御部103の制御に従って画像データを処理する画像処理ユニット110により構成される。画像処理ユニット110は、外部I/F102から入力された入力画像を処理する画像入力部104を備えている。画像入力部104は、例えば、アナログ映像信号をデジタル画像データに変換するA/D変換回路を有し、外部I/F102が備えるアナログ映像端子を介して入力されたアナログ映像信号を画像データに変換して画像処理部113に出力する。また、画像入力部104は、外部I/F102において入力映像が入力されたポートを判別する機能を有する。
【0029】
また、画像処理ユニット110は、制御部103の制御に従って外部I/F102から画像入力部104を介して入力された入力画像のうち少なくとも1以上の入力画像を選択し、選択した入力画像としての画像データに基づいて画像を表示するための処理を画像処理部113に実行させる表示制御部107、表示制御部107の制御に従って入力画像を処理し、投射部30が投射する画像をフレームメモリー115に展開する画像処理部113、表示制御部107から出力される画像信号に基づいて光変調装置32を駆動して描画を行う光変調装置駆動部119を備えている。画像処理ユニット110は処理手段、及び、表示制御手段として機能する。
【0030】
制御部103は、記憶部105に記憶された制御プログラム105Aを読み出して実行することにより、プロジェクター11の各部を制御する。
表示制御部107は、画像入力部104を介して入力される画像データのフォーマット(フレームレート、解像度、圧縮状態)の判別等を行い、光変調装置32に表示画像を表示するために必要な処理を決定し、画像処理部113を制御して当該処理を実行する。画像処理部113は、表示制御部107の制御に従って、画像入力部104を介して入力された画像データをフレームメモリー115に展開し、インターレース/プログレッシブ変換、解像度変換等の各種変換処理を適宜実行し、フレームメモリー115に描画した表示画像を表示するための所定フォーマットの画像信号を生成して、表示制御部107に出力する。なお、プロジェクター11は、入力された画像データの解像度やアスペクト比を変更して表示することもでき、入力された画像データの解像度やアスペクト比を維持したままドットバイドットで表示することも可能である。また、画像処理部113は、表示制御部107の制御に従って、キーストーン補正、カラーモードに対応した色調補正、画像の拡大/縮小処理等の各種の画像処理を実行可能である。表示制御部107は、画像処理部113により処理された画像信号を光変調装置駆動部119に出力し、光変調装置32に表示させる。また、画像処理部113は、表示中の画像データの解像度、アスペクト比、光変調装置32の液晶表示パネルにおける表示サイズ等の情報から、後述する画像位置情報を導出し、求めた画像位置情報を座標変換部160に出力する。
制御部103は、制御プログラム105Aを実行して表示制御部107を制御し、スクリーンSC上に結像した表示画像のキーストーン補正を実行させる。また、制御部103は、操作パネル41またはリモコン受光部45から入力された操作信号に基づいて、表示制御部107を制御して表示画像の拡大/縮小処理を実行させる。
【0031】
外部I/F102に接続された機器から画像入力部104にアナログ画像信号が入力された場合、画像入力部104によってデジタル画像データに変換され、その後はデジタル画像データとして処理される。また、外部I/F102に接続された機器から画像入力部104にデジタル画像データが入力された場合、画像入力部104はデジタル画像データのまま画像処理部113に出力する。このように、画像処理ユニット110は、入力画像がアナログまたはデジタルのいずれであっても、デジタル画像データとして処理を行うので、以下の説明では、アナログ画像信号をA/D変換する過程については省略し、画像処理ユニット110が画像データを処理するものとして説明する。
【0032】
制御部103は、外部I/F102に接続された各画像ソースのうち、いずれか一以上の画像ソースを選択して当該画像ソースの入力画像を画像入力部104に入力する。また、制御部103は、外部I/F102から画像入力部104に入力されている画像ソースを判別する機能を有する。
ここで、制御部103は、外部I/F102において各画像ソースが接続されるインターフェイスの種類毎に選択及び判別を行ってもよいし、画像ソースから入力される入力画像の種類毎に選択及び判別を行ってもよく、コネクター毎に選択及び判別を行ってもよい。さらに、外部I/F102に接続された各装置の種類自体を識別することにより画像ソースを選択及び判別してもよい。例えば、HDMIインターフェイス、或いはLANインターフェイスに接続された機器は、プロジェクター11との間で制御データを送受信するので、この制御データに基づいて各機器(装置)の種類を判別できる。具体的には、PC13、DVDレコーダー、USBメモリー、PDA(Personal Digital Assistant)、携帯電話機、半導体メモリーを備えたメディアプレーヤー等、画像ソースとしての装置を具体的に特定して分類し、この分類により画像ソースの種類を判別してもよい。
【0033】
また、制御部103は、記憶部105に画像データを記憶している場合に、操作パネル41またはリモコン受光部45により検出した操作により、記憶部105に記憶している画像データの再生表示が指示されると、プロジェクター11自身を画像ソースとして選択することもできる。
また、プロジェクター11は、後述するようにスクリーンSC上に複数の入力画像を並べて同時に表示する、いわゆる多画面表示機能を備えている。操作パネル41又はリモコン受光部45により検出された操作あるいは事前の設定により、制御部103は、画像を表示可能な領域(投射可能領域11Aまたは実投射領域11B)を複数の領域に分割し、複数の画像ソース(画像供給装置)から入力された複数の入力画像を並べて表示する多画面表示を行う。多画面表示を行う場合、制御部103は、外部I/F102に接続された複数の画像ソースのうち、多画面表示で同時に表示可能な上限数以内で、画像ソースを選択する。
【0034】
プロジェクター11は、スクリーンSC上で指示体12により指示された指示位置の座標を検出する位置検出ユニット150を有する。位置検出ユニット150(位置検出手段)は、スクリーンSCを撮影する撮像部153、撮像部153を制御する撮影制御部155、及び、撮像部153の撮影画像に基づいて指示体12の指示位置を検出する位置検出処理部157を有する位置検出部151と、この位置検出部151が検出した指示位置の座標を算出する座標算出部159とを備えている。
撮像部153は、スクリーンSC上で投射部30が画像を投射可能な最大範囲(後述する投射可能領域11Aに相当)を含む画角を撮影するデジタルカメラであり、撮影制御部155の制御に従って撮影を実行し、撮影画像データを出力する。撮影制御部155は、制御部103の制御にしたがって、撮像部153を制御して撮影を実行させる。撮像部153が撮影時のズーム倍率、フォーカス、絞りの調整を行う機構を有する場合、撮影制御部155は、これらの機構を制御して予め設定された条件で撮影を実行させる。撮影後、撮影制御部155は撮像部153が出力する撮影画像データを取得して、位置検出処理部157に出力する。撮像部153から出力される撮影画像データは、RGBやYUV等の形式で表されるものであっても良く、輝度成分のみを表すものであっても良い。また撮影制御部155は、撮像部153から出力される撮影画像データをそのまま位置検出処理部157へ出力してもよく、解像度の調整や所定のファイルフォーマット(JPEG、BMPなど)への変換等を行った上で位置検出処理部157へ出力しても良い。
なお、撮像部153は、可視光を撮像可能な構成であっても良く、非可視光(赤外光など)を撮像可能な構成であっても良い。撮像部153が非可視光を撮像可能な場合には、指示体12が非可視光を射出して、撮像部153が指示体12から射出された非可視光を撮像する構成や、指示体12が非可視光を反射可能な反射部を備えており、制御部103の制御によってプロジェクター11からスクリーンSCに対して非可視光を投射し、指示体12の反射部によって反射された非可視光を撮像部153によって撮像する構成等を採用することができる。
【0035】
位置検出処理部157は、撮影制御部155から入力される撮影画像データを解析してこの撮影画像データから、実投射領域11Bの外部と実投射領域11Bとの境界、及び、指示体12の画像を抽出し、指示体12による指示位置を特定する。指示体12の指示位置は、例えば、棒状あるいはペン型の指示体12の先端の位置である。位置検出部154は、検出した指示位置の実投射領域11Bにおける座標を求める。
【0036】
また、プロジェクター11は、位置検出ユニット150が出力した座標(第1の座標)を、PC13から入力された画像データにおける座標(第2の座標)に変換する座標変換部160(位置情報生成手段)を備えている。
位置検出処理部157が出力する座標は、撮像部153の撮影画像データに基づいて検出された座標であり、スクリーンSCに結像した表示画像上に仮想的に設けられた座標軸における座標である。座標変換部160は、画像処理部113がフレームメモリー115に展開した画像の解像度と、画像処理部113が画像を展開する際に行った解像度変換やズーム等の処理内容に関する情報とを含む各種の情報を取得し、取得した情報をもとに、位置検出処理部157が求めた表示画像における座標を入力画像データにおける座標に変換する。上述のように光変調装置32は、例えば縦横にマトリクス状に並ぶ所定数の画素を有する液晶表示パネルを用いて構成されているので、画素の配列方向に仮想の直交座標系の座標軸を配置することで、パネル上の位置を座標で表すことができる。これに対し、撮影画像データにおける座標は、撮像装置5とスクリーンSCとの距離等の様々な要素の影響を受ける。そこで、本発明に係るプロジェクター11においては、最初にキャリブレーション(後述)を実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンSC上の領域における座標との対応関係(座標変換パラメーター)を求める。ここで、キャリブレーションの対象となるスクリーンSCの領域は、実投射領域11B全体であっても良く、実投射領域11Bの一部であっても良い。実投射領域11Bの一部をキャリブレーションの対象とする場合としては、プロジェクター11の表示画像のアスペクト比とスクリーンSCのアスペクト比が異なる場合(例えば、プロジェクター11の表示解像度がWXGAで、スクリーンSCのアスペクト比が4:3である場合)に、プロジェクター11の表示画像の垂直方向の幅が、スクリーンSCの垂直方向の幅と一致するように表示する場合が考えられる。この場合は、プロジェクター11の実投射領域11Bのうち、スクリーンSCに含まれる領域をキャリブレーションの対象とし、それ以外の領域をキャリブレーションの対象外とすることが考えられる。キャリブレーション実行部103Aによって座標変換パラメーターが求められると、この座標変換パラメーターに基づいて、座標算出部159が座標の変換を行う。この変換処理については後述する。さらに、座標変換部160は、座標算出部159から出力された座標(第1の座標)を画像位置情報(後述)に基づいて変換し、変換後の座標(第2の座標)を出力切替部163に出力する。
【0037】
出力切替部163は、座標変換部160が変換した変換後の座標を出力する出力先を選択的に切り替える機能を有し、本実施形態では、外部I/F102または画像処理ユニット110のいずれかを出力先として選択し、座標を出力する。出力切替部163は、出力制御部101の制御に従って、変換後の座標を出力する出力先を切り替えて、座標を出力する。
表示制御部107は、出力切替部163から入力された座標に基づいて、フレームメモリー115に展開した画像上に、指示体12の指示位置に対応してポインター12Aの画像を描画する。
ここで、座標算出部159は、出力切替部163に対して座標(第1の座標)を出力することも可能である。このため、出力切替部163は、座標算出部159が出力した座標(第1の座標)を、外部I/F102を介してPC13に出力することも、画像処理部113に出力することもできる。また、座標変換部160が、座標算出部159から入力された座標(第1の座標)を変換することなく、出力切替部163に座標を出力する機能を有する構成とすれば、座標算出部159が直接出力切替部163に座標を出力した場合と同様の作用効果が得られる。
【0038】
なお本実施形態では、PC13に座標を出力する場合は座標変換部160によって変換を行い、画像処理部113に座標を出力する場合は座標変換部160によって変換を行わないものとするが、プロジェクター11の構成はこれに限られない。座標変換部160は、PC13に座標情報を出力する場合にも座標の変換を行っても良く、画像処理部113に出力する場合にも座標の変換を行っても良い。
さらに、プロジェクター11は座標変換部160を備えない構成であっても良い。この場合は、座標算出部159が出力した第1の座標が、PC13及び画像処理部113に対して出力される。
出力切替部163が外部I/F102に出力した座標は、例えば、外部I/F102のUSBインターフェイスを介してPC13に入力される。出力切替部163が出力する座標データは、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして、PC13に出力される。
【0039】
ここで、PC13において、出力切替部163から出力される座標データを、汎用的なポインティングデバイスが出力する座標データと同等に扱う場合は、これらの汎用的なポインティングデバイスに対応した、汎用のデバイスドライバープログラムを利用することができる。一般的に、これらの汎用のデバイスドライバープログラムは、PC13のOS(オペレーティングシステム)の一部として予めインストールされているため、汎用のデバイスドライバープログラムを利用する場合はデバイスドライバープログラムのインストールを行う必要がない。また、汎用のデバイスドライバープログラムを利用することから、専用のデバイスドライバープログラムを用意する必要がない一方で、プロジェクター11とPC13との間でやり取りできる情報は、汎用のデバイスドライバープログラムの仕様によって定められた範囲に限定される。
また、プロジェクター11に対応した専用のデバイスドライバープログラムを用意して、このデバイスドライバープログラムをPC13にインストールして使用しても良い。この場合は専用のデバイスドライバープログラムが必要になる一方で、プロジェクター11とPCとの間でやり取りできる情報は、専用のデバイスドライバープログラムの仕様に応じて任意に設定することができる。
【0040】
図3は、PC13の機能的構成を示すブロック図である。
この図3に示すように、PC13は、制御プログラムを実行してPC13の各部を中枢的に制御するCPU131、CPU131により実行される基本制御プログラムや当該プログラムに係るデータを記憶したROM132、CPU131が実行するプログラムやデータを一時的に記憶するRAM133、プログラムやデータを不揮発的に記憶する記憶部134、入力操作を検出して入力内容を示すデータや操作信号をCPU131に出力する入力部135、CPU131による処理結果等を表示するための表示データを出力する表示部136、及び、外部の装置との間でデータ等を送受信する外部I/F137を備えており、これらの各部はバスにより相互に接続されている。
【0041】
入力部135は、コネクターや電源供給回路を有する入力I/F141を有し、この入力I/F141に入力デバイス142が接続される。入力I/F141は、例えばUSBインターフェイス等の入力デバイス用の汎用インターフェイスで構成され、入力デバイス142は、例えば、キーボード、或いは、マウスやデジタイザー等のポインティングデバイスである。
入力I/F141には、プロジェクター11に繋がる通信ケーブル(例えば、USBケーブル62)が接続され、プロジェクター11から、指示体12による指示位置の座標が入力される。ここで、入力I/F141には、プロジェクター11が出力する座標データが、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして入力される。従って、PC13は、プロジェクター11から入力される座標データを入力デバイスからの入力信号として処理することができ、例えば、この座標データに基づいてマウスカーソルやポインターの移動を行う等の動作を行える。
【0042】
表示部136は、画像信号出力用のコネクター等を備えた画像出力I/F143を有し、画像出力I/F143には、モニター144、及び、プロジェクター11に繋がる画像信号ケーブル(例えば、RGBケーブル61)が接続される。画像出力I/F143は、例えば、アナログ映像信号が入力されるVGA端子、デジタル映像信号が入力されるDVIインターフェイス、USBインターフェイス、及びLANインターフェイス、NTSC、PAL、SECAM等のコンポジット映像信号が入力されるS映像端子、コンポジット映像信号が入力されるRCA端子、コンポーネント映像信号が入力されるD端子、HDMI(登録商標)規格に準拠したHDMIコネクター等を複数備え、これら複数のコネクターにモニター144及びプロジェクター11がそれぞれ接続される。また、画像出力I/F143は、VESAが策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、PC13は、プロジェクター11やモニター144或いは他の機器に対し、Displayportを介してデジタル映像信号を出力できる。なお、画像出力I/F143は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。
【0043】
記憶部134は、CPU131により実行される表示制御プログラム13A、及び、表示制御プログラム13Aの実行時に出力される画像データ13Bを記憶している。CPU131は、表示制御プログラム13Aを実行すると、プロジェクター11に対して画像データ13Bを送信する処理を実行する。この処理において、CPU131は画像データ13Bを再生するとともに、表示部136によって所定の表示解像度の画像信号を生成させ、画像出力I/F143に出力させる。ここで、表示部136は、アナログ信号を出力するコネクターに対してはアナログ画像信号を出力し、デジタルデータを出力するコネクターに対してはデジタル画像データを出力する。画像データ13Bは、PC13が表示した画面をキャプチャーした画像データであってもよい。
【0044】
また、CPU131は、表示制御プログラム13Aの実行中、入力部135から、ポインティングデバイスの操作に対応する座標が入力された場合に、この座標に対応する位置に、ポインター12A(図1)を表示するための画像を生成する。そして、CPU131は、再生中の画像データ13Bにポインター12Aを重ねた画像データを生成し、この画像データを入力I/F141からプロジェクター11に出力する。
【0045】
また、表示制御プログラム13Aは、プロジェクター11を制御して、多画面表示の実行を指示したり、多画面表示時にPC13の入力画像を表示する領域を指定したりする機能を有するプロジェクター制御用のプログラムである。この表示制御プログラム13Aを実行することにより、PC13は、プロジェクター11に対して画像を出力するだけでなく、各種の制御データを送受信する。このため、例えばプロジェクター11から入力I/F141に入力される座標データに基づいて、指示体12の操作の軌跡を線で描画した画像をCPU131が生成し、プロジェクター11に出力することも可能である。
【0046】
このように、表示システム10においては、元の画像データによって表される画像(原画像)に対して、新たな画像(付加画像)を重畳して描画する機能を、プロジェクター11の表示制御部107及びPC13の両方において実行できる。具体的に、プロジェクター11の表示制御部107において描画機能を実行する場合は、PC13がプロジェクター11に出力する画像データによって表される原画像に対して、表示制御部107が付加画像を重畳して描画する。一方、PC13において描画機能を実行する場合は、PC13が原画像に対して付加画像を重畳して描画し、付加画像が重畳された原画像を表す画像データをプロジェクター11に出力する。なお、描画機能によって描画される付加画像としてポインター12Aを例示したが、描画機能によってポインター12A以外の付加画像を描画することも可能である。
【0047】
原画像を表す画像データは、PC13がプロジェクター11に出力しても良く、プロジェクター11が記憶していても良い。また、上述したようにプロジェクター11、及びPC13のいずれにおいても付加画像の描画機能を実行することができる。
例えば、原画像を表す画像データをプロジェクター11が記憶しており、プロジェクター11において付加画像を描画する場合は、PC13を用いることなく、原画像に対して描画を行うことができる。
また、PC13から出力された原画像に対して、プロジェクター11において付加画像を描画する場合は、PC13が描画機能を備えていなくても原画像に対して付加画像の描画を行うことができるので、PC13の描画用のソフトウェアがインストールされていなくても、原画像に対して描画を行うことができる。
さらに、原画像を表す画像データをプロジェクター11又はPC13が記憶しており、この原画像に対して、PC13において付加画像を描画しても良い。
【0048】
図4は、プロジェクター11によりスクリーンSCに画像を投射した例を示す図であり、(A)は指示体12の指示位置に従ってポインター12Aを投射した状態を示し、(B)は指示位置に従って描画図形12Cを描画した状態を示す。
光変調装置32が有する液晶表示パネル全体を使用して表示画像を投射した場合には、図4(A)に2点差線で示す投射可能領域11Aに画像が結像する。プロジェクター11がスクリーンSCの真正面に位置している場合を除き、図4(A)に示すように台形歪みが発生するので、プロジェクター11は、表示制御部107の機能によりキーストーン補正を行う。このキーストーン補正の実行後には、実投射領域11Bに表示画像が投射される。実投射領域11Bは、通常、スクリーンSC上で長方形となり、かつ最大のサイズとなるよう設定される。具体的には、光変調装置32の液晶表示パネルの解像度と台形歪みの程度により決定されるが、最大サイズでなくてもよい。
【0049】
プロジェクター11のキャリブレーション実行部103Aは、キーストーン補正を行った後の実投射領域11Bにおいてキャリブレーションを実行する。このキャリブレーションでは、キャリブレーション実行部103Aが画像処理部113を制御して所定のキャリブレーション用の画像を描画させる。このキャリブレーション用の画像がスクリーンSCに投射された状態で、キャリブレーション実行部103Aの制御により位置検出ユニット150がスクリーンSCを撮影する。キャリブレーション用の画像は、例えば白色の背景にドットが配置された画像であり、予め記憶部105等に記憶されている。なお、キャリブレーション用の画像は必ずしも記憶部105等に記憶されている必要はなく、キャリブレーションの実行が必要になり、キャリブレーションを実行する毎に、キャリブレーション実行部10Aがキャリブレーション用の画像をその都度生成する構成であっても良い。
【0050】
キャリブレーション実行部103Aは、撮影画像データ中の表示画像の輪郭、すなわち実投射領域11Bの外部と実投射領域11Bとの境界と、撮影画像データ中のドットを検出し、位置検出ユニット150の撮影範囲(画角)すなわち撮影画像データにおける位置と、実投射領域11B上の位置と、画像処理部113が描画した画像上の位置との対応関係を特定する。キャリブレーション実行部103Aは、キャリブレーションにより特定された撮影画像上の位置と実投射領域11B上の位置との対応関係に基づいて、後述するように座標算出部159が用いる座標変換パラメーターを求める。座標変換パラメーターには、画像処理部113が描画した画像上の座標と、撮影画像データ上で求められた座標とを対応づけるデータ等が含まれる。座標算出部159は、この座標変換パラメーターに基づいて、撮影画像データ上で求められた座標を画像処理部113が描画した画像上の座標に変換することができる。この座標変換パラメーターに基づいて座標算出処理が行われる。
このキャリブレーションは、制御部103が記憶部105に記憶されたキャリブレーション用プログラム(図示略)を実行することで行われるので、PC13においてキャリブレーション用のプログラムをインストールして実行する必要がない。また、撮影画像データに基づいてキャリブレーション実行部103Aが自動で行う処理であっても良く、キャリブレーション用の画像に対するユーザーの操作が必要な処理であっても良い。さらに、プロジェクター11がこれらの処理を併用しても良い。キャリブレーション用の画像に対するユーザーの操作は、キャリブレーション用の画像に含まれるドットをユーザーが指示体12で指示する操作等が考えられる。
【0051】
プロジェクター11が備える位置検出ユニット150は、実投射領域11Bに画像が投射された状態で撮影を実行し、図中に破線の矢印で示すように、撮影画像において実投射領域11Bの隅を原点とする直交座標を仮想的に設定して、この座標系における指示体12の先端位置の座標を求める。この直交座標は、上記のキャリブレーションにより得られた座標変換パラメーターに基づいて設定される。その後、座標変換部160により、実投射領域11Bに表示された画像データにおける指示体12の先端の座標が求められると、この座標に従って、例えば図4(A)に示すポインター12Aや、メニューバー12Bが表示される。ポインター12Aは指示体12の先端位置を示す記号として描画される。また、メニューバー12Bは、指示体12により操作可能なGUIであり、メニューバー12Bに配置されたボタンを指示体12により指示することで、線等の図形の描画、描画した図形のデータの保存、消去、コピー等の機能を実行させるGUI操作を行うことができる。具体的な例としては、指示体12を図4(A)に示す位置から図4(B)の位置まで移動させることで、指示体12の先端の軌跡に沿って描画図形12Cが描画される。この描画図形12Cは、例えば、ポインター12Aやメニューバー12Bと同様に、指示体12の指示位置を示す座標データに従って、表示制御部107が、画像処理部113がフレームメモリー115に展開した画像に重ねて描画する。或いは、描画図形12Cは、PC13が描画して入力画像に重畳させてプロジェクター11に出力する。
【0052】
また、メニューバー12Bには、外部から供給可能な複数の画像(例えば、外部I/F102のUSBインターフェイスに接続されたUSBフラッシュメモリーなどの外部記憶装置が記憶している画像データ)を順次読み出して表示するスライドショー表示の制御用のボタンや、プロジェクター11の機能自体に関する設定(アスペクト比の変更、カラーモードの変更等)を行うためのボタン等を配置することも可能である。制御部103は、指示体12の指示位置が出力切替部163から出力された場合に、この座標を取得して、メニューバー12Bにおいて指示されたボタンを特定し、指示操作に対応した動作を実行する。
【0053】
図5(A)、(B)及び図6(A)、(B)は、プロジェクター11が指示位置の座標を検出し、画像データにおける座標に変換する処理の様子を示す説明図であり、図5(A)は一連の動作の初期状態を示し、図5(B)及び図6(A)、(B)は、図5(A)の状態からPC13が表示画像の解像度を変更した状態を示す。
【0054】
図5(A)に示す例では、光変調装置32の液晶表示パネルの解像度に基づき、実投射領域11Bの解像度が1280×800ドットであり、PC13から入力される画像データの解像度も1280×800ドットである。従って、実投射領域11Bには、1280×800ドットの表示画像201が表示されている。位置検出ユニット150は、実投射領域11Bの左上隅を原点とし、右方向をX軸方向、下方向をY軸方向とするX−Y直交座標系を設定し、表示画像201のX方向の端位置をX1max、Y方向の端位置をY1maxとし、指示体12の指示位置の座標を(X1n,Y1n)とする。
ところで、PC13から入力される画像データが、解像度が1024×768ドットの表示画像202に切り替えられると、スクリーンSCには図5(B)に示すように1066×800ドットの表示画像202が投射される。この1066×800ドットの画像データは、PC13から入力された1024×768ドットのアスペクト比を維持しつつ、拡大した画像データである。この表示画像202は表示画像201より低解像度であるため、表示画像202が投射される領域は実投射領域11Bよりも小さい。
【0055】
ここで、図5(A)及び(B)に示すように、スクリーンSC上の指示体12を動かさないようにすると、指示位置そのものは動いていないが、指示位置と表示されている画像との相対位置は変化する。このため、位置検出ユニット150が撮像部153の撮影画像データに基づいて算出した実投射領域11Bにおける指示位置の座標(X1n,Y1n)をもとにポインター12Aを表示すると、ポインター12Aが実際の指示位置からずれてしまう。
【0056】
すなわち、図6(A)に示すように、変更後の表示画像202の左上隅を原点とする座標系において座標(X1n,Y1n)にポインターを表示すると、指示体12の先端から離れたポインター12A´が表示されてしまう。このように、実投射領域11Bを基準として求めた座標は表示画像の解像度の影響を受けてしまうので、位置検出ユニット150が算出した座標をそのまま、PC13或いは表示制御部107が、ポインター12Aの表示に利用することはできない。
そこで、プロジェクター11は、PC13が出力する表示画像の解像度が変わった場合にも対応できるように、位置検出ユニット150の座標算出部159が算出した指示位置の座標(X1n,Y1n)を、座標変換部160によって、表示中の表示画像における指示位置の座標(X2n,Y2n)に変換する処理を行う。
【0057】
以下、具体的な処理について説明する。
本実施形態では、座標変換部160は、表示画像における座標を実投射領域11Bの隅に原点を設定した座標系(図5(A))により表す。図5(B)及び図6(A)〜(B)に示したように、実投射領域11Bよりも小さい領域に表示画像(ここでは表示画像202)を表示した場合、位置検出処理部157が撮像部153の撮影画像において表示画像の隅を原点とした場合の指示位置を検出し、座標算出部159が実投射領域11Bにおける表示画像202の位置を特定して、実投射領域11Bにおける座標(X1n,Y1n)を算出する。
【0058】
座標変換部160は、画像処理部113から画像位置情報を取得して、変更後の表示画像202の原点に相当する左上隅の座標(X1bmin,Y1bmin)を求める。この座標(X1bmin,Y1bmin)は、実投射領域11Bの左上隅を原点とした場合の座標である。
また、以下の演算では、X2max、X2minの値を用いる。X2maxは、表示画像202を表示した場合に表示画像202の左上隅を原点とした座標系において、X軸方向の最大値であり、X2minは同座標系において最小値である。つまり、X2maxはX軸上で表示画像202の右端の座標であり、X2minは原点であるためゼロであると考えられるが、X2max、X2minの値としては正規化された値を用いるので、X2min=0とは限らない。このため、変数X2minとして演算する。
【0059】
図6(B)に示すように、表示画像202の原点に相当する左上隅の座標を(X1bmin,Y1bmin)とし、実投射領域11BのX軸方向の端の座標値をX1max、表示画像202のX軸方向の端の座標をX1bmax、実投射領域11BのY軸方向の端の座標値をY1max、表示画像202のY軸方向の端の座標をY1bmaxとする。
この場合、座標(X2n,Y2n)は、下記式(1)、(2)により算出される。
【0060】
X2n=(X2max−X2min)×(X1n−X1bmin)÷(X1bmax−X1bmin) …(1)
Y2n=(Y2max−Y2min)×(Y1n−Y1bmin)÷(Y1bmax−Y1bmin) …(2)
本実施形態では図6(B)に示すようにY1bmin=Y2min=0、Y1bmax=Y2max=Y1maxである。このため、上記式(2)から、Y2n=Y1nとなる。
【0061】
指示位置の座標は、実際には正規化された論理座標として求められる。例として、X1min=0、X1max=32767、Y1min=0、Y1max=32767とする。
また、以下の例では、実投射領域11Bは1280×800ドットの解像度の画像に合わせて設定され、この実投射領域11Bにおける座標を(XPn,YPn)で表すと、(XPmin≦XPn≦XPmax,YPmin≦YPn≦YPmax)であり、XPmin=0、XPmax=1280、YPmin=0、YPmax=800であるものとする。
さらに、実投射領域11Bに表示される表示画像の位置及びサイズに関する情報として、表示画像の右上端の座標を(XP0,YP0)とし、この例では(XP0,YP0)=(0,0)とし、表示画像のX軸方向のサイズWP0=1280、Y軸方向のサイズHP0=800とする。
【0062】
実投射領域11Bにおける表示画像の左上隅の座標(X1bmin,Y1bmin)及び端位置の座標(X1bmax,Y1bmax)は、以下の式(3)〜(6)により求められる。
X1bmin=(X1max−X1min)×XP0÷(XPmax−XPmin) …(3)
X1bmax=(X1max−X1min)×(XP0+WP0)÷(XPmax−XPmin) …(4)
Y1bmin=(Y1max−Y1min)×YP0÷(YPmax−YPmin) …(5)
Y1bmax=(Y1max−Y1min)×(YP0+HP0)÷(YPmax−YPmin) …(6)
【0063】
これら式(3)〜(6)により得られた値をもとに、上記式(1)及び(2)の演算を行うことで、座標変換部160は、表示画像における指示位置の座標を得る。この座標は、PC13或いは表示制御部107が、処理対象の画像データにおいてポインター12A、メニューバー12B或いは描画図形12Cを描画する場合に、画像データ中の位置を特定する情報として利用できる。このため、表示画像の解像度やズーム率等に影響されることなく、ポインター12A、メニューバー12B及び描画図形12Cを、正確に、指示体12による指示位置に合わせて描画できる。
【0064】
ところで、実投射領域11Bに表示される表示画像の位置及びサイズは、表示画像の解像度や表示位置の影響を受ける。例えば、操作パネル41またはリモコン受光部45による操作や、PC13から送信される制御信号に応じて、プロジェクター11が、表示解像度の変更、アスペクト比の変更、ズーム、画像の表示位置の変更(移動)、多画面表示処理等、投射状態が変化するような処理を実行した場合には、画像位置情報(XP0,YP0,WP0,HP0)も変化する。ここで、画像位置情報とは、実投射領域11Bに対する画像配置領域(表示画像201、202が投射される(表示される)領域)の配置に関する情報である。換言すれば、画像位置情報は、実投射領域11B(表示可能領域)に対する表示画像の位置(配置)を示す情報である。また、PC13の表示解像度が変化し、PC13がプロジェクター11に出力する画像データの解像度が変化した場合(例えば、PC13において解像度に関する設定が変更された場合)にも、画像位置情報は変化する。
図7及び図8は、画像の投射状態の変化と座標を変換する処理の様子を示す説明図であり、投射状態の変化により画像位置情報(XP0,YP0,WP0,HP0)が変化する例を示す。
図7(A)では実投射領域11Bと同じ解像度(1280×800)の表示画像201を表示している。この場合の画像位置情報は、(XP0=0,YP0=0,WP0=1280,HP0=800)である。ここで、表示画像を、解像度が異なる表示画像202(1066×800)に変更した場合、図7(B)に示すように、表示画像202の周囲に非表示領域11Cが発生する。この場合、画像位置情報は、(XP0=107,YP0=0,WP0=1066,HP0=800)となる。
ここで、表示画像202のアスペクト比を変更して実投射領域11B全体に拡大表示した場合、図7(C)に示すように実投射領域11Bいっぱいに表示画像202が表示され、画像位置情報は(XP0=0,YP0=0,WP0=1280,HP0=800)となる。
【0065】
ここで、非表示領域11Cが発生している状態で、指示体12の指示位置が非表示領域11Cに重なった場合、座標変換部160は、指示位置の座標を出力しないようにしてもよいし、表示画像の範囲内において指示位置に最も近い位置の座標を、出力切替部163に出力してもよい。
具体的には、座標変換部160は、座標変換処理を行う前に、座標算出部159が算出した座標が非表示領域11Cに該当するか否かを、画像位置情報に基づいて判別する。ここで、座標算出部159が算出した座標が非表示領域11Cに該当する場合、座標変換部160は、X軸方向の座標とY軸方向の座標の各々について、非表示領域11Cに該当するか否か(実投射領域11Bに含まれるか否か)、及び、非表示領域11Cに該当する場合は、座標が大きい側と小さい側のどちらの非表示領域11Cに含まれているかを判別する。例えば、図7(B)において指示位置が表示画像202の左側の非表示領域11Cに重なっている場合には、指示位置のX軸方向の座標が、値が小さい側の非表示領域11Cに含まれている。座標変換部160は、X軸方向の座標とY軸方向の座標のいずれかについて逸脱している方向を判別した場合、逸脱している方向の表示画像202の端位置の座標を、指示位置の座標に割り当てる。図7(B)において指示位置が表示画像202の左側の非表示領域11Cに重なっている場合には、その指示位置のX軸方向の座標X1nの値を、X1bminの値に変更する。同様に、指示位置が表示画像202の右側の非表示領域11Cに重なっている場合には、その指示位置のX軸方向の座標X1nの値を、X1bmaxの値に変更する。Y軸方向においても同様である。
【0066】
つまり、座標変換部160は、座標算出部159が算出した座標(X1n,Y1n)が、(X1bmin≦X1n≦X1bmax,Y1bmin≦Yn≦Y1bmax)を満たさない場合には、(X1bmin,Y1n)、(X1bmax,Y1n)、(X1n,Y1bmin)、(X1n,Y1bmax)のいずれかを出力切替部163に出力する。これにより、表示画像に含まれない指示位置に対しても、座標を出力し、ポインター12Aやメニューバー12Bを、指示位置の近くに描画できる。
【0067】
さらに、図7(A)に示す状態から、表示画像201の表示位置を左へ160ドット分シフトさせると、図8(A)に示すように、表示画像201の左側が切れて表示され、表示画像201の右側に非表示領域11Cが発生する。図8(A)の状態では、画像位置情報は、(XP0=-160,YP0=0,WP0=1280,HP0=800)となる。なお、図8(A)では表示画像201の表示位置を左へシフトさせる場合を例示しているが、表示画像201は左以外(右、上又は下など)の方向へ移動させても良い。
図8(B)には、多画面表示機能により、表示画像202と、表示画像203とを表示した例を示す。この例では、2つの表示画像202及び表示画像203は、実投射領域11Bに並べて表示できるように、アスペクト比を保って縮小表示され、その周囲に非表示領域11Cが発生する。多画面表示機能によって複数の表示画像を同時に表示する場合、表示画像のそれぞれについて画像位置情報を定義できる。図8(B)のような場合は、表示画像202及び表示画像203のそれぞれについて異なる画像位置情報を定義できる。縮小後の表示画像201の解像度は縦横半分の533×400となり、表示画像202に関する画像位置情報は、(XP0=53,YP0=200,WP0=533,HP0=400)となる。
プロジェクター11は、上記の多画面表示機能の実行時に、表示画像202及び表示画像203のいずれか一方を拡大あるいは縮小することも可能である。この場合、プロジェクター11は、ユーザーが指示体12で表示画像202、203の一方の拡大または縮小を指示する操作を行った場合に、この操作に応じて指示された表示画像を拡大または縮小し、拡大または縮小した表示画像の画像位置情報を更新する。
なお、プロジェクター11が多画面表示機能を実行する契機は、PC13がプロジェクター11に対して多画面表示の開始を指示する制御データを送信する場合や、操作パネル41又はリモコン等を介してユーザーが多画面表示の開始をプロジェクター11に指示する場合のほか、プロジェクター11自身が、所定の条件の成立を契機として、多画面表示機能を開始することもできる。例えば、プロジェクター11が、外部I/F102を介して複数の画像ソースからの入力画像が入力されたことを、制御部103が検出した場合や、位置検出ユニット150により検出した指示体12の操作により、メニューバー12Bの多画面表示開始のボタンが操作された場合に、多画面表示機能を開始してもよい。
【0068】
プロジェクター11は、画像を実投射領域11Bより大きく拡大して、その一部を表示するズーム機能を備えている。図7(B)に示した表示画像202を、もとの解像度の1.25倍に拡大した例を図8(C)に示す。この図8(C)の例では、表示画像202全体を表示するためには実投射領域11Bより大きい仮想表示領域11Dの領域が必要であり、実際には表示画像202の中央において実投射領域11Bに収まる部分のみが表示される。この場合の画像位置情報は、仮想表示領域11Dの隅の座標及び仮想表示領域11Dの解像度を基準として決定され、(XP0=-27,YP0=-100,WP0=1333,HP0=1000)となる。さらに、ズーム機能により拡大された表示画像における表示位置をシフトさせることも可能である。図8(D)には、図8(C)に示した拡大後の表示画像202を、下方に100ドット分シフトさせた状態を示す。この処理は、仮想表示領域11Dを実投射領域11Bに対して相対的に下方に移動させる処理に相当するので、画像位置情報は、(XP0=-27,YP0=0,WP0=1333,HP0=1000)となる。なお、図8(A)では表示画像201の表示位置を下方へシフトさせる場合を例示しているが、表示画像201は下以外(上、右又は左など)の方向へ移動させても良い。
【0069】
座標変換部160は、投射部30による表示画像の投射状態(表示状態)が変化する毎に、制御部103及び画像処理ユニット110から情報を取得して画像位置情報を更新し、更新後の画像位置情報に基づいて座標を変換する。画像位置情報は、例えば、次に挙げるタイミングで更新される。
・制御部103がPC13からの画像データの入力を検出したとき。
・制御部103が、PC13から入力される画像データに関する情報(画像の解像度など)の変化を検出したとき。
・プロジェクター11において、画像データの解像度を変更したとき。
・画像データのアスペクト比を変更したとき。
・光変調装置32により描画する画像を、投射する画像データの画像処理によって拡大/縮小するデジタルズーム機能を実行または解除したとき。
・実投射領域11Bに対する表示画像の表示位置を変更したとき。
・上記のデジタルズーム機能により画像を拡大し、さらに画像処理によって画像の表示位置を変更する機能を実行または解除したとき。
・光変調装置32により描画する画像と背景を含む全体すなわち実投射領域11B全体の投射サイズを、画像データの画像処理を行うことにより拡大/縮小するテレワイド機能を実行または解除したとき。
・上記のデジタルズーム機能により画像を縮小し、さらに画像処理によって画像の表示位置を変更するピクチャーシフト機能を実行または解除したとき。
・複数の画像の同時表示を実行または解除したとき。
・出力切替部163から座標を出力する出力先が、画像処理ユニット110からPC13へ、或いはその逆へ変更されたとき。
解像度の変更、アスペクト比の変更、各種機能の実行および解除は、いずれも制御部103の制御により、画像処理ユニット110によって実行される。なお、上記に列挙したタイミングはあくまで一例であり、その他のタイミングで画像位置情報を更新することも勿論可能である。
【0070】
図9は、プロジェクター11の動作を示すフローチャートであり、特に、指示体12による指示位置を検出して指示位置の座標を出力する動作を示す。
この図9に示す動作は、プロジェクター11の起動後、或いは、操作パネル41またはリモコン受光部45の操作によってポインター12Aやメニューバー12Bの表示が指示された場合、操作パネル41やリモコン受光部45により位置検出が指示された場合に、一定時間毎に繰り返し実行される。
【0071】
まず、キャリブレーションが必要か否かが判別される(ステップS11)。この判別は、キャリブレーションが必要か否かを示すユーザーの指示に基づいて行っても良く、キャリブレーションを行う必要があるかどうかをキャリブレーション実行部103Aが自動的に判別し、この判別結果に基づいて自動的に行っても良い。キャリブレーションが必要な場合には(ステップS11;Yes)、図4(A)を参照して説明したようにキャリブレーションを実行する(ステップS12)。すなわち、画像処理部113によりキャリブレーション用の画像を描画させ、このキャリブレーション用の画像が投射された状態で位置検出ユニット150により撮影を実行させ、得られた撮影画像データにおける実投射領域11Bの輪郭やキャリブレーション用の画像に含まれる特徴点(ドット等)を検出することで、画像処理部113が描画した画像と撮影画像データとの対応関係を求める。なお、キャリブレーションはプロジェクター11の使用を開始してから1度だけ行えば良く、特定の事象が発生しない限りは再度行う必要がない。例えば、次の(1)〜(3)のような場合には、新たにキャリブレーションを行う必要がある。
(1)キーストーン補正を行った場合。
(2)プロジェクター11の設置条件が変わった場合。例えば、スクリーンSCに対するプロジェクター11の相対的な位置(向きを含む)が変わった場合。
(3)光学条件が変わった場合。例えば、投射光学系33のフォーカスまたはズームの状態が変わった場合。投射光学系33あるいは撮像部153の光軸が経時変化等によりずれた場合。
これらの事象が発生した場合、座標変換部160が座標を算出する基準となる、初期状態における撮影画像データ上の位置と画像処理部113が描画する画像上の位置との対応関係が変化するので、改めてキャリブレーションを行う必要がある。逆にこれらの事象が発生しなければキャリブレーションを再度行う必要はないので、プロジェクター11を前回使用してから今回使用するまでの間に上記の事象が発生していなければ、キャリブレーションを行うことなく、前回のキャリブレーションで求めた座標変換パラメーターを再利用することもできる。キャリブレーションを行う必要があるかどうかをキャリブレーション実行部103Aが判別する方法としては、例えば、操作パネル41においてキーストーン補正の実行を指示するスイッチの操作の有無に基づいて判別する方法や、プロジェクター11に傾きや動きを検出するセンサーを設け、このセンサーの検出値の変化に基づいて判別する方法がある。また、投射光学系33におけるフォーカス、ズームの調整を行った場合に、キャリブレーション実行部103Aがキャリブレーションを自動で実行してもよい。また、ユーザーが、プロジェクター11の設置位置や光学条件の変化を知って、キャリブレーション実行を指示する操作を行えるように、操作パネル41やリモコン等の操作部に、対応するスイッチを設けてもよい。
【0072】
撮影制御部155は、制御部103の制御により撮像部153に実投射領域11Bを含む範囲を撮影させると、位置検出処理部157は撮影画像データを取得し(ステップS13)、この撮影画像データに基づいて指示体12の指示位置を検出する(ステップS14)。続いて、座標算出部159が、位置検出処理部157により検出された指示位置の座標を算出する(ステップS15)。このステップS13で算出される座標は実投射領域11Bにおける座標であり、図5(A)で説明した座標(X1n,Y1n)である。
【0073】
座標変換部160は、画像位置情報の更新が必要か否かを判別し(ステップS16)、更新が必要な場合は制御部103及び画像処理ユニット110から情報を取得して画像位置情報を更新する(ステップS17)。このステップS17の処理は、ステップS15の後に限定されず、上記に例示したタイミングで随時実行してもよい。
その後、座標変換部160は、座標算出部159が算出した座標を表示画像の画像データにおける座標に変換する処理を行い、変換後の座標を出力切替部163に出力する(ステップS18)。変換後の座標は、図5(B)で説明した座標(X2n,Y2n)である。
出力切替部163は、変換後の座標を外部I/F102または画像処理ユニット110のいずれか指定された側に出力し(ステップS19)、本処理を終了する。
【0074】
出力制御部101(出力制御手段、ソース判別手段)は、出力切替部163を制御して、座標変換部160が変換した変換後の座標の出力を切り替えさせる制御を行う。出力制御部101は、外部I/F102に接続された画像ソースのうち、投射部30が表示中の入力画像を供給しているPC13を、座標変換部160が算出した座標を出力する出力先として、出力切替部163により選択させる。また、出力制御部101は、出力切替部163の出力先として、画像処理ユニット110を選択させることも可能である。
また、出力制御部101は、座標変換部160が変換した座標を出力する出力先となる画像ソースを決定するため、現在表示中の画像を供給している画像ソースを特定する機能を有する。
【0075】
また、制御部103は、操作パネル41またはリモコン受光部45により検出した操作により、AVミュートが指示された場合に、スクリーンSCへの投射を一時的に停止させる。この場合に、制御部103は表示停止制御手段として機能する。具体的には、AVミュートの指示を検出すると、制御部103は、表示制御部107が光変調装置駆動部119に出力する表示データを、全面黒を示すデータに切り替えさせる。この動作により、光変調装置32の液晶パネルの全画素は黒表示となり、光変調装置32の透過率はほぼゼロとなるので、スクリーンSCには画像が投射されず、投射光の光量もほぼゼロになる。この動作とともに、制御部103は、光源駆動部117を制御して、光源駆動部117が備える光源の光量を低減させてもよい。その後、制御部103は、操作パネル41またはリモコン受光部45が検出した操作によりAVミュートの解除が指示されると、表示制御部107を制御して光変調装置32を通常表示状態に復帰させ、必要に応じて光源駆動部117の光源の輝度を通常時の輝度に戻す。
【0076】
図10は、画像ソースの種類毎に、座標を出力するか否かを定義する設定データ105Bの構成例を模式的に示す図である。
この図10の例では外部I/F102の各インターフェイスが、PC系インターフェイスと非PC系インターフェイスの2つのグループに分類されている。本実施形態では、プロジェクター11との間で制御データを送受信可能か否かという属性に基づき、PC系インターフェイスと、それ以外の非PC系インターフェイスとの2つのグループに分けた例を示す。PC系インターフェイスのグループに属するインターフェイスは、Compインターフェイス(ここではComp2)、USB及びLANインターフェイスである。Compインターフェイスを経由して制御データを送受信することはできないが、図1に示したようにPC13がRGBケーブル61によりCompインターフェイスに接続されるとともに、USBケーブル62によりUSBインターフェイスに接続されている場合は、入力画像がCompインターフェイスに入力されている場合にUSBインターフェイスを介して制御データを送受信できる。このため、PC系インターフェイスにCompインターフェイスを含めることができる。また、非PC系インターフェイスには、Compインターフェイス(ここではComp1)、S−Video、Video、HDMIの各インターフェイスが属する。
なお、グループ分けの方法は任意であり、グループ分けされた各インターフェイスが設定データ105Bに反映されていればよく、インターフェイスの属性や機能(アナログインターフェイスかデジタルインターフェイスか等)とは無関係にグループ分けを行うことも可能である。
【0077】
表示システム10は、上述のように、指示体12により指示された指示位置に追従するようにポインター12A等を描画する動作を実行可能であり、実際の描画をプロジェクター11自身の画像処理ユニット110が行うことも、PC13が行うこともできる。画像処理ユニット110が描画を行う動作モードは「PJインタラクティブモード」、PC13が描画を行う動作モードは「PCインタラクティブモード」と定義されている。
PJインタラクティブモードでは、指示体12の指示位置の座標に基づく処理をプロジェクター11が実行し、プロジェクター11が、例えば、指示体12の指示位置に追従するようにポインター12Aやメニューバー12Bを表示し、これらの表示位置を移動させる処理や、指示位置の座標に基づいて、後述するように指示位置の軌跡12Dを描画する処理を実行する。
【0078】
これに対し、PCインタラクティブモードでは、上述したように、出力切替部163が出力する座標データを汎用的なポインティングデバイスが出力する座標データと同等に扱うことにより、PC13のOSの一部の機能として予めインストールされた汎用のデバイスドライバープログラムを用いて、指示体12による指示操作をポインティングデバイスの操作として処理できる。例えば、指示体12の指示位置に追従するようにポインター12Aやメニューバー12Bを表示し、これらの表示位置を移動させる処理を行える。また、PC13が、プロジェクター11に対応した専用のデバイスドライバープログラムを実行する構成とすれば、PC13のOSが備える機能に加えて独自の機能を実現できる。例えば、指示体12による指示操作に基づいてプロジェクター11の動作を制御し、特定の機能(AVミュート機能、多画面表示機能等)の実行開始/終了、当該機能の実行中の制御等を行うことが可能となる。この独自の機能は専用のデバイスドライバープログラムの仕様により任意に設定できる。
【0079】
PCインタラクティブモードで、PC13は、例えば、PC13のOSの機能の一部として、或いはOSとともに提供される標準的なアプリケーションプログラムのうち、画像を描く描画機能を有するアプリケーションプログラムによって、プロジェクター11から入力される座標データに基づいて軌跡12Dを描画する。また、PC13は、プロジェクター11の利用を目的とした専用のアプリケーションプログラムを実行して、このアプリケーションプログラムの描画機能によって軌跡12D等を描画してもよい。さらに、この専用のアプリケーションプログラムは、上述したプロジェクター11を制御するためのデバイスドライバープログラムと協働して機能するプログラムとすることができる。この場合、プロジェクター11から入力される座標を取得し、この座標に基づいてポインター12A、メニューバー12B等を表示する処理と、当該座標に基づいて描画を行うことができる。
【0080】
PJインタラクティブモード及びPCインタラクティブモードでは、プロジェクター11及びPC13は、画像の表示状態の変更に関する機能(例えば、上述した描画機能や、画像の色合いを調整する機能など)や、描画された画像データに対する処理に関する機能(例えば、描画された画像データを記録する機能など)を実行することができる。さらに、プロジェクター11及びPC13がPJインタラクティブモードで実行できる機能と、PCインタラクティブモードで実行できる機能とは共通していても良く、異なっていても良い。
【0081】
表示システム10は、PJインタラクティブモードとPCインタラクティブモードとを切り替えて実行できるが、PCインタラクティブモードはPC13から画像データが入力されている場合でなければ行えない。
設定データ105Bでは、インターフェイスのグループ毎あるいはインターフェイス毎に、実行可能な動作モードが設定されている。図10の例では、非PC系インターフェイスにはPJインタラクティブモードが対応づけて設定され、PC系インターフェイスにはPCインタラクティブモードが設定されている。
【0082】
また、設定データ105Bには出力切替部163が座標を出力する出力先が設定されている。例えば、上記のPCインタラクティブモードではPC13に対して座標を出力する必要があり、PJインタラクティブモードでは画像処理ユニット110に座標を出力する必要がある。設定データ105Bには、グループ毎、及び動作モード毎に出力先が設定されている。PC系インターフェイスにはPCインタラクティブモードが設定されているので、出力先としてPC13が設定されている。
このように、設定データ105Bによって、外部I/F102が備えるインターフェイスの種類と、実行する動作モード(PJインタラクティブモード、PCインタラクティブモード)と、出力切替部163が座標データを出力する出力先とが対応づけられる。出力制御部101は、設定データ105Bの設定に従って出力切替部163を制御し、座標データの出力先を切り替えさせる。
なお、設定データ105Bにおいて、いずれかのグループに対応づけてPC13と画像処理ユニット110の両方を出力先として設定することも可能である。また、いったん出力切替部163から画像処理ユニット110に座標を出力し、この座標を画像処理ユニット110からPC13に出力する動作(すなわち、画像処理ユニット110を経由してPC13に出力する動作)と、出力切替部163から直接、外部I/F102を介してPC13に座標を出力する動作とを実行可能としてもよい。この場合、設定データ105Bにおいて出力先としてPC13が設定される場合に、さらに、出力切替部163から直接PC13に座標を出力するのか、画像処理ユニット110を経由して出力するのかを指定する情報を設定してもよい。
【0083】
図11は、出力先の設定画面211の例を示す図である。
この図11に示す設定画面211は、座標の出力先を設定する際にスクリーンSCに表示される画面であって、例えば、メニューバー12Bにおける操作や、プロジェクター11の操作パネル41或いはリモコン受光部45により検出された操作に対応して表示される。設定画面211は、制御部103の制御によって、表示制御部107(設定画面表示手段)により表示される。
【0084】
設定画面211には、外部I/F102が備える各インターフェイスの名称が並べて表示され、各インターフェイスの名称に対応づけて、PCインタラクティブモードに設定するか否かの入力ボックス213が配置されている。設定画面211が表示された状態で、ユーザーが指示体12を用いて入力ボックス213を指定する操作を行うと、この操作に応じて、指定された入力ボックス213の選択状態が変化する。入力ボックス213が塗りつぶされている場合、その入力ボックス213に対応するインターフェイスはPCインタラクティブモードに対応づけられる。また、入力ボックス213が白抜きの状態となっている場合、その入力ボックス213に対応するインターフェイスは、PCインタラクティブモード以外、すなわちPJインタラクティブモードに対応づけられる。図11の例では、Comp1、USB、LANの各インターフェイスがPCインタラクティブモードに対応づけられる。このように、設定画面211をスクリーンSCに表示させることで、座標の出力先を容易に設定できる。また、設定画面211における設定の操作そのものが、指示体12を用いてポインター12Aを移動させるGUIによって実現される。ユーザーの操作によって、設定画面211による設定の終了が指示されると、この設定画面211における設定を反映するように、制御部103(設定手段)は設定データ105Bを生成または更新する。
【0085】
なお、図11の例では設定画面211にプロジェクター11が対応する各インターフェイスの名称の全てが表示されているが、PCインタラクティブモードに対応付けることができないインターフェイスの名称を、設定画面211の表示開始時から設定画面211に表示させなくても良い。この場合、PCインタラクティブモードに対応付けることができるインターフェイスの名称のみが、設定画面に211に表示される。
また、図11に例示する設定画面211の構成では、PCインタラクティブモードに対応付けるインターフェイスの名称を2以上選択できるようになっているが、選択可能なインターフェイスの名称を1つだけに制限しても良い。この場合、選択された1つのインターフェイスのみがPCインタラクティブモードに対応付けられ、それ以外のインターフェイスはPCインタラクティブモードに対応付けられない。
【0086】
図12は、図9のステップS17に示した座標出力処理を詳細に示すフローチャートである。
出力制御部101は、プロジェクター11が多画面表示中であるか否かを判別する(ステップS21)。多画面表示は、上述のように、表示制御部107が、スクリーンSCの実投射領域11Bに複数の画像を同時に表示する機能である。多画面表示中は、実投射領域11Bが複数の領域に分割され、或いは実投射領域11Bに複数の領域が設けられて、これら各領域に、外部I/F102に入力される画像が表示される。
【0087】
多画面表示中でない場合(ステップS21;No)、出力制御部101は、表示中の画像を供給している画像ソースの種類を判別する(ステップS22)。ここで、出力制御部101は、判別した画像ソースの種類に基づいて図10に例示した設定データ105Bを参照し、設定データ105Bの設定に従って、座標の出力先がPC13であるか画像処理ユニット110であるかを判別する(ステップS23)。
【0088】
続いて、出力制御部101は、制御部103によりAVミュートの実行中か否かを判別し(ステップS24)、ミュート中でなければ(ステップS24;No)、ステップS23で判別した出力先への出力実行を決定し(ステップS25)、出力切替部163から、座標変換部160が変換した座標のデータを出力する(ステップS26)。また、ミュート実行中の場合は(ステップS24;Yes)、出力制御部101は座標の出力を行わずに本処理を終了する。ここで、出力制御部101は、AVミュート中に座標変換部160から出力切替部163への座標の出力を停止させてもよいし、出力切替部163から画像処理ユニット110または外部I/F102への座標の出力を停止させても良い。
【0089】
一方、実投射領域11Bに複数の入力画像を表示する多画面表示中であった場合(ステップS21;Yes)、出力制御部101は、最新の指示位置の座標に基づいて指示位置の座標を取得し(ステップS31)、指示体12の指示位置の座標が、実投射領域11Bに配置された複数の表示領域のうち、指示位置がどの表示領域に属しているかを特定する(ステップS32)。
【0090】
次いで、出力制御部101は、特定した領域の入力画像を供給している画像ソースを特定して、この画像ソースのグループを判別する(ステップS33)。出力制御部101は、ステップS33で判別した画像ソースのグループをもとに設定データ105Bを参照し、設定された出力先を判別する(ステップS34)。出力制御部101は、AVミュートの実行中か否かを判別し(ステップS35)、ミュート実行中でなければ(ステップS35;No)、ステップS25で判別した出力先への出力実行を決定し(ステップS36)、出力切替部163によって、座標変換部160が変換した座標データを出力する(ステップS37)。また、ミュート実行中の場合は(ステップS35;Yes)、出力制御部101は座標の出力を行わずに本処理を終了する。
このような処理によって、プロジェクター11が多画面表示を行っている場合に、指示体12の指示位置が含まれる領域に応じて、座標データの出力先を切り替えることができる。例えば、図8(B)に示すような多画面表示を行っているときに、表示画像202の画像ソースがPCインタラクティブモードに対応付けられ、表示画像203の画像ソースがPJインタラクティブモードに対応付けられている場合を考える。この場合は、表示画像202に対応する領域から表示画像203に対応する領域に指示体12が移動した場合は、指示体12の移動に応じて座標データの出力先を切り替えることもできる。
【0091】
なお、多画面表示においては、PC系のインターフェイスに接続された複数の画像ソースから入力される入力画像を表示することがあり、この場合に、全ての画像ソースについて設定データ105Bを参照し、設定データ105Bに設定された出力先に座標を出力することも可能である。ここで、複数のPC13から供給される画像を同時に表示している場合、全てのPC13に座標を出力してもよいし、予め設定された一部のPC13にのみ座標を出力してもよい。さらに、PC13にプロジェクター11を制御する表示制御プログラム13A(図3)がインストールされているか否かを検出し、表示制御プログラム13AがインストールされているPC13にのみ座標を出力してもよい。表示制御プログラム13Aは、指示体12の指示位置を取得して、この指示位置の軌跡の画像や指示位置に対応するポインター12A(図1)の画像を生成して、この画像を入力画像に合成して出力する機能を有する。このため、当該機能を実行可能なPC13にのみ座標を出力することは合理的である。また、座標データとともに、各PC13の出力画像が表示されている領域を示す情報を、PC13に出力してもよい。この場合、指示体12の指示位置に重ならない領域に入力画像が表示されているPC13に対して、誤った座標データを出力してしまうことがない。
【0092】
本実施形態では、指示体12の指示位置が含まれる領域に対応する画像ソースに対して座標を出力する構成としたが、全ての領域の画像がPC13から入力された画像であって、PCインタラクティブモードで軌跡を描画する場合には、全てのPC13に対して座標を出力してもよい。この場合、各PCが、自己が出力する画像に指示位置の軌跡を描画することにより、全体として一続きの軌跡を描画できる。
また、一部また全ての領域の画像がPC13以外の画像ソースから入力された画像であっても、PJインタラクティブモードで軌跡を描画する場合には、プロジェクター11の機能により軌跡を描画できる。この場合、出力制御部101は、設定データ105Bの設定に従って、或いは設定データ105Bの設定によらず、出力切替部163から画像処理ユニット110に対して座標を出力すれば、複数の領域に跨る一続きの軌跡を描画できる。
【0093】
さらに、多画面表示中に、出力制御部101が、実投射領域11Bに表示中の各画像の供給元の画像ソースを特定し、全ての画像ソースがPC13である場合、或いは、全ての画像ソースが、表示制御プログラム13AがインストールされたPC13である場合に限り、座標を全てのPC13に出力し、それ以外の場合は、設定データ105Bの設定によらず出力先を画像処理ユニット110に決定してもよい。この場合、画像ソースがどのような機器であっても、複数の表示領域に跨る軌跡を必ず描画できるという利点がある。
【0094】
また、図12に示した動作においてはAVミュート中は座標変換部160から出力切替部163への座標の出力、或いは出力切替部163からの座標の出力を行わないものとして説明したが、出力制御部101は、例えば以下のような場合にも座標の出力を停止して良い。
・画像ソースの切替を行っている間。
・プロジェクター11が表示する画像が一時停止している間。
・位置検出ユニット150が指示位置を検出可能な領域外に指示体12が移動した場合。即ち、指示体12の位置が検出できない、或いは、検出された指示体12の指示位置の座標が、検出可能な範囲として設定された値から外れている場合。
この場合、座標の出力は行わないが、位置検出ユニット150が指示体12の指示位置を検出し、座標変換部160が座標を変換する処理は行ってもよい。
【0095】
図13は、スクリーンSCにおける指示体12による操作の例を示す図であり、(A)は通常表示における操作前の状態を示し、(B)は指示位置の軌跡の例を示す図である。また、図13(C)は多画面表示における操作前の状態を示し、(D)は多画面表示時の指示位置の軌跡の例を示す。図13〜図15ではペン型の指示体12を用いた例を示す。
図13(A)に示す状態で指示体12が操作され、図13(B)に示す状態となった場合、指示体12は、軌跡12Dを描いて移動する。軌跡12Dは、PCインタラクティブモードにおいてはPC13によって描画されて入力画像に合成され、PJインタラクティブモードにおいては画像処理ユニット110の機能により描画される。
この図13〜図15を参照した説明においてはスクリーンSC上に投射された実投射領域11Bで指示体12が操作される場合について説明する。プロジェクター11の設置状態によっては、投射可能領域11Aの全体に投射する場合、すなわち投射可能領域11Aと実投射領域11Bとが一致する(等しい)場合があり、このような場合も本発明に含まれる。
【0096】
多画面表示の実行中に指示体12が操作され、図13(C)に示す状態から図13(D)に示す状態となった場合、指示体12の軌跡12Dは、実投射領域11Bに設けられた複数の領域18A、18B、18C、18Dに跨る。この場合、各領域18A、18B、18C、18Dには、異なる画像ソースの入力画像が表示されるので、一つのPC13が軌跡12Dを描画することはできない。このような場合、PJインタラクティブモードでは座標変換部160が変換した座標が画像処理ユニット110に出力されるので、領域18A、18B、18C、18Dのうち複数の領域に跨る軌跡12Dを画像処理ユニット110が一括して描画できる。これにより、複数の画像ソースの入力画像に跨るような軌跡12Dを、スクリーンSCに表示できる。
【0097】
また、多画面表示の実行中に、プロジェクター11から各領域18A、18B、18C、18Dに表示中の画像を供給している全てのPC13に対して座標を出力し、各PC13が自己が供給する画像に軌跡12Dを描画することにより、複数の領域に跨る軌跡12Dを描画できる。
図14は、複数の領域に跨る操作に応じてズーム機能を実行する例を示す説明図であり、(A)はズームの中心が指定された状態を示し、(B)は指定された中心に従ってズーム処理を行った状態を示す。
図14(A)では実投射領域11Bに設けられた各領域18A、18B、18C、18Dに異なる画像ソースからの入力画像が表示され、ペン型の指示体12により、ズームの中心として、全領域18A、18B、18C、18Dに跨る円が指定されている。ズームの中心を指定する機能の実行時、制御部103は、指示体12の指示位置の軌跡を経時的に取得し、軌跡12Dが一定の形状となった時点で、ズームの中心を決定する。
制御部103は、軌跡12Dにより決定される円を中心として、各画像ソースの入力画像をそれぞれ拡大する処理を、画像処理部113により実行させる。画像処理部113は、各入力画像のフレームを指定された中心に基づいて拡大し、拡大した各フレームから、各領域18A、18B、18C、18Dに表示される範囲を切り出して、実投射領域11Bに相当する一つのフレームを生成する。これにより、実投射領域11Bには、図14(B)に示す画像が表示される。
【0098】
図14(B)では軌跡12Dの円を中心に所定の拡大率で入力画像が拡大表示されている。この拡大表示の処理は、画像ソースに対して座標を出力することなくプロジェクター11が実行可能であるため、画像ソースの種類を問わず実行できる。また、同様の処理によって各領域18A、18B、18C、18Dに表示中の入力画像を縮小表示することも可能である。
【0099】
図15は、位置検出部による位置検出の例を示す説明図である。
多画面表示を行う場合には、実投射領域11Bの全てを各領域(図15では領域18G、18H)が占めることができず、入力画像を表示する領域18G、18Hの周囲に、黒色の非表示領域18Fが発生することがある。
この場合、図7(B)を参照して説明したように、座標変換部160は、非表示領域18Fが発生している状態で、指示体12の指示位置が非表示領域18Fに重なった場合、指示位置の座標を出力しないようにしてもよいし、画像が表示される領域18G、18H内において指示位置に最も近い位置の座標を出力してもよい。
【0100】
また、図15に示した例に限らず、多画面表示の実行中は、出力切替部163が座標を出力する出力先を、常に画像処理ユニット110とすることも可能である。この場合、実投射領域11Bに一つの画像ソースから入力された一つの入力画像を表示する通常の表示状態から、多画面表示機能を開始した場合に、出力制御部101が出力切替部163の出力先を画像処理ユニット110に切り替えさせ、多画面表示機能の終了時にはこれと逆の制御を行う。この場合、複数の画像ソースから入力された入力画像を同時に実投射領域11Bに表示する場合に、この実投射領域11Bにおける指示位置に基づいてポインター12Aやメニューバー12Bを表示する機能、或いは軌跡12Dを描画する機能をプロジェクター11が実行するので、各入力画像の画像ソースを判別する処理等を省略でき、処理負荷を軽減して、速やかに軌跡12Dの描画等を行えるという利点がある。
【0101】
以上のように、本発明を適用した実施形態に係る表示システム10において、プロジェクター11は、外部I/F102を介して画像ソースから入力される入力画像を投射部30によってスクリーンSCに表示し、スクリーンSCにおいて指示体12が指示した指示位置を検出する位置検出ユニット150と、位置検出ユニット150により検出された指示位置を示す座標を生成する座標変換部160と、座標変換部160により生成された座標に基づいて処理を実行する処理手段としての画像処理ユニット110と、座標変換部160により生成された座標の、画像処理ユニット110に対する出力を制御する出力制御部101とを備え、指示体12の指示位置を示す入力された画像における座標を生成し、この座標の出力を制御できる。これにより、例えば指示位置に基づく処理内容や処理を行うPC13等の外部の装置および内蔵する画像処理ユニット110に対して適切に座標を出力できる。
【0102】
また、プロジェクター11が備える外部I/F102は、複数の画像ソースから入力画像を入力可能であり、プロジェクター11は、外部I/F102に入力される入力画像のいずれか一以上の入力画像を投射部30により表示させる画像処理ユニット110と、表示中の入力画像を入力する画像ソースの種類を判別する出力制御部101とを備え、出力制御部101は、判別した画像ソースの種類に基づいて、PC13及び画像処理ユニット110に対する座標変換部160により生成された座標の出力を制御するので、表示中の画像を供給した画像ソースの種類に基づいて、座標の出力を制御できる。これにより、複数の画像ソースから入力画像が入力可能な場合に座標を適切な出力先に出力することができる。
【0103】
また、画像処理ユニット110は、制御部103の制御により、外部I/F102に複数の画像ソースから入力される複数の入力画像を、スクリーンSCに設けられた複数の領域のそれぞれに表示させる多画面表示を行い、多画面表示時には、出力制御部101は、位置検出ユニット150により検出された指示位置がどの領域に属するかを判定し、指示位置が属する領域に表示されている入力画像の画像ソースの種類に応じて、PC13及び画像処理ユニット110に対する座標変換部160により生成された座標の出力を制御するので、多画面表示中に、指示位置に重なる入力画像の画像ソースに対応して、座標の出力を制御できる。このため、複数のPC13または画像処理ユニット110から座標の出力先を的確に選択するなど、位置を指示する操作に適切に対応して座標を出力できる。
【0104】
また、出力制御部101は、位置検出ユニット150により検出された指示位置が複数の領域にまたがる軌跡を描く場合には、指示位置の座標の出力を行わないので、各画像ソースが統合されない動作を行わないようにできる。これにより、複数の画像ソースからの入力画像にまたがる操作に適切に対応するとともに、複数の装置が統合されていない動作を行うことによる画像の乱れ等を防止できる。
【0105】
さらに、出力制御部101は、位置検出ユニット150によって検出された指示位置が、スクリーンSCに表示された複数の入力画像のうち特定の入力画像が表示された領域に含まれない場合や、指示位置が入力画像の表示領域から外に出た場合に、指示位置の座標の出力を停止し、或いは、指示位置の座標を出力する出力先を変更するので、例えば予め設定された画像ソースからの入力画像、設定された位置に表示されている入力画像、或いは、何らかの条件を満たす入力画像など、特定の入力画像が表示された領域に、検出された指示位置が含まれない場合に、座標の出力が停止され、あるいは座標の出力先が変更される。これにより、画像ソースである画像供給装置が、処理対象である画像が表示されている領域に含まれない無関係な座標に基づいて想定外の動作を行わないよう制御を行える。これにより、複数の画像ソースからの入力画像にまたがる操作に適切に対応するとともに、複数の画像供給装置が統合されていない動作を行うことによる画像の乱れ等を防止できる。
【0106】
また、出力制御部101は、制御部103のミュート機能により投射部30による投射が停止されている間は、座標変換部160により生成された座標の出力を停止して、表示停止中の指示位置に基づく処理を停止させることができるので、表示を再開した際に意図しない画像が表示される等の事態を防止できる。
【0107】
さらに、PJインタラクティブモードにおけるプロジェクター11、及び、PCインタラクティブモードにおけるPC13は、指示位置の座標に基づいて、スクリーンSCに表示される画像に重ねて付加画像としての軌跡12Dを描画する描画処理、スクリーンSCに表示されたポインター12Aを移動させる処理、及び、スクリーンSCに表示されたメニューバー12Bにおいて指示位置に対応するボタンに設定された機能を実行するGUI処理等を実行するので、指示体12を用いた操作性の高い操作環境を実現できる。また、このようなプロジェクター11及びPC13の機能に対応して、座標の出力を適切に制御するので、描画、ポインターの表示あるいはGUI操作の実行時の表示の混乱等を回避できる。
【0108】
なお、上記実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、上記実施形態においては、PC13、または、プロジェクター11が備える画像処理ユニット110に対して座標変換部160が変換した変換後の座標を、出力切替部163が選択した出力先に出力し、PC13または画像処理ユニット110が、ポインター12A、メニューバー12B等を描画する構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、プロジェクター11内に、ポインター12Aやメニューバー12B等、画像データに重畳して描画する画像を生成する画像処理ユニット120を設け、出力切替部163が画像処理ユニット120に座標を出力可能な構成としてもよい。
【0109】
図16に示すプロジェクター51は、実施形態のプロジェクター11と同様の各機能部を有するとともに、指示体12の指示位置に対応してポインター12A、メニューバー12B等を描画する画像処理ユニット120を備えている。画像処理ユニット120は、座標変換部160から入力された座標に従って、画像データに重畳する画像を生成する画像処理部122と、画像処理部122が画像を生成する際にデータを展開するフレームメモリー124とを備えている。
座標変換部160が、変換後の座標データを画像処理ユニット120に出力すると、画像処理ユニット120は、画像処理部122によってポインター12Aやメニューバー12Bの画像を描画し、表示制御部107が展開している画像と同じ解像度の画像を生成して、画像処理部113に出力する。ここで画像処理部122が出力する画像は、ポインター12Aまたはメニューバー12B等の画像を含む。画像処理部113は、画像処理部122から入力された画像を、フレームメモリー115に展開した画像と合成する。これにより、画像処理ユニット110は、速やかにポインター12Aやメニューバー12Bを入力画像に重畳して表示できる。
【0110】
この構成では、例えば、設定データ105B(図10)の設定により、座標の出力先として画像処理ユニットが設定されている場合に、画像処理ユニット110及び画像処理ユニット120の両方に座標を出力するよう設定してもよい。また、座標変換部160から画像処理ユニット110に座標を出力し、この座標が画像処理ユニット110から画像処理ユニット120に出力されるように、設定データ105Bに設定してもよい。或いは、指示体12の指示位置に基づくポインター12A、メニューバー12B、描画図形12C及び軌跡12Dの描画を画像処理ユニット120のみが行う構成とした場合に、座標変換部160から画像処理ユニット120のみに座標を出力するよう設定データ105Bに設定してもよい。また、設定データ105Bに設定された出力先が「画像処理ユニット」となっている場合に、出力制御部101が、画像処理ユニット120のみに座標を出力する処理を行ってもよい。さらに、多画面表示機能の実行中は、出力切替部163の座標の出力先を、画像処理ユニット110、120の両方または画像処理ユニット120にすることも可能である。
【0111】
また、上記実施形態の構成では、座標算出部159により算出された指示位置の座標が、画像データが表示された領域に含まれない場合に、座標変換部160が変換後の座標を出力しない構成を例に挙げて説明したが、本発明はこれに限定されない。例えば、プロジェクター11が外部から入力される信号の種別を判別しているとき、プロジェクター11が投射している画像を一時停止しているとき、又はプロジェクター11が画像の投射を中断しているとき等に、座標変換部160が変換後の座標を出力しない構成としても良い。なお、プロジェクター11は、プロジェクター11の前面に設けられたシャッター等の可動な遮蔽部(不図示)によって投射光学系33が遮られたときや、操作パネル41やリモコン等の操作部を介して画像の投射を中断する旨の指示を受けた場合等に、制御部103の制御により、画像の投射を中断することができる。
【0112】
また、上記実施形態の構成において、位置検出ユニット150が有する撮像部153及び撮影制御部155を、プロジェクター11に外部接続されたデジタルカメラにより代替することも可能である。この場合のデジタルカメラは、制御部103の制御により撮影を実行して撮影画像データを位置検出処理部157に出力するものであればよい。また、このデジタルカメラとプロジェクター11とを接続するインターフェイスとしてはUSB等の汎用インターフェイスを利用できるので、容易に実現可能である。
【0113】
さらに、上記実施形態では、PC13とプロジェクター11とがケーブル等により有線接続される構成を例に挙げて説明したが、プロジェクター11とPC13との接続形態は任意である。例えば、プロジェクター11とPC13とが無線LAN等の近距離無線通信により相互に接続され、画像データや座標データを無線通信回線を介して送受信する構成としてもよい。
また、上記実施形態の構成において、指示体12は、棒状のものやペン型のものに限定されず、例えばユーザーの指を指示体12として、その指示位置を検出する構成とすることも可能である。
さらに、上記実施形態の構成では、位置検出ユニット150が撮影画像データに基づいて指示体12による指示位置を検出する構成を例に挙げて説明したが、本発明はこれに限定されず、例えば、表示面としてのスクリーンSC或いは他の表示方式における表示画面に、感圧式や静電容量式のタッチパネルを設け、このタッチパネルによって指示体12としてのユーザーの指や棒体等の接触を検出する構成としてもよい。
【0114】
また、上記実施形態では、光源が発した光を変調する手段として、光変調装置32がRGBの各色に対応した3枚の透過型または反射型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、1枚の液晶パネルとカラーホイールを組み合わせた方式、3枚のデジタルミラーデバイス(DMD)を用いた方式、1枚のデジタルミラーデバイスとカラーホイールを組み合わせたDMD方式等により構成してもよい。ここで、表示部として1枚のみの液晶パネルまたはDMDを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びDMD以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。
【0115】
また、本発明の表示装置は、スクリーンSCに画像を投射するプロジェクターに限定されず、液晶表示パネルに画像/画像を表示する液晶モニターまたは液晶テレビ、或いは、PDP(プラズマディスプレイパネル)に画像/画像を表示するモニター装置またはテレビ受像機、OLED(Organic light-emitting diode)、OEL(Organic Electro-Luminescence)等と呼ばれる有機EL表示パネルに画像/画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置など、各種の表示装置も本発明の画像表示装置に含まれる。この場合、液晶表示パネル、プラズマディスプレイパネル、有機EL表示パネルが表示手段に相当し、その表示画面が表示面に相当する。より詳細には、画像を表示可能な領域全体が投射可能領域11Aに相当し、常に投射可能領域11Aの全体に画面を表示する場合には、投射可能領域11Aと実投射領域11Bとが等しい場合に相当する。
【0116】
また、図2、図16に示したプロジェクター11、51の各機能部、及び、図3に示したPC13の各機能部は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。その他、プロジェクター11及びPC13を含む表示システム10の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、上記実施形態において記憶部105が記憶していた制御プログラム105Aを、プロジェクター11が通信ネットワークを介して接続された他の装置からダウンロードして実行しても良いし、可搬型の記録媒体に制御プログラム105Aを記録して、この記録媒体から上記各プログラムを読み取って実行する構成としても良い。PC13が記憶していた表示制御プログラム13Aについても同様に、PC13が他の装置から表示制御プログラム13Aをダウンロードして実行しても良いし、可搬型の記録媒体に記録された表示制御プログラム13AをPC13が読み取って実行する構成としても良い。
さらに、PJインタラクティブモードとPCインタラクティブモードとの切り替えは、操作パネル41やリモコン等の操作を契機として実行されてもよいが、例えばメニューバー12BにPJインタラクティブモードとPCインタラクティブモードとを切り替えるためのボタンを設けて、このボタンをユーザーが指示体12により操作し、この操作をプロジェクター11が検出したときに、これを契機として動作モードを切り替えても良い。この場合に、PJインタラクティブモードからPCインタラクティブモードモードへ、或いはその逆の動作モードの切り替えに連動して、座標情報の出力先を切り替えても良い。
【符号の説明】
【0117】
3…投射ユニット(表示手段)、10…表示システム、11、51…プロジェクター(表示装置)、11A…投射領域、11B…実投射領域、11C…非表示領域、12…指示体、13…PC(処理手段)、13A…表示制御プログラム、18A〜18D、18E、18G、18H…領域、18F…非表示領域、30…投射部(投射手段)、31…照明光学系(光源)、32…光変調装置(光変調手段)、101…出力制御部(出力制御手段、ソース判別手段)、102…外部I/F(画像入力手段)、103…制御部(表示停止制御手段、設定手段)、105A…制御プログラム、107…表示制御部(設定画面表示手段)、110、120…画像処理ユニット(処理手段、表示制御手段)、150…位置検出ユニット(位置検出手段)、160…座標変換部(位置情報生成手段)、SC…スクリーン(表示面)。
【特許請求の範囲】
【請求項1】
画像ソースから入力される入力画像を表示面に表示する表示手段と、
前記表示面における指示位置を検出する位置検出手段と、
前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、
前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、
前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段と、
を備えることを特徴とする表示装置。
【請求項2】
外部の装置に接続可能に構成され、前記出力制御手段は、前記位置情報生成手段により生成された位置情報の、前記処理手段又は前記外部の装置に対する出力を制御することを特徴とする請求項1記載の表示装置。
【請求項3】
前記外部の装置を含む複数の前記画像ソースから入力画像を入力可能な画像入力手段と、
前記画像入力手段に入力される入力画像のいずれか一以上の入力画像を前記表示手段により表示させる表示制御手段と、
前記表示制御手段により表示中の入力画像を入力する前記画像ソースの種類を判別するソース判別手段とを備え、
前記出力制御手段は、前記ソース判別手段により判別された前記画像ソースの種類に基づいて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする請求項2記載の表示装置。
【請求項4】
前記表示制御手段は、前記表示手段によって、前記画像入力手段に複数の前記画像ソースから入力される複数の前記入力画像を、前記表示面に設けられた複数の領域のそれぞれに表示させ、
前記出力制御手段は、前記位置検出手段により検出された指示位置がどの前記領域に属するかを判定し、指示位置が属する前記領域に表示されている前記入力画像の前記画像ソースの種類に応じて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする請求項3記載の表示装置。
【請求項5】
前記出力制御手段は、前記位置検出手段により検出された指示位置が、前記表示面に表示された複数の前記入力画像のうち特定の前記入力画像が表示された領域に含まれない場合に、前記位置情報生成手段により生成された前記位置情報の出力を停止し、或いは、前記位置情報を出力する出力先を変更することを特徴とする請求項4記載の表示装置。
【請求項6】
前記表示手段による表示を停止させる表示停止制御手段をさらに備え、
前記出力制御手段は、前記表示停止制御手段により前記表示手段による表示が停止されている間は、前記位置情報生成手段により生成された位置情報の出力を停止することを特徴とする請求項1から5のいずれかに記載の表示装置。
【請求項7】
前記処理手段は、前記位置情報生成手段により生成された位置情報をもとに、前記表示面に表示される画像の少なくとも一部を描画する描画処理、前記表示面に前記位置情報に対応するポインターを表示する処理、及び、当該処理手段の機能に対応づけられた操作画像が前記表示面に表示された状態で、前記位置情報に基づいて選択される前記操作画像に対応する動作を実行するGUI処理の少なくともいずれかを実行することを特徴とする請求項1から6のいずれかに記載の表示装置。
【請求項8】
前記位置情報生成手段により生成された位置情報の出力先を設定する設定画面を前記表示手段により表示させる設定画面表示手段と、
前記設定画面表示手段により前記設定画面が表示された状態で、前記位置検出手段により検出された指示位置に基づいて出力先の設定を行う設定手段と、を備え、
前記出力制御手段は、前記設定手段により設定された出力先に、前記位置情報生成手段が生成した前記位置情報を出力することを特徴とする請求項1から7のいずれかに記載の表示装置。
【請求項9】
前記表示手段として、光源と、前記光源が発した光を前記入力画像に基づいて変調する光変調手段と、前記光変調手段により変調された光を前記表示面に投射する投射手段とを備えるプロジェクターであることを特徴とする請求項1から8のいずれかに記載の表示装置。
【請求項10】
画像ソースから入力される入力画像を表示面に表示する表示装置を制御する表示装置の制御方法であって、
前記表示面における指示位置を検出し、
検出した指示位置を示す位置情報を生成し、
前記位置情報に基づいて処理を実行する処理手段に対する前記位置情報の出力を制御すること、
を特徴とする表示装置の制御方法。
【請求項11】
画像ソースから入力される入力画像を表示面に表示する表示装置を制御するコンピューターが実行可能なプログラムであって、
前記コンピューターを、
前記表示面における指示位置を検出する位置検出手段と、
前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、
前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、
前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段と、
して機能させるためのプログラム。
【請求項1】
画像ソースから入力される入力画像を表示面に表示する表示手段と、
前記表示面における指示位置を検出する位置検出手段と、
前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、
前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、
前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段と、
を備えることを特徴とする表示装置。
【請求項2】
外部の装置に接続可能に構成され、前記出力制御手段は、前記位置情報生成手段により生成された位置情報の、前記処理手段又は前記外部の装置に対する出力を制御することを特徴とする請求項1記載の表示装置。
【請求項3】
前記外部の装置を含む複数の前記画像ソースから入力画像を入力可能な画像入力手段と、
前記画像入力手段に入力される入力画像のいずれか一以上の入力画像を前記表示手段により表示させる表示制御手段と、
前記表示制御手段により表示中の入力画像を入力する前記画像ソースの種類を判別するソース判別手段とを備え、
前記出力制御手段は、前記ソース判別手段により判別された前記画像ソースの種類に基づいて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする請求項2記載の表示装置。
【請求項4】
前記表示制御手段は、前記表示手段によって、前記画像入力手段に複数の前記画像ソースから入力される複数の前記入力画像を、前記表示面に設けられた複数の領域のそれぞれに表示させ、
前記出力制御手段は、前記位置検出手段により検出された指示位置がどの前記領域に属するかを判定し、指示位置が属する前記領域に表示されている前記入力画像の前記画像ソースの種類に応じて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする請求項3記載の表示装置。
【請求項5】
前記出力制御手段は、前記位置検出手段により検出された指示位置が、前記表示面に表示された複数の前記入力画像のうち特定の前記入力画像が表示された領域に含まれない場合に、前記位置情報生成手段により生成された前記位置情報の出力を停止し、或いは、前記位置情報を出力する出力先を変更することを特徴とする請求項4記載の表示装置。
【請求項6】
前記表示手段による表示を停止させる表示停止制御手段をさらに備え、
前記出力制御手段は、前記表示停止制御手段により前記表示手段による表示が停止されている間は、前記位置情報生成手段により生成された位置情報の出力を停止することを特徴とする請求項1から5のいずれかに記載の表示装置。
【請求項7】
前記処理手段は、前記位置情報生成手段により生成された位置情報をもとに、前記表示面に表示される画像の少なくとも一部を描画する描画処理、前記表示面に前記位置情報に対応するポインターを表示する処理、及び、当該処理手段の機能に対応づけられた操作画像が前記表示面に表示された状態で、前記位置情報に基づいて選択される前記操作画像に対応する動作を実行するGUI処理の少なくともいずれかを実行することを特徴とする請求項1から6のいずれかに記載の表示装置。
【請求項8】
前記位置情報生成手段により生成された位置情報の出力先を設定する設定画面を前記表示手段により表示させる設定画面表示手段と、
前記設定画面表示手段により前記設定画面が表示された状態で、前記位置検出手段により検出された指示位置に基づいて出力先の設定を行う設定手段と、を備え、
前記出力制御手段は、前記設定手段により設定された出力先に、前記位置情報生成手段が生成した前記位置情報を出力することを特徴とする請求項1から7のいずれかに記載の表示装置。
【請求項9】
前記表示手段として、光源と、前記光源が発した光を前記入力画像に基づいて変調する光変調手段と、前記光変調手段により変調された光を前記表示面に投射する投射手段とを備えるプロジェクターであることを特徴とする請求項1から8のいずれかに記載の表示装置。
【請求項10】
画像ソースから入力される入力画像を表示面に表示する表示装置を制御する表示装置の制御方法であって、
前記表示面における指示位置を検出し、
検出した指示位置を示す位置情報を生成し、
前記位置情報に基づいて処理を実行する処理手段に対する前記位置情報の出力を制御すること、
を特徴とする表示装置の制御方法。
【請求項11】
画像ソースから入力される入力画像を表示面に表示する表示装置を制御するコンピューターが実行可能なプログラムであって、
前記コンピューターを、
前記表示面における指示位置を検出する位置検出手段と、
前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、
前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、
前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段と、
して機能させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2013−88840(P2013−88840A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−225602(P2011−225602)
【出願日】平成23年10月13日(2011.10.13)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願日】平成23年10月13日(2011.10.13)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
[ Back to top ]