光学輝度補正装置、光学輝度補正方法及び光学輝度補正プログラム
【課題】プロジェクタからコンテンツを投影している間に、照明環境に変化がある場合、その照明環境の変化を検出し、カメラで観測したＲＧＢ値が所定の輝度値となるように、その変化に応じてプロジェクタからの出力輝度を補正することが可能な光学輝度補正装置を提供する。
【解決手段】プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、カメラにより得られた画像から、投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、照明変化補正情報に基づき、プロジェクタにより投影される投影画像の輝度を補正する投影輝度補正手段とを備える。
【解決手段】プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、カメラにより得られた画像から、投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、照明変化補正情報に基づき、プロジェクタにより投影される投影画像の輝度を補正する投影輝度補正手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクタ・カメラシステムにおいて、照明状態の変化に応じて、カメラで観測した各画素の輝度値が所定の値となるように、プロジェクタから投影する各画素の出力値を補正または調整する光学輝度補正装置、光学輝度補正方法及び光学輝度補正プログラムに関する。
【背景技術】
【０００２】
従来から、プロジェクタを使ったフロント・プロジェクション、またはリア・プロジェクションにおいては、スクリーンを取り巻く照明環境に変化があると、スクリーン上における光学輝度が変化するという問題がある。例えば、照明を消した暗室状態と蛍光灯等によって照明した環境では、スクリーン上の投影像それぞれの輝度は異なる。また、スライドを使ったプレゼンテーションの実環境では、スライドを投影した初期状態から照明状態が変化すると、スクリーン上での見え方が変化するため、環境の明るさに応じてプロジェクタからの出力輝度値を調整することが必要となる。
【０００３】
このような問題を解決するために、プロジェクタ・カメラシステムにおいて、プロジェクタからのＲＧＢ輝度値とカメラで観測されたＲＧＢ輝度値間の相関関係に着目し、カラー混合行列（Color Mixing Matrix）と呼ばれる３×３の行列Ｖを使って、所定のＲＧＢ輝度値Ｃ＝（ＣＲ，ＣＧ，ＣＢ）をカメラが観測するようにプロジェクタからのＲＧＢ出力値Ｐ＝（ＰＲ，ＰＧ，ＰＢ）を補正する方法が知られている（例えば、非特許文献１参照）。
【０００４】
しかしながら、非特許文献１では環境光の影響が考慮されていないため、照明変化があると所定の輝度値を観測できるように、プロジェクタからの輝度値を補正することは困難である。このような課題に対して、環境光を考慮して、外界の環境が変化するようなダイナミックシーンにおいても輝度補正を行う方法が知られている（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】S. K. Nayar, H. Peri, M. D. Grossberg, and P. N. Belhumeur:"A Projection System with Radiometric Compensation for Screen Imperfections", Proc. of ICCV Workshop on Projector-Camera Systems (PROCAMS), 2003.
【非特許文献２】K. Fujii, M. D. Grossberg, and S. K. Nayar: "A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments", Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１の方法は、プロジェクタのＲＧＢ値とカメラを使って観測されるＲＧＢ値の間を線形結合で結び付けたシンプルな輝度補正モデルであるため、輝度補正をリアルタイムで行うことが可能である。しかしながら、環境光を考慮していないため、室内環境での照明変化がある場合には、その変化に追従して輝度を補正することができないという問題がある。
【０００７】
一方、非特許文献２の方法は、照明環境の変化が微小であると仮定し、投影される対象表面での反射特性の変化、すなわち、ダイナミックシーンに対して輝度補正を行うことが可能である。しかしながら、非特許文献１の方法と同様に、照明環境が変化しないという前提に変わりはなく、プロジェクタ投影環境において照明変化があった場合には、その変化に追従してプロジェクタからの出力輝度を補正することが困難であるという問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、プロジェクタからコンテンツを投影している間に、照明環境に変化がある場合、その照明環境の変化を検出し、カメラで観測したＲＧＢ値が所定の輝度値となるように、その変化に応じてプロジェクタからの出力輝度を補正することが可能な光学輝度補正装置、光学輝度補正方法及び光学輝度補正プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段とを備えることを特徴とする。
【００１０】
本発明は、前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を出力する事前補正手段をさらに備え、前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする。
【００１１】
本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段と、前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を記憶した記憶手段とを備え、前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする。
【００１２】
本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正するために、照明変化検出手段と、投影輝度補正手段とを備える光学輝度補正装置における光学輝度補正方法であって、前記照明変化検出手段が、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、前記投影輝度補正手段が、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップとを有することを特徴とする。
【００１３】
本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される画像の輝度を補正するために、照明変化検出手段と、投影輝度補正手段とを備える光学輝度補正装置上のコンピュータに光学輝度補正処理を行わせる光学輝度補正プログラムであって、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、プロジェクタを使ってスクリーンにコンテンツを投影している間に、照明の変化を検出し、その変化に順応してプロジェクタからの出力輝度を補正するため、照明変化に追従した輝度補正が可能になる。さらに、複数のプロジェクタを使用して同一の位置に投影するようなマルチプロジェクタシステムにおいても、各プロジェクタに照明変化に追従した輝度補正が利用できるため、高品質で高コントラストな投影像を維持することができるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の処理動作を示すフローチャートである。
【図３】図１に示す事前補正部８の詳細な処理動作を示すフローチャートである。
【図４】図１に示す照明変化検出部７の詳細な処理動作を示すフローチャートである。
【図５】図１に示す投影輝度補正部４の詳細な処理動作を示すフローチャートである。
【図６】図１に示す装置の変形例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の一実施形態による光学輝度補正装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、スクリーン等に画像を投影して映し出すプロジェクタである。符号２は、プロジェクタ１によって映し出す画像のコンテンツデータが予め記憶されたコンテンツデータベース（以下、コンテンツＤＢと称する）である。符号３は、コンテンツＤＢ２から画像を映し出すべきコンテンツデータを読み出し、映像信号に変換して出力する再生部である。符号４は、再生部３から出力する映像信号に対して、照明変化に応じてプロジェクタ１で投影される画像の輝度を補正して出力する投影輝度補正部である。
【００１７】
符号５は、スクリーン等に映し出された投影画像を撮像して得られた画像データを出力するカメラである。符号６は、カメラ１から出力された画像データを入力する画像入力部である。符号７は、画像入力部６により入力した画像データにおいて照明変化があったか否かを検出し、検出した照明変化の状況に基づく照明変化補正情報を投影輝度補正部４に対して出力する照明変化検出部である。符号８は、プロジェクタ１で投影された画像のＲＧＢ輝度値とカメラで観測したＲＧＢ輝度値を対応付けて、初期状態における輝度を補正するための事前補正情報を投影輝度補正部４に対して出力する事前補正部である。
【００１８】
投影輝度補正部４は、照明変化検出部７から出力する照明変化補正情報と、事前補正部８から出力する事前補正情報とに基づいて、プロジェクタ１に対して出力する映像信号を補正する。画像入力部６がカメラ５から入力する画像データ（サンプル画像）は、事前補正部８、または、照明変化検出部７において用いられる。画像入力部６が入力する画像の例としては、スクリーン全体が隠れることなく写された画像を用いることが望ましい。例えば、天井付近の上方に設置されたカメラからスクリーンのみが写るよう撮影された画像を用いる。
【００１９】
次に、図２を参照して、図１に示す装置全体の処理動作を説明する。図２は、図１に示す装置が光学輝度補正を行う動作を示すフローチャートである。まず、事前補正部８は、初期状態であるか否かを判定し（ステップＳ１）、初期状態であれば事前輝度補正の処理を行って、事前補正情報を投影輝度補正部４へ出力する（ステップＳ２）。初期状態で無い場合、事前補正部８は、事前輝度補正処理を行わない。ここでいう初期状態とは、プロジェクタ１の電源を投入した直後やプロジェクタ１の設定を変更した直後などの事前に輝度補正を行うべき状態のことである。
【００２０】
次に、画像入力部６は、カメラ５によって撮像して得られたスクリーン画像データをカメラ５から取得し（ステップＳ３）、この取得したスクリーン画像データを照明変化検出部７へ出力する。これを受けて、照明変化検出部７は、スクリーン画像データから照明変化を検出し（ステップＳ４）、照明変化補正情報を投影輝度補正部４へ出力する。
【００２１】
次に、投影輝度補正部４は、照明変化検出部７から出力される照明変化補正情報に基づき、照明補正の処理を行い（ステップＳ５）、再生部３から出力するコンテンツの映像信号に対して輝度の補正を行う。そして、投影輝度補正部４は、投影するべき対象のコンテンツデータがある限り、投影輝度の補正処理を繰り返し行い（ステップＳ７）、投影するべきコンテンツデータ無くなった時点で処理を終了する。
【００２２】
次に、図３を参照して、図１に示す事前補正部８の詳細な処理動作を説明する。事前補正部８は、初期状態におけるプロジェクタからの出力輝度を補正する。この補正処理は、室内から屋内に装置の設置環境を変更するなど、照明環境が劇的に変化するような際に必要となる補正である。ここでいう初期状態とは、プロジェクタ１に電源を入れたときの状態、あるいは、プロジェクタの内部設定を変更した時点を指し、照明変化を検出するときの基準となる照明状態を初期値として設定し、初期状態での輝度補正に必要なパラメータ（以下、補正パラメータ）を記憶する。
【００２３】
その初期状態での補正パラメータを推定するには非特許文献１または非特許文献２の従来技術を利用する。ここでは、スクリーン表面が時間と共に不変であると仮定する。すなわち、シーンが静的であり、ダイナミックシーンは対象外とする。さらに、プロジェクタ１から投影された画像の輝度値、並びに、カメラ５において撮像される輝度値が線形的に応答すると仮定する。非特許文献１または非特許文献２によれば、プロジェクタ１から出力するＲＧＢ値Ｐ＝（ＰＲ，ＰＧ，ＰＢ）と、カメラで観測するＲＧＢ値Ｃ＝（ＣＲ，ＣＧ，ＣＢ）は、（１）式、（２）の関係で結びつけることができる。
【００２４】
【数１】
【００２５】
ここで、Ｆ＝（ＦＲ，ＦＧ，ＦＢ）はプロジェクタ以外の環境光の成分である。補正パラメータとして、事前補正部８では、（２）式の行列Ｖの３×３の行列要素と環境光Ｆのベクトル量を算出する。
【００２６】
非特許文献１または非特許文献２に従えば、少なくとも４枚の画像を取得すればこれらのパラメータを得ることができる。例えば、全画素の輝度値をＰ０＝（Ｐｒ，Ｐｇ，Ｐｂ）としてプロジェクタ１から出力するときのカメラ５による観測画像での輝度値をＣ０＝（Ｃｒ，Ｃｇ，Ｃｂ）とする。次に、Ｒチャネルの輝度値をΔＲ分変化させ、全画素の輝度値をＰ１＝（Ｐｒ＋ΔＲ，Ｐｇ，Ｐｂ）としてプロジェクタ１から出力し、カメラ５で観測したＲＧＢ輝度値をＣ１＝（Ｃｒ１，Ｃｇ１，Ｃｂ１）とする。
【００２７】
同様に、Ｇチャネルの輝度値をΔＧ分変化させ、全画素の輝度値をＰ２＝（Ｐｒ，Ｐｇ＋ΔＧ，Ｐｂ）としてプロジェクタ１から出力し、カメラ５で観測したＲＧＢ輝度値をＣ２＝（Ｃｒ２，Ｃｇ２，Ｃｂ２）とする。同様に、Ｂチャネルの輝度値をΔＢ分変化させ、全画素の輝度値をＰ３＝（Ｐｒ，Ｐｇ，Ｐｂ＋ΔＢ）としてプロジェクタ１から出力し、カメラ５で観測したＲＧＢ輝度値をＣ３＝（Ｃｒ３，Ｃｇ３，Ｃｂ３）とする。このように、４種類の画像を観測し、各画素ごとに（３）、（４）、（５）式の計算を行えば、（２）式の行列Ｖの３×３の行列要素を求めることができる。
【００２８】
【数２】
【００２９】
一方、環境光の成分は、カラー混合行列Ｖが得られると、（６）式により算出することができる。
Ｆ＝Ｃ０−ＶＰ０ （６）
【００３０】
または、カラー混合行列の要素の精度を上げるために、各チャネルあたり２枚以上の画像を使っても良い。例えば、Ｒチャネルの輝度値を
【数３】
分変化させ、全画素の輝度値を
【数４】
とし、合計Ｎ枚の画像をプロジェクタ１から出力する。一方、各画像をカメラ５で観測したＲＧＢ輝度値をそれぞれ
【数５】
とすると、各画素ごとに（７）、（８）、（９）式の連立方程式が得られる。
【００３１】
【数６】
【００３２】
これらの連立方程式を解けば、行列要素ＶＲＲ，ＶＧＲ，ＶＢＲが得られる。同様に、Ｇチャネル、Ｂチャネルの輝度を複数段階に変化させたサンプル画像を使って、行列要素ＶＲＧ，ＶＧＧ，ＶＢＧ、並びに、ＶＲＢ，ＶＧＢ，ＶＢＢを得ることができる。
【００３３】
前述した原理を踏まえた上で、図３を参照して事前補正部８の処理動作を説明する。まず、事前補正部８は、補正パラメータに必要な枚数のサンプル画像が得られたか否かを判定（ステップＳ１１）しながら、基準とするサンプル画像、基準画像に対してＲチャネルだけを変化させた画像、基準画像に対してＧチャネルだけを変化させた画像、基準画像に対してＢチャネルだけを変化させた画像をプロジェクタ１から出力することによりサンプル画像のセットを行い（ステップＳ１２）、カメラ５によってそれぞれに対応するサンプル画像を取得する（ステップＳ１３）。
【００３４】
次に、十分な枚数の画像が得られた時点で事前補正部８は、対象画素について補正パラメータを求めるか否かの判定を行う（ステップＳ１４）。この判定は、全画素について求めても構わないが、スクリーンとプロジェクタ１、カメラ５間がキャリブレーションされていれば、プロジェクタ１から出力する画像のどの画素がカメラ５で得た画像上のどの画素に対応するかが決まるため、スクリーン以外で反射して観測された画素は処理対象外として扱うことができる。すなわち、全ての画素の補正パラメータを得るより、スクリーンに投影される画素の補正パラメータを求めることが効率的であるため、対象画素とは、スクリーンあるいは所定の平面領域に投影される画素のことである。
【００３５】
ある画素が対象画素と判定された場合、事前補正部８は、対象画素を抽出して（ステップＳ１５）、プロジェクタ１から出力した画素値とサンプル画像上での画素値から、（３）式〜（５）式を使って、行列Ｖの３×３の行列要素を算出する（ステップＳ１６）。これらの要素が得られたならば、事前補正部８は、（６）式を使って環境光成分のベクトルＦを得る（ステップＳ１７）。事前補正部８は、以上の補正パラメータが得られると一時的に内部のメモリに格納し（ステップＳ１８）、ステップＳ１４に戻って次の画素の処理を行う。この処理を対象画素の全てに行うと、事前補正部８は、行列Ｖとベクトル量Ｆを算出して記憶する。
【００３６】
次に、図４を参照して、図１に示す照明変化検出部７の詳細な処理動作を説明する。図４は、図１に示す照明変化検出部７の詳細な処理動作を示すフローチャートである。図４に示す処理動作は、図２に示すスクリーン画像の取得（ステップＳ３）と、照明変化の検出（ステップＳ４）と、照明補正の処理（ステップＳ５）に相当する。照明変化検出部７は、プロジェクタ１によりコンテンツデータを投影する間に、画像入力部６から出力される画像データに基づき照明変化を常時検出する。
【００３７】
まず、照明変化検出部７は、画像入力部６から出力するサンプル画像データを取得する（ステップＳ２１）。続いて、照明変化検出部７は、時刻ｔで取得したサンプル画像をＣ（ｔ）、初期状態で取得したサンプル画像をＣ（０）とし、輝度差分ΔＣ（ｔ）を（１０）式によって算出する（ステップＳ２２）。そして、照明変化検出部７は、ある対象とする画素における差分値の絶対平均値を算出する。
ΔＣ（ｔ）＝Ｃ（ｔ）−Ｃ（０） （１０）
【００３８】
続いて、照明変化検出部７は、算出した差分値の絶対平均値が所定の値より大きいか否かに基づき、照明変化が検出されたか否かを判定する（ステップＳ２３）。もし、輝度差分ΔＣ（ｔ）の絶対平均値が所定の値以下であれば、照明変化がないと判定し、ステップＳ２１に戻って、引き続いて照明変化の検出のためのサンプル画像を取得する。
【００３９】
一方、輝度差分ΔＣ（ｔ）の絶対平均値が所定の値以下でなく、照明変化ありと判定された場合、照明変化検出部７は、対象画素であるか否かの判定を行う（ステップＳ２４）ことにより各画素を選び、照明変化に伴う輝度補正量Ｆ（ｔ）を（１１）式によって算出する（ステップＳ２５）。
Ｆ（ｔ）＝Ｆ（０）−ΔＣ（ｔ） （１１）
ただし、Ｆ（０）は初期状態での環境光のＲＧＢ輝度値として記憶しておいたベクトル量である。照明変化検出部７は、ここで求めた輝度補正量Ｆ（ｔ）を照明変化補正情報として投影輝度補正部４へ出力する。
【００４０】
次に、図５を参照して、図１に示す投影輝度補正部４の詳細な処理動作を説明する。図５は、図１に示す投影輝度補正部４の詳細な処理動作を示すフローチャートである。図５に示すコンテンツの輝度補正（ステップＳ６）に相当する。投影輝度補正部４は、時刻ｔにおいてカメラ５により取得したＲＧＢ輝度値が所定の輝度値となるようにプロジェクタ１からスクリーンに投影される画像の輝度値を補正する。
【００４１】
まず、投影輝度補正部４は、照明変化が検出されたか否かに応じて、いずれの補正量を使うかを判定する（ステップＳ３１）。カメラ５により取得したＲＧＢ輝度値が、初期状態で補正して得られた観測画像Ｃ（０）とほぼ同じ、すなわち、照明変化検出部７において照明変化がないと判定された場合は照明変化に伴う投影輝度補正量が与えれないので、事前補正部８において得た補正量を使って、プロジェクタ１により投影される画像のＲＧＢ輝度値Ｐ（ｔ）を（１２）式により算出する（ステップＳ３３）。
Ｐ（ｔ）＝ Ｖ−１（Ｃ（０）−Ｆ（０）） （１２）
【００４２】
一方、照明変化があった場合は照明変化検出部７から出力された照明補正データ輝度補正量Ｆ（ｔ）を使って、プロジェクタ１により投影される画像のＲＧＢ輝度値Ｐ（ｔ）を（１３）式により算出する（ステップＳ３２）。
Ｐ（ｔ）＝ Ｖ−１（Ｃ（０）−Ｆ（ｔ）） （１３）
【００４３】
投影輝度補正部４は、コンテンツデータを投影する際に、（１２）式または（１３）式によって、全ての画素の補正画素値Ｐ（ｔ）を算出して、再生部３から出力される映像信号の輝度補正を行う（ステップＳ３４）。そして、補正した映像信号をプロジェクタ１へ出力することにより、スクリーンにコンテンツ画像を投影する。この処理を投影するコンテンツが存在する場合に連続して行う（ステップＳ３５、Ｓ３６）。これにより、照明変化に順応してコンテンツ画像を安定的に投影することができる。
【００４４】
次に、図６を参照して、図１に示す光学輝度補正装置の変形例を説明する。図６は、図１に示す光学輝度補正装置の変形例の構成を示すブロック図である。図６において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図６に示す装置が図１に示す装置と異なる点は、事前補正部８に代えてパラメータ記憶部９が設けられている点である。パラメータ記憶部９には、前述した事前補正部８によって得られるパラメータ（行列Ｖとベクトル量Ｆ）と同様のパラメータが他の手段によって求められ、予め記憶されている。投影輝度補正部４は、事前補正部８から出力されるパラメータに代えて、パラメータ記憶部９に記憶されているパラメータを読み出し、図１に示す投影輝度補正部４と同様の処理動作を行う。これにより、プロジェクタ１の電源を投入する度に、事前輝度補正の処理を行う必要がなくなり、プロジェクタ１の使用前の準備作業を軽減することができる。これは、プロジェクタ１を使用する場所とスクリーンが変化せず、使用環境が同じ状況で使用する場合などに有効である。
【００４５】
なお、前述した説明においては、１台のプロジェクタ１と１台のカメラ５、すなわち、ペアのプロジェクタ・カメラシステムにおける光学輝度を補正する例を説明したが、複数のプロジェクタまたはカメラを使ったシステムへの適用も容易に行うことが可能である。
【００４６】
また、図１、図６における再生部３は、プロジェクタ１と投影輝度補正部４との間に設けられていてもよい。この場合、投影輝度補正部４は、コンテンツＤＢ２からコンテンツデータを読み出して、読み出したコンテンツデータに対して前述した輝度補正処理を施し、プロジェクタ１と投影輝度補正部４との間に設けられた再生部３に対して出力することにより、プロジェクタ１により投影される画像の輝度補正を行うようにしてもよい。
【００４７】
以上説明したように、プロジェクタ１によって投影された投影画像を撮像するカメラ５により得られた画像に基づき、プロジェクタ１によって投影される画像の輝度を補正するために、照明変化検出部７が、カメラ５により得られた画像から、投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に照明変化の状況に基づく照明変化補正情報を出力し、投影輝度補正部４が、照明変化補正情報に基づき、プロジェクタ１により投影される投影画像の輝度を補正するようにしたため、プロジェクタを使ってスクリーンにコンテンツを投影している間に、照明の変化を検出し、その変化に順応してプロジェクタからの出力輝度を補正することができ、照明変化に追従した輝度補正が可能になる。
【００４８】
なお、図１、６に示す投影輝度補正部４、照明変化検出部７及び事前補正部８の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより光学輝度補正処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４９】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００５０】
プロジェクタ・カメラシステムにおいて、照明状態の変化に応じて、カメラで観測した各画素の輝度値が所定の値となるように、プロジェクタから投影する各画素の出力値を補正または調整することが不可欠な用途に適用できる。
【符号の説明】
【００５１】
１・・・プロジェクタ、２・・・コンテンツＤＢ（データベース）、３・・・再生部、４・・・投影輝度補正部、５・・・カメラ、６・・・画像入力部、７・・・照明変化検出部、８・・・事前補正部、９・・・パラメータ記憶部
【技術分野】
【０００１】
本発明は、プロジェクタ・カメラシステムにおいて、照明状態の変化に応じて、カメラで観測した各画素の輝度値が所定の値となるように、プロジェクタから投影する各画素の出力値を補正または調整する光学輝度補正装置、光学輝度補正方法及び光学輝度補正プログラムに関する。
【背景技術】
【０００２】
従来から、プロジェクタを使ったフロント・プロジェクション、またはリア・プロジェクションにおいては、スクリーンを取り巻く照明環境に変化があると、スクリーン上における光学輝度が変化するという問題がある。例えば、照明を消した暗室状態と蛍光灯等によって照明した環境では、スクリーン上の投影像それぞれの輝度は異なる。また、スライドを使ったプレゼンテーションの実環境では、スライドを投影した初期状態から照明状態が変化すると、スクリーン上での見え方が変化するため、環境の明るさに応じてプロジェクタからの出力輝度値を調整することが必要となる。
【０００３】
このような問題を解決するために、プロジェクタ・カメラシステムにおいて、プロジェクタからのＲＧＢ輝度値とカメラで観測されたＲＧＢ輝度値間の相関関係に着目し、カラー混合行列（Color Mixing Matrix）と呼ばれる３×３の行列Ｖを使って、所定のＲＧＢ輝度値Ｃ＝（ＣＲ，ＣＧ，ＣＢ）をカメラが観測するようにプロジェクタからのＲＧＢ出力値Ｐ＝（ＰＲ，ＰＧ，ＰＢ）を補正する方法が知られている（例えば、非特許文献１参照）。
【０００４】
しかしながら、非特許文献１では環境光の影響が考慮されていないため、照明変化があると所定の輝度値を観測できるように、プロジェクタからの輝度値を補正することは困難である。このような課題に対して、環境光を考慮して、外界の環境が変化するようなダイナミックシーンにおいても輝度補正を行う方法が知られている（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】S. K. Nayar, H. Peri, M. D. Grossberg, and P. N. Belhumeur:"A Projection System with Radiometric Compensation for Screen Imperfections", Proc. of ICCV Workshop on Projector-Camera Systems (PROCAMS), 2003.
【非特許文献２】K. Fujii, M. D. Grossberg, and S. K. Nayar: "A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments", Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１の方法は、プロジェクタのＲＧＢ値とカメラを使って観測されるＲＧＢ値の間を線形結合で結び付けたシンプルな輝度補正モデルであるため、輝度補正をリアルタイムで行うことが可能である。しかしながら、環境光を考慮していないため、室内環境での照明変化がある場合には、その変化に追従して輝度を補正することができないという問題がある。
【０００７】
一方、非特許文献２の方法は、照明環境の変化が微小であると仮定し、投影される対象表面での反射特性の変化、すなわち、ダイナミックシーンに対して輝度補正を行うことが可能である。しかしながら、非特許文献１の方法と同様に、照明環境が変化しないという前提に変わりはなく、プロジェクタ投影環境において照明変化があった場合には、その変化に追従してプロジェクタからの出力輝度を補正することが困難であるという問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、プロジェクタからコンテンツを投影している間に、照明環境に変化がある場合、その照明環境の変化を検出し、カメラで観測したＲＧＢ値が所定の輝度値となるように、その変化に応じてプロジェクタからの出力輝度を補正することが可能な光学輝度補正装置、光学輝度補正方法及び光学輝度補正プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段とを備えることを特徴とする。
【００１０】
本発明は、前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を出力する事前補正手段をさらに備え、前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする。
【００１１】
本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段と、前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を記憶した記憶手段とを備え、前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする。
【００１２】
本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正するために、照明変化検出手段と、投影輝度補正手段とを備える光学輝度補正装置における光学輝度補正方法であって、前記照明変化検出手段が、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、前記投影輝度補正手段が、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップとを有することを特徴とする。
【００１３】
本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される画像の輝度を補正するために、照明変化検出手段と、投影輝度補正手段とを備える光学輝度補正装置上のコンピュータに光学輝度補正処理を行わせる光学輝度補正プログラムであって、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、プロジェクタを使ってスクリーンにコンテンツを投影している間に、照明の変化を検出し、その変化に順応してプロジェクタからの出力輝度を補正するため、照明変化に追従した輝度補正が可能になる。さらに、複数のプロジェクタを使用して同一の位置に投影するようなマルチプロジェクタシステムにおいても、各プロジェクタに照明変化に追従した輝度補正が利用できるため、高品質で高コントラストな投影像を維持することができるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の処理動作を示すフローチャートである。
【図３】図１に示す事前補正部８の詳細な処理動作を示すフローチャートである。
【図４】図１に示す照明変化検出部７の詳細な処理動作を示すフローチャートである。
【図５】図１に示す投影輝度補正部４の詳細な処理動作を示すフローチャートである。
【図６】図１に示す装置の変形例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の一実施形態による光学輝度補正装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、スクリーン等に画像を投影して映し出すプロジェクタである。符号２は、プロジェクタ１によって映し出す画像のコンテンツデータが予め記憶されたコンテンツデータベース（以下、コンテンツＤＢと称する）である。符号３は、コンテンツＤＢ２から画像を映し出すべきコンテンツデータを読み出し、映像信号に変換して出力する再生部である。符号４は、再生部３から出力する映像信号に対して、照明変化に応じてプロジェクタ１で投影される画像の輝度を補正して出力する投影輝度補正部である。
【００１７】
符号５は、スクリーン等に映し出された投影画像を撮像して得られた画像データを出力するカメラである。符号６は、カメラ１から出力された画像データを入力する画像入力部である。符号７は、画像入力部６により入力した画像データにおいて照明変化があったか否かを検出し、検出した照明変化の状況に基づく照明変化補正情報を投影輝度補正部４に対して出力する照明変化検出部である。符号８は、プロジェクタ１で投影された画像のＲＧＢ輝度値とカメラで観測したＲＧＢ輝度値を対応付けて、初期状態における輝度を補正するための事前補正情報を投影輝度補正部４に対して出力する事前補正部である。
【００１８】
投影輝度補正部４は、照明変化検出部７から出力する照明変化補正情報と、事前補正部８から出力する事前補正情報とに基づいて、プロジェクタ１に対して出力する映像信号を補正する。画像入力部６がカメラ５から入力する画像データ（サンプル画像）は、事前補正部８、または、照明変化検出部７において用いられる。画像入力部６が入力する画像の例としては、スクリーン全体が隠れることなく写された画像を用いることが望ましい。例えば、天井付近の上方に設置されたカメラからスクリーンのみが写るよう撮影された画像を用いる。
【００１９】
次に、図２を参照して、図１に示す装置全体の処理動作を説明する。図２は、図１に示す装置が光学輝度補正を行う動作を示すフローチャートである。まず、事前補正部８は、初期状態であるか否かを判定し（ステップＳ１）、初期状態であれば事前輝度補正の処理を行って、事前補正情報を投影輝度補正部４へ出力する（ステップＳ２）。初期状態で無い場合、事前補正部８は、事前輝度補正処理を行わない。ここでいう初期状態とは、プロジェクタ１の電源を投入した直後やプロジェクタ１の設定を変更した直後などの事前に輝度補正を行うべき状態のことである。
【００２０】
次に、画像入力部６は、カメラ５によって撮像して得られたスクリーン画像データをカメラ５から取得し（ステップＳ３）、この取得したスクリーン画像データを照明変化検出部７へ出力する。これを受けて、照明変化検出部７は、スクリーン画像データから照明変化を検出し（ステップＳ４）、照明変化補正情報を投影輝度補正部４へ出力する。
【００２１】
次に、投影輝度補正部４は、照明変化検出部７から出力される照明変化補正情報に基づき、照明補正の処理を行い（ステップＳ５）、再生部３から出力するコンテンツの映像信号に対して輝度の補正を行う。そして、投影輝度補正部４は、投影するべき対象のコンテンツデータがある限り、投影輝度の補正処理を繰り返し行い（ステップＳ７）、投影するべきコンテンツデータ無くなった時点で処理を終了する。
【００２２】
次に、図３を参照して、図１に示す事前補正部８の詳細な処理動作を説明する。事前補正部８は、初期状態におけるプロジェクタからの出力輝度を補正する。この補正処理は、室内から屋内に装置の設置環境を変更するなど、照明環境が劇的に変化するような際に必要となる補正である。ここでいう初期状態とは、プロジェクタ１に電源を入れたときの状態、あるいは、プロジェクタの内部設定を変更した時点を指し、照明変化を検出するときの基準となる照明状態を初期値として設定し、初期状態での輝度補正に必要なパラメータ（以下、補正パラメータ）を記憶する。
【００２３】
その初期状態での補正パラメータを推定するには非特許文献１または非特許文献２の従来技術を利用する。ここでは、スクリーン表面が時間と共に不変であると仮定する。すなわち、シーンが静的であり、ダイナミックシーンは対象外とする。さらに、プロジェクタ１から投影された画像の輝度値、並びに、カメラ５において撮像される輝度値が線形的に応答すると仮定する。非特許文献１または非特許文献２によれば、プロジェクタ１から出力するＲＧＢ値Ｐ＝（ＰＲ，ＰＧ，ＰＢ）と、カメラで観測するＲＧＢ値Ｃ＝（ＣＲ，ＣＧ，ＣＢ）は、（１）式、（２）の関係で結びつけることができる。
【００２４】
【数１】
【００２５】
ここで、Ｆ＝（ＦＲ，ＦＧ，ＦＢ）はプロジェクタ以外の環境光の成分である。補正パラメータとして、事前補正部８では、（２）式の行列Ｖの３×３の行列要素と環境光Ｆのベクトル量を算出する。
【００２６】
非特許文献１または非特許文献２に従えば、少なくとも４枚の画像を取得すればこれらのパラメータを得ることができる。例えば、全画素の輝度値をＰ０＝（Ｐｒ，Ｐｇ，Ｐｂ）としてプロジェクタ１から出力するときのカメラ５による観測画像での輝度値をＣ０＝（Ｃｒ，Ｃｇ，Ｃｂ）とする。次に、Ｒチャネルの輝度値をΔＲ分変化させ、全画素の輝度値をＰ１＝（Ｐｒ＋ΔＲ，Ｐｇ，Ｐｂ）としてプロジェクタ１から出力し、カメラ５で観測したＲＧＢ輝度値をＣ１＝（Ｃｒ１，Ｃｇ１，Ｃｂ１）とする。
【００２７】
同様に、Ｇチャネルの輝度値をΔＧ分変化させ、全画素の輝度値をＰ２＝（Ｐｒ，Ｐｇ＋ΔＧ，Ｐｂ）としてプロジェクタ１から出力し、カメラ５で観測したＲＧＢ輝度値をＣ２＝（Ｃｒ２，Ｃｇ２，Ｃｂ２）とする。同様に、Ｂチャネルの輝度値をΔＢ分変化させ、全画素の輝度値をＰ３＝（Ｐｒ，Ｐｇ，Ｐｂ＋ΔＢ）としてプロジェクタ１から出力し、カメラ５で観測したＲＧＢ輝度値をＣ３＝（Ｃｒ３，Ｃｇ３，Ｃｂ３）とする。このように、４種類の画像を観測し、各画素ごとに（３）、（４）、（５）式の計算を行えば、（２）式の行列Ｖの３×３の行列要素を求めることができる。
【００２８】
【数２】
【００２９】
一方、環境光の成分は、カラー混合行列Ｖが得られると、（６）式により算出することができる。
Ｆ＝Ｃ０−ＶＰ０ （６）
【００３０】
または、カラー混合行列の要素の精度を上げるために、各チャネルあたり２枚以上の画像を使っても良い。例えば、Ｒチャネルの輝度値を
【数３】
分変化させ、全画素の輝度値を
【数４】
とし、合計Ｎ枚の画像をプロジェクタ１から出力する。一方、各画像をカメラ５で観測したＲＧＢ輝度値をそれぞれ
【数５】
とすると、各画素ごとに（７）、（８）、（９）式の連立方程式が得られる。
【００３１】
【数６】
【００３２】
これらの連立方程式を解けば、行列要素ＶＲＲ，ＶＧＲ，ＶＢＲが得られる。同様に、Ｇチャネル、Ｂチャネルの輝度を複数段階に変化させたサンプル画像を使って、行列要素ＶＲＧ，ＶＧＧ，ＶＢＧ、並びに、ＶＲＢ，ＶＧＢ，ＶＢＢを得ることができる。
【００３３】
前述した原理を踏まえた上で、図３を参照して事前補正部８の処理動作を説明する。まず、事前補正部８は、補正パラメータに必要な枚数のサンプル画像が得られたか否かを判定（ステップＳ１１）しながら、基準とするサンプル画像、基準画像に対してＲチャネルだけを変化させた画像、基準画像に対してＧチャネルだけを変化させた画像、基準画像に対してＢチャネルだけを変化させた画像をプロジェクタ１から出力することによりサンプル画像のセットを行い（ステップＳ１２）、カメラ５によってそれぞれに対応するサンプル画像を取得する（ステップＳ１３）。
【００３４】
次に、十分な枚数の画像が得られた時点で事前補正部８は、対象画素について補正パラメータを求めるか否かの判定を行う（ステップＳ１４）。この判定は、全画素について求めても構わないが、スクリーンとプロジェクタ１、カメラ５間がキャリブレーションされていれば、プロジェクタ１から出力する画像のどの画素がカメラ５で得た画像上のどの画素に対応するかが決まるため、スクリーン以外で反射して観測された画素は処理対象外として扱うことができる。すなわち、全ての画素の補正パラメータを得るより、スクリーンに投影される画素の補正パラメータを求めることが効率的であるため、対象画素とは、スクリーンあるいは所定の平面領域に投影される画素のことである。
【００３５】
ある画素が対象画素と判定された場合、事前補正部８は、対象画素を抽出して（ステップＳ１５）、プロジェクタ１から出力した画素値とサンプル画像上での画素値から、（３）式〜（５）式を使って、行列Ｖの３×３の行列要素を算出する（ステップＳ１６）。これらの要素が得られたならば、事前補正部８は、（６）式を使って環境光成分のベクトルＦを得る（ステップＳ１７）。事前補正部８は、以上の補正パラメータが得られると一時的に内部のメモリに格納し（ステップＳ１８）、ステップＳ１４に戻って次の画素の処理を行う。この処理を対象画素の全てに行うと、事前補正部８は、行列Ｖとベクトル量Ｆを算出して記憶する。
【００３６】
次に、図４を参照して、図１に示す照明変化検出部７の詳細な処理動作を説明する。図４は、図１に示す照明変化検出部７の詳細な処理動作を示すフローチャートである。図４に示す処理動作は、図２に示すスクリーン画像の取得（ステップＳ３）と、照明変化の検出（ステップＳ４）と、照明補正の処理（ステップＳ５）に相当する。照明変化検出部７は、プロジェクタ１によりコンテンツデータを投影する間に、画像入力部６から出力される画像データに基づき照明変化を常時検出する。
【００３７】
まず、照明変化検出部７は、画像入力部６から出力するサンプル画像データを取得する（ステップＳ２１）。続いて、照明変化検出部７は、時刻ｔで取得したサンプル画像をＣ（ｔ）、初期状態で取得したサンプル画像をＣ（０）とし、輝度差分ΔＣ（ｔ）を（１０）式によって算出する（ステップＳ２２）。そして、照明変化検出部７は、ある対象とする画素における差分値の絶対平均値を算出する。
ΔＣ（ｔ）＝Ｃ（ｔ）−Ｃ（０） （１０）
【００３８】
続いて、照明変化検出部７は、算出した差分値の絶対平均値が所定の値より大きいか否かに基づき、照明変化が検出されたか否かを判定する（ステップＳ２３）。もし、輝度差分ΔＣ（ｔ）の絶対平均値が所定の値以下であれば、照明変化がないと判定し、ステップＳ２１に戻って、引き続いて照明変化の検出のためのサンプル画像を取得する。
【００３９】
一方、輝度差分ΔＣ（ｔ）の絶対平均値が所定の値以下でなく、照明変化ありと判定された場合、照明変化検出部７は、対象画素であるか否かの判定を行う（ステップＳ２４）ことにより各画素を選び、照明変化に伴う輝度補正量Ｆ（ｔ）を（１１）式によって算出する（ステップＳ２５）。
Ｆ（ｔ）＝Ｆ（０）−ΔＣ（ｔ） （１１）
ただし、Ｆ（０）は初期状態での環境光のＲＧＢ輝度値として記憶しておいたベクトル量である。照明変化検出部７は、ここで求めた輝度補正量Ｆ（ｔ）を照明変化補正情報として投影輝度補正部４へ出力する。
【００４０】
次に、図５を参照して、図１に示す投影輝度補正部４の詳細な処理動作を説明する。図５は、図１に示す投影輝度補正部４の詳細な処理動作を示すフローチャートである。図５に示すコンテンツの輝度補正（ステップＳ６）に相当する。投影輝度補正部４は、時刻ｔにおいてカメラ５により取得したＲＧＢ輝度値が所定の輝度値となるようにプロジェクタ１からスクリーンに投影される画像の輝度値を補正する。
【００４１】
まず、投影輝度補正部４は、照明変化が検出されたか否かに応じて、いずれの補正量を使うかを判定する（ステップＳ３１）。カメラ５により取得したＲＧＢ輝度値が、初期状態で補正して得られた観測画像Ｃ（０）とほぼ同じ、すなわち、照明変化検出部７において照明変化がないと判定された場合は照明変化に伴う投影輝度補正量が与えれないので、事前補正部８において得た補正量を使って、プロジェクタ１により投影される画像のＲＧＢ輝度値Ｐ（ｔ）を（１２）式により算出する（ステップＳ３３）。
Ｐ（ｔ）＝ Ｖ−１（Ｃ（０）−Ｆ（０）） （１２）
【００４２】
一方、照明変化があった場合は照明変化検出部７から出力された照明補正データ輝度補正量Ｆ（ｔ）を使って、プロジェクタ１により投影される画像のＲＧＢ輝度値Ｐ（ｔ）を（１３）式により算出する（ステップＳ３２）。
Ｐ（ｔ）＝ Ｖ−１（Ｃ（０）−Ｆ（ｔ）） （１３）
【００４３】
投影輝度補正部４は、コンテンツデータを投影する際に、（１２）式または（１３）式によって、全ての画素の補正画素値Ｐ（ｔ）を算出して、再生部３から出力される映像信号の輝度補正を行う（ステップＳ３４）。そして、補正した映像信号をプロジェクタ１へ出力することにより、スクリーンにコンテンツ画像を投影する。この処理を投影するコンテンツが存在する場合に連続して行う（ステップＳ３５、Ｓ３６）。これにより、照明変化に順応してコンテンツ画像を安定的に投影することができる。
【００４４】
次に、図６を参照して、図１に示す光学輝度補正装置の変形例を説明する。図６は、図１に示す光学輝度補正装置の変形例の構成を示すブロック図である。図６において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図６に示す装置が図１に示す装置と異なる点は、事前補正部８に代えてパラメータ記憶部９が設けられている点である。パラメータ記憶部９には、前述した事前補正部８によって得られるパラメータ（行列Ｖとベクトル量Ｆ）と同様のパラメータが他の手段によって求められ、予め記憶されている。投影輝度補正部４は、事前補正部８から出力されるパラメータに代えて、パラメータ記憶部９に記憶されているパラメータを読み出し、図１に示す投影輝度補正部４と同様の処理動作を行う。これにより、プロジェクタ１の電源を投入する度に、事前輝度補正の処理を行う必要がなくなり、プロジェクタ１の使用前の準備作業を軽減することができる。これは、プロジェクタ１を使用する場所とスクリーンが変化せず、使用環境が同じ状況で使用する場合などに有効である。
【００４５】
なお、前述した説明においては、１台のプロジェクタ１と１台のカメラ５、すなわち、ペアのプロジェクタ・カメラシステムにおける光学輝度を補正する例を説明したが、複数のプロジェクタまたはカメラを使ったシステムへの適用も容易に行うことが可能である。
【００４６】
また、図１、図６における再生部３は、プロジェクタ１と投影輝度補正部４との間に設けられていてもよい。この場合、投影輝度補正部４は、コンテンツＤＢ２からコンテンツデータを読み出して、読み出したコンテンツデータに対して前述した輝度補正処理を施し、プロジェクタ１と投影輝度補正部４との間に設けられた再生部３に対して出力することにより、プロジェクタ１により投影される画像の輝度補正を行うようにしてもよい。
【００４７】
以上説明したように、プロジェクタ１によって投影された投影画像を撮像するカメラ５により得られた画像に基づき、プロジェクタ１によって投影される画像の輝度を補正するために、照明変化検出部７が、カメラ５により得られた画像から、投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に照明変化の状況に基づく照明変化補正情報を出力し、投影輝度補正部４が、照明変化補正情報に基づき、プロジェクタ１により投影される投影画像の輝度を補正するようにしたため、プロジェクタを使ってスクリーンにコンテンツを投影している間に、照明の変化を検出し、その変化に順応してプロジェクタからの出力輝度を補正することができ、照明変化に追従した輝度補正が可能になる。
【００４８】
なお、図１、６に示す投影輝度補正部４、照明変化検出部７及び事前補正部８の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより光学輝度補正処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４９】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００５０】
プロジェクタ・カメラシステムにおいて、照明状態の変化に応じて、カメラで観測した各画素の輝度値が所定の値となるように、プロジェクタから投影する各画素の出力値を補正または調整することが不可欠な用途に適用できる。
【符号の説明】
【００５１】
１・・・プロジェクタ、２・・・コンテンツＤＢ（データベース）、３・・・再生部、４・・・投影輝度補正部、５・・・カメラ、６・・・画像入力部、７・・・照明変化検出部、８・・・事前補正部、９・・・パラメータ記憶部
【特許請求の範囲】
【請求項１】
プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、
前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、
前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段と
を備えることを特徴とする光学輝度補正装置。
【請求項２】
前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を出力する事前補正手段をさらに備え、
前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする請求項１に記載の光学輝度補正装置。
【請求項３】
プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、
前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、
前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段と、
前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を記憶した記憶手段とを備え、
前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする光学輝度補正装置。
【請求項４】
プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正するために、照明変化検出手段と、投影輝度補正手段とを備える光学輝度補正装置における光学輝度補正方法であって、
前記照明変化検出手段が、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、
前記投影輝度補正手段が、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップと
を有することを特徴とする光学輝度補正方法。
【請求項５】
プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される画像の輝度を補正するために、照明変化検出手段と、投影輝度補正手段とを備える光学輝度補正装置上のコンピュータに光学輝度補正処理を行わせる光学輝度補正プログラムであって、
前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、
前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップと
を前記コンピュータに行わせることを特徴とする光学輝度補正プログラム。
【請求項１】
プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、
前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、
前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段と
を備えることを特徴とする光学輝度補正装置。
【請求項２】
前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を出力する事前補正手段をさらに備え、
前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする請求項１に記載の光学輝度補正装置。
【請求項３】
プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、
前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、
前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段と、
前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を記憶した記憶手段とを備え、
前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする光学輝度補正装置。
【請求項４】
プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正するために、照明変化検出手段と、投影輝度補正手段とを備える光学輝度補正装置における光学輝度補正方法であって、
前記照明変化検出手段が、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、
前記投影輝度補正手段が、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップと
を有することを特徴とする光学輝度補正方法。
【請求項５】
プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される画像の輝度を補正するために、照明変化検出手段と、投影輝度補正手段とを備える光学輝度補正装置上のコンピュータに光学輝度補正処理を行わせる光学輝度補正プログラムであって、
前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、
前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップと
を前記コンピュータに行わせることを特徴とする光学輝度補正プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１０２５０（Ｐ２０１２−１０２５０Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４６２８３（Ｐ２０１０−１４６２８３）
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]