多重投影輝度調整方法、多重投影輝度調整装置、コンピュータプログラム及び記録媒体
【課題】非線形な応答を有していたとしても、オリジナル画像とほぼ同等になるように、複数のプロジェクタが投影したコンテンツ画像の輝度を補正する。
【解決手段】画像入力部2は、カメラ20から画像データを取得する。画像変動検出部3は、その画像入力部2から画像を取得し、その画像情報を用いて輝度変動を検出する。モード判定部4は、全てのプロジェクタを制御するための同期信号を送出し、輝度調整部5−1〜5−N、または輝度分配部6−1〜6−Nへの処理を指示する。輝度調整部5−1〜5−Nは、その画像変動検出部3にて得た輝度変動に応じてプロジェクタ10−1〜10−Nから出力する輝度を調整し、多重投影輝度補正に用いるための分配係数を算出する。輝度分配部6−1〜6−Nは、分配係数を用いて各プロジェクタの輝度を補正する。
【解決手段】画像入力部2は、カメラ20から画像データを取得する。画像変動検出部3は、その画像入力部2から画像を取得し、その画像情報を用いて輝度変動を検出する。モード判定部4は、全てのプロジェクタを制御するための同期信号を送出し、輝度調整部5−1〜5−N、または輝度分配部6−1〜6−Nへの処理を指示する。輝度調整部5−1〜5−Nは、その画像変動検出部3にて得た輝度変動に応じてプロジェクタ10−1〜10−Nから出力する輝度を調整し、多重投影輝度補正に用いるための分配係数を算出する。輝度分配部6−1〜6−Nは、分配係数を用いて各プロジェクタの輝度を補正する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マルチプロジェクタシステムを使って複数のプロジェクタからの投影像をカメラで観測するとき、各画素の観測輝度値が所定の値となるようにプロジェクタからの出力輝度値を自動的に補正する多重投影輝度調整技術に関する。
【背景技術】
【0002】
プロジェクタ・カメラシステムは、様々な用途に利用されている。例えば、会議や、学会発表でのプレゼンテーションにプロジェクタを利用する以外に、ヒューマンインタラクションや、拡張現実感の表示システムとしても利用できる。さらに、複数のプロジェクタを使うと、各プロジェクタからの画像を繋ぎ合わせて巨大な画像(タイリング)を生成でき、近年では、HDR(High Dynamic Range)画像を表示するアプリケーションとしても期待されている。
【0003】
例えば、遠隔会議システムなどのアプリケーションによっては、単体のプロジェクタから画像を投影して、単体のカメラにより、その投影像を観測するとき、そのカメラが所定の輝度を観測するように、原画像の輝度を調整する必要がある。従来から、この技術は、輝度補正と呼ばれており、プロジェクタからのRGB輝度値とカメラで観測されたRGB輝度値との間の相関関係に着目し、カラー混合行列(Color Mixing Matrix)と呼ばれる3×3の行列Vを使って、所定のRGB輝度値C=(CR,CG,CB)を、カメラが観測するようにプロジェクタからのRGB出力値P=(PR,PG,PB)を補正する。このシステムにおいて、観測した画像の輝度値Cと各プロジェクタからの出力輝度Pとの間には、次式(1)が成り立つ。
【0004】
【数1】
【0005】
Vは、プロジェクタのカラー混合行列であり、F=(Fr,Fg,Fb)は、プロジェクタ以外の光源からの照明を含む環境光である(物体表面の反射率は一定と考える)。非特許文献1によれば、4枚のサンプル画像が用意できれば、カラー混合行列と環境光を求めることができる。
【0006】
上記の輝度補正は、N台のプロジェクタと1台のカメラとから構成されるマルチプロジェクタシステムに拡張すると、次式(2)の関係になる。
【0007】
【数2】
【0008】
Pjはj番目のプロジェクタの輝度であり、Vjはj番目のプロジェクタの輝度とカメラ観測による輝度とを結び付けたカラー混合行列である。j番目のプロジェクタ以外のN−1台のプロジェクタに黒画像をセットした状態にすると、このマルチプロジェクタシステムは、数式(1)に示した従来のプロジェクタ・カメラシステムとなる。よって、このシステムにおいて、非特許文献1の方法を用いて、カラー混合行列Vjを得ることができる。
【0009】
マルチプロジェクタシステムの輝度補正については、非特許文献2が公知である。これは、全てのプロジェクタの輝度補正パラメータを共有させて、オリジナルの輝度をN台のプロジェクタで均等に配分して、各プロジェクタの輝度を決定する方法である。カラー混合行列を用いた輝度補正に輝度均等方式を採用すると、各プロジェクタの輝度は、次式(3)により補正することできる。
【0010】
【数3】
【0011】
但し、Njは、プロジェクタの重複数であり、N台のプロジェクタがその画素を多重投影すれば、Nj=Nとし、1台のプロジェクタのみがその画素を投影する場合には、Nj=1とセットする。
【先行技術文献】
【非特許文献】
【0012】
【非特許文献1】K. Fujii, M. D. Grossberg, and S. K. Nayar: “A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments”, Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.
【非特許文献2】O. Bimber, A. Emmerling, and T. Klemmer: “Embedded Entertainment with Smart Projec-tors”, IEEE Computer, vol. 38, no. 1, pp. 48-55, 2005.
【発明の概要】
【発明が解決しようとする課題】
【0013】
図11は、プロジェクタに与えた入力輝度(あるカラーチャネル)をカメラで観測した輝度出力の特性(トーンカーブ)の典型例を示す概念図である。マルチプロジェクタシステムの輝度補正は、数式(2)に示したように、各プロジェクタ輝度の線形和を仮定している。しかしながら、プロジェクタの入力輝度とカメラの観測輝度との入出力特性では、図11のようなトーンカーブが得られる場合が多い。低階調ではプロジェクタの入力輝度に対して緩やかな応答特性を示し、中間階調ではほぼ線形な特性となり、高階調では再び緩やかな応答特性となる。よって、中間階調と比べると、輝度が低い応答レベル、または高い応答レベルでは線形特性から逸脱する。加えて、図11の低階調で示したように、プロジェクタの輝度値が0でも、カメラ観測ではブラックオフセット(完全な黒を観測しない)が存在する。
【0014】
1台のプロジェクタと1台のカメラ間のトーンカーブにおいても、このような非線形な特性を有しているため、複数台のプロジェクタと1台のカメラ間においても、より複雑なトーンカーブとなる。よって、マルチプロジェクタシステムにおいては、各プロジェクタからの輝度の線形和で輝度補正するには、その適用範囲に限界がある。例えば、数式(3)に従った輝度補正では、プロジェクタの台数が増えるにつれて、分配輝度値は、反比例するため、カメラの応答特性は、図11の低階調の特性に近づく。よって、マルチプロジェクタシステムでは、一層、非線形な応答特性が顕著になるため、輝度を単純に等分配するだけでは、十分な補正ができる保証はない。
【0015】
また、非特許文献2で公知の輝度補正方法は、補正パラメータを全てのプロジェクタで共有した上で、それらのパラメータを用いて均等配分された輝度を算出する。つまり、全てのプロジェクタの補正パラメータを用いないと、全てのプロジェクタの輝度補正ができない。これにより、マルチプロジェクタシステムが上記のような非線形な特性を有する場合には、この方法を容易に適用することができないという問題がある。さらに、プロジェクタの台数を変更する場合や、全体のシステム構成を変更する場合に応じて、補正パラメータの共有化を実装する必要がある。
【0016】
そのようなシステム変更が生じても柔軟に輝度補正に対応できることが、様々なアプリケーションにおける利便性の点で重要である。よって、マルチプロジェクタシステムにおいて数式(2)に示したプロジェクタ輝度の線形和が成り立たず、かつ、数式でモデル化できない非線形応答が存在するシステムにおいても、複数のプロジェクタから投影される輝度を補正できることが望まれる。
【0017】
本発明は、このような事情を考慮してなされたものであり、その目的は、複数プロジェクタによる多重投影システムにおいて非線形な応答を有していたとしても、複数のプロジェクタが投影した任意のコンテンツ画像がオリジナル画像とほぼ同等になるように、任意のコンテンツ画像の輝度を補正することができる技術を提供することにある。
【課題を解決するための手段】
【0018】
本発明の一態様は、N台のプロジェクタによって投影される画像を1台のカメラによって撮像するマルチプロジェクタシステムでの多重投影輝度調整方法であって、入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得ステップと、前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出ステップと、前記検出された輝度変動に基づいて前記N台のプロジェクタの輝度を制御する輝度制御ステップと、前記輝度制御の結果に基づいて、前記N台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出ステップと、コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記N台のプロジェクタへの輝度値として分配する分配ステップと、前記輝度値が分配された前記コンテンツ画像を前記N台のプロジェクタから投影するステップとを含むことを特徴とする多重投影輝度調整方法である。
【0019】
本発明の一態様は、上記の多重投影輝度調整方法であって、前記算出ステップは、前記テスト画像の各画素値が、前記輝度制御の後の前記輝度に基づいて得られる前記テスト画像の各画素値と線形結合で結び付けられた輝度分配モデルに基づいて前記分配係数を算出するステップであることを特徴とする。
【0020】
本発明の一態様は、上記の多重投影輝度調整方法であって、前記観測画像取得ステップ、前記輝度変動検出ステップを繰り返し実行し、前記制御ステップは、前記輝度変動が所定の許容値以上の場合には、前記N台のプロジェクタへ入力される輝度状態を制御した後、前記N台のプロジェクタから更新後の輝度に基づいて画像を再び投影するステップと、前記輝度変動が前記所定の許容値より小さい場合には、前記テスト画像に対する前記N台のプロジェクタの輝度の制御が完了したと判定する完了判定ステップと、を含むことを特徴とする。
【0021】
本発明の一態様は、N台のプロジェクタによって投影される画像を1台のカメラによって撮像するマルチプロジェクタシステムの多重投影輝度調整装置であって、入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得部と、前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出部と、前記検出された輝度変動に基づいて前記N台のプロジェクタの輝度を制御する輝度制御部と、前記輝度制御の結果に基づいて、前記N台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出部と、コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記N台のプロジェクタへの輝度値として分配する分配部と、前記輝度値が分配された前記コンテンツ画像を前記N台のプロジェクタから投影する投影部とを含むことを特徴とする多重投影輝度調整装置である。
【0022】
本発明の一態様は、上記の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムである。
【0023】
本発明の一態様は、上記の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体である。
【発明の効果】
【0024】
この発明によれば、複数プロジェクタによる多重投影システムにおいて、非線形な応答を有していたとしても、オリジナル画像とほぼ同等になるように、複数のプロジェクタが投影したコンテンツ画像の輝度を補正することができる。
【図面の簡単な説明】
【0025】
【図1】本発明に係る第1実施形態の多重投影輝度調整装置1の構成を示すブロック図である。
【図2】本第1実施形態の動作を説明するためのフローチャートである。
【図3】本第1実施形態の動作を説明するためのフローチャートである。
【図4】本発明に係る第2実施形態の多重投影輝度調整装置1の構成を示すブロック図である。
【図5】本第2実施形態の動作を説明するためのフローチャートである。
【図6】本第2実施形態の動作を説明するためのフローチャートである。
【図7】本発明に係る第3実施形態の多重投影輝度調整装置1の構成を示すブロック図である。
【図8】本第3実施形態の動作を説明するためのフローチャートである。
【図9】本発明に係る第4実施形態の多重投影輝度調整装置1の構成を示すブロック図である。
【図10】本第4実施形態の動作を説明するためのフローチャートである。
【図11】プロジェクタに与えた入力輝度(あるカラーチャネル)をカメラで観測した輝度出力の特性(トーンカーブ)の典型例を示す概念図である。
【発明を実施するための形態】
【0026】
以下、本発明の一実施形態を、図面を参照して説明する。
【0027】
A.第1実施形態
本発明の第1実施形態について説明する。
図1は、本発明に係る第1実施形態の多重投影輝度調整装置1の構成を示すブロック図である。図1において、多重投影輝度調整装置1は、N台のプロジェクタ10と1台のカメラ20とからなるマルチプロジェクタシステムに対する投影輝度自動調整方法を実現する。投影輝度自動調整装置1は、画像入力部2、画像変動検出部3、モード判定部4、輝度調整部5−1〜5−N、及び輝度分配部6−1〜6−Nを備えている。画像入力部2は、カメラ20から画像データを取得する。画像変動検出部3は、その画像入力部1から画像を取得し、その画像情報を用いて輝度変動を検出する。モード判定部4は、全てのプロジェクタを制御するための同期信号を送出し、輝度調整部5−1〜5−N、または輝度分配部6−1〜6−Nへの処理を指示する。輝度調整部5−1〜5−Nは、その画像変動検出部3にて得た輝度変動に応じてプロジェクタ10−1〜10−Nから出力する輝度を調整し、多重投影輝度補正に用いるための分配係数を算出する。輝度分配部6−1〜6−Nは、分配係数を用いて各プロジェクタの輝度を補正する。
【0028】
本第1実施形態は、従来技術とは異なり、他のプロジェクタと連動しない。本第1実施形態では、各プロジェクタ10−1〜10−Nを制御する輝度調整部5−1〜5−N、輝度分配部6−1〜6−Nは、モード判定部4から送出される同期信号に従ってそれぞれ独立に動作する。本第1実施形態では、複数のプロジェクタ10−1〜10−Nによって投影した任意のコンテンツ画像がオリジナル画像とほぼ同等になるように、輝度調整部5−1〜5−Nで得た分配係数を用いて、他のプロジェクタと連動しないで、任意のコンテンツ画像の輝度を自動的に補正する。
【0029】
この構成において、プロジェクタ10−1〜10−N、カメラ20は、必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよい。画像入力部2、画像変動検出部3、輝度調整部5−1〜5−N、輝度分配部6−1〜6−Nからそれぞれの矢印へのデータの流れは、ハードディスク、RAID装置、CD−ROMなどの記録媒体を利用する形態、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。
【0030】
以下、各部の詳細について説明する。
【0031】
(モード判定部4)
モード判定部4は、起動されると、プロジェクタ10−1〜10−Nを制御するための状態を検出する。もし、初期状態において輝度補正を行うためのデータが何もないときは、状態の検出では「補正パラメータが無い」と判断し、モード選択において「輝度調整部の処理」を選択する。モード判定部4は、モードが調整モードである場合には、輝度調整部5−1〜5−Nの処理を実行させ、調整モードでない場合には、輝度分配部6−1〜6−Nの処理を実行させる。
【0032】
さらに、モード判定部4は、各プロジェクタを制御する輝度調整部5−1〜5−N、輝度分配部6−1〜6−Nに対して同期信号を送出する。この同期信号を輝度調整部5−1〜5−N、輝度分配部6−1〜6−Nが受信した時点で、補正した画像をプロジェクタ10−1〜10−Nに出力する。これにより、全てのプロジェクタ10−1〜10−Nは、タイムラグを発生することなく画像を投影することができる。
【0033】
(画像入力部2)
画像入力部2は、カメラ20等で撮像された画像を取得する手段であり、取得した画像データを、輝度調整部5−1〜5−N、または輝度分配部6−1〜6−Nに転送する。画像入力部2で取得する画像の例としては、スクリーン全体が隠れることなく写された画像、または、所定の領域を撮影した画像である。
【0034】
(画像変動検出部3)
本第1実施形態では、各プロジェクタ10−1〜10−Nが所定の平面へ画像を投影し、その像をカメラ20が観測(撮影)するという形態で動作する。この形態において、画像変動検出部3は、画像入力部2からの観測した画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行う。以下に、該射影変換方法について説明する。
【0035】
あるプロジェクタ画面の点の2次元座標を(u,v)、その点がZ=0のXY平面上に投影されたときの3次元座標を(X,Y,0)、その投影点をカメラ20で観測したときの点の2次元座標を(x,y)とすると、あるプロジェクタ10−i(i=1〜N)と平面間の平面射影変換Hps、並びに平面とカメラ20間の平面射影変換Hscによって、次式(4)、(5)の計算により、各画素をそれぞれ対応付けることができる。
【0036】
【数4】
【0037】
【数5】
【0038】
さらに、プロジェクタ10−iから出力する画像の2次元座標(u,v)とオリジナル画像上の点の2次元座標(u′,v′)とは、次式(6)の計算により両画素を対応付けることができる。
【0039】
【数6】
【0040】
Hipは、オリジナル画像とプロジェクタ画面間の平面射影変換である。よって、これらの平面射影変換が既知であると、v画像の2次元座標(u′,v′)とカメラ20で観測した2次元座標(x,y)との間、並びに、プロジェクタ画面上の2次元座標(u,v)とカメラ20で観測した2次元座標(x,y)との間を結び付けることができる。事前のキャリブレーション作業によって、それぞれのプロジェクタについて平面射影変換Hps、Hsc、Hipを得て、それらのデータを射影変換DB8に格納している。このキャリブレーションでは、公知となっている平面射影変換推定方法を利用することができる。
【0041】
画像変動検出部3は、画像入力部2から観測画像を取得すると、射影変換DB8から上記平面射影変換のデータを読み込み、数式(6)に従ってオリジナル画像の画素の2次元座標値(u′,v′)から観測画像上の画素に該当する2次元座標値(x,y)を算出する。画像変動検出部3は、この座標計算を対象の画素全てに施して、観測画像を射影変換した画像を生成する。
【0042】
該射影変換画像の各画素は、オリジナル画像の対応する各画素に対応付けられるので、観測画像の画素値C′(t)とオリジナル画像上の画素値Cとを比較することができる。なお、本第1実施形態の動作が終了するまで、カメラ20から画像を逐次観測するため、状態t、あるいは時刻tでの観測画像の画素値をC′(t)と表すことにする。平面射影変換を用いてオリジナル画像と観測画像との各画素を対応付けしながら、各画素の輝度変動e(t)を次式(7)の計算によって算出する。
【0043】
【数7】
【0044】
画像変動検出部3は、逐次観測した画像について、数式(7)を用いてオリジナル画像との輝度変動を検出する。
【0045】
(輝度調整部5−1〜5−N)
輝度調整部5−1〜5−Nは、モード判定部4が輝度調整の処理を選択すると、処理を開始し、まず、テスト画像をセットする。テスト画像は、非特許文献1が用いている4種類の画像(グレー系画像、赤系画像、緑系画像、青系画像)を用いる。輝度調整部5−1〜5−Nでは、グレー系画像から処理を開始して、輝度補正がある程度まで完了した時点で、赤系画像、緑系画像、青系画像と順番に切り替えて処理する。
【0046】
以下では、あるテスト画像について処理を説明するが、他の画像も同様に行う。また、本発明は、全てのプロジェクタについても同様の処理を行うため、N台のプロジェクタ10−1〜10−Nのうち,j番目のプロジェクタ10−jについての輝度調整部5−jの処理として説明する。以下では、j番目であることを強調するため、下添え文字にjを付ける。
【0047】
テスト画像がセットされた後、各時刻、または各状態において、輝度を制御するための状態方程式を初期化する。輝度状態の初期化では、各画素値を次式(8)とする。
【0048】
【数8】
【0049】
αはテスト画像のオリジナル輝度を各プロジェクタへ分配するための定数である。N台のプロジェクタ10−1〜10−Nを用いた場合、α=1/Nとする。
【0050】
輝度調整部5−jは、テスト画像が所定の平面、または領域へ投影するように、射影変換DB8から平面射影変換のデータを取り出し、その平面射影変換のデータを用いて、そのテスト画像から投影用変換画像を生成する。平面射影変換のデータは、一度読み出してメモリ(図示略)に一時記憶して用いる。この平面射影変換については、前述した画像変動検出部3で説明しているので詳細を省略する。画像を観測するタイミングで、モード判定部4から同期信号が送出されるので、輝度調整部5−jは、その同期信号を受信した後、一定の時間を置いてから投影用変換画像をプロジェクタ10−jにセットし、テスト画像を平面へ投影する。
【0051】
輝度調整部5−jは、画像変動検出部3で得た輝度変動e(t)から、全画素についての誤差の平均値(輝度誤差)を計算し、その輝度誤差が所定の許容値ε(例えば、ε=10に設定しておく)より小さい場合には、現時点で処理を停止し、次のテスト画像をセットする。一方、その輝度誤差が所定の許容値ε以上である場合には、状態t+1での各画素の輝度状態を、次式(9)に従って制御する。
【0052】
【数9】
【0053】
この状態方程式では、Kはフィードバック制御におけるゲインパラメータの役割を担っており、本第1実施形態では、次式(10)で与えられる。
【0054】
【数10】
【0055】
kの設定値については、例えば、2台のプロジェクタを用いた例では、k=0.7、3台のプロジェクタを用いた例では、k=0.5とする。次に、プロジェクタ10−jへの入力輝度とするため、次式(11)により輝度を変換する。
【0056】
【数11】
【0057】
Vjはプロジェクタ10−jのカラー混合行列であり、Fは環境光ベクトルである。これらのパラメータは、非特許文献1を利用して事前に求めておく。
【0058】
数式(9)を用いて輝度が更新された画素は、プロジェクタ10−jに次の状態として与えられる画像上の画素にセットされる。このとき、観測画像を射影変換したのと同様に、輝度調整部5−jは、射影変換DB8から取り出した平面射影変換のデータを用いて、投影用変換画像を生成する。投影用変換画像の画素は、プロジェクタ画面の画素である。テスト画像と同じ大きさの画像バッファを用意し、各画素が(u′,v′)に対応するため、数式(4)、(5)、(6)の平面射影変換の関係を利用して、プロジェクタ画面上の座標(u,v)を算出する。輝度が更新された画素は、その座標(u,v)の点にセットされる。全ての画素の輝度を更新した後、輝度調整部5−jは、この投影用変換画像をプロジェクタ10−jにセットし、更新画像を再び平面に投影する。
【0059】
数式(9)による輝度調整は、各状態tでの輝度変動に応じて行われ、輝度誤差が許容誤差εより小さくなるまで続けられる。各テスト画像について、輝度誤差が許容誤差εより小さくなった時点で、各テスト画像の輝度調整が完了したと判定し、作業用のメモリに一時確保しておく。上記の処理を、次々にテスト画像をセットして繰り返す。
【0060】
全てのテスト画像の輝度を補正した後、分配係数の計算を実施する。上記の処理を繰り返して、グレー系画像、赤系画像、緑系画像、青系画像の輝度を調整し、最終的な輝度補正画像を得たとき、各画像上の各画素の輝度値がCWj、CRj、CGj、CBjであり、テスト画像上のそれぞれのオリジナルの画素の輝度値をCW、CR、CG、CBであるとする。これらの輝度値について、次式(12)により関連付ける。
【0061】
【数12】
【0062】
Djは3×3の行列、djは3次元ベクトルであり、これらを本発明では、分配係数と称する。つまり、数式(12)の関係式を適用して、任意のコンテンツ画像の各画素を輝度補正する。Djとdjは、数式(12)の連立方程式を解くことにより算出する。輝度調整部5−jは、各画素の分配係数Dj、djを算出すると、カラー分配DB7−jにそれらを格納し処理を終了する。
【0063】
(輝度分配部6−1〜6−N)
輝度分配部6−1〜6−Nは、モード判定部4において、「輝度調整が完了した」という状態を検出すると、モードを「輝度分配モード」に変更する。モード判定部4が輝度分配部6−1〜6−Nの処理を選択すると、輝度分配部6−1〜6−Nは、輝度分配データのセットを実行する。カラー分配DB7−1〜7−Nから各画素のDjとdjをそれぞれ取り出し、一時メモリ(図示略)に記憶しておく。次に、コンテンツ画像DB9から任意の画像を読み込むと、その画像上の各画素の輝度値Cを、次式(13)、(14)により、各プロジェクタ10−jへの輝度値Pjを算出して分配する。
【0064】
【数13】
【0065】
【数14】
【0066】
このとき、輝度調整部5−jにおいて投影用変換画像を生成したのと同様に、射影変換DB8から取り出した平面射影変換のデータを用いて、投影用変換画像を生成する。投影用変換画像の画素は、プロジェクタ画面の画素である。テスト画像と同じ大きさの画像バッファを用意し、各画素が(u′,v′)に対応するため、数式(4)、(5)、(6)の平面射影変換の関係を利用して、プロジェクタ画面上の座標(u,v)を算出する。新たな輝度値Pjは、その座標(u,v)の点にセットされる。全ての画素をセットした後、モード判定部4からの同期信号を受信して、ある一定の時間(1秒以下の微小な時間)を置いて、その変換画像をプロジェクタ10−jへ出力する。これにより、輝度補正された画像が所定の平面に投影される。もし、同期信号を受信したとき、その信号が停止命令ならば、処理を終了する。
【0067】
図2、及び図3は、本第1実施形態の動作を説明するためのフローチャートである。モード判定部4は、起動されると、プロジェクタ10−1〜10−Nを制御するための状態を検出する(ステップS1)。次に、モード選択を実行する(ステップS2)。もし、初期状態において輝度補正を行うためのデータが何もないときは、ステップS1での状態検出では「補正パラメータが無い」と判断し、ステップS2でのモード選択において「輝度調整部5−1〜5−Nの処理」を選択する。次に、選択したモードが調整モードであるか否かを判断する(ステップS3)。そして、選択したモードが調整モードである場合には(ステップS3のYES)、輝度調整部5−1〜5−Nの処理を実行させる。
【0068】
モード判定部4が輝度調整の処理を選択すると、輝度調整部5−1〜5−Nは、テスト画像をセットし(ステップS4)、調整が終了したか否かを判断する(ステップS5)。ここで、調整が終了していない場合には(ステップS5のNO)、プロジェクタ10にセットする画像の輝度状態(状態方程式)を初期化し(ステップS6)、テスト画像が所定の平面、または領域へ投影するように、射影変換DB8から平面射影変換のデータを取り出し、その平面射影変換のデータを用いて、そのテスト画像から投影用変換画像を生成する(ステップS12)。
【0069】
次に、輝度調整部5−1〜5−Nは、画像を観測するタイミングで、モード判定部4から、その同期信号を受信したことを識別すると(ステップS13)、一定の時間を置いてから投影用変換画像をプロジェクタ10−1〜10−Nにセットし、テスト画像を平面へ投影する(ステップS14)。
【0070】
画像入力部2では、カメラ20で観測(撮像)された、プロジェクタ10−1〜10−Nによりスクリーン(平面)上に投影された画像を取得し、輝度変動検出部3に転送する(ステップS7)。輝度変動検出部3では、射影変換DB8から平面射影変換のデータを取り出し、画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する(ステップS8)。次に、輝度変動検出部3は、逐次観測した画像について、オリジナル画像との輝度変動e(t)を検出する(ステップS9)。
【0071】
輝度調整部5−1〜5−Nは、画像変動検出部3で得た輝度変動e(t)から、全画素についての誤差の平均値(輝度誤差)を計算し、その輝度誤差が所定の許容値ε(例えば、ε=10に設定しておく)より小さいか否かを判断する(ステップS10)。そして、その輝度誤差が所定の許容値ε以上である場合には、状態t+1での各画素の輝度状態を、数式(9)に従って制御する(ステップS11)。
【0072】
次に、輝度調整部5−1〜5−Nは、観測画像を射影変換したのと同様に、射影変換DB8から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し(ステップS12)、モード判定部4から同期信号を受信したことを識別すると(ステップS13)、全ての画素の輝度を更新した後、輝度調整部5−1〜5−Nは、この投影用変換画像をプロジェクタ10−1〜10−Nにセットし、更新画像を再び平面に投影する(ステップS14)。
【0073】
上述したステップS7〜S14の輝度調整は、各状態tでの輝度変動に応じて行われ、輝度誤差が許容誤差εより小さくなるまで続けられる。そして、各テスト画像について、輝度誤差が許容誤差εより小さくなった時点で(ステップS10のYES)、次のテスト画像をセットし,上記の処理を繰り返す(ステップS4〜S14)。
【0074】
一方、全てのテスト画像の輝度を補正が終了すると(ステップS5のYES)、輝度調整部5−1〜5−Nは、分配係数の計算を実施し、各画素の分配係数Dj、djを算出すると(ステップS15)、カラー分配DB7−1〜7−Nにそれらを格納し、ステップS1の状態検出へ戻る。
【0075】
一方、選択したモードが調整モードでない場合には(ステップS3のNO)、すなわち、モードが「輝度分配モード」である場合には、輝度分配部6−jの処理を実行させる。輝度分配部6−jは、カラー分配DB7−jから各画素のDjとdjをそれぞれ取り出し、輝度分配データをセットする(図3のステップS16)。次に、コンテンツ画像DB9から任意の画像を読み込み(ステップS17)、その画像上の各画素の輝度値Cを、各プロジェクタ10−jへの輝度値として分配する(ステップS18)。
【0076】
次に、輝度分配部6−jは、射影変換DB8から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し(ステップS19)、全ての画素をセットした後、モード判定部4からの同期信号を識別し(ステップS20)、該同期信号が処理終了(停止命令)であるか否かを判断する(ステップS21)。そして、該同期信号が処理終了(停止命令)でない場合には(ステップS21のNO)、ある一定の時間(1秒以下の微小な時間)を置いて、その変換画像をプロジェクタ10−jへ出力し、輝度補正された画像を所定の平面に投影する(ステップS22)。その後、図3のステップS1に戻る。一方、同期信号が処理終了(停止命令)である場合には(ステップS21のYES)、当該処理を終了する。
【0077】
上述した第1実施形態によれば、適当に与えたテスト画像から任意のコンテンツの画像を各プロジェクタへ輝度配分するための分配係数を保有することにより、全てのプロジェクタ間でパラメータ等を共有すること無く、柔軟にマルチプロジェクタシステムの輝度補正を行うことができる。さらに、分配係数は、コンテンツ画像に依存しないため、それぞれのプロジェクタにおいて一度保有するだけで、その分配係数を用いて任意のコンテンツ画像を補正することができる。
【0078】
B.第2実施形態
次に、本発明の第2実施形態について説明する。
図4は、本発明に係る第2実施形態の多重投影輝度調整装置1の構成を示すブロック図である。なお、図1に対応する部分には同一の符号を付けて説明を省略する。本第2実施形態では、任意のコンテンツ画像を投影している間に、照明などの環境に変化が発生したとき、その輝度変化に応じてプロジェクタ10−1〜10−Nの輝度を制御することを特徴としている。本第2実施形態は、上述した第1実施形態と同様の構成であるが、輝度調整部5−1〜5−Nと輝度分配部6a−1〜6a−Nの双方において画像変動検出部3で得た輝度変動を利用する。
【0079】
(輝度分配部6a−1〜6a−N)
モード判定部4が輝度分配部6a−1〜6a−Nの処理を選択すると、画像変動検出部3で得た状態tでの輝度誤差e(t)を輝度分配部6a−jへ渡す。輝度分配部6a−jは、カラー分配DB7−jから各画素の分配係数データDjとdjをセットした後、コンテンツ画像DB9から任意の画像を読み込むと、その画像上の各画素の輝度値Cを、次式(15)により、各プロジェクタ10−jへの輝度値Pjを算出して分配する。
【0080】
【数15】
【0081】
Kは、数式(10)を利用する(パラメータkの値を変更してもよい)。各画素において輝度誤差が発生したとき、数式(15)に従ったフィードバック制御により、その輝度変動を吸収して輝度補正することができる。
【0082】
図5、及び図6は、本第2実施形態の動作を説明するためのフローチャートである。なお、第1実施形態での図2、図3と対応する部分には同一のステップを付け、説明を簡略化している。選択したモードが調整モードである場合には(ステップS3のYES)、前述した第1実施形態と同様に、ステップS4〜S14を繰り返し実行し、最終的に、全てのテスト画像の輝度を補正が終了すると(ステップS5のYES)、輝度調整部5−jは、分配係数の計算を実施し、各画素の分配係数Dj、djを算出し(ステップS15)、カラー分配DB7−jにそれらを格納し、ステップS1の状態検出へ戻る。
【0083】
一方、選択したモードが輝度分配モードになると(ステップS3のNO)、前述した第1実施形態と同様に、カメラ20で観測(撮像)された、プロジェクタ10−1〜10−Nによりスクリーン(平面)上に投影された画像を画像入力部2で取得し(ステップS7)、輝度変動検出部3では、射影変換DB8から平面射影変換のデータを取り出し、画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する(ステップS8)。次に、輝度変動検出部3は、逐次観測した画像について、オリジナル画像との輝度変動e(t)を検出する(ステップS9)。この場合、モードが「輝度分配モード」であるので(ステップS3のNO)、再び、上述したステップS16〜S22を実行する。
【0084】
ここで、輝度分配部6a−1〜6a−Nは、ステップS18で、カラー分配DB7−jから各画素の分配係数データDjとdjをセットした後、コンテンツ画像DB9から任意の画像を読み込むと、その画像上の各画素の輝度値Cを、画像変動検出部3からの輝度誤差e(t)を用いて、数式(15)により、各プロジェクタ10−jへの輝度値Pjを算出して分配する。そして、ステップS22で、変換画像をプロジェクタ10−jへ出力し、輝度補正された画像を所定の平面に投影する。その後、図5のステップS7へ戻り、上述した処理を同期信号が処理終了(停止命令)になるまで繰り返し実行し、同期信号が処理終了(停止命令)になると(ステップS21のYES)、当該処理を終了する。
【0085】
上述した第2実施形態によれば、コンテンツ画像をプロジェクタ10−1〜10−Nで投射している間に、照明などの環境に変化が発生した場合であっても、カメラ20で撮影し、輝度変動検出部3でリアルタイムで輝度変動を検出し、輝度分配部6a−1〜6a−Nでプロジェクタ10−1〜10−Nに分配する輝度を制御するので、コンテンツ画像を投影しているその輝度変化に応じてプロジェクタ10−1〜10−Nの輝度を制御することができる。
【0086】
さらに、本第2実施形態によれば、全てのプロジェクタに対して補正パラメータを共有しないで輝度を補正するため、プロジェクタの台数や、配置を変更しても柔軟に輝度補正を行うことができる。
【0087】
C.第3実施形態
次に、本発明の第3実施形態について説明する。
システムの設定や、プロジェクタの台数と配置に変更が無い状況では、第1実施形態、または第2実施形態の輝度調整部5−1〜5−Nにおいて分配係数を算出する手間を省くことができる。本第3実施形態では、先のセットアップにおいてカラー配分DB7−1〜7−Nに分配係数を記憶しておき、該分配係数を用いて輝度補正を行う。
【0088】
図7は、本発明に係る第3実施形態の多重投影輝度調整装置1の構成を示すブロック図である。なお、図1に対応する部分には同一の符号を付けて説明を省略する。図示するように、本第3実施形態では、画像入力部1、画像変動検出部3、モード判別部4、輝度調整部5−1〜5−Nを省いた構成となっている。
【0089】
図8は、本第3実施形態の動作を説明するためのフローチャートである。なお、図8に示すフローチャートは、前述した第1実施形態での図2のステップS3においてモード判定部4が輝度分配部6−1〜6−Nの処理を選択したときに実行される、図3に示すフローチャートと同じである。輝度分配部6−jは、カラー分配DB7−jから各画素のDjとdjをそれぞれ取り出し、輝度分配係数データをセットする(ステップS30)。次に、コンテンツ画像DB9から任意の画像を読み込み(ステップS31)、その画像上の各画素の輝度値Cを、各プロジェクタ10−jへの輝度値として分配する(ステップS32)。
【0090】
次に、輝度分配部6−1〜6−Nは、射影変換DB8から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し(ステップS33)、全ての画素をセットした後、モード判定部4からの同期信号が処理終了(停止命令)でない場合には(ステップS34のNO)、その変換画像をプロジェクタ10−jへ出力し、輝度補正された画像を所定の平面に投影する(ステップS35)。その後、ステップS31に戻り、次のコンテンツ画像に対して上述した処理を繰り返す。一方、同期信号が処理終了(停止命令)である場合には(ステップS34のYES)、当該処理を終了する。
【0091】
上述した第3実施形態によれば、システムの設定や、プロジェクタの台数と配置に変更が無い場合には、先のセットアップにおいてカラー配分DB7−1〜7−Nに分配係数を記憶しておき、該分配係数を用いて輝度補正を行うようにしたので、画像入力部1、画像変動検出部3、モード判別部4、輝度調整部5−1〜5−Nを省くことができ、また、分配係数を算出する手間を省くことができる。
【0092】
D.第4実施形態
次に、本発明の第4実施形態について説明する。
上述した第3実施形態では、プロジェクタ以外の照明や、環境光に変化がない状況を想定していた。これに対して、本第4実施形態は、任意のコンテンツ画像を投影している間に照明などの環境に変化が発生したとき、その輝度変化に応じて輝度を制御することを特徴としている。
【0093】
図9は、本発明に係る第4実施形態の多重投影輝度調整装置1の構成を示すブロック図である。なお、図1に対応する部分には同一の符号を付けて説明を省略する。図示するように、本第4実施形態では、モード判別部4、輝度調整部5−1〜5−Nを省いた構成となっている。画像変動検出部3は、任意のコンテンツ画像を投影しているときに、画像入力部2からの画像に基づいて算出した、状態tでの輝度誤差e(t)を輝度分配部6a−1〜6a−Nへ渡す。輝度分配部6a−jは、カラー分配DB7−jから各画素の分配係数データDjとdjをセットした後、コンテンツ画像DB9から任意の画像を読み込むと、その画像上の各画素の輝度値Cを、数式(15)により、各プロジェクタ10−jへの輝度値Pjを算出して分配する。
【0094】
図10は、本第4実施形態の動作を説明するためのフローチャートである。輝度分配部6−jは、カラー分配DB7−jから各画素のDjとdjをそれぞれ取り出し、輝度分配係数データをセットする(ステップS40)。次に、コンテンツ画像DB9から任意の画像を読み込み(ステップS41)、その画像上の各画素の輝度値Cを、各プロジェクタ10−jへの輝度値として分配する(ステップS42)。
【0095】
次に、輝度分配部6−1〜6−Nは、射影変換DB8から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し(ステップS43)、全ての画素をセットした後、モード判定部4からの同期信号を識別し(ステップS44)、同期信号が処理終了(停止命令)でない場合には(ステップS45のNO)、その変換画像をプロジェクタ10−jへ出力し、輝度補正された画像を所定の平面に投影する(ステップS46)。
【0096】
画像入力部2では、カメラ20で観測(撮像)された、プロジェクタ10−1〜10−Nによりスクリーン(平面)上に投影された画像を取得し、輝度変動検出部3に転送する(ステップS47)。輝度変動検出部3では、射影変換DB8から平面射影変換のデータを取り出し、観測画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する(ステップS48)。次に、輝度変動検出部3は、観測した画像について、オリジナル画像との輝度変動e(t)を検出する(ステップS49)。輝度分配部6−jでは、コンテンツ画像DB9から任意の画像を読み込み(ステップS41)、その画像上の各画素の輝度値Cを、各プロジェクタ10−jへの輝度値として分配する(ステップS42)。
【0097】
以上、コンテンツ画像をプロジェクタ10−1〜10−Nで投射しつつ、カメラ20で撮影し、輝度変動検出部3でリアルタイムで輝度変動を検出して、輝度分配部6−1〜6−Nでプロジェクタ10−1〜10−Nに分配する輝度を制御すべく、上述した処理を繰り返す。一方、同期信号が処理終了(停止命令)である場合には(ステップS45のYES)、当該処理を終了する。
【0098】
上述した第4実施形態によれば、任意のコンテンツ画像を投影している間に照明などの環境に変化が発生したときであっても、その輝度変化に応じて輝度を制御することができる。
【0099】
さらに、本第4実施形態によれば、全てのプロジェクタに対して補正パラメータを共有しないで輝度を補正するため、プロジェクタの台数や、配置を変更しても柔軟に輝度補正を行うことができる。
【0100】
なお、本発明は、前述した第1乃至第4実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム、あるいは装置に供給し、そのシステム、あるいは装置のCPU(MPU)が記憶媒体に格納されたプログラムコードを読み出して実行することによっても実現できる。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、CD−ROM、DVD−ROM、CD−R、CD−RW、MO、HDD等は本発明を構成する。
【符号の説明】
【0101】
1 多重投影輝度調整装置
2 画像入力部
3 輝度変動検出部
4 モード判別部
5−1〜5−N 輝度調整部
6−1〜6−N、6a−1〜6a−N 輝度分配部
7−1〜7−N カラー分配DB
6 射影変換DB
8 輝度補正DB
9 コンテンツ画像DB
10−1〜10−N プロジェクタ
20 カメラ
【技術分野】
【0001】
本発明は、マルチプロジェクタシステムを使って複数のプロジェクタからの投影像をカメラで観測するとき、各画素の観測輝度値が所定の値となるようにプロジェクタからの出力輝度値を自動的に補正する多重投影輝度調整技術に関する。
【背景技術】
【0002】
プロジェクタ・カメラシステムは、様々な用途に利用されている。例えば、会議や、学会発表でのプレゼンテーションにプロジェクタを利用する以外に、ヒューマンインタラクションや、拡張現実感の表示システムとしても利用できる。さらに、複数のプロジェクタを使うと、各プロジェクタからの画像を繋ぎ合わせて巨大な画像(タイリング)を生成でき、近年では、HDR(High Dynamic Range)画像を表示するアプリケーションとしても期待されている。
【0003】
例えば、遠隔会議システムなどのアプリケーションによっては、単体のプロジェクタから画像を投影して、単体のカメラにより、その投影像を観測するとき、そのカメラが所定の輝度を観測するように、原画像の輝度を調整する必要がある。従来から、この技術は、輝度補正と呼ばれており、プロジェクタからのRGB輝度値とカメラで観測されたRGB輝度値との間の相関関係に着目し、カラー混合行列(Color Mixing Matrix)と呼ばれる3×3の行列Vを使って、所定のRGB輝度値C=(CR,CG,CB)を、カメラが観測するようにプロジェクタからのRGB出力値P=(PR,PG,PB)を補正する。このシステムにおいて、観測した画像の輝度値Cと各プロジェクタからの出力輝度Pとの間には、次式(1)が成り立つ。
【0004】
【数1】
【0005】
Vは、プロジェクタのカラー混合行列であり、F=(Fr,Fg,Fb)は、プロジェクタ以外の光源からの照明を含む環境光である(物体表面の反射率は一定と考える)。非特許文献1によれば、4枚のサンプル画像が用意できれば、カラー混合行列と環境光を求めることができる。
【0006】
上記の輝度補正は、N台のプロジェクタと1台のカメラとから構成されるマルチプロジェクタシステムに拡張すると、次式(2)の関係になる。
【0007】
【数2】
【0008】
Pjはj番目のプロジェクタの輝度であり、Vjはj番目のプロジェクタの輝度とカメラ観測による輝度とを結び付けたカラー混合行列である。j番目のプロジェクタ以外のN−1台のプロジェクタに黒画像をセットした状態にすると、このマルチプロジェクタシステムは、数式(1)に示した従来のプロジェクタ・カメラシステムとなる。よって、このシステムにおいて、非特許文献1の方法を用いて、カラー混合行列Vjを得ることができる。
【0009】
マルチプロジェクタシステムの輝度補正については、非特許文献2が公知である。これは、全てのプロジェクタの輝度補正パラメータを共有させて、オリジナルの輝度をN台のプロジェクタで均等に配分して、各プロジェクタの輝度を決定する方法である。カラー混合行列を用いた輝度補正に輝度均等方式を採用すると、各プロジェクタの輝度は、次式(3)により補正することできる。
【0010】
【数3】
【0011】
但し、Njは、プロジェクタの重複数であり、N台のプロジェクタがその画素を多重投影すれば、Nj=Nとし、1台のプロジェクタのみがその画素を投影する場合には、Nj=1とセットする。
【先行技術文献】
【非特許文献】
【0012】
【非特許文献1】K. Fujii, M. D. Grossberg, and S. K. Nayar: “A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments”, Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.
【非特許文献2】O. Bimber, A. Emmerling, and T. Klemmer: “Embedded Entertainment with Smart Projec-tors”, IEEE Computer, vol. 38, no. 1, pp. 48-55, 2005.
【発明の概要】
【発明が解決しようとする課題】
【0013】
図11は、プロジェクタに与えた入力輝度(あるカラーチャネル)をカメラで観測した輝度出力の特性(トーンカーブ)の典型例を示す概念図である。マルチプロジェクタシステムの輝度補正は、数式(2)に示したように、各プロジェクタ輝度の線形和を仮定している。しかしながら、プロジェクタの入力輝度とカメラの観測輝度との入出力特性では、図11のようなトーンカーブが得られる場合が多い。低階調ではプロジェクタの入力輝度に対して緩やかな応答特性を示し、中間階調ではほぼ線形な特性となり、高階調では再び緩やかな応答特性となる。よって、中間階調と比べると、輝度が低い応答レベル、または高い応答レベルでは線形特性から逸脱する。加えて、図11の低階調で示したように、プロジェクタの輝度値が0でも、カメラ観測ではブラックオフセット(完全な黒を観測しない)が存在する。
【0014】
1台のプロジェクタと1台のカメラ間のトーンカーブにおいても、このような非線形な特性を有しているため、複数台のプロジェクタと1台のカメラ間においても、より複雑なトーンカーブとなる。よって、マルチプロジェクタシステムにおいては、各プロジェクタからの輝度の線形和で輝度補正するには、その適用範囲に限界がある。例えば、数式(3)に従った輝度補正では、プロジェクタの台数が増えるにつれて、分配輝度値は、反比例するため、カメラの応答特性は、図11の低階調の特性に近づく。よって、マルチプロジェクタシステムでは、一層、非線形な応答特性が顕著になるため、輝度を単純に等分配するだけでは、十分な補正ができる保証はない。
【0015】
また、非特許文献2で公知の輝度補正方法は、補正パラメータを全てのプロジェクタで共有した上で、それらのパラメータを用いて均等配分された輝度を算出する。つまり、全てのプロジェクタの補正パラメータを用いないと、全てのプロジェクタの輝度補正ができない。これにより、マルチプロジェクタシステムが上記のような非線形な特性を有する場合には、この方法を容易に適用することができないという問題がある。さらに、プロジェクタの台数を変更する場合や、全体のシステム構成を変更する場合に応じて、補正パラメータの共有化を実装する必要がある。
【0016】
そのようなシステム変更が生じても柔軟に輝度補正に対応できることが、様々なアプリケーションにおける利便性の点で重要である。よって、マルチプロジェクタシステムにおいて数式(2)に示したプロジェクタ輝度の線形和が成り立たず、かつ、数式でモデル化できない非線形応答が存在するシステムにおいても、複数のプロジェクタから投影される輝度を補正できることが望まれる。
【0017】
本発明は、このような事情を考慮してなされたものであり、その目的は、複数プロジェクタによる多重投影システムにおいて非線形な応答を有していたとしても、複数のプロジェクタが投影した任意のコンテンツ画像がオリジナル画像とほぼ同等になるように、任意のコンテンツ画像の輝度を補正することができる技術を提供することにある。
【課題を解決するための手段】
【0018】
本発明の一態様は、N台のプロジェクタによって投影される画像を1台のカメラによって撮像するマルチプロジェクタシステムでの多重投影輝度調整方法であって、入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得ステップと、前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出ステップと、前記検出された輝度変動に基づいて前記N台のプロジェクタの輝度を制御する輝度制御ステップと、前記輝度制御の結果に基づいて、前記N台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出ステップと、コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記N台のプロジェクタへの輝度値として分配する分配ステップと、前記輝度値が分配された前記コンテンツ画像を前記N台のプロジェクタから投影するステップとを含むことを特徴とする多重投影輝度調整方法である。
【0019】
本発明の一態様は、上記の多重投影輝度調整方法であって、前記算出ステップは、前記テスト画像の各画素値が、前記輝度制御の後の前記輝度に基づいて得られる前記テスト画像の各画素値と線形結合で結び付けられた輝度分配モデルに基づいて前記分配係数を算出するステップであることを特徴とする。
【0020】
本発明の一態様は、上記の多重投影輝度調整方法であって、前記観測画像取得ステップ、前記輝度変動検出ステップを繰り返し実行し、前記制御ステップは、前記輝度変動が所定の許容値以上の場合には、前記N台のプロジェクタへ入力される輝度状態を制御した後、前記N台のプロジェクタから更新後の輝度に基づいて画像を再び投影するステップと、前記輝度変動が前記所定の許容値より小さい場合には、前記テスト画像に対する前記N台のプロジェクタの輝度の制御が完了したと判定する完了判定ステップと、を含むことを特徴とする。
【0021】
本発明の一態様は、N台のプロジェクタによって投影される画像を1台のカメラによって撮像するマルチプロジェクタシステムの多重投影輝度調整装置であって、入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得部と、前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出部と、前記検出された輝度変動に基づいて前記N台のプロジェクタの輝度を制御する輝度制御部と、前記輝度制御の結果に基づいて、前記N台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出部と、コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記N台のプロジェクタへの輝度値として分配する分配部と、前記輝度値が分配された前記コンテンツ画像を前記N台のプロジェクタから投影する投影部とを含むことを特徴とする多重投影輝度調整装置である。
【0022】
本発明の一態様は、上記の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムである。
【0023】
本発明の一態様は、上記の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体である。
【発明の効果】
【0024】
この発明によれば、複数プロジェクタによる多重投影システムにおいて、非線形な応答を有していたとしても、オリジナル画像とほぼ同等になるように、複数のプロジェクタが投影したコンテンツ画像の輝度を補正することができる。
【図面の簡単な説明】
【0025】
【図1】本発明に係る第1実施形態の多重投影輝度調整装置1の構成を示すブロック図である。
【図2】本第1実施形態の動作を説明するためのフローチャートである。
【図3】本第1実施形態の動作を説明するためのフローチャートである。
【図4】本発明に係る第2実施形態の多重投影輝度調整装置1の構成を示すブロック図である。
【図5】本第2実施形態の動作を説明するためのフローチャートである。
【図6】本第2実施形態の動作を説明するためのフローチャートである。
【図7】本発明に係る第3実施形態の多重投影輝度調整装置1の構成を示すブロック図である。
【図8】本第3実施形態の動作を説明するためのフローチャートである。
【図9】本発明に係る第4実施形態の多重投影輝度調整装置1の構成を示すブロック図である。
【図10】本第4実施形態の動作を説明するためのフローチャートである。
【図11】プロジェクタに与えた入力輝度(あるカラーチャネル)をカメラで観測した輝度出力の特性(トーンカーブ)の典型例を示す概念図である。
【発明を実施するための形態】
【0026】
以下、本発明の一実施形態を、図面を参照して説明する。
【0027】
A.第1実施形態
本発明の第1実施形態について説明する。
図1は、本発明に係る第1実施形態の多重投影輝度調整装置1の構成を示すブロック図である。図1において、多重投影輝度調整装置1は、N台のプロジェクタ10と1台のカメラ20とからなるマルチプロジェクタシステムに対する投影輝度自動調整方法を実現する。投影輝度自動調整装置1は、画像入力部2、画像変動検出部3、モード判定部4、輝度調整部5−1〜5−N、及び輝度分配部6−1〜6−Nを備えている。画像入力部2は、カメラ20から画像データを取得する。画像変動検出部3は、その画像入力部1から画像を取得し、その画像情報を用いて輝度変動を検出する。モード判定部4は、全てのプロジェクタを制御するための同期信号を送出し、輝度調整部5−1〜5−N、または輝度分配部6−1〜6−Nへの処理を指示する。輝度調整部5−1〜5−Nは、その画像変動検出部3にて得た輝度変動に応じてプロジェクタ10−1〜10−Nから出力する輝度を調整し、多重投影輝度補正に用いるための分配係数を算出する。輝度分配部6−1〜6−Nは、分配係数を用いて各プロジェクタの輝度を補正する。
【0028】
本第1実施形態は、従来技術とは異なり、他のプロジェクタと連動しない。本第1実施形態では、各プロジェクタ10−1〜10−Nを制御する輝度調整部5−1〜5−N、輝度分配部6−1〜6−Nは、モード判定部4から送出される同期信号に従ってそれぞれ独立に動作する。本第1実施形態では、複数のプロジェクタ10−1〜10−Nによって投影した任意のコンテンツ画像がオリジナル画像とほぼ同等になるように、輝度調整部5−1〜5−Nで得た分配係数を用いて、他のプロジェクタと連動しないで、任意のコンテンツ画像の輝度を自動的に補正する。
【0029】
この構成において、プロジェクタ10−1〜10−N、カメラ20は、必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよい。画像入力部2、画像変動検出部3、輝度調整部5−1〜5−N、輝度分配部6−1〜6−Nからそれぞれの矢印へのデータの流れは、ハードディスク、RAID装置、CD−ROMなどの記録媒体を利用する形態、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。
【0030】
以下、各部の詳細について説明する。
【0031】
(モード判定部4)
モード判定部4は、起動されると、プロジェクタ10−1〜10−Nを制御するための状態を検出する。もし、初期状態において輝度補正を行うためのデータが何もないときは、状態の検出では「補正パラメータが無い」と判断し、モード選択において「輝度調整部の処理」を選択する。モード判定部4は、モードが調整モードである場合には、輝度調整部5−1〜5−Nの処理を実行させ、調整モードでない場合には、輝度分配部6−1〜6−Nの処理を実行させる。
【0032】
さらに、モード判定部4は、各プロジェクタを制御する輝度調整部5−1〜5−N、輝度分配部6−1〜6−Nに対して同期信号を送出する。この同期信号を輝度調整部5−1〜5−N、輝度分配部6−1〜6−Nが受信した時点で、補正した画像をプロジェクタ10−1〜10−Nに出力する。これにより、全てのプロジェクタ10−1〜10−Nは、タイムラグを発生することなく画像を投影することができる。
【0033】
(画像入力部2)
画像入力部2は、カメラ20等で撮像された画像を取得する手段であり、取得した画像データを、輝度調整部5−1〜5−N、または輝度分配部6−1〜6−Nに転送する。画像入力部2で取得する画像の例としては、スクリーン全体が隠れることなく写された画像、または、所定の領域を撮影した画像である。
【0034】
(画像変動検出部3)
本第1実施形態では、各プロジェクタ10−1〜10−Nが所定の平面へ画像を投影し、その像をカメラ20が観測(撮影)するという形態で動作する。この形態において、画像変動検出部3は、画像入力部2からの観測した画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行う。以下に、該射影変換方法について説明する。
【0035】
あるプロジェクタ画面の点の2次元座標を(u,v)、その点がZ=0のXY平面上に投影されたときの3次元座標を(X,Y,0)、その投影点をカメラ20で観測したときの点の2次元座標を(x,y)とすると、あるプロジェクタ10−i(i=1〜N)と平面間の平面射影変換Hps、並びに平面とカメラ20間の平面射影変換Hscによって、次式(4)、(5)の計算により、各画素をそれぞれ対応付けることができる。
【0036】
【数4】
【0037】
【数5】
【0038】
さらに、プロジェクタ10−iから出力する画像の2次元座標(u,v)とオリジナル画像上の点の2次元座標(u′,v′)とは、次式(6)の計算により両画素を対応付けることができる。
【0039】
【数6】
【0040】
Hipは、オリジナル画像とプロジェクタ画面間の平面射影変換である。よって、これらの平面射影変換が既知であると、v画像の2次元座標(u′,v′)とカメラ20で観測した2次元座標(x,y)との間、並びに、プロジェクタ画面上の2次元座標(u,v)とカメラ20で観測した2次元座標(x,y)との間を結び付けることができる。事前のキャリブレーション作業によって、それぞれのプロジェクタについて平面射影変換Hps、Hsc、Hipを得て、それらのデータを射影変換DB8に格納している。このキャリブレーションでは、公知となっている平面射影変換推定方法を利用することができる。
【0041】
画像変動検出部3は、画像入力部2から観測画像を取得すると、射影変換DB8から上記平面射影変換のデータを読み込み、数式(6)に従ってオリジナル画像の画素の2次元座標値(u′,v′)から観測画像上の画素に該当する2次元座標値(x,y)を算出する。画像変動検出部3は、この座標計算を対象の画素全てに施して、観測画像を射影変換した画像を生成する。
【0042】
該射影変換画像の各画素は、オリジナル画像の対応する各画素に対応付けられるので、観測画像の画素値C′(t)とオリジナル画像上の画素値Cとを比較することができる。なお、本第1実施形態の動作が終了するまで、カメラ20から画像を逐次観測するため、状態t、あるいは時刻tでの観測画像の画素値をC′(t)と表すことにする。平面射影変換を用いてオリジナル画像と観測画像との各画素を対応付けしながら、各画素の輝度変動e(t)を次式(7)の計算によって算出する。
【0043】
【数7】
【0044】
画像変動検出部3は、逐次観測した画像について、数式(7)を用いてオリジナル画像との輝度変動を検出する。
【0045】
(輝度調整部5−1〜5−N)
輝度調整部5−1〜5−Nは、モード判定部4が輝度調整の処理を選択すると、処理を開始し、まず、テスト画像をセットする。テスト画像は、非特許文献1が用いている4種類の画像(グレー系画像、赤系画像、緑系画像、青系画像)を用いる。輝度調整部5−1〜5−Nでは、グレー系画像から処理を開始して、輝度補正がある程度まで完了した時点で、赤系画像、緑系画像、青系画像と順番に切り替えて処理する。
【0046】
以下では、あるテスト画像について処理を説明するが、他の画像も同様に行う。また、本発明は、全てのプロジェクタについても同様の処理を行うため、N台のプロジェクタ10−1〜10−Nのうち,j番目のプロジェクタ10−jについての輝度調整部5−jの処理として説明する。以下では、j番目であることを強調するため、下添え文字にjを付ける。
【0047】
テスト画像がセットされた後、各時刻、または各状態において、輝度を制御するための状態方程式を初期化する。輝度状態の初期化では、各画素値を次式(8)とする。
【0048】
【数8】
【0049】
αはテスト画像のオリジナル輝度を各プロジェクタへ分配するための定数である。N台のプロジェクタ10−1〜10−Nを用いた場合、α=1/Nとする。
【0050】
輝度調整部5−jは、テスト画像が所定の平面、または領域へ投影するように、射影変換DB8から平面射影変換のデータを取り出し、その平面射影変換のデータを用いて、そのテスト画像から投影用変換画像を生成する。平面射影変換のデータは、一度読み出してメモリ(図示略)に一時記憶して用いる。この平面射影変換については、前述した画像変動検出部3で説明しているので詳細を省略する。画像を観測するタイミングで、モード判定部4から同期信号が送出されるので、輝度調整部5−jは、その同期信号を受信した後、一定の時間を置いてから投影用変換画像をプロジェクタ10−jにセットし、テスト画像を平面へ投影する。
【0051】
輝度調整部5−jは、画像変動検出部3で得た輝度変動e(t)から、全画素についての誤差の平均値(輝度誤差)を計算し、その輝度誤差が所定の許容値ε(例えば、ε=10に設定しておく)より小さい場合には、現時点で処理を停止し、次のテスト画像をセットする。一方、その輝度誤差が所定の許容値ε以上である場合には、状態t+1での各画素の輝度状態を、次式(9)に従って制御する。
【0052】
【数9】
【0053】
この状態方程式では、Kはフィードバック制御におけるゲインパラメータの役割を担っており、本第1実施形態では、次式(10)で与えられる。
【0054】
【数10】
【0055】
kの設定値については、例えば、2台のプロジェクタを用いた例では、k=0.7、3台のプロジェクタを用いた例では、k=0.5とする。次に、プロジェクタ10−jへの入力輝度とするため、次式(11)により輝度を変換する。
【0056】
【数11】
【0057】
Vjはプロジェクタ10−jのカラー混合行列であり、Fは環境光ベクトルである。これらのパラメータは、非特許文献1を利用して事前に求めておく。
【0058】
数式(9)を用いて輝度が更新された画素は、プロジェクタ10−jに次の状態として与えられる画像上の画素にセットされる。このとき、観測画像を射影変換したのと同様に、輝度調整部5−jは、射影変換DB8から取り出した平面射影変換のデータを用いて、投影用変換画像を生成する。投影用変換画像の画素は、プロジェクタ画面の画素である。テスト画像と同じ大きさの画像バッファを用意し、各画素が(u′,v′)に対応するため、数式(4)、(5)、(6)の平面射影変換の関係を利用して、プロジェクタ画面上の座標(u,v)を算出する。輝度が更新された画素は、その座標(u,v)の点にセットされる。全ての画素の輝度を更新した後、輝度調整部5−jは、この投影用変換画像をプロジェクタ10−jにセットし、更新画像を再び平面に投影する。
【0059】
数式(9)による輝度調整は、各状態tでの輝度変動に応じて行われ、輝度誤差が許容誤差εより小さくなるまで続けられる。各テスト画像について、輝度誤差が許容誤差εより小さくなった時点で、各テスト画像の輝度調整が完了したと判定し、作業用のメモリに一時確保しておく。上記の処理を、次々にテスト画像をセットして繰り返す。
【0060】
全てのテスト画像の輝度を補正した後、分配係数の計算を実施する。上記の処理を繰り返して、グレー系画像、赤系画像、緑系画像、青系画像の輝度を調整し、最終的な輝度補正画像を得たとき、各画像上の各画素の輝度値がCWj、CRj、CGj、CBjであり、テスト画像上のそれぞれのオリジナルの画素の輝度値をCW、CR、CG、CBであるとする。これらの輝度値について、次式(12)により関連付ける。
【0061】
【数12】
【0062】
Djは3×3の行列、djは3次元ベクトルであり、これらを本発明では、分配係数と称する。つまり、数式(12)の関係式を適用して、任意のコンテンツ画像の各画素を輝度補正する。Djとdjは、数式(12)の連立方程式を解くことにより算出する。輝度調整部5−jは、各画素の分配係数Dj、djを算出すると、カラー分配DB7−jにそれらを格納し処理を終了する。
【0063】
(輝度分配部6−1〜6−N)
輝度分配部6−1〜6−Nは、モード判定部4において、「輝度調整が完了した」という状態を検出すると、モードを「輝度分配モード」に変更する。モード判定部4が輝度分配部6−1〜6−Nの処理を選択すると、輝度分配部6−1〜6−Nは、輝度分配データのセットを実行する。カラー分配DB7−1〜7−Nから各画素のDjとdjをそれぞれ取り出し、一時メモリ(図示略)に記憶しておく。次に、コンテンツ画像DB9から任意の画像を読み込むと、その画像上の各画素の輝度値Cを、次式(13)、(14)により、各プロジェクタ10−jへの輝度値Pjを算出して分配する。
【0064】
【数13】
【0065】
【数14】
【0066】
このとき、輝度調整部5−jにおいて投影用変換画像を生成したのと同様に、射影変換DB8から取り出した平面射影変換のデータを用いて、投影用変換画像を生成する。投影用変換画像の画素は、プロジェクタ画面の画素である。テスト画像と同じ大きさの画像バッファを用意し、各画素が(u′,v′)に対応するため、数式(4)、(5)、(6)の平面射影変換の関係を利用して、プロジェクタ画面上の座標(u,v)を算出する。新たな輝度値Pjは、その座標(u,v)の点にセットされる。全ての画素をセットした後、モード判定部4からの同期信号を受信して、ある一定の時間(1秒以下の微小な時間)を置いて、その変換画像をプロジェクタ10−jへ出力する。これにより、輝度補正された画像が所定の平面に投影される。もし、同期信号を受信したとき、その信号が停止命令ならば、処理を終了する。
【0067】
図2、及び図3は、本第1実施形態の動作を説明するためのフローチャートである。モード判定部4は、起動されると、プロジェクタ10−1〜10−Nを制御するための状態を検出する(ステップS1)。次に、モード選択を実行する(ステップS2)。もし、初期状態において輝度補正を行うためのデータが何もないときは、ステップS1での状態検出では「補正パラメータが無い」と判断し、ステップS2でのモード選択において「輝度調整部5−1〜5−Nの処理」を選択する。次に、選択したモードが調整モードであるか否かを判断する(ステップS3)。そして、選択したモードが調整モードである場合には(ステップS3のYES)、輝度調整部5−1〜5−Nの処理を実行させる。
【0068】
モード判定部4が輝度調整の処理を選択すると、輝度調整部5−1〜5−Nは、テスト画像をセットし(ステップS4)、調整が終了したか否かを判断する(ステップS5)。ここで、調整が終了していない場合には(ステップS5のNO)、プロジェクタ10にセットする画像の輝度状態(状態方程式)を初期化し(ステップS6)、テスト画像が所定の平面、または領域へ投影するように、射影変換DB8から平面射影変換のデータを取り出し、その平面射影変換のデータを用いて、そのテスト画像から投影用変換画像を生成する(ステップS12)。
【0069】
次に、輝度調整部5−1〜5−Nは、画像を観測するタイミングで、モード判定部4から、その同期信号を受信したことを識別すると(ステップS13)、一定の時間を置いてから投影用変換画像をプロジェクタ10−1〜10−Nにセットし、テスト画像を平面へ投影する(ステップS14)。
【0070】
画像入力部2では、カメラ20で観測(撮像)された、プロジェクタ10−1〜10−Nによりスクリーン(平面)上に投影された画像を取得し、輝度変動検出部3に転送する(ステップS7)。輝度変動検出部3では、射影変換DB8から平面射影変換のデータを取り出し、画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する(ステップS8)。次に、輝度変動検出部3は、逐次観測した画像について、オリジナル画像との輝度変動e(t)を検出する(ステップS9)。
【0071】
輝度調整部5−1〜5−Nは、画像変動検出部3で得た輝度変動e(t)から、全画素についての誤差の平均値(輝度誤差)を計算し、その輝度誤差が所定の許容値ε(例えば、ε=10に設定しておく)より小さいか否かを判断する(ステップS10)。そして、その輝度誤差が所定の許容値ε以上である場合には、状態t+1での各画素の輝度状態を、数式(9)に従って制御する(ステップS11)。
【0072】
次に、輝度調整部5−1〜5−Nは、観測画像を射影変換したのと同様に、射影変換DB8から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し(ステップS12)、モード判定部4から同期信号を受信したことを識別すると(ステップS13)、全ての画素の輝度を更新した後、輝度調整部5−1〜5−Nは、この投影用変換画像をプロジェクタ10−1〜10−Nにセットし、更新画像を再び平面に投影する(ステップS14)。
【0073】
上述したステップS7〜S14の輝度調整は、各状態tでの輝度変動に応じて行われ、輝度誤差が許容誤差εより小さくなるまで続けられる。そして、各テスト画像について、輝度誤差が許容誤差εより小さくなった時点で(ステップS10のYES)、次のテスト画像をセットし,上記の処理を繰り返す(ステップS4〜S14)。
【0074】
一方、全てのテスト画像の輝度を補正が終了すると(ステップS5のYES)、輝度調整部5−1〜5−Nは、分配係数の計算を実施し、各画素の分配係数Dj、djを算出すると(ステップS15)、カラー分配DB7−1〜7−Nにそれらを格納し、ステップS1の状態検出へ戻る。
【0075】
一方、選択したモードが調整モードでない場合には(ステップS3のNO)、すなわち、モードが「輝度分配モード」である場合には、輝度分配部6−jの処理を実行させる。輝度分配部6−jは、カラー分配DB7−jから各画素のDjとdjをそれぞれ取り出し、輝度分配データをセットする(図3のステップS16)。次に、コンテンツ画像DB9から任意の画像を読み込み(ステップS17)、その画像上の各画素の輝度値Cを、各プロジェクタ10−jへの輝度値として分配する(ステップS18)。
【0076】
次に、輝度分配部6−jは、射影変換DB8から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し(ステップS19)、全ての画素をセットした後、モード判定部4からの同期信号を識別し(ステップS20)、該同期信号が処理終了(停止命令)であるか否かを判断する(ステップS21)。そして、該同期信号が処理終了(停止命令)でない場合には(ステップS21のNO)、ある一定の時間(1秒以下の微小な時間)を置いて、その変換画像をプロジェクタ10−jへ出力し、輝度補正された画像を所定の平面に投影する(ステップS22)。その後、図3のステップS1に戻る。一方、同期信号が処理終了(停止命令)である場合には(ステップS21のYES)、当該処理を終了する。
【0077】
上述した第1実施形態によれば、適当に与えたテスト画像から任意のコンテンツの画像を各プロジェクタへ輝度配分するための分配係数を保有することにより、全てのプロジェクタ間でパラメータ等を共有すること無く、柔軟にマルチプロジェクタシステムの輝度補正を行うことができる。さらに、分配係数は、コンテンツ画像に依存しないため、それぞれのプロジェクタにおいて一度保有するだけで、その分配係数を用いて任意のコンテンツ画像を補正することができる。
【0078】
B.第2実施形態
次に、本発明の第2実施形態について説明する。
図4は、本発明に係る第2実施形態の多重投影輝度調整装置1の構成を示すブロック図である。なお、図1に対応する部分には同一の符号を付けて説明を省略する。本第2実施形態では、任意のコンテンツ画像を投影している間に、照明などの環境に変化が発生したとき、その輝度変化に応じてプロジェクタ10−1〜10−Nの輝度を制御することを特徴としている。本第2実施形態は、上述した第1実施形態と同様の構成であるが、輝度調整部5−1〜5−Nと輝度分配部6a−1〜6a−Nの双方において画像変動検出部3で得た輝度変動を利用する。
【0079】
(輝度分配部6a−1〜6a−N)
モード判定部4が輝度分配部6a−1〜6a−Nの処理を選択すると、画像変動検出部3で得た状態tでの輝度誤差e(t)を輝度分配部6a−jへ渡す。輝度分配部6a−jは、カラー分配DB7−jから各画素の分配係数データDjとdjをセットした後、コンテンツ画像DB9から任意の画像を読み込むと、その画像上の各画素の輝度値Cを、次式(15)により、各プロジェクタ10−jへの輝度値Pjを算出して分配する。
【0080】
【数15】
【0081】
Kは、数式(10)を利用する(パラメータkの値を変更してもよい)。各画素において輝度誤差が発生したとき、数式(15)に従ったフィードバック制御により、その輝度変動を吸収して輝度補正することができる。
【0082】
図5、及び図6は、本第2実施形態の動作を説明するためのフローチャートである。なお、第1実施形態での図2、図3と対応する部分には同一のステップを付け、説明を簡略化している。選択したモードが調整モードである場合には(ステップS3のYES)、前述した第1実施形態と同様に、ステップS4〜S14を繰り返し実行し、最終的に、全てのテスト画像の輝度を補正が終了すると(ステップS5のYES)、輝度調整部5−jは、分配係数の計算を実施し、各画素の分配係数Dj、djを算出し(ステップS15)、カラー分配DB7−jにそれらを格納し、ステップS1の状態検出へ戻る。
【0083】
一方、選択したモードが輝度分配モードになると(ステップS3のNO)、前述した第1実施形態と同様に、カメラ20で観測(撮像)された、プロジェクタ10−1〜10−Nによりスクリーン(平面)上に投影された画像を画像入力部2で取得し(ステップS7)、輝度変動検出部3では、射影変換DB8から平面射影変換のデータを取り出し、画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する(ステップS8)。次に、輝度変動検出部3は、逐次観測した画像について、オリジナル画像との輝度変動e(t)を検出する(ステップS9)。この場合、モードが「輝度分配モード」であるので(ステップS3のNO)、再び、上述したステップS16〜S22を実行する。
【0084】
ここで、輝度分配部6a−1〜6a−Nは、ステップS18で、カラー分配DB7−jから各画素の分配係数データDjとdjをセットした後、コンテンツ画像DB9から任意の画像を読み込むと、その画像上の各画素の輝度値Cを、画像変動検出部3からの輝度誤差e(t)を用いて、数式(15)により、各プロジェクタ10−jへの輝度値Pjを算出して分配する。そして、ステップS22で、変換画像をプロジェクタ10−jへ出力し、輝度補正された画像を所定の平面に投影する。その後、図5のステップS7へ戻り、上述した処理を同期信号が処理終了(停止命令)になるまで繰り返し実行し、同期信号が処理終了(停止命令)になると(ステップS21のYES)、当該処理を終了する。
【0085】
上述した第2実施形態によれば、コンテンツ画像をプロジェクタ10−1〜10−Nで投射している間に、照明などの環境に変化が発生した場合であっても、カメラ20で撮影し、輝度変動検出部3でリアルタイムで輝度変動を検出し、輝度分配部6a−1〜6a−Nでプロジェクタ10−1〜10−Nに分配する輝度を制御するので、コンテンツ画像を投影しているその輝度変化に応じてプロジェクタ10−1〜10−Nの輝度を制御することができる。
【0086】
さらに、本第2実施形態によれば、全てのプロジェクタに対して補正パラメータを共有しないで輝度を補正するため、プロジェクタの台数や、配置を変更しても柔軟に輝度補正を行うことができる。
【0087】
C.第3実施形態
次に、本発明の第3実施形態について説明する。
システムの設定や、プロジェクタの台数と配置に変更が無い状況では、第1実施形態、または第2実施形態の輝度調整部5−1〜5−Nにおいて分配係数を算出する手間を省くことができる。本第3実施形態では、先のセットアップにおいてカラー配分DB7−1〜7−Nに分配係数を記憶しておき、該分配係数を用いて輝度補正を行う。
【0088】
図7は、本発明に係る第3実施形態の多重投影輝度調整装置1の構成を示すブロック図である。なお、図1に対応する部分には同一の符号を付けて説明を省略する。図示するように、本第3実施形態では、画像入力部1、画像変動検出部3、モード判別部4、輝度調整部5−1〜5−Nを省いた構成となっている。
【0089】
図8は、本第3実施形態の動作を説明するためのフローチャートである。なお、図8に示すフローチャートは、前述した第1実施形態での図2のステップS3においてモード判定部4が輝度分配部6−1〜6−Nの処理を選択したときに実行される、図3に示すフローチャートと同じである。輝度分配部6−jは、カラー分配DB7−jから各画素のDjとdjをそれぞれ取り出し、輝度分配係数データをセットする(ステップS30)。次に、コンテンツ画像DB9から任意の画像を読み込み(ステップS31)、その画像上の各画素の輝度値Cを、各プロジェクタ10−jへの輝度値として分配する(ステップS32)。
【0090】
次に、輝度分配部6−1〜6−Nは、射影変換DB8から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し(ステップS33)、全ての画素をセットした後、モード判定部4からの同期信号が処理終了(停止命令)でない場合には(ステップS34のNO)、その変換画像をプロジェクタ10−jへ出力し、輝度補正された画像を所定の平面に投影する(ステップS35)。その後、ステップS31に戻り、次のコンテンツ画像に対して上述した処理を繰り返す。一方、同期信号が処理終了(停止命令)である場合には(ステップS34のYES)、当該処理を終了する。
【0091】
上述した第3実施形態によれば、システムの設定や、プロジェクタの台数と配置に変更が無い場合には、先のセットアップにおいてカラー配分DB7−1〜7−Nに分配係数を記憶しておき、該分配係数を用いて輝度補正を行うようにしたので、画像入力部1、画像変動検出部3、モード判別部4、輝度調整部5−1〜5−Nを省くことができ、また、分配係数を算出する手間を省くことができる。
【0092】
D.第4実施形態
次に、本発明の第4実施形態について説明する。
上述した第3実施形態では、プロジェクタ以外の照明や、環境光に変化がない状況を想定していた。これに対して、本第4実施形態は、任意のコンテンツ画像を投影している間に照明などの環境に変化が発生したとき、その輝度変化に応じて輝度を制御することを特徴としている。
【0093】
図9は、本発明に係る第4実施形態の多重投影輝度調整装置1の構成を示すブロック図である。なお、図1に対応する部分には同一の符号を付けて説明を省略する。図示するように、本第4実施形態では、モード判別部4、輝度調整部5−1〜5−Nを省いた構成となっている。画像変動検出部3は、任意のコンテンツ画像を投影しているときに、画像入力部2からの画像に基づいて算出した、状態tでの輝度誤差e(t)を輝度分配部6a−1〜6a−Nへ渡す。輝度分配部6a−jは、カラー分配DB7−jから各画素の分配係数データDjとdjをセットした後、コンテンツ画像DB9から任意の画像を読み込むと、その画像上の各画素の輝度値Cを、数式(15)により、各プロジェクタ10−jへの輝度値Pjを算出して分配する。
【0094】
図10は、本第4実施形態の動作を説明するためのフローチャートである。輝度分配部6−jは、カラー分配DB7−jから各画素のDjとdjをそれぞれ取り出し、輝度分配係数データをセットする(ステップS40)。次に、コンテンツ画像DB9から任意の画像を読み込み(ステップS41)、その画像上の各画素の輝度値Cを、各プロジェクタ10−jへの輝度値として分配する(ステップS42)。
【0095】
次に、輝度分配部6−1〜6−Nは、射影変換DB8から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し(ステップS43)、全ての画素をセットした後、モード判定部4からの同期信号を識別し(ステップS44)、同期信号が処理終了(停止命令)でない場合には(ステップS45のNO)、その変換画像をプロジェクタ10−jへ出力し、輝度補正された画像を所定の平面に投影する(ステップS46)。
【0096】
画像入力部2では、カメラ20で観測(撮像)された、プロジェクタ10−1〜10−Nによりスクリーン(平面)上に投影された画像を取得し、輝度変動検出部3に転送する(ステップS47)。輝度変動検出部3では、射影変換DB8から平面射影変換のデータを取り出し、観測画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する(ステップS48)。次に、輝度変動検出部3は、観測した画像について、オリジナル画像との輝度変動e(t)を検出する(ステップS49)。輝度分配部6−jでは、コンテンツ画像DB9から任意の画像を読み込み(ステップS41)、その画像上の各画素の輝度値Cを、各プロジェクタ10−jへの輝度値として分配する(ステップS42)。
【0097】
以上、コンテンツ画像をプロジェクタ10−1〜10−Nで投射しつつ、カメラ20で撮影し、輝度変動検出部3でリアルタイムで輝度変動を検出して、輝度分配部6−1〜6−Nでプロジェクタ10−1〜10−Nに分配する輝度を制御すべく、上述した処理を繰り返す。一方、同期信号が処理終了(停止命令)である場合には(ステップS45のYES)、当該処理を終了する。
【0098】
上述した第4実施形態によれば、任意のコンテンツ画像を投影している間に照明などの環境に変化が発生したときであっても、その輝度変化に応じて輝度を制御することができる。
【0099】
さらに、本第4実施形態によれば、全てのプロジェクタに対して補正パラメータを共有しないで輝度を補正するため、プロジェクタの台数や、配置を変更しても柔軟に輝度補正を行うことができる。
【0100】
なお、本発明は、前述した第1乃至第4実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム、あるいは装置に供給し、そのシステム、あるいは装置のCPU(MPU)が記憶媒体に格納されたプログラムコードを読み出して実行することによっても実現できる。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、CD−ROM、DVD−ROM、CD−R、CD−RW、MO、HDD等は本発明を構成する。
【符号の説明】
【0101】
1 多重投影輝度調整装置
2 画像入力部
3 輝度変動検出部
4 モード判別部
5−1〜5−N 輝度調整部
6−1〜6−N、6a−1〜6a−N 輝度分配部
7−1〜7−N カラー分配DB
6 射影変換DB
8 輝度補正DB
9 コンテンツ画像DB
10−1〜10−N プロジェクタ
20 カメラ
【特許請求の範囲】
【請求項1】
N台のプロジェクタによって投影される画像を1台のカメラによって撮像するマルチプロジェクタシステムでの多重投影輝度調整方法であって、
入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得ステップと、
前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出ステップと、
前記検出された輝度変動に基づいて前記N台のプロジェクタの輝度を制御する輝度制御ステップと、
前記輝度制御の結果に基づいて、前記N台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出ステップと、
コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記N台のプロジェクタへの輝度値として分配する分配ステップと、
前記輝度値が分配された前記コンテンツ画像を前記N台のプロジェクタから投影するステップと
を含むことを特徴とする多重投影輝度調整方法。
【請求項2】
前記算出ステップは、
前記テスト画像の各画素値が、前記輝度制御の後の前記輝度に基づいて得られる前記テスト画像の各画素値と線形結合で結び付けられた輝度分配モデルに基づいて前記分配係数を算出するステップであることを特徴とする、請求項1に記載の多重投影輝度調整方法。
【請求項3】
前記観測画像取得ステップ、前記輝度変動検出ステップを繰り返し実行し、
前記制御ステップは、
前記輝度変動が所定の許容値以上の場合には、前記N台のプロジェクタへ入力される輝度状態を制御した後、前記N台のプロジェクタから更新後の輝度に基づいて画像を再び投影するステップと、
前記輝度変動が前記所定の許容値より小さい場合には、前記テスト画像に対する前記N台のプロジェクタの輝度の制御が完了したと判定する完了判定ステップと、
を含むことを特徴とする、請求項1又は2に記載の多重投影輝度調整方法。
【請求項4】
N台のプロジェクタによって投影される画像を1台のカメラによって撮像するマルチプロジェクタシステムの多重投影輝度調整装置であって、
入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得部と、
前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出部と、
前記検出された輝度変動に基づいて前記N台のプロジェクタの輝度を制御する輝度制御部と、
前記輝度制御の結果に基づいて、前記N台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出部と、
コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記N台のプロジェクタへの輝度値として分配する分配部と、
前記輝度値が分配された前記コンテンツ画像を前記N台のプロジェクタから投影する投影部と
を含むことを特徴とする多重投影輝度調整装置。
【請求項5】
請求項1から3のいずれかに記載の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項6】
請求項1から3のいずれかに記載の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体。
【請求項1】
N台のプロジェクタによって投影される画像を1台のカメラによって撮像するマルチプロジェクタシステムでの多重投影輝度調整方法であって、
入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得ステップと、
前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出ステップと、
前記検出された輝度変動に基づいて前記N台のプロジェクタの輝度を制御する輝度制御ステップと、
前記輝度制御の結果に基づいて、前記N台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出ステップと、
コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記N台のプロジェクタへの輝度値として分配する分配ステップと、
前記輝度値が分配された前記コンテンツ画像を前記N台のプロジェクタから投影するステップと
を含むことを特徴とする多重投影輝度調整方法。
【請求項2】
前記算出ステップは、
前記テスト画像の各画素値が、前記輝度制御の後の前記輝度に基づいて得られる前記テスト画像の各画素値と線形結合で結び付けられた輝度分配モデルに基づいて前記分配係数を算出するステップであることを特徴とする、請求項1に記載の多重投影輝度調整方法。
【請求項3】
前記観測画像取得ステップ、前記輝度変動検出ステップを繰り返し実行し、
前記制御ステップは、
前記輝度変動が所定の許容値以上の場合には、前記N台のプロジェクタへ入力される輝度状態を制御した後、前記N台のプロジェクタから更新後の輝度に基づいて画像を再び投影するステップと、
前記輝度変動が前記所定の許容値より小さい場合には、前記テスト画像に対する前記N台のプロジェクタの輝度の制御が完了したと判定する完了判定ステップと、
を含むことを特徴とする、請求項1又は2に記載の多重投影輝度調整方法。
【請求項4】
N台のプロジェクタによって投影される画像を1台のカメラによって撮像するマルチプロジェクタシステムの多重投影輝度調整装置であって、
入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得部と、
前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出部と、
前記検出された輝度変動に基づいて前記N台のプロジェクタの輝度を制御する輝度制御部と、
前記輝度制御の結果に基づいて、前記N台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出部と、
コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記N台のプロジェクタへの輝度値として分配する分配部と、
前記輝度値が分配された前記コンテンツ画像を前記N台のプロジェクタから投影する投影部と
を含むことを特徴とする多重投影輝度調整装置。
【請求項5】
請求項1から3のいずれかに記載の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項6】
請求項1から3のいずれかに記載の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−85182(P2013−85182A)
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願番号】特願2011−224920(P2011−224920)
【出願日】平成23年10月12日(2011.10.12)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願日】平成23年10月12日(2011.10.12)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
[ Back to top ]