画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
【課題】画像が投影される対象物を平面で近似することによって、投影する画像の補正に関する情報を算出することができる画像処理装置を提供すること。
【解決手段】
画像が投影されている対象物を含む領域を撮像して、画像データを取得する撮像手段と、前記画像データに基づき、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する補正情報算出手段と、を有することを特徴とする画像処理装置。
【解決手段】
画像が投影されている対象物を含む領域を撮像して、画像データを取得する撮像手段と、前記画像データに基づき、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する補正情報算出手段と、を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
プロジェクタは、画像をスクリーン等の対象物に投影する装置である。画像を投影する際、プロジェクタと対象物との傾斜角によって、投影される画像に台形歪みが生ずる場合がある。プロジェクタには、投影する画像の台形歪みを解消するために、画像処理装置により、投影する画像を予め補正（変形）するものがある。
【０００３】
ここで、画像処理装置には、プロジェクタと対象物との離間距離及び傾斜角に基づいて、投影する画像を補正するものがある。
【０００４】
特許文献１は、所定のパターンである複数の対象点を投射対象物上に面状に投射し、その対象点までの距離に基づいて、投射対象物と背景との境界線（投射対象物の外形）を検出し、その境界線に対応するように、投射画像（投影する画像）を補正する技術を開示している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
プロジェクタで画像を投影するとき、多くの場合、所定の間、連続して画像を投影する。プロジェクタは、画像の投影中において、対象物またはプロジェクタが移動した場合に、投影する画像を補正するため、再度、離間距離及び傾斜角を測定する。
【０００６】
特許文献１に開示されている技術は、対象物までの距離に基づいて、投射画像を台形補正することができる。しかし、距離を測定するためにプロジェクタによる画像の投影を一時中断し、再度、所定のパターン等を投影する場合があった。
【０００７】
本発明は、画像を投影中に、対象物とプロジェクタとの位置に関する関係が変化した場合において、画像を投影する動作を中断することなく、投影する画像を補正することができる画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、請求項１に係る本発明は、画像が投影されている対象物を含む領域を撮像して、画像データを取得する撮像手段と、前記画像データに基づき、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する補正情報算出手段と、を有することを特徴とする画像処理装置を提供する。
【発明の効果】
【０００９】
本発明によれば、画像処理装置において、画像が投影されている対象物に対応する平面を推定することにより、投影する画像の補正に関する情報を算出することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置の一例を示す概略構成図である。
【図２】画像処理装置の機能の一例を示す機能ブロック図である。
【図３】平面を推定する動作の一例を示すフローチャートである。
【図４】投影対象物を撮像する動作の一例を説明する図である。
【図５】平面を推定する方法を説明する図である。
【図６】補正情報を算出する動作の一例を示すフローチャートである。
【図７】仮想カメラから仮想画像データを取得する動作を説明する図である。
【図８】仮想画像データの一例を説明する図である。
【図９】台形補正変換行列の算出を説明する図である。
【図１０】実施例１のプロジェクタの概略構成図である。
【図１１】実施例１のプロジェクタの投影動作の一例を示すフローチャートである。
【図１２】実施例１の投影された画像の特徴点及び対応点の抽出を説明する図である。
【図１３】実施例１の投影する画像の補正を説明する図である。
【図１４】実施例２のプロジェクタの概略構成図である。
【図１５】実施例２のドットパターンを説明する図である。
【図１６】実施例３のプロジェクタの概略構成図である。
【図１７】実施例３のポリゴンメッシュを説明する図である。
【図１８】実施例３の法線ベクトルから平面を推定する方法を説明する図である。
【図１９】実施例４のプロジェクタシステムの概略構成図である。
【図２０】実施例４の画像を投影する動作の例を説明する図である。
【発明を実施するための形態】
【００１１】
対象物を含む領域を撮像した画像を画像処理することにより、投影する画像の補正に関する情報を算出する画像処理装置を用いて、本発明を詳細に説明する。
【００１２】
（画像処理装置の構成）
図１は、画像処理装置の一例を示す概略構成図である。
【００１３】
図１において、画像処理装置１００は、制御手段１１０、撮像手段１２０、測距手段１３０、平面推定手段１４０、及び、補正情報算出手段１５０を含む。
【００１４】
画像処理装置１００は、撮像手段１２０により画像が投影される対象物（以下、投影対象物という。）を含む領域を撮像して画像データを取得し、測距手段１３０により撮像手段１２０から投影対象物までの距離に関する距離データを算出する。また、画像処理装置１００は、平面推定手段１４０により投影対象物に対応する平面を推定し、推定した平面に関する情報と算出した距離データとに基づいて、投影する画像の補正（拡大縮小及び台形補正等の画像処理、以下、補正という。）に関する情報を算出する。
【００１５】
ここで、投影対象物は、スクリーン、壁、及び、ホワイトボートなど、その外形表面に画像を投影することができるものを用いることができる。
【００１６】
制御手段１１０は、画像処理装置１００全体の制御を行う手段である。制御手段１１０は、外部から入力された情報等に基づき、撮像手段１２０等を制御する。また、制御手段１１０は、外部から入力された情報等に基づき、画像処理装置１００の画像処理の結果に関する情報を出力する制御を行う。
【００１７】
撮像手段１２０は、投影対象物を含む領域の像を撮像素子（イメージセンサ）に結像し、その撮像素子の画素出力信号（電気信号）から画像に関する画像データを取得する手段である。撮像手段１２０は、本実施形態では、ステレオカメラ、及び、撮像画像生成手段を含む。
【００１８】
ステレオカメラは、２つの撮像レンズ及び２つの撮像素子を備え、投影対象物を２つの撮像レンズ等で同時に撮影する。ここで、撮像レンズは、投影対象物の像を撮像素子に入射するものである。撮像素子は、複数の受光素子が格子状に配列された受光面を有し、撮像レンズを透過して入射した像をその受光面上に結像するものである。
【００１９】
撮像画像生成手段は、撮像素子の画素出力信号に基づき、投影対象物を含む領域の画像に関する画像データを生成する。
【００２０】
測距手段１３０は、画像処理装置１００（撮像手段１２０）から投影対象物までの距離を測定する手段である。測距手段１３０は、本実施形態では、撮像手段１２０が取得した２つ画像データに基づいて、三角測量の原理により、画像処理装置１００（撮像手段１２０）から投影対象物までの距離を算出する。詳細は後述の（測距する動作）で説明する。
【００２１】
平面推定手段１４０は、測距手段１３０が算出した距離データに基づいて、投影対象物に対応する平面を再帰的に近似する。ここで、平面を再帰的に近似するとは、複数の位置に基づいて平面を近似的に推定した後、その推定した平面から所定の距離を離れた位置を除外して、平面を推定し直す方法（回帰分析法）である。詳細は後述の（平面を推定する動作）で説明する。
【００２２】
補正情報算出手段１５０は、平面推定手段１４０が推定した平面に関する情報等に基づいて、投影する画像の補正に関する情報を算出する。詳細は後述の（補正情報を算出する動作）で説明する。
【００２３】
なお、以後の説明では、画像に関するデータとして、「コンテンツ画像データＡｉｍｇ」とは、ＰＣなどから投影手段（プロジェクタなど）に入力する画像に関する画像データである。
【００２４】
「カメラ画像データＣｉｍｇ」とは、投影されたコンテンツ画像データＡｉｍｇを撮像手段１２０によって撮像した画像に関する画像データである。カメラ画像データＣｉｍｇは、撮像手段１２０の受光素子が受光した光の明暗等の電気信号（画素出力信号）をデジタル処理して、生成される。
【００２５】
「仮想画像データＶｉｍｇ」とは、投影対象物の外形表面（投影される面）の法線方向（以下、正面方向という。）から撮像したと仮定した場合の、カメラ画像データＣｉｍｇに関する画像データである。仮想画像データＶｉｍｇは、補正情報算出手段１５０が算出した法線ベクトルに関する情報に基づいて、後述する透視投影変換行列Ｐを用いて、生成される。
【００２６】
「プロジェクタ画像データＰｉｍｇ」とは、仮想画像データＶｉｍｇの台形歪み等を解消するために、コンテンツ画像データＡｉｍｇを補正した画像データである。プロジェクタ画像データＰｉｍｇは、補正情報算出手段１５０が算出した補正に関する情報に基づいて、後述する台形補正変換行列Ｈｐｐを用いて、生成される。
【００２７】
（画像処理装置の機能）
画像処理装置の機能の一例を、図２を用いて、説明する。図２は、画像処理装置の機能ブロック図である。
【００２８】
図２において、制御手段１１０は、画像処理の動作を開始するため、撮像手段１２０に撮像の開始を指示する信号を出力する。
【００２９】
撮像手段１２０は、ステレオカメラによって、投影対象物を含む領域の像を撮像し、２つのカメラ画像データＣｉｍｇを取得する。また、撮像手段１２０は、取得したカメラ画像データＣｉｍｇを測距手段１３０に出力する。
【００３０】
測距手段１３０は、２つのカメラ画像データＣｉｍｇに基づいて、投影対象物の外形表面上の複数の位置（以下、対応点という。）に対応する距離データを算出する。また、測距手段１３０は、距離データを平面推定手段１４０及び補正情報算出手段１５０に出力する。ここで、距離データとは、画像処理装置から投影対象物（対応点）までの距離に関するデータである。測距する方法の詳細は、後述の（測距する動作）で説明する。
【００３１】
平面推定手段１４０は、測距手段１３０が算出した距離データから、投影対象物に対応する平面として、回帰平面データを算出する。また、平面推定手段１４０は、回帰平面データを補正情報算出手段１５０に出力する。ここで、回帰平面データとは、三次元空間の複数の位置を含む平面に関するデータである。推定する方法の詳細は、後述の（平面を推定する動作）で説明する。
【００３２】
補正情報算出手段１５０は、測距手段１３０の距離データ及び平面推定手段１４０の回帰平面データに基づいて、コンテンツ画像データＡｉｍｇの補正に関する情報を算出する。具体的には、補正情報算出手段１５０は、距離データ及び回帰平面データに基づいて、後述する凸包データＣ１（図８（ｂ））を算出する。また、補正情報算出手段１５０は、凸包データに基づいて、仮想画像データＶｉｍｇの台形歪み等をキャンセル（解消）するために、コンテンツ画像データＡｉｍｇを補正するために必要な台形補正変換行列など（以下、補正に関する情報という。）を算出する。算出する方法の詳細は、後述の（補正情報を算出する動作）で説明する。
【００３３】
また、補正情報算出手段１５０は、制御手段１１０によって、図示しない投影手段等に補正に関する情報を出力する。
【００３４】
（測距する動作）
測距手段が、撮像手段のステレオカメラにより、撮像手段（画像処理装置）から対応点（投影対象物）までの距離に関する距離データを算出する動作を説明する。
【００３５】
ここで、ステレオカメラとは、第１のカメラ（基準カメラ）及び第２のカメラ（参照カメラ）を有し、第１のカメラ及び第２のカメラは第１の撮像レンズ及び第２の撮像レンズ、並びに、第１の撮像レンズ及び第２の撮像レンズの背面側の方向（投影対象物の方向と反対側の方向）に配置された第１の撮像素子及び第２の撮像素子を有する。なお、撮像素子は、エリアセンサ、面センサ、及び、二次元センサ等を用いることができる。
【００３６】
第１の撮像レンズと第２の撮像レンズとは、所定の間隔Ｄ（以下、基線長という。）で並設され、第１の撮像レンズの光軸と第２の撮像レンズの光軸とは平行である。また、第１の撮像素子等は、正面側（背面側の反対側）の表面上に、対象物の像を結像する受光面を備える。第１の撮像レンズ等の光軸等は、第１の撮像素子等の受光面の対角線の中心と一致するように位置決めされている。
【００３７】
第１の撮像レンズを透過して入射した投影対象物の第１の像と第２の撮像レンズを透過して入射した投影対象物の第２の像とは、視差△だけ変位して、それぞれの受光面に結像される。撮像素子は、第１の像及び第２の像の光による明暗等を電荷の量に光電変換し、画素出力信号として、測距手段に出力する。このとき、測距手段は、画素出力信号を比較し、受光面の受光素子（画素）の位置（座標）から視差△を検出する。ここで、視差△、基線長Ｄ、画像処理装置と投影対象物との離間距離Ｌ、及び、撮像レンズの焦点距離ｆとすると、Ｌ＞＞ｆを条件に、数１が成り立つ（三角測量の原理）。
【００３８】
【数１】
【００３９】
この場合、Ｄとｆは既知である。
【００４０】
測距手段は、検出した視差△から、数１により、離間距離Ｌを算出する。
【００４１】
次に、測距手段が、対応点の絶対座標（ＸＹＺ座標）を算出する動作を、具体的に説明する。ここで、Ｘ軸を基線長Ｄの方向、Ｙ軸をＸ軸に直交する撮像素子の受光面上の方向、Ｚ軸をＸ軸及びＹ軸に直交する方向（ステレオカメラの光軸方向）とする。また、第１のカメラ（添え字ｒ）及び第２のカメラ（添え字ｌ）の受光面に対する相対座標（ｘｙｚ座標）を数２とする。
【００４２】
【数２】
このとき、視差△を数３となる。
【００４３】
【数３】
【００４４】
次に、対応点の座標Ｐ（絶対座標）を数４とする。
【００４５】
【数４】
【００４６】
このとき、対応点の座標Ｐは、数１乃至数３より、数５となる。
【００４７】
【数５】
【００４８】
以上により、測距手段は、撮像手段のステレオカメラを用いて、投影対象物の外形表面上の対応点の三次元座標（絶対座標）を算出し、その算出した三次元座標を対応点に関する距離データとして取得することができる。
【００４９】
（平面を推定する動作）
平面推定手段等が、投影対象物に対応する平面を推定する動作について、図３乃至図５を用いて説明する。図３は、平面推定手段等が平面を推定する動作の一例を示すフローチャートである。図４は、撮像手段が投影対象物を撮像する動作の一例を説明する図である。図５は、回帰分析によって、平面を推定する方法を説明する図である。
【００５０】
図３において、撮像手段は、投影対象物を含む領域を撮像し、カメラ画像データＣｉｍｇを取得する（ステップＳ１０１）。ここで、撮像手段が撮像する動作を、図４を用いて、具体的に説明する。
【００５１】
図４は、投影対象物を撮像する動作を示す。図４（ａ）は、画像が投影されている投影対象物などを正面方向から見た説明図である。図４（ｂ）は、画像が投影されている投影対象物などを鉛直上方から見た説明図である。図中の○印は、投影対象物（スクリーン）Ａ１表面上の位置（特徴点）を示す。図中の△印は、発表者Ａ２の位置（特徴点）を示す。図中の×印は、投影対象物の背後の壁Ａ３表面上の位置（特徴点）を示す。
【００５２】
図４において、発表者Ａ２は、投影対象物Ａ１の正面方向に立っている。また、壁Ａ３が、投影対象物Ａ１の背面方向（正面方向と反対側の方向）に近接している。このとき、プロジェクタに内蔵された撮像手段は、プロジェクタ（投影手段）などによりコンテンツ画像データＡｉｍｇが投影された投影対象物Ａ１を含む領域を撮像し、カメラ画像データＣｉｍｇを取得する。
【００５３】
図３のステップＳ１０１において、カメラ画像データＣｉｍｇの取得を完了すると、撮像手段は、カメラ画像データＣｉｍｇを測距手段に出力する。その後、ステップＳ１０２に進む。
【００５４】
ステップＳ１０２において、測距手段は、撮像手段から出力されたカメラ画像データＣｉｍｇに基づいて、投影対象物を含む領域の特徴点（図４（ａ）及び（ｂ）の○、△、及び、×）を抽出する。測距手段が特徴点を抽出する動作を具体的に説明する。
【００５５】
測距手段は、まず、ステレオカメラが取得した２つのカメラ画像データＣｉｍｇの一方（以下、撮像データＡという。）について、任意の画素を選択点として選択する。次に、測距手段は、撮像データＡから、選択点とその選択点の周囲の８画素との画像情報（色、明るさ、及び、エッジ強度など）を比較する。このとき、選択点の画像情報が、その周囲の８画素の画像情報より、すべて大きい場合またはすべて小さい場合、その選択点を特徴点（ｘＡ，ｙＡ）として抽出する。また、測距手段は、その特徴点を中心とする一辺が１５画素四方の範囲を、テンプレートブロックＡとして抽出する。
【００５６】
特徴点の抽出を完了すると、ステップＳ１０３に進む。
【００５７】
なお、特徴点を抽出する方法は、上記の方法に限定されるものではない。上記の方法以外でも、投影対象物の表面上の特徴ある点を抽出できる方法であれば、いずれの方法も用いることができる。また、特徴点の具体例は、後述する実施例１及び実施例２において、説明する。
【００５８】
ステップＳ１０３において、測距手段は、ステップＳ１０２で抽出された特徴点に基づいて、対応点を抽出する。測距手段が対応点を抽出する動作を、具体的に説明する。
【００５９】
測距手段は、ステレオカメラが撮像した２つのカメラ画像データＣｉｍｇの他方（以下、撮像データＢという。）について、任意の画素を選択点（ｘＢ，ｙＢ）として選択する。また、測距手段は、その選択点を中心とする一辺が１５画素四方の範囲を、テンプレートブロックＢとして選択する。次に、測距手段は、テンプレートブロックＡ及びテンプレートブロックＢの画像情報の総和を算出し、両者の総和を比較する。比較方法は、ＳＡＤ及びＳＳＤなどの方法を用いることができる。
【００６０】
なお、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｓｔａｎｃｅ）とは、総和の比較において、絶対値の差分の総和を求める方法である。ＳＳＤ（Ｓｑｕａｒｅｄ Ｓｕｍ ｏｆ Ｄｉｆｆｅｒｅｎｃｅｓ）とは、差分の２乗の総和を求める方法である。
【００６１】
次に、テンプレートブロックＡとテンプレートブロックＢとの比較の結果において、画像情報の総和の差分が最小値となるテンプレートブロックＢの選択点（ｘＢ，ｙＢ）を選択する。このとき、その差分が所定の値以下であるとき、撮像データＡの特徴点（ｘＡ，ｙＡ）と撮像データＢの選択点（ｘＢ，ｙＢ）とが対応付けられ、その特徴点（ｘＡ，ｙＡ）（選択点（ｘＢ，ｙＢ））を対応点（ｘＡＢ，ｙＡＢ）として抽出する。
【００６２】
ここで、所定の値とは、投影対象物と画像処理装置との離間距離、または、被写界深度に対応する値とすることができる。また、所定の値を、数値計算及び実験等により定められる値とすることができる。
【００６３】
測距手段は、対応点の抽出として、撮像データＡから抽出されたすべての特徴点について、撮像データＢの選択点と比較する。このとき、測距手段は、複数の対応点（以下、三次元点群という。）を抽出することになる。
【００６４】
対応点の抽出を完了すると、ステップＳ１０４に進む。
【００６５】
ステップＳ１０４において、測距手段は、ステップＳ１０３で抽出された三次元点群の距離に関する距離データを算出する。距離データを算出する動作は、（測距する動作）と同様のため、説明を省略する。距離データの算出を完了すると、ステップＳ１０５に進む。
【００６６】
ステップＳ１０５において、平面推定手段は、測距手段が算出した距離データに基づいて、投影対象物に対応する平面の情報として、回帰平面データを算出する。回帰平面データを算出する方法について、図５を用いて、具体的に説明する。
【００６７】
図５（ａ）は、回帰分析をした後の回帰平面Ｐ１を示す。図５（ｂ）は、後述のステップＳ１０９で推定した平面から最も離れた対応点を除外した後の回帰平面Ｐ２を示す。
【００６８】
図５（ａ）において、ステップＳ１０２乃至ステップＳ１０４により、三次元点群としてｎ個の対応点（ＸＡＢｉ，ＹＡＢｉ，ＺＡＢｉ）（ｉ＝１〜ｎ）が算出されている（図中の○、△、及び×）。
【００６９】
平面推定手段は、回帰分析によって、三次元点群から回帰平面を算出するため、回帰平面の方程式をｚ＝ａｘ＋ｂｙ＋ｃと定義する。このとき、回帰平面と三次元点群とは、数６が成り立つ。
【００７０】
【数６】
【００７１】
ここで、数６の変数は、数７である。
【００７２】
【数７】
【００７３】
数７において、ｅｉは残差を示す。
【００７４】
次に、正規方程式は、数８となる。
【００７５】
【数８】
【００７６】
よって、βは、数９となる。
【００７７】
【数９】
【００７８】
以上より、最小二乗法などを用いて、残差ｅｉの平方和が最小となる定数（パラメータ）ａ、ｂ、及び、ｃを算出することにより、回帰平面（図５（ａ）のＰ１及びＰ２）を求めることができる。平面推定手段は、回帰平面データとして、回帰平面の方程式（ｚ＝ａｘ＋ｂｙ＋ｃ）の定数ａ、ｂ、及び、ｃを取得する。回帰平面データの取得が完了すると、ステップＳ１０６に進む。
【００７９】
次に、図３のステップＳ１０６において、回帰平面と三次元点群との距離ＤＡＢｉを算出し、回帰平面から最も離れた三次元点群の対応点ＰＭＡＸ（ＸＡＢＤ，ＹＡＢＤ，ＺＡＢＤ）とその距離ＤＭＡＸを抽出する（図５（ａ）のＰＭＡＸ）。具体的には、対応点（ＸＡＢｉ，ＹＡＢｉ，ＺＡＢｉ）から、平面（αｘ＋βｙ＋γｚ＋δ＝０）までの距離を、数１０より、算出する。
【００８０】
【数１０】
【００８１】
回帰平面と三次元点群のすべての点との距離を算出し、その距離の絶対値が最大となる対応点を選択する。最も離れた対応点ＰＭＡＸ（ＸＡＢＤ，ＹＡＢＤ，ＺＡＢＤ）の抽出を完了すると、ステップＳ１０７に進む。
【００８２】
ステップＳ１０７において、対応点ＰＭＡＸ（ＸＡＢＤ，ＹＡＢＤ，ＺＡＢＤ）に関する距離ＤＭＡＸと所定の距離とを比較する。距離ＤＭＡＸが所定の距離以下の場合は、ステップＳ１０８に進む。距離ＤＭＡＸが所定の距離を越える場合は、ステップＳ１０９に進む。
【００８３】
ここで、所定の距離とは、投影対象物と画像処理装置との離間距離に対応する値とすることができ、数値計算及び実験等により、その距離を定めることができる。また、被写界深度に対応する値とすることができる。
【００８４】
ステップＳ１０８において、算出した回帰平面（ステップＳ１０５）を投影対象物に対応する平面と推定し、回帰平面データとして記憶する。その後、図中の「ＥＮＤ」に進み、平面の推定を終了する。
【００８５】
ステップＳ１０９において、対応点ＰＭＡＸ（ＸＡＢＤ，ＹＡＢＤ，ＺＡＢＤ）を三次元点群から除外する。除外を完了すると、ステップＳ１０５に戻り、ステップＳ１０５乃至Ｓ１０７を繰り返し、再度、回帰平面Ｐ２を推定する（図５（ｂ））。
【００８６】
以上より、本発明の画像処理装置は、画像処理装置から投影対象物までの距離を測定し、回帰分析によって、投影対象物に対応する平面を推定することができる。また、本発明の画像処理装置は、平面からの距離が所定の距離を越える対応点を除外することによって、画像処理装置と投影対象物との間に障害物があるとき、あるいは、投影対象物の背後に壁などが近接しているときでも、投影対象物に対応する平面を推定することができる。
【００８７】
なお、平面を推定する動作において、除外する対応点は障害物及び背後の壁などに関するものに限定されるものではなく、投影対象物以外のものを含むことができる。また、平面を推定する際に用いる三次元点群は、（測距する動作）で抽出した三次元点群から「ランダムに選択した複数の点」と「ランダムに選択した複数の点」以外の点群とから成る平面の定数（パラメータ）を算出し、その定数の差分が小さい点群を用いて、平面を推定することができる。
【００８８】
（補正情報を算出する動作）
補正情報算出手段が、補正の情報を算出する動作ついて、図６乃至図９を用いて、説明する。
【００８９】
図６は、補正情報を算出する動作の一例を示すフローチャートである。図７は、仮想カメラから仮想画像データを取得する動作を説明する図である。図８は、仮想画像データを説明する図である。図９は、台形補正変換行列の算出を説明する図である。
【００９０】
図６において、補正情報算出手段は、平面推定手段が推定した平面の正面方向から撮像したと仮定した場合の、カメラ画像データＣｉｍｇに関する画像データ（仮想画像データＶｉｍｇ）を算出する（ステップＳ２０１）。補正情報算出手段が仮想画像データＶｉｍｇを算出する動作を、図７を用いて、具体的に説明する。
【００９１】
図７は、推定した平面における三次元点群Ｐｇｒｐの中心（重心）位置Ｃｇからその平面の法線方向Ｎの延長線上に仮想カメラ（撮像手段を含むプロジェクタなど）ＰＲＪｖを配置したと仮定することを示す。
【００９２】
図７において、実際のカメラ（撮像手段を含むプロジェクタなど）ＰＲＪｒが、コンテンツ画像データＡｉｍｇを投影する。このとき、実際のカメラＰＲＪｒに搭載された撮像手段がカメラ画像データＣｉｍｇを取得し、測距手段が三次元点群Ｐｇｒｐの距離データを取得し、平面推定手段が平面Ｐ２を推定する。
【００９３】
補正情報算出手段は、平面Ｐ２の法線方向Ｎの延長線上の仮想カメラＰＲＪｖから撮像される仮想画像データＶｉｍｇを算出する。具体的には、補正情報算出手段は、透視投影変換行列Pを用いて、三次元点群Ｐｇｒｐを二次元の平面（仮想カメラＰＲＪｖから撮像される仮想画像データＶｉｍｇに対応する平面）に投影して、仮想画像データＶｉｍｇを算出する。
【００９４】
ここで、透視投影変換行列Pとは、内部パラメータをＡとし、外部パラメータである回転行列をＲ、平行移動ベクトルをｔとすると、数１１となる。
【００９５】
【数１１】
【００９６】
ここで、内部パラメータＡとは、仮想カメラＰＲＪｖの光軸座標、撮像素子の行と列のスケール、焦点距離ｆなどを用いて定められる行列（３×３）である。回転行列Ｒとは、実際のカメラＰＲＪｒから仮想カメラＰＲＪｖまでの回転を示す行列（３×３）である。平行移動ベクトルｔとは、実際のカメラＰＲＪｒから仮想カメラＰＲＪｖまでの平行移動を示すベクトル（３×１）である。
【００９７】
仮想画像データＶｉｍｇの算出を完了すると、ステップＳ２０２に進む。
【００９８】
次に、図６のステップＳ２０２において、補正情報算出手段は、算出した仮想画像データＶｉｍｇにおける凸包データを算出する。ここで、凸包データとは、三次元点群において、平面推定手段が推定した平面上にある測距手段が算出した複数の対応点を包み込む多角形（以下、凸包という。）に関するデータである。凸包データを算出する方法を、図８を用いて、具体的に説明する。
【００９９】
図８は、仮想カメラＰＲＪｖが取得する仮想画像データＶｉｍｇを説明する図である。図８（ａ）は、仮想画像データＶｉｍｇにおける対応点を説明する図である。図８（ｂ）は、凸包データ及び後述する台形補正矩形を説明する図である。
【０１００】
図８（ａ）において、補正情報算出手段は、仮想カメラＰＲＪｖが取得した仮想画像データＶｉｍｇにおいて、測距手段が算出した距離データに基づいて、平面推定手段が推定した平面上にある複数の対応点（図中の○、図７の三次元点群Ｐｇｒｐ）を抽出する。次に、図８（ｂ）において、補正情報算出手段は、抽出した複数の対応点について、その対応点を包み込む凸包に関する凸包データを算出する。このとき、凸包は、図中の○印を含む多角形Ｃ１である。
【０１０１】
凸包データの算出を完了すると、ステップＳ２０３に進む。
【０１０２】
次に、図６のステップＳ２０３において、補正情報算出手段は、仮想画像データＶｉｍｇにおける台形補正矩形を算出する。ここで、台形補正矩形とは、ステップ２０２で算出した凸包Ｃ１に包含される最大面積の矩形である。補正情報算出手段は、アスペクト比を固定して、凸包Ｃ１が包含する台形補正矩形Ｃ２を算出する（図８（ｂ））。アスペクト比は、プロジェクタ画像データＰｉｍｇに関する画像のアスペクト比と同一とすることができる。例えば、１６００×１２００ピクセルの画像を投影する場合は、アスペクト比を４：３とすることができる。
【０１０３】
台形補正矩形の算出を完了すると、ステップＳ２０４に進む。
【０１０４】
図６のステップＳ２０４において、補正情報算出手段は、台形補正矩形Ｃ２内の任意の４点（図８（ｂ）のＭＶ１乃至ＭＶ４）を特徴点として選択する。ここで、任意の４点は、仮想画像データＶｉｍｇに関する投影光の４隅の点とすることができる。この場合、特徴点が少ない（または、特徴点を抽出できない）画像を投影しているときでも、４隅の点を特徴点として抽出することができる。特徴点の選択を完了すると、ステップＳ２０５に進む。
【０１０５】
ステップＳ２０５において、補正情報算出手段は、特徴点（ＭＶ１乃至ＭＶ４）に対応するコンテンツ画像データＡｉｍｇの対応点を抽出する。対応点を抽出する動作は、（測距する動作）と同様のため、説明を省略する。対応点の抽出を完了すると、ステップＳ２０６に進む。
【０１０６】
ステップＳ２０６において、補正情報算出手段は、射影変換行列Ｈｃｐを算出する。具体的には、仮想画像データＶｉｍｇに関する画像上の特徴点ｍＶｉ（ｘＶｉ、ｙＶｉ）に対応するコンテンツ画像データＡｉｍｇに関する画像上の４点の対応点をｍａｉ＝（ｘａｉ、ｙａｉ）（ｉ＝１〜４）とすると、射影変換行列Ｈｃｐと数１２が成り立つ。
【０１０７】
【数１２】
【０１０８】
ここで、数１２の右辺と左辺とは、同次座標系で等しい（全成分の定数倍以外は等しい）ことを示す。また、射影変換行列Ｈｃｐは次式である。
【０１０９】
【数１３】
【０１１０】
このとき数１２は、数１４と表すことができる。
【０１１１】
【数１４】
【０１１２】
数１４の第３成分を１にあわせるため、右辺を正規化すると、数１５となる。
【０１１３】
【数１５】
【０１１４】
ここで、ｈ１乃至ｈ８は未知係数である。仮想画像データＶｉｍｇに関する画像上の特徴点ＭＶｉ（ｘＶｉ、ｙＶｉ）に対応するコンテンツ画像データＡｉｍｇに関する画像上の対応点Ｍａｉ（ｘａｉ、ｙａｉ）の４つの組合せを得ることで、ｈ１乃至ｈ８を算出することができる。その結果、ｈ１乃至ｈ８を用いて、射影変換行列Ｈｃｐを算出することができる。
【０１１５】
射影変換行列Ｈｃｐの算出を完了すると、ステップＳ２０７に進む。
【０１１６】
ステップＳ２０７において、補正情報算出手段は、ステップＳ２０３の台形補正矩形Ｃ２の４隅に対応するコンテンツ画像データＡｉｍｇに関する４つの補正点を算出する。補正点を算出する方法を、図９を用いて、具体的に説明する。
【０１１７】
図９は、仮想画像データＶｉｍｇとプロジェクタ画像データＰｉｍｇの関係を説明する図である。図９（ａ）は、仮想画像データＶｉｍｇに関する画像上の台形補正矩形の４隅の点を説明する図である。図９（ｂ）は、コンテンツ画像データＡｉｍｇに関する画像上の４つの補正点を説明する図である。
【０１１８】
図９（ａ）において、ステップＳ２０３で算出した台形補正矩形Ｃ２の４隅の点（図中のＵＲｖ、ＵＬｖ、ＤＲｖ、及び、ＤＬｖ）を抽出する。次に、図９（ｂ）において、４隅の点に対応するコンテンツ画像データＡｉｍｇに関する画像上の４つの補正点（図中のＵＲｖａ、ＵＬｖａ、ＤＲｖａ、及び、ＤＬｖａ）を、ステップＳ２０６で算出した射影変換行列Ｈｃｐを用いて、算出する。
【０１１９】
４つの補正点の算出を完了すると、ステップＳ２０８に進む。
【０１２０】
図６のステップＳ２０８において、補正情報算出手段は、コンテンツ画像データＡｉｍｇに関する画像の４隅の点（図９（ｂ）のＵＲａ等）を、ステップＳ２０７で算出した４つの補正点（ＵＲｖａ等）に変形（補正）する台形補正変換行列Ｈｐｐを算出する。台形補正変換行列Ｈｐｐを算出する方法は、ステップＳ２０６と同様のため、説明を省略する。
【０１２１】
台形補正変換行列Ｈｐｐの算出を完了すると、台形補正変換行列Ｈｐｐを補正に関する情報として記憶し、図中の「ＥＮＤ」に進み、補正情報を算出する動作を終了する。
【０１２２】
なお、この台形補正変換行列Ｈｐｐに基づいて、コンテンツ画像データＡｉｍｇを補正し、台形歪み等がキャンセル（解消）されたプロジェクタ画像データＰｉｍｇを生成することができる。
【０１２３】
以上より、補正情報算出手段は、距離データ、回帰平面データ、及び、凸包データ等に基づいて、投影される画像の台形歪み等を解消するために必要な補正に関する情報を算出することができる。
【０１２４】
（プログラム、及び、そのプログラムを記録した記録媒体）
本発明のプログラムＰｒは、撮像手段により、画像が投影されている対象物を含む領域を撮像して、画像データを取得する工程と、画像データに基づき、撮像手段と対象物との離間距離に関する距離データを算出する工程と、距離データから、対象物に対応する平面を推定する工程と、距離データと平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する工程と、を実行する。
【０１２５】
この構成によれば、本発明の画像処理装置と同等の効果が得られる。
【０１２６】
また、本発明は、プログラムＰｒを記録したコンピュータによって読み取り可能な記録媒体Ｍｄとしてもよい。このプログラムＰｒを記録した記録媒体Ｍｄとしては、フレキシブルディスク、ＣＤ−ＲＯＭ、及び、メモリーカード等、コンピュータ読み取り可能な媒体を利用することができる。
【０１２７】
（実施例）
プロジェクタの実施例を用いて、本発明の画像処理装置及び画像処理方法を説明する。
【０１２８】
本発明の画像処理装置等は、プロジェクタに用いられる画像処理装置等に限定されるものではない。プロジェクタ以外でも、対象物を含む領域を撮像した画像を画像処理することにより、投影する画像の補正に関する情報を算出するものであれば、いずれにも用いることができる。
【実施例１】
【０１２９】
実施例１のプロジェクタを用いて、本発明を説明する。
【０１３０】
（プロジェクタの構成）
図１０は、本実施例のプロジェクタの概略構成図の一例である。
【０１３１】
図１０において、プロジェクタ２００は、本実施例では、投影手段２１０、オートフォーカス手段２２０、及び、投影用画像生成手段２３０を含む。また、プロジェクタ２００は、画像処理装置として、制御手段１１０、撮像手段１２０、測距手段１３０、平面推定手段１４０、補正情報算出手段１５０、及び、位置移動判断手段１６０を含む。
【０１３２】
プロジェクタ２００は、投影対象物に画像を投影し、投影対象物を含む領域を撮像し、投影対象物に対応する平面を推定する。また、プロジェクタは、推定した平面等に基づいて、投影用レンズのフォーカスを調整し、投影する画像を補正する。
【０１３３】
ここで、投影手段２１０とは、プロジェクタの投影用レンズから投影対象物に画像を投影する手段である。オートフォーカス手段２２０とは、投影対象物にプロジェクタの投影用レンズのフォーカスを合わせる手段である。投影用画像生成手段２３０とは、プロジェクタが投影する画像を生成する手段である。
【０１３４】
画像処理装置の位置移動判断手段１６０は、プロジェクタと投影対象物との位置に関する関係が変化したか否か（プロジェクタ及び／または投影対象物が移動したか否か）を判断する手段である。画像処理装置の制御手段１１０等は、図１と同様のため、説明を省略する。
【０１３５】
（投影を校正する動作）
プロジェクタが、投影する画像を校正する動作について、図１１乃至図１３を用いて説明する。図１１は、本実施例のプロジェクタの投影動作の一例を示すフローチャートである。図１２は、投影された画像の特徴点及び対応点の抽出を説明する図である。図１３は、投影する画像の補正を説明する図である。
図１１において、プロジェクタの制御手段は、操作パネル等からの入力により、画像を投影する動作の校正を開始するため、投影手段等に動作の指示を出力する（ステップＳ３０１）。その後、ステップＳ３０２に進む。
【０１３６】
ステップＳ３０２において、投影手段は、コンテンツ画像データＡｉｍｇをプロジェクタ画像データＰｉｍｇとして、投影用レンズから投影対象物に画像を投影する。その後、ステップＳ３０３に進む。
【０１３７】
ステップＳ３０３において、撮像手段は、投影対象物を含む領域を撮像し、カメラ画像データＣｉｍｇを取得する。取得を完了すると、ステップＳ３０４に進む。
【０１３８】
ステップＳ３０４において、測距手段は、カメラ画像データＣｉｍｇに基づいて、プロジェクタ（撮像手段）から投影対象物（対応点）までの距離を算出する。距離を算出する方法を、図１２を用いて、具体的に説明する。
【０１３９】
図１２は、投影する画像の特徴点及び対応点を示す。図１２（ａ）は、コンテンツ画像データＡｉｍｇに関する画像を示す。図１２（ｂ）は、撮像手段のステレオカメラの基準カメラが取得したカメラ画像データＣｉｍｇに関する画像を示す。図１２（ｃ）は、参照カメラが取得したカメラ画像データＣｉｍｇに関する画像を示す。
【０１４０】
図１２（ａ）において、コンテンツ画像データＡｉｍｇに関する画像の特徴点を示す（図中の○）。測距手段は、基準カメラ及び参照カメラのカメラ画像データＣｉｍｇに関する画像から、特徴点（図１２（ａ））に対応する対応点（図１２（ｂ）及び図１２（ｃ）の○）に関する視差△を算出する。次に、測距手段は、対応点の絶対座標（ＸＹＺ座標）を算出し、第１の距離データＤｄ１を取得する。ここで、対応点の絶対座標を算出する方法は、前述の（測距する動作）と同様であるため、説明を省略する。第１の距離データＤｄ１の取得を完了すると、ステップＳ３０５に進む。
【０１４１】
図１１のステップＳ３０５において、平面推定手段は、取得した第１の距離データＤｄ１に基づいて、投影対象物に対応する平面を推定する。ここで、平面の推定方法は、前述の（平面を推定する動作）と同様であるため、説明を省略する。平面の推定を完了すると、ステップＳ３０６に進む。
【０１４２】
ステップＳ３０６において、制御手段は、投影する動作の校正が、初回（プロジェクタの電源を入れてから最初の校正）であるか否かを判断する。初回の場合は、ステップＳ３０７に進む。それ以外の場合は、ステップＳ３１２に進む。
【０１４３】
ステップＳ３０７において、補正情報算出手段は、撮像手段が取得したカメラ画像データＣｉｍｇと平面推定手段が推定した平面に基づいて、仮想画像データＶｉｍｇを算出する。また、補正情報算出手段は、仮想画像データＶｉｍｇと距離データとに基づいて、プロジェクタ画像データＰｉｍｇの補正に関する情報（台形補正変換行列Ｈｐｐなど）を算出する。補正に関する情報を算出する方法を、図１３を用いて、具体的に説明する。
【０１４４】
図１３は、投影する画像の補正する動作を説明する図である。図１３（ａ）は、補正前の仮想画像データＶｉｍｇに関する画像を示す。図１３（ｂ）は、補正後のプロジェクタ画像データＰｉｍｇに関する画像を示す。図１３（ｃ）は、補正後の仮想画像データＶｉｍｇに関する画像を示す。
【０１４５】
図１３（ａ）において、補正情報算出手段は、カメラ画像データＣｉｍｇと推定した平面に基づいて、仮想画像データＶｉｍｇに関する画像を生成する。また、補正情報算出手段は、仮想画像データＶｉｍｇに関する画像に基づいて、凸包Ｃ１及び台形補正矩形Ｃ２を算出する。次に、図１３（ｂ）において、補正情報算出手段は、凸包Ｃ１及び台形補正矩形Ｃ２に基づいて、射影変換行列Ｈｃｐ及び台形補正変換行列Ｈｐｐを算出する。ここで、射影変換行列Ｈｃｐ等を算出する方法は、前述の（補正情報を算出する動作）と同様であるため、説明を省略する。
【０１４６】
算出を完了すると、ステップＳ３０８に進む。
【０１４７】
図１１のステップＳ３０８において、オートフォーカス手段は、算出した第１の距離データＤｄ１（ステップＳ３０４）及び／または推定した平面（ステップＳ３０５）に関する情報に基づいて、投影用レンズの移動により、投影対象物に投影用レンズのフォーカスを合わせる。ここで、合焦方法について、投影された領域の中心に位置に対する投影対象物の距離に関する第１の距離データＤｄ１を測距手段により算出し、その算出した第１の距離データＤｄ１に基づいて、フォーカスを調整することができる。中心の位置は、三次元点群のＸ座標とＹ座標の最大値と最小値を示す点（位置）の平均値としてもよい。または、三次元点群のすべての点の平均値（または重心）としてもよい。
【０１４８】
合焦を完了すると、ステップＳ３０９に進む。
【０１４９】
図１１のステップＳ３０９において、投影用画像生成手段は、投影するプロジェクタ画像データＰｉｍｇに関する画像を補正する。具体的には、投影用画像生成手段は、算出した台形補正変換行列Ｈｐｐに基づいて、コンテンツ画像データＡｉｍｇに関する画像を補正（変形）し、台形歪み等が解消されるプロジェクタ画像データＰｉｍｇに関する画像を生成する（図１３（ｂ））。この補正後のプロジェクタ画像データＰｉｍｇを投影したときの仮想画像データＶｉｍｇに関する画像が図１３（ｃ）であり、投影対象物の正面方向から見た場合に台形歪みがキャンセル（解消）された画像となる。
【０１５０】
補正を完了すると、ステップＳ３１０に進む。
【０１５１】
ステップＳ３１０において、制御手段は、所定の時間間隔を測定するタイムカウンタなどにより、所定の時間を経過したか否かを判断する。所定の時間を経過するとタイムカウンタなどをリセットし、ステップＳ３１１に進む。所定の時間の未経過のときは、所定の時間を経過するまで待機する。
【０１５２】
ステップＳ３１１において、制御手段は、プロジェクタが使用中か否かを判断する。プロジェクタが使用中の場合は、所定の時間間隔で投影する動作を校正するため、ステップＳ３０３に戻る。それ以外の場合は、図中の「ＥＮＤ」に進み、校正等の動作を終了する。
【０１５３】
ステップＳ３１２において、位置移動判断手段は、プロジェクタと投影対象物との位置に関する関係の変化量を算出する。具体的には、位置移動判断手段は、平面推定手段により新たに平面を推定し、前回推定した平面と新たに推定した平面の比較に基づいて、位置に関する関係（離間距離、水平角、仰角など）の変化量を算出することができる。また、位置移動判断手段は、推定した平面に基づく台形補正矩形の重心（中心）の位置の移動量を変化量とすることができる。
【０１５４】
算出を完了すると、ステップＳ３１３に進む。
【０１５５】
ステップＳ３１３において、位置移動判断手段は、プロジェクタと投影対象物との位置に関する関係が変化したか否かを判断する。具体的には、位置移動判断手段は、ステップＳ３１２で算出した変化量において、所定の変化量を超える場合に位置に関する関係が変化したと判断することができる。ここで、所定の変化量とは、プロジェクタと投影対象物との離間距離、または、被写界深度に対応する値とすることができる。また、所定の変化量を、数値計算及び実験等により定められる値とすることができる。
【０１５６】
その後、位置に関する関係が変化したと判断した場合は、ステップＳ３１４に進む。位置に関する関係が変化していないと判断した場合は、ステップＳ３１０に進む。
【０１５７】
ステップＳ３１４において、補正情報算出手段は、ステップＳ３０７と同様の補正に関する情報を算出する。算出を完了すると、ステップＳ３１５に進む。
【０１５８】
ステップＳ３１５において、オートフォーカス手段は、ステップＳ３０９と同様の合焦をする。合焦を完了すると、ステップＳ３１６に進む。
【０１５９】
ステップＳ３１６において、投影用画像生成手段は、ステップＳ３０８と同様のプロジェクタ画像データＰｉｍｇに関する画像を補正する。補正を完了すると、ステップＳ３０３に戻る。
【０１６０】
以上より、本実施例のプロジェクタは、画像を投影中に、プロジェクタと投影対象物との位置に関する関係が変化した場合において、画像を投影する動作を中断することなく、投影する画像（プロジェクタ画像データＰｉｍｇに関する画像）を補正することができる。また、プロジェクタは、所定の時間間隔で平面推定手段が推定する複数の平面の位置を比較することにより、プロジェクタと投影対象物との位置に関する関係が変化したか否かを判断することができる。さらに、プロジェクタは、位置に関する関係が変化したと判断した場合に、画像を投影する動作を中断することなく、投影する画像を補正することができる。
【実施例２】
【０１６１】
実施例２のプロジェクタを用いて、本発明を説明する。
【０１６２】
（プロジェクタの構成）
図１４は、本実施例のプロジェクタの概略構成図の一例である。
【０１６３】
図１４において、プロジェクタ３００の構成は、実施例１（図１０）と同様のため、説明を省略する。
【０１６４】
（特徴点を抽出する動作）
プロジェクタの測距手段が、特徴点を抽出する動作について説明する。基本的な動作は、前述の（測距する動作）と同様のため、説明を省略する。
【０１６５】
本実施例では、投影する画像（プロジェクタ画像データＰｉｍｇに関する画像）に、パターン画像を電子透かしとして埋め込み、そのパターン画像を特徴点として抽出する。ここで、パターン画像は、ドットパターンなどを用いることができる。
【０１６６】
パターン画像に基づいて、特徴点を抽出する動作を、図１５を用いて、具体的に説明する。
【０１６７】
図１５は、パターン画像としてドットパターンを用いる例である。図１５（ａ）は、電子透かしとして埋め込むドットパターンＤｐを示す。図１５（ｂ）は、特徴点を抽出するときの探索パターンＳｐを示す。図１５（ｃ）は、ドットパターンが埋め込まれた画像を示す。
【０１６８】
図１５（ｃ）より、ドットパターンＤｐ（図１５（ａ））が埋め込まれて投影された画像（カメラ画像データＣｉｍｇ）において、ドットパターンＤｐに対応する画素とその周囲の画素とでは画像情報（色、明るさ、及び、エッジ強度など）が異なり、ドットパターンＤｐに対応する画素は孤立点となる。本実施例では、図１５（ｂ）において、探索パターンＳｐを用いて、この孤立点Ｌｐを抽出し、特徴点とする。これにより、特徴点が少ない（または抽出できない）画像を投影する場合に、パターン画像（ドットパターン）を電子透かしとして投影することで、特徴点を抽出することができる。
【実施例３】
【０１６９】
実施例３のプロジェクタを用いて、本発明を説明する。
【０１７０】
（プロジェクタの構成）
図１６は、本実施例のプロジェクタの概略構成図の一例である。
【０１７１】
図１６において、プロジェクタ４００の構成は、実施例１及び実施例２と同様のため、説明を省略する。
【０１７２】
（法線ベクトルにより平面を推定する動作）
平面推定手段が、ポリゴンメッシュにより法線ベクトルを算出し、その法線ベクトルに基づいて、投影対象物に対応する平面を推定する動作を説明する。基本的な動作は、前述の（平面を推定する動作）と同様のため、説明を省略する。
【０１７３】
本実施例では、測距手段が算出した三次元点群の絶対座標（第２の距離データＤ２）から、三次元点群に対応するポリゴンメッシュを算出する。ここで、ポリゴンメッシュとは、三角形などの多角形の組み合わせにより、物体を表現する要素である。図１７は、ポリゴンメッシュで表現した三次元点群を示す。本実施例では、三角形のポリゴンメッシュで、三次元点群を表現する。
【０１７４】
次に、ポリゴンメッシュで表現した三次元点群から、投影対象物に対応する平面を推定する動作を、図１８を用いて、説明する。
【０１７５】
図１８は、三次元点群の絶対座標（第２の距離データＤ２）に基づいて算出されたポリゴンメッシュの法線ベクトルを示す。本実施例では、ポリゴンメッシュの各要素の法線ベクトルを求め、各要素の法線ベクトルを平均した法線ベクトルＮを算出し、平均した法線ベクトルＮに垂直な平面を投影対象物に対応する平面と推定する。また、平均した法線ベクトルＮと各要素の法線ベクトルとを比較することにより、投影対象物の投影可能範囲（スクリーンの範囲など）を検知することができる。
【０１７６】
具体的には、各要素の法線ベクトルの向きと平均した法線ベクトルＮのベクトルの向きとの差分が所定の範囲外となる各要素の法線ベクトル（図中のＤ１及びＤ２）に関する対応点を検出し、検知された対応点の位置を投影対象物の外形に位置する対応点とする。これにより、（平面を推定する動作）の再帰的な近似による推定をする必要がなく、一度の算出で平面の推定及び投影対象物の投影可能範囲（外形）を算出することができる。
【０１７７】
また、撮像された画像の中心近傍におけるポリゴンメッシュから、順次、平均の法線ベクトルを算出し、順次算出される平均の法線ベクトルと算出する法線ベクトルとの差分が所定の値を超える場合に、投影対象物の外形に位置すると推定することもできる。
【０１７８】
さらに、法線ベクトルは、数１６で算出してもよい。
【０１７９】
【数１６】
【０１８０】
数１６において、Ｈはステレオカメラ（撮像手段）の基準カメラ及び参照カメラが撮影した画像における射影変換行列、Ｎｂ及びＮｉは基準カメラ及び参照カメラの内部パラメータ、Ｒ及びｔは基準カメラ及び参照カメラの相対的な位置と姿勢を表す回転及び平行移動ベクトル、ｚはステレオカメラから投影対象物までの距離、Ｎは推定する平面の基準カメラに対する法線ベクトルである。
【実施例４】
【０１８１】
実施例４のプロジェクタシステムを用いて、本発明を説明する。
【０１８２】
（プロジェクタシステムの構成）
図１９は、本実施例のプロジェクタシステムの概略構成図の一例である。
【０１８３】
図１９において、プロジェクタシステム５００は、プロジェクタ５１０及び外部手段５２０を有する。プロジェクタ５１０の基本的な構成は、実施例１乃至実施例３と同様のため、説明を省略する。
【０１８４】
プロジェクタ５１０は、本実施例では、通信手段５１１を有する。また、外部手段５２０は、同様に、通信手段５２１を有する。プロジェクタ５１０と外部手段５２０とは、通信手段５１１及び通信手段５２１により、相互に有線または無線で通信することができる。外部手段５２０は、クラウドコンピューティングなどを利用することができる。
【０１８５】
外部手段５２０は、撮像手段１２０を有する。外部手段５２０は、撮像手段１２０により撮像した画像に関するデータをプロジェクタ５１０に出力することができる。
【０１８６】
（撮像する動作）
投影対象物と近い位置に配置して使用するプロジェクタ（短焦点プロジェクタ、至近プロジェクタなど）においては、広角レンズ（画角の広いレンズ、焦点距離が短いレンズなど）を利用して、投影した画像を撮像する。この場合、撮像した画像のザイデル収差（球面収差、コマ収差、非点収差、像面湾曲、及び、歪曲収差など）を補正する必要がある。
【０１８７】
本実施例のプロジェクタシステム５００は、投影対象物と近い位置に配置して使用するプロジェクタにおいて、外部手段５２０の撮像手段１２０を利用することにより、ザイデル収差の補正を必要としないプロジェクタシステム（撮像手段）とすることができる。
【０１８８】
また、プロジェクタシステム５００は、外部手段５２０の撮像手段１２０を利用することで、プロジェクタ５１０を小型化、軽量化、及び、簡素化することができる。
【０１８９】
さらに、外部手段５２０は、ＰＣ等の撮像手段を利用することができる。プロジェクタ５１０を用いて発表等する場合では、発表時に使用するＰＣ等が撮像手段を有するものがある。外部手段５２０は、発表時に使用するＰＣ等が有する撮像手段とすることができる。
【符号の説明】
【０１９０】
１２０ ： 撮像手段
１３０ ： 測距手段
１４０ ： 平面推定手段
１５０ ： 補正情報算出手段
１６０ ： 位置移動判断手段
２１０ ： 投影手段
２３０ ： 投影用画像生成手段
１００ ： 画像処理装置
２００、３００、４００： プロジェクタ
５００ ： プロジェクタシステム
Ｐｒ ： プログラム
Ｍｄ ： 記録媒体
Ｄｐ ： パターン画像（ドットパターン）
Ｄｄ１： 第１の距離データ
Ｄｄ２： 第２の距離データ
【先行技術文献】
【特許文献】
【０１９１】
【特許文献１】特開２００５−２２９４１５号公報
【技術分野】
【０００１】
本発明は、画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
プロジェクタは、画像をスクリーン等の対象物に投影する装置である。画像を投影する際、プロジェクタと対象物との傾斜角によって、投影される画像に台形歪みが生ずる場合がある。プロジェクタには、投影する画像の台形歪みを解消するために、画像処理装置により、投影する画像を予め補正（変形）するものがある。
【０００３】
ここで、画像処理装置には、プロジェクタと対象物との離間距離及び傾斜角に基づいて、投影する画像を補正するものがある。
【０００４】
特許文献１は、所定のパターンである複数の対象点を投射対象物上に面状に投射し、その対象点までの距離に基づいて、投射対象物と背景との境界線（投射対象物の外形）を検出し、その境界線に対応するように、投射画像（投影する画像）を補正する技術を開示している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
プロジェクタで画像を投影するとき、多くの場合、所定の間、連続して画像を投影する。プロジェクタは、画像の投影中において、対象物またはプロジェクタが移動した場合に、投影する画像を補正するため、再度、離間距離及び傾斜角を測定する。
【０００６】
特許文献１に開示されている技術は、対象物までの距離に基づいて、投射画像を台形補正することができる。しかし、距離を測定するためにプロジェクタによる画像の投影を一時中断し、再度、所定のパターン等を投影する場合があった。
【０００７】
本発明は、画像を投影中に、対象物とプロジェクタとの位置に関する関係が変化した場合において、画像を投影する動作を中断することなく、投影する画像を補正することができる画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、請求項１に係る本発明は、画像が投影されている対象物を含む領域を撮像して、画像データを取得する撮像手段と、前記画像データに基づき、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する補正情報算出手段と、を有することを特徴とする画像処理装置を提供する。
【発明の効果】
【０００９】
本発明によれば、画像処理装置において、画像が投影されている対象物に対応する平面を推定することにより、投影する画像の補正に関する情報を算出することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置の一例を示す概略構成図である。
【図２】画像処理装置の機能の一例を示す機能ブロック図である。
【図３】平面を推定する動作の一例を示すフローチャートである。
【図４】投影対象物を撮像する動作の一例を説明する図である。
【図５】平面を推定する方法を説明する図である。
【図６】補正情報を算出する動作の一例を示すフローチャートである。
【図７】仮想カメラから仮想画像データを取得する動作を説明する図である。
【図８】仮想画像データの一例を説明する図である。
【図９】台形補正変換行列の算出を説明する図である。
【図１０】実施例１のプロジェクタの概略構成図である。
【図１１】実施例１のプロジェクタの投影動作の一例を示すフローチャートである。
【図１２】実施例１の投影された画像の特徴点及び対応点の抽出を説明する図である。
【図１３】実施例１の投影する画像の補正を説明する図である。
【図１４】実施例２のプロジェクタの概略構成図である。
【図１５】実施例２のドットパターンを説明する図である。
【図１６】実施例３のプロジェクタの概略構成図である。
【図１７】実施例３のポリゴンメッシュを説明する図である。
【図１８】実施例３の法線ベクトルから平面を推定する方法を説明する図である。
【図１９】実施例４のプロジェクタシステムの概略構成図である。
【図２０】実施例４の画像を投影する動作の例を説明する図である。
【発明を実施するための形態】
【００１１】
対象物を含む領域を撮像した画像を画像処理することにより、投影する画像の補正に関する情報を算出する画像処理装置を用いて、本発明を詳細に説明する。
【００１２】
（画像処理装置の構成）
図１は、画像処理装置の一例を示す概略構成図である。
【００１３】
図１において、画像処理装置１００は、制御手段１１０、撮像手段１２０、測距手段１３０、平面推定手段１４０、及び、補正情報算出手段１５０を含む。
【００１４】
画像処理装置１００は、撮像手段１２０により画像が投影される対象物（以下、投影対象物という。）を含む領域を撮像して画像データを取得し、測距手段１３０により撮像手段１２０から投影対象物までの距離に関する距離データを算出する。また、画像処理装置１００は、平面推定手段１４０により投影対象物に対応する平面を推定し、推定した平面に関する情報と算出した距離データとに基づいて、投影する画像の補正（拡大縮小及び台形補正等の画像処理、以下、補正という。）に関する情報を算出する。
【００１５】
ここで、投影対象物は、スクリーン、壁、及び、ホワイトボートなど、その外形表面に画像を投影することができるものを用いることができる。
【００１６】
制御手段１１０は、画像処理装置１００全体の制御を行う手段である。制御手段１１０は、外部から入力された情報等に基づき、撮像手段１２０等を制御する。また、制御手段１１０は、外部から入力された情報等に基づき、画像処理装置１００の画像処理の結果に関する情報を出力する制御を行う。
【００１７】
撮像手段１２０は、投影対象物を含む領域の像を撮像素子（イメージセンサ）に結像し、その撮像素子の画素出力信号（電気信号）から画像に関する画像データを取得する手段である。撮像手段１２０は、本実施形態では、ステレオカメラ、及び、撮像画像生成手段を含む。
【００１８】
ステレオカメラは、２つの撮像レンズ及び２つの撮像素子を備え、投影対象物を２つの撮像レンズ等で同時に撮影する。ここで、撮像レンズは、投影対象物の像を撮像素子に入射するものである。撮像素子は、複数の受光素子が格子状に配列された受光面を有し、撮像レンズを透過して入射した像をその受光面上に結像するものである。
【００１９】
撮像画像生成手段は、撮像素子の画素出力信号に基づき、投影対象物を含む領域の画像に関する画像データを生成する。
【００２０】
測距手段１３０は、画像処理装置１００（撮像手段１２０）から投影対象物までの距離を測定する手段である。測距手段１３０は、本実施形態では、撮像手段１２０が取得した２つ画像データに基づいて、三角測量の原理により、画像処理装置１００（撮像手段１２０）から投影対象物までの距離を算出する。詳細は後述の（測距する動作）で説明する。
【００２１】
平面推定手段１４０は、測距手段１３０が算出した距離データに基づいて、投影対象物に対応する平面を再帰的に近似する。ここで、平面を再帰的に近似するとは、複数の位置に基づいて平面を近似的に推定した後、その推定した平面から所定の距離を離れた位置を除外して、平面を推定し直す方法（回帰分析法）である。詳細は後述の（平面を推定する動作）で説明する。
【００２２】
補正情報算出手段１５０は、平面推定手段１４０が推定した平面に関する情報等に基づいて、投影する画像の補正に関する情報を算出する。詳細は後述の（補正情報を算出する動作）で説明する。
【００２３】
なお、以後の説明では、画像に関するデータとして、「コンテンツ画像データＡｉｍｇ」とは、ＰＣなどから投影手段（プロジェクタなど）に入力する画像に関する画像データである。
【００２４】
「カメラ画像データＣｉｍｇ」とは、投影されたコンテンツ画像データＡｉｍｇを撮像手段１２０によって撮像した画像に関する画像データである。カメラ画像データＣｉｍｇは、撮像手段１２０の受光素子が受光した光の明暗等の電気信号（画素出力信号）をデジタル処理して、生成される。
【００２５】
「仮想画像データＶｉｍｇ」とは、投影対象物の外形表面（投影される面）の法線方向（以下、正面方向という。）から撮像したと仮定した場合の、カメラ画像データＣｉｍｇに関する画像データである。仮想画像データＶｉｍｇは、補正情報算出手段１５０が算出した法線ベクトルに関する情報に基づいて、後述する透視投影変換行列Ｐを用いて、生成される。
【００２６】
「プロジェクタ画像データＰｉｍｇ」とは、仮想画像データＶｉｍｇの台形歪み等を解消するために、コンテンツ画像データＡｉｍｇを補正した画像データである。プロジェクタ画像データＰｉｍｇは、補正情報算出手段１５０が算出した補正に関する情報に基づいて、後述する台形補正変換行列Ｈｐｐを用いて、生成される。
【００２７】
（画像処理装置の機能）
画像処理装置の機能の一例を、図２を用いて、説明する。図２は、画像処理装置の機能ブロック図である。
【００２８】
図２において、制御手段１１０は、画像処理の動作を開始するため、撮像手段１２０に撮像の開始を指示する信号を出力する。
【００２９】
撮像手段１２０は、ステレオカメラによって、投影対象物を含む領域の像を撮像し、２つのカメラ画像データＣｉｍｇを取得する。また、撮像手段１２０は、取得したカメラ画像データＣｉｍｇを測距手段１３０に出力する。
【００３０】
測距手段１３０は、２つのカメラ画像データＣｉｍｇに基づいて、投影対象物の外形表面上の複数の位置（以下、対応点という。）に対応する距離データを算出する。また、測距手段１３０は、距離データを平面推定手段１４０及び補正情報算出手段１５０に出力する。ここで、距離データとは、画像処理装置から投影対象物（対応点）までの距離に関するデータである。測距する方法の詳細は、後述の（測距する動作）で説明する。
【００３１】
平面推定手段１４０は、測距手段１３０が算出した距離データから、投影対象物に対応する平面として、回帰平面データを算出する。また、平面推定手段１４０は、回帰平面データを補正情報算出手段１５０に出力する。ここで、回帰平面データとは、三次元空間の複数の位置を含む平面に関するデータである。推定する方法の詳細は、後述の（平面を推定する動作）で説明する。
【００３２】
補正情報算出手段１５０は、測距手段１３０の距離データ及び平面推定手段１４０の回帰平面データに基づいて、コンテンツ画像データＡｉｍｇの補正に関する情報を算出する。具体的には、補正情報算出手段１５０は、距離データ及び回帰平面データに基づいて、後述する凸包データＣ１（図８（ｂ））を算出する。また、補正情報算出手段１５０は、凸包データに基づいて、仮想画像データＶｉｍｇの台形歪み等をキャンセル（解消）するために、コンテンツ画像データＡｉｍｇを補正するために必要な台形補正変換行列など（以下、補正に関する情報という。）を算出する。算出する方法の詳細は、後述の（補正情報を算出する動作）で説明する。
【００３３】
また、補正情報算出手段１５０は、制御手段１１０によって、図示しない投影手段等に補正に関する情報を出力する。
【００３４】
（測距する動作）
測距手段が、撮像手段のステレオカメラにより、撮像手段（画像処理装置）から対応点（投影対象物）までの距離に関する距離データを算出する動作を説明する。
【００３５】
ここで、ステレオカメラとは、第１のカメラ（基準カメラ）及び第２のカメラ（参照カメラ）を有し、第１のカメラ及び第２のカメラは第１の撮像レンズ及び第２の撮像レンズ、並びに、第１の撮像レンズ及び第２の撮像レンズの背面側の方向（投影対象物の方向と反対側の方向）に配置された第１の撮像素子及び第２の撮像素子を有する。なお、撮像素子は、エリアセンサ、面センサ、及び、二次元センサ等を用いることができる。
【００３６】
第１の撮像レンズと第２の撮像レンズとは、所定の間隔Ｄ（以下、基線長という。）で並設され、第１の撮像レンズの光軸と第２の撮像レンズの光軸とは平行である。また、第１の撮像素子等は、正面側（背面側の反対側）の表面上に、対象物の像を結像する受光面を備える。第１の撮像レンズ等の光軸等は、第１の撮像素子等の受光面の対角線の中心と一致するように位置決めされている。
【００３７】
第１の撮像レンズを透過して入射した投影対象物の第１の像と第２の撮像レンズを透過して入射した投影対象物の第２の像とは、視差△だけ変位して、それぞれの受光面に結像される。撮像素子は、第１の像及び第２の像の光による明暗等を電荷の量に光電変換し、画素出力信号として、測距手段に出力する。このとき、測距手段は、画素出力信号を比較し、受光面の受光素子（画素）の位置（座標）から視差△を検出する。ここで、視差△、基線長Ｄ、画像処理装置と投影対象物との離間距離Ｌ、及び、撮像レンズの焦点距離ｆとすると、Ｌ＞＞ｆを条件に、数１が成り立つ（三角測量の原理）。
【００３８】
【数１】
【００３９】
この場合、Ｄとｆは既知である。
【００４０】
測距手段は、検出した視差△から、数１により、離間距離Ｌを算出する。
【００４１】
次に、測距手段が、対応点の絶対座標（ＸＹＺ座標）を算出する動作を、具体的に説明する。ここで、Ｘ軸を基線長Ｄの方向、Ｙ軸をＸ軸に直交する撮像素子の受光面上の方向、Ｚ軸をＸ軸及びＹ軸に直交する方向（ステレオカメラの光軸方向）とする。また、第１のカメラ（添え字ｒ）及び第２のカメラ（添え字ｌ）の受光面に対する相対座標（ｘｙｚ座標）を数２とする。
【００４２】
【数２】
このとき、視差△を数３となる。
【００４３】
【数３】
【００４４】
次に、対応点の座標Ｐ（絶対座標）を数４とする。
【００４５】
【数４】
【００４６】
このとき、対応点の座標Ｐは、数１乃至数３より、数５となる。
【００４７】
【数５】
【００４８】
以上により、測距手段は、撮像手段のステレオカメラを用いて、投影対象物の外形表面上の対応点の三次元座標（絶対座標）を算出し、その算出した三次元座標を対応点に関する距離データとして取得することができる。
【００４９】
（平面を推定する動作）
平面推定手段等が、投影対象物に対応する平面を推定する動作について、図３乃至図５を用いて説明する。図３は、平面推定手段等が平面を推定する動作の一例を示すフローチャートである。図４は、撮像手段が投影対象物を撮像する動作の一例を説明する図である。図５は、回帰分析によって、平面を推定する方法を説明する図である。
【００５０】
図３において、撮像手段は、投影対象物を含む領域を撮像し、カメラ画像データＣｉｍｇを取得する（ステップＳ１０１）。ここで、撮像手段が撮像する動作を、図４を用いて、具体的に説明する。
【００５１】
図４は、投影対象物を撮像する動作を示す。図４（ａ）は、画像が投影されている投影対象物などを正面方向から見た説明図である。図４（ｂ）は、画像が投影されている投影対象物などを鉛直上方から見た説明図である。図中の○印は、投影対象物（スクリーン）Ａ１表面上の位置（特徴点）を示す。図中の△印は、発表者Ａ２の位置（特徴点）を示す。図中の×印は、投影対象物の背後の壁Ａ３表面上の位置（特徴点）を示す。
【００５２】
図４において、発表者Ａ２は、投影対象物Ａ１の正面方向に立っている。また、壁Ａ３が、投影対象物Ａ１の背面方向（正面方向と反対側の方向）に近接している。このとき、プロジェクタに内蔵された撮像手段は、プロジェクタ（投影手段）などによりコンテンツ画像データＡｉｍｇが投影された投影対象物Ａ１を含む領域を撮像し、カメラ画像データＣｉｍｇを取得する。
【００５３】
図３のステップＳ１０１において、カメラ画像データＣｉｍｇの取得を完了すると、撮像手段は、カメラ画像データＣｉｍｇを測距手段に出力する。その後、ステップＳ１０２に進む。
【００５４】
ステップＳ１０２において、測距手段は、撮像手段から出力されたカメラ画像データＣｉｍｇに基づいて、投影対象物を含む領域の特徴点（図４（ａ）及び（ｂ）の○、△、及び、×）を抽出する。測距手段が特徴点を抽出する動作を具体的に説明する。
【００５５】
測距手段は、まず、ステレオカメラが取得した２つのカメラ画像データＣｉｍｇの一方（以下、撮像データＡという。）について、任意の画素を選択点として選択する。次に、測距手段は、撮像データＡから、選択点とその選択点の周囲の８画素との画像情報（色、明るさ、及び、エッジ強度など）を比較する。このとき、選択点の画像情報が、その周囲の８画素の画像情報より、すべて大きい場合またはすべて小さい場合、その選択点を特徴点（ｘＡ，ｙＡ）として抽出する。また、測距手段は、その特徴点を中心とする一辺が１５画素四方の範囲を、テンプレートブロックＡとして抽出する。
【００５６】
特徴点の抽出を完了すると、ステップＳ１０３に進む。
【００５７】
なお、特徴点を抽出する方法は、上記の方法に限定されるものではない。上記の方法以外でも、投影対象物の表面上の特徴ある点を抽出できる方法であれば、いずれの方法も用いることができる。また、特徴点の具体例は、後述する実施例１及び実施例２において、説明する。
【００５８】
ステップＳ１０３において、測距手段は、ステップＳ１０２で抽出された特徴点に基づいて、対応点を抽出する。測距手段が対応点を抽出する動作を、具体的に説明する。
【００５９】
測距手段は、ステレオカメラが撮像した２つのカメラ画像データＣｉｍｇの他方（以下、撮像データＢという。）について、任意の画素を選択点（ｘＢ，ｙＢ）として選択する。また、測距手段は、その選択点を中心とする一辺が１５画素四方の範囲を、テンプレートブロックＢとして選択する。次に、測距手段は、テンプレートブロックＡ及びテンプレートブロックＢの画像情報の総和を算出し、両者の総和を比較する。比較方法は、ＳＡＤ及びＳＳＤなどの方法を用いることができる。
【００６０】
なお、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｓｔａｎｃｅ）とは、総和の比較において、絶対値の差分の総和を求める方法である。ＳＳＤ（Ｓｑｕａｒｅｄ Ｓｕｍ ｏｆ Ｄｉｆｆｅｒｅｎｃｅｓ）とは、差分の２乗の総和を求める方法である。
【００６１】
次に、テンプレートブロックＡとテンプレートブロックＢとの比較の結果において、画像情報の総和の差分が最小値となるテンプレートブロックＢの選択点（ｘＢ，ｙＢ）を選択する。このとき、その差分が所定の値以下であるとき、撮像データＡの特徴点（ｘＡ，ｙＡ）と撮像データＢの選択点（ｘＢ，ｙＢ）とが対応付けられ、その特徴点（ｘＡ，ｙＡ）（選択点（ｘＢ，ｙＢ））を対応点（ｘＡＢ，ｙＡＢ）として抽出する。
【００６２】
ここで、所定の値とは、投影対象物と画像処理装置との離間距離、または、被写界深度に対応する値とすることができる。また、所定の値を、数値計算及び実験等により定められる値とすることができる。
【００６３】
測距手段は、対応点の抽出として、撮像データＡから抽出されたすべての特徴点について、撮像データＢの選択点と比較する。このとき、測距手段は、複数の対応点（以下、三次元点群という。）を抽出することになる。
【００６４】
対応点の抽出を完了すると、ステップＳ１０４に進む。
【００６５】
ステップＳ１０４において、測距手段は、ステップＳ１０３で抽出された三次元点群の距離に関する距離データを算出する。距離データを算出する動作は、（測距する動作）と同様のため、説明を省略する。距離データの算出を完了すると、ステップＳ１０５に進む。
【００６６】
ステップＳ１０５において、平面推定手段は、測距手段が算出した距離データに基づいて、投影対象物に対応する平面の情報として、回帰平面データを算出する。回帰平面データを算出する方法について、図５を用いて、具体的に説明する。
【００６７】
図５（ａ）は、回帰分析をした後の回帰平面Ｐ１を示す。図５（ｂ）は、後述のステップＳ１０９で推定した平面から最も離れた対応点を除外した後の回帰平面Ｐ２を示す。
【００６８】
図５（ａ）において、ステップＳ１０２乃至ステップＳ１０４により、三次元点群としてｎ個の対応点（ＸＡＢｉ，ＹＡＢｉ，ＺＡＢｉ）（ｉ＝１〜ｎ）が算出されている（図中の○、△、及び×）。
【００６９】
平面推定手段は、回帰分析によって、三次元点群から回帰平面を算出するため、回帰平面の方程式をｚ＝ａｘ＋ｂｙ＋ｃと定義する。このとき、回帰平面と三次元点群とは、数６が成り立つ。
【００７０】
【数６】
【００７１】
ここで、数６の変数は、数７である。
【００７２】
【数７】
【００７３】
数７において、ｅｉは残差を示す。
【００７４】
次に、正規方程式は、数８となる。
【００７５】
【数８】
【００７６】
よって、βは、数９となる。
【００７７】
【数９】
【００７８】
以上より、最小二乗法などを用いて、残差ｅｉの平方和が最小となる定数（パラメータ）ａ、ｂ、及び、ｃを算出することにより、回帰平面（図５（ａ）のＰ１及びＰ２）を求めることができる。平面推定手段は、回帰平面データとして、回帰平面の方程式（ｚ＝ａｘ＋ｂｙ＋ｃ）の定数ａ、ｂ、及び、ｃを取得する。回帰平面データの取得が完了すると、ステップＳ１０６に進む。
【００７９】
次に、図３のステップＳ１０６において、回帰平面と三次元点群との距離ＤＡＢｉを算出し、回帰平面から最も離れた三次元点群の対応点ＰＭＡＸ（ＸＡＢＤ，ＹＡＢＤ，ＺＡＢＤ）とその距離ＤＭＡＸを抽出する（図５（ａ）のＰＭＡＸ）。具体的には、対応点（ＸＡＢｉ，ＹＡＢｉ，ＺＡＢｉ）から、平面（αｘ＋βｙ＋γｚ＋δ＝０）までの距離を、数１０より、算出する。
【００８０】
【数１０】
【００８１】
回帰平面と三次元点群のすべての点との距離を算出し、その距離の絶対値が最大となる対応点を選択する。最も離れた対応点ＰＭＡＸ（ＸＡＢＤ，ＹＡＢＤ，ＺＡＢＤ）の抽出を完了すると、ステップＳ１０７に進む。
【００８２】
ステップＳ１０７において、対応点ＰＭＡＸ（ＸＡＢＤ，ＹＡＢＤ，ＺＡＢＤ）に関する距離ＤＭＡＸと所定の距離とを比較する。距離ＤＭＡＸが所定の距離以下の場合は、ステップＳ１０８に進む。距離ＤＭＡＸが所定の距離を越える場合は、ステップＳ１０９に進む。
【００８３】
ここで、所定の距離とは、投影対象物と画像処理装置との離間距離に対応する値とすることができ、数値計算及び実験等により、その距離を定めることができる。また、被写界深度に対応する値とすることができる。
【００８４】
ステップＳ１０８において、算出した回帰平面（ステップＳ１０５）を投影対象物に対応する平面と推定し、回帰平面データとして記憶する。その後、図中の「ＥＮＤ」に進み、平面の推定を終了する。
【００８５】
ステップＳ１０９において、対応点ＰＭＡＸ（ＸＡＢＤ，ＹＡＢＤ，ＺＡＢＤ）を三次元点群から除外する。除外を完了すると、ステップＳ１０５に戻り、ステップＳ１０５乃至Ｓ１０７を繰り返し、再度、回帰平面Ｐ２を推定する（図５（ｂ））。
【００８６】
以上より、本発明の画像処理装置は、画像処理装置から投影対象物までの距離を測定し、回帰分析によって、投影対象物に対応する平面を推定することができる。また、本発明の画像処理装置は、平面からの距離が所定の距離を越える対応点を除外することによって、画像処理装置と投影対象物との間に障害物があるとき、あるいは、投影対象物の背後に壁などが近接しているときでも、投影対象物に対応する平面を推定することができる。
【００８７】
なお、平面を推定する動作において、除外する対応点は障害物及び背後の壁などに関するものに限定されるものではなく、投影対象物以外のものを含むことができる。また、平面を推定する際に用いる三次元点群は、（測距する動作）で抽出した三次元点群から「ランダムに選択した複数の点」と「ランダムに選択した複数の点」以外の点群とから成る平面の定数（パラメータ）を算出し、その定数の差分が小さい点群を用いて、平面を推定することができる。
【００８８】
（補正情報を算出する動作）
補正情報算出手段が、補正の情報を算出する動作ついて、図６乃至図９を用いて、説明する。
【００８９】
図６は、補正情報を算出する動作の一例を示すフローチャートである。図７は、仮想カメラから仮想画像データを取得する動作を説明する図である。図８は、仮想画像データを説明する図である。図９は、台形補正変換行列の算出を説明する図である。
【００９０】
図６において、補正情報算出手段は、平面推定手段が推定した平面の正面方向から撮像したと仮定した場合の、カメラ画像データＣｉｍｇに関する画像データ（仮想画像データＶｉｍｇ）を算出する（ステップＳ２０１）。補正情報算出手段が仮想画像データＶｉｍｇを算出する動作を、図７を用いて、具体的に説明する。
【００９１】
図７は、推定した平面における三次元点群Ｐｇｒｐの中心（重心）位置Ｃｇからその平面の法線方向Ｎの延長線上に仮想カメラ（撮像手段を含むプロジェクタなど）ＰＲＪｖを配置したと仮定することを示す。
【００９２】
図７において、実際のカメラ（撮像手段を含むプロジェクタなど）ＰＲＪｒが、コンテンツ画像データＡｉｍｇを投影する。このとき、実際のカメラＰＲＪｒに搭載された撮像手段がカメラ画像データＣｉｍｇを取得し、測距手段が三次元点群Ｐｇｒｐの距離データを取得し、平面推定手段が平面Ｐ２を推定する。
【００９３】
補正情報算出手段は、平面Ｐ２の法線方向Ｎの延長線上の仮想カメラＰＲＪｖから撮像される仮想画像データＶｉｍｇを算出する。具体的には、補正情報算出手段は、透視投影変換行列Pを用いて、三次元点群Ｐｇｒｐを二次元の平面（仮想カメラＰＲＪｖから撮像される仮想画像データＶｉｍｇに対応する平面）に投影して、仮想画像データＶｉｍｇを算出する。
【００９４】
ここで、透視投影変換行列Pとは、内部パラメータをＡとし、外部パラメータである回転行列をＲ、平行移動ベクトルをｔとすると、数１１となる。
【００９５】
【数１１】
【００９６】
ここで、内部パラメータＡとは、仮想カメラＰＲＪｖの光軸座標、撮像素子の行と列のスケール、焦点距離ｆなどを用いて定められる行列（３×３）である。回転行列Ｒとは、実際のカメラＰＲＪｒから仮想カメラＰＲＪｖまでの回転を示す行列（３×３）である。平行移動ベクトルｔとは、実際のカメラＰＲＪｒから仮想カメラＰＲＪｖまでの平行移動を示すベクトル（３×１）である。
【００９７】
仮想画像データＶｉｍｇの算出を完了すると、ステップＳ２０２に進む。
【００９８】
次に、図６のステップＳ２０２において、補正情報算出手段は、算出した仮想画像データＶｉｍｇにおける凸包データを算出する。ここで、凸包データとは、三次元点群において、平面推定手段が推定した平面上にある測距手段が算出した複数の対応点を包み込む多角形（以下、凸包という。）に関するデータである。凸包データを算出する方法を、図８を用いて、具体的に説明する。
【００９９】
図８は、仮想カメラＰＲＪｖが取得する仮想画像データＶｉｍｇを説明する図である。図８（ａ）は、仮想画像データＶｉｍｇにおける対応点を説明する図である。図８（ｂ）は、凸包データ及び後述する台形補正矩形を説明する図である。
【０１００】
図８（ａ）において、補正情報算出手段は、仮想カメラＰＲＪｖが取得した仮想画像データＶｉｍｇにおいて、測距手段が算出した距離データに基づいて、平面推定手段が推定した平面上にある複数の対応点（図中の○、図７の三次元点群Ｐｇｒｐ）を抽出する。次に、図８（ｂ）において、補正情報算出手段は、抽出した複数の対応点について、その対応点を包み込む凸包に関する凸包データを算出する。このとき、凸包は、図中の○印を含む多角形Ｃ１である。
【０１０１】
凸包データの算出を完了すると、ステップＳ２０３に進む。
【０１０２】
次に、図６のステップＳ２０３において、補正情報算出手段は、仮想画像データＶｉｍｇにおける台形補正矩形を算出する。ここで、台形補正矩形とは、ステップ２０２で算出した凸包Ｃ１に包含される最大面積の矩形である。補正情報算出手段は、アスペクト比を固定して、凸包Ｃ１が包含する台形補正矩形Ｃ２を算出する（図８（ｂ））。アスペクト比は、プロジェクタ画像データＰｉｍｇに関する画像のアスペクト比と同一とすることができる。例えば、１６００×１２００ピクセルの画像を投影する場合は、アスペクト比を４：３とすることができる。
【０１０３】
台形補正矩形の算出を完了すると、ステップＳ２０４に進む。
【０１０４】
図６のステップＳ２０４において、補正情報算出手段は、台形補正矩形Ｃ２内の任意の４点（図８（ｂ）のＭＶ１乃至ＭＶ４）を特徴点として選択する。ここで、任意の４点は、仮想画像データＶｉｍｇに関する投影光の４隅の点とすることができる。この場合、特徴点が少ない（または、特徴点を抽出できない）画像を投影しているときでも、４隅の点を特徴点として抽出することができる。特徴点の選択を完了すると、ステップＳ２０５に進む。
【０１０５】
ステップＳ２０５において、補正情報算出手段は、特徴点（ＭＶ１乃至ＭＶ４）に対応するコンテンツ画像データＡｉｍｇの対応点を抽出する。対応点を抽出する動作は、（測距する動作）と同様のため、説明を省略する。対応点の抽出を完了すると、ステップＳ２０６に進む。
【０１０６】
ステップＳ２０６において、補正情報算出手段は、射影変換行列Ｈｃｐを算出する。具体的には、仮想画像データＶｉｍｇに関する画像上の特徴点ｍＶｉ（ｘＶｉ、ｙＶｉ）に対応するコンテンツ画像データＡｉｍｇに関する画像上の４点の対応点をｍａｉ＝（ｘａｉ、ｙａｉ）（ｉ＝１〜４）とすると、射影変換行列Ｈｃｐと数１２が成り立つ。
【０１０７】
【数１２】
【０１０８】
ここで、数１２の右辺と左辺とは、同次座標系で等しい（全成分の定数倍以外は等しい）ことを示す。また、射影変換行列Ｈｃｐは次式である。
【０１０９】
【数１３】
【０１１０】
このとき数１２は、数１４と表すことができる。
【０１１１】
【数１４】
【０１１２】
数１４の第３成分を１にあわせるため、右辺を正規化すると、数１５となる。
【０１１３】
【数１５】
【０１１４】
ここで、ｈ１乃至ｈ８は未知係数である。仮想画像データＶｉｍｇに関する画像上の特徴点ＭＶｉ（ｘＶｉ、ｙＶｉ）に対応するコンテンツ画像データＡｉｍｇに関する画像上の対応点Ｍａｉ（ｘａｉ、ｙａｉ）の４つの組合せを得ることで、ｈ１乃至ｈ８を算出することができる。その結果、ｈ１乃至ｈ８を用いて、射影変換行列Ｈｃｐを算出することができる。
【０１１５】
射影変換行列Ｈｃｐの算出を完了すると、ステップＳ２０７に進む。
【０１１６】
ステップＳ２０７において、補正情報算出手段は、ステップＳ２０３の台形補正矩形Ｃ２の４隅に対応するコンテンツ画像データＡｉｍｇに関する４つの補正点を算出する。補正点を算出する方法を、図９を用いて、具体的に説明する。
【０１１７】
図９は、仮想画像データＶｉｍｇとプロジェクタ画像データＰｉｍｇの関係を説明する図である。図９（ａ）は、仮想画像データＶｉｍｇに関する画像上の台形補正矩形の４隅の点を説明する図である。図９（ｂ）は、コンテンツ画像データＡｉｍｇに関する画像上の４つの補正点を説明する図である。
【０１１８】
図９（ａ）において、ステップＳ２０３で算出した台形補正矩形Ｃ２の４隅の点（図中のＵＲｖ、ＵＬｖ、ＤＲｖ、及び、ＤＬｖ）を抽出する。次に、図９（ｂ）において、４隅の点に対応するコンテンツ画像データＡｉｍｇに関する画像上の４つの補正点（図中のＵＲｖａ、ＵＬｖａ、ＤＲｖａ、及び、ＤＬｖａ）を、ステップＳ２０６で算出した射影変換行列Ｈｃｐを用いて、算出する。
【０１１９】
４つの補正点の算出を完了すると、ステップＳ２０８に進む。
【０１２０】
図６のステップＳ２０８において、補正情報算出手段は、コンテンツ画像データＡｉｍｇに関する画像の４隅の点（図９（ｂ）のＵＲａ等）を、ステップＳ２０７で算出した４つの補正点（ＵＲｖａ等）に変形（補正）する台形補正変換行列Ｈｐｐを算出する。台形補正変換行列Ｈｐｐを算出する方法は、ステップＳ２０６と同様のため、説明を省略する。
【０１２１】
台形補正変換行列Ｈｐｐの算出を完了すると、台形補正変換行列Ｈｐｐを補正に関する情報として記憶し、図中の「ＥＮＤ」に進み、補正情報を算出する動作を終了する。
【０１２２】
なお、この台形補正変換行列Ｈｐｐに基づいて、コンテンツ画像データＡｉｍｇを補正し、台形歪み等がキャンセル（解消）されたプロジェクタ画像データＰｉｍｇを生成することができる。
【０１２３】
以上より、補正情報算出手段は、距離データ、回帰平面データ、及び、凸包データ等に基づいて、投影される画像の台形歪み等を解消するために必要な補正に関する情報を算出することができる。
【０１２４】
（プログラム、及び、そのプログラムを記録した記録媒体）
本発明のプログラムＰｒは、撮像手段により、画像が投影されている対象物を含む領域を撮像して、画像データを取得する工程と、画像データに基づき、撮像手段と対象物との離間距離に関する距離データを算出する工程と、距離データから、対象物に対応する平面を推定する工程と、距離データと平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する工程と、を実行する。
【０１２５】
この構成によれば、本発明の画像処理装置と同等の効果が得られる。
【０１２６】
また、本発明は、プログラムＰｒを記録したコンピュータによって読み取り可能な記録媒体Ｍｄとしてもよい。このプログラムＰｒを記録した記録媒体Ｍｄとしては、フレキシブルディスク、ＣＤ−ＲＯＭ、及び、メモリーカード等、コンピュータ読み取り可能な媒体を利用することができる。
【０１２７】
（実施例）
プロジェクタの実施例を用いて、本発明の画像処理装置及び画像処理方法を説明する。
【０１２８】
本発明の画像処理装置等は、プロジェクタに用いられる画像処理装置等に限定されるものではない。プロジェクタ以外でも、対象物を含む領域を撮像した画像を画像処理することにより、投影する画像の補正に関する情報を算出するものであれば、いずれにも用いることができる。
【実施例１】
【０１２９】
実施例１のプロジェクタを用いて、本発明を説明する。
【０１３０】
（プロジェクタの構成）
図１０は、本実施例のプロジェクタの概略構成図の一例である。
【０１３１】
図１０において、プロジェクタ２００は、本実施例では、投影手段２１０、オートフォーカス手段２２０、及び、投影用画像生成手段２３０を含む。また、プロジェクタ２００は、画像処理装置として、制御手段１１０、撮像手段１２０、測距手段１３０、平面推定手段１４０、補正情報算出手段１５０、及び、位置移動判断手段１６０を含む。
【０１３２】
プロジェクタ２００は、投影対象物に画像を投影し、投影対象物を含む領域を撮像し、投影対象物に対応する平面を推定する。また、プロジェクタは、推定した平面等に基づいて、投影用レンズのフォーカスを調整し、投影する画像を補正する。
【０１３３】
ここで、投影手段２１０とは、プロジェクタの投影用レンズから投影対象物に画像を投影する手段である。オートフォーカス手段２２０とは、投影対象物にプロジェクタの投影用レンズのフォーカスを合わせる手段である。投影用画像生成手段２３０とは、プロジェクタが投影する画像を生成する手段である。
【０１３４】
画像処理装置の位置移動判断手段１６０は、プロジェクタと投影対象物との位置に関する関係が変化したか否か（プロジェクタ及び／または投影対象物が移動したか否か）を判断する手段である。画像処理装置の制御手段１１０等は、図１と同様のため、説明を省略する。
【０１３５】
（投影を校正する動作）
プロジェクタが、投影する画像を校正する動作について、図１１乃至図１３を用いて説明する。図１１は、本実施例のプロジェクタの投影動作の一例を示すフローチャートである。図１２は、投影された画像の特徴点及び対応点の抽出を説明する図である。図１３は、投影する画像の補正を説明する図である。
図１１において、プロジェクタの制御手段は、操作パネル等からの入力により、画像を投影する動作の校正を開始するため、投影手段等に動作の指示を出力する（ステップＳ３０１）。その後、ステップＳ３０２に進む。
【０１３６】
ステップＳ３０２において、投影手段は、コンテンツ画像データＡｉｍｇをプロジェクタ画像データＰｉｍｇとして、投影用レンズから投影対象物に画像を投影する。その後、ステップＳ３０３に進む。
【０１３７】
ステップＳ３０３において、撮像手段は、投影対象物を含む領域を撮像し、カメラ画像データＣｉｍｇを取得する。取得を完了すると、ステップＳ３０４に進む。
【０１３８】
ステップＳ３０４において、測距手段は、カメラ画像データＣｉｍｇに基づいて、プロジェクタ（撮像手段）から投影対象物（対応点）までの距離を算出する。距離を算出する方法を、図１２を用いて、具体的に説明する。
【０１３９】
図１２は、投影する画像の特徴点及び対応点を示す。図１２（ａ）は、コンテンツ画像データＡｉｍｇに関する画像を示す。図１２（ｂ）は、撮像手段のステレオカメラの基準カメラが取得したカメラ画像データＣｉｍｇに関する画像を示す。図１２（ｃ）は、参照カメラが取得したカメラ画像データＣｉｍｇに関する画像を示す。
【０１４０】
図１２（ａ）において、コンテンツ画像データＡｉｍｇに関する画像の特徴点を示す（図中の○）。測距手段は、基準カメラ及び参照カメラのカメラ画像データＣｉｍｇに関する画像から、特徴点（図１２（ａ））に対応する対応点（図１２（ｂ）及び図１２（ｃ）の○）に関する視差△を算出する。次に、測距手段は、対応点の絶対座標（ＸＹＺ座標）を算出し、第１の距離データＤｄ１を取得する。ここで、対応点の絶対座標を算出する方法は、前述の（測距する動作）と同様であるため、説明を省略する。第１の距離データＤｄ１の取得を完了すると、ステップＳ３０５に進む。
【０１４１】
図１１のステップＳ３０５において、平面推定手段は、取得した第１の距離データＤｄ１に基づいて、投影対象物に対応する平面を推定する。ここで、平面の推定方法は、前述の（平面を推定する動作）と同様であるため、説明を省略する。平面の推定を完了すると、ステップＳ３０６に進む。
【０１４２】
ステップＳ３０６において、制御手段は、投影する動作の校正が、初回（プロジェクタの電源を入れてから最初の校正）であるか否かを判断する。初回の場合は、ステップＳ３０７に進む。それ以外の場合は、ステップＳ３１２に進む。
【０１４３】
ステップＳ３０７において、補正情報算出手段は、撮像手段が取得したカメラ画像データＣｉｍｇと平面推定手段が推定した平面に基づいて、仮想画像データＶｉｍｇを算出する。また、補正情報算出手段は、仮想画像データＶｉｍｇと距離データとに基づいて、プロジェクタ画像データＰｉｍｇの補正に関する情報（台形補正変換行列Ｈｐｐなど）を算出する。補正に関する情報を算出する方法を、図１３を用いて、具体的に説明する。
【０１４４】
図１３は、投影する画像の補正する動作を説明する図である。図１３（ａ）は、補正前の仮想画像データＶｉｍｇに関する画像を示す。図１３（ｂ）は、補正後のプロジェクタ画像データＰｉｍｇに関する画像を示す。図１３（ｃ）は、補正後の仮想画像データＶｉｍｇに関する画像を示す。
【０１４５】
図１３（ａ）において、補正情報算出手段は、カメラ画像データＣｉｍｇと推定した平面に基づいて、仮想画像データＶｉｍｇに関する画像を生成する。また、補正情報算出手段は、仮想画像データＶｉｍｇに関する画像に基づいて、凸包Ｃ１及び台形補正矩形Ｃ２を算出する。次に、図１３（ｂ）において、補正情報算出手段は、凸包Ｃ１及び台形補正矩形Ｃ２に基づいて、射影変換行列Ｈｃｐ及び台形補正変換行列Ｈｐｐを算出する。ここで、射影変換行列Ｈｃｐ等を算出する方法は、前述の（補正情報を算出する動作）と同様であるため、説明を省略する。
【０１４６】
算出を完了すると、ステップＳ３０８に進む。
【０１４７】
図１１のステップＳ３０８において、オートフォーカス手段は、算出した第１の距離データＤｄ１（ステップＳ３０４）及び／または推定した平面（ステップＳ３０５）に関する情報に基づいて、投影用レンズの移動により、投影対象物に投影用レンズのフォーカスを合わせる。ここで、合焦方法について、投影された領域の中心に位置に対する投影対象物の距離に関する第１の距離データＤｄ１を測距手段により算出し、その算出した第１の距離データＤｄ１に基づいて、フォーカスを調整することができる。中心の位置は、三次元点群のＸ座標とＹ座標の最大値と最小値を示す点（位置）の平均値としてもよい。または、三次元点群のすべての点の平均値（または重心）としてもよい。
【０１４８】
合焦を完了すると、ステップＳ３０９に進む。
【０１４９】
図１１のステップＳ３０９において、投影用画像生成手段は、投影するプロジェクタ画像データＰｉｍｇに関する画像を補正する。具体的には、投影用画像生成手段は、算出した台形補正変換行列Ｈｐｐに基づいて、コンテンツ画像データＡｉｍｇに関する画像を補正（変形）し、台形歪み等が解消されるプロジェクタ画像データＰｉｍｇに関する画像を生成する（図１３（ｂ））。この補正後のプロジェクタ画像データＰｉｍｇを投影したときの仮想画像データＶｉｍｇに関する画像が図１３（ｃ）であり、投影対象物の正面方向から見た場合に台形歪みがキャンセル（解消）された画像となる。
【０１５０】
補正を完了すると、ステップＳ３１０に進む。
【０１５１】
ステップＳ３１０において、制御手段は、所定の時間間隔を測定するタイムカウンタなどにより、所定の時間を経過したか否かを判断する。所定の時間を経過するとタイムカウンタなどをリセットし、ステップＳ３１１に進む。所定の時間の未経過のときは、所定の時間を経過するまで待機する。
【０１５２】
ステップＳ３１１において、制御手段は、プロジェクタが使用中か否かを判断する。プロジェクタが使用中の場合は、所定の時間間隔で投影する動作を校正するため、ステップＳ３０３に戻る。それ以外の場合は、図中の「ＥＮＤ」に進み、校正等の動作を終了する。
【０１５３】
ステップＳ３１２において、位置移動判断手段は、プロジェクタと投影対象物との位置に関する関係の変化量を算出する。具体的には、位置移動判断手段は、平面推定手段により新たに平面を推定し、前回推定した平面と新たに推定した平面の比較に基づいて、位置に関する関係（離間距離、水平角、仰角など）の変化量を算出することができる。また、位置移動判断手段は、推定した平面に基づく台形補正矩形の重心（中心）の位置の移動量を変化量とすることができる。
【０１５４】
算出を完了すると、ステップＳ３１３に進む。
【０１５５】
ステップＳ３１３において、位置移動判断手段は、プロジェクタと投影対象物との位置に関する関係が変化したか否かを判断する。具体的には、位置移動判断手段は、ステップＳ３１２で算出した変化量において、所定の変化量を超える場合に位置に関する関係が変化したと判断することができる。ここで、所定の変化量とは、プロジェクタと投影対象物との離間距離、または、被写界深度に対応する値とすることができる。また、所定の変化量を、数値計算及び実験等により定められる値とすることができる。
【０１５６】
その後、位置に関する関係が変化したと判断した場合は、ステップＳ３１４に進む。位置に関する関係が変化していないと判断した場合は、ステップＳ３１０に進む。
【０１５７】
ステップＳ３１４において、補正情報算出手段は、ステップＳ３０７と同様の補正に関する情報を算出する。算出を完了すると、ステップＳ３１５に進む。
【０１５８】
ステップＳ３１５において、オートフォーカス手段は、ステップＳ３０９と同様の合焦をする。合焦を完了すると、ステップＳ３１６に進む。
【０１５９】
ステップＳ３１６において、投影用画像生成手段は、ステップＳ３０８と同様のプロジェクタ画像データＰｉｍｇに関する画像を補正する。補正を完了すると、ステップＳ３０３に戻る。
【０１６０】
以上より、本実施例のプロジェクタは、画像を投影中に、プロジェクタと投影対象物との位置に関する関係が変化した場合において、画像を投影する動作を中断することなく、投影する画像（プロジェクタ画像データＰｉｍｇに関する画像）を補正することができる。また、プロジェクタは、所定の時間間隔で平面推定手段が推定する複数の平面の位置を比較することにより、プロジェクタと投影対象物との位置に関する関係が変化したか否かを判断することができる。さらに、プロジェクタは、位置に関する関係が変化したと判断した場合に、画像を投影する動作を中断することなく、投影する画像を補正することができる。
【実施例２】
【０１６１】
実施例２のプロジェクタを用いて、本発明を説明する。
【０１６２】
（プロジェクタの構成）
図１４は、本実施例のプロジェクタの概略構成図の一例である。
【０１６３】
図１４において、プロジェクタ３００の構成は、実施例１（図１０）と同様のため、説明を省略する。
【０１６４】
（特徴点を抽出する動作）
プロジェクタの測距手段が、特徴点を抽出する動作について説明する。基本的な動作は、前述の（測距する動作）と同様のため、説明を省略する。
【０１６５】
本実施例では、投影する画像（プロジェクタ画像データＰｉｍｇに関する画像）に、パターン画像を電子透かしとして埋め込み、そのパターン画像を特徴点として抽出する。ここで、パターン画像は、ドットパターンなどを用いることができる。
【０１６６】
パターン画像に基づいて、特徴点を抽出する動作を、図１５を用いて、具体的に説明する。
【０１６７】
図１５は、パターン画像としてドットパターンを用いる例である。図１５（ａ）は、電子透かしとして埋め込むドットパターンＤｐを示す。図１５（ｂ）は、特徴点を抽出するときの探索パターンＳｐを示す。図１５（ｃ）は、ドットパターンが埋め込まれた画像を示す。
【０１６８】
図１５（ｃ）より、ドットパターンＤｐ（図１５（ａ））が埋め込まれて投影された画像（カメラ画像データＣｉｍｇ）において、ドットパターンＤｐに対応する画素とその周囲の画素とでは画像情報（色、明るさ、及び、エッジ強度など）が異なり、ドットパターンＤｐに対応する画素は孤立点となる。本実施例では、図１５（ｂ）において、探索パターンＳｐを用いて、この孤立点Ｌｐを抽出し、特徴点とする。これにより、特徴点が少ない（または抽出できない）画像を投影する場合に、パターン画像（ドットパターン）を電子透かしとして投影することで、特徴点を抽出することができる。
【実施例３】
【０１６９】
実施例３のプロジェクタを用いて、本発明を説明する。
【０１７０】
（プロジェクタの構成）
図１６は、本実施例のプロジェクタの概略構成図の一例である。
【０１７１】
図１６において、プロジェクタ４００の構成は、実施例１及び実施例２と同様のため、説明を省略する。
【０１７２】
（法線ベクトルにより平面を推定する動作）
平面推定手段が、ポリゴンメッシュにより法線ベクトルを算出し、その法線ベクトルに基づいて、投影対象物に対応する平面を推定する動作を説明する。基本的な動作は、前述の（平面を推定する動作）と同様のため、説明を省略する。
【０１７３】
本実施例では、測距手段が算出した三次元点群の絶対座標（第２の距離データＤ２）から、三次元点群に対応するポリゴンメッシュを算出する。ここで、ポリゴンメッシュとは、三角形などの多角形の組み合わせにより、物体を表現する要素である。図１７は、ポリゴンメッシュで表現した三次元点群を示す。本実施例では、三角形のポリゴンメッシュで、三次元点群を表現する。
【０１７４】
次に、ポリゴンメッシュで表現した三次元点群から、投影対象物に対応する平面を推定する動作を、図１８を用いて、説明する。
【０１７５】
図１８は、三次元点群の絶対座標（第２の距離データＤ２）に基づいて算出されたポリゴンメッシュの法線ベクトルを示す。本実施例では、ポリゴンメッシュの各要素の法線ベクトルを求め、各要素の法線ベクトルを平均した法線ベクトルＮを算出し、平均した法線ベクトルＮに垂直な平面を投影対象物に対応する平面と推定する。また、平均した法線ベクトルＮと各要素の法線ベクトルとを比較することにより、投影対象物の投影可能範囲（スクリーンの範囲など）を検知することができる。
【０１７６】
具体的には、各要素の法線ベクトルの向きと平均した法線ベクトルＮのベクトルの向きとの差分が所定の範囲外となる各要素の法線ベクトル（図中のＤ１及びＤ２）に関する対応点を検出し、検知された対応点の位置を投影対象物の外形に位置する対応点とする。これにより、（平面を推定する動作）の再帰的な近似による推定をする必要がなく、一度の算出で平面の推定及び投影対象物の投影可能範囲（外形）を算出することができる。
【０１７７】
また、撮像された画像の中心近傍におけるポリゴンメッシュから、順次、平均の法線ベクトルを算出し、順次算出される平均の法線ベクトルと算出する法線ベクトルとの差分が所定の値を超える場合に、投影対象物の外形に位置すると推定することもできる。
【０１７８】
さらに、法線ベクトルは、数１６で算出してもよい。
【０１７９】
【数１６】
【０１８０】
数１６において、Ｈはステレオカメラ（撮像手段）の基準カメラ及び参照カメラが撮影した画像における射影変換行列、Ｎｂ及びＮｉは基準カメラ及び参照カメラの内部パラメータ、Ｒ及びｔは基準カメラ及び参照カメラの相対的な位置と姿勢を表す回転及び平行移動ベクトル、ｚはステレオカメラから投影対象物までの距離、Ｎは推定する平面の基準カメラに対する法線ベクトルである。
【実施例４】
【０１８１】
実施例４のプロジェクタシステムを用いて、本発明を説明する。
【０１８２】
（プロジェクタシステムの構成）
図１９は、本実施例のプロジェクタシステムの概略構成図の一例である。
【０１８３】
図１９において、プロジェクタシステム５００は、プロジェクタ５１０及び外部手段５２０を有する。プロジェクタ５１０の基本的な構成は、実施例１乃至実施例３と同様のため、説明を省略する。
【０１８４】
プロジェクタ５１０は、本実施例では、通信手段５１１を有する。また、外部手段５２０は、同様に、通信手段５２１を有する。プロジェクタ５１０と外部手段５２０とは、通信手段５１１及び通信手段５２１により、相互に有線または無線で通信することができる。外部手段５２０は、クラウドコンピューティングなどを利用することができる。
【０１８５】
外部手段５２０は、撮像手段１２０を有する。外部手段５２０は、撮像手段１２０により撮像した画像に関するデータをプロジェクタ５１０に出力することができる。
【０１８６】
（撮像する動作）
投影対象物と近い位置に配置して使用するプロジェクタ（短焦点プロジェクタ、至近プロジェクタなど）においては、広角レンズ（画角の広いレンズ、焦点距離が短いレンズなど）を利用して、投影した画像を撮像する。この場合、撮像した画像のザイデル収差（球面収差、コマ収差、非点収差、像面湾曲、及び、歪曲収差など）を補正する必要がある。
【０１８７】
本実施例のプロジェクタシステム５００は、投影対象物と近い位置に配置して使用するプロジェクタにおいて、外部手段５２０の撮像手段１２０を利用することにより、ザイデル収差の補正を必要としないプロジェクタシステム（撮像手段）とすることができる。
【０１８８】
また、プロジェクタシステム５００は、外部手段５２０の撮像手段１２０を利用することで、プロジェクタ５１０を小型化、軽量化、及び、簡素化することができる。
【０１８９】
さらに、外部手段５２０は、ＰＣ等の撮像手段を利用することができる。プロジェクタ５１０を用いて発表等する場合では、発表時に使用するＰＣ等が撮像手段を有するものがある。外部手段５２０は、発表時に使用するＰＣ等が有する撮像手段とすることができる。
【符号の説明】
【０１９０】
１２０ ： 撮像手段
１３０ ： 測距手段
１４０ ： 平面推定手段
１５０ ： 補正情報算出手段
１６０ ： 位置移動判断手段
２１０ ： 投影手段
２３０ ： 投影用画像生成手段
１００ ： 画像処理装置
２００、３００、４００： プロジェクタ
５００ ： プロジェクタシステム
Ｐｒ ： プログラム
Ｍｄ ： 記録媒体
Ｄｐ ： パターン画像（ドットパターン）
Ｄｄ１： 第１の距離データ
Ｄｄ２： 第２の距離データ
【先行技術文献】
【特許文献】
【０１９１】
【特許文献１】特開２００５−２２９４１５号公報
【特許請求の範囲】
【請求項１】
画像が投影されている対象物を含む領域を撮像して、画像データを取得する撮像手段と、
前記画像データに基づき、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、
前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、
前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する補正情報算出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記撮像手段と前記対象物との位置に関する関係が変化したか否かを判断する位置移動判断手段を有し、
前記撮像手段は、所定の時間間隔で、前記領域を撮像して、複数の画像データを取得し、
前記測距手段は、前記複数の画像データから、前記所定の時間間隔に対応する複数の第１の距離データを算出し、
前記平面推定手段は、前記第１の距離データから、複数の平面を推定し、
前記位置移動判断手段は、前記複数の平面において、前記所定の時間間隔に対応する一の平面と他の平面とを比較することにより、前記撮像手段と前記対象物との位置に関する関係が変化したか否かを判断し、
前記補正情報算出手段は、前記位置移動判断手段が前記位置に関する関係が変化したと判断した場合に、変化した後の位置に関する関係に基づいて、前記補正に関する情報を算出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記投影する画像は、パターン画像を含み、
前記測距手段は、前記パターン画像を抽出し、前記パターン画像に対応する距離データを算出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記測距手段は、前記領域に対応する複数の第２の距離データを算出し、
前記平面推定手段は、前記第２の距離データに基づき、複数の法線ベクトルを算出し、前記法線ベクトルから前記平面を推定する、
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
請求項１乃至４のいずれか一項に記載の画像処理装置と、
前記補正に関する情報に基づき、投影する画像を補正する投影用画像生成手段と、
前記投影用画像生成手段が補正した前記投影する画像を投影する投影手段と、
を有する、
ことを特徴とするプロジェクタ。
【請求項６】
前記投影用画像生成手段は、無線または有線により、前記プロジェクタと通信することを特徴とする請求項５に記載のプロジェクタを有するプロジェクタシステム。
【請求項７】
撮像手段により、画像が投影されている対象物を含む領域を撮像して、画像データを取得する工程と、
前記画像データに基づき、前記撮像手段と前記対象物との離間距離に関する距離データを算出する工程と、
前記距離データから、前記対象物に対応する平面を推定する工程と、
前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する工程と、
を含むことを特徴とする画像処理方法。
【請求項８】
前記画像データを取得する工程は、所定の時間間隔で、前記領域を撮像して、複数の画像データを取得する工程を含み、
前記距離データを算出する工程は、前記複数の画像データから、前記所定の時間間隔に対応する複数の第１の距離データを算出する工程を含み、
前記平面を推定する工程は、前記第１の距離データから、前記所定の時間間隔に対応する複数の平面を推定する工程を含み、
前記複数の平面において、前記所定の時間間隔に対応する一の平面と他の平面とを比較することにより、前記撮像手段と前記対象物との位置に関する関係が変化したか否かを判断する工程と、
前記判断する工程において、前記位置に関する関係が変化したと判断した場合に、変化した後の位置に関する関係に基づいて、前記補正に関する情報を算出する工程と、
を有することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
請求項７または８に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像が投影されている対象物を含む領域を撮像して、画像データを取得する撮像手段と、
前記画像データに基づき、前記対象物と前記撮像手段との離間距離に関する距離データを算出する測距手段と、
前記距離データから、前記対象物に対応する平面を推定する平面推定手段と、
前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する補正情報算出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記撮像手段と前記対象物との位置に関する関係が変化したか否かを判断する位置移動判断手段を有し、
前記撮像手段は、所定の時間間隔で、前記領域を撮像して、複数の画像データを取得し、
前記測距手段は、前記複数の画像データから、前記所定の時間間隔に対応する複数の第１の距離データを算出し、
前記平面推定手段は、前記第１の距離データから、複数の平面を推定し、
前記位置移動判断手段は、前記複数の平面において、前記所定の時間間隔に対応する一の平面と他の平面とを比較することにより、前記撮像手段と前記対象物との位置に関する関係が変化したか否かを判断し、
前記補正情報算出手段は、前記位置移動判断手段が前記位置に関する関係が変化したと判断した場合に、変化した後の位置に関する関係に基づいて、前記補正に関する情報を算出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記投影する画像は、パターン画像を含み、
前記測距手段は、前記パターン画像を抽出し、前記パターン画像に対応する距離データを算出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記測距手段は、前記領域に対応する複数の第２の距離データを算出し、
前記平面推定手段は、前記第２の距離データに基づき、複数の法線ベクトルを算出し、前記法線ベクトルから前記平面を推定する、
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
請求項１乃至４のいずれか一項に記載の画像処理装置と、
前記補正に関する情報に基づき、投影する画像を補正する投影用画像生成手段と、
前記投影用画像生成手段が補正した前記投影する画像を投影する投影手段と、
を有する、
ことを特徴とするプロジェクタ。
【請求項６】
前記投影用画像生成手段は、無線または有線により、前記プロジェクタと通信することを特徴とする請求項５に記載のプロジェクタを有するプロジェクタシステム。
【請求項７】
撮像手段により、画像が投影されている対象物を含む領域を撮像して、画像データを取得する工程と、
前記画像データに基づき、前記撮像手段と前記対象物との離間距離に関する距離データを算出する工程と、
前記距離データから、前記対象物に対応する平面を推定する工程と、
前記距離データと前記平面に関する情報とに基づき、投影する画像の補正に関する情報を算出する工程と、
を含むことを特徴とする画像処理方法。
【請求項８】
前記画像データを取得する工程は、所定の時間間隔で、前記領域を撮像して、複数の画像データを取得する工程を含み、
前記距離データを算出する工程は、前記複数の画像データから、前記所定の時間間隔に対応する複数の第１の距離データを算出する工程を含み、
前記平面を推定する工程は、前記第１の距離データから、前記所定の時間間隔に対応する複数の平面を推定する工程を含み、
前記複数の平面において、前記所定の時間間隔に対応する一の平面と他の平面とを比較することにより、前記撮像手段と前記対象物との位置に関する関係が変化したか否かを判断する工程と、
前記判断する工程において、前記位置に関する関係が変化したと判断した場合に、変化した後の位置に関する関係に基づいて、前記補正に関する情報を算出する工程と、
を有することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
請求項７または８に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−４２４１１（Ｐ２０１３−４２４１１Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７８８０９（Ｐ２０１１−１７８８０９）
【出願日】平成２３年８月１８日（２０１１．８．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１８日（２０１１．８．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]