画像処理装置及び擬似立体画像生成装置
【課題】従来、屋外かつ遠距離においてパッシブ（受動的）な方法で被写体の表面の法線を抽出し視点変換などの擬似立体化する技術が存在しなかった。
【解決手段】カラー偏光画像取得部２０１、全天偏光マップ取得部２０２、天候判定部２０３、晴天時法線取得部２０４、曇天時法線取得部２０７、擬似立体化部２０８を有する構成により、屋外で天空の偏光状態を考慮して偏光情報を取得し２次元画像の被写体表面の面法線情報を推定して表面の法線画像を生成する。それを用いて被写体の領域分割を行い、３次元情報を抽出し視点変換画像を生成して擬似的な３次元の立体画像を生成する装置を提供する。
【解決手段】カラー偏光画像取得部２０１、全天偏光マップ取得部２０２、天候判定部２０３、晴天時法線取得部２０４、曇天時法線取得部２０７、擬似立体化部２０８を有する構成により、屋外で天空の偏光状態を考慮して偏光情報を取得し２次元画像の被写体表面の面法線情報を推定して表面の法線画像を生成する。それを用いて被写体の領域分割を行い、３次元情報を抽出し視点変換画像を生成して擬似的な３次元の立体画像を生成する装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および擬似立体画像生成装置に関する。特に、屋外などで撮影された通常の２次元の静止画または動画などの、奥行き情報が与えられていない画像（２次元画像）から、３次元形状を推定し、擬似的な立体画像を作成する擬似立体動画像生成装置に関する。
【背景技術】
【０００２】
２次元の静止画像に対して、任意視点変換を行うことによって擬似立体視による鑑賞を可能にするためには、通常の立体を表す奥行き情報を各種の方法で取得する必要がある。このためには、例えば特殊なレンジファインダや光源を動かすなどのいわゆるアクティブなセンシング系を用いればよいが、このような構成は一般の民生カメラに搭載しづらい。
【０００３】
そこで、撮影されたシーン画像からいろいろな仮定を使って立体構造を推定し、画像の合成や仮想的な視点移動を実現しようというアプローチが検討されている。このアプローチによれば、一般シーンから立体構造推定に必要な情報を確実に復元することは不可能であるが、ある程度の成功率で擬似立体化が実現されている。
【０００４】
特許文献１が開示する方法では、無限遠まで続く道路のような典型的な奥行きシーンを対象として、基本となる３種類のシーン構造モデルを合成することにより、２次元の写真画像に奥行きモデルを付与し、擬似立体化合成を行っている。
【０００５】
非特許文献１が開示する方法では、より汎用的な撮影シーンを対象とし、同様に１枚のカラー画像を入力として、その画素のカラー情報、画像微小領域でのテクスチャ情報、画像上での配置情報、被写体となる建物等の人工物の表面の平行線エッジからの消失点推定などを実施する。それらの情報から、シーンに移された空、地面、地面に垂直な壁などの面、草木などの凹凸面などの領域を識別する。そして、検出された地面と建物の面の法線情報から簡単な３次元立体化を行い、あたかも「飛び出す絵本」のように写真を立体化して任意視点からの画像を合成する。上記の推定は、典型的なシーン画像の学習により高精
度に実施できるとしている。
【０００６】
しかしながら、特許文献１の技術によれば、立体情報は画像から抽出されるものというよりは、基本パターンから選択されるものであり、その結果、対象となるシーンが限定される。このため、汎用性に欠け、実用性に乏しいといわざるをえない。一方、非特許文献１の技術では、画像からの情報抽出を実施しているが、以下に示す課題がある。
１）地表に対して傾斜した面の法線は、正しく推定できない。
２）長方形以外の側面では法線を正しく推定できない。
３）空や地面に近い色情報を有する面は、誤判定する。
【０００７】
これらの課題は、すべて、２次元画像から表面の法線を直接的には推定できないことに起因している。２次元画像からの面法線情報取得には、従来レーザレンジファインダを使うものや、ステレオ撮影を使って距離から求める技術等が知られている。しかし、屋外でかつ遠距離にある巨大な建物などを対象とした場合には、両方とも実用的とはいえない。
【０００８】
このような遠距離においてもパッシブ（受動的）な方法で面の法線を抽出する技術として、偏光情報を使うものがある。特許文献２の技術は、被写体の周囲３６０度を完全拡散照明で照明して、その画像の偏光情報を取得できるカメラにて撮影することにより被写体の形状を取得するものである。被写体の屈折率を既知とすれば、通常は測定が困難な透明物体などの形状を取得できる。
【０００９】
特許文献２の技術では、被写体が鏡面反射（Specular Reflection）物体であり、フレ
ネルの法則に従って反射光が偏光することと、被写体を完全に包含する面照明を当てて被写体の全面に鏡面反射を発生させることがポイントである。そして、レンジファインダあるいはステレオ計測のような距離を測定してそこから法線を推定する形状推定ではなく、距離を求めず直接的に表面の法線を求める点に特長がある。
【００１０】
日中の屋外環境は、被写体までの距離は極めて遠いが、空からの全周照明が存在し、しかも晴天であれば多くの被写体は鏡面反射を呈することが知られているため、本技術の状況と極めて類似している。
【００１１】
なお、２次元画像から擬似的な立体画像を形成する技術が非特許文献１に開示されている。また、空の偏光については非特許文献２や非特許文献３に報告があり、偏光イメージング装置の従来例が特許文献３に開示されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００６−１８６５１０号公報
【特許文献２】特開平１１−２１１４３３号公報
【特許文献３】特開２００７−８６７２０号公報
【非特許文献】
【００１３】
【非特許文献１】“Ａｕｔｏｍａｔｉｃ ｐｈｏｔｏ ｐｏｐ−ｕｐ”, Ｄｅｒｅｋ Ｈｏｉｅｍ ｅｔ．ａｌ，ＡＣＭ ＳＩＧＧＲＰＡＨ ２００５
【非特許文献２】“Ｐｏｌａｒｉｚａｔｉｏｎ Ａｎａｌｙｓｉｓ ｏｆ ｔｈｅ Ｓｋｙｌｉｇｈｔ Ｃａｕｓｅｄ ｂｙ Ｒａｙｌｅｉｇｈ Ｓｃａｔｔｅｒｉｎｇ ａｎｄ Ｓｕｎ Ｏｒｉｅｎｔａｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｆｉｓｈｅｙｅ−Ｌｅｎｓ Ｃａｍｅｒａ”、 Ｄａｉｓｕｋｅ Ｍｉｙａｚａｋｉ ｅｔ ａｌ、 電子情報通信学会パターン認識・メディア理解研究会、 Ｖｏｌ.１０８、 Ｎｏ.１９８、 ｐｐ.２５−３２、 ２００８
【非特許文献３】Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ Ｅｘｐｅｒｉｍｅｎｔａｌ Ｂｉｏｌｏｇｙ ２０４、 ２９３３−２９４２(２００１)
【発明の概要】
【発明が解決しようとする課題】
【００１４】
特許文献２の技術を屋外で適用する場合、以下の課題があった。
【００１５】
鏡面反射光の偏光情報から表面法線を推定する場合、照射する照明は全周照明であるだけではなく、非偏光（ランダム偏光）であることが必要である。このため特許文献２では、被写体を完全拡散球にて完全に覆い、その外部から照明を当てるという非常に特殊な装置を用いている。
【００１６】
一方、屋外環境の照明は、晴天の場合には太陽の直接光（平行光）と青空の面照明からなる。太陽光は非偏光であるが、青空は偏光している。このため、撮影に際して被写体が太陽の直接光を受けることを避ける通常のケースでは、青空からの偏光した全周照明を受けて鏡面反射していることになり、この場合、従来の技術が使えなくなる。
【課題を解決するための手段】
【００１７】
本発明の画像処理装置は、複数の画素の偏光情報を有する偏光画像を取得する偏光画像取得部と、前記偏光画像が有する偏光情報に基づいて、屋外に位置する被写体の表面の法線を推定する被写体法線推定部と、全天における位置と前記位置における偏光情報との関係を示す全天偏光マップを取得する全天偏光マップ取得部とを備え、前記被写体法線推定部は、前記全天偏光マップを用いて前記偏光情報から前記被写体の表面における鏡面反射光の偏光状態を求めることにより、前記被写体の表面の法線を推定する。
【００１８】
本発明の他の画像処理装置は、複数の画素の輝度情報を有する輝度画像および前記複数の画素の偏光情報を有する偏光画像を取得する画像取得部と、天候の状態を、曇天状態および晴天状態のいずれか一方であると判定する天候判定部と、前記偏光情報から屋外に位置する被写体の表面における鏡面反射光の偏光状態を求め、前記天候判定部によって決定された天候の状態に応じて異なる方法により、前記被写体の表面の法線を推定する被写体法線推定部とを備える。
【００１９】
好ましい実施形態において、前記画像取得部は、前記輝度画像を異なる複数の色について取得する。
【００２０】
好ましい実施形態において、前記天候判定部は、空の偏光度、または基準レベル以上の偏光度を有する領域の面積に基づいて天候の状態を決定する。
【００２１】
好ましい実施形態において、前記天候判定部は、天候の状態を、空の偏光度が所定の基準レベルよりも低い曇天状態および前記偏光度が前記基準レベル以上の晴天状態のいずれか一方であると判定する。
【００２２】
好ましい実施形態において、前記天候判定部は、空の一部に雲が存在する部分的晴天を晴天状態と判定する。
【００２３】
好ましい実施形態において、前記天候判定部は、天候の状態を示す情報を外部から取得して天候の状態を決定する。
【００２４】
好ましい実施形態において、全天における位置と前記位置における偏光状態との関係を示す全天偏光マップを取得する全天偏光マップ取得部を備え、前記天候判定部が天気の状
態を晴天状態と判定した場合は、前記全天偏光マップに用いて前記被写体の表面の法線を推定する。
【００２５】
好ましい実施形態において、鏡面反射偏光に基づく法線推定を実行する曇天時法線推定部と、幾何学に基づく法線推定および鏡面反射偏光に基づく法線推定を実行する晴天時法線推定部とを備え、前記晴天時法線推定部は、幾何学に基づく法線推定を行うとき、前記全天偏光マップが示す全天における位置と前記位置における偏光状態との関係を利用する。
【００２６】
好ましい実施形態において、前記全天偏光マップ取得部は、広角のレンズを用いて全天の偏光画像を取得する。
【００２７】
好ましい実施形態において、前記全天偏光マップ取得部は、前記全天偏光マップのデータを外部から取得する。
【００２８】
好ましい実施形態において、晴天時に前記画像から空領域を分離する晴天時空領域分離部と、曇天時に前記画像から空領域を分離する曇天時空領域分離部とを備え、前記天候判定部の出力に基づいて、晴天時空領域分離部および曇天時空領域分離部の動作または出力を選択的に切り替える。
【００２９】
好ましい実施形態において、前記画像取得部は、カラーモザイクフィルタを有する単板カラー撮像素子の同一複数色画素内に異なる角度の透過偏波面を有する複数偏光子を隣接配置したカラー偏光同時取得部と、前記取得した同一色ごとの複数の偏光子からの観測輝度を正弦関数に近似し、得られた近似パラメータをカラー間で平均化することにより統合された偏光情報を得る偏光情報処理部と、前記取得した複数の観測輝度から輝度の平均化によって平均カラー輝度を生成するカラー情報処理部とを有し、（ｉ）カラー画像、（ｉｉ）前記偏光情報に基づく偏光度画像および偏光位相画像を出力する。
【００３０】
好ましい実施形態において、（ｉ）光源の入射角が所定値よりも小さい場合には幾何学に基づく法線推定を採用し、（ｉｉ）光源の偏光度が所定値よりも小さい場合には鏡面反射偏光に基づく法線推定を採用する。
【００３１】
好ましい実施形態において、天候の状態が曇天と判定された場合、鏡面反射光の偏光位相と偏光度から法線を推定し、推定される法線のベクトルが視線ベクトルの周りに複数存在する場合、前記視線ベクトルを含む水平面よりも上向きのベクトルを持つ法線を選択し、推定される法線のベクトルが前記視線ベクトルと入射光線とを含む入射面内に複数存在する場合は、ブリュースター角より小さい入射角のベクトルを持つ法線を選択する。
【００３２】
本発明の擬似立体画像生成装置は、上記いずれかの画像処理装置によって推定された被写体の表面の法線に基づいて、前記表面法線に垂直な面を抽出する面抽出部と、前記面抽出部によって抽出された面に基づいて、視点変換を施すことにより別の視点でのシーン画像を生成する擬似立体化部とを有する。
【００３３】
好ましい実施形態において、前記擬似立体化部は、前記面抽出部によって抽出された面の頂点の世界座標を推定する。
【００３４】
本発明の画像処理方法は、屋外シーンの偏光画像を取得するステップと、全天偏光マップを取得するステップと、天候の状態を判定するステップとを含み、前記偏光画像から屋外の被写体の表面における鏡面反射光の偏光状態を検出して、天候の状態に応じて異なる方法により、前記被写体の表面の法線を推定するステップとを含む。
【００３５】
好ましい実施形態において、天候の状態が晴天と判定された場合、幾何学に基づく法線と鏡面反射偏光に基づく法線の２種類を用いて法線推定を実施する。
【００３６】
好ましい実施形態において、光源の入射角が小さい場合には幾何学に基づく法線推定の信頼度を増加し、光源の偏光度が小さい場合には鏡面反射偏光に基づく法線推定の信頼度を増加し、最終的に信頼度の高い法線を採用する。
【００３７】
好ましい実施形態において、天候の状態が曇天と判定された場合、鏡面反射光の偏光位相と偏光度から法線を推定し、推定される法線のベクトルが視線ベクトルの周りに複数存在する場合、前記視線ベクトルを含む水平面よりも上向きのベクトルを持つ法線を選択し、推定される法線のベクトルが前記視線ベクトルと入射光線とを含む入射面内に複数損座視する場合は、ブリュースター角より小さい入射角のベクトルを持つ法線を選択する。
【００３８】
本発明の擬似立体画像生成方法は、屋外シーンの偏光画像を取得するステップと、前記偏光画像が有する偏光情報に基づいて屋外に位置する被写体の表面の法線を推定するステップと、推定された被写体の表面の法線に基づいて、前記表面法線に垂直な面を抽出するステップと、視点変換を施すことにより別の視点でのシーン画像を生成するステップとを含む。
【００３９】
好ましい実施形態において、抽出された面の頂点の世界座標を推定するステップを含む。
【発明の効果】
【００４０】
本発明によれば、例えば、屋外でカメラから遠い位置にある巨大な建物の３次元形状を推定する場合など、従来のレンジファインダやステレオ視が無力となる場合でも天空の偏光情報を用いて被写体の表面法線を推定して３次元形状を推定できる。また、空、地面、壁面、屋根などの識別処理を行うことができる画像処理方法および装置を提供できる。さらに、本発明の画像処理を用いることにより、擬似的な立体化を実現できる擬似立体化装置を提供することもできる。
【図面の簡単な説明】
【００４１】
【図１Ａ】屋外に位置する被写体の鏡面反射を説明する図である。
【図１Ｂ】屋外に位置する被写体の鏡面反射を説明する他の図である。
【図１Ｃ】本発明にかかる画像処理装置の一実施形態の外観を示す図である。
【図２】本発明にかかる画像処理装置のブロック図である。
【図３】（Ａ）は、本発明の実施形態におけるカラー偏光画像取得部の構成を示すブロック図であり、（Ｂ）は、全天偏光マップ取得部の構成を示す図である。
【図４】（Ａ）は、カラー偏光同時取得部の構成を示す斜視図であり、（Ｂ）は、その撮像面の一部を光軸方向の真上から見た図であり、（Ｃ）は、図（Ｂ）の一部の拡大図である
【図５】（Ａ）から（Ｃ）は、それぞれ、Ｂ、Ｇ、Ｒ偏光画素の波長特性を模式的に示すグラフである。
【図６】方向が異なる偏光主軸を有する４種類の偏光子を透過した光の輝度を示す図である。
【図７】（Ａ）から（Ｃ）は、建物のシーンを撮影した場合のカラー偏光画像取得部で取得される３種類の画像の例を示す図である。
【図８】（Ａ）から（Ｃ）は、それぞれ、図７（Ａ）から（Ｃ）の画像を説明する模式図である。
【図９】（Ａ）および（Ｂ）は、全天偏光マップ取得部で取得される２種類の画像を示す図である。
【図１０Ａ】天候判定部の動作の一例を説明するフローチャートである。
【図１０Ｂ】天候判定部の動作の他の例を説明するフローチャートである。
【図１１】晴天空領域分離部を説明するブロック図である。
【図１２】（Ａ）から（Ｈ）は、偏光と輝度を用いた実際のシーンでの空領域分離結果を示す図（成功例）である。
【図１３】（Ａ）から（Ｆ）は、偏光と輝度を用いた実際のシーンでの空領域分離結果を示す図（失敗例）である。
【図１４】（Ａ）から（Ｄ）は、色相と輝度を用いた実際のシーンでの空領域分離結果を示す図（成功例）である。
【図１５】曇天空領域分離部の構成を示すブロック図である。
【図１６】晴天あるいは曇天の場合の空領域が分離された後のシーン画像を示す模式図である。
【図１７】（Ａ）および（Ｂ）は、晴天時と曇天時の被写体での鏡面反射現象の偏光現象の違いを説明する図である。
【図１８】鏡面反射のフレネル反射率を入射角との関係で示すグラフである。
【図１９】晴天時法線推定部を実施するためのフローチャートである。
【図２０Ａ】幾何学に基づく法線推定を実施する際の偏光位相を示す図である。
【図２０Ｂ】被写体レンズで撮影された被写体イメージを示す図である。
【図２０Ｃ】天空を撮影する広角レンズで撮影された天空イメージを示す図である。
【図２１】幾何学に基づく法線を計算する処理を説明する図である。
【図２２】幾何学に基づく法線および信頼度の図である。
【図２３】鏡面反射偏光に基づく法線推定を実施する際の偏光位相を示す図である。
【図２４】入射角αと偏光度ρの関係式を説明するグラフである。
【図２５】鏡面反射偏光に基づく法線および信頼度の図である。
【図２６】信頼度の評価を行った結果の法線推定結果の図である。
【図２７】曇天時の法線推定を実施するためのフローチャートである。
【図２８】擬似立体化部の処理の流れを示すフローチャートである。
【図２９】世界座標系とカメラ座標系の関係を示す図である。
【図３０】視点変換による擬似立体化の効果を示す図である。
【図３１】本発明による画像処理装置の他の実施形態を示すブロック図である。
【図３２】本発明による画像処理装置の更に他の実施形態を示すブロック図である。
【図３３】本発明の第２の実施形態にかかる画像処理装置のブロック図である。
【図３４】本発明の第２の実施形態におけるモノクロ偏光画像取得部の構成を示すブロック図である。
【図３５】本発明の第２の実施形態における晴天空領域分離部を説明するブロック図である。
【図３６】本発明の第２の実施形態における曇天空領域分離部を説明するブロック図である。
【図３７】曇天空領域分離部３３０４の構成を示すブロック図である。
【発明を実施するための形態】
【００４２】
屋外において、偏光現象は、ほとんどの場合、鏡面反射（Specular Reflection）によ
ってのみ発生することが知られている。本発明では、屋外に位置する被写体が空からの照明を受けているときに被写体の表面で生じる鏡面反射光の偏光状態を利用して被写体の表面法線を推定する。ただし、晴天の場合と曇天の場合で空の偏光状態が異なるので、好ましい実施形態では、両者を分けて処理を実施する。
【００４３】
図１Ａは、天空の或る位置１０３ａから、屋外の被写体(例えば「家屋」）１６００の
表面における或る位置１６００ａに入射した光が、鏡面反射により、方向を変えてカメラ
１００に入射する様子を模式的に示している。被写体１６００の表面における位置１６００ａの法線Ｎは、その位置１６００ａから天空の位置１０３ａに向くベクトルＬとカメラ１００の視線ベクトルＶとを２等分するベクトルである。したがって、図１Ａに示すように、光の入射角をθとすると、出射角もθに等しい。
【００４４】
図１Ｂは、天空の他の位置１０３ｂから、屋外の被写体１６００の表面における他の位置１６００ｂに入射した光が、鏡面反射により、方向を変えてカメラ１００に入射する様子を模式的に示している。このように、被写体の表面における位置に応じて法線Ｎは変化し、カメラに入射した光を発した天空の位置（１０３ａ、１０３ｂ）も変化する。
【００４５】
なお、図１Ａおよび図１Ｂに示す例において、法線Ｎは図面（紙面）に平行であるが、被写体表面の形状や位置によって、法線Ｎは変化するため、当然に法線Ｎが図面には平行ではない場合もある。法線Ｎを求めるためには、図１Ａに示す角度θだけではなく、カメラの視線ベクトルＶの周りの回転角度ψを決定する必要がある。
【００４６】
晴天の場合、空は偏光しているため、特許文献２に記載されている方法、すなわち、被写体の表面で生じる鏡面反射の偏光を利用して被写体の表面法線を推定することができない。しかしながら、晴天時には、被写体の表面で鏡面反射が生じることにより、完全鏡面となる条件では、天空の特定位置における偏光状態が被写体の一部ではそのまま映し出されることになる。例えば、図１Ｂに示す例では、天空の位置１０３ｂにおける空の偏光状態が、被写体１６００の表面における位置１６００ｂに映し出されることになる。したがって、別途取得される全天偏光マップ上の偏光情報と偏光画像に現れる偏光情報との対応関係を利用すれば、カメラに入射した光が天空のどの位置から発せられたものかを特定することができる。そして、その位置がわかると、図１Ａ、１Ｂに示すように、被写体表面の法線Ｎを幾何学的に決定することができる。
【００４７】
ここで晴天であるが部分的には雲がかかっている「部分的晴天」について説明する。本発明の好ましい実施形態においては、このような部分的な晴天状態はすべて「晴天」として取り扱う。このような取り扱いを行う場合、曇天を前提とした鏡面反射偏光に基づく法線の信頼度と、晴天を前提とした幾何学に基づく法線のいずれを採用するかを、信頼度により決定する。
【００４８】
全天が均一な雲に覆われた完全曇天の場合、天空を非偏光の照明（半球状の照明）とみなすことができる。このため、完全曇天の場合は、特許文献２に記された方法と同様の方法により、被写体表面の法線を推定することが可能である。
【００４９】
本発明によれば、屋外に位置する被写体から取得した偏光情報に基づいて、２次元画像における被写体表面の法線を推定することができる。更に、こうして推定された法線の情報を用いることにより、２次元画像から３次元情報（奥行き情報）を抽出して、擬似的な３次元の立体画像を生成することも可能になる。
【００５０】
なお、本発明は、画像処理方法や擬似立体画像生成方法として実現されるだけでなく、処理の各ステップを実行する各種手段を備えた画像生成装置や、各ステップをコンピュータに実行させるプログラム、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等として実現することもできる。
【００５１】
本発明の画像処理装置は、偏光画像を取得する偏光画像取得部と、偏光画像から得られる前記偏光情報に基づいて、屋外に位置する被写体の表面の法線を推定する被写体法線推定部とを有している。
【００５２】
なお、本明細書における「偏光画像」とは、被写体を含む２次元画像における複数の画素の偏光情報を有する画像である。すなわち、偏光画像は、その画像を構成する複数の画素の各々が、その画素の偏光情報を表示することによって構成される画像を意味するものとする。偏光情報は、偏光度および偏光位相（偏光角度）を含む。したがって、「偏光画像」とは、特別に限定しない限り、個々の画素の偏光度を２次元的に表示した「偏光度画像」、および、個々の画素の偏光位相を２次元的に表示した「偏光位相画像」を総称したものである。各画素の偏光度および偏光位相の大きさ（数値）は、その画素における明度または色相によって表現され得る。本願の図面では、明度の高低によって偏光度や偏光位相の大きさを表現している。
【００５３】
また、本明細書における「画像」は、必ずしも人間の視覚によって認識されるように画素が２次元的に配列されて表示された状態にある場合に限られない。すなわち、画像を構成する個々の画素に関する輝度、偏光度、偏光位相などの情報（数値）の配列（画像データ）を、「画像」の用語を用いて表現する場合もある。
【００５４】
本発明の画像処理装置は、このような偏光画像から得られる偏光情報に基づいて、屋外に位置する被写体の表面法線を推定する被写体法線推定部を備えている。
【００５５】
好ましい実施形態において、この画像処理装置は、全天における位置と前記位置における偏光情報との関係を示す全天偏光マップを取得する全天偏光マップ取得部を備え、全天偏光マップに基づいて被写体の表面の法線を推定する。
【００５６】
本発明による画像処理装置は、天候の状態を、偏光度が基準レベルよりも低い曇天状態および偏光度が前記基準レベル以上の晴天状態のいずれか一方であると判定する天候判定部を備えていていることが好ましく、屋外に位置する被写体の表面における鏡面反射光の偏光状態を測定し、天候判定部によって決定された天候の状態に応じて異なる方法により、被写体の表面の法線を推定する。
【００５７】
以下、本発明の実施の形態について、図面を用いて説明する。
【００５８】
（実施の形態１）
まず、本発明による画像処理装置の第１の実施形態を説明する。
【００５９】
本実施形態は、カメラの形態を有する画像処理装置であり、図１Ｃに示す外観構成を有している。図１Ｃの画像処理装置（カメラ１００）は、被写体の偏光画像およびカラー画像の情報を撮影によって取得する被写体レンズ部１０１と、カメラ天頂に設置され、天空の偏光画像情報を撮影によって取得する広角レンズ部１０２と、水準器などの水平指示装置１０３とを備えている。被写体の撮像は、カメラ１００を水平に維持しつつ、水平指示装置１０３が水平方向を向き、広角レンズ部１０２が垂直上を向いて行われるものとする。
【００６０】
次に、図２を参照して本実施形態の構成を更に詳細に説明する。図２は、本実施形態の画像処理装置における機能ブロック図である。
【００６１】
図２の画像処理装置は、カラー偏光画像取得部２０１および全天偏光マップ取得部２０２を含む偏光情報取得部２００を備えている。
【００６２】
カラー偏光画像取得部２０１は、図１Ｃのレンズ部１０１を通して、被写体の偏光度画像ρ、偏光位相画像φ、カラー画像Ｃの情報を取得する。全天偏光マップ取得部２０２は、カメラ天頂に設置され、図１Ｃの広角レンズ部１０２を通して天空の偏光画像情報を取
得する。ここで、「全天偏光マップ」は、全天における複数の位置（点）における空の偏光情報を示すマップである。
【００６３】
本実施形態の画像処理装置は、更に、法線推定部２１０と擬似立体化部２０８とを備えており、法線推定部２１０は、天候判定部２０３、晴天空領域分離部２０４、曇天空領域分離部２０５、晴天時法線部推定部２０６、および曇天時法線推定部２０７を含んでいる。
【００６４】
本実施形態では、屋外に位置する被写体の表面における鏡面反射光の偏光状態を測定し、天候の状態に応じて異なる方法により、被写体の表面の法線を推定する。天候判定部２０３は、空の偏光度に基づいて天候の状態を決定する手段であり、シーン撮影時の天候が晴天か曇天かを判定する。具体的には、空の偏光度が基準レベルよりも低い場合に「曇天状態」と判定し、偏光度が基準レベル以上の場合に「晴天状態」と判定する。
【００６５】
本実施形態では、屋外に位置する被写体の表面における鏡面反射光の偏光状態を測定し、天候の状態に応じて異なる方法により、被写体の表面の法線を推定する。天候判定部２０３は、空の偏光度に基づいて天候の状態を決定する手段であり、シーン撮影時の天候が晴天か曇天かを判定する。具体的には、ある例では、空の偏光度が基準レベルよりも低い場合に「曇天状態」と判定し、偏光度が基準レベル以上の場合に「晴天状態」と判定する。他の例では、空の偏光度が基準レベルよりも低い領域が全天の一定面積以上を占める場合に、「曇天状態」と判定し、それ以外の場合に「晴天状態」と判定する。本発明における「曇天状態」は、全天が雲に覆われた完全な曇天状態とみなせる状態である。したがって、「晴天状態」は、空の一部に雲が存在していている状態を含む。
【００６６】
晴天空領域分離部２０４は、ρ、φ、Ｃを入力として、晴天の場合に空領域と被写体領域を画像内から分離し、空領域を分離した晴天時被写体偏光度画像ρｆｏ、晴天時被写体偏光位相画像φｆｏを出力する。一方、曇天空領域分離部２０５は、曇天の場合に空領域と被写体領域を画像内から分離し、同様に空領域を分離した曇天時被写体偏光度画像ρｃｏ、曇天時被写体偏光位相画像φｃｏを生成する。
【００６７】
晴天時法線推定部２０６は、晴天時に全天偏光マップを用いて偏光度画像と偏光位相画像の情報から法線画像Ｎを推定する。また、曇天時法線推定部２０７は、曇天の場合に偏光度画像と偏光位相画像の情報から法線画像Ｎを取得推定する。
【００６８】
擬似立体化部２０８は、得られた晴天、曇天いずれかの法線画像Ｎを用いてカラー画像Ｃの擬似立体化を行う。
【００６９】
図３（Ａ）は、偏光情報取得部２００の内部構成、すなわちカラー偏光画像取得部２０１及び全天偏光マップ取得部２０２の構成を示すブロック図である。図に示すように、本実施形態における偏光情報取得部２００は、被写体を撮像する被写体レンズ部１０１、カメラの直上部に上向きに設置した広角レンズ部１０２、可動式反射板３０３、稼動機構３０４、カラー偏光撮像素子（カラー偏光取得部）３０５、偏光情報処理部３０６、およびカラー情報処理部３０７を有する。
【００７０】
図３（Ａ）に示す状態では、広角レンズ部１０２を通過した天空からの光３１０が可動式反射板３０３で反射されてカラー偏光撮像素子３０５に到達する。このため、撮像時には、カラー偏光撮像素子３０５は全天を撮像することができる。広範な空領域は、例えば魚眼カメラを用いて撮像可能であり、空（全天）の偏光状態を観測することができる。
【００７１】
偏光情報処理部３０６は、カラー偏光撮像素子３０５の出力に基づいて、空の偏光状態
を示す全天偏光マップを取得する。なお、全天偏光マップを取得する方法の詳細は、非特許文献２に記載されている。非特許文献２では、天頂を向けたデジタルスチルカメラにＦ３．５焦点距離８ｍｍの魚眼レンズを設置し、その先端に偏光板を設置している。偏光板の偏光透過軸を０度、４５度、９０度に手動で回転して全天の１３０度にわたる空の偏光パターンを取得している。本実施の形態も、基本的には同一の処理をしているが、回転する偏光板を使わず偏光撮像素子を使うため、リアルタイムでの偏光マップが取得できる。このため、偏光板が回転している間の雲の移動などに起因するアーティファクトが無い点で優れている。
【００７２】
次に、稼動機構３０４が反射板３０３を上方（矢印３１２）に回転移動させると、図３(Ｂ)に示すように、被写体レンズ部１０１からの光３１１がカラー偏光撮像素子３０５に入る。こうして、被写体が撮像されると、偏光情報処理部３０６とカラー情報処理部３０７とが動作する。被写体の撮像および全空の撮像の順序は、逆でも可能である。
【００７３】
以下、カラー偏光画像取得部２０１の動作として被写体撮像を例にとって処理を説明する。全天偏光マップ取得部２０２の動作も同様であり、偏光処理に関する部分のみが存在する。
【００７４】
屋外において、シーン画像およびシーン偏光画像は、同時に、または短い時間間隔で取得することが好ましい。風による雲の動きなども存在するため、リアルタイム取得が望ましい。偏光画像取得に際して、偏光板を回転させて複数画像を撮影する技術は、屋外利用では非実用的である。そこでリアルタイム偏光カメラが必須となる。
【００７５】
モノクロ画像と偏光画像を同時にリアルタイム取得する技術は、特許文献３に開示されている。この技術によれば、輝度画像と被写体の部分偏光の画像とを同時に取得するために、複数の異なる偏光主軸（偏光透過軸）を有するパターン化偏光子を撮像素子に空間的に配置する。パターン化偏光子としては、フォトニック結晶や構造複屈折波長板アレイが利用されている。しかしながら、これらの技術ではカラー画像と偏光画像とがやはり同時に取得できなかった。
【００７６】
これに対して、図３（Ａ）の構成では、被写体に対してからリアルタイムにカラー画像を取得すると同時に偏光画像を取得し、２種類の偏光画像（偏光度画像ρ及び偏光位相画像φ）として出力する。
【００７７】
入射光は、カラー偏光撮像素子３０５に入射する。この入射光から、カラー偏光撮像素子３０５はカラー動画像情報および偏光画像情報の両方をリアルタイムに取得することができる。カラー偏光撮像素子３０５からは、カラー動画像情報および偏光画像情報を示す信号が出力され、それぞれ、偏光情報処理部３０６およびカラー情報処理部３０７に与えられる。偏光情報処理部３０６およびカラー情報処理部３０７は、上記信号に対して各種の処理を施し、カラー画像Ｃ、偏光度画像ρ、偏光位相画像φを出力する。
【００７８】
図４（Ａ）は、カラー偏光撮像素子３０５の基本的な構成を示す模式図である。図示されている例では、カラーフィルタおよびパターン化偏光子が、撮像素子画素の前面に重ねて設置されている。入射光は、カラーフィルタおよびパターン化偏光子を透過して撮像素子に到達し、撮像素子画素によって輝度が観測される。このように本実施形態によれば、カラーモザイク型の単板カラー撮像素子を用いてカラー画像情報および偏光画像情報の両方を同時に取得することができる。
【００７９】
図４（Ｂ）は、カラー偏光撮像素子３０５における撮像面の一部を光軸方向の真上から見た図である。図には、簡単のため、撮像面のうち、１６個の画素（４×４）のみが図示
されている。図示されている４つの矩形領域４０１〜４０４は、それぞれ、４個の画素セル上に設置されたベイヤ型カラーモザイクフィルタの対応部分を示している。矩形領域４０４は、Ｂ（ブルー）フィルタ領域であり、画素セルＢ１〜Ｂ４をカバーしている。画素セルＢ１〜Ｂ４には、それぞれ異なる偏光主軸を有するＢ（ブルー）用パターン化偏光子を密着している。ここで、「偏光主軸」とは、偏光子を透過する光の偏波面（透過偏波面）に平行な軸である。本実施形態では、同一色の画素内において異なる角度の透過偏波面を有する偏光子単位（微小偏光板）が隣接して配置されている。より詳細には、透過偏波面の方向が相互に異なる４種類の偏光子単位がＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各同一色の画素群に配置されている。１つの偏光子単位は、１つの微細な偏光画素に対応している。図では、個々の偏光画素に対して、Ｇ１などの符合が与えられている。
【００８０】
図４（Ｃ）は、Ｂ（ブルー）用パターン化偏光子が密着する４つの微細偏光画素に割り当てられる偏光主軸を示している。図４（Ｂ）において、各微細偏光画素に記載された直線は、微小偏光板の偏光主軸方向を模式的に示している。図の例では、４つの微細偏光画素が、それぞれ、角度Ψｉ＝０°、４５°、９０°、１３５°の偏光主軸を有している。
【００８１】
矩形領域４０２、４０３の画素には、それぞれ、４個のＧ（グリーン）用パターン化偏光子が密着し、矩形領域４０１の画素には、４個のＲ（レッド）用パターン化偏光子が密着している。図中、参照符号「４０５」で示される位置は、本撮像系における４画素を一括した仮想的な画素位置を示している。各矩形領域４０１〜４０３のパターン化偏光子も図に示すように異なる４つの偏光主軸を有する部分に分割されている。
【００８２】
このように本実施形態では、各カラー画素に対して、異なる偏光主軸を有する複数の微細偏光画素が包含される点に特徴を有しており、カラーモザイク配列自体は任意である。以下の説明では、個々の微細偏光画素を「偏光画素」と称することとする。
【００８３】
図５（Ａ）から（Ｃ）は、それぞれ、Ｂ（ブルー）、Ｇ（グリーン）、Ｒ（レッド）偏光画素の波長特性を模式的に示すグラフである。各グラフの縦軸は透過光の強度、横軸は波長である。Ｂ、Ｇ、Ｒ用の偏光画素は、Ｂ、Ｇ、Ｒの各波長帯域においてＴＭ波（Ｔｒａｎｓｖｅｒｓｅ Ｍａｇｎｅｔｉｃ Ｗａｖｅ）を透過し、ＴＥ波（Ｔｒａｎｓｖｅｒｓｅ Ｅｌｅｃｔｒｉｃ Ｗａｖｅ）を反射（透過せず）する偏光特性を有している。ＴＭ波は、磁場成分が入射面に対して横向きの波であり、ＴＥ波は、電場成分が入射面に対して横向きの波である。
【００８４】
図５（Ａ）には、Ｂ（ブルー）偏光画像の偏光特性５０２、５０３と、Ｂ（ブルー）用カラーフィルタの透過特性５０１とが示されている。偏光特性５０２、５０３は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。
【００８５】
図５（Ｂ）には、Ｇ偏光画像の偏光特性５０５、５０６と、Ｇ用のカラーフィルタの透過特性５０４とが示されている。偏光特性５０５、５０６は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。
【００８６】
図５（Ｃ）には、Ｒ偏光画像の偏光特性５０８、５０９と、Ｒ用カラーフィルタの透過特性５０７とが示されている。偏光特性５０８、５０９は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。
【００８７】
図５（Ａ）から（Ｃ）に示すような特性は、例えば特許文献３に記載されたフォトニック結晶を用いて実現することができる。フォトニック結晶の場合、その表面に形成された溝に平行な電場ベクトル振動面を持つ光がＴＥ波、垂直な磁場ベクトル振動面を持つ光がＴＭ波となる。
【００８８】
本実施形態で重要な点は、図５（Ａ）から（Ｃ）に示すように、Ｂ、Ｇ、Ｒの透過波長帯域の各々において偏光分離特性を示すパターン化偏光子を用いることにある。
【００８９】
モノクロ輝度と偏光フィルタとを使用する場合には、偏光分離特性を示す波長域の最適化は不要であったが、カラーの画素ごとに偏光情報を取得する場合は、カラーの分離特性と偏光の分離特性と整合させる必要がある。
【００９０】
本明細書では、偏光画素における偏光主軸の方位を表示する４つの数字「１、２、３、４」と、カラーを区別するため３つの符号「Ｒ、Ｇ、Ｂ」の組合せ（例えば「Ｒ１」や「Ｇ１」など）を用いて、偏光画素の特性を示すこととする。偏光画素Ｒ１および偏光画素Ｇ１は、数字が同じであるため、偏光主軸の方向は一致しているが、ＲＧＢ符合が異なるため、透過する光の波長帯域が異なる偏光画素に相当している。本実施形態では、このような偏光画素の配列を、図４（Ａ）に示すカラーフィルタおよびパターン化偏光子の組合せによって実現している。
【００９１】
次に図６を用いて図３の偏光情報処理部３０６の処理を説明する。図６は、方向が異なる偏光主軸（Ψｉ＝０°、４５°、９０°、１３５°）を有する４種類の偏光子を透過した光の輝度６０１〜６０４を示している。ここで、偏光主軸の回転角ψがψｉの時における観測輝度をＩｉとする。ただし、「ｉ」は、１以上Ｎ以下の整数、「Ｎ」はサンプル数とする、図６に示す例では、Ｎ＝４であるため、ｉ＝１、２、３、４となる。図６には、４画素のサンプル（ψｉ，Ｉｉ）に対応する輝度６０１〜６０４が示されている。
【００９２】
偏光主軸の角度Ψｉと輝度６０１〜６０４との関係は、正弦関数カーブによって表現される。図６では、輝度６０１〜６０４の４点が１本の正弦関数カーブ上に位置するように記載されているが、より多くの観測輝度に基づいて正弦関数カーブを決定した場合、観測輝度の一部が正弦関数カーブ上から僅かに外れる場合もあり得る。
【００９３】
なお、本明細書における「偏光情報」とは、輝度の偏光主軸角度に対する依存性を示す正弦関数カーブにおける振幅変調度および位相情報を意味するものとする。
【００９４】
実際の処理では、図４（Ａ）に示す同一カラー領域４０１〜４０４ごとに内部の４個の画素輝度値をサンプルとして、パターン化偏光子の主軸角ψに対する反射光輝度Ｉを以下のように近似する。
【数１】
ここで図６に示すようにＡ、Ｂ、Ｃは定数であり、それぞれ、偏光輝度の変動カーブの振幅、位相、平均値を表現している。（式１）は、以下のように展開できる。
【数２】
ただし、ＡおよびＢは、それぞれ、以下の（式３）および（式４）で示される。
【数３】
【数４】
【００９５】
以下の（式５）を最小にするＡ、Ｂ、Ｃを求めれば、輝度Ｉと偏光主軸角Ψとの関係を（式１）の正弦関数によって近似できる。
【数５】
【００９６】
以上の処理で１つのカラーについて正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。こうして、偏光度ρを示す偏光度画像と偏光位相φを示す偏光位相画像が求められる。偏光度ρは、該当画素の光が偏光している程度を表し、偏光位相φは、該当画素の光の部分偏光の主軸角度の直交方向、すなわち偏光の正弦関数輝度が最小値をとる位相を表している。フレネル反射理論によれば、これは鏡面反射に被写体表面の法線が包含される面（入射面）となる。なお、偏光の主軸角度は０と１８０°（π）は同一である。値ρおよびφ（０≦φ≦π）は、それぞれ、以下の（式６）および（式７）によって算出される。
【数６】
【数７】
【００９７】
なお、本実施形態のパターン化偏光子は、フォトニック結晶、フィルム型の偏光素子、ワイヤーグリッド型、その他の原理による偏光素子であってもよい。
【００９８】
次に図３における示すカラー情報処理部３０７の処理を説明する。カラー情報処理部３０７は、カラー偏光撮像素子３０５から出力される情報を用いて、カラー輝度を計算する。偏光子を透過した光の輝度は、偏光子に入射する前の光が有する本来の輝度とは異なる。非偏光照明の場合、理論的には、偏光のすべての偏光主軸における観測輝度を平均化した値が偏光子に入射する前の光が有する本来の輝度に相当する。角度偏光画素Ｒ１の画素における観測輝度をＩＲ１と表現すると、以下の（式８）に基づいて、カラー輝度を算出することができる。
【数８】
【００９９】
各偏光画素における輝度を得ることにより、通常のカラーモザイク画像を生成できる。モザイク画像に基づいて各画素でＲＧＢ画素値を有するカラー画像へ変換することにより、カラー画像Ｃが生成される。このような変換は、例えばベイヤーモザイクの補間方法などの公知の補間技術を用いて実現される。
【０１００】
カラー画像Ｃ、偏光度画像ρ、偏光位相画像φの各々における各画素の輝度および偏光情報は、図４（Ｂ）に示す４つの偏光画素を用いて得られる。そのため、個々の輝度および偏光情報は、図４（Ｂ）に示す４つの偏光画素の中心に位置する仮想画素点４０５における値の代表を示していると考えることができる。従って、カラー画像および偏光画像の解像度は本来のカラー単板撮像素子の有する解像度の縦１／２×横１／２に低下する。このため撮像素子画素数はできるだけ大きいことが望ましい。
【０１０１】
図７（Ａ）〜（Ｃ）は、遠方の建物のシーンを撮影した場合にカラー偏光画像取得部２０１で取得される３種類の画像（偏光度画像ρ、偏光位相画像φ、カラー画像Ｃ）である。図７（Ａ）の偏光度画像ρは、偏光の強度を表現しており、白い（明度が高い）ほど、偏光度が高い。図７（Ｂ）φの偏光位相画像は、偏光位相の向きを（角度）を値にて表現している。偏光位相は０から１８０度までの値を輝度に割り当てて表現されている。偏光位相には、１８０度を一周期とする周期性があるため、偏光画像上の白と黒は、位相の角度としては０度および１８０度で連続していることに注意する。図７（Ｃ）のカラー画像Ｃは、通常のＲＧＢカラーの輝度画像である。現実には、ＲＧＢの各々について輝度画像が得られ、それらを合成することにより１つのカラー画像が構成される。図７（Ｃ）では、便宜上、カラー画像の輝度のみ（モノクロ画像）が示されている。
【０１０２】
図７（Ａ）〜（Ｃ）は、いずれも、丸い外周を有しているが、これは画角を規定する開口部が円形を有していたためである。なお、これらの図から判るように、以降の処理の前提として、シーンの撮影は水平線を画面内でも水平に撮影しているものとする。
【０１０３】
図８（Ａ）〜（Ｃ）は、同じようなシーン画像の模式図である。図８（Ａ）の偏光度画像ρでは、屋根部分８０１の白い部分が最も偏光度が高いことが示されている。図８（Ｂ）の偏光位相画像φでは、偏光の位相角が偏光位相ベクトル表現８０３で表現されている。図８（Ｃ）のカラー画像Ｃは、カラー輝度値を示す。
【０１０４】
図９（Ａ）および（Ｂ）は、撮影時に全天偏光マップ取得部２０２で取得される２種類の画像（偏光度マップおよび偏光位相マップ）を模式的に表現している。図９（Ａ）の全天偏光度マップは、全天の偏光度を表現する全天画像である。中心点９０１が天頂を、周辺の円周９０２が地平線を、周辺に連続する被写体９０３が撮影被写体を、点線９０５が太陽９０４の周辺に広がる偏光度の低い空領域をそれぞれ表している。点線領域９０６は、被写体を撮影する場合の撮影範囲を示す。
【０１０５】
一方、図９（Ｂ）の偏光位相画像における曲線群９０５〜９１２は、偏光位相ベクトル表現８０３を各画素において有している。この全天の偏光位相画像の位置関係は、図９（Ａ）と同じである。偏光位相ベクトルの角度は、撮影範囲９０６に含まれるローカルな水平線９０２に対する角度で一意的に定義される。このため、前述の図８（Ｂ）の偏光位相ベクトル表現と、図９（Ｂ）における偏光位相ベクトル表現との間で、偏光位相の角度を比較することができる。これは、後で偏光位相の探索で重要になる性質である。
【０１０６】
図９（Ａ）の偏光度画像では、点線９０５で示される領域、すなわち、太陽９０４およびその周囲の領域で偏光度が低く、地平線付近で偏光度が高くなっている。すなわち、全天で偏光度は均一でない。これは、晴天の昼間の典型的な状況である。空の変更度は太陽高度により変化するが、不均一なパターンを呈する事実は変わらない。つまり、晴天時における天空の照明は、非偏光の領域と様々な偏光の領域とが全天に分布した光源として機能する。したがって、図９（Ａ）および（Ｂ）に示されるような「全天偏光マップ」があれば、全天における位置を特定することにより、その位置（光源位置）から被写体を照射
する光（照明光）の偏光度および偏光位相がわかる。そして、地上の被写体が鏡面反射を起こしているとき、その鏡面反射によってカメラの観測視点に入射する光は、カメラの観測視点と被写体位置とによって幾何学的に決定される天空上の光源位置から来た光である。すなわち、カメラの観測視点と被写体位置とによって幾何学的に決定される天空上の光源位置での偏光状態の光のみが、被写体位置に入射して鏡面反射を起こしている。
【０１０７】
全天偏光マップの偏光度は、曇天の場合、全体的に著しく低下する。これは、晴天の偏光を発生させる晴天の青空の酸素分子等によるレイリー散乱が、曇天時には水蒸気などによるミー散乱などに変化するためである。その結果、曇天では、雲の下に青空領域が相当存在する場合を除き、全天でほぼ同一の非常に低い偏光状態となる。
【０１０８】
図１０Ａは、図２の天候判定部２０３の動作の一例を示すフローチャートである。
【０１０９】
このフローでは、全天偏光マップの偏光度情報の平均値ρａｖｅが閾値ρｗよりも高い場合、天候が晴天である判定し、低い場合には曇天と判定している。シーンのある画角での撮影画像ではなく、全天を観測するため、天候の判定はより確実になる。ρ、φ、Ｃの各画像について行う晴天か曇天かの判定結果を晴天空領域分離部２０４と曇天空領域分離部２０５に送る。
【０１１０】
図１０Ｂは、図２の天候判定部２０３の動作の他の例を示すフローチャートである。
【０１１１】
このフローでは、まず、全天偏光マップの偏光度情報の平均値ａｖｅ、および標準偏差値σを求める。また、上記の全天偏光マップにおいて、偏光度ρがａｖｅ±３σとなる面積Ｓを計算する。そして、偏光度情報の平均値ａｖｅおよび標準偏差値σが閾値ＡＶ、ＳＴよりも低いか否かを判定する。
【０１１２】
偏光度情報の平均値ａｖｅおよび標準偏差値σがともに閾値ＡＶ、ＳＴよりも低く、かつ、偏光度ρがａｖｅ±３σとなる面積Ｓが一定値ＡＴよりも小さい場合に（完全）曇天状態と判定する。それ以外の場合、晴天であると判定している。
【０１１３】
この判定方法では、曇天の判定がより厳しくなっている。曇天と判断された場合は、全天がほぼ完全に雲に覆われ均一な明るさになり、従来の技術における完全拡散球に覆われているのとほぼ同一な状態となる。シーンのある画角での撮影画像ではなく、全天を観測するため、天候の判定は、より確実になる。ρ、φ、Ｃの各画像について行う晴天か曇天かの判定結果を、晴天空領域分離部２０４と曇天空領域分離部２０５に送る。
【０１１４】
次に、図２の晴天空領域分離部２０４と曇天空領域分離部２０５とを説明する。
【０１１５】
２種類の空領域分離部２０４、２０５は、シーン画像に空が含まれる場合、擬似立体化する被写体だけを処理対象とするため、図７および図８のシーン画像から、空領域を分離する。
【０１１６】
図１１は、晴天空領域分離部２０４を説明するブロック図である。
【０１１７】
晴天空領域分離部２０４は、偏光度画像ρ、およびカラー画像Ｃを入力として、シーンの中から空領域を分離した被写体偏光度画像ρｆｏ、被写体偏光位相画像φｆｏを出力する。
【０１１８】
偏光度２値化部１１０１は、偏光度画像ρをしきい値Ｔρで２値化する。輝度変換部１１０２は、カラー画像Ｃを輝度画像Ｙに変換する。輝度２値化部１１０３，１１０４は、輝度変換部１１０２によって変換された輝度画像をしきい値ＴＣ１、およびＴＣ２で２値化処理する。色相誤差変換部１１０５は、カラー画像ＣをＨＳＶ変換して空色の色相からの色相ズレを表現する色誤差画像を生成する。色相２値化部１１０６は、色相誤差画像をしきい値処理して空色相領域のみを抽出する。演算部１１０７は、偏光度２値化部１１０１にて２値化された偏光画像と輝度２値化部換１１０３によって２値化された輝度画像とのＡＮＤ（論理積）演算をする。演算部１１０８は、輝度２値化部換１１０４によって２値化された輝度と色相２値化部１１０６でしきい値ＴＨによって２値化処理された特定色相とのＡＮＤ演算をする。
【０１１９】
被写体マスク選択部１１１０は、偏光度判定部１１０９の結果に基づいて、（ｉ）偏光度と輝度とに基づいて生成された第一の青空領域マスク１１１１、（ｉｉ）色相類似度と輝度とに基づいて生成された第二の青空領域マスク１１１２とのいずれを採用するかを決定する。
【０１２０】
演算部１１１３および演算部１１１４は、出力される被写体マスク画像１１１５と、偏光度画像ρ、偏光位相画像φとの論理積演算を実施して、晴天時被写体偏光度画像ρｆｏと晴天時被写体偏光位相画像φｆｏとを生成する。
【０１２１】
従来、青空領域検出には、カラー画像からカラー色相として青に類似し、かつ画像上で平坦領域を探すという手法が存在した。しかし、カラー情報を使うと、（ｉ）夕焼け空のようにカラーの色相情報がブルーからマゼンタ、レッドまで大きく変動する場合、あるいは（ｉｉ）地上の建物が青色や白色の場合に、実際の空または雲と識別が不可能という課題がある。
【０１２２】
このように天空の物理的要因で様々に変化するカラー情報は使わず、輝度情報のみで空を検出できれば望ましい。このような空領域の検出を行うため、例えばシーン画像において最も輝度が高い領域が空であると仮定することが可能である。この仮定に基づく手法では、実験によると、曇天や夕焼け空の場合には、ある程度良好な結果が得られるものの、晴天の時は、空の輝度よりも地上の建物が鏡面反射した輝度のほうが高い場合が多く、良好な結果は得られなかった。これは、太陽光の正反射ではなく青空の全周照明による人工物の滑らかな表面における鏡面反射が予想以上に強いためである。
【０１２３】
そこで、本実施形態では、シーン輝度に加えて、シーンの偏光度を用いて青空領域を検出している。これは、晴天昼における空の偏光度が水平線近傍で非常に高いことを利用するものである。
【０１２４】
全天の空の偏光状態を朝（日の出）から夕方（日の入り）まで１２時間にわたり１時間ごとに記録した結果が、非特許文献３に報告されている。この文献によると、朝と夕方の東西方向を除いて、ほとんどの時間で、地平線近傍では空の偏光度が強い。この空の偏光度は、実験によると、多くの場合に地上の山などの遠景、建物などの人工物の偏光度よりもさらに強い。このため、偏光度に基づいて空の領域を検出することは、有効な空検出手段になりえる。地上の建物の屋根やガラス等も非常に強く偏光するが、この建物などに起因する偏光を除くためには、上記の偏光度と輝度とのしきい値を併用したマスクを生成して検出を行えばよい。ただし、朝における西方向の空、および夕方における東方向の空は偏光度が低い上、輝度も低いので本手法が適用できない。この場合はカラー色相と輝度を用いて検出する。
【０１２５】
以下、実際のシーン画像を示す図１２（Ａ）〜（Ｈ）を用いて、図１１に示す晴天空領域分離部２０４の動作を説明する。なお、以下の説明において、シーン画像の撮像範囲が円領域となっているが、これは実験時のカメラ装置におけるレンズのケラレによるもので
あり本質的には矩形画像で考えてよい。
【０１２６】
図１２（Ａ）は、シーン画像の偏光度画像ρである。偏光度画像ρが偏光度２値化部９０１で処理された結果（Ｔρ＝０．１４）が図１２（Ｂ）の画像である。２値化閾値は、偏光度ヒストグラムから決定する。このシーンでは、空領域と地上の建物などの風景とが、偏光度の高い領域と低い領域にわかれて、双峰性分布を作っている。偏光度ヒストグラムにおける２つのピークの中間値を閾値とする。図において、建物の右側の雲領域も、偏光度が低い場合には、除去される。下部の黒色のカメラ架台だけは、強く偏光しているため、除去できず、残存してしまう。
【０１２７】
図１２（Ｃ）は、シーン画像のカラー画像を輝度変換部１１０２によって処理した輝度画像である。輝度変換によって得られた輝度画像を、輝度２値化部１１０３によって２値化処理（ＴＣ１＝０．４）した結果が図１２（Ｄ）の画像となる。このシーンでは、青空の輝度と建物の輝度とがほぼ等しく、輝度での分離が困難である。しかし、このような場合でも、閾値を適当に設定することにより、カメラ架台など暗部は除去できている。
【０１２８】
以上の２種のマスク画像を演算部１１０７において処理すると、図１２（Ｅ）のように一部偏光度の低い雲領域を除去した青空領域のみを分離することができる。図１２（Ｆ）は、このマスク画像を、通常の矩形画像で示した模式図であり、図１１の第一の青空領域マスク１１１１に相当する。
【０１２９】
最後に演算部１１１３、１１１４において、上記マスクと偏光度画像、偏光位相画像との論理積がとられて、図１２（Ｇ）の被写体偏光度画像、および図１２（Ｈ）の被写体偏光位相画像が生成される。
【０１３０】
次に、夕方の東空を撮影したシーンである図１３を用いて上記手法が適用できない場合について説明する。図１３（Ａ）から（Ｄ）は、それぞれ、シーン偏光度画像ρ、シーン偏光度画像の２値化結果、シーン輝度画像Ｃ、シーン輝度画像の２値化結果である。最終的に、図１３（Ｅ）に示すマスク画像を得て、青空領域検出に失敗している。
【０１３１】
失敗の理由は、図１３（Ａ）のシーン偏光画像の空の偏光度が低く、輝度も低いためである。そこで、このような場合は、偏光度判定部１１０９がシーン画像の偏光度ヒストグラムから平均偏光度判定を実施し、平均偏光度が所定閾値（Ｔρ１＝０．１）より低い場合には、これを採用せず、カラー色相と輝度を用いた方法に切り替える。以下、この処理を、図１１と図１４を用いて説明する。
【０１３２】
まず、図１１の色相誤差変換部１１０５において、空の色相である青の色相角とカラー画像Ｃの色相角との差異を示す色相角度の誤差を求めることにより、カラー画像Ｃが色相誤差画像に変換される。
【０１３３】
ここで、空の色相を青色としたのは、このカラー画像を使う処理が使われるのは空の偏光度が低く輝度も低い場合に限られ、それは朝方の西空、および夕方の東空のいずれかであるから、空の色は青色とみなしてよいという仮定に基づく。
【０１３４】
典型的な空の青色の色相角(０°〜３６０°)をＨｓｋｙ（＝２５４°）とし、入力されるシーンの色相角をＨｔｅｓｔとする。よく知られたＲＧＢ色空間からＨＳＶ(色相、彩
度、明度)空間の色相Ｈへの変換式(ＲＧＢ＿ｔｏＨ）を用い、さらに色相角が３６０度周期であることを考慮すると、色相誤差ΔＨは、以下の式で表現される。
【数９】
この色相誤差ΔＨを、図１１の色相２値化部１１０６で閾値処理することにより、カラー画像Ｃの中から青空の候補が求められる。
【０１３５】
図１４（Ａ）は、図１３と同じシーン画像に対して、図１１の色相誤差変換部１１０５で変換された色相誤差画像を表している。図１４（Ｂ）は、この色相誤差画像を色相２値化部１１０６において色相２値化処理(ＴＨ=２２０°)されたマスク画像を示している。
図１４（Ｃ）の画像は、図１１の輝度２値化部１１０４において、輝度をしきい値（ＴＣ２＝０．２９）で２値化した結果であり、図１４（Ｄ）の画像は、図１１の演算部１１０８で演算した結果得られるマスク画像である。晴天時は出力選択部１１１０により、このマスク画像部分が採用され、晴天空領域画像が生成される。
【０１３６】
図１５は、曇天空領域分離部２０５の構成を示すブロック図である。
【０１３７】
実験によれば、曇天の場合、シーン内で最高輝度になる領域が空である確率が高い。このため、カラー画像Ｃを輝度変換部１１０２で輝度画像に変換し、輝度画像を、輝度２値化部１１０３で２値化したマスクを形成する。それを偏光度画像および偏光位相画像との論理積をとる演算部１１１３および演算部１１１４を用いて、それぞれ、曇天時被写体偏光度画像ρｃｏおよび曇天時被写体偏光位相画像φｃｏを生成することができる。
【０１３８】
図１６は、晴天あるいは曇天の場合の空領域が分離された後のシーン画像を示しており、被写体の面の集合が切り出されている。ここから建物の各表面の法線を推定する。このシーンでは、建物は参照符号「１６０１」で示される屋根Ｒ１、参照符号「１６０２」で示される屋根Ｒ２、参照符号「１６０３」で示される正対した壁面Ｂ１、参照符号「１６０４」で示される側面の壁面Ｂ２、参照符号「１６０５」で示される壁面Ｂ１上のガラス部Ｗで構成され、それらが参照符号「１６０６」で示される地表面Ｇ上にあるとする。
【０１３９】
次に、図１７（Ａ）、（Ｂ）を参照して、晴天時の天空の偏光と、曇天時の天空の偏光と、被写体での鏡面反射の現象との関係を説明する。
【０１４０】
実験によれば、晴天時、屋外の被写体表面での鏡面反射の結果は、入射光の偏光状態に強く依存する。図１７（Ａ）の矢印１７０１は、入射光の偏光の向き（偏光主軸方向：振動面に平行）および大きさを表現しており、長方形１７０２は、当該被写体表面におけるＰ波とＳ波のエネルギー反射率の変化を表現している。このＰ波とＳ波のエネルギー反射率は屈折率ｎ＝１．４とした場合に図１８のようになり、常にＳ波がＰ波よりも反射率が高い。なお、図１８は、鏡面反射のフレネル反射率を入射角との関係で示す図である。
【０１４１】
ここで、入射光が１つの振動面のみ有する直線偏光（linearly polarized light）であるため、当該表面からの反射光は、入射する偏光（polarized light）の偏光位相角をや
や回転させ、矢印１７０３で示される向きに偏光した反射光が形成される。しかし、反射光の主軸方向はＳ方向を指すほどには回転しない。つまり、偏光を照明として入射させた場合は、鏡面反射後、その偏光位相と表面法線との間には直接の関係がなくなり、偏光から法線の情報が取得できなくなってしまう。これが後述する非偏光の照明の場合と大きく異なる点であり、屋外での天空照明で最も問題となる。ただし、この場合でも、確実に偏
光情報を使えるケースが存在する。
【０１４２】
図１８に示されるように、入射角が０度近傍（直上入射）の領域１８０１や、９０度近傍の領域１８０２などにおいては、Ｐ波とＳ波の反射率が互いに等しくなる。このため、これらの領域１８０１、１８０２の角度で鏡面反射した偏光については、上記のような偏光位相の変化が生じず、完全なミラー状態となるから、反射光は天空の偏光状態をそのまま映し出すことになる。つまり、カメラに対して完全背面や正対からの入射がある表面には、天空の偏光状態がそのまま映っているので、これは法線の情報として利用可能である。
【０１４３】
一方、曇天時には入射光が非偏光であり、非偏光状態は、図１７（Ｂ）の円１７０４で示すように、ほぼ等しい振幅の多数の異なる向きの振動面が合成された波によって表現される。このような光（非偏光照明）が被写体表面で反射すると、Ｐ波とＳ波のエネルギー反射率が異なることから。長方形１７０２のように変調されて楕円状の部分偏光（partially polarized light）１７０５になる。この時、部分偏光の主軸方向はＳ方向であり、被写体表面の法線は、この平面に含まれる。結局、曇天時屋外での非偏光の照明下では、被写体表面での鏡面反射の結果、被写体表面の法線情報を、反射光の偏光位相から求めることができる。
【０１４４】
以上の考察から、晴天時と曇天時で法線推定処理を以下のように構築できる。
【０１４５】
図１９は、晴天時法線推定部２０６の動作を示すフローチャートであり、図２０Ａはシーン画像の模式図を用いた説明図である。
【０１４６】
まず、ステップＳ１９０１において、被写体のある画素の偏光度および偏光位相を取得する。ステップＳ１９０２では、偏光度が一定値ρ１より低いか否かを判断する。偏光度が一定値ρ１より低い場合には、当該画素は太陽からの入射光を直接受光しておらず、多重反射された環境光を受光している場合の可能性が高い。実験によれば、環境光を受光する場合は、地上付近でカメラに正対する面の可能性が非常に高かった。そこで、この場合には、その画素が地上付近のカメラに正対する面の画素であるとして法線を設定する。このような面は、例えば図２０Ａにおいてカメラに正対する壁面Ｂ１に相当する。なお、図２０Ａ内の「×」は、偏光度が極めて低いことを意味する。
【０１４７】
ステップＳ１９０３では、図９の天空偏光マップから、当該画素の偏光位相に類似した偏光位相を有する部分を探索して、当該画素が鏡面反射している光の光源位置を天空から探し出す。ここで、偏光位相の角度表現の基準位置は、前述したように、図９（Ａ）、（Ｂ）に示される撮影範囲９０６のローカルな水平線９０２である。したがって、図９（Ｂ）の空の天頂９０１を中心とする天空位置座標（θＬ、φＬ）における偏光位相角φｓｋｙ（０°≦φｓｋｙ≦１８０°）を、この基準によって決定し、カメラで撮像された被写体の水平線基準からの偏光位相角φｏｂｊ（０°≦φｏｂｊ≦１８０°）を得たとすると、後述する（式１０）のＤｉｆｆφを最小とする天空位置座標（θＬ、φＬ）を求めることになる。
【０１４８】
図２０ＡのＧ，Ｗ領域は、この手法で探索される。まずＧ領域１６０６の偏光位相の角度（水平線に対する角度）は天空の領域２００２での偏光の偏光位相角度に極めて近いことが判明したとする。この場合、その天空の領域２００２のカメラ座標系での角度（θＬ、φＬ）を記録する。
【０１４９】
ここで注意するのは、被写体の正対面付近では、カメラの背後の天空から光が入射しているため、図２０ＡのＷ領域１６０５は、カメラ背後の天空の領域２００３を光源とする
光を入射角度０度付近で反射していることになる。図１８の領域１８０１の入射角では、カメラの正対状態でミラー的な反射が生じるため、天空の偏光位相は水平線を基準にして左右逆になる。図２０Ａの例では、Ｗ領域１６０５に入射した光の光源位置として、Ｗ領域１６０５の偏光位相が左右逆の向きの偏光位相を示す天空の領域２００４を探索することになる。
【０１５０】
本実施形態におけるカメラは、図１Ｃに示す被写体レンズ部１０１と、広角レンズ部１０２とを有しており、両者の座標系が異なっている。このため、偏光位相の探索には若干工夫が必要となる。
【０１５１】
図２０Ｂは、被写体レンズで撮影された被写体イメージを示す図である。偏光軸の角度を確定するためには、カメラ水平基準線２０１０が水平、すなわち地表の水平線に平行である必要がある。これは水平指示装置１０３を用いることで達成され、カメラで水平線を撮影することは必要ない。被写体からの反射光の偏光位相φｏｂｊは、図２０Ｂに示すカメラ基準線２０１０に対する角度である。この基準が狂うと、偏光位相の角度基準があいまいとなるため、探索が不可能になる。
【０１５２】
図２０Ｃは、天空を撮影する広角レンズで撮影された天空イメージを示す図である。以下、図２０Ｃを参照しながら、全天からの偏光位相を探索する場合の座標変換を説明する。
【０１５３】
方向２０２１は、カメラの被写体レンズ図の向く方向である。全天の偏光位相角は、すべて、基準線２０２２からの角度となる。基準線２０２２を境界に、方向２０２１の向いている領域を、「カメラ前の天空領域」２０２３と「カメラ背後の天空領域」２０２４に２分割することができる。
【０１５４】
被写体レンズで撮影された画像からは、撮影範囲９０６に対して、上記のようにローカルな水平線９０２を基準に偏光位相２０１１が抽出される。ここでローカルな水平線９０２と全天偏光位相角基準線の２０２２とは平行であるから、「カメラ前の天空領域」２０２３を探索する場合には、その領域に存在する天空の偏光位相角度φｓｋｙ（領域２０２５）は、そのまま利用すればよい。
【０１５５】
そして、「カメラ背後の天空領域」２０２４を探索する場合には、ちょうど基準線２０２２に対して対称となる角度に変換して探索すればよい。偏光位相角度がもともとは０°から１８０°の範囲であることを考慮すると、Ｄｉｆｆφは、次の（式１０）で表される。
【数１０】
したがって、式１０のＤｉｆｆφが最小値となる天空の場所を探索すればよい。
【０１５６】
ステップＳ１９０５では、こうして見つけられた天空の光源位置、被写体の画素位置、およびカメラの観測視点に基づいて、幾何学的に被写体の画素位置における法線を計算する。図２１は、この処理を説明する図である。カメラ定座標系において、天空の光源位置座標（θＬ、φＬ）２１０１に相当するベクトルＬ（２１０２）と、カメラの視線ベクト
ルＶ（２１０３）を確定した場合、法線Ｎ（２１０４）を、その２等分ベクトルとして求めることができる。
【０１５７】
なお、本明細書では、このようにして法線を推定する方法を「幾何学に基づく法線推定」と呼ぶ。一方、偏光していない光が被写体に入射し、被写体の表面における鏡面反射によって生じた偏光に基づいて法線を推定する方法を「鏡面反射偏光に基づく法線推定」と呼ぶ場合がある。
【０１５８】
再び図１９を参照する。
【０１５９】
ステップＳ１９０６では、入射角θを幾何学的に求めた法線の信頼度とする。これは前述のように被写体の偏光が天空の偏光と類似しても、入射角θが０付近あるいは９０度付近の場合にのみミラー的な反射が発生するためであり、θが４５度近傍では正しく天空の偏光を映しているとはいえなくなるためである。すなわち信頼度Ｃｏｎｆは、例えば以下の式で示される。
【数１１】
このようにして信頼度Ｃｏｎｆを決定した場合、信頼度信頼度Ｃｏｎｆの値が０に近いほど信頼度が向上し、４５に近くなるほど信頼度が低下することになる。
【０１６０】
図２２は、幾何学的に求められた法線に対して、入射角θと信頼度Ｃｏｎｆが付与された状態を模式的に示している。地表面であるＧ領域２２０１、カメラに正対する壁面であるＢ１領域２２０２、同じくカメラに正対する窓ガラスであるＷ領域の信頼度が高く（数値的にはここでは０）なっている。
【０１６１】
図１９のステップＳ１９０７では、偏光していない（非偏光）光の鏡面反射偏光に基づいて法線を計算する。一般に、晴天時においても、天空には、部分的な雲領域に起因する非偏光領域がある。その場合には、鏡面反射光の偏光状態に基づいて表面法線を推定することができる。この鏡面反射光の偏光に基づく法線取得は、曇天時の法線取得と同一の方法で実施可能である。
【０１６２】
図２３を参照する。図２３は、シーン画像に対して観測された偏光位相を示す図である。
【０１６３】
図２３の両矢印で示す被写体表面上の点における偏光位相（画像面内角度）は、反射の結果、（式７）のとおり、部分偏光の主軸の直交方向を表している。フレネル反射の理論から、鏡面反射の場合、この位相角の示す方向に平行な面内に被写体の法線が包含される。このことに基づいて、２自由度（ψＮ、θＮ）を有する法線の方向のうちの１自由度を求めることができる。すなわち、図２３に示す被写体各部での偏光位相の示す方向そのものが、法線の１自由度（ψＮ）となる。ただし、位相の方向は１８０度の不定性がある。これについては、図２１で示すように、屋外にある被写体の屋根などの傾斜がカメラに向かって必ず上向きであることを仮定すれば、確定することができる。
【０１６４】
もう１つの自由度θＮは、特許文献１の方法によれば、入射角θが偏光度ρと以下の関係を有することから決定できる。これは、被写体屈折率をｎとした場合、入射角θと偏光度ρの間に以下の関係式が成立するためである。
【数１２】
【０１６５】
図２４は、この式の関係をグラフ化したものであり、横軸が入射角θ、縦軸が偏光度ρである。ここで偏光観測によって偏光度ρが得られると、ｎを１．４など典型的な物質定数と仮定して、角度θが得られる。ここで問題となるのは、参照符号２４０２で示すブリュースター角θＢをはさんで２個の解候補θ１、θ２が得られることである。そこで、本実施形態においては、解候補をブリュースター角よりも小さい範囲（矢印２４０１で示される範囲）に制限し、その範囲内から１個の候補θ１を選択することとする。これは、屋外における建物を撮影する場合、その壁面への照明の入射角が６０〜７０度以上になるときは、ほぼ背景の空からの光によって図１８における完全ミラー状態となっている可能性が高いため、幾何学に基づく法線が採用される可能性が高いためである。θが推定された後は、カメラの視線ベクトルＶを用いて法線ベクトルが確定する。
【０１６６】
ステップＳ１９０８では、今求めた鏡面反射偏光に基づく法線の信頼度を計算する。この信頼度は、鏡面反射偏光を使う場合の前提である入射光の非偏光性を検査することによって得られる。具体的には、法線ベクトルと視線ベクトルから光源ベクトルを求め、全天偏光マップから該当する光源位置での偏光度ρを調査する。
【数１３】
【０１６７】
図２５は、鏡面反射偏光に基づく法線の２自由度が確定した状態と、それに付随した信頼度とを示す図である。
【０１６８】
ステップＳ１９０９では、図２２に示す法線候補と図２５に示す法線候補の２種の法線候補のうち、各々の評価基準に基づいて信頼度Ｃｏｎｆが高い（値としては０に近い）法線を採用する。そして、こうして採用することにした幾何学に基づく法線あるいは鏡面反射偏光に基づく法線を当該画素位置に格納する。
【０１６９】
この処理は、例えば、図２２に示すＣｏｎｆが１０以上の法線２２０４、２２０５を削除し、図２５に示すＣｏｎｆが０.５以上の法線２５０１、２５０２を削除することによ
って行われる。
【０１７０】
図２６は、信頼度の評価を行った結果の法線の例を示す。この例では、Ｂ１領域は別として、Ｇ、Ｗ領域は幾何学に基づく法線が採用され、その他の領域Ｒ１、Ｒ２、Ｂ２では、鏡面反射された偏光に基づく法線が採用されたことがわかる。
【０１７１】
図２７は、曇天時の法線推定を実施するためのフローチャートである。フローの内容は、晴天時法線推定部２０６における鏡面反射偏光に基づく法線推定と同じである。ただし、曇天時には、全天で照明は非偏光であることが前提であるから、信頼度などの計算（図１９におけるステップＳ１９０９）は必要ない。
【０１７２】
以下、図２７のフローを説明する。
【０１７３】
まず、ステップＳ２７０１において、被写体の当該位置で偏光度および偏光位相を取得する。次に、ステップＳ２７０２において、偏光度が一定値ρ１より低いか否かを判断する。偏光度が一定値ρ１より低い場合には、ステップＳ２７０３に進み、その画素が地上
付近のカメラに正対する面の画素であるとして法線を設定する。偏光度が一定値ρ１以上の場合には、ステップＳ２７０４において、前述した方法により、鏡面反射偏光に基づいて法線を計算する。ステップＳ２７０５では、求めた表面法線をメモリに格納する。
【０１７４】
次に、上述に処理によって得た法線情報を用いて擬似立体化を行う擬似立体化部２０５における処理を説明する。
【０１７５】
図２８は、擬似立体化部２０８の処理の流れを示すフローチャートである。ステップＳ２８０１は、被写体の法線画像が取得され、ステップＳ２８０２では、類似した法線をまとめて面を構成する。これは図１６のＧ，Ｗ，Ｂ１，Ｂ２，Ｒ１，Ｒ２の各領域を識別することに相当する。ステップＳ２８０３では各面の頂点を検出し、その画像上の２次元座標（ｕ，ｖ）を抽出する。ステップＳ２８０４ではカメラパラメータを取得する。カメラパラメータは内部パラメータと外部パラメータからなり、内部パラメータはカメラのレンズ歪みを無視すれば、焦点距離ｆと光軸中心(ｕ０、ｖ０)であり、外部パラメータはカメラ座標系と世界座標系との並進と回転行列からなる。カメラの内部、および外部パラメータの求め方はコンピュータビジョンの典型的な手法を使えるので詳細は省略する。
【０１７６】
内部パラメータは予めカメラ内に記憶しておく。外部パラメータは撮影の仕方に依存するが、ここでは簡単のために光軸は地表に平行で地表に対して正対すなわち光軸のピッチ角、ロール角も０とする。
【０１７７】
図２９は、このような撮影状態における世界座標系とカメラ座標系の関係を図で示したもので、地表平面２９０１、画像面２９０２、光軸中心２９０３、被写体上の面２９０４を示す。カメラ座標系は視点Ｃを原点とする(ｘｃ、ｙｃ、ｚｃ)座標系であり、世界座標系は地表上の任意点を原点として(Ｘｗ、Ｙｗ、Ｚｗ)とする。被写体の面２９０４には法線Ｎが付随しており、底面Ｐ１Ｗ，Ｐ２Ｗがカメラに投影されてＰ１，Ｐ２となる。
【０１７８】
ステップＳ２８０５では地表平面を、以下の式で表現する。
【数１４】
ここで、ｈはカメラ座標系と地表平面上の世界座標系とのＹ軸上のズレすなわちカメラの地表からの高さに相当する。
【０１７９】
ステップＳ２８０６では、地表平面と被写体底面との交点であるＰ１，Ｐ２の世界座標Ｐ１Ｗ，Ｐ２Ｗを計算する。Ｐ１を例にとって計算すると、Ｐ１（ｕ，ｖ）とカメラ座標系での（Ｘｃ，Ｙｃ，Ｚｃ）は以下の関係がある。
【数１５】
カメラ座標系と世界座標系の関係は、今回は、以下の（式１６）であらわされる。
【数１６】
以上から、Ｐ１Ｗの世界座標値は、直線２９０５と地表平面２９０１との交点として得られ、以下の式で示される。
【数１７】
【０１８０】
ステップＳ２８０７では、Ｐ２など、図３０（Ａ）で示す各頂点の世界座標位置を計算する。この計算は上記のように地表平面との交点Ｐ１，Ｐ２，Ｐ３を確定した後に面の法線Ｎを利用して平面を確立し、上記と同様にカメラ平面上での座標とカメラ視点原点からの引いた直線との交点を計算すれば得られる。
【０１８１】
ステップＳ２８０８では、新規なカメラ視点位置Ｃｎｅｗを設定して視点変換を実施して擬似立体化を実現する。この処理はカメラ外部パラメータ、すなわち（式１５）に替わる世界座標系とカメラ座標系の新規な関係式を作り、世界座標系でのＰ１〜Ｐ７の各頂点を（式１４）のカメラ投影式でカメラ平面に投影することにより実現でき、図３０（Ａ）の画像を図３０（Ｂ）のように視点変換した画像が得られる。
【０１８２】
なお、全天偏光マップ取得部は、現実に空の偏光状態を測定する機構を有している必要は無く、撮影日時および撮影地点の緯度などから全天偏光マップのデータベースにアクセスし、データベースから必要な全天偏光マップを取得し、これにＧＰＳ装置から得られるカメラ向き情報を併用して利用しても良い。その場合、全天偏光マップ取得部２０２は、偏光情報取得部２００内に配置される必要は無い。
【０１８３】
図３１に示す実施形態では、全天偏光マップ取得部２０２は、撮影日時および撮影地点の緯度をデータベース３１００に通知し、該当する全天偏光マップをデータベース３１００から取得する。また全天偏光マップに対するカメラによる撮影向きをＧＰＳから取得する。
【０１８４】
画像処理装置は、それ自身がデータベース３１０を記憶装置内に備えていても良いが、図３２に示すように、通信装置３１１０を介して外部のデータベース（不図示）にアクセスするようにしてもよい。また、天候判定部２０３も、カラー偏光画像取得部２０１の出力に基づいて天候を判定する代わりに、図３２の通信装置３１１０を介して、現在の天候が晴天か曇天かを示す情報を外部から取得し、それによって法線推定方法を切り替えても良い。
【０１８５】
（実施の形態２）
次に、本発明による画像処理装置の第２の実施の形態について説明する。
【０１８６】
上記の実施の形態１における画像処理装置は、異なる色の輝度情報を取得できるカラー偏光画像撮像部を備えているが、本発明による画像処理を実行するためには、必ずしもカラー画像を取得する必要はない。例えば単色モノクロの輝度画像によっても本発明の画像処理を実現できる。
【０１８７】
図３３は、本実施の形態における画像処理装置の構成を示す図である。図３３の構成において、第１の実施形態と異なる部分は、画像処理装置が偏光画像取得部３３０１および全天偏光マップ取得部３３０２を含む偏光情報取得部３３００を備えている点と、法線推定部２１０に含まれる晴天空領域分離部３３０３および曇天空領域分離部３３０４の動作が実施形態１から異なっている点である。
【０１８８】
図３４に偏光情報取得部３３００の構成を示す。偏光情報取得部３３００は、カラー偏光撮像素子の代わりに、偏光輝度撮像素子３４０１を有している。偏光輝度撮像素子３４０１は、シーンの輝度画像と偏光画像をリアルタイムに取得する。このためには、例えば特許文献３に開示されている技術（パターン化偏光子）を利用することができる。
【０１８９】
図３５は、このような偏光輝度撮像素子３４０１の構成例を示す。図示される構成例では、狭帯域カラーフィルタとパターン化偏光子が、撮像素子画素の前面に重ねて設置されている。入射光は狭帯域カラーフィルタ、パターン化偏光子を透過して撮像素子に到達し、撮像素子画素によってモノクロ輝度が観測される。なお、狭帯域カラーフィルタは、パターン化偏光子の動作する波長帯を選択するように例えば５００〜５５０ｎｍの透過域を有するものとする。
【０１９０】
本実施形態では、０度、４５度、９０度、１３５度の偏光透過角を有するパターン偏光子を４画素一括で１画素とみなして処理を実施する。これらを輝度で平均化すると、（式８）でＲＧＢのカラーについて実施したのと同じ処理で、モノクロ輝度を算出することができる。
【０１９１】
図３４に示す画像情報処理部３４０２では、この処理により、輝度画像Ｙを生成する。偏光情報処理部３０６は、(式１)から（式６）を参照して説明した処理と同一の処理を実施する。本実施形態のパターン化偏光子も、フォトニック結晶、フィルム型の偏光素子、ワイヤーグリッド型、その他の原理による偏光素子であってもよい。
【０１９２】
図３６は、晴天空領域分離部３３０３の構成例を示すブロック図である。晴天空領域分離部３３０３は、偏光度画像ρ、および輝度画像Ｙを入力として、シーンの中から空領域を分離した被写体偏光度画像ρｆｏ、被写体偏光位相画像φｆｏを出力する。偏光度２値化部１１０１は、偏光度画像ρをしきい値Ｔρで２値化する。輝度２値化部１１０３，１１０４は、輝度画像をしきい値ＴＣ１、およびＴＣ２で２値化処理する。演算部１１０７は、偏光度２値化部１１０１にて２値化された偏光画像と輝度２値化部換１１０３によって２値化された輝度画像とのＡＮＤ（論理積）演算をする。
【０１９３】
被写体マスク選択部１１１０は、偏光度判定部１１０９の結果に基づいて、（ｉ）偏光度と輝度とに基づいて生成された第一の青空領域マスク１１１１、（ｉｉ）輝度に基づいて生成された第二の青空領域マスク３６０１とのいずれを採用するかを決定する。
【０１９４】
演算部１１１３および演算部１１１４は、出力される被写体マスク画像１１１５と、偏光度画像ρ、偏光位相画像φとの論理積演算を実施して、晴天時被写体偏光度画像ρｆｏと晴天時被写体偏光位相画像φｆｏとを生成する。
【０１９５】
この晴天空領域分離部３３０３はモノクロ輝度画像のみを使うため、カラー画像を用い
る第１の実施形態の場合に比べて色相情報が欠如している。その結果、偏光度、輝度とも低い夕方の時刻の東空、朝方の時刻の西空については情報が少なく検出が困難になる可能性がある。しかし多くのアプリケーションにおいて屋外撮影は昼の時間帯の撮影が最も多いと考えられるため大きな問題にはならない。
【０１９６】
図３７は、曇天空領域分離部３３０４の構成を示すブロック図である。曇天の場合はシーン内で最高輝度になる領域が空である確率が高いため、輝度画像を、輝度２値化部１１０３で２値化したマスクを形成する。それを偏光度画像および偏光位相画像との論理積をとる演算部１１１３および演算部１１１４を用いて、それぞれ、曇天時被写体偏光度画像ρｃｏおよび曇天時被写体偏光位相画像φｃｏを生成することができる。
【０１９７】
本実施形態における晴天時法線推定部２０６、曇天時法線推定部２０７、擬似立体化部２０８については、第一の実施形態における晴天時法線推定部２０６、曇天時法線推定部２０７、擬似立体化部２０８と構成および動作が同一のため、説明は省略する。
【産業上の利用可能性】
【０１９８】
本発明は、屋外などで撮影された通常の２次元の静止画、動画、すなわち奥行き情報が与えられていない画像から３次元形状を推定し、視点変換を実施することにより、擬似的な立体画像を生成できる。特に屋外の天空照明を利用した偏光情報を用いて、パッシブ(
受動的)に形状を取得できることから、巨大な建物や遠距離の被写体の形状取得とその立
体的な観察に好適である。民生品カメラ、ムービー、ＩＴＳ、監視カメラ、建築分野、屋外建物地図情報アプリなどに広く適用可能である。
【符号の説明】
【０１９９】
２００ 偏光情報取得部
２０１ カラー偏光画像取得部
２０２ 全天偏光マップ取得部
２０３ 天候判定部
２０４ 晴天空領域分離部
２０５ 曇天空領域分離部
２０６ 晴天時法線推定部
２０７ 曇天時法線推定部
２０８ 擬似立体化部
２１０ 法線推定部
【技術分野】
【０００１】
本発明は画像処理装置および擬似立体画像生成装置に関する。特に、屋外などで撮影された通常の２次元の静止画または動画などの、奥行き情報が与えられていない画像（２次元画像）から、３次元形状を推定し、擬似的な立体画像を作成する擬似立体動画像生成装置に関する。
【背景技術】
【０００２】
２次元の静止画像に対して、任意視点変換を行うことによって擬似立体視による鑑賞を可能にするためには、通常の立体を表す奥行き情報を各種の方法で取得する必要がある。このためには、例えば特殊なレンジファインダや光源を動かすなどのいわゆるアクティブなセンシング系を用いればよいが、このような構成は一般の民生カメラに搭載しづらい。
【０００３】
そこで、撮影されたシーン画像からいろいろな仮定を使って立体構造を推定し、画像の合成や仮想的な視点移動を実現しようというアプローチが検討されている。このアプローチによれば、一般シーンから立体構造推定に必要な情報を確実に復元することは不可能であるが、ある程度の成功率で擬似立体化が実現されている。
【０００４】
特許文献１が開示する方法では、無限遠まで続く道路のような典型的な奥行きシーンを対象として、基本となる３種類のシーン構造モデルを合成することにより、２次元の写真画像に奥行きモデルを付与し、擬似立体化合成を行っている。
【０００５】
非特許文献１が開示する方法では、より汎用的な撮影シーンを対象とし、同様に１枚のカラー画像を入力として、その画素のカラー情報、画像微小領域でのテクスチャ情報、画像上での配置情報、被写体となる建物等の人工物の表面の平行線エッジからの消失点推定などを実施する。それらの情報から、シーンに移された空、地面、地面に垂直な壁などの面、草木などの凹凸面などの領域を識別する。そして、検出された地面と建物の面の法線情報から簡単な３次元立体化を行い、あたかも「飛び出す絵本」のように写真を立体化して任意視点からの画像を合成する。上記の推定は、典型的なシーン画像の学習により高精
度に実施できるとしている。
【０００６】
しかしながら、特許文献１の技術によれば、立体情報は画像から抽出されるものというよりは、基本パターンから選択されるものであり、その結果、対象となるシーンが限定される。このため、汎用性に欠け、実用性に乏しいといわざるをえない。一方、非特許文献１の技術では、画像からの情報抽出を実施しているが、以下に示す課題がある。
１）地表に対して傾斜した面の法線は、正しく推定できない。
２）長方形以外の側面では法線を正しく推定できない。
３）空や地面に近い色情報を有する面は、誤判定する。
【０００７】
これらの課題は、すべて、２次元画像から表面の法線を直接的には推定できないことに起因している。２次元画像からの面法線情報取得には、従来レーザレンジファインダを使うものや、ステレオ撮影を使って距離から求める技術等が知られている。しかし、屋外でかつ遠距離にある巨大な建物などを対象とした場合には、両方とも実用的とはいえない。
【０００８】
このような遠距離においてもパッシブ（受動的）な方法で面の法線を抽出する技術として、偏光情報を使うものがある。特許文献２の技術は、被写体の周囲３６０度を完全拡散照明で照明して、その画像の偏光情報を取得できるカメラにて撮影することにより被写体の形状を取得するものである。被写体の屈折率を既知とすれば、通常は測定が困難な透明物体などの形状を取得できる。
【０００９】
特許文献２の技術では、被写体が鏡面反射（Specular Reflection）物体であり、フレ
ネルの法則に従って反射光が偏光することと、被写体を完全に包含する面照明を当てて被写体の全面に鏡面反射を発生させることがポイントである。そして、レンジファインダあるいはステレオ計測のような距離を測定してそこから法線を推定する形状推定ではなく、距離を求めず直接的に表面の法線を求める点に特長がある。
【００１０】
日中の屋外環境は、被写体までの距離は極めて遠いが、空からの全周照明が存在し、しかも晴天であれば多くの被写体は鏡面反射を呈することが知られているため、本技術の状況と極めて類似している。
【００１１】
なお、２次元画像から擬似的な立体画像を形成する技術が非特許文献１に開示されている。また、空の偏光については非特許文献２や非特許文献３に報告があり、偏光イメージング装置の従来例が特許文献３に開示されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００６−１８６５１０号公報
【特許文献２】特開平１１−２１１４３３号公報
【特許文献３】特開２００７−８６７２０号公報
【非特許文献】
【００１３】
【非特許文献１】“Ａｕｔｏｍａｔｉｃ ｐｈｏｔｏ ｐｏｐ−ｕｐ”, Ｄｅｒｅｋ Ｈｏｉｅｍ ｅｔ．ａｌ，ＡＣＭ ＳＩＧＧＲＰＡＨ ２００５
【非特許文献２】“Ｐｏｌａｒｉｚａｔｉｏｎ Ａｎａｌｙｓｉｓ ｏｆ ｔｈｅ Ｓｋｙｌｉｇｈｔ Ｃａｕｓｅｄ ｂｙ Ｒａｙｌｅｉｇｈ Ｓｃａｔｔｅｒｉｎｇ ａｎｄ Ｓｕｎ Ｏｒｉｅｎｔａｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｆｉｓｈｅｙｅ−Ｌｅｎｓ Ｃａｍｅｒａ”、 Ｄａｉｓｕｋｅ Ｍｉｙａｚａｋｉ ｅｔ ａｌ、 電子情報通信学会パターン認識・メディア理解研究会、 Ｖｏｌ.１０８、 Ｎｏ.１９８、 ｐｐ.２５−３２、 ２００８
【非特許文献３】Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ Ｅｘｐｅｒｉｍｅｎｔａｌ Ｂｉｏｌｏｇｙ ２０４、 ２９３３−２９４２(２００１)
【発明の概要】
【発明が解決しようとする課題】
【００１４】
特許文献２の技術を屋外で適用する場合、以下の課題があった。
【００１５】
鏡面反射光の偏光情報から表面法線を推定する場合、照射する照明は全周照明であるだけではなく、非偏光（ランダム偏光）であることが必要である。このため特許文献２では、被写体を完全拡散球にて完全に覆い、その外部から照明を当てるという非常に特殊な装置を用いている。
【００１６】
一方、屋外環境の照明は、晴天の場合には太陽の直接光（平行光）と青空の面照明からなる。太陽光は非偏光であるが、青空は偏光している。このため、撮影に際して被写体が太陽の直接光を受けることを避ける通常のケースでは、青空からの偏光した全周照明を受けて鏡面反射していることになり、この場合、従来の技術が使えなくなる。
【課題を解決するための手段】
【００１７】
本発明の画像処理装置は、複数の画素の偏光情報を有する偏光画像を取得する偏光画像取得部と、前記偏光画像が有する偏光情報に基づいて、屋外に位置する被写体の表面の法線を推定する被写体法線推定部と、全天における位置と前記位置における偏光情報との関係を示す全天偏光マップを取得する全天偏光マップ取得部とを備え、前記被写体法線推定部は、前記全天偏光マップを用いて前記偏光情報から前記被写体の表面における鏡面反射光の偏光状態を求めることにより、前記被写体の表面の法線を推定する。
【００１８】
本発明の他の画像処理装置は、複数の画素の輝度情報を有する輝度画像および前記複数の画素の偏光情報を有する偏光画像を取得する画像取得部と、天候の状態を、曇天状態および晴天状態のいずれか一方であると判定する天候判定部と、前記偏光情報から屋外に位置する被写体の表面における鏡面反射光の偏光状態を求め、前記天候判定部によって決定された天候の状態に応じて異なる方法により、前記被写体の表面の法線を推定する被写体法線推定部とを備える。
【００１９】
好ましい実施形態において、前記画像取得部は、前記輝度画像を異なる複数の色について取得する。
【００２０】
好ましい実施形態において、前記天候判定部は、空の偏光度、または基準レベル以上の偏光度を有する領域の面積に基づいて天候の状態を決定する。
【００２１】
好ましい実施形態において、前記天候判定部は、天候の状態を、空の偏光度が所定の基準レベルよりも低い曇天状態および前記偏光度が前記基準レベル以上の晴天状態のいずれか一方であると判定する。
【００２２】
好ましい実施形態において、前記天候判定部は、空の一部に雲が存在する部分的晴天を晴天状態と判定する。
【００２３】
好ましい実施形態において、前記天候判定部は、天候の状態を示す情報を外部から取得して天候の状態を決定する。
【００２４】
好ましい実施形態において、全天における位置と前記位置における偏光状態との関係を示す全天偏光マップを取得する全天偏光マップ取得部を備え、前記天候判定部が天気の状
態を晴天状態と判定した場合は、前記全天偏光マップに用いて前記被写体の表面の法線を推定する。
【００２５】
好ましい実施形態において、鏡面反射偏光に基づく法線推定を実行する曇天時法線推定部と、幾何学に基づく法線推定および鏡面反射偏光に基づく法線推定を実行する晴天時法線推定部とを備え、前記晴天時法線推定部は、幾何学に基づく法線推定を行うとき、前記全天偏光マップが示す全天における位置と前記位置における偏光状態との関係を利用する。
【００２６】
好ましい実施形態において、前記全天偏光マップ取得部は、広角のレンズを用いて全天の偏光画像を取得する。
【００２７】
好ましい実施形態において、前記全天偏光マップ取得部は、前記全天偏光マップのデータを外部から取得する。
【００２８】
好ましい実施形態において、晴天時に前記画像から空領域を分離する晴天時空領域分離部と、曇天時に前記画像から空領域を分離する曇天時空領域分離部とを備え、前記天候判定部の出力に基づいて、晴天時空領域分離部および曇天時空領域分離部の動作または出力を選択的に切り替える。
【００２９】
好ましい実施形態において、前記画像取得部は、カラーモザイクフィルタを有する単板カラー撮像素子の同一複数色画素内に異なる角度の透過偏波面を有する複数偏光子を隣接配置したカラー偏光同時取得部と、前記取得した同一色ごとの複数の偏光子からの観測輝度を正弦関数に近似し、得られた近似パラメータをカラー間で平均化することにより統合された偏光情報を得る偏光情報処理部と、前記取得した複数の観測輝度から輝度の平均化によって平均カラー輝度を生成するカラー情報処理部とを有し、（ｉ）カラー画像、（ｉｉ）前記偏光情報に基づく偏光度画像および偏光位相画像を出力する。
【００３０】
好ましい実施形態において、（ｉ）光源の入射角が所定値よりも小さい場合には幾何学に基づく法線推定を採用し、（ｉｉ）光源の偏光度が所定値よりも小さい場合には鏡面反射偏光に基づく法線推定を採用する。
【００３１】
好ましい実施形態において、天候の状態が曇天と判定された場合、鏡面反射光の偏光位相と偏光度から法線を推定し、推定される法線のベクトルが視線ベクトルの周りに複数存在する場合、前記視線ベクトルを含む水平面よりも上向きのベクトルを持つ法線を選択し、推定される法線のベクトルが前記視線ベクトルと入射光線とを含む入射面内に複数存在する場合は、ブリュースター角より小さい入射角のベクトルを持つ法線を選択する。
【００３２】
本発明の擬似立体画像生成装置は、上記いずれかの画像処理装置によって推定された被写体の表面の法線に基づいて、前記表面法線に垂直な面を抽出する面抽出部と、前記面抽出部によって抽出された面に基づいて、視点変換を施すことにより別の視点でのシーン画像を生成する擬似立体化部とを有する。
【００３３】
好ましい実施形態において、前記擬似立体化部は、前記面抽出部によって抽出された面の頂点の世界座標を推定する。
【００３４】
本発明の画像処理方法は、屋外シーンの偏光画像を取得するステップと、全天偏光マップを取得するステップと、天候の状態を判定するステップとを含み、前記偏光画像から屋外の被写体の表面における鏡面反射光の偏光状態を検出して、天候の状態に応じて異なる方法により、前記被写体の表面の法線を推定するステップとを含む。
【００３５】
好ましい実施形態において、天候の状態が晴天と判定された場合、幾何学に基づく法線と鏡面反射偏光に基づく法線の２種類を用いて法線推定を実施する。
【００３６】
好ましい実施形態において、光源の入射角が小さい場合には幾何学に基づく法線推定の信頼度を増加し、光源の偏光度が小さい場合には鏡面反射偏光に基づく法線推定の信頼度を増加し、最終的に信頼度の高い法線を採用する。
【００３７】
好ましい実施形態において、天候の状態が曇天と判定された場合、鏡面反射光の偏光位相と偏光度から法線を推定し、推定される法線のベクトルが視線ベクトルの周りに複数存在する場合、前記視線ベクトルを含む水平面よりも上向きのベクトルを持つ法線を選択し、推定される法線のベクトルが前記視線ベクトルと入射光線とを含む入射面内に複数損座視する場合は、ブリュースター角より小さい入射角のベクトルを持つ法線を選択する。
【００３８】
本発明の擬似立体画像生成方法は、屋外シーンの偏光画像を取得するステップと、前記偏光画像が有する偏光情報に基づいて屋外に位置する被写体の表面の法線を推定するステップと、推定された被写体の表面の法線に基づいて、前記表面法線に垂直な面を抽出するステップと、視点変換を施すことにより別の視点でのシーン画像を生成するステップとを含む。
【００３９】
好ましい実施形態において、抽出された面の頂点の世界座標を推定するステップを含む。
【発明の効果】
【００４０】
本発明によれば、例えば、屋外でカメラから遠い位置にある巨大な建物の３次元形状を推定する場合など、従来のレンジファインダやステレオ視が無力となる場合でも天空の偏光情報を用いて被写体の表面法線を推定して３次元形状を推定できる。また、空、地面、壁面、屋根などの識別処理を行うことができる画像処理方法および装置を提供できる。さらに、本発明の画像処理を用いることにより、擬似的な立体化を実現できる擬似立体化装置を提供することもできる。
【図面の簡単な説明】
【００４１】
【図１Ａ】屋外に位置する被写体の鏡面反射を説明する図である。
【図１Ｂ】屋外に位置する被写体の鏡面反射を説明する他の図である。
【図１Ｃ】本発明にかかる画像処理装置の一実施形態の外観を示す図である。
【図２】本発明にかかる画像処理装置のブロック図である。
【図３】（Ａ）は、本発明の実施形態におけるカラー偏光画像取得部の構成を示すブロック図であり、（Ｂ）は、全天偏光マップ取得部の構成を示す図である。
【図４】（Ａ）は、カラー偏光同時取得部の構成を示す斜視図であり、（Ｂ）は、その撮像面の一部を光軸方向の真上から見た図であり、（Ｃ）は、図（Ｂ）の一部の拡大図である
【図５】（Ａ）から（Ｃ）は、それぞれ、Ｂ、Ｇ、Ｒ偏光画素の波長特性を模式的に示すグラフである。
【図６】方向が異なる偏光主軸を有する４種類の偏光子を透過した光の輝度を示す図である。
【図７】（Ａ）から（Ｃ）は、建物のシーンを撮影した場合のカラー偏光画像取得部で取得される３種類の画像の例を示す図である。
【図８】（Ａ）から（Ｃ）は、それぞれ、図７（Ａ）から（Ｃ）の画像を説明する模式図である。
【図９】（Ａ）および（Ｂ）は、全天偏光マップ取得部で取得される２種類の画像を示す図である。
【図１０Ａ】天候判定部の動作の一例を説明するフローチャートである。
【図１０Ｂ】天候判定部の動作の他の例を説明するフローチャートである。
【図１１】晴天空領域分離部を説明するブロック図である。
【図１２】（Ａ）から（Ｈ）は、偏光と輝度を用いた実際のシーンでの空領域分離結果を示す図（成功例）である。
【図１３】（Ａ）から（Ｆ）は、偏光と輝度を用いた実際のシーンでの空領域分離結果を示す図（失敗例）である。
【図１４】（Ａ）から（Ｄ）は、色相と輝度を用いた実際のシーンでの空領域分離結果を示す図（成功例）である。
【図１５】曇天空領域分離部の構成を示すブロック図である。
【図１６】晴天あるいは曇天の場合の空領域が分離された後のシーン画像を示す模式図である。
【図１７】（Ａ）および（Ｂ）は、晴天時と曇天時の被写体での鏡面反射現象の偏光現象の違いを説明する図である。
【図１８】鏡面反射のフレネル反射率を入射角との関係で示すグラフである。
【図１９】晴天時法線推定部を実施するためのフローチャートである。
【図２０Ａ】幾何学に基づく法線推定を実施する際の偏光位相を示す図である。
【図２０Ｂ】被写体レンズで撮影された被写体イメージを示す図である。
【図２０Ｃ】天空を撮影する広角レンズで撮影された天空イメージを示す図である。
【図２１】幾何学に基づく法線を計算する処理を説明する図である。
【図２２】幾何学に基づく法線および信頼度の図である。
【図２３】鏡面反射偏光に基づく法線推定を実施する際の偏光位相を示す図である。
【図２４】入射角αと偏光度ρの関係式を説明するグラフである。
【図２５】鏡面反射偏光に基づく法線および信頼度の図である。
【図２６】信頼度の評価を行った結果の法線推定結果の図である。
【図２７】曇天時の法線推定を実施するためのフローチャートである。
【図２８】擬似立体化部の処理の流れを示すフローチャートである。
【図２９】世界座標系とカメラ座標系の関係を示す図である。
【図３０】視点変換による擬似立体化の効果を示す図である。
【図３１】本発明による画像処理装置の他の実施形態を示すブロック図である。
【図３２】本発明による画像処理装置の更に他の実施形態を示すブロック図である。
【図３３】本発明の第２の実施形態にかかる画像処理装置のブロック図である。
【図３４】本発明の第２の実施形態におけるモノクロ偏光画像取得部の構成を示すブロック図である。
【図３５】本発明の第２の実施形態における晴天空領域分離部を説明するブロック図である。
【図３６】本発明の第２の実施形態における曇天空領域分離部を説明するブロック図である。
【図３７】曇天空領域分離部３３０４の構成を示すブロック図である。
【発明を実施するための形態】
【００４２】
屋外において、偏光現象は、ほとんどの場合、鏡面反射（Specular Reflection）によ
ってのみ発生することが知られている。本発明では、屋外に位置する被写体が空からの照明を受けているときに被写体の表面で生じる鏡面反射光の偏光状態を利用して被写体の表面法線を推定する。ただし、晴天の場合と曇天の場合で空の偏光状態が異なるので、好ましい実施形態では、両者を分けて処理を実施する。
【００４３】
図１Ａは、天空の或る位置１０３ａから、屋外の被写体(例えば「家屋」）１６００の
表面における或る位置１６００ａに入射した光が、鏡面反射により、方向を変えてカメラ
１００に入射する様子を模式的に示している。被写体１６００の表面における位置１６００ａの法線Ｎは、その位置１６００ａから天空の位置１０３ａに向くベクトルＬとカメラ１００の視線ベクトルＶとを２等分するベクトルである。したがって、図１Ａに示すように、光の入射角をθとすると、出射角もθに等しい。
【００４４】
図１Ｂは、天空の他の位置１０３ｂから、屋外の被写体１６００の表面における他の位置１６００ｂに入射した光が、鏡面反射により、方向を変えてカメラ１００に入射する様子を模式的に示している。このように、被写体の表面における位置に応じて法線Ｎは変化し、カメラに入射した光を発した天空の位置（１０３ａ、１０３ｂ）も変化する。
【００４５】
なお、図１Ａおよび図１Ｂに示す例において、法線Ｎは図面（紙面）に平行であるが、被写体表面の形状や位置によって、法線Ｎは変化するため、当然に法線Ｎが図面には平行ではない場合もある。法線Ｎを求めるためには、図１Ａに示す角度θだけではなく、カメラの視線ベクトルＶの周りの回転角度ψを決定する必要がある。
【００４６】
晴天の場合、空は偏光しているため、特許文献２に記載されている方法、すなわち、被写体の表面で生じる鏡面反射の偏光を利用して被写体の表面法線を推定することができない。しかしながら、晴天時には、被写体の表面で鏡面反射が生じることにより、完全鏡面となる条件では、天空の特定位置における偏光状態が被写体の一部ではそのまま映し出されることになる。例えば、図１Ｂに示す例では、天空の位置１０３ｂにおける空の偏光状態が、被写体１６００の表面における位置１６００ｂに映し出されることになる。したがって、別途取得される全天偏光マップ上の偏光情報と偏光画像に現れる偏光情報との対応関係を利用すれば、カメラに入射した光が天空のどの位置から発せられたものかを特定することができる。そして、その位置がわかると、図１Ａ、１Ｂに示すように、被写体表面の法線Ｎを幾何学的に決定することができる。
【００４７】
ここで晴天であるが部分的には雲がかかっている「部分的晴天」について説明する。本発明の好ましい実施形態においては、このような部分的な晴天状態はすべて「晴天」として取り扱う。このような取り扱いを行う場合、曇天を前提とした鏡面反射偏光に基づく法線の信頼度と、晴天を前提とした幾何学に基づく法線のいずれを採用するかを、信頼度により決定する。
【００４８】
全天が均一な雲に覆われた完全曇天の場合、天空を非偏光の照明（半球状の照明）とみなすことができる。このため、完全曇天の場合は、特許文献２に記された方法と同様の方法により、被写体表面の法線を推定することが可能である。
【００４９】
本発明によれば、屋外に位置する被写体から取得した偏光情報に基づいて、２次元画像における被写体表面の法線を推定することができる。更に、こうして推定された法線の情報を用いることにより、２次元画像から３次元情報（奥行き情報）を抽出して、擬似的な３次元の立体画像を生成することも可能になる。
【００５０】
なお、本発明は、画像処理方法や擬似立体画像生成方法として実現されるだけでなく、処理の各ステップを実行する各種手段を備えた画像生成装置や、各ステップをコンピュータに実行させるプログラム、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等として実現することもできる。
【００５１】
本発明の画像処理装置は、偏光画像を取得する偏光画像取得部と、偏光画像から得られる前記偏光情報に基づいて、屋外に位置する被写体の表面の法線を推定する被写体法線推定部とを有している。
【００５２】
なお、本明細書における「偏光画像」とは、被写体を含む２次元画像における複数の画素の偏光情報を有する画像である。すなわち、偏光画像は、その画像を構成する複数の画素の各々が、その画素の偏光情報を表示することによって構成される画像を意味するものとする。偏光情報は、偏光度および偏光位相（偏光角度）を含む。したがって、「偏光画像」とは、特別に限定しない限り、個々の画素の偏光度を２次元的に表示した「偏光度画像」、および、個々の画素の偏光位相を２次元的に表示した「偏光位相画像」を総称したものである。各画素の偏光度および偏光位相の大きさ（数値）は、その画素における明度または色相によって表現され得る。本願の図面では、明度の高低によって偏光度や偏光位相の大きさを表現している。
【００５３】
また、本明細書における「画像」は、必ずしも人間の視覚によって認識されるように画素が２次元的に配列されて表示された状態にある場合に限られない。すなわち、画像を構成する個々の画素に関する輝度、偏光度、偏光位相などの情報（数値）の配列（画像データ）を、「画像」の用語を用いて表現する場合もある。
【００５４】
本発明の画像処理装置は、このような偏光画像から得られる偏光情報に基づいて、屋外に位置する被写体の表面法線を推定する被写体法線推定部を備えている。
【００５５】
好ましい実施形態において、この画像処理装置は、全天における位置と前記位置における偏光情報との関係を示す全天偏光マップを取得する全天偏光マップ取得部を備え、全天偏光マップに基づいて被写体の表面の法線を推定する。
【００５６】
本発明による画像処理装置は、天候の状態を、偏光度が基準レベルよりも低い曇天状態および偏光度が前記基準レベル以上の晴天状態のいずれか一方であると判定する天候判定部を備えていていることが好ましく、屋外に位置する被写体の表面における鏡面反射光の偏光状態を測定し、天候判定部によって決定された天候の状態に応じて異なる方法により、被写体の表面の法線を推定する。
【００５７】
以下、本発明の実施の形態について、図面を用いて説明する。
【００５８】
（実施の形態１）
まず、本発明による画像処理装置の第１の実施形態を説明する。
【００５９】
本実施形態は、カメラの形態を有する画像処理装置であり、図１Ｃに示す外観構成を有している。図１Ｃの画像処理装置（カメラ１００）は、被写体の偏光画像およびカラー画像の情報を撮影によって取得する被写体レンズ部１０１と、カメラ天頂に設置され、天空の偏光画像情報を撮影によって取得する広角レンズ部１０２と、水準器などの水平指示装置１０３とを備えている。被写体の撮像は、カメラ１００を水平に維持しつつ、水平指示装置１０３が水平方向を向き、広角レンズ部１０２が垂直上を向いて行われるものとする。
【００６０】
次に、図２を参照して本実施形態の構成を更に詳細に説明する。図２は、本実施形態の画像処理装置における機能ブロック図である。
【００６１】
図２の画像処理装置は、カラー偏光画像取得部２０１および全天偏光マップ取得部２０２を含む偏光情報取得部２００を備えている。
【００６２】
カラー偏光画像取得部２０１は、図１Ｃのレンズ部１０１を通して、被写体の偏光度画像ρ、偏光位相画像φ、カラー画像Ｃの情報を取得する。全天偏光マップ取得部２０２は、カメラ天頂に設置され、図１Ｃの広角レンズ部１０２を通して天空の偏光画像情報を取
得する。ここで、「全天偏光マップ」は、全天における複数の位置（点）における空の偏光情報を示すマップである。
【００６３】
本実施形態の画像処理装置は、更に、法線推定部２１０と擬似立体化部２０８とを備えており、法線推定部２１０は、天候判定部２０３、晴天空領域分離部２０４、曇天空領域分離部２０５、晴天時法線部推定部２０６、および曇天時法線推定部２０７を含んでいる。
【００６４】
本実施形態では、屋外に位置する被写体の表面における鏡面反射光の偏光状態を測定し、天候の状態に応じて異なる方法により、被写体の表面の法線を推定する。天候判定部２０３は、空の偏光度に基づいて天候の状態を決定する手段であり、シーン撮影時の天候が晴天か曇天かを判定する。具体的には、空の偏光度が基準レベルよりも低い場合に「曇天状態」と判定し、偏光度が基準レベル以上の場合に「晴天状態」と判定する。
【００６５】
本実施形態では、屋外に位置する被写体の表面における鏡面反射光の偏光状態を測定し、天候の状態に応じて異なる方法により、被写体の表面の法線を推定する。天候判定部２０３は、空の偏光度に基づいて天候の状態を決定する手段であり、シーン撮影時の天候が晴天か曇天かを判定する。具体的には、ある例では、空の偏光度が基準レベルよりも低い場合に「曇天状態」と判定し、偏光度が基準レベル以上の場合に「晴天状態」と判定する。他の例では、空の偏光度が基準レベルよりも低い領域が全天の一定面積以上を占める場合に、「曇天状態」と判定し、それ以外の場合に「晴天状態」と判定する。本発明における「曇天状態」は、全天が雲に覆われた完全な曇天状態とみなせる状態である。したがって、「晴天状態」は、空の一部に雲が存在していている状態を含む。
【００６６】
晴天空領域分離部２０４は、ρ、φ、Ｃを入力として、晴天の場合に空領域と被写体領域を画像内から分離し、空領域を分離した晴天時被写体偏光度画像ρｆｏ、晴天時被写体偏光位相画像φｆｏを出力する。一方、曇天空領域分離部２０５は、曇天の場合に空領域と被写体領域を画像内から分離し、同様に空領域を分離した曇天時被写体偏光度画像ρｃｏ、曇天時被写体偏光位相画像φｃｏを生成する。
【００６７】
晴天時法線推定部２０６は、晴天時に全天偏光マップを用いて偏光度画像と偏光位相画像の情報から法線画像Ｎを推定する。また、曇天時法線推定部２０７は、曇天の場合に偏光度画像と偏光位相画像の情報から法線画像Ｎを取得推定する。
【００６８】
擬似立体化部２０８は、得られた晴天、曇天いずれかの法線画像Ｎを用いてカラー画像Ｃの擬似立体化を行う。
【００６９】
図３（Ａ）は、偏光情報取得部２００の内部構成、すなわちカラー偏光画像取得部２０１及び全天偏光マップ取得部２０２の構成を示すブロック図である。図に示すように、本実施形態における偏光情報取得部２００は、被写体を撮像する被写体レンズ部１０１、カメラの直上部に上向きに設置した広角レンズ部１０２、可動式反射板３０３、稼動機構３０４、カラー偏光撮像素子（カラー偏光取得部）３０５、偏光情報処理部３０６、およびカラー情報処理部３０７を有する。
【００７０】
図３（Ａ）に示す状態では、広角レンズ部１０２を通過した天空からの光３１０が可動式反射板３０３で反射されてカラー偏光撮像素子３０５に到達する。このため、撮像時には、カラー偏光撮像素子３０５は全天を撮像することができる。広範な空領域は、例えば魚眼カメラを用いて撮像可能であり、空（全天）の偏光状態を観測することができる。
【００７１】
偏光情報処理部３０６は、カラー偏光撮像素子３０５の出力に基づいて、空の偏光状態
を示す全天偏光マップを取得する。なお、全天偏光マップを取得する方法の詳細は、非特許文献２に記載されている。非特許文献２では、天頂を向けたデジタルスチルカメラにＦ３．５焦点距離８ｍｍの魚眼レンズを設置し、その先端に偏光板を設置している。偏光板の偏光透過軸を０度、４５度、９０度に手動で回転して全天の１３０度にわたる空の偏光パターンを取得している。本実施の形態も、基本的には同一の処理をしているが、回転する偏光板を使わず偏光撮像素子を使うため、リアルタイムでの偏光マップが取得できる。このため、偏光板が回転している間の雲の移動などに起因するアーティファクトが無い点で優れている。
【００７２】
次に、稼動機構３０４が反射板３０３を上方（矢印３１２）に回転移動させると、図３(Ｂ)に示すように、被写体レンズ部１０１からの光３１１がカラー偏光撮像素子３０５に入る。こうして、被写体が撮像されると、偏光情報処理部３０６とカラー情報処理部３０７とが動作する。被写体の撮像および全空の撮像の順序は、逆でも可能である。
【００７３】
以下、カラー偏光画像取得部２０１の動作として被写体撮像を例にとって処理を説明する。全天偏光マップ取得部２０２の動作も同様であり、偏光処理に関する部分のみが存在する。
【００７４】
屋外において、シーン画像およびシーン偏光画像は、同時に、または短い時間間隔で取得することが好ましい。風による雲の動きなども存在するため、リアルタイム取得が望ましい。偏光画像取得に際して、偏光板を回転させて複数画像を撮影する技術は、屋外利用では非実用的である。そこでリアルタイム偏光カメラが必須となる。
【００７５】
モノクロ画像と偏光画像を同時にリアルタイム取得する技術は、特許文献３に開示されている。この技術によれば、輝度画像と被写体の部分偏光の画像とを同時に取得するために、複数の異なる偏光主軸（偏光透過軸）を有するパターン化偏光子を撮像素子に空間的に配置する。パターン化偏光子としては、フォトニック結晶や構造複屈折波長板アレイが利用されている。しかしながら、これらの技術ではカラー画像と偏光画像とがやはり同時に取得できなかった。
【００７６】
これに対して、図３（Ａ）の構成では、被写体に対してからリアルタイムにカラー画像を取得すると同時に偏光画像を取得し、２種類の偏光画像（偏光度画像ρ及び偏光位相画像φ）として出力する。
【００７７】
入射光は、カラー偏光撮像素子３０５に入射する。この入射光から、カラー偏光撮像素子３０５はカラー動画像情報および偏光画像情報の両方をリアルタイムに取得することができる。カラー偏光撮像素子３０５からは、カラー動画像情報および偏光画像情報を示す信号が出力され、それぞれ、偏光情報処理部３０６およびカラー情報処理部３０７に与えられる。偏光情報処理部３０６およびカラー情報処理部３０７は、上記信号に対して各種の処理を施し、カラー画像Ｃ、偏光度画像ρ、偏光位相画像φを出力する。
【００７８】
図４（Ａ）は、カラー偏光撮像素子３０５の基本的な構成を示す模式図である。図示されている例では、カラーフィルタおよびパターン化偏光子が、撮像素子画素の前面に重ねて設置されている。入射光は、カラーフィルタおよびパターン化偏光子を透過して撮像素子に到達し、撮像素子画素によって輝度が観測される。このように本実施形態によれば、カラーモザイク型の単板カラー撮像素子を用いてカラー画像情報および偏光画像情報の両方を同時に取得することができる。
【００７９】
図４（Ｂ）は、カラー偏光撮像素子３０５における撮像面の一部を光軸方向の真上から見た図である。図には、簡単のため、撮像面のうち、１６個の画素（４×４）のみが図示
されている。図示されている４つの矩形領域４０１〜４０４は、それぞれ、４個の画素セル上に設置されたベイヤ型カラーモザイクフィルタの対応部分を示している。矩形領域４０４は、Ｂ（ブルー）フィルタ領域であり、画素セルＢ１〜Ｂ４をカバーしている。画素セルＢ１〜Ｂ４には、それぞれ異なる偏光主軸を有するＢ（ブルー）用パターン化偏光子を密着している。ここで、「偏光主軸」とは、偏光子を透過する光の偏波面（透過偏波面）に平行な軸である。本実施形態では、同一色の画素内において異なる角度の透過偏波面を有する偏光子単位（微小偏光板）が隣接して配置されている。より詳細には、透過偏波面の方向が相互に異なる４種類の偏光子単位がＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各同一色の画素群に配置されている。１つの偏光子単位は、１つの微細な偏光画素に対応している。図では、個々の偏光画素に対して、Ｇ１などの符合が与えられている。
【００８０】
図４（Ｃ）は、Ｂ（ブルー）用パターン化偏光子が密着する４つの微細偏光画素に割り当てられる偏光主軸を示している。図４（Ｂ）において、各微細偏光画素に記載された直線は、微小偏光板の偏光主軸方向を模式的に示している。図の例では、４つの微細偏光画素が、それぞれ、角度Ψｉ＝０°、４５°、９０°、１３５°の偏光主軸を有している。
【００８１】
矩形領域４０２、４０３の画素には、それぞれ、４個のＧ（グリーン）用パターン化偏光子が密着し、矩形領域４０１の画素には、４個のＲ（レッド）用パターン化偏光子が密着している。図中、参照符号「４０５」で示される位置は、本撮像系における４画素を一括した仮想的な画素位置を示している。各矩形領域４０１〜４０３のパターン化偏光子も図に示すように異なる４つの偏光主軸を有する部分に分割されている。
【００８２】
このように本実施形態では、各カラー画素に対して、異なる偏光主軸を有する複数の微細偏光画素が包含される点に特徴を有しており、カラーモザイク配列自体は任意である。以下の説明では、個々の微細偏光画素を「偏光画素」と称することとする。
【００８３】
図５（Ａ）から（Ｃ）は、それぞれ、Ｂ（ブルー）、Ｇ（グリーン）、Ｒ（レッド）偏光画素の波長特性を模式的に示すグラフである。各グラフの縦軸は透過光の強度、横軸は波長である。Ｂ、Ｇ、Ｒ用の偏光画素は、Ｂ、Ｇ、Ｒの各波長帯域においてＴＭ波（Ｔｒａｎｓｖｅｒｓｅ Ｍａｇｎｅｔｉｃ Ｗａｖｅ）を透過し、ＴＥ波（Ｔｒａｎｓｖｅｒｓｅ Ｅｌｅｃｔｒｉｃ Ｗａｖｅ）を反射（透過せず）する偏光特性を有している。ＴＭ波は、磁場成分が入射面に対して横向きの波であり、ＴＥ波は、電場成分が入射面に対して横向きの波である。
【００８４】
図５（Ａ）には、Ｂ（ブルー）偏光画像の偏光特性５０２、５０３と、Ｂ（ブルー）用カラーフィルタの透過特性５０１とが示されている。偏光特性５０２、５０３は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。
【００８５】
図５（Ｂ）には、Ｇ偏光画像の偏光特性５０５、５０６と、Ｇ用のカラーフィルタの透過特性５０４とが示されている。偏光特性５０５、５０６は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。
【００８６】
図５（Ｃ）には、Ｒ偏光画像の偏光特性５０８、５０９と、Ｒ用カラーフィルタの透過特性５０７とが示されている。偏光特性５０８、５０９は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。
【００８７】
図５（Ａ）から（Ｃ）に示すような特性は、例えば特許文献３に記載されたフォトニック結晶を用いて実現することができる。フォトニック結晶の場合、その表面に形成された溝に平行な電場ベクトル振動面を持つ光がＴＥ波、垂直な磁場ベクトル振動面を持つ光がＴＭ波となる。
【００８８】
本実施形態で重要な点は、図５（Ａ）から（Ｃ）に示すように、Ｂ、Ｇ、Ｒの透過波長帯域の各々において偏光分離特性を示すパターン化偏光子を用いることにある。
【００８９】
モノクロ輝度と偏光フィルタとを使用する場合には、偏光分離特性を示す波長域の最適化は不要であったが、カラーの画素ごとに偏光情報を取得する場合は、カラーの分離特性と偏光の分離特性と整合させる必要がある。
【００９０】
本明細書では、偏光画素における偏光主軸の方位を表示する４つの数字「１、２、３、４」と、カラーを区別するため３つの符号「Ｒ、Ｇ、Ｂ」の組合せ（例えば「Ｒ１」や「Ｇ１」など）を用いて、偏光画素の特性を示すこととする。偏光画素Ｒ１および偏光画素Ｇ１は、数字が同じであるため、偏光主軸の方向は一致しているが、ＲＧＢ符合が異なるため、透過する光の波長帯域が異なる偏光画素に相当している。本実施形態では、このような偏光画素の配列を、図４（Ａ）に示すカラーフィルタおよびパターン化偏光子の組合せによって実現している。
【００９１】
次に図６を用いて図３の偏光情報処理部３０６の処理を説明する。図６は、方向が異なる偏光主軸（Ψｉ＝０°、４５°、９０°、１３５°）を有する４種類の偏光子を透過した光の輝度６０１〜６０４を示している。ここで、偏光主軸の回転角ψがψｉの時における観測輝度をＩｉとする。ただし、「ｉ」は、１以上Ｎ以下の整数、「Ｎ」はサンプル数とする、図６に示す例では、Ｎ＝４であるため、ｉ＝１、２、３、４となる。図６には、４画素のサンプル（ψｉ，Ｉｉ）に対応する輝度６０１〜６０４が示されている。
【００９２】
偏光主軸の角度Ψｉと輝度６０１〜６０４との関係は、正弦関数カーブによって表現される。図６では、輝度６０１〜６０４の４点が１本の正弦関数カーブ上に位置するように記載されているが、より多くの観測輝度に基づいて正弦関数カーブを決定した場合、観測輝度の一部が正弦関数カーブ上から僅かに外れる場合もあり得る。
【００９３】
なお、本明細書における「偏光情報」とは、輝度の偏光主軸角度に対する依存性を示す正弦関数カーブにおける振幅変調度および位相情報を意味するものとする。
【００９４】
実際の処理では、図４（Ａ）に示す同一カラー領域４０１〜４０４ごとに内部の４個の画素輝度値をサンプルとして、パターン化偏光子の主軸角ψに対する反射光輝度Ｉを以下のように近似する。
【数１】
ここで図６に示すようにＡ、Ｂ、Ｃは定数であり、それぞれ、偏光輝度の変動カーブの振幅、位相、平均値を表現している。（式１）は、以下のように展開できる。
【数２】
ただし、ＡおよびＢは、それぞれ、以下の（式３）および（式４）で示される。
【数３】
【数４】
【００９５】
以下の（式５）を最小にするＡ、Ｂ、Ｃを求めれば、輝度Ｉと偏光主軸角Ψとの関係を（式１）の正弦関数によって近似できる。
【数５】
【００９６】
以上の処理で１つのカラーについて正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。こうして、偏光度ρを示す偏光度画像と偏光位相φを示す偏光位相画像が求められる。偏光度ρは、該当画素の光が偏光している程度を表し、偏光位相φは、該当画素の光の部分偏光の主軸角度の直交方向、すなわち偏光の正弦関数輝度が最小値をとる位相を表している。フレネル反射理論によれば、これは鏡面反射に被写体表面の法線が包含される面（入射面）となる。なお、偏光の主軸角度は０と１８０°（π）は同一である。値ρおよびφ（０≦φ≦π）は、それぞれ、以下の（式６）および（式７）によって算出される。
【数６】
【数７】
【００９７】
なお、本実施形態のパターン化偏光子は、フォトニック結晶、フィルム型の偏光素子、ワイヤーグリッド型、その他の原理による偏光素子であってもよい。
【００９８】
次に図３における示すカラー情報処理部３０７の処理を説明する。カラー情報処理部３０７は、カラー偏光撮像素子３０５から出力される情報を用いて、カラー輝度を計算する。偏光子を透過した光の輝度は、偏光子に入射する前の光が有する本来の輝度とは異なる。非偏光照明の場合、理論的には、偏光のすべての偏光主軸における観測輝度を平均化した値が偏光子に入射する前の光が有する本来の輝度に相当する。角度偏光画素Ｒ１の画素における観測輝度をＩＲ１と表現すると、以下の（式８）に基づいて、カラー輝度を算出することができる。
【数８】
【００９９】
各偏光画素における輝度を得ることにより、通常のカラーモザイク画像を生成できる。モザイク画像に基づいて各画素でＲＧＢ画素値を有するカラー画像へ変換することにより、カラー画像Ｃが生成される。このような変換は、例えばベイヤーモザイクの補間方法などの公知の補間技術を用いて実現される。
【０１００】
カラー画像Ｃ、偏光度画像ρ、偏光位相画像φの各々における各画素の輝度および偏光情報は、図４（Ｂ）に示す４つの偏光画素を用いて得られる。そのため、個々の輝度および偏光情報は、図４（Ｂ）に示す４つの偏光画素の中心に位置する仮想画素点４０５における値の代表を示していると考えることができる。従って、カラー画像および偏光画像の解像度は本来のカラー単板撮像素子の有する解像度の縦１／２×横１／２に低下する。このため撮像素子画素数はできるだけ大きいことが望ましい。
【０１０１】
図７（Ａ）〜（Ｃ）は、遠方の建物のシーンを撮影した場合にカラー偏光画像取得部２０１で取得される３種類の画像（偏光度画像ρ、偏光位相画像φ、カラー画像Ｃ）である。図７（Ａ）の偏光度画像ρは、偏光の強度を表現しており、白い（明度が高い）ほど、偏光度が高い。図７（Ｂ）φの偏光位相画像は、偏光位相の向きを（角度）を値にて表現している。偏光位相は０から１８０度までの値を輝度に割り当てて表現されている。偏光位相には、１８０度を一周期とする周期性があるため、偏光画像上の白と黒は、位相の角度としては０度および１８０度で連続していることに注意する。図７（Ｃ）のカラー画像Ｃは、通常のＲＧＢカラーの輝度画像である。現実には、ＲＧＢの各々について輝度画像が得られ、それらを合成することにより１つのカラー画像が構成される。図７（Ｃ）では、便宜上、カラー画像の輝度のみ（モノクロ画像）が示されている。
【０１０２】
図７（Ａ）〜（Ｃ）は、いずれも、丸い外周を有しているが、これは画角を規定する開口部が円形を有していたためである。なお、これらの図から判るように、以降の処理の前提として、シーンの撮影は水平線を画面内でも水平に撮影しているものとする。
【０１０３】
図８（Ａ）〜（Ｃ）は、同じようなシーン画像の模式図である。図８（Ａ）の偏光度画像ρでは、屋根部分８０１の白い部分が最も偏光度が高いことが示されている。図８（Ｂ）の偏光位相画像φでは、偏光の位相角が偏光位相ベクトル表現８０３で表現されている。図８（Ｃ）のカラー画像Ｃは、カラー輝度値を示す。
【０１０４】
図９（Ａ）および（Ｂ）は、撮影時に全天偏光マップ取得部２０２で取得される２種類の画像（偏光度マップおよび偏光位相マップ）を模式的に表現している。図９（Ａ）の全天偏光度マップは、全天の偏光度を表現する全天画像である。中心点９０１が天頂を、周辺の円周９０２が地平線を、周辺に連続する被写体９０３が撮影被写体を、点線９０５が太陽９０４の周辺に広がる偏光度の低い空領域をそれぞれ表している。点線領域９０６は、被写体を撮影する場合の撮影範囲を示す。
【０１０５】
一方、図９（Ｂ）の偏光位相画像における曲線群９０５〜９１２は、偏光位相ベクトル表現８０３を各画素において有している。この全天の偏光位相画像の位置関係は、図９（Ａ）と同じである。偏光位相ベクトルの角度は、撮影範囲９０６に含まれるローカルな水平線９０２に対する角度で一意的に定義される。このため、前述の図８（Ｂ）の偏光位相ベクトル表現と、図９（Ｂ）における偏光位相ベクトル表現との間で、偏光位相の角度を比較することができる。これは、後で偏光位相の探索で重要になる性質である。
【０１０６】
図９（Ａ）の偏光度画像では、点線９０５で示される領域、すなわち、太陽９０４およびその周囲の領域で偏光度が低く、地平線付近で偏光度が高くなっている。すなわち、全天で偏光度は均一でない。これは、晴天の昼間の典型的な状況である。空の変更度は太陽高度により変化するが、不均一なパターンを呈する事実は変わらない。つまり、晴天時における天空の照明は、非偏光の領域と様々な偏光の領域とが全天に分布した光源として機能する。したがって、図９（Ａ）および（Ｂ）に示されるような「全天偏光マップ」があれば、全天における位置を特定することにより、その位置（光源位置）から被写体を照射
する光（照明光）の偏光度および偏光位相がわかる。そして、地上の被写体が鏡面反射を起こしているとき、その鏡面反射によってカメラの観測視点に入射する光は、カメラの観測視点と被写体位置とによって幾何学的に決定される天空上の光源位置から来た光である。すなわち、カメラの観測視点と被写体位置とによって幾何学的に決定される天空上の光源位置での偏光状態の光のみが、被写体位置に入射して鏡面反射を起こしている。
【０１０７】
全天偏光マップの偏光度は、曇天の場合、全体的に著しく低下する。これは、晴天の偏光を発生させる晴天の青空の酸素分子等によるレイリー散乱が、曇天時には水蒸気などによるミー散乱などに変化するためである。その結果、曇天では、雲の下に青空領域が相当存在する場合を除き、全天でほぼ同一の非常に低い偏光状態となる。
【０１０８】
図１０Ａは、図２の天候判定部２０３の動作の一例を示すフローチャートである。
【０１０９】
このフローでは、全天偏光マップの偏光度情報の平均値ρａｖｅが閾値ρｗよりも高い場合、天候が晴天である判定し、低い場合には曇天と判定している。シーンのある画角での撮影画像ではなく、全天を観測するため、天候の判定はより確実になる。ρ、φ、Ｃの各画像について行う晴天か曇天かの判定結果を晴天空領域分離部２０４と曇天空領域分離部２０５に送る。
【０１１０】
図１０Ｂは、図２の天候判定部２０３の動作の他の例を示すフローチャートである。
【０１１１】
このフローでは、まず、全天偏光マップの偏光度情報の平均値ａｖｅ、および標準偏差値σを求める。また、上記の全天偏光マップにおいて、偏光度ρがａｖｅ±３σとなる面積Ｓを計算する。そして、偏光度情報の平均値ａｖｅおよび標準偏差値σが閾値ＡＶ、ＳＴよりも低いか否かを判定する。
【０１１２】
偏光度情報の平均値ａｖｅおよび標準偏差値σがともに閾値ＡＶ、ＳＴよりも低く、かつ、偏光度ρがａｖｅ±３σとなる面積Ｓが一定値ＡＴよりも小さい場合に（完全）曇天状態と判定する。それ以外の場合、晴天であると判定している。
【０１１３】
この判定方法では、曇天の判定がより厳しくなっている。曇天と判断された場合は、全天がほぼ完全に雲に覆われ均一な明るさになり、従来の技術における完全拡散球に覆われているのとほぼ同一な状態となる。シーンのある画角での撮影画像ではなく、全天を観測するため、天候の判定は、より確実になる。ρ、φ、Ｃの各画像について行う晴天か曇天かの判定結果を、晴天空領域分離部２０４と曇天空領域分離部２０５に送る。
【０１１４】
次に、図２の晴天空領域分離部２０４と曇天空領域分離部２０５とを説明する。
【０１１５】
２種類の空領域分離部２０４、２０５は、シーン画像に空が含まれる場合、擬似立体化する被写体だけを処理対象とするため、図７および図８のシーン画像から、空領域を分離する。
【０１１６】
図１１は、晴天空領域分離部２０４を説明するブロック図である。
【０１１７】
晴天空領域分離部２０４は、偏光度画像ρ、およびカラー画像Ｃを入力として、シーンの中から空領域を分離した被写体偏光度画像ρｆｏ、被写体偏光位相画像φｆｏを出力する。
【０１１８】
偏光度２値化部１１０１は、偏光度画像ρをしきい値Ｔρで２値化する。輝度変換部１１０２は、カラー画像Ｃを輝度画像Ｙに変換する。輝度２値化部１１０３，１１０４は、輝度変換部１１０２によって変換された輝度画像をしきい値ＴＣ１、およびＴＣ２で２値化処理する。色相誤差変換部１１０５は、カラー画像ＣをＨＳＶ変換して空色の色相からの色相ズレを表現する色誤差画像を生成する。色相２値化部１１０６は、色相誤差画像をしきい値処理して空色相領域のみを抽出する。演算部１１０７は、偏光度２値化部１１０１にて２値化された偏光画像と輝度２値化部換１１０３によって２値化された輝度画像とのＡＮＤ（論理積）演算をする。演算部１１０８は、輝度２値化部換１１０４によって２値化された輝度と色相２値化部１１０６でしきい値ＴＨによって２値化処理された特定色相とのＡＮＤ演算をする。
【０１１９】
被写体マスク選択部１１１０は、偏光度判定部１１０９の結果に基づいて、（ｉ）偏光度と輝度とに基づいて生成された第一の青空領域マスク１１１１、（ｉｉ）色相類似度と輝度とに基づいて生成された第二の青空領域マスク１１１２とのいずれを採用するかを決定する。
【０１２０】
演算部１１１３および演算部１１１４は、出力される被写体マスク画像１１１５と、偏光度画像ρ、偏光位相画像φとの論理積演算を実施して、晴天時被写体偏光度画像ρｆｏと晴天時被写体偏光位相画像φｆｏとを生成する。
【０１２１】
従来、青空領域検出には、カラー画像からカラー色相として青に類似し、かつ画像上で平坦領域を探すという手法が存在した。しかし、カラー情報を使うと、（ｉ）夕焼け空のようにカラーの色相情報がブルーからマゼンタ、レッドまで大きく変動する場合、あるいは（ｉｉ）地上の建物が青色や白色の場合に、実際の空または雲と識別が不可能という課題がある。
【０１２２】
このように天空の物理的要因で様々に変化するカラー情報は使わず、輝度情報のみで空を検出できれば望ましい。このような空領域の検出を行うため、例えばシーン画像において最も輝度が高い領域が空であると仮定することが可能である。この仮定に基づく手法では、実験によると、曇天や夕焼け空の場合には、ある程度良好な結果が得られるものの、晴天の時は、空の輝度よりも地上の建物が鏡面反射した輝度のほうが高い場合が多く、良好な結果は得られなかった。これは、太陽光の正反射ではなく青空の全周照明による人工物の滑らかな表面における鏡面反射が予想以上に強いためである。
【０１２３】
そこで、本実施形態では、シーン輝度に加えて、シーンの偏光度を用いて青空領域を検出している。これは、晴天昼における空の偏光度が水平線近傍で非常に高いことを利用するものである。
【０１２４】
全天の空の偏光状態を朝（日の出）から夕方（日の入り）まで１２時間にわたり１時間ごとに記録した結果が、非特許文献３に報告されている。この文献によると、朝と夕方の東西方向を除いて、ほとんどの時間で、地平線近傍では空の偏光度が強い。この空の偏光度は、実験によると、多くの場合に地上の山などの遠景、建物などの人工物の偏光度よりもさらに強い。このため、偏光度に基づいて空の領域を検出することは、有効な空検出手段になりえる。地上の建物の屋根やガラス等も非常に強く偏光するが、この建物などに起因する偏光を除くためには、上記の偏光度と輝度とのしきい値を併用したマスクを生成して検出を行えばよい。ただし、朝における西方向の空、および夕方における東方向の空は偏光度が低い上、輝度も低いので本手法が適用できない。この場合はカラー色相と輝度を用いて検出する。
【０１２５】
以下、実際のシーン画像を示す図１２（Ａ）〜（Ｈ）を用いて、図１１に示す晴天空領域分離部２０４の動作を説明する。なお、以下の説明において、シーン画像の撮像範囲が円領域となっているが、これは実験時のカメラ装置におけるレンズのケラレによるもので
あり本質的には矩形画像で考えてよい。
【０１２６】
図１２（Ａ）は、シーン画像の偏光度画像ρである。偏光度画像ρが偏光度２値化部９０１で処理された結果（Ｔρ＝０．１４）が図１２（Ｂ）の画像である。２値化閾値は、偏光度ヒストグラムから決定する。このシーンでは、空領域と地上の建物などの風景とが、偏光度の高い領域と低い領域にわかれて、双峰性分布を作っている。偏光度ヒストグラムにおける２つのピークの中間値を閾値とする。図において、建物の右側の雲領域も、偏光度が低い場合には、除去される。下部の黒色のカメラ架台だけは、強く偏光しているため、除去できず、残存してしまう。
【０１２７】
図１２（Ｃ）は、シーン画像のカラー画像を輝度変換部１１０２によって処理した輝度画像である。輝度変換によって得られた輝度画像を、輝度２値化部１１０３によって２値化処理（ＴＣ１＝０．４）した結果が図１２（Ｄ）の画像となる。このシーンでは、青空の輝度と建物の輝度とがほぼ等しく、輝度での分離が困難である。しかし、このような場合でも、閾値を適当に設定することにより、カメラ架台など暗部は除去できている。
【０１２８】
以上の２種のマスク画像を演算部１１０７において処理すると、図１２（Ｅ）のように一部偏光度の低い雲領域を除去した青空領域のみを分離することができる。図１２（Ｆ）は、このマスク画像を、通常の矩形画像で示した模式図であり、図１１の第一の青空領域マスク１１１１に相当する。
【０１２９】
最後に演算部１１１３、１１１４において、上記マスクと偏光度画像、偏光位相画像との論理積がとられて、図１２（Ｇ）の被写体偏光度画像、および図１２（Ｈ）の被写体偏光位相画像が生成される。
【０１３０】
次に、夕方の東空を撮影したシーンである図１３を用いて上記手法が適用できない場合について説明する。図１３（Ａ）から（Ｄ）は、それぞれ、シーン偏光度画像ρ、シーン偏光度画像の２値化結果、シーン輝度画像Ｃ、シーン輝度画像の２値化結果である。最終的に、図１３（Ｅ）に示すマスク画像を得て、青空領域検出に失敗している。
【０１３１】
失敗の理由は、図１３（Ａ）のシーン偏光画像の空の偏光度が低く、輝度も低いためである。そこで、このような場合は、偏光度判定部１１０９がシーン画像の偏光度ヒストグラムから平均偏光度判定を実施し、平均偏光度が所定閾値（Ｔρ１＝０．１）より低い場合には、これを採用せず、カラー色相と輝度を用いた方法に切り替える。以下、この処理を、図１１と図１４を用いて説明する。
【０１３２】
まず、図１１の色相誤差変換部１１０５において、空の色相である青の色相角とカラー画像Ｃの色相角との差異を示す色相角度の誤差を求めることにより、カラー画像Ｃが色相誤差画像に変換される。
【０１３３】
ここで、空の色相を青色としたのは、このカラー画像を使う処理が使われるのは空の偏光度が低く輝度も低い場合に限られ、それは朝方の西空、および夕方の東空のいずれかであるから、空の色は青色とみなしてよいという仮定に基づく。
【０１３４】
典型的な空の青色の色相角(０°〜３６０°)をＨｓｋｙ（＝２５４°）とし、入力されるシーンの色相角をＨｔｅｓｔとする。よく知られたＲＧＢ色空間からＨＳＶ(色相、彩
度、明度)空間の色相Ｈへの変換式(ＲＧＢ＿ｔｏＨ）を用い、さらに色相角が３６０度周期であることを考慮すると、色相誤差ΔＨは、以下の式で表現される。
【数９】
この色相誤差ΔＨを、図１１の色相２値化部１１０６で閾値処理することにより、カラー画像Ｃの中から青空の候補が求められる。
【０１３５】
図１４（Ａ）は、図１３と同じシーン画像に対して、図１１の色相誤差変換部１１０５で変換された色相誤差画像を表している。図１４（Ｂ）は、この色相誤差画像を色相２値化部１１０６において色相２値化処理(ＴＨ=２２０°)されたマスク画像を示している。
図１４（Ｃ）の画像は、図１１の輝度２値化部１１０４において、輝度をしきい値（ＴＣ２＝０．２９）で２値化した結果であり、図１４（Ｄ）の画像は、図１１の演算部１１０８で演算した結果得られるマスク画像である。晴天時は出力選択部１１１０により、このマスク画像部分が採用され、晴天空領域画像が生成される。
【０１３６】
図１５は、曇天空領域分離部２０５の構成を示すブロック図である。
【０１３７】
実験によれば、曇天の場合、シーン内で最高輝度になる領域が空である確率が高い。このため、カラー画像Ｃを輝度変換部１１０２で輝度画像に変換し、輝度画像を、輝度２値化部１１０３で２値化したマスクを形成する。それを偏光度画像および偏光位相画像との論理積をとる演算部１１１３および演算部１１１４を用いて、それぞれ、曇天時被写体偏光度画像ρｃｏおよび曇天時被写体偏光位相画像φｃｏを生成することができる。
【０１３８】
図１６は、晴天あるいは曇天の場合の空領域が分離された後のシーン画像を示しており、被写体の面の集合が切り出されている。ここから建物の各表面の法線を推定する。このシーンでは、建物は参照符号「１６０１」で示される屋根Ｒ１、参照符号「１６０２」で示される屋根Ｒ２、参照符号「１６０３」で示される正対した壁面Ｂ１、参照符号「１６０４」で示される側面の壁面Ｂ２、参照符号「１６０５」で示される壁面Ｂ１上のガラス部Ｗで構成され、それらが参照符号「１６０６」で示される地表面Ｇ上にあるとする。
【０１３９】
次に、図１７（Ａ）、（Ｂ）を参照して、晴天時の天空の偏光と、曇天時の天空の偏光と、被写体での鏡面反射の現象との関係を説明する。
【０１４０】
実験によれば、晴天時、屋外の被写体表面での鏡面反射の結果は、入射光の偏光状態に強く依存する。図１７（Ａ）の矢印１７０１は、入射光の偏光の向き（偏光主軸方向：振動面に平行）および大きさを表現しており、長方形１７０２は、当該被写体表面におけるＰ波とＳ波のエネルギー反射率の変化を表現している。このＰ波とＳ波のエネルギー反射率は屈折率ｎ＝１．４とした場合に図１８のようになり、常にＳ波がＰ波よりも反射率が高い。なお、図１８は、鏡面反射のフレネル反射率を入射角との関係で示す図である。
【０１４１】
ここで、入射光が１つの振動面のみ有する直線偏光（linearly polarized light）であるため、当該表面からの反射光は、入射する偏光（polarized light）の偏光位相角をや
や回転させ、矢印１７０３で示される向きに偏光した反射光が形成される。しかし、反射光の主軸方向はＳ方向を指すほどには回転しない。つまり、偏光を照明として入射させた場合は、鏡面反射後、その偏光位相と表面法線との間には直接の関係がなくなり、偏光から法線の情報が取得できなくなってしまう。これが後述する非偏光の照明の場合と大きく異なる点であり、屋外での天空照明で最も問題となる。ただし、この場合でも、確実に偏
光情報を使えるケースが存在する。
【０１４２】
図１８に示されるように、入射角が０度近傍（直上入射）の領域１８０１や、９０度近傍の領域１８０２などにおいては、Ｐ波とＳ波の反射率が互いに等しくなる。このため、これらの領域１８０１、１８０２の角度で鏡面反射した偏光については、上記のような偏光位相の変化が生じず、完全なミラー状態となるから、反射光は天空の偏光状態をそのまま映し出すことになる。つまり、カメラに対して完全背面や正対からの入射がある表面には、天空の偏光状態がそのまま映っているので、これは法線の情報として利用可能である。
【０１４３】
一方、曇天時には入射光が非偏光であり、非偏光状態は、図１７（Ｂ）の円１７０４で示すように、ほぼ等しい振幅の多数の異なる向きの振動面が合成された波によって表現される。このような光（非偏光照明）が被写体表面で反射すると、Ｐ波とＳ波のエネルギー反射率が異なることから。長方形１７０２のように変調されて楕円状の部分偏光（partially polarized light）１７０５になる。この時、部分偏光の主軸方向はＳ方向であり、被写体表面の法線は、この平面に含まれる。結局、曇天時屋外での非偏光の照明下では、被写体表面での鏡面反射の結果、被写体表面の法線情報を、反射光の偏光位相から求めることができる。
【０１４４】
以上の考察から、晴天時と曇天時で法線推定処理を以下のように構築できる。
【０１４５】
図１９は、晴天時法線推定部２０６の動作を示すフローチャートであり、図２０Ａはシーン画像の模式図を用いた説明図である。
【０１４６】
まず、ステップＳ１９０１において、被写体のある画素の偏光度および偏光位相を取得する。ステップＳ１９０２では、偏光度が一定値ρ１より低いか否かを判断する。偏光度が一定値ρ１より低い場合には、当該画素は太陽からの入射光を直接受光しておらず、多重反射された環境光を受光している場合の可能性が高い。実験によれば、環境光を受光する場合は、地上付近でカメラに正対する面の可能性が非常に高かった。そこで、この場合には、その画素が地上付近のカメラに正対する面の画素であるとして法線を設定する。このような面は、例えば図２０Ａにおいてカメラに正対する壁面Ｂ１に相当する。なお、図２０Ａ内の「×」は、偏光度が極めて低いことを意味する。
【０１４７】
ステップＳ１９０３では、図９の天空偏光マップから、当該画素の偏光位相に類似した偏光位相を有する部分を探索して、当該画素が鏡面反射している光の光源位置を天空から探し出す。ここで、偏光位相の角度表現の基準位置は、前述したように、図９（Ａ）、（Ｂ）に示される撮影範囲９０６のローカルな水平線９０２である。したがって、図９（Ｂ）の空の天頂９０１を中心とする天空位置座標（θＬ、φＬ）における偏光位相角φｓｋｙ（０°≦φｓｋｙ≦１８０°）を、この基準によって決定し、カメラで撮像された被写体の水平線基準からの偏光位相角φｏｂｊ（０°≦φｏｂｊ≦１８０°）を得たとすると、後述する（式１０）のＤｉｆｆφを最小とする天空位置座標（θＬ、φＬ）を求めることになる。
【０１４８】
図２０ＡのＧ，Ｗ領域は、この手法で探索される。まずＧ領域１６０６の偏光位相の角度（水平線に対する角度）は天空の領域２００２での偏光の偏光位相角度に極めて近いことが判明したとする。この場合、その天空の領域２００２のカメラ座標系での角度（θＬ、φＬ）を記録する。
【０１４９】
ここで注意するのは、被写体の正対面付近では、カメラの背後の天空から光が入射しているため、図２０ＡのＷ領域１６０５は、カメラ背後の天空の領域２００３を光源とする
光を入射角度０度付近で反射していることになる。図１８の領域１８０１の入射角では、カメラの正対状態でミラー的な反射が生じるため、天空の偏光位相は水平線を基準にして左右逆になる。図２０Ａの例では、Ｗ領域１６０５に入射した光の光源位置として、Ｗ領域１６０５の偏光位相が左右逆の向きの偏光位相を示す天空の領域２００４を探索することになる。
【０１５０】
本実施形態におけるカメラは、図１Ｃに示す被写体レンズ部１０１と、広角レンズ部１０２とを有しており、両者の座標系が異なっている。このため、偏光位相の探索には若干工夫が必要となる。
【０１５１】
図２０Ｂは、被写体レンズで撮影された被写体イメージを示す図である。偏光軸の角度を確定するためには、カメラ水平基準線２０１０が水平、すなわち地表の水平線に平行である必要がある。これは水平指示装置１０３を用いることで達成され、カメラで水平線を撮影することは必要ない。被写体からの反射光の偏光位相φｏｂｊは、図２０Ｂに示すカメラ基準線２０１０に対する角度である。この基準が狂うと、偏光位相の角度基準があいまいとなるため、探索が不可能になる。
【０１５２】
図２０Ｃは、天空を撮影する広角レンズで撮影された天空イメージを示す図である。以下、図２０Ｃを参照しながら、全天からの偏光位相を探索する場合の座標変換を説明する。
【０１５３】
方向２０２１は、カメラの被写体レンズ図の向く方向である。全天の偏光位相角は、すべて、基準線２０２２からの角度となる。基準線２０２２を境界に、方向２０２１の向いている領域を、「カメラ前の天空領域」２０２３と「カメラ背後の天空領域」２０２４に２分割することができる。
【０１５４】
被写体レンズで撮影された画像からは、撮影範囲９０６に対して、上記のようにローカルな水平線９０２を基準に偏光位相２０１１が抽出される。ここでローカルな水平線９０２と全天偏光位相角基準線の２０２２とは平行であるから、「カメラ前の天空領域」２０２３を探索する場合には、その領域に存在する天空の偏光位相角度φｓｋｙ（領域２０２５）は、そのまま利用すればよい。
【０１５５】
そして、「カメラ背後の天空領域」２０２４を探索する場合には、ちょうど基準線２０２２に対して対称となる角度に変換して探索すればよい。偏光位相角度がもともとは０°から１８０°の範囲であることを考慮すると、Ｄｉｆｆφは、次の（式１０）で表される。
【数１０】
したがって、式１０のＤｉｆｆφが最小値となる天空の場所を探索すればよい。
【０１５６】
ステップＳ１９０５では、こうして見つけられた天空の光源位置、被写体の画素位置、およびカメラの観測視点に基づいて、幾何学的に被写体の画素位置における法線を計算する。図２１は、この処理を説明する図である。カメラ定座標系において、天空の光源位置座標（θＬ、φＬ）２１０１に相当するベクトルＬ（２１０２）と、カメラの視線ベクト
ルＶ（２１０３）を確定した場合、法線Ｎ（２１０４）を、その２等分ベクトルとして求めることができる。
【０１５７】
なお、本明細書では、このようにして法線を推定する方法を「幾何学に基づく法線推定」と呼ぶ。一方、偏光していない光が被写体に入射し、被写体の表面における鏡面反射によって生じた偏光に基づいて法線を推定する方法を「鏡面反射偏光に基づく法線推定」と呼ぶ場合がある。
【０１５８】
再び図１９を参照する。
【０１５９】
ステップＳ１９０６では、入射角θを幾何学的に求めた法線の信頼度とする。これは前述のように被写体の偏光が天空の偏光と類似しても、入射角θが０付近あるいは９０度付近の場合にのみミラー的な反射が発生するためであり、θが４５度近傍では正しく天空の偏光を映しているとはいえなくなるためである。すなわち信頼度Ｃｏｎｆは、例えば以下の式で示される。
【数１１】
このようにして信頼度Ｃｏｎｆを決定した場合、信頼度信頼度Ｃｏｎｆの値が０に近いほど信頼度が向上し、４５に近くなるほど信頼度が低下することになる。
【０１６０】
図２２は、幾何学的に求められた法線に対して、入射角θと信頼度Ｃｏｎｆが付与された状態を模式的に示している。地表面であるＧ領域２２０１、カメラに正対する壁面であるＢ１領域２２０２、同じくカメラに正対する窓ガラスであるＷ領域の信頼度が高く（数値的にはここでは０）なっている。
【０１６１】
図１９のステップＳ１９０７では、偏光していない（非偏光）光の鏡面反射偏光に基づいて法線を計算する。一般に、晴天時においても、天空には、部分的な雲領域に起因する非偏光領域がある。その場合には、鏡面反射光の偏光状態に基づいて表面法線を推定することができる。この鏡面反射光の偏光に基づく法線取得は、曇天時の法線取得と同一の方法で実施可能である。
【０１６２】
図２３を参照する。図２３は、シーン画像に対して観測された偏光位相を示す図である。
【０１６３】
図２３の両矢印で示す被写体表面上の点における偏光位相（画像面内角度）は、反射の結果、（式７）のとおり、部分偏光の主軸の直交方向を表している。フレネル反射の理論から、鏡面反射の場合、この位相角の示す方向に平行な面内に被写体の法線が包含される。このことに基づいて、２自由度（ψＮ、θＮ）を有する法線の方向のうちの１自由度を求めることができる。すなわち、図２３に示す被写体各部での偏光位相の示す方向そのものが、法線の１自由度（ψＮ）となる。ただし、位相の方向は１８０度の不定性がある。これについては、図２１で示すように、屋外にある被写体の屋根などの傾斜がカメラに向かって必ず上向きであることを仮定すれば、確定することができる。
【０１６４】
もう１つの自由度θＮは、特許文献１の方法によれば、入射角θが偏光度ρと以下の関係を有することから決定できる。これは、被写体屈折率をｎとした場合、入射角θと偏光度ρの間に以下の関係式が成立するためである。
【数１２】
【０１６５】
図２４は、この式の関係をグラフ化したものであり、横軸が入射角θ、縦軸が偏光度ρである。ここで偏光観測によって偏光度ρが得られると、ｎを１．４など典型的な物質定数と仮定して、角度θが得られる。ここで問題となるのは、参照符号２４０２で示すブリュースター角θＢをはさんで２個の解候補θ１、θ２が得られることである。そこで、本実施形態においては、解候補をブリュースター角よりも小さい範囲（矢印２４０１で示される範囲）に制限し、その範囲内から１個の候補θ１を選択することとする。これは、屋外における建物を撮影する場合、その壁面への照明の入射角が６０〜７０度以上になるときは、ほぼ背景の空からの光によって図１８における完全ミラー状態となっている可能性が高いため、幾何学に基づく法線が採用される可能性が高いためである。θが推定された後は、カメラの視線ベクトルＶを用いて法線ベクトルが確定する。
【０１６６】
ステップＳ１９０８では、今求めた鏡面反射偏光に基づく法線の信頼度を計算する。この信頼度は、鏡面反射偏光を使う場合の前提である入射光の非偏光性を検査することによって得られる。具体的には、法線ベクトルと視線ベクトルから光源ベクトルを求め、全天偏光マップから該当する光源位置での偏光度ρを調査する。
【数１３】
【０１６７】
図２５は、鏡面反射偏光に基づく法線の２自由度が確定した状態と、それに付随した信頼度とを示す図である。
【０１６８】
ステップＳ１９０９では、図２２に示す法線候補と図２５に示す法線候補の２種の法線候補のうち、各々の評価基準に基づいて信頼度Ｃｏｎｆが高い（値としては０に近い）法線を採用する。そして、こうして採用することにした幾何学に基づく法線あるいは鏡面反射偏光に基づく法線を当該画素位置に格納する。
【０１６９】
この処理は、例えば、図２２に示すＣｏｎｆが１０以上の法線２２０４、２２０５を削除し、図２５に示すＣｏｎｆが０.５以上の法線２５０１、２５０２を削除することによ
って行われる。
【０１７０】
図２６は、信頼度の評価を行った結果の法線の例を示す。この例では、Ｂ１領域は別として、Ｇ、Ｗ領域は幾何学に基づく法線が採用され、その他の領域Ｒ１、Ｒ２、Ｂ２では、鏡面反射された偏光に基づく法線が採用されたことがわかる。
【０１７１】
図２７は、曇天時の法線推定を実施するためのフローチャートである。フローの内容は、晴天時法線推定部２０６における鏡面反射偏光に基づく法線推定と同じである。ただし、曇天時には、全天で照明は非偏光であることが前提であるから、信頼度などの計算（図１９におけるステップＳ１９０９）は必要ない。
【０１７２】
以下、図２７のフローを説明する。
【０１７３】
まず、ステップＳ２７０１において、被写体の当該位置で偏光度および偏光位相を取得する。次に、ステップＳ２７０２において、偏光度が一定値ρ１より低いか否かを判断する。偏光度が一定値ρ１より低い場合には、ステップＳ２７０３に進み、その画素が地上
付近のカメラに正対する面の画素であるとして法線を設定する。偏光度が一定値ρ１以上の場合には、ステップＳ２７０４において、前述した方法により、鏡面反射偏光に基づいて法線を計算する。ステップＳ２７０５では、求めた表面法線をメモリに格納する。
【０１７４】
次に、上述に処理によって得た法線情報を用いて擬似立体化を行う擬似立体化部２０５における処理を説明する。
【０１７５】
図２８は、擬似立体化部２０８の処理の流れを示すフローチャートである。ステップＳ２８０１は、被写体の法線画像が取得され、ステップＳ２８０２では、類似した法線をまとめて面を構成する。これは図１６のＧ，Ｗ，Ｂ１，Ｂ２，Ｒ１，Ｒ２の各領域を識別することに相当する。ステップＳ２８０３では各面の頂点を検出し、その画像上の２次元座標（ｕ，ｖ）を抽出する。ステップＳ２８０４ではカメラパラメータを取得する。カメラパラメータは内部パラメータと外部パラメータからなり、内部パラメータはカメラのレンズ歪みを無視すれば、焦点距離ｆと光軸中心(ｕ０、ｖ０)であり、外部パラメータはカメラ座標系と世界座標系との並進と回転行列からなる。カメラの内部、および外部パラメータの求め方はコンピュータビジョンの典型的な手法を使えるので詳細は省略する。
【０１７６】
内部パラメータは予めカメラ内に記憶しておく。外部パラメータは撮影の仕方に依存するが、ここでは簡単のために光軸は地表に平行で地表に対して正対すなわち光軸のピッチ角、ロール角も０とする。
【０１７７】
図２９は、このような撮影状態における世界座標系とカメラ座標系の関係を図で示したもので、地表平面２９０１、画像面２９０２、光軸中心２９０３、被写体上の面２９０４を示す。カメラ座標系は視点Ｃを原点とする(ｘｃ、ｙｃ、ｚｃ)座標系であり、世界座標系は地表上の任意点を原点として(Ｘｗ、Ｙｗ、Ｚｗ)とする。被写体の面２９０４には法線Ｎが付随しており、底面Ｐ１Ｗ，Ｐ２Ｗがカメラに投影されてＰ１，Ｐ２となる。
【０１７８】
ステップＳ２８０５では地表平面を、以下の式で表現する。
【数１４】
ここで、ｈはカメラ座標系と地表平面上の世界座標系とのＹ軸上のズレすなわちカメラの地表からの高さに相当する。
【０１７９】
ステップＳ２８０６では、地表平面と被写体底面との交点であるＰ１，Ｐ２の世界座標Ｐ１Ｗ，Ｐ２Ｗを計算する。Ｐ１を例にとって計算すると、Ｐ１（ｕ，ｖ）とカメラ座標系での（Ｘｃ，Ｙｃ，Ｚｃ）は以下の関係がある。
【数１５】
カメラ座標系と世界座標系の関係は、今回は、以下の（式１６）であらわされる。
【数１６】
以上から、Ｐ１Ｗの世界座標値は、直線２９０５と地表平面２９０１との交点として得られ、以下の式で示される。
【数１７】
【０１８０】
ステップＳ２８０７では、Ｐ２など、図３０（Ａ）で示す各頂点の世界座標位置を計算する。この計算は上記のように地表平面との交点Ｐ１，Ｐ２，Ｐ３を確定した後に面の法線Ｎを利用して平面を確立し、上記と同様にカメラ平面上での座標とカメラ視点原点からの引いた直線との交点を計算すれば得られる。
【０１８１】
ステップＳ２８０８では、新規なカメラ視点位置Ｃｎｅｗを設定して視点変換を実施して擬似立体化を実現する。この処理はカメラ外部パラメータ、すなわち（式１５）に替わる世界座標系とカメラ座標系の新規な関係式を作り、世界座標系でのＰ１〜Ｐ７の各頂点を（式１４）のカメラ投影式でカメラ平面に投影することにより実現でき、図３０（Ａ）の画像を図３０（Ｂ）のように視点変換した画像が得られる。
【０１８２】
なお、全天偏光マップ取得部は、現実に空の偏光状態を測定する機構を有している必要は無く、撮影日時および撮影地点の緯度などから全天偏光マップのデータベースにアクセスし、データベースから必要な全天偏光マップを取得し、これにＧＰＳ装置から得られるカメラ向き情報を併用して利用しても良い。その場合、全天偏光マップ取得部２０２は、偏光情報取得部２００内に配置される必要は無い。
【０１８３】
図３１に示す実施形態では、全天偏光マップ取得部２０２は、撮影日時および撮影地点の緯度をデータベース３１００に通知し、該当する全天偏光マップをデータベース３１００から取得する。また全天偏光マップに対するカメラによる撮影向きをＧＰＳから取得する。
【０１８４】
画像処理装置は、それ自身がデータベース３１０を記憶装置内に備えていても良いが、図３２に示すように、通信装置３１１０を介して外部のデータベース（不図示）にアクセスするようにしてもよい。また、天候判定部２０３も、カラー偏光画像取得部２０１の出力に基づいて天候を判定する代わりに、図３２の通信装置３１１０を介して、現在の天候が晴天か曇天かを示す情報を外部から取得し、それによって法線推定方法を切り替えても良い。
【０１８５】
（実施の形態２）
次に、本発明による画像処理装置の第２の実施の形態について説明する。
【０１８６】
上記の実施の形態１における画像処理装置は、異なる色の輝度情報を取得できるカラー偏光画像撮像部を備えているが、本発明による画像処理を実行するためには、必ずしもカラー画像を取得する必要はない。例えば単色モノクロの輝度画像によっても本発明の画像処理を実現できる。
【０１８７】
図３３は、本実施の形態における画像処理装置の構成を示す図である。図３３の構成において、第１の実施形態と異なる部分は、画像処理装置が偏光画像取得部３３０１および全天偏光マップ取得部３３０２を含む偏光情報取得部３３００を備えている点と、法線推定部２１０に含まれる晴天空領域分離部３３０３および曇天空領域分離部３３０４の動作が実施形態１から異なっている点である。
【０１８８】
図３４に偏光情報取得部３３００の構成を示す。偏光情報取得部３３００は、カラー偏光撮像素子の代わりに、偏光輝度撮像素子３４０１を有している。偏光輝度撮像素子３４０１は、シーンの輝度画像と偏光画像をリアルタイムに取得する。このためには、例えば特許文献３に開示されている技術（パターン化偏光子）を利用することができる。
【０１８９】
図３５は、このような偏光輝度撮像素子３４０１の構成例を示す。図示される構成例では、狭帯域カラーフィルタとパターン化偏光子が、撮像素子画素の前面に重ねて設置されている。入射光は狭帯域カラーフィルタ、パターン化偏光子を透過して撮像素子に到達し、撮像素子画素によってモノクロ輝度が観測される。なお、狭帯域カラーフィルタは、パターン化偏光子の動作する波長帯を選択するように例えば５００〜５５０ｎｍの透過域を有するものとする。
【０１９０】
本実施形態では、０度、４５度、９０度、１３５度の偏光透過角を有するパターン偏光子を４画素一括で１画素とみなして処理を実施する。これらを輝度で平均化すると、（式８）でＲＧＢのカラーについて実施したのと同じ処理で、モノクロ輝度を算出することができる。
【０１９１】
図３４に示す画像情報処理部３４０２では、この処理により、輝度画像Ｙを生成する。偏光情報処理部３０６は、(式１)から（式６）を参照して説明した処理と同一の処理を実施する。本実施形態のパターン化偏光子も、フォトニック結晶、フィルム型の偏光素子、ワイヤーグリッド型、その他の原理による偏光素子であってもよい。
【０１９２】
図３６は、晴天空領域分離部３３０３の構成例を示すブロック図である。晴天空領域分離部３３０３は、偏光度画像ρ、および輝度画像Ｙを入力として、シーンの中から空領域を分離した被写体偏光度画像ρｆｏ、被写体偏光位相画像φｆｏを出力する。偏光度２値化部１１０１は、偏光度画像ρをしきい値Ｔρで２値化する。輝度２値化部１１０３，１１０４は、輝度画像をしきい値ＴＣ１、およびＴＣ２で２値化処理する。演算部１１０７は、偏光度２値化部１１０１にて２値化された偏光画像と輝度２値化部換１１０３によって２値化された輝度画像とのＡＮＤ（論理積）演算をする。
【０１９３】
被写体マスク選択部１１１０は、偏光度判定部１１０９の結果に基づいて、（ｉ）偏光度と輝度とに基づいて生成された第一の青空領域マスク１１１１、（ｉｉ）輝度に基づいて生成された第二の青空領域マスク３６０１とのいずれを採用するかを決定する。
【０１９４】
演算部１１１３および演算部１１１４は、出力される被写体マスク画像１１１５と、偏光度画像ρ、偏光位相画像φとの論理積演算を実施して、晴天時被写体偏光度画像ρｆｏと晴天時被写体偏光位相画像φｆｏとを生成する。
【０１９５】
この晴天空領域分離部３３０３はモノクロ輝度画像のみを使うため、カラー画像を用い
る第１の実施形態の場合に比べて色相情報が欠如している。その結果、偏光度、輝度とも低い夕方の時刻の東空、朝方の時刻の西空については情報が少なく検出が困難になる可能性がある。しかし多くのアプリケーションにおいて屋外撮影は昼の時間帯の撮影が最も多いと考えられるため大きな問題にはならない。
【０１９６】
図３７は、曇天空領域分離部３３０４の構成を示すブロック図である。曇天の場合はシーン内で最高輝度になる領域が空である確率が高いため、輝度画像を、輝度２値化部１１０３で２値化したマスクを形成する。それを偏光度画像および偏光位相画像との論理積をとる演算部１１１３および演算部１１１４を用いて、それぞれ、曇天時被写体偏光度画像ρｃｏおよび曇天時被写体偏光位相画像φｃｏを生成することができる。
【０１９７】
本実施形態における晴天時法線推定部２０６、曇天時法線推定部２０７、擬似立体化部２０８については、第一の実施形態における晴天時法線推定部２０６、曇天時法線推定部２０７、擬似立体化部２０８と構成および動作が同一のため、説明は省略する。
【産業上の利用可能性】
【０１９８】
本発明は、屋外などで撮影された通常の２次元の静止画、動画、すなわち奥行き情報が与えられていない画像から３次元形状を推定し、視点変換を実施することにより、擬似的な立体画像を生成できる。特に屋外の天空照明を利用した偏光情報を用いて、パッシブ(
受動的)に形状を取得できることから、巨大な建物や遠距離の被写体の形状取得とその立
体的な観察に好適である。民生品カメラ、ムービー、ＩＴＳ、監視カメラ、建築分野、屋外建物地図情報アプリなどに広く適用可能である。
【符号の説明】
【０１９９】
２００ 偏光情報取得部
２０１ カラー偏光画像取得部
２０２ 全天偏光マップ取得部
２０３ 天候判定部
２０４ 晴天空領域分離部
２０５ 曇天空領域分離部
２０６ 晴天時法線推定部
２０７ 曇天時法線推定部
２０８ 擬似立体化部
２１０ 法線推定部
【特許請求の範囲】
【請求項１】
複数の画素の偏光情報を有する偏光画像を取得する偏光画像取得部と、
前記偏光画像が有する偏光情報に基づいて、屋外に位置する被写体の表面の法線を推定する被写体法線推定部と、
全天における位置と前記位置における偏光情報との関係を示す全天偏光マップを取得する全天偏光マップ取得部と、
を備え、
前記被写体法線推定部は、前記全天偏光マップを用いて前記偏光情報から前記被写体の表面における鏡面反射光の偏光状態を求めることにより、前記被写体の表面の法線を推定する、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置によって推定された被写体の表面の法線に基づいて、前記表面法線に垂直な面を抽出する面抽出部と、
前記面抽出部によって抽出された面に基づいて、視点変換を施すことにより別の視点でのシーン画像を生成する擬似立体化部と
を有する擬似立体画像生成装置。
【請求項３】
前記擬似立体化部は、
前記面抽出部によって抽出された面の頂点の世界座標を推定する請求項２に記載の擬似立体画像生成装置。
【請求項４】
屋外シーンの偏光画像を取得するステップと、
全天偏光マップを取得するステップと、
を含み、
前記偏光画像から屋外の被写体の表面における鏡面反射光の偏光状態を検出して、前記全天偏光マップに基づいて前記被写体の表面の法線を推定するステップと
を含む画像処理方法。
【請求項５】
天候の状態が晴天と判定された場合、幾何学に基づく法線と鏡面反射偏光に基づく法線の２種類を用いて法線推定を実施する請求項４に記載の画像処理方法。
【請求項６】
光源の入射角が小さい場合には幾何学に基づく法線推定の信頼度を増加し、
光源の偏光度が小さい場合には鏡面反射偏光に基づく法線推定の信頼度を増加し、
最終的に信頼度の高い法線を採用する請求項５に記載の画像処理方法。
【請求項７】
屋外シーンの偏光画像を取得するステップと、
全天偏光マップを取得するステップと、
前記偏光画像が有する偏光情報に基づいて屋外に位置する被写体の表面の法線を推定するステップと、
推定された被写体の表面の法線に基づいて、前記表面法線に垂直な面を抽出するステップと、
視点変換を施すことにより別の視点でのシーン画像を生成するステップと
を含み、
前記被写体の表面の法線を推定するステップは、
前記偏光画像から屋外の被写体の表面における鏡面反射光の偏光状態を検出して、前記全天偏光マップに基づいて前記被写体の表面の法線を推定するステップを含む、擬似立体画像生成方法。
【請求項８】
抽出された面の頂点の世界座標を推定するステップを含む請求項７に記載の擬似立体画像生成方法。
【請求項９】
屋外シーンの偏光画像を取得するステップと、
全天偏光マップを取得するステップと、
前記偏光画像から屋外の被写体の表面における鏡面反射光の偏光状態を検出して、前記全天偏光マップに基づいて前記被写体の表面の法線を推定するステップと
を画像処理装置に実行させるコンピュータプログラム。
【請求項１】
複数の画素の偏光情報を有する偏光画像を取得する偏光画像取得部と、
前記偏光画像が有する偏光情報に基づいて、屋外に位置する被写体の表面の法線を推定する被写体法線推定部と、
全天における位置と前記位置における偏光情報との関係を示す全天偏光マップを取得する全天偏光マップ取得部と、
を備え、
前記被写体法線推定部は、前記全天偏光マップを用いて前記偏光情報から前記被写体の表面における鏡面反射光の偏光状態を求めることにより、前記被写体の表面の法線を推定する、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置によって推定された被写体の表面の法線に基づいて、前記表面法線に垂直な面を抽出する面抽出部と、
前記面抽出部によって抽出された面に基づいて、視点変換を施すことにより別の視点でのシーン画像を生成する擬似立体化部と
を有する擬似立体画像生成装置。
【請求項３】
前記擬似立体化部は、
前記面抽出部によって抽出された面の頂点の世界座標を推定する請求項２に記載の擬似立体画像生成装置。
【請求項４】
屋外シーンの偏光画像を取得するステップと、
全天偏光マップを取得するステップと、
を含み、
前記偏光画像から屋外の被写体の表面における鏡面反射光の偏光状態を検出して、前記全天偏光マップに基づいて前記被写体の表面の法線を推定するステップと
を含む画像処理方法。
【請求項５】
天候の状態が晴天と判定された場合、幾何学に基づく法線と鏡面反射偏光に基づく法線の２種類を用いて法線推定を実施する請求項４に記載の画像処理方法。
【請求項６】
光源の入射角が小さい場合には幾何学に基づく法線推定の信頼度を増加し、
光源の偏光度が小さい場合には鏡面反射偏光に基づく法線推定の信頼度を増加し、
最終的に信頼度の高い法線を採用する請求項５に記載の画像処理方法。
【請求項７】
屋外シーンの偏光画像を取得するステップと、
全天偏光マップを取得するステップと、
前記偏光画像が有する偏光情報に基づいて屋外に位置する被写体の表面の法線を推定するステップと、
推定された被写体の表面の法線に基づいて、前記表面法線に垂直な面を抽出するステップと、
視点変換を施すことにより別の視点でのシーン画像を生成するステップと
を含み、
前記被写体の表面の法線を推定するステップは、
前記偏光画像から屋外の被写体の表面における鏡面反射光の偏光状態を検出して、前記全天偏光マップに基づいて前記被写体の表面の法線を推定するステップを含む、擬似立体画像生成方法。
【請求項８】
抽出された面の頂点の世界座標を推定するステップを含む請求項７に記載の擬似立体画像生成方法。
【請求項９】
屋外シーンの偏光画像を取得するステップと、
全天偏光マップを取得するステップと、
前記偏光画像から屋外の被写体の表面における鏡面反射光の偏光状態を検出して、前記全天偏光マップに基づいて前記被写体の表面の法線を推定するステップと
を画像処理装置に実行させるコンピュータプログラム。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０Ａ】
【図２０Ｂ】
【図２０Ｃ】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図１Ｂ】
【図１Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０Ａ】
【図２０Ｂ】
【図２０Ｃ】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【公開番号】特開２０１０−２７９０４４（Ｐ２０１０−２７９０４４Ａ）
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願番号】特願２０１０−１４７９０３（Ｐ２０１０−１４７９０３）
【出願日】平成２２年６月２９日（２０１０．６．２９）
【分割の表示】特願２０１０−５２０３６５（Ｐ２０１０−５２０３６５）の分割
【原出願日】平成２１年１２月１６日（２００９．１２．１６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願日】平成２２年６月２９日（２０１０．６．２９）
【分割の表示】特願２０１０−５２０３６５（Ｐ２０１０−５２０３６５）の分割
【原出願日】平成２１年１２月１６日（２００９．１２．１６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]