シーンの白色点を計算するためのノイズ最適化された選択基準の使用
【課題】改善された選択的グレーワールド手法で画像のより正確なホワイトバランス調整を提供する。
【解決手段】カラーバランス調整のための選択的グレーワールド手法を実装する方法などを説明する。本発明は、ノイズ最適化された選択基準を使用し、より具体的な実施形態では、ホワイトバランスゲインを計算する際にノイズ最適化された重み付き表の中の対応する値の間の補間を使用する。推定シーン・ルクスレベルは、期待シーン・ノイズレベルの有用な指標を与える。本画像処理技術は、画像キャプチャ装置、又は、ユーザレベルのソフトウェア・アプリケーションを実行する汎用プロセッサにより実行される。本カラーバランス調整技術は、専用若しくは汎用ハードウェア、汎用アプリケーション・ソフトウェア、又はコンピュータシステムにおけるソフトウェアとハードウェアとの組合せにより実装される。
【解決手段】カラーバランス調整のための選択的グレーワールド手法を実装する方法などを説明する。本発明は、ノイズ最適化された選択基準を使用し、より具体的な実施形態では、ホワイトバランスゲインを計算する際にノイズ最適化された重み付き表の中の対応する値の間の補間を使用する。推定シーン・ルクスレベルは、期待シーン・ノイズレベルの有用な指標を与える。本画像処理技術は、画像キャプチャ装置、又は、ユーザレベルのソフトウェア・アプリケーションを実行する汎用プロセッサにより実行される。本カラーバランス調整技術は、専用若しくは汎用ハードウェア、汎用アプリケーション・ソフトウェア、又はコンピュータシステムにおけるソフトウェアとハードウェアとの組合せにより実装される。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、カラーバランス調整の分野に関する。限定を目的とするわけではないが、より詳細には、ノイズ最適化された選択基準を用いることによるオートホワイトバランス（ＡＷＢ）アルゴリズムの性能を改善するための技術に関する。
（関連出願の相互参照）
本出願は、２０１１年１０月１２日に出願された米国特許仮出願第６１／５４６，１４６号に基づく優先権を主張するものであり、この全体が、引用により本明細書に組み入れられる。
【背景技術】
【０００２】
カラーバランス調整は、画像内の色の強さの包括的な調整であると考えることができる。カラーバランス調整の１つの目標は、特定の色、例えば昼白色を、その画像がキャプチャされた実際の物理的なシーン内でその色が現れた通りに可能な限り正確にレンダリングすることである。昼白色を正しくレンダリングする場合、そのプロセスは、しばしば、「ホワイトバランス調整」と呼ばれる。ほとんどのデジタルカメラは、そのカラーバランス調整及び色補正の決定を、少なくとも部分的に、シーンの発光源のタイプに基づいて行う。例えば、白い用紙の色は、蛍光灯の下では直射日光の中で見るのとは異なって見える。実行すべき色補正のタイプは、キャプチャされた画像についてのシーンの発光源を知っているデジタルカメラのユーザが手動で指定することもでき、又は様々なＡＷＢアルゴリズムのうちの１つ又はそれ以上を用いてプログラムで設定することもできる。
【０００３】
シーンの「白色点」は、既知の光源の集合に対する既知の応答を有するカメラの画像センサによりキャプチャされた１つ又は複数の画像を評価することにより、推定することができる。発光源に対するカメラ応答は、以下の式により特徴付けることができ、
Ｃwhite＝Ｓ＊Ｐ （式１）
ここで、Ｐは光源のスペクトルパワー分布の集合を表わし、Ｓはカメラのスペクトル感度であり、Ｃwhiteはカメラの応答ベクトルである。換言すれば、カメラの応答は、個々の光源のタイプ並びに個々のカメラのスペクトル応答の両方の関数である。
【０００４】
実世界の撮像においては、カメラの応答は、そのシーン内の被写体表面から反射した光の関数でもある。この関係は、
Ｃobjects＝Ｓ＊Ｒ＊Ｐ （式２）
と記述することができ、ここでＲは、被写体表面のスペクトル反射率を表わす。
【０００５】
ＡＷＢアルゴリズムが対処する根本的な課題は、既知の応答及びカメラ感度（Ｓ）並びにシーン内の未知の被写体表面（Ｒ）を用いて未知の光源（Ｐ）により生じたキャプチャされた画像から、シーン光源の白色点を解明しようとすることである。
【０００６】
画像データのみからシーン白色点を推定することの不確実性を解決するために、学界及び産業界の両方において、様々な異なる方法が研究されている。最も基本的な「グレーワールド」ＡＷＢアルゴリズムは、解を制約するために、実世界における被写体表面の反射率分布に関しての強力な仮定、すなわち、シーン全体の色を平均すると灰色になるという仮定を立てる。その他の公表された方法としては、それほど強力ではないが、より原理に基づいた表面反射率及び発光源分布のモデル化を行って、より良い推定に到達する、ベイズの推定の変法、異なる発光源の下での画像色度の固有の分布をその発光源推定のために利用する「相関による色（ｃｏｌｏｒ ｂｙ ｃｏｒｒｅｌａｔｉｏｎ）」アルゴリズム、さらには、シーンにおける鏡反射率又は微小鏡反射率の情報から白色点値を導出するアルゴリズムのクラスが挙げられる。
【０００７】
しかしながら、グレーワールド法は、実装が容易で適度に安定性があるので、産業上の実地で最も普及したホワイトバランス法は、やはり、修正されたグレーワールド法に大まかに基づくものである。このような手法には多くのバリエーションが存在し得るが、そのほとんどは、最初に、信頼できそうな光源で照明された中立の（ｎｅｕｔｒａｌ）表面からのものである可能性が高いピクセル応答の部分集合を選択し、次に、そのようなピクセルの平均色度がそのシーンにおける真の白色／灰色を表わす可能性が高いという仮定を立てることを伴う。このクラスの方法は、本明細書において「選択的グレーワールド」アルゴリズムと呼ばれる。
【０００８】
そのような選択的グレーワールド法に付随する最大の制限は、オリジナルのグレーワールド法を非実用的にさせているのと同じ制限、すなわち、「灰色らしい」ピクセルの応答は実際に平均すると灰色になるという仮定である。共通発光源（ｃｏｍｍｏｎ ｉｌｌｕｍｉｎａｎｔ）の下での典型的な被写体表面に対するカメラ応答のモデル化から、この仮定に反する場合が多いことが確認された。例えば、各々の使用シナリオの発光源及び表面分布に依存して、幾つかの「灰色らしい」ピクセル応答は、他のピクセル応答よりも灰色である可能性が高く、すなわち、幾つかのピクセル応答は、他のピクセル応答よりも真の白色点に関する情報をより多く持っている。白色点推定精度を高めるために、重み付けスキームを用いてこれらのピクセル応答を別様に処理することができる。キャプチャされた画像の「灰色らしい」ピクセルの部分集合が選択されると、シーンの白色点は、これらのピクセル値の加重和
ｒ＝ｓｕｍ（Ｒ＊Ｗ）／ｓｕｍ（Ｗ）
ｇ＝ｓｕｍ（Ｇ＊Ｗ）／ｓｕｍ（Ｗ） （式３）
ｂ＝ｓｕｍ（Ｂ＊Ｗ）／ｓｕｍ（Ｗ）
として計算することができ、ここで、Ｗは重みベクトルを指し、Ｒ、Ｇ、Ｂはピクセルの色ベクトルである。
【０００９】
画像のホワイトバランスを得るためには、２つのチャネルだけを調整すればよく、それらは通常、ｒチャネル及びｂチャネルであり、
Ｒ’＝（ｇ／ｒ）Ｒ （式４）
Ｂ’＝（ｇ／ｂ）Ｂ
ここで、Ｒ及びＲ’は、ホワイトバランス調整の前及び後の赤色チャネル応答であり、Ｂ及びＢ’は、ホワイトバランス調整の前及び後の青色チャネル応答である。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従って、改善された「選択的グレーワールド」手法を用いて、画像におけるより正確なホワイトバランス調整を提供する技術が必要とされている。ホワイトバランスゲインを計算するときに、信頼できそうな中立のピクセル値のインテリジェントな重み付けを行うことにより、白色点をより正確に計算することができる。
【課題を解決するための手段】
【００１１】
本開示は、カラーバランス調整のための、より効果的な「選択的グレーワールド」手法を実装するための装置及びコンピュータ可読媒体に関する。本明細書で説明される技術は、ノイズ最適化された選択基準の使用を伴い、より具体的には、幾つかの実施形態においては、ホワイトバランスゲインを計算する際に、ノイズ最適化された重み付きルックアップ表（すなわち「重み付き表」）間の補間の使用を伴う。推定シーン・ルクスレベルは、期待シーン・ノイズレベルの有用な指標を与えることができる。本明細書で説明されるカメラ画像処理技術は、画像キャプチャ装置により実行することもでき、又は汎用ＰＣソフトウェア・アプリケーション形式で実行することもできる。本明細書で説明されるカラーバランス調整技術は、専用若しくは汎用ハードウェア、汎用アプリケーション・ソフトウェア、又はコンピュータシステムにおけるソフトウェアとハードウェアとの組合せにより実装することができる。
【００１２】
背景技術の項で説明したように、ＡＷＢアルゴリズムの重要な目的は、シーン白色点を計算するために、キャプチャされた画像内の信頼できそうな「白色」ピクセルを識別し、次に、より正確なシーン白色点の推定を与える、これらの選択されたピクセル値についての感知し得る統計量を生成することである。
【００１３】
シーンの構成における変動に加えて、「あるピクセルが灰色である確率」は、センサの特性、特にセンサのスペクトル感度及びノイズ特性にも影響を受ける。例えば、低光量条件下でセンサのノイズレベルが高い場合には、より明るい照明の下では灰色面からものとされる可能性が低そうなピクセル応答が、その低光量条件下での白色点の統計量に大きく寄与するものとなる可能性が高い。本明細書で説明される技術の１つの目的は、白色点の実推定量を与えるピクセル統計量の集合を原理に基づいた方式で生成するために、これらの変動を、「灰色らしい」ピクセルの平均が実際に真の灰色に対応するという仮定を盲信するのではなく、推定センサノイズレベルに基づいてモデル化することである。
【００１４】
本開示の１つの態様は、広範囲の画像キャプチャ条件にわたる画像のノイズの特性に基づいた一連の白色ピクセル選択基準を提案する。これらのいわゆる「ノイズ最適化された」選択基準は、多くの形態で具体化することができ、例えば、二者択一の選択基準（すなわち、あるピクセルが「考慮に入れられる」又は「考慮に入れられない」）による、若しくはルックアップ表（例えば、重み付き表の形態で具体化され、これは、幾つかの実施形態においては重み付きマスクとして視覚化することができる）による公式を通じて、又は、その他の任意の適用可能な形態で具体化することができる。これらの基準は、異なる発光源に対するカメラ応答のモデル化、及び、個々のイメージングセンサのノイズの特性に基づいて、公式化することができる。各々のカメラの画像センサについて白色点選択基準の集合を予め計算し、これを画像キャプチャ装置自体の中に格納するか又はアプリケーション・ソフトウェア形式の中に格納することができる。現場での使用中に、露光時間及びセンサゲインのような画像キャプチャ・パラメータから、キャプチャされた各画像の特定のノイズレベルを推定することができ、次にこれらを用いて、装置又はアプリケーション・ソフトウェア内に格納された多重の集合の中からどの白色点選択基準の集合を用いるかを決定することができる。
【００１５】
従って、本明細書で説明される１つの実施形態においては、プログラム可能な制御装置によって読み出すことができる一時的ではないプログラム格納装置が開示され、この一時的ではないプログラム格納装置は、その上に格納された命令を含み、この命令は、プログラム可能な制御装置に、画像センサによりキャプチャされた画像から取得された画像ピクセルデータをメモリ内に格納させるための命令と、画像ピクセルデータを色空間にわたる画像ピクセル値の集合に変換させるための命令と、画像についてのノイズレベルを推定させるための命令と、推定ノイズレベルに少なくとも部分的に基づいて、ノイズ最適化された値の重み付き表を識別させるための命令であって、ノイズ最適化された重み付き表の中の各値が、対応する画像ピクセル値を有する、命令と、各画像ピクセル値にその対応するノイズ最適化された重み付き表の値を乗じて、ノイズ重み付き画像ピクセルデータを生成させるための命令と、ノイズ重み付き画像ピクセルデータをメモリ内に格納させるための命令である。
【００１６】
本明細書に記載される別の実施形態においては、プログラム可能な制御装置により読み出すことができる一時的ではないプログラム格納装置が開示され、この一時的ではないプログラム格納装置は、その上に格納された命令を含み、この命令は、プログラム可能な制御装置に、画像センサによりキャプチャされた画像から取得された画像ピクセルデータをメモリ内に格納させるための命令と、画像のノイズ特性を推定させるための命令と、推定されたノイズ特性に少なくとも部分的に基づいて、ノイズ最適化されたピクセル選択基準を識別させるための命令と、ノイズ最適化されたピクセル選択基準を画像ピクセルデータに適用して、重み付き画像ピクセルデータを生成させるための命令と、重み付き画像ピクセルデータをメモリ内に格納させるための命令である。
【００１７】
本明細書に記載されるさらに別の実施形態においては、プログラム可能な制御装置により読み出すことができる一時的ではないプログラム格納装置が開示され、この一時的ではないプログラム格納装置は、その上に格納された命令を含み、この命令は、プログラム可能な制御装置に、画像センサによりキャプチャされた画像から取得された画像ピクセルデータをメモリ内に格納させるための命令と、画像のルクスレベルを推定させる命令と、推定されたルクスレベルに少なくとも部分的に基づいて、ノイズ最適化された重み付き表を、複数の予め格納されたノイズ最適化された重み付き表の中の対応する値の間を補間することにより識別させるための命令と、ノイズ最適化された重み付き表を画像ピクセルデータに適用して、ノイズ重み付き画像ピクセルデータを生成させるための命令と、ノイズ重み付き画像ピクセルデータを用いて画像ピクセルデータについての白色点を計算させるための命令である。
【００１８】
本明細書で説明される種々の実施形態によるＡＷＢのための新規かつ改善された技術は、携帯電話、個人データ情報端末（ＰＤＡ）、携帯用音楽プレイヤー、デジタルカメラ、並びにラップトップ型及びタブレット型コンピュータシステムのような、適切な画像センサを備えた任意の多数の電子画像キャプチャ装置に容易に適用可能である。
【００１９】
本特許又は出願のファイルは、カラーで作成された少なくとも１つの図面を含む。カラー図面を有する本特許又は特許出願公開の複写は、請求により、かつ必要な料金を支払うことにより、特許庁から提供される。
【図面の簡単な説明】
【００２０】
【図１Ａ】カメラ応答を人間の目の感度に対して補正するための知覚モデルを示す。
【図１Ｂ】色補正を行うための抽象的かつ概念的な画像処理パイプラインを示す。
【図２】１つの実施形態による、ノイズ最適化された重み付き表を利用してカラーバランス調整及び色補正を行うための改善された画像処理パイプラインを示す。
【図３】１つの実施形態による、ノイズ最適化された重み付き表を作成するためのプロセスを、より詳細に示す。
【図４】１つの実施形態による、マスク形態の例示的な低ルクスレベルのノイズ最適化された重み付き表を、共通発光源の白色点と共に、色比色度空間内で示す。
【図５】１つの実施形態による、マスク形態の例示的な屋内ルクスレベルのノイズ最適化された重み付き表を、共通発光源の白色点と共に、色比色度空間内で示す。
【図６】１つの実施形態による、補間されたノイズ最適化された重み付き表を作成するためのプロセスを示す。
【図７】ディスプレイ及び画像センサを有する代表的な電子装置の略機能ブロック図を示す。
【発明を実施するための形態】
【００２１】
カラーバランス調整のための「選択的グレーワールド」手法を実装するための方法、装置、及びコンピュータ可読媒体が説明される。開示される技術は、ノイズ最適化された選択基準の使用を伴い、より具体的には、幾つかの実施形態においては、ホワイトバランスゲインを計算する際に、ノイズ最適化された重み付き表の中の対応する値間の補間の使用を伴う。推定シーン・ルクスレベルは、期待シーン・ノイズレベルの有用な指標を与えることができる。本明細書で説明される画像処理技術は、画像キャプチャ装置、又はユーザレベルのソフトウェア・アプリケーションを実行する汎用プロセッサ（例えば、パーソナルコンピュータ）によって実行することができる。説明されるカラーバランス調整技術は、専用若しくは汎用ハードウェア、汎用アプリケーション・ソフトウェア、又はコンピュータシステムにおけるソフトウェアとハードウェアとの組合せにより実装することができる。
【００２２】
分かり易くするために、実際の実装の全ての特徴が本明細書において説明されるわけではない。もちろん、そのような実際の実装のいずれの開発においても（あらゆる開発プロジェクトの場合と同様に）、開発者の特定の目標（例えば、システム関連の制約及びビジネス関連の制約の遵守）を達成するためには多数の決定が成されなければならず、しかも、これらの目標は実装毎に異なるものとなることが理解されるであろう。そのような開発努力は複雑で時間がかかるかもしれないが、それにもかかわらず、本開示の利点を享有する当業者にとっては日常的な仕事であることもまた理解されるであろう。
【００２３】
以下の説明において、説明を目的として、本発明の概念を完全に理解してもらうために、多数の具体的な詳細を述べる。説明の一部として、幾つかの構造及び装置は、本発明を不明瞭にすることを避けるために、ブロック図で示される場合がある。さらに、本開示において用いられる言語は、主として、読みやすさ及び教示目的で選択され、本発明の主題の輪郭を描くため又は境界を定めるために選択されたものではない場合があり、そのような本発明の主題を定めるためには特許請求の範囲を頼りにすることが必要である。本明細書における「１つの実施形態」又は「実施形態」への言及は、その実施形態に関連して説明される特定の機構、構造、又は特徴が、本発明の少なくとも１つの実施形態に含まれることを意味し、「１つの実施形態」又は「実施形態」への複数回の言及は、必ずしも全てが同じ実施形態に言及していると理解すべきではない。
【００２４】
最初に図１Ａを参照すると、カメラ応答を人間の目の感度に対して補正するための知覚モデルが説明目的で示される。基本レベルにおいて、カメラの画像センサは、その画像センサが感知する波長の全スペクトルわたる入射光に対する特性応答１００を有する。キャプチャされているシーンは、異なるタイプの発光源によって照らされることもあり、これが、そのシーン内の色が再現されて人間の目で知覚される方式に対する影響を与えることがある。従って、異なる発光源のタイプに基づいて、異なる、カラーバランス調整などの最適化１０２を使用することができる。
【００２５】
画像センサの感度と人間の目の感度が人間の目の可視域の全域にわたって同じであれば、カラーバランス調整以外のさらなる色補正は必要とされないかもしれないが、画像センサの感度と人間の目の感度が人間の視覚の特定の範囲にわたって異なる場合には、人間の目１０４による色の知覚が実世界のシーンの色に対して可能な限り正確なものとなることを保証するように、画像センサによってキャプチャされたデータに対して、色補正行列（ＣＣＭ）の適用などの、さらなる色補正を使用することもできる。
【００２６】
ここで図１Ｂを参照すると、色補正を行うための抽象的かつ概念的な画像処理パイプライン１４５が説明目的で示される。最初に、画像センサ１０６によってシーンがキャプチャされる。画像センサから、データがＲＧＢ生データ形式１０８で出力される。次に、シーンの白色点が計算され、キャプチャされた画像センサデータに対してホワイトバランス・アルゴリズムが実行され（１１０）、白色ピクセルを白色としてレンダリングするためにＲ、Ｇ、又はＢチャネルのいずれかのゲインを調整する必要があるかどうかが判断される。グレーワールド・アルゴリズム、選択的グレーワールド・アルゴリズム、又は重み付けアキュムレータ・アルゴリズムなどの多数の可能なホワイトバランス・アルゴリズムのうちのいずれを用いることもできる。次に、発光源のタイプに応じて、さらなる色補正１１２、例えばＣＣＭを、画像データに適用することができる。ＣＣＭ内の値は、シーン白色点及びシーン・ルクスレベルの両方の関数とすることができる。従って、同じ白色点を有する２つの画像が、非常に異なるＣＣＭを有する場合がある。ひとたび画像データが所望どおりにカラーバランス調整及び色補正されると、出力データを、例えばｓＲＧＢ（すなわち標準ＲＧＢ）の形で所望のディスプレイ装置１１４に送ることができる。
【００２７】
この枠組みを念頭において、「発明の発明を実施するための形態」の残りの部分では、白色点の計算及びカラーバランス調整プロセス１１０がより有効になるように、要素１０８から出てくる生ピクセルデータに対して用いられ、適用することができる技術について検討する。特に、本明細書において検討する技術は、例えば重み付き表の使用による、ノイズ最適化された選択基準を作成して補間するための画像処理技術に関する。
【００２８】
ここで図２を参照すると、１つの実施形態による、ノイズ最適化された重み付き表を利用して色補正を行うための改善された画像処理パイプライン１５０が示される。図１Ｂに示された画像処理パイプライン１４５と比べると、改善された画像処理パイプライン１５０は、「ＲＧＢ値からヒストグラムを作成し、ノイズ最適化された重み付き表を乗じる」と表示された要素１０９を、要素１０８において生データの受け取りと、要素１１０における白色点の計算及びカラーバランス調整の実行との間に有する。ノイズ最適化された重み付き表の使用による生ピクセルデータの変換（１０９）を、以下でさらに詳述する。
【００２９】
幾つかの実施形態によれば、画像ピクセルデータのヒストグラムが蓄積される色空間又は「色度空間」は、その空間に特定の形状を与えるための、又はその他の実施させられている所望の特性をもたらすための、一連の数学的変換により定義することができる。さらに、変換パラメータは、特定のセンサのスペクトル感度に適合するように最適化することができる。以下で説明する例において、色度空間は、色比（ｃｏｌｏｒ ｒａｔｉｏ）空間とする。直線色比空間（例えば、Ｒ／Ｇ掛けるＢ／Ｇ）のような任意の所望の色空間を用いることができる。
【００３０】
「ノイズ最適化された重み付き表」の構築
上述のように、画像センサ情報は、ＲＧＢ生データの形態、すなわち、まだ表示の準備ができていないＣＯＬａｎ未処理線形ＲＧＢ信号の形態で、画像センサから画像処理パイプライン１５０中へと入ってくることができる。ここで図３を参照すると、画像ピクセルデータに適用される「ノイズ最適化された重み付き表」を作成するためのプロセスフロー１０９が、より詳細に示されている。
【００３１】
三色次元（すなわち、赤色、緑色、及び青色）からの入力信号を二色次元に減らすために、ＲＧＢ信号をクロミナンス値に変換することができる。クロミナンスは、本明細書で用いられる場合、輝度（明るさ）に依存しない色の品質の客観的な規格を指す。輝度を考慮から除外すると、残りの色の成分は、ときにはｘ及びｙと呼ばれることがある、２つの変数で定義することができる。これは、色度空間を、全ての既存の色を色度空間内のｘ−ｙ座標位置によって一意に識別することができる２Ｄプロットにマッピングすることを可能にするので、有用である。次に、これらのクロミナンス値は、その色空間にわたって作成された２Ｄヒストグラムに蓄積することができる（要素１１６）。色値のヒストグラムは、プロセスフロー１０９において受け取ることもでき（すなわち、何らかの外部プロセスによって構築される）、又はプロセスフロー１０９の中で構築することもできる。
【００３２】
次に、プロセスフロー１０９は、シーン・ノイズレベルの推定を試行する（要素１１８）。上述のように、推定シーン・ノイズレベルは、適切な重み付き表を構築するために有用であり得ることがわかる。センサの最大能力（ｆｕｌｌ ｗｅｌｌ ｃａｐａｃｉｔｙ)、センサの読み出しノイズ、センサのアナログゲイン、シーンのルクスレベル、及びセンサの量子化などを含めた種々のキャプチャ条件が、画像のノイズレベルに影響を与え得る。次に、プロセスフロー１０９は、推定シーン・ノイズレベルに対応する１つ又は複数の重み付き表を識別することができる（要素１２０）。幾つかの実施形態においては、代表重み付き表を格納することができ、各々の代表重み付き表は、複数の所定のルクスレベルのうちの特定の１つに対応する。次に、所与の画像についてシーン・ルクスレベルが推定されると、プロセス１０９は、所与の画像の推定シーン・ルクス（従ってノイズ）レベルに合わせてカスタマイズされた補間された重み付き表を生成するように、推定シーン・ルクスレベルに最も近く対応する格納された代表的な重み付き表の中の対応する値の間を補間することができる（要素１２２）。幾つかのそのような実施形態においては、ノイズ重み付き表内の各々の値を補間計算に用いることができるが、表内の各々の値の使用は必ずしも必須ではない。さらに他の実施形態において、十分な格納スペース及び処理能力が利用できるならば、要素１２０及び１２２を、予め格納された重み付き表の間を補間するのではなく、推定シーン・ノイズレベルに基づいて「その場で」重み付き表を解析的に計算する単一のステップで置き換えることができる。そして最後に、例えば２Ｄ画像ヒストグラムの形態である画像データに、ノイズ重み付き表の中の対応する値を乗じて、ノイズ重み付き画像ピクセルデータの集合、すなわち、所与のセンサ及び推定ノイズレベルについて、そのシーンについてのより正確な白色点計算を生じさせる可能性が高い、重み付き値の集合を生成することができる（要素１２４）。ノイズ重み付き画像ピクセルデータは次に、任意の所望の方法によるシーン白色点の計算のための所望のＡＷＢアルゴリズム１１０’に渡すことができる。幾つかの実施形態において、ＡＷＢアルゴリズム１１０’は、単純に、残りのノイズ重み付き画像ピクセルデータを平均すると灰色になると仮定とするアルゴリズム、すなわち「選択的グレーワールド」手法を含むものとすることができる。他の実施形態において、上述のように、より複雑なＡＷＢアルゴリズムを使用することができる。
【００３３】
幾つかの実施形態において、画像センサノイズモデルを用いて代表重み付き表を生成することができ、この場合、各々の代表重み付き表は、特定のノイズレベルに対応する。１つの実施形態によれば、例示的な画像センサノイズモデルは、以下のように表すことができ、
Ｖｎ＝（Ｃ／Ｋ＊Ｇａ＋Ｖ１＊Ｇａ２＋Ｖ２）＊Ｋ２ （式５）
ここで、Ｖｎは、特定のピクセル応答Ｃに関連付けられたノイズ分散であり、Ｋはセンサの変換ゲインであり、Ｇａはキャプチャにおけるアナログゲインであり、Ｖ１及びＶ２は、それぞれ、ゲインに依存しないノイズ源（ｋＴ／Ｃ、ソースフォロワ、増幅器入力ノイズ）、及びゲインに依存するノイズ源（電子的ノイズ及び量子化ノイズ）の分散である。
【００３４】
ノイズモデルが上記式５で与えられ、ノイズの加法的性質を仮定すると、発光源に対するカメラ応答は、以下のように表すことができ、
Ｃ＝Ｓ＊Ｐ＋ｎ （式６）
ここでｎはノイズベクトルであり、Ｓ及びＰは、上記の背景技術の項において説明した通りである。
【００３５】
ノイズ項ｎについて（かなり単純化された）正規分布Ｎ［０，Ｖｎ］を仮定すると、上記式１から、特定のピクセル応答Ｃの分布は、Ｎ［Ｓ＊Ｐ，Ｖｎ］と表すことができる。従って、特定の発光源Ｐが与えられると、特定のカメラ応答が得られる尤度は、この方式で容易に計算することができる。特定の発光源が与えられたときの所与のピクセルの応答の確率を求めるために上記式を用いると、特定のノイズレベルに対応する種々の代表重み付き表の値を生成することができる。
【００３６】
より正確な白色点推定をカメラ応答データから得るために、所与のカメラ応答及び推定ノイズレベルについての白色点の確率分布、すなわち、Ｄ（Ｐ｜Ｃ，ｎ）を用いることができる。この確率分布Ｄは、上述のカメラ及びノイズモデルを用いた、異なる光量レベルの各発光源についての、異なるシーン表面構成での、カメラ応答の尤度、すなわちＬ（Ｃ｜Ｐ，Ｒ，ｎ）を集計することにより計算することができ、得られた確率分布Ｄは、以下のように表すことができる。
Ｄ（Ｐ｜Ｃ，ｎ）＝Ｌ（Ｃ｜Ｐ，Ｒ，ｎ）＊Ｄ（Ｐ，Ｒ）／Ｄ（Ｃ） （式７）
【００３７】
いったん各々の白色点の相対的確率がこのようにしてモデル化されると、ピクセル選択及び重み付け基準は、様々な可能な統計量を用いて形成することができる。一例として、全てのカメラ応答Ｃの線形加重和を用いて白色点を推定することができ、ここで、Ｄ（Ｐ｜Ｃ，ｎ）が特定の閾値を下回るカメラ応答については、重みは強制的にゼロにされ、その他の非ゼロの重みは、実世界における所与の被写体表面反射率分布について、あるピクセルが白色表面である相対的な尤度を反映するように計算される。
【００３８】
上記の式から、異なるノイズレベルの下での白色点の確率分布は、例えばノイズ分布Ｎ［０，Ｖｎ］の差異に起因して、互いに非常に異なるものであり得ることわかる。図４及び図５は、上述の方法に従って計算された、２つの異なるシーン・ルクスレベル、すなわち、非常に低いルクスレベル及び屋内照明のルクスレベルの下での白色点の確率分布をそれぞれ示す。ヒストグラムにおける色が明るいほど、色度空間内のその位置にあたる所与のピクセルが白色表面に対応する尤度がより高いことに対応し、一方、ヒストグラムにおける色が暗いほど、色度空間内のその位置にあたる所与のピクセルが白色表面に対応する尤度がより低いことに対応する。図４及び図５に示される２つの分布間の差異に基づいて、異なるノイズレベルにおいてＡＷＢ計算に含めるべきピクセルを選択するためには異なる選択基準を用いるべきであること、そして、これらのピクセル値を組み合わせて白色点を推定するためには異なる統計量を用いるべきであることを推論することができる。
【００３９】
ここで図４を参照すると、例示的な非常に低ルクスのノイズ最適化された重み付き表１３０がマスクとして、共通発光源の白色点１６０と共に、色比色度空間内に示されている。参考までに、平均屋内照明は１００ルクスから１，０００ルクスまでの範囲であり、平均屋外日光は約５０，０００ルクスである。上述のように、シーン・ルクスを推定することにより、尤もらしい高い光源の集合のタイプを推論することができ、そして次に、そのような光源についての既知の可能な白色値の範囲、すなわち図４における非黒色領域を推論することができる。例えば、低ルクスレベルにおいては、マスク内の非黒色領域は、尤もらしい光源の集合がより大きいので、比較的大きいものである必要があり、非常に高いルクスレベルにおいては、既知の可能な白色値の範囲は、比較的小さくすることができ、例えば、昼光の白色点領域の近くに限定される。図４に示されるように、非常に低いルクスレベルにおいては、例示的な色度空間のほとんど全体にわたる確率分布は、非黒色であり得る（すなわち、非黒色位置にあるピクセルはいずれも、そのような位置に生じるピクセルが白色表面に由来するものであり得ることの少なくともある程度の確率を有しており、より明るい色は、重み付き表における対応する位置に格納されている、より高く重み付けされた値に対応する）。このことは、低いルクスレベルでは、予期される大量のノイズがあるという事実を反映しており、それゆえ、そのような低照明レベルにおけるシーン白色点の計算からいずれかのピクセルを棄却すること（又は、少なくともいずれかのピクセルを完全に棄却すること）は困難である。
【００４０】
図５は、マスク形態の例示的な通常の屋内照明ルクスのノイズ最適化された重み付き表１４０を、共通発光源の白色点１６０と共に、図４に示される色度空間内で示す。図４と比較すると、図５に示されるルクスレベルにおける確率分布は、色度空間のはるかに大きい部分にわたって黒色である。図５においては、確率分布の非黒色領域は、共通発光源の白色点１６０が見いだされる区域のより近くに限られている。このことは、通常の屋内照明レベルにおいてさえ、予期されるノイズは少ないという事実を反映し、それゆえ、共通発光源の範囲内又はその近傍に位置しないピクセルは、シーン白色点の計算において、より安全に棄却することができ、又は少なくとも大幅に割り引く（すなわち、より低い重みを与える）ことができる。
【００４１】
推定ノイズレベルを条件とする多重選択基準を用いることの必要性をより直感的に示す別の例として、ＡＷＢアルゴリズムが、［Ｒ／Ｇ，Ｂ／Ｇ］装置の色比空間において動作し、白色ピクセル選択基準が、昼光のような低ノイズのキャプチャ条件下で、以下の２つの式により記述されるものと想定する。
Ｔｈ１＜Ｒ／Ｇ＜Ｔｈ２ （式８）
Ｔｈ３＜Ｂ／Ｇ＜Ｔｈ４
【００４２】
ノイズにより導入される不確実性に起因して、高ノイズでのキャプチャ、すなわち、夕方の屋外のような低光量の下でキャプチャされた画像については、白色ピクセルを選ぶ基準は、単に、イメージングセンサのノイズモデル通じて計算される許容差Δをより幅広くした式８で表される、上記の基準内にあるものとすることができ、例えば、
Ｔｈ１−Δ１＜Ｒ／Ｇ＜Ｔｈ２＋Δ２ （式９）
Ｔｈ３−Δ３＜Ｂ／Ｇ＜Ｔｈ４＋Δ４
である。
【００４３】
追加の許容差であるΔ１からΔ４は、ピクセル値のノイズが、あるピクセルが白色ピクセルである尤度に追加の不確実性を導入したという事実を反映するものであるので、ノイズがより高いときには、シーン白色点の計算に向けてより多くのピクセルが考慮されることになる。
【００４４】
上述の例証的な例において、線形加重和モデルを用いて最終的な白色点が計算され、かつ、上記基準により選択された全てのピクセルに対して単一の重みが与えられるならば、より高ノイズ（すなわち、低光量）のシーンの白色点は、
ｒ＝ｓｕｍ（Ｒ＋ΔＲ）／（ｎ＋Δｎ）
ｇ＝ｓｕｍ（Ｇ＋ΔＧ）／（ｎ＋Δｎ） （式１０）
ｂ＝ｓｕｍ（Ｂ＋ΔＢ）／（ｎ＋Δｎ）
となり、ここでΔＲ、ΔＧ、ΔＢは、計算に投入される追加のピクセルを表わすベクトルであり、ｎ及びΔｎは、それぞれ、計算に投入される元のピクセルの数、及び、高ノイズのシナリオにおいて計算に投入される追加のピクセルの数を表わす。
【００４５】
従って、キャプチャされた画像におけるノイズの変化を考慮に入れることで、画像のノイズレベルが変化してもそれに応じて白色ピクセルの選択基準を適応的に調整しないＡＷＢ解法よりも、統計的に正確で安定した解が得られることがわかる。
【００４６】
上述のように、幾つかの実装に固有の制限に起因して、全ての可能な推定ノイズレベルについての中立のピクセル選択基準を解析的に計算することは可能ではないことがある。そのような状況では、格納された中立のピクセル選択基準の、限られた選択肢しか存在し得ない。これらの基準は、例えば、画像キャプチャ装置が実世界において用いられる環境内に存在する可能性が高い、疎にサンプリングされたノイズレベル又はルクスレベルに対応するものであり得る。そのような場合、実際にはノイズ挙動は連続的なプロセスであるとはいえ、ノイズに相関したピクセル選択基準は、解析的な公式に基づかないものとなることがある。これらの場合において、疎にサンプリングされたノイズレベル間に入る任意のノイズレベルに対して、格納された選択基準間の補間を用いて、そのノイズレベルについての対応する白色ピクセル選択基準を計算することができる。
【００４７】
例えば、選択基準は、ルックアップ表（ＬＵＴ）配列のような数値形態で存在するものとすることができ、各ＬＵＴ要素は、ノイズレベルベクトルＮに対応する。ノイズレベルがｎの入力画像について、ｎが、隣接する２つのサンプリングされたノイズレベル、例えばＮi-1とＮiとの間にある場合には、これら２つのノイズレベルに対応する２つのＬＵＴ要素間で、白色ピクセル選択基準を線形補間することができる。画像ノイズｎがサンプリングされた最小のノイズレベルよりも小さい場合には、その最小ノイズレベルのピクセル選択基準を用いることができる。サンプリングされた最大のノイズレベルよりも大きい推定ノイズレベルにも同じこと当てはめることができ、すなわち、最大ノイズレベルのピクセル選択基準を用いることができる。
【００４８】
ここで図６を参照すると、１つの実施形態による、補間されたノイズ最適化された重み付き表１５３を作成するためのプロセスがより詳細に示される。プロット１５５は、プロットの横軸にわたる推定シーン・ルクスとプロットの縦軸にわたる推定ノイズとの間の例示的な関係を表わす。プロット１５５に示されるように、推定シーン・ルクスが増大すると、推定ノイズレベルは本質的に漸近的に減少する。例えば、低光量の条件１５６は、予め格納された低光量の重み付き表１３０（図４を参照）に対応し、中域光量条件１５７は、予め格納された中域の重み付き表１４０（図５を参照）に対応する。横軸上をさらに右に進んで、昼光条件１５８は、予め格納された昼光の重み付き表１５０に対応する。昼光の重み付き表１５０における非黒色区域は、昼光に対応する共通発光源範囲のさらに近くに限定されていることに留意されたい。図６の例証的な実施形態においては、３つの予め格納された重み付き表が示されているが、他の実施形態においては、尤もらしいシーン・ルクス値の範囲を適切にサンプリングするために、もちろん、より多数の予め格納された重み付き表が存在し得る。
【００４９】
図６に示されるように、推定シーン・ルクスレベル１５９（プロット上で大きいアスタリスクにより示される）は、低光量１５６照明条件に対応する予め格納された重み付き表についてのレベルと中域１５７照明条件に対応する予め格納された重み付き表についてのレベルとの間に入る。それゆえ、推定シーン・ルクスレベル１５９を有する現在のシーンにとってより妥当な補間された重み付き表１５３を作成するために、適切な補間動作１５２（例えば、線形補間又は対数補間）によって、補間された重み付き表１５３を生成することができる。本実施形態においては、次に、画像ピクセルデータ・ヒストグラム１１６を新たに生成された補間された重み付き表１５３の中の値に適用し、例えば、乗じて、ノイズ重み付き画像ピクセルデータの集合、例えばノイズ最適化された画像ピクセルデータ・ヒストグラム１５４を作成することができる。次にこのノイズ最適化された画像ピクセルデータ・ヒストグラム１５４を所望のＡＷＢアルゴリズムで利用して、より正確なシーン白色点を計算することができる。
【００５０】
ＡＷＢ性能を改善するための、多重の最適化された白色ピクセル選択及び重み付け基準の索引付け及び使用は、推定画像ノイズレベルに基づくものに限定されないことに留意されたい。これは、画像のノイズ特性に相関する任意の物理的又は数値的な品質、例えば、シーン・ルクス、センサのアナログゲインなどに基づくものとすることができる。
【００５１】
また、格納されていないノイズレベルについての重み付け基準を計算するために用いられる補間法は、線形補間又は他の任意の適切な非線形補間法により行うことができることにも留意された。
【００５２】
本明細書に記載されるノイズモデルは、例証的かつ例示的なものであることも留意すべきである。音響工学に基づく任意の適切なノイズモデルを、モデル化のために用いることができる。
【００５３】
ここで図７を参照すると、例証的な実施形態による、ディスプレイ２２０を有する代表的な電子装置、例えば、電子画像キャプチャ装置２００の略機能ブロック図が示される。電子装置２００は、プロセッサ２１６と、ディスプレイ２２０と、近接センサ／周辺光センサ２２６と、マイクロフォン２０６と、音声／映像コーデック２０２と、スピーカ２０４と、通信回路２１０と、位置センサ２２４（例えば、加速度計又はジャイロメータ）と、関連付けられたカメラハードウェアを備えた画像センサ２０８と、ユーザインターフェース２１８と、メモリ２１２と、格納装置２１４と、通信バス２２とを含むことができる。プロセッサ２１６は、任意の適切なプログラム可能な制御装置とすることができ、画像データの生成及び／又は処理並びに電子装置２００が実行するその他の機能などの、多くの機能の動作を制御することができる。プロセッサ２１６は、ディスプレイ２２０を駆動することができ、ユーザインターフェース２１８からユーザ入力を受け取ることができる。組込み型プロセッサは、開示される技術を遂行するために利用することができる多機能でロバストなプログラム可能な制御装置を提供する。
【００５４】
格納装置２１４は、媒体（例えば、画像及び映像ファイル）、ソフトウェア（例えば、装置２００上の種々の機能の実装用）、基本設定情報、デバイスプロファイル情報、及びその他の任意の適切なデータを格納することができる。格納装置２１４は、画像データ及びプログラム命令を実体的に記録するための１つ又はそれ以上の格納媒体を含むことができ、これには、例えば、ハードドライブ、ＲＯＭのような永続メモリ、ＲＡＭのような半永続メモリ、又はキャッシュが含まれる。プログラム命令は、任意の所望の言語（例えば、Ｃ又はＣ＋＋）でコード化され、１つ又はそれ以上のプログラムモジュールに組織化される、ソフトウェア実装を含むことができる。
【００５５】
メモリ２１２は、装置の機能を実行するために用いることができる１つ又はそれ以上の異なるタイプのメモリを含むことができる。例えば、メモリ２１２は、キャッシュ、ＲＯＭ、及び／又はＲＡＭを含むことができる。通信バス２２２は、少なくとも格納装置２１４、メモリ２１２、及びプロセッサ２１６へとデータを伝送する、それらからデータを伝送する、又はそれらの間でデータを伝送するための、データ伝送経路を提供することができる。ユーザインターフェース２１８は、ユーザが電子装置２００と対話することを可能にすることができる。例えば、ユーザ入力装置２１８は、ボタン、キーパッド、ダイアル、クリックホイール、又はタッチスクリーンのような様々な形態をとることができる。
【００５６】
１つの実施形態において、個人用電子装置２００は、画像及び映像ファイルのような媒体を処理して表示することができる、電子装置とすることができる。例えば、個人用電子装置２００は、携帯電話、個人データ情報端末（ＰＤＡ）、携帯用音楽プレイヤー、モニタ、テレビジョン、ラップトップ型、デスクトップ型、及びタブレット型のコンピュータ、又はその他の適切な個人用装置などの装置とすることができる。
【００５７】
上記の好ましい実施形態及びその他の実施形態の説明は、出願人が着想した本発明の概念の範囲又は応用範囲を限定又は制限することを意図するものではない。一例として、本開示は、手持ち式の個人用電子画像キャプチャ装置に焦点を合わせているが、本開示の教示は、従来のデジタルカメラのようなその他の実装にも応用することができることが理解されるであろう。本明細書に含まれる発明の概念を開示することと引き替えに、出願人は、添付の特許請求の範囲により与えられる全ての特許権を所望する。従って、添付の特許請求の範囲は、以下の特許請求の範囲又はその均等の範囲内に入る全ての修正及び変更を完全な範囲で含むことが意図される。
【符号の説明】
【００５８】
１３０、１４０：ノイズ最適化された重み付き表
１４５：画像処理パイプライン
１５０：改善された画像処理パイプライン
１６０：共通発光源の白色点
２００：電子画像キャプチャ装置
２２２：通信バス
【技術分野】
【０００１】
本開示は、一般に、カラーバランス調整の分野に関する。限定を目的とするわけではないが、より詳細には、ノイズ最適化された選択基準を用いることによるオートホワイトバランス（ＡＷＢ）アルゴリズムの性能を改善するための技術に関する。
（関連出願の相互参照）
本出願は、２０１１年１０月１２日に出願された米国特許仮出願第６１／５４６，１４６号に基づく優先権を主張するものであり、この全体が、引用により本明細書に組み入れられる。
【背景技術】
【０００２】
カラーバランス調整は、画像内の色の強さの包括的な調整であると考えることができる。カラーバランス調整の１つの目標は、特定の色、例えば昼白色を、その画像がキャプチャされた実際の物理的なシーン内でその色が現れた通りに可能な限り正確にレンダリングすることである。昼白色を正しくレンダリングする場合、そのプロセスは、しばしば、「ホワイトバランス調整」と呼ばれる。ほとんどのデジタルカメラは、そのカラーバランス調整及び色補正の決定を、少なくとも部分的に、シーンの発光源のタイプに基づいて行う。例えば、白い用紙の色は、蛍光灯の下では直射日光の中で見るのとは異なって見える。実行すべき色補正のタイプは、キャプチャされた画像についてのシーンの発光源を知っているデジタルカメラのユーザが手動で指定することもでき、又は様々なＡＷＢアルゴリズムのうちの１つ又はそれ以上を用いてプログラムで設定することもできる。
【０００３】
シーンの「白色点」は、既知の光源の集合に対する既知の応答を有するカメラの画像センサによりキャプチャされた１つ又は複数の画像を評価することにより、推定することができる。発光源に対するカメラ応答は、以下の式により特徴付けることができ、
Ｃwhite＝Ｓ＊Ｐ （式１）
ここで、Ｐは光源のスペクトルパワー分布の集合を表わし、Ｓはカメラのスペクトル感度であり、Ｃwhiteはカメラの応答ベクトルである。換言すれば、カメラの応答は、個々の光源のタイプ並びに個々のカメラのスペクトル応答の両方の関数である。
【０００４】
実世界の撮像においては、カメラの応答は、そのシーン内の被写体表面から反射した光の関数でもある。この関係は、
Ｃobjects＝Ｓ＊Ｒ＊Ｐ （式２）
と記述することができ、ここでＲは、被写体表面のスペクトル反射率を表わす。
【０００５】
ＡＷＢアルゴリズムが対処する根本的な課題は、既知の応答及びカメラ感度（Ｓ）並びにシーン内の未知の被写体表面（Ｒ）を用いて未知の光源（Ｐ）により生じたキャプチャされた画像から、シーン光源の白色点を解明しようとすることである。
【０００６】
画像データのみからシーン白色点を推定することの不確実性を解決するために、学界及び産業界の両方において、様々な異なる方法が研究されている。最も基本的な「グレーワールド」ＡＷＢアルゴリズムは、解を制約するために、実世界における被写体表面の反射率分布に関しての強力な仮定、すなわち、シーン全体の色を平均すると灰色になるという仮定を立てる。その他の公表された方法としては、それほど強力ではないが、より原理に基づいた表面反射率及び発光源分布のモデル化を行って、より良い推定に到達する、ベイズの推定の変法、異なる発光源の下での画像色度の固有の分布をその発光源推定のために利用する「相関による色（ｃｏｌｏｒ ｂｙ ｃｏｒｒｅｌａｔｉｏｎ）」アルゴリズム、さらには、シーンにおける鏡反射率又は微小鏡反射率の情報から白色点値を導出するアルゴリズムのクラスが挙げられる。
【０００７】
しかしながら、グレーワールド法は、実装が容易で適度に安定性があるので、産業上の実地で最も普及したホワイトバランス法は、やはり、修正されたグレーワールド法に大まかに基づくものである。このような手法には多くのバリエーションが存在し得るが、そのほとんどは、最初に、信頼できそうな光源で照明された中立の（ｎｅｕｔｒａｌ）表面からのものである可能性が高いピクセル応答の部分集合を選択し、次に、そのようなピクセルの平均色度がそのシーンにおける真の白色／灰色を表わす可能性が高いという仮定を立てることを伴う。このクラスの方法は、本明細書において「選択的グレーワールド」アルゴリズムと呼ばれる。
【０００８】
そのような選択的グレーワールド法に付随する最大の制限は、オリジナルのグレーワールド法を非実用的にさせているのと同じ制限、すなわち、「灰色らしい」ピクセルの応答は実際に平均すると灰色になるという仮定である。共通発光源（ｃｏｍｍｏｎ ｉｌｌｕｍｉｎａｎｔ）の下での典型的な被写体表面に対するカメラ応答のモデル化から、この仮定に反する場合が多いことが確認された。例えば、各々の使用シナリオの発光源及び表面分布に依存して、幾つかの「灰色らしい」ピクセル応答は、他のピクセル応答よりも灰色である可能性が高く、すなわち、幾つかのピクセル応答は、他のピクセル応答よりも真の白色点に関する情報をより多く持っている。白色点推定精度を高めるために、重み付けスキームを用いてこれらのピクセル応答を別様に処理することができる。キャプチャされた画像の「灰色らしい」ピクセルの部分集合が選択されると、シーンの白色点は、これらのピクセル値の加重和
ｒ＝ｓｕｍ（Ｒ＊Ｗ）／ｓｕｍ（Ｗ）
ｇ＝ｓｕｍ（Ｇ＊Ｗ）／ｓｕｍ（Ｗ） （式３）
ｂ＝ｓｕｍ（Ｂ＊Ｗ）／ｓｕｍ（Ｗ）
として計算することができ、ここで、Ｗは重みベクトルを指し、Ｒ、Ｇ、Ｂはピクセルの色ベクトルである。
【０００９】
画像のホワイトバランスを得るためには、２つのチャネルだけを調整すればよく、それらは通常、ｒチャネル及びｂチャネルであり、
Ｒ’＝（ｇ／ｒ）Ｒ （式４）
Ｂ’＝（ｇ／ｂ）Ｂ
ここで、Ｒ及びＲ’は、ホワイトバランス調整の前及び後の赤色チャネル応答であり、Ｂ及びＢ’は、ホワイトバランス調整の前及び後の青色チャネル応答である。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従って、改善された「選択的グレーワールド」手法を用いて、画像におけるより正確なホワイトバランス調整を提供する技術が必要とされている。ホワイトバランスゲインを計算するときに、信頼できそうな中立のピクセル値のインテリジェントな重み付けを行うことにより、白色点をより正確に計算することができる。
【課題を解決するための手段】
【００１１】
本開示は、カラーバランス調整のための、より効果的な「選択的グレーワールド」手法を実装するための装置及びコンピュータ可読媒体に関する。本明細書で説明される技術は、ノイズ最適化された選択基準の使用を伴い、より具体的には、幾つかの実施形態においては、ホワイトバランスゲインを計算する際に、ノイズ最適化された重み付きルックアップ表（すなわち「重み付き表」）間の補間の使用を伴う。推定シーン・ルクスレベルは、期待シーン・ノイズレベルの有用な指標を与えることができる。本明細書で説明されるカメラ画像処理技術は、画像キャプチャ装置により実行することもでき、又は汎用ＰＣソフトウェア・アプリケーション形式で実行することもできる。本明細書で説明されるカラーバランス調整技術は、専用若しくは汎用ハードウェア、汎用アプリケーション・ソフトウェア、又はコンピュータシステムにおけるソフトウェアとハードウェアとの組合せにより実装することができる。
【００１２】
背景技術の項で説明したように、ＡＷＢアルゴリズムの重要な目的は、シーン白色点を計算するために、キャプチャされた画像内の信頼できそうな「白色」ピクセルを識別し、次に、より正確なシーン白色点の推定を与える、これらの選択されたピクセル値についての感知し得る統計量を生成することである。
【００１３】
シーンの構成における変動に加えて、「あるピクセルが灰色である確率」は、センサの特性、特にセンサのスペクトル感度及びノイズ特性にも影響を受ける。例えば、低光量条件下でセンサのノイズレベルが高い場合には、より明るい照明の下では灰色面からものとされる可能性が低そうなピクセル応答が、その低光量条件下での白色点の統計量に大きく寄与するものとなる可能性が高い。本明細書で説明される技術の１つの目的は、白色点の実推定量を与えるピクセル統計量の集合を原理に基づいた方式で生成するために、これらの変動を、「灰色らしい」ピクセルの平均が実際に真の灰色に対応するという仮定を盲信するのではなく、推定センサノイズレベルに基づいてモデル化することである。
【００１４】
本開示の１つの態様は、広範囲の画像キャプチャ条件にわたる画像のノイズの特性に基づいた一連の白色ピクセル選択基準を提案する。これらのいわゆる「ノイズ最適化された」選択基準は、多くの形態で具体化することができ、例えば、二者択一の選択基準（すなわち、あるピクセルが「考慮に入れられる」又は「考慮に入れられない」）による、若しくはルックアップ表（例えば、重み付き表の形態で具体化され、これは、幾つかの実施形態においては重み付きマスクとして視覚化することができる）による公式を通じて、又は、その他の任意の適用可能な形態で具体化することができる。これらの基準は、異なる発光源に対するカメラ応答のモデル化、及び、個々のイメージングセンサのノイズの特性に基づいて、公式化することができる。各々のカメラの画像センサについて白色点選択基準の集合を予め計算し、これを画像キャプチャ装置自体の中に格納するか又はアプリケーション・ソフトウェア形式の中に格納することができる。現場での使用中に、露光時間及びセンサゲインのような画像キャプチャ・パラメータから、キャプチャされた各画像の特定のノイズレベルを推定することができ、次にこれらを用いて、装置又はアプリケーション・ソフトウェア内に格納された多重の集合の中からどの白色点選択基準の集合を用いるかを決定することができる。
【００１５】
従って、本明細書で説明される１つの実施形態においては、プログラム可能な制御装置によって読み出すことができる一時的ではないプログラム格納装置が開示され、この一時的ではないプログラム格納装置は、その上に格納された命令を含み、この命令は、プログラム可能な制御装置に、画像センサによりキャプチャされた画像から取得された画像ピクセルデータをメモリ内に格納させるための命令と、画像ピクセルデータを色空間にわたる画像ピクセル値の集合に変換させるための命令と、画像についてのノイズレベルを推定させるための命令と、推定ノイズレベルに少なくとも部分的に基づいて、ノイズ最適化された値の重み付き表を識別させるための命令であって、ノイズ最適化された重み付き表の中の各値が、対応する画像ピクセル値を有する、命令と、各画像ピクセル値にその対応するノイズ最適化された重み付き表の値を乗じて、ノイズ重み付き画像ピクセルデータを生成させるための命令と、ノイズ重み付き画像ピクセルデータをメモリ内に格納させるための命令である。
【００１６】
本明細書に記載される別の実施形態においては、プログラム可能な制御装置により読み出すことができる一時的ではないプログラム格納装置が開示され、この一時的ではないプログラム格納装置は、その上に格納された命令を含み、この命令は、プログラム可能な制御装置に、画像センサによりキャプチャされた画像から取得された画像ピクセルデータをメモリ内に格納させるための命令と、画像のノイズ特性を推定させるための命令と、推定されたノイズ特性に少なくとも部分的に基づいて、ノイズ最適化されたピクセル選択基準を識別させるための命令と、ノイズ最適化されたピクセル選択基準を画像ピクセルデータに適用して、重み付き画像ピクセルデータを生成させるための命令と、重み付き画像ピクセルデータをメモリ内に格納させるための命令である。
【００１７】
本明細書に記載されるさらに別の実施形態においては、プログラム可能な制御装置により読み出すことができる一時的ではないプログラム格納装置が開示され、この一時的ではないプログラム格納装置は、その上に格納された命令を含み、この命令は、プログラム可能な制御装置に、画像センサによりキャプチャされた画像から取得された画像ピクセルデータをメモリ内に格納させるための命令と、画像のルクスレベルを推定させる命令と、推定されたルクスレベルに少なくとも部分的に基づいて、ノイズ最適化された重み付き表を、複数の予め格納されたノイズ最適化された重み付き表の中の対応する値の間を補間することにより識別させるための命令と、ノイズ最適化された重み付き表を画像ピクセルデータに適用して、ノイズ重み付き画像ピクセルデータを生成させるための命令と、ノイズ重み付き画像ピクセルデータを用いて画像ピクセルデータについての白色点を計算させるための命令である。
【００１８】
本明細書で説明される種々の実施形態によるＡＷＢのための新規かつ改善された技術は、携帯電話、個人データ情報端末（ＰＤＡ）、携帯用音楽プレイヤー、デジタルカメラ、並びにラップトップ型及びタブレット型コンピュータシステムのような、適切な画像センサを備えた任意の多数の電子画像キャプチャ装置に容易に適用可能である。
【００１９】
本特許又は出願のファイルは、カラーで作成された少なくとも１つの図面を含む。カラー図面を有する本特許又は特許出願公開の複写は、請求により、かつ必要な料金を支払うことにより、特許庁から提供される。
【図面の簡単な説明】
【００２０】
【図１Ａ】カメラ応答を人間の目の感度に対して補正するための知覚モデルを示す。
【図１Ｂ】色補正を行うための抽象的かつ概念的な画像処理パイプラインを示す。
【図２】１つの実施形態による、ノイズ最適化された重み付き表を利用してカラーバランス調整及び色補正を行うための改善された画像処理パイプラインを示す。
【図３】１つの実施形態による、ノイズ最適化された重み付き表を作成するためのプロセスを、より詳細に示す。
【図４】１つの実施形態による、マスク形態の例示的な低ルクスレベルのノイズ最適化された重み付き表を、共通発光源の白色点と共に、色比色度空間内で示す。
【図５】１つの実施形態による、マスク形態の例示的な屋内ルクスレベルのノイズ最適化された重み付き表を、共通発光源の白色点と共に、色比色度空間内で示す。
【図６】１つの実施形態による、補間されたノイズ最適化された重み付き表を作成するためのプロセスを示す。
【図７】ディスプレイ及び画像センサを有する代表的な電子装置の略機能ブロック図を示す。
【発明を実施するための形態】
【００２１】
カラーバランス調整のための「選択的グレーワールド」手法を実装するための方法、装置、及びコンピュータ可読媒体が説明される。開示される技術は、ノイズ最適化された選択基準の使用を伴い、より具体的には、幾つかの実施形態においては、ホワイトバランスゲインを計算する際に、ノイズ最適化された重み付き表の中の対応する値間の補間の使用を伴う。推定シーン・ルクスレベルは、期待シーン・ノイズレベルの有用な指標を与えることができる。本明細書で説明される画像処理技術は、画像キャプチャ装置、又はユーザレベルのソフトウェア・アプリケーションを実行する汎用プロセッサ（例えば、パーソナルコンピュータ）によって実行することができる。説明されるカラーバランス調整技術は、専用若しくは汎用ハードウェア、汎用アプリケーション・ソフトウェア、又はコンピュータシステムにおけるソフトウェアとハードウェアとの組合せにより実装することができる。
【００２２】
分かり易くするために、実際の実装の全ての特徴が本明細書において説明されるわけではない。もちろん、そのような実際の実装のいずれの開発においても（あらゆる開発プロジェクトの場合と同様に）、開発者の特定の目標（例えば、システム関連の制約及びビジネス関連の制約の遵守）を達成するためには多数の決定が成されなければならず、しかも、これらの目標は実装毎に異なるものとなることが理解されるであろう。そのような開発努力は複雑で時間がかかるかもしれないが、それにもかかわらず、本開示の利点を享有する当業者にとっては日常的な仕事であることもまた理解されるであろう。
【００２３】
以下の説明において、説明を目的として、本発明の概念を完全に理解してもらうために、多数の具体的な詳細を述べる。説明の一部として、幾つかの構造及び装置は、本発明を不明瞭にすることを避けるために、ブロック図で示される場合がある。さらに、本開示において用いられる言語は、主として、読みやすさ及び教示目的で選択され、本発明の主題の輪郭を描くため又は境界を定めるために選択されたものではない場合があり、そのような本発明の主題を定めるためには特許請求の範囲を頼りにすることが必要である。本明細書における「１つの実施形態」又は「実施形態」への言及は、その実施形態に関連して説明される特定の機構、構造、又は特徴が、本発明の少なくとも１つの実施形態に含まれることを意味し、「１つの実施形態」又は「実施形態」への複数回の言及は、必ずしも全てが同じ実施形態に言及していると理解すべきではない。
【００２４】
最初に図１Ａを参照すると、カメラ応答を人間の目の感度に対して補正するための知覚モデルが説明目的で示される。基本レベルにおいて、カメラの画像センサは、その画像センサが感知する波長の全スペクトルわたる入射光に対する特性応答１００を有する。キャプチャされているシーンは、異なるタイプの発光源によって照らされることもあり、これが、そのシーン内の色が再現されて人間の目で知覚される方式に対する影響を与えることがある。従って、異なる発光源のタイプに基づいて、異なる、カラーバランス調整などの最適化１０２を使用することができる。
【００２５】
画像センサの感度と人間の目の感度が人間の目の可視域の全域にわたって同じであれば、カラーバランス調整以外のさらなる色補正は必要とされないかもしれないが、画像センサの感度と人間の目の感度が人間の視覚の特定の範囲にわたって異なる場合には、人間の目１０４による色の知覚が実世界のシーンの色に対して可能な限り正確なものとなることを保証するように、画像センサによってキャプチャされたデータに対して、色補正行列（ＣＣＭ）の適用などの、さらなる色補正を使用することもできる。
【００２６】
ここで図１Ｂを参照すると、色補正を行うための抽象的かつ概念的な画像処理パイプライン１４５が説明目的で示される。最初に、画像センサ１０６によってシーンがキャプチャされる。画像センサから、データがＲＧＢ生データ形式１０８で出力される。次に、シーンの白色点が計算され、キャプチャされた画像センサデータに対してホワイトバランス・アルゴリズムが実行され（１１０）、白色ピクセルを白色としてレンダリングするためにＲ、Ｇ、又はＢチャネルのいずれかのゲインを調整する必要があるかどうかが判断される。グレーワールド・アルゴリズム、選択的グレーワールド・アルゴリズム、又は重み付けアキュムレータ・アルゴリズムなどの多数の可能なホワイトバランス・アルゴリズムのうちのいずれを用いることもできる。次に、発光源のタイプに応じて、さらなる色補正１１２、例えばＣＣＭを、画像データに適用することができる。ＣＣＭ内の値は、シーン白色点及びシーン・ルクスレベルの両方の関数とすることができる。従って、同じ白色点を有する２つの画像が、非常に異なるＣＣＭを有する場合がある。ひとたび画像データが所望どおりにカラーバランス調整及び色補正されると、出力データを、例えばｓＲＧＢ（すなわち標準ＲＧＢ）の形で所望のディスプレイ装置１１４に送ることができる。
【００２７】
この枠組みを念頭において、「発明の発明を実施するための形態」の残りの部分では、白色点の計算及びカラーバランス調整プロセス１１０がより有効になるように、要素１０８から出てくる生ピクセルデータに対して用いられ、適用することができる技術について検討する。特に、本明細書において検討する技術は、例えば重み付き表の使用による、ノイズ最適化された選択基準を作成して補間するための画像処理技術に関する。
【００２８】
ここで図２を参照すると、１つの実施形態による、ノイズ最適化された重み付き表を利用して色補正を行うための改善された画像処理パイプライン１５０が示される。図１Ｂに示された画像処理パイプライン１４５と比べると、改善された画像処理パイプライン１５０は、「ＲＧＢ値からヒストグラムを作成し、ノイズ最適化された重み付き表を乗じる」と表示された要素１０９を、要素１０８において生データの受け取りと、要素１１０における白色点の計算及びカラーバランス調整の実行との間に有する。ノイズ最適化された重み付き表の使用による生ピクセルデータの変換（１０９）を、以下でさらに詳述する。
【００２９】
幾つかの実施形態によれば、画像ピクセルデータのヒストグラムが蓄積される色空間又は「色度空間」は、その空間に特定の形状を与えるための、又はその他の実施させられている所望の特性をもたらすための、一連の数学的変換により定義することができる。さらに、変換パラメータは、特定のセンサのスペクトル感度に適合するように最適化することができる。以下で説明する例において、色度空間は、色比（ｃｏｌｏｒ ｒａｔｉｏ）空間とする。直線色比空間（例えば、Ｒ／Ｇ掛けるＢ／Ｇ）のような任意の所望の色空間を用いることができる。
【００３０】
「ノイズ最適化された重み付き表」の構築
上述のように、画像センサ情報は、ＲＧＢ生データの形態、すなわち、まだ表示の準備ができていないＣＯＬａｎ未処理線形ＲＧＢ信号の形態で、画像センサから画像処理パイプライン１５０中へと入ってくることができる。ここで図３を参照すると、画像ピクセルデータに適用される「ノイズ最適化された重み付き表」を作成するためのプロセスフロー１０９が、より詳細に示されている。
【００３１】
三色次元（すなわち、赤色、緑色、及び青色）からの入力信号を二色次元に減らすために、ＲＧＢ信号をクロミナンス値に変換することができる。クロミナンスは、本明細書で用いられる場合、輝度（明るさ）に依存しない色の品質の客観的な規格を指す。輝度を考慮から除外すると、残りの色の成分は、ときにはｘ及びｙと呼ばれることがある、２つの変数で定義することができる。これは、色度空間を、全ての既存の色を色度空間内のｘ−ｙ座標位置によって一意に識別することができる２Ｄプロットにマッピングすることを可能にするので、有用である。次に、これらのクロミナンス値は、その色空間にわたって作成された２Ｄヒストグラムに蓄積することができる（要素１１６）。色値のヒストグラムは、プロセスフロー１０９において受け取ることもでき（すなわち、何らかの外部プロセスによって構築される）、又はプロセスフロー１０９の中で構築することもできる。
【００３２】
次に、プロセスフロー１０９は、シーン・ノイズレベルの推定を試行する（要素１１８）。上述のように、推定シーン・ノイズレベルは、適切な重み付き表を構築するために有用であり得ることがわかる。センサの最大能力（ｆｕｌｌ ｗｅｌｌ ｃａｐａｃｉｔｙ)、センサの読み出しノイズ、センサのアナログゲイン、シーンのルクスレベル、及びセンサの量子化などを含めた種々のキャプチャ条件が、画像のノイズレベルに影響を与え得る。次に、プロセスフロー１０９は、推定シーン・ノイズレベルに対応する１つ又は複数の重み付き表を識別することができる（要素１２０）。幾つかの実施形態においては、代表重み付き表を格納することができ、各々の代表重み付き表は、複数の所定のルクスレベルのうちの特定の１つに対応する。次に、所与の画像についてシーン・ルクスレベルが推定されると、プロセス１０９は、所与の画像の推定シーン・ルクス（従ってノイズ）レベルに合わせてカスタマイズされた補間された重み付き表を生成するように、推定シーン・ルクスレベルに最も近く対応する格納された代表的な重み付き表の中の対応する値の間を補間することができる（要素１２２）。幾つかのそのような実施形態においては、ノイズ重み付き表内の各々の値を補間計算に用いることができるが、表内の各々の値の使用は必ずしも必須ではない。さらに他の実施形態において、十分な格納スペース及び処理能力が利用できるならば、要素１２０及び１２２を、予め格納された重み付き表の間を補間するのではなく、推定シーン・ノイズレベルに基づいて「その場で」重み付き表を解析的に計算する単一のステップで置き換えることができる。そして最後に、例えば２Ｄ画像ヒストグラムの形態である画像データに、ノイズ重み付き表の中の対応する値を乗じて、ノイズ重み付き画像ピクセルデータの集合、すなわち、所与のセンサ及び推定ノイズレベルについて、そのシーンについてのより正確な白色点計算を生じさせる可能性が高い、重み付き値の集合を生成することができる（要素１２４）。ノイズ重み付き画像ピクセルデータは次に、任意の所望の方法によるシーン白色点の計算のための所望のＡＷＢアルゴリズム１１０’に渡すことができる。幾つかの実施形態において、ＡＷＢアルゴリズム１１０’は、単純に、残りのノイズ重み付き画像ピクセルデータを平均すると灰色になると仮定とするアルゴリズム、すなわち「選択的グレーワールド」手法を含むものとすることができる。他の実施形態において、上述のように、より複雑なＡＷＢアルゴリズムを使用することができる。
【００３３】
幾つかの実施形態において、画像センサノイズモデルを用いて代表重み付き表を生成することができ、この場合、各々の代表重み付き表は、特定のノイズレベルに対応する。１つの実施形態によれば、例示的な画像センサノイズモデルは、以下のように表すことができ、
Ｖｎ＝（Ｃ／Ｋ＊Ｇａ＋Ｖ１＊Ｇａ２＋Ｖ２）＊Ｋ２ （式５）
ここで、Ｖｎは、特定のピクセル応答Ｃに関連付けられたノイズ分散であり、Ｋはセンサの変換ゲインであり、Ｇａはキャプチャにおけるアナログゲインであり、Ｖ１及びＶ２は、それぞれ、ゲインに依存しないノイズ源（ｋＴ／Ｃ、ソースフォロワ、増幅器入力ノイズ）、及びゲインに依存するノイズ源（電子的ノイズ及び量子化ノイズ）の分散である。
【００３４】
ノイズモデルが上記式５で与えられ、ノイズの加法的性質を仮定すると、発光源に対するカメラ応答は、以下のように表すことができ、
Ｃ＝Ｓ＊Ｐ＋ｎ （式６）
ここでｎはノイズベクトルであり、Ｓ及びＰは、上記の背景技術の項において説明した通りである。
【００３５】
ノイズ項ｎについて（かなり単純化された）正規分布Ｎ［０，Ｖｎ］を仮定すると、上記式１から、特定のピクセル応答Ｃの分布は、Ｎ［Ｓ＊Ｐ，Ｖｎ］と表すことができる。従って、特定の発光源Ｐが与えられると、特定のカメラ応答が得られる尤度は、この方式で容易に計算することができる。特定の発光源が与えられたときの所与のピクセルの応答の確率を求めるために上記式を用いると、特定のノイズレベルに対応する種々の代表重み付き表の値を生成することができる。
【００３６】
より正確な白色点推定をカメラ応答データから得るために、所与のカメラ応答及び推定ノイズレベルについての白色点の確率分布、すなわち、Ｄ（Ｐ｜Ｃ，ｎ）を用いることができる。この確率分布Ｄは、上述のカメラ及びノイズモデルを用いた、異なる光量レベルの各発光源についての、異なるシーン表面構成での、カメラ応答の尤度、すなわちＬ（Ｃ｜Ｐ，Ｒ，ｎ）を集計することにより計算することができ、得られた確率分布Ｄは、以下のように表すことができる。
Ｄ（Ｐ｜Ｃ，ｎ）＝Ｌ（Ｃ｜Ｐ，Ｒ，ｎ）＊Ｄ（Ｐ，Ｒ）／Ｄ（Ｃ） （式７）
【００３７】
いったん各々の白色点の相対的確率がこのようにしてモデル化されると、ピクセル選択及び重み付け基準は、様々な可能な統計量を用いて形成することができる。一例として、全てのカメラ応答Ｃの線形加重和を用いて白色点を推定することができ、ここで、Ｄ（Ｐ｜Ｃ，ｎ）が特定の閾値を下回るカメラ応答については、重みは強制的にゼロにされ、その他の非ゼロの重みは、実世界における所与の被写体表面反射率分布について、あるピクセルが白色表面である相対的な尤度を反映するように計算される。
【００３８】
上記の式から、異なるノイズレベルの下での白色点の確率分布は、例えばノイズ分布Ｎ［０，Ｖｎ］の差異に起因して、互いに非常に異なるものであり得ることわかる。図４及び図５は、上述の方法に従って計算された、２つの異なるシーン・ルクスレベル、すなわち、非常に低いルクスレベル及び屋内照明のルクスレベルの下での白色点の確率分布をそれぞれ示す。ヒストグラムにおける色が明るいほど、色度空間内のその位置にあたる所与のピクセルが白色表面に対応する尤度がより高いことに対応し、一方、ヒストグラムにおける色が暗いほど、色度空間内のその位置にあたる所与のピクセルが白色表面に対応する尤度がより低いことに対応する。図４及び図５に示される２つの分布間の差異に基づいて、異なるノイズレベルにおいてＡＷＢ計算に含めるべきピクセルを選択するためには異なる選択基準を用いるべきであること、そして、これらのピクセル値を組み合わせて白色点を推定するためには異なる統計量を用いるべきであることを推論することができる。
【００３９】
ここで図４を参照すると、例示的な非常に低ルクスのノイズ最適化された重み付き表１３０がマスクとして、共通発光源の白色点１６０と共に、色比色度空間内に示されている。参考までに、平均屋内照明は１００ルクスから１，０００ルクスまでの範囲であり、平均屋外日光は約５０，０００ルクスである。上述のように、シーン・ルクスを推定することにより、尤もらしい高い光源の集合のタイプを推論することができ、そして次に、そのような光源についての既知の可能な白色値の範囲、すなわち図４における非黒色領域を推論することができる。例えば、低ルクスレベルにおいては、マスク内の非黒色領域は、尤もらしい光源の集合がより大きいので、比較的大きいものである必要があり、非常に高いルクスレベルにおいては、既知の可能な白色値の範囲は、比較的小さくすることができ、例えば、昼光の白色点領域の近くに限定される。図４に示されるように、非常に低いルクスレベルにおいては、例示的な色度空間のほとんど全体にわたる確率分布は、非黒色であり得る（すなわち、非黒色位置にあるピクセルはいずれも、そのような位置に生じるピクセルが白色表面に由来するものであり得ることの少なくともある程度の確率を有しており、より明るい色は、重み付き表における対応する位置に格納されている、より高く重み付けされた値に対応する）。このことは、低いルクスレベルでは、予期される大量のノイズがあるという事実を反映しており、それゆえ、そのような低照明レベルにおけるシーン白色点の計算からいずれかのピクセルを棄却すること（又は、少なくともいずれかのピクセルを完全に棄却すること）は困難である。
【００４０】
図５は、マスク形態の例示的な通常の屋内照明ルクスのノイズ最適化された重み付き表１４０を、共通発光源の白色点１６０と共に、図４に示される色度空間内で示す。図４と比較すると、図５に示されるルクスレベルにおける確率分布は、色度空間のはるかに大きい部分にわたって黒色である。図５においては、確率分布の非黒色領域は、共通発光源の白色点１６０が見いだされる区域のより近くに限られている。このことは、通常の屋内照明レベルにおいてさえ、予期されるノイズは少ないという事実を反映し、それゆえ、共通発光源の範囲内又はその近傍に位置しないピクセルは、シーン白色点の計算において、より安全に棄却することができ、又は少なくとも大幅に割り引く（すなわち、より低い重みを与える）ことができる。
【００４１】
推定ノイズレベルを条件とする多重選択基準を用いることの必要性をより直感的に示す別の例として、ＡＷＢアルゴリズムが、［Ｒ／Ｇ，Ｂ／Ｇ］装置の色比空間において動作し、白色ピクセル選択基準が、昼光のような低ノイズのキャプチャ条件下で、以下の２つの式により記述されるものと想定する。
Ｔｈ１＜Ｒ／Ｇ＜Ｔｈ２ （式８）
Ｔｈ３＜Ｂ／Ｇ＜Ｔｈ４
【００４２】
ノイズにより導入される不確実性に起因して、高ノイズでのキャプチャ、すなわち、夕方の屋外のような低光量の下でキャプチャされた画像については、白色ピクセルを選ぶ基準は、単に、イメージングセンサのノイズモデル通じて計算される許容差Δをより幅広くした式８で表される、上記の基準内にあるものとすることができ、例えば、
Ｔｈ１−Δ１＜Ｒ／Ｇ＜Ｔｈ２＋Δ２ （式９）
Ｔｈ３−Δ３＜Ｂ／Ｇ＜Ｔｈ４＋Δ４
である。
【００４３】
追加の許容差であるΔ１からΔ４は、ピクセル値のノイズが、あるピクセルが白色ピクセルである尤度に追加の不確実性を導入したという事実を反映するものであるので、ノイズがより高いときには、シーン白色点の計算に向けてより多くのピクセルが考慮されることになる。
【００４４】
上述の例証的な例において、線形加重和モデルを用いて最終的な白色点が計算され、かつ、上記基準により選択された全てのピクセルに対して単一の重みが与えられるならば、より高ノイズ（すなわち、低光量）のシーンの白色点は、
ｒ＝ｓｕｍ（Ｒ＋ΔＲ）／（ｎ＋Δｎ）
ｇ＝ｓｕｍ（Ｇ＋ΔＧ）／（ｎ＋Δｎ） （式１０）
ｂ＝ｓｕｍ（Ｂ＋ΔＢ）／（ｎ＋Δｎ）
となり、ここでΔＲ、ΔＧ、ΔＢは、計算に投入される追加のピクセルを表わすベクトルであり、ｎ及びΔｎは、それぞれ、計算に投入される元のピクセルの数、及び、高ノイズのシナリオにおいて計算に投入される追加のピクセルの数を表わす。
【００４５】
従って、キャプチャされた画像におけるノイズの変化を考慮に入れることで、画像のノイズレベルが変化してもそれに応じて白色ピクセルの選択基準を適応的に調整しないＡＷＢ解法よりも、統計的に正確で安定した解が得られることがわかる。
【００４６】
上述のように、幾つかの実装に固有の制限に起因して、全ての可能な推定ノイズレベルについての中立のピクセル選択基準を解析的に計算することは可能ではないことがある。そのような状況では、格納された中立のピクセル選択基準の、限られた選択肢しか存在し得ない。これらの基準は、例えば、画像キャプチャ装置が実世界において用いられる環境内に存在する可能性が高い、疎にサンプリングされたノイズレベル又はルクスレベルに対応するものであり得る。そのような場合、実際にはノイズ挙動は連続的なプロセスであるとはいえ、ノイズに相関したピクセル選択基準は、解析的な公式に基づかないものとなることがある。これらの場合において、疎にサンプリングされたノイズレベル間に入る任意のノイズレベルに対して、格納された選択基準間の補間を用いて、そのノイズレベルについての対応する白色ピクセル選択基準を計算することができる。
【００４７】
例えば、選択基準は、ルックアップ表（ＬＵＴ）配列のような数値形態で存在するものとすることができ、各ＬＵＴ要素は、ノイズレベルベクトルＮに対応する。ノイズレベルがｎの入力画像について、ｎが、隣接する２つのサンプリングされたノイズレベル、例えばＮi-1とＮiとの間にある場合には、これら２つのノイズレベルに対応する２つのＬＵＴ要素間で、白色ピクセル選択基準を線形補間することができる。画像ノイズｎがサンプリングされた最小のノイズレベルよりも小さい場合には、その最小ノイズレベルのピクセル選択基準を用いることができる。サンプリングされた最大のノイズレベルよりも大きい推定ノイズレベルにも同じこと当てはめることができ、すなわち、最大ノイズレベルのピクセル選択基準を用いることができる。
【００４８】
ここで図６を参照すると、１つの実施形態による、補間されたノイズ最適化された重み付き表１５３を作成するためのプロセスがより詳細に示される。プロット１５５は、プロットの横軸にわたる推定シーン・ルクスとプロットの縦軸にわたる推定ノイズとの間の例示的な関係を表わす。プロット１５５に示されるように、推定シーン・ルクスが増大すると、推定ノイズレベルは本質的に漸近的に減少する。例えば、低光量の条件１５６は、予め格納された低光量の重み付き表１３０（図４を参照）に対応し、中域光量条件１５７は、予め格納された中域の重み付き表１４０（図５を参照）に対応する。横軸上をさらに右に進んで、昼光条件１５８は、予め格納された昼光の重み付き表１５０に対応する。昼光の重み付き表１５０における非黒色区域は、昼光に対応する共通発光源範囲のさらに近くに限定されていることに留意されたい。図６の例証的な実施形態においては、３つの予め格納された重み付き表が示されているが、他の実施形態においては、尤もらしいシーン・ルクス値の範囲を適切にサンプリングするために、もちろん、より多数の予め格納された重み付き表が存在し得る。
【００４９】
図６に示されるように、推定シーン・ルクスレベル１５９（プロット上で大きいアスタリスクにより示される）は、低光量１５６照明条件に対応する予め格納された重み付き表についてのレベルと中域１５７照明条件に対応する予め格納された重み付き表についてのレベルとの間に入る。それゆえ、推定シーン・ルクスレベル１５９を有する現在のシーンにとってより妥当な補間された重み付き表１５３を作成するために、適切な補間動作１５２（例えば、線形補間又は対数補間）によって、補間された重み付き表１５３を生成することができる。本実施形態においては、次に、画像ピクセルデータ・ヒストグラム１１６を新たに生成された補間された重み付き表１５３の中の値に適用し、例えば、乗じて、ノイズ重み付き画像ピクセルデータの集合、例えばノイズ最適化された画像ピクセルデータ・ヒストグラム１５４を作成することができる。次にこのノイズ最適化された画像ピクセルデータ・ヒストグラム１５４を所望のＡＷＢアルゴリズムで利用して、より正確なシーン白色点を計算することができる。
【００５０】
ＡＷＢ性能を改善するための、多重の最適化された白色ピクセル選択及び重み付け基準の索引付け及び使用は、推定画像ノイズレベルに基づくものに限定されないことに留意されたい。これは、画像のノイズ特性に相関する任意の物理的又は数値的な品質、例えば、シーン・ルクス、センサのアナログゲインなどに基づくものとすることができる。
【００５１】
また、格納されていないノイズレベルについての重み付け基準を計算するために用いられる補間法は、線形補間又は他の任意の適切な非線形補間法により行うことができることにも留意された。
【００５２】
本明細書に記載されるノイズモデルは、例証的かつ例示的なものであることも留意すべきである。音響工学に基づく任意の適切なノイズモデルを、モデル化のために用いることができる。
【００５３】
ここで図７を参照すると、例証的な実施形態による、ディスプレイ２２０を有する代表的な電子装置、例えば、電子画像キャプチャ装置２００の略機能ブロック図が示される。電子装置２００は、プロセッサ２１６と、ディスプレイ２２０と、近接センサ／周辺光センサ２２６と、マイクロフォン２０６と、音声／映像コーデック２０２と、スピーカ２０４と、通信回路２１０と、位置センサ２２４（例えば、加速度計又はジャイロメータ）と、関連付けられたカメラハードウェアを備えた画像センサ２０８と、ユーザインターフェース２１８と、メモリ２１２と、格納装置２１４と、通信バス２２とを含むことができる。プロセッサ２１６は、任意の適切なプログラム可能な制御装置とすることができ、画像データの生成及び／又は処理並びに電子装置２００が実行するその他の機能などの、多くの機能の動作を制御することができる。プロセッサ２１６は、ディスプレイ２２０を駆動することができ、ユーザインターフェース２１８からユーザ入力を受け取ることができる。組込み型プロセッサは、開示される技術を遂行するために利用することができる多機能でロバストなプログラム可能な制御装置を提供する。
【００５４】
格納装置２１４は、媒体（例えば、画像及び映像ファイル）、ソフトウェア（例えば、装置２００上の種々の機能の実装用）、基本設定情報、デバイスプロファイル情報、及びその他の任意の適切なデータを格納することができる。格納装置２１４は、画像データ及びプログラム命令を実体的に記録するための１つ又はそれ以上の格納媒体を含むことができ、これには、例えば、ハードドライブ、ＲＯＭのような永続メモリ、ＲＡＭのような半永続メモリ、又はキャッシュが含まれる。プログラム命令は、任意の所望の言語（例えば、Ｃ又はＣ＋＋）でコード化され、１つ又はそれ以上のプログラムモジュールに組織化される、ソフトウェア実装を含むことができる。
【００５５】
メモリ２１２は、装置の機能を実行するために用いることができる１つ又はそれ以上の異なるタイプのメモリを含むことができる。例えば、メモリ２１２は、キャッシュ、ＲＯＭ、及び／又はＲＡＭを含むことができる。通信バス２２２は、少なくとも格納装置２１４、メモリ２１２、及びプロセッサ２１６へとデータを伝送する、それらからデータを伝送する、又はそれらの間でデータを伝送するための、データ伝送経路を提供することができる。ユーザインターフェース２１８は、ユーザが電子装置２００と対話することを可能にすることができる。例えば、ユーザ入力装置２１８は、ボタン、キーパッド、ダイアル、クリックホイール、又はタッチスクリーンのような様々な形態をとることができる。
【００５６】
１つの実施形態において、個人用電子装置２００は、画像及び映像ファイルのような媒体を処理して表示することができる、電子装置とすることができる。例えば、個人用電子装置２００は、携帯電話、個人データ情報端末（ＰＤＡ）、携帯用音楽プレイヤー、モニタ、テレビジョン、ラップトップ型、デスクトップ型、及びタブレット型のコンピュータ、又はその他の適切な個人用装置などの装置とすることができる。
【００５７】
上記の好ましい実施形態及びその他の実施形態の説明は、出願人が着想した本発明の概念の範囲又は応用範囲を限定又は制限することを意図するものではない。一例として、本開示は、手持ち式の個人用電子画像キャプチャ装置に焦点を合わせているが、本開示の教示は、従来のデジタルカメラのようなその他の実装にも応用することができることが理解されるであろう。本明細書に含まれる発明の概念を開示することと引き替えに、出願人は、添付の特許請求の範囲により与えられる全ての特許権を所望する。従って、添付の特許請求の範囲は、以下の特許請求の範囲又はその均等の範囲内に入る全ての修正及び変更を完全な範囲で含むことが意図される。
【符号の説明】
【００５８】
１３０、１４０：ノイズ最適化された重み付き表
１４５：画像処理パイプライン
１５０：改善された画像処理パイプライン
１６０：共通発光源の白色点
２００：電子画像キャプチャ装置
２２２：通信バス
【特許請求の範囲】
【請求項１】
プログラム可能な制御装置によって読み出すことができる一時的ではないプログラム格納装置であって、その上に格納された命令を含み、前記命令は、前記プログラム可能な制御装置に、
画像センサによりキャプチャされた画像から取得された画像ピクセルデータを、メモリ内に格納させるための命令と、
前記画像ピクセルデータを色空間にわたる画像ピクセル値の集合に変換させるための命令と、
前記画像についてのノイズレベルを推定させるための命令と、
前記推定ノイズレベルに少なくとも部分的に基づいて、ノイズ最適化された値の重み付き表を識別させるための命令であって、前記ノイズ最適化された重み付き表の中の各値が、対応する画像ピクセル値を有する、命令と、
前記各画像ピクセル値にその対応するノイズ最適化された重み付き表の値を乗じて、ノイズ重み付き画像ピクセルデータを生成させるための命令と、
前記ノイズ重み付き画像ピクセルデータを前記メモリ内に格納させるための命令
であることを特徴とする一時的ではないプログラム格納装置。
【請求項２】
前記プログラム可能な制御装置に、前記ノイズ重み付き画像ピクセルデータに少なくとも部分的に基づいて、前記色空間内での前記画像ピクセルデータについてのシーン白色点を計算させるための命令をさらに含むことを特徴とする請求項１に記載の一時的ではないプログラム格納装置。
【請求項３】
前記プログラム可能な制御装置に、前記計算されたシーン白色点を用いて前記画像ピクセルデータのカラーバランス調整を行わせるための命令をさらに含むことを特徴とする請求項２に記載の一時的ではないプログラム格納装置。
【請求項４】
前記プログラム可能な制御装置に前記画像についてのノイズレベルを推定させるための前記命令が、前記プログラム可能な制御装置に前記画像のルクスレベルを推定させるための命令を含むことを特徴とする請求項１に記載の一時的ではないプログラム格納装置。
【請求項５】
前記プログラム可能な制御装置に前記画像についてのノイズレベルを推定させるための前記命令が、前記プログラム可能な制御装置に前記画像センサのアナログゲインを判定させるための命令を含むことを特徴とする請求項１に記載の一時的ではないプログラム格納装置。
【請求項６】
前記プログラム可能な制御装置に前記値のノイズ最適化された重み付き表を識別させるための前記命令が、前記プログラム可能な制御装置に、複数の予め格納されたノイズ最適化された重み付き表の中の対応する値の間を補間させるための命令を含むことを特徴とする請求項１に記載の一時的ではないプログラム格納装置。
【請求項７】
前記プログラム可能な制御装置に、前記複数の予め格納されたノイズ最適化された重み付き表の中の対応する値の間を補間させるための前記命令が、前記プログラム可能な制御装置に、前記複数の予め格納されたノイズ最適化された重み付き表のうちの２つにおける対応する値の間で線形又は非線形補間を行わせるための命令を含むことを特徴とする請求項６に記載の一時的ではないプログラム格納装置。
【請求項８】
前記複数の予め格納されたノイズ最適化された重み付き表の各々が、ノイズレベルに対応することを特徴とする請求項６に記載の一時的ではないプログラム格納装置。
【請求項９】
前記複数の予め格納されたノイズ最適化された重み付き表の各々が、ルクスレベルに対応することを特徴とする請求項６に記載の一時的ではないプログラム格納装置。
【請求項１０】
画像センサと、
プログラム可能な制御装置と、
前記プログラム可能な制御装置及び前記画像センサに結合されたメモリと、
を含む装置であって、前記メモリ内に命令が格納され、前記命令は、前記プログラム可能な制御装置に、
前記画像センサによりキャプチャされた画像から画像ピクセルデータを取得させるための命令と、
前記画像のノイズ特性を推定させるための命令と、
前記推定されたノイズ特性に少なくとも部分的に基づいて、ノイズ最適化された重み付き表を識別させるための命令と、
前記ノイズ最適化された重み付き表を前記画像ピクセルデータに適用させて、ノイズ重み付き画像ピクセルデータを生成させるための命令
であることを特徴とする装置。
【請求項１１】
前記プログラム可能な制御装置に、前記ノイズ重み付き画像ピクセルデータをオートホワイトバランス（ＡＷＢ）プログラムモジュールに送らせるための命令をさらに含むことを特徴とする請求項１０に記載の装置。
【請求項１２】
前記プログラム可能な制御装置に、前記画像ピクセルデータについての白色点を計算させるための命令をさらに含むことを特徴とする請求項１０に記載の装置。
【請求項１３】
前記プログラム可能な制御装置に前記白色点を計算させるための前記命令が、前記プログラム可能な制御装置に前記ノイズ重み付き画像ピクセルデータを用いさせるための命令をさらに含むことを特徴とする請求項１２に記載の装置。
【請求項１４】
前記プログラム可能な制御装置に、前記計算された白色点に従って前記画像ピクセルデータのカラーバランス調整を行わせるための命令をさらに含むことを特徴とする請求項１３に記載の装置。
【請求項１５】
前記プログラム可能な制御装置に前記ノイズ最適化された重み付き表を識別させるための前記命令が、前記プログラム可能な制御装置に、前記メモリ内に予め格納された複数のノイズ最適化された重み付き表の中の対応する値の間を補間させるための命令を含むことを特徴とする請求項１０に記載の装置。
【請求項１６】
前記複数の予め格納されたノイズ最適化された重み付き表の各々が、ノイズレベルに対応することを特徴とする請求項１５に記載の装置。
【請求項１７】
プログラム可能な制御装置によって読み出すことができる一時的ではないプログラム格納装置であって、その上に格納された命令を含み、前記命令は、前記プログラム可能な制御装置に、
画像センサによりキャプチャされた画像から取得された画像ピクセルデータを、メモリ内に格納させるための命令と、
前記画像のノイズ特性を推定させるための命令と、
前記推定されたノイズ特性に少なくとも部分的に基づいて、ノイズ最適化されたピクセル選択基準を識別させるための命令と、
前記ノイズ最適化されたピクセル選択基準を前記画像ピクセルデータに適用して、重み付き画像ピクセルデータを生成させるための命令と、
前記重み付き画像ピクセルデータを前記メモリ内に格納させるための命令
であることを特徴とする一時的ではないプログラム格納装置。
【請求項１８】
前記プログラム可能な制御装置に、シーン白色点を計算させるための命令をさらに含むことを特徴とする請求項１７に記載の一時的ではないプログラム格納装置。
【請求項１９】
前記プログラム可能な制御装置に前記シーン白色点を計算させるための前記命令が、前記プログラム可能な制御装置に前記重み付き画像ピクセルデータを用いさせるための命令をさらに含むことを特徴とする請求項１８に記載の一時的ではないプログラム格納装置。
【請求項２０】
前記プログラム可能な制御装置に前記ノイズ最適化されたピクセル選択基準を識別させるための前記命令が、前記プログラム可能な制御装置に、複数の予め格納されたノイズ最適化された重み付き表の中の対応する値の間を補間させるための命令を含むことを特徴とする請求項１７に記載の一時的ではないプログラム格納装置。
【請求項２１】
前記プログラム可能な制御装置に前記ノイズ最適化されたピクセル選択基準を識別させるための前記命令が、前記プログラム可能な制御装置に、二者択一の選択基準を識別させるための命令を含むことを特徴とする請求項１７に記載の一時的ではないプログラム格納装置。
【請求項２２】
前記複数の予め格納されたノイズ最適化された重み付き表の各々が、ノイズレベルに対応することを特徴とする請求項２０に記載の一時的ではないプログラム格納装置。
【請求項２３】
プログラム可能な制御装置により読み出すことができる一時的ではないプログラム格納装置であって、その上に格納された命令を含み、前記命令は、前記プログラム可能な制御装置に、
画像センサによりキャプチャされた画像から取得された画像ピクセルデータを、メモリ内に格納させるための命令と、
前記画像のルクスレベルを推定させるための命令と、
前記推定されたルクスレベルに少なくとも部分的に基づいて、ノイズ最適化された重み付き表を、複数の予め格納されたノイズ最適化された重み付き表の中の対応する値の間を補間することにより識別させるための命令と、
前記ノイズ最適化された重み付き表を前記画像ピクセルデータに適用して、ノイズ重み付き画像ピクセルデータを生成させるための命令と、
前記ノイズ重み付き画像ピクセルデータを用いて前記画像ピクセルデータについての白色点を計算させるための命令
であることを特徴とする一時的ではないプログラム格納装置。
【請求項２４】
前記プログラム可能な制御装置に補間させるための前記命令が、前記プログラム可能な制御装置に、前記複数の予め格納されたノイズ最適化された重み付き表のうちの２つにおける対応する値の間で線形又は非線形補間計算を行わせるための命令をさらに含むことを特徴とする請求項２３に記載の一時的ではないプログラム格納装置。
【請求項２５】
前記複数の予め格納されたノイズ最適化された重み付き表の各々が、ルクスレベルに対応することを特徴とする請求項２３に記載の一時的ではないプログラム格納装置。
【請求項１】
プログラム可能な制御装置によって読み出すことができる一時的ではないプログラム格納装置であって、その上に格納された命令を含み、前記命令は、前記プログラム可能な制御装置に、
画像センサによりキャプチャされた画像から取得された画像ピクセルデータを、メモリ内に格納させるための命令と、
前記画像ピクセルデータを色空間にわたる画像ピクセル値の集合に変換させるための命令と、
前記画像についてのノイズレベルを推定させるための命令と、
前記推定ノイズレベルに少なくとも部分的に基づいて、ノイズ最適化された値の重み付き表を識別させるための命令であって、前記ノイズ最適化された重み付き表の中の各値が、対応する画像ピクセル値を有する、命令と、
前記各画像ピクセル値にその対応するノイズ最適化された重み付き表の値を乗じて、ノイズ重み付き画像ピクセルデータを生成させるための命令と、
前記ノイズ重み付き画像ピクセルデータを前記メモリ内に格納させるための命令
であることを特徴とする一時的ではないプログラム格納装置。
【請求項２】
前記プログラム可能な制御装置に、前記ノイズ重み付き画像ピクセルデータに少なくとも部分的に基づいて、前記色空間内での前記画像ピクセルデータについてのシーン白色点を計算させるための命令をさらに含むことを特徴とする請求項１に記載の一時的ではないプログラム格納装置。
【請求項３】
前記プログラム可能な制御装置に、前記計算されたシーン白色点を用いて前記画像ピクセルデータのカラーバランス調整を行わせるための命令をさらに含むことを特徴とする請求項２に記載の一時的ではないプログラム格納装置。
【請求項４】
前記プログラム可能な制御装置に前記画像についてのノイズレベルを推定させるための前記命令が、前記プログラム可能な制御装置に前記画像のルクスレベルを推定させるための命令を含むことを特徴とする請求項１に記載の一時的ではないプログラム格納装置。
【請求項５】
前記プログラム可能な制御装置に前記画像についてのノイズレベルを推定させるための前記命令が、前記プログラム可能な制御装置に前記画像センサのアナログゲインを判定させるための命令を含むことを特徴とする請求項１に記載の一時的ではないプログラム格納装置。
【請求項６】
前記プログラム可能な制御装置に前記値のノイズ最適化された重み付き表を識別させるための前記命令が、前記プログラム可能な制御装置に、複数の予め格納されたノイズ最適化された重み付き表の中の対応する値の間を補間させるための命令を含むことを特徴とする請求項１に記載の一時的ではないプログラム格納装置。
【請求項７】
前記プログラム可能な制御装置に、前記複数の予め格納されたノイズ最適化された重み付き表の中の対応する値の間を補間させるための前記命令が、前記プログラム可能な制御装置に、前記複数の予め格納されたノイズ最適化された重み付き表のうちの２つにおける対応する値の間で線形又は非線形補間を行わせるための命令を含むことを特徴とする請求項６に記載の一時的ではないプログラム格納装置。
【請求項８】
前記複数の予め格納されたノイズ最適化された重み付き表の各々が、ノイズレベルに対応することを特徴とする請求項６に記載の一時的ではないプログラム格納装置。
【請求項９】
前記複数の予め格納されたノイズ最適化された重み付き表の各々が、ルクスレベルに対応することを特徴とする請求項６に記載の一時的ではないプログラム格納装置。
【請求項１０】
画像センサと、
プログラム可能な制御装置と、
前記プログラム可能な制御装置及び前記画像センサに結合されたメモリと、
を含む装置であって、前記メモリ内に命令が格納され、前記命令は、前記プログラム可能な制御装置に、
前記画像センサによりキャプチャされた画像から画像ピクセルデータを取得させるための命令と、
前記画像のノイズ特性を推定させるための命令と、
前記推定されたノイズ特性に少なくとも部分的に基づいて、ノイズ最適化された重み付き表を識別させるための命令と、
前記ノイズ最適化された重み付き表を前記画像ピクセルデータに適用させて、ノイズ重み付き画像ピクセルデータを生成させるための命令
であることを特徴とする装置。
【請求項１１】
前記プログラム可能な制御装置に、前記ノイズ重み付き画像ピクセルデータをオートホワイトバランス（ＡＷＢ）プログラムモジュールに送らせるための命令をさらに含むことを特徴とする請求項１０に記載の装置。
【請求項１２】
前記プログラム可能な制御装置に、前記画像ピクセルデータについての白色点を計算させるための命令をさらに含むことを特徴とする請求項１０に記載の装置。
【請求項１３】
前記プログラム可能な制御装置に前記白色点を計算させるための前記命令が、前記プログラム可能な制御装置に前記ノイズ重み付き画像ピクセルデータを用いさせるための命令をさらに含むことを特徴とする請求項１２に記載の装置。
【請求項１４】
前記プログラム可能な制御装置に、前記計算された白色点に従って前記画像ピクセルデータのカラーバランス調整を行わせるための命令をさらに含むことを特徴とする請求項１３に記載の装置。
【請求項１５】
前記プログラム可能な制御装置に前記ノイズ最適化された重み付き表を識別させるための前記命令が、前記プログラム可能な制御装置に、前記メモリ内に予め格納された複数のノイズ最適化された重み付き表の中の対応する値の間を補間させるための命令を含むことを特徴とする請求項１０に記載の装置。
【請求項１６】
前記複数の予め格納されたノイズ最適化された重み付き表の各々が、ノイズレベルに対応することを特徴とする請求項１５に記載の装置。
【請求項１７】
プログラム可能な制御装置によって読み出すことができる一時的ではないプログラム格納装置であって、その上に格納された命令を含み、前記命令は、前記プログラム可能な制御装置に、
画像センサによりキャプチャされた画像から取得された画像ピクセルデータを、メモリ内に格納させるための命令と、
前記画像のノイズ特性を推定させるための命令と、
前記推定されたノイズ特性に少なくとも部分的に基づいて、ノイズ最適化されたピクセル選択基準を識別させるための命令と、
前記ノイズ最適化されたピクセル選択基準を前記画像ピクセルデータに適用して、重み付き画像ピクセルデータを生成させるための命令と、
前記重み付き画像ピクセルデータを前記メモリ内に格納させるための命令
であることを特徴とする一時的ではないプログラム格納装置。
【請求項１８】
前記プログラム可能な制御装置に、シーン白色点を計算させるための命令をさらに含むことを特徴とする請求項１７に記載の一時的ではないプログラム格納装置。
【請求項１９】
前記プログラム可能な制御装置に前記シーン白色点を計算させるための前記命令が、前記プログラム可能な制御装置に前記重み付き画像ピクセルデータを用いさせるための命令をさらに含むことを特徴とする請求項１８に記載の一時的ではないプログラム格納装置。
【請求項２０】
前記プログラム可能な制御装置に前記ノイズ最適化されたピクセル選択基準を識別させるための前記命令が、前記プログラム可能な制御装置に、複数の予め格納されたノイズ最適化された重み付き表の中の対応する値の間を補間させるための命令を含むことを特徴とする請求項１７に記載の一時的ではないプログラム格納装置。
【請求項２１】
前記プログラム可能な制御装置に前記ノイズ最適化されたピクセル選択基準を識別させるための前記命令が、前記プログラム可能な制御装置に、二者択一の選択基準を識別させるための命令を含むことを特徴とする請求項１７に記載の一時的ではないプログラム格納装置。
【請求項２２】
前記複数の予め格納されたノイズ最適化された重み付き表の各々が、ノイズレベルに対応することを特徴とする請求項２０に記載の一時的ではないプログラム格納装置。
【請求項２３】
プログラム可能な制御装置により読み出すことができる一時的ではないプログラム格納装置であって、その上に格納された命令を含み、前記命令は、前記プログラム可能な制御装置に、
画像センサによりキャプチャされた画像から取得された画像ピクセルデータを、メモリ内に格納させるための命令と、
前記画像のルクスレベルを推定させるための命令と、
前記推定されたルクスレベルに少なくとも部分的に基づいて、ノイズ最適化された重み付き表を、複数の予め格納されたノイズ最適化された重み付き表の中の対応する値の間を補間することにより識別させるための命令と、
前記ノイズ最適化された重み付き表を前記画像ピクセルデータに適用して、ノイズ重み付き画像ピクセルデータを生成させるための命令と、
前記ノイズ重み付き画像ピクセルデータを用いて前記画像ピクセルデータについての白色点を計算させるための命令
であることを特徴とする一時的ではないプログラム格納装置。
【請求項２４】
前記プログラム可能な制御装置に補間させるための前記命令が、前記プログラム可能な制御装置に、前記複数の予め格納されたノイズ最適化された重み付き表のうちの２つにおける対応する値の間で線形又は非線形補間計算を行わせるための命令をさらに含むことを特徴とする請求項２３に記載の一時的ではないプログラム格納装置。
【請求項２５】
前記複数の予め格納されたノイズ最適化された重み付き表の各々が、ルクスレベルに対応することを特徴とする請求項２３に記載の一時的ではないプログラム格納装置。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図７】
【図４】
【図５】
【図６】
【図１Ｂ】
【図２】
【図３】
【図７】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−８５２５４（Ｐ２０１３−８５２５４Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２３０２８０（Ｐ２０１２−２３０２８０）
【出願日】平成２４年９月２８日（２０１２．９．２８）
【出願人】（５０３２６０９１８）アップル インコーポレイテッド (568)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１２−２３０２８０（Ｐ２０１２−２３０２８０）
【出願日】平成２４年９月２８日（２０１２．９．２８）
【出願人】（５０３２６０９１８）アップル インコーポレイテッド (568)
【Ｆターム（参考）】
[ Back to top ]