距離情報を決定するための方法、距離マップを決定するための方法、コンピュータ装置、撮影システム、コンピュータプログラム
【課題】撮像して得た２つの画像から、シーンの距離情報を取得する。
【解決手段】シーンの第１，２の画像を取得する。第１の画像は第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されている。第１、２の画像から第１、２の画像パッチを選択する。第１、２の画像パッチは第１、２の画像のそれぞれにおいて撮影されたシーンの共通部分に対応している。第１、２の画像パッチのうちのどちらがより焦点が合った画像パッチであるかを決定する。第１、２の画像パッチのそれぞれにおけるデータの組合せに基づいて少なくとも１つの値を計算する。組合せは第１、２の画像パッチのうちのどちらがより焦点が合った画像パッチと決定されるかに依存している。少なくとも１つの計算された値からシーンの共通部分の距離情報を決定する。
【解決手段】シーンの第１，２の画像を取得する。第１の画像は第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されている。第１、２の画像から第１、２の画像パッチを選択する。第１、２の画像パッチは第１、２の画像のそれぞれにおいて撮影されたシーンの共通部分に対応している。第１、２の画像パッチのうちのどちらがより焦点が合った画像パッチであるかを決定する。第１、２の画像パッチのそれぞれにおけるデータの組合せに基づいて少なくとも１つの値を計算する。組合せは第１、２の画像パッチのうちのどちらがより焦点が合った画像パッチと決定されるかに依存している。少なくとも１つの計算された値からシーンの共通部分の距離情報を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
関連特許出願の参照
本出願は、米国特許法第１１９条に基づいて、２０１１年９月１４日に出願したオーストラリア特許出願第２０１１２２４０５１号の出願日の便益を主張するものであり、その全体を参照により本明細書に完全に記載されるものとして組み込む。
【０００２】
本発明はデジタル画像処理に関し、より具体的には、シーンの画像からシーン内のオブジェクトへの距離を決定することに関する。
【背景技術】
【０００３】
画像撮影の多くのアプリケーションでは、画像撮影装置の視野内の画像撮影装置からオブジェクトへの距離を決定することが好都合な場合がある。画像化されたシーン内のオブジェクトへのこのような距離の集まりは、距離マップ（ｄｅｐｔｈ ｍａｐ）と呼ばれることがある。画像化されたシーンの距離マップは画像として表されることがあり、シーンの画像自体とは異なる画素分解能の画像である場合があり、距離マップのそれぞれの画素に対応するオブジェクトへの距離はグレースケールまたは明度によって表される。
【０００４】
距離マップによって、写真についてのいくつかの望ましい撮影後画像処理機能が可能になるため、消費者の写真撮影の分野で便利な場合がある。たとえば距離マップは、手動の後処理または創造的な写真効果の自動適用を可能にするために、前景および背景のオブジェクトを分割するために使用できる。距離マップは、より小さくより安価なレンズを使用して、高品質のレンズの芸術的に美しい段階的なぼけ（ｂｌｕｒ）を画像処理で付与することなどの、距離関連の写真効果を適用するためにも使用できる。
【０００５】
写真シーンの距離マップを取得するあらゆる方法において、いくつかの機能が望ましい。距離精密度は重要であり、それがないと結果として得られる距離マップはオブジェクトが本当の距離とは著しく異なる距離にあることを示唆してしまう。距離分解能は、シーン内で相互に空間的に近いオブジェクトを分離できるようにするために、また距離に依存するぼけ付与などの正確な後処理操作を可能にするために重要である。多くのアプリケーションでは距離マップの空間分解能も重要であり、特に写真画像自体の分解能に取り組む距離マップは画素単位の分割にとって有用であり、多くの後処理操作における視覚的に明白なオブジェクト境界エラーを回避する。距離マッピング方法は、理想的には、反射率、色、テクスチャ、および方向などの、シーン内のオブジェクトの物理的性質に依存するべきではない。この特性はしばしばシーン非依存性と呼ばれる。さらに、距離マッピング方法がシーン内のオブジェクトのモーション、および画像撮影装置のモーションに寛容であることが望ましい。さらに距離マッピング方法は、追加のコスト、大きさ、重量、画像撮影および処理時間、ならびに電力消費を最小限に抑えた消費者向けカメラなどの実際の装置で実現できることが望ましい。
【０００６】
シーンの画像から距離マップを決定するためのいくつかの方法が知られている。これらの方法は能動的な方法と受動的な方法に分類できる。能動的な距離マッピング方法は、光線または光のパターン、あるいは他の放射物をシーンに投影することを含む。距離は、反射した光線が戻ってくる時間を計ること、またはシーン内の三次元構造から反射する際のパターンの幾何学的な歪みを分析することによって測定できる。能動的な方法には投影光学が必要であり、それによって消費者の写真撮影などのアプリケーションに著しいコスト、重量、および電力問題が生じてしまう。さらに、能動的な方法は範囲が限られている。これらの理由から、写真撮影アプリケーションには能動的な方法よりも受動的な距離マッピング方法の方がより適している。
【０００７】
知られているクラスの受動的な距離マッピング方法は、様々な視点からシーンの画像を撮影することを含む。次いでシーンの画像を分析して、立体感によって生じるシーンの画像内のオブジェクトの位置における明白な変化を決定できる。一般に、立体的な方法は複数の視点を必要とするという欠点がある。これは、画像を連続的に撮影することおよびショット間にカメラを移動することか、複数のカメラまたは複数のレンズを有するカメラを使用して画像を撮影することを必要とする。画像を連続的に撮影する場合、特に動いている被写体の場合はカメラの移動にかかる時間が問題となる場合があり、またカメラモーションの正確な位置合わせ（アライメント）または較正が必要である。同時撮影の場合、複数のカメラまたはレンズの必要性によって、撮影装置の構成の費用および困難さが増加する。
【０００８】
他のクラスの受動的な距離マッピング方法は、１つの視点から１台のカメラによって撮影された複数のショットを使用する。これらの方法は、Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ（ＤＦＦ）、およびＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）という２つのクラスにさらに分割できる。ＤＦＦ方法は、広範囲の様々な焦点位置で撮影されたシーンの複数のショットを使用する。次いで、それぞれのショットから画像パッチを分析することによって、どのショットが所与の画像パッチ内に示されるオブジェクトにとっての最良の焦点位置に対応するかを決定でき、次にそのショットを較正された距離に関連付けることができる。ＤＦＦ方法の主な欠点は、多数の画像を撮影する必要があり、結果として撮影時間が長くなり、動いているシーンについて著しい位置合わせ問題が生じ、また処理時間が長くなることである。
【０００９】
ＤＦＤ方法は、異なるカメラあるいは焦点や口径のような撮影パラメータを使用して少数の画像を撮影し、次いでシーンオブジェクトのぼけの量の差を分析するために画像を比較することによって、シーン内のオブジェクトへの距離を測定しようとする。次いで、既存の方法は、様々な理論的計算または経験的較正によって、このぼけの差のいくつかの測度を画像化されたオブジェクトの距離に関連付けようとする。ＤＦＤ方法は、わずか２つの画像から距離を推定できる。
【００１０】
上述の全ての距離マッピング方法の望ましい特徴、すなわち距離精密度、距離分解能、空間分解能、シーン非依存性、モーション寛容度、ならびにコスト、重量、大きさ、処理時間、および電力消費が低いことに加えて、特にＤＦＤ方法はさらに望ましい特徴要件がある。ＤＦＤ方法はぼけの差の量化に依存して距離を確立する。したがって、実現可能なぼけの差の量がカメラ設計の実際の配慮によって制限されている場合、ＤＦＤ方法がよく動作することが望ましい。特に、小型カメラは、コストを抑えて便利な大きさの製品を生産するために一般的に小さいレンズおよびセンサを有している。画像化システムのこれらの制約により、小さい光学系の大きな被写界深度のために、ぼけの差は比較的小さくなる（より大きいカメラと比較して）。たとえば、小型カメラで撮影された２つのショット間の実現可能な一般的なぼけの差は、１画素オーダーか、それよりも少ない。ＤＦＤ方法の他の望ましい特徴は、この方法がカメラ光学系の現実的なモデルに基づくということである。これによって、ぼけの差の測度と画像撮影光学系のパラメータとの間になされるべき明瞭な理論的関係が可能になる。これによって、ぼけの差の測度とオブジェクトの距離との間の接続をさらに完全に理解できるようになり、異なる画像化シナリオまたは困難な画像化条件に適切な考察を与えられるようになる。
【００１１】
ＤＦＤ方法の一例は、１９８７年７月に発表された、Ｐｅｎｔｌａｎｄによる論文「Ａ Ｎｅｗ Ｓｅｎｓｅ ｆｏｒ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．ＰＡＭＩ−９，Ｎｏ．４，ｐｐ．５２３〜５３１に記載されており、以下では「Ｐｅｎｔｌａｎｄ」と呼ぶ。この方法は、対称ガウス点広がり関数（ＰＳＦ）の仮説（assumption）に基づいて画像ごとにぼけの半径を推定することによって、異なる口径で撮影された２つの画像間のぼけの量における差を計ろうとするものである。この仮定は、一般的なカメラレンズにとっては非現実的であるが、レンズ光学的伝達関数（ＯＴＦ）が実ガウス関数であると仮定し、したがってこの仮定は距離推定（depth estimate）にエラーを生じさせる。さらに、ぼけの半径を計算するＰｅｎｔｌａｎｄ方法はシーンテクスチャおよび画像ノイズの変化に非常に敏感である。この敏感性のため、本方法は自然風景の写真を撮影するカメラでの使用には適していない。
【００１２】
ＤＦＤ方法の他の例は、１９９３年に付与された米国特許第５，２３１，４４３号（Ｓｕｂｂａｒａｏ）に記載されている。この方法は、画像領域内の行または列を合計して、１次元（１Ｄ）フーリエ変換を実行して、次いでフーリエ成分の小さいサブセットを調べることによって、異なる撮影パラメータ（カメラパラメータ）で撮影された２つの画像間のぼけの量における差を計ろうとするものである。この方法は、射影切片定理によって画像領域の２次元（２Ｄ）フーリエ変換を通じて１Ｄ切片を調べることと等しい。通常、自然風景の写真には様々なテクスチャがある。これらのテクスチャの２次元フーリエ変換は、様々な主要な配向（ｄｏｍｉｎａｎｔ ｏｒｉｅｎｔａｔｉｏｎｓ）を有する。一般的なテクスチャは空間周波数軸に沿って低エネルギーを有し、それは、Ｓｕｂｂａｒａｏの方法が画像ノイズに敏感であり、距離推定に大きなエラーを生じさせてしまうことを意味する。シーンテクスチャの配向についてのこのエラーの変化は、距離マッピング方法には非常に不適当である。
【００１３】
異なる理論的原理を使用するＤＦＤ方法の一例は、２００６年６月にＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙによって発表されたＭｃＣｌｏｓｋｅｙ他による論文「Ｔｈｅ Ｒｅｖｅｒｓｅ Ｐｒｏｊｅｃｔｉｏｎ Ｃｏｒｒｅｌａｔｉｏｎ Ｐｒｉｎｃｉｐｌｅ ｆｏｒ Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ ３Ｄ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｉｓｕａｌｉｚａｔｉｏｎ，ａｎｄ Ｔｒａｎｓｍｉｓｓｉｏｎ，ｐｐ．６０７〜６１４に記載されている。この方法は、画素自己相関に基づく測度を使用してそれぞれの画像内のぼけの量を個々に推定して、次いで画像間のこの測度を比較することによって、２つの画像間のぼけの差を計ろうとするものである。この方法では、相関測度とぼけを生じさせる物理光学的原理との間に明瞭な理論的関係はない。したがって、様々な撮影条件の下で本方法の精密度を確立するのは困難である。この方法から得られるサンプルの距離にはノイズがある。
【００１４】
ＤＦＤ方法の他の例は、２０１０年６月２１日に発表された、Ａｙｄｉｎ＆Ａｋｇｕｌによる論文「Ａｎ ｏｃｃｌｕｓｉｏｎ ｉｎｓｅｎｓｉｔｉｖｅ ａｄａｐｔｉｖｅ ｆｏｃｕｓ ｍｅａｓｕｒｅｍｅｎｔ ｍｅｔｈｏｄ」、Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ，Ｖｏｌ．１８，Ｎｏ．１３，ｐｐ．１４２１２〜１４２２４に記載されている。この方法は、画像の対応するパッチ間の相互相関を計算することによって２つの画像間のぼけの差を計ろうとするものである。これは画像パッチ間の類似の測度を作り、その測度はオブジェクトの距離と関係がある。ここでの問題点は、コントラストが高くてぼけのレベルが低いオブジェクトよりも、コントラストが低くてぼけの差が高いオブジェクトの方が、より似ているように見えることであり、このことは誤った距離割当てをもたらす。
【００１５】
これらの例は、既存のＤＦＤ手法の欠点の例である。一般的にＤＦＤ方法の短所は、使用されるデータ量が比較的少ないこと、シーンテクスチャ変化および画像ノイズの影響、ならびにカメラまたは被写体のモーションによって生じる画像内のオブジェクト間のあらゆる位置合わせ不良のために距離推定がエラーになりやすいということ、ならびにオブジェクトの距離とぼけとの間の関係が複雑であるということである。多くのＤＦＤアルゴリズムでは、カメラレンズの不正確なモデルを使用するカメラ較正方法、距離推定と物理光学的理論との間に理論的関係が弱いまたはないこと、ならびに１つまたは複数の画像ノイズ、画像位置合わせ不良、露出差、およびシーン内のオブジェクトのテクスチャの変化に対する距離推定感度が高いことのために、画像の分析から抽出される定量的測度とシーン内の実際の距離の間の関連性が乏しい。
【００１６】
ＤＦＤ方法は、小型カメラで撮影された画像に適用される場合に特に問題となる。レンズおよびセンサのサイズが小さいことによって、シーンの２つのショット間で実現できるぼけの差の量が制限されてしまうので、小さいセンサはより大きいセンサよりも画像ノイズになりやすい。これらのことによって、ぼけの差の量を正確に計ることが困難になる。
【発明の概要】
【発明が解決しようとする課題】
【００１７】
本発明の目的は、既存の装置の１つまたは複数の欠陥を実質的に克服するか、少なくとも改善することである。
【課題を解決するための手段】
【００１８】
本発明の目的を達成するために、たとえば、本発明の第１の様態は、画像撮影装置によって撮影されたシーンの距離情報を決定するための方法であって、前記画像撮影装置によって撮影された前記シーンの第１の画像および第２の画像を取得するステップであって、前記第１の画像は、前記第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されており、前記第１の画像から第１の画像パッチを選択し、前記第２の画像から第２の画像パッチを選択するステップであって、前記第１および第２の画像パッチは、前記第１および第２の画像のそれぞれにおいて撮影された前記シーンの共通部分に対応しており、前記第１および第２の画像パッチのうちのどちらの方が、より焦点が合った画像パッチであるかを決定するステップと、前記第１および第２の画像パッチのそれぞれにおけるデータの組合せに基づいて少なくとも１つの値を計算するステップであって、前記組合せは、前記第１および第２の画像パッチのうちのどちらの方が前記より焦点が合った画像パッチと決定されるかに依存しており、前記少なくとも１つの計算された値から、前記シーンの前記共通部分の前記距離情報を決定するステップとを有することを特徴とする。
【発明の効果】
【００１９】
本発明の第１の様態の方法によれば、既存の装置の１つまたは複数の欠陥を実質的に克服するか、少なくとも改善することができる。
【００２０】
本発明の他の態様も以下で説明する実施の形態で開示される。
【００２１】
以下の図面を参照して、本発明の少なくとも１つの実施形態を説明する。
【図面の簡単な説明】
【００２２】
【図１】シーン、およびシーンの画像を撮影するために位置する画像撮影装置の概略図である。
【図２】２つの異なる焦点面で２つの異なる画像を形成するレンズの幾何学的配置を示す概略図である。
【図３Ａ】２次元のガウス関数、およびその１次元の断面図である。
【図３Ｂ】２次元のピルボックス関数、およびその１次元の断面図である。
【図４】２次元点広がり関数の一般的形態の１次元の断面図である。
【図５】画像ノイズがある状態でデジタル画像から推定された、２次元点広がり関数の一般的形態の１次元の断面図である。
【図６】相対的なぼけの半径に対してプロットされた２つの異なる距離測度の値を示すグラフである。
【図７】相対的なぼけの半径に対してプロットされた２つの異なる距離測度の値を示すグラフである。
【図８】シーンの第１の画像および第２の画像内の画素と画像パッチとの間の対応を示す図である。
【図９】本開示による、シーンの２つの画像から距離マップを決定する例示的方法を示す概略的流れ図である。
【図１０】図９の方法で使用される、２つの画像を撮影する方法の一例を示す概略的流れ図である。
【図１１】図９の方法で使用される、非対称パッチ選択の方法の一例を示す概略的流れ図である。
【図１２】図９の方法で使用される、シーンの２つの画像の２つの対応するパッチから距離推定を決定する方法の一例を示す概略的流れ図である。
【図１３】図９の方法で使用される、シーンの２つの画像の２つの対応するパッチから距離推定を決定する方法の他の例を示す概略的流れ図である。
【図１４Ａ】図１４Ｂとともに形成する、本発明の実施形態を実施できる汎用コンピュータの概略的ブロック図である。
【図１４Ｂ】図１４Ａとともに形成する、本発明の実施形態を実施できる汎用コンピュータの概略的ブロック図である。
【図１５Ａ】本開示による距離測定を実行できる例示的画像を示す図である。
【図１５Ｂ】本開示による距離測定を実行できる例示的画像を示す図である。
【図１５Ｃ】本開示による距離測定を実行できる例示的画像を示す図である。
【発明を実施するための形態】
【００２３】
１．序文
本開示は、異なるカメラ撮影パラメータを有し、実質的に同じ場所に位置する１台のカメラを使用して撮影されたシーンの２つの画像から距離マップを抽出する方法を提供するものである。本方法は、改良された精密度、画像位置合わせ不良に対する一層の寛容性、画像露出に対する一層の寛容性、画像ノイズに対する改良された寛容性、画像内のオブジェクトのテクスチャの差に対する一層の寛容性、およびより速い計算速度のうちの１つまたは複数を提供しようとするものである。
【００２４】
２．コンテキスト
２．１ 薄レンズ方程式、基礎幾何学
距離推定の技術的詳細は、画像化装置の幾何学および光学の主な態様に依存する。カメラなどの画像化装置を使用して撮影されたほとんどのシーンは、装置のレンズから様々な距離に位置する複数のオブジェクトを含む。一般的に、画像化装置はシーン内の関心のあるオブジェクトに焦点を合わせる。関心のあるオブジェクトはシーンの被写体と呼ばれる。
【００２５】
図１は、画像化装置の主な部分と、撮影されるべきシーン内のオブジェクトとの間の幾何学的関係を示す概略図である。図１は、レンズ１１０およびセンサ１１５を含む画像化装置（たとえばカメラ）１００を示している。図１は、シーンの一部を形成するが、必ずしも撮影されるべきシーンの被写体ではない、直角プリズムに位置する球体で形成されるインフォーカス（ｉｎ−ｆｏｃｕｓ）面１３０および一般的オブジェクト１４０も示している。画像化装置１００の画像面１２０（焦点面とも呼ばれる）がセンサ１１５の位置にあると定義される。レンズ１１０を通じて投影されると、画像面１２０はインフォーカス面１３０を形成し、これはオブジェクト１４０の幾何学的領域における仮想面と考えられる。レンズ１１０から画像面１２０までの距離１５０は、方程式
【００２６】
【数１】
【００２７】
による薄レンズの原理によって、レンズ１１０からインフォーカス面１３０までの距離１６０に関連し、上式で、ｆはレンズ１１０の焦点距離であり、ｚｉはレンズからセンサまでの距離１５０であり、ｚ０はレンズ１１０からインフォーカス面１３０までの距離１６０である。一般的なシーンオブジェクト１４０は、レンズ１１０からの距離１７０およびインフォーカス面１３０からの距離１８０に位置する。この距離１７０はｚｓと呼ばれる。オブジェクト１４０からインフォーカス面１３０までの距離１８０は、ｚｓ−ｚ０で求められ、正数、ゼロ、負数でよい。画像面１２０上でオブジェクト１４０に焦点を合わせると、ｚｓ＝ｚ０となり、オブジェクト１４０はインフォーカス面１３０に位置付けられる。ｚｓがｚ０よりも短い場合はオブジェクト１４０がインフォーカス面１３０の背面に位置し、長い場合はオブジェクト１４０がインフォーカス面１３０の前面に位置するので、オブジェクト１４０の画像は画像面１２０上でぼけて見える。
【００２８】
図１は画像化の比較的単純な幾何光学モデルを示している。このモデルは、薄レンズ近似値を含む近似値、近軸画像光線、および収差のないレンズを利用する。これらの近似値は、実際の画像化システムに固有の光学のいくつかの側面を無視するが、当業者には理解されるように、画像化動作の一般的な理解には十分である。
【００２９】
ユーザによって手動で、または画像化装置１００に内蔵されたオートフォーカスメカニズムを使用して、焦点合わせが実行される。一般的に、焦点合わせは、距離ｚ０１６０が関心のある特定のオブジェクトへの距離ｚｓ１７０と等しくなるようにインフォーカス面１３０を配置するために、すなわちインフォーカス面１３０内に被写体を配置するために、レンズからセンサへの距離１５０を操作する。被写体の距離とは異なるレンズ１１０からの距離ｚｓを有するシーン内の他のオブジェクトは、インフォーカス面１３０の背面または前面に位置している。これらの他のオブジェクトは画像面１２０上で、然るにセンサ１１５上で撮影された画像内で、ある程度ぼけて見えることになる。このぼけは、デフォーカスぼけ（ｄｅｆｏｃｕｓ ｂｌｕｒ）と呼ばれる。
【００３０】
２．２ デフォーカスぼけ−単一の画像
画像化されたオブジェクト１４０のデフォーカスぼけの量は、インフォーカス面１３０からオブジェクト１４０までの距離１８０に伴って増加する。所与のパッチまたは撮影された２Ｄ画像の一部内にあるデフォーカスぼけの量は、点広がり関数（ＰＳＦ）によって特徴付けることができる。ＰＳＦは点光源に対する画像化システムの反応であり、画像面上のＰＳＦの積分が１と等しいように定義される。一般的に光学系のＰＳＦは、空間的に制限された空間的座標（ｘ、ｙ）の２次元関数であり、起点から一定のラジアル距離を超えてゼロに近づく。ぼけの量は、ＰＳＦの形の測度によって特徴付けることができる。ぼけの量の一般的な測度はＰＳＦの半値全幅（ＦＷＨＭ）、またはＰＳＦの標準偏差である。
【００３１】
カメラレンズ１１０のＰＳＦについての数学的に単純なモデルを仮定することによって、ＤＦＤの原理の基本的な理解を得ることができる。この単純性を実現するために、従来技術の分析はしばしばＰＳＦを２次元のガウス関数としてモデル化する。この仮定は本明細書において説明の目的のみで続けられ、物理光学系のＰＳＦは一般的にガウスの関数によってあまり近似されない点に言及する。この仮定の下に、ガウスの標準偏差σをぼけの半径と見なすことができ、「ぼけの量」の概念の便利な定量的測度を提供する。ガウスぼけの半径σ、オブジェクト距離ｚｓ、ならびに焦点距離ｆおよびレンズ口径Ａｖのカメラ画像撮影パラメータの関係は、
【００３２】
【数２】
【００３３】
によって求めることができ、上式でＡｖはレンズ１１０の口径比（ｆ値としても知られる）である。シーンの撮影された画像内の画素座標（ｘｉ、ｙｉ）に位置する点のぼけの半径σを測定できる場合、方程式（２）内の残りの量が分かっていれば、方程式（２）を使用してシーン内の対応する点でのオブジェクトへの距離ｚｓを決定できる。
【００３４】
しかし、画像化されるシーンの詳細な予備知識なしにシーンの単一の画像からの距離を決定することは、解決不可能な問題として知られている。これは、ぼけのないシーン画像の詳細が知られていない限り、単一の画像からぼけの半径σを決定することが不可能であるためである。たとえば、ぼけたディスクに似た画像特徴は、ある未知量によってぼけたある不定のより小さいサイズのディスクによって、または絞られた焦点の中で表示されたぼけたディスクに似たシーン内のオブジェクトによって、生じる場合がある。この曖昧さのために、ぼけの半径σを決定することができない。したがって、方程式（２）に関して、たとえパラメータｚｉ、ｆ、およびＡｖが知られていても、自然なシーン（ｕｎｃｏｎｓｔｒａｉｎｅｄ ｓｃｅｎｅ）の単一の画像から距離を決定することは不可能である。
【００３５】
ほとんどの状況では、シーン内のオブジェクトの構造についての詳細な知識なしにシーンが画像化される。多くの画像化アプリケーションにとって、自然なシーンを扱うことは一般的要件であり、写真スタジオなどの注意深く制御された画像化環境下でさえ、単一の画像から距離マップを取得するために必要な要求される情報を推定することは非常に困難である。しかし、方程式（２）を参照すると、ぼけの半径σに加えてパラメータのうちの少なくとも１つの値が２つの撮影された画像間で異なるならば、同じシーンの２つの撮影された画像を使用して距離情報を抽出することは理論的に可能である。これはデフォーカスからの距離（ＤＦＤ）方法を支持する基本原理であり、１つのシーンの２つの画像間の相対的なデフォーカスぼけの計算を使用する。
【００３６】
２．３ デフォーカスぼけ−２つの画像−口径差
異なる口径比Ａｖを有するが、他の全てのパラメータが一定のままである、カメラで撮影された同じシーンの２つの画像について考察する。さらに、パッチが一般的に画像化されているシーンの同じ領域を示すように、第１の画像から取られた小さな画像パッチ、および第２の画像から取られた小さな画像パッチを考察する。よく知られているように、画像のパッチ内に存在するデフォーカスぼけの量は、インフォーカス面１３０からのパッチ内に示されるオブジェクト１４０の距離ｚｓ−ｚ０１８０と、レンズ１１０の口径比Ａｖとの２つのパラメータに依存する。
【００３７】
第１に、パッチ内に示されるオブジェクト１４０がインフォーカス面１３０内にある場合、オブジェクト１４０は焦点が合っているように見える。デフォーカスぼけの半径σは、インフォーカス面からのオブジェクトの距離１８０の絶対値｜ｚｓ−ｚ０｜の増加に伴って増加する。第２に、デフォーカスぼけの半径σは、口径比Ａｖの減少に伴って増加する。この場合、デフォーカスぼけの半径σが、インフォーカス面１３０からのオブジェクト１４０の絶対距離１８０｜ｚｓ−ｚ０｜の増加に伴って単調に増加することを示すことができる。これは、第１の画像からのパッチのデフォーカスぼけの半径σ１および第２の画像からのパッチのデフォーカスぼけの半径σ２が推定できる場合、これらの推定を方程式（２）に使用して、オブジェクト１４０がインフォーカス面１３０の前面にあるか背面にあるかは曖昧だが、パッチ内に示されるオブジェクト１４０のインフォーカス面１３０からの距離を決定できることを意味する。
【００３８】
さらに、２つのぼけの半径における差の絶対値｜σ２−σ１｜が、インフォーカス面１３０からのオブジェクト１４０の絶対距離１８０｜ｚｓ−ｚ０｜の増加に伴って単調に増加することを示すことができる。これは、２つの画像から２つのぼけの半径における差｜σ２−σ１｜を推定できる場合、この推定を使用して、オブジェクト１４０がインフォーカス面１３０の前面にあるか背面にあるかは曖昧だが、パッチ内に示されるオブジェクト１４０のインフォーカス面１３０からの距離を推定できることを意味する。
【００３９】
あるいは、２つの画像から、ぼけの量における差の他のいくつかの測度を推定できる。この他の測度はぼけの半径における差ではなく、むしろ「ぼけの差」の概念の他の何らかの量化を推定しようとするものである。この場合、ぼけの差の測度を距離測度に経験的に較正することが必要な場合がある。
【００４０】
２．４ デフォーカスぼけ−２つの画像−焦点差
代替で、レンズからセンサまでの距離ｚｉ１５０は異なっているが、他の全てのパラメータは一定のままである、１台のカメラで撮影された同じシーンの２つの画像を考察する。さらに、パッチが通常画像化されているシーンの同じ領域を示すように、第１の画像から取られた小さい画像パッチ、および第２の画像から取られた小さい画像パッチを考察する。
【００４１】
図２は、２つの異なる焦点位置に設定されたレンズからセンサまでの距離ｚｉ１５０で撮影された２つの画像の幾何学的配置を示している。図２は、画像が撮影されるレンズ２１０に対する位置を示すように描かれている。第１の画像は、レンズ２１０からの距離ｚｉ１２２５の第１の位置２２０で、センサで撮影される。第１のインフォーカス面２３０は、レンズ２１０からの距離ｚｏ１２３５にある。第２の画像は、レンズ２１０からの距離ｚｉ２２４５の第２の位置２４０で、センサで撮影される。第２のインフォーカス面２５０は、レンズ２１０からの距離ｚ０２２５５にある。一般性を喪失することなく、ｚ０１＜ｚ０２であり、方程式（１）によりｚｉ１＞ｚｉ２である。
【００４２】
口径差の場合と同様の原理を適用するが、この焦点差の場合、２つの画像は異なるインフォーカス面距離ｚ０１２３５およびｚ０２２５５を有する。レンズからの距離ｚｓ１７０が、第１のインフォーカス面２３０と第２のインフォーカス面２５０との間のどこかの、ある特定の距離ｚｓ０２６５内に入る場合、すなわちｚｏ１＜ｚｓ０＜ｚｏ２の場合、両方の画像でシーンオブジェクトは等しくぼけて見えることになる。インフォーカス面と平行で、レンズからの距離がｚｓ０である面２６０は、中間インフォーカス面と呼ばれることになる。
【００４３】
中間インフォーカス面２６０よりもレンズ２１０からさらに離れたオブジェクトは第１の画像においてよりぼけて見えることになり、中間インフォーカス面２６０よりもレンズ２１０に近いオブジェクトは第２の画像においてよりぼけて見えることになる。
【００４４】
この場合、（ａ）２つのぼけの半径の差｜σ２−σ１｜は、オブジェクト１４０と中間インフォーカス面２６０との間の距離の増加に伴って単調に増加すること、および（ｂ）２つの画像パッチのうちのどちらの方がぼけがより少ないか（すなわち、より焦点が合っているか）を決定することによって、中間インフォーカス面２６０の前面または背面にあるオブジェクト１４０の位置を決定できることを示すことができる。これは、２つのぼけの半径の差｜σ２−σ１｜が推定でき、２つの画像パッチのうちのどちらの方がぼけがより少ないかを決定できる場合、この情報は、オブジェクトが中間インフォーカス面２６０の前面にあるか背面にあるかの曖昧性を除去することを含めて、パッチ内に示されるオブジェクトの中間インフォーカス面２６０からの距離を推定するために使用できることを意味する。
【００４５】
あるいは、２つの画像からぼけの量における差の他のいくつかの測度を推定できる。この測度はぼけの半径における差ではなく、むしろ「ぼけの差」の概念の他の何らかの量化を推定しようとするものである。この場合、ぼけの差の測度を距離測度に経験的に較正することが必要な場合がある。
【００４６】
２．５ 実際の留意点
実際、シーンの画像はいくらかの画像ノイズとともに撮影される。これは画像データを処理することによって行われたあらゆる測定の精密度に影響を及ぼす。多くの従来技術のＤＦＤ方法の原理を得るために使用されるガウスＰＳＦなどの単純な光学モデルも現実的ではない。実際のレンズはピンぼけ以外に収差を含み、オブジェクトは広い画角で画像化され、回折効果が重要になり得る。さらに、シーンオブジェクト内の視覚的なテクスチャの量の留意点がある。たとえば、オブジェクトの領域が色と反射性の点で均一の場合、この領域内のいかなるぼけの量を区別することも不可能である。
【００４７】
これらの理由の組合せにより、実際にＤＦＤ方法は現実的な写真シーンから距離マップを決定することに限定的な成功を示したに過ぎない。報告されたＤＦＤ方法の成功の多くは、高度に制約されたテストシーンに限定されている。さらに、ぼけの半径と方程式（２）によって求められたオブジェクト距離との間の関係は精密度が限られており、有益な結果を達成するためにはこの方法を経験的に較正することが必要であることが分かる。
【００４８】
３．概要
これから説明する装置は、現実世界の状況のレンズ光学の性質のより現実的な理論的モデリングを利用することによって、およびシーンに依存しない方法で、かつ画像ノイズがある状態で、デフォーカスからの距離を推定するためのより堅牢な手段を提供することによって、従来技術を改善する。
【００４９】
図３Ａおよび３Ｂは、一般的にレンズＰＳＦの近似値と仮定される２つの単純な２次元関数を示している。図３Ａは２次元ガウス関数３００を示しており、その１次元断面図は１次元ガウス関数３１０である。２次元ガウス関数３００は、ディザ式（ｄｉｔｈｅｒｅｄ ｆａｓｈｉｏｎ）で概略的に示されている。図３Ｂは円形ピルボックス関数３２０を示しており、その一次元断面図は二乗関数３３０である。
【００５０】
ＤＦＤの状況でのレンズの性質の従来技術のモデリングは、一般にデフォーカスぼけのＰＳＦは２次元ガウス関数３００によってよくモデル化されると仮定する。通常、これは正しくない。写真用カメラレンズのデフォーカスぼけＰＳＦはしばしば円形ピルボックス３２０によく似ており、ガウス関数の緩やかな低下と比べると比較的鋭角である。実際には、デフォーカスぼけＰＳＦの形は、これらの近似値のいずれよりも複雑であり、レンズによって、および単一のレンズの異なる撮影パラメータによって著しく変化する。ＰＳＦも画角に応じて変化するので、画像面１２０のある領域内のＰＳＦは、画像面１２０の他の何らかの領域内のＰＳＦとは異なる場合がある。
【００５１】
また特に、ＤＦＤの状況でのレンズの性質の従来技術のモデリングは、光学的伝達関数（ＯＴＦ）の係数である変調伝達関数（ＭＴＦ）を考慮することは、２つの画像の比較から正確な距離を決定するために適していると仮定する。この仮定は、利用可能なデータの半分を事実上無視して、ＯＴＦの位相の大きな貢献を軽視する。位相情報を十分に利用することによって、本明細書に開示した装置は従来技術よりも大いにより正確な距離結果を達成できる。
【００５２】
また特に、画像パッチのフーリエ変換の比率に基づく従来技術の距離推定は、画像ノイズによって大きく影響される相対的なＰＳＦの幅の推定に事実上基づく。
【００５３】
また特に、パッチ間に相互相関を実行することによって２つの画像パッチ間のぼけの量を比較する従来技術の方法は、異なる目的のために考案された正規化を適用している。この異なる目的は、２つのパッチの両方が同じシーンの信頼できる表現になることを目的としているという仮定の下に、２つのパッチのコントラスト間のあらゆる差を排除することである。この対称的ぼけ仮定は、一方が他方よりもよりぼけているので異なるコントラストがあることが知られている２つの画像パッチを比較する場合、非対称のケースで行われる貧弱な仮定である。
【００５４】
本明細書に開示した装置は、（ａ）ぼけの差の測度を計算する際、非対称パッチ選択の使用を通じて、ぼけのより少ない、およびぼけのより多い画像パッチ間の基本的な非対称を認識して利用することによって、（ｂ）デフォーカスぼけＰＳＦの形についていかなる仮定もせずに、（ｃ）ＯＴＦの位相にある情報を捨てずに、（ｄ）従来の方法よりも画像ノイズに対して敏感でない２つの画像パッチ間の相対的なぼけを特徴付ける改善された方法を使用して、（ｅ）理論的に不適切な相互相関正規化技法を使用せずに、異なる撮影パラメータで撮影された同じシーンの１組の画像から距離測定を容易にする。これらの特徴は以下のセクションで詳細に説明する。
【００５５】
４．平均スペクトル比
４．１ 理論
画像形成の理論を考慮することによって、同じシーンの２つの画像から距離を決定する方法を開発できる。画像化されるべきシーンのパッチｆ０を考察すると、パッチは十分に小さく、したがってオブジェクト距離におけるあらゆる変化、またはパッチ内の画像化システムのＰＳＦが小さいので、無視できる。パッチｆ０の配光分布の画像ｆ１の対応するパッチの２次元配光分布は、以下のように空間的畳み込み演算による完全に一般的な点広がり関数（ＰＳＦ）を使用してモデリングされ得る。
【００５６】
【数３】
【００５７】
上式で、ＰＳＦ１は、画像パッチｆ１上に投影される際のシーンパッチｆ０のデフォーカスぼけＰＳＦである。方程式（３）の両側をフーリエ変換すると、
Ｆ１（ｕ，ｖ）＝Ｆ０（ｕ，ｖ）ＯＴＦ１（ｕ，ｖ） （４）
となり、上式で、（ｕ，ｖ）は空間周波数座標であり、Ｆ１はｆ１のフーリエ変換であり、Ｆ０はｆ０のフーリエ変換であり、ＯＴＦ１はＰＳＦ１のフーリエ変換である。フーリエ畳み込み定理によって、空間的畳み込み演算が積となる。関数ＯＴＦ１は光学的伝達関数（ＯＴＦ）として知られている。ＯＴＦは複素数値関数であり、係数と位相成分を有する。
【００５８】
異なる撮影パラメータで撮影した同じシーンの２つの画像を有するが、画像が相互に合致する（位置が合っている）ようにカメラまたはシーン内のいかなるオブジェクトも動かさないと仮定する。次いで、同じシーンパッチｆ０の第２の画像パッチｆ２を方程式（３）と同じ方法でモデリングでき、下付き文字１を下付き文字２に置換する。２つの画像内の対応するパッチのフーリエ変換の比率は、
【００５９】
【数４】
【００６０】
となり、上式で、シーンのフーリエ変換Ｆ０（ｕ，ｖ）は、右側の分子と分母に共通であり、比率から約分されている。この比率はスペクトル比と呼ばれる場合がある。ノイズがない場合、シーンの全ての貢献が相殺されているので、スペクトル比はシーンに依存しない。画像または量子化ノイズがある場合、相殺は完全ではない場合があるが、スペクトル比の基本的性質は依然としてほとんどまたは実質的にシーン非依存である。
【００６１】
スペクトル比は、画像パッチの任意の割当てでｆ１およびｆ２として形成され得る。しかし、以下でさらに説明するように、２つの画像パッチｆ１およびｆ２のうちのどちらの方が他の画像パッチよりもぼけが少ないかに基づいて、非対称パッチ選択を使用することが好都合である。このような決定は、たとえば、それぞれの画像パッチ内の画素の明度または輝度の分散を計算することによって行うことができ、分散の高いパッチはぼけが少なく、したがってシーンの最も焦点が合った表現であると考えられる。どちらのパッチがぼけがより少ないかを決定する他の方法も使用でき、たとえば画像が異なる口径および回折で撮影されたかどうかを無視できる場合、より狭い口径で撮影されたパッチはぼけがより少ないと考えられる。
【００６２】
どちらのパッチの方がぼけがより少ないかという決定が行われると、ぼけがより少ないパッチはパッチｆ２として割り当てられ、ぼけがより多いと考えられるパッチはｆ１として割り当てられる。この割当てによって、スペクトル比
【００６３】
【数５】
【００６４】
によって求められる相対的な光学的伝達関数ＯＴＦｒに関連して、ｆ１をｆ２のぼけがより多いバージョン考えることができると解釈できるようになる。
【００６５】
方程式（６）を逆フーリエ変換すると以下の関係が求められる。
【００６６】
【数６】
【００６７】
上式で、ＰＳＦｒは相対的点広がり関数（相対的ＰＳＦ）と定義され、画像パッチｆ２に畳み込まれると画像パッチｆ１をもたらす。相対的点広がり関数ＰＳＦｒは単純にＰＳＦ１およびＰＳＦ２に関連しないが、その２つの非線形結合の結果である。相対的点広がり関数ＰＳＦｒは、焦点および口径などの画像化システムのパラメータ、パッチｆ０内で画像化されたオブジェクトの距離、ならびに画像面１２０全域の画角によって異なる。
【００６８】
４．２ 距離マッピングへの適応
図４に相対的ＰＳＦの形の説明のための例が示されている。図４は、ＰＳＦの形４００、ＰＳＦの幅４１０の測度、およびＰＳＦのピーク値４２０を示している。画像ノイズがない場合、物理光学系の相対的ＰＳＦは一般的に、起点４２０で最大またはほぼ最大である値を有し、基点からゼロに低下する関数である。幅４１０の測度は、関数の幅のＦＷＨＭ、標準偏差、または他の何らかの測度でよい。
【００６９】
一般的な写真状況では、シーンパッチｆ０のフーリエスペクトルＦ０はシーンパッチ内のテクスチャに依存する。一般的に、Ｆ０は低い値を有するＦ０の内の多くの領域とともに、ラジアル空間周波数座標に関してベキ分布（ｐｏｗｅｒ ｌａｗ ｄｉｓｔｒｉｂｕｔｉｏｎ）を持つことになる。所与の画像パッチについて著しいデフォーカスがある場合、ＯＴＦ１およびＯＴＦ２もしばしば低い値を有する。
【００７０】
画像ノイズがある場合、方程式（５）を使用してスペクトル比を決定することは、あらゆる空間周波数座標についてノイズのある推定をもたらすことになり、Ｆ０、ＯＴＦ１、またはＯＴＦ２は低い値を有する。スペクトル比推定におけるノイズも相対的ＰＳＦのノイズのある推定をもたらす。さらに、２つの画像パッチから計算された相対的ＰＳＦは、画像パッチの画素グリッド上でサンプリングされ、パッチのサイズによって窓を掛けられる（ｂｅ ｗｉｎｄｏｗｅｄ）。窓を掛けること（ｗｉｎｄｏｗｉｎｇ）によって、パッチのフーリエ変換にアーティファクトがもたらされる。
【００７１】
窓を掛けることによってもたらされるアーティファクトは、当業者には知られているように、スクエアパッチウインドウのエッジに向かって減少する窓関数を適用することによって減らすことができる。このような窓関数はＤＣ周波数のエネルギーを他の周波数に広げるので、精密度の損失をもたらす。これを回避するために、対応するパッチからそれぞれのパッチの平均値を引くことによって、画像パッチは窓を掛ける前にＤＣ成分を除去できる。スペクトル比を形成する場合、これはフーリエ変換におけるＤＣ画素でゼロ除算をもたらす。これは特別なケースとして扱うことができ、パッチは輝度または明度の点で等しいという仮定に基づいて、ＤＣ画素でスペクトル比に値１を割り当てることができる。あるいは、スペクトル比のＤＣ画素に、ＤＣ除去の前に画像パッチの平均の比率と等しい値を割り当てることができる。
【００７２】
図５に、２つのノイズのある画像パッチのスペクトル比を使用して取得された相対的ＰＳＦの説明のための例を示している。図５は、ノイズのあるサンプリングされたＰＳＦの形５００、およびノイズのあるサンプリングされたＰＳＦ５００の基本的な幅５１０の推定された測度を示している。この場合、相対的ＰＳＦの幅５１０の経験的測度は、ノイズによってある程度バイアスがかけられている可能性がある。特に、ＦＷＨＭの推定は一般的に、相対的ＰＳＦの基本的な形について関数形式を仮定するステップ、ノイズのあるデータに曲線を適合させるステップ、曲線の最大値を決定するステップ、次いでその値の半分で曲線の幅をとるステップに依存する。これらのそれぞれのステップは測定におけるノイズのためにエラーになりやすい。
【００７３】
測定されたスペクトル比から相対的ＰＳＦのサイズを推定する際のさらなる考察は、相対的ＰＳＦを計算するステップが、まずスペクトル比を計算して、次いで相対的ＰＳＦを得るために逆フーリエ変換することを要求するということである。この演算は処理時間の点でコストがかかる。
【００７４】
相対的なぼけ幅を含むパラメータを推定するためのより速くより堅牢な方法は、領域全体のスペクトル比の平均値を取ることである。スペクトル比ＯＴＦｒは複素数値関数であるが、比率Ｆ１／Ｆ２によって形成され、Ｆ１およびＦ２は両方とも実数値関数のフーリエ変換である。これは、Ｆ１およびＦ２はエルミート関数であることを意味し、複素ＯＴＦ比率であるＦ１／Ｆ２もエルミート関数であり、すなわち、
Ｉｍ［ＯＴＦｒ（ｕ，ｖ）］＝−Ｉｍ［ＯＴＦｒ（−ｕ，−ｖ）］ （８）
であり、上式で、Ｉｍ（）関数は複素数の虚数部をとる。これは、エルミート対称を有する領域内のスペクトル比値の合計が実数であり、したがってこのような領域全体のスペクトル比の平均が実数であることを意味する。フーリエ変換の特性によって、パッチ全体にわたって計算されたスペクトル比の平均は、起点の相対的ＰＳＦの値４２０と等しい。起点の相対的ＰＳＦの値４２０は相対的なぼけの幅の測度なので、ぼけの幅が大きいほど、それだけ起点の相対的ＰＳＦの値が低く、逆も同様である。したがって、平均スペクトル比は、２つの画像パッチｆ１とｆ２との間の相対的デフォーカスぼけの量の測度を与えるので、画像が異なるカメラ口径または焦点セッティングで撮影されたかどうかに応じて、それぞれ画像パッチ内に示されるオブジェクトからインフォーカス面１３０または中間インフォーカス面２６０のどちらかへの距離１８０に関連する測度として使用できる。
【００７５】
さらに、非対称パッチ選択決定は、画像パッチ内に示されたオブジェクトがインフォーカス面１３０または中間インフォーカス面２６０のどちらかの前面にあるか背面にあるかに直接関連する、どちらの画像パッチの方がより焦点が合っているかのバイナリ弁別子を提供する。この情報を距離決定と結合することにより、画像パッチ内に示されたオブジェクトのカメラから距離を一意に識別できる。
【００７６】
周波数ドメインにおける平均化はランダムノイズの影響を相殺し、相対的ＰＳＦの形についてのあらゆる仮定またはあらゆる追加パラメータ推定を必要とせずにピークの高さの推定をもたらすので、一般的に相対的ＰＳＦの幅の直接推定よりもスペクトル比の平均は相対的なぼけのより堅牢な測度である。一方、ノイズのあるサンプリングされたＰＳＦ５００から相対的ＰＳＦの幅を推定するステップは、相対的ＰＳＦの形についての関数形式を仮定するステップ、ノイズのあるデータの形に適合する複数のパラメータを推定するステップ、およびその適合から幅パラメータ５１０を抽出するステップが必要である。
【００７７】
スペクトル比の係数の平均を取ることは、一般的に複素スペクトル比の平均を取るための異なる数をもたらす。特に、三角不等式によって、スペクトル比の係数の平均は複素スペクトル比の平均よりも一般的に大きく、その差はＯＴＦの位相成分によって決定される。一般的に、これは起点の相対的ＰＳＦの値４２０の推定が大きすぎることを意味し、実際に存在するよりも相対的デフォーカスぼけが小さいことを暗示する。これは画像パッチ内の距離推定におけるエラーにつながる場合がある。同様に、ＯＴＦの係数の比率の平均を取るステップも、一般的に複素スペクトル比の平均を取るための異なる数をもたらし、やはり距離推定におけるエラーにつながる。これらの理由から、正確な距離推定のために、計算を通じて複素数計算を維持することが重要である。
【００７８】
ＭＴＦの比率が使用される従来技術の方法よりも平均スペクトル比方法が優れている点のうちのいくつかは、図６に示されている。図６は、写真から得られた８つの異なるテクスチャについて、ＭＴＦ比率６１０（実線）の平均のプロット、および相対的なぼけの半径に対してプロットされた平均スペクトル比６２０（点線）を示している。平均スペクトル比６２０は、約４画素未満のぼけの半径の差の値について、ＭＴＦ比率６１０の平均よりも大きな相対的なぼけの半径の変化を示している。したがって、平均スペクトル比方法は、この小さい相対的なぼけの差の領域内のぼけの半径の差に対して従来技術の方法よりも著しく敏感である。この小さいぼけの差の領域は、小型消費者向けカメラ特有のレンズおよびセンサを使用するＤＦＤが操作する領域である。また、平均スペクトル比６２０は、画像テクスチャの分散がＭＴＦ比率６１０の平均よりも少ないことを示しており、これは画像ノイズが存在する場合に平均スペクトル比のシーンテクスチャへの依存性がＭＴＦ比率の平均よりも少ないことを意味する。
【００７９】
多くの従来技術の方法よりも平均スペクトル比方法が優れている他の点は、２つの画像間の相対的ＯＴＦが画像間のデフォーカスぼけの量における変化だけに依存するという仮定に依存しない点である。多くの従来技術の方法は他のレンズ収差の影響を無視しており、他のレンズ収差は無視できる、あるいはデフォーカスにおける変化は他のレンズ収差における変化に伴わないと暗に仮定している。これらの仮定は、両方とも光学的瞳孔関数とＯＴＦとの間の関係により、一般的な光学系には誤りである。瞳孔関数は、光学系の瞳孔面を通る光の振幅および位相変調を説明する複素数値関数である。当業者には知られているように、デフォーカスは瞳孔関数のゼルニケ多項式成分として説明できる。球面収差、コマ収差、または他の収差などのレンズ収差は、デフォーカス多項式に直交するゼルニケ多項式として説明できる。これは、瞳孔関数に関して、デフォーカスを他の収差から分離して独自に測定できることを意味する。しかし、ＯＴＦは瞳孔関数の自己相関であり、この自己相関は直交多項式を混合するので、もはや分離できない。これは異なる焦点で撮影された２つの画像間の相対的ＯＴＦが、相対的デフォーカスぼけと他のレンズ収差によって生じたぼけとの混合であること、および両者は曖昧性を除去できないことを意味する。この影響を無視するＤＦＤモデルは、理論と実験との間でミスマッチになり、誤った距離割当てに潜在的に帰着する傾向がある。これは、一般的に著しい収差のレンズを有する小型カメラの場合に特に重要である。平均スペクトル比方法は、一般にこの仮定を回避するのに十分である。レンズ収差が知られている場合、距離への平均スペクトル比の理論的較正内に含むことができる。経験的較正については、平均スペクトル比から距離までの測定されたマッピングは、レンズ収差のあらゆる影響を自動的に含む。
【００８０】
平均スペクトル比の変形は、エルミート対称性を備える領域全体で得られるスペクトル比の実数部の中央値として定義される中央値スペクトル比を計算することである。これにより、ノイズによるバイアスが少ないスペクトル比の平均値の推定がもたらされるので、距離測度としても有用である。
【００８１】
平均スペクトル比の他の変形は、逆正接関数に基づく操作によって方程式（５）の複素数除算を置換することによって形成できる。ゼロに近い値の除算は大きな結果を生じさせ、画像パッチのフーリエ変換におけるいくつかの値がゼロに近く、画像ノイズによって影響を受ける場合がある。これは、スペクトル比における任意の大きい誤った値という結果になる場合がある。したがって、有限範囲内の値に任意の大きい値をマッピングする数学関数を使用することが好都合である。適切な関数は逆正接であり、０から無限大への範囲を０からπ／２への範囲にマッピングする。実際には、逆正接関数のよく知られているａｔａｎ２（ｙ，ｘ）バージョンを使用でき、２つの引数ｘおよびｙをとって比率ｙ／ｘの逆正接を返す。この関数は、方程式（５）における除算が分母におけるゼロのためにエラーをもたらす場合、有限値π／２を返す。ａｔａｎ２（）関数が実数上で演算するので問題が生じるが、フーリエ変換Ｆ１およびＦ２における値は複素数である。Ｆ１およびＦ２の係数の比率の逆正接を単純にとると位相情報を捨てることになり、スペクトル比について上述したように、結果を距離測度として解釈する際のエラーにつながる。ａｔａｎ２（）関数の変形ａｔａｎ２ｃｏｍｐｌｅｘ（）は、２つの引数の比率の逆正接の係数がある値、および２つの引数の位相成分における差と等しい位相成分を返すように定義できる。
ａｔａｎ２ｃｏｍｐｌｅｘ（ｙ，ｘ）＝ａｔａｎ２（｜ｙ｜，｜ｘ｜）ｅｘｐ（ｉ（ａｒｇ（ｙ）−ａｒｇ（ｘ））） （９）
次いで、逆正接スペクトル比と呼ばれる値ＯＴＦａｒｃｔａｎは、
ＯＴＦａｒｃｔａｎ（ｕ，ｖ）＝ａｔａｎ２ｃｏｍｐｌｅｘ（ＯＴＦ２（ｕ，ｖ），ＯＴＦ１（ｕ，ｖ）） （１０）
によって定義できる。
【００８２】
次いで、逆正接スペクトル比を、画像パッチ内に示されるオブジェクトの距離に関連する測度を得るために領域全体の値の平均または中央値を取ることを含むさらなる演算におけるスペクトル比と同様に扱うことができる。平均逆正接スペクトル比は、ランダム画像ノイズによる影響が平均スペクトル比よりも少ないので、利点がある。中央値逆正接スペクトル比も同様である。
【００８３】
４．３ スペクトルサポートおよびノイズ
平均スペクトル比を計算する際のさらなる考察は、比率についてのスペクトルサポートの量である。写真のシーン内の一般的な画像テクスチャでは、フーリエ変換は低周波数で著しい振幅を示すが、最高周波数ではゼロに近い振幅であり、代わりに信号が画像ノイズによって占められる。画像撮影装置のセンサのナイキスト周波数よりも高い周波数では、信号はゼロであり、見られるもの全てはノイズである。これは、スペクトル比ＯＴＦｒが低周波数領域に集中した重要な信号のほとんどを有し、高周波数の方がよりノイズが多いことを暗示する。ある周波数では、スペクトル比の分母は非常にゼロに近く、周波数のスペクトル比を任意に大きくする。このような値を含むスペクトル比の平均を取ることにより、誤った結果が生じる場合がある。
【００８４】
この問題は、スペクトル比を形成する前に画像パッチデータをフィルタリングすることによって、あるいは平均値を取る前にスペクトル比データを重み付けまたはフィルタリングすることによって、あるいはその両方によって対処できる。本開示のこの態様の一実装形態は、フーリエ変換をする前に画像パッチにローパス平滑化フィルタを適用することである。他の実装形態は、フーリエ変換をする前に画像パッチにバンドパスフィルタを適用することである。他の実装形態は、ゼロに近い数による除算によって生じた大きな値を有する画素の影響を減らすためにスペクトル比にウィーナーフィルタまたは同様のノイズ低減フィルタを適用することである。他の実装形態は、スペクトル比画像を１／（ｕ２＋ｖ２）のある累乗に比例する関数などの動径関数で重み付けすることである。
【００８５】
画像パッチフィルタリングの他の実装形態は、画像パッチのうちの１つ、好ましくはスペクトル比の分母内のパッチのフーリエスペクトルの信号対ノイズ比のしきい値化によって定義される領域全体の画素の平均を取ることである。画像パッチ内のノイズ振幅がフラットスペクトルを有すると仮定すると、画像パッチ内のそれぞれの画素の信号対ノイズ比を画素内のフーリエ変換の係数に比例するものとして推定できる。次いで、しきい値を適用して、最高推定信号対ノイズ比を有する画素のあらかじめ定められた割合を選択できる。フーリエ変換の特性によって、選択された画素のサブセットはエルミート対称性を有するので、これらの選択された画素にわたって計算された平均スペクトル比は実数である。中央値スペクトル比および逆正接スペクトル比の変形に、同様のフィルタリングも適用できる。
【００８６】
平均スペクトル比をデジタルカメラで撮影された画像に適用する際の他の考察は、空間的周波数に生じるレンズの回折限界がセンサのナイキスト周波数よりも少ない場合があることである。この場合、回折限界よりも大きい空間的周波数でシーン情報がなく、回折限界より
【００８７】
【数７】
【００８８】
分だけ大きい画像パッチｆ１のフーリエ変換Ｆ１内の画素はノイズだけを含む。この場合、これらの画素を平均スペクトル比の計算から捨てることができる。これは処理時間を節約でき、平均スペクトル比の結果は精密度を損なうことなく、画像ノイズによって受ける影響はより小さい。
【００８９】
５．修正された正規化相互相関
５．１ 理論
同じシーンの２つの画像から距離を決定する方法は、異なる撮影パラメータを使用して撮影された同じシーンの２つの異なる画像間のぼけの相対量を考察することによって開発できる。
【００９０】
他の全ての撮影パラメータは固定されたままである、異なる口径によって撮影された同じシーンの２つの画像を考察する。十分に小さいのでパッチ内のオブジェクト距離におけるあらゆる変化が小さい、画像化されるシーンのパッチｆ０、および第１の画像内の対応する画像パッチｆ１および第２の画像内の対応する画像パッチｆ２を考察する。パッチは矩形であり、サイズはｍ×ｎ画素である。２つのパッチの正規化された相互相関（ＮＣＣ）の中央値は、
【００９１】
【数８】
【００９２】
によって定義され、上式で、
【００９３】
【数９】
【００９４】
は画像パッチｆ１内の画素値の平均であり、
【００９５】
【数１０】
【００９６】
は画像パッチｆ２内の画素値の平均である。２つのパッチｆ１およびｆ２が同じ量だけぼけていて、画像ノイズおよびオブジェクトまたはカメラのモーションがない場合、この２つは同一である。この場合、ＮＣＣの中央値は１である。２つのパッチ間のぼけの差の量が増加するにつれて、ＮＣＣ中央値は減少する。したがって、ＮＣＣ中央値は２つの画像パッチ間のぼけの差に関連する。分母上の正規化項は、パッチｆ１内の画素値の標準偏差σｆ１とパッチｆ２内の画素値の標準偏差σｆ２の積と等しい。
【００９７】
しかし、ＮＣＣの正規化は画像パッチに関して対称であり、２つのパッチは同じデータの同一の表現になることを目的としているという仮定の下に適切である。相関パッチが同じシーンの画像であるがぼけの量が異なると知られている場合、この仮定は誤りである。特に、高相関値の意味と解釈は曖昧である。それは、わずかに異なる２つの異なるＰＳＦで画像化されている高テクスチャを有するシーンによって生じる場合もあり、より大きな量だけ異なる２つの異なるＰＳＦで画像化されている低テクスチャを有するシーンによって生じる場合もある。したがって、ＮＣＣは画像間の類似性の優れた測度であるが、ＮＣＣはシーン依存であり、ぼけの相対量の不十分な測度である。
【００９８】
パッチｆ１とｆ２との間のぼけの量における差の、より特徴的でシーンに依存しない測度は、ぼけの差の物理的原因の非対称性を認識して利用することによって実現できる。相関を、シーンのテクスチャによるバイアスがかかっていないぼけの差の測度にするために、理想的には元のシーン内の画素明度の分散によって正規化するべきである。この情報は利用可能ではないが、画像パッチｆ１およびｆ２があれば、ぼけがより少ない画像パッチの輝度または明度の分散によって最も近似される。このような非対称パッチ選択は、たとえばそれぞれの画像パッチ内の画素明度の分散を計算することによって行うことができ、より高い分散があるパッチの方がぼけがより少ないと考えられる。どちらのパッチの方がぼけがより少ないかを決定する他の方法も使用でき、たとえば、画像が異なる口径で撮影され、回折を無視できる場合、より狭い口径で撮影されたパッチの方がぼけがより少ないと考えられる。
【００９９】
どちらのパッチの方がぼけがより少ないかという決定が行われると、ぼけがより少ないパッチをｆ２として割り当て、ぼけがより多いと考えられるパッチをｆ１として割り当てることができる。修正された正規化相互相関（ＭＮＣＣ）を形成でき、中央値は
【０１００】
【数１１】
【０１０１】
によって定義される。
【０１０２】
方程式（１２）によって定義されたＭＮＣＣ中央値は、２つの画像パッチｆ１とｆ２との間の相対的デフォーカスぼけの量の測度を与えるので、画像パッチ内に示されるオブジェクトからインフォーカス面１３０までの距離１８０に関連する測度として使用できる。ＭＮＣＣ中央値は、従来技術の正規化相互相関測定よりも実質的にシーン非依存であり、したがって画像パッチ内に示されるオブジェクトからインフォーカス面１３０までの距離１８０の好都合な測度を提供する。
【０１０３】
ＭＮＣＣ中央値を２つの画像パッチ間のぼけの量における小さな差に対してより敏感にするために、プリフィルタリングステップを実行できる。ぼけの量についての最も多い情報を伝えるのはエッジなので、画像パッチｆ１およびｆ２にラプラス演算子などの２次元勾配演算子を適用して、勾配パッチ（ラプラス画像）ｇ１およびｇ２を与えることができる。次いで、ｇ１およびｇ２を使用してＭＮＣＣ中央値を形成できるが、元の画像パッチｆ１およびｆ２のうちのどちらの方がぼけがより少ないかの決定を依然として使用して、方程式（１２）の分母にｇ１およびｇ２が使用されるかどうかを決定する。
【０１０４】
図７に、このラプラスＭＮＣＣ方法が従来技術のＮＣＣ方法よりも優れている利点のうちのいくつかが示されている。図７は、写真から得られた５つの異なるテクスチャについて、ＮＣＣ中央値７１０のプロット（実線）、および相対的なぼけの半径に対してプロットされたラプラスＭＮＣＣ中央値７２０（点線）を示している。ラプラスＭＮＣＣ中央値７２０は、約５画素未満のぼけの半径の差の値について、ＮＣＣ中央値７１０よりも大きな相対的なぼけの半径の変化を示している。したがって、ラプラスＭＮＣＣ方法は、この小さな相対的なぼけの差の領域内のぼけの半径の差に対して従来技術の方法よりも著しく敏感である。この小さなぼけの差の領域は、小型カメラ特有のレンズおよびセンサを使用するＤＦＤが操作する領域である。また、図７のグラフによってカバーされる領域の多くにとって、ラプラスＭＮＣＣ中央値７２０は画像テクスチャの分散がＮＣＣ中央値７１０よりも少ないことを示しており、これはラプラスＭＮＣＣ方法のシーンテクスチャへの依存性がＮＣＣ中央値よりも少ないことを意味する。
【０１０５】
ＭＮＣＣアルゴリズムの他の変形は、方程式（１２）における合計を窓関数によって定義された画素のサブセット上の合計と置換することである。これは、オブジェクト境界、したがって比較的大きな距離の量によって分離されたオブジェクトを含む画像パッチにおける利点を提供する。この窓関数は、当業者に知られているジョイント双方向フィルタリングと類似した方法で、画像パッチの分析に基づいて選択できる。窓関数を適切に選択することによって、他のオブジェクトによってそれぞれのオブジェクトの測定品質を落とさずに、単一の画像パッチ内の２つ以上のオブジェクトへの距離を決定することが可能になる。
【０１０６】
６．処理の実装、変形、および適用
本明細書に開示した装置は、カメラなどの画像化装置（撮影システム）を含む様々なハードウェアプラットフォーム上、または汎用コンピュータ（ＰＣ）上に実装できる。
【０１０７】
図１４Ａおよび１４Ｂは、説明した様々な装置を実施できる汎用コンピュータシステム１４００を示している。
【０１０８】
図１４Ａに示されるように、コンピュータシステム１４００は、コンピュータモジュール１４０１、キーボード１４０２、マウスポインタデバイス１４０３、スキャナ１４２６、カメラ１４２７、マイク１４８０などの入力装置、ならびにプリンタ１４１５、ディスプレイ装置１４１４、およびラウドスピーカ１４１７を含む出力装置を含む。外付け変調復調器（Ｍｏｄｅｍ）トランシーバ装置１４１６は、接続１４２１を介して通信ネットワーク１４２０との間で通信するために、コンピュータモジュール１４０１によって使用され得る。通信ネットワーク１４２０は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）でもよく、セルラー式遠隔通信ネットワーク、またはプライベートＷＡＮでもよい。接続１４２１が電話回線の場合、モデム１４１６は従来の「ダイヤルアップ」モデムでよい。あるいは、接続１４２１が大容量（たとえばケーブル）接続の場合、モデム１４１６はブロードバンドモデムでよい。通信ネットワーク１４２０への無線接続に無線モデムを使用することもできる。
【０１０９】
一般的に、コンピュータモジュール１４０１は少なくとも１つのプロセッサユニット１４０５と、メモリユニット１４０６とを含む。たとえば、メモリユニット１４０６は半導体ランダムアクセスメモリ（ＲＡＭ）および半導体読出し専用メモリ（ＲＯＭ）を有することができる。コンピュータモジュール１４０１は、ビデオディスプレイ１４１４、ラウドスピーカ１４１７、およびマイク１４８０に接続された音声ビデオインターフェース１４０７、キーボード１４０２、マウス１４０３、スキャナ１４２６、カメラ１４２７、および任意でジョイスティックまたは他のヒューマンインターフェースデバイス（図示せず）に接続されたＩ／Ｏインターフェース１４１３、ならびに外付けモデム１４１６およびプリンタ１４１５のためのインターフェース１４０８を含む、いくつかの入力／出力（Ｉ／Ｏ）インターフェースも含む。いくつかの実装形態では、モデム１４１６はコンピュータモジュール１４０１内、たとえばインターフェース１４０８内に内蔵されてもよい。コンピュータモジュール１４０１もローカルネットワークインターフェース１４１１を有し、コンピュータシステム１４００が接続１４２３を介して、ローカルエリアネットワーク（ＬＡＮ）として知られるローカルエリア通信ネットワーク１４２２に接続することが可能になる。図１４Ａに示されるように、ローカル通信ネットワーク１４２２は、一般的にいわゆる「ファイアウォール」デバイスまたは同様の機能のデバイスを含む接続１４２４を介して、ワイドネットワーク１４２０にも接続できる。ローカルネットワークインターフェース１４１１は、イーサネット（登録商標）回路カード、ブルートゥース（登録商標）無線装置、またはＩＥＥＥ ８０２．１１無線装置を備えることができるが、インターフェース１４１１のために他の多くのタイプのインターフェースが実施されても良い。
【０１１０】
Ｉ／Ｏインターフェース１４０８および１４１３は、シリアルおよびパラレル接続のどちらかまたは両方を利用できるようにし、シリアル接続は一般的にユニバーサルシリアルバス（ＵＳＢ）標準によって実装され、対応するＵＳＢコネクタ（図示せず）を有する。一般的にハードディスクドライブ（ＨＤＤ）１４１０を含む記憶装置１４０９が提供される。フロッピーディスクドライブや磁気テープドライブ（図示せず）などの他の記憶装置も使用できる。データの不揮発性ソースの機能を果たすために光ディスクドライブ１４１２が一般的に提供される。システム１４００へのデータの適切なソースとして、たとえば光ディスク（たとえばＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイ（登録商標）ディスク）、ＵＳＢ−ＲＡＭ、ポータブル、外付けハードドライブ、フロッピーディスクなどのポータブルメモリデバイスを使用できる。
【０１１１】
コンピュータモジュール１４０１のコンポーネント１４０５〜１４１３は、一般的に相互接続されたバス１４０４を介して、および関連分野の当業者に知られているコンピュータシステム１４００の従来の操作モードに帰着する方法で通信する。たとえば、プロセッサ１４０５は接続１４１８を使用してシステムバス１４０４に接続されている。同様に、メモリ１４０６および光ディスクドライブ１４１２は、接続１４１９によってシステムバス１４０４に接続されている。説明した装置を実施できるコンピュータの例には、ＩＢＭ−ＰＣおよび互換機、Ｓｕｎ Ｓｐａｒｃｓｔａｔｉｏｎｓ、Ａｐｐｌｅ Ｍａｃ（登録商標）、または同様のコンピュータシステムがある。
【０１１２】
画像距離測定の方法はコンピュータシステム１４００を使用して実装でき、後述する図８から１３のＤＦＤ処理を、コンピュータシステム１４００内で実行可能な１つまたは複数のソフトウェアアプリケーションプログラム１４３３として実装できる。特に、距離測定の方法のステップは、コンピュータシステム１４００内で実行されるソフトウェア１４３３内の命令１４３１（図１４Ｂ参照）によって達成される。ソフトウェア命令１４３１は、それぞれが１つまたは複数の特定のタスクを実行するための１つまたは複数のコードモジュールとして形成できる。さらにソフトウェアは２つの別々の部分に分割でき、第１の部分および対応するコードモジュールは距離測定方法を実行し、第２の部分および対応するコードモジュールは第１の部分とユーザとの間のユーザインターフェースを管理する。
【０１１３】
ソフトウェアは、たとえば以下で説明する記憶装置を含むコンピュータ可読メディアに格納できる。ソフトウェアは、コンピュータ可読メディアからコンピュータシステム１４００にロードされ、次いでコンピュータシステム１４００によって実行される。このようなソフトウェアまたはコンピュータプログラムをコンピュータ可読メディアに記録したコンピュータ可読メディアは、コンピュータプログラム製品である。コンピュータシステム１４００内のコンピュータプログラム製品を使用することにより、画像距離測定のための好都合な装置を達成することが好ましい。
【０１１４】
ソフトウェア１４３３は、一般的にＨＤＤ１４１０またはメモリ１４０６に格納される。ソフトウェアはコンピュータ可読メディアからコンピュータシステム１４００にロードされ、コンピュータシステム１４００によって実行される。したがって、たとえばソフトウェア１４３３を光ディスクドライブ１４１２によって読み出される光学的可読ディスク記憶メディア（たとえばＣＤ−ＲＯＭ）１４２５に格納することができる。このようなソフトウェアまたはコンピュータプログラムを記録したコンピュータ可読メディアはコンピュータプログラム製品である。コンピュータシステム１４００内のコンピュータプログラム製品を使用することにより、画像化のための距離測定のための装置を達成することが好ましい。
【０１１５】
いくつかの例では、１つまたは複数のＣＤ−ＲＯＭ１４２５上で符号化して、対応するドライブ１４１２を介して読み出すことによって、ユーザにアプリケーションプログラム１４３３を供給することもでき、ネットワーク１４２０または１４２２からユーザによって読み出すこともできる。さらに、他のコンピュータ可読メディアからコンピュータシステム１４００にソフトウェアをロードすることもできる。コンピュータ可読記憶メディアは、実行および／または処理するために、記録された命令および／またはデータをコンピュータシステム１４００に提供するあらゆる持続性有形記憶メディアを指す。このような記憶メディアの例には、コンピュータモジュール１４０１に内蔵されているか、または外付けされているかに関わらず、フロッピーディスク、磁気テープ、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイ（登録商標）ディスク、ハードディスクドライブ、ＲＯＭまたは集積回路、ＵＳＢメモリ、光磁気ディスク、またはＰＣＭＣＩＡカードおよび同様の物などのコンピュータ可読カードがある。コンピュータモジュール１４０１へのソフトウェア、アプリケーションプログラム、命令および／またはデータの供給に参加できる一時的または非有形コンピュータ可読伝送メディアの例には、無線または赤外線伝送チャネルならびに他のコンピュータまたはネットワーク装置へのネットワーク接続、ならびに電子メール送信およびウェブサイト上に記録された情報などを含むインターネットまたはイントラネットがある。
【０１１６】
上述のアプリケーションプログラム１４３３の第２の部分および対応するコードモジュールは、ディスプレイ１４１４上に描画する若しくは表す１つまたは複数のグラフィカルユーザインターフェース（ＧＵＩ）を実装するために実行される。一般的にキーボード１４０２とマウス１４０３の操作を通じて、コンピュータシステム１４００およびアプリケーションのユーザは機能的に適応できる方法でインターフェースを操作して、制御コマンドおよび／または入力をＧＵＩに関連付けられるアプリケーションに提供できる。ラウドスピーカ１４１７を介するスピーチプロンプト出力、およびマイク１４８０を介するユーザ音声コマンド入力を利用する音声インターフェースなどの、機能的に適応できる他の形式のユーザインターフェースも実装できる。
【０１１７】
図１４Ｂは、プロセッサ１４０５および「メモリ」１４３４の詳細な概略ブロック図である。メモリ１４３４は、図１４Ａにおけるコンピュータモジュール１４０１によってアクセスされ得る全てのメモリモジュール（ＨＤＤ１４０９および半導体メモリ１４０６を含む）の論理的集合を表す。
【０１１８】
最初にコンピュータモジュール１４０１の電源が入ると、パワーオンセルフテスト（ＰＯＳＴ）プログラム１４５０を実行する。一般的に、ＰＯＳＴプログラム１４５０は図１４Ａの半導体メモリ１４０６のＲＯＭ１４４９に格納される。ソフトウェアを格納するＲＯＭ１４４９などのハードウェアデバイスはファームウェアと呼ばれることもある。ＰＯＳＴプログラム１４５０は適切な機能を保証するためにコンピュータモジュール１４０１内のハードウェアを検査して、正確な操作のために一般的にやはりＲＯＭ１４４９に格納されるプロセッサ１４０５、メモリ１４３４（１４０９、１４０６）、および基本入出力システムソフトウェア（ＢＩＯＳ）モジュール１４５１を一般的に調べる。ＰＯＳＴプログラム１４５０が正常に実行されると、ＢＩＯＳ１４５１は図１４Ａのハードディスクドライブ１４１０を起動する。ハードディスクドライブ１４１０を起動することにより、プロセッサ１４０５を介してハードディスクドライブ１４１０上に常駐するブートストラップローダプログラム１４５２を実行させる。これにより、オペレーティングシステム１４５３がＲＡＭメモリ１４０６にロードされ、オペレーティングシステム１４５３が動作を開始する。オペレーティングシステム１４５３は、プロセッサ管理、メモリ管理、デバイス管理、ストレージ管理、ソフトウェアアプリケーションインターフェース、およびジェネリックユーザインターフェースを含む、様々な高レベル機能を発揮するためにプロセッサ１４０５によって実行可能なシステムレベルのアプリケーションである。
【０１１９】
オペレーティングシステム１４５３は、コンピュータモジュール１４０１上で実行しているそれぞれの処理またはアプリケーションが、他の処理に割り当てられたメモリと衝突せずに実行するために十分なメモリを有することを保証するために、メモリ１４３４（１４０９、１４０６）を管理する。さらに、図１４Ａのシステム１４００内で利用できる異なるタイプのメモリは、それぞれの処理を効率的に実行できるように適切に使用されなければならない。したがって、集約されたメモリ１４３４は、メモリの特定のセグメントが割り当てられる方法を示すためのものではなく（特に指定のない限り）、コンピュータシステム１４００によってアクセスできるメモリの一般的概念およびそれが使用される方法を提供するためのものである。
【０１２０】
図１４Ｂに示されるように、プロセッサ１４０５は、制御装置１４３９、算術論理装置（ＡＬＵ）１４４０、およびキャッシュメモリと呼ばれることもあるローカルまたは内部メモリ１４４８を含むいくつかの機能モジュールを含む。一般的に、キャッシュメモリ１４４８はレジスタセクションにいくつかの記憶レジスタ１４４４〜１４４６を含む。１つまたは複数の内部バス１４４１はこれらの機能モジュールと機能的に相互接続している。一般的に、プロセッサ１４０５は、接続１４１８を使用してシステムバス１４０４を介して外付けデバイスと通信するための１つまたは複数のインターフェース１４４２も有する。メモリ１４３４は接続１４１９を使用してバス１４０４に接続されている。
【０１２１】
アプリケーションプログラム１４３３は、条件付き分岐およびループ命令を含み得る命令のシーケンス１４３１を含む。プログラム１４３３は、プログラム１４３３を実行する際に使用されるデータ１４３２も含むことができる。命令１４３１およびデータ１４３２は、それぞれ１４２８、１４２９、１４３０、および１４３５、１４３６、１４３７のメモリ位置に格納される。命令１４３１およびメモリ位置１４２８〜１４３０の相対的なサイズに応じて、メモリ位置１４３０内に示される命令によって表されるように単一のメモリ位置に特定の命令を格納できる。あるいは、メモリ位置１４２８および１４２９に示される命令セグメントによって表されるように、別個のメモリ位置に格納されるいくつかの部分に命令を分割できる。
【０１２２】
一般的にプロセッサ１４０５は、プロセッサで実行される命令セットを与えられる。プロセッサ１１０５は後続の入力を待ち、プロセッサ１４０５は他の命令セットを実行することによってそれに対応する。それぞれの入力は、図１４Ａに全て記載されている、入力装置１４０２、１４０３のうちの１つまたは複数によって生成されたデータ、ネットワーク１４２０、１４２２のうちの１つを通じて外部ソースから受信したデータ、記憶装置１４０６、１４０９のうちの１つから取り出したデータ、または対応するリーダ１４１２に挿入された記憶メディア１４２５から取り出したデータを含む、いくつかのソースのうちの１つまたは複数から提供され得る。場合によっては、命令セットの実行はデータの出力をもたらす場合がある。実行はデータまたは変数をメモリ１４３４に格納することも含み得る。
【０１２３】
開示された距離測定装置は入力変数１４５４を使用し、それらの入力変数は対応するメモリ位置１４５５、１４５６、１４５７内のメモリ１４３４に格納される。装置は出力変数１４６１をもたらし、その出力変数は対応するメモリ位置１４６２、１４６３、１４６４内のメモリ１４３４に格納される。中間変数１４５８は、メモリ位置１４５９、１４６０、１４６６、および１４６７に格納され得る。
【０１２４】
図１４Ｂのプロセッサ１４０５を参照すると、レジスタ１４４４、１４４５、１４４６、算術論理装置（ＡＬＵ）１４４０、および制御装置１４３９が協働し、プログラム１４３３を構成する命令セット内の命令ごとに「フェッチ、デコード、および実行」のサイクルを実行するために必要な一連のマイクロ操作を実行する。それぞれのフェッチ、デコード、および実行サイクルは、以下を含む。
（ａ）メモリ位置１４２８、１４２９、１４３０から命令１４３１をフェッチするか読み出す、フェッチ操作、
（ｂ）どの命令がフェッチされたかを制御装置１４３９が決定するデコード操作、および、
（ｃ）制御装置１４３９および／またはＡＬＵ１４４０が命令を実行する実行操作。
【０１２５】
その後、次の命令のためのさらなるフェッチ、デコード、および実行サイクルを実行できる。同様に、制御装置１４３９が値をメモリ位置１４３２に格納するか書き込む、格納サイクルを実行できる。
【０１２６】
図８から１３の処理におけるそれぞれのステップまたはサブプロセスは、プログラム１４３３の１つまたは複数のセグメントに関連付けられ、プログラム１４３３の記載した（ｎｏｔｅｄ）セグメントについての命令セット内の命令ごとにフェッチ、デコード、および実行サイクルを実行するために協働するレジスタセクション１４４４、１４４５、１４４７、ＡＬＵ１４４０、およびプロセッサ１４０５内の制御装置１４３９によって実行される。
【０１２７】
あるいは、ＤＦＤ方法を組み込む距離測定の方法は、その全体あるいは一部が、後述する機能またはサブ機能を実行する１つまたは複数の集積回路などの専用ハードウェアにおいて実装され得る。このような専用ハードウェアは、グラフィックプロセッサ、デジタル信号プロセッサ、あるいは１つまたは複数のマイクロプロセッサおよび関連メモリを含むことができる。
【０１２８】
たとえば、カメラは、異なる撮影パラメータで何組かの画像を撮影して、撮影された画像を処理して様々な目的のための距離マップを提供するために、後述するＤＦＤアルゴリズム的処理をハードウェアまたはファームウェア内に実装できる。このような目的は、人物写真の背景を人工的にぼかして芸術的な美しさを実現すること、または様々な後処理操作を可能にするために画像メタデータとして距離情報を添付することを含むことができる。この場合、カメラハードウェアはシーンの複数の画像を撮影でき、画像がＤＦＤ処理のアプリケーションに適しているので、カメラの内蔵装置に処理が発生し、結果はカメラのメモリ内に保持されるか、カメラに接続可能なメモリカードまたは他のメモリ記憶装置に書き込まれる。
【０１２９】
異なる撮影パラメータでのシーンの複数の画像の撮影は、１つの画像を撮影して格納し、パラメータを変更し、次いでさらなる画像を撮影して格納する、単一のユーザ操作（カメラ１４２７の撮影ボタンを１度押すこと）で複数の画像を撮影することによって実行できる。このような撮影は約０．００１〜０．５秒内に発生でき、同一ではないが実質的に同じコンテンツであり、したがって次いで画像距離処理を実行できる実質的に共通の画像コンテンツを両方の画像に含めさせる。
【０１３０】
他の例では、デスクトップコンピュータなどは、ソフトウェアにＤＦＤ処理を実装して、ユーザが画像分割またはさらなる画像処理操作のために使用できる距離マップを生成するために、写真の撮影後の処理を可能にすることができる。この場合、カメラ１４２７は、シーンの複数の画像を従来の方法で撮影し、画像はＤＦＤ処理のアプリケーションに適しており、画像はメモリ内に保持されるか、メモリカードまたは他のメモリ記憶装置に書き込まれる。後に、画像はコンピュータ（たとえば１４０１）に転送され、そこでＤＦＤ処理の後続のステップがそれらの画像を入力として使用する。
【０１３１】
他の実装形態は、異なる撮影パラメータで２つの画像を撮影でき、様々なパラメータは、焦点、ズーム、口径、または撮影された画像内のぼけの量に影響を及ぼす他の何らかのカメラ設定のうちの１つまたは複数である。特にズーム、ならびに焦点および潜在的には他のパラメータなどのいくつかのパラメータの場合、撮影された画像の倍率は異なる場合がある。この場合、距離を決定するためにＤＦＤアルゴリズムを適用する前に、画像を実質的に登録するために画像のうちの１つまたは複数を変倍できる。
【０１３２】
図１５Ａおよび１５Ｂは、それぞれＤＦＤ処理を実行できる例示的画像１５０１および１５０２の第１のペアを示している。画像１５０１および１５０２によって撮影されたシーンコンテンツは同一だが、画像１５０１の撮影と異なる少なくとも１つの撮影パラメータで画像１５０２が撮影されているということを考慮すると、画像１５０１および１５０２は異なる画像コンテンツを撮影している。たとえば、画像１５０２は画像１５０１に比べて焦点が異なる場合がある。
【０１３３】
図１５Ａおよび１５Ｃは、それぞれやはりＤＦＤ処理を実行できる例示的画像１５０１および１５０３の第２のペアを示している。画像１５０１および１５０３によって撮影されたシーンコンテンツは全体的なコンテンツにおいて同一ではないが、画像１５０１および１５０３は共通のシーンを撮影するか、両方の画像に共通のシーンコンテンツを含む。共通のシーンコンテンツは、それぞれ図１５Ａおよび１５Ｃ内の点線で囲んだ長方形１５１１および１５１３によって示され、木の隣に立っている人を表している。共通のシーンコンテンツは画像１５０１および１５０３内の異なる位置に現れる場合がある。画像１５０１と１５０３との間の共通のシーンコンテンツの位置の違いは、たとえば２つの画像を撮影する間のわずかなカメラの動きに起因する場合がある。共通のシーンコンテンツを撮影している領域１５１１および１５１３内の画像１５０１および１５０３の画像コンテンツは、画像１５０１の撮影と異なる少なくとも１つの撮影パラメータで画像１５０３が撮影されているという考慮すると、さらに異なる場合がある。たとえば、画像１５０３は画像１５０１と比べて焦点が異なる場合がある。
【０１３４】
それぞれの図１５Ａ〜１５Ｃにおいて、それぞれの画像内でシーンコンテンツの共通部分（木の隣に立っている人）が撮影されていることは重要である。したがって、画像のペアに距離マップ処理を実行して、共通部分の距離マップを決定できる。図１５Ｂおよび１５Ｃも、ＤＦＤ処理を実行できる画像ペアを表すことができる点に留意されたい。
【０１３５】
ある実装形態は２つ以上の画像を撮影でき、ＤＦＤアルゴリズムを使用して距離を得るために１つまたは複数の画像のペアが使用される。
【０１３６】
７．デフォーカス処理からの距離
シーンの２つの画像から距離マップを抽出する方法を、図８および図９、ならびにコンピュータ１４０１内で実質的処理が行われる図１４Ａおよび図１４Ｂの装置を参照して詳細に説明する。図８は、あるシーンの第１の画像８００、および同じシーン（図示せず）の第２の画像８１０を示している。第１の画像８００内の選択された画素８２０が強調表示され、第２の画像８１０内の対応する選択された画素８３０が強調表示されている。このように対応するので、第１の画像８００内の選択された画素８２０および第２の画像８１０内の選択された画素８３０は、画像化されているシーン内の同じ点にほとんど対応する。これは、第１の画像８００を撮影するために使用される露出と、第２の画像８１０を撮影するために使用される露出との間の時間にシーン内のどのオブジェクトも動かないこと、ならびに画像８００および８１０を撮影するカメラ１４２７が露出の間の時間に動かないことを保証すること、ならびに、次いで撮像素子上の同じ（ｘ，ｙ）座標から画素を選択することによって実際に実現できる。また、第１の画像８００内のどの画素が第２の画像８１０内の画素に対応するかを明確に決定する位置合わせ処理によって実現することもできる。この位置合わせは、２つの露出間のシーン内のオブジェクトのモーション、２つの露出間のカメラ１４２７のモーション、２つの露出間の倍率または歪み、あるいはその両方における変化などの問題に対処できる。位置合わせは画像８００および８１０の全体に及んでもよく、画像８００および８１０のサブ領域内で局所的でもよく、またはその両方でもよい。このような多くの位置合わせ処理は、当業者に知られている。
【０１３７】
図８には、それぞれの画像内の画素のサブセットである２つの画像パッチも示されている。第１の画像パッチ８４０は第１の画像８００から来ており、ｆ１と呼ばれる。第２の画像パッチ８５０は第２の画像８１０から来ており、ｆ２と呼ばれる。第１のパッチｆ１８４０は、第１の画像８００内の第１の選択された画素８２０を参照して定義されるので、第１の選択された画素８２０は、第１のパッチｆ１８４０の上部左角で画素８４２に対して座標（ｘ１，ｙ１）に生じる。第２のパッチｆ２８５０は、第２の画像８１０内の選択された画素８３０を参照して定義されるので、選択された画素８３０は、第２のパッチｆ２８５０の上部左角で画素８５２に対して座標（ｘ２，ｙ２）に生じ、（ｘ２，ｙ２）＝（ｘ１，ｙ１）である。代替実施形態では、（ｘ２，ｙ２）≠（ｘ１，ｙ１）の場合もある。そこに含まれる画像コンテンツの適切な比較を保証するために、パッチは同じサイズであるべきである。
【０１３８】
図１５Ａから１５Ｃに戻ると、パッチは画像または画像の一部を単純にブロックに分割することによって形成され得る。図１５Ａおよび１５Ｂにそれぞれ示されている画像のペア１５０１および１５０２の例では、画像コンテンツが十分に位置合わせされているので、画像を４×４のブロック構成に分割することによってパッチを形成できる。図１５Ａおよび１５Ｃ内のそれぞれの画像ペア１５０１および１５０３の例では、共通のシーンコンテンツを示している領域１５１１および１５１３を同様のブロック化方法（図示せず）でパッチに分割できる。あるいは、画像間でパッチのサイズが異なるような方法でパッチを形成することもできる。
【０１３９】
図９は、ＤＦＤ方法を使用して距離マップが決定される、距離マッピング処理９００を示している。画像撮影ステップ９１０では、あるシーンの２つの画像８００および８１０が、カメラ１４２７などの画像撮影装置１００によって撮影される。画像８００および８１０は、シーンコンテンツの共通部分の画像コンテンツを含んでいるはずである。たとえば、図１を参照すると、共通部分はオブジェクト１４０である。図１５Ａおよび１５Ｃでは共通部分は木の隣の人だが、図１５Ａおよび１５Ｂでは共通部分は画像全体である。画像は、焦点、口径、ズームの撮影パラメータ、または画像内のぼけの量に影響を及ぼす他の何らかのパラメータのうちの少なくとも１つで撮影され、それは画像間で異なる。画像は、シーン内のオブジェクトのあらゆるモーション、およびシーンに関するカメラ１４２７のあらゆる関連モーションが最小化されるように撮影されることが理想的である。たとえば、このような関連モーションを表す図１５Ａおよび１５Ｃを参照すると、ＤＦＤ処理の前にそれぞれの画像内で見つけられる共通部分が適切に位置合わせされるように、２つの画像に位置合わせ処理を実行することができる。これは、たとえば長方形１５１１および１５１３内の画像データを相互に位置合わせすること、または画像をこれらの長方形にトリミングすることを含むことができる。
【０１４０】
画像撮影ステップ９１０の特定の実装形態を、以下で図１０を参照してより詳細に説明する。一般的に、画像８００および８１０はカメラ１４２７によって撮影されて、ＨＤＤ１４１０およびメモリ１４０６のうちの１つまたは両方に格納するために、コンピュータ１４０１に通信され、またそれによって受信される。カメラ１４２７内で処理９００が実行されると、内蔵プロセッサによる後続の処理のために、画像８００および８１０がカメラ１４２７のメモリに格納される。
【０１４１】
この実装形態における処理９００のステップ９２０〜９８０は、たとえばＨＤＤ１４１０に格納されたソフトウェアで実施され、またそれによって実装されて、メモリ１４０６と協調してプロセッサ１４０５によって実行可能であることが好ましい。撮影ステップ９１０の後の画素選択ステップ９２０で、２つの画像８００および８１０の対応する画素８２０および８３０が選択され、メモリ１４０６からプロセッサ１４０５によって受信される。次にパッチ抽出ステップ９３０が続き、プロセッサ１４０５の操作によって、第１の画像８００から画像パッチｆ１８４０が、および第２の画像８１０から対応する画像パッチｆ２８５０が抽出される。第１の画像パッチｆ１８４０は、少なくとも第１の画像８００内の第１の選択された画素８２０の位置によって定義される。第２の画像パッチｆ２８５０は、少なくとも第２の画像８１０内の第２の選択された画素８３０の位置によって定義される。第１および第２の選択された画素は、両方の画像によって撮影されたシーンの共通部分を表す画像の一部内にあり、シーンコンテンツ内の同一の点にほとんど対応する。
【０１４２】
次に非対称パッチ選択ステップ９４０が続き、２つのパッチのうちｆ１またはｆ２のどちらの方がぼけがより少ないかに関する決定が行われる。非対称パッチ選択ステップ９４０の特定の実装形態の詳細は、以下で図１１を参照して説明する。
【０１４３】
次いで距離推定ステップ９５０が実行され、プロセッサ１４０５が第１のパッチｆ１８４０および第２のパッチｆ２８５０内の画素データを処理することによって、距離推定が決定される。一般的に、距離推定はメモリ１４０６に格納される。距離推定ステップ９５０の２つの異なる実装形態の詳細は、以下で図１２および図１３をそれぞれ参照して説明する。
【０１４４】
次に画素決定ステップ９６０が続き、プロセッサ１４０５によって、画素選択ステップ９２０においてまだ選択されていない何らかの画素が第１の画像８００および第２の画像８１０内に残っているかどうかの決定が行われる。まだ選択されていない画素が残っている場合、距離マッピング処理９００は画素選択ステップ９２０に戻る。実際には、第１の画像ｆ１８００の行に沿って列を降りていくことを繰り返すことなどによって、体系的な順序で画素を選択できる。したがって、ステップ９２０〜９６０は距離マッピングの目的で処理されることが望まれる全てのパッチの現在のパッチに進む。それぞれの現在のパッチは、画像によって撮影されたシーンの共通部分の現在の部分を表す。ある例では、たとえば図１５Ａおよび図１５Ｂの画像のペアは全てが共通なので、画像パッチは画像全体に及ぶことができる。代替手法では、たとえば画素座標インデックスが何らかの整数によって割り切れる行および列に生じる画素だけを選択することによってプロセッサ１４０５が画像をサブサンプリングすることによって、第１の画像ｆ１８００の画素のサブセットだけが選択されるよう選ぶことができる。他の代替手法では、結果として生じるパッチのいずれも画像の外側の領域をカバーしないようにして、それによってあらゆるエッジ効果を回避するために、第１の画像ｆ１８００の画素のサブセットが選択されるよう選ぶことができる。他の代替手法では、他の何らかの手段によって第１の画像ｆ１８００の画素のサブセットが選択されるよう選ぶことができる。全ての必要な画素が選択されると（ステップ９６０における「いいえ」）、距離マッピング処理９００はアセンブリステップ９７０に進む。
【０１４５】
アセンブリステップ９７０で、画像撮影装置１００によって撮影されたシーンの距離マップを生成するために、距離推定ステップ９５０で計算された距離推定がプロセッサ１４０５によってアセンブルされる。距離推定は、画素選択ステップ９２０で選択されたそれぞれの画素の画素位置と、距離推定ステップ９５０で画素から計算された距離推定との間に地理的対応があるように、ある画像にアセンブルされることが望ましい。たとえば、第１の画像８００が１００×１００画素で、行を横切って列を降りていくことを繰り返すことによって全ての画素が選択される場合、行を横切って列を降りていくことを繰り返す後続の画素に距離推定を挿入することによってそれらの画素を１００×１００画素のサイズの画像に配置することによって連続する距離推定をアセンブルすることができる。これにより、プロセッサ１４０５によってメモリ１４０６またはＨＤＤ１４１０に格納できる距離マップ画像が明らかになる。代替実装形態では、アセンブリステップ９７０をスキップして、メモリ１４０６に格納された距離推定を、入力として使用するための処理９００のストリーム出力としてコンピュータ１４０１内で実行可能な他の処理に直接渡すことができる。
【０１４６】
次いで、距離マッピング処理９００は終了ステップ９８０で終了する。
【０１４７】
７．１ 画像撮影
次に、画像撮影ステップ９１０の一例を、図１０を参照して説明する。カメラセットアップステップ１０１０では、画像撮影装置（カメラ１４２７）が所望のシーンに向けられる。これは、たとえば手持ちカメラを向けることによって、またはカメラを三脚にセッティングすることによって行われる。
【０１４８】
カメラセッティングステップ１０２０で、画像撮影装置に関連付けられる様々なセッティングが設定される。これは、画像内に記録されるぼけの量に何らかの影響を及ぼすセッティングを指し、レンズ焦点位置、ズームができる場合はレンズのズーム位置、レンズの口径をセッティングすることを含む。画像内のぼけの量を変更する他の画像撮影装置セッティングも可能である。これらのセッティングは、オペレータによって手動で、または撮影されるべきシーンに基づいてカメラ内で実行する制御ソフトウェアによって自動的に実行できる。
【０１４９】
次に第１の画像取得ステップ１０３０が続き、カメラセッティングステップ１０２０におけるセッティング設定を使用して、シーンの（第１の）画像が撮影される。
【０１５０】
次にカメラセッティング変更ステップ１０４０が続き、カメラセッティングステップ１０２０で設定された値から画像撮影装置のセッティングが変更される。これは、レンズ焦点位置、レンズズーム位置、レンズ口径セッティング、および画像内に記録されるぼけの量に影響を及ぼす他の何らかのセッティングのうちの１つまたは複数を変更することを含んでよい。この変更は、手動で実行されてもよく、カメラ制御ソフトウェアによって実行されてもよい。
【０１５１】
第２の画像取得ステップ１０５０で、カメラセッティング変更ステップ１０４０におけるセッティング設定を使用して、シーンの（第２の）画像が撮影される。次いで、画像撮影処理９１０が終了ステップ１０７０で終了する。
【０１５２】
一実装形態では、第１の画像取得ステップ１０３０、カメラセッティング変更ステップ１０４０、および第２の画像取得ステップ１０５０は、画像撮影装置１００の画像撮影機能の単一の起動に応じて、たとえばカメラのシャッターボタンを押すことによって、画像撮影装置１００によって自動的に実行される。
【０１５３】
７．２ 非対称パッチ選択
次に、図１１を参照して非対称パッチ選択ステップ９４０の一実装形態を説明する。非対称パッチ選択処理９４０は、データ入力として第１の画像パッチｆ１８４０および第２の画像パッチｆ２８５０から開始する。
【０１５４】
第１の分散計算ステップ１１１０で、よく知られている分散の定義を使用して、パッチｆ１８４０内の画素値の分散σ１２が計算される。第２の分散計算ステップ１１２０で、パッチｆ２８５０内の画素値の分散σ２２が計算される。
【０１５５】
分散比較ステップ１１３０で、パッチｆ１８４０内の画素値の分散σ１２がパッチｆ２８５０内の画素値の分散σ２２と比較される。パッチｆ１８４０内の画素値の分散σ１２がパッチｆ２８５０内の画素値の分散σ２２よりも大きいかそれと等しい場合、処理は第１のパッチ選択ステップ１１４０に続く。一方、パッチｆ１８４０内の画素値の分散σ１２がパッチｆ２８５０内の画素値の分散σ２２よりも小さい場合、処理は第２のパッチ選択ステップ１１４５に続く。
【０１５６】
第１のパッチ選択ステップ１１４０で、ぼけがより少ないパッチとしてパッチｆ１が選択される。第２のパッチ選択ステップ１１４５では、ぼけがより少ないパッチとしてパッチｆ２が選択される。次いで、非対称パッチ選択処理９４０が終了ステップ１１５０で終了する。
【０１５７】
非対称パッチ選択ステップ９４０を実行するための他の手法も可能である。たとえば、画像ノイズによって生じる中心から離れた画素値の影響を減らすために、フィルタを使用してまずパッチを平滑にすることができる。次いでフィルタリングされたパッチの分散を計算して、フィルタリング後に最も高い分散があるパッチをぼけがより少ないパッチとして選択できる。他の例では、ラプラス演算子などの２次元勾配演算子をパッチに適用して、次いでラプラス勾配画像（ラプラス画像）における画素値の範囲（すなわち、最大画素値−最小画素値）が最も大きいパッチをぼけがより少ないパッチとして選択できる。他の例では、２つの画像８００および８１０は、撮影間で変化する唯一のパラメータである口径値で撮影されることが知られており、この場合、単により狭い口径で撮影された画像からのパッチをぼけがより少ないパッチとして選択できる。
【０１５８】
７．３ 平均スペクトル比を使用する距離推定
次に、図１２を参照して距離推定ステップ９５０の一実装形態９５０ａを説明する。距離推定処理９５０ａは、データ入力として画像パッチｆ１８４０および画像パッチｆ２８５０から開始する。第１のゼロ平均ステップ１２１０で、第１のパッチｆ１の画素値の平均値が計算され、次いでこの平均値が第１のパッチｆ１内の全ての画素の画素値から引かれる。この計算の結果は第１のゼロ平均パッチであり、指定されたｆ１’である。
【０１５９】
第２のゼロ平均ステップ１２２０で、第２のパッチｆ２の画素値の平均値が計算され、次いでこの平均値が第２のパッチｆ２内の全ての画素の画素値から引かれる。この計算の結果は第２のゼロ平均パッチであり、指定されたｆ２’である。
【０１６０】
窓を掛けるステップ１２３０で、ゼロ、またはパッチのエッジの近くの何らかの小さい値に落ちる窓関数を使用してパッチｆ１’およびｆ２’が窓を掛けられる。例示的な窓関数には、ハン窓、ハミング窓、および当業者に知られている類似の関数がある。
【０１６１】
フーリエ変換ステップ１２４０が続き、フーリエ変換された画像パッチＦ１およびＦ２をそれぞれ形成するために、たとえば高速フーリエ変換（ＦＦＴ）アルゴリズムを使用して、窓を掛けられたパッチｆ１’およびｆ２’がそれぞれフーリエ変換される。フーリエ変換された画像パッチＦ１およびＦ２は、それぞれの画素で複素数値を含む。
【０１６２】
ぼけ決定ステップ１２５０が続き、非対称パッチ選択ステップ９４０においてパッチｆ１またはｆ２のうちのどちらの方がぼけがより少ないパッチとして選択されたかが参照される。ぼけがより少ないパッチとして画像パッチｆ１８４０が選択された場合、距離推定処理９５０ａは第１のスペクトル比ステップ１２６０ａに進む。一方、ぼけがより少ないパッチとして画像パッチｆ２８５０が選択された場合、距離推定処理９５０ａは第２のスペクトル比ステップ１２６０ｂに進む。
【０１６３】
第１のスペクトル比ステップ１２６０ａで、複素数除算を使用して、フーリエ変換されたパッチＦ１およびＦ２が画素単位で除算されてスペクトル比画像パッチＦ２／Ｆ１を形成する。第２のスペクトル比ステップ１２６０ｂで、複素数除算を使用して、フーリエ変換されたパッチＦ１およびＦ２が画素単位で除算されてスペクトル比画像パッチＦ１／Ｆ２を形成する。スペクトル比ステップ１２６０ａおよび１２６０ｂの両方において、スペクトル比におけるＤＣ画素は特別なケースであり、１に設定される。スペクトル比ステップ１２６０ａおよび１２６０ｂの両方において、形成された比率の分母におけるフーリエ変換されたパッチは、最もぼけが少ないと決定された画像パッチのフーリエ変換されたパッチである。このように、少なくとも１つのフーリエ変換値を計算するために、第１および第２パッチからのデータの組合せが使用され、それは、どちらのパッチの方がより焦点があった画像パッチかという非対称パッチ選択ステップ９４０における決定に基づく。
【０１６４】
第１のスペクトル比ステップ１２６０ａの変形で、フーリエ変換されたパッチＦ１およびＦ２の係数が画素単位で除算されて、逆正接スペクトル比の係数成分｜Ｆ２｜／｜Ｆ１｜を形成し、フーリエ変換されたパッチＦ１およびＦ２の位相が画素単位で引かれて逆正接スペクトル比の位相成分ａｒｇ（Ｆ２）−ａｒｇ（Ｆ１）を形成し、次いで係数成分および位相成分が結合されて複素値逆正接スペクトル比画像パッチ｜Ｆ２｜／｜Ｆ１｜ｅｘｐ（ｉ（ａｒｇ（Ｆ２）−ａｒｇ（Ｆ１）））を形成する。第１のスペクトル比ステップ１２６０ｂの変形では、フーリエ変換されたパッチＦ１およびＦ２の係数が画素単位で除算されて、逆正接スペクトル比の係数成分｜Ｆ１｜／｜Ｆ２｜を形成し、フーリエ変換されたパッチＦ１およびＦ２の位相が画素単位で引かれて逆正接スペクトル比の位相成分ａｒｇ（Ｆ１）−ａｒｇ（Ｆ２）を形成し、次いで係数成分および位相成分が結合されて複素値逆正接スペクトル比画像パッチ｜Ｆ１｜／｜Ｆ２｜ｅｘｐ（ｉ（ａｒｇ（Ｆ１）−ａｒｇ（Ｆ２）））を形成する。変形スペクトル比ステップ１２６０ａおよび１２６０ｂの両方において、スペクトル比におけるＤＣ画素は特別なケースであり、１に設定される。
【０１６５】
次いで平均計算ステップ１２７０が実行され、第１および第２の画像パッチのそれぞれにおけるデータの組合せから生じるステップ１２５０、１２６０ａ、および１２６０ｂから得られる結果から、スペクトル比画像パッチ内の全ての画素の平均値が計算される。エルミート対称によって、ＤＣ画素を中心とする対称の正方形領域内の全ての画素の虚数成分の平均値がゼロであり、したがって平均値は実数である。実際には、平均スペクトル比のバイアスがかかっていない推定を保証するためにＤＣおよびナイキスト周波数成分を表すある個々の画素の二重計算の考察があり、このような考察は離散フーリエ変換の当業者には知られている。これらの考察は、平均スペクトル比のバイアスがかかっていない推定を保証するために適用されてもよく、スペクトル比画像パッチ内の全ての画素の平均を単純に計算するために部分的または全体的に無視されてもよい。これらの考察を部分的または全体的に無視することによって、計算時間はより速くなるが、平均スペクトル比推定におけるランダムな誤差がわずかに増加するという代償を払うことになる。
【０１６６】
平均計算ステップ１２７０の変形で、スペクトル比画像パッチ内の画素の実成分の平均値ではなく中央値が計算される。これによって中央スペクトル比値が生じ、これは後に平均スペクトル比値の代替推定として扱うことができる。
【０１６７】
平均計算ステップ１２７０の他の変形で、パッチ内の画素のサブセットにわたってスペクトル比が計算される。以下の考察のうちの１つまたは複数によってサブセットを決定できる：（１）撮像素子のナイキスト周波数外の画素を除去すること、（２）画像撮影光学の回折限界周波数外の画素を除去すること、（３）入力画像パッチのうちの１つのフーリエ変換の係数から推定された、最高信号対ノイズ比を有するあらかじめ定められたわずかな画素だけを含むこと。
【０１６８】
距離決定ステップ１２８０で、画像パッチｆ１およびｆ２についての距離推定を決定するために、非対称パッチ選択ステップ９４０で決定されたどちらのパッチがぼけがより少ないかという決定と結合して、平均計算ステップ１２７０で計算された平均スペクトル比が使用される。これは、画像を撮影するために使用される撮影パラメータのセットを使用して、および撮影パラメータのために画像パッチ内に示されたシーン内のオブジェクトの距離に対する平均スペクトル比に関する理論的モデルを使用して、または撮影パラメータの距離対平均スペクトル比を記載する較正ルックアップテーブルを参照することによって行うことができる。較正ルックアップテーブルは理論的または経験的結果を使用してアセンブルできる。たとえば、オブジェクト距離の範囲および撮影パラメータについてのＯＴＦをシミュレートして、オブジェクト距離の範囲および撮影パラメータについての結果として得られる平均スペクトル比を計算して、シミュレートされた平均スペクトル比をルックアップテーブルに格納することによって理論的較正をコンパイルできる。次いで、ルックアップテーブル値と２つの画像パッチから計算された平均スペクトル比との間の最も近い一致を、画像パッチ内に示されるオブジェクトへの距離の推定として使用できる。
【０１６９】
ステップ１２８０の他の例では、カメラから異なる距離の範囲にオブジェクトを配置して、それぞれの位置で異なる撮影パラメータでオブジェクトの写真を２枚撮り、オブジェクトを示している画像パッチの平均スペクトル比を計算し、オブジェクトへの距離によって参照されるルックアップテーブルに平均スペクトル比を格納することによって、経験的較正をコンパイルできる。
【０１７０】
次いで、距離推定処理９５０ａは終了ステップ１２９０で終了する。
【０１７１】
７．４ 修正された正規化相互相関を使用する距離推定
次に、図１３を参照して距離推定ステップ９５０の他の実装形態９５０ｂを説明する。距離推定処理９５０ｂは、データ入力として画像パッチｆ１８４０および画像パッチｆ２８５０から開始する。
【０１７２】
第１のゼロ平均ステップ１３１０で、第１のパッチｆ１内の画素値の平均値が計算され、次いでこの平均値が第１のパッチｆ１内の全ての画素の画素値から引かれる。この計算の結果は第１のゼロ平均パッチであり、指定されたｆ１’である。
【０１７３】
第２のゼロ平均ステップ１３２０で、第２のパッチｆ２内の画素値の平均値が計算され、次いでこの平均値が第２のパッチｆ２内の全ての画素の画素値から引かれる。この計算の結果は第２のゼロ平均パッチであり、指定されたｆ２’である。
【０１７４】
積ステップ１３３０が続き、第１のゼロ平均パッチｆ１’および第２のゼロ平均パッチｆ２’が画素単位で掛けられて、積パッチｆ１’ｆ２’をもたらす。
【０１７５】
次いで分子ステップ１３４０が実行されて、積パッチｆ１’ｆ２’内の全ての画素の画素値が合計されて、分子値Ｎをもたらす。ステップ１３４０の代替実装形態では、積パッチｆ１’ｆ２’内の窓関数によって定義された画素のサブセットが合計されて、分子値Ｎをもたらす。
【０１７６】
ぼけ決定ステップ１３５０が続き、非対称パッチ選択ステップ９４０においてパッチｆ１またはｆ２のうちのどちらの方がぼけがより少ないパッチとして選択されたかが参照される。ぼけがより少ないパッチとして画像パッチｆ１８４０が選択された場合、距離推定処理９５０ｂは第１の分母ステップ１３６０に進む。一方、ぼけがより少ないパッチとして画像パッチｆ２８５０が選択された場合、距離推定処理９５０ｂは第２の分母ステップ１３６５に進む。
【０１７７】
第１の分母ステップ１３６０で、第１のゼロ平均パッチｆ１’がそれ自身によって画素単位で掛けられて第１の正規化パッチｆ１’ｆ１’をもたらし、次いで第１の正規化パッチｆ１’ｆ１’内の全ての画素の画素値が合計されて、分母値Ｄをもたらす。代替実装形態では、第１の正規化パッチｆ１’ｆ１’内で窓関数によって定義される画素のサブセットが合計されて、分母値Ｄをもたらす。
【０１７８】
第２の分母ステップ１３６５で、第２のゼロ平均パッチｆ２’がそれ自身によって画素単位で掛けられて第２の正規化パッチｆ２’ｆ２’をもたらし、次いで第２の正規化パッチｆ２’ｆ２’内の全ての画素の画素値が合計されて、分母値Ｄをもたらす。代替実装形態では、第２の正規化パッチｆ２’ｆ２’内で窓関数によって定義された画素のサブセットが合計されて、分母値Ｄをもたらす。
【０１７９】
ステップ１３６０および１３６５のそれぞれの後に正規化ステップ１３７０が続き、分子値Ｎが分母値Ｄによって除算されて、修正された正規化相互相関中央値Ｎ／Ｄをもたらす。ステップ１３７０は、第１および第２パッチのそれぞれから取得された結合データに行われる。
【０１８０】
最後に、距離決定ステップ１３８０で、非対称パッチ選択ステップ９４０においてどちらのパッチの方がぼけがより少ないと決定されたかという決定と結合して、正規化ステップ１３７０で計算された、修正された正規化相互相関中央値Ｎ／Ｄを使用して画像パッチｆ１およびｆ２についての距離推定を決定する。これは、画像を撮影するために使用される撮影パラメータのセットについての画像パッチ内に示されたシーン内のオブジェクトの距離への修正された正規化相互相関値Ｎ／Ｄに関する理論的モデルを使用して、または距離対画像を撮影するために使用される撮影パラメータのセットについての修正された正規化相互相関値Ｎ／Ｄを記載する較正ルックアップテーブルを参照することによって、行うことができる。
【０１８１】
次いで、距離推定処理９５０ｂは終了ステップ１３９０で終了する。
【０１８２】
距離推定ステップ９５０のさらなる代替実装形態（図示せず）は、図１３に示した距離推定処理９５０ｂにおいて概ね上述のように進行するが、第１のゼロ平均ステップ１３１０の前にパッチｆ１およびパッチｆ２のラプラス勾配画像が計算される追加ステップを含む。パッチｆ１のラプラス演算子はｇ１と呼ばれ、パッチｆ２のラプラス演算子はｇ２と呼ばれる。図１３に示される距離推定処理９５０ｂは、入力としてｆ１およびｆ２ではなくパッチｇ１およびｇ２を与えられ、次いで上述のように進行する（ｆ１の代わりにｇ１を、およびｆ２の代わりにｇ２を代用して）。
【０１８３】
７．５ 変形
図１２および１３の処理の多くの変形を実行できる。たとえば、入力画像パッチの異なる色チャネルに処理を適用して、それによって画像パッチごとに様々な値を計算できる。
【０１８４】
他の変形では、異なる窓関数を使用することによって、入力画像パッチのそれぞれのペアから複数の値を計算しても良い。
【０１８５】
さらなる変形では、たとえば２つの値を与えるために、図１２および１３の処理のそれぞれを同時に実行しても良い。
【０１８６】
これらのそれぞれの変形では、複数の値から対応する距離推定を取得して、他の何らかの方法で平均化または結合することもでき、ある選択基準を使用して選択して、対象としているパッチについての距離推定を与えることもできる。
【０１８７】
８．要約
処理９００、および処理９００を実装できる様々な代替によって、当分野で広く知られているが、従来の処理と比較して著しくより効率的な方法で処理９００を介して得られた方法で実用性を提供する距離マップ画像または距離マップ値のストリームがもたらされる。
【産業上の利用可能性】
【０１８８】
上述の装置は、コンピュータおよびデータ処理産業に適用でき、特にカメラおよび同様の撮影装置を使用して撮影された画像から距離マップデータを形成することに適用できる。
【０１８９】
上記は本発明のいくつかの実施形態を説明しているに過ぎず、本発明の範囲および趣旨から逸脱することなくこの実施形態に修正形態および／または変更が行われてよく、実施形態は説明のためのものであり、限定的なものではない。
【技術分野】
【０００１】
関連特許出願の参照
本出願は、米国特許法第１１９条に基づいて、２０１１年９月１４日に出願したオーストラリア特許出願第２０１１２２４０５１号の出願日の便益を主張するものであり、その全体を参照により本明細書に完全に記載されるものとして組み込む。
【０００２】
本発明はデジタル画像処理に関し、より具体的には、シーンの画像からシーン内のオブジェクトへの距離を決定することに関する。
【背景技術】
【０００３】
画像撮影の多くのアプリケーションでは、画像撮影装置の視野内の画像撮影装置からオブジェクトへの距離を決定することが好都合な場合がある。画像化されたシーン内のオブジェクトへのこのような距離の集まりは、距離マップ（ｄｅｐｔｈ ｍａｐ）と呼ばれることがある。画像化されたシーンの距離マップは画像として表されることがあり、シーンの画像自体とは異なる画素分解能の画像である場合があり、距離マップのそれぞれの画素に対応するオブジェクトへの距離はグレースケールまたは明度によって表される。
【０００４】
距離マップによって、写真についてのいくつかの望ましい撮影後画像処理機能が可能になるため、消費者の写真撮影の分野で便利な場合がある。たとえば距離マップは、手動の後処理または創造的な写真効果の自動適用を可能にするために、前景および背景のオブジェクトを分割するために使用できる。距離マップは、より小さくより安価なレンズを使用して、高品質のレンズの芸術的に美しい段階的なぼけ（ｂｌｕｒ）を画像処理で付与することなどの、距離関連の写真効果を適用するためにも使用できる。
【０００５】
写真シーンの距離マップを取得するあらゆる方法において、いくつかの機能が望ましい。距離精密度は重要であり、それがないと結果として得られる距離マップはオブジェクトが本当の距離とは著しく異なる距離にあることを示唆してしまう。距離分解能は、シーン内で相互に空間的に近いオブジェクトを分離できるようにするために、また距離に依存するぼけ付与などの正確な後処理操作を可能にするために重要である。多くのアプリケーションでは距離マップの空間分解能も重要であり、特に写真画像自体の分解能に取り組む距離マップは画素単位の分割にとって有用であり、多くの後処理操作における視覚的に明白なオブジェクト境界エラーを回避する。距離マッピング方法は、理想的には、反射率、色、テクスチャ、および方向などの、シーン内のオブジェクトの物理的性質に依存するべきではない。この特性はしばしばシーン非依存性と呼ばれる。さらに、距離マッピング方法がシーン内のオブジェクトのモーション、および画像撮影装置のモーションに寛容であることが望ましい。さらに距離マッピング方法は、追加のコスト、大きさ、重量、画像撮影および処理時間、ならびに電力消費を最小限に抑えた消費者向けカメラなどの実際の装置で実現できることが望ましい。
【０００６】
シーンの画像から距離マップを決定するためのいくつかの方法が知られている。これらの方法は能動的な方法と受動的な方法に分類できる。能動的な距離マッピング方法は、光線または光のパターン、あるいは他の放射物をシーンに投影することを含む。距離は、反射した光線が戻ってくる時間を計ること、またはシーン内の三次元構造から反射する際のパターンの幾何学的な歪みを分析することによって測定できる。能動的な方法には投影光学が必要であり、それによって消費者の写真撮影などのアプリケーションに著しいコスト、重量、および電力問題が生じてしまう。さらに、能動的な方法は範囲が限られている。これらの理由から、写真撮影アプリケーションには能動的な方法よりも受動的な距離マッピング方法の方がより適している。
【０００７】
知られているクラスの受動的な距離マッピング方法は、様々な視点からシーンの画像を撮影することを含む。次いでシーンの画像を分析して、立体感によって生じるシーンの画像内のオブジェクトの位置における明白な変化を決定できる。一般に、立体的な方法は複数の視点を必要とするという欠点がある。これは、画像を連続的に撮影することおよびショット間にカメラを移動することか、複数のカメラまたは複数のレンズを有するカメラを使用して画像を撮影することを必要とする。画像を連続的に撮影する場合、特に動いている被写体の場合はカメラの移動にかかる時間が問題となる場合があり、またカメラモーションの正確な位置合わせ（アライメント）または較正が必要である。同時撮影の場合、複数のカメラまたはレンズの必要性によって、撮影装置の構成の費用および困難さが増加する。
【０００８】
他のクラスの受動的な距離マッピング方法は、１つの視点から１台のカメラによって撮影された複数のショットを使用する。これらの方法は、Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ（ＤＦＦ）、およびＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）という２つのクラスにさらに分割できる。ＤＦＦ方法は、広範囲の様々な焦点位置で撮影されたシーンの複数のショットを使用する。次いで、それぞれのショットから画像パッチを分析することによって、どのショットが所与の画像パッチ内に示されるオブジェクトにとっての最良の焦点位置に対応するかを決定でき、次にそのショットを較正された距離に関連付けることができる。ＤＦＦ方法の主な欠点は、多数の画像を撮影する必要があり、結果として撮影時間が長くなり、動いているシーンについて著しい位置合わせ問題が生じ、また処理時間が長くなることである。
【０００９】
ＤＦＤ方法は、異なるカメラあるいは焦点や口径のような撮影パラメータを使用して少数の画像を撮影し、次いでシーンオブジェクトのぼけの量の差を分析するために画像を比較することによって、シーン内のオブジェクトへの距離を測定しようとする。次いで、既存の方法は、様々な理論的計算または経験的較正によって、このぼけの差のいくつかの測度を画像化されたオブジェクトの距離に関連付けようとする。ＤＦＤ方法は、わずか２つの画像から距離を推定できる。
【００１０】
上述の全ての距離マッピング方法の望ましい特徴、すなわち距離精密度、距離分解能、空間分解能、シーン非依存性、モーション寛容度、ならびにコスト、重量、大きさ、処理時間、および電力消費が低いことに加えて、特にＤＦＤ方法はさらに望ましい特徴要件がある。ＤＦＤ方法はぼけの差の量化に依存して距離を確立する。したがって、実現可能なぼけの差の量がカメラ設計の実際の配慮によって制限されている場合、ＤＦＤ方法がよく動作することが望ましい。特に、小型カメラは、コストを抑えて便利な大きさの製品を生産するために一般的に小さいレンズおよびセンサを有している。画像化システムのこれらの制約により、小さい光学系の大きな被写界深度のために、ぼけの差は比較的小さくなる（より大きいカメラと比較して）。たとえば、小型カメラで撮影された２つのショット間の実現可能な一般的なぼけの差は、１画素オーダーか、それよりも少ない。ＤＦＤ方法の他の望ましい特徴は、この方法がカメラ光学系の現実的なモデルに基づくということである。これによって、ぼけの差の測度と画像撮影光学系のパラメータとの間になされるべき明瞭な理論的関係が可能になる。これによって、ぼけの差の測度とオブジェクトの距離との間の接続をさらに完全に理解できるようになり、異なる画像化シナリオまたは困難な画像化条件に適切な考察を与えられるようになる。
【００１１】
ＤＦＤ方法の一例は、１９８７年７月に発表された、Ｐｅｎｔｌａｎｄによる論文「Ａ Ｎｅｗ Ｓｅｎｓｅ ｆｏｒ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．ＰＡＭＩ−９，Ｎｏ．４，ｐｐ．５２３〜５３１に記載されており、以下では「Ｐｅｎｔｌａｎｄ」と呼ぶ。この方法は、対称ガウス点広がり関数（ＰＳＦ）の仮説（assumption）に基づいて画像ごとにぼけの半径を推定することによって、異なる口径で撮影された２つの画像間のぼけの量における差を計ろうとするものである。この仮定は、一般的なカメラレンズにとっては非現実的であるが、レンズ光学的伝達関数（ＯＴＦ）が実ガウス関数であると仮定し、したがってこの仮定は距離推定（depth estimate）にエラーを生じさせる。さらに、ぼけの半径を計算するＰｅｎｔｌａｎｄ方法はシーンテクスチャおよび画像ノイズの変化に非常に敏感である。この敏感性のため、本方法は自然風景の写真を撮影するカメラでの使用には適していない。
【００１２】
ＤＦＤ方法の他の例は、１９９３年に付与された米国特許第５，２３１，４４３号（Ｓｕｂｂａｒａｏ）に記載されている。この方法は、画像領域内の行または列を合計して、１次元（１Ｄ）フーリエ変換を実行して、次いでフーリエ成分の小さいサブセットを調べることによって、異なる撮影パラメータ（カメラパラメータ）で撮影された２つの画像間のぼけの量における差を計ろうとするものである。この方法は、射影切片定理によって画像領域の２次元（２Ｄ）フーリエ変換を通じて１Ｄ切片を調べることと等しい。通常、自然風景の写真には様々なテクスチャがある。これらのテクスチャの２次元フーリエ変換は、様々な主要な配向（ｄｏｍｉｎａｎｔ ｏｒｉｅｎｔａｔｉｏｎｓ）を有する。一般的なテクスチャは空間周波数軸に沿って低エネルギーを有し、それは、Ｓｕｂｂａｒａｏの方法が画像ノイズに敏感であり、距離推定に大きなエラーを生じさせてしまうことを意味する。シーンテクスチャの配向についてのこのエラーの変化は、距離マッピング方法には非常に不適当である。
【００１３】
異なる理論的原理を使用するＤＦＤ方法の一例は、２００６年６月にＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙによって発表されたＭｃＣｌｏｓｋｅｙ他による論文「Ｔｈｅ Ｒｅｖｅｒｓｅ Ｐｒｏｊｅｃｔｉｏｎ Ｃｏｒｒｅｌａｔｉｏｎ Ｐｒｉｎｃｉｐｌｅ ｆｏｒ Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ ３Ｄ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｉｓｕａｌｉｚａｔｉｏｎ，ａｎｄ Ｔｒａｎｓｍｉｓｓｉｏｎ，ｐｐ．６０７〜６１４に記載されている。この方法は、画素自己相関に基づく測度を使用してそれぞれの画像内のぼけの量を個々に推定して、次いで画像間のこの測度を比較することによって、２つの画像間のぼけの差を計ろうとするものである。この方法では、相関測度とぼけを生じさせる物理光学的原理との間に明瞭な理論的関係はない。したがって、様々な撮影条件の下で本方法の精密度を確立するのは困難である。この方法から得られるサンプルの距離にはノイズがある。
【００１４】
ＤＦＤ方法の他の例は、２０１０年６月２１日に発表された、Ａｙｄｉｎ＆Ａｋｇｕｌによる論文「Ａｎ ｏｃｃｌｕｓｉｏｎ ｉｎｓｅｎｓｉｔｉｖｅ ａｄａｐｔｉｖｅ ｆｏｃｕｓ ｍｅａｓｕｒｅｍｅｎｔ ｍｅｔｈｏｄ」、Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ，Ｖｏｌ．１８，Ｎｏ．１３，ｐｐ．１４２１２〜１４２２４に記載されている。この方法は、画像の対応するパッチ間の相互相関を計算することによって２つの画像間のぼけの差を計ろうとするものである。これは画像パッチ間の類似の測度を作り、その測度はオブジェクトの距離と関係がある。ここでの問題点は、コントラストが高くてぼけのレベルが低いオブジェクトよりも、コントラストが低くてぼけの差が高いオブジェクトの方が、より似ているように見えることであり、このことは誤った距離割当てをもたらす。
【００１５】
これらの例は、既存のＤＦＤ手法の欠点の例である。一般的にＤＦＤ方法の短所は、使用されるデータ量が比較的少ないこと、シーンテクスチャ変化および画像ノイズの影響、ならびにカメラまたは被写体のモーションによって生じる画像内のオブジェクト間のあらゆる位置合わせ不良のために距離推定がエラーになりやすいということ、ならびにオブジェクトの距離とぼけとの間の関係が複雑であるということである。多くのＤＦＤアルゴリズムでは、カメラレンズの不正確なモデルを使用するカメラ較正方法、距離推定と物理光学的理論との間に理論的関係が弱いまたはないこと、ならびに１つまたは複数の画像ノイズ、画像位置合わせ不良、露出差、およびシーン内のオブジェクトのテクスチャの変化に対する距離推定感度が高いことのために、画像の分析から抽出される定量的測度とシーン内の実際の距離の間の関連性が乏しい。
【００１６】
ＤＦＤ方法は、小型カメラで撮影された画像に適用される場合に特に問題となる。レンズおよびセンサのサイズが小さいことによって、シーンの２つのショット間で実現できるぼけの差の量が制限されてしまうので、小さいセンサはより大きいセンサよりも画像ノイズになりやすい。これらのことによって、ぼけの差の量を正確に計ることが困難になる。
【発明の概要】
【発明が解決しようとする課題】
【００１７】
本発明の目的は、既存の装置の１つまたは複数の欠陥を実質的に克服するか、少なくとも改善することである。
【課題を解決するための手段】
【００１８】
本発明の目的を達成するために、たとえば、本発明の第１の様態は、画像撮影装置によって撮影されたシーンの距離情報を決定するための方法であって、前記画像撮影装置によって撮影された前記シーンの第１の画像および第２の画像を取得するステップであって、前記第１の画像は、前記第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されており、前記第１の画像から第１の画像パッチを選択し、前記第２の画像から第２の画像パッチを選択するステップであって、前記第１および第２の画像パッチは、前記第１および第２の画像のそれぞれにおいて撮影された前記シーンの共通部分に対応しており、前記第１および第２の画像パッチのうちのどちらの方が、より焦点が合った画像パッチであるかを決定するステップと、前記第１および第２の画像パッチのそれぞれにおけるデータの組合せに基づいて少なくとも１つの値を計算するステップであって、前記組合せは、前記第１および第２の画像パッチのうちのどちらの方が前記より焦点が合った画像パッチと決定されるかに依存しており、前記少なくとも１つの計算された値から、前記シーンの前記共通部分の前記距離情報を決定するステップとを有することを特徴とする。
【発明の効果】
【００１９】
本発明の第１の様態の方法によれば、既存の装置の１つまたは複数の欠陥を実質的に克服するか、少なくとも改善することができる。
【００２０】
本発明の他の態様も以下で説明する実施の形態で開示される。
【００２１】
以下の図面を参照して、本発明の少なくとも１つの実施形態を説明する。
【図面の簡単な説明】
【００２２】
【図１】シーン、およびシーンの画像を撮影するために位置する画像撮影装置の概略図である。
【図２】２つの異なる焦点面で２つの異なる画像を形成するレンズの幾何学的配置を示す概略図である。
【図３Ａ】２次元のガウス関数、およびその１次元の断面図である。
【図３Ｂ】２次元のピルボックス関数、およびその１次元の断面図である。
【図４】２次元点広がり関数の一般的形態の１次元の断面図である。
【図５】画像ノイズがある状態でデジタル画像から推定された、２次元点広がり関数の一般的形態の１次元の断面図である。
【図６】相対的なぼけの半径に対してプロットされた２つの異なる距離測度の値を示すグラフである。
【図７】相対的なぼけの半径に対してプロットされた２つの異なる距離測度の値を示すグラフである。
【図８】シーンの第１の画像および第２の画像内の画素と画像パッチとの間の対応を示す図である。
【図９】本開示による、シーンの２つの画像から距離マップを決定する例示的方法を示す概略的流れ図である。
【図１０】図９の方法で使用される、２つの画像を撮影する方法の一例を示す概略的流れ図である。
【図１１】図９の方法で使用される、非対称パッチ選択の方法の一例を示す概略的流れ図である。
【図１２】図９の方法で使用される、シーンの２つの画像の２つの対応するパッチから距離推定を決定する方法の一例を示す概略的流れ図である。
【図１３】図９の方法で使用される、シーンの２つの画像の２つの対応するパッチから距離推定を決定する方法の他の例を示す概略的流れ図である。
【図１４Ａ】図１４Ｂとともに形成する、本発明の実施形態を実施できる汎用コンピュータの概略的ブロック図である。
【図１４Ｂ】図１４Ａとともに形成する、本発明の実施形態を実施できる汎用コンピュータの概略的ブロック図である。
【図１５Ａ】本開示による距離測定を実行できる例示的画像を示す図である。
【図１５Ｂ】本開示による距離測定を実行できる例示的画像を示す図である。
【図１５Ｃ】本開示による距離測定を実行できる例示的画像を示す図である。
【発明を実施するための形態】
【００２３】
１．序文
本開示は、異なるカメラ撮影パラメータを有し、実質的に同じ場所に位置する１台のカメラを使用して撮影されたシーンの２つの画像から距離マップを抽出する方法を提供するものである。本方法は、改良された精密度、画像位置合わせ不良に対する一層の寛容性、画像露出に対する一層の寛容性、画像ノイズに対する改良された寛容性、画像内のオブジェクトのテクスチャの差に対する一層の寛容性、およびより速い計算速度のうちの１つまたは複数を提供しようとするものである。
【００２４】
２．コンテキスト
２．１ 薄レンズ方程式、基礎幾何学
距離推定の技術的詳細は、画像化装置の幾何学および光学の主な態様に依存する。カメラなどの画像化装置を使用して撮影されたほとんどのシーンは、装置のレンズから様々な距離に位置する複数のオブジェクトを含む。一般的に、画像化装置はシーン内の関心のあるオブジェクトに焦点を合わせる。関心のあるオブジェクトはシーンの被写体と呼ばれる。
【００２５】
図１は、画像化装置の主な部分と、撮影されるべきシーン内のオブジェクトとの間の幾何学的関係を示す概略図である。図１は、レンズ１１０およびセンサ１１５を含む画像化装置（たとえばカメラ）１００を示している。図１は、シーンの一部を形成するが、必ずしも撮影されるべきシーンの被写体ではない、直角プリズムに位置する球体で形成されるインフォーカス（ｉｎ−ｆｏｃｕｓ）面１３０および一般的オブジェクト１４０も示している。画像化装置１００の画像面１２０（焦点面とも呼ばれる）がセンサ１１５の位置にあると定義される。レンズ１１０を通じて投影されると、画像面１２０はインフォーカス面１３０を形成し、これはオブジェクト１４０の幾何学的領域における仮想面と考えられる。レンズ１１０から画像面１２０までの距離１５０は、方程式
【００２６】
【数１】
【００２７】
による薄レンズの原理によって、レンズ１１０からインフォーカス面１３０までの距離１６０に関連し、上式で、ｆはレンズ１１０の焦点距離であり、ｚｉはレンズからセンサまでの距離１５０であり、ｚ０はレンズ１１０からインフォーカス面１３０までの距離１６０である。一般的なシーンオブジェクト１４０は、レンズ１１０からの距離１７０およびインフォーカス面１３０からの距離１８０に位置する。この距離１７０はｚｓと呼ばれる。オブジェクト１４０からインフォーカス面１３０までの距離１８０は、ｚｓ−ｚ０で求められ、正数、ゼロ、負数でよい。画像面１２０上でオブジェクト１４０に焦点を合わせると、ｚｓ＝ｚ０となり、オブジェクト１４０はインフォーカス面１３０に位置付けられる。ｚｓがｚ０よりも短い場合はオブジェクト１４０がインフォーカス面１３０の背面に位置し、長い場合はオブジェクト１４０がインフォーカス面１３０の前面に位置するので、オブジェクト１４０の画像は画像面１２０上でぼけて見える。
【００２８】
図１は画像化の比較的単純な幾何光学モデルを示している。このモデルは、薄レンズ近似値を含む近似値、近軸画像光線、および収差のないレンズを利用する。これらの近似値は、実際の画像化システムに固有の光学のいくつかの側面を無視するが、当業者には理解されるように、画像化動作の一般的な理解には十分である。
【００２９】
ユーザによって手動で、または画像化装置１００に内蔵されたオートフォーカスメカニズムを使用して、焦点合わせが実行される。一般的に、焦点合わせは、距離ｚ０１６０が関心のある特定のオブジェクトへの距離ｚｓ１７０と等しくなるようにインフォーカス面１３０を配置するために、すなわちインフォーカス面１３０内に被写体を配置するために、レンズからセンサへの距離１５０を操作する。被写体の距離とは異なるレンズ１１０からの距離ｚｓを有するシーン内の他のオブジェクトは、インフォーカス面１３０の背面または前面に位置している。これらの他のオブジェクトは画像面１２０上で、然るにセンサ１１５上で撮影された画像内で、ある程度ぼけて見えることになる。このぼけは、デフォーカスぼけ（ｄｅｆｏｃｕｓ ｂｌｕｒ）と呼ばれる。
【００３０】
２．２ デフォーカスぼけ−単一の画像
画像化されたオブジェクト１４０のデフォーカスぼけの量は、インフォーカス面１３０からオブジェクト１４０までの距離１８０に伴って増加する。所与のパッチまたは撮影された２Ｄ画像の一部内にあるデフォーカスぼけの量は、点広がり関数（ＰＳＦ）によって特徴付けることができる。ＰＳＦは点光源に対する画像化システムの反応であり、画像面上のＰＳＦの積分が１と等しいように定義される。一般的に光学系のＰＳＦは、空間的に制限された空間的座標（ｘ、ｙ）の２次元関数であり、起点から一定のラジアル距離を超えてゼロに近づく。ぼけの量は、ＰＳＦの形の測度によって特徴付けることができる。ぼけの量の一般的な測度はＰＳＦの半値全幅（ＦＷＨＭ）、またはＰＳＦの標準偏差である。
【００３１】
カメラレンズ１１０のＰＳＦについての数学的に単純なモデルを仮定することによって、ＤＦＤの原理の基本的な理解を得ることができる。この単純性を実現するために、従来技術の分析はしばしばＰＳＦを２次元のガウス関数としてモデル化する。この仮定は本明細書において説明の目的のみで続けられ、物理光学系のＰＳＦは一般的にガウスの関数によってあまり近似されない点に言及する。この仮定の下に、ガウスの標準偏差σをぼけの半径と見なすことができ、「ぼけの量」の概念の便利な定量的測度を提供する。ガウスぼけの半径σ、オブジェクト距離ｚｓ、ならびに焦点距離ｆおよびレンズ口径Ａｖのカメラ画像撮影パラメータの関係は、
【００３２】
【数２】
【００３３】
によって求めることができ、上式でＡｖはレンズ１１０の口径比（ｆ値としても知られる）である。シーンの撮影された画像内の画素座標（ｘｉ、ｙｉ）に位置する点のぼけの半径σを測定できる場合、方程式（２）内の残りの量が分かっていれば、方程式（２）を使用してシーン内の対応する点でのオブジェクトへの距離ｚｓを決定できる。
【００３４】
しかし、画像化されるシーンの詳細な予備知識なしにシーンの単一の画像からの距離を決定することは、解決不可能な問題として知られている。これは、ぼけのないシーン画像の詳細が知られていない限り、単一の画像からぼけの半径σを決定することが不可能であるためである。たとえば、ぼけたディスクに似た画像特徴は、ある未知量によってぼけたある不定のより小さいサイズのディスクによって、または絞られた焦点の中で表示されたぼけたディスクに似たシーン内のオブジェクトによって、生じる場合がある。この曖昧さのために、ぼけの半径σを決定することができない。したがって、方程式（２）に関して、たとえパラメータｚｉ、ｆ、およびＡｖが知られていても、自然なシーン（ｕｎｃｏｎｓｔｒａｉｎｅｄ ｓｃｅｎｅ）の単一の画像から距離を決定することは不可能である。
【００３５】
ほとんどの状況では、シーン内のオブジェクトの構造についての詳細な知識なしにシーンが画像化される。多くの画像化アプリケーションにとって、自然なシーンを扱うことは一般的要件であり、写真スタジオなどの注意深く制御された画像化環境下でさえ、単一の画像から距離マップを取得するために必要な要求される情報を推定することは非常に困難である。しかし、方程式（２）を参照すると、ぼけの半径σに加えてパラメータのうちの少なくとも１つの値が２つの撮影された画像間で異なるならば、同じシーンの２つの撮影された画像を使用して距離情報を抽出することは理論的に可能である。これはデフォーカスからの距離（ＤＦＤ）方法を支持する基本原理であり、１つのシーンの２つの画像間の相対的なデフォーカスぼけの計算を使用する。
【００３６】
２．３ デフォーカスぼけ−２つの画像−口径差
異なる口径比Ａｖを有するが、他の全てのパラメータが一定のままである、カメラで撮影された同じシーンの２つの画像について考察する。さらに、パッチが一般的に画像化されているシーンの同じ領域を示すように、第１の画像から取られた小さな画像パッチ、および第２の画像から取られた小さな画像パッチを考察する。よく知られているように、画像のパッチ内に存在するデフォーカスぼけの量は、インフォーカス面１３０からのパッチ内に示されるオブジェクト１４０の距離ｚｓ−ｚ０１８０と、レンズ１１０の口径比Ａｖとの２つのパラメータに依存する。
【００３７】
第１に、パッチ内に示されるオブジェクト１４０がインフォーカス面１３０内にある場合、オブジェクト１４０は焦点が合っているように見える。デフォーカスぼけの半径σは、インフォーカス面からのオブジェクトの距離１８０の絶対値｜ｚｓ−ｚ０｜の増加に伴って増加する。第２に、デフォーカスぼけの半径σは、口径比Ａｖの減少に伴って増加する。この場合、デフォーカスぼけの半径σが、インフォーカス面１３０からのオブジェクト１４０の絶対距離１８０｜ｚｓ−ｚ０｜の増加に伴って単調に増加することを示すことができる。これは、第１の画像からのパッチのデフォーカスぼけの半径σ１および第２の画像からのパッチのデフォーカスぼけの半径σ２が推定できる場合、これらの推定を方程式（２）に使用して、オブジェクト１４０がインフォーカス面１３０の前面にあるか背面にあるかは曖昧だが、パッチ内に示されるオブジェクト１４０のインフォーカス面１３０からの距離を決定できることを意味する。
【００３８】
さらに、２つのぼけの半径における差の絶対値｜σ２−σ１｜が、インフォーカス面１３０からのオブジェクト１４０の絶対距離１８０｜ｚｓ−ｚ０｜の増加に伴って単調に増加することを示すことができる。これは、２つの画像から２つのぼけの半径における差｜σ２−σ１｜を推定できる場合、この推定を使用して、オブジェクト１４０がインフォーカス面１３０の前面にあるか背面にあるかは曖昧だが、パッチ内に示されるオブジェクト１４０のインフォーカス面１３０からの距離を推定できることを意味する。
【００３９】
あるいは、２つの画像から、ぼけの量における差の他のいくつかの測度を推定できる。この他の測度はぼけの半径における差ではなく、むしろ「ぼけの差」の概念の他の何らかの量化を推定しようとするものである。この場合、ぼけの差の測度を距離測度に経験的に較正することが必要な場合がある。
【００４０】
２．４ デフォーカスぼけ−２つの画像−焦点差
代替で、レンズからセンサまでの距離ｚｉ１５０は異なっているが、他の全てのパラメータは一定のままである、１台のカメラで撮影された同じシーンの２つの画像を考察する。さらに、パッチが通常画像化されているシーンの同じ領域を示すように、第１の画像から取られた小さい画像パッチ、および第２の画像から取られた小さい画像パッチを考察する。
【００４１】
図２は、２つの異なる焦点位置に設定されたレンズからセンサまでの距離ｚｉ１５０で撮影された２つの画像の幾何学的配置を示している。図２は、画像が撮影されるレンズ２１０に対する位置を示すように描かれている。第１の画像は、レンズ２１０からの距離ｚｉ１２２５の第１の位置２２０で、センサで撮影される。第１のインフォーカス面２３０は、レンズ２１０からの距離ｚｏ１２３５にある。第２の画像は、レンズ２１０からの距離ｚｉ２２４５の第２の位置２４０で、センサで撮影される。第２のインフォーカス面２５０は、レンズ２１０からの距離ｚ０２２５５にある。一般性を喪失することなく、ｚ０１＜ｚ０２であり、方程式（１）によりｚｉ１＞ｚｉ２である。
【００４２】
口径差の場合と同様の原理を適用するが、この焦点差の場合、２つの画像は異なるインフォーカス面距離ｚ０１２３５およびｚ０２２５５を有する。レンズからの距離ｚｓ１７０が、第１のインフォーカス面２３０と第２のインフォーカス面２５０との間のどこかの、ある特定の距離ｚｓ０２６５内に入る場合、すなわちｚｏ１＜ｚｓ０＜ｚｏ２の場合、両方の画像でシーンオブジェクトは等しくぼけて見えることになる。インフォーカス面と平行で、レンズからの距離がｚｓ０である面２６０は、中間インフォーカス面と呼ばれることになる。
【００４３】
中間インフォーカス面２６０よりもレンズ２１０からさらに離れたオブジェクトは第１の画像においてよりぼけて見えることになり、中間インフォーカス面２６０よりもレンズ２１０に近いオブジェクトは第２の画像においてよりぼけて見えることになる。
【００４４】
この場合、（ａ）２つのぼけの半径の差｜σ２−σ１｜は、オブジェクト１４０と中間インフォーカス面２６０との間の距離の増加に伴って単調に増加すること、および（ｂ）２つの画像パッチのうちのどちらの方がぼけがより少ないか（すなわち、より焦点が合っているか）を決定することによって、中間インフォーカス面２６０の前面または背面にあるオブジェクト１４０の位置を決定できることを示すことができる。これは、２つのぼけの半径の差｜σ２−σ１｜が推定でき、２つの画像パッチのうちのどちらの方がぼけがより少ないかを決定できる場合、この情報は、オブジェクトが中間インフォーカス面２６０の前面にあるか背面にあるかの曖昧性を除去することを含めて、パッチ内に示されるオブジェクトの中間インフォーカス面２６０からの距離を推定するために使用できることを意味する。
【００４５】
あるいは、２つの画像からぼけの量における差の他のいくつかの測度を推定できる。この測度はぼけの半径における差ではなく、むしろ「ぼけの差」の概念の他の何らかの量化を推定しようとするものである。この場合、ぼけの差の測度を距離測度に経験的に較正することが必要な場合がある。
【００４６】
２．５ 実際の留意点
実際、シーンの画像はいくらかの画像ノイズとともに撮影される。これは画像データを処理することによって行われたあらゆる測定の精密度に影響を及ぼす。多くの従来技術のＤＦＤ方法の原理を得るために使用されるガウスＰＳＦなどの単純な光学モデルも現実的ではない。実際のレンズはピンぼけ以外に収差を含み、オブジェクトは広い画角で画像化され、回折効果が重要になり得る。さらに、シーンオブジェクト内の視覚的なテクスチャの量の留意点がある。たとえば、オブジェクトの領域が色と反射性の点で均一の場合、この領域内のいかなるぼけの量を区別することも不可能である。
【００４７】
これらの理由の組合せにより、実際にＤＦＤ方法は現実的な写真シーンから距離マップを決定することに限定的な成功を示したに過ぎない。報告されたＤＦＤ方法の成功の多くは、高度に制約されたテストシーンに限定されている。さらに、ぼけの半径と方程式（２）によって求められたオブジェクト距離との間の関係は精密度が限られており、有益な結果を達成するためにはこの方法を経験的に較正することが必要であることが分かる。
【００４８】
３．概要
これから説明する装置は、現実世界の状況のレンズ光学の性質のより現実的な理論的モデリングを利用することによって、およびシーンに依存しない方法で、かつ画像ノイズがある状態で、デフォーカスからの距離を推定するためのより堅牢な手段を提供することによって、従来技術を改善する。
【００４９】
図３Ａおよび３Ｂは、一般的にレンズＰＳＦの近似値と仮定される２つの単純な２次元関数を示している。図３Ａは２次元ガウス関数３００を示しており、その１次元断面図は１次元ガウス関数３１０である。２次元ガウス関数３００は、ディザ式（ｄｉｔｈｅｒｅｄ ｆａｓｈｉｏｎ）で概略的に示されている。図３Ｂは円形ピルボックス関数３２０を示しており、その一次元断面図は二乗関数３３０である。
【００５０】
ＤＦＤの状況でのレンズの性質の従来技術のモデリングは、一般にデフォーカスぼけのＰＳＦは２次元ガウス関数３００によってよくモデル化されると仮定する。通常、これは正しくない。写真用カメラレンズのデフォーカスぼけＰＳＦはしばしば円形ピルボックス３２０によく似ており、ガウス関数の緩やかな低下と比べると比較的鋭角である。実際には、デフォーカスぼけＰＳＦの形は、これらの近似値のいずれよりも複雑であり、レンズによって、および単一のレンズの異なる撮影パラメータによって著しく変化する。ＰＳＦも画角に応じて変化するので、画像面１２０のある領域内のＰＳＦは、画像面１２０の他の何らかの領域内のＰＳＦとは異なる場合がある。
【００５１】
また特に、ＤＦＤの状況でのレンズの性質の従来技術のモデリングは、光学的伝達関数（ＯＴＦ）の係数である変調伝達関数（ＭＴＦ）を考慮することは、２つの画像の比較から正確な距離を決定するために適していると仮定する。この仮定は、利用可能なデータの半分を事実上無視して、ＯＴＦの位相の大きな貢献を軽視する。位相情報を十分に利用することによって、本明細書に開示した装置は従来技術よりも大いにより正確な距離結果を達成できる。
【００５２】
また特に、画像パッチのフーリエ変換の比率に基づく従来技術の距離推定は、画像ノイズによって大きく影響される相対的なＰＳＦの幅の推定に事実上基づく。
【００５３】
また特に、パッチ間に相互相関を実行することによって２つの画像パッチ間のぼけの量を比較する従来技術の方法は、異なる目的のために考案された正規化を適用している。この異なる目的は、２つのパッチの両方が同じシーンの信頼できる表現になることを目的としているという仮定の下に、２つのパッチのコントラスト間のあらゆる差を排除することである。この対称的ぼけ仮定は、一方が他方よりもよりぼけているので異なるコントラストがあることが知られている２つの画像パッチを比較する場合、非対称のケースで行われる貧弱な仮定である。
【００５４】
本明細書に開示した装置は、（ａ）ぼけの差の測度を計算する際、非対称パッチ選択の使用を通じて、ぼけのより少ない、およびぼけのより多い画像パッチ間の基本的な非対称を認識して利用することによって、（ｂ）デフォーカスぼけＰＳＦの形についていかなる仮定もせずに、（ｃ）ＯＴＦの位相にある情報を捨てずに、（ｄ）従来の方法よりも画像ノイズに対して敏感でない２つの画像パッチ間の相対的なぼけを特徴付ける改善された方法を使用して、（ｅ）理論的に不適切な相互相関正規化技法を使用せずに、異なる撮影パラメータで撮影された同じシーンの１組の画像から距離測定を容易にする。これらの特徴は以下のセクションで詳細に説明する。
【００５５】
４．平均スペクトル比
４．１ 理論
画像形成の理論を考慮することによって、同じシーンの２つの画像から距離を決定する方法を開発できる。画像化されるべきシーンのパッチｆ０を考察すると、パッチは十分に小さく、したがってオブジェクト距離におけるあらゆる変化、またはパッチ内の画像化システムのＰＳＦが小さいので、無視できる。パッチｆ０の配光分布の画像ｆ１の対応するパッチの２次元配光分布は、以下のように空間的畳み込み演算による完全に一般的な点広がり関数（ＰＳＦ）を使用してモデリングされ得る。
【００５６】
【数３】
【００５７】
上式で、ＰＳＦ１は、画像パッチｆ１上に投影される際のシーンパッチｆ０のデフォーカスぼけＰＳＦである。方程式（３）の両側をフーリエ変換すると、
Ｆ１（ｕ，ｖ）＝Ｆ０（ｕ，ｖ）ＯＴＦ１（ｕ，ｖ） （４）
となり、上式で、（ｕ，ｖ）は空間周波数座標であり、Ｆ１はｆ１のフーリエ変換であり、Ｆ０はｆ０のフーリエ変換であり、ＯＴＦ１はＰＳＦ１のフーリエ変換である。フーリエ畳み込み定理によって、空間的畳み込み演算が積となる。関数ＯＴＦ１は光学的伝達関数（ＯＴＦ）として知られている。ＯＴＦは複素数値関数であり、係数と位相成分を有する。
【００５８】
異なる撮影パラメータで撮影した同じシーンの２つの画像を有するが、画像が相互に合致する（位置が合っている）ようにカメラまたはシーン内のいかなるオブジェクトも動かさないと仮定する。次いで、同じシーンパッチｆ０の第２の画像パッチｆ２を方程式（３）と同じ方法でモデリングでき、下付き文字１を下付き文字２に置換する。２つの画像内の対応するパッチのフーリエ変換の比率は、
【００５９】
【数４】
【００６０】
となり、上式で、シーンのフーリエ変換Ｆ０（ｕ，ｖ）は、右側の分子と分母に共通であり、比率から約分されている。この比率はスペクトル比と呼ばれる場合がある。ノイズがない場合、シーンの全ての貢献が相殺されているので、スペクトル比はシーンに依存しない。画像または量子化ノイズがある場合、相殺は完全ではない場合があるが、スペクトル比の基本的性質は依然としてほとんどまたは実質的にシーン非依存である。
【００６１】
スペクトル比は、画像パッチの任意の割当てでｆ１およびｆ２として形成され得る。しかし、以下でさらに説明するように、２つの画像パッチｆ１およびｆ２のうちのどちらの方が他の画像パッチよりもぼけが少ないかに基づいて、非対称パッチ選択を使用することが好都合である。このような決定は、たとえば、それぞれの画像パッチ内の画素の明度または輝度の分散を計算することによって行うことができ、分散の高いパッチはぼけが少なく、したがってシーンの最も焦点が合った表現であると考えられる。どちらのパッチがぼけがより少ないかを決定する他の方法も使用でき、たとえば画像が異なる口径および回折で撮影されたかどうかを無視できる場合、より狭い口径で撮影されたパッチはぼけがより少ないと考えられる。
【００６２】
どちらのパッチの方がぼけがより少ないかという決定が行われると、ぼけがより少ないパッチはパッチｆ２として割り当てられ、ぼけがより多いと考えられるパッチはｆ１として割り当てられる。この割当てによって、スペクトル比
【００６３】
【数５】
【００６４】
によって求められる相対的な光学的伝達関数ＯＴＦｒに関連して、ｆ１をｆ２のぼけがより多いバージョン考えることができると解釈できるようになる。
【００６５】
方程式（６）を逆フーリエ変換すると以下の関係が求められる。
【００６６】
【数６】
【００６７】
上式で、ＰＳＦｒは相対的点広がり関数（相対的ＰＳＦ）と定義され、画像パッチｆ２に畳み込まれると画像パッチｆ１をもたらす。相対的点広がり関数ＰＳＦｒは単純にＰＳＦ１およびＰＳＦ２に関連しないが、その２つの非線形結合の結果である。相対的点広がり関数ＰＳＦｒは、焦点および口径などの画像化システムのパラメータ、パッチｆ０内で画像化されたオブジェクトの距離、ならびに画像面１２０全域の画角によって異なる。
【００６８】
４．２ 距離マッピングへの適応
図４に相対的ＰＳＦの形の説明のための例が示されている。図４は、ＰＳＦの形４００、ＰＳＦの幅４１０の測度、およびＰＳＦのピーク値４２０を示している。画像ノイズがない場合、物理光学系の相対的ＰＳＦは一般的に、起点４２０で最大またはほぼ最大である値を有し、基点からゼロに低下する関数である。幅４１０の測度は、関数の幅のＦＷＨＭ、標準偏差、または他の何らかの測度でよい。
【００６９】
一般的な写真状況では、シーンパッチｆ０のフーリエスペクトルＦ０はシーンパッチ内のテクスチャに依存する。一般的に、Ｆ０は低い値を有するＦ０の内の多くの領域とともに、ラジアル空間周波数座標に関してベキ分布（ｐｏｗｅｒ ｌａｗ ｄｉｓｔｒｉｂｕｔｉｏｎ）を持つことになる。所与の画像パッチについて著しいデフォーカスがある場合、ＯＴＦ１およびＯＴＦ２もしばしば低い値を有する。
【００７０】
画像ノイズがある場合、方程式（５）を使用してスペクトル比を決定することは、あらゆる空間周波数座標についてノイズのある推定をもたらすことになり、Ｆ０、ＯＴＦ１、またはＯＴＦ２は低い値を有する。スペクトル比推定におけるノイズも相対的ＰＳＦのノイズのある推定をもたらす。さらに、２つの画像パッチから計算された相対的ＰＳＦは、画像パッチの画素グリッド上でサンプリングされ、パッチのサイズによって窓を掛けられる（ｂｅ ｗｉｎｄｏｗｅｄ）。窓を掛けること（ｗｉｎｄｏｗｉｎｇ）によって、パッチのフーリエ変換にアーティファクトがもたらされる。
【００７１】
窓を掛けることによってもたらされるアーティファクトは、当業者には知られているように、スクエアパッチウインドウのエッジに向かって減少する窓関数を適用することによって減らすことができる。このような窓関数はＤＣ周波数のエネルギーを他の周波数に広げるので、精密度の損失をもたらす。これを回避するために、対応するパッチからそれぞれのパッチの平均値を引くことによって、画像パッチは窓を掛ける前にＤＣ成分を除去できる。スペクトル比を形成する場合、これはフーリエ変換におけるＤＣ画素でゼロ除算をもたらす。これは特別なケースとして扱うことができ、パッチは輝度または明度の点で等しいという仮定に基づいて、ＤＣ画素でスペクトル比に値１を割り当てることができる。あるいは、スペクトル比のＤＣ画素に、ＤＣ除去の前に画像パッチの平均の比率と等しい値を割り当てることができる。
【００７２】
図５に、２つのノイズのある画像パッチのスペクトル比を使用して取得された相対的ＰＳＦの説明のための例を示している。図５は、ノイズのあるサンプリングされたＰＳＦの形５００、およびノイズのあるサンプリングされたＰＳＦ５００の基本的な幅５１０の推定された測度を示している。この場合、相対的ＰＳＦの幅５１０の経験的測度は、ノイズによってある程度バイアスがかけられている可能性がある。特に、ＦＷＨＭの推定は一般的に、相対的ＰＳＦの基本的な形について関数形式を仮定するステップ、ノイズのあるデータに曲線を適合させるステップ、曲線の最大値を決定するステップ、次いでその値の半分で曲線の幅をとるステップに依存する。これらのそれぞれのステップは測定におけるノイズのためにエラーになりやすい。
【００７３】
測定されたスペクトル比から相対的ＰＳＦのサイズを推定する際のさらなる考察は、相対的ＰＳＦを計算するステップが、まずスペクトル比を計算して、次いで相対的ＰＳＦを得るために逆フーリエ変換することを要求するということである。この演算は処理時間の点でコストがかかる。
【００７４】
相対的なぼけ幅を含むパラメータを推定するためのより速くより堅牢な方法は、領域全体のスペクトル比の平均値を取ることである。スペクトル比ＯＴＦｒは複素数値関数であるが、比率Ｆ１／Ｆ２によって形成され、Ｆ１およびＦ２は両方とも実数値関数のフーリエ変換である。これは、Ｆ１およびＦ２はエルミート関数であることを意味し、複素ＯＴＦ比率であるＦ１／Ｆ２もエルミート関数であり、すなわち、
Ｉｍ［ＯＴＦｒ（ｕ，ｖ）］＝−Ｉｍ［ＯＴＦｒ（−ｕ，−ｖ）］ （８）
であり、上式で、Ｉｍ（）関数は複素数の虚数部をとる。これは、エルミート対称を有する領域内のスペクトル比値の合計が実数であり、したがってこのような領域全体のスペクトル比の平均が実数であることを意味する。フーリエ変換の特性によって、パッチ全体にわたって計算されたスペクトル比の平均は、起点の相対的ＰＳＦの値４２０と等しい。起点の相対的ＰＳＦの値４２０は相対的なぼけの幅の測度なので、ぼけの幅が大きいほど、それだけ起点の相対的ＰＳＦの値が低く、逆も同様である。したがって、平均スペクトル比は、２つの画像パッチｆ１とｆ２との間の相対的デフォーカスぼけの量の測度を与えるので、画像が異なるカメラ口径または焦点セッティングで撮影されたかどうかに応じて、それぞれ画像パッチ内に示されるオブジェクトからインフォーカス面１３０または中間インフォーカス面２６０のどちらかへの距離１８０に関連する測度として使用できる。
【００７５】
さらに、非対称パッチ選択決定は、画像パッチ内に示されたオブジェクトがインフォーカス面１３０または中間インフォーカス面２６０のどちらかの前面にあるか背面にあるかに直接関連する、どちらの画像パッチの方がより焦点が合っているかのバイナリ弁別子を提供する。この情報を距離決定と結合することにより、画像パッチ内に示されたオブジェクトのカメラから距離を一意に識別できる。
【００７６】
周波数ドメインにおける平均化はランダムノイズの影響を相殺し、相対的ＰＳＦの形についてのあらゆる仮定またはあらゆる追加パラメータ推定を必要とせずにピークの高さの推定をもたらすので、一般的に相対的ＰＳＦの幅の直接推定よりもスペクトル比の平均は相対的なぼけのより堅牢な測度である。一方、ノイズのあるサンプリングされたＰＳＦ５００から相対的ＰＳＦの幅を推定するステップは、相対的ＰＳＦの形についての関数形式を仮定するステップ、ノイズのあるデータの形に適合する複数のパラメータを推定するステップ、およびその適合から幅パラメータ５１０を抽出するステップが必要である。
【００７７】
スペクトル比の係数の平均を取ることは、一般的に複素スペクトル比の平均を取るための異なる数をもたらす。特に、三角不等式によって、スペクトル比の係数の平均は複素スペクトル比の平均よりも一般的に大きく、その差はＯＴＦの位相成分によって決定される。一般的に、これは起点の相対的ＰＳＦの値４２０の推定が大きすぎることを意味し、実際に存在するよりも相対的デフォーカスぼけが小さいことを暗示する。これは画像パッチ内の距離推定におけるエラーにつながる場合がある。同様に、ＯＴＦの係数の比率の平均を取るステップも、一般的に複素スペクトル比の平均を取るための異なる数をもたらし、やはり距離推定におけるエラーにつながる。これらの理由から、正確な距離推定のために、計算を通じて複素数計算を維持することが重要である。
【００７８】
ＭＴＦの比率が使用される従来技術の方法よりも平均スペクトル比方法が優れている点のうちのいくつかは、図６に示されている。図６は、写真から得られた８つの異なるテクスチャについて、ＭＴＦ比率６１０（実線）の平均のプロット、および相対的なぼけの半径に対してプロットされた平均スペクトル比６２０（点線）を示している。平均スペクトル比６２０は、約４画素未満のぼけの半径の差の値について、ＭＴＦ比率６１０の平均よりも大きな相対的なぼけの半径の変化を示している。したがって、平均スペクトル比方法は、この小さい相対的なぼけの差の領域内のぼけの半径の差に対して従来技術の方法よりも著しく敏感である。この小さいぼけの差の領域は、小型消費者向けカメラ特有のレンズおよびセンサを使用するＤＦＤが操作する領域である。また、平均スペクトル比６２０は、画像テクスチャの分散がＭＴＦ比率６１０の平均よりも少ないことを示しており、これは画像ノイズが存在する場合に平均スペクトル比のシーンテクスチャへの依存性がＭＴＦ比率の平均よりも少ないことを意味する。
【００７９】
多くの従来技術の方法よりも平均スペクトル比方法が優れている他の点は、２つの画像間の相対的ＯＴＦが画像間のデフォーカスぼけの量における変化だけに依存するという仮定に依存しない点である。多くの従来技術の方法は他のレンズ収差の影響を無視しており、他のレンズ収差は無視できる、あるいはデフォーカスにおける変化は他のレンズ収差における変化に伴わないと暗に仮定している。これらの仮定は、両方とも光学的瞳孔関数とＯＴＦとの間の関係により、一般的な光学系には誤りである。瞳孔関数は、光学系の瞳孔面を通る光の振幅および位相変調を説明する複素数値関数である。当業者には知られているように、デフォーカスは瞳孔関数のゼルニケ多項式成分として説明できる。球面収差、コマ収差、または他の収差などのレンズ収差は、デフォーカス多項式に直交するゼルニケ多項式として説明できる。これは、瞳孔関数に関して、デフォーカスを他の収差から分離して独自に測定できることを意味する。しかし、ＯＴＦは瞳孔関数の自己相関であり、この自己相関は直交多項式を混合するので、もはや分離できない。これは異なる焦点で撮影された２つの画像間の相対的ＯＴＦが、相対的デフォーカスぼけと他のレンズ収差によって生じたぼけとの混合であること、および両者は曖昧性を除去できないことを意味する。この影響を無視するＤＦＤモデルは、理論と実験との間でミスマッチになり、誤った距離割当てに潜在的に帰着する傾向がある。これは、一般的に著しい収差のレンズを有する小型カメラの場合に特に重要である。平均スペクトル比方法は、一般にこの仮定を回避するのに十分である。レンズ収差が知られている場合、距離への平均スペクトル比の理論的較正内に含むことができる。経験的較正については、平均スペクトル比から距離までの測定されたマッピングは、レンズ収差のあらゆる影響を自動的に含む。
【００８０】
平均スペクトル比の変形は、エルミート対称性を備える領域全体で得られるスペクトル比の実数部の中央値として定義される中央値スペクトル比を計算することである。これにより、ノイズによるバイアスが少ないスペクトル比の平均値の推定がもたらされるので、距離測度としても有用である。
【００８１】
平均スペクトル比の他の変形は、逆正接関数に基づく操作によって方程式（５）の複素数除算を置換することによって形成できる。ゼロに近い値の除算は大きな結果を生じさせ、画像パッチのフーリエ変換におけるいくつかの値がゼロに近く、画像ノイズによって影響を受ける場合がある。これは、スペクトル比における任意の大きい誤った値という結果になる場合がある。したがって、有限範囲内の値に任意の大きい値をマッピングする数学関数を使用することが好都合である。適切な関数は逆正接であり、０から無限大への範囲を０からπ／２への範囲にマッピングする。実際には、逆正接関数のよく知られているａｔａｎ２（ｙ，ｘ）バージョンを使用でき、２つの引数ｘおよびｙをとって比率ｙ／ｘの逆正接を返す。この関数は、方程式（５）における除算が分母におけるゼロのためにエラーをもたらす場合、有限値π／２を返す。ａｔａｎ２（）関数が実数上で演算するので問題が生じるが、フーリエ変換Ｆ１およびＦ２における値は複素数である。Ｆ１およびＦ２の係数の比率の逆正接を単純にとると位相情報を捨てることになり、スペクトル比について上述したように、結果を距離測度として解釈する際のエラーにつながる。ａｔａｎ２（）関数の変形ａｔａｎ２ｃｏｍｐｌｅｘ（）は、２つの引数の比率の逆正接の係数がある値、および２つの引数の位相成分における差と等しい位相成分を返すように定義できる。
ａｔａｎ２ｃｏｍｐｌｅｘ（ｙ，ｘ）＝ａｔａｎ２（｜ｙ｜，｜ｘ｜）ｅｘｐ（ｉ（ａｒｇ（ｙ）−ａｒｇ（ｘ））） （９）
次いで、逆正接スペクトル比と呼ばれる値ＯＴＦａｒｃｔａｎは、
ＯＴＦａｒｃｔａｎ（ｕ，ｖ）＝ａｔａｎ２ｃｏｍｐｌｅｘ（ＯＴＦ２（ｕ，ｖ），ＯＴＦ１（ｕ，ｖ）） （１０）
によって定義できる。
【００８２】
次いで、逆正接スペクトル比を、画像パッチ内に示されるオブジェクトの距離に関連する測度を得るために領域全体の値の平均または中央値を取ることを含むさらなる演算におけるスペクトル比と同様に扱うことができる。平均逆正接スペクトル比は、ランダム画像ノイズによる影響が平均スペクトル比よりも少ないので、利点がある。中央値逆正接スペクトル比も同様である。
【００８３】
４．３ スペクトルサポートおよびノイズ
平均スペクトル比を計算する際のさらなる考察は、比率についてのスペクトルサポートの量である。写真のシーン内の一般的な画像テクスチャでは、フーリエ変換は低周波数で著しい振幅を示すが、最高周波数ではゼロに近い振幅であり、代わりに信号が画像ノイズによって占められる。画像撮影装置のセンサのナイキスト周波数よりも高い周波数では、信号はゼロであり、見られるもの全てはノイズである。これは、スペクトル比ＯＴＦｒが低周波数領域に集中した重要な信号のほとんどを有し、高周波数の方がよりノイズが多いことを暗示する。ある周波数では、スペクトル比の分母は非常にゼロに近く、周波数のスペクトル比を任意に大きくする。このような値を含むスペクトル比の平均を取ることにより、誤った結果が生じる場合がある。
【００８４】
この問題は、スペクトル比を形成する前に画像パッチデータをフィルタリングすることによって、あるいは平均値を取る前にスペクトル比データを重み付けまたはフィルタリングすることによって、あるいはその両方によって対処できる。本開示のこの態様の一実装形態は、フーリエ変換をする前に画像パッチにローパス平滑化フィルタを適用することである。他の実装形態は、フーリエ変換をする前に画像パッチにバンドパスフィルタを適用することである。他の実装形態は、ゼロに近い数による除算によって生じた大きな値を有する画素の影響を減らすためにスペクトル比にウィーナーフィルタまたは同様のノイズ低減フィルタを適用することである。他の実装形態は、スペクトル比画像を１／（ｕ２＋ｖ２）のある累乗に比例する関数などの動径関数で重み付けすることである。
【００８５】
画像パッチフィルタリングの他の実装形態は、画像パッチのうちの１つ、好ましくはスペクトル比の分母内のパッチのフーリエスペクトルの信号対ノイズ比のしきい値化によって定義される領域全体の画素の平均を取ることである。画像パッチ内のノイズ振幅がフラットスペクトルを有すると仮定すると、画像パッチ内のそれぞれの画素の信号対ノイズ比を画素内のフーリエ変換の係数に比例するものとして推定できる。次いで、しきい値を適用して、最高推定信号対ノイズ比を有する画素のあらかじめ定められた割合を選択できる。フーリエ変換の特性によって、選択された画素のサブセットはエルミート対称性を有するので、これらの選択された画素にわたって計算された平均スペクトル比は実数である。中央値スペクトル比および逆正接スペクトル比の変形に、同様のフィルタリングも適用できる。
【００８６】
平均スペクトル比をデジタルカメラで撮影された画像に適用する際の他の考察は、空間的周波数に生じるレンズの回折限界がセンサのナイキスト周波数よりも少ない場合があることである。この場合、回折限界よりも大きい空間的周波数でシーン情報がなく、回折限界より
【００８７】
【数７】
【００８８】
分だけ大きい画像パッチｆ１のフーリエ変換Ｆ１内の画素はノイズだけを含む。この場合、これらの画素を平均スペクトル比の計算から捨てることができる。これは処理時間を節約でき、平均スペクトル比の結果は精密度を損なうことなく、画像ノイズによって受ける影響はより小さい。
【００８９】
５．修正された正規化相互相関
５．１ 理論
同じシーンの２つの画像から距離を決定する方法は、異なる撮影パラメータを使用して撮影された同じシーンの２つの異なる画像間のぼけの相対量を考察することによって開発できる。
【００９０】
他の全ての撮影パラメータは固定されたままである、異なる口径によって撮影された同じシーンの２つの画像を考察する。十分に小さいのでパッチ内のオブジェクト距離におけるあらゆる変化が小さい、画像化されるシーンのパッチｆ０、および第１の画像内の対応する画像パッチｆ１および第２の画像内の対応する画像パッチｆ２を考察する。パッチは矩形であり、サイズはｍ×ｎ画素である。２つのパッチの正規化された相互相関（ＮＣＣ）の中央値は、
【００９１】
【数８】
【００９２】
によって定義され、上式で、
【００９３】
【数９】
【００９４】
は画像パッチｆ１内の画素値の平均であり、
【００９５】
【数１０】
【００９６】
は画像パッチｆ２内の画素値の平均である。２つのパッチｆ１およびｆ２が同じ量だけぼけていて、画像ノイズおよびオブジェクトまたはカメラのモーションがない場合、この２つは同一である。この場合、ＮＣＣの中央値は１である。２つのパッチ間のぼけの差の量が増加するにつれて、ＮＣＣ中央値は減少する。したがって、ＮＣＣ中央値は２つの画像パッチ間のぼけの差に関連する。分母上の正規化項は、パッチｆ１内の画素値の標準偏差σｆ１とパッチｆ２内の画素値の標準偏差σｆ２の積と等しい。
【００９７】
しかし、ＮＣＣの正規化は画像パッチに関して対称であり、２つのパッチは同じデータの同一の表現になることを目的としているという仮定の下に適切である。相関パッチが同じシーンの画像であるがぼけの量が異なると知られている場合、この仮定は誤りである。特に、高相関値の意味と解釈は曖昧である。それは、わずかに異なる２つの異なるＰＳＦで画像化されている高テクスチャを有するシーンによって生じる場合もあり、より大きな量だけ異なる２つの異なるＰＳＦで画像化されている低テクスチャを有するシーンによって生じる場合もある。したがって、ＮＣＣは画像間の類似性の優れた測度であるが、ＮＣＣはシーン依存であり、ぼけの相対量の不十分な測度である。
【００９８】
パッチｆ１とｆ２との間のぼけの量における差の、より特徴的でシーンに依存しない測度は、ぼけの差の物理的原因の非対称性を認識して利用することによって実現できる。相関を、シーンのテクスチャによるバイアスがかかっていないぼけの差の測度にするために、理想的には元のシーン内の画素明度の分散によって正規化するべきである。この情報は利用可能ではないが、画像パッチｆ１およびｆ２があれば、ぼけがより少ない画像パッチの輝度または明度の分散によって最も近似される。このような非対称パッチ選択は、たとえばそれぞれの画像パッチ内の画素明度の分散を計算することによって行うことができ、より高い分散があるパッチの方がぼけがより少ないと考えられる。どちらのパッチの方がぼけがより少ないかを決定する他の方法も使用でき、たとえば、画像が異なる口径で撮影され、回折を無視できる場合、より狭い口径で撮影されたパッチの方がぼけがより少ないと考えられる。
【００９９】
どちらのパッチの方がぼけがより少ないかという決定が行われると、ぼけがより少ないパッチをｆ２として割り当て、ぼけがより多いと考えられるパッチをｆ１として割り当てることができる。修正された正規化相互相関（ＭＮＣＣ）を形成でき、中央値は
【０１００】
【数１１】
【０１０１】
によって定義される。
【０１０２】
方程式（１２）によって定義されたＭＮＣＣ中央値は、２つの画像パッチｆ１とｆ２との間の相対的デフォーカスぼけの量の測度を与えるので、画像パッチ内に示されるオブジェクトからインフォーカス面１３０までの距離１８０に関連する測度として使用できる。ＭＮＣＣ中央値は、従来技術の正規化相互相関測定よりも実質的にシーン非依存であり、したがって画像パッチ内に示されるオブジェクトからインフォーカス面１３０までの距離１８０の好都合な測度を提供する。
【０１０３】
ＭＮＣＣ中央値を２つの画像パッチ間のぼけの量における小さな差に対してより敏感にするために、プリフィルタリングステップを実行できる。ぼけの量についての最も多い情報を伝えるのはエッジなので、画像パッチｆ１およびｆ２にラプラス演算子などの２次元勾配演算子を適用して、勾配パッチ（ラプラス画像）ｇ１およびｇ２を与えることができる。次いで、ｇ１およびｇ２を使用してＭＮＣＣ中央値を形成できるが、元の画像パッチｆ１およびｆ２のうちのどちらの方がぼけがより少ないかの決定を依然として使用して、方程式（１２）の分母にｇ１およびｇ２が使用されるかどうかを決定する。
【０１０４】
図７に、このラプラスＭＮＣＣ方法が従来技術のＮＣＣ方法よりも優れている利点のうちのいくつかが示されている。図７は、写真から得られた５つの異なるテクスチャについて、ＮＣＣ中央値７１０のプロット（実線）、および相対的なぼけの半径に対してプロットされたラプラスＭＮＣＣ中央値７２０（点線）を示している。ラプラスＭＮＣＣ中央値７２０は、約５画素未満のぼけの半径の差の値について、ＮＣＣ中央値７１０よりも大きな相対的なぼけの半径の変化を示している。したがって、ラプラスＭＮＣＣ方法は、この小さな相対的なぼけの差の領域内のぼけの半径の差に対して従来技術の方法よりも著しく敏感である。この小さなぼけの差の領域は、小型カメラ特有のレンズおよびセンサを使用するＤＦＤが操作する領域である。また、図７のグラフによってカバーされる領域の多くにとって、ラプラスＭＮＣＣ中央値７２０は画像テクスチャの分散がＮＣＣ中央値７１０よりも少ないことを示しており、これはラプラスＭＮＣＣ方法のシーンテクスチャへの依存性がＮＣＣ中央値よりも少ないことを意味する。
【０１０５】
ＭＮＣＣアルゴリズムの他の変形は、方程式（１２）における合計を窓関数によって定義された画素のサブセット上の合計と置換することである。これは、オブジェクト境界、したがって比較的大きな距離の量によって分離されたオブジェクトを含む画像パッチにおける利点を提供する。この窓関数は、当業者に知られているジョイント双方向フィルタリングと類似した方法で、画像パッチの分析に基づいて選択できる。窓関数を適切に選択することによって、他のオブジェクトによってそれぞれのオブジェクトの測定品質を落とさずに、単一の画像パッチ内の２つ以上のオブジェクトへの距離を決定することが可能になる。
【０１０６】
６．処理の実装、変形、および適用
本明細書に開示した装置は、カメラなどの画像化装置（撮影システム）を含む様々なハードウェアプラットフォーム上、または汎用コンピュータ（ＰＣ）上に実装できる。
【０１０７】
図１４Ａおよび１４Ｂは、説明した様々な装置を実施できる汎用コンピュータシステム１４００を示している。
【０１０８】
図１４Ａに示されるように、コンピュータシステム１４００は、コンピュータモジュール１４０１、キーボード１４０２、マウスポインタデバイス１４０３、スキャナ１４２６、カメラ１４２７、マイク１４８０などの入力装置、ならびにプリンタ１４１５、ディスプレイ装置１４１４、およびラウドスピーカ１４１７を含む出力装置を含む。外付け変調復調器（Ｍｏｄｅｍ）トランシーバ装置１４１６は、接続１４２１を介して通信ネットワーク１４２０との間で通信するために、コンピュータモジュール１４０１によって使用され得る。通信ネットワーク１４２０は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）でもよく、セルラー式遠隔通信ネットワーク、またはプライベートＷＡＮでもよい。接続１４２１が電話回線の場合、モデム１４１６は従来の「ダイヤルアップ」モデムでよい。あるいは、接続１４２１が大容量（たとえばケーブル）接続の場合、モデム１４１６はブロードバンドモデムでよい。通信ネットワーク１４２０への無線接続に無線モデムを使用することもできる。
【０１０９】
一般的に、コンピュータモジュール１４０１は少なくとも１つのプロセッサユニット１４０５と、メモリユニット１４０６とを含む。たとえば、メモリユニット１４０６は半導体ランダムアクセスメモリ（ＲＡＭ）および半導体読出し専用メモリ（ＲＯＭ）を有することができる。コンピュータモジュール１４０１は、ビデオディスプレイ１４１４、ラウドスピーカ１４１７、およびマイク１４８０に接続された音声ビデオインターフェース１４０７、キーボード１４０２、マウス１４０３、スキャナ１４２６、カメラ１４２７、および任意でジョイスティックまたは他のヒューマンインターフェースデバイス（図示せず）に接続されたＩ／Ｏインターフェース１４１３、ならびに外付けモデム１４１６およびプリンタ１４１５のためのインターフェース１４０８を含む、いくつかの入力／出力（Ｉ／Ｏ）インターフェースも含む。いくつかの実装形態では、モデム１４１６はコンピュータモジュール１４０１内、たとえばインターフェース１４０８内に内蔵されてもよい。コンピュータモジュール１４０１もローカルネットワークインターフェース１４１１を有し、コンピュータシステム１４００が接続１４２３を介して、ローカルエリアネットワーク（ＬＡＮ）として知られるローカルエリア通信ネットワーク１４２２に接続することが可能になる。図１４Ａに示されるように、ローカル通信ネットワーク１４２２は、一般的にいわゆる「ファイアウォール」デバイスまたは同様の機能のデバイスを含む接続１４２４を介して、ワイドネットワーク１４２０にも接続できる。ローカルネットワークインターフェース１４１１は、イーサネット（登録商標）回路カード、ブルートゥース（登録商標）無線装置、またはＩＥＥＥ ８０２．１１無線装置を備えることができるが、インターフェース１４１１のために他の多くのタイプのインターフェースが実施されても良い。
【０１１０】
Ｉ／Ｏインターフェース１４０８および１４１３は、シリアルおよびパラレル接続のどちらかまたは両方を利用できるようにし、シリアル接続は一般的にユニバーサルシリアルバス（ＵＳＢ）標準によって実装され、対応するＵＳＢコネクタ（図示せず）を有する。一般的にハードディスクドライブ（ＨＤＤ）１４１０を含む記憶装置１４０９が提供される。フロッピーディスクドライブや磁気テープドライブ（図示せず）などの他の記憶装置も使用できる。データの不揮発性ソースの機能を果たすために光ディスクドライブ１４１２が一般的に提供される。システム１４００へのデータの適切なソースとして、たとえば光ディスク（たとえばＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイ（登録商標）ディスク）、ＵＳＢ−ＲＡＭ、ポータブル、外付けハードドライブ、フロッピーディスクなどのポータブルメモリデバイスを使用できる。
【０１１１】
コンピュータモジュール１４０１のコンポーネント１４０５〜１４１３は、一般的に相互接続されたバス１４０４を介して、および関連分野の当業者に知られているコンピュータシステム１４００の従来の操作モードに帰着する方法で通信する。たとえば、プロセッサ１４０５は接続１４１８を使用してシステムバス１４０４に接続されている。同様に、メモリ１４０６および光ディスクドライブ１４１２は、接続１４１９によってシステムバス１４０４に接続されている。説明した装置を実施できるコンピュータの例には、ＩＢＭ−ＰＣおよび互換機、Ｓｕｎ Ｓｐａｒｃｓｔａｔｉｏｎｓ、Ａｐｐｌｅ Ｍａｃ（登録商標）、または同様のコンピュータシステムがある。
【０１１２】
画像距離測定の方法はコンピュータシステム１４００を使用して実装でき、後述する図８から１３のＤＦＤ処理を、コンピュータシステム１４００内で実行可能な１つまたは複数のソフトウェアアプリケーションプログラム１４３３として実装できる。特に、距離測定の方法のステップは、コンピュータシステム１４００内で実行されるソフトウェア１４３３内の命令１４３１（図１４Ｂ参照）によって達成される。ソフトウェア命令１４３１は、それぞれが１つまたは複数の特定のタスクを実行するための１つまたは複数のコードモジュールとして形成できる。さらにソフトウェアは２つの別々の部分に分割でき、第１の部分および対応するコードモジュールは距離測定方法を実行し、第２の部分および対応するコードモジュールは第１の部分とユーザとの間のユーザインターフェースを管理する。
【０１１３】
ソフトウェアは、たとえば以下で説明する記憶装置を含むコンピュータ可読メディアに格納できる。ソフトウェアは、コンピュータ可読メディアからコンピュータシステム１４００にロードされ、次いでコンピュータシステム１４００によって実行される。このようなソフトウェアまたはコンピュータプログラムをコンピュータ可読メディアに記録したコンピュータ可読メディアは、コンピュータプログラム製品である。コンピュータシステム１４００内のコンピュータプログラム製品を使用することにより、画像距離測定のための好都合な装置を達成することが好ましい。
【０１１４】
ソフトウェア１４３３は、一般的にＨＤＤ１４１０またはメモリ１４０６に格納される。ソフトウェアはコンピュータ可読メディアからコンピュータシステム１４００にロードされ、コンピュータシステム１４００によって実行される。したがって、たとえばソフトウェア１４３３を光ディスクドライブ１４１２によって読み出される光学的可読ディスク記憶メディア（たとえばＣＤ−ＲＯＭ）１４２５に格納することができる。このようなソフトウェアまたはコンピュータプログラムを記録したコンピュータ可読メディアはコンピュータプログラム製品である。コンピュータシステム１４００内のコンピュータプログラム製品を使用することにより、画像化のための距離測定のための装置を達成することが好ましい。
【０１１５】
いくつかの例では、１つまたは複数のＣＤ−ＲＯＭ１４２５上で符号化して、対応するドライブ１４１２を介して読み出すことによって、ユーザにアプリケーションプログラム１４３３を供給することもでき、ネットワーク１４２０または１４２２からユーザによって読み出すこともできる。さらに、他のコンピュータ可読メディアからコンピュータシステム１４００にソフトウェアをロードすることもできる。コンピュータ可読記憶メディアは、実行および／または処理するために、記録された命令および／またはデータをコンピュータシステム１４００に提供するあらゆる持続性有形記憶メディアを指す。このような記憶メディアの例には、コンピュータモジュール１４０１に内蔵されているか、または外付けされているかに関わらず、フロッピーディスク、磁気テープ、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイ（登録商標）ディスク、ハードディスクドライブ、ＲＯＭまたは集積回路、ＵＳＢメモリ、光磁気ディスク、またはＰＣＭＣＩＡカードおよび同様の物などのコンピュータ可読カードがある。コンピュータモジュール１４０１へのソフトウェア、アプリケーションプログラム、命令および／またはデータの供給に参加できる一時的または非有形コンピュータ可読伝送メディアの例には、無線または赤外線伝送チャネルならびに他のコンピュータまたはネットワーク装置へのネットワーク接続、ならびに電子メール送信およびウェブサイト上に記録された情報などを含むインターネットまたはイントラネットがある。
【０１１６】
上述のアプリケーションプログラム１４３３の第２の部分および対応するコードモジュールは、ディスプレイ１４１４上に描画する若しくは表す１つまたは複数のグラフィカルユーザインターフェース（ＧＵＩ）を実装するために実行される。一般的にキーボード１４０２とマウス１４０３の操作を通じて、コンピュータシステム１４００およびアプリケーションのユーザは機能的に適応できる方法でインターフェースを操作して、制御コマンドおよび／または入力をＧＵＩに関連付けられるアプリケーションに提供できる。ラウドスピーカ１４１７を介するスピーチプロンプト出力、およびマイク１４８０を介するユーザ音声コマンド入力を利用する音声インターフェースなどの、機能的に適応できる他の形式のユーザインターフェースも実装できる。
【０１１７】
図１４Ｂは、プロセッサ１４０５および「メモリ」１４３４の詳細な概略ブロック図である。メモリ１４３４は、図１４Ａにおけるコンピュータモジュール１４０１によってアクセスされ得る全てのメモリモジュール（ＨＤＤ１４０９および半導体メモリ１４０６を含む）の論理的集合を表す。
【０１１８】
最初にコンピュータモジュール１４０１の電源が入ると、パワーオンセルフテスト（ＰＯＳＴ）プログラム１４５０を実行する。一般的に、ＰＯＳＴプログラム１４５０は図１４Ａの半導体メモリ１４０６のＲＯＭ１４４９に格納される。ソフトウェアを格納するＲＯＭ１４４９などのハードウェアデバイスはファームウェアと呼ばれることもある。ＰＯＳＴプログラム１４５０は適切な機能を保証するためにコンピュータモジュール１４０１内のハードウェアを検査して、正確な操作のために一般的にやはりＲＯＭ１４４９に格納されるプロセッサ１４０５、メモリ１４３４（１４０９、１４０６）、および基本入出力システムソフトウェア（ＢＩＯＳ）モジュール１４５１を一般的に調べる。ＰＯＳＴプログラム１４５０が正常に実行されると、ＢＩＯＳ１４５１は図１４Ａのハードディスクドライブ１４１０を起動する。ハードディスクドライブ１４１０を起動することにより、プロセッサ１４０５を介してハードディスクドライブ１４１０上に常駐するブートストラップローダプログラム１４５２を実行させる。これにより、オペレーティングシステム１４５３がＲＡＭメモリ１４０６にロードされ、オペレーティングシステム１４５３が動作を開始する。オペレーティングシステム１４５３は、プロセッサ管理、メモリ管理、デバイス管理、ストレージ管理、ソフトウェアアプリケーションインターフェース、およびジェネリックユーザインターフェースを含む、様々な高レベル機能を発揮するためにプロセッサ１４０５によって実行可能なシステムレベルのアプリケーションである。
【０１１９】
オペレーティングシステム１４５３は、コンピュータモジュール１４０１上で実行しているそれぞれの処理またはアプリケーションが、他の処理に割り当てられたメモリと衝突せずに実行するために十分なメモリを有することを保証するために、メモリ１４３４（１４０９、１４０６）を管理する。さらに、図１４Ａのシステム１４００内で利用できる異なるタイプのメモリは、それぞれの処理を効率的に実行できるように適切に使用されなければならない。したがって、集約されたメモリ１４３４は、メモリの特定のセグメントが割り当てられる方法を示すためのものではなく（特に指定のない限り）、コンピュータシステム１４００によってアクセスできるメモリの一般的概念およびそれが使用される方法を提供するためのものである。
【０１２０】
図１４Ｂに示されるように、プロセッサ１４０５は、制御装置１４３９、算術論理装置（ＡＬＵ）１４４０、およびキャッシュメモリと呼ばれることもあるローカルまたは内部メモリ１４４８を含むいくつかの機能モジュールを含む。一般的に、キャッシュメモリ１４４８はレジスタセクションにいくつかの記憶レジスタ１４４４〜１４４６を含む。１つまたは複数の内部バス１４４１はこれらの機能モジュールと機能的に相互接続している。一般的に、プロセッサ１４０５は、接続１４１８を使用してシステムバス１４０４を介して外付けデバイスと通信するための１つまたは複数のインターフェース１４４２も有する。メモリ１４３４は接続１４１９を使用してバス１４０４に接続されている。
【０１２１】
アプリケーションプログラム１４３３は、条件付き分岐およびループ命令を含み得る命令のシーケンス１４３１を含む。プログラム１４３３は、プログラム１４３３を実行する際に使用されるデータ１４３２も含むことができる。命令１４３１およびデータ１４３２は、それぞれ１４２８、１４２９、１４３０、および１４３５、１４３６、１４３７のメモリ位置に格納される。命令１４３１およびメモリ位置１４２８〜１４３０の相対的なサイズに応じて、メモリ位置１４３０内に示される命令によって表されるように単一のメモリ位置に特定の命令を格納できる。あるいは、メモリ位置１４２８および１４２９に示される命令セグメントによって表されるように、別個のメモリ位置に格納されるいくつかの部分に命令を分割できる。
【０１２２】
一般的にプロセッサ１４０５は、プロセッサで実行される命令セットを与えられる。プロセッサ１１０５は後続の入力を待ち、プロセッサ１４０５は他の命令セットを実行することによってそれに対応する。それぞれの入力は、図１４Ａに全て記載されている、入力装置１４０２、１４０３のうちの１つまたは複数によって生成されたデータ、ネットワーク１４２０、１４２２のうちの１つを通じて外部ソースから受信したデータ、記憶装置１４０６、１４０９のうちの１つから取り出したデータ、または対応するリーダ１４１２に挿入された記憶メディア１４２５から取り出したデータを含む、いくつかのソースのうちの１つまたは複数から提供され得る。場合によっては、命令セットの実行はデータの出力をもたらす場合がある。実行はデータまたは変数をメモリ１４３４に格納することも含み得る。
【０１２３】
開示された距離測定装置は入力変数１４５４を使用し、それらの入力変数は対応するメモリ位置１４５５、１４５６、１４５７内のメモリ１４３４に格納される。装置は出力変数１４６１をもたらし、その出力変数は対応するメモリ位置１４６２、１４６３、１４６４内のメモリ１４３４に格納される。中間変数１４５８は、メモリ位置１４５９、１４６０、１４６６、および１４６７に格納され得る。
【０１２４】
図１４Ｂのプロセッサ１４０５を参照すると、レジスタ１４４４、１４４５、１４４６、算術論理装置（ＡＬＵ）１４４０、および制御装置１４３９が協働し、プログラム１４３３を構成する命令セット内の命令ごとに「フェッチ、デコード、および実行」のサイクルを実行するために必要な一連のマイクロ操作を実行する。それぞれのフェッチ、デコード、および実行サイクルは、以下を含む。
（ａ）メモリ位置１４２８、１４２９、１４３０から命令１４３１をフェッチするか読み出す、フェッチ操作、
（ｂ）どの命令がフェッチされたかを制御装置１４３９が決定するデコード操作、および、
（ｃ）制御装置１４３９および／またはＡＬＵ１４４０が命令を実行する実行操作。
【０１２５】
その後、次の命令のためのさらなるフェッチ、デコード、および実行サイクルを実行できる。同様に、制御装置１４３９が値をメモリ位置１４３２に格納するか書き込む、格納サイクルを実行できる。
【０１２６】
図８から１３の処理におけるそれぞれのステップまたはサブプロセスは、プログラム１４３３の１つまたは複数のセグメントに関連付けられ、プログラム１４３３の記載した（ｎｏｔｅｄ）セグメントについての命令セット内の命令ごとにフェッチ、デコード、および実行サイクルを実行するために協働するレジスタセクション１４４４、１４４５、１４４７、ＡＬＵ１４４０、およびプロセッサ１４０５内の制御装置１４３９によって実行される。
【０１２７】
あるいは、ＤＦＤ方法を組み込む距離測定の方法は、その全体あるいは一部が、後述する機能またはサブ機能を実行する１つまたは複数の集積回路などの専用ハードウェアにおいて実装され得る。このような専用ハードウェアは、グラフィックプロセッサ、デジタル信号プロセッサ、あるいは１つまたは複数のマイクロプロセッサおよび関連メモリを含むことができる。
【０１２８】
たとえば、カメラは、異なる撮影パラメータで何組かの画像を撮影して、撮影された画像を処理して様々な目的のための距離マップを提供するために、後述するＤＦＤアルゴリズム的処理をハードウェアまたはファームウェア内に実装できる。このような目的は、人物写真の背景を人工的にぼかして芸術的な美しさを実現すること、または様々な後処理操作を可能にするために画像メタデータとして距離情報を添付することを含むことができる。この場合、カメラハードウェアはシーンの複数の画像を撮影でき、画像がＤＦＤ処理のアプリケーションに適しているので、カメラの内蔵装置に処理が発生し、結果はカメラのメモリ内に保持されるか、カメラに接続可能なメモリカードまたは他のメモリ記憶装置に書き込まれる。
【０１２９】
異なる撮影パラメータでのシーンの複数の画像の撮影は、１つの画像を撮影して格納し、パラメータを変更し、次いでさらなる画像を撮影して格納する、単一のユーザ操作（カメラ１４２７の撮影ボタンを１度押すこと）で複数の画像を撮影することによって実行できる。このような撮影は約０．００１〜０．５秒内に発生でき、同一ではないが実質的に同じコンテンツであり、したがって次いで画像距離処理を実行できる実質的に共通の画像コンテンツを両方の画像に含めさせる。
【０１３０】
他の例では、デスクトップコンピュータなどは、ソフトウェアにＤＦＤ処理を実装して、ユーザが画像分割またはさらなる画像処理操作のために使用できる距離マップを生成するために、写真の撮影後の処理を可能にすることができる。この場合、カメラ１４２７は、シーンの複数の画像を従来の方法で撮影し、画像はＤＦＤ処理のアプリケーションに適しており、画像はメモリ内に保持されるか、メモリカードまたは他のメモリ記憶装置に書き込まれる。後に、画像はコンピュータ（たとえば１４０１）に転送され、そこでＤＦＤ処理の後続のステップがそれらの画像を入力として使用する。
【０１３１】
他の実装形態は、異なる撮影パラメータで２つの画像を撮影でき、様々なパラメータは、焦点、ズーム、口径、または撮影された画像内のぼけの量に影響を及ぼす他の何らかのカメラ設定のうちの１つまたは複数である。特にズーム、ならびに焦点および潜在的には他のパラメータなどのいくつかのパラメータの場合、撮影された画像の倍率は異なる場合がある。この場合、距離を決定するためにＤＦＤアルゴリズムを適用する前に、画像を実質的に登録するために画像のうちの１つまたは複数を変倍できる。
【０１３２】
図１５Ａおよび１５Ｂは、それぞれＤＦＤ処理を実行できる例示的画像１５０１および１５０２の第１のペアを示している。画像１５０１および１５０２によって撮影されたシーンコンテンツは同一だが、画像１５０１の撮影と異なる少なくとも１つの撮影パラメータで画像１５０２が撮影されているということを考慮すると、画像１５０１および１５０２は異なる画像コンテンツを撮影している。たとえば、画像１５０２は画像１５０１に比べて焦点が異なる場合がある。
【０１３３】
図１５Ａおよび１５Ｃは、それぞれやはりＤＦＤ処理を実行できる例示的画像１５０１および１５０３の第２のペアを示している。画像１５０１および１５０３によって撮影されたシーンコンテンツは全体的なコンテンツにおいて同一ではないが、画像１５０１および１５０３は共通のシーンを撮影するか、両方の画像に共通のシーンコンテンツを含む。共通のシーンコンテンツは、それぞれ図１５Ａおよび１５Ｃ内の点線で囲んだ長方形１５１１および１５１３によって示され、木の隣に立っている人を表している。共通のシーンコンテンツは画像１５０１および１５０３内の異なる位置に現れる場合がある。画像１５０１と１５０３との間の共通のシーンコンテンツの位置の違いは、たとえば２つの画像を撮影する間のわずかなカメラの動きに起因する場合がある。共通のシーンコンテンツを撮影している領域１５１１および１５１３内の画像１５０１および１５０３の画像コンテンツは、画像１５０１の撮影と異なる少なくとも１つの撮影パラメータで画像１５０３が撮影されているという考慮すると、さらに異なる場合がある。たとえば、画像１５０３は画像１５０１と比べて焦点が異なる場合がある。
【０１３４】
それぞれの図１５Ａ〜１５Ｃにおいて、それぞれの画像内でシーンコンテンツの共通部分（木の隣に立っている人）が撮影されていることは重要である。したがって、画像のペアに距離マップ処理を実行して、共通部分の距離マップを決定できる。図１５Ｂおよび１５Ｃも、ＤＦＤ処理を実行できる画像ペアを表すことができる点に留意されたい。
【０１３５】
ある実装形態は２つ以上の画像を撮影でき、ＤＦＤアルゴリズムを使用して距離を得るために１つまたは複数の画像のペアが使用される。
【０１３６】
７．デフォーカス処理からの距離
シーンの２つの画像から距離マップを抽出する方法を、図８および図９、ならびにコンピュータ１４０１内で実質的処理が行われる図１４Ａおよび図１４Ｂの装置を参照して詳細に説明する。図８は、あるシーンの第１の画像８００、および同じシーン（図示せず）の第２の画像８１０を示している。第１の画像８００内の選択された画素８２０が強調表示され、第２の画像８１０内の対応する選択された画素８３０が強調表示されている。このように対応するので、第１の画像８００内の選択された画素８２０および第２の画像８１０内の選択された画素８３０は、画像化されているシーン内の同じ点にほとんど対応する。これは、第１の画像８００を撮影するために使用される露出と、第２の画像８１０を撮影するために使用される露出との間の時間にシーン内のどのオブジェクトも動かないこと、ならびに画像８００および８１０を撮影するカメラ１４２７が露出の間の時間に動かないことを保証すること、ならびに、次いで撮像素子上の同じ（ｘ，ｙ）座標から画素を選択することによって実際に実現できる。また、第１の画像８００内のどの画素が第２の画像８１０内の画素に対応するかを明確に決定する位置合わせ処理によって実現することもできる。この位置合わせは、２つの露出間のシーン内のオブジェクトのモーション、２つの露出間のカメラ１４２７のモーション、２つの露出間の倍率または歪み、あるいはその両方における変化などの問題に対処できる。位置合わせは画像８００および８１０の全体に及んでもよく、画像８００および８１０のサブ領域内で局所的でもよく、またはその両方でもよい。このような多くの位置合わせ処理は、当業者に知られている。
【０１３７】
図８には、それぞれの画像内の画素のサブセットである２つの画像パッチも示されている。第１の画像パッチ８４０は第１の画像８００から来ており、ｆ１と呼ばれる。第２の画像パッチ８５０は第２の画像８１０から来ており、ｆ２と呼ばれる。第１のパッチｆ１８４０は、第１の画像８００内の第１の選択された画素８２０を参照して定義されるので、第１の選択された画素８２０は、第１のパッチｆ１８４０の上部左角で画素８４２に対して座標（ｘ１，ｙ１）に生じる。第２のパッチｆ２８５０は、第２の画像８１０内の選択された画素８３０を参照して定義されるので、選択された画素８３０は、第２のパッチｆ２８５０の上部左角で画素８５２に対して座標（ｘ２，ｙ２）に生じ、（ｘ２，ｙ２）＝（ｘ１，ｙ１）である。代替実施形態では、（ｘ２，ｙ２）≠（ｘ１，ｙ１）の場合もある。そこに含まれる画像コンテンツの適切な比較を保証するために、パッチは同じサイズであるべきである。
【０１３８】
図１５Ａから１５Ｃに戻ると、パッチは画像または画像の一部を単純にブロックに分割することによって形成され得る。図１５Ａおよび１５Ｂにそれぞれ示されている画像のペア１５０１および１５０２の例では、画像コンテンツが十分に位置合わせされているので、画像を４×４のブロック構成に分割することによってパッチを形成できる。図１５Ａおよび１５Ｃ内のそれぞれの画像ペア１５０１および１５０３の例では、共通のシーンコンテンツを示している領域１５１１および１５１３を同様のブロック化方法（図示せず）でパッチに分割できる。あるいは、画像間でパッチのサイズが異なるような方法でパッチを形成することもできる。
【０１３９】
図９は、ＤＦＤ方法を使用して距離マップが決定される、距離マッピング処理９００を示している。画像撮影ステップ９１０では、あるシーンの２つの画像８００および８１０が、カメラ１４２７などの画像撮影装置１００によって撮影される。画像８００および８１０は、シーンコンテンツの共通部分の画像コンテンツを含んでいるはずである。たとえば、図１を参照すると、共通部分はオブジェクト１４０である。図１５Ａおよび１５Ｃでは共通部分は木の隣の人だが、図１５Ａおよび１５Ｂでは共通部分は画像全体である。画像は、焦点、口径、ズームの撮影パラメータ、または画像内のぼけの量に影響を及ぼす他の何らかのパラメータのうちの少なくとも１つで撮影され、それは画像間で異なる。画像は、シーン内のオブジェクトのあらゆるモーション、およびシーンに関するカメラ１４２７のあらゆる関連モーションが最小化されるように撮影されることが理想的である。たとえば、このような関連モーションを表す図１５Ａおよび１５Ｃを参照すると、ＤＦＤ処理の前にそれぞれの画像内で見つけられる共通部分が適切に位置合わせされるように、２つの画像に位置合わせ処理を実行することができる。これは、たとえば長方形１５１１および１５１３内の画像データを相互に位置合わせすること、または画像をこれらの長方形にトリミングすることを含むことができる。
【０１４０】
画像撮影ステップ９１０の特定の実装形態を、以下で図１０を参照してより詳細に説明する。一般的に、画像８００および８１０はカメラ１４２７によって撮影されて、ＨＤＤ１４１０およびメモリ１４０６のうちの１つまたは両方に格納するために、コンピュータ１４０１に通信され、またそれによって受信される。カメラ１４２７内で処理９００が実行されると、内蔵プロセッサによる後続の処理のために、画像８００および８１０がカメラ１４２７のメモリに格納される。
【０１４１】
この実装形態における処理９００のステップ９２０〜９８０は、たとえばＨＤＤ１４１０に格納されたソフトウェアで実施され、またそれによって実装されて、メモリ１４０６と協調してプロセッサ１４０５によって実行可能であることが好ましい。撮影ステップ９１０の後の画素選択ステップ９２０で、２つの画像８００および８１０の対応する画素８２０および８３０が選択され、メモリ１４０６からプロセッサ１４０５によって受信される。次にパッチ抽出ステップ９３０が続き、プロセッサ１４０５の操作によって、第１の画像８００から画像パッチｆ１８４０が、および第２の画像８１０から対応する画像パッチｆ２８５０が抽出される。第１の画像パッチｆ１８４０は、少なくとも第１の画像８００内の第１の選択された画素８２０の位置によって定義される。第２の画像パッチｆ２８５０は、少なくとも第２の画像８１０内の第２の選択された画素８３０の位置によって定義される。第１および第２の選択された画素は、両方の画像によって撮影されたシーンの共通部分を表す画像の一部内にあり、シーンコンテンツ内の同一の点にほとんど対応する。
【０１４２】
次に非対称パッチ選択ステップ９４０が続き、２つのパッチのうちｆ１またはｆ２のどちらの方がぼけがより少ないかに関する決定が行われる。非対称パッチ選択ステップ９４０の特定の実装形態の詳細は、以下で図１１を参照して説明する。
【０１４３】
次いで距離推定ステップ９５０が実行され、プロセッサ１４０５が第１のパッチｆ１８４０および第２のパッチｆ２８５０内の画素データを処理することによって、距離推定が決定される。一般的に、距離推定はメモリ１４０６に格納される。距離推定ステップ９５０の２つの異なる実装形態の詳細は、以下で図１２および図１３をそれぞれ参照して説明する。
【０１４４】
次に画素決定ステップ９６０が続き、プロセッサ１４０５によって、画素選択ステップ９２０においてまだ選択されていない何らかの画素が第１の画像８００および第２の画像８１０内に残っているかどうかの決定が行われる。まだ選択されていない画素が残っている場合、距離マッピング処理９００は画素選択ステップ９２０に戻る。実際には、第１の画像ｆ１８００の行に沿って列を降りていくことを繰り返すことなどによって、体系的な順序で画素を選択できる。したがって、ステップ９２０〜９６０は距離マッピングの目的で処理されることが望まれる全てのパッチの現在のパッチに進む。それぞれの現在のパッチは、画像によって撮影されたシーンの共通部分の現在の部分を表す。ある例では、たとえば図１５Ａおよび図１５Ｂの画像のペアは全てが共通なので、画像パッチは画像全体に及ぶことができる。代替手法では、たとえば画素座標インデックスが何らかの整数によって割り切れる行および列に生じる画素だけを選択することによってプロセッサ１４０５が画像をサブサンプリングすることによって、第１の画像ｆ１８００の画素のサブセットだけが選択されるよう選ぶことができる。他の代替手法では、結果として生じるパッチのいずれも画像の外側の領域をカバーしないようにして、それによってあらゆるエッジ効果を回避するために、第１の画像ｆ１８００の画素のサブセットが選択されるよう選ぶことができる。他の代替手法では、他の何らかの手段によって第１の画像ｆ１８００の画素のサブセットが選択されるよう選ぶことができる。全ての必要な画素が選択されると（ステップ９６０における「いいえ」）、距離マッピング処理９００はアセンブリステップ９７０に進む。
【０１４５】
アセンブリステップ９７０で、画像撮影装置１００によって撮影されたシーンの距離マップを生成するために、距離推定ステップ９５０で計算された距離推定がプロセッサ１４０５によってアセンブルされる。距離推定は、画素選択ステップ９２０で選択されたそれぞれの画素の画素位置と、距離推定ステップ９５０で画素から計算された距離推定との間に地理的対応があるように、ある画像にアセンブルされることが望ましい。たとえば、第１の画像８００が１００×１００画素で、行を横切って列を降りていくことを繰り返すことによって全ての画素が選択される場合、行を横切って列を降りていくことを繰り返す後続の画素に距離推定を挿入することによってそれらの画素を１００×１００画素のサイズの画像に配置することによって連続する距離推定をアセンブルすることができる。これにより、プロセッサ１４０５によってメモリ１４０６またはＨＤＤ１４１０に格納できる距離マップ画像が明らかになる。代替実装形態では、アセンブリステップ９７０をスキップして、メモリ１４０６に格納された距離推定を、入力として使用するための処理９００のストリーム出力としてコンピュータ１４０１内で実行可能な他の処理に直接渡すことができる。
【０１４６】
次いで、距離マッピング処理９００は終了ステップ９８０で終了する。
【０１４７】
７．１ 画像撮影
次に、画像撮影ステップ９１０の一例を、図１０を参照して説明する。カメラセットアップステップ１０１０では、画像撮影装置（カメラ１４２７）が所望のシーンに向けられる。これは、たとえば手持ちカメラを向けることによって、またはカメラを三脚にセッティングすることによって行われる。
【０１４８】
カメラセッティングステップ１０２０で、画像撮影装置に関連付けられる様々なセッティングが設定される。これは、画像内に記録されるぼけの量に何らかの影響を及ぼすセッティングを指し、レンズ焦点位置、ズームができる場合はレンズのズーム位置、レンズの口径をセッティングすることを含む。画像内のぼけの量を変更する他の画像撮影装置セッティングも可能である。これらのセッティングは、オペレータによって手動で、または撮影されるべきシーンに基づいてカメラ内で実行する制御ソフトウェアによって自動的に実行できる。
【０１４９】
次に第１の画像取得ステップ１０３０が続き、カメラセッティングステップ１０２０におけるセッティング設定を使用して、シーンの（第１の）画像が撮影される。
【０１５０】
次にカメラセッティング変更ステップ１０４０が続き、カメラセッティングステップ１０２０で設定された値から画像撮影装置のセッティングが変更される。これは、レンズ焦点位置、レンズズーム位置、レンズ口径セッティング、および画像内に記録されるぼけの量に影響を及ぼす他の何らかのセッティングのうちの１つまたは複数を変更することを含んでよい。この変更は、手動で実行されてもよく、カメラ制御ソフトウェアによって実行されてもよい。
【０１５１】
第２の画像取得ステップ１０５０で、カメラセッティング変更ステップ１０４０におけるセッティング設定を使用して、シーンの（第２の）画像が撮影される。次いで、画像撮影処理９１０が終了ステップ１０７０で終了する。
【０１５２】
一実装形態では、第１の画像取得ステップ１０３０、カメラセッティング変更ステップ１０４０、および第２の画像取得ステップ１０５０は、画像撮影装置１００の画像撮影機能の単一の起動に応じて、たとえばカメラのシャッターボタンを押すことによって、画像撮影装置１００によって自動的に実行される。
【０１５３】
７．２ 非対称パッチ選択
次に、図１１を参照して非対称パッチ選択ステップ９４０の一実装形態を説明する。非対称パッチ選択処理９４０は、データ入力として第１の画像パッチｆ１８４０および第２の画像パッチｆ２８５０から開始する。
【０１５４】
第１の分散計算ステップ１１１０で、よく知られている分散の定義を使用して、パッチｆ１８４０内の画素値の分散σ１２が計算される。第２の分散計算ステップ１１２０で、パッチｆ２８５０内の画素値の分散σ２２が計算される。
【０１５５】
分散比較ステップ１１３０で、パッチｆ１８４０内の画素値の分散σ１２がパッチｆ２８５０内の画素値の分散σ２２と比較される。パッチｆ１８４０内の画素値の分散σ１２がパッチｆ２８５０内の画素値の分散σ２２よりも大きいかそれと等しい場合、処理は第１のパッチ選択ステップ１１４０に続く。一方、パッチｆ１８４０内の画素値の分散σ１２がパッチｆ２８５０内の画素値の分散σ２２よりも小さい場合、処理は第２のパッチ選択ステップ１１４５に続く。
【０１５６】
第１のパッチ選択ステップ１１４０で、ぼけがより少ないパッチとしてパッチｆ１が選択される。第２のパッチ選択ステップ１１４５では、ぼけがより少ないパッチとしてパッチｆ２が選択される。次いで、非対称パッチ選択処理９４０が終了ステップ１１５０で終了する。
【０１５７】
非対称パッチ選択ステップ９４０を実行するための他の手法も可能である。たとえば、画像ノイズによって生じる中心から離れた画素値の影響を減らすために、フィルタを使用してまずパッチを平滑にすることができる。次いでフィルタリングされたパッチの分散を計算して、フィルタリング後に最も高い分散があるパッチをぼけがより少ないパッチとして選択できる。他の例では、ラプラス演算子などの２次元勾配演算子をパッチに適用して、次いでラプラス勾配画像（ラプラス画像）における画素値の範囲（すなわち、最大画素値−最小画素値）が最も大きいパッチをぼけがより少ないパッチとして選択できる。他の例では、２つの画像８００および８１０は、撮影間で変化する唯一のパラメータである口径値で撮影されることが知られており、この場合、単により狭い口径で撮影された画像からのパッチをぼけがより少ないパッチとして選択できる。
【０１５８】
７．３ 平均スペクトル比を使用する距離推定
次に、図１２を参照して距離推定ステップ９５０の一実装形態９５０ａを説明する。距離推定処理９５０ａは、データ入力として画像パッチｆ１８４０および画像パッチｆ２８５０から開始する。第１のゼロ平均ステップ１２１０で、第１のパッチｆ１の画素値の平均値が計算され、次いでこの平均値が第１のパッチｆ１内の全ての画素の画素値から引かれる。この計算の結果は第１のゼロ平均パッチであり、指定されたｆ１’である。
【０１５９】
第２のゼロ平均ステップ１２２０で、第２のパッチｆ２の画素値の平均値が計算され、次いでこの平均値が第２のパッチｆ２内の全ての画素の画素値から引かれる。この計算の結果は第２のゼロ平均パッチであり、指定されたｆ２’である。
【０１６０】
窓を掛けるステップ１２３０で、ゼロ、またはパッチのエッジの近くの何らかの小さい値に落ちる窓関数を使用してパッチｆ１’およびｆ２’が窓を掛けられる。例示的な窓関数には、ハン窓、ハミング窓、および当業者に知られている類似の関数がある。
【０１６１】
フーリエ変換ステップ１２４０が続き、フーリエ変換された画像パッチＦ１およびＦ２をそれぞれ形成するために、たとえば高速フーリエ変換（ＦＦＴ）アルゴリズムを使用して、窓を掛けられたパッチｆ１’およびｆ２’がそれぞれフーリエ変換される。フーリエ変換された画像パッチＦ１およびＦ２は、それぞれの画素で複素数値を含む。
【０１６２】
ぼけ決定ステップ１２５０が続き、非対称パッチ選択ステップ９４０においてパッチｆ１またはｆ２のうちのどちらの方がぼけがより少ないパッチとして選択されたかが参照される。ぼけがより少ないパッチとして画像パッチｆ１８４０が選択された場合、距離推定処理９５０ａは第１のスペクトル比ステップ１２６０ａに進む。一方、ぼけがより少ないパッチとして画像パッチｆ２８５０が選択された場合、距離推定処理９５０ａは第２のスペクトル比ステップ１２６０ｂに進む。
【０１６３】
第１のスペクトル比ステップ１２６０ａで、複素数除算を使用して、フーリエ変換されたパッチＦ１およびＦ２が画素単位で除算されてスペクトル比画像パッチＦ２／Ｆ１を形成する。第２のスペクトル比ステップ１２６０ｂで、複素数除算を使用して、フーリエ変換されたパッチＦ１およびＦ２が画素単位で除算されてスペクトル比画像パッチＦ１／Ｆ２を形成する。スペクトル比ステップ１２６０ａおよび１２６０ｂの両方において、スペクトル比におけるＤＣ画素は特別なケースであり、１に設定される。スペクトル比ステップ１２６０ａおよび１２６０ｂの両方において、形成された比率の分母におけるフーリエ変換されたパッチは、最もぼけが少ないと決定された画像パッチのフーリエ変換されたパッチである。このように、少なくとも１つのフーリエ変換値を計算するために、第１および第２パッチからのデータの組合せが使用され、それは、どちらのパッチの方がより焦点があった画像パッチかという非対称パッチ選択ステップ９４０における決定に基づく。
【０１６４】
第１のスペクトル比ステップ１２６０ａの変形で、フーリエ変換されたパッチＦ１およびＦ２の係数が画素単位で除算されて、逆正接スペクトル比の係数成分｜Ｆ２｜／｜Ｆ１｜を形成し、フーリエ変換されたパッチＦ１およびＦ２の位相が画素単位で引かれて逆正接スペクトル比の位相成分ａｒｇ（Ｆ２）−ａｒｇ（Ｆ１）を形成し、次いで係数成分および位相成分が結合されて複素値逆正接スペクトル比画像パッチ｜Ｆ２｜／｜Ｆ１｜ｅｘｐ（ｉ（ａｒｇ（Ｆ２）−ａｒｇ（Ｆ１）））を形成する。第１のスペクトル比ステップ１２６０ｂの変形では、フーリエ変換されたパッチＦ１およびＦ２の係数が画素単位で除算されて、逆正接スペクトル比の係数成分｜Ｆ１｜／｜Ｆ２｜を形成し、フーリエ変換されたパッチＦ１およびＦ２の位相が画素単位で引かれて逆正接スペクトル比の位相成分ａｒｇ（Ｆ１）−ａｒｇ（Ｆ２）を形成し、次いで係数成分および位相成分が結合されて複素値逆正接スペクトル比画像パッチ｜Ｆ１｜／｜Ｆ２｜ｅｘｐ（ｉ（ａｒｇ（Ｆ１）−ａｒｇ（Ｆ２）））を形成する。変形スペクトル比ステップ１２６０ａおよび１２６０ｂの両方において、スペクトル比におけるＤＣ画素は特別なケースであり、１に設定される。
【０１６５】
次いで平均計算ステップ１２７０が実行され、第１および第２の画像パッチのそれぞれにおけるデータの組合せから生じるステップ１２５０、１２６０ａ、および１２６０ｂから得られる結果から、スペクトル比画像パッチ内の全ての画素の平均値が計算される。エルミート対称によって、ＤＣ画素を中心とする対称の正方形領域内の全ての画素の虚数成分の平均値がゼロであり、したがって平均値は実数である。実際には、平均スペクトル比のバイアスがかかっていない推定を保証するためにＤＣおよびナイキスト周波数成分を表すある個々の画素の二重計算の考察があり、このような考察は離散フーリエ変換の当業者には知られている。これらの考察は、平均スペクトル比のバイアスがかかっていない推定を保証するために適用されてもよく、スペクトル比画像パッチ内の全ての画素の平均を単純に計算するために部分的または全体的に無視されてもよい。これらの考察を部分的または全体的に無視することによって、計算時間はより速くなるが、平均スペクトル比推定におけるランダムな誤差がわずかに増加するという代償を払うことになる。
【０１６６】
平均計算ステップ１２７０の変形で、スペクトル比画像パッチ内の画素の実成分の平均値ではなく中央値が計算される。これによって中央スペクトル比値が生じ、これは後に平均スペクトル比値の代替推定として扱うことができる。
【０１６７】
平均計算ステップ１２７０の他の変形で、パッチ内の画素のサブセットにわたってスペクトル比が計算される。以下の考察のうちの１つまたは複数によってサブセットを決定できる：（１）撮像素子のナイキスト周波数外の画素を除去すること、（２）画像撮影光学の回折限界周波数外の画素を除去すること、（３）入力画像パッチのうちの１つのフーリエ変換の係数から推定された、最高信号対ノイズ比を有するあらかじめ定められたわずかな画素だけを含むこと。
【０１６８】
距離決定ステップ１２８０で、画像パッチｆ１およびｆ２についての距離推定を決定するために、非対称パッチ選択ステップ９４０で決定されたどちらのパッチがぼけがより少ないかという決定と結合して、平均計算ステップ１２７０で計算された平均スペクトル比が使用される。これは、画像を撮影するために使用される撮影パラメータのセットを使用して、および撮影パラメータのために画像パッチ内に示されたシーン内のオブジェクトの距離に対する平均スペクトル比に関する理論的モデルを使用して、または撮影パラメータの距離対平均スペクトル比を記載する較正ルックアップテーブルを参照することによって行うことができる。較正ルックアップテーブルは理論的または経験的結果を使用してアセンブルできる。たとえば、オブジェクト距離の範囲および撮影パラメータについてのＯＴＦをシミュレートして、オブジェクト距離の範囲および撮影パラメータについての結果として得られる平均スペクトル比を計算して、シミュレートされた平均スペクトル比をルックアップテーブルに格納することによって理論的較正をコンパイルできる。次いで、ルックアップテーブル値と２つの画像パッチから計算された平均スペクトル比との間の最も近い一致を、画像パッチ内に示されるオブジェクトへの距離の推定として使用できる。
【０１６９】
ステップ１２８０の他の例では、カメラから異なる距離の範囲にオブジェクトを配置して、それぞれの位置で異なる撮影パラメータでオブジェクトの写真を２枚撮り、オブジェクトを示している画像パッチの平均スペクトル比を計算し、オブジェクトへの距離によって参照されるルックアップテーブルに平均スペクトル比を格納することによって、経験的較正をコンパイルできる。
【０１７０】
次いで、距離推定処理９５０ａは終了ステップ１２９０で終了する。
【０１７１】
７．４ 修正された正規化相互相関を使用する距離推定
次に、図１３を参照して距離推定ステップ９５０の他の実装形態９５０ｂを説明する。距離推定処理９５０ｂは、データ入力として画像パッチｆ１８４０および画像パッチｆ２８５０から開始する。
【０１７２】
第１のゼロ平均ステップ１３１０で、第１のパッチｆ１内の画素値の平均値が計算され、次いでこの平均値が第１のパッチｆ１内の全ての画素の画素値から引かれる。この計算の結果は第１のゼロ平均パッチであり、指定されたｆ１’である。
【０１７３】
第２のゼロ平均ステップ１３２０で、第２のパッチｆ２内の画素値の平均値が計算され、次いでこの平均値が第２のパッチｆ２内の全ての画素の画素値から引かれる。この計算の結果は第２のゼロ平均パッチであり、指定されたｆ２’である。
【０１７４】
積ステップ１３３０が続き、第１のゼロ平均パッチｆ１’および第２のゼロ平均パッチｆ２’が画素単位で掛けられて、積パッチｆ１’ｆ２’をもたらす。
【０１７５】
次いで分子ステップ１３４０が実行されて、積パッチｆ１’ｆ２’内の全ての画素の画素値が合計されて、分子値Ｎをもたらす。ステップ１３４０の代替実装形態では、積パッチｆ１’ｆ２’内の窓関数によって定義された画素のサブセットが合計されて、分子値Ｎをもたらす。
【０１７６】
ぼけ決定ステップ１３５０が続き、非対称パッチ選択ステップ９４０においてパッチｆ１またはｆ２のうちのどちらの方がぼけがより少ないパッチとして選択されたかが参照される。ぼけがより少ないパッチとして画像パッチｆ１８４０が選択された場合、距離推定処理９５０ｂは第１の分母ステップ１３６０に進む。一方、ぼけがより少ないパッチとして画像パッチｆ２８５０が選択された場合、距離推定処理９５０ｂは第２の分母ステップ１３６５に進む。
【０１７７】
第１の分母ステップ１３６０で、第１のゼロ平均パッチｆ１’がそれ自身によって画素単位で掛けられて第１の正規化パッチｆ１’ｆ１’をもたらし、次いで第１の正規化パッチｆ１’ｆ１’内の全ての画素の画素値が合計されて、分母値Ｄをもたらす。代替実装形態では、第１の正規化パッチｆ１’ｆ１’内で窓関数によって定義される画素のサブセットが合計されて、分母値Ｄをもたらす。
【０１７８】
第２の分母ステップ１３６５で、第２のゼロ平均パッチｆ２’がそれ自身によって画素単位で掛けられて第２の正規化パッチｆ２’ｆ２’をもたらし、次いで第２の正規化パッチｆ２’ｆ２’内の全ての画素の画素値が合計されて、分母値Ｄをもたらす。代替実装形態では、第２の正規化パッチｆ２’ｆ２’内で窓関数によって定義された画素のサブセットが合計されて、分母値Ｄをもたらす。
【０１７９】
ステップ１３６０および１３６５のそれぞれの後に正規化ステップ１３７０が続き、分子値Ｎが分母値Ｄによって除算されて、修正された正規化相互相関中央値Ｎ／Ｄをもたらす。ステップ１３７０は、第１および第２パッチのそれぞれから取得された結合データに行われる。
【０１８０】
最後に、距離決定ステップ１３８０で、非対称パッチ選択ステップ９４０においてどちらのパッチの方がぼけがより少ないと決定されたかという決定と結合して、正規化ステップ１３７０で計算された、修正された正規化相互相関中央値Ｎ／Ｄを使用して画像パッチｆ１およびｆ２についての距離推定を決定する。これは、画像を撮影するために使用される撮影パラメータのセットについての画像パッチ内に示されたシーン内のオブジェクトの距離への修正された正規化相互相関値Ｎ／Ｄに関する理論的モデルを使用して、または距離対画像を撮影するために使用される撮影パラメータのセットについての修正された正規化相互相関値Ｎ／Ｄを記載する較正ルックアップテーブルを参照することによって、行うことができる。
【０１８１】
次いで、距離推定処理９５０ｂは終了ステップ１３９０で終了する。
【０１８２】
距離推定ステップ９５０のさらなる代替実装形態（図示せず）は、図１３に示した距離推定処理９５０ｂにおいて概ね上述のように進行するが、第１のゼロ平均ステップ１３１０の前にパッチｆ１およびパッチｆ２のラプラス勾配画像が計算される追加ステップを含む。パッチｆ１のラプラス演算子はｇ１と呼ばれ、パッチｆ２のラプラス演算子はｇ２と呼ばれる。図１３に示される距離推定処理９５０ｂは、入力としてｆ１およびｆ２ではなくパッチｇ１およびｇ２を与えられ、次いで上述のように進行する（ｆ１の代わりにｇ１を、およびｆ２の代わりにｇ２を代用して）。
【０１８３】
７．５ 変形
図１２および１３の処理の多くの変形を実行できる。たとえば、入力画像パッチの異なる色チャネルに処理を適用して、それによって画像パッチごとに様々な値を計算できる。
【０１８４】
他の変形では、異なる窓関数を使用することによって、入力画像パッチのそれぞれのペアから複数の値を計算しても良い。
【０１８５】
さらなる変形では、たとえば２つの値を与えるために、図１２および１３の処理のそれぞれを同時に実行しても良い。
【０１８６】
これらのそれぞれの変形では、複数の値から対応する距離推定を取得して、他の何らかの方法で平均化または結合することもでき、ある選択基準を使用して選択して、対象としているパッチについての距離推定を与えることもできる。
【０１８７】
８．要約
処理９００、および処理９００を実装できる様々な代替によって、当分野で広く知られているが、従来の処理と比較して著しくより効率的な方法で処理９００を介して得られた方法で実用性を提供する距離マップ画像または距離マップ値のストリームがもたらされる。
【産業上の利用可能性】
【０１８８】
上述の装置は、コンピュータおよびデータ処理産業に適用でき、特にカメラおよび同様の撮影装置を使用して撮影された画像から距離マップデータを形成することに適用できる。
【０１８９】
上記は本発明のいくつかの実施形態を説明しているに過ぎず、本発明の範囲および趣旨から逸脱することなくこの実施形態に修正形態および／または変更が行われてよく、実施形態は説明のためのものであり、限定的なものではない。
【特許請求の範囲】
【請求項１】
画像撮影装置によって撮影されたシーンの距離情報を決定するための方法であって、
前記画像撮影装置によって撮影された前記シーンの第１の画像および第２の画像を取得するステップであって、前記第１の画像は、前記第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されており、
前記第１の画像から第１の画像パッチを選択し、前記第２の画像から第２の画像パッチを選択するステップであって、前記第１および第２の画像パッチは、前記第１および第２の画像のそれぞれにおいて撮影された前記シーンの共通部分に対応しており、
前記第１および第２の画像パッチのうちのどちらの方が、より焦点が合った画像パッチであるかを決定するステップと、
前記第１および第２の画像パッチのそれぞれにおけるデータの組合せに基づいて少なくとも１つの値を計算するステップであって、前記組合せは、前記第１および第２の画像パッチのうちのどちらの方が前記より焦点が合った画像パッチと決定されるかに依存しており、
前記少なくとも１つの計算された値から、前記シーンの前記共通部分の前記距離情報を決定するステップと
を有することを特徴とする方法。
【請求項２】
前記計算された値が、前記第１の画像パッチと前記第２の画像パッチとの間の相関に基づく相関値であって、前記相関値が、前記共通部分の輝度における分散の少なくとも１つの推定によって正規化されていることを特徴とする請求項１に記載の方法。
【請求項３】
前記輝度における前記分散の前記推定が、前記より焦点が合った画像パッチから決定されることを特徴とする請求項２に記載の方法。
【請求項４】
窓関数を使用することで前記相関値が計算されることを特徴とする請求項２または３に記載の方法。
【請求項５】
前記計算された値が、前記第１の画像パッチのラプラス画像と、前記第２の画像パッチのラプラス画像との間の相関に基づく相関値であって、前記相関値が、前記共通部分の輝度における分散の少なくとも１つの推定によって正規化されることを特徴とする請求項１に記載の方法。
【請求項６】
前記計算された値が、前記第１および第２の画像に対応する複素ＯＴＦの比（複素ＯＴＦ比率）の少なくとも１つの推定であり、前記複素ＯＴＦ比率が、前記共通部分の中のオブジェクトへの距離の関数であることを特徴とする請求項１に記載の方法。
【請求項７】
前記複素ＯＴＦ比率が、
前記パッチごとにフーリエ変換を計算するステップと、
前記フーリエ変換の比率を計算して前記複素ＯＴＦ比率の推定をもたらすステップであって、前記より焦点が合った画像パッチの前記複素ＯＴＦが前記複素ＯＴＦ比率の分母であるステップによって決定されることを特徴とする請求項６に記載の方法。
【請求項８】
前記計算された値が領域全体の前記複素ＯＴＦ比率の平均であることを特徴とする請求項６または７に記載の方法。
【請求項９】
前記計算された値が領域全体の前記複素ＯＴＦ比率の中央値であることを特徴とする請求項６または７に記載の方法。
【請求項１０】
前記計算された値が、重み関数によって定義された領域全体の前記複素ＯＴＦ比率の重み付けされた平均であることを特徴とする請求項６または７に記載の方法。
【請求項１１】
前記重み関数が前記画像撮影装置のセンサのナイキスト周波数よりも高い空間周波数でゼロであることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記重み関数が、前記第１または第２の画像パッチのフーリエ変換の係数に基づいて画素のあらかじめ定められた割合を選択することによって決定された空間周波数でゼロであることを特徴とする請求項１０に記載の方法。
【請求項１３】
前記複素ＯＴＦ比率が、
前記パッチごとにフーリエ変換を計算するステップと、
前記フーリエ変換の係数の比率の逆正接を計算して、前記フーリエ変換の位相の差と等しい位相を掛けて、前記複素ＯＴＦ比率の推定をもたらすステップであって、前記より焦点が合った画像パッチの前記複素ＯＴＦが前記複素ＯＴＦ比率の分母であるステップによって決定されることを特徴とする請求項６に記載の方法。
【請求項１４】
前記第１および第２の画像パッチのうちのどちらの方が、より焦点が合った画像パッチであるかを決定するステップが、前記第１および第２の画像パッチの分散を計算するステップおよび前記第１および第２の画像パッチのうち分散の大きい画像パッチを選択するステップによって行われることを特徴とする請求項１ないし１３のいずれか１項に記載の方法。
【請求項１５】
前記第１および第２の画像パッチを選択するステップが、前記第１および第２の画像のコンテンツに基づいて前記第１の画像と前記第２の画像とを位置合わせするステップを有することを特徴とする請求項１ないし１４のいずれか１項に記載の方法。
【請求項１６】
画像撮影装置によって撮影されたシーンの距離情報を決定するための方法であって、
前記画像撮影装置によって撮影された前記シーンの第１の画像および第２の画像を取得するステップであって、前記第１の画像は、前記第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されており、
前記第１の画像から第１の画像パッチを選択し、前記第２の画像から第２の画像パッチを選択するステップであって、前記第１および第２の画像パッチは、前記第１および第２の画像のそれぞれにおいて撮影された前記シーンの共通部分に対応しており、
前記第１および第２の画像パッチのそれぞれにおけるデータの組合せに基づいて少なくとも１つの値を計算するステップであって、前記少なくとも１つの値は、前記第１および第２の画像に対応する複素ＯＴＦの比（複素ＯＴＦ比率）の少なくとも１つの推定であり、前記複素ＯＴＦ比率は、前記共通部分の中のオブジェクトへの前記距離の関数であり、
前記少なくとも１つの計算された値から、前記シーンの前記共通部分の前記距離情報を決定するステップと
を有することを特徴とする方法。
【請求項１７】
画像撮影装置によって撮影されたシーンの距離マップを決定するための方法であって、
請求項１ないし１６のいずれか１項に記載の方法を使用して、前記シーンの複数の部分の距離情報を決定するステップと、
前記決定された距離情報を、前記シーンの距離マップにアセンブルするステップと、
有することを特徴とする方法。
【請求項１８】
請求項１ないし１７のいずれか１項に記載の方法の各ステップをコンピュータに実行させるためのコンピュータプログラム。
【請求項１９】
画像撮影装置によって撮影されたシーンの距離情報を決定するためのコンピュータ装置であって、
前記画像撮影装置によって撮影された前記シーンの第１の画像および第２の画像を取得する手段であって、前記第１の画像は、前記第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されており、
前記第１の画像から第１の画像パッチを選択し、前記第２の画像から第２の画像パッチを選択する手段であって、前記第１および第２の画像パッチは、前記第１および第２の画像のそれぞれにおいて撮影された前記シーンの共通部分に対応しており、
前記第１および第２の画像パッチのうちのどちらの方が、より焦点が合った画像パッチであるかを決定する手段と、
前記第１および第２の画像パッチのそれぞれにおけるデータの組合せに基づいて、少なくとも１つの値を計算する手段であって、前記組合せは、前記第１および第２の画像パッチのうちのどちらの方が前記より焦点が合った画像パッチと決定されるかに依存しており、
前記少なくとも１つの計算された値から、前記シーンの前記共通部分の前記距離情報を決定する手段と
を備えることを特徴とするコンピュータ装置。
【請求項２０】
画像撮影装置によって撮影されたシーンの距離情報を決定するためのコンピュータ装置であって、
前記画像撮影装置によって撮影された前記シーンの第１の画像および第２の画像を取得する手段であって、前記第１の画像は、前記第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されており、
前記第１の画像から第１の画像パッチを選択し、前記第２の画像から第２の画像パッチを選択する手段であって、前記第１および第２の画像パッチは、前記第１および第２の画像のそれぞれにおいて撮影された前記シーンの共通部分に対応しており、
前記第１および第２の画像パッチのそれぞれにおけるデータの組合せに基づいて少なくとも１つの値を計算する手段であって、前記少なくとも１つの値は、前記第１および第２の画像に対応する複素ＯＴＦの比（複素ＯＴＦ比率）の少なくとも１つの推定であり、前記複素ＯＴＦ比率は、前記共通部分の中のオブジェクトへの距離の関数であり、
前記少なくとも１つの計算された値から、前記シーンの前記共通部分の前記距離情報を決定する手段と
を備えることを特徴とするコンピュータ装置。
【請求項２１】
シーンの第１の画像および第２の画像を撮影する画像撮影装置と、
前記第１の画像および前記第２の画像が格納されるメモリと、
前記第１の画像および前記第２の画像に基づいてシーンの距離情報を決定するように構成されたプロセッサとを備え、
前記第１の画像が、前記第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されており、
前記プロセッサが、
前記第１の画像から第１の画像パッチを選択し、前記第２の画像から第２の画像パッチを選択し、前記第１および第２の画像パッチは、前記第１および第２の画像のそれぞれにおいて撮影された前記シーンの共通部分に対応しており、
前記第１および第２の画像パッチのうちのどちらの方が、より焦点が合った画像パッチであるかを決定し、
前記第１および第２の画像パッチのそれぞれにおけるデータの組合せに基づいて、少なくとも１つの値を計算し、前記組合せは、前記第１および第２の画像パッチのうちのどちらの方が前記より焦点が合った画像パッチと決定されるかに依存しており、
前記少なくとも１つの計算された値から、前記シーンの前記共通部分の前記距離情報を決定するように構成されていることを特徴とする撮影システム。
【請求項２２】
シーンの第１の画像および第２の画像を撮影する画像撮影装置と、
前記第１の画像および前記第２の画像が格納されるメモリと、
前記第１の画像および前記第２の画像に基づいてシーンの距離情報を決定するように構成されたプロセッサとを備え、
前記第１の画像は、前記第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されており、
前記プロセッサが、
前記第１の画像から第１の画像パッチを選択し、前記第２の画像から第２の画像パッチを選択し、前記第１および第２の画像パッチは、前記第１および第２の画像のそれぞれにおいて撮影された前記シーンの共通部分に対応しており、
前記第１および第２の画像パッチのそれぞれにおけるデータの組合せに基づいて少なくとも１つの値を計算し、前記少なくとも１つの値は、前記第１および第２の画像に対応する複素ＯＴＦの比（複素ＯＴＦ比率）の少なくとも１つの推定であり、前記複素ＯＴＦ比率は、前記共通部分の中のオブジェクトへの距離の関数であり、
前記少なくとも１つの計算された値から、前記シーンの前記共通部分の前記距離情報を決定するように構成されていることを特徴とする撮影システム。
【請求項１】
画像撮影装置によって撮影されたシーンの距離情報を決定するための方法であって、
前記画像撮影装置によって撮影された前記シーンの第１の画像および第２の画像を取得するステップであって、前記第１の画像は、前記第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されており、
前記第１の画像から第１の画像パッチを選択し、前記第２の画像から第２の画像パッチを選択するステップであって、前記第１および第２の画像パッチは、前記第１および第２の画像のそれぞれにおいて撮影された前記シーンの共通部分に対応しており、
前記第１および第２の画像パッチのうちのどちらの方が、より焦点が合った画像パッチであるかを決定するステップと、
前記第１および第２の画像パッチのそれぞれにおけるデータの組合せに基づいて少なくとも１つの値を計算するステップであって、前記組合せは、前記第１および第２の画像パッチのうちのどちらの方が前記より焦点が合った画像パッチと決定されるかに依存しており、
前記少なくとも１つの計算された値から、前記シーンの前記共通部分の前記距離情報を決定するステップと
を有することを特徴とする方法。
【請求項２】
前記計算された値が、前記第１の画像パッチと前記第２の画像パッチとの間の相関に基づく相関値であって、前記相関値が、前記共通部分の輝度における分散の少なくとも１つの推定によって正規化されていることを特徴とする請求項１に記載の方法。
【請求項３】
前記輝度における前記分散の前記推定が、前記より焦点が合った画像パッチから決定されることを特徴とする請求項２に記載の方法。
【請求項４】
窓関数を使用することで前記相関値が計算されることを特徴とする請求項２または３に記載の方法。
【請求項５】
前記計算された値が、前記第１の画像パッチのラプラス画像と、前記第２の画像パッチのラプラス画像との間の相関に基づく相関値であって、前記相関値が、前記共通部分の輝度における分散の少なくとも１つの推定によって正規化されることを特徴とする請求項１に記載の方法。
【請求項６】
前記計算された値が、前記第１および第２の画像に対応する複素ＯＴＦの比（複素ＯＴＦ比率）の少なくとも１つの推定であり、前記複素ＯＴＦ比率が、前記共通部分の中のオブジェクトへの距離の関数であることを特徴とする請求項１に記載の方法。
【請求項７】
前記複素ＯＴＦ比率が、
前記パッチごとにフーリエ変換を計算するステップと、
前記フーリエ変換の比率を計算して前記複素ＯＴＦ比率の推定をもたらすステップであって、前記より焦点が合った画像パッチの前記複素ＯＴＦが前記複素ＯＴＦ比率の分母であるステップによって決定されることを特徴とする請求項６に記載の方法。
【請求項８】
前記計算された値が領域全体の前記複素ＯＴＦ比率の平均であることを特徴とする請求項６または７に記載の方法。
【請求項９】
前記計算された値が領域全体の前記複素ＯＴＦ比率の中央値であることを特徴とする請求項６または７に記載の方法。
【請求項１０】
前記計算された値が、重み関数によって定義された領域全体の前記複素ＯＴＦ比率の重み付けされた平均であることを特徴とする請求項６または７に記載の方法。
【請求項１１】
前記重み関数が前記画像撮影装置のセンサのナイキスト周波数よりも高い空間周波数でゼロであることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記重み関数が、前記第１または第２の画像パッチのフーリエ変換の係数に基づいて画素のあらかじめ定められた割合を選択することによって決定された空間周波数でゼロであることを特徴とする請求項１０に記載の方法。
【請求項１３】
前記複素ＯＴＦ比率が、
前記パッチごとにフーリエ変換を計算するステップと、
前記フーリエ変換の係数の比率の逆正接を計算して、前記フーリエ変換の位相の差と等しい位相を掛けて、前記複素ＯＴＦ比率の推定をもたらすステップであって、前記より焦点が合った画像パッチの前記複素ＯＴＦが前記複素ＯＴＦ比率の分母であるステップによって決定されることを特徴とする請求項６に記載の方法。
【請求項１４】
前記第１および第２の画像パッチのうちのどちらの方が、より焦点が合った画像パッチであるかを決定するステップが、前記第１および第２の画像パッチの分散を計算するステップおよび前記第１および第２の画像パッチのうち分散の大きい画像パッチを選択するステップによって行われることを特徴とする請求項１ないし１３のいずれか１項に記載の方法。
【請求項１５】
前記第１および第２の画像パッチを選択するステップが、前記第１および第２の画像のコンテンツに基づいて前記第１の画像と前記第２の画像とを位置合わせするステップを有することを特徴とする請求項１ないし１４のいずれか１項に記載の方法。
【請求項１６】
画像撮影装置によって撮影されたシーンの距離情報を決定するための方法であって、
前記画像撮影装置によって撮影された前記シーンの第１の画像および第２の画像を取得するステップであって、前記第１の画像は、前記第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されており、
前記第１の画像から第１の画像パッチを選択し、前記第２の画像から第２の画像パッチを選択するステップであって、前記第１および第２の画像パッチは、前記第１および第２の画像のそれぞれにおいて撮影された前記シーンの共通部分に対応しており、
前記第１および第２の画像パッチのそれぞれにおけるデータの組合せに基づいて少なくとも１つの値を計算するステップであって、前記少なくとも１つの値は、前記第１および第２の画像に対応する複素ＯＴＦの比（複素ＯＴＦ比率）の少なくとも１つの推定であり、前記複素ＯＴＦ比率は、前記共通部分の中のオブジェクトへの前記距離の関数であり、
前記少なくとも１つの計算された値から、前記シーンの前記共通部分の前記距離情報を決定するステップと
を有することを特徴とする方法。
【請求項１７】
画像撮影装置によって撮影されたシーンの距離マップを決定するための方法であって、
請求項１ないし１６のいずれか１項に記載の方法を使用して、前記シーンの複数の部分の距離情報を決定するステップと、
前記決定された距離情報を、前記シーンの距離マップにアセンブルするステップと、
有することを特徴とする方法。
【請求項１８】
請求項１ないし１７のいずれか１項に記載の方法の各ステップをコンピュータに実行させるためのコンピュータプログラム。
【請求項１９】
画像撮影装置によって撮影されたシーンの距離情報を決定するためのコンピュータ装置であって、
前記画像撮影装置によって撮影された前記シーンの第１の画像および第２の画像を取得する手段であって、前記第１の画像は、前記第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されており、
前記第１の画像から第１の画像パッチを選択し、前記第２の画像から第２の画像パッチを選択する手段であって、前記第１および第２の画像パッチは、前記第１および第２の画像のそれぞれにおいて撮影された前記シーンの共通部分に対応しており、
前記第１および第２の画像パッチのうちのどちらの方が、より焦点が合った画像パッチであるかを決定する手段と、
前記第１および第２の画像パッチのそれぞれにおけるデータの組合せに基づいて、少なくとも１つの値を計算する手段であって、前記組合せは、前記第１および第２の画像パッチのうちのどちらの方が前記より焦点が合った画像パッチと決定されるかに依存しており、
前記少なくとも１つの計算された値から、前記シーンの前記共通部分の前記距離情報を決定する手段と
を備えることを特徴とするコンピュータ装置。
【請求項２０】
画像撮影装置によって撮影されたシーンの距離情報を決定するためのコンピュータ装置であって、
前記画像撮影装置によって撮影された前記シーンの第１の画像および第２の画像を取得する手段であって、前記第１の画像は、前記第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されており、
前記第１の画像から第１の画像パッチを選択し、前記第２の画像から第２の画像パッチを選択する手段であって、前記第１および第２の画像パッチは、前記第１および第２の画像のそれぞれにおいて撮影された前記シーンの共通部分に対応しており、
前記第１および第２の画像パッチのそれぞれにおけるデータの組合せに基づいて少なくとも１つの値を計算する手段であって、前記少なくとも１つの値は、前記第１および第２の画像に対応する複素ＯＴＦの比（複素ＯＴＦ比率）の少なくとも１つの推定であり、前記複素ＯＴＦ比率は、前記共通部分の中のオブジェクトへの距離の関数であり、
前記少なくとも１つの計算された値から、前記シーンの前記共通部分の前記距離情報を決定する手段と
を備えることを特徴とするコンピュータ装置。
【請求項２１】
シーンの第１の画像および第２の画像を撮影する画像撮影装置と、
前記第１の画像および前記第２の画像が格納されるメモリと、
前記第１の画像および前記第２の画像に基づいてシーンの距離情報を決定するように構成されたプロセッサとを備え、
前記第１の画像が、前記第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されており、
前記プロセッサが、
前記第１の画像から第１の画像パッチを選択し、前記第２の画像から第２の画像パッチを選択し、前記第１および第２の画像パッチは、前記第１および第２の画像のそれぞれにおいて撮影された前記シーンの共通部分に対応しており、
前記第１および第２の画像パッチのうちのどちらの方が、より焦点が合った画像パッチであるかを決定し、
前記第１および第２の画像パッチのそれぞれにおけるデータの組合せに基づいて、少なくとも１つの値を計算し、前記組合せは、前記第１および第２の画像パッチのうちのどちらの方が前記より焦点が合った画像パッチと決定されるかに依存しており、
前記少なくとも１つの計算された値から、前記シーンの前記共通部分の前記距離情報を決定するように構成されていることを特徴とする撮影システム。
【請求項２２】
シーンの第１の画像および第２の画像を撮影する画像撮影装置と、
前記第１の画像および前記第２の画像が格納されるメモリと、
前記第１の画像および前記第２の画像に基づいてシーンの距離情報を決定するように構成されたプロセッサとを備え、
前記第１の画像は、前記第２の画像の撮影パラメータとは異なる少なくとも１つの撮影パラメータを使用して撮影されており、
前記プロセッサが、
前記第１の画像から第１の画像パッチを選択し、前記第２の画像から第２の画像パッチを選択し、前記第１および第２の画像パッチは、前記第１および第２の画像のそれぞれにおいて撮影された前記シーンの共通部分に対応しており、
前記第１および第２の画像パッチのそれぞれにおけるデータの組合せに基づいて少なくとも１つの値を計算し、前記少なくとも１つの値は、前記第１および第２の画像に対応する複素ＯＴＦの比（複素ＯＴＦ比率）の少なくとも１つの推定であり、前記複素ＯＴＦ比率は、前記共通部分の中のオブジェクトへの距離の関数であり、
前記少なくとも１つの計算された値から、前記シーンの前記共通部分の前記距離情報を決定するように構成されていることを特徴とする撮影システム。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４Ａ】
【図１４Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４Ａ】
【図１４Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図１５Ｃ】
【公開番号】特開２０１３−６２８０３（Ｐ２０１３−６２８０３Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１２−２０３５２３（Ｐ２０１２−２０３５２３）
【出願日】平成２４年９月１４日（２０１２．９．１４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２４年９月１４日（２０１２．９．１４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]