撮像装置、表示方法、および、プログラム
【課題】３Ｄモデリングのための撮影効率を向上させる。
【解決手段】ファインダ表示処理部２１３は、第１撮像部１１０の撮像画像をファインダ画像とするファインダ画面上で指定された領域と、第２撮像部１２０の撮像画像とでステレオマッチングをおこない、三角測量によって被写体までの最近距離を測距するとともに、被写体までの最遠距離を指定する。ファインダ表示処理部２１３は、最近距離における有効範囲候補と、最遠距離における有効範囲候補を特定し、各有効範囲候補が重複する範囲を測定可能範囲、各有効候補範囲の差分となる範囲を測定不明範囲として特定する。ファインダ表示処理部２１３は、測定不明範囲に含まれる画像部分を第２撮像部１２０の撮像画像で探索し、該当する画像部分が存在する場合、当該部分を測定可能範囲に加え、このような測定可能範囲と測定不明範囲が識別可能なファインダ画面を表示部３１０に表示する。
【解決手段】ファインダ表示処理部２１３は、第１撮像部１１０の撮像画像をファインダ画像とするファインダ画面上で指定された領域と、第２撮像部１２０の撮像画像とでステレオマッチングをおこない、三角測量によって被写体までの最近距離を測距するとともに、被写体までの最遠距離を指定する。ファインダ表示処理部２１３は、最近距離における有効範囲候補と、最遠距離における有効範囲候補を特定し、各有効範囲候補が重複する範囲を測定可能範囲、各有効候補範囲の差分となる範囲を測定不明範囲として特定する。ファインダ表示処理部２１３は、測定不明範囲に含まれる画像部分を第２撮像部１２０の撮像画像で探索し、該当する画像部分が存在する場合、当該部分を測定可能範囲に加え、このような測定可能範囲と測定不明範囲が識別可能なファインダ画面を表示部３１０に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、表示方法、および、プログラムに関し、特に、ステレオカメラを用いたモデリングに好適な撮像装置、表示方法、および、プログラムに関する。
【背景技術】
【０００２】
コンピュータグラフィクスによる３次元（３Ｄ）表現が多く用いられるようになり、よりリアリティのある３Ｄ表現が求められている。このような要求に対し、実際の立体物をカメラで撮像して３Ｄモデリングデータを作成する手法が確立している。この場合、立体物の３次元的位置を認識するため、視差に相当する光軸のズレが設定された、いわゆる複眼カメラ（ステレオカメラ）が用いられる。（例えば、特許文献１）。
【０００３】
このようなステレオカメラでは、光軸位置の異なる２つの撮像部を用いているため、各撮像部の画角には、一方の撮像部からしか写らない部分、すなわち、２つの撮像部の画角で重なり合わない部分（以下、「非オーバーラップエリア」とする）が存在する。この場合において、モデリング対象としている被写体が非オーバーラップエリアにかかっていると、当該被写体の形状測定を正確におこなうことができない。つまり、２つの撮像部の画角で重なる部分（以下、「オーバーラップエリア」とする）に被写体が収まっていなければ、３Ｄモデリングのために必要となる正確な形状測定をおこなうことができない。
【０００４】
ここで、デジタルカメラによってステレオカメラを構成した場合、背面モニタなどにファインダ画像を表示することになるが、表示される画像は、通常、一方の撮像部によって撮像されたものが用いられる。よって、オーバーラップエリアに被写体が収まるようフレーミングしているか撮影時に確認することができなかった。
【０００５】
一方で、撮像部間（レンズ間）の距離（すなわち、基線長）や撮像パラメータ（ズーム倍率など）に基づいてオーバーラップエリアを特定する手法が提案されている（例えば、特許文献２）。このような手法を応用すれば、被写体がオーバーラップエリアに収まっているか否かを撮影者が認識できる動作を実現することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−３１２２号公報
【特許文献２】特開２００６−１２１２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、オーバーラップエリアの範囲は被写体までの距離によって変化する。したがって、より正確にオーバーラップエリアを特定するには被写体の奥行きを考慮した測距をおこなう必要がある。しかしながら、特許文献２の手法では、被写体までの距離を特段考慮していないため、３Ｄモデリングのために立体物を撮像する際、オーバーラップエリアの特定が不正確となる場合がある。
【０００８】
また、カメラのＡＦ（Auto Focus：オートフォーカス）による焦点距離に基づいて被写体までの距離を推定することができるが、被写体の奥行きを考慮した場合、被写界深度分の誤差が生じることがある。このため、被写体の奥行きを考慮した距離推定をおこなうには、ＡＦによる測距結果に被写界深度分の誤差を反映させる必要があるが、被写界深度を決定する要因は複雑であるため、被写体の奥行きに相当する誤差を正確に反映させることは極めて困難である。
【０００９】
さらに、従来の手法では、オーバーラップエリア（形状測定可能な部分）と非オーバーラップエリア（形状測定不可の部分）の２分類で判別することしかできない。この場合、３Ｄモデリング対象となる被写体は立体物であるため、実際には形状測定が可能であるにもかかわらず形状測定不可と判別されたり、実際には形状測定不可であるにもかかわらず形状測定可能と判別されたりする問題がある。
【００１０】
例えば、被写界深度分の誤差が被写体の奥行きに相当する分より大きく設定されてしまうと、実際には被写体が非オーバーラップエリアにかかっていても形状測定可能であると判別され、そのまま撮影されてしまうことがある。この場合、非オーバーラップエリアにかかっている部分のモデリングデータを生成することができないので、撮影のやり直しなどを強いられてしまう。
【００１１】
一方、被写界深度分の誤差が被写体の奥行きに相当する分よりも小さく設定されてしまうと、実際には被写体がオーバーラップエリア内に収まっているにもかかわらず形状測定不可と判別されてしまうことがある。この場合、実際はそのままの撮影で成功するにもかかわらず、撮影条件の見直しなどといった本来は必要のない無駄な作業を撮影者に強いることになる。
【００１２】
すなわち、被写体の奥行きを考慮すると被写界深度分の誤差が生じるような場合、ＡＦによる測距では精度が不十分であるといえ、上記のような問題が顕著となってしまう。つまり、被写体の奥行きを考慮した正確な測距がなされないと、オーバーラップエリアの特定が不正確となり、その結果、撮影効率を著しく低下させてしまうことがある。
【００１３】
本発明は、上記実状を鑑みてなされたものであり、３Ｄモデリングのための撮影をより効率的におこなうことのできる撮像装置、表示方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するため、本発明の第１の観点にかかる撮像装置は、
ステレオカメラを構成する２つの撮像手段と、
一方の前記撮像手段で得られた第１の撮像画像をファインダ画像としてファインダ画面を表示するファインダ表示手段と、
前記ファインダ画像上で指定された領域に基づいて、少なくとも前記ステレオカメラから被写体までの最近距離を三角測量で測距する測距手段と、
前記ステレオカメラから被写体までの最遠距離を指定する最遠距離指定手段と、
前記２つの撮像手段それぞれの撮像範囲が重なる範囲を有効範囲候補として特定する有効範囲候補特定手段と、
前記第１の撮像画像上で、前記最近距離における前記有効範囲候補と、前記最遠距離における前記有効範囲候補を特定し、各有効範囲候補が重複する範囲を有効範囲として特定し、各有効候補範囲の差分となる範囲を暫定有効範囲として特定する有効範囲特定手段と、
前記暫定有効範囲に含まれる画像部分を他方の前記撮像手段で得られた第２の撮像画像で探索し、該当する画像部分が存在する場合、当該部分を前記有効範囲に加える有効範囲拡張手段と、を備え、
前記ファインダ表示手段は、少なくとも、前記有効範囲と前記暫定有効範囲とが識別可能な前記ファインダ画面を表示する、
ことを特徴とする。
【００１５】
上記撮像装置において、
前記測距手段は、前記第１の撮像画像で指定された領域の画像と前記第２の撮像画像との間でステレオマッチングをおこなうことで、該第２の撮像画像上で当該領域に相当する領域を特定して前記三角測量をおこなうことが望ましい。
【００１６】
上記撮像装置において、
前記有効範囲拡張手段は、前記暫定有効範囲の画像と前記第２の撮像画像との間でステレオマッチングをおこなうことで、前記有効範囲に加える部分を探索することが望ましい。
【００１７】
上記撮像装置において、
前記最遠距離指定手段は、前記測距手段によって測距された前記最近距離に基づいて前記最遠距離を指定してもよい。
【００１８】
上記撮像装置において、
前記測距手段は、前記第１の撮像画像上で指定された領域に基づいて、前記最遠距離を測距してもよく、この場合、
前記最遠距離指定手段は、前記測距手段が測距した最遠距離を指定することができる。
【００１９】
上記目的を達成するため、本発明の第２の観点にかかる表示方法は、
ステレオカメラを構成する２つの撮像手段を備える撮像装置において、一方の前記撮像手段で得られた第１の撮像画像をファインダ画像としたファインダ画面を表示する場合に、フレーミングの良否を認識可能なファインダ表示をおこなう表示方法であって、
前記ファインダ画像上で指定された領域に基づいて、少なくとも前記ステレオカメラから被写体までの最近距離を三角測量で測距する測距ステップと、
前記ステレオカメラから被写体までの最遠距離を指定する最遠距離指定ステップと、
前記２つの撮像手段それぞれの撮像範囲が重なる範囲を有効範囲候補として特定する有効範囲候補特定ステップと、
前記第１の撮像画像上で、前記最近距離における前記有効範囲候補と、前記最遠距離における前記有効範囲候補を特定し、各有効範囲候補が重複する範囲を有効範囲として特定し、各有効候補範囲の差分となる範囲を暫定有効範囲として特定する有効範囲特定ステップと、
前記暫定有効範囲に含まれる画像部分を他方の前記撮像手段で得られた第２の撮像画像で探索し、該当する画像部分が存在する場合、当該部分を前記有効範囲に加える有効範囲拡張ステップと、
少なくとも、前記有効範囲と前記暫定有効範囲とが識別可能な前記ファインダ画面を表示するステップと、
を含むことを特徴とする。
【００２０】
上記目的を達成するため、本発明の第３の観点にかかるプログラムは、
ステレオカメラを構成する２つの撮像手段と、一方の前記撮像手段で得られた第１の撮像画像をファインダ画像としてファインダ画面を表示するファインダ表示手段と、を備える撮像装置を制御するコンピュータに、
前記ファインダ画像上で指定された領域に基づいて、少なくとも前記ステレオカメラから被写体までの最近距離を三角測量で測距する機能と、
前記ステレオカメラから被写体までの最遠距離を指定する機能と、
前記２つの撮像手段それぞれの撮像範囲が重なる範囲を有効範囲候補として特定する機能と、
前記第１の撮像画像上で、前記最近距離における前記有効範囲候補と、前記最遠距離における前記有効範囲候補を特定し、各有効範囲候補が重複する範囲を有効範囲として特定し、各有効候補範囲の差分となる範囲を暫定有効範囲として特定する機能と、
前記暫定有効範囲に含まれる画像部分を他方の前記撮像手段で得られた第２の撮像画像で探索し、該当する画像部分が存在する場合、当該部分を前記有効範囲に加える機能と、
少なくとも、前記有効範囲と前記暫定有効範囲とが識別可能な前記ファインダ画面を表示する機能と、
を実現させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、３Ｄモデリングのための撮影をより効率的におこなうことができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態にかかるデジタルカメラの外観構成を示す図である。
【図２】図１に示したデジタルカメラの構成を示すブロック図である。
【図３】図２に示した制御部によって実現される機能を示す機能ブロック図である。
【図４】本発明の実施形態にかかる「３Ｄモデリング用撮像処理」を説明するためのフローチャートである。
【図５】図４に示した「３Ｄモデリング用撮像処理」にかかる動作などを説明するための図であり、（ａ）は、本発明の実施形態で想定する撮影場面の例を示し、（ｂ）および（ｃ）は、「３Ｄモデリング用撮像処理」で表示されるＡＦ枠指定画面の表示例を示す。
【図６】図４に示す「３Ｄモデリング用撮像処理」で実行される「高精度測距処理」を説明するためのフローチャートである。
【図７】図４に示す「３Ｄモデリング用撮像処理」で実行される「ファインダ表示処理」を説明するためのフローチャートである。
【図８】本発明の実施形態にかかるデジタルカメラにおける撮像範囲を説明するための図であり、（ａ）は、画角が広い場合の撮像範囲の例を示し、（ｂ）は、画角が狭い場合の撮像範囲の例を示す。
【図９】図８に例示した撮像範囲と距離の関係を説明するための図であり、（ａ）は、被写体の最近距離および最遠距離による測定可能範囲と測定不可範囲の関係を模式的に示し、（ｂ）は、この場合において被写体が測定可能範囲内にある状況を示し、（ｃ）は、被写体の一部が測定不可範囲にかかっている状況を示す。
【図１０】図９で示した撮像範囲と距離との関係を撮像画像上にあてはめる動作を説明するための図であり、（ａ）は、ファインダ画像として用いられている撮像部における測定可能範囲、測定不可範囲、最近距離、最遠距離の関係を模式的に示し、（ｂ）は、最近距離における測定可能範囲を撮像画像上にあてはめた場合の例を示し、（ｃ）は、最遠距離における測定可能範囲を撮像画像上にあてはめた場合の例を示し、（ｄ）は、これらに基づいて特定される測定可能範囲、測定不明範囲、測定不可範囲の例を示す。
【図１１】図７に示した「ファインダ表示処理」にかかる動作を説明するための図であり、（ａ）は、測定不明範囲を使ったステレオマッチングの対象となる画像の例を示し、（ｂ）は、ステレオマッチングによってマッチングされた部分の例を示し、（ｃ）は、拡張された測定可能範囲の例を示す。
【図１２】図７に示した「ファインダ表示処理」にかかる動作を説明するための図であり、（ａ）は、第２撮像部でも被写体の全体が撮像されている場合のファインダ表示の例を示し、（ｂ）は、第２撮像部では被写体の一部が撮像されていない場合の撮像画像の例を示し、（ｃ）は、この場合のファインダ表示の例を示す。
【図１３】本発明の実施形態２を説明するための図であり、（ａ）および（ｂ）は、実施形態２におけるＡＦ枠指定画面の表示例を示す。
【発明を実施するための形態】
【００２３】
本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明をデジタルスチルカメラ（以下、デジタルカメラ）によって実現した場合を例示する。本実施形態にかかるデジタルカメラ１は、一般的なデジタルスチルカメラが有する機能を備えているものとするが、図１に示すように、撮像にかかる構成を２つ備えた、いわゆる複眼カメラ（ステレオカメラ）とする。
【００２４】
このような複眼カメラの構成を有するデジタルカメラ１は、通常の撮像機能に加え、撮像した画像を用いて３次元モデリング（３Ｄモデリング）をおこなう機能を有しているものとする。
【００２５】
このようなデジタルカメラ１の構成を、図２を参照して説明する。図２は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像動作部１００、データ処理部２００、インタフェース（Ｉ／Ｆ）部３００、などである。
【００２６】
撮像動作部１００は、デジタルカメラ１による撮像時の動作をおこなうものであり、図２に示すように、第１撮像部１１０、第２撮像部１２０、などから構成される。
【００２７】
第１撮像部１１０および第２撮像部１２０は、デジタルカメラ１の撮像動作をおこなう部分である。上述したように、本実施形態にかかるデジタルカメラ１は複眼カメラであるため、第１撮像部１１０と第２撮像部１２０とを有する構成であるが、第１撮像部１１０と第２撮像部１２０は同一の構成である。以下、第１撮像部１１０についての構成には１１０番台の参照符号、第２撮像部１２０についての構成には１２０番台の参照符号をそれぞれ付すこととし、これらの参照符号において１桁目が同値となるものは同一の構成であることを示す。
【００２８】
図２に示すように、第１撮像部１１０（第２撮像部１２０）は、光学装置１１１（１２１）やイメージセンサ部１１２（１２２）などから構成されている。
【００２９】
光学装置１１１（１２１）は、例えば、レンズ、絞り機構、シャッタ機構、などを含み、撮像にかかる光学的動作をおこなう。すなわち、光学装置１１１（１２１）の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピードなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。
【００３０】
なお、光学装置１１１（１２１）に含まれるシャッタ機構はいわゆるメカニカルシャッタであり、イメージセンサの動作のみでシャッタ動作をおこなう場合には、光学装置１１１（１２１）にシャッタ機構が含まれていなくてもよい。また、光学装置１１１（１２１）は、後述する制御部２１０による制御によって動作する。
【００３１】
イメージセンサ部１１２（１２２）は、光学装置１１１（１２１）によって集光された入射光に応じた電気信号を生成する、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）などのイメージセンサから構成される。イメージセンサ部１１２（１２２）は、光電変換をおこなうことで、受光に応じた電気信号を発生してデータ処理部２００に出力する。
【００３２】
上述したように、第１撮像部１１０と第２撮像部１２０は同一の構成である。より詳細には、レンズの焦点距離ｆやＦ値、絞り機構の絞り範囲、イメージセンサのサイズや画素数、画素の配列や面積、などといった各仕様がすべて同一である。
【００３３】
このような第１撮像部１１０と第２撮像部１２０を有するデジタルカメラ１は、図１に示すように、光学装置１１１に構成されたレンズと光学装置１２１に構成されたレンズとが、デジタルカメラ１の外面における同一面上に形成された構成とする。
【００３４】
ここでは、シャッタボタンが上になる方向でデジタルカメラ１を水平にした場合に、中心位置が水平方向で同一線上となるよう２つのレンズ（受光部）が配置されるものとする。より詳細には、第１撮像部１１０の光軸と第２撮像部１２０の光軸が平行（輻輳角が０）で、かつ、エピポーラ線が一致している状態である。つまり、第１撮像部１１０と第２撮像部１２０とを同時に動作させた場合、同一被写体についての画像が撮像されることになるが、各画像における光軸位置が横方向にずれている画像となる。
【００３５】
データ処理部２００は、第１撮像部１１０および第２撮像部１２０による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図２に示すように、データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０、などから構成される。
【００３６】
制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサや、ＲＡＭ（Random Access Memory）などの主記憶装置（メモリ）、などから構成され、後述する記憶部２５０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現される。本実施形態では、３Ｄモデリングにかかる処理についても制御部２１０にておこなわれるものとするが、制御部２１０とは独立した専用プロセッサなどがおこなう構成であってもよい。
【００３７】
画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter：アナログ−デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）などから構成され、イメージセンサ部１１２および１２２によって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。
【００３８】
すなわち、イメージセンサ部１１２（１２２）から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンがいわゆる現像処理などをおこなうことで、画質の調整やデータ圧縮などをおこなう。
【００３９】
画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データなどを一時的に格納する。
【００４０】
画像出力部２４０は、例えば、ＲＧＢ信号の生成回路などから構成され、画像メモリ２３０に展開された画像データをＲＧＢ信号などに変換して表示画面（後述する表示部３１０など）に出力する。
【００４１】
記憶部２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムや処理に必要となるパラメータや演算式などが記憶部２５０に格納されているものとする。
【００４２】
外部記憶部２６０は、例えば、メモリカードなどといった、デジタルカメラ１に着脱可能な記憶装置から構成され、デジタルカメラ１で撮像した画像データや生成された３Ｄモデリングデータなどを格納する。
【００４３】
インタフェース部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図２に示すように、表示部３１０、外部インタフェース（Ｉ／Ｆ）部３２０、操作部３３０、などから構成される。
【００４４】
表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像、３Ｄモデリングデータ、などを表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。
【００４５】
外部インタフェース部３２０は、例えば、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子などから構成され、画像データや３Ｄモデリングデータなどを外部のコンピュータ装置へ転送したり、撮像画像や３Ｄモデリング画像などを外部のモニタ装置に表示出力したりする。
【００４６】
操作部３３０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３３０を構成するボタンとして、例えば、シャッタ動作を指示するためのシャッタボタンや、デジタルカメラ１のもつ動作モードを指定するためのモードボタン、３Ｄモデリングをおこなうための設定をはじめとした各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。
【００４７】
ここで、本実施形態では、記憶部２５０に格納されている動作プログラムを制御部２１０が実行することで、後述する各処理が実現されるが、この場合に制御部２１０によって実現される機能を、図３を参照して説明する。
【００４８】
図３は、制御部２１０によって実現される機能を示した機能ブロック図である。ここでは、複眼カメラによって撮像された画像から被写体画像を抽出する機能を実現するために必要な機能構成を示す。この場合、図示するように、制御部２１０は、動作モード処理部２１１、撮像制御部２１２、ファインダ表示処理部２１３、３Ｄモデリング部２１４、などとして機能する。
【００４９】
動作モード処理部２１１は、表示部３１０との協働により、デジタルカメラ１が有する各種動作モードをデジタルカメラ１のユーザに指定させるために必要な画面表示や指定された動作モード毎の設定画面表示などをおこなう他、操作部３３０との協働により、ユーザが指定した動作モードを認識し、当該動作モードの実行に必要なプログラムや演算式などを記憶部２５０から読み出し、制御部２１０の主記憶装置（メモリ）にロードする。
【００５０】
本実施形態では、デジタルカメラ１での撮影後に撮像画像から３Ｄモデリングをおこなう動作モード（３Ｄモデリングモード）がユーザによって指定されるものとし、以下に説明する制御部２１０の各機能構成は、３Ｄモデリングモードが指定されたことに応じて動作モード処理部２１１がロードしたプログラムを実行することで実現される機能構成である。
【００５１】
撮像制御部２１２は、撮像動作部１００（第１撮像部１１０、第２撮像部１２０）を制御することでデジタルカメラ１での撮像動作を実行する。この場合、撮像制御部２１２は、例えば、一般的なデジタルカメラにおいておこなわれている、測光、合焦、自動露出、撮像時の画面表示、などのような撮像にかかる各種の処理と制御をおこなう。
【００５２】
ファインダ表示処理部２１３は、３Ｄモデリングモード下での撮像動作時に特有のファインダ表示処理をおこなう。すなわち、本実施形態にかかるデジタルカメラ１は、いわゆるコンパクトタイプのデジタルスチルカメラであり、撮像動作部１００で得られた動画像を表示部３１０に表示出力することでファインダ表示をおこなうものであるが、３Ｄモデリングモード下では、第１撮像部１１０と第２撮像部１２０の双方で捉えられるように被写体をフレーミングしなければ被写体の形状測定をおこなうことができないので、ファインダ表示処理部２１３は、当該条件を満たすフレーミングとなっているかを撮影者が認識できるようなファインダ表示をおこなう。
【００５３】
３Ｄモデリング部２１４は、第１撮像部１１０と第２撮像部１２０によって撮像された左右画像間で照合をおこなうことにより３Ｄモデリングをおこなう。この場合、３Ｄモデリング部２１４は、例えば、差の２乗和を評価式とするＳＳＤ（Sum of Squared Difference）を用いたテンプレート照合により特徴点を抽出し、抽出した特徴点をドロネー分割することによりポリゴンを生成して３Ｄモデリングをおこなう。
【００５４】
以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。この場合、図３に示した機能のうち、画像処理にかかる機能については、画像処理部２２０によって実現されてもよい。
【００５５】
以上説明したデジタルカメラ１の構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。
【００５６】
（実施形態１）
このような構成のデジタルカメラ１による動作を以下に説明する。ここでは、デジタルカメラ１の動作モードのうち、上述した「３Ｄモデリングモード」が選択された場合の動作例を示す。この場合、デジタルカメラ１によって撮像をおこない、その撮像画像から３Ｄモデリングをおこなう。
【００５７】
この場合、例えば、人物、動物、美術品、その他種々の立体物を被写体としてデジタルカメラ１で撮像し、その撮像画像から被写体を３次元的な画像として表すための３Ｄモデリングデータを生成する。このような３Ｄモデリングデータの生成を目的として「３Ｄモデリングモード」が選択された場合、デジタルカメラ１では「３Ｄモデリング用撮像処理」が実行される。
【００５８】
この「３Ｄモデリング用撮像処理」を、図４に示すフローチャートを参照して説明する。「３Ｄモデリング用撮像処理」は、デジタルカメラ１のユーザが操作部３３０を操作することで、３Ｄモデリングモードを選択したことを契機に開始される。この場合、動作モード処理部２１１が、記憶部２５０に格納されているプログラムなどをロードすることで、図３に示した各機能構成が実現され、以下の処理が実行される。
【００５９】
処理が開始されると、撮像制御部２１２が第１撮像部１１０および第２撮像部１２０の駆動を開始することで（ステップＳ１１）、各撮像部の撮像動作によって左右画像に相当するライブビュー画像が取得される（ステップＳ１２）。
【００６０】
ここで、図１に示すように、本実施形態にかかるデジタルカメラ１においては、被写体に向かって左側に第１撮像部１１０のレンズが配置され、被写体に向かって右側に第２撮像部１２０のレンズが配置されているものとする。この場合におけるレンズ間の距離（基線長）が肉眼での視差に相当するので、第１撮像部１１０によって得られる撮像画像が左目の視野に相当する画像（左目画像）となり、第２撮像部１２０によって得られる撮像画像が右目の視野に相当する画像（右目画像）となる。以下、第１撮像部１１０によって得られた撮像画像を「撮像画像ＣＰ１」とし、第２撮像部１２０によって得られた撮像画像を「撮像画像ＣＰ２」とする。
【００６１】
第１撮像部１１０および第２撮像部１２０によって得られた左右画像は、画像処理部２２０によって処理され、順次画像メモリ２３０に展開される。ファインダ表示処理部２１３は、画像メモリ２３０に展開された左右画像のうち、第１撮像部１１０によって得られた撮像画像（左目画像）のみを取得して表示部３１０に表示することでファインダ表示をおこなう（ステップＳ１３）。ここでのファインダ表示は、撮影者が被写体を捉えることができるようにするための通常のファインダ表示である。
【００６２】
ここで、本実施形態では、例えば、図５（ａ）に示すような撮影場面を想定する。すなわち、３Ｄモデリングデータの取得対象となる立体物を被写体ＴＧとし、この被写体ＴＧをステレオカメラであるデジタルカメラ１で撮影することで、被写体ＴＧの３次元位置や形状を測定して３Ｄモデリングデータを生成する。この場合、ステップＳ１３のファインダ表示では、図５（ａ）に示すように、第１撮像部１１０によって得られた被写体ＴＧを示す撮像画像が表示部３１０に表示される。
【００６３】
このような通常のファインダ表示をおこなうと、ファインダ表示処理部２１３は、当該ファインダ画面上にＡＦ枠を表示するとともに、被写体の最も近い位置に相当するＡＦ枠の指定を促すメッセージを示したＡＦ枠指定画面（図５（ｂ））を表示部３１０に表示する（ステップＳ１４）。ここでは、ファインダ画面上に９点のＡＦ枠が表示されるものとする。ＡＦ枠は、ＡＦによる測距位置を撮影者が指定するためのものであり、一般的なデジタルカメラで通常用いられている既知の技術によって実現される。
【００６４】
ここで、撮影者は、操作部３３０の十字キーなどを操作することで、例えば、図５（ｃ）に示すように、デジタルカメラ１までの距離が最も近くなる被写体ＴＧ上の位置に相当するＡＦ枠を指定し、測距動作の開始を指示するためにシャッタボタン（操作部３３０）の半押し操作をおこなう。このような操作がなされると（ステップＳ１５：Ｙｅｓ）、撮像制御部２１２が撮像動作部１００を制御し、少なくとも第１撮像部１１０を構成しているフォーカス用レンズを可動範囲内で走査させ、指定されたＡＦ枠で画像コントラストが最も高くなるフォーカス位置を探索する。すなわち、いわゆるコントラストＡＦによって、指定されたＡＦ枠で合焦するようフォーカス動作をおこなう（ステップＳ１６）。
【００６５】
デジタルカメラによる通常の撮影においては、このようなコントラストＡＦによる測距によってフォーカスを合わせることになるが、立体物である被写体ＴＧの３Ｄモデリングデータを生成することを目的としている本例の場合、コントラストＡＦによる測距では精度が十分でない場合があるので、より高精度な測距をおこなうための「高精度測距処理」が実行される（ステップＳ１００）。この「高精度測距処理」を、図６に示すフローチャートを参照して説明する。
【００６６】
処理が開始されると、ファインダ表示処理部２１３は、撮像画像ＣＰ１上で指定されたＡＦ枠内の画像と、撮像画像ＣＰ２との間でステレオマッチングをおこなうことで、指定されたＡＦ枠に相当する位置を撮像画像ＣＰ２上で探索する（ステップＳ１０１）。ここでは、デジタルカメラ１に最も近い被写体ＴＧ上の位置がＡＦ枠によって指定されているので、同じ位置が視差に相当するズレをもって両画像上で特定されることになる。
【００６７】
ここでおこなわれるステレオマッチングは、立体画像生成分野において通常おこなわれている既知の技術を用いるものであり、例えば、正規化相関法や方向符号相関法などといった任意の手法が採用しうる。また、ステップＳ１６でおこなったコントラストＡＦにより、精度が低いながらもおよその距離レンジが得られているので、ステップＳ１０１のステレオマッチング動作における探索範囲を当該距離レンジで限定することで、ステレオマッチングにかかる処理の高速化を図ることができる。
【００６８】
ステレオマッチングにより、撮像画像ＣＰ１と撮像画像ＣＰ２の双方で、デジタルカメラ１からの距離が最も近い被写体ＴＧ上の位置が特定されると、ファインダ表示処理部２１３は、三角測量の手法によって測距をおこなう（ステップＳ１０２）。つまり、ステレオマッチングによって判明した当該位置の視差、現在の画角（レンズ焦点距離）、基線長などを要素として三角測量の演算をおこなうことで、指定されたＡＦ枠に相当する被写体ＴＧ上の位置までの距離が演算される。このような三角測量による測距は、通常、ステップＳ１６でおこなったコントラストＡＦによる測距よりも高精度のものとなる。ファインダ表示処理部２１３は、このようにして算出した距離を、被写体ＴＧまでの最近距離Ｄ１とする（ステップＳ１０３）。
【００６９】
ここで、被写体ＴＧは立体物であるため、デジタルカメラ１に対して奥行きがある。よって、被写体ＴＧ全体の正確な３Ｄモデリングデータを生成するには、被写体ＴＧの奥行きに相当する距離を考慮する必要がある。この場合、ステップＳ１６でおこなったようなコントラストＡＦなどによる測距では、そのときの画角（レンズ焦点距離）や絞りによって生じる被写界深度の影響により、被写体ＴＧの奥行きに相当する最遠距離までは正確に測距できない。
【００７０】
よって、本実施形態では、三角測量によって得られた、より精度の高い距離情報を基準にして、被写体ＴＧの奥行き範囲を指定する（ステップＳ１０４）。ここでは、ステップＳ１０１〜ステップＳ１０３の処理で得られた最近距離Ｄ１に、例えば、所定の乗数を乗じることで被写体ＴＧの奥行き範囲を指定する。ここで採用する乗数は任意であり、例えば、固定値であってもよく、あるいは、撮影者が数値を選択するものであってもよい。乗数の指定に際しては、例えば、そのときの画角や最近距離Ｄ１などに基づいて、画角内に収まる被写体ＴＧの大きさの上限などを推定することができるので、その大きさに相当する奥行き範囲となる乗数を演算により求めて指定してもよい。
【００７１】
ファインダ表示処理部２１３は、最近距離Ｄ１にこのような乗数を乗じることで得られた距離を、デジタルカメラ１から最も遠い被写体ＴＧ上の位置までの距離であることを示す最遠距離Ｄ２とし（ステップＳ１０５）、「３Ｄモデリング用撮像処理」（図４）のフローに戻る。
【００７２】
「３Ｄモデリング用撮像処理」では、３Ｄモデリングにおける形状測定を確実におこなえるフレーミングであるか認識可能なファインダ表示をおこなうための「ファインダ表示処理」が引き続き実行される（ステップＳ２００）。この「ファインダ表示処理」を図７に示すフローチャートを参照して説明する。
【００７３】
処理が開始されると、ファインダ表示処理部２１３は、撮像制御部２１２に問い合わせることで、現在の撮像パラメータを取得する（ステップＳ２０１）。ここで取得される撮像パラメータは、主に現在の画角を特定するものであり、例えば、レンズの焦点距離（ズーム値）などである。
【００７４】
ここで画角にかかる撮像パラメータが必要となるのは、第１撮像部１１０および第２撮像部１２０の撮像範囲が画角によって異なるためである。図８は、デジタルカメラ１を上から見た場合の撮像範囲を模式的に示したものであり、図８（ａ）は、画角が比較的広い（すなわち、レンズ焦点距離が広角側）場合の撮像範囲の例を示し、図８（ｂ）は、画角が比較的狭い（すなわち、レンズ焦点距離が望遠側）場合の撮像範囲の例を示したものである。
【００７５】
図８に示したように、第１撮像部１１０と第２撮像部１２０によるステレオカメラとして構成されたデジタルカメラ１では、第１撮像部１１０の撮像範囲と第２撮像部１２０の撮像範囲が重なる部分（オーバーラップエリア）にある被写体については３Ｄモデリングのための形状測定をおこなうことができる（以下、「測定可能範囲」とする）が、重ならない部分（非オーバーラップエリア）にある被写体については、第１撮像部１１０あるいは第２撮像部１２０のいずれかにしか写らないため、形状測定をおこなうことができない（以下、「測定不可範囲」とする）。
【００７６】
被写体のフレーミングが、オーバーラップエリアか非オーバーラップエリアであるかの２分類で判別することは従来もあったが、３Ｄモデリングを目的としている場合、立体物が被写体となるため、その奥行きを考慮する必要がある。すなわち、例えば、図９（ａ）に示すように、オーバーラップエリア（測定可能範囲）と非オーバーラップエリア（測定不可範囲）の関係は距離によって変化するため、本実施形態における被写体ＴＧの場合、最近距離Ｄ１と最遠距離Ｄ２とが同じ分類に属するとは限らない。
【００７７】
この場合において、本実施形態では、ファインダ画像として、第１撮像部１１０によって得られた撮像画像ＣＰ１を用いているので、例えば、図９（ｂ）に示すように、最近距離Ｄ１から最遠距離Ｄ２の範囲で被写体ＴＧがすべて測定可能範囲に収まるようフレーミングされている場合も、図９（ｃ）に示すように、最近距離Ｄ１から最遠距離Ｄ２の範囲で被写体ＴＧの一部が測定不可範囲にかかるようにフレーミングされている場合も、第１撮像部１１０の撮像範囲内に被写体ＴＧがあるため、図９（ｃ）に示した状態となっていることを、撮影者がファインダ画面から認識することができない。
【００７８】
よって、本実施形態では、図９（ｃ）に例示するような状態となっていることをファインダ画面で撮影者が認識できるよう、ステップＳ２０２以降の処理をおこなう。上述のように、本実施形態では、第１撮像部１１０で得られた撮像画像ＣＰ１をファインダ画像としているので、以下、第１撮像部１１０の撮像範囲について、図１０（ａ）に示したような測定可能範囲、測定不可範囲、最近距離Ｄ１、最遠距離Ｄ２の関係を例に説明する。
【００７９】
ファインダ表示処理部２１３は、最近距離Ｄ１での測定可能範囲を演算し（ステップＳ２０２）、演算した範囲を、図１０（ｂ）に示すように、撮像画像ＣＰ１上にあてはめる。ここでは、ステップＳ２０１で取得した撮像パラメータが示す画角、三角測量によって得られている最近距離Ｄ１、基線長、などを要素とした演算によって測定可能範囲を求めることができる。より詳細には、図１０（ａ）に示したような最近距離Ｄ１を示す線分上における測定可能領域と測定不可領域の１次元上の比率を求め、測定可能領域に相当する１次元範囲を、２次元画像である撮像画像ＣＰ１上に適用する。
【００８０】
次に、ファインダ表示処理部２１３は、同様の処理により、最遠距離Ｄ２での測定可能範囲を演算し（ステップＳ２０３）、演算した範囲を、図１０（ｃ）に示すように、撮像画像ＣＰ１上にあてはめる。
【００８１】
ここで、図１０（ａ）に示すように、線分Ｄ１上における測定可能範囲の割合と、線分Ｄ２上における測定可能範囲の割合は異なる。すなわち、図１０（ｂ）に示すような、撮像画像ＣＰ１に割り当てた最近距離Ｄ１での測定可能範囲（以下、「有効範囲候補ＡＤ１」とする）よりも、図１０（ｃ）に示すような、最遠距離Ｄ２での測定可能範囲（以下、「有効範囲候補ＡＤ２」とする）の方が広い。
【００８２】
この場合、有効範囲候補ＡＤ１と有効範囲候補ＡＤ２とが重複する領域（すなわち、有効範囲候補ＡＤ１）は、確実に形状測定をおこなうことができる。よって、本実施形態では、このような領域を「測定可能範囲ＡＡ」（有効範囲）とする（ステップＳ２０４、図１０（ｄ））。
【００８３】
一方、有効範囲候補ＡＤ２と有効範囲候補ＡＤ１との差分となる領域は、デジタルカメラ１からの距離によって形状測定をおこなえる場合とおこなえない場合がある。よって、本実施形態では、このような領域を「測定不明範囲ＢＢ」（暫定有効範囲）とする（ステップＳ２０５、図１０（ｄ））。
【００８４】
また、上記の条件のいずれにも属さない領域では形状測定を全くおこなうことができないので、本実施形態では、このような領域を「測定不可範囲ＣＣ」とする（ステップＳ２０６、図１０（ｄ））。
【００８５】
つまり、本実施形態では、従来の２分類だけでなく、測定不明範囲を加えて判別をおこなうことができるようになる。ここで、測定不明範囲ＢＢに被写体ＴＧがかかる場合、当該部分までの距離などによって測定可否が分かれる。この判別を、撮像画像ＣＰ２とのステレオマッチングによっておこなう。
【００８６】
この場合、ファインダ表示処理部２１３は、図１１（ａ）に示すように、撮像画像ＣＰ１上での測定不明範囲ＢＢの画像と撮像画像ＣＰ２との間でステレオマッチングをおこなう（ステップＳ２０７）。なお、ここでのステレオマッチングでは、各撮像画像の解像度を落とすことで処理の高速化を図ってもよい。
【００８７】
ここで、例えば、図１１（ａ）に示すように、撮像画像ＣＰ２においても被写体ＴＧのすべてが写っているようなフレーミングであれば、図１１（ｂ）に示すように、撮像画像ＣＰ１上で測定不明範囲ＢＢにかかっている被写体ＴＧの部分がマッチングすることになる。
【００８８】
このような部分は一致度が高いので、ファインダ表示処理部２１３は、ステップＳ２０７のステレオマッチングにより、一致度が所定の閾値以上となる画像部分をマッチング領域とし、図１１（ｃ）に示すように、当該領域を測定可能範囲ＡＡに取り込む（ステップＳ２０８）。この場合、当該領域は測定不明範囲ＢＢからは除外されたことになる。
【００８９】
ファインダ表示処理部２１３は、このようにして更新した測定可能範囲ＡＡ、測定不明範囲ＢＢ、測定不可範囲ＣＣが識別可能となるようなファインダ表示をおこなって（ステップＳ２０９）、「３Ｄモデリング用撮像処理」（図４）のフローに戻る。この場合のファインダ表示の例を図１２（ａ）に示す。
【００９０】
ここでは、例えば、測定可能範囲ＡＡに相当する表示領域は通常の表示とし、測定不明範囲ＢＢに相当する表示領域は通常表示よりも輝度を落とし、測定不可領域ＣＣに相当する表示領域はさらに輝度を落とすようなファインダ表示とする。このようなファインダ表示であれば、通常の表示がなされている領域に被写体ＴＧが収まるようにフレーミングすることで、被写体ＴＧの形状測定が確実におこなえることになる。
【００９１】
一方、例えば、図１２（ｂ）に示すように、撮像画像ＣＰ２では被写体ＴＧのすべてが写っていないようなフレーミングである場合、このような撮像画像ＣＰ２で測定不明範囲ＢＢの画像のステレオマッチングをおこなってもマッチングする領域を見つけることができない。この場合、図１１（ｃ）で例示したような測定可能範囲ＡＡの拡張はおこなわれないので、図１２（ｃ）に示すようなファインダ表示となる。
【００９２】
すなわち、撮像画像ＣＰ１上で輝度を落とした表示領域に被写体ＴＧの一部がかかっているように表示される。したがって、撮影者は、このようなファインダ表示から、被写体ＴＧの形状測定をおこなうことができないフレーミングであることを認識することができる。
【００９３】
つまり、撮影者は、図１２（ａ）で示したようなファインダ表示であれば、現在のフレーミングで撮影してもよいと判断できるので、この場合は、撮像動作を指示するための操作であるシャッタボタン（操作部３３０）の全押しをおこなう。
【００９４】
この場合（ステップＳ１７：Ｙｅｓ）、撮像制御部２１２は、第１撮像部１１０と第２撮像部１２０を制御することで撮像動作をおこなう（ステップＳ１８）。ここでは、現在の撮像パラメータで第１撮像部１１０と第２撮像部１２０を同時に駆動させることで、左右画像となる静止画像が取得される。
【００９５】
一方、図１２（ｃ）で示したようなファインダ表示であれば、現在のフレーミングで撮影しても被写体ＴＧの形状測定をおこなえないと判断できるので、撮像指示をおこなわない。この場合、撮影者は、アングルを変えたり、レンズ焦点距離（ズーム値）を変えたりすることでフレーミングを変える。
【００９６】
このような状況では、シャッタボタン（操作部３３０）の全押しがおこなわれない状態が継続する。このような場合（ステップＳ１７：Ｎｏ、ステップＳ１９：Ｙｅｓ）、フレーミングの変化により被写体ＴＧまでの距離も変化した可能性があるため、ファインダ表示処理部２１３は、ステップＳ１４以降の処理をおこなう。すなわち、ＡＦ枠指定画面を再度表示して、撮影者に被写体ＴＧの最近位置を指定させる。
【００９７】
新たなフレーミングの結果、図１２（ａ）に示すようなファインダ表示になれば、撮像指示がなされ、ステップＳ１８で撮像動作がおこなわれる。撮像制御部２１２は、この撮像で得られた左右画像を、例えば、記憶部２５０などに保存する（ステップＳ２０）。
【００９８】
その後、所定時間内に測距開始を指示するシャッタボタン（操作部３３０）の半押しがなされると（ステップＳ２１：Ｙｅｓ）、ステップＳ１３以降の処理がおこなわれ、３Ｄモデリングデータの生成を目的とした撮像が同様におこなわれる。
【００９９】
一方、シャッタボタンの半押し操作がなされずに所定時間が経過した場合（ステップＳ２１：Ｎｏ、ステップＳ２２：Ｙｅｓ）、３Ｄモデリング部２１４は、ステップＳ２０で保存された撮像画像を用いて３Ｄモデリングデータの生成をおこなう（ステップＳ２３）。
【０１００】
なお、本例では制御部２１０の処理負荷を考慮し、撮像動作をおこなわないときに３Ｄモデリングデータの生成をおこなうようにしたが、制御部２１０の処理能力に余裕がある場合や、３Ｄモデリングにかかる処理を制御部２１０とは別の専用プロセッサなどでおこなわせる場合には、撮像動作のバックグラウンドで３Ｄモデリングにかかる処理が並行しておこなわれるようにしてもよい。
【０１０１】
ここで、例えば、３Ｄモデリングモードの解除やデジタルカメラ１の電源オフなどといった所定の終了イベントが発生しなければ（ステップＳ２４：Ｎｏ）、ステップＳ１３以降の処理が再度おこなわれ、被写体ＴＧの奥行きを考慮した測距動作を伴う撮像動作がおこなわれる。
【０１０２】
そして、終了イベントの発生により（ステップＳ２４：Ｙｅｓ）、処理を終了する。
【０１０３】
以上のように、本実施形態にかかる処理によれば、立体物である被写体の奥行きを考慮したより正確な測距をおこなうことで、一方の撮像部による撮像画像をファインダ画像として用いている場合であっても、被写体の形状測定を確実におこなえるフレーミングであるか撮影者に認識させることができる。
【０１０４】
（実施形態２）
上記実施形態１では、被写体ＴＧまでの最近距離Ｄ１を測距し、被写体ＴＧの奥行きが反映された最遠距離Ｄ２については、最近距離Ｄ１に乗数を乗じることで求めたが、例えば、デジタルカメラ１から最も近い被写体ＴＧ上の位置と、デジタルカメラ１から最も遠い被写体ＴＧ上の位置の２つをＡＦ枠で指定することで、最遠距離Ｄ２についても、「高精度測距処理」（図６）と同様の処理で測距するようにしてもよい。
【０１０５】
この場合、「３Ｄモデリング用撮像処理」（図４）のステップＳ１４では、例えば、図１３（ａ）に示すようなＡＦ枠指定画面を表示部３１０に表示する。ここでは、実施形態１の場合と同様のＡＦ枠を表示するとともに、例えば、被写体の最も近い位置と最も遠い位置の指定を促すメッセージなどを表示する。そして、撮影者は、十字キーなどの操作部３３０を操作することで、例えば、図１３（ｂ）に示すように、２つのＡＦ枠を指定する。
【０１０６】
ファインダ表示処理部２１３は、指定された２つのＡＦ枠のそれぞれについて、ステップＳ１６のコントラストＡＦによる測距、および、「高精度測距処理」（ステップＳ１００、図６）による測距をおこなうことで、最近距離Ｄ１と最遠距離Ｄ２を求める。
【０１０７】
このような方法によれば、最遠距離Ｄ２についても三角測量による精度の高い測距をおこなうことができるので、実施形態１で示したような、測定可能範囲ＡＡ、測定不明範囲ＢＢ、測定不可範囲ＣＣの特定をより正確におこなうことができる。
【０１０８】
以上説明したように、本発明を上記実施形態の如く適用することにより、３Ｄモデリングのための撮影をより効率的におこなうことができる。
【０１０９】
この場合において、ＡＦ枠などで指定された被写体部分までの測距を、ステレオカメラによる左右画像を用いたステレオマッチングによる三角測量でおこなうので、デジタルカメラなどで一般的となっているコントラストＡＦよりも精度の高い測距をおこなうことができ、測定可能範囲（有効範囲）の特定をより正確におこなうことができる。
【０１１０】
また、３Ｄモデリング対象となる立体物が被写体であるため、被写体の奥行きを考慮して測定可能範囲（有効範囲）を特定するので、測定可能範囲（有効範囲）の特定をより正確におこなうことができる。
【０１１１】
ここで、被写体の奥行きに相当する範囲では測定可能範囲が変化するため、被写体までの最近距離における測定可能範囲と、被写体までの最遠距離における測定可能範囲の差分となる範囲は測定不明範囲（暫定有効範囲）とし、この範囲の画像と、ファインダ画像として用いていない撮像画像との間でステレオマッチングをおこない、マッチングする部分があれば当該部分を測定可能範囲（有効範囲）に加えるので、アングルや画角によって特定が困難な測定可能範囲（有効範囲）をより確実に特定することができる。
【０１１２】
そして、特定された測定可能範囲（有効範囲）や測定不明範囲（暫定有効範囲）などが撮影者に認識できるようにファインダ表示をおこなうので、３Ｄモデリングなどに必要となる形状測定などを確実におこなえる撮像範囲に被写体をフレーミングしているか撮影時に確認することができ、撮影効率を向上させることができる。
【０１１３】
なお、被写体の奥行きを反映した最遠距離の指定においては、測距した最近距離に基づいて指定することができ、この場合は、少ない処理負荷で、被写体の奥行きを考慮した測定可能範囲（有効範囲）の特定をおこなうことができる。
【０１１４】
一方、最遠距離についても、三角測量による測距によって求めてもよく、この場合は、より正確な最遠距離を用いて測定可能範囲（有効範囲）の特定をおこなうことができる。
【０１１５】
上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【０１１６】
例えば、上記実施形態では、指定されたＡＦ枠でコントラストＡＦによる測距をおこなってから三角測量によるより精度の高い測距をおこなうこととしたが、コントラストＡＦなどによる測距をおこなわずに、三角測量による測距のみであってもよい。
【０１１７】
また、上記実施形態１では、被写体ＴＧまでの最近距離Ｄ１を測距し、最近距離Ｄ１を基準として最遠距離Ｄ２を指定したが、測距する対象を最遠距離とし、これを基準に最近距離を指定するようにしてもよい。
【０１１８】
また、上記実施形態では、撮像画像から３Ｄモデリングデータを生成する構成を含んでいる撮像装置の例を示したが、撮像装置内で３Ｄモデリングデータの生成をおこなわなくてもよい。すなわち、３Ｄモデリングデータの生成は外部装置によっておこなうようにしてもよく、この場合、撮像によって得られる３Ｄモデリングデータの生成に好適な撮像画像を当該外部装置に提供する構成とすればよい。
【０１１９】
なお、上記実施形態の撮像装置と同様の機能や構成を予め備えた撮像装置によって本発明を実現できることはもとより、ステレオカメラの構成を有しているのであれば、既存の撮像装置（デジタルカメラなど）にプログラムを適用することで、本発明にかかる撮像装置として機能させることもできる。この場合、上記実施形態で例示したデジタルカメラ１と同様の構成を備えた撮像装置のコンピュータ（ＣＰＵなどの制御部）に、上述した制御部２１０の機能と同様の機能を実現させるためのプログラムを実行させることで、本発明にかかる撮像装置として機能させることができる。
【０１２０】
なお、上記実施形態では、撮像装置の例として、デジタルスチルカメラを示したが、上記実施形態で例示したデジタルカメラ１と同様の構成を備えているものであれば撮像装置の形態は任意であり、例えば、デジタルビデオカメラなどで本発明にかかる撮像装置を実現することもできる。
【０１２１】
いずれの場合でも、プログラムを適用することで、既存の装置を本発明にかかる画像表示装置として機能させることができる。このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。
【符号の説明】
【０１２２】
１…デジタルカメラ、１１０…第１撮像部、１１１…光学装置、１１２…イメージセンサ部、１２０…第２撮像部、１２１…光学装置、１２２…イメージセンサ部、２００…データ処理部、２１０…制御部、２１１…動作モード処理部、２１２…撮像制御部、２１３…ファインダ表示処理部、２１４…３Ｄモデリング部、２２０…画像処理部、２３０…画像メモリ、２４０…画像出力部、２５０…記憶部、２６０…外部記憶部、３００…Ｉ／Ｆ（インタフェース）部、３１０…表示部、３２０…外部Ｉ／Ｆ（インタフェース）部、３３０…操作部、ＴＧ…被写体、ＣＰ１…（第１撮像部の）撮像画像、ＣＰ２…（第２撮像部の）撮像画像、Ｄ１…最近距離、Ｄ２…最遠距離、ＡＡ…測定可能範囲、ＢＢ…測定不明範囲、ＣＣ…測定不可範囲、ＡＤ１…（Ｄ１における）有効範囲候補、ＡＤ２…（Ｄ２における）有効範囲候補
【技術分野】
【０００１】
本発明は、撮像装置、表示方法、および、プログラムに関し、特に、ステレオカメラを用いたモデリングに好適な撮像装置、表示方法、および、プログラムに関する。
【背景技術】
【０００２】
コンピュータグラフィクスによる３次元（３Ｄ）表現が多く用いられるようになり、よりリアリティのある３Ｄ表現が求められている。このような要求に対し、実際の立体物をカメラで撮像して３Ｄモデリングデータを作成する手法が確立している。この場合、立体物の３次元的位置を認識するため、視差に相当する光軸のズレが設定された、いわゆる複眼カメラ（ステレオカメラ）が用いられる。（例えば、特許文献１）。
【０００３】
このようなステレオカメラでは、光軸位置の異なる２つの撮像部を用いているため、各撮像部の画角には、一方の撮像部からしか写らない部分、すなわち、２つの撮像部の画角で重なり合わない部分（以下、「非オーバーラップエリア」とする）が存在する。この場合において、モデリング対象としている被写体が非オーバーラップエリアにかかっていると、当該被写体の形状測定を正確におこなうことができない。つまり、２つの撮像部の画角で重なる部分（以下、「オーバーラップエリア」とする）に被写体が収まっていなければ、３Ｄモデリングのために必要となる正確な形状測定をおこなうことができない。
【０００４】
ここで、デジタルカメラによってステレオカメラを構成した場合、背面モニタなどにファインダ画像を表示することになるが、表示される画像は、通常、一方の撮像部によって撮像されたものが用いられる。よって、オーバーラップエリアに被写体が収まるようフレーミングしているか撮影時に確認することができなかった。
【０００５】
一方で、撮像部間（レンズ間）の距離（すなわち、基線長）や撮像パラメータ（ズーム倍率など）に基づいてオーバーラップエリアを特定する手法が提案されている（例えば、特許文献２）。このような手法を応用すれば、被写体がオーバーラップエリアに収まっているか否かを撮影者が認識できる動作を実現することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−３１２２号公報
【特許文献２】特開２００６−１２１２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、オーバーラップエリアの範囲は被写体までの距離によって変化する。したがって、より正確にオーバーラップエリアを特定するには被写体の奥行きを考慮した測距をおこなう必要がある。しかしながら、特許文献２の手法では、被写体までの距離を特段考慮していないため、３Ｄモデリングのために立体物を撮像する際、オーバーラップエリアの特定が不正確となる場合がある。
【０００８】
また、カメラのＡＦ（Auto Focus：オートフォーカス）による焦点距離に基づいて被写体までの距離を推定することができるが、被写体の奥行きを考慮した場合、被写界深度分の誤差が生じることがある。このため、被写体の奥行きを考慮した距離推定をおこなうには、ＡＦによる測距結果に被写界深度分の誤差を反映させる必要があるが、被写界深度を決定する要因は複雑であるため、被写体の奥行きに相当する誤差を正確に反映させることは極めて困難である。
【０００９】
さらに、従来の手法では、オーバーラップエリア（形状測定可能な部分）と非オーバーラップエリア（形状測定不可の部分）の２分類で判別することしかできない。この場合、３Ｄモデリング対象となる被写体は立体物であるため、実際には形状測定が可能であるにもかかわらず形状測定不可と判別されたり、実際には形状測定不可であるにもかかわらず形状測定可能と判別されたりする問題がある。
【００１０】
例えば、被写界深度分の誤差が被写体の奥行きに相当する分より大きく設定されてしまうと、実際には被写体が非オーバーラップエリアにかかっていても形状測定可能であると判別され、そのまま撮影されてしまうことがある。この場合、非オーバーラップエリアにかかっている部分のモデリングデータを生成することができないので、撮影のやり直しなどを強いられてしまう。
【００１１】
一方、被写界深度分の誤差が被写体の奥行きに相当する分よりも小さく設定されてしまうと、実際には被写体がオーバーラップエリア内に収まっているにもかかわらず形状測定不可と判別されてしまうことがある。この場合、実際はそのままの撮影で成功するにもかかわらず、撮影条件の見直しなどといった本来は必要のない無駄な作業を撮影者に強いることになる。
【００１２】
すなわち、被写体の奥行きを考慮すると被写界深度分の誤差が生じるような場合、ＡＦによる測距では精度が不十分であるといえ、上記のような問題が顕著となってしまう。つまり、被写体の奥行きを考慮した正確な測距がなされないと、オーバーラップエリアの特定が不正確となり、その結果、撮影効率を著しく低下させてしまうことがある。
【００１３】
本発明は、上記実状を鑑みてなされたものであり、３Ｄモデリングのための撮影をより効率的におこなうことのできる撮像装置、表示方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するため、本発明の第１の観点にかかる撮像装置は、
ステレオカメラを構成する２つの撮像手段と、
一方の前記撮像手段で得られた第１の撮像画像をファインダ画像としてファインダ画面を表示するファインダ表示手段と、
前記ファインダ画像上で指定された領域に基づいて、少なくとも前記ステレオカメラから被写体までの最近距離を三角測量で測距する測距手段と、
前記ステレオカメラから被写体までの最遠距離を指定する最遠距離指定手段と、
前記２つの撮像手段それぞれの撮像範囲が重なる範囲を有効範囲候補として特定する有効範囲候補特定手段と、
前記第１の撮像画像上で、前記最近距離における前記有効範囲候補と、前記最遠距離における前記有効範囲候補を特定し、各有効範囲候補が重複する範囲を有効範囲として特定し、各有効候補範囲の差分となる範囲を暫定有効範囲として特定する有効範囲特定手段と、
前記暫定有効範囲に含まれる画像部分を他方の前記撮像手段で得られた第２の撮像画像で探索し、該当する画像部分が存在する場合、当該部分を前記有効範囲に加える有効範囲拡張手段と、を備え、
前記ファインダ表示手段は、少なくとも、前記有効範囲と前記暫定有効範囲とが識別可能な前記ファインダ画面を表示する、
ことを特徴とする。
【００１５】
上記撮像装置において、
前記測距手段は、前記第１の撮像画像で指定された領域の画像と前記第２の撮像画像との間でステレオマッチングをおこなうことで、該第２の撮像画像上で当該領域に相当する領域を特定して前記三角測量をおこなうことが望ましい。
【００１６】
上記撮像装置において、
前記有効範囲拡張手段は、前記暫定有効範囲の画像と前記第２の撮像画像との間でステレオマッチングをおこなうことで、前記有効範囲に加える部分を探索することが望ましい。
【００１７】
上記撮像装置において、
前記最遠距離指定手段は、前記測距手段によって測距された前記最近距離に基づいて前記最遠距離を指定してもよい。
【００１８】
上記撮像装置において、
前記測距手段は、前記第１の撮像画像上で指定された領域に基づいて、前記最遠距離を測距してもよく、この場合、
前記最遠距離指定手段は、前記測距手段が測距した最遠距離を指定することができる。
【００１９】
上記目的を達成するため、本発明の第２の観点にかかる表示方法は、
ステレオカメラを構成する２つの撮像手段を備える撮像装置において、一方の前記撮像手段で得られた第１の撮像画像をファインダ画像としたファインダ画面を表示する場合に、フレーミングの良否を認識可能なファインダ表示をおこなう表示方法であって、
前記ファインダ画像上で指定された領域に基づいて、少なくとも前記ステレオカメラから被写体までの最近距離を三角測量で測距する測距ステップと、
前記ステレオカメラから被写体までの最遠距離を指定する最遠距離指定ステップと、
前記２つの撮像手段それぞれの撮像範囲が重なる範囲を有効範囲候補として特定する有効範囲候補特定ステップと、
前記第１の撮像画像上で、前記最近距離における前記有効範囲候補と、前記最遠距離における前記有効範囲候補を特定し、各有効範囲候補が重複する範囲を有効範囲として特定し、各有効候補範囲の差分となる範囲を暫定有効範囲として特定する有効範囲特定ステップと、
前記暫定有効範囲に含まれる画像部分を他方の前記撮像手段で得られた第２の撮像画像で探索し、該当する画像部分が存在する場合、当該部分を前記有効範囲に加える有効範囲拡張ステップと、
少なくとも、前記有効範囲と前記暫定有効範囲とが識別可能な前記ファインダ画面を表示するステップと、
を含むことを特徴とする。
【００２０】
上記目的を達成するため、本発明の第３の観点にかかるプログラムは、
ステレオカメラを構成する２つの撮像手段と、一方の前記撮像手段で得られた第１の撮像画像をファインダ画像としてファインダ画面を表示するファインダ表示手段と、を備える撮像装置を制御するコンピュータに、
前記ファインダ画像上で指定された領域に基づいて、少なくとも前記ステレオカメラから被写体までの最近距離を三角測量で測距する機能と、
前記ステレオカメラから被写体までの最遠距離を指定する機能と、
前記２つの撮像手段それぞれの撮像範囲が重なる範囲を有効範囲候補として特定する機能と、
前記第１の撮像画像上で、前記最近距離における前記有効範囲候補と、前記最遠距離における前記有効範囲候補を特定し、各有効範囲候補が重複する範囲を有効範囲として特定し、各有効候補範囲の差分となる範囲を暫定有効範囲として特定する機能と、
前記暫定有効範囲に含まれる画像部分を他方の前記撮像手段で得られた第２の撮像画像で探索し、該当する画像部分が存在する場合、当該部分を前記有効範囲に加える機能と、
少なくとも、前記有効範囲と前記暫定有効範囲とが識別可能な前記ファインダ画面を表示する機能と、
を実現させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、３Ｄモデリングのための撮影をより効率的におこなうことができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態にかかるデジタルカメラの外観構成を示す図である。
【図２】図１に示したデジタルカメラの構成を示すブロック図である。
【図３】図２に示した制御部によって実現される機能を示す機能ブロック図である。
【図４】本発明の実施形態にかかる「３Ｄモデリング用撮像処理」を説明するためのフローチャートである。
【図５】図４に示した「３Ｄモデリング用撮像処理」にかかる動作などを説明するための図であり、（ａ）は、本発明の実施形態で想定する撮影場面の例を示し、（ｂ）および（ｃ）は、「３Ｄモデリング用撮像処理」で表示されるＡＦ枠指定画面の表示例を示す。
【図６】図４に示す「３Ｄモデリング用撮像処理」で実行される「高精度測距処理」を説明するためのフローチャートである。
【図７】図４に示す「３Ｄモデリング用撮像処理」で実行される「ファインダ表示処理」を説明するためのフローチャートである。
【図８】本発明の実施形態にかかるデジタルカメラにおける撮像範囲を説明するための図であり、（ａ）は、画角が広い場合の撮像範囲の例を示し、（ｂ）は、画角が狭い場合の撮像範囲の例を示す。
【図９】図８に例示した撮像範囲と距離の関係を説明するための図であり、（ａ）は、被写体の最近距離および最遠距離による測定可能範囲と測定不可範囲の関係を模式的に示し、（ｂ）は、この場合において被写体が測定可能範囲内にある状況を示し、（ｃ）は、被写体の一部が測定不可範囲にかかっている状況を示す。
【図１０】図９で示した撮像範囲と距離との関係を撮像画像上にあてはめる動作を説明するための図であり、（ａ）は、ファインダ画像として用いられている撮像部における測定可能範囲、測定不可範囲、最近距離、最遠距離の関係を模式的に示し、（ｂ）は、最近距離における測定可能範囲を撮像画像上にあてはめた場合の例を示し、（ｃ）は、最遠距離における測定可能範囲を撮像画像上にあてはめた場合の例を示し、（ｄ）は、これらに基づいて特定される測定可能範囲、測定不明範囲、測定不可範囲の例を示す。
【図１１】図７に示した「ファインダ表示処理」にかかる動作を説明するための図であり、（ａ）は、測定不明範囲を使ったステレオマッチングの対象となる画像の例を示し、（ｂ）は、ステレオマッチングによってマッチングされた部分の例を示し、（ｃ）は、拡張された測定可能範囲の例を示す。
【図１２】図７に示した「ファインダ表示処理」にかかる動作を説明するための図であり、（ａ）は、第２撮像部でも被写体の全体が撮像されている場合のファインダ表示の例を示し、（ｂ）は、第２撮像部では被写体の一部が撮像されていない場合の撮像画像の例を示し、（ｃ）は、この場合のファインダ表示の例を示す。
【図１３】本発明の実施形態２を説明するための図であり、（ａ）および（ｂ）は、実施形態２におけるＡＦ枠指定画面の表示例を示す。
【発明を実施するための形態】
【００２３】
本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明をデジタルスチルカメラ（以下、デジタルカメラ）によって実現した場合を例示する。本実施形態にかかるデジタルカメラ１は、一般的なデジタルスチルカメラが有する機能を備えているものとするが、図１に示すように、撮像にかかる構成を２つ備えた、いわゆる複眼カメラ（ステレオカメラ）とする。
【００２４】
このような複眼カメラの構成を有するデジタルカメラ１は、通常の撮像機能に加え、撮像した画像を用いて３次元モデリング（３Ｄモデリング）をおこなう機能を有しているものとする。
【００２５】
このようなデジタルカメラ１の構成を、図２を参照して説明する。図２は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像動作部１００、データ処理部２００、インタフェース（Ｉ／Ｆ）部３００、などである。
【００２６】
撮像動作部１００は、デジタルカメラ１による撮像時の動作をおこなうものであり、図２に示すように、第１撮像部１１０、第２撮像部１２０、などから構成される。
【００２７】
第１撮像部１１０および第２撮像部１２０は、デジタルカメラ１の撮像動作をおこなう部分である。上述したように、本実施形態にかかるデジタルカメラ１は複眼カメラであるため、第１撮像部１１０と第２撮像部１２０とを有する構成であるが、第１撮像部１１０と第２撮像部１２０は同一の構成である。以下、第１撮像部１１０についての構成には１１０番台の参照符号、第２撮像部１２０についての構成には１２０番台の参照符号をそれぞれ付すこととし、これらの参照符号において１桁目が同値となるものは同一の構成であることを示す。
【００２８】
図２に示すように、第１撮像部１１０（第２撮像部１２０）は、光学装置１１１（１２１）やイメージセンサ部１１２（１２２）などから構成されている。
【００２９】
光学装置１１１（１２１）は、例えば、レンズ、絞り機構、シャッタ機構、などを含み、撮像にかかる光学的動作をおこなう。すなわち、光学装置１１１（１２１）の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピードなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。
【００３０】
なお、光学装置１１１（１２１）に含まれるシャッタ機構はいわゆるメカニカルシャッタであり、イメージセンサの動作のみでシャッタ動作をおこなう場合には、光学装置１１１（１２１）にシャッタ機構が含まれていなくてもよい。また、光学装置１１１（１２１）は、後述する制御部２１０による制御によって動作する。
【００３１】
イメージセンサ部１１２（１２２）は、光学装置１１１（１２１）によって集光された入射光に応じた電気信号を生成する、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）などのイメージセンサから構成される。イメージセンサ部１１２（１２２）は、光電変換をおこなうことで、受光に応じた電気信号を発生してデータ処理部２００に出力する。
【００３２】
上述したように、第１撮像部１１０と第２撮像部１２０は同一の構成である。より詳細には、レンズの焦点距離ｆやＦ値、絞り機構の絞り範囲、イメージセンサのサイズや画素数、画素の配列や面積、などといった各仕様がすべて同一である。
【００３３】
このような第１撮像部１１０と第２撮像部１２０を有するデジタルカメラ１は、図１に示すように、光学装置１１１に構成されたレンズと光学装置１２１に構成されたレンズとが、デジタルカメラ１の外面における同一面上に形成された構成とする。
【００３４】
ここでは、シャッタボタンが上になる方向でデジタルカメラ１を水平にした場合に、中心位置が水平方向で同一線上となるよう２つのレンズ（受光部）が配置されるものとする。より詳細には、第１撮像部１１０の光軸と第２撮像部１２０の光軸が平行（輻輳角が０）で、かつ、エピポーラ線が一致している状態である。つまり、第１撮像部１１０と第２撮像部１２０とを同時に動作させた場合、同一被写体についての画像が撮像されることになるが、各画像における光軸位置が横方向にずれている画像となる。
【００３５】
データ処理部２００は、第１撮像部１１０および第２撮像部１２０による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図２に示すように、データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０、などから構成される。
【００３６】
制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサや、ＲＡＭ（Random Access Memory）などの主記憶装置（メモリ）、などから構成され、後述する記憶部２５０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現される。本実施形態では、３Ｄモデリングにかかる処理についても制御部２１０にておこなわれるものとするが、制御部２１０とは独立した専用プロセッサなどがおこなう構成であってもよい。
【００３７】
画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter：アナログ−デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）などから構成され、イメージセンサ部１１２および１２２によって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。
【００３８】
すなわち、イメージセンサ部１１２（１２２）から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンがいわゆる現像処理などをおこなうことで、画質の調整やデータ圧縮などをおこなう。
【００３９】
画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データなどを一時的に格納する。
【００４０】
画像出力部２４０は、例えば、ＲＧＢ信号の生成回路などから構成され、画像メモリ２３０に展開された画像データをＲＧＢ信号などに変換して表示画面（後述する表示部３１０など）に出力する。
【００４１】
記憶部２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムや処理に必要となるパラメータや演算式などが記憶部２５０に格納されているものとする。
【００４２】
外部記憶部２６０は、例えば、メモリカードなどといった、デジタルカメラ１に着脱可能な記憶装置から構成され、デジタルカメラ１で撮像した画像データや生成された３Ｄモデリングデータなどを格納する。
【００４３】
インタフェース部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図２に示すように、表示部３１０、外部インタフェース（Ｉ／Ｆ）部３２０、操作部３３０、などから構成される。
【００４４】
表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像、３Ｄモデリングデータ、などを表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。
【００４５】
外部インタフェース部３２０は、例えば、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子などから構成され、画像データや３Ｄモデリングデータなどを外部のコンピュータ装置へ転送したり、撮像画像や３Ｄモデリング画像などを外部のモニタ装置に表示出力したりする。
【００４６】
操作部３３０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３３０を構成するボタンとして、例えば、シャッタ動作を指示するためのシャッタボタンや、デジタルカメラ１のもつ動作モードを指定するためのモードボタン、３Ｄモデリングをおこなうための設定をはじめとした各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。
【００４７】
ここで、本実施形態では、記憶部２５０に格納されている動作プログラムを制御部２１０が実行することで、後述する各処理が実現されるが、この場合に制御部２１０によって実現される機能を、図３を参照して説明する。
【００４８】
図３は、制御部２１０によって実現される機能を示した機能ブロック図である。ここでは、複眼カメラによって撮像された画像から被写体画像を抽出する機能を実現するために必要な機能構成を示す。この場合、図示するように、制御部２１０は、動作モード処理部２１１、撮像制御部２１２、ファインダ表示処理部２１３、３Ｄモデリング部２１４、などとして機能する。
【００４９】
動作モード処理部２１１は、表示部３１０との協働により、デジタルカメラ１が有する各種動作モードをデジタルカメラ１のユーザに指定させるために必要な画面表示や指定された動作モード毎の設定画面表示などをおこなう他、操作部３３０との協働により、ユーザが指定した動作モードを認識し、当該動作モードの実行に必要なプログラムや演算式などを記憶部２５０から読み出し、制御部２１０の主記憶装置（メモリ）にロードする。
【００５０】
本実施形態では、デジタルカメラ１での撮影後に撮像画像から３Ｄモデリングをおこなう動作モード（３Ｄモデリングモード）がユーザによって指定されるものとし、以下に説明する制御部２１０の各機能構成は、３Ｄモデリングモードが指定されたことに応じて動作モード処理部２１１がロードしたプログラムを実行することで実現される機能構成である。
【００５１】
撮像制御部２１２は、撮像動作部１００（第１撮像部１１０、第２撮像部１２０）を制御することでデジタルカメラ１での撮像動作を実行する。この場合、撮像制御部２１２は、例えば、一般的なデジタルカメラにおいておこなわれている、測光、合焦、自動露出、撮像時の画面表示、などのような撮像にかかる各種の処理と制御をおこなう。
【００５２】
ファインダ表示処理部２１３は、３Ｄモデリングモード下での撮像動作時に特有のファインダ表示処理をおこなう。すなわち、本実施形態にかかるデジタルカメラ１は、いわゆるコンパクトタイプのデジタルスチルカメラであり、撮像動作部１００で得られた動画像を表示部３１０に表示出力することでファインダ表示をおこなうものであるが、３Ｄモデリングモード下では、第１撮像部１１０と第２撮像部１２０の双方で捉えられるように被写体をフレーミングしなければ被写体の形状測定をおこなうことができないので、ファインダ表示処理部２１３は、当該条件を満たすフレーミングとなっているかを撮影者が認識できるようなファインダ表示をおこなう。
【００５３】
３Ｄモデリング部２１４は、第１撮像部１１０と第２撮像部１２０によって撮像された左右画像間で照合をおこなうことにより３Ｄモデリングをおこなう。この場合、３Ｄモデリング部２１４は、例えば、差の２乗和を評価式とするＳＳＤ（Sum of Squared Difference）を用いたテンプレート照合により特徴点を抽出し、抽出した特徴点をドロネー分割することによりポリゴンを生成して３Ｄモデリングをおこなう。
【００５４】
以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。この場合、図３に示した機能のうち、画像処理にかかる機能については、画像処理部２２０によって実現されてもよい。
【００５５】
以上説明したデジタルカメラ１の構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。
【００５６】
（実施形態１）
このような構成のデジタルカメラ１による動作を以下に説明する。ここでは、デジタルカメラ１の動作モードのうち、上述した「３Ｄモデリングモード」が選択された場合の動作例を示す。この場合、デジタルカメラ１によって撮像をおこない、その撮像画像から３Ｄモデリングをおこなう。
【００５７】
この場合、例えば、人物、動物、美術品、その他種々の立体物を被写体としてデジタルカメラ１で撮像し、その撮像画像から被写体を３次元的な画像として表すための３Ｄモデリングデータを生成する。このような３Ｄモデリングデータの生成を目的として「３Ｄモデリングモード」が選択された場合、デジタルカメラ１では「３Ｄモデリング用撮像処理」が実行される。
【００５８】
この「３Ｄモデリング用撮像処理」を、図４に示すフローチャートを参照して説明する。「３Ｄモデリング用撮像処理」は、デジタルカメラ１のユーザが操作部３３０を操作することで、３Ｄモデリングモードを選択したことを契機に開始される。この場合、動作モード処理部２１１が、記憶部２５０に格納されているプログラムなどをロードすることで、図３に示した各機能構成が実現され、以下の処理が実行される。
【００５９】
処理が開始されると、撮像制御部２１２が第１撮像部１１０および第２撮像部１２０の駆動を開始することで（ステップＳ１１）、各撮像部の撮像動作によって左右画像に相当するライブビュー画像が取得される（ステップＳ１２）。
【００６０】
ここで、図１に示すように、本実施形態にかかるデジタルカメラ１においては、被写体に向かって左側に第１撮像部１１０のレンズが配置され、被写体に向かって右側に第２撮像部１２０のレンズが配置されているものとする。この場合におけるレンズ間の距離（基線長）が肉眼での視差に相当するので、第１撮像部１１０によって得られる撮像画像が左目の視野に相当する画像（左目画像）となり、第２撮像部１２０によって得られる撮像画像が右目の視野に相当する画像（右目画像）となる。以下、第１撮像部１１０によって得られた撮像画像を「撮像画像ＣＰ１」とし、第２撮像部１２０によって得られた撮像画像を「撮像画像ＣＰ２」とする。
【００６１】
第１撮像部１１０および第２撮像部１２０によって得られた左右画像は、画像処理部２２０によって処理され、順次画像メモリ２３０に展開される。ファインダ表示処理部２１３は、画像メモリ２３０に展開された左右画像のうち、第１撮像部１１０によって得られた撮像画像（左目画像）のみを取得して表示部３１０に表示することでファインダ表示をおこなう（ステップＳ１３）。ここでのファインダ表示は、撮影者が被写体を捉えることができるようにするための通常のファインダ表示である。
【００６２】
ここで、本実施形態では、例えば、図５（ａ）に示すような撮影場面を想定する。すなわち、３Ｄモデリングデータの取得対象となる立体物を被写体ＴＧとし、この被写体ＴＧをステレオカメラであるデジタルカメラ１で撮影することで、被写体ＴＧの３次元位置や形状を測定して３Ｄモデリングデータを生成する。この場合、ステップＳ１３のファインダ表示では、図５（ａ）に示すように、第１撮像部１１０によって得られた被写体ＴＧを示す撮像画像が表示部３１０に表示される。
【００６３】
このような通常のファインダ表示をおこなうと、ファインダ表示処理部２１３は、当該ファインダ画面上にＡＦ枠を表示するとともに、被写体の最も近い位置に相当するＡＦ枠の指定を促すメッセージを示したＡＦ枠指定画面（図５（ｂ））を表示部３１０に表示する（ステップＳ１４）。ここでは、ファインダ画面上に９点のＡＦ枠が表示されるものとする。ＡＦ枠は、ＡＦによる測距位置を撮影者が指定するためのものであり、一般的なデジタルカメラで通常用いられている既知の技術によって実現される。
【００６４】
ここで、撮影者は、操作部３３０の十字キーなどを操作することで、例えば、図５（ｃ）に示すように、デジタルカメラ１までの距離が最も近くなる被写体ＴＧ上の位置に相当するＡＦ枠を指定し、測距動作の開始を指示するためにシャッタボタン（操作部３３０）の半押し操作をおこなう。このような操作がなされると（ステップＳ１５：Ｙｅｓ）、撮像制御部２１２が撮像動作部１００を制御し、少なくとも第１撮像部１１０を構成しているフォーカス用レンズを可動範囲内で走査させ、指定されたＡＦ枠で画像コントラストが最も高くなるフォーカス位置を探索する。すなわち、いわゆるコントラストＡＦによって、指定されたＡＦ枠で合焦するようフォーカス動作をおこなう（ステップＳ１６）。
【００６５】
デジタルカメラによる通常の撮影においては、このようなコントラストＡＦによる測距によってフォーカスを合わせることになるが、立体物である被写体ＴＧの３Ｄモデリングデータを生成することを目的としている本例の場合、コントラストＡＦによる測距では精度が十分でない場合があるので、より高精度な測距をおこなうための「高精度測距処理」が実行される（ステップＳ１００）。この「高精度測距処理」を、図６に示すフローチャートを参照して説明する。
【００６６】
処理が開始されると、ファインダ表示処理部２１３は、撮像画像ＣＰ１上で指定されたＡＦ枠内の画像と、撮像画像ＣＰ２との間でステレオマッチングをおこなうことで、指定されたＡＦ枠に相当する位置を撮像画像ＣＰ２上で探索する（ステップＳ１０１）。ここでは、デジタルカメラ１に最も近い被写体ＴＧ上の位置がＡＦ枠によって指定されているので、同じ位置が視差に相当するズレをもって両画像上で特定されることになる。
【００６７】
ここでおこなわれるステレオマッチングは、立体画像生成分野において通常おこなわれている既知の技術を用いるものであり、例えば、正規化相関法や方向符号相関法などといった任意の手法が採用しうる。また、ステップＳ１６でおこなったコントラストＡＦにより、精度が低いながらもおよその距離レンジが得られているので、ステップＳ１０１のステレオマッチング動作における探索範囲を当該距離レンジで限定することで、ステレオマッチングにかかる処理の高速化を図ることができる。
【００６８】
ステレオマッチングにより、撮像画像ＣＰ１と撮像画像ＣＰ２の双方で、デジタルカメラ１からの距離が最も近い被写体ＴＧ上の位置が特定されると、ファインダ表示処理部２１３は、三角測量の手法によって測距をおこなう（ステップＳ１０２）。つまり、ステレオマッチングによって判明した当該位置の視差、現在の画角（レンズ焦点距離）、基線長などを要素として三角測量の演算をおこなうことで、指定されたＡＦ枠に相当する被写体ＴＧ上の位置までの距離が演算される。このような三角測量による測距は、通常、ステップＳ１６でおこなったコントラストＡＦによる測距よりも高精度のものとなる。ファインダ表示処理部２１３は、このようにして算出した距離を、被写体ＴＧまでの最近距離Ｄ１とする（ステップＳ１０３）。
【００６９】
ここで、被写体ＴＧは立体物であるため、デジタルカメラ１に対して奥行きがある。よって、被写体ＴＧ全体の正確な３Ｄモデリングデータを生成するには、被写体ＴＧの奥行きに相当する距離を考慮する必要がある。この場合、ステップＳ１６でおこなったようなコントラストＡＦなどによる測距では、そのときの画角（レンズ焦点距離）や絞りによって生じる被写界深度の影響により、被写体ＴＧの奥行きに相当する最遠距離までは正確に測距できない。
【００７０】
よって、本実施形態では、三角測量によって得られた、より精度の高い距離情報を基準にして、被写体ＴＧの奥行き範囲を指定する（ステップＳ１０４）。ここでは、ステップＳ１０１〜ステップＳ１０３の処理で得られた最近距離Ｄ１に、例えば、所定の乗数を乗じることで被写体ＴＧの奥行き範囲を指定する。ここで採用する乗数は任意であり、例えば、固定値であってもよく、あるいは、撮影者が数値を選択するものであってもよい。乗数の指定に際しては、例えば、そのときの画角や最近距離Ｄ１などに基づいて、画角内に収まる被写体ＴＧの大きさの上限などを推定することができるので、その大きさに相当する奥行き範囲となる乗数を演算により求めて指定してもよい。
【００７１】
ファインダ表示処理部２１３は、最近距離Ｄ１にこのような乗数を乗じることで得られた距離を、デジタルカメラ１から最も遠い被写体ＴＧ上の位置までの距離であることを示す最遠距離Ｄ２とし（ステップＳ１０５）、「３Ｄモデリング用撮像処理」（図４）のフローに戻る。
【００７２】
「３Ｄモデリング用撮像処理」では、３Ｄモデリングにおける形状測定を確実におこなえるフレーミングであるか認識可能なファインダ表示をおこなうための「ファインダ表示処理」が引き続き実行される（ステップＳ２００）。この「ファインダ表示処理」を図７に示すフローチャートを参照して説明する。
【００７３】
処理が開始されると、ファインダ表示処理部２１３は、撮像制御部２１２に問い合わせることで、現在の撮像パラメータを取得する（ステップＳ２０１）。ここで取得される撮像パラメータは、主に現在の画角を特定するものであり、例えば、レンズの焦点距離（ズーム値）などである。
【００７４】
ここで画角にかかる撮像パラメータが必要となるのは、第１撮像部１１０および第２撮像部１２０の撮像範囲が画角によって異なるためである。図８は、デジタルカメラ１を上から見た場合の撮像範囲を模式的に示したものであり、図８（ａ）は、画角が比較的広い（すなわち、レンズ焦点距離が広角側）場合の撮像範囲の例を示し、図８（ｂ）は、画角が比較的狭い（すなわち、レンズ焦点距離が望遠側）場合の撮像範囲の例を示したものである。
【００７５】
図８に示したように、第１撮像部１１０と第２撮像部１２０によるステレオカメラとして構成されたデジタルカメラ１では、第１撮像部１１０の撮像範囲と第２撮像部１２０の撮像範囲が重なる部分（オーバーラップエリア）にある被写体については３Ｄモデリングのための形状測定をおこなうことができる（以下、「測定可能範囲」とする）が、重ならない部分（非オーバーラップエリア）にある被写体については、第１撮像部１１０あるいは第２撮像部１２０のいずれかにしか写らないため、形状測定をおこなうことができない（以下、「測定不可範囲」とする）。
【００７６】
被写体のフレーミングが、オーバーラップエリアか非オーバーラップエリアであるかの２分類で判別することは従来もあったが、３Ｄモデリングを目的としている場合、立体物が被写体となるため、その奥行きを考慮する必要がある。すなわち、例えば、図９（ａ）に示すように、オーバーラップエリア（測定可能範囲）と非オーバーラップエリア（測定不可範囲）の関係は距離によって変化するため、本実施形態における被写体ＴＧの場合、最近距離Ｄ１と最遠距離Ｄ２とが同じ分類に属するとは限らない。
【００７７】
この場合において、本実施形態では、ファインダ画像として、第１撮像部１１０によって得られた撮像画像ＣＰ１を用いているので、例えば、図９（ｂ）に示すように、最近距離Ｄ１から最遠距離Ｄ２の範囲で被写体ＴＧがすべて測定可能範囲に収まるようフレーミングされている場合も、図９（ｃ）に示すように、最近距離Ｄ１から最遠距離Ｄ２の範囲で被写体ＴＧの一部が測定不可範囲にかかるようにフレーミングされている場合も、第１撮像部１１０の撮像範囲内に被写体ＴＧがあるため、図９（ｃ）に示した状態となっていることを、撮影者がファインダ画面から認識することができない。
【００７８】
よって、本実施形態では、図９（ｃ）に例示するような状態となっていることをファインダ画面で撮影者が認識できるよう、ステップＳ２０２以降の処理をおこなう。上述のように、本実施形態では、第１撮像部１１０で得られた撮像画像ＣＰ１をファインダ画像としているので、以下、第１撮像部１１０の撮像範囲について、図１０（ａ）に示したような測定可能範囲、測定不可範囲、最近距離Ｄ１、最遠距離Ｄ２の関係を例に説明する。
【００７９】
ファインダ表示処理部２１３は、最近距離Ｄ１での測定可能範囲を演算し（ステップＳ２０２）、演算した範囲を、図１０（ｂ）に示すように、撮像画像ＣＰ１上にあてはめる。ここでは、ステップＳ２０１で取得した撮像パラメータが示す画角、三角測量によって得られている最近距離Ｄ１、基線長、などを要素とした演算によって測定可能範囲を求めることができる。より詳細には、図１０（ａ）に示したような最近距離Ｄ１を示す線分上における測定可能領域と測定不可領域の１次元上の比率を求め、測定可能領域に相当する１次元範囲を、２次元画像である撮像画像ＣＰ１上に適用する。
【００８０】
次に、ファインダ表示処理部２１３は、同様の処理により、最遠距離Ｄ２での測定可能範囲を演算し（ステップＳ２０３）、演算した範囲を、図１０（ｃ）に示すように、撮像画像ＣＰ１上にあてはめる。
【００８１】
ここで、図１０（ａ）に示すように、線分Ｄ１上における測定可能範囲の割合と、線分Ｄ２上における測定可能範囲の割合は異なる。すなわち、図１０（ｂ）に示すような、撮像画像ＣＰ１に割り当てた最近距離Ｄ１での測定可能範囲（以下、「有効範囲候補ＡＤ１」とする）よりも、図１０（ｃ）に示すような、最遠距離Ｄ２での測定可能範囲（以下、「有効範囲候補ＡＤ２」とする）の方が広い。
【００８２】
この場合、有効範囲候補ＡＤ１と有効範囲候補ＡＤ２とが重複する領域（すなわち、有効範囲候補ＡＤ１）は、確実に形状測定をおこなうことができる。よって、本実施形態では、このような領域を「測定可能範囲ＡＡ」（有効範囲）とする（ステップＳ２０４、図１０（ｄ））。
【００８３】
一方、有効範囲候補ＡＤ２と有効範囲候補ＡＤ１との差分となる領域は、デジタルカメラ１からの距離によって形状測定をおこなえる場合とおこなえない場合がある。よって、本実施形態では、このような領域を「測定不明範囲ＢＢ」（暫定有効範囲）とする（ステップＳ２０５、図１０（ｄ））。
【００８４】
また、上記の条件のいずれにも属さない領域では形状測定を全くおこなうことができないので、本実施形態では、このような領域を「測定不可範囲ＣＣ」とする（ステップＳ２０６、図１０（ｄ））。
【００８５】
つまり、本実施形態では、従来の２分類だけでなく、測定不明範囲を加えて判別をおこなうことができるようになる。ここで、測定不明範囲ＢＢに被写体ＴＧがかかる場合、当該部分までの距離などによって測定可否が分かれる。この判別を、撮像画像ＣＰ２とのステレオマッチングによっておこなう。
【００８６】
この場合、ファインダ表示処理部２１３は、図１１（ａ）に示すように、撮像画像ＣＰ１上での測定不明範囲ＢＢの画像と撮像画像ＣＰ２との間でステレオマッチングをおこなう（ステップＳ２０７）。なお、ここでのステレオマッチングでは、各撮像画像の解像度を落とすことで処理の高速化を図ってもよい。
【００８７】
ここで、例えば、図１１（ａ）に示すように、撮像画像ＣＰ２においても被写体ＴＧのすべてが写っているようなフレーミングであれば、図１１（ｂ）に示すように、撮像画像ＣＰ１上で測定不明範囲ＢＢにかかっている被写体ＴＧの部分がマッチングすることになる。
【００８８】
このような部分は一致度が高いので、ファインダ表示処理部２１３は、ステップＳ２０７のステレオマッチングにより、一致度が所定の閾値以上となる画像部分をマッチング領域とし、図１１（ｃ）に示すように、当該領域を測定可能範囲ＡＡに取り込む（ステップＳ２０８）。この場合、当該領域は測定不明範囲ＢＢからは除外されたことになる。
【００８９】
ファインダ表示処理部２１３は、このようにして更新した測定可能範囲ＡＡ、測定不明範囲ＢＢ、測定不可範囲ＣＣが識別可能となるようなファインダ表示をおこなって（ステップＳ２０９）、「３Ｄモデリング用撮像処理」（図４）のフローに戻る。この場合のファインダ表示の例を図１２（ａ）に示す。
【００９０】
ここでは、例えば、測定可能範囲ＡＡに相当する表示領域は通常の表示とし、測定不明範囲ＢＢに相当する表示領域は通常表示よりも輝度を落とし、測定不可領域ＣＣに相当する表示領域はさらに輝度を落とすようなファインダ表示とする。このようなファインダ表示であれば、通常の表示がなされている領域に被写体ＴＧが収まるようにフレーミングすることで、被写体ＴＧの形状測定が確実におこなえることになる。
【００９１】
一方、例えば、図１２（ｂ）に示すように、撮像画像ＣＰ２では被写体ＴＧのすべてが写っていないようなフレーミングである場合、このような撮像画像ＣＰ２で測定不明範囲ＢＢの画像のステレオマッチングをおこなってもマッチングする領域を見つけることができない。この場合、図１１（ｃ）で例示したような測定可能範囲ＡＡの拡張はおこなわれないので、図１２（ｃ）に示すようなファインダ表示となる。
【００９２】
すなわち、撮像画像ＣＰ１上で輝度を落とした表示領域に被写体ＴＧの一部がかかっているように表示される。したがって、撮影者は、このようなファインダ表示から、被写体ＴＧの形状測定をおこなうことができないフレーミングであることを認識することができる。
【００９３】
つまり、撮影者は、図１２（ａ）で示したようなファインダ表示であれば、現在のフレーミングで撮影してもよいと判断できるので、この場合は、撮像動作を指示するための操作であるシャッタボタン（操作部３３０）の全押しをおこなう。
【００９４】
この場合（ステップＳ１７：Ｙｅｓ）、撮像制御部２１２は、第１撮像部１１０と第２撮像部１２０を制御することで撮像動作をおこなう（ステップＳ１８）。ここでは、現在の撮像パラメータで第１撮像部１１０と第２撮像部１２０を同時に駆動させることで、左右画像となる静止画像が取得される。
【００９５】
一方、図１２（ｃ）で示したようなファインダ表示であれば、現在のフレーミングで撮影しても被写体ＴＧの形状測定をおこなえないと判断できるので、撮像指示をおこなわない。この場合、撮影者は、アングルを変えたり、レンズ焦点距離（ズーム値）を変えたりすることでフレーミングを変える。
【００９６】
このような状況では、シャッタボタン（操作部３３０）の全押しがおこなわれない状態が継続する。このような場合（ステップＳ１７：Ｎｏ、ステップＳ１９：Ｙｅｓ）、フレーミングの変化により被写体ＴＧまでの距離も変化した可能性があるため、ファインダ表示処理部２１３は、ステップＳ１４以降の処理をおこなう。すなわち、ＡＦ枠指定画面を再度表示して、撮影者に被写体ＴＧの最近位置を指定させる。
【００９７】
新たなフレーミングの結果、図１２（ａ）に示すようなファインダ表示になれば、撮像指示がなされ、ステップＳ１８で撮像動作がおこなわれる。撮像制御部２１２は、この撮像で得られた左右画像を、例えば、記憶部２５０などに保存する（ステップＳ２０）。
【００９８】
その後、所定時間内に測距開始を指示するシャッタボタン（操作部３３０）の半押しがなされると（ステップＳ２１：Ｙｅｓ）、ステップＳ１３以降の処理がおこなわれ、３Ｄモデリングデータの生成を目的とした撮像が同様におこなわれる。
【００９９】
一方、シャッタボタンの半押し操作がなされずに所定時間が経過した場合（ステップＳ２１：Ｎｏ、ステップＳ２２：Ｙｅｓ）、３Ｄモデリング部２１４は、ステップＳ２０で保存された撮像画像を用いて３Ｄモデリングデータの生成をおこなう（ステップＳ２３）。
【０１００】
なお、本例では制御部２１０の処理負荷を考慮し、撮像動作をおこなわないときに３Ｄモデリングデータの生成をおこなうようにしたが、制御部２１０の処理能力に余裕がある場合や、３Ｄモデリングにかかる処理を制御部２１０とは別の専用プロセッサなどでおこなわせる場合には、撮像動作のバックグラウンドで３Ｄモデリングにかかる処理が並行しておこなわれるようにしてもよい。
【０１０１】
ここで、例えば、３Ｄモデリングモードの解除やデジタルカメラ１の電源オフなどといった所定の終了イベントが発生しなければ（ステップＳ２４：Ｎｏ）、ステップＳ１３以降の処理が再度おこなわれ、被写体ＴＧの奥行きを考慮した測距動作を伴う撮像動作がおこなわれる。
【０１０２】
そして、終了イベントの発生により（ステップＳ２４：Ｙｅｓ）、処理を終了する。
【０１０３】
以上のように、本実施形態にかかる処理によれば、立体物である被写体の奥行きを考慮したより正確な測距をおこなうことで、一方の撮像部による撮像画像をファインダ画像として用いている場合であっても、被写体の形状測定を確実におこなえるフレーミングであるか撮影者に認識させることができる。
【０１０４】
（実施形態２）
上記実施形態１では、被写体ＴＧまでの最近距離Ｄ１を測距し、被写体ＴＧの奥行きが反映された最遠距離Ｄ２については、最近距離Ｄ１に乗数を乗じることで求めたが、例えば、デジタルカメラ１から最も近い被写体ＴＧ上の位置と、デジタルカメラ１から最も遠い被写体ＴＧ上の位置の２つをＡＦ枠で指定することで、最遠距離Ｄ２についても、「高精度測距処理」（図６）と同様の処理で測距するようにしてもよい。
【０１０５】
この場合、「３Ｄモデリング用撮像処理」（図４）のステップＳ１４では、例えば、図１３（ａ）に示すようなＡＦ枠指定画面を表示部３１０に表示する。ここでは、実施形態１の場合と同様のＡＦ枠を表示するとともに、例えば、被写体の最も近い位置と最も遠い位置の指定を促すメッセージなどを表示する。そして、撮影者は、十字キーなどの操作部３３０を操作することで、例えば、図１３（ｂ）に示すように、２つのＡＦ枠を指定する。
【０１０６】
ファインダ表示処理部２１３は、指定された２つのＡＦ枠のそれぞれについて、ステップＳ１６のコントラストＡＦによる測距、および、「高精度測距処理」（ステップＳ１００、図６）による測距をおこなうことで、最近距離Ｄ１と最遠距離Ｄ２を求める。
【０１０７】
このような方法によれば、最遠距離Ｄ２についても三角測量による精度の高い測距をおこなうことができるので、実施形態１で示したような、測定可能範囲ＡＡ、測定不明範囲ＢＢ、測定不可範囲ＣＣの特定をより正確におこなうことができる。
【０１０８】
以上説明したように、本発明を上記実施形態の如く適用することにより、３Ｄモデリングのための撮影をより効率的におこなうことができる。
【０１０９】
この場合において、ＡＦ枠などで指定された被写体部分までの測距を、ステレオカメラによる左右画像を用いたステレオマッチングによる三角測量でおこなうので、デジタルカメラなどで一般的となっているコントラストＡＦよりも精度の高い測距をおこなうことができ、測定可能範囲（有効範囲）の特定をより正確におこなうことができる。
【０１１０】
また、３Ｄモデリング対象となる立体物が被写体であるため、被写体の奥行きを考慮して測定可能範囲（有効範囲）を特定するので、測定可能範囲（有効範囲）の特定をより正確におこなうことができる。
【０１１１】
ここで、被写体の奥行きに相当する範囲では測定可能範囲が変化するため、被写体までの最近距離における測定可能範囲と、被写体までの最遠距離における測定可能範囲の差分となる範囲は測定不明範囲（暫定有効範囲）とし、この範囲の画像と、ファインダ画像として用いていない撮像画像との間でステレオマッチングをおこない、マッチングする部分があれば当該部分を測定可能範囲（有効範囲）に加えるので、アングルや画角によって特定が困難な測定可能範囲（有効範囲）をより確実に特定することができる。
【０１１２】
そして、特定された測定可能範囲（有効範囲）や測定不明範囲（暫定有効範囲）などが撮影者に認識できるようにファインダ表示をおこなうので、３Ｄモデリングなどに必要となる形状測定などを確実におこなえる撮像範囲に被写体をフレーミングしているか撮影時に確認することができ、撮影効率を向上させることができる。
【０１１３】
なお、被写体の奥行きを反映した最遠距離の指定においては、測距した最近距離に基づいて指定することができ、この場合は、少ない処理負荷で、被写体の奥行きを考慮した測定可能範囲（有効範囲）の特定をおこなうことができる。
【０１１４】
一方、最遠距離についても、三角測量による測距によって求めてもよく、この場合は、より正確な最遠距離を用いて測定可能範囲（有効範囲）の特定をおこなうことができる。
【０１１５】
上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【０１１６】
例えば、上記実施形態では、指定されたＡＦ枠でコントラストＡＦによる測距をおこなってから三角測量によるより精度の高い測距をおこなうこととしたが、コントラストＡＦなどによる測距をおこなわずに、三角測量による測距のみであってもよい。
【０１１７】
また、上記実施形態１では、被写体ＴＧまでの最近距離Ｄ１を測距し、最近距離Ｄ１を基準として最遠距離Ｄ２を指定したが、測距する対象を最遠距離とし、これを基準に最近距離を指定するようにしてもよい。
【０１１８】
また、上記実施形態では、撮像画像から３Ｄモデリングデータを生成する構成を含んでいる撮像装置の例を示したが、撮像装置内で３Ｄモデリングデータの生成をおこなわなくてもよい。すなわち、３Ｄモデリングデータの生成は外部装置によっておこなうようにしてもよく、この場合、撮像によって得られる３Ｄモデリングデータの生成に好適な撮像画像を当該外部装置に提供する構成とすればよい。
【０１１９】
なお、上記実施形態の撮像装置と同様の機能や構成を予め備えた撮像装置によって本発明を実現できることはもとより、ステレオカメラの構成を有しているのであれば、既存の撮像装置（デジタルカメラなど）にプログラムを適用することで、本発明にかかる撮像装置として機能させることもできる。この場合、上記実施形態で例示したデジタルカメラ１と同様の構成を備えた撮像装置のコンピュータ（ＣＰＵなどの制御部）に、上述した制御部２１０の機能と同様の機能を実現させるためのプログラムを実行させることで、本発明にかかる撮像装置として機能させることができる。
【０１２０】
なお、上記実施形態では、撮像装置の例として、デジタルスチルカメラを示したが、上記実施形態で例示したデジタルカメラ１と同様の構成を備えているものであれば撮像装置の形態は任意であり、例えば、デジタルビデオカメラなどで本発明にかかる撮像装置を実現することもできる。
【０１２１】
いずれの場合でも、プログラムを適用することで、既存の装置を本発明にかかる画像表示装置として機能させることができる。このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。
【符号の説明】
【０１２２】
１…デジタルカメラ、１１０…第１撮像部、１１１…光学装置、１１２…イメージセンサ部、１２０…第２撮像部、１２１…光学装置、１２２…イメージセンサ部、２００…データ処理部、２１０…制御部、２１１…動作モード処理部、２１２…撮像制御部、２１３…ファインダ表示処理部、２１４…３Ｄモデリング部、２２０…画像処理部、２３０…画像メモリ、２４０…画像出力部、２５０…記憶部、２６０…外部記憶部、３００…Ｉ／Ｆ（インタフェース）部、３１０…表示部、３２０…外部Ｉ／Ｆ（インタフェース）部、３３０…操作部、ＴＧ…被写体、ＣＰ１…（第１撮像部の）撮像画像、ＣＰ２…（第２撮像部の）撮像画像、Ｄ１…最近距離、Ｄ２…最遠距離、ＡＡ…測定可能範囲、ＢＢ…測定不明範囲、ＣＣ…測定不可範囲、ＡＤ１…（Ｄ１における）有効範囲候補、ＡＤ２…（Ｄ２における）有効範囲候補
【特許請求の範囲】
【請求項１】
ステレオカメラを構成する２つの撮像手段と、
一方の前記撮像手段で得られた第１の撮像画像をファインダ画像としてファインダ画面を表示するファインダ表示手段と、
前記ファインダ画像上で指定された領域に基づいて、少なくとも前記ステレオカメラから被写体までの最近距離を三角測量で測距する測距手段と、
前記ステレオカメラから被写体までの最遠距離を指定する最遠距離指定手段と、
前記２つの撮像手段それぞれの撮像範囲が重なる範囲を有効範囲候補として特定する有効範囲候補特定手段と、
前記第１の撮像画像上で、前記最近距離における前記有効範囲候補と、前記最遠距離における前記有効範囲候補を特定し、各有効範囲候補が重複する範囲を有効範囲として特定し、各有効候補範囲の差分となる範囲を暫定有効範囲として特定する有効範囲特定手段と、
前記暫定有効範囲に含まれる画像部分を他方の前記撮像手段で得られた第２の撮像画像で探索し、該当する画像部分が存在する場合、当該部分を前記有効範囲に加える有効範囲拡張手段と、を備え、
前記ファインダ表示手段は、少なくとも、前記有効範囲と前記暫定有効範囲とが識別可能な前記ファインダ画面を表示する、
ことを特徴とする撮像装置。
【請求項２】
前記測距手段は、前記第１の撮像画像で指定された領域の画像と前記第２の撮像画像との間でステレオマッチングをおこなうことで、該第２の撮像画像上で当該領域に相当する領域を特定して前記三角測量をおこなう、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記有効範囲拡張手段は、前記暫定有効範囲の画像と前記第２の撮像画像との間でステレオマッチングをおこなうことで、前記有効範囲に加える部分を探索する、
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記最遠距離指定手段は、前記測距手段によって測距された前記最近距離に基づいて前記最遠距離を指定する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記測距手段は、前記第１の撮像画像上で指定された領域に基づいて、前記最遠距離を測距し、
前記最遠距離指定手段は、前記測距手段が測距した最遠距離を指定する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
ステレオカメラを構成する２つの撮像手段を備える撮像装置において、一方の前記撮像手段で得られた第１の撮像画像をファインダ画像としたファインダ画面を表示する場合に、フレーミングの良否を認識可能なファインダ表示をおこなう表示方法であって、
前記ファインダ画像上で指定された領域に基づいて、少なくとも前記ステレオカメラから被写体までの最近距離を三角測量で測距する測距ステップと、
前記ステレオカメラから被写体までの最遠距離を指定する最遠距離指定ステップと、
前記２つの撮像手段それぞれの撮像範囲が重なる範囲を有効範囲候補として特定する有効範囲候補特定ステップと、
前記第１の撮像画像上で、前記最近距離における前記有効範囲候補と、前記最遠距離における前記有効範囲候補を特定し、各有効範囲候補が重複する範囲を有効範囲として特定し、各有効候補範囲の差分となる範囲を暫定有効範囲として特定する有効範囲特定ステップと、
前記暫定有効範囲に含まれる画像部分を他方の前記撮像手段で得られた第２の撮像画像で探索し、該当する画像部分が存在する場合、当該部分を前記有効範囲に加える有効範囲拡張ステップと、
少なくとも、前記有効範囲と前記暫定有効範囲とが識別可能な前記ファインダ画面を表示するステップと、
を含むことを特徴とする表示方法。
【請求項７】
ステレオカメラを構成する２つの撮像手段と、一方の前記撮像手段で得られた第１の撮像画像をファインダ画像としてファインダ画面を表示するファインダ表示手段と、を備える撮像装置を制御するコンピュータに、
前記ファインダ画像上で指定された領域に基づいて、少なくとも前記ステレオカメラから被写体までの最近距離を三角測量で測距する機能と、
前記ステレオカメラから被写体までの最遠距離を指定する機能と、
前記２つの撮像手段それぞれの撮像範囲が重なる範囲を有効範囲候補として特定する機能と、
前記第１の撮像画像上で、前記最近距離における前記有効範囲候補と、前記最遠距離における前記有効範囲候補を特定し、各有効範囲候補が重複する範囲を有効範囲として特定し、各有効候補範囲の差分となる範囲を暫定有効範囲として特定する機能と、
前記暫定有効範囲に含まれる画像部分を他方の前記撮像手段で得られた第２の撮像画像で探索し、該当する画像部分が存在する場合、当該部分を前記有効範囲に加える機能と、
少なくとも、前記有効範囲と前記暫定有効範囲とが識別可能な前記ファインダ画面を表示する機能と、
を実現させることを特徴とするプログラム。
【請求項１】
ステレオカメラを構成する２つの撮像手段と、
一方の前記撮像手段で得られた第１の撮像画像をファインダ画像としてファインダ画面を表示するファインダ表示手段と、
前記ファインダ画像上で指定された領域に基づいて、少なくとも前記ステレオカメラから被写体までの最近距離を三角測量で測距する測距手段と、
前記ステレオカメラから被写体までの最遠距離を指定する最遠距離指定手段と、
前記２つの撮像手段それぞれの撮像範囲が重なる範囲を有効範囲候補として特定する有効範囲候補特定手段と、
前記第１の撮像画像上で、前記最近距離における前記有効範囲候補と、前記最遠距離における前記有効範囲候補を特定し、各有効範囲候補が重複する範囲を有効範囲として特定し、各有効候補範囲の差分となる範囲を暫定有効範囲として特定する有効範囲特定手段と、
前記暫定有効範囲に含まれる画像部分を他方の前記撮像手段で得られた第２の撮像画像で探索し、該当する画像部分が存在する場合、当該部分を前記有効範囲に加える有効範囲拡張手段と、を備え、
前記ファインダ表示手段は、少なくとも、前記有効範囲と前記暫定有効範囲とが識別可能な前記ファインダ画面を表示する、
ことを特徴とする撮像装置。
【請求項２】
前記測距手段は、前記第１の撮像画像で指定された領域の画像と前記第２の撮像画像との間でステレオマッチングをおこなうことで、該第２の撮像画像上で当該領域に相当する領域を特定して前記三角測量をおこなう、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記有効範囲拡張手段は、前記暫定有効範囲の画像と前記第２の撮像画像との間でステレオマッチングをおこなうことで、前記有効範囲に加える部分を探索する、
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記最遠距離指定手段は、前記測距手段によって測距された前記最近距離に基づいて前記最遠距離を指定する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記測距手段は、前記第１の撮像画像上で指定された領域に基づいて、前記最遠距離を測距し、
前記最遠距離指定手段は、前記測距手段が測距した最遠距離を指定する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
ステレオカメラを構成する２つの撮像手段を備える撮像装置において、一方の前記撮像手段で得られた第１の撮像画像をファインダ画像としたファインダ画面を表示する場合に、フレーミングの良否を認識可能なファインダ表示をおこなう表示方法であって、
前記ファインダ画像上で指定された領域に基づいて、少なくとも前記ステレオカメラから被写体までの最近距離を三角測量で測距する測距ステップと、
前記ステレオカメラから被写体までの最遠距離を指定する最遠距離指定ステップと、
前記２つの撮像手段それぞれの撮像範囲が重なる範囲を有効範囲候補として特定する有効範囲候補特定ステップと、
前記第１の撮像画像上で、前記最近距離における前記有効範囲候補と、前記最遠距離における前記有効範囲候補を特定し、各有効範囲候補が重複する範囲を有効範囲として特定し、各有効候補範囲の差分となる範囲を暫定有効範囲として特定する有効範囲特定ステップと、
前記暫定有効範囲に含まれる画像部分を他方の前記撮像手段で得られた第２の撮像画像で探索し、該当する画像部分が存在する場合、当該部分を前記有効範囲に加える有効範囲拡張ステップと、
少なくとも、前記有効範囲と前記暫定有効範囲とが識別可能な前記ファインダ画面を表示するステップと、
を含むことを特徴とする表示方法。
【請求項７】
ステレオカメラを構成する２つの撮像手段と、一方の前記撮像手段で得られた第１の撮像画像をファインダ画像としてファインダ画面を表示するファインダ表示手段と、を備える撮像装置を制御するコンピュータに、
前記ファインダ画像上で指定された領域に基づいて、少なくとも前記ステレオカメラから被写体までの最近距離を三角測量で測距する機能と、
前記ステレオカメラから被写体までの最遠距離を指定する機能と、
前記２つの撮像手段それぞれの撮像範囲が重なる範囲を有効範囲候補として特定する機能と、
前記第１の撮像画像上で、前記最近距離における前記有効範囲候補と、前記最遠距離における前記有効範囲候補を特定し、各有効範囲候補が重複する範囲を有効範囲として特定し、各有効候補範囲の差分となる範囲を暫定有効範囲として特定する機能と、
前記暫定有効範囲に含まれる画像部分を他方の前記撮像手段で得られた第２の撮像画像で探索し、該当する画像部分が存在する場合、当該部分を前記有効範囲に加える機能と、
少なくとも、前記有効範囲と前記暫定有効範囲とが識別可能な前記ファインダ画面を表示する機能と、
を実現させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−１９１５６８（Ｐ２０１１−１９１５６８Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１０−５８４８３（Ｐ２０１０−５８４８３）
【出願日】平成２２年３月１５日（２０１０．３．１５）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２２年３月１５日（２０１０．３．１５）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]