電子機器
【課題】撮影画像上において主要被写体を遮蔽する不要被写体を良好に除去する。
【解決手段】撮像装置と主要被写体（３１１、３１２）との間に不要被写体（３１３）が存在しているとき、撮像装置にパン操作を施しながら、複数回の撮影によって複数の入力画像（ＩＡ［１］〜ＩＡ［３］）を得る。出力画像生成部は、出力画像上において不要被写体が除去されるように複数の入力画像から出力画像を生成する。例えば、入力画像ＩＡ［２］における不要被写体領域（ドット領域に相当）内の画像を入力画像ＩＡ［１］及びＩＡ［３］を用いて加工することで、出力画像において不要被写体を除去する。
【解決手段】撮像装置と主要被写体（３１１、３１２）との間に不要被写体（３１３）が存在しているとき、撮像装置にパン操作を施しながら、複数回の撮影によって複数の入力画像（ＩＡ［１］〜ＩＡ［３］）を得る。出力画像生成部は、出力画像上において不要被写体が除去されるように複数の入力画像から出力画像を生成する。例えば、入力画像ＩＡ［２］における不要被写体領域（ドット領域に相当）内の画像を入力画像ＩＡ［１］及びＩＡ［３］を用いて加工することで、出力画像において不要被写体を除去する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置等の電子機器に関する。
【背景技術】
【０００２】
撮像装置を用いて主要被写体を撮影する際、撮影画像に不要被写体（不要な物体）が写りこむことがある。特に例えば、図１３に示す如く不要被写体９１３が撮像装置９０１と主要被写体９１１及び９１２との間に位置している場合、図１４（ａ）に示すような画像の撮影をユーザが望んでいても、主要被写体９１１及び９１２の全部又は一部が不要被写体９１３によって遮蔽されて、実際には図１４（ｂ）に示すような画像が撮影されることになる。図１４（ｂ）において、ドット領域（ドットで満たされた領域）は、人物としての被写体９１３の後頭部を表している（後述の図１４（ｃ）においても同様）。
【０００３】
撮像装置９０１を平行移動又は回転させることで、図１４（ｃ）に示す如く主要被写体９１１及び９１２の全体を撮影することも可能であるが、この場合には、撮影画像の構図が撮影者の所望構図からずれることがある（即ち、撮影構図が悪くなることがある）。
【０００４】
撮影画像に写りこんだ不要被写体（不要物体）を画像処理によって除去する方法が様々に提案されている。例えば、ノイズ低減処理等を利用して、撮影画像上における人物のしみやしわを除去する方法が提案されている（下記特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２０８３４号公報
【特許文献２】特開２００９−１８２４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような画像処理方法では、不要被写体９１３によって遮蔽されている画像部分（図１４（ｂ）において、主要被写体９１１及び９１２の胴体の一部）を正確に補間することはできないため、良好な結果画像を得がたい。
【０００７】
そこで本発明は、不要被写体が良好に除去された結果画像を得ることのできる電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る電子機器は、被写体群を互いに異なる視点から撮影することで得た複数の入力画像を取得する入力画像取得部と、前記複数の入力画像に基づき出力画像を生成する出力画像生成部と、を備えた電子機器であって、前記出力画像生成部は、前記複数の入力画像に含まれる何れかの入力画像内の不要被写体の画像を、他の入力画像を用いて除去し、前記不要被写体の除去の成された画像を前記出力画像として生成することを特徴とする。
【０００９】
上記複数の入力画像を用いることで不要被写体が除去された部分の良好なる補間が期待され、結果、良好な結果画像（出力画像）を得ることが可能となる。
【００１０】
具体的には例えば、当該電子機器に、入力操作を受けるユーザインターフェースを更に設けても良く、前記不要被写体を前記入力操作に基づいて決定しても良い。
【００１１】
また例えば、前記入力操作によって距離範囲が指定され、前記距離範囲は、実空間上における基準地点からの距離の範囲を表し、前記出力画像生成部は、指定された距離範囲外に位置する被写体が前記不要被写体として前記出力画像から除去されるように、前記複数の入力画像から前記出力画像を生成してもよい。
【００１２】
また例えば、前記出力画像生成部は、前記出力画像が前記距離範囲に応じた被写界深度を持つように前記出力画像を生成してもよい。
【００１３】
また例えば、前記電子機器は撮像装置であっても良く、電子機器としての撮像装置は、前記被写体群の撮影画像を順次取得する撮像部及び前記撮影画像を順次表示する表示部を更に備えて、前記撮像部を用いて前記複数の入力画像を取得し、前記表示部にて前記撮影画像を表示する際、前記不要被写体の表示領域とそれ以外の表示領域とが視覚的に区別できるような表示を成しても良い。
【００１４】
これにより、ユーザは、不要被写体の領域とそれ以外の領域（例えば主要被写体の領域）とを容易に認識することが可能となる。
【発明の効果】
【００１５】
本発明によれば、不要被写体が良好に除去された結果画像を得ることのできる電子機器を提供することが可能である。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】被写体距離の意義を説明するための図（ａ）と、注目画像を示す図（ｂ）と、被写界深度の意義を説明するための図（ｃ）である。
【図４】本発明の実施形態にて想定される、撮像装置と複数の被写体との位置関係を示す図である。
【図５】図１の撮像装置によって取得されうる、複数の撮影画像を示す図である。
【図６】図１に示される撮像装置の一部のブロック図である。
【図７】本発明の実施形態に係る複数の入力画像を示す図である。
【図８】本発明の実施形態に係る複数の入力画像の具体例を示す図である。
【図９】本発明の実施形態に係る距離範囲の意義を説明するための図である。
【図１０】本発明の実施形態に係る出力画像の例を示す図である。
【図１１】本発明の実施形態に係る撮像装置の動作フローチャートである。
【図１２】本発明の実施形態に係り、プレビュー画像を示す図（ａ）と、該プレビュー画像に基づく表示画像を示す図（ｂ）（ｃ）である。
【図１３】従来技術に係り、撮像装置と複数の被写体との位置関係を示す図である。
【図１４】従来の撮像装置によって取得されうる、複数の撮影画像を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を付記することによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。例えば、入力画像を記号Ｉ［ｉ］によって表す場合（図７参照）、入力画像Ｉ［ｉ］を画像Ｉ［ｉ］又は単にＩ［ｉ］と表記する場合がある。
【００１８】
図１は、本発明の実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影及び記録可能なデジタルスチルカメラであっても良い。また、撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００１９】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。尚、表示部１５は撮像装置１の外部機器（不図示）に設けられたものである、と解釈しても良い。
【００２０】
撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。光軸とは、撮像部１１における光軸（撮像装置１における光軸）を指す。主制御部１３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度（即ち絞り値）が制御される。
【００２１】
撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。
【００２２】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は主制御部１３によって制御される。主制御部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。ＡＦＥ１２の出力信号そのものによって表される画像、又は、ＡＦＥ１２の出力信号そのものによって表される画像に対して所定の画像処理を施して得られる画像を、撮影画像という。主制御部１３は、表示部１５の表示内容を制御する表示制御部２２を備え、表示に必要な制御を表示部１５に対して行う。
【００２３】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。
【００２４】
表示部１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮影画像や記録媒体１６に記録されている画像などを表示する。本明細書において、単に表示及び表示画面と言った場合、それらは、表示部１５における表示及び表示画面を指すものとする。表示部１５にはタッチパネル１９が設けられており、ユーザは、表示部１５の表示画面を操作体（指やタッチペンなど）で触れることで撮像装置１に特定の指示を与えることができる。尚、タッチパネル１９を割愛することも可能である。
【００２５】
記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像の映像信号等を記録する。操作部１７は、静止画像の撮影指示を受け付けるシャッタボタン２０及び動画像の撮影開始指示又は撮影終了指示を受け付ける録画ボタン２１等を備え、外部からの各種操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。操作部１７及びタッチパネル１９を、ユーザからの任意の指示及び操作を受けるユーザインターフェースと呼ぶことができ、以下、操作部１７若しくはタッチパネル１９を、又は、それらをまとめてユーザインターフェースと呼ぶ。シャッタボタン２０及び録画ボタン２１は、タッチパネル１９上のボタンであってもよい。
【００２６】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された画像（静止画像又は動画像）を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。
【００２７】
撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表す映像信号を画像データとも呼ぶ。映像信号は、例えば、輝度信号及び色差信号を含む。或る画素に対する画像データを、画素信号と呼ぶこともある。或る画像の大きさ又は画像領域の大きさを、画像サイズとも呼ぶ。注目画像又は注目画像領域の画像サイズを、注目画像を形成する画素の数又は注目画像領域に属する画素の数にて表現することができる。尚、本明細書では、或る画像の画像データのことを単に画像と言うこともある。従って、例えば、入力画像の生成、取得、記録、加工、変形、編集又は保存とは、入力画像の画像データの生成、取得、記録、加工、変形、編集又は保存を意味する。
【００２８】
図３（ａ）に示す如く、任意の被写体と撮像装置１（より具体的には撮像素子３３）との間における実空間上の距離を、被写体距離と呼ぶ。図３（ｂ）に示す注目画像３００の撮影時において、撮像部１１の被写界深度内の被写体距離を有する被写体３０１は注目画像３００上で合焦しており、撮像部１１の被写界深度外の被写体距離を有する被写体３０２は注目画像３００上で合焦していない（図３（ｃ）参照）。図３（ｂ）では、被写体の像のボケ具合いを、被写体の輪郭線の太さによって表現している。
【００２９】
撮像装置１の撮影領域内に収まる全ての被写体の集まりを被写体群と呼ぶ。被写体群には、撮影者が注目している１以上の主要被写体と、撮影者にとって不要な物体である１以上の不要被写体と、が含まれる。被写体を物体と呼ぶこともできる（従って例えば、被写体群、主要被写体及び不要被写体を、夫々、物体群、主要物体及び不要物体と呼ぶこともできる）。本実施形態では、図４に示す如く被写体群の中に、人物である被写体３１１〜３１３が含まれていることを想定し、撮影者にとっての主要被写体は被写体３１１及び３１２であって且つ被写体３１３は不要被写体であるとする。また、被写体３１１、３１２及び３１３の被写体距離をそれぞれ記号ｄ３１１、ｄ３１２及びｄ３１３にて表す。ここで、０＜ｄ３１３＜ｄ３１１＜ｄ３１２、が成立する。つまり、撮像装置１と被写体３１１及び３１２との間に、不要被写体３１２が存在している。また、撮像装置１と被写体３１１〜３１３は、概ね一直線上に並んでいるものとする。被写体群に、被写体３１１〜３１３以外の背景被写体（例えば、山や建物)が含まれていても良い。背景被写体とは、主要被写体よりも大きな被写体距離を有する被写体である。従って、背景被写体の被写体距離は距離ｄ３１２よりも大きい。
【００３０】
ユーザとしての撮影者は、図５（ａ）に示すような、被写体３１３を含まない画像の取得を望んでいる。しかし、被写体３１３の存在により、実際の撮影画像は、例えば図５（ｂ）のようになる。図５（ｂ）において、ドット領域（ドットで満たされた領域）は被写体３１３の後頭部を表している（後述の図５（ｃ）及び図８等においても同様）。図５（ｂ）の撮影画像上では主要被写体３１１及び３１２の一部が被写体３１３の後頭部によって遮蔽されている。また、撮像装置１を平行移動又は回転させることで、図５（ｃ）に示す如く主要被写体３１１及び３１２の全体を撮影することも可能であるが、この場合には、撮影画像の構図が撮影者の所望構図からずれることがある。
【００３１】
撮像装置１は、図４に示すような状況下においても、主要被写体に対して良好な構図を有する画像（以下、出力画像と呼ぶ）を生成することが可能である。図６に、出力画像の生成に特に関与する部位のブロック図を示す。図６の符号５１〜５５によって参照される各部位を、例えば図１の主制御部１３に設けておくことができる。
【００３２】
入力画像取得部５１は、撮像部１１の出力信号に基づく複数の入力画像を取得する。撮像部１１は周期的に又は間欠的に被写体群の撮影を行うことで被写体群の撮影画像を順次取得することができる。各入力画像は、撮像部１１を用いて被写体群を撮影することで得た静止画像（即ち、被写体群の撮影画像）である。入力画像取得部５１は、ＡＦＥ１２の出力信号を直接ＡＦＥ１２から受けることで各入力画像を取得することができる。或いは、被写体群の各撮影画像を一旦記録媒体１６に記録しておき、記録媒体１６から読み出した被写体群の各撮影画像を入力画像取得部５１に与えることで入力画像取得部５１に各入力画像を取得させても良い。
【００３３】
図７に示す如く、複数の入力画像を記号Ｉ［１］〜Ｉ［ｎ］によって表す（ｎは２以上の整数）。入力画像Ｉ［ｉ］と入力画像Ｉ［ｊ］との間には視差が存在する（ｉ及びｊは整数であってｉ≠ｊ）。換言すれば、入力画像Ｉ［ｉ］の視点と入力画像Ｉ［ｊ］の視点は互いに異なる。つまり、入力画像Ｉ［ｉ］の撮影時における撮像装置１の位置（より具体的には撮像素子３３の位置）と、入力画像Ｉ［ｊ］の撮影時における撮像装置１の位置（より具体的には撮像素子３３の位置）とは、互いに異なる。図８に、入力画像Ｉ［１］〜Ｉ［ｎ］の例である入力画像ＩＡ［１］〜ＩＡ［３］を示す。図８の例では、ｎ＝３である。入力画像ＩＡ［１］は左側の主要被写体である被写体３１１を優先して撮影した画像であり、入力画像ＩＡ［２］は構図の良好さを優先して撮影した画像であり、入力画像ＩＡ［３］は右側の主要被写体である被写体３１２を優先して撮影した画像である。尚、本実施形態では、説明の便宜上、入力画像Ｉ［１］〜Ｉ［ｎ］の撮影時において、被写体３１１〜３１３は実空間上で静止しており、被写体距離ｄ３１１〜ｄ３１３は不変であるとする。
【００３４】
例えば、入力画像Ｉ［１］〜Ｉ［ｎ］を、以下の第１〜第３の入力画像生成方法の何れかにて生成することができる。
【００３５】
・第１の入力画像生成方法を説明する。第１の入力画像生成方法では、例えば、撮像装置１にパン操作を行いながら得た複数の撮影画像が複数の入力画像として取得される。より具体的には、第１の入力画像生成方法において、ユーザは、被写体群を撮像装置１の撮影領域内に収めつつ、シャッタボタン２０を押し続けた状態で撮像装置１の位置（及び撮影方向）を少しずつ変化させる（例えば、撮像装置１にパン操作を行う）。シャッタボタン２０が押し続けられている期間中、撮像部１１は周期的に被写体群の撮影を繰り返し行い、これによって時系列に並ぶ複数の撮影画像（被写体群の撮影画像）を得る。入力画像取得部５１は、この複数の撮影画像を、入力画像Ｉ［１］〜Ｉ［ｎ］として得る。
【００３６】
・第２の入力画像生成方法を説明する。第１の入力画像生成方法と同様、第２の入力画像生成方法においても、例えば、撮像装置１にパン操作を行いながら得た複数の撮影画像が複数の入力画像として取得される。但し、第２の入力画像生成方法では、各入力画像の撮影タイミングがユーザにより明確に指定される。即ち例えば、第２の入力画像生成方法において、ユーザは、被写体群を撮像装置１の撮影領域内に収めた状態で撮像装置１の位置（及び撮影方向）を少しずつ変化させながら、その変化の度にシャッタボタン２０を押下する。シャッタボタン２０が第１、第２、・・・、第ｎの時刻において順次押下された場合、第１、第２、・・・、第ｎの時刻における撮像部１１の撮影画像が、夫々、入力画像Ｉ［１］、Ｉ［２］、・・・、Ｉ［ｎ］として得られる。
【００３７】
・第３の入力画像生成方法を説明する。第３の入力画像生成方法では、動画像の中から入力画像が抽出される。具体的には例えば、撮像部１１を用いて被写体群を動画像ＭＩとして撮影し、この動画像ＭＩを記録媒体１６に記録しておく。周知の如く、動画像ＭＩは所定のフレーム周期での周期的撮影によって得られたフレーム画像の集まりであり、各々のフレーム画像は、撮像部１１で撮影された静止画像である。第３の入力画像生成方法では、動画像ＭＩを形成する複数のフレーム画像の中からｎ枚のフレーム画像を入力画像Ｉ［１］〜Ｉ［ｎ］として抽出する。動画像ＭＩを形成する何れのフレーム画像を入力画像として抽出するのかを、ユーザがユーザインターフェースを介して指定しても良い。或いは、フレーム画像間のオプティカルフロー等に基づき、入力画像取得部５１が入力画像に適したフレーム画像を判定し、その判定結果に従ったｎ枚のフレーム画像を入力画像Ｉ［１］〜Ｉ［ｎ］として抽出するようにしても良い。更に或いは、動画像ＭＩを形成する全てのフレーム画像を入力画像Ｉ［１］〜Ｉ［ｎ］として用いるようにしても良い。
【００３８】
距離マップ生成部（不図示）は、入力画像に対する被写体距離検出処理により、各入力画像に対する距離マップを生成することができる。距離マップ生成部を、主制御部１３（例えば、図６の出力画像生成部５２）に設けておくことができる。被写体距離検出処理では、入力画像の各画素における被写体の被写体距離を検出し、その検出結果（入力画像の各画素における被写体の被写体距離の検出値）を表す距離データから距離マップを生成する。距離マップは、自身を形成する各画素値が被写体距離の検出値を持つ距離画像である。距離マップによって、入力画像の各画素における被写体の被写体距離が特定される。距離データも距離マップも被写体距離情報の一種である。被写体距離の検出方法として、公知の方法を含む任意の方法を利用可能である。視差の存在する複数の入力画像からステレオ法（三角測量の原理）により被写体距離を検出しても良いし、測距センサを用いて被写体距離を検出しても良い。
【００３９】
図６の出力画像生成部５２は、不要被写体３１３が出力画像において除去されるように（換言すれば、不要被写体３１３の画像データが出力画像に含まれないように）、入力画像Ｉ［１］〜Ｉ［ｎ］に基づき出力画像を生成する。生成された出力画像を表示部１５に表示することができると共に記録媒体１６に記録することができる。以下、単に記録といった場合、それは記録媒体１６への記録を指す。記録の際、画像データを圧縮しても良い。
【００４０】
出力画像生成部５２によって実行される、入力画像Ｉ［１］〜Ｉ［ｎ］から出力画像を生成するための画像処理を、出力画像生成処理と呼ぶ。出力画像を生成する際、出力画像生成部５２は、必要に応じて、距離マップ及び視差情報を用いることができる。視差情報とは、入力画像Ｉ［１］〜Ｉ［ｎ］に含まれる任意の入力画像間の視差を示す情報である。視差情報により、入力画像Ｉ［ｉ］の撮影時における撮像装置１の位置及び光軸の方向を基準として、入力画像Ｉ［ｊ］の撮影時における撮像装置１の位置及び光軸の方向が特定される。撮像装置１の角速度又は加速度を検出するセンサ（不図示）の検出結果から視差情報を生成しても良いし、或いは、撮像部１１の出力信号から導出したオプティカルフローを分析することで視差情報を生成しても良い。
【００４１】
上記のような出力画像を生成するためには、何れかの被写体が不要被写体であるのかを出力画像生成部５２に認識させるための情報が必要であり、この情報を分類情報と呼ぶ。分類情報によって、出力画像生成部５２は、被写体群に含まれる各被写体を主要被写体及び不要被写体のどちらかに分類することができる、或いは、被写体群に含まれる各被写体を主要被写体、不要被写体及び背景被写体の何れかに分類することができる。また、任意の二次元画像において、主要被写体の画像データが存在する画像領域を主要被写体領域と呼び、不要被写体の画像データが存在する画像領域を不要被写体領域と呼び、背景被写体の画像データが存在する画像領域を背景被写体領域と呼ぶ。本実施形態にて述べる全ての画像は、特に記述なき限り二次元画像である。分類情報は、入力画像の全画像領域を主要被写体領域と不要被写体領域に分離するための情報である、或いは、入力画像の全画像領域を主要被写体領域と不要被写体領域と背景被写体領域に分離するための情報である、とも言える。尚、撮影者にとって、主要被写体は注目度の比較的高い被写体である一方で不要被写体は注目度の比較的低い被写体である。故に、主要被写体領域及び不要被写体領域をそれぞれ高注目度領域及び低注目度領域と呼んでも良い。また、分類情報は、撮影者が注目している被写体（即ち主要被写体）を特定するための情報であるとも言えるため、分類情報を注目度情報と呼ぶこともできる。
【００４２】
図６の分類情報設定部５３は、上記分類情報を生成して出力画像生成部５２に与える。ユーザは、ユーザインターフェースに対し分類情報を指定するための入力操作ＵＯＰ１を成すことができ、入力操作ＵＯＰ１が成された場合、分類情報設定部５３は、入力操作ＵＯＰ１に従った分類情報を生成する。分類情報に従って主要被写体及び不要被写体が決定されるため、入力操作ＵＯＰ１は、主要被写体を決定するための操作であるとも言えるし、不要被写体を決定するための操作であるとも言える。
【００４３】
具体的には例えば、ユーザは、入力操作ＵＯＰ１においてユーザインターフェースを介して距離範囲ＤＤを指定することができる。
【００４４】
距離範囲ＤＤは、実空間上における基準地点からの距離の範囲である。図９に示す如く、基準地点は、入力画像Ｉ［ｎＡ］の撮影時における撮像装置１の位置である。ｎＡは１以上ｎ以下の任意の整数であって、ｎＡの値を予め定めておいても良い。そうすると、被写体３１１〜３１３についての基準地点からの距離は、夫々、被写体距離ｄ３１１〜ｄ３１３と一致する（図４参照）。ユーザは、入力操作ＵＯＰ１において、距離範囲ＤＤに属する最小距離ＤＤＭＩＮ（例えば、３メートル）及び最大距離ＤＤＭＡＸ（例えば、５メートル）を直接ユーザインターフェースに入力することができる。或いは例えば、最小距離ＤＤＭＩＮ及び最大距離ＤＤＭＡＸを夫々撮像部１１の被写界深度に属する最小距離及び最大距離として捉え、ユーザに、最小距離ＤＤＭＩＮ及び最大距離ＤＤＭＡＸを導出するための距離導出用データ（例えば、絞り値及び焦点距離）をユーザインターフェースに入力させても良い。この場合、分類情報設定部５３は距離導出用データから距離範囲ＤＤを決定する。
【００４５】
ユーザは、自身が注目している被写体（及び、必要に応じて背景被写体）が距離範囲ＤＤ内に収まるように且つ自身が不要と考えている被写体が距離範囲ＤＤ外に位置するように距離範囲ＤＤを指定する。本実施形態では、被写体３１１及び３１２が主要被写体として且つ被写体３１３が不要被写体として取り扱われることを想定しているため、ユーザは、ｄ３１３＜ＤＤＭＩＮ＜ｄ３１１＜ｄ３１２＜ＤＤＭＡＸが成立するように距離範囲ＤＤを指定する。ユーザは、ユーザインターフェースを介して最小距離ＤＤＭＩＮのみを指定することもでき、この場合、分類情報設定部５３は、最大距離ＤＤＭＡＸを無限大に設定することができる。
【００４６】
尚、基準地点は撮像装置１の位置以外であっても良い。例えば、入力画像Ｉ［１］〜Ｉ［ｎ］の撮影時における撮像部１１の被写界深度内の中心位置を、基準地点として用いても良い。或いは例えば、各入力画像に人物の顔が含まれている場合には当該顔の存在する位置（実空間上の位置）を基準地点に設定しても良い。
【００４７】
入力操作ＵＯＰ１において距離範囲ＤＤが指定された場合、分類情報設定部５３は距離範囲ＤＤを分類情報として出力画像生成部５２に出力することができ、出力画像生成部５２は、距離範囲ＤＤに基づき、距離範囲ＤＤ内に位置する被写体を主要被写体に分類する一方で距離範囲ＤＤ外に位置する被写体を不要被写体に分類する。被写体群に背景被写体が含まれている場合においては、距離範囲ＤＤに基づき、距離範囲ＤＤ内に位置する被写体が主要被写体又は背景被写体に分類されても良い。出力画像生成部５２は、距離範囲ＤＤ内に位置する被写体が主要被写体又は背景被写体として出力画像に現れるように且つ距離範囲ＤＤ外に位置する被写体が不要被写体として出力画像から除去されるように、入力画像Ｉ［１］〜Ｉ［ｎ］から出力画像を生成する。
【００４８】
基本的には例えば、出力画像生成部５２は、分類情報としての距離範囲ＤＤと入力画像Ｉ［ｉ］に対する距離マップを用いて、入力画像Ｉ［ｉ］の全画像領域を、距離範囲ＤＤ内の被写体の画像データが存在する画像領域である必要領域と、距離範囲ＤＤ外の被写体の画像データが存在する画像領域である不要領域と、に分離する。この分離を各入力画像において行う。必要領域は、主要被写体領域を含み、更に背景被写体領域を含みうる。不要領域は不要被写体領域を含む。上記分離の結果、各入力画像において、被写体３１３の画像データが存在する画像領域（図８の例ではドット領域に相当）が不要領域に設定され且つ被写体３１１及び３１２の画像データが存在する画像領域が必要領域に含められる。そして例えば、入力画像Ｉ［１］〜Ｉ［ｎ］の何れか１枚を基準画像（例えば、図８の画像ＩＡ［２］）に設定する一方で、入力画像Ｉ［１］〜Ｉ［ｎ］の内、基準画像以外の入力画像を非基準画像に設定する。その後、基準画像における不要領域内の画像を非基準画像における必要領域内の画像データを用いて加工することで基準画像から不要被写体を除去し、この除去後の基準画像を出力画像として生成することができる。非基準画像の必要領域内の画像データを用いた加工により、基準画像では不要被写体により遮蔽されていた部分（主要被写体の一部を含む）が、出力画像においては現れるようになる。
【００４９】
図１０の画像３５０は、図８の入力画像ＩＡ［１］〜ＩＡ［３］に基づく出力画像の例である。出力画像３５０を生成するためには、入力画像ＩＡ［２］を基準画像に設定する一方で入力画像ＩＡ［１］及びＩＡ［３］を非基準画像に設定することができる。そして例えば、基準画像ＩＡ［２］における不要領域内の画像（即ち、ＩＡ［２］内のドット領域）を基準画像ＩＡ［２］から取り除く一方で、基準画像ＩＡ［２］における不要領域内の画像を非基準画像ＩＡ［１］及びＩＡ［３］における必要領域内の画像（被写体３１１及び３１２の胴体部分の画像）を用いて補間する。この補間の結果、出力画像３５０が得られ、基準画像ＩＡ［２］では不要被写体３１３により遮蔽されていた部分（被写体３１１及び３１２の胴体部分の画像）が、出力画像３５０においては現れている。
【００５０】
次に、図６の構図設定部５４について説明する。構図設定部５４は、出力画像の構図を規定する構図設定情報を生成して出力画像生成部５２に送る。出力画像生成部５２は、構図設定情報にて規定された構図を有する出力画像が得られるように出力画像生成処理を行う。
【００５１】
ユーザは、ユーザインターフェースを介して出力画像の構図を指定することができ、この指定が成された場合、その指定内容に応じた構図設定情報が生成される。例えば、入力画像Ｉ［１］〜Ｉ［ｎ］として図８の入力画像ＩＡ［１］〜ＩＡ［３］が撮影されて記録媒体１６に記録された後、入力画像ＩＡ［２］の構図と同等の構図を有する出力画像の生成をユーザが望んでいる場合、ユーザは、ユーザインターフェースを介して入力画像ＩＡ［２］を所望構図画像として指定することができる。この指定を受けた構図設定部５４は、所望構図画像（本例において入力画像ＩＡ［２］）の構図と同等の構図を有する出力画像が出力画像生成部５２にて生成されるように構図設定情報を生成する。結果例えば、所望構図画像の撮影時における撮像装置１の位置から所望構図画像の撮影時における光軸の方向に向かって被写体３１１及び３１２を観測したかのような出力画像が得られ、出力画像上における被写体３１１及び３１２の位置は所望構図画像上における被写体３１１及び３１２の位置と一致する。入力画像ＩＡ［２］が所望構図画像であるとき、出力画像生成部５２は、例えば、入力画像ＩＡ［２］を上記基準画像に設定した上で出力画像生成処理を行えばよい。
【００５２】
以下、構図設定部５４において利用可能な、第１〜第５の構図設定方法を例示する。
【００５３】
・第１の構図設定方法を説明する。第１の構図設定方法では、第１〜第３の入力画像生成方法の何れかにて入力画像Ｉ［１］〜Ｉ［ｎ］を撮影する前に、或いは、第１〜第３の入力画像生成方法の何れかにて入力画像Ｉ［１］〜Ｉ［ｎ］を撮影した後に、別途、ユーザの操作に従って撮像部１１にて被写体群を撮影させ所望構図画像を得る。これにより、ユーザの希望を確実に出力画像の構図に反映させることができる。
【００５４】
・第２の構図設定方法を説明する。第２の構図設定方法では、第１〜第３の入力画像生成方法の何れかにて入力画像Ｉ［１］〜Ｉ［ｎ］を撮影及び記録した後に、ユーザが、ユーザインターフェースを介して入力画像Ｉ［１］〜Ｉ［ｎ］の何れかを所望構図画像として指定する。これにより、所望構図画像を得るためにシャッタチャンスを逃してしまう、といったことがなくなる。
【００５５】
・第３の構図設定方法を説明する。第３の構図設定方法では、第１〜第３の入力画像生成方法の何れかにて入力画像Ｉ［１］〜Ｉ［ｎ］を撮影及び記録した後に、構図設定部５４がユーザの操作に拠らず自動的に入力画像Ｉ［１］〜Ｉ［ｎ］の何れかを所望構図画像に設定する。何れの入力画像を所望構図画像に設定するのかを、予め定めておくことができる。
【００５６】
・第４の構図設定方法を説明する。第４の構図設定方法は、動画像ＭＩから入力画像を取得する方法である第３の入力画像生成方法と組み合わせて用いられる。時間が進行するにつれて時刻ｔ１、ｔ２、・・・、ｔｍが順次訪れ（ｍは２以上の整数）、時刻ｔ１、ｔ２、・・・、ｔｍにおいて、夫々、動画像ＭＩを形成する１番目、２番目、・・・、ｍ番目のフレーム画像が撮影された場合を考える。動画像ＭＩの撮影期間は時刻ｔ１及びｔｍ間の期間である。第４の構図設定方法を用いる場合、ユーザは、動画像ＭＩの撮影期間中の所望のタイミングに、ユーザインターフェースに設けられた構図指定ボタン（不図示）を押す。構図指定ボタンが押されたタイミングにおいて撮影されたフレーム画像が所望構図画像に設定される。即ち例えば、構図指定ボタンが押されたタイミングが時刻ｔ２である場合、動画像ＭＩを形成する２番目のフレーム画像が所望構図画像に設定される。第４の構図設定方法によれば、所望構図画像を別途撮影する必要がない。
【００５７】
・第５の構図設定方法を説明する。第５の構図設定方法も、第３の入力画像生成方法と組み合わせて用いられる。第５の構図設定方法において、構図設定部５４は、動画像ＭＩの撮影期間中における何れかの時刻を構図設定用時刻として捉え、構図設定用時刻にて撮影されたフレーム画像を所望構図画像に設定する。構図設定用時刻は、例えば、動画像ＭＩの撮影期間における開始時刻（即ち時刻ｔ１）、終了時刻（即ち時刻ｔｍ）又は中央時刻である。何れの時刻を構図設定用時刻として用いるのかを、予め定めておくことができる。第５の構図設定方法によれば、動画像ＭＩの撮影中において特段の操作が必要にならず、また、所望構図画像を別途撮影する必要もない。
【００５８】
次に、図６の被写界深度設定部５５について説明する。被写界深度設定部５５は、出力画像の被写界深度を規定する深度設定情報を生成して出力画像生成部５２に送る。出力画像生成部５２は、深度設定情報にて規定された被写界深度を有する出力画像が得られるように出力画像生成処理を行う。
【００５９】
ユーザは、ユーザインターフェースを介して出力画像の被写界深度を指定することができ、この指定が成された場合、その指定内容に応じた深度設定情報が生成される。ユーザは、出力画像の被写界深度を指定する操作を割愛することもでき、この場合、被写界深度設定部５５は、距離範囲ＤＤを深度設定情報として用いることができる。或いは、距離範囲ＤＤが常に深度設定情報として用いられてもよい。距離範囲ＤＤが深度設定情報として用いられた場合、深度設定情報に基づき、出力画像生成部５２は、出力画像が距離範囲ＤＤに応じた被写界深度を持つように（理想的には、出力画像の被写界深度が距離範囲ＤＤと一致するように）出力画像生成処理を行う。
【００６０】
出力画像生成部５２は、出力画像の被写界深度を調整することができる画像処理Ｊを出力画像生成処理に含めておくことができ、これによって深度設定情報に応じた出力画像を生成する。画像処理Ｊによる被写界深度調整後の出力画像を表示部１５にて表示し且つ記録媒体１６に記録することができる。画像処理Ｊの一種はデジタルフォーカスとも呼ばれており、デジタルフォーカスを実現する画像処理の方法として、様々な画像処理方法が提案されている。距離マップに基づき出力画像の被写界深度を任意に調整することができる公知の方法（例えば、特開２０１０−８１００２号公報、国際公開第０６／０３９４８６号パンフレット、特開２００９−２２４９８２号公報、特開２０１０−２５２２９３号公報又は特開２０１０−８１０５０号公報に記載の方法）を、画像処理Ｊの方法として利用することができる。
【００６１】
以下の複数の実施例において、上述の構成及び動作を基本する、撮像装置１のより具体的な構成例及び動作例等を説明する。矛盾無き限り且つ特に記述無き限り、撮像装置１について上述した内容は以下の各実施例に適用され、また、複数の実施例を組み合わせることも可能である。
【００６２】
＜＜第１実施例＞＞
第１実施例を説明する。第１実施例では、出力画像の生成動作に注目した、撮像装置１の動作手順を説明する。図１１は、この動作手順を表すフローチャートである。ステップＳ１１〜Ｓ１５の処理が順次実行される。ステップＳ１１〜Ｓ１３は撮影モードにおいて実行される。ステップＳ１４及びＳ１５の処理は撮影モードにおいて実行されてもよいし、再生モードにおいて実行されても良い。尚、第１実施例及び後述の第２〜第４実施例において、第１〜第３の入力画像生成方法の何れもが利用可能であり、第１〜第５の構図設定方法の何れもが利用可能である。
【００６３】
撮影モードにおいては、入力画像Ｉ［１］〜Ｉ［ｎ］の撮影前にも、撮像部１１により被写体群が周期的に撮影されており、入力画像Ｉ［１］〜Ｉ［ｎ］の撮影前の、撮像部１１による撮影画像を特にプレビュー画像と呼ぶ。図１の表示制御部２２は、順次得られるプレビュー画像を表示部１５に順次更新表示させる。これにより、ユーザは、現在の撮影構図を確認することができる。
【００６４】
ステップＳ１１において、ユーザは入力操作ＵＯＰ１を行い、分類情報設定部５３は、入力操作ＵＯＰ１に基づく距離範囲ＤＤを分類情報に設定する。
【００６５】
入力操作ＵＯＰ１によって距離範囲ＤＤが指定された後、ステップＳ１２において、表示制御部２２は、特殊スルー表示を表示部１５に行わせる。特殊スルー表示とは、プレビュー画像の順次表示が行われる表示画面上において、特定表示領域とそれ以外の表示領域とをユーザに視覚的に区別せしめる表示である。特定表示領域は、主要被写体の表示領域であっても良いし、或いは、不要被写体の表示領域であっても良いし、或いは、主要被写体及び背景被写体の表示領域であってもよい。特定表示領域が主要被写体及び背景被写体の表示領域である場合においても、結局、ユーザは、不要被写体の表示領域とそれ以外の表示領域（即ち、主要被写体及び背景被写体の表示領域）とを視覚的に区別することが可能である。特殊スルー表示により、ユーザは、特定の領域（例えば、主要被写体領域又は不要被写体領域）を表示画面上で把握し易くなる。
【００６６】
例えば、図１２（ａ）に示すようなプレビュー画像４００が得られたとき、距離範囲ＤＤとプレビュー画像４００に対する距離マップとに基づき、表示制御部２２は、プレビュー画像４００の全画像領域を特定表示領域に対応する特定画像領域とそれ以外の画像領域とに分離して、プレビュー画像４００の特定画像領域に対して加工処理を実行し、加工処理後のプレビュー画像４００を表示画面に表示させる。図１２（ｂ）及び（ｃ）の夫々に、表示画面に表示される、加工処理後のプレビュー画像４００の例を示す。加工処理は、例えば、特定画像領域内の画像の輝度又は彩度を増大又は減少させる画像処理であっても良いし、或いは、特定画像領域内の画像にハッチング等を付与する処理であっても良い。更に或いは、加工処理は、幾何学的変換、階調変換、色補正又はフィルタリング等の任意の画像処理を含みうる。表示制御部２２は、順次撮影されるプレビュー画像の夫々に加工処理を順次施して、加工処理後のプレビュー画像を更新表示させることができる。
【００６７】
加工処理の対象となる特定画像領域は、特定表示領域が主要被写体の表示領域であるならば主要被写体領域であり、特定表示領域が不要被写体の表示領域であるならば不要被写体領域であり、特定表示領域が主要被写体及び背景被写体の表示領域であるならば主要被写体領域及び背景被写体領域である。主制御部１３は、入力画像の距離マップを生成する方法と同様の方法にてプレビュー画像４００に被写体距離検出処理を行うことで、プレビュー画像４００に対する距離マップを得ることができる。
【００６８】
尚、ステップＳ１２において特殊スルー表示が成されているとき、ユーザは、ユーザインターフェースに対する分類変更指示操作により、任意の被写体を主要被写体から不要被写体に変更することができる。逆に考えて、ユーザインターフェースに対する分類変更指示操作により、任意の被写体を不要被写体から主要被写体に変更することができるように撮像装置１を形成しておいてもよい。
【００６９】
例えば、図４の被写体３１１〜３１３に加えて被写体３１１と同一の被写体距離を有する被写体３１１’（不図示）が被写体群に含まれている場合において、“ｄ３１３＜ＤＤＭＩＮ＜ｄ３１１＜ｄ３１２＜ＤＤＭＡＸ”を満たす距離範囲ＤＤを指定すると、撮像装置１は、被写体３１１及び３１２だけでなく被写体３１１’も主要被写体に設定する。ステップＳ１２では、この設定内容に応じた特殊スルー表示が成される。この場合において、ユーザが被写体３１１’を不要被写体として考える場合、ユーザは被写体３１１’を不要被写体に変更することを指示する分類変更指示操作を成す。この分類変更指示操作が成されると、撮像装置１は被写体３１１’を不要被写体に設定し直し、出力画像生成部５２において被写体３１１’が不要被写体として取り扱われるように分類情報が修正される。このような修正を可能にしておくことにより、被写体３１１と同等の被写体距離を有する、注目度の低い被写体３１１’を出力画像から除外することが可能となる。
【００７０】
撮像装置１は、上記の特殊スルー表示を行いながら、入力画像Ｉ［１］〜Ｉ［ｎ］又は動画像ＭＩの撮影を指示するユーザ操作の入力を待機し、該ユーザ操作が入力されると、ステップＳ１３において入力画像Ｉ［１］〜Ｉ［ｎ］又は動画像ＭＩの撮影を行う。撮像装置１は、入力画像Ｉ［１］〜Ｉ［ｎ］又は動画像ＭＩの画像データを内部メモリ１４又は記録媒体１６に記録することができる。
【００７１】
ステップＳ１４において、出力画像生成部５２は、ステップＳ１３にて撮影された入力画像Ｉ［１］〜Ｉ［ｎ］に基づき、又は、ステップＳ１３にて撮影された動画像ＭＩから抽出した入力画像Ｉ［１］〜Ｉ［ｎ］に基づき、出力画像生成処理によって出力画像を生成する。生成された出力画像は、ステップＳ１５において表示部１５に表示されると共に記録媒体１６に記録される。
【００７２】
尚、特殊スルー表示をプレビュー画像に対して実行することを上述したが、特殊スルー表示を入力画像Ｉ［１］〜Ｉ［ｎ］又は動画像ＭＩの各フレーム画像に対しても実行しても良い。
【００７３】
また、上述のフローチャートでは、撮影モードにおいて入力操作ＵＯＰ１が成されることが想定されているが、撮影モードにおいて入力画像Ｉ［１］〜Ｉ［ｎ］又は動画像ＭＩを撮影及び記録した後に、再生モードにおいてステップＳ１１、Ｓ１４及びＳ１５の処理のみを行うようにしても良い。
【００７４】
＜＜第２実施例＞＞
第２実施例を説明する。第２実施例及び後述の第３実施例では、出力画像生成処理の具体例を説明する。第２実施例に係る出力画像生成部５２は、被写体群に含まれる各被写体の三次元形状を復元する三次元形状復元処理を利用して出力画像を生成する（即ち、出力画像生成処理に三次元形状復元処理を含めることができる）。視差を有する複数の入力画像から各被写体の三次元形状を復元する方法は公知であるため、その方法の詳細な説明を割愛する。出力画像生成部５２は、三次元形状を復元する公知の方法（特開２００８-２２０６１７号公報に記載の方法）を利用可能である。
【００７５】
出力画像生成部５２は、入力画像Ｉ［１］〜Ｉ［ｎ］から被写体群に含まれる各被写体の三次元形状を復元し、各被写体の三次元形状を示す三次元情報を生成する。そして、生成した三次元情報から、主要被写体の三次元形状を示す又は主要被写体及び背景被写体の三次元形状を示す必要三次元情報を抽出し、抽出した必要三次元情報から出力画像を生成する。この際、構図設定情報にて規定された構図を有する出力画像が得られるように、必要三次元情報を二次元情報に変換することで出力画像を生成する。結果例えば、所望構図画像（例えば図８の画像ＩＡ［２］）の撮影時における撮像装置１の位置から所望構図画像の撮影時における光軸の方向に向かって被写体３１１及び３１２を観測したかのような出力画像（例えば図１０の画像３５０）が得られる。深度設定情報が出力画像生成部５２に与えられている場合には、深度設定情報に応じた出力画像の被写界深度調整も行われる。
【００７６】
＜＜第３実施例＞＞
第３実施例を説明する。第３実施例に係る出力画像生成部５２は、自由視点映像生成処理を利用して出力画像を生成する（即ち、出力画像生成処理に自由視点映像生成処理を含めることができる）。自由視点映像生成処理では、被写体を互いに異なる視点から撮影することで得た複数の入力画像に基づき、当該被写体を任意の視点から見た画像（以下、自由視点映像と呼ぶ）を生成することができる。このような自由視点映像の生成方法は公知であるため、その生成方法の詳細な説明を割愛する。出力画像生成部５２は、自由視点映像を生成する公知の方法（特開２００４−２２０３１２号公報に記載の方法）を利用可能である。
【００７７】
自由視点映像生成処理を用いれば、複数の入力画像Ｉ［１］〜Ｉ［ｎ］に基づき、主要被写体である被写体３１１及び３１２を任意の視点から見た自由視点映像ＦＦを生成することができる。この際、構図設定情報にて規定された構図を有する自由視点映像ＦＦが得られるように、自由視点映像ＦＦを生成する際の視点を設定する。また、自由視点映像ＦＦは、各入力画像上の不要被写体の画像部分がマスクされた上で生成されるため、自由視点映像ＦＦ上には不要被写体が存在しない。結果例えば、所望構図画像（例えば図８の画像ＩＡ［２］）の撮影時における撮像装置１の位置から所望構図画像の撮影時における光軸の方向に向かって被写体３１１及び３１２を観測したかのような自由視点映像ＦＦが、出力画像（例えば図１０の画像３５０）として得られる。深度設定情報が出力画像生成部５２に与えられている場合には、深度設定情報に応じた出力画像の被写界深度調整も行われる。
【００７８】
＜＜第４実施例＞＞
第４実施例を説明する。注目度情報とも言うべき分類情報を、ユーザの入力操作ＵＯＰ１に頼ることなく生成するようにしても良い。例えば、分類情報設定部５３は、撮像部１１の出力信号に基づいて顕著度マップ（Saliency Map）を生成し、顕著度マップに基づき分類情報を生成するようにしても良い。撮像部１１の出力信号に基づき顕著度マップを生成する方法として公知の顕著度マップ生成方法（例えば、特開２００１−２３６５０８号公報に記載の方法）を利用可能である。例えば、１枚以上のプレビュー画像又は１枚以上の入力画像から分類情報の元となる顕著度マップを生成することができる。
【００７９】
顕著度マップは、人が視覚的に注意の引かれる度合い（以下、顕著度という）を画像空間上でマップにしたものである。視覚的により注意の引かれる画像部分は、主要被写体が存在している画像部分であると考えることができる。従って、顕著度が比較的高い画像領域内の被写体が主要被写体に設定されるように且つ顕著度が比較的低い画像領域内の被写体が不要被写体に設定されるように、顕著度マップに基づき分類情報を生成することができる。顕著度マップから分類情報を生成するようにすれば、ユーザに特段の操作を要求することなく、ユーザの注目度の高い領域を主要被写体領域に設定することができると共にユーザの注目度の低い領域を不要被写体領域に設定することができる。
【００８０】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００８１】
［注釈１］
撮像装置１の構成要素の内、入力画像の取得並びに出力画像の生成及び表示等に関与する任意の構成要素（特に例えば、図６に示される各部位並びに表示部１５及びユーザインターフェース）は、撮像装置１以外の電子機器（不図示）に設けられていても良く、その電子機器上において上述の各動作を実現させても良い。電子機器は、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機である。尚、撮像装置１も、電子機器の一種である。
【００８２】
［注釈２］
撮像装置１及び電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１又は電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【００８３】
１ 撮像装置
１１ 撮像部
５１ 入力画像取得部
５２ 出力画像生成部
５３ 分類情報設定部
５４ 構図設定部
５５ 被写界深度設定部
ＤＤ 距離範囲
【技術分野】
【０００１】
本発明は、撮像装置等の電子機器に関する。
【背景技術】
【０００２】
撮像装置を用いて主要被写体を撮影する際、撮影画像に不要被写体（不要な物体）が写りこむことがある。特に例えば、図１３に示す如く不要被写体９１３が撮像装置９０１と主要被写体９１１及び９１２との間に位置している場合、図１４（ａ）に示すような画像の撮影をユーザが望んでいても、主要被写体９１１及び９１２の全部又は一部が不要被写体９１３によって遮蔽されて、実際には図１４（ｂ）に示すような画像が撮影されることになる。図１４（ｂ）において、ドット領域（ドットで満たされた領域）は、人物としての被写体９１３の後頭部を表している（後述の図１４（ｃ）においても同様）。
【０００３】
撮像装置９０１を平行移動又は回転させることで、図１４（ｃ）に示す如く主要被写体９１１及び９１２の全体を撮影することも可能であるが、この場合には、撮影画像の構図が撮影者の所望構図からずれることがある（即ち、撮影構図が悪くなることがある）。
【０００４】
撮影画像に写りこんだ不要被写体（不要物体）を画像処理によって除去する方法が様々に提案されている。例えば、ノイズ低減処理等を利用して、撮影画像上における人物のしみやしわを除去する方法が提案されている（下記特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２０８３４号公報
【特許文献２】特開２００９−１８２４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような画像処理方法では、不要被写体９１３によって遮蔽されている画像部分（図１４（ｂ）において、主要被写体９１１及び９１２の胴体の一部）を正確に補間することはできないため、良好な結果画像を得がたい。
【０００７】
そこで本発明は、不要被写体が良好に除去された結果画像を得ることのできる電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る電子機器は、被写体群を互いに異なる視点から撮影することで得た複数の入力画像を取得する入力画像取得部と、前記複数の入力画像に基づき出力画像を生成する出力画像生成部と、を備えた電子機器であって、前記出力画像生成部は、前記複数の入力画像に含まれる何れかの入力画像内の不要被写体の画像を、他の入力画像を用いて除去し、前記不要被写体の除去の成された画像を前記出力画像として生成することを特徴とする。
【０００９】
上記複数の入力画像を用いることで不要被写体が除去された部分の良好なる補間が期待され、結果、良好な結果画像（出力画像）を得ることが可能となる。
【００１０】
具体的には例えば、当該電子機器に、入力操作を受けるユーザインターフェースを更に設けても良く、前記不要被写体を前記入力操作に基づいて決定しても良い。
【００１１】
また例えば、前記入力操作によって距離範囲が指定され、前記距離範囲は、実空間上における基準地点からの距離の範囲を表し、前記出力画像生成部は、指定された距離範囲外に位置する被写体が前記不要被写体として前記出力画像から除去されるように、前記複数の入力画像から前記出力画像を生成してもよい。
【００１２】
また例えば、前記出力画像生成部は、前記出力画像が前記距離範囲に応じた被写界深度を持つように前記出力画像を生成してもよい。
【００１３】
また例えば、前記電子機器は撮像装置であっても良く、電子機器としての撮像装置は、前記被写体群の撮影画像を順次取得する撮像部及び前記撮影画像を順次表示する表示部を更に備えて、前記撮像部を用いて前記複数の入力画像を取得し、前記表示部にて前記撮影画像を表示する際、前記不要被写体の表示領域とそれ以外の表示領域とが視覚的に区別できるような表示を成しても良い。
【００１４】
これにより、ユーザは、不要被写体の領域とそれ以外の領域（例えば主要被写体の領域）とを容易に認識することが可能となる。
【発明の効果】
【００１５】
本発明によれば、不要被写体が良好に除去された結果画像を得ることのできる電子機器を提供することが可能である。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】被写体距離の意義を説明するための図（ａ）と、注目画像を示す図（ｂ）と、被写界深度の意義を説明するための図（ｃ）である。
【図４】本発明の実施形態にて想定される、撮像装置と複数の被写体との位置関係を示す図である。
【図５】図１の撮像装置によって取得されうる、複数の撮影画像を示す図である。
【図６】図１に示される撮像装置の一部のブロック図である。
【図７】本発明の実施形態に係る複数の入力画像を示す図である。
【図８】本発明の実施形態に係る複数の入力画像の具体例を示す図である。
【図９】本発明の実施形態に係る距離範囲の意義を説明するための図である。
【図１０】本発明の実施形態に係る出力画像の例を示す図である。
【図１１】本発明の実施形態に係る撮像装置の動作フローチャートである。
【図１２】本発明の実施形態に係り、プレビュー画像を示す図（ａ）と、該プレビュー画像に基づく表示画像を示す図（ｂ）（ｃ）である。
【図１３】従来技術に係り、撮像装置と複数の被写体との位置関係を示す図である。
【図１４】従来の撮像装置によって取得されうる、複数の撮影画像を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を付記することによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。例えば、入力画像を記号Ｉ［ｉ］によって表す場合（図７参照）、入力画像Ｉ［ｉ］を画像Ｉ［ｉ］又は単にＩ［ｉ］と表記する場合がある。
【００１８】
図１は、本発明の実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影及び記録可能なデジタルスチルカメラであっても良い。また、撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００１９】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。尚、表示部１５は撮像装置１の外部機器（不図示）に設けられたものである、と解釈しても良い。
【００２０】
撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。光軸とは、撮像部１１における光軸（撮像装置１における光軸）を指す。主制御部１３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度（即ち絞り値）が制御される。
【００２１】
撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。
【００２２】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は主制御部１３によって制御される。主制御部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。ＡＦＥ１２の出力信号そのものによって表される画像、又は、ＡＦＥ１２の出力信号そのものによって表される画像に対して所定の画像処理を施して得られる画像を、撮影画像という。主制御部１３は、表示部１５の表示内容を制御する表示制御部２２を備え、表示に必要な制御を表示部１５に対して行う。
【００２３】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。
【００２４】
表示部１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮影画像や記録媒体１６に記録されている画像などを表示する。本明細書において、単に表示及び表示画面と言った場合、それらは、表示部１５における表示及び表示画面を指すものとする。表示部１５にはタッチパネル１９が設けられており、ユーザは、表示部１５の表示画面を操作体（指やタッチペンなど）で触れることで撮像装置１に特定の指示を与えることができる。尚、タッチパネル１９を割愛することも可能である。
【００２５】
記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像の映像信号等を記録する。操作部１７は、静止画像の撮影指示を受け付けるシャッタボタン２０及び動画像の撮影開始指示又は撮影終了指示を受け付ける録画ボタン２１等を備え、外部からの各種操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。操作部１７及びタッチパネル１９を、ユーザからの任意の指示及び操作を受けるユーザインターフェースと呼ぶことができ、以下、操作部１７若しくはタッチパネル１９を、又は、それらをまとめてユーザインターフェースと呼ぶ。シャッタボタン２０及び録画ボタン２１は、タッチパネル１９上のボタンであってもよい。
【００２６】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された画像（静止画像又は動画像）を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。
【００２７】
撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表す映像信号を画像データとも呼ぶ。映像信号は、例えば、輝度信号及び色差信号を含む。或る画素に対する画像データを、画素信号と呼ぶこともある。或る画像の大きさ又は画像領域の大きさを、画像サイズとも呼ぶ。注目画像又は注目画像領域の画像サイズを、注目画像を形成する画素の数又は注目画像領域に属する画素の数にて表現することができる。尚、本明細書では、或る画像の画像データのことを単に画像と言うこともある。従って、例えば、入力画像の生成、取得、記録、加工、変形、編集又は保存とは、入力画像の画像データの生成、取得、記録、加工、変形、編集又は保存を意味する。
【００２８】
図３（ａ）に示す如く、任意の被写体と撮像装置１（より具体的には撮像素子３３）との間における実空間上の距離を、被写体距離と呼ぶ。図３（ｂ）に示す注目画像３００の撮影時において、撮像部１１の被写界深度内の被写体距離を有する被写体３０１は注目画像３００上で合焦しており、撮像部１１の被写界深度外の被写体距離を有する被写体３０２は注目画像３００上で合焦していない（図３（ｃ）参照）。図３（ｂ）では、被写体の像のボケ具合いを、被写体の輪郭線の太さによって表現している。
【００２９】
撮像装置１の撮影領域内に収まる全ての被写体の集まりを被写体群と呼ぶ。被写体群には、撮影者が注目している１以上の主要被写体と、撮影者にとって不要な物体である１以上の不要被写体と、が含まれる。被写体を物体と呼ぶこともできる（従って例えば、被写体群、主要被写体及び不要被写体を、夫々、物体群、主要物体及び不要物体と呼ぶこともできる）。本実施形態では、図４に示す如く被写体群の中に、人物である被写体３１１〜３１３が含まれていることを想定し、撮影者にとっての主要被写体は被写体３１１及び３１２であって且つ被写体３１３は不要被写体であるとする。また、被写体３１１、３１２及び３１３の被写体距離をそれぞれ記号ｄ３１１、ｄ３１２及びｄ３１３にて表す。ここで、０＜ｄ３１３＜ｄ３１１＜ｄ３１２、が成立する。つまり、撮像装置１と被写体３１１及び３１２との間に、不要被写体３１２が存在している。また、撮像装置１と被写体３１１〜３１３は、概ね一直線上に並んでいるものとする。被写体群に、被写体３１１〜３１３以外の背景被写体（例えば、山や建物)が含まれていても良い。背景被写体とは、主要被写体よりも大きな被写体距離を有する被写体である。従って、背景被写体の被写体距離は距離ｄ３１２よりも大きい。
【００３０】
ユーザとしての撮影者は、図５（ａ）に示すような、被写体３１３を含まない画像の取得を望んでいる。しかし、被写体３１３の存在により、実際の撮影画像は、例えば図５（ｂ）のようになる。図５（ｂ）において、ドット領域（ドットで満たされた領域）は被写体３１３の後頭部を表している（後述の図５（ｃ）及び図８等においても同様）。図５（ｂ）の撮影画像上では主要被写体３１１及び３１２の一部が被写体３１３の後頭部によって遮蔽されている。また、撮像装置１を平行移動又は回転させることで、図５（ｃ）に示す如く主要被写体３１１及び３１２の全体を撮影することも可能であるが、この場合には、撮影画像の構図が撮影者の所望構図からずれることがある。
【００３１】
撮像装置１は、図４に示すような状況下においても、主要被写体に対して良好な構図を有する画像（以下、出力画像と呼ぶ）を生成することが可能である。図６に、出力画像の生成に特に関与する部位のブロック図を示す。図６の符号５１〜５５によって参照される各部位を、例えば図１の主制御部１３に設けておくことができる。
【００３２】
入力画像取得部５１は、撮像部１１の出力信号に基づく複数の入力画像を取得する。撮像部１１は周期的に又は間欠的に被写体群の撮影を行うことで被写体群の撮影画像を順次取得することができる。各入力画像は、撮像部１１を用いて被写体群を撮影することで得た静止画像（即ち、被写体群の撮影画像）である。入力画像取得部５１は、ＡＦＥ１２の出力信号を直接ＡＦＥ１２から受けることで各入力画像を取得することができる。或いは、被写体群の各撮影画像を一旦記録媒体１６に記録しておき、記録媒体１６から読み出した被写体群の各撮影画像を入力画像取得部５１に与えることで入力画像取得部５１に各入力画像を取得させても良い。
【００３３】
図７に示す如く、複数の入力画像を記号Ｉ［１］〜Ｉ［ｎ］によって表す（ｎは２以上の整数）。入力画像Ｉ［ｉ］と入力画像Ｉ［ｊ］との間には視差が存在する（ｉ及びｊは整数であってｉ≠ｊ）。換言すれば、入力画像Ｉ［ｉ］の視点と入力画像Ｉ［ｊ］の視点は互いに異なる。つまり、入力画像Ｉ［ｉ］の撮影時における撮像装置１の位置（より具体的には撮像素子３３の位置）と、入力画像Ｉ［ｊ］の撮影時における撮像装置１の位置（より具体的には撮像素子３３の位置）とは、互いに異なる。図８に、入力画像Ｉ［１］〜Ｉ［ｎ］の例である入力画像ＩＡ［１］〜ＩＡ［３］を示す。図８の例では、ｎ＝３である。入力画像ＩＡ［１］は左側の主要被写体である被写体３１１を優先して撮影した画像であり、入力画像ＩＡ［２］は構図の良好さを優先して撮影した画像であり、入力画像ＩＡ［３］は右側の主要被写体である被写体３１２を優先して撮影した画像である。尚、本実施形態では、説明の便宜上、入力画像Ｉ［１］〜Ｉ［ｎ］の撮影時において、被写体３１１〜３１３は実空間上で静止しており、被写体距離ｄ３１１〜ｄ３１３は不変であるとする。
【００３４】
例えば、入力画像Ｉ［１］〜Ｉ［ｎ］を、以下の第１〜第３の入力画像生成方法の何れかにて生成することができる。
【００３５】
・第１の入力画像生成方法を説明する。第１の入力画像生成方法では、例えば、撮像装置１にパン操作を行いながら得た複数の撮影画像が複数の入力画像として取得される。より具体的には、第１の入力画像生成方法において、ユーザは、被写体群を撮像装置１の撮影領域内に収めつつ、シャッタボタン２０を押し続けた状態で撮像装置１の位置（及び撮影方向）を少しずつ変化させる（例えば、撮像装置１にパン操作を行う）。シャッタボタン２０が押し続けられている期間中、撮像部１１は周期的に被写体群の撮影を繰り返し行い、これによって時系列に並ぶ複数の撮影画像（被写体群の撮影画像）を得る。入力画像取得部５１は、この複数の撮影画像を、入力画像Ｉ［１］〜Ｉ［ｎ］として得る。
【００３６】
・第２の入力画像生成方法を説明する。第１の入力画像生成方法と同様、第２の入力画像生成方法においても、例えば、撮像装置１にパン操作を行いながら得た複数の撮影画像が複数の入力画像として取得される。但し、第２の入力画像生成方法では、各入力画像の撮影タイミングがユーザにより明確に指定される。即ち例えば、第２の入力画像生成方法において、ユーザは、被写体群を撮像装置１の撮影領域内に収めた状態で撮像装置１の位置（及び撮影方向）を少しずつ変化させながら、その変化の度にシャッタボタン２０を押下する。シャッタボタン２０が第１、第２、・・・、第ｎの時刻において順次押下された場合、第１、第２、・・・、第ｎの時刻における撮像部１１の撮影画像が、夫々、入力画像Ｉ［１］、Ｉ［２］、・・・、Ｉ［ｎ］として得られる。
【００３７】
・第３の入力画像生成方法を説明する。第３の入力画像生成方法では、動画像の中から入力画像が抽出される。具体的には例えば、撮像部１１を用いて被写体群を動画像ＭＩとして撮影し、この動画像ＭＩを記録媒体１６に記録しておく。周知の如く、動画像ＭＩは所定のフレーム周期での周期的撮影によって得られたフレーム画像の集まりであり、各々のフレーム画像は、撮像部１１で撮影された静止画像である。第３の入力画像生成方法では、動画像ＭＩを形成する複数のフレーム画像の中からｎ枚のフレーム画像を入力画像Ｉ［１］〜Ｉ［ｎ］として抽出する。動画像ＭＩを形成する何れのフレーム画像を入力画像として抽出するのかを、ユーザがユーザインターフェースを介して指定しても良い。或いは、フレーム画像間のオプティカルフロー等に基づき、入力画像取得部５１が入力画像に適したフレーム画像を判定し、その判定結果に従ったｎ枚のフレーム画像を入力画像Ｉ［１］〜Ｉ［ｎ］として抽出するようにしても良い。更に或いは、動画像ＭＩを形成する全てのフレーム画像を入力画像Ｉ［１］〜Ｉ［ｎ］として用いるようにしても良い。
【００３８】
距離マップ生成部（不図示）は、入力画像に対する被写体距離検出処理により、各入力画像に対する距離マップを生成することができる。距離マップ生成部を、主制御部１３（例えば、図６の出力画像生成部５２）に設けておくことができる。被写体距離検出処理では、入力画像の各画素における被写体の被写体距離を検出し、その検出結果（入力画像の各画素における被写体の被写体距離の検出値）を表す距離データから距離マップを生成する。距離マップは、自身を形成する各画素値が被写体距離の検出値を持つ距離画像である。距離マップによって、入力画像の各画素における被写体の被写体距離が特定される。距離データも距離マップも被写体距離情報の一種である。被写体距離の検出方法として、公知の方法を含む任意の方法を利用可能である。視差の存在する複数の入力画像からステレオ法（三角測量の原理）により被写体距離を検出しても良いし、測距センサを用いて被写体距離を検出しても良い。
【００３９】
図６の出力画像生成部５２は、不要被写体３１３が出力画像において除去されるように（換言すれば、不要被写体３１３の画像データが出力画像に含まれないように）、入力画像Ｉ［１］〜Ｉ［ｎ］に基づき出力画像を生成する。生成された出力画像を表示部１５に表示することができると共に記録媒体１６に記録することができる。以下、単に記録といった場合、それは記録媒体１６への記録を指す。記録の際、画像データを圧縮しても良い。
【００４０】
出力画像生成部５２によって実行される、入力画像Ｉ［１］〜Ｉ［ｎ］から出力画像を生成するための画像処理を、出力画像生成処理と呼ぶ。出力画像を生成する際、出力画像生成部５２は、必要に応じて、距離マップ及び視差情報を用いることができる。視差情報とは、入力画像Ｉ［１］〜Ｉ［ｎ］に含まれる任意の入力画像間の視差を示す情報である。視差情報により、入力画像Ｉ［ｉ］の撮影時における撮像装置１の位置及び光軸の方向を基準として、入力画像Ｉ［ｊ］の撮影時における撮像装置１の位置及び光軸の方向が特定される。撮像装置１の角速度又は加速度を検出するセンサ（不図示）の検出結果から視差情報を生成しても良いし、或いは、撮像部１１の出力信号から導出したオプティカルフローを分析することで視差情報を生成しても良い。
【００４１】
上記のような出力画像を生成するためには、何れかの被写体が不要被写体であるのかを出力画像生成部５２に認識させるための情報が必要であり、この情報を分類情報と呼ぶ。分類情報によって、出力画像生成部５２は、被写体群に含まれる各被写体を主要被写体及び不要被写体のどちらかに分類することができる、或いは、被写体群に含まれる各被写体を主要被写体、不要被写体及び背景被写体の何れかに分類することができる。また、任意の二次元画像において、主要被写体の画像データが存在する画像領域を主要被写体領域と呼び、不要被写体の画像データが存在する画像領域を不要被写体領域と呼び、背景被写体の画像データが存在する画像領域を背景被写体領域と呼ぶ。本実施形態にて述べる全ての画像は、特に記述なき限り二次元画像である。分類情報は、入力画像の全画像領域を主要被写体領域と不要被写体領域に分離するための情報である、或いは、入力画像の全画像領域を主要被写体領域と不要被写体領域と背景被写体領域に分離するための情報である、とも言える。尚、撮影者にとって、主要被写体は注目度の比較的高い被写体である一方で不要被写体は注目度の比較的低い被写体である。故に、主要被写体領域及び不要被写体領域をそれぞれ高注目度領域及び低注目度領域と呼んでも良い。また、分類情報は、撮影者が注目している被写体（即ち主要被写体）を特定するための情報であるとも言えるため、分類情報を注目度情報と呼ぶこともできる。
【００４２】
図６の分類情報設定部５３は、上記分類情報を生成して出力画像生成部５２に与える。ユーザは、ユーザインターフェースに対し分類情報を指定するための入力操作ＵＯＰ１を成すことができ、入力操作ＵＯＰ１が成された場合、分類情報設定部５３は、入力操作ＵＯＰ１に従った分類情報を生成する。分類情報に従って主要被写体及び不要被写体が決定されるため、入力操作ＵＯＰ１は、主要被写体を決定するための操作であるとも言えるし、不要被写体を決定するための操作であるとも言える。
【００４３】
具体的には例えば、ユーザは、入力操作ＵＯＰ１においてユーザインターフェースを介して距離範囲ＤＤを指定することができる。
【００４４】
距離範囲ＤＤは、実空間上における基準地点からの距離の範囲である。図９に示す如く、基準地点は、入力画像Ｉ［ｎＡ］の撮影時における撮像装置１の位置である。ｎＡは１以上ｎ以下の任意の整数であって、ｎＡの値を予め定めておいても良い。そうすると、被写体３１１〜３１３についての基準地点からの距離は、夫々、被写体距離ｄ３１１〜ｄ３１３と一致する（図４参照）。ユーザは、入力操作ＵＯＰ１において、距離範囲ＤＤに属する最小距離ＤＤＭＩＮ（例えば、３メートル）及び最大距離ＤＤＭＡＸ（例えば、５メートル）を直接ユーザインターフェースに入力することができる。或いは例えば、最小距離ＤＤＭＩＮ及び最大距離ＤＤＭＡＸを夫々撮像部１１の被写界深度に属する最小距離及び最大距離として捉え、ユーザに、最小距離ＤＤＭＩＮ及び最大距離ＤＤＭＡＸを導出するための距離導出用データ（例えば、絞り値及び焦点距離）をユーザインターフェースに入力させても良い。この場合、分類情報設定部５３は距離導出用データから距離範囲ＤＤを決定する。
【００４５】
ユーザは、自身が注目している被写体（及び、必要に応じて背景被写体）が距離範囲ＤＤ内に収まるように且つ自身が不要と考えている被写体が距離範囲ＤＤ外に位置するように距離範囲ＤＤを指定する。本実施形態では、被写体３１１及び３１２が主要被写体として且つ被写体３１３が不要被写体として取り扱われることを想定しているため、ユーザは、ｄ３１３＜ＤＤＭＩＮ＜ｄ３１１＜ｄ３１２＜ＤＤＭＡＸが成立するように距離範囲ＤＤを指定する。ユーザは、ユーザインターフェースを介して最小距離ＤＤＭＩＮのみを指定することもでき、この場合、分類情報設定部５３は、最大距離ＤＤＭＡＸを無限大に設定することができる。
【００４６】
尚、基準地点は撮像装置１の位置以外であっても良い。例えば、入力画像Ｉ［１］〜Ｉ［ｎ］の撮影時における撮像部１１の被写界深度内の中心位置を、基準地点として用いても良い。或いは例えば、各入力画像に人物の顔が含まれている場合には当該顔の存在する位置（実空間上の位置）を基準地点に設定しても良い。
【００４７】
入力操作ＵＯＰ１において距離範囲ＤＤが指定された場合、分類情報設定部５３は距離範囲ＤＤを分類情報として出力画像生成部５２に出力することができ、出力画像生成部５２は、距離範囲ＤＤに基づき、距離範囲ＤＤ内に位置する被写体を主要被写体に分類する一方で距離範囲ＤＤ外に位置する被写体を不要被写体に分類する。被写体群に背景被写体が含まれている場合においては、距離範囲ＤＤに基づき、距離範囲ＤＤ内に位置する被写体が主要被写体又は背景被写体に分類されても良い。出力画像生成部５２は、距離範囲ＤＤ内に位置する被写体が主要被写体又は背景被写体として出力画像に現れるように且つ距離範囲ＤＤ外に位置する被写体が不要被写体として出力画像から除去されるように、入力画像Ｉ［１］〜Ｉ［ｎ］から出力画像を生成する。
【００４８】
基本的には例えば、出力画像生成部５２は、分類情報としての距離範囲ＤＤと入力画像Ｉ［ｉ］に対する距離マップを用いて、入力画像Ｉ［ｉ］の全画像領域を、距離範囲ＤＤ内の被写体の画像データが存在する画像領域である必要領域と、距離範囲ＤＤ外の被写体の画像データが存在する画像領域である不要領域と、に分離する。この分離を各入力画像において行う。必要領域は、主要被写体領域を含み、更に背景被写体領域を含みうる。不要領域は不要被写体領域を含む。上記分離の結果、各入力画像において、被写体３１３の画像データが存在する画像領域（図８の例ではドット領域に相当）が不要領域に設定され且つ被写体３１１及び３１２の画像データが存在する画像領域が必要領域に含められる。そして例えば、入力画像Ｉ［１］〜Ｉ［ｎ］の何れか１枚を基準画像（例えば、図８の画像ＩＡ［２］）に設定する一方で、入力画像Ｉ［１］〜Ｉ［ｎ］の内、基準画像以外の入力画像を非基準画像に設定する。その後、基準画像における不要領域内の画像を非基準画像における必要領域内の画像データを用いて加工することで基準画像から不要被写体を除去し、この除去後の基準画像を出力画像として生成することができる。非基準画像の必要領域内の画像データを用いた加工により、基準画像では不要被写体により遮蔽されていた部分（主要被写体の一部を含む）が、出力画像においては現れるようになる。
【００４９】
図１０の画像３５０は、図８の入力画像ＩＡ［１］〜ＩＡ［３］に基づく出力画像の例である。出力画像３５０を生成するためには、入力画像ＩＡ［２］を基準画像に設定する一方で入力画像ＩＡ［１］及びＩＡ［３］を非基準画像に設定することができる。そして例えば、基準画像ＩＡ［２］における不要領域内の画像（即ち、ＩＡ［２］内のドット領域）を基準画像ＩＡ［２］から取り除く一方で、基準画像ＩＡ［２］における不要領域内の画像を非基準画像ＩＡ［１］及びＩＡ［３］における必要領域内の画像（被写体３１１及び３１２の胴体部分の画像）を用いて補間する。この補間の結果、出力画像３５０が得られ、基準画像ＩＡ［２］では不要被写体３１３により遮蔽されていた部分（被写体３１１及び３１２の胴体部分の画像）が、出力画像３５０においては現れている。
【００５０】
次に、図６の構図設定部５４について説明する。構図設定部５４は、出力画像の構図を規定する構図設定情報を生成して出力画像生成部５２に送る。出力画像生成部５２は、構図設定情報にて規定された構図を有する出力画像が得られるように出力画像生成処理を行う。
【００５１】
ユーザは、ユーザインターフェースを介して出力画像の構図を指定することができ、この指定が成された場合、その指定内容に応じた構図設定情報が生成される。例えば、入力画像Ｉ［１］〜Ｉ［ｎ］として図８の入力画像ＩＡ［１］〜ＩＡ［３］が撮影されて記録媒体１６に記録された後、入力画像ＩＡ［２］の構図と同等の構図を有する出力画像の生成をユーザが望んでいる場合、ユーザは、ユーザインターフェースを介して入力画像ＩＡ［２］を所望構図画像として指定することができる。この指定を受けた構図設定部５４は、所望構図画像（本例において入力画像ＩＡ［２］）の構図と同等の構図を有する出力画像が出力画像生成部５２にて生成されるように構図設定情報を生成する。結果例えば、所望構図画像の撮影時における撮像装置１の位置から所望構図画像の撮影時における光軸の方向に向かって被写体３１１及び３１２を観測したかのような出力画像が得られ、出力画像上における被写体３１１及び３１２の位置は所望構図画像上における被写体３１１及び３１２の位置と一致する。入力画像ＩＡ［２］が所望構図画像であるとき、出力画像生成部５２は、例えば、入力画像ＩＡ［２］を上記基準画像に設定した上で出力画像生成処理を行えばよい。
【００５２】
以下、構図設定部５４において利用可能な、第１〜第５の構図設定方法を例示する。
【００５３】
・第１の構図設定方法を説明する。第１の構図設定方法では、第１〜第３の入力画像生成方法の何れかにて入力画像Ｉ［１］〜Ｉ［ｎ］を撮影する前に、或いは、第１〜第３の入力画像生成方法の何れかにて入力画像Ｉ［１］〜Ｉ［ｎ］を撮影した後に、別途、ユーザの操作に従って撮像部１１にて被写体群を撮影させ所望構図画像を得る。これにより、ユーザの希望を確実に出力画像の構図に反映させることができる。
【００５４】
・第２の構図設定方法を説明する。第２の構図設定方法では、第１〜第３の入力画像生成方法の何れかにて入力画像Ｉ［１］〜Ｉ［ｎ］を撮影及び記録した後に、ユーザが、ユーザインターフェースを介して入力画像Ｉ［１］〜Ｉ［ｎ］の何れかを所望構図画像として指定する。これにより、所望構図画像を得るためにシャッタチャンスを逃してしまう、といったことがなくなる。
【００５５】
・第３の構図設定方法を説明する。第３の構図設定方法では、第１〜第３の入力画像生成方法の何れかにて入力画像Ｉ［１］〜Ｉ［ｎ］を撮影及び記録した後に、構図設定部５４がユーザの操作に拠らず自動的に入力画像Ｉ［１］〜Ｉ［ｎ］の何れかを所望構図画像に設定する。何れの入力画像を所望構図画像に設定するのかを、予め定めておくことができる。
【００５６】
・第４の構図設定方法を説明する。第４の構図設定方法は、動画像ＭＩから入力画像を取得する方法である第３の入力画像生成方法と組み合わせて用いられる。時間が進行するにつれて時刻ｔ１、ｔ２、・・・、ｔｍが順次訪れ（ｍは２以上の整数）、時刻ｔ１、ｔ２、・・・、ｔｍにおいて、夫々、動画像ＭＩを形成する１番目、２番目、・・・、ｍ番目のフレーム画像が撮影された場合を考える。動画像ＭＩの撮影期間は時刻ｔ１及びｔｍ間の期間である。第４の構図設定方法を用いる場合、ユーザは、動画像ＭＩの撮影期間中の所望のタイミングに、ユーザインターフェースに設けられた構図指定ボタン（不図示）を押す。構図指定ボタンが押されたタイミングにおいて撮影されたフレーム画像が所望構図画像に設定される。即ち例えば、構図指定ボタンが押されたタイミングが時刻ｔ２である場合、動画像ＭＩを形成する２番目のフレーム画像が所望構図画像に設定される。第４の構図設定方法によれば、所望構図画像を別途撮影する必要がない。
【００５７】
・第５の構図設定方法を説明する。第５の構図設定方法も、第３の入力画像生成方法と組み合わせて用いられる。第５の構図設定方法において、構図設定部５４は、動画像ＭＩの撮影期間中における何れかの時刻を構図設定用時刻として捉え、構図設定用時刻にて撮影されたフレーム画像を所望構図画像に設定する。構図設定用時刻は、例えば、動画像ＭＩの撮影期間における開始時刻（即ち時刻ｔ１）、終了時刻（即ち時刻ｔｍ）又は中央時刻である。何れの時刻を構図設定用時刻として用いるのかを、予め定めておくことができる。第５の構図設定方法によれば、動画像ＭＩの撮影中において特段の操作が必要にならず、また、所望構図画像を別途撮影する必要もない。
【００５８】
次に、図６の被写界深度設定部５５について説明する。被写界深度設定部５５は、出力画像の被写界深度を規定する深度設定情報を生成して出力画像生成部５２に送る。出力画像生成部５２は、深度設定情報にて規定された被写界深度を有する出力画像が得られるように出力画像生成処理を行う。
【００５９】
ユーザは、ユーザインターフェースを介して出力画像の被写界深度を指定することができ、この指定が成された場合、その指定内容に応じた深度設定情報が生成される。ユーザは、出力画像の被写界深度を指定する操作を割愛することもでき、この場合、被写界深度設定部５５は、距離範囲ＤＤを深度設定情報として用いることができる。或いは、距離範囲ＤＤが常に深度設定情報として用いられてもよい。距離範囲ＤＤが深度設定情報として用いられた場合、深度設定情報に基づき、出力画像生成部５２は、出力画像が距離範囲ＤＤに応じた被写界深度を持つように（理想的には、出力画像の被写界深度が距離範囲ＤＤと一致するように）出力画像生成処理を行う。
【００６０】
出力画像生成部５２は、出力画像の被写界深度を調整することができる画像処理Ｊを出力画像生成処理に含めておくことができ、これによって深度設定情報に応じた出力画像を生成する。画像処理Ｊによる被写界深度調整後の出力画像を表示部１５にて表示し且つ記録媒体１６に記録することができる。画像処理Ｊの一種はデジタルフォーカスとも呼ばれており、デジタルフォーカスを実現する画像処理の方法として、様々な画像処理方法が提案されている。距離マップに基づき出力画像の被写界深度を任意に調整することができる公知の方法（例えば、特開２０１０−８１００２号公報、国際公開第０６／０３９４８６号パンフレット、特開２００９−２２４９８２号公報、特開２０１０−２５２２９３号公報又は特開２０１０−８１０５０号公報に記載の方法）を、画像処理Ｊの方法として利用することができる。
【００６１】
以下の複数の実施例において、上述の構成及び動作を基本する、撮像装置１のより具体的な構成例及び動作例等を説明する。矛盾無き限り且つ特に記述無き限り、撮像装置１について上述した内容は以下の各実施例に適用され、また、複数の実施例を組み合わせることも可能である。
【００６２】
＜＜第１実施例＞＞
第１実施例を説明する。第１実施例では、出力画像の生成動作に注目した、撮像装置１の動作手順を説明する。図１１は、この動作手順を表すフローチャートである。ステップＳ１１〜Ｓ１５の処理が順次実行される。ステップＳ１１〜Ｓ１３は撮影モードにおいて実行される。ステップＳ１４及びＳ１５の処理は撮影モードにおいて実行されてもよいし、再生モードにおいて実行されても良い。尚、第１実施例及び後述の第２〜第４実施例において、第１〜第３の入力画像生成方法の何れもが利用可能であり、第１〜第５の構図設定方法の何れもが利用可能である。
【００６３】
撮影モードにおいては、入力画像Ｉ［１］〜Ｉ［ｎ］の撮影前にも、撮像部１１により被写体群が周期的に撮影されており、入力画像Ｉ［１］〜Ｉ［ｎ］の撮影前の、撮像部１１による撮影画像を特にプレビュー画像と呼ぶ。図１の表示制御部２２は、順次得られるプレビュー画像を表示部１５に順次更新表示させる。これにより、ユーザは、現在の撮影構図を確認することができる。
【００６４】
ステップＳ１１において、ユーザは入力操作ＵＯＰ１を行い、分類情報設定部５３は、入力操作ＵＯＰ１に基づく距離範囲ＤＤを分類情報に設定する。
【００６５】
入力操作ＵＯＰ１によって距離範囲ＤＤが指定された後、ステップＳ１２において、表示制御部２２は、特殊スルー表示を表示部１５に行わせる。特殊スルー表示とは、プレビュー画像の順次表示が行われる表示画面上において、特定表示領域とそれ以外の表示領域とをユーザに視覚的に区別せしめる表示である。特定表示領域は、主要被写体の表示領域であっても良いし、或いは、不要被写体の表示領域であっても良いし、或いは、主要被写体及び背景被写体の表示領域であってもよい。特定表示領域が主要被写体及び背景被写体の表示領域である場合においても、結局、ユーザは、不要被写体の表示領域とそれ以外の表示領域（即ち、主要被写体及び背景被写体の表示領域）とを視覚的に区別することが可能である。特殊スルー表示により、ユーザは、特定の領域（例えば、主要被写体領域又は不要被写体領域）を表示画面上で把握し易くなる。
【００６６】
例えば、図１２（ａ）に示すようなプレビュー画像４００が得られたとき、距離範囲ＤＤとプレビュー画像４００に対する距離マップとに基づき、表示制御部２２は、プレビュー画像４００の全画像領域を特定表示領域に対応する特定画像領域とそれ以外の画像領域とに分離して、プレビュー画像４００の特定画像領域に対して加工処理を実行し、加工処理後のプレビュー画像４００を表示画面に表示させる。図１２（ｂ）及び（ｃ）の夫々に、表示画面に表示される、加工処理後のプレビュー画像４００の例を示す。加工処理は、例えば、特定画像領域内の画像の輝度又は彩度を増大又は減少させる画像処理であっても良いし、或いは、特定画像領域内の画像にハッチング等を付与する処理であっても良い。更に或いは、加工処理は、幾何学的変換、階調変換、色補正又はフィルタリング等の任意の画像処理を含みうる。表示制御部２２は、順次撮影されるプレビュー画像の夫々に加工処理を順次施して、加工処理後のプレビュー画像を更新表示させることができる。
【００６７】
加工処理の対象となる特定画像領域は、特定表示領域が主要被写体の表示領域であるならば主要被写体領域であり、特定表示領域が不要被写体の表示領域であるならば不要被写体領域であり、特定表示領域が主要被写体及び背景被写体の表示領域であるならば主要被写体領域及び背景被写体領域である。主制御部１３は、入力画像の距離マップを生成する方法と同様の方法にてプレビュー画像４００に被写体距離検出処理を行うことで、プレビュー画像４００に対する距離マップを得ることができる。
【００６８】
尚、ステップＳ１２において特殊スルー表示が成されているとき、ユーザは、ユーザインターフェースに対する分類変更指示操作により、任意の被写体を主要被写体から不要被写体に変更することができる。逆に考えて、ユーザインターフェースに対する分類変更指示操作により、任意の被写体を不要被写体から主要被写体に変更することができるように撮像装置１を形成しておいてもよい。
【００６９】
例えば、図４の被写体３１１〜３１３に加えて被写体３１１と同一の被写体距離を有する被写体３１１’（不図示）が被写体群に含まれている場合において、“ｄ３１３＜ＤＤＭＩＮ＜ｄ３１１＜ｄ３１２＜ＤＤＭＡＸ”を満たす距離範囲ＤＤを指定すると、撮像装置１は、被写体３１１及び３１２だけでなく被写体３１１’も主要被写体に設定する。ステップＳ１２では、この設定内容に応じた特殊スルー表示が成される。この場合において、ユーザが被写体３１１’を不要被写体として考える場合、ユーザは被写体３１１’を不要被写体に変更することを指示する分類変更指示操作を成す。この分類変更指示操作が成されると、撮像装置１は被写体３１１’を不要被写体に設定し直し、出力画像生成部５２において被写体３１１’が不要被写体として取り扱われるように分類情報が修正される。このような修正を可能にしておくことにより、被写体３１１と同等の被写体距離を有する、注目度の低い被写体３１１’を出力画像から除外することが可能となる。
【００７０】
撮像装置１は、上記の特殊スルー表示を行いながら、入力画像Ｉ［１］〜Ｉ［ｎ］又は動画像ＭＩの撮影を指示するユーザ操作の入力を待機し、該ユーザ操作が入力されると、ステップＳ１３において入力画像Ｉ［１］〜Ｉ［ｎ］又は動画像ＭＩの撮影を行う。撮像装置１は、入力画像Ｉ［１］〜Ｉ［ｎ］又は動画像ＭＩの画像データを内部メモリ１４又は記録媒体１６に記録することができる。
【００７１】
ステップＳ１４において、出力画像生成部５２は、ステップＳ１３にて撮影された入力画像Ｉ［１］〜Ｉ［ｎ］に基づき、又は、ステップＳ１３にて撮影された動画像ＭＩから抽出した入力画像Ｉ［１］〜Ｉ［ｎ］に基づき、出力画像生成処理によって出力画像を生成する。生成された出力画像は、ステップＳ１５において表示部１５に表示されると共に記録媒体１６に記録される。
【００７２】
尚、特殊スルー表示をプレビュー画像に対して実行することを上述したが、特殊スルー表示を入力画像Ｉ［１］〜Ｉ［ｎ］又は動画像ＭＩの各フレーム画像に対しても実行しても良い。
【００７３】
また、上述のフローチャートでは、撮影モードにおいて入力操作ＵＯＰ１が成されることが想定されているが、撮影モードにおいて入力画像Ｉ［１］〜Ｉ［ｎ］又は動画像ＭＩを撮影及び記録した後に、再生モードにおいてステップＳ１１、Ｓ１４及びＳ１５の処理のみを行うようにしても良い。
【００７４】
＜＜第２実施例＞＞
第２実施例を説明する。第２実施例及び後述の第３実施例では、出力画像生成処理の具体例を説明する。第２実施例に係る出力画像生成部５２は、被写体群に含まれる各被写体の三次元形状を復元する三次元形状復元処理を利用して出力画像を生成する（即ち、出力画像生成処理に三次元形状復元処理を含めることができる）。視差を有する複数の入力画像から各被写体の三次元形状を復元する方法は公知であるため、その方法の詳細な説明を割愛する。出力画像生成部５２は、三次元形状を復元する公知の方法（特開２００８-２２０６１７号公報に記載の方法）を利用可能である。
【００７５】
出力画像生成部５２は、入力画像Ｉ［１］〜Ｉ［ｎ］から被写体群に含まれる各被写体の三次元形状を復元し、各被写体の三次元形状を示す三次元情報を生成する。そして、生成した三次元情報から、主要被写体の三次元形状を示す又は主要被写体及び背景被写体の三次元形状を示す必要三次元情報を抽出し、抽出した必要三次元情報から出力画像を生成する。この際、構図設定情報にて規定された構図を有する出力画像が得られるように、必要三次元情報を二次元情報に変換することで出力画像を生成する。結果例えば、所望構図画像（例えば図８の画像ＩＡ［２］）の撮影時における撮像装置１の位置から所望構図画像の撮影時における光軸の方向に向かって被写体３１１及び３１２を観測したかのような出力画像（例えば図１０の画像３５０）が得られる。深度設定情報が出力画像生成部５２に与えられている場合には、深度設定情報に応じた出力画像の被写界深度調整も行われる。
【００７６】
＜＜第３実施例＞＞
第３実施例を説明する。第３実施例に係る出力画像生成部５２は、自由視点映像生成処理を利用して出力画像を生成する（即ち、出力画像生成処理に自由視点映像生成処理を含めることができる）。自由視点映像生成処理では、被写体を互いに異なる視点から撮影することで得た複数の入力画像に基づき、当該被写体を任意の視点から見た画像（以下、自由視点映像と呼ぶ）を生成することができる。このような自由視点映像の生成方法は公知であるため、その生成方法の詳細な説明を割愛する。出力画像生成部５２は、自由視点映像を生成する公知の方法（特開２００４−２２０３１２号公報に記載の方法）を利用可能である。
【００７７】
自由視点映像生成処理を用いれば、複数の入力画像Ｉ［１］〜Ｉ［ｎ］に基づき、主要被写体である被写体３１１及び３１２を任意の視点から見た自由視点映像ＦＦを生成することができる。この際、構図設定情報にて規定された構図を有する自由視点映像ＦＦが得られるように、自由視点映像ＦＦを生成する際の視点を設定する。また、自由視点映像ＦＦは、各入力画像上の不要被写体の画像部分がマスクされた上で生成されるため、自由視点映像ＦＦ上には不要被写体が存在しない。結果例えば、所望構図画像（例えば図８の画像ＩＡ［２］）の撮影時における撮像装置１の位置から所望構図画像の撮影時における光軸の方向に向かって被写体３１１及び３１２を観測したかのような自由視点映像ＦＦが、出力画像（例えば図１０の画像３５０）として得られる。深度設定情報が出力画像生成部５２に与えられている場合には、深度設定情報に応じた出力画像の被写界深度調整も行われる。
【００７８】
＜＜第４実施例＞＞
第４実施例を説明する。注目度情報とも言うべき分類情報を、ユーザの入力操作ＵＯＰ１に頼ることなく生成するようにしても良い。例えば、分類情報設定部５３は、撮像部１１の出力信号に基づいて顕著度マップ（Saliency Map）を生成し、顕著度マップに基づき分類情報を生成するようにしても良い。撮像部１１の出力信号に基づき顕著度マップを生成する方法として公知の顕著度マップ生成方法（例えば、特開２００１−２３６５０８号公報に記載の方法）を利用可能である。例えば、１枚以上のプレビュー画像又は１枚以上の入力画像から分類情報の元となる顕著度マップを生成することができる。
【００７９】
顕著度マップは、人が視覚的に注意の引かれる度合い（以下、顕著度という）を画像空間上でマップにしたものである。視覚的により注意の引かれる画像部分は、主要被写体が存在している画像部分であると考えることができる。従って、顕著度が比較的高い画像領域内の被写体が主要被写体に設定されるように且つ顕著度が比較的低い画像領域内の被写体が不要被写体に設定されるように、顕著度マップに基づき分類情報を生成することができる。顕著度マップから分類情報を生成するようにすれば、ユーザに特段の操作を要求することなく、ユーザの注目度の高い領域を主要被写体領域に設定することができると共にユーザの注目度の低い領域を不要被写体領域に設定することができる。
【００８０】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００８１】
［注釈１］
撮像装置１の構成要素の内、入力画像の取得並びに出力画像の生成及び表示等に関与する任意の構成要素（特に例えば、図６に示される各部位並びに表示部１５及びユーザインターフェース）は、撮像装置１以外の電子機器（不図示）に設けられていても良く、その電子機器上において上述の各動作を実現させても良い。電子機器は、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機である。尚、撮像装置１も、電子機器の一種である。
【００８２】
［注釈２］
撮像装置１及び電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１又は電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【００８３】
１ 撮像装置
１１ 撮像部
５１ 入力画像取得部
５２ 出力画像生成部
５３ 分類情報設定部
５４ 構図設定部
５５ 被写界深度設定部
ＤＤ 距離範囲
【特許請求の範囲】
【請求項１】
被写体群を互いに異なる視点から撮影することで得た複数の入力画像を取得する入力画像取得部と、
前記複数の入力画像に基づき出力画像を生成する出力画像生成部と、を備えた電子機器であって、
前記出力画像生成部は、前記複数の入力画像に含まれる何れかの入力画像内の不要被写体の画像を、他の入力画像を用いて除去し、前記不要被写体の除去の成された画像を前記出力画像として生成する
ことを特徴とする電子機器。
【請求項２】
入力操作を受けるユーザインターフェースを更に備え、
前記不要被写体は、前記入力操作に基づいて決定される
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記入力操作によって距離範囲が指定され、
前記距離範囲は、実空間上における基準地点からの距離の範囲を表し、
前記出力画像生成部は、指定された距離範囲外に位置する被写体が前記不要被写体として前記出力画像から除去されるように、前記複数の入力画像から前記出力画像を生成する
ことを特徴とする請求項２に記載の電子機器。
【請求項４】
前記出力画像生成部は、前記出力画像が前記距離範囲に応じた被写界深度を持つように前記出力画像を生成する
ことを特徴とする請求項３に記載の電子機器。
【請求項５】
前記電子機器は撮像装置であって、
前記電子機器としての前記撮像装置は、
前記被写体群の撮影画像を順次取得する撮像部及び前記撮影画像を順次表示する表示部を更に備えて、前記撮像部を用いて前記複数の入力画像を取得し、
前記表示部にて前記撮影画像を表示する際、前記不要被写体の表示領域とそれ以外の表示領域とが視覚的に区別できるような表示を成す
ことを特徴とする請求項１〜請求項４の何れかに記載の電子機器。
【請求項１】
被写体群を互いに異なる視点から撮影することで得た複数の入力画像を取得する入力画像取得部と、
前記複数の入力画像に基づき出力画像を生成する出力画像生成部と、を備えた電子機器であって、
前記出力画像生成部は、前記複数の入力画像に含まれる何れかの入力画像内の不要被写体の画像を、他の入力画像を用いて除去し、前記不要被写体の除去の成された画像を前記出力画像として生成する
ことを特徴とする電子機器。
【請求項２】
入力操作を受けるユーザインターフェースを更に備え、
前記不要被写体は、前記入力操作に基づいて決定される
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記入力操作によって距離範囲が指定され、
前記距離範囲は、実空間上における基準地点からの距離の範囲を表し、
前記出力画像生成部は、指定された距離範囲外に位置する被写体が前記不要被写体として前記出力画像から除去されるように、前記複数の入力画像から前記出力画像を生成する
ことを特徴とする請求項２に記載の電子機器。
【請求項４】
前記出力画像生成部は、前記出力画像が前記距離範囲に応じた被写界深度を持つように前記出力画像を生成する
ことを特徴とする請求項３に記載の電子機器。
【請求項５】
前記電子機器は撮像装置であって、
前記電子機器としての前記撮像装置は、
前記被写体群の撮影画像を順次取得する撮像部及び前記撮影画像を順次表示する表示部を更に備えて、前記撮像部を用いて前記複数の入力画像を取得し、
前記表示部にて前記撮影画像を表示する際、前記不要被写体の表示領域とそれ以外の表示領域とが視覚的に区別できるような表示を成す
ことを特徴とする請求項１〜請求項４の何れかに記載の電子機器。
【図１】
【図２】
【図４】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１３】
【図３】
【図５】
【図８】
【図１２】
【図１４】
【図２】
【図４】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１３】
【図３】
【図５】
【図８】
【図１２】
【図１４】
【公開番号】特開２０１２−１７５５３３（Ｐ２０１２−１７５５３３Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３７２３５（Ｐ２０１１−３７２３５）
【出願日】平成２３年２月２３日（２０１１．２．２３）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２３日（２０１１．２．２３）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]