撮影処理装置、撮影装置、及び撮影制御方法
【課題】多彩なシーンを最適なモードで撮影することができる撮影処理装置、当該撮影処理装置を搭載した撮影装置、及び撮影制御方法を提供する。
【解決手段】本発明にかかる撮影処理装置は、撮影の時刻を判定可能な時間情報、前記撮影の位置を判定可能な位置情報、及び前記撮影の際の測光値に基づき撮影環境を判定する撮影環境判定部６と、前記撮影の被写体を判定する被写体判定部７と、前記撮影環境の判定結果及び前記被写体の判定結果に応じて、撮影画像の露出及び色合いの調整を行う露出調整部９及び色調整部１０と、を備える。
【解決手段】本発明にかかる撮影処理装置は、撮影の時刻を判定可能な時間情報、前記撮影の位置を判定可能な位置情報、及び前記撮影の際の測光値に基づき撮影環境を判定する撮影環境判定部６と、前記撮影の被写体を判定する被写体判定部７と、前記撮影環境の判定結果及び前記被写体の判定結果に応じて、撮影画像の露出及び色合いの調整を行う露出調整部９及び色調整部１０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はシーン自動判別を行う撮影処理装置、当該撮影処理装置を搭載したデジタルカメラ等の撮影装置、及び撮影制御方法に関する。
【背景技術】
【０００２】
デジタルカメラ、携帯電話のカメラ等の普及が進み、カメラ機能に精通していないユーザでも適切な設定で撮影ができるＩＡ(Intelligent Auto)機能が、多くのデジタルカメラに搭載されている。ＩＡ機能では、カメラ自体が色情報、距離情報等から現在の被写体が何であるかを予想し、適切な設定を決めて撮影している。
【０００３】
しかしながら上記情報だけでは、シーンの検出精度が低く、検出できるシーンのバリエーションが少ないため、適切な撮影条件が導きだせないことがある。この問題を解決するため、時間と場所から光源を推測し、仰角と被写体距離から被写体が何かを推測してシーンを検出する技術が、特許文献１に開示されている。特許文献１では、屋外でカメラを上に向けたときの撮影画像には空が被写体に入っていると考えている。そこで、空を撮影する場合に手動で設定を切り替える操作をする必要がなく、最適な露出条件で空を撮影できる技術が開示されている。具体的には、撮影光軸の仰角を検出する仰角検出手段、ＧＰＳ（Global Positioning System）信号に基づいて屋外の撮影であるか否かを検出する屋外撮影検出手法、夜間であるか昼間であるかを検出する夜間検出手法を用いる。特許文献１ではそれらの手法を用い、夜空または昼空撮影モードに切り替えることで、最適な設定での撮影を可能にしている。
【０００４】
他の同様の技術の例として、特許文献２が挙げられる。特許文献２には、撮影した場所や時間、ユーザの撮影設定を装置に学習させることで、各シーンでの最適な設定での撮影が可能になる技術が開示されている。撮影シーンの判定要素として、光源の色温度、被写体の主要な色成分、被写体までの距離情報と共に、ＧＰＳ信号に基づいた位置情報とタイマから取得した時間情報を用いている。それらの情報に応じて、設定された複数種類の各撮影モードで判別ポイントを決定する。特許文献２ではその各撮影モードにおける判別ポイントに基づいて、設定された撮影モードの中から最適な撮影モードを特定している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２９２６６３号公報
【特許文献２】特開２００７−３０６４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし特許文献１・２とも、被写体の明るさといった実測値を用いていないため、色調整が適切に行われず、画像の色味が不適切になるなど品質の悪い画像が出力されてしまう。例えば特許文献１では、同じ昼空でも晴天と曇天の区別がつかないということが考えられる。つまり、特許文献１、特許文献２とも、多彩なシーンを最適なモードで撮影することができないという問題点がある。
【課題を解決するための手段】
【０００７】
本発明の第１の態様にかかる撮影処理装置は、撮影の時刻を判定可能な時間情報、前記撮影の位置を判定可能な位置情報、及び前記撮影の際の測光値に基づき撮影環境を判定する撮影環境判定部と、前記撮影の被写体を判定する被写体判定部と、前記撮影環境の判定結果及び前記被写体の判定結果に応じて撮影画像の露出及び色合いの調整を行う露出調整部・色調整部と、を備える。このような構成により、測光値の要素を加えて撮影におけるシーンを自動判別することができて、多彩なシーンを最適なモードで撮影することができる。
【０００８】
本発明の第２の態様にかかる撮影装置は、上述した第１の態様にかかる撮影処理装置を有する。
【０００９】
本発明の第３の態様にかかる撮影制御方法は、撮影の時刻を判定可能な時間情報、前記撮影の位置を判定可能な位置情報、及び前記撮影の際の測光値に基づいて撮影環境を判定し、前記撮影の被写体を判定し、前記撮影環境の判定結果及び前記被写体の判定結果に応じて、撮影画像の露出及び色合いの調整を行う。このような撮影制御方法により、測光値の要素を加えて撮影におけるシーンを自動判別することができて、多彩なシーンを最適なモードで撮影することができる。
【発明の効果】
【００１０】
上述した本発明の第１、第２及び第３の態様によれば、多彩なシーンを最適なモードで撮影することができる撮影処理装置、当該撮影処理装置を搭載した撮影装置、及び撮影制御方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１にかかる構成例を示すブロック図である。
【図２】実施の形態１にかかる撮影環境判定方法の具体例を示すフローチャートである。
【図３】実施の形態１にかかる撮影環境判定時の判定結果の詳細説明の図である。
【図４】実施の形態１・２にかかる被写体検出の判定結果の詳細説明の図である。
【図５】実施の形態２にかかる構成例を示すブロック図である。
【図６】実施の形態２にかかる撮影環境判定方法の具体例を示すフローチャートその１である。
【図７】実施の形態２にかかる撮影環境判定方法の具体例を示すフローチャートその２である。
【図８】実施の形態２にかかる撮影環境判定時の判定結果の詳細説明の図である。
【発明を実施するための形態】
【００１２】
実施の形態１
以下、図面を参照して本発明の実施の形態１について説明する。図１は、実施の形態１にかかる、撮影処理装置の構成例を示すブロック図である。当該撮影処理装置は、デジタルカメラ、カメラ付き携帯電話等の撮影装置に搭載される。当該撮影処理装置は、理論値算出部１、実測値算出部２、顔検出部３、色検出部４、距離検出部５、撮影環境判定部６、被写体判定部７、シーン判定部８、露出調整部９、色調整部１０を有する。理論値算出部１は、ＧＰＳ信号受信部１１と時計１２を備えている。実測値算出部２は、センサ２１を備えている。当該撮影処理装置は更に、被写体・撮影環境の判定に用いる設定情報等を記憶するメモリ（図示略）を備えている。
【００１３】
理論値算出部１は、撮影環境において理論値を算出する部分である。具体的には、理論値算出部１は、ＧＰＳ信号受信部１１及び時計１２によって、撮影時の位置情報及び時刻情報を取得する。ＧＰＳ信号受信部１１は人工衛星（図示略）からの電波を受信することで、当該撮影処理装置の現在位置を検知し、現在位置を示す位置情報を生成する。時計１２は、撮影時の時刻情報を計測する。
【００１４】
実測値算出部２はセンサ２１によって、撮影時の測光値を算出する。センサ２１は撮像素子であり、カメラのレンズ（図示略）を介して入射された光を電気信号に変換する。実測値算出部２はその電気信号により、撮影時の測光値を算出する。顔検出部３は撮影時に、被写体中に人の顔が含まれるかどうかを検出する。色検出部４は、被写体の色彩を検出する。距離検出部５は、撮影時において被写体までの距離を検出する。以上が、本実施の形態にかかる撮影処理装置において、撮影環境及び被写体の情報を検出する部分に相当する。
【００１５】
撮影環境判定部６は、理論値算出部１及び実測値算出部２が算出した結果に基づいて、現在の撮影環境が予め定められた複数の撮影環境のいずれに該当するかを判定する。この撮影環境の判定方法の詳細については後述する。被写体判定部７は、顔検出部３、色検出部４、距離検出部５が検出した被写体に関する情報に基づいて、現在撮影しようとしている被写体が予め定められた複数の被写体候補のうちいずれに該当するかを判定する。この被写体の判定方法の詳細についても後に述べる。
【００１６】
シーン判定部８は、撮影環境判定部６及び被写体判定部７による撮影環境及び被写体の判定結果に基づいて、現在撮影しようとしているシーン（撮影場面）を判定する。シーン判定部８はその判定に基づき、露出調整部９と色調整部１０に対し、該当するモードに応じた適切な明るさ及び色合いで撮影をするように調整を指示する。露出調整部９は、シーン判定部８からの指示に基づき、撮影時の露出の多寡を調整して、適切な明るさの写真を撮影できるようにする。色調整部１０はシーン判定部８の指示に基づき、適切な色合いの写真を撮影できるようにする。
【００１７】
以下、図２〜図４を用いて、本実施の形態にかかる撮影処理装置におけるシーン判定について説明する。図２は、本実施の形態の撮影処理装置が撮影時にシーンを検出する際に行う撮影環境判定方法の具体例を示すフローチャートである。撮影環境判定部６は次の通り、理論値（時間情報及び位置情報）に関する判定と実測値の判定の結果を用いて、撮影環境の判定を行う。まず、撮影環境判定部６は時計１２から、撮影時の時刻情報を取得する。撮影環境判定部６は時刻情報と、予めメモリに保持された時間閾値の情報を参照し、撮影時の時間が昼か夜かを決定する時間判定処理を行う（Ｓ１）。時間閾値は、例えば「午前６時〜午後６時は昼であり、午後６時〜午前６時は夜である」といった設定である。この設定は、他の時刻を基準にして設定されても構わないし、携帯電話のユーザ等によって変更できるとしてもよい。
【００１８】
ステップＳ１によって撮影時の時間が昼と判定された場合に、撮影環境判定部６はＧＰＳ信号受信部１１から取得した位置情報を用いて、撮影場所の判定を行う（Ｓ２）。例えば携帯電話の位置が建物の外側ならば、撮影環境判定部６は撮影場所を屋外と判定する。建物の内側等であれば撮影環境判定部６は撮影場所を屋内と判定する。
【００１９】
ステップＳ２によって撮影時の場所が屋外と判定された場合に、撮影環境判定部６は実測値算出部２（センサ２１）から取得した測光値とメモリから取得した明るさの基準値を用いて、撮影時の明るさの判定を行う（Ｓ３）。例えば明るさの基準値を５００００ルクスとすると、測光値の明るさが５００００ルクス以上であれば、撮影環境判定部６は、撮影環境が、「晴天の昼間の屋外」である（［１］）と判定する。明るさが基準値以下であれば、撮影環境判定部６は、撮影環境が「曇天の昼間の屋外」である（［２］）と判定する。この明るさの基準値は一例であり、他の値に設定されてもよいし、ユーザ等による変更ができるようにしてもよい。撮影環境判定部６は、照度であるルクスでなくとも、適するものであれば他の測定値を用いて、撮影時の明るさの評価を行ってもよい。ステップＳ１、Ｓ２、Ｓ３の判定により、「昼の屋外」の状況において、撮影環境判定部６は撮影環境の判定を行うことができる。なお、判定した撮影環境の判定結果［１］、［２］の説明は図３に示されており、以下で述べる［３］以降の判定結果についても図３に示されている。
【００２０】
ステップＳ２において撮影場所が屋内と判定された場合、撮影環境判定部６は屋内に対応した明るさ判定を行う（Ｓ４）。その際、撮影環境判定部６はステップＳ４で所定の基準値に比べて明るいと判定した後に、明るさ判定をもう１回行う（Ｓ５）。これは、撮影環境判定部６が、撮影しようとする被写体が屋内にあるか屋外にあるかを判定するために行うステップである。例えば、Ｓ４において明るいと判定される明るさが３００ルクス以上だとする。このとき計測された明るさは、４００ルクスということもありえるし、２００００ルクスということもありえる。前者では屋内にある被写体を屋内から撮影していると考えられるのに対し、後者では屋外にある被写体（光源は太陽）を屋内から撮影していると考えられる。後者の場合は撮影時に逆光になりやすいため、前者と同様の露出制御を行うと、色調整が適切に行われず、画像の色味が不適切になるなど品質の悪い画像が出力されてしまう恐れがある。つまり、撮影環境の明るさがステップＳ４で明るいと判定されただけでは、多彩なシーンを最適なモードで撮影するためには不十分である可能性がある。ステップＳ５で被写体自体が屋内か屋外にあるかの判別をすることによって、より最適なモード（露出制御）で撮影を行うことができるようになる。具体的には、ステップＳ５では、ステップＳ４で使用する基準値より高い基準値を用いて閾値判定を行えばよい。図２に示す具体例では、撮影環境判定部６はステップＳ５で明るさ判定を行うことで、屋内から屋外を撮影する状態（［３］）と屋内で屋内光源を用いて撮影する状態（［４］）とに区別して撮影環境を判定することができる。
【００２１】
なお、撮影環境判定部６は、ステップＳ４で所定の基準値より暗いと判定した場合には、撮影環境が屋内で光源は弱めの屋内光源の状態（［５］）と判定する。
【００２２】
ここまでの例により、撮影環境判定部６が時間判定で昼と判定した場合のシーン判定について述べた。同様にして、撮影環境判定部６が時間判定で夜と判定した場合のシーン判定について述べる。その場合、撮影環境判定部６はステップＳ２と同様に、ＧＰＳ受信信号部１１から取得した位置情報に基づいて撮影時の場所判定を行う（Ｓ６）。ステップＳ６で撮影場所が屋内と判定されれば、撮影環境判定部６は測光値に基づいて明るさ判定を行う（Ｓ７）。このとき撮影環境が所定の基準値より明るいと判定されれば、撮影環境判定部６は撮影環境を、被写体が屋内にあって屋内光源が用いられている状態（［６］）と判定する。逆にステップＳ７で撮影環境が所定の基準値より暗いと判定されれば、撮影環境判定部６は撮影環境を、夜景を被写体として屋内から撮影している状態（［７］）であると判定する。例えば、ステップＳ７での明るさの基準値を１００ルクスとし、撮影環境判定部６は、計測された明るさが１００ルクス以上であるとき明るいと判定し、１００ルクス以下であるとき暗いと判定すればよい。
【００２３】
ステップＳ６の場所判定で撮影環境が屋外と判定された場合、撮影環境判定部６は、測光値を用いて、屋外に対応した明るさの判定を行う（Ｓ８）。ステップＳ８において明るさが所定の基準値より明るいと判断された場合、撮影環境判定部６は、撮影環境が屋外で街灯等の人工光源の状態（［８］）と判定する。撮影環境がステップＳ８で所定の基準値より暗いと判断された場合、撮影環境判定部６は、撮影環境が屋外で夜景の状態（［９］）と判定する。ステップＳ８における明るさの基準値は、例えば５０ルクスとしてもよい。
【００２４】
以上の通り、撮影環境判定において実測値である明るさをシーン判定の要素に入れることで、多彩なシーンを最適な撮影環境判定で判定することができる。なお、図３に示したシーン区分はあくまで一例であり、他のシーン区分で場合分けをしても構わない。ステップＳ３、Ｓ４，Ｓ７、Ｓ８における明るさ判定の基準値は、シーン区分に有効なものであれば他の設定であってもよい。
【００２５】
次に、被写体判定部７が被写体の判定を行う処理の詳細について述べる。被写体判定部７は、顔検出部３、色検出部４、距離検出部５から取得した情報に基づいて被写体を判定する。顔検出部３は、人の顔に関する情報を被写体判定部７に送信する。具体的に言えば、送信されるのは顔の輪郭、目や鼻の形等の、人の顔に関する特徴的な情報である。被写体判定部７はその情報から、被写体に人の顔が入っているかどうかを判定する。
【００２６】
色検出部４からは、被写体の色彩に関する情報が被写体判定部７に送信される。被写体判定部７は色彩に関する情報に基づき、被写体が何であるかを判定する。例えば、被写体の色分布において上側に青が多く、下側に緑が多い判定結果が得られたとする。その場合、被写体判定部７は、被写体が風景、風景の絵もしくは写真ではないかという予測を行う。（上側は空であり、下側は森林といった例が現実的には考えられる。）被写体の色分布において青が圧倒的に多いという判定結果が得られた場合は、被写体判定部７は被写体が空、空の絵もしくは写真ではないかという予測を行う。このようにして、被写体判定部７は被写体が何であるかの予測を行う。
【００２７】
距離検出部５からは、被写体の距離に関する情報が被写体判定部７に送信される。距離の判定方法として、基準値を１０メートルとし、被写体までの距離が基準値以内であれば近いとし、それより遠ければ遠いとする、というのが一例である。基準値は１０メートルという値以外でも構わないし、自由に設定できるとしてもよい。
【００２８】
このように取得した情報から、被写体判定部７は被写体を判定する。例えば、人の顔がなく、上側に青が多く、下側に緑が多い色分布であり、距離が遠い被写体であると被写体判定部７が判定すれば、被写体判定部７はその被写体を風景であると判定する。もし、人の顔がなく、青が圧倒的に多い色分布であり、距離が近い被写体であると被写体判定部７が判定すれば、被写体判定部７はその被写体を空の絵もしくは写真であると判定する。以上のような被写体検出の判定結果の詳細説明は、図４に示されている。なおこの被写体の判定区分はあくまで一例であり、他の区分を用いてもよい。
【００２９】
被写体判定部７が行った被写体の判定結果と、撮影環境判定部６が行った撮影環境の判定結果に基づいて、シーン判定部８は撮影シーンの判定及び最適な撮影モードの決定を行う。例えば、撮影環境判定部６が撮影環境を「昼の屋外で太陽が光源である」と判定し、被写体判定部７が被写体を「被写体は人の顔」であると判定したとする。その場合に、シーン判定部８は「屋外で太陽を光源とした人の撮影」という撮影モードが最適であると判定する。その判定からシーン判定部８は、撮影時に太陽光が入り過ぎないように露出を絞る指令を露出調整部９に出力し、太陽光に対して人の肌を明るく目立たせるような色合いの調整に関する指令を色調整部１０に出力する。
【００３０】
他の例として、撮影環境判定部６が撮影環境を「屋内から屋外を撮影し、光源は太陽である」と判定し、被写体判定部７が被写体を「被写体は人の顔」と判定したとする。その場合にシーン判定部８は、「屋内から屋外を撮影し、太陽を光源にした人の撮影」という撮影モードが最適であると判定する。その判定からシーン判定部８は、逆光でも撮影できるような適切な露出の絞りに関する指令を露出調整部９に出力し、人物を目立たせるような色合いの調整に関する指令を色調整部１０に出力する。
【００３１】
もう一例として、撮影環境判定部６が撮影環境を「夜の屋内で光源は屋内光源である」と判定し、被写体判定部７が被写体を「被写体は風景の絵もしくは写真」と判定したとする。その場合にシーン判定部８は、「屋内光源で風景の絵もしくは写真を撮影」という撮影モードが最適であると判定する。その判定からシーン判定部８は、屋内光源の明るさに応じた適切な露出の絞りに関する指令を露出調整部９に出力し、写真の青と緑を目立たせるような色合いの調整に関する指令を色調整部１０に出力する。
【００３２】
以上のように、本実施の形態に係る撮影処理装置は、被写体・撮影環境の明るさを指標として用いた撮影環境判定と被写体判定を加味したシーン判定を行い、露出や色合いの調整を行うことで、多彩なシーンを最適なモードで撮影することができる。言いかえれば、本実施の形態に係る撮影処理装置は高精度な色調整、露出調整が行えて、高品質の画像を出力することができる。これは、測光値、時間情報、位置情報を加味して撮影環境の推測を行うことで可能になった。同じ測光値を計測する撮影環境であっても、時間や場所が異なることで最適な撮影のモードは異なることがあるが、実施の形態１の判定ではその撮影のモードの区分を適切に行うことができる。また、撮影環境が「昼の屋内」と判定された場合に、「太陽を光源とし、屋内から屋外を撮影する状態」のシーン判定が可能になることも、本実施の形態に係る撮影処理装置の特長である。
【００３３】
なお撮影環境判定部６、被写体判定部７、シーン判定部８による撮影環境、被写体、及びシーン判定処理は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processer）、ＭＰＵ（Micro Processing Unit）若しくはＣＰＵ（Central Processing Unit）又はこれらの組み合わせを含むコンピュータ・システムを用いて実現することができる。具体的には、これらの処理手順に関する命令群を含むプログラムをコンピュータ・システムに実行させればよい。
【００３４】
これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電源及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００３５】
実施の形態２
以下、本発明の実施の形態２について説明する。但し、実施の形態１と重複する説明は省略する。図５は、本実施の形態にかかる撮影処理装置の構成例を示すブロック図である。当該撮影処理装置は、理論値算出部１、実測値算出部２、顔検出部３、距離検出部５、色検出部４、撮影環境判定部６、被写体判定部７、シーン判定部８、露出調整部９、色調整部１０を有する。理論値算出部１は、ＧＰＳ信号受信部１１と時計１２のほか、新たに天気情報受信部１３を備えている。実測値算出部は、センサ２１を有する。当該撮影処理装置は、実施の形態１で述べたメモリ（図示略）を備えている。
【００３６】
天気情報受信部１３は、撮影時の位置にかかる天気情報を受信する。天気情報受信部１３は、天気情報の受信を定期的に行ってもよいし、撮影動作が開始されたことを契機として行ってもよい。この天気情報を撮影環境判定の要素に加えることで、後述するように撮影環境の検出精度が向上する。
【００３７】
以下、図６〜図８を用いて、実施の形態２の撮影処理装置におけるシーン判定について説明する。実施の形態１と同様、このシーン判定では、撮影環境判定部６が撮影環境の判定を、被写体判定部７が被写体の判定を行い、シーン判定部８はそれぞれの判定結果を加味して撮影しようとしているシーンを決定する。
【００３８】
図６及び図７は、本実施の形態に係る撮影処理装置が撮影時にシーンを検出する際に行う撮影環境判定方法の具体例を示すフローチャートである。撮影環境判定部６は理論値（時間情報及び位置情報）に関する判定と実測値の判定の結果を用いて、撮影環境を判定する。まず、撮影環境判定部６は時計１２から、撮影時の時刻情報を取得する。撮影環境判定部６は時刻情報と、予めメモリに保持された時間閾値情報を参照し、撮影時の時間が昼か夜かを決定する時間判定処理を行う（Ｓ１１）。ステップＳ１１は実施の形態１のステップＳ１と同様の処理である。時間閾値の設定に関しても実施の形態１と同様である。
【００３９】
ステップＳ１１によって撮影時の時間が昼と判定された場合に、撮影環境判定部６はＧＰＳ信号受信部１１から取得した位置情報を用いて、撮影場所の判定を行う（Ｓ１２）。ステップＳ１２は実施の形態１のステップＳ２と同様の処理である。
【００４０】
ステップＳ１２によって撮影時の場所が屋外と判定された場合に、撮影環境判定部６は天気情報受信部１３から取得した天気情報を用いて、撮影時の天気判定を行う（Ｓ１３）。この天気判定の処理を行うところが、実施の形態１と異なる点になる。ステップＳ１３で晴れか晴れ以外かという判定がなされることで、実施の形態１と比較して検出できる撮影環境が増える。以下でその判定区分について述べる。
【００４１】
ステップＳ１３で天気が晴れと判断された場合、撮影環境判定部６は実測値算出部２（センサ２１）から取得した測光値とメモリ部から取得した明るさの基準値を用いて、撮影時の明るさの判定を行う（Ｓ１４）。例えば明るさの基準値を２００００ルクスとすると、測光値の明るさが２００００ルクス以上であれば、撮影環境判定部６は、撮影環境が「晴天の昼間の屋外で、日なた」である（［１］）と判定する。測光値の明るさが基準値以下であれば、撮影環境判定部６は、撮影環境が「晴天の昼間の屋外で、日陰」である（［１０］）と判定する。この明るさの基準値も一例であり、他の値に設定されてもよいし、ユーザ等による変更ができるようにしてもよい。以上のように、天気判定を撮影環境判定の要素に加えることで、撮影環境が「晴天の昼間の屋外」のときに、撮影状態の場合分けが可能になる。［１］、［２］のような判定結果の説明は図８に記載されている。
【００４２】
ステップＳ１３で天気が晴れ以外であると判断された場合も、ステップＳ１４と同様に撮影環境判定部６は取得した測光値と明るさの基準値を用いて、撮影時の明るさの判定を行う（Ｓ１５）。ステップＳ１５で測光値の明るさが基準値の明るさよりも明るいと判定されれば、撮影環境判定部６は撮影環境が「屋外で太陽が光源だが曇天」（［２］）と判定する。測光値の明るさが基準値の明るさよりも暗いと判定されれば、撮影環境判定部６は撮影環境を「屋外で、雨天」（［１１］）と判定する。ここから、同じ非晴天時の撮影環境でも、更に詳しい撮影状態の場合分けを行うことができる。ステップＳ１５で使用する明るさの基準値は、例えば２００００ルクスとしてもよい。
【００４３】
ステップＳ１２において、撮影場所が屋内と判定された場合にも、撮影環境判定部６はステップＳ１６で天気判定を行う。ステップＳ１６で晴れと判定された場合は、撮影環境判定部６はステップＳ１７で明るさの判定を行う。ここで測光値の明るさが基準値の明るさよりも明るいと判定された場合は、「屋内から窓越しなどで屋外を撮影し、光源は太陽」である状態（［３］）が撮影環境であると判定される。測光値の明るさが基準値の明るさよりも暗いと判定された場合は、撮影環境は、「屋内で光源は屋内光源」である状態（［１２］）と判定される。ステップＳ１７で使用する明るさの基準値は、例えば１００００ルクスとしてもよい。ステップＳ１７の明るさ判定により、実施の形態１のステップＳ５と同様に、より最適なモードで撮影を行うことが可能になる。
【００４４】
ステップＳ１６で天気が晴れ以外と判定された場合にも、ステップＳ１７と同様、撮影環境判定部６はステップＳ１８で明るさの判定を行う。ここで測光値の明るさが基準値の明るさよりも明るいと判定された場合は、撮影環境は「屋内で光源は明るい屋内光源」の状態（［１３］）であると判定される。測光値の明るさが基準値の明るさよりも暗いと判定された場合は、撮影環境は「屋内で光源は弱めの屋内光源」の状態（［１４］）あると判定される。ステップＳ１８で使用する明るさの基準値は、例えば１０００ルクスとしてもよい。
【００４５】
ここまでの例により、撮影環境判定部６がステップＳ１１の時間判定で昼と判定した場合のシーン判定について述べた。実施の形態１と比較すると、撮影時の時間が昼と判定された場合に検出できる撮影環境が増えていることが分かる。これは天気判定を撮影環境判定の要素に取り入れた結果である。また、実施の形態１で明るさを２回判定しないと検出できなかったシーン(図２における［３］、［４］)が１回で検出できるようになった。
【００４６】
撮影環境判定部６がステップＳ１１の時間判定で夜と判定した場合のシーン判定については、実施の形態１と同様であり、図７に示した通りになる。実施の形態１と同様になる理由として、夜は天気が晴天、曇天、雨天のどの場合でも、屋外の明るさに大きな違いは見られないためである。時間判定で夜と判定された場合は、図７に示したステップＳ２０、ステップＳ２３の天気判定は行わなくともよい。
【００４７】
被写体判定部７が被写体の判定を行う詳細は、実施の形態１と同様なので記載を省略する。撮影環境判定部６は撮影環境の判定結果を、被写体判定部７は被写体の判定結果を、シーン判定部８に出力する。シーン判定部８はそれらの判定結果に基づいて、実施の形態１と同様に、撮影シーンの判定及び最適な撮影モードの決定を行う。例えば、撮影環境判定部６が「昼の屋外で曇天」であると撮影環境を判定し、被写体判定部７が「被写体は人の顔である」と被写体を判定したとする。その場合に、シーン判定部８は「屋外で曇天時での人の撮影」という撮影モードが最適であると判定する。あるいは、撮影環境判定部６が「昼の屋外で雨天」であると撮影環境を判定し、被写体判定部７が「被写体は人の顔である」と被写体を判定したとする。その場合には、シーン判定部８は「屋外で雨天時での人の撮影」という撮影モードが最適であると判定する。この２つの場合においては、シーン判定部８はそれぞれの場合に応じた指令を露出調整部９及び色調整部１０に出力する。これは実施の形態１ではなかった撮影の処理である。つまり、天気情報を加えた撮影環境判定と被写体判定を加味したシーン判定を行い、露出や色合いの調整を行うことで、より確実に、多彩なシーンを最適なモードで撮影するシーン自動判別機能を搭載した撮影処理装置、当該撮影処理装置を搭載した撮影装置及び撮影制御方法を提供することができる。
【００４８】
実施の形態１、２をまとめると、本発明では撮影環境の検出に、理論値(ＧＰＳ情報+時間情報) と実測値(測光評価値) を用い、かつ被写体の検出結果も加味した３段階のシーン検出を行うことで、検出するシーンの精度向上を実現した。更に、天気情報も理論値に加味することで、より確実に多彩なシーンを最適なモードで撮影することが可能になる。
【００４９】
また、実施の形態１・２では、撮影環境の明るさの判定に用いる基準値を、時間判定・場所判定、あるいは天気判定も加えた判定結果に応じて変えている。これは、時間・場所・天気によって、予測される撮影環境が変わるためである。例えば実施の形態２で判定される撮影環境が「昼の晴天の屋外」と「夜の屋外」とでは、想定される明るさも当然異なってくる。このときに、明るさの基準値を同じにしてしまっては適切な撮影環境の判定が行えなくなり、「多彩なシーンを最適なモードで撮影する」という目的を達成するのに不都合である。明るさの基準値を変更することで、撮影環境判定部６が検出するシーンの精度が良くなり、多彩なシーンを最適なモードで撮影することが可能になる。
【００５０】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態１や２で示した時間判定、場所判定、明るさ判定、天気判定のステップは、実施の形態で示した順番でなく、適宜順番を変更してもよい。時計１２は撮影処理装置に備えられている構成としたが、時刻情報が入手できるならば、電波受信部から時刻情報を入手するような撮影処理装置の構成でもよい。シーン判定等が行われた際に、撮影処理装置がユーザに対して、音声によるガイダンスをするようにしてもよい。
【００５１】
他に、時間判定に用いる閾値なども適宜変更可能としてよい。例えば、撮影処理装置が日付情報を検出できるとする。その際に、撮影環境判定部６は取得した日付情報から、時間判定において昼もしくは夜とみなす時刻の閾値を変更する。例えば、６月〜８月中は午前５時〜午後７時までを昼とみなし、１２月〜２月中は午前７時〜午後５時までを昼とみなす、としてもよい。また、時間判定を昼と夜だけでなく、「明け方・夕方」といった判定を加えるようにしてもよい。その場合の時間判定の閾値は、例えば、「午前５時〜午前７時、午後５時〜午後７時といった時間帯を明け方・夕方として時間判定をする」といった設定である。他にも、天気情報の統計を撮影処理装置のメモリに保持させて、その統計を撮影環境判定の要素に用いてもよい。
【００５２】
更に、撮影環境判定の判断フローにおいて、実測値を理論値よりも優先させるような判定の方法を行ってもよい。例えば、実施の形態２において、撮影環境がステップＳ１１の時間判定において昼、ステップＳ１２の場所判定において屋外、ステップＳ１３の天気判定において晴れ以外、ステップＳ１５の明るさ判定において測光値の明るさが基準値よりも明るいと判定されたとする。この場合、撮影環境判定部６は、撮影環境が「曇天の昼間の屋外」（［３］）と判定する。しかし、測光値が例えば１０００００ルクスであった場合、天気情報がその場所において正しくなく、実際の撮影環境は曇天でなく晴天であるという事態が考えられる。その際に撮影環境判定部６は、測光値に基づいて［３］の判定を［１］に判定し直す。つまり、晴天時の撮影と判定し直すような処理を行う。以上の処理により、測光値による判定を理論値よりも優先させることで、多彩なシーンを最適なモードで撮影することをより確実に行うことができる。
【００５３】
また、実施の形態１及び２ではシーン判定部８を設けた撮影処理装置の構成例について記載したが、シーン判定部８がない撮影処理装置の構成でも、多彩なシーンを最適なモードで撮影することができる。そのような撮影処理装置では、撮影環境判定部６と被写体判定部７は撮影環境及び被写体の判定結果に基づき、撮影画像の露出及び色合いの調整の指令を露出調整部９と色調整部１０に通知する。露出調整部９と色調整部１０は撮影環境判定部６及び被写体判定部７の指令に応じ、実施の形態１及び２と同様に、最適な露出の調整及び色の調整を行う。
【符号の説明】
【００５４】
１ 理論値算出部
２ 実測値算出部
３ 顔検出部
４ 色検出部
５ 距離検出部
６ 撮影環境判定部
７ 被写体判定部
８ シーン判定部
９ 露出調整部
１０ 色調整部
１１ ＧＰＳ信号受信部
１２ 時計
１３ 天気情報受信部
【技術分野】
【０００１】
本発明はシーン自動判別を行う撮影処理装置、当該撮影処理装置を搭載したデジタルカメラ等の撮影装置、及び撮影制御方法に関する。
【背景技術】
【０００２】
デジタルカメラ、携帯電話のカメラ等の普及が進み、カメラ機能に精通していないユーザでも適切な設定で撮影ができるＩＡ(Intelligent Auto)機能が、多くのデジタルカメラに搭載されている。ＩＡ機能では、カメラ自体が色情報、距離情報等から現在の被写体が何であるかを予想し、適切な設定を決めて撮影している。
【０００３】
しかしながら上記情報だけでは、シーンの検出精度が低く、検出できるシーンのバリエーションが少ないため、適切な撮影条件が導きだせないことがある。この問題を解決するため、時間と場所から光源を推測し、仰角と被写体距離から被写体が何かを推測してシーンを検出する技術が、特許文献１に開示されている。特許文献１では、屋外でカメラを上に向けたときの撮影画像には空が被写体に入っていると考えている。そこで、空を撮影する場合に手動で設定を切り替える操作をする必要がなく、最適な露出条件で空を撮影できる技術が開示されている。具体的には、撮影光軸の仰角を検出する仰角検出手段、ＧＰＳ（Global Positioning System）信号に基づいて屋外の撮影であるか否かを検出する屋外撮影検出手法、夜間であるか昼間であるかを検出する夜間検出手法を用いる。特許文献１ではそれらの手法を用い、夜空または昼空撮影モードに切り替えることで、最適な設定での撮影を可能にしている。
【０００４】
他の同様の技術の例として、特許文献２が挙げられる。特許文献２には、撮影した場所や時間、ユーザの撮影設定を装置に学習させることで、各シーンでの最適な設定での撮影が可能になる技術が開示されている。撮影シーンの判定要素として、光源の色温度、被写体の主要な色成分、被写体までの距離情報と共に、ＧＰＳ信号に基づいた位置情報とタイマから取得した時間情報を用いている。それらの情報に応じて、設定された複数種類の各撮影モードで判別ポイントを決定する。特許文献２ではその各撮影モードにおける判別ポイントに基づいて、設定された撮影モードの中から最適な撮影モードを特定している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２９２６６３号公報
【特許文献２】特開２００７−３０６４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし特許文献１・２とも、被写体の明るさといった実測値を用いていないため、色調整が適切に行われず、画像の色味が不適切になるなど品質の悪い画像が出力されてしまう。例えば特許文献１では、同じ昼空でも晴天と曇天の区別がつかないということが考えられる。つまり、特許文献１、特許文献２とも、多彩なシーンを最適なモードで撮影することができないという問題点がある。
【課題を解決するための手段】
【０００７】
本発明の第１の態様にかかる撮影処理装置は、撮影の時刻を判定可能な時間情報、前記撮影の位置を判定可能な位置情報、及び前記撮影の際の測光値に基づき撮影環境を判定する撮影環境判定部と、前記撮影の被写体を判定する被写体判定部と、前記撮影環境の判定結果及び前記被写体の判定結果に応じて撮影画像の露出及び色合いの調整を行う露出調整部・色調整部と、を備える。このような構成により、測光値の要素を加えて撮影におけるシーンを自動判別することができて、多彩なシーンを最適なモードで撮影することができる。
【０００８】
本発明の第２の態様にかかる撮影装置は、上述した第１の態様にかかる撮影処理装置を有する。
【０００９】
本発明の第３の態様にかかる撮影制御方法は、撮影の時刻を判定可能な時間情報、前記撮影の位置を判定可能な位置情報、及び前記撮影の際の測光値に基づいて撮影環境を判定し、前記撮影の被写体を判定し、前記撮影環境の判定結果及び前記被写体の判定結果に応じて、撮影画像の露出及び色合いの調整を行う。このような撮影制御方法により、測光値の要素を加えて撮影におけるシーンを自動判別することができて、多彩なシーンを最適なモードで撮影することができる。
【発明の効果】
【００１０】
上述した本発明の第１、第２及び第３の態様によれば、多彩なシーンを最適なモードで撮影することができる撮影処理装置、当該撮影処理装置を搭載した撮影装置、及び撮影制御方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１にかかる構成例を示すブロック図である。
【図２】実施の形態１にかかる撮影環境判定方法の具体例を示すフローチャートである。
【図３】実施の形態１にかかる撮影環境判定時の判定結果の詳細説明の図である。
【図４】実施の形態１・２にかかる被写体検出の判定結果の詳細説明の図である。
【図５】実施の形態２にかかる構成例を示すブロック図である。
【図６】実施の形態２にかかる撮影環境判定方法の具体例を示すフローチャートその１である。
【図７】実施の形態２にかかる撮影環境判定方法の具体例を示すフローチャートその２である。
【図８】実施の形態２にかかる撮影環境判定時の判定結果の詳細説明の図である。
【発明を実施するための形態】
【００１２】
実施の形態１
以下、図面を参照して本発明の実施の形態１について説明する。図１は、実施の形態１にかかる、撮影処理装置の構成例を示すブロック図である。当該撮影処理装置は、デジタルカメラ、カメラ付き携帯電話等の撮影装置に搭載される。当該撮影処理装置は、理論値算出部１、実測値算出部２、顔検出部３、色検出部４、距離検出部５、撮影環境判定部６、被写体判定部７、シーン判定部８、露出調整部９、色調整部１０を有する。理論値算出部１は、ＧＰＳ信号受信部１１と時計１２を備えている。実測値算出部２は、センサ２１を備えている。当該撮影処理装置は更に、被写体・撮影環境の判定に用いる設定情報等を記憶するメモリ（図示略）を備えている。
【００１３】
理論値算出部１は、撮影環境において理論値を算出する部分である。具体的には、理論値算出部１は、ＧＰＳ信号受信部１１及び時計１２によって、撮影時の位置情報及び時刻情報を取得する。ＧＰＳ信号受信部１１は人工衛星（図示略）からの電波を受信することで、当該撮影処理装置の現在位置を検知し、現在位置を示す位置情報を生成する。時計１２は、撮影時の時刻情報を計測する。
【００１４】
実測値算出部２はセンサ２１によって、撮影時の測光値を算出する。センサ２１は撮像素子であり、カメラのレンズ（図示略）を介して入射された光を電気信号に変換する。実測値算出部２はその電気信号により、撮影時の測光値を算出する。顔検出部３は撮影時に、被写体中に人の顔が含まれるかどうかを検出する。色検出部４は、被写体の色彩を検出する。距離検出部５は、撮影時において被写体までの距離を検出する。以上が、本実施の形態にかかる撮影処理装置において、撮影環境及び被写体の情報を検出する部分に相当する。
【００１５】
撮影環境判定部６は、理論値算出部１及び実測値算出部２が算出した結果に基づいて、現在の撮影環境が予め定められた複数の撮影環境のいずれに該当するかを判定する。この撮影環境の判定方法の詳細については後述する。被写体判定部７は、顔検出部３、色検出部４、距離検出部５が検出した被写体に関する情報に基づいて、現在撮影しようとしている被写体が予め定められた複数の被写体候補のうちいずれに該当するかを判定する。この被写体の判定方法の詳細についても後に述べる。
【００１６】
シーン判定部８は、撮影環境判定部６及び被写体判定部７による撮影環境及び被写体の判定結果に基づいて、現在撮影しようとしているシーン（撮影場面）を判定する。シーン判定部８はその判定に基づき、露出調整部９と色調整部１０に対し、該当するモードに応じた適切な明るさ及び色合いで撮影をするように調整を指示する。露出調整部９は、シーン判定部８からの指示に基づき、撮影時の露出の多寡を調整して、適切な明るさの写真を撮影できるようにする。色調整部１０はシーン判定部８の指示に基づき、適切な色合いの写真を撮影できるようにする。
【００１７】
以下、図２〜図４を用いて、本実施の形態にかかる撮影処理装置におけるシーン判定について説明する。図２は、本実施の形態の撮影処理装置が撮影時にシーンを検出する際に行う撮影環境判定方法の具体例を示すフローチャートである。撮影環境判定部６は次の通り、理論値（時間情報及び位置情報）に関する判定と実測値の判定の結果を用いて、撮影環境の判定を行う。まず、撮影環境判定部６は時計１２から、撮影時の時刻情報を取得する。撮影環境判定部６は時刻情報と、予めメモリに保持された時間閾値の情報を参照し、撮影時の時間が昼か夜かを決定する時間判定処理を行う（Ｓ１）。時間閾値は、例えば「午前６時〜午後６時は昼であり、午後６時〜午前６時は夜である」といった設定である。この設定は、他の時刻を基準にして設定されても構わないし、携帯電話のユーザ等によって変更できるとしてもよい。
【００１８】
ステップＳ１によって撮影時の時間が昼と判定された場合に、撮影環境判定部６はＧＰＳ信号受信部１１から取得した位置情報を用いて、撮影場所の判定を行う（Ｓ２）。例えば携帯電話の位置が建物の外側ならば、撮影環境判定部６は撮影場所を屋外と判定する。建物の内側等であれば撮影環境判定部６は撮影場所を屋内と判定する。
【００１９】
ステップＳ２によって撮影時の場所が屋外と判定された場合に、撮影環境判定部６は実測値算出部２（センサ２１）から取得した測光値とメモリから取得した明るさの基準値を用いて、撮影時の明るさの判定を行う（Ｓ３）。例えば明るさの基準値を５００００ルクスとすると、測光値の明るさが５００００ルクス以上であれば、撮影環境判定部６は、撮影環境が、「晴天の昼間の屋外」である（［１］）と判定する。明るさが基準値以下であれば、撮影環境判定部６は、撮影環境が「曇天の昼間の屋外」である（［２］）と判定する。この明るさの基準値は一例であり、他の値に設定されてもよいし、ユーザ等による変更ができるようにしてもよい。撮影環境判定部６は、照度であるルクスでなくとも、適するものであれば他の測定値を用いて、撮影時の明るさの評価を行ってもよい。ステップＳ１、Ｓ２、Ｓ３の判定により、「昼の屋外」の状況において、撮影環境判定部６は撮影環境の判定を行うことができる。なお、判定した撮影環境の判定結果［１］、［２］の説明は図３に示されており、以下で述べる［３］以降の判定結果についても図３に示されている。
【００２０】
ステップＳ２において撮影場所が屋内と判定された場合、撮影環境判定部６は屋内に対応した明るさ判定を行う（Ｓ４）。その際、撮影環境判定部６はステップＳ４で所定の基準値に比べて明るいと判定した後に、明るさ判定をもう１回行う（Ｓ５）。これは、撮影環境判定部６が、撮影しようとする被写体が屋内にあるか屋外にあるかを判定するために行うステップである。例えば、Ｓ４において明るいと判定される明るさが３００ルクス以上だとする。このとき計測された明るさは、４００ルクスということもありえるし、２００００ルクスということもありえる。前者では屋内にある被写体を屋内から撮影していると考えられるのに対し、後者では屋外にある被写体（光源は太陽）を屋内から撮影していると考えられる。後者の場合は撮影時に逆光になりやすいため、前者と同様の露出制御を行うと、色調整が適切に行われず、画像の色味が不適切になるなど品質の悪い画像が出力されてしまう恐れがある。つまり、撮影環境の明るさがステップＳ４で明るいと判定されただけでは、多彩なシーンを最適なモードで撮影するためには不十分である可能性がある。ステップＳ５で被写体自体が屋内か屋外にあるかの判別をすることによって、より最適なモード（露出制御）で撮影を行うことができるようになる。具体的には、ステップＳ５では、ステップＳ４で使用する基準値より高い基準値を用いて閾値判定を行えばよい。図２に示す具体例では、撮影環境判定部６はステップＳ５で明るさ判定を行うことで、屋内から屋外を撮影する状態（［３］）と屋内で屋内光源を用いて撮影する状態（［４］）とに区別して撮影環境を判定することができる。
【００２１】
なお、撮影環境判定部６は、ステップＳ４で所定の基準値より暗いと判定した場合には、撮影環境が屋内で光源は弱めの屋内光源の状態（［５］）と判定する。
【００２２】
ここまでの例により、撮影環境判定部６が時間判定で昼と判定した場合のシーン判定について述べた。同様にして、撮影環境判定部６が時間判定で夜と判定した場合のシーン判定について述べる。その場合、撮影環境判定部６はステップＳ２と同様に、ＧＰＳ受信信号部１１から取得した位置情報に基づいて撮影時の場所判定を行う（Ｓ６）。ステップＳ６で撮影場所が屋内と判定されれば、撮影環境判定部６は測光値に基づいて明るさ判定を行う（Ｓ７）。このとき撮影環境が所定の基準値より明るいと判定されれば、撮影環境判定部６は撮影環境を、被写体が屋内にあって屋内光源が用いられている状態（［６］）と判定する。逆にステップＳ７で撮影環境が所定の基準値より暗いと判定されれば、撮影環境判定部６は撮影環境を、夜景を被写体として屋内から撮影している状態（［７］）であると判定する。例えば、ステップＳ７での明るさの基準値を１００ルクスとし、撮影環境判定部６は、計測された明るさが１００ルクス以上であるとき明るいと判定し、１００ルクス以下であるとき暗いと判定すればよい。
【００２３】
ステップＳ６の場所判定で撮影環境が屋外と判定された場合、撮影環境判定部６は、測光値を用いて、屋外に対応した明るさの判定を行う（Ｓ８）。ステップＳ８において明るさが所定の基準値より明るいと判断された場合、撮影環境判定部６は、撮影環境が屋外で街灯等の人工光源の状態（［８］）と判定する。撮影環境がステップＳ８で所定の基準値より暗いと判断された場合、撮影環境判定部６は、撮影環境が屋外で夜景の状態（［９］）と判定する。ステップＳ８における明るさの基準値は、例えば５０ルクスとしてもよい。
【００２４】
以上の通り、撮影環境判定において実測値である明るさをシーン判定の要素に入れることで、多彩なシーンを最適な撮影環境判定で判定することができる。なお、図３に示したシーン区分はあくまで一例であり、他のシーン区分で場合分けをしても構わない。ステップＳ３、Ｓ４，Ｓ７、Ｓ８における明るさ判定の基準値は、シーン区分に有効なものであれば他の設定であってもよい。
【００２５】
次に、被写体判定部７が被写体の判定を行う処理の詳細について述べる。被写体判定部７は、顔検出部３、色検出部４、距離検出部５から取得した情報に基づいて被写体を判定する。顔検出部３は、人の顔に関する情報を被写体判定部７に送信する。具体的に言えば、送信されるのは顔の輪郭、目や鼻の形等の、人の顔に関する特徴的な情報である。被写体判定部７はその情報から、被写体に人の顔が入っているかどうかを判定する。
【００２６】
色検出部４からは、被写体の色彩に関する情報が被写体判定部７に送信される。被写体判定部７は色彩に関する情報に基づき、被写体が何であるかを判定する。例えば、被写体の色分布において上側に青が多く、下側に緑が多い判定結果が得られたとする。その場合、被写体判定部７は、被写体が風景、風景の絵もしくは写真ではないかという予測を行う。（上側は空であり、下側は森林といった例が現実的には考えられる。）被写体の色分布において青が圧倒的に多いという判定結果が得られた場合は、被写体判定部７は被写体が空、空の絵もしくは写真ではないかという予測を行う。このようにして、被写体判定部７は被写体が何であるかの予測を行う。
【００２７】
距離検出部５からは、被写体の距離に関する情報が被写体判定部７に送信される。距離の判定方法として、基準値を１０メートルとし、被写体までの距離が基準値以内であれば近いとし、それより遠ければ遠いとする、というのが一例である。基準値は１０メートルという値以外でも構わないし、自由に設定できるとしてもよい。
【００２８】
このように取得した情報から、被写体判定部７は被写体を判定する。例えば、人の顔がなく、上側に青が多く、下側に緑が多い色分布であり、距離が遠い被写体であると被写体判定部７が判定すれば、被写体判定部７はその被写体を風景であると判定する。もし、人の顔がなく、青が圧倒的に多い色分布であり、距離が近い被写体であると被写体判定部７が判定すれば、被写体判定部７はその被写体を空の絵もしくは写真であると判定する。以上のような被写体検出の判定結果の詳細説明は、図４に示されている。なおこの被写体の判定区分はあくまで一例であり、他の区分を用いてもよい。
【００２９】
被写体判定部７が行った被写体の判定結果と、撮影環境判定部６が行った撮影環境の判定結果に基づいて、シーン判定部８は撮影シーンの判定及び最適な撮影モードの決定を行う。例えば、撮影環境判定部６が撮影環境を「昼の屋外で太陽が光源である」と判定し、被写体判定部７が被写体を「被写体は人の顔」であると判定したとする。その場合に、シーン判定部８は「屋外で太陽を光源とした人の撮影」という撮影モードが最適であると判定する。その判定からシーン判定部８は、撮影時に太陽光が入り過ぎないように露出を絞る指令を露出調整部９に出力し、太陽光に対して人の肌を明るく目立たせるような色合いの調整に関する指令を色調整部１０に出力する。
【００３０】
他の例として、撮影環境判定部６が撮影環境を「屋内から屋外を撮影し、光源は太陽である」と判定し、被写体判定部７が被写体を「被写体は人の顔」と判定したとする。その場合にシーン判定部８は、「屋内から屋外を撮影し、太陽を光源にした人の撮影」という撮影モードが最適であると判定する。その判定からシーン判定部８は、逆光でも撮影できるような適切な露出の絞りに関する指令を露出調整部９に出力し、人物を目立たせるような色合いの調整に関する指令を色調整部１０に出力する。
【００３１】
もう一例として、撮影環境判定部６が撮影環境を「夜の屋内で光源は屋内光源である」と判定し、被写体判定部７が被写体を「被写体は風景の絵もしくは写真」と判定したとする。その場合にシーン判定部８は、「屋内光源で風景の絵もしくは写真を撮影」という撮影モードが最適であると判定する。その判定からシーン判定部８は、屋内光源の明るさに応じた適切な露出の絞りに関する指令を露出調整部９に出力し、写真の青と緑を目立たせるような色合いの調整に関する指令を色調整部１０に出力する。
【００３２】
以上のように、本実施の形態に係る撮影処理装置は、被写体・撮影環境の明るさを指標として用いた撮影環境判定と被写体判定を加味したシーン判定を行い、露出や色合いの調整を行うことで、多彩なシーンを最適なモードで撮影することができる。言いかえれば、本実施の形態に係る撮影処理装置は高精度な色調整、露出調整が行えて、高品質の画像を出力することができる。これは、測光値、時間情報、位置情報を加味して撮影環境の推測を行うことで可能になった。同じ測光値を計測する撮影環境であっても、時間や場所が異なることで最適な撮影のモードは異なることがあるが、実施の形態１の判定ではその撮影のモードの区分を適切に行うことができる。また、撮影環境が「昼の屋内」と判定された場合に、「太陽を光源とし、屋内から屋外を撮影する状態」のシーン判定が可能になることも、本実施の形態に係る撮影処理装置の特長である。
【００３３】
なお撮影環境判定部６、被写体判定部７、シーン判定部８による撮影環境、被写体、及びシーン判定処理は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processer）、ＭＰＵ（Micro Processing Unit）若しくはＣＰＵ（Central Processing Unit）又はこれらの組み合わせを含むコンピュータ・システムを用いて実現することができる。具体的には、これらの処理手順に関する命令群を含むプログラムをコンピュータ・システムに実行させればよい。
【００３４】
これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電源及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００３５】
実施の形態２
以下、本発明の実施の形態２について説明する。但し、実施の形態１と重複する説明は省略する。図５は、本実施の形態にかかる撮影処理装置の構成例を示すブロック図である。当該撮影処理装置は、理論値算出部１、実測値算出部２、顔検出部３、距離検出部５、色検出部４、撮影環境判定部６、被写体判定部７、シーン判定部８、露出調整部９、色調整部１０を有する。理論値算出部１は、ＧＰＳ信号受信部１１と時計１２のほか、新たに天気情報受信部１３を備えている。実測値算出部は、センサ２１を有する。当該撮影処理装置は、実施の形態１で述べたメモリ（図示略）を備えている。
【００３６】
天気情報受信部１３は、撮影時の位置にかかる天気情報を受信する。天気情報受信部１３は、天気情報の受信を定期的に行ってもよいし、撮影動作が開始されたことを契機として行ってもよい。この天気情報を撮影環境判定の要素に加えることで、後述するように撮影環境の検出精度が向上する。
【００３７】
以下、図６〜図８を用いて、実施の形態２の撮影処理装置におけるシーン判定について説明する。実施の形態１と同様、このシーン判定では、撮影環境判定部６が撮影環境の判定を、被写体判定部７が被写体の判定を行い、シーン判定部８はそれぞれの判定結果を加味して撮影しようとしているシーンを決定する。
【００３８】
図６及び図７は、本実施の形態に係る撮影処理装置が撮影時にシーンを検出する際に行う撮影環境判定方法の具体例を示すフローチャートである。撮影環境判定部６は理論値（時間情報及び位置情報）に関する判定と実測値の判定の結果を用いて、撮影環境を判定する。まず、撮影環境判定部６は時計１２から、撮影時の時刻情報を取得する。撮影環境判定部６は時刻情報と、予めメモリに保持された時間閾値情報を参照し、撮影時の時間が昼か夜かを決定する時間判定処理を行う（Ｓ１１）。ステップＳ１１は実施の形態１のステップＳ１と同様の処理である。時間閾値の設定に関しても実施の形態１と同様である。
【００３９】
ステップＳ１１によって撮影時の時間が昼と判定された場合に、撮影環境判定部６はＧＰＳ信号受信部１１から取得した位置情報を用いて、撮影場所の判定を行う（Ｓ１２）。ステップＳ１２は実施の形態１のステップＳ２と同様の処理である。
【００４０】
ステップＳ１２によって撮影時の場所が屋外と判定された場合に、撮影環境判定部６は天気情報受信部１３から取得した天気情報を用いて、撮影時の天気判定を行う（Ｓ１３）。この天気判定の処理を行うところが、実施の形態１と異なる点になる。ステップＳ１３で晴れか晴れ以外かという判定がなされることで、実施の形態１と比較して検出できる撮影環境が増える。以下でその判定区分について述べる。
【００４１】
ステップＳ１３で天気が晴れと判断された場合、撮影環境判定部６は実測値算出部２（センサ２１）から取得した測光値とメモリ部から取得した明るさの基準値を用いて、撮影時の明るさの判定を行う（Ｓ１４）。例えば明るさの基準値を２００００ルクスとすると、測光値の明るさが２００００ルクス以上であれば、撮影環境判定部６は、撮影環境が「晴天の昼間の屋外で、日なた」である（［１］）と判定する。測光値の明るさが基準値以下であれば、撮影環境判定部６は、撮影環境が「晴天の昼間の屋外で、日陰」である（［１０］）と判定する。この明るさの基準値も一例であり、他の値に設定されてもよいし、ユーザ等による変更ができるようにしてもよい。以上のように、天気判定を撮影環境判定の要素に加えることで、撮影環境が「晴天の昼間の屋外」のときに、撮影状態の場合分けが可能になる。［１］、［２］のような判定結果の説明は図８に記載されている。
【００４２】
ステップＳ１３で天気が晴れ以外であると判断された場合も、ステップＳ１４と同様に撮影環境判定部６は取得した測光値と明るさの基準値を用いて、撮影時の明るさの判定を行う（Ｓ１５）。ステップＳ１５で測光値の明るさが基準値の明るさよりも明るいと判定されれば、撮影環境判定部６は撮影環境が「屋外で太陽が光源だが曇天」（［２］）と判定する。測光値の明るさが基準値の明るさよりも暗いと判定されれば、撮影環境判定部６は撮影環境を「屋外で、雨天」（［１１］）と判定する。ここから、同じ非晴天時の撮影環境でも、更に詳しい撮影状態の場合分けを行うことができる。ステップＳ１５で使用する明るさの基準値は、例えば２００００ルクスとしてもよい。
【００４３】
ステップＳ１２において、撮影場所が屋内と判定された場合にも、撮影環境判定部６はステップＳ１６で天気判定を行う。ステップＳ１６で晴れと判定された場合は、撮影環境判定部６はステップＳ１７で明るさの判定を行う。ここで測光値の明るさが基準値の明るさよりも明るいと判定された場合は、「屋内から窓越しなどで屋外を撮影し、光源は太陽」である状態（［３］）が撮影環境であると判定される。測光値の明るさが基準値の明るさよりも暗いと判定された場合は、撮影環境は、「屋内で光源は屋内光源」である状態（［１２］）と判定される。ステップＳ１７で使用する明るさの基準値は、例えば１００００ルクスとしてもよい。ステップＳ１７の明るさ判定により、実施の形態１のステップＳ５と同様に、より最適なモードで撮影を行うことが可能になる。
【００４４】
ステップＳ１６で天気が晴れ以外と判定された場合にも、ステップＳ１７と同様、撮影環境判定部６はステップＳ１８で明るさの判定を行う。ここで測光値の明るさが基準値の明るさよりも明るいと判定された場合は、撮影環境は「屋内で光源は明るい屋内光源」の状態（［１３］）であると判定される。測光値の明るさが基準値の明るさよりも暗いと判定された場合は、撮影環境は「屋内で光源は弱めの屋内光源」の状態（［１４］）あると判定される。ステップＳ１８で使用する明るさの基準値は、例えば１０００ルクスとしてもよい。
【００４５】
ここまでの例により、撮影環境判定部６がステップＳ１１の時間判定で昼と判定した場合のシーン判定について述べた。実施の形態１と比較すると、撮影時の時間が昼と判定された場合に検出できる撮影環境が増えていることが分かる。これは天気判定を撮影環境判定の要素に取り入れた結果である。また、実施の形態１で明るさを２回判定しないと検出できなかったシーン(図２における［３］、［４］)が１回で検出できるようになった。
【００４６】
撮影環境判定部６がステップＳ１１の時間判定で夜と判定した場合のシーン判定については、実施の形態１と同様であり、図７に示した通りになる。実施の形態１と同様になる理由として、夜は天気が晴天、曇天、雨天のどの場合でも、屋外の明るさに大きな違いは見られないためである。時間判定で夜と判定された場合は、図７に示したステップＳ２０、ステップＳ２３の天気判定は行わなくともよい。
【００４７】
被写体判定部７が被写体の判定を行う詳細は、実施の形態１と同様なので記載を省略する。撮影環境判定部６は撮影環境の判定結果を、被写体判定部７は被写体の判定結果を、シーン判定部８に出力する。シーン判定部８はそれらの判定結果に基づいて、実施の形態１と同様に、撮影シーンの判定及び最適な撮影モードの決定を行う。例えば、撮影環境判定部６が「昼の屋外で曇天」であると撮影環境を判定し、被写体判定部７が「被写体は人の顔である」と被写体を判定したとする。その場合に、シーン判定部８は「屋外で曇天時での人の撮影」という撮影モードが最適であると判定する。あるいは、撮影環境判定部６が「昼の屋外で雨天」であると撮影環境を判定し、被写体判定部７が「被写体は人の顔である」と被写体を判定したとする。その場合には、シーン判定部８は「屋外で雨天時での人の撮影」という撮影モードが最適であると判定する。この２つの場合においては、シーン判定部８はそれぞれの場合に応じた指令を露出調整部９及び色調整部１０に出力する。これは実施の形態１ではなかった撮影の処理である。つまり、天気情報を加えた撮影環境判定と被写体判定を加味したシーン判定を行い、露出や色合いの調整を行うことで、より確実に、多彩なシーンを最適なモードで撮影するシーン自動判別機能を搭載した撮影処理装置、当該撮影処理装置を搭載した撮影装置及び撮影制御方法を提供することができる。
【００４８】
実施の形態１、２をまとめると、本発明では撮影環境の検出に、理論値(ＧＰＳ情報+時間情報) と実測値(測光評価値) を用い、かつ被写体の検出結果も加味した３段階のシーン検出を行うことで、検出するシーンの精度向上を実現した。更に、天気情報も理論値に加味することで、より確実に多彩なシーンを最適なモードで撮影することが可能になる。
【００４９】
また、実施の形態１・２では、撮影環境の明るさの判定に用いる基準値を、時間判定・場所判定、あるいは天気判定も加えた判定結果に応じて変えている。これは、時間・場所・天気によって、予測される撮影環境が変わるためである。例えば実施の形態２で判定される撮影環境が「昼の晴天の屋外」と「夜の屋外」とでは、想定される明るさも当然異なってくる。このときに、明るさの基準値を同じにしてしまっては適切な撮影環境の判定が行えなくなり、「多彩なシーンを最適なモードで撮影する」という目的を達成するのに不都合である。明るさの基準値を変更することで、撮影環境判定部６が検出するシーンの精度が良くなり、多彩なシーンを最適なモードで撮影することが可能になる。
【００５０】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態１や２で示した時間判定、場所判定、明るさ判定、天気判定のステップは、実施の形態で示した順番でなく、適宜順番を変更してもよい。時計１２は撮影処理装置に備えられている構成としたが、時刻情報が入手できるならば、電波受信部から時刻情報を入手するような撮影処理装置の構成でもよい。シーン判定等が行われた際に、撮影処理装置がユーザに対して、音声によるガイダンスをするようにしてもよい。
【００５１】
他に、時間判定に用いる閾値なども適宜変更可能としてよい。例えば、撮影処理装置が日付情報を検出できるとする。その際に、撮影環境判定部６は取得した日付情報から、時間判定において昼もしくは夜とみなす時刻の閾値を変更する。例えば、６月〜８月中は午前５時〜午後７時までを昼とみなし、１２月〜２月中は午前７時〜午後５時までを昼とみなす、としてもよい。また、時間判定を昼と夜だけでなく、「明け方・夕方」といった判定を加えるようにしてもよい。その場合の時間判定の閾値は、例えば、「午前５時〜午前７時、午後５時〜午後７時といった時間帯を明け方・夕方として時間判定をする」といった設定である。他にも、天気情報の統計を撮影処理装置のメモリに保持させて、その統計を撮影環境判定の要素に用いてもよい。
【００５２】
更に、撮影環境判定の判断フローにおいて、実測値を理論値よりも優先させるような判定の方法を行ってもよい。例えば、実施の形態２において、撮影環境がステップＳ１１の時間判定において昼、ステップＳ１２の場所判定において屋外、ステップＳ１３の天気判定において晴れ以外、ステップＳ１５の明るさ判定において測光値の明るさが基準値よりも明るいと判定されたとする。この場合、撮影環境判定部６は、撮影環境が「曇天の昼間の屋外」（［３］）と判定する。しかし、測光値が例えば１０００００ルクスであった場合、天気情報がその場所において正しくなく、実際の撮影環境は曇天でなく晴天であるという事態が考えられる。その際に撮影環境判定部６は、測光値に基づいて［３］の判定を［１］に判定し直す。つまり、晴天時の撮影と判定し直すような処理を行う。以上の処理により、測光値による判定を理論値よりも優先させることで、多彩なシーンを最適なモードで撮影することをより確実に行うことができる。
【００５３】
また、実施の形態１及び２ではシーン判定部８を設けた撮影処理装置の構成例について記載したが、シーン判定部８がない撮影処理装置の構成でも、多彩なシーンを最適なモードで撮影することができる。そのような撮影処理装置では、撮影環境判定部６と被写体判定部７は撮影環境及び被写体の判定結果に基づき、撮影画像の露出及び色合いの調整の指令を露出調整部９と色調整部１０に通知する。露出調整部９と色調整部１０は撮影環境判定部６及び被写体判定部７の指令に応じ、実施の形態１及び２と同様に、最適な露出の調整及び色の調整を行う。
【符号の説明】
【００５４】
１ 理論値算出部
２ 実測値算出部
３ 顔検出部
４ 色検出部
５ 距離検出部
６ 撮影環境判定部
７ 被写体判定部
８ シーン判定部
９ 露出調整部
１０ 色調整部
１１ ＧＰＳ信号受信部
１２ 時計
１３ 天気情報受信部
【特許請求の範囲】
【請求項１】
撮影の時刻を判定可能な時間情報、前記撮影の位置を判定可能な位置情報、及び前記撮影の際の測光値に基づき撮影環境を判定する撮影環境判定部と、
前記撮影の被写体を判定する被写体判定部と、
前記撮影環境の判定結果及び前記被写体の判定結果に応じて、撮影画像の露出及び色合いの調整を行う露出調整部・色調整部と、
を備える撮影処理装置。
【請求項２】
被写体中に顔があるかどうかを検出する顔検出部と、被写体の色彩を検出する色検出部と、被写体までの距離を検出する距離検出部と、を更に備え、
前記被写体判定部は前記顔検出部、前記色検出部、前記距離検出部の情報に基づいて被写体を判定する、
請求項１に記載の撮影処理装置。
【請求項３】
前記撮影に係る天気情報を取得することが可能な天気情報受信部を更に備え、
前記撮影環境判定部は、前記時間情報、前記位置情報、及び前記測光値に加えて、前記天気情報に基づいて前記撮影環境を判定する、
請求項１又は２に記載の撮影処理装置。
【請求項４】
前記撮影環境判定部は、少なくとも前記時間情報及び前記位置情報に基づいて、前記測光値を用いた前記撮影環境の明るさ判定に用いる基準値を決定する、
請求項１〜３のいずれかに記載の撮影処理装置。
【請求項５】
前記撮影環境判定部は、前記時間情報及び前記位置情報に基づき、撮影環境を「昼の屋内」と判定した場合に、
前記測光値に基づいた前記撮影環境の明るさ判定を２回以上行うことで、「太陽を光源とし、屋内から屋外を撮影している」状態の撮影環境の判定を行う、
請求項１〜４のいずれかに記載の撮影処理装置。
【請求項６】
請求項１〜５のいずれかに記載の撮影処理装置を備える撮影装置。
【請求項７】
撮影の時刻を判定可能な時間情報、前記撮影の位置を判定可能な位置情報、及び前記撮影の際の測光値に基づいて撮影環境を判定し、
前記撮影の被写体を判定し、
前記撮影環境の判定結果及び前記被写体の判定結果に応じて、撮影画像の露出及び色合いの調整を行う、
撮影制御方法。
【請求項１】
撮影の時刻を判定可能な時間情報、前記撮影の位置を判定可能な位置情報、及び前記撮影の際の測光値に基づき撮影環境を判定する撮影環境判定部と、
前記撮影の被写体を判定する被写体判定部と、
前記撮影環境の判定結果及び前記被写体の判定結果に応じて、撮影画像の露出及び色合いの調整を行う露出調整部・色調整部と、
を備える撮影処理装置。
【請求項２】
被写体中に顔があるかどうかを検出する顔検出部と、被写体の色彩を検出する色検出部と、被写体までの距離を検出する距離検出部と、を更に備え、
前記被写体判定部は前記顔検出部、前記色検出部、前記距離検出部の情報に基づいて被写体を判定する、
請求項１に記載の撮影処理装置。
【請求項３】
前記撮影に係る天気情報を取得することが可能な天気情報受信部を更に備え、
前記撮影環境判定部は、前記時間情報、前記位置情報、及び前記測光値に加えて、前記天気情報に基づいて前記撮影環境を判定する、
請求項１又は２に記載の撮影処理装置。
【請求項４】
前記撮影環境判定部は、少なくとも前記時間情報及び前記位置情報に基づいて、前記測光値を用いた前記撮影環境の明るさ判定に用いる基準値を決定する、
請求項１〜３のいずれかに記載の撮影処理装置。
【請求項５】
前記撮影環境判定部は、前記時間情報及び前記位置情報に基づき、撮影環境を「昼の屋内」と判定した場合に、
前記測光値に基づいた前記撮影環境の明るさ判定を２回以上行うことで、「太陽を光源とし、屋内から屋外を撮影している」状態の撮影環境の判定を行う、
請求項１〜４のいずれかに記載の撮影処理装置。
【請求項６】
請求項１〜５のいずれかに記載の撮影処理装置を備える撮影装置。
【請求項７】
撮影の時刻を判定可能な時間情報、前記撮影の位置を判定可能な位置情報、及び前記撮影の際の測光値に基づいて撮影環境を判定し、
前記撮影の被写体を判定し、
前記撮影環境の判定結果及び前記被写体の判定結果に応じて、撮影画像の露出及び色合いの調整を行う、
撮影制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−３２７０９（Ｐ２０１２−３２７０９Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１０−１７３８０１（Ｐ２０１０−１７３８０１）
【出願日】平成２２年８月２日（２０１０．８．２）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２２年８月２日（２０１０．８．２）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]