撮影制御装置、撮影制御方法およびプログラム
【課題】連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することにある。
【解決手段】光学系により結像された被写体像を撮像して撮像信号を出力する撮像素子７３からの撮像信号をＤＳＰ部７５でバッファメモリ（Ａ）７５ｃに順次記憶してから信号処理し、所定の撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を撮影条件毎の配分割合に従って配分設定し、設定された複数の設定値の組合せの中から、操作に応じて所望の順次設定値の組合せを選択して当該組合せを撮影条件とし、設定された組合せ毎の撮影枚数ずつ撮影動作を繰り返し実行するように撮像素子７３とＤＳＰ部７５とを制御する。
【解決手段】光学系により結像された被写体像を撮像して撮像信号を出力する撮像素子７３からの撮像信号をＤＳＰ部７５でバッファメモリ（Ａ）７５ｃに順次記憶してから信号処理し、所定の撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を撮影条件毎の配分割合に従って配分設定し、設定された複数の設定値の組合せの中から、操作に応じて所望の順次設定値の組合せを選択して当該組合せを撮影条件とし、設定された組合せ毎の撮影枚数ずつ撮影動作を繰り返し実行するように撮像素子７３とＤＳＰ部７５とを制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ブラケット撮影可能な撮影制御装置、撮影制御方法およびプログラム撮影制御装置に関する。
【背景技術】
【０００２】
従来、電子カメラにおいて、撮影条件のパラメータ、例えば露出条件を段階的に変化させて、ブラケット撮影を行うことが知られている。ブラケット撮影では一連の撮影動作において、連続的に被写体を撮影するので、同じ構図でありつつ撮影条件が異なる画像を複数得ることができる。
【０００３】
したがって、ブラケット撮影によれば、例えば撮影時に適正な露出条件を判断できないような場合でも、撮影後に得られた複数の画像の中から適正な露出の画像を選択できるので、撮影時における露出の設定の失敗を防止することができる。また、ブラケット撮影を行うと例えば動きがある被写体でも、シャッターチャンスを逃さずに同じ構図で違うニュアンスの画像を複数得ることができるので、撮影者の意図する画像を得やすくなる。
【０００４】
このような電子カメラの一例として、特許文献１に記載された「デジタルカメラ」にあっては、ホワイトバランス、露出、彩度、シャープネス等の複数のパラメータから第１および第２の選択パラメータを選択して、第１および第２の選択パラメータを、それぞれ複数段階に設定する。次いで、第１の選択パラメータの各段階に、第２の選択パラメータの各段階を組み合わせた複数の複合パラメータを形成する。次いで、この複数の複合パラメータに基づき、略同一の被写体像を複数の撮影画像に変換し、これらの複数の撮影画像をブラケット画像として取得する。次いで、これら複数の撮影画像はＬＣＤモニタに同時に表示する。
【０００５】
被写体像を複数のパラメータに基づき、撮像画像に変換するデジタルカメラにおいて、その複数のパラメータをそれぞれ段階的に変化させて生成された複数の撮像画像を一連の撮影動作によって得ることができるという利点を有している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−６７４６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１にあっては、複数の複合パラメータに基づいて複数の撮影画像に変換していたので、不必要な複合パラメータの組み合わせに対応した無駄な画像まで多数取得され、所望の条件に近い画像を得るのに効率が悪化するといった問題があった。
【０００８】
本発明は、上記に鑑みてなされたもので、その目的としては、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することができる撮影制御装置、撮影制御方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
（１）本発明は、光学系により結像された被写体像を撮像して撮像信号を出力する撮像手段と、所定の条件に従って撮影条件の組合せを複数組設定する撮影条件設定手段と、前記撮影条件設定手段により設定された複数の撮影条件の組合せに基づいて、撮影動作を繰り返し実行するように前記撮像手段を制御する連続撮影制御手段と、を備えることを特徴とする。
【００１０】
（２）本発明は、前記撮影条件設定手段は、所定の条件に従って撮影条件の組合せ数を変更することを特徴とする。
【００１１】
（３）本発明は、複数の撮影モードの中から所望の撮影モードを選択する撮影モード選択手段を備え、前記撮影条件設定手段は、前記撮影モード選択手段により選択された撮影モードに応じた、複数の撮像シーン別に撮影条件の組合せを設定するための設定データに従って、撮影条件の組合せを複数組設定することを特徴とする。
【００１２】
（４）本発明は、外部光または被写体光の輝度または照度を計測する測光手段を備え、前記撮影条件設定手段は、前記測光手段からの計測信号に応じた撮影条件の設定データに従って、撮影条件の組合せを複数組設定することを特徴とする。
【００１３】
（５）本発明は、被写体までの距離を計測する測距手段を備え、前記撮影条件設定手段は、前記測距手段からの計測信号に応じた設定データに従って、撮影条件の組合せを複数組設定することを特徴とする。
【００１４】
（６）本発明は、前記撮影条件設定手段は、組合せ対象となる前記撮影条件毎の配分割合の設定データに従って、前記撮影条件の組合せ毎の撮影枚数を配分設定することを特徴とする。
【００１５】
（７）本発明は、操作入力部からの操作情報に基づいて、連続撮影の合計枚数を設定する連続撮影枚数設定手段を備え、前記撮影条件設定手段は、前記連続撮影枚数設定手段により設定された連続撮影の合計枚数に応じて前記撮影条件の組合せを複数組設定することを特徴とする。
【００１６】
（８）本発明は、操作入力部からの操作情報に基づいて、連続撮影の合計枚数を設定する連続撮影枚数設定手段と、前記設定された連続撮影の合計枚数に応じて、撮影条件の分散度を設定する分散度設定手段とを備え、前記撮影条件設定手段は、前記分散度設定手段により設定された分散度に応じて、撮影条件の分散範囲を増減し、増減された分散範囲において、撮影条件の組合せを複数組設定するとともに、組合せ毎の撮影枚数を自動的に配分設定することを特徴とする。
【００１７】
（９）本発明は、画像表示手段と、前記撮像手段により連続撮影された複数の画像、または、前記画像の縮小画像を、当該画像の撮影時の複数の撮影条件の組合せ別、または、所定の撮影条件別に配列して前記画像表示手段に再生表示するように制御する表示制御手段と、操作入力部からの操作情報に基づいて、前記画像表示手段に表示された画像の中から選択された画像の画像データを符号化してメモリ媒体に保存記録するように制御する記録制御手段とを備えることを特徴とする。
【００１８】
（１０）本発明は、前記撮影条件設定手段は、予め記憶された撮影条件の頻度データまたは統計データに基づいた撮影条件の組合せを設定するための設定データに基づく撮影条件設定データに従って、撮影条件の組合せを複数組設定することを特徴とする。
【００１９】
（１１）本発明は、前記撮影条件設定手段は、前記設定データに従って、露出補正条件、ホワイトバランス設定条件、ストロボ発光条件、自動合焦条件、被写界深度条件のうちいずれかの撮影条件の組合せを複数組設定することを特徴とする。
【００２０】
（１２）本発明は、所定の条件に従って撮影条件の組合せを複数組設定する撮影条件設定ステップと、前記撮影条件設定ステップにより設定された複数の撮影条件の組合せに基づいて、撮影動作を繰り返し実行するように、光学系により結像された被写体像を撮像して撮像信号を出力する撮像素子を制御する連続撮影制御ステップと、を有することを特徴とする。
【００２１】
（１３）本発明は、所定の条件に従って撮影条件の組合せを複数組設定する撮影条件設定ステップと、前記撮影条件設定ステップにより設定された複数の撮影条件の組合せに基づいて、撮影動作を繰り返し実行するように、光学系により結像された被写体像を撮像して撮像信号を出力する撮像素子を制御する連続撮影制御ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態に係る撮影制御装置を電子カメラに適用した場合の概要を示すシステム構成図である。
【図２】本発明の第１の実施形態に係る高速度カメラの全体構成を示すブロック図である。
【図３】本発明の第１の実施形態に係る高速度カメラの撮像素子の構成を示すブロック図である。
【図４】本発明の第１の実施形態に係る高速度カメラの撮像素子の詳細な構成を示す回路図である。
【図５】ＣＤＳ回路、Ａ／Ｄ変換回路の動作を説明するためのタイミングチャートである。
【図６Ａ】本発明の実施形態に係る高速度カメラが、複数の撮影条件の組合せを少しずつ変えながら連写するマルチ条件連写を行う場合の概略的な動作を説明するためのフローチャートである。
【図６Ｂ】図６Ａに示す各ステップに対応する動作を説明するための画面例（ａ）〜（ｅ）である。
【図７】本発明の第１実施例として、選択されたシーンに応じて、マルチ条件連写の複数撮影条件の組合せを設定する場合での、撮影シーン毎に予め記憶されている撮影条件の設定データの例を示す図である。
【図８】シーン別の露出補正条件の配分設定データの例を示す図である。
【図９】撮影シーン別のホワイトバランス条件の配分設定データの例を示す図である。
【図１０Ａ】選択シーンに応じて撮影条件の組合せ毎の撮影枚数を配分した例を示す図（ａ）〜（ｄ）である。
【図１０Ｂ】選択シーンに応じて撮影条件の組合せ毎の撮影枚数を配分した例を示す図（ａ）、（ｂ）である。
【図１１Ａ】本発明の第１実施例の電子カメラの撮影制御の一例として、撮影シーンに応じて撮影条件の組合せ毎の撮影枚数を制御することを説明するためのフローチャート（その１）である。
【図１１Ｂ】本発明の第１実施例の電子カメラの撮影制御の一例として、撮影シーンに応じて撮影条件の組合せ毎の撮影枚数を制御することを説明するためのフローチャート（その２）である。
【図１２Ａ】平均輝度と輝度差に応じたストロボ強度の設定（ａ）、分散度に応じて、ストロボ発光強度条件を、設定ストロボ強度の周辺の条件に配分した例（ｂ）を示す図である。
【図１２Ｂ】自動設定されたストロボ強度毎の撮影枚数の例を示す図である。
【図１３Ａ】本発明の第２実施例のカメラの撮影制御に関するフローチャート（その１）である。
【図１３Ｂ】本発明の第２実施例のカメラの撮影制御に関するフローチャート（その２）である。
【図１４Ａ】ある焦点距離における、被写体の輝度と距離の頻度データの例を示す図（ａ）〜（ｃ）である。
【図１４Ｂ】頻度データと分散度に応じて連写枚数と撮影条件を配分した例（ａ）、自動配分設定された撮影条件毎の撮影枚数の例（ｂ）を示す図である。
【図１５Ａ】本発明の第３実施例のカメラの撮影制御に関するフローチャート（その１）である。
【図１５Ｂ】本発明の第３実施例のカメラの撮影制御に関するフローチャート（その２）である。
【図１６Ａ】本発明の第４実施例のカメラの撮影制御に関するフローチャート（その１）である。
【図１６Ｂ】本発明の第４実施例のカメラの撮影制御に関するフローチャート（その２）である。
【図１７】画像評価方法（１）として、ＲＧＢ各色の輝度ヒストグラム分布の統計量から画質評価することを示すフローチャートである。
【図１８Ａ】離散フーリエ変換、離散コサイン変換と、各変換による低周波／高周波成分を示す図である。
【図１８Ｂ】画質評価方法（２）として、画像データのＤＦＴによる空間周波数の分布や高周波成分から画質を評価する方法を示す。
【図１８Ｃ】画質評価方法（２）として、画像データのＤＦＴ、ＤＣＴなどによる空間周波数の分布や高周波成分から画質を評価する方法を示す。
【図１９Ａ】画質評価方法３として、画像の変換や復元等に用いるＰＳＦ法等を利用して、ブレやボケを判別評価する方法を示したフローチャート（その１）である。
【図１９Ｂ】画質評価方法３として、画像の変換や復元等に用いるＰＳＦ法等を利用して、ブレやボケを判別評価する方法を示したフローチャート（その２）である。
【図２０】ＰＳＦ法による、直線ブレ方向、ブレ距離、焦点ボケ半径の算出（推定）方法の一例を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態を図面を参照して説明する。
【００２５】
［本発明の概要］ （撮影条件の組合せを変えて高速連写） 図１は、本発明の実施の形態に係る撮影制御装置を電子カメラに適用した場合の概要を示すシステム構成図である。
【００２６】
図１に示すように、電子カメラは、操作入力部１１、制御部１３、ズームレンズ／フォーカスレンズ駆動部１５、絞り／シャッタ駆動部１６、ストロボ駆動部１７、ストロボ１８、角速度センサ／加速度センサ１９、手ブレ／振動検出部２０、受光センサ／ＡＦセンサ２１、測光／測距／ＡＦ検出部２２、光学系２３、イメージセンサ２５、バッファメモリ部２９、画像符号化／復号化部３１、画像記録／入出力部３３、画像メモリ媒体３５、表示部３７、表示制御部３９から構成されている。
【００２７】
詳しくは、制御部１３は、撮影モード／撮影シーンの選択部１３ａ、シーン別撮影プログラム１３ｂ、撮影条件１１３ｃ１、撮影条件ｎ１３ｃｎ、複数撮影条件の組合せ／連写枚数の設定部１３ｄ、撮影条件の組合せ設定データ１３ｅ、撮影条件の頻度統計データ１３ｆ、撮影条件１３ｇ、撮影制御部１３ｈ、通常の撮影制御部１３ｈ１、高速連写撮影制御部１３ｈ２、マルチ条件による連写撮影部１３ｈ３、画像評価制御部１３ｉ、画像記録／入出力制御部１３ｊから構成されている。
【００２８】
詳しくは、撮影モード／撮影シーンの選択部１３ａは、操作入力部の操作に従って、表示された複数のシーンの名称および見本画像の中から、撮影しようとする撮影シーンを選択する。
【００２９】
複数撮影条件の組合せ／連写枚数の設定部１３ｄ、撮影条件の組合せ設定データ１３ｅから読み出した設定データに従って、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を自動的に配分設定する。複数撮影条件の組合せ／連写枚数の設定部１３ｄは、測光／測距／ＡＦ検出部２２からの計測信号に応じて、撮影条件の撮影条件の組合せ設定データ１３ｅから撮影条件設定データを読出し、読み出された設定データに従って、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を配分設定する。
【００３０】
また、複数撮影条件の組合せ／連写枚数の設定部１３ｄは、連続撮影の合計枚数を設定する。さらに、複数撮影条件の組合せ／連写枚数の設定部１３ｄは、撮影条件の設定データ記憶手段から読み出された撮影条件の設定値の組合せ毎の配分割合の設定データに従って、設定された連続撮影の合計枚数に応じて、撮影条件の設定値の組合せ毎の撮影枚数を配分設定する。
【００３１】
複数撮影条件の組合せ／連写枚数の設定部１３ｄは、設定された連続撮影の合計枚数に応じて、撮影条件の設定値の分散度を設定する。複数撮影条件の組合せ／連写枚数の設定部１３ｄは、設定された分散度に応じて、撮影条件の設定値の分散範囲を増減し、増減された分散範囲において、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を自動的に配分設定する。
【００３２】
複数撮影条件の組合せ／連写枚数の設定部１３ｄは、撮影条件の頻度統計データ１３ｆから、頻度データに基づく撮影条件設定データを読出し、読み出された設定データに従って、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を配分設定する。
【００３３】
複数撮影条件の組合せ／連写枚数の設定部１３ｄは、設定データに従って、露出補正条件、または、ホワイトバランス設定条件、ストロボ発光条件、ＡＦ（自動合焦）条件、被写界深度条件などの撮影条件のうち、いずれかの撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を配分設定する。
【００３４】
撮影条件の組合せ設定データ１３ｅは、高速度撮影モードまたは連続撮影モードに関連して、撮影条件の設定値の組合せを設定するための設定データを予め複数組記憶する。撮影条件の組合せ設定データ１３ｅには、複数のシーン別に撮影条件の設定値の組合せを設定するための設定データを記憶する。また、撮影条件の組合せ設定データ１３ｅには、撮影モード／撮影シーンの選択部１３ａにより選択された撮影シーンに応じて、撮影条件の組合せ設定データ１３ｅから対応するシーンの撮影条件設定データを読出し、読み出された設定データに従って、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を配分設定する。
【００３５】
撮影条件の頻度統計データ１３ｆは、撮影条件の頻度データまたは統計データを予め記憶し、撮影条件の頻度データに基づいて撮影条件の設定値の組合せを設定するための設定データを記憶する。
【００３６】
高速連写撮影制御部１３ｈ２は、高速度撮影モードまたは連続撮影モードに関連して、複数撮影条件の組合せ／連写枚数の設定部１３ｄにより設定された複数の設定値の組合せの中から、操作に応じて順次設定値の組合せを選択して当該組合せを撮影条件とし、設定された組合せ毎の撮影枚数ずつ撮影動作を繰り返し実行するよう制御する。
【００３７】
測光／測距／ＡＦ検出部２２は、受光センサ／ＡＦセンサ２１からの検出信号に基づいて、外部光や被写体光の輝度または照度を計測するとともに被写体までの距離を計測する。表示部３７は、撮影シーンの名称および見本画像を表示する。
【００３８】
イメージセンサ２５は、光学系により結像された被写体像を撮像して撮像信号を出力する。イメージセンサ２５は、入力された制御信号に応じて、有効撮像領域中の全領域の画素の撮像信号を読出す全画素読出しモードと、制御信号に応じて、有効撮像領域中の選択された部分領域の画素の撮像信号を選択して読出す選択読出しモードと、制御信号に応じて、全領域または選択された部分領域の水平および／または垂直方向の複数の画素の撮像信号を加算して読出す加算読出しモードと、制御信号に応じて、全領域または選択された部分領域の画素の撮像信号を加算せずに読み出す加算なし読出しモードとを備え、撮像信号の出力回路に設けられた並列／直列変換回路を備え、読み出された撮像信号を、並列／直列変換回路により直列信号に変換された直列デジタル信号として信号処理部２７へ高速出力する。
【００３９】
表示制御部３９は、連続撮影された複数の画像、または、その縮小画像（サムネイル画像）を、当該画像の撮影時の複数の撮影条件の組合せ別に、または、所定の撮影条件の設定値別に、配列して表示部３７に再生表示するよう制御する。表示制御部３９は、連続撮影された複数の画像の画質を、画像評価処理部２７ｈにより順次評価するとともに、連続撮影された複数の画像、または、その縮小画像（サムネイル画像）を、当該画像の所定の画質の評価値の優劣または大小に基づいて選択し、選択された複数の画像を配列して画像表示手段に再生表示するよう制御する。
【００４０】
画像記録／入出力部３３は、操作入力部１１の操作に従って、表示部３７に表示された画像の中から選択された画像の画像データを符号化して、画像メモリ媒体３５に保存記録するように制御する。画像記録／入出力部３３は、画質の評価値の優劣または大小に基づいて選択された所定数の画像、または、操作入力部の操作に従って選択された画像のうち、いずれかの画像データを符号化してメモリ媒体に保存記録するように制御する。
【００４１】
信号処理部２７は、イメージセンサ２５から高速読み出しした画像データを内部に設けられた画像メモリ部に高速書込みし、高速符号化処理を行うため、撮影タイミングを制御する撮像素子コントローラ、Ｓ／Ｐ変換部、複数のフレームメモリからなる画像メモリ部、画像信号処理部、画像補正処理部、画像特徴の抽出部、画像認識処理部、撮影された画像の所定の画質特性を評価して画質の評価値を出力する画像評価処理部から構成されている。
【００４２】
図１において、並列読出しして高速読出しが可能なＣＭＯＳからなるイメージセンサ２５と、イメージセンサ２５から高速読み出しした画像データを高速書込み可能な画像メモリ部２７ｃを含み、高速符号化処理が可能なＤＳＰからなる信号処理部２７とを用いて、高速度で連写撮影または動画撮影などを行う。
【００４３】
１回のレリーズ操作による撮影において、複数の撮影条件の組合せを少しずつ変えながら複数枚の画像を高速度で連写して、略同じタイミングの被写体を異なる撮影条件の組合せで多数枚撮影して、写りや画質のよい画像や所望の画像を容易に記録できるようにするものである。
【００４４】
また、複数の中から所望シーンまたはその見本画像を選択すると、選択されたシーン毎に設定された設定値に応じて、撮影時の撮影速度（連写撮影間隔）や、連写撮影コマ数、撮影画像サイズ（画素数）などを、選択されたシーンの高速連写に最適となるように自動的に設定して、高速撮影動作を制御するようにしてもよい。
【００４５】
また、２０枚〜３００枚／秒など高速で連写されるので、１回の撮影でも撮影枚数も多くなるので、膨大なメモリを一度に消耗することになり、不要な画像を多数保存してメモリが一杯になり削除するのも手間がかかる。
【００４６】
そのため、撮影された画像の画質を評価する画像評価処理部２７ｈやシーン別撮影プログラムを設けて、撮影条件をそれぞれ変えながら連写された複数枚の画像の中から、「ベスト３」や「ベスト１０」、「撮影条件別や画質項目別のベスト３」など、評価値の大小に従って選択された画像を、記録候補として表示部３７に表示して、選択された画像、または、その中からユーザ操作により選択された画像を画像メモリ媒体３５に保存記録するように構成する。
【００４７】
［発明の要点１］ 図１に示すように、高速動作が可能なＣＭＯＳイメージセンサなど、多数枚の超高速連写機能を利用して、１度のレリーズ操作によるスチル撮影においても、複数の撮影条件の組合せを少しずつ変えながら、（項目Ａの複数Ｌの撮影条件）×（項目Ｂの複数ｍの撮影条件）×（項目Ｃの複数ｎの撮影条件）・・・、即ち、Ｌ×ｍ×ｎ×・・・・枚の画像を高速度で連続撮影して記録できるようにする。
【００４８】
また、連続撮影した画像の中から、所望の画像を選択して、選択された画像のみを画像メモリ媒体３５に保存記録できるようにする。さらに、同じ条件でそれぞれ複数枚ｐずつ繰り返し撮影して、Ｌ×ｍ×ｎ×・・・・×ｐ枚の画像を連続撮影できるようにしてもよい。
【００４９】
その際、選択された撮影モードや撮影シーンに応じて、また、撮影条件毎の割合や分布の設定データ、または、被写体輝度値などの計測値や被写体の状況に基づいて、撮影条件の組合せや分散させる範囲、組合せ毎の配分割合や撮影枚（コマ）数を自動的に設定して、組合せ毎にそれぞれ設定された枚数ずつ高速連写できるようにしたことで、従来例との違いを明かにする。
【００５０】
［発明の要点２］ また、実際の撮影条件の頻度データなどの統計データに基づいて、撮影条件の組合せや組合せ毎の配分割合や撮影枚数を変えるようにする。
【００５１】
［発明の要点３］ 上記撮影条件の組合せ毎の撮影割合や撮影枚数の配分を、連写撮影する合計枚数（Ｎ）や、選択された撮影シーンや所定の撮影条件に応じて、自動的に増減したり、撮影条件の分散度などを変えたりするように制御する。
【００５２】
［発明の要点４］ 上記マルチ条件で連写する際、撮影された複数枚、Ｌ×ｍ×ｎ・・・枚の画像を、Ｌ×ｍ枚、ｍ×ｎ枚、・・・など、撮影条件の組合せ別に並べて表示して、撮影条件が異なる画像同士を比較して、ユーザが気に入った画像や、写りのよい画像を操作により選択して記録できるようにする。
【００５３】
［発明の要点５］ 撮影された画像の画質を評価する画像評価処理部２７ｈやプログラムを設けて、撮影条件を変えながら連写された画像の中から、自動的に「ベスト３」や「ベスト１０」、「撮影条件別や画質項目別のベスト３」など、画質の評価値の大小に従って選択された画像を、記録候補画像として表示して、選択された画像を保存記録する。
【００５４】
写りや画質の良い画像の評価方法、自動選択方法としては、例えば、（ａ）適正露出条件に近い画像、（ｂ）輝度ヒストグラム分布やＲＧＢ別ヒストグラムの分布範囲が広い画像、白飛びや黒つぶれ領域の少ない輝度分布特性の画像、（ｃ）画像の周波数成分、フーリエ変換の変換係数など、空間周波数特性の特徴量から、解像度やコントラストが高い画像、ブレやボケの少ない画像などの画質を評価する。あるいは、（ｄ）赤眼や、眼がつぶった人物像、ハレーションや反射が多い画像、逆光で撮影された画像、ブレ、ボケが目立つ画像などを検出や評価して、失敗画像や劣化画像と判断される画像を優先的に候補から落として、残りの画像からユーザ操作に応じて選択する、…等の方法を用いればよい。また、評価方法を複数の中からユーザが選択できるようにしても良い。
【００５５】
［第１の実施形態］ 図２は、本発明の第１の実施形態に係る高速度カメラの全体構成を示すブロック図である。
【００５６】
図２に示すように、高速度カメラは、操作入力部５１、制御回路５３、シャッタ駆動部５５、絞り駆動部５６、ズームレンズ駆動部５７、焦点レンズ駆動部５８、撮影光学系（ズームレンズ）５９、ストロボ駆動回路６０、ストロボ６１、測光／測距センサ６２、検出回路６３、角速度センサ（Ｙ／Ｐｉｔｃｈ）６４、検出回路６５、角速度センサ（Ｘ／Ｙａｗ）６６、検出回路６７、ＨＤＤ記憶装置６８、プログラム・メモリ６９、データ・メモリ７０、画像メモリ媒体７１、撮像素子７３、ＤＳＰ部７５、バッファメモリ（Ｂ）７７、画像ＣＯＤＥＣ（符号器／復号器）７９、動画像ＣＯＤＥＣ（符号器／復号器）８１、表示駆動回路８３、画像表示部８５から構成されている。
【００５７】
制御回路５３は、入出力ポート５３ａ、入出力ポート５３ｂ、ＨＤＤ・ＩＦ５３ｃ、インタフェース５３ｄ、入力回路５３ｅ、メモリカード・ＩＦ５３ｆ、ＣＰＵ５３ｇから構成されている。
【００５８】
ＤＳＰ部７５は、コントローラ７５ａ、Ｓ／Ｐ変換回路７５ｂ、バッファメモリ（Ａ）７５ｃ、ＷＢ補正回路７５ｄ、画素補間／リサイズ回路７５ｅ、カラー補間回路７５ｆ、輪郭補正回路７５ｇ、ガンマ補正回路７５ｈ、マトリクス回路７５ｉ、画像特徴処理部７５ｊ、画像認識処理部７５ｋ、画像評価処理部７５ｍから構成されている。
【００５９】
以下、図２を参照して、高速度カメラの動作を簡単に説明する。
【００６０】
撮影光学系５９により撮像面に結像された被写体像は、ＣＣＤやＣＭＯＳイメージセンサなどからなる撮像素子７３により光電変換されて、スルー画像や撮影画像の撮像信号としてＤＳＰ（デジタル信号処理回路）部７５へ出力され、ＤＳＰ部７５に設けられた複数のフレームメモリ等を備えたバッファメモリ（Ａ）７５ｃ等に入力されて信号処理された後に、撮像画像の画素毎の輝度値、色差値のデジタル信号として出力され、バッファメモリ（Ｂ）７７等に一時記憶される。
【００６１】
操作入力部５１に設けられたレリーズボタン（図示しない）が押されて静止画の撮影指示が制御回路５３に入力されると、設定撮影条件に基づいて露出動作および撮影動作を行い、スルー画像とは異なるスチル記録用の高解像度の被写体像の撮像信号を撮像素子７３で撮像して、ＤＳＰ部７５で信号処理された画像データを画像ＣＯＤＥＣ（Ｃｏｄｅｒ＆Ｄｅｃｏｄｅｒ、符号器／復号器）７９により、ＪＰＥＧ規格等に準じた圧縮符号化画像データ、または、ＲＡＷデータなど非圧縮の符号化画像データに符号化され、内蔵メモリまたはフラッシュメモリカードなどのメモリ媒体からなるデータ・メモリ７０、または、小型のＨＤＤ記憶装置（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ハードディスク記録装置）６８等に、ＥＸＩＦ ＪＰＥＧなどのファイル形式で記録される。
【００６２】
連写撮影の場合も、上記スチル撮影を高速で繰り返し行い、撮像素子７３から高速度で読出した撮像信号をＤＳＰ部７５などに高速で出力する。このときも同様に、データ・メモリ７０、または、ＨＤＤ記憶装置６８に符号化画像データを記憶する。
【００６３】
動画撮影の場合も同様に、被写体像の撮像信号を撮像素子７３で撮像して、ＤＳＰ部７５で信号処理された画像データを動画像ＣＯＤＥＣ符号器／復号器）８１により、ＭＰＥＧ４やＨ．２６４／ＡＶＣなどの圧縮符号化方式に対応したて圧縮符号化され、ＡＶＩやＭＰ４などのファイル形式で、データ・メモリ７０やＨＤＤ記憶装置６８などに記録される。
【００６４】
なお、データ・メモリ７０やＨＤＤ記憶装置６８などに記録された画像データファイルは、画像メモリ媒体、または、ＵＳＢインターフェース（図示しない）など外部入出力インタフェースを介して、パーソナルコンピュータやプリンタに転送することができ、パーソナルコンピュータ内の大容量のＨＤＤ装置に画像データファイルを蓄積記録したり、さらに、ＣＤ−ＲやＤＶＤなどのディスク媒体に保存記録したり、あるいは、撮影画像をモニタに再生表示したり、パーソナルコンピュータ内の画像編集ソフトなどを用いて撮影画像や録画済の映像を編集したり、プリンタで印刷したりすることができる。
【００６５】
［イメージセンサ］ 撮像素子７３を、従来のようにＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）イメージセンサで構成する場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のＣＣＤ転送路によって順繰りに転送され、出力回路で初めてＦＤ（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）アンプにより信号電圧に増幅されて出力される。ＣＣＤから出力された撮像信号は、ＣＤＳ回路（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプル回路）でノイズ除去およびサンプル＆ホールド処理され、ＡＧＣ（自動利得制御）アンプで増幅され、ＡＤＣ（Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ、Ａ／Ｄ変換器）でデジタル撮像信号に変換されて、ＤＳＰ部７５に出力される。
【００６６】
一方、撮像素子７３をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｍｄｕｃｔｏｒ：相補型金属‐酸化膜半導体）イメージセンサで構成する場合には、一般的なＡＰＳ（Ａｃｔｉｖｅ Ｐｉｘｃｅｌ Ｓｅｎｓｏｒ：増幅型画素センサ）型のＣＭＯＳセンサでは、フォトダイオードを含む単位画素回路毎に増幅素子が内蔵されており、フォトダイオードで光電変換された信号電荷は画素回路内のアンプで一旦増幅され、垂直走査回路からの行アドレス選択信号と水平走査回路からの列選択信号によりＸＹアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧または電流として取り出すことができる。
【００６７】
ＣＣＤのように順番に取り出さなくとも、ＣＭＯＳセンサでは、任意の画素や領域の撮像信号だけを、任意の順序で取り出しできるので、デジタルズーム処理で所定領域のみを切出して読出す場合には高速で読み出せる。また、ＣＣＤでは、信号電荷をそのまま転送するのでスミアやノイズに弱いが、ＣＭＯＳセンサでは、画素毎にランダムアクセスで読出せ、各画素回路は電気的に分離しているので伝送ノイズに強く、またＣＭＯＳ ＬＳＩ等と同様に、同じ製造プロセスにてイメージセンサ部の周辺に、加算演算回路などデジタル論理回路や信号処理回路などを高集積化して比較的容易に一緒に作りこめる利点がある。
【００６８】
反面、上記ＣＭＯＳセンサでは、画素毎のアンプの閾値など個々の素子バラツキによる固定パターンノイズ（ＦＰＮ）や暗電流、ｋＴＣ雑音が大きい難点があったが、最近では、（ＣＣＤと同様に）埋め込みフォトダイオードとＦＤアンプを用いる構造にして、暗電流流とｋＴＣ雑音を低減できるようになった。また、列信号線毎に並列に並んだ列回路に設けたＣｏｌｕｍｎ型のＣＤＳ／Ａ／Ｄ変換回路等により、フォトダイオードをリセットする前と後の信号を減算して固定パターンノイズ（ＦＰＮ）を除去できるようになり、列回路毎に積分型や巡回型、逐次型などのＡＤ変換器を組み込んで、デジタル信号での撮像信号出力も容易になった。
【００６９】
［高速度イメージセンサ、選択読出しと画素加算、撮像信号の高速出力］ 図３は、本発明の第１の実施形態に係る高速度カメラの撮像素子の構成を示すブロック図である。
【００７０】
図３に示すように、撮像素子７３は、複数の単位画素回路７３ａ１をから構成されるイメージセンサ部７３ａ、ＣＤＳ回路７３ｂ、Ａ／Ｄ変換回路７３ｃ、画素加算回路７３ｄ、符号器７３ｅ、並列／直列変換回路７３ｆ、タイミング発生回路７３ｇ、垂直走査回路７３ｈ、水平走査回路７３ｉ、トランスミッタ７３ｊから構成されている。
【００７１】
高速度カメラに採用される撮影素子においては、各カラム回路（列回路）部にＣＤＳ／Ａ／Ｄ変換回路／画素加算回路を設け、また、デジタル撮像信号をＰ／Ｓ変換回路により並列／直列変換して出力するという構成のＣＭＯＳイメージセンサが有効である。
【００７２】
［ＣＤＳ／Ａ／Ｄ変換回路、画素加算回路］ 図４は、本発明の第１の実施形態に係る高速度カメラの撮像素子の詳細な構成を示す回路図であり、撮像素子内に設ける画素加算回路の例として、ＣＭＯＳイメージセンサ内のＣＤＳ回路７３ｂ、Ａ／Ｄ回路７３ｃなど列回路部に画素加算回路を設けた例を示す。
【００７３】
図４に示すように、撮像素子７３は、単位画素回路７３ａ１、ＡＤＣ基準信号（Ｒａｍｐ波形）７３ｎ、１０ビットカウンタ７３ｐ、ラッチ７３ｃ１、演算回路７３ｋ、ラッチ７３ｋ１、ラッチ７３ｋ２、ＡＬＵ７３ｋ３、ラッチ７３ｋ４、水平走査回路７３ｉ、演算回路７３ｍ、ラッチ７３ｍ１、ラッチ７３ｍ２、ＡＬＵ７３ｍ３、ラッチ７３ｍ４、符号器７３ｅ、並列／直列変換回路７３ｆ、トランスミッタ７３ｊ、ＤＳＰ７５、Ｐ／Ｓ変換回路７５ｂ、レシーバ７５ｂ１を有している。
【００７４】
図４に示すように、高速のＣＭＯＳイメージセンサを構成するために、ＣｏｌｕｍｎＡＤＣ方式の列回路に加算回路と高速転送回路を設けており、本実施形態の高速度カメラに用いる撮像素子７３では、任意サイズの画像領域を選択して、領域内の画素の撮像信号を読み出す選択読出しができるように構成している。
【００７５】
図３、図４に示すように、列回路部に設けられたＣＤＳ回路７３ｂ、Ａ／Ｄ変換回路７３ｃや水平走査回路７３ｉの後段部分に、各画素に隣接する同色フィルタの複数の画素の撮像信号同士をデジタル信号で加算するＡＬＵ７３ｋ３，ＡＬＵ７３ｍ３を演算回路７３ｋ，７３ｍを設けて、デジタルズーム時や高感度撮影時には、選択領域内の画素データを任意の行列毎に複数画素分加算された撮像信号を読出しできるように構成して、画素あたりの撮影感度を実質的に加算数分だけ上げることができ、短い露出時間や速いシャッタ速度でも露出が良好な撮影ができ、高速レートの動画撮影や連続撮影でも、画像データ量の小さい撮像信号に変換して出力できるようにした。
【００７６】
なお、選択読出された選択領域の撮像信号、さらに画素加算された撮像信号は、列回路部に設けられたＣＤＳ回路７３ｂ、Ａ／Ｄ変換回路７３ｃから水平走査回路７３ｉの列選択信号により選択された列信号が順次出力されるが、このとき、高速クロックに同期させて並列デジタル信号として出力するか、または、並列のデジタル信号を符号化し、並列／直列変換回路７３ｆにより並列／直列変換してトランスミッタ７３ｊから、直列のデジタル撮像信号としてＤＳＰ部７５に出力することで、高解像度の撮像信号を高速フレームレートでＤＳＰ部７５に転送出力することができる。
【００７７】
［ＣＤＳ回路、Ａ／Ｄ変換回路の動作］ 図４に示すように、並列に並んだ列回路に設けるＣＤＳ回路、Ａ／Ｄ変換回路の具体的構成には、各種方式が開発されているが、本実施形態では、いわゆる「Ｃｏｌｕｍｎ ＡＤＣ方式」のＣＤＳ回路７３ｂ、Ａ／Ｄ変換回路７３ｃを用いて、列毎に並列処理するＡ／Ｄ変換器により、画素の固定パターンノイズ（ＦＰＮ）を抑圧しながらデジタル信号に変換する。Ｃｏｌｕｍｎ ＡＤＣ方式のＣＤＳ回路７３ｂでは、固定パターンノイズを抑圧するために、粗精度と高精度の２段階のクランプ（Ｃｌａｍｐ）回路を用いる。一般に、クランプは、信号のあるレベルを基準電圧に置き換える動作で、クランプ回路は例えば、キャパシタとスイッチで構成され、キャパシタの出力側がスイッチにより基準電圧にセットされる。
【００７８】
図５は、ＣＤＳ回路、Ａ／Ｄ変換回路の動作を説明するためのタイミングチャートである。図５に示すタイミングチャートにおいて、まず、列回路部の反転バッファＡ１、Ａ２に並列接続されたクランプスイッチＳ１、Ｓ２を第１クランプ期間において同時に閉じてから、クランプスイッチＳ１を先に開くと、点Ｖｉｎの電位が、Ａ１の閾値電圧にＳ１スイッチングのバラツキが加算された電圧に粗い精度でクランプされるが、Ｓ２は閉じたままなので、その電圧がＡ２入力の閾値電圧になる。その後、Ｓ２を開くと、Ａ２にもスイッチングのバラツキを含む電圧がクランプされ、クランプ動作が完了する。Ｓ２スイッチングのバラツキ成分はＡ２の利得で割った分がＶｉｎ側のバラツキに還元されるので、Ｖｉｎ側から見るとクランプ精度が向上して、クランプ回路で発生する縦筋状の固定パターンノイズ（ＦＰＮ）の発生が抑えられる。
【００７９】
次に、行読出し線（転送ゲート線ＴＧ）にパルスが立ち上がると、画素信号が列信号線に現れるので、スイッチＳ４を閉じてサンプリングする。サンプリング完了後、スイッチＳ３を開いて、Ａ／Ｄ変換用のランプ波形（ＲＡＭＰ波形、順次電圧が上昇する傾斜状、階段状の波形）の基準信号をスイッチＳ４から加えると、ランプ波形に応じてＶｉｎの電圧がやがてクランプ回路の閾値を越えてＡ２の出力が反転し、反転する電圧までの１０ビットカウンタ７３ｐの値がデジタルの画素信号値としてラッチ７３ｃ１に記憶され、Ａ／Ｄ変換処理が終了する。
【００８０】
［画素加算動作］ このようなＣＤＳ回路７３ｂ、Ａ／Ｄ変換回路７３ｃを含む列回路の後に、列加算回路（垂直加算回路）などの演算回路７３ｋを設け、行アドレス選択された画素の信号を列信号線から読出し、ＣＤＳ回路７３ｂ、Ａ／Ｄ変換回路７３ｃでノイズ除去されデジタル変換されたデジタル並列信号を、ラッチクロック信号でラッチ７３ｋ１にラッチし、同じく選択された同じ列で異なる行の画素のデジタル並列信号を、同様に別のタイミングのラッチクロック信号で別のラッチ７３ｋ２にラッチして、両方のラッチ回路の出力同士を列加算回路を構成するＡＬＵ７３ｋ３でデジタル加算する。
【００８１】
また、水平信号線からの信号出力部に、行加算回路（水平加算回路）などの演算回路７３ｍを設け、列加算された信号同士をラッチクロック信号で選択して水平信号線に読出し、ラッチ７３ｍ１，７３ｍ２にラッチして、両方のラッチ回路の出力同士を行加算回路を構成するＡＬＵ７３ｋ４でデジタル加算する。
【００８２】
カラー撮像の場合には、例えば、「Ｂａｙｅｒ配列」等の千鳥状に２画素周期で交互に並んだＲＧＢ各色カラーフィルタに対応する各画素から、列方向に（一つ飛ばしで）隣接する同色フィルタの画素同士を、Ｒ画素はＲ画素同士で、Ｇ画素はＧ画素同士で、Ｂ画素はＢ画素同士で、列方向に複数加算し、また、行方向に（一つ飛ばしで）隣接する同色フィルタの複数の画素を行方向に加算して読み出すことで同色の画素の信号同士が複数画素分加算できる。
【００８３】
また、加算された撮像信号のデジタル信号は符号器７３ｅにより所定の符号化を行うとともに、並列／直列変換回路７３ｆにより並列／直列変換して順次シリアル（直列）のデジタル信号に変換されてトランスミッタ７３ｊから出力され、ＤＳＰ部７５のレシーバ７５ｂ１に転送される。
【００８４】
［その他のＣＤＳ回路、Ａ／Ｄ変換回路、加算回路］ なお、本実施形態においては、ＣＤＳ回路、Ａ／Ｄ変換回路をＣｏｌｕｍｎ ＡＤＣ方式で構成したが、たとえば、単純なＣｏｌｕｍｎ ＣＤＳ方式や、ＤＤＳ方式（Ｄｏｕｂｌｅ Ｄａｔａ Ｓａｍｐｌｉｎｇ）、電荷領域差分方式など、他のＣＤＳ回路、Ａ／Ｄ変換回路や加算回路で構成しても良い。
【００８５】
例えば、特開２００５−２７８１３５号公報「固体撮像装置および団体撮像装置の駆動方法」（図示しない）には、積分型ＡＤＣを列並列ＡＤＣ比較器およびアップ／ダウン・カウンタを用いて、ＣＤＳ回路、Ａ／Ｄ変換回路を構成して、デジタル画素値をメモリ部に書込み、例えば、カウンタをリセットせずに次の画素値を続けてカウントさせ、加算器なしで加算演算を行えるようにしたＣＭＯＳイメージセンサの構成例が開示されている。本実施形態においても、このような加算回路を用いて画素加算処理を行ってもよい。
【００８６】
［ＣＭＬ、ＬＶＤＳなどの高速シリアル転送回路］ 上述のように、加算された撮像信号のデジタル信号は、並列／直列変換回路７３ｆで順次シリアル（直列）のデジタル信号に変換され、トランスミッタ７３ｊからＤＳＰ部７５に設けられたレシーバ７５ｂ１に転送される。なお、高解像度で高速フレームで撮像するためには、撮像信号を高速でＤＳＰ部７５に転送する必要がある。
【００８７】
一般のＣＭＯＳからなる入出力回路では、入出力信号の振幅は、電源電圧の範囲において一杯の範囲で振らせるので、消費電力が大きくなるばかりでなく、転送できる速度も遅くなってしまう。
【００８８】
例えば、ＣＭＬ系（Ｃｕｒｒｅｎｔ Ｍｏｄｅ Ｌｏｇｉｃ、電流モードロジック）の入出力回路では、トランジスタを不飽和領域で使用して、インピーダンスを低くし、（電圧を振らせるというよりは）電流をｏｎ／ｏｆｆさせる方法で、（Ｖｄｄ−０．４Ｖ）の電位を中心に低振幅で動作させる。浮遊容量を充・放電する量が少なくなるので高速動作できる。
【００８９】
また、ＬＶＤＳ系（Ｌｏｗ−Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ、小振幅差動信号方式）は、２本の信号線を使って情報を運ぶ差動信号方式で、単一チャネルあたり数百〜数千Ｍｂｐｓ（メガビット／秒）の高速度でデータ伝送でき、かつ、ｍＷレベルの低消費電力の差動データ伝送方式として、内部バスの信号線の本数等を減らせるため、通信機器や表示装置や、映像信号のデジタル入出力インタフェースとして普及している。
【００９０】
ＬＶＤＳ系では、２本の配線を必要とするが、電流モード・ドライバの採用と、＋１．２Ｖ電位を中心に０．３Ｖの上下振幅内で振らせる小振幅によって、コモンモードノイズを除去でき、広い周波数範囲に対して高いノイズ耐性が得られる。
【００９１】
このように、ＣＭＯＳ回路でも、高速でシリアル伝送できるＣＭＬ系やＬＶＤＳ系などによる低振幅の入出力インタフェースを用いて、直列信号に変換されたデジタル撮像信号を撮像素子の出力回路（送信トランスミッタ）から出力して、後段のＤＳＰ部７５へ高速で伝送し、ＤＳＰ部７５に設けられた入力回路（受信レシーバ）で受信した直列デジタル信号をＳ／Ｐ変換回路７５ｂで並列デジタル信号に変換してから、デジタル撮像信号として映像信号処理に用いることができる。
【００９２】
［ＤＳＰ部（デジタル信号処理部）］ 撮像素子７３がＣＭＯＳからなるイメージセンサの場合には、ＣＭＯＳセンサ内蔵のＣＤＳ回路、Ａ／Ｄ変換回路でノイズ除去およびデジタル変換され、同じく内蔵の高速出力回路から直列のデジタル信号で転送されたデジタル撮像信号がＤＳＰ部７５に入力される。
【００９３】
ＤＳＰ部７５は、撮像素子７３から直列のデジタル信号で転送されたデジタル撮像信号をＳ／Ｐ変換回路７５ｂで並列デジタル信号に変換し、並列デジタル信号をバッファメモリ（Ａ）７５ｃに順次に記憶するとともに、バッファメモリ（Ａ）７５ｃから読み出した並列デジタル信号をＷＢ補正回路７５ｄに出力する。次いで、ＷＢ補正回路７５ｄでホワイトバランス調整やカラーバランス調整を行った後に、撮像素子７３の前面に設けられたモザイク状の「Ｂａｙｅｒ配列」や、千鳥配列されたＲＧＢなどのカラーフィルタ配列に従って、画素毎には一つの色成分しか持たないが、他の色差成分の画素値も、近隣周辺の画素値から画素補間（Ｐｉｘｅｌ Ｓｉｇｎａｌ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）して求めて（カラー補間処理）、画素毎にＲＧＢ色差成分毎の階調値を持つデジタル画像データに変換される。
【００９４】
また、カラー補間の前に、必要に応じて、画素補間／リサイズ回路７５ｅにより、撮像画像サイズを異なる画像サイズに変換する解像度変換処理（Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｅｒｓｉｏｎ）を行う場合もある。
【００９５】
画素補間／リサイズ回路７５ｅでは、例えば、スルー画像や再生画像をファインダや画像モニタに表示する為にＶｉｄｅｏ ＲＡＭや表示ドライバ内の表示ＲＡＭ領域に書込むために、（ＶＧＡサイズなどの）所定の画像サイズ（画素数）に変換するリサイズ（Ｒｅｓｉｚｅ）、または補間処理（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行う。あるいは、撮影記録時に、所望の記録画像サイズで記録する為に、設定記録画像サイズに縮小／拡大する処理や、リサイズ／補間処理または解像度変換処理を行う。
【００９６】
さらに、ＤＳＰ部７５では、ガンマ補正回路７５ｈにより階調補正されたＲＧＢ系のデジタル画像信号はバッファメモリ（Ｂ）７７に一時記憶された後、ＬＣＤモニタなど電子ファインダに再生表示されるか、マトリクス回路７５ｉでＲＧＢ系からＹＵＶ系／ＹＣｂＣｒ系など所定の色空間の画像信号に変換され、画像ＣＯＤＥＣ７９により、ＪＰＥＧ静止画像データやＭＰＥＧ４やＨ．２６４動画像データなどに圧縮／符号化処理される。なお、コントローラ７５ａは、ＣＰＵ５３ｇにより設定されたデータや撮影条件に応じて、ＤＳＰ部７５内部に設けられたＳ／Ｐ変換回路７５ｂ、バッファメモリ（Ａ）７５ｃ、ＷＢ補正回路７５ｄ、画素補間／リサイズ回路７５ｅ、カラー補間回路７５ｆ、輪郭補正回路７５ｇ、ガンマ補正回路７５ｈ、マトリクス回路７５ｉ、画像特徴処理部７５ｊ、画像認識処理部７５ｋ、画像評価処理部７５ｍなどの各回路を制御する。
【００９７】
［高速度撮影の撮影速度］ 従来の業務用の高速度カメラなどでは、銀塩フィルム時代のフィルム送り機構の制約などから、コマ毎に必要な露出時間の約５倍程度の時間間隔を設けて連続撮影速度やフレーム速度を設定して撮影する場合が多かった。これを基準に、シャッタ係数をα＝５程度に設定する場合が多かったが、これは、必ずしも所要の撮影速度から決められたものではなく、フィルム送り機構の制約などから、あるいは、習慣的に決められている場合が多かった。
【００９８】
また、従来のデジタルカメラでは、露出時間は１／１０００秒から１／８０００秒など微少時間で撮影できるものでも、連写撮影の速度は、ＣＣＤなど使用する撮像素子の制約、例えば、撮像電荷を垂直および水平転送路で順に伝送して読み出す原理上、撮像信号の読出しに要する時間や、読出し後の信号処理時間などの制約から、せいぜい３〜８枚／秒程度の連写しかできなかった。
【００９９】
本実施形態のように、撮像信号を高速度で読出し可能な高速度ＣＭＯＳからなる撮像素子７３、および、高速度で信号処理や符号化処理できるＤＳＰ部７５などを用いた場合にも、撮像信号の読出し時間や信号処理時間による制約は免れないが、従来のＣＣＤなどによるデジタルカメラに比べると数十倍の高速度で読出しや信号処理が可能となるので、所望の動く被写体や微少時間に起こる現象などを、適切な露出条件で、かつ、ブレなく撮影できるような条件を満たしさえすれば、上記のシャッタ係数αのような制約は、任意に設定することも可能となる。
【０１００】
例えば、撮影速度（フレーム速度）Ｒ（ｆｐｓ）は、シーン毎に設定された撮影倍率Ｍや被写体の移動速度Ｖなどの設定情報に従って、
Ｒ＝（Ｍ×Ｘ）／（ｄ×α） （１）
【０１０１】
ただし、Ｒ：撮影速度（コマ／秒）、Ｍ：撮影倍率＝イメージサイズ（Ｙ´）／被写体サイズ（Ｙ）、Ｖ：被写体の移動速度（ｍｍ／秒）、ｄ：許容錯乱円径、α：シャツタ係数（α＝１〜５など）、などの計算式から、撮影速度の目安を算出し、それに基づいて撮影速度Ｒを設定する。
【０１０２】
同一シーンでも、操作に応じて、または、所望の作画表現に応じて、ユーザ所望の撮影速度や、撮影時間、画像サイズ、撮影感度、画素加算による感度ＵＰなどの条件を選択できるようにして、その条件を満たした中で、上記の自動設定をしてもよい。
【０１０３】
［高速度撮影の必要な露出時間］ 例えば、必要な露出時間（Ｔ）は、シーン毎に設定された撮影倍率（Ｍ）や被写体の移動速度（Ｖ）などの設定情報に従って、
Ｔ＝β×ｄ／（Ｍ×Ｖ） （２）
ただし、Ｔ：露出時間（秒）、ｄ：許容錯乱円径、Ｍ：撮影倍率＝イメージサイズ（Ｙ´）／被写体サイズ（Ｙ）、Ｖ：被写体の移動速度（ｍｍ／秒）、β：係数（β＝０．２〜１．０）、または、
Ｔ＝β×Ｙ´／（ｍ×Ｍ×Ｖ） （３）
【０１０４】
ただし、Ｔ：露出時間（秒）、Ｙ´：撮像素子のイメージサイズ（ｍｍ）、ｍ：撮像素子の画素数、Ｍ：撮影倍率、Ｖ：被写体の移動速度（ｍｍ／秒）、β：係数（β＝０．２〜１．０など）、などの計算式で必要露出時間の目安を算出し、それを満たす範囲で、測光値や照明条件に応じて、露出時間Ｔを設定する。
【０１０５】
［マルチ条件連写の動作］ 図６Ａは、本発明の実施形態に係る高速度カメラが、複数の撮影条件の組合せを少しずつ変えながら連写するマルチ条件連写を行う場合の概略的な動作を説明するためのフローチャートであり、図６Ｂは、図６Ａに示す各ステップに対応する動作を説明するための画面例である。
【０１０６】
図２に示す高速度カメラの全体構成図を参照して、図６Ａに示すフローチャートを説明する。
【０１０７】
まず、ステップＳ１０では、ＣＰＵ５３ｇは、操作入力部５１から入力回路５３ｅを介して入力される操作情報に応じて所望の撮影モードや撮影シーンを選択する。この様子は６Ｂ（ａ）に示すように画像表示部８５に表示される。
【０１０８】
次いで、ステップＳ２０では、ＣＰＵ５３ｇは、撮影モードや撮影シーンに応じて、複数の撮影条件の組合せを自動的に選択し、その撮影条件の組合せ毎の撮影枚数を、適宜自動的に配分してコントローラ７５ａに設定する。ここで、操作入力部５１から入力される１回のレリーズ操作に応じて、撮影動作に入ると、コントローラ７５ａに設定された複数の撮影条件の組合せの条件に従って、それぞれ設定された枚数の画像を高速で続けて連続撮影するように撮像素子７３とＤＳＰ部７５が制御される。このとき、撮影された画像は順次バッファメモリ（Ａ）７５ｃ内のフレームメモリに一時記録され、信号処理される。この撮影条件（１），（２），（３）の組合せに対応した撮影枚数を図６Ｂ（ｂ）に示す。
【０１０９】
次いで、ステップＳ３０では、ＣＰＵ５３ｇは、複数の撮影条件を組合せ設定して、それぞれ設定された複数毎の画像を高速連写撮影する。ここで、撮影された画像は、撮影条件の組合せ毎の行×列に整列して画像表示部８５に一覧表示される。この様子は図６Ｂ（ｃ）に示すように、撮影条件（１）と撮影条件（２）との組み合わせに応じた枚数の画像が表示される。
【０１１０】
次いで、ステップＳ４０では、ＣＰＵ５３ｇは、高速連写された画像の画質を画像評価処理部７５ｍに評価させる。ここで、コントローラ７５ａでの設定に応じて、複数枚撮影された画像データの画質を評価する。
【０１１１】
次いで、ステップＳ５０では、ＣＰＵ５３ｇは、画質評価値の優劣に従って画像を選択し、保存記録する候補として画像表示部８５に画像表示する。ここで、ＣＰＵ５３ｇは評価された評価値の優劣に従って画像を自動的に選択し、例えば、解像度やコントラスト（中間階調表現）、鮮鋭度、ブレやボケの少なさなど、所定の画質特性毎に、画質の良い画像から順にベスト３やベスト１０を表示するなど、保存記録する候補の画像を同時に比較できるように、例えば、複数枚ずつ同時に画像を表示するか順に切り替え画像表示部８５に表示する。この様子は図６Ｂ（ｄ）に示すように、中間調Ｂｅｓｔ３、鮮明度Ｂｅｓｔ３、解像度Ｂｅｓｔ３が画像表示部８５に表示される。
【０１１２】
最後に、ステップＳ６０では、ＣＰＵ５３ｇは、評価値に従って選択された画像、又はユーザにより選択された画像を画像ＣＯＤＥＣ７９により符号化して画像メモリ媒体７１に保存記録する。なお、ステップＳ６０では、ステップＳ５０において選択された画質が優れた画像、または、ステップＳ３０やステップＳ５０において画像表示部８５に表示された画像を見てユーザが選択した所望の画像を、優先して画像メモリ媒体７１に保存記録し、それ以外の画像は一括で削除できるようにする。この様子は図６Ｂ（ｅ）に示すように、選択された画像が画像表示部８５に表示される。
［第１実施例］（選択シーンに応じて、複数撮影条件の組合せと枚数を設定）
【０１１３】
図７に、本発明の第１実施例として、選択されたシーンに応じて、マルチ条件連写の複数撮影条件の組合せをコントローラ７５ａに設定する場合での、撮影シーン毎に予め記憶されている撮影条件の設定データの例を示す。
【０１１４】
各撮影シーンが選択されると、各撮影条件は、シーン毎に予め記憶された設定データの条件に設定されるが、シーン毎の各撮影条件の設定データにおいて、「オート」、または、「マルチ条件連写」と設定されている撮影条件がある場合に、撮影時にマルチ条件連写撮影が選択されているときには、これらの撮影条件は、複数の撮影条件の組合せ（マルチ条件）として選択され、それら撮影条件を少しずつ変えて分散された条件の組合せと、組合せ毎の枚数が自動的に設定されて順次撮影条件と枚数を変えながら連写撮影（マルチ条件連写）が行われる。その他の撮影条件は、シーン毎にデータ・メモリ７０に予め記憶された設定データの条件もコントローラ７５ａに設定して撮影される。
【０１１５】
図７において、「人物（ポートレート）」と、「雪景色、スキー」の撮影シーンで、露出補正とホワイトバランスの撮影条件が、「マルチ条件連写」に設定されている場合を例に説明する。図８に示すように、選択されたシーン別の露出補正条件の配分設定データに従って、露出補正条件の配分割合が設定され、また、図９に示すように、シーン別のホワイトバランスの配分割合の設定データに従って、ホワイトバランスの条件がＷＢ補正回路７５ｄに配分設定され、これら撮影条件の組合せ毎の配分割合の撮影枚数で、マルチ条件連写を行うように制御される。
【０１１６】
［撮影条件の組合せ毎の枚数配分の具体例］ すなわち、「人物」シーンでは、人物の顔の明るさなどが状況によりばらつく場合が多いので、顔や肌色などが比較的明るく撮影されるように、露出補正は±０ＥＶが１９％、＋０．３ＥＶ補正が３７％、＋０．７ＥＶ補正が３３％、＋１ＥＶ補正が１１％、・・・のように撮影割合が設定され、「雪景色、スキー」シーンでは、「雪の白」が「白く」写るように、また、「雪景色のキラキラした明るさ」が強調された明るい画像となるよう、露出補正は＋０．３ＥＶ補正が６％、＋０．７ＥＶが２１％、＋１ＥＶが２１％、＋１．３ＥＶが１８％、＋１．７ＥＶが１５％、＋２ＥＶが９％、・・・・など、比較的露出補正（＋）側に広い範囲で露出補正値を分散して配分している。
【０１１７】
また、「雪景色、スキー」シーンのホワイトバランス条件では、本来は色温度が比較的高いが、雪景色の色調が「青っぽく」、「雪らしく」写るように、色温度が３５００Ｋ、４０００Ｋ、・・・と白熱電球並みに低い色温度で撮影する場合と、ゲレンデでのスキーシーンや人物撮影など、「青かぶりさせず」に「自然な色」に撮影したいシーンも想定して、本来の色温度に近い４５００Ｋ〜６０００Ｋ近辺の色温度での撮影する場合にも配分している。一方、人物を「屋内照明」で撮影するシーンでは、白熱電球や蛍光灯など各種の照明下の被写体を撮影する可能性が高いので、主な照明光源の色温度に合せて広範囲な色温度に配分している。
【０１１８】
図１０Ａ、図１０Ｂに、選択シーンに応じて撮影条件の組合せ毎の撮影枚数を配分した例を示す。上述のような、撮影シーン別に設定された複数の撮影条件の組合せ毎の割合がそれぞれの配分設定データの割合になるように、例えば、「人物」シーンを「屋内」で撮影する場合には、露出補正条件が、前述の「人物」シーンの露出補正条件の分散配分の割合になるように、マルチ条件連写による撮影枚数Ｎが計６０枚と設定されている場合には、図１０Ａ（ａ），（ｃ）に示すように、±０ＥＶが１１枚（１９％）、＋０．３ＥＶが２２枚（３７％）、＋０．７ＥＶが２０枚（３３％）、＋１ＥＶが７枚（１１％）、・・・で、計６０枚（１００％）となるように、それぞれ、撮影枚数が設定される。
【０１１９】
かつ、その際のホワイトバランス条件も、「屋内、照明」のホワイトバランスの分散配分の割合になるように、例えば、上記で配分された±０ＥＶ補正の１１枚（１９％）の中で、色温度が２０００Ｋで１枚（１９％×１２％）、２５００Ｋで１枚（１９％×１０％）、３０００Ｋで２枚（１９％×１９％）、３５００Ｋで２枚（１９％×１５％）、４０００Ｋで１枚（１９％×７％）、・・・・の各枚数で計１１枚となるよう、それぞれの撮影枚数がコントローラ７５ａに設定される。
【０１２０】
このように、合計枚数が６０枚で、かつ、シーン毎の露出補正条件の配分割合、及び、ホワイトバランス条件の配分割合が共に満足するように、組合せ毎の撮影枚数が自動的に算出されてコントローラ７５ａに設定され、１回のレリーズ操作に応じて、撮影条件の組合せを変えながら、組合せ毎にコントローラ７５ａに設定された枚数ずつ、計６０枚の画像が高速で連続撮影される。他の枚数の場合も同様である。
【０１２１】
マルチ条件運写の合計撮影枚数をＮ、第１の撮影条件である「露出補正条件」の第（ｉ）番目の露出補正設定値をΔＥＶ（ｉ）とすると、露出補正設定値ΔＥＶ（ｉ）毎の撮影枚数ｎ（ｉ）は、当該シーンにおけるΔＥＶ（ｉ）の配分設定割合ＲＥＶ（ｉ）を、合計撮影枚数（Ｎ）に乗算して計算し、例えば、小数点以下を四捨五入などで整数化して、
ｎ（ｉ）＝ＩＮＴ（Ｎ×ＲＥＶ（ｉ）＋０．５） （４）
等の計算式で略算して設定すればよい。
【０１２２】
第１の撮影条件の「露出補正条件」の設定値をΔＥＶ（ｉ）、かつ、第２の撮影条件の「ＷＢ（ホワイトバランス）条件」の設定値をＷＢ（ｊ）に設定して撮影する枚数ｍ（ｉ，ｊ）も、上で求めたΔＥＶ（ｉ）の撮影枚数ｎ（ｉ）を、各ＷＢ設定値ＷＢ（ｊ）の設定割合ＲＷＢ（ｊ）に乗算して、
ｍ（ｉ，ｊ）＝ＩＮＴ（ｎ（ｉ）×ＲＷＢ（ｊ）＋０．５） （５）
等の計算式で略算してＷＢ補正回路７５ｄに設定すればよい。
【０１２３】
小数点以下の四捨五入による配分では、偏ることも多く、合計すると、設定合計枚数に対して増減（減数または増数）する場合も生じるので、適宜、割合の少ない条件から順次減数したり、割合の多い条件から順に増数したりして合計枚数と調整したり、あるいは、小数で計算した後、合計枚数に一致するまで、割合の大きい条件の組合せから順に配分するなどの調整をおこなってもよい。
【０１２４】
図１１Ａ、図１１Ｂは、第１実施例の電子カメラの撮影制御の一例として、撮影シーンに応じて撮影条件の組合せ毎の撮影枚数を制御することを説明するためのフローチャートである。
【０１２５】
まず、ステップＳ１１０では、ＣＰＵ５３ｇは、操作入力部５１での設定が撮影モードか否かを判断する。ここで、撮影モードにない場合には、ステップＳ１１５に進み、ＣＰＵ５３ｇは、その他のモード処理へ進む。
【０１２６】
次いで、撮影モードにある場合、ステップＳ１２０に進み、ＣＰＵ５３ｇは、操作入力部５１の設定に応じて、撮影シーンをコントローラ７５ａに設定する。次いで、ステップＳ１３０では、ＣＰＵ５３ｇは、マルチ条件による連写撮影モードか否かを判断する。ここで、マルチ条件による連写撮影モードにない場合には、ステップＳ１３５に進み、ＣＰＵ５３ｇは、その他の撮影モード処理へ進む。マルチ条件による連写撮影モードにある場合、ステップＳ１４０に進み、ＣＰＵ５３ｇは、操作入力部５１から入力された操作情報に基づいて、マルチ条件連写の撮影枚数Ｎをコントローラ７５ａに設定する。
【０１２７】
次いで、ステップＳ１５０では、ＣＰＵ５３ｇは、選択されたシーン毎の露出補正の分布設定データに基づいて、複数の露出補正設定値と各撮影枚数とをコントローラ７５ａに設定する。
例えば、撮影枚数Ｎを、当該シーンにおける各露出補正設定値ΔＥＶ（ｉ）の設定割合ＲＥＶ（ｉ）に応じて配分し、露出補正設定値ΔＥＶ（ｉ）毎の撮影枚数ｎ（ｉ）を上記（４）式に当てはめて決定する。
【０１２８】
次いで、ステップＳ１６０では、ＣＰＵ５３ｇは、選択されたシーン毎のＷＢ分布設定データと露出補正毎の撮影枚数に応じて、ＷＢ設定値と各撮影枚数とをコントローラ７５ａに設定する。
例えば、露出補正値毎の撮影枚数ｎ（ｉ）を、各ＷＢ設定値ＷＢ（ｊ）の設定割合ＲＷＢ（ｊ）に応じて配分し、ΔＥＶ（ｉ）、かつ、ＷＢ（ｊ）の条件で撮影する枚数ｍ（ｉ，ｊ）を上記（５）式に当てはめて決定する。
【０１２９】
次いで、ステップＳ１７０では、ＣＰＵ５３ｇは、操作入力部５１からレリーズ又は撮影操作があるか否かを判断する。ここで、レリーズ又は撮影操作がない場合には、ＣＰＵ５３ｇは、復帰する。
【０１３０】
操作入力部５１からレリーズ又は撮影操作がある場合には、ステップＳ１７５に進み、ＣＰＵ５３ｇは、測光／測距センサ６２、検出回路６３からの検出信号に基づいて測光処理を行い、測光値に応じて適正露出条件ＥＶをコントローラ７５ａに設定する。
【０１３１】
次いで、ステップＳ１８０では、ＣＰＵ５３ｇは、Ｉ＝１、ＳＳ＝０にする。次いで、ステップＳ１８５では、ＣＰＵ５３ｇは、（ｉ）番目の露出補正の設定値ΔＥＶ（ｉ）に従って、露出条件をＥＶ＋ΔＥＶ（ｉ）に補正してコントローラ７５ａに設定する。
【０１３２】
次いで、ステップＳ１９０では、ＣＰＵ５３ｇは、Ｊ＝１、Ｓ＝０にする。次いで、ステップＳ１９５では、ＣＰＵ５３ｇは、（ｊ）番目のＷＢ設定値をＷＢ（ｊ）に設定し、Ｋ＝０とする。
【０１３３】
次いで、ステップＳ２００では、ＣＰＵ５３ｇは、設定露出補正条件、並びにＷＢ設定条件にて、コントローラ７５ａが撮像素子７３を制御して露出及び撮影処理を行い、バッファメモリ（Ａ）７５ｃに撮影画像を一時記憶する。次いで、ステップＳ２０５では、ＣＰＵ５３ｇは、Ｋ＝Ｋ＋１、Ｓ＝Ｓ＋１、ＳＳ＝ＳＳ＋１にする。
【０１３４】
次いで、ステップＳ２１０では、ＣＰＵ５３ｇは、設定枚数ｍ（ｉ，ｊ）だけ撮影したか否か、即ちＫ≧ｍ（ｉ，ｊ）か否かを判断する。ここで、Ｋ≧ｍ（ｉ，ｊ）でない場合には、ステップＳ２００に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。Ｋ≧ｍ（ｉ，ｊ）である場合には、ステップＳ２１５に進み、ＣＰＵ５３ｇは、Ｊ＝Ｊ＋１にする。
【０１３５】
次いで、ステップＳ２２０では、ＣＰＵ５３ｇは、最後のＷＢ条件での撮影を終了するか否か、即ちＪ≧Ｊｍａｘ又はＳ≧ｎ（ｉ）か否かを判断する。ここで、Ｊ≧Ｊｍａｘ又はＳ≧ｎ（ｉ）でない場合には、ステップＳ１９５に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。
【０１３６】
Ｊ≧Ｊｍａｘ又はＳ≧ｎ（ｉ）である場合には、ステップＳ２２５に進み、ＣＰＵ５３ｇは、Ｉ＝Ｉ＋１にする。
【０１３７】
次いで、ステップＳ２３０では、ＣＰＵ５３ｇは、最後の露出補正条件での撮影を終了するか否か、即ちＩ≧Ｉｍａｘ又はＳＳ≧Ｎか否かを判断する。ここで、Ｉ≧Ｉｍａｘ又はＳＳ≧Ｎでない場合には、ステップＳ１８５に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。Ｉ≧Ｉｍａｘ又はＳＳ≧Ｎである場合には、ステップＳ２３５に進み、ＣＰＵ５３ｇは、バッファメモリ（Ａ）７５ｃに記憶した撮影画像を画像ＣＯＤＥＣ７９に出力して符号化処理を行い、画像メモリ媒体７１へのメモリ記録処理を行い、ＣＰＵ５３ｇは、復帰する。
【０１３８】
［第１実施例の効果］ （１）複数の撮影条件を組み合わせて撮影するので、シーン選択をしないでも、所望の画像が得られる確率が高くなる。シーン選択すると、選択されたシーンに応じて、複数の撮影条件を組合せて連写撮影するので、さらに、写りの良い所望の画像が撮影できる。この結果、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することにある。
【０１３９】
（２）従来のブラケティング撮影と違って、超高速連写なので、撮影タイミングが殆ど変わらず、ほぼ同一シーンの画像で撮影条件や撮影条件の組合せを少しずつ変えた複数枚の画像が撮影でき、一度のレリーズ操作による撮影だけで、所望の写りの良い画像が得られる。
【０１４０】
（３）また、単なる複数の撮影条件の組合せによるブラケテイング撮影と違って、選択シーンや輝度値などの計測値、あるいは、撮影頻度データなどに基づいて、選択シーンに適した撮影条件、計測値に該当する撮影条件、撮影頻度の多い撮影条件を中心に、撮影条件の組合せ毎に設定された配分割合や枚数で連写撮影するので、無駄に多数の撮影を行わず、所望の条件に近い画像が撮影される確率を高め、効率の良い撮影ができる。
【０１４１】
（４）一度の撮影だけで、膨大な数の連写を行っても、所望の画像や写りの良い画像だけカメラが自動的に選択された画像、または、ユーザが選択した画像のみ記録できるので、多数枚高速連写しても、失敗画像や不要な画像などを多量に記録してしまうことが無いので、メモリがすぐに一杯になってしまうこともない。また、選択されなかった画像は保存記録されないので、不要な画像を逐一削除する面倒も無い。
【０１４２】
［第２実施例］（計測データに基づいて、条件毎の撮影枚数を設定する） 図１２Ａ、図１２Ｂに、第２実施例として、被写体の平均輝度と画面内での輝度差など、検出されたセンサ計測情報から、背景の露出条件と日中シンクロストロボ（ディライトストロボ）の発光強度条件などを、条件を少しずつ分散させて組合せ、複数の条件で複数枚連写する例を示す。
【０１４３】
例えば、日中の撮影でも、明るい一部の被写体を含んだ画面ではそれに引っ張られて、他の被写体が暗く写ってしまうことがある。また、太陽を背にした逆光の人物なども暗く写されてしまう。このような場合、日中でもストロボを少し発光照射して（日中シンクロストロボ、ディライト・ストロボなどと呼ばれる）、主要被写体が適当な明るさで撮影されるようにするのが望ましいが、発光強度が強すぎると主要被写体が白飛びして写ってしまう。
【０１４４】
このような状況を平均輝度と輝度差とから判別して、背景の露出条件を適切に設定し、かつ、日中シンクロストロボの発光強度を調整して撮影するが、状況は千差万別なので、本例では、その組合せを適当に分散し、条件をばらつかせて複数枚連写する。
【０１４５】
本実施例では、図１２Ａ（ａ）のように、被写体の平均輝度と輝度差との計測値の組合せに応じて、日中シンクロストロボ発光の強度をどの程度まで抑えて発光するかを決定する設定データを予めデータ・メモリ７０に記憶しておく。図は省略したが、同様に、平均輝度と輝度差との計測値の組合せに応じて、背景の露出制御条件や測光方式も、平均測光によるＡＥか、高輝度重視測光、低輝度重視測光、中央重点測光によるＡＥか、などの条件を設定しておく。
【０１４６】
操作入力部５１からレリーズの半押し操作やＡＥロック操作がされ、平均輝度と輝度差とが計測されたら、その計測値の組合せに従い、測光方式などを選択し背景の露出条件が設定され、また、平均輝度が所定値以下の場合には、高感度モードまたは所定の加算数の画素加算読出しモードに設定される。
【０１４７】
また、ストロボ発光強度については、図１２Ａ（ｂ）に示すように、例えば、平均輝度＝２．５と輝度差＝３．５の場合、合計連写枚数Ｎに応じて、枚数Ｎが２０枚と少ない場合には、分散度を減数して小さくし、平均輝度：２．５±０．５、輝度差：３．５±０．５の範囲で、また、枚数Ｎが１００枚と多い場合には、分散度を増数して大きくし、平均輝度：２．５±１．５、輝度差：３．５±１．５と分散を広くした範囲で、それぞれ計測値の組合せに対応するストロボ発光強度条件をストロボ駆動回路６０に設定する。
【０１４８】
その結果、図１２Ｂに示すように、連写枚数に応じて、各条件での撮影枚数がそれぞれコントローラ７５ａに配分設定され、レリーズボタンが全押しされたら、設定された条件に順次撮影条件を変えながら複数枚の連続撮影が行われる。
【０１４９】
図１３Ａ、図１３Ｂは、本発明の第２実施例のカメラの撮影制御に関するフローチャートである。
【０１５０】
まず、ステップＳ３１０では、ＣＰＵ５３ｇは、操作入力部５１での設定が撮影モードか否かを判断する。ここで、撮影モードにない場合には、ステップＳ３１５に進み、ＣＰＵ５３ｇは、その他のモード処理へと進む。撮影モードにある場合、ステップＳ３２０に進み、ＣＰＵ５３ｇは、操作入力部５１の設定に応じて、撮影シーン、撮影条件などをコントローラ７５ａに設定する。
【０１５１】
次いで、ステップＳ３３０では、ＣＰＵ５３ｇは、操作入力部５１からレリーズボタン半押し又はＡＥロック操作か否かを判断する。ここで、操作入力部５１からレリーズボタン半押し又はＡＥロック操作にない場合には、ステップＳ３３５に進み、ＣＰＵ５３ｇは、その他のキー処理へと進む。
【０１５２】
操作入力部５１からレリーズボタン半押し又はＡＥロック操作にある場合、ステップＳ３４０に進み、ＣＰＵ５３ｇは、マルチ条件による連写撮影モードか否かを判断する。ここで、マルチ条件による連写撮影モードにない場合には、ステップＳ３４５に進み、ＣＰＵ５３ｇは、その他の撮影処理へと進む。
【０１５３】
マルチ条件による連写撮影モードにある場合、ステップＳ３５０に進み、ＣＰＵ５３ｇは、操作入力部５１から入力された操作情報に基づいて、連写時の撮影条件、撮影枚数をコントローラ７５ａに設定する。次いで、ステップＳ３６０では、ＣＰＵ５３ｇは、分割測光（マルチパターン測光）処理を行う。次いで、ステップＳ３６５では、ＣＰＵ５３ｇは、検出回路６３からの測光データに基づいて平均輝度値と輝度差を算出する。
【０１５４】
次いで、ステップＳ３７０では、ＣＰＵ５３ｇは、この平均輝度値と輝度差に基づいて、被写体又は背景の露出条件（測光方式）をコントローラ７５ａに設定する。次いで、ステップＳ３７５では、ＣＰＵ５３ｇは、平均輝度＜所定値か否かを判断する。ここで、平均輝度＜所定値でない場合には、ステップＳ３８７に進み、ＣＰＵ５３ｇは、加算なしの通常読み出しモードにコントローラ７５ａに設定する。平均輝度＜所定値である場合には、ステップＳ３８０に進み、ＣＰＵ５３ｇは、平均輝度に応じて、高感度モード、又は（ｍ×ｎ）画素の加算読出しモードに設定する。
【０１５５】
次いで、ステップＳ３８５では、ＣＰＵ５３ｇは、連写枚数に応じて、撮影条件の分散度をコントローラ７５ａに設定する。次いで、ステップＳ３９０では、ＣＰＵ５３ｇは、平均輝度値と輝度差に応じて、ストロボの発行の基本条件をストロボ駆動回路６０に設定する。
【０１５６】
次いで、ステップＳ４００では、ＣＰＵ５３ｇは、連写枚数、分散度、及び被写体の平均輝度値と輝度差に応じて、ストロボ発光条件を基本設定から複数の発行条件に分散配分し、各発行条件での撮影枚数をコントローラ７５ａに設定する。
【０１５７】
次いで、ステップＳ４１０では、ＣＰＵ５３ｇは、操作入力部５１での設定がレリーズ全押し又は撮影操作があるか否かを判断する。ここで、操作入力部５１での設定がレリーズ全押し又は撮影操作がない場合には、ステップＳ４１０に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。
【０１５８】
操作入力部５１での設定がレリーズボタン全押し又は撮影操作がある場合には、ステップＳ４１５に進み、ＣＰＵ５３ｇは、第１のストロボ発光条件と撮影枚数とをコントローラ７５ａに設定する。次いで、ステップＳ４２０では、ＣＰＵ５３ｇは、設定ストロボ発光条件にてストロボ駆動回路６０によりストロボ発光し、設定露出条件と設定読出しモードにて露出及び撮影処理を行う。
【０１５９】
次いで、ステップＳ４２５では、ＣＰＵ５３ｇは、設定枚数だけ撮影したか否かを判断する。ここで、設定枚数だけ撮影していない場合、ステップＳ４２０に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。
【０１６０】
設定枚数だけ撮影した場合、ステップＳ４３０に進み、ＣＰＵ５３ｇは、最後の条件での撮影を終了するか否か判断する。ここで、最後の条件での撮影を終了しない場合、ステップＳ４３５に進み、ＣＰＵ５３ｇは、次のストロボ発光条件と撮影枚数とをコントローラ７５ａに設定する。その後、ステップＳ４２０に進み、ＣＰＵ５３ｇは、上述した処理を繰り返す。
【０１６１】
最後の条件での撮影を終了する場合、ステップＳ４４０に進み、ＣＰＵ５３ｇは、撮影画像データの符号化処理、メモリ記録処理を行い、ＣＰＵ５３ｇは、復帰する。
【０１６２】
［第１、第２実施例の効果］ （１）複数の撮影条件を組み合わせて撮影するので、シーン選択をしないでも、所望の画像が得られる確率が高くなる。シーン選択すると、選択されたシーンに応じて、複数の撮影条件を組合せて連写撮影するので、さらに、写りの良い所望の画像が撮影できる。この結果、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することにある。
【０１６３】
（２）従来のブラケティング撮影と違って、超高速連写なので、撮影タイミングが殆ど変わらず、ほぼ同一シーンの画像で撮影条件や撮影条件の組合せを少しずつ変えた複数枚の画像が撮影でき、一度のレリーズ操作による撮影だけで、所望の写りの良い画像が得られる。
【０１６４】
（３）また、単なる複数の撮影条件の組合せによるブラケテイング撮影と違って、選択シーンや輝度値などの計測値、あるいは、撮影頻度データなどに基づいて、選択シーンに適した撮影条件、計測値に該当する撮影条件、撮影頻度の多い撮影条件を中心に、撮影条件の組合せ毎に設定された配分割合や枚数で連写撮影するので、無駄に多数の撮影を行わず、所望の条件に近い画像が撮影される確率を高め、効率の良い撮影ができる。
【０１６５】
（４）一度の撮影だけで、膨大な数の連写を行っても、所望の画像や写りの良い画像だけカメラが自動的に選択された画像、または、ユーザが選択した画像のみ記録できるので、多数枚高速連写しても、失敗画像や不要な画像などを多量に記録してしまうことが無いので、メモリがすぐに一杯になってしまうこともない。また、選択されなかった画像は保存記録されないので、不要な画像を逐一削除する面倒も無い。
【０１６６】
［第３実施例］（撮影頻度データに基づいて、撮影条件毎の撮影枚数を設定） 図１４Ａ、図１４Ｂに、第３実施例として、撮影頻度データに基づいて、撮影条件毎の撮影枚数を設定してマルチ条件の連写を行う例を示す。
【０１６７】
本実施例では、図１４（ａ）に示すように、各焦点距離などにおける撮影頻度データなどの撮影統計データを予めデータ・メモリ７０に記憶設定しておき、この撮影頻度データに基づいて、図１４Ｂ（ａ）、（ｂ）に示すように、撮影時のレンズの焦点距離と検出された被写体輝度とから、当該撮影において頻度が多いと推定される複数の被写体距離条件を推定して、当該被写体距離に応じて、複数の各ＡＥ（自動露出）条件、ＡＦ（自動合焦）条件、被写界深度条件等の組合せを分散配分してコントローラ７５ａに設定し、条件の組合せ毎の連写枚数を切り替えて、連写撮影を行うように制御する。
【０１６８】
図１５Ａ、図１５Ｂは、本発明の第３実施例のカメラの撮影制御に関するフローチャートである。
【０１６９】
まず、ステップＳ５１０では、ＣＰＵ５３ｇは、操作入力部５１での設定が撮影モードか否かを判断する。ここで、撮影モードにない場合には、ステップＳ５１５に進み、ＣＰＵ５３ｇは、その他のモード処理へと進む。撮影モードにある場合、ステップＳ５２０に進み、ＣＰＵ５３ｇは、操作入力部５１での設定に応じて、撮影シーン、撮影条件をコントローラ７５ａに設定する。
【０１７０】
次いで、ステップＳ５２５では、ＣＰＵ５３ｇは、ズームレンズ駆動部５７からズーム処理情報を、焦点レンズ駆動部５８からレンズ焦点距離情報を取得する。次いで、ステップＳ５３０では、ＣＰＵ５３ｇは、操作入力部５１からレリーズ半押し又はＡＥロック操作があるか否かを判断する。ここで、操作入力部５１からレリーズ半押し又はＡＥロック操作がない場合には、ステップＳ５３５に進み、ＣＰＵ５３ｇは、その他のキー処理へと進む。
【０１７１】
操作入力部５１からレリーズボタン半押し又はＡＥロック操作がある場合、ステップＳ５４０に進み、ＣＰＵ５３ｇは、マルチ条件による連写撮影か否かを判断する。ここで、マルチ条件による連写撮影でない場合には、ステップＳ５４５に進み、ＣＰＵ５３ｇは、その他の撮影処理へと進む。
【０１７２】
マルチ条件による連写撮影である場合、ステップＳ５５０に進み、ＣＰＵ５３ｇは、操作入力部５１から入力された操作情報に基づいて、マルチ条件連写の撮影条件、撮影枚数をコントローラ７５ａに設定する。次いで、ステップＳ５５５では、ＣＰＵ５３ｇは、連写枚数に応じて、撮影条件の分散度をコントローラ７５ａに設定する。
【０１７３】
次いで、ステップＳ５６０では、ＣＰＵ５３ｇは、測光処理を行う。次いで、ステップＳ５６５では、ＣＰＵ５３ｇは、検出回路６３からの測光データに基づいて被写体の輝度（明るさ）を算出する。
【０１７４】
次いで、ステップＳ５７０では、ＣＰＵ５３ｇは、分散度に応じて、算出被写体輝度を中心に被写体輝度条件を分散させる。すなわち、ＣＰＵ５３ｇは、設定された分散度に応じて、撮影条件の分散範囲を増減し、増減された分散範囲において、撮影条件の組合せを複数組設定するとともに、組合せ毎の撮影枚数を自動的に配分設定する。次いで、ステップＳ５７５では、ＣＰＵ５３ｇは、（当該焦点距離における）被写体輝度と被写体距離の頻度データに基づいて、分散させた被写体輝度毎に推定される複数の被写体距離条件と各撮影枚数の配分をコントローラ７５ａに設定する。
【０１７５】
次いで、ステップＳ５８５では、ＣＰＵ５３ｇは、操作入力部５１からレリーズ全押し又は撮影操作があるか否か判断する。ここで、操作入力部５１からレリーズ全押し又は撮影操作がない場合には、ステップＳ５８５に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。
【０１７６】
操作入力部５１からレリーズボタン全押し又は撮影操作がある場合、ステップＳ５９０に進み、ＣＰＵ５３ｇは、第１の被写体輝度及び推定される被写体距離と撮影枚数とをコントローラ７５ａに設定する。
【０１７７】
次いで、ステップＳ５９５では、ＣＰＵ５３ｇは、設定された被写体輝度及び推測される被写体距離に応じて、ＡＥ（露出）条件、ＷＢ条件をコントローラ７５ａに設定する。次いで、ステップＳ６００では、ＣＰＵ５３ｇは、推測被写体距離に応じて、焦点レンズ駆動部５８でＡＦ（自動合焦）処理を行う。次いで、ステップＳ６０５では、ＣＰＵ５３ｇは、設定露出条件にて、コントローラ７５ａが撮像素子７３を制御して露出及び撮影処理を行い、バッファメモリ（Ａ）７５ｃに撮影画像を一時記憶する。
【０１７８】
次いで、ステップＳ６１０では、ＣＰＵ５３ｇは、設定枚数だけ撮影したか否かを判断する。ここで、設定枚数だけ撮影していない場合、ステップＳ５９５に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。設定枚数だけ撮影した場合、ステップＳ６１５に進み、ＣＰＵ５３ｇは、最後の条件での撮影を終了するか否か判断する。ここで、最後の条件での撮影を終了しない場合、ステップＳ６２０に進み、ＣＰＵ５３ｇは、被写体輝度及び推測被写体距離と撮影枚数とをコントローラ７５ａに設定する。その後、ステップＳ５９５に進み、上述した処理を繰り返す。
【０１７９】
最後の条件での撮影を終了する場合、ステップＳ６２５に進み、ＣＰＵ５３ｇは、撮影画像データの符号化処理、メモリ記録処理を行い、ＣＰＵ５３ｇは、復帰する。
【０１８０】
この場合も、分散された撮影条件毎の配分割合に従って、撮影条件の組合せ毎の撮影枚数を自動的に配分設定する。また、マルチ条件連写の撮影枚数に応じて、撮影条件の分散度などを自動的にコントローラ７５ａに設定して、枚数が多い場合には、より広がって分散された撮影条件の組合せになるよう設定されるのが望ましい。
【０１８１】
［第３実施例の効果］頻度データとして、実際の撮影例や画像データベースにおける各撮影条件の頻度データなどを集計して、予め撮影頻度データメモリに記憶しておくことで、実際の撮影における頻度や確率の高い被写体の状況や撮影シーンに適切な撮影条件を含む組合せ条件にて多くの枚数を撮影するので、画質や写りの良い所望の画像が得られる確率をより高めることができる。この結果、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することにある。
【０１８２】
［第４実施例］（連写された画像を画質評価して、評価値の高い画像を優先して記録）本実施例では、撮影条件の組合せ毎に設定された枚数の撮影を行った後、各画像の画質を評価し、評価値に応じて画像を一覧表示したり、評価値の高い画像やユーザに選択された画像を優先して保存記録したり、評価値の低い画像を保存記録しないように制御する。
【０１８３】
図１６Ａ、図１６Ｂは、本発明の第４実施例のカメラの撮影制御に関するフローチャートである。まず、ステップＳ７１０では、ＣＰＵ５３ｇは、撮影モードか否かを判断する。ここで、撮影モードにない場合には、ステップＳ７１５に進み、ＣＰＵ５３ｇは、その他のモード処理へと進む。撮影モードにある場合、ステップＳ７２０に進み、ＣＰＵ５３ｇは、操作入力に応じて、撮影シーン、撮影条件を設定する。
【０１８４】
次いで、ステップＳ７２５では、ＣＰＵ５３ｇは、マルチ条件による連写撮影がＯＮか否かを判断する。ここで、操作入力部５１での設定がマルチ条件による連写撮影がＯＮでない場合には、ステップＳ７３０に進み、ＣＰＵ５３ｇは、その他の撮影処理へと進む。
【０１８５】
操作入力部５１での設定がマルチ条件による連写撮影がＯＮである場合、ステップＳ７３５に進み、ＣＰＵ５３ｇは、操作入力部５１から入力された操作情報に基づいて、連写時の撮影条件、撮影枚数をコントローラ７５ａに設定する。次いで、ステップＳ７４０では、検出回路６３からの検出信号に基づいてＣＰＵ５３ｇは、測光処理を行い、被写体光又は被写体特徴、被写体状況の計測を行う。
【０１８６】
次いで、ステップＳ７４５では、ＣＰＵ５３ｇは、選択シーン若しくは計測値と、各撮影条件の分布設定データに応じて、撮影条件のいずれかを複数条件に分散してコントローラ７５ａに設定する。次いで、ステップＳ７６０では、操作入力部５１からＣＰＵ５３ｇは、レリーズ又は撮影操作があるか否かを判断する。ここで、操作入力部５１からレリーズ又は撮影操作がない場合には、ＣＰＵ５３ｇは、復帰する。
【０１８７】
操作入力部５１からレリーズボタン又は撮影操作がある場合、ステップＳ７６５に進み、ＣＰＵ５３ｇは、第１の撮影条件をその最初の設定値、またその撮影枚数（Ｎ１１）をコントローラ７５ａに設定する。次いで、ステップＳ７７０では、ＣＰＵ５３ｇは、第２の撮影条件をその最初の設定値、またその撮影枚数（Ｎ２１）をコントローラ７５ａに設定する。次いで、ステップＳ７７５では、ＣＰＵ５３ｇは、最後の撮影条件をその最初の設定値にし、またその撮影枚数（Ｎｎ１）をコントローラ７５ａに設定する。
【０１８８】
次いで、ステップＳ７８０では、ＣＰＵ５３ｇは、設定撮影条件にて、露出及び撮影処理を行う。次いで、ステップＳ７９０では、ＣＰＵ５３ｇは、設定枚数（Ｎｎｋ）だけ撮影したか否かを判断する。ここで、設定枚数（Ｎｎｋ）だけ撮影していない場合、ステップＳ７８０に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。設定枚数（Ｎｎｋ）だけ撮影した場合、ステップＳ７９０に進み、ＣＰＵ５３ｇは、設定枚数（ＮｎＮ）だけ撮影したか否かを判断する。ここで、設定枚数（ＮｎＮ）だけ撮影していない場合、ステップＳ７９５に進み、ＣＰＵ５３ｇは、最後の撮影条件を、次の設定値に、またその設定枚数（Ｎｎｋ）をコントローラ７５ａに設定し、ステップＳ７８０に進み、ＣＰＵ５３ｇは、上述した処理を繰り返す。設定枚数（ＮｎＮ）だけ撮影した場合、ステップＳ８００に進み、ＣＰＵ５３ｇは、設定枚数（Ｎ２Ｍ）だけ撮影したか否かを判断する。
【０１８９】
ここで、設定枚数（Ｎ２Ｍ）だけ撮影していない場合、ステップＳ８０５に進み、ＣＰＵ５３ｇは、第２の撮影条件を、次の設定値に、またその設定枚数（Ｎ２ｊ）をコントローラ７５ａに設定し、ステップＳ７７５に進み、上述した処理を繰り返す。設定枚数（Ｎ２Ｍ）だけ撮影した場合、ステップＳ８１０に進み、ＣＰＵ５３ｇは、設定枚数（Ｎ１Ｌ）だけ撮影したか否かを判断する。ここで、設定枚数（Ｎ１Ｌ）だけ撮影していない場合、ステップＳ８１５に進み、ＣＰＵ５３ｇは、第１の撮影条件を、次の設定値に、またその設定枚数（Ｎ１ｉ）をコントローラ７５ａに設定し、ステップＳ７７０に進み、上述した処理を繰り返す。
【０１９０】
設定枚数（Ｎ１Ｌ）だけ撮影した場合、ステップＳ８２０に進み、ＣＰＵ５３ｇは、撮影された連写画像の画質評価処理を画像評価処理部７５ｍ行わせる。なお、画像評価処理部７５ｍでの画質評価処理としては後述する画質評価方法１から４を採用することとする。
【０１９１】
次いで、ステップＳ８３０では、ＣＰＵ５３ｇは、画像評価処理部７５ｍでの評価結果に応じて、評価の高い画像、又は項目別の評価ベスト画像をバッファメモリ（Ａ）７５ｃから読み出し記録候補画像として画像表示部８５に表示する。
【０１９２】
次いで、ステップＳ８４０では、ＣＰＵ５３ｇは、選択画像の記録が可能か否かを判断する。ここで、選択画像の記録が可能でない場合、ステップＳ８４５に進み、ＣＰＵ５３ｇは、操作入力部５１の設定に応じて、記録する画像を選択し、ステップＳ８５０に進む。選択画像の記録が可能である場合、ＣＰＵ５３ｇは、選択された撮影画像の画像データの符号化処理、保存記録処理を行い、ＣＰＵ５３ｇは、復帰する。
【０１９３】
［画質評価方法１］ 図１７は画像評価処理部７５ｍでの画像評価方法（１）として、ＲＧＢ各色の輝度ヒストグラム分布の統計量から画質評価することを示すフローチャートである。図１７においては、画像の評価方法の例（１）を示すとして、画像評価処理部７５ｍでは、各画像データの輝度値、または、ＲＧＢ各色差成分の輝度値の分布ヒストグラム（頻度分布表、頻度分布図）を算出して、その輝度分布から画質を評価する。
【０１９４】
例えば、輝度分布ヒストグラムが中央からはずれて高輝度側に偏ると、露出オーバー気味で、高輝度領域が飽和したり、いわゆる「白飛び」した画像になり、逆に、輝度分布が低輝度側に偏ると、露出アンダー気味で、低輝度領域が飽和したり、「黒つぶれ」した画像になる。また、輝度分布が中央でも、その分布幅が狭くて、一様に広く分布していない場合には、ダイナミック・レンジが狭くて、中間諧調やこまかな濃淡に欠けた画像となる。いずれも、露出条件や写りの良くない画像の典型である。
【０１９５】
この輝度分布特性の指標値や統計量から、露出条件の良し悪しを評価できる。最近のデジタルカメラの多くは、輝度値を集計演算して、輝度分布のヒストグラムをグラフ表示等できる機種が多いので、それを流用すれば、比較的容易に実装できる。
【０１９６】
まず、ステップＳ８６０では、ＣＰＵ５３ｇは、画像上の点（ｉ，ｊ）の輝度をｆ［ｉ，ｊ］と表す。次いで、ステップＳ８６２Ｒでは、ＣＰＵ５３ｇは、Ｒ画像の点（ｉ，ｊ）の輝度をＲ［ｉ，ｊ］と表す。次いで、ステップＳ８６４Ｒでは、ＣＰＵ５３ｇは、輝度分布図（ヒストグラム）ＰＲ（Ｘ）を作成する。次いで、ステップＳ８６６Ｒでは、ＣＰＵ５３ｇは、Ｒ輝度のヒストグラム分布を表す。
【０１９７】
次いで、ステップＳ８６２Ｇでは、ＣＰＵ５３ｇは、Ｇ画像の点（ｉ，ｊ）の輝度をＧ［ｉ，ｊ］と表す。次いで、ステップＳ８６４Ｇでは、ＣＰＵ５３ｇは、輝度分布図（ヒストグラム）ＰＧ（Ｘ）を作成する。次いで、ステップＳ８６６Ｇでは、ＣＰＵ５３ｇは、Ｇ輝度のヒストグラム分布を表す。
【０１９８】
次いで、ステップＳ８６２Ｂでは、ＣＰＵ５３ｇは、Ｂ画像の点（ｉ，ｊ）の輝度をＢ［ｉ，ｊ］と表す。次いで、ステップＳ８６４Ｂでは、ＣＰＵ５３ｇは、輝度分布図（ヒストグラム）ＰＢ（Ｘ）を作成する。次いで、ステップＳ８６６Ｂでは、ＣＰＵ５３ｇは、Ｂ輝度のヒストグラム分布を表す。
【０１９９】
次いで、ステップＳ８６８では、ＣＰＵ５３ｇは、輝度分布の統計量について、輝度分布の平均値（Ｍｅａｎ）ＸＭ＝ΣｉＸｉ／Ｎ、中央値（Ｍｅｄｉａｎ）Ｘｍｅｄまたは最頻値（Ｍｏｄｅ）、輝度分布の分散（Ｖａｒｉａｎｃｅ）σ２＝Σｉ（ｘｉ−ｘＭ）２／（Ｎ−１）、輝度分布の標準偏差（ＳＤ）σ＝√（σ２）、変動係数ＣＶ＝（標準偏差／平均）＝｛σ／ｘＭ｝×１００、輝度分布の歪み度ＳＫは＝Σｉ｛（ｘｉ−ｘＭ）／σ｝３／Ｎ、輝度分布の尖り度Ｋ＝Σｉ｛（ｘｉ−ｘＭ）／σ｝４／Ｎ−３、とする。
【０２００】
例えば、輝度分布の平均値（Ｍｅａｎ）ＸＭ＝ΣｉＸｉ／Ｎ（ただし、Ｘｉは画素毎の輝度値）、（平均値は大きなはずれ値の影響を受け易いので、代表値としては中央値の方が有効である）、または、中央値（Ｍｅｄｉａｎ）Ｘｍｅｄ：分布の頻度数の順位が中央にある輝度値、最頻値（Ｍｏｄｅ）Ｘｍｏｄｅ（最も頻度数が多い輝度値）や、輝度の最大値Ｘｍｉｎや最小値Ｘｍａｘ、輝度分布の分散（Ｖａｒｉａｎｃｅ）σ２は、
σ２＝Σｉ（ｘｉ−ｘＭ）２／（Ｎ−１） （６）
輝度分布の標準偏差（ＳＤ、Ｓｔａｎｄａｒｄ Ｄｅｖｉａｔｉｏｎ）σ＝√（σ２）（分散や標準偏差は、分布の広がりの程度を示す）などから、画質の評価値を算出することができる。
【０２０１】
あるいは、ＲＧＢ毎のバラツキを示す変動係数ＣＶは、
ＣＶ＝（標準偏差／平均）＝｛σ／ｘＭ｝×１００ （７）
となる。また、輝度分布の歪み度（ゆがみど、わいど、Ｓｋｅｗｎｅｓｓ）ＳＫは、
ＳＫ＝Σｉ｛（ｘｉ−ｘＭ）／σ｝３／Ｎ （８）
なお、歪み度は、分布が左右対称かどうかの非対称性を示す。左右対称なら０、右に大きな「はずれ値」があれば正の値に、左に大きな「はずれ値」があれば負の値となる。輝度分布の尖り度（とがり度、とつ度、Ｋｕｒｔｏｓｉｓ）Ｋは、
Ｋ＝Σｉ｛（ｘｉ−ｘＭ）／σ｝４／Ｎ−３ （９）
【０２０２】
なお、尖り度は、分布が正規分布ならば０、正規分布より広がりが大きければ正の値に、正規分布より広がりが小さければ負の値となる。輝度分布やＲＧＢ毎の輝度分布の指標値や統計量などを元に、輝度分布の幅や広がり、その偏り、分布曲線の形状や特徴を判別し、露出条件の良し悪し、写りの良し悪しの判定ができる。もちろん、その他の統計値などを用いて評価値を算出しても良い。
【０２０３】
次いで、ステップＳ８７０では、ＣＰＵ５３ｇは、画質の特性を、輝度分布の平均、輝度分布の中央、輝度分布の広がり度合い、ＲＧＢ毎のかたより、輝度分布の左右対称性、正規分布より広い／狭いとする。次いで、ステップＳ８７２では、ＣＰＵ５３ｇは、画質評価値を決定する。
【０２０４】
このように、画質評価方法１において、撮影された画像データの輝度値の分布ヒストグラム、または、ＲＧＢ色差成分毎の輝度値の分布ヒストグラムを算出して、その輝度分布特性、または、その指標値、その統計量のうち、いずれかに基づいて、露出条件または中間調表現の良し悪しなどの所定の画質特性を評価することで、画質の評価値の大小に従って選択された画像を、記録候補画像として表示したり、自動選択された画質の最も良い画像や、または、表示された中からユーザが選択された所望の画像だけを簡単にメモリカードなどに保存記録することができる。
【０２０５】
［画質評価方法２］ 図１８Ａに、離散フーリエ変換、離散コサイン変換と、各変換による低周波／高周波成分を示す。図１８Ｂ、図１８Ｃに、画像評価処理部７５ｍでの画質評価方法（２）として、画像データのＤＦＴ、ＤＣＴなどによる空間周波数の分布や高周波成分から画質を評価する方法を示す。
【０２０６】
二次元画像データの各点の輝度値ｆ（ｘ，ｙ）を、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、あるいは、それらをソフト処理で高速計算するＦＦＴ（高速フーリエ変換）アルゴリズム等により、周波数軸に変換したＦ（ｕ，ｖ）を求め、その周波数毎の振幅値や変換係数等、画像の周波数特性や、全体に占める高周波成分や低周波成分の比率から、画質のボケの程度や鮮鋭度（シャープさ）、解像度等を評価できる。
【０２０７】
最近のデジタルカメラでは、ＪＰＥＧ等の画像圧縮符号化のためにＤＣＴ変換用のＤＳＰやソフトウェアを内蔵しているので、その部分を流用すれば、比較的容易に実装できる。離散フーリエ変換（ＤＦＴ）は、
Ｆ［ｕ，ｖ］＝（１／ＭＮ）Σｘ＝０Ｍ−１Σｙ＝０Ｎ−１ｆ［ｘ，ｙ］Ｗ１ｕｘＷ２ｖｙ
（１０）
ただし、各変換係数Ｗ１＝ｅｘｐ（−ｊ２π／Ｍ）、Ｗ２＝ｅｘｐ（−ｊ２π／Ｎ））
【０２０８】
次に、離散コサイン変換では、
Ｆ［ｕ，ｖ］＝（４／√ＭＮ）Ｃ（ｕ）Ｃ（ｖ）
・ΣｘΣｙｆ［ｘ，ｙ］・ｃｏｓ｛（２ｘ＋１）ｕπ／２Ｍ｝
・ｃｏｓ｛（２ｙ＋１）ｖπ／２Ｎ｝ （１１）
【０２０９】
ただし、各変換係数Ｃ（ｕ），Ｃ（ｖ）＝１／√２（ｕ，ｖ＝０）、Ｃ（ｕ），Ｃ（ｖ）＝１（ｕ，ｖ≠０））で計算できる。
【０２１０】
まず、ステップＳ８７６では、ＣＰＵ５３ｇは、画像上の点（ｘ，ｙ）の輝度をｆ［ｘ，ｙ］と表す。次いで、ステップＳ８７８では、ＣＰＵ５３ｇは、順次走査により１次元信号に変換する。次いで、ステップＳ８８０では、ＣＰＵ５３ｇは、フーリエ変換、ＤＦＴ等で、周波数軸に変換する。
【０２１１】
また、二次元画像ｆ（ｘ，ｙ）を周波数空間に変換した周波数成分Ｆ（ｕ，ｖ）もｕ，ｖ空間上に分布するが、二次元空間上の周波数特性から判別してもよい。
【０２１２】
図１８Ｃに示すように、予め、画像を順次走査して１次元信号に並び替えてからＤＦＴ変換などを施して評価しても、また、ＤＣＴなど周波数軸に変換したその振幅値やＤＣＴ係数をジグザグ走査などで、１次元に並び替えてから、高周波成分の比率を産出したり、評価してもよい。また、前記ヒストグラム分布の評価と同様に、上記周波数特性の分布の代表値や統計量を求めて、それを元に評価してもよい。
【０２１３】
まず、ステップＳ８８５では、ＣＰＵ５３ｇは、点（ｘ，ｙ）の輝度をｆ［ｘ，ｙ］と表す。次いで、ステップＳ８９０では、ＣＰＵ５３ｇは、ＤＦＴ，ＤＣＴ等、離散直交変換する。次いで、ステップＳ８９５では、ＣＰＵ５３ｇは、Ｆ［ｕ，ｖ］振幅値をジグザグ操作など１次元化する。次いで、ステップＳ９００では、ＣＰＵ５３ｇは、Ｆ［ｉ］（Ｆ［ｕ，ｖ］の振幅、又はＤＣＴ係数等）を設定する。次いで、ステップＳ９１０では、ＣＰＵ５３ｇは、以下を行う。
画質評価値＝高周波比率
＝（高周波成分振幅値合計）／（全成分の振幅値合計） （１２）
あるいは、
ボケ評価値＝低周波比率
＝（全成分合計−高周波成分合計）／（全成分の合計） （１３）
【０２１４】
次いで、ステップＳ９２０では、ＣＰＵ５３ｇは、周波数分布の再頻値（Ｍｏｄｅ）をｆｍｏｄｅ（振幅が最も大きい周波数）と、周波数分布の中央値（Ｍｅｄｉａｎ）をｆｍｅｄ（Ｎ／２番目に多い周波数）と、周波数分布の平均値（Ｍｅａｎ）をｆＭと、周波数分布の分散（Ｖａｒｉａｎｃｅ、σ２）をσ２と、周波数分布の標準偏差（ＳＤ、Ｓｔａｎｄａｒｄ Ｄｅｖｉｔａｔｉｏｎ、σ）をσとし、さらにｆＭ、σ２、σを各々以下のようにする。
ｆＭ＝ΣｉＦ［ｉ］／Ｎ （１４）
σ２＝偏差平方和／（Ｎ−１）
＝Σｉ（Ｆ［ｉ］−ｆＭ）２／（Ｎ−１） （１５）
σ＝ＳＱＲＴ（分散）
＝√｛Σｉ（Ｆ［ｉ］−ｆＭ）２／（Ｎ−１）｝ （１６）
【０２１５】
このように、画質評価方法２において、撮影された画像データを離散フーリエ変換ＤＦＴ、離散コサイン変換ＤＣＴなどにより周波数空間に変換し、周波数空間に変換されたデータの変換係数、または、周波数分布特性、周波数毎の振幅値、高周波成分の比率、周波数特性分布の統計量のうち、いずれかに基づいて、鮮鋭度、解像度、ボケの程度などの所定の画質特性を評価することで、画質の評価値の大小に従って選択された画像を、記録候補画像として表示したり、自動選択された画質の最も良い画像や、または、表示された中からユーザが選択された所望の画像だけを簡単にメモリカードなどに保存記録することができる。
【０２１６】
［画質評価方法３］ 図１９Ａ、図１９Ｂは、画像評価処理部７５ｍでの画質評価方法３として、画像の変換や復元等に用いるＰＳＦ（点像分布関数、点広がり関数）法等を利用して、ブレやボケを判別評価する方法を示したフローチャートである。
【０２１７】
図１９Ａにおいて、ステップＳ１０１０では、画像評価処理部７５ｍはＰＳＦ法による画像復元では、撮影された画像ｇ（ｘ，ｙ）を、ブレやボケのない本来の画像ｉ（ｘ，ｙ）が、ブレやボケを生じさせる成分ｐ（ｘ，ｙ）により劣化した劣化画像ｇ（ｘ，ｙ）とみなし、
ｇ（ｘ，ｙ）＝ｐ（ｘ，ｙ）＊ｉ（ｘ，ｙ） （１７）
（＊は、コンボリューション、畳み込み積分演算）
と想定し、また、Ｐ（ｘ，ｙ）を、ＰＳＦ関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、点像分布関数）や、ＬＳＦ関数（Ｌｉｎｅ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、線像分布関数）などとして、劣化要因となるｐ（ｘ，ｙ）を推定し、ｐ（ｘ，ｙ）が推定できれば、本来の画像ｉ（ｘ，ｙ）をデコンボリューション（逆畳み込み積分）演算により画像復元にも利用できるものである。
【０２１８】
次いで、ステップＳ１０２０では、画像評価処理部７５ｍは劣化画像ｇ（ｘ，ｙ）を、フーリエ変換（ＦＦＴ）や離散フーリエ変換（ＤＦＴ）等で周波数軸に変換して、Ｇ（ｕ，ｖ）を求める。
【０２１９】
Ｇ（ｕ、ｖ）＝Ｐ（ｕ、ｖ）・Ｉ（ｕ、ｖ）（コンボリューションは、周波数軸上では、フーリエ変換同士の掛け算となる）であるので、そのＰ（ｕ、ｖ）を周波数領域で推定し、Ｐ（ｕ、ｖ）が推定できれば、逆フィルタとして１／Ｐ（ｕ、ｖ）を求め、１／Ｐ（ｕ、ｖ）を用いて本来の画像ｉ（ｘ、ｙ）が復元できる原理である。
【０２２０】
すなわち、Ｉ（ｕ、ｖ）＝Ｇ（ｕ、ｖ）／Ｐ（ｕ、ｖ）（フーリエ変換同士の割り算）を求め、それを逆フーリエ変換して、
ｉ（ｘ，ｙ）＝逆フーリエ変換｛Ｉ（ｕ、ｖ）｝
＝Σｘ＝０Ｍ−１Σｙ＝０Ｎ−１Ｉ［ｕ，ｖ］Ｗ１ｕｘＷ２ｖｙ （１８）
（ただし、Ｗ１＝ｅｘｐ（−ｊ２π／Ｍ）、Ｗ２＝ｅｘｐ（−ｊ２π／Ｎ））
【０２２１】
ここでは、このＰＳＦ法におけるＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、点像分布関数）やＰ（ｕ、ｖ）の推定方法を、一般のアマチュアや非熟練者の撮影画像では「露出設定の失敗」と並んで多い傾向にある。この方法を「焦点ボケ」画像や「直線ブレ」画像の判別や評価に用いて、写りや画質の悪い画像を検出し、それらを優先して削除できる（または、保存記録しない）ようにする。
【０２２２】
次いで、ステップＳ１０３０では、ＣＰＵ５３ｇは、劣化画像のフーリエ変換画像を得ることができる。（Ｇ（ｕ，ｖ）＝Ｐ（ｕ，ｖ）・ｉ（ｕ，ｖ）と想定される）
【０２２３】
一般に、直線ブレした画像をフーリエ変換したＦ（ｕ，ｖ）の振幅値の分布は、図１９Ａ（ａ）に示すようにブレやボケが少ない一般画像となる。図１９Ａ（ｂ）に示すような直線ブレのパターンとなり、中央付近の高周波成分がブレ角度に従って、数本の細長い筋や傾斜した楕円形状に抜けたり歪んだパターンが現れる。また、焦点ボケした画像のＦ（ｕ，ｖ）は、図１９Ａ（ｄ）に示すような焦点ボケ画像パターンとなり、中央部の高周波成分が同心円状に抜けたり歪んだパターンとなる。また、直線ブレと焦点ボケが共に生じると、図１９Ａ（ｃ）に示すような、両方の特徴を合せた持ったパターンとなる。
【０２２４】
次いで、ステップＳ１０４０では、画像評価処理部７５ｍは、ＰＳＦ法、ゼロクロス法、又はＨｏｕｇｈ変換法、逆フィルタ法等で、Ｐ（ｕ，ｖ）又はＰＳＦを推定する。
【０２２５】
次いで、ステップＳ１０５０では、画像評価処理部７５ｍは、例えば、ブレ方向角度（θ）、ブレ距離（Ｌ）に対して、θ方向に周期１／Ｌでゼロ交差する直線ブレの評価値を出力する。
【０２２６】
次いで、ステップＳ１０６０では、画像評価処理部７５ｍは、直線ブレ補正用フィルタを設定する。
Ｐ（ｕ，ｖ）＝ｓｉｎ（πｆＬ）／πｆＬ （１９）
（ｆ＝ｕｃｏｓθ＋ｖｓｉｎθ）
【０２２７】
一方、ステップＳ１０７０では、画像評価処理部７５ｍは、ＰＳＦ法、ゼロクロス法、又はＨｏｕｇｈ変換法、逆フィルタ法等で、Ｐ（ｕ，ｖ）又はＰＳＦを推定する。
【０２２８】
次いで、ステップＳ１０８０では、画像評価処理部７５ｍは、例えば、焦点の広がり半径（ｒ）に対して、周期１．０１π／ｒで、同心円状にゼロ交差する焦点ボケの評価値を出力する。
【０２２９】
次いで、ステップＳ１０９０では、画像評価処理部７５ｍは、焦点ボケ補正用フィルタを設定する。
Ｐ（ｕ，ｖ）＝２・Ｊ１（ｒ・Ｒ）／ｒ・Ｒ （２０）
Ｊ１＝１次の第１種ベッセル関数
【０２３０】
次いで、ステップＳ１１００では、画像評価処理部７５ｍは、直線ブレ、焦点ボケの度合いを出力する。又は、設定フィルタにより、直線ブレ、焦点ボケを補正した画像を出力する。
【０２３１】
次いで、ステップＳ１１００では、画像評価処理部７５ｍは、直線ブレ、焦点ボケの度合いを出力する。または、画像評価処理部７５ｍは、設定フィルタにより直線ブレ、焦点ボケを補正した画像を出力する。
【０２３２】
本実施例では、ゼロ点交差法やＨｏｕｇｈ変換（ハフ変換、ヒュー変換）法などにより、直線ブレの場合には、フーリエ変換のＦ（ｕ，ｖ）の振幅値が周期１／Ｌでゼロ交差する方向の、ブレの方向角度（θ）と、ブレの距離またはその画素数（Ｌ）、焦点ボケの場合には、同じくＦ（ｕ，ｖ）の振幅値が周期１．０１π／ｒでゼロ交差する同心円状の、焦点の広がりの半径またはその画素数（ｒ）を、推定計算できるので、画像評価処理部７５ｍからの値を評価値として、直線ブレ画像や、焦点ボケ画像を評価できる。
【０２３３】
図２０は、ＰＳＦ法による、直線ブレ方向、ブレ距離、焦点ボケ半径の算出（推定）方法の一例を示すフローチャートである。
【０２３４】
ＰＳＦ法では、角速度センサ６６、検出回路６７で検出されたブレ方向（θ）とブレ距離（Ｌ）、焦点ボケの広がり半径（ｒ）の推定方法として、ブレ方向（θ）は、Ｇ（ｕ，ｖ）の縦／横の相対比（Ｒ）から算出し、ブレ距離（Ｌ）または焦点広がり半径（ｒ）は、復元画像ｉＬ、ｉＬ＋１を順次計算して求め、その相関値Ｃ（Ｌ）から逆算するか、または、相関値Ｃ（Ｌ）が所定値以上の相関度に飽和するまで繰り返して求める。さらに計算時間を短縮する方法として多階調Ｈｏｕｇｈ変換で求める方法などもある。
【０２３５】
図２０において、ステップＳ１２１０では、画像評価処理部７５ｍは、ブレ方向（θ）の推定法により、Ｇ｛ｕ，ｖ｝の縦／横の相対比Ｒから、ブレ方向（θ）を逆算する。相対比Ｒは、
Ｒ＝∫｜Ｇ｛ｒｃｏｓ（θ＋π／２），ｒｃｏｓ（θ＋π／２）｝｜ｄｒ
÷∫｜Ｇ｛ｒｃｏｓθ，ｒｃｏｓθ｝｜ｄｒ （２１）
ただし、ｒ＝√｛ｕ２＋ｖ２｝
Ｇ｛ｕ， ｖ｝：劣化画像のフーリエ・スペクトル
【０２３６】
次いで、ステップＳ１２２０では、画像評価処理部７５ｍは、ブレ距離（Ｌ）、焦点の広がり半径（ｒ）の推定法により、復元画像ｉＬ、ｉＬ間の相関値Ｃ（Ｌ）より、ブレ距離（Ｌ又はｒ）を逆算する。
Ｃ（Ｌ）＝Σｘ，ｙｉＬ（ｘ，ｙ）ｉＬ＋ΔＬ（ｘ，ｙ）
÷√［Σｘ，ｙ｛ｉＬ（ｘ，ｙ）｝２
・Σｘ，ｙ｛ｉＬ＋ΔＬ（ｘ，ｙ）｝２］ （２２）
【０２３７】
ただし、ｉＬ（ｘ，ｙ）：パラメータがＬの場合の復元画像、ｉＬ＋ΔＬ（ｘ，ｙ）：パラメータがＬ＋ΔＬの場合の復元画像である。
次いで、ステップＳ１２３０では、画像評価処理部７５ｍは、直線ブレのＰ（ｕ，ｖ）の算出する。（θ方向に周期Ｔ＝１／Ｌでゼロ交差）
Ｐ（ｕ，ｖ）＝ｓｉｎ（πｆＬ）／πｆＬ （２３）
（ｆ＝ｕｃｏｓθ＋ｖｓｉｎθ）
【０２３８】
次いで、ステップＳ１２４０では、画像評価処理部７５ｍは、焦点ボケのＰ（ｕ，ｖ）を算出する。（周期Ｔ＝１．０１π／ｒで、同心円状のゼロ交差）
Ｐ（ｕ，ｖ）＝２・Ｊ１（ｒ・Ｒ）／ｒ・Ｒ （２４）
（Ｊ１＝１次の第１種ベッセル関数）
【０２３９】
このように、画質評価方法３において、撮影された画像データを高速フーリエ変換ＦＦＴまたは離散フーリエ変換ＤＦＴにより周波数空間に変換し、周波数空間に変換されたデータから、点像分布関数ＰＳＦ法、または、ゼロ点交差法、Ｈｏｕｇｈ変換法などにより、フーリエ変換の振幅値のパターンから、ブレの距離および方向角度、または、焦点の広がり半径などの評価値を推定し、直線ブレの度合、または、焦点ボケの度合などの所定の画質特性を評価することで、画質の評価値の大小に従って選択された画像を、記録候補画像として表示したり、自動選択された画質の最も良い画像や、または、表示された中からユーザが選択された所望の画像だけを簡単にメモリカードなどに保存記録することができる。
【０２４０】
［画質評価方法４］ また、そのほか、画質そのものでなく、既に記録済みの画質の良い他の画像、または、画質評価済みの他の画像と比べて、類似する特性かどうかを判別して、画質の優劣を評価しても良い。
【０２４１】
すなわち、該当画像ｆ（ｘ，ｙ）と、記録済みの参照画像ｔ（ｘ，ｙ）との、輝度値の二次元分布パターン、あるいは、輝度分布ヒストグラム、周波数空間に変換した画像における、それぞれの類似度や相関係数を求め、記録済みの参照画像に良く似た画像パターンや露出特性、鮮鋭度などが類似した特性の画像を優先して選択したり、削除できるようにすればよい。
【０２４２】
相関係数の一例として、ピアソンの積率相関係数Ｒは、次式で計算できる。
Ｒ＝（画像ｆと画像ｔの共分散）／（画像ｆｆの標準偏差）・（画像ｔの標準偏差）
＝｛ΣｙΣｘ（ｆ［ｘ，ｙ］−ｆａｖ）（ｔ［ｘ，ｙ］−ｔａｖ）｝
／√｛ΣｙΣｘ（ｆ［ｘ，ｙ］−ｆａｖ）２｝
・√｛ΣｙΣｘ（ｔ［ｘ，ｙ］−ｔａｖ）２｝ （２５）
ただし、ｆａｖは入力画像ｆの濃度値の平均値、ｔＡＶは参照画像ｔの濃度値の平均値である。
【０２４３】
［第４実施例の効果］ 以上説明したように、画像の画質を評価する手段やプログラムを設けて、複数の撮影条件の組合せで撮影条件を変えながら連写された複数枚の画像の中から、自動的に「ベスト３」や「ベスト１０」、「撮影条件別や画質項目別のベスト３」など、画質の評価値の大小に従って選択された画像を、記録候補画像として表示したり、自動選択された画質の最も良い画像や、または、表示された中からユーザが選択された所望の画像だけを簡単にメモリカードなどに保存記録することができる。この結果、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することにある。
【０２４４】
このため、本発明のように、１度のレリーズボタン操作により多数枚の画像が撮影された場合にも、一度に多数のメモリ容量を消耗してしまうことなく、また、多数枚の画像の中から不要の画像や画質や写りの良くない多数の画像を逐一削除したりする面倒もない。
【０２４５】
［変形例］ また、上記の例において、ユーザの操作に応じて、画質の評価方法や、優先する画質特性の項目、画質の良い画像から何枚まで自動的に保存記録するかなどを、任意に選択しておくような、画質評価に関するカスタム設定機能を設けても良い。
【０２４６】
さらに、画質評価の評価値が所定値に達しない画質や写りが良くないと推定される画像や、または、ブレやボケなどが目立つ画像を自動的に画像補正するような画像補正手段や画像復元手段を付加して設けることもできる。
【符号の説明】
【０２４７】
１１…操作入力部、１３…制御部、１３ａ…撮影モード／撮影シーンの選択部、１３ｂ…シーン別撮影プログラム、１３ｃ１…撮影条件、１３ｃｎ…撮影条件ｎ、１３ｄ…複数撮影条件の組合せ／連写枚数の設定部、１３ｅ…撮影条件の組合せ設定データ、１３ｆ…撮影条件の頻度統計データ、１３ｇ…撮影条件、１３ｈ…撮影制御部、１３ｈ１…通常の撮影制御部、１３ｈ２…高速連写撮影制御部、１３ｈ３…マルチ条件による連写撮影部、１３ｉ…画像評価制御部、１３ｊ…画像記録／入出力制御部、１５…ズームレンズ／フォーカスレンズ駆動部、１６…絞り／シャッタ駆動部、１７…ストロボ駆動部、１８…ストロボ、１９…角速度センサ／加速度センサ、２０…手ブレ／振動検出部、２１…受光センサ／ＡＦセンサ、２２…測光／測距／ＡＦ検出部、２３…光学系、２５……イメージセンサ、２９…バッファメモリ部、３１…画像符号化／復号化部、３３…画像記録／入出力部、３５…画像メモリ媒体、３７…表示部、３９…表示制御部、５１…操作入力部、５３…制御回路、５３ａ…入出力ポート、５３ｂ…入出力ポート、５３ｃ…ＨＤＤ・ＩＦ、５３ｄ…インタフェース、５３ｅ…入力回路、５３ｆ…メモリカード・ＩＦ、５３ｇ…ＣＰＵ、５５…シャッタ駆動部、５６…絞り駆動部、５７…ズームレンズ駆動部、５８…焦点レンズ駆動部、５９…撮影光学系、６０…ストロボ駆動回路、６１…ストロボ、６２…測光／測距センサ、６３…検出回路、６４…角速度センサ、６５…検出回路、６６…角速度センサ、６７…検出回路、６８…ＨＤＤ記憶装置、６９…プログラム・メモリ、７０…データ・メモリ、７１…画像メモリ媒体、７３…撮像素子、７５…ＤＳＰ部、７５ａ…コントローラ、７５ｂ…Ｓ／Ｐ変換回路、７５ｃ…バッファメモリ（Ａ）、７５ｄ…ＷＢ補正回路、７５ｅ…画素補間／リサイズ回路、７５ｆ…カラー補間回路、７５ｇ…輪郭補正回路、７５ｈ…ガンマ補正回路、７５ｉ…マトリクス回路、７５ｊ…画像特徴処理部、７５ｋ…画像認識処理部、７５ｍ…画像評価処理部、７７…バッファメモリ（Ｂ）、７９…画像ＣＯＤＥＣ７９、８１…動画像ＣＯＤＥＣ、８３…表示駆動回路、８５…画像表示部
【技術分野】
【０００１】
本発明は、ブラケット撮影可能な撮影制御装置、撮影制御方法およびプログラム撮影制御装置に関する。
【背景技術】
【０００２】
従来、電子カメラにおいて、撮影条件のパラメータ、例えば露出条件を段階的に変化させて、ブラケット撮影を行うことが知られている。ブラケット撮影では一連の撮影動作において、連続的に被写体を撮影するので、同じ構図でありつつ撮影条件が異なる画像を複数得ることができる。
【０００３】
したがって、ブラケット撮影によれば、例えば撮影時に適正な露出条件を判断できないような場合でも、撮影後に得られた複数の画像の中から適正な露出の画像を選択できるので、撮影時における露出の設定の失敗を防止することができる。また、ブラケット撮影を行うと例えば動きがある被写体でも、シャッターチャンスを逃さずに同じ構図で違うニュアンスの画像を複数得ることができるので、撮影者の意図する画像を得やすくなる。
【０００４】
このような電子カメラの一例として、特許文献１に記載された「デジタルカメラ」にあっては、ホワイトバランス、露出、彩度、シャープネス等の複数のパラメータから第１および第２の選択パラメータを選択して、第１および第２の選択パラメータを、それぞれ複数段階に設定する。次いで、第１の選択パラメータの各段階に、第２の選択パラメータの各段階を組み合わせた複数の複合パラメータを形成する。次いで、この複数の複合パラメータに基づき、略同一の被写体像を複数の撮影画像に変換し、これらの複数の撮影画像をブラケット画像として取得する。次いで、これら複数の撮影画像はＬＣＤモニタに同時に表示する。
【０００５】
被写体像を複数のパラメータに基づき、撮像画像に変換するデジタルカメラにおいて、その複数のパラメータをそれぞれ段階的に変化させて生成された複数の撮像画像を一連の撮影動作によって得ることができるという利点を有している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−６７４６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１にあっては、複数の複合パラメータに基づいて複数の撮影画像に変換していたので、不必要な複合パラメータの組み合わせに対応した無駄な画像まで多数取得され、所望の条件に近い画像を得るのに効率が悪化するといった問題があった。
【０００８】
本発明は、上記に鑑みてなされたもので、その目的としては、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することができる撮影制御装置、撮影制御方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
（１）本発明は、光学系により結像された被写体像を撮像して撮像信号を出力する撮像手段と、所定の条件に従って撮影条件の組合せを複数組設定する撮影条件設定手段と、前記撮影条件設定手段により設定された複数の撮影条件の組合せに基づいて、撮影動作を繰り返し実行するように前記撮像手段を制御する連続撮影制御手段と、を備えることを特徴とする。
【００１０】
（２）本発明は、前記撮影条件設定手段は、所定の条件に従って撮影条件の組合せ数を変更することを特徴とする。
【００１１】
（３）本発明は、複数の撮影モードの中から所望の撮影モードを選択する撮影モード選択手段を備え、前記撮影条件設定手段は、前記撮影モード選択手段により選択された撮影モードに応じた、複数の撮像シーン別に撮影条件の組合せを設定するための設定データに従って、撮影条件の組合せを複数組設定することを特徴とする。
【００１２】
（４）本発明は、外部光または被写体光の輝度または照度を計測する測光手段を備え、前記撮影条件設定手段は、前記測光手段からの計測信号に応じた撮影条件の設定データに従って、撮影条件の組合せを複数組設定することを特徴とする。
【００１３】
（５）本発明は、被写体までの距離を計測する測距手段を備え、前記撮影条件設定手段は、前記測距手段からの計測信号に応じた設定データに従って、撮影条件の組合せを複数組設定することを特徴とする。
【００１４】
（６）本発明は、前記撮影条件設定手段は、組合せ対象となる前記撮影条件毎の配分割合の設定データに従って、前記撮影条件の組合せ毎の撮影枚数を配分設定することを特徴とする。
【００１５】
（７）本発明は、操作入力部からの操作情報に基づいて、連続撮影の合計枚数を設定する連続撮影枚数設定手段を備え、前記撮影条件設定手段は、前記連続撮影枚数設定手段により設定された連続撮影の合計枚数に応じて前記撮影条件の組合せを複数組設定することを特徴とする。
【００１６】
（８）本発明は、操作入力部からの操作情報に基づいて、連続撮影の合計枚数を設定する連続撮影枚数設定手段と、前記設定された連続撮影の合計枚数に応じて、撮影条件の分散度を設定する分散度設定手段とを備え、前記撮影条件設定手段は、前記分散度設定手段により設定された分散度に応じて、撮影条件の分散範囲を増減し、増減された分散範囲において、撮影条件の組合せを複数組設定するとともに、組合せ毎の撮影枚数を自動的に配分設定することを特徴とする。
【００１７】
（９）本発明は、画像表示手段と、前記撮像手段により連続撮影された複数の画像、または、前記画像の縮小画像を、当該画像の撮影時の複数の撮影条件の組合せ別、または、所定の撮影条件別に配列して前記画像表示手段に再生表示するように制御する表示制御手段と、操作入力部からの操作情報に基づいて、前記画像表示手段に表示された画像の中から選択された画像の画像データを符号化してメモリ媒体に保存記録するように制御する記録制御手段とを備えることを特徴とする。
【００１８】
（１０）本発明は、前記撮影条件設定手段は、予め記憶された撮影条件の頻度データまたは統計データに基づいた撮影条件の組合せを設定するための設定データに基づく撮影条件設定データに従って、撮影条件の組合せを複数組設定することを特徴とする。
【００１９】
（１１）本発明は、前記撮影条件設定手段は、前記設定データに従って、露出補正条件、ホワイトバランス設定条件、ストロボ発光条件、自動合焦条件、被写界深度条件のうちいずれかの撮影条件の組合せを複数組設定することを特徴とする。
【００２０】
（１２）本発明は、所定の条件に従って撮影条件の組合せを複数組設定する撮影条件設定ステップと、前記撮影条件設定ステップにより設定された複数の撮影条件の組合せに基づいて、撮影動作を繰り返し実行するように、光学系により結像された被写体像を撮像して撮像信号を出力する撮像素子を制御する連続撮影制御ステップと、を有することを特徴とする。
【００２１】
（１３）本発明は、所定の条件に従って撮影条件の組合せを複数組設定する撮影条件設定ステップと、前記撮影条件設定ステップにより設定された複数の撮影条件の組合せに基づいて、撮影動作を繰り返し実行するように、光学系により結像された被写体像を撮像して撮像信号を出力する撮像素子を制御する連続撮影制御ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態に係る撮影制御装置を電子カメラに適用した場合の概要を示すシステム構成図である。
【図２】本発明の第１の実施形態に係る高速度カメラの全体構成を示すブロック図である。
【図３】本発明の第１の実施形態に係る高速度カメラの撮像素子の構成を示すブロック図である。
【図４】本発明の第１の実施形態に係る高速度カメラの撮像素子の詳細な構成を示す回路図である。
【図５】ＣＤＳ回路、Ａ／Ｄ変換回路の動作を説明するためのタイミングチャートである。
【図６Ａ】本発明の実施形態に係る高速度カメラが、複数の撮影条件の組合せを少しずつ変えながら連写するマルチ条件連写を行う場合の概略的な動作を説明するためのフローチャートである。
【図６Ｂ】図６Ａに示す各ステップに対応する動作を説明するための画面例（ａ）〜（ｅ）である。
【図７】本発明の第１実施例として、選択されたシーンに応じて、マルチ条件連写の複数撮影条件の組合せを設定する場合での、撮影シーン毎に予め記憶されている撮影条件の設定データの例を示す図である。
【図８】シーン別の露出補正条件の配分設定データの例を示す図である。
【図９】撮影シーン別のホワイトバランス条件の配分設定データの例を示す図である。
【図１０Ａ】選択シーンに応じて撮影条件の組合せ毎の撮影枚数を配分した例を示す図（ａ）〜（ｄ）である。
【図１０Ｂ】選択シーンに応じて撮影条件の組合せ毎の撮影枚数を配分した例を示す図（ａ）、（ｂ）である。
【図１１Ａ】本発明の第１実施例の電子カメラの撮影制御の一例として、撮影シーンに応じて撮影条件の組合せ毎の撮影枚数を制御することを説明するためのフローチャート（その１）である。
【図１１Ｂ】本発明の第１実施例の電子カメラの撮影制御の一例として、撮影シーンに応じて撮影条件の組合せ毎の撮影枚数を制御することを説明するためのフローチャート（その２）である。
【図１２Ａ】平均輝度と輝度差に応じたストロボ強度の設定（ａ）、分散度に応じて、ストロボ発光強度条件を、設定ストロボ強度の周辺の条件に配分した例（ｂ）を示す図である。
【図１２Ｂ】自動設定されたストロボ強度毎の撮影枚数の例を示す図である。
【図１３Ａ】本発明の第２実施例のカメラの撮影制御に関するフローチャート（その１）である。
【図１３Ｂ】本発明の第２実施例のカメラの撮影制御に関するフローチャート（その２）である。
【図１４Ａ】ある焦点距離における、被写体の輝度と距離の頻度データの例を示す図（ａ）〜（ｃ）である。
【図１４Ｂ】頻度データと分散度に応じて連写枚数と撮影条件を配分した例（ａ）、自動配分設定された撮影条件毎の撮影枚数の例（ｂ）を示す図である。
【図１５Ａ】本発明の第３実施例のカメラの撮影制御に関するフローチャート（その１）である。
【図１５Ｂ】本発明の第３実施例のカメラの撮影制御に関するフローチャート（その２）である。
【図１６Ａ】本発明の第４実施例のカメラの撮影制御に関するフローチャート（その１）である。
【図１６Ｂ】本発明の第４実施例のカメラの撮影制御に関するフローチャート（その２）である。
【図１７】画像評価方法（１）として、ＲＧＢ各色の輝度ヒストグラム分布の統計量から画質評価することを示すフローチャートである。
【図１８Ａ】離散フーリエ変換、離散コサイン変換と、各変換による低周波／高周波成分を示す図である。
【図１８Ｂ】画質評価方法（２）として、画像データのＤＦＴによる空間周波数の分布や高周波成分から画質を評価する方法を示す。
【図１８Ｃ】画質評価方法（２）として、画像データのＤＦＴ、ＤＣＴなどによる空間周波数の分布や高周波成分から画質を評価する方法を示す。
【図１９Ａ】画質評価方法３として、画像の変換や復元等に用いるＰＳＦ法等を利用して、ブレやボケを判別評価する方法を示したフローチャート（その１）である。
【図１９Ｂ】画質評価方法３として、画像の変換や復元等に用いるＰＳＦ法等を利用して、ブレやボケを判別評価する方法を示したフローチャート（その２）である。
【図２０】ＰＳＦ法による、直線ブレ方向、ブレ距離、焦点ボケ半径の算出（推定）方法の一例を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態を図面を参照して説明する。
【００２５】
［本発明の概要］ （撮影条件の組合せを変えて高速連写） 図１は、本発明の実施の形態に係る撮影制御装置を電子カメラに適用した場合の概要を示すシステム構成図である。
【００２６】
図１に示すように、電子カメラは、操作入力部１１、制御部１３、ズームレンズ／フォーカスレンズ駆動部１５、絞り／シャッタ駆動部１６、ストロボ駆動部１７、ストロボ１８、角速度センサ／加速度センサ１９、手ブレ／振動検出部２０、受光センサ／ＡＦセンサ２１、測光／測距／ＡＦ検出部２２、光学系２３、イメージセンサ２５、バッファメモリ部２９、画像符号化／復号化部３１、画像記録／入出力部３３、画像メモリ媒体３５、表示部３７、表示制御部３９から構成されている。
【００２７】
詳しくは、制御部１３は、撮影モード／撮影シーンの選択部１３ａ、シーン別撮影プログラム１３ｂ、撮影条件１１３ｃ１、撮影条件ｎ１３ｃｎ、複数撮影条件の組合せ／連写枚数の設定部１３ｄ、撮影条件の組合せ設定データ１３ｅ、撮影条件の頻度統計データ１３ｆ、撮影条件１３ｇ、撮影制御部１３ｈ、通常の撮影制御部１３ｈ１、高速連写撮影制御部１３ｈ２、マルチ条件による連写撮影部１３ｈ３、画像評価制御部１３ｉ、画像記録／入出力制御部１３ｊから構成されている。
【００２８】
詳しくは、撮影モード／撮影シーンの選択部１３ａは、操作入力部の操作に従って、表示された複数のシーンの名称および見本画像の中から、撮影しようとする撮影シーンを選択する。
【００２９】
複数撮影条件の組合せ／連写枚数の設定部１３ｄ、撮影条件の組合せ設定データ１３ｅから読み出した設定データに従って、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を自動的に配分設定する。複数撮影条件の組合せ／連写枚数の設定部１３ｄは、測光／測距／ＡＦ検出部２２からの計測信号に応じて、撮影条件の撮影条件の組合せ設定データ１３ｅから撮影条件設定データを読出し、読み出された設定データに従って、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を配分設定する。
【００３０】
また、複数撮影条件の組合せ／連写枚数の設定部１３ｄは、連続撮影の合計枚数を設定する。さらに、複数撮影条件の組合せ／連写枚数の設定部１３ｄは、撮影条件の設定データ記憶手段から読み出された撮影条件の設定値の組合せ毎の配分割合の設定データに従って、設定された連続撮影の合計枚数に応じて、撮影条件の設定値の組合せ毎の撮影枚数を配分設定する。
【００３１】
複数撮影条件の組合せ／連写枚数の設定部１３ｄは、設定された連続撮影の合計枚数に応じて、撮影条件の設定値の分散度を設定する。複数撮影条件の組合せ／連写枚数の設定部１３ｄは、設定された分散度に応じて、撮影条件の設定値の分散範囲を増減し、増減された分散範囲において、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を自動的に配分設定する。
【００３２】
複数撮影条件の組合せ／連写枚数の設定部１３ｄは、撮影条件の頻度統計データ１３ｆから、頻度データに基づく撮影条件設定データを読出し、読み出された設定データに従って、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を配分設定する。
【００３３】
複数撮影条件の組合せ／連写枚数の設定部１３ｄは、設定データに従って、露出補正条件、または、ホワイトバランス設定条件、ストロボ発光条件、ＡＦ（自動合焦）条件、被写界深度条件などの撮影条件のうち、いずれかの撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を配分設定する。
【００３４】
撮影条件の組合せ設定データ１３ｅは、高速度撮影モードまたは連続撮影モードに関連して、撮影条件の設定値の組合せを設定するための設定データを予め複数組記憶する。撮影条件の組合せ設定データ１３ｅには、複数のシーン別に撮影条件の設定値の組合せを設定するための設定データを記憶する。また、撮影条件の組合せ設定データ１３ｅには、撮影モード／撮影シーンの選択部１３ａにより選択された撮影シーンに応じて、撮影条件の組合せ設定データ１３ｅから対応するシーンの撮影条件設定データを読出し、読み出された設定データに従って、撮影条件の設定値の組合せを複数組設定するとともに、組合せ毎の撮影枚数を配分設定する。
【００３５】
撮影条件の頻度統計データ１３ｆは、撮影条件の頻度データまたは統計データを予め記憶し、撮影条件の頻度データに基づいて撮影条件の設定値の組合せを設定するための設定データを記憶する。
【００３６】
高速連写撮影制御部１３ｈ２は、高速度撮影モードまたは連続撮影モードに関連して、複数撮影条件の組合せ／連写枚数の設定部１３ｄにより設定された複数の設定値の組合せの中から、操作に応じて順次設定値の組合せを選択して当該組合せを撮影条件とし、設定された組合せ毎の撮影枚数ずつ撮影動作を繰り返し実行するよう制御する。
【００３７】
測光／測距／ＡＦ検出部２２は、受光センサ／ＡＦセンサ２１からの検出信号に基づいて、外部光や被写体光の輝度または照度を計測するとともに被写体までの距離を計測する。表示部３７は、撮影シーンの名称および見本画像を表示する。
【００３８】
イメージセンサ２５は、光学系により結像された被写体像を撮像して撮像信号を出力する。イメージセンサ２５は、入力された制御信号に応じて、有効撮像領域中の全領域の画素の撮像信号を読出す全画素読出しモードと、制御信号に応じて、有効撮像領域中の選択された部分領域の画素の撮像信号を選択して読出す選択読出しモードと、制御信号に応じて、全領域または選択された部分領域の水平および／または垂直方向の複数の画素の撮像信号を加算して読出す加算読出しモードと、制御信号に応じて、全領域または選択された部分領域の画素の撮像信号を加算せずに読み出す加算なし読出しモードとを備え、撮像信号の出力回路に設けられた並列／直列変換回路を備え、読み出された撮像信号を、並列／直列変換回路により直列信号に変換された直列デジタル信号として信号処理部２７へ高速出力する。
【００３９】
表示制御部３９は、連続撮影された複数の画像、または、その縮小画像（サムネイル画像）を、当該画像の撮影時の複数の撮影条件の組合せ別に、または、所定の撮影条件の設定値別に、配列して表示部３７に再生表示するよう制御する。表示制御部３９は、連続撮影された複数の画像の画質を、画像評価処理部２７ｈにより順次評価するとともに、連続撮影された複数の画像、または、その縮小画像（サムネイル画像）を、当該画像の所定の画質の評価値の優劣または大小に基づいて選択し、選択された複数の画像を配列して画像表示手段に再生表示するよう制御する。
【００４０】
画像記録／入出力部３３は、操作入力部１１の操作に従って、表示部３７に表示された画像の中から選択された画像の画像データを符号化して、画像メモリ媒体３５に保存記録するように制御する。画像記録／入出力部３３は、画質の評価値の優劣または大小に基づいて選択された所定数の画像、または、操作入力部の操作に従って選択された画像のうち、いずれかの画像データを符号化してメモリ媒体に保存記録するように制御する。
【００４１】
信号処理部２７は、イメージセンサ２５から高速読み出しした画像データを内部に設けられた画像メモリ部に高速書込みし、高速符号化処理を行うため、撮影タイミングを制御する撮像素子コントローラ、Ｓ／Ｐ変換部、複数のフレームメモリからなる画像メモリ部、画像信号処理部、画像補正処理部、画像特徴の抽出部、画像認識処理部、撮影された画像の所定の画質特性を評価して画質の評価値を出力する画像評価処理部から構成されている。
【００４２】
図１において、並列読出しして高速読出しが可能なＣＭＯＳからなるイメージセンサ２５と、イメージセンサ２５から高速読み出しした画像データを高速書込み可能な画像メモリ部２７ｃを含み、高速符号化処理が可能なＤＳＰからなる信号処理部２７とを用いて、高速度で連写撮影または動画撮影などを行う。
【００４３】
１回のレリーズ操作による撮影において、複数の撮影条件の組合せを少しずつ変えながら複数枚の画像を高速度で連写して、略同じタイミングの被写体を異なる撮影条件の組合せで多数枚撮影して、写りや画質のよい画像や所望の画像を容易に記録できるようにするものである。
【００４４】
また、複数の中から所望シーンまたはその見本画像を選択すると、選択されたシーン毎に設定された設定値に応じて、撮影時の撮影速度（連写撮影間隔）や、連写撮影コマ数、撮影画像サイズ（画素数）などを、選択されたシーンの高速連写に最適となるように自動的に設定して、高速撮影動作を制御するようにしてもよい。
【００４５】
また、２０枚〜３００枚／秒など高速で連写されるので、１回の撮影でも撮影枚数も多くなるので、膨大なメモリを一度に消耗することになり、不要な画像を多数保存してメモリが一杯になり削除するのも手間がかかる。
【００４６】
そのため、撮影された画像の画質を評価する画像評価処理部２７ｈやシーン別撮影プログラムを設けて、撮影条件をそれぞれ変えながら連写された複数枚の画像の中から、「ベスト３」や「ベスト１０」、「撮影条件別や画質項目別のベスト３」など、評価値の大小に従って選択された画像を、記録候補として表示部３７に表示して、選択された画像、または、その中からユーザ操作により選択された画像を画像メモリ媒体３５に保存記録するように構成する。
【００４７】
［発明の要点１］ 図１に示すように、高速動作が可能なＣＭＯＳイメージセンサなど、多数枚の超高速連写機能を利用して、１度のレリーズ操作によるスチル撮影においても、複数の撮影条件の組合せを少しずつ変えながら、（項目Ａの複数Ｌの撮影条件）×（項目Ｂの複数ｍの撮影条件）×（項目Ｃの複数ｎの撮影条件）・・・、即ち、Ｌ×ｍ×ｎ×・・・・枚の画像を高速度で連続撮影して記録できるようにする。
【００４８】
また、連続撮影した画像の中から、所望の画像を選択して、選択された画像のみを画像メモリ媒体３５に保存記録できるようにする。さらに、同じ条件でそれぞれ複数枚ｐずつ繰り返し撮影して、Ｌ×ｍ×ｎ×・・・・×ｐ枚の画像を連続撮影できるようにしてもよい。
【００４９】
その際、選択された撮影モードや撮影シーンに応じて、また、撮影条件毎の割合や分布の設定データ、または、被写体輝度値などの計測値や被写体の状況に基づいて、撮影条件の組合せや分散させる範囲、組合せ毎の配分割合や撮影枚（コマ）数を自動的に設定して、組合せ毎にそれぞれ設定された枚数ずつ高速連写できるようにしたことで、従来例との違いを明かにする。
【００５０】
［発明の要点２］ また、実際の撮影条件の頻度データなどの統計データに基づいて、撮影条件の組合せや組合せ毎の配分割合や撮影枚数を変えるようにする。
【００５１】
［発明の要点３］ 上記撮影条件の組合せ毎の撮影割合や撮影枚数の配分を、連写撮影する合計枚数（Ｎ）や、選択された撮影シーンや所定の撮影条件に応じて、自動的に増減したり、撮影条件の分散度などを変えたりするように制御する。
【００５２】
［発明の要点４］ 上記マルチ条件で連写する際、撮影された複数枚、Ｌ×ｍ×ｎ・・・枚の画像を、Ｌ×ｍ枚、ｍ×ｎ枚、・・・など、撮影条件の組合せ別に並べて表示して、撮影条件が異なる画像同士を比較して、ユーザが気に入った画像や、写りのよい画像を操作により選択して記録できるようにする。
【００５３】
［発明の要点５］ 撮影された画像の画質を評価する画像評価処理部２７ｈやプログラムを設けて、撮影条件を変えながら連写された画像の中から、自動的に「ベスト３」や「ベスト１０」、「撮影条件別や画質項目別のベスト３」など、画質の評価値の大小に従って選択された画像を、記録候補画像として表示して、選択された画像を保存記録する。
【００５４】
写りや画質の良い画像の評価方法、自動選択方法としては、例えば、（ａ）適正露出条件に近い画像、（ｂ）輝度ヒストグラム分布やＲＧＢ別ヒストグラムの分布範囲が広い画像、白飛びや黒つぶれ領域の少ない輝度分布特性の画像、（ｃ）画像の周波数成分、フーリエ変換の変換係数など、空間周波数特性の特徴量から、解像度やコントラストが高い画像、ブレやボケの少ない画像などの画質を評価する。あるいは、（ｄ）赤眼や、眼がつぶった人物像、ハレーションや反射が多い画像、逆光で撮影された画像、ブレ、ボケが目立つ画像などを検出や評価して、失敗画像や劣化画像と判断される画像を優先的に候補から落として、残りの画像からユーザ操作に応じて選択する、…等の方法を用いればよい。また、評価方法を複数の中からユーザが選択できるようにしても良い。
【００５５】
［第１の実施形態］ 図２は、本発明の第１の実施形態に係る高速度カメラの全体構成を示すブロック図である。
【００５６】
図２に示すように、高速度カメラは、操作入力部５１、制御回路５３、シャッタ駆動部５５、絞り駆動部５６、ズームレンズ駆動部５７、焦点レンズ駆動部５８、撮影光学系（ズームレンズ）５９、ストロボ駆動回路６０、ストロボ６１、測光／測距センサ６２、検出回路６３、角速度センサ（Ｙ／Ｐｉｔｃｈ）６４、検出回路６５、角速度センサ（Ｘ／Ｙａｗ）６６、検出回路６７、ＨＤＤ記憶装置６８、プログラム・メモリ６９、データ・メモリ７０、画像メモリ媒体７１、撮像素子７３、ＤＳＰ部７５、バッファメモリ（Ｂ）７７、画像ＣＯＤＥＣ（符号器／復号器）７９、動画像ＣＯＤＥＣ（符号器／復号器）８１、表示駆動回路８３、画像表示部８５から構成されている。
【００５７】
制御回路５３は、入出力ポート５３ａ、入出力ポート５３ｂ、ＨＤＤ・ＩＦ５３ｃ、インタフェース５３ｄ、入力回路５３ｅ、メモリカード・ＩＦ５３ｆ、ＣＰＵ５３ｇから構成されている。
【００５８】
ＤＳＰ部７５は、コントローラ７５ａ、Ｓ／Ｐ変換回路７５ｂ、バッファメモリ（Ａ）７５ｃ、ＷＢ補正回路７５ｄ、画素補間／リサイズ回路７５ｅ、カラー補間回路７５ｆ、輪郭補正回路７５ｇ、ガンマ補正回路７５ｈ、マトリクス回路７５ｉ、画像特徴処理部７５ｊ、画像認識処理部７５ｋ、画像評価処理部７５ｍから構成されている。
【００５９】
以下、図２を参照して、高速度カメラの動作を簡単に説明する。
【００６０】
撮影光学系５９により撮像面に結像された被写体像は、ＣＣＤやＣＭＯＳイメージセンサなどからなる撮像素子７３により光電変換されて、スルー画像や撮影画像の撮像信号としてＤＳＰ（デジタル信号処理回路）部７５へ出力され、ＤＳＰ部７５に設けられた複数のフレームメモリ等を備えたバッファメモリ（Ａ）７５ｃ等に入力されて信号処理された後に、撮像画像の画素毎の輝度値、色差値のデジタル信号として出力され、バッファメモリ（Ｂ）７７等に一時記憶される。
【００６１】
操作入力部５１に設けられたレリーズボタン（図示しない）が押されて静止画の撮影指示が制御回路５３に入力されると、設定撮影条件に基づいて露出動作および撮影動作を行い、スルー画像とは異なるスチル記録用の高解像度の被写体像の撮像信号を撮像素子７３で撮像して、ＤＳＰ部７５で信号処理された画像データを画像ＣＯＤＥＣ（Ｃｏｄｅｒ＆Ｄｅｃｏｄｅｒ、符号器／復号器）７９により、ＪＰＥＧ規格等に準じた圧縮符号化画像データ、または、ＲＡＷデータなど非圧縮の符号化画像データに符号化され、内蔵メモリまたはフラッシュメモリカードなどのメモリ媒体からなるデータ・メモリ７０、または、小型のＨＤＤ記憶装置（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ハードディスク記録装置）６８等に、ＥＸＩＦ ＪＰＥＧなどのファイル形式で記録される。
【００６２】
連写撮影の場合も、上記スチル撮影を高速で繰り返し行い、撮像素子７３から高速度で読出した撮像信号をＤＳＰ部７５などに高速で出力する。このときも同様に、データ・メモリ７０、または、ＨＤＤ記憶装置６８に符号化画像データを記憶する。
【００６３】
動画撮影の場合も同様に、被写体像の撮像信号を撮像素子７３で撮像して、ＤＳＰ部７５で信号処理された画像データを動画像ＣＯＤＥＣ符号器／復号器）８１により、ＭＰＥＧ４やＨ．２６４／ＡＶＣなどの圧縮符号化方式に対応したて圧縮符号化され、ＡＶＩやＭＰ４などのファイル形式で、データ・メモリ７０やＨＤＤ記憶装置６８などに記録される。
【００６４】
なお、データ・メモリ７０やＨＤＤ記憶装置６８などに記録された画像データファイルは、画像メモリ媒体、または、ＵＳＢインターフェース（図示しない）など外部入出力インタフェースを介して、パーソナルコンピュータやプリンタに転送することができ、パーソナルコンピュータ内の大容量のＨＤＤ装置に画像データファイルを蓄積記録したり、さらに、ＣＤ−ＲやＤＶＤなどのディスク媒体に保存記録したり、あるいは、撮影画像をモニタに再生表示したり、パーソナルコンピュータ内の画像編集ソフトなどを用いて撮影画像や録画済の映像を編集したり、プリンタで印刷したりすることができる。
【００６５】
［イメージセンサ］ 撮像素子７３を、従来のようにＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）イメージセンサで構成する場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のＣＣＤ転送路によって順繰りに転送され、出力回路で初めてＦＤ（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）アンプにより信号電圧に増幅されて出力される。ＣＣＤから出力された撮像信号は、ＣＤＳ回路（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプル回路）でノイズ除去およびサンプル＆ホールド処理され、ＡＧＣ（自動利得制御）アンプで増幅され、ＡＤＣ（Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ、Ａ／Ｄ変換器）でデジタル撮像信号に変換されて、ＤＳＰ部７５に出力される。
【００６６】
一方、撮像素子７３をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｍｄｕｃｔｏｒ：相補型金属‐酸化膜半導体）イメージセンサで構成する場合には、一般的なＡＰＳ（Ａｃｔｉｖｅ Ｐｉｘｃｅｌ Ｓｅｎｓｏｒ：増幅型画素センサ）型のＣＭＯＳセンサでは、フォトダイオードを含む単位画素回路毎に増幅素子が内蔵されており、フォトダイオードで光電変換された信号電荷は画素回路内のアンプで一旦増幅され、垂直走査回路からの行アドレス選択信号と水平走査回路からの列選択信号によりＸＹアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧または電流として取り出すことができる。
【００６７】
ＣＣＤのように順番に取り出さなくとも、ＣＭＯＳセンサでは、任意の画素や領域の撮像信号だけを、任意の順序で取り出しできるので、デジタルズーム処理で所定領域のみを切出して読出す場合には高速で読み出せる。また、ＣＣＤでは、信号電荷をそのまま転送するのでスミアやノイズに弱いが、ＣＭＯＳセンサでは、画素毎にランダムアクセスで読出せ、各画素回路は電気的に分離しているので伝送ノイズに強く、またＣＭＯＳ ＬＳＩ等と同様に、同じ製造プロセスにてイメージセンサ部の周辺に、加算演算回路などデジタル論理回路や信号処理回路などを高集積化して比較的容易に一緒に作りこめる利点がある。
【００６８】
反面、上記ＣＭＯＳセンサでは、画素毎のアンプの閾値など個々の素子バラツキによる固定パターンノイズ（ＦＰＮ）や暗電流、ｋＴＣ雑音が大きい難点があったが、最近では、（ＣＣＤと同様に）埋め込みフォトダイオードとＦＤアンプを用いる構造にして、暗電流流とｋＴＣ雑音を低減できるようになった。また、列信号線毎に並列に並んだ列回路に設けたＣｏｌｕｍｎ型のＣＤＳ／Ａ／Ｄ変換回路等により、フォトダイオードをリセットする前と後の信号を減算して固定パターンノイズ（ＦＰＮ）を除去できるようになり、列回路毎に積分型や巡回型、逐次型などのＡＤ変換器を組み込んで、デジタル信号での撮像信号出力も容易になった。
【００６９】
［高速度イメージセンサ、選択読出しと画素加算、撮像信号の高速出力］ 図３は、本発明の第１の実施形態に係る高速度カメラの撮像素子の構成を示すブロック図である。
【００７０】
図３に示すように、撮像素子７３は、複数の単位画素回路７３ａ１をから構成されるイメージセンサ部７３ａ、ＣＤＳ回路７３ｂ、Ａ／Ｄ変換回路７３ｃ、画素加算回路７３ｄ、符号器７３ｅ、並列／直列変換回路７３ｆ、タイミング発生回路７３ｇ、垂直走査回路７３ｈ、水平走査回路７３ｉ、トランスミッタ７３ｊから構成されている。
【００７１】
高速度カメラに採用される撮影素子においては、各カラム回路（列回路）部にＣＤＳ／Ａ／Ｄ変換回路／画素加算回路を設け、また、デジタル撮像信号をＰ／Ｓ変換回路により並列／直列変換して出力するという構成のＣＭＯＳイメージセンサが有効である。
【００７２】
［ＣＤＳ／Ａ／Ｄ変換回路、画素加算回路］ 図４は、本発明の第１の実施形態に係る高速度カメラの撮像素子の詳細な構成を示す回路図であり、撮像素子内に設ける画素加算回路の例として、ＣＭＯＳイメージセンサ内のＣＤＳ回路７３ｂ、Ａ／Ｄ回路７３ｃなど列回路部に画素加算回路を設けた例を示す。
【００７３】
図４に示すように、撮像素子７３は、単位画素回路７３ａ１、ＡＤＣ基準信号（Ｒａｍｐ波形）７３ｎ、１０ビットカウンタ７３ｐ、ラッチ７３ｃ１、演算回路７３ｋ、ラッチ７３ｋ１、ラッチ７３ｋ２、ＡＬＵ７３ｋ３、ラッチ７３ｋ４、水平走査回路７３ｉ、演算回路７３ｍ、ラッチ７３ｍ１、ラッチ７３ｍ２、ＡＬＵ７３ｍ３、ラッチ７３ｍ４、符号器７３ｅ、並列／直列変換回路７３ｆ、トランスミッタ７３ｊ、ＤＳＰ７５、Ｐ／Ｓ変換回路７５ｂ、レシーバ７５ｂ１を有している。
【００７４】
図４に示すように、高速のＣＭＯＳイメージセンサを構成するために、ＣｏｌｕｍｎＡＤＣ方式の列回路に加算回路と高速転送回路を設けており、本実施形態の高速度カメラに用いる撮像素子７３では、任意サイズの画像領域を選択して、領域内の画素の撮像信号を読み出す選択読出しができるように構成している。
【００７５】
図３、図４に示すように、列回路部に設けられたＣＤＳ回路７３ｂ、Ａ／Ｄ変換回路７３ｃや水平走査回路７３ｉの後段部分に、各画素に隣接する同色フィルタの複数の画素の撮像信号同士をデジタル信号で加算するＡＬＵ７３ｋ３，ＡＬＵ７３ｍ３を演算回路７３ｋ，７３ｍを設けて、デジタルズーム時や高感度撮影時には、選択領域内の画素データを任意の行列毎に複数画素分加算された撮像信号を読出しできるように構成して、画素あたりの撮影感度を実質的に加算数分だけ上げることができ、短い露出時間や速いシャッタ速度でも露出が良好な撮影ができ、高速レートの動画撮影や連続撮影でも、画像データ量の小さい撮像信号に変換して出力できるようにした。
【００７６】
なお、選択読出された選択領域の撮像信号、さらに画素加算された撮像信号は、列回路部に設けられたＣＤＳ回路７３ｂ、Ａ／Ｄ変換回路７３ｃから水平走査回路７３ｉの列選択信号により選択された列信号が順次出力されるが、このとき、高速クロックに同期させて並列デジタル信号として出力するか、または、並列のデジタル信号を符号化し、並列／直列変換回路７３ｆにより並列／直列変換してトランスミッタ７３ｊから、直列のデジタル撮像信号としてＤＳＰ部７５に出力することで、高解像度の撮像信号を高速フレームレートでＤＳＰ部７５に転送出力することができる。
【００７７】
［ＣＤＳ回路、Ａ／Ｄ変換回路の動作］ 図４に示すように、並列に並んだ列回路に設けるＣＤＳ回路、Ａ／Ｄ変換回路の具体的構成には、各種方式が開発されているが、本実施形態では、いわゆる「Ｃｏｌｕｍｎ ＡＤＣ方式」のＣＤＳ回路７３ｂ、Ａ／Ｄ変換回路７３ｃを用いて、列毎に並列処理するＡ／Ｄ変換器により、画素の固定パターンノイズ（ＦＰＮ）を抑圧しながらデジタル信号に変換する。Ｃｏｌｕｍｎ ＡＤＣ方式のＣＤＳ回路７３ｂでは、固定パターンノイズを抑圧するために、粗精度と高精度の２段階のクランプ（Ｃｌａｍｐ）回路を用いる。一般に、クランプは、信号のあるレベルを基準電圧に置き換える動作で、クランプ回路は例えば、キャパシタとスイッチで構成され、キャパシタの出力側がスイッチにより基準電圧にセットされる。
【００７８】
図５は、ＣＤＳ回路、Ａ／Ｄ変換回路の動作を説明するためのタイミングチャートである。図５に示すタイミングチャートにおいて、まず、列回路部の反転バッファＡ１、Ａ２に並列接続されたクランプスイッチＳ１、Ｓ２を第１クランプ期間において同時に閉じてから、クランプスイッチＳ１を先に開くと、点Ｖｉｎの電位が、Ａ１の閾値電圧にＳ１スイッチングのバラツキが加算された電圧に粗い精度でクランプされるが、Ｓ２は閉じたままなので、その電圧がＡ２入力の閾値電圧になる。その後、Ｓ２を開くと、Ａ２にもスイッチングのバラツキを含む電圧がクランプされ、クランプ動作が完了する。Ｓ２スイッチングのバラツキ成分はＡ２の利得で割った分がＶｉｎ側のバラツキに還元されるので、Ｖｉｎ側から見るとクランプ精度が向上して、クランプ回路で発生する縦筋状の固定パターンノイズ（ＦＰＮ）の発生が抑えられる。
【００７９】
次に、行読出し線（転送ゲート線ＴＧ）にパルスが立ち上がると、画素信号が列信号線に現れるので、スイッチＳ４を閉じてサンプリングする。サンプリング完了後、スイッチＳ３を開いて、Ａ／Ｄ変換用のランプ波形（ＲＡＭＰ波形、順次電圧が上昇する傾斜状、階段状の波形）の基準信号をスイッチＳ４から加えると、ランプ波形に応じてＶｉｎの電圧がやがてクランプ回路の閾値を越えてＡ２の出力が反転し、反転する電圧までの１０ビットカウンタ７３ｐの値がデジタルの画素信号値としてラッチ７３ｃ１に記憶され、Ａ／Ｄ変換処理が終了する。
【００８０】
［画素加算動作］ このようなＣＤＳ回路７３ｂ、Ａ／Ｄ変換回路７３ｃを含む列回路の後に、列加算回路（垂直加算回路）などの演算回路７３ｋを設け、行アドレス選択された画素の信号を列信号線から読出し、ＣＤＳ回路７３ｂ、Ａ／Ｄ変換回路７３ｃでノイズ除去されデジタル変換されたデジタル並列信号を、ラッチクロック信号でラッチ７３ｋ１にラッチし、同じく選択された同じ列で異なる行の画素のデジタル並列信号を、同様に別のタイミングのラッチクロック信号で別のラッチ７３ｋ２にラッチして、両方のラッチ回路の出力同士を列加算回路を構成するＡＬＵ７３ｋ３でデジタル加算する。
【００８１】
また、水平信号線からの信号出力部に、行加算回路（水平加算回路）などの演算回路７３ｍを設け、列加算された信号同士をラッチクロック信号で選択して水平信号線に読出し、ラッチ７３ｍ１，７３ｍ２にラッチして、両方のラッチ回路の出力同士を行加算回路を構成するＡＬＵ７３ｋ４でデジタル加算する。
【００８２】
カラー撮像の場合には、例えば、「Ｂａｙｅｒ配列」等の千鳥状に２画素周期で交互に並んだＲＧＢ各色カラーフィルタに対応する各画素から、列方向に（一つ飛ばしで）隣接する同色フィルタの画素同士を、Ｒ画素はＲ画素同士で、Ｇ画素はＧ画素同士で、Ｂ画素はＢ画素同士で、列方向に複数加算し、また、行方向に（一つ飛ばしで）隣接する同色フィルタの複数の画素を行方向に加算して読み出すことで同色の画素の信号同士が複数画素分加算できる。
【００８３】
また、加算された撮像信号のデジタル信号は符号器７３ｅにより所定の符号化を行うとともに、並列／直列変換回路７３ｆにより並列／直列変換して順次シリアル（直列）のデジタル信号に変換されてトランスミッタ７３ｊから出力され、ＤＳＰ部７５のレシーバ７５ｂ１に転送される。
【００８４】
［その他のＣＤＳ回路、Ａ／Ｄ変換回路、加算回路］ なお、本実施形態においては、ＣＤＳ回路、Ａ／Ｄ変換回路をＣｏｌｕｍｎ ＡＤＣ方式で構成したが、たとえば、単純なＣｏｌｕｍｎ ＣＤＳ方式や、ＤＤＳ方式（Ｄｏｕｂｌｅ Ｄａｔａ Ｓａｍｐｌｉｎｇ）、電荷領域差分方式など、他のＣＤＳ回路、Ａ／Ｄ変換回路や加算回路で構成しても良い。
【００８５】
例えば、特開２００５−２７８１３５号公報「固体撮像装置および団体撮像装置の駆動方法」（図示しない）には、積分型ＡＤＣを列並列ＡＤＣ比較器およびアップ／ダウン・カウンタを用いて、ＣＤＳ回路、Ａ／Ｄ変換回路を構成して、デジタル画素値をメモリ部に書込み、例えば、カウンタをリセットせずに次の画素値を続けてカウントさせ、加算器なしで加算演算を行えるようにしたＣＭＯＳイメージセンサの構成例が開示されている。本実施形態においても、このような加算回路を用いて画素加算処理を行ってもよい。
【００８６】
［ＣＭＬ、ＬＶＤＳなどの高速シリアル転送回路］ 上述のように、加算された撮像信号のデジタル信号は、並列／直列変換回路７３ｆで順次シリアル（直列）のデジタル信号に変換され、トランスミッタ７３ｊからＤＳＰ部７５に設けられたレシーバ７５ｂ１に転送される。なお、高解像度で高速フレームで撮像するためには、撮像信号を高速でＤＳＰ部７５に転送する必要がある。
【００８７】
一般のＣＭＯＳからなる入出力回路では、入出力信号の振幅は、電源電圧の範囲において一杯の範囲で振らせるので、消費電力が大きくなるばかりでなく、転送できる速度も遅くなってしまう。
【００８８】
例えば、ＣＭＬ系（Ｃｕｒｒｅｎｔ Ｍｏｄｅ Ｌｏｇｉｃ、電流モードロジック）の入出力回路では、トランジスタを不飽和領域で使用して、インピーダンスを低くし、（電圧を振らせるというよりは）電流をｏｎ／ｏｆｆさせる方法で、（Ｖｄｄ−０．４Ｖ）の電位を中心に低振幅で動作させる。浮遊容量を充・放電する量が少なくなるので高速動作できる。
【００８９】
また、ＬＶＤＳ系（Ｌｏｗ−Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ、小振幅差動信号方式）は、２本の信号線を使って情報を運ぶ差動信号方式で、単一チャネルあたり数百〜数千Ｍｂｐｓ（メガビット／秒）の高速度でデータ伝送でき、かつ、ｍＷレベルの低消費電力の差動データ伝送方式として、内部バスの信号線の本数等を減らせるため、通信機器や表示装置や、映像信号のデジタル入出力インタフェースとして普及している。
【００９０】
ＬＶＤＳ系では、２本の配線を必要とするが、電流モード・ドライバの採用と、＋１．２Ｖ電位を中心に０．３Ｖの上下振幅内で振らせる小振幅によって、コモンモードノイズを除去でき、広い周波数範囲に対して高いノイズ耐性が得られる。
【００９１】
このように、ＣＭＯＳ回路でも、高速でシリアル伝送できるＣＭＬ系やＬＶＤＳ系などによる低振幅の入出力インタフェースを用いて、直列信号に変換されたデジタル撮像信号を撮像素子の出力回路（送信トランスミッタ）から出力して、後段のＤＳＰ部７５へ高速で伝送し、ＤＳＰ部７５に設けられた入力回路（受信レシーバ）で受信した直列デジタル信号をＳ／Ｐ変換回路７５ｂで並列デジタル信号に変換してから、デジタル撮像信号として映像信号処理に用いることができる。
【００９２】
［ＤＳＰ部（デジタル信号処理部）］ 撮像素子７３がＣＭＯＳからなるイメージセンサの場合には、ＣＭＯＳセンサ内蔵のＣＤＳ回路、Ａ／Ｄ変換回路でノイズ除去およびデジタル変換され、同じく内蔵の高速出力回路から直列のデジタル信号で転送されたデジタル撮像信号がＤＳＰ部７５に入力される。
【００９３】
ＤＳＰ部７５は、撮像素子７３から直列のデジタル信号で転送されたデジタル撮像信号をＳ／Ｐ変換回路７５ｂで並列デジタル信号に変換し、並列デジタル信号をバッファメモリ（Ａ）７５ｃに順次に記憶するとともに、バッファメモリ（Ａ）７５ｃから読み出した並列デジタル信号をＷＢ補正回路７５ｄに出力する。次いで、ＷＢ補正回路７５ｄでホワイトバランス調整やカラーバランス調整を行った後に、撮像素子７３の前面に設けられたモザイク状の「Ｂａｙｅｒ配列」や、千鳥配列されたＲＧＢなどのカラーフィルタ配列に従って、画素毎には一つの色成分しか持たないが、他の色差成分の画素値も、近隣周辺の画素値から画素補間（Ｐｉｘｅｌ Ｓｉｇｎａｌ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）して求めて（カラー補間処理）、画素毎にＲＧＢ色差成分毎の階調値を持つデジタル画像データに変換される。
【００９４】
また、カラー補間の前に、必要に応じて、画素補間／リサイズ回路７５ｅにより、撮像画像サイズを異なる画像サイズに変換する解像度変換処理（Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｅｒｓｉｏｎ）を行う場合もある。
【００９５】
画素補間／リサイズ回路７５ｅでは、例えば、スルー画像や再生画像をファインダや画像モニタに表示する為にＶｉｄｅｏ ＲＡＭや表示ドライバ内の表示ＲＡＭ領域に書込むために、（ＶＧＡサイズなどの）所定の画像サイズ（画素数）に変換するリサイズ（Ｒｅｓｉｚｅ）、または補間処理（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行う。あるいは、撮影記録時に、所望の記録画像サイズで記録する為に、設定記録画像サイズに縮小／拡大する処理や、リサイズ／補間処理または解像度変換処理を行う。
【００９６】
さらに、ＤＳＰ部７５では、ガンマ補正回路７５ｈにより階調補正されたＲＧＢ系のデジタル画像信号はバッファメモリ（Ｂ）７７に一時記憶された後、ＬＣＤモニタなど電子ファインダに再生表示されるか、マトリクス回路７５ｉでＲＧＢ系からＹＵＶ系／ＹＣｂＣｒ系など所定の色空間の画像信号に変換され、画像ＣＯＤＥＣ７９により、ＪＰＥＧ静止画像データやＭＰＥＧ４やＨ．２６４動画像データなどに圧縮／符号化処理される。なお、コントローラ７５ａは、ＣＰＵ５３ｇにより設定されたデータや撮影条件に応じて、ＤＳＰ部７５内部に設けられたＳ／Ｐ変換回路７５ｂ、バッファメモリ（Ａ）７５ｃ、ＷＢ補正回路７５ｄ、画素補間／リサイズ回路７５ｅ、カラー補間回路７５ｆ、輪郭補正回路７５ｇ、ガンマ補正回路７５ｈ、マトリクス回路７５ｉ、画像特徴処理部７５ｊ、画像認識処理部７５ｋ、画像評価処理部７５ｍなどの各回路を制御する。
【００９７】
［高速度撮影の撮影速度］ 従来の業務用の高速度カメラなどでは、銀塩フィルム時代のフィルム送り機構の制約などから、コマ毎に必要な露出時間の約５倍程度の時間間隔を設けて連続撮影速度やフレーム速度を設定して撮影する場合が多かった。これを基準に、シャッタ係数をα＝５程度に設定する場合が多かったが、これは、必ずしも所要の撮影速度から決められたものではなく、フィルム送り機構の制約などから、あるいは、習慣的に決められている場合が多かった。
【００９８】
また、従来のデジタルカメラでは、露出時間は１／１０００秒から１／８０００秒など微少時間で撮影できるものでも、連写撮影の速度は、ＣＣＤなど使用する撮像素子の制約、例えば、撮像電荷を垂直および水平転送路で順に伝送して読み出す原理上、撮像信号の読出しに要する時間や、読出し後の信号処理時間などの制約から、せいぜい３〜８枚／秒程度の連写しかできなかった。
【００９９】
本実施形態のように、撮像信号を高速度で読出し可能な高速度ＣＭＯＳからなる撮像素子７３、および、高速度で信号処理や符号化処理できるＤＳＰ部７５などを用いた場合にも、撮像信号の読出し時間や信号処理時間による制約は免れないが、従来のＣＣＤなどによるデジタルカメラに比べると数十倍の高速度で読出しや信号処理が可能となるので、所望の動く被写体や微少時間に起こる現象などを、適切な露出条件で、かつ、ブレなく撮影できるような条件を満たしさえすれば、上記のシャッタ係数αのような制約は、任意に設定することも可能となる。
【０１００】
例えば、撮影速度（フレーム速度）Ｒ（ｆｐｓ）は、シーン毎に設定された撮影倍率Ｍや被写体の移動速度Ｖなどの設定情報に従って、
Ｒ＝（Ｍ×Ｘ）／（ｄ×α） （１）
【０１０１】
ただし、Ｒ：撮影速度（コマ／秒）、Ｍ：撮影倍率＝イメージサイズ（Ｙ´）／被写体サイズ（Ｙ）、Ｖ：被写体の移動速度（ｍｍ／秒）、ｄ：許容錯乱円径、α：シャツタ係数（α＝１〜５など）、などの計算式から、撮影速度の目安を算出し、それに基づいて撮影速度Ｒを設定する。
【０１０２】
同一シーンでも、操作に応じて、または、所望の作画表現に応じて、ユーザ所望の撮影速度や、撮影時間、画像サイズ、撮影感度、画素加算による感度ＵＰなどの条件を選択できるようにして、その条件を満たした中で、上記の自動設定をしてもよい。
【０１０３】
［高速度撮影の必要な露出時間］ 例えば、必要な露出時間（Ｔ）は、シーン毎に設定された撮影倍率（Ｍ）や被写体の移動速度（Ｖ）などの設定情報に従って、
Ｔ＝β×ｄ／（Ｍ×Ｖ） （２）
ただし、Ｔ：露出時間（秒）、ｄ：許容錯乱円径、Ｍ：撮影倍率＝イメージサイズ（Ｙ´）／被写体サイズ（Ｙ）、Ｖ：被写体の移動速度（ｍｍ／秒）、β：係数（β＝０．２〜１．０）、または、
Ｔ＝β×Ｙ´／（ｍ×Ｍ×Ｖ） （３）
【０１０４】
ただし、Ｔ：露出時間（秒）、Ｙ´：撮像素子のイメージサイズ（ｍｍ）、ｍ：撮像素子の画素数、Ｍ：撮影倍率、Ｖ：被写体の移動速度（ｍｍ／秒）、β：係数（β＝０．２〜１．０など）、などの計算式で必要露出時間の目安を算出し、それを満たす範囲で、測光値や照明条件に応じて、露出時間Ｔを設定する。
【０１０５】
［マルチ条件連写の動作］ 図６Ａは、本発明の実施形態に係る高速度カメラが、複数の撮影条件の組合せを少しずつ変えながら連写するマルチ条件連写を行う場合の概略的な動作を説明するためのフローチャートであり、図６Ｂは、図６Ａに示す各ステップに対応する動作を説明するための画面例である。
【０１０６】
図２に示す高速度カメラの全体構成図を参照して、図６Ａに示すフローチャートを説明する。
【０１０７】
まず、ステップＳ１０では、ＣＰＵ５３ｇは、操作入力部５１から入力回路５３ｅを介して入力される操作情報に応じて所望の撮影モードや撮影シーンを選択する。この様子は６Ｂ（ａ）に示すように画像表示部８５に表示される。
【０１０８】
次いで、ステップＳ２０では、ＣＰＵ５３ｇは、撮影モードや撮影シーンに応じて、複数の撮影条件の組合せを自動的に選択し、その撮影条件の組合せ毎の撮影枚数を、適宜自動的に配分してコントローラ７５ａに設定する。ここで、操作入力部５１から入力される１回のレリーズ操作に応じて、撮影動作に入ると、コントローラ７５ａに設定された複数の撮影条件の組合せの条件に従って、それぞれ設定された枚数の画像を高速で続けて連続撮影するように撮像素子７３とＤＳＰ部７５が制御される。このとき、撮影された画像は順次バッファメモリ（Ａ）７５ｃ内のフレームメモリに一時記録され、信号処理される。この撮影条件（１），（２），（３）の組合せに対応した撮影枚数を図６Ｂ（ｂ）に示す。
【０１０９】
次いで、ステップＳ３０では、ＣＰＵ５３ｇは、複数の撮影条件を組合せ設定して、それぞれ設定された複数毎の画像を高速連写撮影する。ここで、撮影された画像は、撮影条件の組合せ毎の行×列に整列して画像表示部８５に一覧表示される。この様子は図６Ｂ（ｃ）に示すように、撮影条件（１）と撮影条件（２）との組み合わせに応じた枚数の画像が表示される。
【０１１０】
次いで、ステップＳ４０では、ＣＰＵ５３ｇは、高速連写された画像の画質を画像評価処理部７５ｍに評価させる。ここで、コントローラ７５ａでの設定に応じて、複数枚撮影された画像データの画質を評価する。
【０１１１】
次いで、ステップＳ５０では、ＣＰＵ５３ｇは、画質評価値の優劣に従って画像を選択し、保存記録する候補として画像表示部８５に画像表示する。ここで、ＣＰＵ５３ｇは評価された評価値の優劣に従って画像を自動的に選択し、例えば、解像度やコントラスト（中間階調表現）、鮮鋭度、ブレやボケの少なさなど、所定の画質特性毎に、画質の良い画像から順にベスト３やベスト１０を表示するなど、保存記録する候補の画像を同時に比較できるように、例えば、複数枚ずつ同時に画像を表示するか順に切り替え画像表示部８５に表示する。この様子は図６Ｂ（ｄ）に示すように、中間調Ｂｅｓｔ３、鮮明度Ｂｅｓｔ３、解像度Ｂｅｓｔ３が画像表示部８５に表示される。
【０１１２】
最後に、ステップＳ６０では、ＣＰＵ５３ｇは、評価値に従って選択された画像、又はユーザにより選択された画像を画像ＣＯＤＥＣ７９により符号化して画像メモリ媒体７１に保存記録する。なお、ステップＳ６０では、ステップＳ５０において選択された画質が優れた画像、または、ステップＳ３０やステップＳ５０において画像表示部８５に表示された画像を見てユーザが選択した所望の画像を、優先して画像メモリ媒体７１に保存記録し、それ以外の画像は一括で削除できるようにする。この様子は図６Ｂ（ｅ）に示すように、選択された画像が画像表示部８５に表示される。
［第１実施例］（選択シーンに応じて、複数撮影条件の組合せと枚数を設定）
【０１１３】
図７に、本発明の第１実施例として、選択されたシーンに応じて、マルチ条件連写の複数撮影条件の組合せをコントローラ７５ａに設定する場合での、撮影シーン毎に予め記憶されている撮影条件の設定データの例を示す。
【０１１４】
各撮影シーンが選択されると、各撮影条件は、シーン毎に予め記憶された設定データの条件に設定されるが、シーン毎の各撮影条件の設定データにおいて、「オート」、または、「マルチ条件連写」と設定されている撮影条件がある場合に、撮影時にマルチ条件連写撮影が選択されているときには、これらの撮影条件は、複数の撮影条件の組合せ（マルチ条件）として選択され、それら撮影条件を少しずつ変えて分散された条件の組合せと、組合せ毎の枚数が自動的に設定されて順次撮影条件と枚数を変えながら連写撮影（マルチ条件連写）が行われる。その他の撮影条件は、シーン毎にデータ・メモリ７０に予め記憶された設定データの条件もコントローラ７５ａに設定して撮影される。
【０１１５】
図７において、「人物（ポートレート）」と、「雪景色、スキー」の撮影シーンで、露出補正とホワイトバランスの撮影条件が、「マルチ条件連写」に設定されている場合を例に説明する。図８に示すように、選択されたシーン別の露出補正条件の配分設定データに従って、露出補正条件の配分割合が設定され、また、図９に示すように、シーン別のホワイトバランスの配分割合の設定データに従って、ホワイトバランスの条件がＷＢ補正回路７５ｄに配分設定され、これら撮影条件の組合せ毎の配分割合の撮影枚数で、マルチ条件連写を行うように制御される。
【０１１６】
［撮影条件の組合せ毎の枚数配分の具体例］ すなわち、「人物」シーンでは、人物の顔の明るさなどが状況によりばらつく場合が多いので、顔や肌色などが比較的明るく撮影されるように、露出補正は±０ＥＶが１９％、＋０．３ＥＶ補正が３７％、＋０．７ＥＶ補正が３３％、＋１ＥＶ補正が１１％、・・・のように撮影割合が設定され、「雪景色、スキー」シーンでは、「雪の白」が「白く」写るように、また、「雪景色のキラキラした明るさ」が強調された明るい画像となるよう、露出補正は＋０．３ＥＶ補正が６％、＋０．７ＥＶが２１％、＋１ＥＶが２１％、＋１．３ＥＶが１８％、＋１．７ＥＶが１５％、＋２ＥＶが９％、・・・・など、比較的露出補正（＋）側に広い範囲で露出補正値を分散して配分している。
【０１１７】
また、「雪景色、スキー」シーンのホワイトバランス条件では、本来は色温度が比較的高いが、雪景色の色調が「青っぽく」、「雪らしく」写るように、色温度が３５００Ｋ、４０００Ｋ、・・・と白熱電球並みに低い色温度で撮影する場合と、ゲレンデでのスキーシーンや人物撮影など、「青かぶりさせず」に「自然な色」に撮影したいシーンも想定して、本来の色温度に近い４５００Ｋ〜６０００Ｋ近辺の色温度での撮影する場合にも配分している。一方、人物を「屋内照明」で撮影するシーンでは、白熱電球や蛍光灯など各種の照明下の被写体を撮影する可能性が高いので、主な照明光源の色温度に合せて広範囲な色温度に配分している。
【０１１８】
図１０Ａ、図１０Ｂに、選択シーンに応じて撮影条件の組合せ毎の撮影枚数を配分した例を示す。上述のような、撮影シーン別に設定された複数の撮影条件の組合せ毎の割合がそれぞれの配分設定データの割合になるように、例えば、「人物」シーンを「屋内」で撮影する場合には、露出補正条件が、前述の「人物」シーンの露出補正条件の分散配分の割合になるように、マルチ条件連写による撮影枚数Ｎが計６０枚と設定されている場合には、図１０Ａ（ａ），（ｃ）に示すように、±０ＥＶが１１枚（１９％）、＋０．３ＥＶが２２枚（３７％）、＋０．７ＥＶが２０枚（３３％）、＋１ＥＶが７枚（１１％）、・・・で、計６０枚（１００％）となるように、それぞれ、撮影枚数が設定される。
【０１１９】
かつ、その際のホワイトバランス条件も、「屋内、照明」のホワイトバランスの分散配分の割合になるように、例えば、上記で配分された±０ＥＶ補正の１１枚（１９％）の中で、色温度が２０００Ｋで１枚（１９％×１２％）、２５００Ｋで１枚（１９％×１０％）、３０００Ｋで２枚（１９％×１９％）、３５００Ｋで２枚（１９％×１５％）、４０００Ｋで１枚（１９％×７％）、・・・・の各枚数で計１１枚となるよう、それぞれの撮影枚数がコントローラ７５ａに設定される。
【０１２０】
このように、合計枚数が６０枚で、かつ、シーン毎の露出補正条件の配分割合、及び、ホワイトバランス条件の配分割合が共に満足するように、組合せ毎の撮影枚数が自動的に算出されてコントローラ７５ａに設定され、１回のレリーズ操作に応じて、撮影条件の組合せを変えながら、組合せ毎にコントローラ７５ａに設定された枚数ずつ、計６０枚の画像が高速で連続撮影される。他の枚数の場合も同様である。
【０１２１】
マルチ条件運写の合計撮影枚数をＮ、第１の撮影条件である「露出補正条件」の第（ｉ）番目の露出補正設定値をΔＥＶ（ｉ）とすると、露出補正設定値ΔＥＶ（ｉ）毎の撮影枚数ｎ（ｉ）は、当該シーンにおけるΔＥＶ（ｉ）の配分設定割合ＲＥＶ（ｉ）を、合計撮影枚数（Ｎ）に乗算して計算し、例えば、小数点以下を四捨五入などで整数化して、
ｎ（ｉ）＝ＩＮＴ（Ｎ×ＲＥＶ（ｉ）＋０．５） （４）
等の計算式で略算して設定すればよい。
【０１２２】
第１の撮影条件の「露出補正条件」の設定値をΔＥＶ（ｉ）、かつ、第２の撮影条件の「ＷＢ（ホワイトバランス）条件」の設定値をＷＢ（ｊ）に設定して撮影する枚数ｍ（ｉ，ｊ）も、上で求めたΔＥＶ（ｉ）の撮影枚数ｎ（ｉ）を、各ＷＢ設定値ＷＢ（ｊ）の設定割合ＲＷＢ（ｊ）に乗算して、
ｍ（ｉ，ｊ）＝ＩＮＴ（ｎ（ｉ）×ＲＷＢ（ｊ）＋０．５） （５）
等の計算式で略算してＷＢ補正回路７５ｄに設定すればよい。
【０１２３】
小数点以下の四捨五入による配分では、偏ることも多く、合計すると、設定合計枚数に対して増減（減数または増数）する場合も生じるので、適宜、割合の少ない条件から順次減数したり、割合の多い条件から順に増数したりして合計枚数と調整したり、あるいは、小数で計算した後、合計枚数に一致するまで、割合の大きい条件の組合せから順に配分するなどの調整をおこなってもよい。
【０１２４】
図１１Ａ、図１１Ｂは、第１実施例の電子カメラの撮影制御の一例として、撮影シーンに応じて撮影条件の組合せ毎の撮影枚数を制御することを説明するためのフローチャートである。
【０１２５】
まず、ステップＳ１１０では、ＣＰＵ５３ｇは、操作入力部５１での設定が撮影モードか否かを判断する。ここで、撮影モードにない場合には、ステップＳ１１５に進み、ＣＰＵ５３ｇは、その他のモード処理へ進む。
【０１２６】
次いで、撮影モードにある場合、ステップＳ１２０に進み、ＣＰＵ５３ｇは、操作入力部５１の設定に応じて、撮影シーンをコントローラ７５ａに設定する。次いで、ステップＳ１３０では、ＣＰＵ５３ｇは、マルチ条件による連写撮影モードか否かを判断する。ここで、マルチ条件による連写撮影モードにない場合には、ステップＳ１３５に進み、ＣＰＵ５３ｇは、その他の撮影モード処理へ進む。マルチ条件による連写撮影モードにある場合、ステップＳ１４０に進み、ＣＰＵ５３ｇは、操作入力部５１から入力された操作情報に基づいて、マルチ条件連写の撮影枚数Ｎをコントローラ７５ａに設定する。
【０１２７】
次いで、ステップＳ１５０では、ＣＰＵ５３ｇは、選択されたシーン毎の露出補正の分布設定データに基づいて、複数の露出補正設定値と各撮影枚数とをコントローラ７５ａに設定する。
例えば、撮影枚数Ｎを、当該シーンにおける各露出補正設定値ΔＥＶ（ｉ）の設定割合ＲＥＶ（ｉ）に応じて配分し、露出補正設定値ΔＥＶ（ｉ）毎の撮影枚数ｎ（ｉ）を上記（４）式に当てはめて決定する。
【０１２８】
次いで、ステップＳ１６０では、ＣＰＵ５３ｇは、選択されたシーン毎のＷＢ分布設定データと露出補正毎の撮影枚数に応じて、ＷＢ設定値と各撮影枚数とをコントローラ７５ａに設定する。
例えば、露出補正値毎の撮影枚数ｎ（ｉ）を、各ＷＢ設定値ＷＢ（ｊ）の設定割合ＲＷＢ（ｊ）に応じて配分し、ΔＥＶ（ｉ）、かつ、ＷＢ（ｊ）の条件で撮影する枚数ｍ（ｉ，ｊ）を上記（５）式に当てはめて決定する。
【０１２９】
次いで、ステップＳ１７０では、ＣＰＵ５３ｇは、操作入力部５１からレリーズ又は撮影操作があるか否かを判断する。ここで、レリーズ又は撮影操作がない場合には、ＣＰＵ５３ｇは、復帰する。
【０１３０】
操作入力部５１からレリーズ又は撮影操作がある場合には、ステップＳ１７５に進み、ＣＰＵ５３ｇは、測光／測距センサ６２、検出回路６３からの検出信号に基づいて測光処理を行い、測光値に応じて適正露出条件ＥＶをコントローラ７５ａに設定する。
【０１３１】
次いで、ステップＳ１８０では、ＣＰＵ５３ｇは、Ｉ＝１、ＳＳ＝０にする。次いで、ステップＳ１８５では、ＣＰＵ５３ｇは、（ｉ）番目の露出補正の設定値ΔＥＶ（ｉ）に従って、露出条件をＥＶ＋ΔＥＶ（ｉ）に補正してコントローラ７５ａに設定する。
【０１３２】
次いで、ステップＳ１９０では、ＣＰＵ５３ｇは、Ｊ＝１、Ｓ＝０にする。次いで、ステップＳ１９５では、ＣＰＵ５３ｇは、（ｊ）番目のＷＢ設定値をＷＢ（ｊ）に設定し、Ｋ＝０とする。
【０１３３】
次いで、ステップＳ２００では、ＣＰＵ５３ｇは、設定露出補正条件、並びにＷＢ設定条件にて、コントローラ７５ａが撮像素子７３を制御して露出及び撮影処理を行い、バッファメモリ（Ａ）７５ｃに撮影画像を一時記憶する。次いで、ステップＳ２０５では、ＣＰＵ５３ｇは、Ｋ＝Ｋ＋１、Ｓ＝Ｓ＋１、ＳＳ＝ＳＳ＋１にする。
【０１３４】
次いで、ステップＳ２１０では、ＣＰＵ５３ｇは、設定枚数ｍ（ｉ，ｊ）だけ撮影したか否か、即ちＫ≧ｍ（ｉ，ｊ）か否かを判断する。ここで、Ｋ≧ｍ（ｉ，ｊ）でない場合には、ステップＳ２００に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。Ｋ≧ｍ（ｉ，ｊ）である場合には、ステップＳ２１５に進み、ＣＰＵ５３ｇは、Ｊ＝Ｊ＋１にする。
【０１３５】
次いで、ステップＳ２２０では、ＣＰＵ５３ｇは、最後のＷＢ条件での撮影を終了するか否か、即ちＪ≧Ｊｍａｘ又はＳ≧ｎ（ｉ）か否かを判断する。ここで、Ｊ≧Ｊｍａｘ又はＳ≧ｎ（ｉ）でない場合には、ステップＳ１９５に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。
【０１３６】
Ｊ≧Ｊｍａｘ又はＳ≧ｎ（ｉ）である場合には、ステップＳ２２５に進み、ＣＰＵ５３ｇは、Ｉ＝Ｉ＋１にする。
【０１３７】
次いで、ステップＳ２３０では、ＣＰＵ５３ｇは、最後の露出補正条件での撮影を終了するか否か、即ちＩ≧Ｉｍａｘ又はＳＳ≧Ｎか否かを判断する。ここで、Ｉ≧Ｉｍａｘ又はＳＳ≧Ｎでない場合には、ステップＳ１８５に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。Ｉ≧Ｉｍａｘ又はＳＳ≧Ｎである場合には、ステップＳ２３５に進み、ＣＰＵ５３ｇは、バッファメモリ（Ａ）７５ｃに記憶した撮影画像を画像ＣＯＤＥＣ７９に出力して符号化処理を行い、画像メモリ媒体７１へのメモリ記録処理を行い、ＣＰＵ５３ｇは、復帰する。
【０１３８】
［第１実施例の効果］ （１）複数の撮影条件を組み合わせて撮影するので、シーン選択をしないでも、所望の画像が得られる確率が高くなる。シーン選択すると、選択されたシーンに応じて、複数の撮影条件を組合せて連写撮影するので、さらに、写りの良い所望の画像が撮影できる。この結果、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することにある。
【０１３９】
（２）従来のブラケティング撮影と違って、超高速連写なので、撮影タイミングが殆ど変わらず、ほぼ同一シーンの画像で撮影条件や撮影条件の組合せを少しずつ変えた複数枚の画像が撮影でき、一度のレリーズ操作による撮影だけで、所望の写りの良い画像が得られる。
【０１４０】
（３）また、単なる複数の撮影条件の組合せによるブラケテイング撮影と違って、選択シーンや輝度値などの計測値、あるいは、撮影頻度データなどに基づいて、選択シーンに適した撮影条件、計測値に該当する撮影条件、撮影頻度の多い撮影条件を中心に、撮影条件の組合せ毎に設定された配分割合や枚数で連写撮影するので、無駄に多数の撮影を行わず、所望の条件に近い画像が撮影される確率を高め、効率の良い撮影ができる。
【０１４１】
（４）一度の撮影だけで、膨大な数の連写を行っても、所望の画像や写りの良い画像だけカメラが自動的に選択された画像、または、ユーザが選択した画像のみ記録できるので、多数枚高速連写しても、失敗画像や不要な画像などを多量に記録してしまうことが無いので、メモリがすぐに一杯になってしまうこともない。また、選択されなかった画像は保存記録されないので、不要な画像を逐一削除する面倒も無い。
【０１４２】
［第２実施例］（計測データに基づいて、条件毎の撮影枚数を設定する） 図１２Ａ、図１２Ｂに、第２実施例として、被写体の平均輝度と画面内での輝度差など、検出されたセンサ計測情報から、背景の露出条件と日中シンクロストロボ（ディライトストロボ）の発光強度条件などを、条件を少しずつ分散させて組合せ、複数の条件で複数枚連写する例を示す。
【０１４３】
例えば、日中の撮影でも、明るい一部の被写体を含んだ画面ではそれに引っ張られて、他の被写体が暗く写ってしまうことがある。また、太陽を背にした逆光の人物なども暗く写されてしまう。このような場合、日中でもストロボを少し発光照射して（日中シンクロストロボ、ディライト・ストロボなどと呼ばれる）、主要被写体が適当な明るさで撮影されるようにするのが望ましいが、発光強度が強すぎると主要被写体が白飛びして写ってしまう。
【０１４４】
このような状況を平均輝度と輝度差とから判別して、背景の露出条件を適切に設定し、かつ、日中シンクロストロボの発光強度を調整して撮影するが、状況は千差万別なので、本例では、その組合せを適当に分散し、条件をばらつかせて複数枚連写する。
【０１４５】
本実施例では、図１２Ａ（ａ）のように、被写体の平均輝度と輝度差との計測値の組合せに応じて、日中シンクロストロボ発光の強度をどの程度まで抑えて発光するかを決定する設定データを予めデータ・メモリ７０に記憶しておく。図は省略したが、同様に、平均輝度と輝度差との計測値の組合せに応じて、背景の露出制御条件や測光方式も、平均測光によるＡＥか、高輝度重視測光、低輝度重視測光、中央重点測光によるＡＥか、などの条件を設定しておく。
【０１４６】
操作入力部５１からレリーズの半押し操作やＡＥロック操作がされ、平均輝度と輝度差とが計測されたら、その計測値の組合せに従い、測光方式などを選択し背景の露出条件が設定され、また、平均輝度が所定値以下の場合には、高感度モードまたは所定の加算数の画素加算読出しモードに設定される。
【０１４７】
また、ストロボ発光強度については、図１２Ａ（ｂ）に示すように、例えば、平均輝度＝２．５と輝度差＝３．５の場合、合計連写枚数Ｎに応じて、枚数Ｎが２０枚と少ない場合には、分散度を減数して小さくし、平均輝度：２．５±０．５、輝度差：３．５±０．５の範囲で、また、枚数Ｎが１００枚と多い場合には、分散度を増数して大きくし、平均輝度：２．５±１．５、輝度差：３．５±１．５と分散を広くした範囲で、それぞれ計測値の組合せに対応するストロボ発光強度条件をストロボ駆動回路６０に設定する。
【０１４８】
その結果、図１２Ｂに示すように、連写枚数に応じて、各条件での撮影枚数がそれぞれコントローラ７５ａに配分設定され、レリーズボタンが全押しされたら、設定された条件に順次撮影条件を変えながら複数枚の連続撮影が行われる。
【０１４９】
図１３Ａ、図１３Ｂは、本発明の第２実施例のカメラの撮影制御に関するフローチャートである。
【０１５０】
まず、ステップＳ３１０では、ＣＰＵ５３ｇは、操作入力部５１での設定が撮影モードか否かを判断する。ここで、撮影モードにない場合には、ステップＳ３１５に進み、ＣＰＵ５３ｇは、その他のモード処理へと進む。撮影モードにある場合、ステップＳ３２０に進み、ＣＰＵ５３ｇは、操作入力部５１の設定に応じて、撮影シーン、撮影条件などをコントローラ７５ａに設定する。
【０１５１】
次いで、ステップＳ３３０では、ＣＰＵ５３ｇは、操作入力部５１からレリーズボタン半押し又はＡＥロック操作か否かを判断する。ここで、操作入力部５１からレリーズボタン半押し又はＡＥロック操作にない場合には、ステップＳ３３５に進み、ＣＰＵ５３ｇは、その他のキー処理へと進む。
【０１５２】
操作入力部５１からレリーズボタン半押し又はＡＥロック操作にある場合、ステップＳ３４０に進み、ＣＰＵ５３ｇは、マルチ条件による連写撮影モードか否かを判断する。ここで、マルチ条件による連写撮影モードにない場合には、ステップＳ３４５に進み、ＣＰＵ５３ｇは、その他の撮影処理へと進む。
【０１５３】
マルチ条件による連写撮影モードにある場合、ステップＳ３５０に進み、ＣＰＵ５３ｇは、操作入力部５１から入力された操作情報に基づいて、連写時の撮影条件、撮影枚数をコントローラ７５ａに設定する。次いで、ステップＳ３６０では、ＣＰＵ５３ｇは、分割測光（マルチパターン測光）処理を行う。次いで、ステップＳ３６５では、ＣＰＵ５３ｇは、検出回路６３からの測光データに基づいて平均輝度値と輝度差を算出する。
【０１５４】
次いで、ステップＳ３７０では、ＣＰＵ５３ｇは、この平均輝度値と輝度差に基づいて、被写体又は背景の露出条件（測光方式）をコントローラ７５ａに設定する。次いで、ステップＳ３７５では、ＣＰＵ５３ｇは、平均輝度＜所定値か否かを判断する。ここで、平均輝度＜所定値でない場合には、ステップＳ３８７に進み、ＣＰＵ５３ｇは、加算なしの通常読み出しモードにコントローラ７５ａに設定する。平均輝度＜所定値である場合には、ステップＳ３８０に進み、ＣＰＵ５３ｇは、平均輝度に応じて、高感度モード、又は（ｍ×ｎ）画素の加算読出しモードに設定する。
【０１５５】
次いで、ステップＳ３８５では、ＣＰＵ５３ｇは、連写枚数に応じて、撮影条件の分散度をコントローラ７５ａに設定する。次いで、ステップＳ３９０では、ＣＰＵ５３ｇは、平均輝度値と輝度差に応じて、ストロボの発行の基本条件をストロボ駆動回路６０に設定する。
【０１５６】
次いで、ステップＳ４００では、ＣＰＵ５３ｇは、連写枚数、分散度、及び被写体の平均輝度値と輝度差に応じて、ストロボ発光条件を基本設定から複数の発行条件に分散配分し、各発行条件での撮影枚数をコントローラ７５ａに設定する。
【０１５７】
次いで、ステップＳ４１０では、ＣＰＵ５３ｇは、操作入力部５１での設定がレリーズ全押し又は撮影操作があるか否かを判断する。ここで、操作入力部５１での設定がレリーズ全押し又は撮影操作がない場合には、ステップＳ４１０に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。
【０１５８】
操作入力部５１での設定がレリーズボタン全押し又は撮影操作がある場合には、ステップＳ４１５に進み、ＣＰＵ５３ｇは、第１のストロボ発光条件と撮影枚数とをコントローラ７５ａに設定する。次いで、ステップＳ４２０では、ＣＰＵ５３ｇは、設定ストロボ発光条件にてストロボ駆動回路６０によりストロボ発光し、設定露出条件と設定読出しモードにて露出及び撮影処理を行う。
【０１５９】
次いで、ステップＳ４２５では、ＣＰＵ５３ｇは、設定枚数だけ撮影したか否かを判断する。ここで、設定枚数だけ撮影していない場合、ステップＳ４２０に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。
【０１６０】
設定枚数だけ撮影した場合、ステップＳ４３０に進み、ＣＰＵ５３ｇは、最後の条件での撮影を終了するか否か判断する。ここで、最後の条件での撮影を終了しない場合、ステップＳ４３５に進み、ＣＰＵ５３ｇは、次のストロボ発光条件と撮影枚数とをコントローラ７５ａに設定する。その後、ステップＳ４２０に進み、ＣＰＵ５３ｇは、上述した処理を繰り返す。
【０１６１】
最後の条件での撮影を終了する場合、ステップＳ４４０に進み、ＣＰＵ５３ｇは、撮影画像データの符号化処理、メモリ記録処理を行い、ＣＰＵ５３ｇは、復帰する。
【０１６２】
［第１、第２実施例の効果］ （１）複数の撮影条件を組み合わせて撮影するので、シーン選択をしないでも、所望の画像が得られる確率が高くなる。シーン選択すると、選択されたシーンに応じて、複数の撮影条件を組合せて連写撮影するので、さらに、写りの良い所望の画像が撮影できる。この結果、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することにある。
【０１６３】
（２）従来のブラケティング撮影と違って、超高速連写なので、撮影タイミングが殆ど変わらず、ほぼ同一シーンの画像で撮影条件や撮影条件の組合せを少しずつ変えた複数枚の画像が撮影でき、一度のレリーズ操作による撮影だけで、所望の写りの良い画像が得られる。
【０１６４】
（３）また、単なる複数の撮影条件の組合せによるブラケテイング撮影と違って、選択シーンや輝度値などの計測値、あるいは、撮影頻度データなどに基づいて、選択シーンに適した撮影条件、計測値に該当する撮影条件、撮影頻度の多い撮影条件を中心に、撮影条件の組合せ毎に設定された配分割合や枚数で連写撮影するので、無駄に多数の撮影を行わず、所望の条件に近い画像が撮影される確率を高め、効率の良い撮影ができる。
【０１６５】
（４）一度の撮影だけで、膨大な数の連写を行っても、所望の画像や写りの良い画像だけカメラが自動的に選択された画像、または、ユーザが選択した画像のみ記録できるので、多数枚高速連写しても、失敗画像や不要な画像などを多量に記録してしまうことが無いので、メモリがすぐに一杯になってしまうこともない。また、選択されなかった画像は保存記録されないので、不要な画像を逐一削除する面倒も無い。
【０１６６】
［第３実施例］（撮影頻度データに基づいて、撮影条件毎の撮影枚数を設定） 図１４Ａ、図１４Ｂに、第３実施例として、撮影頻度データに基づいて、撮影条件毎の撮影枚数を設定してマルチ条件の連写を行う例を示す。
【０１６７】
本実施例では、図１４（ａ）に示すように、各焦点距離などにおける撮影頻度データなどの撮影統計データを予めデータ・メモリ７０に記憶設定しておき、この撮影頻度データに基づいて、図１４Ｂ（ａ）、（ｂ）に示すように、撮影時のレンズの焦点距離と検出された被写体輝度とから、当該撮影において頻度が多いと推定される複数の被写体距離条件を推定して、当該被写体距離に応じて、複数の各ＡＥ（自動露出）条件、ＡＦ（自動合焦）条件、被写界深度条件等の組合せを分散配分してコントローラ７５ａに設定し、条件の組合せ毎の連写枚数を切り替えて、連写撮影を行うように制御する。
【０１６８】
図１５Ａ、図１５Ｂは、本発明の第３実施例のカメラの撮影制御に関するフローチャートである。
【０１６９】
まず、ステップＳ５１０では、ＣＰＵ５３ｇは、操作入力部５１での設定が撮影モードか否かを判断する。ここで、撮影モードにない場合には、ステップＳ５１５に進み、ＣＰＵ５３ｇは、その他のモード処理へと進む。撮影モードにある場合、ステップＳ５２０に進み、ＣＰＵ５３ｇは、操作入力部５１での設定に応じて、撮影シーン、撮影条件をコントローラ７５ａに設定する。
【０１７０】
次いで、ステップＳ５２５では、ＣＰＵ５３ｇは、ズームレンズ駆動部５７からズーム処理情報を、焦点レンズ駆動部５８からレンズ焦点距離情報を取得する。次いで、ステップＳ５３０では、ＣＰＵ５３ｇは、操作入力部５１からレリーズ半押し又はＡＥロック操作があるか否かを判断する。ここで、操作入力部５１からレリーズ半押し又はＡＥロック操作がない場合には、ステップＳ５３５に進み、ＣＰＵ５３ｇは、その他のキー処理へと進む。
【０１７１】
操作入力部５１からレリーズボタン半押し又はＡＥロック操作がある場合、ステップＳ５４０に進み、ＣＰＵ５３ｇは、マルチ条件による連写撮影か否かを判断する。ここで、マルチ条件による連写撮影でない場合には、ステップＳ５４５に進み、ＣＰＵ５３ｇは、その他の撮影処理へと進む。
【０１７２】
マルチ条件による連写撮影である場合、ステップＳ５５０に進み、ＣＰＵ５３ｇは、操作入力部５１から入力された操作情報に基づいて、マルチ条件連写の撮影条件、撮影枚数をコントローラ７５ａに設定する。次いで、ステップＳ５５５では、ＣＰＵ５３ｇは、連写枚数に応じて、撮影条件の分散度をコントローラ７５ａに設定する。
【０１７３】
次いで、ステップＳ５６０では、ＣＰＵ５３ｇは、測光処理を行う。次いで、ステップＳ５６５では、ＣＰＵ５３ｇは、検出回路６３からの測光データに基づいて被写体の輝度（明るさ）を算出する。
【０１７４】
次いで、ステップＳ５７０では、ＣＰＵ５３ｇは、分散度に応じて、算出被写体輝度を中心に被写体輝度条件を分散させる。すなわち、ＣＰＵ５３ｇは、設定された分散度に応じて、撮影条件の分散範囲を増減し、増減された分散範囲において、撮影条件の組合せを複数組設定するとともに、組合せ毎の撮影枚数を自動的に配分設定する。次いで、ステップＳ５７５では、ＣＰＵ５３ｇは、（当該焦点距離における）被写体輝度と被写体距離の頻度データに基づいて、分散させた被写体輝度毎に推定される複数の被写体距離条件と各撮影枚数の配分をコントローラ７５ａに設定する。
【０１７５】
次いで、ステップＳ５８５では、ＣＰＵ５３ｇは、操作入力部５１からレリーズ全押し又は撮影操作があるか否か判断する。ここで、操作入力部５１からレリーズ全押し又は撮影操作がない場合には、ステップＳ５８５に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。
【０１７６】
操作入力部５１からレリーズボタン全押し又は撮影操作がある場合、ステップＳ５９０に進み、ＣＰＵ５３ｇは、第１の被写体輝度及び推定される被写体距離と撮影枚数とをコントローラ７５ａに設定する。
【０１７７】
次いで、ステップＳ５９５では、ＣＰＵ５３ｇは、設定された被写体輝度及び推測される被写体距離に応じて、ＡＥ（露出）条件、ＷＢ条件をコントローラ７５ａに設定する。次いで、ステップＳ６００では、ＣＰＵ５３ｇは、推測被写体距離に応じて、焦点レンズ駆動部５８でＡＦ（自動合焦）処理を行う。次いで、ステップＳ６０５では、ＣＰＵ５３ｇは、設定露出条件にて、コントローラ７５ａが撮像素子７３を制御して露出及び撮影処理を行い、バッファメモリ（Ａ）７５ｃに撮影画像を一時記憶する。
【０１７８】
次いで、ステップＳ６１０では、ＣＰＵ５３ｇは、設定枚数だけ撮影したか否かを判断する。ここで、設定枚数だけ撮影していない場合、ステップＳ５９５に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。設定枚数だけ撮影した場合、ステップＳ６１５に進み、ＣＰＵ５３ｇは、最後の条件での撮影を終了するか否か判断する。ここで、最後の条件での撮影を終了しない場合、ステップＳ６２０に進み、ＣＰＵ５３ｇは、被写体輝度及び推測被写体距離と撮影枚数とをコントローラ７５ａに設定する。その後、ステップＳ５９５に進み、上述した処理を繰り返す。
【０１７９】
最後の条件での撮影を終了する場合、ステップＳ６２５に進み、ＣＰＵ５３ｇは、撮影画像データの符号化処理、メモリ記録処理を行い、ＣＰＵ５３ｇは、復帰する。
【０１８０】
この場合も、分散された撮影条件毎の配分割合に従って、撮影条件の組合せ毎の撮影枚数を自動的に配分設定する。また、マルチ条件連写の撮影枚数に応じて、撮影条件の分散度などを自動的にコントローラ７５ａに設定して、枚数が多い場合には、より広がって分散された撮影条件の組合せになるよう設定されるのが望ましい。
【０１８１】
［第３実施例の効果］頻度データとして、実際の撮影例や画像データベースにおける各撮影条件の頻度データなどを集計して、予め撮影頻度データメモリに記憶しておくことで、実際の撮影における頻度や確率の高い被写体の状況や撮影シーンに適切な撮影条件を含む組合せ条件にて多くの枚数を撮影するので、画質や写りの良い所望の画像が得られる確率をより高めることができる。この結果、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することにある。
【０１８２】
［第４実施例］（連写された画像を画質評価して、評価値の高い画像を優先して記録）本実施例では、撮影条件の組合せ毎に設定された枚数の撮影を行った後、各画像の画質を評価し、評価値に応じて画像を一覧表示したり、評価値の高い画像やユーザに選択された画像を優先して保存記録したり、評価値の低い画像を保存記録しないように制御する。
【０１８３】
図１６Ａ、図１６Ｂは、本発明の第４実施例のカメラの撮影制御に関するフローチャートである。まず、ステップＳ７１０では、ＣＰＵ５３ｇは、撮影モードか否かを判断する。ここで、撮影モードにない場合には、ステップＳ７１５に進み、ＣＰＵ５３ｇは、その他のモード処理へと進む。撮影モードにある場合、ステップＳ７２０に進み、ＣＰＵ５３ｇは、操作入力に応じて、撮影シーン、撮影条件を設定する。
【０１８４】
次いで、ステップＳ７２５では、ＣＰＵ５３ｇは、マルチ条件による連写撮影がＯＮか否かを判断する。ここで、操作入力部５１での設定がマルチ条件による連写撮影がＯＮでない場合には、ステップＳ７３０に進み、ＣＰＵ５３ｇは、その他の撮影処理へと進む。
【０１８５】
操作入力部５１での設定がマルチ条件による連写撮影がＯＮである場合、ステップＳ７３５に進み、ＣＰＵ５３ｇは、操作入力部５１から入力された操作情報に基づいて、連写時の撮影条件、撮影枚数をコントローラ７５ａに設定する。次いで、ステップＳ７４０では、検出回路６３からの検出信号に基づいてＣＰＵ５３ｇは、測光処理を行い、被写体光又は被写体特徴、被写体状況の計測を行う。
【０１８６】
次いで、ステップＳ７４５では、ＣＰＵ５３ｇは、選択シーン若しくは計測値と、各撮影条件の分布設定データに応じて、撮影条件のいずれかを複数条件に分散してコントローラ７５ａに設定する。次いで、ステップＳ７６０では、操作入力部５１からＣＰＵ５３ｇは、レリーズ又は撮影操作があるか否かを判断する。ここで、操作入力部５１からレリーズ又は撮影操作がない場合には、ＣＰＵ５３ｇは、復帰する。
【０１８７】
操作入力部５１からレリーズボタン又は撮影操作がある場合、ステップＳ７６５に進み、ＣＰＵ５３ｇは、第１の撮影条件をその最初の設定値、またその撮影枚数（Ｎ１１）をコントローラ７５ａに設定する。次いで、ステップＳ７７０では、ＣＰＵ５３ｇは、第２の撮影条件をその最初の設定値、またその撮影枚数（Ｎ２１）をコントローラ７５ａに設定する。次いで、ステップＳ７７５では、ＣＰＵ５３ｇは、最後の撮影条件をその最初の設定値にし、またその撮影枚数（Ｎｎ１）をコントローラ７５ａに設定する。
【０１８８】
次いで、ステップＳ７８０では、ＣＰＵ５３ｇは、設定撮影条件にて、露出及び撮影処理を行う。次いで、ステップＳ７９０では、ＣＰＵ５３ｇは、設定枚数（Ｎｎｋ）だけ撮影したか否かを判断する。ここで、設定枚数（Ｎｎｋ）だけ撮影していない場合、ステップＳ７８０に戻り、ＣＰＵ５３ｇは、上述した処理を繰り返す。設定枚数（Ｎｎｋ）だけ撮影した場合、ステップＳ７９０に進み、ＣＰＵ５３ｇは、設定枚数（ＮｎＮ）だけ撮影したか否かを判断する。ここで、設定枚数（ＮｎＮ）だけ撮影していない場合、ステップＳ７９５に進み、ＣＰＵ５３ｇは、最後の撮影条件を、次の設定値に、またその設定枚数（Ｎｎｋ）をコントローラ７５ａに設定し、ステップＳ７８０に進み、ＣＰＵ５３ｇは、上述した処理を繰り返す。設定枚数（ＮｎＮ）だけ撮影した場合、ステップＳ８００に進み、ＣＰＵ５３ｇは、設定枚数（Ｎ２Ｍ）だけ撮影したか否かを判断する。
【０１８９】
ここで、設定枚数（Ｎ２Ｍ）だけ撮影していない場合、ステップＳ８０５に進み、ＣＰＵ５３ｇは、第２の撮影条件を、次の設定値に、またその設定枚数（Ｎ２ｊ）をコントローラ７５ａに設定し、ステップＳ７７５に進み、上述した処理を繰り返す。設定枚数（Ｎ２Ｍ）だけ撮影した場合、ステップＳ８１０に進み、ＣＰＵ５３ｇは、設定枚数（Ｎ１Ｌ）だけ撮影したか否かを判断する。ここで、設定枚数（Ｎ１Ｌ）だけ撮影していない場合、ステップＳ８１５に進み、ＣＰＵ５３ｇは、第１の撮影条件を、次の設定値に、またその設定枚数（Ｎ１ｉ）をコントローラ７５ａに設定し、ステップＳ７７０に進み、上述した処理を繰り返す。
【０１９０】
設定枚数（Ｎ１Ｌ）だけ撮影した場合、ステップＳ８２０に進み、ＣＰＵ５３ｇは、撮影された連写画像の画質評価処理を画像評価処理部７５ｍ行わせる。なお、画像評価処理部７５ｍでの画質評価処理としては後述する画質評価方法１から４を採用することとする。
【０１９１】
次いで、ステップＳ８３０では、ＣＰＵ５３ｇは、画像評価処理部７５ｍでの評価結果に応じて、評価の高い画像、又は項目別の評価ベスト画像をバッファメモリ（Ａ）７５ｃから読み出し記録候補画像として画像表示部８５に表示する。
【０１９２】
次いで、ステップＳ８４０では、ＣＰＵ５３ｇは、選択画像の記録が可能か否かを判断する。ここで、選択画像の記録が可能でない場合、ステップＳ８４５に進み、ＣＰＵ５３ｇは、操作入力部５１の設定に応じて、記録する画像を選択し、ステップＳ８５０に進む。選択画像の記録が可能である場合、ＣＰＵ５３ｇは、選択された撮影画像の画像データの符号化処理、保存記録処理を行い、ＣＰＵ５３ｇは、復帰する。
【０１９３】
［画質評価方法１］ 図１７は画像評価処理部７５ｍでの画像評価方法（１）として、ＲＧＢ各色の輝度ヒストグラム分布の統計量から画質評価することを示すフローチャートである。図１７においては、画像の評価方法の例（１）を示すとして、画像評価処理部７５ｍでは、各画像データの輝度値、または、ＲＧＢ各色差成分の輝度値の分布ヒストグラム（頻度分布表、頻度分布図）を算出して、その輝度分布から画質を評価する。
【０１９４】
例えば、輝度分布ヒストグラムが中央からはずれて高輝度側に偏ると、露出オーバー気味で、高輝度領域が飽和したり、いわゆる「白飛び」した画像になり、逆に、輝度分布が低輝度側に偏ると、露出アンダー気味で、低輝度領域が飽和したり、「黒つぶれ」した画像になる。また、輝度分布が中央でも、その分布幅が狭くて、一様に広く分布していない場合には、ダイナミック・レンジが狭くて、中間諧調やこまかな濃淡に欠けた画像となる。いずれも、露出条件や写りの良くない画像の典型である。
【０１９５】
この輝度分布特性の指標値や統計量から、露出条件の良し悪しを評価できる。最近のデジタルカメラの多くは、輝度値を集計演算して、輝度分布のヒストグラムをグラフ表示等できる機種が多いので、それを流用すれば、比較的容易に実装できる。
【０１９６】
まず、ステップＳ８６０では、ＣＰＵ５３ｇは、画像上の点（ｉ，ｊ）の輝度をｆ［ｉ，ｊ］と表す。次いで、ステップＳ８６２Ｒでは、ＣＰＵ５３ｇは、Ｒ画像の点（ｉ，ｊ）の輝度をＲ［ｉ，ｊ］と表す。次いで、ステップＳ８６４Ｒでは、ＣＰＵ５３ｇは、輝度分布図（ヒストグラム）ＰＲ（Ｘ）を作成する。次いで、ステップＳ８６６Ｒでは、ＣＰＵ５３ｇは、Ｒ輝度のヒストグラム分布を表す。
【０１９７】
次いで、ステップＳ８６２Ｇでは、ＣＰＵ５３ｇは、Ｇ画像の点（ｉ，ｊ）の輝度をＧ［ｉ，ｊ］と表す。次いで、ステップＳ８６４Ｇでは、ＣＰＵ５３ｇは、輝度分布図（ヒストグラム）ＰＧ（Ｘ）を作成する。次いで、ステップＳ８６６Ｇでは、ＣＰＵ５３ｇは、Ｇ輝度のヒストグラム分布を表す。
【０１９８】
次いで、ステップＳ８６２Ｂでは、ＣＰＵ５３ｇは、Ｂ画像の点（ｉ，ｊ）の輝度をＢ［ｉ，ｊ］と表す。次いで、ステップＳ８６４Ｂでは、ＣＰＵ５３ｇは、輝度分布図（ヒストグラム）ＰＢ（Ｘ）を作成する。次いで、ステップＳ８６６Ｂでは、ＣＰＵ５３ｇは、Ｂ輝度のヒストグラム分布を表す。
【０１９９】
次いで、ステップＳ８６８では、ＣＰＵ５３ｇは、輝度分布の統計量について、輝度分布の平均値（Ｍｅａｎ）ＸＭ＝ΣｉＸｉ／Ｎ、中央値（Ｍｅｄｉａｎ）Ｘｍｅｄまたは最頻値（Ｍｏｄｅ）、輝度分布の分散（Ｖａｒｉａｎｃｅ）σ２＝Σｉ（ｘｉ−ｘＭ）２／（Ｎ−１）、輝度分布の標準偏差（ＳＤ）σ＝√（σ２）、変動係数ＣＶ＝（標準偏差／平均）＝｛σ／ｘＭ｝×１００、輝度分布の歪み度ＳＫは＝Σｉ｛（ｘｉ−ｘＭ）／σ｝３／Ｎ、輝度分布の尖り度Ｋ＝Σｉ｛（ｘｉ−ｘＭ）／σ｝４／Ｎ−３、とする。
【０２００】
例えば、輝度分布の平均値（Ｍｅａｎ）ＸＭ＝ΣｉＸｉ／Ｎ（ただし、Ｘｉは画素毎の輝度値）、（平均値は大きなはずれ値の影響を受け易いので、代表値としては中央値の方が有効である）、または、中央値（Ｍｅｄｉａｎ）Ｘｍｅｄ：分布の頻度数の順位が中央にある輝度値、最頻値（Ｍｏｄｅ）Ｘｍｏｄｅ（最も頻度数が多い輝度値）や、輝度の最大値Ｘｍｉｎや最小値Ｘｍａｘ、輝度分布の分散（Ｖａｒｉａｎｃｅ）σ２は、
σ２＝Σｉ（ｘｉ−ｘＭ）２／（Ｎ−１） （６）
輝度分布の標準偏差（ＳＤ、Ｓｔａｎｄａｒｄ Ｄｅｖｉａｔｉｏｎ）σ＝√（σ２）（分散や標準偏差は、分布の広がりの程度を示す）などから、画質の評価値を算出することができる。
【０２０１】
あるいは、ＲＧＢ毎のバラツキを示す変動係数ＣＶは、
ＣＶ＝（標準偏差／平均）＝｛σ／ｘＭ｝×１００ （７）
となる。また、輝度分布の歪み度（ゆがみど、わいど、Ｓｋｅｗｎｅｓｓ）ＳＫは、
ＳＫ＝Σｉ｛（ｘｉ−ｘＭ）／σ｝３／Ｎ （８）
なお、歪み度は、分布が左右対称かどうかの非対称性を示す。左右対称なら０、右に大きな「はずれ値」があれば正の値に、左に大きな「はずれ値」があれば負の値となる。輝度分布の尖り度（とがり度、とつ度、Ｋｕｒｔｏｓｉｓ）Ｋは、
Ｋ＝Σｉ｛（ｘｉ−ｘＭ）／σ｝４／Ｎ−３ （９）
【０２０２】
なお、尖り度は、分布が正規分布ならば０、正規分布より広がりが大きければ正の値に、正規分布より広がりが小さければ負の値となる。輝度分布やＲＧＢ毎の輝度分布の指標値や統計量などを元に、輝度分布の幅や広がり、その偏り、分布曲線の形状や特徴を判別し、露出条件の良し悪し、写りの良し悪しの判定ができる。もちろん、その他の統計値などを用いて評価値を算出しても良い。
【０２０３】
次いで、ステップＳ８７０では、ＣＰＵ５３ｇは、画質の特性を、輝度分布の平均、輝度分布の中央、輝度分布の広がり度合い、ＲＧＢ毎のかたより、輝度分布の左右対称性、正規分布より広い／狭いとする。次いで、ステップＳ８７２では、ＣＰＵ５３ｇは、画質評価値を決定する。
【０２０４】
このように、画質評価方法１において、撮影された画像データの輝度値の分布ヒストグラム、または、ＲＧＢ色差成分毎の輝度値の分布ヒストグラムを算出して、その輝度分布特性、または、その指標値、その統計量のうち、いずれかに基づいて、露出条件または中間調表現の良し悪しなどの所定の画質特性を評価することで、画質の評価値の大小に従って選択された画像を、記録候補画像として表示したり、自動選択された画質の最も良い画像や、または、表示された中からユーザが選択された所望の画像だけを簡単にメモリカードなどに保存記録することができる。
【０２０５】
［画質評価方法２］ 図１８Ａに、離散フーリエ変換、離散コサイン変換と、各変換による低周波／高周波成分を示す。図１８Ｂ、図１８Ｃに、画像評価処理部７５ｍでの画質評価方法（２）として、画像データのＤＦＴ、ＤＣＴなどによる空間周波数の分布や高周波成分から画質を評価する方法を示す。
【０２０６】
二次元画像データの各点の輝度値ｆ（ｘ，ｙ）を、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、あるいは、それらをソフト処理で高速計算するＦＦＴ（高速フーリエ変換）アルゴリズム等により、周波数軸に変換したＦ（ｕ，ｖ）を求め、その周波数毎の振幅値や変換係数等、画像の周波数特性や、全体に占める高周波成分や低周波成分の比率から、画質のボケの程度や鮮鋭度（シャープさ）、解像度等を評価できる。
【０２０７】
最近のデジタルカメラでは、ＪＰＥＧ等の画像圧縮符号化のためにＤＣＴ変換用のＤＳＰやソフトウェアを内蔵しているので、その部分を流用すれば、比較的容易に実装できる。離散フーリエ変換（ＤＦＴ）は、
Ｆ［ｕ，ｖ］＝（１／ＭＮ）Σｘ＝０Ｍ−１Σｙ＝０Ｎ−１ｆ［ｘ，ｙ］Ｗ１ｕｘＷ２ｖｙ
（１０）
ただし、各変換係数Ｗ１＝ｅｘｐ（−ｊ２π／Ｍ）、Ｗ２＝ｅｘｐ（−ｊ２π／Ｎ））
【０２０８】
次に、離散コサイン変換では、
Ｆ［ｕ，ｖ］＝（４／√ＭＮ）Ｃ（ｕ）Ｃ（ｖ）
・ΣｘΣｙｆ［ｘ，ｙ］・ｃｏｓ｛（２ｘ＋１）ｕπ／２Ｍ｝
・ｃｏｓ｛（２ｙ＋１）ｖπ／２Ｎ｝ （１１）
【０２０９】
ただし、各変換係数Ｃ（ｕ），Ｃ（ｖ）＝１／√２（ｕ，ｖ＝０）、Ｃ（ｕ），Ｃ（ｖ）＝１（ｕ，ｖ≠０））で計算できる。
【０２１０】
まず、ステップＳ８７６では、ＣＰＵ５３ｇは、画像上の点（ｘ，ｙ）の輝度をｆ［ｘ，ｙ］と表す。次いで、ステップＳ８７８では、ＣＰＵ５３ｇは、順次走査により１次元信号に変換する。次いで、ステップＳ８８０では、ＣＰＵ５３ｇは、フーリエ変換、ＤＦＴ等で、周波数軸に変換する。
【０２１１】
また、二次元画像ｆ（ｘ，ｙ）を周波数空間に変換した周波数成分Ｆ（ｕ，ｖ）もｕ，ｖ空間上に分布するが、二次元空間上の周波数特性から判別してもよい。
【０２１２】
図１８Ｃに示すように、予め、画像を順次走査して１次元信号に並び替えてからＤＦＴ変換などを施して評価しても、また、ＤＣＴなど周波数軸に変換したその振幅値やＤＣＴ係数をジグザグ走査などで、１次元に並び替えてから、高周波成分の比率を産出したり、評価してもよい。また、前記ヒストグラム分布の評価と同様に、上記周波数特性の分布の代表値や統計量を求めて、それを元に評価してもよい。
【０２１３】
まず、ステップＳ８８５では、ＣＰＵ５３ｇは、点（ｘ，ｙ）の輝度をｆ［ｘ，ｙ］と表す。次いで、ステップＳ８９０では、ＣＰＵ５３ｇは、ＤＦＴ，ＤＣＴ等、離散直交変換する。次いで、ステップＳ８９５では、ＣＰＵ５３ｇは、Ｆ［ｕ，ｖ］振幅値をジグザグ操作など１次元化する。次いで、ステップＳ９００では、ＣＰＵ５３ｇは、Ｆ［ｉ］（Ｆ［ｕ，ｖ］の振幅、又はＤＣＴ係数等）を設定する。次いで、ステップＳ９１０では、ＣＰＵ５３ｇは、以下を行う。
画質評価値＝高周波比率
＝（高周波成分振幅値合計）／（全成分の振幅値合計） （１２）
あるいは、
ボケ評価値＝低周波比率
＝（全成分合計−高周波成分合計）／（全成分の合計） （１３）
【０２１４】
次いで、ステップＳ９２０では、ＣＰＵ５３ｇは、周波数分布の再頻値（Ｍｏｄｅ）をｆｍｏｄｅ（振幅が最も大きい周波数）と、周波数分布の中央値（Ｍｅｄｉａｎ）をｆｍｅｄ（Ｎ／２番目に多い周波数）と、周波数分布の平均値（Ｍｅａｎ）をｆＭと、周波数分布の分散（Ｖａｒｉａｎｃｅ、σ２）をσ２と、周波数分布の標準偏差（ＳＤ、Ｓｔａｎｄａｒｄ Ｄｅｖｉｔａｔｉｏｎ、σ）をσとし、さらにｆＭ、σ２、σを各々以下のようにする。
ｆＭ＝ΣｉＦ［ｉ］／Ｎ （１４）
σ２＝偏差平方和／（Ｎ−１）
＝Σｉ（Ｆ［ｉ］−ｆＭ）２／（Ｎ−１） （１５）
σ＝ＳＱＲＴ（分散）
＝√｛Σｉ（Ｆ［ｉ］−ｆＭ）２／（Ｎ−１）｝ （１６）
【０２１５】
このように、画質評価方法２において、撮影された画像データを離散フーリエ変換ＤＦＴ、離散コサイン変換ＤＣＴなどにより周波数空間に変換し、周波数空間に変換されたデータの変換係数、または、周波数分布特性、周波数毎の振幅値、高周波成分の比率、周波数特性分布の統計量のうち、いずれかに基づいて、鮮鋭度、解像度、ボケの程度などの所定の画質特性を評価することで、画質の評価値の大小に従って選択された画像を、記録候補画像として表示したり、自動選択された画質の最も良い画像や、または、表示された中からユーザが選択された所望の画像だけを簡単にメモリカードなどに保存記録することができる。
【０２１６】
［画質評価方法３］ 図１９Ａ、図１９Ｂは、画像評価処理部７５ｍでの画質評価方法３として、画像の変換や復元等に用いるＰＳＦ（点像分布関数、点広がり関数）法等を利用して、ブレやボケを判別評価する方法を示したフローチャートである。
【０２１７】
図１９Ａにおいて、ステップＳ１０１０では、画像評価処理部７５ｍはＰＳＦ法による画像復元では、撮影された画像ｇ（ｘ，ｙ）を、ブレやボケのない本来の画像ｉ（ｘ，ｙ）が、ブレやボケを生じさせる成分ｐ（ｘ，ｙ）により劣化した劣化画像ｇ（ｘ，ｙ）とみなし、
ｇ（ｘ，ｙ）＝ｐ（ｘ，ｙ）＊ｉ（ｘ，ｙ） （１７）
（＊は、コンボリューション、畳み込み積分演算）
と想定し、また、Ｐ（ｘ，ｙ）を、ＰＳＦ関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、点像分布関数）や、ＬＳＦ関数（Ｌｉｎｅ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、線像分布関数）などとして、劣化要因となるｐ（ｘ，ｙ）を推定し、ｐ（ｘ，ｙ）が推定できれば、本来の画像ｉ（ｘ，ｙ）をデコンボリューション（逆畳み込み積分）演算により画像復元にも利用できるものである。
【０２１８】
次いで、ステップＳ１０２０では、画像評価処理部７５ｍは劣化画像ｇ（ｘ，ｙ）を、フーリエ変換（ＦＦＴ）や離散フーリエ変換（ＤＦＴ）等で周波数軸に変換して、Ｇ（ｕ，ｖ）を求める。
【０２１９】
Ｇ（ｕ、ｖ）＝Ｐ（ｕ、ｖ）・Ｉ（ｕ、ｖ）（コンボリューションは、周波数軸上では、フーリエ変換同士の掛け算となる）であるので、そのＰ（ｕ、ｖ）を周波数領域で推定し、Ｐ（ｕ、ｖ）が推定できれば、逆フィルタとして１／Ｐ（ｕ、ｖ）を求め、１／Ｐ（ｕ、ｖ）を用いて本来の画像ｉ（ｘ、ｙ）が復元できる原理である。
【０２２０】
すなわち、Ｉ（ｕ、ｖ）＝Ｇ（ｕ、ｖ）／Ｐ（ｕ、ｖ）（フーリエ変換同士の割り算）を求め、それを逆フーリエ変換して、
ｉ（ｘ，ｙ）＝逆フーリエ変換｛Ｉ（ｕ、ｖ）｝
＝Σｘ＝０Ｍ−１Σｙ＝０Ｎ−１Ｉ［ｕ，ｖ］Ｗ１ｕｘＷ２ｖｙ （１８）
（ただし、Ｗ１＝ｅｘｐ（−ｊ２π／Ｍ）、Ｗ２＝ｅｘｐ（−ｊ２π／Ｎ））
【０２２１】
ここでは、このＰＳＦ法におけるＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、点像分布関数）やＰ（ｕ、ｖ）の推定方法を、一般のアマチュアや非熟練者の撮影画像では「露出設定の失敗」と並んで多い傾向にある。この方法を「焦点ボケ」画像や「直線ブレ」画像の判別や評価に用いて、写りや画質の悪い画像を検出し、それらを優先して削除できる（または、保存記録しない）ようにする。
【０２２２】
次いで、ステップＳ１０３０では、ＣＰＵ５３ｇは、劣化画像のフーリエ変換画像を得ることができる。（Ｇ（ｕ，ｖ）＝Ｐ（ｕ，ｖ）・ｉ（ｕ，ｖ）と想定される）
【０２２３】
一般に、直線ブレした画像をフーリエ変換したＦ（ｕ，ｖ）の振幅値の分布は、図１９Ａ（ａ）に示すようにブレやボケが少ない一般画像となる。図１９Ａ（ｂ）に示すような直線ブレのパターンとなり、中央付近の高周波成分がブレ角度に従って、数本の細長い筋や傾斜した楕円形状に抜けたり歪んだパターンが現れる。また、焦点ボケした画像のＦ（ｕ，ｖ）は、図１９Ａ（ｄ）に示すような焦点ボケ画像パターンとなり、中央部の高周波成分が同心円状に抜けたり歪んだパターンとなる。また、直線ブレと焦点ボケが共に生じると、図１９Ａ（ｃ）に示すような、両方の特徴を合せた持ったパターンとなる。
【０２２４】
次いで、ステップＳ１０４０では、画像評価処理部７５ｍは、ＰＳＦ法、ゼロクロス法、又はＨｏｕｇｈ変換法、逆フィルタ法等で、Ｐ（ｕ，ｖ）又はＰＳＦを推定する。
【０２２５】
次いで、ステップＳ１０５０では、画像評価処理部７５ｍは、例えば、ブレ方向角度（θ）、ブレ距離（Ｌ）に対して、θ方向に周期１／Ｌでゼロ交差する直線ブレの評価値を出力する。
【０２２６】
次いで、ステップＳ１０６０では、画像評価処理部７５ｍは、直線ブレ補正用フィルタを設定する。
Ｐ（ｕ，ｖ）＝ｓｉｎ（πｆＬ）／πｆＬ （１９）
（ｆ＝ｕｃｏｓθ＋ｖｓｉｎθ）
【０２２７】
一方、ステップＳ１０７０では、画像評価処理部７５ｍは、ＰＳＦ法、ゼロクロス法、又はＨｏｕｇｈ変換法、逆フィルタ法等で、Ｐ（ｕ，ｖ）又はＰＳＦを推定する。
【０２２８】
次いで、ステップＳ１０８０では、画像評価処理部７５ｍは、例えば、焦点の広がり半径（ｒ）に対して、周期１．０１π／ｒで、同心円状にゼロ交差する焦点ボケの評価値を出力する。
【０２２９】
次いで、ステップＳ１０９０では、画像評価処理部７５ｍは、焦点ボケ補正用フィルタを設定する。
Ｐ（ｕ，ｖ）＝２・Ｊ１（ｒ・Ｒ）／ｒ・Ｒ （２０）
Ｊ１＝１次の第１種ベッセル関数
【０２３０】
次いで、ステップＳ１１００では、画像評価処理部７５ｍは、直線ブレ、焦点ボケの度合いを出力する。又は、設定フィルタにより、直線ブレ、焦点ボケを補正した画像を出力する。
【０２３１】
次いで、ステップＳ１１００では、画像評価処理部７５ｍは、直線ブレ、焦点ボケの度合いを出力する。または、画像評価処理部７５ｍは、設定フィルタにより直線ブレ、焦点ボケを補正した画像を出力する。
【０２３２】
本実施例では、ゼロ点交差法やＨｏｕｇｈ変換（ハフ変換、ヒュー変換）法などにより、直線ブレの場合には、フーリエ変換のＦ（ｕ，ｖ）の振幅値が周期１／Ｌでゼロ交差する方向の、ブレの方向角度（θ）と、ブレの距離またはその画素数（Ｌ）、焦点ボケの場合には、同じくＦ（ｕ，ｖ）の振幅値が周期１．０１π／ｒでゼロ交差する同心円状の、焦点の広がりの半径またはその画素数（ｒ）を、推定計算できるので、画像評価処理部７５ｍからの値を評価値として、直線ブレ画像や、焦点ボケ画像を評価できる。
【０２３３】
図２０は、ＰＳＦ法による、直線ブレ方向、ブレ距離、焦点ボケ半径の算出（推定）方法の一例を示すフローチャートである。
【０２３４】
ＰＳＦ法では、角速度センサ６６、検出回路６７で検出されたブレ方向（θ）とブレ距離（Ｌ）、焦点ボケの広がり半径（ｒ）の推定方法として、ブレ方向（θ）は、Ｇ（ｕ，ｖ）の縦／横の相対比（Ｒ）から算出し、ブレ距離（Ｌ）または焦点広がり半径（ｒ）は、復元画像ｉＬ、ｉＬ＋１を順次計算して求め、その相関値Ｃ（Ｌ）から逆算するか、または、相関値Ｃ（Ｌ）が所定値以上の相関度に飽和するまで繰り返して求める。さらに計算時間を短縮する方法として多階調Ｈｏｕｇｈ変換で求める方法などもある。
【０２３５】
図２０において、ステップＳ１２１０では、画像評価処理部７５ｍは、ブレ方向（θ）の推定法により、Ｇ｛ｕ，ｖ｝の縦／横の相対比Ｒから、ブレ方向（θ）を逆算する。相対比Ｒは、
Ｒ＝∫｜Ｇ｛ｒｃｏｓ（θ＋π／２），ｒｃｏｓ（θ＋π／２）｝｜ｄｒ
÷∫｜Ｇ｛ｒｃｏｓθ，ｒｃｏｓθ｝｜ｄｒ （２１）
ただし、ｒ＝√｛ｕ２＋ｖ２｝
Ｇ｛ｕ， ｖ｝：劣化画像のフーリエ・スペクトル
【０２３６】
次いで、ステップＳ１２２０では、画像評価処理部７５ｍは、ブレ距離（Ｌ）、焦点の広がり半径（ｒ）の推定法により、復元画像ｉＬ、ｉＬ間の相関値Ｃ（Ｌ）より、ブレ距離（Ｌ又はｒ）を逆算する。
Ｃ（Ｌ）＝Σｘ，ｙｉＬ（ｘ，ｙ）ｉＬ＋ΔＬ（ｘ，ｙ）
÷√［Σｘ，ｙ｛ｉＬ（ｘ，ｙ）｝２
・Σｘ，ｙ｛ｉＬ＋ΔＬ（ｘ，ｙ）｝２］ （２２）
【０２３７】
ただし、ｉＬ（ｘ，ｙ）：パラメータがＬの場合の復元画像、ｉＬ＋ΔＬ（ｘ，ｙ）：パラメータがＬ＋ΔＬの場合の復元画像である。
次いで、ステップＳ１２３０では、画像評価処理部７５ｍは、直線ブレのＰ（ｕ，ｖ）の算出する。（θ方向に周期Ｔ＝１／Ｌでゼロ交差）
Ｐ（ｕ，ｖ）＝ｓｉｎ（πｆＬ）／πｆＬ （２３）
（ｆ＝ｕｃｏｓθ＋ｖｓｉｎθ）
【０２３８】
次いで、ステップＳ１２４０では、画像評価処理部７５ｍは、焦点ボケのＰ（ｕ，ｖ）を算出する。（周期Ｔ＝１．０１π／ｒで、同心円状のゼロ交差）
Ｐ（ｕ，ｖ）＝２・Ｊ１（ｒ・Ｒ）／ｒ・Ｒ （２４）
（Ｊ１＝１次の第１種ベッセル関数）
【０２３９】
このように、画質評価方法３において、撮影された画像データを高速フーリエ変換ＦＦＴまたは離散フーリエ変換ＤＦＴにより周波数空間に変換し、周波数空間に変換されたデータから、点像分布関数ＰＳＦ法、または、ゼロ点交差法、Ｈｏｕｇｈ変換法などにより、フーリエ変換の振幅値のパターンから、ブレの距離および方向角度、または、焦点の広がり半径などの評価値を推定し、直線ブレの度合、または、焦点ボケの度合などの所定の画質特性を評価することで、画質の評価値の大小に従って選択された画像を、記録候補画像として表示したり、自動選択された画質の最も良い画像や、または、表示された中からユーザが選択された所望の画像だけを簡単にメモリカードなどに保存記録することができる。
【０２４０】
［画質評価方法４］ また、そのほか、画質そのものでなく、既に記録済みの画質の良い他の画像、または、画質評価済みの他の画像と比べて、類似する特性かどうかを判別して、画質の優劣を評価しても良い。
【０２４１】
すなわち、該当画像ｆ（ｘ，ｙ）と、記録済みの参照画像ｔ（ｘ，ｙ）との、輝度値の二次元分布パターン、あるいは、輝度分布ヒストグラム、周波数空間に変換した画像における、それぞれの類似度や相関係数を求め、記録済みの参照画像に良く似た画像パターンや露出特性、鮮鋭度などが類似した特性の画像を優先して選択したり、削除できるようにすればよい。
【０２４２】
相関係数の一例として、ピアソンの積率相関係数Ｒは、次式で計算できる。
Ｒ＝（画像ｆと画像ｔの共分散）／（画像ｆｆの標準偏差）・（画像ｔの標準偏差）
＝｛ΣｙΣｘ（ｆ［ｘ，ｙ］−ｆａｖ）（ｔ［ｘ，ｙ］−ｔａｖ）｝
／√｛ΣｙΣｘ（ｆ［ｘ，ｙ］−ｆａｖ）２｝
・√｛ΣｙΣｘ（ｔ［ｘ，ｙ］−ｔａｖ）２｝ （２５）
ただし、ｆａｖは入力画像ｆの濃度値の平均値、ｔＡＶは参照画像ｔの濃度値の平均値である。
【０２４３】
［第４実施例の効果］ 以上説明したように、画像の画質を評価する手段やプログラムを設けて、複数の撮影条件の組合せで撮影条件を変えながら連写された複数枚の画像の中から、自動的に「ベスト３」や「ベスト１０」、「撮影条件別や画質項目別のベスト３」など、画質の評価値の大小に従って選択された画像を、記録候補画像として表示したり、自動選択された画質の最も良い画像や、または、表示された中からユーザが選択された所望の画像だけを簡単にメモリカードなどに保存記録することができる。この結果、連続撮影時でも無駄な多数の撮影を行わずに、所望の条件に近い画像を効率良く撮影することにある。
【０２４４】
このため、本発明のように、１度のレリーズボタン操作により多数枚の画像が撮影された場合にも、一度に多数のメモリ容量を消耗してしまうことなく、また、多数枚の画像の中から不要の画像や画質や写りの良くない多数の画像を逐一削除したりする面倒もない。
【０２４５】
［変形例］ また、上記の例において、ユーザの操作に応じて、画質の評価方法や、優先する画質特性の項目、画質の良い画像から何枚まで自動的に保存記録するかなどを、任意に選択しておくような、画質評価に関するカスタム設定機能を設けても良い。
【０２４６】
さらに、画質評価の評価値が所定値に達しない画質や写りが良くないと推定される画像や、または、ブレやボケなどが目立つ画像を自動的に画像補正するような画像補正手段や画像復元手段を付加して設けることもできる。
【符号の説明】
【０２４７】
１１…操作入力部、１３…制御部、１３ａ…撮影モード／撮影シーンの選択部、１３ｂ…シーン別撮影プログラム、１３ｃ１…撮影条件、１３ｃｎ…撮影条件ｎ、１３ｄ…複数撮影条件の組合せ／連写枚数の設定部、１３ｅ…撮影条件の組合せ設定データ、１３ｆ…撮影条件の頻度統計データ、１３ｇ…撮影条件、１３ｈ…撮影制御部、１３ｈ１…通常の撮影制御部、１３ｈ２…高速連写撮影制御部、１３ｈ３…マルチ条件による連写撮影部、１３ｉ…画像評価制御部、１３ｊ…画像記録／入出力制御部、１５…ズームレンズ／フォーカスレンズ駆動部、１６…絞り／シャッタ駆動部、１７…ストロボ駆動部、１８…ストロボ、１９…角速度センサ／加速度センサ、２０…手ブレ／振動検出部、２１…受光センサ／ＡＦセンサ、２２…測光／測距／ＡＦ検出部、２３…光学系、２５……イメージセンサ、２９…バッファメモリ部、３１…画像符号化／復号化部、３３…画像記録／入出力部、３５…画像メモリ媒体、３７…表示部、３９…表示制御部、５１…操作入力部、５３…制御回路、５３ａ…入出力ポート、５３ｂ…入出力ポート、５３ｃ…ＨＤＤ・ＩＦ、５３ｄ…インタフェース、５３ｅ…入力回路、５３ｆ…メモリカード・ＩＦ、５３ｇ…ＣＰＵ、５５…シャッタ駆動部、５６…絞り駆動部、５７…ズームレンズ駆動部、５８…焦点レンズ駆動部、５９…撮影光学系、６０…ストロボ駆動回路、６１…ストロボ、６２…測光／測距センサ、６３…検出回路、６４…角速度センサ、６５…検出回路、６６…角速度センサ、６７…検出回路、６８…ＨＤＤ記憶装置、６９…プログラム・メモリ、７０…データ・メモリ、７１…画像メモリ媒体、７３…撮像素子、７５…ＤＳＰ部、７５ａ…コントローラ、７５ｂ…Ｓ／Ｐ変換回路、７５ｃ…バッファメモリ（Ａ）、７５ｄ…ＷＢ補正回路、７５ｅ…画素補間／リサイズ回路、７５ｆ…カラー補間回路、７５ｇ…輪郭補正回路、７５ｈ…ガンマ補正回路、７５ｉ…マトリクス回路、７５ｊ…画像特徴処理部、７５ｋ…画像認識処理部、７５ｍ…画像評価処理部、７７…バッファメモリ（Ｂ）、７９…画像ＣＯＤＥＣ７９、８１…動画像ＣＯＤＥＣ、８３…表示駆動回路、８５…画像表示部
【特許請求の範囲】
【請求項１】
光学系により結像された被写体像を撮像して撮像信号を出力する撮像手段と、
所定の条件に従って撮影条件の組合せを複数組設定する撮影条件設定手段と、
前記撮影条件設定手段により設定された複数の撮影条件の組合せに基づいて、撮影動作を繰り返し実行するように前記撮像手段を制御する連続撮影制御手段と、
を備えることを特徴とする撮影制御装置。
【請求項２】
前記撮影条件設定手段は、
所定の条件に従って撮影条件の組合せ数を変更することを特徴とする請求項１記載の撮影制御装置。
【請求項３】
複数の撮影モードの中から所望の撮影モードを選択する撮影モード選択手段を備え、
前記撮影条件設定手段は、
前記撮影モード選択手段により選択された撮影モードに応じた、複数の撮像シーン別に撮影条件の組合せを設定するための設定データに従って、撮影条件の組合せを複数組設定することを特徴とする請求項１記載の撮影制御装置。
【請求項４】
外部光または被写体光の輝度または照度を計測する測光手段を備え、
前記撮影条件設定手段は、
前記測光手段からの計測信号に応じた撮影条件の設定データに従って、撮影条件の組合せを複数組設定することを特徴とする請求項１記載の撮影制御装置。
【請求項５】
被写体までの距離を計測する測距手段を備え、
前記撮影条件設定手段は、
前記測距手段からの計測信号に応じた設定データに従って、撮影条件の組合せを複数組設定することを特徴とする請求項１記載の撮影制御装置。
【請求項６】
前記撮影条件設定手段は、
組合せ対象となる前記撮影条件毎の配分割合の設定データに従って、前記撮影条件の組合せ毎の撮影枚数を配分設定することを特徴とする請求項１記載の撮影制御装置。
【請求項７】
操作入力部からの操作情報に基づいて、連続撮影の合計枚数を設定する連続撮影枚数設定手段を備え、
前記撮影条件設定手段は、
前記連続撮影枚数設定手段により設定された連続撮影の合計枚数に応じて前記撮影条件の組合せを複数組設定することを特徴とする請求項１または６項に記載の撮影制御装置。
【請求項８】
操作入力部からの操作情報に基づいて、連続撮影の合計枚数を設定する連続撮影枚数設定手段と、
前記設定された連続撮影の合計枚数に応じて、撮影条件の分散度を設定する分散度設定手段とを備え、
前記撮影条件設定手段は、
前記分散度設定手段により設定された分散度に応じて、撮影条件の分散範囲を増減し、増減された分散範囲において、撮影条件の組合せを複数組設定するとともに、組合せ毎の撮影枚数を自動的に配分設定することを特徴とする請求項１記載の撮影制御装置。
【請求項９】
画像表示手段と、
前記撮像手段により連続撮影された複数の画像、または、前記画像の縮小画像を、当該画像の撮影時の複数の撮影条件の組合せ別、または、所定の撮影条件別に配列して前記画像表示手段に再生表示するように制御する表示制御手段と、
操作入力部からの操作情報に基づいて、前記画像表示手段に表示された画像の中から選択された画像の画像データを符号化してメモリ媒体に保存記録するように制御する記録制御手段とを備えることを特徴とする請求項１記載の撮影制御装置。
【請求項１０】
前記撮影条件設定手段は、
予め記憶された撮影条件の頻度データまたは統計データに基づいた撮影条件の組合せを設定するための設定データに基づく撮影条件設定データに従って、撮影条件の組合せを複数組設定することを特徴とする請求項１記載の撮影制御装置。
【請求項１１】
前記撮影条件設定手段は、
前記設定データに従って、露出補正条件、ホワイトバランス設定条件、ストロボ発光条件、自動合焦条件、被写界深度条件のうちいずれかの撮影条件の組合せを複数組設定することを特徴とする請求項３または４または１０記載の撮影制御装置。
【請求項１２】
所定の条件に従って撮影条件の組合せを複数組設定する撮影条件設定ステップと、
前記撮影条件設定ステップにより設定された複数の撮影条件の組合せに基づいて、撮影動作を繰り返し実行するように、光学系により結像された被写体像を撮像して撮像信号を出力する撮像素子を制御する連続撮影制御ステップと、
を有することを特徴とする撮影制御方法。
【請求項１３】
所定の条件に従って撮影条件の組合せを複数組設定する撮影条件設定ステップと、
前記撮影条件設定ステップにより設定された複数の撮影条件の組合せに基づいて、撮影動作を繰り返し実行するように、光学系により結像された被写体像を撮像して撮像信号を出力する撮像素子を制御する連続撮影制御ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
光学系により結像された被写体像を撮像して撮像信号を出力する撮像手段と、
所定の条件に従って撮影条件の組合せを複数組設定する撮影条件設定手段と、
前記撮影条件設定手段により設定された複数の撮影条件の組合せに基づいて、撮影動作を繰り返し実行するように前記撮像手段を制御する連続撮影制御手段と、
を備えることを特徴とする撮影制御装置。
【請求項２】
前記撮影条件設定手段は、
所定の条件に従って撮影条件の組合せ数を変更することを特徴とする請求項１記載の撮影制御装置。
【請求項３】
複数の撮影モードの中から所望の撮影モードを選択する撮影モード選択手段を備え、
前記撮影条件設定手段は、
前記撮影モード選択手段により選択された撮影モードに応じた、複数の撮像シーン別に撮影条件の組合せを設定するための設定データに従って、撮影条件の組合せを複数組設定することを特徴とする請求項１記載の撮影制御装置。
【請求項４】
外部光または被写体光の輝度または照度を計測する測光手段を備え、
前記撮影条件設定手段は、
前記測光手段からの計測信号に応じた撮影条件の設定データに従って、撮影条件の組合せを複数組設定することを特徴とする請求項１記載の撮影制御装置。
【請求項５】
被写体までの距離を計測する測距手段を備え、
前記撮影条件設定手段は、
前記測距手段からの計測信号に応じた設定データに従って、撮影条件の組合せを複数組設定することを特徴とする請求項１記載の撮影制御装置。
【請求項６】
前記撮影条件設定手段は、
組合せ対象となる前記撮影条件毎の配分割合の設定データに従って、前記撮影条件の組合せ毎の撮影枚数を配分設定することを特徴とする請求項１記載の撮影制御装置。
【請求項７】
操作入力部からの操作情報に基づいて、連続撮影の合計枚数を設定する連続撮影枚数設定手段を備え、
前記撮影条件設定手段は、
前記連続撮影枚数設定手段により設定された連続撮影の合計枚数に応じて前記撮影条件の組合せを複数組設定することを特徴とする請求項１または６項に記載の撮影制御装置。
【請求項８】
操作入力部からの操作情報に基づいて、連続撮影の合計枚数を設定する連続撮影枚数設定手段と、
前記設定された連続撮影の合計枚数に応じて、撮影条件の分散度を設定する分散度設定手段とを備え、
前記撮影条件設定手段は、
前記分散度設定手段により設定された分散度に応じて、撮影条件の分散範囲を増減し、増減された分散範囲において、撮影条件の組合せを複数組設定するとともに、組合せ毎の撮影枚数を自動的に配分設定することを特徴とする請求項１記載の撮影制御装置。
【請求項９】
画像表示手段と、
前記撮像手段により連続撮影された複数の画像、または、前記画像の縮小画像を、当該画像の撮影時の複数の撮影条件の組合せ別、または、所定の撮影条件別に配列して前記画像表示手段に再生表示するように制御する表示制御手段と、
操作入力部からの操作情報に基づいて、前記画像表示手段に表示された画像の中から選択された画像の画像データを符号化してメモリ媒体に保存記録するように制御する記録制御手段とを備えることを特徴とする請求項１記載の撮影制御装置。
【請求項１０】
前記撮影条件設定手段は、
予め記憶された撮影条件の頻度データまたは統計データに基づいた撮影条件の組合せを設定するための設定データに基づく撮影条件設定データに従って、撮影条件の組合せを複数組設定することを特徴とする請求項１記載の撮影制御装置。
【請求項１１】
前記撮影条件設定手段は、
前記設定データに従って、露出補正条件、ホワイトバランス設定条件、ストロボ発光条件、自動合焦条件、被写界深度条件のうちいずれかの撮影条件の組合せを複数組設定することを特徴とする請求項３または４または１０記載の撮影制御装置。
【請求項１２】
所定の条件に従って撮影条件の組合せを複数組設定する撮影条件設定ステップと、
前記撮影条件設定ステップにより設定された複数の撮影条件の組合せに基づいて、撮影動作を繰り返し実行するように、光学系により結像された被写体像を撮像して撮像信号を出力する撮像素子を制御する連続撮影制御ステップと、
を有することを特徴とする撮影制御方法。
【請求項１３】
所定の条件に従って撮影条件の組合せを複数組設定する撮影条件設定ステップと、
前記撮影条件設定ステップにより設定された複数の撮影条件の組合せに基づいて、撮影動作を繰り返し実行するように、光学系により結像された被写体像を撮像して撮像信号を出力する撮像素子を制御する連続撮影制御ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図１６Ａ】
【図１６Ｂ】
【図１７】
【図１８Ａ】
【図１８Ｂ】
【図１８Ｃ】
【図１９Ａ】
【図１９Ｂ】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図１６Ａ】
【図１６Ｂ】
【図１７】
【図１８Ａ】
【図１８Ｂ】
【図１８Ｃ】
【図１９Ａ】
【図１９Ｂ】
【図２０】
【公開番号】特開２０１１−１７２２８４（Ｐ２０１１−１７２２８４Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１１−１１６４２１（Ｐ２０１１−１１６４２１）
【出願日】平成２３年５月２５日（２０１１．５．２５）
【分割の表示】特願２００６−３０６９０４（Ｐ２００６−３０６９０４）の分割
【原出願日】平成１８年１１月１３日（２００６．１１．１３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２３年５月２５日（２０１１．５．２５）
【分割の表示】特願２００６−３０６９０４（Ｐ２００６−３０６９０４）の分割
【原出願日】平成１８年１１月１３日（２００６．１１．１３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]