撮影装置、撮影方法および撮影プログラム
【課題】電子シャッターの制御負荷を軽減する。
【解決手段】露光時間が所定の閾値よりも短いか否かを判定し、露光時間が閾値よりも短い場合に、機械シャッターが複数の光電変換素子の露光を終了させる露光終了タイミングに追従する第１露光開始タイミングで、電子シャッターに複数の光電変換素子における露光を開始させ、露光時間が閾値以上である場合に、第１露光開始タイミングよりも露光終了タイミングに対する追従度が低い第２露光開始タイミングで、電子シャッターに複数の光電変換素子における露光を開始させる。
【解決手段】露光時間が所定の閾値よりも短いか否かを判定し、露光時間が閾値よりも短い場合に、機械シャッターが複数の光電変換素子の露光を終了させる露光終了タイミングに追従する第１露光開始タイミングで、電子シャッターに複数の光電変換素子における露光を開始させ、露光時間が閾値以上である場合に、第１露光開始タイミングよりも露光終了タイミングに対する追従度が低い第２露光開始タイミングで、電子シャッターに複数の光電変換素子における露光を開始させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、露光時間を電子シャッターと機械シャッターとにより制御して画像を撮影する技術に関する。
【背景技術】
【０００２】
従来、複数の光電変換素子における露光を開始させるタイミングを電子シャッターにより制御し、露光を終了させるタイミングを機械シャッターにより制御する撮影装置が提案されている（特許文献１〜３、参照）。このような撮影装置においては、機械シャッターが露光を終了させるタイミングに追従するように、電子シャッターが露光を開始させるタイミングを制御することにより、各光電変換素子についての露光時間の均一化を図っていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−４１５２３号公報
【特許文献２】特開２００６−１０１４９２号公報
【特許文献３】特開２００８−１４７９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、機械シャッターが露光を終了させるタイミングは遮光幕の運動に依存し、非線形特性を有するため、機械シャッターが露光を終了させるタイミングに追従するように、電子シャッターが露光を開始させるタイミングを制御することは困難となる。すなわち、非線形特性を有するタイミングで電子シャッターを動作させなければならず、高速で動作する電子シャッターの制御回路の処理負荷が大きくなるという問題があった。
本発明は、前記課題にかんがみてなされたもので、電子シャッターの制御負荷を軽減することを目的とする。
【課題を解決するための手段】
【０００５】
前記目的を達成するため本発明において、撮影装置は、電子シャッターと機械シャッターとにより露光時間を制御する。電子シャッターは、複数の光電変換素子にて電荷の蓄積を開始させることにより、複数の光電変換素子における露光を開始させる。機械シャッターは、遮光部を移動させることによって、複数の光電変換素子が配列する素子面を機械的に遮光することにより、複数の光電変換素子における露光を終了させる。判定部は、露光時間が所定の閾値よりも短いか否かを判定する。露光時間が閾値よりも短い場合に、機械シャッターが複数の光電変換素子の露光を終了させる露光終了タイミングに追従する第１露光開始タイミングで、電子シャッターによって複数の光電変換素子に露光を開始させる。一方、露光時間が閾値以上である場合に、第１露光開始タイミングよりも機械シャッターの露光終了タイミングに対する追従度が低い第２露光開始タイミングで、電子シャッターによって複数の光電変換素子に露光を開始させる。なお、本明細書において露光とは、光電変換素子に撮影光が到達し、かつ、当該撮影光の光量に応じて光電変換素子が電荷を蓄積する状態を意味する。
【０００６】
第２露光開始タイミングの方が第１露光開始タイミングよりも露光終了タイミングに対する追従度が低いため、第２露光開始タイミングで露光を開始させる方が第１露光開始タイミングで露光を開始させるよりも、各光電変換素子における露光時間の誤差が大きくなる。なお、露光開始タイミングは電子シャッターにより制御され、露光終了タイミングは機械シャッターにより制御されるため、露光開始タイミングと露光終了タイミングとは基本的に追従せず、光電変換素子間で露光時間の誤差が生じ得る。機械シャッターによる露光の終了は遮光部を物理的に運動させることにより実現されるため、機械シャッターによる露光終了のタイミングの特性は遮光部の加速運動特性に依存するのに対して、電子シャッターによる露光開始のタイミングは遮光部の加速運動特性に依存しないからである。ここで、露光時間に誤差が生じた場合でも、露光時間が長いほど、露光時間全体に対する露光時間の誤差の寄与度は小さくなる。従って、露光時間が閾値以上である場合には、露光終了タイミングに対する追従度が低い第２露光開始タイミングで露光を開始させても、露光時間の誤差に起因した露光量のばらつきは光量むらとして感じられにくくなる。従って、露光時間が閾値以上である場合に第２露光開始タイミングで露光を開始させることにより、撮影した画像の光量むらが問題とならないように、露光を開始させるタイミングの制御負荷を軽減することができる。一方、露光時間が閾値よりも短い場合には、第１露光開始タイミングで露光を開始させることにより、露光時間の誤差を抑えることができるため、露光量のばらつきが抑えられる。
【０００７】
第２露光開始タイミングの好適な一例として、電子シャッターに素子面上のすべての複数の光電変換素子における露光を同時に開始させるようにしてもよい。このようにすることにより、露光時間が閾値以上である場合における電子シャッターの制御負荷を大きく軽減できる。
【０００８】
上述のように機械シャッターによる露光終了のタイミングの特性は遮光部の加速運動特性に依存し、電子シャッターによる露光開始のタイミングは遮光部の運動特性に依存しないため、電子シャッターによる第１露光開始タイミングを完全に機械シャッターによる露光終了タイミングに追従させるのは困難であり、第１露光開始タイミングで露光を開始させても各光電変換素子における露光時間の誤差を完全になくすことは困難となる。従って、複数の光電変換素子における第１露光開始タイミングと露光終了タイミングとの差に起因する露光量のばらつきを抑制する補正を行うのが望ましい。これにより、第１露光開始タイミングの露光終了タイミングに対する追従度、すなわち第１露光開始タイミングで露光を開始させる際の電子シャッターの制御負荷を抑制しつつ、露光量のばらつきを抑制した画像を得ることができる。むろん、露光量のばらつきを抑制する補正は、第２露光開始タイミングで露光を開始させる場合にも行ってもよい。
【０００９】
本発明の撮影装置は単独の装置として実現されるものに限らず、本発明の撮影装置が備える各手段が他の装置に備えられてもよい。また、請求項に記載された各手段の機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、またはそれらの組み合わせにより実現される。また、これら各手段の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。さらに、本発明は撮影プログラムの記録媒体としても成立する。むろん、そのコンピュータープログラムの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体であってもよい。
【図面の簡単な説明】
【００１０】
【図１】デジタルカメラを示すブロック図である。
【図２】エリアイメージセンサーの模式図である。
【図３】非追従動作における露光のタイミングを示すグラフである。
【図４】追従動作における露光のタイミングを示すグラフである。
【図５】エリアイメージセンサーの模式図および露光のタイミングを示すグラフである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を添付図面を参照しながら以下の順に説明する。なお、各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。
（１）撮影装置の構成：
（２）電子シャッターの制御：
（２−１）非追従動作（グローバルシャッター動作）：
（２−２）追従動作（ローリングシャッター動作）：
（３）変形例１：
（４）変形例２：
（５）変形例３：
【００１２】
（１）撮影装置の構成：
図１は本発明の一実施形態にかかる撮影装置１のブロック図である。本実施形態にかかる撮影装置１は、ＥＶＦ（Electronic View Finder）を備えたミラーレスデジタルカメラである。撮影装置１は、光学系１０とエリアイメージセンサー１５とＡＳＩＣ２００とタイミングジェネレーター３０と表示部４０とＣＰＵ５０とＳＤ−ＲＡＭ５２とＲＯＭ５３とＲＡＭ５４と操作部５５とリムーバルメモリー５６とを備えている。ＣＰＵ５０は、ＳＤ−ＲＡＭ５２とＲＡＭ５４を適宜利用してＲＯＭ５３に記録されたプログラムを実行する。当該プログラムの機能によりＣＰＵ５０は、操作部５５に対する操作に応じてエリアイメージセンサー１５にて撮影された被写体を示す画像データを生成する機能を実行する。なお、操作部５５はシャッターボタンと、露光時間（シャッター速度）や絞り１２の開放値や露出値を設定するためのダイヤルスイッチとを備えている。
【００１３】
光学系１０は、レンズ１１と絞り１２と機械シャッター１３とローパスフィルター１４とを備える。レンズ１１は撮影光を集光してエリアイメージセンサー１５に被写体の画像を結像させる。レンズ１１と絞り１２とは交換式レンズユニットに備えられ、当該交換式レンズユニットは撮影装置１の筐体に交換可能に取り付けられる。ローパスフィルター１４は、撮影光のエリアイメージセンサー１５における空間的高周波数成分を遮断することにより、撮影した画像におけるモアレを防止する。絞り１２は、撮影光の光束を絞り込む。
【００１４】
図２Ａは、エリアイメージセンサー１５の素子面の一部を正面から見て示す模式図である。エリアイメージセンサー１５は、例えばベイヤー配列されたカラーフィルターと、露光量に応じた電荷を蓄積する複数の光電変換素子とが所定の素子面に配列したＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーやＣＣＤ（Charge Coupled Device）イメージセンサー等の固体撮像素子である。本実施形態では、ＣＭＯＳイメージセンサーを使用した場合を例にして、以下説明する。図２Ａにおいて各光電変換素子を正方形で示し、正方形の内側には各光電変換素子に対応して備えられるカラーフィルターの色（３チャネル：Ｒ（赤），Ｇ（緑），Ｂ（青））を示す。エリアイメージセンサー１５の素子面上における複数の光電変換素子の配列位置は直交座標で規定され、一方の座標軸に平行な方向に並ぶ複数の光電変換素子によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように配列されている。本明細書では、ラインに平行な方向を水平方向、ラインに垂直な方向を垂直方向と呼ぶ。
【００１５】
本実施例におけるエリアイメージセンサー１５においては、ライン単位で光電変換素子に蓄積された電荷のリセット（放電）ができる。すなわち、同一のラインに属する複数の光電変換素子においては互いに同時に電荷がリセットされ、互いに同時に電荷の蓄積が開始する。光電変換素子における電荷の蓄積の開始は、光電変換素子における露光の開始を意味する。例えば、各光電変換素子はソース−ドレイン間の導通により電荷を放電させるリセット用電界効果トランジスターを備えるとともに、同一のラインに属する各光電変換素子においてはリセット用電界効果トランジスターのゲートに電圧を印加するための配線が共通する。エリアイメージセンサー１５は、光電変換素子に蓄積された電荷をライン単位で読み出す。なお、エリアイメージセンサー１５は、必要な画質や速度に応じて、全ラインから読み出すことをせずに、間欠読み出しを行うことができる。そして、光電変換素子では、電荷の読み出しが行われた場合にも電荷がリセットされる。エリアイメージセンサー１５は、読み出した電荷に対応する露光量の階調値をＡ／Ｄ変換器等によりＡ／Ｄ変換して各画素に対応付けた撮像データを生成する。この撮像データは、本発明の画像に相当する。撮像データの画素は光電変換素子に一意に対応する。エリアイメージセンサー１５から読み出された撮像データは、ＳＤ−ＲＡＭ５２にバッファーされ、後述のＡＳＩＣ２００によって撮像データに対する各種画像処理が実行される。
【００１６】
図２Ｂは、エリアイメージセンサー１５の素子面の全体を正面から見て示す模式図である。各ラインには垂直方向の上方になるにつれて１ずつ増加するライン番号Ｌ（１〜Ｌmax）が付され、ラインに直交する垂直方向の列には水平方向右側になるにつれて１ずつ増加する列番号Ｃ（１〜Ｃmax）が付される。また、垂直方向中央のラインのライン番号ＬをＬmidとし、水平方向中央の列を列番号ＣをＣmidと表す。機械シャッター１３は、複数の光電変換素子が配列されたエリアイメージセンサー１５の素子面に対してほぼ平行な平面板状の遮光部としての遮光幕（図１においてハッチングで図示。）を備える。この遮光幕により、複数の光電変換素子が配列されたエリアイメージセンサー１５の素子面上に露光領域Ｒ１と遮光領域Ｒ２とを形成する。すなわち、エリアイメージセンサー１５の素子面上における遮光幕の陰影が遮光領域Ｒ２をなす。機械シャッター１３は、以下のようにして遮光幕を動作させる。
【００１７】
本実施形態の機械シャッター１３は、ノーマルオープン型であり、撮影装置１の電源ＯＦＦの状態において、遮光幕は係止レバーにより係止されるとともに永久磁石により吸着保持される。遮光幕は、撮影光の全体を遮光する位置に遮光幕を引きつけるばねのばね力に抗し、係止レバーの係止および永久磁石の吸着により撮影光の光路の外側に係止される。そして、撮影装置１の電源ＯＮの状態において、係止レバーによる遮光幕の係止を解除する。係止レバーによる遮光幕の係止が解除されても、永久磁石により遮光幕が吸着保持され、ばね力に抗する遮光幕の保持が継続する。そして、シャッターボタンが押下されると、電子シャッター制御部３０ａ１により各光電変換素子における露光を開始させ、さらに露光の開始から露光時間に対応する期間が経過すると、遮光幕を吸着する永久磁石の磁力を打ち消す磁力を生じさせる電磁石へ電流を供給し、永久磁石による遮光幕の吸着保持を解除する。これにより、遮光幕はばね力により移動させられ、遮光幕が撮影光の全体を遮光する位置に移動する。
【００１８】
図２Ｂにおいては、機械シャッター１３がばね力により遮光幕を移動させることにより、エリアイメージセンサー１５の素子面上において露光領域Ｒ１と遮光領域Ｒ２との境界Ｂが移動する様子を模式的に示している。本実施形態では、電磁石が遮光幕を下方に引きつけ、ばねが遮光幕を上方に引きつけることにより、シャッターが閉じる際に露光領域Ｒ１と遮光領域Ｒ２との境界Ｂが下方から上方に向かって（破線矢印の方向に）移動することとする。また、遮光幕は下方から上方に向かって平行移動し、露光領域Ｒ１と遮光領域Ｒ２との境界Ｂは各ラインの方向と平行のまま移動することとする。遮光幕の移動によって光電変換素子に境界Ｂが到達することにより、当該光電変換素子の露光が終了する。露光領域Ｒ１と遮光領域Ｒ２との境界Ｂと各ラインの方向と平行となるため、同一のラインに属する各光電変換素子の露光は同時に終了する。
【００１９】
タイミングジェネレーター３０はセンサー制御部３０ａと表示制御部３０ｂとを備え、センサー制御部３０ａは電子シャッター制御部３０ａ１を備える。センサー制御部３０ａは、液晶パネル４２における各光電変換素子の各種動作タイミングを制御するための信号を生成し、エリアイメージセンサー１５に出力する。また、表示制御部３０ｂは、液晶パネル４２の各表示画素の表示タイミングを制御するための信号を生成し、液晶パネルドライバー４１に出力する。
【００２０】
電子シャッター制御部３０ａ１は、操作部５５にてシャッターボタンが押下されると電子シャッターを開放させる。なお、電子シャッターを開放するとは、エリアイメージセンサー１５のすべての光電変換素子における電荷を一旦リセットし、電荷の蓄積を再開させて、露光を開始させることを意味する。上述のように本実施形態ではライン単位で複数の光電変換素子に蓄積された電荷のリセットが可能であり、電荷のリセットと電荷の蓄積の開始をすべてのラインについて順に行っていく動作（ローリングシャッター動作）を行うことにより、すべての光電変換素子の蓄積を開始する。なお、電子シャッター制御部３０ａ１は、電荷のリセットをすべてのラインについて同時に行わせ、その後、電荷の蓄積の開始をライン単位で順次行わせることによりローリングシャッター動作を実現してもよい。いずれの場合でも、ローリングシャッター動作では光電変換素子の露光が開始するタイミングはラインごとに異なることとなる。
【００２１】
表示部４０はＥＶＦであり、エリアイメージセンサー１５の各光電変換素子にて検知された露光量のデータを間欠ライン読出しにより読み出すことにより生成した、いわゆるライブビュー動画を表示し、また、撮影した被写体の静止画像を表示する。表示部４０は、図示しないインターフェース回路と液晶パネルドライバー４１と液晶パネル４２と図示しない接眼レンズ等を備えている。液晶パネルドライバー４１は、各サブピクセルに電圧を印加して液晶を駆動するための信号を液晶パネル４２に対して出力する。
【００２２】
ＡＳＩＣ２００は、画像データ生成部２０を備える。この画像データ生成部２０は、ＳＤ−ＲＡＭ５２に予め確保されたラインバッファーやフレームバッファーを利用し、エリアイメージセンサー１５にて撮影された撮像データに対してパイプライン処理によって各種画像処理を実行する。なお、ＡＳＩＣ２００は、画像処理用ＤＳＰ（Digital Signal Processor）であってもよい。画像データ生成部２０は、画素補間部２０ａと色再現処理部２０ｂとフィルター処理部２０ｃとガンマ補正部２０ｄとリサイズ処理部２０ｅとを備えている。
【００２３】
画像データ生成部２０は、エリアイメージセンサー１５が撮影した撮像データを取得する。画素補間部２０ａは、周辺画素の階調値を用いた補間処理を行うことにより、各画素に対応する光電変換素子に備えられたカラーフィルターの色とは異なる２チャネルの色の階調値を算出する。この結果、各画素について３チャネルの階調値が対応付けられた撮像データが生成される。色再現処理部２０ｂは、画素補間が完了した撮像データの各画素の階調値に対して３×３の行列演算を行うことによってカラーマッチングのための色変換処理を行う。フィルター処理部２０ｃは、撮像データに対してシャープネス調整やノイズ除去処理などをフィルター処理によって実行する。ガンマ補正部２０ｄはエリアイメージセンサー１５の撮影データの階調値が示す色と、表示部４０等で扱う画像データの階調値が示す色との特性差を補償するガンマ補正を実行する。リサイズ処理部２０ｅは当該ラインバッファーに記録されていくデータを逐次参照して補間演算処理を行い、画素の間の位置における各チャネルの階調値を特定することによって、例えば記録サイズへとリサイズを行う。リサイズ処理部２０ｅにてリサイズが完了すると、画像データ生成部２０における各画像処理が完了された画像データが生成できる。この画像データはＳＤ−ＲＡＭ５２にバッファーされ、表示部４０に表示されるとともに、リムーバルメモリー５６に記録される。
【００２４】
（２）電子シャッターの制御：
ＣＰＵ５０は、モードダイヤル等によって設定された露光時間ＴＥを取得し、当該露光時間が所定の閾値ＴＨよりも短いか否かを判定する。なお、ＣＰＵ５０は、判定部を構成する。電子シャッター制御部３０ａ１は、設定された露光時間ＴＥが閾値ＴＨよりも短い場合に追従動作（ローリングシャッター動作）を行い、設定された露光時間ＴＥが閾値ＴＨ以上である場合に非追従動作（グローバルシャッター動作）を行う。以下、追従動作と非追従動作の詳細について説明する。
【００２５】
（２−１）非追従動作（グローバルシャッター動作）：
図３の左グラフは、非追従動作を行う場合の露光のタイミングを示すグラフである。図３の左グラフにおいて、横軸は時刻を示し、縦軸はライン番号Ｌを示している。図３の左グラフにおける左側の直線はエリアイメージセンサー１５の各ラインの光電変換素子の露光が開始するタイミング示し、当該タイミング（時刻）はライン番号Ｌの関数Ｘ（Ｌ）によって与えられる。非追従動作において、このタイミングＸ（Ｌ）はライン番号Ｌに依存しない定数となる。図３の左グラフにおける右側の曲線は露光が終了するタイミングを示し、当該タイミング（時刻）は各光電変換素子のライン番号Ｌの関数Ｙ（Ｌ）で与えられる。以下、特定のライン番号Ｌを指す必要がない場合等には、各関数における変数（Ｌ）の表記を省略する場合がある。
【００２６】
最下方のラインに属する光電変換素子の露光が終了するタイミングＹ（１）から、最上方のラインに属する光電変換素子の露光が終了するタイミングＹ（Ｌmax）までの期間｛Ｙ（Ｌmax）−Ｙ（１）｝を最大誤差期間ＴＦとする。図３の右グラフは各光電変換素子における現実の露光時間ＴＡ（Ｌ）を示す。図３の右グラフにおいて、横軸は時間を示し、縦軸はライン番号Ｌを示している。ここで、各光電変換素子における現実の露光時間ＴＡ（Ｌ）は電子シャッターによる露光の開始から機械シャッター１３による露光の終了までの期間であり、図３の左グラフの横軸方向におけるタイミングＸとタイミングＹとの差分｛Ｙ（Ｌ）−Ｘ（Ｌ）｝が、図３の右グラフに示す光電変換素子の現実の露光時間ＴＡ（Ｌ）に相当する。
【００２７】
ここで、機械シャッター１３の遮光幕は、ばね力や摩擦力等の影響を受けて動作するが、説明を簡単にするために、ばね力による等加速度運動を行うとして以下説明する。この場合、露光領域Ｒ１と遮光領域Ｒ２との境界Ｂの垂直方向の位置は徐々に傾きを増す放物線状に推移する。従って、タイミングＹが示すように、光電変換素子の露光が終了するライン番号は、時間の経過とともに放物線状に増加する。すなわち、タイミングＹは二次関数の逆関数となる。
【００２８】
非追従動作では、図３の左グラフに示すようにすべてのラインに属するすべての光電変換素子における電荷のリセットおよび電荷の蓄積の開始を同時に行い、すべての光電変換素子における露光を同時に開始させる。すなわち、図３の左グラフに示すように、露光開始のタイミングＸは、直線状となるため、放物線状の露光終了のタイミングＹに対する追従度が低くなる。なお、非追従動作を行う場合のタイミングＸは、第２露光開始タイミングに相当する。ここでは、すべての光電変換素子における露光を同時に開始させてから、設定された露光時間ＴＥから最大誤差期間ＴＦを減算した期間だけ待機した後に最下方のラインについての露光を終了させるように機械シャッター１３を動作させる。これにより、図３の右グラフに示すように、最上方のライン（ライン番号Ｌmax）の光電変換素子における現実の露光時間ＴＡ（Ｌmax）と、設定された露光時間ＴＥとが一致する。一方、最上方のラインよりも露光の終了が早期に到来する下方のラインついては、現実の露光時間ＴＡ（Ｌ）が設定された露光時間ＴＥよりも短く、現実の露光時間ＴＡ（Ｌ）と設定された露光時間ＴＥとの間に誤差（ハッチングで図示。）が生じる。そして、最下方のライン（ライン番号１）の光電変換素子における現実の露光時間ＴＡ（１）と設定された露光時間ＴＥとの誤差が最大となり、当該誤差の大きさは機械シャッター１３が最下方のラインの露光を終了させてから、最上方のラインの露光を終了させるまでの最大誤差期間ＴＦと等しくなる。なお、設定された露光時間ＴＥが変化しても遮光幕はばね力により同様の運動をするため、現実の露光時間ＴＡの最大の誤差である最大誤差期間ＴＦは設定された露光時間ＴＥには依存せず一定である。
【００２９】
ここで、設定した露光時間ＴＥにて、静止した一様な被写体を一定の環境下で撮影した場合において、単位時間あたりに光電変換素子が受光する単位光量をΔＥとする。この場合、すべての光電変換素子にて受光されるべき基準露光量ＥＳはΔＥ×ＴＥとなる。上述のように最上方のライン（ライン番号Ｌmax）の光電変換素子における現実の露光時間ＴＡ（Ｌmax）は設定された露光時間ＴＥと等しいため、最上方のラインの光電変換素子が受光する露光量ＥＥ（Ｌmax）は基準露光量ＥＳと等しい。一方、最下方のライン（ライン番号１）の光電変換素子における現実の露光時間ＴＡ（１）は設定された露光時間ＴＥから最大誤差期間ＴＦを減算した時間（ＴＥ−ＴＦ）となる。従って、最下方のラインの光電変換素子が受光する露光量ＥＥ（１）は、ΔＥ×（ＴＥ−ＴＦ）で表され、基準露光量ＥＳよりも誤差ΔＥ×ＴＦだけ小さくなる。この誤差ΔＥ×ＴＦの基準露光量ＥＳに対する比率である誤差比率ＥＲは、（ΔＥ×ＴＦ）／（ΔＥ×ＴＥ）＝ＴＦ／ＴＥとなる。この誤差比率ＥＲが小さいほど、最下方のラインの光電変換素子の現実の露光時間ＴＡ（１）に最大誤差期間ＴＦが生じた場合でも、当該最大誤差期間ＴＦに起因する露光量の誤差ΔＥ×ＴＦの基準露光量ＥＳに対する寄与が小さく、当該誤差ΔＥ×ＴＦに起因した画像の光量むらが観察者に感じられにくくなる。本実施形態では、誤差比率ＥＲに所定の閾値ｔｈを設定し、ｔｈ＝ＴＦ／ＴＥを満足する露光時間ＴＥ＝ＴＦ／ｔｈを露光時間ＴＥの閾値ＴＨとして設定する。例えば、閾値ｔｈを３％と設定し、露光時間ＴＥが閾値ＴＨ以上である場合に限りグローバルシャッター動作を行わせることにより、一様な被写体を一定の環境下でグローバルシャッター動作により撮影した場合の画像における光量の面内誤差を３％以下となることが保証できる。なお、光量むらの感じ方は観察者によって異なるため、閾値ｔｈ（ＴＨ）は操作部５５に対する操作によって設定されてもよい。また、撮影した画像の用途や被写体によっても光量むらに対する許容度が異なるため、閾値ｔｈ（ＴＨ）は撮影モードや撮影シーン等に応じて設定されてもよい。
【００３０】
一方、露光時間ＴＥが閾値ＴＨよりも短い場合にグローバルシャッター動作を行わせると、画像における光量の面内誤差が３％よりも大きくなり得る。そこで、設定された露光時間ＴＥが閾値ＴＨよりも短い場合には、追従動作を行うこととする。この追従動作では、各ラインに属する光電変換素子における現実の露光時間ＴＡ（Ｌ）の均一化を図るために、電子シャッターのタイミングＸを、機械シャッター１３のタイミングＹに追従した折れ線形状とする。
【００３１】
（２−２）追従動作（ローリングシャッター動作）：
図４の左グラフは、追従動作を行う場合の露光のタイミングを示すグラフである。図４の左グラフにおいて、横軸は時刻を示し、縦軸はライン番号Ｌを示している。追従動作における電子シャッターのタイミングＸは以下のようにして設定される。まず、各ラインに境界Ｂが到達するタイミングＹ（Ｌ）を遮光幕の運動方程式に基づいて特定する。そして、タイミングＹ（Ｌ）を、設定された露光時間ＴＥだけ時刻の早い側にオフセットしたオフセット曲線Ｚ（破線で図示。）を作成する。次に、このオフセット曲線Ｚに対してライン番号Ｌ1，Ｌ2，Ｌmaxにてそれぞれ接する接線を作成する。なお、１＜Ｌ1＜Ｌ2＜Ｌmaxとする。そして、ライン番号Ｌ1，Ｌ2にてそれぞれオフセット曲線Ｚに接する２つの接線の交点、および、ライン番号Ｌ2，Ｌmaxにてそれぞれオフセット曲線に接する２つの接線の交点を屈曲点とした３段折れ線を作成し、当該３段折れ線を電子シャッターのタイミングＸとする。電子シャッターのタイミングＸは徐々に傾きを増す放物線に追従するため、下方から数えて１段目の折れ線の傾きは２段目の折れ線よりも小さく、２段目の折れ線の傾きは３段目の折れ線よりも小さくなる。なお、折れ線の段数は３段に限られない。
【００３２】
電子シャッター制御部３０ａ１は、ライン番号の昇順に光電変換素子に露光を開始させていくローリングシャッター動作を行うとともに、隣接するライン間における露光開始タイミングの間隔を３段折れ線のタイミングＸの傾きに対応した長さとする。すなわち、ｎ（ｎは３以下の自然数。）段目の折れ線に対応するライン番号の隣接ライン間における露光開始タイミングの間隔は、一定、かつ、（ｎ＋１）段目の折れ線に対応する隣接ライン番号のライン間における露光開始タイミングの間隔よりも長く確保される。なお、シャッターボタンが押下されると、まず電子シャッター制御部３０ａ１が最も下方のラインから光電変換素子の電荷の蓄積を開始し、当該開始のタイミングから所定期間だけ待機した後に、機械シャッター１３が電磁石へ電流を供給して永久磁石による遮光幕の吸着を解除させ、ばね力により遮光幕を移動させる。前記所定期間とは、設定された露光時間ＴＥとほぼ等しく、ライン番号Ｌ1，Ｌ2，Ｌmaxのラインの光電変換素子のうち、水平方向中央の列（列番号Ｃmid，）に属する光電変換素子の現実の露光時間ＴＡ（Ｌ，Ｃmid）が設定された露光時間ＴＥと等しくなる期間とする。
【００３３】
以上のようにして、電子シャッター制御部３０ａ１が機械シャッター１３のタイミングＹ（Ｌ，Ｃmid）に追従するように各ラインに属する光電変換素子に露光を開始させるタイミングを制御することにより、各光電変換素子における現実の露光時間ＴＡ（Ｌ）を、設定された露光時間ＴＥに近似させることができる。図４の右グラフは各光電変換素子における現実の露光時間ＴＡ（Ｌ）を示す。図４の右グラフにおいて、横軸は時間を示し、縦軸はライン番号Ｌを示している。図４の右グラフに示すように、ローリングシャッター動作を行うことにより、各光電変換素子における現実の露光時間ＴＡ（Ｌ）＝｛Ｙ（Ｌ）−Ｘ（Ｌ）｝を、設定された露光時間ＴＥに近似させることができる。従って、図４の右グラフにおいてハッチングで示すように、現実の露光時間ＴＡ（Ｌ）と設定された露光時間ＴＥとの誤差を非追従動作の場合よりも小さくすることができ、当該誤差に起因する露光量の誤差を小さくすることができる。なお、追従動作を行う場合のタイミングＸ（Ｌ）は、第１露光開始タイミングに相当する。また、電子シャッターに非追従動作を行わせる場合の直線状のタイミングＸ（Ｌ）である第２露光開始タイミングは、電子シャッターに追従動作を行わせる場合の折れ線状のタイミングＸ（Ｌ）よりも、機械シャッター１３の放物線状のタイミングＹ（Ｌ）に対する追従度が低い。本実施形態において追従度とは、現実の露光時間ＴＡ（Ｌ）と設定された露光時間ＴＥとの間に誤差によって把握でき、例えば図３と図４の右グラフのハッチングの面積の逆数等によって定量化できる。すなわち、図３と図４の右グラフのハッチングの面積が小さいほど、露光開始タイミングの露光終了タイミング（タイミングＹ）に対する追従度が高い。
【００３４】
（３）変形例１：
図４の右グラフに示したように、電子シャッターが追従動作を行う場合であっても、ハッチングで示す誤差を完全になくすことは困難である。電子シャッターによる露光開始のタイミングＸ（折れ線）を、機械シャッター１３のタイミングＹ（Ｌ）（放物線）に完全に追従させるにはタイミングＸを複雑に制御しなければならず、電子シャッターの制御負荷が大きくなるからである。さらに、前記実施形態では露光領域Ｒ１と遮光領域Ｒ２との境界Ｂが各ラインの方向と平行のまま移動することとしたが、境界Ｂが各ラインに交差する場合には、各ラインにおける光電変換素子間で露光時間のばらつきが生じることとなる。従って、電子シャッターが追従動作を行う場合であっても、露光時間のばらつきに起因する露光量のばらつきを抑制する補正を行うことが望ましい。
【００３５】
図５Ａは、本変形例におけるエリアイメージセンサー１５の素子面の全体を正面から見て示す模式図である。本実施形態の機械シャッター１３では、エリアイメージセンサー１５の素子面の右側に設けられた図示しない回転軸を中心として遮光幕が回転移動可能に支持されている。本実施形態では、垂直方向中央のラインに境界Ｂが到達したとき境界Ｂとラインとが平行となる。垂直方向中央のラインに境界Ｂが到達するまでは、境界Ｂは右肩上がりに傾斜し、徐々にラインと平行に近づいていく。垂直方向中央のラインに境界Ｂが到達すると、境界Ｂは徐々に右肩下がりの傾斜角を増していく。すなわち、エリアイメージセンサー１５の素子面上における境界Ｂの方向は一定とはならず、基本的にラインに対して境界Ｂが交差する。なお、遮光幕の回転軸をエリアイメージセンサー１５の素子面から十分に遠い位置に設ければ各ラインと境界Ｂとが平行であると見なせるが、本変形例では撮影装置１の小型化や機械シャッター１３の動作高速化等の要請により境界Ｂがラインに交差し得る位置に遮光幕の回転軸が設けられる。
【００３６】
図５Ｂは、エリアイメージセンサー１５の各列に属する光電変換素子における露光のタイミングを示すグラフである。同図においては、水平方向中央の列に属する各光電変換素子の露光が終了するタイミングＹ（Ｌ，Ｃmid）を実線で示し、左端および右端の列に属する各光電変換素子の露光が終了するタイミングＹ（Ｌ，Ｃ1），Ｙ（Ｌ，Ｃmax）をそれぞれ一点鎖線と二点鎖線で示す。本変形例では、各光電変換素子の露光が終了するタイミングＹは、列番号Ｃにも依存するため、タイミングＹはライン番号Ｌおよび列番号Ｃの関数となる。追従動作を行う場合の電子シャッターのタイミングＸ（Ｌ）は、露光が終了するタイミングの平均的な傾向を示す水平方向中央の列についてのタイミングＹ（Ｌ，Ｃmid）に追従する３段折れ線とされている。光電変換素子の電荷のリセットはライン単位で同時行われるため、本変形例でも電子シャッターのタイミングＸはライン番号Ｌのみの関数となる。図５Ａにて示したように露光領域Ｒ１と遮光領域Ｒ２との境界Ｂは方向を変えながら移動するため、列番号ＣごとにタイミングＹ（Ｌ，Ｃ）が異なる。すなわち、境界Ｂが垂直方向中央のライン（ライン番号Ｌmid）に到達するまでは、境界Ｂが右肩上がりとなるため、右端に近い光電変換素子であるほど早く露光が終了する。従って、境界Ｂが垂直方向中央のラインに到達するまでは、タイミングＹ（Ｌ，Ｃmax）がタイミングＹ（Ｌ，Ｃmid）に先行し、タイミングＹ（Ｌ，Ｃmid）がタイミングＹ（Ｌ，Ｃ1）に先行する。一方、境界Ｂが垂直方向中央のラインに到達した後では、境界Ｂが右肩下がりとなるため、左端に近い光電変換素子であるほど早く露光が終了する。従って、境界Ｂが垂直方向中央のラインに到達した後では、タイミングＹ（Ｌ，Ｃ1）がタイミングＹ（Ｌ，Ｃmid）に先行し、タイミングＹ（Ｌ，Ｃmid）がタイミングＹ（Ｌ，Ｃmax）に先行する。また、垂直方向中央のライン（ライン番号Ｌmid）に属する光電変換素子の露光はすべて同時に終了し、ライン番号ＬmidについてのタイミングＹ（Ｌmid，Ｃ1），Ｙ（Ｌmid，Ｃmid），Ｙ（Ｌmid，Ｃmax）が一致する。
【００３７】
このように、光電変換素子の水平方向の位置に応じて露光が終了するタイミングＹ（Ｌ，Ｃ1），Ｙ（Ｌ，Ｃmid），Ｙ（Ｌ，Ｃmax）が互いに異なることとなる。これに対して、光水平方向中央の列の光電変換素子についてのタイミングＹ（Ｌ，Ｃmid）に追従するタイミングＸ（Ｌ）によって、すべての列に属する光電変換素子の露光が開始させられるため、水平方向中央の列以外の列に属する光電変換素子についての現実の露光時間ＴＡ（Ｌ，Ｃ1），ＡＥ（Ｌ，Ｃmax）は、水平方向中央の列に属する光電変換素子についての現実の露光時間ＴＡ（Ｌ，Ｃmid）よりも大きくばらつくこととなる。なお、電荷をリセットするための配線の制約により、露光を開始させるタイミングＸは光電変換素子の列ごとに制御できない。すなわち、境界Ｂがラインに交差する以上、電子シャッターの追従動作によって露光を開始するタイミングＸをいかに調整したとして、光電変換素子の水平方向の位置に依存した露光時間のばらつきは防止できない。
【００３８】
そこで、以上説明した露光時間のばらつきに起因した露光量のばらつきを抑制するために、本変形例の画像データ生成部２０は露光量補正部を備える。露光量補正部は、ＲＯＭ５３に記録されたＬＵＴ(Look Up Table)を参照して、画素補間部２０ａが画素補間を行う前の撮像データにおける露光量の階調値を画素ごとに補正する。ＬＵＴは、エリアイメージセンサー１５に備えられた複数の光電変換素子ごとに乗算すべき露光量のゲインＧＥ（Ｌ，Ｃ）、すなわち補正量が規定されたデータであり、設定された露光時間ＴＥごとに予め作成される。露光量補正部は、撮影時に設定された露光時間を取得し、当該露光時間に対応するＬＵＴを参照する。撮像データの各画素とエリアイメージセンサー１５の複数の光電変換素子とは一意に対応するため、露光量補正部は、各画素について乗算すべき露光量のゲインを特定できる。本変形例では、ゲインＧＥ（Ｌ，Ｃ）を以下のようにして設定することにより、露光時間のばらつきに起因した露光量のばらつきを抑制する。
【００３９】
本変形例では、ＬＵＴを作成するためのコンピューターが遮光幕の運動を予測し、さらに撮影光の光線予測により素子面における露光領域Ｒ１と遮光領域Ｒ２との境界Ｂの推移を予測することにより、すべての光電変換素子についての現実の露光時間ＴＡ（Ｌ，Ｃ）＝｛Ｙ（Ｌ，Ｃ）−Ｙ（Ｌ）｝を算出する。そして、設定された露光時間ＴＥを現実の露光時間ＴＡ（Ｌ，Ｃ）で除算することによりゲインＧＥ（Ｌ，Ｃ）を算出する。もしくは、一様な明るさの被写体を撮影することで、すべての光電変換素子について、現実の露光量に比例して蓄積した電荷量を取得する。そして、露光時間ＴＡ（Ｌ，Ｃ）が判明している光電変換素子の電荷量を露光時間ＴＡ（Ｌ，Ｃ）が不明な光電変換素子の電荷量で除算することによりゲインＧＥ（Ｌ，Ｃ）を算出する。なお、図５Ｂでは、水平方向左端と中央と右端の列に属する光電変換素子についてのタイミングＹを図示したが、すべての列に属する光電変換素子についてのタイミングＹを予測し、ゲインＧＥを算出する。さらに、各光電変換素子にゲインＧＥを対応付けてＬＵＴに格納する。
【００４０】
ここで、現実の露光時間ＴＡ（Ｌ，Ｃ）が設定された露光時間ＴＥよりも短い光電変換素子についてのゲインＧＥ（Ｌ，Ｃ）は１よりも大きく、反対に現実の露光時間ＴＡ（Ｌ，Ｃ）が設定された露光時間ＴＥよりも大きい光電変換素子についてのゲインＧＥ（Ｌ，Ｃ）は１よりも小さくなる。ただし、ゲインＧＥの値は必ず１以上の値になるように設計することが望ましい。ゲインＧＥの値を１以上にすることで、補正後の露光量の最大飽和値が一定数値よりも下回ることで発生する画像の光量むらや色むらを抑制することができる。また、現実の露光時間ＴＡ（Ｌ，Ｃ）と、設定された露光時間ＴＥとの誤差の絶対値が大きくなるほど、ゲインＧＥ（Ｌ，Ｃ）は１から大きく相違する値となる。以上のように設定されたゲインＧＥを露光量の階調値に乗算することにより、現実の露光時間ＴＡ（Ｌ，Ｃ）が短い光電変換素子についての露光量を増加させ、現実の露光時間ＴＡ（Ｌ，Ｃ）が長い光電変換素子についての露光量を減少させることができ、露光時間のばらつきの露光量に対する影響を抑制できる。すなわち、ゲインＧＥ（Ｌ，Ｃ）によれば画素単位、すなわち光電変換素子単位でゲインＧＥが規定できるため、光電変換素子の垂直方向の位置と水平方向の位置の双方に依存してばらつく露光時間のばらつきの影響を抑制できる。特に、露光領域Ｒ１と遮光領域Ｒ２との境界Ｂがラインと交差することによって生じる水平方向における露光時間のばらつきは、仮に電子シャッターのタイミングＸを機械シャッター１３のタイミングＹ（Ｌ，Ｃmid）に完全に追従させた場合でも解消できないが、ゲインＧＥ（Ｌ，Ｃ）による補正を行うことにより水平方向における露光時間のばらつきの影響も抑制できる。なお、本変形例では露光時間と露光量とは比例関係にあると見なしてゲインＧＥを乗算して補正を行うこととしたが、露光時間と露光量との非線形性を考慮する場合にはゲインＧＥを非線形変換した上で露光量の補正を行ってもよい。なお、ゲインＧＥ（Ｌ，Ｃ）に基づく補正は、非追従動作を行った場合にも行ってもよい。
【００４１】
（４）変形例２：
第１露光開始タイミングの露光終了タイミングに対する追従度が高ければ高いほど露光時間の均一性に優れる反面、追従度が高ければ高いほど必要な処理能力が高くなる。この限度において第１露光開始タイミングと第２露光開始タイミングとを前記実施形態と異なる態様とすることができる。例えば、第１露光開始タイミングを機械シャッター１３のタイミングＹ（Ｌ）を単にオフセットした曲線Ｚで規定し、第２露光開始タイミングを曲線Ｚに接する、もしくは、近似した３段折れ線で規定してもよい。第１露光開始タイミングを機械シャッター１３のタイミングＹ（Ｌ）をオフセットした曲線Ｚに接するｍ（ｍは３以上の整数。）段で規定し、第２露光開始タイミングを曲線Ｚに接するｋ（ｋは２以上かつｍより小さい整数。）段折れ線で規定してもよい。これらの場合、第１露光開始タイミングよりも第２露光開始タイミングの方が機械シャッター１３のタイミングＹ（Ｌ）に対する追従度が低くなる。また折れ線を用いずに、第２露光開始タイミングを曲線Ｚに近似した曲線で規定してもよい。この曲線は例えば、ｎを大きくすることで追従度が高くなるｎ次曲線（ｎは１以上の整数）とすることができる。
（５）変形例３：
設定された露光時間ＴＥが長ければ露光時間のばらつきは小さくなる。よって、複数の閾値ＴＨｉ（０＜ＴＨ１＜ＴＨ2＜・・・）をもち、設定された露光時間ＴＥｉがＴＨｉ≦ＴＥ＜ＴＨｉ＋１であれば、ＴＥｉの場合の第２露光開始タイミングの折れ線の段数をＴＥｉ＋１の場合の第２露光開始タイミングの折れ線の段数よりも多くするなど、機械シャッター１３のタイミングＹ（Ｌ）に対する追従度がより高くなるように露光を開始しても良い。すなわち、露光時間ＴＥが最大の閾値ＴＨmaxよりも短い場合において、露光時間ＴＥが最大の閾値ＴＨmaxに近似するほど、第１露光タイミングの機械シャッター１３のタイミングＹ（Ｌ）に対する追従度を低くしてもよい。また、設定された露光時間ＴＥが最大の閾値ＴＨmax以上である場合に非追従動作（グローバルシャッター動作）ではなく、折れ線の段数が小さい追従動作（ローリングシャッター動作）を行うようにしても良い。ここで折れ線に代えて曲線としても良い。
本発明の具体的態様は、上述の実施形態や変形例に限定されるものではなく、実施形態や変形例同士を組み合わせたものであってもよいし、本発明の技術的思想を逸脱しない範囲で変形を行ってもよい。
【符号の説明】
【００４２】
１…撮影装置、１０…光学系、１１…レンズ、１２…絞り、１３…機械シャッター、１４…ローパスフィルター、１５…エリアイメージセンサー、２０…画像データ生成部、２０ａ…画素補間部、２０ｂ…色再現処理部、２０ｃ…フィルター処理部、２０ｄ…ガンマ補正部、２０ｅ…リサイズ処理部、３０…タイミングジェネレーター、３０ａ…センサー制御部、３０ａ１…電子シャッター制御部、３０ｂ…表示制御部、４０…表示部、４１…液晶パネルドライバー、４２…液晶パネル、５５…操作部、５６…リムーバルメモリー。
【技術分野】
【０００１】
本発明は、露光時間を電子シャッターと機械シャッターとにより制御して画像を撮影する技術に関する。
【背景技術】
【０００２】
従来、複数の光電変換素子における露光を開始させるタイミングを電子シャッターにより制御し、露光を終了させるタイミングを機械シャッターにより制御する撮影装置が提案されている（特許文献１〜３、参照）。このような撮影装置においては、機械シャッターが露光を終了させるタイミングに追従するように、電子シャッターが露光を開始させるタイミングを制御することにより、各光電変換素子についての露光時間の均一化を図っていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−４１５２３号公報
【特許文献２】特開２００６−１０１４９２号公報
【特許文献３】特開２００８−１４７９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、機械シャッターが露光を終了させるタイミングは遮光幕の運動に依存し、非線形特性を有するため、機械シャッターが露光を終了させるタイミングに追従するように、電子シャッターが露光を開始させるタイミングを制御することは困難となる。すなわち、非線形特性を有するタイミングで電子シャッターを動作させなければならず、高速で動作する電子シャッターの制御回路の処理負荷が大きくなるという問題があった。
本発明は、前記課題にかんがみてなされたもので、電子シャッターの制御負荷を軽減することを目的とする。
【課題を解決するための手段】
【０００５】
前記目的を達成するため本発明において、撮影装置は、電子シャッターと機械シャッターとにより露光時間を制御する。電子シャッターは、複数の光電変換素子にて電荷の蓄積を開始させることにより、複数の光電変換素子における露光を開始させる。機械シャッターは、遮光部を移動させることによって、複数の光電変換素子が配列する素子面を機械的に遮光することにより、複数の光電変換素子における露光を終了させる。判定部は、露光時間が所定の閾値よりも短いか否かを判定する。露光時間が閾値よりも短い場合に、機械シャッターが複数の光電変換素子の露光を終了させる露光終了タイミングに追従する第１露光開始タイミングで、電子シャッターによって複数の光電変換素子に露光を開始させる。一方、露光時間が閾値以上である場合に、第１露光開始タイミングよりも機械シャッターの露光終了タイミングに対する追従度が低い第２露光開始タイミングで、電子シャッターによって複数の光電変換素子に露光を開始させる。なお、本明細書において露光とは、光電変換素子に撮影光が到達し、かつ、当該撮影光の光量に応じて光電変換素子が電荷を蓄積する状態を意味する。
【０００６】
第２露光開始タイミングの方が第１露光開始タイミングよりも露光終了タイミングに対する追従度が低いため、第２露光開始タイミングで露光を開始させる方が第１露光開始タイミングで露光を開始させるよりも、各光電変換素子における露光時間の誤差が大きくなる。なお、露光開始タイミングは電子シャッターにより制御され、露光終了タイミングは機械シャッターにより制御されるため、露光開始タイミングと露光終了タイミングとは基本的に追従せず、光電変換素子間で露光時間の誤差が生じ得る。機械シャッターによる露光の終了は遮光部を物理的に運動させることにより実現されるため、機械シャッターによる露光終了のタイミングの特性は遮光部の加速運動特性に依存するのに対して、電子シャッターによる露光開始のタイミングは遮光部の加速運動特性に依存しないからである。ここで、露光時間に誤差が生じた場合でも、露光時間が長いほど、露光時間全体に対する露光時間の誤差の寄与度は小さくなる。従って、露光時間が閾値以上である場合には、露光終了タイミングに対する追従度が低い第２露光開始タイミングで露光を開始させても、露光時間の誤差に起因した露光量のばらつきは光量むらとして感じられにくくなる。従って、露光時間が閾値以上である場合に第２露光開始タイミングで露光を開始させることにより、撮影した画像の光量むらが問題とならないように、露光を開始させるタイミングの制御負荷を軽減することができる。一方、露光時間が閾値よりも短い場合には、第１露光開始タイミングで露光を開始させることにより、露光時間の誤差を抑えることができるため、露光量のばらつきが抑えられる。
【０００７】
第２露光開始タイミングの好適な一例として、電子シャッターに素子面上のすべての複数の光電変換素子における露光を同時に開始させるようにしてもよい。このようにすることにより、露光時間が閾値以上である場合における電子シャッターの制御負荷を大きく軽減できる。
【０００８】
上述のように機械シャッターによる露光終了のタイミングの特性は遮光部の加速運動特性に依存し、電子シャッターによる露光開始のタイミングは遮光部の運動特性に依存しないため、電子シャッターによる第１露光開始タイミングを完全に機械シャッターによる露光終了タイミングに追従させるのは困難であり、第１露光開始タイミングで露光を開始させても各光電変換素子における露光時間の誤差を完全になくすことは困難となる。従って、複数の光電変換素子における第１露光開始タイミングと露光終了タイミングとの差に起因する露光量のばらつきを抑制する補正を行うのが望ましい。これにより、第１露光開始タイミングの露光終了タイミングに対する追従度、すなわち第１露光開始タイミングで露光を開始させる際の電子シャッターの制御負荷を抑制しつつ、露光量のばらつきを抑制した画像を得ることができる。むろん、露光量のばらつきを抑制する補正は、第２露光開始タイミングで露光を開始させる場合にも行ってもよい。
【０００９】
本発明の撮影装置は単独の装置として実現されるものに限らず、本発明の撮影装置が備える各手段が他の装置に備えられてもよい。また、請求項に記載された各手段の機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、またはそれらの組み合わせにより実現される。また、これら各手段の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。さらに、本発明は撮影プログラムの記録媒体としても成立する。むろん、そのコンピュータープログラムの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体であってもよい。
【図面の簡単な説明】
【００１０】
【図１】デジタルカメラを示すブロック図である。
【図２】エリアイメージセンサーの模式図である。
【図３】非追従動作における露光のタイミングを示すグラフである。
【図４】追従動作における露光のタイミングを示すグラフである。
【図５】エリアイメージセンサーの模式図および露光のタイミングを示すグラフである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を添付図面を参照しながら以下の順に説明する。なお、各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。
（１）撮影装置の構成：
（２）電子シャッターの制御：
（２−１）非追従動作（グローバルシャッター動作）：
（２−２）追従動作（ローリングシャッター動作）：
（３）変形例１：
（４）変形例２：
（５）変形例３：
【００１２】
（１）撮影装置の構成：
図１は本発明の一実施形態にかかる撮影装置１のブロック図である。本実施形態にかかる撮影装置１は、ＥＶＦ（Electronic View Finder）を備えたミラーレスデジタルカメラである。撮影装置１は、光学系１０とエリアイメージセンサー１５とＡＳＩＣ２００とタイミングジェネレーター３０と表示部４０とＣＰＵ５０とＳＤ−ＲＡＭ５２とＲＯＭ５３とＲＡＭ５４と操作部５５とリムーバルメモリー５６とを備えている。ＣＰＵ５０は、ＳＤ−ＲＡＭ５２とＲＡＭ５４を適宜利用してＲＯＭ５３に記録されたプログラムを実行する。当該プログラムの機能によりＣＰＵ５０は、操作部５５に対する操作に応じてエリアイメージセンサー１５にて撮影された被写体を示す画像データを生成する機能を実行する。なお、操作部５５はシャッターボタンと、露光時間（シャッター速度）や絞り１２の開放値や露出値を設定するためのダイヤルスイッチとを備えている。
【００１３】
光学系１０は、レンズ１１と絞り１２と機械シャッター１３とローパスフィルター１４とを備える。レンズ１１は撮影光を集光してエリアイメージセンサー１５に被写体の画像を結像させる。レンズ１１と絞り１２とは交換式レンズユニットに備えられ、当該交換式レンズユニットは撮影装置１の筐体に交換可能に取り付けられる。ローパスフィルター１４は、撮影光のエリアイメージセンサー１５における空間的高周波数成分を遮断することにより、撮影した画像におけるモアレを防止する。絞り１２は、撮影光の光束を絞り込む。
【００１４】
図２Ａは、エリアイメージセンサー１５の素子面の一部を正面から見て示す模式図である。エリアイメージセンサー１５は、例えばベイヤー配列されたカラーフィルターと、露光量に応じた電荷を蓄積する複数の光電変換素子とが所定の素子面に配列したＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーやＣＣＤ（Charge Coupled Device）イメージセンサー等の固体撮像素子である。本実施形態では、ＣＭＯＳイメージセンサーを使用した場合を例にして、以下説明する。図２Ａにおいて各光電変換素子を正方形で示し、正方形の内側には各光電変換素子に対応して備えられるカラーフィルターの色（３チャネル：Ｒ（赤），Ｇ（緑），Ｂ（青））を示す。エリアイメージセンサー１５の素子面上における複数の光電変換素子の配列位置は直交座標で規定され、一方の座標軸に平行な方向に並ぶ複数の光電変換素子によってラインが構成され、複数のラインが他方の座標軸に平行な方向に並ぶように配列されている。本明細書では、ラインに平行な方向を水平方向、ラインに垂直な方向を垂直方向と呼ぶ。
【００１５】
本実施例におけるエリアイメージセンサー１５においては、ライン単位で光電変換素子に蓄積された電荷のリセット（放電）ができる。すなわち、同一のラインに属する複数の光電変換素子においては互いに同時に電荷がリセットされ、互いに同時に電荷の蓄積が開始する。光電変換素子における電荷の蓄積の開始は、光電変換素子における露光の開始を意味する。例えば、各光電変換素子はソース−ドレイン間の導通により電荷を放電させるリセット用電界効果トランジスターを備えるとともに、同一のラインに属する各光電変換素子においてはリセット用電界効果トランジスターのゲートに電圧を印加するための配線が共通する。エリアイメージセンサー１５は、光電変換素子に蓄積された電荷をライン単位で読み出す。なお、エリアイメージセンサー１５は、必要な画質や速度に応じて、全ラインから読み出すことをせずに、間欠読み出しを行うことができる。そして、光電変換素子では、電荷の読み出しが行われた場合にも電荷がリセットされる。エリアイメージセンサー１５は、読み出した電荷に対応する露光量の階調値をＡ／Ｄ変換器等によりＡ／Ｄ変換して各画素に対応付けた撮像データを生成する。この撮像データは、本発明の画像に相当する。撮像データの画素は光電変換素子に一意に対応する。エリアイメージセンサー１５から読み出された撮像データは、ＳＤ−ＲＡＭ５２にバッファーされ、後述のＡＳＩＣ２００によって撮像データに対する各種画像処理が実行される。
【００１６】
図２Ｂは、エリアイメージセンサー１５の素子面の全体を正面から見て示す模式図である。各ラインには垂直方向の上方になるにつれて１ずつ増加するライン番号Ｌ（１〜Ｌmax）が付され、ラインに直交する垂直方向の列には水平方向右側になるにつれて１ずつ増加する列番号Ｃ（１〜Ｃmax）が付される。また、垂直方向中央のラインのライン番号ＬをＬmidとし、水平方向中央の列を列番号ＣをＣmidと表す。機械シャッター１３は、複数の光電変換素子が配列されたエリアイメージセンサー１５の素子面に対してほぼ平行な平面板状の遮光部としての遮光幕（図１においてハッチングで図示。）を備える。この遮光幕により、複数の光電変換素子が配列されたエリアイメージセンサー１５の素子面上に露光領域Ｒ１と遮光領域Ｒ２とを形成する。すなわち、エリアイメージセンサー１５の素子面上における遮光幕の陰影が遮光領域Ｒ２をなす。機械シャッター１３は、以下のようにして遮光幕を動作させる。
【００１７】
本実施形態の機械シャッター１３は、ノーマルオープン型であり、撮影装置１の電源ＯＦＦの状態において、遮光幕は係止レバーにより係止されるとともに永久磁石により吸着保持される。遮光幕は、撮影光の全体を遮光する位置に遮光幕を引きつけるばねのばね力に抗し、係止レバーの係止および永久磁石の吸着により撮影光の光路の外側に係止される。そして、撮影装置１の電源ＯＮの状態において、係止レバーによる遮光幕の係止を解除する。係止レバーによる遮光幕の係止が解除されても、永久磁石により遮光幕が吸着保持され、ばね力に抗する遮光幕の保持が継続する。そして、シャッターボタンが押下されると、電子シャッター制御部３０ａ１により各光電変換素子における露光を開始させ、さらに露光の開始から露光時間に対応する期間が経過すると、遮光幕を吸着する永久磁石の磁力を打ち消す磁力を生じさせる電磁石へ電流を供給し、永久磁石による遮光幕の吸着保持を解除する。これにより、遮光幕はばね力により移動させられ、遮光幕が撮影光の全体を遮光する位置に移動する。
【００１８】
図２Ｂにおいては、機械シャッター１３がばね力により遮光幕を移動させることにより、エリアイメージセンサー１５の素子面上において露光領域Ｒ１と遮光領域Ｒ２との境界Ｂが移動する様子を模式的に示している。本実施形態では、電磁石が遮光幕を下方に引きつけ、ばねが遮光幕を上方に引きつけることにより、シャッターが閉じる際に露光領域Ｒ１と遮光領域Ｒ２との境界Ｂが下方から上方に向かって（破線矢印の方向に）移動することとする。また、遮光幕は下方から上方に向かって平行移動し、露光領域Ｒ１と遮光領域Ｒ２との境界Ｂは各ラインの方向と平行のまま移動することとする。遮光幕の移動によって光電変換素子に境界Ｂが到達することにより、当該光電変換素子の露光が終了する。露光領域Ｒ１と遮光領域Ｒ２との境界Ｂと各ラインの方向と平行となるため、同一のラインに属する各光電変換素子の露光は同時に終了する。
【００１９】
タイミングジェネレーター３０はセンサー制御部３０ａと表示制御部３０ｂとを備え、センサー制御部３０ａは電子シャッター制御部３０ａ１を備える。センサー制御部３０ａは、液晶パネル４２における各光電変換素子の各種動作タイミングを制御するための信号を生成し、エリアイメージセンサー１５に出力する。また、表示制御部３０ｂは、液晶パネル４２の各表示画素の表示タイミングを制御するための信号を生成し、液晶パネルドライバー４１に出力する。
【００２０】
電子シャッター制御部３０ａ１は、操作部５５にてシャッターボタンが押下されると電子シャッターを開放させる。なお、電子シャッターを開放するとは、エリアイメージセンサー１５のすべての光電変換素子における電荷を一旦リセットし、電荷の蓄積を再開させて、露光を開始させることを意味する。上述のように本実施形態ではライン単位で複数の光電変換素子に蓄積された電荷のリセットが可能であり、電荷のリセットと電荷の蓄積の開始をすべてのラインについて順に行っていく動作（ローリングシャッター動作）を行うことにより、すべての光電変換素子の蓄積を開始する。なお、電子シャッター制御部３０ａ１は、電荷のリセットをすべてのラインについて同時に行わせ、その後、電荷の蓄積の開始をライン単位で順次行わせることによりローリングシャッター動作を実現してもよい。いずれの場合でも、ローリングシャッター動作では光電変換素子の露光が開始するタイミングはラインごとに異なることとなる。
【００２１】
表示部４０はＥＶＦであり、エリアイメージセンサー１５の各光電変換素子にて検知された露光量のデータを間欠ライン読出しにより読み出すことにより生成した、いわゆるライブビュー動画を表示し、また、撮影した被写体の静止画像を表示する。表示部４０は、図示しないインターフェース回路と液晶パネルドライバー４１と液晶パネル４２と図示しない接眼レンズ等を備えている。液晶パネルドライバー４１は、各サブピクセルに電圧を印加して液晶を駆動するための信号を液晶パネル４２に対して出力する。
【００２２】
ＡＳＩＣ２００は、画像データ生成部２０を備える。この画像データ生成部２０は、ＳＤ−ＲＡＭ５２に予め確保されたラインバッファーやフレームバッファーを利用し、エリアイメージセンサー１５にて撮影された撮像データに対してパイプライン処理によって各種画像処理を実行する。なお、ＡＳＩＣ２００は、画像処理用ＤＳＰ（Digital Signal Processor）であってもよい。画像データ生成部２０は、画素補間部２０ａと色再現処理部２０ｂとフィルター処理部２０ｃとガンマ補正部２０ｄとリサイズ処理部２０ｅとを備えている。
【００２３】
画像データ生成部２０は、エリアイメージセンサー１５が撮影した撮像データを取得する。画素補間部２０ａは、周辺画素の階調値を用いた補間処理を行うことにより、各画素に対応する光電変換素子に備えられたカラーフィルターの色とは異なる２チャネルの色の階調値を算出する。この結果、各画素について３チャネルの階調値が対応付けられた撮像データが生成される。色再現処理部２０ｂは、画素補間が完了した撮像データの各画素の階調値に対して３×３の行列演算を行うことによってカラーマッチングのための色変換処理を行う。フィルター処理部２０ｃは、撮像データに対してシャープネス調整やノイズ除去処理などをフィルター処理によって実行する。ガンマ補正部２０ｄはエリアイメージセンサー１５の撮影データの階調値が示す色と、表示部４０等で扱う画像データの階調値が示す色との特性差を補償するガンマ補正を実行する。リサイズ処理部２０ｅは当該ラインバッファーに記録されていくデータを逐次参照して補間演算処理を行い、画素の間の位置における各チャネルの階調値を特定することによって、例えば記録サイズへとリサイズを行う。リサイズ処理部２０ｅにてリサイズが完了すると、画像データ生成部２０における各画像処理が完了された画像データが生成できる。この画像データはＳＤ−ＲＡＭ５２にバッファーされ、表示部４０に表示されるとともに、リムーバルメモリー５６に記録される。
【００２４】
（２）電子シャッターの制御：
ＣＰＵ５０は、モードダイヤル等によって設定された露光時間ＴＥを取得し、当該露光時間が所定の閾値ＴＨよりも短いか否かを判定する。なお、ＣＰＵ５０は、判定部を構成する。電子シャッター制御部３０ａ１は、設定された露光時間ＴＥが閾値ＴＨよりも短い場合に追従動作（ローリングシャッター動作）を行い、設定された露光時間ＴＥが閾値ＴＨ以上である場合に非追従動作（グローバルシャッター動作）を行う。以下、追従動作と非追従動作の詳細について説明する。
【００２５】
（２−１）非追従動作（グローバルシャッター動作）：
図３の左グラフは、非追従動作を行う場合の露光のタイミングを示すグラフである。図３の左グラフにおいて、横軸は時刻を示し、縦軸はライン番号Ｌを示している。図３の左グラフにおける左側の直線はエリアイメージセンサー１５の各ラインの光電変換素子の露光が開始するタイミング示し、当該タイミング（時刻）はライン番号Ｌの関数Ｘ（Ｌ）によって与えられる。非追従動作において、このタイミングＸ（Ｌ）はライン番号Ｌに依存しない定数となる。図３の左グラフにおける右側の曲線は露光が終了するタイミングを示し、当該タイミング（時刻）は各光電変換素子のライン番号Ｌの関数Ｙ（Ｌ）で与えられる。以下、特定のライン番号Ｌを指す必要がない場合等には、各関数における変数（Ｌ）の表記を省略する場合がある。
【００２６】
最下方のラインに属する光電変換素子の露光が終了するタイミングＹ（１）から、最上方のラインに属する光電変換素子の露光が終了するタイミングＹ（Ｌmax）までの期間｛Ｙ（Ｌmax）−Ｙ（１）｝を最大誤差期間ＴＦとする。図３の右グラフは各光電変換素子における現実の露光時間ＴＡ（Ｌ）を示す。図３の右グラフにおいて、横軸は時間を示し、縦軸はライン番号Ｌを示している。ここで、各光電変換素子における現実の露光時間ＴＡ（Ｌ）は電子シャッターによる露光の開始から機械シャッター１３による露光の終了までの期間であり、図３の左グラフの横軸方向におけるタイミングＸとタイミングＹとの差分｛Ｙ（Ｌ）−Ｘ（Ｌ）｝が、図３の右グラフに示す光電変換素子の現実の露光時間ＴＡ（Ｌ）に相当する。
【００２７】
ここで、機械シャッター１３の遮光幕は、ばね力や摩擦力等の影響を受けて動作するが、説明を簡単にするために、ばね力による等加速度運動を行うとして以下説明する。この場合、露光領域Ｒ１と遮光領域Ｒ２との境界Ｂの垂直方向の位置は徐々に傾きを増す放物線状に推移する。従って、タイミングＹが示すように、光電変換素子の露光が終了するライン番号は、時間の経過とともに放物線状に増加する。すなわち、タイミングＹは二次関数の逆関数となる。
【００２８】
非追従動作では、図３の左グラフに示すようにすべてのラインに属するすべての光電変換素子における電荷のリセットおよび電荷の蓄積の開始を同時に行い、すべての光電変換素子における露光を同時に開始させる。すなわち、図３の左グラフに示すように、露光開始のタイミングＸは、直線状となるため、放物線状の露光終了のタイミングＹに対する追従度が低くなる。なお、非追従動作を行う場合のタイミングＸは、第２露光開始タイミングに相当する。ここでは、すべての光電変換素子における露光を同時に開始させてから、設定された露光時間ＴＥから最大誤差期間ＴＦを減算した期間だけ待機した後に最下方のラインについての露光を終了させるように機械シャッター１３を動作させる。これにより、図３の右グラフに示すように、最上方のライン（ライン番号Ｌmax）の光電変換素子における現実の露光時間ＴＡ（Ｌmax）と、設定された露光時間ＴＥとが一致する。一方、最上方のラインよりも露光の終了が早期に到来する下方のラインついては、現実の露光時間ＴＡ（Ｌ）が設定された露光時間ＴＥよりも短く、現実の露光時間ＴＡ（Ｌ）と設定された露光時間ＴＥとの間に誤差（ハッチングで図示。）が生じる。そして、最下方のライン（ライン番号１）の光電変換素子における現実の露光時間ＴＡ（１）と設定された露光時間ＴＥとの誤差が最大となり、当該誤差の大きさは機械シャッター１３が最下方のラインの露光を終了させてから、最上方のラインの露光を終了させるまでの最大誤差期間ＴＦと等しくなる。なお、設定された露光時間ＴＥが変化しても遮光幕はばね力により同様の運動をするため、現実の露光時間ＴＡの最大の誤差である最大誤差期間ＴＦは設定された露光時間ＴＥには依存せず一定である。
【００２９】
ここで、設定した露光時間ＴＥにて、静止した一様な被写体を一定の環境下で撮影した場合において、単位時間あたりに光電変換素子が受光する単位光量をΔＥとする。この場合、すべての光電変換素子にて受光されるべき基準露光量ＥＳはΔＥ×ＴＥとなる。上述のように最上方のライン（ライン番号Ｌmax）の光電変換素子における現実の露光時間ＴＡ（Ｌmax）は設定された露光時間ＴＥと等しいため、最上方のラインの光電変換素子が受光する露光量ＥＥ（Ｌmax）は基準露光量ＥＳと等しい。一方、最下方のライン（ライン番号１）の光電変換素子における現実の露光時間ＴＡ（１）は設定された露光時間ＴＥから最大誤差期間ＴＦを減算した時間（ＴＥ−ＴＦ）となる。従って、最下方のラインの光電変換素子が受光する露光量ＥＥ（１）は、ΔＥ×（ＴＥ−ＴＦ）で表され、基準露光量ＥＳよりも誤差ΔＥ×ＴＦだけ小さくなる。この誤差ΔＥ×ＴＦの基準露光量ＥＳに対する比率である誤差比率ＥＲは、（ΔＥ×ＴＦ）／（ΔＥ×ＴＥ）＝ＴＦ／ＴＥとなる。この誤差比率ＥＲが小さいほど、最下方のラインの光電変換素子の現実の露光時間ＴＡ（１）に最大誤差期間ＴＦが生じた場合でも、当該最大誤差期間ＴＦに起因する露光量の誤差ΔＥ×ＴＦの基準露光量ＥＳに対する寄与が小さく、当該誤差ΔＥ×ＴＦに起因した画像の光量むらが観察者に感じられにくくなる。本実施形態では、誤差比率ＥＲに所定の閾値ｔｈを設定し、ｔｈ＝ＴＦ／ＴＥを満足する露光時間ＴＥ＝ＴＦ／ｔｈを露光時間ＴＥの閾値ＴＨとして設定する。例えば、閾値ｔｈを３％と設定し、露光時間ＴＥが閾値ＴＨ以上である場合に限りグローバルシャッター動作を行わせることにより、一様な被写体を一定の環境下でグローバルシャッター動作により撮影した場合の画像における光量の面内誤差を３％以下となることが保証できる。なお、光量むらの感じ方は観察者によって異なるため、閾値ｔｈ（ＴＨ）は操作部５５に対する操作によって設定されてもよい。また、撮影した画像の用途や被写体によっても光量むらに対する許容度が異なるため、閾値ｔｈ（ＴＨ）は撮影モードや撮影シーン等に応じて設定されてもよい。
【００３０】
一方、露光時間ＴＥが閾値ＴＨよりも短い場合にグローバルシャッター動作を行わせると、画像における光量の面内誤差が３％よりも大きくなり得る。そこで、設定された露光時間ＴＥが閾値ＴＨよりも短い場合には、追従動作を行うこととする。この追従動作では、各ラインに属する光電変換素子における現実の露光時間ＴＡ（Ｌ）の均一化を図るために、電子シャッターのタイミングＸを、機械シャッター１３のタイミングＹに追従した折れ線形状とする。
【００３１】
（２−２）追従動作（ローリングシャッター動作）：
図４の左グラフは、追従動作を行う場合の露光のタイミングを示すグラフである。図４の左グラフにおいて、横軸は時刻を示し、縦軸はライン番号Ｌを示している。追従動作における電子シャッターのタイミングＸは以下のようにして設定される。まず、各ラインに境界Ｂが到達するタイミングＹ（Ｌ）を遮光幕の運動方程式に基づいて特定する。そして、タイミングＹ（Ｌ）を、設定された露光時間ＴＥだけ時刻の早い側にオフセットしたオフセット曲線Ｚ（破線で図示。）を作成する。次に、このオフセット曲線Ｚに対してライン番号Ｌ1，Ｌ2，Ｌmaxにてそれぞれ接する接線を作成する。なお、１＜Ｌ1＜Ｌ2＜Ｌmaxとする。そして、ライン番号Ｌ1，Ｌ2にてそれぞれオフセット曲線Ｚに接する２つの接線の交点、および、ライン番号Ｌ2，Ｌmaxにてそれぞれオフセット曲線に接する２つの接線の交点を屈曲点とした３段折れ線を作成し、当該３段折れ線を電子シャッターのタイミングＸとする。電子シャッターのタイミングＸは徐々に傾きを増す放物線に追従するため、下方から数えて１段目の折れ線の傾きは２段目の折れ線よりも小さく、２段目の折れ線の傾きは３段目の折れ線よりも小さくなる。なお、折れ線の段数は３段に限られない。
【００３２】
電子シャッター制御部３０ａ１は、ライン番号の昇順に光電変換素子に露光を開始させていくローリングシャッター動作を行うとともに、隣接するライン間における露光開始タイミングの間隔を３段折れ線のタイミングＸの傾きに対応した長さとする。すなわち、ｎ（ｎは３以下の自然数。）段目の折れ線に対応するライン番号の隣接ライン間における露光開始タイミングの間隔は、一定、かつ、（ｎ＋１）段目の折れ線に対応する隣接ライン番号のライン間における露光開始タイミングの間隔よりも長く確保される。なお、シャッターボタンが押下されると、まず電子シャッター制御部３０ａ１が最も下方のラインから光電変換素子の電荷の蓄積を開始し、当該開始のタイミングから所定期間だけ待機した後に、機械シャッター１３が電磁石へ電流を供給して永久磁石による遮光幕の吸着を解除させ、ばね力により遮光幕を移動させる。前記所定期間とは、設定された露光時間ＴＥとほぼ等しく、ライン番号Ｌ1，Ｌ2，Ｌmaxのラインの光電変換素子のうち、水平方向中央の列（列番号Ｃmid，）に属する光電変換素子の現実の露光時間ＴＡ（Ｌ，Ｃmid）が設定された露光時間ＴＥと等しくなる期間とする。
【００３３】
以上のようにして、電子シャッター制御部３０ａ１が機械シャッター１３のタイミングＹ（Ｌ，Ｃmid）に追従するように各ラインに属する光電変換素子に露光を開始させるタイミングを制御することにより、各光電変換素子における現実の露光時間ＴＡ（Ｌ）を、設定された露光時間ＴＥに近似させることができる。図４の右グラフは各光電変換素子における現実の露光時間ＴＡ（Ｌ）を示す。図４の右グラフにおいて、横軸は時間を示し、縦軸はライン番号Ｌを示している。図４の右グラフに示すように、ローリングシャッター動作を行うことにより、各光電変換素子における現実の露光時間ＴＡ（Ｌ）＝｛Ｙ（Ｌ）−Ｘ（Ｌ）｝を、設定された露光時間ＴＥに近似させることができる。従って、図４の右グラフにおいてハッチングで示すように、現実の露光時間ＴＡ（Ｌ）と設定された露光時間ＴＥとの誤差を非追従動作の場合よりも小さくすることができ、当該誤差に起因する露光量の誤差を小さくすることができる。なお、追従動作を行う場合のタイミングＸ（Ｌ）は、第１露光開始タイミングに相当する。また、電子シャッターに非追従動作を行わせる場合の直線状のタイミングＸ（Ｌ）である第２露光開始タイミングは、電子シャッターに追従動作を行わせる場合の折れ線状のタイミングＸ（Ｌ）よりも、機械シャッター１３の放物線状のタイミングＹ（Ｌ）に対する追従度が低い。本実施形態において追従度とは、現実の露光時間ＴＡ（Ｌ）と設定された露光時間ＴＥとの間に誤差によって把握でき、例えば図３と図４の右グラフのハッチングの面積の逆数等によって定量化できる。すなわち、図３と図４の右グラフのハッチングの面積が小さいほど、露光開始タイミングの露光終了タイミング（タイミングＹ）に対する追従度が高い。
【００３４】
（３）変形例１：
図４の右グラフに示したように、電子シャッターが追従動作を行う場合であっても、ハッチングで示す誤差を完全になくすことは困難である。電子シャッターによる露光開始のタイミングＸ（折れ線）を、機械シャッター１３のタイミングＹ（Ｌ）（放物線）に完全に追従させるにはタイミングＸを複雑に制御しなければならず、電子シャッターの制御負荷が大きくなるからである。さらに、前記実施形態では露光領域Ｒ１と遮光領域Ｒ２との境界Ｂが各ラインの方向と平行のまま移動することとしたが、境界Ｂが各ラインに交差する場合には、各ラインにおける光電変換素子間で露光時間のばらつきが生じることとなる。従って、電子シャッターが追従動作を行う場合であっても、露光時間のばらつきに起因する露光量のばらつきを抑制する補正を行うことが望ましい。
【００３５】
図５Ａは、本変形例におけるエリアイメージセンサー１５の素子面の全体を正面から見て示す模式図である。本実施形態の機械シャッター１３では、エリアイメージセンサー１５の素子面の右側に設けられた図示しない回転軸を中心として遮光幕が回転移動可能に支持されている。本実施形態では、垂直方向中央のラインに境界Ｂが到達したとき境界Ｂとラインとが平行となる。垂直方向中央のラインに境界Ｂが到達するまでは、境界Ｂは右肩上がりに傾斜し、徐々にラインと平行に近づいていく。垂直方向中央のラインに境界Ｂが到達すると、境界Ｂは徐々に右肩下がりの傾斜角を増していく。すなわち、エリアイメージセンサー１５の素子面上における境界Ｂの方向は一定とはならず、基本的にラインに対して境界Ｂが交差する。なお、遮光幕の回転軸をエリアイメージセンサー１５の素子面から十分に遠い位置に設ければ各ラインと境界Ｂとが平行であると見なせるが、本変形例では撮影装置１の小型化や機械シャッター１３の動作高速化等の要請により境界Ｂがラインに交差し得る位置に遮光幕の回転軸が設けられる。
【００３６】
図５Ｂは、エリアイメージセンサー１５の各列に属する光電変換素子における露光のタイミングを示すグラフである。同図においては、水平方向中央の列に属する各光電変換素子の露光が終了するタイミングＹ（Ｌ，Ｃmid）を実線で示し、左端および右端の列に属する各光電変換素子の露光が終了するタイミングＹ（Ｌ，Ｃ1），Ｙ（Ｌ，Ｃmax）をそれぞれ一点鎖線と二点鎖線で示す。本変形例では、各光電変換素子の露光が終了するタイミングＹは、列番号Ｃにも依存するため、タイミングＹはライン番号Ｌおよび列番号Ｃの関数となる。追従動作を行う場合の電子シャッターのタイミングＸ（Ｌ）は、露光が終了するタイミングの平均的な傾向を示す水平方向中央の列についてのタイミングＹ（Ｌ，Ｃmid）に追従する３段折れ線とされている。光電変換素子の電荷のリセットはライン単位で同時行われるため、本変形例でも電子シャッターのタイミングＸはライン番号Ｌのみの関数となる。図５Ａにて示したように露光領域Ｒ１と遮光領域Ｒ２との境界Ｂは方向を変えながら移動するため、列番号ＣごとにタイミングＹ（Ｌ，Ｃ）が異なる。すなわち、境界Ｂが垂直方向中央のライン（ライン番号Ｌmid）に到達するまでは、境界Ｂが右肩上がりとなるため、右端に近い光電変換素子であるほど早く露光が終了する。従って、境界Ｂが垂直方向中央のラインに到達するまでは、タイミングＹ（Ｌ，Ｃmax）がタイミングＹ（Ｌ，Ｃmid）に先行し、タイミングＹ（Ｌ，Ｃmid）がタイミングＹ（Ｌ，Ｃ1）に先行する。一方、境界Ｂが垂直方向中央のラインに到達した後では、境界Ｂが右肩下がりとなるため、左端に近い光電変換素子であるほど早く露光が終了する。従って、境界Ｂが垂直方向中央のラインに到達した後では、タイミングＹ（Ｌ，Ｃ1）がタイミングＹ（Ｌ，Ｃmid）に先行し、タイミングＹ（Ｌ，Ｃmid）がタイミングＹ（Ｌ，Ｃmax）に先行する。また、垂直方向中央のライン（ライン番号Ｌmid）に属する光電変換素子の露光はすべて同時に終了し、ライン番号ＬmidについてのタイミングＹ（Ｌmid，Ｃ1），Ｙ（Ｌmid，Ｃmid），Ｙ（Ｌmid，Ｃmax）が一致する。
【００３７】
このように、光電変換素子の水平方向の位置に応じて露光が終了するタイミングＹ（Ｌ，Ｃ1），Ｙ（Ｌ，Ｃmid），Ｙ（Ｌ，Ｃmax）が互いに異なることとなる。これに対して、光水平方向中央の列の光電変換素子についてのタイミングＹ（Ｌ，Ｃmid）に追従するタイミングＸ（Ｌ）によって、すべての列に属する光電変換素子の露光が開始させられるため、水平方向中央の列以外の列に属する光電変換素子についての現実の露光時間ＴＡ（Ｌ，Ｃ1），ＡＥ（Ｌ，Ｃmax）は、水平方向中央の列に属する光電変換素子についての現実の露光時間ＴＡ（Ｌ，Ｃmid）よりも大きくばらつくこととなる。なお、電荷をリセットするための配線の制約により、露光を開始させるタイミングＸは光電変換素子の列ごとに制御できない。すなわち、境界Ｂがラインに交差する以上、電子シャッターの追従動作によって露光を開始するタイミングＸをいかに調整したとして、光電変換素子の水平方向の位置に依存した露光時間のばらつきは防止できない。
【００３８】
そこで、以上説明した露光時間のばらつきに起因した露光量のばらつきを抑制するために、本変形例の画像データ生成部２０は露光量補正部を備える。露光量補正部は、ＲＯＭ５３に記録されたＬＵＴ(Look Up Table)を参照して、画素補間部２０ａが画素補間を行う前の撮像データにおける露光量の階調値を画素ごとに補正する。ＬＵＴは、エリアイメージセンサー１５に備えられた複数の光電変換素子ごとに乗算すべき露光量のゲインＧＥ（Ｌ，Ｃ）、すなわち補正量が規定されたデータであり、設定された露光時間ＴＥごとに予め作成される。露光量補正部は、撮影時に設定された露光時間を取得し、当該露光時間に対応するＬＵＴを参照する。撮像データの各画素とエリアイメージセンサー１５の複数の光電変換素子とは一意に対応するため、露光量補正部は、各画素について乗算すべき露光量のゲインを特定できる。本変形例では、ゲインＧＥ（Ｌ，Ｃ）を以下のようにして設定することにより、露光時間のばらつきに起因した露光量のばらつきを抑制する。
【００３９】
本変形例では、ＬＵＴを作成するためのコンピューターが遮光幕の運動を予測し、さらに撮影光の光線予測により素子面における露光領域Ｒ１と遮光領域Ｒ２との境界Ｂの推移を予測することにより、すべての光電変換素子についての現実の露光時間ＴＡ（Ｌ，Ｃ）＝｛Ｙ（Ｌ，Ｃ）−Ｙ（Ｌ）｝を算出する。そして、設定された露光時間ＴＥを現実の露光時間ＴＡ（Ｌ，Ｃ）で除算することによりゲインＧＥ（Ｌ，Ｃ）を算出する。もしくは、一様な明るさの被写体を撮影することで、すべての光電変換素子について、現実の露光量に比例して蓄積した電荷量を取得する。そして、露光時間ＴＡ（Ｌ，Ｃ）が判明している光電変換素子の電荷量を露光時間ＴＡ（Ｌ，Ｃ）が不明な光電変換素子の電荷量で除算することによりゲインＧＥ（Ｌ，Ｃ）を算出する。なお、図５Ｂでは、水平方向左端と中央と右端の列に属する光電変換素子についてのタイミングＹを図示したが、すべての列に属する光電変換素子についてのタイミングＹを予測し、ゲインＧＥを算出する。さらに、各光電変換素子にゲインＧＥを対応付けてＬＵＴに格納する。
【００４０】
ここで、現実の露光時間ＴＡ（Ｌ，Ｃ）が設定された露光時間ＴＥよりも短い光電変換素子についてのゲインＧＥ（Ｌ，Ｃ）は１よりも大きく、反対に現実の露光時間ＴＡ（Ｌ，Ｃ）が設定された露光時間ＴＥよりも大きい光電変換素子についてのゲインＧＥ（Ｌ，Ｃ）は１よりも小さくなる。ただし、ゲインＧＥの値は必ず１以上の値になるように設計することが望ましい。ゲインＧＥの値を１以上にすることで、補正後の露光量の最大飽和値が一定数値よりも下回ることで発生する画像の光量むらや色むらを抑制することができる。また、現実の露光時間ＴＡ（Ｌ，Ｃ）と、設定された露光時間ＴＥとの誤差の絶対値が大きくなるほど、ゲインＧＥ（Ｌ，Ｃ）は１から大きく相違する値となる。以上のように設定されたゲインＧＥを露光量の階調値に乗算することにより、現実の露光時間ＴＡ（Ｌ，Ｃ）が短い光電変換素子についての露光量を増加させ、現実の露光時間ＴＡ（Ｌ，Ｃ）が長い光電変換素子についての露光量を減少させることができ、露光時間のばらつきの露光量に対する影響を抑制できる。すなわち、ゲインＧＥ（Ｌ，Ｃ）によれば画素単位、すなわち光電変換素子単位でゲインＧＥが規定できるため、光電変換素子の垂直方向の位置と水平方向の位置の双方に依存してばらつく露光時間のばらつきの影響を抑制できる。特に、露光領域Ｒ１と遮光領域Ｒ２との境界Ｂがラインと交差することによって生じる水平方向における露光時間のばらつきは、仮に電子シャッターのタイミングＸを機械シャッター１３のタイミングＹ（Ｌ，Ｃmid）に完全に追従させた場合でも解消できないが、ゲインＧＥ（Ｌ，Ｃ）による補正を行うことにより水平方向における露光時間のばらつきの影響も抑制できる。なお、本変形例では露光時間と露光量とは比例関係にあると見なしてゲインＧＥを乗算して補正を行うこととしたが、露光時間と露光量との非線形性を考慮する場合にはゲインＧＥを非線形変換した上で露光量の補正を行ってもよい。なお、ゲインＧＥ（Ｌ，Ｃ）に基づく補正は、非追従動作を行った場合にも行ってもよい。
【００４１】
（４）変形例２：
第１露光開始タイミングの露光終了タイミングに対する追従度が高ければ高いほど露光時間の均一性に優れる反面、追従度が高ければ高いほど必要な処理能力が高くなる。この限度において第１露光開始タイミングと第２露光開始タイミングとを前記実施形態と異なる態様とすることができる。例えば、第１露光開始タイミングを機械シャッター１３のタイミングＹ（Ｌ）を単にオフセットした曲線Ｚで規定し、第２露光開始タイミングを曲線Ｚに接する、もしくは、近似した３段折れ線で規定してもよい。第１露光開始タイミングを機械シャッター１３のタイミングＹ（Ｌ）をオフセットした曲線Ｚに接するｍ（ｍは３以上の整数。）段で規定し、第２露光開始タイミングを曲線Ｚに接するｋ（ｋは２以上かつｍより小さい整数。）段折れ線で規定してもよい。これらの場合、第１露光開始タイミングよりも第２露光開始タイミングの方が機械シャッター１３のタイミングＹ（Ｌ）に対する追従度が低くなる。また折れ線を用いずに、第２露光開始タイミングを曲線Ｚに近似した曲線で規定してもよい。この曲線は例えば、ｎを大きくすることで追従度が高くなるｎ次曲線（ｎは１以上の整数）とすることができる。
（５）変形例３：
設定された露光時間ＴＥが長ければ露光時間のばらつきは小さくなる。よって、複数の閾値ＴＨｉ（０＜ＴＨ１＜ＴＨ2＜・・・）をもち、設定された露光時間ＴＥｉがＴＨｉ≦ＴＥ＜ＴＨｉ＋１であれば、ＴＥｉの場合の第２露光開始タイミングの折れ線の段数をＴＥｉ＋１の場合の第２露光開始タイミングの折れ線の段数よりも多くするなど、機械シャッター１３のタイミングＹ（Ｌ）に対する追従度がより高くなるように露光を開始しても良い。すなわち、露光時間ＴＥが最大の閾値ＴＨmaxよりも短い場合において、露光時間ＴＥが最大の閾値ＴＨmaxに近似するほど、第１露光タイミングの機械シャッター１３のタイミングＹ（Ｌ）に対する追従度を低くしてもよい。また、設定された露光時間ＴＥが最大の閾値ＴＨmax以上である場合に非追従動作（グローバルシャッター動作）ではなく、折れ線の段数が小さい追従動作（ローリングシャッター動作）を行うようにしても良い。ここで折れ線に代えて曲線としても良い。
本発明の具体的態様は、上述の実施形態や変形例に限定されるものではなく、実施形態や変形例同士を組み合わせたものであってもよいし、本発明の技術的思想を逸脱しない範囲で変形を行ってもよい。
【符号の説明】
【００４２】
１…撮影装置、１０…光学系、１１…レンズ、１２…絞り、１３…機械シャッター、１４…ローパスフィルター、１５…エリアイメージセンサー、２０…画像データ生成部、２０ａ…画素補間部、２０ｂ…色再現処理部、２０ｃ…フィルター処理部、２０ｄ…ガンマ補正部、２０ｅ…リサイズ処理部、３０…タイミングジェネレーター、３０ａ…センサー制御部、３０ａ１…電子シャッター制御部、３０ｂ…表示制御部、４０…表示部、４１…液晶パネルドライバー、４２…液晶パネル、５５…操作部、５６…リムーバルメモリー。
【特許請求の範囲】
【請求項１】
電子シャッターによって、複数の光電変換素子における電荷の蓄積を開始させることにより前記複数の光電変換素子における露光を開始させ、
機械シャッターによって、遮光部を移動させて前記複数の光電変換素子が配列する素子面を遮光することにより、前記複数の光電変換素子における露光を終了させる撮影装置であって、
露光時間が所定の閾値よりも短いか否かを判定する判定部と、
前記露光時間が前記閾値よりも短い場合に、前記機械シャッターが前記複数の光電変換素子の露光を終了させる露光終了タイミングに追従する第１露光開始タイミングで、前記電子シャッターに前記複数の光電変換素子における露光を開始させ、
前記露光時間が前記閾値以上である場合に、前記第１露光開始タイミングよりも前記露光終了タイミングに対する追従度が低い第２露光開始タイミングで、前記電子シャッターに前記複数の光電変換素子における露光を開始させる電子シャッター制御部と、
を備える撮影装置。
【請求項２】
前記電子シャッター制御部は、前記露光時間が前記閾値以上である場合に、前記電子シャッターに前記素子面上のすべての前記複数の光電変換素子における露光を同時に開始させる、
請求項１に記載の撮影装置。
【請求項３】
前記露光時間が前記閾値よりも短い場合に、前記複数の光電変換素子における露光開始タイミングと前記露光終了タイミングとの差に起因する露光量のばらつきを抑制する補正を行う、
請求項１または請求項２のいずれかに記載の撮影装置。
【請求項４】
前記判定部は、複数の前記閾値と前記露光時間とを比較して判定を行い、
前記電子シャッター制御部は、前記露光時間がより大きい前記閾値以上であるほど、より追従度が低い露光開始タイミングで、前記電子シャッターに前記複数の光電変換素子における露光を開始させる、
請求項１から請求項３のいずれか一項に記載の撮影装置。
【請求項５】
前記第１露光開始タイミングは、時刻と露光開始する前記複数の光電変換素子の位置とをグラフに表した場合に、折れ線で表されるタイミングである
請求項１から請求項４のいずれか一項に記載の撮影装置。
【請求項６】
前記第１露光開始タイミングは、時刻と露光開始する前記複数の光電変換素子の位置とをグラフに表した場合に、ｎ次曲線で表されるタイミングである
請求項１から請求項４のいずれか一項に記載の撮影装置。
【請求項７】
電子シャッターによって、複数の光電変換素子における電荷の蓄積を開始させることにより前記複数の光電変換素子における露光を開始させ、機械シャッターによって、遮光部を移動させて前記複数の光電変換素子が配列する素子面を遮光することにより、前記複数の光電変換素子における露光を終了させる撮影装置にて画像の撮影を行う撮影方法であって、
露光時間が所定の閾値よりも短いか否かを判定し、
前記露光時間が前記閾値よりも短い場合に、前記機械シャッターが前記複数の光電変換素子の露光を終了させる露光終了タイミングに追従する第１露光開始タイミングで、前記電子シャッターに前記複数の光電変換素子における露光を開始させ、
前記露光時間が前記閾値以上である場合に、前記第１露光開始タイミングよりも前記露光終了タイミングに対する追従度が低い第２露光開始タイミングで、前記電子シャッターに前記複数の光電変換素子における露光を開始させる、
撮影方法。
【請求項８】
電子シャッターによって、複数の光電変換素子における電荷の蓄積を開始させることにより前記複数の光電変換素子における露光を開始させ、機械シャッターによって、遮光部を移動させて前記複数の光電変換素子が配列する素子面を遮光することにより、前記複数の光電変換素子における露光を終了させる撮影装置にて実行される撮影プログラムであって、
露光時間が所定の閾値よりも短いか否かを判定する判定機能と、
前記露光時間が前記閾値よりも短い場合に、前記機械シャッターが前記複数の光電変換素子の露光を終了させる露光終了タイミングに追従する第１露光開始タイミングで、前記電子シャッターに前記複数の光電変換素子における露光を開始させ、
前記露光時間が前記閾値以上である場合に、前記第１露光開始タイミングよりも前記露光終了タイミングに対する追従度が低い第２露光開始タイミングで、前記電子シャッターに前記複数の光電変換素子における露光を開始させる電子シャッター制御機能と、
を前記撮影装置に実行させる撮影プログラム。
【請求項１】
電子シャッターによって、複数の光電変換素子における電荷の蓄積を開始させることにより前記複数の光電変換素子における露光を開始させ、
機械シャッターによって、遮光部を移動させて前記複数の光電変換素子が配列する素子面を遮光することにより、前記複数の光電変換素子における露光を終了させる撮影装置であって、
露光時間が所定の閾値よりも短いか否かを判定する判定部と、
前記露光時間が前記閾値よりも短い場合に、前記機械シャッターが前記複数の光電変換素子の露光を終了させる露光終了タイミングに追従する第１露光開始タイミングで、前記電子シャッターに前記複数の光電変換素子における露光を開始させ、
前記露光時間が前記閾値以上である場合に、前記第１露光開始タイミングよりも前記露光終了タイミングに対する追従度が低い第２露光開始タイミングで、前記電子シャッターに前記複数の光電変換素子における露光を開始させる電子シャッター制御部と、
を備える撮影装置。
【請求項２】
前記電子シャッター制御部は、前記露光時間が前記閾値以上である場合に、前記電子シャッターに前記素子面上のすべての前記複数の光電変換素子における露光を同時に開始させる、
請求項１に記載の撮影装置。
【請求項３】
前記露光時間が前記閾値よりも短い場合に、前記複数の光電変換素子における露光開始タイミングと前記露光終了タイミングとの差に起因する露光量のばらつきを抑制する補正を行う、
請求項１または請求項２のいずれかに記載の撮影装置。
【請求項４】
前記判定部は、複数の前記閾値と前記露光時間とを比較して判定を行い、
前記電子シャッター制御部は、前記露光時間がより大きい前記閾値以上であるほど、より追従度が低い露光開始タイミングで、前記電子シャッターに前記複数の光電変換素子における露光を開始させる、
請求項１から請求項３のいずれか一項に記載の撮影装置。
【請求項５】
前記第１露光開始タイミングは、時刻と露光開始する前記複数の光電変換素子の位置とをグラフに表した場合に、折れ線で表されるタイミングである
請求項１から請求項４のいずれか一項に記載の撮影装置。
【請求項６】
前記第１露光開始タイミングは、時刻と露光開始する前記複数の光電変換素子の位置とをグラフに表した場合に、ｎ次曲線で表されるタイミングである
請求項１から請求項４のいずれか一項に記載の撮影装置。
【請求項７】
電子シャッターによって、複数の光電変換素子における電荷の蓄積を開始させることにより前記複数の光電変換素子における露光を開始させ、機械シャッターによって、遮光部を移動させて前記複数の光電変換素子が配列する素子面を遮光することにより、前記複数の光電変換素子における露光を終了させる撮影装置にて画像の撮影を行う撮影方法であって、
露光時間が所定の閾値よりも短いか否かを判定し、
前記露光時間が前記閾値よりも短い場合に、前記機械シャッターが前記複数の光電変換素子の露光を終了させる露光終了タイミングに追従する第１露光開始タイミングで、前記電子シャッターに前記複数の光電変換素子における露光を開始させ、
前記露光時間が前記閾値以上である場合に、前記第１露光開始タイミングよりも前記露光終了タイミングに対する追従度が低い第２露光開始タイミングで、前記電子シャッターに前記複数の光電変換素子における露光を開始させる、
撮影方法。
【請求項８】
電子シャッターによって、複数の光電変換素子における電荷の蓄積を開始させることにより前記複数の光電変換素子における露光を開始させ、機械シャッターによって、遮光部を移動させて前記複数の光電変換素子が配列する素子面を遮光することにより、前記複数の光電変換素子における露光を終了させる撮影装置にて実行される撮影プログラムであって、
露光時間が所定の閾値よりも短いか否かを判定する判定機能と、
前記露光時間が前記閾値よりも短い場合に、前記機械シャッターが前記複数の光電変換素子の露光を終了させる露光終了タイミングに追従する第１露光開始タイミングで、前記電子シャッターに前記複数の光電変換素子における露光を開始させ、
前記露光時間が前記閾値以上である場合に、前記第１露光開始タイミングよりも前記露光終了タイミングに対する追従度が低い第２露光開始タイミングで、前記電子シャッターに前記複数の光電変換素子における露光を開始させる電子シャッター制御機能と、
を前記撮影装置に実行させる撮影プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１０５２４０（Ｐ２０１２−１０５２４０Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２５４５７９（Ｐ２０１０−２５４５７９）
【出願日】平成２２年１１月１５日（２０１０．１１．１５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月１５日（２０１０．１１．１５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]