説明

撮影装置およびインターバル撮影方法

【課題】インターバル撮影によって得られる動画の品質を向上する。
【解決手段】システムコントローラ9は、今回のインターバル期間の開始のタイミングで撮影された画像を、前回のインターバル期間の採用画像と比較して、動きの速い物体が写っている可能性のある画像であるか否かを判定し、動きの速い物体が写っている可能性のある画像であれば、その画像は採用せず、すぐに次の画像を撮影部2に撮影させ、この画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定する。これを繰り返し、動きの速い物体が写っている可能性のある画像でない画像が得られたら、今回のインターバル期間における採用画像に決定する。動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られないまま、今回のインターバル期間が終了する所定時間前になったら、今回のインターバル期間の所定のタイミングで撮影された画像を採用画像とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、インターバル撮影機能を有する撮影装置、およびそのインターバル撮影方法に関する。
【背景技術】
【0002】
従来、ビデオカメラの特殊撮影機能の1つとして、インターバル撮影(タイムラプス撮影ともいう)と呼ばれるものが知られている(例えば、特許文献1参照)。インターバル撮影は、所定の時間間隔で、遅い速度で撮影を行うもので、撮影した画像を、時間軸を短縮した動画として再生することで、動きの遅い被写体の変化を高速度で表現する動画が得られる。
【0003】
なお、インターバル撮影方法の中には、監視カメラ等の用途で、被写体に変化があったときに撮影を行うものもあるが、本明細書では、このような用途ではなく、上記のように、所定時間間隔で撮影した画像を動画として再生する用途を前提とする。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平3−265282号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
インターバル撮影により、流れる雲や日没の様子などの、ゆっくり変化する風景を撮影すると、美しい動画が得られる。このため、このような空を含む風景は、よくインターバル撮影の対象とされる。また、花の開花や昆虫の羽化の様子なども、インターバル撮影の対象とされることがある。
【0006】
このようなインターバル撮影において、撮影中にたまたま画面内を通り過ぎた動きの速い物体が撮影されることがある。
【0007】
例えば、空を含む風景をインターバル撮影している場合に、画面内を通り過ぎる鳥が撮影されることがある。空を含む風景の場合、撮影間隔を5秒から20秒に1フレームとして、数時間から8時間程度をかけて撮影することが多い。その撮影中に画面内を鳥が通り過ぎると、多くの場合、鳥が写っているのはせいぜい数フレームである。
【0008】
このような場合、撮影された画像を動画として再生すると、ある1フレームにだけ鳥が写っていて、数秒後にまた1フレームにだけ鳥が写っている、というような再生画像になる。1フレームにしか写っていない鳥は、動画の再生画像にノイズのように現れてしまい、動画の品質低下を招いていた。
【0009】
花の開花や昆虫の羽化の様子などをインターバル撮影する場合においても、画面内を通り過ぎた虫などが撮影され、動画の再生画像にノイズのように見えてしまうことがあった。
【0010】
本発明は上記に鑑みてなされたもので、インターバル撮影によって得られる動画の品質を向上することができる撮影装置およびインターバル撮影方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の一態様によれば、被写体を撮影して画像を得る撮影部と、前記撮影部で得られた画像のうち、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する画像決定部と、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間になってから撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回のインターバル期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像に決定することを特徴とする撮影装置が提供される。
【0012】
本発明の他の態様によれば、被写体を撮影して画像を得る撮影部と、前記撮影部で得られた画像のうち、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する画像決定部と、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間になってから撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回のインターバル期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、採用画像の決定を保留して今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像の候補画像として候補画像保存部に保存し、採用画像の決定を保留したインターバル期間の次のインターバル期間においては、直前のインターバル期間で前記判定部の処理において前記前回採用画像として用いた画像を引き続き用いて前記判定部の処理を行わせ、採用画像の決定を保留するインターバル期間が所定数だけ連続した場合、前記候補画像保存部に保存されている前記所定数の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、採用画像の決定を保留するインターバル期間が所定数だけ連続する前に、採用画像の決定を保留しないインターバル期間があった場合、前記候補画像保存部に保存されている候補画像を破棄することを特徴とする撮影装置が提供される。
【0013】
本発明の他の態様によれば、被写体を撮影して画像を得る撮影部と、前記撮影部で得られた画像のうち、設定された判断期間ごとの撮影画像として採用する画像を決定し、複数の判断期間における採用された撮影画像から、前記判断期間より長いインターバル期間の撮影画像として採用する1枚の正式採用画像を決定する画像決定部と、前回の判断期間において撮影画像として採用された画像である前回採用画像と、今回の判断期間になってから撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回の判断期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回の判断期間における採用画像に決定し、今回の判断期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回の判断期間の所定のタイミングで撮影された画像を今回の採用画像に決定し、さらに、1つ以上の判断期間おきに採用画像をインターバル期間の正式採用画像として決定することを特徴とする撮影装置が提供される。
【0014】
本発明の他の態様によれば、インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する撮影装置におけるインターバル撮影方法であって、インターバル期間の開始のタイミングで被写体を撮影し、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間の開始のタイミングで撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像に決定することを特徴とするインターバル撮影方法が提供される。
【0015】
本発明の他の態様によれば、インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する撮影装置におけるインターバル撮影方法であって、インターバル期間の開始のタイミングで被写体を撮影し、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間の開始のタイミングで撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、採用画像の決定を保留して今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像の候補画像として候補画像保存部に保存し、採用画像の決定を保留したインターバル期間の次のインターバル期間においては、直前のインターバル期間で前記判定を行う際に前記前回採用画像として用いた画像を引き続き用いて前記判定を行い、採用画像の決定を保留するインターバル期間が所定数だけ連続した場合、前記候補画像保存部に保存されている前記所定数の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、採用画像の決定を保留するインターバル期間が所定数だけ連続する前に、採用画像の決定を保留しないインターバル期間があった場合、前記候補画像保存部に保存されている候補画像を破棄することを特徴とするインターバル撮影方法が提供される。
【0016】
本発明の他の態様によれば、インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する正式採用画像を決定する撮影装置におけるインターバル撮影方法であって、インターバル期間より短い期間である判断期間の開始のタイミングで被写体を撮影し、前回の判断期間において撮影画像として採用された採用画像である前回採用画像と、今回の判断期間の開始のタイミングで撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、今回の判断期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回の判断期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、今回の判断期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回の判断期間における採用画像に決定し、今回の判断期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回の判断期間の所定のタイミングで撮影された画像を今回の採用画像に決定し、1つ以上の判断期間おきに採用画像をインターバル期間の正式採用画像として決定することを特徴とするインターバル撮影方法が提供される。
【発明の効果】
【0017】
本発明によれば、インターバル撮影によって得られる動画の品質を向上することができる。
【図面の簡単な説明】
【0018】
【図1】第1の実施の形態に係る撮影装置の構成を示すブロック図である。
【図2】第1の実施の形態の撮影装置において、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。
【図3】第1の実施の形態の撮影装置において、インターバル期間の採用画像を決定する処理の手順を示すフローチャートである。
【図4】風景を撮影した画像の一例を示す図である。
【図5】鳥が通り過ぎる風景を撮影した画像の一例を示す図である。
【図6】図4に示す画像と図5に示す画像との輝度差分を白黒画像にしたものを示す図である。
【図7】図4に示す画像と図5に示す画像との色差差分を白黒画像にしたものを示す図である。
【図8】図6の一部の拡大図である。
【図9】第1の実施の形態の変形例に係る撮影装置の構成を示すブロック図である。
【図10】第2の実施の形態に係る撮影装置の構成を示すブロック図である。
【図11】第2の実施の形態の撮影装置において、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。
【図12】第2の実施の形態の撮影装置において、インターバル期間の採用画像を決定する処理の手順を示すフローチャートである。
【図13】第3の実施の形態における判断期間とインターバル期間との関係の一例を示す図である。
【図14】第3の実施の形態の撮影装置において、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図面を通じて同一もしくは同等の部位や構成要素には、同一もしくは同等の符号を付し、その説明を省略もしくは簡略化する。
【0020】
[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る撮影装置の構成を示すブロック図である。図1に示すように第1の実施の形態に係る撮影装置1は、撮影部2と、画像メモリ3A,3B,3Cと、エンコード用画像メモリ4と、動画エンコーダ5と、無音データ生成部6と、マルチプレクサ7と、記録部8と、システムコントローラ9と、操作入力部10とを備える。
【0021】
撮影部2は、被写体を撮影するものであり、レンズ21と、撮像素子22と、信号処理部23と、タイミングジェネレータ(TG)24とを備える。
【0022】
レンズ21は、被写体からの光を撮像素子22に結像させる。
【0023】
撮像素子22は、CCD(Charge Coupled Device),CMOS(Complementary Metal Oxide Semiconductor)等からなり、レンズ21を通して入射した光を光電変換して電気信号を出力する。
【0024】
信号処理部23は、撮像素子22から入力される電気信号を処理して、各画素を輝度Yおよび色差Cb,Crで表す画像を生成する。
【0025】
タイミングジェネレータ24は、システムコントローラ9からの制御に応じて、撮像素子22を駆動するタイミング制御信号を生成し、これを撮像素子22に供給する。
【0026】
画像メモリ3A,3B,3Cは、インターバル撮影において、各インターバル期間における撮影画像として採用する採用画像を決定するために用いられるものである。
【0027】
本実施の形態におけるインターバル撮影では、後述するように、設定された時間間隔の撮影タイミングで撮影された画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定し、動きの速い物体が写っている可能性のある画像であると判定した場合は、その画像は撮影画像としては採用せず、すぐに次の画像を撮影し、この画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定する。これを繰り返すことで、動きの速い物体が写っている可能性のある画像でない画像を検出し、その画像をインターバル撮影の採用画像として決定する。画像メモリ3A,3B,3Cは、このような採用画像を決定する処理に用いられる。なお、本実施の形態では、設定された時間間隔の撮影タイミング間をインターバル期間と呼ぶものとする。各インターバル期間において1枚の採用画像が決定される。
【0028】
画像メモリ3Aは、撮影部2で撮影された1フレームの画像を取り込んで記憶する。画像メモリ3Aに取り込まれた画像は、画像メモリ3Bに記憶されている前回のインターバル期間の採用画像と比較され、今回のインターバル期間の採用画像とするか否かが判定される。
【0029】
画像メモリ3Bは、画像メモリ3Aに取り込まれた画像のうち、採用画像として決定された1フレームの画像を記憶する。画像メモリ3Bに記憶された採用画像は、エンコード用画像メモリ4に取り込まれる。また、画像メモリ3Bに記憶された採用画像は、次回のインターバル期間における採用画像を決定するための比較対象の画像として用いられる。
【0030】
画像メモリ3Cは、インターバル期間の開始のタイミングで撮影された1フレームの画像を画像メモリ3Aから取り込んで記憶する。後述するように、インターバル期間が終了する所定時間前までに、動きの速い物体が写っている可能性のある画像でないと判定される画像が得られない場合、画像メモリ3Cに記憶された画像がそのインターバル期間の採用画像に決定される。
【0031】
エンコード用画像メモリ4は、動画エンコーダ5で動画エンコードを行うための画像を保持するものであり、動画エンコードに用いられる画像である採用画像を画像メモリ3Bから取り込む。エンコード用画像メモリ4は、動画エンコーダ5においてH.264方式で動画エンコードを行うのに必要なフレームを同時に参照できるだけの画像を保持することができる。
【0032】
動画エンコーダ5は、エンコード用画像メモリ4から各インターバル期間の採用画像を取得し、H.264方式で動画エンコードを行い、ビデオ符号化データを出力する。
【0033】
無音データ生成部6は、DSP(Digital Signal Processor)からなり、AC−3(Audio Code number 3)規格の無音データを生成する。インターバル撮影では、マイクからの音声は記録しないが、本実施の形態では、後述のようにAVCHD(Advanced Video Codec High Definition)形式でストリームを記録部8に記録するため、無音データ生成部6で無音データを生成する。
【0034】
マルチプレクサ7は、動画エンコーダ5から入力されるビデオ符号化データと、無音データ生成部6から入力される無音データとをマルチプレクスし、AVCHD規格のストリームとして記録部8に記録する。
【0035】
記録部8は、ハードディスク等の不揮発性の記録媒体を有し、マルチプレクサ7から入力されるストリームを記録する。
【0036】
システムコントローラ9は、CPU、CPUの動作のための制御プログラム等を格納するROM、CPUのワーク領域として使用されるRAM(いずれも図示せず)等を備えて構成され、撮影装置1全体の動作を制御する。
【0037】
インターバル撮影に関する制御内容として、システムコントローラ9は、画像メモリ3Bに記憶された、前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間で画像メモリ3Aに取り込まれた画像とを比較し、画像メモリ3Aの画像が、動きの速い物体が写っている可能性のある画像であるか否かの判定を行うようになっており、判定部としての機能を有する。
【0038】
また、システムコントローラ9は、画像メモリ3A,3Bの画像を比較して上記判定を行った結果から採用画像を決定する画像決定部としての機能を有する。
【0039】
操作入力部10は、ユーザが撮影装置1を操作するための入力を行う部分であり、図示しない各種操作ボタン等を有し、ユーザ操作に応じた操作信号を出力する。
【0040】
次に、撮影装置1のインターバル撮影時の動作について説明する。
【0041】
撮影装置1でインターバル撮影を行う際、ユーザは、操作入力部10を操作して、動きの速い物体の撮影を避けるモードを選択することができる。図2は、第1の実施の形態の撮影装置1において、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。
【0042】
インターバル撮影が開始されると、ステップS10において、システムコントローラ9は、今回のインターバル期間において撮影画像として採用する画像である採用画像を決定する処理を行う。ステップS10の採用画像を決定する処理の詳細は後述する。
【0043】
ステップS20では、システムコントローラ9は、操作入力部10からの操作信号に基づき、インターバル撮影を停止するための撮影停止操作が行われたか否かを判断する。撮影停止操作が行われた場合(ステップS20:YES)、システムコントローラ9は、インターバル撮影を終了するよう制御する。
【0044】
撮影停止操作が行われていない場合(ステップS20:NO)、ステップS30において、次回のインターバル期間の開始のタイミングになったか否かを判断する。次回のインターバル期間の開始のタイミングになった場合(ステップS30:YES)、ステップS10に戻り、次回のインターバル期間で採用する画像を決定し、以降の処理を繰り返す。次回のインターバル期間の開始のタイミングになっていない場合(ステップS30:NO)、ステップS20に戻る。
【0045】
次に、上記ステップS10で行うインターバル期間の採用画像を決定する処理について、図3に示すフローチャートを参照して説明する。
【0046】
図3のステップS110において、システムコントローラ9は、撮影部2に撮影を行わせ、得られた画像を画像メモリ3Aに取り込んで記憶させる。この撮影がインターバル期間における最初の撮影である場合は、インターバル期間の開始のタイミングに撮影が行われる。
【0047】
次いで、ステップS120において、システムコントローラ9は、今回のインターバル期間が、インターバル撮影を開始して最初のインターバル期間であるか否かを判断する。最初のインターバル期間である場合(ステップS120:YES)、ステップS130において、システムコントローラ9は、画像メモリ3Aの画像を今回のインターバル期間の採用画像に決定し、この採用画像を画像メモリ3Bにコピーして記憶させる。画像メモリ3Bに記憶された採用画像は、エンコード用画像メモリ4に取り込まれる。
【0048】
最初のインターバル期間でない場合(ステップS120:NO)、ステップS140において、システムコントローラ9は、ステップS110で画像メモリ3Aに取り込んだ画像が、今回のインターバル期間における最初に撮影された画像であるか否か、つまり、今回のインターバル期間の開始のタイミングで撮影された画像であるか否かを判断する。今回のインターバル期間における最初の画像である場合(ステップS140:YES)、ステップS150に進み、最初の画像でない場合(ステップS140:NO)、ステップS160に進む。
【0049】
ステップS150では、システムコントローラ9は、ステップS110で画像メモリ3Aに取り込んだ画像を、画像メモリ3Cにコピーして記憶させる。
【0050】
次いで、ステップS160において、システムコントローラ9は、画像メモリ3Aの画像と画像メモリ3Bの画像とを比較し、2画像間の輝度の差分(輝度の差の絶対値)が所定の輝度差分値である閾値Ytを超えている画素数を示す輝度評価値Gyと、色差の差分が所定の色差差分値である閾値Ctを超えている画素数を示す色差評価値Gcとを求める。色差にはCb値とCr値とがあるが、本実施の形態では、それぞれの値の2画素間の差の絶対値の和を、色差の差分として算出する。
【0051】
輝度評価値Gy、色差評価値Gcは、画像メモリ3Aの画像に、インターバル撮影に好ましくない動きの速い物体が写っているか否かを判定するために求めるものである。
【0052】
例えば、風景をインターバル撮影している場合において、画面内を鳥が通り過ぎたとする。このような場合、図4に示すような画像が採用画像として画像メモリ3Bに記憶されているときに、図5に示すような、鳥(図5において円で囲った部分)が写った画像が画像メモリ3Aに取り込まれることがある。この場合の、画像メモリ3Aの画像と画像メモリ3Bの画像との輝度差分を白黒画像にしたものを図6に示し、色差差分を白黒画像にしたものを図7に示す。また、図6において輝度の差があらわれている部分の拡大図を図8に示す。
【0053】
なお、図6〜図8は、説明の便宜のために示すものであり、図6〜図8のような画像状態を作らなくとも、システムコントローラ9は輝度評価値Gy、色差評価値Gcを求めることができる。
【0054】
画像メモリ3Aの画像に写った鳥は、図6、図8のように、輝度の差分としてあらわれる。なお、この場合は、図7のように、色差の差分としてはあらわれないが、撮影対象によっては、動きの速い物体が色差の差分としてあらわれることもある。このようなことから、上記の輝度評価値Gy、色差評価値Gcが大きい場合、画像メモリ3Aの画像に動きの速い物体が写っている可能性がある。
【0055】
そこで、ステップS170において、システムコントローラ9は、ステップS160で求めた輝度評価値Gyおよび色差評価値Gcが、ともに所定の閾値S以下であるか否かを判断する。
【0056】
輝度評価値Gyおよび色差評価値Gcがともに閾値S以下である場合(ステップS170:YES)、ステップS130において、システムコントローラ9は、画像メモリ3Aの画像は動きの速い物体が写っている可能性のある画像ではないと判定して、今回のインターバル期間の採用画像に決定し、この採用画像を画像メモリ3Bにコピーして記憶させる。画像メモリ3Bに記憶された採用画像は、エンコード用画像メモリ4に取り込まれる。
【0057】
閾値Yt、閾値Ct、閾値Sは、予め設定されるものである。これらを適切に設定することで、撮影対象の風景における雲や太陽光などのゆっくりした変化や、撮像素子22からのノイズなどによる画像の変化は無視し、鳥などの動きの速い物体による画像の変化を捉えることができる。
【0058】
輝度評価値Gyおよび色差評価値Gcのうちの少なくともいずれか一方が閾値Sを超える場合(ステップS170:NO)、ステップS180において、システムコントローラ9は、今回のインターバル期間が終了する所定時間前(例えば1秒前)になったか否かを判断する。今回のインターバル期間が終了する所定時間前になった場合(ステップS180:YES)、ステップS190に進む。今回のインターバル期間が終了する所定時間前になっていない場合(ステップS180:NO)、ステップS110に戻り、システムコントローラ9は、次の画像を撮影して画像メモリ3Aに取り込ませ、以降の処理を繰り返す。
【0059】
ステップS180からステップS110に戻った場合、撮影部2からはV同期のタイミングでしか画像を画像メモリ3Aに取り込めないが、取り込み可能になり次第、画像メモリ3Aへの画像の取り込みを行う。
【0060】
ステップS190では、システムコントローラ9は、今回のインターバル期間の開始のタイミングで撮影されて画像メモリ3Cに記憶された画像を、今回のインターバル期間の採用画像に決定し、この採用画像を画像メモリ3Bに記憶させる。画像メモリ3Bに記憶された採用画像は、エンコード用画像メモリ4に取り込まれる。
【0061】
上述のような図3のフローチャートに示した一連の処理により、まず、最初のインターバル期間においては、その開始のタイミングで撮影された画像がそのまま採用画像となる。2回目以降のインターバル期間では、まず、そのインターバル期間の開始のタイミングで撮影され画像メモリ3Aに取り込まれた画像が、前回のインターバル期間の採用画像である画像メモリ3Bの画像と比較され、動きの速い物体が写っている可能性のある画像であるか否かが判定される。動きの速い物体が写っている可能性のある画像ではないと判定された場合は、画像メモリ3Aの画像が採用画像に決定し、採用画像は画像メモリ3Bに記憶され、エンコード用画像メモリ4に取り込まれる。
【0062】
動きの速い物体が写っている可能性のある画像であると判定された場合は、その画像メモリ3Aの画像は撮影画像としては採用されず、すぐに次の画像が撮影され画像メモリ3Aに取り込まれ、画像メモリ3Bの画像と比較され、動きの速い物体が写っている可能性のある画像であるか否かが判定される。このような画像の撮り直しおよび判定が、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られるまで繰り返される。
【0063】
例えば、図4のような風景を、10秒のインターバル期間を設定して撮影している場合に、2回目以降のインターバル期間である今回のインターバル期間において、その開始タイミングに図5のように画面内に鳥が入っており、その後約2秒間をかけて画面外に鳥が飛び去るとする。
【0064】
この場合、今回のインターバル期間の開始タイミングで撮影され画像メモリ3Aに取り込まれた図5のような画像は、動きの速い物体が写っている可能性のある画像であると判定される。すると、すぐ次の画像の取り込み可能なタイミングで、撮影部2から画像メモリ3Aへの画像の取り込みが行われる。そして、この2枚目の画像が画像メモリ3Bの画像と比較され、動きの速い物体が写っている可能性のある画像であるか否かが判定される。
【0065】
システムコントローラ9による2画像の比較および判定処理には、例えば100msの時間を要する。また、前述のように撮影部2からはV同期のタイミングでしか画像を画像メモリ3Aに取り込めない。このため、今回のインターバル期間で2枚目に撮影された画像は、最初に開始タイミングで撮影された画像と、(100ms+V同期待ち時間)だけ時間軸上で離れている。しかしながら、この例では、鳥が画面外に飛び去るまで約2秒間かかるため、今回のインターバル期間で2枚目に撮影された画像にも鳥が写っており、動きの速い物体が写っている可能性のある画像であると判定される。すると、次の画像が撮り直され、画像メモリ3Bの画像と比較され、動きの速い物体が写っている可能性のある画像であるか否かが判定される。
【0066】
これが繰り返されながら時間が経過すると、鳥が画面外に飛び去り、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られ、この画像が今回のインターバル期間の採用画像に決定する。このようにすることで、今回のインターバル期間の採用画像は、前回のインターバル期間の採用画像から約12秒後に撮影されたものになり、設定された時間間隔と異なる。しかし、その代わりに、動画として再生したときにノイズのようにあらわれる鳥の撮影を回避できる。
【0067】
なお、鳥のような動きの速い物体が画面に入る場合以外でも、例えば、インターバル期間の間に、雲の間から差す太陽光の状態が大きく変化したような場合、画像メモリ3Aに取り込まれた画像が、画像メモリ3Bの画像と比較して、輝度評価値Gyおよび色差評価値Gcのうちの少なくともいずれか一方が閾値Sを超えるようになることがある。このような画像も、撮影を避けるべき可能性のある画像として、動きの速い物体が写っている可能性のある画像と同様に扱う。
【0068】
さて、上記のような撮り直しおよび判定の処理を繰り返しても、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られないまま、今回のインターバル期間の終了が迫る状況になる場合もある。例えば、鳥が画面内にいる状態がインターバル期間を超えるほど継続した場合は、上記のような状況になる。また、雲の間から差す太陽光の状態が大きく変化した新しい状態や、その状態がさらに変化するような状態が、インターバル期間を超えるほど継続したような場合も同様である。
【0069】
そこで、撮り直しおよび判定の処理を繰り返しても、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られないまま、今回のインターバル期間が終了する所定時間前(例えば1秒前)になったら、動きの速い物体が写っている可能性のある画像の採用は避けられないとして、今回のインターバル期間の開始のタイミングで撮影されて画像メモリ3Cに記憶された画像が、今回のインターバル期間の採用画像に決定される。これが、図3のステップS180,S190の処理を行う理由である。
【0070】
この際、今回のインターバル期間の開始のタイミングで撮影されて画像メモリ3Cに記憶しておいた画像を採用画像に用いるのは、インターバル撮影の撮影タイミングを崩さないことになり好ましいからである。画像メモリ3Cは、この役割のために設けられているものである。
【0071】
以上のような処理により、システムコントローラ9は、それぞれのインターバル期間において採用画像を決定し、採用画像を画像メモリ3Bからエンコード用画像メモリ4に入れつつ、動画エンコーダ5においてH.264方式で動画エンコードを行うよう制御する。この際、不要になった画像は破棄される。
【0072】
そして、システムコントローラ9は、動画エンコーダ5で生成されたビデオ符号化データと、無音データ生成部6で生成された無音データとをマルチプレクサ7でマルチプレクスし、AVCHD規格のストリームとして記録部8に記録するよう制御する。また、システムコントローラ9は、動画エンコーダ5から動画に関する情報を取得するとともに、無音データ生成部6から音声に関する情報を取得し、これらの情報からストリームの管理情報を生成して、これをAVCHDの管理情報として記録部8に記録する。
【0073】
以上説明したように、第1の実施の形態では、設定されたインターバル期間の開始のタイミングで撮影された画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定し、動きの速い物体が写っている可能性のある画像であると判定した場合は、その画像は撮影画像としては採用せず、すぐに次の画像を撮影し、この画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定する。これを繰り返し、動きの速い物体が写っている可能性のある画像でない画像が得られたら、その画像を今回のインターバル期間における採用画像に決定する。これにより、インターバル撮影の際に画面を通り過ぎた鳥等の動きの速い物体が撮影され、動画の再生画像にノイズのように現れる事態の発生を低減することができる。
【0074】
また、今回のインターバル期間が終了する所定時間前のタイミングまでに、動きの速い物体が写っている可能性のある画像でない画像が得られない場合は、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定することで、動きの速い物体が写っている可能性のある画像の採用が避けられないような場合に、インターバル撮影の撮影タイミングが崩れることを回避できる。
【0075】
このように第1の実施の形態によれば、インターバル撮影によって得られる動画の品質を向上することができる。
【0076】
なお、撮り直しを行うことにより、本来の撮影タイミングである、インターバル期間の開始のタイミングより遅れて撮影された画像を採用画像とした場合、次回のインターバル期間の開始タイミングは変更しなくてもよいし、本来の撮影間隔を守るために、次回のインターバル期間の開始のタイミングを遅らせてもよい。
【0077】
例えば、前述の例のように、インターバル期間が10秒の設定で、鳥の撮影を回避するために、今回のインターバル期間の採用画像が、前回のインターバル期間の採用画像から約12秒後に撮影されたものになったような場合、次回のインターバル期間の開始のタイミングを、今回のインターバル期間の採用画像の撮影時から、変更せずに約8秒後としてもよいし、遅らせて10秒後としてもよい。
【0078】
また、前述のように、インターバル撮影においてよく撮影対象とされる空を含む風景の撮影時において、空を飛ぶ鳥が不要な物体となることが多いが、鳥は画像中に黒く写ることが多いため、輝度評価値Gyを求める際、輝度の低い画素に重み付けをすることで、鳥が写っている画像を、動きの速い物体が写っている可能性のある画像として判定しやすくすることができる。例えば、輝度評価値Gyを求める際、画像メモリ3Aの画像と画像メモリ3Bの画像との間で、輝度の差分が閾値Ytを超えている画素であり、かつ、画像メモリ3Aの画像における輝度値が所定の閾値Yd未満である画素については、1画素ではなくn画素(nは2以上の数)に重み付けしてカウントするようにすればよい。
【0079】
そこで、特に風景中の鳥の撮影を回避することを目的とするモードを設け、このモードがユーザに選択された場合には、上記のように輝度評価値Gyを求めてインターバル撮影の採用画像の判定を行うようにしてもよい。
【0080】
また、輝度の値(に対応する画素値)、色差の値(に対応する画素値)のいずれか一方のみを用い、輝度評価値Gyまたは色差評価値Gcを画像評価値として求め、これを閾値Sと比較して、画像メモリ3Aの画像が動きの速い物体が写っている可能性のある画像であるか否かを判定するようにしてもよい。
【0081】
(変形例)
図9は、本発明の第1の実施の形態の変形例に係る撮影装置の構成を示すブロック図である。
【0082】
図1に示した第1の実施の形態の撮影装置1は、インターバル撮影において直接動画を記録するものであったが、図9に示す本変形例の撮影装置1Aは、インターバル撮影した静止画を記録するものである。撮影装置1Aに記録された静止画は、パーソナルコンピュータ等の外部機器を用いて動画に変換される。
【0083】
図9に示すように、本変形例に係る撮影装置1Aは、図1の撮影装置1に対し、エンコード用画像メモリ4、動画エンコーダ5、無音データ生成部6、およびマルチプレクサ7を省略し、画像メモリ3Bから入力される採用画像をJPEG(Joint Photographic Experts Group)方式で圧縮する静止画エンコーダ11を設けた構成である。
【0084】
撮影装置1Aにおいて、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際、第1の実施の形態で説明した撮影装置1と同様の動作により、採用画像を決定する。
【0085】
システムコントローラ9は、それぞれのインターバル期間における採用画像を決定すると、採用画像を画像メモリ3Bから静止画エンコーダ11に送り、静止画エンコーダ11で採用画像をJPEG圧縮するよう制御する。
【0086】
そして、システムコントローラ9は、静止画エンコーダ11からJPEG画像を取り出してEXIF(Exchangeable Image File Format)規格のサムネイルを生成し、サムネイル付きのJPEG画像にしてから、これを記録部8に記録する。
【0087】
このような本変形例の撮影装置1Aにおいても、上記第1の実施の形態で説明した図1の撮影装置1と同様に、インターバル撮影によって得られる動画の品質を向上することができる。
【0088】
[第2の実施の形態]
第1の実施の形態では、撮り直しおよび判定の処理を繰り返しても、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られないまま、今回のインターバル期間が終了する所定時間前になったら、動きの速い物体が写っている可能性のある画像の採用は避けられないとして、今回のインターバル期間の開始のタイミングで撮影された画像を採用画像に決定する。
【0089】
このため、例えば、インターバル期間が10秒の設定で風景を撮影している場合に、前回のインターバル期間の採用画像に写っていなかった鳥が今回のインターバル期間の開始のタイミングで撮影した画像に写り、その鳥が今回のインターバル期間中、画面内に留まっていると、鳥が写っている画像を採用画像とせざるを得なくなる。インターバル期間が短いほど、鳥が写った画像を採用画像とせざるを得なくなる可能性が高い。
【0090】
そこで、第2の実施の形態では、動きの速い物体が写っている可能性のある画像を採用画像に決定せざるを得ないインターバル期間については、採用画像の決定を一時的に保留し、採用画像の決定を保留したインターバル期間の連続数が所定数未満であれば、採用画像の決定を保留したインターバル期間については画像を採用しないことにして、動きの速い物体が写っている可能性のある画像が採用画像となることを低減する。
【0091】
図10は、本発明の第2の実施の形態に係る撮影装置の構成を示すブロック図である。図10に示すように第2の実施の形態に係る撮影装置1Bは、図1に示した第1の実施の形態の撮影装置1に対し、画像メモリ3Cを候補画像保存部12に置き換えた構成である。
【0092】
候補画像保存部12は、それぞれ1フレームの画像を記憶可能な画像メモリ121A,121B,121Cを備える。画像メモリ121A〜121Cは、インターバル期間の開始のタイミングで撮影された画像を採用画像の候補画像として画像メモリ3Aから取り込んで保存する。
【0093】
なお、本実施の形態では、候補画像保存部12が3つの画像メモリ121A〜121Cを備える例で説明するが、候補画像保存部12が備える画像メモリの数はこれに限らない。
【0094】
次に、撮影装置1Bのインターバル撮影時の動作について説明する。
【0095】
図11は、第2の実施の形態の撮影装置1Bにおいて、動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。
【0096】
インターバル撮影が開始されると、ステップS210において、システムコントローラ9は、今回のインターバル期間において撮影画像として採用する画像である採用画像を決定する処理を行う。ステップS210の採用画像を決定する処理の詳細は後述する。
【0097】
ステップS220では、システムコントローラ9は、ステップS210において、今回のインターバル期間の採用画像の決定を保留したか否かを判断する。なお、後述するように、最初のインターバル期間では採用画像の決定を保留することはないが、2回目以降のインターバル期間では採用画像の決定を保留することがある。したがって、後段のステップS270から戻ってステップS210の処理を行った場合では、今回のインターバル期間の採用画像を保留する場合がある。
【0098】
採用画像の決定を保留した場合(ステップS220:YES)、ステップS240に進む。採用画像の決定を保留しなかった場合(ステップS220:NO)、ステップS230において、システムコントローラ9は、候補画像保存部12の画像メモリ121A〜121Cに保存されている候補画像をすべて破棄する。その後、ステップS260に進む。
【0099】
ステップS240では、システムコントローラ9は、候補画像が3枚たまっているか否か、つまり候補画像保存部12の画像メモリ121A〜121Cのすべてに候補画像が1枚ずつ保存されているか否かを判断する。
【0100】
候補画像が3枚たまっている場合(ステップS220:YES)、ステップS250において、システムコントローラ9は、保存されている3枚の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、これらをエンコード用画像メモリ4に送る。3枚の候補画像のうち最も新しい、今回のインターバル期間で撮影された画像は、画像メモリ3Bにも送られて記憶され、次回のインターバル期間における採用画像を決定するための比較対象の画像として用いられる。候補画像が3枚はたまっていない場合(ステップS220:NO)、ステップS260に進む。
【0101】
ステップS260では、システムコントローラ9は、操作入力部10からの操作信号に基づき、インターバル撮影を停止するための撮影停止操作が行われたか否かを判断する。撮影停止操作が行われた場合(ステップS260:YES)、システムコントローラ9は、インターバル撮影を終了するよう制御する。
【0102】
撮影停止操作が行われていない場合(ステップS260:NO)、ステップS270において、次回のインターバル期間の開始のタイミングになったか否かを判断する。次回のインターバル期間の開始のタイミングになった場合(ステップS270:YES)、ステップS210に戻り、次回のインターバル期間で採用する画像を決定し、以降の処理を繰り返す。次回のインターバル期間の開始のタイミングになっていない場合(ステップS270:NO)、ステップS260に戻る。
【0103】
図12は、上記ステップS210で行うインターバル期間の採用画像を決定する処理の手順を示すフローチャートである。
【0104】
図12において、ステップS310〜S340,S360〜S380の処理は、第1の実施の形態で説明した図3のフローチャートのステップS110〜S340,S160〜S180と同様であるため詳細な説明を省略し、第1の実施の形態との相違箇所であるステップS350,S390について主に説明する。
【0105】
ステップS350では、システムコントローラ9は、ステップS210で画像メモリ3Aに取り込んだ、今回のインターバル期間の開始のタイミングで撮影された画像を、候補画像保存部12の画像メモリ121A〜121Cのうちの空いているいずれかにコピーして記憶させる。
【0106】
ステップS390では、システムコントローラ9は、今回のインターバル期間の採用画像の決定を行わずに保留する。この場合、ステップS350で候補画像保存部12に保存した、今回のインターバル期間の開始のタイミングで撮影された画像が、今回の採用画像の候補画像として保存される。
【0107】
なお、この際、画像メモリ3Bの画像は更新せず、その画像が引き続き、次回のインターバル期間においても、採用画像を決定する際の、画像メモリ3Aに取り込まれる画像の比較対象の画像として用いられる。
【0108】
上述のような図11、図12のフローチャートに示した一連の処理により、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られないまま、今回のインターバル期間が終了する所定時間前になった場合、第1の実施の形態のように今回のインターバル期間の開始のタイミングで撮影された画像がすぐに採用画像に決定するのではなく、決定が保留される。決定が保留された場合、今回のインターバル期間の開始のタイミングで撮影された画像は、採用画像の候補画像として候補画像保存部12に残される。また、画像メモリ3Bの画像は更新されない。
【0109】
ここで、k回目のインターバル期間で採用画像の決定が保留され、候補画像保存部12に1枚の候補画像が保存されているとする。この1枚の候補画像は画像メモリ121Aに保存されているとする。
【0110】
次のk+1回目のインターバル期間の開始のタイミングで撮影され画像メモリ3Aに取り込まれた画像は、画像メモリ121Bにコピーされる。このインターバル期間でも採用画像の決定が保留された場合、画像メモリ121A,121Bに合計2枚の候補画像が保存されている状態となり、さらに次のk+2回目のインターバル期間の開始のタイミングで撮影された画像が画像メモリ121Cにコピーされる。
【0111】
このk+2回目のインターバル期間においても採用画像の決定が保留された場合、つまり、候補画像保存部12に3枚の候補画像がたまっている状態で採用画像の決定が保留された場合、保存されている3枚の候補画像が、それぞれが撮影されたインターバル期間における採用画像として決定され、エンコード用画像メモリ4に送られる。3枚の候補画像のうち最も新しい、k+2回目のインターバル期間で撮影された画像は、画像メモリ3Bにも送られて記憶され、k+3回目のインターバル期間における採用画像を決定するための比較対象の画像として用いられる。
【0112】
一方、あるインターバル期間で、動きの速い物体が写っている可能性のある画像ではないと判定される画像が得られ、その画像が採用画像となり、採用画像の決定が保留されなかった場合、そのときに候補画像保存部12に保存されている候補画像はすべて破棄される。この場合、本来の撮影タイミングであるインターバル期間の開始タイミングで撮影された画像が、最大で3枚(3フレーム)、動画作成には用いられずに破棄されることになる。
【0113】
例えば、インターバル期間が10秒で、あるインターバル期間の開始のタイミング時に画面内にいた鳥が、25秒ほどで画面外に飛び去ったとする。このような場合、第1の実施の形態では、鳥が写ったフレームを含む動画が作成されるが、第2の実施の形態では、候補画像保存部12に保存されている、鳥が写っている2フレームが破棄されるので、動画には鳥が写ったフレームは含まれない。
【0114】
上記のようにフレームを破棄して動画を作成した場合、破棄されたフレームに対応する部分で、鳥を除く撮影対象の変化が時間軸上でリニアでなくなり、結果として動画の動きが一瞬スムーズでなくなる可能性がある。しかし、破棄されるフレームが少なければ、例えば本実施の形態のように3フレームまでなら、破棄しても、撮影対象がゆっくりと変化する風景のようなものであれば動画の品質への悪影響は少なく、鳥が写ってノイズのように見えるよりはよい。
【0115】
このように、第2の実施の形態では、動きの速い物体が写っている可能性のある画像を採用画像に決定せざるを得ないインターバル期間については、採用画像の決定を保留して候補画像を保存しておき、採用画像の決定を保留したインターバル期間の連続数が所定数未満であれば、採用画像の決定を保留したインターバル期間については画像の採用を行わず、採用画像の決定を保留したインターバル期間の連続数が所定数になった場合、候補画像を採用画像に決定する。これにより、インターバル撮影によって得られる動画の再生画像に動きの速い物体がノイズのように現れることを低減する一方、撮影画像を採用しないインターバル期間が生じることによる動画の品質への悪影響は小さく抑えることができる。
【0116】
なお、第2の実施の形態では、撮影装置に直接動画を記録する構成を示したが、第1の実施の形態の変形例のように、静止画を記録するようにしてもよい。
【0117】
[第3の実施の形態]
第1の実施の形態では、今回のインターバル期間において撮影した画像を、前回のインターバル期間の採用画像と比較して、輝度評価値Gyおよび色差評価値Gcを求め、これらの値から、今回のインターバル期間において撮影した画像が、動きの速い物体が写っている可能性のある画像であるか否かを判定している。
【0118】
インターバル撮影では、風景等のゆっくり変化するものを撮影対象とするが、例えば、風景中の雲が流れることで、風景が大きく変わることがある。このような場合、風景の変化によって輝度評価値Gyや色差評価値Gcが大きくなるため、鳥等の動きの速い物体が実際に写っていなくても、動きの速い物体が写っている可能性のある画像と判定されてしまうことがある。このようなことが起こる可能性は、インターバル期間が長いほど高くなる。
【0119】
このようなことから、第1の実施の形態では、インターバル期間が長いほど、鳥等の動きの速い物体が実際に写っている画像を採用画像に決定してしまうことを避けることが難しくなる。
【0120】
そこで、第3の実施の形態では、第1の実施の形態におけるインターバル期間ごとの採用画像を決定する処理を、設定されたインターバル期間より短い期間である判断期間ごとに行い、1つ以上の判断期間おきに、その判断期間における採用画像をインターバル期間ごとの正式採用画像として決定して動画エンコード対象とする。
【0121】
第3の実施の形態における上記の判断期間とインターバル期間との関係の一例を図13に示す。図13の例では、インターバル期間が20秒間、判断期間が5秒間であり、3つの判断期間おきに採用画像をインターバル期間の正式採用画像として決定する。つまり、ある判断期間の採用画像をインターバル期間の正式採用画像として動画エンコード対象とすると、その後に続く3つの判断期間の採用画像は動画エンコード対象とはせず、4つ目の判断期間の採用画像をインターバル期間の正式採用画像とする。これを繰り返す。
【0122】
第3の実施の形態に係る撮影装置は、図1に示した第1の実施の形態の撮影装置1と同様の構成であるため、第3の実施の形態においても図1を用いて説明する。
【0123】
図14は、第3の実施の形態において、撮影装置1で動きの速い物体の撮影を避けるモードでインターバル撮影を行う際の動作を示すフローチャートである。
【0124】
第3の実施の形態では、インターバル撮影において、図13に示したようなインターバル期間および判断期間が設定される。
【0125】
インターバル撮影が開始されると、ステップS410において、システムコントローラ9は、今回の判断期間において撮影画像として採用する採用画像を決定する処理を行う。
【0126】
ステップS410の処理は、第1の実施の形態で説明した図3のフローチャートの処理と実質的に同様であるため説明を省略するが、図3における「インターバル期間」を、第3の実施の形態においては「判断期間」に読み替えて適用する。ただし、この段階では、判断期間の採用画像を画像メモリ3Bからエンコード用画像メモリ4に送ることは行わない。
【0127】
ステップS420では、システムコントローラ9は、動画エンコード用の画像を採用する判断期間の採用画像が決定したか否かを判断する。ここで、インターバル撮影開始後の最初の判断期間の採用画像は、正式採用画像として動画エンコード対象とする。その後、例えば図13の例であれば、3つの判断期間おきに、動画エンコード用の画像を採用する判断期間が到来する。
【0128】
動画エンコード用の画像を採用する判断期間の採用画像が決定した場合(ステップS420:YES)、ステップS430に進み、動画エンコード用の画像を採用する判断期間の採用画像が決定していない場合(ステップS420:NO)、ステップS440に進む。
【0129】
ステップS430では、システムコントローラ9は、決定した採用画像を、画像メモリ3Bからエンコード用画像メモリ4に送る。その後、ステップS440に進む。
【0130】
ステップ
S440では、システムコントローラ9は、操作入力部10からの操作信号に基づき、インターバル撮影を停止するための撮影停止操作が行われたか否かを判断する。撮影停止操作が行われた場合(ステップS440:YES)、システムコントローラ9は、インターバル撮影を終了するよう制御する。
【0131】
撮影停止操作が行われていない場合(ステップS440:NO)、ステップS450において、次回の判断期間の開始のタイミングになったか否かを判断する。次回の判断期間の開始のタイミングになった場合(ステップS450:YES)、ステップS410に戻り、次回の判断期間で採用する画像を決定し、以降の処理を繰り返す。次回の判断期間の開始のタイミングになっていない場合(ステップS450:NO)、ステップS440に戻る。
【0132】
以上のような処理により、システムコントローラ9は、インターバル撮影の正式採用画像を決定し、その画像を画像メモリ3Bからエンコード用画像メモリ4に入れつつ、動画エンコーダ5においてH.264方式で動画エンコードを行うよう制御する。そして、システムコントローラ9は、動画エンコーダ5で生成されたビデオ符号化データと、無音データ生成部6で生成された無音データとをマルチプレクサ7でマルチプレクスし、AVCHD規格のストリームとして記録部8に記録するよう制御する。
【0133】
このように、第3の実施の形態では、設定されたインターバル期間を複数に分割した判断期間ごとに採用画像を決定する処理を行い、正式採用画像として動画エンコード対象とする画像はインターバル期間ごとに決定することで、動きの速い物体が写っている可能性のある画像(フレーム)がインターバル撮影によって得られる動画に含まれ、再生画像に動きの速い物体がノイズのように現れることを低減することができる。第3の実施の形態は、インターバル期間が長い設定のときに有効である。
【0134】
例えば、第1の実施の形態の処理では、前述したように、インターバル期間が20秒間のように長い設定の場合よりも、5秒間のように短い設定の場合のほうが、動きの速い物体が写っている画像をインターバル撮影の採用画像に決定してしまうことを避けることができる可能性が高い。第3の実施の形態では、第1の実施の形態と同様の処理により5秒間の判断期間の採用画像とした画像から、正式採用画像として動画エンコード対象とする画像を20秒間のインターバル期間ごとに決定するので、インターバル期間を20秒間として第1の実施の形態の処理を行う場合よりも、動きの速い物体が写っている可能性のある画像がインターバル撮影の動画に含まれる可能性を低減できる。
【0135】
なお、インターバル期間が判断期間の整数倍になるような設定にすることが好ましいが、そうでなくても第3の実施の形態の方法は適用可能である。例えば、設定されたインターバル期間I=20秒間のとき、判断期間H=3秒間として、6E、6E、7Eの期間でそれぞれ1枚の正式採用画像を決定し、この周期を繰り返すようにしてもよい。この場合、インターバル撮影の時間間隔が一定ではなくなるが、撮影対象がゆっくり変化するものであれば、その時間軸上の誤差は、動画としたときには無視できる程度である。
【0136】
なお、第3の実施の形態においても、撮影装置に直接動画を記録する構成に限らず、第1の実施の形態の変形例のように、静止画を記録するようにしてもよい。
【0137】
上記各実施の形態およびその変形例に係る撮影装置の有する機能をプログラムによりコンピュータに実現させるようにしてもよい。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワーク等を介して伝送されてコンピュータに取り込まれてもよい。
【符号の説明】
【0138】
1,1A,1B 撮影装置
2 撮影部
3A,3B,3C,121A,121B,121C 画像メモリ
4 エンコード用画像メモリ
5 動画エンコーダ
6 無音データ生成部
7 マルチプレクサ
8 記録部
9 システムコントローラ
10 操作入力部
11 静止画エンコーダ
12 候補画像保存部
21 レンズ
22 撮像素子
23 信号処理部
24 タイミングジェネレータ(TG)

【特許請求の範囲】
【請求項1】
被写体を撮影して画像を得る撮影部と、
前記撮影部で得られた画像のうち、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する画像決定部と、
前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間になってから撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、
前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回のインターバル期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像に決定することを特徴とする撮影装置。
【請求項2】
被写体を撮影して画像を得る撮影部と、
前記撮影部で得られた画像のうち、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する画像決定部と、
前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間になってから撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、
前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回のインターバル期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、採用画像の決定を保留して今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像の候補画像として候補画像保存部に保存し、採用画像の決定を保留したインターバル期間の次のインターバル期間においては、直前のインターバル期間で前記判定部の処理において前記前回採用画像として用いた画像を引き続き用いて前記判定部の処理を行わせ、採用画像の決定を保留するインターバル期間が所定数だけ連続した場合、前記候補画像保存部に保存されている前記所定数の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、採用画像の決定を保留するインターバル期間が所定数だけ連続する前に、採用画像の決定を保留しないインターバル期間があった場合、前記候補画像保存部に保存されている候補画像を破棄することを特徴とする撮影装置。
【請求項3】
被写体を撮影して画像を得る撮影部と、
前記撮影部で得られた画像のうち、設定された判断期間ごとの撮影画像として採用する画像を決定し、複数の判断期間における採用された撮影画像から、前記判断期間より長いインターバル期間の撮影画像として採用する1枚の正式採用画像を決定する画像決定部と、
前回の判断期間において撮影画像として採用された画像である前回採用画像と、今回の判断期間になってから撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かを判定する判定部とを備え、
前記画像決定部は、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、今回の判断期間の開始のタイミングから、前記撮影部で被写体を撮影し、得られた画像と前記前回採用画像とを比較対象とした前記判定部による判定を行う処理を繰り返すよう制御し、前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回の判断期間における採用画像に決定し、今回の判断期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回の判断期間の所定のタイミングで撮影された画像を今回の採用画像に決定し、さらに、1つ以上の判断期間おきに採用画像をインターバル期間の正式採用画像として決定することを特徴とする撮影装置。
【請求項4】
インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する撮影装置におけるインターバル撮影方法であって、
インターバル期間の開始のタイミングで被写体を撮影し、
前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間の開始のタイミングで撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、
今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、
今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、
前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像に決定する
ことを特徴とするインターバル撮影方法。
【請求項5】
インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する採用画像を決定する撮影装置におけるインターバル撮影方法であって、
インターバル期間の開始のタイミングで被写体を撮影し、
前回のインターバル期間における採用画像である前回採用画像と、今回のインターバル期間の開始のタイミングで撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、
今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回のインターバル期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、
今回のインターバル期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、
前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回のインターバル期間における採用画像に決定し、今回のインターバル期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、採用画像の決定を保留して今回のインターバル期間の所定のタイミングで撮影された画像を今回の採用画像の候補画像として候補画像保存部に保存し、採用画像の決定を保留したインターバル期間の次のインターバル期間においては、直前のインターバル期間で前記判定を行う際に前記前回採用画像として用いた画像を引き続き用いて前記判定を行い、
採用画像の決定を保留するインターバル期間が所定数だけ連続した場合、前記候補画像保存部に保存されている前記所定数の候補画像を、それぞれが撮影されたインターバル期間における採用画像として決定し、
採用画像の決定を保留するインターバル期間が所定数だけ連続する前に、採用画像の決定を保留しないインターバル期間があった場合、前記候補画像保存部に保存されている候補画像を破棄する
ことを特徴とするインターバル撮影方法。
【請求項6】
インターバル撮影時において、被写体を撮影した画像から、設定されたインターバル期間ごとの撮影画像として採用する正式採用画像を決定する撮影装置におけるインターバル撮影方法であって、
インターバル期間より短い期間である判断期間の開始のタイミングで被写体を撮影し、
前回の判断期間において撮影画像として採用された採用画像である前回採用画像と、今回の判断期間の開始のタイミングで撮影された画像とを比較し、比較する2画像間の画素値の差分が所定差分値を超えている画素数を示す画像評価値を求め、前記画像評価値が予め設定した閾値以下であるか否かの判定を行い、
今回の判断期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値以下の画像である場合、今回の判断期間の開始のタイミングで撮影された画像を今回の採用画像に決定し、
今回の判断期間の開始のタイミングで撮影された画像が、前記前回採用画像と比較して、前記画像評価値が前記閾値を超える画像である場合、前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られるまで、被写体を撮影し、得られた画像と前記前回採用画像とを比較して前記判定を行う手順を繰り返し、
前記前回採用画像と比較したときの前記画像評価値が前記閾値以下の画像が得られたら、当該画像を今回の判断期間における採用画像に決定し、今回の判断期間が終了する所定時間前のタイミングまでに前記画像評価値が前記閾値以下の画像が得られない場合は、今回の判断期間の所定のタイミングで撮影された画像を今回の採用画像に決定し、
1つ以上の判断期間おきに採用画像をインターバル期間の正式採用画像として決定する
ことを特徴とするインターバル撮影方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate