撮像装置
【課題】撮影者の意図を反映させつつ、動画像の解像度を低下させることなくより印象的な動画像を生成する。
【解決手段】被写体からの光を撮像する撮像素子からの撮像信号に基づき時系列に得られた複数の画像を順次記憶する記憶部8と、前記記憶部に記憶された前記複数の画像のうちの1つの画像に関する静止画像を生成する静止画像生成部5cと、前記静止画像に基づく静止画を表示する表示部12と、前記表示部に表示されている前記静止画上に複数のポイントを設定して表示するポイント表示制御部4と、前記表示部に表示されている、少なくとも1つの前記ポイントを指定するポイント指定部14と、前記記憶部に記憶された前記複数の画像を用いて、第1領域の画角と、前記ポイント指定部により指定された前記ポイントを含み且つ前記第1領域の画角とは異なる画角である第2領域の画角との間を、所定時間かけて変化する動画像データを生成する動画像データ生成部5bとを備える。
【解決手段】被写体からの光を撮像する撮像素子からの撮像信号に基づき時系列に得られた複数の画像を順次記憶する記憶部8と、前記記憶部に記憶された前記複数の画像のうちの1つの画像に関する静止画像を生成する静止画像生成部5cと、前記静止画像に基づく静止画を表示する表示部12と、前記表示部に表示されている前記静止画上に複数のポイントを設定して表示するポイント表示制御部4と、前記表示部に表示されている、少なくとも1つの前記ポイントを指定するポイント指定部14と、前記記憶部に記憶された前記複数の画像を用いて、第1領域の画角と、前記ポイント指定部により指定された前記ポイントを含み且つ前記第1領域の画角とは異なる画角である第2領域の画角との間を、所定時間かけて変化する動画像データを生成する動画像データ生成部5bとを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画像を記録可能な撮像装置に関するものである。
【背景技術】
【0002】
従来、動画を撮影し記録を行う撮像装置において、予め指定された枠体に含まれる画像をフレームごとに切出して拡大処理し、これを繋ぎ合わせることによって所定の被写体を中心とした動画像を生成することが提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−279894号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来の撮像装置においては必ずしも好ましい範囲の部分拡大画像が得られるわけではく、また部分拡大により動画を生成することから拡大処理による解像度の低下が避けられない。
【0005】
本発明の目的は、撮影者の意図を反映させつつ、動画像の解像度を低下させることなくより印象的な動画像を生成することができる撮像装置を提供することである。
【課題を解決するための手段】
【0006】
本発明は以下のような解決手段により上記課題を解決する。なお、理解を容易にするために、本発明の実施の形態に対応する符号を付して説明するが、本発明はこれに限定されるものではない。
【0007】
本発明の撮像装置は、被写体からの光を撮像する撮像素子からの撮像信号に基づき時系列に得られた複数の画像を順次記憶する記憶部(8)と、前記記憶部に記憶された前記複数の画像のうちの1つの画像に関する静止画像を生成する静止画像生成部(5c)と、前記静止画像に基づく静止画を表示する表示部(12)と、前記表示部に表示されている前記静止画上に複数のポイントを設定して表示するポイント表示制御部(4)と、前記表示部に表示されている、少なくとも1つの前記ポイントを指定するポイント指定部(14)と、前記記憶部に記憶された前記複数の画像を用いて、第1領域の画角と、前記ポイント指定部により指定された前記ポイントを含み且つ前記第1領域の画角とは異なる画角である第2領域の画角との間を、所定時間かけて変化する動画像データを生成する動画像データ生成部(5b)とを備える。
【発明の効果】
【0008】
本発明の撮像装置によれば、撮影者の意図を反映させつつ、動画像の解像度を低下させることなくより印象的な動画像を生成することができる。
【図面の簡単な説明】
【0009】
【図1】第1の実施の形態に係る電子カメラのシステム構成を示すブロック図である。
【図2】第1の実施の形態に係る電子カメラにおけるスローモーション動画像生成のためのバッファメモリ記憶時のフレームレート及び記録媒体記録時のフレームレートについて説明する図である。
【図3】第1の実施の形態に係る電子カメラにおいてスローモーション動画像及び静止画像を撮影する際の処理について説明するためのフローチャートである。
【図4】第1の実施の形態に係る電子カメラにおいてスローモーション動画像及び静止画像を撮影する際の処理について説明するためのフローチャートである。
【図5】第1の実施の形態に係る電子カメラの表示部に表示されたスルー画像を示す図である。
【図6】第1の実施の形態に係る電子カメラの表示部に表示された静止画像及び静止画像上に表示されたターゲットポイントを示す図である。
【図7】第1の実施の形態に係る電子カメラにおいて生成される画像データの画素数を説明するための図である。
【図8】第1の実施の形態に係る電子カメラにおいてズームポイントを基準として画角が変更されたスロー動画像の再生状態を示す図である。
【図9】第2の実施の形態に係る電子カメラの表示部に表示された静止画像及び静止画像上に表示されたターゲットポイントを示す図である。
【図10】第2の実施の形態に係る電子カメラの表示部に表示された静止画像及び静止画像上に表示されたターゲットポイントを示す図である。
【図11】実施の形態に係る電子カメラにおいて生成するパンニングしたスロー動画像について説明するための図である。
【発明を実施するための形態】
【0010】
以下、本発明の第1の実施の形態に係る撮像装置としての電子カメラについて説明する。図1は、第1の実施の形態に係る電子カメラのシステム構成を示すブロック図である。図1に示すように電子カメラ2は、マイクロプロセッサ等により構成され、電子カメラ2の各部を統括的に制御する制御部4を備えている。制御部4は、映像信号処理回路5を有し、映像信号処理回路5は、後述する表示部12において表示されるスルー画像のスルー画像データを生成するスルー画像生成部5a、動画像データを生成する動画像生成部5b及び静止画像データを生成する静止画像生成部5cを有している。また、制御部4には、バッファメモリ8、記録媒体10、表示部12、操作部14及びメモリ16が接続されている。
【0011】
バッファメモリ8は、撮像素子6からの撮像信号に基づき作成された画像データを一時的に記憶する。ここで、撮像素子6は、CCDまたはCMOS等により構成され、図示しない撮影レンズを介した被写体からの光を撮像し、バッファメモリ8は、撮像素子6から出力され、図示しないA/Dコンバータを介すことによりアナログ信号からデジタル信号に変換された撮像信号に基づく画像データを一時的に記憶する。
【0012】
また、バッファメモリ8は、電子カメラ2が例えば、後述のスローモーション動画像(以下、スロー動画像という。)を撮影するスローモーション動画像撮影モードに設定されている場合には、撮像素子6から動画像サイクル(60fps等)に同期して出力される撮像信号に基づく複数の画像データ、即ちスロー動画像を構成する複数のフレーム画像を時系列に順次記憶する。なお、この実施の形態において、バッファメモリ8には、QFHD(Quod Full High Difinition:3840×2160ピクセル)規格の画素数を有するフレーム画像、即ち高解像度のフレーム画像がFIFO(first in first out)方式で順次記憶される。
【0013】
具体的には、バッファメモリ8が例えばn枚(nは自然数)のフレーム画像を記憶可能な記憶領域を有している場合において、制御部4は図2(a)に示すように、1番目に取得したフレーム画像F1、2番目に取得したフレーム画像F2…n番目に取得したフレーム画像Fnを順次、バッファメモリ8内に記憶させる。そして、n枚のフレーム画像F1〜Fnを記憶した後、次のフレーム画像Fn+1が撮像素子6から出力されると、バッファメモリ8内から最古のフレーム画像F1を削除し、最新のフレーム画像Fn+1を記憶させ、次のフレーム画像が撮像素子6から出力される度に、最古のフレーム画像を削除し、最新のフレーム画像を記憶させる処理を繰り返す。
【0014】
即ち、バッファメモリ8は、n個の記憶領域(フレーム画像を順に記憶するための記憶領域)を有しており、1番目のフレーム画像F1をアドレス番号(n−1)の記憶領域に、2番目のフレーム画像F2をアドレス番号(n−2)の記憶領域に、…n番目のフレーム画像Fnをアドレス番号0の記憶領域に順次記憶する。そして、n個の記憶領域全部にフレーム画像F1〜Fnが記憶され、次のフレーム画像Fn+1が撮像素子6から出力されると、アドレス番号(n−1)の記憶領域のフレーム画像(即ち最古のフレーム画像)F1が削除され、フレーム画像F2〜Fnのそれぞれは、アドレス番号(n−2)〜0の記憶領域からアドレス番号(n−1)〜1の記憶領域に移動し、(n+1)番目のフレーム画像(即ち最新のフレーム画像)Fn+1は、アドレス番号(0)の記憶領域に記憶される。よって、アドレス番号(0)の記憶領域には常に最新のフレーム画像が記憶され、アドレス番号が大きくなるに従い、順次古いフレーム画像が記憶され、アドレス番号0の記憶領域には常に最新のフレーム画像が記憶される。
【0015】
記録媒体10は、電子カメラ2に設けられたカードスロット(図示せず)に着脱可能に装着される可搬性を有する記録媒体であり、例えば、CFカード、SDカード、スマートメディア等が用いられる。記録媒体10には、バッファメモリ8に記憶されているフレーム画像のそれぞれに、制御部4内の動画像生成部5bにより動画像用の解像度へのリサイズ(解像度大から小へ)処理、動画像用の画像処理、及び動画像用の圧縮処理を施すことにより作成される動画像データやスローモーション動画像データが記録される。また、記録媒体10には、バッファメモリ8に記憶されているフレーム画像に、制御部4内の静止画像生成部5cにより静止画像用の画像処理、静止画像用の圧縮処理を施すことにより作成される静止画像データや、撮影に関する情報等が記録される。
【0016】
表示部12は、電子カメラ2の背面部に配置されるLCD等により構成されるモニタまたはEVF等により構成され、スルー画像生成部5aにより生成されたスルー画像、記録媒体10に記録されている動画像データに基づく動画像、スローモーション動画像データ(以下、スロー動画像データという。)に基づくスロー動画像、静止画像データに基づく静止画像、及び撮影に関する情報等を表示する。
【0017】
操作部14は、電子カメラ2の電源をオン/オフする電源スイッチ、動画像を撮影する動画像撮影モードやスロー動画像を撮影するスローモーション動画像撮影モード等の撮影モードを設定するためのコマンドダイヤル、動画像や静止画像の撮影開始等を指示するためのレリーズボタン、表示部12にメニュー等を表示させるためのメニューボタン、メニュー項目等の選択や様々な設定時に操作される十字キー、メニュー項目等の選択や様々な設定に対する確定操作を行うためのOKボタン、記録媒体10に記録された動画像データに基づく動画像や静止画像データに基づく静止画像を表示部12に表示させるための再生ボタン等を含んで構成されている。メモリ16は、記録媒体10に記録させる前のスロー動画像データ及び静止画像データを一時的に記憶する。
【0018】
この実施の形態に係る電子カメラ2では、撮像素子6から出力されバッファメモリ8に記憶されているフレーム画像から静止画像を生成すると共に、バッファメモリ8に単位時間に記憶されるフレーム画像の数を示す第1フレームレートより少ない第2フレームレートで再生され、かつ所定時間をかけて画角が変化するスロー動画像を生成し、静止画像データ及びスロー動画像データを互いに関連付けて記録媒体10に記録する。
【0019】
以下、図3に示す、制御部4の実行する動作フローチャートを参照して、この実施の形態に係る電子カメラ2においてスロー動画像及び静止画像を撮影する際の処理について説明する。なお、この実施の形態では、静止画像データを生成するためのフレーム画像がバッファメモリ8に記憶されたときから第1所定時間前までの間にバッファメモリ8に記憶された複数のフレーム画像、及び静止画像データを生成するためのフレーム画像がバッファメモリ8に記憶されたときから第2所定時間後までの間にバッファメモリ8に記憶された複数のフレーム画像に基づいて、スロー動画像データを生成する。即ち、所定時間(第1所定時間+第2所定時間)の間にバッファメモリ8に記憶された複数のフレーム画像に基づいてスロー動画像データを生成し、第1所定時間終了時(第2所定時間開始時)にバッファメモリ8に記憶されたフレーム画像に基づいて静止画像データを生成する。なお、所定時間(例えば1秒等)、第1所定時間(例えば0.6秒等)、及び第2所定時間(例えば0.4秒等)は、予め設定され、メモリ16等に記憶されており、変更可能に構成されている。
【0020】
まず、ユーザーがコマンドダイヤルを操作することによりスローモーション動画像撮影モードが設定されると、本フローチャートはスタートする。まず制御部4は、スロー動画像及び該スロー動画像に関連する静止画像を撮影するためのスローモーション動画像撮影モードに移行する。そして、撮像素子6からの撮像信号に基づいてスルー画像生成部5aによりスルー画像データを生成し、図5に示すように表示部12にスルー画像を表示する(ステップS11)。このステップS11では、スルー画像内の主要被写体に対して合焦するように、図示しないフォーカスレンズ等を駆動させて、主要被写体に対して合焦させる。また本ステップの最中に主要被写体に対する露出制御も行う。なお主要被写体の決定には周知の手法、例えば予めユーザーがスルー画像内で指定したAFエリアに存在する被写体を主要被写体として決定するマニュアル決定手法や、或いは公知の顔認識方法によってカメラが自動的に主要被写体を決定する方法が用いられる。
【0021】
次に、ユーザーによりレリーズボタンが半押しされたか否かを判別する(ステップS12)。ステップS12においてレリーズボタンが半押しされたと判別された場合には、ステップS13に進み、そうでなければステップS11に戻ってレリーズボタンが半押しされるまで待機する。ステップS12において、レリーズボタンの半押し操作がなされたと判別された場合には(ステップS12、Yes)、制御部4は、フレーム画像のバッファメモリ8へのバッファリングを開始する(ステップS13)。即ち制御部4は、撮像素子6から動画像サイクルに同期して出力される撮像信号に基づく複数のフレーム画像F1…Fn…(図2参照)のバッファメモリ8内の所定のアドレスへの記憶を開始する。
【0022】
なお、この実施の形態では、ユーザーによるレリーズボタンの全押し操作時に(後述するステップS14、Yes)、撮像素子6から出力される撮像信号に基づくフレーム画像を用いて静止画像データを生成する。したがって、第1所定時間経過後であって、ユーザーによりレリーズボタンが全押しされるまで、フレーム画像のバッファメモリ8への記憶処理を繰り返す。またバッファメモリ8にn枚のフレーム画像が記憶された後においては、フレーム画像が出力されるたびに、バッファメモリ8内の最古のフレーム画像を削除し、出力されたフレーム画像(最新のフレーム画像)のバッファメモリ8への記憶処理を繰り返す。
【0023】
次に、制御部4は、第1所定時間経過後であって、バッファメモリ8へのフレーム画像の記憶を繰り返している最中に、ユーザーによりレリーズボタンが全押しされたか否かを判別する(ステップS14)。ステップS14においてレリーズボタンが全押しされたと判別された場合には、制御部4は、静止画像データを生成する静止画像撮影指示が入力されたと判断し、第2所定時間を開始(第1所定時間を終了)させる。次に制御部4は、所定時間(第2所定時間)が経過したか否かを判別する(ステップS15)。即ち、レリーズボタンの全押し操作後(静止画像撮影指示の入力後)におけるスロー動画像データを生成するのに必要なフレーム画像のバッファメモリ8への記憶が終了したか否かを判別する。ステップS15において所定時間(第2所定時間)が経過していないと判別された場合には(ステップS15、No)、制御部4は、バッファメモリ8へのフレーム画像の記憶を続ける。
【0024】
一方、ステップS15において所定時間(第2所定時間)が経過したと判別された場合には(ステップS15、Yes)、制御部4は、スロー動画像データを生成するのに必要なn枚のフレーム画像のバッファメモリ8への記憶が終了したと判断し、バッファメモリ8へのバッファリングを終了する(ステップS16)。このとき、バッファメモリ8には、図2(a)に示すように、静止画像撮影指示の入力時TSから第1所定時間前までの間の(n−p)枚(pは自然数、n>p)のフレーム画像F2〜F5…、及び静止画像撮影指示の入力時TSから第2所定時間後までの間のp枚のフレーム画像…Fn,Fn+1が記憶されており、これらn枚のフレーム画像F2〜Fn+1に基づいて、後述するスロー動画像データが生成される。次に、制御部4は、バッファメモリ8に記憶されている複数のフレーム画像に基づいて、スロー動画像データの生成処理及び静止画像データの生成処理を実行する(ステップS17)。
【0025】
図4はスロー動画像データ及び静止画像データの生成処理を示すフローチャートである。先ず制御部4は静止画撮影指示の入力時TSにバッファメモリ8へ記憶されたフレーム画像を読み出し、静止画像生成部5cにより表示用静止画像データを生成して、図6に示すように表示用静止画像データに基づく静止画像を表示部12において表示する。また静止画像上の所定の位置に、スロー動画像データ生成時の画角変更時にターゲットとする位置の指定に用いる9点のターゲットポイントPP、即ち図6において格子状に配列されている9個の四角形マークの表示を行う(ステップS30)。
【0026】
制御部4は、ユーザーが操作部14を操作してターゲットポイントPPの中の1つを選択したか否かを判別し、選択されたと判別した場合には、選択されたターゲットポイントPPをズームポイントPP1として識別表示する(ステップS31)。図6は表示部12に表示された9個のターゲットポイントPPの中から右下のターゲットポイントPPがズームポイントPP1(図中においては黒色の四角マークで表す。)として選択された状態を示している。
【0027】
制御部4はバッファメモリ8に記憶されているn数のフレーム画像の中から先頭のフレーム画像を読み出す(ステップS32)。即ち、制御部4は、撮像素子6から出力されるフレームレート(撮影フレームレート)と同等の第1フレームレート(例えば60フレーム/秒等)でバッファメモリ8に記憶されているフレーム画像F2〜F5…を、第1フレームレートより少ない第2フレームレート(例えば第1フレームレートの1/2.5である24フレーム/秒等)でバッファメモリ8から読み出す。即ち、図2(a)に示すように、時間T1(例えば1/60秒等)でバッファメモリ8に記憶されているフレーム画像F2を、図2(b)に示すように、時間T2(例えば1/24秒等)でバッファメモリ8から読み出す。ここで読み出されたフレーム画像F2は、図7にF20で示すようにQFHD規格の画素数(3840×2160ピクセル)を有する画像データであるため、動画像生成部5bによりF20で示す画像データを50%の縮小率で縮小し、フルハイビジョンサイズの画素数(1920×1080ピクセル)の画像データを作成してメモリ16に記憶させる(ステップS33)。
【0028】
次に制御部4は、読み出されたフレーム画像が最後のフレーム画像(n枚目のフレーム画像)であるか否かを判別し(ステップS34)、最後でなければ次のフレーム画像F3を、図2(b)に示すように、時間T2(例えば1/24秒等)でバッファメモリ8から読み出す(ステップS35)。ここで、生成されるスロー動画像は、第1領域の画角からターゲットポイントPP1を含み且つ第1領域の画角よりも小さい画角である第2領域の画角へ所定時間をかけて一定の速度で画角が変化するスロー動画像であることから、QFHD規格の画素数を有するフレーム画像F3から、例えば図7にF30で示す領域を切り出して、この領域の画像データを動画像生成部5bにより、フレーム画像F2の場合よりも小さい縮小率を用いて画像データの縮小を行い、フルハイビジョンサイズの画素数(1920×1080ピクセル)の画像データを作成してメモリ16に記憶させる。
【0029】
制御部4は、フレーム画像F4〜フレーム画像Fn+1についても、画像データから切り出されるズームポイントPP1を含む範囲を順次小さくしながらステップS33の処理を行なう。ここでフレーム画像F2〜フレーム画像Fn+1に対するステップS33の処理で用いるフレーム画像の縮小率は、フレーム画像F2では50%であるが、順次縮小率を小さくしていきフレーム画像Fn+1では0%である。
【0030】
制御部4は、最後のフレーム画像Fn+1についての処理が終了したか否かの判別を行い(ステップS34)、最後のフレーム画像についての処理が終了したと判別した場合に、n枚のフレーム画像を用いたスロー動画像であって、第1領域であるフレーム画像全体の画角から、ターゲットポイントPP1を含み且つ第1領域の画角よりも小さな第2領域の画角へ所定時間をかけて画角が変化するスロー動画像データの生成を終了する。なお、第2フレームレートの値は、予め設定され、メモリ16等に記憶されており、変更可能に構成されている。
【0031】
次に制御部4は、静止画像データの生成を行なう(ステップS36)。即ち制御部4は、静止画撮影指示の入力時TSにバッファメモリ8に記憶されたフレーム画像をバッファメモリ8から読み出す。そして、読み出されたフレーム画像に対して制御部4内の静止画像生成部5cにより静止画像用の画像処理を施すことにより静止画像データを生成し、メモリ16に記憶させる(ステップS36)。なお、この実施の形態では、HDTV規格以上の画素数を有するフレーム画像、即ち高解像度のフレーム画像がバッファメモリ8に記憶されるため、高解像度の静止画像データを得ることができる。なお、生成される静止画像データの画素数は、生成されたスロー動画像データの画素数より多い。次に、制御部4は、メモリ16に記憶されている、スロー動画像データに基づくスロー動画像及び静止画像データに基づく静止画像を表示部12にプレビュー表示する(ステップS37)。ここでプレビュー表示はメモリ16に記憶されている記録用スロー動画像データ及び記録用静止画像データから動画像生成部5b及び静止画像生成部5cによりプレビュー用スロー動画像データ及びプレビュー用静止画像データを作成し、これらのデータを用いて行われる。
【0032】
図8は、スロー動画像データに基づくスロー動画像の再生状態を示す図である。メモリ16に記憶されているスロー動画像データに基づくスロー動画像は、図8(A)に示す第1領域の画角から、図8(B)に示すように画角が小さくなり、最終的には図8(C)に示す第2領域の画角(図8(A)において点線で示す画角)に所定時間かけて画角が変化する。なお、図8(A)において点線で示す第2領域の画角は、説明のために示しているものであり、実際の動画像上には表示されない。スロー動画像の表示後、所定時間静止画像の表示が行われる。
【0033】
次に、制御部4は、メモリ16に記憶されているスロー動画像データ及び静止画像データを記録媒体10に記録するか否かをユーザーに選択させる選択画面を表示する。そして、制御部4は、選択画面においてユーザーがスロー動画像データ及び静止画像データの記録媒体10への記録を選択したか否かを判別する(ステップS38)。ステップS38においてスロー動画像データ及び静止画像データの記録媒体10への記録が選択されたと判別した場合(ステップS38、Yes)、メモリ16に記憶されているスロー動画像データ及び静止画像データを記録媒体10に記録させる(図3、ステップS18)。なお、スロー動画像データ及び静止画像データを記録媒体10に記録する場合には、メモリ16に記憶されているスロー動画像データに対して制御部4内の動画像生成部5bにより動画像用の圧縮処理を施したスロー動画像データを記録媒体10に記録し、静止画像データを記録媒体10に記録する場合には、メモリ16に記憶されている静止画像データに対して制御部4内の静止画像生成部5cにより静止画像用の圧縮処理を施した静止画像データを記録媒体10に記録する。またスロー動画像データ及び静止画像データを、互いに関連付ける情報(撮影日時や識別番号等)を記録する。
【0034】
一方、ステップS38においてスロー動画像データ及び静止画像データの記録媒体10への記録が選択されず、スロー動画像を再度生成することが選択された場合には、ステップS31に戻り、ユーザーにより再度選択されたズームポイントPP1を用いてステップS32〜ステップS38の処理を行なうことによりスロー動画像データ及び静止画像データを再度生成する。その後、スロー動画像データ及び静止画像データに基づいて、スロー動画像及び静止画像のプレビュー表示を行い、ユーザーにより記録媒体10への記録が指示された場合に、スロー動画像データ及び静止画像データを記録媒体10へ記録する(図3、ステップS18)。
【0035】
この実施の形態に係る電子カメラ2によれば、撮影者の意図を反映させつつ、動画像の解像度を低下させることなくより印象的な動画像を生成することができる。即ち、スロー動画像を構成するフレーム画像を高解像度でバッファメモリ8に記憶するため、高精細かつ高精度なスロー動画像データを生成することができる。また、高解像度のフレーム画像に基づき静止画像データを生成するため、高精細かつ高精度な静止画像データ(スロー動画像データより高解像度の静止画像データ)を生成することができる。またバッファメモリ8に記憶されているフレーム画像から短時間のスロー動画を生成するため、スロー動画におけるシーン変動が小さく鑑賞者に違和感を与えることが少ない。
【0036】
次に、本発明の第2の実施の形態に係る電子カメラについて説明する。なお、第2の実施の形態に係る電子カメラの構成は、第1の実施の形態に係る電子カメラ2と同様であるため、第2の実施の形態に係る電子カメラの説明においては、第1の実施の形態に係る電子カメラ2の構成に付したのと同一の符号を用いる。
【0037】
この第2の実施の形態に係る電子カメラにおいては、制御部4は静止画撮影指示の入力時TSにバッファメモリ8へ記憶されたフレーム画像を読み出し、静止画像生成部5cにより表示用静止画像データを生成して、図9に示すように表示用静止画像データに基づく静止画像を表示部12において表示する。また制御部4は表示用静止画像データに関して画像解析を行い、スロー動画像データ生成の際の画角変更時にターゲットとする位置の指定に用いるターゲットポイントPPの位置を決定する。ここで背景の画像に対して鮮鋭度の高い領域、画像の色が鮮やかな領域、被写体の動きが大きい領域、画像に人物が含まれる場合に顔が存在する領域等がターゲットポイントPPの位置として決定される。なお図9においては、上述のようにして決定された4個のターゲットポイントPPが静止画像上に四角形マークにより表示されている。制御部は4、ユーザーが操作部14の操作によりターゲットポイントPPの中から1つのターゲットポイントをズームポイントPP1として選択すると(図4のステップS31)、第1の実施の形態と同様に図4のステップS32〜ステップS38の処理を行い、第1の実施の形態と同様なスロー動画像データ及び静止画像データを生成する。
【0038】
なお、この第2の実施の形態においては、制御部4は表示用静止画像データに基づいて、スロー動画像データ生成の際の画角変更時にターゲットとする位置の指定に用いる、4点のターゲットポイントPPを決定し、静止画上に表示しているが、制御部4は4点のターゲットポイントPPの中から1つの代表点をズームポイントPP1として決定して、図10において黒色の四角マークで示すように、他のターゲットポイントPPと識別して表示するようにしてもよい。この場合に制御部4は、決定したズームポイントPP1を用いて、第1の実施の形態と同様に図4のステップS32〜ステップS38の処理を行い、第1の実施の形態と同様なスロー動画像データ及び静止画像データを生成し、記録媒体10に記録する。
【0039】
また、上述の実施の形態において、スロー動画像及び静止画像を表示部12にプレビュー表示した後、スロー動画像データ及び静止画像データを記録媒体10に記録するか否かを選択させる選択画面を表示するとき、画角変化のスピード変更を指示できるようにしてもよい。上述の実施の形態においては、図8に示すように、図8(A)に示すスロー動画の最初の画像の画角から、図8(C)に示すスロー動画の最後の画像の画角まで一定の速度で画角を変更させているが、スロー動画の最初の部分においては画角の変更速度を小さくし、その後画角の変更速度を大きくする、またはスロー動画の最初の部分と最後の部分においては画角の変更をせず、スロー動画の中間部分において最初の画角から最後の画角へ一定速度で画角の変更を行なうなど、画角の変更速度を任意に設定できるようにしてもよい。この場合には画角速度の変更パターンを複数個、表示部12に表示させ、ユーザーが操作部14を操作することにより選択できるようにすることが好ましい。
【0040】
また上述の実施の形態においては、スロー動画の最初の画像と最後の画像との間のズーム倍率を約2倍としているが、ズーム倍率を1.5倍または3倍等としたスロー動画を生成することも可能である。また第2フレームレートの値を変更し、変更後の第2フレームレートでスロー動画像を再度生成することを選択できる構成にすることもできる。この場合には、ユーザーがプレビュー表示を見た後、表示されるスロー動画像を更に遅く、または少し速めることを所望したとき等に有効である。
【0041】
また、上述の実施の形態においては、第1フレームレートでバッファメモリ8に記憶されているフレーム画像を第2フレームレートで読み出すことにより、スロー動画像データを生成しているが、フレーム画像を第1フレームレートで読み出し、第1領域の画角と、ターゲットポイントPP1を含み且つ第1領域の画角とは異なる画角である第2領域の画角との間を所定時間をかけて画角が変化する通常の動画像データを生成するようにしてもよい。即ち通常の速度で再生される動画像において第1領域の画角から第2領域の画角へ所定時間かけて画角が変化する動画像データを生成するようにしてもよい。
【0042】
また上述の実施の形態においては、ズームポイントPP1を含んだ所定の画角にズームインする動画の生成を行なっているが、ズームアウトするスロー動画を生成するようにしてもよい。この場合には、制御部4は静止画撮影指示の入力時TSにバッファメモリ8へ記憶されたフレーム画像を読み出し、静止画像生成部5cにより表示用静止画像データを生成して、図6に示すように表示用静止画像データに基づく静止画像を表示部12において表示する。また静止画像上の所定の位置に、スロー動画像データ生成の際の画角変更時にターゲットとする位置の指定に用いる9点のターゲットポイントPP、即ち図6において格子状に配列されている9個の四角形マークの表示を行う。
【0043】
ここで図6において表示されている静止画像はズームアウトするスロー動画の初期画角を設定するために用いられる。従って、ユーザーが、例えば右下に表示されているターゲットポイントPPを選択すると、このターゲットポイントPPを含む所定領域、例えば図8(C)に示す領域の画角が初期画角として決定され、この初期画角から図8(A)に示す最終画角まで所定時間かけて画角が変化するスロー動画が生成される。
【0044】
また上述の実施の形態においては、ズームインするスロー動画を生成するためにユーザーがズームポイントPP1を指定することにより最終領域の画角の設定を行なっているが、最終領域の画角のみならず初期領域の画角もユーザーが設定するようにしてもよい。この場合には、例えばユーザーが図11(A)に示す1つ目のターゲットポイントPP1と、図11(B)に示す2つ目のターゲットポイントPP12を選択すると、まず、画像全体の画角から図11(A)に示す1つ目のターゲットポイントPP1を含む領域(図において破線で示す領域)にズームインし、その後図11(B)に示す2つ目のターゲットポイントPP12を含む領域(図において破線で示す領域)に画角がスライドするスロー動画を作成してもよい。
【0045】
また上述の実施の形態において、図11(A)に示す1つ目のターゲットポイントPP1を含む領域にズームインした画像から2つ目のターゲットポイントPP12を含む領域に画角がスライドするスロー動画、即ちパンニングしたスロー動画像を作成してもよい。また、画像全体の画角の中央部にズームインし、その後ターゲットポイントPP1またはターゲットポイントPP12を含む画角にスライドするスロー動画を作成してもよい。
【0046】
また上述の実施の形態において、画角の変更を行なわないスロー動画像データの生成を行なうと共に、最初の全体画角の中の一部分、例えば人の顔認識を行い複数の顔が認識された場合には、全体画角から認識された人の顔が含まれる領域にズームインするスロー動画を認識された顔ごとに生成するようにしてもよい。
【0047】
また上述の実施の形態においては、記録用のスロー動画像データ及び静止画像データを生成し、プレビュー時には記録用のスロー動画像データ及び静止画像データに基づいてプレビュー用のスロー動画像データ及び静止画像データを生成しているが、記録用のスロー動画像データ及び静止画像データを生成する際に併せてプレビュー用のスロー動画像データ及び静止画像データを生成してもよい。また最初にプレビュー用のスロー動画像データ及び静止画像データを生成し、記録媒体に記録させる際に記録用のスロー動画像データ及び静止画像データを生成するようにしてもよい。
【0048】
また上述の実施の形態において、バファメモリ8に記憶されている複数のフレーム画像及び操作部14の操作により指定された少なくとも1つのズームポイントを記録媒体10に記録させ、制御部4は記録媒体10から複数のフレーム画像及びズームポイントを読み出した際に、複数のフレーム画像及びズームポイント用いて、第1領域の画角からズームポイントを含む第2領域の画角へ画角が変化する動画像データを生成するようにしてもよい。
【符号の説明】
【0049】
2…電子カメラ、4…制御部、5…映像信号処理回路、5a…スルー画生成部、5b…動画生成部、5c…静止画生成部、6…撮像素子、8…バッファメモリ、10…記録媒体、12…表示部、14…操作部、16…メモリ
【技術分野】
【0001】
本発明は、動画像を記録可能な撮像装置に関するものである。
【背景技術】
【0002】
従来、動画を撮影し記録を行う撮像装置において、予め指定された枠体に含まれる画像をフレームごとに切出して拡大処理し、これを繋ぎ合わせることによって所定の被写体を中心とした動画像を生成することが提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−279894号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来の撮像装置においては必ずしも好ましい範囲の部分拡大画像が得られるわけではく、また部分拡大により動画を生成することから拡大処理による解像度の低下が避けられない。
【0005】
本発明の目的は、撮影者の意図を反映させつつ、動画像の解像度を低下させることなくより印象的な動画像を生成することができる撮像装置を提供することである。
【課題を解決するための手段】
【0006】
本発明は以下のような解決手段により上記課題を解決する。なお、理解を容易にするために、本発明の実施の形態に対応する符号を付して説明するが、本発明はこれに限定されるものではない。
【0007】
本発明の撮像装置は、被写体からの光を撮像する撮像素子からの撮像信号に基づき時系列に得られた複数の画像を順次記憶する記憶部(8)と、前記記憶部に記憶された前記複数の画像のうちの1つの画像に関する静止画像を生成する静止画像生成部(5c)と、前記静止画像に基づく静止画を表示する表示部(12)と、前記表示部に表示されている前記静止画上に複数のポイントを設定して表示するポイント表示制御部(4)と、前記表示部に表示されている、少なくとも1つの前記ポイントを指定するポイント指定部(14)と、前記記憶部に記憶された前記複数の画像を用いて、第1領域の画角と、前記ポイント指定部により指定された前記ポイントを含み且つ前記第1領域の画角とは異なる画角である第2領域の画角との間を、所定時間かけて変化する動画像データを生成する動画像データ生成部(5b)とを備える。
【発明の効果】
【0008】
本発明の撮像装置によれば、撮影者の意図を反映させつつ、動画像の解像度を低下させることなくより印象的な動画像を生成することができる。
【図面の簡単な説明】
【0009】
【図1】第1の実施の形態に係る電子カメラのシステム構成を示すブロック図である。
【図2】第1の実施の形態に係る電子カメラにおけるスローモーション動画像生成のためのバッファメモリ記憶時のフレームレート及び記録媒体記録時のフレームレートについて説明する図である。
【図3】第1の実施の形態に係る電子カメラにおいてスローモーション動画像及び静止画像を撮影する際の処理について説明するためのフローチャートである。
【図4】第1の実施の形態に係る電子カメラにおいてスローモーション動画像及び静止画像を撮影する際の処理について説明するためのフローチャートである。
【図5】第1の実施の形態に係る電子カメラの表示部に表示されたスルー画像を示す図である。
【図6】第1の実施の形態に係る電子カメラの表示部に表示された静止画像及び静止画像上に表示されたターゲットポイントを示す図である。
【図7】第1の実施の形態に係る電子カメラにおいて生成される画像データの画素数を説明するための図である。
【図8】第1の実施の形態に係る電子カメラにおいてズームポイントを基準として画角が変更されたスロー動画像の再生状態を示す図である。
【図9】第2の実施の形態に係る電子カメラの表示部に表示された静止画像及び静止画像上に表示されたターゲットポイントを示す図である。
【図10】第2の実施の形態に係る電子カメラの表示部に表示された静止画像及び静止画像上に表示されたターゲットポイントを示す図である。
【図11】実施の形態に係る電子カメラにおいて生成するパンニングしたスロー動画像について説明するための図である。
【発明を実施するための形態】
【0010】
以下、本発明の第1の実施の形態に係る撮像装置としての電子カメラについて説明する。図1は、第1の実施の形態に係る電子カメラのシステム構成を示すブロック図である。図1に示すように電子カメラ2は、マイクロプロセッサ等により構成され、電子カメラ2の各部を統括的に制御する制御部4を備えている。制御部4は、映像信号処理回路5を有し、映像信号処理回路5は、後述する表示部12において表示されるスルー画像のスルー画像データを生成するスルー画像生成部5a、動画像データを生成する動画像生成部5b及び静止画像データを生成する静止画像生成部5cを有している。また、制御部4には、バッファメモリ8、記録媒体10、表示部12、操作部14及びメモリ16が接続されている。
【0011】
バッファメモリ8は、撮像素子6からの撮像信号に基づき作成された画像データを一時的に記憶する。ここで、撮像素子6は、CCDまたはCMOS等により構成され、図示しない撮影レンズを介した被写体からの光を撮像し、バッファメモリ8は、撮像素子6から出力され、図示しないA/Dコンバータを介すことによりアナログ信号からデジタル信号に変換された撮像信号に基づく画像データを一時的に記憶する。
【0012】
また、バッファメモリ8は、電子カメラ2が例えば、後述のスローモーション動画像(以下、スロー動画像という。)を撮影するスローモーション動画像撮影モードに設定されている場合には、撮像素子6から動画像サイクル(60fps等)に同期して出力される撮像信号に基づく複数の画像データ、即ちスロー動画像を構成する複数のフレーム画像を時系列に順次記憶する。なお、この実施の形態において、バッファメモリ8には、QFHD(Quod Full High Difinition:3840×2160ピクセル)規格の画素数を有するフレーム画像、即ち高解像度のフレーム画像がFIFO(first in first out)方式で順次記憶される。
【0013】
具体的には、バッファメモリ8が例えばn枚(nは自然数)のフレーム画像を記憶可能な記憶領域を有している場合において、制御部4は図2(a)に示すように、1番目に取得したフレーム画像F1、2番目に取得したフレーム画像F2…n番目に取得したフレーム画像Fnを順次、バッファメモリ8内に記憶させる。そして、n枚のフレーム画像F1〜Fnを記憶した後、次のフレーム画像Fn+1が撮像素子6から出力されると、バッファメモリ8内から最古のフレーム画像F1を削除し、最新のフレーム画像Fn+1を記憶させ、次のフレーム画像が撮像素子6から出力される度に、最古のフレーム画像を削除し、最新のフレーム画像を記憶させる処理を繰り返す。
【0014】
即ち、バッファメモリ8は、n個の記憶領域(フレーム画像を順に記憶するための記憶領域)を有しており、1番目のフレーム画像F1をアドレス番号(n−1)の記憶領域に、2番目のフレーム画像F2をアドレス番号(n−2)の記憶領域に、…n番目のフレーム画像Fnをアドレス番号0の記憶領域に順次記憶する。そして、n個の記憶領域全部にフレーム画像F1〜Fnが記憶され、次のフレーム画像Fn+1が撮像素子6から出力されると、アドレス番号(n−1)の記憶領域のフレーム画像(即ち最古のフレーム画像)F1が削除され、フレーム画像F2〜Fnのそれぞれは、アドレス番号(n−2)〜0の記憶領域からアドレス番号(n−1)〜1の記憶領域に移動し、(n+1)番目のフレーム画像(即ち最新のフレーム画像)Fn+1は、アドレス番号(0)の記憶領域に記憶される。よって、アドレス番号(0)の記憶領域には常に最新のフレーム画像が記憶され、アドレス番号が大きくなるに従い、順次古いフレーム画像が記憶され、アドレス番号0の記憶領域には常に最新のフレーム画像が記憶される。
【0015】
記録媒体10は、電子カメラ2に設けられたカードスロット(図示せず)に着脱可能に装着される可搬性を有する記録媒体であり、例えば、CFカード、SDカード、スマートメディア等が用いられる。記録媒体10には、バッファメモリ8に記憶されているフレーム画像のそれぞれに、制御部4内の動画像生成部5bにより動画像用の解像度へのリサイズ(解像度大から小へ)処理、動画像用の画像処理、及び動画像用の圧縮処理を施すことにより作成される動画像データやスローモーション動画像データが記録される。また、記録媒体10には、バッファメモリ8に記憶されているフレーム画像に、制御部4内の静止画像生成部5cにより静止画像用の画像処理、静止画像用の圧縮処理を施すことにより作成される静止画像データや、撮影に関する情報等が記録される。
【0016】
表示部12は、電子カメラ2の背面部に配置されるLCD等により構成されるモニタまたはEVF等により構成され、スルー画像生成部5aにより生成されたスルー画像、記録媒体10に記録されている動画像データに基づく動画像、スローモーション動画像データ(以下、スロー動画像データという。)に基づくスロー動画像、静止画像データに基づく静止画像、及び撮影に関する情報等を表示する。
【0017】
操作部14は、電子カメラ2の電源をオン/オフする電源スイッチ、動画像を撮影する動画像撮影モードやスロー動画像を撮影するスローモーション動画像撮影モード等の撮影モードを設定するためのコマンドダイヤル、動画像や静止画像の撮影開始等を指示するためのレリーズボタン、表示部12にメニュー等を表示させるためのメニューボタン、メニュー項目等の選択や様々な設定時に操作される十字キー、メニュー項目等の選択や様々な設定に対する確定操作を行うためのOKボタン、記録媒体10に記録された動画像データに基づく動画像や静止画像データに基づく静止画像を表示部12に表示させるための再生ボタン等を含んで構成されている。メモリ16は、記録媒体10に記録させる前のスロー動画像データ及び静止画像データを一時的に記憶する。
【0018】
この実施の形態に係る電子カメラ2では、撮像素子6から出力されバッファメモリ8に記憶されているフレーム画像から静止画像を生成すると共に、バッファメモリ8に単位時間に記憶されるフレーム画像の数を示す第1フレームレートより少ない第2フレームレートで再生され、かつ所定時間をかけて画角が変化するスロー動画像を生成し、静止画像データ及びスロー動画像データを互いに関連付けて記録媒体10に記録する。
【0019】
以下、図3に示す、制御部4の実行する動作フローチャートを参照して、この実施の形態に係る電子カメラ2においてスロー動画像及び静止画像を撮影する際の処理について説明する。なお、この実施の形態では、静止画像データを生成するためのフレーム画像がバッファメモリ8に記憶されたときから第1所定時間前までの間にバッファメモリ8に記憶された複数のフレーム画像、及び静止画像データを生成するためのフレーム画像がバッファメモリ8に記憶されたときから第2所定時間後までの間にバッファメモリ8に記憶された複数のフレーム画像に基づいて、スロー動画像データを生成する。即ち、所定時間(第1所定時間+第2所定時間)の間にバッファメモリ8に記憶された複数のフレーム画像に基づいてスロー動画像データを生成し、第1所定時間終了時(第2所定時間開始時)にバッファメモリ8に記憶されたフレーム画像に基づいて静止画像データを生成する。なお、所定時間(例えば1秒等)、第1所定時間(例えば0.6秒等)、及び第2所定時間(例えば0.4秒等)は、予め設定され、メモリ16等に記憶されており、変更可能に構成されている。
【0020】
まず、ユーザーがコマンドダイヤルを操作することによりスローモーション動画像撮影モードが設定されると、本フローチャートはスタートする。まず制御部4は、スロー動画像及び該スロー動画像に関連する静止画像を撮影するためのスローモーション動画像撮影モードに移行する。そして、撮像素子6からの撮像信号に基づいてスルー画像生成部5aによりスルー画像データを生成し、図5に示すように表示部12にスルー画像を表示する(ステップS11)。このステップS11では、スルー画像内の主要被写体に対して合焦するように、図示しないフォーカスレンズ等を駆動させて、主要被写体に対して合焦させる。また本ステップの最中に主要被写体に対する露出制御も行う。なお主要被写体の決定には周知の手法、例えば予めユーザーがスルー画像内で指定したAFエリアに存在する被写体を主要被写体として決定するマニュアル決定手法や、或いは公知の顔認識方法によってカメラが自動的に主要被写体を決定する方法が用いられる。
【0021】
次に、ユーザーによりレリーズボタンが半押しされたか否かを判別する(ステップS12)。ステップS12においてレリーズボタンが半押しされたと判別された場合には、ステップS13に進み、そうでなければステップS11に戻ってレリーズボタンが半押しされるまで待機する。ステップS12において、レリーズボタンの半押し操作がなされたと判別された場合には(ステップS12、Yes)、制御部4は、フレーム画像のバッファメモリ8へのバッファリングを開始する(ステップS13)。即ち制御部4は、撮像素子6から動画像サイクルに同期して出力される撮像信号に基づく複数のフレーム画像F1…Fn…(図2参照)のバッファメモリ8内の所定のアドレスへの記憶を開始する。
【0022】
なお、この実施の形態では、ユーザーによるレリーズボタンの全押し操作時に(後述するステップS14、Yes)、撮像素子6から出力される撮像信号に基づくフレーム画像を用いて静止画像データを生成する。したがって、第1所定時間経過後であって、ユーザーによりレリーズボタンが全押しされるまで、フレーム画像のバッファメモリ8への記憶処理を繰り返す。またバッファメモリ8にn枚のフレーム画像が記憶された後においては、フレーム画像が出力されるたびに、バッファメモリ8内の最古のフレーム画像を削除し、出力されたフレーム画像(最新のフレーム画像)のバッファメモリ8への記憶処理を繰り返す。
【0023】
次に、制御部4は、第1所定時間経過後であって、バッファメモリ8へのフレーム画像の記憶を繰り返している最中に、ユーザーによりレリーズボタンが全押しされたか否かを判別する(ステップS14)。ステップS14においてレリーズボタンが全押しされたと判別された場合には、制御部4は、静止画像データを生成する静止画像撮影指示が入力されたと判断し、第2所定時間を開始(第1所定時間を終了)させる。次に制御部4は、所定時間(第2所定時間)が経過したか否かを判別する(ステップS15)。即ち、レリーズボタンの全押し操作後(静止画像撮影指示の入力後)におけるスロー動画像データを生成するのに必要なフレーム画像のバッファメモリ8への記憶が終了したか否かを判別する。ステップS15において所定時間(第2所定時間)が経過していないと判別された場合には(ステップS15、No)、制御部4は、バッファメモリ8へのフレーム画像の記憶を続ける。
【0024】
一方、ステップS15において所定時間(第2所定時間)が経過したと判別された場合には(ステップS15、Yes)、制御部4は、スロー動画像データを生成するのに必要なn枚のフレーム画像のバッファメモリ8への記憶が終了したと判断し、バッファメモリ8へのバッファリングを終了する(ステップS16)。このとき、バッファメモリ8には、図2(a)に示すように、静止画像撮影指示の入力時TSから第1所定時間前までの間の(n−p)枚(pは自然数、n>p)のフレーム画像F2〜F5…、及び静止画像撮影指示の入力時TSから第2所定時間後までの間のp枚のフレーム画像…Fn,Fn+1が記憶されており、これらn枚のフレーム画像F2〜Fn+1に基づいて、後述するスロー動画像データが生成される。次に、制御部4は、バッファメモリ8に記憶されている複数のフレーム画像に基づいて、スロー動画像データの生成処理及び静止画像データの生成処理を実行する(ステップS17)。
【0025】
図4はスロー動画像データ及び静止画像データの生成処理を示すフローチャートである。先ず制御部4は静止画撮影指示の入力時TSにバッファメモリ8へ記憶されたフレーム画像を読み出し、静止画像生成部5cにより表示用静止画像データを生成して、図6に示すように表示用静止画像データに基づく静止画像を表示部12において表示する。また静止画像上の所定の位置に、スロー動画像データ生成時の画角変更時にターゲットとする位置の指定に用いる9点のターゲットポイントPP、即ち図6において格子状に配列されている9個の四角形マークの表示を行う(ステップS30)。
【0026】
制御部4は、ユーザーが操作部14を操作してターゲットポイントPPの中の1つを選択したか否かを判別し、選択されたと判別した場合には、選択されたターゲットポイントPPをズームポイントPP1として識別表示する(ステップS31)。図6は表示部12に表示された9個のターゲットポイントPPの中から右下のターゲットポイントPPがズームポイントPP1(図中においては黒色の四角マークで表す。)として選択された状態を示している。
【0027】
制御部4はバッファメモリ8に記憶されているn数のフレーム画像の中から先頭のフレーム画像を読み出す(ステップS32)。即ち、制御部4は、撮像素子6から出力されるフレームレート(撮影フレームレート)と同等の第1フレームレート(例えば60フレーム/秒等)でバッファメモリ8に記憶されているフレーム画像F2〜F5…を、第1フレームレートより少ない第2フレームレート(例えば第1フレームレートの1/2.5である24フレーム/秒等)でバッファメモリ8から読み出す。即ち、図2(a)に示すように、時間T1(例えば1/60秒等)でバッファメモリ8に記憶されているフレーム画像F2を、図2(b)に示すように、時間T2(例えば1/24秒等)でバッファメモリ8から読み出す。ここで読み出されたフレーム画像F2は、図7にF20で示すようにQFHD規格の画素数(3840×2160ピクセル)を有する画像データであるため、動画像生成部5bによりF20で示す画像データを50%の縮小率で縮小し、フルハイビジョンサイズの画素数(1920×1080ピクセル)の画像データを作成してメモリ16に記憶させる(ステップS33)。
【0028】
次に制御部4は、読み出されたフレーム画像が最後のフレーム画像(n枚目のフレーム画像)であるか否かを判別し(ステップS34)、最後でなければ次のフレーム画像F3を、図2(b)に示すように、時間T2(例えば1/24秒等)でバッファメモリ8から読み出す(ステップS35)。ここで、生成されるスロー動画像は、第1領域の画角からターゲットポイントPP1を含み且つ第1領域の画角よりも小さい画角である第2領域の画角へ所定時間をかけて一定の速度で画角が変化するスロー動画像であることから、QFHD規格の画素数を有するフレーム画像F3から、例えば図7にF30で示す領域を切り出して、この領域の画像データを動画像生成部5bにより、フレーム画像F2の場合よりも小さい縮小率を用いて画像データの縮小を行い、フルハイビジョンサイズの画素数(1920×1080ピクセル)の画像データを作成してメモリ16に記憶させる。
【0029】
制御部4は、フレーム画像F4〜フレーム画像Fn+1についても、画像データから切り出されるズームポイントPP1を含む範囲を順次小さくしながらステップS33の処理を行なう。ここでフレーム画像F2〜フレーム画像Fn+1に対するステップS33の処理で用いるフレーム画像の縮小率は、フレーム画像F2では50%であるが、順次縮小率を小さくしていきフレーム画像Fn+1では0%である。
【0030】
制御部4は、最後のフレーム画像Fn+1についての処理が終了したか否かの判別を行い(ステップS34)、最後のフレーム画像についての処理が終了したと判別した場合に、n枚のフレーム画像を用いたスロー動画像であって、第1領域であるフレーム画像全体の画角から、ターゲットポイントPP1を含み且つ第1領域の画角よりも小さな第2領域の画角へ所定時間をかけて画角が変化するスロー動画像データの生成を終了する。なお、第2フレームレートの値は、予め設定され、メモリ16等に記憶されており、変更可能に構成されている。
【0031】
次に制御部4は、静止画像データの生成を行なう(ステップS36)。即ち制御部4は、静止画撮影指示の入力時TSにバッファメモリ8に記憶されたフレーム画像をバッファメモリ8から読み出す。そして、読み出されたフレーム画像に対して制御部4内の静止画像生成部5cにより静止画像用の画像処理を施すことにより静止画像データを生成し、メモリ16に記憶させる(ステップS36)。なお、この実施の形態では、HDTV規格以上の画素数を有するフレーム画像、即ち高解像度のフレーム画像がバッファメモリ8に記憶されるため、高解像度の静止画像データを得ることができる。なお、生成される静止画像データの画素数は、生成されたスロー動画像データの画素数より多い。次に、制御部4は、メモリ16に記憶されている、スロー動画像データに基づくスロー動画像及び静止画像データに基づく静止画像を表示部12にプレビュー表示する(ステップS37)。ここでプレビュー表示はメモリ16に記憶されている記録用スロー動画像データ及び記録用静止画像データから動画像生成部5b及び静止画像生成部5cによりプレビュー用スロー動画像データ及びプレビュー用静止画像データを作成し、これらのデータを用いて行われる。
【0032】
図8は、スロー動画像データに基づくスロー動画像の再生状態を示す図である。メモリ16に記憶されているスロー動画像データに基づくスロー動画像は、図8(A)に示す第1領域の画角から、図8(B)に示すように画角が小さくなり、最終的には図8(C)に示す第2領域の画角(図8(A)において点線で示す画角)に所定時間かけて画角が変化する。なお、図8(A)において点線で示す第2領域の画角は、説明のために示しているものであり、実際の動画像上には表示されない。スロー動画像の表示後、所定時間静止画像の表示が行われる。
【0033】
次に、制御部4は、メモリ16に記憶されているスロー動画像データ及び静止画像データを記録媒体10に記録するか否かをユーザーに選択させる選択画面を表示する。そして、制御部4は、選択画面においてユーザーがスロー動画像データ及び静止画像データの記録媒体10への記録を選択したか否かを判別する(ステップS38)。ステップS38においてスロー動画像データ及び静止画像データの記録媒体10への記録が選択されたと判別した場合(ステップS38、Yes)、メモリ16に記憶されているスロー動画像データ及び静止画像データを記録媒体10に記録させる(図3、ステップS18)。なお、スロー動画像データ及び静止画像データを記録媒体10に記録する場合には、メモリ16に記憶されているスロー動画像データに対して制御部4内の動画像生成部5bにより動画像用の圧縮処理を施したスロー動画像データを記録媒体10に記録し、静止画像データを記録媒体10に記録する場合には、メモリ16に記憶されている静止画像データに対して制御部4内の静止画像生成部5cにより静止画像用の圧縮処理を施した静止画像データを記録媒体10に記録する。またスロー動画像データ及び静止画像データを、互いに関連付ける情報(撮影日時や識別番号等)を記録する。
【0034】
一方、ステップS38においてスロー動画像データ及び静止画像データの記録媒体10への記録が選択されず、スロー動画像を再度生成することが選択された場合には、ステップS31に戻り、ユーザーにより再度選択されたズームポイントPP1を用いてステップS32〜ステップS38の処理を行なうことによりスロー動画像データ及び静止画像データを再度生成する。その後、スロー動画像データ及び静止画像データに基づいて、スロー動画像及び静止画像のプレビュー表示を行い、ユーザーにより記録媒体10への記録が指示された場合に、スロー動画像データ及び静止画像データを記録媒体10へ記録する(図3、ステップS18)。
【0035】
この実施の形態に係る電子カメラ2によれば、撮影者の意図を反映させつつ、動画像の解像度を低下させることなくより印象的な動画像を生成することができる。即ち、スロー動画像を構成するフレーム画像を高解像度でバッファメモリ8に記憶するため、高精細かつ高精度なスロー動画像データを生成することができる。また、高解像度のフレーム画像に基づき静止画像データを生成するため、高精細かつ高精度な静止画像データ(スロー動画像データより高解像度の静止画像データ)を生成することができる。またバッファメモリ8に記憶されているフレーム画像から短時間のスロー動画を生成するため、スロー動画におけるシーン変動が小さく鑑賞者に違和感を与えることが少ない。
【0036】
次に、本発明の第2の実施の形態に係る電子カメラについて説明する。なお、第2の実施の形態に係る電子カメラの構成は、第1の実施の形態に係る電子カメラ2と同様であるため、第2の実施の形態に係る電子カメラの説明においては、第1の実施の形態に係る電子カメラ2の構成に付したのと同一の符号を用いる。
【0037】
この第2の実施の形態に係る電子カメラにおいては、制御部4は静止画撮影指示の入力時TSにバッファメモリ8へ記憶されたフレーム画像を読み出し、静止画像生成部5cにより表示用静止画像データを生成して、図9に示すように表示用静止画像データに基づく静止画像を表示部12において表示する。また制御部4は表示用静止画像データに関して画像解析を行い、スロー動画像データ生成の際の画角変更時にターゲットとする位置の指定に用いるターゲットポイントPPの位置を決定する。ここで背景の画像に対して鮮鋭度の高い領域、画像の色が鮮やかな領域、被写体の動きが大きい領域、画像に人物が含まれる場合に顔が存在する領域等がターゲットポイントPPの位置として決定される。なお図9においては、上述のようにして決定された4個のターゲットポイントPPが静止画像上に四角形マークにより表示されている。制御部は4、ユーザーが操作部14の操作によりターゲットポイントPPの中から1つのターゲットポイントをズームポイントPP1として選択すると(図4のステップS31)、第1の実施の形態と同様に図4のステップS32〜ステップS38の処理を行い、第1の実施の形態と同様なスロー動画像データ及び静止画像データを生成する。
【0038】
なお、この第2の実施の形態においては、制御部4は表示用静止画像データに基づいて、スロー動画像データ生成の際の画角変更時にターゲットとする位置の指定に用いる、4点のターゲットポイントPPを決定し、静止画上に表示しているが、制御部4は4点のターゲットポイントPPの中から1つの代表点をズームポイントPP1として決定して、図10において黒色の四角マークで示すように、他のターゲットポイントPPと識別して表示するようにしてもよい。この場合に制御部4は、決定したズームポイントPP1を用いて、第1の実施の形態と同様に図4のステップS32〜ステップS38の処理を行い、第1の実施の形態と同様なスロー動画像データ及び静止画像データを生成し、記録媒体10に記録する。
【0039】
また、上述の実施の形態において、スロー動画像及び静止画像を表示部12にプレビュー表示した後、スロー動画像データ及び静止画像データを記録媒体10に記録するか否かを選択させる選択画面を表示するとき、画角変化のスピード変更を指示できるようにしてもよい。上述の実施の形態においては、図8に示すように、図8(A)に示すスロー動画の最初の画像の画角から、図8(C)に示すスロー動画の最後の画像の画角まで一定の速度で画角を変更させているが、スロー動画の最初の部分においては画角の変更速度を小さくし、その後画角の変更速度を大きくする、またはスロー動画の最初の部分と最後の部分においては画角の変更をせず、スロー動画の中間部分において最初の画角から最後の画角へ一定速度で画角の変更を行なうなど、画角の変更速度を任意に設定できるようにしてもよい。この場合には画角速度の変更パターンを複数個、表示部12に表示させ、ユーザーが操作部14を操作することにより選択できるようにすることが好ましい。
【0040】
また上述の実施の形態においては、スロー動画の最初の画像と最後の画像との間のズーム倍率を約2倍としているが、ズーム倍率を1.5倍または3倍等としたスロー動画を生成することも可能である。また第2フレームレートの値を変更し、変更後の第2フレームレートでスロー動画像を再度生成することを選択できる構成にすることもできる。この場合には、ユーザーがプレビュー表示を見た後、表示されるスロー動画像を更に遅く、または少し速めることを所望したとき等に有効である。
【0041】
また、上述の実施の形態においては、第1フレームレートでバッファメモリ8に記憶されているフレーム画像を第2フレームレートで読み出すことにより、スロー動画像データを生成しているが、フレーム画像を第1フレームレートで読み出し、第1領域の画角と、ターゲットポイントPP1を含み且つ第1領域の画角とは異なる画角である第2領域の画角との間を所定時間をかけて画角が変化する通常の動画像データを生成するようにしてもよい。即ち通常の速度で再生される動画像において第1領域の画角から第2領域の画角へ所定時間かけて画角が変化する動画像データを生成するようにしてもよい。
【0042】
また上述の実施の形態においては、ズームポイントPP1を含んだ所定の画角にズームインする動画の生成を行なっているが、ズームアウトするスロー動画を生成するようにしてもよい。この場合には、制御部4は静止画撮影指示の入力時TSにバッファメモリ8へ記憶されたフレーム画像を読み出し、静止画像生成部5cにより表示用静止画像データを生成して、図6に示すように表示用静止画像データに基づく静止画像を表示部12において表示する。また静止画像上の所定の位置に、スロー動画像データ生成の際の画角変更時にターゲットとする位置の指定に用いる9点のターゲットポイントPP、即ち図6において格子状に配列されている9個の四角形マークの表示を行う。
【0043】
ここで図6において表示されている静止画像はズームアウトするスロー動画の初期画角を設定するために用いられる。従って、ユーザーが、例えば右下に表示されているターゲットポイントPPを選択すると、このターゲットポイントPPを含む所定領域、例えば図8(C)に示す領域の画角が初期画角として決定され、この初期画角から図8(A)に示す最終画角まで所定時間かけて画角が変化するスロー動画が生成される。
【0044】
また上述の実施の形態においては、ズームインするスロー動画を生成するためにユーザーがズームポイントPP1を指定することにより最終領域の画角の設定を行なっているが、最終領域の画角のみならず初期領域の画角もユーザーが設定するようにしてもよい。この場合には、例えばユーザーが図11(A)に示す1つ目のターゲットポイントPP1と、図11(B)に示す2つ目のターゲットポイントPP12を選択すると、まず、画像全体の画角から図11(A)に示す1つ目のターゲットポイントPP1を含む領域(図において破線で示す領域)にズームインし、その後図11(B)に示す2つ目のターゲットポイントPP12を含む領域(図において破線で示す領域)に画角がスライドするスロー動画を作成してもよい。
【0045】
また上述の実施の形態において、図11(A)に示す1つ目のターゲットポイントPP1を含む領域にズームインした画像から2つ目のターゲットポイントPP12を含む領域に画角がスライドするスロー動画、即ちパンニングしたスロー動画像を作成してもよい。また、画像全体の画角の中央部にズームインし、その後ターゲットポイントPP1またはターゲットポイントPP12を含む画角にスライドするスロー動画を作成してもよい。
【0046】
また上述の実施の形態において、画角の変更を行なわないスロー動画像データの生成を行なうと共に、最初の全体画角の中の一部分、例えば人の顔認識を行い複数の顔が認識された場合には、全体画角から認識された人の顔が含まれる領域にズームインするスロー動画を認識された顔ごとに生成するようにしてもよい。
【0047】
また上述の実施の形態においては、記録用のスロー動画像データ及び静止画像データを生成し、プレビュー時には記録用のスロー動画像データ及び静止画像データに基づいてプレビュー用のスロー動画像データ及び静止画像データを生成しているが、記録用のスロー動画像データ及び静止画像データを生成する際に併せてプレビュー用のスロー動画像データ及び静止画像データを生成してもよい。また最初にプレビュー用のスロー動画像データ及び静止画像データを生成し、記録媒体に記録させる際に記録用のスロー動画像データ及び静止画像データを生成するようにしてもよい。
【0048】
また上述の実施の形態において、バファメモリ8に記憶されている複数のフレーム画像及び操作部14の操作により指定された少なくとも1つのズームポイントを記録媒体10に記録させ、制御部4は記録媒体10から複数のフレーム画像及びズームポイントを読み出した際に、複数のフレーム画像及びズームポイント用いて、第1領域の画角からズームポイントを含む第2領域の画角へ画角が変化する動画像データを生成するようにしてもよい。
【符号の説明】
【0049】
2…電子カメラ、4…制御部、5…映像信号処理回路、5a…スルー画生成部、5b…動画生成部、5c…静止画生成部、6…撮像素子、8…バッファメモリ、10…記録媒体、12…表示部、14…操作部、16…メモリ
【特許請求の範囲】
【請求項1】
被写体からの光を撮像する撮像素子からの撮像信号に基づき時系列に得られた複数の画像を順次記憶する記憶部と、
前記記憶部に記憶された前記複数の画像のうちの1つの画像に関する静止画像を生成する静止画像生成部と、
前記静止画像に基づく静止画を表示する表示部と、
前記表示部に表示されている前記静止画上に複数のポイントを設定して表示するポイント表示制御部と、
前記表示部に表示されている、少なくとも1つの前記ポイントを指定するポイント指定部と、
前記記憶部に記憶された前記複数の画像を用いて、第1領域の画角と、前記ポイント指定部により指定された前記ポイントを含み且つ前記第1領域の画角とは異なる画角である第2領域の画角との間を、所定時間かけて変化する動画像データを生成する動画像データ生成部と
を備えることを特徴とする撮像装置。
【請求項2】
前記記憶部に記憶される前記画像の画素数は、ハイビジョンサイズよりも大きい画素数であることを特徴とする請求項1記載の撮像装置。
【請求項3】
前記静止画像生成部は、操作者による静止画像撮影指示時の前記画像に関する静止画像を生成することを特徴とする請求項1または請求項2記載の撮像装置。
【請求項4】
前記動画像データ生成部は、前記画像の画像データの縮小率を変化させつつ各画像がハイビジョンサイズ相当の画素数を有する動画像データを生成することを特徴とする請求項1〜請求項3の何れか一項に記載の撮像装置。
【請求項5】
前記動画像データ生成部は、所定時間の間に前記記憶部に記憶された前記複数の画像に基づいて、前記記憶部に単位時間に記憶される前記画像の数を示す第1フレームレートより少ない第2フレームレートで再生されるスローモーション動画像データを生成することを特徴とする請求項1〜請求項4の何れか一項に記載の撮像装置。
【請求項6】
前記動画像データ生成部により生成された前記動画像データに基づく動画像を前記表示部に表示する表示制御部を備えることを特徴とする請求項1〜請求項5の何れか一項に記載の撮像装置。
【請求項7】
前記動画像データ生成部により生成された前記動画像データを記録部に記録する記録制御部を備えることを特徴とする請求項1〜請求項6の何れか一項に記載の撮像装置。
【請求項8】
前記表示制御部により前記表示部に表示させた前記動画像を前記記録部に記録させるか否かを選択する選択部を備えることを特徴とする請求項7記載の撮像装置。
【請求項9】
前記第1領域の画角は、前記ポイント指定部により指定された第1ポイントを含む第1部分領域の画角であり、前記第2領域の画角は、前記ポイント指定部により指定された第2ポイントを含む第2部分領域の画角であることを特徴とする請求項1〜請求項8の何れか一項に記載の撮像装置。
【請求項10】
前記第1領域の画角は、前記静止画像データの全体画角であり、前記第2領域の画角は、前記ポイント指定部により指定された第1ポイントを含む第1部分領域の画角であることを特徴とする請求項1〜請求項8の何れか一項に記載の撮像装置。
【請求項11】
前記第1領域の画角から前記第2領域の画角への画角変化の速度は、一定であることを特徴とする請求項1〜請求項10の何れか一項に記載の撮像装置。
【請求項12】
前記動画像データ生成部は、前記画像の画像データの縮小率を小さくしつつ前記第1領域の画角から前記第2領域の画角へ変化させることを特徴とする請求項1〜請求項11の何れか一項に記載の撮像装置。
【請求項13】
前記ポイント表示制御部は、前記静止画像の画像解析結果に応じて設定された複数の前記ポイントを表示することを特徴とする請求項1〜請求項12の何れか一項に記載の撮像装置。
【請求項14】
前記ポイント指定部は、前記静止画像の画像解析結果に応じて、少なくとも1つの前記ポイントを指定することを特徴とする請求項13に記載の撮像装置。
【請求項15】
前記記憶部に記憶されている前記複数の画像及び前記ポイント指定部により指定された前記少なくとも1つのポイントを記録媒体に記録させる媒体記録制御部を備え、
前記動画像データ生成部は、前記記録媒体から読み出した前記複数の画像及び前記ポイント用いて、前記第1領域の画角から前記ポイントを含む第2領域の画角へ画角が変化する動画像データを生成することを特徴とする請求項1〜14の何れか一項に記載の撮像装置。
【請求項1】
被写体からの光を撮像する撮像素子からの撮像信号に基づき時系列に得られた複数の画像を順次記憶する記憶部と、
前記記憶部に記憶された前記複数の画像のうちの1つの画像に関する静止画像を生成する静止画像生成部と、
前記静止画像に基づく静止画を表示する表示部と、
前記表示部に表示されている前記静止画上に複数のポイントを設定して表示するポイント表示制御部と、
前記表示部に表示されている、少なくとも1つの前記ポイントを指定するポイント指定部と、
前記記憶部に記憶された前記複数の画像を用いて、第1領域の画角と、前記ポイント指定部により指定された前記ポイントを含み且つ前記第1領域の画角とは異なる画角である第2領域の画角との間を、所定時間かけて変化する動画像データを生成する動画像データ生成部と
を備えることを特徴とする撮像装置。
【請求項2】
前記記憶部に記憶される前記画像の画素数は、ハイビジョンサイズよりも大きい画素数であることを特徴とする請求項1記載の撮像装置。
【請求項3】
前記静止画像生成部は、操作者による静止画像撮影指示時の前記画像に関する静止画像を生成することを特徴とする請求項1または請求項2記載の撮像装置。
【請求項4】
前記動画像データ生成部は、前記画像の画像データの縮小率を変化させつつ各画像がハイビジョンサイズ相当の画素数を有する動画像データを生成することを特徴とする請求項1〜請求項3の何れか一項に記載の撮像装置。
【請求項5】
前記動画像データ生成部は、所定時間の間に前記記憶部に記憶された前記複数の画像に基づいて、前記記憶部に単位時間に記憶される前記画像の数を示す第1フレームレートより少ない第2フレームレートで再生されるスローモーション動画像データを生成することを特徴とする請求項1〜請求項4の何れか一項に記載の撮像装置。
【請求項6】
前記動画像データ生成部により生成された前記動画像データに基づく動画像を前記表示部に表示する表示制御部を備えることを特徴とする請求項1〜請求項5の何れか一項に記載の撮像装置。
【請求項7】
前記動画像データ生成部により生成された前記動画像データを記録部に記録する記録制御部を備えることを特徴とする請求項1〜請求項6の何れか一項に記載の撮像装置。
【請求項8】
前記表示制御部により前記表示部に表示させた前記動画像を前記記録部に記録させるか否かを選択する選択部を備えることを特徴とする請求項7記載の撮像装置。
【請求項9】
前記第1領域の画角は、前記ポイント指定部により指定された第1ポイントを含む第1部分領域の画角であり、前記第2領域の画角は、前記ポイント指定部により指定された第2ポイントを含む第2部分領域の画角であることを特徴とする請求項1〜請求項8の何れか一項に記載の撮像装置。
【請求項10】
前記第1領域の画角は、前記静止画像データの全体画角であり、前記第2領域の画角は、前記ポイント指定部により指定された第1ポイントを含む第1部分領域の画角であることを特徴とする請求項1〜請求項8の何れか一項に記載の撮像装置。
【請求項11】
前記第1領域の画角から前記第2領域の画角への画角変化の速度は、一定であることを特徴とする請求項1〜請求項10の何れか一項に記載の撮像装置。
【請求項12】
前記動画像データ生成部は、前記画像の画像データの縮小率を小さくしつつ前記第1領域の画角から前記第2領域の画角へ変化させることを特徴とする請求項1〜請求項11の何れか一項に記載の撮像装置。
【請求項13】
前記ポイント表示制御部は、前記静止画像の画像解析結果に応じて設定された複数の前記ポイントを表示することを特徴とする請求項1〜請求項12の何れか一項に記載の撮像装置。
【請求項14】
前記ポイント指定部は、前記静止画像の画像解析結果に応じて、少なくとも1つの前記ポイントを指定することを特徴とする請求項13に記載の撮像装置。
【請求項15】
前記記憶部に記憶されている前記複数の画像及び前記ポイント指定部により指定された前記少なくとも1つのポイントを記録媒体に記録させる媒体記録制御部を備え、
前記動画像データ生成部は、前記記録媒体から読み出した前記複数の画像及び前記ポイント用いて、前記第1領域の画角から前記ポイントを含む第2領域の画角へ画角が変化する動画像データを生成することを特徴とする請求項1〜14の何れか一項に記載の撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−102385(P2013−102385A)
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願番号】特願2011−245762(P2011−245762)
【出願日】平成23年11月9日(2011.11.9)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願日】平成23年11月9日(2011.11.9)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
[ Back to top ]