画像の記録再生方法及び画像記録／再生装置
【課題】動画記録中に高画素の静止画を記録することができ、動画と静止画の対応付けが容易で、記録後の画像データの取り扱いも便利な画像の記録／再生方法及び装置を提供する。
【解決手段】ウエーブレット変換を用いた圧縮方法を利用して動画の各フレームデータを記録する。ユーザが指示したフレームについては、通常よりも高画素で記録する。高画素記録フレームを動画再生する場合はプログレッシブ方式で通常の動画フレームと同等の所定の解像度まで再生する一方、高画素記録フレームを静止画として再生する場合は、それ以上の解像度を再生する。動画ファイル内に埋め込まれた高画素記録フレームを仮想的な静止画ファイルとしてファイル管理し、仮想静止画ファイルへのアクセス時には動画ファイル内から該当フレームを抜き出して、一つの静止画ファイルに変換して渡す。
【解決手段】ウエーブレット変換を用いた圧縮方法を利用して動画の各フレームデータを記録する。ユーザが指示したフレームについては、通常よりも高画素で記録する。高画素記録フレームを動画再生する場合はプログレッシブ方式で通常の動画フレームと同等の所定の解像度まで再生する一方、高画素記録フレームを静止画として再生する場合は、それ以上の解像度を再生する。動画ファイル内に埋め込まれた高画素記録フレームを仮想的な静止画ファイルとしてファイル管理し、仮想静止画ファイルへのアクセス時には動画ファイル内から該当フレームを抜き出して、一つの静止画ファイルに変換して渡す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像と静止画像を記録／再生する方法及び装置に係り、特に動画撮影中に高画素の静止画を記録し、その記録した動画及び静止画を再生する技術並びに記録した画像データの取り扱いを容易にするファイル管理技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラの分野では静止画像だけでなく、動画像も記録可能なカメラが発売されている。デジタルカメラにおける動画の記録方式としては一般にMotionＪＰＥＧと呼ばれる方式が広く採用され、一部のカメラではＭＰＥＧ方式が採用されている。MotionＪＰＥＧは、各フレーム画像をＪＰＥＧ方式で圧縮し、一連の画像群として記録する方法であり、再生時は各フレームを連続的に再生する。この方法は、各フレーム画像の圧縮／伸張処理に時間を要するため、画素数及びフレームレートをあまり上げることができない。現時点で発売されているデジタルカメラにおける動画記録の最大値は画素数６４０×４８０で３０フレーム／秒である。
【０００３】
その一方、静止画像の記録フォーマットとしては、現在のところＪＰＥＧフォーマットが広く使用されている。また、最近になってウェーブレット（Wavelet)方式などプログレッシブ再生が可能な圧縮技術が見直され、ＪＰＥＧ−2000などの新たな方式も提案されている。
【０００４】
動画及び静止画の両方を記録可能なデジタルカメラは、カメラ側で記録対象を動画又は静止画に切り換えて撮影を行うものが一般的であるが、動画記録中に特定のフレームだけ高画素で記録する機能を実現したいという要求がある。この点、従来から動画撮影中に静止画像を記録する方法がいくつか提案されている（特開平１０−２００８５９号公報、特開平１１−１８７３５０号公報、特開２０００−６９４０７号公報、特開２０００−２９５５６８号公報等）。従来提案されている方法の多くは、動画データと静止画データをそれぞれ別ファイルとして記録している。
【特許文献１】特開平１０−２００８５９号公報
【特許文献２】特開平１１−１８７３５０号公報
【特許文献３】特開２０００−６９４０７号公報
【特許文献４】特開２０００−２９５５６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、動画内から特定の１フレームを抜き出して静止画像とする場合、元々動画として撮影されたものであるため、記録画素数が少ないという欠点がある。そのため、この静止画像のデータをプリント等に使用すると画質の粗い画像となってしまう。
【０００６】
その一方、動画とは別に静止画のみを高画素で記録する方法も提案されているが（特開２０００−３５２７５９号公報、特開２０００−１０８１２１号公報）、既存のMotionＪＰＥＧやＭＰＥＧフォーマットにおいては、ある特定のフレームのみ画素数を変更して記録することができないため、高画素な静止画は別ファイルとして記録しなければならない。そのため、静止画と動画を関連づけるためには、別途関連付けのための情報を用意する必要がある。
【０００７】
本発明はこのような事情に鑑みてなされたもので、動画撮影中に高画素の静止画を記録することができ、動画と静止画の対応付けが容易で、記録後の画像の取り扱いにも便利な画像の記録再生方法、画像記録／再生装置並びにファイル管理方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成するために本発明に係る画像記録再生方法は、撮像手段を介して撮像した動画のフレームデータをプログレッシブ再生可能な圧縮形式に従って符号化して記録する一方、記録された画像を復号して再生する画像の記録再生方法であって、予め設定された所定の解像度で動画のフレームデータを記録する通常の動画記録中にユーザから高画質記録の指示を受け入れ、当該指示の入力に応じて前記所定の解像度よりも高解像度のフレームデータを取得し、前記所定の解像度で記録された通常フレームと前記高解像度で記録された高画素記録フレームとから成る一群の動画データを一つの動画ファイルとして保存し、前記動画ファイル内の高画素記録フレームを動画再生する場合にはプログレッシブ方式によって前記所定の解像度まで再生する一方、前記高画素記録フレームを静止画として再生する場合には、前記所定の解像度よりも高い解像度で再生を行うことを特徴としている。
【０００９】
本発明によれば、通常の動画記録中は、予め設定された一定の解像度でフレームデータが記録される。この動画記録中に、ユーザが高画質記録の指示を入力すると、当該指示の入力に応じて高解像度のフレームデータが記録される。高解像度で記録されたフレーム（高画素記録フレーム）も動画を構成するフレームデータの一つとして機能し、所定の解像度で記録されたフレーム（通常のフレーム）と高画素記録フレームは動画を構成する一連のフレーム群として同じ動画ファイル内に記録される。一つの動画ファイル内に複数の高画質記録フレームを記録することも可能である。
【００１０】
記録方式には、再生時に低解像度の画像データから徐々に解像度を上げて再生することができるプログレッシブ機能を有する圧縮方式が採用されているため、高画素記録フレームを動画として再生する場合には通常フレームと同等の前記所定の解像度まで再生し、高画素記録フレームを静止画として単独で再生する場合には、前記所定の解像度よりも高い解像度で再生を行う。
【００１１】
動画ファイル内に高画素記録フレームを埋め込むようにしたので、動画と静止画の対応付けが容易であり、高画素記録フレームを静止画と同様に取り扱うことができる。
【００１２】
本発明の一態様によれば、前記動画ファイル内の高画素記録フレームを仮想的な静止画ファイル（仮想静止画ファイルという。）としてファイル管理し、ファイルリストの表示要求に対して前記仮想静止画ファイルを含む仮想的なディレクトリ構造を提示し、前記仮想静止画ファイルへのアクセス時には前記動画ファイル内から該当フレームを抜き出して、一つの静止画ファイルに変換した後に出力することを特徴としている。
【００１３】
動画ファイル内に高画素記録したフレームをあたかも独立した静止画ファイルであるかのように仮想的なディレクトリ管理を行い、その仮想ディレクトリ構造をユーザに提示するようにしたので、仮想静止画ファイルのファイル操作が簡単である。
【００１４】
上記方法発明の実施に使用可能な画像記録装置並びに画像再生装置を提供するために、本発明に係る画像記録装置は、撮像手段を介して撮像した動画のフレームデータをプログレッシブ再生可能な圧縮形式に従って符号化する信号処理手段と、前記符号化された動画データを記録媒体に記録する記録手段と、を備えた画像記録装置であって、該装置は、動画の記録開始の指示を入力するための録画開始指示入力手段と、動画記録中に高画質のフレームを記録すべき旨の指示を入力するための高画質記録指示入力手段と、前記録画開始指示入力手段からの指示に従い、予め設定されている所定の解像度でフレームデータを記録する一方、前記高画質記録指示入力手段からの指示に応じて前記所定の解像度よりも高解像度のフレームデータを取得し、前記所定の解像度で記録された通常フレームと前記高解像度で記録された高画素記録フレームから成る一群の画像データを一つの動画ファイルとして記録媒体に保存する記録制御手段と、を備えたことを特徴としている。
【００１５】
また、本発明に係る画像再生装置は、プログレッシブ再生可能な圧縮形式に従って符号化された画像データを復号する信号処理手段と、前記復号された画像を出力する出力手段と、を備えた画像再生装置であって、該装置は、所定の解像度で記録された通常のフレーム及び前記所定の解像度よりも高解像度で記録された高画素記録フレームから成る一群の動画データが一つのファイルとして保存されている動画ファイルについて、当該動画ファイル内の高画素記録フレームを動画再生する場合にはプログレッシブ方式によって前記所定の解像度まで再生する一方、前記高画素記録フレームを静止画として再生する場合には、前記所定の解像度よりも高い解像度で再生を行う再生制御手段を備えていることを特徴としている。勿論、本発明に係る画像記録装置と本発明に係る画像再生装置とを組み合わせた画像記録再生装置を構成することも可能である。
【００１６】
また、本明細書は、以下に示すファイル管理方法並びにファイル管理装置の発明を開示する。すなわち、本発明によるファイル管理方法は、動画ファイル内に格納されている複数のフレームデータのうち、少なくとも一つのフレームを仮想的な静止画ファイル（仮想静止画ファイルという。）としてファイル管理し、ファイルリストの表示要求に対して前記仮想静止画ファイルを含む仮想的なディレクトリ構造を提示し、前記仮想静止画ファイルへのアクセス時には前記動画ファイル内から該当フレームを抜き出して、一つの静止画ファイルに変換した後に出力することを特徴とする。
【００１７】
また、本発明によるファイル管理装置は、動画ファイル内に記録されている複数のフレームデータのうち、少なくとも一つのフレームを仮想的な静止画ファイル（仮想静止画ファイルという。）としてファイル管理するファイル管理手段と、ファイルリストの表示要求に対して前記仮想静止画ファイルを含む仮想的なディレクトリ構造を提示する仮想ディレクトリ構造提示手段と、前記仮想静止画ファイルへのアクセス時には前記動画ファイル内から該当フレームを抜き出して、一つの静止画ファイルに変換した後に出力するファイル変換手段と、を備えたことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、動画ファイル内に高画素記録フレームを埋め込んで記録するようにしたので、動画と静止画の対応付けが容易である。本発明はプログレッシブ再生可能な圧縮方式を採用しているため、高画素記録フレームを動画として再生する場合には通常フレームと同等の前記所定の解像度まで再生することができる一方、高画素記録フレームを静止画として単独で再生する場合には、前記所定の解像度よりも高い解像度で再生を行うことができる。
【００１９】
また、本発明によれば、動画内に埋め込まれている高画素記録フレームを通常の静止画像と同様に容易に取り扱うことが可能となる。
【００２０】
本発明は、静止画像を単独の別ファイルとして記録しないため、記録容量を削減できるという効果もある。また、記録した動画ファイルを再生する再生機の処理速度が遅い場合でも、フレーム落ち無く再生できるという利点がある。
【発明を実施するための最良の形態】
【００２１】
以下添付図面に従って本発明に係る画像の記録再生方法及び画像記録／再生装置の好ましい実施の形態について詳説する。
【００２２】
図１は、本発明が適用されたデジタルカメラ１０の構成を示すブロック図である。デジタルカメラ１０は、撮影レンズ１２、絞り兼用メカシャッター１４、ＣＣＤ固体撮像素子（以下、ＣＣＤという。）１６、アナログ信号処理部１８、Ａ／Ｄ変換器２０、フレームメモリコントローラ２２、フレームメモリ２４、デジタル信号処理部２６、圧縮伸張回路２８、カードインターフェース３０、メモリカード３２、画像データバス３４、ホストバス３６、中央演算処理装置（ＣＰＵ）３８、ＣＰＵ周辺回路４０、各種の操作スイッチ４１、タイミングジェネレータ４２、ＶＲＡＭ（Video RAM ）４４、エンコーダ４６、Ｄ／Ａ変換器４８等から構成される。
【００２３】
ＣＰＵ３８は本システムの制御を司る制御装置であり、所定の制御プログラムに従ってカメラを動作させる。ＣＰＵ３８は、ＣＰＵ周辺回路４０を介して受入する各種の操作スイッチ４１からの信号入力に基づいて各回路を統括制御する。ＣＰＵ周辺回路４０には、タイマ、ダイレクト・メモリアクセス（ＤＭＡ）回路、割り込み制御回路、パラレル入／出力ポートなどが含まれる。また、ＣＰＵ３８はタイミングジェネレータ４２を制御しており、該タイミングジェネレータ４２から各ブロックに供給される同期信号によって各回路の同期が取られている。
【００２４】
撮影レンズ１２を介して入射した光は、絞り兼用メカシャッター１４によって光量が調節された後、ＣＣＤ１６の受光面に結像される。ＣＣＤ１６の受光面には多数のフォトセンサ（感光画素）が平面的に配列されており、各フォトセンサにおいて受光量に応じた信号電荷に変換される。ＣＣＤ１６の各フォトセンサに蓄積された信号電荷は、ＣＰＵ３８によって制御される図示せぬＣＣＤ駆動回路から加えられる駆動パルスに基づいて順次転送され、信号電荷に応じた電圧信号（画像信号）として読み出される。ＣＣＤ１６はＣＣＤ駆動回路から与えられるシャッタゲートパルスによって不要蓄積電荷を排出することができ、これにより電荷蓄積時間を制御するいわゆる電子シャッター機能を備えている。
【００２５】
また、ＣＣＤ１６は、受光面の感光画素から信号電荷を読み出す際に、垂直方向に間引きして読み出す機能を有している。そして、通常の動画記録時は垂直方向に間引いて読み出し、静止画記録時（高画素記録時）は間引かずに全画素のデータを読み出す。ＣＣＤ１６から読み出された信号は、アナログ信号処理部１８において色分離やゲイン調整その他の所定のアナログ信号処理が施された後、Ａ／Ｄ変換器２０によりデジタル信号に変換される。デジタル信号化された画像データは、デジタル信号処理部２６において輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb ）に変換され、一旦フレームメモリ２４に格納される。
【００２６】
フレームメモリ２４に格納された画像データは、圧縮伸張回路２８で圧縮されながら、カードインターフェース３０を介してメモリカード３２に記録される。圧縮処理とメモリカード３２への書き込み（記録）処理は同時に並行して行われる。
【００２７】
通常、動画像を記録する場合には、フレームメモリコントローラ２２より、フレームメモリ２４の画像を水平方向に（或いは水平及び垂直方向に）間引きしながら画像を読み出して圧縮伸張回路２８に渡すことになる。動画撮影中の音声データは図示せぬマイクロフォンからの信号をＡ／Ｄ変換することによって取得され、画像データとともにメモリカード３２に記録される。
【００２８】
記録媒体の形態は、メモリカード３２に限定されず、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなど種々の媒体を用いることができる。使用される媒体に応じた信号処理手段とインターフェースが適用される。また、リムーバブルメディアに限らず、デジタルカメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００２９】
撮像中にデジタル信号処理部２６で得られた輝度・色差信号（ＹＣ信号）は、ＶＲＡＭ４４に供給され、このＶＲＡＭ４４に格納されたデータはエンコーダ４６及びＤ／Ａ変換器４８を介してビデオ出力端子より外部出力され、テレビモニタ等の表示装置５０に供給される。これにより、ＣＣＤ１６で撮像された画像が表示装置５０に表示される。表示装置５０として液晶ディスプレイ等を用い、これをデジタルカメラ１０の本体に内蔵する形態も可能である。
【００３０】
再生モード時にはメモリカード３２に記録されている画像が読み出され、圧縮伸張回路２８によって伸張処理された後、ＶＲＡＭ４４に供給される。こうしてＶＲＡＭ４４に格納されたデータはエンコーダ４６及びＤ／Ａ変換器４８を介してビデオ出力端子より外部出力され、表示装置５０等に供給される。これにより、メモリカード３２に格納されている画像の内容を表示装置５０の画面上で確認することができる。
【００３１】
図２はデジタルカメラ１０の背面図である。同図に示すように、デジタルカメラ１０は、シャッターボタン５２、ファインダー５３、モード切換ダイヤル５４、液晶モニタ５５、カーソルキー５６、高画質モードボタン５７、及びメニュー／実行ボタン５８等を備えている。
【００３２】
メニュー／実行ボタン５８は、各モードの通常画面からメニュー画面へ遷移させる時に使用されるメニューボタンとしての機能と、カーソルキー５６で選択した内容の確定や処理の実行（確認）指示を入力する実行ボタンとしての機能を兼備した操作ボタンである。
カーソルキー５６は、液晶モニタ５５に表示される図示せぬカーソル（又はポインタ）の位置を移動させるための操作部であり、上下左右の各方向を自由に指定することができる。ユーザはカーソルキー５６を操作して前記カーソルを所望のポイントに合わせた後、メニュー／実行ボタン５８を押すことにより、カーソルの位置に応じた選択や入力を行うことができる。このカーソルキー５６は画像再生時の送り／戻し操作にも使用される。なお、図に示したカーソルキー５６に代えて、タッチパッド、トラックボール、又はジョイスティックなど他のポインティングデバイスを用いることも可能であり、また、液晶モニタ５５上にタッチパネルを配置してもよい。
【００３３】
シャッターボタン５２は、静止画撮影モード時の撮影指示手段として機能するとともに、動画撮影モード時の録画スタート／ストップボタンとして兼用される。モード切換ダイヤル５４はカメラの動作モードを切り換えるための操作部であり、該ダイヤルを回動操作することによって＜静止画撮影モード／再生モード／動画撮影モード＞の切り換えが可能である。「静止画撮影モード」は、静止画を記録する動作モードである。このモードで記録された静止画像のデータはプログレッシブ圧縮された画像ファイルとして保存される。「再生モード」はメモリカード３２に格納されている画像データを再生して液晶モニタ５５に出力したり、ビデオ端子等を介して外部機器にデータを出力する動作モードである。再生モードは、画像データに関連付けられている各種データを編集する編集モードとしても兼用される。「動画撮影モード」は動画を記録する動作モードである。本例では、１回の撮影で記録できる最長時間、画像サイズ、フレームレート等の条件が予め設定されており、例えば、１回の撮影で最長約１６０秒の音声（８kHz,8bit, モノラル）付きムービーを３２０×２４０ピクセル、１０フレーム／秒の記録条件で記録できるものとする。なお、録画可能時間はメモリカード３２の残容量に応じて変化する。このモードで記録された動画像のデータは各フレーム毎にプログレッシブ圧縮された動画ファイルとして保存される。
【００３４】
動画撮影モードに設定された状態でシャッターボタン５２を押すと、動画記録を開始し、再びシャッターボタン５２を押すと動画記録を終了する。動画記録中に高画質モードボタン５７を押すと、該ボタンが押されたタイミングで撮影された画像データはＣＣＤ読み出し時に間引きせずに高画素のまま記録される。本例では、高画質モードボタン５７の押下に応動して１２８０×９６０画素の高画素記録を行うものとするが、ＣＣＤの性能に応じて更に高画素の記録を実施してもよい。また、高画素記録時の画素をユーザが適宜設定できるように構成する態様も好ましい。
【００３５】
図３に動画ファイルのファイル構造を示す。デジタルカメラ１０によって記録される動画ファイル７０は、図３に示したように、ファイルヘッダー７２、画像データのヘッダー７３、音声データのヘッダー７４、付属情報部７５及び動画データ部７６から構成される。ファイルヘッダー７２には、動画ファイル全体に関する情報が記録されている。例えば、総フレーム数等の情報が記録されている。また、動画記録中に高画質モードボタン５７を押して高画質記録を実行した場合には、このファイルヘッダー７２内に高画素記録フレームのインデックスが記録される。インデックスの例を図４に示す。インデックスには、当該動画ファイル内において高画素記録したフレーム総数、フレーム番号及びアドレスの情報が書き込まれている。インデックスの情報は後述するファイル管理に活用される。
【００３６】
図３に示した画像データのヘッダー７３には、画像データに関する情報が記録されている。例えば、再生サイズやデータフォーマット等の情報が該ヘッダー７３に記録されている。音声データのヘッダー７４には、音声データに関する情報が記録されている。例えば、サンプルレート（周波数）、チャンネル数、１サンプルのビット数等が記録されている。
【００３７】
付属情報部７５には、撮影時の付属情報が記録される。撮影日や使用したカメラ等の情報が記録される。動画データ部７６には動画データ本体が記録されている。画像データと音声データはインターリーブして記録される。
【００３８】
次に、上記の如く構成されたデジタルカメラ１０による動画及び静止画の記録／再生方法について説明する。
【００３９】
本実施形態において、画像データの圧縮にはウエーブレット（Wavelet ）変換を用いた圧縮方法を用いる。この方式は、再生時に低解像度の画像データから徐々に解像度を上げて再生するという「プログレッシブ機能」がある。図５にプログレッシブ機能の概念図を示す。同図に示したように、高画素（高解像度）で記録された画像データを再生する場合には、低解像度の画像から段階的に解像度を上げて最終的に高解像度の画像を再生することが可能であり、表示等に要求される解像度に合わせた解像度で画像出力が可能である。
【００４０】
図６に、動画像データの画素サイズの概念図を示す。通常の動画フレームは、３２０×２４０の画素サイズで記録されるが、高画質モードボタン５７の押下タイミングで取得されたフレーム画像については１２８０×９６０の画素サイズで記録される。
【００４１】
図７は動画撮影モードの制御手順を示すフローチャートである。モード切換ダイヤル５４によって動画撮影モードが選択されることにより、動画撮影の制御がスタートする。ＣＰＵ３８はシャッターボタン５２の押下の有無を判定し（ステップＳ１１０）、シャッターボタン５２の押下（録画スタートの指示）を検出すると動画記録の処理を開始する（ステップＳ１１２）。既に説明したように、通常の動画記録時にはＣＣＤ１６の間引き読み出しを行い、低画素サイズ（３２０×２４０）で記録が行われる。動画記録中、ＣＰＵ３８は高画質モードボタン５７の押下を監視し（ステップＳ１１４）、高画質モードボタン５７の押下を検出すると、当該押下タイミングで撮像した画像データについては全画素読み出しを行い、高画素サイズ（１２８０×９６０）による記録を行う（ステップＳ１１６）。ステップＳ１１４において高画質モードボタン５７が押されていない場合は、通常の動画記録処理を継続する。
【００４２】
次に、ステップＳ１１８においてシャッターボタン５２の押下の有無を判定する。
【００４３】
シャッターボタン５２の押下が検出されなければ、ステップＳ１２０に進み、所定の録画可能時間を録画し終えたか否かの判定を行う。録画可能時間以内であれば、ステップＳ１１２に戻り、上述の動画記録の処理が継続される。ステップＳ１１８でシャッターボタン５２の押下（録画ストップの指示）を検出した場合、又はステップＳ１２０において録画可能時間に到達した場合には、動画記録の処理を停止する（ステップＳ１２２）。
【００４４】
このようにして動画記録中に高画素記録したフレームは、動画内の１フレームとして再生可能であるとともに、静止画の画像データとしても取り扱うことができる。詳しくは後述するが、高画素記録したフレームは仮想的に静止画ファイルとしてディレクトリ管理され、通常の静止画ファイルと同様に扱うことができる。
【００４５】
高画素記録したフレームの再生方法は、動画再生時と静止画再生時とで異なる。すなわち、図８に示したように、動画再生時には、最低画素数の画像から順に目的の画素数の画像（本例では３２０×２４０）の画像まで再生する。なお、他の割り込み処理等で処理が間に合わない場合は、途中で再生処理を止めて次のフレームの再生を開始する。その一方、静止画再生時には、記録されている最高画素（本例では１２８０×９６０）の静止画を再生する。
【００４６】
図９は再生モードの制御手順を示すフローチャートである。モード切換ダイヤル５４によって再生モードが選択されると、再生の制御がスタートし、メモリカード３２に記録されているファイルが読み出される（ステップＳ２１０）。再生モードに切り換えた直後は、メモリカード３２内の最終ファイル（最後に記録したファイル）が読み出される。
【００４７】
読み出されたファイルの画像データは伸張処理された後（ステップＳ２１２）、液晶モニタ５５に表示される（ステップＳ２１４）。読み出し対象のファイルが静止画ファイル又は高画素記録されたフレームの仮想静止画ファイルである場合には、当該静止画の画像内容が液晶モニタ５５に一コマ表示される。また、読み出し対象のファイルが動画ファイルの場合は、先頭フレームの画像内容が表示され、動画再生開始の指示入力を受け付ける画面となる。
【００４８】
次いで、ＣＰＵ３８は動画再生開始の指示が入力されたか否かの判定を行う（ステップＳ２１６）。動画ファイルの先頭フレームの画像が表示された状態でユーザが所定の操作手順に従って動画再生開始の指示を入力すると、ＣＰＵ３８はこれを検知して、当該動画ファイルの動画再生処理を開始する（ステップＳ２２０）。動画再生中、処理の対象フレームが通常の動画フレームであるか高画素記録フレームであるかを判別し（ステップＳ２２２）、高画素記録フレームである場合はプログレッシブ方式によって所定の解像度（３２０×２４０）まで再生する（ステップＳ２２４）。その一方、対象フレームが通常の動画フレームの場合には、記録した画素サイズの再生を行う。
【００４９】
次いで、ステップＳ２２６において、動画再生の中止の指示が入力されたか否かの判定を行う。動画再生中に、再生中止の指示が入力されると、動画再生の処理が中止され、ステップＳ２１４に戻る。その一方、ステップＳ２２６において中止の指示が入力されなければ、ステップＳ２２８に進み、当該動画ファイルの再生を終了したか否かの判定を行う。再生の途中であれば、ステップＳ２２０に戻り、動画再生の処理を継続する。ステップＳ２２８において、動画ファイルの再生が終了したことを検出すると、ステップＳ２１４に戻り、先頭フレームの表示に復帰する。
【００５０】
ステップＳ２１６において動画再生開始の指示が入力されなければ、ステップＳ２４０に進み、再生対象ファイルを変更する指示（いわゆるコマ送り／コマ戻しの指示）が入力されたか否かの判定を行う。ステップＳ２４０において再生ファイルを変更する指示が入力されない場合は、ステップＳ２１４に戻り、現在の表示状態を維持する。その一方、ステップＳ２４０において再生ファイルを変更する指示が入力された場合には、ステップＳ２１０に戻り、読み出し対象のファイルを変更してメモリカード３２から別のファイルを読み出す。こうして、再生画像が変更される。
【００５１】
次に、動画ファイル内に高画素記録したフレームの取り扱い方法について説明する。高画素記録したフレームの画像データは、実際には動画ファイル内に格納されているが、仮想的に静止画ファイルとして管理される。図１０にメモリカードの実ディレクトリ構造を示し、図１１に仮想ディレクトリ構造を示す。
【００５２】
図１０に示した実ディレクトリ構造によれば、ルートディレクトリ下の適当な階層に静止画格納用のディレクトリ（ディレクトリ名：「STILL 」）と、動画格納用のディレクトリ( ディレクトリ名：「MOVIE 」) が作成されており、「STILL 」ディレクトリ内に静止画ファイルが３枚記録され、「MOVIE 」ディレクトリ内に動画ファイルが２つ記録されている。各ファイルには記録順に従ってファイル番号が自動付与され、ファイル番号とファイル属性を示す拡張子を組み合わせたファイル名が付与される。
【００５３】
動画ファイル「0001.MJ2」内の２フレームは高画素記録されており、動画ファイル「0002.MJ2」内の３フレームは高画素記録されているものとする。
【００５４】
このような実ディレクトリ構造に対して、ディレクトリのリスト表示を行うと、図１１に示す仮想ディレクトリ構造が表示される。図１１によれば、動画ファイル「0001.MJ2」内の高画素記録フレームを「0004.JP2」、「0005.JP2」とし、動画ファイル「0002.MJ2」内の高画素記録フレームを「0006.JP2」、「0007.JP2」、「0008.JP2」として、あたかも静止画ファイルであるかのように仮想的に提示される。デジタルカメラ１０の液晶モニタ５５上に図１１のようなファイルリストを表示させてもよいし、デジタルカメラ１０に搭載された図示せぬ通信インターフェース部（例えば、ＵＳＢ端子）を介してデジタルカメラ１０とパソコン（不図示）を接続し、パソコンのディスプレイにメモリカード３２のファイルリストを表示させてもよい。
【００５５】
高画素記録フレームに対応する仮想静止画ファイルへのアクセスは、以下のように行われる。
【００５６】
＜仮想静止画ファイルの読み込み＞
仮想静止画ファイルにアクセスすると、自動的に動画ファイルから該当フレームのデータを抜き出して、１個の静止画ファイルの形式に変換してアクセス元にデータを渡す。例えば、別メディアへ画像をコピーすると、別メディアへは１個の静止画ファイルがコピーされる。
【００５７】
＜仮想静止画ファイルの上書き及び消去＞
仮想静止画ファイルに対しては、自動的に書き込み防止保護（Write Protected ）が設定されるものとし、上書きや消去の処理が禁止される。これは、画像の編集作業によって前後のフレームと異なる画素数や形式で記録されるのを防ぐためである。
【００５８】
本例では、仮想静止画ファイルが書き込み防止保護されているものとして扱ったが、ファイルを所定の形式に変換した後に、動画の該当フレームのデータと入れ替える態様も可能である。
【００５９】
また、上述した実施形態では、仮想静止画ファイルとして１解像度分（１２８０×９６０の画素サイズ）のみ提示したが、複数の解像度の画像それぞれを別ファイル（仮想的なファイル）として提示する態様も可能である。
【００６０】
高画素記録フレームのインデックスは、動画ファイルのファイルヘッダーに記録する態様に限定されず、動画ファイル内の他の位置に記録してもよいし、別ファイルとして記録してもよい。
【００６１】
上記説明では、仮想ディレクトリの提示や仮想静止画ファイルへのアクセス時の処理に際してインデックスの情報を利用したが、本発明の実施に際しては、これに限定されず、インデックスを用意せずに、動画ファイル内の各フレームを走査して高画素記録フレームを検索してもよい。
【図面の簡単な説明】
【００６２】
【図１】本発明が適用されたデジタルカメラの構成を示すブロック図
【図２】本例のデジタルカメラの背面図
【図３】動画ファイルのファイル構造を示す概念図
【図４】動画ファイル内に記録される高画素記録フレームのインデックスの例を示す図表
【図５】プログレッシブ再生機能の説明図
【図６】動画像データの画素サイズを示した概念図
【図７】動画撮影モードの制御手順を示したフローチャート
【図８】高画素記録フレームの再生方法を示した説明図
【図９】再生モードの制御手順を示したフローチャート
【図１０】実ディレクトリ構造を示す図
【図１１】仮想ディレクトリ構造を示す図
【符号の説明】
【００６３】
１０…デジタルカメラ、１６…ＣＣＤ、２４…フレームメモリ、２６…デジタル信号処理部、２８…圧縮伸張回路、３２…メモリカード、３８…ＣＰＵ、４０…ＣＰＵ周辺回路、５０…表示装置、５２…シャッターボタン、５４…モード切換ダイヤル、５５…液晶モニタ、５７…高画質モードボタン
【技術分野】
【０００１】
本発明は、動画像と静止画像を記録／再生する方法及び装置に係り、特に動画撮影中に高画素の静止画を記録し、その記録した動画及び静止画を再生する技術並びに記録した画像データの取り扱いを容易にするファイル管理技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラの分野では静止画像だけでなく、動画像も記録可能なカメラが発売されている。デジタルカメラにおける動画の記録方式としては一般にMotionＪＰＥＧと呼ばれる方式が広く採用され、一部のカメラではＭＰＥＧ方式が採用されている。MotionＪＰＥＧは、各フレーム画像をＪＰＥＧ方式で圧縮し、一連の画像群として記録する方法であり、再生時は各フレームを連続的に再生する。この方法は、各フレーム画像の圧縮／伸張処理に時間を要するため、画素数及びフレームレートをあまり上げることができない。現時点で発売されているデジタルカメラにおける動画記録の最大値は画素数６４０×４８０で３０フレーム／秒である。
【０００３】
その一方、静止画像の記録フォーマットとしては、現在のところＪＰＥＧフォーマットが広く使用されている。また、最近になってウェーブレット（Wavelet)方式などプログレッシブ再生が可能な圧縮技術が見直され、ＪＰＥＧ−2000などの新たな方式も提案されている。
【０００４】
動画及び静止画の両方を記録可能なデジタルカメラは、カメラ側で記録対象を動画又は静止画に切り換えて撮影を行うものが一般的であるが、動画記録中に特定のフレームだけ高画素で記録する機能を実現したいという要求がある。この点、従来から動画撮影中に静止画像を記録する方法がいくつか提案されている（特開平１０−２００８５９号公報、特開平１１−１８７３５０号公報、特開２０００−６９４０７号公報、特開２０００−２９５５６８号公報等）。従来提案されている方法の多くは、動画データと静止画データをそれぞれ別ファイルとして記録している。
【特許文献１】特開平１０−２００８５９号公報
【特許文献２】特開平１１−１８７３５０号公報
【特許文献３】特開２０００−６９４０７号公報
【特許文献４】特開２０００−２９５５６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、動画内から特定の１フレームを抜き出して静止画像とする場合、元々動画として撮影されたものであるため、記録画素数が少ないという欠点がある。そのため、この静止画像のデータをプリント等に使用すると画質の粗い画像となってしまう。
【０００６】
その一方、動画とは別に静止画のみを高画素で記録する方法も提案されているが（特開２０００−３５２７５９号公報、特開２０００−１０８１２１号公報）、既存のMotionＪＰＥＧやＭＰＥＧフォーマットにおいては、ある特定のフレームのみ画素数を変更して記録することができないため、高画素な静止画は別ファイルとして記録しなければならない。そのため、静止画と動画を関連づけるためには、別途関連付けのための情報を用意する必要がある。
【０００７】
本発明はこのような事情に鑑みてなされたもので、動画撮影中に高画素の静止画を記録することができ、動画と静止画の対応付けが容易で、記録後の画像の取り扱いにも便利な画像の記録再生方法、画像記録／再生装置並びにファイル管理方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成するために本発明に係る画像記録再生方法は、撮像手段を介して撮像した動画のフレームデータをプログレッシブ再生可能な圧縮形式に従って符号化して記録する一方、記録された画像を復号して再生する画像の記録再生方法であって、予め設定された所定の解像度で動画のフレームデータを記録する通常の動画記録中にユーザから高画質記録の指示を受け入れ、当該指示の入力に応じて前記所定の解像度よりも高解像度のフレームデータを取得し、前記所定の解像度で記録された通常フレームと前記高解像度で記録された高画素記録フレームとから成る一群の動画データを一つの動画ファイルとして保存し、前記動画ファイル内の高画素記録フレームを動画再生する場合にはプログレッシブ方式によって前記所定の解像度まで再生する一方、前記高画素記録フレームを静止画として再生する場合には、前記所定の解像度よりも高い解像度で再生を行うことを特徴としている。
【０００９】
本発明によれば、通常の動画記録中は、予め設定された一定の解像度でフレームデータが記録される。この動画記録中に、ユーザが高画質記録の指示を入力すると、当該指示の入力に応じて高解像度のフレームデータが記録される。高解像度で記録されたフレーム（高画素記録フレーム）も動画を構成するフレームデータの一つとして機能し、所定の解像度で記録されたフレーム（通常のフレーム）と高画素記録フレームは動画を構成する一連のフレーム群として同じ動画ファイル内に記録される。一つの動画ファイル内に複数の高画質記録フレームを記録することも可能である。
【００１０】
記録方式には、再生時に低解像度の画像データから徐々に解像度を上げて再生することができるプログレッシブ機能を有する圧縮方式が採用されているため、高画素記録フレームを動画として再生する場合には通常フレームと同等の前記所定の解像度まで再生し、高画素記録フレームを静止画として単独で再生する場合には、前記所定の解像度よりも高い解像度で再生を行う。
【００１１】
動画ファイル内に高画素記録フレームを埋め込むようにしたので、動画と静止画の対応付けが容易であり、高画素記録フレームを静止画と同様に取り扱うことができる。
【００１２】
本発明の一態様によれば、前記動画ファイル内の高画素記録フレームを仮想的な静止画ファイル（仮想静止画ファイルという。）としてファイル管理し、ファイルリストの表示要求に対して前記仮想静止画ファイルを含む仮想的なディレクトリ構造を提示し、前記仮想静止画ファイルへのアクセス時には前記動画ファイル内から該当フレームを抜き出して、一つの静止画ファイルに変換した後に出力することを特徴としている。
【００１３】
動画ファイル内に高画素記録したフレームをあたかも独立した静止画ファイルであるかのように仮想的なディレクトリ管理を行い、その仮想ディレクトリ構造をユーザに提示するようにしたので、仮想静止画ファイルのファイル操作が簡単である。
【００１４】
上記方法発明の実施に使用可能な画像記録装置並びに画像再生装置を提供するために、本発明に係る画像記録装置は、撮像手段を介して撮像した動画のフレームデータをプログレッシブ再生可能な圧縮形式に従って符号化する信号処理手段と、前記符号化された動画データを記録媒体に記録する記録手段と、を備えた画像記録装置であって、該装置は、動画の記録開始の指示を入力するための録画開始指示入力手段と、動画記録中に高画質のフレームを記録すべき旨の指示を入力するための高画質記録指示入力手段と、前記録画開始指示入力手段からの指示に従い、予め設定されている所定の解像度でフレームデータを記録する一方、前記高画質記録指示入力手段からの指示に応じて前記所定の解像度よりも高解像度のフレームデータを取得し、前記所定の解像度で記録された通常フレームと前記高解像度で記録された高画素記録フレームから成る一群の画像データを一つの動画ファイルとして記録媒体に保存する記録制御手段と、を備えたことを特徴としている。
【００１５】
また、本発明に係る画像再生装置は、プログレッシブ再生可能な圧縮形式に従って符号化された画像データを復号する信号処理手段と、前記復号された画像を出力する出力手段と、を備えた画像再生装置であって、該装置は、所定の解像度で記録された通常のフレーム及び前記所定の解像度よりも高解像度で記録された高画素記録フレームから成る一群の動画データが一つのファイルとして保存されている動画ファイルについて、当該動画ファイル内の高画素記録フレームを動画再生する場合にはプログレッシブ方式によって前記所定の解像度まで再生する一方、前記高画素記録フレームを静止画として再生する場合には、前記所定の解像度よりも高い解像度で再生を行う再生制御手段を備えていることを特徴としている。勿論、本発明に係る画像記録装置と本発明に係る画像再生装置とを組み合わせた画像記録再生装置を構成することも可能である。
【００１６】
また、本明細書は、以下に示すファイル管理方法並びにファイル管理装置の発明を開示する。すなわち、本発明によるファイル管理方法は、動画ファイル内に格納されている複数のフレームデータのうち、少なくとも一つのフレームを仮想的な静止画ファイル（仮想静止画ファイルという。）としてファイル管理し、ファイルリストの表示要求に対して前記仮想静止画ファイルを含む仮想的なディレクトリ構造を提示し、前記仮想静止画ファイルへのアクセス時には前記動画ファイル内から該当フレームを抜き出して、一つの静止画ファイルに変換した後に出力することを特徴とする。
【００１７】
また、本発明によるファイル管理装置は、動画ファイル内に記録されている複数のフレームデータのうち、少なくとも一つのフレームを仮想的な静止画ファイル（仮想静止画ファイルという。）としてファイル管理するファイル管理手段と、ファイルリストの表示要求に対して前記仮想静止画ファイルを含む仮想的なディレクトリ構造を提示する仮想ディレクトリ構造提示手段と、前記仮想静止画ファイルへのアクセス時には前記動画ファイル内から該当フレームを抜き出して、一つの静止画ファイルに変換した後に出力するファイル変換手段と、を備えたことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、動画ファイル内に高画素記録フレームを埋め込んで記録するようにしたので、動画と静止画の対応付けが容易である。本発明はプログレッシブ再生可能な圧縮方式を採用しているため、高画素記録フレームを動画として再生する場合には通常フレームと同等の前記所定の解像度まで再生することができる一方、高画素記録フレームを静止画として単独で再生する場合には、前記所定の解像度よりも高い解像度で再生を行うことができる。
【００１９】
また、本発明によれば、動画内に埋め込まれている高画素記録フレームを通常の静止画像と同様に容易に取り扱うことが可能となる。
【００２０】
本発明は、静止画像を単独の別ファイルとして記録しないため、記録容量を削減できるという効果もある。また、記録した動画ファイルを再生する再生機の処理速度が遅い場合でも、フレーム落ち無く再生できるという利点がある。
【発明を実施するための最良の形態】
【００２１】
以下添付図面に従って本発明に係る画像の記録再生方法及び画像記録／再生装置の好ましい実施の形態について詳説する。
【００２２】
図１は、本発明が適用されたデジタルカメラ１０の構成を示すブロック図である。デジタルカメラ１０は、撮影レンズ１２、絞り兼用メカシャッター１４、ＣＣＤ固体撮像素子（以下、ＣＣＤという。）１６、アナログ信号処理部１８、Ａ／Ｄ変換器２０、フレームメモリコントローラ２２、フレームメモリ２４、デジタル信号処理部２６、圧縮伸張回路２８、カードインターフェース３０、メモリカード３２、画像データバス３４、ホストバス３６、中央演算処理装置（ＣＰＵ）３８、ＣＰＵ周辺回路４０、各種の操作スイッチ４１、タイミングジェネレータ４２、ＶＲＡＭ（Video RAM ）４４、エンコーダ４６、Ｄ／Ａ変換器４８等から構成される。
【００２３】
ＣＰＵ３８は本システムの制御を司る制御装置であり、所定の制御プログラムに従ってカメラを動作させる。ＣＰＵ３８は、ＣＰＵ周辺回路４０を介して受入する各種の操作スイッチ４１からの信号入力に基づいて各回路を統括制御する。ＣＰＵ周辺回路４０には、タイマ、ダイレクト・メモリアクセス（ＤＭＡ）回路、割り込み制御回路、パラレル入／出力ポートなどが含まれる。また、ＣＰＵ３８はタイミングジェネレータ４２を制御しており、該タイミングジェネレータ４２から各ブロックに供給される同期信号によって各回路の同期が取られている。
【００２４】
撮影レンズ１２を介して入射した光は、絞り兼用メカシャッター１４によって光量が調節された後、ＣＣＤ１６の受光面に結像される。ＣＣＤ１６の受光面には多数のフォトセンサ（感光画素）が平面的に配列されており、各フォトセンサにおいて受光量に応じた信号電荷に変換される。ＣＣＤ１６の各フォトセンサに蓄積された信号電荷は、ＣＰＵ３８によって制御される図示せぬＣＣＤ駆動回路から加えられる駆動パルスに基づいて順次転送され、信号電荷に応じた電圧信号（画像信号）として読み出される。ＣＣＤ１６はＣＣＤ駆動回路から与えられるシャッタゲートパルスによって不要蓄積電荷を排出することができ、これにより電荷蓄積時間を制御するいわゆる電子シャッター機能を備えている。
【００２５】
また、ＣＣＤ１６は、受光面の感光画素から信号電荷を読み出す際に、垂直方向に間引きして読み出す機能を有している。そして、通常の動画記録時は垂直方向に間引いて読み出し、静止画記録時（高画素記録時）は間引かずに全画素のデータを読み出す。ＣＣＤ１６から読み出された信号は、アナログ信号処理部１８において色分離やゲイン調整その他の所定のアナログ信号処理が施された後、Ａ／Ｄ変換器２０によりデジタル信号に変換される。デジタル信号化された画像データは、デジタル信号処理部２６において輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb ）に変換され、一旦フレームメモリ２４に格納される。
【００２６】
フレームメモリ２４に格納された画像データは、圧縮伸張回路２８で圧縮されながら、カードインターフェース３０を介してメモリカード３２に記録される。圧縮処理とメモリカード３２への書き込み（記録）処理は同時に並行して行われる。
【００２７】
通常、動画像を記録する場合には、フレームメモリコントローラ２２より、フレームメモリ２４の画像を水平方向に（或いは水平及び垂直方向に）間引きしながら画像を読み出して圧縮伸張回路２８に渡すことになる。動画撮影中の音声データは図示せぬマイクロフォンからの信号をＡ／Ｄ変換することによって取得され、画像データとともにメモリカード３２に記録される。
【００２８】
記録媒体の形態は、メモリカード３２に限定されず、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなど種々の媒体を用いることができる。使用される媒体に応じた信号処理手段とインターフェースが適用される。また、リムーバブルメディアに限らず、デジタルカメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００２９】
撮像中にデジタル信号処理部２６で得られた輝度・色差信号（ＹＣ信号）は、ＶＲＡＭ４４に供給され、このＶＲＡＭ４４に格納されたデータはエンコーダ４６及びＤ／Ａ変換器４８を介してビデオ出力端子より外部出力され、テレビモニタ等の表示装置５０に供給される。これにより、ＣＣＤ１６で撮像された画像が表示装置５０に表示される。表示装置５０として液晶ディスプレイ等を用い、これをデジタルカメラ１０の本体に内蔵する形態も可能である。
【００３０】
再生モード時にはメモリカード３２に記録されている画像が読み出され、圧縮伸張回路２８によって伸張処理された後、ＶＲＡＭ４４に供給される。こうしてＶＲＡＭ４４に格納されたデータはエンコーダ４６及びＤ／Ａ変換器４８を介してビデオ出力端子より外部出力され、表示装置５０等に供給される。これにより、メモリカード３２に格納されている画像の内容を表示装置５０の画面上で確認することができる。
【００３１】
図２はデジタルカメラ１０の背面図である。同図に示すように、デジタルカメラ１０は、シャッターボタン５２、ファインダー５３、モード切換ダイヤル５４、液晶モニタ５５、カーソルキー５６、高画質モードボタン５７、及びメニュー／実行ボタン５８等を備えている。
【００３２】
メニュー／実行ボタン５８は、各モードの通常画面からメニュー画面へ遷移させる時に使用されるメニューボタンとしての機能と、カーソルキー５６で選択した内容の確定や処理の実行（確認）指示を入力する実行ボタンとしての機能を兼備した操作ボタンである。
カーソルキー５６は、液晶モニタ５５に表示される図示せぬカーソル（又はポインタ）の位置を移動させるための操作部であり、上下左右の各方向を自由に指定することができる。ユーザはカーソルキー５６を操作して前記カーソルを所望のポイントに合わせた後、メニュー／実行ボタン５８を押すことにより、カーソルの位置に応じた選択や入力を行うことができる。このカーソルキー５６は画像再生時の送り／戻し操作にも使用される。なお、図に示したカーソルキー５６に代えて、タッチパッド、トラックボール、又はジョイスティックなど他のポインティングデバイスを用いることも可能であり、また、液晶モニタ５５上にタッチパネルを配置してもよい。
【００３３】
シャッターボタン５２は、静止画撮影モード時の撮影指示手段として機能するとともに、動画撮影モード時の録画スタート／ストップボタンとして兼用される。モード切換ダイヤル５４はカメラの動作モードを切り換えるための操作部であり、該ダイヤルを回動操作することによって＜静止画撮影モード／再生モード／動画撮影モード＞の切り換えが可能である。「静止画撮影モード」は、静止画を記録する動作モードである。このモードで記録された静止画像のデータはプログレッシブ圧縮された画像ファイルとして保存される。「再生モード」はメモリカード３２に格納されている画像データを再生して液晶モニタ５５に出力したり、ビデオ端子等を介して外部機器にデータを出力する動作モードである。再生モードは、画像データに関連付けられている各種データを編集する編集モードとしても兼用される。「動画撮影モード」は動画を記録する動作モードである。本例では、１回の撮影で記録できる最長時間、画像サイズ、フレームレート等の条件が予め設定されており、例えば、１回の撮影で最長約１６０秒の音声（８kHz,8bit, モノラル）付きムービーを３２０×２４０ピクセル、１０フレーム／秒の記録条件で記録できるものとする。なお、録画可能時間はメモリカード３２の残容量に応じて変化する。このモードで記録された動画像のデータは各フレーム毎にプログレッシブ圧縮された動画ファイルとして保存される。
【００３４】
動画撮影モードに設定された状態でシャッターボタン５２を押すと、動画記録を開始し、再びシャッターボタン５２を押すと動画記録を終了する。動画記録中に高画質モードボタン５７を押すと、該ボタンが押されたタイミングで撮影された画像データはＣＣＤ読み出し時に間引きせずに高画素のまま記録される。本例では、高画質モードボタン５７の押下に応動して１２８０×９６０画素の高画素記録を行うものとするが、ＣＣＤの性能に応じて更に高画素の記録を実施してもよい。また、高画素記録時の画素をユーザが適宜設定できるように構成する態様も好ましい。
【００３５】
図３に動画ファイルのファイル構造を示す。デジタルカメラ１０によって記録される動画ファイル７０は、図３に示したように、ファイルヘッダー７２、画像データのヘッダー７３、音声データのヘッダー７４、付属情報部７５及び動画データ部７６から構成される。ファイルヘッダー７２には、動画ファイル全体に関する情報が記録されている。例えば、総フレーム数等の情報が記録されている。また、動画記録中に高画質モードボタン５７を押して高画質記録を実行した場合には、このファイルヘッダー７２内に高画素記録フレームのインデックスが記録される。インデックスの例を図４に示す。インデックスには、当該動画ファイル内において高画素記録したフレーム総数、フレーム番号及びアドレスの情報が書き込まれている。インデックスの情報は後述するファイル管理に活用される。
【００３６】
図３に示した画像データのヘッダー７３には、画像データに関する情報が記録されている。例えば、再生サイズやデータフォーマット等の情報が該ヘッダー７３に記録されている。音声データのヘッダー７４には、音声データに関する情報が記録されている。例えば、サンプルレート（周波数）、チャンネル数、１サンプルのビット数等が記録されている。
【００３７】
付属情報部７５には、撮影時の付属情報が記録される。撮影日や使用したカメラ等の情報が記録される。動画データ部７６には動画データ本体が記録されている。画像データと音声データはインターリーブして記録される。
【００３８】
次に、上記の如く構成されたデジタルカメラ１０による動画及び静止画の記録／再生方法について説明する。
【００３９】
本実施形態において、画像データの圧縮にはウエーブレット（Wavelet ）変換を用いた圧縮方法を用いる。この方式は、再生時に低解像度の画像データから徐々に解像度を上げて再生するという「プログレッシブ機能」がある。図５にプログレッシブ機能の概念図を示す。同図に示したように、高画素（高解像度）で記録された画像データを再生する場合には、低解像度の画像から段階的に解像度を上げて最終的に高解像度の画像を再生することが可能であり、表示等に要求される解像度に合わせた解像度で画像出力が可能である。
【００４０】
図６に、動画像データの画素サイズの概念図を示す。通常の動画フレームは、３２０×２４０の画素サイズで記録されるが、高画質モードボタン５７の押下タイミングで取得されたフレーム画像については１２８０×９６０の画素サイズで記録される。
【００４１】
図７は動画撮影モードの制御手順を示すフローチャートである。モード切換ダイヤル５４によって動画撮影モードが選択されることにより、動画撮影の制御がスタートする。ＣＰＵ３８はシャッターボタン５２の押下の有無を判定し（ステップＳ１１０）、シャッターボタン５２の押下（録画スタートの指示）を検出すると動画記録の処理を開始する（ステップＳ１１２）。既に説明したように、通常の動画記録時にはＣＣＤ１６の間引き読み出しを行い、低画素サイズ（３２０×２４０）で記録が行われる。動画記録中、ＣＰＵ３８は高画質モードボタン５７の押下を監視し（ステップＳ１１４）、高画質モードボタン５７の押下を検出すると、当該押下タイミングで撮像した画像データについては全画素読み出しを行い、高画素サイズ（１２８０×９６０）による記録を行う（ステップＳ１１６）。ステップＳ１１４において高画質モードボタン５７が押されていない場合は、通常の動画記録処理を継続する。
【００４２】
次に、ステップＳ１１８においてシャッターボタン５２の押下の有無を判定する。
【００４３】
シャッターボタン５２の押下が検出されなければ、ステップＳ１２０に進み、所定の録画可能時間を録画し終えたか否かの判定を行う。録画可能時間以内であれば、ステップＳ１１２に戻り、上述の動画記録の処理が継続される。ステップＳ１１８でシャッターボタン５２の押下（録画ストップの指示）を検出した場合、又はステップＳ１２０において録画可能時間に到達した場合には、動画記録の処理を停止する（ステップＳ１２２）。
【００４４】
このようにして動画記録中に高画素記録したフレームは、動画内の１フレームとして再生可能であるとともに、静止画の画像データとしても取り扱うことができる。詳しくは後述するが、高画素記録したフレームは仮想的に静止画ファイルとしてディレクトリ管理され、通常の静止画ファイルと同様に扱うことができる。
【００４５】
高画素記録したフレームの再生方法は、動画再生時と静止画再生時とで異なる。すなわち、図８に示したように、動画再生時には、最低画素数の画像から順に目的の画素数の画像（本例では３２０×２４０）の画像まで再生する。なお、他の割り込み処理等で処理が間に合わない場合は、途中で再生処理を止めて次のフレームの再生を開始する。その一方、静止画再生時には、記録されている最高画素（本例では１２８０×９６０）の静止画を再生する。
【００４６】
図９は再生モードの制御手順を示すフローチャートである。モード切換ダイヤル５４によって再生モードが選択されると、再生の制御がスタートし、メモリカード３２に記録されているファイルが読み出される（ステップＳ２１０）。再生モードに切り換えた直後は、メモリカード３２内の最終ファイル（最後に記録したファイル）が読み出される。
【００４７】
読み出されたファイルの画像データは伸張処理された後（ステップＳ２１２）、液晶モニタ５５に表示される（ステップＳ２１４）。読み出し対象のファイルが静止画ファイル又は高画素記録されたフレームの仮想静止画ファイルである場合には、当該静止画の画像内容が液晶モニタ５５に一コマ表示される。また、読み出し対象のファイルが動画ファイルの場合は、先頭フレームの画像内容が表示され、動画再生開始の指示入力を受け付ける画面となる。
【００４８】
次いで、ＣＰＵ３８は動画再生開始の指示が入力されたか否かの判定を行う（ステップＳ２１６）。動画ファイルの先頭フレームの画像が表示された状態でユーザが所定の操作手順に従って動画再生開始の指示を入力すると、ＣＰＵ３８はこれを検知して、当該動画ファイルの動画再生処理を開始する（ステップＳ２２０）。動画再生中、処理の対象フレームが通常の動画フレームであるか高画素記録フレームであるかを判別し（ステップＳ２２２）、高画素記録フレームである場合はプログレッシブ方式によって所定の解像度（３２０×２４０）まで再生する（ステップＳ２２４）。その一方、対象フレームが通常の動画フレームの場合には、記録した画素サイズの再生を行う。
【００４９】
次いで、ステップＳ２２６において、動画再生の中止の指示が入力されたか否かの判定を行う。動画再生中に、再生中止の指示が入力されると、動画再生の処理が中止され、ステップＳ２１４に戻る。その一方、ステップＳ２２６において中止の指示が入力されなければ、ステップＳ２２８に進み、当該動画ファイルの再生を終了したか否かの判定を行う。再生の途中であれば、ステップＳ２２０に戻り、動画再生の処理を継続する。ステップＳ２２８において、動画ファイルの再生が終了したことを検出すると、ステップＳ２１４に戻り、先頭フレームの表示に復帰する。
【００５０】
ステップＳ２１６において動画再生開始の指示が入力されなければ、ステップＳ２４０に進み、再生対象ファイルを変更する指示（いわゆるコマ送り／コマ戻しの指示）が入力されたか否かの判定を行う。ステップＳ２４０において再生ファイルを変更する指示が入力されない場合は、ステップＳ２１４に戻り、現在の表示状態を維持する。その一方、ステップＳ２４０において再生ファイルを変更する指示が入力された場合には、ステップＳ２１０に戻り、読み出し対象のファイルを変更してメモリカード３２から別のファイルを読み出す。こうして、再生画像が変更される。
【００５１】
次に、動画ファイル内に高画素記録したフレームの取り扱い方法について説明する。高画素記録したフレームの画像データは、実際には動画ファイル内に格納されているが、仮想的に静止画ファイルとして管理される。図１０にメモリカードの実ディレクトリ構造を示し、図１１に仮想ディレクトリ構造を示す。
【００５２】
図１０に示した実ディレクトリ構造によれば、ルートディレクトリ下の適当な階層に静止画格納用のディレクトリ（ディレクトリ名：「STILL 」）と、動画格納用のディレクトリ( ディレクトリ名：「MOVIE 」) が作成されており、「STILL 」ディレクトリ内に静止画ファイルが３枚記録され、「MOVIE 」ディレクトリ内に動画ファイルが２つ記録されている。各ファイルには記録順に従ってファイル番号が自動付与され、ファイル番号とファイル属性を示す拡張子を組み合わせたファイル名が付与される。
【００５３】
動画ファイル「0001.MJ2」内の２フレームは高画素記録されており、動画ファイル「0002.MJ2」内の３フレームは高画素記録されているものとする。
【００５４】
このような実ディレクトリ構造に対して、ディレクトリのリスト表示を行うと、図１１に示す仮想ディレクトリ構造が表示される。図１１によれば、動画ファイル「0001.MJ2」内の高画素記録フレームを「0004.JP2」、「0005.JP2」とし、動画ファイル「0002.MJ2」内の高画素記録フレームを「0006.JP2」、「0007.JP2」、「0008.JP2」として、あたかも静止画ファイルであるかのように仮想的に提示される。デジタルカメラ１０の液晶モニタ５５上に図１１のようなファイルリストを表示させてもよいし、デジタルカメラ１０に搭載された図示せぬ通信インターフェース部（例えば、ＵＳＢ端子）を介してデジタルカメラ１０とパソコン（不図示）を接続し、パソコンのディスプレイにメモリカード３２のファイルリストを表示させてもよい。
【００５５】
高画素記録フレームに対応する仮想静止画ファイルへのアクセスは、以下のように行われる。
【００５６】
＜仮想静止画ファイルの読み込み＞
仮想静止画ファイルにアクセスすると、自動的に動画ファイルから該当フレームのデータを抜き出して、１個の静止画ファイルの形式に変換してアクセス元にデータを渡す。例えば、別メディアへ画像をコピーすると、別メディアへは１個の静止画ファイルがコピーされる。
【００５７】
＜仮想静止画ファイルの上書き及び消去＞
仮想静止画ファイルに対しては、自動的に書き込み防止保護（Write Protected ）が設定されるものとし、上書きや消去の処理が禁止される。これは、画像の編集作業によって前後のフレームと異なる画素数や形式で記録されるのを防ぐためである。
【００５８】
本例では、仮想静止画ファイルが書き込み防止保護されているものとして扱ったが、ファイルを所定の形式に変換した後に、動画の該当フレームのデータと入れ替える態様も可能である。
【００５９】
また、上述した実施形態では、仮想静止画ファイルとして１解像度分（１２８０×９６０の画素サイズ）のみ提示したが、複数の解像度の画像それぞれを別ファイル（仮想的なファイル）として提示する態様も可能である。
【００６０】
高画素記録フレームのインデックスは、動画ファイルのファイルヘッダーに記録する態様に限定されず、動画ファイル内の他の位置に記録してもよいし、別ファイルとして記録してもよい。
【００６１】
上記説明では、仮想ディレクトリの提示や仮想静止画ファイルへのアクセス時の処理に際してインデックスの情報を利用したが、本発明の実施に際しては、これに限定されず、インデックスを用意せずに、動画ファイル内の各フレームを走査して高画素記録フレームを検索してもよい。
【図面の簡単な説明】
【００６２】
【図１】本発明が適用されたデジタルカメラの構成を示すブロック図
【図２】本例のデジタルカメラの背面図
【図３】動画ファイルのファイル構造を示す概念図
【図４】動画ファイル内に記録される高画素記録フレームのインデックスの例を示す図表
【図５】プログレッシブ再生機能の説明図
【図６】動画像データの画素サイズを示した概念図
【図７】動画撮影モードの制御手順を示したフローチャート
【図８】高画素記録フレームの再生方法を示した説明図
【図９】再生モードの制御手順を示したフローチャート
【図１０】実ディレクトリ構造を示す図
【図１１】仮想ディレクトリ構造を示す図
【符号の説明】
【００６３】
１０…デジタルカメラ、１６…ＣＣＤ、２４…フレームメモリ、２６…デジタル信号処理部、２８…圧縮伸張回路、３２…メモリカード、３８…ＣＰＵ、４０…ＣＰＵ周辺回路、５０…表示装置、５２…シャッターボタン、５４…モード切換ダイヤル、５５…液晶モニタ、５７…高画質モードボタン
【特許請求の範囲】
【請求項１】
撮像手段を介して撮像した動画のフレームデータをプログレッシブ再生可能な圧縮形式に従って符号化して記録する一方、記録された画像を復号して再生する画像の記録再生方法であって、
予め設定された所定の解像度で動画のフレームデータを記録する通常の動画記録中にユーザから高画質記録の指示を受け入れ、当該指示の入力に応じて前記所定の解像度よりも高解像度のフレームデータを取得し、
前記所定の解像度で記録された通常フレームと前記高解像度で記録された高画素記録フレームとから成る一群の動画データを一つの動画ファイルとして保存し、
前記動画ファイル内の高画素記録フレームを動画再生する場合にはプログレッシブ方式によって前記所定の解像度まで再生する一方、前記高画素記録フレームを静止画として再生する場合には、前記所定の解像度よりも高い解像度で再生を行うことを特徴とする画像の記録再生方法。
【請求項２】
撮像手段を介して撮像した動画のフレームデータをプログレッシブ再生可能な圧縮形式に従って符号化する信号処理手段と、前記符号化された動画データを記録媒体に記録する記録手段と、を備えた画像記録装置であって、該装置は、
動画の記録開始の指示を入力するための録画開始指示入力手段と、
動画記録中に高画質のフレームを記録すべき旨の指示を入力するための高画質記録指示入力手段と、
前記録画開始指示入力手段からの指示に従い、予め設定されている所定の解像度でフレームデータを記録する一方、前記高画質記録指示入力手段からの指示に応じて前記所定の解像度よりも高解像度のフレームデータを取得し、前記所定の解像度で記録された通常フレームと前記高解像度で記録された高画素記録フレームから成る一群の画像データを一つの動画ファイルとして記録媒体に保存する記録制御手段と、
を備えたことを特徴とする画像記録装置。
【請求項３】
プログレッシブ再生可能な圧縮形式に従って符号化された画像データを復号する信号処理手段と、前記復号された画像を出力する出力手段と、を備えた画像再生装置であって、該装置は、
所定の解像度で記録された通常のフレーム及び前記所定の解像度よりも高解像度で記録された高画素記録フレームから成る一群の動画データが一つのファイルとして保存されている動画ファイルについて、当該動画ファイル内の高画素記録フレームを動画再生する場合にはプログレッシブ方式によって前記所定の解像度まで再生する一方、前記高画素記録フレームを静止画として再生する場合には、前記所定の解像度よりも高い解像度で再生を行う再生制御手段を備えていることを特徴とする画像再生装置。
【請求項１】
撮像手段を介して撮像した動画のフレームデータをプログレッシブ再生可能な圧縮形式に従って符号化して記録する一方、記録された画像を復号して再生する画像の記録再生方法であって、
予め設定された所定の解像度で動画のフレームデータを記録する通常の動画記録中にユーザから高画質記録の指示を受け入れ、当該指示の入力に応じて前記所定の解像度よりも高解像度のフレームデータを取得し、
前記所定の解像度で記録された通常フレームと前記高解像度で記録された高画素記録フレームとから成る一群の動画データを一つの動画ファイルとして保存し、
前記動画ファイル内の高画素記録フレームを動画再生する場合にはプログレッシブ方式によって前記所定の解像度まで再生する一方、前記高画素記録フレームを静止画として再生する場合には、前記所定の解像度よりも高い解像度で再生を行うことを特徴とする画像の記録再生方法。
【請求項２】
撮像手段を介して撮像した動画のフレームデータをプログレッシブ再生可能な圧縮形式に従って符号化する信号処理手段と、前記符号化された動画データを記録媒体に記録する記録手段と、を備えた画像記録装置であって、該装置は、
動画の記録開始の指示を入力するための録画開始指示入力手段と、
動画記録中に高画質のフレームを記録すべき旨の指示を入力するための高画質記録指示入力手段と、
前記録画開始指示入力手段からの指示に従い、予め設定されている所定の解像度でフレームデータを記録する一方、前記高画質記録指示入力手段からの指示に応じて前記所定の解像度よりも高解像度のフレームデータを取得し、前記所定の解像度で記録された通常フレームと前記高解像度で記録された高画素記録フレームから成る一群の画像データを一つの動画ファイルとして記録媒体に保存する記録制御手段と、
を備えたことを特徴とする画像記録装置。
【請求項３】
プログレッシブ再生可能な圧縮形式に従って符号化された画像データを復号する信号処理手段と、前記復号された画像を出力する出力手段と、を備えた画像再生装置であって、該装置は、
所定の解像度で記録された通常のフレーム及び前記所定の解像度よりも高解像度で記録された高画素記録フレームから成る一群の動画データが一つのファイルとして保存されている動画ファイルについて、当該動画ファイル内の高画素記録フレームを動画再生する場合にはプログレッシブ方式によって前記所定の解像度まで再生する一方、前記高画素記録フレームを静止画として再生する場合には、前記所定の解像度よりも高い解像度で再生を行う再生制御手段を備えていることを特徴とする画像再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−５３７８３（Ｐ２００７−５３７８３Ａ）
【公開日】平成１９年３月１日（２００７．３．１）
【国際特許分類】
【出願番号】特願２００６−２５３０７５（Ｐ２００６−２５３０７５）
【出願日】平成１８年９月１９日（２００６．９．１９）
【分割の表示】特願２００１−３１６３６７（Ｐ２００１−３１６３６７）の分割
【原出願日】平成１３年１０月１５日（２００１．１０．１５）
【出願人】（０００００５２０１）富士フイルムホールディングス株式会社 (7,609)
【Ｆターム（参考）】
【公開日】平成１９年３月１日（２００７．３．１）
【国際特許分類】
【出願日】平成１８年９月１９日（２００６．９．１９）
【分割の表示】特願２００１−３１６３６７（Ｐ２００１−３１６３６７）の分割
【原出願日】平成１３年１０月１５日（２００１．１０．１５）
【出願人】（０００００５２０１）富士フイルムホールディングス株式会社 (7,609)
【Ｆターム（参考）】
[ Back to top ]