動画像編集方法および動画像編集装置および動画像編集手順を有するプログラムコードを記録する記録媒体
【課題】 動画像を構成するシーン、カットの階層構造をカットの代表画像を用いて表示する場合の表示方法を改善し、動画像の必要な部分について容易に把握することができるようにする。
【解決手段】 高速表示およびカットの代表画像として表示されるサイズに合わせて縮小した動画像である縮小表示用画像、縮小表示用画像ファイル名、シーン変化検出された変化点のフレーム番号からなる動画像情報、および階層番号、縮小表示用ファイル名、カット番号、ディスプレイ表示座標、ツリー構造用表示するか否かの識別子からなる階層構造管理情報ファイルを磁気記憶装置１０６に格納し、動画像の階層構造による編集を行う際には、メモリ１０２から階層構造管理情報を読み出し、磁気記録装置１０６から該当するカットまたはシーンを表す縮小画像を読み出して、モニタ１０８に対応したアイコンを表示する。
【解決手段】 高速表示およびカットの代表画像として表示されるサイズに合わせて縮小した動画像である縮小表示用画像、縮小表示用画像ファイル名、シーン変化検出された変化点のフレーム番号からなる動画像情報、および階層番号、縮小表示用ファイル名、カット番号、ディスプレイ表示座標、ツリー構造用表示するか否かの識別子からなる階層構造管理情報ファイルを磁気記憶装置１０６に格納し、動画像の階層構造による編集を行う際には、メモリ１０２から階層構造管理情報を読み出し、磁気記録装置１０６から該当するカットまたはシーンを表す縮小画像を読み出して、モニタ１０８に対応したアイコンを表示する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、テレビジョン放送番組製作、ビデオ番組製作などの動画像製作時等に用いられるコンピュータ支援による動画像編集方法と動画像編集装置および動画像編集方法に係わる手順を記録する記憶媒体に関する。
【０００２】
【従来の技術】テレビジョン放送番組製作やビデオ番組製作に用いられる設備では、コンピュータを用いることによる高機能化が急速に進展している。特に近年はビデオテープレコーダによって、テープカウンタを頼りに、早送り、巻き戻しを繰り返すような映像編集法の代わりに、廉価で取り扱いや保存が容易なハードディスク等の大容量のランダムアクセス記憶装置に格納し、コンピュータの支援のもとで格納した画像情報の編集を行う動画像編集装置がある。
【０００３】日本特許出願の公開公報、特開平４−２０７８７７号公報には、動画像をシーンあるいはカット単位で編集を行う動画像管理装置が開示されている。この装置ではカットとシーンの階層構造がツリー構造の形式で画面に表示される。
【０００４】しかしながら、多数のカットをツリー構造（階層構造）を用いて編集を行っていくと、モニタ画面の解像度上の制限から、編集状態をすべて表示しきれなくなる。その場合、ユーザは表示内容をスクロールさせることで確認しなければならず、操作が煩雑となり内容が把握しにくいという欠点がある。
【０００５】
【発明が解決しようとする課題】本発明は、上記のように、必要なシーン、カットを容易に探し出すために動画像を多数のシーン、カットのツリー構造（階層構造）で記憶して管理して表示している時に、例えば、ユーザが編集状態の全体を確認する際には、ツリー構造を表示しているウインドウのスクロールバーをマウスで操作しながら確認しなければならないという欠点を除去あるいは低減するものである。
【０００６】
【課題を解決するための手段】本発明による、画面に表示された動画像情報を見ながらコンピュータ支援により画像を編集する方法は、動画像情報を構成する映像シーンあるいは映像カットを代表する複数の縮小静止画像が選択されるステップと、静止画像間の階層構造が決められるステップと、階層構造の内、所定の階層構造部分に係わる静止画像が指定されるステップと、指定された静止画像を含む階層部分が該階層構造を表すような配列で画面に表示されるステップとを含む。
【０００７】本発明による、コンピュータで読まれて実行されるプログラムコードを格納する記録媒体は、動画像情報を構成する映像シーンあるいは映像カットを代表する静止画像の選択に応じて、前記静止画像間の階層構造を決める手順のプロシジャを表す第ｌのコードセクションと、階層構造の内、所定の階層構造部分に係わる静止画像が指定されることに応じて、指定された静止画像を含む階層部分が該階層構造を表すような配列で画面に表示する手順のプロシジャを表す第２のコードセクションとを格納する。
【０００８】本発明による、画面に表示された動画像情報を見ながらコンピュータ支援により画像を編集する動画像編集装置は、動画像情報を記録する記録装置と、例えば、動画像を記録装置に記録する際に、隣接するフレーム画像同士を比較して、隣接するフレーム画像間で情報が所定量を越えて変化した場合に該隣接するフレーム画像を異なるカットに属するフレーム画像同士であると認定することで動画像の変化点を検出する変化点検出部と、各カットを構成するフレーム画像のデータ量を間引いて得られたを縮小静止画像と、該縮小静止画像が各カットを代表する画像とされるための情報すなわち縮小表示用ファイルとを記録する記録装置と、複数の任意のカットをシーンとしてまとめてシーンを識別する情報を生成し、複数の所定のシーンを動画としてまとめて動画を識別する情報を生成し、動画像情報を構成する映像シーンあるいは映像カットを代表する縮小静止画像の選択に応じて、縮小静止画像に代表される映像シーンおよび映像カット間の階層構造を決める制御部と、階層構造の内、所定の階層構造部分に係わる縮小静止画像を指定する指定部と、指定された縮小静止画像を含む階層部分が該階層構造を表すような配列で表意するディスプレイとを含む。
【０００９】
【発明の実施の形態】本発明による動画像の編集装置の説明および編集動作の説明に入る前に、編集対象である記録された動画像情報のデータ構造について図面を参照して説明しておく方が良いので以下説明する。
【００１０】図１１は、記録された映像ソースを構成するフレーム画像列を時系列的な配列として模式的に表現したものである。磁気テープ上に記録された映像ソースの画像データは概ねこのような形式で配列している。磁気ディスクや光ディスクでは物理的には、必ずしもこのような時系列的な配列で記録されず、別のデータ配列となる。ディスク状の記録媒体ではどの記録された映像データヘも、ほとんど同じ時間でアクセスできるので有利である。
【００１１】「カット」というのはＴＶカメラでの１回の撮影動作開始から終了までの間で撮影されたフレーム画像の集合として定義される。「シーン」は、ある決まった撮影対象を撮影した複数のカットの集合で構成される。複数のシーンはさらに特定の撮影テーマで取りまとめられることができる。映像ソースは複数のカット、カットをいくつかまとめるシーン、いくつかのシーンをまとめる撮影テーマ（あるいは題名）を有する動画というような、情報の階層構造として整理できる。カットやシーンにはそれぞれ特定する番号が付与される。なお、シーンの概念が、チャプタのようなサブセットを用いて階層的に拡張されることで、階層構造の層数を増すことができる。
【００１２】図１２は、記録映像ソースのツリー状の階層構造の一例である。撮影テーマは「トロピカルアイランド」である。記録された映像ソースには、島の周囲の海中の魚を撮影したカット１、海岸風景を撮影したカット２、森に生息する爬虫類を撮影したカット３、花を撮影したカット４、鳥を撮影したカット５、市場の風景を撮影したカット６、港を撮影したカット７等が含まれる。カット１は例えば第１フレームから第９０フレームまでから構成され、カット２は第９１フレームから第１５０フレームで構成される。カット１とカット２の映像は撮影対象が海の映像であるシーン１としてまとめられる。カット３，４，５は撮影対象が森の映像であるシーン２としてまとめられる。カット６，７は撮影対象が町の風景であるシーン３としてまとめられる。
【００１３】後で詳細に説明する本発明の実施例による編集装置においては、この階層構造の一部あるいは全部を編集用の画面に表示することができる。階層構造のどの部分を表示するかを任意に指定できる。階層構造の画面では、これら各カットを構成するフレーム画像中の代表フレーム画像と、シーンを構成するカット中の代表的なカットのフレーム画像とが、それぞれ縮小静止画像として表示される。縮小静止画像のみならず、縮小静止画像の属性を示す文字情報もまた階層構造を表示するための画面上に表示できる。
【００１４】本発明の実施例では、画面上のオリジナルの階層構造をオペレータの単純な操作によって変更することにより容易に編集ができる。例えば、カット１とカット３とカット５を島に生息する動物を撮影対象とした新たなシーン１の下位の階層とする階層構造に変更すなわち編集をすることができる。このように階層構造を変更した映像を再生すれば、カット１、カット３、カット５の順番に編集された映像が見られる。階層構造を表示するための画面を使用しての編集作業ではカットの入れ替えや削除あるいは別のカットの追加などが容易に可能である。さらに、シーン同士の順序を入れ替えることも簡単にできる。例えば、シーン３、シーン１、シーン２のような順番になるように編集できる。その場合にはシーンの下位階層のカットも一緒に順番が入れ替わる。
【００１５】図ｌは、本発明の実施例による動画像編集装置のモニタ画面２００を示す。画面中、２０１のウインドウは、編集用ウインドウ（編集エリア）である。編集エリア２０１には編集しようとする映像ソースの動画像を構成するカット２１０〜２１４やシーン２２０〜２２１の代表画像が縮小サイズで表示される。それらの縮小画像は、ツリー状階層構造で表示されている。
【００１６】編集用ウインドウ２０１はさらに、操作キー領域２４０を有する。操作キー領域２４０は、各種の編集操作を指定する編集ファンクションキーのアイコン２４１，２４２，２４３…を有する。マウス操作してカーソルを編集ファンクションキー領域２４０に移動させ、所望のキーアイコンを指定することで編集を行うことができる。例えば、カット一覧表示のキー２４１を指定すると、ウインドウ２０３が画面に表示される。カット一覧用ウインドウ２０３には、各カットを代表する縮小静止画像２１０〜２１４…が時系列順に表示される。動画像再生のキー２４２を指定し、さらに所定のカット代表画像２１０あるいはシーン代表画像２２０を指定するとそのカットの映像が動画像ウインドウ２０２上で再生される。キー２４３は後で説明するバインド機能のキーである。階層構造のカット画面やシーン画面を入れ替えるためのキーもある。その他多くの編集機能キーが設けられるが、それらの説明は省略する。
【００１７】
【実施例】本発明の実施例について以下、説明する。図２R>２は動画像編集装置の構成例のブロック図である。すなわち、各種制御を処理するＣＰＵ１０１と、動画像、編集に用いるシーン、カットおよび編集状態を表す階層構造（ツリー構造）の情報などを表示するモニタ１０８と、ＣＰＵ１０１の各種制御プログラムなどを記憶するメモリ１０２と、モニタ１０８に表示するための画像を記憶するフレームバッファ１０７と、複数のカットからなる一連の動画像を入力として、カットの変化点を検出するカット変化点検出部１０３とを備える。
【００１８】一連の動画像と、カット変化点検出部１０３で検出した変化点を記述したフレーム番号および縮小表示用画像ファイル名を有する動画像関連情報と、この複数のフレーム画像からなる動画像全体あるいはシーンを、後述する伸張処理をせずに高速に表示して見るためと共に代表画像として表示されるサイズに合わせるために縮小した縮小表示用画像と、複数のシーンあるいはカットのそれぞれが階層の何段目かという段数を表す階層番号、縮小表示用画像ファイル名、複数のフレームからなるカットごとに、先頭のカットからシリアルに付与されているカット番号、階層構造を表示するモニタ１０８に表示するか否かの識別子からなる階層構造管理情報を格納する磁気記憶装置１０６を備える。
【００１９】さらに、ＶＴＲ１０５から映像の信号を入力し、この装置で動画を扱うフォーマットに変換するビデオインタフェース１０４と、入力手段としてのマウスまたはキーボード１０９、およびＶＴＲ１０５からインタフェース１０４を介して入力された画像情報を圧縮して圧縮画像データを生成し、また、圧縮画像データを伸張して画像情報を再生する画像圧縮部１１２とを備える。
【００２０】上記ＣＰＵ１０１、メモリ１０２、カット変化点検出部１０３、ビデオインタフェース１０４、磁気記憶装置１０６、フレームバッファ１０７、画像圧縮部１１２はバス１１０に接続されており、ＣＰＵ１０１からのアクセスにより制御される。磁気記憶装置１０６の代わりに、他の記憶媒体を用いても、あるいはネットワーク（例えば、ＬＡＮやＲＳ−２３２Ｃインタフェースを用いたネットワーク）を介したリモートファイルを用いてもよい。
【００２１】上記の装置により、動画像情報を階層構造で記憶して管理することができ、必要なシーン、カットを容易に探し出すことができ、しかもシーン、カットを単位とした編集を容易にすることができ、さらにカット単位の分割を自動的に行うことができ、ユーザの負担をなくすことが可能である。
【００２２】次に、このような構成における動作を説明する。まず、マウスあるいはキーボード１０９の指示によりＶＴＲ１０５に設定されたビデオテープから読み出され、画像圧縮部１１２において圧縮された動画像情報についての磁気記憶装置１０６への登録動作が指示される。すると、その登録動作と共にＶＴＲ１０５から動画像情報がビデオインタフェース１０４、バス１１０を介してカット変化点検出部１０３に供給される。カット変化点検出部１０３は入力された動画像情報を、例えば符号化した後、その動画像情報の中のカットの変化点の検出が行われる。
【００２３】カット変化点が決定し、カットの区切りが決まると、磁気記録装置１０６には、図４に示すような、カット変化点に応じて区切られた各カットに対応した動画像関連情報ファイルのデータが作成され記憶される。この動画像関連情報ファイルのカット番号スロット３０１には、そのカットのカット番号が保持され、カットの長さスロット３０２には、そのカットに含まれるフレーム数に対応した値が保持され、縮小表示用ファイル名スロット３０３にはそのカットに対応した略固有のカット名称が保持され、フレーム番号スロット３０４には、例えば、そのカットの先頭のフレーム画像のフレーム番号が保持される。この際、複数のフレームからなる動画像全体あるいはシーンを高速にして見るために、高速表示用画像として高速表示および代表画像として表示されるサイズに合わせて縮小した画像として縮小表示用画像が磁気記憶装置１０６に格納される。
【００２４】一般に、符号化圧縮された動画像情報から所定のフレーム画像を取り出すには、複号化し伸張する必要があり、そのためのＣＰＵ１０１の処理時間を要する。しかしながら、本実施例のようにあらかじめ高速表示用に縮小した画像情報であって、符号化されていない動画像情報を格納しておけば、複号化に要する処理時間なしにその画像を読み出すことができる。
【００２５】オペレータは、上記磁気記録装置１０６に登録した動画像の読み出しをマウスあるいはキーボード１０９により指示する。すると、ＣＰＵ１０１は対応する動画像のカットの変化点としての各カットの１フレーム目のみを読み出し、図１に示すようにモニタ１０８において表示される画面２００のカット一覧用ウインドウ２０３を表示する。この表示に対応して、オペレータは、カットの変化点が正しいか否か判定する。オペレータは更に、マウスあるいはキーボード１０９により、カットの区切りを指示したり、カットの区切りを変更したりする。
【００２６】ＣＰＵ１０１は、磁気記録装置１０６に記憶された動画像の変化点により区分けされた各カットごとにカット番号を付与する。また、カットの変化点が正しくないと指示された場合、ＣＰＵ１０１は磁気記憶装置１０６の動画像情報を登録し直す。
【００２７】また、オペレータによりマウスあるいはキーボード１０９で動画像編集等が指示されると、磁気記録装置１０６あるいはメモリ１０２からそれに対応する階層構造管理情報を読み出して画面上で編集を行い、編集終了した階層構造を磁気記憶装置１０６に再登録する。
【００２８】階層構造を使って動画像を編集する過程を、図６，図７，図８を参照して、以下に説明する。図６R>６，図７，図８は図１のウインドウ２０１の画面のみを示す。
【００２９】例えば、磁気記録装置１０６に記憶された動画像情報（カット１、カット２、カット３、…、カットｎ、…、カットｊ、…）のそれぞれに対応する縮小静止動画像８０１、８０２、８０３、８０４、８０５等が、その記憶された順番でもって、図６に示すように素材エリア２０３に並べて表示される。なお、編集開始前の場合は、編集エリア２０１内には縮小静止画像は表示されない。
【００３０】編集が開始されて、例えば、オペレータがマウスあるいはキーボード１０９で素材エリア２０３に表示されているカットｎの縮小静止画像８０４とカットｊの縮小静止画像８０５とを選択し、それらが選択状態である場合に「結合」キー８１０を選択クリックすると、編集開始前までは縮小画像が表示されていなかった編集エリア２０１内に図６に示すように、カットｎとカットｊにそれぞれ対応する縮小静止画像８０４’、８０５’が新たに表示される。さらに、カットｎとカットｊにより構成されるシーン（シーンｋ）に対応する縮小静止画像８０６が表示されると共に、それら三つの縮小静止画像８０４’、８０５’、８０６の関連状態を表すようにした結線が表示されて、それらツリー構造を表す図形が簡便な操作性でもって迅速に表示されることができる。
【００３１】このとき、上記の新たに表示されたツリー構造表示に対応した、図５に示すような、画像管理情報ファイル、シーン管理情報ファイル、およびカット画像情報ファイルからなる階層構造管理情報ファイルが生成される。この場合、シーン管理情報ファイルのスロットのうち、階層番号スロット３２１にはシーンｋが位置する階層の番号、例えば「１」が保持され、シーン番号スロット３２２にはシーンｋに対応するシーン番号、例えば「ｋ」が保持され、親となる動画番号１スロット３２３にはシーンｋの上位階層に位置する親となる動画が登録されていれば、その動画に対応する動画番号が保持され、子となるカット番号１スロット３２４にはシーンｋの下位階層に位置する子となるカットの一つである、例えばカットｎに対応するカット番号「ｎ」が保持される。同様に、子となるカット番号２スロット３２５には、シーンｋの下位階層に位置する子となるカット、例えばカットｊに対応するカット番号「ｊ」が保持される。
【００３２】この場合、シーンｋの下位階層に位置するカットの数は２であるので、子となるカット番号３スロット３２６にはデータが保持されず空である。さらに、アイコン表示座標スロット３２７には、編集エリア２０１に応じた表示位置であって、シーンｋに対応する縮小静止画像８０６の表示位置を定めるための座標情報が保持され、表示識別子スロット３２８には、縮小静止画像８０６を編集エリア２０１に表示するか否かを識別するための情報、例えば「表示する」の情報が保持される。
【００３３】さらに、階層構造管理情報ファイルのうちのカット画像情報ファイルとしては、カットｎおよびカットｊに対応するカット画像情報ファイルが生成される。そのうち、カットｎに対応するカット画像情報ファイルのスロットのうち、階層番号スロット３３１にはカットｎが位置する階層の番号、例えば「２」が保持され、カット番号スロット３０１’にはカットｎに対応するカット番号、例えば「ｎ」が保持され、カットの長さスロット３０２’にはカットｎのフレーム数に相当する値が保持される。さらに、縮小表示用ファイル名スロット３０３’にはカットｎの内容に応じた略固有のファイル名称が保持され、フレーム番号スロット３０４’にはカットｎの、例えば先頭のフレーム画像のフレーム番号が保持される。さらに、アイコン表示座標スロット３３２には、編集エリア２０１に応じたカットｎに対応する縮小静止画像８０４’の表示位置を定めるための座標情報が保持され、表示識別子スロット３３３には、縮小静止画像８０４’を編集エリア２０１に表示するか否かを識別するための情報が、例えば「表示する」の情報が保持される。
【００３４】なお、上記とは別のカットｊに対応するカット画像情報ファイルのスロットのいくつかにも上記と同様に所定の情報が保持されるが、ここでは説明を省略する。
【００３５】さらに、編集エリア２０１に表示された複数のシーンから構成される動画、例えば動画１が、それら各シーンの上位階層として作成され、その動画１に対応する縮小静止画像が各シーンに対応する縮小静止画像と結線で結ばれて表示される。そのツリー構造の様子を図７に示す。この階層構造表示に応じて、上述した図５に示すような、階層構造管理情報ファイルが生成される。この階層構造管理情報ファイルの画像管理情報ファイルにおけるスロットの内、階層番号スロット３１１には動画１が位置する階層の番号、例えば「１」が保持される。
【００３６】このとき、動画１の下位階層のシーン１、シーン２、シーン３のそれぞれに応じたシーン管理情報ファイルの階層番号スロットには、上記動画１の直下の下位階層であることを示す階層番号である値に変更されて保持され、例えば「２」が保持される。また、シーン１、シーン２、シーン３のそれぞれに応じた親となる動画番号１スロットには、上記動画１の動画番号が保持され、例えば「１」が保持される。このとき更に、シーン１、シーン２、シーン３のそれぞれの下位階層のカット１、カット２、カット３、カット４、カット５のそれぞれに応じたカット管理情報ファイルの階層番号スロットには、上記シーン１、シーン２、シーン３それぞれの直下の下位階層であることを示す階層番号である値に変更されて保持され、例えば「３」が保持される。
【００３７】さらに、画像管理情報ファイルにおけるスロットの内、動画番号スロット３１２には動画１に対応した動画番号、例えば「１」が保持される。さらに、子となるシーン番号１スロット３１３には動画１の下位階層に位置する子となるシーンの一つである、例えばシーン１に対応するシーン番号「１」が保持される。同様に、子となるシーン番号２スロット３１４には動画１の下位階層に位置する子となるシーン、例えばシーン２に対応するシーン番号「２」が保持され、子となるシーン番号３スロット３１５には動画１の下位階層に位置する子となるシーン、例えばシーン３に対応するシーン番号「３」が保持される。さらに、アイコン表示座標スロット３１６には、編集エリア２０１に応じた動画１に対応する縮小動画像６０１の表示位置を定めるための座標情報が保持され、表示識別子スロット３１７には、縮小静止画像６０１を編集エリア２０１に表示するか否かを識別するための情報、例えば「表示する」の情報が保持される。 以上説明したように、編集エリア２０１には図７R>７に示すように各階層の動画、シーン、カットに対応する複数の縮小静止画像が表示される。しかしながら、編集エリア２０１の表示可能なサイズが制約されることから、選択されたシーンの下位階層のカットのみを表示することが考えられ、本発明では以下の説明にあるように動作することによってその選択表示切換を実現している。
【００３８】すなわち、オペレータは、編集エリアに表示される各シーンに対応する縮小静止画像のうちの一つを、マウスあるいはキーボード１０９で選択する。そしてそれが選択状態である場合に「表示」キー８１１を選択クリックすると、編集エリア２０１内に表示されていた縮小静止画像のうち、上記縮小静止画像が選択されたシーンの下位階層に位置するカットに対応する縮小静止画像はそのまま表示され、上記縮小静止画像が選択されたシーン以外のシーンの下位階層に位置するカットに対応する縮小静止画像が表示されなくなる。
【００３９】上記縮小静止画像を表示するあるいは表示しないの設定の切換は、上記で説明した階層構造管理情報ファイルにおける、表示しないとするカットに対応する各カット画像情報ファイルの表示識別子スロット３３３の保持情報を、「表示する」から「表示しない」の値に書き換えることによって行われる。
【００４０】具体的な事例として、図７におけるシーン１以下のカットを表示し、シーン１以外のシーン、例えば、シーン２、シーン３以下のカットを表示させないとした場合の動作について説明する。
【００４１】オペレータが、図７の編集エリア２０１に表示されるシーン１に対応する縮小静止画像６０１を、マウスあるいはキーボード１０９で選択する。そしてそれが選択状態である場合に「表示」キー８１１を選択クリックすると、図８に示すように、編集エリア２０１に表示される縮小静止画像は、図７で表示されていた、動画１、シーン１、シーン２、シーン３に対応する縮小静止画像が表示されたままであり、同様に、シーン１の下位階層に位置するカット１、カット２、カット３に対応する縮小静止画像が表示されたままとなる。図７で表示されていたその他の、カット４、カット５、カット６に対応する縮小静止画像が図８では表示されない。
【００４２】この場合、階層構造管理情報ファイルを用いて、選択されたシーン以外のシーン、すなわちシーン１以外のシーンのシーン管理情報ファイルが順に参照される。例えば、シーン２のシーン管理情報ファイルの内の、子となるカット番号１スロット３２４、および子となるカット番号２スロット３２５に保持された情報、すなわちカット４とカット５のカット番号がそれぞれ読み出される。そして、それぞれのスロットに保持され読み出されたカット番号を基にして、シーン２の下位階層のカットのカット画像情報ファイルが参照され、カット４に対応するカット画像情報ファイルおよびカット５に対応するカット画像情報ファイルのそれぞれの表示識別子スロットの値が、「表示しない」に設定される。同様に、シーン３のシーン管理情報ファイルについても上記と同様な処理が行われる。
【００４３】上記説明では、ツリー階層構造は３層構造として説明されているが、３層よりも層数が多い場合でも、同様な動作で下位階層の表示識別子スロットの値を設定すれば、所望のレベルの複数の縮小静止画像の内、選択された縮小静止画像以下の縮小静止画像だけを表示するようにすることが可能である。
【００４４】さらに、表示される縮小静止画像については、その表示位置を変更することが可能である。その変更の手順を、以下説明する。この縮小静止画像の表示位置の変更は、上記で説明した階層構造管理情報ファイルにおける、表示位置を変更するとするシーンまたはカットに対応する各シーン管理情報ファイルあるいはカット画像情報ファイルのアイコン表示座標スロットの保持情報を、所定の座標情報の値に書き換えることによって行われる。
【００４５】具体的な事例として、上記と同様に、図７におけるシーン１以下のカットに応じた縮小静止画像を表示し、シーン１以外のシーン、例えば、シーン２、シーン３以下のカットに応じた縮小静止画像を表示させないとした場合の動作について説明する。
【００４６】オペレータが、図７の編集エリア２０１に表示されるシーン１に対応する縮小静止画像６０１を、マウスあるいはキーボード１０９で選択する。そしてそれが選択状態である場合に「表示」キー８１１を選択クリックすると、図８に示すように、編集エリア２０１に表示される縮小静止画像は、図７で表示されていた、動画１、シーン１、シーン２、シーン３に対応する縮小静止画像が表示されたままであり、かつ、表示位置が変更され、例えば、シーン１、シーン２、シーン３に対応する縮小静止画像間の表示間隔がより短くされる。また、シーン１の下位階層に位置するカット１、カット２、カット３……カットｉに対応する縮小静止画像が表示され、必要に応じて表示位置が変更される。
【００４７】この場合、階層構造管理情報ファイルを用いて、対応する縮小静止画像の表示位置が変更されるシーンのシーン管理情報ファイル及び、対応する縮小静止画像の表示位置が変更されるカットのカット画像情報ファイルが参照される。そして、例えば、シーン２のシーン管理情報ファイルの内の、アイコン表示座標スロットの値が、シーン１とシーン２にそれぞれ対応する縮小静止画像間の表示位置がより短くなる値に設定される。同様に、他のシーンまたはカットに係わるアイコン表示座標スロットの値についても上記と同様な処理が行われる。 オペレータにより指定される一部の階層構造のみを表示するときの、処理フローチャートを図９と図１０に示す。ステップ７０１で、シーンに対応する縮小静止画像を選択する。ステップ７０２で、アイコン２４０内の「表示」キー８１１をクリックする。ステップ７０３では、選択された縮小静止画像に対応するシーン（選択されたシーン）の上位階層の動画に応じた画像管理情報ファイル（図５の（Ａ））にアクセスする。ステップ７０４で、ファイル中の、選択されたシーン以外に対応した「子となるシーン番号」を参照する。ステップ７０５で、画像管理情報ファイルの「子となるシーン番号」のスロットが空かどうか判定する。スロットが空であればステップ７０６で処理を終了する。スロットが空でなければ、ステップ７０７で、「子となるシーン番号」のデータ内容に応じたシーンのシーン管理情報ファイル（図５R>５の（Ｂ））にアクセスする。ステップ７０８で、シーン管理情報ファイルの最初の「子となるカット番号」のスロットを選択する。ステップ７０９で、「子となるカット番号」のスロットのデータ内容に応じたカットのカット画像情報ファイル（図５の（Ｃ））にアクセスする。ステップ７１０で、表示識別子のスロットのデータ内容を「表示しない」にする。ステップ７１１で、シーン管理情報ファイル（図５の（Ｂ））の、２番目の「子となるカット番号」のスロットは空かどうか判定する。空でなければ、ステップ７０９に戻る。空であれば、ステップ７１２で、画像管理情報ファイル（図５の（Ａ））の２番目の「子となるシーン番号」のスロットは空かどうか判定する。空であれば処理を終了し、空でなければステップ７０７に戻る。
【００４８】なお、上記説明中で各動画、シーン、カットにそれぞれ対応した縮小静止画像の表示の代わりに、各動画、シーン、カットに対応した縮小動画像の表示を任意に切り換えて行うことも可能である。
【００４９】
【発明の効果】以上説明したように、本発明によれば、動画像（動画）を構成するシーン、カットが階層構造に応じて表示する場合に、階層構造全体の代表画像すべてをスクロール表示することなく、所定の階層以下のシーン、カットについては、選択されたその階層のシーン以下に属するシーンあるいはカットのみを表示するようにしたことで、編集された映像内容の把握を迅速に行うことができる。
【図面の簡単な説明】
【図１】本発明の動画像編集装置による画面表示の一例を示した図
【図２】動画像編集装置のブロック構成例を示した図
【図３】従来の動画像編集装置の画面表示の一例を示した図
【図４】動画像情報ファイルの構成例を示した図
【図５】動画像情報の階層構造を管理する階層構造管理情報ファイルの構成例を示した図
【図６】、
【図７】、
【図８】、
【図９】、
【図１０】代表画像の組合せによる動画像情報の階層構造表示の例を説明する図
【図１１】記録された動画像情報のデータ構造の一例を説明するための模式図
【図１２】動画像情報のツリー状の階層構造の一例を示す図
【符号の説明】
１０１ ＣＰＵ
１０２ メモリ
１０３ シーン変化点検出部
１０４ ビデオインタフェース
１０５ ＶＴＲ
１０６ 磁気記憶装置
１０７ フレームバッファ
１０８ モニタ
１０９ マウスあるいはキーボード
１１０ バス
２００ 画面
２０１ 編集用ウインドウ（編集エリア）
２０２ 動画像ウインドウ
２０３ カット一覧用ウインドウ（素材エリア）
【０００１】
【発明の属する技術分野】本発明は、テレビジョン放送番組製作、ビデオ番組製作などの動画像製作時等に用いられるコンピュータ支援による動画像編集方法と動画像編集装置および動画像編集方法に係わる手順を記録する記憶媒体に関する。
【０００２】
【従来の技術】テレビジョン放送番組製作やビデオ番組製作に用いられる設備では、コンピュータを用いることによる高機能化が急速に進展している。特に近年はビデオテープレコーダによって、テープカウンタを頼りに、早送り、巻き戻しを繰り返すような映像編集法の代わりに、廉価で取り扱いや保存が容易なハードディスク等の大容量のランダムアクセス記憶装置に格納し、コンピュータの支援のもとで格納した画像情報の編集を行う動画像編集装置がある。
【０００３】日本特許出願の公開公報、特開平４−２０７８７７号公報には、動画像をシーンあるいはカット単位で編集を行う動画像管理装置が開示されている。この装置ではカットとシーンの階層構造がツリー構造の形式で画面に表示される。
【０００４】しかしながら、多数のカットをツリー構造（階層構造）を用いて編集を行っていくと、モニタ画面の解像度上の制限から、編集状態をすべて表示しきれなくなる。その場合、ユーザは表示内容をスクロールさせることで確認しなければならず、操作が煩雑となり内容が把握しにくいという欠点がある。
【０００５】
【発明が解決しようとする課題】本発明は、上記のように、必要なシーン、カットを容易に探し出すために動画像を多数のシーン、カットのツリー構造（階層構造）で記憶して管理して表示している時に、例えば、ユーザが編集状態の全体を確認する際には、ツリー構造を表示しているウインドウのスクロールバーをマウスで操作しながら確認しなければならないという欠点を除去あるいは低減するものである。
【０００６】
【課題を解決するための手段】本発明による、画面に表示された動画像情報を見ながらコンピュータ支援により画像を編集する方法は、動画像情報を構成する映像シーンあるいは映像カットを代表する複数の縮小静止画像が選択されるステップと、静止画像間の階層構造が決められるステップと、階層構造の内、所定の階層構造部分に係わる静止画像が指定されるステップと、指定された静止画像を含む階層部分が該階層構造を表すような配列で画面に表示されるステップとを含む。
【０００７】本発明による、コンピュータで読まれて実行されるプログラムコードを格納する記録媒体は、動画像情報を構成する映像シーンあるいは映像カットを代表する静止画像の選択に応じて、前記静止画像間の階層構造を決める手順のプロシジャを表す第ｌのコードセクションと、階層構造の内、所定の階層構造部分に係わる静止画像が指定されることに応じて、指定された静止画像を含む階層部分が該階層構造を表すような配列で画面に表示する手順のプロシジャを表す第２のコードセクションとを格納する。
【０００８】本発明による、画面に表示された動画像情報を見ながらコンピュータ支援により画像を編集する動画像編集装置は、動画像情報を記録する記録装置と、例えば、動画像を記録装置に記録する際に、隣接するフレーム画像同士を比較して、隣接するフレーム画像間で情報が所定量を越えて変化した場合に該隣接するフレーム画像を異なるカットに属するフレーム画像同士であると認定することで動画像の変化点を検出する変化点検出部と、各カットを構成するフレーム画像のデータ量を間引いて得られたを縮小静止画像と、該縮小静止画像が各カットを代表する画像とされるための情報すなわち縮小表示用ファイルとを記録する記録装置と、複数の任意のカットをシーンとしてまとめてシーンを識別する情報を生成し、複数の所定のシーンを動画としてまとめて動画を識別する情報を生成し、動画像情報を構成する映像シーンあるいは映像カットを代表する縮小静止画像の選択に応じて、縮小静止画像に代表される映像シーンおよび映像カット間の階層構造を決める制御部と、階層構造の内、所定の階層構造部分に係わる縮小静止画像を指定する指定部と、指定された縮小静止画像を含む階層部分が該階層構造を表すような配列で表意するディスプレイとを含む。
【０００９】
【発明の実施の形態】本発明による動画像の編集装置の説明および編集動作の説明に入る前に、編集対象である記録された動画像情報のデータ構造について図面を参照して説明しておく方が良いので以下説明する。
【００１０】図１１は、記録された映像ソースを構成するフレーム画像列を時系列的な配列として模式的に表現したものである。磁気テープ上に記録された映像ソースの画像データは概ねこのような形式で配列している。磁気ディスクや光ディスクでは物理的には、必ずしもこのような時系列的な配列で記録されず、別のデータ配列となる。ディスク状の記録媒体ではどの記録された映像データヘも、ほとんど同じ時間でアクセスできるので有利である。
【００１１】「カット」というのはＴＶカメラでの１回の撮影動作開始から終了までの間で撮影されたフレーム画像の集合として定義される。「シーン」は、ある決まった撮影対象を撮影した複数のカットの集合で構成される。複数のシーンはさらに特定の撮影テーマで取りまとめられることができる。映像ソースは複数のカット、カットをいくつかまとめるシーン、いくつかのシーンをまとめる撮影テーマ（あるいは題名）を有する動画というような、情報の階層構造として整理できる。カットやシーンにはそれぞれ特定する番号が付与される。なお、シーンの概念が、チャプタのようなサブセットを用いて階層的に拡張されることで、階層構造の層数を増すことができる。
【００１２】図１２は、記録映像ソースのツリー状の階層構造の一例である。撮影テーマは「トロピカルアイランド」である。記録された映像ソースには、島の周囲の海中の魚を撮影したカット１、海岸風景を撮影したカット２、森に生息する爬虫類を撮影したカット３、花を撮影したカット４、鳥を撮影したカット５、市場の風景を撮影したカット６、港を撮影したカット７等が含まれる。カット１は例えば第１フレームから第９０フレームまでから構成され、カット２は第９１フレームから第１５０フレームで構成される。カット１とカット２の映像は撮影対象が海の映像であるシーン１としてまとめられる。カット３，４，５は撮影対象が森の映像であるシーン２としてまとめられる。カット６，７は撮影対象が町の風景であるシーン３としてまとめられる。
【００１３】後で詳細に説明する本発明の実施例による編集装置においては、この階層構造の一部あるいは全部を編集用の画面に表示することができる。階層構造のどの部分を表示するかを任意に指定できる。階層構造の画面では、これら各カットを構成するフレーム画像中の代表フレーム画像と、シーンを構成するカット中の代表的なカットのフレーム画像とが、それぞれ縮小静止画像として表示される。縮小静止画像のみならず、縮小静止画像の属性を示す文字情報もまた階層構造を表示するための画面上に表示できる。
【００１４】本発明の実施例では、画面上のオリジナルの階層構造をオペレータの単純な操作によって変更することにより容易に編集ができる。例えば、カット１とカット３とカット５を島に生息する動物を撮影対象とした新たなシーン１の下位の階層とする階層構造に変更すなわち編集をすることができる。このように階層構造を変更した映像を再生すれば、カット１、カット３、カット５の順番に編集された映像が見られる。階層構造を表示するための画面を使用しての編集作業ではカットの入れ替えや削除あるいは別のカットの追加などが容易に可能である。さらに、シーン同士の順序を入れ替えることも簡単にできる。例えば、シーン３、シーン１、シーン２のような順番になるように編集できる。その場合にはシーンの下位階層のカットも一緒に順番が入れ替わる。
【００１５】図ｌは、本発明の実施例による動画像編集装置のモニタ画面２００を示す。画面中、２０１のウインドウは、編集用ウインドウ（編集エリア）である。編集エリア２０１には編集しようとする映像ソースの動画像を構成するカット２１０〜２１４やシーン２２０〜２２１の代表画像が縮小サイズで表示される。それらの縮小画像は、ツリー状階層構造で表示されている。
【００１６】編集用ウインドウ２０１はさらに、操作キー領域２４０を有する。操作キー領域２４０は、各種の編集操作を指定する編集ファンクションキーのアイコン２４１，２４２，２４３…を有する。マウス操作してカーソルを編集ファンクションキー領域２４０に移動させ、所望のキーアイコンを指定することで編集を行うことができる。例えば、カット一覧表示のキー２４１を指定すると、ウインドウ２０３が画面に表示される。カット一覧用ウインドウ２０３には、各カットを代表する縮小静止画像２１０〜２１４…が時系列順に表示される。動画像再生のキー２４２を指定し、さらに所定のカット代表画像２１０あるいはシーン代表画像２２０を指定するとそのカットの映像が動画像ウインドウ２０２上で再生される。キー２４３は後で説明するバインド機能のキーである。階層構造のカット画面やシーン画面を入れ替えるためのキーもある。その他多くの編集機能キーが設けられるが、それらの説明は省略する。
【００１７】
【実施例】本発明の実施例について以下、説明する。図２R>２は動画像編集装置の構成例のブロック図である。すなわち、各種制御を処理するＣＰＵ１０１と、動画像、編集に用いるシーン、カットおよび編集状態を表す階層構造（ツリー構造）の情報などを表示するモニタ１０８と、ＣＰＵ１０１の各種制御プログラムなどを記憶するメモリ１０２と、モニタ１０８に表示するための画像を記憶するフレームバッファ１０７と、複数のカットからなる一連の動画像を入力として、カットの変化点を検出するカット変化点検出部１０３とを備える。
【００１８】一連の動画像と、カット変化点検出部１０３で検出した変化点を記述したフレーム番号および縮小表示用画像ファイル名を有する動画像関連情報と、この複数のフレーム画像からなる動画像全体あるいはシーンを、後述する伸張処理をせずに高速に表示して見るためと共に代表画像として表示されるサイズに合わせるために縮小した縮小表示用画像と、複数のシーンあるいはカットのそれぞれが階層の何段目かという段数を表す階層番号、縮小表示用画像ファイル名、複数のフレームからなるカットごとに、先頭のカットからシリアルに付与されているカット番号、階層構造を表示するモニタ１０８に表示するか否かの識別子からなる階層構造管理情報を格納する磁気記憶装置１０６を備える。
【００１９】さらに、ＶＴＲ１０５から映像の信号を入力し、この装置で動画を扱うフォーマットに変換するビデオインタフェース１０４と、入力手段としてのマウスまたはキーボード１０９、およびＶＴＲ１０５からインタフェース１０４を介して入力された画像情報を圧縮して圧縮画像データを生成し、また、圧縮画像データを伸張して画像情報を再生する画像圧縮部１１２とを備える。
【００２０】上記ＣＰＵ１０１、メモリ１０２、カット変化点検出部１０３、ビデオインタフェース１０４、磁気記憶装置１０６、フレームバッファ１０７、画像圧縮部１１２はバス１１０に接続されており、ＣＰＵ１０１からのアクセスにより制御される。磁気記憶装置１０６の代わりに、他の記憶媒体を用いても、あるいはネットワーク（例えば、ＬＡＮやＲＳ−２３２Ｃインタフェースを用いたネットワーク）を介したリモートファイルを用いてもよい。
【００２１】上記の装置により、動画像情報を階層構造で記憶して管理することができ、必要なシーン、カットを容易に探し出すことができ、しかもシーン、カットを単位とした編集を容易にすることができ、さらにカット単位の分割を自動的に行うことができ、ユーザの負担をなくすことが可能である。
【００２２】次に、このような構成における動作を説明する。まず、マウスあるいはキーボード１０９の指示によりＶＴＲ１０５に設定されたビデオテープから読み出され、画像圧縮部１１２において圧縮された動画像情報についての磁気記憶装置１０６への登録動作が指示される。すると、その登録動作と共にＶＴＲ１０５から動画像情報がビデオインタフェース１０４、バス１１０を介してカット変化点検出部１０３に供給される。カット変化点検出部１０３は入力された動画像情報を、例えば符号化した後、その動画像情報の中のカットの変化点の検出が行われる。
【００２３】カット変化点が決定し、カットの区切りが決まると、磁気記録装置１０６には、図４に示すような、カット変化点に応じて区切られた各カットに対応した動画像関連情報ファイルのデータが作成され記憶される。この動画像関連情報ファイルのカット番号スロット３０１には、そのカットのカット番号が保持され、カットの長さスロット３０２には、そのカットに含まれるフレーム数に対応した値が保持され、縮小表示用ファイル名スロット３０３にはそのカットに対応した略固有のカット名称が保持され、フレーム番号スロット３０４には、例えば、そのカットの先頭のフレーム画像のフレーム番号が保持される。この際、複数のフレームからなる動画像全体あるいはシーンを高速にして見るために、高速表示用画像として高速表示および代表画像として表示されるサイズに合わせて縮小した画像として縮小表示用画像が磁気記憶装置１０６に格納される。
【００２４】一般に、符号化圧縮された動画像情報から所定のフレーム画像を取り出すには、複号化し伸張する必要があり、そのためのＣＰＵ１０１の処理時間を要する。しかしながら、本実施例のようにあらかじめ高速表示用に縮小した画像情報であって、符号化されていない動画像情報を格納しておけば、複号化に要する処理時間なしにその画像を読み出すことができる。
【００２５】オペレータは、上記磁気記録装置１０６に登録した動画像の読み出しをマウスあるいはキーボード１０９により指示する。すると、ＣＰＵ１０１は対応する動画像のカットの変化点としての各カットの１フレーム目のみを読み出し、図１に示すようにモニタ１０８において表示される画面２００のカット一覧用ウインドウ２０３を表示する。この表示に対応して、オペレータは、カットの変化点が正しいか否か判定する。オペレータは更に、マウスあるいはキーボード１０９により、カットの区切りを指示したり、カットの区切りを変更したりする。
【００２６】ＣＰＵ１０１は、磁気記録装置１０６に記憶された動画像の変化点により区分けされた各カットごとにカット番号を付与する。また、カットの変化点が正しくないと指示された場合、ＣＰＵ１０１は磁気記憶装置１０６の動画像情報を登録し直す。
【００２７】また、オペレータによりマウスあるいはキーボード１０９で動画像編集等が指示されると、磁気記録装置１０６あるいはメモリ１０２からそれに対応する階層構造管理情報を読み出して画面上で編集を行い、編集終了した階層構造を磁気記憶装置１０６に再登録する。
【００２８】階層構造を使って動画像を編集する過程を、図６，図７，図８を参照して、以下に説明する。図６R>６，図７，図８は図１のウインドウ２０１の画面のみを示す。
【００２９】例えば、磁気記録装置１０６に記憶された動画像情報（カット１、カット２、カット３、…、カットｎ、…、カットｊ、…）のそれぞれに対応する縮小静止動画像８０１、８０２、８０３、８０４、８０５等が、その記憶された順番でもって、図６に示すように素材エリア２０３に並べて表示される。なお、編集開始前の場合は、編集エリア２０１内には縮小静止画像は表示されない。
【００３０】編集が開始されて、例えば、オペレータがマウスあるいはキーボード１０９で素材エリア２０３に表示されているカットｎの縮小静止画像８０４とカットｊの縮小静止画像８０５とを選択し、それらが選択状態である場合に「結合」キー８１０を選択クリックすると、編集開始前までは縮小画像が表示されていなかった編集エリア２０１内に図６に示すように、カットｎとカットｊにそれぞれ対応する縮小静止画像８０４’、８０５’が新たに表示される。さらに、カットｎとカットｊにより構成されるシーン（シーンｋ）に対応する縮小静止画像８０６が表示されると共に、それら三つの縮小静止画像８０４’、８０５’、８０６の関連状態を表すようにした結線が表示されて、それらツリー構造を表す図形が簡便な操作性でもって迅速に表示されることができる。
【００３１】このとき、上記の新たに表示されたツリー構造表示に対応した、図５に示すような、画像管理情報ファイル、シーン管理情報ファイル、およびカット画像情報ファイルからなる階層構造管理情報ファイルが生成される。この場合、シーン管理情報ファイルのスロットのうち、階層番号スロット３２１にはシーンｋが位置する階層の番号、例えば「１」が保持され、シーン番号スロット３２２にはシーンｋに対応するシーン番号、例えば「ｋ」が保持され、親となる動画番号１スロット３２３にはシーンｋの上位階層に位置する親となる動画が登録されていれば、その動画に対応する動画番号が保持され、子となるカット番号１スロット３２４にはシーンｋの下位階層に位置する子となるカットの一つである、例えばカットｎに対応するカット番号「ｎ」が保持される。同様に、子となるカット番号２スロット３２５には、シーンｋの下位階層に位置する子となるカット、例えばカットｊに対応するカット番号「ｊ」が保持される。
【００３２】この場合、シーンｋの下位階層に位置するカットの数は２であるので、子となるカット番号３スロット３２６にはデータが保持されず空である。さらに、アイコン表示座標スロット３２７には、編集エリア２０１に応じた表示位置であって、シーンｋに対応する縮小静止画像８０６の表示位置を定めるための座標情報が保持され、表示識別子スロット３２８には、縮小静止画像８０６を編集エリア２０１に表示するか否かを識別するための情報、例えば「表示する」の情報が保持される。
【００３３】さらに、階層構造管理情報ファイルのうちのカット画像情報ファイルとしては、カットｎおよびカットｊに対応するカット画像情報ファイルが生成される。そのうち、カットｎに対応するカット画像情報ファイルのスロットのうち、階層番号スロット３３１にはカットｎが位置する階層の番号、例えば「２」が保持され、カット番号スロット３０１’にはカットｎに対応するカット番号、例えば「ｎ」が保持され、カットの長さスロット３０２’にはカットｎのフレーム数に相当する値が保持される。さらに、縮小表示用ファイル名スロット３０３’にはカットｎの内容に応じた略固有のファイル名称が保持され、フレーム番号スロット３０４’にはカットｎの、例えば先頭のフレーム画像のフレーム番号が保持される。さらに、アイコン表示座標スロット３３２には、編集エリア２０１に応じたカットｎに対応する縮小静止画像８０４’の表示位置を定めるための座標情報が保持され、表示識別子スロット３３３には、縮小静止画像８０４’を編集エリア２０１に表示するか否かを識別するための情報が、例えば「表示する」の情報が保持される。
【００３４】なお、上記とは別のカットｊに対応するカット画像情報ファイルのスロットのいくつかにも上記と同様に所定の情報が保持されるが、ここでは説明を省略する。
【００３５】さらに、編集エリア２０１に表示された複数のシーンから構成される動画、例えば動画１が、それら各シーンの上位階層として作成され、その動画１に対応する縮小静止画像が各シーンに対応する縮小静止画像と結線で結ばれて表示される。そのツリー構造の様子を図７に示す。この階層構造表示に応じて、上述した図５に示すような、階層構造管理情報ファイルが生成される。この階層構造管理情報ファイルの画像管理情報ファイルにおけるスロットの内、階層番号スロット３１１には動画１が位置する階層の番号、例えば「１」が保持される。
【００３６】このとき、動画１の下位階層のシーン１、シーン２、シーン３のそれぞれに応じたシーン管理情報ファイルの階層番号スロットには、上記動画１の直下の下位階層であることを示す階層番号である値に変更されて保持され、例えば「２」が保持される。また、シーン１、シーン２、シーン３のそれぞれに応じた親となる動画番号１スロットには、上記動画１の動画番号が保持され、例えば「１」が保持される。このとき更に、シーン１、シーン２、シーン３のそれぞれの下位階層のカット１、カット２、カット３、カット４、カット５のそれぞれに応じたカット管理情報ファイルの階層番号スロットには、上記シーン１、シーン２、シーン３それぞれの直下の下位階層であることを示す階層番号である値に変更されて保持され、例えば「３」が保持される。
【００３７】さらに、画像管理情報ファイルにおけるスロットの内、動画番号スロット３１２には動画１に対応した動画番号、例えば「１」が保持される。さらに、子となるシーン番号１スロット３１３には動画１の下位階層に位置する子となるシーンの一つである、例えばシーン１に対応するシーン番号「１」が保持される。同様に、子となるシーン番号２スロット３１４には動画１の下位階層に位置する子となるシーン、例えばシーン２に対応するシーン番号「２」が保持され、子となるシーン番号３スロット３１５には動画１の下位階層に位置する子となるシーン、例えばシーン３に対応するシーン番号「３」が保持される。さらに、アイコン表示座標スロット３１６には、編集エリア２０１に応じた動画１に対応する縮小動画像６０１の表示位置を定めるための座標情報が保持され、表示識別子スロット３１７には、縮小静止画像６０１を編集エリア２０１に表示するか否かを識別するための情報、例えば「表示する」の情報が保持される。 以上説明したように、編集エリア２０１には図７R>７に示すように各階層の動画、シーン、カットに対応する複数の縮小静止画像が表示される。しかしながら、編集エリア２０１の表示可能なサイズが制約されることから、選択されたシーンの下位階層のカットのみを表示することが考えられ、本発明では以下の説明にあるように動作することによってその選択表示切換を実現している。
【００３８】すなわち、オペレータは、編集エリアに表示される各シーンに対応する縮小静止画像のうちの一つを、マウスあるいはキーボード１０９で選択する。そしてそれが選択状態である場合に「表示」キー８１１を選択クリックすると、編集エリア２０１内に表示されていた縮小静止画像のうち、上記縮小静止画像が選択されたシーンの下位階層に位置するカットに対応する縮小静止画像はそのまま表示され、上記縮小静止画像が選択されたシーン以外のシーンの下位階層に位置するカットに対応する縮小静止画像が表示されなくなる。
【００３９】上記縮小静止画像を表示するあるいは表示しないの設定の切換は、上記で説明した階層構造管理情報ファイルにおける、表示しないとするカットに対応する各カット画像情報ファイルの表示識別子スロット３３３の保持情報を、「表示する」から「表示しない」の値に書き換えることによって行われる。
【００４０】具体的な事例として、図７におけるシーン１以下のカットを表示し、シーン１以外のシーン、例えば、シーン２、シーン３以下のカットを表示させないとした場合の動作について説明する。
【００４１】オペレータが、図７の編集エリア２０１に表示されるシーン１に対応する縮小静止画像６０１を、マウスあるいはキーボード１０９で選択する。そしてそれが選択状態である場合に「表示」キー８１１を選択クリックすると、図８に示すように、編集エリア２０１に表示される縮小静止画像は、図７で表示されていた、動画１、シーン１、シーン２、シーン３に対応する縮小静止画像が表示されたままであり、同様に、シーン１の下位階層に位置するカット１、カット２、カット３に対応する縮小静止画像が表示されたままとなる。図７で表示されていたその他の、カット４、カット５、カット６に対応する縮小静止画像が図８では表示されない。
【００４２】この場合、階層構造管理情報ファイルを用いて、選択されたシーン以外のシーン、すなわちシーン１以外のシーンのシーン管理情報ファイルが順に参照される。例えば、シーン２のシーン管理情報ファイルの内の、子となるカット番号１スロット３２４、および子となるカット番号２スロット３２５に保持された情報、すなわちカット４とカット５のカット番号がそれぞれ読み出される。そして、それぞれのスロットに保持され読み出されたカット番号を基にして、シーン２の下位階層のカットのカット画像情報ファイルが参照され、カット４に対応するカット画像情報ファイルおよびカット５に対応するカット画像情報ファイルのそれぞれの表示識別子スロットの値が、「表示しない」に設定される。同様に、シーン３のシーン管理情報ファイルについても上記と同様な処理が行われる。
【００４３】上記説明では、ツリー階層構造は３層構造として説明されているが、３層よりも層数が多い場合でも、同様な動作で下位階層の表示識別子スロットの値を設定すれば、所望のレベルの複数の縮小静止画像の内、選択された縮小静止画像以下の縮小静止画像だけを表示するようにすることが可能である。
【００４４】さらに、表示される縮小静止画像については、その表示位置を変更することが可能である。その変更の手順を、以下説明する。この縮小静止画像の表示位置の変更は、上記で説明した階層構造管理情報ファイルにおける、表示位置を変更するとするシーンまたはカットに対応する各シーン管理情報ファイルあるいはカット画像情報ファイルのアイコン表示座標スロットの保持情報を、所定の座標情報の値に書き換えることによって行われる。
【００４５】具体的な事例として、上記と同様に、図７におけるシーン１以下のカットに応じた縮小静止画像を表示し、シーン１以外のシーン、例えば、シーン２、シーン３以下のカットに応じた縮小静止画像を表示させないとした場合の動作について説明する。
【００４６】オペレータが、図７の編集エリア２０１に表示されるシーン１に対応する縮小静止画像６０１を、マウスあるいはキーボード１０９で選択する。そしてそれが選択状態である場合に「表示」キー８１１を選択クリックすると、図８に示すように、編集エリア２０１に表示される縮小静止画像は、図７で表示されていた、動画１、シーン１、シーン２、シーン３に対応する縮小静止画像が表示されたままであり、かつ、表示位置が変更され、例えば、シーン１、シーン２、シーン３に対応する縮小静止画像間の表示間隔がより短くされる。また、シーン１の下位階層に位置するカット１、カット２、カット３……カットｉに対応する縮小静止画像が表示され、必要に応じて表示位置が変更される。
【００４７】この場合、階層構造管理情報ファイルを用いて、対応する縮小静止画像の表示位置が変更されるシーンのシーン管理情報ファイル及び、対応する縮小静止画像の表示位置が変更されるカットのカット画像情報ファイルが参照される。そして、例えば、シーン２のシーン管理情報ファイルの内の、アイコン表示座標スロットの値が、シーン１とシーン２にそれぞれ対応する縮小静止画像間の表示位置がより短くなる値に設定される。同様に、他のシーンまたはカットに係わるアイコン表示座標スロットの値についても上記と同様な処理が行われる。 オペレータにより指定される一部の階層構造のみを表示するときの、処理フローチャートを図９と図１０に示す。ステップ７０１で、シーンに対応する縮小静止画像を選択する。ステップ７０２で、アイコン２４０内の「表示」キー８１１をクリックする。ステップ７０３では、選択された縮小静止画像に対応するシーン（選択されたシーン）の上位階層の動画に応じた画像管理情報ファイル（図５の（Ａ））にアクセスする。ステップ７０４で、ファイル中の、選択されたシーン以外に対応した「子となるシーン番号」を参照する。ステップ７０５で、画像管理情報ファイルの「子となるシーン番号」のスロットが空かどうか判定する。スロットが空であればステップ７０６で処理を終了する。スロットが空でなければ、ステップ７０７で、「子となるシーン番号」のデータ内容に応じたシーンのシーン管理情報ファイル（図５R>５の（Ｂ））にアクセスする。ステップ７０８で、シーン管理情報ファイルの最初の「子となるカット番号」のスロットを選択する。ステップ７０９で、「子となるカット番号」のスロットのデータ内容に応じたカットのカット画像情報ファイル（図５の（Ｃ））にアクセスする。ステップ７１０で、表示識別子のスロットのデータ内容を「表示しない」にする。ステップ７１１で、シーン管理情報ファイル（図５の（Ｂ））の、２番目の「子となるカット番号」のスロットは空かどうか判定する。空でなければ、ステップ７０９に戻る。空であれば、ステップ７１２で、画像管理情報ファイル（図５の（Ａ））の２番目の「子となるシーン番号」のスロットは空かどうか判定する。空であれば処理を終了し、空でなければステップ７０７に戻る。
【００４８】なお、上記説明中で各動画、シーン、カットにそれぞれ対応した縮小静止画像の表示の代わりに、各動画、シーン、カットに対応した縮小動画像の表示を任意に切り換えて行うことも可能である。
【００４９】
【発明の効果】以上説明したように、本発明によれば、動画像（動画）を構成するシーン、カットが階層構造に応じて表示する場合に、階層構造全体の代表画像すべてをスクロール表示することなく、所定の階層以下のシーン、カットについては、選択されたその階層のシーン以下に属するシーンあるいはカットのみを表示するようにしたことで、編集された映像内容の把握を迅速に行うことができる。
【図面の簡単な説明】
【図１】本発明の動画像編集装置による画面表示の一例を示した図
【図２】動画像編集装置のブロック構成例を示した図
【図３】従来の動画像編集装置の画面表示の一例を示した図
【図４】動画像情報ファイルの構成例を示した図
【図５】動画像情報の階層構造を管理する階層構造管理情報ファイルの構成例を示した図
【図６】、
【図７】、
【図８】、
【図９】、
【図１０】代表画像の組合せによる動画像情報の階層構造表示の例を説明する図
【図１１】記録された動画像情報のデータ構造の一例を説明するための模式図
【図１２】動画像情報のツリー状の階層構造の一例を示す図
【符号の説明】
１０１ ＣＰＵ
１０２ メモリ
１０３ シーン変化点検出部
１０４ ビデオインタフェース
１０５ ＶＴＲ
１０６ 磁気記憶装置
１０７ フレームバッファ
１０８ モニタ
１０９ マウスあるいはキーボード
１１０ バス
２００ 画面
２０１ 編集用ウインドウ（編集エリア）
２０２ 動画像ウインドウ
２０３ カット一覧用ウインドウ（素材エリア）
【特許請求の範囲】
【請求項１】 画面に表示された動画像情報を見ながらコンピュータ支援により画像を編集する方法において、動画像を構成する映像シーンあるいは映像カットをそれぞれ代表する静止画像を指定するステップと、前記静止画像に代表される複数の映像シーンあるいは映像カット間の階層構造を決定するステップと、前記決定された階層構造の内、所定の階層構造部分に係わる静止画像を選択するステップと、選択された静止画像に代表される映像シーンあるいは映像カットが含まれる階層部分を、該階層構造が表わされるような配列でもって画面に表示するステップとを有することを特徴とする動画像編集方法。
【請求項２】 請求項１に記載の動画像編集方法において、前記階層構造を決定するステップは、画面に表示する静止画像を特定する表示識別情報と、動画像情報を構成する映像カット（カット）及び映像シーン（シーン）間の階層関係を指定する情報を含む階層構造管理情報ファイルを作成し記憶するステップを有し、前記表示ステップでは、該表示識別情報を含む前記階層構造管理情報ファイルの情報に基づき、指定された前記静止画像を階層構造として画面に表示する。
【請求項３】 請求項２に記載の動画像編集方法において、さらに、前記階層構造を表す画面の静止画像を指定することにより前記階層構造管理情報ファイルに記憶された階層関係を変更し、変更された階層構造を画面に表示するステップを有する。
【請求項４】 請求項３に記載の動画像編集方法において、さらに、隣接するフレーム画像同士を比較するステップと、前記比較された隣接するフレーム画像間で情報が所定量を越えて変化した場合に該隣接するフレーム画像を異なるカットであると認定するステップと、各前記カットを構成するフレーム画像を縮小画像に変換し、該変換された縮小画像と該縮小画像に関連するカットを識別するための情報とを縮小画像ファイルとして記録するステップと、複数の任意のカットをシーンとしてまとめて、それぞれのシーンを識別する情報を生成するステップと、記録された縮小画像ファイルを識別する情報を生成するステップとを有し、前記記憶される階層構造管理情報ファイルは、前記カットを識別する情報と前記シーンを識別する情報と前記縮小画像のファイルを識別する情報とを含む。
【請求項５】 請求項３に記載の動画像編集方法において、変更された階層構造に基づき、該階層構造で表される静止画像の画面の座標位置を変更して所定の画面内に表示できるようにするステップをさらに含む。
【請求項６】 請求項１に記載の動画像編集方法において、前記選択された静止画像に代表される映像シーンあるいは映像カットが含まれる階層部分が表示されるステップでは、それぞれのカットまたはシーンを構成するフレーム画像列の内の一つのフレーム画像および、前記カットまたはシーンの内容を表す文字情報のうち少なくとも一つをそれぞれツリー構造の配列で表示する。
【請求項７】 コンピュータで読まれて実行されるプログラムコードを記録する記録媒体において、動画像を構成する映像シーンあるいは映像カットを代表する静止画像の指定に応じて、前記静止画像に代表される映像シーンあるいは映像カット間の階層構造を決定する手順を有する第１のコードセクションと、前記階層構造の内、所定の階層構造部分に係わる静止画像が選択されることに応じて、選択された静止画像に代表される映像シーンあるいは映像カットを含む階層部分を、該階層構造が表されるような配列でもって画面に表示する手順を有する第２のコードセクションとを含むプログラムコードを記録することを特徴とする動画像編集手順を記録する記録媒体。
【請求項８】 請求項７に記載の、動画像編集手順を有するプログラムコードを記録する記録媒体において、前記第１のコードセクションはさらに、画面に表示する静止画像を特定する表示識別情報と、動画像情報を構成する映像カット及び映像シーン間の階層関係を指定する情報を含む階層構造管理情報ファイルを格納するデータエリアを有し、前記第２のコードセクションは、前記データエリアから前記階層構造管理情報ファイルの情報を読みだして指定された前記静止画像を階層構造として画面に表示するための手順を有するプログラムコードを含む。
【請求項９】 表示装置を有し、該表示装置の画面に表示された動画像情報を見ながらコンピュータ支援により画像を編集する動画像編集装置において、動画像情報を記録する記録装置と、前記動画像を構成するカットをそれぞれ構成するフレーム画像から得られた縮小画像と、該縮小画像が各カットを代表する画像とされるための情報とを記録する記録装置と、複数の所定のカットをシーンとしてまとめ、該まとめられたシーンをそれぞれ識別する情報を生成し、複数の所定のシーンを動画像としてまとめ、該まとめられた動画像をそれぞれ識別する情報を生成し、前記動画像を構成するシーンあるいはカットを代表する縮小画像の選択に応じて、前記縮小画像に代表されるシーンおよびカット間の階層構造を決める制御手段と、前記階層構造の内、任意の階層構造部分に係わる縮小画像を指定する手段と、指定された縮小画像を含む階層部分を、該階層構造が表わされるような配列で表意する表示装置とを有することを特徴とする動画像編集装置。
【請求項１０】 請求項９に記載の動画像編集装置において、さらに、前記動画像情報のうちの隣接するフレーム画像同士を比較し隣接するフレーム画像間で情報が所定量を越えて変化した場合に該隣接するフレーム画像を異なるカットに属するフレーム画像同士であると認定する変化点検出手段を有することを特徴とする動画像編集装置。
【請求項１】 画面に表示された動画像情報を見ながらコンピュータ支援により画像を編集する方法において、動画像を構成する映像シーンあるいは映像カットをそれぞれ代表する静止画像を指定するステップと、前記静止画像に代表される複数の映像シーンあるいは映像カット間の階層構造を決定するステップと、前記決定された階層構造の内、所定の階層構造部分に係わる静止画像を選択するステップと、選択された静止画像に代表される映像シーンあるいは映像カットが含まれる階層部分を、該階層構造が表わされるような配列でもって画面に表示するステップとを有することを特徴とする動画像編集方法。
【請求項２】 請求項１に記載の動画像編集方法において、前記階層構造を決定するステップは、画面に表示する静止画像を特定する表示識別情報と、動画像情報を構成する映像カット（カット）及び映像シーン（シーン）間の階層関係を指定する情報を含む階層構造管理情報ファイルを作成し記憶するステップを有し、前記表示ステップでは、該表示識別情報を含む前記階層構造管理情報ファイルの情報に基づき、指定された前記静止画像を階層構造として画面に表示する。
【請求項３】 請求項２に記載の動画像編集方法において、さらに、前記階層構造を表す画面の静止画像を指定することにより前記階層構造管理情報ファイルに記憶された階層関係を変更し、変更された階層構造を画面に表示するステップを有する。
【請求項４】 請求項３に記載の動画像編集方法において、さらに、隣接するフレーム画像同士を比較するステップと、前記比較された隣接するフレーム画像間で情報が所定量を越えて変化した場合に該隣接するフレーム画像を異なるカットであると認定するステップと、各前記カットを構成するフレーム画像を縮小画像に変換し、該変換された縮小画像と該縮小画像に関連するカットを識別するための情報とを縮小画像ファイルとして記録するステップと、複数の任意のカットをシーンとしてまとめて、それぞれのシーンを識別する情報を生成するステップと、記録された縮小画像ファイルを識別する情報を生成するステップとを有し、前記記憶される階層構造管理情報ファイルは、前記カットを識別する情報と前記シーンを識別する情報と前記縮小画像のファイルを識別する情報とを含む。
【請求項５】 請求項３に記載の動画像編集方法において、変更された階層構造に基づき、該階層構造で表される静止画像の画面の座標位置を変更して所定の画面内に表示できるようにするステップをさらに含む。
【請求項６】 請求項１に記載の動画像編集方法において、前記選択された静止画像に代表される映像シーンあるいは映像カットが含まれる階層部分が表示されるステップでは、それぞれのカットまたはシーンを構成するフレーム画像列の内の一つのフレーム画像および、前記カットまたはシーンの内容を表す文字情報のうち少なくとも一つをそれぞれツリー構造の配列で表示する。
【請求項７】 コンピュータで読まれて実行されるプログラムコードを記録する記録媒体において、動画像を構成する映像シーンあるいは映像カットを代表する静止画像の指定に応じて、前記静止画像に代表される映像シーンあるいは映像カット間の階層構造を決定する手順を有する第１のコードセクションと、前記階層構造の内、所定の階層構造部分に係わる静止画像が選択されることに応じて、選択された静止画像に代表される映像シーンあるいは映像カットを含む階層部分を、該階層構造が表されるような配列でもって画面に表示する手順を有する第２のコードセクションとを含むプログラムコードを記録することを特徴とする動画像編集手順を記録する記録媒体。
【請求項８】 請求項７に記載の、動画像編集手順を有するプログラムコードを記録する記録媒体において、前記第１のコードセクションはさらに、画面に表示する静止画像を特定する表示識別情報と、動画像情報を構成する映像カット及び映像シーン間の階層関係を指定する情報を含む階層構造管理情報ファイルを格納するデータエリアを有し、前記第２のコードセクションは、前記データエリアから前記階層構造管理情報ファイルの情報を読みだして指定された前記静止画像を階層構造として画面に表示するための手順を有するプログラムコードを含む。
【請求項９】 表示装置を有し、該表示装置の画面に表示された動画像情報を見ながらコンピュータ支援により画像を編集する動画像編集装置において、動画像情報を記録する記録装置と、前記動画像を構成するカットをそれぞれ構成するフレーム画像から得られた縮小画像と、該縮小画像が各カットを代表する画像とされるための情報とを記録する記録装置と、複数の所定のカットをシーンとしてまとめ、該まとめられたシーンをそれぞれ識別する情報を生成し、複数の所定のシーンを動画像としてまとめ、該まとめられた動画像をそれぞれ識別する情報を生成し、前記動画像を構成するシーンあるいはカットを代表する縮小画像の選択に応じて、前記縮小画像に代表されるシーンおよびカット間の階層構造を決める制御手段と、前記階層構造の内、任意の階層構造部分に係わる縮小画像を指定する手段と、指定された縮小画像を含む階層部分を、該階層構造が表わされるような配列で表意する表示装置とを有することを特徴とする動画像編集装置。
【請求項１０】 請求項９に記載の動画像編集装置において、さらに、前記動画像情報のうちの隣接するフレーム画像同士を比較し隣接するフレーム画像間で情報が所定量を越えて変化した場合に該隣接するフレーム画像を異なるカットに属するフレーム画像同士であると認定する変化点検出手段を有することを特徴とする動画像編集装置。
【図１１】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【公開番号】特開平１０−５１７３３
【公開日】平成１０年（１９９８）２月２０日
【国際特許分類】
【出願番号】特願平９−９６１３１
【出願日】平成９年（１９９７）４月１４日
【出願人】（０００００５４２９）日立電子株式会社 (11)
【公開日】平成１０年（１９９８）２月２０日
【国際特許分類】
【出願日】平成９年（１９９７）４月１４日
【出願人】（０００００５４２９）日立電子株式会社 (11)
[ Back to top ]