音声再生装置及び編集装置及び映像編集システム
【課題】自動的にスケジュール情報と実際に撮影された映像データとの関連付けを行い、重要シーンの自動抽出（自動切り出し）を行うことができる映像編集システムを提供する。
【解決手段】映像データを記録媒体に記録する撮像記録部３と、複数の信号が入力可能であり、入力された信号を操作者の選択により切り替えて出力する信号選択部１４と、信号選択部１４が信号を切り替えた選択時刻および切替状態情報を記録する選択情報記録部５と、信号選択部１４の切り替え予定を示す予定選択情報および、信号選択部が切り替える予定選択時刻を有する予定スケジュール情報を管理するスケジュール管理部２１と、選択時刻と予定選択時刻とを比較して時刻差分を検出するスケジュール時刻差分検出部２２と、予定スケジュール情報の予定選択情報および時刻差分に基づいて、映像データを予定スケジュール情報と関連付け、関連付けられた予定スケジュール情報に基づいて映像データの編集を行う映像編集部２３とを備える。
【解決手段】映像データを記録媒体に記録する撮像記録部３と、複数の信号が入力可能であり、入力された信号を操作者の選択により切り替えて出力する信号選択部１４と、信号選択部１４が信号を切り替えた選択時刻および切替状態情報を記録する選択情報記録部５と、信号選択部１４の切り替え予定を示す予定選択情報および、信号選択部が切り替える予定選択時刻を有する予定スケジュール情報を管理するスケジュール管理部２１と、選択時刻と予定選択時刻とを比較して時刻差分を検出するスケジュール時刻差分検出部２２と、予定スケジュール情報の予定選択情報および時刻差分に基づいて、映像データを予定スケジュール情報と関連付け、関連付けられた予定スケジュール情報に基づいて映像データの編集を行う映像編集部２３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影本番前にスケジュール情報を作成し、そのスケジュール情報に基づいて撮影した映像に対して重要シーンの自動抽出を行う音声再生装置及び編集装置及び映像編集システムに関する。
【背景技術】
【０００２】
近年、光ディスクや、半導体メモリなどのランダムアクセス可能な記録媒体に、映像データや音声データをファイル化して記録する装置が一般的になり、例えば、放送局や映像制作会社などにおいても、このような記録媒体を備えた編集装置を利用して映像編集作業などが行われている。また、磁気テープ媒体に記録する撮影機材を用いる場合でも、磁気テープ媒体上の映像データや音声データをファイル化した後に、上記と同様に編集装置を利用して編集作業を行うことが多い。
【０００３】
ところで、撮影対象である講演会や結婚式や演劇等の行事は、あらかじめ決められたスケジュールに従って進行する。従来から、撮影者は、講演会や結婚式等の行事の様子を撮影・編集する場合に、行事の進行に沿って重要部分及びその近辺の撮影を行い、編集時に撮影した素材データから特に重要な区間（重要シーン）を切り出す作業を行っている。
【０００４】
このような撮影対象の特性を活かして、撮影前に撮影方法やタイトルを含むシナリオデータを入力し、そのシナリオデータに従って撮影ガイダンスを行う技術（例えば、特許文献１）が開示されている。
【０００５】
また、パーソナルコンピュータでプレゼンテーションを行う場合、プレゼンテーション資料の表示を切り替える際に、切り替え操作情報を送信して、プレゼンテーション資料の分割を自動で行う技術（例えば、特許文献２）が開示されている。
【特許文献１】特開２００６−１７４３１８号公報
【特許文献２】特開２００４−２３６２３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された従来の構成では、ユーザが撮影前にシナリオデータを入力し、撮影開始時にこれから撮影するシーンを撮影前に入力したシナリオデータから選択しなければならず、撮影時に手間となる。
【０００７】
また、特許文献２に開示された従来の構成では、表示の切り替え時点（表示切替イベント）での分割は可能であるが、表示切替イベントから離れた区間が重要シーンである場合に、重要シーンのみを自動編集するための関連付けが困難である。例えば、プレゼンテーション資料の１ページ目から２ページ目に表示を切り替えることを表示切替イベントとしたときに、重要シーンが表示切替イベント発生時より１０秒前に発生する場合や、表示切替イベント発生時にカメラレコーダによる撮影（メディアへの記録）を行っていない場合には、表示切替イベントと重要シーンを関連付けることが困難である。
【０００８】
上記課題に鑑みて、本発明は、自動的にスケジュール情報と実際に撮影された映像データとの関連付けを行い、重要シーンの自動抽出（自動切り出し）を行うことができる映像編集システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の映像編集システムは、上記課題を解決するために、映像データを記録媒体に記録する撮像記録部と、複数の信号が入力可能であり、前記入力された信号を操作者の選択により切り替えて出力する信号選択部と、前記信号選択部が前記信号を切り替えた選択時刻および切替状態情報を記録する選択情報記録部と、前記信号選択部の切り替え予定を示す予定選択情報および、前記信号選択部が切り替える予定選択時刻を有する予定スケジュール情報を管理するスケジュール管理部と、前記選択時刻と前記予定選択時刻とを比較して時刻差分を検出するスケジュール時刻差分検出部と、前記予定スケジュール情報の予定選択情報および前記時刻差分に基づいて、前記映像データを前記予定スケジュール情報と関連付け、前記関連付けられた予定スケジュール情報に基づいて前記映像データの編集を行う映像編集部とを備えたことを特徴とする。
【００１０】
また、本発明の音声再生装置は、上記課題を解決するために、記録媒体の情報を読み取って音声信号を再生する音声信号再生部と、音声を音声信号に変換する音声入力部と、前記音声信号再生部からの前記音声信号と、前記音声入力部からの前記音声信号とを操作者の選択により切り替えて音声信号を出力する信号選択部と、前記信号選択部から出力された前記音声信号を音声に変換する音声出力部と、前記信号選択部が前記音声信号を切り替えた選択時刻および切替状態情報を記録媒体に記録する選択情報記録部とを備えたことを特徴とする。ここで、音声信号は、音声出力部において、声、音、楽曲として出力される信号である。
【００１１】
また、本発明の音声スイッチャ装置は、上記課題を解決するために、複数の音声信号出力部からの音声信号を操作者の選択により切り替えて１つの音声信号を出力する音声信号選択部と、前記信号選択部が前記信号を切り替えた選択時刻および切替状態情報を記録する選択情報記録部とを備えたことを特徴とする。
【００１２】
また、本発明の映像編集装置は、上記課題を解決するために、複数の信号を切り替えて１つの信号を出力する信号選択部の切り替え予定を示す予定選択情報および、前記信号選択部が切り替える予定選択時刻を有する管理するスケジュール管理部と、操作者の選択により、信号選択部の信号を切り替えた選択時刻および切替状態情報を読み出し、前記予定スケジュール情報と前記選択時刻および切替状態情報とを関連付け、前記選択時刻と前記予定選択時刻との時刻差分を検出するスケジュール差分検出部と、前記予定スケジュール情報および前記時刻差分に基づいて、前記映像データを前記予定スケジュール情報と関連付け、前記関連付けられた予定スケジュール情報に基づいて前記映像データの編集を行う映像編集部とを備えたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、進行情報と予定スケジュールを比較することにより、自動的にスケジュール情報と撮影映像データとの関連付けを行い、重要シーンの自動抽出（自動切り出し）を行うことができる映像編集システムを提供することができる。
【発明を実施するための最良の形態】
【００１４】
本発明の映像編集システム、映像編集装置は、上記構成を基本として種々の態様をとることができる。すなわち、上記映像編集システムにおいて、前記信号は、音声信号である構成にすることができる。
【００１５】
また、前記音声信号を前記信号選択部に入力する複数の音声信号出力部と、前記信号選択部から出力された音声信号を音声に変換する音声出力部とを備え、前記音声信号出力部の１つは、音声記録媒体の情報を読み取って音声信号を再生する音声信号再生部であり、前記予定スケジュール情報は、各スケジュールで再生する音声情報を有し、前記再生されている音声と、前記音声情報とが一致することにより前記映像データと前記予定スケジュール情報とを関連付ける構成にすることができる。
【００１６】
また、前記予定スケジュール情報は、重要シーン情報のシーン開始時刻と区間長情報とを有し、前記映像データから前記重要シーンを抽出する重要シーン抽出部を備える構成にすることができる。
【００１７】
また、上記映像編集装置において、前記予定スケジュール情報に重要シーン情報のシーン開始時刻と区間長情報を有し、前記映像データから前記重要シーンに対応するシーンを抽出する重要シーン抽出部を有する構成にすることができる。
【００１８】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１９】
本発明の実施の形態における映像編集システムは、映像制作事業者などを対象とした業務用途を目的とするシステムであり、講演会、結婚式会場、音楽コンサートや演芸会場での行事の撮影、映像編集などに利用されている。例えば、講演会、結婚式会場において、映像記録装置で取得した映像データは、映像記録装置に対して着脱可能な記録媒体に記録され、さらに、編集室内において、他の映像データとともに、この記録媒体に記録された映像データを用いて編集作業が行われる。
【００２０】
講演会、結婚式において、重要な区間（重要シーン）が始まる前には、司会者がマイクで開始のアナウンスを行ったり、会場に新たな楽曲が流れる等の音声の選択（切り替え）イベントが発生したりするのが一般的である。重要シーンとは、例えば、編集時に必要となるシーン（映像の区間）であり、編集後の完成映像として採用される可能性が高いシーンを意味する。
【００２１】
本実施の形態に係る映像編集システムは、重要シーンを撮影・編集するために、音声の選択（切り替え）イベント発生時刻（前後を含む）に基づいて、重要シーンの判別を行う。
【００２２】
（映像編集システムの構成）
図１は、本実施の形態に係る映像編集システムの構成を示すブロック図である。本実施の形態に係る映像編集システムは、音声再生選択装置１と、編集装置２と、映像記録装置３と、映像記録媒体４と、進行情報記録媒体５とを有する。
【００２３】
音声再生選択装置１は、音声用記録媒体１１に記録された音楽や楽曲等を音声出力部１５で音声として再生可能な楽曲信号を再生する音声信号再生部１３と、マイク部１２と、音声スイッチャ１４と、音声出力部１５とを有する。なお、音声信号再生部１３により楽曲信号を再生することを、以後ＣＤ再生と呼ぶ。音声用記録媒体１１は、例えば、音楽用Ｃｏｍｐａｃｔ Ｄｉｓｃ（以下、ＣＤと呼ぶ）等の記録媒体である。また、マイク部１２は、例えば、司会者の声を記録、あるいは、拡声するために用いられ、音声出力部１５において音声として出力可能なマイク音声信号を生成する。音声スイッチャ１４は、音声選択部１６と進行情報記録部１７とを有する。音声選択部１６は、音声信号再生部１３から出力される楽曲信号と、マイク部１２から出力されるマイク音声信号を選択あるいは多重化した音声出力信号を出力する。
【００２４】
進行情報記録部１７には、イベント発生時に、音声選択部１６によりイベント情報およびイベント時刻情報とを含む進行情報が記録される。イベントとは、音声選択部１６が出力する音声出力信号を楽曲信号からマイク音声信号に切り替える（マイクの音源をＯＮにする）こと、音声出力信号をマイク音声信号からマイク音声信号と楽曲信号とを多重化した信号とすることなどの音声選択部１６が切り替わる動作のことである。また、イベントには、音声信号再生部１３が再生する音声用記録媒体１１に記録された音声信号（楽曲）を変更することも含まれる。イベント情報とは、音声選択部１６が出力する音声出力信号を楽曲信号からマイク音声信号に切り替わったことなどのイベントの内容を示す情報である。また、イベント時刻情報とは、イベント発生時の時刻を示す情報である。
【００２５】
また、イベント時刻の検出は、Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ（ＲＴＣ）機能を有する集積回路を進行情報記録部１７あるいは音声スイッチャ１４に搭載すれば実現できる。本実施の形態では、ＲＴＣ機能を有する集積回路を音声スイッチャ１４に搭載した場合を例に説明する。
【００２６】
音声スイッチャ１４は、進行情報を進行情報記録媒体５に記録する。音声出力部１５は、スピーカ等で構成され、音声スイッチャ１４から出力される音声出力信号を音声として出力する。
【００２７】
進行情報記録媒体５は、音声再生選択装置１および編集装置２に着脱可能に形成されている。進行情報記録媒体５は、音声スイッチャ１４により、進行情報が記録され、スケジュール時刻差分検出部２２により、進行情報が取り出される。
【００２８】
映像記録装置３は、カメラレコーダであり、被写体を撮像するカメラ部と、カメラ部により撮像された映像を映像データとして映像記録媒体に記録する記録部とを有する。業務用途向けに発売されているカメラレコーダであれば、カメラ部と記録部とその他必要な機能（機能の具体的説明は後述する）は、搭載されている場合が多い。映像記録媒体４は、映像記録装置３により撮影された映像データを記録し、映像記録装置３に対して着脱可能な記録媒体である。
【００２９】
なお、映像記録媒体４と進行情報記録媒体５は、映像データおよび進行情報以外の情報が保存される記録媒体と同じ記録媒体であってもよい。本実施の形態では、進行情報記録媒体５と映像記録媒体４は、ＳＤカードの形状である構成を例に説明し、映像記録媒体４と進行情報記録媒体５は、ＳＤ Ｉ／Ｆ規格に基づき接続される。なお、記録媒体は、ＳＤカード形状でなくてもよい。
【００３０】
編集装置２は、スケジュール管理部２１と、スケジュール時刻差分検出部２２と、映像編集部２３と、重要シーン切り出し部２４とを有する。本実施の形態においては、編集装置２は、一般的なノンリニア編集プログラムに、スケジュール管理部２１とスケジュール時刻差分検出部２２と重要シーン切り出し部２４とを追加したプログラムをコンピュータ上で動作させることで実現できる。
【００３１】
スケジュール管理部２１は、講演会や結婚式等の行事の開始前にあらかじめ決められた予定イベント情報および予定イベント時刻情報とを含むスケジュール情報を管理する。スケジュール情報は、予定イベント情報および予定イベント時刻情報をリスト形式で構成されている。予定イベント情報とは、予め決められたイベント（音声選択イベント）の内容を示す情報である。また、予定イベント時刻情報とは、イベント発生する予定の時刻を示す情報である。
【００３２】
スケジュール時刻差分検出部２２は、進行情報記録媒体５から進行情報を取り出し、予定イベント情報をスケジュール管理部２１から取り出す。スケジュール時刻差分検出２２は、イベントごとに進行情報と予定イベント情報とを対応付けて、対応付けされた進行情報のイベント時刻情報とスケジュール情報の予定イベント時刻情報との差分時刻を検出し、差分時刻情報を重要シーン切り出し部２４に供給する。
【００３３】
重要シーン切り出し部２４は、スケジュール時刻差分検出部２２により検出された差分時刻に基づいて、映像音声データから重要シーンを切り出す。
【００３４】
映像編集部２３は、切り出された重要シーンを結合して、重要映像データを生成する。映像データを編集（例えば、カット編集や画像効果を付加する）する。また、映像編集部２３は、映像記録媒体４から映像データを取り出し、カット編集や映像加工を行う。
【００３５】
（映像編集システムの動作の概要）
次に、本映像編集システムにおける撮影前の準備から撮影、編集までの動作の概要について説明する。ここで、講演会や結婚式、音楽コンサート、プレゼンテーション、演劇、芝居公演等の撮影を行う対象となる行事（催し）を撮影対象行事と呼ぶ。この撮影対象行事の様子を撮影し、撮影した映像データに対して行事後あるいは行事中に編集作業を行う。
【００３６】
撮影対象行事において、進行が遅れると、イベントの発生もその時間分遅れる。本映像編集システムは、撮影対象行事の進行が遅れても、その遅れ分をイベント発生の遅れとして検出し、その遅れ分だけずらした時刻の映像データを切り出すことにより、重要シーンの編集を自動的に行うことができる。
【００３７】
まず、撮影対象行事の開始される前、すなわち撮影開始以前にあらかじめ、予定イベント情報と、予定イベント時刻情報と、予定のイベントに追従して定義される重要シーンに関する情報とを含んだ予定スケジュール情報を作成し、スケジュール管理部２１に記録する。予定スケジュール情報の詳細に関しては、後述する。
【００３８】
次に、撮影者の操作により、映像記録装置３が、撮影対象行事の撮影を開始する。映像記録装置３の映像データは、映像記録媒体４に保存される。映像記録装置３による撮影において、電子化した予定スケジュール情報を映像記録媒体４に記録しておき、その予定スケジュール情報を映像記録装置３のビューファインダーに表示可能な構成にしてもよい。また、予定スケジュール情報の完成時に紙に記載（あるいは、印刷）しておき、その紙を参照しながら撮影してもよい。さらには、撮影対象行事が行われている間は常に撮影対象の映像を記録し続ける（撮影対象行事の途中で記録を停止しない）方法でもよく、常に記録することで重要シーンのとり逃しを防ぐことができる。
【００３９】
本実施の形態では、映像記録装置３は、撮影位置を固定して、撮影対象の記録開始、記録停止を間歇的に繰り返して撮影する場合を例に説明する。ここで、撮影対象とは、撮影対象行事の中で主要な人物等を指し、例えば、撮影対象が講演会であれば講演者、結婚式であれば新郎新婦、演劇や芝居公演であれば舞台全体や主演者である。
【００４０】
次に、撮影対象行事が、開始される。なお、撮影対象行事の開始後に撮影を始めてもよい。撮影対象行事は、撮影対象行事の司会者など（以下、撮影対象行事の進行役を司会者と称する）により、あらかじめ決められた予定スケジュールに従って進行する。
【００４１】
音声再生選択装置１では、予定スケジュールに従い、司会者が、音声選択部１６に対して、撮影対象行事が行われている会場へ音声を出力するなどの音声選択イベントを起こす。例えば、司会者が撮影対象行事の開始をアナウンスする場合は、音声選択部１６がマイク部１２と音声出力部１５とを接続すること（音声選択イベント）により、マイク部１２から入力される音声が撮影対象行事の会場に流される。また、音楽を再生する場合には、音声選択部１６は、マイク部１２と音声出力部１５との接続を切り、音声再生選択部１３と音声出力部１５とを接続する。そして、音声信号再生部１３は、音声用記録媒体１１の音楽データを再生することにより、撮影対象行事の会場に音楽（楽曲）が流される。
【００４２】
司会者が音声選択イベントを起こすと、音声選択部１６は、イベント情報およびイベント時刻情報を生成し、進行情報記録部１７に記録する。進行情報記録部１７は、イベント情報およびイベント時刻情報を進行情報記録媒体５に保存する。
【００４３】
次に、撮影対象行事が終了して、撮影が終了すると、編集者により、進行情報記録媒体５が編集装置２に取り付けられる。編集作業に入ると、スケジュール時刻差分検出部２２は、進行情報記録媒体５から進行情報を取り出し、スケジュール管理部２１からスケジュール情報を取り出す。スケジュール時刻差分検出部２２は、進行情報とスケジュール情報とを比較して、音声選択イベントごとに対応付けを行う。スケジュール時刻差分検出部２２は、対応付けた進行情報のイベント時刻情報と、スケジュール情報の予定イベント時刻情報との差分時刻情報を検出して、進行情報とスケジュール情報と差分時刻情報とを重要シーン切り出し部２４に供給する。
【００４４】
重要シーン切り出し部２４には、さらに映像編集部２３を介して映像記録媒体４から映像データが供給される。重要シーン切り出し部２４は、スケジュール情報の重要シーン位置に対して、差分時刻情報の分ずらした時刻の映像データを重要シーンと判断し、切り出す。重要シーン切り出し部２４は、切り出した重要シーンの映像データを映像編集部２３に供給する。
【００４５】
映像編集部２３は、供給された重要シーンの映像データを繋ぐことにより、映像編集を行う。編集形態としては、例えば、重要シーンの切り出し結果に対応する映像データをカット編集で繋ぐ方法や、前記繋ぎ目に対して映像効果（エフェクト）を付与する方法が挙げられる。なお、カット編集で繋ぐ方法や、前記繋ぎ目に対して映像効果（エフェクト）を付与する方法は、一般的なノンリニア編集機が用いている方法で実現可能なため詳細な説明は省略する。
【００４６】
以上のように、映像データの編集に関する処理流れを説明したが、スケジュール管理部２１における予定スケジュール情報管理方法や、スケジュール時刻差分検出部２２における検出方法や、重要シーン切り出し部２４における重要シーンの切り出し方法の詳細は後述する。また、本実施の形態では、編集装置２として１つのプログラムで実現する例で説明したが、コンピュータ上で動作しているので、スケジュール管理部２１やスケジュール時刻差分検出部２２や重要シーン切り出し部２４を別プログラムとして実現してもよい。
【００４７】
以上のように、本実施の形態に係る映像編集システムは、撮影対象行事の進行の遅れを音声選択イベント発生の遅れとして検出し、その遅れ分だけずらした位置の映像データを切り出すことにより、重要シーンの編集を行うことができる。
【００４８】
次に、本実施の形態の映像編集システムにおいて、撮影方法や編集方法についてそれぞれ具体的に説明する。
【００４９】
（映像記録装置）
まず、本実施の形態における映像記録装置３に必要な機能について具体的に説明する。映像記録装置３は、記録（撮影）時刻と映像が関連付けられた映像データを記録媒体に記録する機能を備えていれば本発明の効果を発揮することができる。この機能を実現する方法としては、映像データ１フレームに対して撮影日時、撮影時刻情報やタイムコード情報を埋め込んで記録する方法や、映像データと、映像データを管理するための管理情報とを記録し、管理情報に先頭の撮影時刻情報やタイムコード情報を記録しておき、映像のフレーム位置（フレームオフセット）により任意の映像データ撮影時刻を特定する方法が挙げられる。本実施の形態では、映像の１フレームに対して時刻情報やタイムコード情報を埋め込む方式について説明する。
【００５０】
これらの映像記録装置３は、業務用途や民生用途のカメラレコーダにおいて一般的に広く実現されている技術であるため詳細の説明は省略する。なお、本実施の形態では、映像圧縮方式やコンテンツ（撮影映像データ）管理方式に依存しないため、どのようなコンテンツ管理方式でも用いることができる。また、映像記録装置３単体で撮影時刻情報が特定できなくても、少なくとも編集装置２において算出可能な構成であればよい。
【００５１】
（映像記録媒体）
次に、映像記録媒体４について説明する。映像記録媒体４は、磁気テープ媒体や半導体メモリ、光ディスクである。例えば、磁気テープ媒体の場合には、業務用のデジタルＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｄｅｒ）の規格の一つであるＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）−３１４Ｍ（ＤＶ−Ｂａｓｅｄ ２５Ｍ）規格のようにＤＩＦとして映像データに撮影日時、撮影時刻情報やタイムコード情報を関連付けて記録可能な構成となっている記録方式を採用することができる。
【００５２】
さらに、半導体メモリや光ディスク等のランダムアクセス可能な記録媒体である場合にも、ＳＭＰＴＥ−３１４Ｍ規格に従って生成された映像データと撮影日時、撮影時刻情報を含むデータをファイルとして記録する方式を用いることで、映像記録媒体４として用いることができる。なお、撮影時刻は映像データを管理する管理情報として別ファイルに記録してもよいし、あるいは、映像データを記録するためのファイルシステム上のタイムスタンプを参照してもよい。
【００５３】
（予定スケジュール情報のデータ構造及び記録形式）
次に、予定スケジュール情報のデータ構造及び記録形式に関して具体的に説明する。予定スケジュール情報の構成例を図２に示す。図２（ａ）は、予定スケジュール情報を管理するための構成例を示している。構成要素としては「スケジュール識別子」があり、「スケジュール識別子」は予定スケジュール情報を管理するための識別子である。例えば、「Ｓ０００１」等の文字列や番号を予定スケジュール情報に付与し、文字列や番号の一致を検索することにより、同一の予定スケジュール情報であることを識別する。
【００５４】
図２（ｂ）は、予定スケジュール情報の１項目（１イベント）の１構成例を示している。予定スケジュール情報は、図２（ｂ）で示す項目のリスト構造で表現され、図２（ｂ）の項目が、複数（複数イベント）構成される。予定スケジュール情報には、予定情報と、重要シーンとが含まれる。予定情報は、音声選択イベントに関する情報であり、「予定時刻」、「予定音声選択」、「予定内容」がある。重要シーンには、「開始時刻」、「重要シーン長」、「タイトル」がある。
【００５５】
一般的に、行事における重要なシーン（撮影して後日見たい区間）は限られる、もしくはパターン化されることが多い。このため、予定スケジュール情報が決まっていれば行事の開始前に重要シーンを設定しておくことが可能である。重要シーンとしては、例えば、講演会における特に重要事項を説明する区間、結婚式における新郎新婦の登場する区間、演劇においては開演から終演まですべての区間が挙げられる。
【００５６】
「予定時刻」は、予定イベント時刻情報に対応し、音声選択イベントが発生する予定時刻を示す。「予定音声選択」は、予定している音声選択部１６により選択（切り替え）された結果、最終的に音声出力部１５から出力される音声出力の種別であり、例えば、マイク音声が出力されている、ＣＤ再生音が出力されているといった音声選択情報である。「予定内容」は、音声選択部１６により選択（切り替え）された結果、最終的に音声出力部１５から出力される音声の属性情報を表し、例えば、マイク番号や、音楽（楽曲）の名前（任意の文字列）を示す。
【００５７】
「開始時刻」は、予定情報どおりに進行した場合の重要シーンの開始時刻を示す。「重要シーン長」は、予定情報どおりに進行した場合における重要シーンの区間長を示す。また、区間長の代わりに予定情報どおりに進行した場合の重要シーンの終了時刻を示す構成にしてもよい。「タイトル」は、重要シーンのタイトルであり、任意の文字列であればよい。これは、例えば編集時においてシーン選択等を画面に表示して利用される。
【００５８】
図３（ａ）は、図２に示した予定スケジュール情報を記録するための記録ファイル（以下、予定スケジュール情報ファイルと呼ぶ）の項目を示す図である。図３（ｂ）は、予定スケジュール情報ファイルの１具体例を示す図である。予定スケジュール情報ファイルは、テキスト形式とし、文字列を「，」で区切るＣｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ（ＣＳＶ）形式で記録されている。
【００５９】
図３（ｂ）の予定スケジュール情報ファイルの内容としては、ファイル先頭に図２で説明したスケジュール識別子を記述し、図２で説明した構成を順にならべて「，」で区切る形式とする。「予定時刻」、「開始時刻」には、午前の場合は「ＡＭ」、午後であれば「ＰＭ」を先頭につけて、「ＡＭ：１０：００：００」のように記述する。「予定音声選択」には、音声信号再生部１３から再生される音声信号を音声出力部１５に出力する場合には「ＣＤ再生」、マイク部１２の音声信号を音声出力部１５に出力する場合には「マイク音声」と記述する。
【００６０】
「予定内容」には、どのような文字列が記載されていてもよいが、本実施の形態では「予定音声選択」が「ＣＤ再生」の場合には楽曲名（図３の例では「楽曲Ａ」、「楽曲Ｂ」、「楽曲Ｃ」）を、「マイク音声」の場合にはマイク番号（図３の例では「マイクＢ」）と記述する。「重要シーン長」には、時間表示で「００：０２：００」と記述する。「タイトル」には、任意の文字列であるのでユーザが自由に記述することができる。なお、情報なしを表す場合、「ＮＯ＿ＩＮＦＯ」と記述することとする。本実施の形態では、時刻情報を文字列として表したが、時刻情報を意味するならばどのような記述形式でもよい。
【００６１】
（進行情報のデータ構造及び記録形式）
次に、進行情報のデータ構造及び記録形式について具体的に説明する。進行情報とは、実際に撮影対象行事で行われた進行状態に関する情報であり、スケジュール時刻差分検出部２２においてスケジュール情報との関連付けが行われる（詳細は後述する）。すなわち、進行情報には、上記関連付けのための要素が必要になるため、予定スケジュール情報と同様のリスト形式である。
【００６２】
図４は、進行情報の１構成例を示す。「進行情報識別子」は、進行情報を管理／識別するための識別子であり、任意の文字列である。同じ撮影対象行事に対しては、予定スケジュール情報のスケジュール識別子と一致することが好ましい。これは、予定スケジュール情報と、進行情報との関連付けが容易となるためである。なお、識別子ではなく、ファイルとして記録する際は、ファイル名に同一の文字列を付与して関連付けを行う方法でもよい。
【００６３】
「実開始時刻」は、イベント時刻情報に対応し、撮影対象行事の進行における音声選択イベント発生時刻（実際に音声選択イベントが発生した時刻）を表す。「音声選択結果」は、実開始時刻における音声選択部１６の選択状態を表し、図２に示す「予定音声選択」と対応する。「内容結果」は、音声選択部１６により選択（切り替え）された結果、最終的に音声出力部１５から出力される音声信号の属性情報を表し、図２に示す「予定内容」と対応する。
【００６４】
また、進行情報記録部１７は、進行情報を進行情報ファイルとして進行情報記録媒体５に記録する。進行情報ファイルの形式は、予定スケジュール情報ファイルと同様にテキスト形式（ＣＳＶ形式）とする。
【００６５】
（撮影対象）
次に、本実施の形態の映像編集システムにおける撮影方法と撮影対象行事の進行との関連を具体的に説明する。まず、想定される撮影対象行事について説明する。例えば、講演会、結婚式、演劇等では、司会者の行事開始のアナウンスがスピーカ等で出力される場合や、音楽（楽曲）の再生が開始されるのに合わせて講演者や演者が登場する場合がある。これらの例のように、撮影対象行事の進行中に音声選択イベントが発生する。これらの音声選択イベントは、重要シーンの開始直前や直後に発生する場合が多い。この撮影対象行事の進行中に音声選択イベントの発生時刻と音声選択結果を編集時に利用することで編集効率の向上を目指し、さらには、事前（撮影対象行事の開始以前）に作成する予定スケジュール情報を用いた重要シーンの切り出し編集が可能になる。
【００６６】
本実施の形態では、映像記録装置３を用いて、撮影対象行事の開始以前から撮影対象を記録開始、記録停止を間歇的に繰り返す撮影方法で撮影が行われる場合について説明する。なお、映像記録媒体４に記録可能な時間が撮影対象行事に対して十分長ければ、講演会や結婚式、演劇のように撮影対象が動く範囲が限定される場合にはカメラレコーダの撮影位置を固定化して、常に記録することにより撮影者が撮影状況を監視せずに撮影を行うことも可能である。
【００６７】
（重要シーンの抽出方法）
次に、編集時に重要シーンを抽出する基本的な概念を説明する。まず、編集の基本となる映像データのシーン分割について、図５を参照しながら説明する。図５は、映像データのシーン分割を示す概念図である。音声出力（ａ）は、音声出力部１５から出力された音声信号の様子を模式的に表しており、時刻００：００：００：００において、音声出力部１５から「楽曲Ａ」（音声信号再生部１３がＣＤ再生する）が出力されている。同じように、００：００：０２：１５において、音声出力部１５から出力される音声信号が、ＣＤ再生音声からマイク音声（マイク部１２から入力される音声信号）に切り替わり、時刻００：００：１３：２０に再度ＣＤ再生音声に切り替わり「楽曲Ｃ」が出力されている。
【００６８】
記録形式（ｂ）は、映像記録媒体４に記録された映像データを示す図である。また、再生形式（ｃ）は、映像データが編集（分割）された状態を示す図である。
【００６９】
この音声選択部１６において行われる音声選択の変更や、再生曲変更を分割点（図５における分割点１、分割点２、分割点３）としてシーン分割することができる。以上が、編集時におけるシーンの自動シーン分割の基本的な概念である。
【００７０】
ここで、音声選択部１６は、音声信号再生部１３に対して、指定した曲を再生する構成とする（詳細は後述する）。また、図５における時刻はタイムコード値を表しており、時、分、秒、フレーム桁を「：」により区切った表記である。例えば、００：００：０２：１５は、２秒１５フレームを表す。この分割点の撮影時刻情報を映像データに関連付けて映像記録媒体４に記録しておけば、編集装置２において容易にシーン分割を行うことができる。
【００７１】
しかしながら、上記の基本的なシーン分割の概念を映像記録装置３のみで実現する場合には、ユーザが所望するシーン分割を行えない場合がある。例えば、記録停止や記録開始を間歇的に行う記録方法においては、音声選択イベントの発生時に撮影していない可能性があり、この場合には、映像データに分割点を関連付けることができないため、シーン分割を行うことができない。
【００７２】
本実施の形態では、映像編集装置２において、上記進行記録媒体５と、映像記録媒体４と予定スケジュール情報から映像編集部２３において映像編集を行う。図６は、本実施の形態における映像データの重要シーン切り出し方法の概念図である。「予定スケジュール情報」（ａ）は、音声選択変更や再生曲変更の発生時刻（予定する音声選択イベント発生時刻）及び予定スケジュール情報が含まれる重要シーン情報を有する。
【００７３】
「実際の進行（音声出力）」（ｂ）に記載している内容は、例えば会場にスピーカで出力される音声とその切り替えタイミング情報を（音声選択イベントの発生時刻と音声選択結果及び内容結果）有する。「記録データ」（ｃ）は、「進行情報」と「映像データ」からなる。「進行情報」は、実際の進行の音声選択変更、再生曲変更が音声選択イベント０、１、２、３のように進行情報として進行情報記録媒体５に記録されている。
【００７４】
「重要シーン切り出し後」（ｄ）は、予定スケジュール情報に含まれる重要シーン情報に対応する映像データを抽出して撮影順にならべられたものである。なお、撮影順に並べるのではなく、任意の順番に並べるためには、重要シーン情報に順番情報（番号）を付与しておけば容易に実現できる。
【００７５】
本実施の形態では、重要シーンは、イベント時点を時刻の基準に規定されている。したがって、図６に示すように、楽曲Ａの開始位置が予定スケジュールからずれると、これにともない分割点（音声選択変更など）もずれる。重要シーンは、分割点から一定時間離れて（あるいは同時に）始まるので、重要シーンも予定スケジュールからずれる。映像データにおいて、分割点から一定時間離れた区間を切り出すことにより、重要シーンを抽出することができる。
【００７６】
したがって、本実施の形態に係る映像編集システムは、イベント２に示すように、イベント開始時には映像記録装置３が映像を記録していなくても、重要シーン開始時に映像記録装置３が映像を記録していれば、重要シーンを切り出すことができる。
【００７７】
次に、本実施の形態における映像編集システムの各部の動作についてさらに詳細に説明する。
【００７８】
（音声スイッチャの動作）
まず、音声選択部１６における撮影対象行事の進行中における音声選択イベント発生の検出について具体的に説明する。図７は、本実施の形態における音声スイッチャ１４のより詳細な構成を示すブロック図である。音声選択部１６は、ユーザから操作を受け付けるための操作入力部３１と、操作入力部３１の操作情報に基づいて出力音声信号を選択する切替部３２と、操作入力部３１の操作情報に基づいて音声信号再生部１３に再生を指示し、楽曲名を取得する再生指示部３３とを有する。
【００７９】
また、音声信号（楽曲信号、マイク音声信号）を入力するための第１の音声入力部３４、第２の音声入力部３５を有する。さらに、切替部３２から供給される音声選択結果と、再生指示部３３から供給される再生開始情報と楽曲名とを進行情報記録部１７に通知する音声選択イベント情報通知部３６と、音声選択イベント発生時刻を生成するための時刻生成部３７とを有する。なお、第１の音声入力部３４、第２の音声入力部３５に関しては、必要な音声信号の入力数に応じて変更すればよい。
【００８０】
操作入力部３１は、ユーザから操作を受け付け、切替部３２と再生指示部３３に操作情報を供給する。操作入力部３１は、ＣＤ再生からマイク音声に切り替える時のように、第１の音声入力部３４と第２の音声入力部３５の選択切り替えが発生する場合には、切替部３２に、操作情報を供給する。また、操作入力部３１は、ＣＤ再生を開始する場合、あるいはＣＤ再生する楽曲を変更する場合には、再生指示部３３に操作情報を供給する。
【００８１】
切替部３２は、操作入力部３１の操作情報（すなわち音声選択）に基づいて第１の音声入力部３４から供給される楽曲信号及び第２の音声入力部３５から供給されるマイク音声信号のいずれかまたは両方を選択して音声出力部１５に供給する。また、切替部３２は、音声選択イベント情報通知部３６に、音声選択が行われた旨（音声選択結果）と、その内容結果とを通知する。切替部３２は、一般的な音声スイッチャに搭載されている一般的な機能と同じである。
【００８２】
再生指示部３３は、操作入力部３１の操作情報（再生指示情報）に基づいて、音声信号再生部１３に再生開始及び再生停止を指示する。また、再生中（及び再生の開始を指示している）の楽曲名（進行情報の内容結果に対応する）を取得し、音声選択イベント情報通知部３６に供給する。本実施の形態の再生指示部３３は、一般的な音楽用再生機に搭載される技術で実現可能であるので詳細は省略する。第１の音声入力部３４、第２の音声入力部３５は、それぞれ音声信号再生部１３とマイク部１２から供給される音声信号（楽曲信号、マイク音声信号）を受け取り、切替部３２に供給するインターフェースである。音声信号の伝送媒体等は特に問わず、一般的な音声インターフェースで実現可能である。
【００８３】
時刻生成部３７は、音声選択イベント発生時の時刻を生成し、音声選択イベント発生時刻として音声選択イベント情報通知部３６に供給する。時刻生成部３７は、Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ（ＲＴＣ）機能を有する集積回路を搭載することで時刻を生成する。音声選択イベント情報通知部３６が、音声選択イベント発生時に時刻生成部３７に対して音声選択イベント発生時刻を取得する構成とするため、時刻生成部３７はＲＴＣにより各時々の時刻を算出できる構成であればよい。
【００８４】
音声選択イベント情報通知部３６は、切替部３２から供給される音声選択結果および内容結果と、再生指示部３３から供給される再生中の（及び再生を開始指示している）楽曲名と、時刻生成部３７から取得する音声選択イベント発生時刻とから１イベント分の進行情報を生成する。図８は、進行情報ファイルの１具体例を示す図である。図８の進行情報は、図３（ａ）の予定スケジュール情報に対応するものである。
【００８５】
（進行情報生成方法）
次に、音声選択イベント情報通知部３６における進行情報生成方法について説明する。図８に示すように、例えば、図４で説明した進行情報について、「実開始時刻」は、音声選択イベント発生時刻に対応し、時刻情報をそのまま記述すればよい。「音声選択結果」は、切替部３２から供給される音声選択結果（例えば、図８における「マイク音声」あるいは「ＣＤ再生」）に対応する。
【００８６】
また、「内容結果」は、音声選択結果により記述する内容が異なり、切替部３２から供給される内容結果を記述するか、再生指示部３３から供給される再生中の（及び再生開始を指示している）楽曲名を記述するかを選択することにより得られる。例えば、音声選択結果が「マイク音声」である場合には、切替部３２から供給される内容結果（例えば、図８における「マイクＢ」）を記述し、「ＣＤ再生」である場合には、再生指示部３３から供給される再生中の（及び再生開始を指示している）楽曲名（例えば、図８における「楽曲Ａ」、「楽曲Ｂ」、「楽曲Ｃ」）を記述する。
【００８７】
なお、切替部３２から供給される内容結果の文字列の生成に関しては、説明の便宜上「マイクＢ」としているが、単に「マイク」としても、音声選択を切り替える毎に数値をインクリメントして「マイク１」、「マイク２」、・・・とする方式でもよい。本実施の形態では、「マイクＢ」と「マイク」を同一のもの（すなわち「Ｂ」は意味が無いもの）として説明する。
【００８８】
また、音声選択イベント情報通知部３６は、生成した１イベント分の進行情報を進行情報記録部１７に供給する。進行情報記録部１７は、音声選択イベント情報通知部３６から供給される１イベント分の進行情報を保持し、リスト化して全イベント分の進行情報を管理する。音声選択イベント情報通知部３６は、好ましくは撮影対象行事の開始から終了までの間における進行情報を保持する。ただし、撮影対象行事の開始後など、撮影開始直後からの映像を記録する場合には、進行情報を電源投入時やユーザからの行事開始操作を受け付けてから終了するまでの間の進行情報を保持しておけばよい。
【００８９】
また、進行情報記録部１７で作成、保持している進行情報（全イベント分のリスト）を撮影対象行事の終了の時点で進行情報記録媒体５に記録する。撮影対象行事の終了は、ユーザから明示的に終了指示により行われる。
【００９０】
（映像データの編集の詳細）
次に、映像データの編集について詳細に説明する。まず、スケジュール管理部２１における予定スケジュール情報の管理方法を具体的に説明する。スケジュール管理部２１に必要な機能としては、第１に予定スケジュール情報を作成する機能、第２に指定したスケジュール識別子に対応する予定スケジュール情報をスケジュール時刻差分検出部２２に供給する機能、第３に過去に作成した予定スケジュール情報を保持する機能、第４に保持している過去の予定スケジュール情報を修正して新規の予定スケジュール情報を作成する機能である。
【００９１】
予定スケジュール情報を記録する予定スケジュール情報ファイルは、ＣＳＶ形式のテキストファイルであり、かつ、スケジュール管理部２１は、本実施の形態ではコンピュータ上のプログラムとして実現している。このため、上記４つの必要な機能を有する予定スケジュール管理部２１は、一般的なコンピュータ処理技術で実現可能である。
【００９２】
次に、スケジュール時刻差分検出部２２における予定スケジュール情報と進行情報の音声選択イベント発生時刻の時刻差分検出方法を具体的に説明する。時刻差分を検出するために、２段階の処理を行う必要がある。第１段階として予定スケジュール情報と進行情報の各情報の関連付けを行い、第２段階として関連付けされた予定時刻と音声選択イベント発生時刻の差分を算出する。
【００９３】
第１段階の処理である予定スケジュール情報と進行情報の各情報（各イベント）との関連付け方法について説明する。まず、スケジュール時刻差分検出部２２は、進行情報記録媒体５に記録された進行情報を読み込み、スケジュール管理部２１から読み込んだ進行情報に対応する予定スケジュール情報を取得する。対応する予定スケジュール情報は、進行情報の進行情報識別子と予定スケジュール情報のスケジュール識別子を比較し、一致を確認することにより進行情報と関連付けられる。
【００９４】
次に、予定スケジュール情報と進行情報中に含まれる各時刻情報や音声選択情報、内容結果から各イベントの対応付けを行う。図９は、予定スケジュール情報と進行情報との対応付けの具体例を示す図である。図９（ａ）は予定スケジュール情報であり、図９（ｂ）は進行情報である。図９（ｃ）は、図９（ａ）の予定スケジュール情報と、図９（ｂ）の進行情報との対応付け結果を示す。図９（ａ）のスケジュール識別子と、図９（ｂ）の進行情報識別子の図示を省略しているが両識別子とも「Ｓ０００１」とする。
【００９５】
まず、スケジュール時刻差分検出部２２は、図９（ｂ）の進行情報を進行情報記録媒体５から読み込む。次に、スケジュール時刻差分検出部２２は、スケジュール管理部２１から予定スケジュール情報を取得する。
【００９６】
次に、スケジュール時刻差分検出部２２は、予定スケジュール情報の各イベントの各要素を比較して、予定スケジュール情報のイベントと進行情報のイベントとを対応付ける。具体的には、「予定音声選択」と「音声選択結果」、「予定内容」と「内容結果」を比較しすべて一致した場合、同一イベントとして検出する。例えば、図９に示す「予定イベント１」と「進行イベント１」を比較する場合、予定音声選択と音声選択結果（「ＣＤ再生」）と、予定内容と内容結果（「楽曲Ａ」）が一致するため、同一イベントとして検知し、図９（ｃ）の「イベント１」として、予定スケジュール情報と進行情報との対応付けを行う。
【００９７】
同様にして、「イベント２」、「イベント３」、「イベント４」についても、対応付けが行われる。一般的に、スケジュールは時刻順に記述されるため、予定スケジュール情報の時刻が最古のイベントと、進行情報の時刻が最古のイベントから順次比較すれば、同一イベント検出処理を効率的に行うことができる。
【００９８】
次に、第２段階の処理である対応付けされた予定時刻と音声選択イベント発生時刻の時刻差分を算出する方法を説明する。上記第１段階の処理において、予定スケジュール情報と進行情報の各イベントとの対応付けが完了する。したがって、予定時刻からイベント発生時刻の時刻差分を算出するには、各イベントに対する実開始時刻から予定時刻を減算すればよい。ずなわち、時刻差分ｔ（時刻差分）は、以下の式で表される。
【００９９】
ｔ（時刻差分）＝ｔ（実開始時刻）−ｔ（予定時刻）
ここで、ｔ（実開始時刻）を進行情報の実開始時刻、ｔ（予定時刻）を予定スケジュール情報の予定情報における予定時刻とする。
【０１００】
また、図１０は、図９（ｃ）で対応付けられた予定スケジュール情報と進行情報における時刻差分算出結果を示す図である。「時刻差分」において、各イベントが１０分〜１２分予定時刻より遅れていることがわかる。ここで「時刻差分」の「００：１０：００」は、１０分を表し、時間、分、秒の桁を「：」で区切る形式とする。
【０１０１】
次に、重要シーン切り出し部２４における重要シーンの切り出し方法について具体的に説明する。図１１は、重要シーン切り出し処理前と重要シーン切り出し処理後の関係を示す図である。
【０１０２】
まず、「切り出し開始時刻」は、重要シーンとして映像データの切り出しを開始する点（カット編集点）を示し、開始時刻から時刻差分を加算した時刻である。ただし、時刻差分は負の値もあり得るため、時間差が負の値の場合は、負の値を加算する、すなわち、実開始時刻から時刻差分を減算した値となる。例えば、図１１の重要シーン１について、重要シーン情報の開始時刻がＡＭ１０：００：００で、時刻差分が００：１０：００であるため、切り出し開始時刻はＡＭ１０：１０：００となる。切り出しシーン長は、重要シーンとして切り出す区間長（時間長）を表し、重要シーン情報の重要シーン長と同じ区間長（時間長）である。切り出しタイトルは、重要シーン切り出し後のタイトルを表し、重要シーン情報のタイトルと同じ文字列である。
【０１０３】
次に、図６を参照しながら映像と重要シーン切り出し結果との関係を説明する。ここで、図１１と図６は同一の具体例を示してしており、図６と図１１の例では、予定スケジュール情報に対して実際の進行における撮影対象行事の開始時刻は１０分遅れている。
【０１０４】
また、重要シーン切り出し部２４は、映像記録媒体４に記録された映像データに対応されている撮影時刻情報から、音声選択イベント発生時刻と同一時刻に対応付けられる映像データ（１フレーム分の映像データ）の位置（例えば、先頭の映像データからのフレームオフセット）を検出する。すなわち、図６に示す「記録データ」に記載されているとおり、上記の方法で映像データと進行情報とが関連付けられる。
【０１０５】
次に、重要シーンの切り出し部２４は、上記進行情報と映像データとを対応付けた結果と、予定スケジュール情報における重要シーン情報とに基づいて、重要シーンの切り出し処理を行う。切り出す重要シーンの開始点の時刻ｔ（重要シーン開始）は、下記の式で表すことができる。
【０１０６】
ｔ（重要シーン開始）＝ｔ（開始時刻）＋ｔ（時刻差分）
ここで、ｔ（時刻差分）を前述した時刻差分、ｔ（開始時刻）を予定スケジュール情報の重要シーン情報としての開始時刻とする。
【０１０７】
また、切り出す重要シーンの終了点の時刻ｔ（重要シーン終了）は、下記の式で表すことができる。
【０１０８】
ｔ（重要シーン終了）＝ｔ（重要シーン開始）＋ｔ（重要シーン長）
ただし、ｔ（重要シーン長）は、予定スケジュール情報の重要シーン情報としての重要シーン長である。
【０１０９】
次に、以上の重要シーンの切り出し方法で算出された重要シーンの開始点の時刻（ｔ（重要シーン開始））から終了点の時刻（ｔ（重要シーン終了））に対応する映像データの区間を重要シーンとして切り出す。図１２は、切り出された重要シーンの開始点の時刻と終了点の時刻の算出方法と重要シーンの切り出しの具体例（図６における重要シーンＢの切り出しの例）を示す図である。
【０１１０】
なお、ｔ（時刻差分）の算出は、重要シーン情報の開始時刻（ｔ（開始時刻））に一番時刻が近い音声選択イベント（の実開始時刻）に基づいて算出すればよい。また、切り出し後の重要シーンの開始点の時刻と終了点の時刻とを対応する映像データは、映像データの各フレームに関連付けられた撮影時刻を参照して検出してもよいし、予定時刻（ｔ（予定時刻））と開始時刻（ｔ（開始時刻））の差分からフレームオフセットを算出し、各撮影時刻に対応する映像データを導き出してもよい。
【０１１１】
以上の方法により、実際の進行の遅れによらず、予定スケジュール情報の重要シーン情報どおりに重要シーンの切り出しが行われる。なお、図６に示すように、例えば、イベント２の時刻では映像データの記録が行われていない。この場合にも、上述した方法で重要シーンの切り出しを行うことが可能である。
【０１１２】
以上のように、本実施の形態の映像編集システムによれば、編集効率を飛躍的に向上させることができ、ユーザにとって利便性の高い編集装置を実現することができる。
【０１１３】
なお、予定スケジュール情報ファイルおよび進行情報ファイルを記録する際に、テキスト形式（ＣＳＶ形式）により記録する方法を説明したが、例えば、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式等のマークアップ言語や、テキスト形式をバイナリデータ化した形式等で記述しても同様の効果を発揮する。
【０１１４】
さらに、本実施の形態では、音声選択イベントに関して説明したが、例えば、映像からシーンチェンジを検出することや、音声から大きな音を検出する新たに手段を備えれば、同様の構成で同様の効果を発揮することが可能である。
【０１１５】
さらに、映像記録装置３における撮影時刻の記録に関して、映像データを管理する管理情報（例えば、映像データと別ファイル）として記録してもよいし、ファイルシステム上のタイムスタンプを参照してもよい。
【０１１６】
なお、本実施の形態において、スケジュール時刻差分検出部２２は、スケジュール管理部２１からスケジュール情報を取得して、スケジュール情報と進行情報とを比較する場合について説明した。しかし、本発明のこの実施形態に限定されず、例えば、スケジュール時刻差分検出部２２は、進行情報識別子（例では「Ｓ０００１」）をスケジュール管理部２１に供給して対応する図９（ａ）の予定スケジュール情報を取得する構成にすることもできる。
【産業上の利用可能性】
【０１１７】
本発明にかかる映像編集システムは、ユーザの編集における利便性を飛躍的に向上させるもので、磁気テープ媒体や半導体メモリや光ディスク等を応用した映像編集システムや映像編集装置や音響設備等を含むイベント会場の設備等に広く利用可能である。
【図面の簡単な説明】
【０１１８】
【図１】本発明の実施の形態に係る映像編集システムの構成を示すブロック図
【図２】本実施の形態における予定スケジュール情報の１構成例を示す図
【図３】本実施の形態における予定スケジュール情報ファイルの１具体例を示す図
【図４】本実施の形態における進行情報の１構成例を示す図
【図５】本実施の形態における映像データのシーン分割を示す概念図
【図６】本実施の形態における映像データの重要シーンの切り出しを示す概念図
【図７】本実施の形態における音声スイッチャの詳細な構成を示すブロック図
【図８】本実施の形態における進行情報ファイルの１具体例を示す図
【図９】本実施の形態における予定スケジュール情報と進行情報との関連付け結果の１具体例を示す図
【図１０】本実施の形態における時刻差分を算出した結果の１具体例を示す図
【図１１】本実施の形態における重要シーン切り出し処理前と重要シーン切り出し処理後の関係を示す図を示す図
【図１２】本実施の形態における重要シーン切り出し開始時刻と終了時刻算出方法を示す概念図
【符号の説明】
【０１１９】
１ 音声再生選択装置
２ 編集装置
３ 映像記録装置
４ 映像記録媒体
５ 進行情報記録媒体
１１ 音声用記録媒体
１２ マイク部
１３ 音声信号再生部
１４ 音声スイッチャ
１５ 音声出力部
１６ 音声選択部
１７ 進行情報記録部
２１ スケジュール管理部
２２ スケジュール時刻差分検出部
２３ 映像編集部
２４ 重要シーン切り出し部
３１ 操作入力部
３２ 切替部
３３ 再生指示部
３４ 第１の音声入力部
３５ 第２の音声入力部
３６ 音声選択イベント情報通知部
３７ 時刻生成部
【技術分野】
【０００１】
本発明は、撮影本番前にスケジュール情報を作成し、そのスケジュール情報に基づいて撮影した映像に対して重要シーンの自動抽出を行う音声再生装置及び編集装置及び映像編集システムに関する。
【背景技術】
【０００２】
近年、光ディスクや、半導体メモリなどのランダムアクセス可能な記録媒体に、映像データや音声データをファイル化して記録する装置が一般的になり、例えば、放送局や映像制作会社などにおいても、このような記録媒体を備えた編集装置を利用して映像編集作業などが行われている。また、磁気テープ媒体に記録する撮影機材を用いる場合でも、磁気テープ媒体上の映像データや音声データをファイル化した後に、上記と同様に編集装置を利用して編集作業を行うことが多い。
【０００３】
ところで、撮影対象である講演会や結婚式や演劇等の行事は、あらかじめ決められたスケジュールに従って進行する。従来から、撮影者は、講演会や結婚式等の行事の様子を撮影・編集する場合に、行事の進行に沿って重要部分及びその近辺の撮影を行い、編集時に撮影した素材データから特に重要な区間（重要シーン）を切り出す作業を行っている。
【０００４】
このような撮影対象の特性を活かして、撮影前に撮影方法やタイトルを含むシナリオデータを入力し、そのシナリオデータに従って撮影ガイダンスを行う技術（例えば、特許文献１）が開示されている。
【０００５】
また、パーソナルコンピュータでプレゼンテーションを行う場合、プレゼンテーション資料の表示を切り替える際に、切り替え操作情報を送信して、プレゼンテーション資料の分割を自動で行う技術（例えば、特許文献２）が開示されている。
【特許文献１】特開２００６−１７４３１８号公報
【特許文献２】特開２００４−２３６２３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された従来の構成では、ユーザが撮影前にシナリオデータを入力し、撮影開始時にこれから撮影するシーンを撮影前に入力したシナリオデータから選択しなければならず、撮影時に手間となる。
【０００７】
また、特許文献２に開示された従来の構成では、表示の切り替え時点（表示切替イベント）での分割は可能であるが、表示切替イベントから離れた区間が重要シーンである場合に、重要シーンのみを自動編集するための関連付けが困難である。例えば、プレゼンテーション資料の１ページ目から２ページ目に表示を切り替えることを表示切替イベントとしたときに、重要シーンが表示切替イベント発生時より１０秒前に発生する場合や、表示切替イベント発生時にカメラレコーダによる撮影（メディアへの記録）を行っていない場合には、表示切替イベントと重要シーンを関連付けることが困難である。
【０００８】
上記課題に鑑みて、本発明は、自動的にスケジュール情報と実際に撮影された映像データとの関連付けを行い、重要シーンの自動抽出（自動切り出し）を行うことができる映像編集システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の映像編集システムは、上記課題を解決するために、映像データを記録媒体に記録する撮像記録部と、複数の信号が入力可能であり、前記入力された信号を操作者の選択により切り替えて出力する信号選択部と、前記信号選択部が前記信号を切り替えた選択時刻および切替状態情報を記録する選択情報記録部と、前記信号選択部の切り替え予定を示す予定選択情報および、前記信号選択部が切り替える予定選択時刻を有する予定スケジュール情報を管理するスケジュール管理部と、前記選択時刻と前記予定選択時刻とを比較して時刻差分を検出するスケジュール時刻差分検出部と、前記予定スケジュール情報の予定選択情報および前記時刻差分に基づいて、前記映像データを前記予定スケジュール情報と関連付け、前記関連付けられた予定スケジュール情報に基づいて前記映像データの編集を行う映像編集部とを備えたことを特徴とする。
【００１０】
また、本発明の音声再生装置は、上記課題を解決するために、記録媒体の情報を読み取って音声信号を再生する音声信号再生部と、音声を音声信号に変換する音声入力部と、前記音声信号再生部からの前記音声信号と、前記音声入力部からの前記音声信号とを操作者の選択により切り替えて音声信号を出力する信号選択部と、前記信号選択部から出力された前記音声信号を音声に変換する音声出力部と、前記信号選択部が前記音声信号を切り替えた選択時刻および切替状態情報を記録媒体に記録する選択情報記録部とを備えたことを特徴とする。ここで、音声信号は、音声出力部において、声、音、楽曲として出力される信号である。
【００１１】
また、本発明の音声スイッチャ装置は、上記課題を解決するために、複数の音声信号出力部からの音声信号を操作者の選択により切り替えて１つの音声信号を出力する音声信号選択部と、前記信号選択部が前記信号を切り替えた選択時刻および切替状態情報を記録する選択情報記録部とを備えたことを特徴とする。
【００１２】
また、本発明の映像編集装置は、上記課題を解決するために、複数の信号を切り替えて１つの信号を出力する信号選択部の切り替え予定を示す予定選択情報および、前記信号選択部が切り替える予定選択時刻を有する管理するスケジュール管理部と、操作者の選択により、信号選択部の信号を切り替えた選択時刻および切替状態情報を読み出し、前記予定スケジュール情報と前記選択時刻および切替状態情報とを関連付け、前記選択時刻と前記予定選択時刻との時刻差分を検出するスケジュール差分検出部と、前記予定スケジュール情報および前記時刻差分に基づいて、前記映像データを前記予定スケジュール情報と関連付け、前記関連付けられた予定スケジュール情報に基づいて前記映像データの編集を行う映像編集部とを備えたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、進行情報と予定スケジュールを比較することにより、自動的にスケジュール情報と撮影映像データとの関連付けを行い、重要シーンの自動抽出（自動切り出し）を行うことができる映像編集システムを提供することができる。
【発明を実施するための最良の形態】
【００１４】
本発明の映像編集システム、映像編集装置は、上記構成を基本として種々の態様をとることができる。すなわち、上記映像編集システムにおいて、前記信号は、音声信号である構成にすることができる。
【００１５】
また、前記音声信号を前記信号選択部に入力する複数の音声信号出力部と、前記信号選択部から出力された音声信号を音声に変換する音声出力部とを備え、前記音声信号出力部の１つは、音声記録媒体の情報を読み取って音声信号を再生する音声信号再生部であり、前記予定スケジュール情報は、各スケジュールで再生する音声情報を有し、前記再生されている音声と、前記音声情報とが一致することにより前記映像データと前記予定スケジュール情報とを関連付ける構成にすることができる。
【００１６】
また、前記予定スケジュール情報は、重要シーン情報のシーン開始時刻と区間長情報とを有し、前記映像データから前記重要シーンを抽出する重要シーン抽出部を備える構成にすることができる。
【００１７】
また、上記映像編集装置において、前記予定スケジュール情報に重要シーン情報のシーン開始時刻と区間長情報を有し、前記映像データから前記重要シーンに対応するシーンを抽出する重要シーン抽出部を有する構成にすることができる。
【００１８】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１９】
本発明の実施の形態における映像編集システムは、映像制作事業者などを対象とした業務用途を目的とするシステムであり、講演会、結婚式会場、音楽コンサートや演芸会場での行事の撮影、映像編集などに利用されている。例えば、講演会、結婚式会場において、映像記録装置で取得した映像データは、映像記録装置に対して着脱可能な記録媒体に記録され、さらに、編集室内において、他の映像データとともに、この記録媒体に記録された映像データを用いて編集作業が行われる。
【００２０】
講演会、結婚式において、重要な区間（重要シーン）が始まる前には、司会者がマイクで開始のアナウンスを行ったり、会場に新たな楽曲が流れる等の音声の選択（切り替え）イベントが発生したりするのが一般的である。重要シーンとは、例えば、編集時に必要となるシーン（映像の区間）であり、編集後の完成映像として採用される可能性が高いシーンを意味する。
【００２１】
本実施の形態に係る映像編集システムは、重要シーンを撮影・編集するために、音声の選択（切り替え）イベント発生時刻（前後を含む）に基づいて、重要シーンの判別を行う。
【００２２】
（映像編集システムの構成）
図１は、本実施の形態に係る映像編集システムの構成を示すブロック図である。本実施の形態に係る映像編集システムは、音声再生選択装置１と、編集装置２と、映像記録装置３と、映像記録媒体４と、進行情報記録媒体５とを有する。
【００２３】
音声再生選択装置１は、音声用記録媒体１１に記録された音楽や楽曲等を音声出力部１５で音声として再生可能な楽曲信号を再生する音声信号再生部１３と、マイク部１２と、音声スイッチャ１４と、音声出力部１５とを有する。なお、音声信号再生部１３により楽曲信号を再生することを、以後ＣＤ再生と呼ぶ。音声用記録媒体１１は、例えば、音楽用Ｃｏｍｐａｃｔ Ｄｉｓｃ（以下、ＣＤと呼ぶ）等の記録媒体である。また、マイク部１２は、例えば、司会者の声を記録、あるいは、拡声するために用いられ、音声出力部１５において音声として出力可能なマイク音声信号を生成する。音声スイッチャ１４は、音声選択部１６と進行情報記録部１７とを有する。音声選択部１６は、音声信号再生部１３から出力される楽曲信号と、マイク部１２から出力されるマイク音声信号を選択あるいは多重化した音声出力信号を出力する。
【００２４】
進行情報記録部１７には、イベント発生時に、音声選択部１６によりイベント情報およびイベント時刻情報とを含む進行情報が記録される。イベントとは、音声選択部１６が出力する音声出力信号を楽曲信号からマイク音声信号に切り替える（マイクの音源をＯＮにする）こと、音声出力信号をマイク音声信号からマイク音声信号と楽曲信号とを多重化した信号とすることなどの音声選択部１６が切り替わる動作のことである。また、イベントには、音声信号再生部１３が再生する音声用記録媒体１１に記録された音声信号（楽曲）を変更することも含まれる。イベント情報とは、音声選択部１６が出力する音声出力信号を楽曲信号からマイク音声信号に切り替わったことなどのイベントの内容を示す情報である。また、イベント時刻情報とは、イベント発生時の時刻を示す情報である。
【００２５】
また、イベント時刻の検出は、Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ（ＲＴＣ）機能を有する集積回路を進行情報記録部１７あるいは音声スイッチャ１４に搭載すれば実現できる。本実施の形態では、ＲＴＣ機能を有する集積回路を音声スイッチャ１４に搭載した場合を例に説明する。
【００２６】
音声スイッチャ１４は、進行情報を進行情報記録媒体５に記録する。音声出力部１５は、スピーカ等で構成され、音声スイッチャ１４から出力される音声出力信号を音声として出力する。
【００２７】
進行情報記録媒体５は、音声再生選択装置１および編集装置２に着脱可能に形成されている。進行情報記録媒体５は、音声スイッチャ１４により、進行情報が記録され、スケジュール時刻差分検出部２２により、進行情報が取り出される。
【００２８】
映像記録装置３は、カメラレコーダであり、被写体を撮像するカメラ部と、カメラ部により撮像された映像を映像データとして映像記録媒体に記録する記録部とを有する。業務用途向けに発売されているカメラレコーダであれば、カメラ部と記録部とその他必要な機能（機能の具体的説明は後述する）は、搭載されている場合が多い。映像記録媒体４は、映像記録装置３により撮影された映像データを記録し、映像記録装置３に対して着脱可能な記録媒体である。
【００２９】
なお、映像記録媒体４と進行情報記録媒体５は、映像データおよび進行情報以外の情報が保存される記録媒体と同じ記録媒体であってもよい。本実施の形態では、進行情報記録媒体５と映像記録媒体４は、ＳＤカードの形状である構成を例に説明し、映像記録媒体４と進行情報記録媒体５は、ＳＤ Ｉ／Ｆ規格に基づき接続される。なお、記録媒体は、ＳＤカード形状でなくてもよい。
【００３０】
編集装置２は、スケジュール管理部２１と、スケジュール時刻差分検出部２２と、映像編集部２３と、重要シーン切り出し部２４とを有する。本実施の形態においては、編集装置２は、一般的なノンリニア編集プログラムに、スケジュール管理部２１とスケジュール時刻差分検出部２２と重要シーン切り出し部２４とを追加したプログラムをコンピュータ上で動作させることで実現できる。
【００３１】
スケジュール管理部２１は、講演会や結婚式等の行事の開始前にあらかじめ決められた予定イベント情報および予定イベント時刻情報とを含むスケジュール情報を管理する。スケジュール情報は、予定イベント情報および予定イベント時刻情報をリスト形式で構成されている。予定イベント情報とは、予め決められたイベント（音声選択イベント）の内容を示す情報である。また、予定イベント時刻情報とは、イベント発生する予定の時刻を示す情報である。
【００３２】
スケジュール時刻差分検出部２２は、進行情報記録媒体５から進行情報を取り出し、予定イベント情報をスケジュール管理部２１から取り出す。スケジュール時刻差分検出２２は、イベントごとに進行情報と予定イベント情報とを対応付けて、対応付けされた進行情報のイベント時刻情報とスケジュール情報の予定イベント時刻情報との差分時刻を検出し、差分時刻情報を重要シーン切り出し部２４に供給する。
【００３３】
重要シーン切り出し部２４は、スケジュール時刻差分検出部２２により検出された差分時刻に基づいて、映像音声データから重要シーンを切り出す。
【００３４】
映像編集部２３は、切り出された重要シーンを結合して、重要映像データを生成する。映像データを編集（例えば、カット編集や画像効果を付加する）する。また、映像編集部２３は、映像記録媒体４から映像データを取り出し、カット編集や映像加工を行う。
【００３５】
（映像編集システムの動作の概要）
次に、本映像編集システムにおける撮影前の準備から撮影、編集までの動作の概要について説明する。ここで、講演会や結婚式、音楽コンサート、プレゼンテーション、演劇、芝居公演等の撮影を行う対象となる行事（催し）を撮影対象行事と呼ぶ。この撮影対象行事の様子を撮影し、撮影した映像データに対して行事後あるいは行事中に編集作業を行う。
【００３６】
撮影対象行事において、進行が遅れると、イベントの発生もその時間分遅れる。本映像編集システムは、撮影対象行事の進行が遅れても、その遅れ分をイベント発生の遅れとして検出し、その遅れ分だけずらした時刻の映像データを切り出すことにより、重要シーンの編集を自動的に行うことができる。
【００３７】
まず、撮影対象行事の開始される前、すなわち撮影開始以前にあらかじめ、予定イベント情報と、予定イベント時刻情報と、予定のイベントに追従して定義される重要シーンに関する情報とを含んだ予定スケジュール情報を作成し、スケジュール管理部２１に記録する。予定スケジュール情報の詳細に関しては、後述する。
【００３８】
次に、撮影者の操作により、映像記録装置３が、撮影対象行事の撮影を開始する。映像記録装置３の映像データは、映像記録媒体４に保存される。映像記録装置３による撮影において、電子化した予定スケジュール情報を映像記録媒体４に記録しておき、その予定スケジュール情報を映像記録装置３のビューファインダーに表示可能な構成にしてもよい。また、予定スケジュール情報の完成時に紙に記載（あるいは、印刷）しておき、その紙を参照しながら撮影してもよい。さらには、撮影対象行事が行われている間は常に撮影対象の映像を記録し続ける（撮影対象行事の途中で記録を停止しない）方法でもよく、常に記録することで重要シーンのとり逃しを防ぐことができる。
【００３９】
本実施の形態では、映像記録装置３は、撮影位置を固定して、撮影対象の記録開始、記録停止を間歇的に繰り返して撮影する場合を例に説明する。ここで、撮影対象とは、撮影対象行事の中で主要な人物等を指し、例えば、撮影対象が講演会であれば講演者、結婚式であれば新郎新婦、演劇や芝居公演であれば舞台全体や主演者である。
【００４０】
次に、撮影対象行事が、開始される。なお、撮影対象行事の開始後に撮影を始めてもよい。撮影対象行事は、撮影対象行事の司会者など（以下、撮影対象行事の進行役を司会者と称する）により、あらかじめ決められた予定スケジュールに従って進行する。
【００４１】
音声再生選択装置１では、予定スケジュールに従い、司会者が、音声選択部１６に対して、撮影対象行事が行われている会場へ音声を出力するなどの音声選択イベントを起こす。例えば、司会者が撮影対象行事の開始をアナウンスする場合は、音声選択部１６がマイク部１２と音声出力部１５とを接続すること（音声選択イベント）により、マイク部１２から入力される音声が撮影対象行事の会場に流される。また、音楽を再生する場合には、音声選択部１６は、マイク部１２と音声出力部１５との接続を切り、音声再生選択部１３と音声出力部１５とを接続する。そして、音声信号再生部１３は、音声用記録媒体１１の音楽データを再生することにより、撮影対象行事の会場に音楽（楽曲）が流される。
【００４２】
司会者が音声選択イベントを起こすと、音声選択部１６は、イベント情報およびイベント時刻情報を生成し、進行情報記録部１７に記録する。進行情報記録部１７は、イベント情報およびイベント時刻情報を進行情報記録媒体５に保存する。
【００４３】
次に、撮影対象行事が終了して、撮影が終了すると、編集者により、進行情報記録媒体５が編集装置２に取り付けられる。編集作業に入ると、スケジュール時刻差分検出部２２は、進行情報記録媒体５から進行情報を取り出し、スケジュール管理部２１からスケジュール情報を取り出す。スケジュール時刻差分検出部２２は、進行情報とスケジュール情報とを比較して、音声選択イベントごとに対応付けを行う。スケジュール時刻差分検出部２２は、対応付けた進行情報のイベント時刻情報と、スケジュール情報の予定イベント時刻情報との差分時刻情報を検出して、進行情報とスケジュール情報と差分時刻情報とを重要シーン切り出し部２４に供給する。
【００４４】
重要シーン切り出し部２４には、さらに映像編集部２３を介して映像記録媒体４から映像データが供給される。重要シーン切り出し部２４は、スケジュール情報の重要シーン位置に対して、差分時刻情報の分ずらした時刻の映像データを重要シーンと判断し、切り出す。重要シーン切り出し部２４は、切り出した重要シーンの映像データを映像編集部２３に供給する。
【００４５】
映像編集部２３は、供給された重要シーンの映像データを繋ぐことにより、映像編集を行う。編集形態としては、例えば、重要シーンの切り出し結果に対応する映像データをカット編集で繋ぐ方法や、前記繋ぎ目に対して映像効果（エフェクト）を付与する方法が挙げられる。なお、カット編集で繋ぐ方法や、前記繋ぎ目に対して映像効果（エフェクト）を付与する方法は、一般的なノンリニア編集機が用いている方法で実現可能なため詳細な説明は省略する。
【００４６】
以上のように、映像データの編集に関する処理流れを説明したが、スケジュール管理部２１における予定スケジュール情報管理方法や、スケジュール時刻差分検出部２２における検出方法や、重要シーン切り出し部２４における重要シーンの切り出し方法の詳細は後述する。また、本実施の形態では、編集装置２として１つのプログラムで実現する例で説明したが、コンピュータ上で動作しているので、スケジュール管理部２１やスケジュール時刻差分検出部２２や重要シーン切り出し部２４を別プログラムとして実現してもよい。
【００４７】
以上のように、本実施の形態に係る映像編集システムは、撮影対象行事の進行の遅れを音声選択イベント発生の遅れとして検出し、その遅れ分だけずらした位置の映像データを切り出すことにより、重要シーンの編集を行うことができる。
【００４８】
次に、本実施の形態の映像編集システムにおいて、撮影方法や編集方法についてそれぞれ具体的に説明する。
【００４９】
（映像記録装置）
まず、本実施の形態における映像記録装置３に必要な機能について具体的に説明する。映像記録装置３は、記録（撮影）時刻と映像が関連付けられた映像データを記録媒体に記録する機能を備えていれば本発明の効果を発揮することができる。この機能を実現する方法としては、映像データ１フレームに対して撮影日時、撮影時刻情報やタイムコード情報を埋め込んで記録する方法や、映像データと、映像データを管理するための管理情報とを記録し、管理情報に先頭の撮影時刻情報やタイムコード情報を記録しておき、映像のフレーム位置（フレームオフセット）により任意の映像データ撮影時刻を特定する方法が挙げられる。本実施の形態では、映像の１フレームに対して時刻情報やタイムコード情報を埋め込む方式について説明する。
【００５０】
これらの映像記録装置３は、業務用途や民生用途のカメラレコーダにおいて一般的に広く実現されている技術であるため詳細の説明は省略する。なお、本実施の形態では、映像圧縮方式やコンテンツ（撮影映像データ）管理方式に依存しないため、どのようなコンテンツ管理方式でも用いることができる。また、映像記録装置３単体で撮影時刻情報が特定できなくても、少なくとも編集装置２において算出可能な構成であればよい。
【００５１】
（映像記録媒体）
次に、映像記録媒体４について説明する。映像記録媒体４は、磁気テープ媒体や半導体メモリ、光ディスクである。例えば、磁気テープ媒体の場合には、業務用のデジタルＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｄｅｒ）の規格の一つであるＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）−３１４Ｍ（ＤＶ−Ｂａｓｅｄ ２５Ｍ）規格のようにＤＩＦとして映像データに撮影日時、撮影時刻情報やタイムコード情報を関連付けて記録可能な構成となっている記録方式を採用することができる。
【００５２】
さらに、半導体メモリや光ディスク等のランダムアクセス可能な記録媒体である場合にも、ＳＭＰＴＥ−３１４Ｍ規格に従って生成された映像データと撮影日時、撮影時刻情報を含むデータをファイルとして記録する方式を用いることで、映像記録媒体４として用いることができる。なお、撮影時刻は映像データを管理する管理情報として別ファイルに記録してもよいし、あるいは、映像データを記録するためのファイルシステム上のタイムスタンプを参照してもよい。
【００５３】
（予定スケジュール情報のデータ構造及び記録形式）
次に、予定スケジュール情報のデータ構造及び記録形式に関して具体的に説明する。予定スケジュール情報の構成例を図２に示す。図２（ａ）は、予定スケジュール情報を管理するための構成例を示している。構成要素としては「スケジュール識別子」があり、「スケジュール識別子」は予定スケジュール情報を管理するための識別子である。例えば、「Ｓ０００１」等の文字列や番号を予定スケジュール情報に付与し、文字列や番号の一致を検索することにより、同一の予定スケジュール情報であることを識別する。
【００５４】
図２（ｂ）は、予定スケジュール情報の１項目（１イベント）の１構成例を示している。予定スケジュール情報は、図２（ｂ）で示す項目のリスト構造で表現され、図２（ｂ）の項目が、複数（複数イベント）構成される。予定スケジュール情報には、予定情報と、重要シーンとが含まれる。予定情報は、音声選択イベントに関する情報であり、「予定時刻」、「予定音声選択」、「予定内容」がある。重要シーンには、「開始時刻」、「重要シーン長」、「タイトル」がある。
【００５５】
一般的に、行事における重要なシーン（撮影して後日見たい区間）は限られる、もしくはパターン化されることが多い。このため、予定スケジュール情報が決まっていれば行事の開始前に重要シーンを設定しておくことが可能である。重要シーンとしては、例えば、講演会における特に重要事項を説明する区間、結婚式における新郎新婦の登場する区間、演劇においては開演から終演まですべての区間が挙げられる。
【００５６】
「予定時刻」は、予定イベント時刻情報に対応し、音声選択イベントが発生する予定時刻を示す。「予定音声選択」は、予定している音声選択部１６により選択（切り替え）された結果、最終的に音声出力部１５から出力される音声出力の種別であり、例えば、マイク音声が出力されている、ＣＤ再生音が出力されているといった音声選択情報である。「予定内容」は、音声選択部１６により選択（切り替え）された結果、最終的に音声出力部１５から出力される音声の属性情報を表し、例えば、マイク番号や、音楽（楽曲）の名前（任意の文字列）を示す。
【００５７】
「開始時刻」は、予定情報どおりに進行した場合の重要シーンの開始時刻を示す。「重要シーン長」は、予定情報どおりに進行した場合における重要シーンの区間長を示す。また、区間長の代わりに予定情報どおりに進行した場合の重要シーンの終了時刻を示す構成にしてもよい。「タイトル」は、重要シーンのタイトルであり、任意の文字列であればよい。これは、例えば編集時においてシーン選択等を画面に表示して利用される。
【００５８】
図３（ａ）は、図２に示した予定スケジュール情報を記録するための記録ファイル（以下、予定スケジュール情報ファイルと呼ぶ）の項目を示す図である。図３（ｂ）は、予定スケジュール情報ファイルの１具体例を示す図である。予定スケジュール情報ファイルは、テキスト形式とし、文字列を「，」で区切るＣｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ（ＣＳＶ）形式で記録されている。
【００５９】
図３（ｂ）の予定スケジュール情報ファイルの内容としては、ファイル先頭に図２で説明したスケジュール識別子を記述し、図２で説明した構成を順にならべて「，」で区切る形式とする。「予定時刻」、「開始時刻」には、午前の場合は「ＡＭ」、午後であれば「ＰＭ」を先頭につけて、「ＡＭ：１０：００：００」のように記述する。「予定音声選択」には、音声信号再生部１３から再生される音声信号を音声出力部１５に出力する場合には「ＣＤ再生」、マイク部１２の音声信号を音声出力部１５に出力する場合には「マイク音声」と記述する。
【００６０】
「予定内容」には、どのような文字列が記載されていてもよいが、本実施の形態では「予定音声選択」が「ＣＤ再生」の場合には楽曲名（図３の例では「楽曲Ａ」、「楽曲Ｂ」、「楽曲Ｃ」）を、「マイク音声」の場合にはマイク番号（図３の例では「マイクＢ」）と記述する。「重要シーン長」には、時間表示で「００：０２：００」と記述する。「タイトル」には、任意の文字列であるのでユーザが自由に記述することができる。なお、情報なしを表す場合、「ＮＯ＿ＩＮＦＯ」と記述することとする。本実施の形態では、時刻情報を文字列として表したが、時刻情報を意味するならばどのような記述形式でもよい。
【００６１】
（進行情報のデータ構造及び記録形式）
次に、進行情報のデータ構造及び記録形式について具体的に説明する。進行情報とは、実際に撮影対象行事で行われた進行状態に関する情報であり、スケジュール時刻差分検出部２２においてスケジュール情報との関連付けが行われる（詳細は後述する）。すなわち、進行情報には、上記関連付けのための要素が必要になるため、予定スケジュール情報と同様のリスト形式である。
【００６２】
図４は、進行情報の１構成例を示す。「進行情報識別子」は、進行情報を管理／識別するための識別子であり、任意の文字列である。同じ撮影対象行事に対しては、予定スケジュール情報のスケジュール識別子と一致することが好ましい。これは、予定スケジュール情報と、進行情報との関連付けが容易となるためである。なお、識別子ではなく、ファイルとして記録する際は、ファイル名に同一の文字列を付与して関連付けを行う方法でもよい。
【００６３】
「実開始時刻」は、イベント時刻情報に対応し、撮影対象行事の進行における音声選択イベント発生時刻（実際に音声選択イベントが発生した時刻）を表す。「音声選択結果」は、実開始時刻における音声選択部１６の選択状態を表し、図２に示す「予定音声選択」と対応する。「内容結果」は、音声選択部１６により選択（切り替え）された結果、最終的に音声出力部１５から出力される音声信号の属性情報を表し、図２に示す「予定内容」と対応する。
【００６４】
また、進行情報記録部１７は、進行情報を進行情報ファイルとして進行情報記録媒体５に記録する。進行情報ファイルの形式は、予定スケジュール情報ファイルと同様にテキスト形式（ＣＳＶ形式）とする。
【００６５】
（撮影対象）
次に、本実施の形態の映像編集システムにおける撮影方法と撮影対象行事の進行との関連を具体的に説明する。まず、想定される撮影対象行事について説明する。例えば、講演会、結婚式、演劇等では、司会者の行事開始のアナウンスがスピーカ等で出力される場合や、音楽（楽曲）の再生が開始されるのに合わせて講演者や演者が登場する場合がある。これらの例のように、撮影対象行事の進行中に音声選択イベントが発生する。これらの音声選択イベントは、重要シーンの開始直前や直後に発生する場合が多い。この撮影対象行事の進行中に音声選択イベントの発生時刻と音声選択結果を編集時に利用することで編集効率の向上を目指し、さらには、事前（撮影対象行事の開始以前）に作成する予定スケジュール情報を用いた重要シーンの切り出し編集が可能になる。
【００６６】
本実施の形態では、映像記録装置３を用いて、撮影対象行事の開始以前から撮影対象を記録開始、記録停止を間歇的に繰り返す撮影方法で撮影が行われる場合について説明する。なお、映像記録媒体４に記録可能な時間が撮影対象行事に対して十分長ければ、講演会や結婚式、演劇のように撮影対象が動く範囲が限定される場合にはカメラレコーダの撮影位置を固定化して、常に記録することにより撮影者が撮影状況を監視せずに撮影を行うことも可能である。
【００６７】
（重要シーンの抽出方法）
次に、編集時に重要シーンを抽出する基本的な概念を説明する。まず、編集の基本となる映像データのシーン分割について、図５を参照しながら説明する。図５は、映像データのシーン分割を示す概念図である。音声出力（ａ）は、音声出力部１５から出力された音声信号の様子を模式的に表しており、時刻００：００：００：００において、音声出力部１５から「楽曲Ａ」（音声信号再生部１３がＣＤ再生する）が出力されている。同じように、００：００：０２：１５において、音声出力部１５から出力される音声信号が、ＣＤ再生音声からマイク音声（マイク部１２から入力される音声信号）に切り替わり、時刻００：００：１３：２０に再度ＣＤ再生音声に切り替わり「楽曲Ｃ」が出力されている。
【００６８】
記録形式（ｂ）は、映像記録媒体４に記録された映像データを示す図である。また、再生形式（ｃ）は、映像データが編集（分割）された状態を示す図である。
【００６９】
この音声選択部１６において行われる音声選択の変更や、再生曲変更を分割点（図５における分割点１、分割点２、分割点３）としてシーン分割することができる。以上が、編集時におけるシーンの自動シーン分割の基本的な概念である。
【００７０】
ここで、音声選択部１６は、音声信号再生部１３に対して、指定した曲を再生する構成とする（詳細は後述する）。また、図５における時刻はタイムコード値を表しており、時、分、秒、フレーム桁を「：」により区切った表記である。例えば、００：００：０２：１５は、２秒１５フレームを表す。この分割点の撮影時刻情報を映像データに関連付けて映像記録媒体４に記録しておけば、編集装置２において容易にシーン分割を行うことができる。
【００７１】
しかしながら、上記の基本的なシーン分割の概念を映像記録装置３のみで実現する場合には、ユーザが所望するシーン分割を行えない場合がある。例えば、記録停止や記録開始を間歇的に行う記録方法においては、音声選択イベントの発生時に撮影していない可能性があり、この場合には、映像データに分割点を関連付けることができないため、シーン分割を行うことができない。
【００７２】
本実施の形態では、映像編集装置２において、上記進行記録媒体５と、映像記録媒体４と予定スケジュール情報から映像編集部２３において映像編集を行う。図６は、本実施の形態における映像データの重要シーン切り出し方法の概念図である。「予定スケジュール情報」（ａ）は、音声選択変更や再生曲変更の発生時刻（予定する音声選択イベント発生時刻）及び予定スケジュール情報が含まれる重要シーン情報を有する。
【００７３】
「実際の進行（音声出力）」（ｂ）に記載している内容は、例えば会場にスピーカで出力される音声とその切り替えタイミング情報を（音声選択イベントの発生時刻と音声選択結果及び内容結果）有する。「記録データ」（ｃ）は、「進行情報」と「映像データ」からなる。「進行情報」は、実際の進行の音声選択変更、再生曲変更が音声選択イベント０、１、２、３のように進行情報として進行情報記録媒体５に記録されている。
【００７４】
「重要シーン切り出し後」（ｄ）は、予定スケジュール情報に含まれる重要シーン情報に対応する映像データを抽出して撮影順にならべられたものである。なお、撮影順に並べるのではなく、任意の順番に並べるためには、重要シーン情報に順番情報（番号）を付与しておけば容易に実現できる。
【００７５】
本実施の形態では、重要シーンは、イベント時点を時刻の基準に規定されている。したがって、図６に示すように、楽曲Ａの開始位置が予定スケジュールからずれると、これにともない分割点（音声選択変更など）もずれる。重要シーンは、分割点から一定時間離れて（あるいは同時に）始まるので、重要シーンも予定スケジュールからずれる。映像データにおいて、分割点から一定時間離れた区間を切り出すことにより、重要シーンを抽出することができる。
【００７６】
したがって、本実施の形態に係る映像編集システムは、イベント２に示すように、イベント開始時には映像記録装置３が映像を記録していなくても、重要シーン開始時に映像記録装置３が映像を記録していれば、重要シーンを切り出すことができる。
【００７７】
次に、本実施の形態における映像編集システムの各部の動作についてさらに詳細に説明する。
【００７８】
（音声スイッチャの動作）
まず、音声選択部１６における撮影対象行事の進行中における音声選択イベント発生の検出について具体的に説明する。図７は、本実施の形態における音声スイッチャ１４のより詳細な構成を示すブロック図である。音声選択部１６は、ユーザから操作を受け付けるための操作入力部３１と、操作入力部３１の操作情報に基づいて出力音声信号を選択する切替部３２と、操作入力部３１の操作情報に基づいて音声信号再生部１３に再生を指示し、楽曲名を取得する再生指示部３３とを有する。
【００７９】
また、音声信号（楽曲信号、マイク音声信号）を入力するための第１の音声入力部３４、第２の音声入力部３５を有する。さらに、切替部３２から供給される音声選択結果と、再生指示部３３から供給される再生開始情報と楽曲名とを進行情報記録部１７に通知する音声選択イベント情報通知部３６と、音声選択イベント発生時刻を生成するための時刻生成部３７とを有する。なお、第１の音声入力部３４、第２の音声入力部３５に関しては、必要な音声信号の入力数に応じて変更すればよい。
【００８０】
操作入力部３１は、ユーザから操作を受け付け、切替部３２と再生指示部３３に操作情報を供給する。操作入力部３１は、ＣＤ再生からマイク音声に切り替える時のように、第１の音声入力部３４と第２の音声入力部３５の選択切り替えが発生する場合には、切替部３２に、操作情報を供給する。また、操作入力部３１は、ＣＤ再生を開始する場合、あるいはＣＤ再生する楽曲を変更する場合には、再生指示部３３に操作情報を供給する。
【００８１】
切替部３２は、操作入力部３１の操作情報（すなわち音声選択）に基づいて第１の音声入力部３４から供給される楽曲信号及び第２の音声入力部３５から供給されるマイク音声信号のいずれかまたは両方を選択して音声出力部１５に供給する。また、切替部３２は、音声選択イベント情報通知部３６に、音声選択が行われた旨（音声選択結果）と、その内容結果とを通知する。切替部３２は、一般的な音声スイッチャに搭載されている一般的な機能と同じである。
【００８２】
再生指示部３３は、操作入力部３１の操作情報（再生指示情報）に基づいて、音声信号再生部１３に再生開始及び再生停止を指示する。また、再生中（及び再生の開始を指示している）の楽曲名（進行情報の内容結果に対応する）を取得し、音声選択イベント情報通知部３６に供給する。本実施の形態の再生指示部３３は、一般的な音楽用再生機に搭載される技術で実現可能であるので詳細は省略する。第１の音声入力部３４、第２の音声入力部３５は、それぞれ音声信号再生部１３とマイク部１２から供給される音声信号（楽曲信号、マイク音声信号）を受け取り、切替部３２に供給するインターフェースである。音声信号の伝送媒体等は特に問わず、一般的な音声インターフェースで実現可能である。
【００８３】
時刻生成部３７は、音声選択イベント発生時の時刻を生成し、音声選択イベント発生時刻として音声選択イベント情報通知部３６に供給する。時刻生成部３７は、Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ（ＲＴＣ）機能を有する集積回路を搭載することで時刻を生成する。音声選択イベント情報通知部３６が、音声選択イベント発生時に時刻生成部３７に対して音声選択イベント発生時刻を取得する構成とするため、時刻生成部３７はＲＴＣにより各時々の時刻を算出できる構成であればよい。
【００８４】
音声選択イベント情報通知部３６は、切替部３２から供給される音声選択結果および内容結果と、再生指示部３３から供給される再生中の（及び再生を開始指示している）楽曲名と、時刻生成部３７から取得する音声選択イベント発生時刻とから１イベント分の進行情報を生成する。図８は、進行情報ファイルの１具体例を示す図である。図８の進行情報は、図３（ａ）の予定スケジュール情報に対応するものである。
【００８５】
（進行情報生成方法）
次に、音声選択イベント情報通知部３６における進行情報生成方法について説明する。図８に示すように、例えば、図４で説明した進行情報について、「実開始時刻」は、音声選択イベント発生時刻に対応し、時刻情報をそのまま記述すればよい。「音声選択結果」は、切替部３２から供給される音声選択結果（例えば、図８における「マイク音声」あるいは「ＣＤ再生」）に対応する。
【００８６】
また、「内容結果」は、音声選択結果により記述する内容が異なり、切替部３２から供給される内容結果を記述するか、再生指示部３３から供給される再生中の（及び再生開始を指示している）楽曲名を記述するかを選択することにより得られる。例えば、音声選択結果が「マイク音声」である場合には、切替部３２から供給される内容結果（例えば、図８における「マイクＢ」）を記述し、「ＣＤ再生」である場合には、再生指示部３３から供給される再生中の（及び再生開始を指示している）楽曲名（例えば、図８における「楽曲Ａ」、「楽曲Ｂ」、「楽曲Ｃ」）を記述する。
【００８７】
なお、切替部３２から供給される内容結果の文字列の生成に関しては、説明の便宜上「マイクＢ」としているが、単に「マイク」としても、音声選択を切り替える毎に数値をインクリメントして「マイク１」、「マイク２」、・・・とする方式でもよい。本実施の形態では、「マイクＢ」と「マイク」を同一のもの（すなわち「Ｂ」は意味が無いもの）として説明する。
【００８８】
また、音声選択イベント情報通知部３６は、生成した１イベント分の進行情報を進行情報記録部１７に供給する。進行情報記録部１７は、音声選択イベント情報通知部３６から供給される１イベント分の進行情報を保持し、リスト化して全イベント分の進行情報を管理する。音声選択イベント情報通知部３６は、好ましくは撮影対象行事の開始から終了までの間における進行情報を保持する。ただし、撮影対象行事の開始後など、撮影開始直後からの映像を記録する場合には、進行情報を電源投入時やユーザからの行事開始操作を受け付けてから終了するまでの間の進行情報を保持しておけばよい。
【００８９】
また、進行情報記録部１７で作成、保持している進行情報（全イベント分のリスト）を撮影対象行事の終了の時点で進行情報記録媒体５に記録する。撮影対象行事の終了は、ユーザから明示的に終了指示により行われる。
【００９０】
（映像データの編集の詳細）
次に、映像データの編集について詳細に説明する。まず、スケジュール管理部２１における予定スケジュール情報の管理方法を具体的に説明する。スケジュール管理部２１に必要な機能としては、第１に予定スケジュール情報を作成する機能、第２に指定したスケジュール識別子に対応する予定スケジュール情報をスケジュール時刻差分検出部２２に供給する機能、第３に過去に作成した予定スケジュール情報を保持する機能、第４に保持している過去の予定スケジュール情報を修正して新規の予定スケジュール情報を作成する機能である。
【００９１】
予定スケジュール情報を記録する予定スケジュール情報ファイルは、ＣＳＶ形式のテキストファイルであり、かつ、スケジュール管理部２１は、本実施の形態ではコンピュータ上のプログラムとして実現している。このため、上記４つの必要な機能を有する予定スケジュール管理部２１は、一般的なコンピュータ処理技術で実現可能である。
【００９２】
次に、スケジュール時刻差分検出部２２における予定スケジュール情報と進行情報の音声選択イベント発生時刻の時刻差分検出方法を具体的に説明する。時刻差分を検出するために、２段階の処理を行う必要がある。第１段階として予定スケジュール情報と進行情報の各情報の関連付けを行い、第２段階として関連付けされた予定時刻と音声選択イベント発生時刻の差分を算出する。
【００９３】
第１段階の処理である予定スケジュール情報と進行情報の各情報（各イベント）との関連付け方法について説明する。まず、スケジュール時刻差分検出部２２は、進行情報記録媒体５に記録された進行情報を読み込み、スケジュール管理部２１から読み込んだ進行情報に対応する予定スケジュール情報を取得する。対応する予定スケジュール情報は、進行情報の進行情報識別子と予定スケジュール情報のスケジュール識別子を比較し、一致を確認することにより進行情報と関連付けられる。
【００９４】
次に、予定スケジュール情報と進行情報中に含まれる各時刻情報や音声選択情報、内容結果から各イベントの対応付けを行う。図９は、予定スケジュール情報と進行情報との対応付けの具体例を示す図である。図９（ａ）は予定スケジュール情報であり、図９（ｂ）は進行情報である。図９（ｃ）は、図９（ａ）の予定スケジュール情報と、図９（ｂ）の進行情報との対応付け結果を示す。図９（ａ）のスケジュール識別子と、図９（ｂ）の進行情報識別子の図示を省略しているが両識別子とも「Ｓ０００１」とする。
【００９５】
まず、スケジュール時刻差分検出部２２は、図９（ｂ）の進行情報を進行情報記録媒体５から読み込む。次に、スケジュール時刻差分検出部２２は、スケジュール管理部２１から予定スケジュール情報を取得する。
【００９６】
次に、スケジュール時刻差分検出部２２は、予定スケジュール情報の各イベントの各要素を比較して、予定スケジュール情報のイベントと進行情報のイベントとを対応付ける。具体的には、「予定音声選択」と「音声選択結果」、「予定内容」と「内容結果」を比較しすべて一致した場合、同一イベントとして検出する。例えば、図９に示す「予定イベント１」と「進行イベント１」を比較する場合、予定音声選択と音声選択結果（「ＣＤ再生」）と、予定内容と内容結果（「楽曲Ａ」）が一致するため、同一イベントとして検知し、図９（ｃ）の「イベント１」として、予定スケジュール情報と進行情報との対応付けを行う。
【００９７】
同様にして、「イベント２」、「イベント３」、「イベント４」についても、対応付けが行われる。一般的に、スケジュールは時刻順に記述されるため、予定スケジュール情報の時刻が最古のイベントと、進行情報の時刻が最古のイベントから順次比較すれば、同一イベント検出処理を効率的に行うことができる。
【００９８】
次に、第２段階の処理である対応付けされた予定時刻と音声選択イベント発生時刻の時刻差分を算出する方法を説明する。上記第１段階の処理において、予定スケジュール情報と進行情報の各イベントとの対応付けが完了する。したがって、予定時刻からイベント発生時刻の時刻差分を算出するには、各イベントに対する実開始時刻から予定時刻を減算すればよい。ずなわち、時刻差分ｔ（時刻差分）は、以下の式で表される。
【００９９】
ｔ（時刻差分）＝ｔ（実開始時刻）−ｔ（予定時刻）
ここで、ｔ（実開始時刻）を進行情報の実開始時刻、ｔ（予定時刻）を予定スケジュール情報の予定情報における予定時刻とする。
【０１００】
また、図１０は、図９（ｃ）で対応付けられた予定スケジュール情報と進行情報における時刻差分算出結果を示す図である。「時刻差分」において、各イベントが１０分〜１２分予定時刻より遅れていることがわかる。ここで「時刻差分」の「００：１０：００」は、１０分を表し、時間、分、秒の桁を「：」で区切る形式とする。
【０１０１】
次に、重要シーン切り出し部２４における重要シーンの切り出し方法について具体的に説明する。図１１は、重要シーン切り出し処理前と重要シーン切り出し処理後の関係を示す図である。
【０１０２】
まず、「切り出し開始時刻」は、重要シーンとして映像データの切り出しを開始する点（カット編集点）を示し、開始時刻から時刻差分を加算した時刻である。ただし、時刻差分は負の値もあり得るため、時間差が負の値の場合は、負の値を加算する、すなわち、実開始時刻から時刻差分を減算した値となる。例えば、図１１の重要シーン１について、重要シーン情報の開始時刻がＡＭ１０：００：００で、時刻差分が００：１０：００であるため、切り出し開始時刻はＡＭ１０：１０：００となる。切り出しシーン長は、重要シーンとして切り出す区間長（時間長）を表し、重要シーン情報の重要シーン長と同じ区間長（時間長）である。切り出しタイトルは、重要シーン切り出し後のタイトルを表し、重要シーン情報のタイトルと同じ文字列である。
【０１０３】
次に、図６を参照しながら映像と重要シーン切り出し結果との関係を説明する。ここで、図１１と図６は同一の具体例を示してしており、図６と図１１の例では、予定スケジュール情報に対して実際の進行における撮影対象行事の開始時刻は１０分遅れている。
【０１０４】
また、重要シーン切り出し部２４は、映像記録媒体４に記録された映像データに対応されている撮影時刻情報から、音声選択イベント発生時刻と同一時刻に対応付けられる映像データ（１フレーム分の映像データ）の位置（例えば、先頭の映像データからのフレームオフセット）を検出する。すなわち、図６に示す「記録データ」に記載されているとおり、上記の方法で映像データと進行情報とが関連付けられる。
【０１０５】
次に、重要シーンの切り出し部２４は、上記進行情報と映像データとを対応付けた結果と、予定スケジュール情報における重要シーン情報とに基づいて、重要シーンの切り出し処理を行う。切り出す重要シーンの開始点の時刻ｔ（重要シーン開始）は、下記の式で表すことができる。
【０１０６】
ｔ（重要シーン開始）＝ｔ（開始時刻）＋ｔ（時刻差分）
ここで、ｔ（時刻差分）を前述した時刻差分、ｔ（開始時刻）を予定スケジュール情報の重要シーン情報としての開始時刻とする。
【０１０７】
また、切り出す重要シーンの終了点の時刻ｔ（重要シーン終了）は、下記の式で表すことができる。
【０１０８】
ｔ（重要シーン終了）＝ｔ（重要シーン開始）＋ｔ（重要シーン長）
ただし、ｔ（重要シーン長）は、予定スケジュール情報の重要シーン情報としての重要シーン長である。
【０１０９】
次に、以上の重要シーンの切り出し方法で算出された重要シーンの開始点の時刻（ｔ（重要シーン開始））から終了点の時刻（ｔ（重要シーン終了））に対応する映像データの区間を重要シーンとして切り出す。図１２は、切り出された重要シーンの開始点の時刻と終了点の時刻の算出方法と重要シーンの切り出しの具体例（図６における重要シーンＢの切り出しの例）を示す図である。
【０１１０】
なお、ｔ（時刻差分）の算出は、重要シーン情報の開始時刻（ｔ（開始時刻））に一番時刻が近い音声選択イベント（の実開始時刻）に基づいて算出すればよい。また、切り出し後の重要シーンの開始点の時刻と終了点の時刻とを対応する映像データは、映像データの各フレームに関連付けられた撮影時刻を参照して検出してもよいし、予定時刻（ｔ（予定時刻））と開始時刻（ｔ（開始時刻））の差分からフレームオフセットを算出し、各撮影時刻に対応する映像データを導き出してもよい。
【０１１１】
以上の方法により、実際の進行の遅れによらず、予定スケジュール情報の重要シーン情報どおりに重要シーンの切り出しが行われる。なお、図６に示すように、例えば、イベント２の時刻では映像データの記録が行われていない。この場合にも、上述した方法で重要シーンの切り出しを行うことが可能である。
【０１１２】
以上のように、本実施の形態の映像編集システムによれば、編集効率を飛躍的に向上させることができ、ユーザにとって利便性の高い編集装置を実現することができる。
【０１１３】
なお、予定スケジュール情報ファイルおよび進行情報ファイルを記録する際に、テキスト形式（ＣＳＶ形式）により記録する方法を説明したが、例えば、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式等のマークアップ言語や、テキスト形式をバイナリデータ化した形式等で記述しても同様の効果を発揮する。
【０１１４】
さらに、本実施の形態では、音声選択イベントに関して説明したが、例えば、映像からシーンチェンジを検出することや、音声から大きな音を検出する新たに手段を備えれば、同様の構成で同様の効果を発揮することが可能である。
【０１１５】
さらに、映像記録装置３における撮影時刻の記録に関して、映像データを管理する管理情報（例えば、映像データと別ファイル）として記録してもよいし、ファイルシステム上のタイムスタンプを参照してもよい。
【０１１６】
なお、本実施の形態において、スケジュール時刻差分検出部２２は、スケジュール管理部２１からスケジュール情報を取得して、スケジュール情報と進行情報とを比較する場合について説明した。しかし、本発明のこの実施形態に限定されず、例えば、スケジュール時刻差分検出部２２は、進行情報識別子（例では「Ｓ０００１」）をスケジュール管理部２１に供給して対応する図９（ａ）の予定スケジュール情報を取得する構成にすることもできる。
【産業上の利用可能性】
【０１１７】
本発明にかかる映像編集システムは、ユーザの編集における利便性を飛躍的に向上させるもので、磁気テープ媒体や半導体メモリや光ディスク等を応用した映像編集システムや映像編集装置や音響設備等を含むイベント会場の設備等に広く利用可能である。
【図面の簡単な説明】
【０１１８】
【図１】本発明の実施の形態に係る映像編集システムの構成を示すブロック図
【図２】本実施の形態における予定スケジュール情報の１構成例を示す図
【図３】本実施の形態における予定スケジュール情報ファイルの１具体例を示す図
【図４】本実施の形態における進行情報の１構成例を示す図
【図５】本実施の形態における映像データのシーン分割を示す概念図
【図６】本実施の形態における映像データの重要シーンの切り出しを示す概念図
【図７】本実施の形態における音声スイッチャの詳細な構成を示すブロック図
【図８】本実施の形態における進行情報ファイルの１具体例を示す図
【図９】本実施の形態における予定スケジュール情報と進行情報との関連付け結果の１具体例を示す図
【図１０】本実施の形態における時刻差分を算出した結果の１具体例を示す図
【図１１】本実施の形態における重要シーン切り出し処理前と重要シーン切り出し処理後の関係を示す図を示す図
【図１２】本実施の形態における重要シーン切り出し開始時刻と終了時刻算出方法を示す概念図
【符号の説明】
【０１１９】
１ 音声再生選択装置
２ 編集装置
３ 映像記録装置
４ 映像記録媒体
５ 進行情報記録媒体
１１ 音声用記録媒体
１２ マイク部
１３ 音声信号再生部
１４ 音声スイッチャ
１５ 音声出力部
１６ 音声選択部
１７ 進行情報記録部
２１ スケジュール管理部
２２ スケジュール時刻差分検出部
２３ 映像編集部
２４ 重要シーン切り出し部
３１ 操作入力部
３２ 切替部
３３ 再生指示部
３４ 第１の音声入力部
３５ 第２の音声入力部
３６ 音声選択イベント情報通知部
３７ 時刻生成部
【特許請求の範囲】
【請求項１】
映像データを記録媒体に記録する撮像記録部と、
複数の信号が入力可能であり、前記入力された信号を操作者の選択により切り替えて出力する信号選択部と、
前記信号選択部が前記信号を切り替えた選択時刻および切替状態情報を記録する選択情報記録部と、
前記信号選択部の切り替え予定を示す予定選択情報および、前記信号選択部が切り替える予定選択時刻を有する予定スケジュール情報を管理するスケジュール管理部と、
前記選択時刻と前記予定選択時刻とを比較して時刻差分を検出するスケジュール時刻差分検出部と、
前記予定スケジュール情報の予定選択情報および前記時刻差分に基づいて、前記映像データを前記予定スケジュール情報と関連付け、前記関連付けられた予定スケジュール情報に基づいて前記映像データの編集を行う映像編集部とを備えた映像編集システム。
【請求項２】
前記信号は、音声信号である請求項１記載の映像編集システム。
【請求項３】
前記音声信号を前記信号選択部に入力する複数の音声信号出力部と、
前記信号選択部から出力された音声信号を音声に変換する音声出力部とを備え、
前記音声信号出力部の１つは、音声記録媒体の情報を読み取って音声信号を再生する音声信号再生部であり、
前記予定スケジュール情報は、各スケジュールで再生する音声情報を有し、
前記再生されている音声と、前記音声情報とが一致することにより前記映像データと前記予定スケジュール情報とを関連付ける請求項２記載の映像編集システム。
【請求項４】
前記予定スケジュール情報は、重要シーン情報のシーン開始時刻と区間長情報とを有し、
前記映像データから前記重要シーンを抽出する重要シーン抽出部を備える請求項１記載の映像編集システム。
【請求項５】
記録媒体の情報を読み取って音声信号を再生する音声信号再生部と、
音声を音声信号に変換する音声入力部と、
前記音声信号再生部からの前記音声信号と、前記音声入力部からの前記音声信号とを操作者の選択により切り替えて音声信号を出力する信号選択部と、
前記信号選択部から出力された前記音声信号を音声に変換する音声出力部と、
前記信号選択部が前記音声信号を切り替えた選択時刻および切替状態情報を記録媒体に記録する選択情報記録部とを備えた音声再生装置。
【請求項６】
複数の音声信号出力部からの音声信号を操作者の選択により切り替えて１つの音声信号を出力する音声信号選択部と、
前記信号選択部が前記信号を切り替えた選択時刻および切替状態情報を記録する選択情報記録部とを備えた音声スイッチャ装置。
【請求項７】
複数の信号を切り替えて１つの信号を出力する信号選択部の切り替え予定を示す予定選択情報および、前記信号選択部が切り替える予定選択時刻を有する管理するスケジュール管理部と、
操作者の選択により、信号選択部の信号を切り替えた選択時刻および切替状態情報を読み出し、前記予定スケジュール情報と前記選択時刻および切替状態情報とを関連付け、前記選択時刻と前記予定選択時刻との時刻差分を検出するスケジュール差分検出部と、
前記予定スケジュール情報および前記時刻差分に基づいて、前記映像データを前記予定スケジュール情報と関連付け、前記関連付けられた予定スケジュール情報に基づいて前記映像データの編集を行う映像編集部とを備えた映像編集装置。
【請求項８】
前記予定スケジュール情報に重要シーン情報のシーン開始時刻と区間長情報を有し、
前記映像データから前記重要シーンに対応するシーンを抽出する重要シーン抽出部を有する請求項７記載の映像編集装置。
【請求項１】
映像データを記録媒体に記録する撮像記録部と、
複数の信号が入力可能であり、前記入力された信号を操作者の選択により切り替えて出力する信号選択部と、
前記信号選択部が前記信号を切り替えた選択時刻および切替状態情報を記録する選択情報記録部と、
前記信号選択部の切り替え予定を示す予定選択情報および、前記信号選択部が切り替える予定選択時刻を有する予定スケジュール情報を管理するスケジュール管理部と、
前記選択時刻と前記予定選択時刻とを比較して時刻差分を検出するスケジュール時刻差分検出部と、
前記予定スケジュール情報の予定選択情報および前記時刻差分に基づいて、前記映像データを前記予定スケジュール情報と関連付け、前記関連付けられた予定スケジュール情報に基づいて前記映像データの編集を行う映像編集部とを備えた映像編集システム。
【請求項２】
前記信号は、音声信号である請求項１記載の映像編集システム。
【請求項３】
前記音声信号を前記信号選択部に入力する複数の音声信号出力部と、
前記信号選択部から出力された音声信号を音声に変換する音声出力部とを備え、
前記音声信号出力部の１つは、音声記録媒体の情報を読み取って音声信号を再生する音声信号再生部であり、
前記予定スケジュール情報は、各スケジュールで再生する音声情報を有し、
前記再生されている音声と、前記音声情報とが一致することにより前記映像データと前記予定スケジュール情報とを関連付ける請求項２記載の映像編集システム。
【請求項４】
前記予定スケジュール情報は、重要シーン情報のシーン開始時刻と区間長情報とを有し、
前記映像データから前記重要シーンを抽出する重要シーン抽出部を備える請求項１記載の映像編集システム。
【請求項５】
記録媒体の情報を読み取って音声信号を再生する音声信号再生部と、
音声を音声信号に変換する音声入力部と、
前記音声信号再生部からの前記音声信号と、前記音声入力部からの前記音声信号とを操作者の選択により切り替えて音声信号を出力する信号選択部と、
前記信号選択部から出力された前記音声信号を音声に変換する音声出力部と、
前記信号選択部が前記音声信号を切り替えた選択時刻および切替状態情報を記録媒体に記録する選択情報記録部とを備えた音声再生装置。
【請求項６】
複数の音声信号出力部からの音声信号を操作者の選択により切り替えて１つの音声信号を出力する音声信号選択部と、
前記信号選択部が前記信号を切り替えた選択時刻および切替状態情報を記録する選択情報記録部とを備えた音声スイッチャ装置。
【請求項７】
複数の信号を切り替えて１つの信号を出力する信号選択部の切り替え予定を示す予定選択情報および、前記信号選択部が切り替える予定選択時刻を有する管理するスケジュール管理部と、
操作者の選択により、信号選択部の信号を切り替えた選択時刻および切替状態情報を読み出し、前記予定スケジュール情報と前記選択時刻および切替状態情報とを関連付け、前記選択時刻と前記予定選択時刻との時刻差分を検出するスケジュール差分検出部と、
前記予定スケジュール情報および前記時刻差分に基づいて、前記映像データを前記予定スケジュール情報と関連付け、前記関連付けられた予定スケジュール情報に基づいて前記映像データの編集を行う映像編集部とを備えた映像編集装置。
【請求項８】
前記予定スケジュール情報に重要シーン情報のシーン開始時刻と区間長情報を有し、
前記映像データから前記重要シーンに対応するシーンを抽出する重要シーン抽出部を有する請求項７記載の映像編集装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−５６６８１（Ｐ２０１０−５６６８１Ａ）
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願番号】特願２００８−２１７１７４（Ｐ２００８−２１７１７４）
【出願日】平成２０年８月２６日（２００８．８．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願日】平成２０年８月２６日（２００８．８．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]