映像編集装置およびその制御方法
【課題】 各種カットシーン内の映像の動きを音楽のリズムを合わせる作業を効率よく行う。
【解決手段】 映像信号と音楽信号を編集する映像編集装置であって、音楽信号のリズム点を検出するリズム点検出手段と、前記リズム点検出手段で検出した音楽信号のリズム点に基づいて、映像信号を時間方向に分割した分割領域を作成する分割領域作成手段と、前記分割領域作成手段で作成した分割領域毎に映像の動きを評価し、時間方向の変化において繰り返しの規則性がある部分の分割領域を検出する繰り返し検出手段とを備える。
【解決手段】 映像信号と音楽信号を編集する映像編集装置であって、音楽信号のリズム点を検出するリズム点検出手段と、前記リズム点検出手段で検出した音楽信号のリズム点に基づいて、映像信号を時間方向に分割した分割領域を作成する分割領域作成手段と、前記分割領域作成手段で作成した分割領域毎に映像の動きを評価し、時間方向の変化において繰り返しの規則性がある部分の分割領域を検出する繰り返し検出手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽のリズムに合うように映像を編集する技術に関するものである。
【背景技術】
【０００２】
近年、家庭用デジタルビデオカメラの普及により、簡単にデジタル映像を撮影し、鑑賞することができるようになっている。例えば、撮影された映像に動きが無い部分が多いものを鑑賞する場合には退屈になることもある。そこで、撮影された映像を素材として、種々の映像編集を行うことが有効である。編集方法としては、素材のなかから好みのカットシーンを切り出し、種々の音楽を付与したりすることが知られている。
【０００３】
このとき、映像の変化と音楽再生のタイミングを合わせるように編集を行うことが望ましい。この映像の変化にはカットシーンが切り替わるものと、カットシーン内の映像の動きによるものが考えられる。前者を音楽のリズムに合わせるためには、音楽のリズム点とカットシーンの開始時間が一致するようにカットシーンを配置すれば良い。後者を音楽のリズムに合わせるためには、音楽のリズムと映像の動きが合うカットシーンを素材から探し出して配置すれば良い。しかしながら、これら編集は手作業で行われるため編集者にとっては非常に手間がかかる。
【０００４】
これに対して、映像の変化と音楽を合わせる作業を容易にする技術（特許文献１）が知られている。特許文献１では、素材映像の映像信号と音楽信号における遷移点を検出し、それぞれの遷移点が一致するように素材映像を切り出す。これにより、カットシーンの切り替わりによる映像の変化と音楽を合わせる作業が自動的に行われる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２５９３０２号公報
【特許文献２】特公平０７−０１３７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１による方法では、映像中の動きが音楽のリズムに合っているかどうかを判断することまではできず、各種カットシーン内の映像の動きを音楽のリズムを合わせることまではできない。
本発明は、上記従来例に鑑みてなされたものであり、各種カットシーン内の映像の動きを音楽のリズムを合わせる作業を効率よく行うことを主な目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の映像編集装置によれば、映像信号と音楽信号を編集する映像編集装置であって、音楽信号のリズム点を検出するリズム点検出手段と、前記リズム点検出手段で検出した音楽信号のリズム点に基づいて、映像信号を時間方向に分割した分割領域を作成する分割領域作成手段と、前記分割領域作成手段で作成した分割領域毎に映像の動きを評価し、時間方向の変化において繰り返しの規則性がある部分の分割領域を検出する繰り返し検出手段とを備える。
【発明の効果】
【０００８】
本発明によれば、各種カットシーン内の映像の動きを音楽のリズムを合わせる作業を効率よく行うことができる。
【図面の簡単な説明】
【０００９】
【図１】実施例におけるシステム構成を示す図
【図２】実施例における映像編集装置のＧＵＩを示す図
【図３】カット作成処理の流れを示すフローチャート
【図４】音楽のリズム点のタイムライン上の配置を示す図
【図５】分割領域の格納例を示す図
【図６】動き周期領域の格納例を示す図
【図７】素材映像の分割領域作成処理の流れを示すフローチャート
【図８】分割領域の動き評価値を取得する処理を示すフローチャート
【図９】動き周期領域検出処理の流れを示すフローチャート
【発明を実施するための形態】
【００１０】
以下、図面を用いて本発明を具体的に説明する。
【００１１】
＜実施例１＞
図１は、本実施例を実現する画像処理システム（映像編集装置とも言う）の概略を示した図である。ＣＰＵ１０１は、システム全体の動作をコントロールし、一次記憶１０２に格納されたプログラムの実行などを行う。一次記憶１０２は、主にメモリであり、二次記憶１０３に記憶されたプログラムなどを読み込んで格納する。二次記憶１０３は、例えばハードディスクなどの記録媒体がこれに該当する。一般に一次記憶の容量は二次記憶の容量より小さく、一次記憶に格納しきれないプログラムやデータなどは二次記憶に格納される。また、長時間記憶しなくてはならないデータなども二次記憶に格納される。本実施例では、実施形態の処理手順を実現するようなプログラムは二次記憶１０３に格納し、プログラム実行時に一次記憶１０２に読み込んで、ＣＰＵ１０１が実行処理を行う。入力デバイス１０４とは例えば、マウスやキーボードなどがこれに該当する。出力デバイス１０５とは例えば、モニタやプリンタなどがこれに該当する。読込デバイス１０６は、公知のＣＣＤ素子などで構成されている撮像装置で撮像された映像を直接又は間接的に一次記憶装置や二次記憶装置へ読み込む。
【００１２】
図２は、本実施例における映像編集装置のＧＵＩの概要を示す図である。音楽選択画面２０１には、映像編集で利用可能な音楽の一覧を表示する。素材映像選択画面２０２には、映像編集で利用可能な素材映像の一覧を表示する。カット選択画面２０３には、映像編集で利用可能なカットシーンの一覧を表示する。ここで、カットシーンとは、素材映像中の任意の時間範囲を切り出したものであり、以下カットとも呼ぶ。タイムライン編集画面２０４には、編集後映像のタイムラインを表示する。タイムライン上に音楽やカットを配置し、それぞれの再生開始時間、再生時間を決定することで、映像編集を行う。タイムライン上への音楽の配置は、音楽選択画面２０１上のアイコンを、タイムライン上の任意の位置へドラッグアンドドロップすることで行う。タイムライン上へのカットの配置は、カット選択画面２０３上のアイコンを、タイムライン上の任意の位置へドラッグアンドドロップすることで行う。
【００１３】
プレビュー画面２０５には、編集後映像のプレビューを表示する。プレビュー画面２０５をクリックすることで、タイムライン編集画面２０４のタイムライン上に配置された音楽，カットを再生する。レンダリングボタン２０６を押下すると、編集後映像を作成する。編集後映像は、タイムライン編集画面２０４のタイムライン上に配置された音楽やカットを一連の映像としてまとめたものとなる。編集後映像は、ＡＶＩやＭＰＥＧやＨ２６４など、公知の動画フォーマットのファイルで保存する。カット作成ボタン２０７は、音楽と素材映像をそれぞれ選択した状態でのみ有効となる。音楽の選択は、音楽選択画面２０１上のアイコンか、又はタイムライン編集画面２０４のタイムライン上に配置された音楽を指定することで行う。素材映像の選択は、素材映像選択画面２０２上のアイコンを指定することで行う。カット作成ボタン２０７を押下すると、選択された音楽のリズムと映像の動きが合う部分を、選択された素材映像から探し出し、カットを作成する。作成したカットは、カット選択画面２０３に追加される。カットの作成方法については、図３を用いて後述する。
【００１４】
図３は、カット作成ボタン２０７を押下した際の、音楽のリズムと映像の動きが合う部分を素材映像から探し出してカットを作成する処理の流れを示すフローチャートである。
ステップＳ３０１では、選択された音楽のリズム点を検出する。なお、音楽のリズム点検出は、特開２００８−２７５９７５などに開示されているような公知技術を用いて行う。検出されたリズム点は、図４に示すように、音楽のタイムライン上に等時間間隔に現れる点で表現できる。ステップＳ３０２では、素材映像を時間方向に分割する分割間隔を決定する。分割間隔の単位は秒である。分割間隔ＴＤ（秒）は、ステップＳ３０１で検出したリズム点の連続する２点間の時間間隔をＴＭとすると、次の式で求める。
【００１５】
ＴＤ ＝ＴＭ ＊ｎ ｏｒ ＴＤ ＝ＴＭ ／ｎ
ここで、ｎは任意の整数である。分割間隔ＴＤはＴＭの整数倍又は整数分の１となる。分割間隔は複数パターンを用意しても良い。本実施例では、ｎ＝１であり、分割間隔の数は１つであるとする。なお、ｎの値をＧＵＩ上で設定させるなど、分割間隔決定をユーザが実施可能にしても良い。ステップＳ３０３では、繰り返し１を開始する。繰り返し１は、ステップＳ３０２で設定した分割間隔の全てのパターンで、ステップＳ３０４〜Ｓ３１２の処理を終えるまで続く。ステップＳ３０４では、素材映像を分割間隔毎に分割する際の開始点となるフレームを設定する。この分割開始点となるフレームを、分割開始フレームと呼ぶものとする。分割開始フレームの単位はフレームである。素材映像の再生速度がＶ（フレーム／秒），分割間隔がＴＤ（秒）である場合、分割開始フレームＦＳ（フレーム）は、０〜（Ｖ＊ＴＤ）の範囲で選択して設定する。分割開始フレームは複数パターンを用意しても良い。本実施例では、ＦＳ＝０であり、分割開始フレームの数は１つであるとする。なお、ＦＳの値をＧＵＩ上で設定させるなど、分割開始点決定をユーザに実施させても良い。ステップＳ３０５では、繰り返し２を開始する。繰り返し２は、ステップＳ３０４で設定した分割開始フレームの全てのパターンで、ステップＳ３０６〜ステップＳ３１１の処理を終えるまで続く。ステップＳ３０６では、素材映像を分割開始フレームから分割間隔毎に分割し、素材映像の分割領域を作成する。分割領域の数ＮＤは、素材映像の長さをＴＡＬＬ（秒）とすると、次のようになる。
【００１６】
ＮＤ ＝（（Ｖ＊ＴＡＬＬ）−ＦＳ）／（Ｖ＊ＴＤ）
分割領域は、素材映像のタイムライン上の数値で、領域の開始フレーム，終了フレームの一覧として格納する。分割領域の格納例を図５に示す。分割領域の作成方法は、図７を用いて後述する。ステップＳ３０７では、繰り返し３を開始する。繰り返し３は、ステップＳ３０６で作成した０〜ＮＤ番目の分割領域の全てについて、ステップＳ３０８の処理を終えるまで続く。ステップＳ３０８では、素材映像の分割領域の映像の動きを評価し、動き評価値を取得する。動き評価値は、図５に示すように、分割領域に対応付けて保存する。動き評価値の取得方法は、図８を用いて後述する。ステップＳ３０９では、繰り返し３を終了する。ステップＳ３１０では、ステップＳ３０８で求めた動き評価値の時間的変化に繰り返しの規則性がある領域を検索する。ここで、素材映像中の、動き評価値の時間的変化に繰り返しの規則性がある領域を、動き周期領域と呼ぶものとする。動き周期領域は、素材映像のタイムライン上の数値で、領域の開始フレーム，終了フレームの一覧として格納する。動き周期領域の格納例を図６に示す。動き周期領域の検索方法は、図９を用いて後述する。ステップＳ３１１では、ステップＳ３１０で検索した動き周期領域を素材映像から切り出してカットを作成し、カット選択画面２０３に追加する。ステップＳ３１２では、繰り返し２を終了する。ステップＳ３１３では、繰り返し１を終了する。
【００１７】
図７は、図３のステップＳ３０６の、素材映像の分割領域を作成する際の手順を示すフローチャートである。なお、下記で単位に「フレーム」を用いた場合、素材映像のタイムラインにおけるフレームを表すものとする。ステップＳ７０１では、変数ｉに０を代入する。ステップＳ７０２では、ｉ番目の分割領域の開始フレームを設定する。分割領域の開始フレームＦＩＮ（フレーム）は、素材映像の再生速度Ｖ（フレーム／秒），分割開始フレームＦＳ（フレーム），分割間隔ＴＤ（秒）から、次のように求める。
【００１８】
ＦＩＮ＝ＦＳ＋（Ｖ＊ＴＤ）＊ｉ
ステップＳ７０３では、ｉ番目の分割領域の終了フレームを設定する。分割領域の終了フレームＦＯＵＴ（フレーム）は、分割開始フレームＦＳ（フレーム），分割間隔ＴＤ（秒）から、次のように求める。
【００１９】
ＦＯＵＴ＝ＦＳ＋（Ｖ＊ＴＤ）＊（ｉ＋１）−１
ステップＳ７０４では、ステップＳ７０２，Ｓ７０３で設定したｉ番目の分割領域の開始フレーム，終了フレームを、分割結果に追加する。分割結果は、例えば、図５に示す表のように保存される。ステップＳ７０５では、変数ｉに１を追加する。ステップＳ７０６では、変数ｉと分割領域の数ＮＤ−１を比較する。ｉ＞ＮＤ−１であれば、処理を終了する。それ以外であれば、ステップＳ７０２へ進む。
【００２０】
図８は、図３のステップＳ３０８の、素材映像の分割領域毎の動き評価値を取得する際の手順を示すフローチャートである。本実施例では、素材映像の分割領域内の、連続する２フレーム間の、全画素値の差分の平均値を求める。これを分割領域内の全フレームで繰り返し、それぞれで求めた値を足し合わせた値を、分割領域の動き量とする。分割領域の動き量を閾値で１と０に分けたものを、分割領域の動き評価値とする。ここで、素材映像中の或るフレームにおける画像を、フレーム画像と呼ぶものとする。同一の素材映像中のフレーム画像は、全て、同一の幅Ｗ（ピクセル），高さＨ（ピクセル）を持つ画像データである。フレーム画像の各画素には、画像の左下を原点とし、右方向に＋ｘ，上方向に＋ｙとなる座標系でアクセスできるものとする。この座標系において、Ｐｋ（ｉ，ｊ）は、ｋフレームのフレーム画像の、ｘ＝ｉ，ｙ＝ｊの位置の画素値を表すものとする。本実施例では、画素毎のチャンネル数は１つであるとする。なお、チャンネル数が複数ある場合には、全チャンネルの値の平均値か、どれか１チャンネルの値を画素値としても良い。ステップＳ８０１では、素材映像中の分割領域の開始フレームＦＩＮ，終了フレームＦＯＵＴを取得する。ステップＳ８０２では、変数Ｍに０を代入する。ステップＳ８０３では、変数ｎに０を代入する。ステップＳ８０４では、変数ｊに０を代入する。ステップＳ８０５では、変数ｉに０を代入する。ステップＳ８０６では、（ＦＩＮ＋ｎ）フレームのフレーム画像のｘ＝ｉ，ｙ＝ｊにおける画素値と、（ＦＩＮ＋ｎ＋１）フレームのフレーム画像のｘ＝ｉ，ｙ＝ｊにおける画素値との差分を求める。差分値Ｄは、次のように算出される。
【００２１】
【数１】
【００２２】
ステップＳ８０７では、変数ＭにＤ／（Ｗ＊Ｈ）を加算する。ステップＳ８０８では、変数ｉに１を加算する。ステップＳ８０９では、変数ｉとＷ−１を比較する。ｉ＞Ｗ−１であれば、ステップＳ８１０へ進む。それ以外であれば、ステップＳ８０６へ進む。ステップＳ８１０では、変数ｊに１を加算する。ステップＳ８１１では、変数ｊとＨ−１を比較する。ｊ＞Ｈ−１であれば、ステップＳ８１２へ進む。それ以外であれば、ステップＳ８０５へ進む。ステップＳ８１２では、変数ｎに１を加算する。ステップＳ８１３では、（ＦＩＮ＋ｎ＋１）と（ＦＯＵＴ−１）の値を比較する。（ＦＩＮ＋ｎ＋１）＞（ＦＯＵＴ−１）であれば、ステップＳ８１４へ進む。それ以外であれば、ステップＳ８０４へ進む。ステップＳ８１４では、変数Ｍと閾値Ｒの値を比較する。Ｍ＞Ｒであれば、ステップＳ８１５へ進む。それ以外であれば、ステップＳ８１６へ進む。本実施例では、閾値Ｒは、５０×（ＦＯＵＴ―ＦＩＮ）として分割領域毎に定められた値であるものとする。なお、閾値Ｒは、他の値を使用しても良いし、ＧＵＩ上でユーザに指定させるようにしても良い。ステップＳ８１５では、１を分割領域の動き評価値Ｅとする。ステップＳ８１６では、０を分割領域の動き評価値Ｅとする。なお、分割領域の動き量を求める方法は、上記に限るものではない。例えば、フレーム画像を９分割して、分割した領域毎に、上記と同様の方法で動き量を求め、最も大きい値の動き量を採用するようにしても良い。また、例えば、人物の顔等、特定のオブジェクトを認識し、特定のオブジェクトの移動量を動き量としても良い。また、分割領域の動き量を求める方法が変わる場合には、閾値Ｒも変化することは言うまでもない。
【００２３】
図９は、図３のステップＳ３１０の、素材映像の動き評価値の時間的変化に繰り返しの規則性がある領域を検索する際の処理の流れを示すフローチャートである。ここで、素材映像のｋ番目の分割領域における動き評価値を、Ｅｋで表すものとする。また、素材映像の分割領域の数はＮＤであるとする。また、下記で単位に「フレーム」を用いた場合、素材映像のタイムラインにおけるフレームを表すものとする。ステップＳ９０１では、繰り返し単位ｎを設定する。本実施例では、繰り返し単位ｎは２であるとする。なお、繰り返し単位ｎには他の値を使用しても良いし、ＧＵＩ上でユーザに指定させるようにしても良い。ステップＳ９０２では、繰り返し回数ｒを設定する。本実施例では、繰り返し回数ｒは２であるとする。なお、繰り返し回数ｒには他の値を使用しても良いし、ＧＵＩ上でユーザに指定させるようにしても良い。ステップＳ９０３では、変数ｓに０を代入する。ステップＳ９０４では、（ｓ＋ｎ＊ｒ）と（ＮＤ−１）の値を比較する。（ｓ＋ｎ＊ｒ）≦（ＮＤ−１）であれば、ステップＳ９０５へ進む。それ以外であれば、処理を終了する。ステップＳ９０５では、変数ｊに０を代入する。ステップＳ９０６では、変数ｉに０を代入する。ステップＳ９０７では、Ｅｓ＋ｉとＥｓ＋ｉ＋ｎ＊ｊの値を比較する。Ｅｓ＋ｉとＥｓ＋ｉ＋ｎ＊ｊの値が等しければ、ステップＳ９０８へ進む。それ以外であれば、ステップＳ９１３へ進む。ステップＳ９０８では、変数ｉに１を加算する。ステップＳ９０９では、変数ｉとｎ−１の値を比較する。ｉ＞ｎ−１であれば、ステップＳ９１０へ進む。それ以外であれば、ステップＳ９０７へ進む。ステップＳ９１０では、変数ｊに１を加算する。ステップＳ９１１では、変数ｊとｒ−１の値を比較する。ｊ＞ｒ−１であれば、ステップＳ９１２へ進む。それ以外であれば、ステップＳ９０６へ進む。ステップＳ９１２では、素材映像のｓ番目の分割映像の開始フレーム，（ｓ＋ｎ＊ｒ）番目の分割映像の終了フレームを、それぞれ動き周期領域の開始フレーム，終了フレームとして、検索結果に追加する。ステップＳ９１３では、変数ｓに１を加算する。ステップＳ９１４では、（ｓ＋ｎ＊ｒ）と（ＮＤ−１）の値を比較する。（ｓ＋ｎ＊ｒ）＞（ＮＤ−１）であれば、処理を終了する。それ以外であれば、ステップＳ９０５へ進む。
【００２４】
以上のように、本実施例によれば、音楽のリズムを元に分割間隔を決定し、分割間隔で素材映像を等間隔に分割して分割領域を作成する。素材映像の分割領域毎に映像の動き評価値を求め、評価値の時間変化に繰り返しの規則性がある部分を、素材映像から検索する。これにより、音楽のリズムと映像の動きが合致する部分を、素材映像中から自動的に検索することが可能になり、映像の動きを音楽に合わせる作業にかかる映像編集者の手間を、大幅に削減することができる。
【００２５】
＜変形例＞
なお、上述した各実施形態は、映像編集装置そのものあるいはその制御方法として実現されるが、更に以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。
【技術分野】
【０００１】
本発明は、音楽のリズムに合うように映像を編集する技術に関するものである。
【背景技術】
【０００２】
近年、家庭用デジタルビデオカメラの普及により、簡単にデジタル映像を撮影し、鑑賞することができるようになっている。例えば、撮影された映像に動きが無い部分が多いものを鑑賞する場合には退屈になることもある。そこで、撮影された映像を素材として、種々の映像編集を行うことが有効である。編集方法としては、素材のなかから好みのカットシーンを切り出し、種々の音楽を付与したりすることが知られている。
【０００３】
このとき、映像の変化と音楽再生のタイミングを合わせるように編集を行うことが望ましい。この映像の変化にはカットシーンが切り替わるものと、カットシーン内の映像の動きによるものが考えられる。前者を音楽のリズムに合わせるためには、音楽のリズム点とカットシーンの開始時間が一致するようにカットシーンを配置すれば良い。後者を音楽のリズムに合わせるためには、音楽のリズムと映像の動きが合うカットシーンを素材から探し出して配置すれば良い。しかしながら、これら編集は手作業で行われるため編集者にとっては非常に手間がかかる。
【０００４】
これに対して、映像の変化と音楽を合わせる作業を容易にする技術（特許文献１）が知られている。特許文献１では、素材映像の映像信号と音楽信号における遷移点を検出し、それぞれの遷移点が一致するように素材映像を切り出す。これにより、カットシーンの切り替わりによる映像の変化と音楽を合わせる作業が自動的に行われる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２５９３０２号公報
【特許文献２】特公平０７−０１３７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１による方法では、映像中の動きが音楽のリズムに合っているかどうかを判断することまではできず、各種カットシーン内の映像の動きを音楽のリズムを合わせることまではできない。
本発明は、上記従来例に鑑みてなされたものであり、各種カットシーン内の映像の動きを音楽のリズムを合わせる作業を効率よく行うことを主な目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の映像編集装置によれば、映像信号と音楽信号を編集する映像編集装置であって、音楽信号のリズム点を検出するリズム点検出手段と、前記リズム点検出手段で検出した音楽信号のリズム点に基づいて、映像信号を時間方向に分割した分割領域を作成する分割領域作成手段と、前記分割領域作成手段で作成した分割領域毎に映像の動きを評価し、時間方向の変化において繰り返しの規則性がある部分の分割領域を検出する繰り返し検出手段とを備える。
【発明の効果】
【０００８】
本発明によれば、各種カットシーン内の映像の動きを音楽のリズムを合わせる作業を効率よく行うことができる。
【図面の簡単な説明】
【０００９】
【図１】実施例におけるシステム構成を示す図
【図２】実施例における映像編集装置のＧＵＩを示す図
【図３】カット作成処理の流れを示すフローチャート
【図４】音楽のリズム点のタイムライン上の配置を示す図
【図５】分割領域の格納例を示す図
【図６】動き周期領域の格納例を示す図
【図７】素材映像の分割領域作成処理の流れを示すフローチャート
【図８】分割領域の動き評価値を取得する処理を示すフローチャート
【図９】動き周期領域検出処理の流れを示すフローチャート
【発明を実施するための形態】
【００１０】
以下、図面を用いて本発明を具体的に説明する。
【００１１】
＜実施例１＞
図１は、本実施例を実現する画像処理システム（映像編集装置とも言う）の概略を示した図である。ＣＰＵ１０１は、システム全体の動作をコントロールし、一次記憶１０２に格納されたプログラムの実行などを行う。一次記憶１０２は、主にメモリであり、二次記憶１０３に記憶されたプログラムなどを読み込んで格納する。二次記憶１０３は、例えばハードディスクなどの記録媒体がこれに該当する。一般に一次記憶の容量は二次記憶の容量より小さく、一次記憶に格納しきれないプログラムやデータなどは二次記憶に格納される。また、長時間記憶しなくてはならないデータなども二次記憶に格納される。本実施例では、実施形態の処理手順を実現するようなプログラムは二次記憶１０３に格納し、プログラム実行時に一次記憶１０２に読み込んで、ＣＰＵ１０１が実行処理を行う。入力デバイス１０４とは例えば、マウスやキーボードなどがこれに該当する。出力デバイス１０５とは例えば、モニタやプリンタなどがこれに該当する。読込デバイス１０６は、公知のＣＣＤ素子などで構成されている撮像装置で撮像された映像を直接又は間接的に一次記憶装置や二次記憶装置へ読み込む。
【００１２】
図２は、本実施例における映像編集装置のＧＵＩの概要を示す図である。音楽選択画面２０１には、映像編集で利用可能な音楽の一覧を表示する。素材映像選択画面２０２には、映像編集で利用可能な素材映像の一覧を表示する。カット選択画面２０３には、映像編集で利用可能なカットシーンの一覧を表示する。ここで、カットシーンとは、素材映像中の任意の時間範囲を切り出したものであり、以下カットとも呼ぶ。タイムライン編集画面２０４には、編集後映像のタイムラインを表示する。タイムライン上に音楽やカットを配置し、それぞれの再生開始時間、再生時間を決定することで、映像編集を行う。タイムライン上への音楽の配置は、音楽選択画面２０１上のアイコンを、タイムライン上の任意の位置へドラッグアンドドロップすることで行う。タイムライン上へのカットの配置は、カット選択画面２０３上のアイコンを、タイムライン上の任意の位置へドラッグアンドドロップすることで行う。
【００１３】
プレビュー画面２０５には、編集後映像のプレビューを表示する。プレビュー画面２０５をクリックすることで、タイムライン編集画面２０４のタイムライン上に配置された音楽，カットを再生する。レンダリングボタン２０６を押下すると、編集後映像を作成する。編集後映像は、タイムライン編集画面２０４のタイムライン上に配置された音楽やカットを一連の映像としてまとめたものとなる。編集後映像は、ＡＶＩやＭＰＥＧやＨ２６４など、公知の動画フォーマットのファイルで保存する。カット作成ボタン２０７は、音楽と素材映像をそれぞれ選択した状態でのみ有効となる。音楽の選択は、音楽選択画面２０１上のアイコンか、又はタイムライン編集画面２０４のタイムライン上に配置された音楽を指定することで行う。素材映像の選択は、素材映像選択画面２０２上のアイコンを指定することで行う。カット作成ボタン２０７を押下すると、選択された音楽のリズムと映像の動きが合う部分を、選択された素材映像から探し出し、カットを作成する。作成したカットは、カット選択画面２０３に追加される。カットの作成方法については、図３を用いて後述する。
【００１４】
図３は、カット作成ボタン２０７を押下した際の、音楽のリズムと映像の動きが合う部分を素材映像から探し出してカットを作成する処理の流れを示すフローチャートである。
ステップＳ３０１では、選択された音楽のリズム点を検出する。なお、音楽のリズム点検出は、特開２００８−２７５９７５などに開示されているような公知技術を用いて行う。検出されたリズム点は、図４に示すように、音楽のタイムライン上に等時間間隔に現れる点で表現できる。ステップＳ３０２では、素材映像を時間方向に分割する分割間隔を決定する。分割間隔の単位は秒である。分割間隔ＴＤ（秒）は、ステップＳ３０１で検出したリズム点の連続する２点間の時間間隔をＴＭとすると、次の式で求める。
【００１５】
ＴＤ ＝ＴＭ ＊ｎ ｏｒ ＴＤ ＝ＴＭ ／ｎ
ここで、ｎは任意の整数である。分割間隔ＴＤはＴＭの整数倍又は整数分の１となる。分割間隔は複数パターンを用意しても良い。本実施例では、ｎ＝１であり、分割間隔の数は１つであるとする。なお、ｎの値をＧＵＩ上で設定させるなど、分割間隔決定をユーザが実施可能にしても良い。ステップＳ３０３では、繰り返し１を開始する。繰り返し１は、ステップＳ３０２で設定した分割間隔の全てのパターンで、ステップＳ３０４〜Ｓ３１２の処理を終えるまで続く。ステップＳ３０４では、素材映像を分割間隔毎に分割する際の開始点となるフレームを設定する。この分割開始点となるフレームを、分割開始フレームと呼ぶものとする。分割開始フレームの単位はフレームである。素材映像の再生速度がＶ（フレーム／秒），分割間隔がＴＤ（秒）である場合、分割開始フレームＦＳ（フレーム）は、０〜（Ｖ＊ＴＤ）の範囲で選択して設定する。分割開始フレームは複数パターンを用意しても良い。本実施例では、ＦＳ＝０であり、分割開始フレームの数は１つであるとする。なお、ＦＳの値をＧＵＩ上で設定させるなど、分割開始点決定をユーザに実施させても良い。ステップＳ３０５では、繰り返し２を開始する。繰り返し２は、ステップＳ３０４で設定した分割開始フレームの全てのパターンで、ステップＳ３０６〜ステップＳ３１１の処理を終えるまで続く。ステップＳ３０６では、素材映像を分割開始フレームから分割間隔毎に分割し、素材映像の分割領域を作成する。分割領域の数ＮＤは、素材映像の長さをＴＡＬＬ（秒）とすると、次のようになる。
【００１６】
ＮＤ ＝（（Ｖ＊ＴＡＬＬ）−ＦＳ）／（Ｖ＊ＴＤ）
分割領域は、素材映像のタイムライン上の数値で、領域の開始フレーム，終了フレームの一覧として格納する。分割領域の格納例を図５に示す。分割領域の作成方法は、図７を用いて後述する。ステップＳ３０７では、繰り返し３を開始する。繰り返し３は、ステップＳ３０６で作成した０〜ＮＤ番目の分割領域の全てについて、ステップＳ３０８の処理を終えるまで続く。ステップＳ３０８では、素材映像の分割領域の映像の動きを評価し、動き評価値を取得する。動き評価値は、図５に示すように、分割領域に対応付けて保存する。動き評価値の取得方法は、図８を用いて後述する。ステップＳ３０９では、繰り返し３を終了する。ステップＳ３１０では、ステップＳ３０８で求めた動き評価値の時間的変化に繰り返しの規則性がある領域を検索する。ここで、素材映像中の、動き評価値の時間的変化に繰り返しの規則性がある領域を、動き周期領域と呼ぶものとする。動き周期領域は、素材映像のタイムライン上の数値で、領域の開始フレーム，終了フレームの一覧として格納する。動き周期領域の格納例を図６に示す。動き周期領域の検索方法は、図９を用いて後述する。ステップＳ３１１では、ステップＳ３１０で検索した動き周期領域を素材映像から切り出してカットを作成し、カット選択画面２０３に追加する。ステップＳ３１２では、繰り返し２を終了する。ステップＳ３１３では、繰り返し１を終了する。
【００１７】
図７は、図３のステップＳ３０６の、素材映像の分割領域を作成する際の手順を示すフローチャートである。なお、下記で単位に「フレーム」を用いた場合、素材映像のタイムラインにおけるフレームを表すものとする。ステップＳ７０１では、変数ｉに０を代入する。ステップＳ７０２では、ｉ番目の分割領域の開始フレームを設定する。分割領域の開始フレームＦＩＮ（フレーム）は、素材映像の再生速度Ｖ（フレーム／秒），分割開始フレームＦＳ（フレーム），分割間隔ＴＤ（秒）から、次のように求める。
【００１８】
ＦＩＮ＝ＦＳ＋（Ｖ＊ＴＤ）＊ｉ
ステップＳ７０３では、ｉ番目の分割領域の終了フレームを設定する。分割領域の終了フレームＦＯＵＴ（フレーム）は、分割開始フレームＦＳ（フレーム），分割間隔ＴＤ（秒）から、次のように求める。
【００１９】
ＦＯＵＴ＝ＦＳ＋（Ｖ＊ＴＤ）＊（ｉ＋１）−１
ステップＳ７０４では、ステップＳ７０２，Ｓ７０３で設定したｉ番目の分割領域の開始フレーム，終了フレームを、分割結果に追加する。分割結果は、例えば、図５に示す表のように保存される。ステップＳ７０５では、変数ｉに１を追加する。ステップＳ７０６では、変数ｉと分割領域の数ＮＤ−１を比較する。ｉ＞ＮＤ−１であれば、処理を終了する。それ以外であれば、ステップＳ７０２へ進む。
【００２０】
図８は、図３のステップＳ３０８の、素材映像の分割領域毎の動き評価値を取得する際の手順を示すフローチャートである。本実施例では、素材映像の分割領域内の、連続する２フレーム間の、全画素値の差分の平均値を求める。これを分割領域内の全フレームで繰り返し、それぞれで求めた値を足し合わせた値を、分割領域の動き量とする。分割領域の動き量を閾値で１と０に分けたものを、分割領域の動き評価値とする。ここで、素材映像中の或るフレームにおける画像を、フレーム画像と呼ぶものとする。同一の素材映像中のフレーム画像は、全て、同一の幅Ｗ（ピクセル），高さＨ（ピクセル）を持つ画像データである。フレーム画像の各画素には、画像の左下を原点とし、右方向に＋ｘ，上方向に＋ｙとなる座標系でアクセスできるものとする。この座標系において、Ｐｋ（ｉ，ｊ）は、ｋフレームのフレーム画像の、ｘ＝ｉ，ｙ＝ｊの位置の画素値を表すものとする。本実施例では、画素毎のチャンネル数は１つであるとする。なお、チャンネル数が複数ある場合には、全チャンネルの値の平均値か、どれか１チャンネルの値を画素値としても良い。ステップＳ８０１では、素材映像中の分割領域の開始フレームＦＩＮ，終了フレームＦＯＵＴを取得する。ステップＳ８０２では、変数Ｍに０を代入する。ステップＳ８０３では、変数ｎに０を代入する。ステップＳ８０４では、変数ｊに０を代入する。ステップＳ８０５では、変数ｉに０を代入する。ステップＳ８０６では、（ＦＩＮ＋ｎ）フレームのフレーム画像のｘ＝ｉ，ｙ＝ｊにおける画素値と、（ＦＩＮ＋ｎ＋１）フレームのフレーム画像のｘ＝ｉ，ｙ＝ｊにおける画素値との差分を求める。差分値Ｄは、次のように算出される。
【００２１】
【数１】
【００２２】
ステップＳ８０７では、変数ＭにＤ／（Ｗ＊Ｈ）を加算する。ステップＳ８０８では、変数ｉに１を加算する。ステップＳ８０９では、変数ｉとＷ−１を比較する。ｉ＞Ｗ−１であれば、ステップＳ８１０へ進む。それ以外であれば、ステップＳ８０６へ進む。ステップＳ８１０では、変数ｊに１を加算する。ステップＳ８１１では、変数ｊとＨ−１を比較する。ｊ＞Ｈ−１であれば、ステップＳ８１２へ進む。それ以外であれば、ステップＳ８０５へ進む。ステップＳ８１２では、変数ｎに１を加算する。ステップＳ８１３では、（ＦＩＮ＋ｎ＋１）と（ＦＯＵＴ−１）の値を比較する。（ＦＩＮ＋ｎ＋１）＞（ＦＯＵＴ−１）であれば、ステップＳ８１４へ進む。それ以外であれば、ステップＳ８０４へ進む。ステップＳ８１４では、変数Ｍと閾値Ｒの値を比較する。Ｍ＞Ｒであれば、ステップＳ８１５へ進む。それ以外であれば、ステップＳ８１６へ進む。本実施例では、閾値Ｒは、５０×（ＦＯＵＴ―ＦＩＮ）として分割領域毎に定められた値であるものとする。なお、閾値Ｒは、他の値を使用しても良いし、ＧＵＩ上でユーザに指定させるようにしても良い。ステップＳ８１５では、１を分割領域の動き評価値Ｅとする。ステップＳ８１６では、０を分割領域の動き評価値Ｅとする。なお、分割領域の動き量を求める方法は、上記に限るものではない。例えば、フレーム画像を９分割して、分割した領域毎に、上記と同様の方法で動き量を求め、最も大きい値の動き量を採用するようにしても良い。また、例えば、人物の顔等、特定のオブジェクトを認識し、特定のオブジェクトの移動量を動き量としても良い。また、分割領域の動き量を求める方法が変わる場合には、閾値Ｒも変化することは言うまでもない。
【００２３】
図９は、図３のステップＳ３１０の、素材映像の動き評価値の時間的変化に繰り返しの規則性がある領域を検索する際の処理の流れを示すフローチャートである。ここで、素材映像のｋ番目の分割領域における動き評価値を、Ｅｋで表すものとする。また、素材映像の分割領域の数はＮＤであるとする。また、下記で単位に「フレーム」を用いた場合、素材映像のタイムラインにおけるフレームを表すものとする。ステップＳ９０１では、繰り返し単位ｎを設定する。本実施例では、繰り返し単位ｎは２であるとする。なお、繰り返し単位ｎには他の値を使用しても良いし、ＧＵＩ上でユーザに指定させるようにしても良い。ステップＳ９０２では、繰り返し回数ｒを設定する。本実施例では、繰り返し回数ｒは２であるとする。なお、繰り返し回数ｒには他の値を使用しても良いし、ＧＵＩ上でユーザに指定させるようにしても良い。ステップＳ９０３では、変数ｓに０を代入する。ステップＳ９０４では、（ｓ＋ｎ＊ｒ）と（ＮＤ−１）の値を比較する。（ｓ＋ｎ＊ｒ）≦（ＮＤ−１）であれば、ステップＳ９０５へ進む。それ以外であれば、処理を終了する。ステップＳ９０５では、変数ｊに０を代入する。ステップＳ９０６では、変数ｉに０を代入する。ステップＳ９０７では、Ｅｓ＋ｉとＥｓ＋ｉ＋ｎ＊ｊの値を比較する。Ｅｓ＋ｉとＥｓ＋ｉ＋ｎ＊ｊの値が等しければ、ステップＳ９０８へ進む。それ以外であれば、ステップＳ９１３へ進む。ステップＳ９０８では、変数ｉに１を加算する。ステップＳ９０９では、変数ｉとｎ−１の値を比較する。ｉ＞ｎ−１であれば、ステップＳ９１０へ進む。それ以外であれば、ステップＳ９０７へ進む。ステップＳ９１０では、変数ｊに１を加算する。ステップＳ９１１では、変数ｊとｒ−１の値を比較する。ｊ＞ｒ−１であれば、ステップＳ９１２へ進む。それ以外であれば、ステップＳ９０６へ進む。ステップＳ９１２では、素材映像のｓ番目の分割映像の開始フレーム，（ｓ＋ｎ＊ｒ）番目の分割映像の終了フレームを、それぞれ動き周期領域の開始フレーム，終了フレームとして、検索結果に追加する。ステップＳ９１３では、変数ｓに１を加算する。ステップＳ９１４では、（ｓ＋ｎ＊ｒ）と（ＮＤ−１）の値を比較する。（ｓ＋ｎ＊ｒ）＞（ＮＤ−１）であれば、処理を終了する。それ以外であれば、ステップＳ９０５へ進む。
【００２４】
以上のように、本実施例によれば、音楽のリズムを元に分割間隔を決定し、分割間隔で素材映像を等間隔に分割して分割領域を作成する。素材映像の分割領域毎に映像の動き評価値を求め、評価値の時間変化に繰り返しの規則性がある部分を、素材映像から検索する。これにより、音楽のリズムと映像の動きが合致する部分を、素材映像中から自動的に検索することが可能になり、映像の動きを音楽に合わせる作業にかかる映像編集者の手間を、大幅に削減することができる。
【００２５】
＜変形例＞
なお、上述した各実施形態は、映像編集装置そのものあるいはその制御方法として実現されるが、更に以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。
【特許請求の範囲】
【請求項１】
映像信号と音楽信号を編集する映像編集装置であって、
音楽信号のリズム点を検出するリズム点検出手段と、
前記リズム点検出手段で検出した音楽信号のリズム点に基づいて、映像信号を時間方向に分割した分割領域を作成する分割領域作成手段と、
前記分割領域作成手段で作成した分割領域毎に映像の動きを評価し、時間方向の変化において繰り返しの規則性がある部分の分割領域を検出する繰り返し検出手段とを備えることを特徴とする映像編集装置。
【請求項２】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１に記載の映像編集装置として機能させるコンピュータプログラム。
【請求項３】
請求項２に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【請求項４】
映像信号と音楽信号を編集する映像編集装置の制御方法であって、
音楽信号のリズム点を検出するリズム点検出工程と、
前記リズム点検出工程で検出した音楽信号のリズム点に基づいて、映像信号を時間方向に分割した分割領域を作成する分割領域作成工程と、
前記分割領域作成工程で作成した分割領域毎に映像の動きを評価し、時間方向の変化において繰り返しの規則性がある部分の分割領域を検出する繰り返し検出工程とを備えることを特徴とする制御方法。
【請求項１】
映像信号と音楽信号を編集する映像編集装置であって、
音楽信号のリズム点を検出するリズム点検出手段と、
前記リズム点検出手段で検出した音楽信号のリズム点に基づいて、映像信号を時間方向に分割した分割領域を作成する分割領域作成手段と、
前記分割領域作成手段で作成した分割領域毎に映像の動きを評価し、時間方向の変化において繰り返しの規則性がある部分の分割領域を検出する繰り返し検出手段とを備えることを特徴とする映像編集装置。
【請求項２】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１に記載の映像編集装置として機能させるコンピュータプログラム。
【請求項３】
請求項２に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【請求項４】
映像信号と音楽信号を編集する映像編集装置の制御方法であって、
音楽信号のリズム点を検出するリズム点検出工程と、
前記リズム点検出工程で検出した音楽信号のリズム点に基づいて、映像信号を時間方向に分割した分割領域を作成する分割領域作成工程と、
前記分割領域作成工程で作成した分割領域毎に映像の動きを評価し、時間方向の変化において繰り返しの規則性がある部分の分割領域を検出する繰り返し検出工程とを備えることを特徴とする制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−４２２１５（Ｐ２０１３−４２２１５Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７６０４９（Ｐ２０１１−１７６０４９）
【出願日】平成２３年８月１１日（２０１１．８．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１１日（２０１１．８．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]