要約映像生成装置及び要約映像生成プログラム
【課題】本発明は、視聴者がバラエティー番組の内容を把握しやすい要約映像を生成する要約映像生成装置を提供する。
【解決手段】要約映像生成装置は、カットチェンジ点検出手段によって、バラエティー番組のカットチェンジ点を検出する。そして、要約映像生成装置は、コマーシャル区間検出手段によって、バラエティー番組に含まれるコマーシャル区間を検出する。そして、要約映像生成装置は、映像区間抽出手段によって、カットチェンジ点検出手段で検出したカットチェンジ点に基づいて、コマーシャル区間検出手段で検出したコマーシャル区間の始点より前の所定カット数の始点側映像区間の映像をバラエティー番組から抽出すると共に、コマーシャル区間検出手段で検出したコマーシャル区間の終点より後の所定カット数の終点側映像区間の映像をバラエティー番組から抽出する。
【解決手段】要約映像生成装置は、カットチェンジ点検出手段によって、バラエティー番組のカットチェンジ点を検出する。そして、要約映像生成装置は、コマーシャル区間検出手段によって、バラエティー番組に含まれるコマーシャル区間を検出する。そして、要約映像生成装置は、映像区間抽出手段によって、カットチェンジ点検出手段で検出したカットチェンジ点に基づいて、コマーシャル区間検出手段で検出したコマーシャル区間の始点より前の所定カット数の始点側映像区間の映像をバラエティー番組から抽出すると共に、コマーシャル区間検出手段で検出したコマーシャル区間の終点より後の所定カット数の終点側映像区間の映像をバラエティー番組から抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、バラエティ番組の要約映像を生成する要約映像生成装置及び要約映像生成プログラムに関する。
【背景技術】
【０００２】
近年、ハードディスク等の大容量の記録装置を備え、放送番組の映像データを記録し、その記録された映像データの中から、視聴者が所望する映像データを検索して再生する放送番組受信装置が普及してきている。放送番組の中でもバラエティ番組は、視聴者の需要が高く、放送番組受信装置には、視聴者がバラエティ番組の内容を容易に把握できることや、記録された大量の放送番組の中から視聴者が所望するバラエティ番組を効率的に検索できることが要求されている。
【０００３】
そこで、放送番組とは別に当該放送番組の要約映像（ダイジェスト映像）を生成しておき、放送番組と要約映像とを対応付けて、視聴者が放送番組を検索する際に、放送番組の要約映像を再生することで、視聴者による放送番組の検索を補助する技術が開示されている（特許文献１，２，３参照）。
【０００４】
特許文献１に開示されている技術によれば、放送番組のカットチェンジ点の代表的なフレーム画像を時系列順に並べて要約映像を生成している。
【０００５】
特許文献２に開示されている技術によれば、予め所定の属性情報が登録され、その属性情報に従って放送番組の各カットに重み付けを行い、重み付けの高いカットをつなぎ合わせて要約映像を生成している。
【０００６】
また、特許文献３に開示されている技術によれば、スポーツ番組を対象とし、アナウンサの音声の変化に基づいて要約映像を生成している。
【特許文献１】特開平９−２８４６９８号公報
【特許文献２】特開平１１−２３８０７１号公報
【特許文献３】特開２００６−１２９３６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、従来の技術（特許文献１に開示されている技術）では、カットチェンジ点を基準にしているため、放送番組の特徴や内容をまったく考慮しておらず、視聴者が放送番組の内容を把握しやすい要約映像が生成できない問題がある。
【０００８】
また、従来の技術（特許文献２に開示されている技術）では、属性情報を手入力する必要があり、また、放送番組のジャンル毎に属性情報の設定内容が大きく変わることから、この属性情報を適切に設定することが困難な問題がある。
【０００９】
また、従来の技術（特許文献３に開示されている技術）は、アナウンサの音声の変化を基準としているため、バラエティ番組にはそぐわない。
【００１０】
本発明は、前記した問題を解決し、視聴者がバラエティ番組の内容を把握しやすい要約映像を生成することができる要約映像生成装置及び要約映像生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記した課題を解決するため、請求項１に記載の要約映像生成装置は、コマーシャル区間を含む放送番組と放送番組に対応する電子番組ガイドとから放送番組の要約映像を生成する要約映像生成装置であって、番組判断手段と、カットチェンジ点検出手段と、コマーシャル区間検出手段と、映像区間抽出手段と、映像区間類似判断手段と、要約映像生成手段と、を備える構成とした。
【００１２】
かかる構成によれば、要約映像生成装置は、番組判断手段によって、電子番組ガイドに記述された放送番組のジャンルに基づいて放送番組がバラエティ番組であるか否かを判断する。これによって、要約映像生成装置は、電子番組ガイドに基づいて、様々なジャンルの放送番組の中からバラエティ番組を特定することができる。
【００１３】
また、要約映像生成装置は、カットチェンジ点検出手段によって、バラエティ番組のカットチェンジ点を検出する。そして、要約映像生成装置は、コマーシャル区間検出手段によって、バラエティ番組に含まれるコマーシャル区間を検出する。そして、要約映像生成装置は、映像区間抽出手段によって、カットチェンジ点検出手段で検出したカットチェンジ点に基づいて、コマーシャル区間検出手段で検出したコマーシャル区間の始点より前の所定カット数の始点側映像区間の映像をバラエティ番組から抽出すると共に、コマーシャル区間検出手段で検出したコマーシャル区間の終点より後の所定カット数の終点側映像区間の映像をバラエティ番組から抽出する。バラエティ番組は、コマーシャル区間の前後にクライマックスシーンが集中する傾向が強いことから、要約映像生成装置は、バラエティ番組からクライマックスシーンを効率的に抽出することができる。
【００１４】
また、要約映像生成装置は、映像区間類似判断手段によって、映像区間抽出手段で抽出した始点側映像区間の映像と終点側映像区間の映像とが類似するか否かを、始点側映像区間と終点側映像区間の画像特徴量とに基づいて判断する。そして、要約映像生成装置は、要約映像生成手段によって、始点側映像区間の映像と終点側映像区間の映像とが類似するときは終点側映像区間の映像を、始点側映像区間の映像と終点側映像区間の映像とが類似しないときは始点側映像区間の映像と終点側映像区間の映像とをコマーシャル区間毎に連結して要約映像を生成する。これによって、要約映像生成装置は、生成した要約映像で類似する映像が連続することはない。
【００１５】
なお、バラエティ番組としては、例えば、お笑い番組、トーク番組、クイズ番組がある。
【００１６】
請求項２に記載の要約映像生成装置は、請求項１に記載の要約映像生成装置において、コマーシャル区間検出手段が、バラエティ番組の開始から所定時間が経過するまではコマーシャル区間を検出しない構成とした。
【００１７】
かかる構成によれば、要約映像生成装置は、クライマックスシーンが少ない傾向が強いバラエティ番組の開始部分の映像から要約映像を生成することはない。
【００１８】
請求項３に記載の要約映像生成装置は、請求項１又は２に記載の要約映像生成装置において、コマーシャル区間検出手段が、コマーシャル区間の終了時刻が電子番組ガイドで特定されるバラエティ番組の終了時刻と一致するときは当該コマーシャル区間を検出しない構成とした。
【００１９】
かかる構成によれば、要約映像生成装置は、クライマックスシーンが少ない傾向が強いバラエティ番組のエンディング部分の映像から要約映像を生成することはない。
【００２０】
請求項４に記載の要約映像生成装置は、請求項１から３のいずれか一項に記載の要約映像生成装置において、コマーシャル区間検出手段が、コマーシャル区間が終了してから所定時間が経過するまではコマーシャル区間を検出しない構成とした。
【００２１】
コマーシャル区間同士の間隔が短い場合、これらの間の映像にクライマックスシーンが少ない傾向が強い。かかる構成によれば、要約映像生成装置は、クライマックスシーンが少ない当該映像から要約映像を生成することはない。
【００２２】
請求項５に記載の要約映像生成プログラムは、コマーシャル区間を含む放送番組と放送番組に対応する電子番組ガイドとから放送番組の要約映像を生成するために、コンピュータを、番組判断手段、カットチェンジ点検出手段、コマーシャル区間検出手段、映像区間抽出手段、映像区間類似判断手段、要約映像生成手段、として機能させる構成とした。
【００２３】
かかる構成によれば、要約映像生成プログラムは、番組判断手段によって、電子番組ガイドに記述された放送番組のジャンルに基づいて放送番組がバラエティ番組であるか否かを判断する。
【００２４】
また、要約映像生成プログラムは、カットチェンジ点検出手段によって、バラエティ番組のカットチェンジ点を検出する。そして、要約映像生成プログラムは、コマーシャル区間検出手段によって、バラエティ番組に含まれるコマーシャル区間を検出する。そして、要約映像生成プログラムは、映像区間抽出手段によって、カットチェンジ点検出手段で検出したカットチェンジ点に基づいて、コマーシャル区間検出手段で検出したコマーシャル区間の始点より前の所定カット数の始点側映像区間の映像をバラエティ番組から抽出すると共に、コマーシャル区間検出手段で検出したコマーシャル区間の終点より後の所定カット数の終点側映像区間の映像をバラエティ番組から抽出する。
【００２５】
また、要約映像生成プログラムは、映像区間類似判断手段によって、映像区間抽出手段で抽出した始点側映像区間の映像と終点側映像区間の映像とが類似するか否かを、始点側映像区間と終点側映像区間との画像特徴量に基づいて判断する。そして、要約映像生成プログラムは、要約映像生成手段によって、始点側映像区間の映像と終点側映像区間の映像とが類似するときは終点側映像区間の映像を、始点側映像区間の映像と終点側映像区間の映像とが類似しないときは始点側映像区間の映像と終点側映像区間の映像とをコマーシャル区間毎に連結して要約映像を生成する。
【発明の効果】
【００２６】
請求項１、５に記載の発明によれば、クライマックスシーンが集中する映像から要約映像を生成することができ、また、要約映像で類似する映像が連続することはない。従って、請求項１、５に記載の発明によれば、視聴者がバラエティ番組の内容を把握しやすい要約映像を生成することができる。
また、請求項１、５に記載の発明によれば、要約映像を生成するための属性情報等を予め手入力して設定しておく必要がなく、放送番組の提供者に負担がかからない。さらに、請求項１、５に記載の発明によれば、放送番組の提供者が要約映像を配信する必要がなく、放送波や通信回線の伝送帯域を圧迫しない。
【００２７】
請求項２に記載の発明によれば、クライマックスシーンが少ないバラエティ番組の開始部分では要約映像を生成しないため、要約映像にクライマックスシーンが含まれる割合が高くなる。従って、請求項２に記載の発明によれば、要約映像から視聴者がバラエティ番組の内容をより把握しやすくなる。
【００２８】
請求項３に記載の発明によれば、クライマックスシーンが少ないバラエティ番組のエンディング部分では要約映像を生成しないため、要約映像にクライマックスシーンが含まれる割合が高くなる。従って、請求項３に記載の発明によれば、要約映像から視聴者がバラエティ番組の内容をより把握しやすくなる。
【００２９】
なお、コマーシャル区間同士の間隔が短くなる程、そのコマーシャル区間同士の間の映像にクライマックスシーンが少なくなる。このように、コマーシャル区間同士の間隔が短い場合には要約映像生成装置が要約映像を生成しないため、請求項４に記載の発明によれば、視聴者がバラエティ番組の内容をより把握しやすくなる。
【発明を実施するための最良の形態】
【００３０】
［バラエティ番組及び要約映像のデータ構造］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。図１を参照して、本発明の概要について説明する。図１（ａ）は本発明に係るバラエティ番組のデータ構造を示す構造図であり、図１（ｂ）は、本発明に係る要約映像のデータ構造を示す構造図である。
【００３１】
バラエティ番組は、１以上のコマーシャル区間を有していれば良く、図１（ａ）では、５個のコマーシャル区間ＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４，ＣＭ５を有していることとする。また、図１（ａ）には、コマーシャル区間ＣＭ２，ＣＭ３，ＣＭ４の前にそれぞれ始点側映像区間ａ１，ｂ１，ｃ１を示し、コマーシャル区間ＣＭ２，ＣＭ３，ＣＭ４の後にそれぞれ終点側映像区間ａ２，ｂ２，ｃ２を示す。ここで、始点側映像区間ａ１の映像と終点側映像区間ａ２の映像は類似せず、始点側映像区間ｂ１の映像と終点側映像区間ｂ２の映像は類似し、始点側映像区間ｃ１の映像と終点側映像区間ｃ２の映像は類似しているものとする。
【００３２】
図１（ｂ）に示すように、要約映像は、始点側映像区間ａ１の映像，終点側映像区間ａ２の映像，終点側映像区間ｂ２の映像，始点側映像区間ｃ１の映像及び終点側映像区間ｃ２の映像を時系列順に追加して生成されたものである。ここで、コマーシャル区間ＣＭ２では、始点側映像区間ｂ１の映像と終点側映像区間ｂ２の映像が類似するため、要約映像の生成には、始点側映像区間ｂ１の映像を用いていない。
【００３３】
［要約映像生成装置の構成］
図２を参照して、本実施形態に係る要約映像生成装置の構成について説明する。図２は、要約映像生成装置の構成を示すブロック図である。
【００３４】
要約映像生成装置１は、バラエティ番組からコマーシャル区間を検出し、コマーシャル区間毎に始点側映像区間の映像と終点側映像区間の映像から要約映像を生成するものである。図２に示すように、要約映像生成装置１は、例えば、リモコン装置３、受信手段１０、番組判断手段２０、記憶手段３０、検出手段４０、映像区間抽出手段５０、映像区間類似判断手段６０、要約映像生成手段７０、検索リスト提示手段８０、映像再生手段９０を備える。
【００３５】
受信手段１０は、放送波や通信回線を介して配信されるバラエティ番組その他の放送番組や電子番組ガイド（ＥＰＧ：Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）を受信するものである。また、受信手段１０は、受信した放送番組や電子番組ガイドを記憶手段３０に書き込む。これによって、放送番組や電子番組ガイドは記憶手段３０に記憶され、いつでも放送番組を再生することができる。また、リアルタイムで放送番組を再生する場合、受信手段１０は、放送番組を映像再生手段９０に出力する。
【００３６】
番組判断手段２０は、受信手段１０が受信した放送番組や記憶手段３０に記録された放送番組がバラエティ番組であるか否かを判断するものである。番組判断手段２０は、例えば、ある放送番組に対応する電子番組ガイドのジャンルがバラエティ番組として設定されている場合、この放送番組をバラエティ番組と判断する。
【００３７】
記憶手段３０は、受信手段１０が受信した放送番組や要約映像生成手段７０が生成した要約映像を記憶するものであり、例えば、ハードディスクである。この記憶手段３０に記憶された放送番組や要約映像は、要約映像再生手段８３及び映像再生手段９０から参照される。
【００３８】
図３を参照して、記憶手段３０に記憶されるデータの内容について説明する。図３は、記憶手段に記憶されるデータの構造を示す構造図である。図３に示すように、記憶手段３０は、放送番組記憶領域３１及び要約映像記憶領域３２を有するものである。
【００３９】
放送番組記憶領域３１は、放送番組を一意に識別できる識別情報と共に放送番組が記憶されるものである。
【００４０】
要約映像記憶領域３２は、要約映像を一意に識別できる識別情報と共に要約映像が記憶されるものである。
【００４１】
また、記憶手段３０は、前記した電子番組ガイドのジャンルを検索する所定のキーワード、後記する映像区間抽出手段５０が抽出する所定カット数、後記するバラエティ番組の開始からの所定時間、又は、後記するコマーシャル区間の終了からの所定時間を記憶しても良い。図２に戻って、要約映像生成装置１の構成について説明を続ける。
【００４２】
検出手段４０は、バラエティ番組から要約映像の生成に必要な情報の検出を行うものである。検出手段４０は、例えば、カットチェンジ点検出手段４１及びコマーシャル区間検出手段４２を備える。
【００４３】
カットチェンジ点検出手段４１は、バラエティ番組の全カットチェンジ（シーンチェンジ）点を検出するものである。カットチェンジ点検出手段４１は、例えば、フレーム間の画像特徴量が予め定めた量より大きい場合、検出した全カットチェンジ点に関する情報（タイムコード等）を映像区間抽出手段５０に出力する。
【００４４】
コマーシャル区間検出手段４２は、一般的なコマーシャル区間検出方法やコマーシャル区間カット方法を用いてバラエティ番組のコマーシャル区間を検出するものである。コマーシャル区間検出手段４２は、例えば、ステレオ放送とモノラル放送が切り替わるタイミング又は音声レベルの変化からコマーシャル区間を検出し、検出したコマーシャル区間に関する情報（タイムコード等）を映像区間抽出手段５０に出力する。
【００４５】
ここで、図１に示すように、コマーシャル区間検出手段４２は、バラエティ番組の開始から所定時間ｔ１、例えば、３分が経過するまではコマーシャル区間ＣＭ１を検出しないことが好ましい。コマーシャル区間検出手段４２がバラエティ番組の開始部分でコマーシャル区間を検出しないため、要約映像生成装置１は、バラエティ番組の開始部分では要約映像を生成することはない。
【００４６】
また、コマーシャル区間ＣＭ２の終点から所定時間ｔ３、例えば、１分を経過する前にコマーシャル区間ＣＭ３の始点があるときは、コマーシャル区間検出手段４２は、このコマーシャル区間ＣＭ３を検出しないことが好ましい。コマーシャル区間検出手段４２が、コマーシャル区間同士の間隔が短い場合にはコマーシャル区間を検出しないため、要約映像生成装置１は、このコマーシャル区間同士の間の映像から要約映像を生成することはない。
【００４７】
さらに、コマーシャル区間検出手段４２は、コマーシャル区間の終了時刻が電子番組ガイドで特定されるバラエティ番組の終了時刻ｔ３と一致するときは当該コマーシャル区間を検出しないことが好ましい。コマーシャル区間検出手段４２がバラエティ番組のエンディング部分でコマーシャル区間を検出しないため、要約映像生成装置１は、バラエティ番組の終了部分では要約映像を生成することはない。
【００４８】
なお、電子番組ガイドには、放送番組の開始時刻、終了時刻及びジャンルが記述されている。また、電子番組ガイドで特定されるバラエティ番組の終点時刻ｔ３は、バラエティ番組の最後尾にコマーシャル区間ＣＭ５が挿入されている場合、当該コマーシャル区間ＣＭ５の終了時刻と一致するものである。図２に戻って、要約映像生成装置１の構成について説明を続ける。
【００４９】
映像区間抽出手段５０は、コマーシャル区間の始点より前の所定カット数の始点側映像区間の映像をバラエティ番組から抽出するものである（図１参照）。また、映像区間抽出手段５０は、コマーシャル区間の終点より後の所定カット数の終点側映像区間の映像をバラエティ番組から抽出する。映像区間抽出手段５０は、抽出した始点側映像区間の映像及び終点側映像区間の映像を映像区間類似判断手段６０に出力する。
【００５０】
ここで、映像区間抽出手段５０は、始点側映像区間の映像及び終点側映像区間の映像にクライマックスシーンをより多く含めるため、抽出する所定カット数を３又は４カットとすることが好ましい。この所定カット数が３カット未満であると、始点側映像区間の映像や終点側映像区間の映像にクライマックスシーンが少なくなってしまう。一方、この所定カット数が５カットを超えると、始点側映像区間の映像や終点側映像区間の映像にクライマックスシーン以外の映像が多くなってしまう。
【００５１】
なお、映像区間抽出手段５０は、始点側映像区間の映像を抽出する所定カット数と終点側映像区間の映像を抽出する所定カットが同じであってもよく、又は、これら所定カット数が異なっても良い。
【００５２】
映像区間類似判断手段６０は、コマーシャル区間毎に始点側映像区間の映像と終点側映像区間の映像が類似するか否かを判断するものであり、例えば、画像特徴量算出手段６１及び類似度算出手段６２を備える。
【００５３】
画像特徴量算出手段６１は、始点側映像区間の画像特徴量と終点側映像区間の画像特徴量を算出するものである。また、画像特徴量算出手段６１は、始点側映像区間及び終点側映像区間のカット毎に画像特徴量を算出しても良い。この画像特徴量は、画像処理の分野で一般的に用いられるものであれば良く、例えば、映像の全画素のＲＧＢ又はＨＳＶの平均値ベクトル、映像全体の輝度ヒストグラム、映像をエッジ化したときのエッジ方向ヒストグラム、又は、映像の複雑さを示すフラクタル次元がある。画像特徴量算出手段６１は、算出した始点側映像区間の画像特徴量と終点側映像区間の画像特徴量を類似度算出手段６２に出力する。
【００５４】
類似度算出手段６２は、画像特徴量算出手段６１が算出した画像特徴量に基づいて、始点側映像区間の映像と終点側映像区間の映像の類似度を算出し、両映像が類似するか否かを判断するものである。類似度算出手段６２は、例えば、始点側映像区間の映像の平均値ベクトルと終点側映像区間の映像の平均値ベクトルの内積から、始点側映像区間の映像と終点側映像区間の映像の類似度を算出する。また、類似度算出手段６２は、始点側映像区間の映像と終点側映像区間の映像が類似するか否かの情報と共に、始点側映像区間の映像及び終点側映像区間の映像を要約映像生成手段７０に出力する。
【００５５】
要約映像生成手段７０は、始点側映像区間の映像と終点側映像区間の映像が類似しない場合、始点側映像区間の映像と終点側映像区間の映像を連結してコマーシャル区間毎に要約映像を生成するものである。一方、要約映像生成手段７０は、始点側映像区間の映像と終点側映像区間の映像が類似する場合、終点側映像区間の映像を用いて要約映像を生成する。また、要約映像生成手段７０は、生成した要約映像を記憶手段３０に書き込む。
【００５６】
ここで、要約映像生成手段７０は、バラエティ番組の時系列順、すなわち、検出されたコマーシャル区間が検出された順に要約映像を生成する。以下、図１を例に説明する。また、コマーシャル区間検出手段４２がコマーシャル区間ＣＭ２，ＣＭ３，ＣＭ４を検出し、コマーシャル区間ＣＭ１，ＣＭ５を検出しないものとして説明する。最初に検出されるコマーシャル区間ＣＭ２の始点側映像区間ａ１の映像と終点側映像区間ａ２の映像は類似しないので、要約映像生成手段７０は、始点側映像区間ａ１の映像と終点側映像区間ａ２の映像を連結して要約映像に追加する。また、次に検出されるコマーシャル区間ＣＭ３の始点側映像区間ｂ１の映像と終点側映像区間ｂ２の映像は類似するので、要約映像生成手段７０は、終点側映像区間ｂ２の映像を要約映像に追加する。そして、最後に検出されるコマーシャル区間ＣＭ３の始点側映像区間ｃ１の映像と終点側映像区間ｃ２の映像は類似するので、要約映像生成手段７０は、始点側映像区間ｃ１の映像と終点側映像区間ｃ２の映像を連結して要約映像に追加する。図１（ｂ）に示すように、要約映像は、始点側映像区間ａ１の映像、終点側映像区間ａ２の映像、終点側映像区間ｂ２の映像、始点側映像区間ｃ１の映像及び終点側映像区間ｃ２の映像を時系列順に追加して生成されたものとなる。
【００５７】
なお、要約映像の始点から終点までの時間は特に制限されないが、所定時間、例えば、３０秒を超える場合、要約映像生成手段７０は、生成した要約映像から所定時間を超える部分をカットしても良い。これによって、要約映像が長くなることはなく、要約映像から視聴者がバラエティ番組の内容をより把握しやすくなる。以後、図２に戻って、要約映像生成装置１の構成について説明を続ける。
【００５８】
検索リスト提示手段８０は、要約映像生成装置１にどの放送番組が記憶されているかを示すリストを生成し、表示装置２に出力する。ここで、検索リスト提示手段８０は、例えば、リスト生成手段８１、リスト選択手段８２及び要約映像再生手段８３を備える。
【００５９】
リスト生成手段８１は、視聴者からリモコン装置３を介してリスト表示を指示された際に、放送番組の番組名、開始時刻、終了時刻、ジャンル等のリストを生成する。このリスト生成手段８１で生成されたリストは、表示装置２に出力され、表示装置２の表示画面上にリスト画面として表示される。
【００６０】
リスト選択手段８２は、表示装置２に表示されたリストにおいて、視聴者からの選択を受け付ける。ここで、リスト選択手段８２は、リモコン装置３から出力された上下左右ボタン、決定ボタン等の操作ボタンの押下信号を解析することで、リスト内の放送番組を特定する。ここで、リスト選択手段８２は、リモコン装置３の操作ボタンによって選択された放送番組の再生を指示されることで、選択された放送番組を一意に識別する識別情報を映像再生手段９０に出力する。
【００６１】
また、リスト選択手段８２は、リモコン装置３の操作ボタンによって選択された放送番組の要約映像の再生を指示されることで、選択された放送番組の要約映像を一意に識別する識別情報を要約映像再生手段８３に出力する。
【００６２】
要約映像再生手段８３は、リスト選択手段８２で選択され、再生が指示された放送番組の要約映像を再生する。要約映像再生手段８３は、要約映像を一意に識別する識別情報に基づいて、記憶手段３０から要約映像を読み出して再生する。
【００６３】
映像再生手段９０は、リスト選択手段８２で選択され、再生が指示された放送番組を再生する。映像再生手段９０は、放送番組を一意に識別する識別情報に基づいて、記憶手段３０から放送番組を読み出して再生する。
【００６４】
以上、要約映像生成装置１の構成について説明したが、要約映像生成装置１は、一般的なコンピュータを前記した各手段として機能させる要約映像生成プログラムによって動作させることができる。また、要約映像生成装置１は、バラエティ番組以外のジャンルの放送番組の要約映像を、一般的な要約映像生成手段によって作成し、記憶手段３０に記憶しても良い（図示しない）。これによって、要約映像生成装置１は、バラエティ番組を含めて様々なジャンルの放送番組の要約映像を生成することができる。
【００６５】
［要約映像生成装置の動作］
図４を参照して、本実施形態に係る要約映像生成装置の動作について説明する。図４は、要約映像生成装置の動作を示すフローチャートである。まず、要約映像生成装置１は、受信手段１０によって、放送番組及び電子番組ガイドを受信し（ステップＳ１）、記憶手段３０に書き込む（ステップＳ２）。
【００６６】
その後、要約映像生成装置１は、番組判断手段２０、検出手段４０、映像区間抽出手段５０、映像区間類似判断手段６０及び要約映像生成手段７０によって、バラエティ番組から要約映像を生成し、記憶手段３０に書き込む（ステップＳ３）。なお、このステップＳ３の処理については、後に詳細に説明する（図５参照）。
【００６７】
そして、要約映像生成装置１は、検索リスト提示手段９０によって、リストを生成して視聴者に提示する（ステップＳ４）。以上の動作によって、要約映像生成装置１は、バラエティ番組の要約映像を生成し、視聴者はこの要約映像を用いてバラエティ番組の検索を行うことができる。
【００６８】
［要約映像の生成］
図５を参照して、本実施形態に係る要約映像生成装置が要約映像を生成する動作について説明する。図５は、要約映像生成装置が要約映像を生成する動作を示すフローチャートである。まず、放送番組判断手段２０が放送番組をバラエティ番組と判断する場合（ステップＳ１１でＹｅｓ）、要約映像生成装置１は、ステップＳ１２の処理を行う。一方、放送番組判断手段２０が放送番組をバラエティ番組と判断しない場合、要約映像生成装置１は、要約映像の生成せずに、処理を終了する（ステップＳ１１でＮｏ）。
【００６９】
要約映像生成装置１は、カットチェンジ点検出手段４１によって、バラエティ番組の全カットチェンジ点を検出する（ステップＳ１２）。また、要約映像生成装置１は、コマーシャル区間検出手段４２によって、バラエティ番組のコマーシャル区間を検出する（ステップＳ１３）。
【００７０】
要約映像生成装置１は、映像区間抽出手段５０によって、コマーシャル区間の始点より前の所定カット数の始点側映像区間の映像をバラエティ番組から抽出する（ステップＳ１４）。また、要約映像生成装置１は、映像区間抽出手段５０によって、コマーシャル区間の始点より後の所定カット数の終点側映像区間の映像をバラエティ番組から抽出する（ステップＳ１５）。
【００７１】
要約映像生成装置１は、画像特徴量算出手段６１によって、始点側映像区間の画像特徴量及び終点側映像区間の画像特徴量を算出する（ステップＳ１６）。また、類似度算出手段６２が、始点側映像区間の映像と終点側映像区間の映像が類似すると判断する場合、要約映像生成装置１は、ステップＳ１８の処理を行う（ステップＳ１７でＹｅｓ）。一方、類似度算出手段６２が、始点側映像区間の映像と終点側映像区間の映像が類似しないと判断する場合、要約映像生成装置１は、ステップＳ１９の処理を行う（ステップＳ１７でＮｏ）。なお、このステップＳ１７の処理については、後に詳細に説明する（図６参照）。
【００７２】
要約映像生成装置１は、要約映像生成手段７０によって、終点側映像区間の映像を要約映像に追加する（ステップＳ１８）。また、要約映像生成装置１は、要約映像生成手段７０によって、始点側映像区間の映像と終点側映像区間の映像を要約映像に追加する（ステップＳ１９）。
【００７３】
要約映像生成手段７０が全コマーシャル区間から要約映像の生成を行っている場合（ステップＳ２０でＹｅｓ）、要約映像生成装置１は、処理を終了する。一方、要約映像生成手段７０が全コマーシャル区間から要約映像の生成を行っていない場合（ステップＳ２０でＮｏ）、要約映像生成装置１は、次のコマーシャル区間の処理に移る。また、要約映像生成装置１は、次のコマーシャル区間の処理を行うため、例えば、何番目のコマーシャル区間から要約映像を追加したかを示すカウンタ等を更新し、ステップＳ１４の処理に戻る（ステップＳ２１）。
【００７４】
[類似度算出]
図６を参照して、本実施形態に係る要約映像生成装置が類似度を算出する動作について説明する。図６は、要約映像生成装置が類似度算出する動作を示すフローチャートである。なお、ここでは、コマーシャル区間検出手段４２によって検出されたコマーシャル区間の数をＮＣＭとする。類似度算出手段６２は、ｉ番目（１≦ｉ≦ＮＣＭを満たす）に検出されたコマーシャル区間における始点側映像区間の映像と終点側映像区間の映像が類似するか否かを判断するとして説明する。また、映像区間抽出手段５０が抽出する始点側映像区間の映像及び終点側映像区間の映像の所定カット数をＮＣＵＴとする。
【００７５】
図６の類似度算出処理の前に、映像区間抽出手段５０は、ｉ番目のコマーシャル区間における始点側映像区間の始点からｍ番目のカットの映像をＣ＿ｐ[ｉ，ｍ]として記憶している（１≦ｍ≦ＮＣＵＴを満たす）。また、映像区間抽出手段５０は、ｉ番目のコマーシャル区間における終点側映像区間の終点からｎ番目のカットの映像をＣ＿ａ[ｉ，ｎ]として記憶している（１≦ｎ≦ＮＣＵＴを満たす）。さらに、図６の類似度算出処理の前に、画像特徴量算出手段６１は、始点側映像区間及び終点側映像区間のカット毎、すなわち、Ｃ＿ｐ[ｉ，ｍ]及びＣ＿ａ[ｉ，ｎ]にそれぞれ対応する画像特徴量を算出している。
【００７６】
類似度算出手段６２は、ｉ番目に検出されたコマーシャル区間における始点側映像区間の映像と終点側映像区間の映像が類似するか否かを示すフラグＦ[ｉ]＝１（類似しない）と初期化する。また、類似度算出手段６２は、ｍ＝１と初期化する（ステップＳ１０１）。
【００７７】
類似度算出手段６２は、ｎ＝１と初期化する（ステップＳ１０２）。また、類似度算出手段６２は、Ｃ＿ｐ[ｉ，ｍ]に対応する画像特徴量とＣ＿ａ[ｉ，ｎ]に対応する画像特徴量から、これらの類似度Ｓ（ｍ，ｎ）を算出する（ステップＳ１０３）。
【００７８】
類似度算出手段６２は、類似度Ｓ（ｍ，ｎ）が所定の閾値ＳＴｈを超える場合、Ｃ＿ｐ[ｉ，ｍ]とＣ＿ａ[ｉ，ｎ]が類似すると判断し（ステップＳ１０４でＹｅｓ）、ステップＳ１０９の処理を行う。一方、類似度算出手段６２は、類似度Ｓ（ｍ，ｎ）が所定の閾値ＳＴｈを超えない場合、Ｃ＿ｐ[ｉ，ｍ]とＣ＿ａ[ｉ，ｎ]が類似しないと判断し（ステップＳ１０４でＮｏ）、ステップＳ１０５の処理を行う。
【００７９】
類似度算出手段６２は、ｎがＮＣＵＴ未満のときは（ステップＳ１０５でＮｏ）、終点側映像区間の全カットの映像の類似度算出の処理が終了していないので、ステップＳ１０６の処理を行う。一方、類似度算出手段６２は、ｎがＮＣＵＴ以上のときは（ステップＳ１０５でＹｅｓ）、終点側映像区間の全カットの映像の類似度算出の処理が終了しているので、ステップＳ１０７の処理を行う。また、類似度算出手段６２は、ｎに１を加算し（ステップＳ１０６）、次の終点側映像区間の類似度算出の処理を行うためにステップＳ１０３の処理に戻る。
【００８０】
類似度算出手段６２は、ｍがＮＣＵＴ未満のときは（ステップＳ１０７でＮｏ）、始点側映像区間の全カットの映像の類似度算出の処理が終了していないので、ステップＳ１０８の処理を行う。一方、類似度算出手段６２は、ｍがＮＣＵＴ以上のときは（ステップＳ１０７でＹｅｓ）、始点側映像区間と終点側映像区間の全カットの映像の類似度算出の処理が終了しているので、フラグＦ［ｉ］を更新せずに処理を終了する。
【００８１】
類似度算出手段６２は、ｍに１を加算し（ステップＳ１０８）、次の始点側映像区間の類似度算出の処理を行うためにステップＳ１０２の処理に戻る。また、類似度算出手段６２は、フラグＦ[ｉ]＝０（類似する）と設定し（ステップＳ１０９）、処理を終了する。以上の動作によって、要約映像生成装置１は、バラエティ番組の要約映像を生成することができる。
【図面の簡単な説明】
【００８２】
【図１】（ａ）は本発明に係るバラエティ番組のデータ構造を示す構造図であり、（ｂ）は、本発明に係る要約映像のデータ構造を示す構造図である。
【図２】本発明に係る要約映像生成装置の構成を示すブロック図である。
【図３】本発明に係る要約映像生成装置の記憶手段に記憶されるデータの構造を示す構造図である。
【図４】本発明に係る要約映像生成装置の全体動作を示すフローチャートである。
【図５】本発明に係る要約映像生成装置が要約映像を生成する動作を示すフローチャートである。
【図６】本発明に係る要約映像生成装置が類似度算出する動作を示すフローチャートである。
【符号の説明】
【００８３】
１ 要約映像生成装置
１０ 受信手段
２０ 番組判断手段
３０ 記憶手段
３１ 放送番組記憶領域
３２ 要約映像記憶領域
４０ 検出手段
４１ カットチェンジ点検出手段
４２ コマーシャル区間検出手段
５０ 映像区間抽出手段
６０ 映像区間類似判断手段
６１ 画像特徴量算出手段
６２ 類似度算出手段
７０ 要約映像生成手段
８０ 検索リスト提示手段
８１ リスト生成手段
８２ リスト選択手段
８３ 要約映像再生手段
９０ 映像再生手段
【技術分野】
【０００１】
本発明は、バラエティ番組の要約映像を生成する要約映像生成装置及び要約映像生成プログラムに関する。
【背景技術】
【０００２】
近年、ハードディスク等の大容量の記録装置を備え、放送番組の映像データを記録し、その記録された映像データの中から、視聴者が所望する映像データを検索して再生する放送番組受信装置が普及してきている。放送番組の中でもバラエティ番組は、視聴者の需要が高く、放送番組受信装置には、視聴者がバラエティ番組の内容を容易に把握できることや、記録された大量の放送番組の中から視聴者が所望するバラエティ番組を効率的に検索できることが要求されている。
【０００３】
そこで、放送番組とは別に当該放送番組の要約映像（ダイジェスト映像）を生成しておき、放送番組と要約映像とを対応付けて、視聴者が放送番組を検索する際に、放送番組の要約映像を再生することで、視聴者による放送番組の検索を補助する技術が開示されている（特許文献１，２，３参照）。
【０００４】
特許文献１に開示されている技術によれば、放送番組のカットチェンジ点の代表的なフレーム画像を時系列順に並べて要約映像を生成している。
【０００５】
特許文献２に開示されている技術によれば、予め所定の属性情報が登録され、その属性情報に従って放送番組の各カットに重み付けを行い、重み付けの高いカットをつなぎ合わせて要約映像を生成している。
【０００６】
また、特許文献３に開示されている技術によれば、スポーツ番組を対象とし、アナウンサの音声の変化に基づいて要約映像を生成している。
【特許文献１】特開平９−２８４６９８号公報
【特許文献２】特開平１１−２３８０７１号公報
【特許文献３】特開２００６−１２９３６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、従来の技術（特許文献１に開示されている技術）では、カットチェンジ点を基準にしているため、放送番組の特徴や内容をまったく考慮しておらず、視聴者が放送番組の内容を把握しやすい要約映像が生成できない問題がある。
【０００８】
また、従来の技術（特許文献２に開示されている技術）では、属性情報を手入力する必要があり、また、放送番組のジャンル毎に属性情報の設定内容が大きく変わることから、この属性情報を適切に設定することが困難な問題がある。
【０００９】
また、従来の技術（特許文献３に開示されている技術）は、アナウンサの音声の変化を基準としているため、バラエティ番組にはそぐわない。
【００１０】
本発明は、前記した問題を解決し、視聴者がバラエティ番組の内容を把握しやすい要約映像を生成することができる要約映像生成装置及び要約映像生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記した課題を解決するため、請求項１に記載の要約映像生成装置は、コマーシャル区間を含む放送番組と放送番組に対応する電子番組ガイドとから放送番組の要約映像を生成する要約映像生成装置であって、番組判断手段と、カットチェンジ点検出手段と、コマーシャル区間検出手段と、映像区間抽出手段と、映像区間類似判断手段と、要約映像生成手段と、を備える構成とした。
【００１２】
かかる構成によれば、要約映像生成装置は、番組判断手段によって、電子番組ガイドに記述された放送番組のジャンルに基づいて放送番組がバラエティ番組であるか否かを判断する。これによって、要約映像生成装置は、電子番組ガイドに基づいて、様々なジャンルの放送番組の中からバラエティ番組を特定することができる。
【００１３】
また、要約映像生成装置は、カットチェンジ点検出手段によって、バラエティ番組のカットチェンジ点を検出する。そして、要約映像生成装置は、コマーシャル区間検出手段によって、バラエティ番組に含まれるコマーシャル区間を検出する。そして、要約映像生成装置は、映像区間抽出手段によって、カットチェンジ点検出手段で検出したカットチェンジ点に基づいて、コマーシャル区間検出手段で検出したコマーシャル区間の始点より前の所定カット数の始点側映像区間の映像をバラエティ番組から抽出すると共に、コマーシャル区間検出手段で検出したコマーシャル区間の終点より後の所定カット数の終点側映像区間の映像をバラエティ番組から抽出する。バラエティ番組は、コマーシャル区間の前後にクライマックスシーンが集中する傾向が強いことから、要約映像生成装置は、バラエティ番組からクライマックスシーンを効率的に抽出することができる。
【００１４】
また、要約映像生成装置は、映像区間類似判断手段によって、映像区間抽出手段で抽出した始点側映像区間の映像と終点側映像区間の映像とが類似するか否かを、始点側映像区間と終点側映像区間の画像特徴量とに基づいて判断する。そして、要約映像生成装置は、要約映像生成手段によって、始点側映像区間の映像と終点側映像区間の映像とが類似するときは終点側映像区間の映像を、始点側映像区間の映像と終点側映像区間の映像とが類似しないときは始点側映像区間の映像と終点側映像区間の映像とをコマーシャル区間毎に連結して要約映像を生成する。これによって、要約映像生成装置は、生成した要約映像で類似する映像が連続することはない。
【００１５】
なお、バラエティ番組としては、例えば、お笑い番組、トーク番組、クイズ番組がある。
【００１６】
請求項２に記載の要約映像生成装置は、請求項１に記載の要約映像生成装置において、コマーシャル区間検出手段が、バラエティ番組の開始から所定時間が経過するまではコマーシャル区間を検出しない構成とした。
【００１７】
かかる構成によれば、要約映像生成装置は、クライマックスシーンが少ない傾向が強いバラエティ番組の開始部分の映像から要約映像を生成することはない。
【００１８】
請求項３に記載の要約映像生成装置は、請求項１又は２に記載の要約映像生成装置において、コマーシャル区間検出手段が、コマーシャル区間の終了時刻が電子番組ガイドで特定されるバラエティ番組の終了時刻と一致するときは当該コマーシャル区間を検出しない構成とした。
【００１９】
かかる構成によれば、要約映像生成装置は、クライマックスシーンが少ない傾向が強いバラエティ番組のエンディング部分の映像から要約映像を生成することはない。
【００２０】
請求項４に記載の要約映像生成装置は、請求項１から３のいずれか一項に記載の要約映像生成装置において、コマーシャル区間検出手段が、コマーシャル区間が終了してから所定時間が経過するまではコマーシャル区間を検出しない構成とした。
【００２１】
コマーシャル区間同士の間隔が短い場合、これらの間の映像にクライマックスシーンが少ない傾向が強い。かかる構成によれば、要約映像生成装置は、クライマックスシーンが少ない当該映像から要約映像を生成することはない。
【００２２】
請求項５に記載の要約映像生成プログラムは、コマーシャル区間を含む放送番組と放送番組に対応する電子番組ガイドとから放送番組の要約映像を生成するために、コンピュータを、番組判断手段、カットチェンジ点検出手段、コマーシャル区間検出手段、映像区間抽出手段、映像区間類似判断手段、要約映像生成手段、として機能させる構成とした。
【００２３】
かかる構成によれば、要約映像生成プログラムは、番組判断手段によって、電子番組ガイドに記述された放送番組のジャンルに基づいて放送番組がバラエティ番組であるか否かを判断する。
【００２４】
また、要約映像生成プログラムは、カットチェンジ点検出手段によって、バラエティ番組のカットチェンジ点を検出する。そして、要約映像生成プログラムは、コマーシャル区間検出手段によって、バラエティ番組に含まれるコマーシャル区間を検出する。そして、要約映像生成プログラムは、映像区間抽出手段によって、カットチェンジ点検出手段で検出したカットチェンジ点に基づいて、コマーシャル区間検出手段で検出したコマーシャル区間の始点より前の所定カット数の始点側映像区間の映像をバラエティ番組から抽出すると共に、コマーシャル区間検出手段で検出したコマーシャル区間の終点より後の所定カット数の終点側映像区間の映像をバラエティ番組から抽出する。
【００２５】
また、要約映像生成プログラムは、映像区間類似判断手段によって、映像区間抽出手段で抽出した始点側映像区間の映像と終点側映像区間の映像とが類似するか否かを、始点側映像区間と終点側映像区間との画像特徴量に基づいて判断する。そして、要約映像生成プログラムは、要約映像生成手段によって、始点側映像区間の映像と終点側映像区間の映像とが類似するときは終点側映像区間の映像を、始点側映像区間の映像と終点側映像区間の映像とが類似しないときは始点側映像区間の映像と終点側映像区間の映像とをコマーシャル区間毎に連結して要約映像を生成する。
【発明の効果】
【００２６】
請求項１、５に記載の発明によれば、クライマックスシーンが集中する映像から要約映像を生成することができ、また、要約映像で類似する映像が連続することはない。従って、請求項１、５に記載の発明によれば、視聴者がバラエティ番組の内容を把握しやすい要約映像を生成することができる。
また、請求項１、５に記載の発明によれば、要約映像を生成するための属性情報等を予め手入力して設定しておく必要がなく、放送番組の提供者に負担がかからない。さらに、請求項１、５に記載の発明によれば、放送番組の提供者が要約映像を配信する必要がなく、放送波や通信回線の伝送帯域を圧迫しない。
【００２７】
請求項２に記載の発明によれば、クライマックスシーンが少ないバラエティ番組の開始部分では要約映像を生成しないため、要約映像にクライマックスシーンが含まれる割合が高くなる。従って、請求項２に記載の発明によれば、要約映像から視聴者がバラエティ番組の内容をより把握しやすくなる。
【００２８】
請求項３に記載の発明によれば、クライマックスシーンが少ないバラエティ番組のエンディング部分では要約映像を生成しないため、要約映像にクライマックスシーンが含まれる割合が高くなる。従って、請求項３に記載の発明によれば、要約映像から視聴者がバラエティ番組の内容をより把握しやすくなる。
【００２９】
なお、コマーシャル区間同士の間隔が短くなる程、そのコマーシャル区間同士の間の映像にクライマックスシーンが少なくなる。このように、コマーシャル区間同士の間隔が短い場合には要約映像生成装置が要約映像を生成しないため、請求項４に記載の発明によれば、視聴者がバラエティ番組の内容をより把握しやすくなる。
【発明を実施するための最良の形態】
【００３０】
［バラエティ番組及び要約映像のデータ構造］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。図１を参照して、本発明の概要について説明する。図１（ａ）は本発明に係るバラエティ番組のデータ構造を示す構造図であり、図１（ｂ）は、本発明に係る要約映像のデータ構造を示す構造図である。
【００３１】
バラエティ番組は、１以上のコマーシャル区間を有していれば良く、図１（ａ）では、５個のコマーシャル区間ＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４，ＣＭ５を有していることとする。また、図１（ａ）には、コマーシャル区間ＣＭ２，ＣＭ３，ＣＭ４の前にそれぞれ始点側映像区間ａ１，ｂ１，ｃ１を示し、コマーシャル区間ＣＭ２，ＣＭ３，ＣＭ４の後にそれぞれ終点側映像区間ａ２，ｂ２，ｃ２を示す。ここで、始点側映像区間ａ１の映像と終点側映像区間ａ２の映像は類似せず、始点側映像区間ｂ１の映像と終点側映像区間ｂ２の映像は類似し、始点側映像区間ｃ１の映像と終点側映像区間ｃ２の映像は類似しているものとする。
【００３２】
図１（ｂ）に示すように、要約映像は、始点側映像区間ａ１の映像，終点側映像区間ａ２の映像，終点側映像区間ｂ２の映像，始点側映像区間ｃ１の映像及び終点側映像区間ｃ２の映像を時系列順に追加して生成されたものである。ここで、コマーシャル区間ＣＭ２では、始点側映像区間ｂ１の映像と終点側映像区間ｂ２の映像が類似するため、要約映像の生成には、始点側映像区間ｂ１の映像を用いていない。
【００３３】
［要約映像生成装置の構成］
図２を参照して、本実施形態に係る要約映像生成装置の構成について説明する。図２は、要約映像生成装置の構成を示すブロック図である。
【００３４】
要約映像生成装置１は、バラエティ番組からコマーシャル区間を検出し、コマーシャル区間毎に始点側映像区間の映像と終点側映像区間の映像から要約映像を生成するものである。図２に示すように、要約映像生成装置１は、例えば、リモコン装置３、受信手段１０、番組判断手段２０、記憶手段３０、検出手段４０、映像区間抽出手段５０、映像区間類似判断手段６０、要約映像生成手段７０、検索リスト提示手段８０、映像再生手段９０を備える。
【００３５】
受信手段１０は、放送波や通信回線を介して配信されるバラエティ番組その他の放送番組や電子番組ガイド（ＥＰＧ：Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）を受信するものである。また、受信手段１０は、受信した放送番組や電子番組ガイドを記憶手段３０に書き込む。これによって、放送番組や電子番組ガイドは記憶手段３０に記憶され、いつでも放送番組を再生することができる。また、リアルタイムで放送番組を再生する場合、受信手段１０は、放送番組を映像再生手段９０に出力する。
【００３６】
番組判断手段２０は、受信手段１０が受信した放送番組や記憶手段３０に記録された放送番組がバラエティ番組であるか否かを判断するものである。番組判断手段２０は、例えば、ある放送番組に対応する電子番組ガイドのジャンルがバラエティ番組として設定されている場合、この放送番組をバラエティ番組と判断する。
【００３７】
記憶手段３０は、受信手段１０が受信した放送番組や要約映像生成手段７０が生成した要約映像を記憶するものであり、例えば、ハードディスクである。この記憶手段３０に記憶された放送番組や要約映像は、要約映像再生手段８３及び映像再生手段９０から参照される。
【００３８】
図３を参照して、記憶手段３０に記憶されるデータの内容について説明する。図３は、記憶手段に記憶されるデータの構造を示す構造図である。図３に示すように、記憶手段３０は、放送番組記憶領域３１及び要約映像記憶領域３２を有するものである。
【００３９】
放送番組記憶領域３１は、放送番組を一意に識別できる識別情報と共に放送番組が記憶されるものである。
【００４０】
要約映像記憶領域３２は、要約映像を一意に識別できる識別情報と共に要約映像が記憶されるものである。
【００４１】
また、記憶手段３０は、前記した電子番組ガイドのジャンルを検索する所定のキーワード、後記する映像区間抽出手段５０が抽出する所定カット数、後記するバラエティ番組の開始からの所定時間、又は、後記するコマーシャル区間の終了からの所定時間を記憶しても良い。図２に戻って、要約映像生成装置１の構成について説明を続ける。
【００４２】
検出手段４０は、バラエティ番組から要約映像の生成に必要な情報の検出を行うものである。検出手段４０は、例えば、カットチェンジ点検出手段４１及びコマーシャル区間検出手段４２を備える。
【００４３】
カットチェンジ点検出手段４１は、バラエティ番組の全カットチェンジ（シーンチェンジ）点を検出するものである。カットチェンジ点検出手段４１は、例えば、フレーム間の画像特徴量が予め定めた量より大きい場合、検出した全カットチェンジ点に関する情報（タイムコード等）を映像区間抽出手段５０に出力する。
【００４４】
コマーシャル区間検出手段４２は、一般的なコマーシャル区間検出方法やコマーシャル区間カット方法を用いてバラエティ番組のコマーシャル区間を検出するものである。コマーシャル区間検出手段４２は、例えば、ステレオ放送とモノラル放送が切り替わるタイミング又は音声レベルの変化からコマーシャル区間を検出し、検出したコマーシャル区間に関する情報（タイムコード等）を映像区間抽出手段５０に出力する。
【００４５】
ここで、図１に示すように、コマーシャル区間検出手段４２は、バラエティ番組の開始から所定時間ｔ１、例えば、３分が経過するまではコマーシャル区間ＣＭ１を検出しないことが好ましい。コマーシャル区間検出手段４２がバラエティ番組の開始部分でコマーシャル区間を検出しないため、要約映像生成装置１は、バラエティ番組の開始部分では要約映像を生成することはない。
【００４６】
また、コマーシャル区間ＣＭ２の終点から所定時間ｔ３、例えば、１分を経過する前にコマーシャル区間ＣＭ３の始点があるときは、コマーシャル区間検出手段４２は、このコマーシャル区間ＣＭ３を検出しないことが好ましい。コマーシャル区間検出手段４２が、コマーシャル区間同士の間隔が短い場合にはコマーシャル区間を検出しないため、要約映像生成装置１は、このコマーシャル区間同士の間の映像から要約映像を生成することはない。
【００４７】
さらに、コマーシャル区間検出手段４２は、コマーシャル区間の終了時刻が電子番組ガイドで特定されるバラエティ番組の終了時刻ｔ３と一致するときは当該コマーシャル区間を検出しないことが好ましい。コマーシャル区間検出手段４２がバラエティ番組のエンディング部分でコマーシャル区間を検出しないため、要約映像生成装置１は、バラエティ番組の終了部分では要約映像を生成することはない。
【００４８】
なお、電子番組ガイドには、放送番組の開始時刻、終了時刻及びジャンルが記述されている。また、電子番組ガイドで特定されるバラエティ番組の終点時刻ｔ３は、バラエティ番組の最後尾にコマーシャル区間ＣＭ５が挿入されている場合、当該コマーシャル区間ＣＭ５の終了時刻と一致するものである。図２に戻って、要約映像生成装置１の構成について説明を続ける。
【００４９】
映像区間抽出手段５０は、コマーシャル区間の始点より前の所定カット数の始点側映像区間の映像をバラエティ番組から抽出するものである（図１参照）。また、映像区間抽出手段５０は、コマーシャル区間の終点より後の所定カット数の終点側映像区間の映像をバラエティ番組から抽出する。映像区間抽出手段５０は、抽出した始点側映像区間の映像及び終点側映像区間の映像を映像区間類似判断手段６０に出力する。
【００５０】
ここで、映像区間抽出手段５０は、始点側映像区間の映像及び終点側映像区間の映像にクライマックスシーンをより多く含めるため、抽出する所定カット数を３又は４カットとすることが好ましい。この所定カット数が３カット未満であると、始点側映像区間の映像や終点側映像区間の映像にクライマックスシーンが少なくなってしまう。一方、この所定カット数が５カットを超えると、始点側映像区間の映像や終点側映像区間の映像にクライマックスシーン以外の映像が多くなってしまう。
【００５１】
なお、映像区間抽出手段５０は、始点側映像区間の映像を抽出する所定カット数と終点側映像区間の映像を抽出する所定カットが同じであってもよく、又は、これら所定カット数が異なっても良い。
【００５２】
映像区間類似判断手段６０は、コマーシャル区間毎に始点側映像区間の映像と終点側映像区間の映像が類似するか否かを判断するものであり、例えば、画像特徴量算出手段６１及び類似度算出手段６２を備える。
【００５３】
画像特徴量算出手段６１は、始点側映像区間の画像特徴量と終点側映像区間の画像特徴量を算出するものである。また、画像特徴量算出手段６１は、始点側映像区間及び終点側映像区間のカット毎に画像特徴量を算出しても良い。この画像特徴量は、画像処理の分野で一般的に用いられるものであれば良く、例えば、映像の全画素のＲＧＢ又はＨＳＶの平均値ベクトル、映像全体の輝度ヒストグラム、映像をエッジ化したときのエッジ方向ヒストグラム、又は、映像の複雑さを示すフラクタル次元がある。画像特徴量算出手段６１は、算出した始点側映像区間の画像特徴量と終点側映像区間の画像特徴量を類似度算出手段６２に出力する。
【００５４】
類似度算出手段６２は、画像特徴量算出手段６１が算出した画像特徴量に基づいて、始点側映像区間の映像と終点側映像区間の映像の類似度を算出し、両映像が類似するか否かを判断するものである。類似度算出手段６２は、例えば、始点側映像区間の映像の平均値ベクトルと終点側映像区間の映像の平均値ベクトルの内積から、始点側映像区間の映像と終点側映像区間の映像の類似度を算出する。また、類似度算出手段６２は、始点側映像区間の映像と終点側映像区間の映像が類似するか否かの情報と共に、始点側映像区間の映像及び終点側映像区間の映像を要約映像生成手段７０に出力する。
【００５５】
要約映像生成手段７０は、始点側映像区間の映像と終点側映像区間の映像が類似しない場合、始点側映像区間の映像と終点側映像区間の映像を連結してコマーシャル区間毎に要約映像を生成するものである。一方、要約映像生成手段７０は、始点側映像区間の映像と終点側映像区間の映像が類似する場合、終点側映像区間の映像を用いて要約映像を生成する。また、要約映像生成手段７０は、生成した要約映像を記憶手段３０に書き込む。
【００５６】
ここで、要約映像生成手段７０は、バラエティ番組の時系列順、すなわち、検出されたコマーシャル区間が検出された順に要約映像を生成する。以下、図１を例に説明する。また、コマーシャル区間検出手段４２がコマーシャル区間ＣＭ２，ＣＭ３，ＣＭ４を検出し、コマーシャル区間ＣＭ１，ＣＭ５を検出しないものとして説明する。最初に検出されるコマーシャル区間ＣＭ２の始点側映像区間ａ１の映像と終点側映像区間ａ２の映像は類似しないので、要約映像生成手段７０は、始点側映像区間ａ１の映像と終点側映像区間ａ２の映像を連結して要約映像に追加する。また、次に検出されるコマーシャル区間ＣＭ３の始点側映像区間ｂ１の映像と終点側映像区間ｂ２の映像は類似するので、要約映像生成手段７０は、終点側映像区間ｂ２の映像を要約映像に追加する。そして、最後に検出されるコマーシャル区間ＣＭ３の始点側映像区間ｃ１の映像と終点側映像区間ｃ２の映像は類似するので、要約映像生成手段７０は、始点側映像区間ｃ１の映像と終点側映像区間ｃ２の映像を連結して要約映像に追加する。図１（ｂ）に示すように、要約映像は、始点側映像区間ａ１の映像、終点側映像区間ａ２の映像、終点側映像区間ｂ２の映像、始点側映像区間ｃ１の映像及び終点側映像区間ｃ２の映像を時系列順に追加して生成されたものとなる。
【００５７】
なお、要約映像の始点から終点までの時間は特に制限されないが、所定時間、例えば、３０秒を超える場合、要約映像生成手段７０は、生成した要約映像から所定時間を超える部分をカットしても良い。これによって、要約映像が長くなることはなく、要約映像から視聴者がバラエティ番組の内容をより把握しやすくなる。以後、図２に戻って、要約映像生成装置１の構成について説明を続ける。
【００５８】
検索リスト提示手段８０は、要約映像生成装置１にどの放送番組が記憶されているかを示すリストを生成し、表示装置２に出力する。ここで、検索リスト提示手段８０は、例えば、リスト生成手段８１、リスト選択手段８２及び要約映像再生手段８３を備える。
【００５９】
リスト生成手段８１は、視聴者からリモコン装置３を介してリスト表示を指示された際に、放送番組の番組名、開始時刻、終了時刻、ジャンル等のリストを生成する。このリスト生成手段８１で生成されたリストは、表示装置２に出力され、表示装置２の表示画面上にリスト画面として表示される。
【００６０】
リスト選択手段８２は、表示装置２に表示されたリストにおいて、視聴者からの選択を受け付ける。ここで、リスト選択手段８２は、リモコン装置３から出力された上下左右ボタン、決定ボタン等の操作ボタンの押下信号を解析することで、リスト内の放送番組を特定する。ここで、リスト選択手段８２は、リモコン装置３の操作ボタンによって選択された放送番組の再生を指示されることで、選択された放送番組を一意に識別する識別情報を映像再生手段９０に出力する。
【００６１】
また、リスト選択手段８２は、リモコン装置３の操作ボタンによって選択された放送番組の要約映像の再生を指示されることで、選択された放送番組の要約映像を一意に識別する識別情報を要約映像再生手段８３に出力する。
【００６２】
要約映像再生手段８３は、リスト選択手段８２で選択され、再生が指示された放送番組の要約映像を再生する。要約映像再生手段８３は、要約映像を一意に識別する識別情報に基づいて、記憶手段３０から要約映像を読み出して再生する。
【００６３】
映像再生手段９０は、リスト選択手段８２で選択され、再生が指示された放送番組を再生する。映像再生手段９０は、放送番組を一意に識別する識別情報に基づいて、記憶手段３０から放送番組を読み出して再生する。
【００６４】
以上、要約映像生成装置１の構成について説明したが、要約映像生成装置１は、一般的なコンピュータを前記した各手段として機能させる要約映像生成プログラムによって動作させることができる。また、要約映像生成装置１は、バラエティ番組以外のジャンルの放送番組の要約映像を、一般的な要約映像生成手段によって作成し、記憶手段３０に記憶しても良い（図示しない）。これによって、要約映像生成装置１は、バラエティ番組を含めて様々なジャンルの放送番組の要約映像を生成することができる。
【００６５】
［要約映像生成装置の動作］
図４を参照して、本実施形態に係る要約映像生成装置の動作について説明する。図４は、要約映像生成装置の動作を示すフローチャートである。まず、要約映像生成装置１は、受信手段１０によって、放送番組及び電子番組ガイドを受信し（ステップＳ１）、記憶手段３０に書き込む（ステップＳ２）。
【００６６】
その後、要約映像生成装置１は、番組判断手段２０、検出手段４０、映像区間抽出手段５０、映像区間類似判断手段６０及び要約映像生成手段７０によって、バラエティ番組から要約映像を生成し、記憶手段３０に書き込む（ステップＳ３）。なお、このステップＳ３の処理については、後に詳細に説明する（図５参照）。
【００６７】
そして、要約映像生成装置１は、検索リスト提示手段９０によって、リストを生成して視聴者に提示する（ステップＳ４）。以上の動作によって、要約映像生成装置１は、バラエティ番組の要約映像を生成し、視聴者はこの要約映像を用いてバラエティ番組の検索を行うことができる。
【００６８】
［要約映像の生成］
図５を参照して、本実施形態に係る要約映像生成装置が要約映像を生成する動作について説明する。図５は、要約映像生成装置が要約映像を生成する動作を示すフローチャートである。まず、放送番組判断手段２０が放送番組をバラエティ番組と判断する場合（ステップＳ１１でＹｅｓ）、要約映像生成装置１は、ステップＳ１２の処理を行う。一方、放送番組判断手段２０が放送番組をバラエティ番組と判断しない場合、要約映像生成装置１は、要約映像の生成せずに、処理を終了する（ステップＳ１１でＮｏ）。
【００６９】
要約映像生成装置１は、カットチェンジ点検出手段４１によって、バラエティ番組の全カットチェンジ点を検出する（ステップＳ１２）。また、要約映像生成装置１は、コマーシャル区間検出手段４２によって、バラエティ番組のコマーシャル区間を検出する（ステップＳ１３）。
【００７０】
要約映像生成装置１は、映像区間抽出手段５０によって、コマーシャル区間の始点より前の所定カット数の始点側映像区間の映像をバラエティ番組から抽出する（ステップＳ１４）。また、要約映像生成装置１は、映像区間抽出手段５０によって、コマーシャル区間の始点より後の所定カット数の終点側映像区間の映像をバラエティ番組から抽出する（ステップＳ１５）。
【００７１】
要約映像生成装置１は、画像特徴量算出手段６１によって、始点側映像区間の画像特徴量及び終点側映像区間の画像特徴量を算出する（ステップＳ１６）。また、類似度算出手段６２が、始点側映像区間の映像と終点側映像区間の映像が類似すると判断する場合、要約映像生成装置１は、ステップＳ１８の処理を行う（ステップＳ１７でＹｅｓ）。一方、類似度算出手段６２が、始点側映像区間の映像と終点側映像区間の映像が類似しないと判断する場合、要約映像生成装置１は、ステップＳ１９の処理を行う（ステップＳ１７でＮｏ）。なお、このステップＳ１７の処理については、後に詳細に説明する（図６参照）。
【００７２】
要約映像生成装置１は、要約映像生成手段７０によって、終点側映像区間の映像を要約映像に追加する（ステップＳ１８）。また、要約映像生成装置１は、要約映像生成手段７０によって、始点側映像区間の映像と終点側映像区間の映像を要約映像に追加する（ステップＳ１９）。
【００７３】
要約映像生成手段７０が全コマーシャル区間から要約映像の生成を行っている場合（ステップＳ２０でＹｅｓ）、要約映像生成装置１は、処理を終了する。一方、要約映像生成手段７０が全コマーシャル区間から要約映像の生成を行っていない場合（ステップＳ２０でＮｏ）、要約映像生成装置１は、次のコマーシャル区間の処理に移る。また、要約映像生成装置１は、次のコマーシャル区間の処理を行うため、例えば、何番目のコマーシャル区間から要約映像を追加したかを示すカウンタ等を更新し、ステップＳ１４の処理に戻る（ステップＳ２１）。
【００７４】
[類似度算出]
図６を参照して、本実施形態に係る要約映像生成装置が類似度を算出する動作について説明する。図６は、要約映像生成装置が類似度算出する動作を示すフローチャートである。なお、ここでは、コマーシャル区間検出手段４２によって検出されたコマーシャル区間の数をＮＣＭとする。類似度算出手段６２は、ｉ番目（１≦ｉ≦ＮＣＭを満たす）に検出されたコマーシャル区間における始点側映像区間の映像と終点側映像区間の映像が類似するか否かを判断するとして説明する。また、映像区間抽出手段５０が抽出する始点側映像区間の映像及び終点側映像区間の映像の所定カット数をＮＣＵＴとする。
【００７５】
図６の類似度算出処理の前に、映像区間抽出手段５０は、ｉ番目のコマーシャル区間における始点側映像区間の始点からｍ番目のカットの映像をＣ＿ｐ[ｉ，ｍ]として記憶している（１≦ｍ≦ＮＣＵＴを満たす）。また、映像区間抽出手段５０は、ｉ番目のコマーシャル区間における終点側映像区間の終点からｎ番目のカットの映像をＣ＿ａ[ｉ，ｎ]として記憶している（１≦ｎ≦ＮＣＵＴを満たす）。さらに、図６の類似度算出処理の前に、画像特徴量算出手段６１は、始点側映像区間及び終点側映像区間のカット毎、すなわち、Ｃ＿ｐ[ｉ，ｍ]及びＣ＿ａ[ｉ，ｎ]にそれぞれ対応する画像特徴量を算出している。
【００７６】
類似度算出手段６２は、ｉ番目に検出されたコマーシャル区間における始点側映像区間の映像と終点側映像区間の映像が類似するか否かを示すフラグＦ[ｉ]＝１（類似しない）と初期化する。また、類似度算出手段６２は、ｍ＝１と初期化する（ステップＳ１０１）。
【００７７】
類似度算出手段６２は、ｎ＝１と初期化する（ステップＳ１０２）。また、類似度算出手段６２は、Ｃ＿ｐ[ｉ，ｍ]に対応する画像特徴量とＣ＿ａ[ｉ，ｎ]に対応する画像特徴量から、これらの類似度Ｓ（ｍ，ｎ）を算出する（ステップＳ１０３）。
【００７８】
類似度算出手段６２は、類似度Ｓ（ｍ，ｎ）が所定の閾値ＳＴｈを超える場合、Ｃ＿ｐ[ｉ，ｍ]とＣ＿ａ[ｉ，ｎ]が類似すると判断し（ステップＳ１０４でＹｅｓ）、ステップＳ１０９の処理を行う。一方、類似度算出手段６２は、類似度Ｓ（ｍ，ｎ）が所定の閾値ＳＴｈを超えない場合、Ｃ＿ｐ[ｉ，ｍ]とＣ＿ａ[ｉ，ｎ]が類似しないと判断し（ステップＳ１０４でＮｏ）、ステップＳ１０５の処理を行う。
【００７９】
類似度算出手段６２は、ｎがＮＣＵＴ未満のときは（ステップＳ１０５でＮｏ）、終点側映像区間の全カットの映像の類似度算出の処理が終了していないので、ステップＳ１０６の処理を行う。一方、類似度算出手段６２は、ｎがＮＣＵＴ以上のときは（ステップＳ１０５でＹｅｓ）、終点側映像区間の全カットの映像の類似度算出の処理が終了しているので、ステップＳ１０７の処理を行う。また、類似度算出手段６２は、ｎに１を加算し（ステップＳ１０６）、次の終点側映像区間の類似度算出の処理を行うためにステップＳ１０３の処理に戻る。
【００８０】
類似度算出手段６２は、ｍがＮＣＵＴ未満のときは（ステップＳ１０７でＮｏ）、始点側映像区間の全カットの映像の類似度算出の処理が終了していないので、ステップＳ１０８の処理を行う。一方、類似度算出手段６２は、ｍがＮＣＵＴ以上のときは（ステップＳ１０７でＹｅｓ）、始点側映像区間と終点側映像区間の全カットの映像の類似度算出の処理が終了しているので、フラグＦ［ｉ］を更新せずに処理を終了する。
【００８１】
類似度算出手段６２は、ｍに１を加算し（ステップＳ１０８）、次の始点側映像区間の類似度算出の処理を行うためにステップＳ１０２の処理に戻る。また、類似度算出手段６２は、フラグＦ[ｉ]＝０（類似する）と設定し（ステップＳ１０９）、処理を終了する。以上の動作によって、要約映像生成装置１は、バラエティ番組の要約映像を生成することができる。
【図面の簡単な説明】
【００８２】
【図１】（ａ）は本発明に係るバラエティ番組のデータ構造を示す構造図であり、（ｂ）は、本発明に係る要約映像のデータ構造を示す構造図である。
【図２】本発明に係る要約映像生成装置の構成を示すブロック図である。
【図３】本発明に係る要約映像生成装置の記憶手段に記憶されるデータの構造を示す構造図である。
【図４】本発明に係る要約映像生成装置の全体動作を示すフローチャートである。
【図５】本発明に係る要約映像生成装置が要約映像を生成する動作を示すフローチャートである。
【図６】本発明に係る要約映像生成装置が類似度算出する動作を示すフローチャートである。
【符号の説明】
【００８３】
１ 要約映像生成装置
１０ 受信手段
２０ 番組判断手段
３０ 記憶手段
３１ 放送番組記憶領域
３２ 要約映像記憶領域
４０ 検出手段
４１ カットチェンジ点検出手段
４２ コマーシャル区間検出手段
５０ 映像区間抽出手段
６０ 映像区間類似判断手段
６１ 画像特徴量算出手段
６２ 類似度算出手段
７０ 要約映像生成手段
８０ 検索リスト提示手段
８１ リスト生成手段
８２ リスト選択手段
８３ 要約映像再生手段
９０ 映像再生手段
【特許請求の範囲】
【請求項１】
コマーシャル区間を含む放送番組と前記放送番組に対応する電子番組ガイドとから前記放送番組の要約映像を生成する要約映像生成装置であって、
前記電子番組ガイドに記述された前記放送番組のジャンルに基づいて前記放送番組がバラエティ番組であるか否かを判断する番組判断手段と、
前記バラエティ番組のカットチェンジ点を検出するカットチェンジ点検出手段と、
前記バラエティ番組に含まれる前記コマーシャル区間を検出するコマーシャル区間検出手段と、
前記カットチェンジ点検出手段で検出した前記カットチェンジ点に基づいて、前記コマーシャル区間検出手段で検出した前記コマーシャル区間の始点より前の所定カット数の始点側映像区間の映像を前記バラエティ番組から抽出すると共に、前記コマーシャル区間検出手段で検出した前記コマーシャル区間の終点より後の所定カット数の終点側映像区間の映像を前記バラエティ番組から抽出する映像区間抽出手段と、
前記映像区間抽出手段で抽出した前記始点側映像区間の映像と前記終点側映像区間の映像とが類似するか否かを、前記始点側映像区間と前記終点側映像区間との画像特徴量に基づいて判断する映像区間類似判断手段と、
前記始点側映像区間の映像と前記終点側映像区間の映像とが類似するときは前記終点側映像区間の映像を、前記始点側映像区間の映像と前記終点側映像区間の映像とが類似しないときは前記始点側映像区間の映像と前記終点側映像区間の映像とを前記コマーシャル区間毎に連結して前記要約映像を生成する要約映像生成手段と、
を備えることを特徴とする要約映像生成装置。
【請求項２】
前記コマーシャル区間検出手段は、前記バラエティ番組の開始から所定時間が経過するまでは前記コマーシャル区間を検出しないことを特徴とする請求項１に記載の要約映像生成装置。
【請求項３】
前記コマーシャル区間検出手段は、前記コマーシャル区間の終了時刻が前記電子番組ガイドで特定される前記バラエティ番組の終了時刻と一致するときは当該コマーシャル区間を検出しないことを特徴とする請求項１又は２に記載の要約映像生成装置。
【請求項４】
前記コマーシャル区間検出手段は、前記コマーシャル区間が終了してから所定時間が経過するまでは前記コマーシャル区間を検出しないことを特徴とする請求項１から３のいずれか一項に記載の要約映像生成装置。
【請求項５】
コマーシャル区間を含む放送番組と前記放送番組に対応する電子番組ガイドとから前記放送番組の要約映像を生成するために、コンピュータを、
前記電子番組ガイドに記述された前記放送番組のジャンルに基づいて前記放送番組がバラエティ番組であるか否かを判断する番組判断手段、
前記バラエティ番組のカットチェンジ点を検出するカットチェンジ点検出手段、
前記バラエティ番組に含まれる前記コマーシャル区間を検出するコマーシャル区間検出手段、
前記カットチェンジ点検出手段で検出した前記カットチェンジ点に基づいて、前記コマーシャル区間検出手段で検出した前記コマーシャル区間の始点より前の所定カット数の始点側映像区間の映像を前記バラエティ番組から抽出すると共に、前記コマーシャル区間検出手段で検出した前記コマーシャル区間の終点より後の所定カット数の終点側映像区間の映像を前記バラエティ番組から抽出する映像区間抽出手段、
前記映像区間抽出手段で抽出した前記始点側映像区間の映像と前記終点側映像区間の映像とが類似するか否かを、前記始点側映像区間と前記終点側映像区間との画像特徴量に基づいて判断する映像区間類似判断手段、
前記始点側映像区間の映像と前記終点側映像区間の映像とが類似するときは前記終点側映像区間の映像を、前記始点側映像区間の映像と前記終点側映像区間の映像とが類似しないときは前記始点側映像区間の映像と前記終点側映像区間の映像とを前記コマーシャル区間毎に連結して前記要約映像を生成する要約映像生成手段、
として機能させることを特徴とする要約映像生成プログラム。
【請求項１】
コマーシャル区間を含む放送番組と前記放送番組に対応する電子番組ガイドとから前記放送番組の要約映像を生成する要約映像生成装置であって、
前記電子番組ガイドに記述された前記放送番組のジャンルに基づいて前記放送番組がバラエティ番組であるか否かを判断する番組判断手段と、
前記バラエティ番組のカットチェンジ点を検出するカットチェンジ点検出手段と、
前記バラエティ番組に含まれる前記コマーシャル区間を検出するコマーシャル区間検出手段と、
前記カットチェンジ点検出手段で検出した前記カットチェンジ点に基づいて、前記コマーシャル区間検出手段で検出した前記コマーシャル区間の始点より前の所定カット数の始点側映像区間の映像を前記バラエティ番組から抽出すると共に、前記コマーシャル区間検出手段で検出した前記コマーシャル区間の終点より後の所定カット数の終点側映像区間の映像を前記バラエティ番組から抽出する映像区間抽出手段と、
前記映像区間抽出手段で抽出した前記始点側映像区間の映像と前記終点側映像区間の映像とが類似するか否かを、前記始点側映像区間と前記終点側映像区間との画像特徴量に基づいて判断する映像区間類似判断手段と、
前記始点側映像区間の映像と前記終点側映像区間の映像とが類似するときは前記終点側映像区間の映像を、前記始点側映像区間の映像と前記終点側映像区間の映像とが類似しないときは前記始点側映像区間の映像と前記終点側映像区間の映像とを前記コマーシャル区間毎に連結して前記要約映像を生成する要約映像生成手段と、
を備えることを特徴とする要約映像生成装置。
【請求項２】
前記コマーシャル区間検出手段は、前記バラエティ番組の開始から所定時間が経過するまでは前記コマーシャル区間を検出しないことを特徴とする請求項１に記載の要約映像生成装置。
【請求項３】
前記コマーシャル区間検出手段は、前記コマーシャル区間の終了時刻が前記電子番組ガイドで特定される前記バラエティ番組の終了時刻と一致するときは当該コマーシャル区間を検出しないことを特徴とする請求項１又は２に記載の要約映像生成装置。
【請求項４】
前記コマーシャル区間検出手段は、前記コマーシャル区間が終了してから所定時間が経過するまでは前記コマーシャル区間を検出しないことを特徴とする請求項１から３のいずれか一項に記載の要約映像生成装置。
【請求項５】
コマーシャル区間を含む放送番組と前記放送番組に対応する電子番組ガイドとから前記放送番組の要約映像を生成するために、コンピュータを、
前記電子番組ガイドに記述された前記放送番組のジャンルに基づいて前記放送番組がバラエティ番組であるか否かを判断する番組判断手段、
前記バラエティ番組のカットチェンジ点を検出するカットチェンジ点検出手段、
前記バラエティ番組に含まれる前記コマーシャル区間を検出するコマーシャル区間検出手段、
前記カットチェンジ点検出手段で検出した前記カットチェンジ点に基づいて、前記コマーシャル区間検出手段で検出した前記コマーシャル区間の始点より前の所定カット数の始点側映像区間の映像を前記バラエティ番組から抽出すると共に、前記コマーシャル区間検出手段で検出した前記コマーシャル区間の終点より後の所定カット数の終点側映像区間の映像を前記バラエティ番組から抽出する映像区間抽出手段、
前記映像区間抽出手段で抽出した前記始点側映像区間の映像と前記終点側映像区間の映像とが類似するか否かを、前記始点側映像区間と前記終点側映像区間との画像特徴量に基づいて判断する映像区間類似判断手段、
前記始点側映像区間の映像と前記終点側映像区間の映像とが類似するときは前記終点側映像区間の映像を、前記始点側映像区間の映像と前記終点側映像区間の映像とが類似しないときは前記始点側映像区間の映像と前記終点側映像区間の映像とを前記コマーシャル区間毎に連結して前記要約映像を生成する要約映像生成手段、
として機能させることを特徴とする要約映像生成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−６５５９６（Ｐ２００９−６５５９６Ａ）
【公開日】平成２１年３月２６日（２００９．３．２６）
【国際特許分類】
【出願番号】特願２００７−２３３８００（Ｐ２００７−２３３８００）
【出願日】平成１９年９月１０日（２００７．９．１０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２１年３月２６日（２００９．３．２６）
【国際特許分類】
【出願日】平成１９年９月１０日（２００７．９．１０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]