映像音声再生装置、映像音声記録再生装置、映像音声編集装置、映像音声再生方法、映像音声記録再生方法、および映像音声編集方法
【課題】 本発明は、適切な画像をサムネイルとして選択することが可能な映像音声記録再生装置を提供することを目的とする。
【解決手段】 映像情報からシーンの境界を抽出し、抽出されたシーン境界にアクセスするためのエントリー情報を生成し、抽出されたシーン境界により分割されたシーンを代表するサムネイル画像を選択し、選択されたサムネイル画像を表示し、表示されたサムネイルから任意のサムネイルを選択させ、選択されたサムネイルに対応するシーンを再生する処理を備え、シーン境界から所定期間後のピクチャをサムネイル画像として選択することを特徴とする映像音声再生方法。
【解決手段】 映像情報からシーンの境界を抽出し、抽出されたシーン境界にアクセスするためのエントリー情報を生成し、抽出されたシーン境界により分割されたシーンを代表するサムネイル画像を選択し、選択されたサムネイル画像を表示し、表示されたサムネイルから任意のサムネイルを選択させ、選択されたサムネイルに対応するシーンを再生する処理を備え、シーン境界から所定期間後のピクチャをサムネイル画像として選択することを特徴とする映像音声再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録する映像をシーン単位に分割するとともに、シーンに対応するサムネイル画像を生成することによって、再生時に、視聴したいシーンを、サムネイル選択による視覚的な選択によって可能とする映像音声再生装置に関するものである。
【背景技術】
【０００２】
従来の映像記録再生装置においては、映像の再生開始位置から再生を行う場合、再生開始時点をタイトル名もしくはチャプター番号によって選択していたため、ユーザーは、再生を行う前の段階で、どのような内容の映像が再生されるかを知ることができなかった。
【０００３】
このような問題を解消するため、録画時における映像符号化処理前の画像データを用いて、サムネイルデータを生成し、再生タイトルを選択するグラフィックス画面上に、生成したサムネイルデータを表示することによって、再生内容をユーザーに知らせる方法がある（特許文献１）。さらに、タイトル、もしくはタイトル内の特定区間（チャプターやシーン）の内容を示すサムネイルデータの画像をより適切な画像内容とするために、サムネイルデータの元となる映像の位置を決定する方法も考案されている（特許文献２及び３）。一方、特定のシーンの内容を、連続する静止画として表現するために、シーン内のシーンチェンジの発生間隔を利用し、サムネイル画像を決定する方法もある（特許文献４）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１４８７３１号公報（第１４頁、図９）
【特許文献２】特開２００６−２２９８２１号公報（第４頁、図１）
【特許文献３】特開２００３−２７４３６１号公報（第４頁、図３）
【特許文献４】特開２００１−２９８７１１号公報（第３頁、図２５）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の映像記録再生装置においては、シーンの開始および終了位置をチャプターもしくはエントリーで区切り、再生開始から固定時間、もしくはエントリー位置からの固定時間経過後の画像をサムネイルとして利用していた。そのため、選択したサムネイル画像の内容と、再生される映像内容に乖離があり、ユーザーが違和感を覚えることがあった。また、動きの変化が激しい場面のピクチャがサムネイルとして選択された場合、サムネイル画像が何を表示しているのか分からないという不具合もあった。
【０００６】
本発明は、上記の課題を解決するためになされたものであり、記録する映像音声コンテンツをシーンに区切るとともに、各シーンについて、適切な画像をサムネイルとして選択することが可能な映像音声記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る映像再生装置は、映像情報からシーンの境界を抽出するシーン境界抽出手段と、
シーン境界抽出手段によって抽出されたシーン境界にアクセスするためのエントリー情報を生成するエントリー生成手段と、
上記シーン境界抽出手段によって分割されたシーンを代表するサムネイル画像を選択するサムネイル生成手段と、
前記サムネイル生成手段によって選択されたサムネイル画像を表示するサムネイル表示手段と、
表示されたサムネイルから任意のサムネイルを選択するためのサムネイル選択手段と、
選択されたサムネイルに対応するシーンを再生する手段と、を備え、
前記サムネイル生成手段は、シーン境界から所定期間後のピクチャをサムネイル画像として選択するものである。
【発明の効果】
【０００８】
本発明の映像音声再生装置によれば、シーン境界から所定期間後のピクチャをサムネイル画像として選択するので、映像音声コンテンツをシーンに区切るとともに、各シーンについて、適切な画像をサムネイルとして選択することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る映像音声記録再生装置の構成を示すブロック図である。
【図２】シーン選択操作における表示画面の一例である。
【図３】シーンとサムネイル画像との関係を示す図である。
【図４】シーンチェンジとサムネイル画像との関係を示す図である。
【図５】シーンチェンジとサムネイル画像との関係を示す図である。
【図６】シーンチェンジとサムネイル画像との関係を示す図である。
【図７】エントリー情報生成動作を示すフローチャートである。
【図８】サムネイル生成動作を示すフローチャートである。
【図９】サムネイル生成動作を示すフローチャートである。
【図１０】サムネイル表示動作を示すフローチャートである。
【図１１】実施の形態２に係る映像音声記録再生装置の構成を示すブロック図である。
【図１２】シーン境界検出方法の一例を示す図である。
【図１３】実施の形態３に係る映像音声記録再生装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、本発明の実施の形態１に関る映像音声記録再生装置１の構成を示すブロック図である。映像音声記録再生装置１は、外部機器とのインターフェースとして、デジタルチューナー３、アナログチューナー４、外部入力端子５、モニター出力端子３１、ネットワーク端子３０を有する。デジタルチューナー３およびアナログチューナー４は、アンテナ９１に接続され、デジタルおよびアナログ放送を受信することができる。外部入力端子５は、主に、アナログ入力と呼ばれるコンポジット入力、Ｓビデオ入力、ＬＲ音声入力等に対応する。モニター出力端子３１にはモニター９３が接続され、映像音声記録再生装置１が生成する映像および音声信号を表示出力することが可能である。また、映像音声記録再生装置１は、装置を遠隔操作するためのリモコン受信６を備え、赤外線等で受信されたリモコンコードはシステム制御部２に送信される。
【００１１】
システム制御部２は、ユーザーの要求に基づくリモコンの制御信号に応じて映像音声記録再生装置１を制御する。システム制御部２は、ユーザーから録画の要求がなされると、録画アプリ９を起動し、録画実行を指示する。録画アプリ９は、録画制御１０を制御し、録画の開始、終了および録画中の記録動作を管理する。また、ユーザーから再生の要求がなされると、システム制御部２は、再生アプリ１１を起動し、再生実行を指示する。再生アプリ１１、は再生制御１４を制御し、指定されたコンテンツの再生を開始する。
【００１２】
図１を参照し、映像音声記録再生装置１における、デジタル放送の録画機能について説明する。デジタルチューナー３で受信されたデジタル放送は、フルＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）として入力ストリーム制御８に送られる。入力ストリーム制御８は、ＡＶストリーム記録部１７に映像音声データであるＡＶストリームを安定的に記録するために、データを一時的に蓄えて、ＡＶストリーム記録部１７に定常的に書き込む処理を行う。また入力ストリーム制御８は、フルＴＳから記録する必要のないパケット等を省いたパーシャルＴＳにも対応する。また、ＴＳのＰＩＤやセクション情報の検出処理を行うほか、記録されるビデオストリーム中のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の開始位置の検出等も行う。ＡＶストリーム記録部１７は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等により構成される。
【００１３】
ＨＤＤにＡＶストリームを記録する場合、再生時におけるシーン検索性の向上、特殊再生時における任意時間へのランダムシークを実現するため、ＨＤＤに記録されるＡＶストリームのアドレス情報と時間情報とを対応付けたアドレスマップが必要となる。録画制御１０は、録画時に、入力ストリーム制御８により検出されるＧＯＰ開始位置情報に基づいてアドレスマップを生成し、ＡＶ管理情報記録部１８に記録する。ＡＶ管理情報記録部１８は、前述のアドレスマップを記録するほか、記録された番組のタイトル、記録開始時間、記録終了時間、放送サービス名、チャンネル番号、映像コーデック情報、音声コーデック情報、番組詳細情報等が含まれる再生制御情報を記録し、必要に応じて再生制御１４に読み出す。
【００１４】
次に、アナログ放送、および外部から入力された映像信号の録画機能について説明する。アンテナ９１で受信されたアナログ放送は、アナログチューナー４によってユーザーが指定されたチャンネルの信号のみが取り出される。アナログチューナー４により取り出された信号は、映像信号化され、図示しないＡＤ／ＤＡコンバーターによってデジタル信号化された後、ＡＶエンコーダ７に入力される。ＡＶエンコーダ７は、映像信号をＭＰＥＧ−２ビデオに符号化するとともに、音声信号をＡＡＣにより符号化し、符号化した映像および音声信号をＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍに多重し、ＡＶストリームを生成する。ＡＶストリームは入力ストリーム制御８に送られ、ＡＶストリーム記録部１７に記録される。外部入力５から入力された映像音声信号についても同様に、ＡＤ／ＤＡ変換された後に、ＡＶエンコーダ７によってＡＶストリームに変換され、ＡＶストリーム記録部１７に記録される。
【００１５】
図１を参照し、映像音声記録再生装置１における再生機能について説明する。ユーザーが、図示しないリモコンに設けられた「録画タイトル一覧」ボタンを押下すると、録画された番組タイトルの全て、あるいは一部が画面上に表示される。ユーザーはリモコンに設けられた上下左右のカーソルキーによって希望するタイトルにカーソルを移動させ、「決定」ボタンを押下することで再生するタイトルを選択する。選択されたタイトルは、リモコンから赤外線信号としてリモコン受信６に送信され、ソフトウェアコードに変換された後、システム制御部２に送られ、グラフィックス画面が更新される。また、再生待機状態もしくは録画状態でない場合、これらのコードは再生アプリ１１に送られ、対応する再生動作機能が呼び出され、再生状態が変更される。以下、具体的な再生動作について説明する。
【００１６】
ユーザーが再生タイトルを決定すると、再生アプリ１１は指定タイトルを再生するように再生制御１４に指示を行う。再生制御１４は、そのタイトルに関する再生制御情報をＡＶ管理情報記録部１８から読み出し、図示しないＲＡＭ上に入力する。再生制御１４は、再生制御情報のうちアドレスマップを用いて、次に再生すべきストリームの再生開始時点に対応するアドレス情報を読み出し、そのアドレスのＡＶストリームをＡＶストリーム記録部１７から読み出し、出力ストリーム制御１６に読み出す。ＡＶデコーダ１５は、出力ストリーム制御１６から送り込まれたＡＶストリームを転送された順にデコードし、モニター出力端子３１からモニター９３に出力する。出力ストリーム制御１６は、ＡＶデコーダ１５がアンダーフローおよびオーバーフローを生じて映像及び音声が途切れないよう、映像音声データのデコードを行うよう、ＡＶストリーム記録部１７に記録されたＡＶストリームを読み出す。さらに、出力ストリーム制御１６は、ＡＶデコーダ１５のバッファの状態に応じて、一時的に保存されたＡＶストリームを、Ｈ／ＷのアシストであるＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）転送機能を利用してＡＶデコーダに転送を行う。
【００１７】
次に、映像音声記録再生装置１におけるシーン検出部５０の動作について説明する。シーン検出部５０は、録画動作時に入力ストリーム制御８に一時的に記録されるＡＶストリームの映像および音声の解析してシーン検出を行う。録画時に入力ストリーム制御８においてＧＯＰの先頭が検出されると、解析用デコーダ２１は、ＧＯＰの先頭からキーフレーム（Ｉピクチャ）を抽出し、Ｉピクチャのデコードを行う。デコードされた輝度信号（Ｙ）、および色差信号（Ｕ，Ｖ）のデータは、フレームバッファ２２に入力される。フレームバッファ２２は、デコードされたＹＵＶデータの少なくとも２つの画像を保持できるサイズを有する。シーン境界抽出２３は、フレームバッファ２２に入力された２つの画像の差を求め、画像の差が予め設定した閾値以上であればシーンチェンジが発生したものと判断し、シーン境界として判定する。
【００１８】
２つの画像の差を求める手法としては、比較する各画像のヒストグラムを求め、ヒストグラムの各要素の差分絶対値を累積することによって求める手段が考えられる。また、ＡＶストリーム中の符号化パラメータである動きベクトル等を検出して行ってもよい。また、顔検出および顔認識等によって検出された顔データを用いて、登場人物の構成の変化を捉えることによって実現してもよい。
【００１９】
シーン境界抽出２３によってシーン境界として判定された位置は、シーン再生開始位置とされる。エントリー生成２４は、シーン再生開始位置のアドレス情報および時間情報からなる再生エントリー情報を作成する。こうしたシーンは、一般的にはチャプターと呼ばれる。また、エントリー位置もしくはその情報は、チャプターマーク、あるいは単にチャプターと呼ばれることもある。このように生成されたエントリー情報は、メタデータ記録部１９に記録される。
【００２０】
シーン境界抽出２３によりシーン境界が検出されると、サムネイル生成２５は、対応する画像情報をフレームバッファ２２から抜き出し、ビットマップのフォーマットに変換し、サムネイル画像を生成する。生成されたサムネイル画像は、サムネイル情報としてメタデータ記録部１９に記録する（サムネイルの選択方法の詳細については後述する）。なお、サムネイルのフォーマットはビットマップ以外に、ＴＩＦＦ、ＪＰＥＧ等のフォーマットであってもよい。また、サムネイルの画像データを記録する方法以外に、サムネイル画像が存在するＡＶストリームの時間情報、アドレス情報をサムネイル情報としてメタデータ記録部１９に記録してもよい。この場合、サムネイルのための実データの生成時間を必要とせずシステム負荷を低減できるほか、メタデータ記録部１９の領域を小さくするとともに、データ転送にかかる時間およびシステム負荷を低減できるというメリットがある。
【００２１】
次に、映像音声記録再生装置１において、エントリー情報とサムネイル情報を用いて任意のシーンを再生する方法について説明する。図２は、モニター９３にＡＶストリームの再生映像とグラフィックス画像が重畳された状態を示している。サムネイル画像は、メタデータ記録部１９に保存されているサムネイル情報を、メタデータ制御部１２により読み出し、サムネイル表示１３において画像化された後、グラフィックス重畳２０で再生映像に重畳され、モニター９３に表示される。
【００２２】
ユーザーが所望のタイトルを選択すると、再生アプリ１１は、再生制御１４に選択されたタイトルの再生を指示する。再生制御１４は、ＡＶストリーム記録部１７からＡＶストリームを出力ストリーム制御１６に読み出す。出力ストリーム制御１６に読み出されたＡＶストリームは、ＡＶデコーダ１５によってデコードされ、モニター９３に表示される。
【００２３】
ユーザーが、シーンセレクトのために設けられたリモコンの専用ボタンを押下すると、再生アプリ１１がメタデータ制御部１２に対して、再生すべきタイトルと、再生映像の経過時間情報を伝える。メタデータ制御部は、経過時間の前後５枚のサムネイルをメタデータ制御部１２から読み出す。サムネイル選択枠２８は、サムネイルの選択枠を生成しサムネイル表示１３に出力する。サムネイル表示１３は、サムネイルのメタデータを画像として展開し、選択枠とともにグラフィックス重畳に出力する。
【００２４】
上記処理により、図２に示すように、現在のシーンに対応するサムネイル（Ｓｃｅｎｅ１７）の前後を含む合計５枚のサムネイルが表示される。サムネイルが表示された初期状態においては、リモコン選択枠は、現在再生中のシーンに合わせて表示される。ここでは、シーン１７を再生しているためＳｃｅｎｅ１７のサムネイルに対してリモコン選択枠が表示される。ユーザーはリモコンの左右キーを使ってリモコン選択枠を左右に移動させ、所望のシーンを選択することができる。サムネイル選択２８は、このリモコン動作に連動して、左右に移動する選択枠の生成を行う。さらに、リモコン選択枠が画面の右もしくは左端に到達した状態でさらに左右のカーソルキーを押下すると、表示されているサムネイル全体が、押下されたカーソルキーと反対の方向に移動することによって、現在表示されていないシーンのサムネイルが表示される。ユーザーが、所望のサムネイルにカーソルを合わせ、「決定」キーを押下すると、再生アプリ１１は再生制御１４に対して再生しているコンテンツの再生状態を一時停止させる。
【００２５】
さらに、再生アプリ１１は、再生制御１４に対して、ユーザーが選択したシーンの開始位置を示すエントリー情報に基づいて、シーンのエントリー情報によって指定される時間から再生を再開するよう指示を行う。再生制御１４は、ＡＶ管理情報記録部１８に記録されているアドレスマップ情報を用いて、エントリーの時間情報をＡＶストリームのアドレス情報に変換し、出力ストリーム制御１６に送る。出力ストリーム制御１６は、再生制御１４からのアドレス情報に基づいて、選択されたシーンのＡＶストリームのデータをＡＶストリーム記録部１７から読出し、ＡＶでコーダ１５に出力する。ＡＶデコーダ１５は、出力ストリーム制御１６からのＡＶストリームのデータをデコードする。これにより、ユーザーが選択したサムネイルに対応するシーンの再生が可能となる。
【００２６】
図３は、サムネイルとシーンの開始位置であるエントリーとの関係を示す説明図である。ここでは、映像の変化点であるシーンチェンジをシーンの境界としている。なお、シーンの境界は、シーンチェンジに限らず、例えば音声が発生しない区間、コーデックやフォーマットの変化点、周波数、チャンネル数、量子化数の変化位置に基づいて検出してもよい。また、５分、１０分、１５分等の所定時間間隔、あるいはユーザー指定による時間間隔で区切ってシーンを構成してもよい。また、外部から与えられた特定のイベントに対してシーンを構成してもよい。このように分割された各シーンにおいて、シーンの内容を表示するサムネイル画像が生成される。
【００２７】
本実施の形態は、図３に示すように、シーン先頭のピクチャではなく、シーンの先頭以降のピクチャをサムネイルとすることを特徴とする。映像が継続して変化しているような画像は、その位置をシーンの境界であるエントリーとして採用することは適切であるが、その画像をシーンの代表画であるサムネイル画像として採用することは適切でない。一般的に、継続的に変化する映像から一つの画像を抜き出した場合、その画像だけでは何が表示されているのか分からないことが多い。このため、ユーザーが再生するシーンを選択するために使用されるサムネイル画像として、このような動いている映像の一部を用いることは不適切で、静止画もしくは静止画に近い画像を採用することが適切と考えられる。シーンの開始位置ではなく、所定時間経過後のピクチャをサムネイル画像とすることにより、こうした不具合を解消することができる。
【００２８】
シーン境界から時間的に遅れたピクチャをサムネイルとする方法としては、シーンチェンジを検出した後、一定時間、例えば３秒後の位置をサムネイル映像とする方法がある（図４）。また、シーンチェンジ検出後、シーンの変化量が閾値以下になり、かつ閾値以下が一定時間経過（例えば３秒）したところを選択してもよい（図５）。また、映像データが動きベクトル情報を有するデータである場合、動きベクトルの量がある閾値以下になるところを選択してもよい。このように、シーン境界から所定時間経過後のピクチャをサムネイルとして使用することにより、各シーンの内容に整合した画像をシーン選択のための画像としてユーザーに提供することが可能となる。
【００２９】
図４は、サムネイル画像の選択方法の一例を示す説明図である。図４において、横軸はピクチャ番号、縦軸は隣接する２つのピクチャの画像差分値である。ここでは、説明を単純化するため、１秒間に１枚のピクチャを解析対象とする。画像差分値は、例えば、２つのピクチャの輝度信号（Ｙ）、色差信号（Ｕ，Ｖ）のそれぞれのヒストグラムを生成し、各要素の差分絶対値の累積和を全要素数で除算した値としてもよい。この場合、画像差分値は、最小０から１の間の値をとることになる。そしてこの画像差分値が、予め設定しているシーン変化判定閾値を越えた場合、ピクチャ間にシーンチェンジが発生したと判定する。
【００３０】
図４では、ピクチャ番号Ｐ５２において、シーン変化判定閾値を越えているため、ピクチャＰ５１とピクチャＰ５２の間でシーンチェンジが発生していると判定し、ピクチャＰ５２をシーン境界とする。よって、ピクチャＰ５２を、シーン開始位置、つまりエントリーとしてメタデータ記録部１９にエントリー情報を記録する。先述の通り、ピクチャＰ５２の画像は、当該シーンに対応するサムネイルとしては採用せず、ピクチャ５２から、さらに所定時間経過後（ここでは３秒経過後）のピクチャＰ５５をサムネイル画像として採用する。ピクチャＰ５５は、入力ストリーム制御８により検出され、解析用デコーダ２１でデコードされた後、フレームバッファ２２に入力される。サムネイル生成２５は、フレームバッファ２２に入力されたピクチャＰ５５のデータに基づいてサムネイルを生成し、メタデータ記録部１９に記録する。
【００３１】
このようにシーンチェンジ、すなわちエントリー位置から所定時間経過した画像をサムネイルとすることによって、例えば、カメラのパーン映像、画像エフェクトによる画像変化中の画像、一瞬割り込まれた画像等、サムネイル画像として不適切な画像がサムネイルとして選択されることを防ぐことができる。
【００３２】
図５は、サムネイル画像の選択方法の他の例を示す説明図である。図５に示す方法では、シーン変化判定閾値以外に、サムネイル用判定閾値を用いてサムネイル画像を選択する。サムネイル用判定閾値は、サムネイル画像を選択するための閾値であり、シーンチェンジ発生後、画像差分値が当該閾値以下となった場合にサムネイル画像の選択を行う。
【００３３】
図６は、サムネイル画像の選択方法の他の例を示す説明図である。図６に示す方法では、
画像差分値がサムネイル用判定閾値を下回ってから所定時間経過後（ここでは３秒経過後）のピクチャＰ５８をサムネイル画像として選択する。これにより、同じ内容の画像が継続して表示される期間（この例ではピクチャＰ５５からピクチャＰ５８）における画像をサムネイル画像として選択できるようになる。そのため、内容を認識しやすい画像をサムネイルとして表示することができるとともに、シーンの映像とサムネイルの画像をより関連付けしやすくなる。
【００３４】
図６に示す例では、映像のシーン変化値がサムネイル用判定閾値を下回ってから所定時間経過後のピクチャをサムネイル画像として採用しているが、所定経過時間後に、それ以前のピクチャ（ピクチャＰ５６やピクチャＰ５７）を採用してもよい。
【００３５】
以下、フローチャートを用いて本実施の形態に関る映像音声記録再生装置１００の動作説明を行う。
図７は、エントリー情報生成のフローを示す図である。録画を開始すると、入力ストリーム制御８にＡＶストリームが順次入力される（Ｓ１０１）。入力ストリーム制御８は、ＡＶストリームからＧＯＰヘッダの検出を行い、キーフレームと呼ばれるＩピクチャのみを解析し、抽出する（Ｓ１０２）。キーフレームが抽出されると、当該ピクチャのデコードが実行され（Ｓ１０３）、画像差分値の算出が行われる（Ｓ１０４）。シーンチェンジが発生しないと判断された場合（Ｓ１０５においてＮｏ）、次のピクチャについてステップＳ１０２〜Ｓ１０４の処理が行われる。
【００３６】
一方、シーンチェンジが検出されると（Ｓ１０５においてＹｅｓ）、シーンチェンジが発生した箇所をシーン境界と判定し、その位置のエントリー情報を生成する（Ｓ１０６）。生成されたエントリー情報は、メタデータ記録部１９に記録される（Ｓ１０７）。上記動作は録画が完了し、入力ストリーム制御８がストリーム入力の終了を検知するまで行われる。入力ストリーム制御８において、ＡＶストリーム中からストリームの終端を示すフラグが検出された場合（Ｓ１０８においてＹｅｓ）、録画処理が終了する（Ｓ１０９）。
【００３７】
図８は、サムネイル画像生成までの動作の一例を示すフローチャートである。図８のフローチャートは、図４に示す、シーンチェンジ発生から所定時間経過後（３秒経過後）のピクチャをサムネイル画像にする場合の動作を示している。
先に、図７を参照して説明した通り、入力ストリーム制御８は、ＡＶストリームからキーフレームであるＩピクチャを抽出し（Ｓ１０２）、デコード処理を行う（Ｓ１０３）。デコード処理の後、サムネイル生成タイマーがセットされているか否かが判別される（Ｓ１０４）。このサムネイル生成タイマーは、シーンチェンジ検出後、すなわちシーン境界検出後、後段のステップＳ１１４においてセットされ、以降、キーフレームがデコードされるごとに減算される（Ｓ１０５）。このサムネイル生成タイマーは、シーンチェンジ検出後、サムネイル画像を選択するまでの所定時間（３秒間）をカウントするためのものであり、所定時間が経過してサムネイル生成タイマーがタイムアウトすると（Ｓ１０６）、サムネイル生成２５においてサムネイル画像が生成される（Ｓ１０７）。サムネイル画像が生成されると、サムネイル情報がメタデータ記録部１９に記録される（Ｓ１０８）。サムネイル画像を生成するまでの所定時間が経過していない場合（Ｓ１０６においてＮｏ）、あるいはサムネイル画像の生成が完了した場合（Ｓ１０９）、ステップＳ１０４においてデコードされたキーフレームの画像差分値の算出が行われ（Ｓ１１０）、シーンチェンジ判定処理が行われる（Ｓ１１１）。シーンチェンジが検出された場合、シーン境界を示すエントリー情報が生成され（Ｓ１１２）、メタデータ記録部１９に記録される（Ｓ１１３）。エントリー情報が記録されると、サムネイル生成タイマーがセットされ、続く録画ストリームについてキーフレーム抽出処理（Ｓ１０２）が再開される。
以上の処理が、録画ストリームの入力が終了するまで行われる（Ｓ１１５）。
【００３８】
ここではピクチャの処理を行うごとにタイマーを減算しているが、装置内に存在するタイマー機能を使ってタイムアウトをカウントしてもよい。また、記録されるＡＶストリームに重畳されているシステム時間を利用してもよい。
【００３９】
図９は、サムネイル画像生成までの動作の一例を示すフローチャートである。図９のフローチャートは、図６に示す、シーンチェンジ発生後、画像差分値がサムネイル用判定閾値を下回ってから所定時間経過後（３秒経過後）のピクチャをサムネイル画像にする場合の動作を示している。
図９において、ステップＳ１０２〜Ｓ１０４に示す処理工程は、図７において説明したものと同様である。ステップＳ１０４における画像差分値算出後、シーン開始位置であるエントリーが決定しているか否かが判断される（Ｓ１０５）。エントリーが決定しているか否かの判断は、後段のステップＳ１１６においてシーン開始状態設定がなされているかにより行われる。すなわち、ステップＳ１１３においてシーンチェンジが検出され、エントリー情報生成（Ｓ１１４）、エントリー情報記録（Ｓ１１５）が行われた後、シーン開始状態設定がなされる（Ｓ１１６）。エントリーが決定している場合、画像差分値がサムネイル用判定閾値以下であるかが判別される（Ｓ１０６）。サムネイル用判定閾値以下と判別された場合、サムネイル生成カウントが減算される（Ｓ１０７）。画像差分値がサムネイル用判定閾値を下回ってから所定期間経過後、サムネイル生成カウントがタイムアウトすると（Ｓ１０８）、サムネイル情報が生成され（Ｓ１０９）、メタデータ記録部１９に記録される（Ｓ１１０）。サムネイル画像生成処理が終了すると、シーン開始状態が解除される（Ｓ１１１）。これにより、次のシーン境界の検出処理がなされる。一方、画像差分値がサムネイル用判定閾値以下と判別された場合（Ｓ１０６においてＮｏ）、サムネイル生成カウンタのカウント値がリセットされ（Ｓ１１２）、画像差分値が再びサムネイル用判定閾値以下となるまでサムネイル生成カウントの減算は行われない。
以上の処理が、録画ストリームの入力が終了するまで行われる（Ｓ１１７）。
【００４０】
図１０は、サムネイル選択による再生動作を示すフローチャートである。
ユーザーがリモコン等により所望の処理を映像記録再生装置１００に対して入力すると、リモコン受信６でコード化されたコマンドがシステム制御部２に入力される（Ｓ１０２）。システム制御部２はコマンドに応じて処理を分岐する。再生開始指示が入力された場合（Ｓ１０３）、再生アプリ１１に対して再生開始指示が行われる（Ｓ１０４）。これにより、ＡＶストリーム記録部１７から出力ストリーム制御１６へのＡＶストリームの読み出しが開始され、ＡＶデコーダ１５においてデコードおよび出画が開始される。
次に、ユーザーが、リモコンに設けられた「シーンセレクト」ボタンを押下した場合、サムネイル表示コマンドが送られ、サムネイル表示指示が行われる（Ｓ１０５）。これにより、メタデータ記録部１９からサムネイル画像が読み出され（Ｓ１０６）、読み出されたサムネイル画像が表示される（Ｓ１０７）。
次に、ユーザーがリモコンの左右キーを押下すると、選択枠移動指示が行われ（Ｓ１０８）、サムネイル選択２８によって表示された選択枠を移動させて描画する処理が行われる（ステップＳ１０９）。ユーザーが希望するシーンを見つけ、「決定」キーを押下すると、システム制御部２に対し決定指示がなされる（Ｓ１１０）。次に、再生アプリ１１に対してエントリー情報を抽出するように指示がなされ、再生制御１４はＡＶ管理情報記録部１８から再生制御情報を読み出し、指定されたシーンのアドレス位置にシーク動作を行う(Ｓ１１１)。再生終了指示がなされた場合は処理を終了し（Ｓ１１３）、それ以外の場合は、新たなコマンドの入力に従う（Ｓ１０２）。
以上の動作により、ユーザーがサムネイルを画面上で指定することによって、対応するシーンのエントリー位置からの再生が可能になる。
【００４１】
以上において説明した本実施の形態に関る映像音声記録再生装置１００によれば、シーンチェンジに対応するエントリー位置から、所定時間経過後の画像をサムネイル画像として採用することができる。これにより、シーンチェンジが継続している可能性が高いエントリー直後の画像をサムネイル画像として採用した場合に生じる不具合を解消し、サムネイルとしてより適切な画像を選択することができる。具体的には、動きが激しい映像や、瞬間的に表示されるような映像を避け、動きが少ない静止画に近い画像をサムネイルとすることが可能である。また、サムネイル画像は静止画等の相関性の高い画像が時間的に継続する期間の画像を選択して生成されるので、シーンの内容と整合したサムネイル画像を提供することができるとともに、ユーザーが選択したサムネイル画像をシーンの映像内において確認することができ、ユーザーは安心してサムネイル画像選択によるシーン再生をすることができる。
【００４２】
また、サムネイルを選択する条件は、時間経過のみのため、サムネイル生成判定条件を計算するシステムの負荷が少なくて済む。本実施の形態においては、再生するＡＶストリームを直接解析して、エントリー情報の抽出およびサムネイル画像の選択を行うので、エントリー情報およびサムネイル画像が有する時間情報はＡＶストリームと関連付けられている。このため、ＡＶストリームの再生経過時間とエントリー情報およびサムネイル画像が示す時間とを対応付けて再生を行うことが可能である。
【００４３】
本実施の形態では、シーン境界であるエントリーを生成する方法、およびサムネイルを生成する方法として、ＨＤＤなどのＡＶストリーム記録部に記録されるＡＶストリームを対象としているが、符号化ストリームに限定されるものではなく、例えば、符号化を行う前の画像データを利用してもよい。また、Ｈ／Ｗなどで実装されたデコーダを解析用デコーダ２１として用いてもよい。さらにサムネイル生成を行う処理に専用のＨ／Ｗエンコーダを用いても良い。また、記録に関係するチューナー３および４、ＡＶエンコーダ７、入力ストリーム制御８、ＡＶストリーム記録部１７を改造することなく装置を構成することができるため、従来の映像音声記録再生装置に容易に搭載することができる。
【００４４】
また、サムネイル生成２５において、生成しようとするサムネイルの画像が、サムネイル画像としてふさわしくない場合に、サムネイル画像として採用せず、新たに別のサムネイル画像を生成するようにしてもよい。サムネイル画像としてふさわしくない画像の例としては、黒色や白色などの単色の場合や、画像として何も存在しない場合や、カメラのフラッシュ等で画面が白とびした画像や、動きが早すぎて何が写っているのか変わらない画像や、コントラストが低い画像等が考えられる。これにより、適切な画像をサムネイルとして選択するのみでなく、不適切なデータに基づいてサムネイル生成処理を行うことにより、システムがハングするといった不具合を防ぐことができる。
【００４５】
また、本実施の形態では、シーン境界を抽出した後にサムネイル画像の選択と生成を行う構成としているが、例えば、サムネイルとして適切な画像を検出し、その後に、時間的に前にあるシーン境界の抽出を行ってもよい。この場合、シーン境界検出（例えば、シーンチェンジ検出）を常に行わなくてもよく、処理負荷の軽減が期待できる。さらに、サムネイル画像として適正な画像が検出されたときのみ、シーンを区切るので、結果的にサムネイル画像として不適切な画像がサムネイルとして選択されることがなくなる。
【００４６】
シーン境界の検出を固定値で行った場合、つまり５分間隔等でシーンを区切った場合、シーン境界検出のための負荷を軽減できる。さらには、録画動作と並行してサムネイル生成を行う場合に、シーンの長さが予めわかっているので、シーンの中で最良のサムネイル画像を選択する処理が簡単に実現でき、結果としてより適切なサムネイル画像を選択することが可能になる。
【００４７】
なお、本実施の形態にかかわる映像音声記録再生装置１００は、再生機能を有しているが、記録機能のみを有する記録装置であってもよい。このような記録装置は、記録したＡＶストリーム、再生制御情報、メタデータを外部に出力するインターフェース機能を設けることにより実現することができる。また、こうしたインターフェースから出力されたデータ、もしくはデータが記録された媒体を用いて、本実施の形態に関る再生機能を有する再生装置を構成してもよい。
【００４８】
実施の形態２．
図１１は、本発明の実施の形態２に関る映像音声記録再生装置１０１の構成を示すブロック図である。本実施の形態に関る映像音声記録再生装置１０１は、図１に示す映像音声記録再生装置１００におけるシーン境界検出２３の代わりに音声境界抽出２６を備えたことを特徴とする。
【００４９】
本実施の形態において、解析デコーダ２１は、ＡＶストリーム中の符号化されている音声データに対しても復号を行う。音声境界抽出２６は、フレームバッファ２２を解して入力される音声データについて、例えば、無音が発生している区間をシーン境界である判定する。エントリー２５は、シーン境界の判定結果に基づき、実施の形態１と同様にエントリー情報を作成し、メタデータ記録部１９に記録する。
【００５０】
音声の解析方法としては、無音検出に限らず、音声の周波数解析を行い、周波数分布より音声情報の特性分類を行ってもよい。音声境界抽出２６において、一定区間の音声信号に対し、オーディオフレーム単位で周波数解析を実施し、各周波数の分布を求める。次に、区間ごとの周波数分布の形状が、予め「会話」、「音楽」、「スポーツ」、[動物の声]、「騒音」等に分類された周波数分布パターンのどれに一致するか求める。さらに、複数のオーディオフレームからなる区間窓を設け、最も頻度の多い周波数分布パターンを対応する区間窓のパターンであると判定する。そして、パターンが変化した区間窓の先頭をシーン境界とする。
【００５１】
図１２は、音声の周波数解析によりシーン境界を検出する方法を示す説明図である。図１２（ａ）に示すように、音声信号はオーディオフレームに分割される。分割されたオーディオフレーム単位でオーディオデータの周波数解析が行われ、各周波数分布に最も近い周波数分布パターンを求める。図１２（ａ）に示す例では、３つのオーディオフレームからなる区間窓を設け、図１２の（ｂ）に示すように、区間窓ごとに最も頻度の高い周波数分布パターンを求める。この区間窓に対応付けられた周波数分布パターンが変化したところをシーンの変わり目であるシーン境界と判定し、図１２（ｃ）に示すようにシーンを構成する。
【００５２】
次に、オーディオ情報に基づいてサムネイル画像の選択する方法について説明する。映像情報と音声情報の区切りは、必ずしも一致することはないが、音声の区切りで映像の変化が発生することが多いので、図１２（ｃ）に示す、シーン境界（周波数分布の形状パターンが変化する区間窓の境界）の画像をサムネイル画像とすべきではない。よって、区間窓において、同じ周波数分布パターンが続くところをサムネイルとする。例えば、「スポーツ」が続く区間窓Ｎ＋１からＮ＋３において、中心の区間窓Ｎ＋２における中心のオーディオフレームであるＡＦｍ＋７をサムネイル画像として選択する。
以降のサムネイル生成の処理は実施の形態１と同じである。
【００５３】
本実施の形態によれば、音声情報に基づいてシーン境界の検出やサムネイル画像の選択を行うことにより、実施の形態１のように映像情報に基づいてこれらの処理を行う場合に比して解析処理を軽量化し、処理速度を上げることができる。特に、音声信号から無音区間を検出する場合は、解析処理が非常に軽量になり、より早く処理を完了させることができる。また、音声情報を利用するために、音声に特徴のある番組、例えば音楽番組や、スポーツ番組に対して、シーンを分割することにおいてより精度が向上する。
【００５４】
さらに、映像と音声とを組み合わせてシーン境界の検出やサムネイル画像の選択を行うことにより、より適切な処理が可能となる。また、映像情報や音声情報に限定されることなく、字幕情報や、その他放送波に重畳されるＥＰＧデータや、著作権管理情報等、さまざまなデータを利用してもよい。これらのデータを利用することによって、正確なシーン分割が可能になる。
【００５５】
実施の形態３．
図１３は本発明の実施の形態３に関る映像音声記録再生装置１０２の構成を示すブロック図である。本実施の形態に関る映像音声記録再生装置１０２は、ＡＶストリーム記録部１７に記録されたＡＶストリームを読み出して、シーン境界の検出およびサムネイル画像の選択を行うことを特徴とする。図１３に示す映像音声記録装置１０２において、ダビング用ストリーム制御２７以外の構成は、図１に示す映像音声記録再生装置１００と同様である。
【００５６】
ダビング用ストリーム制御２７は、ＡＶストリーム記録部１７からＡＶストリームを読み出し、解析対象となるＡＶストリームのデータを解析用デコーダ２１に入力する。ダビング用ストリーム制御２７は、通常、ダビング用のバッファとして用いられるが、本実施の形態においては、このダビング用ストリーム制御２７の構成を用いて、ＡＶストリーム記録部１７から読み出されたＡＶストリームを解析用デコーダに入力する。
【００５７】
ダビング用ストリーム制御２７は、録画が終了するとＡＶストリーム記録部１７に記録されたＡＶストリームを順次読出し解析用でコーダ２１に入力する。解析用デコーダ２１は、ＧＯＰの開始コードが検出されると、先頭のＩピクチャが含まれるパケットを解析用デコーダ２１に転送する。解析用デコーダ２１は、当該Ｉピクチャのデコードを行う。以降の動作は実施の形態１と同様である。
【００５８】
このように、録画終了後にシーン境界の検出およびサムネイル画像の選択を行う構成とすることにより、実施の形態１のように、録画時の処理負荷の高い状態ではなく、処理の負荷が低い状態でのＡＶストリームの解析を行うため、安定した処理が可能となる。また、録画時にＡＶストリームの解析を行う場合、録画動作の速度と同じか、それ以上の速度でシーン境界の検出およびサムネイル画像の生成を行う必要があったが、録画終了後においては、さほど高速な解析処理を必要としない。また、録画後に処理を行うため、特定の期間のみ（例えば、ＣＭ区間を除いた基幹）の解析を行うことができ、トータルの解析負荷を低減し、消費電力の削減に貢献できる。また、一度記録されたタイトルに対して処理を行うことができるため、編集操作等でタイトルの内容が変わった場合に利用することができる。
【符号の説明】
【００５９】
１００，１０１，１０２ 録画音声記録再生装置、２ システム制御部、３ デジタルチューナー、４ アナログチューナー、５ 外部入力端子、６ リモコン受信部、７ ＡＶエンコーダ、８ 入力ストリーム制御、９ 録画アプリ、１０ 録画制御、１１ 再生アプリ、１２ メタデータ制御部、１３ サムネイル表示、１４ 再生制御、１５ ＡＶデコーダ、１６ 出力ストリーム制御、１７ ＡＶストリーム記録部、１８ ＡＶ管理情報記録部、１９ メタデータ記録部、２０ グラフィック重畳、２１ 解析用デコーダ、２２ フレームバッファ、２３ シーン境界抽出、２４ エントリー生成、２５ サムネイル生成、２６ 音声境界抽出、２７ ダビング用ストリーム制御、２８ サムネイル選択、３０ ネットワーク端子、３１ モニター出力端子、９１ アンテナ、９２ ネットワーク、９３ モニター、９４ リモコン、９５ 画面
【技術分野】
【０００１】
本発明は、記録する映像をシーン単位に分割するとともに、シーンに対応するサムネイル画像を生成することによって、再生時に、視聴したいシーンを、サムネイル選択による視覚的な選択によって可能とする映像音声再生装置に関するものである。
【背景技術】
【０００２】
従来の映像記録再生装置においては、映像の再生開始位置から再生を行う場合、再生開始時点をタイトル名もしくはチャプター番号によって選択していたため、ユーザーは、再生を行う前の段階で、どのような内容の映像が再生されるかを知ることができなかった。
【０００３】
このような問題を解消するため、録画時における映像符号化処理前の画像データを用いて、サムネイルデータを生成し、再生タイトルを選択するグラフィックス画面上に、生成したサムネイルデータを表示することによって、再生内容をユーザーに知らせる方法がある（特許文献１）。さらに、タイトル、もしくはタイトル内の特定区間（チャプターやシーン）の内容を示すサムネイルデータの画像をより適切な画像内容とするために、サムネイルデータの元となる映像の位置を決定する方法も考案されている（特許文献２及び３）。一方、特定のシーンの内容を、連続する静止画として表現するために、シーン内のシーンチェンジの発生間隔を利用し、サムネイル画像を決定する方法もある（特許文献４）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１４８７３１号公報（第１４頁、図９）
【特許文献２】特開２００６−２２９８２１号公報（第４頁、図１）
【特許文献３】特開２００３−２７４３６１号公報（第４頁、図３）
【特許文献４】特開２００１−２９８７１１号公報（第３頁、図２５）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の映像記録再生装置においては、シーンの開始および終了位置をチャプターもしくはエントリーで区切り、再生開始から固定時間、もしくはエントリー位置からの固定時間経過後の画像をサムネイルとして利用していた。そのため、選択したサムネイル画像の内容と、再生される映像内容に乖離があり、ユーザーが違和感を覚えることがあった。また、動きの変化が激しい場面のピクチャがサムネイルとして選択された場合、サムネイル画像が何を表示しているのか分からないという不具合もあった。
【０００６】
本発明は、上記の課題を解決するためになされたものであり、記録する映像音声コンテンツをシーンに区切るとともに、各シーンについて、適切な画像をサムネイルとして選択することが可能な映像音声記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る映像再生装置は、映像情報からシーンの境界を抽出するシーン境界抽出手段と、
シーン境界抽出手段によって抽出されたシーン境界にアクセスするためのエントリー情報を生成するエントリー生成手段と、
上記シーン境界抽出手段によって分割されたシーンを代表するサムネイル画像を選択するサムネイル生成手段と、
前記サムネイル生成手段によって選択されたサムネイル画像を表示するサムネイル表示手段と、
表示されたサムネイルから任意のサムネイルを選択するためのサムネイル選択手段と、
選択されたサムネイルに対応するシーンを再生する手段と、を備え、
前記サムネイル生成手段は、シーン境界から所定期間後のピクチャをサムネイル画像として選択するものである。
【発明の効果】
【０００８】
本発明の映像音声再生装置によれば、シーン境界から所定期間後のピクチャをサムネイル画像として選択するので、映像音声コンテンツをシーンに区切るとともに、各シーンについて、適切な画像をサムネイルとして選択することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る映像音声記録再生装置の構成を示すブロック図である。
【図２】シーン選択操作における表示画面の一例である。
【図３】シーンとサムネイル画像との関係を示す図である。
【図４】シーンチェンジとサムネイル画像との関係を示す図である。
【図５】シーンチェンジとサムネイル画像との関係を示す図である。
【図６】シーンチェンジとサムネイル画像との関係を示す図である。
【図７】エントリー情報生成動作を示すフローチャートである。
【図８】サムネイル生成動作を示すフローチャートである。
【図９】サムネイル生成動作を示すフローチャートである。
【図１０】サムネイル表示動作を示すフローチャートである。
【図１１】実施の形態２に係る映像音声記録再生装置の構成を示すブロック図である。
【図１２】シーン境界検出方法の一例を示す図である。
【図１３】実施の形態３に係る映像音声記録再生装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、本発明の実施の形態１に関る映像音声記録再生装置１の構成を示すブロック図である。映像音声記録再生装置１は、外部機器とのインターフェースとして、デジタルチューナー３、アナログチューナー４、外部入力端子５、モニター出力端子３１、ネットワーク端子３０を有する。デジタルチューナー３およびアナログチューナー４は、アンテナ９１に接続され、デジタルおよびアナログ放送を受信することができる。外部入力端子５は、主に、アナログ入力と呼ばれるコンポジット入力、Ｓビデオ入力、ＬＲ音声入力等に対応する。モニター出力端子３１にはモニター９３が接続され、映像音声記録再生装置１が生成する映像および音声信号を表示出力することが可能である。また、映像音声記録再生装置１は、装置を遠隔操作するためのリモコン受信６を備え、赤外線等で受信されたリモコンコードはシステム制御部２に送信される。
【００１１】
システム制御部２は、ユーザーの要求に基づくリモコンの制御信号に応じて映像音声記録再生装置１を制御する。システム制御部２は、ユーザーから録画の要求がなされると、録画アプリ９を起動し、録画実行を指示する。録画アプリ９は、録画制御１０を制御し、録画の開始、終了および録画中の記録動作を管理する。また、ユーザーから再生の要求がなされると、システム制御部２は、再生アプリ１１を起動し、再生実行を指示する。再生アプリ１１、は再生制御１４を制御し、指定されたコンテンツの再生を開始する。
【００１２】
図１を参照し、映像音声記録再生装置１における、デジタル放送の録画機能について説明する。デジタルチューナー３で受信されたデジタル放送は、フルＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）として入力ストリーム制御８に送られる。入力ストリーム制御８は、ＡＶストリーム記録部１７に映像音声データであるＡＶストリームを安定的に記録するために、データを一時的に蓄えて、ＡＶストリーム記録部１７に定常的に書き込む処理を行う。また入力ストリーム制御８は、フルＴＳから記録する必要のないパケット等を省いたパーシャルＴＳにも対応する。また、ＴＳのＰＩＤやセクション情報の検出処理を行うほか、記録されるビデオストリーム中のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の開始位置の検出等も行う。ＡＶストリーム記録部１７は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等により構成される。
【００１３】
ＨＤＤにＡＶストリームを記録する場合、再生時におけるシーン検索性の向上、特殊再生時における任意時間へのランダムシークを実現するため、ＨＤＤに記録されるＡＶストリームのアドレス情報と時間情報とを対応付けたアドレスマップが必要となる。録画制御１０は、録画時に、入力ストリーム制御８により検出されるＧＯＰ開始位置情報に基づいてアドレスマップを生成し、ＡＶ管理情報記録部１８に記録する。ＡＶ管理情報記録部１８は、前述のアドレスマップを記録するほか、記録された番組のタイトル、記録開始時間、記録終了時間、放送サービス名、チャンネル番号、映像コーデック情報、音声コーデック情報、番組詳細情報等が含まれる再生制御情報を記録し、必要に応じて再生制御１４に読み出す。
【００１４】
次に、アナログ放送、および外部から入力された映像信号の録画機能について説明する。アンテナ９１で受信されたアナログ放送は、アナログチューナー４によってユーザーが指定されたチャンネルの信号のみが取り出される。アナログチューナー４により取り出された信号は、映像信号化され、図示しないＡＤ／ＤＡコンバーターによってデジタル信号化された後、ＡＶエンコーダ７に入力される。ＡＶエンコーダ７は、映像信号をＭＰＥＧ−２ビデオに符号化するとともに、音声信号をＡＡＣにより符号化し、符号化した映像および音声信号をＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍに多重し、ＡＶストリームを生成する。ＡＶストリームは入力ストリーム制御８に送られ、ＡＶストリーム記録部１７に記録される。外部入力５から入力された映像音声信号についても同様に、ＡＤ／ＤＡ変換された後に、ＡＶエンコーダ７によってＡＶストリームに変換され、ＡＶストリーム記録部１７に記録される。
【００１５】
図１を参照し、映像音声記録再生装置１における再生機能について説明する。ユーザーが、図示しないリモコンに設けられた「録画タイトル一覧」ボタンを押下すると、録画された番組タイトルの全て、あるいは一部が画面上に表示される。ユーザーはリモコンに設けられた上下左右のカーソルキーによって希望するタイトルにカーソルを移動させ、「決定」ボタンを押下することで再生するタイトルを選択する。選択されたタイトルは、リモコンから赤外線信号としてリモコン受信６に送信され、ソフトウェアコードに変換された後、システム制御部２に送られ、グラフィックス画面が更新される。また、再生待機状態もしくは録画状態でない場合、これらのコードは再生アプリ１１に送られ、対応する再生動作機能が呼び出され、再生状態が変更される。以下、具体的な再生動作について説明する。
【００１６】
ユーザーが再生タイトルを決定すると、再生アプリ１１は指定タイトルを再生するように再生制御１４に指示を行う。再生制御１４は、そのタイトルに関する再生制御情報をＡＶ管理情報記録部１８から読み出し、図示しないＲＡＭ上に入力する。再生制御１４は、再生制御情報のうちアドレスマップを用いて、次に再生すべきストリームの再生開始時点に対応するアドレス情報を読み出し、そのアドレスのＡＶストリームをＡＶストリーム記録部１７から読み出し、出力ストリーム制御１６に読み出す。ＡＶデコーダ１５は、出力ストリーム制御１６から送り込まれたＡＶストリームを転送された順にデコードし、モニター出力端子３１からモニター９３に出力する。出力ストリーム制御１６は、ＡＶデコーダ１５がアンダーフローおよびオーバーフローを生じて映像及び音声が途切れないよう、映像音声データのデコードを行うよう、ＡＶストリーム記録部１７に記録されたＡＶストリームを読み出す。さらに、出力ストリーム制御１６は、ＡＶデコーダ１５のバッファの状態に応じて、一時的に保存されたＡＶストリームを、Ｈ／ＷのアシストであるＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）転送機能を利用してＡＶデコーダに転送を行う。
【００１７】
次に、映像音声記録再生装置１におけるシーン検出部５０の動作について説明する。シーン検出部５０は、録画動作時に入力ストリーム制御８に一時的に記録されるＡＶストリームの映像および音声の解析してシーン検出を行う。録画時に入力ストリーム制御８においてＧＯＰの先頭が検出されると、解析用デコーダ２１は、ＧＯＰの先頭からキーフレーム（Ｉピクチャ）を抽出し、Ｉピクチャのデコードを行う。デコードされた輝度信号（Ｙ）、および色差信号（Ｕ，Ｖ）のデータは、フレームバッファ２２に入力される。フレームバッファ２２は、デコードされたＹＵＶデータの少なくとも２つの画像を保持できるサイズを有する。シーン境界抽出２３は、フレームバッファ２２に入力された２つの画像の差を求め、画像の差が予め設定した閾値以上であればシーンチェンジが発生したものと判断し、シーン境界として判定する。
【００１８】
２つの画像の差を求める手法としては、比較する各画像のヒストグラムを求め、ヒストグラムの各要素の差分絶対値を累積することによって求める手段が考えられる。また、ＡＶストリーム中の符号化パラメータである動きベクトル等を検出して行ってもよい。また、顔検出および顔認識等によって検出された顔データを用いて、登場人物の構成の変化を捉えることによって実現してもよい。
【００１９】
シーン境界抽出２３によってシーン境界として判定された位置は、シーン再生開始位置とされる。エントリー生成２４は、シーン再生開始位置のアドレス情報および時間情報からなる再生エントリー情報を作成する。こうしたシーンは、一般的にはチャプターと呼ばれる。また、エントリー位置もしくはその情報は、チャプターマーク、あるいは単にチャプターと呼ばれることもある。このように生成されたエントリー情報は、メタデータ記録部１９に記録される。
【００２０】
シーン境界抽出２３によりシーン境界が検出されると、サムネイル生成２５は、対応する画像情報をフレームバッファ２２から抜き出し、ビットマップのフォーマットに変換し、サムネイル画像を生成する。生成されたサムネイル画像は、サムネイル情報としてメタデータ記録部１９に記録する（サムネイルの選択方法の詳細については後述する）。なお、サムネイルのフォーマットはビットマップ以外に、ＴＩＦＦ、ＪＰＥＧ等のフォーマットであってもよい。また、サムネイルの画像データを記録する方法以外に、サムネイル画像が存在するＡＶストリームの時間情報、アドレス情報をサムネイル情報としてメタデータ記録部１９に記録してもよい。この場合、サムネイルのための実データの生成時間を必要とせずシステム負荷を低減できるほか、メタデータ記録部１９の領域を小さくするとともに、データ転送にかかる時間およびシステム負荷を低減できるというメリットがある。
【００２１】
次に、映像音声記録再生装置１において、エントリー情報とサムネイル情報を用いて任意のシーンを再生する方法について説明する。図２は、モニター９３にＡＶストリームの再生映像とグラフィックス画像が重畳された状態を示している。サムネイル画像は、メタデータ記録部１９に保存されているサムネイル情報を、メタデータ制御部１２により読み出し、サムネイル表示１３において画像化された後、グラフィックス重畳２０で再生映像に重畳され、モニター９３に表示される。
【００２２】
ユーザーが所望のタイトルを選択すると、再生アプリ１１は、再生制御１４に選択されたタイトルの再生を指示する。再生制御１４は、ＡＶストリーム記録部１７からＡＶストリームを出力ストリーム制御１６に読み出す。出力ストリーム制御１６に読み出されたＡＶストリームは、ＡＶデコーダ１５によってデコードされ、モニター９３に表示される。
【００２３】
ユーザーが、シーンセレクトのために設けられたリモコンの専用ボタンを押下すると、再生アプリ１１がメタデータ制御部１２に対して、再生すべきタイトルと、再生映像の経過時間情報を伝える。メタデータ制御部は、経過時間の前後５枚のサムネイルをメタデータ制御部１２から読み出す。サムネイル選択枠２８は、サムネイルの選択枠を生成しサムネイル表示１３に出力する。サムネイル表示１３は、サムネイルのメタデータを画像として展開し、選択枠とともにグラフィックス重畳に出力する。
【００２４】
上記処理により、図２に示すように、現在のシーンに対応するサムネイル（Ｓｃｅｎｅ１７）の前後を含む合計５枚のサムネイルが表示される。サムネイルが表示された初期状態においては、リモコン選択枠は、現在再生中のシーンに合わせて表示される。ここでは、シーン１７を再生しているためＳｃｅｎｅ１７のサムネイルに対してリモコン選択枠が表示される。ユーザーはリモコンの左右キーを使ってリモコン選択枠を左右に移動させ、所望のシーンを選択することができる。サムネイル選択２８は、このリモコン動作に連動して、左右に移動する選択枠の生成を行う。さらに、リモコン選択枠が画面の右もしくは左端に到達した状態でさらに左右のカーソルキーを押下すると、表示されているサムネイル全体が、押下されたカーソルキーと反対の方向に移動することによって、現在表示されていないシーンのサムネイルが表示される。ユーザーが、所望のサムネイルにカーソルを合わせ、「決定」キーを押下すると、再生アプリ１１は再生制御１４に対して再生しているコンテンツの再生状態を一時停止させる。
【００２５】
さらに、再生アプリ１１は、再生制御１４に対して、ユーザーが選択したシーンの開始位置を示すエントリー情報に基づいて、シーンのエントリー情報によって指定される時間から再生を再開するよう指示を行う。再生制御１４は、ＡＶ管理情報記録部１８に記録されているアドレスマップ情報を用いて、エントリーの時間情報をＡＶストリームのアドレス情報に変換し、出力ストリーム制御１６に送る。出力ストリーム制御１６は、再生制御１４からのアドレス情報に基づいて、選択されたシーンのＡＶストリームのデータをＡＶストリーム記録部１７から読出し、ＡＶでコーダ１５に出力する。ＡＶデコーダ１５は、出力ストリーム制御１６からのＡＶストリームのデータをデコードする。これにより、ユーザーが選択したサムネイルに対応するシーンの再生が可能となる。
【００２６】
図３は、サムネイルとシーンの開始位置であるエントリーとの関係を示す説明図である。ここでは、映像の変化点であるシーンチェンジをシーンの境界としている。なお、シーンの境界は、シーンチェンジに限らず、例えば音声が発生しない区間、コーデックやフォーマットの変化点、周波数、チャンネル数、量子化数の変化位置に基づいて検出してもよい。また、５分、１０分、１５分等の所定時間間隔、あるいはユーザー指定による時間間隔で区切ってシーンを構成してもよい。また、外部から与えられた特定のイベントに対してシーンを構成してもよい。このように分割された各シーンにおいて、シーンの内容を表示するサムネイル画像が生成される。
【００２７】
本実施の形態は、図３に示すように、シーン先頭のピクチャではなく、シーンの先頭以降のピクチャをサムネイルとすることを特徴とする。映像が継続して変化しているような画像は、その位置をシーンの境界であるエントリーとして採用することは適切であるが、その画像をシーンの代表画であるサムネイル画像として採用することは適切でない。一般的に、継続的に変化する映像から一つの画像を抜き出した場合、その画像だけでは何が表示されているのか分からないことが多い。このため、ユーザーが再生するシーンを選択するために使用されるサムネイル画像として、このような動いている映像の一部を用いることは不適切で、静止画もしくは静止画に近い画像を採用することが適切と考えられる。シーンの開始位置ではなく、所定時間経過後のピクチャをサムネイル画像とすることにより、こうした不具合を解消することができる。
【００２８】
シーン境界から時間的に遅れたピクチャをサムネイルとする方法としては、シーンチェンジを検出した後、一定時間、例えば３秒後の位置をサムネイル映像とする方法がある（図４）。また、シーンチェンジ検出後、シーンの変化量が閾値以下になり、かつ閾値以下が一定時間経過（例えば３秒）したところを選択してもよい（図５）。また、映像データが動きベクトル情報を有するデータである場合、動きベクトルの量がある閾値以下になるところを選択してもよい。このように、シーン境界から所定時間経過後のピクチャをサムネイルとして使用することにより、各シーンの内容に整合した画像をシーン選択のための画像としてユーザーに提供することが可能となる。
【００２９】
図４は、サムネイル画像の選択方法の一例を示す説明図である。図４において、横軸はピクチャ番号、縦軸は隣接する２つのピクチャの画像差分値である。ここでは、説明を単純化するため、１秒間に１枚のピクチャを解析対象とする。画像差分値は、例えば、２つのピクチャの輝度信号（Ｙ）、色差信号（Ｕ，Ｖ）のそれぞれのヒストグラムを生成し、各要素の差分絶対値の累積和を全要素数で除算した値としてもよい。この場合、画像差分値は、最小０から１の間の値をとることになる。そしてこの画像差分値が、予め設定しているシーン変化判定閾値を越えた場合、ピクチャ間にシーンチェンジが発生したと判定する。
【００３０】
図４では、ピクチャ番号Ｐ５２において、シーン変化判定閾値を越えているため、ピクチャＰ５１とピクチャＰ５２の間でシーンチェンジが発生していると判定し、ピクチャＰ５２をシーン境界とする。よって、ピクチャＰ５２を、シーン開始位置、つまりエントリーとしてメタデータ記録部１９にエントリー情報を記録する。先述の通り、ピクチャＰ５２の画像は、当該シーンに対応するサムネイルとしては採用せず、ピクチャ５２から、さらに所定時間経過後（ここでは３秒経過後）のピクチャＰ５５をサムネイル画像として採用する。ピクチャＰ５５は、入力ストリーム制御８により検出され、解析用デコーダ２１でデコードされた後、フレームバッファ２２に入力される。サムネイル生成２５は、フレームバッファ２２に入力されたピクチャＰ５５のデータに基づいてサムネイルを生成し、メタデータ記録部１９に記録する。
【００３１】
このようにシーンチェンジ、すなわちエントリー位置から所定時間経過した画像をサムネイルとすることによって、例えば、カメラのパーン映像、画像エフェクトによる画像変化中の画像、一瞬割り込まれた画像等、サムネイル画像として不適切な画像がサムネイルとして選択されることを防ぐことができる。
【００３２】
図５は、サムネイル画像の選択方法の他の例を示す説明図である。図５に示す方法では、シーン変化判定閾値以外に、サムネイル用判定閾値を用いてサムネイル画像を選択する。サムネイル用判定閾値は、サムネイル画像を選択するための閾値であり、シーンチェンジ発生後、画像差分値が当該閾値以下となった場合にサムネイル画像の選択を行う。
【００３３】
図６は、サムネイル画像の選択方法の他の例を示す説明図である。図６に示す方法では、
画像差分値がサムネイル用判定閾値を下回ってから所定時間経過後（ここでは３秒経過後）のピクチャＰ５８をサムネイル画像として選択する。これにより、同じ内容の画像が継続して表示される期間（この例ではピクチャＰ５５からピクチャＰ５８）における画像をサムネイル画像として選択できるようになる。そのため、内容を認識しやすい画像をサムネイルとして表示することができるとともに、シーンの映像とサムネイルの画像をより関連付けしやすくなる。
【００３４】
図６に示す例では、映像のシーン変化値がサムネイル用判定閾値を下回ってから所定時間経過後のピクチャをサムネイル画像として採用しているが、所定経過時間後に、それ以前のピクチャ（ピクチャＰ５６やピクチャＰ５７）を採用してもよい。
【００３５】
以下、フローチャートを用いて本実施の形態に関る映像音声記録再生装置１００の動作説明を行う。
図７は、エントリー情報生成のフローを示す図である。録画を開始すると、入力ストリーム制御８にＡＶストリームが順次入力される（Ｓ１０１）。入力ストリーム制御８は、ＡＶストリームからＧＯＰヘッダの検出を行い、キーフレームと呼ばれるＩピクチャのみを解析し、抽出する（Ｓ１０２）。キーフレームが抽出されると、当該ピクチャのデコードが実行され（Ｓ１０３）、画像差分値の算出が行われる（Ｓ１０４）。シーンチェンジが発生しないと判断された場合（Ｓ１０５においてＮｏ）、次のピクチャについてステップＳ１０２〜Ｓ１０４の処理が行われる。
【００３６】
一方、シーンチェンジが検出されると（Ｓ１０５においてＹｅｓ）、シーンチェンジが発生した箇所をシーン境界と判定し、その位置のエントリー情報を生成する（Ｓ１０６）。生成されたエントリー情報は、メタデータ記録部１９に記録される（Ｓ１０７）。上記動作は録画が完了し、入力ストリーム制御８がストリーム入力の終了を検知するまで行われる。入力ストリーム制御８において、ＡＶストリーム中からストリームの終端を示すフラグが検出された場合（Ｓ１０８においてＹｅｓ）、録画処理が終了する（Ｓ１０９）。
【００３７】
図８は、サムネイル画像生成までの動作の一例を示すフローチャートである。図８のフローチャートは、図４に示す、シーンチェンジ発生から所定時間経過後（３秒経過後）のピクチャをサムネイル画像にする場合の動作を示している。
先に、図７を参照して説明した通り、入力ストリーム制御８は、ＡＶストリームからキーフレームであるＩピクチャを抽出し（Ｓ１０２）、デコード処理を行う（Ｓ１０３）。デコード処理の後、サムネイル生成タイマーがセットされているか否かが判別される（Ｓ１０４）。このサムネイル生成タイマーは、シーンチェンジ検出後、すなわちシーン境界検出後、後段のステップＳ１１４においてセットされ、以降、キーフレームがデコードされるごとに減算される（Ｓ１０５）。このサムネイル生成タイマーは、シーンチェンジ検出後、サムネイル画像を選択するまでの所定時間（３秒間）をカウントするためのものであり、所定時間が経過してサムネイル生成タイマーがタイムアウトすると（Ｓ１０６）、サムネイル生成２５においてサムネイル画像が生成される（Ｓ１０７）。サムネイル画像が生成されると、サムネイル情報がメタデータ記録部１９に記録される（Ｓ１０８）。サムネイル画像を生成するまでの所定時間が経過していない場合（Ｓ１０６においてＮｏ）、あるいはサムネイル画像の生成が完了した場合（Ｓ１０９）、ステップＳ１０４においてデコードされたキーフレームの画像差分値の算出が行われ（Ｓ１１０）、シーンチェンジ判定処理が行われる（Ｓ１１１）。シーンチェンジが検出された場合、シーン境界を示すエントリー情報が生成され（Ｓ１１２）、メタデータ記録部１９に記録される（Ｓ１１３）。エントリー情報が記録されると、サムネイル生成タイマーがセットされ、続く録画ストリームについてキーフレーム抽出処理（Ｓ１０２）が再開される。
以上の処理が、録画ストリームの入力が終了するまで行われる（Ｓ１１５）。
【００３８】
ここではピクチャの処理を行うごとにタイマーを減算しているが、装置内に存在するタイマー機能を使ってタイムアウトをカウントしてもよい。また、記録されるＡＶストリームに重畳されているシステム時間を利用してもよい。
【００３９】
図９は、サムネイル画像生成までの動作の一例を示すフローチャートである。図９のフローチャートは、図６に示す、シーンチェンジ発生後、画像差分値がサムネイル用判定閾値を下回ってから所定時間経過後（３秒経過後）のピクチャをサムネイル画像にする場合の動作を示している。
図９において、ステップＳ１０２〜Ｓ１０４に示す処理工程は、図７において説明したものと同様である。ステップＳ１０４における画像差分値算出後、シーン開始位置であるエントリーが決定しているか否かが判断される（Ｓ１０５）。エントリーが決定しているか否かの判断は、後段のステップＳ１１６においてシーン開始状態設定がなされているかにより行われる。すなわち、ステップＳ１１３においてシーンチェンジが検出され、エントリー情報生成（Ｓ１１４）、エントリー情報記録（Ｓ１１５）が行われた後、シーン開始状態設定がなされる（Ｓ１１６）。エントリーが決定している場合、画像差分値がサムネイル用判定閾値以下であるかが判別される（Ｓ１０６）。サムネイル用判定閾値以下と判別された場合、サムネイル生成カウントが減算される（Ｓ１０７）。画像差分値がサムネイル用判定閾値を下回ってから所定期間経過後、サムネイル生成カウントがタイムアウトすると（Ｓ１０８）、サムネイル情報が生成され（Ｓ１０９）、メタデータ記録部１９に記録される（Ｓ１１０）。サムネイル画像生成処理が終了すると、シーン開始状態が解除される（Ｓ１１１）。これにより、次のシーン境界の検出処理がなされる。一方、画像差分値がサムネイル用判定閾値以下と判別された場合（Ｓ１０６においてＮｏ）、サムネイル生成カウンタのカウント値がリセットされ（Ｓ１１２）、画像差分値が再びサムネイル用判定閾値以下となるまでサムネイル生成カウントの減算は行われない。
以上の処理が、録画ストリームの入力が終了するまで行われる（Ｓ１１７）。
【００４０】
図１０は、サムネイル選択による再生動作を示すフローチャートである。
ユーザーがリモコン等により所望の処理を映像記録再生装置１００に対して入力すると、リモコン受信６でコード化されたコマンドがシステム制御部２に入力される（Ｓ１０２）。システム制御部２はコマンドに応じて処理を分岐する。再生開始指示が入力された場合（Ｓ１０３）、再生アプリ１１に対して再生開始指示が行われる（Ｓ１０４）。これにより、ＡＶストリーム記録部１７から出力ストリーム制御１６へのＡＶストリームの読み出しが開始され、ＡＶデコーダ１５においてデコードおよび出画が開始される。
次に、ユーザーが、リモコンに設けられた「シーンセレクト」ボタンを押下した場合、サムネイル表示コマンドが送られ、サムネイル表示指示が行われる（Ｓ１０５）。これにより、メタデータ記録部１９からサムネイル画像が読み出され（Ｓ１０６）、読み出されたサムネイル画像が表示される（Ｓ１０７）。
次に、ユーザーがリモコンの左右キーを押下すると、選択枠移動指示が行われ（Ｓ１０８）、サムネイル選択２８によって表示された選択枠を移動させて描画する処理が行われる（ステップＳ１０９）。ユーザーが希望するシーンを見つけ、「決定」キーを押下すると、システム制御部２に対し決定指示がなされる（Ｓ１１０）。次に、再生アプリ１１に対してエントリー情報を抽出するように指示がなされ、再生制御１４はＡＶ管理情報記録部１８から再生制御情報を読み出し、指定されたシーンのアドレス位置にシーク動作を行う(Ｓ１１１)。再生終了指示がなされた場合は処理を終了し（Ｓ１１３）、それ以外の場合は、新たなコマンドの入力に従う（Ｓ１０２）。
以上の動作により、ユーザーがサムネイルを画面上で指定することによって、対応するシーンのエントリー位置からの再生が可能になる。
【００４１】
以上において説明した本実施の形態に関る映像音声記録再生装置１００によれば、シーンチェンジに対応するエントリー位置から、所定時間経過後の画像をサムネイル画像として採用することができる。これにより、シーンチェンジが継続している可能性が高いエントリー直後の画像をサムネイル画像として採用した場合に生じる不具合を解消し、サムネイルとしてより適切な画像を選択することができる。具体的には、動きが激しい映像や、瞬間的に表示されるような映像を避け、動きが少ない静止画に近い画像をサムネイルとすることが可能である。また、サムネイル画像は静止画等の相関性の高い画像が時間的に継続する期間の画像を選択して生成されるので、シーンの内容と整合したサムネイル画像を提供することができるとともに、ユーザーが選択したサムネイル画像をシーンの映像内において確認することができ、ユーザーは安心してサムネイル画像選択によるシーン再生をすることができる。
【００４２】
また、サムネイルを選択する条件は、時間経過のみのため、サムネイル生成判定条件を計算するシステムの負荷が少なくて済む。本実施の形態においては、再生するＡＶストリームを直接解析して、エントリー情報の抽出およびサムネイル画像の選択を行うので、エントリー情報およびサムネイル画像が有する時間情報はＡＶストリームと関連付けられている。このため、ＡＶストリームの再生経過時間とエントリー情報およびサムネイル画像が示す時間とを対応付けて再生を行うことが可能である。
【００４３】
本実施の形態では、シーン境界であるエントリーを生成する方法、およびサムネイルを生成する方法として、ＨＤＤなどのＡＶストリーム記録部に記録されるＡＶストリームを対象としているが、符号化ストリームに限定されるものではなく、例えば、符号化を行う前の画像データを利用してもよい。また、Ｈ／Ｗなどで実装されたデコーダを解析用デコーダ２１として用いてもよい。さらにサムネイル生成を行う処理に専用のＨ／Ｗエンコーダを用いても良い。また、記録に関係するチューナー３および４、ＡＶエンコーダ７、入力ストリーム制御８、ＡＶストリーム記録部１７を改造することなく装置を構成することができるため、従来の映像音声記録再生装置に容易に搭載することができる。
【００４４】
また、サムネイル生成２５において、生成しようとするサムネイルの画像が、サムネイル画像としてふさわしくない場合に、サムネイル画像として採用せず、新たに別のサムネイル画像を生成するようにしてもよい。サムネイル画像としてふさわしくない画像の例としては、黒色や白色などの単色の場合や、画像として何も存在しない場合や、カメラのフラッシュ等で画面が白とびした画像や、動きが早すぎて何が写っているのか変わらない画像や、コントラストが低い画像等が考えられる。これにより、適切な画像をサムネイルとして選択するのみでなく、不適切なデータに基づいてサムネイル生成処理を行うことにより、システムがハングするといった不具合を防ぐことができる。
【００４５】
また、本実施の形態では、シーン境界を抽出した後にサムネイル画像の選択と生成を行う構成としているが、例えば、サムネイルとして適切な画像を検出し、その後に、時間的に前にあるシーン境界の抽出を行ってもよい。この場合、シーン境界検出（例えば、シーンチェンジ検出）を常に行わなくてもよく、処理負荷の軽減が期待できる。さらに、サムネイル画像として適正な画像が検出されたときのみ、シーンを区切るので、結果的にサムネイル画像として不適切な画像がサムネイルとして選択されることがなくなる。
【００４６】
シーン境界の検出を固定値で行った場合、つまり５分間隔等でシーンを区切った場合、シーン境界検出のための負荷を軽減できる。さらには、録画動作と並行してサムネイル生成を行う場合に、シーンの長さが予めわかっているので、シーンの中で最良のサムネイル画像を選択する処理が簡単に実現でき、結果としてより適切なサムネイル画像を選択することが可能になる。
【００４７】
なお、本実施の形態にかかわる映像音声記録再生装置１００は、再生機能を有しているが、記録機能のみを有する記録装置であってもよい。このような記録装置は、記録したＡＶストリーム、再生制御情報、メタデータを外部に出力するインターフェース機能を設けることにより実現することができる。また、こうしたインターフェースから出力されたデータ、もしくはデータが記録された媒体を用いて、本実施の形態に関る再生機能を有する再生装置を構成してもよい。
【００４８】
実施の形態２．
図１１は、本発明の実施の形態２に関る映像音声記録再生装置１０１の構成を示すブロック図である。本実施の形態に関る映像音声記録再生装置１０１は、図１に示す映像音声記録再生装置１００におけるシーン境界検出２３の代わりに音声境界抽出２６を備えたことを特徴とする。
【００４９】
本実施の形態において、解析デコーダ２１は、ＡＶストリーム中の符号化されている音声データに対しても復号を行う。音声境界抽出２６は、フレームバッファ２２を解して入力される音声データについて、例えば、無音が発生している区間をシーン境界である判定する。エントリー２５は、シーン境界の判定結果に基づき、実施の形態１と同様にエントリー情報を作成し、メタデータ記録部１９に記録する。
【００５０】
音声の解析方法としては、無音検出に限らず、音声の周波数解析を行い、周波数分布より音声情報の特性分類を行ってもよい。音声境界抽出２６において、一定区間の音声信号に対し、オーディオフレーム単位で周波数解析を実施し、各周波数の分布を求める。次に、区間ごとの周波数分布の形状が、予め「会話」、「音楽」、「スポーツ」、[動物の声]、「騒音」等に分類された周波数分布パターンのどれに一致するか求める。さらに、複数のオーディオフレームからなる区間窓を設け、最も頻度の多い周波数分布パターンを対応する区間窓のパターンであると判定する。そして、パターンが変化した区間窓の先頭をシーン境界とする。
【００５１】
図１２は、音声の周波数解析によりシーン境界を検出する方法を示す説明図である。図１２（ａ）に示すように、音声信号はオーディオフレームに分割される。分割されたオーディオフレーム単位でオーディオデータの周波数解析が行われ、各周波数分布に最も近い周波数分布パターンを求める。図１２（ａ）に示す例では、３つのオーディオフレームからなる区間窓を設け、図１２の（ｂ）に示すように、区間窓ごとに最も頻度の高い周波数分布パターンを求める。この区間窓に対応付けられた周波数分布パターンが変化したところをシーンの変わり目であるシーン境界と判定し、図１２（ｃ）に示すようにシーンを構成する。
【００５２】
次に、オーディオ情報に基づいてサムネイル画像の選択する方法について説明する。映像情報と音声情報の区切りは、必ずしも一致することはないが、音声の区切りで映像の変化が発生することが多いので、図１２（ｃ）に示す、シーン境界（周波数分布の形状パターンが変化する区間窓の境界）の画像をサムネイル画像とすべきではない。よって、区間窓において、同じ周波数分布パターンが続くところをサムネイルとする。例えば、「スポーツ」が続く区間窓Ｎ＋１からＮ＋３において、中心の区間窓Ｎ＋２における中心のオーディオフレームであるＡＦｍ＋７をサムネイル画像として選択する。
以降のサムネイル生成の処理は実施の形態１と同じである。
【００５３】
本実施の形態によれば、音声情報に基づいてシーン境界の検出やサムネイル画像の選択を行うことにより、実施の形態１のように映像情報に基づいてこれらの処理を行う場合に比して解析処理を軽量化し、処理速度を上げることができる。特に、音声信号から無音区間を検出する場合は、解析処理が非常に軽量になり、より早く処理を完了させることができる。また、音声情報を利用するために、音声に特徴のある番組、例えば音楽番組や、スポーツ番組に対して、シーンを分割することにおいてより精度が向上する。
【００５４】
さらに、映像と音声とを組み合わせてシーン境界の検出やサムネイル画像の選択を行うことにより、より適切な処理が可能となる。また、映像情報や音声情報に限定されることなく、字幕情報や、その他放送波に重畳されるＥＰＧデータや、著作権管理情報等、さまざまなデータを利用してもよい。これらのデータを利用することによって、正確なシーン分割が可能になる。
【００５５】
実施の形態３．
図１３は本発明の実施の形態３に関る映像音声記録再生装置１０２の構成を示すブロック図である。本実施の形態に関る映像音声記録再生装置１０２は、ＡＶストリーム記録部１７に記録されたＡＶストリームを読み出して、シーン境界の検出およびサムネイル画像の選択を行うことを特徴とする。図１３に示す映像音声記録装置１０２において、ダビング用ストリーム制御２７以外の構成は、図１に示す映像音声記録再生装置１００と同様である。
【００５６】
ダビング用ストリーム制御２７は、ＡＶストリーム記録部１７からＡＶストリームを読み出し、解析対象となるＡＶストリームのデータを解析用デコーダ２１に入力する。ダビング用ストリーム制御２７は、通常、ダビング用のバッファとして用いられるが、本実施の形態においては、このダビング用ストリーム制御２７の構成を用いて、ＡＶストリーム記録部１７から読み出されたＡＶストリームを解析用デコーダに入力する。
【００５７】
ダビング用ストリーム制御２７は、録画が終了するとＡＶストリーム記録部１７に記録されたＡＶストリームを順次読出し解析用でコーダ２１に入力する。解析用デコーダ２１は、ＧＯＰの開始コードが検出されると、先頭のＩピクチャが含まれるパケットを解析用デコーダ２１に転送する。解析用デコーダ２１は、当該Ｉピクチャのデコードを行う。以降の動作は実施の形態１と同様である。
【００５８】
このように、録画終了後にシーン境界の検出およびサムネイル画像の選択を行う構成とすることにより、実施の形態１のように、録画時の処理負荷の高い状態ではなく、処理の負荷が低い状態でのＡＶストリームの解析を行うため、安定した処理が可能となる。また、録画時にＡＶストリームの解析を行う場合、録画動作の速度と同じか、それ以上の速度でシーン境界の検出およびサムネイル画像の生成を行う必要があったが、録画終了後においては、さほど高速な解析処理を必要としない。また、録画後に処理を行うため、特定の期間のみ（例えば、ＣＭ区間を除いた基幹）の解析を行うことができ、トータルの解析負荷を低減し、消費電力の削減に貢献できる。また、一度記録されたタイトルに対して処理を行うことができるため、編集操作等でタイトルの内容が変わった場合に利用することができる。
【符号の説明】
【００５９】
１００，１０１，１０２ 録画音声記録再生装置、２ システム制御部、３ デジタルチューナー、４ アナログチューナー、５ 外部入力端子、６ リモコン受信部、７ ＡＶエンコーダ、８ 入力ストリーム制御、９ 録画アプリ、１０ 録画制御、１１ 再生アプリ、１２ メタデータ制御部、１３ サムネイル表示、１４ 再生制御、１５ ＡＶデコーダ、１６ 出力ストリーム制御、１７ ＡＶストリーム記録部、１８ ＡＶ管理情報記録部、１９ メタデータ記録部、２０ グラフィック重畳、２１ 解析用デコーダ、２２ フレームバッファ、２３ シーン境界抽出、２４ エントリー生成、２５ サムネイル生成、２６ 音声境界抽出、２７ ダビング用ストリーム制御、２８ サムネイル選択、３０ ネットワーク端子、３１ モニター出力端子、９１ アンテナ、９２ ネットワーク、９３ モニター、９４ リモコン、９５ 画面
【特許請求の範囲】
【請求項１】
映像情報からシーンの境界を抽出するシーン境界抽出手段と、
シーン境界抽出手段によって抽出されたシーン境界にアクセスするためのエントリー情報を生成するエントリー生成手段と、
上記シーン境界抽出手段によって分割されたシーンを代表するピクチャを選択してサムネイル画像を生成するサムネイル生成手段と、
前記サムネイル生成手段によって生成されたサムネイル画像を表示するサムネイル表示手段と、
表示されたサムネイルから任意のサムネイルを選択するためのサムネイル選択手段と、
選択されたサムネイルに対応するシーンを再生する手段と、を備え、
前記サムネイル生成手段は、シーン境界から所定期間後のピクチャをサムネイル画像として選択することを特徴とする映像音声再生装置。
【請求項２】
サムネイル生成手段は、映像情報を解析し、映像変化が少ないピクチャをサムネイル画像として選択することを特徴とする請求項１記載の映像音声再生装置。
【請求項３】
サムネイル生成手段は、シーンを構成するピクチャ間の差分値を検出し、当該差分値が所定の閾値以下となるピクチャをサムネイル画像として選択することを特徴とする請求項１記載の映像音声再生装置。
【請求項４】
サムネイル生成手段は、生成されたサムネイル画像に対応するピクチャのアドレス情報をサムネイル情報として生成し、前記サムネイル情報を記憶するメタデータ記憶手段を有することを特徴とする請求項１記載の映像音声再生装置。
【請求項５】
シーン境界抽出手段は、シーンチェンジの検出結果に基づいて、シーン境界を検出することを特徴とする請求項１記載の映像音声再生装置。
【請求項６】
シーン境界抽出手段は、音声データの周波数分布の変化に基づいて、シーン境界を検出することを特徴とする請求項１記載の映像音声再生装置。
【請求項７】
シーン境界抽出手段は、映像情報に重畳されるデータに基づいて、シーン境界を検出することを特徴とする請求項１記載の映像音声再生装置。
【請求項８】
シーン境界抽出手段は、生成されたサムネイル画像に対応するピクチャのアドレス情報を元に、シーン境界を検出することを特徴とする請求項１記載の映像音声再生装置。
【請求項９】
映像情報からシーンの境界を抽出するシーン境界抽出手段と、
シーン境界抽出手段によって抽出されたシーン境界にアクセスするためのエントリー情報を生成するエントリー生成手段と、
上記シーン境界抽出手段によって分割されたシーンを代表するピクチャを選択してサムネイル画像を生成するサムネイル生成手段と、
前記エントリー情報、および生成されたサムネイル画像に対応するピクチャのアドレス情報であるサムネイル情報を記録するメタデータ記録手段と、を備え、
前記サムネイル生成手段は、シーン境界から所定期間後のピクチャをサムネイル画像として選択することを特徴とする映像音声編集装置。
【請求項１０】
サムネイル生成手段は、シーンを構成するピクチャ間の差分値を検出し、当該差分値が所定の閾値以下となるピクチャをサムネイル画像として選択することを特徴とする請求項９記載の映像音声編集装置。
【請求項１１】
映像情報からシーンの境界を抽出し、
抽出されたシーン境界にアクセスするためのエントリー情報を生成し、
抽出されたシーン境界により分割されたシーンを代表するピクチャを選択してサムネイル画像を生成し、
生成されたサムネイル画像を表示し、
表示されたサムネイル画像のうち任意に選択されたサムネイルに対応するシーンを再生する処理を備え、
シーン境界から所定期間後のピクチャをサムネイル画像として選択することを特徴とする映像音声再生方法。
【請求項１２】
映像情報を解析し、映像変化が少ないピクチャをサムネイル画像として選択することを特徴とする請求項１１記載の映像音声再生方法。
【請求項１３】
シーンを構成するピクチャ間の差分値を検出し、当該差分値が所定の閾値以下となるピクチャをサムネイル画像として選択することを特徴とする請求項１１記載の映像音声再生方法。
【請求項１４】
生成されたサムネイル画像に対応するピクチャのアドレス情報をサムネイル情報として記憶することを特徴とする請求項１１記載の映像音声再生方法。
【請求項１５】
シーンチェンジの検出結果に基づいて、シーン境界を検出することを特徴とする請求項１１記載の映像音声再生方法。
【請求項１６】
音声データの周波数分布の変化に基づいて、シーン境界を検出することを特徴とする請求項１１記載の映像音声再生方法。
【請求項１７】
映像情報に重畳されるデータに基づいて、シーン境界を検出することを特徴とする請求項１１記載の映像音声再生方法。
【請求項１８】
映像情報からシーンの境界を抽出し、
抽出されたシーン境界にアクセスするためのエントリー情報を生成し、
抽出されたシーン境界により分割されたシーンを代表するピクチャを選択してサムネイル画像を生成し、
前記エントリー情報、および生成されたサムネイル画像に対応するピクチャのアドレス情報であるサムネイル情報を記録する処理を備え、
シーン境界から所定期間後のピクチャをサムネイル画像として選択することを特徴とする映像音声編集方法。
【請求項１９】
シーンを構成するピクチャ間の差分値を検出し、当該差分値が所定の閾値以下となるピクチャをサムネイル画像として選択することを特徴とする請求項１８記載の映像音声編集方法。
【請求項２０】
映像情報を記録する記録手段と、
前記映像情報からシーンの境界を抽出するシーン境界抽出手段と、
シーン境界抽出手段によって抽出されたシーン境界にアクセスするためのエントリー情報を生成するエントリー生成手段と、
上記シーン境界抽出手段によって分割されたシーンを代表するピクチャを選択してサムネイル画像を生成するサムネイル生成手段と、
前記サムネイル生成手段によって生成されたサムネイル画像を表示するサムネイル表示手段と、
表示されたサムネイルから任意のサムネイルを選択するためのサムネイル選択手段と、
選択されたサムネイルに対応するシーンを再生する手段と、を備え、
前記サムネイル生成手段は、シーン境界から所定期間後のピクチャをサムネイル画像として選択することを特徴とする映像音声記録再生装置。
【請求項２１】
サムネイル生成手段は、シーンを構成するピクチャ間の差分値を検出し、当該差分値が所定の閾値以下となるピクチャをサムネイル画像として選択することを特徴とする請求項２０記載の映像音声記録再生装置。
【請求項２２】
サムネイル生成手段は、生成されたサムネイル画像に対応するピクチャのアドレス情報をサムネイル情報として生成し、前記サムネイル情報を記憶するメタデータ記憶手段を有することを特徴とする請求項２０記載の映像音声記録再生装置。
【請求項２３】
シーン境界抽出手段は、シーンチェンジの検出結果に基づいて、シーン境界を検出することを特徴とする請求項２０記載の映像音声記録再生装置。
【請求項２４】
シーン境界抽出手段は、音声データの周波数分布の変化に基づいて、シーン境界を検出することを特徴とする請求項２０記載の映像音声記録再生装置。
【請求項２５】
シーン境界抽出手段は、映像情報に重畳されるデータに基づいて、シーン境界を検出することを特徴とする請求項２０記載の映像音声記録再生装置。
【請求項２６】
前記サムネイル生成手段は、不適切なサムネイル画像が生成された場合、当該サムネイル画像とは別のサムネイル画像を生成することを特徴とする請求項２０記載の映像音声記録再生装置。
【請求項２７】
映像情報を記録し、
前記映像情報からシーンの境界を抽出し、
抽出されたシーン境界にアクセスするためのエントリー情報を生成し、
抽出されたシーン境界により分割されたシーンを代表するピクチャを選択してサムネイル画像を生成し、
生成されたサムネイル画像を表示し、
表示されたサムネイル画像のうち任意に選択されたサムネイルに対応するシーンを再生する処理を備え、
シーン境界から所定期間後のピクチャをサムネイル画像として選択することを特徴とする映像音声記録再生方法。
【請求項２８】
シーンを構成するピクチャ間の差分値を検出し、当該差分値が所定の閾値以下となるピクチャをサムネイル画像として選択することを特徴とする請求項２７記載の映像音声記録再生方法。
【請求項２９】
生成されたサムネイル画像に対応するピクチャのアドレス情報をサムネイル情報として記憶することを特徴とする請求項２７記載の映像音声記録再生方法。
【請求項３０】
シーンチェンジの検出結果に基づいて、シーン境界を検出することを特徴とする請求項２７記載の映像音声記録再生方法。
【請求項３１】
音声データの周波数分布の変化に基づいて、シーン境界を検出することを特徴とする請求項２７記載の映像音声記録再生方法。
【請求項３２】
映像情報に重畳されるデータに基づいて、シーン境界を検出することを特徴とする請求項２７記載の映像音声記録再生方法。
【請求項３３】
不適切なサムネイル画像が生成された場合、当該サムネイル画像とは別のサムネイル画像を生成することを特徴とする請求項２７記載の映像音声記録再生方法。
【請求項１】
映像情報からシーンの境界を抽出するシーン境界抽出手段と、
シーン境界抽出手段によって抽出されたシーン境界にアクセスするためのエントリー情報を生成するエントリー生成手段と、
上記シーン境界抽出手段によって分割されたシーンを代表するピクチャを選択してサムネイル画像を生成するサムネイル生成手段と、
前記サムネイル生成手段によって生成されたサムネイル画像を表示するサムネイル表示手段と、
表示されたサムネイルから任意のサムネイルを選択するためのサムネイル選択手段と、
選択されたサムネイルに対応するシーンを再生する手段と、を備え、
前記サムネイル生成手段は、シーン境界から所定期間後のピクチャをサムネイル画像として選択することを特徴とする映像音声再生装置。
【請求項２】
サムネイル生成手段は、映像情報を解析し、映像変化が少ないピクチャをサムネイル画像として選択することを特徴とする請求項１記載の映像音声再生装置。
【請求項３】
サムネイル生成手段は、シーンを構成するピクチャ間の差分値を検出し、当該差分値が所定の閾値以下となるピクチャをサムネイル画像として選択することを特徴とする請求項１記載の映像音声再生装置。
【請求項４】
サムネイル生成手段は、生成されたサムネイル画像に対応するピクチャのアドレス情報をサムネイル情報として生成し、前記サムネイル情報を記憶するメタデータ記憶手段を有することを特徴とする請求項１記載の映像音声再生装置。
【請求項５】
シーン境界抽出手段は、シーンチェンジの検出結果に基づいて、シーン境界を検出することを特徴とする請求項１記載の映像音声再生装置。
【請求項６】
シーン境界抽出手段は、音声データの周波数分布の変化に基づいて、シーン境界を検出することを特徴とする請求項１記載の映像音声再生装置。
【請求項７】
シーン境界抽出手段は、映像情報に重畳されるデータに基づいて、シーン境界を検出することを特徴とする請求項１記載の映像音声再生装置。
【請求項８】
シーン境界抽出手段は、生成されたサムネイル画像に対応するピクチャのアドレス情報を元に、シーン境界を検出することを特徴とする請求項１記載の映像音声再生装置。
【請求項９】
映像情報からシーンの境界を抽出するシーン境界抽出手段と、
シーン境界抽出手段によって抽出されたシーン境界にアクセスするためのエントリー情報を生成するエントリー生成手段と、
上記シーン境界抽出手段によって分割されたシーンを代表するピクチャを選択してサムネイル画像を生成するサムネイル生成手段と、
前記エントリー情報、および生成されたサムネイル画像に対応するピクチャのアドレス情報であるサムネイル情報を記録するメタデータ記録手段と、を備え、
前記サムネイル生成手段は、シーン境界から所定期間後のピクチャをサムネイル画像として選択することを特徴とする映像音声編集装置。
【請求項１０】
サムネイル生成手段は、シーンを構成するピクチャ間の差分値を検出し、当該差分値が所定の閾値以下となるピクチャをサムネイル画像として選択することを特徴とする請求項９記載の映像音声編集装置。
【請求項１１】
映像情報からシーンの境界を抽出し、
抽出されたシーン境界にアクセスするためのエントリー情報を生成し、
抽出されたシーン境界により分割されたシーンを代表するピクチャを選択してサムネイル画像を生成し、
生成されたサムネイル画像を表示し、
表示されたサムネイル画像のうち任意に選択されたサムネイルに対応するシーンを再生する処理を備え、
シーン境界から所定期間後のピクチャをサムネイル画像として選択することを特徴とする映像音声再生方法。
【請求項１２】
映像情報を解析し、映像変化が少ないピクチャをサムネイル画像として選択することを特徴とする請求項１１記載の映像音声再生方法。
【請求項１３】
シーンを構成するピクチャ間の差分値を検出し、当該差分値が所定の閾値以下となるピクチャをサムネイル画像として選択することを特徴とする請求項１１記載の映像音声再生方法。
【請求項１４】
生成されたサムネイル画像に対応するピクチャのアドレス情報をサムネイル情報として記憶することを特徴とする請求項１１記載の映像音声再生方法。
【請求項１５】
シーンチェンジの検出結果に基づいて、シーン境界を検出することを特徴とする請求項１１記載の映像音声再生方法。
【請求項１６】
音声データの周波数分布の変化に基づいて、シーン境界を検出することを特徴とする請求項１１記載の映像音声再生方法。
【請求項１７】
映像情報に重畳されるデータに基づいて、シーン境界を検出することを特徴とする請求項１１記載の映像音声再生方法。
【請求項１８】
映像情報からシーンの境界を抽出し、
抽出されたシーン境界にアクセスするためのエントリー情報を生成し、
抽出されたシーン境界により分割されたシーンを代表するピクチャを選択してサムネイル画像を生成し、
前記エントリー情報、および生成されたサムネイル画像に対応するピクチャのアドレス情報であるサムネイル情報を記録する処理を備え、
シーン境界から所定期間後のピクチャをサムネイル画像として選択することを特徴とする映像音声編集方法。
【請求項１９】
シーンを構成するピクチャ間の差分値を検出し、当該差分値が所定の閾値以下となるピクチャをサムネイル画像として選択することを特徴とする請求項１８記載の映像音声編集方法。
【請求項２０】
映像情報を記録する記録手段と、
前記映像情報からシーンの境界を抽出するシーン境界抽出手段と、
シーン境界抽出手段によって抽出されたシーン境界にアクセスするためのエントリー情報を生成するエントリー生成手段と、
上記シーン境界抽出手段によって分割されたシーンを代表するピクチャを選択してサムネイル画像を生成するサムネイル生成手段と、
前記サムネイル生成手段によって生成されたサムネイル画像を表示するサムネイル表示手段と、
表示されたサムネイルから任意のサムネイルを選択するためのサムネイル選択手段と、
選択されたサムネイルに対応するシーンを再生する手段と、を備え、
前記サムネイル生成手段は、シーン境界から所定期間後のピクチャをサムネイル画像として選択することを特徴とする映像音声記録再生装置。
【請求項２１】
サムネイル生成手段は、シーンを構成するピクチャ間の差分値を検出し、当該差分値が所定の閾値以下となるピクチャをサムネイル画像として選択することを特徴とする請求項２０記載の映像音声記録再生装置。
【請求項２２】
サムネイル生成手段は、生成されたサムネイル画像に対応するピクチャのアドレス情報をサムネイル情報として生成し、前記サムネイル情報を記憶するメタデータ記憶手段を有することを特徴とする請求項２０記載の映像音声記録再生装置。
【請求項２３】
シーン境界抽出手段は、シーンチェンジの検出結果に基づいて、シーン境界を検出することを特徴とする請求項２０記載の映像音声記録再生装置。
【請求項２４】
シーン境界抽出手段は、音声データの周波数分布の変化に基づいて、シーン境界を検出することを特徴とする請求項２０記載の映像音声記録再生装置。
【請求項２５】
シーン境界抽出手段は、映像情報に重畳されるデータに基づいて、シーン境界を検出することを特徴とする請求項２０記載の映像音声記録再生装置。
【請求項２６】
前記サムネイル生成手段は、不適切なサムネイル画像が生成された場合、当該サムネイル画像とは別のサムネイル画像を生成することを特徴とする請求項２０記載の映像音声記録再生装置。
【請求項２７】
映像情報を記録し、
前記映像情報からシーンの境界を抽出し、
抽出されたシーン境界にアクセスするためのエントリー情報を生成し、
抽出されたシーン境界により分割されたシーンを代表するピクチャを選択してサムネイル画像を生成し、
生成されたサムネイル画像を表示し、
表示されたサムネイル画像のうち任意に選択されたサムネイルに対応するシーンを再生する処理を備え、
シーン境界から所定期間後のピクチャをサムネイル画像として選択することを特徴とする映像音声記録再生方法。
【請求項２８】
シーンを構成するピクチャ間の差分値を検出し、当該差分値が所定の閾値以下となるピクチャをサムネイル画像として選択することを特徴とする請求項２７記載の映像音声記録再生方法。
【請求項２９】
生成されたサムネイル画像に対応するピクチャのアドレス情報をサムネイル情報として記憶することを特徴とする請求項２７記載の映像音声記録再生方法。
【請求項３０】
シーンチェンジの検出結果に基づいて、シーン境界を検出することを特徴とする請求項２７記載の映像音声記録再生方法。
【請求項３１】
音声データの周波数分布の変化に基づいて、シーン境界を検出することを特徴とする請求項２７記載の映像音声記録再生方法。
【請求項３２】
映像情報に重畳されるデータに基づいて、シーン境界を検出することを特徴とする請求項２７記載の映像音声記録再生方法。
【請求項３３】
不適切なサムネイル画像が生成された場合、当該サムネイル画像とは別のサムネイル画像を生成することを特徴とする請求項２７記載の映像音声記録再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１４２６４５（Ｐ２０１２−１４２６４５Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２００９−１０９３０９（Ｐ２００９−１０９３０９）
【出願日】平成２１年４月２８日（２００９．４．２８）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２１年４月２８日（２００９．４．２８）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]