情報処理装置、情報処理方法及びプログラム
【課題】映像データの早送り／巻き戻し操作の際にユーザの所望のシーンを迅速かつ正確に検索させること。
【解決手段】ＰＶＲ１００は、早送り／巻き戻し操作が一定時間継続すると、早送り／巻き戻し中の動画コンテンツのフレームのサムネイルを含む第１の時間間隔（例えば１秒）毎の複数の第１サムネイル４３を水平方向に表示し、早送り／巻き戻し操作が中止された場合に、第１サムネイル４３のうち１つの操作対象サムネイル４３ｏを基準として、第１の時間間隔よりも大きい第２の時間間隔（例えば３０秒）毎の複数の第２サムネイル４４を垂直方向に表示し、第１サムネイル４３及び第２サムネイル４４のいずれかが選択された場合にそれに対応するフレームから動画コンテンツの再生を再開する。
【解決手段】ＰＶＲ１００は、早送り／巻き戻し操作が一定時間継続すると、早送り／巻き戻し中の動画コンテンツのフレームのサムネイルを含む第１の時間間隔（例えば１秒）毎の複数の第１サムネイル４３を水平方向に表示し、早送り／巻き戻し操作が中止された場合に、第１サムネイル４３のうち１つの操作対象サムネイル４３ｏを基準として、第１の時間間隔よりも大きい第２の時間間隔（例えば３０秒）毎の複数の第２サムネイル４４を垂直方向に表示し、第１サムネイル４３及び第２サムネイル４４のいずれかが選択された場合にそれに対応するフレームから動画コンテンツの再生を再開する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツを再生可能な情報処理装置、当該情報処理装置における情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、テレビジョン、ビデオレコーダ、ＰＣ（Personal Computer）等の情報処理装置においてユーザが映像コンテンツを視聴する場合、ユーザは、リモートコントローラのボタン操作等により、不要なシーンをスキップしたり、所望のシーンを検索したりしていた。例えば、ユーザが一般的なビデオレコーダで映像コンテンツを視聴している最中に不要なシーンが始まると、ユーザはリモートコントローラの早送りボタンを押し続けることで、視聴をスキップできる。また、リモートコントローラが１５秒スキップや３０秒スキップ等の一定時間に対応したボタンを備えている場合、ユーザはそれらのボタンを押すことでそれらに対応した時間分の視聴をスキップできる。
【０００３】
ところが、このような手法では、ユーザはいつ不要なシーンが終わるかを把握できないため、不必要に早送りが進んでしまうことがあった。
【０００４】
下記特許文献１には、デジタルカメラのムービー再生待機中に十字キーの右キーの長押しにより早送りモードに移行し、液晶モニターの画面下に複数のサムネイルが表示され、ユーザが右キーを押し続けている間、ファイル番号順にサムネイル画像が画面の左から右へ移動しながら順次自動表示され、所望の画像が中央の位置に来たところで、ユーザが右キーから指を離し、所定時間経過すると、当該中央の画像の再生モードに移行することが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２１１４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の技術では、画面に一度に表示できるサムネイルの数及び時間範囲に限りがあるため、例えば所望のシーンが十字キーを押した時点から離れている場合等には、ユーザは所望のシーンに辿り着くまでに時間を要することとなる。
【０００７】
以上のような事情に鑑み、本発明の目的は、映像データの早送り／巻き戻し操作の際にユーザの所望のシーンを迅速かつ正確に検索させることが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上述の課題を解決するため、本発明の一の形態に係る情報処理装置は、記憶部と、再生部と、出力部と、操作検出部と、制御部とを有する。上記記憶部は、複数のフレームを有する映像データと、当該複数のフレームに対応する複数のサムネイル画像とを記憶する。上記再生部は、上記記憶された映像データを再生する。上記出力部は、上記再生された映像データを表示部へ出力する。上記操作検出部は、ユーザの操作を検出する。上記制御部は、上記映像データの再生中に、当該映像データの早送りまたは巻き戻しのための第１の操作が検出された場合に、当該第１の操作に応じて、当該検出時に出力されていた映像データのフレームよりも再生位置が後または前のフレームを上記表示部へ順次出力するように上記出力部を制御する。また制御部は、上記第１の操作の検出が所定時間継続したときに、上記第１の操作に応じて出力されるフレームのサムネイル画像を含む第１の時間間隔毎の複数の第１のサムネイル画像を、上記表示部へ第１の方向へ並べて順次出力するように上記出力部を制御する。また制御部は、上記第１の操作が検出されなくなった場合に、上記出力された第１のサムネイル画像のうち１つを基準として、上記第１の時間間隔よりも大きい第２の時間間隔毎の複数の第２のサムネイル画像を、上記第１の方向とは異なる第２の方向へ並べて上記表示部へ出力するように上記出力部を制御する。さらに制御部は、いずれか１つの上記第１のサムネイル画像または上記第２のサムネイル画像を選択するためのユーザの第２の操作が検出された場合に、当該選択された第１のサムネイル画像または当該第２のサムネイル画像に対応するフレームから上記映像データを再生するように上記再生部を制御する。
【０００９】
この構成により情報処理装置は、映像データの早送り操作または巻き戻し操作の際に、第１の時間間隔毎の第１のサムネイル画像のみならず、当該第１のサムネイル画像とは異なる方向に、第１の時間間隔よりも大きい第２の時間間隔毎のサムネイルも出力できる。したがって情報処理装置は、第１の時間間隔と第２の時間間隔という２つの異なる時間範囲でサムネイル画像を提供することで、ユーザの所望のシーンを迅速かつ正確に検索させることができる。
【００１０】
上記制御部は、上記第２のサムネイル画像を、上記出力された複数の第１のサムネイル画像のうち、上記第１の方向における上記表示部の中心からずれた位置に出力された第１のサムネイル画像を基準として上記第２のサムネイル画像を出力するように上記出力部を制御してもよい。
【００１１】
これにより情報処理装置は、第２のサムネイル画像が表示部の中心からずれた位置に出力することになるため、ユーザに、表示部に表示されている映像データの閲覧を比較的邪魔することなく第２のサムネイル画像を閲覧させることができる。ここで情報処理装置は、第１の操作が早送り操作の場合には、基準となる第１のサムネイル画像よりも時間位置が後の第１のサムネイル画像をより多く出力し、第１の操作が巻き戻し操作の場合には、基準となる第１のサムネイル画像よりも時間位置が前の第１のサムネイル画像をより多く出力してもよい。
【００１２】
上記制御部は、上記第２のサムネイル画像を、上記出力された複数の第１のサムネイル画像のうち、上記第１の方向における最端部に出力された第１のサムネイル画像に隣接する第１のサムネイル画像を基準として上記第２のサムネイル画像を出力ように上記出力部を制御してもよい。
【００１３】
これにより情報処理装置は、ユーザに、表示部に表示されている映像データの閲覧を邪魔することなく第２のサムネイル画像を閲覧させることができるとともに、基準となる第１のサムネイル画像の前後の第１のサムネイル画像を少なくとも１つ出力することで、１コマ送り及び１コマ戻しの双方の微調整を常に可能とすることができる。
【００１４】
上記制御部は、上記出力された複数の第２のサムネイル画像のうち１つを選択する上記第２の操作が入力された場合、上記選択された第２のサムネイル画像を、当該第２の操作前に上記基準となる第１のサムネイル画像が出力されていた位置に移動させ、当該移動された第２のサムネイル画像を基準として上記複数の第２のサムネイル画像を出力するように上記出力部を制御してもよい。
【００１５】
これにより情報処理装置は、上記選択操作のたびに、第２のサムネイル画像の出力数は変えずに、時間範囲のみ更新して第２のサムネイル画像を出力することができるため、例えばスクロール等により第２のサムネイル画像を選択するユーザの操作負担を軽減することができる。また情報処理装置は、上記選択操作があっても、出力される第２のサムネイル画像の数を変更しないことで、表示部の表示範囲を有効活用することができる。
【００１６】
上記制御部は、上記第１の操作の継続時間に応じて上記映像データの早送りまたは巻き戻しの速度を第１の速度から第２の速度まで可変することが可能であり、上記早送りまたは巻き戻しの速度が上記第２の速度に到達したときに、上記複数の第１のサムネイル画像を出力するように上記出力部を制御してもよい。
【００１７】
これにより情報処理装置は、早送りまたは巻き戻しの速度が最大速度になった場合にはじめて第１のサムネイル画像を出力することで、高速サーチ時であっても、ユーザの目では追えないフレームをサムネイル画像としてユーザに認識させ、ユーザに所望のシーンを見つけ出させることができる。
【００１８】
上記制御部は、上記複数の第１のサムネイル画像及び上記複数の第２のサムネイル画像が出力された状態で、上記基準となる第１のサムネイル画像を上記第１の方向にドラッグする操作が検出された場合に、当該操作に応じて、当該基準となる第１のサムネイル画像と、当該第１のサムネイル画像を基準として出力されている上記複数の第２のサムネイル画像とを連動させて上記第１の方向に移動させるとともに、上記出力される複数の第１のサムネイル画像を更新するように上記出力部を制御してもよい。
【００１９】
これにより情報処理装置は、ドラッグ操作に応じて、基準となる第１のサムネイル画像及びそれを基準とした第２のサムネイル画像の全体を、第１の方向のタイムライン上で移動させることで、ユーザに新たな早送り操作または巻き戻し操作を行わせることなく、ドラッグ操作前に出力されていなかった再生位置の第１のサムネイル画像を確認させることができる。
【００２０】
上記制御部は、上記複数の第１のサムネイル画像及び上記複数の第２のサムネイル画像が出力された状態で、いずれか１つの上記第２のサムネイル画像を上記第１の方向にドラッグする操作が検出された場合に、当該操作に応じて、全ての上記複数の第２のサムネイル画像を上記第１の方向に移動させるとともに、当該移動位置に存在する第１のサムネイル画像が基準となるように上記複数の第２のサムネイル画像を更新するように上記出力部を制御してもよい。
【００２１】
これにより情報処理装置は、ドラッグ操作に応じて、第１のサムネイル画像はそのままに、全ての第２のサムネイル画像を第１の方向のタイムライン上で移動させて移動位置に応じて更新することで、ユーザに新たな早送り操作または巻き戻し操作を行わせることなく、ドラッグ操作前に出力されていなかった新たな第２のサムネイル画像を確認させることができる。
【００２２】
上記操作検出部は、上記表示部と一体的に構成されたタッチパネルを有してもよい。この場合上記制御部は、上記第１の操作が検出されなくなった場合であって、かつ、上記出力された上記複数の第１のサムネイル画像のうちいずれかをピンチアウトする操作が検出された場合に、当該ピンチアウトされた第１のサムネイル画像を基準として上記複数の第２のサムネイル画像を出力するように上記出力部を制御してもよい。
【００２３】
これにより情報処理装置は、複数の第１のサムネイル画像のうち、ピンチアウト操作対象の第１のサムネイル画像を基準として第２のサムネイル画像を出力することで、ユーザのより自由度の高い直感的な操作を可能とすることができる。
【００２４】
本発明の他の形態に係る情報処理方法は、複数のフレームを有する映像データと、当該複数のフレームに対応する複数のサムネイル画像とを記憶することを含む。上記記憶された映像データは再生され、当該再生された映像データは表示部へ出力される。上記映像データの再生中に、当該映像データの早送りまたは巻き戻しのための第１の操作が検出された場合には、当該第１の操作に応じて、当該検出時に出力されていた映像データのフレームよりも再生位置が後または前のフレームが表示部へ順次出力される。上記第１の操作の検出が所定時間継続したときには、上記第１の操作に応じて出力されるフレームのサムネイル画像を含む第１の時間間隔毎の複数の第１のサムネイル画像が、上記表示部へ第１の方向へ並べられて順次出力される。さらに、上記第１の操作が検出されなくなった場合には、上記出力された第１のサムネイル画像のうち１つを基準として、上記第１の時間間隔よりも大きい第２の時間間隔毎の複数の第２のサムネイル画像が、上記第１の方向とは異なる第２の方向へ並べられて上記表示部へ出力される。そして、いずれか１つの上記第１のサムネイル画像または上記第２のサムネイル画像を選択するためのユーザの第２の操作が検出された場合には、当該選択された第１のサムネイル画像または当該第２のサムネイル画像に対応するフレームから上記映像データが再生される。
【００２５】
本発明のまた別の形態に係るプログラムは、情報処理装置に、記憶ステップと、第１の再生ステップと、第１の出力ステップと、第２の出力ステップと、第３の出力ステップと、第４の出力ステップと、第２の再生ステップとを実行させる。上記記憶ステップでは、複数のフレームを有する映像データと、当該複数のフレームに対応する複数のサムネイル画像とが記憶される。上記第１の再生ステップでは、上記記憶された映像データが再生される。上記第１の出力ステップでは、上記再生された映像データが表示部へ出力される。上記第２の出力ステップでは、上記映像データの再生中に、当該映像データの早送りまたは巻き戻しのための第１の操作が検出された場合に、当該第１の操作に応じて、当該検出時に出力されていた映像データのフレームよりも再生位置が後または前のフレームが上記表示部へ順次出力される。上記第３の出力ステップでは、上記第１の操作の検出が所定時間継続したときに、上記第１の操作に応じて出力されるフレームのサムネイル画像を含む第１の時間間隔毎の複数の第１のサムネイル画像が、上記表示部へ第１の方向へ並べられて順次出力される。上記第４の出力ステップでは、上記第１の操作が検出されなくなった場合に、上記出力された第１のサムネイル画像のうち１つを基準として、上記第１の時間間隔よりも大きい第２の時間間隔毎の複数の第２のサムネイル画像が、上記第１の方向とは異なる第２の方向へ並べられて上記表示部へ出力される。上記第２の再生ステップでは、いずれか１つの上記第１のサムネイル画像または上記第２のサムネイル画像を選択するためのユーザの第２の操作が検出された場合に、当該選択された第１のサムネイル画像または当該第２のサムネイル画像に対応するフレームから上記映像データが再生される。
【発明の効果】
【００２６】
以上説明したように、本発明によれば、映像データの早送り／巻き戻し操作の際にユーザの所望のシーンを迅速かつ正確に検索させることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１実施形態に係るＰＶＲのハードウェア構成を示すブロック図である。
【図２】本発明の第１実施形態に係るＰＶＲがサムネイル表示のために有するソフトウェアの機能ブロックを示した図である。
【図３】本発明の第１実施形態に係るＰＶＲが有するサムネイルに関する情報のデータベースの例を示した図である。
【図４】本発明の第１実施形態において動画コンテンツの再生中に早送り／巻き戻し操作が入力されてからそれが中止されるまでのＰＶＲの動作の流れを示したフローチャートである。
【図５】本発明の第１実施形態において早送り／巻き戻し操作が中止された後に所定の操作が入力される場合のＰＶＲ１００の動作の流れを示したフローチャートである。
【図６】図５のステップ５２における第２サムネイルの表示処理の詳細な流れを示したフローチャートである。
【図７】図６の処理におけるサムネイルのデータベースの参照の様子を示した図である。
【図８】本発明の第１実施形態においてディスプレイにサムネイルが表示される様子を示した図である。
【図９】本発明の第１実施形態において第２サムネイル表示後に下キーの押下が検出された場合の再生画面の様子を示した図である。
【図１０】本発明の第１実施形態において第１サムネイル及び第２サムネイルの時間間隔を変更した例を示した図である。
【図１１】本発明の第２実施形態に係る携帯端末のハードウェア構成を示すブロック図である。
【図１２】本発明の第２実施形態において、ユーザのドラッグ操作により第１サムネイルのタイムラインを移動させる様子を示した図である。
【図１３】本発明の第２実施形態において、ユーザのドラッグ操作により操作対象サムネイルを移動させる様子を示した図である。
【図１４】本発明の第２実施形態において、ユーザのピンチアウト操作により第２サムネイルを表示させる様子を示した図である。
【図１５】本発明の変形例において、早送り／巻き戻し速度が変化する際の第１サムネイルの表示処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２９】
＜第１実施形態＞
まず、本発明の第１実施形態として、本発明をＰＶＲ（Personal Video Recorder）に適用した例について説明する。
【００３０】
［ＰＶＲのハードウェア構成］
図１は、本実施形態に係るＰＶＲのハードウェア構成を示すブロック図である。
【００３１】
同図に示すように、このＰＶＲ１００は、デジタルチューナ１、復調部２、デマルチプレクサ３、デコーダ４、記録再生部５、ＨＤＤ（Hard Disk Drive）８、光ディスクドライブ９、通信部１１を有する。またＰＶＲ１００は、ＣＰＵ（Central Processing Unit）１２、フラッシュメモリ１３、ＲＡＭ（Random Access Memory）１４を有する。さらにＰＶＲ１００は、操作入力部１５、グラフィック制御部１６、映像Ｄ／Ａ（Digital/Analog）コンバータ１７、音声Ｄ／Ａ（Digital/Analog）コンバータ１８及び外部インタフェース１９を有する。
【００３２】
デジタルチューナ１は、ＣＰＵ１２の制御に従って、アンテナＡを介してデジタル放送の特定のチャンネルを選局して、番組のデータを含む放送信号を受信する。この放送信号は、例えばＭＰＥＧ−２ ＴＳフォーマットで符号化されたＭＰＥＧストリーム（ＴＳ：トランスポートストリーム）であるが、このフォーマットに限られるものではない。復調部２は、変調された当該放送信号を復調する。
【００３３】
デマルチプレクサ３は、多重化された上記放送信号を、映像信号、音声信号、字幕信号、ＳＩ（Service Information）信号等の各信号に分離し、デコーダ４へ供給する。
【００３４】
デコーダ４は、デマルチプレクサ３で分離された映像信号、音声信号、字幕信号、ＳＩ信号をそれぞれデコードする。デコードされた各信号は記録再生部５へ供給される。
【００３５】
記録再生部５は、記録部６及び再生部７を有する。記録部６は、デコーダ４によりデコードされ入力された映像信号及び音声信号を一時的に蓄積して、タイミングやデータ量を制御しながらＨＤＤ８や光ディスクドライブ９に出力して記録させる。また記録部６は、ＨＤＤ８に記録されたコンテンツを読み出して光ディスクドライブ９に出力し、光ディスク１０に記録させることも可能である。再生部７は、ＨＤＤ８や光ディスク１０に記録された映像コンテンツの映像信号及び音声信号を読み出し、タイミングやデータ量を制御しながらデコーダ４へ出力して再生させる。
【００３６】
ＨＤＤ８は、デジタルチューナ１を介して受信した番組（動画コンテンツ）や、通信部１１によりネットワーク５０を介して受信される種々の動画コンテンツ、ユーザにより撮影された動画像データ等のコンテンツデータを内蔵のハードディスクに記憶する。これらの記憶されたコンテンツが再生される際には、ＨＤＤ８は、これらのデータを上記ハードディスクから読み出し、記録再生部５へ出力する。
【００３７】
またＨＤＤ８は、各種プログラムやその他のデータ等を記憶する場合もある。これらのプログラムやデータは、それらの実行時及び参照時に、ＣＰＵ１２の指令によりＨＤＤ８から読み出され、ＲＡＭ１４へ展開される。特に本実施形態では、ＨＤＤ８には、上記動画コンテンツから切り出されたサムネイルが記憶される。
【００３８】
光ディスクドライブ９は、上記ＨＤＤ８と同様に、当該装着された光ディスク１０に動画像コンテンツ等の各種データを記録し、また記録されたデータを読み出すことが可能である。また上記各種プログラムは、これら光ディスク１０等の可般性の記録媒体に記録され、光ディスクドライブ９によりＰＶＲ１００にインストールされてもよい。光ディスクは例えばＢＤ（Blu-ray Disc）、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）等である。
【００３９】
通信部１１は、上記ネットワーク５０に接続してＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等のプロトコルによりネットワーク５０上の他の装置とデータのやり取りを行うためのネットワークインタフェースである。通信部１１により受信されたデータが多重化されている場合、デマルチプレクサ３に供給される。
【００４０】
外部インタフェース１９は、例えばＵＳＢインタフェース、ＨＤＭＩ（High-Definition Multimedia Interface）、メモリカードインタフェース等からなり、例えばデジタルビデオカメラ、デジタルスチルカメラ等の撮影装置や、メモリカード等と接続し、それらから、ユーザにより撮影された動画や静止画等のデータを読み出す。
【００４１】
ＣＰＵ１２は、必要に応じてＲＡＭ１４等にアクセスし、動画コンテンツの再生処理や、後述するサムネイル表示処理等、ＰＶＲ１００の各ブロックの処理を統括的に制御する。
【００４２】
フラッシュメモリ１３は、例えばＮＡＮＤ型のものであり、ＣＰＵ１２に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。またフラッシュメモリ１３は、後述するサムネイル表示アプリケーション等のソフトウェア及びその動作に必要な、各動画コンテンツのサムネイルのデータベース等を有する。
【００４３】
ＲＡＭ１４は、ＣＰＵ１２の作業用領域等として用いられ、上記動画コンテンツの再生処理やサムネイル表示処理等の最中に、ＯＳやプログラム、処理データ等を一時的に保持するメモリである。
【００４４】
操作入力部１５は、例えば十字キーや決定キー等の複数のキーを有するリモートコントローラＲ（以下、リモコンＲと称する）から、例えば早送り操作、巻き戻し操作等、決定操作等、ユーザの操作による各種設定値や指令を入力してＣＰＵ１２へ出力する。もちろん、操作入力部１５は、リモコンＲによらずに、ＰＶＲ１００に接続されたキーボードやマウス、ＰＶＲ１００に実装されたスイッチ等で構成されていても構わない。
【００４５】
グラフィック制御部１６は、デコーダ４から出力された映像信号やＣＰＵ１２から出力されるその他の映像データにＯＳＤ（On Screen Display）処理等のグラフィック処理を施し、例えばテレビジョン装置（以下、ＴＶと称する）等のディスプレイＤに表示させるための映像信号を生成する。
【００４６】
映像Ｄ／Ａコンバータ１７は、上記グラフィック制御部１６から入力されたデジタル映像信号をアナログ映像信号に変換して、映像出力端子等を介してＴＶ等のディスプレイＤへ出力する。
【００４７】
音声Ｄ／Ａコンバータ１８は、上記デコーダ４から入力されたデジタル音声信号をアナログ音声信号に変換して、音声出力端子等を介して、ＴＶ等のスピーカＳへ出力する。
【００４８】
［ＰＶＲのソフトウェア構成］
本実施形態に係るＰＶＲ１００は、動画コンテンツの再生中にユーザから早送り操作または巻き戻し操作が入力された場合に、当該操作対象の動画コンテンツの複数のサムネイルを表示することが可能である。
【００４９】
図２は、上記ＰＶＲ１００がサムネイル表示のために有するソフトウェアの機能ブロックを示した図である。
【００５０】
同図に示すように、ＰＶＲ１００は、ユーザインタフェース制御部２１、サムネイル表示部２２、サムネイル保存部２３、動画コンテンツ再生部２４、動画コンテンツ保存部２５の各機能ブロック（ソフトウェアモジュール）を有する。
【００５１】
動画コンテンツ保存部２５は、上記記録部６やＨＤＤ８等と協働して、複数の動画コンテンツを保存・管理する。動画コンテンツ再生部２４は、上記再生部７等と協働して、各動画コンテンツ保存部２５に保存された動画コンテンツを再生し、ディスプレイＤへ出力する。
【００５２】
サムネイル保存部２３は、フラッシュメモリ１３等と協働して、動画コンテンツ保存部２５に保存された動画コンテンツから一定時間間隔でそのフレームのサムネイル（静止画）を抽出して保存する。当該一定時間間隔とは、例えば１秒間隔、３秒間隔、５秒間隔等であるが、これらに限られない。サムネイル保存部２３がサムネイルを作成するタイミングは、ＨＤＤ８等に動画コンテンツが保存されたときでもよいし、例えば一日のうちの所定時刻等、スケジューリングされた日時でもよい。また、上記デコーダ４の性能によっては、動画コンテンツから直接サムネイルを参照することも可能である。
【００５３】
サムネイル表示部２２は、サムネイル保存部２３に保存されたサムネイルのうち、上記再生される動画コンテンツの早送り画像または巻き戻し画像に対応するサムネイルを表示する。
【００５４】
ユーザインタフェース制御部２１は、上記動画コンテンツ再生部２４及びサムネイル表示部２２と協働して、動画コンテンツ保存部２５及びサムネイル保存部２３からそれぞれ読み出された動画コンテンツ及びサムネイルの表示形態を、ユーザの操作に応じて制御する。
【００５５】
［サムネイルのデータベース構成］
次に、上記動画コンテンツから抽出されたサムネイルに関する情報のデータベースについて説明する。図３は、当該データベースの例を示した図である。当該データベースは、上記フラッシュメモリ１３に記憶されるが、ネットワーク上のサーバ等、外部に存在していてもよい。
【００５６】
同図に示すように、このデータベースは、コンテンツＩＤ、コンテンツ名、ファイル名及びタイムスタンプの各項目を有する。コンテンツＩＤは、ＨＤＤ８等に記憶されている各動画コンテンツをユニークに識別するものである。当該１つのコンテンツＩＤに対して、それぞれ複数のサムネイルが例えばpng、gif、jpeg等のファイル形式で記憶されており、各サムネイルに対応するフレームのタイムスタンプも記憶されている。同図では、「○○公園」及び「□□旅行」という２つの動画コンテンツに対してそれぞれ複数のサムネイルが存在している例が示されている。
【００５７】
ＣＰＵ１２は、これらのコンテンツＩＤ及びタイムスタンプをキーとして各コンテンツの各サムネイルへアクセスし、上記ユーザインタフェース制御部２１を介してその情報を表示することができる。
【００５８】
［ＰＶＲの動作］
次に、以上のように構成されたＰＶＲ１００の動作について説明する。以降の説明においては、ＰＶＲ１００のＣＰＵ１２を主な動作主体として説明するが、この動作はＣＰＵ１２の制御下において実行される上記各モジュールと協働して行われる。
【００５９】
図４は、動画コンテンツの再生中に早送り／巻き戻し操作が入力されてからそれが中止されるまでのＰＶＲ１００の動作の流れを示したフローチャートである。また図５は、早送り／巻き戻し操作が中止された後に所定の操作が入力される場合のＰＶＲ１００の動作の流れを示したフローチャートである。また図８は、当該各フローチャートの流れに対応して、ディスプレイＤにサムネイルが表示される様子を示した図である。
【００６０】
図４に示すように、まず、ＣＰＵ１２は、動画コンテンツの再生中に、例えばリモコンＲの左右キーの押下によりユーザから早送り／巻き戻し操作が入力されたか否かを判断する（ステップ４１）。本実施形態では、リモコンＲの左キーが巻き戻し操作、右キーが早送り操作に対応するものとする。
【００６１】
早送り／巻き戻し操作が検出された場合（ステップ４１のＹｅｓ）、ＣＰＵ１２は、動画コンテンツの再生を中断し、当該動画コンテンツの早送りまたは巻き戻し処理（動画コンテンツの当該操作入力時点のフレームよりも後または前のフレームを通常の再生速度よりも速い速度で再生する処理）を行う（ステップ４２）。
【００６２】
図８（Ａ）は、当該早送り／巻き戻し操作が入力された時点における、ディスプレイＤに表示される動画コンテンツの再生画面を示している。同図に示すように、ディスプレイＤの動画表示領域４１には、例えばオブジェクトＡとオブジェクトＢを含む映像が表示されている。当該動画表示領域４１の下部左右端には早送り中または巻き戻し中であることを示す図形Ｆ及びＲも表示される。同図では早送り操作が入力された場合が示され、この場合図形Ｆが強調表示されている。また動画表示領域４１の下方には、動画コンテンツの総再生時間に対する現在の再生位置を示すタイムライン４２も表示される。このタイムライン４２は、再生位置を指示するポインタＰを有する。
【００６３】
図４に戻り、続いてＣＰＵ１２は、上記早送り／巻き戻し操作の検出から一定時間が経過したか否か（早送り／巻き戻し操作の検出が一定時間継続したか否か）を判断する（ステップ４３）。ここで一定時間とは例えば２秒程度であるが、これに限られない。
【００６４】
上記一定時間が経過したと判断した場合（ステップ４３のＹｅｓ）、ＣＰＵ１２は、上記操作が早送り操作か巻き戻し操作かを判断する（ステップ４４）。
【００６５】
上記操作が早送り操作であると判断した場合、ＣＰＵ１２は、早送り再生されている動画コンテンツのフレームに対応するサムネイル及びそれ以後のフレームに対応する、第１の時間間隔毎の複数のサムネイルを並べて表示する（ステップ４５）。
【００６６】
上記操作が巻き戻し操作であると判断した場合、ＣＰＵ１２は、早送り再生されている動画コンテンツのフレームに対応するサムネイル及びそれ以前のフレームに対応する、上記第１の時間間隔毎の複数のサムネイルを並べて表示する（ステップ４６）。
【００６７】
上記第１の時間間隔は例えば１秒間隔とされるが、これに限られない。また表示されるサムネイルの数は例えば６つであるが、これに限られない。また上記各サムネイルが並べられる方向は例えば水平方向であり、その位置は例えばディスプレイの下部であるが、方向及び位置もこれらに限られない。
【００６８】
図８（Ｂ）は、早送り操作が検出されてから一定時間が経過した場合の再生画面の様子を示す。同図に示すように、早送り操作が検出されてから一定時間が経過すると、例えば動画表示領域４１とタイムライン４２との間に、６枚のサムネイル（第１サムネイル）４３が水平方向に並んで表示される。このとき、動画表示領域４１に表示されるフレームは、６枚の第１サムネイル４３のうち例えば左から２番目の第１サムネイル４３に対応している。これ以降、当該左から２番目の第１サムネイル４３を「操作対象サムネイル」と称する。巻き戻し操作の場合には、右から２番目の第１サムネイル４３が操作対象サムネイルとされる。
【００６９】
この場合、各第１サムネイルは、ディスプレイの下端から図８（Ｂ）に示した位置まで徐々に上昇するように表示されてもよい。
【００７０】
ここで操作対象サムネイルが左から２番目（早送りの場合）または右から２番目（巻き戻しの場合）の第１サムネイル４３とされるのは、それを基準として後述する第２サムネイルが表示される際に、動画表示領域４１に表示される動画コンテンツの映像を極力邪魔することなく、送り方向（早送りであれば後、巻き戻しであれば前）の第１サムネイル４３を極力多く表示し、かつ、その前後（左右）の両方向で少なくとも１つの第１サムネイル４３分の移動による微調整を可能とするためである。
【００７１】
図４に戻り、ＣＰＵ１２は、早送り／巻き戻しのための左右キーの押下が継続している間、上記サムネイル（早送り操作の場合には再生位置よりも後、巻き戻し操作の場合は再生位置よりも前のサムネイル）を順次更新させながら表示し続ける（ステップ４７、４８）。
【００７２】
そしてＣＰＵ１２は、左右キーの押下が中止された（左右キーの押下が検出されなくなった）と判断した場合（ステップ４８のＹｅｓ）、その中止時点のフレームで動画コンテンツの再生を一時停止する（ステップ４９）。この時点でも、上記第１サムネイル４３は表示されたままである。この時点で決定キー（または再生キー）の押下が検出された場合、上記中止時点のフレームから動画コンテンツの再生が再開される。
【００７３】
また上記ステップ４３において一定時間が経過しないうちに早送り／巻き戻し操作が中止された場合（Ｎｏ）には、ＣＰＵ１２は当該中止時点のフレームから動画コンテンツの再生を再開する（ステップ５０）。
【００７４】
図５は、早送り／巻き戻し操作が中止された後に所定の操作が入力される場合のＰＶＲ１００の動作の流れを示したフローチャートである。
【００７５】
同図に示すように、ＣＰＵ１２は、上記操作対象サムネイル４３ｏを含む各第１サムネイル４３が表示された状態で、リモコンＲの上下キーの押下を検出したか否かを判断する（ステップ５１）。
【００７６】
当該上下キーの押下を検出した場合（ステップ５１のＹｅｓ）、ＣＰＵ１２は、上記操作対象サムネイル４３ｏを基準としてその上下方向に、上記第１の時間間隔よりも大きい第２の時間間隔毎の複数のサムネイル（第２サムネイル）を表示する（ステップ５２）。当該第２の時間間隔は例えば３０秒、１分等であるが、これらに限られない。
【００７７】
図８（Ｃ）は、当該第２サムネイルが表示される際の再生画面の様子を示す。同図に示すように、操作対象サムネイル４３ｏの１つ上には、その３０秒前の再生位置に対応する第２サムネイル４４が表示され、操作対象サムネイル４３ｏの２つ上には、１分前の再生位置に対応する第２サムネイル４４が表示される。同様に、操作対象サムネイル４３ｏの１つ下には、その３０秒後の再生位置に対応する第２サムネイル４４が表示され、操作対象サムネイル４３ｏの２つ下には、１分後の再生位置に対応する第２サムネイル４４が表示される。
【００７８】
本実施形態では、第２サムネイル４４が表示される際は、それまで表示されていたタイムライン４２は消去されるが、そのまま表示され続けていても構わない。
【００７９】
図６は、上記ステップ５２における第２サムネイル４４の表示処理の詳細な流れを示したフローチャートである。また図７は、当該処理におけるサムネイルのデータベースの参照の様子を示した図である。
【００８０】
図６に示すように、ＣＰＵ１２は、まず操作対象サムネイル４３ｏの再生時間を基準時間に設定し（ステップ６１）、続いて上記データベースから、当該基準時間の前後ｎ秒のサムネイル群を抽出する（ステップ６２）。本実施形態では、当該ｎは３０及び６０であるが、これに限られない。
【００８１】
そしてＣＰＵ１２は、図７にも示すように、抽出したサムネイルにそれぞれフラグを立て（ステップ６３）、当該フラグを立てたサムネイルを第２サムネイル４４として表示する（ステップ６４）。本実施形態では、操作対象サムネイル４３ｏの前後３０秒及び前後１分に対応するサムネイルが抽出されるため、図７のデータベース上では、計４つのフラグが立てられることになる。
【００８２】
図５に戻り、続いてＣＰＵ１２は、上記第１サムネイル４３及び第２サムネイル４４が表示された状態で、リモコンの上下キーの押下操作が検出されたか否かを判断する（ステップ５３）。
【００８３】
上下キーのうち上キーの押下が検出された場合、ＣＰＵ１２は、当該上キーの押下前において操作対象サムネイル４３ｏの１つ上に配置されていた第２サムネイル４４が新たに操作対象サムネイル４３ｏとなるように、各第２サムネイル４４を更新する（ステップ５４）。またこれに応じてＣＰＵ１２は、６枚の第１サムネイル４３からなるタイムラインを、左方向へ進める（ステップ５５）。
【００８４】
すなわち、図８（Ｄ）で示すように、上キーの押下が検出された場合、ＣＰＵ１２は、それまでの操作対象サムネイル４３ｏと、その１つ上、２つ上及び１つ下に表示されていた各第２サムネイル４３をそれぞれ１つずつ下にずらすとともに、それまでの操作対象サムネイル４３ｏの１分前の再生位置に対応する第２サムネイル４４を新たに最上部へ表示し、１分後の再生位置に対応する第２サムネイル４４を消去する。したがって、上キーの押下前後で、表示される第２サムネイル４３の枚数に変化はない。これにより、それまでの操作対象サムネイル４３ｏの３０秒前の第２サムネイルが新たな操作対象サムネイル４３ｏとなるとともに、動画表示領域４１に表示される動画コンテンツも、当該更新後の操作対象サムネイル４３ｏに対応するフレームへとスキップされる。
【００８５】
それと同時に、ＣＰＵ１２は、水平方向における、操作対象サムネイル４３ｏ以外の５枚の第１サムネイル４３も、上記更新後の操作対象サムネイル４３ｏに対応させて、その１秒前、１秒後、２秒後、３秒後、４秒後のサムネイルが表示されるよう、タイムラインを変更する。したがって、表示される第１サムネイル４３の枚数も、上キーの押下前後で変化はない。
【００８６】
そして、この時点で例えば決定キーまたは再生キーの押下が検出された場合、上記更新後の操作対象サムネイル４３ｏに対応するフレームから動画コンテンツの再生が再開される。また、第２サムネイル４４が表示された状態で上下キーの押下操作が検出されずに決定キー等の押下が検出された場合は、その時点の操作対象サムネイル４３ｏに対応するフレームから動画コンテンツの再生が再開される。
【００８７】
図５のステップ５３において、下キーの押下が検出された場合も、方向は異なるが同様の処理が実行される（ステップ５６、５７）。図９は、下キーの押下が検出された場合の再生画面の様子を示した図である。同図では、説明の便宜上、動画表示領域４１のフレーム、各第１サムネイル４３及び各第２サムネイル４４に、再生開始からの経過秒数に対応した番号を付している。
【００８８】
同図（Ａ）では、早送り操作により、開始から７５秒目まで再生がスキップされた様子が示されている。また当該７５秒目のフレームのサムネイルが操作対象サムネイル４３ｏとして表示されており、その左右には１秒おきの各第１サムネイル４３が表示され、その上下には、前後３０秒、１分の各第２サムネイルが表示されている。
【００８９】
この状態から、下キーの押下が検出された場合、同図（Ｂ）に示すように、動画表示領域４１のフレームは３０秒後の１０５秒目のフレームまでスキップするとともに、それに応じて第１サムネイル４３及び第２サムネイル４４もそれぞれ更新される。ここで例えば決定キーの押下が検出された場合、当該１０５秒目のフレームから動画コンテンツの再生が再開される。
【００９０】
以上説明したように、本実施形態では、ＰＶＲ１００は、早送り／巻き戻し操作が一定時間継続した場合に、複数の第１サムネイル４３を水平方向に並べて順次表示し、早送り／巻き戻し操作が中止された場合（かつ上下キーの押下操作があった場合）には、第２サムネイル４３を、複数の第１サムネイル４３のうち操作対象サムネイル４３ｏを基準として垂直方向に並べて表示し、各サムネイルに対応するフレームから動画の再生を再開することができる。これによりユーザは、所望のシーンへ正確に辿りつくことができる。
【００９１】
［サムネイル間の時間間隔のバリエーション］
上述の説明では、各第１サムネイル４３の時間間隔は１秒、各第２サムネイル４４の時間間隔は３０秒とされたが、もちろんこれらの時間間隔は適宜変更可能である。図１０（Ａ）は、各第１サムネイル４３の時間間隔を５秒に設定した場合を示しており、図１０（Ｂ）はさらに第２サムネイル４４の時間間隔を１分に設定した場合を示している。
【００９２】
＜第２実施形態＞
次に、本発明の第２実施形態として、本発明を携帯端末に適用した例について説明する。本実施形態において、上述した第１実施形態と同様の構成となる箇所については同一の符号を付し、説明を省略または簡略化する。
【００９３】
［携帯端末のハードウェア構成］
図１１は、本実施形態に係る携帯端末のハードウェア構成を示すブロック図である。携帯端末とは、例えば携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、携帯型ＡＶプレイヤー、電子ブック、電子辞書等である。
【００９４】
この携帯端末２００は、ＣＰＵ１１１、ＲＡＭ１１２、フラッシュメモリ１１３、ディスプレイ１１４、タッチパネル１１５、通信部１１６、外部Ｉ／Ｆ（インタフェース）１１７、キー／スイッチ部１１８、ヘッドフォン１１９及びスピーカ１２０を有する。
【００９５】
ＣＰＵ１１１、ＲＡＭ１１２、フラッシュメモリ１１３、通信部１１６、外部インタフェース１１７の各機能は、上記第１実施形態の図１で示したＣＰＵ１２、ＲＡＭ１４、フラッシュメモリ１３、通信部１１、外部インタフェース１９の各機能と同様である。またフラッシュメモリ１１３には、上記第１実施形態においてＨＤＤ８に記憶されていた動画コンテンツも記憶される。
【００９６】
ディスプレイ１１４は、例えばＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electro-Luminescence Display）であり、再生された動画コンテンツ及びサムネイルを表示する。またディスプレイ１１４はタッチパネル１１５と一体的に設けられている。タッチパネル１１５は、例えば早送り操作、巻き戻し操作、サムネイル選択操作等、ユーザのタッチ操作を検出し、ＣＰＵ１１１へ伝える。タッチパネル１１５の動作方式としては、例えば抵抗被膜方式や静電容量方式が用いられるが、電磁誘導方式、マトリクススイッチ方式、表面弾性波方式、赤外線方式等のその他の方式が用いられてもよい。また当該タッチパネル１１５は、マルチタッチ検出も可能である。
【００９７】
キー／スイッチ部１１８は、例えば電源スイッチ、ショートカットキー等、特にタッチパネル１１５では入力できないユーザの操作等を受け付け、入力信号をＣＰＵ１１１へ伝える。
【００９８】
ヘッドフォン１１９及びスピーカ１２０は、上記フラッシュメモリ１１３等に記憶された、または通信部１１６、外部Ｉ／Ｆ１１７等から入力された動画コンテンツの音声信号を出力する。
【００９９】
［携帯端末の動作］
次に、本実施形態における携帯端末２００の動作について説明する。以下では、携帯端末２００のＣＰＵ１１１を主な動作主体として説明するが、この動作はＣＰＵ１１１の制御下において実行される上記図２に示した各モジュールと協働して行われる。本実施形態に係る携帯端末２００は、上記第１実施形態で説明したＰＶＲ１００と同様の機能のほか、タッチパネル１１５を用いたサムネイルの選択処理を実行することが可能である。また本実施形態では、例えば動画表示領域４１に表示される図形ＦまたはＲをユーザがタッチすることで、早送り／巻き戻し処理が行われる。
【０１００】
（ドラッグ操作によるサムネイルの移動処理）
図１２は、ユーザの指によるドラッグ操作により第１サムネイル４３のタイムラインを移動させる様子を示した図である。同図（Ａ）の第１サムネイル４３及び第２サムネイル４４の時間間隔は、上記図１０（Ｂ）に示したものと同様である。
【０１０１】
同図（Ａ）に示した状態から、ユーザが指で操作対象サムネイル４３ｏ（１２３秒目のサムネイル）を右方向へドラッグすると、ＣＰＵ１１１は、同図（Ｂ）に示すように、それに応じて当該操作対象サムネイル４３ｏを右方向へ移動させるとともに、その上下に表示されていた４枚の第２サムネイル４４もそれに追従させて移動させる。それとともに、ＣＰＵ１１１は、当該移動に応じて第１サムネイル４３も、より後の再生位置のサムネイルへと更新する。すなわち、同図（Ｂ）に示すように、３枚分の第１サムネイル４３の距離だけドラッグ操作が実行されると、ドラッグ操作前に表示されていた１３３秒目、１３８秒目及び１４３秒目の第１サムネイル４３は消去され、代わりに１０３秒目、１０８秒目、１１３秒目の第１サムネイル４３が新たに表示される。
【０１０２】
図１３は、ユーザの指によるドラッグ操作により操作対象サムネイル４３ｏを移動させる様子を示した図である。
【０１０３】
同図（Ａ）に示した状態から、ユーザが指でいずれかの第２サムネイル４４を右方向へドラッグすると、ＣＰＵ１１１は、同図（Ｂ）に示すように、第１サムネイル４３のタイムラインは維持したまま、操作対象サムネイル４３ｏを当該ドラッグ操作に応じて右方向へ移動させるとともに、その上下の第２サムネイル４４を、移動後の操作対象サムネイル４３ｏに応じて、より後の再生位置の第２サムネイル４４へ更新する。同図（Ｂ）では、２４３秒目の第２サムネイル４４が右方向へ３枚分の第１サムネイル４３の距離だけドラッグ操作が実行されると、操作対象サムネイル４３ｏが１２３秒目から１３８秒目に移動し、ドラッグ操作前に表示されていた３秒目、６３秒目、１８３秒目及び２４３秒目の各第２サムネイル４４が、１８秒目、７８秒目、１９８秒目、２５８秒目の各第２サムネイル４４へと更新される。
【０１０４】
ここで、操作対象サムネイル４３ｏの移動により、その上部に表示される第２サムネイル４４に対応する秒数が０秒よりも小さくなることも考えられるが、その場合には便宜上０秒の第２サムネイル４４（つまり動画コンテンツの先頭フレームのサムネイル）が表示される。
【０１０５】
これらのドラッグ操作により、ユーザは新たな早送り／巻き戻し操作を行うことなく所望のシーンをより詳細に検索することができる。
【０１０６】
（ピンチアウト操作による第２サムネイルの表示処理）
次に、本実施形態に係る携帯端末２００において、上記第１サムネイル４３が表示された状態から、第２サムネイルを表示させる処理について説明する。上記第１実施形態では、早送り／巻き戻し操作が中止された後、上下キーが押下された場合に第２サムネイル４４が表示されていた。本実施形態では、携帯端末２００は、上下キーの押下操作に代えて、ユーザの指によるピンチアウト操作により第２サムネイル４４を表示させることが可能である。
【０１０７】
図１３は、携帯端末２００がユーザのピンチアウト操作により第２サムネイル４４を表示する様子を示した図である。
【０１０８】
同図（Ａ）は、第１サムネイル４３が表示され、早送り操作が中止された状態を示す。この状態から、同図（Ｂ）及び（Ｃ）に示すように、ユーザが２本の指で操作対象サムネイル４３ｏをピンチアウトした場合、ＣＰＵ１１１は、当該ピンチアウト操作に応じて、当該操作対象サムネイル４３ｏの前後３０秒及び１分の第２サムネイル４４を徐々に表示する。
【０１０９】
これによりユーザは、より直感的な操作で第２サムネイル４４を表示させることができる。この場合、操作対象サムネイル４３ｏは、左から２番目の第１サムネイル４３に限られない。またピンチアウト操作の範囲に応じて、表示される第２サムネイル４４の数が可変されてもよい。例えばユーザが、操作対象サムネイル４３ｏ上で少しだけピンチアウトした後、タッチパネル１１５から指を離した場合には、操作対象サムネイル４３ｏの上下に１枚ずつのみ第２サムネイル４４が表示されてもよい。
【０１１０】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【０１１１】
上述の各実施形態では、早送り／巻き戻しの速度が一定である場合について説明がなされたが、当該早送り／巻き戻し速度が可変される場合でもサムネイルは表示されうる。図１５は、ＰＶＲ１００が早送り／巻き戻し速度を可変するとともにサムネイルを表示する場合の動作の流れを示したフローチャートである。この例では、ＰＶＲ１００が、早送り／巻き戻しキー（左右キー）を押下する時間が長くなるに応じてその速度が上がっていくように構成されている場合を説明する。しかし、例えば早送り／巻き戻しキー押されるたびにその速度が上がる場合や、異なる倍速ごとに異なるキーが用意されている場合でも同様の処理が可能である。また、この例では５倍速が最高倍速とされているが、それ以上の倍速再生が可能であっても構わない。
【０１１２】
同図に示すように、ＣＰＵ１２は、早送り／巻き戻し操作を検出すると（ステップ１５１のＹｅｓ）、まず２倍速で動画コンテンツの早送り／巻き戻し処理を行う（ステップ１５２）。
【０１１３】
続いてＣＰＵ１２は、早送り／巻き戻し操作が検出されてから一定時間（例えば５秒程度）経過したか否か（早送り／巻き戻し操作が一定時間継続しているか否か）を判断する（ステップ１５３）。
【０１１４】
一定時間が経過したと判断した場合（ステップ１５３のＹｅｓ）、ＣＰＵ１２は、３倍速で動画コンテンツの早送り／巻き戻し処理を行う（ステップ１５４）。
【０１１５】
同様に、それからさらに一定時間が経過した場合（ステップ１５５のＹｅｓ）には、ＣＰＵ１２は、５倍速で動画コンテンツの早送り／巻き戻し処理を行う（ステップ１５６）。
【０１１６】
そして、さらに一定時間が経過した場合（ステップ１５６のＹｅｓ）には、ＣＰＵ１２は、早送り操作か巻き戻し操作かに応じて、上記第１実施形態で説明したのと同様に、早送り中または巻き戻し中の動画コンテンツのフレームを含む前後のフレームの第１サムネイル４３を表示する（ステップ１５８）。
【０１１７】
その後、上記上下キーの操作等があった場合には、ＣＰＵ１２は、上述の第１実施形態と同様に第２サムネイル４４を表示する。
【０１１８】
一方、上記各ステップ１５３、１５５、１５７において一定時間が経過せずに早送り／巻き戻し操作が中止された場合には、ＣＰＵ１２は、その時点から動画コンテンツの再生を再開する（ステップ１５９）。
【０１１９】
このように、ＣＰＵ１２は、早送りまたは巻き戻しの速度が最大速度になった場合にはじめて第１サムネイル４３を表示することで、高速サーチ時であっても、ユーザの目では追えないフレームをサムネイルとしてユーザに認識させ、ユーザに所望のシーンを見つけ出させることができる。
【０１２０】
上述の各実施形態においては、図５で説明したように、早送り／巻き戻しボタンの押下が中止され、かつ、操作対象サムネイル４３ｏ上で上下キーが押下された場合に上下方向の第２サムネイル４３が表示された。しかし、ＰＶＲ１００は、当該操作対象サムネイル４３ｏへの上下キー操作を待つことなく、早送り／巻き戻しボタンの押下が中止された時点で自動的に第２サムネイル４３を表示してもよい。
【０１２１】
また上述の各実施形態では、第１サムネイル４３の表示後であって、早送り／巻き戻し操作が中止された後に第２サムネイル４４が表示されていた。しかし、早送り／巻き戻し操作の中止前に、第１サムネイル４３の表示と同時またはその表示に遅れて第２サムネイル４４が表示されてもよい。この場合、早送り／巻き戻し速度が所定倍速になった場合に第２サムネイル４４が表示されてもよいし、さらに、早送り／巻き戻し速度が速くなるに応じて、表示される第２サムネイル４４の枚数を増加させてもよい。例えば、通常倍速（２倍速）では第１サムネイル４３のみ表示され、３倍速になると操作対象サムネイル４３ｏの上下１枚ずつの第２サムネイル４４が表示され、５倍速になるとさらに上下もう１枚ずつの第２サムネイル４４が表示されてもよい。
【０１２２】
上述の各実施形態においては、第１サムネイル４３が水平方向へ、第２サムネイル４３が垂直方向へ表示される例を示したが、これらサムネイルの表示方向はこれらの方向に限られない。また、例えば、第１サムネイル４３が垂直方向へ、第２サムネイル４３が水平方向へ表示されてもよい。この場合で、操作にリモコンＲが用いられる場合には、上下キーで早送り／巻き戻し操作が入力され、左右キーで第２サムネイル４３に対する操作が入力されてもよい。さらに、第１サムネイル４３及び第２サムネイル４３が表示される位置も、ディスプレイの下部に限られず、上部や左右部に表示されてもよい。
【０１２３】
上述の各実施形態においては、動画コンテンツはＰＶＲ１００のＨＤＤ８や携帯端末２００のフラッシュメモリ１１３に記憶されていたが、当該動画コンテンツは、ＰＶＲ１００または携帯端末２００の外部のネットワーク上に記憶されていてもよい。すなわち、当該動画コンテンツは、例えばネットワーク上のサーバからストリーミング再生されるものであってもよい。この場合も、当該ストリーミング再生される動画コンテンツに対する早送り／巻き戻し操作に応じて、上述の各実施形態と同様にサムネイルが表示される。
【０１２４】
上記第２実施形態の図１２及び図１３で示した処理は、タッチパネルを有する携帯端末２００においてユーザの指により操作される処理として説明した。しかし、当該処理は、タッチパネルを有さない情報処理装置においても、例えばマウスやタッチパッド等、ドラッグ操作が可能なポインティングデバイスにより同様に実行されうる。
【０１２５】
上述の各実施形態においては、本発明がＰＶＲ及び携帯端末に適用された例が説明されたが、本発明は、例えばノート型ＰＣ、デスクトップ型ＰＣ、タブレット型ＰＣ、サーバ装置、デジタルスチルカメラ、デジタルビデオカメラ、テレビジョン装置、ゲーム機器、カーナビゲーション装置、監視カメラ（ネットワークカメラ）用の動画記録再生装置等、他のあらゆる情報処理装置にも同様に適用可能である。
【符号の説明】
【０１２６】
Ｒ…リモートコントローラ（リモコン）
Ｄ…ディスプレイ
４…デコーダ
７…再生部
８…ＨＤＤ
１２…ＣＰＵ
１３…フラッシュメモリ
１５…操作入力部
２１…ユーザインタフェース制御部
２２…サムネイル表示部
２３…サムネイル保存部
２４…動画コンテンツ再生部
２５…動画コンテンツ保存部
４１…動画表示領域
４３…第１サムネイル
４３ｏ…操作対象サムネイル
４４…第２サムネイル
１００…ＰＶＲ
１１１…ＣＰＵ
１１３…フラッシュメモリ
１１４…ディスプレイ
１１５…タッチパネル
２００…携帯端末
【技術分野】
【０００１】
本発明は、映像コンテンツを再生可能な情報処理装置、当該情報処理装置における情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、テレビジョン、ビデオレコーダ、ＰＣ（Personal Computer）等の情報処理装置においてユーザが映像コンテンツを視聴する場合、ユーザは、リモートコントローラのボタン操作等により、不要なシーンをスキップしたり、所望のシーンを検索したりしていた。例えば、ユーザが一般的なビデオレコーダで映像コンテンツを視聴している最中に不要なシーンが始まると、ユーザはリモートコントローラの早送りボタンを押し続けることで、視聴をスキップできる。また、リモートコントローラが１５秒スキップや３０秒スキップ等の一定時間に対応したボタンを備えている場合、ユーザはそれらのボタンを押すことでそれらに対応した時間分の視聴をスキップできる。
【０００３】
ところが、このような手法では、ユーザはいつ不要なシーンが終わるかを把握できないため、不必要に早送りが進んでしまうことがあった。
【０００４】
下記特許文献１には、デジタルカメラのムービー再生待機中に十字キーの右キーの長押しにより早送りモードに移行し、液晶モニターの画面下に複数のサムネイルが表示され、ユーザが右キーを押し続けている間、ファイル番号順にサムネイル画像が画面の左から右へ移動しながら順次自動表示され、所望の画像が中央の位置に来たところで、ユーザが右キーから指を離し、所定時間経過すると、当該中央の画像の再生モードに移行することが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２１１４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載の技術では、画面に一度に表示できるサムネイルの数及び時間範囲に限りがあるため、例えば所望のシーンが十字キーを押した時点から離れている場合等には、ユーザは所望のシーンに辿り着くまでに時間を要することとなる。
【０００７】
以上のような事情に鑑み、本発明の目的は、映像データの早送り／巻き戻し操作の際にユーザの所望のシーンを迅速かつ正確に検索させることが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上述の課題を解決するため、本発明の一の形態に係る情報処理装置は、記憶部と、再生部と、出力部と、操作検出部と、制御部とを有する。上記記憶部は、複数のフレームを有する映像データと、当該複数のフレームに対応する複数のサムネイル画像とを記憶する。上記再生部は、上記記憶された映像データを再生する。上記出力部は、上記再生された映像データを表示部へ出力する。上記操作検出部は、ユーザの操作を検出する。上記制御部は、上記映像データの再生中に、当該映像データの早送りまたは巻き戻しのための第１の操作が検出された場合に、当該第１の操作に応じて、当該検出時に出力されていた映像データのフレームよりも再生位置が後または前のフレームを上記表示部へ順次出力するように上記出力部を制御する。また制御部は、上記第１の操作の検出が所定時間継続したときに、上記第１の操作に応じて出力されるフレームのサムネイル画像を含む第１の時間間隔毎の複数の第１のサムネイル画像を、上記表示部へ第１の方向へ並べて順次出力するように上記出力部を制御する。また制御部は、上記第１の操作が検出されなくなった場合に、上記出力された第１のサムネイル画像のうち１つを基準として、上記第１の時間間隔よりも大きい第２の時間間隔毎の複数の第２のサムネイル画像を、上記第１の方向とは異なる第２の方向へ並べて上記表示部へ出力するように上記出力部を制御する。さらに制御部は、いずれか１つの上記第１のサムネイル画像または上記第２のサムネイル画像を選択するためのユーザの第２の操作が検出された場合に、当該選択された第１のサムネイル画像または当該第２のサムネイル画像に対応するフレームから上記映像データを再生するように上記再生部を制御する。
【０００９】
この構成により情報処理装置は、映像データの早送り操作または巻き戻し操作の際に、第１の時間間隔毎の第１のサムネイル画像のみならず、当該第１のサムネイル画像とは異なる方向に、第１の時間間隔よりも大きい第２の時間間隔毎のサムネイルも出力できる。したがって情報処理装置は、第１の時間間隔と第２の時間間隔という２つの異なる時間範囲でサムネイル画像を提供することで、ユーザの所望のシーンを迅速かつ正確に検索させることができる。
【００１０】
上記制御部は、上記第２のサムネイル画像を、上記出力された複数の第１のサムネイル画像のうち、上記第１の方向における上記表示部の中心からずれた位置に出力された第１のサムネイル画像を基準として上記第２のサムネイル画像を出力するように上記出力部を制御してもよい。
【００１１】
これにより情報処理装置は、第２のサムネイル画像が表示部の中心からずれた位置に出力することになるため、ユーザに、表示部に表示されている映像データの閲覧を比較的邪魔することなく第２のサムネイル画像を閲覧させることができる。ここで情報処理装置は、第１の操作が早送り操作の場合には、基準となる第１のサムネイル画像よりも時間位置が後の第１のサムネイル画像をより多く出力し、第１の操作が巻き戻し操作の場合には、基準となる第１のサムネイル画像よりも時間位置が前の第１のサムネイル画像をより多く出力してもよい。
【００１２】
上記制御部は、上記第２のサムネイル画像を、上記出力された複数の第１のサムネイル画像のうち、上記第１の方向における最端部に出力された第１のサムネイル画像に隣接する第１のサムネイル画像を基準として上記第２のサムネイル画像を出力ように上記出力部を制御してもよい。
【００１３】
これにより情報処理装置は、ユーザに、表示部に表示されている映像データの閲覧を邪魔することなく第２のサムネイル画像を閲覧させることができるとともに、基準となる第１のサムネイル画像の前後の第１のサムネイル画像を少なくとも１つ出力することで、１コマ送り及び１コマ戻しの双方の微調整を常に可能とすることができる。
【００１４】
上記制御部は、上記出力された複数の第２のサムネイル画像のうち１つを選択する上記第２の操作が入力された場合、上記選択された第２のサムネイル画像を、当該第２の操作前に上記基準となる第１のサムネイル画像が出力されていた位置に移動させ、当該移動された第２のサムネイル画像を基準として上記複数の第２のサムネイル画像を出力するように上記出力部を制御してもよい。
【００１５】
これにより情報処理装置は、上記選択操作のたびに、第２のサムネイル画像の出力数は変えずに、時間範囲のみ更新して第２のサムネイル画像を出力することができるため、例えばスクロール等により第２のサムネイル画像を選択するユーザの操作負担を軽減することができる。また情報処理装置は、上記選択操作があっても、出力される第２のサムネイル画像の数を変更しないことで、表示部の表示範囲を有効活用することができる。
【００１６】
上記制御部は、上記第１の操作の継続時間に応じて上記映像データの早送りまたは巻き戻しの速度を第１の速度から第２の速度まで可変することが可能であり、上記早送りまたは巻き戻しの速度が上記第２の速度に到達したときに、上記複数の第１のサムネイル画像を出力するように上記出力部を制御してもよい。
【００１７】
これにより情報処理装置は、早送りまたは巻き戻しの速度が最大速度になった場合にはじめて第１のサムネイル画像を出力することで、高速サーチ時であっても、ユーザの目では追えないフレームをサムネイル画像としてユーザに認識させ、ユーザに所望のシーンを見つけ出させることができる。
【００１８】
上記制御部は、上記複数の第１のサムネイル画像及び上記複数の第２のサムネイル画像が出力された状態で、上記基準となる第１のサムネイル画像を上記第１の方向にドラッグする操作が検出された場合に、当該操作に応じて、当該基準となる第１のサムネイル画像と、当該第１のサムネイル画像を基準として出力されている上記複数の第２のサムネイル画像とを連動させて上記第１の方向に移動させるとともに、上記出力される複数の第１のサムネイル画像を更新するように上記出力部を制御してもよい。
【００１９】
これにより情報処理装置は、ドラッグ操作に応じて、基準となる第１のサムネイル画像及びそれを基準とした第２のサムネイル画像の全体を、第１の方向のタイムライン上で移動させることで、ユーザに新たな早送り操作または巻き戻し操作を行わせることなく、ドラッグ操作前に出力されていなかった再生位置の第１のサムネイル画像を確認させることができる。
【００２０】
上記制御部は、上記複数の第１のサムネイル画像及び上記複数の第２のサムネイル画像が出力された状態で、いずれか１つの上記第２のサムネイル画像を上記第１の方向にドラッグする操作が検出された場合に、当該操作に応じて、全ての上記複数の第２のサムネイル画像を上記第１の方向に移動させるとともに、当該移動位置に存在する第１のサムネイル画像が基準となるように上記複数の第２のサムネイル画像を更新するように上記出力部を制御してもよい。
【００２１】
これにより情報処理装置は、ドラッグ操作に応じて、第１のサムネイル画像はそのままに、全ての第２のサムネイル画像を第１の方向のタイムライン上で移動させて移動位置に応じて更新することで、ユーザに新たな早送り操作または巻き戻し操作を行わせることなく、ドラッグ操作前に出力されていなかった新たな第２のサムネイル画像を確認させることができる。
【００２２】
上記操作検出部は、上記表示部と一体的に構成されたタッチパネルを有してもよい。この場合上記制御部は、上記第１の操作が検出されなくなった場合であって、かつ、上記出力された上記複数の第１のサムネイル画像のうちいずれかをピンチアウトする操作が検出された場合に、当該ピンチアウトされた第１のサムネイル画像を基準として上記複数の第２のサムネイル画像を出力するように上記出力部を制御してもよい。
【００２３】
これにより情報処理装置は、複数の第１のサムネイル画像のうち、ピンチアウト操作対象の第１のサムネイル画像を基準として第２のサムネイル画像を出力することで、ユーザのより自由度の高い直感的な操作を可能とすることができる。
【００２４】
本発明の他の形態に係る情報処理方法は、複数のフレームを有する映像データと、当該複数のフレームに対応する複数のサムネイル画像とを記憶することを含む。上記記憶された映像データは再生され、当該再生された映像データは表示部へ出力される。上記映像データの再生中に、当該映像データの早送りまたは巻き戻しのための第１の操作が検出された場合には、当該第１の操作に応じて、当該検出時に出力されていた映像データのフレームよりも再生位置が後または前のフレームが表示部へ順次出力される。上記第１の操作の検出が所定時間継続したときには、上記第１の操作に応じて出力されるフレームのサムネイル画像を含む第１の時間間隔毎の複数の第１のサムネイル画像が、上記表示部へ第１の方向へ並べられて順次出力される。さらに、上記第１の操作が検出されなくなった場合には、上記出力された第１のサムネイル画像のうち１つを基準として、上記第１の時間間隔よりも大きい第２の時間間隔毎の複数の第２のサムネイル画像が、上記第１の方向とは異なる第２の方向へ並べられて上記表示部へ出力される。そして、いずれか１つの上記第１のサムネイル画像または上記第２のサムネイル画像を選択するためのユーザの第２の操作が検出された場合には、当該選択された第１のサムネイル画像または当該第２のサムネイル画像に対応するフレームから上記映像データが再生される。
【００２５】
本発明のまた別の形態に係るプログラムは、情報処理装置に、記憶ステップと、第１の再生ステップと、第１の出力ステップと、第２の出力ステップと、第３の出力ステップと、第４の出力ステップと、第２の再生ステップとを実行させる。上記記憶ステップでは、複数のフレームを有する映像データと、当該複数のフレームに対応する複数のサムネイル画像とが記憶される。上記第１の再生ステップでは、上記記憶された映像データが再生される。上記第１の出力ステップでは、上記再生された映像データが表示部へ出力される。上記第２の出力ステップでは、上記映像データの再生中に、当該映像データの早送りまたは巻き戻しのための第１の操作が検出された場合に、当該第１の操作に応じて、当該検出時に出力されていた映像データのフレームよりも再生位置が後または前のフレームが上記表示部へ順次出力される。上記第３の出力ステップでは、上記第１の操作の検出が所定時間継続したときに、上記第１の操作に応じて出力されるフレームのサムネイル画像を含む第１の時間間隔毎の複数の第１のサムネイル画像が、上記表示部へ第１の方向へ並べられて順次出力される。上記第４の出力ステップでは、上記第１の操作が検出されなくなった場合に、上記出力された第１のサムネイル画像のうち１つを基準として、上記第１の時間間隔よりも大きい第２の時間間隔毎の複数の第２のサムネイル画像が、上記第１の方向とは異なる第２の方向へ並べられて上記表示部へ出力される。上記第２の再生ステップでは、いずれか１つの上記第１のサムネイル画像または上記第２のサムネイル画像を選択するためのユーザの第２の操作が検出された場合に、当該選択された第１のサムネイル画像または当該第２のサムネイル画像に対応するフレームから上記映像データが再生される。
【発明の効果】
【００２６】
以上説明したように、本発明によれば、映像データの早送り／巻き戻し操作の際にユーザの所望のシーンを迅速かつ正確に検索させることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１実施形態に係るＰＶＲのハードウェア構成を示すブロック図である。
【図２】本発明の第１実施形態に係るＰＶＲがサムネイル表示のために有するソフトウェアの機能ブロックを示した図である。
【図３】本発明の第１実施形態に係るＰＶＲが有するサムネイルに関する情報のデータベースの例を示した図である。
【図４】本発明の第１実施形態において動画コンテンツの再生中に早送り／巻き戻し操作が入力されてからそれが中止されるまでのＰＶＲの動作の流れを示したフローチャートである。
【図５】本発明の第１実施形態において早送り／巻き戻し操作が中止された後に所定の操作が入力される場合のＰＶＲ１００の動作の流れを示したフローチャートである。
【図６】図５のステップ５２における第２サムネイルの表示処理の詳細な流れを示したフローチャートである。
【図７】図６の処理におけるサムネイルのデータベースの参照の様子を示した図である。
【図８】本発明の第１実施形態においてディスプレイにサムネイルが表示される様子を示した図である。
【図９】本発明の第１実施形態において第２サムネイル表示後に下キーの押下が検出された場合の再生画面の様子を示した図である。
【図１０】本発明の第１実施形態において第１サムネイル及び第２サムネイルの時間間隔を変更した例を示した図である。
【図１１】本発明の第２実施形態に係る携帯端末のハードウェア構成を示すブロック図である。
【図１２】本発明の第２実施形態において、ユーザのドラッグ操作により第１サムネイルのタイムラインを移動させる様子を示した図である。
【図１３】本発明の第２実施形態において、ユーザのドラッグ操作により操作対象サムネイルを移動させる様子を示した図である。
【図１４】本発明の第２実施形態において、ユーザのピンチアウト操作により第２サムネイルを表示させる様子を示した図である。
【図１５】本発明の変形例において、早送り／巻き戻し速度が変化する際の第１サムネイルの表示処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２９】
＜第１実施形態＞
まず、本発明の第１実施形態として、本発明をＰＶＲ（Personal Video Recorder）に適用した例について説明する。
【００３０】
［ＰＶＲのハードウェア構成］
図１は、本実施形態に係るＰＶＲのハードウェア構成を示すブロック図である。
【００３１】
同図に示すように、このＰＶＲ１００は、デジタルチューナ１、復調部２、デマルチプレクサ３、デコーダ４、記録再生部５、ＨＤＤ（Hard Disk Drive）８、光ディスクドライブ９、通信部１１を有する。またＰＶＲ１００は、ＣＰＵ（Central Processing Unit）１２、フラッシュメモリ１３、ＲＡＭ（Random Access Memory）１４を有する。さらにＰＶＲ１００は、操作入力部１５、グラフィック制御部１６、映像Ｄ／Ａ（Digital/Analog）コンバータ１７、音声Ｄ／Ａ（Digital/Analog）コンバータ１８及び外部インタフェース１９を有する。
【００３２】
デジタルチューナ１は、ＣＰＵ１２の制御に従って、アンテナＡを介してデジタル放送の特定のチャンネルを選局して、番組のデータを含む放送信号を受信する。この放送信号は、例えばＭＰＥＧ−２ ＴＳフォーマットで符号化されたＭＰＥＧストリーム（ＴＳ：トランスポートストリーム）であるが、このフォーマットに限られるものではない。復調部２は、変調された当該放送信号を復調する。
【００３３】
デマルチプレクサ３は、多重化された上記放送信号を、映像信号、音声信号、字幕信号、ＳＩ（Service Information）信号等の各信号に分離し、デコーダ４へ供給する。
【００３４】
デコーダ４は、デマルチプレクサ３で分離された映像信号、音声信号、字幕信号、ＳＩ信号をそれぞれデコードする。デコードされた各信号は記録再生部５へ供給される。
【００３５】
記録再生部５は、記録部６及び再生部７を有する。記録部６は、デコーダ４によりデコードされ入力された映像信号及び音声信号を一時的に蓄積して、タイミングやデータ量を制御しながらＨＤＤ８や光ディスクドライブ９に出力して記録させる。また記録部６は、ＨＤＤ８に記録されたコンテンツを読み出して光ディスクドライブ９に出力し、光ディスク１０に記録させることも可能である。再生部７は、ＨＤＤ８や光ディスク１０に記録された映像コンテンツの映像信号及び音声信号を読み出し、タイミングやデータ量を制御しながらデコーダ４へ出力して再生させる。
【００３６】
ＨＤＤ８は、デジタルチューナ１を介して受信した番組（動画コンテンツ）や、通信部１１によりネットワーク５０を介して受信される種々の動画コンテンツ、ユーザにより撮影された動画像データ等のコンテンツデータを内蔵のハードディスクに記憶する。これらの記憶されたコンテンツが再生される際には、ＨＤＤ８は、これらのデータを上記ハードディスクから読み出し、記録再生部５へ出力する。
【００３７】
またＨＤＤ８は、各種プログラムやその他のデータ等を記憶する場合もある。これらのプログラムやデータは、それらの実行時及び参照時に、ＣＰＵ１２の指令によりＨＤＤ８から読み出され、ＲＡＭ１４へ展開される。特に本実施形態では、ＨＤＤ８には、上記動画コンテンツから切り出されたサムネイルが記憶される。
【００３８】
光ディスクドライブ９は、上記ＨＤＤ８と同様に、当該装着された光ディスク１０に動画像コンテンツ等の各種データを記録し、また記録されたデータを読み出すことが可能である。また上記各種プログラムは、これら光ディスク１０等の可般性の記録媒体に記録され、光ディスクドライブ９によりＰＶＲ１００にインストールされてもよい。光ディスクは例えばＢＤ（Blu-ray Disc）、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）等である。
【００３９】
通信部１１は、上記ネットワーク５０に接続してＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等のプロトコルによりネットワーク５０上の他の装置とデータのやり取りを行うためのネットワークインタフェースである。通信部１１により受信されたデータが多重化されている場合、デマルチプレクサ３に供給される。
【００４０】
外部インタフェース１９は、例えばＵＳＢインタフェース、ＨＤＭＩ（High-Definition Multimedia Interface）、メモリカードインタフェース等からなり、例えばデジタルビデオカメラ、デジタルスチルカメラ等の撮影装置や、メモリカード等と接続し、それらから、ユーザにより撮影された動画や静止画等のデータを読み出す。
【００４１】
ＣＰＵ１２は、必要に応じてＲＡＭ１４等にアクセスし、動画コンテンツの再生処理や、後述するサムネイル表示処理等、ＰＶＲ１００の各ブロックの処理を統括的に制御する。
【００４２】
フラッシュメモリ１３は、例えばＮＡＮＤ型のものであり、ＣＰＵ１２に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。またフラッシュメモリ１３は、後述するサムネイル表示アプリケーション等のソフトウェア及びその動作に必要な、各動画コンテンツのサムネイルのデータベース等を有する。
【００４３】
ＲＡＭ１４は、ＣＰＵ１２の作業用領域等として用いられ、上記動画コンテンツの再生処理やサムネイル表示処理等の最中に、ＯＳやプログラム、処理データ等を一時的に保持するメモリである。
【００４４】
操作入力部１５は、例えば十字キーや決定キー等の複数のキーを有するリモートコントローラＲ（以下、リモコンＲと称する）から、例えば早送り操作、巻き戻し操作等、決定操作等、ユーザの操作による各種設定値や指令を入力してＣＰＵ１２へ出力する。もちろん、操作入力部１５は、リモコンＲによらずに、ＰＶＲ１００に接続されたキーボードやマウス、ＰＶＲ１００に実装されたスイッチ等で構成されていても構わない。
【００４５】
グラフィック制御部１６は、デコーダ４から出力された映像信号やＣＰＵ１２から出力されるその他の映像データにＯＳＤ（On Screen Display）処理等のグラフィック処理を施し、例えばテレビジョン装置（以下、ＴＶと称する）等のディスプレイＤに表示させるための映像信号を生成する。
【００４６】
映像Ｄ／Ａコンバータ１７は、上記グラフィック制御部１６から入力されたデジタル映像信号をアナログ映像信号に変換して、映像出力端子等を介してＴＶ等のディスプレイＤへ出力する。
【００４７】
音声Ｄ／Ａコンバータ１８は、上記デコーダ４から入力されたデジタル音声信号をアナログ音声信号に変換して、音声出力端子等を介して、ＴＶ等のスピーカＳへ出力する。
【００４８】
［ＰＶＲのソフトウェア構成］
本実施形態に係るＰＶＲ１００は、動画コンテンツの再生中にユーザから早送り操作または巻き戻し操作が入力された場合に、当該操作対象の動画コンテンツの複数のサムネイルを表示することが可能である。
【００４９】
図２は、上記ＰＶＲ１００がサムネイル表示のために有するソフトウェアの機能ブロックを示した図である。
【００５０】
同図に示すように、ＰＶＲ１００は、ユーザインタフェース制御部２１、サムネイル表示部２２、サムネイル保存部２３、動画コンテンツ再生部２４、動画コンテンツ保存部２５の各機能ブロック（ソフトウェアモジュール）を有する。
【００５１】
動画コンテンツ保存部２５は、上記記録部６やＨＤＤ８等と協働して、複数の動画コンテンツを保存・管理する。動画コンテンツ再生部２４は、上記再生部７等と協働して、各動画コンテンツ保存部２５に保存された動画コンテンツを再生し、ディスプレイＤへ出力する。
【００５２】
サムネイル保存部２３は、フラッシュメモリ１３等と協働して、動画コンテンツ保存部２５に保存された動画コンテンツから一定時間間隔でそのフレームのサムネイル（静止画）を抽出して保存する。当該一定時間間隔とは、例えば１秒間隔、３秒間隔、５秒間隔等であるが、これらに限られない。サムネイル保存部２３がサムネイルを作成するタイミングは、ＨＤＤ８等に動画コンテンツが保存されたときでもよいし、例えば一日のうちの所定時刻等、スケジューリングされた日時でもよい。また、上記デコーダ４の性能によっては、動画コンテンツから直接サムネイルを参照することも可能である。
【００５３】
サムネイル表示部２２は、サムネイル保存部２３に保存されたサムネイルのうち、上記再生される動画コンテンツの早送り画像または巻き戻し画像に対応するサムネイルを表示する。
【００５４】
ユーザインタフェース制御部２１は、上記動画コンテンツ再生部２４及びサムネイル表示部２２と協働して、動画コンテンツ保存部２５及びサムネイル保存部２３からそれぞれ読み出された動画コンテンツ及びサムネイルの表示形態を、ユーザの操作に応じて制御する。
【００５５】
［サムネイルのデータベース構成］
次に、上記動画コンテンツから抽出されたサムネイルに関する情報のデータベースについて説明する。図３は、当該データベースの例を示した図である。当該データベースは、上記フラッシュメモリ１３に記憶されるが、ネットワーク上のサーバ等、外部に存在していてもよい。
【００５６】
同図に示すように、このデータベースは、コンテンツＩＤ、コンテンツ名、ファイル名及びタイムスタンプの各項目を有する。コンテンツＩＤは、ＨＤＤ８等に記憶されている各動画コンテンツをユニークに識別するものである。当該１つのコンテンツＩＤに対して、それぞれ複数のサムネイルが例えばpng、gif、jpeg等のファイル形式で記憶されており、各サムネイルに対応するフレームのタイムスタンプも記憶されている。同図では、「○○公園」及び「□□旅行」という２つの動画コンテンツに対してそれぞれ複数のサムネイルが存在している例が示されている。
【００５７】
ＣＰＵ１２は、これらのコンテンツＩＤ及びタイムスタンプをキーとして各コンテンツの各サムネイルへアクセスし、上記ユーザインタフェース制御部２１を介してその情報を表示することができる。
【００５８】
［ＰＶＲの動作］
次に、以上のように構成されたＰＶＲ１００の動作について説明する。以降の説明においては、ＰＶＲ１００のＣＰＵ１２を主な動作主体として説明するが、この動作はＣＰＵ１２の制御下において実行される上記各モジュールと協働して行われる。
【００５９】
図４は、動画コンテンツの再生中に早送り／巻き戻し操作が入力されてからそれが中止されるまでのＰＶＲ１００の動作の流れを示したフローチャートである。また図５は、早送り／巻き戻し操作が中止された後に所定の操作が入力される場合のＰＶＲ１００の動作の流れを示したフローチャートである。また図８は、当該各フローチャートの流れに対応して、ディスプレイＤにサムネイルが表示される様子を示した図である。
【００６０】
図４に示すように、まず、ＣＰＵ１２は、動画コンテンツの再生中に、例えばリモコンＲの左右キーの押下によりユーザから早送り／巻き戻し操作が入力されたか否かを判断する（ステップ４１）。本実施形態では、リモコンＲの左キーが巻き戻し操作、右キーが早送り操作に対応するものとする。
【００６１】
早送り／巻き戻し操作が検出された場合（ステップ４１のＹｅｓ）、ＣＰＵ１２は、動画コンテンツの再生を中断し、当該動画コンテンツの早送りまたは巻き戻し処理（動画コンテンツの当該操作入力時点のフレームよりも後または前のフレームを通常の再生速度よりも速い速度で再生する処理）を行う（ステップ４２）。
【００６２】
図８（Ａ）は、当該早送り／巻き戻し操作が入力された時点における、ディスプレイＤに表示される動画コンテンツの再生画面を示している。同図に示すように、ディスプレイＤの動画表示領域４１には、例えばオブジェクトＡとオブジェクトＢを含む映像が表示されている。当該動画表示領域４１の下部左右端には早送り中または巻き戻し中であることを示す図形Ｆ及びＲも表示される。同図では早送り操作が入力された場合が示され、この場合図形Ｆが強調表示されている。また動画表示領域４１の下方には、動画コンテンツの総再生時間に対する現在の再生位置を示すタイムライン４２も表示される。このタイムライン４２は、再生位置を指示するポインタＰを有する。
【００６３】
図４に戻り、続いてＣＰＵ１２は、上記早送り／巻き戻し操作の検出から一定時間が経過したか否か（早送り／巻き戻し操作の検出が一定時間継続したか否か）を判断する（ステップ４３）。ここで一定時間とは例えば２秒程度であるが、これに限られない。
【００６４】
上記一定時間が経過したと判断した場合（ステップ４３のＹｅｓ）、ＣＰＵ１２は、上記操作が早送り操作か巻き戻し操作かを判断する（ステップ４４）。
【００６５】
上記操作が早送り操作であると判断した場合、ＣＰＵ１２は、早送り再生されている動画コンテンツのフレームに対応するサムネイル及びそれ以後のフレームに対応する、第１の時間間隔毎の複数のサムネイルを並べて表示する（ステップ４５）。
【００６６】
上記操作が巻き戻し操作であると判断した場合、ＣＰＵ１２は、早送り再生されている動画コンテンツのフレームに対応するサムネイル及びそれ以前のフレームに対応する、上記第１の時間間隔毎の複数のサムネイルを並べて表示する（ステップ４６）。
【００６７】
上記第１の時間間隔は例えば１秒間隔とされるが、これに限られない。また表示されるサムネイルの数は例えば６つであるが、これに限られない。また上記各サムネイルが並べられる方向は例えば水平方向であり、その位置は例えばディスプレイの下部であるが、方向及び位置もこれらに限られない。
【００６８】
図８（Ｂ）は、早送り操作が検出されてから一定時間が経過した場合の再生画面の様子を示す。同図に示すように、早送り操作が検出されてから一定時間が経過すると、例えば動画表示領域４１とタイムライン４２との間に、６枚のサムネイル（第１サムネイル）４３が水平方向に並んで表示される。このとき、動画表示領域４１に表示されるフレームは、６枚の第１サムネイル４３のうち例えば左から２番目の第１サムネイル４３に対応している。これ以降、当該左から２番目の第１サムネイル４３を「操作対象サムネイル」と称する。巻き戻し操作の場合には、右から２番目の第１サムネイル４３が操作対象サムネイルとされる。
【００６９】
この場合、各第１サムネイルは、ディスプレイの下端から図８（Ｂ）に示した位置まで徐々に上昇するように表示されてもよい。
【００７０】
ここで操作対象サムネイルが左から２番目（早送りの場合）または右から２番目（巻き戻しの場合）の第１サムネイル４３とされるのは、それを基準として後述する第２サムネイルが表示される際に、動画表示領域４１に表示される動画コンテンツの映像を極力邪魔することなく、送り方向（早送りであれば後、巻き戻しであれば前）の第１サムネイル４３を極力多く表示し、かつ、その前後（左右）の両方向で少なくとも１つの第１サムネイル４３分の移動による微調整を可能とするためである。
【００７１】
図４に戻り、ＣＰＵ１２は、早送り／巻き戻しのための左右キーの押下が継続している間、上記サムネイル（早送り操作の場合には再生位置よりも後、巻き戻し操作の場合は再生位置よりも前のサムネイル）を順次更新させながら表示し続ける（ステップ４７、４８）。
【００７２】
そしてＣＰＵ１２は、左右キーの押下が中止された（左右キーの押下が検出されなくなった）と判断した場合（ステップ４８のＹｅｓ）、その中止時点のフレームで動画コンテンツの再生を一時停止する（ステップ４９）。この時点でも、上記第１サムネイル４３は表示されたままである。この時点で決定キー（または再生キー）の押下が検出された場合、上記中止時点のフレームから動画コンテンツの再生が再開される。
【００７３】
また上記ステップ４３において一定時間が経過しないうちに早送り／巻き戻し操作が中止された場合（Ｎｏ）には、ＣＰＵ１２は当該中止時点のフレームから動画コンテンツの再生を再開する（ステップ５０）。
【００７４】
図５は、早送り／巻き戻し操作が中止された後に所定の操作が入力される場合のＰＶＲ１００の動作の流れを示したフローチャートである。
【００７５】
同図に示すように、ＣＰＵ１２は、上記操作対象サムネイル４３ｏを含む各第１サムネイル４３が表示された状態で、リモコンＲの上下キーの押下を検出したか否かを判断する（ステップ５１）。
【００７６】
当該上下キーの押下を検出した場合（ステップ５１のＹｅｓ）、ＣＰＵ１２は、上記操作対象サムネイル４３ｏを基準としてその上下方向に、上記第１の時間間隔よりも大きい第２の時間間隔毎の複数のサムネイル（第２サムネイル）を表示する（ステップ５２）。当該第２の時間間隔は例えば３０秒、１分等であるが、これらに限られない。
【００７７】
図８（Ｃ）は、当該第２サムネイルが表示される際の再生画面の様子を示す。同図に示すように、操作対象サムネイル４３ｏの１つ上には、その３０秒前の再生位置に対応する第２サムネイル４４が表示され、操作対象サムネイル４３ｏの２つ上には、１分前の再生位置に対応する第２サムネイル４４が表示される。同様に、操作対象サムネイル４３ｏの１つ下には、その３０秒後の再生位置に対応する第２サムネイル４４が表示され、操作対象サムネイル４３ｏの２つ下には、１分後の再生位置に対応する第２サムネイル４４が表示される。
【００７８】
本実施形態では、第２サムネイル４４が表示される際は、それまで表示されていたタイムライン４２は消去されるが、そのまま表示され続けていても構わない。
【００７９】
図６は、上記ステップ５２における第２サムネイル４４の表示処理の詳細な流れを示したフローチャートである。また図７は、当該処理におけるサムネイルのデータベースの参照の様子を示した図である。
【００８０】
図６に示すように、ＣＰＵ１２は、まず操作対象サムネイル４３ｏの再生時間を基準時間に設定し（ステップ６１）、続いて上記データベースから、当該基準時間の前後ｎ秒のサムネイル群を抽出する（ステップ６２）。本実施形態では、当該ｎは３０及び６０であるが、これに限られない。
【００８１】
そしてＣＰＵ１２は、図７にも示すように、抽出したサムネイルにそれぞれフラグを立て（ステップ６３）、当該フラグを立てたサムネイルを第２サムネイル４４として表示する（ステップ６４）。本実施形態では、操作対象サムネイル４３ｏの前後３０秒及び前後１分に対応するサムネイルが抽出されるため、図７のデータベース上では、計４つのフラグが立てられることになる。
【００８２】
図５に戻り、続いてＣＰＵ１２は、上記第１サムネイル４３及び第２サムネイル４４が表示された状態で、リモコンの上下キーの押下操作が検出されたか否かを判断する（ステップ５３）。
【００８３】
上下キーのうち上キーの押下が検出された場合、ＣＰＵ１２は、当該上キーの押下前において操作対象サムネイル４３ｏの１つ上に配置されていた第２サムネイル４４が新たに操作対象サムネイル４３ｏとなるように、各第２サムネイル４４を更新する（ステップ５４）。またこれに応じてＣＰＵ１２は、６枚の第１サムネイル４３からなるタイムラインを、左方向へ進める（ステップ５５）。
【００８４】
すなわち、図８（Ｄ）で示すように、上キーの押下が検出された場合、ＣＰＵ１２は、それまでの操作対象サムネイル４３ｏと、その１つ上、２つ上及び１つ下に表示されていた各第２サムネイル４３をそれぞれ１つずつ下にずらすとともに、それまでの操作対象サムネイル４３ｏの１分前の再生位置に対応する第２サムネイル４４を新たに最上部へ表示し、１分後の再生位置に対応する第２サムネイル４４を消去する。したがって、上キーの押下前後で、表示される第２サムネイル４３の枚数に変化はない。これにより、それまでの操作対象サムネイル４３ｏの３０秒前の第２サムネイルが新たな操作対象サムネイル４３ｏとなるとともに、動画表示領域４１に表示される動画コンテンツも、当該更新後の操作対象サムネイル４３ｏに対応するフレームへとスキップされる。
【００８５】
それと同時に、ＣＰＵ１２は、水平方向における、操作対象サムネイル４３ｏ以外の５枚の第１サムネイル４３も、上記更新後の操作対象サムネイル４３ｏに対応させて、その１秒前、１秒後、２秒後、３秒後、４秒後のサムネイルが表示されるよう、タイムラインを変更する。したがって、表示される第１サムネイル４３の枚数も、上キーの押下前後で変化はない。
【００８６】
そして、この時点で例えば決定キーまたは再生キーの押下が検出された場合、上記更新後の操作対象サムネイル４３ｏに対応するフレームから動画コンテンツの再生が再開される。また、第２サムネイル４４が表示された状態で上下キーの押下操作が検出されずに決定キー等の押下が検出された場合は、その時点の操作対象サムネイル４３ｏに対応するフレームから動画コンテンツの再生が再開される。
【００８７】
図５のステップ５３において、下キーの押下が検出された場合も、方向は異なるが同様の処理が実行される（ステップ５６、５７）。図９は、下キーの押下が検出された場合の再生画面の様子を示した図である。同図では、説明の便宜上、動画表示領域４１のフレーム、各第１サムネイル４３及び各第２サムネイル４４に、再生開始からの経過秒数に対応した番号を付している。
【００８８】
同図（Ａ）では、早送り操作により、開始から７５秒目まで再生がスキップされた様子が示されている。また当該７５秒目のフレームのサムネイルが操作対象サムネイル４３ｏとして表示されており、その左右には１秒おきの各第１サムネイル４３が表示され、その上下には、前後３０秒、１分の各第２サムネイルが表示されている。
【００８９】
この状態から、下キーの押下が検出された場合、同図（Ｂ）に示すように、動画表示領域４１のフレームは３０秒後の１０５秒目のフレームまでスキップするとともに、それに応じて第１サムネイル４３及び第２サムネイル４４もそれぞれ更新される。ここで例えば決定キーの押下が検出された場合、当該１０５秒目のフレームから動画コンテンツの再生が再開される。
【００９０】
以上説明したように、本実施形態では、ＰＶＲ１００は、早送り／巻き戻し操作が一定時間継続した場合に、複数の第１サムネイル４３を水平方向に並べて順次表示し、早送り／巻き戻し操作が中止された場合（かつ上下キーの押下操作があった場合）には、第２サムネイル４３を、複数の第１サムネイル４３のうち操作対象サムネイル４３ｏを基準として垂直方向に並べて表示し、各サムネイルに対応するフレームから動画の再生を再開することができる。これによりユーザは、所望のシーンへ正確に辿りつくことができる。
【００９１】
［サムネイル間の時間間隔のバリエーション］
上述の説明では、各第１サムネイル４３の時間間隔は１秒、各第２サムネイル４４の時間間隔は３０秒とされたが、もちろんこれらの時間間隔は適宜変更可能である。図１０（Ａ）は、各第１サムネイル４３の時間間隔を５秒に設定した場合を示しており、図１０（Ｂ）はさらに第２サムネイル４４の時間間隔を１分に設定した場合を示している。
【００９２】
＜第２実施形態＞
次に、本発明の第２実施形態として、本発明を携帯端末に適用した例について説明する。本実施形態において、上述した第１実施形態と同様の構成となる箇所については同一の符号を付し、説明を省略または簡略化する。
【００９３】
［携帯端末のハードウェア構成］
図１１は、本実施形態に係る携帯端末のハードウェア構成を示すブロック図である。携帯端末とは、例えば携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、携帯型ＡＶプレイヤー、電子ブック、電子辞書等である。
【００９４】
この携帯端末２００は、ＣＰＵ１１１、ＲＡＭ１１２、フラッシュメモリ１１３、ディスプレイ１１４、タッチパネル１１５、通信部１１６、外部Ｉ／Ｆ（インタフェース）１１７、キー／スイッチ部１１８、ヘッドフォン１１９及びスピーカ１２０を有する。
【００９５】
ＣＰＵ１１１、ＲＡＭ１１２、フラッシュメモリ１１３、通信部１１６、外部インタフェース１１７の各機能は、上記第１実施形態の図１で示したＣＰＵ１２、ＲＡＭ１４、フラッシュメモリ１３、通信部１１、外部インタフェース１９の各機能と同様である。またフラッシュメモリ１１３には、上記第１実施形態においてＨＤＤ８に記憶されていた動画コンテンツも記憶される。
【００９６】
ディスプレイ１１４は、例えばＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electro-Luminescence Display）であり、再生された動画コンテンツ及びサムネイルを表示する。またディスプレイ１１４はタッチパネル１１５と一体的に設けられている。タッチパネル１１５は、例えば早送り操作、巻き戻し操作、サムネイル選択操作等、ユーザのタッチ操作を検出し、ＣＰＵ１１１へ伝える。タッチパネル１１５の動作方式としては、例えば抵抗被膜方式や静電容量方式が用いられるが、電磁誘導方式、マトリクススイッチ方式、表面弾性波方式、赤外線方式等のその他の方式が用いられてもよい。また当該タッチパネル１１５は、マルチタッチ検出も可能である。
【００９７】
キー／スイッチ部１１８は、例えば電源スイッチ、ショートカットキー等、特にタッチパネル１１５では入力できないユーザの操作等を受け付け、入力信号をＣＰＵ１１１へ伝える。
【００９８】
ヘッドフォン１１９及びスピーカ１２０は、上記フラッシュメモリ１１３等に記憶された、または通信部１１６、外部Ｉ／Ｆ１１７等から入力された動画コンテンツの音声信号を出力する。
【００９９】
［携帯端末の動作］
次に、本実施形態における携帯端末２００の動作について説明する。以下では、携帯端末２００のＣＰＵ１１１を主な動作主体として説明するが、この動作はＣＰＵ１１１の制御下において実行される上記図２に示した各モジュールと協働して行われる。本実施形態に係る携帯端末２００は、上記第１実施形態で説明したＰＶＲ１００と同様の機能のほか、タッチパネル１１５を用いたサムネイルの選択処理を実行することが可能である。また本実施形態では、例えば動画表示領域４１に表示される図形ＦまたはＲをユーザがタッチすることで、早送り／巻き戻し処理が行われる。
【０１００】
（ドラッグ操作によるサムネイルの移動処理）
図１２は、ユーザの指によるドラッグ操作により第１サムネイル４３のタイムラインを移動させる様子を示した図である。同図（Ａ）の第１サムネイル４３及び第２サムネイル４４の時間間隔は、上記図１０（Ｂ）に示したものと同様である。
【０１０１】
同図（Ａ）に示した状態から、ユーザが指で操作対象サムネイル４３ｏ（１２３秒目のサムネイル）を右方向へドラッグすると、ＣＰＵ１１１は、同図（Ｂ）に示すように、それに応じて当該操作対象サムネイル４３ｏを右方向へ移動させるとともに、その上下に表示されていた４枚の第２サムネイル４４もそれに追従させて移動させる。それとともに、ＣＰＵ１１１は、当該移動に応じて第１サムネイル４３も、より後の再生位置のサムネイルへと更新する。すなわち、同図（Ｂ）に示すように、３枚分の第１サムネイル４３の距離だけドラッグ操作が実行されると、ドラッグ操作前に表示されていた１３３秒目、１３８秒目及び１４３秒目の第１サムネイル４３は消去され、代わりに１０３秒目、１０８秒目、１１３秒目の第１サムネイル４３が新たに表示される。
【０１０２】
図１３は、ユーザの指によるドラッグ操作により操作対象サムネイル４３ｏを移動させる様子を示した図である。
【０１０３】
同図（Ａ）に示した状態から、ユーザが指でいずれかの第２サムネイル４４を右方向へドラッグすると、ＣＰＵ１１１は、同図（Ｂ）に示すように、第１サムネイル４３のタイムラインは維持したまま、操作対象サムネイル４３ｏを当該ドラッグ操作に応じて右方向へ移動させるとともに、その上下の第２サムネイル４４を、移動後の操作対象サムネイル４３ｏに応じて、より後の再生位置の第２サムネイル４４へ更新する。同図（Ｂ）では、２４３秒目の第２サムネイル４４が右方向へ３枚分の第１サムネイル４３の距離だけドラッグ操作が実行されると、操作対象サムネイル４３ｏが１２３秒目から１３８秒目に移動し、ドラッグ操作前に表示されていた３秒目、６３秒目、１８３秒目及び２４３秒目の各第２サムネイル４４が、１８秒目、７８秒目、１９８秒目、２５８秒目の各第２サムネイル４４へと更新される。
【０１０４】
ここで、操作対象サムネイル４３ｏの移動により、その上部に表示される第２サムネイル４４に対応する秒数が０秒よりも小さくなることも考えられるが、その場合には便宜上０秒の第２サムネイル４４（つまり動画コンテンツの先頭フレームのサムネイル）が表示される。
【０１０５】
これらのドラッグ操作により、ユーザは新たな早送り／巻き戻し操作を行うことなく所望のシーンをより詳細に検索することができる。
【０１０６】
（ピンチアウト操作による第２サムネイルの表示処理）
次に、本実施形態に係る携帯端末２００において、上記第１サムネイル４３が表示された状態から、第２サムネイルを表示させる処理について説明する。上記第１実施形態では、早送り／巻き戻し操作が中止された後、上下キーが押下された場合に第２サムネイル４４が表示されていた。本実施形態では、携帯端末２００は、上下キーの押下操作に代えて、ユーザの指によるピンチアウト操作により第２サムネイル４４を表示させることが可能である。
【０１０７】
図１３は、携帯端末２００がユーザのピンチアウト操作により第２サムネイル４４を表示する様子を示した図である。
【０１０８】
同図（Ａ）は、第１サムネイル４３が表示され、早送り操作が中止された状態を示す。この状態から、同図（Ｂ）及び（Ｃ）に示すように、ユーザが２本の指で操作対象サムネイル４３ｏをピンチアウトした場合、ＣＰＵ１１１は、当該ピンチアウト操作に応じて、当該操作対象サムネイル４３ｏの前後３０秒及び１分の第２サムネイル４４を徐々に表示する。
【０１０９】
これによりユーザは、より直感的な操作で第２サムネイル４４を表示させることができる。この場合、操作対象サムネイル４３ｏは、左から２番目の第１サムネイル４３に限られない。またピンチアウト操作の範囲に応じて、表示される第２サムネイル４４の数が可変されてもよい。例えばユーザが、操作対象サムネイル４３ｏ上で少しだけピンチアウトした後、タッチパネル１１５から指を離した場合には、操作対象サムネイル４３ｏの上下に１枚ずつのみ第２サムネイル４４が表示されてもよい。
【０１１０】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【０１１１】
上述の各実施形態では、早送り／巻き戻しの速度が一定である場合について説明がなされたが、当該早送り／巻き戻し速度が可変される場合でもサムネイルは表示されうる。図１５は、ＰＶＲ１００が早送り／巻き戻し速度を可変するとともにサムネイルを表示する場合の動作の流れを示したフローチャートである。この例では、ＰＶＲ１００が、早送り／巻き戻しキー（左右キー）を押下する時間が長くなるに応じてその速度が上がっていくように構成されている場合を説明する。しかし、例えば早送り／巻き戻しキー押されるたびにその速度が上がる場合や、異なる倍速ごとに異なるキーが用意されている場合でも同様の処理が可能である。また、この例では５倍速が最高倍速とされているが、それ以上の倍速再生が可能であっても構わない。
【０１１２】
同図に示すように、ＣＰＵ１２は、早送り／巻き戻し操作を検出すると（ステップ１５１のＹｅｓ）、まず２倍速で動画コンテンツの早送り／巻き戻し処理を行う（ステップ１５２）。
【０１１３】
続いてＣＰＵ１２は、早送り／巻き戻し操作が検出されてから一定時間（例えば５秒程度）経過したか否か（早送り／巻き戻し操作が一定時間継続しているか否か）を判断する（ステップ１５３）。
【０１１４】
一定時間が経過したと判断した場合（ステップ１５３のＹｅｓ）、ＣＰＵ１２は、３倍速で動画コンテンツの早送り／巻き戻し処理を行う（ステップ１５４）。
【０１１５】
同様に、それからさらに一定時間が経過した場合（ステップ１５５のＹｅｓ）には、ＣＰＵ１２は、５倍速で動画コンテンツの早送り／巻き戻し処理を行う（ステップ１５６）。
【０１１６】
そして、さらに一定時間が経過した場合（ステップ１５６のＹｅｓ）には、ＣＰＵ１２は、早送り操作か巻き戻し操作かに応じて、上記第１実施形態で説明したのと同様に、早送り中または巻き戻し中の動画コンテンツのフレームを含む前後のフレームの第１サムネイル４３を表示する（ステップ１５８）。
【０１１７】
その後、上記上下キーの操作等があった場合には、ＣＰＵ１２は、上述の第１実施形態と同様に第２サムネイル４４を表示する。
【０１１８】
一方、上記各ステップ１５３、１５５、１５７において一定時間が経過せずに早送り／巻き戻し操作が中止された場合には、ＣＰＵ１２は、その時点から動画コンテンツの再生を再開する（ステップ１５９）。
【０１１９】
このように、ＣＰＵ１２は、早送りまたは巻き戻しの速度が最大速度になった場合にはじめて第１サムネイル４３を表示することで、高速サーチ時であっても、ユーザの目では追えないフレームをサムネイルとしてユーザに認識させ、ユーザに所望のシーンを見つけ出させることができる。
【０１２０】
上述の各実施形態においては、図５で説明したように、早送り／巻き戻しボタンの押下が中止され、かつ、操作対象サムネイル４３ｏ上で上下キーが押下された場合に上下方向の第２サムネイル４３が表示された。しかし、ＰＶＲ１００は、当該操作対象サムネイル４３ｏへの上下キー操作を待つことなく、早送り／巻き戻しボタンの押下が中止された時点で自動的に第２サムネイル４３を表示してもよい。
【０１２１】
また上述の各実施形態では、第１サムネイル４３の表示後であって、早送り／巻き戻し操作が中止された後に第２サムネイル４４が表示されていた。しかし、早送り／巻き戻し操作の中止前に、第１サムネイル４３の表示と同時またはその表示に遅れて第２サムネイル４４が表示されてもよい。この場合、早送り／巻き戻し速度が所定倍速になった場合に第２サムネイル４４が表示されてもよいし、さらに、早送り／巻き戻し速度が速くなるに応じて、表示される第２サムネイル４４の枚数を増加させてもよい。例えば、通常倍速（２倍速）では第１サムネイル４３のみ表示され、３倍速になると操作対象サムネイル４３ｏの上下１枚ずつの第２サムネイル４４が表示され、５倍速になるとさらに上下もう１枚ずつの第２サムネイル４４が表示されてもよい。
【０１２２】
上述の各実施形態においては、第１サムネイル４３が水平方向へ、第２サムネイル４３が垂直方向へ表示される例を示したが、これらサムネイルの表示方向はこれらの方向に限られない。また、例えば、第１サムネイル４３が垂直方向へ、第２サムネイル４３が水平方向へ表示されてもよい。この場合で、操作にリモコンＲが用いられる場合には、上下キーで早送り／巻き戻し操作が入力され、左右キーで第２サムネイル４３に対する操作が入力されてもよい。さらに、第１サムネイル４３及び第２サムネイル４３が表示される位置も、ディスプレイの下部に限られず、上部や左右部に表示されてもよい。
【０１２３】
上述の各実施形態においては、動画コンテンツはＰＶＲ１００のＨＤＤ８や携帯端末２００のフラッシュメモリ１１３に記憶されていたが、当該動画コンテンツは、ＰＶＲ１００または携帯端末２００の外部のネットワーク上に記憶されていてもよい。すなわち、当該動画コンテンツは、例えばネットワーク上のサーバからストリーミング再生されるものであってもよい。この場合も、当該ストリーミング再生される動画コンテンツに対する早送り／巻き戻し操作に応じて、上述の各実施形態と同様にサムネイルが表示される。
【０１２４】
上記第２実施形態の図１２及び図１３で示した処理は、タッチパネルを有する携帯端末２００においてユーザの指により操作される処理として説明した。しかし、当該処理は、タッチパネルを有さない情報処理装置においても、例えばマウスやタッチパッド等、ドラッグ操作が可能なポインティングデバイスにより同様に実行されうる。
【０１２５】
上述の各実施形態においては、本発明がＰＶＲ及び携帯端末に適用された例が説明されたが、本発明は、例えばノート型ＰＣ、デスクトップ型ＰＣ、タブレット型ＰＣ、サーバ装置、デジタルスチルカメラ、デジタルビデオカメラ、テレビジョン装置、ゲーム機器、カーナビゲーション装置、監視カメラ（ネットワークカメラ）用の動画記録再生装置等、他のあらゆる情報処理装置にも同様に適用可能である。
【符号の説明】
【０１２６】
Ｒ…リモートコントローラ（リモコン）
Ｄ…ディスプレイ
４…デコーダ
７…再生部
８…ＨＤＤ
１２…ＣＰＵ
１３…フラッシュメモリ
１５…操作入力部
２１…ユーザインタフェース制御部
２２…サムネイル表示部
２３…サムネイル保存部
２４…動画コンテンツ再生部
２５…動画コンテンツ保存部
４１…動画表示領域
４３…第１サムネイル
４３ｏ…操作対象サムネイル
４４…第２サムネイル
１００…ＰＶＲ
１１１…ＣＰＵ
１１３…フラッシュメモリ
１１４…ディスプレイ
１１５…タッチパネル
２００…携帯端末
【特許請求の範囲】
【請求項１】
複数のフレームを有する映像データと、当該複数のフレームに対応する複数のサムネイル画像とを記憶する記憶部と、
前記記憶された映像データを再生する再生部と、
前記再生された映像データを表示部へ出力する出力部と、
ユーザの操作を検出する操作検出部と、
前記映像データの再生中に、当該映像データの早送りまたは巻き戻しのための第１の操作が検出された場合に、当該第１の操作に応じて、当該検出時に出力されていた映像データのフレームよりも再生位置が後または前のフレームを前記表示部へ順次出力し、前記第１の操作の検出が所定時間継続したときに、前記第１の操作に応じて出力されるフレームのサムネイル画像を含む第１の時間間隔毎の複数の第１のサムネイル画像を、前記表示部へ第１の方向へ並べて順次出力し、前記第１の操作が検出されなくなった場合に、前記出力された第１のサムネイル画像のうち１つを基準として、前記第１の時間間隔よりも大きい第２の時間間隔毎の複数の第２のサムネイル画像を、前記第１の方向とは異なる第２の方向へ並べて前記表示部へ出力するように前記出力部を制御し、いずれか１つの前記第１のサムネイル画像または前記第２のサムネイル画像を選択するためのユーザの第２の操作が検出された場合に、当該選択された第１のサムネイル画像または当該第２のサムネイル画像に対応するフレームから前記映像データを再生するように前記再生部を制御する制御部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記制御部は、前記第２のサムネイル画像を、前記出力された複数の第１のサムネイル画像のうち、前記第１の方向における前記表示部の中心からずれた位置に出力された第１のサムネイル画像を基準として前記第２のサムネイル画像を出力するように前記出力部を制御する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記制御部は、前記第２のサムネイル画像を、前記出力された複数の第１のサムネイル画像のうち、前記第１の方向における最端部に出力された第１のサムネイル画像に隣接する第１のサムネイル画像を基準として前記第２のサムネイル画像を出力するように前記出力部を制御する
情報処理装置。
【請求項４】
請求項１記載の情報処理装置であって、
前記制御部は、前記出力された複数の第２のサムネイル画像のうち１つを選択する前記第２の操作が入力された場合、前記選択された第２のサムネイル画像を、当該第２の操作前に前記基準となる第１のサムネイル画像が出力されていた位置に移動させ、当該移動された第２のサムネイル画像を基準として前記複数の第２のサムネイル画像を出力するように前記出力部を制御する
情報処理装置。
【請求項５】
請求項１に記載の情報処理装置であって、
前記制御部は、前記第１の操作の継続時間に応じて前記映像データの早送りまたは巻き戻しの速度を第１の速度から第２の速度まで可変することが可能であり、前記早送りまたは巻き戻しの速度が前記第２の速度に到達したときに、前記複数の第１のサムネイル画像を出力するように前記出力部を制御する
情報処理装置。
【請求項６】
請求項１に記載の情報処理装置であって、
前記制御部は、前記複数の第１のサムネイル画像及び前記複数の第２のサムネイル画像が出力された状態で、前記基準となる第１のサムネイル画像を前記第１の方向にドラッグする操作が検出された場合に、当該操作に応じて、当該基準となる第１のサムネイル画像と、当該第１のサムネイル画像を基準として出力されている前記複数の第２のサムネイル画像とを連動させて前記第１の方向に移動させるとともに、前記出力される複数の第１のサムネイル画像を更新するように前記出力部を制御する
情報処理装置。
【請求項７】
請求項１に記載の情報処理装置であって、
前記制御部は、前記複数の第１のサムネイル画像及び前記複数の第２のサムネイル画像が出力された状態で、いずれか１つの前記第２のサムネイル画像を前記第１の方向にドラッグする操作が検出された場合に、当該操作に応じて、全ての前記複数の第２のサムネイル画像を前記第１の方向に移動させるとともに、当該移動位置に存在する第１のサムネイル画像が基準となるように前記複数の第２のサムネイル画像を更新するように前記出力部を制御する
情報処理装置。
【請求項８】
請求項１に記載の情報処理装置であって、
前記操作検出部は、前記表示部と一体的に構成されたタッチパネルを有し、
前記制御部は、前記第１の操作が検出されなくなった場合であって、かつ、前記出力された前記複数の第１のサムネイル画像のうちいずれかをピンチアウトする操作が検出された場合に、当該ピンチアウトされた第１のサムネイル画像を基準として前記複数の第２のサムネイル画像を出力するように前記出力部を制御する
情報処理装置。
【請求項９】
複数のフレームを有する映像データと、当該複数のフレームに対応する複数のサムネイル画像とを記憶し、
前記記憶された映像データを再生し、
前記再生された映像データを表示部へ出力し、
前記映像データの再生中に、当該映像データの早送りまたは巻き戻しのための第１の操作が検出された場合に、当該第１の操作に応じて、当該検出時に出力されていた映像データのフレームよりも再生位置が後または前のフレームを表示部へ順次出力し、
前記第１の操作の検出が所定時間継続したときに、前記第１の操作に応じて出力されるフレームのサムネイル画像を含む第１の時間間隔毎の複数の第１のサムネイル画像を、前記表示部へ第１の方向へ並べて順次出力し、
前記第１の操作が検出されなくなった場合に、前記出力された第１のサムネイル画像のうち１つを基準として、前記第１の時間間隔よりも大きい第２の時間間隔毎の複数の第２のサムネイル画像を、前記第１の方向とは異なる第２の方向へ並べて前記表示部へ出力し、
いずれか１つの前記第１のサムネイル画像または前記第２のサムネイル画像を選択するためのユーザの第２の操作が検出された場合に、当該選択された第１のサムネイル画像または当該第２のサムネイル画像に対応するフレームから前記映像データを再生する
情報処理方法。
【請求項１０】
情報処理装置に、
複数のフレームを有する映像データと、当該複数のフレームに対応する複数のサムネイル画像とを記憶するステップと、
前記記憶された映像データを再生するステップと、
前記再生された映像データを表示部へ出力するステップと、
前記映像データの再生中に、当該映像データの早送りまたは巻き戻しのための第１の操作が検出された場合に、当該第１の操作に応じて、当該検出時に出力されていた映像データのフレームよりも再生位置が後または前のフレームを前記表示部へ順次出力するステップと、
前記第１の操作の検出が所定時間継続したときに、前記第１の操作に応じて出力されるフレームのサムネイル画像を含む第１の時間間隔毎の複数の第１のサムネイル画像を、前記表示部へ第１の方向へ並べて順次出力するステップと、
前記第１の操作が検出されなくなった場合に、前記出力された第１のサムネイル画像のうち１つを基準として、前記第１の時間間隔よりも大きい第２の時間間隔毎の複数の第２のサムネイル画像を、前記第１の方向とは異なる第２の方向へ並べて前記表示部へ出力するステップと、
いずれか１つの前記第１のサムネイル画像または前記第２のサムネイル画像を選択するためのユーザの第２の操作が検出された場合に、当該選択された第１のサムネイル画像または当該第２のサムネイル画像に対応するフレームから前記映像データを再生するステップと
を実行させるプログラム。
【請求項１】
複数のフレームを有する映像データと、当該複数のフレームに対応する複数のサムネイル画像とを記憶する記憶部と、
前記記憶された映像データを再生する再生部と、
前記再生された映像データを表示部へ出力する出力部と、
ユーザの操作を検出する操作検出部と、
前記映像データの再生中に、当該映像データの早送りまたは巻き戻しのための第１の操作が検出された場合に、当該第１の操作に応じて、当該検出時に出力されていた映像データのフレームよりも再生位置が後または前のフレームを前記表示部へ順次出力し、前記第１の操作の検出が所定時間継続したときに、前記第１の操作に応じて出力されるフレームのサムネイル画像を含む第１の時間間隔毎の複数の第１のサムネイル画像を、前記表示部へ第１の方向へ並べて順次出力し、前記第１の操作が検出されなくなった場合に、前記出力された第１のサムネイル画像のうち１つを基準として、前記第１の時間間隔よりも大きい第２の時間間隔毎の複数の第２のサムネイル画像を、前記第１の方向とは異なる第２の方向へ並べて前記表示部へ出力するように前記出力部を制御し、いずれか１つの前記第１のサムネイル画像または前記第２のサムネイル画像を選択するためのユーザの第２の操作が検出された場合に、当該選択された第１のサムネイル画像または当該第２のサムネイル画像に対応するフレームから前記映像データを再生するように前記再生部を制御する制御部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記制御部は、前記第２のサムネイル画像を、前記出力された複数の第１のサムネイル画像のうち、前記第１の方向における前記表示部の中心からずれた位置に出力された第１のサムネイル画像を基準として前記第２のサムネイル画像を出力するように前記出力部を制御する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記制御部は、前記第２のサムネイル画像を、前記出力された複数の第１のサムネイル画像のうち、前記第１の方向における最端部に出力された第１のサムネイル画像に隣接する第１のサムネイル画像を基準として前記第２のサムネイル画像を出力するように前記出力部を制御する
情報処理装置。
【請求項４】
請求項１記載の情報処理装置であって、
前記制御部は、前記出力された複数の第２のサムネイル画像のうち１つを選択する前記第２の操作が入力された場合、前記選択された第２のサムネイル画像を、当該第２の操作前に前記基準となる第１のサムネイル画像が出力されていた位置に移動させ、当該移動された第２のサムネイル画像を基準として前記複数の第２のサムネイル画像を出力するように前記出力部を制御する
情報処理装置。
【請求項５】
請求項１に記載の情報処理装置であって、
前記制御部は、前記第１の操作の継続時間に応じて前記映像データの早送りまたは巻き戻しの速度を第１の速度から第２の速度まで可変することが可能であり、前記早送りまたは巻き戻しの速度が前記第２の速度に到達したときに、前記複数の第１のサムネイル画像を出力するように前記出力部を制御する
情報処理装置。
【請求項６】
請求項１に記載の情報処理装置であって、
前記制御部は、前記複数の第１のサムネイル画像及び前記複数の第２のサムネイル画像が出力された状態で、前記基準となる第１のサムネイル画像を前記第１の方向にドラッグする操作が検出された場合に、当該操作に応じて、当該基準となる第１のサムネイル画像と、当該第１のサムネイル画像を基準として出力されている前記複数の第２のサムネイル画像とを連動させて前記第１の方向に移動させるとともに、前記出力される複数の第１のサムネイル画像を更新するように前記出力部を制御する
情報処理装置。
【請求項７】
請求項１に記載の情報処理装置であって、
前記制御部は、前記複数の第１のサムネイル画像及び前記複数の第２のサムネイル画像が出力された状態で、いずれか１つの前記第２のサムネイル画像を前記第１の方向にドラッグする操作が検出された場合に、当該操作に応じて、全ての前記複数の第２のサムネイル画像を前記第１の方向に移動させるとともに、当該移動位置に存在する第１のサムネイル画像が基準となるように前記複数の第２のサムネイル画像を更新するように前記出力部を制御する
情報処理装置。
【請求項８】
請求項１に記載の情報処理装置であって、
前記操作検出部は、前記表示部と一体的に構成されたタッチパネルを有し、
前記制御部は、前記第１の操作が検出されなくなった場合であって、かつ、前記出力された前記複数の第１のサムネイル画像のうちいずれかをピンチアウトする操作が検出された場合に、当該ピンチアウトされた第１のサムネイル画像を基準として前記複数の第２のサムネイル画像を出力するように前記出力部を制御する
情報処理装置。
【請求項９】
複数のフレームを有する映像データと、当該複数のフレームに対応する複数のサムネイル画像とを記憶し、
前記記憶された映像データを再生し、
前記再生された映像データを表示部へ出力し、
前記映像データの再生中に、当該映像データの早送りまたは巻き戻しのための第１の操作が検出された場合に、当該第１の操作に応じて、当該検出時に出力されていた映像データのフレームよりも再生位置が後または前のフレームを表示部へ順次出力し、
前記第１の操作の検出が所定時間継続したときに、前記第１の操作に応じて出力されるフレームのサムネイル画像を含む第１の時間間隔毎の複数の第１のサムネイル画像を、前記表示部へ第１の方向へ並べて順次出力し、
前記第１の操作が検出されなくなった場合に、前記出力された第１のサムネイル画像のうち１つを基準として、前記第１の時間間隔よりも大きい第２の時間間隔毎の複数の第２のサムネイル画像を、前記第１の方向とは異なる第２の方向へ並べて前記表示部へ出力し、
いずれか１つの前記第１のサムネイル画像または前記第２のサムネイル画像を選択するためのユーザの第２の操作が検出された場合に、当該選択された第１のサムネイル画像または当該第２のサムネイル画像に対応するフレームから前記映像データを再生する
情報処理方法。
【請求項１０】
情報処理装置に、
複数のフレームを有する映像データと、当該複数のフレームに対応する複数のサムネイル画像とを記憶するステップと、
前記記憶された映像データを再生するステップと、
前記再生された映像データを表示部へ出力するステップと、
前記映像データの再生中に、当該映像データの早送りまたは巻き戻しのための第１の操作が検出された場合に、当該第１の操作に応じて、当該検出時に出力されていた映像データのフレームよりも再生位置が後または前のフレームを前記表示部へ順次出力するステップと、
前記第１の操作の検出が所定時間継続したときに、前記第１の操作に応じて出力されるフレームのサムネイル画像を含む第１の時間間隔毎の複数の第１のサムネイル画像を、前記表示部へ第１の方向へ並べて順次出力するステップと、
前記第１の操作が検出されなくなった場合に、前記出力された第１のサムネイル画像のうち１つを基準として、前記第１の時間間隔よりも大きい第２の時間間隔毎の複数の第２のサムネイル画像を、前記第１の方向とは異なる第２の方向へ並べて前記表示部へ出力するステップと、
いずれか１つの前記第１のサムネイル画像または前記第２のサムネイル画像を選択するためのユーザの第２の操作が検出された場合に、当該選択された第１のサムネイル画像または当該第２のサムネイル画像に対応するフレームから前記映像データを再生するステップと
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１１】
【図１５】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１１】
【図１５】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１２３８６６（Ｐ２０１２−１２３８６６Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７２９２９（Ｐ２０１０−２７２９２９）
【出願日】平成２２年１２月７日（２０１０．１２．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月７日（２０１０．１２．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]