記録再生装置及び記録再生方法
【課題】複数の番組で放送されたような出現頻度の高い映像を効率的に抽出し再生することが可能な記録再生装置及び記録再生方法を提供する。
【解決手段】記録再生装置は、番組の画像フレームの画像特徴量を取得する画像特徴量取得部と、前記画像特徴量が一致または近似する近似画像フレームを前記画像フレームから検出する近似画像フレーム検出部と、記録された番組に対して前記近似画像フレームが連続する連続区間が重複する重複区間を検出する重複区間検出部と、前記重複区間毎に前記重複区間の重複数を算出する重複数算出部とを有する。
【解決手段】記録再生装置は、番組の画像フレームの画像特徴量を取得する画像特徴量取得部と、前記画像特徴量が一致または近似する近似画像フレームを前記画像フレームから検出する近似画像フレーム検出部と、記録された番組に対して前記近似画像フレームが連続する連続区間が重複する重複区間を検出する重複区間検出部と、前記重複区間毎に前記重複区間の重複数を算出する重複数算出部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、放送番組の記録及び再生が可能である記録再生装置及び記録再生方法に関する。
【背景技術】
【０００２】
近年、地上デジタル放送、ＢＳ／ＣＳデジタル放送が本格的に運用され、多くの番組が高画質、高音質で視聴できる環境が整ってきた。デジタル放送は、電子番組表（ＥＰＧ（Electronic Program Guide））の仕組みが備えられており、約１週間先までの番組表が表示でき、放送時間や出演者など、番組内容の表示や知りたい情報の検索、番組の視聴予約や録画予約を行うことができる。
【０００３】
チャンネル数の増加に伴い、利用者が視聴したい番組の放送時間が増大し、また放送時間が重複したりすることが起きるため、番組を録画して利用者の都合に合わせた時間に視聴する機会が増えてきた。複数のチューナと比較的大きな記憶容量を有する記録装置を用いて、複数のチャネルの番組を同時に録画できるデジタル放送受信機が登場している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−６０６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
多数のチューナを搭載し比較的大きな録画容量を持つ記録装置を内蔵したり、または外部接続した放送番組の記録再生装置においては、複数の番組について同時に録画を行うことができ、録画した多数の番組の中から所望の番組を選択して再生することが可能となった。このような録画された番組の再生においては、視聴者が視聴する際に番組を容易に、効率的に選択できることが求められている。
【０００６】
従来、ニュース番組やワイドショー等の番組で取り上げられた報道等の頻度情報(ランキング情報)は、放送局が作成した番組の情報やインターネット上の情報等に限られていた。従って利用者がその時点で注目すべき報道を知りたいときには、パソコン等によってインターネット上のランキング情報を調査し、録画再生装置に記録された多数の番組を検索するという手間が必要であった。
【０００７】
本発明の目的は、上記したような事情に鑑み成されたものであって、複数の番組で放送されたような出現頻度の高い映像を効率的に抽出し再生することが可能な記録再生装置及び記録再生方法を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、実施形態によれば、記録再生装置は、番組の画像フレームの画像特徴量を取得する画像特徴量取得部と、前記画像特徴量が一致または近似する近似画像フレームを前記画像フレームから検出する近似画像フレーム検出部と、記録された番組に対して前記近似画像フレームが連続する連続区間が重複する重複区間を検出する重複区間検出部と、前記重複区間毎に前記重複区間の重複数を算出する重複数算出部とを有する。
【図面の簡単な説明】
【０００９】
【図１】実施形態における記録再生装置の概観斜視図。
【図２】実施形態に係わる記録再生装置の構成を示したブロック図。
【図３】実施形態における近似画像取得部の機能ブロック図。
【図４】実施形態におけるリモコンの概観図。
【図５】近似画像フレームの連続区間を説明するための図。
【図６】重複区間と重複数を説明するための図。
【図７】重複区間と重複数を説明するための別の図。
【図８】重複区間と重複数を説明するための更に別の図。
【図９】近似画像フレーム検出処理の動作手順の例を示したフローチャート。
【図１０】ランク付け処理の動作手順の例を示したフローチャート。
【図１１】画面にランク付けされた映像のサムネイルが表示された状態を示した図。
【発明を実施するための形態】
【００１０】
以下実施形態について図面を参照しながら説明する。図１は、実施形態に係る記録再生装置１の概観斜視図である。記録再生装置１は、デジタル放送を受信し、受信した放送番組の記録及び再生が可能であって、画面に放送番組の映像を表示するデジタルテレビ等の記録再生装置である。あるいは、デジタル放送を受信し、受信した放送番組の記録及び再生が可能なＤＶＤ（Digital Versatile Disc）レコーダやBlu-ray（登録商標）レコーダ等であってもよい。
【００１１】
記録再生装置１は、筐体２と、筐体２を支持するスタンド３を備えている。筐体２は前面側に液晶パネルやＰＤＰ（Plasma Display Panel）パネル等の表示パネル４が配置され、表示パネル４の背面側に表示パネル４を支持する図示しないフレームが配置されている。フレームには表示パネル４を駆動するための図示しない回路基板や電源回路が設置されている。
【００１２】
筐体２は、筐体２の前面側と上面、底面、両側側面の一部を覆う前面カバー５と、筐体２の背面側と上面、底面、両側側面の一部を覆う背面カバー６とによって外面が囲まれている。画面７は、表示パネル４の前面カバー６の窓部５ａの内側の表示部分である。
【００１３】
リモコン８は赤外線あるいはBluetooth（登録商標）等による無線通信を利用して、記録再生装置１の操作受信部へ操作信号を送る操作機器である。
【００１４】
図２は、実施形態に係る記録再生装置１の構成を示したブロック図である。アンテナ１０は、放送局１１から送信された放送電波を受信するための地上デジタル放送あるいは衛星デジタル放送用のアンテナである。チューナ１２は、地上デジタル放送、衛星デジタル放送あるいはケーブルテレビ放送の放送信号の中から所望のチャンネルの放送信号を選局する。チューナ１２は、複数のチューナユニットから構成されており、同時に複数の放送を受信することができる。アンテナ端子１２ａはアンテナ１０が接続される端子である。
【００１５】
復調器１３は、各々のデジタル放送の変調方式に対応して復調する。地上デジタル放送の信号は、ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調で、衛星デジタル放送の信号は、ＰＳＫ（Phase Shift Keying）復調で、ＭＰＥＧ（Moving Picture Experts Group）−ＴＳ（Transport Stream）に復調され、デコード処理部１４に出力される。また、復調器１３は、送受信部３４を介してインターネット等のネットワーク３５から受信したＩＰ放送を復調する。
【００１６】
デコード処理部１４は、ＭＰＥＧデコーダ、映像音声デコーダ等の機能を有する。デコード処理部１４は、復調器１３から送信されたＭＰＥＧ−ＴＳデータをセクション化して、番組情報のデータをデコードする。映像ＰＥＳ（Packetized Elementary Stream）に対しては映像ＥＳ（Elementary Stream)化、音声ＰＥＳに対しては音声ＥＳ化を行って映像データ及び音声データをデコードする。
【００１７】
また、デコード処理部１４は、記録装置１５から入力された映像データ及び音声データをデコードする。更に、デコード処理部１４は、外部記録装置３３から入力された映像データ及び音声データをデコードする機能を有する。
【００１８】
記録装置１５は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）あるいはＯＤＤ（Optical Disc Drive）等を含む記録手段である。記録装置１５には情報を記録再生するためのエンコーダとデコーダが搭載されており、該エンコーダとデコーダを介してＭＰＥＧ−ＴＳデータが記録装置１５の記録再生形態に適したフォーマットに変調されＨＤＤ、ＳＳＤあるいはＯＤＤに記録され、また再生される。再生データは、デコード処理部１４でデコードされる。
【００１９】
重畳処理部１６は、デコード処理部１４からの映像データと、バス２１を介して転送されるデータ放送やＧＵＩ（Graphical User Interface）制御部３５によるウィンドウ描画をプレーン管理して、映像データとの重ね合わせを行い、映像処理部１７に送る。
【００２０】
映像処理部１７は、表示装置１８で表示可能なフォーマット（画素数、フレーム周波数、走査方式）に変換したり、表示色を任意に調整したりして、表示装置１８に出力して映像を画面７に表示させる。
【００２１】
音声処理部１９は、デコード処理部１４から伝送されたデジタルの音声データを、スピーカ２０あるいはイヤーホーンで再生可能なアナログ音声信号に変換した後、スピーカ２０あるいはイヤーホーンに出力して音声を再生させる。なお、表示装置１８やスピーカ２０は記録再生装置１の外部にあってもよい。また、記録再生装置１と別の筐体に納められていてもよい。
【００２２】
記録再生装置１は、上記した受信動作を含むその全ての動作を制御部２２によって統括的に制御されている。制御部２２はＭＰＵ（Micro Processing Unit）２３が搭載されており、バス２１を介して接続された各構成要素を制御する。
【００２３】
ＲＡＭ（Random Access Memory）２４は、制御部２２のデータ処理に必要な各種データを格納するリードライト用のメモリであり、映像データ、画像フレームの情報等を格納するバッファメモリとして動作する。ＲＯＭ（Read Only Memory）２５は読出し専用のメモリであり、ＭＰＵ２３が実行する制御のプログラムなどを格納している。
【００２４】
フラッシュメモリ２６は、書き換え可能であり、電源を切ってもデータが消えない不揮発性のメモリである。フラッシュメモリ２６は、録画予約情報、録画番組情報等を記憶する機能を有する。またフラッシュメモリ２６は、近似画像記憶部３８の機能を有する。
【００２５】
操作受信部２７は、操作機器２８から送信される操作信号を受信し、制御部２２に転送する。操作機器２８は、例えば、赤外線あるいはBluetooth（登録商標）等による無線通信を利用したリモコン（リモートコントローラ、remote controller）８、有線式あるいは無線式キーボード等であり、操作信号を送出する。操作受信部２７は、これらリモコン８やキーボード等から操作信号を受信する。
【００２６】
外部インターフェース２９は、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４（Institute of Electrical and Electronic Engineers 1394）、ｅＳＡＴＡ(external Serial ATA(AT Attachment)）、ＳＤ（Secure Digital）（登録商標）メモリカード、メモリースティック（登録商標）、あるいはＨＤＭＩ（High Definition Multimedia Interface）（登録商標）等のインターフェースであり、ＵＳＢメモリやＵＳＢ外部機器、ＳＤメモリカード、メモリースティック、ＨＤＤ、ＳＳＤ、ＣＤ、ＤＶＤ、Blu-ray（登録商標）記録再生機等のドライブ類を含む外部記憶装置３０が接続される。外部記憶装置端子２９ａは外部記憶装置３０が接続される端子である。
【００２７】
記録再生装置１は、外部インターフェース２９を介して外部記憶装置３０に放送番組を記録することができる。記録装置１５または外部記憶装置３０のどちらに記録するかを利用者が選択できる。また、記録再生装置１は、外部記憶装置３０に記録された映像または音声情報を再生することができる。
【００２８】
記録再生装置１は、送受信部３１を介してインターネット等のネットワーク３２に接続されている。これにより、記録再生装置１は、ネットワーク３２上にあるサーバ３３等の機器と送受信部３１を介して情報伝送を行なうことができる。ネットワーク端子３１ａはネットワーク３２が接続される端子である。
【００２９】
図２において、制御部２２は、記録管理部３４、ＧＵＩ制御部３５、近似画像取得部３６、ランク付け部３７の機能を有する。これらの機能は、制御部２２のＭＰＵ２３が実行するアプリケーションであり、通常はＲＯＭ２５に格納されており、使用時にはＭＰＵ２３によって読み出され実行される。
【００３０】
記録管理部３４は、利用者の要求に基づいて設定された放送番組の予約情報を管理する。また、記録管理部３４は、予約された番組の記録処理、また視聴中の番組の記録処理を行う。さらに、記録管理部３４は、記録装置１５に記録された番組を管理する。記録された番組の番組情報（放送局名、放送日時、番組名、放送概要、出演者、番組詳細、番組分類等）、記録時間、録画番組が再生済みか未再生かの区別等を、フラッシュメモリ２６、または記録装置１５に記録し、録画番組の情報を管理する。記録管理部３４は、録画番組リストの生成、録画番組の再生や削除、編集等の処理を実行する。
【００３１】
ＧＵＩ制御部３５は、ＧＵＩ（Graphical User Interface）データを生成し、この生成されたＧＵＩデータはバス２１を介して重畳処理部１６へ送信される。重畳処理部１６に送付されたＧＵＩデータは、例えば放送番組の映像データに重畳処理されたり、あるいはＧＵＩ単独画面として処理され、映像処理部１７へ伝送される。
【００３２】
近似画像取得部３６は、ランク付け処理において、画像特徴量、近似画像フレーム、近似画像フレームの連続区間、近似画像フレームの重複区間、重複区間の重複数を検出、取得、あるいは算出し、メモリに記憶させる機能を有する。ランク付け処理とは、同じ番組分類の番組について複数の番組で放送されたような出現頻度の高い映像を検出して出現頻度の高い順にランク付けする処理である。
【００３３】
近似画像取得部３６は、記録装置１５に番組を記録するときに復号化した一定間隔の画像フレームの画像特徴量を抽出、取得し、取得した画像特徴量が一致または近似する画像フレームを、既に記録された過去の一定時間内の同じ番組分類の番組の画像特徴量から検索して、画像特徴量が一致または近似する画像フレームの位置情報と画像特徴量をメモリに記憶させる。この動作手順を録画番組終了まで繰り返す。
【００３４】
近似画像取得部３６は、上記で蓄積された指定された番組分類の近似画像フレーム位置情報と画像特徴量とから、所定時間以上近似画像フレームが連続して存在する画像フレームの連続区間を検出する。近似画像フレームの連続区間が複数の番組について存在する場合は、重複する位置を検出し、重複区間の位置と重複数を算出し、この処理を過去の一定時間内の指定された番組分類の番組について繰り返す。このようにすることによって、近似画像取得部３６は、記録装置１５に記録された指定された番組分類の複数の番組について、近似画像フレームが連続する重複区間と重複数を取得する。
【００３５】
ランク付け部３７は、ランク付け処理において、重複区間と重複数に基づいて出現頻度の高い順にランク付けする。ランク付け部３７は、近似画像取得部３６が取得した近似画像フレームが連続する重複区間と重複数に基づいて、近似画像フレームの連続区間について重複数の多い順にランク付けする。重複数が同じ場合は、重複区間の長い方を上位ランクとする。
【００３６】
制御部２２は、ランク付け部３７によってランク付けされた順位を画面７に表示する機能を有する。また、ランク付け部３７によってランク付けされた重複区間または近似画像フレームの連続区間のサムネイル映像をランク順に並べた画面を生成し、ＧＵＩ制御部３５を介して重畳処理部１６へ送信する。利用者がリモコン８のランク表示用のボタンを押下すると、画面７にサムネイル映像が表示される。これによって、利用者は、複数の番組で放送された出現頻度の高い映像を効率的に再生、視聴することができる。
【００３７】
図３は、実施形態に係わるリモコン８の概観図である。リモコン８は赤外線あるいはBluetooth（登録商標）等による無線通信を利用して、記録再生装置１の操作受信部２７へ操作信号を送る。電源ボタン５０は、記録再生装置１の電源をオンまたはオフする。詳細には記録再生装置１を待機状態から動作状態、または動作状態から待機状態にするボタンである。
【００３８】
選局ボタン５１は、放送のチャンネル番号を直接選択する１から１２までの番号が振られたボタンである。チャネル送りボタン５２は、チャネル番号を順送りまたは逆送りで選局するボタンであり、選局ボタン５０と同様にチャネルを選局するときに用いられる。音量調整ボタン５３は、番組を視聴するときのスピーカの音量を調整するボタンである。
【００３９】
カーソルボタン５４は表示装置１８の画面７に表示されたＧＵＩ画面の各種の情報ウィンドウ内のカーソルの移動や各種項目の選択ボタンの移動を行うためのボタンである。カーソルボタン５４は十字ボタン、方向指示ボタンとも呼ばれる。左方向カーソルボタン５４ａはカーソルを左方向に移動させるときに用いるボタンである。右方向カーソルボタン５４ｂ、上方向カーソルボタン５４ｃ、下方向カーソルボタン５４ｄはそれぞれカーソルを右方向、上方向、下方向に移動させるときに用いる。決定ボタン５５は、カーソルボタン５４ａ〜５４ｄで移動した先の位置または画面上のボタンを実行するときに用いられる。
【００４０】
番組表ボタン５６は、番組表を画面７に表示するときに操作する専用の操作ボタンである。メニューボタン５７は、記録再生装置１に用意された各種の設定メニューを表示するときに押下するボタンである。利用者は、階層表示された複数の項目の中から目的の設定項目をカーソルボタン５４を用いて選択する。戻るボタン５８は一つ前の操作段階の画面へ戻るときに使うボタンである。終了ボタン５９は、一連の操作を終了するときに操作するボタンである。
【００４１】
４色の色ボタン６０は、左から青ボタン６０ａ、赤ボタン６０ｂ、緑ボタン６０ｃ、黄ボタン６０ｄの順に配置されている。画面７上に色により区別された項目や色による選択の表示があるときに使用する。記録装置操作ボタン６１は、記録再生装置１の記録装置１５に記録された番組を再生する際に、再生、停止、一時停止、早送り再生、早戻し再生、次番組スキップ、先頭戻り・前番組スキップするためのボタンである。録画番組ボタン６２は、画面７に録画番組の番組表を表示させるときに操作するボタンである。ランク表示ボタン６３は、ニュースやワイドショーの出現頻度の高い映像シーンの自動ランキングの画像を表示させるときに操作するボタンである。
【００４２】
図４は、近似画像取得部３６の機能ブロック図である。近似画像取得部３６は、画像特徴量取得部４０、近似画像フレーム検出部４１、連続区間検出部４２、重複区間検出部４３、重複数算出部４４により構成される。
【００４３】
画像特徴量取得部４０は、記録装置１５に番組を記録するときに、デコード処理部１４によって復号化された一定間隔の画像フレームの画像特徴量を抽出、取得する。画像特徴量を抽出、取得する方法としては、例えば、画像カラーヒストグラム、ＳＩＦＴ(Scale Invariant Feature Transform)特徴量、ＨＯＧ(Histograms of Oriented Gradients)特徴量等といった周知の方法を適宜用いればよい。画像特徴量取得部４０によって取得された画像特徴量はＲＡＭ２４に一旦格納され、その後フラッシュメモリ２６の近似画像記憶部３８の画像特徴量記憶部４５に記憶される。
【００４４】
近似画像フレーム検出部４１は、取得した画像特徴量が一致または近似する画像フレームを、既に記録された過去の一定時間内の同じ番組分類の番組の画像特徴量から検出、取得する。近似画像フレーム検出部４１は、この動作手順を録画番組終了まで繰り返す。画像特徴量が一致または近似する画像フレームの位置情報は、ＲＡＭ２４に一旦格納され、その後フラッシュメモリ２６の近似画像記憶部３８の近似画像フレーム位置記憶部４６に記憶される。
【００４５】
番組分類とは、番組の内容と対象などの性質によって分けられた分類であって、例えば、地上デジタル放送においては、「ニュース／報道」、「スポーツ」、「情報／ワイドショー」、「ドラマ」、「音楽」、「バラエティ」、「映画」、「アニメ／特撮」、「ドキュメンタリー／教養」、「劇場／公演」、「趣味／教育」、「福祉」、「その他」に分類されており、これらの分類情報は番組情報の中に含まれている。利用者は出現頻度の高い映像を視聴したい場合に、上記の番組分類の中から指定することができる。
【００４６】
連続区間検出部４２は、上記で蓄積された番組の画像特徴量と近似画像フレーム位置情報とから所定時間以上近似画像が連続して存在する近似画像フレームの連続区間を検出する。所定の時間とは、例えば、５秒程度あるいは１０秒程度の時間である。５秒の場合には、近似画像が連続して５秒以上存在する画像フレームの連続区間である。一つの番組の中にこのような連続区間が複数存在する場合がある。また、指定された番組分類の他の番組にも連続区間が複数存在する場合がある。連続区間検出部４２は、利用者によって指定された番組分類の番組毎に連続区間情報を検出、取得する。取得された連続区間情報は、ＲＡＭ２４に一旦格納され、その後フラッシュメモリ２６の近似画像記憶部３８の連続区間記憶部４７に記憶される。
【００４７】
重複区間検出部４３は、指定された番組分類の番組について、画像特徴量と連続区間情報から、画像特徴量が一致または近似する画像フレームの連続区間が複数の番組について存在する場合は、重複する重複区間の位置を検出する。例えば、番組分類が「ニュース／報道」である場合に、複数のニュース番組で同じ話題のニュースが放送され、其々のニュースで同じような映像ソースが用いられることが多い。重複区間検出部４３は、このような画像フレームの連続区間が重複している重複区間の位置を検出、取得する。取得された重複区間は、ＲＡＭ２４に一旦格納され、その後フラッシュメモリ２６の近似画像記憶部３８の重複位置記憶部４８に記憶される。
【００４８】
重複数算出部４４は、連続区間情報と重複区間情報とから重複区間の重複数を算出する。例えば、５個のニュース番組において、ある話題のニュースが５個のニュースで放送され、近似する画像フレームの連続区間が５個のニュースに亘って重複していれば、重複区間の重複数は５である。他の話題のニュースが４個のニュースで放送され、近似する画像フレームの連続区間が４個のニュースに亘って重複していれば、重複区間の重複数は４である。しかしながら、他の話題のニュースが４個のニュースで放送されたとしても、近似する画像フレームの連続区間が３個のニュースでしか重複していなければ、重複区間の重複数は３である。取得された重複数は、ＲＡＭ２４に一旦格納され、その後フラッシュメモリ２６の近似画像記憶部３８の重複数記憶部４９に記憶される。
【００４９】
図５は、近似画像フレームの連続区間を説明するための図である。記録装置１５に同じ番組分類の番組１から番組４が記録されている例を示している。Ｐ１−Ｎ１は、番組１（Ｐ１）内にある話題Ｎ１に関する近似画像フレームの連続区間の一つである。Ｐ１−Ｎ２は、番組１（Ｐ１）内のＰ１−Ｎ１とは別の話題Ｎ２に関する近似画像フレームの連続区間の一つである。例えば、Ｐ１−Ｎ１はニュース番組Ｐ１の中のニュースの話題Ｎ１に関する連続区間であり、Ｐ１−Ｎ２はニュースの話題Ｎ２に関する連続区間である。
【００５０】
Ｐ２−Ｎ１は、番組２（Ｐ２）内にある話題Ｎ１（Ｐ１−Ｎ１の話題Ｎ１と同じ話題Ｎ１）に関する近似画像フレームの連続区間の一つであり、Ｐ２−Ｎ２は、番組２（Ｐ２）内の話題Ｎ２（Ｐ１−Ｎ２の話題Ｎ２と同じ話題Ｎ２）に関する近似画像フレームの連続区間の一つである。例えば、Ｐ２−Ｎ１はニュース番組２の中の話題Ｎ１（ニュース番組１の中の話題Ｎ１と同じ話題）に関する連続区間であり、Ｐ２−Ｎ２は話題Ｎ２（ニュース番組１の中の話題Ｎ２と同じ話題）に関する連続区間である。
【００５１】
同様に、Ｐ３−Ｎ１は、番組３（Ｐ３）内にある話題Ｎ１に関する近似画像フレームの連続区間の一つであり、Ｐ３−Ｎ２は、番組３（Ｐ３）内の話題Ｎ２に関する近似画像フレームの連続区間の一つである。例えば、Ｐ３−Ｎ１はニュース番組３の中の話題Ｎ１に関する連続区間であり、Ｐ３−Ｎ２は話題Ｎ２に関する連続区間である。
【００５２】
Ｐ４−Ｎ１は、番組４（Ｐ４）内にある話題Ｎ１に関する近似画像フレームの連続区間の一つであり、例えば、Ｐ４−Ｎ１はニュース番組４の中の話題Ｎ１に関する連続区間である。
【００５３】
図６は、重複区間と重複数を説明するための図である。図５で示した連続区間Ｐ１−Ｎ１、Ｐ２−Ｎ１、Ｐ３−Ｎ１、Ｐ４−Ｎ１は同じ話題や場面（ニュース番組１の中の話題Ｎ１と同じ話題）に関する連続区間であり、この連続区間の内部に画像特徴量が一致または近似する重複区間Ｒ１を含む。この例では重複数は４である。また、連続区間Ｐ１−Ｎ２、Ｐ２−Ｎ２、Ｐ３−Ｎ２は同じ話題や場面（ニュース番組１の中の話題Ｎ２と同じ話題）に関する連続区間であり、この連続区間の内部に画像特徴量が一致または近似する重複区間Ｒ２を含む。この例では重複数は３である。
【００５４】
図７は、重複区間と重複数を説明するための別の図である。連続区間Ｐ１−Ｎ１、Ｐ２−Ｎ１、Ｐ３−Ｎ１、Ｐ４−Ｎ１の中の重複区間Ｒ１の位置を一致させた場合の、連続区間Ｐ１−Ｎ１、Ｐ２−Ｎ１、Ｐ３−Ｎ１、Ｐ４−Ｎ１の位置関係を示す。
【００５５】
図８は、重複区間と重複数を説明するための更に別の図である。連続区間Ｐ１−Ｎ２、Ｐ２−Ｎ２、Ｐ３−Ｎ２の中の重複区間Ｒ２の位置を一致させた場合の、連続区間Ｐ１−Ｎ２、Ｐ２−Ｎ２、Ｐ３−Ｎ２の位置関係を示す。
【００５６】
図９は、近似画像フレーム検出処理の動作手順の例を示したフローチャートである。近似画像フレーム検出処理は、放送番組が記録装置１５に記録される時に開始される。また、記録装置１５に番組が記録された後もしくはリモコン８のランク表示ボタン６３が押下された後で実行されるようにしてもよい。
【００５７】
Ｓ１１において、復調器１３によって放送ストリームからでＭＰＥＧ映像ストリームを分離し、Ｓ１２において、デコード処理部１４によって一定間隔の画像フレームを復号化する。
【００５８】
Ｓ１３において、画像特徴量取得部４０は復号化した画像フレームの画像特徴量を抽出し、取得する。Ｓ１４において、近似画像フレーム検出部４１は、過去の一定時間内の同じ番組分類の番組の画像特徴量が一致または近似する画像フレームを検索して、近似画像フレーム位置情報を検出、取得する。
【００５９】
Ｓ１５において、画像特徴量取得部４０、近似画像フレーム検出部４１は、画像特徴量と近似画像フレーム位置情報とをフラッシュメモリ２６に記憶させる。Ｓ１６において、近似画像フレーム検出部４１は、録画番組が終了したかを判定し、録画番組が終了したならば処理を終了し、終了していないならば、Ｓ１１に戻って録画番組が終了するまで繰り返す。
【００６０】
図１０は、ランク付け処理の動作手順の例を示したフローチャートである。ランク付け処理は、リモコン８のランク表示ボタン６３が押下された後で実行される。または、メニューボタン５７の押下によって表示される設定メニューの中からランク付け処理が選択されてから実行されるようにしてもよい。
【００６１】
Ｓ２１において、連続区間検出部４２は、利用者によって指定された番組分類の番組毎に、画像フレームの画像特徴量と近似画像フレーム位置情報とから所定時間以上近似画像が連続して存在する画像フレームの連続区間を検出する。
【００６２】
Ｓ２２において、重複区間検出部４３は、指定された番組分類の番組について、画像特徴量と連続区間情報から、画像特徴量が一致または近似する画像フレームの連続区間が複数の番組に亘って存在する場合は、重複する重複区間の位置を検出する。Ｓ２３において、重複数算出部４４は、連続区間情報と重複区間情報とから重複区間の重複数を算出する。
【００６３】
Ｓ２４において、連続区間検出部４２は、過去の一定時間内の指定された番組分類の番組が残っているかを判定し、残っていたならば、Ｓ２１に戻って動作手順を繰返し、残っていないならば、Ｓ２５へ移る。
【００６４】
Ｓ２５において、ランク付け部３７は、重複区間と重複数に基づいて、重複数の多い順にランク付けする。重複数が同じ場合は、重複区間の長い方を上位ランクとする。
【００６５】
尚、利用者はランク付け処理する番組分類を指定することができる。製品出荷時の設定においては全ての番組分類になっている。また、製品出荷時の設定においてはコマーシャル（広告放送）を除くように設定されているが、これを含めるようにすることができる。コマーシャルは複数の放送局で殆ど同じ映像が使用され、しかも放送頻度が大きいため、コマーシャルを含めると上位ランクの大半をコマーシャルが占めることになる可能性が大きいためである。
【００６６】
図１１は、画面７にランク付けされた重複区間を含む映像のサムネイル７０をランク順に並べて表示された状態を示した図である。利用者がリモコンのランク表示ボタン６３を押下し、番組分類を指定すると、画面７に重複区間のサムネイルの映像が表示される。これによって、利用者は、複数の番組で放送されたような出現頻度の高い映像を効率的に再生、視聴することができる。
【００６７】
サムネイル７０ａがランク付けの順位１のサムネイルであり、サムネイル７０ｂが順位２、サムネイル７０ｃが順位３、サムネイル７０ｄが順位４、サムネイル７０ｅが順位５、サムネイル７０ｆが順位６である。注目度は重複数を表している。番組ジャンル表示ウィンドウ７１は、ランク付け処理する番組分類を表示するウィンドウである。図１１においては、番組分類を番組ジャンルと表示している。また、図１１においてはコマーシャルを除く全番組分類が対象となっていることを表示している。
【００６８】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６９】
１ 記録再生装置
７ 画面
８ リモコン
１４ デコード処理部
１６ 重畳処理部
１７ 映像処理部
１８ 表示装置
２２ 制御部
２３ ＭＰＵ
２４ ＲＡＭ
２５ ＲＯＭ
２６ フラッシュメモリ
２７ 操作受信部
２８ 操作機器
２９ 外部インターフェース
３０ 外部記憶装置
３１ 送受信部
３２ ネットワーク
３４ 記録管理部
３５ ＧＵＩ制御部
３６ 近似画像取得部
３７ ランク付け部
３８ 近似画像記憶部
４０ 画像特徴量取得部
４１ 近似画像フレーム検出部
４２ 連続区間検出部
４３ 重複区間検出部
４４ 重複数算出部
４５ 画像特徴量記憶部
４６ 近似画像フレーム位置記憶部
４７ 連続区間記憶部
４８ 重複区間記憶部
４９ 重複数記憶部
５７ メニューボタン
６３ ランク表示ボタン
７０ サムネイル
【技術分野】
【０００１】
本発明の実施形態は、放送番組の記録及び再生が可能である記録再生装置及び記録再生方法に関する。
【背景技術】
【０００２】
近年、地上デジタル放送、ＢＳ／ＣＳデジタル放送が本格的に運用され、多くの番組が高画質、高音質で視聴できる環境が整ってきた。デジタル放送は、電子番組表（ＥＰＧ（Electronic Program Guide））の仕組みが備えられており、約１週間先までの番組表が表示でき、放送時間や出演者など、番組内容の表示や知りたい情報の検索、番組の視聴予約や録画予約を行うことができる。
【０００３】
チャンネル数の増加に伴い、利用者が視聴したい番組の放送時間が増大し、また放送時間が重複したりすることが起きるため、番組を録画して利用者の都合に合わせた時間に視聴する機会が増えてきた。複数のチューナと比較的大きな記憶容量を有する記録装置を用いて、複数のチャネルの番組を同時に録画できるデジタル放送受信機が登場している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−６０６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
多数のチューナを搭載し比較的大きな録画容量を持つ記録装置を内蔵したり、または外部接続した放送番組の記録再生装置においては、複数の番組について同時に録画を行うことができ、録画した多数の番組の中から所望の番組を選択して再生することが可能となった。このような録画された番組の再生においては、視聴者が視聴する際に番組を容易に、効率的に選択できることが求められている。
【０００６】
従来、ニュース番組やワイドショー等の番組で取り上げられた報道等の頻度情報(ランキング情報)は、放送局が作成した番組の情報やインターネット上の情報等に限られていた。従って利用者がその時点で注目すべき報道を知りたいときには、パソコン等によってインターネット上のランキング情報を調査し、録画再生装置に記録された多数の番組を検索するという手間が必要であった。
【０００７】
本発明の目的は、上記したような事情に鑑み成されたものであって、複数の番組で放送されたような出現頻度の高い映像を効率的に抽出し再生することが可能な記録再生装置及び記録再生方法を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、実施形態によれば、記録再生装置は、番組の画像フレームの画像特徴量を取得する画像特徴量取得部と、前記画像特徴量が一致または近似する近似画像フレームを前記画像フレームから検出する近似画像フレーム検出部と、記録された番組に対して前記近似画像フレームが連続する連続区間が重複する重複区間を検出する重複区間検出部と、前記重複区間毎に前記重複区間の重複数を算出する重複数算出部とを有する。
【図面の簡単な説明】
【０００９】
【図１】実施形態における記録再生装置の概観斜視図。
【図２】実施形態に係わる記録再生装置の構成を示したブロック図。
【図３】実施形態における近似画像取得部の機能ブロック図。
【図４】実施形態におけるリモコンの概観図。
【図５】近似画像フレームの連続区間を説明するための図。
【図６】重複区間と重複数を説明するための図。
【図７】重複区間と重複数を説明するための別の図。
【図８】重複区間と重複数を説明するための更に別の図。
【図９】近似画像フレーム検出処理の動作手順の例を示したフローチャート。
【図１０】ランク付け処理の動作手順の例を示したフローチャート。
【図１１】画面にランク付けされた映像のサムネイルが表示された状態を示した図。
【発明を実施するための形態】
【００１０】
以下実施形態について図面を参照しながら説明する。図１は、実施形態に係る記録再生装置１の概観斜視図である。記録再生装置１は、デジタル放送を受信し、受信した放送番組の記録及び再生が可能であって、画面に放送番組の映像を表示するデジタルテレビ等の記録再生装置である。あるいは、デジタル放送を受信し、受信した放送番組の記録及び再生が可能なＤＶＤ（Digital Versatile Disc）レコーダやBlu-ray（登録商標）レコーダ等であってもよい。
【００１１】
記録再生装置１は、筐体２と、筐体２を支持するスタンド３を備えている。筐体２は前面側に液晶パネルやＰＤＰ（Plasma Display Panel）パネル等の表示パネル４が配置され、表示パネル４の背面側に表示パネル４を支持する図示しないフレームが配置されている。フレームには表示パネル４を駆動するための図示しない回路基板や電源回路が設置されている。
【００１２】
筐体２は、筐体２の前面側と上面、底面、両側側面の一部を覆う前面カバー５と、筐体２の背面側と上面、底面、両側側面の一部を覆う背面カバー６とによって外面が囲まれている。画面７は、表示パネル４の前面カバー６の窓部５ａの内側の表示部分である。
【００１３】
リモコン８は赤外線あるいはBluetooth（登録商標）等による無線通信を利用して、記録再生装置１の操作受信部へ操作信号を送る操作機器である。
【００１４】
図２は、実施形態に係る記録再生装置１の構成を示したブロック図である。アンテナ１０は、放送局１１から送信された放送電波を受信するための地上デジタル放送あるいは衛星デジタル放送用のアンテナである。チューナ１２は、地上デジタル放送、衛星デジタル放送あるいはケーブルテレビ放送の放送信号の中から所望のチャンネルの放送信号を選局する。チューナ１２は、複数のチューナユニットから構成されており、同時に複数の放送を受信することができる。アンテナ端子１２ａはアンテナ１０が接続される端子である。
【００１５】
復調器１３は、各々のデジタル放送の変調方式に対応して復調する。地上デジタル放送の信号は、ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調で、衛星デジタル放送の信号は、ＰＳＫ（Phase Shift Keying）復調で、ＭＰＥＧ（Moving Picture Experts Group）−ＴＳ（Transport Stream）に復調され、デコード処理部１４に出力される。また、復調器１３は、送受信部３４を介してインターネット等のネットワーク３５から受信したＩＰ放送を復調する。
【００１６】
デコード処理部１４は、ＭＰＥＧデコーダ、映像音声デコーダ等の機能を有する。デコード処理部１４は、復調器１３から送信されたＭＰＥＧ−ＴＳデータをセクション化して、番組情報のデータをデコードする。映像ＰＥＳ（Packetized Elementary Stream）に対しては映像ＥＳ（Elementary Stream)化、音声ＰＥＳに対しては音声ＥＳ化を行って映像データ及び音声データをデコードする。
【００１７】
また、デコード処理部１４は、記録装置１５から入力された映像データ及び音声データをデコードする。更に、デコード処理部１４は、外部記録装置３３から入力された映像データ及び音声データをデコードする機能を有する。
【００１８】
記録装置１５は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）あるいはＯＤＤ（Optical Disc Drive）等を含む記録手段である。記録装置１５には情報を記録再生するためのエンコーダとデコーダが搭載されており、該エンコーダとデコーダを介してＭＰＥＧ−ＴＳデータが記録装置１５の記録再生形態に適したフォーマットに変調されＨＤＤ、ＳＳＤあるいはＯＤＤに記録され、また再生される。再生データは、デコード処理部１４でデコードされる。
【００１９】
重畳処理部１６は、デコード処理部１４からの映像データと、バス２１を介して転送されるデータ放送やＧＵＩ（Graphical User Interface）制御部３５によるウィンドウ描画をプレーン管理して、映像データとの重ね合わせを行い、映像処理部１７に送る。
【００２０】
映像処理部１７は、表示装置１８で表示可能なフォーマット（画素数、フレーム周波数、走査方式）に変換したり、表示色を任意に調整したりして、表示装置１８に出力して映像を画面７に表示させる。
【００２１】
音声処理部１９は、デコード処理部１４から伝送されたデジタルの音声データを、スピーカ２０あるいはイヤーホーンで再生可能なアナログ音声信号に変換した後、スピーカ２０あるいはイヤーホーンに出力して音声を再生させる。なお、表示装置１８やスピーカ２０は記録再生装置１の外部にあってもよい。また、記録再生装置１と別の筐体に納められていてもよい。
【００２２】
記録再生装置１は、上記した受信動作を含むその全ての動作を制御部２２によって統括的に制御されている。制御部２２はＭＰＵ（Micro Processing Unit）２３が搭載されており、バス２１を介して接続された各構成要素を制御する。
【００２３】
ＲＡＭ（Random Access Memory）２４は、制御部２２のデータ処理に必要な各種データを格納するリードライト用のメモリであり、映像データ、画像フレームの情報等を格納するバッファメモリとして動作する。ＲＯＭ（Read Only Memory）２５は読出し専用のメモリであり、ＭＰＵ２３が実行する制御のプログラムなどを格納している。
【００２４】
フラッシュメモリ２６は、書き換え可能であり、電源を切ってもデータが消えない不揮発性のメモリである。フラッシュメモリ２６は、録画予約情報、録画番組情報等を記憶する機能を有する。またフラッシュメモリ２６は、近似画像記憶部３８の機能を有する。
【００２５】
操作受信部２７は、操作機器２８から送信される操作信号を受信し、制御部２２に転送する。操作機器２８は、例えば、赤外線あるいはBluetooth（登録商標）等による無線通信を利用したリモコン（リモートコントローラ、remote controller）８、有線式あるいは無線式キーボード等であり、操作信号を送出する。操作受信部２７は、これらリモコン８やキーボード等から操作信号を受信する。
【００２６】
外部インターフェース２９は、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４（Institute of Electrical and Electronic Engineers 1394）、ｅＳＡＴＡ(external Serial ATA(AT Attachment)）、ＳＤ（Secure Digital）（登録商標）メモリカード、メモリースティック（登録商標）、あるいはＨＤＭＩ（High Definition Multimedia Interface）（登録商標）等のインターフェースであり、ＵＳＢメモリやＵＳＢ外部機器、ＳＤメモリカード、メモリースティック、ＨＤＤ、ＳＳＤ、ＣＤ、ＤＶＤ、Blu-ray（登録商標）記録再生機等のドライブ類を含む外部記憶装置３０が接続される。外部記憶装置端子２９ａは外部記憶装置３０が接続される端子である。
【００２７】
記録再生装置１は、外部インターフェース２９を介して外部記憶装置３０に放送番組を記録することができる。記録装置１５または外部記憶装置３０のどちらに記録するかを利用者が選択できる。また、記録再生装置１は、外部記憶装置３０に記録された映像または音声情報を再生することができる。
【００２８】
記録再生装置１は、送受信部３１を介してインターネット等のネットワーク３２に接続されている。これにより、記録再生装置１は、ネットワーク３２上にあるサーバ３３等の機器と送受信部３１を介して情報伝送を行なうことができる。ネットワーク端子３１ａはネットワーク３２が接続される端子である。
【００２９】
図２において、制御部２２は、記録管理部３４、ＧＵＩ制御部３５、近似画像取得部３６、ランク付け部３７の機能を有する。これらの機能は、制御部２２のＭＰＵ２３が実行するアプリケーションであり、通常はＲＯＭ２５に格納されており、使用時にはＭＰＵ２３によって読み出され実行される。
【００３０】
記録管理部３４は、利用者の要求に基づいて設定された放送番組の予約情報を管理する。また、記録管理部３４は、予約された番組の記録処理、また視聴中の番組の記録処理を行う。さらに、記録管理部３４は、記録装置１５に記録された番組を管理する。記録された番組の番組情報（放送局名、放送日時、番組名、放送概要、出演者、番組詳細、番組分類等）、記録時間、録画番組が再生済みか未再生かの区別等を、フラッシュメモリ２６、または記録装置１５に記録し、録画番組の情報を管理する。記録管理部３４は、録画番組リストの生成、録画番組の再生や削除、編集等の処理を実行する。
【００３１】
ＧＵＩ制御部３５は、ＧＵＩ（Graphical User Interface）データを生成し、この生成されたＧＵＩデータはバス２１を介して重畳処理部１６へ送信される。重畳処理部１６に送付されたＧＵＩデータは、例えば放送番組の映像データに重畳処理されたり、あるいはＧＵＩ単独画面として処理され、映像処理部１７へ伝送される。
【００３２】
近似画像取得部３６は、ランク付け処理において、画像特徴量、近似画像フレーム、近似画像フレームの連続区間、近似画像フレームの重複区間、重複区間の重複数を検出、取得、あるいは算出し、メモリに記憶させる機能を有する。ランク付け処理とは、同じ番組分類の番組について複数の番組で放送されたような出現頻度の高い映像を検出して出現頻度の高い順にランク付けする処理である。
【００３３】
近似画像取得部３６は、記録装置１５に番組を記録するときに復号化した一定間隔の画像フレームの画像特徴量を抽出、取得し、取得した画像特徴量が一致または近似する画像フレームを、既に記録された過去の一定時間内の同じ番組分類の番組の画像特徴量から検索して、画像特徴量が一致または近似する画像フレームの位置情報と画像特徴量をメモリに記憶させる。この動作手順を録画番組終了まで繰り返す。
【００３４】
近似画像取得部３６は、上記で蓄積された指定された番組分類の近似画像フレーム位置情報と画像特徴量とから、所定時間以上近似画像フレームが連続して存在する画像フレームの連続区間を検出する。近似画像フレームの連続区間が複数の番組について存在する場合は、重複する位置を検出し、重複区間の位置と重複数を算出し、この処理を過去の一定時間内の指定された番組分類の番組について繰り返す。このようにすることによって、近似画像取得部３６は、記録装置１５に記録された指定された番組分類の複数の番組について、近似画像フレームが連続する重複区間と重複数を取得する。
【００３５】
ランク付け部３７は、ランク付け処理において、重複区間と重複数に基づいて出現頻度の高い順にランク付けする。ランク付け部３７は、近似画像取得部３６が取得した近似画像フレームが連続する重複区間と重複数に基づいて、近似画像フレームの連続区間について重複数の多い順にランク付けする。重複数が同じ場合は、重複区間の長い方を上位ランクとする。
【００３６】
制御部２２は、ランク付け部３７によってランク付けされた順位を画面７に表示する機能を有する。また、ランク付け部３７によってランク付けされた重複区間または近似画像フレームの連続区間のサムネイル映像をランク順に並べた画面を生成し、ＧＵＩ制御部３５を介して重畳処理部１６へ送信する。利用者がリモコン８のランク表示用のボタンを押下すると、画面７にサムネイル映像が表示される。これによって、利用者は、複数の番組で放送された出現頻度の高い映像を効率的に再生、視聴することができる。
【００３７】
図３は、実施形態に係わるリモコン８の概観図である。リモコン８は赤外線あるいはBluetooth（登録商標）等による無線通信を利用して、記録再生装置１の操作受信部２７へ操作信号を送る。電源ボタン５０は、記録再生装置１の電源をオンまたはオフする。詳細には記録再生装置１を待機状態から動作状態、または動作状態から待機状態にするボタンである。
【００３８】
選局ボタン５１は、放送のチャンネル番号を直接選択する１から１２までの番号が振られたボタンである。チャネル送りボタン５２は、チャネル番号を順送りまたは逆送りで選局するボタンであり、選局ボタン５０と同様にチャネルを選局するときに用いられる。音量調整ボタン５３は、番組を視聴するときのスピーカの音量を調整するボタンである。
【００３９】
カーソルボタン５４は表示装置１８の画面７に表示されたＧＵＩ画面の各種の情報ウィンドウ内のカーソルの移動や各種項目の選択ボタンの移動を行うためのボタンである。カーソルボタン５４は十字ボタン、方向指示ボタンとも呼ばれる。左方向カーソルボタン５４ａはカーソルを左方向に移動させるときに用いるボタンである。右方向カーソルボタン５４ｂ、上方向カーソルボタン５４ｃ、下方向カーソルボタン５４ｄはそれぞれカーソルを右方向、上方向、下方向に移動させるときに用いる。決定ボタン５５は、カーソルボタン５４ａ〜５４ｄで移動した先の位置または画面上のボタンを実行するときに用いられる。
【００４０】
番組表ボタン５６は、番組表を画面７に表示するときに操作する専用の操作ボタンである。メニューボタン５７は、記録再生装置１に用意された各種の設定メニューを表示するときに押下するボタンである。利用者は、階層表示された複数の項目の中から目的の設定項目をカーソルボタン５４を用いて選択する。戻るボタン５８は一つ前の操作段階の画面へ戻るときに使うボタンである。終了ボタン５９は、一連の操作を終了するときに操作するボタンである。
【００４１】
４色の色ボタン６０は、左から青ボタン６０ａ、赤ボタン６０ｂ、緑ボタン６０ｃ、黄ボタン６０ｄの順に配置されている。画面７上に色により区別された項目や色による選択の表示があるときに使用する。記録装置操作ボタン６１は、記録再生装置１の記録装置１５に記録された番組を再生する際に、再生、停止、一時停止、早送り再生、早戻し再生、次番組スキップ、先頭戻り・前番組スキップするためのボタンである。録画番組ボタン６２は、画面７に録画番組の番組表を表示させるときに操作するボタンである。ランク表示ボタン６３は、ニュースやワイドショーの出現頻度の高い映像シーンの自動ランキングの画像を表示させるときに操作するボタンである。
【００４２】
図４は、近似画像取得部３６の機能ブロック図である。近似画像取得部３６は、画像特徴量取得部４０、近似画像フレーム検出部４１、連続区間検出部４２、重複区間検出部４３、重複数算出部４４により構成される。
【００４３】
画像特徴量取得部４０は、記録装置１５に番組を記録するときに、デコード処理部１４によって復号化された一定間隔の画像フレームの画像特徴量を抽出、取得する。画像特徴量を抽出、取得する方法としては、例えば、画像カラーヒストグラム、ＳＩＦＴ(Scale Invariant Feature Transform)特徴量、ＨＯＧ(Histograms of Oriented Gradients)特徴量等といった周知の方法を適宜用いればよい。画像特徴量取得部４０によって取得された画像特徴量はＲＡＭ２４に一旦格納され、その後フラッシュメモリ２６の近似画像記憶部３８の画像特徴量記憶部４５に記憶される。
【００４４】
近似画像フレーム検出部４１は、取得した画像特徴量が一致または近似する画像フレームを、既に記録された過去の一定時間内の同じ番組分類の番組の画像特徴量から検出、取得する。近似画像フレーム検出部４１は、この動作手順を録画番組終了まで繰り返す。画像特徴量が一致または近似する画像フレームの位置情報は、ＲＡＭ２４に一旦格納され、その後フラッシュメモリ２６の近似画像記憶部３８の近似画像フレーム位置記憶部４６に記憶される。
【００４５】
番組分類とは、番組の内容と対象などの性質によって分けられた分類であって、例えば、地上デジタル放送においては、「ニュース／報道」、「スポーツ」、「情報／ワイドショー」、「ドラマ」、「音楽」、「バラエティ」、「映画」、「アニメ／特撮」、「ドキュメンタリー／教養」、「劇場／公演」、「趣味／教育」、「福祉」、「その他」に分類されており、これらの分類情報は番組情報の中に含まれている。利用者は出現頻度の高い映像を視聴したい場合に、上記の番組分類の中から指定することができる。
【００４６】
連続区間検出部４２は、上記で蓄積された番組の画像特徴量と近似画像フレーム位置情報とから所定時間以上近似画像が連続して存在する近似画像フレームの連続区間を検出する。所定の時間とは、例えば、５秒程度あるいは１０秒程度の時間である。５秒の場合には、近似画像が連続して５秒以上存在する画像フレームの連続区間である。一つの番組の中にこのような連続区間が複数存在する場合がある。また、指定された番組分類の他の番組にも連続区間が複数存在する場合がある。連続区間検出部４２は、利用者によって指定された番組分類の番組毎に連続区間情報を検出、取得する。取得された連続区間情報は、ＲＡＭ２４に一旦格納され、その後フラッシュメモリ２６の近似画像記憶部３８の連続区間記憶部４７に記憶される。
【００４７】
重複区間検出部４３は、指定された番組分類の番組について、画像特徴量と連続区間情報から、画像特徴量が一致または近似する画像フレームの連続区間が複数の番組について存在する場合は、重複する重複区間の位置を検出する。例えば、番組分類が「ニュース／報道」である場合に、複数のニュース番組で同じ話題のニュースが放送され、其々のニュースで同じような映像ソースが用いられることが多い。重複区間検出部４３は、このような画像フレームの連続区間が重複している重複区間の位置を検出、取得する。取得された重複区間は、ＲＡＭ２４に一旦格納され、その後フラッシュメモリ２６の近似画像記憶部３８の重複位置記憶部４８に記憶される。
【００４８】
重複数算出部４４は、連続区間情報と重複区間情報とから重複区間の重複数を算出する。例えば、５個のニュース番組において、ある話題のニュースが５個のニュースで放送され、近似する画像フレームの連続区間が５個のニュースに亘って重複していれば、重複区間の重複数は５である。他の話題のニュースが４個のニュースで放送され、近似する画像フレームの連続区間が４個のニュースに亘って重複していれば、重複区間の重複数は４である。しかしながら、他の話題のニュースが４個のニュースで放送されたとしても、近似する画像フレームの連続区間が３個のニュースでしか重複していなければ、重複区間の重複数は３である。取得された重複数は、ＲＡＭ２４に一旦格納され、その後フラッシュメモリ２６の近似画像記憶部３８の重複数記憶部４９に記憶される。
【００４９】
図５は、近似画像フレームの連続区間を説明するための図である。記録装置１５に同じ番組分類の番組１から番組４が記録されている例を示している。Ｐ１−Ｎ１は、番組１（Ｐ１）内にある話題Ｎ１に関する近似画像フレームの連続区間の一つである。Ｐ１−Ｎ２は、番組１（Ｐ１）内のＰ１−Ｎ１とは別の話題Ｎ２に関する近似画像フレームの連続区間の一つである。例えば、Ｐ１−Ｎ１はニュース番組Ｐ１の中のニュースの話題Ｎ１に関する連続区間であり、Ｐ１−Ｎ２はニュースの話題Ｎ２に関する連続区間である。
【００５０】
Ｐ２−Ｎ１は、番組２（Ｐ２）内にある話題Ｎ１（Ｐ１−Ｎ１の話題Ｎ１と同じ話題Ｎ１）に関する近似画像フレームの連続区間の一つであり、Ｐ２−Ｎ２は、番組２（Ｐ２）内の話題Ｎ２（Ｐ１−Ｎ２の話題Ｎ２と同じ話題Ｎ２）に関する近似画像フレームの連続区間の一つである。例えば、Ｐ２−Ｎ１はニュース番組２の中の話題Ｎ１（ニュース番組１の中の話題Ｎ１と同じ話題）に関する連続区間であり、Ｐ２−Ｎ２は話題Ｎ２（ニュース番組１の中の話題Ｎ２と同じ話題）に関する連続区間である。
【００５１】
同様に、Ｐ３−Ｎ１は、番組３（Ｐ３）内にある話題Ｎ１に関する近似画像フレームの連続区間の一つであり、Ｐ３−Ｎ２は、番組３（Ｐ３）内の話題Ｎ２に関する近似画像フレームの連続区間の一つである。例えば、Ｐ３−Ｎ１はニュース番組３の中の話題Ｎ１に関する連続区間であり、Ｐ３−Ｎ２は話題Ｎ２に関する連続区間である。
【００５２】
Ｐ４−Ｎ１は、番組４（Ｐ４）内にある話題Ｎ１に関する近似画像フレームの連続区間の一つであり、例えば、Ｐ４−Ｎ１はニュース番組４の中の話題Ｎ１に関する連続区間である。
【００５３】
図６は、重複区間と重複数を説明するための図である。図５で示した連続区間Ｐ１−Ｎ１、Ｐ２−Ｎ１、Ｐ３−Ｎ１、Ｐ４−Ｎ１は同じ話題や場面（ニュース番組１の中の話題Ｎ１と同じ話題）に関する連続区間であり、この連続区間の内部に画像特徴量が一致または近似する重複区間Ｒ１を含む。この例では重複数は４である。また、連続区間Ｐ１−Ｎ２、Ｐ２−Ｎ２、Ｐ３−Ｎ２は同じ話題や場面（ニュース番組１の中の話題Ｎ２と同じ話題）に関する連続区間であり、この連続区間の内部に画像特徴量が一致または近似する重複区間Ｒ２を含む。この例では重複数は３である。
【００５４】
図７は、重複区間と重複数を説明するための別の図である。連続区間Ｐ１−Ｎ１、Ｐ２−Ｎ１、Ｐ３−Ｎ１、Ｐ４−Ｎ１の中の重複区間Ｒ１の位置を一致させた場合の、連続区間Ｐ１−Ｎ１、Ｐ２−Ｎ１、Ｐ３−Ｎ１、Ｐ４−Ｎ１の位置関係を示す。
【００５５】
図８は、重複区間と重複数を説明するための更に別の図である。連続区間Ｐ１−Ｎ２、Ｐ２−Ｎ２、Ｐ３−Ｎ２の中の重複区間Ｒ２の位置を一致させた場合の、連続区間Ｐ１−Ｎ２、Ｐ２−Ｎ２、Ｐ３−Ｎ２の位置関係を示す。
【００５６】
図９は、近似画像フレーム検出処理の動作手順の例を示したフローチャートである。近似画像フレーム検出処理は、放送番組が記録装置１５に記録される時に開始される。また、記録装置１５に番組が記録された後もしくはリモコン８のランク表示ボタン６３が押下された後で実行されるようにしてもよい。
【００５７】
Ｓ１１において、復調器１３によって放送ストリームからでＭＰＥＧ映像ストリームを分離し、Ｓ１２において、デコード処理部１４によって一定間隔の画像フレームを復号化する。
【００５８】
Ｓ１３において、画像特徴量取得部４０は復号化した画像フレームの画像特徴量を抽出し、取得する。Ｓ１４において、近似画像フレーム検出部４１は、過去の一定時間内の同じ番組分類の番組の画像特徴量が一致または近似する画像フレームを検索して、近似画像フレーム位置情報を検出、取得する。
【００５９】
Ｓ１５において、画像特徴量取得部４０、近似画像フレーム検出部４１は、画像特徴量と近似画像フレーム位置情報とをフラッシュメモリ２６に記憶させる。Ｓ１６において、近似画像フレーム検出部４１は、録画番組が終了したかを判定し、録画番組が終了したならば処理を終了し、終了していないならば、Ｓ１１に戻って録画番組が終了するまで繰り返す。
【００６０】
図１０は、ランク付け処理の動作手順の例を示したフローチャートである。ランク付け処理は、リモコン８のランク表示ボタン６３が押下された後で実行される。または、メニューボタン５７の押下によって表示される設定メニューの中からランク付け処理が選択されてから実行されるようにしてもよい。
【００６１】
Ｓ２１において、連続区間検出部４２は、利用者によって指定された番組分類の番組毎に、画像フレームの画像特徴量と近似画像フレーム位置情報とから所定時間以上近似画像が連続して存在する画像フレームの連続区間を検出する。
【００６２】
Ｓ２２において、重複区間検出部４３は、指定された番組分類の番組について、画像特徴量と連続区間情報から、画像特徴量が一致または近似する画像フレームの連続区間が複数の番組に亘って存在する場合は、重複する重複区間の位置を検出する。Ｓ２３において、重複数算出部４４は、連続区間情報と重複区間情報とから重複区間の重複数を算出する。
【００６３】
Ｓ２４において、連続区間検出部４２は、過去の一定時間内の指定された番組分類の番組が残っているかを判定し、残っていたならば、Ｓ２１に戻って動作手順を繰返し、残っていないならば、Ｓ２５へ移る。
【００６４】
Ｓ２５において、ランク付け部３７は、重複区間と重複数に基づいて、重複数の多い順にランク付けする。重複数が同じ場合は、重複区間の長い方を上位ランクとする。
【００６５】
尚、利用者はランク付け処理する番組分類を指定することができる。製品出荷時の設定においては全ての番組分類になっている。また、製品出荷時の設定においてはコマーシャル（広告放送）を除くように設定されているが、これを含めるようにすることができる。コマーシャルは複数の放送局で殆ど同じ映像が使用され、しかも放送頻度が大きいため、コマーシャルを含めると上位ランクの大半をコマーシャルが占めることになる可能性が大きいためである。
【００６６】
図１１は、画面７にランク付けされた重複区間を含む映像のサムネイル７０をランク順に並べて表示された状態を示した図である。利用者がリモコンのランク表示ボタン６３を押下し、番組分類を指定すると、画面７に重複区間のサムネイルの映像が表示される。これによって、利用者は、複数の番組で放送されたような出現頻度の高い映像を効率的に再生、視聴することができる。
【００６７】
サムネイル７０ａがランク付けの順位１のサムネイルであり、サムネイル７０ｂが順位２、サムネイル７０ｃが順位３、サムネイル７０ｄが順位４、サムネイル７０ｅが順位５、サムネイル７０ｆが順位６である。注目度は重複数を表している。番組ジャンル表示ウィンドウ７１は、ランク付け処理する番組分類を表示するウィンドウである。図１１においては、番組分類を番組ジャンルと表示している。また、図１１においてはコマーシャルを除く全番組分類が対象となっていることを表示している。
【００６８】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６９】
１ 記録再生装置
７ 画面
８ リモコン
１４ デコード処理部
１６ 重畳処理部
１７ 映像処理部
１８ 表示装置
２２ 制御部
２３ ＭＰＵ
２４ ＲＡＭ
２５ ＲＯＭ
２６ フラッシュメモリ
２７ 操作受信部
２８ 操作機器
２９ 外部インターフェース
３０ 外部記憶装置
３１ 送受信部
３２ ネットワーク
３４ 記録管理部
３５ ＧＵＩ制御部
３６ 近似画像取得部
３７ ランク付け部
３８ 近似画像記憶部
４０ 画像特徴量取得部
４１ 近似画像フレーム検出部
４２ 連続区間検出部
４３ 重複区間検出部
４４ 重複数算出部
４５ 画像特徴量記憶部
４６ 近似画像フレーム位置記憶部
４７ 連続区間記憶部
４８ 重複区間記憶部
４９ 重複数記憶部
５７ メニューボタン
６３ ランク表示ボタン
７０ サムネイル
【特許請求の範囲】
【請求項１】
番組の画像フレームの画像特徴量を取得する画像特徴量取得部と、
前記画像特徴量が一致または近似する近似画像フレームを前記画像フレームから検出する近似画像フレーム検出部と、
記録された番組に対して前記近似画像フレームが連続する連続区間が重複する重複区間を検出する重複区間検出部と、
前記重複区間毎に前記重複区間の重複数を算出する重複数算出部と
を有する記録再生装置。
【請求項２】
前記重複数に基づいて前記重複区間をランク付けするランク付け部を有する請求項１に記載された記録再生装置。
【請求項３】
前記ランク付けに基づいてランク付けされた順位を画面に表示するランク付け表示部を有する請求項２に記載された記録再生装置。
【請求項４】
前記重複区間検出部は、指定された番組分類の番組について、前記画像特徴量と前記連続区間の情報から、前記画像特徴量が一致または近似する画像フレームの前記連続区間が複数の番組について存在する場合に重複する重複区間の位置を検出する請求項１に記載された記録再生装置。
【請求項５】
前記ランク付け部は、前記重複数が多い順にランク付けする請求項２記載に記載された記録再生装置。
【請求項６】
前記ランク付け部は、前記重複数が多い順にランク付けし、前記重複数が同じ場合には前記重複区間が長い順にランク付けする請求項２記載に記載された記録再生装置。
【請求項７】
前記ランク付け表示部は、ランク付けされた順に前記重複区間のサムネイル映像を画面に表示する請求項３記載に記載された記録再生装置。
【請求項８】
番組の記録及び再生が可能な記録再生装置における記録再生方法であって、
前記番組の画像フレームの画像特徴量を取得し、
前記画像特徴量が一致または近似する近似画像フレームを前記画像フレームから検出し、
記録された番組に対して前記近似画像フレームが連続する連続区間が重複する重複区間を検出し、
前記重複区間毎に前記重複区間の重複数を算出する記録再生方法。
【請求項９】
前記重複数に基づいて前記重複区間をランク付けする請求項８に記載された記録再生方法。
【請求項１】
番組の画像フレームの画像特徴量を取得する画像特徴量取得部と、
前記画像特徴量が一致または近似する近似画像フレームを前記画像フレームから検出する近似画像フレーム検出部と、
記録された番組に対して前記近似画像フレームが連続する連続区間が重複する重複区間を検出する重複区間検出部と、
前記重複区間毎に前記重複区間の重複数を算出する重複数算出部と
を有する記録再生装置。
【請求項２】
前記重複数に基づいて前記重複区間をランク付けするランク付け部を有する請求項１に記載された記録再生装置。
【請求項３】
前記ランク付けに基づいてランク付けされた順位を画面に表示するランク付け表示部を有する請求項２に記載された記録再生装置。
【請求項４】
前記重複区間検出部は、指定された番組分類の番組について、前記画像特徴量と前記連続区間の情報から、前記画像特徴量が一致または近似する画像フレームの前記連続区間が複数の番組について存在する場合に重複する重複区間の位置を検出する請求項１に記載された記録再生装置。
【請求項５】
前記ランク付け部は、前記重複数が多い順にランク付けする請求項２記載に記載された記録再生装置。
【請求項６】
前記ランク付け部は、前記重複数が多い順にランク付けし、前記重複数が同じ場合には前記重複区間が長い順にランク付けする請求項２記載に記載された記録再生装置。
【請求項７】
前記ランク付け表示部は、ランク付けされた順に前記重複区間のサムネイル映像を画面に表示する請求項３記載に記載された記録再生装置。
【請求項８】
番組の記録及び再生が可能な記録再生装置における記録再生方法であって、
前記番組の画像フレームの画像特徴量を取得し、
前記画像特徴量が一致または近似する近似画像フレームを前記画像フレームから検出し、
記録された番組に対して前記近似画像フレームが連続する連続区間が重複する重複区間を検出し、
前記重複区間毎に前記重複区間の重複数を算出する記録再生方法。
【請求項９】
前記重複数に基づいて前記重複区間をランク付けする請求項８に記載された記録再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２５３４６５（Ｐ２０１２−２５３４６５Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２２９５８（Ｐ２０１１−１２２９５８）
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]