録画装置
【課題】録画された動画からユーザー所望のシーンを簡易且つ迅速に抽出して表示することが可能な録画装置の提供を目的とする。
【解決手段】デジタルテレビ放送を受信して記録媒体に記録する録画装置１００において、デジタルテレビ放送に含まれる動画を構成するフレーム画像から、出演者分類ＤＢ７０に登録された出演者の顔画像を抽出し、出演者分類ＤＢ７０に登録された出演者に対応付けられているジャンルを、顔画像の抽出を行ったフレーム画像に付加する。
【解決手段】デジタルテレビ放送を受信して記録媒体に記録する録画装置１００において、デジタルテレビ放送に含まれる動画を構成するフレーム画像から、出演者分類ＤＢ７０に登録された出演者の顔画像を抽出し、出演者分類ＤＢ７０に登録された出演者に対応付けられているジャンルを、顔画像の抽出を行ったフレーム画像に付加する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は録画装置に関し、特に動画を記録媒体に記録する録画装置に関する。
【背景技術】
【０００２】
近年、多彩かつ多様な映像コンテンツが作成されており、視聴者は膨大なコンテンツの中から所望のコンテンツを探し出して視聴しなければならなくなってきている。このような実状に鑑みて、膨大なコンテンツの中から好みの番組を探し出すための各種技術が提案されている。
【０００３】
例えば、特許文献１には、映像や音声の特徴を認識することにより出演者の名前を判別し、ＥＰＧ情報等から視聴者の好みの番組を推薦する番組推薦装置について開示されている。当該番組推薦装置では、ユーザーは好みの出演者をデータベースに登録し、番組推薦装置はデータベースに登録された出演者の特徴量との相関係数が一定の範囲内になる特徴量を持った有名人を、ユーザーの好みの人物に似ている有目人として、ユーザーに推薦する。
【０００４】
また、例えば、特許文献２には、映像音声コンテンツの一部を構成するシーン属性を、ユーザーの視聴した番組から抽出して統計し、当該統計と相関性の高い番組をユーザーに推奨する番組推奨装置について開示されている。当該番組推奨装置によれば、録画された番組が番組情報や属性情報を有していない場合であっても、ユーザーの嗜好や興味に応じた番組を推奨することが出来る。
【０００５】
また、例えば、特許文献３には、フレームに対して付与されたメタデータにおけるキーワード、ジャンル、あるいはコメントの有無などの条件によって各フレームに重み付けを行い、優先度が最大となるフレームの画像からサムネイル画像を作成する映像記録装置について開示されている。当該映像記録装置によれば、視聴者にとって簡略な操作で、番組を判別するためのサムネイル画像を番組内容をよく反映したものとすることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２９６３４６号公報
【特許文献２】特開２０１０−０７４５１８号公報
【特許文献３】特開２００８−１０３７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、従来の録画装置では、番組単位での分割録画、シーンの切り換わりを検出して当該切り換わりで分割する分割録画、指定した時間単位での分割録画、が主であった。しかしながら、実際の映像は、１つの番組内でも多用なジャンルの内容を含むことがあるし、シーンが切り換わっても必ずしもジャンルが変化するとは限らない。従って、従来の手法で行われた分割録画では、ユーザーは、録画された番組の中の所望のジャンルにかかるシーンを視聴するためには、録画された番組を全て視聴するか、早送りしたりやサムネイルを参考にして所望のジャンルにかかるシーンを探し出して視聴する必要があった。
【０００８】
本発明は、前記課題に鑑みてなされたもので、録画された動画からユーザー所望のシーンを簡易且つ迅速に抽出して表示することが可能な録画装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するために、本発明にかかる録画装置では、動画を記録媒体に記録する録画装置において、動画を構成するフレーム画像毎にシーン情報を付加するシーン情報付加部を備える構成としてある。
当該構成においては、フレーム画像毎にシーン情報を付加してあるため、所望のシーン情報を付加されているフレーム画像を選択的に視聴することが可能となる。よって、録画された動画からユーザー所望のシーンを簡易且つ迅速に抽出して表示することが可能となる。
【００１０】
本発明の選択的な一態様は、特徴画像とシーン情報との対応関係を規定したデータベースを更に備え、前記シーン情報付加部は、前記データベースを参照し、前記動画のフレーム画像から画像認識により抽出された特徴画像に対応するシーン情報を当該フレーム画像に付加する構成とされる。
当該構成によれば、フレーム画像からデータベースに登録されている特徴画像を抽出し、前記データベースにおいて前記特徴画像に対応付けられているシーン情報を、前記特徴画像の抽出元であるフレーム画像に付加している。このように、予め用意されたデータベースを利用してフレーム画像に付加すべきシーン情報を決定しているため、簡易な処理でシーン情報を決定できる。
【００１１】
本発明の選択的な一態様は、前記データベースには、各特徴画像に対応付けられた各シーン情報について重みが設定されており、前記シーン情報付加部は、動画を構成するフレーム画像から抽出された特徴画像が１つであって当該特徴画像に対応付けられたシーン情報が複数の場合に、前記重みが最も大きいシーン情報を当該フレーム画像に付加する構成とされる。
当該構成によれば、フレーム画像から抽出された特徴画像に対し、前記データベースにおいて複数のシーン情報が対応付けられている場合であっても、単純な比較ロジックにより、フレーム画像に付加すべきシーン情報を適切に決定できる。
【００１２】
本発明の選択的な一態様は、前記データベースには、各特徴画像に対応付けられた各シーン情報について重みが設定されており、前記シーン情報付加部は、動画を構成するフレーム画像から複数の特徴画像が抽出された場合に、対応付けられたシーン情報が最も少ない特徴画像に対応付けられたシーン情報の中で重みが最も大きいシーン情報を当該フレーム画像に付加する構成とされる。
当該に構成よれば、前記データベースに登録された特徴画像がフレーム画像から複数抽出された場合であっても、単純な比較ロジックにより、フレーム画像に付加すべきシーン情報を適切に決定できる。
【００１３】
本発明の選択的な一態様は、前記データベースには、各特徴画像に対応付けられた各シーン情報について重みが設定されており、前記シーン情報付加部は、動画を構成するフレーム画像から複数の特徴画像が抽出された場合であって対応付けられたシーン情報が最も少ない特徴画像が複数ある場合に、各特徴画像に対応付けられたシーン情報の中で最も重みの大きいものを特徴画像毎にそれぞれ選出した複数のシーン情報の中で最も多いシーン情報を当該フレーム画像に付加する構成とされる。
当該構成によれば、前記データベースに登録された特徴画像がフレーム画像から複数抽出された場合であって、対応付けられたシーン情報が最も少ない特徴画像が複数存在する場合であっても、単純な比較ロジックにより、フレーム画像に付加すべきシーン情報を適切に決定できる。
【００１４】
本発明の選択的な一態様は、動画から抽出された特徴画像について、所定の操作部を介して入力されたシーン情報を対応付けて前記データベースに登録するデータベース作成部を更に備える構成とされる。
当該構成によれば、前記データベースをユーザー自ら構築できるため、前記データベースに登録される特徴画像をとシーン情報がユーザーの嗜好や考え方を良好に反映したものとなる。よって、各フレーム画像に付加するシーン情報が、より適切なものとなる。
【００１５】
本発明の選択的な一態様は、前記シーン情報付加部は、所定時間以上連続して同じシーン情報が付加された複数のフレーム画像に対し、ひとまとまりのシーンであることを示す情報を付与する構成とされる。
当該構成によれば、同じシーン情報が付加された所定時間以上連続する複数のフレーム画像が、ひとまとまりのシーンであることを示す情報を付与されるため、当該ひとまとまりのシーンを再生することにより、同じシーン情報が付加された連続するフレーム画像を再生することが出来るようになる。
【００１６】
本発明の選択的な一態様は、前記シーン情報付加部は、前記動画において同じシーンが所定時間以上継続する場合は、当該継続するシーンを構成する各フレーム画像をひとまとまりのシーンとして分類する構成とされる。
【００１７】
なお、上述した録画装置は、他の機器に組み込まれた状態で実施されたり他の方法とともに実施されたりする等の各種の態様を含む。また、本発明は前記録画装置を備える録画システム、上述した装置の構成に対応した工程を有する制御方法、上述した装置の構成に対応した機能をコンピュータに実現させるプログラム、該プログラムを記録したコンピュータ読み取り可能な記録媒体、等としても実現可能である。
【発明の効果】
【００１８】
以上説明したように本発明によれば、録画された動画からユーザー所望のシーンを簡易且つ迅速に抽出して表示することが可能な録画装置を提供することができる。
請求項２にかかる発明によれば、簡易な処理でシーン情報を決定できる。
請求項３〜５にかかる発明によれば、単純な比較ロジックにより、フレーム画像に付加すべきシーン情報を適切に決定できる。
請求項６にかかる発明によれば、各フレーム画像に付加するシーン情報が、より適切なものとなる。
請求項７，８にかかる発明によれば、連続する同じシーンを容易にまとめて再生出来るようになる。
【図面の簡単な説明】
【００１９】
【図１】録画装置の構成を示すブロック図である。
【図２】データベース登録処理の流れを示すフローチャートである。
【図３】データベース登録処理を説明する図である。
【図４】シーン情報付加処理の流れを示すフローチャートである。
【図５】ジャンル確定処理の第１の流れを示すフローチャートである。
【図６】ジャンル確定処理の第１の流れを説明する図である。
【図７】地上デジタル放送のＴＳパケットの構造を示す図である。
【図８】ジャンル確定処理の第２の流れを示すフローチャートである。
【図９】ジャンル確定処理の第２の流れを説明する図である。
【図１０】ジャンル確定処理の第３の流れを示すフローチャートである。
【図１１】ジャンル確定処理の第３の流れを説明する図である。
【図１２】シーン判定処理の流れを示すフローチャートである。
【図１３】記録媒体の記録イメージである。
【図１４】記録イメージを再生を説明する図である。
【発明を実施するための形態】
【００２０】
以下、下記の順序に従って本発明の実施形態を説明する。
（１）録画装置の構成：
（２）データベース登録処理：
（３）シーン情報付加処理：
（４）ジャンル確定処理：
（５）シーン判定処理：
（６）視聴にかかる処理：
（７）まとめ：
【００２１】
（１）録画装置の構成：
図１を参照して録画装置の電気的構成を説明する。なお、以下で説明する実施形態では、デジタルテレビ放送を受信して録画する録画装置を例に取り説明を行うが、むろん、これに限るものではない。例えば、デジタルテレビ放送（ワンセグ放送、地上デジタル放送、デジタル衛星放送、ケーブルテレビ放送等のように動画を放送するサービス）の動画を受信しつつ録画する装置、オンデマンド放送（インターネット等のネットワークを介して動画を配信するサービス）を受信しつつ録画する装置、記録媒体に記録された動画を読み出して別の記録媒体に録画する装置等、動画を記録媒体に録画する装置であれば如何なる装置であっても本発明を適用可能である。
【００２２】
図１に示すように、録画装置１００は、デジタルテレビ放送を受信して動画を抽出する放送受信部１０と、所定時間の動画をバッファする受信バッファ部２０と、画像認識により動画に出演している出演者を特定する出演者特定部３０と、出演者に基づいて各フレームのシーンを特定する放送シーン特定部４０と、放送シーン特定部４０によって特定されたシーンを動画の各フレームに付加するシーン情報付加部５０と、動画を記録媒体に記録する録画部６０と、出演者とシーンとの対応関係を記録した出演者分類ＤＢ７０と、出演者とシーンとの対応関係を作成して出演者分類ＤＢに登録する出演者登録部８０と、を備えている。
【００２３】
放送受信部１０は、例えば、デジタルテレビ放送のチューナー、デマルチプレクサ、ＭＰＥＧ２のデコードを行うＭＰＥＧデコーダ等を含んで構成され、地上デジタル放送信号からいずれかチャンネルを選局して放送信号を抽出し、当該放送信号にデマルチプレクッスやＭＰＥＧデコード等を行うことによりトランスポートストリーム（ＴＳ）信号を復元する。放送受信部１０は、不図示のリモコン等でユーザが指定したチャンネル、もしくは予め録画予約されていたチャンネルを選局する。なお、本実施形態においては、当該ＴＳ信号が動画を構成し、当該ＴＳ信号を構成するＭＰＥＧ−２のＴＳパケットに含まれる画像がフレーム画像を構成する。
【００２４】
受信バッファ部２０は、例えば、フレームメモリーにより構成され、所定時間のＴＳ信号をバッファすることができる。なお受信バッファ部２０のフレームメモリーは、出演者特定部３０の行う出演者を特定する処理、放送シーン特定部４０の行うシーンを特定する処理、シーン情報付加部の行うシーン情報を付加する処理、において必要とされる時間のＴＳ信号をバッファ可能な容量が用意される。
【００２５】
出演者特定部３０は、例えば、画像認識プログラムを実行するＣＰＵやＲＡＭ等のプログラム実行環境により実現される。画像認識には公知の各種の技術が採用可能である。むろん、出演者特定部３０は、これと同等の機能を実現するＩＣ（Integrated Circuit）等により実現してもよい。
【００２６】
放送シーン特定部４０は、例えば、ＣＰＵやＲＡＭ等のプログラム実行環境において、後述のシーン確定処理やシーン判定処理におけるシーン判断を実行することにより実現される。むろん、放送シーン特定部４０は、これと同等の機能を実現するＩＣ（Integrated Circuit）等により実現してもよい。
【００２７】
シーン情報付加部５０は、例えば、ＣＰＵやＲＡＭ等のプログラム実行環境において、動画の各フレーム画像にシーン情報を付加する処理を実行することにより実現される。むろん、シーン情報付加部５０は、これと同等の機能を実現するＩＣ（Integrated Circuit）等により実現してもよい。
【００２８】
録画部６０は、ＨＤＤ（Hard Disk Drive）、ＤＶＤ（Digital Versatile Disk）、ネットワークストレージ等のように、不揮発性の記憶媒体と当該不揮発性の記憶媒体に対するデータの記録を制御する制御部との組み合わせにより実現され、入力された動画を不揮発性の記憶媒体に録画する。
【００２９】
出演者分類ＤＢ７０は、半導体メモリ、ＨＤＤ、ネットワーク上のサーバ等の不揮発性の記憶媒体により実現され、出演者とシーンとの対応関係を記録されている。出演者分類ＤＢ７０は、出演者特定部３０の要求に応じていずれかの出演者に対応付けられたシーン情報を出演者特定部３０へ送信したり、出演者登録部８０から入力される出演者とシーン情報の対応関係を不揮発性の記憶媒体に記録したりする。
【００３０】
出演者登録部８０は、後述のデータベース登録処理を実行するＣＰＵやＲＡＭ等のプログラム実行環境と、ユーザの操作入力を受け付けるリモコン等の操作部と、所定のディスプレイに動画やユーザインターフェースを表示するための表示部と、により構成される。むろん、データベース登録処理を実行するプログラム実行環境は、これと同等の機能を実現するＩＣ（Integrated Circuit）等により実現してもよい。出演者登録部８０は、表示部に動画を表示しつつ、表示部に表示された動画から操作部の操作により選択された特徴画像と当該特徴画像に対応付けるべく操作部を介して入力されたシーン情報とを対応付けて出演者分類ＤＢ７０に記憶させる。
【００３１】
（２）データベース登録処理：
次に、図２、図３を参照しつつデータベース登録処理について説明する。図２はデータベース登録処理の流れを示すフローチャート、図３はデータベース登録処理を説明する図である。データベース登録処理は、ユーザがデーベース登録の開始を指示する所定の操作入力を操作部を介して行ってしたときに、出演者登録部８０によって実行される。ユーザは、例えば、録画済みの動画やテレビ放送等の視聴中に所定の操作入力を行うことにより当該データベース登録処理を実行させることができる。
【００３２】
処理が開始されると、出演者特定部３０に、所定の操作入力が行われたときにディスプレイに表示されていた動画のフレーム画像に含まれる顔画像を顔認識により抽出させ（Ｓ１００）、抽出した顔が出演者分類ＤＢ７０に登録されているか否かを検索させる（Ｓ１１０）。その後、ステップＳ１００で抽出させた顔画像が出演者分類ＤＢ７０に登録済みである場合は（Ｓ１２０：Ｙｅｓ）当該顔画像に対応するシーン情報の編集画面を表示部に表示し（Ｓ１３０）、ステップＳ１００で抽出させた顔画像が出演者分類ＤＢ７０に未登録の場合は（Ｓ１２０：Ｎｏ）当該顔画像の新規登録画面を表示部に表示する（Ｓ１５０）。
【００３３】
例えば、図３に示すようにフレーム画像が人物Ａ，Ｂの顔画像を含んでいる場合は、これらの人物Ａ，Ｂの顔領域を顔認識によって検出し、人物Ａ，Ｂの顔画像の画像特徴量を抽出する。そして、出演者分類ＤＢ７０に登録済みの人物の中に当該画像特徴量を備える人物がいるか否かを検索する。なお、出演者分類ＤＢは、人物の顔画像そのものが登録されていいてもよいし、人物の顔画像から抽出された画像特徴量が登録されていてもよい。前者であれば、出演者分類ＤＢ７０に登録されている顔画像から画像特徴量を抽出しつつ、ステップＳ１００で抽出された顔画像を検索することになる。
【００３４】
人物Ａ，Ｂの顔画像が未登録の場合は、各人物に対して識別子とジャンルとの設定画面をディスプレイに表示する（Ｓ１５０、Ｓ１６０）。ここで設定する識別子やジャンルは、ユーザーが人物に対して任意に設定するものであり、人物を識別しやすい名称を識別子として設定し（Ｓ１５０）、人物Ｂが登場すると思われる１以上のジャンルを設定する（Ｓ１６０）。
図３に示す例では、ユーザーは、人物Ａに識別子Ａとジャンル「ドラマ」を付加し、人物Ｂに識別子Ｂとジャンル「ミュージック」「ドラマ」を付加している。すなわち、ユーザーは、ドラマには出演するもののその他の歌番組等には出演しない（と思われる）人物Ａに対しては、単一のジャンル「ドラマ」を付加し、ドラマにも歌番組にも出演する（と思われる）人物Ｂに対しては、複数のジャンル「ミュージック」「ドラマ」を付加している。なお、本実施形態においては、ここで言うジャンルがシーン情報を構成する。
【００３５】
また、人物に対して１以上のジャンルを設定する場合は、各ジャンルに重みを設定する。すなわち、図３に示す人物Ｂのようにジャンル「ミュージック」「ドラマ」を設定した場合は、いずれが人物Ｂが出演する頻度の高い（と思われる）ジャンル「ミュージック」を上位におくことにより、ジャンル「ミュージック」の重みをジャンル「ドラマ」よりも大きくしている。
【００３６】
一方、人物Ａ，Ｂが登録済みの場合は、各人物に対して設定されているジャンルの編集画面をディスプレイに表示する（Ｓ１３０）。図３に示す例では、例えば、本データベース登録処理の実行時に既に人物Ａにジャンル「ドラマ」が設定され人物Ｂにジャンル「ミュージック」が設定されていた場合に、人物Ｂに対して新たにジャンル「ドラマ」を設定する場合が、これに該当する。
【００３７】
以上のようにして、設定もしくは編集された識別子やジャンルは、出演者分類ＤＢ７０に登録される（Ｓ１４０）。以上のように、ユーザーは、動画の視聴中にジャンルを追加・削除・変更したい人物を発見したタイミングでデータベース登録処理を開始させ、新たに出演者分類ＤＢに人物を追加したり、出演者分類ＤＢに既存の人物の情報を呼び出して当該人物のジャンルを編集したりすることができる。従って、録画装置１００のユーザーは、出演者分類ＤＢ７０を自分のイメージに近くなるように容易に編集可能であり、後述のシーン情報付加処理において動画の各フレーム画像に付加されるシーン情報がユーザーにとって最も適切な形で付加されるように出演者分類ＤＢを改良していくことができる。
【００３８】
なお、上述した実施形態においては、画像認識の一例として、人物の顔画像を特徴画像として認識する顔認識を例にとって説明したが、植物や動物、山や風景等の他の画像を特徴画像とする画像認識を利用してシーン判断を行ってもよいことは言うまでもない。
【００３９】
（３）シーン情報付加処理：
次に、図４を参照してシーン情報付加処理について説明する。図４は、シーン情報付加処理の流れを示すフローチャートである。同図に示すシーン情報付加処理は、動画を記録媒体に記録する際に、シーン情報付加部５０によって実行される。なお、デジタルテレビ放送を録画するときは、放送受信部１０の出力するＴＳパケットが、逐次、受信バッファ部２０に記憶されている。
【００４０】
処理が開始されると、受信バッファ部２０に記録されている各ＴＳパケットについて、出演者特定部３０に、顔画像を顔認識により抽出させる（Ｓ２００）。出演者特定部３０は、ＴＳパケットに顔画像を検出すると（Ｓ２００：Ｙｅｓ）、出演者分類ＤＢを参照し、検出した顔画像が出演者分類ＤＢに登録済みであるか否かを判断する（Ｓ２１０）。ここで、検出した顔画像が出演者分類ＤＢに登録済みの場合は（Ｓ２１０：Ｙｅｓ）、ジャンル確定処理によって当該顔画像に付加すべきジャンルを特定する（Ｓ２２０）。なお、ジャンル確定処理の詳細については後に詳述する。一方、検出した顔画像が出演者分類ＤＢに未登録の場合は（Ｓ２１０：Ｎｏ）、ステップＳ２００にて判断対象とされたＴＳパケットについて該当するジャンルが無いものと判断する（Ｓ２４０）。
【００４１】
以上のようにして、ステップＳ２００にて判断対象とされたＴＳパケットは、ジャンルが特定され（Ｓ２２０）もしくは該当ジャンル無しと判断される（Ｓ２４０）ことによりジャンルが確定すると、シーン判定処理の対象となる。シーン判定処理では、シーン判定処理の対象となるＴＳパケットに対してシーン情報を付加すべきか否か判断する（Ｓ２３０）。シーン情報を付加すべきと判断されたＴＳパケットについては、ステップＳ２２０で特定されたジャンルが付加され、シーン情報を付加すべきでないと判断されたＴＳパケットについては、ステップＳ２２０でジャンルが特定されていてもジャンルは付加されない。以上のシーン情報付加処理を行うことにより、各ＴＳパケットに対して適切なジャンルが付加される。
【００４２】
（４）ジャンル確定処理：
次に、図５〜図１１を参照して、図４のステップＳ２２０のジャンル確定処理について詳細に説明する。図５、図８、図１０は、ジャンル確定処理の流れをフローチャートにて示しており、図６、図９、図１１には、ジャンル確定の各手法を説明する図であり、図７は、ＴＳパケットの構造を説明する図である。
【００４３】
ジャンル確定処理が開始されると、まず、出演者の人数に応じて最適なジャンル確定の手法を選択する判断処理を行う（Ｓ２２０ａ）。すなわち、出演者が単数の場合と複数の場合とで最適なジャンル確定のアルゴリズムを選択するものであり、出演者の人数が１人の場合はステップＳ２２０ｂ〜Ｓ２２０ｄの処理を実行し（Ｓ２２０ａ：Ｙｅｓ）、出演者の人数が２人以上の場合は図８に示すステップＳ２２０ｅ〜２２０ｉや図１０に示すステップＳ２２０ｊ〜Ｓ２２０ｏの処理を実行する（Ｓ２２０ａ：Ｎｏ）。ここで、出演者の人数とは、ＴＳパケットのフレーム画像に含まれる出演者のうち既にジャンルを付加されている出演者の人数であり、具体的には、上述したステップＳ２００，Ｓ２１０の顔認識により検出されて出演者分類ＤＢに登録されていると判断された顔画像に対応する出演者の人数となる。
【００４４】
出演者の人数が１人の場合は（Ｓ２２０ａ：Ｙｅｓ）、当該出演者に対応付けられたジャンルの中から最も重み付けの大きいジャンルを設定し（Ｓ２２０ｂ）、この設定したジャンルを判断対象となっているＴＳパケットのジャンルとして確定する（Ｓ２２０ｃ）。
例えば、図６に示すように、判断対象となっているＴＳパケットに識別子Ｂを付与された出演者Ｂが含まれると出演者特定部３０が判断し、出演者Ｂにジャンル「ミュージック」とジャンル「ドラマ」が付与されている場合は、出演者Ｂの各ジャンルに付与されている重みを比較する。図６に示す例では、ジャンル「ミュージック」の重みが８０％であってジャンル「ドラマ」の重みが２０％である。そこで、より重みの大きい「ミュージック」が、判断対象となっているＴＳパケットのジャンルとして設定・確定される（Ｓ２２０ｂ，Ｓ２２０ｃ）。確定したジャンルは、ＴＳパケットに付加される（Ｓ２２０ｄ）。
【００４５】
なお、図７に示すように、地上デジタル放送にかかるＴＳパケットのヘッダは任意の情報を付加することができる領域「Ｅｔｃ」を有しており、ジャンルにかかる情報は当該領域「Ｅｔｃ」に記録することができる。むろん、ジャンルに関する情報を記録するための領域を新たにヘッダに追加し、当該追加されたヘッダにジャンルに関する情報を記録してもよい。このように専用のヘッダを追加すれば、任意に利用可能な「Ｅｔｃ」に他の用途が想定されている場合であってもジャンルに関する情報を確実に各フレーム画像に付加することが出来る。また、領域Ｅｔｃのような自由に利用可能な領域を備えない規格を採用している動画であっても、ジャンルに関する情報を各フレーム画像に付加することが出来る。さらに、動画の規格に依存することなく、ジャンルに関する情報を各フレーム画像に付加することができるというメリットもある。
【００４６】
一方、出演者の人数が複数の場合は（Ｓ２２０ａ：Ｎｏ）、複数の出演者の中で付与されたジャンル数が最も少ない出演者を抽出する（Ｓ２２０ｅ）。
例えば、図９に示すように、判断対象となっているＴＳパケットが、識別子Ａを付与された出演者Ａと識別子Ｂを付与された出演者Ｂを含むと出演者特定部３０が判断し（Ｓ２２０ａ：Ｎｏ）、出演者Ａにジャンル「ドラマ」が付与され、出演者Ｂにジャンル「ミュージック」とジャンル「ドラマ」が付与されている場合は、付与されているジャンル数の少ない出演者Ａをジャンルの判断に利用する。より確実なシーン判断を行うためである。その結果、ジャンル「ドラマ」が、判断対象となっているＴＳパケットのジャンルとして設定・確定される（Ｓ２２０ｇ，Ｓ２２０ｈ）。確定したジャンルは、ＴＳパケットに付加される（Ｓ２２０ｉ）。
【００４７】
ただし、複数の出演者には付与されたジャンル数が同じ出演者が存在する場合もある。そこで、上述のように付与されたジャンル数の最も少ない出演者が何れか１人である場合は（Ｓ２２０ｆ：Ｙｅｓ）、ステップＳ２２０ｇ〜Ｓ２２０ｉの処理を行うが、付与されたジャンル数の最も少ない出演者が複数人いる場合は（Ｓ２２０ｆ：Ｎｏ）、図１０に示すステップＳ２２０ｊ〜Ｓ２２０ｏの処理を実行する。
【００４８】
ステップＳ２２０ｊでは、出演者特定部３０が抽出した全出演者について、それぞれ最も大きく重み付けされているジャンルを、各出演者のジャンルと擬制する。
例えば、図１１に示す例では、判断対象となっているＴＳパケットが、識別子Ａを付与された出演者Ａと識別子Ｂを付与された出演者Ｂと識別子Ｃを付与された出演者Ｃとを含んでおり、出演者Ａにはジャンル「ドラマ」が付与され、出演者Ｂにはジャンル「ミュージック」とジャンル「ドラマ」が付与され、出演者Ｃにはジャンル「ミュージック」が付与されている。すなわち、出演者Ａと出演者Ｃに付与されているジャンル数は何れも１つであり、ジャンル数による優先順位がつけられない。そこで、ジャンル「ドラマ」を出演者Ａのジャンルと擬制し、ジャンル「ミュージック」をジャンルと擬制し、ジャンル「ミュージック」をジャンルと擬制する（Ｓ２２０ｊ）。このように擬制したとき、最も多いジャンルは「ミュージック」となり（Ｓ２２０ｋ）、ジャンル「ミュージック」が、判断対象となっているＴＳパケットのジャンルとして設定・確定される（Ｓ２２０ｌ：Ｙｅｓ，Ｓ２２０ｍ）。確定したジャンルは、ＴＳパケットに付加される（Ｓ２２０ｎ）。
【００４９】
ただし、ステップＳ２２０ｊで各出演者のジャンルと擬制したジャンルの中でも同数のジャンルが存在する場合がある。ステップＳ２２０ｊで各出演者のジャンルと擬制したジャンルの中から最も多いジャンルが特定できる場合は（Ｓ２２０ｌ：Ｙｅｓ）、ステップＳ２２０ｍ〜Ｓ２２０ｎの処理を行うが、ステップＳ２２０ｊで各出演者のジャンルと擬制したジャンルの中から最も多いジャンルが特定できない場合は（Ｓ２２０ｌ：Ｎｏ）、判断対象となっているＴＳパケットには該当するジャンルが無いと判断する（Ｓ２２０ｏ）
【００５０】
以上のジャンル確定処理を行うことにより、各ＴＳパケットに対してジャンルが付与される。このようにして付与されたジャンルを正式に付与して録画してもよいが、フレーム画像毎にジャンルを付与した場合、連続するフレーム画像に付与されるジャンルが頻繁に切り替わる可能性もあり、特定のジャンルを指定して後述の視聴を行ったときに画像がフレーム画像単位で飛び飛びに表示されてしまう可能性もあり、視聴しづらくなる。そこで、本実施形態では、以下のシーン判定処理を行って、ジャンルが連続的に付与される場合に限ってジャンルが付与されるようにしている。
【００５１】
（５）シーン判定処理
図１２は、シーン判定処理の流れを示すフローチャートである。シーン判定処理では、順次、各ＴＳパケットについてジャンルを付与するか否かの判断を行う。ジャンルを付与する基準は、判断対象となるＴＳパケットのジャンルが、当該ＴＳパケットを含んで規定時間以上連続するＴＳパケットと同じジャンルであるか否かとされ、規定時間以上連続するＴＳパケットに同じジャンルが付与されている場合に限って、上述したジャンル確定処理において付与したジャンルを付与した状態で記録媒体に記録する。なお、規定時間は、チャプターとして分類可能な最小録画時間等とすることができるが、むろん、当該最小録画時間以上であれば様々に設定することができる。
【００５２】
より具体的には、シーン判定処理が開始されると、まず、判断対象となっているＴＳパケットに、上述したジャンル確定処理においてジャンルが付与されているか否かを判断する（Ｓ２３０ａ）。ジャンルが付与されている場合は（Ｓ２３０ａ）、次に、直前に判断したＴＳパケットのジャンルと、判断対象となっているＴＳパケットとで、同じジャンルが設定されているか否かを判断する（Ｓ２３０ｂ）。同じジャンルが設定されている場合は（Ｓ２３０ｂ：Ｙｅｓ）、ジャンル付与の判断に利用するカウンターのカウントをインクリメントし（Ｓ２３０ｃ）、同じジャンルが設定されていない場合は（Ｓ２３０ｂ：Ｎｏ）、当該カウンターのカウントをクリアする（Ｓ２３０ｇ）。カウンターのカウントをクリアすると、判断対象となっているＴＳパケットは、チャプター分類を行われること無く録画部６０へ出力され、記録媒体へ記録される（Ｓ２３０ｆ）。
【００５３】
カウンターのカウントをインクリメントすると、当該カウンターが規定時間以上のカウント値であるか否か判断する（Ｓ２３０ｄ）。カウント値が規定時間以上になっている場合は（Ｓ２３０ｄ：Ｙｅｓ）、判定対象となっているＴＳパケットと連続して同じジャンルを付加されている複数のＴＳパケットについてチャプター分類を行い（Ｓ２３０ｅ）、これら複数のＴＳパケットをチャプター分割しつつ録画部６０へ出力され、記録媒体へ記録される（Ｓ２３０ｆ）。
【００５４】
図１３は、以上のようにして記録媒体に記録される記録イメージである。同図に示す例では、グレーで示したＴＳパケットはジャンルが付加され、白抜きで示したＴＳパケットはジャンルが付加されていない。また、上述した規定時間は、ＴＳパケットの２コマ分としてある。
同図において、左から３コマ目のＴＳパケットは、前後のＴＳパケットにジャンルが付加されていないため、チャプター分類されない。また、左から７コマ目〜９コマ目は、３コマ連続して同一のジャンル「ミュージック」でが付加されているため、これらのＴＳパケットは「ミュージック」にチャプター分類される。同様に、左から１３コマ目と１４コマ目も２コマ連続して同一のジャンル「ミュージック」が付加されているため、これらのＴＳパケットも「ミュージック」にチャプター分類される。なお、本実施形態では、ここで言うチャプターが、ひとまとまりのシーンであることを示す情報を構成する。
【００５５】
（６）視聴にかかる処理：
以上のようにしてジャンル確定とシーン判定が行われつつ記録媒体に記録された動画の再生について、図１４を参照して説明する。
同図の（ａ）は、ある日の３０分のニュース番組において割当てられたチャプターを示してある。同図に示すように。０〜１０分はジャンル「ニュース」にチャプター分割されており、例えば、アナウンサーやキャスター等がニュースを読む通常のニュース放送であることがわかる。また、１０〜１５分はジャンル「野球」にチャプター分割されており、例えば、野球のハイライトシーン等のダイジェスト放送が行われている事が分かる。また、１５〜２０分はジャンル「サッカー」にチャプター分割されており、例えば、サッカーのハイライトシーン等のダイジェスト放送が行われている事が分かる。また、２０〜２５分はジャンル「相撲」にチャプター分割されており、例えば、相撲のハイライトシーン等のダイジェスト放送が行われている事が分かる。また、２５〜３０分はジャンル「天気」にチャプター分割されており、例えば、天気キャスターが行う天気予報の放送が行われていた事が分かる。
【００５６】
以上のように、１つのニュース番組の中でも各種の報道がなされており、電子番組情報（ＥＰＧ）や新聞などのテレビ欄では単一のニュース番組とされていても、実際の画像は各種のシーンが含まれている。
このようなニュース番組について従来の技術でシーン判別すると、例えばＥＰＧを利用して判別した場合は、ニュース番組の全てがニュースに判別されるし、仮に出演者の名前からジャンル判別したとしても、出演者がキャスターでも歌手でもある場合はシーンが歌番組であるにも関わらずニュースと判別されるなどの誤判定が発生する可能性がある。
本実施形態では、上述したシーン情報付加処理ではフレーム画像毎にジャンル判別してフレーム画像毎にジャンルを付加しているため、実際の映像に基づくチャプター分類が適切に行われる。
【００５７】
また、同図の（ｂ）は、ある日の３０分の音楽番組において割当てられたチャプターを示している。同図に示すように。０〜５分や２０〜２５分はジャンル「ポップ」にチャプター分割されており、例えば、ポップシンガーが出演している事ことが分かる。また、５〜１０分や１５〜２０分は「ロック」にチャプター分割されており、例えば、ロックシンガーが出演している事が分かる。また、１０〜１５分はジャンル「演歌」にチャプター分割されており、例えば、演歌歌手が出演している事が分かる。また、２５〜３０分はジャンル「バラード」にチャプター分割されており、例えば、バラードシンガーが出演している事が分かる。
【００５８】
以上のように、１つの音楽番組の中でも各種ジャンルの歌手が登場しており、電子番組情報（ＥＰＧ）や新聞などのテレビ欄では単一の音楽番組とされていて登場する歌手名等は記載されていても、実際にどのタイミングで各歌手が登場するかが不明である。
このような音楽番組について従来の技術でシーン判別すると、例えばＥＰＧを利用して判別した場合は、音楽番組の全てがミュージックに判別されるし、仮に出演者の名前からジャンル判別したとしても、出演者がキャスターでも歌手でもある場合はシーンが歌番組であるにも関わらずニュースと判別されるなどの誤判定が発生する可能性がある。
本実施形態では、上述したシーン情報付加処理ではフレーム画像毎にジャンル判別してフレーム画像毎にジャンルを付加しているため、実際の映像に基づくチャプター分類が適切に行われる。
【００５９】
ユーザーは、以上のようにしてチャプター分割された番組について、視聴したいジャンルを指定することにより、所望のジャンルが実際に映像に含まれている箇所のみを視聴することが出来る。例えば、図１４（ｄ）に示すように、ユーザーが野球を指定すると、ニュース番組の中から野球に関する映像が含まれている箇所のみをダイジェスト視聴（ザッピング）することができるし、複数の番組にまたがって野球に関する映像が含まれている箇所のみをダイジェスト視聴（ザッピング）することもできる。むろん、図１４（ｃ）に示すように、番組の全てを指定して、番組全体を視聴することもできる。
【００６０】
（７）まとめ：
以上説明した実施形態においては、デジタルテレビ放送を受信して記録媒体に記録する録画装置１００において、デジタルテレビ放送に含まれる動画を構成するフレーム画像から、出演者分類ＤＢ７０に登録された出演者の顔画像を抽出し、出演者分類ＤＢ７０に登録された出演者に対応付けられているジャンルを、顔画像の抽出を行ったフレーム画像に付加している。よって、シーン情報を利用して容易に所望のシーンを抽出可能となり、録画された動画からユーザー所望のシーンを簡易且つ迅速に抽出して表示することが可能となる。
【００６１】
なお、本発明は前記実施例に限られるものでないことは言うまでもない。当業者であれば言うまでもないことであるが、
・前記実施例の中で開示した相互に置換可能な部材および構成等を適宜その組み合わせを変更して適用すること
・前記実施例の中で開示されていないが、公知技術であって前記実施例の中で開示した部材および構成等と相互に置換可能な部材および構成等を適宜置換し、またその組み合わせを変更して適用すること
・前記実施例の中で開示されていないが、公知技術等に基づいて当業者が前記実施例の中で開示した部材および構成等の代用として想定し得る部材および構成等と適宜置換し、またその組み合わせを変更して適用すること
は本発明の一実施例として開示されるものである。
【符号の説明】
【００６２】
１００…録画装置、１０…放送受信部、２０…受信バッファ部、３０…出演者特定部、４０…放送シーン特定部、５０…シーン情報付加部、６０…録画部、７０…出演者分類ＤＢ、８０…出演者登録部
【技術分野】
【０００１】
本発明は録画装置に関し、特に動画を記録媒体に記録する録画装置に関する。
【背景技術】
【０００２】
近年、多彩かつ多様な映像コンテンツが作成されており、視聴者は膨大なコンテンツの中から所望のコンテンツを探し出して視聴しなければならなくなってきている。このような実状に鑑みて、膨大なコンテンツの中から好みの番組を探し出すための各種技術が提案されている。
【０００３】
例えば、特許文献１には、映像や音声の特徴を認識することにより出演者の名前を判別し、ＥＰＧ情報等から視聴者の好みの番組を推薦する番組推薦装置について開示されている。当該番組推薦装置では、ユーザーは好みの出演者をデータベースに登録し、番組推薦装置はデータベースに登録された出演者の特徴量との相関係数が一定の範囲内になる特徴量を持った有名人を、ユーザーの好みの人物に似ている有目人として、ユーザーに推薦する。
【０００４】
また、例えば、特許文献２には、映像音声コンテンツの一部を構成するシーン属性を、ユーザーの視聴した番組から抽出して統計し、当該統計と相関性の高い番組をユーザーに推奨する番組推奨装置について開示されている。当該番組推奨装置によれば、録画された番組が番組情報や属性情報を有していない場合であっても、ユーザーの嗜好や興味に応じた番組を推奨することが出来る。
【０００５】
また、例えば、特許文献３には、フレームに対して付与されたメタデータにおけるキーワード、ジャンル、あるいはコメントの有無などの条件によって各フレームに重み付けを行い、優先度が最大となるフレームの画像からサムネイル画像を作成する映像記録装置について開示されている。当該映像記録装置によれば、視聴者にとって簡略な操作で、番組を判別するためのサムネイル画像を番組内容をよく反映したものとすることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２９６３４６号公報
【特許文献２】特開２０１０−０７４５１８号公報
【特許文献３】特開２００８−１０３７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、従来の録画装置では、番組単位での分割録画、シーンの切り換わりを検出して当該切り換わりで分割する分割録画、指定した時間単位での分割録画、が主であった。しかしながら、実際の映像は、１つの番組内でも多用なジャンルの内容を含むことがあるし、シーンが切り換わっても必ずしもジャンルが変化するとは限らない。従って、従来の手法で行われた分割録画では、ユーザーは、録画された番組の中の所望のジャンルにかかるシーンを視聴するためには、録画された番組を全て視聴するか、早送りしたりやサムネイルを参考にして所望のジャンルにかかるシーンを探し出して視聴する必要があった。
【０００８】
本発明は、前記課題に鑑みてなされたもので、録画された動画からユーザー所望のシーンを簡易且つ迅速に抽出して表示することが可能な録画装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するために、本発明にかかる録画装置では、動画を記録媒体に記録する録画装置において、動画を構成するフレーム画像毎にシーン情報を付加するシーン情報付加部を備える構成としてある。
当該構成においては、フレーム画像毎にシーン情報を付加してあるため、所望のシーン情報を付加されているフレーム画像を選択的に視聴することが可能となる。よって、録画された動画からユーザー所望のシーンを簡易且つ迅速に抽出して表示することが可能となる。
【００１０】
本発明の選択的な一態様は、特徴画像とシーン情報との対応関係を規定したデータベースを更に備え、前記シーン情報付加部は、前記データベースを参照し、前記動画のフレーム画像から画像認識により抽出された特徴画像に対応するシーン情報を当該フレーム画像に付加する構成とされる。
当該構成によれば、フレーム画像からデータベースに登録されている特徴画像を抽出し、前記データベースにおいて前記特徴画像に対応付けられているシーン情報を、前記特徴画像の抽出元であるフレーム画像に付加している。このように、予め用意されたデータベースを利用してフレーム画像に付加すべきシーン情報を決定しているため、簡易な処理でシーン情報を決定できる。
【００１１】
本発明の選択的な一態様は、前記データベースには、各特徴画像に対応付けられた各シーン情報について重みが設定されており、前記シーン情報付加部は、動画を構成するフレーム画像から抽出された特徴画像が１つであって当該特徴画像に対応付けられたシーン情報が複数の場合に、前記重みが最も大きいシーン情報を当該フレーム画像に付加する構成とされる。
当該構成によれば、フレーム画像から抽出された特徴画像に対し、前記データベースにおいて複数のシーン情報が対応付けられている場合であっても、単純な比較ロジックにより、フレーム画像に付加すべきシーン情報を適切に決定できる。
【００１２】
本発明の選択的な一態様は、前記データベースには、各特徴画像に対応付けられた各シーン情報について重みが設定されており、前記シーン情報付加部は、動画を構成するフレーム画像から複数の特徴画像が抽出された場合に、対応付けられたシーン情報が最も少ない特徴画像に対応付けられたシーン情報の中で重みが最も大きいシーン情報を当該フレーム画像に付加する構成とされる。
当該に構成よれば、前記データベースに登録された特徴画像がフレーム画像から複数抽出された場合であっても、単純な比較ロジックにより、フレーム画像に付加すべきシーン情報を適切に決定できる。
【００１３】
本発明の選択的な一態様は、前記データベースには、各特徴画像に対応付けられた各シーン情報について重みが設定されており、前記シーン情報付加部は、動画を構成するフレーム画像から複数の特徴画像が抽出された場合であって対応付けられたシーン情報が最も少ない特徴画像が複数ある場合に、各特徴画像に対応付けられたシーン情報の中で最も重みの大きいものを特徴画像毎にそれぞれ選出した複数のシーン情報の中で最も多いシーン情報を当該フレーム画像に付加する構成とされる。
当該構成によれば、前記データベースに登録された特徴画像がフレーム画像から複数抽出された場合であって、対応付けられたシーン情報が最も少ない特徴画像が複数存在する場合であっても、単純な比較ロジックにより、フレーム画像に付加すべきシーン情報を適切に決定できる。
【００１４】
本発明の選択的な一態様は、動画から抽出された特徴画像について、所定の操作部を介して入力されたシーン情報を対応付けて前記データベースに登録するデータベース作成部を更に備える構成とされる。
当該構成によれば、前記データベースをユーザー自ら構築できるため、前記データベースに登録される特徴画像をとシーン情報がユーザーの嗜好や考え方を良好に反映したものとなる。よって、各フレーム画像に付加するシーン情報が、より適切なものとなる。
【００１５】
本発明の選択的な一態様は、前記シーン情報付加部は、所定時間以上連続して同じシーン情報が付加された複数のフレーム画像に対し、ひとまとまりのシーンであることを示す情報を付与する構成とされる。
当該構成によれば、同じシーン情報が付加された所定時間以上連続する複数のフレーム画像が、ひとまとまりのシーンであることを示す情報を付与されるため、当該ひとまとまりのシーンを再生することにより、同じシーン情報が付加された連続するフレーム画像を再生することが出来るようになる。
【００１６】
本発明の選択的な一態様は、前記シーン情報付加部は、前記動画において同じシーンが所定時間以上継続する場合は、当該継続するシーンを構成する各フレーム画像をひとまとまりのシーンとして分類する構成とされる。
【００１７】
なお、上述した録画装置は、他の機器に組み込まれた状態で実施されたり他の方法とともに実施されたりする等の各種の態様を含む。また、本発明は前記録画装置を備える録画システム、上述した装置の構成に対応した工程を有する制御方法、上述した装置の構成に対応した機能をコンピュータに実現させるプログラム、該プログラムを記録したコンピュータ読み取り可能な記録媒体、等としても実現可能である。
【発明の効果】
【００１８】
以上説明したように本発明によれば、録画された動画からユーザー所望のシーンを簡易且つ迅速に抽出して表示することが可能な録画装置を提供することができる。
請求項２にかかる発明によれば、簡易な処理でシーン情報を決定できる。
請求項３〜５にかかる発明によれば、単純な比較ロジックにより、フレーム画像に付加すべきシーン情報を適切に決定できる。
請求項６にかかる発明によれば、各フレーム画像に付加するシーン情報が、より適切なものとなる。
請求項７，８にかかる発明によれば、連続する同じシーンを容易にまとめて再生出来るようになる。
【図面の簡単な説明】
【００１９】
【図１】録画装置の構成を示すブロック図である。
【図２】データベース登録処理の流れを示すフローチャートである。
【図３】データベース登録処理を説明する図である。
【図４】シーン情報付加処理の流れを示すフローチャートである。
【図５】ジャンル確定処理の第１の流れを示すフローチャートである。
【図６】ジャンル確定処理の第１の流れを説明する図である。
【図７】地上デジタル放送のＴＳパケットの構造を示す図である。
【図８】ジャンル確定処理の第２の流れを示すフローチャートである。
【図９】ジャンル確定処理の第２の流れを説明する図である。
【図１０】ジャンル確定処理の第３の流れを示すフローチャートである。
【図１１】ジャンル確定処理の第３の流れを説明する図である。
【図１２】シーン判定処理の流れを示すフローチャートである。
【図１３】記録媒体の記録イメージである。
【図１４】記録イメージを再生を説明する図である。
【発明を実施するための形態】
【００２０】
以下、下記の順序に従って本発明の実施形態を説明する。
（１）録画装置の構成：
（２）データベース登録処理：
（３）シーン情報付加処理：
（４）ジャンル確定処理：
（５）シーン判定処理：
（６）視聴にかかる処理：
（７）まとめ：
【００２１】
（１）録画装置の構成：
図１を参照して録画装置の電気的構成を説明する。なお、以下で説明する実施形態では、デジタルテレビ放送を受信して録画する録画装置を例に取り説明を行うが、むろん、これに限るものではない。例えば、デジタルテレビ放送（ワンセグ放送、地上デジタル放送、デジタル衛星放送、ケーブルテレビ放送等のように動画を放送するサービス）の動画を受信しつつ録画する装置、オンデマンド放送（インターネット等のネットワークを介して動画を配信するサービス）を受信しつつ録画する装置、記録媒体に記録された動画を読み出して別の記録媒体に録画する装置等、動画を記録媒体に録画する装置であれば如何なる装置であっても本発明を適用可能である。
【００２２】
図１に示すように、録画装置１００は、デジタルテレビ放送を受信して動画を抽出する放送受信部１０と、所定時間の動画をバッファする受信バッファ部２０と、画像認識により動画に出演している出演者を特定する出演者特定部３０と、出演者に基づいて各フレームのシーンを特定する放送シーン特定部４０と、放送シーン特定部４０によって特定されたシーンを動画の各フレームに付加するシーン情報付加部５０と、動画を記録媒体に記録する録画部６０と、出演者とシーンとの対応関係を記録した出演者分類ＤＢ７０と、出演者とシーンとの対応関係を作成して出演者分類ＤＢに登録する出演者登録部８０と、を備えている。
【００２３】
放送受信部１０は、例えば、デジタルテレビ放送のチューナー、デマルチプレクサ、ＭＰＥＧ２のデコードを行うＭＰＥＧデコーダ等を含んで構成され、地上デジタル放送信号からいずれかチャンネルを選局して放送信号を抽出し、当該放送信号にデマルチプレクッスやＭＰＥＧデコード等を行うことによりトランスポートストリーム（ＴＳ）信号を復元する。放送受信部１０は、不図示のリモコン等でユーザが指定したチャンネル、もしくは予め録画予約されていたチャンネルを選局する。なお、本実施形態においては、当該ＴＳ信号が動画を構成し、当該ＴＳ信号を構成するＭＰＥＧ−２のＴＳパケットに含まれる画像がフレーム画像を構成する。
【００２４】
受信バッファ部２０は、例えば、フレームメモリーにより構成され、所定時間のＴＳ信号をバッファすることができる。なお受信バッファ部２０のフレームメモリーは、出演者特定部３０の行う出演者を特定する処理、放送シーン特定部４０の行うシーンを特定する処理、シーン情報付加部の行うシーン情報を付加する処理、において必要とされる時間のＴＳ信号をバッファ可能な容量が用意される。
【００２５】
出演者特定部３０は、例えば、画像認識プログラムを実行するＣＰＵやＲＡＭ等のプログラム実行環境により実現される。画像認識には公知の各種の技術が採用可能である。むろん、出演者特定部３０は、これと同等の機能を実現するＩＣ（Integrated Circuit）等により実現してもよい。
【００２６】
放送シーン特定部４０は、例えば、ＣＰＵやＲＡＭ等のプログラム実行環境において、後述のシーン確定処理やシーン判定処理におけるシーン判断を実行することにより実現される。むろん、放送シーン特定部４０は、これと同等の機能を実現するＩＣ（Integrated Circuit）等により実現してもよい。
【００２７】
シーン情報付加部５０は、例えば、ＣＰＵやＲＡＭ等のプログラム実行環境において、動画の各フレーム画像にシーン情報を付加する処理を実行することにより実現される。むろん、シーン情報付加部５０は、これと同等の機能を実現するＩＣ（Integrated Circuit）等により実現してもよい。
【００２８】
録画部６０は、ＨＤＤ（Hard Disk Drive）、ＤＶＤ（Digital Versatile Disk）、ネットワークストレージ等のように、不揮発性の記憶媒体と当該不揮発性の記憶媒体に対するデータの記録を制御する制御部との組み合わせにより実現され、入力された動画を不揮発性の記憶媒体に録画する。
【００２９】
出演者分類ＤＢ７０は、半導体メモリ、ＨＤＤ、ネットワーク上のサーバ等の不揮発性の記憶媒体により実現され、出演者とシーンとの対応関係を記録されている。出演者分類ＤＢ７０は、出演者特定部３０の要求に応じていずれかの出演者に対応付けられたシーン情報を出演者特定部３０へ送信したり、出演者登録部８０から入力される出演者とシーン情報の対応関係を不揮発性の記憶媒体に記録したりする。
【００３０】
出演者登録部８０は、後述のデータベース登録処理を実行するＣＰＵやＲＡＭ等のプログラム実行環境と、ユーザの操作入力を受け付けるリモコン等の操作部と、所定のディスプレイに動画やユーザインターフェースを表示するための表示部と、により構成される。むろん、データベース登録処理を実行するプログラム実行環境は、これと同等の機能を実現するＩＣ（Integrated Circuit）等により実現してもよい。出演者登録部８０は、表示部に動画を表示しつつ、表示部に表示された動画から操作部の操作により選択された特徴画像と当該特徴画像に対応付けるべく操作部を介して入力されたシーン情報とを対応付けて出演者分類ＤＢ７０に記憶させる。
【００３１】
（２）データベース登録処理：
次に、図２、図３を参照しつつデータベース登録処理について説明する。図２はデータベース登録処理の流れを示すフローチャート、図３はデータベース登録処理を説明する図である。データベース登録処理は、ユーザがデーベース登録の開始を指示する所定の操作入力を操作部を介して行ってしたときに、出演者登録部８０によって実行される。ユーザは、例えば、録画済みの動画やテレビ放送等の視聴中に所定の操作入力を行うことにより当該データベース登録処理を実行させることができる。
【００３２】
処理が開始されると、出演者特定部３０に、所定の操作入力が行われたときにディスプレイに表示されていた動画のフレーム画像に含まれる顔画像を顔認識により抽出させ（Ｓ１００）、抽出した顔が出演者分類ＤＢ７０に登録されているか否かを検索させる（Ｓ１１０）。その後、ステップＳ１００で抽出させた顔画像が出演者分類ＤＢ７０に登録済みである場合は（Ｓ１２０：Ｙｅｓ）当該顔画像に対応するシーン情報の編集画面を表示部に表示し（Ｓ１３０）、ステップＳ１００で抽出させた顔画像が出演者分類ＤＢ７０に未登録の場合は（Ｓ１２０：Ｎｏ）当該顔画像の新規登録画面を表示部に表示する（Ｓ１５０）。
【００３３】
例えば、図３に示すようにフレーム画像が人物Ａ，Ｂの顔画像を含んでいる場合は、これらの人物Ａ，Ｂの顔領域を顔認識によって検出し、人物Ａ，Ｂの顔画像の画像特徴量を抽出する。そして、出演者分類ＤＢ７０に登録済みの人物の中に当該画像特徴量を備える人物がいるか否かを検索する。なお、出演者分類ＤＢは、人物の顔画像そのものが登録されていいてもよいし、人物の顔画像から抽出された画像特徴量が登録されていてもよい。前者であれば、出演者分類ＤＢ７０に登録されている顔画像から画像特徴量を抽出しつつ、ステップＳ１００で抽出された顔画像を検索することになる。
【００３４】
人物Ａ，Ｂの顔画像が未登録の場合は、各人物に対して識別子とジャンルとの設定画面をディスプレイに表示する（Ｓ１５０、Ｓ１６０）。ここで設定する識別子やジャンルは、ユーザーが人物に対して任意に設定するものであり、人物を識別しやすい名称を識別子として設定し（Ｓ１５０）、人物Ｂが登場すると思われる１以上のジャンルを設定する（Ｓ１６０）。
図３に示す例では、ユーザーは、人物Ａに識別子Ａとジャンル「ドラマ」を付加し、人物Ｂに識別子Ｂとジャンル「ミュージック」「ドラマ」を付加している。すなわち、ユーザーは、ドラマには出演するもののその他の歌番組等には出演しない（と思われる）人物Ａに対しては、単一のジャンル「ドラマ」を付加し、ドラマにも歌番組にも出演する（と思われる）人物Ｂに対しては、複数のジャンル「ミュージック」「ドラマ」を付加している。なお、本実施形態においては、ここで言うジャンルがシーン情報を構成する。
【００３５】
また、人物に対して１以上のジャンルを設定する場合は、各ジャンルに重みを設定する。すなわち、図３に示す人物Ｂのようにジャンル「ミュージック」「ドラマ」を設定した場合は、いずれが人物Ｂが出演する頻度の高い（と思われる）ジャンル「ミュージック」を上位におくことにより、ジャンル「ミュージック」の重みをジャンル「ドラマ」よりも大きくしている。
【００３６】
一方、人物Ａ，Ｂが登録済みの場合は、各人物に対して設定されているジャンルの編集画面をディスプレイに表示する（Ｓ１３０）。図３に示す例では、例えば、本データベース登録処理の実行時に既に人物Ａにジャンル「ドラマ」が設定され人物Ｂにジャンル「ミュージック」が設定されていた場合に、人物Ｂに対して新たにジャンル「ドラマ」を設定する場合が、これに該当する。
【００３７】
以上のようにして、設定もしくは編集された識別子やジャンルは、出演者分類ＤＢ７０に登録される（Ｓ１４０）。以上のように、ユーザーは、動画の視聴中にジャンルを追加・削除・変更したい人物を発見したタイミングでデータベース登録処理を開始させ、新たに出演者分類ＤＢに人物を追加したり、出演者分類ＤＢに既存の人物の情報を呼び出して当該人物のジャンルを編集したりすることができる。従って、録画装置１００のユーザーは、出演者分類ＤＢ７０を自分のイメージに近くなるように容易に編集可能であり、後述のシーン情報付加処理において動画の各フレーム画像に付加されるシーン情報がユーザーにとって最も適切な形で付加されるように出演者分類ＤＢを改良していくことができる。
【００３８】
なお、上述した実施形態においては、画像認識の一例として、人物の顔画像を特徴画像として認識する顔認識を例にとって説明したが、植物や動物、山や風景等の他の画像を特徴画像とする画像認識を利用してシーン判断を行ってもよいことは言うまでもない。
【００３９】
（３）シーン情報付加処理：
次に、図４を参照してシーン情報付加処理について説明する。図４は、シーン情報付加処理の流れを示すフローチャートである。同図に示すシーン情報付加処理は、動画を記録媒体に記録する際に、シーン情報付加部５０によって実行される。なお、デジタルテレビ放送を録画するときは、放送受信部１０の出力するＴＳパケットが、逐次、受信バッファ部２０に記憶されている。
【００４０】
処理が開始されると、受信バッファ部２０に記録されている各ＴＳパケットについて、出演者特定部３０に、顔画像を顔認識により抽出させる（Ｓ２００）。出演者特定部３０は、ＴＳパケットに顔画像を検出すると（Ｓ２００：Ｙｅｓ）、出演者分類ＤＢを参照し、検出した顔画像が出演者分類ＤＢに登録済みであるか否かを判断する（Ｓ２１０）。ここで、検出した顔画像が出演者分類ＤＢに登録済みの場合は（Ｓ２１０：Ｙｅｓ）、ジャンル確定処理によって当該顔画像に付加すべきジャンルを特定する（Ｓ２２０）。なお、ジャンル確定処理の詳細については後に詳述する。一方、検出した顔画像が出演者分類ＤＢに未登録の場合は（Ｓ２１０：Ｎｏ）、ステップＳ２００にて判断対象とされたＴＳパケットについて該当するジャンルが無いものと判断する（Ｓ２４０）。
【００４１】
以上のようにして、ステップＳ２００にて判断対象とされたＴＳパケットは、ジャンルが特定され（Ｓ２２０）もしくは該当ジャンル無しと判断される（Ｓ２４０）ことによりジャンルが確定すると、シーン判定処理の対象となる。シーン判定処理では、シーン判定処理の対象となるＴＳパケットに対してシーン情報を付加すべきか否か判断する（Ｓ２３０）。シーン情報を付加すべきと判断されたＴＳパケットについては、ステップＳ２２０で特定されたジャンルが付加され、シーン情報を付加すべきでないと判断されたＴＳパケットについては、ステップＳ２２０でジャンルが特定されていてもジャンルは付加されない。以上のシーン情報付加処理を行うことにより、各ＴＳパケットに対して適切なジャンルが付加される。
【００４２】
（４）ジャンル確定処理：
次に、図５〜図１１を参照して、図４のステップＳ２２０のジャンル確定処理について詳細に説明する。図５、図８、図１０は、ジャンル確定処理の流れをフローチャートにて示しており、図６、図９、図１１には、ジャンル確定の各手法を説明する図であり、図７は、ＴＳパケットの構造を説明する図である。
【００４３】
ジャンル確定処理が開始されると、まず、出演者の人数に応じて最適なジャンル確定の手法を選択する判断処理を行う（Ｓ２２０ａ）。すなわち、出演者が単数の場合と複数の場合とで最適なジャンル確定のアルゴリズムを選択するものであり、出演者の人数が１人の場合はステップＳ２２０ｂ〜Ｓ２２０ｄの処理を実行し（Ｓ２２０ａ：Ｙｅｓ）、出演者の人数が２人以上の場合は図８に示すステップＳ２２０ｅ〜２２０ｉや図１０に示すステップＳ２２０ｊ〜Ｓ２２０ｏの処理を実行する（Ｓ２２０ａ：Ｎｏ）。ここで、出演者の人数とは、ＴＳパケットのフレーム画像に含まれる出演者のうち既にジャンルを付加されている出演者の人数であり、具体的には、上述したステップＳ２００，Ｓ２１０の顔認識により検出されて出演者分類ＤＢに登録されていると判断された顔画像に対応する出演者の人数となる。
【００４４】
出演者の人数が１人の場合は（Ｓ２２０ａ：Ｙｅｓ）、当該出演者に対応付けられたジャンルの中から最も重み付けの大きいジャンルを設定し（Ｓ２２０ｂ）、この設定したジャンルを判断対象となっているＴＳパケットのジャンルとして確定する（Ｓ２２０ｃ）。
例えば、図６に示すように、判断対象となっているＴＳパケットに識別子Ｂを付与された出演者Ｂが含まれると出演者特定部３０が判断し、出演者Ｂにジャンル「ミュージック」とジャンル「ドラマ」が付与されている場合は、出演者Ｂの各ジャンルに付与されている重みを比較する。図６に示す例では、ジャンル「ミュージック」の重みが８０％であってジャンル「ドラマ」の重みが２０％である。そこで、より重みの大きい「ミュージック」が、判断対象となっているＴＳパケットのジャンルとして設定・確定される（Ｓ２２０ｂ，Ｓ２２０ｃ）。確定したジャンルは、ＴＳパケットに付加される（Ｓ２２０ｄ）。
【００４５】
なお、図７に示すように、地上デジタル放送にかかるＴＳパケットのヘッダは任意の情報を付加することができる領域「Ｅｔｃ」を有しており、ジャンルにかかる情報は当該領域「Ｅｔｃ」に記録することができる。むろん、ジャンルに関する情報を記録するための領域を新たにヘッダに追加し、当該追加されたヘッダにジャンルに関する情報を記録してもよい。このように専用のヘッダを追加すれば、任意に利用可能な「Ｅｔｃ」に他の用途が想定されている場合であってもジャンルに関する情報を確実に各フレーム画像に付加することが出来る。また、領域Ｅｔｃのような自由に利用可能な領域を備えない規格を採用している動画であっても、ジャンルに関する情報を各フレーム画像に付加することが出来る。さらに、動画の規格に依存することなく、ジャンルに関する情報を各フレーム画像に付加することができるというメリットもある。
【００４６】
一方、出演者の人数が複数の場合は（Ｓ２２０ａ：Ｎｏ）、複数の出演者の中で付与されたジャンル数が最も少ない出演者を抽出する（Ｓ２２０ｅ）。
例えば、図９に示すように、判断対象となっているＴＳパケットが、識別子Ａを付与された出演者Ａと識別子Ｂを付与された出演者Ｂを含むと出演者特定部３０が判断し（Ｓ２２０ａ：Ｎｏ）、出演者Ａにジャンル「ドラマ」が付与され、出演者Ｂにジャンル「ミュージック」とジャンル「ドラマ」が付与されている場合は、付与されているジャンル数の少ない出演者Ａをジャンルの判断に利用する。より確実なシーン判断を行うためである。その結果、ジャンル「ドラマ」が、判断対象となっているＴＳパケットのジャンルとして設定・確定される（Ｓ２２０ｇ，Ｓ２２０ｈ）。確定したジャンルは、ＴＳパケットに付加される（Ｓ２２０ｉ）。
【００４７】
ただし、複数の出演者には付与されたジャンル数が同じ出演者が存在する場合もある。そこで、上述のように付与されたジャンル数の最も少ない出演者が何れか１人である場合は（Ｓ２２０ｆ：Ｙｅｓ）、ステップＳ２２０ｇ〜Ｓ２２０ｉの処理を行うが、付与されたジャンル数の最も少ない出演者が複数人いる場合は（Ｓ２２０ｆ：Ｎｏ）、図１０に示すステップＳ２２０ｊ〜Ｓ２２０ｏの処理を実行する。
【００４８】
ステップＳ２２０ｊでは、出演者特定部３０が抽出した全出演者について、それぞれ最も大きく重み付けされているジャンルを、各出演者のジャンルと擬制する。
例えば、図１１に示す例では、判断対象となっているＴＳパケットが、識別子Ａを付与された出演者Ａと識別子Ｂを付与された出演者Ｂと識別子Ｃを付与された出演者Ｃとを含んでおり、出演者Ａにはジャンル「ドラマ」が付与され、出演者Ｂにはジャンル「ミュージック」とジャンル「ドラマ」が付与され、出演者Ｃにはジャンル「ミュージック」が付与されている。すなわち、出演者Ａと出演者Ｃに付与されているジャンル数は何れも１つであり、ジャンル数による優先順位がつけられない。そこで、ジャンル「ドラマ」を出演者Ａのジャンルと擬制し、ジャンル「ミュージック」をジャンルと擬制し、ジャンル「ミュージック」をジャンルと擬制する（Ｓ２２０ｊ）。このように擬制したとき、最も多いジャンルは「ミュージック」となり（Ｓ２２０ｋ）、ジャンル「ミュージック」が、判断対象となっているＴＳパケットのジャンルとして設定・確定される（Ｓ２２０ｌ：Ｙｅｓ，Ｓ２２０ｍ）。確定したジャンルは、ＴＳパケットに付加される（Ｓ２２０ｎ）。
【００４９】
ただし、ステップＳ２２０ｊで各出演者のジャンルと擬制したジャンルの中でも同数のジャンルが存在する場合がある。ステップＳ２２０ｊで各出演者のジャンルと擬制したジャンルの中から最も多いジャンルが特定できる場合は（Ｓ２２０ｌ：Ｙｅｓ）、ステップＳ２２０ｍ〜Ｓ２２０ｎの処理を行うが、ステップＳ２２０ｊで各出演者のジャンルと擬制したジャンルの中から最も多いジャンルが特定できない場合は（Ｓ２２０ｌ：Ｎｏ）、判断対象となっているＴＳパケットには該当するジャンルが無いと判断する（Ｓ２２０ｏ）
【００５０】
以上のジャンル確定処理を行うことにより、各ＴＳパケットに対してジャンルが付与される。このようにして付与されたジャンルを正式に付与して録画してもよいが、フレーム画像毎にジャンルを付与した場合、連続するフレーム画像に付与されるジャンルが頻繁に切り替わる可能性もあり、特定のジャンルを指定して後述の視聴を行ったときに画像がフレーム画像単位で飛び飛びに表示されてしまう可能性もあり、視聴しづらくなる。そこで、本実施形態では、以下のシーン判定処理を行って、ジャンルが連続的に付与される場合に限ってジャンルが付与されるようにしている。
【００５１】
（５）シーン判定処理
図１２は、シーン判定処理の流れを示すフローチャートである。シーン判定処理では、順次、各ＴＳパケットについてジャンルを付与するか否かの判断を行う。ジャンルを付与する基準は、判断対象となるＴＳパケットのジャンルが、当該ＴＳパケットを含んで規定時間以上連続するＴＳパケットと同じジャンルであるか否かとされ、規定時間以上連続するＴＳパケットに同じジャンルが付与されている場合に限って、上述したジャンル確定処理において付与したジャンルを付与した状態で記録媒体に記録する。なお、規定時間は、チャプターとして分類可能な最小録画時間等とすることができるが、むろん、当該最小録画時間以上であれば様々に設定することができる。
【００５２】
より具体的には、シーン判定処理が開始されると、まず、判断対象となっているＴＳパケットに、上述したジャンル確定処理においてジャンルが付与されているか否かを判断する（Ｓ２３０ａ）。ジャンルが付与されている場合は（Ｓ２３０ａ）、次に、直前に判断したＴＳパケットのジャンルと、判断対象となっているＴＳパケットとで、同じジャンルが設定されているか否かを判断する（Ｓ２３０ｂ）。同じジャンルが設定されている場合は（Ｓ２３０ｂ：Ｙｅｓ）、ジャンル付与の判断に利用するカウンターのカウントをインクリメントし（Ｓ２３０ｃ）、同じジャンルが設定されていない場合は（Ｓ２３０ｂ：Ｎｏ）、当該カウンターのカウントをクリアする（Ｓ２３０ｇ）。カウンターのカウントをクリアすると、判断対象となっているＴＳパケットは、チャプター分類を行われること無く録画部６０へ出力され、記録媒体へ記録される（Ｓ２３０ｆ）。
【００５３】
カウンターのカウントをインクリメントすると、当該カウンターが規定時間以上のカウント値であるか否か判断する（Ｓ２３０ｄ）。カウント値が規定時間以上になっている場合は（Ｓ２３０ｄ：Ｙｅｓ）、判定対象となっているＴＳパケットと連続して同じジャンルを付加されている複数のＴＳパケットについてチャプター分類を行い（Ｓ２３０ｅ）、これら複数のＴＳパケットをチャプター分割しつつ録画部６０へ出力され、記録媒体へ記録される（Ｓ２３０ｆ）。
【００５４】
図１３は、以上のようにして記録媒体に記録される記録イメージである。同図に示す例では、グレーで示したＴＳパケットはジャンルが付加され、白抜きで示したＴＳパケットはジャンルが付加されていない。また、上述した規定時間は、ＴＳパケットの２コマ分としてある。
同図において、左から３コマ目のＴＳパケットは、前後のＴＳパケットにジャンルが付加されていないため、チャプター分類されない。また、左から７コマ目〜９コマ目は、３コマ連続して同一のジャンル「ミュージック」でが付加されているため、これらのＴＳパケットは「ミュージック」にチャプター分類される。同様に、左から１３コマ目と１４コマ目も２コマ連続して同一のジャンル「ミュージック」が付加されているため、これらのＴＳパケットも「ミュージック」にチャプター分類される。なお、本実施形態では、ここで言うチャプターが、ひとまとまりのシーンであることを示す情報を構成する。
【００５５】
（６）視聴にかかる処理：
以上のようにしてジャンル確定とシーン判定が行われつつ記録媒体に記録された動画の再生について、図１４を参照して説明する。
同図の（ａ）は、ある日の３０分のニュース番組において割当てられたチャプターを示してある。同図に示すように。０〜１０分はジャンル「ニュース」にチャプター分割されており、例えば、アナウンサーやキャスター等がニュースを読む通常のニュース放送であることがわかる。また、１０〜１５分はジャンル「野球」にチャプター分割されており、例えば、野球のハイライトシーン等のダイジェスト放送が行われている事が分かる。また、１５〜２０分はジャンル「サッカー」にチャプター分割されており、例えば、サッカーのハイライトシーン等のダイジェスト放送が行われている事が分かる。また、２０〜２５分はジャンル「相撲」にチャプター分割されており、例えば、相撲のハイライトシーン等のダイジェスト放送が行われている事が分かる。また、２５〜３０分はジャンル「天気」にチャプター分割されており、例えば、天気キャスターが行う天気予報の放送が行われていた事が分かる。
【００５６】
以上のように、１つのニュース番組の中でも各種の報道がなされており、電子番組情報（ＥＰＧ）や新聞などのテレビ欄では単一のニュース番組とされていても、実際の画像は各種のシーンが含まれている。
このようなニュース番組について従来の技術でシーン判別すると、例えばＥＰＧを利用して判別した場合は、ニュース番組の全てがニュースに判別されるし、仮に出演者の名前からジャンル判別したとしても、出演者がキャスターでも歌手でもある場合はシーンが歌番組であるにも関わらずニュースと判別されるなどの誤判定が発生する可能性がある。
本実施形態では、上述したシーン情報付加処理ではフレーム画像毎にジャンル判別してフレーム画像毎にジャンルを付加しているため、実際の映像に基づくチャプター分類が適切に行われる。
【００５７】
また、同図の（ｂ）は、ある日の３０分の音楽番組において割当てられたチャプターを示している。同図に示すように。０〜５分や２０〜２５分はジャンル「ポップ」にチャプター分割されており、例えば、ポップシンガーが出演している事ことが分かる。また、５〜１０分や１５〜２０分は「ロック」にチャプター分割されており、例えば、ロックシンガーが出演している事が分かる。また、１０〜１５分はジャンル「演歌」にチャプター分割されており、例えば、演歌歌手が出演している事が分かる。また、２５〜３０分はジャンル「バラード」にチャプター分割されており、例えば、バラードシンガーが出演している事が分かる。
【００５８】
以上のように、１つの音楽番組の中でも各種ジャンルの歌手が登場しており、電子番組情報（ＥＰＧ）や新聞などのテレビ欄では単一の音楽番組とされていて登場する歌手名等は記載されていても、実際にどのタイミングで各歌手が登場するかが不明である。
このような音楽番組について従来の技術でシーン判別すると、例えばＥＰＧを利用して判別した場合は、音楽番組の全てがミュージックに判別されるし、仮に出演者の名前からジャンル判別したとしても、出演者がキャスターでも歌手でもある場合はシーンが歌番組であるにも関わらずニュースと判別されるなどの誤判定が発生する可能性がある。
本実施形態では、上述したシーン情報付加処理ではフレーム画像毎にジャンル判別してフレーム画像毎にジャンルを付加しているため、実際の映像に基づくチャプター分類が適切に行われる。
【００５９】
ユーザーは、以上のようにしてチャプター分割された番組について、視聴したいジャンルを指定することにより、所望のジャンルが実際に映像に含まれている箇所のみを視聴することが出来る。例えば、図１４（ｄ）に示すように、ユーザーが野球を指定すると、ニュース番組の中から野球に関する映像が含まれている箇所のみをダイジェスト視聴（ザッピング）することができるし、複数の番組にまたがって野球に関する映像が含まれている箇所のみをダイジェスト視聴（ザッピング）することもできる。むろん、図１４（ｃ）に示すように、番組の全てを指定して、番組全体を視聴することもできる。
【００６０】
（７）まとめ：
以上説明した実施形態においては、デジタルテレビ放送を受信して記録媒体に記録する録画装置１００において、デジタルテレビ放送に含まれる動画を構成するフレーム画像から、出演者分類ＤＢ７０に登録された出演者の顔画像を抽出し、出演者分類ＤＢ７０に登録された出演者に対応付けられているジャンルを、顔画像の抽出を行ったフレーム画像に付加している。よって、シーン情報を利用して容易に所望のシーンを抽出可能となり、録画された動画からユーザー所望のシーンを簡易且つ迅速に抽出して表示することが可能となる。
【００６１】
なお、本発明は前記実施例に限られるものでないことは言うまでもない。当業者であれば言うまでもないことであるが、
・前記実施例の中で開示した相互に置換可能な部材および構成等を適宜その組み合わせを変更して適用すること
・前記実施例の中で開示されていないが、公知技術であって前記実施例の中で開示した部材および構成等と相互に置換可能な部材および構成等を適宜置換し、またその組み合わせを変更して適用すること
・前記実施例の中で開示されていないが、公知技術等に基づいて当業者が前記実施例の中で開示した部材および構成等の代用として想定し得る部材および構成等と適宜置換し、またその組み合わせを変更して適用すること
は本発明の一実施例として開示されるものである。
【符号の説明】
【００６２】
１００…録画装置、１０…放送受信部、２０…受信バッファ部、３０…出演者特定部、４０…放送シーン特定部、５０…シーン情報付加部、６０…録画部、７０…出演者分類ＤＢ、８０…出演者登録部
【特許請求の範囲】
【請求項１】
動画を記録媒体に記録する録画装置において、
動画を構成するフレーム画像毎にシーン情報を付加するシーン情報付加部を備えることを特徴とする録画装置。
【請求項２】
特徴画像とシーン情報との対応関係を規定したデータベースを更に備え、
前記シーン情報付加部は、前記データベースを参照し、前記動画のフレーム画像から画像認識により抽出された特徴画像に対応するシーン情報を当該フレーム画像に付加する請求項１に記載の録画装置。
【請求項３】
前記データベースには、各特徴画像に対応付けられた各シーン情報について重みが設定されており、
前記シーン情報付加部は、動画を構成するフレーム画像から抽出された特徴画像が１つであって当該特徴画像に対応付けられたシーン情報が複数の場合に、前記重みが最も大きいシーン情報を当該フレーム画像に付加する請求項２に記載の録画装置。
【請求項４】
前記データベースには、各特徴画像に対応付けられた各シーン情報について重みが設定されており、
前記シーン情報付加部は、動画を構成するフレーム画像から複数の特徴画像が抽出された場合に、対応付けられたシーン情報が最も少ない特徴画像に対応付けられたシーン情報の中で重みが最も大きいシーン情報を当該フレーム画像に付加する請求項２または請求項３に記載の録画装置。
【請求項５】
前記データベースには、各特徴画像に対応付けられた各シーン情報について重みが設定されており、
前記シーン情報付加部は、動画を構成するフレーム画像から複数の特徴画像が抽出された場合であって対応付けられたシーン情報が最も少ない特徴画像が複数ある場合に、各特徴画像に対応付けられたシーン情報の中で最も重みの大きいものを特徴画像毎にそれぞれ選出した複数のシーン情報の中で最も多いシーン情報を当該フレーム画像に付加する請求項２〜請求項４の何れか１項に記載の録画装置。
【請求項６】
動画から抽出された特徴画像について、所定の操作部を介して入力されたシーン情報を対応付けて前記データベースに登録するデータベース作成部を更に備える請求項２〜請求項５の何れか１項に記載の録画装置。
【請求項７】
前記シーン情報付加部は、所定時間以上連続して同じシーン情報が付加された複数のフレーム画像に対し、ひとまとまりのシーンであることを示す情報を付与する請求項１〜請求項６の何れか１項に記載の録画装置。
【請求項８】
前記シーン情報付加部は、前記動画において同じシーンが所定時間以上継続する場合は、当該継続するシーンを構成する各フレーム画像をひとまとまりのシーンとして分類する請求項１〜請求項７の何れか１項に記載の録画装置。
【請求項１】
動画を記録媒体に記録する録画装置において、
動画を構成するフレーム画像毎にシーン情報を付加するシーン情報付加部を備えることを特徴とする録画装置。
【請求項２】
特徴画像とシーン情報との対応関係を規定したデータベースを更に備え、
前記シーン情報付加部は、前記データベースを参照し、前記動画のフレーム画像から画像認識により抽出された特徴画像に対応するシーン情報を当該フレーム画像に付加する請求項１に記載の録画装置。
【請求項３】
前記データベースには、各特徴画像に対応付けられた各シーン情報について重みが設定されており、
前記シーン情報付加部は、動画を構成するフレーム画像から抽出された特徴画像が１つであって当該特徴画像に対応付けられたシーン情報が複数の場合に、前記重みが最も大きいシーン情報を当該フレーム画像に付加する請求項２に記載の録画装置。
【請求項４】
前記データベースには、各特徴画像に対応付けられた各シーン情報について重みが設定されており、
前記シーン情報付加部は、動画を構成するフレーム画像から複数の特徴画像が抽出された場合に、対応付けられたシーン情報が最も少ない特徴画像に対応付けられたシーン情報の中で重みが最も大きいシーン情報を当該フレーム画像に付加する請求項２または請求項３に記載の録画装置。
【請求項５】
前記データベースには、各特徴画像に対応付けられた各シーン情報について重みが設定されており、
前記シーン情報付加部は、動画を構成するフレーム画像から複数の特徴画像が抽出された場合であって対応付けられたシーン情報が最も少ない特徴画像が複数ある場合に、各特徴画像に対応付けられたシーン情報の中で最も重みの大きいものを特徴画像毎にそれぞれ選出した複数のシーン情報の中で最も多いシーン情報を当該フレーム画像に付加する請求項２〜請求項４の何れか１項に記載の録画装置。
【請求項６】
動画から抽出された特徴画像について、所定の操作部を介して入力されたシーン情報を対応付けて前記データベースに登録するデータベース作成部を更に備える請求項２〜請求項５の何れか１項に記載の録画装置。
【請求項７】
前記シーン情報付加部は、所定時間以上連続して同じシーン情報が付加された複数のフレーム画像に対し、ひとまとまりのシーンであることを示す情報を付与する請求項１〜請求項６の何れか１項に記載の録画装置。
【請求項８】
前記シーン情報付加部は、前記動画において同じシーンが所定時間以上継続する場合は、当該継続するシーンを構成する各フレーム画像をひとまとまりのシーンとして分類する請求項１〜請求項７の何れか１項に記載の録画装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１３】
【公開番号】特開２０１２−１３４８３１（Ｐ２０１２−１３４８３１Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８６１６１（Ｐ２０１０−２８６１６１）
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（０００２０１１１３）船井電機株式会社 (7,855)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（０００２０１１１３）船井電機株式会社 (7,855)
【Ｆターム（参考）】
[ Back to top ]