説明

映像処理装置及び映像処理方法

【課題】放送番組の映像を好適な位置で区切ることができる映像処理装置および映像処理方法の提供。
【解決手段】本実施形態の映像処理装置は、放送番組の映像データを受信する受信手段と、受信された映像データからCM区間を検出するCM検出手段と、検出されたCM区間の前の第1区間と後の第2区間の映像が異なる場合であって、第1区間に対応する字幕の文字の一部と、第2区間に対応する字幕の文字の一部とが一致する場合、映像データの第1区間の先頭近傍の第1位置とCM区間の後端近傍の第2位置に区切り情報を対応付けて映像データとともに記憶媒体に記憶させる記憶手段とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、映像処理装置及び映像処理方法に関する。
【背景技術】
【0002】
放送番組の映像を記録する場合に、CM区間を検出して番組本編とCM区間の境界にチャプタ等の区切り情報を付与する技術や、CM区間を区切って削除する技術がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−272155号公報
【特許文献2】特開2007−82091号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
放送番組によっては、CM前後の本編において、CM前と後とで内容が対応する映像が放送される場合があるが、このような場合にも、放送番組の映像を好適な位置で区切れること好ましい。
【0005】
そこで本発明の実施形態は、放送番組の映像を好適な位置で区切ることができる映像処理装置および映像処理方法の提供を目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本実施形態の映像処理装置は、放送番組の映像データを受信する受信手段と、受信された映像データからCM区間を検出するCM検出手段と、検出されたCM区間の前の第1区間と後の第2区間の映像が異なる場合であって、第1区間に対応する字幕の文字の一部と、第2区間に対応する字幕の文字の一部とが一致する場合、映像データの第1区間の先頭近傍の第1位置とCM区間の後端近傍の第2位置に区切り情報を対応付けて映像データとともに記憶媒体に記憶させる記憶手段とを備える。
【図面の簡単な説明】
【0007】
【図1】実施形態の映像処理装置の利用形態例を示す図。
【図2】実施形態の映像処理装置のシステム構成例を示す図。
【図3】実施形態の映像処理装置による映像の区切り処理例を示す図。
【図4】実施形態の映像処理装置が区切り処理において用いる字幕データ例を示す図。
【図5】実施形態の映像処理装置による映像の区切り処理に係る処理フロー例を示す図。
【発明を実施するための形態】
【0008】
以下、図面を参照して実施形態を説明する。
図1は本実施形態に係る映像処理装置の利用形態例を示す図である。本実施形態に係る映像処理装置は、例えば録画装置100として実現される。録画装置100は、テレビ放送受信アンテナが受信した放送波を受信し、当該放送波に含まれる放送番組の映像データを記録(録画)する。録画装置100は表示装置200とデジタルインタフェースにより無線/有線接続されており、記録した映像データを表示装置200に出力して当該映像データの映像を表示装置200に表示させる。そして本実施形態に係る録画装置100は、放送番組の映像データの録画に際し、当該放送番組のCM区間前後の区間を好適な位置で区切ることができる。より具体的には、録画装置100は、CM区間の前に放送された内容がCM区間の後にも繰り返し放送されるような場合において、CM前後の区間の内容を好適に判別し、当該放送の映像を録画して再生する場合に、繰り返して放送された部分をスキップできるように好適な位置で区切ることができる。
【0009】
図2は録画装置100及び表示装置200のシステム構成例を示す図である。
録画装置100は、受信部110、分離部120、区間検出部130、字幕類似度検出部140、区切り処理部150、記憶部160、操作受付部170、録画再生制御部180、映像出力部190等を備える。
【0010】
受信部110は、例えばチューナモジュール等であり、デジタルテレビ放送の放送波を受信する。なお放送波には、例えば映像データ(メイン映像)、音声データ及び字幕データ(サブ映像)のストリームが例えばTS(Transport Stream)形式で重畳されている。分離部120は、放送波に重畳された映像データのストリームと字幕映像のストリームとを分離し、メイン映像を区間検出部130に、字幕映像を字幕類似度検出部140に出力する。
【0011】
区間検出部130は、CM検出部131、シーン検出部132、画像類似度検出部133を備える。CM検出部131は、入力された映像データに含まれる任意区間(CM区間)を検出する。ここでCM検出部131は、例えばCM区間と本編との間に存在する無音区間に基づいてCM区間を検出する。即ち、CM区間は15秒の略整数倍の時間長であるため、CM検出部131は、検出した無音区間と無音区間との間の時間が15秒の略整数であるか否かに応じてCM区間を検出する。
【0012】
シーン検出部132は、放送番組の映像データの本編区間においてシーンが変わる時間位置(シーンチェンジ位置)を検出し、CM区間前後の本編におけるシーンチェンジ位置と当該CM区間との間の本編シーンを検出する。ここでシーンチェンジ位置の検出は例えば特許文献2に記載の公知技術を用いて行われる。なおシーン検出部132は、必ずしも本編区間の全てに対してシーンチェンジ位置を検出する必要はなく、少なくともCM区間前後の所定時間長に対してシーンチェンジ位置を検出すればよい。
【0013】
画像類似度検出部133は、CM前のシーンにおける映像とCM後のシーンにおける映像との類似度を判別する。ここで画像類似度検出部133は、CM前のシーンの映像とCM後のシーンの映像の両方を複数の分割区間に分割し、夫々の分割区間に識別子を付与する。そして画像類似度検出部133は、CM前の分割区間とCM後の分割区間の映像の類似度を夫々の区間毎に判別する。そして画像類似度検出部133は、CM前の分割区間の映像とCM後の分割区間の映像と全て一致する場合(所定閾値以上の類似度を示す場合)、区切り処理部150に、CM区間前のシーンチェンジ位置とCM区間の終了位置とを通知して、これらの位置で映像を区切るよう指示する。
【0014】
一方画像類似度検出部133は、CM前の分割区間の映像とCM後の分割区間の映像のうち一部が一致し、一部が一致しない場合、当該一致しない分割区間における字幕の類似度検出を字幕類似度検出部140に指示する。なお画像類似度検出部133は、CM前と後とでシーン内の映像が異なっている区間が所定時間長以上である場合、CM開始位置(開始時間)とCM終了位置(終了時間)を区切り処理部150に通知して、これらの位置で区切るよう指示しても良い。なお区間検出部130の詳細な処理については図3を参照して後述する。
【0015】
字幕類似度検出部140には、字幕データのストリームが入力される。そして字幕類似度検出部140は、画像類似度検出部133から指示を受けた区間において表示される字幕データの類似度を検出する。即ち、画像類似度検出部133から指定されたCM区間前の分割区間における字幕データと、画像類似度検出部133から指定されたCM区間後の分割区間における字幕データとを比較し、これら字幕データが類似するか否かを判別する。そして字幕類似度検出部140は、これら字幕が類似する場合、区切り処理部150に、CM区間前のシーンチェンジ位置とCM区間の終了位置とで区切るよう指示する。一方字幕が類似しない場合、字幕類似度検出部140は、CM開始位置とCM終了位置とで映像を区切るよう区切り処理部150に指示する。
【0016】
なお字幕類似度検出部140には、必ずしもストリームとして字幕データが入力されなくともよく、字幕が埋め込まれた映像データが入力されても良い。そしてこの場合に字幕類似度検出部140は、映像中の字幕の文字を検出して、CM前後で検出した字幕の文字同士の類似度を判別する。
【0017】
区切り処理部150は、映像データのストリーム及び字幕データのストリームの、区間検出部130及び字幕類似度検出部140からの指示に応じた位置に区切り情報を付与し、プレイリストを生成する。そして区切り処理部150は、作成したプレイリストを記憶部160に出力する。また区切り処理部150は入力された指示に応じた位置でストリームの一部を削除し、削除していない部分を結合させても良い。記憶部160は、例えばHDDやリムーバブルメディア等の記憶媒体であり、受信部110が受信した映像データ、音声データ及び字幕データのストリームが例えばTS形式で入力される(当該ストリームの経路は不図示)。そして記憶部160は、入力されたプレイリストと入力されたTS形式のデータとを対応付けて記憶する。即ち記憶部160は、放送番組の映像データと、当該映像データの区切り情報とを対応付けて記憶する。
【0018】
操作受付部170は、ユーザからの操作入力を受け付ける。ここで操作受付部170は、例えばテレビ放送の何れかのチャンネルの録画を指示する操作入力や、受信部110が受信した何れかのチャンネルの映像を外部機器に出力させる操作入力、記憶部160に録画された映像データの再生を指示する操作入力等を受け付ける。そして操作受付部170は、受け付けた操作入力に応じた通知を録画再生制御部180に行う。
【0019】
録画再生制御部180は、操作受付部170が受け付けた操作入力に応じて、録画処理と再生処理とを実行する。何れかのチャンネルの録画を指示する操作入力を受けた場合に録画再生制御部180は、操作入力に応じたチャンネルを受信部110に受信させ、当該受信させたチャンネルのTSデータを記憶部160に記憶させる。また録画再生制御部180は、放送中の番組の映像データを外部機器に出力させる操作があった場合、当該操作に応じたチャンネルを受信部110に受信させ、受信させた映像データを映像出力部190から外部機器に出力させる。また録画再生制御部180は、録画された映像の再生操作があった場合、記憶部160に記憶された映像を映像出力部190から外部機器に出力させる。なお、映像出力部190から外部機器に映像を出力する際には、出力前に映像や音声のデコードを行ってから出力しても良い。
【0020】
次に表示装置200を説明する。表示装置200は、映像入力部210、映像処理部220等を備える。映像入力部210は録画装置100から送信された映像データを受信する。映像処理部220は、映像入力部210が受信した映像データを表示部230が表示可能な形式の映像信号に変換し、当該映像信号を表示部230に出力する。なお映像処理部220は、映像入力部210が受信した映像データがデコードされていない場合、当該映像データをデコードした後映像信号に変換しても良い。そして表示部230は、入力された映像信号を用いて映像を表示する。
【0021】
図3は録画装置100による映像の区切り処理例を示す図である。
まずCM検出部131は、映像データからCM区間を検出して、図3(A)のようにCM区間と本編との境界P1及びP2を検出する。次にシーン検出部132は、CM区間の前の区間のうち境界P1から所定区間長以内にある区間からシーンチェンジ位置P3を検出する。また同様にシーン検出部132は、CM区間の後の区間のうち境界P2から所定区間長以内にある区間からシーンチェンジ位置P4を検出する。
【0022】
そして画像類似度検出部133は、CM区間直前のシーンn2とCM区間直後のシーンn3を、夫々複数のショット(分割区間)に分割し、シーンn2とシーンn3とにおいて夫々同じ位置にある分割区間の類似度を検出する。即ち、ショットm1とショットm4、ショットm2とショットm5、ショットm3とショットm6の映像の類似度を検出する。ここで、図3(C)に示すように、ショットm1とショットm4、及びショットm2とショットm5とが類似し、ショットm3とショットm6とが非類似である場合、録画装置100は図4で後述する字幕の類似度に応じて区切り位置を選択する。
【0023】
即ち、ショットm3の映像とショットm6の映像とが非類似であっても、ショットm3の字幕とショットm6の字幕とが類似している場合、録画装置100は、シーンn2とシーンn3とを類似区間であると判別して、位置P9と位置P10とを区切り位置として設定する。そして区切り処理部150は、当該位置P9及びP10にチャプタ等の区切り情報を付与し、映像データに対応付けて記憶部160に記憶させる。なおチャプタとは、映像再生時に映像の再生位置を当該チャプタの位置から次のチャプタの位置までジャンプさせるための区切り情報である。
【0024】
また区切り処理部150は、映像データに区切り情報を付与して対応付ける場合、必ずしも厳密に位置P9及びP10の位置に付与しなくともよく、例えば前後数百msec程度ずれていてもよい。しかしながら、区切り情報の位置をシーンチェンジ点の位置P9に合わせることで、映像再生時にチャプタを利用してジャンプする際に、映像が不自然に途切れることを抑制することができる。
【0025】
なお図3(B)において、シーンn2の後端はCMによりカットされているが、シーンn3の後端にはシーンn4が連なるため、場合によってはそもそもシーンn3とシーンn4の間にシーンチェンジ点P4が検出されない場合もある。この場合にシーン検出部132は、まずCM前の区間からシーンチェンジ点P3を検出してシーンn2の区間長(時間長)を検出し、位置P2から当該区間長分後の位置を仮のシーンチェンジ点として検出してもよい。そしてこの場合の以降の処理は図3(C)及び(D)と同様に行われる。
【0026】
これにより、バラエティー番組やクイズ番組において、CM区間の前と後に、映像が若干異なっていても内容が類似しているもの、例えばCM区間の前では映像の一部にモザイクや帯状の画像が表示され、CM区間の後ではこれらが無いような場合であっても、字幕の類似度に基づいて好適な位置で映像を区切ることができる。
【0027】
なお区切り処理部150は、ショットm3の映像とショットm6の映像、及びショットm3の字幕とショットm6の字幕が類似しない場合、シーンn2とシーンn3を非類似区間と判別して区切り情報をCMの開始位置と終了位置に付与しても良い。
【0028】
図4は、図3(C)に示した夫々のショットの区間において表示される字幕の例を示す図である。
図4(A)に示す例では、ショットm1とショットm4、ショットm2とショットm5、及びショットm3とショットm6の字幕が一致している。このため字幕類似度検出部140は、ショットm1とショットm4、ショットm2とショットm5、及びショットm3とショットm6とが夫々類似区間であると判別し、これらのショットが含まれるシーンn2とシーンn3とが類似区間であると判別する。
【0029】
図4(B)に示す例では、CM区間前のショットm3の字幕に「ゴール!2回目は・・・」と表示され、CM区間後のショットm6の字幕に「ゴール!2回目は77点!」と表示される。ここで、CM前の字幕ではCM後の重要シーンの内容を事前にユーザに知られることを防ぐため、例えばクイズの回答やゲームの得点などについて「・・・」などの表記とし、そこでCMに入る、といった手法が使われる場合がある。このため字幕類似度検出部140は、CM前の字幕に「・・・」等の表記がある場合には、字幕の文字のうち当該「・・・」以前の文字に対して、CM後の字幕の文字との比較を行う。
【0030】
そして字幕類似度検出部140は、ショットm2の字幕の「・・・」以前の部分と、ショットm6の「77点!」以前の部分とが一致するため、これらショットの字幕を類似する字幕として判別する。即ち字幕類似度検出部140は、CM前の字幕の先頭から所定文字数分の文字と、CM後の字幕の文字の一部とが一致している場合、これら字幕を類似していると判別する。
【0031】
図4(C)に示す例では、CM区間前のショットm3の字幕に「というわけで、一回目、よーいスタート」と表示され、CM区間後のショットm6の字幕に「一回目、よーいスタート」と表示される。ここで、CM前の字幕の内容が長い場合などにおいて、CM後の字幕ではCM前の字幕の文字列のうち先頭部分を削除したものが表示される場合がある。このため字幕類似度検出部140は、CM前の字幕の文字の後方の一部とCM後の字幕の文字とが一致する場合、これら字幕が類似していると判別する。
【0032】
なお、図4(C)や(D)に示したように、CM前の字幕の一部とCM後の字幕の一部とが一致している場合にこれら字幕を類似すると判別すると、一方の字幕の文字列長が著しく短い場合や意味をなさない文字の羅列になっている場合にも類似と判別する恐れがあるため、このような場合には類似と判別しないようにしても良い。
【0033】
図4(D)に示す例では、CM区間前のショットm3の字幕に「<果たして 斉藤・・・>」、「お願いします!」、及び「(スタッフ)いきまーす」と表示され、CM区間後のショットm6の字幕に「<果たして 斉藤・・・>」、「(スタッフ)いきまーす」、及び「(斉藤)よーし!」と表示される。このように、ショットによっては複数の字幕を含む場合があり、また、その内容がCM前とCM後とで若干異なる場合がある。
【0034】
そして図4(D)の例では、1番目と4番目、3番目と5番目の文字列が一致しているが、CM前の2番目の字幕はCM後には存在しない。このような場合、CM前のショットに含まれる複数の字幕とCM後のショットに含まれる複数の字幕とについて、夫々一致を判別し、一致数の割合に応じてCM前後のショットが類似するか否か判別してもよい。即ち、図4(D)の例では、ショットm3及びm6に夫々3つの字幕が存在し、2つずつが一致しているため、一致数が4、不一致数が2となり、字幕一致数/総字幕数=4/6=0.67として、この数値が所定の閾値以上であればショットが類似していると判別しても良い。また、図4(D)の例においても、図4(C)や図4(D)のように、字幕の一部が一致していることにより各々の字幕が類似していると判別してもよい。
【0035】
図5は録画装置100による区切り処理に係る処理フロー例である。
まず受信部110がテレビ放送番組の映像データを受信すると(S501)、続いてCM検出部131は当該映像データ中におけるCM区間を検出する(S502)。次にシーン検出部132は、CM区間前後の一定長の区間からシーンチェンジ点を検出する(S503)。そして画像類似度検出部133は、CM区間の前の区間及び後の区間を夫々複数の分割区間に分割し、当該分割区間毎に、CM区間の前と後とで映像が一致するか否か(所定の類似度以上であるか否か)を判別する(S504)。
【0036】
そして、CM区間の前と後とで全ての分割区間の映像が一致している場合(S505のNo)、区切り処理部150は、映像データの図3(D)における位置P9及び位置P10の位置に区切り情報を対応付けて当該映像データとともに記憶部160に記憶させる(S510)。一方、図3(C)におけるショットm3とショットm6のように、CM区間の前と後とで映像が一致しない分割区間があった場合(S504のYes)、字幕類似度検出部140は、当該映像が一致しない分割区間に対応する時間に表示される字幕の類似度を検出する(S506)。
【0037】
ここで字幕類似度検出部140は、CM前の分割区間における字幕の文字の一部とCM後の分割区間における字幕の文字の一部とが一致する場合(S507のYes)、CM前後のシーンが類似していると判別する(S509)。なお字幕類似度検出部140は、図4(A)のようにショットm3の字幕の文字の全てとショットm6の字幕の文字の全てとが一致する場合、図4(B)や図4(C)のように字幕の前方/後方の一部が一致している場合、図4(D)のようにCM前のショットに対応する複数の字幕のうち所定数以上の字幕において、字幕に含まれる文字の全てがCM区間の後のショットの字幕に含まれる文字と一致する場合等に、処理をS507のYesのフローに進める。
【0038】
そして区切り処理部150は、CM前のシーンチェンジ点とCM区間の終了位置とに区切り情報(チャプタ等)を付与し、映像データとともに記憶部160に記憶させる(S510)。一方S507において、CM前の分割区間における字幕とCM後の分割区間における字幕とが一致しない場合(S507のNo)、区切り処理部150は図3(A)の位置P1及びP2のようにCM区間の開始位置近傍と終了位置近傍に区切り情報(チャプタ等)を付与する(S508)。
【0039】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0040】
100…録画装置、110…受信部、120…分離部、130…区間検出部、131…CM検出部、132…シーン検出部、133…画像類似度検出部、140…字幕類似度検出部、150…区切り処理部、160…記憶部、170…操作受付部、180…録画再生制御部、190…映像出力部、200…表示装置、210…映像入力部、220…映像処理部、230…表示部

【特許請求の範囲】
【請求項1】
放送番組の映像データを受信する受信手段と、
受信された映像データからCM区間を検出するCM検出手段と、
検出された前記CM区間の前の第1区間と後の第2区間の映像が異なる場合であって、前記第1区間に対応する字幕の文字の一部と、前記第2区間に対応する字幕の文字の一部とが一致する場合、前記映像データの前記第1区間の先頭近傍の第1位置と前記CM区間の後端近傍の第2位置に区切り情報を対応付けて前記映像データとともに記憶媒体に記憶させる記憶手段と
を備える映像処理装置。
【請求項2】
前記区切り情報は、前記映像データが再生される場合に、前記第1位置から前記第2位置にジャンプさせるための設定情報を含む、請求項1記載の映像処理装置。
【請求項3】
検出された前記CM区間の前の区間における第1シーンチェンジ点を検出するシーン検出手段を更に備え、
前記第1区間は、前記第1シーンチェンジ点と前記CM区間との間にある区間である、請求項1記載の映像処理装置。
【請求項4】
前記第1の区間は、前記第1シーンチェンジ点と前記CM区間との間にある区間のうち、前記CM区間の後の区間に一致する映像が含まれない区間である、請求項3記載の映像処理装置。
【請求項5】
前記記憶手段は、前記第1区間に対応する字幕の文字の全てと、前記第2区間に対応する字幕の文字の全てとが一致する場合に、前記映像データに前記区切り情報を対応付けて前記記憶媒体に記憶させる、請求項1記載の映像処理装置。
【請求項6】
前記記憶手段は、前記第1の区間および前記第2の区間の夫々に複数の字幕が対応する場合には、前記第1の区間に対応する複数の字幕のうち所定数以上の字幕において、字幕に含まれる文字の一部が前記第2区間の字幕に含まれる文字と一致する場合に、前記映像データに前記区切り情報を対応付けて前記記憶媒体に記憶させる、請求項1記載の映像処理装置。
【請求項7】
前記記憶手段は、前記第1の区間および前記第2の区間の夫々に複数の字幕が対応する場合には、前記第1の区間に対応する複数の字幕のうち所定数以上の字幕において、字幕に含まれる文字の全てが前記第2区間の字幕に含まれる文字と一致する場合に、前記映像データに前記区切り情報を対応付けて前記記憶媒体に記憶させる、請求項1記載の映像処理装置。
【請求項8】
映像を処理する装置における映像処理方法であって、
放送番組の映像データを受信することと、
受信された映像データからCM区間を検出することと、
検出された前記CM区間の前の第1区間と後の第2区間の映像が異なる場合であって、前記第1区間に対応する字幕の文字の一部と、前記第2区間に対応する字幕の文字の一部とが一致する場合、前記映像データの前記第1区間の先頭近傍の第1位置と前記CM区間の後端近傍の第2位置に区切り情報を対応付けて前記映像データとともに記憶媒体に記憶させることと
を備える映像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2013−30259(P2013−30259A)
【公開日】平成25年2月7日(2013.2.7)
【国際特許分類】
【出願番号】特願2011−167745(P2011−167745)
【出願日】平成23年7月29日(2011.7.29)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】