映像編集支援システム及び映像編集支援プログラム
【課題】
記録再生機器等において再生される映像の編集作業において、映像を視聴しながらユーザが行った操作内容に基づいて編集箇所の開始点と終了点を特定し、編集作業を支援するシステムを提供することを課題とする。
【解決手段】
映像編集支援システムは、まず、映像の再生者が重要と判断した箇所を示すポイント情報を記憶しておき、その記憶したポイント情報を用いて映像内の重要範囲を判定する。次に、その重要範囲の判定結果を利用することにより、映像内において不要と判断できる内容が記録されている範囲も同時に判定する。そして、この判定結果に基づいて映像に対する加工処理を自動的に実行し、生成された加工映像を再生者が視聴する表示装置に表示させる。
記録再生機器等において再生される映像の編集作業において、映像を視聴しながらユーザが行った操作内容に基づいて編集箇所の開始点と終了点を特定し、編集作業を支援するシステムを提供することを課題とする。
【解決手段】
映像編集支援システムは、まず、映像の再生者が重要と判断した箇所を示すポイント情報を記憶しておき、その記憶したポイント情報を用いて映像内の重要範囲を判定する。次に、その重要範囲の判定結果を利用することにより、映像内において不要と判断できる内容が記録されている範囲も同時に判定する。そして、この判定結果に基づいて映像に対する加工処理を自動的に実行し、生成された加工映像を再生者が視聴する表示装置に表示させる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像の編集に関し、特に記録再生機器等において再生される映像の視聴と同時に編集箇所を特定する技術に関する。
【背景技術】
【0002】
一般的に、テレビ放送される番組や撮影した動画を記録保存する場合、これらの映像に含まれる不要部分を削除する等の編集作業が行われる。しかし、この編集作業は、映像の内容に応じて編集箇所を特定しなければならないため、映像の内容確認が複数回必要となり、手間がかかるという問題がある。例えば、テレビ番組に含まれるコマーシャル映像を削除するためにその開始点と終了点を特定したり、撮影した映像の中から重要部分のみを抽出するためにその開始点と終了点を特定したりする場合、編集作業を行う者は、映像の内容を把握して編集箇所を特定しなければならないため、「巻き戻し」や「早送り」操作を複数回繰り返すこととなってしまう。
【0003】
上記の問題を解決する手段として、映像の録画再生分野において、ユーザが映像を視聴しながら削除したい場面の映像(映画の予告編やテレビコマーシャル等)を発見した際、リモコン操作で削除したい場面を指定するという技術がある。この技術において、ユーザが映像を見ながらリモコンの編集ボタンを押下した映像位置を記録し、編集モード起動時に、その記録しておいた映像位置にジャンプ移動することにより編集操作の手間を削減するという手段が用いられている。これにより、編集作業を行うために「巻き戻し」や「早送り」操作を行う回数を削減することができる。(特許文献1参照)
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−5394号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の技術を用いると、映像の編集作業を行う際に「巻き戻し」や「早送り」操作を行う回数を削減することができる。しかし、ユーザが映像を視聴しながら削除したい場面をリモコンで指定したとしても、その指定した時点において削除したい場面の開始点が既に過ぎ去ってしまっていたり、指定した時点では削除したい場面がいつまで続くのか分からなかったりする。このため、特許文献1の技術では編集箇所の大まかな映像位置は把握することができたとしても、編集箇所の開始点と終了点を特定することはできない。
【0006】
本発明は、上記従来技術の問題点を解消することを課題とする。具体的には、記録再生機器等において再生される映像の編集作業において、その映像を視聴しながら行われるユーザの操作内容に基づいて編集箇所の開始点と終了点を特定し、編集作業の手間を軽減するシステムを提供することを課題とする。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本発明の映像編集支援システムは、映像の再生者が重要と判断した箇所を示すポイント情報を記憶するポイント情報記憶部と、ポイント情報を用いて映像内の重要範囲を判定する重要範囲判定部と、重要範囲判定部における判定結果に基づいて映像を加工処理する加工処理部と、映像加工部において加工処理された加工映像を表示する表示制御部と、を備えている。
【0008】
本発明のように構成することにより、映像の再生者が重要と判断した時点を示すポイント情報から、映像内において重要な内容が記録されている範囲を把握することができる。さらに、その重要範囲の判定結果を利用することにより、映像内において不要と判断できる内容が記録されている範囲も把握することができる。これにより、編集箇所をその開始点と終了点も含めて特定することができるため、編集作業の手間を軽減することが可能となる。
【0009】
本発明におけるポイント情報とは、ユーザが映像を視聴しながら重要だと感じた映像位置に関する情報のことをいう。具体的には、ユーザが映像視聴時に重要だと判断してリモコンのボタン等を押下した時刻を示す情報などがポイント情報として考えられる。
【0010】
本発明における重要範囲とは、映像中において、その映像の再生者が重要だと判断した内容が記録されている映像位置の範囲を示す情報のことをいう。具体的には、ユーザが重要だと判断した場面の開始点と終了点の両方を示す再生時間情報などが重要範囲として考えられる。
【0011】
本発明の映像編集支援システムは更に、映像を一定の時間的範囲を示す区間で区切る区間設定部と、ポイント情報と前記区間情報を関連付けた区間情報を記憶する区間記憶部と、を備え、重要範囲判定部は、区間情報に基づいて重要範囲を判定する、という構成としてもよい。
【0012】
本発明のように構成することにより、編集箇所の開始点と終了点を明確に特定することができるため、本システムにおける重要範囲の判定と加工処理を素早く行うことが可能となる。
【0013】
本発明における区間とは、予め定めておいた条件に対応する映像位置で所定数に区切った範囲の一つを示す情報のことをいう。区間に区切る方法としては、所定値に基づいて均等に区切る方法(一定の時間的範囲で区切る場合や、予め定めた全区間数に応じて均等に区切る場合など。)や、映像の要素に応じて区切る方法(映像の色の変化量に応じて区切る場合や、映像に含まれる音情報の変化量に応じて区切る場合など。)等が考えられるが、いずれを用いても構わない。
【0014】
本発明の映像編集支援システムは更に、区間情報に含まれるポイント情報の数に応じて前記区間毎の重要度を決定する区間重要度決定部と、を備え、区間情報記憶部は記憶されている区間情報に対して区間重要度を加える形に更新して記憶し、重要範囲判定部は、区間重要度に基づいて重要範囲を決定する、という構成としてもよい。
【0015】
本実施例のように構成することにより、映像中における重要部分や不要部分について、その重要度合いに応じた編集処理を行うことができる。これにより、ユーザの操作内容に応じて多様な編集処理を行うことが可能となる。
【0016】
本発明の映像編集支援システムは更に、映像が再生された時点における再生状況を解析した解析情報を記憶する解析情報記憶部を備え、重要範囲判定部は、解析情報に基づいて重要範囲を判定する、という構成としてもよい。
【0017】
本発明のように構成することにより、ユーザが映像をどういう状態で視聴したのかという再生状況を把握することができる。これにより、編集箇所の開始点と終了点をユーザの視聴状況に応じて細かく調整することが可能となる。
【0018】
本発明における再生状況とは、ユーザが映像をどういう状態で使用していたのかという状況のことをいう。具体的には、映像の再生スピードや音声の大きさ等の情報が再生状況として取得できる情報の一例として考えられる。
【0019】
また、本発明のプログラムを端末に読み込ませて実行することで、上述の本発明を実現させることも可能である。つまり、録画された映像に対して、その映像の再生者が重要と判断した箇所を示すポイント情報を記憶するポイント情報記憶部を備える映像編集支援システムに用いるプログラムであって、ポイント情報を用いて映像内の重要範囲を判定する重要範囲判定機能と、重要範囲判定部における判定結果に基づいて映像を加工処理する映像加工機能と、映像加工部において加工処理された加工映像を表示する表示制御機能と、をコンピュータに実現させる映像編集支援プログラムとして構成してもよい。
【0020】
このプログラムも、上述の映像編集支援システムと同様の作用効果を伴うものであり、上述した種々の特徴構成を備えることもできる。
【発明の効果】
【0021】
上述のように構成された本発明によれば、映像の再生者が重要と判断した箇所を示すための操作内容に基づいて、映像内の重要箇所と不要箇所の開始点及び終了点を特定することができる。これにより、編集処理を自動的に行うことができ、編集作業の手間を軽減することができるという効果を得ることができる。
【図面の簡単な説明】
【0022】
【図1】本発明のシステム構成の一例を示す概念図。
【図2】本発明の管理サーバのハードウェア構成の一例を示す概念図。
【図3】本発明の実施例1におけるシステム構成の一例を示す機能ブロック図。
【図4】本発明のシステム構成の別例を示す概念図。
【図5】本発明の実施例1におけるシステム構成の別例を示す機能ブロック図。
【図6】本発明の実施例1における処理プロセスの一例を示すフローチャート。
【図7】本発明の映像情報記憶部13に記憶する映像情報の一例を示す図。
【図8】本発明の加工データ記憶部15に記憶する加工データの一例を示す図。
【図9】本発明のポイント情報生成部25にて生成するポイント情報の一例を示す図。
【図10】本発明のポイント情報記憶部12に記憶するポイント情報の一例を示す図。
【図11】本発明の加工データ記憶部15内に設ける加工テーブルの一例を示す図。
【図12】本発明の加工データ記憶部15に記憶する加工データの一例を示す図。
【図13】本発明の加工処理部16にて生成する編集アドバイス情報の一例を示す図。
【図14】本発明の実施例2におけるシステム構成の一例を示す機能ブロック図。
【図15】本発明の実施例2におけるシステム構成の別例を示す機能ブロック図。
【図16】本発明の実施例2における処理プロセスの一例を示すフローチャート。
【図17】本発明の区間情報記憶部18bに記憶する区間情報の一例を示す図。
【図18】本発明のポイント情報記憶部12に記憶するポイント情報の一例を示す図。
【図19】本発明の区間情報記憶部18bに記憶する更新後の区間情報の一例を示す図。
【図20】本発明の重要範囲判定部14内に設ける判定テーブルの一例を示す図。
【図21】本発明の実施例3におけるシステム構成の一例を示す機能ブロック図。
【図22】本発明の実施例3におけるシステム構成の別例を示す機能ブロック図。
【図23】本発明の実施例3における処理プロセスの一例を示すフローチャート。
【図24】本発明の解析情報記憶部19bに記憶する解析情報の一例を示す図。
【図25】本発明の重要範囲判定部14内に設ける修正テーブルの一例を示す図。
【発明を実施するための形態】
【実施例1】
【0023】
〔実施例1−構成(1)〕
以下、図面を用いて本発明の実施形態を説明する。図1に、本発明の映像編集支援システムの全体構成の一例を概念的に示す。本発明は図1に示すように、映像管理サーバA(以下、「管理サーバA」という)が、複数のクライアント端末B(以下、「端末B」という)と、通信ネットワークN(以下、「ネットワークN」という)を介して接続されるという形で構成されている。さらに、端末Bと、外部表示装置C及び外部入力装置Dとが、直接接続又はネットワークNを介して接続されるという形式で構成されている。また、その接続形式は、無線接続形式でも優先接続形式でも、そのどちらであっても構わない。
【0024】
外部表示装置Cは、指定されたデータや画像を画面やスクリーン等に表示する出力装置である。具体的には、ディスプレイやプロジェクタ等が一例として考えられる。管理サーバAや端末Bに付属した表示装置とは別個の表示装置であることを明示するため、本明細書では外部表示装置Cと表記することとする。
【0025】
外部入力装置Dは、所定の指示やデータ等の情報を入力するための入力装置である。具体的には、ユーザが指示した情報を送信するリモコンやキーボード等が一例として考えられる。管理サーバAや端末Bに付属した入力装置とは別個の入力装置であることを明示するため、本明細書では外部入力装置Dと表記することとする。
【0026】
ネットワークNは、企業や学校等の限られた施設内において情報を物理的に送るケーブルと、LANスイッチやハブ等でなる中継機器を備えたCSMA/CD(Carrier Sense Multiple Access With Collision Detection)方式のイーサネット(登録商標)型のLANとして構成されたものであるが、その他、インターネットの技術を用いたイントラネットで構築されたものや、WAN(Wide Area Network)の技術によって構築されるものでもよい。
【0027】
図2に、管理サーバA又は端末Bのハードウェア構成の一例を概念的に示す。
【0028】
管理サーバAは、プログラムの演算処理を実行するCPU等の演算装置1と、情報を記憶するRAMやハードディスク等の記憶装置2と、演算装置1の処理結果や記憶装置2に記憶する情報をインターネットやLAN等のネットワークを介して送受信する通信装置3とを少なくとも有している。端末上で実現する各機能(各手段)は、その処理を実行する手段(プログラムやモジュール等)が演算装置1に読み込まれることでその処理が実行される。各機能は、記憶装置2に記憶した情報をその処理において使用する場合には、該当する情報を当該記憶装置2から読み出し、読み出した情報を適宜、演算装置1における処理に用いる。
【0029】
管理サーバAは、必要に応じてキーボード、マウス又はテンキー等の入力装置4と、ディスプレイ(画面)等の表示装置5を備えた構成としてもよい。また、管理サーバAは、複数の端末又はサーバにその機能が分散配置されていてもよい。
【0030】
端末Bのハードウェア構成も管理サーバAとほぼ同様で、図2に示したとおり、演算装置1、記憶装置2、通信装置3、入力装置4及び表示装置5を有している。
【0031】
図3に、本発明の映像編集支援システムを構成する管理サーバA、端末B、外部表示装置C及び外部入力装置Dの機能ブロック図を示す。本発明における各構成部及び各手段は、その機能が論理的に区別されているのみであって、物理上あるいは事実上同一の領域を為していてもよい。
【0032】
また、図3は、本発明において必要となる最小限度の機器、構成部及び手段等のみを記載しており、その他の機器、構成部及び手段等についてはその記載を省略する。
【0033】
管理サーバAは、ネットワークNを介して端末Bと様々な情報を送受信するためのネットワークI/F10、端末Bにおいて再生された映像の重要箇所を示すポイント情報を取得するポイント情報取得部11、取得したポイント情報を記憶するポイント情報記憶部12、端末Bで再生する映像に関する情報を記憶する映像情報記憶部13、ポイント情報と映像情報を用いて映像内の重要範囲を判定する重要範囲判定部14、判定した重要範囲に基づいて映像を加工するための情報を生成して記憶する加工データ記憶部15、記憶された加工データを用いて映像に対して加工処理を行う加工処理部16、加工処理した結果生成された映像を端末Bに対して送信する表示制御部17を備えている。
【0034】
端末Bは、ネットワークNを介して管理サーバAと様々な情報を送受信するためのネットワークI/F20、端末Bにおいて再生される映像に関する情報を管理サーバAから受信する表示情報受信部21、受信した情報に応じて端末Bにおける各種動作を実行する端末制御部22、端末制御部22によって指示された情報を表示する端末表示装置22、端末制御部22に対して情報を入力する端末入力装置24、端末Bにおいて再生された映像の重要箇所を示すポイント情報を生成するポイント情報生成部25を備えている。
【0035】
外部表示装置Cは、端末Bと直接接続又はネットワークNを介して接続されるという形式(無線接続形式又は優先接続形式のどちらでも構わない。)で構成され、端末制御部22指示された情報を表示する。
【0036】
外部入力装置Dは、端末Bと直接接続又はネットワークNを介して接続されるという形式(無線接続形式又は優先接続形式のどちらでも構わない。)で構成され、端末制御部22対して情報を入力する。
【0037】
以下、図3に記載した本発明を構成する機能ブロック図に基づいて、各構成部の動作について説明する。
【0038】
表示情報受信部21は、端末Bにおいて再生する映像に関する情報を、ネットワークI/F20を介して管理サーバAから取得し、取得した映像情報を端末制御部22に送信する。
【0039】
上記の映像情報とは、端末Bを使用するユーザが端末Bを利用して視聴する映像に関する情報のことをいう。具体的には、映像に含まれる音声及び動画等に関するデータ情報、映像の全体再生時間情報、映像を一義的に識別する映像識別情報(タイトル、番組名、識別コードなど)等を含むものをいう。
【0040】
端末制御部22は、表示情報受信部21から取得した映像情報を再生表示する処理を実行し、端末表示装置23又は外部表示装置Cに表示する。さらに、端末制御部22は、端末表示装置23又は外部表示装置Cに表示された映像を視聴したユーザが、端末入力装置24又は外部入力装置Dを用いた入力によって、映像中において重要だと判定した箇所に関する重要箇所情報を取得する。
【0041】
ポイント情報生成部25は、端末制御部22が取得した端末入力装置24又は外部入力装置Dによって入力された重要箇所情報と再生表示している映像情報とを取得し、ポイント情報を生成する。さらに、生成したポイント情報をネットワークI/F20を介して管理サーバAに送信する。
【0042】
上記のポイント情報とは、ユーザが映像視聴時に重要だと判断して端末入力装置24又は外部入力装置D(キーボードやリモコン等)のボタン等を押下した時刻、又はそのボタンが押下された時点における映像位置を示す情報のことをいう。具体的には、ユーザが視聴した映像を一義的に識別する映像識別情報、及び重要だと判断してボタンを押下した時点を示す再生時間情報(又は映像位置を示す位置情報等)を含むものをいう。
【0043】
ポイント情報取得部11は、ネットワークNに接続されている端末Bから出力されたポイント情報をネットワークI/F10を介して取得し、取得したポイント情報をポイント情報記憶部12に記憶する。
【0044】
ポイント情報記憶部12には、ポイント情報取得部11が取得したポイント情報が記憶される。その際の記憶形式は、ポイント情報に含まれる映像識別情報を利用して、映像別に関連付けて記憶するという形式にすると好適である。さらに、ポイント情報に含まれる再生時間情報を利用して、時系列的に記憶するという形式にしてもよい。
【0045】
映像情報記憶部13には、端末Bを介して端末表示装置23又は外部表示装置Cにおいて再生表示させるための映像情報が予め記憶される。その際の記憶形式は、映像情報に含まれる映像識別情報を利用して、映像別に各種情報を関連付けて記憶するという形式にすると好適である。
【0046】
重要範囲判定部14は、ポイント情報記憶部12に記憶されているポイント情報に対応する映像情報を、ポイント情報に含まれている映像識別情報を利用して映像情報記憶部13から抽出し、その抽出した映像情報内における重要範囲を判定する。そして、重要範囲判定部14は、判定した重要範囲情報を加工データ生成部15に送信する。
【0047】
上記の重要範囲の判定方法について詳細に説明する。重要範囲判定部14は、まず、抽出した映像情報のどの位置(再生時刻等)においてポイント情報が取得されているのかを判定する。次に、そのポイント情報が取得された位置を基準として、予め定められた所定値分の前後範囲を算出し、その算出した前後範囲内を当該映像における重要範囲と判定する。そして、その重要範囲以外の箇所は、当該映像における不要範囲であると判定する。この重要範囲と不要範囲に関する情報をまとめた重要範囲情報が、加工データ記憶部15に送信されることとなる。なお、加工データは重要範囲のみ、もしくは、不要範囲のみ、を判定・生成するようにしても当然にかまわない。
【0048】
加工データ記憶部15は、重要範囲判定部14から取得した重要範囲情報の内容に基づいて、映像のどの部分にどういった加工処理を施すのかを示す加工データを生成し、映像識別情報毎に関連付けて記憶する。
【0049】
上記の加工データの生成方法について詳細に説明する。まず、加工データ記憶部15は、まず、重要範囲判定部14から取得した重要範囲情報と、重要範囲情報と加工処理内容とを関連付けた加工テーブル(図示せず)との内容を照合し、映像のどの部分にどういった編集処理を施すのかを決定する。この際に用いる加工テーブルには、重要範囲と不要範囲に対して、それぞれどういった加工処理を施すのかを予め一対一で対応させた形式で記憶されているものとする。そして、加工データ記憶部15は、決定した加工処理の内容と当該映像を示す映像識別情報とを関連付けて加工データを生成し、加工データに含まれる映像識別情報毎に記憶しておく。
【0050】
加工処理部16は、表示制御部17から映像加工指示を受信すると、映像情報記憶部13から該当する映像情報を抽出し、さらに抽出した映像情報に対応する加工データを加工データ記憶部15から抽出する。次に、映像に対して加工データに基づいた加工処理を実行する。そして、加工処理後の加工映像情報を表示制御部17に送信する。
【0051】
表示制御部17は、ネットワークI/F10を介して端末Bから映像要求指示を受信すると、加工処理部16に対して映像加工指示を送信する。そして、加工処理部16から受信した加工処理後の加工映像情報を、ネットワークI/F10を介して端末Bに送信する。
【0052】
〔実施例1−構成(2)〕
次に、図面を用いて本実施形態の別構成について説明する。図4に、本発明の表示変更システムの全体構成の一例を概念的に示す。本発明は図4に示すように、端末Bと外部表示装置C及び外部入力装置Dとが、直接接続又はネットワークNを介して接続されるという形で構成されている。また、その接続形式は、無線接続形式でも優先接続形式でも、そのどちらであっても構わない。
【0053】
次に、図5の機能ブロック図を用いて、本発明の表示変更システムの本実施形態の構成(2)について説明する。なお、構成(1)と同一の構成部には同一の符号を付しており、構成(1)と同じ動作をする場合にはその詳細な説明は省略する。
【0054】
本発明の表示変更システムの本実施例における構成(2)は、端末Bの内部に、ポイント情報記憶部12、映像情報記憶部13、重要範囲判定部14、加工データ記憶部15、加工処理部16、及び表示制御部17を有しているという点において、本実施例の構成(1)と異なっている。
【0055】
本構成(2)は、本実施例の構成(1)のように管理サーバAを設けず、端末Bのみで本発明を実現することができるという点に特徴がある。上述のように構成することにより、本発明のシステム構成に関わる作業や費用を削減することができる。
【0056】
〔実施例1−処理プロセス〕
次に、本発明の映像編集支援システムにおける処理プロセスの一例を、図3の機能ブロック図及び図6のフローチャート等を用いて説明する。なお、以下の説明では、本システムの使用場所として小学校、本システムのユーザとして小学校教諭(以下「教師」という)、本システムによる編集対象となる映像として録画したテレビ番組、を用いる場合を例に説明することとする。
【0057】
端末Bの端末制御部22は、端末入力装置24又は外部入力装置Dを介して端末Bに入力された映像要求指示を取得し、表示情報受信部21に送信する。表示情報受信部21は、ネットワークI/F20を介して映像要求指示を管理サーバAに送信する。
【0058】
上記の処理について、本システムを小学校で使用する場合を例に説明する。端末Bのユーザである教師は、自身の授業で使用するために録画して管理サーバAに保存しておいたテレビ番組(映像)を授業前に視聴するために、端末Bに接続されているキーボード等(端末入力装置24)や、リモコン(外部入力装置D)を用いて、端末Bのディスプレイ(端末表示装置23)又は端末Bと接続されているモニターやプロジェクター(外部表示装置C)に映像を表示するように指示を行う。この指示を受信した端末制御部22は、表示情報受信部21に映像要求指示を生成させ、表示情報受信部21は、生成した映像要求指示をネットワークI/F20を介して管理サーバAへ送信する。この映像要求指示には、ユーザが要求する映像を一義的に識別する映像識別情報が含まれることとする。本実施例では、映像識別情報「V001」を表示するように映像要求指示が出力されたこととする。
【0059】
管理サーバAの表示制御部17は、端末Bから出力された映像要求指示をネットワークI/F10を介して取得し(S101)、映像要求指示に含まれる映像識別情報を用いて、映像を抽出するための映像取得指示を作成し、加工処理部16に送信する。この映像取得指示には、映像識別情報が含まれることとする。本実施例の場合、映像識別情報「V001」が含まれることとなる。
【0060】
加工処理部16は、表示制御部17から映像取得指示を受信すると、映像取得指示に含まれる映像識別情報を用いて、映像情報記憶部13から該当する映像情報を抽出して取得する(S102)。本実施例の場合、映像識別情報「V001」に関する映像情報を取得することとなる。
【0061】
映像情報記憶部13には、端末Bにおいて再生するために予め保存された各種映像情報が記憶される。この記憶される映像情報には、映像を一義的に識別する映像識別情報、映像全体の再生時間情報(全体再生時間情報)、映像に含まれる動画データ情報及び音声データ情報が含まれていることとする。映像情報記憶部13に記憶されている映像情報の一例を、図7に示す。
【0062】
次に、加工処理部16は、抽出した映像情報に該当する加工データが存在するかどうか、映像情報に含まれる映像識別情報を用いて、加工データ記憶部15内を検索する。検索した結果加工データが存在しない場合、取得した映像情報をそのまま(加工処理せずに)表示制御部17に送信する(S103)。
【0063】
加工データ記憶部15には、映像のどの部分にどういった加工処理を施すのかを示す加工データが、映像識別情報毎に関連付けて記憶されている。この記憶される加工データには、映像を一義的に識別する映像識別情報、映像の重要箇所を示す重要範囲、映像の不要箇所を示す不要範囲、及びそれぞれの範囲に対してどういった加工処理を施すのかを示す加工処理内容が含まれていることとする。加工データ記憶部15に記憶されている加工データの一例を、図8に示す。本実施例の場合、加工データ記憶部15内に映像識別情報「V001」の加工データは存在していないので、取得した映像情報は加工処理されずにそのまま表示制御部17に送信されることとなる。
【0064】
表示制御部17は、加工処理部16から取得した映像情報をネットワークI/F10を介して端末Bに送信する。
【0065】
端末Bの表示情報受信部21は、ネットワークI/F20を介して管理サーバAから映像情報を受信し、端末制御部22に送信する。
【0066】
端末制御部22は、取得した映像情報を再生し、端末表示装置23又は外部表示装置Cに表示する(S104)。
【0067】
端末表示装置23又は外部表示装置Cにおいて映像を視聴したユーザは、再生されている映像において重要だと判断した場面に関するポイント情報を、端末入力装置24又は外部入力装置Dを用いて端末制御部22に対して入力する。
【0068】
上記の処理について、本実施例における場合を例に具体的に説明する。上述に示すように、ユーザが小学校の教師で、視聴する映像が当該教師の授業において使用するビデオ映像(映像識別情報「V001」)であった場合、教師は、映像を視聴している中で、重要だと判断した場面で端末入力装置24(例えば、キーボード等)のボタンや、外部入力装置D(例えば、リモコン等)のボタンを押下する。視聴している映像中において、重要だと判断できる場面が複数連続して出てくる場合や、より重要だと判断する場面が出てきた場合には、ボタンを連続して押下することとする。ボタン押下の回数やタイミングについては特に制限は設けないこととする。
【0069】
ポイント情報生成部25は、端末制御部22が取得した端末入力装置24又は外部入力装置Dによって入力された情報を取得し、ポイント情報を生成する。この生成されるポイント情報には、ユーザが視聴した映像を一義的に識別する映像識別情報、ユーザが重要だと判断してボタンを押下した映像位置を示す再生時間情報、及び視聴したユーザを一義的に識別するユーザ識別情報(又は、ポイント情報を出力した端末を一義的に識別する端末識別情報)が少なくとも含まれていることとする。生成されるポイント情報の一例を、図9に示す。
【0070】
ポイント情報生成部25は、さらに、生成したポイント情報をネットワークI/F20を介して管理サーバAに送信する。このポイント情報の送信タイミングは、ポイント情報生成部がポイント情報を生成するタイミングでその都度送信する形式としても良いし、所定時間内に生成されたポイント情報をまとめて定期的に送信するという形式としてもよい。
【0071】
管理サーバAのポイント情報取得部11は、端末Bから送信されたポイント情報をネットワークI/F10を介して取得し、取得したポイント情報をポイント情報記憶部12に記憶する(S105)。ポイント情報記憶部12に記憶されているポイント情報の一例を、図10に示す。
【0072】
重要範囲判定部14は、ポイント情報記憶部12に記憶されているポイント情報に対応する映像情報を、映像情報記憶部13から抽出し、その抽出した映像情報内における重要範囲を判定する(S106)。そして、判定した重要範囲情報を加工データ生成部15に送信する。
【0073】
上記の処理について具体的に説明する。ポイント情報が図10の通りに記憶されており、映像識別情報「V001」に対応する映像の重要範囲を判定する場合を例に説明する。まず、重要範囲判定部14は、映像情報記憶部13から映像識別情報「V001」に該当する映像情報を抽出する。次に、映像情報記憶部13から抽出した映像識別情報「V001」のポイント情報が取得された位置(再生時間情報)を中心として、予め定められた所定値分の前後範囲を算出し、その算出した前後範囲内を当該映像における重要範囲と判定する。ここでは、所定値を「前後5分間」と設定することとする。この設定の場合、重要範囲は「0:05:20〜0:15:20」、「0:20:40〜0:30:40」、「0:37:05〜0:47:05」の三つであると判定される。そして、映像識別情報「V001」に該当する映像情報の中から全体の再生時間「0:55:30」を抽出し、そこから重要範囲を除外した不要範囲を判定する。その結果、「0:00:00〜0:05:20」、「0:15:20〜0:20:40」、「0:30:40〜0:37:05」、「0:47:05〜0:55:30」の四つであると判定される。重要範囲判定部14は、この判定された重要範囲と不要範囲に関する情報を重要範囲情報としてまとめて、加工データ記憶部15に送信する。
【0074】
加工データ記憶部15は、重要範囲判定部14から取得した重要範囲情報に基づいて加工データを生成すると共に、その加工データを自身の記憶領域内に映像識別情報毎に関連付けて記憶する(S107)。
【0075】
上記の処理について具体的に説明する。まず、加工データ記憶部15は、まず、重要範囲判定部14から取得した重要範囲情報に対して、重要範囲種別(ここでは、重要範囲か不要範囲かを識別する情報のことをいう。)と加工処理内容とを関連付けた加工テーブルとの内容を照合し、映像のどの部分にどういった編集処理を施すのかを決定する。この場合に用いられる加工テーブルの一例を、図11に示す。
【0076】
次に、加工データ記憶部15は、重要範囲情報に応じた加工処理の内容を決定し、映像識別情報と関連付けて加工データを生成する。そして、その加工データ情報に含まれる映像識別情報ごとに、自身の記憶領域内に加工データを記憶しておく。加工データ記憶部15内に記憶されている加工データの一例を、図12に示す。
【0077】
加工処理部16は、表示制御部17から映像取得指示に基づいて、映像情報記憶部13から該当する映像情報を抽出して取得する(S102)。本実施例では、教師が授業で実際に使用するために、映像識別情報「V001」に関する映像情報を取得する(2回目の取得)場合を例に説明する。
【0078】
次に、加工処理部16は、抽出した映像情報に該当する加工データが存在するかどうか、加工データ記憶部15内を検索する(S103)。検索した結果加工データが存在する場合、加工データに基づいて映像情報を加工処理する(S108)。そして、加工処理部16は、加工処理後の加工映像情報を表示制御部17に送信する。
【0079】
上記の処理を具体的に説明する。加工データ記憶部内に記憶されている加工データが図12の通りであり、表示制御部17から、映像識別情報「V001」に関する映像情報の映像取得指示を受信した場合について説明する。加工処理部16は、映像識別情報「V001」に関する加工データが存在するかどうか、加工データ記憶部15内を検索する。その結果、映像識別情報「V001」に関する加工データが存在するので、その加工データに基づいて取得した映像情報に対して加工処理を実行する。具体的には、映像情報の中から、不要範囲「0:00:00〜0:05:20」、「0:15:20〜0:20:40」、「0:30:40〜0:37:05」、「0:47:05〜0:55:30」の四つの不要範囲の動画データ及び音声データについて、映像情報から削除するという加工処理が実行される。そして、加工処理後の加工映像情報を表示制御部17に送信する。
【0080】
上述の処理では、映像情報から不要範囲の動画データ及び映像データを削除するという加工処理を行う場合を説明したが、別の方法で加工処理を実行してもよい。例えば、実際に削除を行うのではなく、映像情報から削除すべき動画データ及び音声データの位置及び範囲を、実際に編集処理を行うユーザに対してアドバイスするような画像を生成し、映像情報に添付して加工映像情報として表示制御部17に送信するという方法も考えられる。
【0081】
上記の処理内容を具体的に説明する。加工処理部16は、加工処理部16を検索し、映像識別情報「V001」に関する加工データに基づいて取得した三つの必要範囲及び四つの不要範囲と、映像情報記憶部13から取得した映像識別情報「V001」に関する映像の全体再生時間情報「0:55:30」とを用いて、編集アドバイス情報を生成する。生成される編集アドバイス情報の一例を、図13に示す。そして、加工処理部16は、映像情報に編集アドバイス情報を加えた情報を加工映像情報として、表示制御部17に送信する。
【0082】
表示制御部17は、加工処理部15から受信した加工映像情報をネットワークI/F10を介して端末Bに送信し、端末Bの端末表示装置23又は端末Bに接続される外部表示装置Cに表示させる(S109)。
【0083】
上記の処理について、端末Bの端末表示装置23又は端末Bに接続される外部表示装置Cで表示される加工映像情報は、映像情報から不要範囲の動画データ及び映像データを削除された編集済みの加工映像が表示されるとしてもよいし、映像情報から削除すべき動画データ及び音声データの位置及び範囲をアドバイスする編集アドバイス情報が表示されるとしてもよい。
【0084】
上記の処理では、重要範囲をポイント情報の位置を基準とした前後所定範囲と判定するようにしたが、特定のポイント情報の位置の所定範囲内に別のポイント情報が含まれている場合は、その別のポイント情報の数に応じて重要範囲を変更するようにしても良い。例えば、特定のポイント情報の位置の前後5分内に他のポイント情報が更にもう1つ含まれている場合は、特定のポイント情報の前後7分間を重要範囲とし、他のポイント情報が更に2つ含まれている場合は、特定のポイント情報の前後9分間を重要範囲とするなどである。
【0085】
上述の実施形態とすることにより、ユーザが映像内の重要箇所及び不要箇所の開始点並びに終了点を特定するという操作を行わなくても、システム側で自動的に開始点並びに終了点の判定を自動で行うことが可能となり、編集作業の手間を軽減することができる。
【実施例2】
【0086】
〔実施例2−構成(1)〕
次に、本発明の第二実施形態について説明する。本発明の第二実施形態の全体構成は、図1に示すものと同様、管理サーバAが複数のクライアント端末Bと通信ネットワークNを介して接続されるという形で構成されている。さらに、端末Bと、外部表示装置C及び外部入力装置Dとが、直接接続又はネットワークNを介して接続されるという形式で構成されている。
【0087】
次に、図14の機能ブロック図を用いて、本発明の表示変更システムの第二実施形態を説明する。なお、実施例1と同一の構成部には同一の符号を付しており、実施例1と同じ動作をする場合にはその詳細な説明は省略する。
【0088】
本発明の映像編集支援システムの第二実施形態は、管理サーバAの内部に、映像を一定の時間的範囲を示す区間で区切る区間設定部18a、区切った区間に関する情報を記憶する区間情報記憶部18b、区切った区間毎の重要度を判定する区間重要度決定部18cを備えているという点において、実施例1の実施形態と異なっている。
【0089】
以下、各構成部の動作について説明する。なお、実施例1と同様の構成部又は同様の動作については、詳細な説明を省略する。
【0090】
区間設定部18aは、映像情報記憶部13に記憶されている映像情報に対し、あらかじめ定められた所定範囲に基づいて区切った区間を設定する。この区間の設定方法は、予め定められた時間的範囲に基づいて区間を設定するという方法を用いてもよいし、映像情報に対して設ける区関数を予め所定数に定めておいて、その区間数にあわせて等間隔に区間を設定するという方法を用いてもよい。そして、設定した区間に関する情報と映像情報に含まれる映像識別情報とを関連付けて区間情報を生成し、区間情報記憶部18bに送信する。
【0091】
区間情報記憶部18bには、区間設定部で生成された区間情報が記憶される。その記憶形式は、区間情報に含まれる映像識別情報毎に関連付けて記憶するという形式にすると好適である。
【0092】
区間重要度決定部18cは、区間情報記憶部18bに記憶されている区間情報を抽出し、それぞれの区間においてどれだけのポイント情報が出力されているのか、ポイント情報記憶部12を検索する。そして、その検索結果に基づいて各区間の重要度(区間重要度)を判定する。そして、区間重要度算出部18cは、抽出した区間情報に対して、各区間の区間重要度を加える形で更新を行い、区間情報記憶部18bに記憶する。
【0093】
上記の区間情報における各区間の区間重要度の決定方法について詳細に説明する。まず、
区間情報記憶部18bに記憶されている各区間情報を抽出する。次に、その抽出した区間情報に含まれる映像識別情報に基づいて対応するポイント情報をポイント情報記憶部12の中から検索し、各区間においてどれだけのポイント情報が出力されているのか、その数を計数する。そして、そのポイント情報の計数結果に応じて各区間の区間重要度を決定する。
【0094】
上記では、区間情報毎に区間重要度を算出する方法について説明したが、区間重要度を算出せずに、区間毎にポイント情報の有無を検索し、ポイント情報が含まれている区間を重要区間、含まれていない区間を不要区間として判定するとしてもよい。
【0095】
重要範囲判定部14は、区間情報記憶部18bに記憶されている区間情報に基づいて、映像情報内における重要範囲を判定する。そして、重要範囲判定部14は、判定した重要範囲情報を加工データ生成部15に送信する。
【0096】
上記の重要範囲の判定は、区間情報に含まれる区間重要度を利用し、様々な方法を用いて行うことができる。例えば、(1)区間重要度が所定値以上の区間を重要範囲として判定する方法、(2)区間重要度に応じて、区間の範囲を増減調整して得られた値を重要範囲として判定する方法、という方法が考えられる。
【0097】
〔重要範囲の判定方法(1)〕
区間重要度が所定値以上の区間を重要範囲として判定する方法について説明する。この方法は、まず、重要範囲判定部14の内部に判定を行うための基準となる所定値を設定する判定テーブル(図示せず)を設け、その判定テーブルに所定値を予め定めておく。次に、重要範囲判定部14は、区間情報記憶部18bに記憶されている各区間の区間情報を抽出し、その区間重要度が所定値以上か否かを判定する。そして、区間重要度が所定値以上であった区間を重要範囲と判定するというものである。
【0098】
〔重要範囲の判定方法(2)〕
区間重要度に応じて区間の範囲を増減調整して得られた区間を重要範囲として判定する方法について説明する。この方法は、まず、重要範囲判定部14の内部に判定を行うための基準となる所定値を設定する判定テーブル(図示せず)を設け、その判定テーブルに所定値を予め定めておく。この判定テーブルには、区間重要度と範囲の増減調整値とが関連付けて記憶されているものとする。次に、重要範囲判定部14は、区間情報記憶部18bに記憶されている各区間の区間情報を抽出し、その区間重要度に対応する範囲の増減調整値を判定テーブルから特定する。そして、特定した範囲の増減調整値に応じて該当する区間の範囲を調整し、その調整後の範囲を重要範囲として判定するというものである。
【0099】
〔実施例2−構成(2)〕
次に、図面を用いて本実施形態の別構成について説明する。本構成は図4に示すものと同様、端末Bと外部表示装置C及び外部入力装置Dとが、直接接続又はネットワークNを介して接続されるというものである。また、その接続形式は、無線接続形式でも優先接続形式でも、そのどちらであっても構わない。
【0100】
次に、図15の機能ブロック図を用いて、本発明の表示変更システムの本実施形態の構成(2)について説明する。なお、構成(1)と同一の構成部には同一の符号を付しており、構成(1)と同じ動作をする場合にはその詳細な説明は省略する。
【0101】
本発明の表示変更システムの本実施例における構成(2)は、端末Bの内部に、ポイント情報記憶部12、映像情報記憶部13、重要範囲判定部14、加工データ記憶部15、加工処理部16、表示制御部17、区間設定部18a、区間情報記憶部18b、および区間重要度決定部18cを有しているという点において、本実施例の構成(1)と異なっている。
【0102】
本構成(2)は、本実施例の構成(1)のように管理サーバAを設けず、端末Bのみで本発明を実現することができるという点に特徴がある。上述のように構成することにより、本発明のシステム構成に関わる作業や費用を削減することができる。
【0103】
〔実施例2−処理プロセス(1)〕
次に、本発明の映像編集支援システムにおける処理プロセスの一例を、図14の機能ブロック図及び図16のフローチャート等を用いて説明する。なお、以下の説明では、重要範囲の判定方法として(1)区間重要度が所定値以上の区間を重要範囲として判定する方法、を用いる場合について説明する。
【0104】
図16のフローチャートにおける(S201)から(S205)、(S209)から(S211)の動作については、〔実施例1−処理プロセス〕と同様のため、その説明を省略する。
【0105】
区間設定部18aは、映像情報記憶部13に記憶されている映像情報に対し、予め定められた所定範囲に基づいて区切った区間を設定し、設定した区間に関する情報と映像情報に含まれる映像識別情報とを関連付けて区間情報を生成して(S207)、区間情報記憶部18bに送信する。
【0106】
上記の処理を具体的に説明する。映像情報が図7の通りに記憶されており、映像識別情報「V002」に対応する映像の区間情報を生成する場合を例に説明する。まず、区間設定部18aは、映像情報記憶部13から映像識別情報「V0002」に該当する映像情報を抽出する。次に、予め定められた所定範囲(ここでは、「15分」とする。)に基づいて映像情報を区切って区間情報を生成する。
【0107】
区間情報記憶部18bには、区間設定部で生成された区間情報が記憶される。その記憶形式は、区間情報に含まれる映像識別情報毎に関連付けて記憶するという形式にすると好適である。記憶される区間情報の一例を、図17に示す。
【0108】
区間重要度決定部18cは、区間情報記憶部18bに記憶されている区間情報を抽出し、それぞれの区間において出力されているポイント情報の数を、ポイント情報記憶部12を検索することにより計数する。そして、その計数結果に基づいて各区間の区間重要度を判定する。さらに、区間重要度算出部18cは、抽出した区間情報に対して、各区間の区間重要度を加える形で更新を行い、区間情報記憶部18bに記憶する(S207)。
【0109】
上記の処理を具体的に説明する。区間情報が図17の通りに記憶されており、ポイント情報が図18の通りにポイント情報記憶部12に記憶されている場合を例に説明する。区間重要度決定部18cは、区間情報記憶部18bに記憶されている区間情報の中から、区間識別情報「区間1」を抽出する。次に、ポイント情報記憶部12を検索し、区間識別情報「区間1」の区間範囲「0:00:00〜0:15:00」においてポイント情報がいくつあるかを検索する。その結果、ポイント情報の数は「1」と計数される。同様にして、区間情報記憶部18bに記憶されている全ての区間情報についてポイント情報の数を計数した結果、区間識別情報「区間2」は「2」、「区間3」は「3」、「区間4」は「0」、「区間5」は「2」、「区間6」は「0」であると計数される。
【0110】
さらに、区間重要度決定部18cは、計数したポイント情報の数に応じて予め設定された係数で換算した区間重要度を算出し、各区間における区間重要度を決定する。本実施例では、ポイント情報の数に対して係数「1」を乗算した値を区間重要度として算出することとする。そして、区間重要度算出部18cは、抽出した区間情報に対して、各区間の区間重要度を加える形で更新を行い、区間情報記憶部18bに記憶する。更新して記憶される区間情報の一例を、図19に示す。
【0111】
重要範囲判定部14は、区間情報記憶部18bに記憶されている区間情報に基づき、映像情報内における重要範囲を判定する(S208)。そして、判定した重要範囲情報を加工データ生成部15に送信する。
【0112】
上記の処理を具体的に説明する。まず、重要範囲判定部14は、区間情報記憶部18bに記憶された区間情報を抽出し、各区間における区間重要度に応じて重要範囲か否かの判定を行う。その判定方法は、重要範囲判定部14の内部に判定基準となる所定値を設定する判定テーブル(図示せず)を設け、その判定テーブルを用いて判定を行うという方法を用いる。本実施例では、判定テーブル内に所定値として「区間重要度2以上」が設定されることとする。
【0113】
次に、重要範囲判定部14は、区間情報記憶部18bに記憶されている各区間の区間情報を抽出し、その区間重要度が所定値以上か否かを判定する。その結果、区間識別情報「区間3」と「区間5」が所定値以上であると判定される。そして、その所定値以上の区間情報に含まれる区間範囲を重要範囲と判定し、加工データ生成部15に送信する。本実施例では、区間識別情報「区間3」の区間範囲「0:30:00〜0:45:00」と、区間識別情報「区間5」の区間範囲「1:00:00〜1:15:00」の二つが重要範囲と判定され、加工データ生成部15に送信されることとなる。なお、区間重要度が所定値以上であって、さらに高い任意の値(重要閾値)を超えている場合には、隣接する区間を重要範囲として含むようにしてもかまわない。
【0114】
上述の実施形態とすることにより、システム側で自動的に開始点並びに終了点の判定を自動で行うことが可能となることに加え、ユーザがより重要であると感じている箇所を自動的に厳選して加工処理を行うということも可能となり、ユーザ編集作業の手間をさらに軽減することができる。
【0115】
〔実施例2−処理プロセス(2)〕
次に、本発明の映像編集支援システムにおける処理プロセスの別実施例を、図14の機能ブロック図及び図16のフローチャート等を用いて説明する。なお、以下の説明では、重要範囲の判定方法として(2)区間重要度に応じて区間の範囲を増減調整して得られた値を重要範囲として判定する方法、を用いる場合について説明する。
【0116】
図16のフローチャートにおける(S208)以外の動作については、〔実施例1−処理プロセス〕及び〔実施例2−処理プロセス(1)〕と同様のため、その説明を省略する。
【0117】
重要範囲判定部14は、区間情報記憶部18bに記憶されている区間情報に基づき、映像情報内における重要範囲を判定する(S208)。そして、判定した重要範囲情報を囲うデータ生成部15に送信する。
【0118】
上記の処理を具体的に説明する。まず、重要範囲判定部14は、区間情報記憶部18bに記憶された区間情報を抽出し、各区間における区間重要度に応じて重要範囲の長さを増減調整する。その判定は、重要範囲判定部14の内部に設けられた、区間重要度と範囲の増減調整値とを関連付けて記憶した判定テーブルを利用することにより行われる。この判定テーブルに記憶されている内容の一例を、図20に示す。
【0119】
次に、重要範囲判定部14は、区間情報記憶部18bに記憶されている各区間の区間情報のうち、区間重要度が「1」以上の区間情報を抽出し、その区間重要度に対応する範囲の増減調整値を判定テーブルから特定する。この場合において、区間情報記憶部18bに記憶されている区間情報が図19に示す通りであった場合、区間識別情報「区間1」、「区間3」、及び「区間5」が抽出されることとなる。そして、図20に示す判定テーブルに基づいて重要範囲が判定され、その結果「0:00:00〜0:15:00」、「0:28:00〜0:47:00」、「0:59:00〜1:16:00」の三つが重要範囲として判定され、加工データ生成部15に送信されることとなる。
【0120】
上述の実施形態とすることにより、システム側で自動的に開始点並びに終了点の判定を自動で行うことが可能となることに加え、ユーザがより重要であると感じている箇所については、より長い時間再生されるように自動調整した形で加工処理を行うということも可能となり、ユーザ編集作業の手間をさらに軽減することができる。
【実施例3】
【0121】
〔実施例3−構成(1)〕
次に、本発明の第三実施形態について説明する。本発明の第三実施形態の全体構成は、図1に示すものと同様、管理サーバAが複数のクライアント端末Bと通信ネットワークNを介して接続されるという形で構成されている。さらに、端末Bと、外部表示装置C及び外部入力装置Dとが、直接接続又はネットワークNを介して接続されるという形式で構成されている。
【0122】
次に、図21の機能ブロック図を用いて、本発明の表示変更システムの第三実施形態を説明する。なお、実施例1と同一の構成部には同一の符号を付しており、実施例1と同じ動作をする場合にはその詳細な説明は省略する。
【0123】
本発明の映像編集支援システムの第三実施形態は、管理サーバAの内部に、映像が再生された時点における再生状況を解析した解析情報を取得する解析情報取得部19aと、取得した解析情報を記憶する解析情報記憶部19bを備えているという点において、実施例1の実施形態と異なっている。
【0124】
以下、各構成部の動作について説明する。なお、実施例1と同様の構成部又は同様の動作については、詳細な説明を省略する。
【0125】
解析情報取得部19aは、表示制御部17が端末Bに対して送信した映像情報の、端末Bにおける再生状況を取得し、取得した再生状況と当該映像の映像識別情報とを関連付けて解析情報を生成し、解析情報記憶部19bに記憶する。ここでいう再生状況とは、ユーザが映像をどういう状態で再生したのかという状況のことをいい、具体的には、映像の再生スピードや音声の等の情報が再生状況として取得できる情報の一例として考えられる。
【0126】
解析情報記憶部19bには、解析情報取得部19aが取得した解析情報が記憶される。その際の記憶形式は、解析情報に含まれる映像識別情報を利用して、映像別に関連付けて記憶するという形式にすると好適である。
【0127】
重要範囲判定部14は、ポイント情報記憶部12に記憶されているポイント情報に対応する映像情報を、ポイント情報に含まれている映像識別情報を利用して映像情報記憶部13から抽出し、その抽出した映像情報内における重要範囲を判定する。さらにその後、解析情報記憶部19bに記憶されている解析情報の中から、映像識別情報を利用して対応する解析情報を抽出し、その解析情報を利用して重要範囲に修正を加える。そして、重要範囲判定部14は、修正した修正重要範囲情報を加工データ生成部15に送信する。
【0128】
上記の補正重要範囲の生成方法について詳細に説明する。この方法は、まず、重要範囲判定部14の内部に修正を行うための基準となる修正テーブル(図示せず)を設け、その修正テーブルに所定値を予め定めておく。この修正テーブルには、解析情報の内容と重要範囲の修正内容とが関連付けて記憶されているものとする。次に、重要範囲判定部14は、解析情報記憶部19bに記憶されている解析情報を抽出し、その解析情報に対応する重要範囲の修正内容を修正テーブルから特定する。そして、特定した修正内容に応じて、判定した重要範囲に対して修正を行うというものである。
【0129】
〔実施例3−構成(2)〕
次に、図面を用いて本実施形態の別構成について説明する。本構成は図4に示すものと同様、端末Bと外部表示装置C及び外部入力装置Dとが、直接接続又はネットワークNを介して接続されるというものである。また、その接続形式は、無線接続形式でも優先接続形式でも、そのどちらであっても構わない。
【0130】
次に、図22の機能ブロック図を用いて、本発明の表示変更システムの本実施形態の構成(2)について説明する。なお、構成(1)と同一の構成部には同一の符号を付しており、構成(1)と同じ動作をする場合にはその詳細な説明は省略する。
【0131】
本発明の表示変更システムの本実施例における構成(2)は、端末Bの内部に、ポイント情報記憶部12、映像情報記憶部13、重要範囲判定部14、加工データ記憶部15、加工処理部16、表示制御部17、解析情報取得部19a、及び解析情報記憶部19bを有しているという点において、本実施例の構成(1)と異なっている。
【0132】
本構成(2)は、本実施例の構成(1)のように管理サーバAを設けず、端末Bのみで本発明を実現することができるという点に特徴がある。上述のように構成することにより、本発明のシステム構成に関わる作業や費用を削減することができる。
【0133】
〔実施例3−処理プロセス〕
次に、本発明の映像編集支援システムにおける処理プロセスの一例を、図21の機能ブロック図及び図23のフローチャート等を用いて説明する。なお、以下の説明では、解析情報に含まれる再生状況として、ユーザによる映像の再生スピードを用いる場合について説明する。
【0134】
図16のフローチャートにおける(S305)、及び(S307)以外の動作については、〔実施例1−処理プロセス〕と同様のため、その説明を省略する。
【0135】
解析情報取得部19aは、表示制御部17から、端末Bにおける映像情報の再生状況を取得し、取得した再生状況と当該映像の映像識別情報とを関連付けて解析情報を生成して、解析情報記憶部19bに記憶する(S305)。記憶される解析情報の一例を、図24に示す。
【0136】
重要範囲判定部14は、ポイント情報記憶部12に記憶されているポイント情報に対応する映像情報を、ポイント情報に含まれている映像識別情報を利用して映像情報記憶部13から抽出し、その抽出した映像情報内における重要範囲を判定する。さらにその後、解析情報記憶部19bに記憶されている解析情報の中から、映像識別情報を利用して対応する解析情報を抽出し、その解析情報を利用して重要範囲に修正を加える。そして、重要範囲判定部14は、修正した修正重要範囲情報を加工データ生成部15に送信する(S307)。
【0137】
上記の重要範囲に修正を加える処理について具体的に説明する。まず、重要範囲判定部14は、解析情報記憶部19bに記憶された解析情報を抽出し、その解析情報に基づいて重要範囲に修正を加える。その修正内容は、重要範囲判定部14の内部に設けられた修正テーブルを利用することにより行われる。この修正テーブルに記憶されている内容の一例を、図25に示す。
【0138】
本実施例において、ポイント情報記憶部12に記憶されているポイント情報が図10に示す通りであった場合、まず、重要範囲判定部14によって、映像識別情報「V001」に対応する映像の重要範囲は「0:05:20〜0:15:20」、「0:20:40〜0:30:40」、「0:37:05〜0:47:05」の三つであると判定される。次に、重要範囲判定部14は、修正テーブルにより再生状況「2倍速」に対応する修正内容を抽出し、この判定した三つの重要範囲に対して修正を加える。その結果、修正重要範囲は「0:04:20〜0:16:20」、「0:19:40〜0:31:40」、「0:36:05〜0:48:05」となる。そして、そして、映像識別情報「V001」に該当する映像情報の中から全体の再生時間「0:55:30」を抽出し、そこから重要範囲を除外した不要範囲を判定する。その結果、「0:00:00〜0:04:20」、「0:16:20〜0:19:40」、「0:31:40〜0:36:05」、「0:48:05〜0:55:30」の四つであると判定される。重要範囲判定部14は、この判定された重要範囲と不要範囲に関する情報を修正重要範囲情報としてまとめて、加工データ記憶部15に送信する。
【0139】
本発明のように構成することにより、ユーザが映像をどういう状態で視聴したのかという再生状況を把握し、編集箇所の開始点と終了点をユーザの視聴状況に応じて細かく調整することが可能となり、ユーザ編集作業の手間をさらに軽減することができる。
【符号の説明】
【0140】
A:管理サーバ
B:端末
C:外部表示装置
D:外部入力装置
1:演算装置
2:記憶装置
3:通信装置
4:入力装置
5:表示装置
10:ネットワークI/F
11:ポイント情報取得部
12:ポイント情報記憶部
13:映像情報記憶部
14:重要範囲判定部
15:加工データ記憶部
16:加工処理部
17:表示制御部
18a:区間設定部
18b:区間情報記憶部
18c:区間重要度決定部
19a:解析情報取得部
19b:解析情報記憶部
20:ネットワークI/F
21:表示情報受信部
22:端末制御部
23:端末表示装置
24:端末入力装置
25:ポイント情報生成部
【技術分野】
【0001】
本発明は、映像の編集に関し、特に記録再生機器等において再生される映像の視聴と同時に編集箇所を特定する技術に関する。
【背景技術】
【0002】
一般的に、テレビ放送される番組や撮影した動画を記録保存する場合、これらの映像に含まれる不要部分を削除する等の編集作業が行われる。しかし、この編集作業は、映像の内容に応じて編集箇所を特定しなければならないため、映像の内容確認が複数回必要となり、手間がかかるという問題がある。例えば、テレビ番組に含まれるコマーシャル映像を削除するためにその開始点と終了点を特定したり、撮影した映像の中から重要部分のみを抽出するためにその開始点と終了点を特定したりする場合、編集作業を行う者は、映像の内容を把握して編集箇所を特定しなければならないため、「巻き戻し」や「早送り」操作を複数回繰り返すこととなってしまう。
【0003】
上記の問題を解決する手段として、映像の録画再生分野において、ユーザが映像を視聴しながら削除したい場面の映像(映画の予告編やテレビコマーシャル等)を発見した際、リモコン操作で削除したい場面を指定するという技術がある。この技術において、ユーザが映像を見ながらリモコンの編集ボタンを押下した映像位置を記録し、編集モード起動時に、その記録しておいた映像位置にジャンプ移動することにより編集操作の手間を削減するという手段が用いられている。これにより、編集作業を行うために「巻き戻し」や「早送り」操作を行う回数を削減することができる。(特許文献1参照)
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−5394号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の技術を用いると、映像の編集作業を行う際に「巻き戻し」や「早送り」操作を行う回数を削減することができる。しかし、ユーザが映像を視聴しながら削除したい場面をリモコンで指定したとしても、その指定した時点において削除したい場面の開始点が既に過ぎ去ってしまっていたり、指定した時点では削除したい場面がいつまで続くのか分からなかったりする。このため、特許文献1の技術では編集箇所の大まかな映像位置は把握することができたとしても、編集箇所の開始点と終了点を特定することはできない。
【0006】
本発明は、上記従来技術の問題点を解消することを課題とする。具体的には、記録再生機器等において再生される映像の編集作業において、その映像を視聴しながら行われるユーザの操作内容に基づいて編集箇所の開始点と終了点を特定し、編集作業の手間を軽減するシステムを提供することを課題とする。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本発明の映像編集支援システムは、映像の再生者が重要と判断した箇所を示すポイント情報を記憶するポイント情報記憶部と、ポイント情報を用いて映像内の重要範囲を判定する重要範囲判定部と、重要範囲判定部における判定結果に基づいて映像を加工処理する加工処理部と、映像加工部において加工処理された加工映像を表示する表示制御部と、を備えている。
【0008】
本発明のように構成することにより、映像の再生者が重要と判断した時点を示すポイント情報から、映像内において重要な内容が記録されている範囲を把握することができる。さらに、その重要範囲の判定結果を利用することにより、映像内において不要と判断できる内容が記録されている範囲も把握することができる。これにより、編集箇所をその開始点と終了点も含めて特定することができるため、編集作業の手間を軽減することが可能となる。
【0009】
本発明におけるポイント情報とは、ユーザが映像を視聴しながら重要だと感じた映像位置に関する情報のことをいう。具体的には、ユーザが映像視聴時に重要だと判断してリモコンのボタン等を押下した時刻を示す情報などがポイント情報として考えられる。
【0010】
本発明における重要範囲とは、映像中において、その映像の再生者が重要だと判断した内容が記録されている映像位置の範囲を示す情報のことをいう。具体的には、ユーザが重要だと判断した場面の開始点と終了点の両方を示す再生時間情報などが重要範囲として考えられる。
【0011】
本発明の映像編集支援システムは更に、映像を一定の時間的範囲を示す区間で区切る区間設定部と、ポイント情報と前記区間情報を関連付けた区間情報を記憶する区間記憶部と、を備え、重要範囲判定部は、区間情報に基づいて重要範囲を判定する、という構成としてもよい。
【0012】
本発明のように構成することにより、編集箇所の開始点と終了点を明確に特定することができるため、本システムにおける重要範囲の判定と加工処理を素早く行うことが可能となる。
【0013】
本発明における区間とは、予め定めておいた条件に対応する映像位置で所定数に区切った範囲の一つを示す情報のことをいう。区間に区切る方法としては、所定値に基づいて均等に区切る方法(一定の時間的範囲で区切る場合や、予め定めた全区間数に応じて均等に区切る場合など。)や、映像の要素に応じて区切る方法(映像の色の変化量に応じて区切る場合や、映像に含まれる音情報の変化量に応じて区切る場合など。)等が考えられるが、いずれを用いても構わない。
【0014】
本発明の映像編集支援システムは更に、区間情報に含まれるポイント情報の数に応じて前記区間毎の重要度を決定する区間重要度決定部と、を備え、区間情報記憶部は記憶されている区間情報に対して区間重要度を加える形に更新して記憶し、重要範囲判定部は、区間重要度に基づいて重要範囲を決定する、という構成としてもよい。
【0015】
本実施例のように構成することにより、映像中における重要部分や不要部分について、その重要度合いに応じた編集処理を行うことができる。これにより、ユーザの操作内容に応じて多様な編集処理を行うことが可能となる。
【0016】
本発明の映像編集支援システムは更に、映像が再生された時点における再生状況を解析した解析情報を記憶する解析情報記憶部を備え、重要範囲判定部は、解析情報に基づいて重要範囲を判定する、という構成としてもよい。
【0017】
本発明のように構成することにより、ユーザが映像をどういう状態で視聴したのかという再生状況を把握することができる。これにより、編集箇所の開始点と終了点をユーザの視聴状況に応じて細かく調整することが可能となる。
【0018】
本発明における再生状況とは、ユーザが映像をどういう状態で使用していたのかという状況のことをいう。具体的には、映像の再生スピードや音声の大きさ等の情報が再生状況として取得できる情報の一例として考えられる。
【0019】
また、本発明のプログラムを端末に読み込ませて実行することで、上述の本発明を実現させることも可能である。つまり、録画された映像に対して、その映像の再生者が重要と判断した箇所を示すポイント情報を記憶するポイント情報記憶部を備える映像編集支援システムに用いるプログラムであって、ポイント情報を用いて映像内の重要範囲を判定する重要範囲判定機能と、重要範囲判定部における判定結果に基づいて映像を加工処理する映像加工機能と、映像加工部において加工処理された加工映像を表示する表示制御機能と、をコンピュータに実現させる映像編集支援プログラムとして構成してもよい。
【0020】
このプログラムも、上述の映像編集支援システムと同様の作用効果を伴うものであり、上述した種々の特徴構成を備えることもできる。
【発明の効果】
【0021】
上述のように構成された本発明によれば、映像の再生者が重要と判断した箇所を示すための操作内容に基づいて、映像内の重要箇所と不要箇所の開始点及び終了点を特定することができる。これにより、編集処理を自動的に行うことができ、編集作業の手間を軽減することができるという効果を得ることができる。
【図面の簡単な説明】
【0022】
【図1】本発明のシステム構成の一例を示す概念図。
【図2】本発明の管理サーバのハードウェア構成の一例を示す概念図。
【図3】本発明の実施例1におけるシステム構成の一例を示す機能ブロック図。
【図4】本発明のシステム構成の別例を示す概念図。
【図5】本発明の実施例1におけるシステム構成の別例を示す機能ブロック図。
【図6】本発明の実施例1における処理プロセスの一例を示すフローチャート。
【図7】本発明の映像情報記憶部13に記憶する映像情報の一例を示す図。
【図8】本発明の加工データ記憶部15に記憶する加工データの一例を示す図。
【図9】本発明のポイント情報生成部25にて生成するポイント情報の一例を示す図。
【図10】本発明のポイント情報記憶部12に記憶するポイント情報の一例を示す図。
【図11】本発明の加工データ記憶部15内に設ける加工テーブルの一例を示す図。
【図12】本発明の加工データ記憶部15に記憶する加工データの一例を示す図。
【図13】本発明の加工処理部16にて生成する編集アドバイス情報の一例を示す図。
【図14】本発明の実施例2におけるシステム構成の一例を示す機能ブロック図。
【図15】本発明の実施例2におけるシステム構成の別例を示す機能ブロック図。
【図16】本発明の実施例2における処理プロセスの一例を示すフローチャート。
【図17】本発明の区間情報記憶部18bに記憶する区間情報の一例を示す図。
【図18】本発明のポイント情報記憶部12に記憶するポイント情報の一例を示す図。
【図19】本発明の区間情報記憶部18bに記憶する更新後の区間情報の一例を示す図。
【図20】本発明の重要範囲判定部14内に設ける判定テーブルの一例を示す図。
【図21】本発明の実施例3におけるシステム構成の一例を示す機能ブロック図。
【図22】本発明の実施例3におけるシステム構成の別例を示す機能ブロック図。
【図23】本発明の実施例3における処理プロセスの一例を示すフローチャート。
【図24】本発明の解析情報記憶部19bに記憶する解析情報の一例を示す図。
【図25】本発明の重要範囲判定部14内に設ける修正テーブルの一例を示す図。
【発明を実施するための形態】
【実施例1】
【0023】
〔実施例1−構成(1)〕
以下、図面を用いて本発明の実施形態を説明する。図1に、本発明の映像編集支援システムの全体構成の一例を概念的に示す。本発明は図1に示すように、映像管理サーバA(以下、「管理サーバA」という)が、複数のクライアント端末B(以下、「端末B」という)と、通信ネットワークN(以下、「ネットワークN」という)を介して接続されるという形で構成されている。さらに、端末Bと、外部表示装置C及び外部入力装置Dとが、直接接続又はネットワークNを介して接続されるという形式で構成されている。また、その接続形式は、無線接続形式でも優先接続形式でも、そのどちらであっても構わない。
【0024】
外部表示装置Cは、指定されたデータや画像を画面やスクリーン等に表示する出力装置である。具体的には、ディスプレイやプロジェクタ等が一例として考えられる。管理サーバAや端末Bに付属した表示装置とは別個の表示装置であることを明示するため、本明細書では外部表示装置Cと表記することとする。
【0025】
外部入力装置Dは、所定の指示やデータ等の情報を入力するための入力装置である。具体的には、ユーザが指示した情報を送信するリモコンやキーボード等が一例として考えられる。管理サーバAや端末Bに付属した入力装置とは別個の入力装置であることを明示するため、本明細書では外部入力装置Dと表記することとする。
【0026】
ネットワークNは、企業や学校等の限られた施設内において情報を物理的に送るケーブルと、LANスイッチやハブ等でなる中継機器を備えたCSMA/CD(Carrier Sense Multiple Access With Collision Detection)方式のイーサネット(登録商標)型のLANとして構成されたものであるが、その他、インターネットの技術を用いたイントラネットで構築されたものや、WAN(Wide Area Network)の技術によって構築されるものでもよい。
【0027】
図2に、管理サーバA又は端末Bのハードウェア構成の一例を概念的に示す。
【0028】
管理サーバAは、プログラムの演算処理を実行するCPU等の演算装置1と、情報を記憶するRAMやハードディスク等の記憶装置2と、演算装置1の処理結果や記憶装置2に記憶する情報をインターネットやLAN等のネットワークを介して送受信する通信装置3とを少なくとも有している。端末上で実現する各機能(各手段)は、その処理を実行する手段(プログラムやモジュール等)が演算装置1に読み込まれることでその処理が実行される。各機能は、記憶装置2に記憶した情報をその処理において使用する場合には、該当する情報を当該記憶装置2から読み出し、読み出した情報を適宜、演算装置1における処理に用いる。
【0029】
管理サーバAは、必要に応じてキーボード、マウス又はテンキー等の入力装置4と、ディスプレイ(画面)等の表示装置5を備えた構成としてもよい。また、管理サーバAは、複数の端末又はサーバにその機能が分散配置されていてもよい。
【0030】
端末Bのハードウェア構成も管理サーバAとほぼ同様で、図2に示したとおり、演算装置1、記憶装置2、通信装置3、入力装置4及び表示装置5を有している。
【0031】
図3に、本発明の映像編集支援システムを構成する管理サーバA、端末B、外部表示装置C及び外部入力装置Dの機能ブロック図を示す。本発明における各構成部及び各手段は、その機能が論理的に区別されているのみであって、物理上あるいは事実上同一の領域を為していてもよい。
【0032】
また、図3は、本発明において必要となる最小限度の機器、構成部及び手段等のみを記載しており、その他の機器、構成部及び手段等についてはその記載を省略する。
【0033】
管理サーバAは、ネットワークNを介して端末Bと様々な情報を送受信するためのネットワークI/F10、端末Bにおいて再生された映像の重要箇所を示すポイント情報を取得するポイント情報取得部11、取得したポイント情報を記憶するポイント情報記憶部12、端末Bで再生する映像に関する情報を記憶する映像情報記憶部13、ポイント情報と映像情報を用いて映像内の重要範囲を判定する重要範囲判定部14、判定した重要範囲に基づいて映像を加工するための情報を生成して記憶する加工データ記憶部15、記憶された加工データを用いて映像に対して加工処理を行う加工処理部16、加工処理した結果生成された映像を端末Bに対して送信する表示制御部17を備えている。
【0034】
端末Bは、ネットワークNを介して管理サーバAと様々な情報を送受信するためのネットワークI/F20、端末Bにおいて再生される映像に関する情報を管理サーバAから受信する表示情報受信部21、受信した情報に応じて端末Bにおける各種動作を実行する端末制御部22、端末制御部22によって指示された情報を表示する端末表示装置22、端末制御部22に対して情報を入力する端末入力装置24、端末Bにおいて再生された映像の重要箇所を示すポイント情報を生成するポイント情報生成部25を備えている。
【0035】
外部表示装置Cは、端末Bと直接接続又はネットワークNを介して接続されるという形式(無線接続形式又は優先接続形式のどちらでも構わない。)で構成され、端末制御部22指示された情報を表示する。
【0036】
外部入力装置Dは、端末Bと直接接続又はネットワークNを介して接続されるという形式(無線接続形式又は優先接続形式のどちらでも構わない。)で構成され、端末制御部22対して情報を入力する。
【0037】
以下、図3に記載した本発明を構成する機能ブロック図に基づいて、各構成部の動作について説明する。
【0038】
表示情報受信部21は、端末Bにおいて再生する映像に関する情報を、ネットワークI/F20を介して管理サーバAから取得し、取得した映像情報を端末制御部22に送信する。
【0039】
上記の映像情報とは、端末Bを使用するユーザが端末Bを利用して視聴する映像に関する情報のことをいう。具体的には、映像に含まれる音声及び動画等に関するデータ情報、映像の全体再生時間情報、映像を一義的に識別する映像識別情報(タイトル、番組名、識別コードなど)等を含むものをいう。
【0040】
端末制御部22は、表示情報受信部21から取得した映像情報を再生表示する処理を実行し、端末表示装置23又は外部表示装置Cに表示する。さらに、端末制御部22は、端末表示装置23又は外部表示装置Cに表示された映像を視聴したユーザが、端末入力装置24又は外部入力装置Dを用いた入力によって、映像中において重要だと判定した箇所に関する重要箇所情報を取得する。
【0041】
ポイント情報生成部25は、端末制御部22が取得した端末入力装置24又は外部入力装置Dによって入力された重要箇所情報と再生表示している映像情報とを取得し、ポイント情報を生成する。さらに、生成したポイント情報をネットワークI/F20を介して管理サーバAに送信する。
【0042】
上記のポイント情報とは、ユーザが映像視聴時に重要だと判断して端末入力装置24又は外部入力装置D(キーボードやリモコン等)のボタン等を押下した時刻、又はそのボタンが押下された時点における映像位置を示す情報のことをいう。具体的には、ユーザが視聴した映像を一義的に識別する映像識別情報、及び重要だと判断してボタンを押下した時点を示す再生時間情報(又は映像位置を示す位置情報等)を含むものをいう。
【0043】
ポイント情報取得部11は、ネットワークNに接続されている端末Bから出力されたポイント情報をネットワークI/F10を介して取得し、取得したポイント情報をポイント情報記憶部12に記憶する。
【0044】
ポイント情報記憶部12には、ポイント情報取得部11が取得したポイント情報が記憶される。その際の記憶形式は、ポイント情報に含まれる映像識別情報を利用して、映像別に関連付けて記憶するという形式にすると好適である。さらに、ポイント情報に含まれる再生時間情報を利用して、時系列的に記憶するという形式にしてもよい。
【0045】
映像情報記憶部13には、端末Bを介して端末表示装置23又は外部表示装置Cにおいて再生表示させるための映像情報が予め記憶される。その際の記憶形式は、映像情報に含まれる映像識別情報を利用して、映像別に各種情報を関連付けて記憶するという形式にすると好適である。
【0046】
重要範囲判定部14は、ポイント情報記憶部12に記憶されているポイント情報に対応する映像情報を、ポイント情報に含まれている映像識別情報を利用して映像情報記憶部13から抽出し、その抽出した映像情報内における重要範囲を判定する。そして、重要範囲判定部14は、判定した重要範囲情報を加工データ生成部15に送信する。
【0047】
上記の重要範囲の判定方法について詳細に説明する。重要範囲判定部14は、まず、抽出した映像情報のどの位置(再生時刻等)においてポイント情報が取得されているのかを判定する。次に、そのポイント情報が取得された位置を基準として、予め定められた所定値分の前後範囲を算出し、その算出した前後範囲内を当該映像における重要範囲と判定する。そして、その重要範囲以外の箇所は、当該映像における不要範囲であると判定する。この重要範囲と不要範囲に関する情報をまとめた重要範囲情報が、加工データ記憶部15に送信されることとなる。なお、加工データは重要範囲のみ、もしくは、不要範囲のみ、を判定・生成するようにしても当然にかまわない。
【0048】
加工データ記憶部15は、重要範囲判定部14から取得した重要範囲情報の内容に基づいて、映像のどの部分にどういった加工処理を施すのかを示す加工データを生成し、映像識別情報毎に関連付けて記憶する。
【0049】
上記の加工データの生成方法について詳細に説明する。まず、加工データ記憶部15は、まず、重要範囲判定部14から取得した重要範囲情報と、重要範囲情報と加工処理内容とを関連付けた加工テーブル(図示せず)との内容を照合し、映像のどの部分にどういった編集処理を施すのかを決定する。この際に用いる加工テーブルには、重要範囲と不要範囲に対して、それぞれどういった加工処理を施すのかを予め一対一で対応させた形式で記憶されているものとする。そして、加工データ記憶部15は、決定した加工処理の内容と当該映像を示す映像識別情報とを関連付けて加工データを生成し、加工データに含まれる映像識別情報毎に記憶しておく。
【0050】
加工処理部16は、表示制御部17から映像加工指示を受信すると、映像情報記憶部13から該当する映像情報を抽出し、さらに抽出した映像情報に対応する加工データを加工データ記憶部15から抽出する。次に、映像に対して加工データに基づいた加工処理を実行する。そして、加工処理後の加工映像情報を表示制御部17に送信する。
【0051】
表示制御部17は、ネットワークI/F10を介して端末Bから映像要求指示を受信すると、加工処理部16に対して映像加工指示を送信する。そして、加工処理部16から受信した加工処理後の加工映像情報を、ネットワークI/F10を介して端末Bに送信する。
【0052】
〔実施例1−構成(2)〕
次に、図面を用いて本実施形態の別構成について説明する。図4に、本発明の表示変更システムの全体構成の一例を概念的に示す。本発明は図4に示すように、端末Bと外部表示装置C及び外部入力装置Dとが、直接接続又はネットワークNを介して接続されるという形で構成されている。また、その接続形式は、無線接続形式でも優先接続形式でも、そのどちらであっても構わない。
【0053】
次に、図5の機能ブロック図を用いて、本発明の表示変更システムの本実施形態の構成(2)について説明する。なお、構成(1)と同一の構成部には同一の符号を付しており、構成(1)と同じ動作をする場合にはその詳細な説明は省略する。
【0054】
本発明の表示変更システムの本実施例における構成(2)は、端末Bの内部に、ポイント情報記憶部12、映像情報記憶部13、重要範囲判定部14、加工データ記憶部15、加工処理部16、及び表示制御部17を有しているという点において、本実施例の構成(1)と異なっている。
【0055】
本構成(2)は、本実施例の構成(1)のように管理サーバAを設けず、端末Bのみで本発明を実現することができるという点に特徴がある。上述のように構成することにより、本発明のシステム構成に関わる作業や費用を削減することができる。
【0056】
〔実施例1−処理プロセス〕
次に、本発明の映像編集支援システムにおける処理プロセスの一例を、図3の機能ブロック図及び図6のフローチャート等を用いて説明する。なお、以下の説明では、本システムの使用場所として小学校、本システムのユーザとして小学校教諭(以下「教師」という)、本システムによる編集対象となる映像として録画したテレビ番組、を用いる場合を例に説明することとする。
【0057】
端末Bの端末制御部22は、端末入力装置24又は外部入力装置Dを介して端末Bに入力された映像要求指示を取得し、表示情報受信部21に送信する。表示情報受信部21は、ネットワークI/F20を介して映像要求指示を管理サーバAに送信する。
【0058】
上記の処理について、本システムを小学校で使用する場合を例に説明する。端末Bのユーザである教師は、自身の授業で使用するために録画して管理サーバAに保存しておいたテレビ番組(映像)を授業前に視聴するために、端末Bに接続されているキーボード等(端末入力装置24)や、リモコン(外部入力装置D)を用いて、端末Bのディスプレイ(端末表示装置23)又は端末Bと接続されているモニターやプロジェクター(外部表示装置C)に映像を表示するように指示を行う。この指示を受信した端末制御部22は、表示情報受信部21に映像要求指示を生成させ、表示情報受信部21は、生成した映像要求指示をネットワークI/F20を介して管理サーバAへ送信する。この映像要求指示には、ユーザが要求する映像を一義的に識別する映像識別情報が含まれることとする。本実施例では、映像識別情報「V001」を表示するように映像要求指示が出力されたこととする。
【0059】
管理サーバAの表示制御部17は、端末Bから出力された映像要求指示をネットワークI/F10を介して取得し(S101)、映像要求指示に含まれる映像識別情報を用いて、映像を抽出するための映像取得指示を作成し、加工処理部16に送信する。この映像取得指示には、映像識別情報が含まれることとする。本実施例の場合、映像識別情報「V001」が含まれることとなる。
【0060】
加工処理部16は、表示制御部17から映像取得指示を受信すると、映像取得指示に含まれる映像識別情報を用いて、映像情報記憶部13から該当する映像情報を抽出して取得する(S102)。本実施例の場合、映像識別情報「V001」に関する映像情報を取得することとなる。
【0061】
映像情報記憶部13には、端末Bにおいて再生するために予め保存された各種映像情報が記憶される。この記憶される映像情報には、映像を一義的に識別する映像識別情報、映像全体の再生時間情報(全体再生時間情報)、映像に含まれる動画データ情報及び音声データ情報が含まれていることとする。映像情報記憶部13に記憶されている映像情報の一例を、図7に示す。
【0062】
次に、加工処理部16は、抽出した映像情報に該当する加工データが存在するかどうか、映像情報に含まれる映像識別情報を用いて、加工データ記憶部15内を検索する。検索した結果加工データが存在しない場合、取得した映像情報をそのまま(加工処理せずに)表示制御部17に送信する(S103)。
【0063】
加工データ記憶部15には、映像のどの部分にどういった加工処理を施すのかを示す加工データが、映像識別情報毎に関連付けて記憶されている。この記憶される加工データには、映像を一義的に識別する映像識別情報、映像の重要箇所を示す重要範囲、映像の不要箇所を示す不要範囲、及びそれぞれの範囲に対してどういった加工処理を施すのかを示す加工処理内容が含まれていることとする。加工データ記憶部15に記憶されている加工データの一例を、図8に示す。本実施例の場合、加工データ記憶部15内に映像識別情報「V001」の加工データは存在していないので、取得した映像情報は加工処理されずにそのまま表示制御部17に送信されることとなる。
【0064】
表示制御部17は、加工処理部16から取得した映像情報をネットワークI/F10を介して端末Bに送信する。
【0065】
端末Bの表示情報受信部21は、ネットワークI/F20を介して管理サーバAから映像情報を受信し、端末制御部22に送信する。
【0066】
端末制御部22は、取得した映像情報を再生し、端末表示装置23又は外部表示装置Cに表示する(S104)。
【0067】
端末表示装置23又は外部表示装置Cにおいて映像を視聴したユーザは、再生されている映像において重要だと判断した場面に関するポイント情報を、端末入力装置24又は外部入力装置Dを用いて端末制御部22に対して入力する。
【0068】
上記の処理について、本実施例における場合を例に具体的に説明する。上述に示すように、ユーザが小学校の教師で、視聴する映像が当該教師の授業において使用するビデオ映像(映像識別情報「V001」)であった場合、教師は、映像を視聴している中で、重要だと判断した場面で端末入力装置24(例えば、キーボード等)のボタンや、外部入力装置D(例えば、リモコン等)のボタンを押下する。視聴している映像中において、重要だと判断できる場面が複数連続して出てくる場合や、より重要だと判断する場面が出てきた場合には、ボタンを連続して押下することとする。ボタン押下の回数やタイミングについては特に制限は設けないこととする。
【0069】
ポイント情報生成部25は、端末制御部22が取得した端末入力装置24又は外部入力装置Dによって入力された情報を取得し、ポイント情報を生成する。この生成されるポイント情報には、ユーザが視聴した映像を一義的に識別する映像識別情報、ユーザが重要だと判断してボタンを押下した映像位置を示す再生時間情報、及び視聴したユーザを一義的に識別するユーザ識別情報(又は、ポイント情報を出力した端末を一義的に識別する端末識別情報)が少なくとも含まれていることとする。生成されるポイント情報の一例を、図9に示す。
【0070】
ポイント情報生成部25は、さらに、生成したポイント情報をネットワークI/F20を介して管理サーバAに送信する。このポイント情報の送信タイミングは、ポイント情報生成部がポイント情報を生成するタイミングでその都度送信する形式としても良いし、所定時間内に生成されたポイント情報をまとめて定期的に送信するという形式としてもよい。
【0071】
管理サーバAのポイント情報取得部11は、端末Bから送信されたポイント情報をネットワークI/F10を介して取得し、取得したポイント情報をポイント情報記憶部12に記憶する(S105)。ポイント情報記憶部12に記憶されているポイント情報の一例を、図10に示す。
【0072】
重要範囲判定部14は、ポイント情報記憶部12に記憶されているポイント情報に対応する映像情報を、映像情報記憶部13から抽出し、その抽出した映像情報内における重要範囲を判定する(S106)。そして、判定した重要範囲情報を加工データ生成部15に送信する。
【0073】
上記の処理について具体的に説明する。ポイント情報が図10の通りに記憶されており、映像識別情報「V001」に対応する映像の重要範囲を判定する場合を例に説明する。まず、重要範囲判定部14は、映像情報記憶部13から映像識別情報「V001」に該当する映像情報を抽出する。次に、映像情報記憶部13から抽出した映像識別情報「V001」のポイント情報が取得された位置(再生時間情報)を中心として、予め定められた所定値分の前後範囲を算出し、その算出した前後範囲内を当該映像における重要範囲と判定する。ここでは、所定値を「前後5分間」と設定することとする。この設定の場合、重要範囲は「0:05:20〜0:15:20」、「0:20:40〜0:30:40」、「0:37:05〜0:47:05」の三つであると判定される。そして、映像識別情報「V001」に該当する映像情報の中から全体の再生時間「0:55:30」を抽出し、そこから重要範囲を除外した不要範囲を判定する。その結果、「0:00:00〜0:05:20」、「0:15:20〜0:20:40」、「0:30:40〜0:37:05」、「0:47:05〜0:55:30」の四つであると判定される。重要範囲判定部14は、この判定された重要範囲と不要範囲に関する情報を重要範囲情報としてまとめて、加工データ記憶部15に送信する。
【0074】
加工データ記憶部15は、重要範囲判定部14から取得した重要範囲情報に基づいて加工データを生成すると共に、その加工データを自身の記憶領域内に映像識別情報毎に関連付けて記憶する(S107)。
【0075】
上記の処理について具体的に説明する。まず、加工データ記憶部15は、まず、重要範囲判定部14から取得した重要範囲情報に対して、重要範囲種別(ここでは、重要範囲か不要範囲かを識別する情報のことをいう。)と加工処理内容とを関連付けた加工テーブルとの内容を照合し、映像のどの部分にどういった編集処理を施すのかを決定する。この場合に用いられる加工テーブルの一例を、図11に示す。
【0076】
次に、加工データ記憶部15は、重要範囲情報に応じた加工処理の内容を決定し、映像識別情報と関連付けて加工データを生成する。そして、その加工データ情報に含まれる映像識別情報ごとに、自身の記憶領域内に加工データを記憶しておく。加工データ記憶部15内に記憶されている加工データの一例を、図12に示す。
【0077】
加工処理部16は、表示制御部17から映像取得指示に基づいて、映像情報記憶部13から該当する映像情報を抽出して取得する(S102)。本実施例では、教師が授業で実際に使用するために、映像識別情報「V001」に関する映像情報を取得する(2回目の取得)場合を例に説明する。
【0078】
次に、加工処理部16は、抽出した映像情報に該当する加工データが存在するかどうか、加工データ記憶部15内を検索する(S103)。検索した結果加工データが存在する場合、加工データに基づいて映像情報を加工処理する(S108)。そして、加工処理部16は、加工処理後の加工映像情報を表示制御部17に送信する。
【0079】
上記の処理を具体的に説明する。加工データ記憶部内に記憶されている加工データが図12の通りであり、表示制御部17から、映像識別情報「V001」に関する映像情報の映像取得指示を受信した場合について説明する。加工処理部16は、映像識別情報「V001」に関する加工データが存在するかどうか、加工データ記憶部15内を検索する。その結果、映像識別情報「V001」に関する加工データが存在するので、その加工データに基づいて取得した映像情報に対して加工処理を実行する。具体的には、映像情報の中から、不要範囲「0:00:00〜0:05:20」、「0:15:20〜0:20:40」、「0:30:40〜0:37:05」、「0:47:05〜0:55:30」の四つの不要範囲の動画データ及び音声データについて、映像情報から削除するという加工処理が実行される。そして、加工処理後の加工映像情報を表示制御部17に送信する。
【0080】
上述の処理では、映像情報から不要範囲の動画データ及び映像データを削除するという加工処理を行う場合を説明したが、別の方法で加工処理を実行してもよい。例えば、実際に削除を行うのではなく、映像情報から削除すべき動画データ及び音声データの位置及び範囲を、実際に編集処理を行うユーザに対してアドバイスするような画像を生成し、映像情報に添付して加工映像情報として表示制御部17に送信するという方法も考えられる。
【0081】
上記の処理内容を具体的に説明する。加工処理部16は、加工処理部16を検索し、映像識別情報「V001」に関する加工データに基づいて取得した三つの必要範囲及び四つの不要範囲と、映像情報記憶部13から取得した映像識別情報「V001」に関する映像の全体再生時間情報「0:55:30」とを用いて、編集アドバイス情報を生成する。生成される編集アドバイス情報の一例を、図13に示す。そして、加工処理部16は、映像情報に編集アドバイス情報を加えた情報を加工映像情報として、表示制御部17に送信する。
【0082】
表示制御部17は、加工処理部15から受信した加工映像情報をネットワークI/F10を介して端末Bに送信し、端末Bの端末表示装置23又は端末Bに接続される外部表示装置Cに表示させる(S109)。
【0083】
上記の処理について、端末Bの端末表示装置23又は端末Bに接続される外部表示装置Cで表示される加工映像情報は、映像情報から不要範囲の動画データ及び映像データを削除された編集済みの加工映像が表示されるとしてもよいし、映像情報から削除すべき動画データ及び音声データの位置及び範囲をアドバイスする編集アドバイス情報が表示されるとしてもよい。
【0084】
上記の処理では、重要範囲をポイント情報の位置を基準とした前後所定範囲と判定するようにしたが、特定のポイント情報の位置の所定範囲内に別のポイント情報が含まれている場合は、その別のポイント情報の数に応じて重要範囲を変更するようにしても良い。例えば、特定のポイント情報の位置の前後5分内に他のポイント情報が更にもう1つ含まれている場合は、特定のポイント情報の前後7分間を重要範囲とし、他のポイント情報が更に2つ含まれている場合は、特定のポイント情報の前後9分間を重要範囲とするなどである。
【0085】
上述の実施形態とすることにより、ユーザが映像内の重要箇所及び不要箇所の開始点並びに終了点を特定するという操作を行わなくても、システム側で自動的に開始点並びに終了点の判定を自動で行うことが可能となり、編集作業の手間を軽減することができる。
【実施例2】
【0086】
〔実施例2−構成(1)〕
次に、本発明の第二実施形態について説明する。本発明の第二実施形態の全体構成は、図1に示すものと同様、管理サーバAが複数のクライアント端末Bと通信ネットワークNを介して接続されるという形で構成されている。さらに、端末Bと、外部表示装置C及び外部入力装置Dとが、直接接続又はネットワークNを介して接続されるという形式で構成されている。
【0087】
次に、図14の機能ブロック図を用いて、本発明の表示変更システムの第二実施形態を説明する。なお、実施例1と同一の構成部には同一の符号を付しており、実施例1と同じ動作をする場合にはその詳細な説明は省略する。
【0088】
本発明の映像編集支援システムの第二実施形態は、管理サーバAの内部に、映像を一定の時間的範囲を示す区間で区切る区間設定部18a、区切った区間に関する情報を記憶する区間情報記憶部18b、区切った区間毎の重要度を判定する区間重要度決定部18cを備えているという点において、実施例1の実施形態と異なっている。
【0089】
以下、各構成部の動作について説明する。なお、実施例1と同様の構成部又は同様の動作については、詳細な説明を省略する。
【0090】
区間設定部18aは、映像情報記憶部13に記憶されている映像情報に対し、あらかじめ定められた所定範囲に基づいて区切った区間を設定する。この区間の設定方法は、予め定められた時間的範囲に基づいて区間を設定するという方法を用いてもよいし、映像情報に対して設ける区関数を予め所定数に定めておいて、その区間数にあわせて等間隔に区間を設定するという方法を用いてもよい。そして、設定した区間に関する情報と映像情報に含まれる映像識別情報とを関連付けて区間情報を生成し、区間情報記憶部18bに送信する。
【0091】
区間情報記憶部18bには、区間設定部で生成された区間情報が記憶される。その記憶形式は、区間情報に含まれる映像識別情報毎に関連付けて記憶するという形式にすると好適である。
【0092】
区間重要度決定部18cは、区間情報記憶部18bに記憶されている区間情報を抽出し、それぞれの区間においてどれだけのポイント情報が出力されているのか、ポイント情報記憶部12を検索する。そして、その検索結果に基づいて各区間の重要度(区間重要度)を判定する。そして、区間重要度算出部18cは、抽出した区間情報に対して、各区間の区間重要度を加える形で更新を行い、区間情報記憶部18bに記憶する。
【0093】
上記の区間情報における各区間の区間重要度の決定方法について詳細に説明する。まず、
区間情報記憶部18bに記憶されている各区間情報を抽出する。次に、その抽出した区間情報に含まれる映像識別情報に基づいて対応するポイント情報をポイント情報記憶部12の中から検索し、各区間においてどれだけのポイント情報が出力されているのか、その数を計数する。そして、そのポイント情報の計数結果に応じて各区間の区間重要度を決定する。
【0094】
上記では、区間情報毎に区間重要度を算出する方法について説明したが、区間重要度を算出せずに、区間毎にポイント情報の有無を検索し、ポイント情報が含まれている区間を重要区間、含まれていない区間を不要区間として判定するとしてもよい。
【0095】
重要範囲判定部14は、区間情報記憶部18bに記憶されている区間情報に基づいて、映像情報内における重要範囲を判定する。そして、重要範囲判定部14は、判定した重要範囲情報を加工データ生成部15に送信する。
【0096】
上記の重要範囲の判定は、区間情報に含まれる区間重要度を利用し、様々な方法を用いて行うことができる。例えば、(1)区間重要度が所定値以上の区間を重要範囲として判定する方法、(2)区間重要度に応じて、区間の範囲を増減調整して得られた値を重要範囲として判定する方法、という方法が考えられる。
【0097】
〔重要範囲の判定方法(1)〕
区間重要度が所定値以上の区間を重要範囲として判定する方法について説明する。この方法は、まず、重要範囲判定部14の内部に判定を行うための基準となる所定値を設定する判定テーブル(図示せず)を設け、その判定テーブルに所定値を予め定めておく。次に、重要範囲判定部14は、区間情報記憶部18bに記憶されている各区間の区間情報を抽出し、その区間重要度が所定値以上か否かを判定する。そして、区間重要度が所定値以上であった区間を重要範囲と判定するというものである。
【0098】
〔重要範囲の判定方法(2)〕
区間重要度に応じて区間の範囲を増減調整して得られた区間を重要範囲として判定する方法について説明する。この方法は、まず、重要範囲判定部14の内部に判定を行うための基準となる所定値を設定する判定テーブル(図示せず)を設け、その判定テーブルに所定値を予め定めておく。この判定テーブルには、区間重要度と範囲の増減調整値とが関連付けて記憶されているものとする。次に、重要範囲判定部14は、区間情報記憶部18bに記憶されている各区間の区間情報を抽出し、その区間重要度に対応する範囲の増減調整値を判定テーブルから特定する。そして、特定した範囲の増減調整値に応じて該当する区間の範囲を調整し、その調整後の範囲を重要範囲として判定するというものである。
【0099】
〔実施例2−構成(2)〕
次に、図面を用いて本実施形態の別構成について説明する。本構成は図4に示すものと同様、端末Bと外部表示装置C及び外部入力装置Dとが、直接接続又はネットワークNを介して接続されるというものである。また、その接続形式は、無線接続形式でも優先接続形式でも、そのどちらであっても構わない。
【0100】
次に、図15の機能ブロック図を用いて、本発明の表示変更システムの本実施形態の構成(2)について説明する。なお、構成(1)と同一の構成部には同一の符号を付しており、構成(1)と同じ動作をする場合にはその詳細な説明は省略する。
【0101】
本発明の表示変更システムの本実施例における構成(2)は、端末Bの内部に、ポイント情報記憶部12、映像情報記憶部13、重要範囲判定部14、加工データ記憶部15、加工処理部16、表示制御部17、区間設定部18a、区間情報記憶部18b、および区間重要度決定部18cを有しているという点において、本実施例の構成(1)と異なっている。
【0102】
本構成(2)は、本実施例の構成(1)のように管理サーバAを設けず、端末Bのみで本発明を実現することができるという点に特徴がある。上述のように構成することにより、本発明のシステム構成に関わる作業や費用を削減することができる。
【0103】
〔実施例2−処理プロセス(1)〕
次に、本発明の映像編集支援システムにおける処理プロセスの一例を、図14の機能ブロック図及び図16のフローチャート等を用いて説明する。なお、以下の説明では、重要範囲の判定方法として(1)区間重要度が所定値以上の区間を重要範囲として判定する方法、を用いる場合について説明する。
【0104】
図16のフローチャートにおける(S201)から(S205)、(S209)から(S211)の動作については、〔実施例1−処理プロセス〕と同様のため、その説明を省略する。
【0105】
区間設定部18aは、映像情報記憶部13に記憶されている映像情報に対し、予め定められた所定範囲に基づいて区切った区間を設定し、設定した区間に関する情報と映像情報に含まれる映像識別情報とを関連付けて区間情報を生成して(S207)、区間情報記憶部18bに送信する。
【0106】
上記の処理を具体的に説明する。映像情報が図7の通りに記憶されており、映像識別情報「V002」に対応する映像の区間情報を生成する場合を例に説明する。まず、区間設定部18aは、映像情報記憶部13から映像識別情報「V0002」に該当する映像情報を抽出する。次に、予め定められた所定範囲(ここでは、「15分」とする。)に基づいて映像情報を区切って区間情報を生成する。
【0107】
区間情報記憶部18bには、区間設定部で生成された区間情報が記憶される。その記憶形式は、区間情報に含まれる映像識別情報毎に関連付けて記憶するという形式にすると好適である。記憶される区間情報の一例を、図17に示す。
【0108】
区間重要度決定部18cは、区間情報記憶部18bに記憶されている区間情報を抽出し、それぞれの区間において出力されているポイント情報の数を、ポイント情報記憶部12を検索することにより計数する。そして、その計数結果に基づいて各区間の区間重要度を判定する。さらに、区間重要度算出部18cは、抽出した区間情報に対して、各区間の区間重要度を加える形で更新を行い、区間情報記憶部18bに記憶する(S207)。
【0109】
上記の処理を具体的に説明する。区間情報が図17の通りに記憶されており、ポイント情報が図18の通りにポイント情報記憶部12に記憶されている場合を例に説明する。区間重要度決定部18cは、区間情報記憶部18bに記憶されている区間情報の中から、区間識別情報「区間1」を抽出する。次に、ポイント情報記憶部12を検索し、区間識別情報「区間1」の区間範囲「0:00:00〜0:15:00」においてポイント情報がいくつあるかを検索する。その結果、ポイント情報の数は「1」と計数される。同様にして、区間情報記憶部18bに記憶されている全ての区間情報についてポイント情報の数を計数した結果、区間識別情報「区間2」は「2」、「区間3」は「3」、「区間4」は「0」、「区間5」は「2」、「区間6」は「0」であると計数される。
【0110】
さらに、区間重要度決定部18cは、計数したポイント情報の数に応じて予め設定された係数で換算した区間重要度を算出し、各区間における区間重要度を決定する。本実施例では、ポイント情報の数に対して係数「1」を乗算した値を区間重要度として算出することとする。そして、区間重要度算出部18cは、抽出した区間情報に対して、各区間の区間重要度を加える形で更新を行い、区間情報記憶部18bに記憶する。更新して記憶される区間情報の一例を、図19に示す。
【0111】
重要範囲判定部14は、区間情報記憶部18bに記憶されている区間情報に基づき、映像情報内における重要範囲を判定する(S208)。そして、判定した重要範囲情報を加工データ生成部15に送信する。
【0112】
上記の処理を具体的に説明する。まず、重要範囲判定部14は、区間情報記憶部18bに記憶された区間情報を抽出し、各区間における区間重要度に応じて重要範囲か否かの判定を行う。その判定方法は、重要範囲判定部14の内部に判定基準となる所定値を設定する判定テーブル(図示せず)を設け、その判定テーブルを用いて判定を行うという方法を用いる。本実施例では、判定テーブル内に所定値として「区間重要度2以上」が設定されることとする。
【0113】
次に、重要範囲判定部14は、区間情報記憶部18bに記憶されている各区間の区間情報を抽出し、その区間重要度が所定値以上か否かを判定する。その結果、区間識別情報「区間3」と「区間5」が所定値以上であると判定される。そして、その所定値以上の区間情報に含まれる区間範囲を重要範囲と判定し、加工データ生成部15に送信する。本実施例では、区間識別情報「区間3」の区間範囲「0:30:00〜0:45:00」と、区間識別情報「区間5」の区間範囲「1:00:00〜1:15:00」の二つが重要範囲と判定され、加工データ生成部15に送信されることとなる。なお、区間重要度が所定値以上であって、さらに高い任意の値(重要閾値)を超えている場合には、隣接する区間を重要範囲として含むようにしてもかまわない。
【0114】
上述の実施形態とすることにより、システム側で自動的に開始点並びに終了点の判定を自動で行うことが可能となることに加え、ユーザがより重要であると感じている箇所を自動的に厳選して加工処理を行うということも可能となり、ユーザ編集作業の手間をさらに軽減することができる。
【0115】
〔実施例2−処理プロセス(2)〕
次に、本発明の映像編集支援システムにおける処理プロセスの別実施例を、図14の機能ブロック図及び図16のフローチャート等を用いて説明する。なお、以下の説明では、重要範囲の判定方法として(2)区間重要度に応じて区間の範囲を増減調整して得られた値を重要範囲として判定する方法、を用いる場合について説明する。
【0116】
図16のフローチャートにおける(S208)以外の動作については、〔実施例1−処理プロセス〕及び〔実施例2−処理プロセス(1)〕と同様のため、その説明を省略する。
【0117】
重要範囲判定部14は、区間情報記憶部18bに記憶されている区間情報に基づき、映像情報内における重要範囲を判定する(S208)。そして、判定した重要範囲情報を囲うデータ生成部15に送信する。
【0118】
上記の処理を具体的に説明する。まず、重要範囲判定部14は、区間情報記憶部18bに記憶された区間情報を抽出し、各区間における区間重要度に応じて重要範囲の長さを増減調整する。その判定は、重要範囲判定部14の内部に設けられた、区間重要度と範囲の増減調整値とを関連付けて記憶した判定テーブルを利用することにより行われる。この判定テーブルに記憶されている内容の一例を、図20に示す。
【0119】
次に、重要範囲判定部14は、区間情報記憶部18bに記憶されている各区間の区間情報のうち、区間重要度が「1」以上の区間情報を抽出し、その区間重要度に対応する範囲の増減調整値を判定テーブルから特定する。この場合において、区間情報記憶部18bに記憶されている区間情報が図19に示す通りであった場合、区間識別情報「区間1」、「区間3」、及び「区間5」が抽出されることとなる。そして、図20に示す判定テーブルに基づいて重要範囲が判定され、その結果「0:00:00〜0:15:00」、「0:28:00〜0:47:00」、「0:59:00〜1:16:00」の三つが重要範囲として判定され、加工データ生成部15に送信されることとなる。
【0120】
上述の実施形態とすることにより、システム側で自動的に開始点並びに終了点の判定を自動で行うことが可能となることに加え、ユーザがより重要であると感じている箇所については、より長い時間再生されるように自動調整した形で加工処理を行うということも可能となり、ユーザ編集作業の手間をさらに軽減することができる。
【実施例3】
【0121】
〔実施例3−構成(1)〕
次に、本発明の第三実施形態について説明する。本発明の第三実施形態の全体構成は、図1に示すものと同様、管理サーバAが複数のクライアント端末Bと通信ネットワークNを介して接続されるという形で構成されている。さらに、端末Bと、外部表示装置C及び外部入力装置Dとが、直接接続又はネットワークNを介して接続されるという形式で構成されている。
【0122】
次に、図21の機能ブロック図を用いて、本発明の表示変更システムの第三実施形態を説明する。なお、実施例1と同一の構成部には同一の符号を付しており、実施例1と同じ動作をする場合にはその詳細な説明は省略する。
【0123】
本発明の映像編集支援システムの第三実施形態は、管理サーバAの内部に、映像が再生された時点における再生状況を解析した解析情報を取得する解析情報取得部19aと、取得した解析情報を記憶する解析情報記憶部19bを備えているという点において、実施例1の実施形態と異なっている。
【0124】
以下、各構成部の動作について説明する。なお、実施例1と同様の構成部又は同様の動作については、詳細な説明を省略する。
【0125】
解析情報取得部19aは、表示制御部17が端末Bに対して送信した映像情報の、端末Bにおける再生状況を取得し、取得した再生状況と当該映像の映像識別情報とを関連付けて解析情報を生成し、解析情報記憶部19bに記憶する。ここでいう再生状況とは、ユーザが映像をどういう状態で再生したのかという状況のことをいい、具体的には、映像の再生スピードや音声の等の情報が再生状況として取得できる情報の一例として考えられる。
【0126】
解析情報記憶部19bには、解析情報取得部19aが取得した解析情報が記憶される。その際の記憶形式は、解析情報に含まれる映像識別情報を利用して、映像別に関連付けて記憶するという形式にすると好適である。
【0127】
重要範囲判定部14は、ポイント情報記憶部12に記憶されているポイント情報に対応する映像情報を、ポイント情報に含まれている映像識別情報を利用して映像情報記憶部13から抽出し、その抽出した映像情報内における重要範囲を判定する。さらにその後、解析情報記憶部19bに記憶されている解析情報の中から、映像識別情報を利用して対応する解析情報を抽出し、その解析情報を利用して重要範囲に修正を加える。そして、重要範囲判定部14は、修正した修正重要範囲情報を加工データ生成部15に送信する。
【0128】
上記の補正重要範囲の生成方法について詳細に説明する。この方法は、まず、重要範囲判定部14の内部に修正を行うための基準となる修正テーブル(図示せず)を設け、その修正テーブルに所定値を予め定めておく。この修正テーブルには、解析情報の内容と重要範囲の修正内容とが関連付けて記憶されているものとする。次に、重要範囲判定部14は、解析情報記憶部19bに記憶されている解析情報を抽出し、その解析情報に対応する重要範囲の修正内容を修正テーブルから特定する。そして、特定した修正内容に応じて、判定した重要範囲に対して修正を行うというものである。
【0129】
〔実施例3−構成(2)〕
次に、図面を用いて本実施形態の別構成について説明する。本構成は図4に示すものと同様、端末Bと外部表示装置C及び外部入力装置Dとが、直接接続又はネットワークNを介して接続されるというものである。また、その接続形式は、無線接続形式でも優先接続形式でも、そのどちらであっても構わない。
【0130】
次に、図22の機能ブロック図を用いて、本発明の表示変更システムの本実施形態の構成(2)について説明する。なお、構成(1)と同一の構成部には同一の符号を付しており、構成(1)と同じ動作をする場合にはその詳細な説明は省略する。
【0131】
本発明の表示変更システムの本実施例における構成(2)は、端末Bの内部に、ポイント情報記憶部12、映像情報記憶部13、重要範囲判定部14、加工データ記憶部15、加工処理部16、表示制御部17、解析情報取得部19a、及び解析情報記憶部19bを有しているという点において、本実施例の構成(1)と異なっている。
【0132】
本構成(2)は、本実施例の構成(1)のように管理サーバAを設けず、端末Bのみで本発明を実現することができるという点に特徴がある。上述のように構成することにより、本発明のシステム構成に関わる作業や費用を削減することができる。
【0133】
〔実施例3−処理プロセス〕
次に、本発明の映像編集支援システムにおける処理プロセスの一例を、図21の機能ブロック図及び図23のフローチャート等を用いて説明する。なお、以下の説明では、解析情報に含まれる再生状況として、ユーザによる映像の再生スピードを用いる場合について説明する。
【0134】
図16のフローチャートにおける(S305)、及び(S307)以外の動作については、〔実施例1−処理プロセス〕と同様のため、その説明を省略する。
【0135】
解析情報取得部19aは、表示制御部17から、端末Bにおける映像情報の再生状況を取得し、取得した再生状況と当該映像の映像識別情報とを関連付けて解析情報を生成して、解析情報記憶部19bに記憶する(S305)。記憶される解析情報の一例を、図24に示す。
【0136】
重要範囲判定部14は、ポイント情報記憶部12に記憶されているポイント情報に対応する映像情報を、ポイント情報に含まれている映像識別情報を利用して映像情報記憶部13から抽出し、その抽出した映像情報内における重要範囲を判定する。さらにその後、解析情報記憶部19bに記憶されている解析情報の中から、映像識別情報を利用して対応する解析情報を抽出し、その解析情報を利用して重要範囲に修正を加える。そして、重要範囲判定部14は、修正した修正重要範囲情報を加工データ生成部15に送信する(S307)。
【0137】
上記の重要範囲に修正を加える処理について具体的に説明する。まず、重要範囲判定部14は、解析情報記憶部19bに記憶された解析情報を抽出し、その解析情報に基づいて重要範囲に修正を加える。その修正内容は、重要範囲判定部14の内部に設けられた修正テーブルを利用することにより行われる。この修正テーブルに記憶されている内容の一例を、図25に示す。
【0138】
本実施例において、ポイント情報記憶部12に記憶されているポイント情報が図10に示す通りであった場合、まず、重要範囲判定部14によって、映像識別情報「V001」に対応する映像の重要範囲は「0:05:20〜0:15:20」、「0:20:40〜0:30:40」、「0:37:05〜0:47:05」の三つであると判定される。次に、重要範囲判定部14は、修正テーブルにより再生状況「2倍速」に対応する修正内容を抽出し、この判定した三つの重要範囲に対して修正を加える。その結果、修正重要範囲は「0:04:20〜0:16:20」、「0:19:40〜0:31:40」、「0:36:05〜0:48:05」となる。そして、そして、映像識別情報「V001」に該当する映像情報の中から全体の再生時間「0:55:30」を抽出し、そこから重要範囲を除外した不要範囲を判定する。その結果、「0:00:00〜0:04:20」、「0:16:20〜0:19:40」、「0:31:40〜0:36:05」、「0:48:05〜0:55:30」の四つであると判定される。重要範囲判定部14は、この判定された重要範囲と不要範囲に関する情報を修正重要範囲情報としてまとめて、加工データ記憶部15に送信する。
【0139】
本発明のように構成することにより、ユーザが映像をどういう状態で視聴したのかという再生状況を把握し、編集箇所の開始点と終了点をユーザの視聴状況に応じて細かく調整することが可能となり、ユーザ編集作業の手間をさらに軽減することができる。
【符号の説明】
【0140】
A:管理サーバ
B:端末
C:外部表示装置
D:外部入力装置
1:演算装置
2:記憶装置
3:通信装置
4:入力装置
5:表示装置
10:ネットワークI/F
11:ポイント情報取得部
12:ポイント情報記憶部
13:映像情報記憶部
14:重要範囲判定部
15:加工データ記憶部
16:加工処理部
17:表示制御部
18a:区間設定部
18b:区間情報記憶部
18c:区間重要度決定部
19a:解析情報取得部
19b:解析情報記憶部
20:ネットワークI/F
21:表示情報受信部
22:端末制御部
23:端末表示装置
24:端末入力装置
25:ポイント情報生成部
【特許請求の範囲】
【請求項1】
録画された映像に対する編集作業の支援を行う映像編集支援システムであって、
前記映像において、前記映像の再生者が重要と判断した箇所を示すポイント情報を記憶するポイント情報記憶部と、
前記ポイント情報を用いて前記映像内の重要範囲を判定する重要範囲判定部と、
前記重要範囲判定部における判定結果に基づいて前記映像を加工処理する加工処理部と、
前記映像加工部において加工処理された加工映像を表示する表示制御部と、
を備えることを特徴とする映像編集支援システム。
【請求項2】
前記映像編集支援システムは、更に、
前記映像を一定の時間的範囲を示す区間で区切る区間設定部と、
前記ポイント情報と前記区間とを関連付けた区間情報を記憶する区間情報記憶部と、を備え、
前記重要範囲判定部は、
前記区間情報に基づいて重要範囲を判定する
ことを特徴とする請求項1に記載の映像編集支援システム。
【請求項3】
前記映像編集支援システムは、更に、
前記区間情報に含まれるポイント情報の数に応じて前記区間毎の重要度を決定する区間重要度決定部と、を備え、
前記区間情報記憶部は、
記憶されている前記区間情報に対して前記区間重要度を加える形に更新して記憶し、
前記重要範囲判定部は、
前記区間重要度に基づいて前記重要範囲を判定する
ことを特徴とする請求項2に記載の映像編集支援システム。
【請求項4】
前記映像編集支援システムは、更に、
前記映像が再生された時点における再生状況を解析した解析情報を記憶する解析情報記憶部と、を備え、
前記重要範囲判定部は、
前記解析情報に基づいて前記重要範囲を判定する
ことを特徴とする請求項1及び請求項3に記載の映像編集支援システム。
【請求項5】
録画された映像に対して、当該映像の再生者が重要と判断した箇所を示すポイント情報を記憶するポイント情報記憶部を備える映像編集支援システムに用いるプログラムであって、
前記ポイント情報を用いて前記映像内の重要範囲を判定する重要範囲判定機能と、
前記重要範囲判定部における判定結果に基づいて前記映像を加工処理する映像加工機能と、
前記映像加工部において加工処理された加工映像を表示する表示制御機能と、
をコンピュータに実現させる映像編集支援プログラム。
【請求項1】
録画された映像に対する編集作業の支援を行う映像編集支援システムであって、
前記映像において、前記映像の再生者が重要と判断した箇所を示すポイント情報を記憶するポイント情報記憶部と、
前記ポイント情報を用いて前記映像内の重要範囲を判定する重要範囲判定部と、
前記重要範囲判定部における判定結果に基づいて前記映像を加工処理する加工処理部と、
前記映像加工部において加工処理された加工映像を表示する表示制御部と、
を備えることを特徴とする映像編集支援システム。
【請求項2】
前記映像編集支援システムは、更に、
前記映像を一定の時間的範囲を示す区間で区切る区間設定部と、
前記ポイント情報と前記区間とを関連付けた区間情報を記憶する区間情報記憶部と、を備え、
前記重要範囲判定部は、
前記区間情報に基づいて重要範囲を判定する
ことを特徴とする請求項1に記載の映像編集支援システム。
【請求項3】
前記映像編集支援システムは、更に、
前記区間情報に含まれるポイント情報の数に応じて前記区間毎の重要度を決定する区間重要度決定部と、を備え、
前記区間情報記憶部は、
記憶されている前記区間情報に対して前記区間重要度を加える形に更新して記憶し、
前記重要範囲判定部は、
前記区間重要度に基づいて前記重要範囲を判定する
ことを特徴とする請求項2に記載の映像編集支援システム。
【請求項4】
前記映像編集支援システムは、更に、
前記映像が再生された時点における再生状況を解析した解析情報を記憶する解析情報記憶部と、を備え、
前記重要範囲判定部は、
前記解析情報に基づいて前記重要範囲を判定する
ことを特徴とする請求項1及び請求項3に記載の映像編集支援システム。
【請求項5】
録画された映像に対して、当該映像の再生者が重要と判断した箇所を示すポイント情報を記憶するポイント情報記憶部を備える映像編集支援システムに用いるプログラムであって、
前記ポイント情報を用いて前記映像内の重要範囲を判定する重要範囲判定機能と、
前記重要範囲判定部における判定結果に基づいて前記映像を加工処理する映像加工機能と、
前記映像加工部において加工処理された加工映像を表示する表示制御機能と、
をコンピュータに実現させる映像編集支援プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【公開番号】特開2011−205268(P2011−205268A)
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願番号】特願2010−69107(P2010−69107)
【出願日】平成22年3月25日(2010.3.25)
【出願人】(599108242)Sky株式会社 (257)
【Fターム(参考)】
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願日】平成22年3月25日(2010.3.25)
【出願人】(599108242)Sky株式会社 (257)
【Fターム(参考)】
[ Back to top ]