ダイジェスト生成方法、ダイジェスト生成装置及びプログラム
【課題】コンテンツ全体の概要を全閲覧者が等しく把握するとともに、個々の閲覧者が関心を持っている部分の内容を把握できるようにする。
【解決手段】コンテンツの閲覧者がコンテンツを閲覧したイベントを検知するステップと、前記検知されたイベントを、前記コンテンツ及び閲覧者と対応付けて記録し、閲覧者が興味を示したコンテンツを示す閲覧者別のダイジェストを生成するステップと、コンテンツを共有している複数の閲覧者が共通して興味を示したコンテンツに対応した共通ダイジェストを生成するステップと、前記閲覧者別のダイジェストと前記共通ダイジェストとを用いて最終ダイジェストを生成するステップとを有する。
【解決手段】コンテンツの閲覧者がコンテンツを閲覧したイベントを検知するステップと、前記検知されたイベントを、前記コンテンツ及び閲覧者と対応付けて記録し、閲覧者が興味を示したコンテンツを示す閲覧者別のダイジェストを生成するステップと、コンテンツを共有している複数の閲覧者が共通して興味を示したコンテンツに対応した共通ダイジェストを生成するステップと、前記閲覧者別のダイジェストと前記共通ダイジェストとを用いて最終ダイジェストを生成するステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、複数のユーザで共有して閲覧するコンテンツからダイジェストを生成するために用いて好適なダイジェスト生成方法、ダイジェスト生成装置及びプログラムに関する。
【背景技術】
【０００２】
従来、テレビ会議システムにおいて会議記録の要約や議事録を作成する手法や、あるいは動画再生装置において映像コンテンツのダイジェストを生成する手法が提案されている。例えば特許文献１には、会議の途中参加者に対して会議記録の要約を提示する手法が開示されている。この手法は、会議の議題や発言などを記録しておき、会議冒頭からユーザが参加した時点までの記録からユーザが指定した特定の議題や話者に関する記録を要約して提示するものである。また、例えば特許文献２には、多地点電子会議システムにおいて、遠隔地に設置された複数のテレビ会議クライアントから収集した音声や映像などの会議情報を集計して会議ダイジェストを生成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３３９０３３号公報
【特許文献２】特開２００４−３５０１３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述の先行技術では、生成される要約やダイジェストは閲覧者毎に異なる内容であるか、あるいは全ての閲覧者に共通の内容であった。こうした方法には、複数の閲覧者で共有して閲覧するコンテンツからダイジェストを生成する場合に課題があった。ダイジェストを生成する目的がコンテンツの内容把握にある点に鑑みて、共有されるコンテンツのダイジェストは次の２つの要求を両立させることが必要である。
（１）コンテンツ全体の概要を全閲覧者が等しく把握するのに有用であること
（２）個々の閲覧者が関心を持っている部分の内容把握に有用であること
【０００５】
前述した先行技術はそれぞれ（１）、（２）の課題に個々に対応することは可能であったが、これらを両立させる点においては十分ではなかった。
【０００６】
本発明は前述の問題点に鑑み、コンテンツ全体の概要を全閲覧者が等しく把握するとともに、個々の閲覧者が関心を持っている部分の内容を把握できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明のダイジェスト生成方法は、コンテンツの閲覧者がコンテンツを閲覧したイベントを検知するステップと、前記検知されたイベントを、前記コンテンツ及び閲覧者と対応付けて記録し、閲覧者が興味を示したコンテンツを示す閲覧者別のダイジェストを生成するステップと、コンテンツを共有している複数の閲覧者が共通して興味を示したコンテンツに対応した共通ダイジェストを生成するステップと、前記閲覧者別のダイジェストと前記共通ダイジェストとを用いて最終ダイジェストを生成するステップとを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、コンテンツ全体の概要を全閲覧者が等しく把握するとともに、個々の閲覧者が関心を持っている部分の内容を把握することができる。
【図面の簡単な説明】
【０００９】
【図１】会議録のダイジェスト作成システムの全体構成例を示す図である。
【図２】ダイジェスト生成装置のモジュール構成例を示すブロック図である。
【図３】ダイジェスト生成装置によるダイジェストの生成処理手順の一例を示すフローチャートである。
【図４】プレゼンテーションスライドの特定ページを詳細／簡易用に設定するデータの構成例を示す図である。
【図５】会議録閲覧用端末により表示される表示画面の一例を示す図である。
【図６】映像同期再生システムの全体構成例を示す図である。
【図７】ホームステーションのモジュール構成例を示すブロック図である。
【図８】受信側ステーション情報及び受信側リストのデータ構成例を示す図である。
【図９】ホームステーションによる同期再生処理手順の一例を示すフローチャートである。
【図１０】同期制御メッセージの一例を示す図である。
【図１１】ホームステーションによる音声データの記録処理手順の一例を示すフローチャートである。
【図１２】ホームステーションによるダイジェスト生成処理手順の一例を示すフローチャートである。
【図１３】各音声データ、発声区間、会話区間とダイジェスト候補との関係を示す図である。
【図１４】ダイジェスト制御メッセージの一例を示す図である。
【図１５】個別ダイジェスト候補と共通ダイジェスト候補との関係、及び送信側ステーションで生成される最終ダイジェストの区間の一例を示す図である。
【図１６】画面分割してダイジェスト候補を表示した表示画面の例を示す図である。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。
本実施形態では、会議録のダイジェスト作成システムについて説明する。本実施形態のシステムは、会議全体を通じて複数の講演者が講演を行い、聴講者が特定の講演のみ聴講するような場合に、会議全体のダイジェストを聴講者がどの講演を聴講したかに応じて作成するものである。
【００１１】
図１は、本実施形態に係る会議録のダイジェスト作成システムの全体構成例を示す図である。
図１において、１０１は講演者用カメラであり、講演中の講演者を撮影して会議記録サーバ１０４に録画データを保存する。１０２は講演者用マイクであり、講演中の講演者の発言を録音して会議記録サーバ１０４に録音データを保存する。１０３は会議データサーバであり、講演者が発表するプレゼンテーションデータや会議資料などを保存する。１０４は会議記録サーバであり、前述した録画／録音データの他に、講演中に講演者が用いた会議データの使用ログ（提示した時間や順番など）を記録する。本実施形態においては会議データと会議記録との両方をコンテンツとして扱う。
【００１２】
１０５は聴講者管理サーバであり、聴講者がいつ会議に参加していたかをコンテンツを閲覧したイベントとして検知して記録する。本実施形態においては閲覧者イベントとして聴講者管理サーバに記録されている情報を用いる。また、以上のサーバに記録されている各データは、相互に対応付け可能な状態で記録されているものとし、その手段には既知の方法を用いることができる。本実施形態では各データに記録時刻を付与するものとする。
【００１３】
１０６はダイジェスト生成装置であり、会議録のダイジェストを作成する。１０７は会議録閲覧用端末であり、ダイジェスト生成装置で生成されたダイジェストを表示する。また、会議録閲覧用端末１０７は少なくとも映像表示用のディスプレイと音声再生用のスピーカーを備える。また、会議データサーバ１０３〜会議録閲覧用端末１０７はそれぞれネットワーク１０８を介して接続されている。
【００１４】
図２は、ダイジェスト生成装置１０６のモジュール構成例を示すブロック図である。
図２において、２０１は閲覧者別ダイジェスト候補生成部であり、２０２は共通ダイジェスト候補生成部であり、２０３は最終ダイジェスト生成部である。２０４は通信部であり、各サーバや会議録閲覧用端末１０７と接続する。２０５は記憶装置であり、生成したダイジェストを保存する。
【００１５】
続いて、図３のフローチャートを参照しながら本実施形態に係るシステムにおけるダイジェスト生成処理を説明する。図３は、ダイジェスト生成装置１０６によるダイジェストの生成処理手順の一例を示すフローチャートである。本実施形態では会議終了後にダイジェストを生成する場合を例に説明するが、会議の途中であってもダイジェスト生成の対象とするコンテンツが変わるだけで生成方法は同様である。
【００１６】
まず、ダイジェスト生成装置１０６は、ダイジェストの生成指示を受けるまで待機する（Ｓ３０１）。そして、会議録閲覧用端末１０７から指示を受けると、会議記録サーバ１０４から、講演の会議記録を取得する（Ｓ３０２）。次に、会議データサーバ１０３から会議データを取得する（Ｓ３０３）。ここで、本実施形態では会議全体のダイジェストを生成するので、会議記録及び会議データとしては会議全体の分を取得している。
【００１７】
データを取得したら、続いてダイジェストの生成を行う。ダイジェストには会議データ及び会議記録の一部を用いる。本実施形態では説明を簡単化するため、会議データに対して詳細ダイジェストに含める部分と簡易ダイジェストに含める部分とが講演者によって予め指定されているものとする。図４には、プレゼンテーションスライドの特定ページを詳細／簡易用に設定するデータの構成例を示す。
【００１８】
ダイジェスト生成において、まず、共通ダイジェスト候補生成部２０２が共通ダイジェスト候補を生成する。本実施形態では、共通ダイジェスト候補として全会議の簡易ダイジェストを生成する。まず、共通ダイジェスト候補生成部２０２は取得している全会議データから簡易ダイジェスト用に指定されている部分を抽出する（Ｓ３０４）。次に、会議記録を照会して、簡易ダイジェスト用として抽出した部分が講演中に使われていた時刻を取得する（Ｓ３０５）。次に、Ｓ３０５で取得した時刻に記録されている録画データ／音声データを会議記録から抽出する（Ｓ３０６）。以上により、全会議の簡易ダイジェストに必要な会議データと会議記録が取得できたので、これらを時系列順に成形して共通ダイジェスト候補とする（Ｓ３０７）。
【００１９】
次に、閲覧者別ダイジェスト候補生成部２０１が閲覧者別ダイジェスト候補を生成する（Ｓ３０８）。そして、閲覧者別ダイジェスト候補生成部２０１は、聴講者管理サーバ１０５から聴講者が会議に参加していた時刻を取得できたかどうかを判断する（Ｓ３０９）。この判断の結果、取得できなかった場合はＳ３１５へ進み、取得できた場合はＳ３１０へ進む。
【００２０】
次に、取得した時刻で会議記録を照会して、聴講者が会議に参加していた時刻に使用されていた会議データを特定する（Ｓ３１０）。次に、特定された会議データの中から詳細ダイジェスト用に指定されている部分を抽出する（Ｓ３１１）。そして、再び会議記録を照会して、詳細ダイジェスト用として抽出した部分が講演中に使われていた時刻を取得する（Ｓ３１２）。最後に、Ｓ３１２で取得した時刻に記録されている録画データ／音声データを会議記録から抽出する（Ｓ３１３）。以上により、聴講者が聴講した講演の詳細ダイジェストに必要な会議データと会議記録が取得できたので、これらを時系列順に成形して閲覧者別ダイジェスト候補とする（Ｓ３１４）。
【００２１】
次に、最終ダイジェスト生成部２０３が、閲覧者別ダイジェスト候補と共通ダイジェスト候補を統合して最終ダイジェストとする（Ｓ３１５）。ここで、両ダイジェスト候補を統合する方法としては、単純に共通ダイジェスト候補の後ろに閲覧者別ダイジェストを結合する方法がある。また、それぞれに含まれる会議データや会議記録の時刻にしたがって時系列順にマージする方法などを用いることができる。そして、生成した最終ダイジェストを記憶装置２０５に保存する（Ｓ３１６）。
【００２２】
ダイジェストの生成が完了したら、ダイジェスト生成装置１０６は会議録閲覧用端末１０７にその旨を通知する（Ｓ３１７）。これにより、ダイジェスト生成装置１０６から通知を受けた会議録閲覧用端末１０７はダイジェスト生成装置１０６からダイジェストを取得してこれを表示する。
【００２３】
図５は、会議録閲覧用端末１０７により表示される表示画面の一例を示す図である。
図５において、５０１が会議データ表示領域であり、例えばプレゼンテーションスライドが表示される。５０２が録画データ表示領域であり、講演者の録画データを表示する。ここで、会議データ及び録画データは記録時刻で同期して表示されるものとする。さらに音声データも会議データ及び録画データの記録時刻と同期して再生される。また、ダイジェスト再生の操作に必要なユーザインタフェース５０３が表示される。
【００２４】
以上のように、複数の講演やセッションで構成されるような会議においても、会議全体の内容とユーザが参加した講演の内容の両方を把握することのできるダイジェストを作成することができる。これにより、会議に参加した聴講者間で会議全体の内容理解のレベル合わせが容易になる。
【００２５】
なお、本実施形態では、講演者が事前に会議データ中に詳細ダイジェストに含める部分と簡易ダイジェストに含める部分を指定しているものとして、聴講した講演のダイジェストは詳細に、それ以外の講演のダイジェストは簡略にした。一方、例えば、これとは逆に聴講していない講演のダイジェストを詳細化するとしてもよい。さらに、ダイジェスト生成時にユーザがいずれの方法を用いるかを選択可能としてもよく、そのための手段を含んでいてもよい。
【００２６】
さらに、本実施形態では、共通ダイジェスト候補は聴講者が参加していない講演を対象に生成しており、全聴講者に共通であった。一方、聴講者のグループを構成し、グループ内の聴講者に対して共通ダイジェスト候補を生成するようにしてもよい。この場合、閲覧者イベントとしては聴講者管理サーバ１０５に記録されている情報のみを用いるが、ダイジェストに用いる会議データおよび会議記録の選択基準としては以下の３パターンを用いる。
（１）グループ内の全聴講者が参加した講演
（２）グループ内の一部の聴講者が参加した講演
（３）グループ内のどの聴講者も参加しなかった講演
【００２７】
これにより、例えば複数のセッションで構成される会議に聴講者のグループで参加して聴講するセッションを分担するような場合において、グループ内で共有するダイジェストを生成するのに効果的である。
【００２８】
（第２の実施形態）
次に、図面を参照しながら本発明の第２の実施形態について説明する。
本実施形態では、遠隔地にいる複数のユーザが同じコンテンツを共有して同時に閲覧するための映像同期再生システムについて説明する。本実施形態の映像同期再生システムは、例えば再生時間の長いコンテンツを分割し、同期再生を繰り返して閲覧するような場合に、２回目以降の同期再生時にレジューム再生を行うとともに、前回までの閲覧済み部分からダイジェストを生成する。
【００２９】
図６は、本実施形態に係る映像同期再生システムの全体構成例を示す図である。図６ではユーザＡ、Ｂ、Ｃの３人が映像同期再生システムに参加している場合を示している。
図６において、６０１は映像コンテンツの蓄積や閲覧、映像通信を行う端末（以下、ホームステーション）であり、それぞれユーザの自宅等に設置され、ネットワーク６０４を介して相互に通信可能な状態にある。６０２は映像コンテンツを表示するためのディスプレイである。６０３は同期再生中に音声チャットを行うためのマイクである。本実施形態では、いずれのユーザも同一の装置を有しているものとする。また、以下の説明では、同期再生を開始するホームステーションを送信側ステーションと呼び、同期再生に参加する他のホームステーションを受信側ステーションと呼ぶ。
【００３０】
図７は、ホームステーション６０１のモジュール構成例を示すブロック図である。
図７において、７０１は表示管理部であり、映像コンテンツやユーザインタフェースをディスプレイ６０２に表示する。７０２は入力部であり、ホームステーション６０１に対する操作を受け付け、各種処理を起動する。７０３はコンテンツ管理部であり、ホームステーション６０１へのコンテンツの保存と取得とを行う。７０４は同期再生管理部であり、ネットワーク６０４で接続された複数のホームステーション間で同一のコンテンツを同期して再生する。
【００３１】
７０５は音声チャット管理部であり、同期再生中に音声チャットを行う場合に、マイク６０３からの入力を他のホームステーションに転送する。７０６は同期再生ログ記録部であり、同期再生中のマイク入力の録音や、同期再生中に行った映像コンテンツへの操作履歴の保存を行う。７０７はダイジェスト生成部であり、同期再生ログに基づいてコンテンツのダイジェストを生成する。７０８は通信部であり、ホームステーション間の通信を行う。７０９は記憶装置であり、映像コンテンツや同期再生ログなどのデータを保存する。
【００３２】
続いて、本実施形態に係る映像同期再生システムにおける同期再生について説明する。ここで、説明を簡単にするための前提条件を設ける。まず、送信側ステーションと受信側ステーションとの間で通信を行うのに必要なネットワーク情報（アドレスや通信プロトコル）は決定しているものとし、同期再生管理部７０４がこの情報を受信側ステーション情報として記憶している。ネットワーク情報の決定にはＳＩＰ（Session Initiation Protocol）など既存技術を用いる。
【００３３】
また、同期再生するコンテンツは送信側ステーション及び全ての受信側ステーションの記憶装置に保存されているものとする。この場合、当該コンテンツを事前に送信側ステーションから受信側ステーションに送信しておけばよく、送信には任意の通信手段を用いることができる。さらに、送信側ステーションでは同期再生するコンテンツと受信側ステーションとを対応付けた受信側リストを同期再生管理部７０４が記憶しているものとする。
【００３４】
図８は、受信側ステーション情報及び受信側リストのデータ構成例を示す図である。
図８において、８０１は受信側ステーション情報であり、８０２はステーション識別子、８０３は受信側ステーションのネットワークアドレス、８０４が利用可能な通信プロトコルである。また、８１０が受信側リストであり、８１１がコンテンツ識別子、８１２、８１３が受信側ステーション識別子である。受信側ステーション識別子８１２、８１３はコンテンツを送信した受信側ステーションの数だけ含まれている。
【００３５】
続いて、図９のフローチャートを参照しながら送信側ステーションにおける同期再生処理について説明する。図９は、ホームステーション６０１による同期再生処理手順の一例を示すフローチャートである。
まず、同期再生管理部７０４は、送信元ステーション上でユーザによりコンテンツを指定して同期再生の開始が指示されるまで待機する（Ｓ９０１）。そして、同期再生の指示を受けると、同期再生管理部７０４は、指定されたコンテンツからコンテンツ識別子を抽出し、記憶している受信側リストから当該コンテンツ識別子を持つデータを取得する処理を開始する（Ｓ９０２）。そして、受信側リストを取得できたか否かを判断する（Ｓ９０３）。この判断の結果、取得できなかった場合は同期再生を行うことができないものとして処理を終了する。
【００３６】
一方、受信側リストを取得できた場合は、同期再生管理部７０４は、受信側リストから受信側ステーション識別子を抽出し、記憶している受信側ステーション情報から当該受信側ステーション識別子をもつデータを取得する（Ｓ９０４）。次に、受信側ステーション情報からネットワークアドレスと通信プロトコルを取得して、通信部７０８に通信開始を指示する（Ｓ９０５）。そして、通信部７０８は、指定されたアドレスに指定されたプロトコルで接続する（Ｓ９０６）。通信接続が確立されると、同期再生管理部７０４は、受信側ステーションに対する同期制御メッセージを生成して、通信部７０８に対して同メッセージの送信を指示する（Ｓ９０７）。
【００３７】
図１０は、同期制御メッセージの一例を示す図である。
図１０において、１００１がメッセージタイプ識別子であり、１００２が送信側ステーション識別子である。１００３が受信側ステーション識別子であり、１００４がコンテンツ識別子である。また、１００５が制御コマンドであり、図１０に示す例では同期再生開始を表す"START"（開始）が含まれている。
【００３８】
次に、通信部７０８は、受信側ステーションから応答メッセージを受信し、これを同期再生管理部７０４に返す（Ｓ９０８）。そして、同期再生管理部７０４は、受信した応答メッセージが同期再生開始可能でるか否かを判断する（Ｓ９０９）。この判断の結果、応答メッセージが同期再生開始可能でない場合は、そのまま処理を終了する。一方、応答メッセージが同期再生開始可能である場合は、同期再生管理部７０４は、同期再生可能状態になったことを表示管理部７０１に通知し（Ｓ９１０）、表示管理部７０１はその旨をディスプレイ６０２に表示する（Ｓ９１１）。
【００３９】
次に、同期再生可能状態になった送信側ステーション上でユーザにより入力部７０２を介してコンテンツの再生操作が行われるまで待機する（Ｓ９１２）。そして、再生操作が行われると、表示管理部７０１は、指定された再生操作を実行してコンテンツを表示する（Ｓ９１３）。そして、同期再生管理部７０４は、指定された再生操作から同期制御メッセージを生成し、通信部７０８に同期制御メッセージの送信を指示する（Ｓ９１４）。ここで、再生操作に対応する同期制御メッセージは、制御コマンド１００５に"PLAY"（再生）、"STOP"（中断）、"PAUSE"（一時停止）のような再生操作コマンドが含まれているものである。さらに、同期再生管理部７０４は、生成した同期制御メッセージを同期再生ログ記録部７０６に渡し、同期再生ログ記録部７０６は同期制御メッセージと操作時刻とを紐付けて記憶装置７０９に保存する（Ｓ９１５）。ここでは、操作時刻にはコンテンツの先頭からの経過時間を用いる。
【００４０】
次に、図１１のフローチャートを参照しながら音声チャットついて説明する。図１１は、ホームステーション６０１による音声データの記録処理手順の一例を示すフローチャートである。
まず、特定の条件（例えばマイクの入力信号の強度が所定の閾値以上）を満たすか否かを判断する（Ｓ１１００）。この判断の結果、特定の条件を満たさない場合はそのまま処理を終了する。一方、特定の条件を満たす場合は、音声チャット管理部７０５は、マイク６０３からの入力信号を音声データに変換し（Ｓ１１０１）する。そして、音声チャット管理部７０５は、同期再生管理部７０４に対して音声データの送信を指示し（Ｓ１１０２）、同期再生ログ記録部７０６に音声データの保管を指示する（Ｓ１１０３）。
【００４１】
次に、音声データの送信を指示された同期再生管理部７０４は、音声データメッセージを生成して通信部７０８に送信を指示する（Ｓ１１０４）。また、音声データの保管を指示された同期再生ログ記録部７０６は、音声データと音声発生時刻と自身のステーション識別子とを紐付けて記憶装置７０９に保存する（Ｓ１１０５）。ここで、音声発生時刻には操作時刻と同様にコンテンツの先頭からの経過時間を用いる。
【００４２】
一方、音声データメッセージを受信したホームステーションでは、同期再生ログ記録部７０６が、音声データと音声発生時刻とメッセージ送信元のステーション識別子とを紐付けて記憶装置７０９に保存する。これにより、音声チャットの記録は、全てのホームステーションにおいて、音声データの送信元ごとに識別可能に保存される。なお、Ｓ１１００で特定の条件を満たさない場合であっても、Ｓ１１０１以下の処理を行ってもよく、さらには送信と保存とで別の条件を用いてもよい。
【００４３】
一方、受信側ステーションにおける同期再生処理は、各処理のトリガーが送信側ステーションからのメッセージ受信となる点を除いて、基本的に送信側ステーションでの処理と同様であるため説明を省略する。
【００４４】
次に、図１２のフローチャートを参照しながらダイジェスト生成処理について説明する。前述した通り、本実施形態では過去に同期再生を行って部分的に閲覧しているコンテンツの続きから同期再生を再開する場合に、閲覧済みの部分からダイジェストを生成する。以下では説明のためコンテンツは単一の動画とし、ダイジェストは動画中の開始時刻と終了時刻の１つ以上の組で定義されるものとする。
【００４５】
図１２は、ホームステーション６０１によるダイジェスト生成処理手順の一例を示すフローチャートである。
まず、ユーザにより送信側ステーションで同期再生を中断しているコンテンツが選択され、レジューム再生が指示されるまで待機する（Ｓ１２０１）。そして、レジューム再生が指示されると、同期再生管理部７０４は、同期再生ログ記録部７０６が保存している同期制御メッセージから"STOP"（中断）コマンドを保持するものを取得する。そして、対応する操作時刻Ｔｒをレジューム再生の開始位置とする（Ｓ１２０２）。前述したように操作時刻Ｔｒはコンテンツの先頭からの経過時間を表す。
【００４６】
次に、同期再生管理部７０４は、ダイジェスト生成部７０７に対してレジューム再生の開始位置Ｔｒを指定してダイジェストの生成を指示する（Ｓ１２０３）。そして、ダイジェスト生成部７０７は、最終ダイジェスト長Ｔｆを決定する（Ｓ１２０４）。ここでは簡単のためＴｆ＝Ｔｒ／１０とするが、Ｔｆの決定方法は任意であり他の方法を用いてもよい。
【００４７】
次に、ダイジェスト生成部７０７は、以下に説明する手順で個別ダイジェスト候補を生成する。本実施形態において、個別ダイジェスト候補は送信側ステーション及び受信側ステーションがそれぞれ生成し、受信側ステーションが生成した個別ダイジェスト候補は送信側ステーションに送られるものとする。以下、送信側ステーションでの個別ダイジェスト候補の生成方法を述べる。
【００４８】
まず、ダイジェスト生成部７０７は、個別ダイジェスト候補の最大長Ｔｕを決定する（Ｓ１２０５）。Ｔｕの決定方法はＴｆの決定方法と同様に任意である。ここではＴｕ＝Ｔｆとする。次に、ダイジェスト生成部７０７は同期再生ログ記録部７０６が保存している全ての音声データを取得する（Ｓ１２０６）。次に、取得した全ての音声データをマージして、会話区間を抽出する（Ｓ１２０７）。次に、送信側ステーションで記録した音声データから発声区間を抽出する（Ｓ１２０８）。ここで、音声データからの会話区間／発声区間の抽出方法は本発明の規定するところではなく、既存技術を用いればよい。次に、抽出した発声区間と時間的に重なりのある会話区間を選択する（Ｓ１２０９）。そして、選択した会話区間の開始時刻及び終了時刻を個別ダイジェスト候補の開始時刻と終了時刻とする（Ｓ１２１０）。
【００４９】
図１３は、各音声データ、発声区間、会話区間とダイジェスト候補との関係を示す図である。図１３に示す例では、会話区間１、２が送信側での発話区間Ａ、Ｂと重なっているので、これを送信側での個別ダイジェスト候補とする。
【００５０】
送信側ステーションでの個別ダイジェスト候補生成が終了したら、続いて受信側ステーションで生成した個別ダイジェスト候補を取得する。そこで、ダイジェスト生成部７０７はダイジェスト制御メッセージを生成し、通信部７０８に同メッセージの送信を指示する（Ｓ１２１１）。
【００５１】
図１４は、ダイジェスト制御メッセージの一例を示す図である。
図１４において、１４０１がメッセージタイプ識別子であり、１４０２が送信側ステーション識別子である。１４０３が受信側ステーション識別子であり、１４０４がコンテンツ識別子である。そして、１４０５が制御コマンドであり、図１４に示す例では、個別ダイジェスト候補生成を表す"USER"が含まれている。また、１４０６がコマンドオプションであり、本実施形態では個別ダイジェスト候補の最大長Ｔｕが含まれている。
【００５２】
なお、受信側ステーションにおける個別ダイジェスト候補の生成方法は上述した送信側ステーションでの生成方法（Ｓ１２０６〜Ｓ１２１０）と同様であるため、説明は省略する。
【００５３】
次に、通信部７０８が各受信側ステーションから個別ダイジェスト候補を受信して、これらをダイジェスト生成部７０７に返す（Ｓ１２１２）。そして、送信側ステーション及び受信側ステーションの双方で生成した個別ダイジェスト候補を取得したら、ダイジェスト生成部７０７は個別ダイジェスト候補を集計して、共通ダイジェスト候補を生成する（Ｓ１２１３）。
【００５４】
ここで、共通ダイジェスト候補の生成手順について述べる。まず、送信側ステーション及び受信側ステーションの合計台数をＭとする。また、共通ダイジェスト候補の最大長をＴｃとする。
Step.1：整数Ｎ＝Ｍ、Ｔｓ＝０と置く。
Step.2：整数Ｎに対し、
Ｎ＝０なら終了する。
Ｎ＞０ならＮ個の個別ダイジェスト候補に共通する区間を
共通ダイジェスト候補に選択する。
Step.3：Step.2で選択した区間の合計時間Ｔに対し、
Ｔ＋Ｔｓ≧Ｔｃなら終了する。
Ｔ＋Ｔｓ＜ＴｃならＮ＝Ｎ−１、Ｔｓ＝Ｔｓ＋ＴとしてStep.2に戻る。
【００５５】
図１５（ａ）は、個別ダイジェスト候補と共通ダイジェスト候補との関係を示す図である。共通ダイジェスト候補Ａ、Ｃは、送信側／受信側１／受信側２の３つに共通な区間として選択されたものであり、区間はそれぞれs1〜e1、s3〜e3となっている。共通ダイジェスト候補Ｂは送信側と受信側２との２つに共通な区間として選択されたものであり、区間はs2〜e2となっている。
【００５６】
以上の手順で共通ダイジェスト候補を生成したら、ダイジェスト生成部７０７は生成した共通ダイジェスト候補を各受信側ステーションに送る（Ｓ１２１４）。
【００５７】
次に、ダイジェスト生成部７０７は個別ダイジェスト候補と共通ダイジェスト候補とを合わせて最終ダイジェストを生成する処理を以下の手順により行う。まず、生成した共通ダイジェスト候補の時間が最終ダイジェスト長Ｔｆに達しているか否かを判断する（Ｓ１２１５）。この判断の結果、最終ダイジェスト長Ｔｆに達している場合は、共通ダイジェスト候補を最終ダイジェストとする（Ｓ１２１９）。
【００５８】
一方、最終ダイジェスト長Ｔｆに達していない場合は、個別ダイジェスト候補のうち、共通ダイジェスト候補に選択しなかった部分を選択して、最終ダイジェストに加える（Ｓ１２１６）。そして、共通ダイジェスト候補と新たに加えた個別ダイジェスト候補との合計時間が最終ダイジェスト長Ｔｆに達するか否かを判断する（Ｓ１２１７）。この判断の結果、最終ダイジェスト長Ｔｆに達している場合は、処理を終了する。一方、最終ダイジェスト長Ｔｆに達していない場合は、個別ダイジェスト候補の未選択部分がまだあるか否かを判断する（Ｓ１２１８）。この判断の結果、未選択部分がまだある場合はＳ１２１６に戻り、見選択部分がない場合は処理を終了する。
【００５９】
図１５（ｂ）は、送信側ステーションで生成される最終ダイジェストの区間の一例を示す図である。図１５（ｂ）に示すように、共通ダイジェスト候補Ａ〜Ｃの区間s1〜e1、s2〜e2、s3〜s3と、送信側の個別ダイジェスト候補から選択したs6〜s3とs7〜e7とを含んでいる。
【００６０】
以上のように本実施形態によれば、離れた場所にいる複数のユーザが１つのコンテンツを共有して閲覧する場合に、全ユーザに共通のダイジェストと各ユーザに特化したダイジェストを併用したダイジェストを生成することが可能である。これにより、ユーザ間でコンテンツ全体の内容を共通に把握するとともに、個々のユーザが自分の興味や関心の対象とする部分の内容の把握も容易となる。
【００６１】
なお、本実施形態においては、同期再生するコンテンツは予め受信側ステーションに送信しておくものとしたが、同期再生中に送信側ステーションから送信するとしてもよい。あるいはホームステーション以外の外部のサーバにコンテンツを保存し、同期再生時に各受信側ステーションが該サーバから受信するようにしてもよい。
【００６２】
また、本実施形態においては、音声チャットの録音記録は全受信側ステーションが保持し、受信側ステーションで個別ダイジェスト候補を生成した。一方、送信側ステーションで全ての受信側ステーションの個別ダイジェスト候補を生成した上で、各受信側ステーションに送信するようにしてもよい。
【００６３】
さらに、本実施形態では、複数の個別ダイジェスト候補から共通ダイジェスト候補を生成し、それらをまとめて最終ダイジェストを生成していた。一方、各ダイジェスト候補をまとめないようにして、画面分割して同時に表示するようにしてもよい。
【００６４】
図１６（ａ）は、画面分割してダイジェスト候補を表示した表示画面の例を示す図である。１６０１〜１６０４はそれぞれステーションが生成した個別ダイジェスト候補の表示領域であり、１６０５は送信側ステーションで生成した共通ダイジェスト候補の表示領域である。ここでさらに、共通ダイジェスト候補と重複している部分では個別ダイジェスト候補は表示せず、図１６（ｂ）に示すように共通ダイジェスト候補のみが表示されるよう画面表示を切り替えるようにしてもよい。図１６では、受信側（１）と送信側ステーションの共通部分とから生成した共通ダイジェストを表示している場合を示している。
【００６５】
（その他の実施形態）
前述した実施形態では、閲覧者イベントに利用するデータとして、聴講者の会議参加時刻と音声チャットの会話／発話区間の２種類を説明したが、その他の情報を用いても本発明は実施可能である。例えば、カメラを用いて閲覧者を撮影することにより、閲覧者が表示装置の前に居たか、閲覧者の視線が表示装置に注がれていたか／表示領域のどの部分を注視していたか、閲覧者のジェスチャー、閲覧者の表情、といった情報を収集する。そして、閲覧者イベントに利用することも可能である。さらに、カメラ以外の各種センサを用いて閲覧者を計測したデータを閲覧者イベントに利用することも可能である。
【００６６】
また、前述した実施形態では、閲覧者イベントに基づいてダイジェスト候補に含める部分を判定していた。一方、ダイジェストに必ず含める部分をユーザが指定可能であるようにしてもよい。例えば、会議のダイジェストの生成であれば会議主催者が必ず聴講してもらいたい部分を指定することが可能となる。また、同期再生であれば送信者が見せたいコンテンツを明示的にダイジェストに含めることが可能となる。
【００６７】
さらに、前述した実施形態では、コンテンツの位置やダイジェストの長さを指定するのに時間を用いていたが、本発明を実施可能な形態はこれに限定されるものではない。例えば、コンテンツが静止画のスライドショーの場合なら、写真の順番や枚数を位置や長さに用いることができる。また、動画コンテンツでも時間の代わりにフレームを用いてもよい。
【００６８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６９】
２０１ 閲覧者別ダイジェスト候補生成部
２０２ 共通ダイジェスト候補生成部
２０３ 最終ダイジェスト生成部
【技術分野】
【０００１】
本発明は、例えば、複数のユーザで共有して閲覧するコンテンツからダイジェストを生成するために用いて好適なダイジェスト生成方法、ダイジェスト生成装置及びプログラムに関する。
【背景技術】
【０００２】
従来、テレビ会議システムにおいて会議記録の要約や議事録を作成する手法や、あるいは動画再生装置において映像コンテンツのダイジェストを生成する手法が提案されている。例えば特許文献１には、会議の途中参加者に対して会議記録の要約を提示する手法が開示されている。この手法は、会議の議題や発言などを記録しておき、会議冒頭からユーザが参加した時点までの記録からユーザが指定した特定の議題や話者に関する記録を要約して提示するものである。また、例えば特許文献２には、多地点電子会議システムにおいて、遠隔地に設置された複数のテレビ会議クライアントから収集した音声や映像などの会議情報を集計して会議ダイジェストを生成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３３９０３３号公報
【特許文献２】特開２００４−３５０１３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述の先行技術では、生成される要約やダイジェストは閲覧者毎に異なる内容であるか、あるいは全ての閲覧者に共通の内容であった。こうした方法には、複数の閲覧者で共有して閲覧するコンテンツからダイジェストを生成する場合に課題があった。ダイジェストを生成する目的がコンテンツの内容把握にある点に鑑みて、共有されるコンテンツのダイジェストは次の２つの要求を両立させることが必要である。
（１）コンテンツ全体の概要を全閲覧者が等しく把握するのに有用であること
（２）個々の閲覧者が関心を持っている部分の内容把握に有用であること
【０００５】
前述した先行技術はそれぞれ（１）、（２）の課題に個々に対応することは可能であったが、これらを両立させる点においては十分ではなかった。
【０００６】
本発明は前述の問題点に鑑み、コンテンツ全体の概要を全閲覧者が等しく把握するとともに、個々の閲覧者が関心を持っている部分の内容を把握できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明のダイジェスト生成方法は、コンテンツの閲覧者がコンテンツを閲覧したイベントを検知するステップと、前記検知されたイベントを、前記コンテンツ及び閲覧者と対応付けて記録し、閲覧者が興味を示したコンテンツを示す閲覧者別のダイジェストを生成するステップと、コンテンツを共有している複数の閲覧者が共通して興味を示したコンテンツに対応した共通ダイジェストを生成するステップと、前記閲覧者別のダイジェストと前記共通ダイジェストとを用いて最終ダイジェストを生成するステップとを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、コンテンツ全体の概要を全閲覧者が等しく把握するとともに、個々の閲覧者が関心を持っている部分の内容を把握することができる。
【図面の簡単な説明】
【０００９】
【図１】会議録のダイジェスト作成システムの全体構成例を示す図である。
【図２】ダイジェスト生成装置のモジュール構成例を示すブロック図である。
【図３】ダイジェスト生成装置によるダイジェストの生成処理手順の一例を示すフローチャートである。
【図４】プレゼンテーションスライドの特定ページを詳細／簡易用に設定するデータの構成例を示す図である。
【図５】会議録閲覧用端末により表示される表示画面の一例を示す図である。
【図６】映像同期再生システムの全体構成例を示す図である。
【図７】ホームステーションのモジュール構成例を示すブロック図である。
【図８】受信側ステーション情報及び受信側リストのデータ構成例を示す図である。
【図９】ホームステーションによる同期再生処理手順の一例を示すフローチャートである。
【図１０】同期制御メッセージの一例を示す図である。
【図１１】ホームステーションによる音声データの記録処理手順の一例を示すフローチャートである。
【図１２】ホームステーションによるダイジェスト生成処理手順の一例を示すフローチャートである。
【図１３】各音声データ、発声区間、会話区間とダイジェスト候補との関係を示す図である。
【図１４】ダイジェスト制御メッセージの一例を示す図である。
【図１５】個別ダイジェスト候補と共通ダイジェスト候補との関係、及び送信側ステーションで生成される最終ダイジェストの区間の一例を示す図である。
【図１６】画面分割してダイジェスト候補を表示した表示画面の例を示す図である。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。
本実施形態では、会議録のダイジェスト作成システムについて説明する。本実施形態のシステムは、会議全体を通じて複数の講演者が講演を行い、聴講者が特定の講演のみ聴講するような場合に、会議全体のダイジェストを聴講者がどの講演を聴講したかに応じて作成するものである。
【００１１】
図１は、本実施形態に係る会議録のダイジェスト作成システムの全体構成例を示す図である。
図１において、１０１は講演者用カメラであり、講演中の講演者を撮影して会議記録サーバ１０４に録画データを保存する。１０２は講演者用マイクであり、講演中の講演者の発言を録音して会議記録サーバ１０４に録音データを保存する。１０３は会議データサーバであり、講演者が発表するプレゼンテーションデータや会議資料などを保存する。１０４は会議記録サーバであり、前述した録画／録音データの他に、講演中に講演者が用いた会議データの使用ログ（提示した時間や順番など）を記録する。本実施形態においては会議データと会議記録との両方をコンテンツとして扱う。
【００１２】
１０５は聴講者管理サーバであり、聴講者がいつ会議に参加していたかをコンテンツを閲覧したイベントとして検知して記録する。本実施形態においては閲覧者イベントとして聴講者管理サーバに記録されている情報を用いる。また、以上のサーバに記録されている各データは、相互に対応付け可能な状態で記録されているものとし、その手段には既知の方法を用いることができる。本実施形態では各データに記録時刻を付与するものとする。
【００１３】
１０６はダイジェスト生成装置であり、会議録のダイジェストを作成する。１０７は会議録閲覧用端末であり、ダイジェスト生成装置で生成されたダイジェストを表示する。また、会議録閲覧用端末１０７は少なくとも映像表示用のディスプレイと音声再生用のスピーカーを備える。また、会議データサーバ１０３〜会議録閲覧用端末１０７はそれぞれネットワーク１０８を介して接続されている。
【００１４】
図２は、ダイジェスト生成装置１０６のモジュール構成例を示すブロック図である。
図２において、２０１は閲覧者別ダイジェスト候補生成部であり、２０２は共通ダイジェスト候補生成部であり、２０３は最終ダイジェスト生成部である。２０４は通信部であり、各サーバや会議録閲覧用端末１０７と接続する。２０５は記憶装置であり、生成したダイジェストを保存する。
【００１５】
続いて、図３のフローチャートを参照しながら本実施形態に係るシステムにおけるダイジェスト生成処理を説明する。図３は、ダイジェスト生成装置１０６によるダイジェストの生成処理手順の一例を示すフローチャートである。本実施形態では会議終了後にダイジェストを生成する場合を例に説明するが、会議の途中であってもダイジェスト生成の対象とするコンテンツが変わるだけで生成方法は同様である。
【００１６】
まず、ダイジェスト生成装置１０６は、ダイジェストの生成指示を受けるまで待機する（Ｓ３０１）。そして、会議録閲覧用端末１０７から指示を受けると、会議記録サーバ１０４から、講演の会議記録を取得する（Ｓ３０２）。次に、会議データサーバ１０３から会議データを取得する（Ｓ３０３）。ここで、本実施形態では会議全体のダイジェストを生成するので、会議記録及び会議データとしては会議全体の分を取得している。
【００１７】
データを取得したら、続いてダイジェストの生成を行う。ダイジェストには会議データ及び会議記録の一部を用いる。本実施形態では説明を簡単化するため、会議データに対して詳細ダイジェストに含める部分と簡易ダイジェストに含める部分とが講演者によって予め指定されているものとする。図４には、プレゼンテーションスライドの特定ページを詳細／簡易用に設定するデータの構成例を示す。
【００１８】
ダイジェスト生成において、まず、共通ダイジェスト候補生成部２０２が共通ダイジェスト候補を生成する。本実施形態では、共通ダイジェスト候補として全会議の簡易ダイジェストを生成する。まず、共通ダイジェスト候補生成部２０２は取得している全会議データから簡易ダイジェスト用に指定されている部分を抽出する（Ｓ３０４）。次に、会議記録を照会して、簡易ダイジェスト用として抽出した部分が講演中に使われていた時刻を取得する（Ｓ３０５）。次に、Ｓ３０５で取得した時刻に記録されている録画データ／音声データを会議記録から抽出する（Ｓ３０６）。以上により、全会議の簡易ダイジェストに必要な会議データと会議記録が取得できたので、これらを時系列順に成形して共通ダイジェスト候補とする（Ｓ３０７）。
【００１９】
次に、閲覧者別ダイジェスト候補生成部２０１が閲覧者別ダイジェスト候補を生成する（Ｓ３０８）。そして、閲覧者別ダイジェスト候補生成部２０１は、聴講者管理サーバ１０５から聴講者が会議に参加していた時刻を取得できたかどうかを判断する（Ｓ３０９）。この判断の結果、取得できなかった場合はＳ３１５へ進み、取得できた場合はＳ３１０へ進む。
【００２０】
次に、取得した時刻で会議記録を照会して、聴講者が会議に参加していた時刻に使用されていた会議データを特定する（Ｓ３１０）。次に、特定された会議データの中から詳細ダイジェスト用に指定されている部分を抽出する（Ｓ３１１）。そして、再び会議記録を照会して、詳細ダイジェスト用として抽出した部分が講演中に使われていた時刻を取得する（Ｓ３１２）。最後に、Ｓ３１２で取得した時刻に記録されている録画データ／音声データを会議記録から抽出する（Ｓ３１３）。以上により、聴講者が聴講した講演の詳細ダイジェストに必要な会議データと会議記録が取得できたので、これらを時系列順に成形して閲覧者別ダイジェスト候補とする（Ｓ３１４）。
【００２１】
次に、最終ダイジェスト生成部２０３が、閲覧者別ダイジェスト候補と共通ダイジェスト候補を統合して最終ダイジェストとする（Ｓ３１５）。ここで、両ダイジェスト候補を統合する方法としては、単純に共通ダイジェスト候補の後ろに閲覧者別ダイジェストを結合する方法がある。また、それぞれに含まれる会議データや会議記録の時刻にしたがって時系列順にマージする方法などを用いることができる。そして、生成した最終ダイジェストを記憶装置２０５に保存する（Ｓ３１６）。
【００２２】
ダイジェストの生成が完了したら、ダイジェスト生成装置１０６は会議録閲覧用端末１０７にその旨を通知する（Ｓ３１７）。これにより、ダイジェスト生成装置１０６から通知を受けた会議録閲覧用端末１０７はダイジェスト生成装置１０６からダイジェストを取得してこれを表示する。
【００２３】
図５は、会議録閲覧用端末１０７により表示される表示画面の一例を示す図である。
図５において、５０１が会議データ表示領域であり、例えばプレゼンテーションスライドが表示される。５０２が録画データ表示領域であり、講演者の録画データを表示する。ここで、会議データ及び録画データは記録時刻で同期して表示されるものとする。さらに音声データも会議データ及び録画データの記録時刻と同期して再生される。また、ダイジェスト再生の操作に必要なユーザインタフェース５０３が表示される。
【００２４】
以上のように、複数の講演やセッションで構成されるような会議においても、会議全体の内容とユーザが参加した講演の内容の両方を把握することのできるダイジェストを作成することができる。これにより、会議に参加した聴講者間で会議全体の内容理解のレベル合わせが容易になる。
【００２５】
なお、本実施形態では、講演者が事前に会議データ中に詳細ダイジェストに含める部分と簡易ダイジェストに含める部分を指定しているものとして、聴講した講演のダイジェストは詳細に、それ以外の講演のダイジェストは簡略にした。一方、例えば、これとは逆に聴講していない講演のダイジェストを詳細化するとしてもよい。さらに、ダイジェスト生成時にユーザがいずれの方法を用いるかを選択可能としてもよく、そのための手段を含んでいてもよい。
【００２６】
さらに、本実施形態では、共通ダイジェスト候補は聴講者が参加していない講演を対象に生成しており、全聴講者に共通であった。一方、聴講者のグループを構成し、グループ内の聴講者に対して共通ダイジェスト候補を生成するようにしてもよい。この場合、閲覧者イベントとしては聴講者管理サーバ１０５に記録されている情報のみを用いるが、ダイジェストに用いる会議データおよび会議記録の選択基準としては以下の３パターンを用いる。
（１）グループ内の全聴講者が参加した講演
（２）グループ内の一部の聴講者が参加した講演
（３）グループ内のどの聴講者も参加しなかった講演
【００２７】
これにより、例えば複数のセッションで構成される会議に聴講者のグループで参加して聴講するセッションを分担するような場合において、グループ内で共有するダイジェストを生成するのに効果的である。
【００２８】
（第２の実施形態）
次に、図面を参照しながら本発明の第２の実施形態について説明する。
本実施形態では、遠隔地にいる複数のユーザが同じコンテンツを共有して同時に閲覧するための映像同期再生システムについて説明する。本実施形態の映像同期再生システムは、例えば再生時間の長いコンテンツを分割し、同期再生を繰り返して閲覧するような場合に、２回目以降の同期再生時にレジューム再生を行うとともに、前回までの閲覧済み部分からダイジェストを生成する。
【００２９】
図６は、本実施形態に係る映像同期再生システムの全体構成例を示す図である。図６ではユーザＡ、Ｂ、Ｃの３人が映像同期再生システムに参加している場合を示している。
図６において、６０１は映像コンテンツの蓄積や閲覧、映像通信を行う端末（以下、ホームステーション）であり、それぞれユーザの自宅等に設置され、ネットワーク６０４を介して相互に通信可能な状態にある。６０２は映像コンテンツを表示するためのディスプレイである。６０３は同期再生中に音声チャットを行うためのマイクである。本実施形態では、いずれのユーザも同一の装置を有しているものとする。また、以下の説明では、同期再生を開始するホームステーションを送信側ステーションと呼び、同期再生に参加する他のホームステーションを受信側ステーションと呼ぶ。
【００３０】
図７は、ホームステーション６０１のモジュール構成例を示すブロック図である。
図７において、７０１は表示管理部であり、映像コンテンツやユーザインタフェースをディスプレイ６０２に表示する。７０２は入力部であり、ホームステーション６０１に対する操作を受け付け、各種処理を起動する。７０３はコンテンツ管理部であり、ホームステーション６０１へのコンテンツの保存と取得とを行う。７０４は同期再生管理部であり、ネットワーク６０４で接続された複数のホームステーション間で同一のコンテンツを同期して再生する。
【００３１】
７０５は音声チャット管理部であり、同期再生中に音声チャットを行う場合に、マイク６０３からの入力を他のホームステーションに転送する。７０６は同期再生ログ記録部であり、同期再生中のマイク入力の録音や、同期再生中に行った映像コンテンツへの操作履歴の保存を行う。７０７はダイジェスト生成部であり、同期再生ログに基づいてコンテンツのダイジェストを生成する。７０８は通信部であり、ホームステーション間の通信を行う。７０９は記憶装置であり、映像コンテンツや同期再生ログなどのデータを保存する。
【００３２】
続いて、本実施形態に係る映像同期再生システムにおける同期再生について説明する。ここで、説明を簡単にするための前提条件を設ける。まず、送信側ステーションと受信側ステーションとの間で通信を行うのに必要なネットワーク情報（アドレスや通信プロトコル）は決定しているものとし、同期再生管理部７０４がこの情報を受信側ステーション情報として記憶している。ネットワーク情報の決定にはＳＩＰ（Session Initiation Protocol）など既存技術を用いる。
【００３３】
また、同期再生するコンテンツは送信側ステーション及び全ての受信側ステーションの記憶装置に保存されているものとする。この場合、当該コンテンツを事前に送信側ステーションから受信側ステーションに送信しておけばよく、送信には任意の通信手段を用いることができる。さらに、送信側ステーションでは同期再生するコンテンツと受信側ステーションとを対応付けた受信側リストを同期再生管理部７０４が記憶しているものとする。
【００３４】
図８は、受信側ステーション情報及び受信側リストのデータ構成例を示す図である。
図８において、８０１は受信側ステーション情報であり、８０２はステーション識別子、８０３は受信側ステーションのネットワークアドレス、８０４が利用可能な通信プロトコルである。また、８１０が受信側リストであり、８１１がコンテンツ識別子、８１２、８１３が受信側ステーション識別子である。受信側ステーション識別子８１２、８１３はコンテンツを送信した受信側ステーションの数だけ含まれている。
【００３５】
続いて、図９のフローチャートを参照しながら送信側ステーションにおける同期再生処理について説明する。図９は、ホームステーション６０１による同期再生処理手順の一例を示すフローチャートである。
まず、同期再生管理部７０４は、送信元ステーション上でユーザによりコンテンツを指定して同期再生の開始が指示されるまで待機する（Ｓ９０１）。そして、同期再生の指示を受けると、同期再生管理部７０４は、指定されたコンテンツからコンテンツ識別子を抽出し、記憶している受信側リストから当該コンテンツ識別子を持つデータを取得する処理を開始する（Ｓ９０２）。そして、受信側リストを取得できたか否かを判断する（Ｓ９０３）。この判断の結果、取得できなかった場合は同期再生を行うことができないものとして処理を終了する。
【００３６】
一方、受信側リストを取得できた場合は、同期再生管理部７０４は、受信側リストから受信側ステーション識別子を抽出し、記憶している受信側ステーション情報から当該受信側ステーション識別子をもつデータを取得する（Ｓ９０４）。次に、受信側ステーション情報からネットワークアドレスと通信プロトコルを取得して、通信部７０８に通信開始を指示する（Ｓ９０５）。そして、通信部７０８は、指定されたアドレスに指定されたプロトコルで接続する（Ｓ９０６）。通信接続が確立されると、同期再生管理部７０４は、受信側ステーションに対する同期制御メッセージを生成して、通信部７０８に対して同メッセージの送信を指示する（Ｓ９０７）。
【００３７】
図１０は、同期制御メッセージの一例を示す図である。
図１０において、１００１がメッセージタイプ識別子であり、１００２が送信側ステーション識別子である。１００３が受信側ステーション識別子であり、１００４がコンテンツ識別子である。また、１００５が制御コマンドであり、図１０に示す例では同期再生開始を表す"START"（開始）が含まれている。
【００３８】
次に、通信部７０８は、受信側ステーションから応答メッセージを受信し、これを同期再生管理部７０４に返す（Ｓ９０８）。そして、同期再生管理部７０４は、受信した応答メッセージが同期再生開始可能でるか否かを判断する（Ｓ９０９）。この判断の結果、応答メッセージが同期再生開始可能でない場合は、そのまま処理を終了する。一方、応答メッセージが同期再生開始可能である場合は、同期再生管理部７０４は、同期再生可能状態になったことを表示管理部７０１に通知し（Ｓ９１０）、表示管理部７０１はその旨をディスプレイ６０２に表示する（Ｓ９１１）。
【００３９】
次に、同期再生可能状態になった送信側ステーション上でユーザにより入力部７０２を介してコンテンツの再生操作が行われるまで待機する（Ｓ９１２）。そして、再生操作が行われると、表示管理部７０１は、指定された再生操作を実行してコンテンツを表示する（Ｓ９１３）。そして、同期再生管理部７０４は、指定された再生操作から同期制御メッセージを生成し、通信部７０８に同期制御メッセージの送信を指示する（Ｓ９１４）。ここで、再生操作に対応する同期制御メッセージは、制御コマンド１００５に"PLAY"（再生）、"STOP"（中断）、"PAUSE"（一時停止）のような再生操作コマンドが含まれているものである。さらに、同期再生管理部７０４は、生成した同期制御メッセージを同期再生ログ記録部７０６に渡し、同期再生ログ記録部７０６は同期制御メッセージと操作時刻とを紐付けて記憶装置７０９に保存する（Ｓ９１５）。ここでは、操作時刻にはコンテンツの先頭からの経過時間を用いる。
【００４０】
次に、図１１のフローチャートを参照しながら音声チャットついて説明する。図１１は、ホームステーション６０１による音声データの記録処理手順の一例を示すフローチャートである。
まず、特定の条件（例えばマイクの入力信号の強度が所定の閾値以上）を満たすか否かを判断する（Ｓ１１００）。この判断の結果、特定の条件を満たさない場合はそのまま処理を終了する。一方、特定の条件を満たす場合は、音声チャット管理部７０５は、マイク６０３からの入力信号を音声データに変換し（Ｓ１１０１）する。そして、音声チャット管理部７０５は、同期再生管理部７０４に対して音声データの送信を指示し（Ｓ１１０２）、同期再生ログ記録部７０６に音声データの保管を指示する（Ｓ１１０３）。
【００４１】
次に、音声データの送信を指示された同期再生管理部７０４は、音声データメッセージを生成して通信部７０８に送信を指示する（Ｓ１１０４）。また、音声データの保管を指示された同期再生ログ記録部７０６は、音声データと音声発生時刻と自身のステーション識別子とを紐付けて記憶装置７０９に保存する（Ｓ１１０５）。ここで、音声発生時刻には操作時刻と同様にコンテンツの先頭からの経過時間を用いる。
【００４２】
一方、音声データメッセージを受信したホームステーションでは、同期再生ログ記録部７０６が、音声データと音声発生時刻とメッセージ送信元のステーション識別子とを紐付けて記憶装置７０９に保存する。これにより、音声チャットの記録は、全てのホームステーションにおいて、音声データの送信元ごとに識別可能に保存される。なお、Ｓ１１００で特定の条件を満たさない場合であっても、Ｓ１１０１以下の処理を行ってもよく、さらには送信と保存とで別の条件を用いてもよい。
【００４３】
一方、受信側ステーションにおける同期再生処理は、各処理のトリガーが送信側ステーションからのメッセージ受信となる点を除いて、基本的に送信側ステーションでの処理と同様であるため説明を省略する。
【００４４】
次に、図１２のフローチャートを参照しながらダイジェスト生成処理について説明する。前述した通り、本実施形態では過去に同期再生を行って部分的に閲覧しているコンテンツの続きから同期再生を再開する場合に、閲覧済みの部分からダイジェストを生成する。以下では説明のためコンテンツは単一の動画とし、ダイジェストは動画中の開始時刻と終了時刻の１つ以上の組で定義されるものとする。
【００４５】
図１２は、ホームステーション６０１によるダイジェスト生成処理手順の一例を示すフローチャートである。
まず、ユーザにより送信側ステーションで同期再生を中断しているコンテンツが選択され、レジューム再生が指示されるまで待機する（Ｓ１２０１）。そして、レジューム再生が指示されると、同期再生管理部７０４は、同期再生ログ記録部７０６が保存している同期制御メッセージから"STOP"（中断）コマンドを保持するものを取得する。そして、対応する操作時刻Ｔｒをレジューム再生の開始位置とする（Ｓ１２０２）。前述したように操作時刻Ｔｒはコンテンツの先頭からの経過時間を表す。
【００４６】
次に、同期再生管理部７０４は、ダイジェスト生成部７０７に対してレジューム再生の開始位置Ｔｒを指定してダイジェストの生成を指示する（Ｓ１２０３）。そして、ダイジェスト生成部７０７は、最終ダイジェスト長Ｔｆを決定する（Ｓ１２０４）。ここでは簡単のためＴｆ＝Ｔｒ／１０とするが、Ｔｆの決定方法は任意であり他の方法を用いてもよい。
【００４７】
次に、ダイジェスト生成部７０７は、以下に説明する手順で個別ダイジェスト候補を生成する。本実施形態において、個別ダイジェスト候補は送信側ステーション及び受信側ステーションがそれぞれ生成し、受信側ステーションが生成した個別ダイジェスト候補は送信側ステーションに送られるものとする。以下、送信側ステーションでの個別ダイジェスト候補の生成方法を述べる。
【００４８】
まず、ダイジェスト生成部７０７は、個別ダイジェスト候補の最大長Ｔｕを決定する（Ｓ１２０５）。Ｔｕの決定方法はＴｆの決定方法と同様に任意である。ここではＴｕ＝Ｔｆとする。次に、ダイジェスト生成部７０７は同期再生ログ記録部７０６が保存している全ての音声データを取得する（Ｓ１２０６）。次に、取得した全ての音声データをマージして、会話区間を抽出する（Ｓ１２０７）。次に、送信側ステーションで記録した音声データから発声区間を抽出する（Ｓ１２０８）。ここで、音声データからの会話区間／発声区間の抽出方法は本発明の規定するところではなく、既存技術を用いればよい。次に、抽出した発声区間と時間的に重なりのある会話区間を選択する（Ｓ１２０９）。そして、選択した会話区間の開始時刻及び終了時刻を個別ダイジェスト候補の開始時刻と終了時刻とする（Ｓ１２１０）。
【００４９】
図１３は、各音声データ、発声区間、会話区間とダイジェスト候補との関係を示す図である。図１３に示す例では、会話区間１、２が送信側での発話区間Ａ、Ｂと重なっているので、これを送信側での個別ダイジェスト候補とする。
【００５０】
送信側ステーションでの個別ダイジェスト候補生成が終了したら、続いて受信側ステーションで生成した個別ダイジェスト候補を取得する。そこで、ダイジェスト生成部７０７はダイジェスト制御メッセージを生成し、通信部７０８に同メッセージの送信を指示する（Ｓ１２１１）。
【００５１】
図１４は、ダイジェスト制御メッセージの一例を示す図である。
図１４において、１４０１がメッセージタイプ識別子であり、１４０２が送信側ステーション識別子である。１４０３が受信側ステーション識別子であり、１４０４がコンテンツ識別子である。そして、１４０５が制御コマンドであり、図１４に示す例では、個別ダイジェスト候補生成を表す"USER"が含まれている。また、１４０６がコマンドオプションであり、本実施形態では個別ダイジェスト候補の最大長Ｔｕが含まれている。
【００５２】
なお、受信側ステーションにおける個別ダイジェスト候補の生成方法は上述した送信側ステーションでの生成方法（Ｓ１２０６〜Ｓ１２１０）と同様であるため、説明は省略する。
【００５３】
次に、通信部７０８が各受信側ステーションから個別ダイジェスト候補を受信して、これらをダイジェスト生成部７０７に返す（Ｓ１２１２）。そして、送信側ステーション及び受信側ステーションの双方で生成した個別ダイジェスト候補を取得したら、ダイジェスト生成部７０７は個別ダイジェスト候補を集計して、共通ダイジェスト候補を生成する（Ｓ１２１３）。
【００５４】
ここで、共通ダイジェスト候補の生成手順について述べる。まず、送信側ステーション及び受信側ステーションの合計台数をＭとする。また、共通ダイジェスト候補の最大長をＴｃとする。
Step.1：整数Ｎ＝Ｍ、Ｔｓ＝０と置く。
Step.2：整数Ｎに対し、
Ｎ＝０なら終了する。
Ｎ＞０ならＮ個の個別ダイジェスト候補に共通する区間を
共通ダイジェスト候補に選択する。
Step.3：Step.2で選択した区間の合計時間Ｔに対し、
Ｔ＋Ｔｓ≧Ｔｃなら終了する。
Ｔ＋Ｔｓ＜ＴｃならＮ＝Ｎ−１、Ｔｓ＝Ｔｓ＋ＴとしてStep.2に戻る。
【００５５】
図１５（ａ）は、個別ダイジェスト候補と共通ダイジェスト候補との関係を示す図である。共通ダイジェスト候補Ａ、Ｃは、送信側／受信側１／受信側２の３つに共通な区間として選択されたものであり、区間はそれぞれs1〜e1、s3〜e3となっている。共通ダイジェスト候補Ｂは送信側と受信側２との２つに共通な区間として選択されたものであり、区間はs2〜e2となっている。
【００５６】
以上の手順で共通ダイジェスト候補を生成したら、ダイジェスト生成部７０７は生成した共通ダイジェスト候補を各受信側ステーションに送る（Ｓ１２１４）。
【００５７】
次に、ダイジェスト生成部７０７は個別ダイジェスト候補と共通ダイジェスト候補とを合わせて最終ダイジェストを生成する処理を以下の手順により行う。まず、生成した共通ダイジェスト候補の時間が最終ダイジェスト長Ｔｆに達しているか否かを判断する（Ｓ１２１５）。この判断の結果、最終ダイジェスト長Ｔｆに達している場合は、共通ダイジェスト候補を最終ダイジェストとする（Ｓ１２１９）。
【００５８】
一方、最終ダイジェスト長Ｔｆに達していない場合は、個別ダイジェスト候補のうち、共通ダイジェスト候補に選択しなかった部分を選択して、最終ダイジェストに加える（Ｓ１２１６）。そして、共通ダイジェスト候補と新たに加えた個別ダイジェスト候補との合計時間が最終ダイジェスト長Ｔｆに達するか否かを判断する（Ｓ１２１７）。この判断の結果、最終ダイジェスト長Ｔｆに達している場合は、処理を終了する。一方、最終ダイジェスト長Ｔｆに達していない場合は、個別ダイジェスト候補の未選択部分がまだあるか否かを判断する（Ｓ１２１８）。この判断の結果、未選択部分がまだある場合はＳ１２１６に戻り、見選択部分がない場合は処理を終了する。
【００５９】
図１５（ｂ）は、送信側ステーションで生成される最終ダイジェストの区間の一例を示す図である。図１５（ｂ）に示すように、共通ダイジェスト候補Ａ〜Ｃの区間s1〜e1、s2〜e2、s3〜s3と、送信側の個別ダイジェスト候補から選択したs6〜s3とs7〜e7とを含んでいる。
【００６０】
以上のように本実施形態によれば、離れた場所にいる複数のユーザが１つのコンテンツを共有して閲覧する場合に、全ユーザに共通のダイジェストと各ユーザに特化したダイジェストを併用したダイジェストを生成することが可能である。これにより、ユーザ間でコンテンツ全体の内容を共通に把握するとともに、個々のユーザが自分の興味や関心の対象とする部分の内容の把握も容易となる。
【００６１】
なお、本実施形態においては、同期再生するコンテンツは予め受信側ステーションに送信しておくものとしたが、同期再生中に送信側ステーションから送信するとしてもよい。あるいはホームステーション以外の外部のサーバにコンテンツを保存し、同期再生時に各受信側ステーションが該サーバから受信するようにしてもよい。
【００６２】
また、本実施形態においては、音声チャットの録音記録は全受信側ステーションが保持し、受信側ステーションで個別ダイジェスト候補を生成した。一方、送信側ステーションで全ての受信側ステーションの個別ダイジェスト候補を生成した上で、各受信側ステーションに送信するようにしてもよい。
【００６３】
さらに、本実施形態では、複数の個別ダイジェスト候補から共通ダイジェスト候補を生成し、それらをまとめて最終ダイジェストを生成していた。一方、各ダイジェスト候補をまとめないようにして、画面分割して同時に表示するようにしてもよい。
【００６４】
図１６（ａ）は、画面分割してダイジェスト候補を表示した表示画面の例を示す図である。１６０１〜１６０４はそれぞれステーションが生成した個別ダイジェスト候補の表示領域であり、１６０５は送信側ステーションで生成した共通ダイジェスト候補の表示領域である。ここでさらに、共通ダイジェスト候補と重複している部分では個別ダイジェスト候補は表示せず、図１６（ｂ）に示すように共通ダイジェスト候補のみが表示されるよう画面表示を切り替えるようにしてもよい。図１６では、受信側（１）と送信側ステーションの共通部分とから生成した共通ダイジェストを表示している場合を示している。
【００６５】
（その他の実施形態）
前述した実施形態では、閲覧者イベントに利用するデータとして、聴講者の会議参加時刻と音声チャットの会話／発話区間の２種類を説明したが、その他の情報を用いても本発明は実施可能である。例えば、カメラを用いて閲覧者を撮影することにより、閲覧者が表示装置の前に居たか、閲覧者の視線が表示装置に注がれていたか／表示領域のどの部分を注視していたか、閲覧者のジェスチャー、閲覧者の表情、といった情報を収集する。そして、閲覧者イベントに利用することも可能である。さらに、カメラ以外の各種センサを用いて閲覧者を計測したデータを閲覧者イベントに利用することも可能である。
【００６６】
また、前述した実施形態では、閲覧者イベントに基づいてダイジェスト候補に含める部分を判定していた。一方、ダイジェストに必ず含める部分をユーザが指定可能であるようにしてもよい。例えば、会議のダイジェストの生成であれば会議主催者が必ず聴講してもらいたい部分を指定することが可能となる。また、同期再生であれば送信者が見せたいコンテンツを明示的にダイジェストに含めることが可能となる。
【００６７】
さらに、前述した実施形態では、コンテンツの位置やダイジェストの長さを指定するのに時間を用いていたが、本発明を実施可能な形態はこれに限定されるものではない。例えば、コンテンツが静止画のスライドショーの場合なら、写真の順番や枚数を位置や長さに用いることができる。また、動画コンテンツでも時間の代わりにフレームを用いてもよい。
【００６８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６９】
２０１ 閲覧者別ダイジェスト候補生成部
２０２ 共通ダイジェスト候補生成部
２０３ 最終ダイジェスト生成部
【特許請求の範囲】
【請求項１】
コンテンツの閲覧者がコンテンツを閲覧したイベントを検知するステップと、
前記検知されたイベントを、前記コンテンツ及び閲覧者と対応付けて記録し、閲覧者が興味を示したコンテンツを示す閲覧者別のダイジェストを生成するステップと、
コンテンツを共有している複数の閲覧者が共通して興味を示したコンテンツに対応した共通ダイジェストを生成するステップと、
前記閲覧者別のダイジェストと前記共通ダイジェストとを用いて最終ダイジェストを生成するステップとを有することを特徴とするダイジェスト生成方法。
【請求項２】
前記共通ダイジェストを生成するステップにおいては、コンテンツを共有している複数の閲覧者ごとに生成された複数の閲覧者別のダイジェストを用いて前記共通ダイジェストの候補を生成することを特徴とする請求項１に記載のダイジェスト生成方法。
【請求項３】
前記共通ダイジェストを生成するステップにおいては、コンテンツを共有している複数の閲覧者ごとに生成された複数の閲覧者別のダイジェストから複数の閲覧者に共通している部分を前記共通ダイジェストの候補とすることを特徴とする請求項２に記載のダイジェスト生成方法。
【請求項４】
コンテンツの閲覧者がコンテンツを閲覧したイベントを検知する手段と、
前記検知されたイベントを、前記コンテンツ及び閲覧者と対応付けて記録し、閲覧者が興味を示したコンテンツを示す閲覧者別のダイジェストを生成する手段と、
コンテンツを共有している複数の閲覧者が共通して興味を示したコンテンツに対応した共通ダイジェストを生成する手段と、
前記閲覧者別のダイジェストと前記共通ダイジェストとを用いて最終ダイジェストを生成する手段とを有することを特徴とするダイジェスト生成装置。
【請求項５】
請求項１に記載のダイジェスト生成方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１】
コンテンツの閲覧者がコンテンツを閲覧したイベントを検知するステップと、
前記検知されたイベントを、前記コンテンツ及び閲覧者と対応付けて記録し、閲覧者が興味を示したコンテンツを示す閲覧者別のダイジェストを生成するステップと、
コンテンツを共有している複数の閲覧者が共通して興味を示したコンテンツに対応した共通ダイジェストを生成するステップと、
前記閲覧者別のダイジェストと前記共通ダイジェストとを用いて最終ダイジェストを生成するステップとを有することを特徴とするダイジェスト生成方法。
【請求項２】
前記共通ダイジェストを生成するステップにおいては、コンテンツを共有している複数の閲覧者ごとに生成された複数の閲覧者別のダイジェストを用いて前記共通ダイジェストの候補を生成することを特徴とする請求項１に記載のダイジェスト生成方法。
【請求項３】
前記共通ダイジェストを生成するステップにおいては、コンテンツを共有している複数の閲覧者ごとに生成された複数の閲覧者別のダイジェストから複数の閲覧者に共通している部分を前記共通ダイジェストの候補とすることを特徴とする請求項２に記載のダイジェスト生成方法。
【請求項４】
コンテンツの閲覧者がコンテンツを閲覧したイベントを検知する手段と、
前記検知されたイベントを、前記コンテンツ及び閲覧者と対応付けて記録し、閲覧者が興味を示したコンテンツを示す閲覧者別のダイジェストを生成する手段と、
コンテンツを共有している複数の閲覧者が共通して興味を示したコンテンツに対応した共通ダイジェストを生成する手段と、
前記閲覧者別のダイジェストと前記共通ダイジェストとを用いて最終ダイジェストを生成する手段とを有することを特徴とするダイジェスト生成装置。
【請求項５】
請求項１に記載のダイジェスト生成方法の各ステップをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１５６９６５（Ｐ２０１２−１５６９６５Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１６８５０（Ｐ２０１１−１６８５０）
【出願日】平成２３年１月２８日（２０１１．１．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２８日（２０１１．１．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]