会議システム、クライアント端末装置、イベント情報配信サーバ装置、情報処理方法及びプログラム
【課題】動画等、時間軸に対して動的に変化するものに対する会議参加者によるイベントを会議参加者間で共有可能とすることを目的とする。
【解決手段】クライアント端末装置は、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、イベント情報をイベント情報配信サーバ装置に送信し、イベント情報配信サーバ装置より配信されたイベント情報を受信し、受信したイベント情報に含まれる端末識別情報に基づいて、イベント情報の送信者が自装置でないと判定された場合、イベント情報に含まれるイベント実行情報に基づいて、イベントを実行し、イベント情報配信サーバ装置は、クライアント端末装置よりイベント情報を受信し、同じ会議に参加している複数のクライアント端末装置に対して受信したイベント情報を配信することによって課題を解決する。
【解決手段】クライアント端末装置は、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、イベント情報をイベント情報配信サーバ装置に送信し、イベント情報配信サーバ装置より配信されたイベント情報を受信し、受信したイベント情報に含まれる端末識別情報に基づいて、イベント情報の送信者が自装置でないと判定された場合、イベント情報に含まれるイベント実行情報に基づいて、イベントを実行し、イベント情報配信サーバ装置は、クライアント端末装置よりイベント情報を受信し、同じ会議に参加している複数のクライアント端末装置に対して受信したイベント情報を配信することによって課題を解決する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、会議システム、クライアント端末装置、イベント情報配信サーバ装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来、会議システムでは、会議の参加者が、会議に参加している複数の参加者の端末の画面で共有されている文書ファイル等に対してマウス等の入力装置を介した書き込みを行うと、書き込みが行われた文書ファイル等を会議参加者間で共有させる機能を備えていた(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−140277号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の会議システムにおいては、例えば、作業手順等を説明するための動画等を会議参加者間で共有させ、会議参加者が動画に対して書き込み等のイベントを実行した場合、動画に対するイベントを会議参加者間で共有させることはできなかった。つまり、時間軸に対し動的に情報が変化する動画等の素材に対し、時間軸の変化に応じ同期した手書き情報等アノテーションが付与されていなかった。アノテーション自体に時間軸の概念を持たせていないため、伝達できる情報に限界があった。
したがって、会議システムを用いた情報の共有等に限界があった。
【0005】
本発明はこのような問題点に鑑みなされたもので、動画等、時間軸に対して動的に変化するものに対する会議参加者によるイベントを会議参加者間で共有可能とすることを目的とする。
【課題を解決するための手段】
【0006】
そこで、本発明は、複数のクライアント端末装置と、イベント情報配信サーバ装置と、を含む会議システムであって、前記クライアント端末装置は、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、前記イベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報を前記イベント情報配信サーバ装置に送信するイベント情報送信手段と、前記イベント情報配信サーバ装置より配信されたイベント情報を受信するイベント情報受信手段と、前記イベント情報受信手段で受信されたイベント情報に含まれる端末識別情報に基づいて、前記イベント情報の送信者が自装置でないと判定された場合、前記イベント情報に含まれるイベント実行情報に基づいて、イベントを実行する実行手段と、を有し、前記イベント情報配信サーバ装置は、クライアント端末装置より前記イベント情報を受信する受信手段と、前記受信手段で前記イベント情報が前記クライアント端末装置より受信された場合、同じ会議に参加している前記複数のクライアント端末装置に対して前記イベント情報を配信する配信手段と、を有する。
【0007】
また、本発明のクライアント端末装置は、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、前記イベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報をイベント情報配信サーバ装置に送信するイベント情報送信手段と、前記イベント情報配信サーバ装置より配信されたイベント情報を受信するイベント情報受信手段と、前記イベント情報受信手段で受信されたイベント情報に含まれる端末識別情報に基づいて、前記イベント情報の送信者が自装置でないと判定された場合、前記イベント情報に含まれるイベント実行情報に基づいて、イベントを実行する実行手段と、を有する。
【0008】
また、本発明のイベント情報配信サーバ装置は、クライアント端末装置より、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報を受信する受信手段と、前記受信手段で前記イベント情報が前記クライアント端末装置より受信された場合、同じ会議に参加している前記複数のクライアント端末装置に対して前記イベント情報を配信する配信手段と、を有する。
【発明の効果】
【0009】
本発明によれば、動画等、時間軸に対して動的に変化するものに対する会議参加者によるイベントを会議参加者間で共有可能とすることができる。
【図面の簡単な説明】
【0010】
【図1】会議システムのシステム構成の一例を示す図である。
【図2】コマンド格納サーバ装置、イベント通知サーバ装置、動画格納サーバ装置等のサーバ装置のハードウェア構成の一例を示す図である。
【図3】クライアント端末装置のハードウェア構成の一例を示す図である。
【図4】会議中の画面の一例を示す図である。
【図5】コマンド格納サーバ装置の機能構成の一例を示す図である。
【図6】イベント通知サーバ装置の機能構成の一例を示す図である。
【図7】動画格納サーバ装置の機能構成の一例を示す図である。
【図8】クライアント端末装置の機能構成の一例を示す図である。
【図9】会議システムにおける会議に係る処理の一例を示すシーケンス図である。
【図10】コマンド生成、登録処理の一例を示すフローチャートである。
【図11】コマンド登録処理の一例を示すフローチャートである。
【図12】ストロークの一例を示す図である。
【図13】検索画面の一例を示す図である。
【図14】会議システムにおける検索に係る処理の一例を示すシーケンス図である。
【図15】イベント通知サーバ装置の機能構成の一例を示す図である。
【図16】クライアント端末装置の機能構成の一例を示す図である。
【図17】会議システムにおける会議に係る処理の一例を示すシーケンス図である。
【図18】コマンド格納サーバ装置の機能構成の一例を示す図である。
【図19】コマンド格納サーバ装置の機能構成の一例を示す図である。
【図20】コマンド格納サーバ装置の機能構成の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について図面に基づいて説明する。
(概要)
以下に示す会議システムでは、会議の参加者は、各クライアント端末装置に接続されている一般的なWebカメラとマイク(ヘッドセット)を使用して、会議に参加する。そして、会議システムは、各クライアント端末装置上の画面において、リアルタイムに映像を配信、共有させる機能を有する。また、会議システムは、会議の参加者の一人がクライアント端末装置上の画面に表示されている映像に「手書き」等のイベントを行った場合、このイベントを検知し、「手書き」等のイベントを表すイベント情報を会議に参加している各クライアント端末上に配信する機能を有する。このような機能を有することによって、会議の参加者は、他の参加者に対して、言葉で伝えづらいことも効果的に伝えることができる。また、会議システムは、イベント情報に対して時間情報等を付加したコマンドを生成し、動画とは別にこのコマンドを動画と関連付けて自動的に保存する。このようにすることによって、クライアント端末装置を利用するユーザ等は、会議終了後にコマンド等を検索対象として関連する動画を検索したり、動画と共に動画に関連するコマンド(イベント情報)を会議実施時と同じ時間間隔で再現したりすることができる。
<実施形態1>
(システム構成図)
図1は、会議システムのシステム構成の一例を示す図である。図1に示されるように、会議システムは、複数のクライアント端末装置1(図1の例では、クライアント端末装置11〜クライアント端末装置13)と、コマンド格納サーバ装置3と、イベント通知サーバ装置4、動画格納サーバ装置5と、がネットワーク6を介して接続されている。
【0012】
(サーバ装置のハードウェア構成)
図2は、コマンド格納サーバ装置、イベント通知サーバ装置、動画格納サーバ装置等のサーバ装置のハードウェア構成の一例を示す図である。図2に示されるように、サーバ装置は、ハードウェア構成として、CPU11と、記憶装置12と、ネットワーク装置13と、を含む。CPU11は、サーバ装置の全体の制御を司り、記憶装置12等に記憶されたプログラムに基づき処理を実行することによって、サーバ装置の機能等を実現する。記憶装置12は、プログラムやCPU11がプログラムに基づき処理を実行する際に必要なデータ等を記憶する。ネットワーク装置13は、サーバ装置をネットワーク6等に接続するための装置である。
【0013】
(クライアント端末装置のハードウェア構成)
図3は、クライアント端末装置のハードウェア構成の一例を示す図である。図3に示されるように、クライアント端末装置1は、ハードウェア構成として、CPU21と、記憶装置22と、入力装置23と、表示装置24と、ネットワーク装置25と、を含む。
CPU21は、クライアント端末装置1の全体の制御を司り、記憶装置22等に記憶されたプログラムに基づき処理を実行することによって、クライアント端末装置1の機能等を実現する。記憶装置22は、プログラムやCPU21がプログラムに基づき処理を実行する際に必要なデータ等を記憶する。入力装置23は、例えば、キーボードやマウス等であって、ユーザ操作に応じて、情報を入力する。表示装置24は、例えば、ディスプレイ等であって、会議システムの画面等を出力する。ネットワーク装置25は、クライアント端末装置1をネットワーク6等に接続するための装置である。
なお、図3には示していないが、上述したように、クライアント端末装置1には、Webカメラとマイク(ヘッドセット)が外付けされているものとする。
【0014】
(会議中の画面例)
図4は、会議中の画面の一例を示す図である。なお、図4では、ユーザ2とユーザ4とが会議に参加しており、以前撮影しておいた動画をリアルタイムで共有しながら、ユーザ2が入力装置23等を用いて、画面に表示されている映像の上に手書き(30、31、32等)を行っている一例を示している。なお、画面上において参加ユーザ表示領域36には、会議に参加しているユーザの情報が示されており、この会議にはユーザ2とユーザ4とが参加していることが示されている。なお、各ユーザは、例えば色で識別可能に表示されている。また、チャット情報表示領域35には、会議参加者によるチャットの情報が表示されている。スライダー37は、時間軸をコントロールするスライダーである。
【0015】
(コマンド格納サーバ装置の機能構成)
図5は、コマンド格納サーバ装置の機能構成の一例を示す図である。図5に示されるように、コマンド格納サーバ装置3は、機能構成として、コマンド制御部40を有する。コマンド制御部40は、クライアント端末装置1より送信されたコマンドを受信し、コマンド格納サーバ装置3の記憶装置等に記憶する。また、コマンド制御部40は、クライアント端末装置1より検索要求を受信すると、検索要求に含まれる検索条件等に基づき記憶装置を検索し、検索結果として取得したコマンドを含む検索応答を要求元のクライアント端末装置1に送信する。
【0016】
(イベント通知サーバ装置の機能構成)
図6は、イベント通知サーバ装置の機能構成の一例を示す図である。図6に示されるように、イベント通知サーバ装置4は、機能構成として、イベント通知制御部50を有する。
ここで、会議を開始するユーザは、クライアント端末装置1の入力装置23等を操作し、会議の名称、会議の参加者のユーザを識別するユーザID等を、登録画面を介して入力する。会議システムにおいて、画面を介してこれらの情報を入力したユーザがオーナーとなる。オーナーのクライアント端末装置1は、前記画面を介して入力された情報と、これらの情報を入力したクライアント端末装置1を識別する識別情報(オーナー情報)と、を含む会議情報をイベント通知サーバ4に送信する。イベント通知サーバ装置4は、クライアント端末装置1より会議情報を受信すると、会議情報毎に会議IDを付加し、イベント通知サーバ装置4の記憶装置等に記憶する。
イベント通知制御部50は、クライアント端末装置1からイベント情報を受信すると、イベント情報に含まれる会議IDに基づき、記憶装置に記憶されている会議情報より、該当する会議に参加している会議参加者のクライアント端末装置1の識別情報を取得し、各クライアント端末装置1にイベント情報を配信する。
【0017】
(動画格納サーバ装置の機能構成)
図7は、動画格納サーバ装置の機能構成の一例を示す図である。図7に示されるように、動画格納サーバ装置5は、機能構成として、動画制御部60を有する。動画制御部60は、クライアント端末装置1より送信された動画を受信し、動画格納サーバ装置5の記憶装置等に記憶する。また、動画制御部60は、クライアント端末装置1より動画を識別する動画ID等を含む動画取得要求を受信すると、前記動画IDに基づき記憶装置を検索し、検索結果として取得した動画を含む動画取得応答を要求元のクライアント端末装置1に送信する。
【0018】
(クライアント端末装置の機能構成)
図8は、クライアント端末装置の機能構成の一例を示す図である。図8に示されるように、クライアント端末装置1は、機能構成として、会議登録部70と、会議実行制御部71と、会議検索部72と、コマンド登録実行部73と、を含む。
会議登録部70は、オーナーとなるユーザが、入力装置23等を操作し、登録画面等を介して入力した、会議の名称、会議の参加者のユーザを識別するユーザID等を受け取り、入力する。会議登録部70は、入力した会議の名称、会議の参加者のユーザを識別するユーザID等と、これらの情報を入力したクライアント端末装置1を識別する識別情報(オーナー情報)と、会議を識別する会議IDと、を含む会議情報をイベント通知サーバ4に送信する。
会議実行制御部71は、会議実行中にWebカメラやマイク等から入力された情報を、各クライアント端末装置1の間で共有させる制御や、図4に示したような画面の制御、イベント情報の生成や送信、イベントの実行等を制御する。会議実行制御部71の処理の詳細は、後述する図9等を用いて説明する。
会議検索部72は、後述する図13等の検索画面を制御し、検索画面を介した入力に基づき、検索要求を送信したり、検索要求に対応する検索応答を受信したり、検索結果を検索画面に表示したりする。
コマンド登録実行部73は、コマンド登録処理等を実行する。コマンド登録実行部73の処理の詳細は、後述する図9〜図11等を用いて説明する。
【0019】
(会議システムにおける会議に係るシーケンス図)
図9は、会議システムにおける会議に係る処理の一例を示すシーケンス図である。なお、図9の例では、既にユーザ1がクライアント端末装置11を操作し、ユーザ2がクライアント端末装置12を操作し、ユーザ3がクライアント端末装置13を操作して、会議システムにそれぞれログインし、動画を再生して会議を進めているものとする。なお、図9の例では、ユーザ1が会議のオーナーとなっているものとする。
SQ1において、動画格納サーバ装置5は、会議に参加している各クライアント端末装置1に対して動画を提供している。
SQ2において、クライアント端末装置13の会議実行制御部71は、ユーザ3の入力装置23等を介した動画へのイベントを検知し、イベントに応じてイベント情報を生成する。ここで、動画へのイベントとしては、例えば、図4に示したような動画への手書き入力や、動画のロード(動画を選択して共有化する操作)、図4のスライダー37の操作(動画のシーク)、等がある。イベントが手書き入力で、かつ、ストロークの開始の場合、会議実行制御部71は、「ストローク、開始、ストロークを識別するストロークID、ストロークの開始の(x、y)座標、ペンの色、ペンの太さ、イベントが実行されたクライアント端末装置1を識別するID」をイベント情報として生成する。また、イベントが動画のシークであった場合、会議実行制御部71は、「動画、シーク、動画を識別する動画ID、何秒の位置にシークしたかを示すシーク時間情報、イベントが実行されたクライアント端末装置1を識別するID」をイベント情報として生成する。つまり、イベント情報とは、会議に参加している他の参加者のクライアント端末装置1においても、イベントを再現することを可能にするための情報である。
【0020】
SQ3において、クライアント端末装置13の会議実行制御部71は、生成したイベント情報をイベント通知サーバ装置4に送信する。また、SQ4において、クライアント端末装置13の会議実行制御部71は、検知したイベントに応じた処理を実行する。例えば、イベントが動画への手書き入力であった場合、動画に手書きのストロークを描画する。なお、SQ3とSQ4との処理の順序は問わない。また、SQ3とSQ4とは同時に実行されてもよい。
イベント通知サーバ装置4のイベント通知制御部50は、クライアント端末装置13よりイベント情報を受信すると、SQ5において、会議情報毎に付加された会議IDに基づき、同じ会議に参加している各クライアント端末装置1(図9の例では、クライアント端末装置11、クライアント端末装置12、クライアント端末装置13)にイベント情報を配信する。
SQ6において、クライアント端末装置11の会議実行制御部71は、対応するユーザが該当する会議のオーナーであるか否かを判定する。同様に、SQ7において、クライアント端末装置12の会議実行制御部71は、対応するユーザが該当する会議のオーナーであるか否かを判定する。同様に、SQ8において、クライアント端末装置13の会議実行制御部71は、対応するユーザが該当する会議のオーナーであるか否かを判定する。
図9の例では、クライアント端末装置11のユーザであるユーザ1がオーナーであるため、クライアント端末装置11の会議実行制御部71は、対応するユーザが会議のオーナーであると判定する。すると、SQ9において、クライアント端末装置11のコマンド登録実行部73は、イベント情報に基づき、コマンドを生成し、生成したコマンドを登録する処理を実行する。コマンドの生成、登録処理の詳細は、後述する図10及び図11を用いて説明する。
SQ10において、クライアント端末装置11のコマンド登録実行部73は、生成されたコマンドをコマンド格納サーバ装置3に送信する。コマンド格納サーバ装置3のコマンド制御部40は、クライアント端末装置1よりコマンドを受信すると、SQ11において、コマンドをコマンド格納サーバ装置3の記憶装置に記憶する。
【0021】
SQ12において、クライアント端末装置11の会議実行制御部71は、受信したイベント情報に含まれるイベントが実行されたクライアント端末装置1を識別するIDに基づいて、イベント情報を自装置がイベント通知サーバ装置4に送信したか否かを判定する。同様に、SQ13において、クライアント端末装置12の会議実行制御部71は、受信したイベント情報に含まれるイベントが実行されたクライアント端末装置1を識別するIDに基づいて、イベント情報を自装置がイベント通知サーバ装置4に送信したか否かを判定する。同様に、SQ14において、クライアント端末装置13の会議実行制御部71は、受信したイベント情報に含まれるイベントが実行されたクライアント端末装置1を識別するIDに基づいて、イベント情報を自装置がイベント通知サーバ装置4に送信したか否かを判定する。
図9の例では、イベント情報をイベント通知サーバ装置4に送信したのはクライアント端末装置11ではないため、SQ15において、クライアント端末装置11の会議実行制御部71は、イベント情報に基づき、イベントに応じた処理を実行する。例えば、イベントが動画への手書き入力であった場合、クライアント端末装置11の表示装置24に表示されている動画に手書きのストロークを描画する。また、同様に、図9の例では、イベント情報をイベント通知サーバ装置4に送信したのはクライアント端末装置12ではないため、SQ16において、クライアント端末装置12の会議実行制御部71は、イベント情報に基づき、イベントに応じた処理を実行する。例えば、イベントが動画への手書き入力であった場合、クライアント端末装置12の表示装置24に表示されている動画に手書きのストロークを描画する。
【0022】
(コマンド生成、登録処理)
図10は、コマンド生成、登録処理の一例を示すフローチャートである。
S10において、コマンド登録実行部73は、イベント情報に、タイムスタンプ(イベントが発生した時間情報(オーナーのクライアント端末装置1の時計に基づく時間情報)))と、会議を識別する会議IDと、を付加してコマンドを生成する。
S11において、コマンド登録実行部73は、生成したコマンドを、コマンド格納サーバ装置3に送信(登録)する処理を実行する。S11の処理の詳細は、後述する図11を用いて説明する。
【0023】
(コマンド登録処理)
図11は、コマンド登録処理の一例を示すフローチャートである。
S20において、コマンド登録実行部73は、コマンドがストローク系のコマンドか否かを判定する。ここでストロークとは、手書きの線のことであり、ストロークは点の集合からなる。会議実行制御部71は、図12に示されるように、n個目の点をn−1個目の点と結び、線形補完する。但し、会議実行制御部71は、1個目の点は"開始点"としてどの点とも線分を結ばない。図12は、ストロークの一例を示す図である。なお、会議実行制御部71は、補完として処理が単純で済むため線形補完を行うようにしたが、他の方法(処理)で補完を行うようにしてもよい。
ユーザが例えば入力装置23の左ボタンをクリックすると、会議実行制御部71によって、イベントとしてストロークの開始(ストローク開始イベント80)が検知される。入力装置23が移動するたびに、会議実行制御部71は、各瞬間の入力装置23に係る動画上のポインタ等の座標を取得し、線分で結ぶことでストロークを構成する。このときのイベントは、ストローク移動イベント81〜85となる。ユーザが入力装置23の左ボタンを離すと、会議実行制御部71によって、イベントとしてストロークの終了(ストローク終了イベント86)が検知される。各イベントにタイムスタンプ等の時間情報が付加されたものがコマンド(ストローク開始コマンド、ストローク移動コマンド、ストローク終了コマンド)となる。
【0024】
コマンド登録実行部73は、コマンドが、上述したようなストローク系コマンドである場合、S21に処理を進め、ストローク系コマンドでない場合、S28に処理を進める。
S21において、コマンド登録実行部73は、コマンドがストローク開始コマンドであるか否かを判定する。コマンド登録実行部73は、コマンドが、ストローク開始コマンドである場合、S22に処理を進め、ストローク開始コマンドでない場合、S24に処理を進める。
S22において、コマンド登録実行部73は、コマンド列保存用の配列を準備する。S23において、コマンド登録実行部73は、準備した配列の先頭にコマンド(ストローク開始コマンド)を保存する。
S24において、コマンド登録実行部73は、コマンドがストローク移動コマンドか否かを判定する。コマンド登録実行部73は、コマンドが、ストローク移動コマンドである場合、S25に処理を進め、ストローク移動コマンドでない場合、S26に処理を進める。S25において、コマンド登録実行部73は、準備した配列の末尾にコマンド(ストローク移動コマンド)を追加する。
【0025】
S26において、コマンド登録実行部73は、コマンドがストローク終了コマンドか否かを判定する。コマンド登録実行部73は、コマンドが、ストローク終了コマンドである場合、S27に処理を進め、ストローク終了コマンドでない場合(ストロークの消去である場合)、S28に処理を進める。S27において、コマンド登録実行部73は、準備した配列の末尾にコマンド(ストローク終了コマンド)を追加する。
S28において、コマンド登録実行部73は、コマンド(ストローク系コマンドの場合は、配列に保存してあるコマンドの列)をコマンド格納サーバ装置3に送信する。
このようにストローク系コマンドを別扱いとしているのは、コマンド格納サーバ装置3へのコマンドの送信(コマンドの保存リクエスト)の回数を減らすためである。ストローク系イベントはマウス等の入力装置23が移動するたびに発生するため、その都度コマンドの保存リクエストを送信すると、膨大な数の保存リクエストを送信することになってしまう。したがって、コマンド登録実行部73が図11のような処理を実行することによって、コマンドがストローク系コマンドである場合は、「一本のストローク」の単位で保存リクエストをコマンド格納サーバ装置3に送信することでリクエスト回数を削減し、コマンド格納サーバ装置3の負荷を下げることができる。
【0026】
(検索の画面例)
図13は、検索画面の一例を示す図である。図13において、90は、キーワード入力欄である。91は、検索対象の会議の開催日範囲入力欄である。92は、検索ボタンである。93は、検索結果の一覧を表示する検索一覧表示欄である。94は、検索一覧表示欄93に表示されている検索結果の会議のうち、ユーザによって選択された会議に関する各コマンドのグラフ表示欄である。グラフ表示欄94に表示されているグラフは、図13に示されるように、会議が開始されてからの時間情報を横軸、コマンドに対応するイベント情報の量を縦軸としたコマンドに関するグラフである。なお、図13においては、イベント情報の一例として、素材と、参加者と、チャットと、ストロークが示されている。ここで、素材とは、例えば、動画である。また、参加者とは、会議の参加者である。チャットとは、チャット情報表示領域35に表示されているチャット情報である。ストロークとは、動画に手書き入力等されたストローク情報である。
例えば、ユーザは、グラフ表示欄94に表示されているストロークの時間経過に応じた量の増減等を視認し、該当する会議のどの時間帯に手書き入力が多く行われたのかを把握することができる。図13の例では、ユーザは、例えば、入力装置23等を操作して、グラフ表示欄94上の会議が開始されてから75秒後付近をクリック等することによって、該当する会議の75秒後付近、つまり最も手書き入力が行われている付近の会議(会議の動画等)を再現させることができる。
【0027】
(会議システムにおける検索に係るシーケンス図)
図14は、会議システムにおける検索に係る処理の一例を示すシーケンス図である。なお、会議実行制御部71は、例えば、動画再生中にユーザが設定したキーワードを会議ID(又は会議ID及び動画ID)と関連付けてコマンド格納サーバ装置3に送信する機能を有する。コマンド格納サーバ装置3のコマンド制御部40は、クライアント端末装置1より会議IDと関連付けられたキーワードを受信すると、キーワードを会議ID(又は会議ID及び動画ID)と関連付けて記憶装置等に記憶する。また、会議実行制御部71は、会議中に動画が再生等された場合、再生された動画に関して所定間隔毎(又は所定のユーザ操作に応じたタイミング毎)に静止画を記憶し、会議が終了した時点等に、動画再生の時系列に沿った一連の静止画(動画が開始されてから何秒後の静止画かを示す時間情報を有する静止画)を会議IDと関連付けてコマンド格納サーバ装置3に送信する機能を有する。
ユーザがクライアント端末装置1の入力装置23等を用いて、所定の操作を行うと、SQ20において、クライアント端末装置1の会議検索部72は、検索画面を表示装置24等に表示させる。SQ21において、会議検索部72は、検索画面を介して入力されたキーワードや開催日範囲等の検索条件を入力する。SQ22において、会議検索部72は、検索条件を含む検索要求をコマンド格納サーバ装置3に送信する。
【0028】
検索要求を受信すると、SQ23において、コマンド格納サーバ装置3のコマンド制御部40は、検索要求に含まれる検索条件に基づき、検索を実行する。コマンド制御部40は、検索の結果、該当する会議の会議IDを特定すると、この会議IDと関連付けられているコマンドや一連の静止画を取得し、これらを検索結果として、検索応答に含め、SQ24において、検索要求を送信してきたクライアント端末装置1に送信する。
検索応答を受信すると、SQ25において、クライアント端末装置1の会議検索部72は、検索応答に含まれるコマンドや一連の静止画に基づき、図13に示されるように、検索一覧表示欄93に会議毎の一連の静止画を表示したり、検索一覧表示欄93において一の会議が選択されると、この会議に関するコマンドに基づき、グラフ表示欄94にグラフを表示したりする。グラフ表示欄94に表示されているグラフは、図13に示されるように、時間情報を横軸、コマンドに対応するイベント情報の量を縦軸としたコマンドに関するグラフである。上述したように、例えば、ユーザは、グラフ表示欄94に表示されているストロークの、会議が開始されてから時間経過に応じた量の増減等を視認し、該当する会議のどの時間帯に手書き入力が多く行われたのかを容易に把握することができる。また、ユーザが、グラフ表示欄94に表示されているグラフの手書き入力が多く行われた思われる箇所を選択することによって、会議システムは、手書きが多く行われた時点の会議、又は動画等を再現することができる。
図13のグラフ表示欄94のストロークの量とは、イベント情報の量であり、会議検索部72は、コマンド(ストローク系コマンド)に基づき、ストロークの点の数を換算することによって算出する。また、チャットの量とは、イベント情報の量であり、会議検索部72は、コマンド(チャットに関するチャット系コマンド)に基づき、会議参加者のチャットにおける発言の回数、又は会議参加者によるチャットにおける文字数より算出する。また、参加者の量とは、イベント情報の量であり、会議検索部72は、コマンド(参加者に関する参加者系コマンド)に基づき、会議の参加者数より算出する。
また、SQ26において、会議検索部72は、検索一覧表示欄93に表示されている会議毎の一連の静止画の一つ、又はグラフ表示欄94に表示されているイベント情報の一つの選択を検知する。すると、SQ27において、会議検索部72は、該当する動画の動画IDを含む動画要求を動画格納サーバ装置5に送信する。
【0029】
動画要求を受信すると、SQ28において、動画格納サーバ装置5の動画制御部60は、動画要求に含まれる動画IDに基づき、動画を取得する。そして、SQ29において、動画制御部60は、取得した動画を含む動画応答を、動画要求を送信してきたクライアント端末装置1に送信する。
動画応答を受信すると、SQ30において、クライアント端末装置1の会議検索部72は、選択された静止画の時間情報、又は選択されたイベント情報の時間情報から、受信した動画応答に含まれる動画を再生する。
【0030】
(実施形態1における会議システムの作用等)
以上、上述したように、本実施形態の会議システムによれば、クライアント端末装置1は、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対する、例えば、ストローク系イベントが検知された場合、「ストローク、開始」等のイベントを識別するイベント識別情報と、「動画を識別する動画ID、ストロークの開始の(x、y)座標、ペンの色、ペンの太さ」等の前記イベントを再現するためのイベント実行情報と、イベントが実行されたクライアント端末装置1を識別するID等のイベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報をイベント通知サーバ装置4に送信する。イベント通知サーバ装置4は、イベント情報を受信すると、同じ会議に参加している複数のクライアント端末装置1に対して前記イベント情報を配信する。同じ会議に参加しているクライアント端末装置1は、イベント情報を受信すると、イベント情報に含まれるイベントが実行されたクライアント端末装置1を識別するIDに基づいて、自装置がイベント情報をイベント通知サーバ装置4に送信したクライアント端末装置1か否かを判定する。
自装置がイベント情報をイベント通知サーバ装置4に送信したクライアント端末装置1の場合、クライアント端末装置1は、既にイベント情報に基づいたイベント実行処理を行っているためイベント実行処理は行わない。一方、自装置がイベント情報をイベント通知サーバ装置4に送信したクライアント端末装置1でない場合、クライアント端末装置1は、受信したイベント情報に基づきイベント実行処理を実行する。つまり、クライアント端末装置1は、例えば、動画にストロークを描画する処理等を実行する。
このようにすることによって、動画等、時間軸に対して動的に変化するものに対する会議参加者によるイベントを会議参加者間で共有可能とすることができる。
【0031】
また、上述したように、本実施形態の会議システムによれば、クライアント端末装置1は、自装置のユーザが会議のオーナーである場合、タイムスタンプと、会議IDと、を付加することでイベント情報からコマンドを生成し、生成したコマンドをコマンド格納サーバ装置3に送信する。コマンド格納サーバ装置3は、クライアント端末装置1よりコマンドを受信すると、コマンドに含まれる会議IDに基づいて、会議毎に関連付けてコマンドをコマンド格納サーバ装置3の記憶装置等に記憶する。
このように、会議中に発生するイベント情報に対してタイムスタンプや会議ID等を付加したコマンドを動画等と独立して保存、管理することによって、例えば、会議IDやタイムスタンプ等を検索条件として、コマンドを検索対象とすることができる。
【0032】
また、上述したように、本実施形態の会議システムによれば、クライアント端末装置1は、コマンドがストローク系コマンドであるか否かを判定し、コマンドがストローク系コマンドであると判定した場合、同一のストロークに関するコマンド列、つまり一本のストロークの単位でコマンド格納サーバ装置3に送信し、コマンドがストローク系コマンドでないと判定した場合、各コマンドをコマンド格納サーバ装置3に送信する。
このようにすることによって、コマンド格納サーバ装置3に対するコマンドの送信回数を削減し、コマンド格納サーバ装置3の負荷を低下させることができる。
【0033】
また、上述したように、本実施形態の会議システムによれば、クライアント端末装置1は、入力された検索条件を含む検索要求をコマンド格納サーバ装置3に送信する。コマンド格納サーバ装置3は、前記検索要求を受信し、検索要求に含まれる検索条件に基づいて、記憶装置に記憶されている会議毎に関連付けて記憶されているコマンドを検索し、該当する会議のコマンド等を検索結果として取得する。そして、コマンド格納サーバ装置3は、前記検索結果を含む検索応答を、検索要求を送信してきた要求元のクライアント端末装置1に送信する。クライアント端末装置1は、検索応答を受信すると、検索応答の検索結果に含まれる該当する会議のコマンドに基づいて、時間情報を横軸、イベント情報の量を縦軸とした図13に示されるようなコマンドに関するグラフを生成して表示する。
このようにすることによって、ユーザは、グラフにおけるストロークの時間経過に応じた量の増減等を視認し、該当する会議のどの時間帯に手書き入力が多く行われたのかを把握することができるので、文字情報によるものだけでなく、文字以外の情報による、コマンド情報を用いた会議の検索や分析が可能になる。更に、ユーザは、例えば、最も手書き入力が行われている付近の動画等を再現させることができる。
【0034】
<実施形態2>
上述した実施形態1では、図8等に示したように、クライアント端末装置1がコマンド登録実行部73を有していた。しかしながら、コマンド登録実行部73をイベント通知サーバ装置4が有するようにしてもよい。本実施形態では、このような構成の場合の処理を説明する。なお、本実施形態では、上述した実施形態1と異なる点について説明を行い、同一の点については説明を省略する。
(イベント通知サーバ装置の機能構成)
図15は、イベント通知サーバ装置の機能構成の一例を示す図である。図15に示されるように、イベント通知サーバ装置4は、機能構成として、イベント通知制御部50と、コマンド登録実行部73と、を有する。
コマンド登録実行部73が、イベント通知サーバ装置4の機能構成として含まれている点が実施形態1と異なる。
(クライアント端末装置の機能構成)
図16は、クライアント端末装置の機能構成の一例を示す図である。図16に示されるように、クライアント端末装置1は、機能構成として、会議登録部70と、会議実行制御部71と、会議検索部72と、を有する。
コマンド登録実行部73が、クライアント端末装置1の機能構成として含まれていない点が実施形態1と異なる。
【0035】
(会議システムにおける会議に係るシーケンス図)
図17は、会議システムにおける会議に係る処理の一例を示すシーケンス図である。なお、図17の例では、既にユーザ1がクライアント端末装置11を操作し、ユーザ2がクライアント端末装置12を操作し、ユーザ3がクライアント端末装置13を操作して、会議システムにそれぞれログインし、動画を再生して会議を進めているものとする。
SQ30において、動画格納サーバ装置5は、会議に参加している各クライアント端末装置1に対して動画を提供している。
SQ31において、クライアント端末装置13の会議実行制御部71は、ユーザ3の入力装置23等を介した動画へのイベントを検知し、イベントに応じてイベント情報を生成する。ここで、動画へのイベントとしては、例えば、図4に示したような動画への手書き入力や、動画のロード(動画を選択して共有化する操作)、図4のスライダー37の操作(動画のシーク)、等がある。イベントが手書き入力で、かつ、ストロークの開始の場合、会議実行制御部71は、「ストローク、開始、動画を識別する動画ID、ストロークの開始の(x、y)座標、ペンの色、ペンの太さ、イベントが実行されたクライアント端末装置1を識別するID」をイベント情報として生成する。また、イベントが動画のシークであった場合、会議実行制御部71は、「動画、シーク、動画を識別する動画ID、何秒の位置にシークしたかを示すシーク時間情報、イベントが実行されたクライアント端末装置1を識別するID」をイベント情報として生成する。つまり、イベント情報とは、会議に参加している他の参加者のクライアント端末装置1においても、イベントを再現することを可能にするための情報である。
【0036】
SQ32において、クライアント端末装置13の会議実行制御部71は、生成したイベント情報をイベント通知サーバ装置4に送信する。また、SQ33において、クライアント端末装置13の会議実行制御部71は、検知したイベントに応じた処理を実行する。例えば、イベントが動画への手書き入力であった場合、動画に手書きのストロークを描画する。なお、SQ32とSQ33との処理の順序は問わない。また、SQ32とSQ33とは同時に実行されてもよい。
イベント通知サーバ装置4のイベント通知制御部50は、クライアント端末装置13よりイベント情報を受信すると、SQ34において、会議情報に基づき、同じ会議に参加している各クライアント端末装置1(図9の例では、クライアント端末装置11、クライアント端末装置12、クライアント端末装置13)にイベント情報を配信する。
SQ35において、イベント通知サーバ装置4のコマンド登録実行部73は、受信したイベント情報に基づき、コマンド生成し、生成したコマンドを登録する処理を実行する。コマンドの生成、登録処理の詳細は、上述した図10及び図11と同様である。なお、イベント通知サーバ装置4のコマンド登録実行部73がイベント情報に付加するタイムスタンプは、イベントが発生した(イベントを受信した)時間情報であり、イベント通知サーバ装置4の時計に基づく時間情報である。
SQ36において、イベント通知サーバ装置4のコマンド登録実行部73は、生成されたコマンドをコマンド格納サーバ装置3に送信する。コマンド格納サーバ装置3のコマンド制御部40は、イベント通知サーバ装置4よりコマンドを受信すると、SQ37において、コマンドをコマンド格納サーバ装置3の記憶装置に記憶する。
【0037】
一方、SQ38において、クライアント端末装置11の会議実行制御部71は、受信したイベント情報に含まれるイベントが実行されたクライアント端末装置1を識別するIDに基づいて、イベント情報をイベント通知サーバ装置4に送信したか否かを判定する。同様に、SQ39において、クライアント端末装置12の会議実行制御部71は、受信したイベント情報に含まれるイベントが実行されたクライアント端末装置1を識別するIDに基づいて、イベント情報をイベント通知サーバ装置4に送信したか否かを判定する。同様に、SQ40において、クライアント端末装置13の会議実行制御部71は、受信したイベント情報に含まれるイベントが実行されたクライアント端末装置1を識別するIDに基づいて、イベント情報をイベント通知サーバ装置4に送信したか否かを判定する。
図17の例では、イベント情報をイベント通知サーバ装置4に送信したのはクライアント端末装置11ではないため、SQ41において、クライアント端末装置11の会議実行制御部71は、イベント情報に基づき、イベントに応じた処理を実行する。例えば、イベントが動画への手書き入力であった場合、クライアント端末装置11の表示装置24に表示されている動画に手書きのストロークを描画する。また、同様に、図9の例では、イベント情報をイベント通知サーバ装置4に送信したのはクライアント端末装置12ではないため、SQ42において、クライアント端末装置12の会議実行制御部71は、イベント情報に基づき、イベントに応じた処理を実行する。例えば、イベントが動画への手書き入力であった場合、クライアント端末装置12の表示装置24に表示されている動画に手書きのストロークを描画する。
【0038】
上述したように、本実施形態の会議システムによれば、イベント通知サーバ装置4は、イベント情報に対してタイムスタンプと、会議IDと、を付加することでイベント情報からコマンドを生成し、生成したコマンドをコマンド格納サーバ装置3に送信する。コマンド格納サーバ装置3は、クライアント端末装置1よりコマンドを受信すると、コマンドに含まれる会議IDに基づいて、会議毎に関連付けてコマンドをコマンド格納サーバ装置3の記憶装置等に記憶する。
このように、会議中に発生するイベント情報に対してタイムスタンプや会議ID等を付加したコマンドを動画等と独立して保存、管理することによって、例えば、会議IDやタイムスタンプ等を検索条件として、コマンドを検索対象とすることができる。
【0039】
<その他の実施形態>
以下、上述した実施形態と異なる実施形態について、その他の実施形態として、図18〜図20を用いて説明する。
図18は、コマンド格納サーバ装置の機能構成の一例を示す図である。図18に示されるように、コマンド格納サーバ装置3は、機能構成として、文字認識部41を更に含んでもよい。文字認識部41は、コマンド制御部40がクライアント端末装置1又はイベント通知サーバ装置4からコマンドとしてストローク系コマンドのコマンド列を連続して複数、受信した場合、コマンド制御部40より複数のコマンド列を受け取り、文字認識を行い、文字認識の結果をコマンドに含まれる会議IDと関連付けて記憶装置等に記憶する。なお、本実施形態において、文字認識の技術は特に問わない。
このような構成とすることによって、例えば、動画に書き込んだ手書き入力の文字等を検索対象とすることができる。
【0040】
図19は、コマンド格納サーバ装置の機能構成の一例を示す図である。図19に示されるように、コマンド格納サーバ装置3は、機能構成として、映像認識部42を更に含んでもよい。映像認識部42は、クライアント端末装置1の会議実行制御部71等より会議IDと関連付けられた動画を受信した場合、映像認識を行い、映像認識の結果を会議IDと関連付けて記憶装置等に記憶する。なお、本実施形態において、映像認識の技術は特に問わない。
このような構成とすることによって、例えば、動画に含まれる映像等を検索対象とすることができる。
【0041】
図20は、コマンド格納サーバ装置の機能構成の一例を示す図である。図20に示されるように、コマンド格納サーバ装置3は、機能構成として、音声認識部43を更に含んでもよい。音声認識部43は、クライアント端末装置1の会議実行制御部71等より会議IDと関連付けられた音声を受信した場合、音声認識を行い、音声認識の結果を会議IDと関連付けて記憶装置等に記憶する。なお、本実施形態において、音声認識の技術は特に問わない。
このような構成とすることによって、例えば、会議中の音声等を検索対象とすることができる。
【0042】
以上、上述した各実施形態によれば、動画等、時間軸に対して動的に変化するものに対する会議参加者によるイベントを会議参加者間で共有可能とすることができる。また、上述した各実施形態によれば、イベントを後から再現する際に、会議実施時と同じ時間間隔で再実行し、またイベントの情報に基づいた会議の分析、検索を可能とすることができる。
【0043】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0044】
1 クライアント端末装置
3 コマンド格納サーバ装置
4 イベント通知サーバ装置
5 動画格納サーバ装置
【技術分野】
【0001】
本発明は、会議システム、クライアント端末装置、イベント情報配信サーバ装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来、会議システムでは、会議の参加者が、会議に参加している複数の参加者の端末の画面で共有されている文書ファイル等に対してマウス等の入力装置を介した書き込みを行うと、書き込みが行われた文書ファイル等を会議参加者間で共有させる機能を備えていた(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−140277号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の会議システムにおいては、例えば、作業手順等を説明するための動画等を会議参加者間で共有させ、会議参加者が動画に対して書き込み等のイベントを実行した場合、動画に対するイベントを会議参加者間で共有させることはできなかった。つまり、時間軸に対し動的に情報が変化する動画等の素材に対し、時間軸の変化に応じ同期した手書き情報等アノテーションが付与されていなかった。アノテーション自体に時間軸の概念を持たせていないため、伝達できる情報に限界があった。
したがって、会議システムを用いた情報の共有等に限界があった。
【0005】
本発明はこのような問題点に鑑みなされたもので、動画等、時間軸に対して動的に変化するものに対する会議参加者によるイベントを会議参加者間で共有可能とすることを目的とする。
【課題を解決するための手段】
【0006】
そこで、本発明は、複数のクライアント端末装置と、イベント情報配信サーバ装置と、を含む会議システムであって、前記クライアント端末装置は、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、前記イベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報を前記イベント情報配信サーバ装置に送信するイベント情報送信手段と、前記イベント情報配信サーバ装置より配信されたイベント情報を受信するイベント情報受信手段と、前記イベント情報受信手段で受信されたイベント情報に含まれる端末識別情報に基づいて、前記イベント情報の送信者が自装置でないと判定された場合、前記イベント情報に含まれるイベント実行情報に基づいて、イベントを実行する実行手段と、を有し、前記イベント情報配信サーバ装置は、クライアント端末装置より前記イベント情報を受信する受信手段と、前記受信手段で前記イベント情報が前記クライアント端末装置より受信された場合、同じ会議に参加している前記複数のクライアント端末装置に対して前記イベント情報を配信する配信手段と、を有する。
【0007】
また、本発明のクライアント端末装置は、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、前記イベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報をイベント情報配信サーバ装置に送信するイベント情報送信手段と、前記イベント情報配信サーバ装置より配信されたイベント情報を受信するイベント情報受信手段と、前記イベント情報受信手段で受信されたイベント情報に含まれる端末識別情報に基づいて、前記イベント情報の送信者が自装置でないと判定された場合、前記イベント情報に含まれるイベント実行情報に基づいて、イベントを実行する実行手段と、を有する。
【0008】
また、本発明のイベント情報配信サーバ装置は、クライアント端末装置より、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報を受信する受信手段と、前記受信手段で前記イベント情報が前記クライアント端末装置より受信された場合、同じ会議に参加している前記複数のクライアント端末装置に対して前記イベント情報を配信する配信手段と、を有する。
【発明の効果】
【0009】
本発明によれば、動画等、時間軸に対して動的に変化するものに対する会議参加者によるイベントを会議参加者間で共有可能とすることができる。
【図面の簡単な説明】
【0010】
【図1】会議システムのシステム構成の一例を示す図である。
【図2】コマンド格納サーバ装置、イベント通知サーバ装置、動画格納サーバ装置等のサーバ装置のハードウェア構成の一例を示す図である。
【図3】クライアント端末装置のハードウェア構成の一例を示す図である。
【図4】会議中の画面の一例を示す図である。
【図5】コマンド格納サーバ装置の機能構成の一例を示す図である。
【図6】イベント通知サーバ装置の機能構成の一例を示す図である。
【図7】動画格納サーバ装置の機能構成の一例を示す図である。
【図8】クライアント端末装置の機能構成の一例を示す図である。
【図9】会議システムにおける会議に係る処理の一例を示すシーケンス図である。
【図10】コマンド生成、登録処理の一例を示すフローチャートである。
【図11】コマンド登録処理の一例を示すフローチャートである。
【図12】ストロークの一例を示す図である。
【図13】検索画面の一例を示す図である。
【図14】会議システムにおける検索に係る処理の一例を示すシーケンス図である。
【図15】イベント通知サーバ装置の機能構成の一例を示す図である。
【図16】クライアント端末装置の機能構成の一例を示す図である。
【図17】会議システムにおける会議に係る処理の一例を示すシーケンス図である。
【図18】コマンド格納サーバ装置の機能構成の一例を示す図である。
【図19】コマンド格納サーバ装置の機能構成の一例を示す図である。
【図20】コマンド格納サーバ装置の機能構成の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について図面に基づいて説明する。
(概要)
以下に示す会議システムでは、会議の参加者は、各クライアント端末装置に接続されている一般的なWebカメラとマイク(ヘッドセット)を使用して、会議に参加する。そして、会議システムは、各クライアント端末装置上の画面において、リアルタイムに映像を配信、共有させる機能を有する。また、会議システムは、会議の参加者の一人がクライアント端末装置上の画面に表示されている映像に「手書き」等のイベントを行った場合、このイベントを検知し、「手書き」等のイベントを表すイベント情報を会議に参加している各クライアント端末上に配信する機能を有する。このような機能を有することによって、会議の参加者は、他の参加者に対して、言葉で伝えづらいことも効果的に伝えることができる。また、会議システムは、イベント情報に対して時間情報等を付加したコマンドを生成し、動画とは別にこのコマンドを動画と関連付けて自動的に保存する。このようにすることによって、クライアント端末装置を利用するユーザ等は、会議終了後にコマンド等を検索対象として関連する動画を検索したり、動画と共に動画に関連するコマンド(イベント情報)を会議実施時と同じ時間間隔で再現したりすることができる。
<実施形態1>
(システム構成図)
図1は、会議システムのシステム構成の一例を示す図である。図1に示されるように、会議システムは、複数のクライアント端末装置1(図1の例では、クライアント端末装置11〜クライアント端末装置13)と、コマンド格納サーバ装置3と、イベント通知サーバ装置4、動画格納サーバ装置5と、がネットワーク6を介して接続されている。
【0012】
(サーバ装置のハードウェア構成)
図2は、コマンド格納サーバ装置、イベント通知サーバ装置、動画格納サーバ装置等のサーバ装置のハードウェア構成の一例を示す図である。図2に示されるように、サーバ装置は、ハードウェア構成として、CPU11と、記憶装置12と、ネットワーク装置13と、を含む。CPU11は、サーバ装置の全体の制御を司り、記憶装置12等に記憶されたプログラムに基づき処理を実行することによって、サーバ装置の機能等を実現する。記憶装置12は、プログラムやCPU11がプログラムに基づき処理を実行する際に必要なデータ等を記憶する。ネットワーク装置13は、サーバ装置をネットワーク6等に接続するための装置である。
【0013】
(クライアント端末装置のハードウェア構成)
図3は、クライアント端末装置のハードウェア構成の一例を示す図である。図3に示されるように、クライアント端末装置1は、ハードウェア構成として、CPU21と、記憶装置22と、入力装置23と、表示装置24と、ネットワーク装置25と、を含む。
CPU21は、クライアント端末装置1の全体の制御を司り、記憶装置22等に記憶されたプログラムに基づき処理を実行することによって、クライアント端末装置1の機能等を実現する。記憶装置22は、プログラムやCPU21がプログラムに基づき処理を実行する際に必要なデータ等を記憶する。入力装置23は、例えば、キーボードやマウス等であって、ユーザ操作に応じて、情報を入力する。表示装置24は、例えば、ディスプレイ等であって、会議システムの画面等を出力する。ネットワーク装置25は、クライアント端末装置1をネットワーク6等に接続するための装置である。
なお、図3には示していないが、上述したように、クライアント端末装置1には、Webカメラとマイク(ヘッドセット)が外付けされているものとする。
【0014】
(会議中の画面例)
図4は、会議中の画面の一例を示す図である。なお、図4では、ユーザ2とユーザ4とが会議に参加しており、以前撮影しておいた動画をリアルタイムで共有しながら、ユーザ2が入力装置23等を用いて、画面に表示されている映像の上に手書き(30、31、32等)を行っている一例を示している。なお、画面上において参加ユーザ表示領域36には、会議に参加しているユーザの情報が示されており、この会議にはユーザ2とユーザ4とが参加していることが示されている。なお、各ユーザは、例えば色で識別可能に表示されている。また、チャット情報表示領域35には、会議参加者によるチャットの情報が表示されている。スライダー37は、時間軸をコントロールするスライダーである。
【0015】
(コマンド格納サーバ装置の機能構成)
図5は、コマンド格納サーバ装置の機能構成の一例を示す図である。図5に示されるように、コマンド格納サーバ装置3は、機能構成として、コマンド制御部40を有する。コマンド制御部40は、クライアント端末装置1より送信されたコマンドを受信し、コマンド格納サーバ装置3の記憶装置等に記憶する。また、コマンド制御部40は、クライアント端末装置1より検索要求を受信すると、検索要求に含まれる検索条件等に基づき記憶装置を検索し、検索結果として取得したコマンドを含む検索応答を要求元のクライアント端末装置1に送信する。
【0016】
(イベント通知サーバ装置の機能構成)
図6は、イベント通知サーバ装置の機能構成の一例を示す図である。図6に示されるように、イベント通知サーバ装置4は、機能構成として、イベント通知制御部50を有する。
ここで、会議を開始するユーザは、クライアント端末装置1の入力装置23等を操作し、会議の名称、会議の参加者のユーザを識別するユーザID等を、登録画面を介して入力する。会議システムにおいて、画面を介してこれらの情報を入力したユーザがオーナーとなる。オーナーのクライアント端末装置1は、前記画面を介して入力された情報と、これらの情報を入力したクライアント端末装置1を識別する識別情報(オーナー情報)と、を含む会議情報をイベント通知サーバ4に送信する。イベント通知サーバ装置4は、クライアント端末装置1より会議情報を受信すると、会議情報毎に会議IDを付加し、イベント通知サーバ装置4の記憶装置等に記憶する。
イベント通知制御部50は、クライアント端末装置1からイベント情報を受信すると、イベント情報に含まれる会議IDに基づき、記憶装置に記憶されている会議情報より、該当する会議に参加している会議参加者のクライアント端末装置1の識別情報を取得し、各クライアント端末装置1にイベント情報を配信する。
【0017】
(動画格納サーバ装置の機能構成)
図7は、動画格納サーバ装置の機能構成の一例を示す図である。図7に示されるように、動画格納サーバ装置5は、機能構成として、動画制御部60を有する。動画制御部60は、クライアント端末装置1より送信された動画を受信し、動画格納サーバ装置5の記憶装置等に記憶する。また、動画制御部60は、クライアント端末装置1より動画を識別する動画ID等を含む動画取得要求を受信すると、前記動画IDに基づき記憶装置を検索し、検索結果として取得した動画を含む動画取得応答を要求元のクライアント端末装置1に送信する。
【0018】
(クライアント端末装置の機能構成)
図8は、クライアント端末装置の機能構成の一例を示す図である。図8に示されるように、クライアント端末装置1は、機能構成として、会議登録部70と、会議実行制御部71と、会議検索部72と、コマンド登録実行部73と、を含む。
会議登録部70は、オーナーとなるユーザが、入力装置23等を操作し、登録画面等を介して入力した、会議の名称、会議の参加者のユーザを識別するユーザID等を受け取り、入力する。会議登録部70は、入力した会議の名称、会議の参加者のユーザを識別するユーザID等と、これらの情報を入力したクライアント端末装置1を識別する識別情報(オーナー情報)と、会議を識別する会議IDと、を含む会議情報をイベント通知サーバ4に送信する。
会議実行制御部71は、会議実行中にWebカメラやマイク等から入力された情報を、各クライアント端末装置1の間で共有させる制御や、図4に示したような画面の制御、イベント情報の生成や送信、イベントの実行等を制御する。会議実行制御部71の処理の詳細は、後述する図9等を用いて説明する。
会議検索部72は、後述する図13等の検索画面を制御し、検索画面を介した入力に基づき、検索要求を送信したり、検索要求に対応する検索応答を受信したり、検索結果を検索画面に表示したりする。
コマンド登録実行部73は、コマンド登録処理等を実行する。コマンド登録実行部73の処理の詳細は、後述する図9〜図11等を用いて説明する。
【0019】
(会議システムにおける会議に係るシーケンス図)
図9は、会議システムにおける会議に係る処理の一例を示すシーケンス図である。なお、図9の例では、既にユーザ1がクライアント端末装置11を操作し、ユーザ2がクライアント端末装置12を操作し、ユーザ3がクライアント端末装置13を操作して、会議システムにそれぞれログインし、動画を再生して会議を進めているものとする。なお、図9の例では、ユーザ1が会議のオーナーとなっているものとする。
SQ1において、動画格納サーバ装置5は、会議に参加している各クライアント端末装置1に対して動画を提供している。
SQ2において、クライアント端末装置13の会議実行制御部71は、ユーザ3の入力装置23等を介した動画へのイベントを検知し、イベントに応じてイベント情報を生成する。ここで、動画へのイベントとしては、例えば、図4に示したような動画への手書き入力や、動画のロード(動画を選択して共有化する操作)、図4のスライダー37の操作(動画のシーク)、等がある。イベントが手書き入力で、かつ、ストロークの開始の場合、会議実行制御部71は、「ストローク、開始、ストロークを識別するストロークID、ストロークの開始の(x、y)座標、ペンの色、ペンの太さ、イベントが実行されたクライアント端末装置1を識別するID」をイベント情報として生成する。また、イベントが動画のシークであった場合、会議実行制御部71は、「動画、シーク、動画を識別する動画ID、何秒の位置にシークしたかを示すシーク時間情報、イベントが実行されたクライアント端末装置1を識別するID」をイベント情報として生成する。つまり、イベント情報とは、会議に参加している他の参加者のクライアント端末装置1においても、イベントを再現することを可能にするための情報である。
【0020】
SQ3において、クライアント端末装置13の会議実行制御部71は、生成したイベント情報をイベント通知サーバ装置4に送信する。また、SQ4において、クライアント端末装置13の会議実行制御部71は、検知したイベントに応じた処理を実行する。例えば、イベントが動画への手書き入力であった場合、動画に手書きのストロークを描画する。なお、SQ3とSQ4との処理の順序は問わない。また、SQ3とSQ4とは同時に実行されてもよい。
イベント通知サーバ装置4のイベント通知制御部50は、クライアント端末装置13よりイベント情報を受信すると、SQ5において、会議情報毎に付加された会議IDに基づき、同じ会議に参加している各クライアント端末装置1(図9の例では、クライアント端末装置11、クライアント端末装置12、クライアント端末装置13)にイベント情報を配信する。
SQ6において、クライアント端末装置11の会議実行制御部71は、対応するユーザが該当する会議のオーナーであるか否かを判定する。同様に、SQ7において、クライアント端末装置12の会議実行制御部71は、対応するユーザが該当する会議のオーナーであるか否かを判定する。同様に、SQ8において、クライアント端末装置13の会議実行制御部71は、対応するユーザが該当する会議のオーナーであるか否かを判定する。
図9の例では、クライアント端末装置11のユーザであるユーザ1がオーナーであるため、クライアント端末装置11の会議実行制御部71は、対応するユーザが会議のオーナーであると判定する。すると、SQ9において、クライアント端末装置11のコマンド登録実行部73は、イベント情報に基づき、コマンドを生成し、生成したコマンドを登録する処理を実行する。コマンドの生成、登録処理の詳細は、後述する図10及び図11を用いて説明する。
SQ10において、クライアント端末装置11のコマンド登録実行部73は、生成されたコマンドをコマンド格納サーバ装置3に送信する。コマンド格納サーバ装置3のコマンド制御部40は、クライアント端末装置1よりコマンドを受信すると、SQ11において、コマンドをコマンド格納サーバ装置3の記憶装置に記憶する。
【0021】
SQ12において、クライアント端末装置11の会議実行制御部71は、受信したイベント情報に含まれるイベントが実行されたクライアント端末装置1を識別するIDに基づいて、イベント情報を自装置がイベント通知サーバ装置4に送信したか否かを判定する。同様に、SQ13において、クライアント端末装置12の会議実行制御部71は、受信したイベント情報に含まれるイベントが実行されたクライアント端末装置1を識別するIDに基づいて、イベント情報を自装置がイベント通知サーバ装置4に送信したか否かを判定する。同様に、SQ14において、クライアント端末装置13の会議実行制御部71は、受信したイベント情報に含まれるイベントが実行されたクライアント端末装置1を識別するIDに基づいて、イベント情報を自装置がイベント通知サーバ装置4に送信したか否かを判定する。
図9の例では、イベント情報をイベント通知サーバ装置4に送信したのはクライアント端末装置11ではないため、SQ15において、クライアント端末装置11の会議実行制御部71は、イベント情報に基づき、イベントに応じた処理を実行する。例えば、イベントが動画への手書き入力であった場合、クライアント端末装置11の表示装置24に表示されている動画に手書きのストロークを描画する。また、同様に、図9の例では、イベント情報をイベント通知サーバ装置4に送信したのはクライアント端末装置12ではないため、SQ16において、クライアント端末装置12の会議実行制御部71は、イベント情報に基づき、イベントに応じた処理を実行する。例えば、イベントが動画への手書き入力であった場合、クライアント端末装置12の表示装置24に表示されている動画に手書きのストロークを描画する。
【0022】
(コマンド生成、登録処理)
図10は、コマンド生成、登録処理の一例を示すフローチャートである。
S10において、コマンド登録実行部73は、イベント情報に、タイムスタンプ(イベントが発生した時間情報(オーナーのクライアント端末装置1の時計に基づく時間情報)))と、会議を識別する会議IDと、を付加してコマンドを生成する。
S11において、コマンド登録実行部73は、生成したコマンドを、コマンド格納サーバ装置3に送信(登録)する処理を実行する。S11の処理の詳細は、後述する図11を用いて説明する。
【0023】
(コマンド登録処理)
図11は、コマンド登録処理の一例を示すフローチャートである。
S20において、コマンド登録実行部73は、コマンドがストローク系のコマンドか否かを判定する。ここでストロークとは、手書きの線のことであり、ストロークは点の集合からなる。会議実行制御部71は、図12に示されるように、n個目の点をn−1個目の点と結び、線形補完する。但し、会議実行制御部71は、1個目の点は"開始点"としてどの点とも線分を結ばない。図12は、ストロークの一例を示す図である。なお、会議実行制御部71は、補完として処理が単純で済むため線形補完を行うようにしたが、他の方法(処理)で補完を行うようにしてもよい。
ユーザが例えば入力装置23の左ボタンをクリックすると、会議実行制御部71によって、イベントとしてストロークの開始(ストローク開始イベント80)が検知される。入力装置23が移動するたびに、会議実行制御部71は、各瞬間の入力装置23に係る動画上のポインタ等の座標を取得し、線分で結ぶことでストロークを構成する。このときのイベントは、ストローク移動イベント81〜85となる。ユーザが入力装置23の左ボタンを離すと、会議実行制御部71によって、イベントとしてストロークの終了(ストローク終了イベント86)が検知される。各イベントにタイムスタンプ等の時間情報が付加されたものがコマンド(ストローク開始コマンド、ストローク移動コマンド、ストローク終了コマンド)となる。
【0024】
コマンド登録実行部73は、コマンドが、上述したようなストローク系コマンドである場合、S21に処理を進め、ストローク系コマンドでない場合、S28に処理を進める。
S21において、コマンド登録実行部73は、コマンドがストローク開始コマンドであるか否かを判定する。コマンド登録実行部73は、コマンドが、ストローク開始コマンドである場合、S22に処理を進め、ストローク開始コマンドでない場合、S24に処理を進める。
S22において、コマンド登録実行部73は、コマンド列保存用の配列を準備する。S23において、コマンド登録実行部73は、準備した配列の先頭にコマンド(ストローク開始コマンド)を保存する。
S24において、コマンド登録実行部73は、コマンドがストローク移動コマンドか否かを判定する。コマンド登録実行部73は、コマンドが、ストローク移動コマンドである場合、S25に処理を進め、ストローク移動コマンドでない場合、S26に処理を進める。S25において、コマンド登録実行部73は、準備した配列の末尾にコマンド(ストローク移動コマンド)を追加する。
【0025】
S26において、コマンド登録実行部73は、コマンドがストローク終了コマンドか否かを判定する。コマンド登録実行部73は、コマンドが、ストローク終了コマンドである場合、S27に処理を進め、ストローク終了コマンドでない場合(ストロークの消去である場合)、S28に処理を進める。S27において、コマンド登録実行部73は、準備した配列の末尾にコマンド(ストローク終了コマンド)を追加する。
S28において、コマンド登録実行部73は、コマンド(ストローク系コマンドの場合は、配列に保存してあるコマンドの列)をコマンド格納サーバ装置3に送信する。
このようにストローク系コマンドを別扱いとしているのは、コマンド格納サーバ装置3へのコマンドの送信(コマンドの保存リクエスト)の回数を減らすためである。ストローク系イベントはマウス等の入力装置23が移動するたびに発生するため、その都度コマンドの保存リクエストを送信すると、膨大な数の保存リクエストを送信することになってしまう。したがって、コマンド登録実行部73が図11のような処理を実行することによって、コマンドがストローク系コマンドである場合は、「一本のストローク」の単位で保存リクエストをコマンド格納サーバ装置3に送信することでリクエスト回数を削減し、コマンド格納サーバ装置3の負荷を下げることができる。
【0026】
(検索の画面例)
図13は、検索画面の一例を示す図である。図13において、90は、キーワード入力欄である。91は、検索対象の会議の開催日範囲入力欄である。92は、検索ボタンである。93は、検索結果の一覧を表示する検索一覧表示欄である。94は、検索一覧表示欄93に表示されている検索結果の会議のうち、ユーザによって選択された会議に関する各コマンドのグラフ表示欄である。グラフ表示欄94に表示されているグラフは、図13に示されるように、会議が開始されてからの時間情報を横軸、コマンドに対応するイベント情報の量を縦軸としたコマンドに関するグラフである。なお、図13においては、イベント情報の一例として、素材と、参加者と、チャットと、ストロークが示されている。ここで、素材とは、例えば、動画である。また、参加者とは、会議の参加者である。チャットとは、チャット情報表示領域35に表示されているチャット情報である。ストロークとは、動画に手書き入力等されたストローク情報である。
例えば、ユーザは、グラフ表示欄94に表示されているストロークの時間経過に応じた量の増減等を視認し、該当する会議のどの時間帯に手書き入力が多く行われたのかを把握することができる。図13の例では、ユーザは、例えば、入力装置23等を操作して、グラフ表示欄94上の会議が開始されてから75秒後付近をクリック等することによって、該当する会議の75秒後付近、つまり最も手書き入力が行われている付近の会議(会議の動画等)を再現させることができる。
【0027】
(会議システムにおける検索に係るシーケンス図)
図14は、会議システムにおける検索に係る処理の一例を示すシーケンス図である。なお、会議実行制御部71は、例えば、動画再生中にユーザが設定したキーワードを会議ID(又は会議ID及び動画ID)と関連付けてコマンド格納サーバ装置3に送信する機能を有する。コマンド格納サーバ装置3のコマンド制御部40は、クライアント端末装置1より会議IDと関連付けられたキーワードを受信すると、キーワードを会議ID(又は会議ID及び動画ID)と関連付けて記憶装置等に記憶する。また、会議実行制御部71は、会議中に動画が再生等された場合、再生された動画に関して所定間隔毎(又は所定のユーザ操作に応じたタイミング毎)に静止画を記憶し、会議が終了した時点等に、動画再生の時系列に沿った一連の静止画(動画が開始されてから何秒後の静止画かを示す時間情報を有する静止画)を会議IDと関連付けてコマンド格納サーバ装置3に送信する機能を有する。
ユーザがクライアント端末装置1の入力装置23等を用いて、所定の操作を行うと、SQ20において、クライアント端末装置1の会議検索部72は、検索画面を表示装置24等に表示させる。SQ21において、会議検索部72は、検索画面を介して入力されたキーワードや開催日範囲等の検索条件を入力する。SQ22において、会議検索部72は、検索条件を含む検索要求をコマンド格納サーバ装置3に送信する。
【0028】
検索要求を受信すると、SQ23において、コマンド格納サーバ装置3のコマンド制御部40は、検索要求に含まれる検索条件に基づき、検索を実行する。コマンド制御部40は、検索の結果、該当する会議の会議IDを特定すると、この会議IDと関連付けられているコマンドや一連の静止画を取得し、これらを検索結果として、検索応答に含め、SQ24において、検索要求を送信してきたクライアント端末装置1に送信する。
検索応答を受信すると、SQ25において、クライアント端末装置1の会議検索部72は、検索応答に含まれるコマンドや一連の静止画に基づき、図13に示されるように、検索一覧表示欄93に会議毎の一連の静止画を表示したり、検索一覧表示欄93において一の会議が選択されると、この会議に関するコマンドに基づき、グラフ表示欄94にグラフを表示したりする。グラフ表示欄94に表示されているグラフは、図13に示されるように、時間情報を横軸、コマンドに対応するイベント情報の量を縦軸としたコマンドに関するグラフである。上述したように、例えば、ユーザは、グラフ表示欄94に表示されているストロークの、会議が開始されてから時間経過に応じた量の増減等を視認し、該当する会議のどの時間帯に手書き入力が多く行われたのかを容易に把握することができる。また、ユーザが、グラフ表示欄94に表示されているグラフの手書き入力が多く行われた思われる箇所を選択することによって、会議システムは、手書きが多く行われた時点の会議、又は動画等を再現することができる。
図13のグラフ表示欄94のストロークの量とは、イベント情報の量であり、会議検索部72は、コマンド(ストローク系コマンド)に基づき、ストロークの点の数を換算することによって算出する。また、チャットの量とは、イベント情報の量であり、会議検索部72は、コマンド(チャットに関するチャット系コマンド)に基づき、会議参加者のチャットにおける発言の回数、又は会議参加者によるチャットにおける文字数より算出する。また、参加者の量とは、イベント情報の量であり、会議検索部72は、コマンド(参加者に関する参加者系コマンド)に基づき、会議の参加者数より算出する。
また、SQ26において、会議検索部72は、検索一覧表示欄93に表示されている会議毎の一連の静止画の一つ、又はグラフ表示欄94に表示されているイベント情報の一つの選択を検知する。すると、SQ27において、会議検索部72は、該当する動画の動画IDを含む動画要求を動画格納サーバ装置5に送信する。
【0029】
動画要求を受信すると、SQ28において、動画格納サーバ装置5の動画制御部60は、動画要求に含まれる動画IDに基づき、動画を取得する。そして、SQ29において、動画制御部60は、取得した動画を含む動画応答を、動画要求を送信してきたクライアント端末装置1に送信する。
動画応答を受信すると、SQ30において、クライアント端末装置1の会議検索部72は、選択された静止画の時間情報、又は選択されたイベント情報の時間情報から、受信した動画応答に含まれる動画を再生する。
【0030】
(実施形態1における会議システムの作用等)
以上、上述したように、本実施形態の会議システムによれば、クライアント端末装置1は、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対する、例えば、ストローク系イベントが検知された場合、「ストローク、開始」等のイベントを識別するイベント識別情報と、「動画を識別する動画ID、ストロークの開始の(x、y)座標、ペンの色、ペンの太さ」等の前記イベントを再現するためのイベント実行情報と、イベントが実行されたクライアント端末装置1を識別するID等のイベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報をイベント通知サーバ装置4に送信する。イベント通知サーバ装置4は、イベント情報を受信すると、同じ会議に参加している複数のクライアント端末装置1に対して前記イベント情報を配信する。同じ会議に参加しているクライアント端末装置1は、イベント情報を受信すると、イベント情報に含まれるイベントが実行されたクライアント端末装置1を識別するIDに基づいて、自装置がイベント情報をイベント通知サーバ装置4に送信したクライアント端末装置1か否かを判定する。
自装置がイベント情報をイベント通知サーバ装置4に送信したクライアント端末装置1の場合、クライアント端末装置1は、既にイベント情報に基づいたイベント実行処理を行っているためイベント実行処理は行わない。一方、自装置がイベント情報をイベント通知サーバ装置4に送信したクライアント端末装置1でない場合、クライアント端末装置1は、受信したイベント情報に基づきイベント実行処理を実行する。つまり、クライアント端末装置1は、例えば、動画にストロークを描画する処理等を実行する。
このようにすることによって、動画等、時間軸に対して動的に変化するものに対する会議参加者によるイベントを会議参加者間で共有可能とすることができる。
【0031】
また、上述したように、本実施形態の会議システムによれば、クライアント端末装置1は、自装置のユーザが会議のオーナーである場合、タイムスタンプと、会議IDと、を付加することでイベント情報からコマンドを生成し、生成したコマンドをコマンド格納サーバ装置3に送信する。コマンド格納サーバ装置3は、クライアント端末装置1よりコマンドを受信すると、コマンドに含まれる会議IDに基づいて、会議毎に関連付けてコマンドをコマンド格納サーバ装置3の記憶装置等に記憶する。
このように、会議中に発生するイベント情報に対してタイムスタンプや会議ID等を付加したコマンドを動画等と独立して保存、管理することによって、例えば、会議IDやタイムスタンプ等を検索条件として、コマンドを検索対象とすることができる。
【0032】
また、上述したように、本実施形態の会議システムによれば、クライアント端末装置1は、コマンドがストローク系コマンドであるか否かを判定し、コマンドがストローク系コマンドであると判定した場合、同一のストロークに関するコマンド列、つまり一本のストロークの単位でコマンド格納サーバ装置3に送信し、コマンドがストローク系コマンドでないと判定した場合、各コマンドをコマンド格納サーバ装置3に送信する。
このようにすることによって、コマンド格納サーバ装置3に対するコマンドの送信回数を削減し、コマンド格納サーバ装置3の負荷を低下させることができる。
【0033】
また、上述したように、本実施形態の会議システムによれば、クライアント端末装置1は、入力された検索条件を含む検索要求をコマンド格納サーバ装置3に送信する。コマンド格納サーバ装置3は、前記検索要求を受信し、検索要求に含まれる検索条件に基づいて、記憶装置に記憶されている会議毎に関連付けて記憶されているコマンドを検索し、該当する会議のコマンド等を検索結果として取得する。そして、コマンド格納サーバ装置3は、前記検索結果を含む検索応答を、検索要求を送信してきた要求元のクライアント端末装置1に送信する。クライアント端末装置1は、検索応答を受信すると、検索応答の検索結果に含まれる該当する会議のコマンドに基づいて、時間情報を横軸、イベント情報の量を縦軸とした図13に示されるようなコマンドに関するグラフを生成して表示する。
このようにすることによって、ユーザは、グラフにおけるストロークの時間経過に応じた量の増減等を視認し、該当する会議のどの時間帯に手書き入力が多く行われたのかを把握することができるので、文字情報によるものだけでなく、文字以外の情報による、コマンド情報を用いた会議の検索や分析が可能になる。更に、ユーザは、例えば、最も手書き入力が行われている付近の動画等を再現させることができる。
【0034】
<実施形態2>
上述した実施形態1では、図8等に示したように、クライアント端末装置1がコマンド登録実行部73を有していた。しかしながら、コマンド登録実行部73をイベント通知サーバ装置4が有するようにしてもよい。本実施形態では、このような構成の場合の処理を説明する。なお、本実施形態では、上述した実施形態1と異なる点について説明を行い、同一の点については説明を省略する。
(イベント通知サーバ装置の機能構成)
図15は、イベント通知サーバ装置の機能構成の一例を示す図である。図15に示されるように、イベント通知サーバ装置4は、機能構成として、イベント通知制御部50と、コマンド登録実行部73と、を有する。
コマンド登録実行部73が、イベント通知サーバ装置4の機能構成として含まれている点が実施形態1と異なる。
(クライアント端末装置の機能構成)
図16は、クライアント端末装置の機能構成の一例を示す図である。図16に示されるように、クライアント端末装置1は、機能構成として、会議登録部70と、会議実行制御部71と、会議検索部72と、を有する。
コマンド登録実行部73が、クライアント端末装置1の機能構成として含まれていない点が実施形態1と異なる。
【0035】
(会議システムにおける会議に係るシーケンス図)
図17は、会議システムにおける会議に係る処理の一例を示すシーケンス図である。なお、図17の例では、既にユーザ1がクライアント端末装置11を操作し、ユーザ2がクライアント端末装置12を操作し、ユーザ3がクライアント端末装置13を操作して、会議システムにそれぞれログインし、動画を再生して会議を進めているものとする。
SQ30において、動画格納サーバ装置5は、会議に参加している各クライアント端末装置1に対して動画を提供している。
SQ31において、クライアント端末装置13の会議実行制御部71は、ユーザ3の入力装置23等を介した動画へのイベントを検知し、イベントに応じてイベント情報を生成する。ここで、動画へのイベントとしては、例えば、図4に示したような動画への手書き入力や、動画のロード(動画を選択して共有化する操作)、図4のスライダー37の操作(動画のシーク)、等がある。イベントが手書き入力で、かつ、ストロークの開始の場合、会議実行制御部71は、「ストローク、開始、動画を識別する動画ID、ストロークの開始の(x、y)座標、ペンの色、ペンの太さ、イベントが実行されたクライアント端末装置1を識別するID」をイベント情報として生成する。また、イベントが動画のシークであった場合、会議実行制御部71は、「動画、シーク、動画を識別する動画ID、何秒の位置にシークしたかを示すシーク時間情報、イベントが実行されたクライアント端末装置1を識別するID」をイベント情報として生成する。つまり、イベント情報とは、会議に参加している他の参加者のクライアント端末装置1においても、イベントを再現することを可能にするための情報である。
【0036】
SQ32において、クライアント端末装置13の会議実行制御部71は、生成したイベント情報をイベント通知サーバ装置4に送信する。また、SQ33において、クライアント端末装置13の会議実行制御部71は、検知したイベントに応じた処理を実行する。例えば、イベントが動画への手書き入力であった場合、動画に手書きのストロークを描画する。なお、SQ32とSQ33との処理の順序は問わない。また、SQ32とSQ33とは同時に実行されてもよい。
イベント通知サーバ装置4のイベント通知制御部50は、クライアント端末装置13よりイベント情報を受信すると、SQ34において、会議情報に基づき、同じ会議に参加している各クライアント端末装置1(図9の例では、クライアント端末装置11、クライアント端末装置12、クライアント端末装置13)にイベント情報を配信する。
SQ35において、イベント通知サーバ装置4のコマンド登録実行部73は、受信したイベント情報に基づき、コマンド生成し、生成したコマンドを登録する処理を実行する。コマンドの生成、登録処理の詳細は、上述した図10及び図11と同様である。なお、イベント通知サーバ装置4のコマンド登録実行部73がイベント情報に付加するタイムスタンプは、イベントが発生した(イベントを受信した)時間情報であり、イベント通知サーバ装置4の時計に基づく時間情報である。
SQ36において、イベント通知サーバ装置4のコマンド登録実行部73は、生成されたコマンドをコマンド格納サーバ装置3に送信する。コマンド格納サーバ装置3のコマンド制御部40は、イベント通知サーバ装置4よりコマンドを受信すると、SQ37において、コマンドをコマンド格納サーバ装置3の記憶装置に記憶する。
【0037】
一方、SQ38において、クライアント端末装置11の会議実行制御部71は、受信したイベント情報に含まれるイベントが実行されたクライアント端末装置1を識別するIDに基づいて、イベント情報をイベント通知サーバ装置4に送信したか否かを判定する。同様に、SQ39において、クライアント端末装置12の会議実行制御部71は、受信したイベント情報に含まれるイベントが実行されたクライアント端末装置1を識別するIDに基づいて、イベント情報をイベント通知サーバ装置4に送信したか否かを判定する。同様に、SQ40において、クライアント端末装置13の会議実行制御部71は、受信したイベント情報に含まれるイベントが実行されたクライアント端末装置1を識別するIDに基づいて、イベント情報をイベント通知サーバ装置4に送信したか否かを判定する。
図17の例では、イベント情報をイベント通知サーバ装置4に送信したのはクライアント端末装置11ではないため、SQ41において、クライアント端末装置11の会議実行制御部71は、イベント情報に基づき、イベントに応じた処理を実行する。例えば、イベントが動画への手書き入力であった場合、クライアント端末装置11の表示装置24に表示されている動画に手書きのストロークを描画する。また、同様に、図9の例では、イベント情報をイベント通知サーバ装置4に送信したのはクライアント端末装置12ではないため、SQ42において、クライアント端末装置12の会議実行制御部71は、イベント情報に基づき、イベントに応じた処理を実行する。例えば、イベントが動画への手書き入力であった場合、クライアント端末装置12の表示装置24に表示されている動画に手書きのストロークを描画する。
【0038】
上述したように、本実施形態の会議システムによれば、イベント通知サーバ装置4は、イベント情報に対してタイムスタンプと、会議IDと、を付加することでイベント情報からコマンドを生成し、生成したコマンドをコマンド格納サーバ装置3に送信する。コマンド格納サーバ装置3は、クライアント端末装置1よりコマンドを受信すると、コマンドに含まれる会議IDに基づいて、会議毎に関連付けてコマンドをコマンド格納サーバ装置3の記憶装置等に記憶する。
このように、会議中に発生するイベント情報に対してタイムスタンプや会議ID等を付加したコマンドを動画等と独立して保存、管理することによって、例えば、会議IDやタイムスタンプ等を検索条件として、コマンドを検索対象とすることができる。
【0039】
<その他の実施形態>
以下、上述した実施形態と異なる実施形態について、その他の実施形態として、図18〜図20を用いて説明する。
図18は、コマンド格納サーバ装置の機能構成の一例を示す図である。図18に示されるように、コマンド格納サーバ装置3は、機能構成として、文字認識部41を更に含んでもよい。文字認識部41は、コマンド制御部40がクライアント端末装置1又はイベント通知サーバ装置4からコマンドとしてストローク系コマンドのコマンド列を連続して複数、受信した場合、コマンド制御部40より複数のコマンド列を受け取り、文字認識を行い、文字認識の結果をコマンドに含まれる会議IDと関連付けて記憶装置等に記憶する。なお、本実施形態において、文字認識の技術は特に問わない。
このような構成とすることによって、例えば、動画に書き込んだ手書き入力の文字等を検索対象とすることができる。
【0040】
図19は、コマンド格納サーバ装置の機能構成の一例を示す図である。図19に示されるように、コマンド格納サーバ装置3は、機能構成として、映像認識部42を更に含んでもよい。映像認識部42は、クライアント端末装置1の会議実行制御部71等より会議IDと関連付けられた動画を受信した場合、映像認識を行い、映像認識の結果を会議IDと関連付けて記憶装置等に記憶する。なお、本実施形態において、映像認識の技術は特に問わない。
このような構成とすることによって、例えば、動画に含まれる映像等を検索対象とすることができる。
【0041】
図20は、コマンド格納サーバ装置の機能構成の一例を示す図である。図20に示されるように、コマンド格納サーバ装置3は、機能構成として、音声認識部43を更に含んでもよい。音声認識部43は、クライアント端末装置1の会議実行制御部71等より会議IDと関連付けられた音声を受信した場合、音声認識を行い、音声認識の結果を会議IDと関連付けて記憶装置等に記憶する。なお、本実施形態において、音声認識の技術は特に問わない。
このような構成とすることによって、例えば、会議中の音声等を検索対象とすることができる。
【0042】
以上、上述した各実施形態によれば、動画等、時間軸に対して動的に変化するものに対する会議参加者によるイベントを会議参加者間で共有可能とすることができる。また、上述した各実施形態によれば、イベントを後から再現する際に、会議実施時と同じ時間間隔で再実行し、またイベントの情報に基づいた会議の分析、検索を可能とすることができる。
【0043】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0044】
1 クライアント端末装置
3 コマンド格納サーバ装置
4 イベント通知サーバ装置
5 動画格納サーバ装置
【特許請求の範囲】
【請求項1】
複数のクライアント端末装置と、イベント情報配信サーバ装置と、を含む会議システムであって、
前記クライアント端末装置は、
同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、前記イベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報を前記イベント情報配信サーバ装置に送信するイベント情報送信手段と、
前記イベント情報配信サーバ装置より配信されたイベント情報を受信するイベント情報受信手段と、
前記イベント情報受信手段で受信されたイベント情報に含まれる端末識別情報に基づいて、前記イベント情報の送信者が自装置でないと判定された場合、前記イベント情報に含まれるイベント実行情報に基づいて、イベントを実行する実行手段と、
を有し、
前記イベント情報配信サーバ装置は、
クライアント端末装置より前記イベント情報を受信する受信手段と、
前記受信手段で前記イベント情報が前記クライアント端末装置より受信された場合、同じ会議に参加している前記複数のクライアント端末装置に対して前記イベント情報を配信する配信手段と、
を有する会議システム。
【請求項2】
前記会議システムは、コマンド格納サーバ装置を更に含み、
前記クライアント端末装置は、
前記イベント情報受信手段で受信されたイベント情報に対して、時間情報と、会議を識別する会議識別情報と、を付加することによってイベント情報からコマンドを生成するコマンド生成手段と、
前記コマンド生成手段で生成されたコマンドを前記コマンド格納サーバ装置に送信するコマンド送信手段と、
を有し、
前記コマンド格納サーバ装置は、
クライアント端末装置より前記コマンドを受信するコマンド受信手段と、
前記コマンド受信手段で受信されたコマンドを、前記コマンドに含まれる前記会議識別情報に基づいて、会議毎に関連付けて記憶装置に記憶する記憶手段と、
を有する請求項1記載の会議システム。
【請求項3】
前記クライアント端末装置は、
前記コマンド生成手段で生成されたコマンドが動画に対するストロークに関するコマンドであるか否かを判定する判定手段を更に有し、
前記コマンド送信手段は、前記判定手段でストロークに関するコマンドであると判定された場合、同一のストロークに関するコマンド列を前記コマンド格納サーバ装置に送信し、前記判定手段でストロークに関するコマンドでないと判定された場合、各コマンドを前記コマンド格納サーバ装置に送信する請求項2記載の会議システム。
【請求項4】
前記会議システムは、コマンド格納サーバ装置を更に含み、
前記イベント情報配信サーバ装置は、
前記受信手段で受信されたイベント情報に対して、時間情報と、会議を識別する会議識別情報と、を付加することによってイベント情報からコマンドを生成するコマンド生成手段と、
前記コマンド生成手段で生成されたコマンドを前記コマンド格納サーバ装置に送信するコマンド送信手段と、
を有し、
前記コマンド格納サーバ装置は、
前記イベント情報配信サーバ装置より前記コマンドを受信するコマンド受信手段と、
前記コマンド受信手段で受信されたコマンドを、前記コマンドに含まれる前記会議識別情報に基づいて、会議毎に関連付けて記憶装置に記憶する記憶手段と、
を有する請求項1記載の会議システム。
【請求項5】
前記イベント情報配信サーバ装置は、
前記コマンド生成手段で生成されたコマンドが動画に対するストロークに関するコマンドであるか否かを判定する判定手段を更に有し、
前記コマンド送信手段は、前記判定手段でストロークに関するコマンドであると判定された場合、同一のストロークに関するコマンド列を前記コマンド格納サーバ装置に送信し、前記判定手段でストロークに関するコマンドでないと判定された場合、各コマンドを前記コマンド格納サーバ装置に送信する請求項4記載の会議システム。
【請求項6】
前記クライアント端末装置は、
入力された検索条件を含む検索要求を前記コマンド格納サーバ装置に送信する検索要求送信手段と、
前記検索要求送信手段で送信した検索要求に含まれる検索条件で検索を実行した結果の検索結果を含む検索応答を前記コマンド格納サーバ装置より受信する検索応答受信手段と、
前記検索応答受信手段で受信された検索応答の検索結果に含まれる該当する会議のコマンドに基づいて、時間情報を一の軸、イベント情報の量を他の軸としたコマンドに関するグラフを生成して表示するグラフ表示手段と、
を有し、
前記コマンド格納サーバ装置は、
前記クライアント端末装置より前記検索要求を受信する検索要求受信手段と、
前記検索要求受信手段で受信された検索要求に含まれる検索条件に基づいて、前記記憶装置に記憶されている会議毎に関連付けて記憶されているコマンドを検索し、該当する会議のコマンドを検索結果として取得する検索手段と、
前記検索手段で取得された前記検索結果を含む検索応答を前記クライアント端末装置に送信する検索応答送信手段と、
を有する請求項2乃至5何れか1項記載の会議システム。
【請求項7】
同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、前記イベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報をイベント情報配信サーバ装置に送信するイベント情報送信手段と、
前記イベント情報配信サーバ装置より配信されたイベント情報を受信するイベント情報受信手段と、
前記イベント情報受信手段で受信されたイベント情報に含まれる端末識別情報に基づいて、前記イベント情報の送信者が自装置でないと判定された場合、前記イベント情報に含まれるイベント実行情報に基づいて、イベントを実行する実行手段と、
を有するクライアント端末装置。
【請求項8】
前記イベント情報受信手段で受信されたイベント情報に対して、時間情報と、会議を識別する会議識別情報と、を付加することによってイベント情報からコマンドを生成するコマンド生成手段と、
前記コマンド生成手段で生成されたコマンドをコマンド格納サーバ装置に送信するコマンド送信手段と、
を更に有する請求項7記載のクライアント端末装置。
【請求項9】
クライアント端末装置より、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報を受信する受信手段と、
前記受信手段で前記イベント情報が前記クライアント端末装置より受信された場合、同じ会議に参加している前記複数のクライアント端末装置に対して前記イベント情報を配信する配信手段と、
を有するイベント情報配信サーバ装置。
【請求項10】
前記受信手段で受信されたイベント情報に対して、時間情報と、会議を識別する会議識別情報と、を付加することによってイベント情報からコマンドを生成するコマンド生成手段と、
前記コマンド生成手段で生成されたコマンドをコマンド格納サーバ装置に送信するコマンド送信手段と、
を更に有する請求項9記載のイベント情報配信サーバ装置。
【請求項11】
複数のクライアント端末装置と、イベント情報配信サーバ装置と、を含む会議システムにおける情報処理方法であって、
前記クライアント端末装置が、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、前記イベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報を前記イベント情報配信サーバ装置に送信するイベント情報送信ステップと、
前記イベント情報配信サーバ装置が、クライアント端末装置より前記イベント情報を受信する受信ステップと、
前記イベント情報配信サーバ装置が、前記受信ステップで前記イベント情報が前記クライアント端末装置より受信された場合、同じ会議に参加している前記複数のクライアント端末装置に対して前記イベント情報を配信する配信ステップと、
前記クライアント端末装置が、前記イベント情報配信サーバ装置より配信されたイベント情報を受信するイベント情報受信ステップと、
前記クライアント端末装置が、前記イベント情報受信ステップで受信されたイベント情報に含まれる端末識別情報に基づいて、前記イベント情報の送信者が自装置でないと判定された場合、前記イベント情報に含まれるイベント実行情報に基づいて、イベントを実行する実行ステップと、
を含む情報処理方法。
【請求項12】
クライアント端末装置が実行する情報処理方法であって、
同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、前記イベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報をイベント情報配信サーバ装置に送信するイベント情報送信ステップと、
前記イベント情報配信サーバ装置より配信されたイベント情報を受信するイベント情報受信ステップと、
前記イベント情報受信ステップで受信されたイベント情報に含まれる端末識別情報に基づいて、前記イベント情報の送信者が自装置でないと判定された場合、前記イベント情報に含まれるイベント実行情報に基づいて、イベントを実行する実行ステップと、
を含む情報処理方法。
【請求項13】
イベント情報配信サーバ装置が実行する情報処理方法であって、
クライアント端末装置より、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報を受信する受信ステップと、
前記受信ステップで前記イベント情報が前記クライアント端末装置より受信された場合、同じ会議に参加している前記複数のクライアント端末装置に対して前記イベント情報を配信する配信ステップと、
を含む情報処理方法。
【請求項14】
コンピュータを、
同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、前記イベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報をイベント情報配信サーバ装置に送信するイベント情報送信手段と、
前記イベント情報配信サーバ装置より配信されたイベント情報を受信するイベント情報受信手段と、
前記イベント情報受信手段で受信されたイベント情報に含まれる端末識別情報に基づいて、前記イベント情報の送信者が自装置でないと判定された場合、前記イベント情報に含まれるイベント実行情報に基づいて、イベントを実行する実行手段と、
して機能させるプログラム。
【請求項15】
コンピュータを、
クライアント端末装置より、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報を受信する受信手段と、
前記受信手段で前記イベント情報が前記クライアント端末装置より受信された場合、同じ会議に参加している前記複数のクライアント端末装置に対して前記イベント情報を配信する配信手段と、
して機能させるプログラム。
【請求項1】
複数のクライアント端末装置と、イベント情報配信サーバ装置と、を含む会議システムであって、
前記クライアント端末装置は、
同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、前記イベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報を前記イベント情報配信サーバ装置に送信するイベント情報送信手段と、
前記イベント情報配信サーバ装置より配信されたイベント情報を受信するイベント情報受信手段と、
前記イベント情報受信手段で受信されたイベント情報に含まれる端末識別情報に基づいて、前記イベント情報の送信者が自装置でないと判定された場合、前記イベント情報に含まれるイベント実行情報に基づいて、イベントを実行する実行手段と、
を有し、
前記イベント情報配信サーバ装置は、
クライアント端末装置より前記イベント情報を受信する受信手段と、
前記受信手段で前記イベント情報が前記クライアント端末装置より受信された場合、同じ会議に参加している前記複数のクライアント端末装置に対して前記イベント情報を配信する配信手段と、
を有する会議システム。
【請求項2】
前記会議システムは、コマンド格納サーバ装置を更に含み、
前記クライアント端末装置は、
前記イベント情報受信手段で受信されたイベント情報に対して、時間情報と、会議を識別する会議識別情報と、を付加することによってイベント情報からコマンドを生成するコマンド生成手段と、
前記コマンド生成手段で生成されたコマンドを前記コマンド格納サーバ装置に送信するコマンド送信手段と、
を有し、
前記コマンド格納サーバ装置は、
クライアント端末装置より前記コマンドを受信するコマンド受信手段と、
前記コマンド受信手段で受信されたコマンドを、前記コマンドに含まれる前記会議識別情報に基づいて、会議毎に関連付けて記憶装置に記憶する記憶手段と、
を有する請求項1記載の会議システム。
【請求項3】
前記クライアント端末装置は、
前記コマンド生成手段で生成されたコマンドが動画に対するストロークに関するコマンドであるか否かを判定する判定手段を更に有し、
前記コマンド送信手段は、前記判定手段でストロークに関するコマンドであると判定された場合、同一のストロークに関するコマンド列を前記コマンド格納サーバ装置に送信し、前記判定手段でストロークに関するコマンドでないと判定された場合、各コマンドを前記コマンド格納サーバ装置に送信する請求項2記載の会議システム。
【請求項4】
前記会議システムは、コマンド格納サーバ装置を更に含み、
前記イベント情報配信サーバ装置は、
前記受信手段で受信されたイベント情報に対して、時間情報と、会議を識別する会議識別情報と、を付加することによってイベント情報からコマンドを生成するコマンド生成手段と、
前記コマンド生成手段で生成されたコマンドを前記コマンド格納サーバ装置に送信するコマンド送信手段と、
を有し、
前記コマンド格納サーバ装置は、
前記イベント情報配信サーバ装置より前記コマンドを受信するコマンド受信手段と、
前記コマンド受信手段で受信されたコマンドを、前記コマンドに含まれる前記会議識別情報に基づいて、会議毎に関連付けて記憶装置に記憶する記憶手段と、
を有する請求項1記載の会議システム。
【請求項5】
前記イベント情報配信サーバ装置は、
前記コマンド生成手段で生成されたコマンドが動画に対するストロークに関するコマンドであるか否かを判定する判定手段を更に有し、
前記コマンド送信手段は、前記判定手段でストロークに関するコマンドであると判定された場合、同一のストロークに関するコマンド列を前記コマンド格納サーバ装置に送信し、前記判定手段でストロークに関するコマンドでないと判定された場合、各コマンドを前記コマンド格納サーバ装置に送信する請求項4記載の会議システム。
【請求項6】
前記クライアント端末装置は、
入力された検索条件を含む検索要求を前記コマンド格納サーバ装置に送信する検索要求送信手段と、
前記検索要求送信手段で送信した検索要求に含まれる検索条件で検索を実行した結果の検索結果を含む検索応答を前記コマンド格納サーバ装置より受信する検索応答受信手段と、
前記検索応答受信手段で受信された検索応答の検索結果に含まれる該当する会議のコマンドに基づいて、時間情報を一の軸、イベント情報の量を他の軸としたコマンドに関するグラフを生成して表示するグラフ表示手段と、
を有し、
前記コマンド格納サーバ装置は、
前記クライアント端末装置より前記検索要求を受信する検索要求受信手段と、
前記検索要求受信手段で受信された検索要求に含まれる検索条件に基づいて、前記記憶装置に記憶されている会議毎に関連付けて記憶されているコマンドを検索し、該当する会議のコマンドを検索結果として取得する検索手段と、
前記検索手段で取得された前記検索結果を含む検索応答を前記クライアント端末装置に送信する検索応答送信手段と、
を有する請求項2乃至5何れか1項記載の会議システム。
【請求項7】
同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、前記イベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報をイベント情報配信サーバ装置に送信するイベント情報送信手段と、
前記イベント情報配信サーバ装置より配信されたイベント情報を受信するイベント情報受信手段と、
前記イベント情報受信手段で受信されたイベント情報に含まれる端末識別情報に基づいて、前記イベント情報の送信者が自装置でないと判定された場合、前記イベント情報に含まれるイベント実行情報に基づいて、イベントを実行する実行手段と、
を有するクライアント端末装置。
【請求項8】
前記イベント情報受信手段で受信されたイベント情報に対して、時間情報と、会議を識別する会議識別情報と、を付加することによってイベント情報からコマンドを生成するコマンド生成手段と、
前記コマンド生成手段で生成されたコマンドをコマンド格納サーバ装置に送信するコマンド送信手段と、
を更に有する請求項7記載のクライアント端末装置。
【請求項9】
クライアント端末装置より、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報を受信する受信手段と、
前記受信手段で前記イベント情報が前記クライアント端末装置より受信された場合、同じ会議に参加している前記複数のクライアント端末装置に対して前記イベント情報を配信する配信手段と、
を有するイベント情報配信サーバ装置。
【請求項10】
前記受信手段で受信されたイベント情報に対して、時間情報と、会議を識別する会議識別情報と、を付加することによってイベント情報からコマンドを生成するコマンド生成手段と、
前記コマンド生成手段で生成されたコマンドをコマンド格納サーバ装置に送信するコマンド送信手段と、
を更に有する請求項9記載のイベント情報配信サーバ装置。
【請求項11】
複数のクライアント端末装置と、イベント情報配信サーバ装置と、を含む会議システムにおける情報処理方法であって、
前記クライアント端末装置が、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、前記イベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報を前記イベント情報配信サーバ装置に送信するイベント情報送信ステップと、
前記イベント情報配信サーバ装置が、クライアント端末装置より前記イベント情報を受信する受信ステップと、
前記イベント情報配信サーバ装置が、前記受信ステップで前記イベント情報が前記クライアント端末装置より受信された場合、同じ会議に参加している前記複数のクライアント端末装置に対して前記イベント情報を配信する配信ステップと、
前記クライアント端末装置が、前記イベント情報配信サーバ装置より配信されたイベント情報を受信するイベント情報受信ステップと、
前記クライアント端末装置が、前記イベント情報受信ステップで受信されたイベント情報に含まれる端末識別情報に基づいて、前記イベント情報の送信者が自装置でないと判定された場合、前記イベント情報に含まれるイベント実行情報に基づいて、イベントを実行する実行ステップと、
を含む情報処理方法。
【請求項12】
クライアント端末装置が実行する情報処理方法であって、
同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、前記イベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報をイベント情報配信サーバ装置に送信するイベント情報送信ステップと、
前記イベント情報配信サーバ装置より配信されたイベント情報を受信するイベント情報受信ステップと、
前記イベント情報受信ステップで受信されたイベント情報に含まれる端末識別情報に基づいて、前記イベント情報の送信者が自装置でないと判定された場合、前記イベント情報に含まれるイベント実行情報に基づいて、イベントを実行する実行ステップと、
を含む情報処理方法。
【請求項13】
イベント情報配信サーバ装置が実行する情報処理方法であって、
クライアント端末装置より、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報を受信する受信ステップと、
前記受信ステップで前記イベント情報が前記クライアント端末装置より受信された場合、同じ会議に参加している前記複数のクライアント端末装置に対して前記イベント情報を配信する配信ステップと、
を含む情報処理方法。
【請求項14】
コンピュータを、
同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントが検知された場合、前記イベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報をイベント情報配信サーバ装置に送信するイベント情報送信手段と、
前記イベント情報配信サーバ装置より配信されたイベント情報を受信するイベント情報受信手段と、
前記イベント情報受信手段で受信されたイベント情報に含まれる端末識別情報に基づいて、前記イベント情報の送信者が自装置でないと判定された場合、前記イベント情報に含まれるイベント実行情報に基づいて、イベントを実行する実行手段と、
して機能させるプログラム。
【請求項15】
コンピュータを、
クライアント端末装置より、同じ会議に参加している複数のクライアント端末装置において共有で表示されている動画に対するイベントを識別するイベント識別情報と、前記イベントを再現するためのイベント実行情報と、イベントの発生を検知したクライアント端末装置を識別する端末識別情報と、を含むイベント情報を受信する受信手段と、
前記受信手段で前記イベント情報が前記クライアント端末装置より受信された場合、同じ会議に参加している前記複数のクライアント端末装置に対して前記イベント情報を配信する配信手段と、
して機能させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2011−107837(P2011−107837A)
【公開日】平成23年6月2日(2011.6.2)
【国際特許分類】
【出願番号】特願2009−260325(P2009−260325)
【出願日】平成21年11月13日(2009.11.13)
【出願人】(000191076)新日鉄ソリューションズ株式会社 (136)
【Fターム(参考)】
【公開日】平成23年6月2日(2011.6.2)
【国際特許分類】
【出願日】平成21年11月13日(2009.11.13)
【出願人】(000191076)新日鉄ソリューションズ株式会社 (136)
【Fターム(参考)】
[ Back to top ]