コンピュータ装置、電子ペンシステム及びプログラム
【課題】教材に関連する電子コンテンツを再生又は表示する際に、操作者が意図する再生又は表示条件に基づき電子コンテンツを再生することが可能なコンピュータ装置、電子ペンシステム、及びプログラムを提供する。
【解決手段】コンピュータ装置は、電子教材の表示部分から任意のエリアを指定する入力を受け付け、当該入力に基づき指定された指定エリアと、電子教材の内容に関連する電子コンテンツと、電子コンテンツの再生又は表示条件とを関連付ける。その後、コンピュータ装置は、指定エリアが選択されたと判断した場合に、指定エリアと関連付けられた電子コンテンツを再生表示条件に従い再生又は表示させる。
【解決手段】コンピュータ装置は、電子教材の表示部分から任意のエリアを指定する入力を受け付け、当該入力に基づき指定された指定エリアと、電子教材の内容に関連する電子コンテンツと、電子コンテンツの再生又は表示条件とを関連付ける。その後、コンピュータ装置は、指定エリアが選択されたと判断した場合に、指定エリアと関連付けられた電子コンテンツを再生表示条件に従い再生又は表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子ペンで読み取り可能なコード化パターンを利用した技術に関する。
【背景技術】
【０００２】
従来から、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのＡｎｏｔｏ社が開発した「アノトペン（Ａｎｏｔｏ ｐｅｎ）」が知られている。例えば、特許文献１に記載されているように、アノトペンは、用紙に印刷された所定のドットパターンを読み取って記入情報を生成し、当該記入情報を端末装置に送信する。
【０００３】
特許文献２には、ドットパターンに対向する電子ペンの角度に起因するドットの画像上の配列を補正する回転補正処理機能が記載されている。さらに、特許文献３には、授業で用いられる教材データが蓄積された配信サーバから配信された教材データを指導案と関連付けて格納する教材サーバを有し、教材サーバに格納された教材データを指導案に基づく授業の進行に沿って表示する教室端末及び大型スクリーンを備える授業支援システムが開示されている。また、特許文献４には、教師や学生・生徒といった教育現場に参加するユーザの情報端末から、インターネットを介して複数のコンテンツ提供者のコンテンツサーバにアクセスして、適切なコンテンツを取得し、そのコンテンツを教材として利用する電子教材の共有方法について開示されている。さらに、特許文献５には、授業などに活用するため、教材コンテンツをインターネット等でサーバからダウンロードして、電子黒板等に表示する技術が開示されている。
【０００４】
さらに、特許文献６には、教材の任意のページに、コードを記憶させたＲＦＩＤタグを埋め込み、ＲＦＩＤタグのコードを読み取ることで、教材コンテンツをコンピュータから検索し、プロジェクタからスクリーンへ検索した教材コンテンツの映像を投影する技術が開示されている。また、特許文献７には、紙に印刷されたアイコンのドットパターンと、コンテンツのデータとを関連付ける技術が開示されている。そして、特許文献８には、教材のコンテンツをサーバにアップロードし、他の先生がその教材をダウンロードして使える教材配信システムが開示されている。この教材配信システムでは、デジタル教材のアイコンをクリックすると、教材コンテンツである解説の一覧表示がされる。この一覧表示では、評価の高い順にリスト表示され、教材作成者のコメントや、ダウンロード回数が表示され、利用者の評価も入力可能となっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３８７２４９８号公報
【特許文献２】特表２００３−５２９８５３号公報
【特許文献３】特開２００２−０７２８５０号公報
【特許文献４】特開２００４−２２６４５９号公報
【特許文献５】特開２００４−２５８１８４号公報
【特許文献６】特開２００４−０１２５３９号公報
【特許文献７】特許第３９５６０２６号公報
【特許文献８】特開２００１−２４２７７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
授業中などで、開いている教科書（教材）の所定の図面部分などを講師が電子ペンなどによりタップすることで、タップした部分と関連する動画などの電子コンテンツを再生又は表示して受講者に視聴させることができると便宜である。この際、電子コンテンツが動画等の場合には、再生したい電子コンテンツの再生部分が必ずしも電子コンテンツ全体であるとは限らず、また、電子コンテンツが電子文書等の場合には、表示したい電子コンテンツの表示位置が必ずしも先頭ページであるとは限らない。そこで、本発明は、教材に関連する電子コンテンツを再生又は表示する際に、操作者が意図する再生又は表示条件に基づき電子コンテンツを再生することが可能なコンピュータ装置、電子ペンシステム、及びプログラムを提供することを主な課題とする。
【課題を解決するための手段】
【０００７】
本発明に係るコンピュータ装置は、電子教材を表示手段に表示させ、前記電子教材の表示部分から任意のエリアを指定する入力を受け付けるエリア指定受付手段と、前記入力に基づき指定された指定エリアと、前記電子教材の内容に関連する電子コンテンツと、前記電子コンテンツの再生又は表示条件とを関連付ける関連付け手段と、前記指定エリアが選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを前記再生又は表示条件に従い前記表示手段又は／及び音声出力手段に再生又は表示させる再生表示制御手段とを備える。
【０００８】
この構成により、コンピュータ装置は、電子教材の表示部分から任意のエリアを指定する入力を受け付け、当該入力に基づき指定された指定エリアと、電子教材の内容に関連する電子コンテンツと、電子コンテンツの再生又は表示条件（再生表示条件）とを関連付ける。その後、コンピュータ装置は、指定エリアが選択されたと判断した場合に、指定エリアと関連付けられた電子コンテンツを再生表示条件に従い再生又は表示（再生表示）させる。このように、コンピュータ装置は、指定された指定エリアに対し、電子コンテンツに加えて、その再生表示条件を関連付けることで、指定エリアが選択された場合に、その再生表示条件に従い電子コンテンツを再生することができる。従って、コンピュータ装置は、操作者が意図する電子コンテンツを意図した再生表示条件に従い再生表示することができ、利便性を向上させることができる。
【０００９】
上記コンピュータ装置の一態様では、前記関連付け手段は、前記指定エリアに対し、関連付ける電子コンテンツと、当該電子コンテンツの再生又は表示条件とを設定するための設定画面を前記表示手段に表示させ、前記関連付ける電子コンテンツが設定された場合、当該電子コンテンツの種類に応じて、前記再生又は表示条件として設定すべき内容を変更する。一般に、電子コンテンツの種類によって設定すべき再生表示条件の内容は異なる。従って、この態様により、コンピュータ装置は、電子コンテンツの種類に即した適切な再生表示条件を指定エリアに関連付けることができる。
【００１０】
上記コンピュータ装置の他の一態様では、前記関連付け手段は、前記設定画面において設定された電子コンテンツの種類が動画の場合には、当該電子コンテンツにおける再生開始時間又は／及び再生終了時間を入力するための入力欄を前記設定画面中に設ける。この態様により、コンピュータ装置は、ユーザの操作に従い、教材に関連した動画コンテンツを再生する場合に、ユーザが意図する部分のみを再生することができる。
【００１１】
上記コンピュータ装置の他の一態様では、前記関連付け手段は、前記設定画面において設定された電子コンテンツの種類が電子文書の場合には、当該電子コンテンツの表示ページを入力するための入力欄を前記設定画面中に設ける。この態様により、コンピュータ装置は、ユーザの操作に従い、教材に関連した電子文書を表示する場合に、ユーザが意図するページを直ちに表示することができる。
【００１２】
本発明に係る電子ペンシステムは、コード化パターンが表面に付されたスクリーンと、画像信号に基づく光を前記スクリーンの表面に出射するプロジェクタと、前記プロジェクタに画像信号を送信する請求項１乃至４のいずれか一項に記載のコンピュータ装置と、コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンとを備える電子ペンシステムであって、前記コンピュータ装置の再生表示制御手段は、前記スクリーンに電子教材を投影表示させた状態で、前記電子ペンから受信した記入情報に基づき、前記スクリーンに投影された電子教材の前記指定エリアが前記電子ペンにより選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させる。
【００１３】
この態様では、電子ペンシステムは、プロジェクタにより、スクリーンに電子教材を投影表示させた場合に、関連付けがなされた指定エリアのスクリーン上の表示部分のコード化パターンを電子ペンが読み取った場合に、当該指定エリアと関連付けられた電子コンテンツを、再生表示条件に従い再生表示させる。このようにすることで、電子ペンシステムは、スクリーンへの電子ペンの操作に基づき、好適に、教材と関連する電子コンテンツを、指定された再生表示条件に従い再生表示することができる。
【００１４】
本発明に係る電子ペンシステムの別の態様では、請求項１乃至４のいずれか一項に記載のコンピュータ装置と、コード化パターンが印刷された教材と、コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンとを備える電子ペンシステムであって、前記電子教材は前記教材を電子化したものであり、前記再生表示制御手段は、前記電子ペンから受信した記入情報に基づき、前記電子教材の前記指定エリアに相当する前記教材のエリアが前記電子ペンにより選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させる。
【００１５】
この態様では、電子ペンシステムは、電子教材と同一内容であって、コード化パターンが印刷された教材を有し、関連付けられた指定エリアに相当する教材の位置のコード化パターンを電子ペンが読み取った場合に、当該指定エリアと関連付けられた電子コンテンツを、再生表示条件に従い再生表示させる。このようにすることで、電子ペンシステムは、教材への電子ペンの操作に基づき、好適に、教材と関連する電子コンテンツを、指定された再生表示条件に従い再生表示することができる。
【００１６】
上記の電子ペンシステムの一態様では、前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、前記コンピュータ装置の関連付け手段は、前記指定エリアに前記サーバ装置が記憶する電子コンテンツを関連付ける場合に、当該電子コンテンツを前記サーバ装置から受信する。この態様により、コンピュータ装置は、好適に、電子コンテンツを受信して再生表示することができる。
【００１７】
上記の電子ペンシステムの他の一態様では、前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、前記コンピュータ装置の再生表示制御手段は、前記指定エリアが選択された場合、当該指定エリアに関連付けられた電子コンテンツを前記サーバ装置からダウンロードすることで、又は、前記サーバ装置から当該電子コンテンツのストリーミングの配信を受けることで、当該電子コンテンツを前記表示手段又は／及び前記音声出力手段に再生又は表示させる。この態様により、コンピュータ装置は、サーバ装置からダウンロードして記憶すべき電子コンテンツを少なくすることができ、使用する記憶容量を低減することができる。
【００１８】
本発明に係るプログラムは、コンピュータ装置に搭載され実行されるプログラムであって、電子教材を表示手段に表示させ、前記電子教材の表示部分から任意のエリアを指定する入力を受け付けるエリア指定受付手段と、前記入力に基づき指定された指定エリアと、前記電子教材の内容に関連する電子コンテンツと、前記電子コンテンツの再生又は表示条件とを関連付ける関連付け手段と、前記指定エリアが選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを前記再生又は表示条件に従い前記表示手段又は／及び音声出力手段に再生又は表示させる再生表示制御手段として前記コンピュータ装置を機能させる。
【００１９】
上記プログラムの一態様では、前記関連付け手段は、前記指定エリアに対し、関連付ける電子コンテンツと、当該電子コンテンツの再生又は表示条件とを設定するための設定画面を前記表示手段に表示させ、前記関連付ける電子コンテンツが設定された場合、当該電子コンテンツの種類に応じて、前記再生又は表示条件として設定すべき内容を変更する。
【００２０】
上記プログラムの他の一態様では、前記関連付け手段は、前記設定画面において設定された電子コンテンツの種類が動画の場合には、当該電子コンテンツにおける再生開始時間又は／及び再生終了時間を入力するための入力欄を前記設定画面中に設ける。
【００２１】
上記プログラムの他の一態様では、前記関連付け手段は、前記設定画面において設定された電子コンテンツの種類が電子文書の場合には、当該電子コンテンツの表示ページを入力するための入力欄を前記設定画面中に設ける。
【００２２】
本発明に係るプログラムの別の態様では、コード化パターンが表面に付されたスクリーンと、画像信号に基づく光を前記スクリーンの表面に出射するプロジェクタと、前記プロジェクタに画像信号を送信する請求項１乃至４のいずれか一項に記載のコンピュータ装置と、コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンとを備える電子ペンシステムの前記コンピュータ装置に搭載され実行されるプログラムであって、前記再生表示制御手段は、前記スクリーンに電子教材を投影表示させた状態で、前記電子ペンから受信した記入情報に基づき、前記スクリーンに投影された電子教材の前記指定エリアが前記電子ペンにより選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させる。
【００２３】
本発明に係るプログラムのさらに別の態様では、請求項１乃至４のいずれか一項に記載のコンピュータ装置と、コード化パターンが印刷された教材と、コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンとを備える電子ペンシステムの前記コンピュータ装置に搭載され実行されるプログラムであって、前記電子教材は前記教材を電子化したものであり、前記再生表示制御手段は、前記電子ペンから受信した記入情報に基づき、前記電子教材の前記指定エリアに相当する前記教材のエリアが前記電子ペンにより選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させる。
【００２４】
上記プログラムの一態様では、前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、前記関連付け手段は、前記指定エリアに前記サーバ装置が記憶する電子コンテンツを関連付ける場合に、当該電子コンテンツを前記サーバ装置から受信する。
【００２５】
上記プログラムの他の一態様では、前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、前記再生表示制御手段は、前記指定エリアが選択された場合、当該指定エリアに関連付けられた電子コンテンツを前記サーバ装置からダウンロードすることで、又は、前記サーバ装置から当該電子コンテンツのストリーミングの配信を受けることで、当該電子コンテンツを前記表示手段又は／及び前記音声出力手段に再生又は表示させる。
【００２６】
これらのプログラムをコンピュータ装置にインストールして機能させることで、本発明に係るコンピュータ装置を構成させることができる。
【発明の効果】
【００２７】
本発明によれば、コンピュータ装置は、表示された電子教科書から任意のエリアを指定させて、当該指定された指定エリアに対し、電子コンテンツに加えて、その再生表示条件を関連付ける。これにより、コンピュータ装置は、指定された指定エリアが選択された場合に、関連付けした再生表示条件に従い、関連付けした電子コンテンツを再生することができる。従って、コンピュータ装置は、操作者が意図する電子コンテンツを意図した再生表示条件に従い再生表示することができ、利便性を向上させることができる。
【図面の簡単な説明】
【００２８】
【図１】本実施形態に係る電子ペンシステムの構成を示す。
【図２】ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。
【図３】（ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。
【図４】電子ペンの構造を示す概略図である。
【図５】コンピュータ装置の機能ブロック図である。
【図６】エリア指定画面の表示例である。
【図７】関連付け内容設定画面の表示例である。
【図８】指定エリア定義情報のデータ構造を示す。
【図９】見開き状態の教科書の上面図を示す。
【図１０】ファイル「ワークシート．ｐｄｆ」の表示例を示す。
【図１１】変形例に係る電子ペンシステムの構成を示す。
【発明を実施するための形態】
【００２９】
以下、図面を参照しながら、本発明を実施するのに好適な実施形態について説明する。以下に説明する電子ペンシステムは、学校の授業などに好適に用いられ、教科書（教材）の任意の範囲と動画などの電子コンテンツとその再生又は表示条件との関連付けを行い、電子ペンの操作により電子コンテンツを再生又は表示するシステムである。
【００３０】
［電子ペンシステムの構成］
図１は、本実施形態に係る電子ペンシステムの構成を示す。図１に示すように、電子ペンシステムは、講師が使用する電子ペン１と、各ページの略全面にドットパターンが印刷された教科書（教材）２と、電子ペン１から記入情報等を受信して処理するコンピュータ装置３と、コンピュータ装置３と接続され、そのディスプレイの表示画面と同じ画像をドットスクリーン５に投影するプロジェクタ４と、ドットパターンが印刷されたドットスクリーン５とを備える。以下、これらの各構成要素について説明する。
【００３１】
（教科書）
まず、教科書（電子ペン用図書）２について説明する。教科書２の各ページには、その略全面に後述する位置座標を示すドットパターン（コード化パターン）が印刷される。また、教科書２の各ページには、それぞれ異なる座標範囲のドットパターンが印刷される。ドットパターンは、電子ペン１により読み取ることができるように赤外線を吸収するカーボンを含んだインクにより印刷され、その他の文字や図などは、赤外線を吸収しないインキにより印刷される。
【００３２】
（ドットスクリーン）
ドットスクリーン５は、白地の樹脂基板に、電子ペン１により読み取ることができるよう赤外線を吸収するカーボンを含んだインクによりドットパターン（コード化パターン）が印刷され、さらにドットパターンが例えば透明なＥＢ硬化樹脂層などで保護された層構成を有している。
【００３３】
（プロジェクタ）
プロジェクタ４は、ドットスクリーン５に対して鉛直上方向から斜め下向きに光を出射するプロジェクタであり、例えば教室の壁等に設置される。プロジェクタ４は、コンピュータ装置３から画像信号を受信し、コンピュータ装置３の画面と同じ画像を構成する光を所定の投影範囲５０に投影する。投影範囲５０には、後述するように、教科書２を電子化した電子教科書２Ａ（後述の図６参照）などが表示される。なお、プロジェクタ４は、ドットスクリーン５の正面へ向けて光を出射するフロントプロジェクタ、又は、ドットスクリーン５の背面へ向けて光を出射するリアプロジェクタであってもよい。
【００３４】
（ドットパターン）
続いて、教科書２の各ページやドットスクリーン５に印刷されたアノト方式のドットパターン（コード化パターン）について図２及び図３を用いて説明する。図２は、ドットパターンのドットとそのドットが変換される値との関係を説明する図である。図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を仮想格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、教科書２の各ページやドットスクリーン５上の位置座標が決定されるよう構成されている。なお、教科書２のページ同士又は教科書２の各ページとドットスクリーン５とでは座標領域が重ならないようドットパターンが形成される。
【００３５】
図３（ａ）は、あるドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、教科書２の各ページやドットスクリーン５上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンが教科書２の各ページやドットスクリーン５上のどの位置にあるのか）を保持している。図３（ｂ）は、図３（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図２に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。
【００３６】
（電子ペン）
次に、電子ペン１について図４を用いて説明する。図４は、電子ペン１の構造を示す概略図である。図４に示すように、電子ペン１は、その筐体１０１の内部に、インクカートリッジ１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。インクカートリッジ１０４の先端は、ペン先部１０３となっており、ユーザは、電子ペン１のペン先部１０３を教科書２の各ページやドットスクリーン５上に当接させて、ストローク（手書きストローク）を記入する。ここで、電子ペン１のペン先部１０３が教科書２の各ページ等に最初に接触することを「ペンダウン」と呼び、接触している（当接している）状態からペン先部１０３が離れることを「ペンアップ」と呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つのストロークとなり、文字や図形等は、１つ又は複数個のストロークからなる。
【００３７】
バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１により教科書２の各ページ等に文字やマークを書いたりタップしたりする際にペン先部１０３からインクカートリッジ１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。
【００３８】
プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切替える。即ち、ユーザが電子ペン１で教科書２の各ページ等に文字などを書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。そして、通信ユニット１１１が、圧力センサ１０７により検出されたペンダウン情報（以後、「ペンダウン情報ＰＤ」と呼ぶ。）と、後述する電子ペン１の識別情報（以後、「ペンＩＤ」と呼ぶ。）とを関連付けて、記入情報としてコンピュータ装置３へ送信する。また、ユーザが１つのストロークを記入し終えて電子ペン１を教科書２の各ページから離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、通信ユニット１１１が、圧力センサ１０７により検出されたペンアップ情報（以後、「ペンアップ情報ＰＵ」と呼ぶ。）とペンＩＤとを関連付けて、記入情報としてコンピュータ装置３へ送信する。
【００３９】
ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、教科書２の各ページ上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３が教科書２の各ページに接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６には、赤外線を透過し赤外線以外を遮断する赤外線透過フィルタが設けられており、ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。したがって、教科書２の各ページに文字や図面などが印刷されていた場合でも、印刷したインクは赤外域に吸収性を持たないため、プロセッサ１０８は、ドットパターンを認識することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。また、ＣＭＯＳカメラ１０６は、ドットを鮮明に撮影するため、十分な被写界深度を有している。
【００４０】
プロセッサ１０８は、ユーザの記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、ユーザが記入するストローク（筆跡）の教科書２の各ページ等におけるＸ、Ｙ座標（以後、単に「座標データ」または「座標情報」とも呼ぶ。）を連続的に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ、Ｙ座標データを演算する。なお、プロセッサ１０８は、ドットパターンに対向する電子ペン１の角度に起因するドットの画像上の配列を補正する回転補正処理機能を備えており、座標演算の際にその機能が発揮される。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ及びＸ、Ｙ座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、教科書２の各ページやドットスクリーン５における６×６のドットパターンは、教科書２の各ページ及びドットスクリーン５内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置が教科書２の各ページ又はドットスクリーン５のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。
【００４１】
メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、ドットスクリーン５のドットパターンを読み込ませて書き込むための電子ペン１Ｂの場合、通信ユニット１１１は、ペンＩＤと、時刻情報（タイムスタンプ）と、筆圧データと、Ｘ、Ｙ座標データとを関連付けて、記入情報としてコンピュータ装置３へ送信する。この場合通信ユニット１１１によるコンピュータ装置３への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、即時的かつ逐次的に行われる。ここで、電子ペン１のペンダウンからペンアップまでの間に生成されてコンピュータ装置３に送信された１個又は複数個の座標属性情報は、コンピュータ装置３によりストローク情報として記憶される。換言すると、１つのストロークは、１個又は複数個のＸ、Ｙ座標（座標点）からなり、コンピュータ装置３は、ペンダウン情報ＰＤ及びペンアップ情報ＰＵによって、１つのストロークを構成する１個又は複数個の座標属性情報を認識する。
【００４２】
（コンピュータ装置）
次に、コンピュータ装置３について説明する。コンピュータ装置３は、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等で構成される。なお、コンピュータ装置３は、ｉＰａｄ（登録商標）などのタブレットＰＣやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）、またはディスプレイを備えるＰＣ（パーソナルコンピュータ）等で構成されてもよい。
【００４３】
図５は、コンピュータ装置３の機能ブロック図である。コンピュータ装置３は、機能的には、マウスやキーボードといった入力手段３１、通信手段３２、記憶手段３３、処理手段３４、表示手段３６、インターフェース３８を備える。通信手段３２は、アンテナ受信回路等により構成され、電子ペン１から記入情報を受信し、受信した情報を処理手段３４に伝送する。表示手段３６は、ディスプレイ等によって構成され、処理手段３４によって指示された内容を表示する。インターフェース３８は、プロジェクタ４と接続するためのインターフェースである。インターフェース３８は、処理手段３４の処理命令に基づき、表示手段３６に画像を表示するための画像信号をプロジェクタ４に送信し、表示手段３６の画像と同じ画像を同期して投影させる。
【００４４】
処理手段３４は、ＣＰＵ等のプロセッサによって構成され、コンピュータ装置３の全体の制御を行う。処理手段３４は、エリア指定受付手段３４１と、関連付け手段３４２と、再生表示制御手段３４３とを備える。エリア指定受付手段３４１は、教科書２が電子化された電子教科書２Ａを表示した画面であって、表示された電子教科書２Ａから電子コンテンツと関連付ける任意のエリア（範囲）を指定するための画面（「エリア指定画面」とも呼ぶ。）を、表示手段３６に表示させる。そして、エリア指定受付手段３４１は、エリア指定画面において、マウスのドラッグ操作により、表示された電子教科書２Ａから、電子コンテンツと関連付けるエリアを操作者である講師に指定させる。エリア指定画面において指定された電子教科書２Ａ（教科書２）上のエリアを「指定エリアＡｓ」とも呼ぶ。エリア指定画面の詳細については［関連付け処理］のセクションで図６を用いて後述する。
【００４５】
次に、処理手段３４の関連付け手段３４２は、指定された指定エリアＡｓに対し、関連付ける電子コンテンツ及びその電子コンテンツの再生又は表示（再生表示）を行う条件（「再生表示条件」とも呼ぶ。）を指定させるための画面（「関連付け内容設定画面」とも呼ぶ。）を表示手段３６に表示させる。そして、関連付け手段３４２は、関連付け内容設定画面での入力に基づき、指定エリアＡｓと電子コンテンツと再生表示条件とを関連付けて記憶手段３３に記憶させる。関連付け内容設定画面は、本発明における「設定画面」の一例であり、その詳細については［関連付け処理］のセクションで図７を用いて後述する。
【００４６】
さらに、処理手段３４の再生表示制御手段３４３は、教科書２のページ中の指定エリアＡｓが電子ペン１によりタップされた場合、又は、ドットスクリーン５に投影された電子教科書２Ａの指定エリアＡｓが電子ペン１によりタップされた場合、電子ペン１から受信した記入情報に基づき、当該指定エリアＡｓが電子ペン１により指定されたことを認識する。そして、再生表示制御手段３４３は、指定された指定エリアＡｓに関連付けられた電子コンテンツを、同じく関連付けられた再生表示条件に従い表示手段３６上に表示させる。この具体的な処理については、［関連付け活用処理］のセクションで詳しく説明する。
【００４７】
また、処理手段３４は、キャリブレーション用マークを少なくとも２以上、表示手段３６に表示させることにより、プロジェクタ４に対し、ドットスクリーン５にもキャリブレーション用マークを投影させ、キャリブレーション用マークが投影された位置のドットパターンを電子ペン１に読み取らせて記入情報を受信することで、ドットスクリーン５のドットパターンにかかる座標系を表示手段３６のディスプレイにかかる座標系に変換するための座標変換関数を求める（キャリブレーション処理機能）。さらに、処理手段３４は、そのキャリブレーション処理により求められた座標変換関数を用いて、ドットスクリーン５のドットパターンにかかる座標系のデータを受信したときに、表示手段３６のディスプレイにかかる座標系のデータに変換し、ストロークを描画したり、所定の処理を行ったりする。
【００４８】
記憶手段３３は、ＲＯＭやＲＡＭといったメモリによって構成される。記憶手段３３は、処理手段３４の処理命令により、電子ペン１から受信した記入情報をペンＩＤ毎に記憶する。また、記憶手段３３は、教科書２の種類ごとに当該教科書２の各ページに対応するドットパターンが示す座標範囲、及びドットスクリーン５に対応するドットパターンが示す座標範囲の情報（「座標定義情報」とも呼ぶ。）を記憶する。
【００４９】
さらに、記憶手段３３は、指定エリアＡｓと関連付けるための電子コンテンツを予め記憶しておく。この電子コンテンツには、講師が授業用に自らビデオカメラ等の撮影手段を用いて撮影を行った結果生成された映像データなどが含まれる。そして、記憶手段３３は、エリア指定画面において指定エリアＡｓが指定された場合、エリア指定受付手段３４１の制御に基づき、指定エリアＡｓごとに、当該指定エリアＡｓに対応する教科書２の識別情報である教科書ＩＤと、指定エリアＡｓが記載されたページ番号と、指定エリアＡｓが記載されたページ内における相対的な位置を示すページ内位置とを関連付けて記憶する。以後では、上述の教科書ＩＤ、ページ番号、及びページ内位置を「指定エリア特定情報」とも呼ぶ。さらに、記憶手段３３は、当該指定エリアＡｓに関連付ける電子コンテンツ及びその再生表示条件が定められた場合には、関連付け手段３４２の制御に基づき、指定エリアＡｓごとに、定められた電子コンテンツ及び再生表示条件を関連付けて記憶する。以後では、指定エリアＡｓごとに関連付けられた指定エリア特定情報、電子コンテンツ、及びその再生表示条件の対応関係を示す情報を「指定エリア定義情報」とも呼ぶ。指定エリア定義情報のデータ構造については、図８を参照して後述する。
【００５０】
［関連付け処理］
次に、指定エリアＡｓを決定する処理、及び、指定エリアＡｓに電子コンテンツ及び再生表示条件を関連付ける処理（これらの処理を単に「関連付け処理」とも呼ぶ。）について、図６に示すエリア指定画面及び図７に示す関連付け内容設定画面を参照してそれぞれ具体的に説明する。以下に説明する関連付け処理は、後述する関連付け活用処理を実行するための前処理に相当し、授業の準備の段階で講師が入力手段３１により入力する内容に基づきコンピュータ装置３が実行する処理である。従って、関連付け処理では、プロジェクタ４とコンピュータ装置３とが電気的に接続していなくてもよい。
【００５１】
（１）エリア指定画面
図６は、コンピュータ装置３の表示手段３６が出力するエリア指定画面６０の表示例である。図６に示すように、エリア指定画面６０は、電子教科書２Ａと、操作ボタン３６１〜３６４と、指定完了ボタン３６５とを表示する。処理手段３４のエリア指定受付手段３４１は、エリア指定画面６０を起動させる旨の所定の入力を入力手段３１により検知した場合、図６に示すエリア指定画面６０を表示手段３６に表示させる。
【００５２】
図６に示すように、エリア指定画面６０には、教科書２の各ページが電子化された見開き状態の電子教科書２Ａが表示されると共に、電子教科書２Ａが表示するページをユーザが指定するための操作ボタン３６１〜３６４が設けられている。操作ボタン３６１は、電子教科書２Ａの表示ページを最初のページに戻す、即ち電子教科書２Ａの１ページ目及び２ページ目を表示した状態に戻すためのボタンである。操作ボタン３６２は、電子教科書２Ａの表示ページを２ページ分戻す（図６では２０ページと２１ページを表示した状態にする）ためのボタンである。操作ボタン３６３は、電子教科書２Ａが表示するページを２ページ分進める（図６では２４ページと２５ページを表示する）ためのボタンである。操作ボタン３６４は、電子教科書２Ａの表示ページを最後のページに進めるためのボタンである。
【００５３】
そして、エリア指定画面６０には、「リンク付けの対象とするエリアをドラッグで指定して下さい。」と表示されている。このように、エリア指定受付手段３４１は、エリア指定画面６０において、操作者に対し、マウスによるドラッグ操作等により指定エリアＡｓを指定するように促す表示を行う。そして、エリア指定受付手段３４１は、表示された電子教科書２Ａ上でのマウスのドラッグ操作による入力を入力手段３１から検知する。エリア２１Ａ〜２１Ｄは、マウスのドラッグ操作により指定されたエリア（領域）を示す。好適には、処理手段３４は、マウスのドラッグ操作により指定したエリアを操作者が確認できるように、エリア２１Ａ〜２１Ｄを、破線枠、着色、ハッチング等（図６では破線枠）により、指定されていないエリアと異なる態様によりエリア指定画面６０上に表示させるとよい。
【００５４】
指定完了ボタン３６５は、マウスのドラッグ操作により指定されたエリア２１Ａ〜２１Ｄを指定エリアＡｓとして確定させるためのボタンである。エリア指定受付手段３４１は、指定完了ボタン３６５が選択された場合、エリア２１Ａ〜２１Ｄに対応する教科書２の各エリアを、それぞれ指定エリアＡｓとして記憶手段３３に記憶させる。具体的には、エリア指定受付手段３４１は、電子教科書２Ａに付された教科書ＩＤと、エリア２１Ａ〜２１Ｄが属するページ番号と、当該ページ全体におけるエリア２１Ａ〜２１Ｄの位置（範囲）を示すページ内位置とを、指定エリアＡｓごとに関連付けて記憶手段３３に記憶させる。
【００５５】
図８（Ａ）は、指定完了ボタン３６５が選択された後の指定エリア定義情報のデータ構造を示す。図８（Ａ）において、「指定エリア番号」は、指定エリアＡｓが指定された際に、指定された順に当該指定エリアＡｓに付される通し番号を指す。また、電子教科書２Ａ（教科書２）の教科書ＩＤは「Ｒ０１」であるものとし、ページ内位置は、角の位置座標（Ｘｎ，Ｙｎ）、高さ（Ｙ方向）、幅（Ｘ方向）で規定されている。図８（Ａ）に示すように、エリア指定画面６０においてマウスのドラッグ操作により指定されたエリア２１Ａ〜２１Ｄにそれぞれ対応して、指定エリア番号及び教科書ＩＤなどの指定エリア特定情報が記憶手段３３に記憶されている。
【００５６】
（２）関連付け内容設定画面
図７は、コンピュータ装置３の表示手段３６が出力する関連付け内容設定画面６１の表示例である。関連付け手段３４２は、図６の指定完了ボタン３６５が選択された場合に、関連付け内容設定画面６１を表示手段３６に表示させる。図７に示すように、関連付け内容設定画面６１には、指定エリア表示３６７Ａ〜３６７Ｄ（３６７）と、ファイル名表示欄３６８Ａ〜３６８Ｄ（３６８）と、参照ボタン３６９Ａ〜３６９Ｄ（３６９）と、再生表示条件入力欄３７０Ａ、３７０Ｂａ、３７０Ｂｂ、３７０Ｃａ、３７０Ｃｂ（３７０）と、画面戻るボタン３７１と、設定完了ボタン３７２とが表示されている。また、関連付け内容設定画面６１には、「リンク付けするコンテンツ・データを設定して下さい」と操作者に指定エリアＡｓに関連付ける電子コンテンツ及びその再生表示条件を入力する旨が表示される。
【００５７】
指定エリア表示３６７Ａ〜３６７Ｄは、図６のエリア指定画面にて指定エリアＡｓとして指定されたエリア２１Ａ〜２１Ｄをそれぞれ表示する。指定エリア表示３６７Ａ〜３６７Ｄは、表示される指定エリアＡｓが属するページ番号ごとに縦に並べて表示されている。具体的には、ページ番号「２２」のページにあるエリア２１Ａを表示する指定エリア表示３６７Ａがページ番号と共に最上位に表示され、ページ番号「２３」のページにあるエリア２１Ｂ〜２１Ｄを表示する指定エリア表示３６７Ｂ〜３６７Ｄがページ番号と共に指定エリア表示３６７Ａの下に並べられている。
【００５８】
ファイル名表示欄３６８Ａ〜３６８Ｄは、それぞれ指定エリア表示３６７Ａ〜３６７Ｄに対応する指定エリアＡｓと関連付ける電子コンテンツのファイル名又は電子コンテンツのファイル名を含むパス（ここではファイル名のみとする）を表示する欄である。ファイル名表示欄３６８Ａは、それぞれ、後述する参照ボタン３６９Ａ〜３６９Ｄにより指定されたファイル名を表示する。参照ボタン３６９は、クリック操作により選択された際に、ファイルを指定するためのウィンドウを表示し、コンピュータ装置３の記憶手段３３内に記憶された任意のファイルを操作者に指定させるためのボタンである。
【００５９】
再生表示条件入力欄３７０は、指定エリア表示３６７Ａ〜３６７Ｄに対応する各指定エリアＡｓに関連付ける再生表示条件を入力するための入力欄である。関連付け手段３４２は、参照ボタン３６９により電子コンテンツのファイルが選択された場合に、選択された電子コンテンツのファイルに対応する再生表示条件入力欄３７０を表示する。ここで、関連付け手段３４２は、ファイル名表示欄３６８内に表示された電子コンテンツのファイルの拡張子に基づき、当該ファイルの種類に応じた再生表示条件を入力するための再生表示条件入力欄３７０を表示する。
【００６０】
具体的には、ファイル名表示欄３６８Ａには、「ワークシート１．ｐｄｆ」と表示されていることから、関連付け手段３４２は、指定エリア表示３６７Ａに対応する指定エリアＡｓと関連付ける電子コンテンツとして、電子文書が指定されていると判断する。従って、関連付け手段３４２は、表示するページ番号を入力するための再生表示条件入力欄３７０Ａを表示すると共に、再生表示条件入力欄３７０Ａの左側に「表示ページ」と表示する。
【００６１】
また、ファイル名表示欄３６８Ｂには、「断層○○町．ｍｐ４」と表示されていることから、関連付け手段３４２は、指定エリア表示３６７Ａに表示された指定エリアＡｓと関連付ける電子コンテンツとして、動画ファイルが指定されていると判断する。従って、関連付け手段３４２は、「断層○○町．ｍｐ４」の全再生時間のうち、実際に再生させたい時間帯の開始時間（再生開始時間）と、当該時間帯の終了時間（再生終了時間）とを入力するための再生表示条件入力欄３７０Ｂａ、３７０Ｂｂをそれぞれ表示する。また、処理手段３４は、再生表示条件入力欄３７０Ｂａの左側に「再生開始」と表示して、再生表示条件入力欄３７０Ｂａが再生開始時間を入力する欄であることを明確にすると共に、再生表示条件入力欄３７０Ｂｂの左側に「再生終了」と表示して、再生表示条件入力欄３７０Ｂｂが再生終了時間を入力する欄であることを明確にする。ここでは、再生表示条件入力欄３７０Ｂａには「２分１０秒」を再生開始時間に指定する旨の入力がなされ、再生表示条件入力欄３７０Ｂｂには「２分４０秒」を再生終了時間に指定する旨の入力がなされている。
【００６２】
同様に、ファイル名表示欄３６８Ｃには、「断層△△村．ｍｐ４」と表示されていることから、関連付け手段３４２は、指定エリア表示３６７Ｃに表示された指定エリアＡｓと関連付ける電子コンテンツとして、動画ファイルが指定されていると判断する。従って、関連付け手段３４２は、再生開始時間と、再生終了時間とをそれぞれ入力するための再生表示条件入力欄３７０Ｃａ、３７０Ｃｂを表示する。そして、ここでは、再生表示条件入力欄３７０Ｃａには「５分１２秒」を再生開始時間に指定する旨の入力がなされ、再生表示条件入力欄３７０Ｃｂには「６分３０秒」を再生終了時間に指定する旨の入力がなされている。
【００６３】
また、ファイル名表示欄３６８Ｄには、「断層□□市．ｊｐｇ」と表示されていることから、関連付け手段３４２は、指定エリア表示３６７Ｄに表示された指定エリアＡｓと関連付ける電子コンテンツとして、画像ファイルが指定されていると判断する。従って、この場合には、処理手段３４は、再生表示条件を定める必要がないと判断し、ファイル名表示欄３６８Ｄに対応する再生表示条件入力欄３７０を設けない。
【００６４】
画面戻るボタン３７１は、図６のエリア指定画面６０へ表示手段３６の出力画面を戻すためのボタンである。設定完了ボタン３７２は、関連付け内容設定画面６１での設定内容を確定するためのボタンである。
【００６５】
設定完了ボタン３７２が選択された場合、関連付け手段３４２は、指定エリア表示３６７Ａ〜３６７Ｄに表示された指定エリアＡｓの各々に対し、ファイル名表示欄３６８Ａ〜３６８Ｄに表示された電子コンテンツのファイルと、各再生表示条件入力欄３７０に入力された再生表示条件とを関連付ける情報を指定エリア定義情報として記憶手段３３に記憶させる。
【００６６】
図８（Ｂ）は、設定完了ボタン３７２が選択された後での記憶手段３３が記憶する指定エリア定義情報のデータ構造を示す。図８（Ｂ）に示すように、図７に示す状態で設定完了ボタン３７２が選択された場合、関連付け手段３４２は、関連付け内容設定画面６１での入力内容に基づき、各指定エリア番号に対して、電子コンテンツの格納場所（パス）及び再生表示条件を関連付けて記憶手段３３に記憶される。これにより、コンピュータ装置３は、教科書２又はドットスクリーン５に表示された電子教科書２Ａの指定エリアＡｓの表示位置が電子ペン１によりタップされた場合、図８（Ｂ）に示す指定エリア定義情報を参照することで、電子コンテンツの再生表示を指定された再生表示条件に従い実行することが可能となる。
【００６７】
［関連付け活用処理］
次に、指定エリア定義情報が生成された後に実行される関連付け活用処理について図９及び図１０を参照して説明する。
【００６８】
図９は、見開き状態の教科書２の上面図を示す。図９の二点鎖線枠９０Ａ〜９０Ｄは、それぞれ、図８（Ｂ）の各指定エリア番号に対応する指定エリアＡｓの位置を示す仮想的な線である。
【００６９】
図９に示す状態で、講師が二点鎖線枠９０Ａ〜９０Ｄ内のいずれかの位置を電子ペン１によりタップすると、再生表示制御手段３４３は、指定エリア定義情報を参照し、タップされた位置に対応する指定エリアＡｓに関連付けられた電子コンテンツを、同じく関連付けられた再生表示条件に従い再生する。具体的には、二点鎖線枠９０Ａ〜９０Ｄ内に印刷されたドットパターンを電子ペン１が読み取ることで生成された記入情報をコンピュータ装置３が電子ペン１から受信すると、再生表示制御手段３４３は、座標定義情報を参照し、受信した記入情報に含まれる座標情報が示す位置座標から、当該位置座標が指し示す教科書ＩＤ、ページ番号、及びページ内位置を認識する。次に、再生表示制御手段３４３は、指定エリア定義情報を参照し、認識した教科書ＩＤ、ページ番号、及びページ内位置に対応する指定エリアＡｓが存在することを認識する。そして、この場合、再生表示制御手段３４３は、認識した指定エリアＡｓに関連付けられた電子コンテンツを、同じく関連付けられた再生表示条件に従い再生する。
【００７０】
例えば、図９に示す二点鎖線枠９０Ａ内の任意の位置が電子ペン１によりタップされると、再生表示制御手段３４３は、電子ペン１から送信される記入情報及び図８（Ｂ）に示す指定エリア定義情報に基づき、指定エリア番号が「１」の指定エリアＡｓが選択されたことを認識する。従って、この場合、再生表示制御手段３４３は、表示手段３６及びプロジェクタ４に画像信号を送信し、表示手段３６及びドットスクリーン５の投影範囲５０に「ワークシート．ｐｄｆ」の１ページ目を表示させる。
【００７１】
図１０は、ファイル「ワークシート．ｐｄｆ」の表示例を示す。図１０に示すように、ファイル「ワークシート．ｐｄｆ」は、解答欄７０Ａ〜７０Ｅを有する。そして、ドットスクリーン５に表示された「ワークシート．ｐｄｆ」の解答欄７０Ａ〜７０Ｅへ生徒等が電子ペン１により書込みを行った場合、処理手段３４は、記入情報に含まれる座標情報を、座標変換関数に基づき表示手段３６の画面上での座標情報に変換し、当該座標情報に基づきストロークを表示手段３６に描画する。また、処理手段３４は、表示手段３６に画像を表示させるための画像信号をプロジェクタ４に送信し、表示手段３６の画像と同じ画像を同期して投影させる。これにより、ドットスクリーン５にも同様に、電子ペン１の記入者が描いたストロークが投影される。
【００７２】
再び図９を参照し、指定エリアＡｓが電子ペン１によりタップされた際の動作について説明する。図９に示す二点鎖線枠９０Ｂ内の任意の位置が電子ペン１によりタップされると、再生表示制御手段３４３は、電子ペン１から送信される記入情報及び図８（Ｂ）に示す指定エリア定義情報に基づき、指定エリア番号が「２」の指定エリアＡｓが選択されたことを認識する。従って、この場合、再生表示制御手段３４３は、表示手段３６及びプロジェクタ４に画像信号を送信し、表示手段３６及びドットスクリーン５の投影範囲５０に「断層○○町．ｍｐ４」の動画を２分１０秒から２分４０秒まで表示させる。
【００７３】
同様に、二点鎖線枠９０Ｃ内の任意の位置が電子ペン１によりタップされると、再生表示制御手段３４３は、電子ペン１から送信される記入情報及び図８（Ｂ）に示す指定エリア定義情報に基づき、指定エリア番号が「３」の指定エリアＡｓが選択されたことを認識する。従って、この場合、再生表示制御手段３４３は、表示手段３６及びプロジェクタ４に画像信号を送信し、表示手段３６及びドットスクリーン５の投影範囲５０に「断層△△村．ｍｐ４」の動画を５分１２秒から６分３０秒まで表示させる。また、二点鎖線枠９０Ｄ内の任意の位置が電子ペン１によりタップされると、再生表示制御手段３４３は、電子ペン１から送信される記入情報及び図８（Ｂ）に示す指定エリア定義情報に基づき、指定エリア番号が「４」の指定エリアＡｓが選択されたことを認識する。従って、この場合、再生表示制御手段３４３は、表示手段３６及びプロジェクタ４に画像信号を送信し、表示手段３６及びドットスクリーン５の投影範囲５０に「断層□□市．ｊｐｇ」の画像を表示させる。
【００７４】
また、電子教科書２Ａのページがドットスクリーン５の投影範囲５０に表示された場合も、同様に、コンピュータ装置３は、電子ペン１から送信される記入情報及び図８（Ｂ）に示す指定エリア定義情報に基づき、電子コンテンツを指定された再生表示条件に従い再生表示する。具体的には、投影範囲５０内における指定エリアＡｓの表示位置が電子ペン１によりタップされた場合、再生表示制御手段３４３は、受信した記入情報の座標情報を座標変換関数により表示手段３６のディスプレイにかかる座標系に変換し、変換後の位置座標が指し示す表示中の電子教科書２Ａにおけるページ番号及びページ内位置を認識する。そして、再生表示制御手段３４３は、指定エリア定義情報を参照し、表示中の電子教科書２Ａに対応する教科書ＩＤ並びに認識したページ番号及びページ内位置に基づき、指定エリアＡｓが指定されたか否か判定し、指定エリアＡｓが指定されたと判断した場合には、当該指定エリアＡｓと関連付けられた電子コンテンツを、指定エリア定義情報において指定された再生表示条件に従い再生する。
【００７５】
［本実施形態の電子ペンシステムによる作用効果］
本実施形態の電子ペンシステムによれば、コンピュータ装置３は、エリア指定画面において、電子教科書２Ａの表示部分から指定エリアＡｓを指定する入力を受け付ける。さらに、コンピュータ装置３は、関連付け内容設定画面において、指定エリアＡｓと、電子コンテンツと、再生表示条件とを関連付ける。そして、コンピュータ装置３は、教科書２やドットスクリーン５において電子ペン１により指定エリアＡｓの表示位置がタップされたと判断した場合に、タップされた指定エリアＡｓと関連付けられた電子コンテンツを再生表示条件に従い再生表示する。従って、コンピュータ装置３は、操作者が意図する電子コンテンツを意図した再生表示条件に従い再生表示することができ、利便性を向上させることができる。
【００７６】
また、コンピュータ装置３は、関連付け内容設定画面において、関連付ける電子コンテンツが設定された場合、当該電子コンテンツの種類に応じて、再生表示条件入力欄３７０の構成を変更する。これにより、コンピュータ装置３は、電子コンテンツの種類に即した再生表示条件を操作者に入力させることができる。
【００７７】
［変形例］
次に、本実施形態の変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施形態に適用してもよい。
【００７８】
（変形例１）
電子コンテンツは、記憶手段３３に記憶されている代わりに、コンピュータ装置３と電気的に接続したサーバに記憶されていてもよい。図１１は、変形例に係る電子ペンシステムの構成を示す。図１１に示すように、電子ペンシステムは、コンピュータ装置３とネットワークを介して接続したサーバ８を備える。
【００７９】
まず、本変形例において、サーバ８に電子コンテンツをアップロードする方法について説明する。例えば、サーバ８が学内に構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続されている場合、学内の教員がそれぞれ使用するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などのコンピュータ装置から教科書２の内容と関連する電子コンテンツをサーバ８へアップロードする。他の例では、サーバ８がインターネットに接続されている場合、全国の教員や教材製作会社の社員がそれぞれ使用するコンピュータ装置から教科書２の内容と関連する電子コンテンツをサーバ８へアップロードする。
【００８０】
次に、本変形例において、サーバ８からコンピュータ装置３が電子コンテンツをダウンロードするタイミングについて、第１の例〜第３の例を用いて具体的に説明する。第１の例では、コンピュータ装置３は、操作者の操作に基づき、上述の関連付け処理を実行する前に、使用する教科書２に関連する電子コンテンツをサーバ８からダウンロードする。そして、コンピュータ装置３は、上述の［関連付け処理］のセクションで述べた処理を行う。
【００８１】
第２の例では、コンピュータ装置３は、関連付け内容設定画面６１の表示時に、所定の指定エリアＡｓと関連付ける旨の指定があった電子コンテンツをサーバ８からダウンロードする。第３の例では、コンピュータ装置３は、関連付け処理が完了した後、指定エリアＡｓが選択され、当該指定エリアＡｓに関連付けられた電子コンテンツを再生表示する際に、サーバ８から当該電子コンテンツをダウンロードする。なお、第３の例において、電子コンテンツが動画である場合には、コンピュータ装置３は、電子コンテンツをダウンロードする代わりに、ストリーミングにより当該電子コンテンツを再生してもよい。
【００８２】
ここで、第２の例及び第３の例では、好適には、図７の関連付け内容設定画面６１において、いずれかの参照ボタン３６９が選択された場合に、コンピュータ装置３は、サーバ８の記憶手段等にアクセスすることで、サーバ８が記憶する電子コンテンツについても、指定エリアＡｓに関連付ける電子コンテンツとして選択可能にする。
【００８３】
（変形例２）
図７の関連付け内容設定画面６１では、コンピュータ装置３は、参照ボタン３６９により、指定エリアＡｓと関連付ける電子コンテンツを操作者に選択させていた。これに代えて、コンピュータ装置３は、電子コンテンツを閲覧可能な動画サイトなどのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を操作者に指定させてもよい。例えば、この場合、ファイル名表示欄３６８Ａ〜３６８Ｄは、キーボードによる入力等により直接入力が可能な入力欄であり、操作者は、任意のファイル名表示欄３６８を選択して、キーボード入力等により所望のＵＲＬを当該ファイル名表示欄３６８に入力する。
【００８４】
（変形例３）
電子ペンシステムは、ドットスクリーン５に代えて、圧力を検知することが可能に構成された感圧式ボード（シート）又はボード表面の直下にワイヤが埋め込まれた電磁式ボードなどの電子ボードを備えてもよい。例えば、感圧式ボードの場合、所定のペン（スタイラス）で圧力を加えるとボード中に設けられた電気伝導性の２枚のシートが接触して電気信号が発生し、当該電気信号に基づき、コンピュータ装置３は、接触位置を検出する。また、電磁式ボードの場合、電子ペンシステムは、電子ペン１に代えてコイルを埋め込んだスタイラスを備え、ステイラスを電磁式ボードに接触させると、電磁式ボードは、スタイラスとの電磁誘導に基づき接触位置に相当する電気信号を発生し、当該電気信号に基づき、コンピュータ装置３は、接触位置を検出する。
【００８５】
そして、いずれの入力方式のボード（シート）を用いる場合であっても、コンピュータ装置３は、ドットスクリーン５と同様の方法により、ボードかかる座標系を表示手段３６のディスプレイにかかる座標系に変換するための座標変換関数を関連付け処理等を行う前に予め求める。そして、コンピュータ装置３は、求められた座標変換関数を用いて、ボード上の接触位置に相当する座標データを受信した場合に、表示手段３６のディスプレイにかかる座標系のデータに変換し、表示された電子教科書２Ａ中の指定エリアＡｓが選択されたか否か等を検知する。
【００８６】
（変形例４）
電子ペンシステムは、電子ペン１及び教科書２に代えて、電子教科書２Ａのデータが記憶されたｉＰａｄ（登録商標）などのタッチパネルを備えるタブレットＰＣを備えてもよい。
【００８７】
この場合、タブレットＰＣは、電子教科書２Ａを見開き状態で表示すると共に、タッチパネル操作に基づき表示中のページを変更する。また、関連付け活用処理では、操作者が指定エリアＡｓの表示部分を指により触れた場合、タブレットＰＣは、接触があった電子教科書２Ａに関連づけられた教科書ＩＤと、接触があったページのページ番号と、及び当該ページにおけるページ内位置とに関する検出信号をコンピュータ装置３に送信し、コンピュータ装置３は、当該検出信号に基づき接触があった指定エリアＡｓを特定し、当該指定エリアＡｓと関連付けられた電子コンテンツの再生表示を行う。
【００８８】
（変形例５）
電子コンテンツは、音声を含む動画コンテンツであってもよく、音声のみのコンテンツであってもよい。この場合、コンピュータ装置３は、スピーカなどの音声出力手段をさらに備え、再生表示制御手段３４３は、再生すべき電子コンテンツが音声を含む場合には、音声出力手段により音声を出力させる。
【００８９】
（変形例６）
上記実施形態においては、図６に示すように、電子教科書２Ａを表示させた状態で、マウスのドラッグ操作により、任意のエリアを指定した。その代わりに、電子教科書２Ａに掲載されている写真、イラスト、文字が表示されたブロックなどのエリアが、マウスのクリック操作により指定できるよう予め設定されていてもよい。これにより、ユーザが、電子コンテンツと関連付ける対象を、任意の写真、イラスト、ブロックなどのエリアをマウスのクリック操作で指定できるようにしてもよい。
【００９０】
（変形例７）
上記実施形態において、電子ペン、ドットパターン（コード化パターン）、記入情報に、アノト方式を用いたが、アノト方式に限られなくともよい。
【符号の説明】
【００９１】
１…電子ペン
２…ドットパターン用紙
３…コンピュータ装置
４…プロジェクタ
５…ドットスクリーン
８…サーバ
【技術分野】
【０００１】
本発明は、電子ペンで読み取り可能なコード化パターンを利用した技術に関する。
【背景技術】
【０００２】
従来から、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのＡｎｏｔｏ社が開発した「アノトペン（Ａｎｏｔｏ ｐｅｎ）」が知られている。例えば、特許文献１に記載されているように、アノトペンは、用紙に印刷された所定のドットパターンを読み取って記入情報を生成し、当該記入情報を端末装置に送信する。
【０００３】
特許文献２には、ドットパターンに対向する電子ペンの角度に起因するドットの画像上の配列を補正する回転補正処理機能が記載されている。さらに、特許文献３には、授業で用いられる教材データが蓄積された配信サーバから配信された教材データを指導案と関連付けて格納する教材サーバを有し、教材サーバに格納された教材データを指導案に基づく授業の進行に沿って表示する教室端末及び大型スクリーンを備える授業支援システムが開示されている。また、特許文献４には、教師や学生・生徒といった教育現場に参加するユーザの情報端末から、インターネットを介して複数のコンテンツ提供者のコンテンツサーバにアクセスして、適切なコンテンツを取得し、そのコンテンツを教材として利用する電子教材の共有方法について開示されている。さらに、特許文献５には、授業などに活用するため、教材コンテンツをインターネット等でサーバからダウンロードして、電子黒板等に表示する技術が開示されている。
【０００４】
さらに、特許文献６には、教材の任意のページに、コードを記憶させたＲＦＩＤタグを埋め込み、ＲＦＩＤタグのコードを読み取ることで、教材コンテンツをコンピュータから検索し、プロジェクタからスクリーンへ検索した教材コンテンツの映像を投影する技術が開示されている。また、特許文献７には、紙に印刷されたアイコンのドットパターンと、コンテンツのデータとを関連付ける技術が開示されている。そして、特許文献８には、教材のコンテンツをサーバにアップロードし、他の先生がその教材をダウンロードして使える教材配信システムが開示されている。この教材配信システムでは、デジタル教材のアイコンをクリックすると、教材コンテンツである解説の一覧表示がされる。この一覧表示では、評価の高い順にリスト表示され、教材作成者のコメントや、ダウンロード回数が表示され、利用者の評価も入力可能となっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３８７２４９８号公報
【特許文献２】特表２００３−５２９８５３号公報
【特許文献３】特開２００２−０７２８５０号公報
【特許文献４】特開２００４−２２６４５９号公報
【特許文献５】特開２００４−２５８１８４号公報
【特許文献６】特開２００４−０１２５３９号公報
【特許文献７】特許第３９５６０２６号公報
【特許文献８】特開２００１−２４２７７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
授業中などで、開いている教科書（教材）の所定の図面部分などを講師が電子ペンなどによりタップすることで、タップした部分と関連する動画などの電子コンテンツを再生又は表示して受講者に視聴させることができると便宜である。この際、電子コンテンツが動画等の場合には、再生したい電子コンテンツの再生部分が必ずしも電子コンテンツ全体であるとは限らず、また、電子コンテンツが電子文書等の場合には、表示したい電子コンテンツの表示位置が必ずしも先頭ページであるとは限らない。そこで、本発明は、教材に関連する電子コンテンツを再生又は表示する際に、操作者が意図する再生又は表示条件に基づき電子コンテンツを再生することが可能なコンピュータ装置、電子ペンシステム、及びプログラムを提供することを主な課題とする。
【課題を解決するための手段】
【０００７】
本発明に係るコンピュータ装置は、電子教材を表示手段に表示させ、前記電子教材の表示部分から任意のエリアを指定する入力を受け付けるエリア指定受付手段と、前記入力に基づき指定された指定エリアと、前記電子教材の内容に関連する電子コンテンツと、前記電子コンテンツの再生又は表示条件とを関連付ける関連付け手段と、前記指定エリアが選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを前記再生又は表示条件に従い前記表示手段又は／及び音声出力手段に再生又は表示させる再生表示制御手段とを備える。
【０００８】
この構成により、コンピュータ装置は、電子教材の表示部分から任意のエリアを指定する入力を受け付け、当該入力に基づき指定された指定エリアと、電子教材の内容に関連する電子コンテンツと、電子コンテンツの再生又は表示条件（再生表示条件）とを関連付ける。その後、コンピュータ装置は、指定エリアが選択されたと判断した場合に、指定エリアと関連付けられた電子コンテンツを再生表示条件に従い再生又は表示（再生表示）させる。このように、コンピュータ装置は、指定された指定エリアに対し、電子コンテンツに加えて、その再生表示条件を関連付けることで、指定エリアが選択された場合に、その再生表示条件に従い電子コンテンツを再生することができる。従って、コンピュータ装置は、操作者が意図する電子コンテンツを意図した再生表示条件に従い再生表示することができ、利便性を向上させることができる。
【０００９】
上記コンピュータ装置の一態様では、前記関連付け手段は、前記指定エリアに対し、関連付ける電子コンテンツと、当該電子コンテンツの再生又は表示条件とを設定するための設定画面を前記表示手段に表示させ、前記関連付ける電子コンテンツが設定された場合、当該電子コンテンツの種類に応じて、前記再生又は表示条件として設定すべき内容を変更する。一般に、電子コンテンツの種類によって設定すべき再生表示条件の内容は異なる。従って、この態様により、コンピュータ装置は、電子コンテンツの種類に即した適切な再生表示条件を指定エリアに関連付けることができる。
【００１０】
上記コンピュータ装置の他の一態様では、前記関連付け手段は、前記設定画面において設定された電子コンテンツの種類が動画の場合には、当該電子コンテンツにおける再生開始時間又は／及び再生終了時間を入力するための入力欄を前記設定画面中に設ける。この態様により、コンピュータ装置は、ユーザの操作に従い、教材に関連した動画コンテンツを再生する場合に、ユーザが意図する部分のみを再生することができる。
【００１１】
上記コンピュータ装置の他の一態様では、前記関連付け手段は、前記設定画面において設定された電子コンテンツの種類が電子文書の場合には、当該電子コンテンツの表示ページを入力するための入力欄を前記設定画面中に設ける。この態様により、コンピュータ装置は、ユーザの操作に従い、教材に関連した電子文書を表示する場合に、ユーザが意図するページを直ちに表示することができる。
【００１２】
本発明に係る電子ペンシステムは、コード化パターンが表面に付されたスクリーンと、画像信号に基づく光を前記スクリーンの表面に出射するプロジェクタと、前記プロジェクタに画像信号を送信する請求項１乃至４のいずれか一項に記載のコンピュータ装置と、コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンとを備える電子ペンシステムであって、前記コンピュータ装置の再生表示制御手段は、前記スクリーンに電子教材を投影表示させた状態で、前記電子ペンから受信した記入情報に基づき、前記スクリーンに投影された電子教材の前記指定エリアが前記電子ペンにより選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させる。
【００１３】
この態様では、電子ペンシステムは、プロジェクタにより、スクリーンに電子教材を投影表示させた場合に、関連付けがなされた指定エリアのスクリーン上の表示部分のコード化パターンを電子ペンが読み取った場合に、当該指定エリアと関連付けられた電子コンテンツを、再生表示条件に従い再生表示させる。このようにすることで、電子ペンシステムは、スクリーンへの電子ペンの操作に基づき、好適に、教材と関連する電子コンテンツを、指定された再生表示条件に従い再生表示することができる。
【００１４】
本発明に係る電子ペンシステムの別の態様では、請求項１乃至４のいずれか一項に記載のコンピュータ装置と、コード化パターンが印刷された教材と、コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンとを備える電子ペンシステムであって、前記電子教材は前記教材を電子化したものであり、前記再生表示制御手段は、前記電子ペンから受信した記入情報に基づき、前記電子教材の前記指定エリアに相当する前記教材のエリアが前記電子ペンにより選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させる。
【００１５】
この態様では、電子ペンシステムは、電子教材と同一内容であって、コード化パターンが印刷された教材を有し、関連付けられた指定エリアに相当する教材の位置のコード化パターンを電子ペンが読み取った場合に、当該指定エリアと関連付けられた電子コンテンツを、再生表示条件に従い再生表示させる。このようにすることで、電子ペンシステムは、教材への電子ペンの操作に基づき、好適に、教材と関連する電子コンテンツを、指定された再生表示条件に従い再生表示することができる。
【００１６】
上記の電子ペンシステムの一態様では、前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、前記コンピュータ装置の関連付け手段は、前記指定エリアに前記サーバ装置が記憶する電子コンテンツを関連付ける場合に、当該電子コンテンツを前記サーバ装置から受信する。この態様により、コンピュータ装置は、好適に、電子コンテンツを受信して再生表示することができる。
【００１７】
上記の電子ペンシステムの他の一態様では、前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、前記コンピュータ装置の再生表示制御手段は、前記指定エリアが選択された場合、当該指定エリアに関連付けられた電子コンテンツを前記サーバ装置からダウンロードすることで、又は、前記サーバ装置から当該電子コンテンツのストリーミングの配信を受けることで、当該電子コンテンツを前記表示手段又は／及び前記音声出力手段に再生又は表示させる。この態様により、コンピュータ装置は、サーバ装置からダウンロードして記憶すべき電子コンテンツを少なくすることができ、使用する記憶容量を低減することができる。
【００１８】
本発明に係るプログラムは、コンピュータ装置に搭載され実行されるプログラムであって、電子教材を表示手段に表示させ、前記電子教材の表示部分から任意のエリアを指定する入力を受け付けるエリア指定受付手段と、前記入力に基づき指定された指定エリアと、前記電子教材の内容に関連する電子コンテンツと、前記電子コンテンツの再生又は表示条件とを関連付ける関連付け手段と、前記指定エリアが選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを前記再生又は表示条件に従い前記表示手段又は／及び音声出力手段に再生又は表示させる再生表示制御手段として前記コンピュータ装置を機能させる。
【００１９】
上記プログラムの一態様では、前記関連付け手段は、前記指定エリアに対し、関連付ける電子コンテンツと、当該電子コンテンツの再生又は表示条件とを設定するための設定画面を前記表示手段に表示させ、前記関連付ける電子コンテンツが設定された場合、当該電子コンテンツの種類に応じて、前記再生又は表示条件として設定すべき内容を変更する。
【００２０】
上記プログラムの他の一態様では、前記関連付け手段は、前記設定画面において設定された電子コンテンツの種類が動画の場合には、当該電子コンテンツにおける再生開始時間又は／及び再生終了時間を入力するための入力欄を前記設定画面中に設ける。
【００２１】
上記プログラムの他の一態様では、前記関連付け手段は、前記設定画面において設定された電子コンテンツの種類が電子文書の場合には、当該電子コンテンツの表示ページを入力するための入力欄を前記設定画面中に設ける。
【００２２】
本発明に係るプログラムの別の態様では、コード化パターンが表面に付されたスクリーンと、画像信号に基づく光を前記スクリーンの表面に出射するプロジェクタと、前記プロジェクタに画像信号を送信する請求項１乃至４のいずれか一項に記載のコンピュータ装置と、コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンとを備える電子ペンシステムの前記コンピュータ装置に搭載され実行されるプログラムであって、前記再生表示制御手段は、前記スクリーンに電子教材を投影表示させた状態で、前記電子ペンから受信した記入情報に基づき、前記スクリーンに投影された電子教材の前記指定エリアが前記電子ペンにより選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させる。
【００２３】
本発明に係るプログラムのさらに別の態様では、請求項１乃至４のいずれか一項に記載のコンピュータ装置と、コード化パターンが印刷された教材と、コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンとを備える電子ペンシステムの前記コンピュータ装置に搭載され実行されるプログラムであって、前記電子教材は前記教材を電子化したものであり、前記再生表示制御手段は、前記電子ペンから受信した記入情報に基づき、前記電子教材の前記指定エリアに相当する前記教材のエリアが前記電子ペンにより選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させる。
【００２４】
上記プログラムの一態様では、前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、前記関連付け手段は、前記指定エリアに前記サーバ装置が記憶する電子コンテンツを関連付ける場合に、当該電子コンテンツを前記サーバ装置から受信する。
【００２５】
上記プログラムの他の一態様では、前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、前記再生表示制御手段は、前記指定エリアが選択された場合、当該指定エリアに関連付けられた電子コンテンツを前記サーバ装置からダウンロードすることで、又は、前記サーバ装置から当該電子コンテンツのストリーミングの配信を受けることで、当該電子コンテンツを前記表示手段又は／及び前記音声出力手段に再生又は表示させる。
【００２６】
これらのプログラムをコンピュータ装置にインストールして機能させることで、本発明に係るコンピュータ装置を構成させることができる。
【発明の効果】
【００２７】
本発明によれば、コンピュータ装置は、表示された電子教科書から任意のエリアを指定させて、当該指定された指定エリアに対し、電子コンテンツに加えて、その再生表示条件を関連付ける。これにより、コンピュータ装置は、指定された指定エリアが選択された場合に、関連付けした再生表示条件に従い、関連付けした電子コンテンツを再生することができる。従って、コンピュータ装置は、操作者が意図する電子コンテンツを意図した再生表示条件に従い再生表示することができ、利便性を向上させることができる。
【図面の簡単な説明】
【００２８】
【図１】本実施形態に係る電子ペンシステムの構成を示す。
【図２】ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。
【図３】（ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。
【図４】電子ペンの構造を示す概略図である。
【図５】コンピュータ装置の機能ブロック図である。
【図６】エリア指定画面の表示例である。
【図７】関連付け内容設定画面の表示例である。
【図８】指定エリア定義情報のデータ構造を示す。
【図９】見開き状態の教科書の上面図を示す。
【図１０】ファイル「ワークシート．ｐｄｆ」の表示例を示す。
【図１１】変形例に係る電子ペンシステムの構成を示す。
【発明を実施するための形態】
【００２９】
以下、図面を参照しながら、本発明を実施するのに好適な実施形態について説明する。以下に説明する電子ペンシステムは、学校の授業などに好適に用いられ、教科書（教材）の任意の範囲と動画などの電子コンテンツとその再生又は表示条件との関連付けを行い、電子ペンの操作により電子コンテンツを再生又は表示するシステムである。
【００３０】
［電子ペンシステムの構成］
図１は、本実施形態に係る電子ペンシステムの構成を示す。図１に示すように、電子ペンシステムは、講師が使用する電子ペン１と、各ページの略全面にドットパターンが印刷された教科書（教材）２と、電子ペン１から記入情報等を受信して処理するコンピュータ装置３と、コンピュータ装置３と接続され、そのディスプレイの表示画面と同じ画像をドットスクリーン５に投影するプロジェクタ４と、ドットパターンが印刷されたドットスクリーン５とを備える。以下、これらの各構成要素について説明する。
【００３１】
（教科書）
まず、教科書（電子ペン用図書）２について説明する。教科書２の各ページには、その略全面に後述する位置座標を示すドットパターン（コード化パターン）が印刷される。また、教科書２の各ページには、それぞれ異なる座標範囲のドットパターンが印刷される。ドットパターンは、電子ペン１により読み取ることができるように赤外線を吸収するカーボンを含んだインクにより印刷され、その他の文字や図などは、赤外線を吸収しないインキにより印刷される。
【００３２】
（ドットスクリーン）
ドットスクリーン５は、白地の樹脂基板に、電子ペン１により読み取ることができるよう赤外線を吸収するカーボンを含んだインクによりドットパターン（コード化パターン）が印刷され、さらにドットパターンが例えば透明なＥＢ硬化樹脂層などで保護された層構成を有している。
【００３３】
（プロジェクタ）
プロジェクタ４は、ドットスクリーン５に対して鉛直上方向から斜め下向きに光を出射するプロジェクタであり、例えば教室の壁等に設置される。プロジェクタ４は、コンピュータ装置３から画像信号を受信し、コンピュータ装置３の画面と同じ画像を構成する光を所定の投影範囲５０に投影する。投影範囲５０には、後述するように、教科書２を電子化した電子教科書２Ａ（後述の図６参照）などが表示される。なお、プロジェクタ４は、ドットスクリーン５の正面へ向けて光を出射するフロントプロジェクタ、又は、ドットスクリーン５の背面へ向けて光を出射するリアプロジェクタであってもよい。
【００３４】
（ドットパターン）
続いて、教科書２の各ページやドットスクリーン５に印刷されたアノト方式のドットパターン（コード化パターン）について図２及び図３を用いて説明する。図２は、ドットパターンのドットとそのドットが変換される値との関係を説明する図である。図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を仮想格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、教科書２の各ページやドットスクリーン５上の位置座標が決定されるよう構成されている。なお、教科書２のページ同士又は教科書２の各ページとドットスクリーン５とでは座標領域が重ならないようドットパターンが形成される。
【００３５】
図３（ａ）は、あるドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、教科書２の各ページやドットスクリーン５上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンが教科書２の各ページやドットスクリーン５上のどの位置にあるのか）を保持している。図３（ｂ）は、図３（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図２に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。
【００３６】
（電子ペン）
次に、電子ペン１について図４を用いて説明する。図４は、電子ペン１の構造を示す概略図である。図４に示すように、電子ペン１は、その筐体１０１の内部に、インクカートリッジ１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。インクカートリッジ１０４の先端は、ペン先部１０３となっており、ユーザは、電子ペン１のペン先部１０３を教科書２の各ページやドットスクリーン５上に当接させて、ストローク（手書きストローク）を記入する。ここで、電子ペン１のペン先部１０３が教科書２の各ページ等に最初に接触することを「ペンダウン」と呼び、接触している（当接している）状態からペン先部１０３が離れることを「ペンアップ」と呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つのストロークとなり、文字や図形等は、１つ又は複数個のストロークからなる。
【００３７】
バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１により教科書２の各ページ等に文字やマークを書いたりタップしたりする際にペン先部１０３からインクカートリッジ１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。
【００３８】
プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切替える。即ち、ユーザが電子ペン１で教科書２の各ページ等に文字などを書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。そして、通信ユニット１１１が、圧力センサ１０７により検出されたペンダウン情報（以後、「ペンダウン情報ＰＤ」と呼ぶ。）と、後述する電子ペン１の識別情報（以後、「ペンＩＤ」と呼ぶ。）とを関連付けて、記入情報としてコンピュータ装置３へ送信する。また、ユーザが１つのストロークを記入し終えて電子ペン１を教科書２の各ページから離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、通信ユニット１１１が、圧力センサ１０７により検出されたペンアップ情報（以後、「ペンアップ情報ＰＵ」と呼ぶ。）とペンＩＤとを関連付けて、記入情報としてコンピュータ装置３へ送信する。
【００３９】
ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、教科書２の各ページ上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３が教科書２の各ページに接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６には、赤外線を透過し赤外線以外を遮断する赤外線透過フィルタが設けられており、ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。したがって、教科書２の各ページに文字や図面などが印刷されていた場合でも、印刷したインクは赤外域に吸収性を持たないため、プロセッサ１０８は、ドットパターンを認識することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。また、ＣＭＯＳカメラ１０６は、ドットを鮮明に撮影するため、十分な被写界深度を有している。
【００４０】
プロセッサ１０８は、ユーザの記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、ユーザが記入するストローク（筆跡）の教科書２の各ページ等におけるＸ、Ｙ座標（以後、単に「座標データ」または「座標情報」とも呼ぶ。）を連続的に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ、Ｙ座標データを演算する。なお、プロセッサ１０８は、ドットパターンに対向する電子ペン１の角度に起因するドットの画像上の配列を補正する回転補正処理機能を備えており、座標演算の際にその機能が発揮される。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ及びＸ、Ｙ座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、教科書２の各ページやドットスクリーン５における６×６のドットパターンは、教科書２の各ページ及びドットスクリーン５内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置が教科書２の各ページ又はドットスクリーン５のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。
【００４１】
メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、ドットスクリーン５のドットパターンを読み込ませて書き込むための電子ペン１Ｂの場合、通信ユニット１１１は、ペンＩＤと、時刻情報（タイムスタンプ）と、筆圧データと、Ｘ、Ｙ座標データとを関連付けて、記入情報としてコンピュータ装置３へ送信する。この場合通信ユニット１１１によるコンピュータ装置３への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、即時的かつ逐次的に行われる。ここで、電子ペン１のペンダウンからペンアップまでの間に生成されてコンピュータ装置３に送信された１個又は複数個の座標属性情報は、コンピュータ装置３によりストローク情報として記憶される。換言すると、１つのストロークは、１個又は複数個のＸ、Ｙ座標（座標点）からなり、コンピュータ装置３は、ペンダウン情報ＰＤ及びペンアップ情報ＰＵによって、１つのストロークを構成する１個又は複数個の座標属性情報を認識する。
【００４２】
（コンピュータ装置）
次に、コンピュータ装置３について説明する。コンピュータ装置３は、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等で構成される。なお、コンピュータ装置３は、ｉＰａｄ（登録商標）などのタブレットＰＣやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）、またはディスプレイを備えるＰＣ（パーソナルコンピュータ）等で構成されてもよい。
【００４３】
図５は、コンピュータ装置３の機能ブロック図である。コンピュータ装置３は、機能的には、マウスやキーボードといった入力手段３１、通信手段３２、記憶手段３３、処理手段３４、表示手段３６、インターフェース３８を備える。通信手段３２は、アンテナ受信回路等により構成され、電子ペン１から記入情報を受信し、受信した情報を処理手段３４に伝送する。表示手段３６は、ディスプレイ等によって構成され、処理手段３４によって指示された内容を表示する。インターフェース３８は、プロジェクタ４と接続するためのインターフェースである。インターフェース３８は、処理手段３４の処理命令に基づき、表示手段３６に画像を表示するための画像信号をプロジェクタ４に送信し、表示手段３６の画像と同じ画像を同期して投影させる。
【００４４】
処理手段３４は、ＣＰＵ等のプロセッサによって構成され、コンピュータ装置３の全体の制御を行う。処理手段３４は、エリア指定受付手段３４１と、関連付け手段３４２と、再生表示制御手段３４３とを備える。エリア指定受付手段３４１は、教科書２が電子化された電子教科書２Ａを表示した画面であって、表示された電子教科書２Ａから電子コンテンツと関連付ける任意のエリア（範囲）を指定するための画面（「エリア指定画面」とも呼ぶ。）を、表示手段３６に表示させる。そして、エリア指定受付手段３４１は、エリア指定画面において、マウスのドラッグ操作により、表示された電子教科書２Ａから、電子コンテンツと関連付けるエリアを操作者である講師に指定させる。エリア指定画面において指定された電子教科書２Ａ（教科書２）上のエリアを「指定エリアＡｓ」とも呼ぶ。エリア指定画面の詳細については［関連付け処理］のセクションで図６を用いて後述する。
【００４５】
次に、処理手段３４の関連付け手段３４２は、指定された指定エリアＡｓに対し、関連付ける電子コンテンツ及びその電子コンテンツの再生又は表示（再生表示）を行う条件（「再生表示条件」とも呼ぶ。）を指定させるための画面（「関連付け内容設定画面」とも呼ぶ。）を表示手段３６に表示させる。そして、関連付け手段３４２は、関連付け内容設定画面での入力に基づき、指定エリアＡｓと電子コンテンツと再生表示条件とを関連付けて記憶手段３３に記憶させる。関連付け内容設定画面は、本発明における「設定画面」の一例であり、その詳細については［関連付け処理］のセクションで図７を用いて後述する。
【００４６】
さらに、処理手段３４の再生表示制御手段３４３は、教科書２のページ中の指定エリアＡｓが電子ペン１によりタップされた場合、又は、ドットスクリーン５に投影された電子教科書２Ａの指定エリアＡｓが電子ペン１によりタップされた場合、電子ペン１から受信した記入情報に基づき、当該指定エリアＡｓが電子ペン１により指定されたことを認識する。そして、再生表示制御手段３４３は、指定された指定エリアＡｓに関連付けられた電子コンテンツを、同じく関連付けられた再生表示条件に従い表示手段３６上に表示させる。この具体的な処理については、［関連付け活用処理］のセクションで詳しく説明する。
【００４７】
また、処理手段３４は、キャリブレーション用マークを少なくとも２以上、表示手段３６に表示させることにより、プロジェクタ４に対し、ドットスクリーン５にもキャリブレーション用マークを投影させ、キャリブレーション用マークが投影された位置のドットパターンを電子ペン１に読み取らせて記入情報を受信することで、ドットスクリーン５のドットパターンにかかる座標系を表示手段３６のディスプレイにかかる座標系に変換するための座標変換関数を求める（キャリブレーション処理機能）。さらに、処理手段３４は、そのキャリブレーション処理により求められた座標変換関数を用いて、ドットスクリーン５のドットパターンにかかる座標系のデータを受信したときに、表示手段３６のディスプレイにかかる座標系のデータに変換し、ストロークを描画したり、所定の処理を行ったりする。
【００４８】
記憶手段３３は、ＲＯＭやＲＡＭといったメモリによって構成される。記憶手段３３は、処理手段３４の処理命令により、電子ペン１から受信した記入情報をペンＩＤ毎に記憶する。また、記憶手段３３は、教科書２の種類ごとに当該教科書２の各ページに対応するドットパターンが示す座標範囲、及びドットスクリーン５に対応するドットパターンが示す座標範囲の情報（「座標定義情報」とも呼ぶ。）を記憶する。
【００４９】
さらに、記憶手段３３は、指定エリアＡｓと関連付けるための電子コンテンツを予め記憶しておく。この電子コンテンツには、講師が授業用に自らビデオカメラ等の撮影手段を用いて撮影を行った結果生成された映像データなどが含まれる。そして、記憶手段３３は、エリア指定画面において指定エリアＡｓが指定された場合、エリア指定受付手段３４１の制御に基づき、指定エリアＡｓごとに、当該指定エリアＡｓに対応する教科書２の識別情報である教科書ＩＤと、指定エリアＡｓが記載されたページ番号と、指定エリアＡｓが記載されたページ内における相対的な位置を示すページ内位置とを関連付けて記憶する。以後では、上述の教科書ＩＤ、ページ番号、及びページ内位置を「指定エリア特定情報」とも呼ぶ。さらに、記憶手段３３は、当該指定エリアＡｓに関連付ける電子コンテンツ及びその再生表示条件が定められた場合には、関連付け手段３４２の制御に基づき、指定エリアＡｓごとに、定められた電子コンテンツ及び再生表示条件を関連付けて記憶する。以後では、指定エリアＡｓごとに関連付けられた指定エリア特定情報、電子コンテンツ、及びその再生表示条件の対応関係を示す情報を「指定エリア定義情報」とも呼ぶ。指定エリア定義情報のデータ構造については、図８を参照して後述する。
【００５０】
［関連付け処理］
次に、指定エリアＡｓを決定する処理、及び、指定エリアＡｓに電子コンテンツ及び再生表示条件を関連付ける処理（これらの処理を単に「関連付け処理」とも呼ぶ。）について、図６に示すエリア指定画面及び図７に示す関連付け内容設定画面を参照してそれぞれ具体的に説明する。以下に説明する関連付け処理は、後述する関連付け活用処理を実行するための前処理に相当し、授業の準備の段階で講師が入力手段３１により入力する内容に基づきコンピュータ装置３が実行する処理である。従って、関連付け処理では、プロジェクタ４とコンピュータ装置３とが電気的に接続していなくてもよい。
【００５１】
（１）エリア指定画面
図６は、コンピュータ装置３の表示手段３６が出力するエリア指定画面６０の表示例である。図６に示すように、エリア指定画面６０は、電子教科書２Ａと、操作ボタン３６１〜３６４と、指定完了ボタン３６５とを表示する。処理手段３４のエリア指定受付手段３４１は、エリア指定画面６０を起動させる旨の所定の入力を入力手段３１により検知した場合、図６に示すエリア指定画面６０を表示手段３６に表示させる。
【００５２】
図６に示すように、エリア指定画面６０には、教科書２の各ページが電子化された見開き状態の電子教科書２Ａが表示されると共に、電子教科書２Ａが表示するページをユーザが指定するための操作ボタン３６１〜３６４が設けられている。操作ボタン３６１は、電子教科書２Ａの表示ページを最初のページに戻す、即ち電子教科書２Ａの１ページ目及び２ページ目を表示した状態に戻すためのボタンである。操作ボタン３６２は、電子教科書２Ａの表示ページを２ページ分戻す（図６では２０ページと２１ページを表示した状態にする）ためのボタンである。操作ボタン３６３は、電子教科書２Ａが表示するページを２ページ分進める（図６では２４ページと２５ページを表示する）ためのボタンである。操作ボタン３６４は、電子教科書２Ａの表示ページを最後のページに進めるためのボタンである。
【００５３】
そして、エリア指定画面６０には、「リンク付けの対象とするエリアをドラッグで指定して下さい。」と表示されている。このように、エリア指定受付手段３４１は、エリア指定画面６０において、操作者に対し、マウスによるドラッグ操作等により指定エリアＡｓを指定するように促す表示を行う。そして、エリア指定受付手段３４１は、表示された電子教科書２Ａ上でのマウスのドラッグ操作による入力を入力手段３１から検知する。エリア２１Ａ〜２１Ｄは、マウスのドラッグ操作により指定されたエリア（領域）を示す。好適には、処理手段３４は、マウスのドラッグ操作により指定したエリアを操作者が確認できるように、エリア２１Ａ〜２１Ｄを、破線枠、着色、ハッチング等（図６では破線枠）により、指定されていないエリアと異なる態様によりエリア指定画面６０上に表示させるとよい。
【００５４】
指定完了ボタン３６５は、マウスのドラッグ操作により指定されたエリア２１Ａ〜２１Ｄを指定エリアＡｓとして確定させるためのボタンである。エリア指定受付手段３４１は、指定完了ボタン３６５が選択された場合、エリア２１Ａ〜２１Ｄに対応する教科書２の各エリアを、それぞれ指定エリアＡｓとして記憶手段３３に記憶させる。具体的には、エリア指定受付手段３４１は、電子教科書２Ａに付された教科書ＩＤと、エリア２１Ａ〜２１Ｄが属するページ番号と、当該ページ全体におけるエリア２１Ａ〜２１Ｄの位置（範囲）を示すページ内位置とを、指定エリアＡｓごとに関連付けて記憶手段３３に記憶させる。
【００５５】
図８（Ａ）は、指定完了ボタン３６５が選択された後の指定エリア定義情報のデータ構造を示す。図８（Ａ）において、「指定エリア番号」は、指定エリアＡｓが指定された際に、指定された順に当該指定エリアＡｓに付される通し番号を指す。また、電子教科書２Ａ（教科書２）の教科書ＩＤは「Ｒ０１」であるものとし、ページ内位置は、角の位置座標（Ｘｎ，Ｙｎ）、高さ（Ｙ方向）、幅（Ｘ方向）で規定されている。図８（Ａ）に示すように、エリア指定画面６０においてマウスのドラッグ操作により指定されたエリア２１Ａ〜２１Ｄにそれぞれ対応して、指定エリア番号及び教科書ＩＤなどの指定エリア特定情報が記憶手段３３に記憶されている。
【００５６】
（２）関連付け内容設定画面
図７は、コンピュータ装置３の表示手段３６が出力する関連付け内容設定画面６１の表示例である。関連付け手段３４２は、図６の指定完了ボタン３６５が選択された場合に、関連付け内容設定画面６１を表示手段３６に表示させる。図７に示すように、関連付け内容設定画面６１には、指定エリア表示３６７Ａ〜３６７Ｄ（３６７）と、ファイル名表示欄３６８Ａ〜３６８Ｄ（３６８）と、参照ボタン３６９Ａ〜３６９Ｄ（３６９）と、再生表示条件入力欄３７０Ａ、３７０Ｂａ、３７０Ｂｂ、３７０Ｃａ、３７０Ｃｂ（３７０）と、画面戻るボタン３７１と、設定完了ボタン３７２とが表示されている。また、関連付け内容設定画面６１には、「リンク付けするコンテンツ・データを設定して下さい」と操作者に指定エリアＡｓに関連付ける電子コンテンツ及びその再生表示条件を入力する旨が表示される。
【００５７】
指定エリア表示３６７Ａ〜３６７Ｄは、図６のエリア指定画面にて指定エリアＡｓとして指定されたエリア２１Ａ〜２１Ｄをそれぞれ表示する。指定エリア表示３６７Ａ〜３６７Ｄは、表示される指定エリアＡｓが属するページ番号ごとに縦に並べて表示されている。具体的には、ページ番号「２２」のページにあるエリア２１Ａを表示する指定エリア表示３６７Ａがページ番号と共に最上位に表示され、ページ番号「２３」のページにあるエリア２１Ｂ〜２１Ｄを表示する指定エリア表示３６７Ｂ〜３６７Ｄがページ番号と共に指定エリア表示３６７Ａの下に並べられている。
【００５８】
ファイル名表示欄３６８Ａ〜３６８Ｄは、それぞれ指定エリア表示３６７Ａ〜３６７Ｄに対応する指定エリアＡｓと関連付ける電子コンテンツのファイル名又は電子コンテンツのファイル名を含むパス（ここではファイル名のみとする）を表示する欄である。ファイル名表示欄３６８Ａは、それぞれ、後述する参照ボタン３６９Ａ〜３６９Ｄにより指定されたファイル名を表示する。参照ボタン３６９は、クリック操作により選択された際に、ファイルを指定するためのウィンドウを表示し、コンピュータ装置３の記憶手段３３内に記憶された任意のファイルを操作者に指定させるためのボタンである。
【００５９】
再生表示条件入力欄３７０は、指定エリア表示３６７Ａ〜３６７Ｄに対応する各指定エリアＡｓに関連付ける再生表示条件を入力するための入力欄である。関連付け手段３４２は、参照ボタン３６９により電子コンテンツのファイルが選択された場合に、選択された電子コンテンツのファイルに対応する再生表示条件入力欄３７０を表示する。ここで、関連付け手段３４２は、ファイル名表示欄３６８内に表示された電子コンテンツのファイルの拡張子に基づき、当該ファイルの種類に応じた再生表示条件を入力するための再生表示条件入力欄３７０を表示する。
【００６０】
具体的には、ファイル名表示欄３６８Ａには、「ワークシート１．ｐｄｆ」と表示されていることから、関連付け手段３４２は、指定エリア表示３６７Ａに対応する指定エリアＡｓと関連付ける電子コンテンツとして、電子文書が指定されていると判断する。従って、関連付け手段３４２は、表示するページ番号を入力するための再生表示条件入力欄３７０Ａを表示すると共に、再生表示条件入力欄３７０Ａの左側に「表示ページ」と表示する。
【００６１】
また、ファイル名表示欄３６８Ｂには、「断層○○町．ｍｐ４」と表示されていることから、関連付け手段３４２は、指定エリア表示３６７Ａに表示された指定エリアＡｓと関連付ける電子コンテンツとして、動画ファイルが指定されていると判断する。従って、関連付け手段３４２は、「断層○○町．ｍｐ４」の全再生時間のうち、実際に再生させたい時間帯の開始時間（再生開始時間）と、当該時間帯の終了時間（再生終了時間）とを入力するための再生表示条件入力欄３７０Ｂａ、３７０Ｂｂをそれぞれ表示する。また、処理手段３４は、再生表示条件入力欄３７０Ｂａの左側に「再生開始」と表示して、再生表示条件入力欄３７０Ｂａが再生開始時間を入力する欄であることを明確にすると共に、再生表示条件入力欄３７０Ｂｂの左側に「再生終了」と表示して、再生表示条件入力欄３７０Ｂｂが再生終了時間を入力する欄であることを明確にする。ここでは、再生表示条件入力欄３７０Ｂａには「２分１０秒」を再生開始時間に指定する旨の入力がなされ、再生表示条件入力欄３７０Ｂｂには「２分４０秒」を再生終了時間に指定する旨の入力がなされている。
【００６２】
同様に、ファイル名表示欄３６８Ｃには、「断層△△村．ｍｐ４」と表示されていることから、関連付け手段３４２は、指定エリア表示３６７Ｃに表示された指定エリアＡｓと関連付ける電子コンテンツとして、動画ファイルが指定されていると判断する。従って、関連付け手段３４２は、再生開始時間と、再生終了時間とをそれぞれ入力するための再生表示条件入力欄３７０Ｃａ、３７０Ｃｂを表示する。そして、ここでは、再生表示条件入力欄３７０Ｃａには「５分１２秒」を再生開始時間に指定する旨の入力がなされ、再生表示条件入力欄３７０Ｃｂには「６分３０秒」を再生終了時間に指定する旨の入力がなされている。
【００６３】
また、ファイル名表示欄３６８Ｄには、「断層□□市．ｊｐｇ」と表示されていることから、関連付け手段３４２は、指定エリア表示３６７Ｄに表示された指定エリアＡｓと関連付ける電子コンテンツとして、画像ファイルが指定されていると判断する。従って、この場合には、処理手段３４は、再生表示条件を定める必要がないと判断し、ファイル名表示欄３６８Ｄに対応する再生表示条件入力欄３７０を設けない。
【００６４】
画面戻るボタン３７１は、図６のエリア指定画面６０へ表示手段３６の出力画面を戻すためのボタンである。設定完了ボタン３７２は、関連付け内容設定画面６１での設定内容を確定するためのボタンである。
【００６５】
設定完了ボタン３７２が選択された場合、関連付け手段３４２は、指定エリア表示３６７Ａ〜３６７Ｄに表示された指定エリアＡｓの各々に対し、ファイル名表示欄３６８Ａ〜３６８Ｄに表示された電子コンテンツのファイルと、各再生表示条件入力欄３７０に入力された再生表示条件とを関連付ける情報を指定エリア定義情報として記憶手段３３に記憶させる。
【００６６】
図８（Ｂ）は、設定完了ボタン３７２が選択された後での記憶手段３３が記憶する指定エリア定義情報のデータ構造を示す。図８（Ｂ）に示すように、図７に示す状態で設定完了ボタン３７２が選択された場合、関連付け手段３４２は、関連付け内容設定画面６１での入力内容に基づき、各指定エリア番号に対して、電子コンテンツの格納場所（パス）及び再生表示条件を関連付けて記憶手段３３に記憶される。これにより、コンピュータ装置３は、教科書２又はドットスクリーン５に表示された電子教科書２Ａの指定エリアＡｓの表示位置が電子ペン１によりタップされた場合、図８（Ｂ）に示す指定エリア定義情報を参照することで、電子コンテンツの再生表示を指定された再生表示条件に従い実行することが可能となる。
【００６７】
［関連付け活用処理］
次に、指定エリア定義情報が生成された後に実行される関連付け活用処理について図９及び図１０を参照して説明する。
【００６８】
図９は、見開き状態の教科書２の上面図を示す。図９の二点鎖線枠９０Ａ〜９０Ｄは、それぞれ、図８（Ｂ）の各指定エリア番号に対応する指定エリアＡｓの位置を示す仮想的な線である。
【００６９】
図９に示す状態で、講師が二点鎖線枠９０Ａ〜９０Ｄ内のいずれかの位置を電子ペン１によりタップすると、再生表示制御手段３４３は、指定エリア定義情報を参照し、タップされた位置に対応する指定エリアＡｓに関連付けられた電子コンテンツを、同じく関連付けられた再生表示条件に従い再生する。具体的には、二点鎖線枠９０Ａ〜９０Ｄ内に印刷されたドットパターンを電子ペン１が読み取ることで生成された記入情報をコンピュータ装置３が電子ペン１から受信すると、再生表示制御手段３４３は、座標定義情報を参照し、受信した記入情報に含まれる座標情報が示す位置座標から、当該位置座標が指し示す教科書ＩＤ、ページ番号、及びページ内位置を認識する。次に、再生表示制御手段３４３は、指定エリア定義情報を参照し、認識した教科書ＩＤ、ページ番号、及びページ内位置に対応する指定エリアＡｓが存在することを認識する。そして、この場合、再生表示制御手段３４３は、認識した指定エリアＡｓに関連付けられた電子コンテンツを、同じく関連付けられた再生表示条件に従い再生する。
【００７０】
例えば、図９に示す二点鎖線枠９０Ａ内の任意の位置が電子ペン１によりタップされると、再生表示制御手段３４３は、電子ペン１から送信される記入情報及び図８（Ｂ）に示す指定エリア定義情報に基づき、指定エリア番号が「１」の指定エリアＡｓが選択されたことを認識する。従って、この場合、再生表示制御手段３４３は、表示手段３６及びプロジェクタ４に画像信号を送信し、表示手段３６及びドットスクリーン５の投影範囲５０に「ワークシート．ｐｄｆ」の１ページ目を表示させる。
【００７１】
図１０は、ファイル「ワークシート．ｐｄｆ」の表示例を示す。図１０に示すように、ファイル「ワークシート．ｐｄｆ」は、解答欄７０Ａ〜７０Ｅを有する。そして、ドットスクリーン５に表示された「ワークシート．ｐｄｆ」の解答欄７０Ａ〜７０Ｅへ生徒等が電子ペン１により書込みを行った場合、処理手段３４は、記入情報に含まれる座標情報を、座標変換関数に基づき表示手段３６の画面上での座標情報に変換し、当該座標情報に基づきストロークを表示手段３６に描画する。また、処理手段３４は、表示手段３６に画像を表示させるための画像信号をプロジェクタ４に送信し、表示手段３６の画像と同じ画像を同期して投影させる。これにより、ドットスクリーン５にも同様に、電子ペン１の記入者が描いたストロークが投影される。
【００７２】
再び図９を参照し、指定エリアＡｓが電子ペン１によりタップされた際の動作について説明する。図９に示す二点鎖線枠９０Ｂ内の任意の位置が電子ペン１によりタップされると、再生表示制御手段３４３は、電子ペン１から送信される記入情報及び図８（Ｂ）に示す指定エリア定義情報に基づき、指定エリア番号が「２」の指定エリアＡｓが選択されたことを認識する。従って、この場合、再生表示制御手段３４３は、表示手段３６及びプロジェクタ４に画像信号を送信し、表示手段３６及びドットスクリーン５の投影範囲５０に「断層○○町．ｍｐ４」の動画を２分１０秒から２分４０秒まで表示させる。
【００７３】
同様に、二点鎖線枠９０Ｃ内の任意の位置が電子ペン１によりタップされると、再生表示制御手段３４３は、電子ペン１から送信される記入情報及び図８（Ｂ）に示す指定エリア定義情報に基づき、指定エリア番号が「３」の指定エリアＡｓが選択されたことを認識する。従って、この場合、再生表示制御手段３４３は、表示手段３６及びプロジェクタ４に画像信号を送信し、表示手段３６及びドットスクリーン５の投影範囲５０に「断層△△村．ｍｐ４」の動画を５分１２秒から６分３０秒まで表示させる。また、二点鎖線枠９０Ｄ内の任意の位置が電子ペン１によりタップされると、再生表示制御手段３４３は、電子ペン１から送信される記入情報及び図８（Ｂ）に示す指定エリア定義情報に基づき、指定エリア番号が「４」の指定エリアＡｓが選択されたことを認識する。従って、この場合、再生表示制御手段３４３は、表示手段３６及びプロジェクタ４に画像信号を送信し、表示手段３６及びドットスクリーン５の投影範囲５０に「断層□□市．ｊｐｇ」の画像を表示させる。
【００７４】
また、電子教科書２Ａのページがドットスクリーン５の投影範囲５０に表示された場合も、同様に、コンピュータ装置３は、電子ペン１から送信される記入情報及び図８（Ｂ）に示す指定エリア定義情報に基づき、電子コンテンツを指定された再生表示条件に従い再生表示する。具体的には、投影範囲５０内における指定エリアＡｓの表示位置が電子ペン１によりタップされた場合、再生表示制御手段３４３は、受信した記入情報の座標情報を座標変換関数により表示手段３６のディスプレイにかかる座標系に変換し、変換後の位置座標が指し示す表示中の電子教科書２Ａにおけるページ番号及びページ内位置を認識する。そして、再生表示制御手段３４３は、指定エリア定義情報を参照し、表示中の電子教科書２Ａに対応する教科書ＩＤ並びに認識したページ番号及びページ内位置に基づき、指定エリアＡｓが指定されたか否か判定し、指定エリアＡｓが指定されたと判断した場合には、当該指定エリアＡｓと関連付けられた電子コンテンツを、指定エリア定義情報において指定された再生表示条件に従い再生する。
【００７５】
［本実施形態の電子ペンシステムによる作用効果］
本実施形態の電子ペンシステムによれば、コンピュータ装置３は、エリア指定画面において、電子教科書２Ａの表示部分から指定エリアＡｓを指定する入力を受け付ける。さらに、コンピュータ装置３は、関連付け内容設定画面において、指定エリアＡｓと、電子コンテンツと、再生表示条件とを関連付ける。そして、コンピュータ装置３は、教科書２やドットスクリーン５において電子ペン１により指定エリアＡｓの表示位置がタップされたと判断した場合に、タップされた指定エリアＡｓと関連付けられた電子コンテンツを再生表示条件に従い再生表示する。従って、コンピュータ装置３は、操作者が意図する電子コンテンツを意図した再生表示条件に従い再生表示することができ、利便性を向上させることができる。
【００７６】
また、コンピュータ装置３は、関連付け内容設定画面において、関連付ける電子コンテンツが設定された場合、当該電子コンテンツの種類に応じて、再生表示条件入力欄３７０の構成を変更する。これにより、コンピュータ装置３は、電子コンテンツの種類に即した再生表示条件を操作者に入力させることができる。
【００７７】
［変形例］
次に、本実施形態の変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施形態に適用してもよい。
【００７８】
（変形例１）
電子コンテンツは、記憶手段３３に記憶されている代わりに、コンピュータ装置３と電気的に接続したサーバに記憶されていてもよい。図１１は、変形例に係る電子ペンシステムの構成を示す。図１１に示すように、電子ペンシステムは、コンピュータ装置３とネットワークを介して接続したサーバ８を備える。
【００７９】
まず、本変形例において、サーバ８に電子コンテンツをアップロードする方法について説明する。例えば、サーバ８が学内に構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続されている場合、学内の教員がそれぞれ使用するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などのコンピュータ装置から教科書２の内容と関連する電子コンテンツをサーバ８へアップロードする。他の例では、サーバ８がインターネットに接続されている場合、全国の教員や教材製作会社の社員がそれぞれ使用するコンピュータ装置から教科書２の内容と関連する電子コンテンツをサーバ８へアップロードする。
【００８０】
次に、本変形例において、サーバ８からコンピュータ装置３が電子コンテンツをダウンロードするタイミングについて、第１の例〜第３の例を用いて具体的に説明する。第１の例では、コンピュータ装置３は、操作者の操作に基づき、上述の関連付け処理を実行する前に、使用する教科書２に関連する電子コンテンツをサーバ８からダウンロードする。そして、コンピュータ装置３は、上述の［関連付け処理］のセクションで述べた処理を行う。
【００８１】
第２の例では、コンピュータ装置３は、関連付け内容設定画面６１の表示時に、所定の指定エリアＡｓと関連付ける旨の指定があった電子コンテンツをサーバ８からダウンロードする。第３の例では、コンピュータ装置３は、関連付け処理が完了した後、指定エリアＡｓが選択され、当該指定エリアＡｓに関連付けられた電子コンテンツを再生表示する際に、サーバ８から当該電子コンテンツをダウンロードする。なお、第３の例において、電子コンテンツが動画である場合には、コンピュータ装置３は、電子コンテンツをダウンロードする代わりに、ストリーミングにより当該電子コンテンツを再生してもよい。
【００８２】
ここで、第２の例及び第３の例では、好適には、図７の関連付け内容設定画面６１において、いずれかの参照ボタン３６９が選択された場合に、コンピュータ装置３は、サーバ８の記憶手段等にアクセスすることで、サーバ８が記憶する電子コンテンツについても、指定エリアＡｓに関連付ける電子コンテンツとして選択可能にする。
【００８３】
（変形例２）
図７の関連付け内容設定画面６１では、コンピュータ装置３は、参照ボタン３６９により、指定エリアＡｓと関連付ける電子コンテンツを操作者に選択させていた。これに代えて、コンピュータ装置３は、電子コンテンツを閲覧可能な動画サイトなどのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を操作者に指定させてもよい。例えば、この場合、ファイル名表示欄３６８Ａ〜３６８Ｄは、キーボードによる入力等により直接入力が可能な入力欄であり、操作者は、任意のファイル名表示欄３６８を選択して、キーボード入力等により所望のＵＲＬを当該ファイル名表示欄３６８に入力する。
【００８４】
（変形例３）
電子ペンシステムは、ドットスクリーン５に代えて、圧力を検知することが可能に構成された感圧式ボード（シート）又はボード表面の直下にワイヤが埋め込まれた電磁式ボードなどの電子ボードを備えてもよい。例えば、感圧式ボードの場合、所定のペン（スタイラス）で圧力を加えるとボード中に設けられた電気伝導性の２枚のシートが接触して電気信号が発生し、当該電気信号に基づき、コンピュータ装置３は、接触位置を検出する。また、電磁式ボードの場合、電子ペンシステムは、電子ペン１に代えてコイルを埋め込んだスタイラスを備え、ステイラスを電磁式ボードに接触させると、電磁式ボードは、スタイラスとの電磁誘導に基づき接触位置に相当する電気信号を発生し、当該電気信号に基づき、コンピュータ装置３は、接触位置を検出する。
【００８５】
そして、いずれの入力方式のボード（シート）を用いる場合であっても、コンピュータ装置３は、ドットスクリーン５と同様の方法により、ボードかかる座標系を表示手段３６のディスプレイにかかる座標系に変換するための座標変換関数を関連付け処理等を行う前に予め求める。そして、コンピュータ装置３は、求められた座標変換関数を用いて、ボード上の接触位置に相当する座標データを受信した場合に、表示手段３６のディスプレイにかかる座標系のデータに変換し、表示された電子教科書２Ａ中の指定エリアＡｓが選択されたか否か等を検知する。
【００８６】
（変形例４）
電子ペンシステムは、電子ペン１及び教科書２に代えて、電子教科書２Ａのデータが記憶されたｉＰａｄ（登録商標）などのタッチパネルを備えるタブレットＰＣを備えてもよい。
【００８７】
この場合、タブレットＰＣは、電子教科書２Ａを見開き状態で表示すると共に、タッチパネル操作に基づき表示中のページを変更する。また、関連付け活用処理では、操作者が指定エリアＡｓの表示部分を指により触れた場合、タブレットＰＣは、接触があった電子教科書２Ａに関連づけられた教科書ＩＤと、接触があったページのページ番号と、及び当該ページにおけるページ内位置とに関する検出信号をコンピュータ装置３に送信し、コンピュータ装置３は、当該検出信号に基づき接触があった指定エリアＡｓを特定し、当該指定エリアＡｓと関連付けられた電子コンテンツの再生表示を行う。
【００８８】
（変形例５）
電子コンテンツは、音声を含む動画コンテンツであってもよく、音声のみのコンテンツであってもよい。この場合、コンピュータ装置３は、スピーカなどの音声出力手段をさらに備え、再生表示制御手段３４３は、再生すべき電子コンテンツが音声を含む場合には、音声出力手段により音声を出力させる。
【００８９】
（変形例６）
上記実施形態においては、図６に示すように、電子教科書２Ａを表示させた状態で、マウスのドラッグ操作により、任意のエリアを指定した。その代わりに、電子教科書２Ａに掲載されている写真、イラスト、文字が表示されたブロックなどのエリアが、マウスのクリック操作により指定できるよう予め設定されていてもよい。これにより、ユーザが、電子コンテンツと関連付ける対象を、任意の写真、イラスト、ブロックなどのエリアをマウスのクリック操作で指定できるようにしてもよい。
【００９０】
（変形例７）
上記実施形態において、電子ペン、ドットパターン（コード化パターン）、記入情報に、アノト方式を用いたが、アノト方式に限られなくともよい。
【符号の説明】
【００９１】
１…電子ペン
２…ドットパターン用紙
３…コンピュータ装置
４…プロジェクタ
５…ドットスクリーン
８…サーバ
【特許請求の範囲】
【請求項１】
電子教材を表示手段に表示させ、前記電子教材の表示部分から任意のエリアを指定する入力を受け付けるエリア指定受付手段と、
前記入力に基づき指定された指定エリアと、前記電子教材の内容に関連する電子コンテンツと、前記電子コンテンツの再生又は表示条件とを関連付ける関連付け手段と、
前記指定エリアが選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを前記再生又は表示条件に従い前記表示手段又は／及び音声出力手段に再生又は表示させる再生表示制御手段と
を備えることを特徴とするコンピュータ装置。
【請求項２】
前記関連付け手段は、
前記指定エリアに対し、関連付ける電子コンテンツと、当該電子コンテンツの再生又は表示条件とを設定するための設定画面を前記表示手段に表示させ、
前記関連付ける電子コンテンツが設定された場合、当該電子コンテンツの種類に応じて、前記再生又は表示条件として設定すべき内容を変更することを特徴とする請求項１に記載のコンピュータ装置。
【請求項３】
前記関連付け手段は、
前記設定画面において設定された電子コンテンツの種類が動画の場合には、当該電子コンテンツにおける再生開始時間又は／及び再生終了時間を入力するための入力欄を前記設定画面中に設けることを特徴とする請求項２に記載のコンピュータ装置。
【請求項４】
前記関連付け手段は、
前記設定画面において設定された電子コンテンツの種類が電子文書の場合には、当該電子コンテンツの表示ページを入力するための入力欄を前記設定画面中に設けることを特徴とする請求項２または３に記載のコンピュータ装置。
【請求項５】
コード化パターンが表面に付されたスクリーンと、
画像信号に基づく光を前記スクリーンの表面に出射するプロジェクタと、
前記プロジェクタに画像信号を送信する請求項１乃至４のいずれか一項に記載のコンピュータ装置と、
コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンと
を備える電子ペンシステムであって、
前記コンピュータ装置の再生表示制御手段は、
前記スクリーンに電子教材を投影表示させた状態で、前記電子ペンから受信した記入情報に基づき、前記スクリーンに投影された電子教材の前記指定エリアが前記電子ペンにより選択されたと判断した場合、
当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させることを特徴とする電子ペンシステム。
【請求項６】
請求項１乃至４のいずれか一項に記載のコンピュータ装置と、
コード化パターンが印刷された教材と、
コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンと
を備える電子ペンシステムであって、
前記電子教材は前記教材を電子化したものであり、
前記再生表示制御手段は、
前記電子ペンから受信した記入情報に基づき、前記電子教材の前記指定エリアに相当する前記教材のエリアが前記電子ペンにより選択されたと判断した場合、
当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させることを特徴とする電子ペンシステム。
【請求項７】
前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、
前記コンピュータ装置の関連付け手段は、
前記指定エリアに前記サーバ装置が記憶する電子コンテンツを関連付ける場合に、当該電子コンテンツを前記サーバ装置から受信することを特徴とする請求項５または６に記載の電子ペンシステム。
【請求項８】
前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、
前記コンピュータ装置の再生表示制御手段は、
前記指定エリアが選択された場合、当該指定エリアに関連付けられた電子コンテンツを前記サーバ装置からダウンロードすることで、又は、前記サーバ装置から当該電子コンテンツのストリーミングの配信を受けることで、当該電子コンテンツを前記表示手段又は／及び前記音声出力手段に再生又は表示させることを特徴とする請求項５または６に記載の電子ペンシステム。
【請求項９】
コンピュータ装置に搭載され実行されるプログラムであって、
電子教材を表示手段に表示させ、前記電子教材の表示部分から任意のエリアを指定する入力を受け付けるエリア指定受付手段と、
前記入力に基づき指定された指定エリアと、前記電子教材の内容に関連する電子コンテンツと、前記電子コンテンツの再生又は表示条件とを関連付ける関連付け手段と、
前記指定エリアが選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを前記再生又は表示条件に従い前記表示手段又は／及び音声出力手段に再生又は表示させる再生表示制御手段
として前記コンピュータ装置を機能させることを特徴とするプログラム。
【請求項１０】
前記関連付け手段は、
前記指定エリアに対し、関連付ける電子コンテンツと、当該電子コンテンツの再生又は表示条件とを設定するための設定画面を前記表示手段に表示させ、
前記関連付ける電子コンテンツが設定された場合、当該電子コンテンツの種類に応じて、前記再生又は表示条件として設定すべき内容を変更することを特徴とする請求項９に記載のプログラム。
【請求項１１】
前記関連付け手段は、
前記設定画面において設定された電子コンテンツの種類が動画の場合には、当該電子コンテンツにおける再生開始時間又は／及び再生終了時間を入力するための入力欄を前記設定画面中に設けることを特徴とする請求項１０に記載のプログラム。
【請求項１２】
前記関連付け手段は、
前記設定画面において設定された電子コンテンツの種類が電子文書の場合には、当該電子コンテンツの表示ページを入力するための入力欄を前記設定画面中に設けることを特徴とする請求項１０または１１に記載のプログラム。
【請求項１３】
コード化パターンが表面に付されたスクリーンと、
画像信号に基づく光を前記スクリーンの表面に出射するプロジェクタと、
前記プロジェクタに画像信号を送信する請求項１乃至４のいずれか一項に記載のコンピュータ装置と、
コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンと
を備える電子ペンシステムの前記コンピュータ装置に搭載され実行されるプログラムであって、
前記再生表示制御手段は、
前記スクリーンに電子教材を投影表示させた状態で、前記電子ペンから受信した記入情報に基づき、前記スクリーンに投影された電子教材の前記指定エリアが前記電子ペンにより選択されたと判断した場合、
当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させることを特徴とするプログラム。
【請求項１４】
請求項１乃至４のいずれか一項に記載のコンピュータ装置と、
コード化パターンが印刷された教材と、
コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンと
を備える電子ペンシステムの前記コンピュータ装置に搭載され実行されるプログラムであって、
前記電子教材は前記教材を電子化したものであり、
前記再生表示制御手段は、
前記電子ペンから受信した記入情報に基づき、前記電子教材の前記指定エリアに相当する前記教材のエリアが前記電子ペンにより選択されたと判断した場合、
当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させることを特徴とするプログラム。
【請求項１５】
前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、
前記関連付け手段は、
前記指定エリアに前記サーバ装置が記憶する電子コンテンツを関連付ける場合に、当該電子コンテンツを前記サーバ装置から受信することを特徴とする請求項１３または１４に記載のプログラム。
【請求項１６】
前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、
前記再生表示制御手段は、
前記指定エリアが選択された場合、当該指定エリアに関連付けられた電子コンテンツを前記サーバ装置からダウンロードすることで、又は、前記サーバ装置から当該電子コンテンツのストリーミングの配信を受けることで、当該電子コンテンツを前記表示手段又は／及び前記音声出力手段に再生又は表示させることを特徴とする請求項１３または１４に記載のプログラム。
【請求項１】
電子教材を表示手段に表示させ、前記電子教材の表示部分から任意のエリアを指定する入力を受け付けるエリア指定受付手段と、
前記入力に基づき指定された指定エリアと、前記電子教材の内容に関連する電子コンテンツと、前記電子コンテンツの再生又は表示条件とを関連付ける関連付け手段と、
前記指定エリアが選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを前記再生又は表示条件に従い前記表示手段又は／及び音声出力手段に再生又は表示させる再生表示制御手段と
を備えることを特徴とするコンピュータ装置。
【請求項２】
前記関連付け手段は、
前記指定エリアに対し、関連付ける電子コンテンツと、当該電子コンテンツの再生又は表示条件とを設定するための設定画面を前記表示手段に表示させ、
前記関連付ける電子コンテンツが設定された場合、当該電子コンテンツの種類に応じて、前記再生又は表示条件として設定すべき内容を変更することを特徴とする請求項１に記載のコンピュータ装置。
【請求項３】
前記関連付け手段は、
前記設定画面において設定された電子コンテンツの種類が動画の場合には、当該電子コンテンツにおける再生開始時間又は／及び再生終了時間を入力するための入力欄を前記設定画面中に設けることを特徴とする請求項２に記載のコンピュータ装置。
【請求項４】
前記関連付け手段は、
前記設定画面において設定された電子コンテンツの種類が電子文書の場合には、当該電子コンテンツの表示ページを入力するための入力欄を前記設定画面中に設けることを特徴とする請求項２または３に記載のコンピュータ装置。
【請求項５】
コード化パターンが表面に付されたスクリーンと、
画像信号に基づく光を前記スクリーンの表面に出射するプロジェクタと、
前記プロジェクタに画像信号を送信する請求項１乃至４のいずれか一項に記載のコンピュータ装置と、
コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンと
を備える電子ペンシステムであって、
前記コンピュータ装置の再生表示制御手段は、
前記スクリーンに電子教材を投影表示させた状態で、前記電子ペンから受信した記入情報に基づき、前記スクリーンに投影された電子教材の前記指定エリアが前記電子ペンにより選択されたと判断した場合、
当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させることを特徴とする電子ペンシステム。
【請求項６】
請求項１乃至４のいずれか一項に記載のコンピュータ装置と、
コード化パターンが印刷された教材と、
コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンと
を備える電子ペンシステムであって、
前記電子教材は前記教材を電子化したものであり、
前記再生表示制御手段は、
前記電子ペンから受信した記入情報に基づき、前記電子教材の前記指定エリアに相当する前記教材のエリアが前記電子ペンにより選択されたと判断した場合、
当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させることを特徴とする電子ペンシステム。
【請求項７】
前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、
前記コンピュータ装置の関連付け手段は、
前記指定エリアに前記サーバ装置が記憶する電子コンテンツを関連付ける場合に、当該電子コンテンツを前記サーバ装置から受信することを特徴とする請求項５または６に記載の電子ペンシステム。
【請求項８】
前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、
前記コンピュータ装置の再生表示制御手段は、
前記指定エリアが選択された場合、当該指定エリアに関連付けられた電子コンテンツを前記サーバ装置からダウンロードすることで、又は、前記サーバ装置から当該電子コンテンツのストリーミングの配信を受けることで、当該電子コンテンツを前記表示手段又は／及び前記音声出力手段に再生又は表示させることを特徴とする請求項５または６に記載の電子ペンシステム。
【請求項９】
コンピュータ装置に搭載され実行されるプログラムであって、
電子教材を表示手段に表示させ、前記電子教材の表示部分から任意のエリアを指定する入力を受け付けるエリア指定受付手段と、
前記入力に基づき指定された指定エリアと、前記電子教材の内容に関連する電子コンテンツと、前記電子コンテンツの再生又は表示条件とを関連付ける関連付け手段と、
前記指定エリアが選択されたと判断した場合、当該指定エリアと関連付けられた前記電子コンテンツを前記再生又は表示条件に従い前記表示手段又は／及び音声出力手段に再生又は表示させる再生表示制御手段
として前記コンピュータ装置を機能させることを特徴とするプログラム。
【請求項１０】
前記関連付け手段は、
前記指定エリアに対し、関連付ける電子コンテンツと、当該電子コンテンツの再生又は表示条件とを設定するための設定画面を前記表示手段に表示させ、
前記関連付ける電子コンテンツが設定された場合、当該電子コンテンツの種類に応じて、前記再生又は表示条件として設定すべき内容を変更することを特徴とする請求項９に記載のプログラム。
【請求項１１】
前記関連付け手段は、
前記設定画面において設定された電子コンテンツの種類が動画の場合には、当該電子コンテンツにおける再生開始時間又は／及び再生終了時間を入力するための入力欄を前記設定画面中に設けることを特徴とする請求項１０に記載のプログラム。
【請求項１２】
前記関連付け手段は、
前記設定画面において設定された電子コンテンツの種類が電子文書の場合には、当該電子コンテンツの表示ページを入力するための入力欄を前記設定画面中に設けることを特徴とする請求項１０または１１に記載のプログラム。
【請求項１３】
コード化パターンが表面に付されたスクリーンと、
画像信号に基づく光を前記スクリーンの表面に出射するプロジェクタと、
前記プロジェクタに画像信号を送信する請求項１乃至４のいずれか一項に記載のコンピュータ装置と、
コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンと
を備える電子ペンシステムの前記コンピュータ装置に搭載され実行されるプログラムであって、
前記再生表示制御手段は、
前記スクリーンに電子教材を投影表示させた状態で、前記電子ペンから受信した記入情報に基づき、前記スクリーンに投影された電子教材の前記指定エリアが前記電子ペンにより選択されたと判断した場合、
当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させることを特徴とするプログラム。
【請求項１４】
請求項１乃至４のいずれか一項に記載のコンピュータ装置と、
コード化パターンが印刷された教材と、
コード化パターンを読み取ってペン先部の位置座標を演算し、当該位置座標を含む記入情報を前記コンピュータ装置に送信する電子ペンと
を備える電子ペンシステムの前記コンピュータ装置に搭載され実行されるプログラムであって、
前記電子教材は前記教材を電子化したものであり、
前記再生表示制御手段は、
前記電子ペンから受信した記入情報に基づき、前記電子教材の前記指定エリアに相当する前記教材のエリアが前記電子ペンにより選択されたと判断した場合、
当該指定エリアと関連付けられた前記電子コンテンツを、前記再生又は表示条件に従い前記表示手段又は／及び前記音声出力手段に再生又は表示させることを特徴とするプログラム。
【請求項１５】
前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、
前記関連付け手段は、
前記指定エリアに前記サーバ装置が記憶する電子コンテンツを関連付ける場合に、当該電子コンテンツを前記サーバ装置から受信することを特徴とする請求項１３または１４に記載のプログラム。
【請求項１６】
前記コンピュータ装置は、ネットワークを介して電子コンテンツを記憶するサーバ装置と接続し、
前記再生表示制御手段は、
前記指定エリアが選択された場合、当該指定エリアに関連付けられた電子コンテンツを前記サーバ装置からダウンロードすることで、又は、前記サーバ装置から当該電子コンテンツのストリーミングの配信を受けることで、当該電子コンテンツを前記表示手段又は／及び前記音声出力手段に再生又は表示させることを特徴とする請求項１３または１４に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−７６７２０（Ｐ２０１３−７６７２０Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１４８３０（Ｐ２０１１−２１４８３０）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]