電子ペンシステム及びプログラム
【課題】書画カメラで撮像して表示された画像上に書込みを行うことが可能な電子ペンシステム及びプログラムを提供する。
【解決手段】電子ペンシステムは、ドットパターンが印刷された操作シートと、ドットパターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、被写体を撮像して画像データを生成する書画カメラ付きプロジェクタと、電子ペンから記入情報を受信するコンピュータ装置とを備え、コンピュータ装置は、書画カメラ付きプロジェクタから画像データを受信する画像データ受信手段と、画像データ受信手段が受信した画像データに基づき被写体の画像を表示手段に表示させると共に、操作シートへの電子ペンによる記入情報に基づき再現した手書きストロークを被写体の画像上に描画させる表示制御手段とを備える。
【解決手段】電子ペンシステムは、ドットパターンが印刷された操作シートと、ドットパターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、被写体を撮像して画像データを生成する書画カメラ付きプロジェクタと、電子ペンから記入情報を受信するコンピュータ装置とを備え、コンピュータ装置は、書画カメラ付きプロジェクタから画像データを受信する画像データ受信手段と、画像データ受信手段が受信した画像データに基づき被写体の画像を表示手段に表示させると共に、操作シートへの電子ペンによる記入情報に基づき再現した手書きストロークを被写体の画像上に描画させる表示制御手段とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子ペンで読み取り可能なコード化パターンを利用した技術に関する。
【背景技術】
【0002】
従来から、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン(Anoto pen)」が知られている。例えば、特許文献1に記載されているように、アノトペンは、用紙に印刷された所定のドットパターンを読み取って記入情報を生成し、当該記入情報を端末装置に送信する。
【0003】
特許文献2には、ドットパターンに対向する電子ペンの角度に起因するドットの画像上の配列を補正する回転補正処理機能が記載されている。さらに、特許文献3には、プレゼンテーション用アプリケーションで作成したスライドにドットパターンを付して印刷し、電子ペンでその印刷用紙に書き込むことで、コンピュータ装置の表示画面上で筆跡を再現したストロークが描画される技術が開示されている。また、特許文献4には、書画カメラを搭載したプロジェクタが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第3842283号公報
【特許文献2】特表2003−529853号公報
【特許文献3】特許第4748280号公報
【特許文献4】特開平07−104713号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
講義や発表などにおいて、持参した用紙を書画カメラで撮影してスクリーン等に表示させ、さらに補足説明のためにその表示上に発表者が書込みを行いたい場合がある。そのとき、用紙を裏向きにセットする書画カメラを用いていた場合には、その用紙に直接書込みができず、用紙を表向きにセットする書画カメラを用いていた場合でも、書込みを行う手がスクリーンに投影されるという問題や、書きにくいなどの問題が生じる。そこで、本発明は、書画カメラで撮像して表示された画像上に好適に書込みを行うことが可能な電子ペンシステム及びプログラムを提供することを主な目的とする。
【課題を解決するための手段】
【0006】
本発明に係る電子ペンシステムは、コード化パターンが印刷されたシートと、コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、被写体を撮像して画像データを生成する書画カメラと、前記電子ペンから前記記入情報を受信するコンピュータ装置とを備える電子ペンシステムであって、前記コンピュータ装置は、前記書画カメラから前記画像データを受信する画像データ受信手段と、前記画像データ受信手段が受信した画像データに基づき前記被写体の画像を表示手段に表示させると共に、前記シートへの前記電子ペンによる記入情報に基づき再現した手書きストロークを前記被写体の画像上に描画させる表示制御手段とを備える。
【0007】
この態様により、書画カメラにセットされた被写体の画像を示す画像データをコンピュータ装置が受信し、コンピュータ装置は、受信した画像データに基づき被写体の画像を表示し、かつ、シートへの電子ペンによる記入情報に基づき再現した手書きストロークを被写体の画像上に描画させる。これにより、電子ペンシステムは、ユーザがシートへ電子ペンにより書込みを行った場合に、書画カメラにより撮像することで得られた画像上に電子ペンで記入されたストロークを再現して表示することができる。従って、ユーザは、書画カメラで撮像して表示された画像上に好適に書込みを行うことができる。
【0008】
上記の電子ペンシステムの一態様では、前記コンピュータ装置は、前記被写体の画像が貼り付けられたプレゼンテーション用アプリケーションのスライドを生成してファイル化する画像データ処理手段をさらに備える。ここで、「ファイル化する」とは、被写体の画像が貼り付けられたスライドの情報から構成されるプレゼンテーション用アプリケーションの新規ファイルを生成することの他に、被写体の画像が貼り付けられたスライドの情報を既に生成されているプレゼンテーション用アプリケーションのファイルに付加して記憶することも含む。この態様により、コンピュータ装置は、書画カメラにより生成された画像データを、ユーザが使用しやすい態様で記憶することができる。
【0009】
上記の電子ペンシステムの一態様では、前記画像データ処理手段は、前記表示手段によりプレゼンテーション用アプリケーションのスライドが表示されていた場合には、当該スライドのファイルに前記被写体の画像が貼り付けられたスライドの情報を追加する。この態様により、コンピュータ装置は、好適に、既存のプレゼンテーション用アプリケーションのファイルに、書画カメラにより撮像された画像を貼り付けたスライドを追加することができる。
【0010】
上記の電子ペンシステムの一態様では、前記画像データ受信手段は、前記書画カメラから複数の画像データを受信し、前記画像データ処理手段は、前記複数の画像データに基づく前記被写体の画像の各々が貼り付けられたプレゼンテーション用アプリケーションのスライドをそれぞれ生成し、前記シートは、前記表示手段に表示させる前記被写体の画像が貼り付けられたスライドを指定するための指定領域を有し、前記表示制御手段は、前記指定領域への前記電子ペンによる記入情報を受信した場合に、前記指定領域により指定された前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させる。この態様により、電子ペンシステムは、ユーザがシート上の指定領域を電子ペンでタップした場合に、タップされた指定領域が指定するスライドを表示することができる。
【0011】
上記の電子ペンシステムの一態様では、前記指定領域は、前記被写体の画像が貼り付けられたスライドに付される各識別番号に対応する番号指定領域を有し、前記表示制御手段は、前記番号指定領域への前記電子ペンによる記入情報を受信した場合に、当該番号指定領域に対応する識別番号を有する前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させる。この態様により、ユーザは、生成した任意のスライドを容易にコンピュータ装置上に表示させることができる。
【0012】
上記の電子ペンシステムの他の一態様では、前記表示制御手段は、前記電子ペンによる記入情報に基づく前記表示手段による表示の切り替えを禁止する旨の入力があった場合、前記指定領域への前記電子ペンによる記入情報を受信した場合であっても、前記表示手段による表示の切り替えを行わない。このようにすることで、電子ペンシステムは、複数人が電子ペン及びシートを使用する場合などに、表示が頻繁に切り替わるのを抑制することができる。
【0013】
上記の電子ペンシステムの他の一態様では、前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付ける。この態様により、コンピュータ装置は、書画カメラが撮像した画像を適切な向きでスライドに貼り付けて表示することができる。
【0014】
上記の電子ペンシステムの他の一態様では、前記記入情報には筆圧の情報が含まれ、前記表示制御手段は、筆圧が0である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させる。これにより、電子ペンシステムは、電子ペンによりシート上に書き込もうとするユーザに対し、電子ペンのペン先の位置を容易に把握させることができ、好適に書込みを補助することができる。
【0015】
上記の電子ペンシステムの他の一態様では、前記表示制御手段は、前記カーソルを前記表示手段に表示中に記入情報を受信しなくなった場合、再び記入情報を受信するまで、又は、記入情報を受信しなくなってから所定時間幅が経過するまでのいずれか早い時までの間、前記カーソルの表示を継続する。この態様により、電子ペンシステムは、カーソルの表示及び非表示が頻繁に切り替わるのを抑制することができる。
【0016】
上記の電子ペンシステムの他の一態様では、前記シートは、前記被写体の画像上に再現する手書きストロークを記入するための矩形の描画領域を有し、前記描画領域には、縦方向に延在する中心線又は/及び横方向に延在する中心線が設けられる。この態様により、ユーザは、電子ペンによりシート上に書き込む際に、これらの中心線を目安に書込みを行うことができる。
【0017】
上記の電子ペンシステムの他の一態様では、前記書画カメラは、当該書画カメラが撮像した画像又は前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタに付属し、撮像面を下向きにして前記被写体が載置される筐体と、前記筐体の内部から前記被写体の撮像面を撮像する撮像手段とを備える。このように、電子ペンシステムは、被写体を下向きにして撮像を行う書画カメラを備え、被写体に対してユーザが直接書き込めない態様であっても、好適に、シート上に電子ペンにより記入されたストロークを撮像した画像に重畳させて表示させることができる。
【0018】
上記の電子ペンシステムの他の一態様では、前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタをさらに備え、前記書画カメラは、撮像面を上向きにして前記被写体が載置される筐体と、前記筐体の上から俯瞰して前記被写体の撮像面を撮像する撮像手段とを備える。このように、電子ペンシステムは、被写体を上向きにして撮像を行う書画カメラを備える場合であっても、好適に、シート上に電子ペンにより記入されたストロークを撮像した画像に重畳させて表示させることができる。
【0019】
本発明に係る電子ペンシステムの別の態様では、コード化パターンが印刷されており、スライドを指定するための指定領域と、手書ストロークを描くためのストローク描画用領域とを有するシートと、コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、被写体を撮像して画像データを生成する書画カメラと、前記電子ペンから前記記入情報を受信するコンピュータ装置とを備える電子ペンシステムであって、前記コンピュータ装置は、前記書画カメラから前記画像データを受信する画像データ受信手段と、前記画像データ受信手段が受信した複数の前記画像データに基づいて前記被写体画像の各々をスライドにしたファイルを生成する画像データ処理手段と、前記指定領域への前記電子ペンによる記入情報を受信した場合には、前記指定領域により指定されたスライドを前記表示手段に表示させ、前記ストローク描画用領域への前記電子ペンによる記入情報を受信した場合には、当該記入情報に基づき再現した手書きストロークを表示中の画像上に描画させる表示制御手段とを備える。
【0020】
この態様により、コンピュータ装置は、書画カメラから画像データを受信し、受信した複数の画像データに基づいて被写体画像の各々をスライドにしたファイルを生成する。そして、コンピュータ装置は、記入情報を受信した場合には、シートの指定領域により指定されたスライドを表示し、ストローク描画用領域への電子ペンによる記入情報を受信した場合には、当該記入情報に基づき再現した手書きストロークを表示中の画像上に描画させる。これにより、コンピュータ装置は、書画カメラが撮像した画像データをそれぞれスライドとしたファイルを生成し、かつ、書画カメラで撮像して表示された画像上に電子ペンによる書込みをユーザに実行させることができる。
【0021】
上記の電子ペンシステムの一態様では、前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付ける。この態様により、コンピュータ装置は、書画カメラが撮像した画像を適切な向きでスライドに貼り付けて表示することができる。
【0022】
上記の電子ペンシステムの他の一態様では、前記記入情報には筆圧の情報が含まれ、前記表示制御手段は、筆圧が0である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させる。この態様により、電子ペンシステムは、電子ペンによりシート上に書き込もうとするユーザに対し、電子ペンのペン先の位置を容易に把握させることができ、好適に書込みを補助することができる。
【0023】
本発明に係るプログラムは、上記電子ペンシステムにおけるコンピュータ装置として機能させる。
【0024】
これらのプログラムをコンピュータ装置にインストールして機能させることで、本発明に係る電子ペンシステムを構成させることができる。
【発明の効果】
【0025】
本発明によれば、書画カメラにセットされた被写体の画像を示す画像データをコンピュータ装置が受信し、コンピュータ装置は、受信した画像データに基づき被写体の画像を表示し、かつ、シートへの電子ペンによる記入情報に基づき再現した手書きストロークを被写体の画像上に描画させる。これにより、電子ペンシステムは、ユーザがシートへ電子ペンにより書込みを行った場合に、書画カメラにより撮像することで得られた画像上に電子ペンで記入されたストロークを再現して表示することができる。従って、ユーザは、書画カメラで撮像して表示された画像上に好適に書込みを行うことができる。
【図面の簡単な説明】
【0026】
【図1】本実施形態に係る電子ペンシステムの構成を示す。
【図2】ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。
【図3】(a)は、ドットパターンを模式的に示し、(b)は、それに対応する情報の例を示す図である。
【図4】電子ペンの構造を示す概略図である。
【図5】コンピュータ装置の機能ブロック図である。
【図6】操作シートの上面図を示す。
【図7】画像が横向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューアの表示領域とストローク描画用領域との対応を示す。
【図8】画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューアの表示領域とストローク描画用領域との対応を示す。
【図9】プレゼンテーション用紙の印刷処理の手順を示すフローチャートである。
【図10】画像貼付スライドの生成処理の手順を示すフローチャートである。
【図11】記入情報に基づく処理の手順を示すフローチャートである。
【図12】変形例における操作シートの上面図を示す。
【図13】変形例において、画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューアの表示領域とストローク描画用領域との対応を示す。
【発明を実施するための形態】
【0027】
以下、図面を参照しながら、本発明を実施するのに好適な実施形態について説明する。
【0028】
[電子ペンシステムの構成]
図1は、本実施形態に係る電子ペンシステムの構成を示す。図1に示すように、電子ペンシステムは、ユーザが使用する電子ペン1と、プレゼンテーション用アプリケーションのスライドとドットパターンとが重ねて印刷されたプレゼンテーション用紙2と、電子ペン1から記入情報等を受信して処理するコンピュータ装置3と、コンピュータ装置3と通信可能に接続された書画カメラ付きプロジェクタ4と、書画カメラ付きプロジェクタ4から映像(画像)が投影されるスクリーン5と、ドットパターンが印刷された操作シート6と、コンピュータ装置3からの印刷指示(出力命令)に従ってプレゼンテーション用紙2及び操作シート6を印刷するプリンター7とを備える。以下、これらの各構成要素について説明する。
【0029】
(プレゼンテーション用紙)
まず、プレゼンテーション用紙(電子ペン用用紙)2について説明する。プレゼンテーション用紙2には、プレゼンテーション用アプリケーションのスライドが一枚ごとに印刷され、かつ、その略全面に後述する位置座標を示すドットパターン(コード化パターン)が重ねて印刷される。プレゼンテーション用紙2に印刷されるドットパターンは、プレゼンテーション用紙2ごとに異なる座標範囲を示す。ドットパターンは、電子ペン1により読み取ることができるように赤外線を吸収するカーボンを含んだインクにより印刷され、その他の文字や図などは、赤外線を吸収しないインキにより印刷される。プレゼンテーション用紙2の印刷処理については、[印刷処理]のセクションで詳しく説明する。
【0030】
(書画カメラ付きプロジェクタ)
書画カメラ付きプロジェクタ4は、筐体上に載置された用紙(被写体)を撮像することで得られた画像をスクリーン5に投影する第1投影モードと、コンピュータ装置3から送信された画像信号に基づく画像をスクリーン5に投影する第2投影モードとを有する。具体的に、第1投影モードでは、書画カメラ付きプロジェクタ4は、筐体上に設けられた原稿用ガラスに撮像対象となる用紙(「撮像用紙」とも呼ぶ。)が撮像面を下向きにして載置された場合に、載置された撮像用紙を筐体内から撮像することで、撮像用紙の画像データを生成してスクリーン5に投影する。また、第2投影モードでは、書画カメラ付きプロジェクタ4は、Wi−Fi(登録商標)などで採用される無線通信プロトコルによりコンピュータ装置3と通信を行い、コンピュータ装置3から送信された画像信号に基づく画像をスクリーン5に投影する。なお、書画カメラ付きプロジェクタ4は、有線により接続されていてもよい。
【0031】
また、書画カメラ付きプロジェクタ4は、第1投影モード時において、スクリーン5に投影された画像を90度ずつ回転させるためのボタン(「画像回転ボタンBt1」とも呼ぶ。)を備える。さらに、書画カメラ付きプロジェクタ4は、スクリーン5に投影された画像のデータ(ここではJPEG形式とする)を生成し、コンピュータ装置3へ送信するためのボタン(「画像確定ボタンBt2」とも呼ぶ。)を備える。後述するように、画像確定ボタンBt2が押下された場合、書画カメラ付きプロジェクタ4は、画像データと共に、画像が縦向き(縦長)であるか横向き(横長)であるかを示すフラグ(「向き特定フラグFg」とも呼ぶ。)をコンピュータ装置3へ送信する。なお、画像データの保存形式がJPEGの場合には、規格上、画像の向きに関する属性を画像データに組み込むことができるため、書画カメラ付きプロジェクタ4は、画像データに向き特定フラグFgの情報を組み込んで1つのファイルとしてコンピュータ装置3へ送信するとよい。画像回転ボタンBt1及び画像確定ボタンBt2の活用方法については、[スライド生成処理]のセクションで詳しく説明する。さらに、書画カメラ付きプロジェクタ4は、第1投影モードと第2投影モードとを切り替えるための切り替えボタン(「投影モード切替ボタンBt3」とも呼ぶ。)を備える。
【0032】
(ドットパターン)
続いて、プレゼンテーション用紙2や操作シート6に印刷されたアノト方式のドットパターン(コード化パターン)について図2及び図3を用いて説明する。図2は、ドットパターンのドットとそのドットが変換される値との関係を説明する図である。図2に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を仮想格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトするかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、プレゼンテーション用紙2や操作シート6上の位置座標が決定されるよう構成されている。なお、プレゼンテーション用紙2同士又はプレゼンテーション用紙2と操作シート6とでは座標領域が重ならないようドットパターンが形成される。
【0033】
図3(a)は、あるドットパターンの配列を示している。図3(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、プレゼンテーション用紙2や操作シート6上のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは位置座標(例えば、そのドットパターンがプレゼンテーション用紙2や操作シート6上のどの位置にあるのか)を保持している。図3(b)は、図3(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図2に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮像する電子ペン1によって行われる。
【0034】
(電子ペン)
次に、電子ペン1について図4を用いて説明する。図4は、電子ペン1の構造を示す概略図である。図4に示すように、電子ペン1は、その筐体101の内部に、インクカートリッジ104、LED105、CMOSカメラ106、圧力センサ107、CPU等により構成されるプロセッサ108、ROMやRAMといったメモリ109、リアルタイムクロック110、アンテナ等により構成される通信ユニット111及びバッテリー112を備える。インクカートリッジ104の先端は、ペン先部103となっており、ユーザは、電子ペン1のペン先部103をプレゼンテーション用紙2や操作シート6上に当接させて、ストローク(手書きストローク)を記入する。ここで、電子ペン1のペン先部103がプレゼンテーション用紙2等に最初に接触することを「ペンダウン」と呼び、接触している(当接している)状態からペン先部103が離れることを「ペンアップ」と呼ぶ。電子ペン1のペンダウンからペンアップまでの間に記入される軌跡が1つのストロークとなり、文字や図形等は、1つ又は複数個のストロークからなる。
【0035】
バッテリー112は電子ペン1内の各部品に電力を供給するためのものであり、例えば電子ペン1のキャップ(図示せず)の脱着により電子ペン1自体の電源のオン/オフを行うよう構成させてもよい。リアルタイムクロック110は、現在時刻(タイムスタンプ)を示す時刻情報を発信し、プロセッサ108に供給する。圧力センサ107は、ユーザが電子ペン1によりプレゼンテーション用紙2等に文字やマークを書いたりタップしたりする際にペン先部103からインクカートリッジ104を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ108へ伝送する。
【0036】
LED105とCMOSカメラ106は、電子ペン1のペン先部103付近に取り付けられており、筐体101におけるLED105及びCMOSカメラ106と対向する部分には、開口部102が形成されている。LED105は、プレゼンテーション用紙2や操作シート6上のペン先部103近傍に向けて赤外線を照明する。その領域は、ペン先部103がプレゼンテーション用紙2や操作シート6に接触する位置とはわずかにずれている。CMOSカメラ106には、赤外線を透過し赤外線以外を遮断する赤外線透過フィルタが設けられており、CMOSカメラ106は、LED105によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ108に供給する。ここで、カーボンは赤外線を吸収するため、LED105によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。CMOSカメラ106の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。したがって、プレゼンテーション用紙2や操作シート6に文字や図面などが印刷されていた場合でも、印刷したインクは赤外域に吸収性を持たないため、プロセッサ108は、ドットパターンを認識することができる。なお、CMOSカメラ106による撮影領域は、図3(a)に示すような約2mm×約2mmの大きさを含む範囲であり、CMOSカメラ106の撮影は毎秒50〜100回程度の定間隔で行われる。また、CMOSカメラ106は、ドットを鮮明に撮影するため、十分な被写界深度を有している。
【0037】
プロセッサ108は、CMOSカメラ106によって供給される画像データからドットパターンを読み取った場合、当該ドットパターンから、ユーザが記入するストローク(筆跡)のプレゼンテーション用紙2や操作シート6等におけるX、Y座標(以後、単に「座標データ」または「座標情報」とも呼ぶ。)を連続的に演算していく。すなわち、プロセッサ108は、CMOSカメラ106によって供給される、図3(a)に示されるようなドットパターンの画像データを図3(b)に示すデータ配列に変換し、さらに、X座標ビット値・Y座標ビット値に変換して、そのデータ配列から所定の演算方法によりX、Y座標データを演算する。なお、プロセッサ108は、ドットパターンに対向する電子ペン1の角度に起因するドットの画像上の配列を補正する回転補正処理機能を備えており、座標演算の際にその機能が発揮される。そして、プロセッサ108は、リアルタイムクロック110から発信される現在時刻(タイムスタンプ:記入された時刻情報)、筆圧データ及びX、Y座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、プレゼンテーション用紙2や操作シート6における6×6のドットパターンは、プレゼンテーション用紙2及び操作シート6内で重複することはないため、ユーザが電子ペン1で文字等を記入すると、記入された位置がプレゼンテーション用紙2又は操作シート6のどの位置に当たるかを、プロセッサ108による座標演算により特定することができる。
【0038】
メモリ109には、電子ペン1を識別するための「pen01」といったペンID、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット111は、ペンIDと、時刻情報(タイムスタンプ)と、筆圧データと、X、Y座標データとを関連付けて、記入情報としてコンピュータ装置3へ送信する。この場合、通信ユニット111によるコンピュータ装置3への送信は、Bluetooth(登録商標)などの無線送信によって、即時的かつ逐次的に行われる。
【0039】
ここで、プロセッサ108は、圧力センサ107から与えられる筆圧データによらず、LED105及びCMOSカメラ106を常時駆動させている。従って、電子ペン1のペン先103がドットパターンに近接して、プロセッサ108がCMOSカメラ106によって供給される画像データからドットパターンのX,Y座標を演算できるようになると、プロセッサ108は、ペン先103がプレゼンテーション用紙2等に接触する前であっても、筆圧を0(ゼロ)とした記入情報を生成する。そして、プロセッサ108は、生成した記入情報を、通信ユニット111を介して、コンピュータ装置3へ送信する。
【0040】
また、プロセッサ108は、ユーザが電子ペン1でプレゼンテーション用紙2等に文字などを書くと、ペン先部103に筆圧がかかり、圧力センサ107によって所定値以上の筆圧が検出されたときに、プロセッサ108は、ユーザが記入を開始したと判定して、圧力センサ107により検出されたペンダウン情報(以後、「ペンダウン情報PD」と呼ぶ。)と、後述する電子ペン1のペンIDとを関連付けて、記入情報として通信ユニット111によりコンピュータ装置3へ送信する。また、ユーザが1つのストロークを記入し終えて電子ペン1をプレゼンテーション用紙2や操作シート6から離すと、圧力センサ107は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、プロセッサ108は、圧力センサ107により検出されたペンアップ情報(以後、「ペンアップ情報PU」と呼ぶ。)とペンIDとを関連付けて、記入情報として通信ユニット111によりコンピュータ装置3へ送信する。
【0041】
ここで、電子ペン1のペンダウンからペンアップまでの間に生成されてコンピュータ装置3に送信された1個又は複数個の座標属性情報は、コンピュータ装置3によりストローク情報として記憶される。換言すると、1つのストロークは、1個又は複数個のX、Y座標(座標点)からなり、コンピュータ装置3は、ペンダウン情報PD及びペンアップ情報PUによって、1つのストロークを構成する1個又は複数個の座標属性情報を認識する。
【0042】
なお、電子ペン1は、インクカートリッジ104に代えて、インキが充填されていないペン部104を備えてもよい。この場合には、後述する操作シート6は、複数枚印刷される必要がない。
【0043】
(コンピュータ装置)
次に、コンピュータ装置3について説明する。コンピュータ装置3は、ハードウェアとして、電子ペン1とのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、ディスプレイ、マウスやキーボード等で構成される。なお、コンピュータ装置3は、iPad(登録商標)などのタブレットPCやPDA(Personal Data Assistance)、またはディスプレイを備えるPC(パーソナルコンピュータ)等で構成されてもよい。
【0044】
図5は、コンピュータ装置3の機能ブロック図である。コンピュータ装置3は、機能的には、マウスやキーボードといった入力手段31、第1通信手段32、記憶手段33、処理手段34、表示手段36、インターフェース(I/F)37、及び第2通信手段38を備える。第1通信手段32は、アンテナ受信回路等により構成され、電子ペン1から記入情報を受信し、受信した情報を処理手段34に伝送する。表示手段36は、ディスプレイ等によって構成され、処理手段34によって指示された内容を表示する。インターフェース37は、プレゼンテーション用紙2及び操作シート6の印刷指示信号をプリンター7へ送信する。第2通信手段38は、処理手段34の処理命令に基づき、表示手段36に画像を表示するための画像信号を書画カメラ付きプロジェクタ4に送信し、表示手段36の画像と同じ画像を同期して投影させたり、書画カメラ付きプロジェクタ4から画像データを受信したりする。
【0045】
処理手段34は、CPU等のプロセッサによって構成され、コンピュータ装置3の全体の制御を行う。処理手段34は、印刷指示手段340と、画像データ受信手段341と、画像データ処理手段342と、表示制御手段343とを備える。印刷指示手段340は、ドットパターン以外については、電子ペン1で読み取れないインク(CMY:カーボンを含まない)で印刷する旨、及びドットパターンは電子ペン1で読み取り可能なカーボンを含むインク(Bk)で印刷する旨の印刷プロパティの設定を行う。なお、プリンター7が、カーボンを含まない黒色(「K」とする。)とカーボンを含む黒色(「Bk」とする。)とを区別して使用できる場合、印刷指示手段340は、ドットパターン以外をCMYKの4色のインクで印刷し、ドットパターンをカーボンを含む黒色のインキ(Bk)で印刷するようにしてもよい。また、印刷指示手段340は、プレゼンテーション用紙2を印刷する前に、印刷対象であるプレゼンテーション用アプリケーションのファイルを、所定の形式のファイル(「PPGファイル」と呼ぶ。)に変換する。具体的に、印刷指示手段340は、印刷対象であるプレゼンテーション用アプリケーションのファイルを所定の専用ビューアで表示できるように、当該ファイルの各スライドの画像データを生成し、生成した画像データから構成されるPPGファイルを生成する。これにより、印刷指示手段340は、印刷対象の各スライドにドットパターンを割当て、当該各スライドと割当てたドットパターンとを重ねてプリンター7に印刷させることが可能となる。
【0046】
処理手段34の画像データ受信手段341は、書画カメラ付きプロジェクタ4から画像データ及び向き特定フラグFgを第2通信処理手段38により受信する。また、処理手段34の画像データ処理手段342は、この場合、PPGファイルのスライドを新たに生成し、向き特定フラグFgが示す向きに従って、受信した画像データが示す画像を新規スライドに貼り付ける。そして、画像データ処理手段342は、上述の画像が貼り付けられた新規スライド(「画像貼付スライド」とも呼ぶ。)をPPGファイルとして記憶手段33に記憶させる。画像貼付スライドは、本発明における「プレゼンテーション用アプリケーションのスライド」の一例である。画像データ処理手段342が行う具体的な処理については、[スライド生成処理]のセクションで詳しく説明する。
【0047】
処理手段34の表示制御手段343は、後述する操作シート6に対する電子ペン1の記入情報をコンピュータ装置3が受信した場合、専用ビューアにより表示中の画像貼付スライドに操作シート6への筆跡を再現したストロークを描画したり、専用ビューアにより表示させる画像貼付スライドを変更したりする。また、表示制御手段343は、プレゼンテーション用紙2への電子ペン1による記入情報をコンピュータ装置3が受信した場合、受信した記入情報に基づき、記入されたプレゼンテーション用紙2に印刷されたスライド(「既存スライド」とも呼ぶ。)を認識し、当該既存スライドを専用ビューアにより表示させる。この具体的な処理については、[記入情報に基づく処理]のセクションで詳しく説明する。
【0048】
記憶手段33は、ROMやRAMといったメモリによって構成される。記憶手段33は、処理手段34の処理命令により、電子ペン1から受信した記入情報をペンID毎に記憶する。また、記憶手段33は、プレゼンテーション用紙2の各々に対応するドットパターンが示す座標範囲、及び操作シート6の各領域に対応するドットパターンが示す座標範囲の情報(「座標定義情報」とも呼ぶ。)を記憶する。
【0049】
さらに、記憶手段33は、プレゼンテーション用紙2に印刷するプレゼンテーション用アプリケーションのファイル及び当該ファイルに基づき生成されたPPGファイルを記憶する。また、記憶手段33は、書画カメラ付きプロジェクタ4から受信した画像データ及び向き特定フラグFgを記憶し、さらに、当該画像データに基づき生成された画像貼付スライドを、他の画像貼付スライド又は/及び既存スライドと共にファイル化して記憶する。
【0050】
(操作シート)
次に、操作シート6について説明する。図6は、操作シート6の上面図を示す。図6に示すように、操作シート6は、ストローク描画用領域61と、ページ指定領域62と、ストローク線色指定領域63と、上方向表示マーク64とを備える。ストローク描画用領域61と、ページ指定領域62と、ストローク線色指定領域63とは、それぞれ異なる座標範囲のドットパターンが各領域の略全面に印刷されている。そして、コンピュータ装置3の記憶手段33は、これらの各領域に重ねて印刷されたドットパターンが示す座標範囲の情報を座標定義情報として記憶している。なお、操作シート6が複数枚印刷される場合には、各操作シート6は、それぞれ同じ座標範囲を示すドットパターンが印刷されることが望ましい。
【0051】
ストローク描画用領域61は、コンピュータ装置3の表示制御手段343が専用ビューアにより画像貼付スライドを表示している際に、電子ペン1により記入がなされる領域である。電子ペン1により記入がなされた場合、コンピュータ装置3は、受信した記入情報に基づき筆跡を特定し、専用ビューアにより表示された画像貼付スライドに筆跡を再現したストロークを描画し、描画後の画像貼付スライドの情報を記憶手段33に記憶させる。
【0052】
また、ストローク描画用領域61には、横方向に延在し、ストローク描画用領域61の上下方向における中心を結んだ上下中心線610Xと、縦方向に延在し、ストローク描画用領域61の左右方向における中心を結んだ左右中心線610Yとが印刷されている。上下中心線610X及び左右中心線610Yの用途については、図7及び図8の説明で後述する。
【0053】
ページ指定領域62は、専用ビューアにより表示させる画像貼付スライドをユーザに指定させるための領域である。ページ指定領域62は、ページ番号指定領域62Aと、直前ページ指定領域62Bと、次ページ指定領域62Cと、前ページ指定領域62Dとを備える。ページ番号指定領域62Aは、各画像貼付スライドに付された識別番号(単に「ページ番号Np」とも呼ぶ。)に基づき、専用ビューアにより表示させる画像貼付スライドを指定するための領域である。ここで、「ページ番号Np」は、生成順に各画像貼付スライドに「1」から付される通し番号である。そして、図6では、ページ番号指定領域62Aは、一例として、ページ番号Npが「1」から「20」までの各画像貼付スライドを指定するための領域を有する。なお、画像貼付スライドが削除された場合、コンピュータ装置3は、削除された画像貼付スライドよりも大きいページ番号Npを有する画像貼付スライドのページ番号Npを繰り上げて欠番が生じないようにしてもよく、削除された画像貼付スライドのページ番号Npを欠番のままにしてもよい。
【0054】
直前ページ指定領域62Bは、専用ビューアにより現在表示中の画像貼付スライドの直前に表示されていた画像貼付スライドを専用ビューアにより表示させるための領域である。次ページ指定領域62Cは、専用ビューアにより現在表示中の画像貼付スライドより一つ大きいページ番号Npを有する画像貼付スライドを専用ビューアにより表示させるための領域である。前ページ指定領域62Dは、専用ビューアにより現在表示中の画像貼付スライドより一つ小さいページ番号Npを有する画像貼付スライドを専用ビューアにより表示させるための領域である。
【0055】
ストローク線色指定領域63は、専用ビューアに表示された画像貼付スライド上に描画されるストロークの線色を指定するための領域である。ここでは、ストローク線色指定領域63は、「黒色」、「黄色」、「赤色」、「青色」に対応する各領域を有する。上方向表示マーク64は、操作シート6の上方向を指定した矢印である。
【0056】
ここで、ストローク描画用領域61へ電子ペン1により記入された筆跡と、表示手段36に表示された画像貼付スライドとの対応について図7及び図8を参照して説明する。
【0057】
図7は、書画カメラ付きプロジェクタ4から送信された画像データが示す画像が横向き(横長)に貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域360とストローク描画用領域61との対応を示す図である。
【0058】
図7に示すように、専用ビューア表示領域360の全範囲に対して、ストローク描画用領域61の全範囲が対応している。そして、ストローク描画用領域61へ電子ペン1により記入されたストロークは、図7の破線で示す対応関係に基づき、専用ビューア表示領域360上に描画される。また、図7では、専用ビューア表示領域360は、貼り付けられた画像(「貼付画像」とも呼ぶ。)の表示領域(「貼付画像表示領域」とも呼ぶ。)と一致し、貼付画像がその全面に表示される。従って、ストローク描画用領域61へ電子ペン1により記入されたストロークは、専用ビューア表示領域360に表示された貼付画像に重畳して表示される。
【0059】
図8は、貼付画像が縦向きである画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域360と、ストローク描画用領域61との対応を示す図である。図8において、貼付画像表示領域361は、専用ビューア表示領域360中の二点鎖線により挟まれた領域を指すものとし、貼付画像描画用領域620は、ストローク描画用領域61中の二点鎖線により挟まれた領域であって、貼付画像表示領域361に表示された貼付画像に重畳させて描くストロークを記入するための領域を示す。
【0060】
図8に示すように、貼付画像が縦長に配置された画像貼付スライドを専用ビューアにより表示した場合であっても、図7と同様に、専用ビューア表示領域360の全範囲に対して、ストローク描画用領域61の全範囲が対応している。そして、ストローク描画用領域61へ電子ペン1により記入されたストロークは、図8の破線で示す対応関係に基づき、専用ビューア表示領域360上に描画される。
【0061】
専用ビューア表示領域360では、縦長に配置された貼付画像が表示される貼付画像表示領域361は、専用ビューア表示領域360と上下の端を一致させた状態で専用ビューア表示領域360の左右方向における中央に表示される。そして、貼付画像描画用領域620上に電子ペン1により記入されたストロークは、貼付画像表示領域361上に描画される。このとき、貼付画像描画用領域620の上下方向における中心線と一致した位置に上下中心線610Xが印刷されており、貼付画像描画用領域620の左右方向における中心線と一致した位置に左右中心線610Yが印刷されている。従って、記入者は、貼付画像が縦長に配置された画像貼付スライドが専用ビューアにより表示されていた場合であっても、上下中心線610X及び左右中心線610Yを目印として、比較的容易に記入すべき位置を把握することができる。
【0062】
なお、ユーザは、ストローク描画用領域61の貼付画像描画用領域620外の領域に電子ペン1により記入を行ってもよい。この場合には、貼付画像表示領域361の外であって、専用ビューア表示領域360内の対応する位置に記入情報に基づくストロークが描かれる。
【0063】
[印刷処理]
次に、図9を参照し、プレゼンテーション用紙2の印刷処理について具体的に説明する。図9は、プレゼンテーション用紙2の印刷処理の手順を示すフローチャートである。なお、コンピュータ装置3は、ユーザの操作により、所定のプレゼン用アプリケーション(例えば、パワーポイント(登録商標)など)により、スライドで構成されるファイルを作成しているものとする。
【0064】
まず、コンピュータ装置3の印刷指示手段340は、所定のプレゼンテーション用アプリケーションにより作成されたファイルの各スライドを、専用ビューアで表示できるように、各スライドについて画像データを作成し、PPGファイルとしてファイル化する(ステップS101)。次に、印刷指示手段340は、生成したPPGファイルの各スライドに、それぞれ異なる座標範囲のドットパターンを割り当てる(ステップS102)。次に、印刷指示手段340は、PPGファイルの各スライドについて、それぞれ割り当てたドットパターンを重ねて印刷する旨の印刷指示信号を、インターフェース37によりプリンター7へ送信する(ステップS103)。
【0065】
プリンター7は、コンピュータ装置3から上述の印刷指示信号を受信すると、受信した印刷指示信号が示す印刷指示に従い、PPGファイルの各スライドについて、それぞれ割り当てたドットパターンを重ねて印刷する(ステップS201)。これにより、プレゼンテーション用紙2が印刷される。
【0066】
[スライド生成処理]
次に、画像貼付スライドの生成処理について、図10を参照して説明する。図10は、画像貼付スライドの生成処理の手順を示すフローチャートである。
【0067】
まず、書画カメラ付きプロジェクタ4は、投影モード切替ボタンBt3により第1投影モードが指定されている場合、筺体上の所定位置に裏向きで載置された撮像用紙を筐体内部から撮像してスクリーン5に撮像用紙の画像を投影する。この時、書画カメラ付きプロジェクタ4は、画像回転ボタンBt1が押下される度に、スクリーン5に投影された撮像用紙の画像を右又は左方向に90度回転させてスクリーン5上に投影する(ステップS301)。これにより、スクリーン5に投影された画像が正しい向き(意図した向き)に表示されるように調整がなされる。
【0068】
次に、画像確定ボタンBt2が押下された場合、書画カメラ付きプロジェクタ4は、撮像した撮像用紙の画像データ(例えば、JPEG形式)を生成し、画像の向きを示す向き特定フラグFgと共に、コンピュータ装置3へ送信する(ステップS302)。このとき、書画カメラ付きプロジェクタ4は、例えば、画像回転ボタンBt1が押下された回数から特定フラグFgを定める。具体的には、書画カメラ付きプロジェクタ4は、画像回転ボタンBt1が押されていない初期状態で撮像用紙がスクリーン5上に横向きに投影される場合には、画像回転ボタンBt1が偶数回(0回も含む)押下された場合には画像が横向きであることを示す向き特定フラグFgを生成し、画像回転ボタンBt1が奇数回押下された場合には、画像が縦向きであることを示す特定フラグFgを生成する。
【0069】
そして、書画カメラ付きプロジェクタ4から画像データ及び向き特定フラグFgをコンピュータ装置3が受信すると、画像データ受信手段341は、受信した画像データを向き特定フラグFgと共に所定のフォルダ(「画像データ格納フォルダ」とも呼ぶ。)に記憶する(ステップS401)。ここで、「画像データ格納フォルダ」は、例えばコンピュータ装置3のユーザが予め指定したフォルダであってもよく、ユーザの入力によらず予め定められたフォルダであってもよい。
【0070】
画像データ処理手段342は、画像データ格納フォルダを常時監視し、画像データ受信手段341により新規の画像データが画像データ格納フォルダ内に記憶されたことを認識する(ステップS402)。そして、画像データ処理手段342は、専用ビューアによりPPGファイルが開いている状態である場合には(ステップS403;Yes)、開いているPPGファイルの新規スライドを生成し、当該新規スライドを最後尾のスライドとして追加すると共に、向き特定フラグFgが示す向きに応じて画像データが示す画像を新規スライドに貼り付ける(ステップS404)。言い換えると、この場合、画像データ処理手段342は、開いているPPGファイルの最後のスライドの次に新規スライドを追加して当該新規スライドに画像を向き特定フラグFgに基づき貼り付ける。このように、画像データ処理手段342は、開いているPPGファイルの既存スライドの次に画像貼付スライドを生成順に順次並べていく。また、画像データ処理手段342は、生成された画像貼付スライドに対して、ページ番号指定領域62Aに表示された番号に対応するページ番号Npを生成順に「1」から付す。そして、画像データ処理手段342は、既存スライドの情報に画像貼付スライドの情報が付加されたPPGファイルを記憶手段33に記憶させる(ステップS404)。
【0071】
一方、専用ビューアによりPPGファイルが開いていない状態の場合(ステップS403;No)、画像データ処理手段342は、表示手段36に専用ビューアを表示させると共に新規スライドを生成し、向き特定フラグFgに応じて当該新規スライドに画像を貼り付け、PPGファイルとして記憶手段33に記憶させる(ステップS405)。言い換えると、この場合、画像データ処理手段342は、画像貼付スライドを追加すべきPPGファイルがないため、画像貼付スライドを生成した後、新規のPPGファイルとして保存し、かつ、表示手段36に画像貼付スライドを表示させる。また、画像データ処理手段342は、生成された画像貼付スライドに対して、ページ番号指定領域62Aに表示された番号に対応するページ番号Npを生成順に「1」から付す。
【0072】
なお、ステップS404及びステップS405において、画像データ処理手段342は、画像貼付スライドを生成した後であっても、画像データ処理手段342は、貼付画像を90度ずつ回転させる旨の入力を入力手段31により検知した場合、貼付画像を回転させて向きを調整する。
【0073】
[記入情報に基づく処理]
次に、電子ペン1から記入情報が送信された際にコンピュータ装置3が行う処理について図11を用いて説明する。図11は、記入情報を受信した際にコンピュータ装置3が行う処理手順を示すフローチャートである。
【0074】
まず、ユーザが、プレゼンテーション用紙2又は操作シート6に対し、電子ペン1で文字の記入又はタップを行うと、電子ペン1は、ペンID及び座標属性情報を含む記入情報を生成し、コンピュータ装置3へ送信する。コンピュータ装置3では、第1通信手段32が記入情報を受信すると、処理手段34は、記憶手段33に当該記入情報を記憶させる(ステップS501)。次に、処理手段34の表示制御手段343は、座標定義情報を参照し、記入情報に含まれる座標情報が示す位置座標が、(a)プレゼンテーション用紙2に印刷された既存スライドに割当てられた座標範囲にあるか、又は、(b)操作シート6のストローク描画用領域61に割当てられた座標範囲にあるか、又は、(c)操作シート6のページ指定領域62に割当てられた座標範囲にあるか、又は、(d)操作シート6のストローク線色指定領域63に割当てた座標範囲にあるかを判定する(ステップS502)。
【0075】
そして、記入情報が示す位置座標がプレゼンテーション用紙2に印刷された既存スライドに割当てられた座標範囲にある場合(ステップS502;(a))、表示制御手段343は、プレゼンテーション用紙2に記入がなされたと判断し、上述の座標範囲のドットパターンが割当てられた既存スライドを表示手段36に表示させると共に、当該既存スライド上に記入情報に基づくストロークを描画し、ストロークが描画された後の既存スライドを上書き保存する(ステップS503)。
【0076】
一方、記入情報が示す位置座標が操作シート6のストローク描画用領域61に割当てられた座標範囲にある場合(ステップS502;(b))、表示制御手段343は、さらに画像貼付スライドが専用ビューアにより表示されている状態であるか否か判定する(ステップS504)。そして、画像貼付スライドが専用ビューアにより表示されていない場合には(ステップS504;No)、表示制御手段343はフローチャートの処理を終了する。
【0077】
一方、画像貼付スライドが表示中である場合(ステップS504;Yes)、表示制御手段343は、さらに、記入情報に含まれる筆圧データが「0」であるか否か判定し、筆圧データが「0」のときには、記入情報に含まれる座標情報が示す位置に十字状等のカーソル(マーク)を表示手段36に表示させる(ステップS505)。即ち、この場合、表示制御手段343は、操作シート6と接触していないが、ドットパターンを読み取れる程度に電子ペン1が操作シート6と近接した状態(「ホバーリング状態」とも呼ぶ。)であると判断し、ペン先103の位置を記入者に視認させる。これにより、表示制御手段343は、これから電子ペン1により書き込もうとする位置を容易に記入者に把握させることができる。なお、表示制御手段343は、図8に示すように貼付画像が縦向きに配置された画像貼付スライドを表示している場合には、記入情報が貼付画像描画用領域620に割当てられたドットパターンの位置座標を示す場合にのみ、カーソルを表示手段36に表示させてもよい。
【0078】
一方、記入情報に含まれる筆圧データが「0」より大きい場合には、表示制御手段343は、電子ペン1が操作シート6上にペンダウンされて記入が行われていると判断し、受信した記入情報に基づくストロークを画像貼付スライド上に描画し、ストロークが描画された後の画像貼付スライドを上書き保存する(ステップS505)。
【0079】
再びステップS502に戻り説明する。記入情報が示す位置座標が操作シート6のページ指定領域62に割当てられた座標範囲にある場合(ステップS502;(c))、表示制御手段343は、指定された画像貼付スライドへ表示を切り替える(ステップS506)。具体的には、ページ指定領域62のページ番号指定領域62Aが電子ペン1によりタップされたと判断した場合、表示制御手段343は、当該ページ番号指定領域62Aに対応するページ番号Npが付された画像貼付スライドを専用ビューアにより表示させる。一方、ページ指定領域62の直前ページ指定領域62Bが電子ペン1によりタップされたと判断した場合、表示制御手段343は、専用ビューアにより現在表示中の画像貼付スライドの直前に表示されていた画像貼付スライドを専用ビューアにより表示させる。一方、ページ指定領域62の次ページ指定領域62Cが電子ペン1によりタップされたと判断した場合、表示制御手段343は、専用ビューアにより現在表示中の画像貼付スライドの次のページ番号Npを有する画像貼付スライドを専用ビューアにより表示させる。また、ページ指定領域62の前ページ指定領域62Dが電子ペン1によりタップされたと判断した場合、表示制御手段343は、専用ビューアにより現在表示中の画像貼付スライドの前のページ番号Npを有する画像貼付スライドを専用ビューアにより表示させる。
【0080】
一方、記入情報が示す位置座標が操作シート6のストローク線色指定領域63に割当てられた座標範囲にある場合(ステップS502;(d))、表示制御手段343は、記入情報が示す位置座標に対応するストローク線色指定領域63に対応付けられた線色を、画像貼付スライド上に描画する線色として設定する(ステップS507)。これにより、表示制御手段343は、以後にステップS503及びステップS505の処理を実行する際に、電子ペン1によりタップされたストローク線色指定領域63に対応付けられた線色により、画像貼付スライド上にストロークを描画する。
【0081】
[本実施形態による作用効果]
本実施形態の電子ペンシステムによれば、書画カメラ付きプロジェクタ4により撮像された画像のデータをコンピュータ装置3が受信し、コンピュータ装置3は、受信した画像データに基づき画像貼付スライドを生成して表示し、かつ、操作シート6への電子ペン1による記入情報に基づき再現した手書きストロークを画像貼付スライド上に描画させる。これにより、電子ペンシステムは、ユーザが操作シート6へ電子ペン1により書込みを行った場合に、書画カメラ付きプロジェクタ4により撮像することで得られた画像上に電子ペン1で記入されたストロークを再現して表示することができる。特に、書画カメラ付きプロジェクタ4は、撮像面を下向きにして撮像用紙が載置されるため、ユーザは、撮像用紙の撮像面に対して直接ペンにより書き込みを行うことができない。これに対し、本実施形態によれば、ユーザは、書画カメラ付きプロジェクタ4で撮像して表示された画像上に好適に書込みを行うことができる。また、書画カメラ付きプロジェクタ4による画像の読み取りから画像貼付スライドの生成まで自動で行われるため、ユーザによる操作の煩雑さもない。
【0082】
また、コンピュータ装置3は、画像貼付スライドの生成時に、表示手段36によりPPGファイルのスライドが表示されていた場合には、生成した画像貼付スライドを当該PPGファイルのスライドとして追加する。これにより、コンピュータ装置3は、好適に、既存のPPGファイルに、書画カメラ付きプロジェクタ4により撮像された画像を貼り付けた画像貼付スライドを追加することができる。
【0083】
さらに、操作シート6は、表示させる画像貼付スライドを指定するためのページ指定領域62を有し、コンピュータ装置3は、ページ指定領域62への電子ペン1による記入情報を受信した場合に、当該ページ指定領域62が指定する画像貼付スライドを専用ビューアにより表示させる。これにより、電子ペンシステムは、ユーザが操作シート6上のページ指定領域62を電子ペン1でタップした場合に、タップされたページ指定領域62に対応する画像貼付スライドを表示することができる。
【0084】
書画カメラ付きプロジェクタ4は、生成した画像データと共に向き特定フラグFgをコンピュータ装置3に送信し、コンピュータ装置3は、向き特定フラグFgに基づき、新規スライドに受信した画像データが示す画像を貼り付ける。これにより、コンピュータ装置3は、画像を適切な向きで貼り付けた画像貼付スライドを生成することができる。
【0085】
さらに、コンピュータ装置3は、操作シート6のストローク描画用領域61への電子ペン1による記入情報が筆圧「0」を示す場合には、当該記入情報に基づき電子ペン1のペン先部103の位置を示すカーソルを表示手段36に表示させる。これにより、電子ペンシステムは、電子ペン1によりストローク描画用領域61上に書き込もうとするユーザに対し、電子ペン1のペン先部103の位置を容易に把握させることができ、好適に書込みを補助することができる。
【0086】
さらに、操作シート6のストローク描画用領域61には、横方向に延在する上下中心線610Xと縦方向に延在する左右中心線610Yとが設けられている。これにより、ユーザは、電子ペン1により操作シート6上に書き込む際に、これらを目安に書込みを行うことができる。
【0087】
[変形例]
次に、本実施形態の変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施形態に適用してもよい。
【0088】
(変形例1)
図11のステップS505の処理に加え、表示制御手段343は、ホバーリング状態の場合に記入情報に基づき画像貼付スライドにカーソルを表示させた後、記入情報を受信しなくなった場合、再び記入情報を受信するまで、又は、記入情報を受信しなくなってから所定時間幅が経過するまでのいずれか早い時までの間、カーソルの表示を継続してもよい。言い換えると、カーソルの表示後にドットパターンを読み取れない位置まで電子ペン1が操作シート6から離れた場合、表示制御手段343は、電子ペン1から最後に受信した記入情報が示す位置にカーソルを継続して表示し、所定時間幅以上電子ペン1から記入情報を受信しない状態が続いたときに、カーソルを非表示にする。また、表示制御手段343は、カーソルの表示後に記入情報を受信しなくなった後、所定時間幅経過前に記入情報を再び受信した場合には、当該記入情報に基づきカーソルの表示を更新したり、カーソルを非表示にしてストロークを描画したりする。これにより、表示制御手段343は、電子ペン1がホバーリング状態である場合に、電子ペン1を把持する手の微細な動きに反応してカーソルの表示及び非表示が頻繁に切り替わるのを抑制することができる。
【0089】
(変形例2)
コンピュータ装置3は、記入情報に基づく表示画面の切り替えを停止するモードを選択する入力を検知した場合には、図11のステップS503及びステップS506において、表示手段36による表示を切り替えない。即ち、上述のモードがユーザにより選択された場合には、コンピュータ装置3の表示制御手段343は、プレゼンテーション用紙2や操作シート6に対する記入情報を電子ペン1から受信した場合であっても、表示手段36による表示を切り替えない。そして、上述のモードでは、表示制御手段343は、コンピュータ装置3のキーボードやマウスなどの入力手段31から表示を切り替える旨の入力があった場合に、表示手段36による表示を切り替える。
【0090】
このようにすることで、電子ペン1が複数存在し、これらの電子ペン1によりプレゼンテーション用紙2や操作シート6へ同時に記入又はタップされる可能性がある場合に、コンピュータ装置3は、頻繁に表示手段36による表示が切り替わるのを抑制することができる。
【0091】
(変形例3)
図10のステップS402では、コンピュータ装置3は、画像データ格納フォルダを常に監視し、新規の画像データが格納されたか判定した。これに代えて、コンピュータ装置3は、ユーザの入力手段31による入力に基づき、画像データ格納フォルダの監視のオン及びオフを切り替えてもよい。そして、画像データ格納フォルダの監視がオフの場合には、コンピュータ装置3は、ステップS402〜ステップS405の処理を行うことなくフローチャートの処理を終了する。これにより、コンピュータ装置3は、ユーザの意に反して画像貼付スライドを生成するのを抑制することができる。
【0092】
(変形例4)
図10のステップS404、S405では、コンピュータ装置3は、画像貼付スライドを生成する枚数の上限値を設定してもよい。この場合の上限値は、例えばページ番号指定領域62Aで指定可能なスライドの数(図6では20)に設定される。そして、コンピュータ装置3は、ステップS404又はステップS405で既に画像貼付スライドの生成枚数が上限値に達していると判断した場合には、その旨の警告を音声又は表示により出力し、画像貼付スライドを生成しない。
【0093】
(変形例5)
書画カメラ付きプロジェクタ4に代えて、電子ペンシステムは、書画カメラとプロジェクタとが別体のものを備えてもよい。この場合、書画カメラ及びプロジェクタはいずれもコンピュータ装置3と接続し、書画カメラは、所定の位置に載置された用紙を撮像することにより生成した画像データをコンピュータ装置へ送信し、プロジェクタは、コンピュータ装置から受信した画像信号に基づく画像をスクリーン5に投影する。また、コンピュータ装置は、入力手段31による入力に基づき、書画カメラから送信された画像データの信号又は表示手段36による表示画面と同じ画像を表示するための画像信号のいずれかをプロジェクタに送信する。この態様であっても、好適に、電子ペンシステムは、書画カメラ付きプロジェクタ4が実行した第1投影モードと第2投影モードに相当する処理を実行することができる。
【0094】
また、書画カメラ付きプロジェクタ4又は上述の書画カメラは、筐体上に裏向きにセットされた撮像用紙を筐体内部から撮像する構成に代えて、筐体上に表向きにセットされた撮像用紙を俯瞰する位置に固定された撮像素子により撮像用紙の撮像を行う構成であってもよい。
【0095】
(変形例6)
画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域360と、ストローク描画用領域61との対応は、図8に示すものに限定されない。
【0096】
図12は、変形例における操作シート6Aの上面図を示し、図13は、変形例において、画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域360と、ストローク描画用領域61との対応を示す。
【0097】
図12に示すように、操作シート6Aは、画像が横向きに貼り付けられた画像貼付スライドが専用ビューアにより表示されていた場合の操作シート6Aの上方向を示す第1上方向表示マーク64Xと、画像が縦向きに貼り付けられた画像貼付スライドが専用ビューアにより表示されていた場合の操作シート6Aの上方向を示す第2上方向表示マーク64Yとを備える。
【0098】
そして、図13に示すように、画像が縦向きに貼り付けられた画像貼付スライドが専用ビューアにより表示されていた場合には、操作シート6Aは第2上方向表示マーク64Yが示す方向を上にして使用される。そして、この場合、ストローク描画用領域61の全領域は、貼付画像上にストロークを描画するための貼付画像描画用領域620に設定される。そして、ストローク描画用領域61に記入されたストロークは、貼付画像表示領域361上に描かれる。この態様によれば、コンピュータ装置3は、画像が縦向きに貼り付けられた画像貼付スライド上に記入者がストロークを描画したい場合に、ストローク描画用領域61の全領域を使用させてストロークを描きやすくすることができる。
【0099】
(変形例7)
図10のステップS404において、画像データ処理手段342は、生成した画像貼付スライドを最後尾に挿入したが、これに代えて、専用ビューアにより表示中のスライドの次の位置に、生成した画像貼付スライドを挿入してもよい。この場合、各画像貼付スライドに付されるページ番号Npは、本実施形態と同様、生成された順序に従い画像貼付スライドに「1」から順に付されてもよく、本実施形態に代えて、PPGファイルにおけるスライドの並び順に従い画像貼付スライドに「1」から順に付されてもよい。
【0100】
(変形例8)
コンピュータ装置3は、図10のステップS402において画像データ格納フォルダを監視することなく、ステップS401で受信した画像データを画像データ格納フォルダ内に記憶した後、直ちにステップS403以降の処理を行ってもよい。
【0101】
(変形例9)
スクリーン5は、ドットパターンが付されたスクリーン(ドットスクリーン)であってもよい。この場合、ドットパターンは、操作シート6やプレゼンテーション用紙2に用いられるドットパターンとは異なる座標範囲のものを使用する。ドットスクリーンは、白地の樹脂基板に、電子ペン1により読み取ることができるよう赤外線を吸収するカーボンを含んだインクによりドットパターン(コード化パターン)が印刷され、さらにドットパターンが例えば透明なEB硬化樹脂層などで保護された層構成を有している。
【0102】
そして、処理手段34は、キャリブレーション用マークを少なくとも2以上、表示手段36に表示させることにより、書画カメラ付きプロジェクタ4に対し、ドットスクリーン5にもキャリブレーション用マークを投影させ、キャリブレーション用マークが投影された位置のドットパターンを電子ペン1に読み取らせて記入情報を受信することで、ドットスクリーン5のドットパターンにかかる座標系を表示手段36のディスプレイにかかる座標系に変換するための座標変換関数を求める(キャリブレーション処理機能)。さらに、処理手段34は、そのキャリブレーション処理により求められた座標変換関数を用いて、ドットスクリーン5のドットパターンにかかる座標系のデータを受信したときに、表示手段36のディスプレイにかかる座標系のデータに変換し、ストロークを描画したり、所定の処理を行ったりする。
【0103】
(変形例10)
書画カメラ付きプロジェクタ4は、画像が縦向き(縦長)であるか横向き(横長)であるかを示す情報を向き特定フラグFgとしてコンピュータ装置3へ送信したが、向き特定フラグFgとして送信する情報は、これに限定されない。これに代えて、書画カメラ付きプロジェクタ4は、画像回転ボタンBt1が押下された回数、又は、画像の標準の向きから右回り又は左回りに回転させた角度の情報を、向き特定フラグFgとしてコンピュータ装置3へ送信してもよい。この態様によっても、コンピュータ装置3は、向き特定フラグFgに基づき、新規スライドに撮像用紙の画像を適切な向きに貼り付けた画像貼付スライドを生成することができる。
【0104】
(変形例11)
図10に示すステップ404.405においては、画像データ処理手段342は、フォルダに記憶された画像を新規スライドに貼り付けてPPGファイルを更新していたが、新規スライドを生成せずに画像だけでスライドを構成させてもよい。
【0105】
(変形例12)
上記実施形態において、電子ペン、ドットパターン(コード化パターン)、記入情報に、アノト方式を用いたが、アノト方式に限られなくともよい。
【符号の説明】
【0106】
1…電子ペン
2…プレゼンテーション用紙
3…コンピュータ装置
4…書画カメラ付きプロジェクタ
5…スクリーン
6…操作シート
7…プリンター
【技術分野】
【0001】
本発明は、電子ペンで読み取り可能なコード化パターンを利用した技術に関する。
【背景技術】
【0002】
従来から、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン(Anoto pen)」が知られている。例えば、特許文献1に記載されているように、アノトペンは、用紙に印刷された所定のドットパターンを読み取って記入情報を生成し、当該記入情報を端末装置に送信する。
【0003】
特許文献2には、ドットパターンに対向する電子ペンの角度に起因するドットの画像上の配列を補正する回転補正処理機能が記載されている。さらに、特許文献3には、プレゼンテーション用アプリケーションで作成したスライドにドットパターンを付して印刷し、電子ペンでその印刷用紙に書き込むことで、コンピュータ装置の表示画面上で筆跡を再現したストロークが描画される技術が開示されている。また、特許文献4には、書画カメラを搭載したプロジェクタが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第3842283号公報
【特許文献2】特表2003−529853号公報
【特許文献3】特許第4748280号公報
【特許文献4】特開平07−104713号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
講義や発表などにおいて、持参した用紙を書画カメラで撮影してスクリーン等に表示させ、さらに補足説明のためにその表示上に発表者が書込みを行いたい場合がある。そのとき、用紙を裏向きにセットする書画カメラを用いていた場合には、その用紙に直接書込みができず、用紙を表向きにセットする書画カメラを用いていた場合でも、書込みを行う手がスクリーンに投影されるという問題や、書きにくいなどの問題が生じる。そこで、本発明は、書画カメラで撮像して表示された画像上に好適に書込みを行うことが可能な電子ペンシステム及びプログラムを提供することを主な目的とする。
【課題を解決するための手段】
【0006】
本発明に係る電子ペンシステムは、コード化パターンが印刷されたシートと、コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、被写体を撮像して画像データを生成する書画カメラと、前記電子ペンから前記記入情報を受信するコンピュータ装置とを備える電子ペンシステムであって、前記コンピュータ装置は、前記書画カメラから前記画像データを受信する画像データ受信手段と、前記画像データ受信手段が受信した画像データに基づき前記被写体の画像を表示手段に表示させると共に、前記シートへの前記電子ペンによる記入情報に基づき再現した手書きストロークを前記被写体の画像上に描画させる表示制御手段とを備える。
【0007】
この態様により、書画カメラにセットされた被写体の画像を示す画像データをコンピュータ装置が受信し、コンピュータ装置は、受信した画像データに基づき被写体の画像を表示し、かつ、シートへの電子ペンによる記入情報に基づき再現した手書きストロークを被写体の画像上に描画させる。これにより、電子ペンシステムは、ユーザがシートへ電子ペンにより書込みを行った場合に、書画カメラにより撮像することで得られた画像上に電子ペンで記入されたストロークを再現して表示することができる。従って、ユーザは、書画カメラで撮像して表示された画像上に好適に書込みを行うことができる。
【0008】
上記の電子ペンシステムの一態様では、前記コンピュータ装置は、前記被写体の画像が貼り付けられたプレゼンテーション用アプリケーションのスライドを生成してファイル化する画像データ処理手段をさらに備える。ここで、「ファイル化する」とは、被写体の画像が貼り付けられたスライドの情報から構成されるプレゼンテーション用アプリケーションの新規ファイルを生成することの他に、被写体の画像が貼り付けられたスライドの情報を既に生成されているプレゼンテーション用アプリケーションのファイルに付加して記憶することも含む。この態様により、コンピュータ装置は、書画カメラにより生成された画像データを、ユーザが使用しやすい態様で記憶することができる。
【0009】
上記の電子ペンシステムの一態様では、前記画像データ処理手段は、前記表示手段によりプレゼンテーション用アプリケーションのスライドが表示されていた場合には、当該スライドのファイルに前記被写体の画像が貼り付けられたスライドの情報を追加する。この態様により、コンピュータ装置は、好適に、既存のプレゼンテーション用アプリケーションのファイルに、書画カメラにより撮像された画像を貼り付けたスライドを追加することができる。
【0010】
上記の電子ペンシステムの一態様では、前記画像データ受信手段は、前記書画カメラから複数の画像データを受信し、前記画像データ処理手段は、前記複数の画像データに基づく前記被写体の画像の各々が貼り付けられたプレゼンテーション用アプリケーションのスライドをそれぞれ生成し、前記シートは、前記表示手段に表示させる前記被写体の画像が貼り付けられたスライドを指定するための指定領域を有し、前記表示制御手段は、前記指定領域への前記電子ペンによる記入情報を受信した場合に、前記指定領域により指定された前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させる。この態様により、電子ペンシステムは、ユーザがシート上の指定領域を電子ペンでタップした場合に、タップされた指定領域が指定するスライドを表示することができる。
【0011】
上記の電子ペンシステムの一態様では、前記指定領域は、前記被写体の画像が貼り付けられたスライドに付される各識別番号に対応する番号指定領域を有し、前記表示制御手段は、前記番号指定領域への前記電子ペンによる記入情報を受信した場合に、当該番号指定領域に対応する識別番号を有する前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させる。この態様により、ユーザは、生成した任意のスライドを容易にコンピュータ装置上に表示させることができる。
【0012】
上記の電子ペンシステムの他の一態様では、前記表示制御手段は、前記電子ペンによる記入情報に基づく前記表示手段による表示の切り替えを禁止する旨の入力があった場合、前記指定領域への前記電子ペンによる記入情報を受信した場合であっても、前記表示手段による表示の切り替えを行わない。このようにすることで、電子ペンシステムは、複数人が電子ペン及びシートを使用する場合などに、表示が頻繁に切り替わるのを抑制することができる。
【0013】
上記の電子ペンシステムの他の一態様では、前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付ける。この態様により、コンピュータ装置は、書画カメラが撮像した画像を適切な向きでスライドに貼り付けて表示することができる。
【0014】
上記の電子ペンシステムの他の一態様では、前記記入情報には筆圧の情報が含まれ、前記表示制御手段は、筆圧が0である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させる。これにより、電子ペンシステムは、電子ペンによりシート上に書き込もうとするユーザに対し、電子ペンのペン先の位置を容易に把握させることができ、好適に書込みを補助することができる。
【0015】
上記の電子ペンシステムの他の一態様では、前記表示制御手段は、前記カーソルを前記表示手段に表示中に記入情報を受信しなくなった場合、再び記入情報を受信するまで、又は、記入情報を受信しなくなってから所定時間幅が経過するまでのいずれか早い時までの間、前記カーソルの表示を継続する。この態様により、電子ペンシステムは、カーソルの表示及び非表示が頻繁に切り替わるのを抑制することができる。
【0016】
上記の電子ペンシステムの他の一態様では、前記シートは、前記被写体の画像上に再現する手書きストロークを記入するための矩形の描画領域を有し、前記描画領域には、縦方向に延在する中心線又は/及び横方向に延在する中心線が設けられる。この態様により、ユーザは、電子ペンによりシート上に書き込む際に、これらの中心線を目安に書込みを行うことができる。
【0017】
上記の電子ペンシステムの他の一態様では、前記書画カメラは、当該書画カメラが撮像した画像又は前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタに付属し、撮像面を下向きにして前記被写体が載置される筐体と、前記筐体の内部から前記被写体の撮像面を撮像する撮像手段とを備える。このように、電子ペンシステムは、被写体を下向きにして撮像を行う書画カメラを備え、被写体に対してユーザが直接書き込めない態様であっても、好適に、シート上に電子ペンにより記入されたストロークを撮像した画像に重畳させて表示させることができる。
【0018】
上記の電子ペンシステムの他の一態様では、前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタをさらに備え、前記書画カメラは、撮像面を上向きにして前記被写体が載置される筐体と、前記筐体の上から俯瞰して前記被写体の撮像面を撮像する撮像手段とを備える。このように、電子ペンシステムは、被写体を上向きにして撮像を行う書画カメラを備える場合であっても、好適に、シート上に電子ペンにより記入されたストロークを撮像した画像に重畳させて表示させることができる。
【0019】
本発明に係る電子ペンシステムの別の態様では、コード化パターンが印刷されており、スライドを指定するための指定領域と、手書ストロークを描くためのストローク描画用領域とを有するシートと、コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、被写体を撮像して画像データを生成する書画カメラと、前記電子ペンから前記記入情報を受信するコンピュータ装置とを備える電子ペンシステムであって、前記コンピュータ装置は、前記書画カメラから前記画像データを受信する画像データ受信手段と、前記画像データ受信手段が受信した複数の前記画像データに基づいて前記被写体画像の各々をスライドにしたファイルを生成する画像データ処理手段と、前記指定領域への前記電子ペンによる記入情報を受信した場合には、前記指定領域により指定されたスライドを前記表示手段に表示させ、前記ストローク描画用領域への前記電子ペンによる記入情報を受信した場合には、当該記入情報に基づき再現した手書きストロークを表示中の画像上に描画させる表示制御手段とを備える。
【0020】
この態様により、コンピュータ装置は、書画カメラから画像データを受信し、受信した複数の画像データに基づいて被写体画像の各々をスライドにしたファイルを生成する。そして、コンピュータ装置は、記入情報を受信した場合には、シートの指定領域により指定されたスライドを表示し、ストローク描画用領域への電子ペンによる記入情報を受信した場合には、当該記入情報に基づき再現した手書きストロークを表示中の画像上に描画させる。これにより、コンピュータ装置は、書画カメラが撮像した画像データをそれぞれスライドとしたファイルを生成し、かつ、書画カメラで撮像して表示された画像上に電子ペンによる書込みをユーザに実行させることができる。
【0021】
上記の電子ペンシステムの一態様では、前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付ける。この態様により、コンピュータ装置は、書画カメラが撮像した画像を適切な向きでスライドに貼り付けて表示することができる。
【0022】
上記の電子ペンシステムの他の一態様では、前記記入情報には筆圧の情報が含まれ、前記表示制御手段は、筆圧が0である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させる。この態様により、電子ペンシステムは、電子ペンによりシート上に書き込もうとするユーザに対し、電子ペンのペン先の位置を容易に把握させることができ、好適に書込みを補助することができる。
【0023】
本発明に係るプログラムは、上記電子ペンシステムにおけるコンピュータ装置として機能させる。
【0024】
これらのプログラムをコンピュータ装置にインストールして機能させることで、本発明に係る電子ペンシステムを構成させることができる。
【発明の効果】
【0025】
本発明によれば、書画カメラにセットされた被写体の画像を示す画像データをコンピュータ装置が受信し、コンピュータ装置は、受信した画像データに基づき被写体の画像を表示し、かつ、シートへの電子ペンによる記入情報に基づき再現した手書きストロークを被写体の画像上に描画させる。これにより、電子ペンシステムは、ユーザがシートへ電子ペンにより書込みを行った場合に、書画カメラにより撮像することで得られた画像上に電子ペンで記入されたストロークを再現して表示することができる。従って、ユーザは、書画カメラで撮像して表示された画像上に好適に書込みを行うことができる。
【図面の簡単な説明】
【0026】
【図1】本実施形態に係る電子ペンシステムの構成を示す。
【図2】ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。
【図3】(a)は、ドットパターンを模式的に示し、(b)は、それに対応する情報の例を示す図である。
【図4】電子ペンの構造を示す概略図である。
【図5】コンピュータ装置の機能ブロック図である。
【図6】操作シートの上面図を示す。
【図7】画像が横向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューアの表示領域とストローク描画用領域との対応を示す。
【図8】画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューアの表示領域とストローク描画用領域との対応を示す。
【図9】プレゼンテーション用紙の印刷処理の手順を示すフローチャートである。
【図10】画像貼付スライドの生成処理の手順を示すフローチャートである。
【図11】記入情報に基づく処理の手順を示すフローチャートである。
【図12】変形例における操作シートの上面図を示す。
【図13】変形例において、画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューアの表示領域とストローク描画用領域との対応を示す。
【発明を実施するための形態】
【0027】
以下、図面を参照しながら、本発明を実施するのに好適な実施形態について説明する。
【0028】
[電子ペンシステムの構成]
図1は、本実施形態に係る電子ペンシステムの構成を示す。図1に示すように、電子ペンシステムは、ユーザが使用する電子ペン1と、プレゼンテーション用アプリケーションのスライドとドットパターンとが重ねて印刷されたプレゼンテーション用紙2と、電子ペン1から記入情報等を受信して処理するコンピュータ装置3と、コンピュータ装置3と通信可能に接続された書画カメラ付きプロジェクタ4と、書画カメラ付きプロジェクタ4から映像(画像)が投影されるスクリーン5と、ドットパターンが印刷された操作シート6と、コンピュータ装置3からの印刷指示(出力命令)に従ってプレゼンテーション用紙2及び操作シート6を印刷するプリンター7とを備える。以下、これらの各構成要素について説明する。
【0029】
(プレゼンテーション用紙)
まず、プレゼンテーション用紙(電子ペン用用紙)2について説明する。プレゼンテーション用紙2には、プレゼンテーション用アプリケーションのスライドが一枚ごとに印刷され、かつ、その略全面に後述する位置座標を示すドットパターン(コード化パターン)が重ねて印刷される。プレゼンテーション用紙2に印刷されるドットパターンは、プレゼンテーション用紙2ごとに異なる座標範囲を示す。ドットパターンは、電子ペン1により読み取ることができるように赤外線を吸収するカーボンを含んだインクにより印刷され、その他の文字や図などは、赤外線を吸収しないインキにより印刷される。プレゼンテーション用紙2の印刷処理については、[印刷処理]のセクションで詳しく説明する。
【0030】
(書画カメラ付きプロジェクタ)
書画カメラ付きプロジェクタ4は、筐体上に載置された用紙(被写体)を撮像することで得られた画像をスクリーン5に投影する第1投影モードと、コンピュータ装置3から送信された画像信号に基づく画像をスクリーン5に投影する第2投影モードとを有する。具体的に、第1投影モードでは、書画カメラ付きプロジェクタ4は、筐体上に設けられた原稿用ガラスに撮像対象となる用紙(「撮像用紙」とも呼ぶ。)が撮像面を下向きにして載置された場合に、載置された撮像用紙を筐体内から撮像することで、撮像用紙の画像データを生成してスクリーン5に投影する。また、第2投影モードでは、書画カメラ付きプロジェクタ4は、Wi−Fi(登録商標)などで採用される無線通信プロトコルによりコンピュータ装置3と通信を行い、コンピュータ装置3から送信された画像信号に基づく画像をスクリーン5に投影する。なお、書画カメラ付きプロジェクタ4は、有線により接続されていてもよい。
【0031】
また、書画カメラ付きプロジェクタ4は、第1投影モード時において、スクリーン5に投影された画像を90度ずつ回転させるためのボタン(「画像回転ボタンBt1」とも呼ぶ。)を備える。さらに、書画カメラ付きプロジェクタ4は、スクリーン5に投影された画像のデータ(ここではJPEG形式とする)を生成し、コンピュータ装置3へ送信するためのボタン(「画像確定ボタンBt2」とも呼ぶ。)を備える。後述するように、画像確定ボタンBt2が押下された場合、書画カメラ付きプロジェクタ4は、画像データと共に、画像が縦向き(縦長)であるか横向き(横長)であるかを示すフラグ(「向き特定フラグFg」とも呼ぶ。)をコンピュータ装置3へ送信する。なお、画像データの保存形式がJPEGの場合には、規格上、画像の向きに関する属性を画像データに組み込むことができるため、書画カメラ付きプロジェクタ4は、画像データに向き特定フラグFgの情報を組み込んで1つのファイルとしてコンピュータ装置3へ送信するとよい。画像回転ボタンBt1及び画像確定ボタンBt2の活用方法については、[スライド生成処理]のセクションで詳しく説明する。さらに、書画カメラ付きプロジェクタ4は、第1投影モードと第2投影モードとを切り替えるための切り替えボタン(「投影モード切替ボタンBt3」とも呼ぶ。)を備える。
【0032】
(ドットパターン)
続いて、プレゼンテーション用紙2や操作シート6に印刷されたアノト方式のドットパターン(コード化パターン)について図2及び図3を用いて説明する。図2は、ドットパターンのドットとそのドットが変換される値との関係を説明する図である。図2に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を仮想格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトするかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、プレゼンテーション用紙2や操作シート6上の位置座標が決定されるよう構成されている。なお、プレゼンテーション用紙2同士又はプレゼンテーション用紙2と操作シート6とでは座標領域が重ならないようドットパターンが形成される。
【0033】
図3(a)は、あるドットパターンの配列を示している。図3(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、プレゼンテーション用紙2や操作シート6上のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは位置座標(例えば、そのドットパターンがプレゼンテーション用紙2や操作シート6上のどの位置にあるのか)を保持している。図3(b)は、図3(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図2に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮像する電子ペン1によって行われる。
【0034】
(電子ペン)
次に、電子ペン1について図4を用いて説明する。図4は、電子ペン1の構造を示す概略図である。図4に示すように、電子ペン1は、その筐体101の内部に、インクカートリッジ104、LED105、CMOSカメラ106、圧力センサ107、CPU等により構成されるプロセッサ108、ROMやRAMといったメモリ109、リアルタイムクロック110、アンテナ等により構成される通信ユニット111及びバッテリー112を備える。インクカートリッジ104の先端は、ペン先部103となっており、ユーザは、電子ペン1のペン先部103をプレゼンテーション用紙2や操作シート6上に当接させて、ストローク(手書きストローク)を記入する。ここで、電子ペン1のペン先部103がプレゼンテーション用紙2等に最初に接触することを「ペンダウン」と呼び、接触している(当接している)状態からペン先部103が離れることを「ペンアップ」と呼ぶ。電子ペン1のペンダウンからペンアップまでの間に記入される軌跡が1つのストロークとなり、文字や図形等は、1つ又は複数個のストロークからなる。
【0035】
バッテリー112は電子ペン1内の各部品に電力を供給するためのものであり、例えば電子ペン1のキャップ(図示せず)の脱着により電子ペン1自体の電源のオン/オフを行うよう構成させてもよい。リアルタイムクロック110は、現在時刻(タイムスタンプ)を示す時刻情報を発信し、プロセッサ108に供給する。圧力センサ107は、ユーザが電子ペン1によりプレゼンテーション用紙2等に文字やマークを書いたりタップしたりする際にペン先部103からインクカートリッジ104を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ108へ伝送する。
【0036】
LED105とCMOSカメラ106は、電子ペン1のペン先部103付近に取り付けられており、筐体101におけるLED105及びCMOSカメラ106と対向する部分には、開口部102が形成されている。LED105は、プレゼンテーション用紙2や操作シート6上のペン先部103近傍に向けて赤外線を照明する。その領域は、ペン先部103がプレゼンテーション用紙2や操作シート6に接触する位置とはわずかにずれている。CMOSカメラ106には、赤外線を透過し赤外線以外を遮断する赤外線透過フィルタが設けられており、CMOSカメラ106は、LED105によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ108に供給する。ここで、カーボンは赤外線を吸収するため、LED105によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。CMOSカメラ106の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。したがって、プレゼンテーション用紙2や操作シート6に文字や図面などが印刷されていた場合でも、印刷したインクは赤外域に吸収性を持たないため、プロセッサ108は、ドットパターンを認識することができる。なお、CMOSカメラ106による撮影領域は、図3(a)に示すような約2mm×約2mmの大きさを含む範囲であり、CMOSカメラ106の撮影は毎秒50〜100回程度の定間隔で行われる。また、CMOSカメラ106は、ドットを鮮明に撮影するため、十分な被写界深度を有している。
【0037】
プロセッサ108は、CMOSカメラ106によって供給される画像データからドットパターンを読み取った場合、当該ドットパターンから、ユーザが記入するストローク(筆跡)のプレゼンテーション用紙2や操作シート6等におけるX、Y座標(以後、単に「座標データ」または「座標情報」とも呼ぶ。)を連続的に演算していく。すなわち、プロセッサ108は、CMOSカメラ106によって供給される、図3(a)に示されるようなドットパターンの画像データを図3(b)に示すデータ配列に変換し、さらに、X座標ビット値・Y座標ビット値に変換して、そのデータ配列から所定の演算方法によりX、Y座標データを演算する。なお、プロセッサ108は、ドットパターンに対向する電子ペン1の角度に起因するドットの画像上の配列を補正する回転補正処理機能を備えており、座標演算の際にその機能が発揮される。そして、プロセッサ108は、リアルタイムクロック110から発信される現在時刻(タイムスタンプ:記入された時刻情報)、筆圧データ及びX、Y座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、プレゼンテーション用紙2や操作シート6における6×6のドットパターンは、プレゼンテーション用紙2及び操作シート6内で重複することはないため、ユーザが電子ペン1で文字等を記入すると、記入された位置がプレゼンテーション用紙2又は操作シート6のどの位置に当たるかを、プロセッサ108による座標演算により特定することができる。
【0038】
メモリ109には、電子ペン1を識別するための「pen01」といったペンID、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット111は、ペンIDと、時刻情報(タイムスタンプ)と、筆圧データと、X、Y座標データとを関連付けて、記入情報としてコンピュータ装置3へ送信する。この場合、通信ユニット111によるコンピュータ装置3への送信は、Bluetooth(登録商標)などの無線送信によって、即時的かつ逐次的に行われる。
【0039】
ここで、プロセッサ108は、圧力センサ107から与えられる筆圧データによらず、LED105及びCMOSカメラ106を常時駆動させている。従って、電子ペン1のペン先103がドットパターンに近接して、プロセッサ108がCMOSカメラ106によって供給される画像データからドットパターンのX,Y座標を演算できるようになると、プロセッサ108は、ペン先103がプレゼンテーション用紙2等に接触する前であっても、筆圧を0(ゼロ)とした記入情報を生成する。そして、プロセッサ108は、生成した記入情報を、通信ユニット111を介して、コンピュータ装置3へ送信する。
【0040】
また、プロセッサ108は、ユーザが電子ペン1でプレゼンテーション用紙2等に文字などを書くと、ペン先部103に筆圧がかかり、圧力センサ107によって所定値以上の筆圧が検出されたときに、プロセッサ108は、ユーザが記入を開始したと判定して、圧力センサ107により検出されたペンダウン情報(以後、「ペンダウン情報PD」と呼ぶ。)と、後述する電子ペン1のペンIDとを関連付けて、記入情報として通信ユニット111によりコンピュータ装置3へ送信する。また、ユーザが1つのストロークを記入し終えて電子ペン1をプレゼンテーション用紙2や操作シート6から離すと、圧力センサ107は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、プロセッサ108は、圧力センサ107により検出されたペンアップ情報(以後、「ペンアップ情報PU」と呼ぶ。)とペンIDとを関連付けて、記入情報として通信ユニット111によりコンピュータ装置3へ送信する。
【0041】
ここで、電子ペン1のペンダウンからペンアップまでの間に生成されてコンピュータ装置3に送信された1個又は複数個の座標属性情報は、コンピュータ装置3によりストローク情報として記憶される。換言すると、1つのストロークは、1個又は複数個のX、Y座標(座標点)からなり、コンピュータ装置3は、ペンダウン情報PD及びペンアップ情報PUによって、1つのストロークを構成する1個又は複数個の座標属性情報を認識する。
【0042】
なお、電子ペン1は、インクカートリッジ104に代えて、インキが充填されていないペン部104を備えてもよい。この場合には、後述する操作シート6は、複数枚印刷される必要がない。
【0043】
(コンピュータ装置)
次に、コンピュータ装置3について説明する。コンピュータ装置3は、ハードウェアとして、電子ペン1とのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、ディスプレイ、マウスやキーボード等で構成される。なお、コンピュータ装置3は、iPad(登録商標)などのタブレットPCやPDA(Personal Data Assistance)、またはディスプレイを備えるPC(パーソナルコンピュータ)等で構成されてもよい。
【0044】
図5は、コンピュータ装置3の機能ブロック図である。コンピュータ装置3は、機能的には、マウスやキーボードといった入力手段31、第1通信手段32、記憶手段33、処理手段34、表示手段36、インターフェース(I/F)37、及び第2通信手段38を備える。第1通信手段32は、アンテナ受信回路等により構成され、電子ペン1から記入情報を受信し、受信した情報を処理手段34に伝送する。表示手段36は、ディスプレイ等によって構成され、処理手段34によって指示された内容を表示する。インターフェース37は、プレゼンテーション用紙2及び操作シート6の印刷指示信号をプリンター7へ送信する。第2通信手段38は、処理手段34の処理命令に基づき、表示手段36に画像を表示するための画像信号を書画カメラ付きプロジェクタ4に送信し、表示手段36の画像と同じ画像を同期して投影させたり、書画カメラ付きプロジェクタ4から画像データを受信したりする。
【0045】
処理手段34は、CPU等のプロセッサによって構成され、コンピュータ装置3の全体の制御を行う。処理手段34は、印刷指示手段340と、画像データ受信手段341と、画像データ処理手段342と、表示制御手段343とを備える。印刷指示手段340は、ドットパターン以外については、電子ペン1で読み取れないインク(CMY:カーボンを含まない)で印刷する旨、及びドットパターンは電子ペン1で読み取り可能なカーボンを含むインク(Bk)で印刷する旨の印刷プロパティの設定を行う。なお、プリンター7が、カーボンを含まない黒色(「K」とする。)とカーボンを含む黒色(「Bk」とする。)とを区別して使用できる場合、印刷指示手段340は、ドットパターン以外をCMYKの4色のインクで印刷し、ドットパターンをカーボンを含む黒色のインキ(Bk)で印刷するようにしてもよい。また、印刷指示手段340は、プレゼンテーション用紙2を印刷する前に、印刷対象であるプレゼンテーション用アプリケーションのファイルを、所定の形式のファイル(「PPGファイル」と呼ぶ。)に変換する。具体的に、印刷指示手段340は、印刷対象であるプレゼンテーション用アプリケーションのファイルを所定の専用ビューアで表示できるように、当該ファイルの各スライドの画像データを生成し、生成した画像データから構成されるPPGファイルを生成する。これにより、印刷指示手段340は、印刷対象の各スライドにドットパターンを割当て、当該各スライドと割当てたドットパターンとを重ねてプリンター7に印刷させることが可能となる。
【0046】
処理手段34の画像データ受信手段341は、書画カメラ付きプロジェクタ4から画像データ及び向き特定フラグFgを第2通信処理手段38により受信する。また、処理手段34の画像データ処理手段342は、この場合、PPGファイルのスライドを新たに生成し、向き特定フラグFgが示す向きに従って、受信した画像データが示す画像を新規スライドに貼り付ける。そして、画像データ処理手段342は、上述の画像が貼り付けられた新規スライド(「画像貼付スライド」とも呼ぶ。)をPPGファイルとして記憶手段33に記憶させる。画像貼付スライドは、本発明における「プレゼンテーション用アプリケーションのスライド」の一例である。画像データ処理手段342が行う具体的な処理については、[スライド生成処理]のセクションで詳しく説明する。
【0047】
処理手段34の表示制御手段343は、後述する操作シート6に対する電子ペン1の記入情報をコンピュータ装置3が受信した場合、専用ビューアにより表示中の画像貼付スライドに操作シート6への筆跡を再現したストロークを描画したり、専用ビューアにより表示させる画像貼付スライドを変更したりする。また、表示制御手段343は、プレゼンテーション用紙2への電子ペン1による記入情報をコンピュータ装置3が受信した場合、受信した記入情報に基づき、記入されたプレゼンテーション用紙2に印刷されたスライド(「既存スライド」とも呼ぶ。)を認識し、当該既存スライドを専用ビューアにより表示させる。この具体的な処理については、[記入情報に基づく処理]のセクションで詳しく説明する。
【0048】
記憶手段33は、ROMやRAMといったメモリによって構成される。記憶手段33は、処理手段34の処理命令により、電子ペン1から受信した記入情報をペンID毎に記憶する。また、記憶手段33は、プレゼンテーション用紙2の各々に対応するドットパターンが示す座標範囲、及び操作シート6の各領域に対応するドットパターンが示す座標範囲の情報(「座標定義情報」とも呼ぶ。)を記憶する。
【0049】
さらに、記憶手段33は、プレゼンテーション用紙2に印刷するプレゼンテーション用アプリケーションのファイル及び当該ファイルに基づき生成されたPPGファイルを記憶する。また、記憶手段33は、書画カメラ付きプロジェクタ4から受信した画像データ及び向き特定フラグFgを記憶し、さらに、当該画像データに基づき生成された画像貼付スライドを、他の画像貼付スライド又は/及び既存スライドと共にファイル化して記憶する。
【0050】
(操作シート)
次に、操作シート6について説明する。図6は、操作シート6の上面図を示す。図6に示すように、操作シート6は、ストローク描画用領域61と、ページ指定領域62と、ストローク線色指定領域63と、上方向表示マーク64とを備える。ストローク描画用領域61と、ページ指定領域62と、ストローク線色指定領域63とは、それぞれ異なる座標範囲のドットパターンが各領域の略全面に印刷されている。そして、コンピュータ装置3の記憶手段33は、これらの各領域に重ねて印刷されたドットパターンが示す座標範囲の情報を座標定義情報として記憶している。なお、操作シート6が複数枚印刷される場合には、各操作シート6は、それぞれ同じ座標範囲を示すドットパターンが印刷されることが望ましい。
【0051】
ストローク描画用領域61は、コンピュータ装置3の表示制御手段343が専用ビューアにより画像貼付スライドを表示している際に、電子ペン1により記入がなされる領域である。電子ペン1により記入がなされた場合、コンピュータ装置3は、受信した記入情報に基づき筆跡を特定し、専用ビューアにより表示された画像貼付スライドに筆跡を再現したストロークを描画し、描画後の画像貼付スライドの情報を記憶手段33に記憶させる。
【0052】
また、ストローク描画用領域61には、横方向に延在し、ストローク描画用領域61の上下方向における中心を結んだ上下中心線610Xと、縦方向に延在し、ストローク描画用領域61の左右方向における中心を結んだ左右中心線610Yとが印刷されている。上下中心線610X及び左右中心線610Yの用途については、図7及び図8の説明で後述する。
【0053】
ページ指定領域62は、専用ビューアにより表示させる画像貼付スライドをユーザに指定させるための領域である。ページ指定領域62は、ページ番号指定領域62Aと、直前ページ指定領域62Bと、次ページ指定領域62Cと、前ページ指定領域62Dとを備える。ページ番号指定領域62Aは、各画像貼付スライドに付された識別番号(単に「ページ番号Np」とも呼ぶ。)に基づき、専用ビューアにより表示させる画像貼付スライドを指定するための領域である。ここで、「ページ番号Np」は、生成順に各画像貼付スライドに「1」から付される通し番号である。そして、図6では、ページ番号指定領域62Aは、一例として、ページ番号Npが「1」から「20」までの各画像貼付スライドを指定するための領域を有する。なお、画像貼付スライドが削除された場合、コンピュータ装置3は、削除された画像貼付スライドよりも大きいページ番号Npを有する画像貼付スライドのページ番号Npを繰り上げて欠番が生じないようにしてもよく、削除された画像貼付スライドのページ番号Npを欠番のままにしてもよい。
【0054】
直前ページ指定領域62Bは、専用ビューアにより現在表示中の画像貼付スライドの直前に表示されていた画像貼付スライドを専用ビューアにより表示させるための領域である。次ページ指定領域62Cは、専用ビューアにより現在表示中の画像貼付スライドより一つ大きいページ番号Npを有する画像貼付スライドを専用ビューアにより表示させるための領域である。前ページ指定領域62Dは、専用ビューアにより現在表示中の画像貼付スライドより一つ小さいページ番号Npを有する画像貼付スライドを専用ビューアにより表示させるための領域である。
【0055】
ストローク線色指定領域63は、専用ビューアに表示された画像貼付スライド上に描画されるストロークの線色を指定するための領域である。ここでは、ストローク線色指定領域63は、「黒色」、「黄色」、「赤色」、「青色」に対応する各領域を有する。上方向表示マーク64は、操作シート6の上方向を指定した矢印である。
【0056】
ここで、ストローク描画用領域61へ電子ペン1により記入された筆跡と、表示手段36に表示された画像貼付スライドとの対応について図7及び図8を参照して説明する。
【0057】
図7は、書画カメラ付きプロジェクタ4から送信された画像データが示す画像が横向き(横長)に貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域360とストローク描画用領域61との対応を示す図である。
【0058】
図7に示すように、専用ビューア表示領域360の全範囲に対して、ストローク描画用領域61の全範囲が対応している。そして、ストローク描画用領域61へ電子ペン1により記入されたストロークは、図7の破線で示す対応関係に基づき、専用ビューア表示領域360上に描画される。また、図7では、専用ビューア表示領域360は、貼り付けられた画像(「貼付画像」とも呼ぶ。)の表示領域(「貼付画像表示領域」とも呼ぶ。)と一致し、貼付画像がその全面に表示される。従って、ストローク描画用領域61へ電子ペン1により記入されたストロークは、専用ビューア表示領域360に表示された貼付画像に重畳して表示される。
【0059】
図8は、貼付画像が縦向きである画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域360と、ストローク描画用領域61との対応を示す図である。図8において、貼付画像表示領域361は、専用ビューア表示領域360中の二点鎖線により挟まれた領域を指すものとし、貼付画像描画用領域620は、ストローク描画用領域61中の二点鎖線により挟まれた領域であって、貼付画像表示領域361に表示された貼付画像に重畳させて描くストロークを記入するための領域を示す。
【0060】
図8に示すように、貼付画像が縦長に配置された画像貼付スライドを専用ビューアにより表示した場合であっても、図7と同様に、専用ビューア表示領域360の全範囲に対して、ストローク描画用領域61の全範囲が対応している。そして、ストローク描画用領域61へ電子ペン1により記入されたストロークは、図8の破線で示す対応関係に基づき、専用ビューア表示領域360上に描画される。
【0061】
専用ビューア表示領域360では、縦長に配置された貼付画像が表示される貼付画像表示領域361は、専用ビューア表示領域360と上下の端を一致させた状態で専用ビューア表示領域360の左右方向における中央に表示される。そして、貼付画像描画用領域620上に電子ペン1により記入されたストロークは、貼付画像表示領域361上に描画される。このとき、貼付画像描画用領域620の上下方向における中心線と一致した位置に上下中心線610Xが印刷されており、貼付画像描画用領域620の左右方向における中心線と一致した位置に左右中心線610Yが印刷されている。従って、記入者は、貼付画像が縦長に配置された画像貼付スライドが専用ビューアにより表示されていた場合であっても、上下中心線610X及び左右中心線610Yを目印として、比較的容易に記入すべき位置を把握することができる。
【0062】
なお、ユーザは、ストローク描画用領域61の貼付画像描画用領域620外の領域に電子ペン1により記入を行ってもよい。この場合には、貼付画像表示領域361の外であって、専用ビューア表示領域360内の対応する位置に記入情報に基づくストロークが描かれる。
【0063】
[印刷処理]
次に、図9を参照し、プレゼンテーション用紙2の印刷処理について具体的に説明する。図9は、プレゼンテーション用紙2の印刷処理の手順を示すフローチャートである。なお、コンピュータ装置3は、ユーザの操作により、所定のプレゼン用アプリケーション(例えば、パワーポイント(登録商標)など)により、スライドで構成されるファイルを作成しているものとする。
【0064】
まず、コンピュータ装置3の印刷指示手段340は、所定のプレゼンテーション用アプリケーションにより作成されたファイルの各スライドを、専用ビューアで表示できるように、各スライドについて画像データを作成し、PPGファイルとしてファイル化する(ステップS101)。次に、印刷指示手段340は、生成したPPGファイルの各スライドに、それぞれ異なる座標範囲のドットパターンを割り当てる(ステップS102)。次に、印刷指示手段340は、PPGファイルの各スライドについて、それぞれ割り当てたドットパターンを重ねて印刷する旨の印刷指示信号を、インターフェース37によりプリンター7へ送信する(ステップS103)。
【0065】
プリンター7は、コンピュータ装置3から上述の印刷指示信号を受信すると、受信した印刷指示信号が示す印刷指示に従い、PPGファイルの各スライドについて、それぞれ割り当てたドットパターンを重ねて印刷する(ステップS201)。これにより、プレゼンテーション用紙2が印刷される。
【0066】
[スライド生成処理]
次に、画像貼付スライドの生成処理について、図10を参照して説明する。図10は、画像貼付スライドの生成処理の手順を示すフローチャートである。
【0067】
まず、書画カメラ付きプロジェクタ4は、投影モード切替ボタンBt3により第1投影モードが指定されている場合、筺体上の所定位置に裏向きで載置された撮像用紙を筐体内部から撮像してスクリーン5に撮像用紙の画像を投影する。この時、書画カメラ付きプロジェクタ4は、画像回転ボタンBt1が押下される度に、スクリーン5に投影された撮像用紙の画像を右又は左方向に90度回転させてスクリーン5上に投影する(ステップS301)。これにより、スクリーン5に投影された画像が正しい向き(意図した向き)に表示されるように調整がなされる。
【0068】
次に、画像確定ボタンBt2が押下された場合、書画カメラ付きプロジェクタ4は、撮像した撮像用紙の画像データ(例えば、JPEG形式)を生成し、画像の向きを示す向き特定フラグFgと共に、コンピュータ装置3へ送信する(ステップS302)。このとき、書画カメラ付きプロジェクタ4は、例えば、画像回転ボタンBt1が押下された回数から特定フラグFgを定める。具体的には、書画カメラ付きプロジェクタ4は、画像回転ボタンBt1が押されていない初期状態で撮像用紙がスクリーン5上に横向きに投影される場合には、画像回転ボタンBt1が偶数回(0回も含む)押下された場合には画像が横向きであることを示す向き特定フラグFgを生成し、画像回転ボタンBt1が奇数回押下された場合には、画像が縦向きであることを示す特定フラグFgを生成する。
【0069】
そして、書画カメラ付きプロジェクタ4から画像データ及び向き特定フラグFgをコンピュータ装置3が受信すると、画像データ受信手段341は、受信した画像データを向き特定フラグFgと共に所定のフォルダ(「画像データ格納フォルダ」とも呼ぶ。)に記憶する(ステップS401)。ここで、「画像データ格納フォルダ」は、例えばコンピュータ装置3のユーザが予め指定したフォルダであってもよく、ユーザの入力によらず予め定められたフォルダであってもよい。
【0070】
画像データ処理手段342は、画像データ格納フォルダを常時監視し、画像データ受信手段341により新規の画像データが画像データ格納フォルダ内に記憶されたことを認識する(ステップS402)。そして、画像データ処理手段342は、専用ビューアによりPPGファイルが開いている状態である場合には(ステップS403;Yes)、開いているPPGファイルの新規スライドを生成し、当該新規スライドを最後尾のスライドとして追加すると共に、向き特定フラグFgが示す向きに応じて画像データが示す画像を新規スライドに貼り付ける(ステップS404)。言い換えると、この場合、画像データ処理手段342は、開いているPPGファイルの最後のスライドの次に新規スライドを追加して当該新規スライドに画像を向き特定フラグFgに基づき貼り付ける。このように、画像データ処理手段342は、開いているPPGファイルの既存スライドの次に画像貼付スライドを生成順に順次並べていく。また、画像データ処理手段342は、生成された画像貼付スライドに対して、ページ番号指定領域62Aに表示された番号に対応するページ番号Npを生成順に「1」から付す。そして、画像データ処理手段342は、既存スライドの情報に画像貼付スライドの情報が付加されたPPGファイルを記憶手段33に記憶させる(ステップS404)。
【0071】
一方、専用ビューアによりPPGファイルが開いていない状態の場合(ステップS403;No)、画像データ処理手段342は、表示手段36に専用ビューアを表示させると共に新規スライドを生成し、向き特定フラグFgに応じて当該新規スライドに画像を貼り付け、PPGファイルとして記憶手段33に記憶させる(ステップS405)。言い換えると、この場合、画像データ処理手段342は、画像貼付スライドを追加すべきPPGファイルがないため、画像貼付スライドを生成した後、新規のPPGファイルとして保存し、かつ、表示手段36に画像貼付スライドを表示させる。また、画像データ処理手段342は、生成された画像貼付スライドに対して、ページ番号指定領域62Aに表示された番号に対応するページ番号Npを生成順に「1」から付す。
【0072】
なお、ステップS404及びステップS405において、画像データ処理手段342は、画像貼付スライドを生成した後であっても、画像データ処理手段342は、貼付画像を90度ずつ回転させる旨の入力を入力手段31により検知した場合、貼付画像を回転させて向きを調整する。
【0073】
[記入情報に基づく処理]
次に、電子ペン1から記入情報が送信された際にコンピュータ装置3が行う処理について図11を用いて説明する。図11は、記入情報を受信した際にコンピュータ装置3が行う処理手順を示すフローチャートである。
【0074】
まず、ユーザが、プレゼンテーション用紙2又は操作シート6に対し、電子ペン1で文字の記入又はタップを行うと、電子ペン1は、ペンID及び座標属性情報を含む記入情報を生成し、コンピュータ装置3へ送信する。コンピュータ装置3では、第1通信手段32が記入情報を受信すると、処理手段34は、記憶手段33に当該記入情報を記憶させる(ステップS501)。次に、処理手段34の表示制御手段343は、座標定義情報を参照し、記入情報に含まれる座標情報が示す位置座標が、(a)プレゼンテーション用紙2に印刷された既存スライドに割当てられた座標範囲にあるか、又は、(b)操作シート6のストローク描画用領域61に割当てられた座標範囲にあるか、又は、(c)操作シート6のページ指定領域62に割当てられた座標範囲にあるか、又は、(d)操作シート6のストローク線色指定領域63に割当てた座標範囲にあるかを判定する(ステップS502)。
【0075】
そして、記入情報が示す位置座標がプレゼンテーション用紙2に印刷された既存スライドに割当てられた座標範囲にある場合(ステップS502;(a))、表示制御手段343は、プレゼンテーション用紙2に記入がなされたと判断し、上述の座標範囲のドットパターンが割当てられた既存スライドを表示手段36に表示させると共に、当該既存スライド上に記入情報に基づくストロークを描画し、ストロークが描画された後の既存スライドを上書き保存する(ステップS503)。
【0076】
一方、記入情報が示す位置座標が操作シート6のストローク描画用領域61に割当てられた座標範囲にある場合(ステップS502;(b))、表示制御手段343は、さらに画像貼付スライドが専用ビューアにより表示されている状態であるか否か判定する(ステップS504)。そして、画像貼付スライドが専用ビューアにより表示されていない場合には(ステップS504;No)、表示制御手段343はフローチャートの処理を終了する。
【0077】
一方、画像貼付スライドが表示中である場合(ステップS504;Yes)、表示制御手段343は、さらに、記入情報に含まれる筆圧データが「0」であるか否か判定し、筆圧データが「0」のときには、記入情報に含まれる座標情報が示す位置に十字状等のカーソル(マーク)を表示手段36に表示させる(ステップS505)。即ち、この場合、表示制御手段343は、操作シート6と接触していないが、ドットパターンを読み取れる程度に電子ペン1が操作シート6と近接した状態(「ホバーリング状態」とも呼ぶ。)であると判断し、ペン先103の位置を記入者に視認させる。これにより、表示制御手段343は、これから電子ペン1により書き込もうとする位置を容易に記入者に把握させることができる。なお、表示制御手段343は、図8に示すように貼付画像が縦向きに配置された画像貼付スライドを表示している場合には、記入情報が貼付画像描画用領域620に割当てられたドットパターンの位置座標を示す場合にのみ、カーソルを表示手段36に表示させてもよい。
【0078】
一方、記入情報に含まれる筆圧データが「0」より大きい場合には、表示制御手段343は、電子ペン1が操作シート6上にペンダウンされて記入が行われていると判断し、受信した記入情報に基づくストロークを画像貼付スライド上に描画し、ストロークが描画された後の画像貼付スライドを上書き保存する(ステップS505)。
【0079】
再びステップS502に戻り説明する。記入情報が示す位置座標が操作シート6のページ指定領域62に割当てられた座標範囲にある場合(ステップS502;(c))、表示制御手段343は、指定された画像貼付スライドへ表示を切り替える(ステップS506)。具体的には、ページ指定領域62のページ番号指定領域62Aが電子ペン1によりタップされたと判断した場合、表示制御手段343は、当該ページ番号指定領域62Aに対応するページ番号Npが付された画像貼付スライドを専用ビューアにより表示させる。一方、ページ指定領域62の直前ページ指定領域62Bが電子ペン1によりタップされたと判断した場合、表示制御手段343は、専用ビューアにより現在表示中の画像貼付スライドの直前に表示されていた画像貼付スライドを専用ビューアにより表示させる。一方、ページ指定領域62の次ページ指定領域62Cが電子ペン1によりタップされたと判断した場合、表示制御手段343は、専用ビューアにより現在表示中の画像貼付スライドの次のページ番号Npを有する画像貼付スライドを専用ビューアにより表示させる。また、ページ指定領域62の前ページ指定領域62Dが電子ペン1によりタップされたと判断した場合、表示制御手段343は、専用ビューアにより現在表示中の画像貼付スライドの前のページ番号Npを有する画像貼付スライドを専用ビューアにより表示させる。
【0080】
一方、記入情報が示す位置座標が操作シート6のストローク線色指定領域63に割当てられた座標範囲にある場合(ステップS502;(d))、表示制御手段343は、記入情報が示す位置座標に対応するストローク線色指定領域63に対応付けられた線色を、画像貼付スライド上に描画する線色として設定する(ステップS507)。これにより、表示制御手段343は、以後にステップS503及びステップS505の処理を実行する際に、電子ペン1によりタップされたストローク線色指定領域63に対応付けられた線色により、画像貼付スライド上にストロークを描画する。
【0081】
[本実施形態による作用効果]
本実施形態の電子ペンシステムによれば、書画カメラ付きプロジェクタ4により撮像された画像のデータをコンピュータ装置3が受信し、コンピュータ装置3は、受信した画像データに基づき画像貼付スライドを生成して表示し、かつ、操作シート6への電子ペン1による記入情報に基づき再現した手書きストロークを画像貼付スライド上に描画させる。これにより、電子ペンシステムは、ユーザが操作シート6へ電子ペン1により書込みを行った場合に、書画カメラ付きプロジェクタ4により撮像することで得られた画像上に電子ペン1で記入されたストロークを再現して表示することができる。特に、書画カメラ付きプロジェクタ4は、撮像面を下向きにして撮像用紙が載置されるため、ユーザは、撮像用紙の撮像面に対して直接ペンにより書き込みを行うことができない。これに対し、本実施形態によれば、ユーザは、書画カメラ付きプロジェクタ4で撮像して表示された画像上に好適に書込みを行うことができる。また、書画カメラ付きプロジェクタ4による画像の読み取りから画像貼付スライドの生成まで自動で行われるため、ユーザによる操作の煩雑さもない。
【0082】
また、コンピュータ装置3は、画像貼付スライドの生成時に、表示手段36によりPPGファイルのスライドが表示されていた場合には、生成した画像貼付スライドを当該PPGファイルのスライドとして追加する。これにより、コンピュータ装置3は、好適に、既存のPPGファイルに、書画カメラ付きプロジェクタ4により撮像された画像を貼り付けた画像貼付スライドを追加することができる。
【0083】
さらに、操作シート6は、表示させる画像貼付スライドを指定するためのページ指定領域62を有し、コンピュータ装置3は、ページ指定領域62への電子ペン1による記入情報を受信した場合に、当該ページ指定領域62が指定する画像貼付スライドを専用ビューアにより表示させる。これにより、電子ペンシステムは、ユーザが操作シート6上のページ指定領域62を電子ペン1でタップした場合に、タップされたページ指定領域62に対応する画像貼付スライドを表示することができる。
【0084】
書画カメラ付きプロジェクタ4は、生成した画像データと共に向き特定フラグFgをコンピュータ装置3に送信し、コンピュータ装置3は、向き特定フラグFgに基づき、新規スライドに受信した画像データが示す画像を貼り付ける。これにより、コンピュータ装置3は、画像を適切な向きで貼り付けた画像貼付スライドを生成することができる。
【0085】
さらに、コンピュータ装置3は、操作シート6のストローク描画用領域61への電子ペン1による記入情報が筆圧「0」を示す場合には、当該記入情報に基づき電子ペン1のペン先部103の位置を示すカーソルを表示手段36に表示させる。これにより、電子ペンシステムは、電子ペン1によりストローク描画用領域61上に書き込もうとするユーザに対し、電子ペン1のペン先部103の位置を容易に把握させることができ、好適に書込みを補助することができる。
【0086】
さらに、操作シート6のストローク描画用領域61には、横方向に延在する上下中心線610Xと縦方向に延在する左右中心線610Yとが設けられている。これにより、ユーザは、電子ペン1により操作シート6上に書き込む際に、これらを目安に書込みを行うことができる。
【0087】
[変形例]
次に、本実施形態の変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施形態に適用してもよい。
【0088】
(変形例1)
図11のステップS505の処理に加え、表示制御手段343は、ホバーリング状態の場合に記入情報に基づき画像貼付スライドにカーソルを表示させた後、記入情報を受信しなくなった場合、再び記入情報を受信するまで、又は、記入情報を受信しなくなってから所定時間幅が経過するまでのいずれか早い時までの間、カーソルの表示を継続してもよい。言い換えると、カーソルの表示後にドットパターンを読み取れない位置まで電子ペン1が操作シート6から離れた場合、表示制御手段343は、電子ペン1から最後に受信した記入情報が示す位置にカーソルを継続して表示し、所定時間幅以上電子ペン1から記入情報を受信しない状態が続いたときに、カーソルを非表示にする。また、表示制御手段343は、カーソルの表示後に記入情報を受信しなくなった後、所定時間幅経過前に記入情報を再び受信した場合には、当該記入情報に基づきカーソルの表示を更新したり、カーソルを非表示にしてストロークを描画したりする。これにより、表示制御手段343は、電子ペン1がホバーリング状態である場合に、電子ペン1を把持する手の微細な動きに反応してカーソルの表示及び非表示が頻繁に切り替わるのを抑制することができる。
【0089】
(変形例2)
コンピュータ装置3は、記入情報に基づく表示画面の切り替えを停止するモードを選択する入力を検知した場合には、図11のステップS503及びステップS506において、表示手段36による表示を切り替えない。即ち、上述のモードがユーザにより選択された場合には、コンピュータ装置3の表示制御手段343は、プレゼンテーション用紙2や操作シート6に対する記入情報を電子ペン1から受信した場合であっても、表示手段36による表示を切り替えない。そして、上述のモードでは、表示制御手段343は、コンピュータ装置3のキーボードやマウスなどの入力手段31から表示を切り替える旨の入力があった場合に、表示手段36による表示を切り替える。
【0090】
このようにすることで、電子ペン1が複数存在し、これらの電子ペン1によりプレゼンテーション用紙2や操作シート6へ同時に記入又はタップされる可能性がある場合に、コンピュータ装置3は、頻繁に表示手段36による表示が切り替わるのを抑制することができる。
【0091】
(変形例3)
図10のステップS402では、コンピュータ装置3は、画像データ格納フォルダを常に監視し、新規の画像データが格納されたか判定した。これに代えて、コンピュータ装置3は、ユーザの入力手段31による入力に基づき、画像データ格納フォルダの監視のオン及びオフを切り替えてもよい。そして、画像データ格納フォルダの監視がオフの場合には、コンピュータ装置3は、ステップS402〜ステップS405の処理を行うことなくフローチャートの処理を終了する。これにより、コンピュータ装置3は、ユーザの意に反して画像貼付スライドを生成するのを抑制することができる。
【0092】
(変形例4)
図10のステップS404、S405では、コンピュータ装置3は、画像貼付スライドを生成する枚数の上限値を設定してもよい。この場合の上限値は、例えばページ番号指定領域62Aで指定可能なスライドの数(図6では20)に設定される。そして、コンピュータ装置3は、ステップS404又はステップS405で既に画像貼付スライドの生成枚数が上限値に達していると判断した場合には、その旨の警告を音声又は表示により出力し、画像貼付スライドを生成しない。
【0093】
(変形例5)
書画カメラ付きプロジェクタ4に代えて、電子ペンシステムは、書画カメラとプロジェクタとが別体のものを備えてもよい。この場合、書画カメラ及びプロジェクタはいずれもコンピュータ装置3と接続し、書画カメラは、所定の位置に載置された用紙を撮像することにより生成した画像データをコンピュータ装置へ送信し、プロジェクタは、コンピュータ装置から受信した画像信号に基づく画像をスクリーン5に投影する。また、コンピュータ装置は、入力手段31による入力に基づき、書画カメラから送信された画像データの信号又は表示手段36による表示画面と同じ画像を表示するための画像信号のいずれかをプロジェクタに送信する。この態様であっても、好適に、電子ペンシステムは、書画カメラ付きプロジェクタ4が実行した第1投影モードと第2投影モードに相当する処理を実行することができる。
【0094】
また、書画カメラ付きプロジェクタ4又は上述の書画カメラは、筐体上に裏向きにセットされた撮像用紙を筐体内部から撮像する構成に代えて、筐体上に表向きにセットされた撮像用紙を俯瞰する位置に固定された撮像素子により撮像用紙の撮像を行う構成であってもよい。
【0095】
(変形例6)
画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域360と、ストローク描画用領域61との対応は、図8に示すものに限定されない。
【0096】
図12は、変形例における操作シート6Aの上面図を示し、図13は、変形例において、画像が縦向きに貼り付けられた画像貼付スライドを専用ビューアにより表示した場合の専用ビューア表示領域360と、ストローク描画用領域61との対応を示す。
【0097】
図12に示すように、操作シート6Aは、画像が横向きに貼り付けられた画像貼付スライドが専用ビューアにより表示されていた場合の操作シート6Aの上方向を示す第1上方向表示マーク64Xと、画像が縦向きに貼り付けられた画像貼付スライドが専用ビューアにより表示されていた場合の操作シート6Aの上方向を示す第2上方向表示マーク64Yとを備える。
【0098】
そして、図13に示すように、画像が縦向きに貼り付けられた画像貼付スライドが専用ビューアにより表示されていた場合には、操作シート6Aは第2上方向表示マーク64Yが示す方向を上にして使用される。そして、この場合、ストローク描画用領域61の全領域は、貼付画像上にストロークを描画するための貼付画像描画用領域620に設定される。そして、ストローク描画用領域61に記入されたストロークは、貼付画像表示領域361上に描かれる。この態様によれば、コンピュータ装置3は、画像が縦向きに貼り付けられた画像貼付スライド上に記入者がストロークを描画したい場合に、ストローク描画用領域61の全領域を使用させてストロークを描きやすくすることができる。
【0099】
(変形例7)
図10のステップS404において、画像データ処理手段342は、生成した画像貼付スライドを最後尾に挿入したが、これに代えて、専用ビューアにより表示中のスライドの次の位置に、生成した画像貼付スライドを挿入してもよい。この場合、各画像貼付スライドに付されるページ番号Npは、本実施形態と同様、生成された順序に従い画像貼付スライドに「1」から順に付されてもよく、本実施形態に代えて、PPGファイルにおけるスライドの並び順に従い画像貼付スライドに「1」から順に付されてもよい。
【0100】
(変形例8)
コンピュータ装置3は、図10のステップS402において画像データ格納フォルダを監視することなく、ステップS401で受信した画像データを画像データ格納フォルダ内に記憶した後、直ちにステップS403以降の処理を行ってもよい。
【0101】
(変形例9)
スクリーン5は、ドットパターンが付されたスクリーン(ドットスクリーン)であってもよい。この場合、ドットパターンは、操作シート6やプレゼンテーション用紙2に用いられるドットパターンとは異なる座標範囲のものを使用する。ドットスクリーンは、白地の樹脂基板に、電子ペン1により読み取ることができるよう赤外線を吸収するカーボンを含んだインクによりドットパターン(コード化パターン)が印刷され、さらにドットパターンが例えば透明なEB硬化樹脂層などで保護された層構成を有している。
【0102】
そして、処理手段34は、キャリブレーション用マークを少なくとも2以上、表示手段36に表示させることにより、書画カメラ付きプロジェクタ4に対し、ドットスクリーン5にもキャリブレーション用マークを投影させ、キャリブレーション用マークが投影された位置のドットパターンを電子ペン1に読み取らせて記入情報を受信することで、ドットスクリーン5のドットパターンにかかる座標系を表示手段36のディスプレイにかかる座標系に変換するための座標変換関数を求める(キャリブレーション処理機能)。さらに、処理手段34は、そのキャリブレーション処理により求められた座標変換関数を用いて、ドットスクリーン5のドットパターンにかかる座標系のデータを受信したときに、表示手段36のディスプレイにかかる座標系のデータに変換し、ストロークを描画したり、所定の処理を行ったりする。
【0103】
(変形例10)
書画カメラ付きプロジェクタ4は、画像が縦向き(縦長)であるか横向き(横長)であるかを示す情報を向き特定フラグFgとしてコンピュータ装置3へ送信したが、向き特定フラグFgとして送信する情報は、これに限定されない。これに代えて、書画カメラ付きプロジェクタ4は、画像回転ボタンBt1が押下された回数、又は、画像の標準の向きから右回り又は左回りに回転させた角度の情報を、向き特定フラグFgとしてコンピュータ装置3へ送信してもよい。この態様によっても、コンピュータ装置3は、向き特定フラグFgに基づき、新規スライドに撮像用紙の画像を適切な向きに貼り付けた画像貼付スライドを生成することができる。
【0104】
(変形例11)
図10に示すステップ404.405においては、画像データ処理手段342は、フォルダに記憶された画像を新規スライドに貼り付けてPPGファイルを更新していたが、新規スライドを生成せずに画像だけでスライドを構成させてもよい。
【0105】
(変形例12)
上記実施形態において、電子ペン、ドットパターン(コード化パターン)、記入情報に、アノト方式を用いたが、アノト方式に限られなくともよい。
【符号の説明】
【0106】
1…電子ペン
2…プレゼンテーション用紙
3…コンピュータ装置
4…書画カメラ付きプロジェクタ
5…スクリーン
6…操作シート
7…プリンター
【特許請求の範囲】
【請求項1】
コード化パターンが印刷されたシートと、
コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、
被写体を撮像して画像データを生成する書画カメラと、
前記電子ペンから前記記入情報を受信するコンピュータ装置と
を備える電子ペンシステムであって、
前記コンピュータ装置は、
前記書画カメラから前記画像データを受信する画像データ受信手段と、
前記画像データ受信手段が受信した画像データに基づき前記被写体の画像を表示手段に表示させると共に、前記シートへの前記電子ペンによる記入情報に基づき再現した手書きストロークを前記被写体の画像上に描画させる表示制御手段と
を備えることを特徴とする電子ペンシステム。
【請求項2】
前記コンピュータ装置は、
前記被写体の画像が貼り付けられたプレゼンテーション用アプリケーションのスライドを生成してファイル化する画像データ処理手段をさらに備えることを特徴とする請求項1に記載の電子ペンシステム。
【請求項3】
前記画像データ処理手段は、
前記表示手段によりプレゼンテーション用アプリケーションのスライドが表示されていた場合には、当該スライドのファイルに前記被写体の画像が貼り付けられたスライドの情報を追加することを特徴とする請求項2に記載の電子ペンシステム。
【請求項4】
前記画像データ受信手段は、前記書画カメラから複数の画像データを受信し、
前記画像データ処理手段は、前記複数の画像データに基づく前記被写体の画像の各々が貼り付けられたプレゼンテーション用アプリケーションのスライドをそれぞれ生成し、
前記シートは、前記表示手段に表示させる前記被写体の画像が貼り付けられたスライドを指定するための指定領域を有し、
前記表示制御手段は、前記指定領域への前記電子ペンによる記入情報を受信した場合に、前記指定領域により指定された前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させることを特徴とする請求項2または3に記載の電子ペンシステム。
【請求項5】
前記指定領域は、前記被写体の画像が貼り付けられたスライドに付される各識別番号に対応する番号指定領域を有し、
前記表示制御手段は、前記番号指定領域への前記電子ペンによる記入情報を受信した場合に、当該番号指定領域に対応する識別番号を有する前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させることを特徴とする請求項4に記載の電子ペンシステム。
【請求項6】
前記表示制御手段は、前記電子ペンによる記入情報に基づく前記表示手段による表示の切り替えを禁止する旨の入力があった場合、前記指定領域への前記電子ペンによる記入情報を受信した場合であっても、前記表示手段による表示の切り替えを行わないことを特徴とする請求項4または5に記載の電子ペンシステム。
【請求項7】
前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、
前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付けることを特徴とする請求項2乃至6のいずれか一項に記載の電子ペンシステム。
【請求項8】
前記記入情報には筆圧の情報が含まれ、
前記表示制御手段は、
筆圧が0である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させることを特徴とする請求項1乃至7のいずれか一項に記載の電子ペンシステム。
【請求項9】
前記表示制御手段は、
前記カーソルを前記表示手段に表示中に記入情報を受信しなくなった場合、再び記入情報を受信するまで、又は、記入情報を受信しなくなってから所定時間幅が経過するまでのいずれか早い時までの間、前記カーソルの表示を継続することを特徴とする請求項8に記載の電子ペンシステム。
【請求項10】
前記シートは、前記被写体の画像上に再現する手書きストロークを記入するための矩形の描画領域を有し、
前記描画領域には、縦方向に延在する中心線又は/及び横方向に延在する中心線が設けられることを特徴とする請求項1乃至9のいずれか一項に記載の電子ペンシステム。
【請求項11】
前記書画カメラは、
当該書画カメラが撮像した画像又は前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタに付属し、
撮像面を下向きにして前記被写体が載置される筐体と、
前記筐体の内部から前記被写体の撮像面を撮像する撮像手段とを備える
ことを特徴とする請求項1乃至10のいずれか一項に記載の電子ペンシステム。
【請求項12】
前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタをさらに備え、
前記書画カメラは、撮像面を上向きにして前記被写体が載置される筐体と、
前記筐体の上から俯瞰して前記被写体の撮像面を撮像する撮像手段とを備えることを特徴とする請求項1乃至11のいずれか一項に記載の電子ペンシステム。
【請求項13】
コード化パターンが印刷されており、スライドを指定するための指定領域と、手書ストロークを描くためのストローク描画用領域とを有するシートと、
コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、
被写体を撮像して画像データを生成する書画カメラと、
前記電子ペンから前記記入情報を受信するコンピュータ装置と
を備える電子ペンシステムであって、
前記コンピュータ装置は、
前記書画カメラから前記画像データを受信する画像データ受信手段と、
前記画像データ受信手段が受信した複数の前記画像データに基づいて前記被写体画像の各々をスライドにしたファイルを生成する画像データ処理手段と、
前記指定領域への前記電子ペンによる記入情報を受信した場合には、前記指定領域により指定されたスライドを前記表示手段に表示させ、前記ストローク描画用領域への前記電子ペンによる記入情報を受信した場合には、当該記入情報に基づき再現した手書きストロークを表示中の画像上に描画させる表示制御手段と
を備えることを特徴とする電子ペンシステム。
【請求項14】
前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、
前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付けることを特徴とする請求項13に記載の電子ペンシステム。
【請求項15】
前記記入情報には筆圧の情報が含まれ、
前記表示制御手段は、
筆圧が0である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させることを特徴とする請求項13または14に記載の電子ペンシステム。
【請求項16】
請求項1〜15のうちいずれか一項に記載の電子ペンシステムにおけるコンピュータ装置として機能させることを特徴とするプログラム。
【請求項1】
コード化パターンが印刷されたシートと、
コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、
被写体を撮像して画像データを生成する書画カメラと、
前記電子ペンから前記記入情報を受信するコンピュータ装置と
を備える電子ペンシステムであって、
前記コンピュータ装置は、
前記書画カメラから前記画像データを受信する画像データ受信手段と、
前記画像データ受信手段が受信した画像データに基づき前記被写体の画像を表示手段に表示させると共に、前記シートへの前記電子ペンによる記入情報に基づき再現した手書きストロークを前記被写体の画像上に描画させる表示制御手段と
を備えることを特徴とする電子ペンシステム。
【請求項2】
前記コンピュータ装置は、
前記被写体の画像が貼り付けられたプレゼンテーション用アプリケーションのスライドを生成してファイル化する画像データ処理手段をさらに備えることを特徴とする請求項1に記載の電子ペンシステム。
【請求項3】
前記画像データ処理手段は、
前記表示手段によりプレゼンテーション用アプリケーションのスライドが表示されていた場合には、当該スライドのファイルに前記被写体の画像が貼り付けられたスライドの情報を追加することを特徴とする請求項2に記載の電子ペンシステム。
【請求項4】
前記画像データ受信手段は、前記書画カメラから複数の画像データを受信し、
前記画像データ処理手段は、前記複数の画像データに基づく前記被写体の画像の各々が貼り付けられたプレゼンテーション用アプリケーションのスライドをそれぞれ生成し、
前記シートは、前記表示手段に表示させる前記被写体の画像が貼り付けられたスライドを指定するための指定領域を有し、
前記表示制御手段は、前記指定領域への前記電子ペンによる記入情報を受信した場合に、前記指定領域により指定された前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させることを特徴とする請求項2または3に記載の電子ペンシステム。
【請求項5】
前記指定領域は、前記被写体の画像が貼り付けられたスライドに付される各識別番号に対応する番号指定領域を有し、
前記表示制御手段は、前記番号指定領域への前記電子ペンによる記入情報を受信した場合に、当該番号指定領域に対応する識別番号を有する前記被写体の画像が貼り付けられたスライドを前記表示手段に表示させることを特徴とする請求項4に記載の電子ペンシステム。
【請求項6】
前記表示制御手段は、前記電子ペンによる記入情報に基づく前記表示手段による表示の切り替えを禁止する旨の入力があった場合、前記指定領域への前記電子ペンによる記入情報を受信した場合であっても、前記表示手段による表示の切り替えを行わないことを特徴とする請求項4または5に記載の電子ペンシステム。
【請求項7】
前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、
前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付けることを特徴とする請求項2乃至6のいずれか一項に記載の電子ペンシステム。
【請求項8】
前記記入情報には筆圧の情報が含まれ、
前記表示制御手段は、
筆圧が0である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させることを特徴とする請求項1乃至7のいずれか一項に記載の電子ペンシステム。
【請求項9】
前記表示制御手段は、
前記カーソルを前記表示手段に表示中に記入情報を受信しなくなった場合、再び記入情報を受信するまで、又は、記入情報を受信しなくなってから所定時間幅が経過するまでのいずれか早い時までの間、前記カーソルの表示を継続することを特徴とする請求項8に記載の電子ペンシステム。
【請求項10】
前記シートは、前記被写体の画像上に再現する手書きストロークを記入するための矩形の描画領域を有し、
前記描画領域には、縦方向に延在する中心線又は/及び横方向に延在する中心線が設けられることを特徴とする請求項1乃至9のいずれか一項に記載の電子ペンシステム。
【請求項11】
前記書画カメラは、
当該書画カメラが撮像した画像又は前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタに付属し、
撮像面を下向きにして前記被写体が載置される筐体と、
前記筐体の内部から前記被写体の撮像面を撮像する撮像手段とを備える
ことを特徴とする請求項1乃至10のいずれか一項に記載の電子ペンシステム。
【請求項12】
前記コンピュータ装置から受信した信号に基づく画像をスクリーンに投影するプロジェクタをさらに備え、
前記書画カメラは、撮像面を上向きにして前記被写体が載置される筐体と、
前記筐体の上から俯瞰して前記被写体の撮像面を撮像する撮像手段とを備えることを特徴とする請求項1乃至11のいずれか一項に記載の電子ペンシステム。
【請求項13】
コード化パターンが印刷されており、スライドを指定するための指定領域と、手書ストロークを描くためのストローク描画用領域とを有するシートと、
コード化パターンを読み取り、手書きストロークに関する記入情報を生成する電子ペンと、
被写体を撮像して画像データを生成する書画カメラと、
前記電子ペンから前記記入情報を受信するコンピュータ装置と
を備える電子ペンシステムであって、
前記コンピュータ装置は、
前記書画カメラから前記画像データを受信する画像データ受信手段と、
前記画像データ受信手段が受信した複数の前記画像データに基づいて前記被写体画像の各々をスライドにしたファイルを生成する画像データ処理手段と、
前記指定領域への前記電子ペンによる記入情報を受信した場合には、前記指定領域により指定されたスライドを前記表示手段に表示させ、前記ストローク描画用領域への前記電子ペンによる記入情報を受信した場合には、当該記入情報に基づき再現した手書きストロークを表示中の画像上に描画させる表示制御手段と
を備えることを特徴とする電子ペンシステム。
【請求項14】
前記書画カメラは、生成した画像データが示す前記被写体の画像の向きの情報を当該画像データと共に前記コンピュータ装置に送信し、
前記画像データ処理手段は、前記向きの情報に基づき、前記被写体の画像をスライドに貼り付けることを特徴とする請求項13に記載の電子ペンシステム。
【請求項15】
前記記入情報には筆圧の情報が含まれ、
前記表示制御手段は、
筆圧が0である記入情報を受信した場合には、当該記入情報に基づき前記電子ペンのペン先の位置を示すカーソルを前記表示手段に表示させることを特徴とする請求項13または14に記載の電子ペンシステム。
【請求項16】
請求項1〜15のうちいずれか一項に記載の電子ペンシステムにおけるコンピュータ装置として機能させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−84146(P2013−84146A)
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願番号】特願2011−224039(P2011−224039)
【出願日】平成23年10月11日(2011.10.11)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
【公開日】平成25年5月9日(2013.5.9)
【国際特許分類】
【出願日】平成23年10月11日(2011.10.11)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
[ Back to top ]