資料提示システム

【課題】資料提示装置に関する技術を提供する。
【解決手段】資料提示装置とタブレット端末とからなる資料提示システムであって、資料提示装置は、撮像画像を含む第1の情報を、タブレット端末に無線を介して送信し、ユーザがタブレット端末を用いて行う描画操作に関する情報を含む第2の情報を、タブレット端末から無線を介して受信し、第2の情報に基づいて、撮像画像に描画操作に対応する描画画像を重ねた画像を表示画像として表示装置に表示させる。タブレット端末は、ユーザが描画操作を行う操作面を備える操作部と、描画操作に基づいて、第2の情報を資料提示装置に無線を介して送信し、第1の情報を資料提示装置から無線を介して受信し、第1の情報に基づいて、撮像画像に描画画像を重ねた画像を操作面に表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、資料提示装置とタブレット端末とを備える資料提示システムに関するものである。
【背景技術】
【0002】
近年、資料提示装置を活用したプレゼンテーションが広く行われている。資料提示装置に関する技術としては、例えば下記特許文献1が知られている。
【0003】
しかし、資料提示装置の操作にポインティングデバイスを用いる場合、特にタブレット端末を用いて表示画像への描画操作を行う場合や表示画像上の位置を指定する場合に、ユーザは表示装置(例えばテレビやプロジェクタ)が表示する表示画像を見ながら手元のタブレット端末で描画操作等を行う必要があったため、所望の描画操作や表示画像上の位置の指定が困難な場合があり、タブレット端末の操作性の向上が課題となっていた。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−245690号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、上述した従来の課題を解決するためになされたものであり、資料提示装置においてタブレット端末を使用する際の操作性を向上することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、上述の課題の少なくとも一部を解決するために、以下の形態または適用例を取ることが可能である。
【0007】
[適用例1]
カメラを備える資料提示装置と画像を表示するタブレット端末とからなる資料提示システムであって、前記資料提示装置は、前記カメラによって所定領域を撮像した撮像画像を取得する撮像部と、前記撮像画像を含む第1の情報を、前記タブレット端末に無線を介して送信する第1情報送信部と、ユーザが前記タブレット端末を用いて行う描画操作に関する情報を含む第2の情報を、前記タブレット端末から無線を介して受信する第2情報受信部と、前記第2の情報に基づいて、前記撮像画像に前記描画操作に対応する描画画像を重ねた画像を表示画像として表示装置に表示させる表示出力部とを単一の筐体内に備え、前記タブレット端末は、前記ユーザが前記描画操作を行う操作面を備える操作部と、前記描画操作に基づいて、前記第2の情報を、前記資料提示装置に無線を介して送信する第2情報送信部と、前記第1の情報を、前記資料提示装置から無線を介して受信する第1情報受信部と、前記第1の情報に基づいて、前記撮像画像に前記描画画像を重ねた画像であるタブレット表示画像を前記操作面に表示する画像表示手段とを備える資料提示システム。
【0008】
この資料提示システムによると、撮像画像に描画画像を重ねたタブレット表示画像をタブレット端末の操作面に表示させるので、ユーザは手元のタブレット画像を見ながら描画操作を行うことができ、ユーザがタブレット端末を用いて資料提示装置を操作する際の操作性が向上する。
【0009】
[適用例2]
適用例1記載の資料提示システムであって、前記第2情報送信部は、前記描画画像を前記第2の情報として前記資料提示装置に送信し、前記画像表示手段は、前記撮像画像に前記描画画像を重ねた画像を前記タブレット表示画像として生成するタブレット表示画像生成部を備え、前記資料提示装置は、更に、前記第2情報受信部が受信した前記描画画像を記憶する受信描画画像記憶部を備え、前記表示出力部は、前記撮像画像に前記描画画像を重ねた画像を前記表示画像として生成する表示画像生成部を備える資料提示システム。
【0010】
この資料提示システムによると、撮像画像に描画画像を重ねた画像を生成する処理を、資料提示装置とタブレット端末の各々が行うので、撮像画像に描画画像を重ねた画像を第1の情報および第2の情報として無線を介して送受信する必要がなく、転送するデータの容量を減少させることができる。
【0011】
[適用例3]
適用例2記載の資料提示システムであって、前記描画画像生成部は、前記操作面を所定の領域毎にブロックとして区分し、前記描画画像を各ブロック毎の画像であるブロック画像の集合として記憶するブロック画像記憶部と、前記ユーザの描画操作によって画像が変更されたブロックである変更ブロックについての前記ブロック画像記憶部に記憶されているブロック画像を、前記変更後のブロック画像に更新するタブレット側ブロック更新部とを備え、前記第2情報送信部は、前記変更ブロックに対応するブロック画像を前記第2の情報として前記資料提示装置に送信し、前記受信描画画像記憶部は、前記描画画像を前記ブロック画像の集合として記憶し、前記資料提示装置は、更に、前記第2の情報としてのブロック画像を受信した場合に、前記受信したブロック画像について、前記受信描画画像記憶部に記憶している描画を更新する資料提示装置側ブロック更新部を備える資料提示システム。
【0012】
この資料提示システムによると、タブレット端末から資料提示装置に送信する第2の情報として、描画操作によって画像が変更されたブロック画像を送信する。従って、描画画像全体を第2の情報として送信する場合と比較して、送受信するデータ容量を小さくすることができる。
【0013】
[適用例4]
適用例3記載の資料提示システムであって、前記第1情報送信部は前記タブレット端末が前記第1の情報の取得を要求した場合に前記第1の情報を送信し、前記第2情報送信部は、前記ユーザの操作によって前記画像が変更された場合には随時、前記変更ブロックに対応するブロック画像を前記第2の情報として前記資料提示装置に送信する資料提示システム。
【0014】
この資料提示システムによると、撮像画像を含む第1の情報の送受信を、タブレット端末が要求した場合に行い、第2の情報として変更ブロックに対応するブロック画像の送受信は随時行う。資料提示装置が撮像する被写体が動的に変化するものではない場合には、タブレット端末側が要求した場合に送受信を行うとしてもユーザの操作性に支障を来すことはなく、かつ、データの送受信の回数を減少させることができる。一方、この資料提示システムは、第2の情報としての変更ブロックに対応する画像ブロックについては、随時送受信を行うので、ユーザが行った描画操作に追従した表示画像を、表示装置およびタブレット端末に表示させることが可能である。
【0015】
なお、本発明は、種々の態様で実現することが可能である。例えば、資料提示方法および装置、プレゼンテーションシステム、それらの方法または装置の機能を実現するための集積回路、コンピュータプログラム、そのコンピュータプログラムを記録した記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【0016】
【図1】資料提示システム10の構成を説明する説明図である。
【図2】資料提示装置20の内部構成を説明するブロック図である。
【図3】タブレット30の内部構成を説明するブロック図である。
【図4】描画画像表示処理のフローチャートである。
【図5】描画画像表示処理を説明する説明図である。
【図6】描画画像表示処理を説明する説明図である。
【図7】変形例1の描画画像表示処理のフローチャートである。
【図8】変形例2のカーソル表示処理のフローチャートである。
【図9】変形例4を説明する説明図である。
【発明を実施するための形態】
【0017】
次に、本発明の実施の形態を実施例に基づいて説明する。
A.第1実施例:
(A1)資料提示システムの構成:
図1は、本発明の実施例としての資料提示システム10の構成を説明する説明図である。資料提示システム10は、資料提示装置20、タブレット30、テレビ40、を備える。資料提示装置20とテレビ40とはデータ転送用のケーブルで互いに接続されている。資料提示装置20とタブレット30とは無線USBによって無線を介して接続されている。資料提示システム10は、資料提示装置20の撮像領域RAに載置された資料RSを資料提示装置20によって撮像し、撮像画像をテレビ40がスクリーンに表示画像IAとして表示する。表示された表示資料ISが資料RSに対応する。
【0018】
資料提示装置20は、机などに設置される本体22と、本体22に設けられた操作部23と、本体22から上側に伸びた支柱24と、支柱24の先端に取り付けられたカメラヘッド26と、ズーム用ダイヤル27とを備える。カメラヘッド26にはCCDを用いたビデオカメラが内蔵されており、机などに載置された資料RSを単位時間当たりに所定のフレーム数で撮像する。本実施例では、資料提示装置20は資料RSを60フレーム/秒で撮像する。また、本体22に備えられているUSBインターフェース276には、タブレット30と所定のデータのやり取りを行う無線USBの送受信部29が接続されている。また、送受信部29を資料提示装置20の筐体内に内蔵している構成としてもよい。
【0019】
タブレット30は、ユーザが当該タブレット30が備えるタッチパネルに対して行った操作に関する情報である操作情報を、無線USBによって資料提示装置20に送信する。また、タブレット30は、資料提示装置20から無線USBによって送信された所定の画像を、タブレット30が備えるタッチパネルに表示することができる。本実施例では、資料提示装置20とタブレット30とは無線USBによって情報のやりとりをするとしているが、ブルートゥースや赤外線、無線LANなどの他の無線技術を利用して情報をやり取りするとしてもよい。
【0020】
図2は、資料提示装置20の内部構成を説明するブロック図である。資料提示装置20は、撮像部210、画像処理ユニット220、CPU230、RAM240、ハードディスク(HDD)250、ROM260を備える。また、資料提示装置20は、デジタルデータ出力インターフェース(デジタルデータ出力IF)272、アナログデータ出力インターフェース(アナログデータ出力IF)274、USBインターフェース(USBIF)276、操作部23を備える。USBIF276には、所定のデータの送受信をタブレット30との間で行うための送受信部29、即ち無線USBの送受信部が接続されている。
【0021】
撮像部210にはレンズユニット212と電荷結合素子(CCD)214とが備えられている。CCD214は、レンズユニット212を透過した光を受光して電気信号に変換するイメージセンサである。画像処理ユニット220は、AGC(Automatic Gain Control)回路やDSP(Digital Signal Processor)から構成され、CCD214から出力される電気信号を入力し撮像画像データを生成する。画像処理ユニット220が生成した撮像画像は、RAM240が備える撮像画像バッファ241に記憶される。
【0022】
CPU230は、資料提示装置20全体の動作を制御するとともに、HDD250およびROM260に記憶されているプログラムを読み込んで実行することにより、タブレットドライバ232、および表示出力部233として動作する。さらに、タブレットドライバ232は、撮像画像伝送処理部234、ブロック更新部235、画像合成部236を備える。これら処理部については後で詳しく説明する。
【0023】
RAM240は、撮像画像バッファ241、受信ブロックバッファ242、描画画像バッファ243、合成画像バッファ244を備える。これらのバッファは、後述する描画画像表示処理の処理過程で記憶する必要があるデータをそれぞれ記憶するバッファである。詳細については後で詳しく説明する。
【0024】
デジタルデータ出力IF272は、撮像画像データまたは合成画像データを符号化し、デジタル信号として外部に出力する。アナログデータ出力IF274は、撮像画像データまたは合成画像データをデジタル/アナログ変換し、RGBデータとして外部に出力する。アナログデータ出力IF274にはD/Aコンバータ(DAC)が含まれる。デジタルデータ出力IF272およびアナログデータ出力IF274にはケーブル接続用のコネクタが備えられている。本実施例では、アナログデータ出力IF274にテレビ40が接続されている。
【0025】
次にタブレット30について説明する。タブレット30は、ユーザが表示画像IA(図1参照)の位置を指定するモードであるカーソルモードと、描画を行うことができる描画モードとを備える。カーソルモードは、ユーザがタブレット30を用いて指定した表示画像IA上の位置にカーソルを表示するモードである。描画モードは、ユーザがタブレット30を用いて表示画像IA上に描画をすることを可能にするモードである。また、タブレット30のタッチパネル上には、資料提示装置20が撮像した撮像画像が表示される。以下、タッチパネル上に表示される画像をパネル画像PAとも呼ぶ。ユーザは、パネル画像PAを見ながら、表示画像IA上の位置の指定や描画などの操作を行う。ユーザがタブレット30で行った操作に対する処理結果、例えば描画操作に対応する描画画像は、リアルタイムに撮像画像に重ねてパネル画像PAとして表示される。
【0026】
図3は、タブレット30の内部構成を説明するブロック図である。タブレット30は、タッチパネル310、CPU330、RAM340、ROM350、送受信部360を備える。タッチパネル310は、投影型静電容量方式のタッチパネルであり、タッチパネル310が有する導電膜とタブレット用ペンPnあるいは指先との間の静電容量の変化を捉えて位置を検出する位置検出部312と、画像を表示する画像表示部314とからなる。画像表示部314は、液晶ディスプレイからなり、資料提示装置20が撮像した撮像画像を表示するとともに、ユーザが位置検出部312に対して行った操作に対する処理結果(例えば、カーソルや描画画像)をリアルタイムに撮像画像に重ねて表示する。
【0027】
CPU330は、描画処理部331、ブロック判定部332、ブロック更新部333、画像合成部334を備える。これら処理部については後で詳しく説明する。RAM340は、撮像画像バッファ341、描画データバッファ342、描画画像バッファ343、合成画像バッファ344を備える。撮像画像バッファ341は、後述する描画画像表示処理において資料提示装置20から受信した撮像画像を記憶する。描画データバッファ342は、ユーザが描画操作を行った際に、描画操作によって描かれた線画をベクターデータとして記憶する。描画画像バッファ343は、描画操作によって描かれた線画を、タッチパネル310を所定の領域ごとに区分し、各領域毎にラスターデータ(本実施例ではビットマップ)として記憶する。合成画像バッファ344は、資料提示装置20が撮像した撮像画像と、ユーザが描画操作によって描画した描画画像とを重畳した合成画像データを記憶する。送受信部360は、資料提示装置20の送受信部29との間で、後述する所定のデータの送受信を行う。
【0028】
(A2)描画画像表示処理:
次に資料提示システム10が行う描画処理について説明する。描画画像表示処理は、資料提示装置20が撮像した撮像画像と、ユーザがタブレット30を用いて描画した描画画像とを、タッチパネル310に表示する処理である。図4は、描画画像表示処理の流れについて説明したフローチャートである。描画画像表示処理は資料提示装置20およびタブレット30の電源をオンにすることによって開始される。
【0029】
描画画像表示処理を開始すると、資料提示装置20のCPU230は、撮像部210によって撮像領域RAに載置された資料RSを撮像し、撮像部210および画像処理ユニット220によって撮像画像を生成し、撮像画像バッファ241に記憶する(ステップS110)。その後、CPU230は、タブレット30から撮像画像の取得要求を受信したか否かを判断し(ステップS112)、タブレット30から撮像画像の取得要求を受信した場合には(S112:YES、ステップS212)、資料提示装置20のCPU230は撮像画像を送信し(ステップS114)、タブレット30のCPU330は送信された撮像画像を受信して撮像画像バッファ341に記憶する(ステップS214)。その後、タブレット30のCPU330は、ユーザがタブレット30によって描画操作を行ったか否か判断する(ステップS216)。資料提示システム10では、タブレット30の画像表示部314に表示された画像をユーザが見ながら描画操作を行う。従って、描画画像表示処理の開始直後でユーザが描画操作をしていない場合(ステップS216:NO)、CPU330は撮像画像と描画画像との画像合成処理を開始するが(ステップS226)、合成する描画画像が存在しないため、実質的には撮像画像を合成画像として画像表示部314に表示する(ステップS228)。タブレット30側における描画画像表示処理は電源がOFFになるまで繰り返されるが(ステップS230:NO)、2サイクル目以降の描画画像表示処理においては、タブレット30の画像表示部314には撮像画像が表示されているため、ユーザは表示された撮像画像を見ながら描画操作を行うことになる。よって、タブレット30側における2サイクル目以降の描画画像表示処理のステップ216において、ユーザが位置検出部312に対して描画操作を行った場合(ステップS216:YES)、CPU330が描画処理部331の機能として、描画操作によって描かれた線画をベクターデータとして描画データバッファ342に記憶する(ステップS218)。
【0030】
タブレット30は描画画像のベクターデータを記憶後、以下に説明する変更ブロック判定処理(ステップS220)、変更ブロック更新処理(ステップS222)、変更ブロック送信処理(ステップS224)を行う。また資料提示装置20のCPU230は、タブレット30による変更ブロック送信処理によって送信された変更ブロックを受信し(ステップS116)、ブロック更新処理(ステップS118)を行う。以下、これら一連の処理について説明する。
【0031】
図5はタブレット30における変更ブロック判定処理(ステップS220)〜変更ブロック送信処理(ステップS224)および資料提示装置20における変更ブロック受信(ステップS116)、ブロック更新処理(ステップS118)について説明する説明図である。具体例として、ユーザがタブレット30を用いた描画操作としてタブレット用ペンPnを用いて矢印(描画画像Jとする)を描こうとした場合について説明する。
【0032】
ユーザがタブレット30の位置検出部312に描画操作として描画画像Jを描画した場合、上述したようにタブレット30のCPU330は、描画画像Jを短い直線を示すベクトルデータの集合(以下、ベクターデータとも呼ぶ)として、描画データバッファ342に記憶する。もとより、直線ではなく、ベジュエ曲線などの集合として表し、これを記憶するものとしてもよい。図5(A)は、描画データバッファ342に記憶されたベクターデータを、タッチパネル310の領域(以下、パネル領域PFとも呼ぶ)と対応させて模式的に示している。
【0033】
次にCPU330は、描画データバッファ342に記憶したベクターデータをラスターデータに変換して、描画画像バッファ343に記憶する。その際、CPU330は描画処理部331の機能として、パネル領域PFにおける所定の領域(後述する変更ブロック)のみ、ラスターデータに変換して記憶する。図5(B)はタブレット30が備える描画画像バッファ343を示している。描画画像バッファ343は、パネル領域PFをm×n個の領域(以下、ブロックとも呼ぶ)に分割しており、これをB11,B12・・・B1n、B21,B22・・・B2n、・・・・Bmnとして扱う。このうち、左上の2×3個のブロックB11,B12,B13,B21,B22,B23を示したのが図5(A)である。描画画像バッファ343は、描画画像Jを各領域毎のラスターデータとして記憶する。
【0034】
CPU330は、描画画像Jをベクターデータとして記憶した後、描画画像JがブロックB11〜B23のいずれのブロックに描かれている画像であるかを判定する(図4:ステップS220)。換言すれば、繰り返し行われる描画画像表示処理において、1つ前の描画画像表示処理における変更ブロック判定処理(図4:ステップS220)の時点から、現処理時点までに描画画像として変更のあったブロック(以下、変更ブロックとも呼ぶ)を検出する。本具体例の場合、描画画像JはブロックB11とブロックB21に描かれているので、CPU330は、ブロックB11とブロックB21とを変更ブロックと判定する。
【0035】
図5(B)に示すように、CPU330は、変更ブロックであるB11とB21のベクターデータをラスターデータにデータ変換し、描画画像バッファ343に当初記憶していたブロックB11,B21のラスターデータと置き換える。すなわち、描画操作によって変更のあったブロックのみ、描画画像バッファ343に記憶していたラスターデータの更新を行う(ステップS222)。
【0036】
CPU330は、ラスターデータの更新を行とともに、変更ブロックのラスターデータを符号化して資料提示装置20に送信する(ステップS224)。また、ユーザが描画操作を行ったものの、変更ブロックが無い場合(例えば、タッチパネル上でタブレット用ペンPnを静止させている場合等)は、変更ブロックに替えて空のパケットを送信する。図5(C)は資料提示装置20が備える描画画像バッファ243を示している。描画画像バッファ243は、図5(B)で説明した343と同様に、描画画像をブロック単位のタスターデータとして記憶している。以下、資料提示装置20の描画画像バッファ243におけるブロックをブロックC11〜C23で表記する。
【0037】
資料提示装置20は、送受信部29を介して符号化された変更ブロックを受信すると、符号化された変更ブロックを複合化し、受信ブロックバッファ242に一時的に記憶した後(ステップS116:YES)、変更ブロックとしてのC11,C21のラスターデータを、描画画像バッファ243に以前に記憶したブロックC11,C21と置き換えるブロック更新処理を行う(ステップS118)。このようにして、資料提示システム10は、変更ブロック判定処理(ステップS220)〜変更ブロック送信処理(ステップS224)および変更ブロック受信(ステップS116)、ブロック更新処理(ステップS118)を行う。
【0038】
その後、資料提示装置20のCPU230は、ブロック更新処理後、撮像画像バッファ241に記憶している撮像画像に、描画画像バッファ243に記憶されているブロックC11〜C23のラスターデータを重ねるように画像合成を行い(ステップS120)、合成した合成画像を表示出力部233の機能としてアナログデータ出力IF274を介してテレビ40に出力する(ステップS122)。CPU230はステップS110〜ステップS122の処理を電源がオフになるまで繰り返す(ステップS124)。
【0039】
一方、タブレット30のCPU330は、描画画像バッファ343の変更ブロックを更新し(ステップS222)、変更ブロックを資料提示装置20に送信後(ステップS224)、撮像画像バッファ341に記憶している撮像画像に、描画画像バッファ343に記憶されているブロックB11〜B23のラスターデータを重ねるように画像合成を行い(ステップS226)、合成した合成画像を画像表示部314に表示する(ステップS228)。CPU330はステップS212〜ステップS230の処理を電源がオフになるまで繰り返す(ステップS230)。
【0040】
また、図6に示したように、例えば、ユーザが描画画像Jを描いた後に、描画画像Kとして曲線を描いた場合は、描画画像Jを描いた場合と同様に、変更されたブロックのみ描画画像バッファ343および描画画像バッファ243を更新し、更新後にそれぞれ撮像画像との合成を行う。
【0041】
以上説明したように、資料提示システム10は、描画画像表示処理によって、タブレット30のタッチパネル310に、撮像画像および描画画像を表示するので、ユーザは手元の画像を見ながら描画操作を行うことができる。よって、表示装置(本実施例ではテレビ40)の表示画像を見ながら手元のタブレット30を操作する場合と比較して、描画操作を正確に行うことができ、タブレット30の操作性が向上する。
【0042】
描画画像表示処理において、タブレット30は、描画操作によって変更ブロックのラスターデータのみ資料提示装置20に送信するので、常にパネル領域PF全体のラスターデータを資料提示装置20に送信する場合と比較して、送信するデータ容量を減少させることができ、処理速度を向上させることができる。また、本実施例では、タブレット30は、変更ブロックの判定(ステップS220)、変更ブロックの更新(ステップS222)、変更ブロックの送信(ステップS224)を、描画画像表示処理の1サイクル毎に、即ち所定のインターバルで行っているので、タブレット30の画像表示部314は、リアルタイムに、変更した描画画像を反映した合成画像を表示することができる。画像の合成についてもタブレット30内で行っているので、描画操作に追随して描画画像を画像表示部314に反映させることが可能である。よって、タッチパネル310を見ながら描画操作を行っているユーザがとまどうことがない。また、一回に送信する変更ブロックの数を少なくすることができるため、1回に転送するデータ量を少なくすることができる。
【0043】
さらに、資料提示装置20は、タブレットドライバ232を備えることにより、タブレット30から直接的に変更ブロックのラスターデータを受信して処理を行うので、別個に、処理用のコンピュータを必要としない。従って、ユーザは、資料提示システム10の設置、配線の接続、運搬等を容易に行うことができる。
【0044】
加えて、資料提示システム10は、無線を利用したタブレット30を用いて、描画操作およびカーソルの移動が可能である。従って、タブレット30と資料提示装置20を接続するケーブルを取り回す手間が不要となり、断線故障も生じない。
【0045】
特許請求の範囲との対応としては、描画画像表示処理において資料提示装置20がタブレット30に送信する撮像画像が特許請求の範囲に記載の第1の情報に対応し、タブレット30が資料提示装置20に送信する変更ブロックが特許請求の範囲に記載の第2の情報に対応する。また、画像合成部236および表示出力部233の機能が特許請求の範囲に記載の表示出力部に対応し、タッチパネル310が特許請求の範囲に記載の操作面に対応し、画像表示部314が特許請求の範囲に記載の画像表示手段に対応する。
【0046】
B.変形例:
(B1)変形例1:
上記実施例では、描画画像表示処理として、資料提示装置20はタブレット30に対して撮像画像を送信し、タブレット30は資料提示装置20に対して変更ブロックを送信し、資料提示装置20およびタブレット30の両方において画像合成処理を行う態様であったが、タブレット30のタッチパネル310に、撮像画像または撮像画像に描画画像を重ねた画像を表示させる処理としては、他の態様を採用することも可能である。図7は、変形例1としての描画画像表示処理の流れを示したフローチャートである。
【0047】
資料提示装置20は撮像画像を取得した後(ステップS140)、一定期間毎に送信されてくるタブレット30からの描画画像を取得する(ステップS142:YES)。ここで送信される描画画像は、描画画像全体のベクターデータまたはラスターデータのいずれの態様でもよいが、本変形例ではラスターデータを採用する。資料提示装置20のCPU230は、ラスターデータとしての描画画像を受信すると、描画画像バッファ243に記憶する(ステップS144)。描画画像表示処理は電源がオフになるまで繰り返し行われるが、2回目以降の処理において、資料提示装置20がタブレット30から描画画像を受信した場合は、CPU230は描画画像バッファ243に記憶している描画画像を更新する。
【0048】
CPU230は、描画画像を受信後、描画画像バッファ243から描画画像を読み出して、撮像画像に描画画像を重ねるように合成し合成画像を生成する(ステップS146)。仮に、資料提示装置20がタブレット30から描画画像を受信しておらず描画画像バッファ243に描画画像が記憶されていない場合には(ステップS142:NO)、CPU230は、撮像画像を合成画像として取り扱う。
【0049】
その後、CPU230は生成した合成画像をタブレット30に送信する(ステップS148)。合成画像の送信後、CPU230は合成画像をアナログデータ出力IF274を介してテレビ40に合成画像を出力する(ステップS150)。CPU230は、この処理を電源がオフになるまで繰り返し行う(ステップS150)。
【0050】
一方、タブレット30は、ユーザが描画操作を行った場合には(ステップS240:YES)、描画画像をラスターデータに変換し描画画像バッファ343に記憶する描画画像処理を行う(ステップS242)。その後、ラスターデータとしての描画画像を資料提示装置20に送信する(ステップS244)。そして、CPU330は、資料提示装置20において撮像画像と描画画像とから合成された合成画像を、資料提示装置20から受信し(ステップS246)、受信した合成画像を画像表示部314に表示する(ステップS248)。上記処理をCPU330は、電源がオフになるまで繰り返し行う(ステップS250)。また、ステップS240において、ユーザが描画操作を行っていない場合には(ステップS240:NO)、線画等が存在しない空白のフレーム画像を描画画像として資料提示装置20に送信する(ステップS244)。
【0051】
描画画像表示処理を図7で説明した態様の処理としても、タブレット30のタッチパネル310に撮像画像、または撮像画像に描画画像を重ねた合成画像を表示することができる。
【0052】
(B2)変形例2:
上記実施例では、ユーザの描画操作について説明をしたが、ユーザがタブレット30を用いてカーソルを移動させるカーソル操作を行った場合にも、資料提示装置20がテレビ40に表示させる表示画像および、タブレット30の画像表示部314に、カーソルを撮像画像とともに表示する処理を実現することができる。以下、その一例を説明する。図8は、資料提示システム10が行うカーソル表示処理の流れを示すフローチャートである。カーソル表示処理においては、タブレット30は、第1実施例と同様に資料提示装置20に対して撮像画像の取得要求をし(ステップS260)、撮像画像を取得する(ステップS262)。その後、ユーザがカーソル操作としてカーソルの移動を行った場合には(ステップS264:YES)、ユーザがタッチパネル310において指定したカーソル位置の座標を、所定の期間毎(本変形例では60Hz)に位置検出部312が検出し、CPU330が座標情報として取得しRAM340に記憶する(ステップS266)。CPU330は、座標情報を取得すると、RAM340に記憶する座標情報を更新し(ステップS268)、RAM340に記憶した座標情報を資料提示装置20に座標情報を送信し(ステップS270)。座標情報を送信後、CPU330は、座標情報に基づいて、カーソル画像を撮像画像の座標情報に対応する座標位置に重ねるように合成する(ステップS272)。画像合成処理後、CPU330は、画像表示部314に合成画像を表示する(ステップS274)。
【0053】
一方、資料提示装置20のCPU230は、撮像画像の取得(ステップS160)、撮像画像の取得要求の受信(ステップS162:YES)、撮像画像の送信(ステップS164)を行った後、タブレット30から座標情報を受信し(ステップS166)、RAM240に記憶、更新する(ステップS168)。その後、カーソル画像を撮像画像の座標情報に対応する座標位置に重ねるように合成する(ステップS170)。画像合成処理後、CPU230は、アナログデータ出力IF274を介してテレビ40に合成画像を表示する(ステップS172)。
【0054】
資料提示システム10は上記処理を行うことにより、ユーザがタブレット30を用いてカーソル操作を行った場合にも、そのカーソルおよび撮像画像をタッチパネル310に表示させることができ、ユーザがタブレット30を用いる際の操作性が向上する。
【0055】
(B3)変形例3:
第1実施例では、描画画像表示処理(図4)において、タブレット30は、変更ブロックの判定(ステップS220)、変更ブロックの更新(ステップS222)、変更ブロックの送信(ステップS224)を、描画画像表示処理の1サイクル毎に、即ち所定のインターバルで行うとしたが、ユーザの描画操作によって描画が次のブロックに跨ったタイミングで、先に描画された変更ブロックを送信するとしてもよい。この場合、各ブロックの大きさをより小さく、即ち、パネル画像PAを、より多くのブロックに分割することで(ブロックの細分化)、タブレット30の画像表示部314は、変更した描画画像を反映した合成画像を、リアルタイムに近いタイミングで表示することができる。また、各ブロックの大きさを上記実施例と比較して小さくすることで、一回に送信するするデータ量を少なくすることができる。
【0056】
さらに、第一実施例と比較してブロックの細分化を行なった上で、変更ブロックの判定(ステップS220)、変更ブロックの更新(ステップS222)、変更ブロックの送信(ステップS224)を所定のインターバルで行うとしてもよい。転送データ量を低減しつつ、変更ブロックを反映させた合成画像をリアルタイムに画像表示部314に表示させることができる。
【0057】
その他、タブレット用ペンPnが位置検出部312から離れたときに、変更ブロックを資料提示装置20に送信するとしてもよい。このように、タブレット30は、様々なタイミングで、変更ブロックの判定(ステップS220)、変更ブロックの更新(ステップS222)、変更ブロックの送信(ステップS224)を行うことができる。
【0058】
(B4)変形例4:
上記実施例においては、資料提示装置として、図1に示した資料提示装置20を採用したが、様々な構成の資料提示装置を採用することができる。例えば、資料RSを載置する資料テーブルが付加されているものや、撮像画像を表示する表示装置(例えばプロジェクタ)が一体となったものなどを採用することができる。また、図9に示すように、カメラヘッド26の取り付部分が軸周りに回転する構成や、支柱24が2つの軸を中心に回転する構成を採用することも可能である。
【0059】
(B5)変形例5:
上記実施例の構成に加え、ユーザがズーム用ダイヤル27(図1参照)を用いて、資料RSを拡大して画像表示装置(本実施例ではテレビ40)に表示させると、タブレット30の画像表示部314に表示される資料RSに対応する画像も拡大して表示され、タブレット30による書き込みの解像度も高くなる構成としてもよい。ズーム用ダイヤル27による拡大・縮小の度合を資料提示装置20がタブレット30に送信し、タブレット30のCPU330が、ユーザの描いた描画画像の解像度を、その拡大率に合わせて増減させることによって実現することができる。
【0060】
(B6)変形例6:
上記実施例では、画像表示部314は液晶パネルとしたが、その他、種々の画像表示手段を用いることができる。例えば、有機ELパネル、電子ペーパなどを用いるとしても上記実施例と同様の効果を得ることが可能である。また、画像表示部314として、天井に設置したプロジェクタによって、ユーザの手元に表示画像を表示するとしてもよい。この場合、位置検出部312として、タブレット用ペンPnやユーザの指先の動きを検知するカメラを設けタブレット用ペンPnや指先の動きを読み取ることによって、ユーザが指定している表示画像上の位置の検出や描画操作の検出をすることが可能である。
【0061】
(B7)変形例7:
上記実施例では、タッチパネル310として投影型静電容量方式を採用したが、抵抗膜方式、表面弾性波方式、電磁誘導方式、映像解析方式など、他の方式を採用することも可能である。例えば、抵抗膜方式は、タブレット30に用いる2枚の透明電極の一方に抵抗をもたせ、対向する2枚の透明電極のうち1枚に対して電圧をかける。ユーザの操作によって、両電極が接触した際に、両電極の導通部分の位置を電圧によって検出する。このように、種々のタッチパネルの方式を採用することが可能である。
【0062】
(B8)変形例8:
上記実施例では、画像を表示する画像表示装置としてテレビ40を用いたが、それに限ることなく、プロジェクタや、液晶ディスプレイ等の他の画像表示装置を用いるとしてもよい。このようにしても上記実施例と同様の効果を得ることができる。
【0063】
(B9)変形例9:
上記実施例においては、資料提示システム10は画像表示装置(上記実施例ではテレビ40)およびタブレット30を1つずつ備えるものとしたが、それに限ることなく、画像表示装置を複数またはタブレット30を複数、画像表示装置とタブレット30の両方を複数備える態様としてもよい。タブレット30が複数の場合は、無線USBによるアドレスによっても、タブレット30毎に付されたIDによっても識別できるので、時分割で各タブレット30からの信号を処理し、タブレット30毎に別々の描画の操作情報として処理をすることで実現することができる。また、各タブレットからの操作情報を処理した結果を、タブレット毎に異なる態様、例えば色の違いや、線の太さの違い、濃さの違いなどで識別可能に表示することも好ましい。例えば、教育現場において、複数の生徒がそれぞれにタブレット30を用いて表示画像に対して描画操作をすることが可能となり、新規な授業形態を採用することが可能となる。
【0064】
資料提示側でどのタブレットを有効とするかを選択するスイッチを設けても良い。また、タブレットは常に有効にしておき、処理した結果を表示することを禁止するスイッチを設けても良い。この場合、禁止されている間も処理は継続し、禁止が解除されたた処理結果を一度に表示するものとしても良い。生徒が回答や絵などを描く間は表示させず、後から回答を一度に表示させることができる。このようなタブレットを選択するスイッチの色と描画色とを合わせておくとしてもよい。タブレットの選択処理がしやすくなり利便性が向上する。
【0065】
画像表示装置を複数にする場合は、資料提示装置20に設けるデジタルデータ出力IF272、アナログデータ出力IF274を複数設け、複数の画像表示装置を接続することで実現が可能である。複数の画像表示装置に同じ撮像画像または描画画像を合成した合成画像を表示するとしてもよいし、一つの画像を複数の画像表示装置(例えばプロジェクタ)で分割して表示し、複数の分割した表示画像を合わせて一つの表示画像とする態様としてもよい。この場合、資料提示装置20が表示装置に表示させる画像を分割する画像分割部と、分割した画像を各出力IFに同期して出力する出力処理部を備えることにより実現可能である。
【0066】
(B10)変形例10:
上記実施例においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。
【符号の説明】
【0067】
10…資料提示システム
20…資料提示装置
22…本体
23…操作部
24…支柱
26…カメラヘッド
29…送受信部
30…タブレット
40…テレビ
210…撮像部
212…レンズユニット
214…CCD
220…画像処理ユニット
230…CPU
232…タブレットドライバ
233…表示出力部
234…撮像画像伝送処理部
235…ブロック更新部
236…画像合成部
240…RAM
241…撮像画像バッファ
242…受信ブロックバッファ
243…描画画像バッファ
244…合成画像バッファ
310…タッチパネル
312…位置検出部
314…画像表示部
330…CPU
331…画像処理部
332…ブロック判定部
333…ブロック更新部
334…画像合成部
340…RAM
341…撮像画像バッファ
342…描画データバッファ
343…描画画像バッファ
344…合成画像バッファ
360…送受信部
272…デジタルデータ出力IF
274…アナログデータ出力IF
RA…撮像領域
IA…表示画像
PA…パネル画像
PF…パネル領域
RS…資料
IS…表示資料
Pn…タブレット用ペン
B21〜26,31〜36…ブロック

【特許請求の範囲】
【請求項1】
カメラを備える資料提示装置と画像を表示するタブレット端末とからなる資料提示システムであって、
前記資料提示装置は、
前記カメラによって所定領域を撮像した撮像画像を取得する撮像部と、
前記撮像画像を含む第1の情報を、前記タブレット端末に無線を介して送信する第1情報送信部と、
ユーザが前記タブレット端末を用いて行う描画操作に関する情報を含む第2の情報を、前記タブレット端末から無線を介して受信する第2情報受信部と、
前記第2の情報に基づいて、前記撮像画像に前記描画操作に対応する描画画像を重ねた画像を表示画像として表示装置に表示させる表示出力部と
を単一の筐体内に備え、
前記タブレット端末は、
前記ユーザが前記描画操作を行う操作面を備える操作部と、
前記描画操作に基づいて、前記第2の情報を、前記資料提示装置に無線を介して送信する第2情報送信部と、
前記第1の情報を、前記資料提示装置から無線を介して受信する第1情報受信部と、
前記第1の情報に基づいて、前記撮像画像に前記描画画像を重ねた画像であるタブレット表示画像を前記操作面に表示する画像表示手段と
を備える
資料提示システム。
【請求項2】
請求項1記載の資料提示システムであって、
前記第2情報送信部は、前記描画画像を前記第2の情報として前記資料提示装置に送信し、
前記画像表示手段は、前記撮像画像に前記描画画像を重ねた画像を前記タブレット表示画像として生成するタブレット表示画像生成部を備え
前記資料提示装置は、更に、前記第2情報受信部が受信した前記描画画像を記憶する受信描画画像記憶部を備え、
前記表示出力部は、前記撮像画像に前記描画画像を重ねた画像を前記表示画像として生成する表示画像生成部を備える
資料提示システム。
【請求項3】
請求項2記載の資料提示システムであって、
前記描画画像生成部は、
前記操作面を所定の領域毎にブロックとして区分し、前記描画画像を各ブロック毎の画像であるブロック画像の集合として記憶するブロック画像記憶部と、
前記ユーザの描画操作によって画像が変更されたブロックである変更ブロックについての前記ブロック画像記憶部に記憶されているブロック画像を、前記変更後のブロック画像に更新するタブレット側ブロック更新部と
を備え、
前記第2情報送信部は、前記変更ブロックに対応するブロック画像を前記第2の情報として前記資料提示装置に送信し、
前記受信描画画像記憶部は、前記描画画像を前記ブロック画像の集合として記憶し、
前記資料提示装置は、更に、前記第2の情報としてのブロック画像を受信した場合に、前記受信したブロック画像について、前記受信描画画像記憶部に記憶している描画を更新する資料提示装置側ブロック更新部を備える
資料提示システム。
【請求項4】
請求項3記載の資料提示システムであって、
前記第1情報送信部は前記タブレット端末が前記第1の情報の取得を要求した場合に前記第1の情報を送信し、
前記第2情報送信部は、前記ユーザの操作によって前記画像が変更された場合には随時、前記変更ブロックに対応するブロック画像を前記第2の情報として前記資料提示装置に送信する
資料提示システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−138666(P2012−138666A)
【公開日】平成24年7月19日(2012.7.19)
【国際特許分類】
【出願番号】特願2010−288076(P2010−288076)
【出願日】平成22年12月24日(2010.12.24)
【出願人】(000000424)株式会社エルモ社 (104)
【Fターム(参考)】