説明

グラフィカル・ユーザ・インターフェース装置

【課題】GUI装置において、複数種類の入力デバイスを用いた場合でも入力操作性を高く維持できる。
【解決手段】グラフィカル・ユーザ・インターフェース装置1は、複数の種類の入力デバイスが接続可能な装置である。インターフェース31〜34は、入力デバイスが接続可能である。データベース格納部6は、入力デバイスの種類に対応して互いに異なる複数の表示画面内容を格納する。デバイス自動検知モジュール3は、インターフェース31〜34に接続された入力デバイスの種類を検知する。コントローラ2は、デバイス自動検知モジュール3の検知結果に対応する表示画面内容をデータベース格納部6から取り出して、取り出した表示画面内容を画面表示部5に表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、グラフィカル・ユーザ・インターフェース装置に関し、特に、複数種類の入力デバイスを接続可能な接続部を有するグラフィカル・ユーザ・インターフェース装置に関する。
【背景技術】
【0002】
パーソナル・コンピュータを用いる場合、ユーザは、キーボード、マウス、マイクのような入力デバイスを用いて指示またはデータをコンピュータ本体に入力する。ユーザは、ディスプレイ上のGUI(グラフィカル・ユーザ・インターフェース)を参照しながら、入力操作を行う。
【0003】
このようにGUIを利用する場合は、入力デバイスとしてキーボード選ぶと、ユーザはキー操作によって文字を入力できる。また、ユーザは、キー操作によって、カーソルを画面上で移動させてGUI内の所望の部品を選択・操作できる。一方、入力デバイスとしてマウスを選ぶと、ユーザは、GUIの所望の部品を選択・指示することはできるが、文字または数字を直接入力することができない。
【0004】
そのような問題を解決するために、GUIの部品操作を、キーボードおよびマウスのいずれを用いてもできるようにしたGUI装置が提案されている(例えば、特許文献1を参照。)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−043629号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
一般的なGUIには、マウスによる入力作業を想定して、送りボタンおよびスクロールが含まれている。言い換えると、一般的なGUIは、マウス入力に最適化されている。
しかし、そのようなGUIに対してマウス以外の入力デバイスを用いると、操作性が低下してしまう。
【0007】
本発明の課題は、グラフィカル・ユーザ・インターフェース装置において、複数種類の入力デバイスを用いた場合でも入力操作性を高く維持することにある。
【課題を解決するための手段】
【0008】
本発明に係るグラフィカル・ユーザ・インターフェース装置は、複数の種類の入力デバイスが接続可能な装置であって、表示装置と、接続部と、格納部と、検知部と、表示動作部とを備えている。接続部は、入力デバイスが接続可能であり、一または複数からなる。格納部は、入力デバイスの指示入力用表示領域における表示内容が異なる複数の表示画面内容を格納する。検知部は、接続部に接続された入力デバイスの種類を検知する。表示動作部は、検知部の検知結果に対応する表示画面内容を格納部から取り出して、取り出した表示画面内容を表示装置に表示する。
この装置では、入力デバイスが接続部に接続されると、入力デバイスに対応した表示画面内容が表示装置に表示される。つまり、新しい入力デバイスが接続部に接続されると、表示画面内容が切り替えられ、新しい入力デバイスを用いた入力に適した表示画面が表示される。ユーザは、接続された入力デバイスのための指示入力用表示領域を用いてまたはガイドされて、入力装置による入力作業を実行する。このように入力デバイスに対応した表示画面内容を用いることで、入力デバイスが切り替えられてもユーザの入力操作性が高く維持される。
なお、本発明において「入力デバイスに対応した表示画面内容が表示装置に表示される」とは、既に起動中のOSまたはソフトウェアアプリケーションが表示している表示画面内容が更新されることを意味している。つまり、入力デバイスが接続されたことを知らせる通知が表示されることによって画面が更新されること、または入力デバイス接続に起因する新たなアプリケーションソフトウェアの起動によって画面が更新されることを含まない。
なお、入力デバイスの種類としては、キーボード、マウス、マイク、Web用カメラ、タブレットがある。
【0009】
指示入力用表示領域には、対応する入力デバイスのための入力コマンドが表示されていてもよい。
この装置では、ユーザは指示入力用表示領域にある入力コマンドをガイドとして見ることで、使用中の入力デバイスの入力コマンドを容易にしかも確実に使用できる。
【0010】
指示入力用表示領域には、複数の入力コマンドが並べて表示されていてもよい。
この装置では、複数の入力コマンドが並べられて表示されているので、ユーザは入力コマンドのいずれかを選んで入力デバイスを操作することができる。したがって、ユーザによる入力操作性が向上する。
【0011】
複数の表示画面内容は、マウス指示入力用領域を有するマウス用表示画面内容と、マウス指示入力用領域を有さない他の入力デバイス用表示画面内容とを含んでいてもよい。
この装置では、マウス以外の入力デバイスが接続部に接続されれば、マウス指示入力用領域を有さない表示画面内容が表示される。そのため、マウス指示入力用領域の部分を、他の入力デバイスの指示入力用領域に用いることまたは画面を拡大することに利用できる。つまり、マウス以外の入力デバイスに適した表示画面内容によって、ユーザの入力操作性が向上する。
【0012】
検知部が異なる種類の複数の入力デバイスを同時に検知すれば、ユーザからのいずれの入力デバイスを選択するかの指示を受付ける選択指示受付け部をさらに備えていてもよい。表示動作部は、選択指示受付け部が受付けた指示に基づいて、選択された入力デバイスの種類に対応した表示画面内容を表示装置に表示する。
この装置では、ある入力デバイスが既に接続された状態でさらに他の入力デバイスが接続されれば、選択指示受付け部が両入力デバイスのいずれかを選択するかの指示を受付ける。その結果、ユーザがいずれの入力デバイスを利用するかを選択できる。これにより、ユーザは、既に接続されている入力デバイスの有無を気にすることなく、入力デバイスを新たに接続することができる。
【発明の効果】
【0013】
本発明に係るグラフィカル・ユーザ・インターフェース装置では、複数種類の入力デバイスを用いた場合でも入力操作性を高く維持できる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態としてのグラフィカル・ユーザ・インターフェース装置のブロック構成図。
【図2】マウス用表示画面内容が表示されたディスプレイの模式図。
【図3】デバイス自動検知モジュールおよびコントローラによる入力デバイス接続時の処理を説明するフローチャート。
【図4】複数の入力デバイスが接続されたときの入力デバイス選択画面が表示されたディスプレイの模式図。
【図5】マウス用入力指示領域がない表示画面内容が表示されたディスプレイの模式図。
【図6】マイク用表示画面内容が表示されたディスプレイの模式図。
【図7】Webカメラ用表示画面内容が表示されたディスプレイの模式図。
【図8】接続された入力デバイスによる入力動作処理を示すフローチャート。
【図9】他の実施形態におけるグラフィカル・ユーザ・インターフェース装置のブロック構成図。
【図10】他の実施形態におけるデバイス自動検知モジュールおよびコントローラによる入力デバイス接続時の処理を説明するフローチャート。
【発明を実施するための形態】
【0015】
(1)グラフィカル・ユーザ・インターフェース装置の構成
図1を用いて、グラフィカル・ユーザ・インターフェース装置1を説明する。図1は、本発明の一実施形態としてのグラフィカル・ユーザ・インターフェース装置のブロック構成図である。
【0016】
グラフィカル・ユーザ・インターフェース装置1は、例えばパーソナル・コンピュータである。グラフィカル・ユーザ・インターフェース装置1は、主に、コントローラ2と、デバイス自動検知モジュール3と、アクション置換モジュール4と、画面表示部5と、データベース格納部6とを備えている。グラフィカル・ユーザ・インターフェース装置1は、さらに、インターフェース31、32、33、34を備えている。
コントローラ2は、グラフィカル・ユーザ・インターフェース装置1のグラフィカル・ユーザ・インターフェース全体制御を行うモジュールである。
デバイス自動検知モジュール3は、デバイス接続インターフェース31〜34を常時監視している。デバイス自動検知モジュール3は、有効な入力デバイスがインターフェース31〜34に接続されれば、コントローラ2に対して、デバイス接続メッセージと共に、デバイスの種類を通知する。
【0017】
アクション置換モジュール4は、図示しないが、内部に複数の解析モジュールとデータベースを有している。解析モジュールは、入力された音声または画像を解析し、次にデータベースに登録された情報と照合し、一致する内容があれば所定のアクションに置き換えを行う。解析モジュールとデータベースの組は、入力デバイスごとに用意されている。
【0018】
画面表示部5は、表示画面内容を表示するディスプレイである。画面表示部5は、例えば、ブラウン管、液晶ディスプレイ、PDP(Plasma Display Panel)、プロジェクタである。
【0019】
データベース格納部6は、入力デバイス別の表示画面内容を格納している。データベース格納部6は、具体的には、マウス用画面7と、Webカメラ用画面8と、マイク用画面9を有している。
【0020】
インターフェース31、32、33、34は、通常のデバイス用インターフェースである。インターフェース31、32、33、34は、例えば、USB、IEEE1394、SCSIである。
【0021】
入力デバイスとして、図1には、キーボード41、マウス42、マイク43、Webカメラ44、タブレット45が開示されている。キーボード41はインターフェース31に接続されている。マウス42はインターフェース32に接続されている。インターフェース33、34には、入力デバイスは接続されていない。
【0022】
(2)表示画面内容の一例
図2を用いて、表示画面内容の一例を示す。図2は、マウス用表示画面内容が表示されたディスプレイの模式図である。図2において、画面表示部5には、マウス用画面7が表示されている。マウス用画面7は、メイン表示部51と、横スクロール52と、前送りボタン53と、後送りボタン54と、縦スクロール55とを有している。横スクロール52、前送りボタン53、後送りボタン54、縦スクロール55は、マウスによる指示入力のための指示入力用表示領域を構成している。
【0023】
メイン表示領域51には、OSまたはアプリケーションの主画面が表示される。この実施例では、画像ソフトの画像が表示されている。横スクロール52、前送りボタン53、後送りボタン54、縦スクロール55は、マウスによる入力動作を補助するための部品である。横スクロール52は、メイン表示領域51を横方向にスクロール操作するのに使われる。前送りボタン53は、メイン表示領域51の表示を前の画像に切り替えるために使われる。後送りボタン54は、メイン表示領域51の表示を後の画面に切り替えるために使われる。縦スクロール55は、メイン表示領域51を縦方向にスクロールするのに使われる。
【0024】
(3)入力デバイス接続時の処理
図3を用いて、入力デバイス接続時の処理について説明する。図3は、デバイス自動検知モジュールおよびコントローラによる入力デバイス接続時の処理を説明するフローチャートである。
【0025】
ステップS1では、デバイス自動検知モジュール3は、インターフェース31、32、33、34のいずれかに新たな有効入力デバイスが接続されたか否かを判断する。Noの場合は、デバイス自動検知モジュール3は検知を続ける。Yesの場合は、処理はステップS2に移行する。
ステップS2では、デバイス自動検知モジュール3は、既に有効な入力デバイスが接続されているか否かを判断する。Yesの場合は、ステップS4に移行する。
ステップS4では、コントローラ2は、入力デバイス選択画面61(後述)を表示し、ユーザによる選択処理を待つ。ステップS2またはステップS4の処理が終了すれば、プロセスはステップS3に移行する。
ステップS3では、コントローラ2が、最初に接続された入力デバイス(S2のNo)またはユーザが選択した入力デバイス(S4)に対応した画面表示内容(マウス用画面7、Webカメラ用画面8、マイク用画面9)をデータベース格納部6から抽出して、さらに画面表示部5に表示する。
【0026】
一実施例として、マウス42がインターフェース31に接続されている状態から、マイク43をインターフェース32に接続した場合の処理について説明する。
ステップS1では、デバイス自動検知モジュール3がマイク43の接続を検知する。
ステップS2では、デバイス自動検知モジュール3が既にマウス42が接続されていると判断して、その結果プロセスはステップS4に移行する。
【0027】
このとき、デバイス自動検知モジュール3が図4に示すような入力デバイス選択画面61を表示する。図4は、複数の入力デバイスが接続されたときの入力デバイス選択画面が表示されたディスプレイの模式図である。入力デバイス選択画面61では、選択肢として、マウスボタン62、マイクボタン63、選択内容64が表示される。マウスボタン62と、マイクボタン63はマウス42によってクリックすることで指示が入力されるボタンである。また、ユーザは、マイク43を使って声によってマウス42またはマイク43を選択できる。この実施例では、ユーザはマイク43を選択する。
【0028】
ステップS3に移行すれば、コントローラ2は、データベース格納部6からマイク用画面9を抽出して、マイク用画面9を画面表示部5に表示する。マイク用画面9が画面表示部5に表示された状態を、図5および図6に示す。
【0029】
図5は、マウス用入力指示領域がない表示画面内容が表示されたディスプレイの模式図である。図5では、横スクロール52、前送りボタン53、後送りボタン54、縦スクロール55がなくなり、メイン表示領域51がそれら部分まで広がっている。すなわち、この場合の表示画面内容は、入力デバイスによる指示入力のための指示入力用表示領域を有していない。
【0030】
図6は、マイク用表示画面内容が表示されたディスプレイの模式図である。横スクロール52、前送りボタン53、後送りボタン54に対応する部分に、マイク用入力コマンド表示71、72、73、74、75が表示されている。マイク用入力コマンド表示71〜75は、マイク43による指示入力のための指示入力用表示領域を構成している。ユーザは、これらコマンド表示を見ることによって、入力コマンドを正しく発声する。つまり、ユーザは、マイク43を用いて入力コマンドを容易にかつ正確に入力できる。
【0031】
なお、図7を用いて他の実施例を説明する。図7は、Webカメラ用表示画面内容が表示されたディスプレイの模式図である。図7では、横スクロール52、前送りボタン53、後送りボタン54、縦スクロール55に対応する部分に、カメラ用入力ジェスチャアイコン81、82、83、84、85、86、87が表示されている。ユーザは、これらコマンドを見ることによって、入力ジェスチャを正しく動作できる。つまり、ユーザは、Webカメラ44を用いて入力コマンドを容易にかつ正確に入力できる。例えば、ジェスチャアイコン81は「前画像」、ジェスチャアイコン82は「後画像」、ジェスチャアイコン83は「2つ前画像」、ジェスチャアイコン84は「2つ後画像」、ジェスチャアイコン85は「先頭画像」、ジェスチャアイコン86は「最終画像」、ジェスチャアイコン87は「終了」を意味している。
【0032】
(4)アクション置換動作
次に、図8を用いて、アクション置換モジュールアクション置換モジュール4の動作を説明する。図8は、接続された入力デバイスによる入力動作処理を示すフローチャートである。
【0033】
ステップS11では、アクション置換モジュール4は、接続入力デバイスから指示が入力されるのを待つ。入力が行われるとプロセスはステップS12に移行する。
【0034】
ステップS12では、アクション置換モジュール4は、アクション解析を行う。具体的には、例えば、マイク用の解析モジュール(図示せず)は、マイク43から音声が入力されると、音声認識を実行し、音声を単語に分解する。次にマイク用の解析モジュールは、認識された単語をデータベースに登録されたキーワードと照合し、その結果認識された単語を所定のアクションに置き換えを行う。また、Webカメラ用の解析モジュール(図示せず)は、Webカメラ44から画像が入力されると、画像認識を実行する。Webカメラ用の解析モジュールは、さらに、画像認識の結果をデータベースに登録された動作と照合し、その結果認識された画像を所定のアクションに置き換えを行う。
【0035】
ステップS13では、アクション置換モジュール4は、アクションが有効であるか否かを判断する。Yesであれば、プロセスはS14に移行する。S14では、アクション置換モジュール4は、アクションを実行する。ステップS13でNoであれば、プロセスはステップS14をスキップして終了する。
【0036】
(5)特徴
本発明に係るグラフィカル・ユーザ・インターフェース装置は、複数の種類の入力デバイスが接続可能な装置である。この装置は、画面表示部5と、インターフェース31〜34と、データベース格納部6と、デバイス自動検知モジュール3と、コントローラ2とを備えている。インターフェース31〜34は、入力デバイスが接続可能である。データベース格納部6は、入力デバイスによる指示入力のための指示入力用表示領域における表示内容が異なる複数の表示画面内容を格納する。デバイス自動検知モジュール3は、インターフェース31〜34に接続された入力デバイスの種類を検知する。コントローラ2は、デバイス自動検知モジュール3の検知結果に対応する表示画面内容をデータベース格納部6から取り出して、取り出した表示画面内容を画面表示部5に表示する表示動作機能を有している。
この装置では、入力デバイスがインターフェース31〜34に接続されると、入力デバイスに対応した表示画面内容が画面表示部5に表示される。つまり、新しい入力デバイスが接続部に接続されると、表示画面内容が切り替えられ、新しい入力デバイスを用いた入力に適した表示画面が表示される。ユーザは、接続された入力デバイスのための指示入力用表示領域を用いてまたはガイドされて、入力装置による入力作業を実行する。このように入力デバイスに対応した表示画面内容を用いることで、入力デバイスが切り替えられてもユーザの入力操作性が高く維持される。
なお、入力デバイスの種類としては、キーボード41、マウス42、マイク43、Webカメラ44、タブレット45がある。
【0037】
図6または図7に示すように、指示入力用表示領域には、対応する入力デバイスのための入力コマンドが表示される。指示入力用表示領域は、図6では71〜75が表示されている部分であり、図7では81〜87が表示されている部分である。
この装置では、ユーザは指示入力用表示領域にある入力コマンドをガイドとして見ることで、使用中の入力デバイスの入力コマンドを容易にしかも確実に使用できる。
【0038】
指示入力用表示領域には、複数の入力コマンド(例えば、図6の71〜75、図7の81〜87)が並べて表示されている。
この装置では、複数の入力コマンドが並べられて表示されているので、入力コマンドのいずれかを選んで入力デバイスを操作することができる。したがって、ユーザによる入力操作性が向上する。
【0039】
複数の表示画面内容は、マウス指示入力用領域を有するマウス用表示画面内容(例えば、図2)と、マウス指示用入力領域を有さない他の入力デバイス用表示画面内容(例えば、図5,図6,図7)とを含んでいる。
この装置では、マウス以外の入力デバイスがインターフェースに接続されれば、マウス指示入力用領域を有さない表示画面内容が表示される。そのため、マウス指示入力用領域の部分を、他の入力デバイスの指示入力用領域に用いること(例えば、図6、図7)または画面を拡大すること(例えば、図5)に利用できる。つまり、マウス以外の入力デバイスに適した表示画面内容によって、ユーザの入力操作性が向上する。
【0040】
コントローラ2は選択指示受付け機能をさらに有している。選択指示受付け機能は、デバイス自動検知モジュール3が異なる種類の複数の入力デバイスを同時に検知すれば、ユーザからのいずれの入力デバイスを選択するかの指示を受付ける。コントローラ2は、選択指示受付け機能が受付けた指示に基づいて、選択された入力デバイスの種類に対応した表示画面内容を画面表示部5に表示する。
この装置では、ある入力デバイスが既に接続された状態でさらに他の入力デバイスを接続すれば、選択指示受付け機能が両入力デバイスのいずれかを選択するかの指示を受付ける。その結果、ユーザは、いずれの入力デバイスを利用するかを選択できる。これにより、ユーザは、既に接続されている入力デバイスの有無を気にすることなく、入力デバイスを新たに接続することができる。
【0041】
(6)他の実施形態
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
【0042】
(A)図9および図10を用いて、他の実施形態を説明する。図9は、他の実施形態におけるグラフィカル・ユーザ・インターフェース装置のブロック構成図である。図10は、他の実施形態におけるデバイス自動検知モジュールおよびコントローラによる入力デバイス接続時の処理を説明するフローチャートである。
【0043】
図9において、グラフィカル・ユーザ・インターフェース装置1は、インターフェースとして、インターフェース31のみを有している。インターフェース31は、複数種類の入力デバイスに共通のインターフェースであり、各種類の入力デバイスが選択的に接続可能になっている。
図10のステップS21では、デバイス自動検知モジュール3は、インターフェース31に新たな有効入力デバイスが接続されたか否かを判断する。ステップS21でNoの場合は、デバイス自動検知モジュール3は検知を続ける。Yesの場合は、処理はステップS22に移行する。
ステップS22では、コントローラ2が、新たに接続された入力デバイスに対応した画面表示内容をデータベース格納部6から抽出して、さらに画面表示部5に表示する。
【0044】
(B)前記実施形態ではデータベース格納部に格納された入力デバイス用画面はアプリケーションソフトウェアの画面であったが、本発明はそれに限定されない。例えば、格納された入力デバイス用画面はOSの画面であってもよい。
【0045】
(C)前記実施形態ではアプリケーションソフトウェアは画像表示ソフトであったが、本発明はそれに限定されない。例えば、ワープロ、表計算、データベース、画像編集ソフトといった各種ソフトウェアであってもよい。
【0046】
(D)前記実施形態では入力デバイスとしては、マウス、マイクが示されたが、本発明はそれに限定されない。入力デバイスは、トラックボール、タッチパッド、タッチパネル、ジョイスティック、ディジタイザ、リモコン、ゲーム用コントローラを含んでいてもよい。
【0047】
(E)前記実施形態では、グラフィカル・ユーザ・インターフェース装置としてパーソナル・コンピュータを用いたが、本発明はそれに限定されない。例えば、本発明は、ゲーム機、コピー機、プリンタ、スキャナ、複合機にも適用できる。
【0048】
(F)利用していた入力デバイスをインターフェースから接続解除したときに、まだ接続されている入力デバイス用の表示画面内容に切り替えてもよい。また、まだ接続されている入力デバイスが複数有る場合には、ユーザによる選択を受け付けるようにしてもよい。
【産業上の利用可能性】
【0049】
本発明は、グラフィカル・ユーザ・インターフェース装置に関し、特に、複数種類の入力デバイスを接続可能な接続部を有するグラフィカル・ユーザ・インターフェース装置に広く適用できる。
【符号の説明】
【0050】
1 グラフィカル・ユーザ・インターフェース装置
2 コントローラ
3 デバイス自動検知モジュール
4 アクション置換モジュール
5 画面表示部
6 データベース格納部
7 マウス用画面
8 Webカメラ用画面
9 マイク用画面
31 インターフェース
32 インターフェース
33 インターフェース
34 インターフェース
41 キーボード
42 マウス
43 マイク
44 Webカメラ
45 タブレット

【特許請求の範囲】
【請求項1】
複数の種類の入力デバイスが接続可能なグラフィカル・ユーザ・インターフェース装置であって、
表示装置と、
前記入力デバイスが接続可能な一または複数の接続部と、
前記入力デバイスによる指示入力のための指示入力用表示領域における表示内容が異なる複数の表示画面内容を格納する格納部と、
前記接続部に接続された前記入力デバイスの種類を検知する検知部と、
前記検知部の検知結果に対応する表示画面内容を前記格納部から取り出して、取り出した表示画面内容を前記表示装置に表示する表示動作部と、
を備えたグラフィカル・ユーザ・インターフェース装置。
【請求項2】
前記指示入力用表示領域には、対応する入力デバイスのための入力コマンドが表示される、請求項1に記載のグラフィカル・ユーザ・インターフェース装置。
【請求項3】
前記指示入力用表示領域には、複数の入力コマンドが並べて表示されている、請求項2に記載のグラフィカル・ユーザ・インターフェース装置。
【請求項4】
前記複数の表示画面内容は、マウス指示入力用領域を有するマウス用表示画面内容と、前記マウス指示入力用領域を有さない他の入力デバイス用表示画面内容とを含んでいる、請求項1〜3のいずれかに記載のグラフィカル・ユーザ・インターフェース装置。
【請求項5】
前記検知部が異なる種類の複数の前記入力デバイスを同時に検知すれば、ユーザからのいずれの入力デバイスを選択するかの指示を受付ける選択指示受付け部をさらに備え、
前記表示動作部は、前記選択指示受付け部が受付けた指示に基づいて、選択された入力デバイスの種類に対応した表示画面内容を前記表示装置に表示する、請求項1〜4のいずれかに記載のグラフィカル・ユーザ・インターフェース装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate