入力装置、入力装置の制御方法、制御プログラム、および記録媒体
【課題】ユーザに明示的な個人識別の手続きを要求することなくユーザを識別する。
【解決手段】入力面に接触したユーザの手の側面の特徴量5を抽出する抽出部15と、特徴量5bとユーザ情報1とが予め対応付けられて記憶装置30に格納されており、特徴量5aと特徴量5bとが一致するか否かを判定する照合部16と、特徴量5が一致すると判定された場合は、一致した特徴量5bに対応付けられたユーザ情報1を取得する処理部17とを備えた。
【解決手段】入力面に接触したユーザの手の側面の特徴量5を抽出する抽出部15と、特徴量5bとユーザ情報1とが予め対応付けられて記憶装置30に格納されており、特徴量5aと特徴量5bとが一致するか否かを判定する照合部16と、特徴量5が一致すると判定された場合は、一致した特徴量5bに対応付けられたユーザ情報1を取得する処理部17とを備えた。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザによる手書き操作の軌跡に基づいて情報を入力可能な入力装置に関するものである。
【背景技術】
【0002】
タッチパネルを備えた表示画面を有する電子機器が広く普及するなか、ユーザが当該電子機器に手書き入力(以下、「手書き操作による入力」ともいう)を行う機会が増えている。例えば、いわゆるスマートフォンをはじめとする情報端末、一部の家庭用ゲーム機、カーナビゲーションシステム、銀行ATM、自動券売機といった多様な電子機器において、ユーザが指やスタイラスなどの指示具(以下、単に「指示具」と称する)で手書き操作を行うことにより、文字や図形などを入力したり、ディスプレイに表示されたオブジェクトを操作したりする形態が広がっている。
【0003】
図8に基づいて、上記電子機器における手書き入力の問題点を説明する。図8は、手書き操作によって情報入力が可能な従来の電子機器の問題点を表した模式図であり、(a)はユーザが入力面に手の側面(以下、単に「手」とも称する)を接触させずに手書き操作を行う場合、(b)は手を接触させて手書き操作を行う場合、(c)は入力面に入力される情報を示す。同図(a)に示すように、従来の電子機器で手書き操作により入力を行う場合、手を入力面から離した態様(例えば、チョークで黒板に筆記するような態様)となることが多い。一方で、机に置いた紙に筆記する場合と同じように、手を入力面に接触させて手書き操作を行う態様(同図(b)参照)の方が、上記態様よりも自然である。
【0004】
しかし、図8(b)のように入力面に手を接触させて手書き操作を行う態様では、電子機器が当該接触した手を当該電子機器への入力と誤認識する問題がある。すなわち、同図(c)に示すように、手書き文字としての軌跡2(同図(c)では「A」)だけでなく、入力面に接触させた手の側面8も、当該電子機器に情報として入力されてしまう。
【0005】
上記問題に対しては、電子機器が指示具による接触と手を置くことによる接触とを区別し、前者のデータを後者のデータから分離して処理すればよい。一般に「パームリジェクション」と呼ばれる上記技術は、古くから広く研究が重ねられてきた。例えば、下記の特許文献1には、スペーサーを配置する密度を異ならせた2枚のタッチパネルを備え、ハードウェア的に上記2つのデータを分離することで、パネル上に手を置いてペン入力を行える入力装置が開示されている。
【0006】
また、手の接触に関するデータを他に活用すべき情報ととらえ、別の目的に利用する技術も存在する。例えば、下記の特許文献2には、上記前者のデータと後者のデータとの入力面における相対位置を計算することで、ユーザの利き手を判別する端末装置が開示されている。
【0007】
一方で、指紋や静脈等の生体情報を用いて個人識別を行う技術は、一般に「生体認証」と呼ばれ、同様に広く研究が重ねられている。例えば、下記の特許文献3には、手のひらや指紋の情報を組み合わせて個人認証を行う出退勤管理システムが開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2001−43003号公報(2001年2月16日公開)
【特許文献2】特開2011−164746号公報(2011年8月25日公開)
【特許文献3】特開2003−331330号公報(2003年11月21日公開)
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかし、上記特許文献1に開示された入力装置は、入力された手の側面8(図8(c))に関する情報を何ら活用することなく、単に棄却するに過ぎないという点で工夫に欠ける。その点、上記特許文献2に開示された端末装置は、当該情報を利き手の判別という目的に利用している点で工夫がみられる。しかし、それだけでは入力用インターフェースの左右の配置を変化させる程度のことしか実現できない。例えば、各ユーザ対して適応的な処理を実現するなど、より柔軟な処理を行うためには、より正確に個人識別を行う必要がある。
【0010】
ここで、手の側面8に関する情報は、一種の生態情報とみることができる。したがって、手書き入力可能な上記電子機器では、上記の生体認証によって各ユーザを識別するというアプローチを採用できる。
【0011】
一方で、上記特許文献3に開示されたシステムのように、個人識別に必要な手続きをユーザに別途要求するのは、手書き入力を行うという上記電子機器の目的に照らしてユーザの負担が重い。すなわち、堅牢なセキュリティの確保を目的とする生体認証として高い認証精度を維持するために、例えば指紋の提出を繰り返し要求するなど、ユーザに厳重な個人識別の手続きを強いるのは手軽さに欠ける。
【0012】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザに明示的な個人識別の手続きを要求することなくユーザを識別することで、各ユーザに応じた適応的な処理を実現し、手書き入力におけるユーザの利便性を向上させる入力装置、入力装置の制御方法、制御プログラム、および記録媒体を提供することである。
【課題を解決するための手段】
【0013】
上記の課題を解決するために、本発明の入力装置は、
(1)ユーザによる手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて情報を入力可能な入力装置であって、
(2)前記入力面に接触したユーザの手の側面の特徴量を抽出する抽出手段と、
(3)前記ユーザの情報と予め対応付けられた特徴量と、前記抽出手段によって抽出された特徴量とが一致するか否かを判定する照合手段と、
(4)前記照合手段によって前記特徴量が一致すると判定された場合は、一致した当該特徴量に対応付けられた前記ユーザの情報を取得する処理手段とを備えたことを特徴としている。
【0014】
また、上記の課題を解決するために、本発明の入力装置の制御方法は、
(1)ユーザによる手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて情報を入力可能な入力装置の制御方法であって、
(2)前記入力面に接触したユーザの手の側面の特徴量を抽出する抽出ステップと、
(3)前記特徴量と前記ユーザの情報とが予め対応付けられて記憶されており、当該特徴量と前記抽出ステップにおいて抽出された特徴量とが一致するか否かを判定する照合ステップと、
(4)前記照合ステップにおいて前記特徴量が一致すると判定された場合は、一致した当該特徴量に対応付けられた前記ユーザの情報を取得する処理ステップとを含むことを特徴としている。
【0015】
上記の構成によれば、本発明の入力装置および当該入力装置の制御方法は、入力面に接触したユーザの手の側面の特徴量を抽出する。ここで、各ユーザの特徴量と当該ユーザに関する情報とは予め対応付けられて記憶装置に格納されているため、本発明の入力装置等は、当該特徴量と抽出された特徴量とを照合し、一致するものが存在するか否かを判定できる。そして、これらの特徴量が一致すると判定された場合、本発明の入力装置等は、一致した特徴量に対応付けられたユーザに関する情報を、入力された情報として取得する。
【0016】
すなわち、本発明の入力装置および当該入力装置の制御方法は、入力面に手を接触させるという手書き操作に伴う一連の動作から得られた情報を利用して、当該手書き操作を行うユーザが事前登録したユーザのいずれであるかを識別できる。これにより、当該入力装置等は、従来の認証装置とは異なり、例えば指紋の提出を繰り返し要求するなど、ユーザに明示的な個人識別の手続きを要求することなく識別できる。
【0017】
したがって、本発明の入力装置および当該入力装置の制御方法は、ユーザの負担が少ない態様で行ったユーザ識別に基づいて、例えば各ユーザに応じた適応的な処理を実現するなど、手書き入力におけるユーザの利便性を向上させることができる。
【0018】
また、本発明の入力装置では、
(1)前記処理手段は、前記軌跡と前記ユーザの情報とを対応付けることを特徴としている。
【0019】
上記の構成によれば、本発明の入力装置は、入力された軌跡と当該軌跡を入力したユーザの情報とを対応付けることができる。具体的には、例えば入力される軌跡に対して、所定の時間間隔で当該ユーザの情報をタグとして付与する。これにより、本発明の入力装置は、識別した各ユーザに対して適応的な処理を実行でき、手書き入力におけるユーザの利便性を向上させることができる。
【0020】
例えば、複数のユーザが一度に軌跡を入力した場合であっても、当該入力装置は、ユーザの情報でフィルタリングする等の処理を行うことにより、あるユーザが入力した軌跡のみを表示することができるなどの処理を実行できる。
【0021】
また、本発明の入力装置では、
(1)前記処理手段は、入力された情報とした前記ユーザの情報に応じて、前記入力装置を操作するためのインターフェースを変更することを特徴としている。
【0022】
上記の構成によれば、本発明の入力装置は、ユーザの情報に応じてインターフェースを変更できる。例えば、ソフトウェアキーボード、扇状に広がるショートカットメニュー、コンテキストメニューなど、様々な入力インターフェースの表示位置を、ユーザの情報に応じてそのユーザ専用の表示位置にインターフェースが表示されるようにできる。これにより、本発明の入力装置は、識別した各ユーザに対して適応的な処理を実行でき、手書き入力におけるユーザの利便性を向上させることができる。
【0023】
また、本発明の入力装置は、
(1)前記抽出手段によって抽出された特徴量と前記ユーザの情報とを対応付けて、記憶装置に格納する登録手段をさらに備えたことを特徴としている。
【0024】
上記の構成によれば、ユーザが所定の操作を行ってユーザ登録を行う設定処理を実行させると、本発明の入力装置は特徴量の入力を受け付ける。ユーザから特徴量が入力されると、当該入力装置はユーザから当該ユーザの情報が入力されるのを待ち受け、入力されたユーザの情報と当該特徴量とを対応付けて記憶装置に格納する。
【0025】
これにより、本発明の入力装置は、当該入力装置を使用するユーザを当該ユーザ自身に登録させることができる。なお、ここで登録されるユーザの情報には、例えばアカウント名、ユーザID、氏名、その他ユーザを一意に特定し得る情報、または入力される軌跡の形状等、様々な入力インターフェースの表示位置などが含まれる。
【0026】
また、本発明の入力装置では、
(1)前記抽出手段は、前記ユーザの手の側面の大きさまたは形状、当該手の側面の皺、血管、または線筋の形状、前記入力面に手の側面を接触させたまま当該入力面上で手の側面をすべらせるように動かしたときの軌跡、前記ユーザの指紋のうち、少なくとも1つを前記特徴量として抽出することを特徴としている。
【0027】
上記の構成によれば、本発明の入力装置は、入力面に接触したユーザの手の側面の特徴量として、当該手の側面にあらわれる血管や当該手の指の指紋などを利用する。また、当該入力装置は、こうした特徴量を時系列に沿って取得したデータも利用できる。これにより、本発明の入力装置は、精度よくユーザ識別を行うことができる。
【0028】
また、本発明の入力装置は、
(1)前記照合手段によって前記特徴量が一致すると判定された場合、前記処理手段によって入力された情報とされた前記ユーザの情報に応じて、前記軌跡を表示部に出力する表示手段をさらに備えたことを特徴としている。
【0029】
上記の構成によれば、本発明の入力装置は、識別したユーザに関する情報に応じて、当該ユーザが入力した軌跡を表示部に出力できる。これにより、本発明の入力装置は、識別した各ユーザに対して適応的な処理を実行でき、手書き入力におけるユーザの利便性を向上させることができる。
【0030】
また、本発明の入力装置では、
(1)前記表示手段は、前記軌跡の形状、色、向き、大きさ、模様のうち少なくとも1つを前記ユーザの情報に応じて変更し、前記軌跡を前記表示部に出力することを特徴としている。
【0031】
上記の構成によれば、本発明の入力装置は、識別したユーザに関する情報に応じて、当該ユーザが入力した軌跡の形状、色、向き、大きさ、模様のうち少なくとも1つを変更して出力できる。これにより、本発明の入力装置は、識別した各ユーザに対してさらに適応的な処理を実行でき、手書き入力におけるユーザの利便性を向上させることができる。
【0032】
なお、前記入力装置はコンピュータによって実現してもよい。この場合には、コンピュータを前記入力装置の各手段として動作させることにより、前記入力装置をコンピュータで実現させる制御プログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【0033】
以上のように、本発明の入力装置は、前記入力面に接触したユーザの手の側面の特徴量を抽出する抽出手段と、前記特徴量と前記ユーザの情報とが予め対応付けられて記憶されており、前記ユーザの情報と予め対応付けられた特徴量と、前記抽出手段によって抽出された特徴量とが一致するか否かを判定する照合手段と、前記照合手段によって前記特徴量が一致すると判定された場合は、一致した当該特徴量に対応付けられた前記ユーザの情報を取得する処理手段とを備えた構成である。
【0034】
また、本発明の入力装置の制御方法は、前記入力面に接触したユーザの手の側面の特徴量を抽出する抽出ステップと、前記特徴量と前記ユーザの情報とが予め対応付けられて記憶されており、当該特徴量と前記抽出ステップにおいて抽出された特徴量とが一致するか否かを判定する照合ステップと、前記照合ステップにおいて前記特徴量が一致すると判定された場合は、一致した当該特徴量に対応付けられた前記ユーザの情報を取得する処理ステップとを含む構成である。
【0035】
したがって、ユーザに明示的な個人識別の手続きを要求することなくユーザを識別することで、各ユーザに応じた適応的な処理を実現し、手書き入力におけるユーザの利便性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【0036】
【図1】本発明の一実施形態に係る入力装置の一部構成を示すブロック図である。
【図2】図1に示した入力装置の基本動作を表した模式図である。
【図3】図1に示した入力装置の異なる基本動作を表した模式図である。
【図4】図1に示した入力装置の構成を同図とは異なる表現で示すブロック図である。
【図5】複数のユーザが図1に示した入力装置に手書き操作を行っている様子を示す模式図である。
【図6】図1に示した入力装置に表示される入力インターフェースの一例を示す模式図である。
【図7】図1に示した入力装置が実行する処理の一例を示すフローチャートである。
【図8】手書き操作によって情報入力が可能な従来の電子機器の問題点を表した模式図であり、(a)はユーザが入力面に手の側面を接触させずに手書き操作を行う場合、(b)は手を接触させて手書き操作を行う場合、(c)は入力面に入力される情報を示す。
【発明を実施するための形態】
【0037】
以下、本発明の実施の形態について、図1〜図7に基づいて詳細に説明する。なお、1つの符号にaまたはbが付されることにより複数存在することが明示されている構成については、説明を簡潔に記述するために、これらを省略して当該構成を総称することがある(例えば、特徴量5aおよび5bを「特徴量5」と総称することがある)。
【0038】
なお、以下の記載および上記図面においては、右利きのユーザが右手に指示具を把持して手書き入力する場合を想定して説明するが、ユーザが左手に指示具を把持して手書き入力する場合や、ユーザが右手または左手の指を使って手書き入力する場合にも同様に本発明を適用できる(したがって、以下で使用する「指示具」には、ユーザの指およびスタイラス等の器具が含まれる)。
【0039】
〔入力装置100の概要〕
図1に基づいて、本実施の形態に係る入力装置100の概要について説明する。図1は、入力装置100の一部構成を示すブロック図である。入力装置100は、ユーザによる手書き操作3の軌跡2を取得できる入力面(入力部40に含まれる)を備え、軌跡2に基づいて情報を入力可能な装置である。
【0040】
ここで、ユーザは入力面に手の側面(以下、単に「手」とも称する)を接触させて、指やスタイラスなどの指示具を用いて手書き操作3を行うため(前述した図8(b)のような態様での手書き入力)、入力装置100は接触位置の当該入力面上における2次元の座標情報6を取得できるものとする。また、軌跡2には、手の接触によって入力されたものと、指示具の接触によって入力されたものとが含まれる。
【0041】
図2に基づいて、入力装置100の動作の概要について説明する。図2は、入力装置100の基本動作を表した模式図である。ユーザが指示具を使って手書き操作3による入力を行うとき、入力装置100(抽出部15、入力情報制御部)は、当該入力面に接触したユーザの手(前述した図8(c)の手の側面8)の特徴量5aを抽出する。記憶装置30には、各ユーザの手の特徴量5bと当該ユーザの情報(ユーザ情報1)とが予め対応付けられて格納されている。入力装置100(照合部16、個人識別部)は、抽出した特徴量5aと記憶装置30(個人情報DB)に格納された特徴量5bとが一致するか否かを照合する。
【0042】
照合した結果、両特徴量が互いに一致しないと判定された場合、入力装置100は軌跡2を入力された情報とする。一方、一致すると判定された場合、入力装置100(処理部17、DB情報制御部)は一致した特徴量5bに対応付けられたユーザ情報1を、入力された情報として取得する。
【0043】
なお、上記のユーザ情報1は、アカウント名、ユーザID、氏名など、予め登録されたユーザを一意に特定し得る情報であれば何でもよい。また、後述するように、ユーザ情報1はユーザを特定可能な情報だけでなく、ユーザの設定情報等を含んでいてもよい。例えば、軌跡2の形状、太さ、色彩、向き、模様、縁取りの有無、消しゴムツールの種類、文字フォント、その他描画に関係する様々な設定や、ソフトウェアキーボード、ショートカットメニュー、コンテキストメニューなど、様々な入力インターフェースの表示位置などが含まれ得る。
【0044】
ここまでに説明した入力装置100の概要をまとめると、入力装置100は、入力面に接触した手の特徴量5aに基づいて、ユーザを識別する機能を備えた装置と言える。従来の入力装置は、前述したように、指示具による接触と手を置くことによる接触とを区別し、前者のデータを後者のデータから分離し、後者を棄却する(パームリジェクション)に過ぎなかった。一方、本実施の形態に係る入力装置100は、後者のデータから当該入力装置を使用するユーザを特定できる(ユーザ情報1を入力された情報とできる)。言い換えれば、入力装置100は、従来の入力装置では棄却されていたデータを、個人識別可能な特徴量5aを含むデータとして有効に活用する。
【0045】
これにより、入力面に手を接触させるという手書き操作3に伴う一連の動作から、予め登録したユーザを識別することができる。したがって、入力装置100は、ユーザに明示的な個人識別の手続きを要求することなく各ユーザに応じた適応的な処理を実行でき、手書き入力におけるユーザの利便性を向上させることができる。
【0046】
図3に基づいて、入力装置100の異なる動作の概要について説明する。図3は、入力装置100の異なる基本動作を表した模式図である。入力装置100(登録部18、DB情報制御部)は、特徴量5bおよびユーザ情報1の入力をユーザから受け付け、これらを対応付けて記憶装置30に格納することにより、識別するユーザに関する情報を予め登録できる。すなわち、入力装置100がユーザを識別する場合、入力装置100は予め登録された特徴量5bの中から、抽出した特徴量5aと一致するものを探索する。
【0047】
〔入力装置100の構成〕
図1に基づいて、本実施の形態に係る入力装置100の構成について説明する。入力装置100は、入力部40、入力制御部50、制御部11、記憶装置30、表示制御部(表示手段)60、および表示部70を含む。
【0048】
なお、本実施の形態に直接関係のない部分(例えば、外部機器との接続や音声出力などを実現する部分)は、記載の簡潔性を担保する観点から、構成の説明およびブロック図から省略した。ただし、実施の実情に則して、本実施の形態に係る入力装置100は当該省略した構成を含んでもよい。
【0049】
以下、入力部40、入力制御部50、制御部11(抽出部15、照合部16、処理部17、登録部18、変更部19)、記憶装置30、表示制御部60、表示部70の順序で各構成が担う機能を説明する。
【0050】
入力部40は、ユーザによる手書き操作3を受け付ける。本実施の形態では主にマルチタッチを検出可能なタッチパネルを想定している。ただし、ユーザによる手書き操作3で情報の入力が可能な入力面を備えてさえいれば(すなわち、当該入力面は入力部40に含まれる)、ハードウェアの種類は限定されない。入力部40は、その入力面に接触した指示具の当該入力面上における2次元の座標情報6を、入力制御部50に出力する。また、入力部40は、ユーザからユーザ情報1の入力を受け付ける。
【0051】
入力制御部50は、入力部40の入力面に対するユーザからの手書き操作3の軌跡2を検出する。例えば、入力部40から座標情報6を所定の時間間隔で取得し、その一連の座標データを軌跡2として抽出部15へ出力する。
【0052】
制御部11は、入力装置100の各種機能を統括的に制御するものである。制御部11は、抽出部(抽出手段)15、照合部(照合手段)16、処理部(処理手段)17、登録部(登録手段)18、および変更部(処理手段)19を含む。
【0053】
抽出部15は、入力制御部50から入力された軌跡2から、入力面に接触したユーザの手の側面の特徴量5を抽出する。ここで、抽出部15は、当該軌跡が手の側面の接触によって入力されたものか、指示具の接触によって入力されたものかを判定する必要がある。この判定のための具体的な処理については、後で詳述する。
【0054】
抽出部15は、軌跡2が手の側面の接触によって入力されたものと判定する場合、抽出した特徴量5を照合部16または登録部18へ出力する。一方、抽出部15は、軌跡2が指示具の接触によって入力されたものと判定する場合、当該入力された軌跡2に変更を加えることなく照合部16へ出力する。
【0055】
照合部16は、記憶装置30に予め格納された特徴量5bと、抽出部15によって抽出された特徴量5aとが一致するか否かを判定する。より具体的には、記憶装置30には登録部18によって登録された各ユーザの特徴量5bが格納されている。そして、照合部16は、抽出部15から入力された特徴量5aと各ユーザの特徴量5bとを一対一で順次照合し、一致するものが存在するか否かを判定する。一致するものが存在する場合、一致した特徴量5bに対応付けられたユーザ情報1を記憶装置30から読み出し、処理部17または変更部19へ出力する。
【0056】
すなわち、照合部16は、ユーザの識別を行い、識別したユーザに対応するユーザ情報1を記憶装置30から読み込んで出力する。また、ユーザを識別した後に抽出部15から軌跡2が入力されると、当該入力された軌跡2は当該ユーザによる手書き入力として、当該軌跡に変更を加えることなく処理部17へ出力する。
【0057】
一方、一致する特徴量5bが記憶装置30に存在しない場合(未登録のユーザが入力面に手を接触させた場合や、適切にユーザ識別を行えない場合など)、照合部16は何も出力しないことにしてよい。これにより、例えば他人(未登録のユーザ)による入力装置100の使用を防ぐことができる。
【0058】
または、照合部16は、所定の初期設定を含むゲストユーザのユーザ情報1を、処理部17または変更部19へ出力することにしてもよい。これにより、他人が入力装置100を使用する場合であっても、入力装置100は予め決められた設定を反映させた処理を実行できる。
【0059】
または、照合部16は、未登録のユーザにユーザ登録を促してもよい。例えば、ユーザ登録を行う設定処理(ユーザ登録モード)を自動的に実行し、抽出した特徴量5aを特徴量5bとして登録部18に出力すればよい。これにより、未登録のユーザが自ら所定の操作を行わなくとも、簡単にユーザ登録を行える。
【0060】
処理部17は、上記のユーザ情報1を入力された情報とする。すなわち、処理部17は、照合部16からユーザ情報1が入力された後、さらに軌跡2が入力されると、当該ユーザ情報と当該軌跡とを対応付け、両者を表示制御部60へ出力する。
【0061】
なお、対応付けを行うタイミングは特に限定されない。すなわち、ユーザを識別した後に入力された軌跡2に対して当該ユーザのユーザ情報1を付与してもよいし、識別する前にはゲストユーザのユーザ情報1を仮に付与しておき、識別された後に再度当該ユーザのユーザ情報1を付与することにしてもよい。
【0062】
登録部18は、抽出部15によって抽出された特徴量5bとユーザ情報1とを対応付けて、記憶装置30に格納する。より具体的には、ユーザが入力部40に対して所定の操作を行うことでユーザ登録モードを実行させると、抽出部15が特徴量5bの入力を受け付ける。抽出部15から特徴量5bが入力されると、登録部18は入力部40を介してユーザからユーザ情報1が入力されるのを待ち受け、入力されたユーザ情報1と特徴量5bとを対応付けて記憶装置30に格納する。
【0063】
変更部19は、ユーザ情報1に応じて、入力装置100を操作するためのインターフェースを変更する。どのようなインターフェースをどう変更するかについては、後で具体例を挙げて説明する。
【0064】
記憶装置30は、特徴量5b、ユーザ情報1、その他各ユーザの設定情報などを記憶した不揮発性の記憶機器である。記憶装置30は、例えばハードディスク、半導体メモリ、DVD(Digital Versatile Disk)等で構成できる。なお、本実施の形態では、記憶装置30は、入力装置100に内蔵される装置として図1に示しているが、入力装置100の外部に通信可能に接続された外部記憶装置であってもよい。
【0065】
表示制御部60は、照合部16によって特徴量5が互いに一致すると判定された場合、処理部17によって入力された情報とされたユーザ情報1に応じて、軌跡2を表示部70に出力する。ここで、表示制御部60は、制御部11が出力する情報(例えば軌跡2)を、表示部70で表示可能な形式にしたがう表示用データ7に変換できる。表示用データ7としては、例えばビットマップ(bitmap)形式の画像であってよいし、他の形式に従う画像、またはその他表示に適したデータ形式であってもよい。なお、表示制御部60は、当該情報を表示用データ7へ形式変換できるものを含んでいればよく、例えば一般的なディスプレイアダプタを含む。
【0066】
表示部70は、映像等を表示する装置である。本実施の形態では主に液晶ディスプレイ(Liquid Crystal Display;LCD)を想定しているが、表示機能を有する装置(特に、フラットパネルディスプレイ)でありさえすればハードウェアの種類は限定されない。例えば、プラズマディスプレイ(Plasma Display Panel;PDP)やEL(Electroluminescence)ディスプレイなどの表示素子と、表示制御部60から入力を受けた表示用データ7に基づいて表示素子を駆動するドライバ回路とを備える装置等で構成できる。
【0067】
〔抽出部15における判定処理〕
上述したように、抽出部15は、軌跡2が手の側面の接触によって入力されたものか、指示具の接触によって入力されたものかを判定する必要がある。この判定は、例えば以下のような処理によって実現できる。
【0068】
抽出部15は、入力面に対する最初の接触位置を含むように所定の領域を設定し、当該所定の領域の内部に含まれる軌跡2はすべて手の接触によるものと判定して、特徴量5を抽出することとしてよい。すなわち、ユーザが入力面に手を接触させて文字等を入力するとき、当該入力面に最初に接触するのは手であることが通常と考えられるため(指示具の先端を接触させてから入力面に手を下ろすという順序は稀であるため)、この時間差を利用して両接触を区別できる。
【0069】
なお、本実施の形態では、入力制御部50から一連の座標データとして軌跡2が抽出部15に与えられるため、上記「最初の接触位置」は軌跡2の先頭の座標データを参照すれば取得できる。一方で、例えば座標情報6がそのまま接触位置として逐次的に与えられる場合、入力面で検知した接触位置が「最初」か「それ以降」かの判定は、記憶装置30に接触位置が格納されているか否かを判定することで実現できる。
【0070】
すなわち、記憶装置30に接触位置が格納されていない場合、検知した当該接触位置を上記「最初の接触位置」と判定して記憶装置30に格納する。一方、記憶装置30に接触位置が格納されている場合(すなわち「最初の接触位置」がすでに格納されている場合)、検知した当該接触位置を「それ以降の接触位置」と判定できる。
【0071】
または、入力面における接触位置の相対関係から両接触を区別してもよい。すなわち、ユーザが右手で手書き入力を行うか左手で手書き入力を行うかを、予め入力装置100に設定しておき、両接触位置の相対的な位置関係から、手の側面に対応する軌跡2を特定できる。
【0072】
〔入力部40および表示部70の詳細な構成〕
図1では、各構成が有する機能を明示するために、入力部40と表示部70とを分離して示している。しかし、例えば入力部40がタッチパネルであり、表示部70が液晶ディスプレイである場合、両者は一体として構成されることが望ましい。
【0073】
すなわち、入力部40は、矩形板状に形成されたガラス等の透明な透過部材からなるデータ入力面を含んで構成され、表示部70が有するデータ表示面を覆うように一体的に形成されてよい。これにより、入力部40の入力面に対する指示具の接触位置と、表示部70が当該接触に応じて表示面に表示する図形の位置とが一致するため、ユーザは自然な手書き感覚を得ることができる。
【0074】
特に、入力部40および表示部70は、複数の画素回路と当該画素回路ごとに少なくとも1つ設けられた光センサとを含む光センサ内蔵型の液晶パネルであることが望ましい。すなわち、バックライトから射出された光が指示具に反射し、この反射光を光センサが検出すると、当該反射光を検出した光センサは、センサ出力信号を座標情報6として入力制御部50に出力する。これにより、入力装置100は、入力面上における指示具の接触位置を精度よく得ることができる。
【0075】
また、入力制御部50は、入力部40に含まれるすべての光センサのセンサ出力信号に基づいて、入力面全体で読み取った画像データを生成できる。入力装置100(特に、抽出部15および照合部16)は、当該画像データに基づいて、後述する指紋を用いた個人識別を行うことができる。この場合、入力部40に含まれる光センサは、各ユーザを識別可能な程度に指紋を明確に取得できる個数が必要である。
【0076】
〔入力装置100の構成の別表現〕
図4に基づいて、入力装置100の構成の異なる表現例について説明する。図4は、入力装置100の構成を図1とは異なる表現で示すブロック図である。すなわち、図4で示す入力装置100と図1で示した入力装置100とは、表現が異なるだけで本質的に同一である。
【0077】
入力装置100は、タッチ入力検出部41(入力部40)、タッチ入力制御部51(入力制御部50)、制御部11、端末記憶装置31(記憶装置30)、個人情報DB32(記憶装置30)、LCD制御部61(表示制御部60)、LCD71(表示部70)、個人識別制御部24、バッテリー25、および電源制御部26を含む。また、制御部11は、CPU21(抽出部15、照合部16、処理部17、登録部18、変更部19)、ROM(Read Only Memory)22(記憶装置30)、およびRAM(Random Access Memory)23(記憶装置30)を含む。なお、抽出部15、照合部16、処理部17、登録部18、および変更部19(すなわち、制御部11に含まれる各部の機能)は、CPU(Central Processing Unit)を用いてソフトウェア的に実現されている。
【0078】
なお、図4においても、タッチ入力検出部41とLCD71とを分離して示している。しかし、上記した図1の場合と同様に、両者は一体として構成されることが望ましい。
【0079】
〔個人識別の具体的な方法〕
(血管像を用いた識別について)
入力装置100(特に、抽出部15および照合部16)は、例えば手の皮下にある血管像を画像化した血管透視像を特徴量5として用いることができる。この血管像を利用した個人識別技術によれば、ユーザに過度な負担を加えることなく、高い精度で識別結果を得ることができる。また、特徴がユーザの身体の内部にあるため、例えば肌の荒れや怪我といったユーザの外的変化に頑健であることや、特徴量の偽造が困難であることなども利点としてあげられる。ただし、近赤外光で血管像を検出するため、入力装置100に近赤外線照明を備える必要がある(図1および図4には図示せず)。
【0080】
入力装置100は、血管像をすべて検出せずに、静脈像だけを用いてもよい。すなわち、入力装置100は、例えば近赤外光反射を用いて手の甲の静脈像を撮影することによって、高い精度で個人識別を行うことができる。これにより、血管像を検出する場合と比較して製造コストを下げることができる。また、ユーザは手を一定位置に固定する必要がなくなることから、入力装置100は識別に伴うユーザの負担をさらに軽減できる。
【0081】
(指紋を用いた識別について)
入力装置100は、指紋も特徴量5として用いることができる。ただし、本実施の形態では、ユーザは指だけでなくスタイラス等を用いて入力装置100へ手書き操作3を行うことも想定しているため、手書き操作3の最中にユーザの指紋が確実に取得できるとは限らない。したがって、入力装置100は、他の特徴量5と組み合わせて指紋を識別に用いることが望ましい。
【0082】
特に、上記血管像を用いた識別と指紋を用いた識別とは、各特徴量の欠点を互いに補う関係にあるため、併用が効果的である。すなわち、皮膚の比較的浅い層に位置する血管像(主に静脈像)は、指紋の隆線が有する特徴に比べて遥かに単純な特徴しか有さないため、識別のための情報量が十分に得られない場合が考えられる。したがって、指紋を特徴量5として追加することにより、識別精度を効果的に高めることができる。
【0083】
一方、劣化や摩耗などで指紋が十分な特徴を有しておらず、識別に必要な情報量を指紋から抽出できない場合も考えられる。したがって、外的変化に頑健な血管像を特徴量5として追加することにより、識別精度を効果的に高めることができる。
【0084】
上記のように、入力装置100が血管像を用いた識別と指紋を用いた識別とを併用する場合、指紋の読み取りには入力面(光センサ液晶を利用したタッチパネル等)を、血管像の読み取りには赤外線照明を利用することが望ましい。
【0085】
(その他の特徴量を用いた識別について)
入力装置100は、手の大きさ、形状、皺または線筋のパターンを特徴量5として用いることができる。これらの特徴にも個人差が現れるため、ユーザを識別可能な情報として利用できる。入力装置100は、上記特徴(手の側面の大きさまたは形状、当該手の側面の皺、血管、または線筋の形状、入力面に指先が接触したときに検知できる指紋)の少なくとも1つを特徴量5として用いてよい。
【0086】
(時系列データの利用について)
入力装置100は、特徴量5を時系列に沿って得たデータ(以下、単に「時系列データ」と称する)を識別に用いることができる。すなわち、時間に対する特徴量5の変化や、ユーザが入力面に手を接触させたまま当該入力面上で手をすべらせるように動かしたときの軌跡等を識別に利用できる。上記時系列データを識別に用いた場合、例えばカルマンフィルタ等の時系列推定モデルを用いれば、ユーザは当該モデルにおいて当該時系列データを生成する非観測状態として推定(識別)される。
【0087】
〔識別したユーザ情報1の使用例〕
図5に基づいて、識別したユーザ情報1の使用例について説明する。図5は、複数のユーザが入力装置100に手書き操作3を行っている様子を示す模式図である。図示のように、入力装置100が複数ユーザで同時に入力可能な大きさの入力面を備えた場合、入力装置100は、当該入力面に接触している各ユーザの手から、それぞれに対応するユーザ情報1を識別できる。
【0088】
そして、例えば入力しようとする軌跡2の形状、太さ、色彩、向き、模様、縁取りの有無、消しゴムツールの種類、文字フォント、その他描画に関係する様々な設定を、識別したユーザ情報1に応じて適用できる。また、上述したように、入力装置100(処理部17)は、軌跡2と当該軌跡を描画したユーザのユーザ情報1とを対応付ける。具体的には、例えば入力される軌跡に対して、所定の時間間隔で当該ユーザの情報をタグとして付与する。これにより、複数ユーザが軌跡2を入力した場合であっても、ユーザ情報1でフィルタリングする等の処理を行うことにより、あるユーザが描画した軌跡2のみを表示することができる。
【0089】
図6に基づいて、識別したユーザ情報1の異なる使用例について説明する。図6は、入力装置100に表示される入力インターフェースの一例を示す模式図である。図示のように、入力装置100において、入力面に指示具を接触させると、ソフトウェアキーボード、扇状に広がるショートカットメニュー、コンテキストメニューなど、様々な入力インターフェースが表示される。これらの表示位置がユーザ情報1に含まれるようにすることで、識別したユーザ情報1に応じてそのユーザ専用の表示位置にインターフェースが表示されるようにできる。
【0090】
ここで、表示位置の設定とは、単に各インターフェースの表示座標を登録された場所に設定するのみに留まらない。例えば、ユーザの指の長さによってキーボードの配列やサイズを変更したり、ユーザが親指を置いた場所にキーボードのスペースキーを配置したりするなどの細かい設定も含む。
【0091】
以上のように、識別したユーザ情報1を使用すれば、ユーザに明示的な個人識別の手続きを要求することなく、各ユーザに応じた適応的な処理を実行できる。これにより、手書き入力におけるユーザの利便性を向上させることができる。
【0092】
〔入力装置100が実行する処理〕
図7に基づいて、入力装置100が実行する処理の流れを説明する。図7は、入力装置100が実行する処理の一例を示すフローチャートである。
【0093】
まず、入力部40はユーザによる手書き操作3を受け付け、座標情報6を入力制御部50に出力する(ステップ1:以下、S1のように略記する)。次に、入力制御部50は、入力部40の入力面に対するユーザからの手書き操作3の軌跡2を取得し、抽出部15に出力する(S2)。
【0094】
抽出部15は、当該軌跡が手の側面の接触によって入力されたものか、指示具の接触によって入力されたものかを判定する(S3)。抽出部15は、手の側面の接触によって入力されたものと判定する場合(S3においてYES)、特徴量5を抽出し(S4、抽出ステップ)、抽出した特徴量5を照合部16または登録部18へ出力する。一方、抽出部15は、軌跡2が指示具の接触によって入力されたものと判定する場合(S3においてNO)、当該入力された軌跡2に変更を加えることなく照合部16へ出力する(S5)。
【0095】
次に、登録部18は、ユーザ登録を行う設定処理(ユーザ登録モード)を実行すべき状況か否かを判定する(S6)。ユーザ登録モードである場合(S6においてYES)、登録部18は、入力部40がユーザ情報1の入力を受け付け(S12)、入力されたユーザ情報1と特徴量5bとを対応付けて記憶装置30に格納する(S13)。
【0096】
一方、ユーザ登録モードでない場合は(S6においてNO)、照合部16が記憶装置30に予め格納された特徴量5bと、抽出部15によって抽出された特徴量5aとが一致するか否かを判定する(S7、照合ステップ)。一致しない場合(S7においてNO)、照合部16は何も出力せず、処理は終了する。
【0097】
なお、図7のフローチャートでは、一致しない場合の処理を何も出力しない場合に限定して示しているが、これに限られない。前述したように、例えばゲストユーザのユーザ情報1を適用して軌跡2を出力する等の処理も可能である。
【0098】
一方、一致する場合(S7においてYES)、一致した特徴量5bに対応付けられたユーザ情報1を記憶装置30から読み出し、処理部17または変更部19へ出力する。
【0099】
変更部19は、ユーザ情報1に応じて、入力装置100を操作するためのインターフェースを変更する(S8)。なお、この処理は照合部16によるユーザ識別が完了した後に1度実行するだけでよく、2度目以降は省略してよい。処理部17は、照合部16からユーザ情報1が入力された後、さらに軌跡2が入力されると、当該ユーザ情報と当該軌跡とを対応付け(S9、処理ステップ)、両者を表示制御部60へ出力する(S10)。表示制御部60は、ユーザ情報1に応じて、軌跡2を表示部70に出力する(S11)。
【0100】
〔入力装置100により奏される効果〕
入力面に手を接触させるという手書き操作3に伴う一連の動作から、予め登録したユーザを識別することができる。したがって、入力装置100は、ユーザに明示的な個人識別の手続きを要求することなく各ユーザに応じた適応的な処理を実行でき、手書き入力におけるユーザの利便性を向上させることができるという効果を奏する。
【0101】
〔各実施の形態に含まれる構成(技術的手段)の組み合わせについて〕
上述した実施の形態に含まれる構成は、適宜組み合わせられることに注意する。すなわち、上記の実施の形態説明したすべての構成は、当該説明に係る実施の形態のみならず、他の実施の形態においても当該構成の全部または一部を組み合わせて利用でき、それによって得られる実施の形態についても本発明の技術的範囲に含まれる。
【0102】
さらに換言すれば、本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
【0103】
〔ソフトウェアによる実現例〕
最後に、入力装置100の各ブロック(特に制御部11)は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPUを用いてソフトウェア的に実現してもよい。
【0104】
後者の場合、入力装置100は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM、上記プログラムを展開するRAM、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである入力装置100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、入力装置100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0105】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
【0106】
また、入力装置100を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0107】
このように、本明細書においては、手段とは必ずしも物理的手段を意味せず、各手段の機能がソフトウェアによって実現される場合も含む。また、1つの手段の機能が2つ以上の物理的手段により実現されてもよいし、2つ以上の手段の機能が1つの物理的手段により実現されてもよい。
【産業上の利用可能性】
【0108】
本発明は、電子黒板、携帯電話、タブレット端末、パーソナルコンピュータ、その他手書き操作による入力で駆動可能な電子機器に適用できる。
【符号の説明】
【0109】
1 ユーザ情報(ユーザの情報)
2 軌跡
3 手書き操作
5a 特徴量
5b 特徴量
15 抽出部(抽出手段)
16 照合部(照合手段)
17 処理部(処理手段)
18 登録部(登録手段)
19 変更部(処理手段)
30 記憶装置
40 入力部(入力面)
60 表示制御部(表示手段)
70 表示部
100 入力装置
【技術分野】
【0001】
本発明は、ユーザによる手書き操作の軌跡に基づいて情報を入力可能な入力装置に関するものである。
【背景技術】
【0002】
タッチパネルを備えた表示画面を有する電子機器が広く普及するなか、ユーザが当該電子機器に手書き入力(以下、「手書き操作による入力」ともいう)を行う機会が増えている。例えば、いわゆるスマートフォンをはじめとする情報端末、一部の家庭用ゲーム機、カーナビゲーションシステム、銀行ATM、自動券売機といった多様な電子機器において、ユーザが指やスタイラスなどの指示具(以下、単に「指示具」と称する)で手書き操作を行うことにより、文字や図形などを入力したり、ディスプレイに表示されたオブジェクトを操作したりする形態が広がっている。
【0003】
図8に基づいて、上記電子機器における手書き入力の問題点を説明する。図8は、手書き操作によって情報入力が可能な従来の電子機器の問題点を表した模式図であり、(a)はユーザが入力面に手の側面(以下、単に「手」とも称する)を接触させずに手書き操作を行う場合、(b)は手を接触させて手書き操作を行う場合、(c)は入力面に入力される情報を示す。同図(a)に示すように、従来の電子機器で手書き操作により入力を行う場合、手を入力面から離した態様(例えば、チョークで黒板に筆記するような態様)となることが多い。一方で、机に置いた紙に筆記する場合と同じように、手を入力面に接触させて手書き操作を行う態様(同図(b)参照)の方が、上記態様よりも自然である。
【0004】
しかし、図8(b)のように入力面に手を接触させて手書き操作を行う態様では、電子機器が当該接触した手を当該電子機器への入力と誤認識する問題がある。すなわち、同図(c)に示すように、手書き文字としての軌跡2(同図(c)では「A」)だけでなく、入力面に接触させた手の側面8も、当該電子機器に情報として入力されてしまう。
【0005】
上記問題に対しては、電子機器が指示具による接触と手を置くことによる接触とを区別し、前者のデータを後者のデータから分離して処理すればよい。一般に「パームリジェクション」と呼ばれる上記技術は、古くから広く研究が重ねられてきた。例えば、下記の特許文献1には、スペーサーを配置する密度を異ならせた2枚のタッチパネルを備え、ハードウェア的に上記2つのデータを分離することで、パネル上に手を置いてペン入力を行える入力装置が開示されている。
【0006】
また、手の接触に関するデータを他に活用すべき情報ととらえ、別の目的に利用する技術も存在する。例えば、下記の特許文献2には、上記前者のデータと後者のデータとの入力面における相対位置を計算することで、ユーザの利き手を判別する端末装置が開示されている。
【0007】
一方で、指紋や静脈等の生体情報を用いて個人識別を行う技術は、一般に「生体認証」と呼ばれ、同様に広く研究が重ねられている。例えば、下記の特許文献3には、手のひらや指紋の情報を組み合わせて個人認証を行う出退勤管理システムが開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2001−43003号公報(2001年2月16日公開)
【特許文献2】特開2011−164746号公報(2011年8月25日公開)
【特許文献3】特開2003−331330号公報(2003年11月21日公開)
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかし、上記特許文献1に開示された入力装置は、入力された手の側面8(図8(c))に関する情報を何ら活用することなく、単に棄却するに過ぎないという点で工夫に欠ける。その点、上記特許文献2に開示された端末装置は、当該情報を利き手の判別という目的に利用している点で工夫がみられる。しかし、それだけでは入力用インターフェースの左右の配置を変化させる程度のことしか実現できない。例えば、各ユーザ対して適応的な処理を実現するなど、より柔軟な処理を行うためには、より正確に個人識別を行う必要がある。
【0010】
ここで、手の側面8に関する情報は、一種の生態情報とみることができる。したがって、手書き入力可能な上記電子機器では、上記の生体認証によって各ユーザを識別するというアプローチを採用できる。
【0011】
一方で、上記特許文献3に開示されたシステムのように、個人識別に必要な手続きをユーザに別途要求するのは、手書き入力を行うという上記電子機器の目的に照らしてユーザの負担が重い。すなわち、堅牢なセキュリティの確保を目的とする生体認証として高い認証精度を維持するために、例えば指紋の提出を繰り返し要求するなど、ユーザに厳重な個人識別の手続きを強いるのは手軽さに欠ける。
【0012】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザに明示的な個人識別の手続きを要求することなくユーザを識別することで、各ユーザに応じた適応的な処理を実現し、手書き入力におけるユーザの利便性を向上させる入力装置、入力装置の制御方法、制御プログラム、および記録媒体を提供することである。
【課題を解決するための手段】
【0013】
上記の課題を解決するために、本発明の入力装置は、
(1)ユーザによる手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて情報を入力可能な入力装置であって、
(2)前記入力面に接触したユーザの手の側面の特徴量を抽出する抽出手段と、
(3)前記ユーザの情報と予め対応付けられた特徴量と、前記抽出手段によって抽出された特徴量とが一致するか否かを判定する照合手段と、
(4)前記照合手段によって前記特徴量が一致すると判定された場合は、一致した当該特徴量に対応付けられた前記ユーザの情報を取得する処理手段とを備えたことを特徴としている。
【0014】
また、上記の課題を解決するために、本発明の入力装置の制御方法は、
(1)ユーザによる手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて情報を入力可能な入力装置の制御方法であって、
(2)前記入力面に接触したユーザの手の側面の特徴量を抽出する抽出ステップと、
(3)前記特徴量と前記ユーザの情報とが予め対応付けられて記憶されており、当該特徴量と前記抽出ステップにおいて抽出された特徴量とが一致するか否かを判定する照合ステップと、
(4)前記照合ステップにおいて前記特徴量が一致すると判定された場合は、一致した当該特徴量に対応付けられた前記ユーザの情報を取得する処理ステップとを含むことを特徴としている。
【0015】
上記の構成によれば、本発明の入力装置および当該入力装置の制御方法は、入力面に接触したユーザの手の側面の特徴量を抽出する。ここで、各ユーザの特徴量と当該ユーザに関する情報とは予め対応付けられて記憶装置に格納されているため、本発明の入力装置等は、当該特徴量と抽出された特徴量とを照合し、一致するものが存在するか否かを判定できる。そして、これらの特徴量が一致すると判定された場合、本発明の入力装置等は、一致した特徴量に対応付けられたユーザに関する情報を、入力された情報として取得する。
【0016】
すなわち、本発明の入力装置および当該入力装置の制御方法は、入力面に手を接触させるという手書き操作に伴う一連の動作から得られた情報を利用して、当該手書き操作を行うユーザが事前登録したユーザのいずれであるかを識別できる。これにより、当該入力装置等は、従来の認証装置とは異なり、例えば指紋の提出を繰り返し要求するなど、ユーザに明示的な個人識別の手続きを要求することなく識別できる。
【0017】
したがって、本発明の入力装置および当該入力装置の制御方法は、ユーザの負担が少ない態様で行ったユーザ識別に基づいて、例えば各ユーザに応じた適応的な処理を実現するなど、手書き入力におけるユーザの利便性を向上させることができる。
【0018】
また、本発明の入力装置では、
(1)前記処理手段は、前記軌跡と前記ユーザの情報とを対応付けることを特徴としている。
【0019】
上記の構成によれば、本発明の入力装置は、入力された軌跡と当該軌跡を入力したユーザの情報とを対応付けることができる。具体的には、例えば入力される軌跡に対して、所定の時間間隔で当該ユーザの情報をタグとして付与する。これにより、本発明の入力装置は、識別した各ユーザに対して適応的な処理を実行でき、手書き入力におけるユーザの利便性を向上させることができる。
【0020】
例えば、複数のユーザが一度に軌跡を入力した場合であっても、当該入力装置は、ユーザの情報でフィルタリングする等の処理を行うことにより、あるユーザが入力した軌跡のみを表示することができるなどの処理を実行できる。
【0021】
また、本発明の入力装置では、
(1)前記処理手段は、入力された情報とした前記ユーザの情報に応じて、前記入力装置を操作するためのインターフェースを変更することを特徴としている。
【0022】
上記の構成によれば、本発明の入力装置は、ユーザの情報に応じてインターフェースを変更できる。例えば、ソフトウェアキーボード、扇状に広がるショートカットメニュー、コンテキストメニューなど、様々な入力インターフェースの表示位置を、ユーザの情報に応じてそのユーザ専用の表示位置にインターフェースが表示されるようにできる。これにより、本発明の入力装置は、識別した各ユーザに対して適応的な処理を実行でき、手書き入力におけるユーザの利便性を向上させることができる。
【0023】
また、本発明の入力装置は、
(1)前記抽出手段によって抽出された特徴量と前記ユーザの情報とを対応付けて、記憶装置に格納する登録手段をさらに備えたことを特徴としている。
【0024】
上記の構成によれば、ユーザが所定の操作を行ってユーザ登録を行う設定処理を実行させると、本発明の入力装置は特徴量の入力を受け付ける。ユーザから特徴量が入力されると、当該入力装置はユーザから当該ユーザの情報が入力されるのを待ち受け、入力されたユーザの情報と当該特徴量とを対応付けて記憶装置に格納する。
【0025】
これにより、本発明の入力装置は、当該入力装置を使用するユーザを当該ユーザ自身に登録させることができる。なお、ここで登録されるユーザの情報には、例えばアカウント名、ユーザID、氏名、その他ユーザを一意に特定し得る情報、または入力される軌跡の形状等、様々な入力インターフェースの表示位置などが含まれる。
【0026】
また、本発明の入力装置では、
(1)前記抽出手段は、前記ユーザの手の側面の大きさまたは形状、当該手の側面の皺、血管、または線筋の形状、前記入力面に手の側面を接触させたまま当該入力面上で手の側面をすべらせるように動かしたときの軌跡、前記ユーザの指紋のうち、少なくとも1つを前記特徴量として抽出することを特徴としている。
【0027】
上記の構成によれば、本発明の入力装置は、入力面に接触したユーザの手の側面の特徴量として、当該手の側面にあらわれる血管や当該手の指の指紋などを利用する。また、当該入力装置は、こうした特徴量を時系列に沿って取得したデータも利用できる。これにより、本発明の入力装置は、精度よくユーザ識別を行うことができる。
【0028】
また、本発明の入力装置は、
(1)前記照合手段によって前記特徴量が一致すると判定された場合、前記処理手段によって入力された情報とされた前記ユーザの情報に応じて、前記軌跡を表示部に出力する表示手段をさらに備えたことを特徴としている。
【0029】
上記の構成によれば、本発明の入力装置は、識別したユーザに関する情報に応じて、当該ユーザが入力した軌跡を表示部に出力できる。これにより、本発明の入力装置は、識別した各ユーザに対して適応的な処理を実行でき、手書き入力におけるユーザの利便性を向上させることができる。
【0030】
また、本発明の入力装置では、
(1)前記表示手段は、前記軌跡の形状、色、向き、大きさ、模様のうち少なくとも1つを前記ユーザの情報に応じて変更し、前記軌跡を前記表示部に出力することを特徴としている。
【0031】
上記の構成によれば、本発明の入力装置は、識別したユーザに関する情報に応じて、当該ユーザが入力した軌跡の形状、色、向き、大きさ、模様のうち少なくとも1つを変更して出力できる。これにより、本発明の入力装置は、識別した各ユーザに対してさらに適応的な処理を実行でき、手書き入力におけるユーザの利便性を向上させることができる。
【0032】
なお、前記入力装置はコンピュータによって実現してもよい。この場合には、コンピュータを前記入力装置の各手段として動作させることにより、前記入力装置をコンピュータで実現させる制御プログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【0033】
以上のように、本発明の入力装置は、前記入力面に接触したユーザの手の側面の特徴量を抽出する抽出手段と、前記特徴量と前記ユーザの情報とが予め対応付けられて記憶されており、前記ユーザの情報と予め対応付けられた特徴量と、前記抽出手段によって抽出された特徴量とが一致するか否かを判定する照合手段と、前記照合手段によって前記特徴量が一致すると判定された場合は、一致した当該特徴量に対応付けられた前記ユーザの情報を取得する処理手段とを備えた構成である。
【0034】
また、本発明の入力装置の制御方法は、前記入力面に接触したユーザの手の側面の特徴量を抽出する抽出ステップと、前記特徴量と前記ユーザの情報とが予め対応付けられて記憶されており、当該特徴量と前記抽出ステップにおいて抽出された特徴量とが一致するか否かを判定する照合ステップと、前記照合ステップにおいて前記特徴量が一致すると判定された場合は、一致した当該特徴量に対応付けられた前記ユーザの情報を取得する処理ステップとを含む構成である。
【0035】
したがって、ユーザに明示的な個人識別の手続きを要求することなくユーザを識別することで、各ユーザに応じた適応的な処理を実現し、手書き入力におけるユーザの利便性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【0036】
【図1】本発明の一実施形態に係る入力装置の一部構成を示すブロック図である。
【図2】図1に示した入力装置の基本動作を表した模式図である。
【図3】図1に示した入力装置の異なる基本動作を表した模式図である。
【図4】図1に示した入力装置の構成を同図とは異なる表現で示すブロック図である。
【図5】複数のユーザが図1に示した入力装置に手書き操作を行っている様子を示す模式図である。
【図6】図1に示した入力装置に表示される入力インターフェースの一例を示す模式図である。
【図7】図1に示した入力装置が実行する処理の一例を示すフローチャートである。
【図8】手書き操作によって情報入力が可能な従来の電子機器の問題点を表した模式図であり、(a)はユーザが入力面に手の側面を接触させずに手書き操作を行う場合、(b)は手を接触させて手書き操作を行う場合、(c)は入力面に入力される情報を示す。
【発明を実施するための形態】
【0037】
以下、本発明の実施の形態について、図1〜図7に基づいて詳細に説明する。なお、1つの符号にaまたはbが付されることにより複数存在することが明示されている構成については、説明を簡潔に記述するために、これらを省略して当該構成を総称することがある(例えば、特徴量5aおよび5bを「特徴量5」と総称することがある)。
【0038】
なお、以下の記載および上記図面においては、右利きのユーザが右手に指示具を把持して手書き入力する場合を想定して説明するが、ユーザが左手に指示具を把持して手書き入力する場合や、ユーザが右手または左手の指を使って手書き入力する場合にも同様に本発明を適用できる(したがって、以下で使用する「指示具」には、ユーザの指およびスタイラス等の器具が含まれる)。
【0039】
〔入力装置100の概要〕
図1に基づいて、本実施の形態に係る入力装置100の概要について説明する。図1は、入力装置100の一部構成を示すブロック図である。入力装置100は、ユーザによる手書き操作3の軌跡2を取得できる入力面(入力部40に含まれる)を備え、軌跡2に基づいて情報を入力可能な装置である。
【0040】
ここで、ユーザは入力面に手の側面(以下、単に「手」とも称する)を接触させて、指やスタイラスなどの指示具を用いて手書き操作3を行うため(前述した図8(b)のような態様での手書き入力)、入力装置100は接触位置の当該入力面上における2次元の座標情報6を取得できるものとする。また、軌跡2には、手の接触によって入力されたものと、指示具の接触によって入力されたものとが含まれる。
【0041】
図2に基づいて、入力装置100の動作の概要について説明する。図2は、入力装置100の基本動作を表した模式図である。ユーザが指示具を使って手書き操作3による入力を行うとき、入力装置100(抽出部15、入力情報制御部)は、当該入力面に接触したユーザの手(前述した図8(c)の手の側面8)の特徴量5aを抽出する。記憶装置30には、各ユーザの手の特徴量5bと当該ユーザの情報(ユーザ情報1)とが予め対応付けられて格納されている。入力装置100(照合部16、個人識別部)は、抽出した特徴量5aと記憶装置30(個人情報DB)に格納された特徴量5bとが一致するか否かを照合する。
【0042】
照合した結果、両特徴量が互いに一致しないと判定された場合、入力装置100は軌跡2を入力された情報とする。一方、一致すると判定された場合、入力装置100(処理部17、DB情報制御部)は一致した特徴量5bに対応付けられたユーザ情報1を、入力された情報として取得する。
【0043】
なお、上記のユーザ情報1は、アカウント名、ユーザID、氏名など、予め登録されたユーザを一意に特定し得る情報であれば何でもよい。また、後述するように、ユーザ情報1はユーザを特定可能な情報だけでなく、ユーザの設定情報等を含んでいてもよい。例えば、軌跡2の形状、太さ、色彩、向き、模様、縁取りの有無、消しゴムツールの種類、文字フォント、その他描画に関係する様々な設定や、ソフトウェアキーボード、ショートカットメニュー、コンテキストメニューなど、様々な入力インターフェースの表示位置などが含まれ得る。
【0044】
ここまでに説明した入力装置100の概要をまとめると、入力装置100は、入力面に接触した手の特徴量5aに基づいて、ユーザを識別する機能を備えた装置と言える。従来の入力装置は、前述したように、指示具による接触と手を置くことによる接触とを区別し、前者のデータを後者のデータから分離し、後者を棄却する(パームリジェクション)に過ぎなかった。一方、本実施の形態に係る入力装置100は、後者のデータから当該入力装置を使用するユーザを特定できる(ユーザ情報1を入力された情報とできる)。言い換えれば、入力装置100は、従来の入力装置では棄却されていたデータを、個人識別可能な特徴量5aを含むデータとして有効に活用する。
【0045】
これにより、入力面に手を接触させるという手書き操作3に伴う一連の動作から、予め登録したユーザを識別することができる。したがって、入力装置100は、ユーザに明示的な個人識別の手続きを要求することなく各ユーザに応じた適応的な処理を実行でき、手書き入力におけるユーザの利便性を向上させることができる。
【0046】
図3に基づいて、入力装置100の異なる動作の概要について説明する。図3は、入力装置100の異なる基本動作を表した模式図である。入力装置100(登録部18、DB情報制御部)は、特徴量5bおよびユーザ情報1の入力をユーザから受け付け、これらを対応付けて記憶装置30に格納することにより、識別するユーザに関する情報を予め登録できる。すなわち、入力装置100がユーザを識別する場合、入力装置100は予め登録された特徴量5bの中から、抽出した特徴量5aと一致するものを探索する。
【0047】
〔入力装置100の構成〕
図1に基づいて、本実施の形態に係る入力装置100の構成について説明する。入力装置100は、入力部40、入力制御部50、制御部11、記憶装置30、表示制御部(表示手段)60、および表示部70を含む。
【0048】
なお、本実施の形態に直接関係のない部分(例えば、外部機器との接続や音声出力などを実現する部分)は、記載の簡潔性を担保する観点から、構成の説明およびブロック図から省略した。ただし、実施の実情に則して、本実施の形態に係る入力装置100は当該省略した構成を含んでもよい。
【0049】
以下、入力部40、入力制御部50、制御部11(抽出部15、照合部16、処理部17、登録部18、変更部19)、記憶装置30、表示制御部60、表示部70の順序で各構成が担う機能を説明する。
【0050】
入力部40は、ユーザによる手書き操作3を受け付ける。本実施の形態では主にマルチタッチを検出可能なタッチパネルを想定している。ただし、ユーザによる手書き操作3で情報の入力が可能な入力面を備えてさえいれば(すなわち、当該入力面は入力部40に含まれる)、ハードウェアの種類は限定されない。入力部40は、その入力面に接触した指示具の当該入力面上における2次元の座標情報6を、入力制御部50に出力する。また、入力部40は、ユーザからユーザ情報1の入力を受け付ける。
【0051】
入力制御部50は、入力部40の入力面に対するユーザからの手書き操作3の軌跡2を検出する。例えば、入力部40から座標情報6を所定の時間間隔で取得し、その一連の座標データを軌跡2として抽出部15へ出力する。
【0052】
制御部11は、入力装置100の各種機能を統括的に制御するものである。制御部11は、抽出部(抽出手段)15、照合部(照合手段)16、処理部(処理手段)17、登録部(登録手段)18、および変更部(処理手段)19を含む。
【0053】
抽出部15は、入力制御部50から入力された軌跡2から、入力面に接触したユーザの手の側面の特徴量5を抽出する。ここで、抽出部15は、当該軌跡が手の側面の接触によって入力されたものか、指示具の接触によって入力されたものかを判定する必要がある。この判定のための具体的な処理については、後で詳述する。
【0054】
抽出部15は、軌跡2が手の側面の接触によって入力されたものと判定する場合、抽出した特徴量5を照合部16または登録部18へ出力する。一方、抽出部15は、軌跡2が指示具の接触によって入力されたものと判定する場合、当該入力された軌跡2に変更を加えることなく照合部16へ出力する。
【0055】
照合部16は、記憶装置30に予め格納された特徴量5bと、抽出部15によって抽出された特徴量5aとが一致するか否かを判定する。より具体的には、記憶装置30には登録部18によって登録された各ユーザの特徴量5bが格納されている。そして、照合部16は、抽出部15から入力された特徴量5aと各ユーザの特徴量5bとを一対一で順次照合し、一致するものが存在するか否かを判定する。一致するものが存在する場合、一致した特徴量5bに対応付けられたユーザ情報1を記憶装置30から読み出し、処理部17または変更部19へ出力する。
【0056】
すなわち、照合部16は、ユーザの識別を行い、識別したユーザに対応するユーザ情報1を記憶装置30から読み込んで出力する。また、ユーザを識別した後に抽出部15から軌跡2が入力されると、当該入力された軌跡2は当該ユーザによる手書き入力として、当該軌跡に変更を加えることなく処理部17へ出力する。
【0057】
一方、一致する特徴量5bが記憶装置30に存在しない場合(未登録のユーザが入力面に手を接触させた場合や、適切にユーザ識別を行えない場合など)、照合部16は何も出力しないことにしてよい。これにより、例えば他人(未登録のユーザ)による入力装置100の使用を防ぐことができる。
【0058】
または、照合部16は、所定の初期設定を含むゲストユーザのユーザ情報1を、処理部17または変更部19へ出力することにしてもよい。これにより、他人が入力装置100を使用する場合であっても、入力装置100は予め決められた設定を反映させた処理を実行できる。
【0059】
または、照合部16は、未登録のユーザにユーザ登録を促してもよい。例えば、ユーザ登録を行う設定処理(ユーザ登録モード)を自動的に実行し、抽出した特徴量5aを特徴量5bとして登録部18に出力すればよい。これにより、未登録のユーザが自ら所定の操作を行わなくとも、簡単にユーザ登録を行える。
【0060】
処理部17は、上記のユーザ情報1を入力された情報とする。すなわち、処理部17は、照合部16からユーザ情報1が入力された後、さらに軌跡2が入力されると、当該ユーザ情報と当該軌跡とを対応付け、両者を表示制御部60へ出力する。
【0061】
なお、対応付けを行うタイミングは特に限定されない。すなわち、ユーザを識別した後に入力された軌跡2に対して当該ユーザのユーザ情報1を付与してもよいし、識別する前にはゲストユーザのユーザ情報1を仮に付与しておき、識別された後に再度当該ユーザのユーザ情報1を付与することにしてもよい。
【0062】
登録部18は、抽出部15によって抽出された特徴量5bとユーザ情報1とを対応付けて、記憶装置30に格納する。より具体的には、ユーザが入力部40に対して所定の操作を行うことでユーザ登録モードを実行させると、抽出部15が特徴量5bの入力を受け付ける。抽出部15から特徴量5bが入力されると、登録部18は入力部40を介してユーザからユーザ情報1が入力されるのを待ち受け、入力されたユーザ情報1と特徴量5bとを対応付けて記憶装置30に格納する。
【0063】
変更部19は、ユーザ情報1に応じて、入力装置100を操作するためのインターフェースを変更する。どのようなインターフェースをどう変更するかについては、後で具体例を挙げて説明する。
【0064】
記憶装置30は、特徴量5b、ユーザ情報1、その他各ユーザの設定情報などを記憶した不揮発性の記憶機器である。記憶装置30は、例えばハードディスク、半導体メモリ、DVD(Digital Versatile Disk)等で構成できる。なお、本実施の形態では、記憶装置30は、入力装置100に内蔵される装置として図1に示しているが、入力装置100の外部に通信可能に接続された外部記憶装置であってもよい。
【0065】
表示制御部60は、照合部16によって特徴量5が互いに一致すると判定された場合、処理部17によって入力された情報とされたユーザ情報1に応じて、軌跡2を表示部70に出力する。ここで、表示制御部60は、制御部11が出力する情報(例えば軌跡2)を、表示部70で表示可能な形式にしたがう表示用データ7に変換できる。表示用データ7としては、例えばビットマップ(bitmap)形式の画像であってよいし、他の形式に従う画像、またはその他表示に適したデータ形式であってもよい。なお、表示制御部60は、当該情報を表示用データ7へ形式変換できるものを含んでいればよく、例えば一般的なディスプレイアダプタを含む。
【0066】
表示部70は、映像等を表示する装置である。本実施の形態では主に液晶ディスプレイ(Liquid Crystal Display;LCD)を想定しているが、表示機能を有する装置(特に、フラットパネルディスプレイ)でありさえすればハードウェアの種類は限定されない。例えば、プラズマディスプレイ(Plasma Display Panel;PDP)やEL(Electroluminescence)ディスプレイなどの表示素子と、表示制御部60から入力を受けた表示用データ7に基づいて表示素子を駆動するドライバ回路とを備える装置等で構成できる。
【0067】
〔抽出部15における判定処理〕
上述したように、抽出部15は、軌跡2が手の側面の接触によって入力されたものか、指示具の接触によって入力されたものかを判定する必要がある。この判定は、例えば以下のような処理によって実現できる。
【0068】
抽出部15は、入力面に対する最初の接触位置を含むように所定の領域を設定し、当該所定の領域の内部に含まれる軌跡2はすべて手の接触によるものと判定して、特徴量5を抽出することとしてよい。すなわち、ユーザが入力面に手を接触させて文字等を入力するとき、当該入力面に最初に接触するのは手であることが通常と考えられるため(指示具の先端を接触させてから入力面に手を下ろすという順序は稀であるため)、この時間差を利用して両接触を区別できる。
【0069】
なお、本実施の形態では、入力制御部50から一連の座標データとして軌跡2が抽出部15に与えられるため、上記「最初の接触位置」は軌跡2の先頭の座標データを参照すれば取得できる。一方で、例えば座標情報6がそのまま接触位置として逐次的に与えられる場合、入力面で検知した接触位置が「最初」か「それ以降」かの判定は、記憶装置30に接触位置が格納されているか否かを判定することで実現できる。
【0070】
すなわち、記憶装置30に接触位置が格納されていない場合、検知した当該接触位置を上記「最初の接触位置」と判定して記憶装置30に格納する。一方、記憶装置30に接触位置が格納されている場合(すなわち「最初の接触位置」がすでに格納されている場合)、検知した当該接触位置を「それ以降の接触位置」と判定できる。
【0071】
または、入力面における接触位置の相対関係から両接触を区別してもよい。すなわち、ユーザが右手で手書き入力を行うか左手で手書き入力を行うかを、予め入力装置100に設定しておき、両接触位置の相対的な位置関係から、手の側面に対応する軌跡2を特定できる。
【0072】
〔入力部40および表示部70の詳細な構成〕
図1では、各構成が有する機能を明示するために、入力部40と表示部70とを分離して示している。しかし、例えば入力部40がタッチパネルであり、表示部70が液晶ディスプレイである場合、両者は一体として構成されることが望ましい。
【0073】
すなわち、入力部40は、矩形板状に形成されたガラス等の透明な透過部材からなるデータ入力面を含んで構成され、表示部70が有するデータ表示面を覆うように一体的に形成されてよい。これにより、入力部40の入力面に対する指示具の接触位置と、表示部70が当該接触に応じて表示面に表示する図形の位置とが一致するため、ユーザは自然な手書き感覚を得ることができる。
【0074】
特に、入力部40および表示部70は、複数の画素回路と当該画素回路ごとに少なくとも1つ設けられた光センサとを含む光センサ内蔵型の液晶パネルであることが望ましい。すなわち、バックライトから射出された光が指示具に反射し、この反射光を光センサが検出すると、当該反射光を検出した光センサは、センサ出力信号を座標情報6として入力制御部50に出力する。これにより、入力装置100は、入力面上における指示具の接触位置を精度よく得ることができる。
【0075】
また、入力制御部50は、入力部40に含まれるすべての光センサのセンサ出力信号に基づいて、入力面全体で読み取った画像データを生成できる。入力装置100(特に、抽出部15および照合部16)は、当該画像データに基づいて、後述する指紋を用いた個人識別を行うことができる。この場合、入力部40に含まれる光センサは、各ユーザを識別可能な程度に指紋を明確に取得できる個数が必要である。
【0076】
〔入力装置100の構成の別表現〕
図4に基づいて、入力装置100の構成の異なる表現例について説明する。図4は、入力装置100の構成を図1とは異なる表現で示すブロック図である。すなわち、図4で示す入力装置100と図1で示した入力装置100とは、表現が異なるだけで本質的に同一である。
【0077】
入力装置100は、タッチ入力検出部41(入力部40)、タッチ入力制御部51(入力制御部50)、制御部11、端末記憶装置31(記憶装置30)、個人情報DB32(記憶装置30)、LCD制御部61(表示制御部60)、LCD71(表示部70)、個人識別制御部24、バッテリー25、および電源制御部26を含む。また、制御部11は、CPU21(抽出部15、照合部16、処理部17、登録部18、変更部19)、ROM(Read Only Memory)22(記憶装置30)、およびRAM(Random Access Memory)23(記憶装置30)を含む。なお、抽出部15、照合部16、処理部17、登録部18、および変更部19(すなわち、制御部11に含まれる各部の機能)は、CPU(Central Processing Unit)を用いてソフトウェア的に実現されている。
【0078】
なお、図4においても、タッチ入力検出部41とLCD71とを分離して示している。しかし、上記した図1の場合と同様に、両者は一体として構成されることが望ましい。
【0079】
〔個人識別の具体的な方法〕
(血管像を用いた識別について)
入力装置100(特に、抽出部15および照合部16)は、例えば手の皮下にある血管像を画像化した血管透視像を特徴量5として用いることができる。この血管像を利用した個人識別技術によれば、ユーザに過度な負担を加えることなく、高い精度で識別結果を得ることができる。また、特徴がユーザの身体の内部にあるため、例えば肌の荒れや怪我といったユーザの外的変化に頑健であることや、特徴量の偽造が困難であることなども利点としてあげられる。ただし、近赤外光で血管像を検出するため、入力装置100に近赤外線照明を備える必要がある(図1および図4には図示せず)。
【0080】
入力装置100は、血管像をすべて検出せずに、静脈像だけを用いてもよい。すなわち、入力装置100は、例えば近赤外光反射を用いて手の甲の静脈像を撮影することによって、高い精度で個人識別を行うことができる。これにより、血管像を検出する場合と比較して製造コストを下げることができる。また、ユーザは手を一定位置に固定する必要がなくなることから、入力装置100は識別に伴うユーザの負担をさらに軽減できる。
【0081】
(指紋を用いた識別について)
入力装置100は、指紋も特徴量5として用いることができる。ただし、本実施の形態では、ユーザは指だけでなくスタイラス等を用いて入力装置100へ手書き操作3を行うことも想定しているため、手書き操作3の最中にユーザの指紋が確実に取得できるとは限らない。したがって、入力装置100は、他の特徴量5と組み合わせて指紋を識別に用いることが望ましい。
【0082】
特に、上記血管像を用いた識別と指紋を用いた識別とは、各特徴量の欠点を互いに補う関係にあるため、併用が効果的である。すなわち、皮膚の比較的浅い層に位置する血管像(主に静脈像)は、指紋の隆線が有する特徴に比べて遥かに単純な特徴しか有さないため、識別のための情報量が十分に得られない場合が考えられる。したがって、指紋を特徴量5として追加することにより、識別精度を効果的に高めることができる。
【0083】
一方、劣化や摩耗などで指紋が十分な特徴を有しておらず、識別に必要な情報量を指紋から抽出できない場合も考えられる。したがって、外的変化に頑健な血管像を特徴量5として追加することにより、識別精度を効果的に高めることができる。
【0084】
上記のように、入力装置100が血管像を用いた識別と指紋を用いた識別とを併用する場合、指紋の読み取りには入力面(光センサ液晶を利用したタッチパネル等)を、血管像の読み取りには赤外線照明を利用することが望ましい。
【0085】
(その他の特徴量を用いた識別について)
入力装置100は、手の大きさ、形状、皺または線筋のパターンを特徴量5として用いることができる。これらの特徴にも個人差が現れるため、ユーザを識別可能な情報として利用できる。入力装置100は、上記特徴(手の側面の大きさまたは形状、当該手の側面の皺、血管、または線筋の形状、入力面に指先が接触したときに検知できる指紋)の少なくとも1つを特徴量5として用いてよい。
【0086】
(時系列データの利用について)
入力装置100は、特徴量5を時系列に沿って得たデータ(以下、単に「時系列データ」と称する)を識別に用いることができる。すなわち、時間に対する特徴量5の変化や、ユーザが入力面に手を接触させたまま当該入力面上で手をすべらせるように動かしたときの軌跡等を識別に利用できる。上記時系列データを識別に用いた場合、例えばカルマンフィルタ等の時系列推定モデルを用いれば、ユーザは当該モデルにおいて当該時系列データを生成する非観測状態として推定(識別)される。
【0087】
〔識別したユーザ情報1の使用例〕
図5に基づいて、識別したユーザ情報1の使用例について説明する。図5は、複数のユーザが入力装置100に手書き操作3を行っている様子を示す模式図である。図示のように、入力装置100が複数ユーザで同時に入力可能な大きさの入力面を備えた場合、入力装置100は、当該入力面に接触している各ユーザの手から、それぞれに対応するユーザ情報1を識別できる。
【0088】
そして、例えば入力しようとする軌跡2の形状、太さ、色彩、向き、模様、縁取りの有無、消しゴムツールの種類、文字フォント、その他描画に関係する様々な設定を、識別したユーザ情報1に応じて適用できる。また、上述したように、入力装置100(処理部17)は、軌跡2と当該軌跡を描画したユーザのユーザ情報1とを対応付ける。具体的には、例えば入力される軌跡に対して、所定の時間間隔で当該ユーザの情報をタグとして付与する。これにより、複数ユーザが軌跡2を入力した場合であっても、ユーザ情報1でフィルタリングする等の処理を行うことにより、あるユーザが描画した軌跡2のみを表示することができる。
【0089】
図6に基づいて、識別したユーザ情報1の異なる使用例について説明する。図6は、入力装置100に表示される入力インターフェースの一例を示す模式図である。図示のように、入力装置100において、入力面に指示具を接触させると、ソフトウェアキーボード、扇状に広がるショートカットメニュー、コンテキストメニューなど、様々な入力インターフェースが表示される。これらの表示位置がユーザ情報1に含まれるようにすることで、識別したユーザ情報1に応じてそのユーザ専用の表示位置にインターフェースが表示されるようにできる。
【0090】
ここで、表示位置の設定とは、単に各インターフェースの表示座標を登録された場所に設定するのみに留まらない。例えば、ユーザの指の長さによってキーボードの配列やサイズを変更したり、ユーザが親指を置いた場所にキーボードのスペースキーを配置したりするなどの細かい設定も含む。
【0091】
以上のように、識別したユーザ情報1を使用すれば、ユーザに明示的な個人識別の手続きを要求することなく、各ユーザに応じた適応的な処理を実行できる。これにより、手書き入力におけるユーザの利便性を向上させることができる。
【0092】
〔入力装置100が実行する処理〕
図7に基づいて、入力装置100が実行する処理の流れを説明する。図7は、入力装置100が実行する処理の一例を示すフローチャートである。
【0093】
まず、入力部40はユーザによる手書き操作3を受け付け、座標情報6を入力制御部50に出力する(ステップ1:以下、S1のように略記する)。次に、入力制御部50は、入力部40の入力面に対するユーザからの手書き操作3の軌跡2を取得し、抽出部15に出力する(S2)。
【0094】
抽出部15は、当該軌跡が手の側面の接触によって入力されたものか、指示具の接触によって入力されたものかを判定する(S3)。抽出部15は、手の側面の接触によって入力されたものと判定する場合(S3においてYES)、特徴量5を抽出し(S4、抽出ステップ)、抽出した特徴量5を照合部16または登録部18へ出力する。一方、抽出部15は、軌跡2が指示具の接触によって入力されたものと判定する場合(S3においてNO)、当該入力された軌跡2に変更を加えることなく照合部16へ出力する(S5)。
【0095】
次に、登録部18は、ユーザ登録を行う設定処理(ユーザ登録モード)を実行すべき状況か否かを判定する(S6)。ユーザ登録モードである場合(S6においてYES)、登録部18は、入力部40がユーザ情報1の入力を受け付け(S12)、入力されたユーザ情報1と特徴量5bとを対応付けて記憶装置30に格納する(S13)。
【0096】
一方、ユーザ登録モードでない場合は(S6においてNO)、照合部16が記憶装置30に予め格納された特徴量5bと、抽出部15によって抽出された特徴量5aとが一致するか否かを判定する(S7、照合ステップ)。一致しない場合(S7においてNO)、照合部16は何も出力せず、処理は終了する。
【0097】
なお、図7のフローチャートでは、一致しない場合の処理を何も出力しない場合に限定して示しているが、これに限られない。前述したように、例えばゲストユーザのユーザ情報1を適用して軌跡2を出力する等の処理も可能である。
【0098】
一方、一致する場合(S7においてYES)、一致した特徴量5bに対応付けられたユーザ情報1を記憶装置30から読み出し、処理部17または変更部19へ出力する。
【0099】
変更部19は、ユーザ情報1に応じて、入力装置100を操作するためのインターフェースを変更する(S8)。なお、この処理は照合部16によるユーザ識別が完了した後に1度実行するだけでよく、2度目以降は省略してよい。処理部17は、照合部16からユーザ情報1が入力された後、さらに軌跡2が入力されると、当該ユーザ情報と当該軌跡とを対応付け(S9、処理ステップ)、両者を表示制御部60へ出力する(S10)。表示制御部60は、ユーザ情報1に応じて、軌跡2を表示部70に出力する(S11)。
【0100】
〔入力装置100により奏される効果〕
入力面に手を接触させるという手書き操作3に伴う一連の動作から、予め登録したユーザを識別することができる。したがって、入力装置100は、ユーザに明示的な個人識別の手続きを要求することなく各ユーザに応じた適応的な処理を実行でき、手書き入力におけるユーザの利便性を向上させることができるという効果を奏する。
【0101】
〔各実施の形態に含まれる構成(技術的手段)の組み合わせについて〕
上述した実施の形態に含まれる構成は、適宜組み合わせられることに注意する。すなわち、上記の実施の形態説明したすべての構成は、当該説明に係る実施の形態のみならず、他の実施の形態においても当該構成の全部または一部を組み合わせて利用でき、それによって得られる実施の形態についても本発明の技術的範囲に含まれる。
【0102】
さらに換言すれば、本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
【0103】
〔ソフトウェアによる実現例〕
最後に、入力装置100の各ブロック(特に制御部11)は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPUを用いてソフトウェア的に実現してもよい。
【0104】
後者の場合、入力装置100は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM、上記プログラムを展開するRAM、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである入力装置100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、入力装置100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【0105】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
【0106】
また、入力装置100を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【0107】
このように、本明細書においては、手段とは必ずしも物理的手段を意味せず、各手段の機能がソフトウェアによって実現される場合も含む。また、1つの手段の機能が2つ以上の物理的手段により実現されてもよいし、2つ以上の手段の機能が1つの物理的手段により実現されてもよい。
【産業上の利用可能性】
【0108】
本発明は、電子黒板、携帯電話、タブレット端末、パーソナルコンピュータ、その他手書き操作による入力で駆動可能な電子機器に適用できる。
【符号の説明】
【0109】
1 ユーザ情報(ユーザの情報)
2 軌跡
3 手書き操作
5a 特徴量
5b 特徴量
15 抽出部(抽出手段)
16 照合部(照合手段)
17 処理部(処理手段)
18 登録部(登録手段)
19 変更部(処理手段)
30 記憶装置
40 入力部(入力面)
60 表示制御部(表示手段)
70 表示部
100 入力装置
【特許請求の範囲】
【請求項1】
ユーザによる手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて情報を入力可能な入力装置であって、
前記入力面に接触したユーザの手の側面の特徴量を抽出する抽出手段と、
前記ユーザの情報と予め対応付けられた特徴量と、前記抽出手段によって抽出された特徴量とが一致するか否かを判定する照合手段と、
前記照合手段によって前記特徴量が一致すると判定された場合は、一致した当該特徴量に対応付けられた前記ユーザの情報を取得する処理手段とを備えたことを特徴とする入力装置。
【請求項2】
前記処理手段は、前記軌跡と前記ユーザの情報とを対応付けることを特徴とする請求項1に記載の入力装置。
【請求項3】
前記処理手段は、入力された情報とした前記ユーザの情報に応じて、前記入力装置を操作するためのインターフェースを変更することを特徴とする請求項1または2に記載の入力装置。
【請求項4】
前記抽出手段によって抽出された特徴量と前記ユーザの情報とを対応付けて、記憶装置に格納する登録手段をさらに備えたことを特徴とする請求項1から3のいずれか1項に記載の入力装置。
【請求項5】
前記抽出手段は、前記ユーザの手の側面の大きさまたは形状、手の側面の皺、血管、または線筋の形状、前記入力面に手の側面を接触させたまま当該入力面上で手の側面をすべらせるように動かしたときの軌跡、前記ユーザの指紋のうち、少なくとも1つを前記特徴量として抽出することを特徴とする請求項1から4のいずれか1項に記載の入力装置。
【請求項6】
前記照合手段によって前記特徴量が一致すると判定された場合、前記処理手段によって入力された情報とされた前記ユーザの情報に応じて、前記軌跡を表示部に出力する表示手段をさらに備えたことを特徴とする請求項1から5のいずれか1項に記載の入力装置。
【請求項7】
前記表示手段は、前記軌跡の形状、色、向き、大きさ、模様のうち少なくとも1つを前記ユーザの情報に応じて変更し、前記軌跡を前記表示部に出力することを特徴とする請求項6に記載の入力装置。
【請求項8】
ユーザによる手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて情報を入力可能な入力装置の制御方法であって、
前記入力面に接触したユーザの手の側面の特徴量を抽出する抽出ステップと、
前記特徴量と前記ユーザの情報とが予め対応付けられて記憶されており、当該特徴量と前記抽出ステップにおいて抽出された特徴量とが一致するか否かを判定する照合ステップと、
前記照合ステップにおいて前記特徴量が一致すると判定された場合は、一致した当該特徴量に対応付けられた前記ユーザの情報を取得する処理ステップとを含むことを特徴とする入力装置の制御方法。
【請求項9】
請求項1から7のいずれか1項に記載の入力装置を動作させるための制御プログラムであって、コンピュータを前記各手段として機能させるための制御プログラム。
【請求項10】
請求項9に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項1】
ユーザによる手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて情報を入力可能な入力装置であって、
前記入力面に接触したユーザの手の側面の特徴量を抽出する抽出手段と、
前記ユーザの情報と予め対応付けられた特徴量と、前記抽出手段によって抽出された特徴量とが一致するか否かを判定する照合手段と、
前記照合手段によって前記特徴量が一致すると判定された場合は、一致した当該特徴量に対応付けられた前記ユーザの情報を取得する処理手段とを備えたことを特徴とする入力装置。
【請求項2】
前記処理手段は、前記軌跡と前記ユーザの情報とを対応付けることを特徴とする請求項1に記載の入力装置。
【請求項3】
前記処理手段は、入力された情報とした前記ユーザの情報に応じて、前記入力装置を操作するためのインターフェースを変更することを特徴とする請求項1または2に記載の入力装置。
【請求項4】
前記抽出手段によって抽出された特徴量と前記ユーザの情報とを対応付けて、記憶装置に格納する登録手段をさらに備えたことを特徴とする請求項1から3のいずれか1項に記載の入力装置。
【請求項5】
前記抽出手段は、前記ユーザの手の側面の大きさまたは形状、手の側面の皺、血管、または線筋の形状、前記入力面に手の側面を接触させたまま当該入力面上で手の側面をすべらせるように動かしたときの軌跡、前記ユーザの指紋のうち、少なくとも1つを前記特徴量として抽出することを特徴とする請求項1から4のいずれか1項に記載の入力装置。
【請求項6】
前記照合手段によって前記特徴量が一致すると判定された場合、前記処理手段によって入力された情報とされた前記ユーザの情報に応じて、前記軌跡を表示部に出力する表示手段をさらに備えたことを特徴とする請求項1から5のいずれか1項に記載の入力装置。
【請求項7】
前記表示手段は、前記軌跡の形状、色、向き、大きさ、模様のうち少なくとも1つを前記ユーザの情報に応じて変更し、前記軌跡を前記表示部に出力することを特徴とする請求項6に記載の入力装置。
【請求項8】
ユーザによる手書き操作の軌跡を取得できる入力面を備え、前記軌跡に基づいて情報を入力可能な入力装置の制御方法であって、
前記入力面に接触したユーザの手の側面の特徴量を抽出する抽出ステップと、
前記特徴量と前記ユーザの情報とが予め対応付けられて記憶されており、当該特徴量と前記抽出ステップにおいて抽出された特徴量とが一致するか否かを判定する照合ステップと、
前記照合ステップにおいて前記特徴量が一致すると判定された場合は、一致した当該特徴量に対応付けられた前記ユーザの情報を取得する処理ステップとを含むことを特徴とする入力装置の制御方法。
【請求項9】
請求項1から7のいずれか1項に記載の入力装置を動作させるための制御プログラムであって、コンピュータを前記各手段として機能させるための制御プログラム。
【請求項10】
請求項9に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【公開番号】特開2013−114613(P2013−114613A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−262803(P2011−262803)
【出願日】平成23年11月30日(2011.11.30)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願日】平成23年11月30日(2011.11.30)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]