手書き文字認識装置
【課題】市販筆記具を利用して手書き文字認識をおこなえる装置を提供する。
【解決手段】文字や記号を筆記するための筆記具４と用紙５を備え、筆記具で用紙に筆記した際に発生する筆記音をマイクロフォン１で収集し、筆記音に含まれる特定周波数の電気信号を抽出し、筆記特徴を示す周波数信号から手書き文字を登録データと照合し認識する。
【解決手段】文字や記号を筆記するための筆記具４と用紙５を備え、筆記具で用紙に筆記した際に発生する筆記音をマイクロフォン１で収集し、筆記音に含まれる特定周波数の電気信号を抽出し、筆記特徴を示す周波数信号から手書き文字を登録データと照合し認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に市販される筆記具を用いた手書き情報入力装置であり、予め認識したい文字を筆記し、当該筆記時に発生する筆記音を捕捉し、筆記音に含まれる特定周波数の電気信号を抽出し、当該信号データを記録しておき、手書筆記時に筆記音に含まれる特定周波数の電気信号を抽出し、予め記録した電気信号データと照合することにより、入力された文字が認識したい文字と同等の筆記文字であるか否かを判定する装置であり、答案の採点やアンケート記入等の応用プログラムに手書き情報を供する手書き文字認識装置に関する。
【背景技術】
【０００２】
手書き文字を認識する情報入力装置としては、デジタルペンやタブレットなどの座標入力装置を用い、当該座標入力装置が捕捉した手書き入力位置の座標データからパーソナルコンピュータ等で特徴抽出をおこない、文字認識する先願特許の手書き認識方式が知られている。（特開2001-236451、特開平09-231314）
また、手書き時に発生する筆記音を捕捉し、筆記音有無により手書き文字を認識する先願特許の方式が知られている。（特開平07-028593、特開平10-301702）
【先行技術文献】
【特許文献】
【０００３】
特開2001-236451
特開平09-231314
特開平07-028593
特開平10-301702
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら上記したような手書き入力装置で文字認識をおこなうと、デジタルペンやタブレットを利用した方式では、装置用の専用入力ペンで筆記時の位置座標を捕捉するため、当該ペンは複雑な電子回路を備えたものとなっている。デジタルペンは、小型電池や電子回路を内蔵させたペンとなり、タブレットは、専用ペンのほかにペン位置を捕捉するセンサーを内蔵させたパネルを必要としていた。
また、筆記音から文字認識をおこなう装置の構成では、マイクロフォンをペンに取り付け筆記音信号をケーブルで信号処理回路に送り込む構成となり、当該ケーブルは入力操作を邪魔することが有る。
また、ペンの持ちかえや握り直し、或いは筆記後にペンを卓上等に置いた際にもマイクロフォンがこれらの操作音を拾ってしまい、筆記音と区別できず誤認識することがあった。
また、筆記具以外の場所にマイクロフォンを設置し、筆記音を捕捉して、筆記音の有無で文字認識する構成では、周囲の雑音、人の声、記入用紙の上を腕や手のひらを動かした際に発生する摩擦音なども捕捉してしまい、筆記音と区別できず誤認識することがあった。
本発明は、電子回路等を組み込んだ専用筆記具を利用せず、一般購入できる筆記具をそのまま利用した手書き文字認識装置であり、当該筆記具で書かれた特定の手書き文字のみを認識する機能を安価な電子回路構成で実現し提供する事を目的とする。
【課題を解決するための手段】
【０００５】
手書き筆記時に発生する筆記音は、筆記具のペン先形状やペン材質、筆記用紙、筆記速度、筆記文字により変化するが、同一筆記具で、同一用紙、同一筆記速度で同一文字を記入した際の筆記音を電気回路で捕捉すると、信号変化はほぼ同一と認識できる電気信号として毎回捕捉する事ができる。
特定周波数の電気信号を取り出し、他周波数の電気信号を捨てる回路であるバンドパスフィルター回路に筆記音の電気信号を入力し、フィルターされた電気信号を計測する。バンドパスフィルターの中心周波数を変化させ、フィルターされた電気信号を計測すると、手書き文字固有の電気信号の変化を示す周波数を見つけることができる。この固有の電気信号変化は、筆記文字の字形に起因する運筆によって生じており、当該運筆時に生じるペン先の加速度（速さと方向）変化に応じている。つまり、筆記音に含まれる特定周波数の電気信号は、筆記文字の運筆特徴を示しており、当該電気信号の信号変化から、筆記文字を特定することができる。
バンドパスフィルターでフィルターされた電気信号は、筆記具のペン先形状やペン材質、筆記用紙、筆記速度、筆記文字により変化するが、同一筆記具で、同一用紙、同一筆記速度で同一文字を記入した際は、ほぼ同一と認識できる電気信号として毎回捕捉する事ができる。
本発明は当該事象を応用したものであり、特定筆記具の特定筆記文字を特定速度で記入した際に発生する筆記音のうち、特定周波数の電気信号を抽出し、筆記中に一定間隔で当該電気信号の値を連続記録する。文字認識をおこなう場合は、同様の構成にて、認識を希望する文字を記入し、前述の記録操作と同様の方法で、筆記中に一定間隔で筆記音の電気信号の値を連続記録し、先の連続記録した電気信号と照合し、一致または類似を見つけた際、登録時に記入した文字と同等の文字が記入されたものと判定し報告するものである。
【発明の効果】
【０００６】
本発明の手書き文字認識装置を用いると、例えば答案の採点などの業務において、○やレの筆記文字を登録しておくと、正答時に答案用紙に記入する○や誤答時に記入するレを文字認識できる。記入時に使用される筆記具も、市販されている一般筆記具がそのまま利用でき、座標捕捉用の電子回路や電池を組み込んだ専用入力ペンを利用せず採点業務が遂行できる。また、入力音の有無で文字認識する先行技術にみられる機器構成と異なり、ペンに電子回路を組み入れケーブルでデータ処理回路に接続する必要もなく筆記ができる。また特定条件下の筆記の際に出現する固有筆記音周波数の電気信号を抽出し、当該信号を利用し文字認識するので、従来の筆記音の有無の判定による文字認識方法よりも、筆記文字の特徴を捉えることとなり、高い認識精度が得られる。また筆記音以外の入力音による誤認識に悩まされることなく採点作業等の文字認識業務を円滑に遂行することができる。
【０００７】
さらに、本発明手書き文字認識装置を用いると、登録時に使用した、筆記具、筆記用紙、筆記速度、筆記文字でのみ文字認識をするので、例えば○を登録した際、筆記速度を登録時と異なった速度で筆記した○は未登録文字と認識する。よって○（マル）と０（ゼロ）など、字の形状特徴から文字認識する従来方法では分別できない、字体が似た文字記入でも、正しく認識をおこなうことができる。これは正答記入と数字記入とを混同させない認識機能となり有用である。
【０００８】
アナログ信号として捕捉された筆記音をデジタル処理用に標本化する際は、一般にナイキストの定理として知られる方法がとられ、必要周波数の２倍以上のサンプリングレートを必要とするが、本発明ではバンドパスフィルターで特定周波数（筆記具が発生させる高音域より小さな周波数となる場合が多い）の電気信号を調査するので、筆記具が発生させる周波数に対応したナイキスト周波数より低い周波数の信号変化を調査することになる。例えば筆記時１００００Ｈｚまでの音波信号を発生させる筆記具の筆記音を処理するには、同定理に従えば２００００Ｈｚ以上の標本化周波数が必要となるが、本発明が利用する特徴筆記周波数が２０００Ｈｚであった場合、４０００Ｈｚ以上の標本化周波数で処理すればよいこととなり、処理方法や電子回路の負荷を低減させる効果が期待できる。
【図面の簡単な説明】
【０００９】
【図１】手書き情報入力装置を用い手書き認識をおこなう実施例を示す図。
【図２】手書き情報入力装置の回路構成を示す図。
【図３】サウンドスペクトログラフを表示させる構成図。
【図４】手書き認識の実施例で用いた筆記文字の図。
【図５】手書き入力した際に表示されるサウンドスペクトログラフの例を示す図。
【図６】データ処理部のマイクロプロセッサ記憶部に置かれた登録テーブルの構造図。
【図７】テーブル別一致数をカウントする変数。
【発明を実施するための形態】
【００１０】
手書き文字認識の記入に用いられる筆記具と記入用紙を準備し、認識したい文字を手書きし、当該文字記入時に発生する筆記音を捕捉し、筆記音の周波数別・時間別の電気信号を観察し、手書き文字の筆記特徴をよりよく示す周波数を探し出す。筆記音は音叉を鳴らした際生じる単一周波数で構成される音波とは異なり、多数の周波数成分を含んだ合成波として観測されるが、手書き文字の筆記特徴をよりよく示す周波数とは、手書き文字認識をおこなう筆記具と用紙とで、特定筆記速度で記入した際に発生する特定の周波数の信号で、且つ、筆記以外の発生音、例えば手のひら移動に伴う摩擦音の周波数と重ならない周波数である。
【００１１】
次に、本発明の手書き文字認識装置は次の構成を取る。筆記音の捕捉にはマイクロフォンを利用する。当該マイクロフォンで拾った微小信号をアンプ回路で増幅し、アナログデジタル変換回路でデジタル値に変換する。変換された信号を、バンドパスフィルター機能のデジタルフィルター回路に通し、前述で探し出した周波数でフィルターした信号を取り出す。
【００１２】
得られた信号を一定時間ごとに計測し記録する。
【００１３】
認識したい文字が複数ある場合は、上記処理を文字数分おこない、各々の結果を記録する。
【００１４】
手書き入力文字を認識する場合は、上記処理と同様に認識したい手書き入力文字の測定値を記録し、先に記録した値と照合し、一致または類似しているものを探しだし、その結果を報告することによりおこなう。
【実施例１】
【００１５】
本発明を利用した手書き採点処理の実施例を示す。図１は本発明の手書き文字認識装置を利用した採点処理である。参照符号１はマイクロフォンであり、参照符号５の記入用紙（本実施例では採点記入する答案用紙）を束ねて綴じる参照符号６の記入ボードの表面に参照符号１のマイクロフォンの入力面を接触させ、参照符号６記入ボードの板面より参照符号４の手書きペンで参照符号５の記入用紙に記入した際発生する筆記音が捕捉できるよう設置されている。
【００１６】
図１参照符号２は入力回路であり、マイクロフォンで捕捉した筆記音を入力し、本発明の処理に従い信号を処理し、処理結果を図１参照符号３パーソナルコンピュータ（以下ＰＣと略称）へ送る。ＰＣでは当該処理結果を利用し採点プログラム（図示せず）を稼働させる。
【００１７】
まず、筆記音の特徴を調べるため図３の構成で筆記音の特徴解析をおこなう。図１と同様に、参照符号５記入用紙上で参照符号４の手書き入力ペンで手書き文字が記入され、参照符号６の記入ボードに取り付けられたマイクロフォン（参照符号２）が手書き音を捕捉し、図３参照符号２の入力回路に設置された参照符号２ａのアンプで増幅される。
図３に示した参照符号２ａのアンプで増幅された信号を参照符号３のＰＣへ送る。図３のＰＣはサウンド回路（図示せず）を具備しており、当該ＰＣ上でサウンドスペクトログラフ表示ソフトウェア（図示せず）を稼働させる。サウンドスペクトログラフ表示ソフトウェアとは音波分析用のソフトウェアであり、入力された音波信号をフーリエ変換し、周波数ごとに分解し、分解された周波数ごとの信号の強さを表示する事が可能なソフトウェアである。当該ソフトウェアを稼働させることにより、周波数別・時間別の音波信号の強弱を表示させることができる。当該ソフトウェアの機能を利用して、手書き文字の筆記音で筆記特徴を示す周波数を探すことができる。
【００１８】
当該ＰＣ（参照符号３）で稼働させたサウンドスペクトログラフ表示ソフトウェア（図示せず）を利用し、手書き文字１（図４参照符号７）を参照符号４の手書入力ペンを利用し、参照符号５の用紙上で、１秒以内で手書きしその際の表示図（図５参照符号９）を得る。
【００１９】
同様に手書き文字２（図４参照符号８）を同様に１秒以内で手書きし、その際の分析図（図５参照符号１０）を得る。
【００２０】
同様に手のひら（図示せず）を参照符号５記入用紙に押し当て、そのまま移動した際に発生する摩擦音の分析図（図５参照符号１１）を得る。
【００２１】
手書き文字１の分析図（参照符号９）、手書き文字２の分析図（参照符号１０）から、大きな音圧を示す共通の周波数を探す。大きな音圧は当該分析図では濃い色で表示される周波数である。また、当該周波数が、手のひら移動で生ずる摩擦音の分析図（参照符号１１）で濃い色表示で示される周波数と重畳しているか否か調べる。重畳時は他の周波数を探す。
【００２２】
本実施例では手書き文字１の分析図（参照符号９）の２０００Ｈｚ近辺に濃い色の表示（参照符号９ａ）が、同じく手書き文字２の分析図（参照符号１０）の２０００Ｈｚ近辺に濃い色の表示（参照符号１０ａ）が見られ、大きな音圧が発生していることが判明した。更に当該音圧の出現パターンは２つの文字で異なっていることも読み取れる。更に、２０００Ｈｚ近辺の手のひらの摩擦音（参照符号１１ａ）では表示色が薄く、大きな音圧を示していないことも読み取れた。
【００２３】
前述の解析で求めた特徴周波数を利用し、筆記文字認識用テーブルの登録をおこなう。当該処理は図２の構成でおこなう。特徴周波数解析操作と同様に、図１参照符号５記入用紙上で参照符号４の手書き入力ペンで手書き文字を記入し参照符号６の記入ボードに取り付けられた参照符号２のマイクロフォンで手書き音信号を捕捉し、図２参照符号２の入力装置送る構成とする。
【００２４】
参照符号１のマイクロフォンで捕捉された信号は、図２参照符号２入力回路に設置された参照符号２ａアンプで増幅され、参照符号２ｂアナログデジタル変換回路でデジタル値に変換され、参照符号２ｃデジタルフィルター回路に送られる。当該回路はデジタルシグナルプロセッサと呼ばれるマイクロプロセッサ（図示せず）を中心に構成されており、当該マイクロプロセッサのプログラムメモリ（図示せず）に解析操作で求めた周波数である、中心周波数２０００Ｈｚのバンドパスフィルターを構成するプログラムを書き込む。以降当該プロセッサは中心周波数２０００Ｈｚの周波数のみを通過させるバンドパスフィルター機能を提供するデジタルフィルター回路として動作する。
図２参照符号２ｃデジタルフィルター回路が出力する電気信号は、本実施例では２．５Ｖを中心に、０Ｖから５Ｖの値で変化する仕様で設計されている。２０００Ｈｚの周波数が含まれない信号を当該フィルター回路に送ると、２．５Ｖが変動することなく出力される。２０００Ｈｚの周波数を含む信号を当該フィルターに送ると、２０００Ｈｚ信号の大きさに従い２．５Ｖを中心に０Ｖから５Ｖの範囲内を上下する電圧を出力する。
図２参照符号２ｄで示されたデータ処理装置はマイクロプロセッサ（図示せず）を中心に構成されており、当該プロセッサは一定周期（当該値はプロセッサの能力やメモリ容量で決定されるが本実施例では１０ミリ秒とした。）ごとに、参照符号２ｃデジタルフィルター回路が出力する値を読み込み、その値が２．５Ｖを中心にして、当該値より±５％以上変動した値を捕捉したら１、±５％以下の場合は０とし、当該マイクロプロセッサの不揮発性メモリ領域（図６参照符号１２登録テーブル１や参照符号１３登録テーブル２）にその判定値を書き込む。つまり捕捉値が２．３７５Ｖ〜２．６２５Ｖの時は０、それ以外は１を書き込む。以降当該処理をおこなうプログラムを登録プログラムと呼ぶ。
最初に判定値１を捕捉した時点を筆記開始と見なし、順番に１０ミリ秒ごとに参照符号２ｃデジタルフィルター回路が出力する値を読み込み、０または１の判定値を図６のテーブルに記録していく。記録の順番は図６に示したテーブルのテーブル要素１から順番におこなう。当該処理は１秒間おこなわれる。なお、最初に判定値１を捕捉した際、図７参照符号１５一致カウンター１と参照符号１６一致カウンター２を、それぞれ０に初期化する操作も併せておこなう。
図２参照符号１のマイクロフォンと図２参照符号２の入力回路で構成される手書き情報入力装置で、上記登録プログラム（図示せず）を稼働させ、参照符号７手書き文字１を参照符号４手書き入力ペンで参照符号５記入用紙に１秒以内で手書きし、登録テーブル１（図６参照符号１２）に記録する。同様に手書き文字２（参照符号８）を１秒以内に手書きし、登録テーブル２（図６参照符号１３）に記録する。
文字認識処理は以下の方法でおこなう。登録プログラムと同様な図２の構成の手書き情報入力装置を利用し手書き入力操作をおこない、図６参照符号１４の入力テーブルに判定値を記録する。つまり、図１参照符号４の手書き入力ペンで参照符号５の記入用紙に１秒以下の筆記速度で手書き文字を記入する。答案の採点を行うので記入する文字は、正答の場合は手書き文字１（参照符号７）を、誤答の場合は手書き文字２（参照符号８）を記入し、入力テーブル（参照符号１４）に判定値を記録する。参照符号２ｃのデジタルフィルターは登録プログラムと同等のフィルター機能であり、判定値の求め方は前述の登録テーブル１（参照符号１２）や登録テーブル２（参照符号１３）を作成した処理と同様である。
入力テーブル（参照符号１４）に記録された判定値が、登録テーブル１（参照符号１２）と登録テーブル２（参照符号１３）のどちらかと一致するか、あるいは類似性があるかを調べる。調べ方は、テーブルの各要素（０または１が記録されている）の同一テーブル要素どうしの値を逐一比較し、一致した個数を数えあげる。比較は全テーブルの要素数分おこなう。つまり、入力テーブル（参照符号１４）のテーブル要素１と登録テーブル１（参照符号１２）のテーブル要素１の判定値が同一か調べ、同一の場合図７参照符号１５の一致カウンター１を１増加させる。同様に、入力テーブル（参照符号１４）のテーブル要素１と登録テーブル２（参照符号１３）のテーブル要素１の判定値が同一か調べ、同一の場合図７参照符号１６の一致カウンター２を１増加させる。同様に、入力テーブルのテーブル要素２と登録テーブル１のテーブル要素２の判定値が同一の場合、一致カウンター１を１増加させ、入力テーブルのテーブル要素２と登録テーブル２のテーブル要素２の判定値が同一の場合、一致カウンター２を１増加させる。このように、これらの比較操作を全要素数分繰り返しておこなう。
参照符号１５の一致カウンター１と、参照符号１６の一致カウンター２を調べる。カウンター数がテーブル全要素（当実施例では１０ミリ秒ごと１秒以内の筆記を判定記録するので、全要素数は１００となる。）の６０％以上の場合は、一致した登録テーブルの文字が認識されたものとする。つまり、参照符号１５一致カウンター１が６０以上の場合は認識文字１が手書きされたものとし、図２参照符号２ｅパーソナルコンピュータインタフェースを介し数字の「１」を参照符号３のＰＣへ出力する。同様に参照符号１６一致カウンター２が６０以上の場合は数字の「２」を出力する。一致数が共に６０以下の場合は認識候補なしと判断し、図２参照符号２ｅのパーソナルコンピュータインタフェースを介し「？」の文字を出力する。一致数がともに６０以上の場合は、大きい方の登録テーブル文字が入力されたものとする。なお、同数の場合は「？」を出力する。当該処理をおこなう処理プログラムを文字判定プログラムと呼ぶ。
本実施例では入力テーブル（参照符号１４）と登録テーブル１（参照符号１２）または登録テーブル２（参照符号１３）の各要素数の一致数が全テーブル数の６０％以上か否かで認識文字の類似性を判定したが、当該率は他の値でもよく、手書き一致度を厳密に判定するか、或いは緩く判定するのかで調整すればよい。同様の理由で、手書き時間（１秒）、判定値の捕捉間隔およびテーブル要素数（本実施例では１０ミリ秒で１００個）、判定基準の２．５Ｖ±５％（２．３７５Ｖ〜２．６２５Ｖ）も変更することも可能である。
参照符号１マイクロフォンと参照符号２入力回路で構成される手書き情報入力装置で、文字判定プログラム（図示せず）を稼働させ、参照符号４手書き入力ペンで、参照符号５記入用紙上で、参照符号７または参照符号８の字体を一定時間以内で筆記すると、参照符号３ＰＣで「１」または「２」の認識結果を、参照符号２ｅパーソナルコンピュータインタフェースを経由して入手する事ができる。参照符号７または参照符号８以外の字体を記入した場合や、テーブル一致数が基準以下の場合は「？」の文字が認識結果として入力される。参照符号３のＰＣの採点プログラム（図示せず）は、あらかじめ設問数と配点を登録しておき、「１」を入力した際はその設問の配点を加算し、「２」の場合は設問の配点を加算せず、「？」の場合はその旨を入力者に伝える処理を実施すれば、参照符号５記入用紙（当実施例では答案用紙）への採点記入で採点処理が実現できる。
【００２５】
参照符号４手書き入力ペンや参照符号５記入用紙の種類を変更した場合、つまり他種類の筆記具を利用して採点する場合や、紙質が異なり筆記音周波数が異なると思われる他種類の記入用紙を利用して本発明装置を利用する場合は、前述のサウンドスペクトログラフ表示用ソフトウェア（図示せず）を利用して筆記音の周波数分析をおこない、バンドパスフィルターに設定する中心周波数を探し、参照符号２ｃデジタルフィルター回路を当該値用に変更し、登録プログラム（図示せず）を稼働させ登録テーブル１（参照符号１２）、登録テーブル２（参照符号１３）を書き換えれば良い。また、文字判定プログラム（図示せず）も書き換えられた中心周波数フィルターする参照符号２ｃデジタルフィルター回路を通した得た判定値を書き換えられた登録テーブル（参照符号１２、参照符号１３）と比較すればよい。
【００２６】
本実施例では、参照符号１マイクロフォンを参照符号６記入用ボードの板面に設置する方式を示したが、参照符号１マイクロフォンは筆記音を前述の登録プログラム（図示せず）や文字判定プログラム（図示せず）の稼働時に同一の設置方法で筆記音を捕捉できればよく、参照符号６記入用ボード以外の場所に設置してもよい。例えば参照符号５記入用紙を置く机板面（図示せず）や用紙近傍の筆記音が捕捉できる場所（図示せず）に設置しても良い。
【符号の説明】
【００２７】
１ マイクロフォン
２ 入力回路
２ａ アンプ
２ｂ アナログデジタル変換回路
２ｃ デジタルフィルター回路
２ｄ データ処理装置
２ｅ パーソナルコンピュータインタフェース
３ パーソナルコンピュータ（ＰＣ）
４ 手書き入力ペン
５ 記入用紙
６ 記入用ボード
７ 手書き文字１
８ 手書き文字２
９ 手書き文字１の分析図
９ａ 手書き文字１の２０００Ｈｚ付近の分析図
１０ 手書き文字２の分析図
１０ａ 手書き文字２の２０００Ｈｚ付近の分析図
１１ 手のひらを摩擦させた際の分析図
１１ａ 手のひらを摩擦させた際の２０００Ｈｚ付近の分析図
１２ 登録テーブル１
１３ 登録テーブル２
１４ 入力テーブル
１５ 一致カウンター１
１６ 一致カウンター２
【技術分野】
【０００１】
本発明は、一般に市販される筆記具を用いた手書き情報入力装置であり、予め認識したい文字を筆記し、当該筆記時に発生する筆記音を捕捉し、筆記音に含まれる特定周波数の電気信号を抽出し、当該信号データを記録しておき、手書筆記時に筆記音に含まれる特定周波数の電気信号を抽出し、予め記録した電気信号データと照合することにより、入力された文字が認識したい文字と同等の筆記文字であるか否かを判定する装置であり、答案の採点やアンケート記入等の応用プログラムに手書き情報を供する手書き文字認識装置に関する。
【背景技術】
【０００２】
手書き文字を認識する情報入力装置としては、デジタルペンやタブレットなどの座標入力装置を用い、当該座標入力装置が捕捉した手書き入力位置の座標データからパーソナルコンピュータ等で特徴抽出をおこない、文字認識する先願特許の手書き認識方式が知られている。（特開2001-236451、特開平09-231314）
また、手書き時に発生する筆記音を捕捉し、筆記音有無により手書き文字を認識する先願特許の方式が知られている。（特開平07-028593、特開平10-301702）
【先行技術文献】
【特許文献】
【０００３】
特開2001-236451
特開平09-231314
特開平07-028593
特開平10-301702
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら上記したような手書き入力装置で文字認識をおこなうと、デジタルペンやタブレットを利用した方式では、装置用の専用入力ペンで筆記時の位置座標を捕捉するため、当該ペンは複雑な電子回路を備えたものとなっている。デジタルペンは、小型電池や電子回路を内蔵させたペンとなり、タブレットは、専用ペンのほかにペン位置を捕捉するセンサーを内蔵させたパネルを必要としていた。
また、筆記音から文字認識をおこなう装置の構成では、マイクロフォンをペンに取り付け筆記音信号をケーブルで信号処理回路に送り込む構成となり、当該ケーブルは入力操作を邪魔することが有る。
また、ペンの持ちかえや握り直し、或いは筆記後にペンを卓上等に置いた際にもマイクロフォンがこれらの操作音を拾ってしまい、筆記音と区別できず誤認識することがあった。
また、筆記具以外の場所にマイクロフォンを設置し、筆記音を捕捉して、筆記音の有無で文字認識する構成では、周囲の雑音、人の声、記入用紙の上を腕や手のひらを動かした際に発生する摩擦音なども捕捉してしまい、筆記音と区別できず誤認識することがあった。
本発明は、電子回路等を組み込んだ専用筆記具を利用せず、一般購入できる筆記具をそのまま利用した手書き文字認識装置であり、当該筆記具で書かれた特定の手書き文字のみを認識する機能を安価な電子回路構成で実現し提供する事を目的とする。
【課題を解決するための手段】
【０００５】
手書き筆記時に発生する筆記音は、筆記具のペン先形状やペン材質、筆記用紙、筆記速度、筆記文字により変化するが、同一筆記具で、同一用紙、同一筆記速度で同一文字を記入した際の筆記音を電気回路で捕捉すると、信号変化はほぼ同一と認識できる電気信号として毎回捕捉する事ができる。
特定周波数の電気信号を取り出し、他周波数の電気信号を捨てる回路であるバンドパスフィルター回路に筆記音の電気信号を入力し、フィルターされた電気信号を計測する。バンドパスフィルターの中心周波数を変化させ、フィルターされた電気信号を計測すると、手書き文字固有の電気信号の変化を示す周波数を見つけることができる。この固有の電気信号変化は、筆記文字の字形に起因する運筆によって生じており、当該運筆時に生じるペン先の加速度（速さと方向）変化に応じている。つまり、筆記音に含まれる特定周波数の電気信号は、筆記文字の運筆特徴を示しており、当該電気信号の信号変化から、筆記文字を特定することができる。
バンドパスフィルターでフィルターされた電気信号は、筆記具のペン先形状やペン材質、筆記用紙、筆記速度、筆記文字により変化するが、同一筆記具で、同一用紙、同一筆記速度で同一文字を記入した際は、ほぼ同一と認識できる電気信号として毎回捕捉する事ができる。
本発明は当該事象を応用したものであり、特定筆記具の特定筆記文字を特定速度で記入した際に発生する筆記音のうち、特定周波数の電気信号を抽出し、筆記中に一定間隔で当該電気信号の値を連続記録する。文字認識をおこなう場合は、同様の構成にて、認識を希望する文字を記入し、前述の記録操作と同様の方法で、筆記中に一定間隔で筆記音の電気信号の値を連続記録し、先の連続記録した電気信号と照合し、一致または類似を見つけた際、登録時に記入した文字と同等の文字が記入されたものと判定し報告するものである。
【発明の効果】
【０００６】
本発明の手書き文字認識装置を用いると、例えば答案の採点などの業務において、○やレの筆記文字を登録しておくと、正答時に答案用紙に記入する○や誤答時に記入するレを文字認識できる。記入時に使用される筆記具も、市販されている一般筆記具がそのまま利用でき、座標捕捉用の電子回路や電池を組み込んだ専用入力ペンを利用せず採点業務が遂行できる。また、入力音の有無で文字認識する先行技術にみられる機器構成と異なり、ペンに電子回路を組み入れケーブルでデータ処理回路に接続する必要もなく筆記ができる。また特定条件下の筆記の際に出現する固有筆記音周波数の電気信号を抽出し、当該信号を利用し文字認識するので、従来の筆記音の有無の判定による文字認識方法よりも、筆記文字の特徴を捉えることとなり、高い認識精度が得られる。また筆記音以外の入力音による誤認識に悩まされることなく採点作業等の文字認識業務を円滑に遂行することができる。
【０００７】
さらに、本発明手書き文字認識装置を用いると、登録時に使用した、筆記具、筆記用紙、筆記速度、筆記文字でのみ文字認識をするので、例えば○を登録した際、筆記速度を登録時と異なった速度で筆記した○は未登録文字と認識する。よって○（マル）と０（ゼロ）など、字の形状特徴から文字認識する従来方法では分別できない、字体が似た文字記入でも、正しく認識をおこなうことができる。これは正答記入と数字記入とを混同させない認識機能となり有用である。
【０００８】
アナログ信号として捕捉された筆記音をデジタル処理用に標本化する際は、一般にナイキストの定理として知られる方法がとられ、必要周波数の２倍以上のサンプリングレートを必要とするが、本発明ではバンドパスフィルターで特定周波数（筆記具が発生させる高音域より小さな周波数となる場合が多い）の電気信号を調査するので、筆記具が発生させる周波数に対応したナイキスト周波数より低い周波数の信号変化を調査することになる。例えば筆記時１００００Ｈｚまでの音波信号を発生させる筆記具の筆記音を処理するには、同定理に従えば２００００Ｈｚ以上の標本化周波数が必要となるが、本発明が利用する特徴筆記周波数が２０００Ｈｚであった場合、４０００Ｈｚ以上の標本化周波数で処理すればよいこととなり、処理方法や電子回路の負荷を低減させる効果が期待できる。
【図面の簡単な説明】
【０００９】
【図１】手書き情報入力装置を用い手書き認識をおこなう実施例を示す図。
【図２】手書き情報入力装置の回路構成を示す図。
【図３】サウンドスペクトログラフを表示させる構成図。
【図４】手書き認識の実施例で用いた筆記文字の図。
【図５】手書き入力した際に表示されるサウンドスペクトログラフの例を示す図。
【図６】データ処理部のマイクロプロセッサ記憶部に置かれた登録テーブルの構造図。
【図７】テーブル別一致数をカウントする変数。
【発明を実施するための形態】
【００１０】
手書き文字認識の記入に用いられる筆記具と記入用紙を準備し、認識したい文字を手書きし、当該文字記入時に発生する筆記音を捕捉し、筆記音の周波数別・時間別の電気信号を観察し、手書き文字の筆記特徴をよりよく示す周波数を探し出す。筆記音は音叉を鳴らした際生じる単一周波数で構成される音波とは異なり、多数の周波数成分を含んだ合成波として観測されるが、手書き文字の筆記特徴をよりよく示す周波数とは、手書き文字認識をおこなう筆記具と用紙とで、特定筆記速度で記入した際に発生する特定の周波数の信号で、且つ、筆記以外の発生音、例えば手のひら移動に伴う摩擦音の周波数と重ならない周波数である。
【００１１】
次に、本発明の手書き文字認識装置は次の構成を取る。筆記音の捕捉にはマイクロフォンを利用する。当該マイクロフォンで拾った微小信号をアンプ回路で増幅し、アナログデジタル変換回路でデジタル値に変換する。変換された信号を、バンドパスフィルター機能のデジタルフィルター回路に通し、前述で探し出した周波数でフィルターした信号を取り出す。
【００１２】
得られた信号を一定時間ごとに計測し記録する。
【００１３】
認識したい文字が複数ある場合は、上記処理を文字数分おこない、各々の結果を記録する。
【００１４】
手書き入力文字を認識する場合は、上記処理と同様に認識したい手書き入力文字の測定値を記録し、先に記録した値と照合し、一致または類似しているものを探しだし、その結果を報告することによりおこなう。
【実施例１】
【００１５】
本発明を利用した手書き採点処理の実施例を示す。図１は本発明の手書き文字認識装置を利用した採点処理である。参照符号１はマイクロフォンであり、参照符号５の記入用紙（本実施例では採点記入する答案用紙）を束ねて綴じる参照符号６の記入ボードの表面に参照符号１のマイクロフォンの入力面を接触させ、参照符号６記入ボードの板面より参照符号４の手書きペンで参照符号５の記入用紙に記入した際発生する筆記音が捕捉できるよう設置されている。
【００１６】
図１参照符号２は入力回路であり、マイクロフォンで捕捉した筆記音を入力し、本発明の処理に従い信号を処理し、処理結果を図１参照符号３パーソナルコンピュータ（以下ＰＣと略称）へ送る。ＰＣでは当該処理結果を利用し採点プログラム（図示せず）を稼働させる。
【００１７】
まず、筆記音の特徴を調べるため図３の構成で筆記音の特徴解析をおこなう。図１と同様に、参照符号５記入用紙上で参照符号４の手書き入力ペンで手書き文字が記入され、参照符号６の記入ボードに取り付けられたマイクロフォン（参照符号２）が手書き音を捕捉し、図３参照符号２の入力回路に設置された参照符号２ａのアンプで増幅される。
図３に示した参照符号２ａのアンプで増幅された信号を参照符号３のＰＣへ送る。図３のＰＣはサウンド回路（図示せず）を具備しており、当該ＰＣ上でサウンドスペクトログラフ表示ソフトウェア（図示せず）を稼働させる。サウンドスペクトログラフ表示ソフトウェアとは音波分析用のソフトウェアであり、入力された音波信号をフーリエ変換し、周波数ごとに分解し、分解された周波数ごとの信号の強さを表示する事が可能なソフトウェアである。当該ソフトウェアを稼働させることにより、周波数別・時間別の音波信号の強弱を表示させることができる。当該ソフトウェアの機能を利用して、手書き文字の筆記音で筆記特徴を示す周波数を探すことができる。
【００１８】
当該ＰＣ（参照符号３）で稼働させたサウンドスペクトログラフ表示ソフトウェア（図示せず）を利用し、手書き文字１（図４参照符号７）を参照符号４の手書入力ペンを利用し、参照符号５の用紙上で、１秒以内で手書きしその際の表示図（図５参照符号９）を得る。
【００１９】
同様に手書き文字２（図４参照符号８）を同様に１秒以内で手書きし、その際の分析図（図５参照符号１０）を得る。
【００２０】
同様に手のひら（図示せず）を参照符号５記入用紙に押し当て、そのまま移動した際に発生する摩擦音の分析図（図５参照符号１１）を得る。
【００２１】
手書き文字１の分析図（参照符号９）、手書き文字２の分析図（参照符号１０）から、大きな音圧を示す共通の周波数を探す。大きな音圧は当該分析図では濃い色で表示される周波数である。また、当該周波数が、手のひら移動で生ずる摩擦音の分析図（参照符号１１）で濃い色表示で示される周波数と重畳しているか否か調べる。重畳時は他の周波数を探す。
【００２２】
本実施例では手書き文字１の分析図（参照符号９）の２０００Ｈｚ近辺に濃い色の表示（参照符号９ａ）が、同じく手書き文字２の分析図（参照符号１０）の２０００Ｈｚ近辺に濃い色の表示（参照符号１０ａ）が見られ、大きな音圧が発生していることが判明した。更に当該音圧の出現パターンは２つの文字で異なっていることも読み取れる。更に、２０００Ｈｚ近辺の手のひらの摩擦音（参照符号１１ａ）では表示色が薄く、大きな音圧を示していないことも読み取れた。
【００２３】
前述の解析で求めた特徴周波数を利用し、筆記文字認識用テーブルの登録をおこなう。当該処理は図２の構成でおこなう。特徴周波数解析操作と同様に、図１参照符号５記入用紙上で参照符号４の手書き入力ペンで手書き文字を記入し参照符号６の記入ボードに取り付けられた参照符号２のマイクロフォンで手書き音信号を捕捉し、図２参照符号２の入力装置送る構成とする。
【００２４】
参照符号１のマイクロフォンで捕捉された信号は、図２参照符号２入力回路に設置された参照符号２ａアンプで増幅され、参照符号２ｂアナログデジタル変換回路でデジタル値に変換され、参照符号２ｃデジタルフィルター回路に送られる。当該回路はデジタルシグナルプロセッサと呼ばれるマイクロプロセッサ（図示せず）を中心に構成されており、当該マイクロプロセッサのプログラムメモリ（図示せず）に解析操作で求めた周波数である、中心周波数２０００Ｈｚのバンドパスフィルターを構成するプログラムを書き込む。以降当該プロセッサは中心周波数２０００Ｈｚの周波数のみを通過させるバンドパスフィルター機能を提供するデジタルフィルター回路として動作する。
図２参照符号２ｃデジタルフィルター回路が出力する電気信号は、本実施例では２．５Ｖを中心に、０Ｖから５Ｖの値で変化する仕様で設計されている。２０００Ｈｚの周波数が含まれない信号を当該フィルター回路に送ると、２．５Ｖが変動することなく出力される。２０００Ｈｚの周波数を含む信号を当該フィルターに送ると、２０００Ｈｚ信号の大きさに従い２．５Ｖを中心に０Ｖから５Ｖの範囲内を上下する電圧を出力する。
図２参照符号２ｄで示されたデータ処理装置はマイクロプロセッサ（図示せず）を中心に構成されており、当該プロセッサは一定周期（当該値はプロセッサの能力やメモリ容量で決定されるが本実施例では１０ミリ秒とした。）ごとに、参照符号２ｃデジタルフィルター回路が出力する値を読み込み、その値が２．５Ｖを中心にして、当該値より±５％以上変動した値を捕捉したら１、±５％以下の場合は０とし、当該マイクロプロセッサの不揮発性メモリ領域（図６参照符号１２登録テーブル１や参照符号１３登録テーブル２）にその判定値を書き込む。つまり捕捉値が２．３７５Ｖ〜２．６２５Ｖの時は０、それ以外は１を書き込む。以降当該処理をおこなうプログラムを登録プログラムと呼ぶ。
最初に判定値１を捕捉した時点を筆記開始と見なし、順番に１０ミリ秒ごとに参照符号２ｃデジタルフィルター回路が出力する値を読み込み、０または１の判定値を図６のテーブルに記録していく。記録の順番は図６に示したテーブルのテーブル要素１から順番におこなう。当該処理は１秒間おこなわれる。なお、最初に判定値１を捕捉した際、図７参照符号１５一致カウンター１と参照符号１６一致カウンター２を、それぞれ０に初期化する操作も併せておこなう。
図２参照符号１のマイクロフォンと図２参照符号２の入力回路で構成される手書き情報入力装置で、上記登録プログラム（図示せず）を稼働させ、参照符号７手書き文字１を参照符号４手書き入力ペンで参照符号５記入用紙に１秒以内で手書きし、登録テーブル１（図６参照符号１２）に記録する。同様に手書き文字２（参照符号８）を１秒以内に手書きし、登録テーブル２（図６参照符号１３）に記録する。
文字認識処理は以下の方法でおこなう。登録プログラムと同様な図２の構成の手書き情報入力装置を利用し手書き入力操作をおこない、図６参照符号１４の入力テーブルに判定値を記録する。つまり、図１参照符号４の手書き入力ペンで参照符号５の記入用紙に１秒以下の筆記速度で手書き文字を記入する。答案の採点を行うので記入する文字は、正答の場合は手書き文字１（参照符号７）を、誤答の場合は手書き文字２（参照符号８）を記入し、入力テーブル（参照符号１４）に判定値を記録する。参照符号２ｃのデジタルフィルターは登録プログラムと同等のフィルター機能であり、判定値の求め方は前述の登録テーブル１（参照符号１２）や登録テーブル２（参照符号１３）を作成した処理と同様である。
入力テーブル（参照符号１４）に記録された判定値が、登録テーブル１（参照符号１２）と登録テーブル２（参照符号１３）のどちらかと一致するか、あるいは類似性があるかを調べる。調べ方は、テーブルの各要素（０または１が記録されている）の同一テーブル要素どうしの値を逐一比較し、一致した個数を数えあげる。比較は全テーブルの要素数分おこなう。つまり、入力テーブル（参照符号１４）のテーブル要素１と登録テーブル１（参照符号１２）のテーブル要素１の判定値が同一か調べ、同一の場合図７参照符号１５の一致カウンター１を１増加させる。同様に、入力テーブル（参照符号１４）のテーブル要素１と登録テーブル２（参照符号１３）のテーブル要素１の判定値が同一か調べ、同一の場合図７参照符号１６の一致カウンター２を１増加させる。同様に、入力テーブルのテーブル要素２と登録テーブル１のテーブル要素２の判定値が同一の場合、一致カウンター１を１増加させ、入力テーブルのテーブル要素２と登録テーブル２のテーブル要素２の判定値が同一の場合、一致カウンター２を１増加させる。このように、これらの比較操作を全要素数分繰り返しておこなう。
参照符号１５の一致カウンター１と、参照符号１６の一致カウンター２を調べる。カウンター数がテーブル全要素（当実施例では１０ミリ秒ごと１秒以内の筆記を判定記録するので、全要素数は１００となる。）の６０％以上の場合は、一致した登録テーブルの文字が認識されたものとする。つまり、参照符号１５一致カウンター１が６０以上の場合は認識文字１が手書きされたものとし、図２参照符号２ｅパーソナルコンピュータインタフェースを介し数字の「１」を参照符号３のＰＣへ出力する。同様に参照符号１６一致カウンター２が６０以上の場合は数字の「２」を出力する。一致数が共に６０以下の場合は認識候補なしと判断し、図２参照符号２ｅのパーソナルコンピュータインタフェースを介し「？」の文字を出力する。一致数がともに６０以上の場合は、大きい方の登録テーブル文字が入力されたものとする。なお、同数の場合は「？」を出力する。当該処理をおこなう処理プログラムを文字判定プログラムと呼ぶ。
本実施例では入力テーブル（参照符号１４）と登録テーブル１（参照符号１２）または登録テーブル２（参照符号１３）の各要素数の一致数が全テーブル数の６０％以上か否かで認識文字の類似性を判定したが、当該率は他の値でもよく、手書き一致度を厳密に判定するか、或いは緩く判定するのかで調整すればよい。同様の理由で、手書き時間（１秒）、判定値の捕捉間隔およびテーブル要素数（本実施例では１０ミリ秒で１００個）、判定基準の２．５Ｖ±５％（２．３７５Ｖ〜２．６２５Ｖ）も変更することも可能である。
参照符号１マイクロフォンと参照符号２入力回路で構成される手書き情報入力装置で、文字判定プログラム（図示せず）を稼働させ、参照符号４手書き入力ペンで、参照符号５記入用紙上で、参照符号７または参照符号８の字体を一定時間以内で筆記すると、参照符号３ＰＣで「１」または「２」の認識結果を、参照符号２ｅパーソナルコンピュータインタフェースを経由して入手する事ができる。参照符号７または参照符号８以外の字体を記入した場合や、テーブル一致数が基準以下の場合は「？」の文字が認識結果として入力される。参照符号３のＰＣの採点プログラム（図示せず）は、あらかじめ設問数と配点を登録しておき、「１」を入力した際はその設問の配点を加算し、「２」の場合は設問の配点を加算せず、「？」の場合はその旨を入力者に伝える処理を実施すれば、参照符号５記入用紙（当実施例では答案用紙）への採点記入で採点処理が実現できる。
【００２５】
参照符号４手書き入力ペンや参照符号５記入用紙の種類を変更した場合、つまり他種類の筆記具を利用して採点する場合や、紙質が異なり筆記音周波数が異なると思われる他種類の記入用紙を利用して本発明装置を利用する場合は、前述のサウンドスペクトログラフ表示用ソフトウェア（図示せず）を利用して筆記音の周波数分析をおこない、バンドパスフィルターに設定する中心周波数を探し、参照符号２ｃデジタルフィルター回路を当該値用に変更し、登録プログラム（図示せず）を稼働させ登録テーブル１（参照符号１２）、登録テーブル２（参照符号１３）を書き換えれば良い。また、文字判定プログラム（図示せず）も書き換えられた中心周波数フィルターする参照符号２ｃデジタルフィルター回路を通した得た判定値を書き換えられた登録テーブル（参照符号１２、参照符号１３）と比較すればよい。
【００２６】
本実施例では、参照符号１マイクロフォンを参照符号６記入用ボードの板面に設置する方式を示したが、参照符号１マイクロフォンは筆記音を前述の登録プログラム（図示せず）や文字判定プログラム（図示せず）の稼働時に同一の設置方法で筆記音を捕捉できればよく、参照符号６記入用ボード以外の場所に設置してもよい。例えば参照符号５記入用紙を置く机板面（図示せず）や用紙近傍の筆記音が捕捉できる場所（図示せず）に設置しても良い。
【符号の説明】
【００２７】
１ マイクロフォン
２ 入力回路
２ａ アンプ
２ｂ アナログデジタル変換回路
２ｃ デジタルフィルター回路
２ｄ データ処理装置
２ｅ パーソナルコンピュータインタフェース
３ パーソナルコンピュータ（ＰＣ）
４ 手書き入力ペン
５ 記入用紙
６ 記入用ボード
７ 手書き文字１
８ 手書き文字２
９ 手書き文字１の分析図
９ａ 手書き文字１の２０００Ｈｚ付近の分析図
１０ 手書き文字２の分析図
１０ａ 手書き文字２の２０００Ｈｚ付近の分析図
１１ 手のひらを摩擦させた際の分析図
１１ａ 手のひらを摩擦させた際の２０００Ｈｚ付近の分析図
１２ 登録テーブル１
１３ 登録テーブル２
１４ 入力テーブル
１５ 一致カウンター１
１６ 一致カウンター２
【特許請求の範囲】
【請求項１】
文字や記号を筆記する為の筆記具と用紙を備え、前記筆記具が用紙に筆記した際の筆記音を収集する為のマイクロフォンを設け、前記筆記具で文字や記号を筆記した際に発生する筆記音を前記マイクロフォンで収集し、筆記音に含まれる特定周波数の電気信号を抽出する手段を具備し、当該手段を用い抽出した電気信号を記録しておき、前記筆記具で文字や記号を筆記した際に発生する筆記音を、前記マイクロフォンで収集し、筆記音に含まれる特定周波数の電気信号を抽出する手段を具備し、当該手段を用い抽出した電気信号を先の記録と照合し、その出現頻度の類似性から手書き筆記文字を認識することを特徴とする手書き文字認識装置。
【請求項１】
文字や記号を筆記する為の筆記具と用紙を備え、前記筆記具が用紙に筆記した際の筆記音を収集する為のマイクロフォンを設け、前記筆記具で文字や記号を筆記した際に発生する筆記音を前記マイクロフォンで収集し、筆記音に含まれる特定周波数の電気信号を抽出する手段を具備し、当該手段を用い抽出した電気信号を記録しておき、前記筆記具で文字や記号を筆記した際に発生する筆記音を、前記マイクロフォンで収集し、筆記音に含まれる特定周波数の電気信号を抽出する手段を具備し、当該手段を用い抽出した電気信号を先の記録と照合し、その出現頻度の類似性から手書き筆記文字を認識することを特徴とする手書き文字認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−２９９１２（Ｐ２０１３−２９９１２Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６４０３７（Ｐ２０１１−１６４０３７）
【出願日】平成２３年７月２７日（２０１１．７．２７）
【出願人】（０００００５５１１）ぺんてる株式会社 (899)
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２７日（２０１１．７．２７）
【出願人】（０００００５５１１）ぺんてる株式会社 (899)
[ Back to top ]