撮像装置

【課題】撮像した資料に含まれる文章を自動で拡大させることにより、使い勝手をよくした撮像装置を提供する。
【解決手段】撮像装置10は、撮像した資料Dの第1画像を符号化して原画像を形成する。画像処理手段は、原画像に係る原画像データを読み込んで、原画像を多階調画像に変換し、閾値を設定する。該閾値で多階調画像を文字を表す文字画素と背景を表す背景画素とからなる2階調画像に変換する。文字画素を連結して基本領域を形成し、2階調画像上のノイズを除去してから、基本領域を拡張して複数の文字からなる文章を含んだ拡張領域を形成する。拡張領域と該拡張領域の周囲の背景をあわせて矩形状の文章記載領域を形成し、2階調画像上に形成された文章記載領域に係る情報を原画像にマッピングして、文章記載領域に対応する表示領域を原画像上に形成し、該表示領域を原画像から切り出して、モニタ画面21の大きさにあわせて引き伸ばすようにした。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関し、特に少なくとも文章が記載された書面を撮像する撮像装置に関する。
【背景技術】
【0002】
公知の撮像装置は、被写体を撮像して画像を形成する撮像部と、該画像を電気的に変換して画像データを形成する画像処理部と、該画像データに係る画像信号をモニタ、プロジェクタ等の映像表示機器に出力する出力部とからなる。そして、撮像装置は、例えば、図1に示すような、資料提示装置10A或いは拡大読書器10Bがある。資料提示装置10Aは、授業、プレゼンテーション、或いは講演会において、話者が発言と並行して、机上に戴置した資料を聴衆に対して提示するために使用されている。また、拡大読書器10Bは、書面に記載されている文字を所定の倍率で拡大して弱視者の読書を補助するために使用されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】引用なし
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記の撮像装置は、撮像した資料に記載されている文章を状況に応じて拡大させる場合がある。その場合、拡大する対象の文章をカメラの撮影範囲内に移動させる操作、当該文章を適当な倍率で拡大する操作、及び拡大した文章にフォーカスをあわせる操作と複数の操作を要する。
そのため、上記のような文章を拡大する一連の操作を複数回に亘って繰り返すと、授業、プレゼンテーション、或いは講演会のような場においては、話者の進行と資料の提示のタイミングがズレる場合があるので、聴衆の集中力を削ぐおそれがある。また、拡大読書器の場合には、操作に気をとられて読書に集中できなくなるおそれがある。
【0005】
そこで本発明が解決しようとする課題は、撮像した資料に含まれる文章を自動で拡大させることにより、使い勝手をよくした撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の撮像装置は、複数の文字を連ねて所定の情報を表す文章が記載された資料を撮像する撮像手段と、
該撮像手段で形成された画像を符号化し、圧縮し、その他所定の画像処理を施して、モニタ画面又はこれに類する表示画面へ表示するために最適化された原画像を形成する画像処理手段と、
該原画像を構成する原画像信号を前記表示画面を備えた表示装置に向けて出力する出力手段とを有する撮像装置であって、
前記画像処理手段は、前記原画像から前記文章を抽出する文章抽出手段と、抽出した文章を拡大する文章拡大手段を有し、
前記文章抽出手段は、
白色から灰色を経て黒色まで明暗が段階的に異なる複数の階調からなるグレースケールにしたがって、前記原画像を変換して多階調画像を形成する多階調変換手段と、
前記灰色の濃度値のうち、所定の濃度値を閾値として設定する閾値設定手段と、
該閾値に基づいて、前記多階調画像を変換し、前記文字を構成する黒色の文字画素と、前記文字以外の背景を表す白色の背景画素とからなる2階調画像を形成する2階調変換手段と、
前記2階調画像の一の前記文字画素と、該文字画素の近傍に配されている他の文字画素とを連結して基本領域を区画形成する画素連結手段と、
前記文字画素の近傍に配されている前記背景画素を前記文字画素に変換して、前記基本領域を拡張して拡張領域を区画形成する領域拡張手段とを有し、
前記2階調画像に区画形成されている前記拡張領域に対応する表示領域を前記原画像から抽出し、
該表示領域を前記文書拡大手段で拡大して、
拡大した前記表示領域を構成する表示領域信号を前記出力手段で出力するようにしたことを特徴とする。
【0007】
請求項2に記載の撮像装置は、請求項1に記載の発明において、前記文章拡大手段は、
前記2階調画像上の前記拡張領域の位置、大きさ、又は範囲に係る情報を取得する領域情報取得手段と、
前記表示画面の大きさに係る情報を取得し、当該表示画面の大きさと前記拡張領域の大きさとを照合して、前記拡張領域の拡大倍率を調整する表示画面判定手段と、
前記拡張領域、及び該拡張領域の周囲の前記背景からなる矩形状の前記文章記載領域を前記2階調画像に区画形成する文章記載領域形成手段と、
該文章記載領域に対応する前記表示領域を前記原画像から切り出す表示領域切り出し手段と、
切り出した前記表示領域を、前記表示画面の大きさにあわせて前記拡大倍率で引き伸ばす表示領域引き伸ばし手段とを有することを特徴とする。
【0008】
請求項3に記載の撮像装置は、請求項1若しくは請求項2に記載の発明において、前記画像処理手段は、
前記2階調画像に区画形成されている複数の前記拡張領域にそれぞれ識別番号を付与する領域識別手段と、
該識別番号を指定可能な入力デバイスを備えた領域指定入力手段を有し、
前記入力デバイスで所定の拡張領域を少なくとも一つ指定したとき、
指定された前記拡張領域に対応する前記表示領域が、前記文章抽出手段で抽出され、前記文章拡大手段で拡大されるようにしたことを特徴とする。
【0009】
請求項4に記載の撮像装置は、請求項1乃至請求項3の何れかに記載の発明において、領域指定入力手段は、指定した前記拡張領域の拡大倍率を個別に設定し、当該個別拡大倍率を前記指定拡張領域に対して適用する個別拡大パターンと、前記指定拡張領域の拡大倍率を所定の倍率に固定して設定し、当該固定拡大倍率を前記指定拡張領域に対して適用する固定拡大パターンとの2パターンを選択可能に備えた倍率適用選択手段を有し、
前記領域指定入力手段で複数の前記拡張領域を指定したとき、前記倍率適用選択手段で選択した一の拡大パターンにしたがって、指定された前記拡張領域に対応する前記表示領域が、それぞれ前記文章抽出手段で抽出され、前記文章拡大手段で拡大されるようにしたことを特徴とする。
【0010】
請求項5に記載の撮像装置は、請求項1に記載の発明において、前記文章抽出手段は、前記背景画素の近傍に配されている前記文字画素を前記背景画素に変換して、前記2階調画像の背景内に点在する少なくとも一つの前記文字画素からなるノイズを除去するノイズ除去手段を有することを特徴とする。
【発明の効果】
【0011】
請求項1に記載の撮像装置によれば、文章が記載された資料を撮像し、所定の画像処理を施して原画像を形成し、白色から灰色を経て黒色まで明暗の濃度値が段階的に変化する複数の階調からなるグレースケールにしたがって、フルカラーで表された原画像から、モノクロの多階調画像を形成するようにした。そして、グレースケールに係る灰色の濃度値のうち、所定の濃度値を閾値として設定するようにした。さらに、当該閾値にしたがって、多階調画像を、黒色の文字画素と白色の背景画素とからなる2階調画像に変換するようにした。2階調画像は、フルカラーの原画像と比べて情報量が少ないので、2階調画像に基づいて画像処理を行うことにより、処理速度を速くすることができる。
また、2階調画像を構成する一の文字画素と隣り合う他の文字画素を連結して基本領域を区画形成するようにした。そして、文字画素の近傍に配されている背景画素を文字画素に変換して、形成した基本領域を拡張した拡張領域を形成するようにした。これにより、基本領域で表される文字のみを単独で抽出するのではなく、拡張領域が包含する複数の文字をまとめて抽出することができる。
その結果、複数の文字を連ねて所定の情報を表している文章を、一文単位又は一段落単位といった所定の単位毎に抽出することができる。そして、2階調画像上の拡張領域の位置、大きさ、範囲等の情報を原画像へマッピングする写像処理を行うことによって、原画像上で、拡張領域に対応する位置にある文章を表示領域として抽出することができる。
そして、抽出した表示領域を文章拡大手段で自動的に拡大することにより、書類をカメラの撮像範囲内の好適な位置に移動させて、拡大させたい文章に狙いを定めて拡大し、さらにフォーカスをあわせる一連の操作を省略することができるので、本発明は、使い勝手をよくした撮像装置を提供することができる。
【0012】
請求項2に記載の撮像装置によれば、拡張領域と該拡張領域の周囲の背景とからなる矩形状の文章記載領域を2階調画像上に区画形成し、該文章記載領域の位置、大きさ、範囲等の情報を原画像へマッピングする写像処理を行うことによって、原画像上で文章記載領域に対応する表示領域を抽出して、原画像から切り出し、表示画面の大きさにあわせて所定の拡大倍率で当該表示領域を引き伸ばすようにした。
通常、表示画面の多くは矩形状に形成されている。そこで、文章記載領域を矩形状に形成することにより、文章記載領域を表示画面の大きさにあわせて容易に拡大することができる。また例えば、段落を拡張領域に変換すると、該拡張領域の周縁は鋸歯状にギザギザとなるので、拡大する処理の際に基準点を決めることが困難である。対して、矩形状の文章記載領域は拡大する際の基準点を容易に設定することができるので、抽出して拡大する処理が容易にできる。そのため、本発明は、使い勝手をよくした撮像装置を提供することができる。
【0013】
請求項3に記載の撮像装置によれば、区画形成した拡張領域に識別番号を付与して、入力デバイスで少なくとも一つの拡張領域を指定可能にした。そして、所定の拡張領域を指定したとき、対応する原画像上の表示領域が抽出されて拡大されるようにした。原画像を形成する過程で資料の全体画像を形成することができ、拡張領域と対応する表示領域は原画像から抽出される。そのため、カメラ等で拡大させたい文章に照準をあわせる操作を省き、拡大させたい文章を指定することにより、資料の全体画像から素早く当該文章を拡大させることができる。そのため、本発明は、使い勝手をよくした撮像装置を提供することができる。
【0014】
請求項4に記載の撮像装置によれば、入力デバイスで複数の拡張領域を指定した場合、指定した拡張領域をそれぞれ個別に表示画面の大きさにあわせて倍率を変えて拡大する個別拡大パターンと、指定した拡張領域全体を同じ倍率で拡大する全体拡大パターンとを選択可能にした。
これにより、個別拡大パターンを選択した場合には、表示画面の範囲を最大限に活用することができる。また、全体拡大パターンを選択した場合には、指定した拡張領域のうち最大の拡張領域にあわせて拡大倍率が決定されるので、複数の指定拡張領域同士の相対的な大きさのバランスを保つことができる。そして、指定拡張領域に対応する表示領域を目的にあわせて最適に拡大することができるので、本発明は、使い勝手をよくした撮像装置を提供することができる。
【0015】
請求項5に記載の撮像装置によれば、2階調画像の背景を構成する背景画素の近傍に配されている文字画素を背景画素に変換して、2階調画像の背景内に点在する少なくとも一つの文字画素からなるノイズ成分を除去するようにした。これにより、拡張領域を形成する画像処理を行ったとき、背景中のノイズ成分が拡張されることを防ぐことができるので、拡張領域に対応する表示領域の抽出精度を向上させることができる。そのため、本発明は、使い勝手をよくした撮像装置を提供することができる。
また、ノイズを除去する画像処理に伴って、背景と基本領域の境界にある文字画素が背景画素に変換される。これにより、基本領域に基づく文字の線幅を狭めて、文字の特徴を捉え易くすることができるので、抽出した表示領域に含まれている文章をOCRによってテキストデータに変換することができる。
【図面の簡単な説明】
【0016】
【図1】本実施例に係る撮像装置の一例を示した斜視図である。
【図2】本実施例に係る撮像装置の構成の概略を示したブロック図である。
【図3】本実施例に係る撮像装置に設けた画像処理部の構成の概略を示したブロック図である。
【図4】本実施例に係る撮像装置が有する閾値設定手段で使用される濃度ヒストグラムを示した説明図である。
【図5】本実施例に係る撮像装置が有する画素連結手段で形成された基本領域を示す説明図である。
【図6】本実施例に係る撮像装置が有する領域拡張手段で行われる領域拡張処理を示す説明図である。
【図7】本実施例に係る撮像装置が有する領域拡張手段で複数回繰り返される領域拡張処理を示す説明図である。
【図8】本実施例に係る撮像装置が有する文章記載領域形成手段で形成された文章記載領域を示す説明図である。
【図9】本実施例に係る撮像装置が有する表示領域引き伸ばし手段で表示領域を引き伸ばした状態を示す説明図である。
【図10】本実施例に係る撮像装置が有するノイズ除去手段で行われるノイズの除去を示した説明図である。
【図11】本実施例に係る撮像装置が有する画像処理手段で行われる文章の抽出処理と拡大処理の方法を示すフローチャート図である。
【図12】本実施例に係る撮像装置が有する多階調変換手段で変換される多階調画像の一例を示した説明図である。
【図13】本実施例に係る撮像装置が有する文章記載領域形成手段で形成される文章記載領域の一例を示した説明図である。
【図14】本実施例に係る撮像装置が有する表示領域引き伸ばし手段で表示領域を引き伸ばした状態の一例を示す説明図である。
【実施例1】
【0017】
本願発明に係る撮像装置の実施例を添付した図面にしたがって説明する。図1は、本実施例に係る撮像装置の一例を示した斜視図である。図2は、本実施例に係る撮像装置の構成の概略を示したブロック図である。
【0018】
本実施例に係る撮像装置10は、例えば、資料撮像装置10A又は拡大読書器10Bである。
図1(a)は、資料撮像装置10Aの一例を斜視図で示したものである。
資料撮像装置10Aは、撮像部11と装置本体12とからなる。
撮像部11は、机上に戴置した資料Dを撮像して形成した画像を電気的に変換し、該該画像を構成する画像信号を装置本体12へ送信する。
装置本体12は画像処理部13、メモリ14、外部記録媒体15を有している。画像処理部13は、撮像部11から送信された画像を符号化して原画像を形成する。そのほかに画像処理部13は、例えば、原画像に係る原画像データの圧縮処理、フィルタリング、原画像から所定領域を抽出するような種々の画像処理を行うように形成されている。そして、メモリ14及び外部記録媒体15は、読み出し自在に原画像を構成する原画像データを記録するように形成されている。
また、装置本体12は、出力端子16aを備えた出力部16を有している。出力部16は、原画像データを構成する原画像信号をモニタ20へ出力するように形成されている。
モニタ20は、入力された原画像信号を復号化して、モニタ画面21で最適に表示可能な再生画像を形成する。
図1(b)は、拡大読書器10Bの一例を斜視図で示したものである。
拡大読書器10Bは、撮像部11と装置本体12とモニタ20とからなる。
撮像部11は、該撮像部11の下面に配されたカメラ(図示略)を備え、装置本体12は、可動ステージ12aを備えている。撮像部11は、可動ステージ12a上に戴置された資料Dを撮像して形成した画像を電気的に変換し、該該画像を構成する画像信号を装置本体12へ送信する。
装置本体12は画像処理部13、メモリ14、外部記録媒体15を有している。画像処理部13は、撮像部11から送信された画像を符号化して原画像を形成する。そのほかに画像処理部13は、例えば、原画像に係る原画像データの圧縮処理、フィルタリング、原画像から所定領域を抽出するような種々の画像処理を行うように形成されている。そして、メモリ14及び外部記録媒体15は、読み出し自在に原画像を構成する原画像データを記録するように形成されている。
また、装置本体12は、出力端子16aを備えた出力部16を有している。出力部16は、原画像データを構成する原画像信号をモニタ20へ出力するように形成されている。
モニタ20は、入力された原画像信号を復号化して、モニタ画面21で最適に表示可能な再生画像を形成する。
上記のモニタ20をプロジェクタとし、モニタ画面21をスクリーンとして、装置本体12から出力された原画像がプロジェクタからスクリーンへ投射されるようにしても良い。
【0019】
図2は、上記の撮像装置10A,10Bに共通する撮像装置10の構成の概略をブロック図で示したものである。
撮像装置10は、撮像部11と、装置本体12とからなる。撮像部11はカメラ11aを備え、装置本体12は画像処理部13、メモリ14、外部記録媒体15、及び出力部16を有している。
撮像部11は、カメラで撮像した画像を電気的に変換して画像データを形成する撮像手段を有する。撮像手段で形成された画像データを構成する画像信号は、装置本体12へ伝送される。
画像処理部13は、エンコーダ17、及びフィルタ18を有している。
エンコーダ17は、撮像部11から送信された画像信号を符号化して原画像信号へ変換するように形成されている。
フィルタ18は、エンコーダで変換した原画像信号に基づく原画像に所定の画像処理を施すように形成されている。所定の画像処理は、例えば、フルカラーの原画像をモノクロの多階調画像に変換する処理などである。フィルタ18による画像処理、及び当該画像処理を実現するための画像処理手段について詳しくは後述する。
メモリ14は、原画像信号に基づく原画像データ、及びフィルタ18で変換した画像処理後の処理画像データを読み出し自在に一時的に記録し、外部記録媒体15は、原画像データ及び画像処理後の処理画像データを読み出し自在に記録している。外部記録媒体15は、例えばハードディスクドライブ、USBメモリ、フラッシュカードメモリ、又はそれらに類する記録媒体を備えた装置である。
出力部16は、出力端子16aを有している。該出力端子16aを介して、画像処理部13から伝送された原画像データを構成する原画像信号、又はフィルタで変換した処理画像データを構成する処理画像信号が、モニタ20へ出力される。
【0020】
上記の構成を有する撮像装置10の画像処理部13が備えるフィルタ18は、以下に示す画像処理手段30を有する。当該画像処理手段30を添付した図面にしたがって説明する。
【0021】
画像処理手段30は、図3に示すように、文章抽出手段31と文章拡大手段32を有する。
文章抽出手段31は、多階調変換手段33、閾値設定手段34、2階調変換手段35、画素連結手段36、領域拡張手段37を有している。これらの手段によって、文章抽出手段31は、原画像データに含まれている資料Dに係る全体画像のうち、文章が表示されている表示領域を抽出するように形成されている。
文章拡大手段32は、領域情報取得手段41、表示画面判定手段42、文章記載領域形成手段43、表示領域切り出し手段44、及び表示領域引き伸ばし手段45を有し、領域指定入力手段40は、倍率適用選択手段40aを有している。これらの手段によって、文章拡大手段32は、文章抽出手段31で抽出した表示領域をモニタ20のモニタ画面21の大きさにあわせて拡大するように形成されている。
また、画像処理手段30は、領域識別手段39と、領域指定入力手段40を有している。
【0022】
多階調変換手段33は、フルカラーで形成された原画像をグレースケールにしたがってモノクロの多階調画像に変換するように形成されている。
ここで、グレースケールとは、白色及び黒色、並びに濃度値が段階的に設定された灰色からなり、画像を白から黒に亘る明暗で表現するために用いられる基準をいう。グレースケールに準拠して変換された画像は、白色、黒色、灰色の明暗に係る濃度の相違に基づいて表現された、いわゆるモノクロとなる。本実施例では白色及び黒色、並びに254段階に濃度値を段階的に変化させた灰色からなる8ビットの256階調のグレースケールが使用されている。しかし、これに限定されるものではなく、例えば4ビットの16階調、又は16ビットの65536階調といった、他のグレースケールを使用しても良い。
このように、原画像データが有する連続した濃度値の情報を段階的に濃度値値が変化する多階調の濃度値へ所定の関数変換規則にしたがって変換する処理を行うことによって、フルカラーの原画像を、モノクロの多階調画像に変換することができる。多階調画像に変換することによって、フルカラーの画像では認識しづらい処理対象と背景との境界を鮮明にして、撮像した画像の解析・検査を容易にすることができ、画像処理の処理速度を向上させることができる。
なお、グレースケールにしたがって原画像を多階調画像へ変換した例を図12に示す。
【0023】
閾値設定手段34は、図4に示すように、多階調変換手段で形成された多階調画像に基づいて、該多階調画像に含まれる画素の濃度値の分布を示した濃度ヒストグラムを形成し、当該濃度ヒストグラムに基づく判別分析法によって、文字を示す文字画素と対象以外の背景画素に振り分ける境界となる閾値Tを設定するように形成されている。
図4に示した濃度ヒストグラムは、横軸に濃度値fをとり、縦軸に画素数nをとって、画像から切り出す文字や図表等の対象物を表す濃色の濃度値を有する文字画素と、背景を表す淡色の濃度値を有する背景画素の分布を表示したものである。
ここで、判別分析法とは、文字画素に係る濃度分布と背景画素に係る濃度分布とが双峰性を示すとき、二つの山に挟まれた谷底に相当する濃度値を閾値Tとして設定し、双峰性を示さないとき、濃度ヒストグラムを文字画素に係る濃度分布に組する濃色系の濃度値群と、背景画素に係る濃度分布に組する淡色系の濃度値群の二群に振り分けて、該二群の分散が最大となる値を閾値Tとして設定する方法である。
なお、判別分析法は多階調画像全体を同一の閾値で2階調化する大局的な閾値設定法であるが、これに限定するものではなく、たとえば微分ヒストグラム法のような、多階調画像を細かく分割し、分割した多階調画像の局所的な性質を計測して閾値を設定する閾値設定法を用いて閾値を設定しても良い。
【0024】
2階調変換手段35は、多階調画像を構成する画素を、閾値Tによって黒色の文字画素か、若しくは白色の背景画素へ振り分けて、多階調画像を2階調画像へ変換するように形成されている。
【0025】
画素連結手段36は、図5(a)に示した、2階調画像の文字画素のうち、一の文字画素と隣り合う他の文字画素とをひとまとまりの塊とみなして連結し、図5(b)に示すように、複数の文字画素が連なる基本領域を形成する。本実施例においては、一の文字画素の周囲8方向に文字画素が配されている場合に、隣り合う文字画素を互いに連結するように形成されている。
このように文字画素を連結すると、まず2階調画像上の文字を基本領域として検出することができる。しかしながら、文字間には背景画素が配されていることから、当該基本領域をそのまま分割すると一文字ずつバラバラの状態で分割されてしまう。そのため、以下に示すように隣り合う基本領域を接触させることによって、文字間の背景画素を文字画素に変換して一文を検出可能にする。
【0026】
領域拡張手段37は、図6に示すように、画素連結手段36で形成した基本領域を拡張するように形成されている。本実施例においては、一の背景画素の周囲8方向の何れかに文字画素が配されている場合、当該背景画素を文字画素に変換する処理が行われる。これにより、図6(a)の矢印で示すように、基本領域を拡張して、図6(b)に示すように拡張領域を形成することができる。この拡張変換処理を複数回繰り返すと、図7に示すように、隣り合う基本領域を互いに接触させて文字間の背景を潰すことができる。これにより、複数の文字を包含する拡張領域が形成される。その結果、複数の文字を連ねて所定の情報を表す文章が拡張領域として形成される。拡張領域変換処理の繰返し回数を任意に設定することによって、拡張領域に含まれる文章は、一文単位、一段落単位、一ページ単位のように所定の単位毎に抽出することができる。
【0027】
2階調画像上に区画形成された拡張領域を示す、例えば、該拡張領域の基点の位置座標、大きさ又は範囲を示す画素数等の拡張領域に関する情報は、メモリ14又は外部記録媒体15に読み出し自在に記録される。当該拡張領域情報を原画像上へ展開し、又は照合させることによって、拡張領域に対応する原画像上の表示領域を抽出することができ、該表示領域に包含されている文章を抽出することができる。
【0028】
領域識別手段39は、上記の拡張領域に関する拡張領域情報に識別番号を追記して、拡張領域に識別番号を付与するように形成されている。
領域指定入力手段40は、拡張領域に付された識別番号を指定するための入力デバイスを有している。入力デバイスは、例えば、リモコン、テンキー、マウス、トラックパッド、タブレット、キーボードといったものである。本実施例においては、リモコンが使用されている。
【0029】
領域情報取得手段41は、領域指定入力手段40で指定した指定拡張領域に関する拡張領域情報をメモリ14又は外部記録媒体15から読み出して取得するように形成されている。
表示画面判定手段42は、撮像装置10に接続されているモニタ20のモニタ画面21の大きさに係る情報をモニタ20から取得し、当該モニタ画面21の大きさを判定するように形成されている。
拡張領域情報と、モニタ画面21の大きさに関する情報を照合させることにより、拡張領域の拡大倍率を調整し、拡大倍率に係る倍率情報が形成される。
【0030】
文章記載領域形成手段43は、2階調画像上で指定拡張領域と、該指定拡張領域の周囲の背景とをあわせて、図8に示すように、矩形状の文章記載領域を形成する。拡張領域は文字間の背景を潰して一文を検出可能に形成するので、該拡張領域に周縁は複雑に折れ曲がった形状を呈している。しかし、文章記載領域を形成することによって、拡張領域を矩形状の範囲内に収めることができるので、文章の検出を容易にすると共に、検出した文章を見やすくすることができる。
そして、上記の拡張領域の倍率情報と、文章記載領域の大きさとが照合される。これにより、文字記載領域を拡大する倍率が調整される。具体的には、図9に示すように、文章記載領域の大きさ、範囲を示す縦横のサイズのうち、長辺がモニタ画面21の長辺に適合するように倍率が調整される。これにより、文字記載領域内の文字の縦横比を変えずに、該文字記載領域を拡大させることができる。
【0031】
表示領域切り出し手段44は、拡張領域を包含する文章記載領域に関する情報を原画像上に展開し、照合して、文章記載領域を原画像へマッピングする写像処理を行うように形成されている。これにより、文章記載領域に覆われる原画像上の文章を表示領域として切り出すことができる。切り出された表示領域は、メモリ14又は外部記録媒体15に記録される。なお、写像処理とは、文章記載領域が区画形成された2階調画像を原画像へ重ね合わる処理、又は文章記載領域の位置座標に係る情報を、原画像に係る原画像データへ照合する処理、その他これらの処理に類する処理をいう。
なお、文章記載領域を原画像上へマッピングした例を図13に示す。
【0032】
表示領域引き伸ばし手段45は、切り出した表示領域を文章記載領域の倍率情報にしたがって引き伸ばすように形成されている。
そして、引き伸ばされた表示領域に係る表示領域画像信号は、エンコーダ17で再符号化されて出力部16へ伝送され、モニタ20へ出力される。
【0033】
また、領域指定入力手段40は、倍率適用選択手段40aを有する。
倍率適用選択手段40aは、領域指定入力手段40で拡張領域を指定したときに起動するように形成されている。
倍率適用選択手段40aは、指定拡張領域の拡大倍率を個別に設定し、設定した個別拡大倍率を指定拡張領域へ適用する個別拡大パターンと、指定拡張領域の拡大倍率を所定の倍率に固定し、当該固定拡大倍率を指定拡張領域へ適用する固定拡大パターンの2パターンを選択可能に備えている。
そして、領域指定入力手段40で複数の拡張領域を同時に指定したとき、倍率適用選択手段40aで選択された一の拡大パターンにしたがって、表示領域引き伸ばし手段45は、指定された指定拡張領域に対応する原画像上の複数の表示領域をそれぞれ所定の拡大倍率で拡大する。
すなわち、個別拡大パターンを選択した場合には、モニタ画面21の大きさにあわせて表示領域がそれぞれ個別に拡大される。これにより、モニタ画面21の大きさを表示領域毎に最大限利用することができる。
固定拡大パターンを選択した場合には、矩形状の文章記載領域のうち、最も大きな文章記載領域の長辺にあわせて拡大倍率が設定される。そして、設定された拡大倍率にしたがって、当該文章記載領域に対応する全ての表示領域が拡大される。これにより、指定した複数の表示領域に含まれているそれぞれの文字の大きさのバランスを崩さずに拡大させることができる。
【0034】
また、文章抽出手段31は、図3に示すようにノイズ除去手段46を有する。
ノイズ除去手段46は、図10に示すように、2階調画像の背景を示す背景画素の近傍にある文字画素を背景画素に変換するように形成されている。この2階調画像に含まれている文字画素の面積を縮小する縮小変換処理を、複数回繰り返すことによって、背景内に点在する少なくとも一つの文字画素からなるノイズが除去される。
また、上記のノイズを除去する過程に伴って、基本領域の面積も縮小する。これにより、基本領域で表される文字の輪郭を鮮明にして文字の特徴を捉え易くすることができる。
【0035】
上記の構成を有する撮像装置10は、以下の処理ステップによって、撮像した資料画像から文章が表示されている表示領域を抽出している。添付した図面にしたがって説明する。
【0036】
図11に資料画像から文章が表示されている表示領域を自動的に拡大する処理に係るフローチャートを示す。
ステップS100は本実施例に係る画像処理を開始する処理を行うステップである。
ステップS105は、資料Dの全体画像が含まれた原画像に係る原画像データをフィルタ18の画像処理手段30へ入力する処理を行うステップである。
ステップS110は、多階調変換手段33で、原画像データから、色彩に係る情報を破棄すると共に、原画像データが有する色の明暗を示す濃度値に係る情報をグレースケールで多階調変換し、フルカラーの原画像からモノクロの多階調画像を形成する処理を行うステップである。多階調変換処理が施された画像の例を図12に示す。
ステップS115は、閾値設定手段34で、形成された多階調画像に基づいて図4に示す濃度ヒストグラムを形成し、判別分析法にしたがって閾値Tを設定する処理を行うステップである。
ステップS120は、2階調変換手段35で、閾値Tを多階調画像に適用して2階調画像を形成する処理を行うステップである。当該ステップS120において、資料に含まれている文字及び図表といった抽出対象は黒色の文字画素に変換され、抽出対象を除く背景は、白色の背景画素に変換される。
【0037】
ステップS125は、ステップS120で形成された文字画素を画素連結手段36にしたがって連結し、ひとまとまりの基本領域を形成する処理を行うステップである。
ステップS130は、ノイズ除去手段46で、2階調画像の背景内に点在する少なくとも一つの文字画素を背景画素に変換してノイズ成分を除去する処理を行うステップである。ステップS130の段階においてノイズ成分を除去しておくことにより、ノイズ成分を構成する文字画素を拡張し、誤って抽出することを防ぐことができる。
ステップS135は、2階調画像の背景中に点在する文字画素によるノイズ成分が無くなるまで、ステップS130に示したノイズ除去手段46を複数回繰り返すための判定をする処理を行うステップである。
【0038】
ステップS140は、領域拡張手段37で基本領域の周囲の背景画素を文字画素に変換して、当該基本領域を拡張する拡張変換処理を行うステップである。
ステップS145は、領域拡張手段37を図7に示すように所定回数繰り返すための判定処理を行うステップである。ステップS140とステップS145の領域拡張処理を繰り返すことによって、基本領域間に配されている背景画素が文字画素へ変換され、基本領域が連結した拡張領域が形成される。
ステップS150は、隣り合う基本領域が接触したとき、形成された拡張領域を確定する処理を行うステップである。当該ステップS150において、2階調画像上における拡張領域に係る情報、例えば、位置座標、基準点、大きさ、又は範囲等が形成され、該拡張領域に係る情報は、メモリ14又は外部記録媒体15へ記録される。
ステップS155は、拡張領域に係る情報を取得する処理を行うステップである。
ステップS160は、取得した拡張領域に係る情報に領域識別手段39で識別番号に係る情報を追記するラベリング処理を行うステップである。これにより、2階調画像上に形成された少なくとも一つの拡張領域を識別可能にすることができる。
ステップS165は、ラベリングした拡張領域に係る情報を原画像データへマッピングする写像処理を行うステップである。これにより拡張領域に対応する表示領域を原画像から抽出可能なスタンバイ状態に移行することができる。
ステップS170は、ステップS160でラベリングした拡張領域に対応する表示領域を原画像上で識別番号と共にモニタ画面21でプレビュー表示する処理を行うステップである。これにより、拡大させたい表示領域を指定可能なスタンバイ状態に移行することができる。
ステップS175は、拡張領域の識別番号を領域指定入力手段40で指定したか否か判定する処理を行うステップである。拡張領域が指定されない場合には、ステップS205へ移行して、画像処理を終了する。このとき、拡張領域に対応する表示領域に係る情報は読み出し自在にメモリ14又は外部記録媒体15に記録される。一方、拡張領域を指定した場合にはステップS180へ移行する。
【0039】
ステップS180は、領域指定入力手段40に係る入力デバイスであるリモコンによって指定した拡張領域に係る情報に基づいて、モニタ画面21の大きさにあわせて、拡大倍率を設定する処理を行うステップである。
ステップS185は、文章記載領域形成手段43で拡張領域と、該拡張領域の周囲の背景をあわせた矩形状の文章記載領域を2階調画像上で形成する処理を行うステップである。矩形状のモニタ画面21の形状にあわせて文章記載領域を矩形状に設定することにより、ギザギザな輪郭の拡張領域と比べて容易に拡大させることができるようになる。
ステップS190は、2階調画像上に形成した文章記載領域に係る情報、例えば、位置座標、基準点、縦と横の画素数等が、原画像データへマッピングされる写像処理を行うステップである。これにより、2階調画像上の文章記載領域に対応する表示領域を原画像上に形成することができる。
ステップS195は、表示領域切り出し手段44で、文章記載領域と対応する原画像上の表示領域を原画像から切り出す処理を行うステップである。当該ステップS195に係る画像処理の結果、表示領域に含まれた文章を、一文単位、一段落単位といった所定の単位毎に資料から自動的に抽出することができる。
ステップS200は、表示領域引き伸ばし手段45で、切り出した表示領域に対してステップS180で設定した拡大倍率を適用して引き伸ばす処理を行うステップである。そして、引き伸ばされた表示領域に係る表示領域画像信号は、出力部へ出力され、ステップS205で本実施例に係る画像処理は終了する。
【0040】
本実施例に係る画像処理の結果を図12乃至図14に示す。まず図12に示すように、フルカラーの原画像で示された資料全体の画像をグレースケールにしたがって多階調画像へ変換する処理が行われる。該多階調画像に基づいて、画像処理部13は、基本領域を拡張して拡張領域を形成すると共に図表をマスキングして、さらに拡張領域と該拡張領域の周囲の背景をあわせて、図13の網掛けで示した矩形状の文章記載領域を形成する画像処理を行う。文章記載領域には、拡張領域で抽出した文章が含まれている。そして、文章記載領域に対応する表示領域が原画像上に展開される。該表示領域を切り出す画像処理の結果、資料に記載された文章を自動的に抽出することができる。抽出した表示領域は図14に示すように拡大される。
これにより、撮像した資料に記載されている文章を拡大させる必要が生じたとき、撮像した資料内の文章に照準を合わせて拡大し、焦点を合わせる操作を省くことができ、狙った文章を迅速に拡大させることができる。
【0041】
上記の撮像装置による、資料全体の画像から文章が表示された表示領域を抽出し、当該表示領域を自動的に拡大する方法は、以下に示すように応用することができる。
例えば、資料Dの全体画像と、文章が表示された表示領域は、メモリ14或いは外部記憶媒体15に読み出し自在に記憶されている。そのため、拡大させたい表示領域が、図1に示した資料提示装置10A、又は拡大読書器10Bのカメラの撮像範囲の中心に移動したとき、該表示領域を自動的に読み出してモニタ画面21へ拡大再生するように設定することができる。
このようにすれば、使用者がリモコンで拡大させることを所望する表示領域を手動で指定する操作を省くことができる。そのため、より迅速に文章の拡大を行うことができるので、撮像装置10の使い勝手をよくすることができる。
また、2階調画像上に形成した矩形状の文章記載領域と対応する表示領域が資料Dの全体画像を含む原画像上に展開されている。そのため、当該表示領域を塗りつぶすことによって、原画像上の文章を矩形状に覆い隠すマスク処理を行うことができる。
このようにすれば、例えば、クイズの答えを隠しておき、答えあわせのときに表示領域を透明化させて、答えを表示する使い方、又はプレゼンテーションの場において、話の進行状況に沿って順次表示領域を透明化させると共に、該表示領域にスポットを当てるように画面一杯に拡大する使い方等をすることができる。
【0042】
本実施例に係る撮像装置10によれば、画像処理部13によって、資料Dの全体画像から文章が表示された表示領域を抽出し、該表示領域を自動的に拡大するようにした。
これにより、当該表示領域をモニタ画面21で表示するとき、当該表示領域の位置がモニタ画面21の範囲内に収まるように資料を移動させる操作、又は当該表示領域を拡大させたときのフォーカスをあわせる操作のように、従来手動で行っていた操作を自動化することができる。
そのため、資料提示装置10Aが使用されるプレゼンテーションのような場では、資料の提示をスムーズに行うことができ、拡大読書器10Bを使用する場合には、操作に気をとられることなく集中して読書することができる。
また、撮像した資料D内の文章が表示された表示領域を抽出して、メモリ14又は外部記録媒体15へ読み出し自在に記録するようにしたので、モニタ画面21において、資料Dの全体画像と表示領域との切り替えを素早く行うことができる。そのため、資料Dに記載されている図表を提示した後に、当該図表の説明文を拡大して提示すといった操作を迅速に行うことができる。
【符号の説明】
【0043】
D…資料、T…閾値、f…濃度値、n…累積画素数、
10…撮像装置、10A…資料提示装置、10B…拡大読書器、
11…撮像部、12…装置本体、13…画像処理部、14…メモリ、15…外部記録媒体、16…出力部、16a…出力端子、
17…エンコーダ、18…フィルタ、
20…モニタ、21…モニタ画面
30…画像処理手段、31…文章抽出手段、32…文章拡大手段、
33…多階調変換手段、34…閾値設定手段、35…2階調変換手段、36…画素連結手段、37…領域拡張手段、
39…領域識別手段、40…領域指定入力手段、40a…倍率適用選択手段、
41…領域情報取得手段、42…表示画面判定手段、43…文章記載領域形成手段、44…表示領域切り出し手段、45…表示領域引き伸ばし手段、
46…ノイズ除去手段。

【特許請求の範囲】
【請求項1】
複数の文字を連ねて所定の情報を表す文章が記載された資料を撮像する撮像手段と、
該撮像手段で形成された画像を符号化し、圧縮し、その他所定の画像処理を施して、モニタ画面又はこれに類する表示画面へ表示するために最適化された原画像を形成する画像処理手段と、
該原画像を構成する原画像信号を前記表示画面を備えた表示装置に向けて出力する出力手段とを有する撮像装置であって、
前記画像処理手段は、前記原画像から前記文章を抽出する文章抽出手段と、抽出した文章を拡大する文章拡大手段を有し、
前記文章抽出手段は、
白色から灰色を経て黒色まで明暗が段階的に異なる複数の階調からなるグレースケールにしたがって、前記原画像を変換して多階調画像を形成する多階調変換手段と、
前記灰色の濃度値のうち、所定の濃度値を閾値として設定する閾値設定手段と、
該閾値に基づいて、前記多階調画像を変換し、前記文字を構成する黒色の文字画素と、前記文字以外の背景を表す白色の背景画素とからなる2階調画像を形成する2階調変換手段と、
前記2階調画像の一の前記文字画素と、該文字画素の近傍に配されている他の文字画素とを連結して基本領域を区画形成する画素連結手段と、
前記文字画素の近傍に配されている前記背景画素を前記文字画素に変換して、前記基本領域を拡張して拡張領域を区画形成する領域拡張手段とを有し、
前記2階調画像に区画形成されている前記拡張領域に対応する表示領域を前記原画像から抽出し、
該表示領域を前記文書拡大手段で拡大して、
拡大した前記表示領域を構成する表示領域信号を前記出力手段で出力するようにしたことを特徴とする撮像装置。
【請求項2】
前記文章拡大手段は、
前記2階調画像上の前記拡張領域の位置、大きさ、又は範囲に係る情報を取得する領域情報取得手段と、
前記表示画面の大きさに係る情報を取得し、当該表示画面の大きさと前記拡張領域の大きさとを照合して、前記拡張領域の拡大倍率を調整する表示画面判定手段と、
前記拡張領域、及び該拡張領域の周囲の前記背景からなる矩形状の前記文章記載領域を前記2階調画像に区画形成する文章記載領域形成手段と、
該文章記載領域に対応する前記表示領域を前記原画像から切り出す表示領域切り出し手段と、
切り出した前記表示領域を、前記表示画面の大きさにあわせて前記拡大倍率で引き伸ばす表示領域引き伸ばし手段とを有することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記画像処理手段は、
前記2階調画像に区画形成されている複数の前記拡張領域にそれぞれ識別番号を付与する領域識別手段と、
該識別番号を指定可能な入力デバイスを備えた領域指定入力手段を有し、
前記入力デバイスで所定の拡張領域を少なくとも一つ指定したとき、
指定された前記拡張領域に対応する前記表示領域が、前記文章抽出手段で抽出され、前記文章拡大手段で拡大されるようにしたことを特徴とする請求項1若しくは請求項2に記載の撮像装置。
【請求項4】
領域指定入力手段は、指定した前記拡張領域の拡大倍率を個別に設定し、当該個別拡大倍率を前記指定拡張領域に対して適用する個別拡大パターンと、前記指定拡張領域の拡大倍率を所定の倍率に固定して設定し、当該固定拡大倍率を前記指定拡張領域に対して適用する固定拡大パターンとの2パターンを選択可能に備えた倍率適用選択手段を有し、
前記領域指定入力手段で複数の前記拡張領域を指定したとき、前記倍率適用選択手段で選択した一の拡大パターンにしたがって、指定された前記拡張領域に対応する前記表示領域が、それぞれ前記文章抽出手段で抽出され、前記文章拡大手段で拡大されるようにしたことを特徴とする請求項1乃至請求項3の何れかに記載の撮像装置。
【請求項5】
前記文章抽出手段は、前記背景画素の近傍に配されている前記文字画素を前記背景画素に変換して、前記2階調画像の背景内に点在する少なくとも一つの前記文字画素からなるノイズを除去するノイズ除去手段を有することを特徴とする請求項1に記載の撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2012−244439(P2012−244439A)
【公開日】平成24年12月10日(2012.12.10)
【国際特許分類】
【出願番号】特願2011−112946(P2011−112946)
【出願日】平成23年5月20日(2011.5.20)
【出願人】(000000424)株式会社エルモ社 (104)
【Fターム(参考)】