説明

撮像装置

【課題】離散的に配置された複数の撮像素子を用いて領域を分割して撮像する構成において、各分割領域の画像データを効率的に取得する。
【解決手段】撮像装置が、離散的に配置された複数の2次元撮像素子と、被写体の像を拡大して前記複数の2次元撮像素子の像面に結像する結像光学系と、各2次元撮像素子で撮像する分割領域を変えながら複数回の撮像を行うために、前記被写体を移動する移動手段と、を有する。前記複数の分割領域のうちの少なくとも一部は、前記像面において、前記結像光学系の収差により変形又は変位している。前記複数の2次元撮像素子それぞれの位置が、対応する分割領域の前記像面における形状及び位置に合わせて調整されている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関し、特に、複数の離散的に配置された撮像素子を用いて領域を分割して撮像する撮像装置に関する。
【背景技術】
【0002】
病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料を撮像しデジタル化してディスプレイ上での病理診断を可能とするバーチャル・スライド装置がある。バーチャル・スライド装置による病理診断のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱える。それによって、遠隔診断の迅速化、デジタル画像を使った患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られる。
【0003】
光学顕微鏡での操作をバーチャル・スライド装置によるデジタル化で実現するためには、プレパラート上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャル・スライド装置で作成したデジタルデータをPCやWSで動作するビューワソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。そのためバーチャル・スライド装置では、数十万から数百万程度の画素数を有する2次元撮像素子、または、数千程度の画素数を有する1次元撮像素子を用いて被検試料の領域を複数に分割して撮像することが行われる。分割撮像を行うため、被検試料全体の画像の生成には複数の分割画像をタイリング(合成)することが必要となる。
【0004】
2次元撮像素子1個を用いたタイリング方式は、被検試料に対して2次元撮像素子を相対的に移動させながら複数回撮像し、複数枚の撮像画像を隙間なく貼り合わせることで被検試料全体の撮像画像を取得するものである。この単体2次元撮像素子によるタイリング方式では、被検試料の領域分割数が多くなるほど撮像に時間を要するという課題がある。
この課題を解決するための技術として以下の技術が提案されている(特許文献1参照)。特許文献1は、対物レンズの視野内に収まるように設けられた複数の2次元撮像素子からなる撮像素子群を有する顕微鏡において、撮像素子群の位置と被検試料の位置を相対的に変化させながら複数回撮像することで1画面全体を撮像する技術を開示している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−003016号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1の顕微鏡では、複数の2次元撮像素子を等間隔に配置している。もし物体面の撮像領域が撮像素子群の像面に歪みなく射影される場合には、2次元撮像素子を等間隔に配置することで画像データを効率よく生成することができる。しかしながら、図11に示すように、実際には結像光学系の歪曲収差のために像面での撮像領域は歪んでいる。これは、各々の2次元撮像素子で撮像すべき分割領域が、歪んだ形状で且つ不等間隔で並んでいると解釈できる。像面での歪んだ分割領域を等間隔に並んだ2次元撮像素子で撮像するには、図11に示すように、歪んだ分割領域1101を包含するようにそれぞれの2次元撮像素子の撮像領域1102を大きくする必要がある。そのため、画像合成に寄与しない画像データまで取得することになり、結像光学系の歪曲収差の影響が大きい場合には、画像データ生成効率が低下する可能性がある。
【0007】
本発明は、このような問題点に鑑みてなされたものであり、離散的に配置された複数の撮像素子を用いて領域を分割して撮像する構成において、各分割領域の画像データを効率的に取得することを目的とする。
【課題を解決するための手段】
【0008】
本発明の第1態様は、被写体の撮像対象領域を複数の領域に分割し、各分割領域を2次元撮像素子で撮像する撮像装置であって、離散的に配置された複数の2次元撮像素子と、前記被写体の像を拡大して前記複数の2次元撮像素子の像面に結像する結像光学系と、各2次元撮像素子で撮像する分割領域を変えながら複数回の撮像を行うために、前記被写体を移動する移動手段と、を有し、前記複数の分割領域のうちの少なくとも一部は、前記像面において、前記結像光学系の収差により変形又は変位しており、前記複数の2次元撮像素子それぞれの位置が、対応する分割領域の前記像面における形状及び位置に合わせて調整されている撮像装置を提供する。
【0009】
本発明の第2態様は、被写体の撮像対象領域を複数の領域に分割し、各分割領域を2次元撮像素子で撮像する撮像装置であって、離散的に配置された複数の2次元撮像素子と、前記被写体の像を拡大して前記複数の2次元撮像素子の像面に結像する結像光学系と、各2次元撮像素子で撮像する分割領域を変えながら複数回の撮像を行うために、前記被写体を移動する移動手段と、前記複数の2次元撮像素子それぞれの位置を調整可能な位置調整手段と、を有し、前記複数の分割領域のうちの少なくとも一部は、前記像面において、前記結像光学系の収差により変形又は変位しており、前記位置調整手段は、前記結像光学系の収差が変化した場合に、変化後の収差による各分割領域の変形又は変位に応じて、各2次元撮像素子の位置を変化させる撮像装置を提供する。
【発明の効果】
【0010】
本発明によれば、離散的に配置された複数の撮像素子を用いて領域を分割して撮像する構成において、各分割領域の画像データを効率的に取得することができる。
【図面の簡単な説明】
【0011】
【図1】デジタル・スライド・スキャナの撮像に関わる概略構成を説明する模式図。
【図2】2次元撮像素子の構成を説明する模式図。
【図3】結像光学系の収差を説明する模式図。
【図4】2次元撮像素子の配置を説明する模式図。
【図5】撮像シーケンスを説明する模式図。
【図6】画像データ読み出しを説明するフローチャート。
【図7】歪曲収差に応じた読み出し領域を説明する模式図。
【図8】倍率色収差に応じた画像データ読み出しを説明するフローチャート。
【図9】電気的に各撮像素子の読み出し範囲を制御する構成を説明する模式図。
【図10】機械的に各撮像素子の位置調整を行う構成を説明する模式図。
【図11】課題を説明する模式図。
【発明を実施するための形態】
【0012】
[第1の実施形態]
(撮像装置の構成)
図1(a)〜図1(c)は、本発明の第1の実施形態に係る撮像装置の概略構成を説明する模式図である。この撮像装置は、被写体となるプレパラート103上の被検試料の光学顕微鏡像を高解像かつ大サイズ(広画角)のデジタル画像として取得するための装置である。
【0013】
図1(a)は撮像装置の概略構成を示す模式図である。撮像装置は、光源101、照明光学系102、結像光学系104、移動機構113、撮像部105、画像処理部120、制御部130を備えて構成される。画像処理部120は、現像・補正部106、合成部107、圧縮部108、伝送部109などの機能ブロックを有している。撮像装置の各部の動作やタイミングは、制御部130によって制御される。
【0014】
光源101は撮像用の照明光を発生する手段である。光源101としては、RGB3色の発光波長を有する光源、例えばLEDやLD等を用いて各単色光を電気的に切り替えて発光する構成や、白色LEDとカラーホイールで各単色光を機械的に切り替える構成が用いられる。この場合、撮像部105の撮像素子群にはカラーフィルタを有さないモノクロ撮像素子が用いられる。光源101と撮像部105は同期して動作する。光源101ではRGBを順次発光させ、撮像部105は光源101の発光タイミングに同期して露光しRGBそれぞれの画像を取得する。RGB各画像から1枚の撮像画像の生成は後段の現像・補正部106で行う。照明光学系102は、光源101の光を効率良くプレパラート103上の撮像基準領域110aに導光する。
【0015】
プレパラート103は、病理診断の対象となる被検試料を支持する支持プレートであり、被検試料をスライドグラスに載置し、マウント液を使ってカバーグラスで封入したものである。
【0016】
図1(b)には、プレパラート103と撮像基準領域110aを図示している。撮像基準領域110aとは、プレパラートの位置に依存せず、物体面の基準位置として存在する領域である。撮像基準領域110aは、固定配置されている結像光学系104に対しては固定された領域であるが、プレパラート103との相対位置関係はプレパラート103の移動に合わせて変動する。プレパラート103上の被検試料の領域としては、撮像基準領域110aとは別に、撮像対象領域501(後述)を定義する。プレパラート103が初期位置(後述)にある場合は、撮像基準領域110aと撮像対象領域501は一致する。撮像対象領域501、プレパラートの初期位置は図5(b)で説明する。プレパラート103は76mm×26mm程度の大きさであり、ここでは撮像基準領域110aとして15mm×10mmを想定している。
【0017】
結像光学系104は、プレパラート103上の撮像基準領域110aからの透過光を拡大して導光し、撮像部105の像面上に撮像基準領域110aの実像である撮像基準領域像110bを結像する。撮像基準領域像110bは結像光学系104の収差の影響により変形あるいは変位している。ここでは歪曲収差によって樽型に歪んだ形状を想定している。結像光学系104の有効視野112は、撮像素子群111a〜111l、及び、撮像基準領域像110bを包含する大きさである。
【0018】
撮像部105は、互いに間隙を介してX方向とY方向の2次元的に離散的に配置された複数の2次元撮像素子を有して構成される撮像手段である。本実施形態では、4列×3行の12個の2次元撮像素子111a〜111lが設けられている。これらの撮像素子は同一の基板上に実装してもよいし、別々の基板上に実装してもよい。なお、個々の撮像素子を区別するために、参照符号に対し、1行目の左から順にa〜d、2行目にe〜h、3行目にi〜lのアルファベットを付しているが、図示の便宜のため図面中では「111a〜111l」のように略記する。他の図面においても同様である。図1(c)は、撮像素子群111a〜111l、像面での撮像基準領域像110b、結像光学系の有効視野112、の3者のそれぞれの初期状態における位置関係を模式的に示している。
【0019】
撮像素子群111a〜111lと結像光学系の有効視野112の位置関係は固定であるため、像面での撮像基準領域像110bの歪み形状も撮像素子群111a〜111lに対
して位置関係は固定である。プレパラート側に設けた移動機構113(XYステージ)により撮像対象領域501を移動させながら、撮像対象領域501の全域を撮像する場合の撮像基準領域110aと撮像対象領域501の位置関係については図5(b)で説明する。
【0020】
現像・補正部106は、撮像部105で取得したデジタルデータの現像処理、補正処理を行う。機能としては、黒レベル補正、DNR(Digital Noise Reduction)、画素欠陥補正、撮像素子の個体ばらつきやシェーディングに対する輝度補正、現像処理、ホワイトバランス処理、強調処理、歪曲収差補正、倍率色収差補正などを含む。合成部107は、複数の撮像画像(分割画像)を繋ぎ合わせる処理を行う。ここで繋ぎ合せる画像は、現像・補正部106で歪曲収差補正や倍率収差補正済みの画像である。
【0021】
圧縮部108は、合成部107から出力されるブロック画像毎に逐次圧縮処理を行う。伝送部109は、圧縮ブロック画像の信号をPC(Personal Computer)やWS(Work Station)に出力する。PCやWSへの信号伝送では、ギガビット・イーサネット(登録商標)などの大容量の伝送が可能な通信規格を用いる。
【0022】
PCやWSでは、送られてくる圧縮ブロック画像毎に順次ストレージに格納する。取得した被検試料の撮像画像の閲覧にはビューワソフトを用いるとよい。ビューワソフトは閲覧領域の圧縮ブロック画像を読み出して伸張しディスプレイに表示する。以上の構成により、15mm×10mm相当の被検試料の高解像大サイズ撮像と取得画像の表示が実現できる。
【0023】
ここでは、光源101で単色光を順次発光させてモノクロの撮像素子群111a〜111lで撮像する構成を説明したが、光源を白色LEDとし、撮像素子をカラーフィルタ付撮像素子としても良い。
【0024】
(撮像素子の構造)
図2(a)及び図2(b)は、2次元撮像素子の構成と有効画像面について説明する模式図である。
【0025】
図2(a)は2次元撮像素子を上面から見たときの模式図である。201は有効画像面、202は有効画像面の中心、203はダイ(イメージセンサチップ)、204は回路部、205はパッケージ枠を表している。有効画像面201とは、2次元撮像素子の受光面のうち有効画素が配置されている領域、すなわち画像データが生成される範囲をいう。図1(c)に示した撮像素子群111a〜111lの各領域は、図2(a)の有効画像面201に相当する。
【0026】
図2(b)は有効画像面201が正方画素の均等配列により構成されていることを示している。画素構造(画素の形状、配列)に関しては、他にも、八角形画素を互い違いに市松模様に配列した構造なども知られているが、いずれの画素構造も同一形状、同一配列の繰り返しという特徴を有している。
【0027】
(結像光学系の収差)
結像光学系104では、レンズの形状や光学特性に起因して、歪曲収差、倍率色収差などの各種の収差が発生し得る。図3(a)及び図3(b)を用いて、結像光学系の収差によって像が変形あるいは変位する現象を説明する。
【0028】
図3(a)は、歪曲収差を説明する模式図である。物体面(プレパラート上)に物体面
ワイヤーフレーム301を配置し、その光学像を結像光学系を介して観測する。物体面ワイヤーフレーム301は撮像対象領域を行方向及び列方向にそれぞれ等間隔に分割したものである。像面(2次元撮像素子の有効画像面上)では、結像光学系の歪曲収差の影響により、歪んだ形状である像面ワイヤーフレーム302が観測される。ここでは、樽型の歪曲収差の例を示している。歪曲収差の場合は、2次元撮像素子で撮像すべき個々の分割領域は矩形ではなく歪んだ領域となる。分割領域の変形や変位の度合いは、レンズの中心部ではゼロ又はほとんど無視できるが、レンズの周辺部では大きくなる。例えば、左上の角の分割領域は、略ひし形に変形しており、本来の位置(収差が無い場合の理想の位置)に比べてレンズの中心方向に変位している。したがって、レンズの周辺部など少なくとも一部の分割領域については、収差による変形や変位を考慮した撮像が必要となる。
【0029】
図3(b)は、倍率色収差を説明する模式図である。倍率色収差とは、光線の波長によって屈折率が異なることが原因で発生する、色ごとの像のずれ(倍率の違い)である。物体面上の物体面ワイヤーフレーム301を結像光学系を介して観測すると、像面(2次元撮像素子の有効画像面上)では、倍率色収差の影響により、色ごとに異なる大きさ(倍率)の像面ワイヤーフレーム303が観測される。ここでは、R,G,Bの3つの像面ワイヤーフレーム303の例を示している。レンズの中心部では、R,G,Bの分割領域はほぼ同じ位置にあるが、レンズの周辺部にいくにしたがって収差による変位量が大きくなり、R,G,Bの分割領域のずれが大きくなっていることが分かる。倍率色収差の場合は、2次元撮像素子で撮像すべき領域の位置が、色ごと(つまりR,G,Bそれぞれ)で異なる。したがって、レンズの周辺部など少なくとも一部の分割領域については、収差による色ごとの像のずれを考慮した撮像が必要となる。
【0030】
(撮像素子の配置)
図4は、歪曲収差を考えたときの2次元撮像素子の配置を説明する模式図である。
物体面(プレパラート上)の物体面ワイヤーフレーム301が、像面(2次元撮像素子の有効画像面上)では歪曲収差の影響により樽型に歪んだ像面ワイヤーフレーム302となる。物体面での斜線領域が各2次元撮像素子で撮像する分割領域を示している。物体面での分割領域は等間隔に配置された同じ大きさの矩形であるが、撮像素子群が配置される像面では、歪んだ形状の分割領域が不等間隔で並んでいる。通常、物体面の被検試料が倒立像として像面に形成されるが、分割領域の対応関係をわかりやすくするために、以下では、物体面と像面が正立関係にあるものとして図示する。
【0031】
そこで、2次元撮像素子の有効画像面201a〜201lそれぞれの位置を、対応する分割領域(撮像する分割領域)の像面における形状及び位置に合わせて調整する。具体的には、2次元撮像素子の有効画像面201a〜201lの中心を物体面に投影した点である投影中心401a〜401lが、対応する分割領域の物体面における中心と一致するように、各2次元撮像素子の位置を決める。すなわち、図4に示すように、物体面上で等間隔に並んだ分割領域の像をそれぞれ有効画像面の中心で受光するように、意図的に、2次元撮像素子の像面上の配置(物理的な配置)を不等間隔に設定するのである。
【0032】
一方、2次元撮像素子の大きさ(有効画像面201a〜201lの大きさ)については、少なくとも、有効画像面が対応する分割領域を内包するように決められる。このとき、2次元撮像素子の大きさは同一にすることもできるし、互いに異ならせることもできる。本実施形態では後者の構成、すなわち、対応する分割領域の像面における大きさに応じて個々の2次元撮像素子の有効画像面の大きさを異ならせる。なお、像面では分割領域が歪んだ形状をしているため、ここでは、分割領域の外接矩形の大きさを分割領域の大きさと定義する。具体的には、各2次元撮像素子の有効画像面の大きさを、像面での分割領域の外接矩形と同じ大きさか、この外接矩形の周囲に合成処理に必要な所定幅のマージンを加えた大きさとなるよう設定すればよい。
【0033】
各2次元撮像素子の配置は、例えば、歪曲収差の設計値、若しくは、実測値から2次元撮像素子の配置中心と2次元撮像素子の大きさを算出しておき、工場調整時に実施するとよい。
【0034】
以上のように、結像光学系の収差を考慮して各2次元撮像素子の配置及び大きさを調整したことにより、2次元撮像素子の有効画像面を効率的に利用できる。よって、従来(図11)に比べて小サイズの2次元撮像素子で、画像合成に必要な画像データを取得することが可能である。また、物体面側における分割領域の大きさ及び間隔を一定にし、これを基準にして像面側の2次元撮像素子の配置を調整するというアプローチを採用したことにより、分割撮像における被写体の送り制御を単純な等間隔移動にできるという利点もある。分割撮像の手順については以下に説明する。
【0035】
(分割撮像の手順)
図5(a)及び図5(b)は、複数回撮像で撮像対象領域全体を撮像していく流れを説明する模式図である。ここで、撮像基準領域110aと撮像対象領域501について説明する。撮像基準領域110aは、プレパラートの移動にかかわらず、物体面の基準位置として存在する領域である。一方、撮像対象領域501は、プレパラート上に載置された被検試料がある領域である。
【0036】
図5(a)は、撮像素子群111a〜111lと、像面での撮像基準領域像110bの位置関係を模式的に図示している。結像光学系104の歪曲収差の影響により、像面での撮像基準領域像110bは矩形ではなく樽型に歪んだ形状となっている。
【0037】
図5(b)の(1)から(4)は、プレパラート側に設けた移動機構によりプレパラートを移動させたときに、撮像対象領域501を撮像素子群111a〜111lでどのように撮像していくかの変遷を示す図である。図5(a)に示すように撮像素子群111a〜111lと結像光学系の有効視野112の位置関係は固定であるため、各撮像素子群111a〜111lに対する結像光学系の歪曲収差形状は固定である。プレパラート(撮像対象領域501)を移動させながら全領域を撮像するときは、歪曲収差を考慮に入れる必要を排除するために、図5(b)の(1)から(4)に示すように物体面での撮像対象領域501の等間隔移動を考えるのが簡単である。実際には撮像素子群111a〜111lで各分割領域を撮像後に、現像・補正部106で各撮像素子に合わせた歪曲収差補正が必要であるが、撮像対象領域501全体を隙間なく撮像することだけを考えるのであれば、物体面で考えるだけで十分である。
【0038】
図5(b)の(1)には1回目の撮像で取得するエリアを黒ベタで示している。1回目の撮像位置(初期位置)では光源の発光波長を切り替えてRGBの各画像を取得する。プレパラートが初期位置にある場合は、撮像基準領域110a(実線)と撮像対象領域501(一点鎖線)は一致している。(2)には移動機構によりプレパラートをY正方向に移動させた後の、2回目の撮像で取得するエリアを斜線(左下がり斜線)で示している。(3)には移動機構によりプレパラートをX負方向に移動させた後の、3回目の撮像で取得するエリアを逆斜線(右下がり斜線)で、(4)には移動機構によりプレパラートをY負方向に移動させた後の、4回目の撮像で取得するエリアを網掛けで示している。
【0039】
なお、後段の合成処理を簡易なシーケンスで行うために、物体面におけるX方向に隣り合う分割領域のY方向の読み出し画素数は概略一致しているとよい。また、合成部107で合成処理を行うために、隣接する撮像素子間には重複領域(マージン)が必要となるが、説明を簡単にするために、ここでは重複領域を省略している。
以上より、撮像素子群により4回の撮像(移動機構によるプレパラート移動回数が3回
)で撮像対象領域全体を隙間なく撮像することができる。
【0040】
(撮像処理)
図6(a)は複数回撮像で撮像対象領域全体を撮像する処理フローを示している。なお、以下に述べる各ステップの処理は、制御部130が実行するか、又は、制御部130からの指令に基づき撮像装置の各部が実行するものである。
【0041】
ステップS601では、撮像エリアの設定を行う。本実施形態では、プレパラート上の被検試料の存在位置に合わせて、15mm×10mmの大きさの撮像対象領域が設定される。被検試料の存在位置は、ユーザが指定することもできるし、プレパラートを事前に計測又は撮像した結果から自動で判定することもできる。
【0042】
ステップS602では、1回目の撮像(N=1)を行う初期位置へプレパラートを移動させる。図5(b)を例にすると、撮像基準領域110aと撮像対象領域501の相対位置が(1)で示す状態となるようにプレパラートを移動させる。この初期位置のときには、撮像基準領域110aと撮像対象領域501の位置は一致する。
【0043】
ステップS603では、N回目のレンズ画角内撮像を行う。各撮像素子で取得した画像データは、現像・補正部106に送られ必要な処理が施された後、合成部107での合成処理に利用される。なお、図4に示すように、分割領域の形状は歪んでいるため、撮像素子で取得した画像データから分割領域の部分のデータを切り出し、切り出したデータに対して収差補正を施す処理が必要となる。本実施形態では、これらの処理は現像・補正部106が行う。
【0044】
ステップS604では、撮像対象領域全体の撮像が終了したか否かを判断する。撮像対象領域全体の撮像が終了していなければ、S605へ進む。撮像対象領域全体の撮像が終了していれば、すなわち、本実施形態の場合にはN=4の場合には、処理を終了する。
ステップS605では、N回目(N≧2)の撮像を行う位置となるように、移動機構によりプレパラートを移動させる。図5(b)を例にすると、撮像基準領域110aと撮像対象領域501の相対位置が(2)〜(4)で示す状態となるようにプレパラートを移動させる。
【0045】
図6(b)はステップS603のレンズ画角内撮像での処理をさらに分解した処理フローを示している。
ステップS606では、単色光源(R光源、G光源、または、B光源)の発光、及び、撮像素子群の露光を開始する。単色光源の点灯タイミングと撮像素子群の露光タイミングは同期して動作するように制御される。
ステップS607では、各撮像素子から単色画像信号(R画像信号、G画像信号、または、B画像信号)の読み出しを行う。
ステップS608では、RGB画像の撮像が全て終了したかどうかを判断する。RGB各画像の撮像が終了していなければS606へ戻り、終了していれば処理を終了する。
以上の処理ステップにしたがって、RGB各画像の4回撮像により撮像対象領域全体の撮像を行う。
【0046】
(本実施形態の利点)
以上述べた本実施形態の構成によれば、結像光学系の収差を考慮して各2次元撮像素子の配置及び大きさを調整したことにより、従来に比べて小サイズの2次元撮像素子で、画像合成に必要な画像データを取得することができる。その結果、無駄なデータ(画像合成に不要な領域のデータ)の取得を極力省くことができることから、データ量が削減され、データ伝送や画像処理の効率化を図ることができる。
【0047】
なお、画像データを効率的に取得する方法としては、本実施形態の方法以外にも、分割領域の歪んだ形状に合わせて2次元撮像素子の画素構造(画素の形状、配置)そのものを変更するという方法も考え得る。しかしながら、この方法は、設計コスト、製造コストがかかる上に汎用性がないため、実際の実現は困難である。これに対し、本実施形態の方法は、図2(b)に示すような同一形状の画素が均等配列された一般的な2次元撮像素子をそのまま利用できる、という利点もある。
【0048】
[第2の実施形態]
次に、本発明の第2の実施形態を説明する。第1の実施形態では、有効画像面の効率的な利用という観点から、分割領域個々の形状に合わせて各2次元撮像素子の有効画像面の大きさを異ならせることが好ましいことについて述べた。これに対し、本実施形態では、構成の簡素化、コスト低減、メンテナンス性の向上のため、同一スペックの2次元撮像素子を利用する構成を説明する。
【0049】
本実施形態の説明において、前述した第1の実施形態と同一の部分についての詳細な説明を省略する。図1(a)に示した撮像装置の概略構成、図2(a)及び図2(b)に示した2次元撮像素子の構成、図3(a)及び図3(b)に示した結像光学系の収差、図5(b)に示した分割撮像の手順は、第1の実施形態と同じである。
【0050】
(撮像素子の配置)
図7(a)〜図7(c)は、歪曲収差に応じた読み出し領域を説明する模式図である。
図7(a)は、図4と同様に、歪曲収差を考えたときの2次元撮像素子の配置を説明する模式図である。物体面(プレパラート上)の物体面ワイヤーフレーム301が、像面(2次元撮像素子の有効画像面上)では歪曲収差の影響により樽型に歪んだ像面ワイヤーフレーム302となる。物体面での斜線領域が各撮像素子で撮像する分割領域を示している。物体面での分割領域は等間隔に配置された同じ大きさの矩形であるが、撮像素子群が配置される像面では、歪んだ形状の分割領域が不等間隔で並んでいる。
【0051】
そこで、第1の実施形態と同様、2次元撮像素子の有効画像面201a〜201lの中心を物体面に投影した点である投影中心401a〜401lが、対応する分割領域の物体面における中心と一致するように、各2次元撮像素子の位置を決める。第1の実施形態(図4)と異なる点は、有効画像面の大きさが一致(又は略一致)する複数の2次元撮像素子を用いている点である。この構成の場合でも、撮像素子を等間隔配置した従来の構成(図11)に比べれば、各撮像素子の有効画像面を十分に小さくでき、画像データの生成効率を高めることができる。
【0052】
(データの読み出し方法)
図7(b)は、2次元撮像素子のランダム読み出しを説明する模式図である。ここでは代表として撮像素子111aに着目し、撮像素子111aにおいて分割領域のみの画像データをランダム読み出しする場合を図示している。画像合成に必要な分割領域(斜線部分)を読み出しアドレスとして予め保持しておけば、その領域のデータのみを読み出すことができる。2次元撮像素子のランダム読み出しは、読み出しがXYアドレッシング方式であるCMOSイメージセンサのランダム読み出しで実現できる。制御部内のメモリに各撮像素子の読み出しアドレスをあらかじめ保持しておくことで、画像合成に必要な領域のデータのみの読み出しが可能となる。
【0053】
図7(c)は、2次元撮像素子のROI(Region Of Interest)制御を説明する模式図である。ここでは代表として撮像素子111cに着目し、撮像素子111cにおいて分割領域に外接する矩形領域の画像データをROI切り出しする場合を図
示している。一点鎖線領域をROIとして予め保持しておけば、その領域のデータのみを読み出すことができる。2次元撮像素子のROI切り出しは、読み出しがXYアドレッシング方式であるCMOSイメージセンサで実現できる。制御部内のメモリに各撮像素子のROIを予め保持しておくことで、画像合成に必要な領域を内包する矩形領域のデータの切り出しが可能となる。
【0054】
図7(b)の方法は、高精度に分割領域の読み出しができ、画像合成に寄与する画像データのみを効率良く生成できるが、読み出しアドレスを格納する大容量メモリが必要であるとともに、ランダム読み出しのための制御回路も複雑化・大型化する。一方、図7(c)の方法は、後段の処理として分割領域の切り出しが必要となるが、読み出しのための回路を簡素化できるという利点がある。システム構成に合わせて、いずれかの方式を選択できる。
【0055】
図7(b)のランダム読み出しアドレス、図7(c)のROIの情報は、歪曲収差の設計値、若しくは、実測値から算出し、工場調整時にメモリに保持しておけばよい。
【0056】
実際には、合成部107で合成処理(繋ぎ合わせ処理)を行うために、隣接する分割領域の画像間には重複領域(マージン)が必要となる。したがって、各々の2次元撮像素子からはこの重複領域を見込んだ大きさの領域のデータを読み出す(又は切り出す)こととなる。ただしここでは、説明を簡単にするために、重複領域を省略している。
【0057】
(倍率色収差への対処)
ここまでは歪曲収差に対して説明を行ってきたが、ここで図8を用いて倍率色収差に対しての説明を行う。
【0058】
図3(b)で説明したように、倍率色収差が生じると、像面での分割領域の位置及び大きさが色ごとに異なる。そのため、2次元撮像素子の有効画像面の配置及び大きさは、R、G、Bそれぞれの分割領域の形状をすべて内包するように決定する。そして、色ごとに、図7(b)で説明したランダム読み出しアドレス、若しくは、図7(c)で説明したROIの再設定を行うことで、色ごとに適切な領域の画像データの読み出しを行う。
【0059】
図8は、倍率色収差に応じた画像データ読み出しを説明するフローチャートである。これは、第1の実施形態の図6(b)に対応するものである。複数回撮像で撮像対象領域全体を撮像する処理フローは図6(a)と同様である。
【0060】
ステップS801では、撮像素子ごと、色ごとに、ランダム読み出しアドレス、若しくは、ROIの再設定を行う。ここで、各撮像素子の読み出し領域が決定する。制御部は、図3(b)で説明した倍率色収差に対応するように、RGBごとにランダム読み出しアドレス、若しくは、ROIを予め保持しており、それを呼び出すことで再設定を行う。RGBごとのランダム読み出しアドレス、RGBごとのROIの情報は、歪曲収差の設計値、若しくは、実測値から算出し、工場調整時にメモリに保持しておくものとする。
【0061】
ステップS802では、単色光源(R光源、G光源、または、B光源)の発光、及び、撮像素子群の露光を開始する。単色光源の点灯タイミングと撮像素子群の露光タイミングは同期して動作するように制御される。
ステップS803では、各撮像素子から単色画像信号(R画像信号、G画像信号、または、B画像信号)の読み出しを行う。このとき、ステップS801で設定したランダム読み出しアドレス又はROIにしたがって、必要な領域の画像データのみが読み出される。
ステップS804では、RGB画像の撮像が全て終了したかどうかを判断する。RGB各画像の撮像が終了していなければS801へ戻り、終了していれば処理を終了する。
以上の処理ステップにより、倍率色収差による色ごとの位置及び大きさのずれが修正された画像データを効率的に取得することができる。
【0062】
(データの読み出し制御のための構成)
図9は、電気的に各撮像素子のデータの読み出し範囲を制御する構成を説明する模式図である。図9に示すように、制御部130は、各撮像素子111a〜111lの読み出し領域又は切り出し領域を制御する撮像制御部901a〜901lと、撮像信号制御部902と、収差データ格納部903と、CPU904を備えて構成される。
【0063】
2次元撮像素子のランダム読み出しやROI制御を考慮し、予め、対物レンズの歪曲収差データを収差データ格納部1003に格納する。歪曲収差データは、歪曲収差形状を表すデータである必要はなく、ランダム読み出しやROI制御を行うための位置データ、若しくは、それに変換できるデータであれば良い。撮像信号制御部902は、CPU904から対物レンズ情報を受信し、該当する対物レンズの歪曲収差データを収差データ格納部903から読み出す。そして、撮像信号制御部902は、読み出した歪曲収差データに基づき、撮像制御部901a〜901lを駆動する。
【0064】
図8で説明した倍率色収差に対応する場合には、収差データ格納部903に対し、倍率色収差データを格納する。撮像信号制御部902は、CPU904から撮像色(RGB)が変更された信号をうけ、該当する色(RGBのいずれか)の倍率色収差データを収差データ格納部903から読み出す。そして、読み出した倍率色収差データに基づき、撮像制御部901a〜901lを駆動することになる。
【0065】
以上の構成により、有効画像面の大きさが同じ2次元撮像素子を利用する場合でも、2次元撮像素子のランダム読み出しやROI制御を行うことで画像データを効率良く生成することができる。そして本実施形態の構成によれば、同一スペックの2次元撮像素子及び撮像制御部を用いることができるので、構成の簡素化、コストの低減、メンテナンス性の向上を図ることができる。なお、本実施形態では撮像素子から必要なデータのみ読み出す構成としたが、第1の実施形態のように撮像素子から全部のデータを読み出し、後段(現像・補正部106)で必要なデータを切り出すようにしてもよい。
【0066】
[第3の実施形態]
上記実施形態では静的で固定値としての歪曲収差を考えてきたが、第3の実施形態では動的に変動する歪曲収差について言及する。
【0067】
例えば、結像光学系104の対物レンズの倍率を変更した場合や、対物レンズ自体を交換した場合には、レンズ形状や光学特性の違いにより収差が変化し、像面における各分割領域の形状や位置が異なったものとなる。また、環境温度の変化や照明光の熱などによって、撮像装置の使用中に結像光学系104の収差が変動することも考えられる。そこで、結像光学系104の倍率変更又はレンズ交換を検知するセンサや結像光学系104の温度を測定するセンサなどを設け、その検知結果に基づき収差の変化に適応的に対応できるようにするとよい。
【0068】
具体的には、図9で示したような構成において、変化後の収差による各分割領域の変形や変位に応じて、各撮像素子のデータの読み出し範囲を電気的に変化させてもよい。あるいは、変化後の収差による各分割領域の変形や変位に応じて、機械的に各撮像素子を再配置してもよい。機械的に各撮像素子を再配置する構成(位置調整手段)は、一般的な顕微鏡に用いられているXYθステージのピエゾ駆動やモータ駆動により、各撮像素子の位置制御や回転制御を行うことで実現できる。この場合も有効画像面の大きさが略一致する複数の2次元撮像素子を用いることで、同一の機械的駆動機構を用いることができ、構成を
簡素化できる。なお、対物レンズの設計値若しくは実測値から、対物レンズの倍率や種類、温度といった条件ごとに、2次元撮像素子の配置中心と大きさを算出し、工場調整時に各条件での各2次元撮像素子の配置をメモリに保持しておくものとする。
【0069】
以下、図10を用いて、対物レンズの倍率変更や交換に応じて、各撮像素子を機械的に再配置する構成の例を説明する。撮像部105には、それぞれの撮像素子111a〜111lに対し、XYθステージ1001a〜1001lが設けられている。XYθステージ1001a〜1001lにより、撮像素子111a〜111lの有効画像面のX方向とY方向の平行移動とZ軸周りの回転が可能となる。また制御部130は、XYθステージ制御部1002、収差データ格納部1003、CPU1004、レンズ検知部1005を備えている。
【0070】
対物レンズの倍率ごと、及び、対物レンズの種類ごとの歪曲収差データが、収差データ格納部1003に格納されている。歪曲収差データは、歪曲収差形状を表すデータである必要はなく、XYθステージを駆動するための位置データ、若しくは、それに変換できるデータであれば良い。レンズ検知部1005は、対物レンズの変更を検知し、CPU1004に通知する。XYθステージ制御部1002は、CPU1004から対物レンズが変更された信号を受け、該当する対物レンズの歪曲収差データを収差データ格納部1003から読み出す。そして、XYθステージ制御部1002は、読み出した歪曲収差データに基づき、XYθステージ1001a〜1001lを駆動する。
【0071】
以上述べた本実施形態の構成によれば、第1、第2の実施形態と同様、画像合成に必要な画像データを効率良くすることができる。加えて、対物レンズの変更に対して、適応的に2次元撮像素子の配置を変化させることで、倍率変更、レンズ交換の各操作により生じる歪曲収差の変化に対応することができる。また、撮像素子群として有効画像面の大きさが略一致する2次元撮像素子を用いているため、各2次元撮像素子の移動制御機構に同一の機構を用いることができ、構成の簡素化及びコストの低減を図ることができる。
なお、温度による収差変動に対応するには、図9、図10などの構成において結像光学系104の鏡筒の温度を測定する温度センサを設け、その測定温度に応じて撮像素子のデータ読み出し範囲の変更あるいは撮像素子の位置調整を行えばよい。
【符号の説明】
【0072】
103:プレパラート、104:結像光学系、105:撮像部、111a〜111l:2次元撮像素子、113:移動機構、130:制御部

【特許請求の範囲】
【請求項1】
被写体の撮像対象領域を複数の領域に分割し、各分割領域を2次元撮像素子で撮像する撮像装置であって、
離散的に配置された複数の2次元撮像素子と、
前記被写体の像を拡大して前記複数の2次元撮像素子の像面に結像する結像光学系と、
各2次元撮像素子で撮像する分割領域を変えながら複数回の撮像を行うために、前記被写体を移動する移動手段と、
を有し、
前記複数の分割領域のうちの少なくとも一部は、前記像面において、前記結像光学系の収差により変形又は変位しており、
前記複数の2次元撮像素子それぞれの位置が、対応する分割領域の前記像面における形状及び位置に合わせて調整されている
ことを特徴とする撮像装置。
【請求項2】
前記被写体の物体面において等間隔に並ぶ複数の分割領域にそれぞれ対応する複数の2次元撮像素子が、前記像面において不等間隔に配置されている
ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記複数の2次元撮像素子それぞれの位置は、2次元撮像素子の中心を前記被写体の物体面に投影した点である投影中心が、対応する分割領域の前記物体面における中心と一致するように、調整されている
ことを特徴とする請求項1又は2に記載の撮像装置。
【請求項4】
前記複数の2次元撮像素子の大きさが、対応する分割領域の前記像面における外接矩形の大きさに応じて、異なっている
ことを特徴とする請求項1〜3のうちいずれか1項に記載の撮像装置。
【請求項5】
前記複数の2次元撮像素子は、同一スペックのものである
ことを特徴とする請求項1〜3のうちいずれか1項に記載の撮像装置。
【請求項6】
前記2次元撮像素子の画素構造は、同一形状の画素が均等配列されたものである
ことを特徴とする請求項1〜5のうちいずれか1項に記載の撮像装置。
【請求項7】
各2次元撮像素子から対応する分割領域に応じた範囲のデータのみが読み出されるように、各2次元撮像素子のデータの読み出し範囲を制御する読み出し制御手段をさらに有する
ことを特徴とする請求項1〜6のうちいずれか1項に記載の撮像装置。
【請求項8】
前記読み出し制御手段は、前記結像光学系の収差が変化した場合に、変化後の収差による各分割領域の変形又は変位に応じて、各2次元撮像素子のデータの読み出し範囲を変化させる
ことを特徴とする請求項7に記載の撮像装置。
【請求項9】
前記結像光学系の倍率変更又はレンズ交換を検知する検知手段をさらに有し、
前記読み出し制御手段は、前記検知手段によって前記結像光学系の倍率変更又はレンズ交換を検知したときに、前記結像光学系の収差が変化したと判断する
ことを特徴とする請求項8に記載の撮像装置。
【請求項10】
前記結像光学系の温度を測定する測定手段をさらに有し、
前記読み出し制御手段は、前記測定手段の測定温度に基づいて前記結像光学系の収差の変化を判断する
ことを特徴とする請求項8に記載の撮像装置。
【請求項11】
前記結像光学系の収差が変化した場合に、変化後の収差による各分割領域の変形又は変位に応じて、各2次元撮像素子の位置を変化させる位置調整手段をさらに有する
ことを特徴とする請求項1〜6のうちいずれか1項に記載の撮像装置。
【請求項12】
前記結像光学系の倍率変更又はレンズ交換を検知する検知手段をさらに有し、
前記位置調整手段は、前記検知手段によって前記結像光学系の倍率変更又はレンズ交換を検知したときに、前記結像光学系の収差が変化したと判断する
ことを特徴とする請求項11に記載の撮像装置。
【請求項13】
前記結像光学系の温度を測定する測定手段をさらに有し、
前記位置調整手段は、前記測定手段の測定温度に基づいて前記結像光学系の収差の変化を判断する
ことを特徴とする請求項11に記載の撮像装置。
【請求項14】
前記結像光学系の収差は、歪曲収差又は倍率色収差である
ことを特徴とする請求項1〜13のうちいずれか1項に記載の撮像装置。
【請求項15】
2次元撮像素子の位置、大きさとは、2次元撮像素子の有効画素が配置されている領域である有効画像面の位置、大きさをいう
ことを特徴とする請求項1〜14のうちいずれか1項に記載の撮像装置。
【請求項16】
被写体の撮像対象領域を複数の領域に分割し、各分割領域を2次元撮像素子で撮像する撮像装置であって、
離散的に配置された複数の2次元撮像素子と、
前記被写体の像を拡大して前記複数の2次元撮像素子の像面に結像する結像光学系と、
各2次元撮像素子で撮像する分割領域を変えながら複数回の撮像を行うために、前記被写体を移動する移動手段と、
前記複数の2次元撮像素子それぞれの位置を調整するための位置調整手段と、
を有し、
前記複数の分割領域のうちの少なくとも一部は、前記像面において、前記結像光学系の収差により変形又は変位しており、
前記位置調整手段は、前記結像光学系の収差が変化した場合に、変化後の収差による各分割領域の変形又は変位に応じて、各2次元撮像素子の位置を変化させる
ことを特徴とする撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2012−138891(P2012−138891A)
【公開日】平成24年7月19日(2012.7.19)
【国際特許分類】
【出願番号】特願2011−183091(P2011−183091)
【出願日】平成23年8月24日(2011.8.24)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】