固体撮像装置及びカメラモジュール
【課題】カメラモジュールの小型化と高速なフォーカス調整を可能とし、高感度かつ高解像度で、色再現性の優れた画像の撮影を可能とする固体撮像装置及びカメラモジュールを提供すること。
【解決手段】実施形態によれば、固体撮像装置は、撮像処理回路20及びフォーカス駆動制御部を有する。撮像処理回路20は、輝度情報生成部42、視差量算出部43及び画像合成部48を有する。輝度情報生成部42は、特定の色成分についての第1輝度情報55を生成する。視差量算出部43は、第1輝度情報55と、第2輝度情報であるモノクロ画像データ51とを基に、視差量を算出する。画像合成部48は、色情報54と、第2輝度情報とを含む合成画像データ57を生成する。フォーカス駆動制御部は、視差量を用いて求められた被写体距離に応じてフォーカス駆動を制御する。
【解決手段】実施形態によれば、固体撮像装置は、撮像処理回路20及びフォーカス駆動制御部を有する。撮像処理回路20は、輝度情報生成部42、視差量算出部43及び画像合成部48を有する。輝度情報生成部42は、特定の色成分についての第1輝度情報55を生成する。視差量算出部43は、第1輝度情報55と、第2輝度情報であるモノクロ画像データ51とを基に、視差量を算出する。画像合成部48は、色情報54と、第2輝度情報とを含む合成画像データ57を生成する。フォーカス駆動制御部は、視差量を用いて求められた被写体距離に応じてフォーカス駆動を制御する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、固体撮像装置及びカメラモジュールに関する。
【背景技術】
【0002】
従来、固体撮像装置は、高感度な画像撮影を実現するために、例えば、画素を大型にするという措置を採り得る。画素の大型化によりイメージセンサが大型となると、撮像レンズから受光面までの距離(焦点距離)が長くなるために、カメラモジュールの薄型化が困難となる。
【0003】
イメージセンサの多くは、2行2列の画素ブロック中の対角に赤色(R)画素及び青色(B)画素を配置し、残りの対角に2個の緑色(G)画素を配置する、いわゆるベイヤー配列が採用されている。従来、高感度な画像撮影を実現するために、2行2列の画素ブロック中の1個のG画素が、白色(W)画素に置き換えられたイメージセンサが提案されている。W画素は、白色光を取り込む。イメージセンサは、W画素を設けることで、輝度信号の信号電荷量を十分に確保可能とする。
【0004】
W画素は、他の色画素に比べて広い波長域の光を取り込むため、画素セルへの入射光量に対する出力の飽和が、他の色画素より先に生じることとなる。W画素を備えるイメージセンサは、入射光量に対する出力の飽和がW画素で生じることで、各色について十分な感度が得られないことがあり得る。また、W画素へ多くの光が取り込まれることで、W画素から、W画素に隣接する他の色画素へ光が漏れ出すことによるクロストークが生じ易くなる。W画素を備えるイメージセンサは、クロストークによる色再現性の低下が課題となっている。
【0005】
また、従来、カメラモジュールのオートフォーカス機能として、位相差検出方式やコントラスト検出方式によるものが知られている。コントラスト検出方式によるオートフォーカスは、撮像レンズを動かしながらピントを合わせることからフォーカス調整に時間がかかることが課題となっている。位相差検出方式によるオートフォーカスは、オートフォーカスの専用センサと、専用センサへ光を分岐させる構成を設けることで、カメラモジュールの小型化が難しくなる点が課題となっている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−17544号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の一つの実施形態は、カメラモジュールの小型化と高速なフォーカス調整を可能とし、高感度かつ高解像度で、色再現性の優れた画像の撮影を可能とする固体撮像装置及びカメラモジュールを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一つの実施形態によれば、固体撮像装置は、第1イメージセンサ、第2イメージセンサ、撮像処理回路及びフォーカス駆動制御部を有する。第1イメージセンサは、第1画像信号を出力する。第1画像信号は、被写体から入射する各色光の強度分布に応じている。第2イメージセンサは、第2画像信号を出力する。第2画像信号は、被写体から入射する光の輝度分布に応じている。撮像処理回路は、第1画像信号及び第2画像信号の信号処理を実施する。フォーカス駆動制御部は、第1撮像レンズ及び第2撮像レンズのフォーカス駆動を制御する。第1撮像レンズは、被写体からの光を第1イメージセンサへ入射させる。第2撮像レンズは、被写体からの光を第2イメージセンサへ入射させる。撮像処理回路は、輝度情報生成部、視差量算出部及び画像合成部を有する。輝度情報生成部は、第1画像信号から抽出された輝度情報から、特定の色成分についての第1輝度情報を生成する。視差量算出部は、第1イメージセンサにより取得した画像と、第2イメージセンサにより取得した画像との視差量を算出する。視差量算出部は、第1輝度情報と第2輝度情報とを基に、視差量を算出する。第2輝度情報は、第2画像信号に含まれる輝度情報である。画像合成部は、第1画像信号から抽出された色情報と、第2輝度情報とを含む合成画像データを生成する。フォーカス駆動制御部は、視差量を用いて求められた被写体距離に応じてフォーカス駆動を制御する。
【図面の簡単な説明】
【0009】
【図1】実施形態にかかる固体撮像装置を適用したカメラモジュールの一部構成を模式的に表した斜視図。
【図2】カメラモジュールの概略構成を示すブロック図。
【図3】レンズモジュール、固体撮像装置及びISPの詳細を示すブロック図。
【図4】タイミング生成器によるフレームタイミングの調整について説明するブロック図。
【図5】フレームメモリを使用するフレームタイミングの調整について説明するブロック図。
【図6】ISPの信号処理回路による信号処理の手順を説明するフローチャート。
【図7】撮像処理回路の詳細を示すブロック図。
【図8】輝度情報生成部における第1輝度情報の生成について説明する図。
【図9】輝度情報生成部における第1輝度情報の生成について説明する図。
【図10】カメラモジュールにおけるフォーカス調整のための手順を示すフローチャート。
【図11】G成分の輝度画像とモノクロ画像とからの視差量の算出について説明する図。
【図12】被写体距離算出部における被写体距離の算出について説明する図。
【図13】第1輝度情報及び第2輝度情報の合成による合成輝度情報の取得に関する変形例を説明する図表。
【図14】タイプ3にて使用するカラーイメージセンサにおける画素の配列を説明する図。
【図15】タイプ4にて使用するカラーイメージセンサにおける画素の配列を説明する図。
【図16】Y画素についてのC成分の輝度値の算出について説明する図。
【図17】C画素についてのY成分の輝度値の算出について説明する図。
【発明を実施するための形態】
【0010】
以下に添付図面を参照して、実施形態にかかる固体撮像装置及びカメラモジュールを詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【0011】
(実施形態)
図1は、実施形態にかかる固体撮像装置を適用したカメラモジュールの一部構成を模式的に表した斜視図である。図2は、カメラモジュールの概略構成を示すブロック図である。カメラモジュール10は、レンズモジュール11、固体撮像装置12、イメージシグナルプロセッサ(image signal processor;ISP)13、記憶部14及び表示部15を有する。
【0012】
レンズモジュール11は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置12は、被写体像を撮像する。ISP13は、固体撮像装置12での撮像により得られた画像信号の信号処理を実施する。記憶部14は、ISP13での信号処理を経た画像を格納する。記憶部14は、ユーザの操作等に応じて、表示部15へ画像信号を出力する。表示部15は、ISP13あるいは記憶部14から入力される画像信号に応じて、画像を表示する。表示部15は、例えば、液晶ディスプレイである。
【0013】
図3は、レンズモジュール、固体撮像装置及びISPの詳細を示すブロック図である。レンズモジュール11は、第1撮像レンズ21、第2撮像レンズ22及びレンズ駆動部27を有する。第1撮像レンズ21は、被写体からの光を取り込み、カラーイメージセンサ23へ入射させる。第2撮像レンズ22は、被写体からの光を取り込み、モノクロイメージセンサ24へ入射させる。
【0014】
図1に示すように、第1撮像レンズ21及び第2撮像レンズ22は、共通のレンズホルダー16に取り付けられている。第1撮像レンズ21及び第2撮像レンズ22は、例えば、それぞれレンズバレルに保持された状態で、レンズホルダー16に取り付けられる。第1撮像レンズ21及び第2撮像レンズ22は、図中一点鎖線で示す第1撮像レンズ21の光軸及び第2撮像レンズ22の光軸に対して垂直な方向へ並べられている。
【0015】
固体撮像装置12は、撮像処理回路20、カラーイメージセンサ23、モノクロイメージセンサ24、タイミング生成器25、フレームメモリ26、オートフォーカス(AF)駆動ドライバ35及び被写体距離算出部36を有する。
【0016】
カラーイメージセンサ23は、例えばベイヤー配列をなして配置されたR画素、G画素及びB画素を有する。R画素は、R光を検出する。G画素は、G光を検出する。B画素は、B光を検出する。カラーイメージセンサ23は、RAW画像データを出力する第1イメージセンサとして機能する。RAW画像データは、被写体から入射する各色光の強度分布に応じた第1画像信号とする。
【0017】
モノクロイメージセンサ24は、アレイ状に配置されたW画素を有する。W画素は、W光を検出する。モノクロイメージセンサ24は、モノクロ画像データを出力する第2イメージセンサとして機能する。モノクロ画像データは、被写体から入射する光の輝度分布に応じた第2画像信号とする。カラーイメージセンサ23及びモノクロイメージセンサ24は、例えば、LVDS(low voltage differential signaling)による伝送方式を採用する。
【0018】
撮像処理回路20は、カラーイメージセンサ23からのRAW画像データと、モノクロイメージセンサ24からのモノクロ画像データとの信号処理を実施する。撮像処理回路20は、RAW画像データ及びモノクロ画像データを合成して得られた合成画像データを出力する。
【0019】
フレームメモリ26は、撮像処理回路20に取り込まれたRAW画像データ及びモノクロ画像データの少なくともいずれかを格納する。フレームメモリ26は、後述する視差補正のために使用される他、例えば、高ダイナミックレンジ(high dynamic range;HDR)処理や手振れ補正等のために使用されるものとしても良い。
【0020】
図1に示すように、カラーイメージセンサ23、モノクロイメージセンサ24及びフレームメモリ26は、共通のプリント基板17上に配置されている。第1撮像レンズ21は、カラーイメージセンサ23に対向させて配置されている。第2撮像レンズ22は、モノクロイメージセンサ24に対向させて配置されている。
【0021】
カメラモジュール10は、カラーイメージセンサ23、モノクロイメージセンサ24及びフレームメモリ26を共通のプリント基板17上に集約することで、小型化に適した構成としている。タイミング生成器25は、RAW画像データとモノクロ画像データとに適用するフレームタイミングを生成する。
【0022】
被写体距離算出部36は、撮像処理回路20で求められた視差量に応じて、被写体距離を算出する。AF駆動ドライバ35は、被写体距離算出部36で算出された被写体距離に応じて、レンズ駆動部27を制御する。AF駆動ドライバ35は、視差量を用いて求められた被写体距離に応じて第1撮像レンズ21及び第2撮像レンズ22のフォーカス駆動を制御するフォーカス駆動制御部として機能する。
【0023】
図4は、タイミング生成器によるフレームタイミングの調整について説明するブロック図である。タイミング生成器25は、水平同期信号H及び垂直同期信号Vを生成する。カラーイメージセンサ23は、フレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、RAW画像データを出力する。また、モノクロイメージセンサ24は、フレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、モノクロ画像データを出力する。
【0024】
図5は、フレームメモリを使用するフレームタイミングの調整について説明するブロック図である。カラー用フレームメモリ28は、カラーイメージセンサ23からのRAW画像データを一時的に格納する。モノクロ用フレームメモリ29は、モノクロイメージセンサ24からのモノクロ画像データを一時的に格納する。カラー用フレームメモリ28及びモノクロ用フレームメモリ29は、例えば、フレームメモリ26(図3参照)に包含されているものとする。
【0025】
カラー用フレームメモリ28は、格納しているRAW画像データのフレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、RAW画像データを出力する。モノクロ用フレームメモリ29は、格納しているモノクロ画像データのフレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、モノクロ画像データを出力する。固体撮像装置12は、図4及び図5のいずれの構成によってフレームタイミングを調整しても良いものとする。
【0026】
図3に示すように、ISP13は、カメラインタフェース(I/F)31、画像取り込み部32、信号処理回路33及びドライバインタフェース(I/F)34を有する。カメラI/F31は、固体撮像装置12からの合成画像データの入力を受け付ける。画像取り込み部32は、カメラI/F31へ入力された合成画像データを取り込む。
【0027】
信号処理回路33は、画像取り込み部32へ取り込まれた合成画像について、信号処理を実施する。ドライバI/F34は、信号処理回路33での信号処理を経た画像データを、記憶部14及び表示部15(図1参照)へ出力する。
【0028】
図6は、ISPの信号処理回路による信号処理の手順を説明するフローチャートである。信号処理回路33は、画像取り込み部32へ取り込まれた画像について、シェーディング補正を実施する(ステップS1)。信号処理回路33は、シェーディング補正により、第1撮像レンズ21及び第2撮像レンズ22について、中央部と周辺部との光量差による輝度ムラを補正する。
【0029】
信号処理回路33は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するノイズリダクション(ステップS2)及び解像度復元処理(ステップS3)を実施する。次に、信号処理回路33は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理(デモザイキング)を施す(ステップS4)。デモザイキングでは、撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。信号処理回路33は、デモザイキングによりカラーのビットマップ画像を合成する。
【0030】
信号処理回路33は、カラー画像に対して、ホワイトバランスの自動調整(automatic white balance control;AWB)を実施する(ステップS5)。さらに、信号処理回路33は、色再現性を得るためのリニアカラーマトリクス処理(ステップS6)、ディスプレイ等に表示される画像の彩度や明るさを補正するためのガンマ補正(ステップS7)を実施する。なお、本実施形態で説明する信号処理回路33における信号処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。
【0031】
カメラモジュール10における信号処理のための構成は、前段の撮像処理回路20と、後段のISP13とに大別される。カメラモジュール10において、撮像処理回路20及びISP13は、カラーイメージセンサ23及びモノクロイメージセンサ24により取り込まれた画像信号の信号処理を実施する画像処理装置として機能する。
【0032】
レンズ駆動部27は、第1撮像レンズ21及び第2撮像レンズ22のフォーカス調整のために、光軸の方向について第1撮像レンズ21及び第2撮像レンズ22を駆動する。レンズ駆動部27は、レンズホルダー16を移動させることで、第1撮像レンズ21及び第2撮像レンズ22を一括して駆動する。カメラモジュール10は、第1撮像レンズ21及び第2撮像レンズ22を一括して駆動可能とすることで、第1撮像レンズ21及び第2撮像レンズ22を個別に駆動する場合に比べてレンズモジュール11を簡易な構成にできる。
【0033】
図7は、撮像処理回路の詳細を示すブロック図である。撮像処理回路20は、カラー信号分離部41、輝度情報生成部42、視差量算出部43、視差補正部44、輝度情報合成部45、解像度復元部46、ローパスフィルタ(LPF)47及び画像合成部48を有する。撮像処理回路20には、カラーイメージセンサ23からのRAW画像データ52と、モノクロイメージセンサ24からのモノクロ画像データ51とが入力される。
【0034】
カラー信号分離部41は、カラーイメージセンサ23から入力されたRAW画像データ52を、輝度情報53及び色情報54へと分離する。輝度情報53は、例えば、YUV色空間の輝度成分に相当する情報とする。色情報54は、例えば、YUV色空間の色差成分に相当する情報とする。
【0035】
輝度情報生成部42は、カラー信号分離部41においてRAW画像データ52から抽出された輝度情報53から、特定の色成分であるG成分についての第1輝度情報55を生成する。
【0036】
図8及び図9は、輝度情報生成部における第1輝度情報の生成について説明する図である。輝度情報生成部42は、R画素及びB画素については、周囲のG画素が検出した輝度値の補間処理により、G成分の輝度値を算出する。
【0037】
輝度情報生成部42は、R画素についてのG成分の輝度値の算出において、例えば、図8に示すように、R画素を中心とする3行3列の画素ブロックに含まれる4個のG画素が検出した輝度値を参照する。輝度情報生成部42は、例えば、次に示す式により、R画素におけるG成分の輝度値を算出する。なお、式中、「G1」、「G2」、「G3」及び「G4」の項は、それぞれ、図8に示すG画素(G1、G2、G3及びG4)が検出したG成分の輝度値とする。
(R画素におけるG成分の輝度値)=(G1+G2+G3+G4)/4
【0038】
輝度情報生成部42は、B画素についてのG成分の輝度値の算出において、例えば、図9に示すように、B画素を中心とする3行3列の画素ブロックに含まれる4個のG画素が検出した輝度値を参照する。輝度情報生成部42は、例えば、次に示す式により、B画素におけるG成分の輝度値を算出する。
(B画素におけるG成分の輝度値)=(G1+G2+G3+G4)/4
【0039】
輝度情報生成部42は、G画素が検出した輝度値と、R画素及びB画素について算出されたG成分の輝度値とを、第1輝度情報55として出力する。固体撮像装置12は、R、G、Bの各成分のうち輝度についての情報を最も多く得られるのがG成分であることから、G成分について第1輝度情報55を採用することとしている。なお、輝度情報生成部42による補間処理の手法は、適宜変更可能であるものとする。例えば、輝度情報生成部42は、デモザイク処理の手法により、第1輝度情報55を生成することとしても良い。
【0040】
撮像処理回路20は、例えば、モノクロ画像データ51及び第1輝度情報55をフレームメモリ26(図3参照)に一時格納する。視差量算出部43は、カラーイメージセンサ23により取得したRAW画像(第1画像)とモノクロイメージセンサ24により取得したモノクロ画像(第2画像)との視差量を算出する。視差量算出部43は、フレームメモリ26から読み出した第1輝度情報55とモノクロ画像データ51とを基に、視差量を算出する。
【0041】
視差量算出部43は、モノクロ画像データ51を第2輝度情報とみなして、視差量の算出に使用する。第2輝度情報は、第2画像信号であるモノクロ画像データ51に含まれる輝度情報であって、例えば、YUV色空間の輝度成分に相当する情報とする。なお、視差量算出部43は、モノクロ画像データ51をそのまま第2輝度情報として使用する他、モノクロ画像データ51の演算処理等により得られた第2輝度情報を使用することとしても良い。なお、視差量の算出、視差量に応じたフォーカス調整については後述する。
【0042】
視差補正部44は、視差量算出部43で算出された視差量を基に、第1輝度情報55によるG成分の輝度画像と、モノクロ画像データ51によるモノクロ画像との視差を補正する。視差補正部44は、例えば、G成分の輝度画像を基準としてモノクロ画像の視差を補正する。視差補正部44は、モノクロ画像を基準としてG成分の輝度画像の視差を補正することとしても良い。この場合、撮像処理回路20は、G成分の輝度画像と同様の視差補正を、色情報54についても実施する。輝度情報合成部45は、視差補正部44における視差の補正を経た第1輝度情報55及びモノクロ画像データ51の合成により、合成輝度情報56を生成する。
【0043】
解像度復元部46は、合成輝度情報56による合成画像について、解像度復元を実施する。解像度復元部46は、第1撮像レンズ21及び第2撮像レンズ22が備えるボケ量等のレンズ特性を推測し、推測したレンズ特性に基づき解像度復元を実施する。レンズ特性としては、例えば、光学伝達係数(point spread function;PSF)を用いる。PSFの推測には、例えば、最小二乗法による推定方法を使用する。解像度復元の効果は、復元に用いるアルゴリズムに依存する。解像度復元部46は、元の被写体像に近い画像を復元するために、例えば、Richardson−Lucy法を使用する。
【0044】
カメラモジュール10は、解像度復元の確実な効果を得るために、第1撮像レンズ21、第2撮像レンズ22、カラーイメージセンサ23及びモノクロイメージセンサ24のそれぞれについての個体情報、例えば製造誤差、レンズ特性等を予め保持する。これらの個体情報は、例えば、固体撮像装置12内のOTP(one time programmable memory、図示省略)やISP13に格納される。
【0045】
LPF47は、カラー信号分離部41からの色情報54について平滑化処理を実施する。LPF47は、色情報54の平滑化処理により、色ノイズを低減させる。なお、撮像処理回路20は、色情報54について、LPF47による平滑化処理に代えて、例えばノイズリダクション処理を実施することとしても良い。
【0046】
画像合成部48は、解像度復元部46での解像度復元を経た合成輝度情報56と、LPF47での平滑化処理を経た色情報54との合成により、合成画像データ57を生成する。撮像処理回路20は、画像合成部48で生成した合成画像データ57を出力する。
【0047】
固体撮像装置12は、モノクロイメージセンサ24により、信号対ノイズ比(SNR)及び解像度が高い輪郭成分を持つ第2輝度情報を得ることが可能である。鮮明な輪郭成分を第2輝度情報から得られることから、撮像処理回路20は、カラーイメージセンサ23からのRAW画像データ52については、カラー信号分離部41において、輝度情報53よりも色情報54を優先して抽出することとしても良い。これにより、撮像処理回路20は、輪郭成分とともに、色成分についても高い感度を得ることが可能となる。
【0048】
なお、画像合成部48は、第1輝度情報55及び第2輝度情報の合成により得た合成輝度情報56と色情報54とを含む合成画像データ57を生成するものに限られない。画像合成部48は、少なくとも、色情報54と第2輝度情報とを含む合成画像データ57を生成するものであれば良い。撮像処理回路20は、合成画像データ57に少なくとも色情報54と第2輝度情報とを含めることで、色成分と輪郭成分について高い感度を得ることができる。
【0049】
次に、視差量を算出する手法の詳細と、視差量に応じたフォーカス調整について説明する。図10は、カメラモジュールにおけるフォーカス調整のための手順を示すフローチャートである。固体撮像装置12は、カラーイメージセンサ23での撮像により第1画像であるRAW画像を取得し、モノクロイメージセンサ24での撮像により第2画像であるモノクロ画像を取得する(ステップS11)。
【0050】
固体撮像装置12は、輝度情報生成部42においてRAW画像データ52から第1輝度情報55を生成することで、RAW画像をG成分の輝度画像へ変換する(ステップS12)。視差量算出部43は、G成分の輝度画像とモノクロ画像とを基に、視差量を算出する(ステップS13)。
【0051】
図11は、G成分の輝度画像とモノクロ画像とからの視差量の算出について説明する図である。この例では、視差量算出部43(図7参照)は、G成分の輝度画像61を基準として、モノクロ画像62のずれを画素数に換算し、視差量とする。視差量算出部43は、例えば、ブロックマッチングの手法を採用することで、画像同士のずれを簡易的に計算する。図示する例では、モノクロ画像62は、G成分の輝度画像61に対して右方向へ2画素分ずれている。この場合、視差量算出部43は、視差量として、画素数「2」を出力する。視差補正部44(図7参照)は、モノクロ画像62を2画素分左方向へ移動させる視差補正を実施する。
【0052】
被写体距離算出部36(図3参照)は、ステップS13において求められた視差量に応じて、被写体距離を算出する(ステップS14)。図12は、被写体距離算出部における被写体距離の算出について説明する図である。被写体距離算出部36は、第1撮像レンズ21及び第2撮像レンズ22の間の距離と視差量とを基に、被写体距離を求める。例えば、第1撮像レンズ21及び第2撮像レンズ22の間の予め定められた距離に対して、図示するグラフのように視差量と被写体距離との関係が表されるとする。被写体距離算出部36は、かかる視差量と被写体距離との関係から、視差量「2(画素)」に対応する被写体距離として「0.7(m)」を出力する。
【0053】
AF駆動ドライバ35は、ステップS14において算出された被写体距離に応じたレンズ駆動部27の制御により、AF調整を実施する(ステップS15)。カメラモジュール10は、以上により、AF調整のための動作を終了する。
【0054】
本実施形態によると、二つのイメージセンサによって取得した画像の視差量を用いてフォーカスを調整する。カメラモジュール10は、撮像レンズを動かしながらピントを合わせる動作や複雑な信号処理が不要となるため、高速なフォーカス調整が可能となる。また、カメラモジュール10は、従来の位相差検出方式を採用する場合におけるAF専用センサや光を分岐させる構成が不要となる。
【0055】
本実施形態の固体撮像装置12は、RAW画像から第1輝度情報55及び色情報54を取得し、モノクロ画像から第2輝度情報であるモノクロ画像データ51を取得する。撮像処理回路20は、他の色画素に比べて感度が高いW画素からの第2輝度情報と、G成分について生成した第1輝度情報55とを輝度情報合成部45において合成することで、高感度な合成画像を得る。また、固体撮像装置12は、RAW画像から取得した色情報54を撮像処理回路20において合成することで、高い色再現性を確保する。
【0056】
固体撮像装置12は、各色画素にW画素を混在させたイメージセンサを使用する場合に比べ、クロストークによる色再現性の低下を抑制可能とする。また、固体撮像装置12は、各色画素より先にW画素の出力が飽和することによる各色成分の感度低下も抑制できる。
【0057】
さらに、カメラモジュール10は、画素の大型化に対応すべく長い焦点距離の確保が不要となるため、薄型化及び小型化が可能となる。以上により、カメラモジュール10は、小型化と高速なフォーカス調整を可能とし、高感度かつ高解像度で、色再現性の優れた画像を撮影することができる。
【0058】
なお、図7に示す撮像処理回路20が備える各要素の少なくとも一部は、ISP13の信号処理回路33に設けることとしても良い。また、信号処理回路33が実施するものとして図6に示す各処理の少なくとも一部は、撮像処理回路20で実施することとしても良い。固体撮像装置12は、撮像処理回路20及び信号処理回路33の構成次第により、フレームメモリ26を適宜省くこととしても良い。
【0059】
図13は、第1輝度情報及び第2輝度情報の合成による合成輝度情報の取得に関する変形例を説明する図表である。図表中、タイプ1は、本実施形態においてこれまで説明した態様を表している。タイプ1において、固体撮像装置12は、W画素を並列させたモノクロイメージセンサ24と、RGBの各画素をベイヤー配列としたカラーイメージセンサ23とを備える。固体撮像装置12は、W成分の輝度値からなる第2輝度情報と、RAW画像データ52の補間処理を経て取得したG成分の第1輝度情報55とを取得する。
【0060】
タイプ2では、固体撮像装置12は、G画素を並列させたモノクロイメージセンサ24と、タイプ1と同様のカラーイメージセンサ23とを使用する。固体撮像装置12は、G成分の輝度値からなる第2輝度情報を取得する。固体撮像装置12は、タイプ1と同様に、G成分の第1輝度情報55を取得する。
【0061】
図14は、タイプ3にて使用するカラーイメージセンサにおける画素の配列を説明する図である。タイプ3では、RBの各画素を交互に並列させたカラーイメージセンサ23を使用する。固体撮像装置12は、かかるカラーイメージセンサ23と、タイプ2と同様のモノクロイメージセンサ24とを使用する。固体撮像装置12は、タイプ2と同様に、G成分の輝度値からなる第2輝度情報を取得する。
【0062】
カラー信号分離部41(図7参照)は、RAW画像データ52から、R成分及びB成分についての輝度情報53を抽出する。輝度情報生成部42は、輝度情報53の補間処理により、各画素についてR成分の輝度値とB成分の輝度値とを取得する。輝度情報生成部42は、R成分の輝度値とB成分の輝度値とを加算し、M(マゼンタ)成分の輝度値とする。タイプ3では、M成分の輝度値からなる第1輝度情報55を取得する。
【0063】
図15は、タイプ4にて使用するカラーイメージセンサにおける画素の配列を説明する図である。タイプ4では、CY(C:シアン、Y:イエロー)の各画素を交互に並列させたカラーイメージセンサ23を使用する。固体撮像装置12は、かかるカラーイメージセンサ23と、タイプ2と同様のモノクロイメージセンサ24とを使用する。
【0064】
固体撮像装置12は、タイプ2と同様に、G成分の輝度値からなる第2輝度情報を取得する。カラー信号分離部41は、RAW画像データ52から、C成分及びY成分についての輝度情報53を抽出する。輝度情報生成部42は、輝度情報53の補間処理により、各画素についてC成分の輝度値とY成分の輝度値とを取得する。
【0065】
図16は、Y画素についてのC成分の輝度値の算出について説明する図である。輝度情報生成部42は、例えば、Y画素を中心とする3行3列の画素ブロックに含まれる4個のC画素が検出した輝度値を参照する。輝度情報生成部42は、例えば、次に示す式により、Y画素についてのC成分の輝度値を算出する。なお、式中、「C1」、「C2」、「C3」及び「C4」の項は、それぞれ、図16に示すC画素(C1、C2、C3及びC4)が検出したC成分の輝度値とする。
(Y画素におけるC成分の輝度値)=(C1+C2+C3+C4)/4
【0066】
図17は、C画素についてのY成分の輝度値の算出について説明する図である。輝度情報生成部42は、例えば、C画素を中心とする3行3列の画素ブロックに含まれる4個のY画素が検出した輝度値を参照する。輝度情報生成部42は、例えば、次に示す式により、C画素についてのY成分の輝度値を算出する。なお、式中、「Y1」、「Y2」、「Y3」及び「Y4」の項は、それぞれ、図17に示すY画素(Y1、Y2、Y3及びY4)が検出したY成分の輝度値とする。
(C画素におけるY成分の輝度値)=(Y1+Y2+Y3+Y4)/4
【0067】
輝度情報生成部42は、C成分の輝度値とY成分の輝度値とを加算し、G成分の輝度値とする。タイプ4では、G成分の輝度値からなる第1輝度情報55を取得する。タイプ1〜4のいずれを採用する場合も、固体撮像装置12は、高感度、高解像度で、色再現性の優れた画像を取り込むことができる。なお、タイプ3及び4は、タイプ1と同様に、W成分の輝度値からなる第2輝度情報を取得するものとしても良い。
【0068】
本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0069】
10 カメラモジュール、12 固体撮像装置、16 レンズホルダー、17 プリント基板、20 撮像処理回路、21 第1撮像レンズ、22 第2撮像レンズ、23 カラーイメージセンサ、24 モノクロイメージセンサ、26 フレームメモリ、27 レンズ駆動部、35 AF駆動ドライバ、36 被写体距離算出部、41 カラー信号分離部、42 輝度情報生成部、43 視差量算出部、44 視差補正部、45 輝度情報合成部、48 画像合成部、51 モノクロ画像データ、52 RAW画像データ、53 輝度情報、54 色情報、55 第1輝度情報、57 合成画像データ。
【技術分野】
【0001】
本発明の実施形態は、固体撮像装置及びカメラモジュールに関する。
【背景技術】
【0002】
従来、固体撮像装置は、高感度な画像撮影を実現するために、例えば、画素を大型にするという措置を採り得る。画素の大型化によりイメージセンサが大型となると、撮像レンズから受光面までの距離(焦点距離)が長くなるために、カメラモジュールの薄型化が困難となる。
【0003】
イメージセンサの多くは、2行2列の画素ブロック中の対角に赤色(R)画素及び青色(B)画素を配置し、残りの対角に2個の緑色(G)画素を配置する、いわゆるベイヤー配列が採用されている。従来、高感度な画像撮影を実現するために、2行2列の画素ブロック中の1個のG画素が、白色(W)画素に置き換えられたイメージセンサが提案されている。W画素は、白色光を取り込む。イメージセンサは、W画素を設けることで、輝度信号の信号電荷量を十分に確保可能とする。
【0004】
W画素は、他の色画素に比べて広い波長域の光を取り込むため、画素セルへの入射光量に対する出力の飽和が、他の色画素より先に生じることとなる。W画素を備えるイメージセンサは、入射光量に対する出力の飽和がW画素で生じることで、各色について十分な感度が得られないことがあり得る。また、W画素へ多くの光が取り込まれることで、W画素から、W画素に隣接する他の色画素へ光が漏れ出すことによるクロストークが生じ易くなる。W画素を備えるイメージセンサは、クロストークによる色再現性の低下が課題となっている。
【0005】
また、従来、カメラモジュールのオートフォーカス機能として、位相差検出方式やコントラスト検出方式によるものが知られている。コントラスト検出方式によるオートフォーカスは、撮像レンズを動かしながらピントを合わせることからフォーカス調整に時間がかかることが課題となっている。位相差検出方式によるオートフォーカスは、オートフォーカスの専用センサと、専用センサへ光を分岐させる構成を設けることで、カメラモジュールの小型化が難しくなる点が課題となっている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−17544号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の一つの実施形態は、カメラモジュールの小型化と高速なフォーカス調整を可能とし、高感度かつ高解像度で、色再現性の優れた画像の撮影を可能とする固体撮像装置及びカメラモジュールを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一つの実施形態によれば、固体撮像装置は、第1イメージセンサ、第2イメージセンサ、撮像処理回路及びフォーカス駆動制御部を有する。第1イメージセンサは、第1画像信号を出力する。第1画像信号は、被写体から入射する各色光の強度分布に応じている。第2イメージセンサは、第2画像信号を出力する。第2画像信号は、被写体から入射する光の輝度分布に応じている。撮像処理回路は、第1画像信号及び第2画像信号の信号処理を実施する。フォーカス駆動制御部は、第1撮像レンズ及び第2撮像レンズのフォーカス駆動を制御する。第1撮像レンズは、被写体からの光を第1イメージセンサへ入射させる。第2撮像レンズは、被写体からの光を第2イメージセンサへ入射させる。撮像処理回路は、輝度情報生成部、視差量算出部及び画像合成部を有する。輝度情報生成部は、第1画像信号から抽出された輝度情報から、特定の色成分についての第1輝度情報を生成する。視差量算出部は、第1イメージセンサにより取得した画像と、第2イメージセンサにより取得した画像との視差量を算出する。視差量算出部は、第1輝度情報と第2輝度情報とを基に、視差量を算出する。第2輝度情報は、第2画像信号に含まれる輝度情報である。画像合成部は、第1画像信号から抽出された色情報と、第2輝度情報とを含む合成画像データを生成する。フォーカス駆動制御部は、視差量を用いて求められた被写体距離に応じてフォーカス駆動を制御する。
【図面の簡単な説明】
【0009】
【図1】実施形態にかかる固体撮像装置を適用したカメラモジュールの一部構成を模式的に表した斜視図。
【図2】カメラモジュールの概略構成を示すブロック図。
【図3】レンズモジュール、固体撮像装置及びISPの詳細を示すブロック図。
【図4】タイミング生成器によるフレームタイミングの調整について説明するブロック図。
【図5】フレームメモリを使用するフレームタイミングの調整について説明するブロック図。
【図6】ISPの信号処理回路による信号処理の手順を説明するフローチャート。
【図7】撮像処理回路の詳細を示すブロック図。
【図8】輝度情報生成部における第1輝度情報の生成について説明する図。
【図9】輝度情報生成部における第1輝度情報の生成について説明する図。
【図10】カメラモジュールにおけるフォーカス調整のための手順を示すフローチャート。
【図11】G成分の輝度画像とモノクロ画像とからの視差量の算出について説明する図。
【図12】被写体距離算出部における被写体距離の算出について説明する図。
【図13】第1輝度情報及び第2輝度情報の合成による合成輝度情報の取得に関する変形例を説明する図表。
【図14】タイプ3にて使用するカラーイメージセンサにおける画素の配列を説明する図。
【図15】タイプ4にて使用するカラーイメージセンサにおける画素の配列を説明する図。
【図16】Y画素についてのC成分の輝度値の算出について説明する図。
【図17】C画素についてのY成分の輝度値の算出について説明する図。
【発明を実施するための形態】
【0010】
以下に添付図面を参照して、実施形態にかかる固体撮像装置及びカメラモジュールを詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【0011】
(実施形態)
図1は、実施形態にかかる固体撮像装置を適用したカメラモジュールの一部構成を模式的に表した斜視図である。図2は、カメラモジュールの概略構成を示すブロック図である。カメラモジュール10は、レンズモジュール11、固体撮像装置12、イメージシグナルプロセッサ(image signal processor;ISP)13、記憶部14及び表示部15を有する。
【0012】
レンズモジュール11は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置12は、被写体像を撮像する。ISP13は、固体撮像装置12での撮像により得られた画像信号の信号処理を実施する。記憶部14は、ISP13での信号処理を経た画像を格納する。記憶部14は、ユーザの操作等に応じて、表示部15へ画像信号を出力する。表示部15は、ISP13あるいは記憶部14から入力される画像信号に応じて、画像を表示する。表示部15は、例えば、液晶ディスプレイである。
【0013】
図3は、レンズモジュール、固体撮像装置及びISPの詳細を示すブロック図である。レンズモジュール11は、第1撮像レンズ21、第2撮像レンズ22及びレンズ駆動部27を有する。第1撮像レンズ21は、被写体からの光を取り込み、カラーイメージセンサ23へ入射させる。第2撮像レンズ22は、被写体からの光を取り込み、モノクロイメージセンサ24へ入射させる。
【0014】
図1に示すように、第1撮像レンズ21及び第2撮像レンズ22は、共通のレンズホルダー16に取り付けられている。第1撮像レンズ21及び第2撮像レンズ22は、例えば、それぞれレンズバレルに保持された状態で、レンズホルダー16に取り付けられる。第1撮像レンズ21及び第2撮像レンズ22は、図中一点鎖線で示す第1撮像レンズ21の光軸及び第2撮像レンズ22の光軸に対して垂直な方向へ並べられている。
【0015】
固体撮像装置12は、撮像処理回路20、カラーイメージセンサ23、モノクロイメージセンサ24、タイミング生成器25、フレームメモリ26、オートフォーカス(AF)駆動ドライバ35及び被写体距離算出部36を有する。
【0016】
カラーイメージセンサ23は、例えばベイヤー配列をなして配置されたR画素、G画素及びB画素を有する。R画素は、R光を検出する。G画素は、G光を検出する。B画素は、B光を検出する。カラーイメージセンサ23は、RAW画像データを出力する第1イメージセンサとして機能する。RAW画像データは、被写体から入射する各色光の強度分布に応じた第1画像信号とする。
【0017】
モノクロイメージセンサ24は、アレイ状に配置されたW画素を有する。W画素は、W光を検出する。モノクロイメージセンサ24は、モノクロ画像データを出力する第2イメージセンサとして機能する。モノクロ画像データは、被写体から入射する光の輝度分布に応じた第2画像信号とする。カラーイメージセンサ23及びモノクロイメージセンサ24は、例えば、LVDS(low voltage differential signaling)による伝送方式を採用する。
【0018】
撮像処理回路20は、カラーイメージセンサ23からのRAW画像データと、モノクロイメージセンサ24からのモノクロ画像データとの信号処理を実施する。撮像処理回路20は、RAW画像データ及びモノクロ画像データを合成して得られた合成画像データを出力する。
【0019】
フレームメモリ26は、撮像処理回路20に取り込まれたRAW画像データ及びモノクロ画像データの少なくともいずれかを格納する。フレームメモリ26は、後述する視差補正のために使用される他、例えば、高ダイナミックレンジ(high dynamic range;HDR)処理や手振れ補正等のために使用されるものとしても良い。
【0020】
図1に示すように、カラーイメージセンサ23、モノクロイメージセンサ24及びフレームメモリ26は、共通のプリント基板17上に配置されている。第1撮像レンズ21は、カラーイメージセンサ23に対向させて配置されている。第2撮像レンズ22は、モノクロイメージセンサ24に対向させて配置されている。
【0021】
カメラモジュール10は、カラーイメージセンサ23、モノクロイメージセンサ24及びフレームメモリ26を共通のプリント基板17上に集約することで、小型化に適した構成としている。タイミング生成器25は、RAW画像データとモノクロ画像データとに適用するフレームタイミングを生成する。
【0022】
被写体距離算出部36は、撮像処理回路20で求められた視差量に応じて、被写体距離を算出する。AF駆動ドライバ35は、被写体距離算出部36で算出された被写体距離に応じて、レンズ駆動部27を制御する。AF駆動ドライバ35は、視差量を用いて求められた被写体距離に応じて第1撮像レンズ21及び第2撮像レンズ22のフォーカス駆動を制御するフォーカス駆動制御部として機能する。
【0023】
図4は、タイミング生成器によるフレームタイミングの調整について説明するブロック図である。タイミング生成器25は、水平同期信号H及び垂直同期信号Vを生成する。カラーイメージセンサ23は、フレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、RAW画像データを出力する。また、モノクロイメージセンサ24は、フレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、モノクロ画像データを出力する。
【0024】
図5は、フレームメモリを使用するフレームタイミングの調整について説明するブロック図である。カラー用フレームメモリ28は、カラーイメージセンサ23からのRAW画像データを一時的に格納する。モノクロ用フレームメモリ29は、モノクロイメージセンサ24からのモノクロ画像データを一時的に格納する。カラー用フレームメモリ28及びモノクロ用フレームメモリ29は、例えば、フレームメモリ26(図3参照)に包含されているものとする。
【0025】
カラー用フレームメモリ28は、格納しているRAW画像データのフレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、RAW画像データを出力する。モノクロ用フレームメモリ29は、格納しているモノクロ画像データのフレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、モノクロ画像データを出力する。固体撮像装置12は、図4及び図5のいずれの構成によってフレームタイミングを調整しても良いものとする。
【0026】
図3に示すように、ISP13は、カメラインタフェース(I/F)31、画像取り込み部32、信号処理回路33及びドライバインタフェース(I/F)34を有する。カメラI/F31は、固体撮像装置12からの合成画像データの入力を受け付ける。画像取り込み部32は、カメラI/F31へ入力された合成画像データを取り込む。
【0027】
信号処理回路33は、画像取り込み部32へ取り込まれた合成画像について、信号処理を実施する。ドライバI/F34は、信号処理回路33での信号処理を経た画像データを、記憶部14及び表示部15(図1参照)へ出力する。
【0028】
図6は、ISPの信号処理回路による信号処理の手順を説明するフローチャートである。信号処理回路33は、画像取り込み部32へ取り込まれた画像について、シェーディング補正を実施する(ステップS1)。信号処理回路33は、シェーディング補正により、第1撮像レンズ21及び第2撮像レンズ22について、中央部と周辺部との光量差による輝度ムラを補正する。
【0029】
信号処理回路33は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するノイズリダクション(ステップS2)及び解像度復元処理(ステップS3)を実施する。次に、信号処理回路33は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理(デモザイキング)を施す(ステップS4)。デモザイキングでは、撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。信号処理回路33は、デモザイキングによりカラーのビットマップ画像を合成する。
【0030】
信号処理回路33は、カラー画像に対して、ホワイトバランスの自動調整(automatic white balance control;AWB)を実施する(ステップS5)。さらに、信号処理回路33は、色再現性を得るためのリニアカラーマトリクス処理(ステップS6)、ディスプレイ等に表示される画像の彩度や明るさを補正するためのガンマ補正(ステップS7)を実施する。なお、本実施形態で説明する信号処理回路33における信号処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。
【0031】
カメラモジュール10における信号処理のための構成は、前段の撮像処理回路20と、後段のISP13とに大別される。カメラモジュール10において、撮像処理回路20及びISP13は、カラーイメージセンサ23及びモノクロイメージセンサ24により取り込まれた画像信号の信号処理を実施する画像処理装置として機能する。
【0032】
レンズ駆動部27は、第1撮像レンズ21及び第2撮像レンズ22のフォーカス調整のために、光軸の方向について第1撮像レンズ21及び第2撮像レンズ22を駆動する。レンズ駆動部27は、レンズホルダー16を移動させることで、第1撮像レンズ21及び第2撮像レンズ22を一括して駆動する。カメラモジュール10は、第1撮像レンズ21及び第2撮像レンズ22を一括して駆動可能とすることで、第1撮像レンズ21及び第2撮像レンズ22を個別に駆動する場合に比べてレンズモジュール11を簡易な構成にできる。
【0033】
図7は、撮像処理回路の詳細を示すブロック図である。撮像処理回路20は、カラー信号分離部41、輝度情報生成部42、視差量算出部43、視差補正部44、輝度情報合成部45、解像度復元部46、ローパスフィルタ(LPF)47及び画像合成部48を有する。撮像処理回路20には、カラーイメージセンサ23からのRAW画像データ52と、モノクロイメージセンサ24からのモノクロ画像データ51とが入力される。
【0034】
カラー信号分離部41は、カラーイメージセンサ23から入力されたRAW画像データ52を、輝度情報53及び色情報54へと分離する。輝度情報53は、例えば、YUV色空間の輝度成分に相当する情報とする。色情報54は、例えば、YUV色空間の色差成分に相当する情報とする。
【0035】
輝度情報生成部42は、カラー信号分離部41においてRAW画像データ52から抽出された輝度情報53から、特定の色成分であるG成分についての第1輝度情報55を生成する。
【0036】
図8及び図9は、輝度情報生成部における第1輝度情報の生成について説明する図である。輝度情報生成部42は、R画素及びB画素については、周囲のG画素が検出した輝度値の補間処理により、G成分の輝度値を算出する。
【0037】
輝度情報生成部42は、R画素についてのG成分の輝度値の算出において、例えば、図8に示すように、R画素を中心とする3行3列の画素ブロックに含まれる4個のG画素が検出した輝度値を参照する。輝度情報生成部42は、例えば、次に示す式により、R画素におけるG成分の輝度値を算出する。なお、式中、「G1」、「G2」、「G3」及び「G4」の項は、それぞれ、図8に示すG画素(G1、G2、G3及びG4)が検出したG成分の輝度値とする。
(R画素におけるG成分の輝度値)=(G1+G2+G3+G4)/4
【0038】
輝度情報生成部42は、B画素についてのG成分の輝度値の算出において、例えば、図9に示すように、B画素を中心とする3行3列の画素ブロックに含まれる4個のG画素が検出した輝度値を参照する。輝度情報生成部42は、例えば、次に示す式により、B画素におけるG成分の輝度値を算出する。
(B画素におけるG成分の輝度値)=(G1+G2+G3+G4)/4
【0039】
輝度情報生成部42は、G画素が検出した輝度値と、R画素及びB画素について算出されたG成分の輝度値とを、第1輝度情報55として出力する。固体撮像装置12は、R、G、Bの各成分のうち輝度についての情報を最も多く得られるのがG成分であることから、G成分について第1輝度情報55を採用することとしている。なお、輝度情報生成部42による補間処理の手法は、適宜変更可能であるものとする。例えば、輝度情報生成部42は、デモザイク処理の手法により、第1輝度情報55を生成することとしても良い。
【0040】
撮像処理回路20は、例えば、モノクロ画像データ51及び第1輝度情報55をフレームメモリ26(図3参照)に一時格納する。視差量算出部43は、カラーイメージセンサ23により取得したRAW画像(第1画像)とモノクロイメージセンサ24により取得したモノクロ画像(第2画像)との視差量を算出する。視差量算出部43は、フレームメモリ26から読み出した第1輝度情報55とモノクロ画像データ51とを基に、視差量を算出する。
【0041】
視差量算出部43は、モノクロ画像データ51を第2輝度情報とみなして、視差量の算出に使用する。第2輝度情報は、第2画像信号であるモノクロ画像データ51に含まれる輝度情報であって、例えば、YUV色空間の輝度成分に相当する情報とする。なお、視差量算出部43は、モノクロ画像データ51をそのまま第2輝度情報として使用する他、モノクロ画像データ51の演算処理等により得られた第2輝度情報を使用することとしても良い。なお、視差量の算出、視差量に応じたフォーカス調整については後述する。
【0042】
視差補正部44は、視差量算出部43で算出された視差量を基に、第1輝度情報55によるG成分の輝度画像と、モノクロ画像データ51によるモノクロ画像との視差を補正する。視差補正部44は、例えば、G成分の輝度画像を基準としてモノクロ画像の視差を補正する。視差補正部44は、モノクロ画像を基準としてG成分の輝度画像の視差を補正することとしても良い。この場合、撮像処理回路20は、G成分の輝度画像と同様の視差補正を、色情報54についても実施する。輝度情報合成部45は、視差補正部44における視差の補正を経た第1輝度情報55及びモノクロ画像データ51の合成により、合成輝度情報56を生成する。
【0043】
解像度復元部46は、合成輝度情報56による合成画像について、解像度復元を実施する。解像度復元部46は、第1撮像レンズ21及び第2撮像レンズ22が備えるボケ量等のレンズ特性を推測し、推測したレンズ特性に基づき解像度復元を実施する。レンズ特性としては、例えば、光学伝達係数(point spread function;PSF)を用いる。PSFの推測には、例えば、最小二乗法による推定方法を使用する。解像度復元の効果は、復元に用いるアルゴリズムに依存する。解像度復元部46は、元の被写体像に近い画像を復元するために、例えば、Richardson−Lucy法を使用する。
【0044】
カメラモジュール10は、解像度復元の確実な効果を得るために、第1撮像レンズ21、第2撮像レンズ22、カラーイメージセンサ23及びモノクロイメージセンサ24のそれぞれについての個体情報、例えば製造誤差、レンズ特性等を予め保持する。これらの個体情報は、例えば、固体撮像装置12内のOTP(one time programmable memory、図示省略)やISP13に格納される。
【0045】
LPF47は、カラー信号分離部41からの色情報54について平滑化処理を実施する。LPF47は、色情報54の平滑化処理により、色ノイズを低減させる。なお、撮像処理回路20は、色情報54について、LPF47による平滑化処理に代えて、例えばノイズリダクション処理を実施することとしても良い。
【0046】
画像合成部48は、解像度復元部46での解像度復元を経た合成輝度情報56と、LPF47での平滑化処理を経た色情報54との合成により、合成画像データ57を生成する。撮像処理回路20は、画像合成部48で生成した合成画像データ57を出力する。
【0047】
固体撮像装置12は、モノクロイメージセンサ24により、信号対ノイズ比(SNR)及び解像度が高い輪郭成分を持つ第2輝度情報を得ることが可能である。鮮明な輪郭成分を第2輝度情報から得られることから、撮像処理回路20は、カラーイメージセンサ23からのRAW画像データ52については、カラー信号分離部41において、輝度情報53よりも色情報54を優先して抽出することとしても良い。これにより、撮像処理回路20は、輪郭成分とともに、色成分についても高い感度を得ることが可能となる。
【0048】
なお、画像合成部48は、第1輝度情報55及び第2輝度情報の合成により得た合成輝度情報56と色情報54とを含む合成画像データ57を生成するものに限られない。画像合成部48は、少なくとも、色情報54と第2輝度情報とを含む合成画像データ57を生成するものであれば良い。撮像処理回路20は、合成画像データ57に少なくとも色情報54と第2輝度情報とを含めることで、色成分と輪郭成分について高い感度を得ることができる。
【0049】
次に、視差量を算出する手法の詳細と、視差量に応じたフォーカス調整について説明する。図10は、カメラモジュールにおけるフォーカス調整のための手順を示すフローチャートである。固体撮像装置12は、カラーイメージセンサ23での撮像により第1画像であるRAW画像を取得し、モノクロイメージセンサ24での撮像により第2画像であるモノクロ画像を取得する(ステップS11)。
【0050】
固体撮像装置12は、輝度情報生成部42においてRAW画像データ52から第1輝度情報55を生成することで、RAW画像をG成分の輝度画像へ変換する(ステップS12)。視差量算出部43は、G成分の輝度画像とモノクロ画像とを基に、視差量を算出する(ステップS13)。
【0051】
図11は、G成分の輝度画像とモノクロ画像とからの視差量の算出について説明する図である。この例では、視差量算出部43(図7参照)は、G成分の輝度画像61を基準として、モノクロ画像62のずれを画素数に換算し、視差量とする。視差量算出部43は、例えば、ブロックマッチングの手法を採用することで、画像同士のずれを簡易的に計算する。図示する例では、モノクロ画像62は、G成分の輝度画像61に対して右方向へ2画素分ずれている。この場合、視差量算出部43は、視差量として、画素数「2」を出力する。視差補正部44(図7参照)は、モノクロ画像62を2画素分左方向へ移動させる視差補正を実施する。
【0052】
被写体距離算出部36(図3参照)は、ステップS13において求められた視差量に応じて、被写体距離を算出する(ステップS14)。図12は、被写体距離算出部における被写体距離の算出について説明する図である。被写体距離算出部36は、第1撮像レンズ21及び第2撮像レンズ22の間の距離と視差量とを基に、被写体距離を求める。例えば、第1撮像レンズ21及び第2撮像レンズ22の間の予め定められた距離に対して、図示するグラフのように視差量と被写体距離との関係が表されるとする。被写体距離算出部36は、かかる視差量と被写体距離との関係から、視差量「2(画素)」に対応する被写体距離として「0.7(m)」を出力する。
【0053】
AF駆動ドライバ35は、ステップS14において算出された被写体距離に応じたレンズ駆動部27の制御により、AF調整を実施する(ステップS15)。カメラモジュール10は、以上により、AF調整のための動作を終了する。
【0054】
本実施形態によると、二つのイメージセンサによって取得した画像の視差量を用いてフォーカスを調整する。カメラモジュール10は、撮像レンズを動かしながらピントを合わせる動作や複雑な信号処理が不要となるため、高速なフォーカス調整が可能となる。また、カメラモジュール10は、従来の位相差検出方式を採用する場合におけるAF専用センサや光を分岐させる構成が不要となる。
【0055】
本実施形態の固体撮像装置12は、RAW画像から第1輝度情報55及び色情報54を取得し、モノクロ画像から第2輝度情報であるモノクロ画像データ51を取得する。撮像処理回路20は、他の色画素に比べて感度が高いW画素からの第2輝度情報と、G成分について生成した第1輝度情報55とを輝度情報合成部45において合成することで、高感度な合成画像を得る。また、固体撮像装置12は、RAW画像から取得した色情報54を撮像処理回路20において合成することで、高い色再現性を確保する。
【0056】
固体撮像装置12は、各色画素にW画素を混在させたイメージセンサを使用する場合に比べ、クロストークによる色再現性の低下を抑制可能とする。また、固体撮像装置12は、各色画素より先にW画素の出力が飽和することによる各色成分の感度低下も抑制できる。
【0057】
さらに、カメラモジュール10は、画素の大型化に対応すべく長い焦点距離の確保が不要となるため、薄型化及び小型化が可能となる。以上により、カメラモジュール10は、小型化と高速なフォーカス調整を可能とし、高感度かつ高解像度で、色再現性の優れた画像を撮影することができる。
【0058】
なお、図7に示す撮像処理回路20が備える各要素の少なくとも一部は、ISP13の信号処理回路33に設けることとしても良い。また、信号処理回路33が実施するものとして図6に示す各処理の少なくとも一部は、撮像処理回路20で実施することとしても良い。固体撮像装置12は、撮像処理回路20及び信号処理回路33の構成次第により、フレームメモリ26を適宜省くこととしても良い。
【0059】
図13は、第1輝度情報及び第2輝度情報の合成による合成輝度情報の取得に関する変形例を説明する図表である。図表中、タイプ1は、本実施形態においてこれまで説明した態様を表している。タイプ1において、固体撮像装置12は、W画素を並列させたモノクロイメージセンサ24と、RGBの各画素をベイヤー配列としたカラーイメージセンサ23とを備える。固体撮像装置12は、W成分の輝度値からなる第2輝度情報と、RAW画像データ52の補間処理を経て取得したG成分の第1輝度情報55とを取得する。
【0060】
タイプ2では、固体撮像装置12は、G画素を並列させたモノクロイメージセンサ24と、タイプ1と同様のカラーイメージセンサ23とを使用する。固体撮像装置12は、G成分の輝度値からなる第2輝度情報を取得する。固体撮像装置12は、タイプ1と同様に、G成分の第1輝度情報55を取得する。
【0061】
図14は、タイプ3にて使用するカラーイメージセンサにおける画素の配列を説明する図である。タイプ3では、RBの各画素を交互に並列させたカラーイメージセンサ23を使用する。固体撮像装置12は、かかるカラーイメージセンサ23と、タイプ2と同様のモノクロイメージセンサ24とを使用する。固体撮像装置12は、タイプ2と同様に、G成分の輝度値からなる第2輝度情報を取得する。
【0062】
カラー信号分離部41(図7参照)は、RAW画像データ52から、R成分及びB成分についての輝度情報53を抽出する。輝度情報生成部42は、輝度情報53の補間処理により、各画素についてR成分の輝度値とB成分の輝度値とを取得する。輝度情報生成部42は、R成分の輝度値とB成分の輝度値とを加算し、M(マゼンタ)成分の輝度値とする。タイプ3では、M成分の輝度値からなる第1輝度情報55を取得する。
【0063】
図15は、タイプ4にて使用するカラーイメージセンサにおける画素の配列を説明する図である。タイプ4では、CY(C:シアン、Y:イエロー)の各画素を交互に並列させたカラーイメージセンサ23を使用する。固体撮像装置12は、かかるカラーイメージセンサ23と、タイプ2と同様のモノクロイメージセンサ24とを使用する。
【0064】
固体撮像装置12は、タイプ2と同様に、G成分の輝度値からなる第2輝度情報を取得する。カラー信号分離部41は、RAW画像データ52から、C成分及びY成分についての輝度情報53を抽出する。輝度情報生成部42は、輝度情報53の補間処理により、各画素についてC成分の輝度値とY成分の輝度値とを取得する。
【0065】
図16は、Y画素についてのC成分の輝度値の算出について説明する図である。輝度情報生成部42は、例えば、Y画素を中心とする3行3列の画素ブロックに含まれる4個のC画素が検出した輝度値を参照する。輝度情報生成部42は、例えば、次に示す式により、Y画素についてのC成分の輝度値を算出する。なお、式中、「C1」、「C2」、「C3」及び「C4」の項は、それぞれ、図16に示すC画素(C1、C2、C3及びC4)が検出したC成分の輝度値とする。
(Y画素におけるC成分の輝度値)=(C1+C2+C3+C4)/4
【0066】
図17は、C画素についてのY成分の輝度値の算出について説明する図である。輝度情報生成部42は、例えば、C画素を中心とする3行3列の画素ブロックに含まれる4個のY画素が検出した輝度値を参照する。輝度情報生成部42は、例えば、次に示す式により、C画素についてのY成分の輝度値を算出する。なお、式中、「Y1」、「Y2」、「Y3」及び「Y4」の項は、それぞれ、図17に示すY画素(Y1、Y2、Y3及びY4)が検出したY成分の輝度値とする。
(C画素におけるY成分の輝度値)=(Y1+Y2+Y3+Y4)/4
【0067】
輝度情報生成部42は、C成分の輝度値とY成分の輝度値とを加算し、G成分の輝度値とする。タイプ4では、G成分の輝度値からなる第1輝度情報55を取得する。タイプ1〜4のいずれを採用する場合も、固体撮像装置12は、高感度、高解像度で、色再現性の優れた画像を取り込むことができる。なお、タイプ3及び4は、タイプ1と同様に、W成分の輝度値からなる第2輝度情報を取得するものとしても良い。
【0068】
本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0069】
10 カメラモジュール、12 固体撮像装置、16 レンズホルダー、17 プリント基板、20 撮像処理回路、21 第1撮像レンズ、22 第2撮像レンズ、23 カラーイメージセンサ、24 モノクロイメージセンサ、26 フレームメモリ、27 レンズ駆動部、35 AF駆動ドライバ、36 被写体距離算出部、41 カラー信号分離部、42 輝度情報生成部、43 視差量算出部、44 視差補正部、45 輝度情報合成部、48 画像合成部、51 モノクロ画像データ、52 RAW画像データ、53 輝度情報、54 色情報、55 第1輝度情報、57 合成画像データ。
【特許請求の範囲】
【請求項1】
被写体から入射する各色光の強度分布に応じた第1画像信号を出力する第1イメージセンサと、
前記被写体から入射する光の輝度分布に応じた第2画像信号を出力する第2イメージセンサと、
前記第1画像信号及び前記第2画像信号の信号処理を実施する撮像処理回路と、
前記被写体からの光を前記第1イメージセンサへ入射させる第1撮像レンズ、及び前記被写体からの光を前記第2イメージセンサへ入射させる第2撮像レンズのフォーカス駆動を制御するフォーカス駆動制御部と、を有し、
前記撮像処理回路は、
前記第1画像信号から抽出された輝度情報から、特定の色成分についての第1輝度情報を生成する輝度情報生成部と、
前記第1イメージセンサにより取得した画像と前記第2イメージセンサにより取得した画像との視差量を、前記第1輝度情報と、前記第2画像信号に含まれる輝度情報である第2輝度情報とを基に算出する視差量算出部と、
前記第1画像信号から抽出された色情報と、前記第2輝度情報とを含む合成画像データを生成する画像合成部と、を有し、
前記フォーカス駆動制御部は、前記視差量を用いて求められた被写体距離に応じて前記フォーカス駆動を制御することを特徴とする固体撮像装置。
【請求項2】
被写体から入射する各色光の強度分布に応じた第1画像信号を出力する第1イメージセンサと、
前記被写体から入射する光の輝度分布に応じた第2画像信号を出力する第2イメージセンサと、
前記第1画像信号及び前記第2画像信号の信号処理を実施する撮像処理回路と、
前記被写体からの光を前記第1イメージセンサへ入射させる第1撮像レンズ、及び前記被写体からの光を前記第2イメージセンサへ入射させる第2撮像レンズのフォーカス駆動を制御するフォーカス駆動制御部と、を有し、
前記撮像処理回路は、
前記第1画像信号から抽出された輝度情報から、特定の色成分についての第1輝度情報を生成する輝度情報生成部と、
前記第1イメージセンサにより取得した第1画像と前記第2イメージセンサにより取得した第2画像との視差量を、前記第1輝度情報と、前記第2画像信号に含まれる輝度情報である第2輝度情報とを基に算出する視差量算出部と、を有し、
前記フォーカス駆動制御部は、前記視差量を用いて求められた被写体距離に応じて前記フォーカス駆動を制御することを特徴とする固体撮像装置。
【請求項3】
前記撮像処理回路は、前記視差量に応じて前記第1画像と前記第2画像との視差を補正する視差補正部を有することを特徴とする請求項2に記載の固体撮像装置。
【請求項4】
前記第1画像信号及び前記第2画像信号の少なくともいずれかを格納するフレームメモリを有し、
前記第1イメージセンサ、前記第2イメージセンサ及び前記フレームメモリは、共通の基板に設けられていることを特徴とする請求項2又は3に記載の固体撮像装置。
【請求項5】
被写体からの光を取り込み、被写体像を結像させる第1撮像レンズ及び第2撮像レンズと、
前記第1撮像レンズ及び前記第2撮像レンズのフォーカス調整のためのレンズ駆動部と、
前記被写体像を撮像する固体撮像装置と、を有し、
前記固体撮像装置は、
前記第1撮像レンズにより取り込まれた各色光の強度分布に応じた第1画像信号を出力する第1イメージセンサと、
前記第2撮像レンズにより取り込まれた光の輝度分布に応じた第2画像信号を出力する第2イメージセンサと、
前記第1画像信号及び前記第2画像信号の信号処理を実施する撮像処理回路と、
前記レンズ駆動部を制御するフォーカス駆動制御部と、を有し、
前記撮像処理回路は、
前記第1画像信号から抽出された輝度情報から、特定の色成分についての第1輝度情報を生成する輝度情報生成部と、
前記第1イメージセンサにより取得した画像と前記第2イメージセンサにより取得した画像との視差量を、前記第1輝度情報と、前記第2画像信号に含まれる輝度情報である第2輝度情報とを基に算出する視差量算出部と、を有し、
前記フォーカス駆動制御部は、前記視差量を用いて求められた被写体距離に応じて前記レンズ駆動部を制御することを特徴とするカメラモジュール。
【請求項6】
前記第1撮像レンズ及び前記第2撮像レンズは、共通のレンズホルダーに取り付けられ、
前記レンズ駆動部は、前記レンズホルダーを移動させることで、前記第1撮像レンズ及び前記第2撮像レンズを一括して駆動することを特徴とする請求項5に記載のカメラモジュール。
【請求項1】
被写体から入射する各色光の強度分布に応じた第1画像信号を出力する第1イメージセンサと、
前記被写体から入射する光の輝度分布に応じた第2画像信号を出力する第2イメージセンサと、
前記第1画像信号及び前記第2画像信号の信号処理を実施する撮像処理回路と、
前記被写体からの光を前記第1イメージセンサへ入射させる第1撮像レンズ、及び前記被写体からの光を前記第2イメージセンサへ入射させる第2撮像レンズのフォーカス駆動を制御するフォーカス駆動制御部と、を有し、
前記撮像処理回路は、
前記第1画像信号から抽出された輝度情報から、特定の色成分についての第1輝度情報を生成する輝度情報生成部と、
前記第1イメージセンサにより取得した画像と前記第2イメージセンサにより取得した画像との視差量を、前記第1輝度情報と、前記第2画像信号に含まれる輝度情報である第2輝度情報とを基に算出する視差量算出部と、
前記第1画像信号から抽出された色情報と、前記第2輝度情報とを含む合成画像データを生成する画像合成部と、を有し、
前記フォーカス駆動制御部は、前記視差量を用いて求められた被写体距離に応じて前記フォーカス駆動を制御することを特徴とする固体撮像装置。
【請求項2】
被写体から入射する各色光の強度分布に応じた第1画像信号を出力する第1イメージセンサと、
前記被写体から入射する光の輝度分布に応じた第2画像信号を出力する第2イメージセンサと、
前記第1画像信号及び前記第2画像信号の信号処理を実施する撮像処理回路と、
前記被写体からの光を前記第1イメージセンサへ入射させる第1撮像レンズ、及び前記被写体からの光を前記第2イメージセンサへ入射させる第2撮像レンズのフォーカス駆動を制御するフォーカス駆動制御部と、を有し、
前記撮像処理回路は、
前記第1画像信号から抽出された輝度情報から、特定の色成分についての第1輝度情報を生成する輝度情報生成部と、
前記第1イメージセンサにより取得した第1画像と前記第2イメージセンサにより取得した第2画像との視差量を、前記第1輝度情報と、前記第2画像信号に含まれる輝度情報である第2輝度情報とを基に算出する視差量算出部と、を有し、
前記フォーカス駆動制御部は、前記視差量を用いて求められた被写体距離に応じて前記フォーカス駆動を制御することを特徴とする固体撮像装置。
【請求項3】
前記撮像処理回路は、前記視差量に応じて前記第1画像と前記第2画像との視差を補正する視差補正部を有することを特徴とする請求項2に記載の固体撮像装置。
【請求項4】
前記第1画像信号及び前記第2画像信号の少なくともいずれかを格納するフレームメモリを有し、
前記第1イメージセンサ、前記第2イメージセンサ及び前記フレームメモリは、共通の基板に設けられていることを特徴とする請求項2又は3に記載の固体撮像装置。
【請求項5】
被写体からの光を取り込み、被写体像を結像させる第1撮像レンズ及び第2撮像レンズと、
前記第1撮像レンズ及び前記第2撮像レンズのフォーカス調整のためのレンズ駆動部と、
前記被写体像を撮像する固体撮像装置と、を有し、
前記固体撮像装置は、
前記第1撮像レンズにより取り込まれた各色光の強度分布に応じた第1画像信号を出力する第1イメージセンサと、
前記第2撮像レンズにより取り込まれた光の輝度分布に応じた第2画像信号を出力する第2イメージセンサと、
前記第1画像信号及び前記第2画像信号の信号処理を実施する撮像処理回路と、
前記レンズ駆動部を制御するフォーカス駆動制御部と、を有し、
前記撮像処理回路は、
前記第1画像信号から抽出された輝度情報から、特定の色成分についての第1輝度情報を生成する輝度情報生成部と、
前記第1イメージセンサにより取得した画像と前記第2イメージセンサにより取得した画像との視差量を、前記第1輝度情報と、前記第2画像信号に含まれる輝度情報である第2輝度情報とを基に算出する視差量算出部と、を有し、
前記フォーカス駆動制御部は、前記視差量を用いて求められた被写体距離に応じて前記レンズ駆動部を制御することを特徴とするカメラモジュール。
【請求項6】
前記第1撮像レンズ及び前記第2撮像レンズは、共通のレンズホルダーに取り付けられ、
前記レンズ駆動部は、前記レンズホルダーを移動させることで、前記第1撮像レンズ及び前記第2撮像レンズを一括して駆動することを特徴とする請求項5に記載のカメラモジュール。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2013−92552(P2013−92552A)
【公開日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願番号】特願2011−232724(P2011−232724)
【出願日】平成23年10月24日(2011.10.24)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願日】平成23年10月24日(2011.10.24)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]