固体撮像装置及びカメラモジュール
【課題】カメラモジュールの薄型化を可能とし、高い色再現性と高感度とを実現可能とする固体撮像装置及びカメラモジュールを提供すること。
【解決手段】実施形態によれば、固体撮像装置は、第1イメージセンサ、第2イメージセンサ及び撮像処理回路20を有する。第1イメージセンサは、被写体から入射する各色光の強度分布に応じた第1画像信号であるRAW画像データ52を出力する。第2イメージセンサは、被写体から入射する光の輝度分布に応じた第2画像信号であるモノクロ画像データ51を出力する。撮像処理回路20は、第1画像信号及び第2画像信号の処理を実施する。撮像処理回路20は、画像合成部48を有する。画像合成部48は、第1画像信号に含まれる色情報55と、第2画像信号に含まれる輝度信号53とを合成する。
【解決手段】実施形態によれば、固体撮像装置は、第1イメージセンサ、第2イメージセンサ及び撮像処理回路20を有する。第1イメージセンサは、被写体から入射する各色光の強度分布に応じた第1画像信号であるRAW画像データ52を出力する。第2イメージセンサは、被写体から入射する光の輝度分布に応じた第2画像信号であるモノクロ画像データ51を出力する。撮像処理回路20は、第1画像信号及び第2画像信号の処理を実施する。撮像処理回路20は、画像合成部48を有する。画像合成部48は、第1画像信号に含まれる色情報55と、第2画像信号に含まれる輝度信号53とを合成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、固体撮像装置及びカメラモジュールに関する。
【背景技術】
【0002】
従来、固体撮像装置は、高感度な画像撮影を実現するために、例えば、画素を大型化する措置が採られることがある。画素の大型化によりイメージセンサを大型にする場合、レンズから受光面までの距離(焦点距離)を長く確保することとなるために、カメラモジュールの薄型化が困難となる。
【0003】
イメージセンサの多くは、2行2列の画素ブロック中の対角に赤色(R)画素及び青色(B)画素を配置し、残りの対角に2個の緑色(G)画素を配置する、いわゆるベイヤー配列が採用されている。従来、高感度な画像撮影を実現するために、2行2列の画素ブロック中の1個のG画素が、白色(W)画素に置き換えられたイメージセンサが提案されている。W画素は、白色光を取り込む。W画素は、輝度信号の信号電荷量を十分に確保することを目的として配置される。
【0004】
W画素は、他の色画素に比べて広い波長域の光を取り込むため、画素セルへの入射光量に対する出力の飽和が、他の色画素より先に生じることとなる。W画素を備えるイメージセンサは、入射光量に対する出力の飽和がW画素で生じることで、各色について十分な感度が得られないことがあり得る。また、W画素へ多くの光が取り込まれることで、W画素から、W画素に隣接する他の色用画素へ光が漏れ出すことによるクロストークが生じ易くなる。W画素を備えるイメージセンサは、クロストークによる色再現性の低下が課題となっている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−17544号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の一つの実施形態は、カメラモジュールの薄型化を可能とし、高い色再現性と高感度とを実現可能とする固体撮像装置及びカメラモジュールを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一つの実施形態によれば、固体撮像装置は、第1イメージセンサ、第2イメージセンサ及び撮像処理回路を有する。第1イメージセンサは、被写体から入射する各色光の強度分布に応じた第1画像信号を出力する。第2イメージセンサは、被写体から入射する光の輝度分布に応じた第2画像信号を出力する。撮像処理回路は、第1画像信号及び第2画像信号の処理を実施する。撮像処理回路は、画像合成部を有する。画像合成部は、第1画像信号に含まれる色情報と、第2画像信号に含まれる輝度情報とを合成する。
【図面の簡単な説明】
【0008】
【図1】実施形態にかかる固体撮像装置を適用したカメラモジュールの一部構成を模式的に表した斜視図。
【図2】カメラモジュールの概略構成を示すブロック図。
【図3】レンズモジュール、固体撮像装置及びISPの詳細を示すブロック図。
【図4】ISPの信号処理回路による信号処理の手順を説明するフローチャート。
【図5】タイミング生成器によるフレームタイミングの調整について説明するブロック図。
【図6】フレームメモリを使用するフレームタイミングの調整について説明するブロック図。
【図7】撮像処理回路の詳細を示すブロック図。
【図8】カラー信号分離部における第1輝度情報の生成について説明する図。
【図9】カラー信号分離部における第1輝度情報の生成について説明する図。
【図10】第1輝度情報及び第2輝度情報の合成による合成輝度情報の取得に関する変形例を説明する図表。
【図11】タイプ3にて使用するカラーイメージセンサにおける画素の配列を説明する図。
【図12】タイプ4にて使用するカラーイメージセンサにおける画素の配列を説明する図。
【図13】Y画素についてのC成分の信号値の算出について説明する図。
【図14】C画素についてのY成分の信号値の算出について説明する図。
【発明を実施するための形態】
【0009】
以下に添付図面を参照して、実施形態にかかる固体撮像装置及びカメラモジュールを詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【0010】
(実施形態)
図1は、実施形態にかかる固体撮像装置を適用したカメラモジュールの一部構成を模式的に表した斜視図である。図2は、カメラモジュールの概略構成を示すブロック図である。カメラモジュール10は、レンズモジュール11、固体撮像装置12、イメージシグナルプロセッサ(image signal processor;ISP)13、記憶部14及び表示部15を有する。
【0011】
レンズモジュール11は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置12は、被写体像を撮像する。ISP13は、固体撮像装置12での撮像により得られた画像信号の信号処理を実施する。記憶部14は、ISP13での信号処理を経た画像を格納する。記憶部14は、ユーザの操作等に応じて、表示部15へ画像信号を出力する。表示部15は、ISP13あるいは記憶部14から入力される画像信号に応じて、画像を表示する。表示部15は、例えば、液晶ディスプレイである。
【0012】
図3は、レンズモジュール、固体撮像装置及びISPの詳細を示すブロック図である。図4は、ISPの信号処理回路による信号処理の手順を説明するフローチャートである。図3に示すように、レンズモジュール11は、第1の撮像レンズ21、第2の撮像レンズ22及びレンズ駆動部27を有する。第1の撮像レンズ21は、被写体からの光を取り込み、カラーイメージセンサ23へ入射させる。第2の撮像レンズ22は、被写体からの光を取り込み、モノクロイメージセンサ24へ入射させる。
【0013】
図1に示すように、第1の撮像レンズ21及び第2の撮像レンズ22は、共通のレンズホルダー16に取り付けられている。第1の撮像レンズ21及び第2の撮像レンズ22は、例えば、それぞれレンズバレルに保持された状態で、レンズホルダー16に取り付けられる。第1の撮像レンズ21及び第2の撮像レンズ22は、図中一点鎖線で示す第1の撮像レンズ21の光軸及び第2の撮像レンズ22の光軸に対して垂直な方向へ並べられている。
【0014】
固体撮像装置12は、撮像処理回路20、カラーイメージセンサ23、モノクロイメージセンサ24、タイミング生成器25及びフレームメモリ26を有する。カラーイメージセンサ23には、R光を検出するR画素、G光を検出するG画素、及びB光を検出するB画素が、例えばベイヤー配列として配置されている。カラーイメージセンサ23は、RAW画像データを出力する第1イメージセンサとして機能する。RAW画像データは、第1の撮像レンズ21により取り込まれた各色光の強度分布に応じた第1画像信号とする。
【0015】
モノクロイメージセンサ24には、W光を検出するW画素がアレイ状に配置されている。モノクロイメージセンサ24は、モノクロ画像データを出力する第2イメージセンサとして機能する。モノクロ画像データは、第2の撮像レンズ22により取り込まれた光の輝度分布に応じた第2画像信号とする。カラーイメージセンサ23及びモノクロイメージセンサ24は、例えば、LVDS(low voltage differential signaling)による伝送方式を採用する。
【0016】
撮像処理回路20は、カラーイメージセンサ23からのRAW画像データと、モノクロイメージセンサ24からのモノクロ画像データとの処理を実施する。撮像処理回路20は、RAW画像データ及びモノクロ画像データを合成して得られた合成画像データを出力する。フレームメモリ26は、撮像処理回路20に取り込まれたRAW画像データ及びモノクロ画像データの少なくともいずれかを格納する。フレームメモリ26は、後述する視差補正のために使用される他、例えば、高ダイナミックレンジ(high dynamic range;HDR)処理や手振れ補正等のために使用されるものとしても良い。
【0017】
図1に示すように、カラーイメージセンサ23、モノクロイメージセンサ24及びフレームメモリ26は、共通のプリント基板17上に配置されている。第1の撮像レンズ21は、カラーイメージセンサ23に対向させて配置されている。第2の撮像レンズ22は、モノクロイメージセンサ24に対向させて配置されている。カメラモジュール10は、カラーイメージセンサ23、モノクロイメージセンサ24及びフレームメモリ26を共通のプリント基板17上に集約することで、小型化に適した構成としている。タイミング生成器25は、RAW画像データとモノクロ画像データとに適用するフレームタイミングを生成する。
【0018】
図5は、タイミング生成器によるフレームタイミングの調整について説明するブロック図である。タイミング生成器25は、水平同期信号H及び垂直同期信号Vを生成する。カラーイメージセンサ23は、フレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、RAW画像データを出力する。また、モノクロイメージセンサ24は、フレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、モノクロ画像データを出力する。
【0019】
図6は、フレームメモリを使用するフレームタイミングの調整について説明するブロック図である。カラー用フレームメモリ28は、カラーイメージセンサ23からのRAW画像データを一時的に格納する。モノクロ用フレームメモリ29は、モノクロイメージセンサ24からのモノクロ画像データを一時的に格納する。カラー用フレームメモリ28及びモノクロ用フレームメモリ29は、例えば、フレームメモリ26(図3参照)に包含されているものとする。
【0020】
カラー用フレームメモリ28は、格納しているRAW画像データのフレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、RAW画像データを出力する。モノクロ用フレームメモリ29は、格納しているモノクロ画像データのフレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、モノクロ画像データを出力する。固体撮像装置12は、図5及び図6に示す構成のいずれによってフレームタイミングを調整しても良いものとする。
【0021】
図3に示すように、ISP13は、カメラインタフェース(I/F)31、画像取り込み部32、信号処理回路33、ドライバインタフェース(I/F)34及びオートフォーカス(AF)駆動ドライバ35を有する。カメラI/F31は、固体撮像装置12からの合成画像データの入力を受け付ける。画像取り込み部32は、カメラI/F31へ入力された合成画像データを取り込む。
【0022】
信号処理回路33は、画像取り込み部32へ取り込まれた合成画像について、信号処理を実施する。ドライバI/F34は、信号処理回路33での信号処理を経た画像データを、記憶部14及び表示部15(図1参照)へ出力する。
【0023】
図4に示す信号処理の手順において、信号処理回路33は、画像取り込み部32へ取り込まれた画像について、シェーディング補正を実施する(ステップS1)。信号処理回路33は、シェーディング補正により、第1の撮像レンズ21及び第2の撮像レンズ22について、中央部と周辺部との光量差による輝度ムラを補正する。
【0024】
信号処理回路33は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するノイズリダクション(ステップS2)及び解像度復元処理(ステップS3)を実施する。次に、信号処理回路33は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理(デモザイキング)を施す(ステップS4)。デモザイキングでは、撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。信号処理回路33は、デモザイキングによりカラーのビットマップ画像を合成する。
【0025】
信号処理回路33は、カラー画像に対して、ホワイトバランスの自動調整(automatic white balance control;AWB)を実施する(ステップS5)。さらに、信号処理回路33は、色再現性を得るためのリニアカラーマトリクス処理(ステップS6)、ディスプレイ等に表示される画像の彩度や明るさを補正するためのガンマ補正(ステップS7)を実施する。なお、本実施形態で説明する信号処理回路33における信号処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。
【0026】
カメラモジュール10における信号処理のための構成は、前段の撮像処理回路20と、後段のISP13とに大別される。カメラモジュール10において、撮像処理回路20及びISP13は、カラーイメージセンサ23及びモノクロイメージセンサ24により取り込まれた画像信号の信号処理を実施する画像処理装置として機能する。
【0027】
AF駆動ドライバ35は、レンズ駆動部27を制御する。レンズ駆動部27は、第1の撮像レンズ21及び第2の撮像レンズ22のフォーカス調整のために、光軸の方向について第1の撮像レンズ21及び第2の撮像レンズ22を駆動する。レンズ駆動部27は、レンズホルダー16を移動させることで、第1の撮像レンズ21及び第2の撮像レンズ22を一括して駆動する。カメラモジュール10は、第1の撮像レンズ21及び第2の撮像レンズ22を一括して駆動可能とすることで、第1の撮像レンズ21及び第2の撮像レンズ22を個別に駆動する場合に対し、レンズモジュール11を簡易な構成とすることができる。
【0028】
図7は、撮像処理回路の詳細を示すブロック図である。撮像処理回路20は、モノクロ信号変換部41、カラー信号分離部42、視差量算出部43、視差補正部44、輝度情報合成部45、解像度復元部46、ローパスフィルタ(LPF)47及び画像合成部48を有する。
【0029】
モノクロ信号変換部41は、モノクロイメージセンサ24から入力されたモノクロ画像データ51を第2輝度情報53へ変換する画像信号変換部として機能する。モノクロ信号変換部41は、モノクロ画像データ51の演算処理により第2輝度信号53を得る他、モノクロ画像データ51をそのまま第2輝度情報53としても良い。
【0030】
カラー信号分離部42は、カラーイメージセンサ23から入力されたRAW画像データ52を、第1輝度情報54及び色情報55へと分離する画像信号分離部として機能する。なお、第1輝度情報54及び第2輝度情報53は、例えば、YUV色空間の輝度成分に相当する情報とする。色情報55は、例えば、YUV色空間の色差成分に相当する情報とする。
【0031】
図8及び図9は、カラー信号分離部における第1輝度情報の生成について説明する図である。カラー信号分離部42は、例えば、G成分の信号値を第1輝度情報54とする。カラー信号分離部42は、R画素及びB画素については、周囲のG画素が検出した信号値の補間処理により、G成分の信号値を算出する。
【0032】
カラー信号分離部42は、B画素についてのG成分の信号値の算出において、例えば、図8に示すように、当該B画素を中心とする3行3列の画素ブロックに含まれる4個のG画素が検出した信号値を参照する。カラー信号分離部42は、例えば、次に示す式により、B画素についてのG成分の信号値を算出する。なお、式中、「G1」、「G2」、「G3」及び「G4」の項は、それぞれ、図8に示すG画素(G1、G2、G3及びG4)が検出したG成分の信号値とする。
(G成分の信号値)=(G1+G2+G3+G4)/4
【0033】
カラー信号分離部42は、R画素についてのG成分の信号値の算出において、例えば、図9に示すように、当該R画素を中心とする3行3列の画素ブロックに含まれる4個のG画素が検出した信号値を参照する。カラー信号分離部42は、B画素についての場合と同様の式を使用して、R画素についてのG成分の信号値を算出する。なお、カラー信号分離部42による補間処理の手法は、適宜変更可能であるものとする。例えば、カラー信号分離部42は、デモザイク処理の手法により、第1輝度情報54を生成することとしても良い。
【0034】
撮像処理回路20は、カラー信号分離部42からの第1輝度情報54及びモノクロ信号変換部41からの第2輝度情報53を、例えばフレームメモリ26(図3参照)に一時格納する。視差量算出部43は、フレームメモリ26から読み出した第1輝度情報54と第2輝度信号53とを使用して、カラーイメージセンサ23により取得した輝度画像(第1画像)、及びモノクロイメージセンサ24により取得した輝度画像(第2画像)の視差量を算出する。視差量算出部43は、例えば、第1輝度情報54による輝度画像を基準として、第2輝度情報53による輝度画像のずれを画素数に換算し、視差量とする。
【0035】
視差量算出部43は、例えば、ブロックマッチングの手法を採用することで、輝度画像同士のずれを簡易的に計算可能とする。また、視差量算出部43は、算出した視差量から、depth mapを生成する。なお、視差量算出部43は、第1輝度情報54による輝度画像を基準として視差量を算出する場合の他、第2輝度情報53による輝度画像を基準として視差量を算出することとしても良い。この場合、撮像処理回路20は、第1輝度情報54と同様の視差補正を、色情報55についても実施する。これにより、撮像処理回路20は視差が補正された合成画像を得ることができる。
【0036】
視差補正部44は、カラーイメージセンサ23により取得した輝度画像、及びモノクロイメージセンサ24により取得した輝度画像の視差を補正する。視差補正部44は、視差量算出部43で生成したdepth mapを参照して、視差を補正する。輝度情報合成部45は、視差補正部44における視差の補正を経た第1輝度情報54及び第2輝度情報53の合成により、合成輝度情報56を生成する。
【0037】
解像度復元部46は、合成輝度情報56による合成画像について、解像度復元を実施する。解像度復元部46は、第1の撮像レンズ21及び第2の撮像レンズ22が備えるボケ量等のレンズ特性を推測し、推測したレンズ特性に基づき解像度復元を実施する。レンズ特性としては、例えば、光学伝達係数(point spread function;PSF)を用いる。PSFの推測には、例えば、最小二乗法による推定方法を使用する。解像度復元の効果は、復元に用いるアルゴリズムに依存する。解像度復元部46は、元の被写体像に近い画像を復元するために、例えば、Richardson−Lucy法を使用する。
【0038】
カメラモジュール10は、解像度復元の確実な効果を得るために、第1の撮像レンズ21、第2の撮像レンズ22、カラーイメージセンサ23及びモノクロイメージセンサ24のそれぞれについての個体情報、例えば製造誤差、レンズ特性等を予め保持する。これらの個体情報は、例えば、固体撮像装置12内のOTP(one time programmable memory、図示省略)やISP13に格納される。
【0039】
LPF47は、カラー信号分離部42からの色情報55について平滑化処理を実施する。LPF47は、色情報55の平滑化処理により、色ノイズを低減させる。なお、撮像処理回路20は、色情報55について、LPF47による平滑化処理に代えて、例えばノイズリダクション処理を実施することとしても良い。
【0040】
画像合成部48は、解像度復元部46での解像度復元を経た合成輝度情報56と、LPF47での平滑化処理を経た色情報55との合成により、合成画像データ57を生成する。撮像処理回路20は、画像合成部48で生成した合成画像データ57を出力する。
【0041】
固体撮像装置12は、モノクロイメージセンサ24により、信号対ノイズ比(SNR)及び解像度が高い輪郭成分を持つ第2輝度情報53を得ることが可能である。鮮明な輪郭成分を第2輝度情報53から得られることから、撮像処理回路20は、カラーイメージセンサ23からのRAW画像データ52については、カラー信号分離部42において、第1輝度情報54よりも色情報55を優先して抽出することとしても良い。これにより、撮像処理回路20は、輪郭成分とともに、色成分についても高い感度を得ることが可能となる。
【0042】
なお、撮像処理回路20は、輝度情報合成部45により第1輝度情報54及び第2輝度情報53から合成された合成輝度情報56を色情報55と合成する場合に限られない。撮像処理回路20は、モノクロイメージセンサ24に由来する第2輝度情報53を色情報55と合成することとしても良い。この場合も、撮像処理回路20は、輪郭成分及び色成分について高い感度を得ることができる。
【0043】
本実施形態の固体撮像装置12は、カラーイメージセンサ23とモノクロイメージセンサ24とで輝度情報53、54及び色情報55を取得する。撮像処理回路20は、他の色用画素に比べて感度が高いW画素からの第2輝度情報53と、各色用画素からの第1輝度情報54とを輝度情報合成部45において合成することで、高感度な合成画像を得る。また、固体撮像装置12は、カラーイメージセンサ23で取得した色情報55を撮像処理回路20において合成することで、高い色再現性を確保する。
【0044】
固体撮像装置12は、各色用画素にW画素を混在させたイメージセンサを使用する場合に比べ、クロストークによる色再現性の低下を抑制可能とする。また、固体撮像装置12は、各色用画素より先にW画素の出力が飽和することによる各色成分の感度低下も抑制できる。
【0045】
以上により、固体撮像装置12は、カラーイメージセンサ23及びモノクロイメージセンサ24で得た情報を合成することで、高感度かつ高い色再現性の撮影を可能とする。これにより、カメラモジュール10は、高解像度かつ高精細な画像を得ることができる。さらに、カメラモジュール10は、高感度を得るための画素の大型化、長い焦点距離の確保が不要となるため、薄型化及び小型化が可能となる。
【0046】
なお、図7に示す撮像処理回路20が備える各要素の少なくとも一部は、ISP13の信号処理回路33に設けることとしても良い。また、信号処理回路33が実施するものとして図4に示す各処理の少なくとも一部は、撮像処理回路20で実施することとしても良い。固体撮像装置12は、撮像処理回路20及び信号処理回路33の構成次第により、フレームメモリ26を適宜省くこととしても良い。
【0047】
図10は、第1輝度情報及び第2輝度情報の合成による合成輝度情報の取得に関する変形例を説明する図表である。図表中、タイプ1は、本実施形態においてこれまで説明した態様を表している。タイプ1において、固体撮像装置12は、W画素を並列させたモノクロイメージセンサ24と、RGBの各画素をベイヤー配列としたカラーイメージセンサ23とを備える。第2輝度情報53は、W成分の信号値からなるモノクロ画像データ51から取得する。第1輝度情報54は、RGB各成分の信号値からなるRAW画像データ52の補間処理を経て取得したG成分の信号値とする。
【0048】
タイプ2では、固体撮像装置12は、G画素を並列させたモノクロイメージセンサ24と、タイプ1と同様のカラーイメージセンサ23とを使用する。第2輝度情報53は、G成分の信号値とする。第1輝度情報54は、タイプ1と同様に、補間処理を経て取得したG成分の信号値とする。
【0049】
図11は、タイプ3にて使用するカラーイメージセンサにおける画素の配列を説明する図である。タイプ3では、RGの各画素を交互に並列させたカラーイメージセンサ23を使用する。固体撮像装置12は、かかるカラーイメージセンサ23と、タイプ2と同様のモノクロイメージセンサ24とを使用する。第2輝度情報53は、タイプ2と同様に、G成分の信号値とする。
【0050】
カラー信号分離部42(図7参照)は、RB各成分の信号値からなるRB画像データの補間処理により、各画素についてのR成分の信号値とB成分の信号値とを取得する。カラー信号分離部42は、R成分の信号値とB成分の信号値との加算によりM(マゼンタ)成分の信号値を取得する。タイプ3では、M成分の信号値を第1輝度情報54とする。
【0051】
図12は、タイプ4にて使用するカラーイメージセンサにおける画素の配列を説明する図である。タイプ4では、CY(C:シアン、Y:イエロー)の各画素を交互に並列させたカラーイメージセンサ23を使用する。固体撮像装置12は、かかるカラーイメージセンサ23と、タイプ2と同様のモノクロイメージセンサ24とを使用する。第2輝度情報53は、タイプ2と同様に、G成分の信号値とする。カラー信号分離部42は、CY各成分の信号値からなるCY画像データの補間処理により、各画素についてのC成分の信号値とY成分の信号値とを取得する。
【0052】
図13は、Y画素についてのC成分の信号値の算出について説明する図である。カラー信号分離部42は、例えば、Y画素を中心とする3行3列の画素ブロックに含まれる4個のC画素が検出した信号値を参照する。カラー信号分離部42は、例えば、次に示す式により、Y画素についてのC成分の信号値を算出する。なお、式中、「C1」、「C2」、「C3」及び「C4」の項は、それぞれ、図13に示すC画素(C1、C2、C3及びC4)が検出したC成分の信号値とする。
(C成分の信号値)=(C1+C2+C3+C4)/4
【0053】
図14は、C画素についてのY成分の信号値の算出について説明する図である。カラー信号分離部42は、例えば、C画素を中心とする3行3列の画素ブロックに含まれる4個のY画素が検出した信号値を参照する。カラー信号分離部42は、例えば、次に示す式により、C画素についてのY成分の信号値を算出する。なお、式中、「Y1」、「Y2」、「Y3」及び「Y4」の項は、それぞれ、図14に示すY画素(Y1、Y2、Y3及びY4)が検出したY成分の信号値とする。
(Y成分の信号値)=(Y1+Y2+Y3+Y4)/4
【0054】
カラー信号分離部42は、このような補間処理を経たC成分の信号値とY成分の信号値との加算によりG成分の信号値を取得する。タイプ4では、G成分の信号値を第1輝度情報54とする。タイプ1〜4のいずれを採用する場合も、固体撮像装置12は、高感度かつ高い色再現性の撮影を可能とする。
【0055】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0056】
10 カメラモジュール、11 レンズモジュール、12 固体撮像装置、20 撮像処理回路、21 第1の撮像レンズ、22 第2の撮像レンズ、23 カラーイメージセンサ、24 モノクロイメージセンサ、26 フレームメモリ、27 レンズ駆動部、33 信号処理回路、44 視差補正部、45 輝度情報合成部、48 画像合成部、51 モノクロ画像データ、52 RAW画像データ、53 第2輝度情報、54 第1輝度情報、55 色情報、56 合成輝度情報。
【技術分野】
【0001】
本発明の実施形態は、固体撮像装置及びカメラモジュールに関する。
【背景技術】
【0002】
従来、固体撮像装置は、高感度な画像撮影を実現するために、例えば、画素を大型化する措置が採られることがある。画素の大型化によりイメージセンサを大型にする場合、レンズから受光面までの距離(焦点距離)を長く確保することとなるために、カメラモジュールの薄型化が困難となる。
【0003】
イメージセンサの多くは、2行2列の画素ブロック中の対角に赤色(R)画素及び青色(B)画素を配置し、残りの対角に2個の緑色(G)画素を配置する、いわゆるベイヤー配列が採用されている。従来、高感度な画像撮影を実現するために、2行2列の画素ブロック中の1個のG画素が、白色(W)画素に置き換えられたイメージセンサが提案されている。W画素は、白色光を取り込む。W画素は、輝度信号の信号電荷量を十分に確保することを目的として配置される。
【0004】
W画素は、他の色画素に比べて広い波長域の光を取り込むため、画素セルへの入射光量に対する出力の飽和が、他の色画素より先に生じることとなる。W画素を備えるイメージセンサは、入射光量に対する出力の飽和がW画素で生じることで、各色について十分な感度が得られないことがあり得る。また、W画素へ多くの光が取り込まれることで、W画素から、W画素に隣接する他の色用画素へ光が漏れ出すことによるクロストークが生じ易くなる。W画素を備えるイメージセンサは、クロストークによる色再現性の低下が課題となっている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−17544号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の一つの実施形態は、カメラモジュールの薄型化を可能とし、高い色再現性と高感度とを実現可能とする固体撮像装置及びカメラモジュールを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一つの実施形態によれば、固体撮像装置は、第1イメージセンサ、第2イメージセンサ及び撮像処理回路を有する。第1イメージセンサは、被写体から入射する各色光の強度分布に応じた第1画像信号を出力する。第2イメージセンサは、被写体から入射する光の輝度分布に応じた第2画像信号を出力する。撮像処理回路は、第1画像信号及び第2画像信号の処理を実施する。撮像処理回路は、画像合成部を有する。画像合成部は、第1画像信号に含まれる色情報と、第2画像信号に含まれる輝度情報とを合成する。
【図面の簡単な説明】
【0008】
【図1】実施形態にかかる固体撮像装置を適用したカメラモジュールの一部構成を模式的に表した斜視図。
【図2】カメラモジュールの概略構成を示すブロック図。
【図3】レンズモジュール、固体撮像装置及びISPの詳細を示すブロック図。
【図4】ISPの信号処理回路による信号処理の手順を説明するフローチャート。
【図5】タイミング生成器によるフレームタイミングの調整について説明するブロック図。
【図6】フレームメモリを使用するフレームタイミングの調整について説明するブロック図。
【図7】撮像処理回路の詳細を示すブロック図。
【図8】カラー信号分離部における第1輝度情報の生成について説明する図。
【図9】カラー信号分離部における第1輝度情報の生成について説明する図。
【図10】第1輝度情報及び第2輝度情報の合成による合成輝度情報の取得に関する変形例を説明する図表。
【図11】タイプ3にて使用するカラーイメージセンサにおける画素の配列を説明する図。
【図12】タイプ4にて使用するカラーイメージセンサにおける画素の配列を説明する図。
【図13】Y画素についてのC成分の信号値の算出について説明する図。
【図14】C画素についてのY成分の信号値の算出について説明する図。
【発明を実施するための形態】
【0009】
以下に添付図面を参照して、実施形態にかかる固体撮像装置及びカメラモジュールを詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【0010】
(実施形態)
図1は、実施形態にかかる固体撮像装置を適用したカメラモジュールの一部構成を模式的に表した斜視図である。図2は、カメラモジュールの概略構成を示すブロック図である。カメラモジュール10は、レンズモジュール11、固体撮像装置12、イメージシグナルプロセッサ(image signal processor;ISP)13、記憶部14及び表示部15を有する。
【0011】
レンズモジュール11は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置12は、被写体像を撮像する。ISP13は、固体撮像装置12での撮像により得られた画像信号の信号処理を実施する。記憶部14は、ISP13での信号処理を経た画像を格納する。記憶部14は、ユーザの操作等に応じて、表示部15へ画像信号を出力する。表示部15は、ISP13あるいは記憶部14から入力される画像信号に応じて、画像を表示する。表示部15は、例えば、液晶ディスプレイである。
【0012】
図3は、レンズモジュール、固体撮像装置及びISPの詳細を示すブロック図である。図4は、ISPの信号処理回路による信号処理の手順を説明するフローチャートである。図3に示すように、レンズモジュール11は、第1の撮像レンズ21、第2の撮像レンズ22及びレンズ駆動部27を有する。第1の撮像レンズ21は、被写体からの光を取り込み、カラーイメージセンサ23へ入射させる。第2の撮像レンズ22は、被写体からの光を取り込み、モノクロイメージセンサ24へ入射させる。
【0013】
図1に示すように、第1の撮像レンズ21及び第2の撮像レンズ22は、共通のレンズホルダー16に取り付けられている。第1の撮像レンズ21及び第2の撮像レンズ22は、例えば、それぞれレンズバレルに保持された状態で、レンズホルダー16に取り付けられる。第1の撮像レンズ21及び第2の撮像レンズ22は、図中一点鎖線で示す第1の撮像レンズ21の光軸及び第2の撮像レンズ22の光軸に対して垂直な方向へ並べられている。
【0014】
固体撮像装置12は、撮像処理回路20、カラーイメージセンサ23、モノクロイメージセンサ24、タイミング生成器25及びフレームメモリ26を有する。カラーイメージセンサ23には、R光を検出するR画素、G光を検出するG画素、及びB光を検出するB画素が、例えばベイヤー配列として配置されている。カラーイメージセンサ23は、RAW画像データを出力する第1イメージセンサとして機能する。RAW画像データは、第1の撮像レンズ21により取り込まれた各色光の強度分布に応じた第1画像信号とする。
【0015】
モノクロイメージセンサ24には、W光を検出するW画素がアレイ状に配置されている。モノクロイメージセンサ24は、モノクロ画像データを出力する第2イメージセンサとして機能する。モノクロ画像データは、第2の撮像レンズ22により取り込まれた光の輝度分布に応じた第2画像信号とする。カラーイメージセンサ23及びモノクロイメージセンサ24は、例えば、LVDS(low voltage differential signaling)による伝送方式を採用する。
【0016】
撮像処理回路20は、カラーイメージセンサ23からのRAW画像データと、モノクロイメージセンサ24からのモノクロ画像データとの処理を実施する。撮像処理回路20は、RAW画像データ及びモノクロ画像データを合成して得られた合成画像データを出力する。フレームメモリ26は、撮像処理回路20に取り込まれたRAW画像データ及びモノクロ画像データの少なくともいずれかを格納する。フレームメモリ26は、後述する視差補正のために使用される他、例えば、高ダイナミックレンジ(high dynamic range;HDR)処理や手振れ補正等のために使用されるものとしても良い。
【0017】
図1に示すように、カラーイメージセンサ23、モノクロイメージセンサ24及びフレームメモリ26は、共通のプリント基板17上に配置されている。第1の撮像レンズ21は、カラーイメージセンサ23に対向させて配置されている。第2の撮像レンズ22は、モノクロイメージセンサ24に対向させて配置されている。カメラモジュール10は、カラーイメージセンサ23、モノクロイメージセンサ24及びフレームメモリ26を共通のプリント基板17上に集約することで、小型化に適した構成としている。タイミング生成器25は、RAW画像データとモノクロ画像データとに適用するフレームタイミングを生成する。
【0018】
図5は、タイミング生成器によるフレームタイミングの調整について説明するブロック図である。タイミング生成器25は、水平同期信号H及び垂直同期信号Vを生成する。カラーイメージセンサ23は、フレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、RAW画像データを出力する。また、モノクロイメージセンサ24は、フレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、モノクロ画像データを出力する。
【0019】
図6は、フレームメモリを使用するフレームタイミングの調整について説明するブロック図である。カラー用フレームメモリ28は、カラーイメージセンサ23からのRAW画像データを一時的に格納する。モノクロ用フレームメモリ29は、モノクロイメージセンサ24からのモノクロ画像データを一時的に格納する。カラー用フレームメモリ28及びモノクロ用フレームメモリ29は、例えば、フレームメモリ26(図3参照)に包含されているものとする。
【0020】
カラー用フレームメモリ28は、格納しているRAW画像データのフレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、RAW画像データを出力する。モノクロ用フレームメモリ29は、格納しているモノクロ画像データのフレームタイミングを水平同期信号H及び垂直同期信号Vに一致させてから、モノクロ画像データを出力する。固体撮像装置12は、図5及び図6に示す構成のいずれによってフレームタイミングを調整しても良いものとする。
【0021】
図3に示すように、ISP13は、カメラインタフェース(I/F)31、画像取り込み部32、信号処理回路33、ドライバインタフェース(I/F)34及びオートフォーカス(AF)駆動ドライバ35を有する。カメラI/F31は、固体撮像装置12からの合成画像データの入力を受け付ける。画像取り込み部32は、カメラI/F31へ入力された合成画像データを取り込む。
【0022】
信号処理回路33は、画像取り込み部32へ取り込まれた合成画像について、信号処理を実施する。ドライバI/F34は、信号処理回路33での信号処理を経た画像データを、記憶部14及び表示部15(図1参照)へ出力する。
【0023】
図4に示す信号処理の手順において、信号処理回路33は、画像取り込み部32へ取り込まれた画像について、シェーディング補正を実施する(ステップS1)。信号処理回路33は、シェーディング補正により、第1の撮像レンズ21及び第2の撮像レンズ22について、中央部と周辺部との光量差による輝度ムラを補正する。
【0024】
信号処理回路33は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するノイズリダクション(ステップS2)及び解像度復元処理(ステップS3)を実施する。次に、信号処理回路33は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理(デモザイキング)を施す(ステップS4)。デモザイキングでは、撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。信号処理回路33は、デモザイキングによりカラーのビットマップ画像を合成する。
【0025】
信号処理回路33は、カラー画像に対して、ホワイトバランスの自動調整(automatic white balance control;AWB)を実施する(ステップS5)。さらに、信号処理回路33は、色再現性を得るためのリニアカラーマトリクス処理(ステップS6)、ディスプレイ等に表示される画像の彩度や明るさを補正するためのガンマ補正(ステップS7)を実施する。なお、本実施形態で説明する信号処理回路33における信号処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。
【0026】
カメラモジュール10における信号処理のための構成は、前段の撮像処理回路20と、後段のISP13とに大別される。カメラモジュール10において、撮像処理回路20及びISP13は、カラーイメージセンサ23及びモノクロイメージセンサ24により取り込まれた画像信号の信号処理を実施する画像処理装置として機能する。
【0027】
AF駆動ドライバ35は、レンズ駆動部27を制御する。レンズ駆動部27は、第1の撮像レンズ21及び第2の撮像レンズ22のフォーカス調整のために、光軸の方向について第1の撮像レンズ21及び第2の撮像レンズ22を駆動する。レンズ駆動部27は、レンズホルダー16を移動させることで、第1の撮像レンズ21及び第2の撮像レンズ22を一括して駆動する。カメラモジュール10は、第1の撮像レンズ21及び第2の撮像レンズ22を一括して駆動可能とすることで、第1の撮像レンズ21及び第2の撮像レンズ22を個別に駆動する場合に対し、レンズモジュール11を簡易な構成とすることができる。
【0028】
図7は、撮像処理回路の詳細を示すブロック図である。撮像処理回路20は、モノクロ信号変換部41、カラー信号分離部42、視差量算出部43、視差補正部44、輝度情報合成部45、解像度復元部46、ローパスフィルタ(LPF)47及び画像合成部48を有する。
【0029】
モノクロ信号変換部41は、モノクロイメージセンサ24から入力されたモノクロ画像データ51を第2輝度情報53へ変換する画像信号変換部として機能する。モノクロ信号変換部41は、モノクロ画像データ51の演算処理により第2輝度信号53を得る他、モノクロ画像データ51をそのまま第2輝度情報53としても良い。
【0030】
カラー信号分離部42は、カラーイメージセンサ23から入力されたRAW画像データ52を、第1輝度情報54及び色情報55へと分離する画像信号分離部として機能する。なお、第1輝度情報54及び第2輝度情報53は、例えば、YUV色空間の輝度成分に相当する情報とする。色情報55は、例えば、YUV色空間の色差成分に相当する情報とする。
【0031】
図8及び図9は、カラー信号分離部における第1輝度情報の生成について説明する図である。カラー信号分離部42は、例えば、G成分の信号値を第1輝度情報54とする。カラー信号分離部42は、R画素及びB画素については、周囲のG画素が検出した信号値の補間処理により、G成分の信号値を算出する。
【0032】
カラー信号分離部42は、B画素についてのG成分の信号値の算出において、例えば、図8に示すように、当該B画素を中心とする3行3列の画素ブロックに含まれる4個のG画素が検出した信号値を参照する。カラー信号分離部42は、例えば、次に示す式により、B画素についてのG成分の信号値を算出する。なお、式中、「G1」、「G2」、「G3」及び「G4」の項は、それぞれ、図8に示すG画素(G1、G2、G3及びG4)が検出したG成分の信号値とする。
(G成分の信号値)=(G1+G2+G3+G4)/4
【0033】
カラー信号分離部42は、R画素についてのG成分の信号値の算出において、例えば、図9に示すように、当該R画素を中心とする3行3列の画素ブロックに含まれる4個のG画素が検出した信号値を参照する。カラー信号分離部42は、B画素についての場合と同様の式を使用して、R画素についてのG成分の信号値を算出する。なお、カラー信号分離部42による補間処理の手法は、適宜変更可能であるものとする。例えば、カラー信号分離部42は、デモザイク処理の手法により、第1輝度情報54を生成することとしても良い。
【0034】
撮像処理回路20は、カラー信号分離部42からの第1輝度情報54及びモノクロ信号変換部41からの第2輝度情報53を、例えばフレームメモリ26(図3参照)に一時格納する。視差量算出部43は、フレームメモリ26から読み出した第1輝度情報54と第2輝度信号53とを使用して、カラーイメージセンサ23により取得した輝度画像(第1画像)、及びモノクロイメージセンサ24により取得した輝度画像(第2画像)の視差量を算出する。視差量算出部43は、例えば、第1輝度情報54による輝度画像を基準として、第2輝度情報53による輝度画像のずれを画素数に換算し、視差量とする。
【0035】
視差量算出部43は、例えば、ブロックマッチングの手法を採用することで、輝度画像同士のずれを簡易的に計算可能とする。また、視差量算出部43は、算出した視差量から、depth mapを生成する。なお、視差量算出部43は、第1輝度情報54による輝度画像を基準として視差量を算出する場合の他、第2輝度情報53による輝度画像を基準として視差量を算出することとしても良い。この場合、撮像処理回路20は、第1輝度情報54と同様の視差補正を、色情報55についても実施する。これにより、撮像処理回路20は視差が補正された合成画像を得ることができる。
【0036】
視差補正部44は、カラーイメージセンサ23により取得した輝度画像、及びモノクロイメージセンサ24により取得した輝度画像の視差を補正する。視差補正部44は、視差量算出部43で生成したdepth mapを参照して、視差を補正する。輝度情報合成部45は、視差補正部44における視差の補正を経た第1輝度情報54及び第2輝度情報53の合成により、合成輝度情報56を生成する。
【0037】
解像度復元部46は、合成輝度情報56による合成画像について、解像度復元を実施する。解像度復元部46は、第1の撮像レンズ21及び第2の撮像レンズ22が備えるボケ量等のレンズ特性を推測し、推測したレンズ特性に基づき解像度復元を実施する。レンズ特性としては、例えば、光学伝達係数(point spread function;PSF)を用いる。PSFの推測には、例えば、最小二乗法による推定方法を使用する。解像度復元の効果は、復元に用いるアルゴリズムに依存する。解像度復元部46は、元の被写体像に近い画像を復元するために、例えば、Richardson−Lucy法を使用する。
【0038】
カメラモジュール10は、解像度復元の確実な効果を得るために、第1の撮像レンズ21、第2の撮像レンズ22、カラーイメージセンサ23及びモノクロイメージセンサ24のそれぞれについての個体情報、例えば製造誤差、レンズ特性等を予め保持する。これらの個体情報は、例えば、固体撮像装置12内のOTP(one time programmable memory、図示省略)やISP13に格納される。
【0039】
LPF47は、カラー信号分離部42からの色情報55について平滑化処理を実施する。LPF47は、色情報55の平滑化処理により、色ノイズを低減させる。なお、撮像処理回路20は、色情報55について、LPF47による平滑化処理に代えて、例えばノイズリダクション処理を実施することとしても良い。
【0040】
画像合成部48は、解像度復元部46での解像度復元を経た合成輝度情報56と、LPF47での平滑化処理を経た色情報55との合成により、合成画像データ57を生成する。撮像処理回路20は、画像合成部48で生成した合成画像データ57を出力する。
【0041】
固体撮像装置12は、モノクロイメージセンサ24により、信号対ノイズ比(SNR)及び解像度が高い輪郭成分を持つ第2輝度情報53を得ることが可能である。鮮明な輪郭成分を第2輝度情報53から得られることから、撮像処理回路20は、カラーイメージセンサ23からのRAW画像データ52については、カラー信号分離部42において、第1輝度情報54よりも色情報55を優先して抽出することとしても良い。これにより、撮像処理回路20は、輪郭成分とともに、色成分についても高い感度を得ることが可能となる。
【0042】
なお、撮像処理回路20は、輝度情報合成部45により第1輝度情報54及び第2輝度情報53から合成された合成輝度情報56を色情報55と合成する場合に限られない。撮像処理回路20は、モノクロイメージセンサ24に由来する第2輝度情報53を色情報55と合成することとしても良い。この場合も、撮像処理回路20は、輪郭成分及び色成分について高い感度を得ることができる。
【0043】
本実施形態の固体撮像装置12は、カラーイメージセンサ23とモノクロイメージセンサ24とで輝度情報53、54及び色情報55を取得する。撮像処理回路20は、他の色用画素に比べて感度が高いW画素からの第2輝度情報53と、各色用画素からの第1輝度情報54とを輝度情報合成部45において合成することで、高感度な合成画像を得る。また、固体撮像装置12は、カラーイメージセンサ23で取得した色情報55を撮像処理回路20において合成することで、高い色再現性を確保する。
【0044】
固体撮像装置12は、各色用画素にW画素を混在させたイメージセンサを使用する場合に比べ、クロストークによる色再現性の低下を抑制可能とする。また、固体撮像装置12は、各色用画素より先にW画素の出力が飽和することによる各色成分の感度低下も抑制できる。
【0045】
以上により、固体撮像装置12は、カラーイメージセンサ23及びモノクロイメージセンサ24で得た情報を合成することで、高感度かつ高い色再現性の撮影を可能とする。これにより、カメラモジュール10は、高解像度かつ高精細な画像を得ることができる。さらに、カメラモジュール10は、高感度を得るための画素の大型化、長い焦点距離の確保が不要となるため、薄型化及び小型化が可能となる。
【0046】
なお、図7に示す撮像処理回路20が備える各要素の少なくとも一部は、ISP13の信号処理回路33に設けることとしても良い。また、信号処理回路33が実施するものとして図4に示す各処理の少なくとも一部は、撮像処理回路20で実施することとしても良い。固体撮像装置12は、撮像処理回路20及び信号処理回路33の構成次第により、フレームメモリ26を適宜省くこととしても良い。
【0047】
図10は、第1輝度情報及び第2輝度情報の合成による合成輝度情報の取得に関する変形例を説明する図表である。図表中、タイプ1は、本実施形態においてこれまで説明した態様を表している。タイプ1において、固体撮像装置12は、W画素を並列させたモノクロイメージセンサ24と、RGBの各画素をベイヤー配列としたカラーイメージセンサ23とを備える。第2輝度情報53は、W成分の信号値からなるモノクロ画像データ51から取得する。第1輝度情報54は、RGB各成分の信号値からなるRAW画像データ52の補間処理を経て取得したG成分の信号値とする。
【0048】
タイプ2では、固体撮像装置12は、G画素を並列させたモノクロイメージセンサ24と、タイプ1と同様のカラーイメージセンサ23とを使用する。第2輝度情報53は、G成分の信号値とする。第1輝度情報54は、タイプ1と同様に、補間処理を経て取得したG成分の信号値とする。
【0049】
図11は、タイプ3にて使用するカラーイメージセンサにおける画素の配列を説明する図である。タイプ3では、RGの各画素を交互に並列させたカラーイメージセンサ23を使用する。固体撮像装置12は、かかるカラーイメージセンサ23と、タイプ2と同様のモノクロイメージセンサ24とを使用する。第2輝度情報53は、タイプ2と同様に、G成分の信号値とする。
【0050】
カラー信号分離部42(図7参照)は、RB各成分の信号値からなるRB画像データの補間処理により、各画素についてのR成分の信号値とB成分の信号値とを取得する。カラー信号分離部42は、R成分の信号値とB成分の信号値との加算によりM(マゼンタ)成分の信号値を取得する。タイプ3では、M成分の信号値を第1輝度情報54とする。
【0051】
図12は、タイプ4にて使用するカラーイメージセンサにおける画素の配列を説明する図である。タイプ4では、CY(C:シアン、Y:イエロー)の各画素を交互に並列させたカラーイメージセンサ23を使用する。固体撮像装置12は、かかるカラーイメージセンサ23と、タイプ2と同様のモノクロイメージセンサ24とを使用する。第2輝度情報53は、タイプ2と同様に、G成分の信号値とする。カラー信号分離部42は、CY各成分の信号値からなるCY画像データの補間処理により、各画素についてのC成分の信号値とY成分の信号値とを取得する。
【0052】
図13は、Y画素についてのC成分の信号値の算出について説明する図である。カラー信号分離部42は、例えば、Y画素を中心とする3行3列の画素ブロックに含まれる4個のC画素が検出した信号値を参照する。カラー信号分離部42は、例えば、次に示す式により、Y画素についてのC成分の信号値を算出する。なお、式中、「C1」、「C2」、「C3」及び「C4」の項は、それぞれ、図13に示すC画素(C1、C2、C3及びC4)が検出したC成分の信号値とする。
(C成分の信号値)=(C1+C2+C3+C4)/4
【0053】
図14は、C画素についてのY成分の信号値の算出について説明する図である。カラー信号分離部42は、例えば、C画素を中心とする3行3列の画素ブロックに含まれる4個のY画素が検出した信号値を参照する。カラー信号分離部42は、例えば、次に示す式により、C画素についてのY成分の信号値を算出する。なお、式中、「Y1」、「Y2」、「Y3」及び「Y4」の項は、それぞれ、図14に示すY画素(Y1、Y2、Y3及びY4)が検出したY成分の信号値とする。
(Y成分の信号値)=(Y1+Y2+Y3+Y4)/4
【0054】
カラー信号分離部42は、このような補間処理を経たC成分の信号値とY成分の信号値との加算によりG成分の信号値を取得する。タイプ4では、G成分の信号値を第1輝度情報54とする。タイプ1〜4のいずれを採用する場合も、固体撮像装置12は、高感度かつ高い色再現性の撮影を可能とする。
【0055】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0056】
10 カメラモジュール、11 レンズモジュール、12 固体撮像装置、20 撮像処理回路、21 第1の撮像レンズ、22 第2の撮像レンズ、23 カラーイメージセンサ、24 モノクロイメージセンサ、26 フレームメモリ、27 レンズ駆動部、33 信号処理回路、44 視差補正部、45 輝度情報合成部、48 画像合成部、51 モノクロ画像データ、52 RAW画像データ、53 第2輝度情報、54 第1輝度情報、55 色情報、56 合成輝度情報。
【特許請求の範囲】
【請求項1】
被写体から入射する各色光の強度分布に応じた第1画像信号を出力する第1イメージセンサと、
前記被写体から入射する光の輝度分布に応じた第2画像信号を出力する第2イメージセンサと、
前記第1画像信号及び前記第2画像信号の処理を実施する撮像処理回路と、を有し、
前記撮像処理回路は、
前記第1画像信号に含まれる色情報と、前記第2画像信号に含まれる輝度情報とを合成する画像合成部を有することを特徴とする固体撮像装置。
【請求項2】
前記撮像処理回路は、
前記第1画像信号に含まれる第1輝度情報と前記第2画像信号に含まれる第2輝度情報との合成により、合成輝度情報を生成する輝度情報合成部をさらに有し、
前記画像合成部は、前記色情報と、前記輝度情報合成部からの前記合成輝度情報とを合成することを特徴とする請求項1に記載の固体撮像装置。
【請求項3】
前記撮像処理回路は、
前記第1イメージセンサにより取得した第1画像と、前記第2イメージセンサにより取得した第2画像と、の視差を補正する視差補正部をさらに有し、
前記視差補正部は、前記第1輝度情報及び前記第2輝度情報を使用して算出された視差量に応じて視差を補正することを特徴とする請求項1又は2に記載の固体撮像装置。
【請求項4】
前記第1画像信号及び前記第2画像信号の少なくともいずれかを格納するフレームメモリを有し、
前記第1イメージセンサ、前記第2イメージセンサ及び前記フレームメモリは、共通の基板に設けられることを特徴とする請求項1から3のいずれか一項に記載の固体撮像装置。
【請求項5】
被写体からの光を取り込み、被写体像を結像させるレンズモジュールと、
前記被写体像を撮像する固体撮像装置と、を有し、
前記固体撮像装置は、
前記被写体から入射する各色光の強度分布に応じた第1画像信号を出力する第1イメージセンサと、
前記被写体から入射する光の輝度分布に応じた第2画像信号を出力する第2イメージセンサと、
前記第1画像信号及び前記第2画像信号の処理を実施する撮像処理回路と、を有し、
前記レンズモジュールは、
前記被写体からの光を前記第1イメージセンサへ入射させる第1の撮像レンズと、
前記被写体からの光を前記第2イメージセンサへ入射させる第2の撮像レンズと、
前記第1の撮像レンズ及び前記第2の撮像レンズのフォーカス調整のためのレンズ駆動部と、を有し、
前記撮像処理回路は、
前記第1画像信号に含まれる色情報と、前記第2画像信号に含まれる輝度情報とを合成する画像合成部を有し、
前記レンズ駆動部は、前記第1の撮像レンズ及び前記第2の撮像レンズを駆動することを特徴とするカメラモジュール。
【請求項6】
前記第1の撮像レンズ及び前記第2の撮像レンズは、共通のレンズホルダーに取り付けられ、
前記レンズ駆動部は、前記レンズホルダーを移動させることで、前記第1の撮像レンズ及び前記第2の撮像レンズを一括して駆動することを特徴とする請求項5に記載のカメラモジュール。
【請求項7】
前記固体撮像装置は、
前記第1画像信号及び前記第2画像信号の少なくともいずれかを格納するフレームメモリを有し、
前記第1イメージセンサ、前記第2イメージセンサ及び前記フレームメモリは、共通の基板に設けられることを特徴とする請求項5又は6に記載のカメラモジュール。
【請求項1】
被写体から入射する各色光の強度分布に応じた第1画像信号を出力する第1イメージセンサと、
前記被写体から入射する光の輝度分布に応じた第2画像信号を出力する第2イメージセンサと、
前記第1画像信号及び前記第2画像信号の処理を実施する撮像処理回路と、を有し、
前記撮像処理回路は、
前記第1画像信号に含まれる色情報と、前記第2画像信号に含まれる輝度情報とを合成する画像合成部を有することを特徴とする固体撮像装置。
【請求項2】
前記撮像処理回路は、
前記第1画像信号に含まれる第1輝度情報と前記第2画像信号に含まれる第2輝度情報との合成により、合成輝度情報を生成する輝度情報合成部をさらに有し、
前記画像合成部は、前記色情報と、前記輝度情報合成部からの前記合成輝度情報とを合成することを特徴とする請求項1に記載の固体撮像装置。
【請求項3】
前記撮像処理回路は、
前記第1イメージセンサにより取得した第1画像と、前記第2イメージセンサにより取得した第2画像と、の視差を補正する視差補正部をさらに有し、
前記視差補正部は、前記第1輝度情報及び前記第2輝度情報を使用して算出された視差量に応じて視差を補正することを特徴とする請求項1又は2に記載の固体撮像装置。
【請求項4】
前記第1画像信号及び前記第2画像信号の少なくともいずれかを格納するフレームメモリを有し、
前記第1イメージセンサ、前記第2イメージセンサ及び前記フレームメモリは、共通の基板に設けられることを特徴とする請求項1から3のいずれか一項に記載の固体撮像装置。
【請求項5】
被写体からの光を取り込み、被写体像を結像させるレンズモジュールと、
前記被写体像を撮像する固体撮像装置と、を有し、
前記固体撮像装置は、
前記被写体から入射する各色光の強度分布に応じた第1画像信号を出力する第1イメージセンサと、
前記被写体から入射する光の輝度分布に応じた第2画像信号を出力する第2イメージセンサと、
前記第1画像信号及び前記第2画像信号の処理を実施する撮像処理回路と、を有し、
前記レンズモジュールは、
前記被写体からの光を前記第1イメージセンサへ入射させる第1の撮像レンズと、
前記被写体からの光を前記第2イメージセンサへ入射させる第2の撮像レンズと、
前記第1の撮像レンズ及び前記第2の撮像レンズのフォーカス調整のためのレンズ駆動部と、を有し、
前記撮像処理回路は、
前記第1画像信号に含まれる色情報と、前記第2画像信号に含まれる輝度情報とを合成する画像合成部を有し、
前記レンズ駆動部は、前記第1の撮像レンズ及び前記第2の撮像レンズを駆動することを特徴とするカメラモジュール。
【請求項6】
前記第1の撮像レンズ及び前記第2の撮像レンズは、共通のレンズホルダーに取り付けられ、
前記レンズ駆動部は、前記レンズホルダーを移動させることで、前記第1の撮像レンズ及び前記第2の撮像レンズを一括して駆動することを特徴とする請求項5に記載のカメラモジュール。
【請求項7】
前記固体撮像装置は、
前記第1画像信号及び前記第2画像信号の少なくともいずれかを格納するフレームメモリを有し、
前記第1イメージセンサ、前記第2イメージセンサ及び前記フレームメモリは、共通の基板に設けられることを特徴とする請求項5又は6に記載のカメラモジュール。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2013−26672(P2013−26672A)
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願番号】特願2011−156757(P2011−156757)
【出願日】平成23年7月15日(2011.7.15)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願日】平成23年7月15日(2011.7.15)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]