説明

画像表示装置、電子機器、画像表示システム、画像表示方法、照明光分布補正装置、照明光分布補正方法、プログラム

【課題】照明光環境の影響による表示画像の見栄えの変化を緩和する。
【解決手段】表示素子を含む画素が複数配列されている画像表示部10の背面に、表示面側の被写体を撮像する撮像装置20を設け、撮像装置20を画像表示部10の表示面の照明光の分布を測定する光検知部として利用する。画像表示部10の表示面には光拡散シート68を設け、背面と撮像装置20との間には魚眼レンズなどの集光部21を設ける。照明光分布補正部300は、非表示期間に光拡散シート68に焦点を合わせて撮像装置20で撮像することで測定された照明光の分布の情報に基づいて、視認される表示画像における照明光の影響を抑制するように表示データを補正する。補正後の表示データを画像表示部10に供給して画像表示を行なう。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示装置、電子機器、画像表示システム、画像表示方法、照明光分布補正装置、照明光分布補正方法、プログラムに関する。より詳細には、表示画像の見栄えを改善する技術に関する。
【背景技術】
【0002】
画素の表示素子として、印加される電圧や流れる電流によって輝度が変化する電気光学素子を用いた表示装置がある(特許文献1,2などを参照)。たとえば、印加される電圧によって輝度が変化する電気光学素子としては液晶表示素子が代表例であり、流れる電流によって輝度が変化する電気光学素子としては、有機エレクトロルミネッセンス(Organic Electro Luminescence, 有機EL, Organic Light Emitting Diode, OLED;以下、有機ELと記す) 素子が代表例である。後者の有機EL素子を用いた有機EL表示装置は、画素の表示素子として、自発光素子である電気光学素子を用いたいわゆる自発光型の表示装置である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−176151号公報
【特許文献2】特開2005−010407号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、画像表示部の表示面を照射している照明光の映り込みの影響が視認される表示画像に現われ見栄えが異なってしまう問題が発生することが分かった。たとえば、照明光の色味や表示装置のどの方向から照明光を照らしているかで、表示画像の見かけ上の輝度や色味が漸次変化する。つまり、照明光の方向、強度、色などにより表示画像の見かけ上の見栄えが変わる問題がある。
【0005】
この対策として、たとえば、照明光の強度や色度を測定するために表示領域外部にセンサを設けて、センサで検知された情報を元に画像信号を調整することが考えられる。しかしながら、この方法では、表示面上(つまり個々の表示画素位置)での照明光分布を知ることはできず、個々の表示画素位置での照明光分布の影響が緩和されるように調整するということは困難であり、画面全体としての調整に留まらざるを得ない。
【0006】
本発明は、上記事情に鑑みてなされたものであり、照明光環境の影響による表示画像の見栄えの変化を緩和することのできる仕組みを提供することを目的とする。特に、個々の表示画素位置での照明光分布の影響を緩和することのできる仕組みを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様は、表示素子を含む画素が複数配列されており、背面側に画像表示部に設けられている光透過部を通して画像表示部の表示面の照明光の分布を測定する照明光分布測定部が配置可能になっている画像表示部と、照明光分布測定部で測定された照明光の分布の情報に基づいて視認される表示画像における照明光の影響を抑制するように表示データを補正する照明光分布補正部と、を備えるものとした。
【0008】
要するに、画像表示部の表示面の照明光分布の情報を画像表示部の背面側から測定し、その測定情報に基づいて、表示画像の見栄えが本来の表示データと整合するように(照明光の影響が抑制されるように)表示データを補正してから表示を行なうものである。
【0009】
好ましくは、表示面側の被写体を撮像する撮像部(撮像装置)を画像表示部の背面側に設け、撮像部を画像表示部の表示面の照明光の分布を測定する光検知部として利用するとよい。
【0010】
好ましくは、表示面には、照明光を拡散させる手段を設けるとよい。また、好ましくは、画像表示部と照明光分布測定部との間に、画像表示部の照明光の分布を表す光を照明光分布測定部に集光する集光部を配置するとよい。
【発明の効果】
【0011】
本発明の一態様によれば、画像表示部の表示面に映り込む照明光の影響が視認画像において少なくなるように表示データを補正することができる。この際に、画像表示部の背面側から表示面の照明光分布を測定するので、個々の表示画素位置での照明光分布の影響が緩和されるように表示データを補正することができる。
【図面の簡単な説明】
【0012】
【図1】図1は、本実施形態の画像表示装置および画像表示システムの概念図である。
【図2】図2は、画像表示部を構成する複数の画素の最も典型的な配置の模式的図である。
【図3】図3は、画像表示部の詳細を説明する図である。
【図4】図4は、第1実施形態の画像表示装置のブロック図である。
【図5】図5は、第1実施形態の画像表示システムのブロック図である。
【図6】図6は、第2実施形態の画像表示装置のブロック図である。
【図7】図7は、第2実施形態の画像表示システムのブロック図である。
【図8】図8は、照明光分布補正処理の第1例を説明するフローチャートである。
【図9】図9は、照明光分布補正処理の第2例を説明するフローチャートである。
【図10】図10は、本実施形態の画像表示装置が適用される電子機器の一例を示す図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して本発明の実施形態について詳細に説明する。各機能要素について実施形態別に区別する際には、A,B,…などのように大文字の英語の参照子を付して記載し、特に区別しないで説明する際にはこの参照子を割愛して記載する。図面においても同様である。各実施形態における種々の数値や材料は例示であり、それらに限定されるものではない。
【0014】
説明は以下の順序で行なう。
1.基本概念(全体概要、画像表示部、光透過領域、撮像装置)
2.装置およびシステムの構成(全体概要、画像表示部の断面構造)
3.照明光分布補正に対応した構成(第1実施形態、第2実施形態)
4.照明光分布補正処理(第1例、第2例、対比)
5.電子機器のモニタ装置の代替
【0015】
<基本概念>
[全体概要]
本実施形態の撮像装置付き画像表示装置(以下単に「画像表示装置」と記す)にあっては、画像表示部の背面に、表示面側の照明光分布(強度や色味の分布)を測定する照明光分布測定部を設ける。
【0016】
照明光分布を精度よく測定するべく、表示面は、画像表示に悪影響を与えない範囲で、照明光を拡散させる手段を設けておく(光拡散効果を持つようにしておく)とよい。表示面に光拡散効果を持たせるには、たとえば光拡散部材を表示面に配設してもよいし、化学処理その他の手法で表示面にいわゆるノングレア処理を施してもよい。
【0017】
照明光分布測定部としては、たとえば、照明光の強度や色度を測定可能な光検知部(センサ:たとえばいわゆるホワイトバランスセンサなど)を設け、画像表示部の光検知部と対応する光透過領域部分に微小な光透過部を設けることが考えられる。このような光検知部を背面の一カ所に設ける場合は表示面全体の照明光分布を測定できるように集光手段を設けるのがよい。また、光検知部を、表示面について均一に散在するように複数箇所に設けることも考えられる。この場合、各箇所の光検知部で取得される測定情報を元に、表示面における照明光の強度や色度の分布を補間演算で見積もることになる。
【0018】
好ましくは、照明光分布測定部としては、画像表示部の背面に撮像装置(あるいは撮像部:以下同様)を配置し、画像表示部の撮像装置と対応する光透過領域部分に、微小な光透過部を設けることが考えられる。このような形態の画像表示装置では、画像表示部の光透過部を通して表示面側の照明光分布(強度や色味の分布)を測定する。換言すると、表示装置の背面に設けた撮像装置を、表示面側の被写体を撮像するというだけでなく、照明光の強度や色度を測定するための光検知部として利用するという意味である。
【0019】
この場合の照明光分布測定用の光透過部としては表示用の開口部を利用することが考えられるし、表示用の開口部とは別に照明光分布測定用の光透過部を画像表示部の複数箇所に設け、各光透過領域部分に微小な光透過部を設けることが考えられる。何れでも、各箇所の光透過部を通過する光を撮像装置に集光した測定情報を元に、表示面における照明光の強度や色度の分布を補間演算で見積もることになる。
【0020】
そして、撮像装置などの光検知部で取得された照明光の強度や色度の分布情報を元にして、照明光環境の影響による表示画像の見栄えの変化が緩和されるように、特に、個々の表示画素位置での照明光分布の影響が緩和されるように、表示データを調整する。
【0021】
たとえば、背面に設けた撮像装置などの光検知部で画像表示前に表示装置の表示面での照明光の強度および色度の分布を予め測定しておき、予め決められた記憶装置に記憶する。そして、画像表示時には、画記憶してある照明光の強度および色度の分布の影響が見かけ上なくなるように、画像表示装置に入力される元の画像データを補正(調整)して画像表示を行なう。つまり、表示画像の見かけ上の輝度や色度が一定となるように、表示データを補正する。このような補正手法をオフライン制御による照明光分布補正と称する。
【0022】
あるいは、撮像装置などの光検知部で画像表示ごとに表示装置の表示面での照明光の強度および色度の分布をリアルタイムで測定し、その測定情報に基づき表示データをリアルタイムで補正(調整)するようにしてもよい。このような補正手法をリアルタイム制御による照明光分布補正と称する。
【0023】
照明光分布を測定する際には、画像表示が測定に悪影響を与えないようにすることが好ましく、画像表示を行なっていない期間(非画像表示期間とも称する)に測定するのがよい。ここで、非画像表示期間としては、電源投入直後などの画像表示装置による表示が起動していない期間を利用する第1の手法が考えられるし、また、表示開始後においては、表示フレーム間の非表示期間(いわゆる垂直ブランキング期間)や表示フレーム内の非表示期間(いわゆる水平ブランキング期間)などを利用する第2の手法も考えられる。第1の手法はオフライン制御による照明光分布補正に適用するのが好適であり、また、第2の手法はリアルタイム制御による照明光分布補正に適用するのが好適である。
【0024】
このようにして、本実施形態の画像表示装置では、画像表示部の裏面に撮像装置を配置し、画像表示されていない期間に撮像装置で表示装置の表示面における照明光の強度および色度の分布を測定する。そして、画像表示時には、画像表示装置に入力される元の映像データの輝度および色度を計算し、撮像装置で取得した照明光の強度および色度の分布情報を元に、照明光の影響をなくすように映像データを補正し画像表示を行なうことで、見かけ上、高品位な画像が表示されるようにする。
【0025】
以下、個別の構成要素の概要について説明する。
【0026】
[画像表示部]
本実施形態の画像表示装置に用いる画像表示部は、画素(の表示部分)の隙間に光透過部を形成できればよく、印加される電圧や流れる電流によって輝度が変化する電気光学素子を画素の表示素子として用いたものであれば何でもよい。
【0027】
何れの方式の画像表示装置であっても、好ましくは、表示面側には、表示面(パネル)外から照射される照明光を拡散させパネル表面での照明光の分布をより適切に得るために、照明光を拡散させる光学部材(たとえば、完全拡散板、光拡散シート)を設けるとよい。ただしその場合、このような光拡散効果を持つ光学部材を表示面側に設けることで表示画像が暈けるなどの悪影響が許容される程度の光拡散効果を持つものとするとよい。
【0028】
たとえば、印加される電圧によって輝度が変化する電気光学素子としては液晶表示素子が代表例であり、流れる電流によって輝度が変化する電気光学素子としては、有機エレクトロルミネッセンス(Organic Electro Luminescence, 有機EL, Organic Light Emitting Diode, OLED;以下、有機ELと記す)素子が代表例である。後者の有機EL素子を用いた有機EL表示装置は、画素の表示素子として、自発光型の発光素子(自発光素子)を用いたいわゆる自発光型の表示装置である。一方、液晶表示装置を構成する液晶表示素子は、外部からの光(前面や背面からの光、前面の場合は外光でもよい)の通過を制御するものであり、画素が発光素子を含むものではない。
【0029】
たとえば、近年、フラットパネル表示装置(FP表示装置)として、有機EL表示装置に関心が高まっている。現在、FP表示装置として液晶表示装置(LCD)が主流を占めているが、自発光デバイスではなく、バックライトや偏光板などの部材を必要とする。それ故、FD表示装置の厚さが増す、輝度が不足するなどの問題点がある。一方、有機EL表示装置は自発光デバイスであり、バックライトなどの部材が原理的に不要であり、薄型化、高輝度であるなど、LCDと比較して多数の利点を有する。特に、各画素にスイッチング素子を配したアクティブマトリクス型有機EL表示装置は、各画素をホールド点灯させることで消費電流を低く抑えることができ、しかも、大画面化および高精細化が比較的容易に行なえることから、各社で開発が進められており、次世代FP表示装置の主流になると期待されている。
【0030】
自発光型の表示装置としては、有機EL表示装置の他に、プラズマ表示装置(PDP:Plasma Display Panel)、電界放出型表示装置(FED:Field Emission. Display )、表面伝導型電子放出素子表示装置(SED:Surface-conduction Electron-emitter Display )などがあり、これらも本実施形態の画像表示部に適用できる。
【0031】
ただし、本実施形態の画像表示装置としては、画像表示部の発光素子は自発光型の発光素子であることが望ましく、さらには有機EL素子からなる形態とすることがより好ましい。発光素子を有機EL素子から構成する場合、有機EL素子を構成する有機層(発光部)は有機発光材料からなる発光層を備えているが、具体的にはたとえば、正孔輸送層と発光層と電子輸送層との積層構造、正孔輸送層と電子輸送層を兼ねた発光層との積層構造、正孔注入層と正孔輸送層と発光層と電子輸送層と電子注入層との積層構造から構成することができる。
【0032】
電子輸送層、発光層、正孔輸送層および正孔注入層を「タンデムユニット」とする場合、有機層は、第1のタンデムユニット、接続層、および、第2のタンデムユニットが積層された2段のタンデム構造も有していてもよく、さらには、3つ以上のタンデムユニットが積層された3段以上のタンデム構造も有していてもよい。これらの場合、発光色を赤色、緑色、青色と各タンデムユニットで変えることで、全体として白色を発光する有機層を得ることができる。
【0033】
有機層の厚さの最適化を図ることで、たとえば、第1電極と第2電極との間で発光層において発光した光を共振させ、この光の一部を第2電極を介して外部に出射する構成とすることもできる。
【0034】
本実施形態の画像表示装置において画像表示部の発光素子を有機EL素子とする場合、第1基板、第1基板上に設けられた駆動回路、駆動回路を覆う層間絶縁層、層間絶縁層上に設けられた発光部、発光部上に設けられた保護層、保護層上に設けられた遮光層、および、保護層および遮光層を覆う第2基板、を備えている形態とすることができる。
【0035】
さらに、各画素は、駆動回路および発光部を備えており、遮光層には、開口部が設けられており、開口部、並びに、開口部の下方に位置する保護層の部分および層間絶縁層の部分によって光透過部が構成されており、第2基板と対向しない第1基板の面の側に、撮像装置が配置されている形態とすることができる。
【0036】
ここで、画素の配列として、たとえば、ストライプ配列、ダイアゴナル配列、デルタ配列、レクタングル配列を挙げることができる。また、第1基板や第2基板として、高歪点ガラス基板、ソーダガラス(Na2O・CaO・SiO2)基板、硼珪酸ガラス(Na2O・B23・SiO2)基板、フォルステライト(2MgO・SiO2)基板、鉛ガラス(Na2O・PbO・SiO2)基板、表面に絶縁膜が形成された各種ガラス基板、石英基板、表面に絶縁膜が形成された石英基板、表面に絶縁膜が形成されたシリコン基板、ポリメチルメタクリレート(ポリメタクリル酸メチル,PMMA)やポリビニルアルコール(PVA)、ポリビニルフェノール(PVP)、ポリエーテルスルホン(PES)、ポリイミド、ポリカーボネート、ポリエチレンテレフタレート(PET)に例示される有機ポリマー(高分子材料から構成された可撓性を有するプラスチック・フィルムやプラスチック・シート、プラスチック基板といった高分子材料の形態を有する)を挙げることができる。
【0037】
駆動回路は、たとえば、1または複数の薄膜トランジスタ(TFT)などから構成すればよい。層間絶縁層の構成材料として、SiO2、BPSG、PSG、BSG、AsSG、PbSG、SiON、SOG(スピンオングラス)、低融点ガラス、ガラスペーストといったSiO2系材料;SiN系材料;ポリイミドなどの絶縁性樹脂を、単独あるいは適宜組み合わせて使用することができる。画素を有機EL素子から構成する場合、発光部は上述した通りである。保護膜を構成する材料として、発光部で発光した光に対して透明であり、緻密で、水分を透過させない材料を用いることが好ましく、具体的には、たとえば、アモルファスシリコン(α−Si)、アモルファス炭化シリコン(α−SiC)、アモルファス窒化シリコン(α−Si1-xx)、アモルファス酸化シリコン(α−Si1-yy)、アモルファスカーボン(α−C)、アモルファス酸化・窒化シリコン(α−SiON)、Al23を挙げることができる。遮光膜(ブラックマトリクス)は周知の材料から構成すればよい。必要に応じて、カラーフィルタを設けてもよい。
【0038】
画像表示部は、表示素子(発光素子)を含む画素ユニットを複数配置してなるが、ここで、画素ユニットの数を(M,N)で表したとき、VGA(640,480)、S−VGA(800,600)、XGA(1024,768)、APRC(1152,900)、S−XGA(1280,1024)、U−XGA(1600,1200)、HD−TV(1920,1080)、Q−XGA(2048,1536)の他、(1920,1035)、(720,480)、(854,480)、(1280,960)など、画像表示用解像度の幾つかを例示することができるが、これらの値に限定するものではない。
【0039】
カラー表示を行なう画像表示部において、1つの画素ユニットは、たとえば、赤(R)色成分を表示する赤色画素、緑(G)色成分を表示する緑色画素、および、青(B)色成分を表示する青色画素の3種の画素から構成される。あるいは、これらの3種の画素に加え、輝度向上のために白色光を表示する画素、色再現範囲を拡大するために補色を表示する画素、色再現範囲を拡大するためにイエローを表示する画素、色再現範囲を拡大するためにイエローおよびシアンを表示する画素など、4種あるいはそれ以上の画素から構成することもできる。
【0040】
本実施形態の画像表示装置は、電子機器の一例であり、表示パネル部分の裏面側に撮像装置などの照明光分布を測定する光検知部を配置できるようになっていればよく、光検知部(撮像装置など)が着脱可能なものでもよいし、固定的に装着されたものでもよい。
【0041】
画像表示装置は、たとえば、パーソナルコンピュータを構成するモニタ装置の代替として使用することができるし、ノート型パーソナルコンピュータに組み込まれたモニタ装置の代替として使用することができる。さらには、携帯電話やPDA(携帯情報端末,Personal Digital Assistant)、ゲーム機器に組み込まれたモニタ装置、従来のテレビジョン受像機の代替として使用することもできる。
【0042】
[光透過領域]
本実施形態の画像表示装置の画像表示部に設ける光透過領域は、撮像装置などの光検知部が配設される部分と対応した部分に形成されていればよい。そして、光透過領域には、表示面側の光が通過する微小な開口部が形成された光透過部を好ましくは複数設ける。
【0043】
たとえば、撮像装置を、表示面側の被写体を撮像するとともに照明光分布測定部の光検知部としても使用する場合、少なくとも2つ以上(より好ましくは最低でも中央と四隅など表示領域周辺)の画素の周囲に設けられた光透過部を通過した光が撮像装置に集光されるようにする。正確に像を撮像装置に結ぶために高精度の微小レンズを必要とせず、撮像装置付き画像表示装置の製造コストの増加を招くことがないし、撮像装置に十分な光量の光を集光させることができる。
【0044】
光透過領域を構成する光透過部の外形形状は、本質的には任意であり、長方形や正方形といった四角形を挙げることができる。また、光透過部の外形形状は、たとえば、「L」字形状(光透過部が画素の境界に相当する辺の内の連続する2辺に設けられている形態)、「コ」の字形状(光透過部が画素の境界に相当する辺の内の連続する3辺に設けられている形態)、「ロ」の字形状(光透過部が画素の境界に相当する辺の全てに設けられている形態)、井桁状の形状(光透過部が画素の境界に相当する辺の全てに設けられており、かつ隣接する画素の間に共通して設けられている形態)を例示することもできる。
【0045】
[撮像装置]
本実施形態の画像表示装置において、照明光分布測定部の光検知部として撮像装置(撮像部)を使用する場合、撮像装置は、画像表示部の背面側に配置されていればよいが、画像表示部の中央部に配置されていることが好ましい。撮像装置は、1個であってもよいし、複数個であってもよい。撮像装置は、たとえば、CCD素子やCMOSセンサを備えた周知、市販の固体撮像素子を用いればよい。
【0046】
本実施形態の画像表示装置においては、画像表示部と撮像装置との間に、光透過領域の光透過部を通過した光を撮像装置に集光する集光部を設けることが好ましい。
【0047】
撮像装置としては、周知、市販のビデオカメラやウェブカメラといった固体撮像装置を用いることもでき、これらの場合には、集光部と撮像装置が一体化している。
【0048】
本実施形態の画像表示装置においては、画像表示部に入射し、光透過部を通過し、画像表示部から出射し、集光部に入射する光の光路には、カラーフィルタを配置しないことが好ましく、また、マイクロレンズなどの結像系を配置しないことが好ましい。
【0049】
ここで、集光部は、レンズとして、具体的には、両凸レンズ、平凸レンズ、メニスカス凸レンズの何れかから構成することができるし、反射鏡やフレネルレンズから構成してもよいし、これらの各種の凸レンズを組み合わせて構成することもできるし、凹レンズとこれらの各種の凸レンズとを組み合わせて構成することもできる。
【0050】
ただし、表示面上の照明光分布を測定するという観点では、集光部は、画像表示部の各領域の光透過部を透過した光を集光し得るものであることが好ましい。たとえば、四隅など表示領域周辺の光透過領域の光透過部を透過した光も集光し得るように魚眼レンズを集光部に用いるのが好適である。
【0051】
<装置およびシステムの構成>
[全体概要]
図1〜図2は、本実施形態の画像表示装置と画像表示システムの概念を説明する図である。ここでは、光検知部として撮像装置を使用する場合で示している。なお、図1(1)は画像表示装置の概念図であり、図1(2)は画像表示システムの概念図である。図1(1−1)は画像表示装置を正面から眺めた概念図であり、図1(1−2)は画像表示装置を側面から眺めた概念図である。図1(2−1)は画像表示システムを正面から眺めた概念図であり、図1(2−2)は画像表示システムを側面から眺めた概念図である。図2は、画像表示部を構成する複数の画素の最も典型的な配置を模式的に示した図である。
【0052】
図1(1)に示すように、本実施形態の画像表示装置1は、画像表示部10、画像表示部10の背面側に配置された撮像装置20、画像表示部10に形成された光透過部30、光透過部30を通過した光を撮像装置20に集光する集光部21を有する。撮像装置20は画像表示装置1の背面に対して着脱可能に構成してもよい。画像表示部10の撮像装置20と対応する部分が光透過領域12とされる。たとえば、画像表示部10の少なくとも撮像装置20の有効撮像領域と対応する部分が光透過領域12とされる。撮像装置20の有効撮像領域よりも光透過領域12の方が狭い場合には、撮像装置20での実際の撮像領域が狭くなる。
【0053】
撮像装置20は、画像表示部10の背面側、より具体的には、画像表示部10の背面側の中央部に配置されており、備えられた撮像装置20は1つである。撮像装置20は、たとえばCCD素子を備えた周知、市販のビデオカメラなどを利用することができる。
【0054】
図1(1−2)に示すように、集光部21としては、画像表示部10の各領域の光透過部を透過した光を集光し得るように魚眼レンズを用いる。画像表示部10の表示面側には光拡散シート68が設けられている。
【0055】
画像表示装置1は、たとえばパーソナルコンピュータを構成するモニタ装置の代替として使用される。すなわち、図1(2)に示すように、本実施形態の画像表示システム2は、画像表示装置1_2にパーソナルコンピュータ(電子計算機)の本体などの周辺機器70が接続されている。周辺機器70は電子機器の一例である。画像表示装置1_2は、周辺機器70のモニタ装置として機能するようになっている。画像表示装置1_2は、画像表示装置1から一部の機能部を取り外したものである。その取り外した機能部は周辺機器70に組み込まれている。周辺機器70と画像表示部10および撮像装置20とはケーブル72,73で接続されている。
【0056】
画像表示部10の画素11としては、自発光型の発光素子、具体的には、有機EL素子からなるものを使用する。画像表示部10は、カラー表示のXGAタイプの有機EL表示装置からなる。すなわち、画素ユニットの数を(M,N)で表したとき、(1024,768)である。
【0057】
図2に示すように、1つの画素ユニットは、赤色を発光する赤色発光画素11R、緑色を発光する緑色発光画素11G、および、青色を発光する青色発光画素11Bの3つの画素から構成されている。なお、画素の外縁を点線で示している。
【0058】
画像表示部10には、表示素子を含む画素11(11R,11G,11B)が複数配置されており、画像表示部10の光透過領域12の複数の画素11には光透過部30が設けられている。この例では光透過部30は画素11ごとに各別のものとなっているが、このことは必須でなく、複数の画素11に跨っていてもよい。また、この例では光透過部30が画素11ごとに(光透過領域12の全ての画素11に)設けられているが、このことは必須でなく、少なくとも光透過領域12の複数の画素11に光透過部30が設けられていればよく、たとえば2画素おきなど光透過領域12の一部の画素11に光透過部30が設けられていないものがあってもよい。
【0059】
表示面側の被写体を撮像するための光透過領域12として、光透過部30が、限定するものではないが、たとえば6×3=18個の画素11に設けられている。1つの画素に1つの光透過部30が設けられている。集光部21は、これらの6×3=18個の画素11における光透過部30を通過した光を撮像装置20に集光する。各光透過部30の形状は長方形である。
【0060】
一方、照明光分布測定用の光透過部としては、画像表示部10の表示用の開口部を利用する。もちろん、被写体を撮像するための光透過領域12と同様に光透過部30を積極的に配置してもよい。両者を併用してもよい。照明光の強度や色度の分布の測定を精度よく行なうには、画像表示部に設ける光透過部(表示用の開口部を利用する場合も含む)は、できるだけ表示面について数多く、また、均一に散在していることが好ましい。
【0061】
図示しないが、画像表示部10には、各走査線を駆動する走査信号供給IC、および、映像信号を供給する映像信号供給ICが配されている。そして、走査信号供給ICには走査線制御回路が、映像信号供給ICには信号線制御回路が、それぞれ、接続されている。画像表示部10に入射し、光透過部30を通過し、画像表示部10から出射し、集光部21に入射する光の光路には、カラーフィルタは配置されていないし、マイクロレンズなどの結像系も配置されていない。
【0062】
[画像表示部の断面構造]
図3は、画像表示部10の詳細を説明する図である。ここで、図3(1)は、画像表示部10の模式的な一部断面図である。図3(2)は、画像表示部10の発光素子の詳しい構成を纏めた図表である。
【0063】
画像表示部10は、第1基板40、第1基板40上に設けられた複数のTFTから構成される駆動回路、駆動回路を覆う層間絶縁層41、層間絶縁層41上に設けられた有機層63(発光部)、有機層63上に設けられた保護層64、保護層64上に設けられた遮光層65、保護層64および遮光層65を覆う第2基板67を備えている。
【0064】
第2基板67の表示面(光出射)側には光拡散シート68が設置されている。光拡散シート68は、パネル外から照射される照明光を拡散させパネル表面での照明光分布を適正に得るために設けられている。なお、光拡散シート68を設けることは必須ではない。
【0065】
各画素11は、駆動回路および発光部を備えており、遮光層65には、開口部65Aが設けられており、開口部65A、並びに、開口部65Aの下方に位置する保護層64の部分、第2電極62の部分、および、層間絶縁層41の部分などによって光透過部30が構成されている。集光部21および撮像装置20は、第2基板67と対向しない第1基板40の面の側に配置されている。
【0066】
より具体的には、ソーダガラスからなる第1基板40上には駆動回路が設けられている。駆動回路を構成するTFTは、第1基板40上に形成されたゲート電極51、第1基板40およびゲート電極51上に形成されたゲート絶縁膜52、ゲート絶縁膜52上に形成された半導体層に設けられたソース/ドレイン領域53、並びに、ソース/ドレイン領域53の間であって、ゲート電極51の上方に位置する半導体層の部分が相当するチャネル形成領域54から構成されている。図示した例にあっては、TFTをボトムゲート型としたが、トップゲート型であってもよい。
【0067】
TFTのゲート電極51は、走査線(図示せず)に接続されている。そして、層間絶縁層41(41A,41B)が、第1基板40および駆動回路を覆っている。また、有機EL素子を構成する第1電極61は、SiOXやSiNY、ポリイミド樹脂などからなる層間絶縁層41B上に設けられている。TFTと第1電極61とは、層間絶縁層41Aに設けられたコンタクトプラグ42、配線43、コンタクトプラグ44を介して電気的に接続されている。図においては、1つの有機EL素子駆動部につき、1つのTFTを図示した。
【0068】
層間絶縁層41上には、開口46を有し、開口46の底部に第1電極61が露出した絶縁層45が形成されている。絶縁層45は、平坦性に優れ、しかも、有機層63の水分による劣化を防止して発光輝度を維持するために吸水率の低い絶縁材料、具体的には、ポリイミド樹脂から構成されている。開口46の底部に露出した第1電極61の部分の上から、開口46を取り囲む絶縁層45の部分に亙り設けられ、有機発光材料からなる発光層を備えた有機層63が形成されている。有機層63は、たとえば、正孔輸送層、および、電子輸送層を兼ねた発光層の積層構造から構成されているが、図面では1層で表す。
【0069】
第2電極62上には、有機層63への水分の到達防止を目的として、プラズマCVD法に基づき、アモルファス窒化シリコン(α−Si1-xx)からなる絶縁性の保護層64が設けられている。保護層64の上には、黒色のポリイミド樹脂からなる遮光層65が形成されており、保護層64および遮光層65上にはソーダガラスからなる第2基板67が配されている。保護層64および遮光層65と第2基板67とは、アクリル系接着剤からなる接着層66によって接着されている。
【0070】
第1電極61をアノード電極として用い、第2電極62をカソード電極として用いる。具体的には、第1電極61は、厚さ0.2μm〜0.5μmのアルミニウム(Al)、銀(Ag)、あるいは、これらの合金で構成される光反射材料からなり、第2電極62は、厚さ0.1μmのITOやIZOといった透明導電材料や、厚さ5nm程度の銀(Ag)、マグネシウム(Mg)などの光をある程度透過する金属薄膜(半透明金属薄膜)からなる。第2電極62はパターニングされておらず、1枚のシート状に形成されている。場合によっては、有機層63と第2電極62との間に、厚さ0.3nmのLiFからなる電子注入層(図示せず)を形成してもよい。
【0071】
以上、纏めると、本実施形態の画像表示装置1における画像表示部10の発光素子の詳しい構成は、図3(2)に示す通りである。
【0072】
第1基板40から保護層64および遮光層65までが表示素子基板である。第2基板67は封止基板として機能する。ここで、第2基板67に設けられる光透過部30をなす開口部65Aは、表示素子基板の画素電極(第1電極61)、TFT(ゲート電極51を含む)および配線がない部分にある。また、封止剤として機能する保護層64、EL共通電極として機能する第2電極62、画素分離膜として機能する絶縁層45、平坦化絶縁膜として機能する層間絶縁層41(41A,41B)、ソース/ドレイン領域53、ゲート絶縁膜52は光透過性を持っている。したがって、表示面(第2基板67)側より入射する外光は、開口部65Aを通って裏面(第1基板40側)に到達することができる。
【0073】
パネル裏面に設置される撮像装置20は、光透過部30(開口部65A)があるパネル裏面に撮像面を近接するように(ただし本例では集光部21を介在させる)設置される。よって、表示面側より入射される外光は、撮像装置20のレンズ(図示せず)で結像され、CCDやCMOSなどの固体撮像素子に入るので、表示面側に存在する被写体を撮像することができる。
【0074】
このように、本実施形態の画像表示装置1では、表示素子に有機EL素子を使用しており、光透過部30を設けるだけで、裏面(第1基板40)側に撮像装置20を設置することで、表示面(第2電極62)側に存在する被写体を撮像できる。
【0075】
たとえば、撮像装置が画像表示部10の外側に固定されている場合、撮像装置は画像表示装置1の使用者を斜めから撮像することになり、画像を画像表示部10にて表示したとき、画像表示部10には、斜めから撮像された使用者の画像が表示される。したがって、使用者の顔を正確に表示することができないし、画像表示部10のどこを使用者が注視しているかを正確に判別することもできない。さらには、使用者が画像表示部10に近づいた場合には、撮像範囲外になってしまう可能性が大である。
【0076】
一方、本実施形態の画像表示装置1にあっては、撮像装置20が画像表示部10の背面側の中央部に配置されているので、画像表示装置1の使用者を、撮像装置20は正面から撮像することができ、画像を画像表示部10にて表示したとき、画像表示部10には、正面から撮像された使用者の画像が表示される。したがって、使用者の顔を正確に表示することができるし、画像表示部10のどこを使用者が注視しているかを容易に、しかも、正確に判別することができる。また、使用者が画像表示部10に近づいた場合でも、使用者の撮像を行なうことができる。
【0077】
画像表示装置1にあっては、光透過領域12の複数の画素11のそれぞれに設けられた光透過部30(複数の光透過部30)を通過した光が撮像装置20に集光される。したがって、正確に像を撮像装置20に結ぶために高精度の微小レンズを必要とせず、画像表示装置1の製造コストの増加を招くことがないし、撮像装置20に十分な光量の光を集光させることができる。
【0078】
たとえば、観察者(撮像装置20にとっての被写体)が画像表示部10の表示画像を見ながら、ペンで指示している状態の場合、表示面に正対している観察者の顔や目、および手やペンを撮像することができる。これにより、たとえば、観察者の視線を撮像画像から検出することができる。また、手やペンなどの向きから画像表示部10の対応する指示点を特定することができるので、いわゆるポインタ機能を画像表示装置1に容易に付加することができる。さらには、ポインタ機能以外にも、使用者の顔や目、手の動き、周辺の明るさなども撮像画像から分かるので、様々の情報を画像表示装置1から得て、種々のシステムに送出することができ、画像表示装置1の付加価値を高めることができる。
【0079】
ここで示したような簡便な構成は、いわゆるLCDでは不可能ではないが困難性があるし、また可視光波長も含めて透過させる構造はさらに困難である。これに対して本実施形態の画像表示装置1は、光透過部30を設けるだけであり、簡便な構成で裏面から表示面側にいる被写体を撮像できる。
【0080】
加えて、表示面に映り込む照明光の分布を測定し、その影響を抑制するようにデータ補正をした上で表示を行なうことで、見かけ上の画質が好適な画像を表示できる。たとえば、黄色がかった照明が画像表示部10の上面から照射される場合、画像は上から黄色味を帯びる。一方、青みがかった照明が画像表示部10の斜め上から照射される場合、画像は斜め上から青味を帯びる。異なる照明環境下では、違って見えるのである。照明光の映り込みの成分が本来の表示画像のオフセット成分として作用することで、視認される表示画像が、実際の画像とは異なってしまうことが原因と考えられる。このような照明光の方向、強度により見栄えが変わる問題は、たとえば、デザイン関係や医療用途では問題となると考えられる。
【0081】
本実施形態の仕組みでは、照明光の強度および色度を画像表示部10の背面から測定することで、表示面上での照明光分布を知ることができ、視認される表示画像における照明光の影響を抑制するように画像表示部10に供給される各画素データに対して適正に補正をかけることができる。
【0082】
なお、本実施形態の仕組みとは直接的には関係ないが、一般に、ある小さい光透過開口部を通して画像を撮像した場合、光透過開口部で、いわゆる照明光の映込み現象が発生する。すなわち、微小な光透過部30が所定ピッチで設けられた物体(画像表示部10)の背面に撮像装置20を設置して、光透過部30を通して撮像すると、光透過部30が光スリットとして作用する。このため、照明光の映込み現象によって、本来の画像と同じ偽画像が等ピッチで出現する結果、画像にボケが生じる。回折光の強度と分布は、光透過部の形状、大きさ、分布、入射光(外光)の波長に依存する。回折によるボケが小さい場合には、撮像画像に対して回折を補正(補償)する処理を行なう必要はないが、高品質な撮像画像を必要とする場合には、回折現象による影響を補正(補償)することが好ましい。
【0083】
<照明光分布補正に対応した構成>
[第1実施形態]
図4は、照明光の映込み現象による影響を信号処理面から補正(補償)するようにした第1実施形態の画像表示装置1Aのブロック図である。図5は、照明光の映込み現象による影響を信号処理面から補正(補償)するようにした第1実施形態の画像表示システム2Aのブロック図である。
【0084】
第1実施形態の画像表示装置1Aおよび画像表示システム2Aは、オフライン制御による照明光分布補正処理を適用するものである。
【0085】
図4には照明光の映込み現象による影響を信号処理面から補正する一実施形態の画像表示装置1Aが示されている。画像表示装置1Aは、装置全体の動作を制御する制御部90、画像表示部10の表示動作を制御する表示用タイミングコントローラ92、撮像装置20(撮像部20a)の撮像動作を制御する撮像用タイミングコントローラ94を有する。
【0086】
画像表示装置1Aは、撮像装置20を介して取得された画像情報に基づいて、画像表示部10の表示面への照明光の映込み現象により生じる影響の補正を表示データに対して施す照明光分布補正部300を備えている。つまり、照明光分布補正部300を備えた照明光分布補正装置の機能を画像表示装置1Aが備えている。
【0087】
撮像装置20(電子機器の一例)を画像表示装置1Aと別体にする場合には、図に一点破線で示すように、照明光分布補正部300(場合によっては撮像用タイミングコントローラ94も)を撮像装置20側に配置することも考えられる。この場合は、照明光分布補正部300を備えた照明光分布補正装置の機能を撮像装置20が備える構成になるし、照明光分布補正装置は、光検知部として機能する撮像装置20が備えられた構成になる。
【0088】
照明光分布補正部300は、照明光分布計算部302と照明光分布記憶部304を有する。制御部90は使用者から各種の指示を受付けて、照明光分布補正部300やその他の各機能部の動作を制御する。
【0089】
制御部90は、タイミング信号(照明光分布補正部300を機能させないときは表示データも)を表示用タイミングコントローラ92に供給し、また、表示データを照明光分布補正部300に供給する。照明光分布補正部300は、制御部90から受け取った表示データを補正して表示用タイミングコントローラ92に供給する。制御部90は、撮像タイミング信号、シャッタ制御信号、ゲイン制御信号などを、撮像用タイミングコントローラ94へ供給する。
【0090】
表示用タイミングコントローラ92は、図示しない信号線制御回路を具備し、信号線制御回路は、表示データや水平タイミング信号を図示しない映像信号供給ICを介して画像表示部10に供給する。表示用タイミングコントローラ92は、図示しない走査線制御回路を具備し、走査線制御回路は垂直タイミング信号を図示しない走査信号供給ICを介して画像表示部10に供給する。
【0091】
照明光分布計算部302は、撮像装置20を介して取得された画像情報から、表示面の各位置の輝度および色度の情報(照明光分布の情報)を計算する。照明光分布記憶部304は、照明光分布計算部302で計算された照明光分布の情報を画像格納メモリに記憶する。照明光分布補正部300の処理動作は制御部90により制御される。
【0092】
たとえば、撮像装置20を介して取得された画像情報が、照明光分布補正部300を構成する照明光分布計算部302に送られる。照明光分布計算部302は、撮像装置20で取得された撮像データを元にして、表示データに対する補正分(補正情報)を算出する。補正分を如何様に算出するかについての詳細は後述する。
【0093】
画像表示部10における画像表示は、制御部90の制御によって行なわれる。すなわち、制御部90から表示データおよびタイミング信号などが表示用タイミングコントローラ92に送られ、表示用タイミングコントローラ92から表示データおよび水平タイミング信号が図示しない信号線制御回路に送られ、一方、垂直タイミング信号が図示しない走査線制御回路に送られる。そして、画像表示部10において、周知の方法に基づき画像表示がなされる。一方、制御部90から、撮像タイミング信号、シャッター制御信号、ゲイン制御信号などが撮像用タイミングコントローラ94に送られ、撮像用タイミングコントローラ94からこれらの信号が撮像装置20に送られ、撮像装置20の動作が制御される。
【0094】
図5には照明光の映込み現象による影響を信号処理面から補正する一実施形態の画像表示システム2Aが示されている。図4に示した画像表示装置1Aとの相違点は、画像表示装置1Aから、制御部90と照明光分布補正部300を取り外して画像表示装置1A_2とし、その取り外した制御部90と照明光分布補正部300が周辺機器70A(電子機器の一例)に組み込まれている。この場合は、照明光分布補正部300を備えた照明光分布補正装置の機能を周辺機器70Aが備える構成になるし、光検知部として機能する撮像装置20は照明光分布補正装置と別体の構成になる。
【0095】
すなわち、制御部90は、画像表示装置1Aに備えられてもよいし、画像表示装置1A_2に接続されたパーソナルコンピュータなどの周辺機器70Aに備えられてもよい。照明光分布補正部300も、画像表示装置1Aに備えられてもよいし、画像表示装置1A_2に接続されたパーソナルコンピュータなどの周辺機器70Aに備えられてもよい。
【0096】
画像表示装置1Aや画像表示システム2Aにおける照明光分布補正部300や制御部90の制御機能(特に照明光分布補正部300を制御する機能)は、ソフトウェアで実現することもでき、このためのプログラムやプログラムを格納した記録媒体を発明として抽出することもできる。すなわち、本実施形態において、照明光分布補正処理並びにこの処理に関わる制御処理を行なう制御構成の仕組みは、ハードウェア処理回路により構成することに限らず、その機能を実現するプログラムコードに基づき電子計算機(コンピュータ)の仕組みを用いてソフトウェア的に実現され得る。ソフトウェアにより実行させる仕組みでは、ハードウェアの変更を伴うことなく処理手順などが容易に変更し得ることとなる。プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介した配信により提供されてもよい。
【0097】
照明光分布補正処理並びにこの処理に関わる制御処理の各機能を実現するプログラムコードを記述したファイルとしてプログラムが提供されるが、この場合、一括のプログラムファイルとして提供されることに限らず、コンピュータで構成されるシステムのハードウェア構成に応じて個別プログラムモジュールとして提供されてもよい。
【0098】
また、照明光分布補正処理並びにこの処理に関わる制御処理の各機能を実現するための各部(機能ブロックを含む)の具体的手段は、ハードウェア、ソフトウェア、通信手段、これらの組み合わせ、その他の手段を用いることができ、このこと自体は当業者において自明である。また、機能ブロック同士が複合して1つの機能ブロックに集約されてもよい。また、コンピュータにプログラム処理を実行させるソフトウェアは、組合せの態様に応じて分散してインストールされる。
【0099】
ソフトウェアで行なう仕組みは、並列処理や連続処理に柔軟に対処し得るものの、処理が複雑になるに連れ、処理時間が長くなるため、処理速度の低下が問題となる。これに対して、ハードウェア処理回路で構築すると、処理が複雑であっても、処理速度の低下が防止され、高いスループットを得る高速化を図ったアクセラレータシステムが構築される。
【0100】
これらのソフトウェア処理に関する事項は、回折補正処理に関する処理を行なう場合や、外光の波長分布の測定結果を反映させることで撮像装置を介して取得された画像情報の精度の向上(たとえば色情報の精度向上)やMTF逆変換処理の精度向上を図る場合でも同様である。
【0101】
[第2実施形態]
図6は、照明光の映込み現象による影響を信号処理面から補正(補償)するようにした第2実施形態の画像表示装置1Bのブロック図である。図7は、照明光の映込み現象による影響を信号処理面から補正(補償)するようにした第2実施形態の画像表示システム2Bのブロック図である。
【0102】
第2実施形態の画像表示装置1Bおよび画像表示システム2Bは、オンライン制御による照明光分布補正処理を適用するものである。第1実施形態との相違は、画像表示部10で表示を行なっている際のブランキング期間を非表示期間として利用して照明光分布を測定する点にある。このような仕組みにするべく、表示用タイミングコントローラ92(あるいは画像表示部10)からは垂直タイミング信号と水平タイミング信号が照明光分布計算部302に供給される。その他の点は第1実施形態と同様である。
【0103】
<照明光分布補正処理>
[第1例:オフライン制御]
図8は、本実施形態の照明光分布補正部300による照明光分布補正処理の第1例を説明する図(フローチャート)である。第1例の照明光分布補正処理は、第1実施形態の画像表示装置1Aや画像表示システム2Aを使用して、表示の起動前に照明光分布を測定し、その結果に基づいて表示データを補正するオフライン制御による照明光分布補正処理を適用するものである。
【0104】
先ず、表示面の表面における照明光分布を精度よく測定するために画像表示部10の表示面には光拡散シートが設置されている。表示面の照明光分布を測定するべく撮像装置20の焦点を表示面(詳しくは光拡散シート)に合わせておく。撮像装置20は、画像表示前(画像表示部10の非表示期間)に、画像表示部10の表示面(詳しくは光拡散シート)における照明光分布を撮像し、撮像信号を記憶する(S100)。
【0105】
たとえば、撮像装置20からは、光拡散シートを撮像した撮像データとしてR,G,Bの色画像データ(撮像Rデータ、撮像Gデータ、撮像Bデータ:纏めて撮像RGBデータ)が照明光分布補正部300の照明光分布計算部302に供給されるものとする。照明光分布計算部302は、撮像装置20から供給される撮像画像データ(照明光分布を反映した撮像データ)を画像格納メモリに記憶する。
【0106】
照明光分布計算部302は、ステップS100で取得されたRGB色空間の撮像Rデータ、撮像Gデータ、撮像Bデータを、他の色空間(たとえばXYZ色空間やYuv色空間)の画像データに変換する(S110)。このような色変換処理を行なうのは、照明光分布の影響の補正を輝度成分と色成分の別に分けて行なうことを考慮したものである。
【0107】
照明光分布計算部302は、色変換したデータに基づいて、表示面上での照明光の輝度分布と、色度分布を求める(S130)。たとえば、画像表示部10側の表示面の位置と撮像装置20側の各画素位置とを対応付けておくことで、撮像装置20側の各画素位置の色変換したX,Y,Zの値の分布によって表示面上での照明光の輝度分布と色度分布が求められる。照明光分布計算部302は、求めた表示面上での照明光の輝度分布と色度分布の情報を照明光分布記憶部304に記憶する(S140)。
【0108】
この後、画像表示部10を起動して表示を開始すると、照明光分布計算部302は、補正前の本来の表示データに基づいて表示面上での表示色度と輝度を計算する。たとえば、画像表示部10には表示データとしてR,G,Bの色画像データ(表示Rデータ、表示Gデータ、表示Bデータ:纏めて表示RGBデータ)が照明光分布補正部300の照明光分布計算部302に供給されるものとする(S150)。照明光分布計算部302は、制御部90から供給される表示画像データを画像格納メモリに記憶する。
【0109】
照明光分布計算部302は、ステップS150で取得されたRGB色空間の表示Rデータ、表示Gデータ、表示Bデータを、他の色空間(たとえばXYZ色空間やYuv色空間)の画像データに変換する(S160)。このような色変換処理を行なうのは、照明光分布の影響の補正を輝度と色の別に分けて行なうことを考慮したものである。
【0110】
照明光分布計算部302は、色変換した表示データに対して、照明光分布記憶部304に記憶しておいた表示面上での照明光の輝度分布と色度分布の情報を使って、見た目上も元の表示データの輝度や色度と対応するようにデータ補正を行なう。
【0111】
たとえば、ある輝度値Y0を持つ無彩色画像を表示しようとしているときには、本来は、表示面ではその輝度値Y0の無彩色画像として視認されるべきである。しかしながら、照明光の影響で、見かけ上の輝度が本来の値からずれ、また、色付いて(本来の値からずれた色度で)視認される。照明光の影響分が本来の表示に対してのオフセットとして作用するという意味である。このずれの効果量(補正係数:オフセット)を、輝度についてはα(x,y)、色度についてはX座標はβ(x,y)およびZ座標はγ(x,y)とする。(x,y)は表示の画素位置を意味する。xは水平方向、yは垂直方向と仮定する。
【0112】
撮像装置20で取得された撮像データに基づいて計算される照明光の輝度分布と色度分布の情報は、このα(x,y)、β(x,y)、γ(x,y)を表わしていると考えてよい。したがって、ある輝度値Y0を持つ無彩色画像を表示しようとしているときに、見た目上もそのように見えるようにするには、色変換した表示データX(x,y)、Y(x,y)、Z(x,y)からそれぞれα(x,y)、β(x,y)、γ(x,y)を減算すればよい。色変換した表示データと照明光分布との差分を計算し(S170)、見かけ上、元の画像データの輝度および色度となるようにデータ補正をしてから(S180)、画像表示部10で表示すればよい(S190)。
【0113】
たとえば、表示面上での照明光の色度座標がX1,Y1,Z1であるとする。入力される映像データの表示画像の色度座標はX2,Y2,Z2であるとする。そして、照明光色度座標X1,Y1,Z1と入力データから得られる表示画像の色度座標X2,Y2,Z2より、補正しない場合の表示画像の色度座標X3,Y3,X3を得る。その後、X3,Y3,Z3とX2,Y2,Z2の色差を「0(ゼロ)」とするように、画像表示部10に供給する表示データを調整し、最終的に画像を表示する。
【0114】
ステップS150に戻って同様の処理を繰り返すことで、電源起動後の表示動作開始前に取得した照明光分布の情報を元にして、見かけ上の画質が適正となるように表示データを補正することで、常に照明光分布の影響を抑制した画像を表示できる。
【0115】
このような仕組みによれば、最終画像の色度座標は入力データから得られる色度座標と等しく、照明光の影響を受けない。また、表示面内の各画素に対して補正を行なうため、照明光の面内分布を補正することができ高品位な表示画像を提供できる。
【0116】
[第2例:リアルタイム制御]
図9は、本実施形態の照明光分布補正部300による照明光分布補正処理の第2例を説明する図(フローチャート)である。第2例の照明光分布補正処理は、第2実施形態の画像表示装置1Bや画像表示システム2Bを使用して、表示フレーム間などの非発光期間を利用して照明光分布を逐一測定し、その結果に基づいて表示データを補正するオンライン制御による照明光分布補正処理を適用するものである。以下では、第1例との相違を中心に説明する。なお、処理ステップを200番台で示し、第1例と同様の処理ステップには第1例と同じ10番台と1番台で示す。
【0117】
先ず、制御部90は、画像表示部10の表示タイミングと撮像装置20の撮像タイミングを非同期にしておく。撮像装置20は、画像表示部10の表示面(詳しくは光拡散シート)における照明光分布を撮像する(S200)。照明光分布計算部302は、表示用タイミングコントローラ92から供給される画像表示部10のタイミング信号を参照し、垂直ブランキング期間や水平ブラキング期間に撮像装置20で取得された撮像信号を取り込んで撮像信号を記憶する(S202−YES)。
【0118】
以下、第1例と同様である。ただし、ステップS250に戻るのではなく、ステップS202(あるいはS200)に戻って同様の処理を繰り返すことで、現時点の表示動作の隙間に取得した照明光分布の情報を元にして、見かけ上の画質が適正となるように表示データを補正する。
【0119】
[第1例と第2例の対比]
第1例の場合は、電源起動後の表示動作開始前に取得した照明光分布の情報を元にしてデータ補正を行なうので、測定が簡単であるが、照明光の情況が変更されると適正な補正ができなくなる。これに対して、第2例は、照明光の情況を表示の隙間(表示フレーム間など)にリアルタイムに監視してデータ補正を行なうので、測定が難しくなるものの、照明光の情況が変更されても適正な補正ができる。
【0120】
<電子機器のモニタ装置の代替>
図10は、本実施形態の画像表示装置1が適用される電子機器の一例を示す図である。画像表示装置1Aや画像表示装置1Bは、たとえばパーソナルコンピュータを構成するモニタ装置の代替に限らず、各種の電子機器のモニタ装置の代替として使用できる。たとえば、ノート型パーソナルコンピュータ(図10(1)参照)に組み込まれたモニタ装置の代替として使用することができる。また、携帯電話(図10(2)参照)や、図示しないが、PDA(携帯情報端末,Personal Digital Assistant)、ゲーム機器に組み込まれたモニタ装置、従来のテレビジョン受像機などの代替として使用することができる。何れも、画像表示部10には、図示しない光透過部30が形成されている光透過領域12が設けられ、表示面側と反対側の裏面には撮像装置20が設けられる。
【0121】
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は前記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で前記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【0122】
また、前記の実施形態は、クレーム(請求項)に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【0123】
たとえば、画像表示部10の背面側で、画像表示部10の表示面における照明光分布を測定する光検知部の具体的な手段として、背面側から表示面側の被写体を撮像する撮像装置20を利用する例を具体的に説明したが、光検知部はこれに限らない。ホワイトバランスセンサなどの光検知部を画像表示部10の背面に設けて測定することも考えられる。
【0124】
前記実施形態では、照明光分布計算部302が表示データの補正を行なう例で示したが、このことは必須でない。たとえば、制御部90にてデータ補正を行なうことが考えられる。この場合、制御部90は、画像表示の際に、照明光分布記憶部304に記憶されている表示面上での照明光の輝度分布と色度分布の情報を取り込んで、見た目上も元の表示データの輝度や色度と対応するようにデータ補正を行なう。
【0125】
画像表示部10の背面で、画像表示部10の表示面の照明光の分布を測定する照明光分布測定部の光検知部の具体的な手段として、背面側から表示面側の被写体を撮像する撮像装置20を利用する例を具体的に説明したが、光検知部はこれに限らない。ホワイトバランスセンサなどの光検知部を画像表示部10の背面に設けて測定することも考えられる。
【0126】
さらには、前記の実施形態で説明した画像表示装置1や画像表示システム2は、さらなる変形を加えることができ、さらなる発明を抽出することもできる。たとえば、撮像装置20を介して取得された画像情報に基づき被写体の位置情報を求める位置検出部を備えるようにしてもよい。位置検出部によって被写体(たとえば、手や指、眼球、棒状の物体(たとえば、ペンや鉛筆など))の位置情報を時系列に連続して求めれば、被写体の動きを求めることができる。このため、被写体の動きに対応した各種の処理(たとえば、パーソナルコンピュータのモニタ装置における画像の上下、左右への移動、画面を閉じる処理、別の画面を開く処理など)を行なうことができる。
【0127】
また、画像表示部10の裏面側に複数(典型的には2つ)の撮像装置20を配置し、撮像装置20のそれぞれからの画像情報に基づき画像表示部10から使用者までの距離を位置検出部が求めるようにしてもよい。観察者の位置情報を、観察者の両眼の位置データとすることができるし、画像表示部10から観察者までの距離データとすることもできる。また、観察者の位置情報を、複数の撮像装置を介して撮像された画像データの観察者の両眼に基づき求めることができる。観察者の位置情報を画像表示部10に表示する構成とすることができ、これによって、観察者が3次元画像を容易に観察できるように、最適な3次元画像観察位置を観察者に明確に指示し、あるいは最適な3次元画像観察位置に観察者を誘導することができる。あるいは、画像表示部10に表示する画像を観察者の位置情報に基づいて最適化する構成とすることができる。
【0128】
また、前記実施形態の仕組みをいわゆるテレビジョン電話会議システム(テレビ電話装置)に適用することも考えられる。撮像装置20が画像表示部10の背面側に配置されているので、画像表示部10の正面に位置する使用者の顔を撮像することができ、画像表示部10に映し出される相手側の使用者の顔が自分の方を向いているため、従来のTV電話システムにあった互いの視線が合わないといった違和感を与えることがない。照明光分布補正部300を備えた構成による作用効果も享受できるので、照明光の影響が抑制された状態の使用者の顔などの画像が相手側の画像表示部10に映し出される。
【0129】
また、前記実施形態の画像表示装置1をいわゆるデジタルミラーとして機能させることも考えられる。この機能の実現には、撮像装置20を介して取得された画像情報を記憶する画像情報記憶部と、撮像装置20を介して取得された(取得されている状態も含み得る)画像情報および画像情報記憶部に記憶された画像情報に基づく画像を画像表示部10に表示する表示制御部をさらに備えるものとする。デジタルミラー機能では、画像表示部10において、過去と現在の使用者の比較結果を、別々のウインドウに表示することができる。照明光分布補正部300を備えた構成による作用効果も享受できるので、照明光の影響が抑制された状態の使用者の顔などの画像が画像表示部10に映し出される。
【符号の説明】
【0130】
1…画像表示装置、2…画像表示システム、10…画像表示部、11…画素、12…光透過領域、20…撮像装置、20a…撮像部(照明光分布測定部の光検知部として機能)、21…集光部、30…光透過部、68…光拡散シート、70…周辺機器、90…制御部、300…照明光分布補正部、302…照明光分布計算部、304…照明光分布記憶部

【特許請求の範囲】
【請求項1】
表示素子を含む画素が複数配列されており、背面側に表示面の照明光の分布を測定する照明光分布測定部が配置可能になっている画像表示部と、
前記画像表示部に設けられている光透過部を通して前記照明光分布測定部で測定された照明光の分布の情報に基づいて、視認される表示画像における照明光の影響を抑制するように表示データを補正する照明光分布補正部と、
を備えた画像表示装置。
【請求項2】
前記画像表示部の表示面の照明光の分布を測定するための前記光透過部は、前記表示素子による表示用に設けられている開口部を利用したものである
請求項1に記載の画像表示装置。
【請求項3】
前記画像表示部の表示面の照明光の分布を測定するための前記光透過部は、前記表示素子による表示用に設けられている開口部とは別に設けられているものである
請求項1に記載の画像表示装置。
【請求項4】
前記画像表示部の表示面には前記照明光を拡散させる手段が設けられている
請求項1から請求項3の何れか一項に記載の画像表示装置。
【請求項5】
前記画像表示部と前記照明光分布測定部との間に、前記画像表示部の照明光の分布を表す光を前記照明光分布測定部に集光する集光部
を備えた請求項1から請求項4の何れか一項に記載の画像表示装置。
【請求項6】
前記画像表示部に設けられている光透過部を通して前記画像表示部の表示面の照明光の分布を測定する照明光分布測定部
をさらに備えている請求項1から請求項5の何れか一項に記載の画像表示装置。
【請求項7】
前記画像表示部は、背面側に画像を撮像する撮像部が配置可能になっているとともに、前記撮像部と対応する領域に光透過部が設けられており、
前記照明光分布測定部は、前記撮像部を使用して前記画像表示部の表示面の照明光の分布を測定する
請求項6に記載の画像表示装置。
【請求項8】
前記照明光分布測定部は、前記画像表示部において画像を表示していない期間に、前記画像表示部の表示面の照明光の分布を測定する
請求項1から請求項7の何れか一項に記載の画像表示装置。
【請求項9】
前記照明光分布測定部は、前記画像表示部における画像表示動作が開始される前に、前記画像表示部の表示面の照明光の分布を測定する
請求項8に記載の画像表示装置。
【請求項10】
前記照明光分布測定部は、前記画像表示部における画像表示動作中の非表示期間に、前記画像表示部の表示面の照明光の分布を測定する
請求項8に記載の画像表示装置。
【請求項11】
前記照明光分布補正部は、照明光の強度分布と表示データの輝度を比較して元の表示データの輝度を調整する、および/または、照明光の色度分布と表示データの色度を比較して、元の表示データの色度を調整する
請求項1から請求項10の何れか一項に記載の画像表示装置。
【請求項12】
前記表示素子は、発光素子である
請求項1から請求項11の何れか一項に記載の画像表示装置。
【請求項13】
前記発光素子は、有機エレクトロルミネッセンス素子である
請求項12に記載の画像表示装置。
【請求項14】
表示素子を含む画素が複数配列されており、背面側に表示面の照明光の分布を測定する照明光分布測定部が配置可能になっている画像表示部と、
前記画像表示部に設けられている光透過部を通して前記画像表示部の表示面の照明光の分布を前記画像表示部の背面側で測定する照明光分布測定部と、
前記照明光分布測定部で測定された照明光の分布の情報に基づいて、視認される表示画像における照明光の影響を抑制するように表示データを補正する照明光分布補正部と、
を備えた電子機器。
【請求項15】
表示素子を含む画素が複数配列されている画像表示部を具備した画像表示装置と、
前記画像表示部に設けられている光透過部を通して前記画像表示部の表示面の照明光の分布を前記画像表示部の背面側で測定する照明光分布測定装置と、
前記照明光分布測定部で測定された照明光の分布の情報に基づいて、視認される表示画像における照明光の影響を抑制するように表示データを補正する照明光分布補正部を具備した機器と、
を備えた画像表示システム。
【請求項16】
表示素子を含む画素が複数配列されている画像表示部に設けられている光透過部を通して前記画像表示部の表示面の照明光の分布を前記画像表示部の背面側で測定し、
測定された照明光の分布の情報に基づいて、視認される表示画像における照明光の影響を抑制するように表示データを補正し、
この補正後の表示データを前記画像表示部に供給して画像表示を行なう
画像表示方法。
【請求項17】
表示素子を含む画素が複数配列されており背面側に表示面の照明光の分布を測定する照明光分布測定部が配置可能になっている画像表示部に設けられている光透過部を通して前記照明光分布測定部で測定された照明光の分布の情報に基づいて、視認される表示画像における照明光の影響を抑制するように表示データを補正する照明光分布補正部
を備えた照明光分布補正装置。
【請求項18】
表示素子を含む画素が複数配列されている画像表示部に設けられている光透過部を通して前記画像表示部の表示面の照明光の分布を前記画像表示部の背面側で測定し、
測定された照明光の分布の情報に基づいて、視認される表示画像における照明光の影響を抑制するように表示データを補正する
照明光分布補正方法。
【請求項19】
表示素子を含む画素が複数配列されている画像表示部に設けられている光透過部を通して前記画像表示部の表示面の照明光の分布を前記画像表示部の背面側で測定して得た照明光の分布の情報に基づいて、視認される表示画像における照明光の影響を抑制するように表示データを補正する照明光分布補正処理をコンピュータに実行させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2011−257496(P2011−257496A)
【公開日】平成23年12月22日(2011.12.22)
【国際特許分類】
【出願番号】特願2010−130274(P2010−130274)
【出願日】平成22年6月7日(2010.6.7)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】