撮像装置及び視点検出装置
【課題】視点を良好な精度で検出するための画像を取得できる撮像装置及びこれを備える視点検出装置を提供する。
【解決手段】撮像装置６０は、視点検出のために用いられる撮像装置であって、人物である被写体２を撮像し、撮像画像を取得する撮像部２０と、被写体２に向けて光を射出する光源１０と、光源１０の光の射出側に配置され、光源１０からの光を平行光として被写体２に射出する平行光束光学系１１と、を備え、撮像部２０の撮像光軸と前記平行光の射出方向とが実質的に平行である。
【解決手段】撮像装置６０は、視点検出のために用いられる撮像装置であって、人物である被写体２を撮像し、撮像画像を取得する撮像部２０と、被写体２に向けて光を射出する光源１０と、光源１０の光の射出側に配置され、光源１０からの光を平行光として被写体２に射出する平行光束光学系１１と、を備え、撮像部２０の撮像光軸と前記平行光の射出方向とが実質的に平行である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視点検出のために用いられる撮像装置及びこれを備える視点検出装置に関する。
【背景技術】
【０００２】
撮像部が撮像した被写体の画像から、人物の視点を検出する技術が知られている。例えば、特許文献１には、撮像部で撮像した画像に対して、予め用意したテンプレートと相関演算を行うことで、被写体であるユーザの目の領域を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０６−２５５３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術では、撮像時の照明環境等が原因で、鮮明な画像を得ることができない場合があった。この場合、テンプレートマッチングによる視点検出に失敗する蓋然性が高まる。つまり、特許文献１に開示された技術は、必ずしも検出精度が良好なものとは言えなかった。
【０００５】
本発明は上記実状に鑑みてなされたものであり、視点を良好な精度で検出するための画像を取得できる撮像装置及びこれを備える視点検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係る撮像装置は、
視点検出のために用いられる撮像装置であって、
人物である被写体を撮像し、撮像画像を取得する撮像部と、
前記被写体に向けて光を射出する光源と、
前記光源の光の射出側に配置され、前記光源からの光を平行光として前記被写体に射出する平行光束光学系と、を備え、
前記撮像部の撮像光軸と前記平行光の射出方向とが実質的に平行である、
ことを特徴とする。
【０００７】
上記目的を達成するため、本発明の第２の観点に係る撮像装置は、
視点検出のために用いられる撮像装置であって、
人物である被写体を撮像し、撮像画像を取得する撮像部と、
前記被写体に向けて光を射出する光源と、
前記光源の光の射出側に配置され、前記光源からの光を通過させ、通過前の光よりも開口数を低減させた光を前記被写体に射出する開口数低減素子と、を備え、
前記撮像部の撮像光軸と前記開口数低減素子から射出された光の中心軸とが実質的に平行である、
ことを特徴とする。
【０００８】
上記目的を達成するため、本発明の第３の観点に係る視点検出装置は、
上記第１又は第２の観点に係る撮像装置と、
前記撮像部が取得した撮像画像に基づき、この撮像画像に写った被写体像における視点の位置を検出する制御部と、を備える、
ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、視点を良好な精度で検出するための画像を取得できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る視点検出装置の概略構成を示すブロック図である。
【図２】制御装置の構成を説明するためのブロック図である。
【図３】（ａ）は、光照射部と撮像部との配置関係を説明するための図である。（ｂ）は、光照射部からの光がブリュースター角で被写体の眼に入射する場合を示した図である。
【図４】被写体の像がフレーム画像として結像される過程を説明するための図である。
【図５】（ａ）〜（ｃ）は、光源制御処理における光源制御信号の送信タイミングを説明するためのタイミングチャートである。
【図６】光源制御処理のフローチャートである。
【図７】視点検出処理のフローチャートである。
【図８】視点検出処理において制御装置が取得するフレーム画像の一例を示した図である。
【図９】（ａ）は、奇数フィールド画像の一例を示した図であり、（ｂ）は、偶数フィールド画像の一例を示した図である。
【図１０】（ａ）は、補間奇数フレーム画像の一例を示した図であり、（ｂ）は、補間偶数フレーム画像の一例を示した図である。
【図１１】被写体検出画像の一例を示した図である。
【図１２】（ａ）、（ｂ）は、ある人物を被写体として、視点検出処理を実行した場合に、どのような被写体検出画像が得られるかを説明するための図である。
【図１３】視点検出処理におけるテンプレートマッチングを説明するための概念図である。
【図１４】表示装置に表示される視点検出結果画像の一例である。
【図１５】本発明の第２実施形態に係る視点検出処理のフローチャートである。
【図１６】第２実施形態に係る視点検出処理における重心検出処理を説明するための図である。
【図１７】第２実施形態に係るデータ選択処理のフローチャートである。
【図１８】（ａ）は、データ選択画面の一例を示す図である。（ｂ）は、視点テーブルの一例を示す図である。
【図１９】第１実施形態の変形例に係る撮像装置を説明するための図である。
【図２０】（ａ）及び（ｂ）は、第２実施形態の変形例を示す図であり、（ａ）は、データ選択画面の変形例を示す図である。（ｂ）は、視点テーブルの変形例を示す図である。
【図２１】（ａ）及び（ｂ）は、第２実施形態の変形例を示す図であり、（ａ）は、データ選択画面の変形例を示す図である。（ｂ）は、視点テーブルの変形例を示す図である。
【図２２】（ａ）は、変形例に係る視点検出装置を説明するためのブロック図である。（ｂ）は、光源制御信号と撮像制御信号の送信タイミングを説明するためのタイミングチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態を図面を参照して詳細に説明する。
【００１２】
１．第１実施形態
第１実施形態に係る視点検出装置は、図１に示す視点検出装置１である。
視点検出装置１は、車両に搭載されるものであり、図１に示すように、表示装置３０と、入力装置４０と、制御装置５０と、撮像装置６０と、を備える。
撮像装置６０は、光源１０及び平行光束光学系１１から構成される光照射部１００と、撮像部２０と、偏光フィルタ１２及び２２と、を備える。
【００１３】
視点検出装置１は、制御装置５０の制御の下、撮像部２０に人物（本実施形態では、車両の運転者）である被写体２（図２参照）を撮像させると共に、予め設定された点灯時間で光源１０を点灯させる。そして、後述の視点検出処理を実行することで、撮像画像における被写体２が写っている領域（以下、「被写体領域」と言う。）を検出し、被写体２の視点を検出する。
【００１４】
光照射部１００は、図１に示すように、被写体２に平行光を照射するものであり、前記のように光源１０及び平行光束光学系１１から構成される。
【００１５】
光源１０は、被写体２に向けて光を射出するものであり、例えば、赤外線ＬＥＤ（Light Emitting Diode）から構成される。光源１０は、制御装置５０から出力される光源制御信号に基づいて点灯・消灯する。
【００１６】
平行光束光学系１１は、光源１０が射出した光を平行光にする光学系であり、光源１０の前方（光の射出側）に配置されている。平行光束光学系１１は、例えば、コリメートレンズであり、その焦点に光源１０の射出点が位置するように配置されている。
つまり、平行光束光学系１１は、光源１０からの光を平行光として被写体２に射出する。
【００１７】
撮像部２０は、被写体２を撮像するものであり、例えば、複数のレンズと、電子シャッター機能を有するＣＣＤ（Charged Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子とを含むビデオカメラである。
撮像部２０は、シャッターが開いているときにレンズを用いて固体撮像素子の受光面に被写体２の像を結像させ、結像させた像の光の強弱を電気信号に変換し、その電気信号に基づいた映像信号を含むビデオ信号を、制御装置５０に出力する。
【００１８】
光照射部１００と撮像部２０とは、図３（ａ）に示すように、被写体２の顔（具体的には、座席に座った運転者の顔）を被写体２である運転者から見て正面上方から狙う位置（例えば、ルームミラー近傍の位置）に配置されている。また、光照射部１００と撮像部２０とは、互いに隣り合うように配置され、且つ、光照射部１００が有するレンズの光軸１００ａと撮像部２０が有するレンズ光軸（撮像光軸）２０ａとが略平行（丁度、平行も含む）となるように配置されている。
つまり、撮像装置６０においては、撮像部２０の撮像光軸２０ａと平行光束光学系１１からの平行光の射出方向とが実質的に平行である。
【００１９】
ここで、図３（ａ）を参照して、撮像装置６０において、上記のように光照射部１００（ないしは光源１０）と撮像部２０とを配置した理由を説明する。
【００２０】
被写体２を狙って設けられた光照射部１００が射出した光は、被写体２の顔に到達し、その大部分の光は肌２ｂ（つまり、皮膚の表面）で拡散反射し、残りの光は、被写体２の眼２ａにおいて、眼球表面の涙等による水分の膜において、一部が鏡面反射する。
光照射部１００からの光Ｌ１は平行光であるため、ほぼ一様な入射角をもって斜め上方から眼２ａの界面に入射する。入射した光Ｌ１の一部は、眼２ａで鏡面反射し、斜め下方に向かう反射光Ｒ１となる。このため、反射光Ｒ１は、撮像部２０にほとんど到達しない。一方、肌２ｂに到達する光源からの光Ｌ２は、肌２ｂで拡散反射するため、反射光の一部の光Ｒ２は、撮像部２０へと向かう光となる。
このように被写体２の像を表す光は撮像部２０に到達するため、得られる撮像画像においては、眼２ａに対応する領域のほうが肌２ｂに対応する領域よりも暗くなる。眼２ａの領域のコントラストが強調された撮像画像が得られれば、結果として、被写体検出装置１の検出対象である視点の位置を精度良く検出できる。また、光照射部１００（ないしは光源１０）と撮像部２０とを被写体２の正面上方に配置すれば、光照射部１００からの光の被写体２への入射角と、フロントガラスやサイドガラスを透過して車内に入り込む正面及び側面からの外光の被写体２への入射角とをずらすことができるため、撮像における外光の影響を低減することもできる。
このような理由により、本願発明者は、撮像装置６０において、光照射部１００と撮像部２０とを上記のように配置した。
【００２１】
偏光フィルタ１２及び２２は、それぞれ、到達した光のうちｐ偏光成分の光（ｐ偏光）のみを通過させるｐ偏光板から構成されている。これらは、眼２ａでの反射の影響及び外光の影響を低減するために設けられる。
【００２２】
偏光フィルタ１２は、光照射部１００の前方（射出方向）に配置されている。このため、偏光フィルタ１２を通過した光照射部１００からの光は、ｐ偏光として、被写体２を照射する。
ｐ偏光の反射率は、どの入射角でもｓ偏光成分の光（ｓ偏光）の反射率以下であるため、このように偏光フィルタ１２を設けることにより、眼２ａでの反射光Ｒ１をさらに低減することができる。
【００２３】
ここで、上記の通り、光照射部１００は、被写体２を前方斜め上から狙う位置に配置されているが、理想的には、図３（ｂ）に示すように、光照射部１００は、射出した光が運転者が正面を向いているときの眼２ａの界面に、ブリュースター角θＢで入射するように配置されるのがよい。このようにすれば、理論上は、ｐ偏光として眼２ａに到達する光の反射率を０（ゼロ）に近づけることができ、撮像画像における眼２ａ領域と肌２ｂ領域とのコントラストをさらに稼ぐことができる。但し、実際には、眼球は曲面であることや、運転者の体格、座席の位置等の諸条件により、眼２ａでのｐ偏光の反射率を０とすることは不可能である。
よって、前記諸条件を考慮して、なるだけ、光照射部１００からの光がブリュースター角θＢに近い角度で眼２ａに入射するように光照射部１００の位置を調整すればよい。光照射部１００は、平行光を照射するため、入射角を踏まえて調整しやすい。
【００２４】
なお、入射側の屈折率をｎ１、透過側の屈折率をｎ２とすれば、ブリュースター角θＢは、以下のように表せる。
【数１】
【００２５】
ここで、入射側の屈折率ｎ１を空気の屈折率１とし、透過側の屈折率ｎ２を眼球表面が水の膜（涙）で覆われているとして、簡単に、水の屈折率１．３３とすれば、上記（数１）式より、ブリュースター角θＢは、約５３度となる。
この場合、被写体２が正面を向いた場合の視線Ｖ（図３（ｂ）参照）から約５３度上方の位置に光照射部１００を配置すればよい。撮像部２０も視線Ｖから同様な角度をもって配置すればよい。例えば、このようにして、光照射部１００（ないしは光源１０）と撮像部２０とは、各々の光軸である光軸１００ａと光軸（撮像光軸）２０ａとが略平行となるように配置される。
【００２６】
偏光フィルタ２２は、撮像部２０の前方（撮像対象である被写体方向）に配置されている。このため、撮像部２０に到達した光は、ｐ偏光として、固体撮像素子の受光面に到達する。
上記のように、ｐ偏光の反射率は、どの入射角でもｓ偏光の反射率以下である。したがって、反射光はｓ偏光の成分の光の割合が多くなる。そのため、このように偏光フィルタ２２を配置することで、被写体２で反射した光（特に、眼２ａで反射した光）のうち強く反射するｓ偏光の光を遮断することができる。
【００２７】
なお、偏光フィルタ１２及び２２は、眼２ａに比べて明るく撮像したい肌２ｂにおける反射光も低減してしまうが、撮像画像に与える影響としては、眼２ａでの反射光が与える影響のほうが大きい。そのため、偏光フィルタ１２及び２２を設けることにより、眼２ａの領域が強調された撮像画像を得ることができる。
【００２８】
以上のように、本実施形態では、平行光を照射する光照射部１００、光照射部１００及び撮像部２０の配設位置、及び、ｓ偏光を遮断する偏光フィルタ１２及び２２により、眼２ａでの反射光を効果的に抑制している。
本願発明者は、被写体２の眼２ａで光の反射特性（到達した光の一部が鏡面反射する）と、肌２ｂでの光の反射特性（到達した光が拡散反射する）との違いに着目し、これらの特性を利用して、撮像装置６０を構成すれば、以上に説明した理由により、眼２ａの領域のコントラストが強調された撮像画像を得られ、結果として、視点検出装置１の検出対象である視点の位置を良好な精度で検出することができることを見出した。
【００２９】
ここからは、撮像部２０の固体撮像素子の受光面に、被写体２の像が、図４に示すような例えば２Ｍ行Ｎ列の画素から成るフレーム画像Ａとして結像される過程（撮像部２０が撮像画像を取得するまでの過程）を説明する。
この場合、固体撮像素子を構成するマトリックス状に配置されたフォトダイオード（前記の各画素に１対１で対応するように配置されている。）は、シャッターが開いているときに受光した光量に応じた電荷を生成する。そして、撮像部２０は、シャッターが閉じた後に、同期信号発生回路（図示せず）により出力される垂直同期信号及び水平同期信号に同期して、各ラインのフォトダイオードの電荷を電気信号として読み取る。
【００３０】
ここで、ラインを上から順に数えたときの番号をライン番号と言う（つまり、２Ｍ行Ｎ列のフレーム画像において、ライン番号１は１行目を示し、ライン番号２Ｍは２Ｍ行目を示す）。
そして、奇数番号のラインから構成されるライン群を「奇数フィールド」といい、偶数番号のラインから構成されるライン群を「偶数フィールド」と言う。また、あるフレーム画像において、奇数フィールドに対応する画像を「奇数フィールド画像」といい、偶数フィールドに対応する画像を「偶数フィールド画像」と言う。
つまり、フレーム画像は、奇数フィールド画像と偶数フィールド画像とで構成されており、フレーム画像において、奇数フィールド画像に係るラインと偶数フィールド画像に係るラインとは各々隣り合う。
【００３１】
撮像部２０は、１つのフレーム画像Ａの撮像において、奇数フィールドの撮像と偶数フィールドの撮像とを行う。撮像部２０は、各撮像において、シャッターを開閉し、受光素子に電荷を蓄積する。
撮像部２０は、フォトダイオードの電荷を読み取る際に、奇数フィールド画像の撮像では、奇数フィールドの各電荷を読み取り、偶数フィールド画像の撮像では、偶数フィールドの各電荷を読み取る。撮像部２０は、このような読み取りを、水平同期信号に同期して行う。
【００３２】
具体的には、撮像部２０は、以下の手順で電荷の読み取りを行う。
１）垂直同期信号に同期して、フレーム画像Ａにおけるライン番号が奇数のラインの電荷の読み取りを開始し、全ての奇数ラインの電荷を読み取る。すなわち、撮像部２０は、ライン番号１，３，…，２Ｍ−１の順で水平同期信号に同期して各ラインの電荷を読み取る。このようにして、撮像部２０は、奇数フィールドの電荷を読み取ることになる。
２）次の垂直同期信号に同期して、フレーム画像Ａにおけるライン番号が偶数のラインの電荷の読み取りを開始し、全ての偶数ラインの電荷を読み取る。すなわち、撮像部２０は、ライン番号２，４，…，２Ｍの順で水平同期信号に同期して各ラインの電荷を読み取る。このようにして、撮像部２０は、偶数フィールドの電荷を読み取ることになる。
つまり、撮像部２０は、被写体２の撮像を偶数フィールドと奇数フィールドの撮像に分けて行う。
【００３３】
このような１つのフレームを構成する奇数フィールドと偶数フィールドを表す電荷の読み取りは、それぞれ、例えば１／６０秒の間隔で行われる。つまり、１つのフレーム当たりの電荷の読み取りは、１／３０秒間隔で行われる。よって、撮像部２０は、１秒当たり３０フレームの画像を撮影することになる。
そして、撮像部２０は、読み取った電荷が表す電気信号である映像信号と、垂直同期信号と、水平同期信号とを重畳した信号を、ビデオ信号として制御装置５０に出力する。
【００３４】
図１及び図２に戻って、表示装置３０は、制御装置５０の制御の下、後述の出力画像データが表す画像（例えば、後述の被写体検出結果画像Ｆ）を表示する。表示装置３０は、例えばＬＣＤ（Liquid Crystal Display）から構成される。
【００３５】
入力装置４０は、ユーザの所定の入力操作を受け付けるものであり、例えばユーザの数値入力や上下左右の方向指示を受け付けるキーボード、マウス、タッチパネル等から構成される。入力装置４０が受け付けた入力操作を示すデータは、制御装置５０に出力される。
【００３６】
制御装置５０は、例えばマイクロコンピュータから構成され、図２に示すように、ＣＰＵ（Central Processing Unit）５１と、ＲＯＭ（Read-Only Memory)５２と、汎用メモリ５３と、ビデオメモリ５４と、同期分離回路５５と、フィールド識別回路５６と、外部デバイスインターフェイス（Ｉ／Ｆ）５７と、を備える。
【００３７】
ＣＰＵ５１は、ＲＯＭ５２内に予め記憶された、後述する光源制御処理、視点検出処理等を実行するための所定プログラムを読み出し、実行する。そして、ＣＰＵ５１は、撮像部２０から取得したビデオ信号、処理後の演算結果、画像データ等を汎用メモリ５３に一時的に記憶させる。
また、ＣＰＵ５１は、汎用メモリ５３に記憶された出力画像データをビデオメモリ５４に転送し、転送した出力画像データに基づき表示装置３０に出力画像データが表す画像を表示させる。
また、ＣＰＵ５１は、計時可能なタイマ（図示せず）を内蔵し、適宜、計時を行う。
【００３８】
ＲＯＭ５２には、前記所定プログラムの他、光源制御処理において参照される光源１０の点灯時間を規定するためのＴＯＦＦ及びＴＯＮ（図５（ｃ）参照）の値を示すデータが記憶されている（ＴＯＦＦ及びＴＯＮについては後述する）。また、汎用メモリ５３には、視点検出処理におけるテンプレートマッチングで用いられるテンプレートＴＥを示すデータが予め記憶されている。
【００３９】
同期分離回路５５は、撮像部２０からのビデオ信号を、映像信号と垂直同期信号（図５（ａ）参照）と水平信号とに分離する回路である。
【００４０】
フィールド識別回路５６は、同期分離回路５５により分離された、垂直同期信号及び水平同期信号から、ビデオ信号に含まれる映像信号が奇数フィールド画像と偶数フィールド画像の何れであるかを示すフィールド識別信号を生成する。
フィールド識別信号は、一例として、図５（ｂ）に示すように構成され、このようなフィールド識別信号に基づいて、ＣＰＵ５１は、撮像部２０から取得した映像信号が、奇数フィールド画像を示すものであるか、偶数フィールド画像を示すものであるかを判別することができる。
【００４１】
外部デバイスＩ／Ｆ５７は、光源１０、撮像部２０、表示装置３０、入力装置４０の各々と、制御装置５０の各部とを導通接続する。
【００４２】
次に、所望のタイミングで、予め設定された点灯時間の間、光源１０を点灯させるための光源制御処理を、図６等を参照して説明する。
光源制御処理は、制御装置５０のＣＰＵ５１により実行され、例えば制御装置５０の起動を条件に開始される。
【００４３】
（光源制御処理）
ＣＰＵ５１は、光源制御処理を開始すると、まず、ステップＳ１０１で、垂直同期信号の立ち下がり（図５（ａ）参照）を検出した否かを判別する。この垂直同期信号は、前述のように、撮像部２０からのビデオ信号を、映像信号と垂直同期信号と水平信号とに分離する同期分離回路５５から出力される。
【００４４】
ＣＰＵ５１は、垂直同期信号の立ち下がりを検出していないと判別した場合（ステップＳ１０１；Ｎｏ）、ステップＳ１０４に処理を進める。
一方、ＣＰＵ５１は、垂直同期信号の立ち下がりを検出したと判別した場合（ステップＳ１０１；Ｙｅｓ）、ステップＳ１０２に処理を進める。
【００４５】
ステップＳ１０２で、ＣＰＵ５１は、フィールド識別回路５６から取得したフィールド識別信号（図５（ｂ）参照）が、奇数フィールド画像を示しているか否かを判別する。具体的には、ＣＰＵ５１は、フィールド識別信号の立ち上がりを検出した場合に、フィールド識別信号が奇数フィールド画像を示していると判別する。
【００４６】
フィールド識別信号が奇数フィールド画像を示していない（つまり、偶数フィールド画像を示している）と判別した場合（ステップＳ１０２；Ｎｏ）、ＣＰＵ５１は、ステップＳ１０１に処理を戻す。一方、フィールド識別信号が奇数フィールド画像を示していると判別した場合（ステップＳ１０２；Ｙｅｓ）、ＣＰＵ５１は、ステップＳ１０３に処理を進める。
【００４７】
ステップＳ１０３で、ＣＰＵ５１は、タイマの時刻ｔをｔ＝０に設定し、計時を開始する。
【００４８】
続いて、ステップＳ１０４で、ＣＰＵ５１は、タイマの時刻ｔがＴＯＮ≦ｔ≦ＴＯＦＦを満たすか否かを判別する。
ここで、ＴＯＮ及びＴＯＦＦは、撮像部２０の固体撮像素子を構成するフォトダイオードのうち、奇数フィールドのフォトダイオードが受光している光量に応じた電荷の蓄積開始時刻及び終了時刻に対応する。なお、ＴＯＮとＴＯＦＦは、予めＲＯＭ５２にデフォルト値として記憶されているか、ユーザにより入力装置４０を介して設定され記憶される。
【００４９】
タイマの時刻ｔがＴＯＮ≦ｔ≦ＴＯＦＦを満たすと判別した場合（ステップＳ１０４；Ｙｅｓ）、ＣＰＵ５１は、点灯を示す光源制御信号（図５（ｃ）参照）を光源１０に出力する（ステップＳ１０５）。そして、処理をステップＳ１０１に戻す。
一方、時刻ｔがＴＯＮ≦ｔ≦ＴＯＦＦを満たさないと判別した場合（ステップＳ１０４；Ｎｏ）、ＣＰＵ５１は、消灯を示す光源制御信号を光源１０に出力する（ステップＳ１０６）。そして、処理をステップＳ１０１に戻す。
【００５０】
以上の処理からなる光源制御処理を、ＣＰＵ５１は、例えば、制御装置５０の電源がオフされるまで繰り返す。本処理により、撮像部２０が奇数フィールド画像を撮像しているタイミングで光源１０を点灯させ、偶数フィールド画像を撮像しているタイミングで光源１０を消灯させることができる。
【００５１】
次に、制御装置５０のＣＰＵ５１が実行する視点検出処理を、図７等を参照して説明する。この処理は、例えば制御装置５０の起動を条件に開始される。
【００５２】
（視点検出処理）
ＣＰＵ５１は、視点検出処理を開始すると、まず、ステップＳ２０１で、撮像部２０が出力するビデオ信号から、垂直同期信号に基づいて１フレーム分の画像データ（１つの撮像画像を表すデータ）を取得する。
具体的には、ＣＰＵ５１は、垂直同期信号に同期して、撮像部２０から出力されたビデオ信号から、１つの奇数フィールド画像を示す映像信号と１つの偶数フィールド画像を示す映像信号とにより構成される１フレーム分の映像信号を取得する。
【００５３】
例えば、撮像部２０が、被写体２（図２参照）を撮像した場合、ＣＰＵ５１が取得するフレーム画像は、図８に示すようなフレーム画像Ｂ（撮像画像の一例）である。
フレーム画像Ｂでは、奇数フィールド画像における被写体２の像は明るく、偶数フィールド画像における被写体２の像は暗く撮像される。これは、撮像部２０の撮像中において、ＣＰＵ５１が前述の光源制御処理を実行することで、撮像部２０が奇数フィールド画像を撮像しているタイミングで光源１０を点灯させ、偶数フィールド画像を撮像しているタイミングで光源１０を消灯させているためである。
一方、背景３（図２参照）は、光源１０から十分離れており、光源１０の影響をほとんど受けないため、フレーム画像Ｂにおける背景３の像の明るさは、奇数フィールド画像と偶数フィールド画像とで、光源１０の照光に起因しては変化しない。
【００５４】
続いて、ステップＳ２０２で、ＣＰＵ５１は、ステップＳ２０１で取得したフレーム画像を奇数フィールド画像と偶数フィールド画像とに分け、各々を取得する。
具体的には、例えばフレーム画像Ｂ（図８参照）を取得した場合、ＣＰＵ５１は、図９（ａ）に示す奇数フィールド画像Ｃ１と、図９（ｂ）に示す偶数フィールド画像Ｃ２と、を取得する。なお、奇数フィールド画像Ｃ１と偶数フィールド画像Ｃ２の各々を構成するライン数は、フレーム画像Ｂを構成するライン数の半分となっている。
【００５５】
続いて、ステップＳ２０３で、ＣＰＵ５１は、ステップＳ２０２で取得した奇数フィールド画像と偶数フィールド画像から、補間奇数フレーム画像と補間偶数フレーム画像を生成し、取得する（ステップＳ２０３）。
【００５６】
ここで、補間奇数フレーム画像とは、奇数フィールド画像を構成する各ラインの間に新たにラインを補間したフレーム画像であり、補間偶数フレーム画像とは、偶数フィールド画像を構成する各ラインの間に新たにラインを補間したフレーム画像である。
具体的には、ＣＰＵ５１は、奇数フィールド画像Ｃ１と偶数フィールド画像Ｃ２について各々がフレーム画像Ｂと同じライン数となるように各ラインの間に新たにラインを補間することで、奇数フィールド画像Ｃ１からは図１０（ａ）に示すような補間奇数フレーム画像Ｄ１を生成し、偶数フィールド画像Ｃ２からは図１０（ｂ）に示すような補間偶数フレーム画像Ｄ２を生成し、各々を取得する。
【００５７】
一例として、補間奇数フレーム画像Ｄ１は、奇数フィールド画像Ｃ１の各ラインの間に、輝度値として上下の画素の輝度値の平均値を有するラインを補間することで生成される。同様に、補間偶数フレーム画像Ｄ２は、偶数フィールド画像Ｃ２の各ラインの間に、輝度値として上下の画素の輝度値の平均値を有するラインを補間することで生成される。
例えば、フレーム画像Ｂが、２Ｍ行Ｎ列の画像数を有し、ｉ行ｊ列目の画素の輝度値がＩｉ，ｊで表される場合、フレーム画像Ｂを取得した制御装置５０は、以下の（式１）に示す輝度値ＩＯｉ，ｊを有する補間奇数フレーム画像Ｄ１と、以下の（式２）に示す輝度値ＩＥｉ，ｊを有する補間フレーム画像Ｄ２と、を生成し、取得する。なお、Ｉｍｉｎは、フレーム画像Ｂの輝度値Ｉの最小値を表す。
【００５８】
【数２】
【００５９】
図７に戻って、補間奇数フレーム画像と補間偶数フレーム画像とを取得すると、ステップＳ２０４で、ＣＰＵ５１は、補間奇数フレーム画像と補間偶数フレーム画像との比較に基づいて、被写体領域を示す被写体検出画像を取得する。
【００６０】
例えば、ＣＰＵ５１は、補間奇数フレーム画像Ｄ１（図１０（ａ）参照）と、補間偶数フレーム画像Ｄ２（図１０（ｂ）参照）とについて、対応する位置にある画素の輝度値を比較し、その画素の輝度値の差が所定値θよりも大きい場合に、その位置にある画素は被写体領域内の画素であると判別する。
そして、ＣＰＵ５１は、この判別処理を補間奇数フレーム画像Ｄ１及び補間偶数フレーム画像Ｄ２の全域に対して行い、被写体領域内の画素であると判別した画素についてはフレーム画像Ｂの輝度値の最小値Ｉｍｉｎを輝度値とし、それ以外の画素についてはフレーム画像Ｂの輝度値の最大値Ｉｍａｘを輝度値として有する被写体検出画像Ｅ（図１１参照）を取得する。
このような被写体検出画像Ｅの輝度値ＩＤｉ，ｊは以下の（式３）のように表すことができる。
【００６１】
【数３】
【００６２】
ここで、本処理において取得できる被写体検出画像のより具体的な例を示せば、車両に乗車した人物を撮像部２０で撮像し、図１２（ａ）に示すようなフレーム画像Ｂ１（撮像画像の一例）が得られた場合、ＣＰＵ５１が取得する被写体検出画像は、図１２（ｂ）に示すような被写体検出画像Ｅ１となる。
このように、本処理によれば、被写体領域（被写体２である人物の領域）を表す被写体検出画像を取得することができる。
本実施形態に係る視点検出装置１では、上記のように、光照射部１００、撮像部２０、及び偏光フィルタ１２，２２が配置されているため、拡散反射する肌２ｂに対応する領域が明るく、到達した光の一部が鏡面反射する眼２ａに対応する領域が暗い撮像画像、つまり、図１２（ａ）に示すような、眼２ａの領域のコントラストが強調されたフレーム画像Ｂ１が得られる。
なお、ここで得られるフレーム画像Ｂ１も、厳密には、図８に示すフレーム画像Ｂのように、奇数フィールド画像における被写体２の像は明るく、偶数フィールド画像における被写体２の像は暗く撮像されるものとなるが、実際に画像を視認する際には、フレーム画像を構成する各ラインは微細なものであるため、概観としては、図１２（ａ）に示すようになる。
図１２（ａ）では、眼２ａの領域のコントラストが強調された撮像画像が得られる、という本実施形態に特有の効果の理解を容易にするためフレーム画像Ｂ１をこのように表した。
【００６３】
続いて、ステップＳ２０５で、ＣＰＵ５１は、ステップＳ２０４で得た被写体検出画像上の被写体領域に対して、周知の画像処理技術であるテンプレートマッチングを実行することで、視点座標を検出する（視点を検出する）。ＣＰＵ５１は、汎用メモリ５３に記憶されているテンプレートＴＥを読み出し、このテンプレートＴＥに最も近い領域を画像中でサーチすることによって、視点座標を検出する。
具体的には、ＣＰＵ５１は、以下の（数４）式で与えられる座標（ｉ，ｊ）における絶対値差分ＳＡＤｉｊを算出し、それが最小となる座標をサーチし（図１３に概念的に示した）、最小となる座標を視点座標（ｉＥ，ｊＥ）として検出する。なお、Ｔｍｎは、Ｂ行Ｂ列サイズのテンプレートＴＥにおけるｍ行ｎ列目の画素値である。
【数４】
【００６４】
続いて、ステップＳ２０６で、ＣＰＵ５１は、ステップＳ２０１で撮像部２０から取得したフレーム画像に、図１４に示すように、取得した視点座標（つまり、ＣＰＵ５１が検出した視点の位置）を示す指標Ｉｎを描画した視点検出結果画像Ｆを表示装置３０に表示させる。
なお、取得した視点座標を示す指標Ｉｎは、図示する十字印の指標に限られない。ユーザが視点の位置を認識できるものであれば、指標Ｉｎの形状は任意であり、点や丸印等であってもよい。また、図１４に示す例では、被写体の人物の両目の中心を視点としているが、これに限られず、左右一方の目の位置を視点としてもよいし、左右双方の位置を各々求めて、その各々を視点としてもよい。視点をどのようにするかは、目的に応じて適宜変更できる。
【００６５】
以上の処理からなる視点検出処理を、ＣＰＵ５１は、例えば制御装置５０の電源がオフされるまで繰り返し実行する。
【００６６】
（変形例）
以上の実施形態では、被写体２に光を照射する光照射部を平行光を照射する光照射部１００としたが、これに限られない。変形例として、図１９に示すように、光源１０と開口数低減素子２１１とから構成される光照射部２００であってもよい。
【００６７】
開口数低減素子２１１は、光源１０の光の射出側に配置され、光源１０が射出した光の中心軸近傍の光のみを通過させるものである。開口数低減素子２１１は、光源１０からの光を通過させ、通過前の光よりも開口数を低減させた光を被写体２に射出する。
開口数低減素子２１１は、ルーバー、ピンホール板、等から構成される。
ルーバーは、板状の部材（板材）であり、特定の入射角よりも大きい角度で入射した光を吸収する遮光層と、前記特定の入射角以下の角度で入射した光を透過させる透過層を前記板材の面内方向に交互に積層して構成されるものである。この積層ピッチを変えれば、任意に開口数を低減できる。
ピンホール板は、開口孔が形成された板状の部材であり、例えば、開口の中心が光源１０の射出する光の中心軸と一致するように配置される。開口径を変えれば、任意に開口数を低減できる。
【００６８】
光照射部２００と撮像部２０とは、互いに隣り合うように配置され、且つ、光照射部２００が射出する光の中心軸（光束の中心に位置する光の光軸）と撮像部２０の光軸（撮像光軸）２０ａとが略平行（丁度、平行も含む）となるように配置されている。
つまり、変形例に係る撮像装置２６０においては、撮像部２０の撮像光軸２０ａと開口数低減素子２１１から射出された光の中心軸とが実質的に平行である。
【００６９】
このような開口数低減素子２１１を有する光照射部２００によれば、光源１０からの光の開口数を低減することで、被写体２に入射する光の入射角をある程度は制御できるため、眼２ａの領域のコントラストが強調された撮像画像が得られ、結果として、被写体検出装置１の検出対象である視点の位置を精度良く検出できる。
【００７０】
また、以上の実施形態では、視点検出装置１が偏光フィルタ１２及び偏光フィルタ２２を備えるものとしたが、これに限られない。
偏光フィルタ１２又は偏光フィルタ２２のいずれか一方のみ設けても、特に、眼２ａでの反射光を効果的に低減することができる。また、偏光フィルタ１２及び２２を設けず、光照射部１００（又は光照射部２００）と撮像部２０との配置関係のみによっても眼２ａでの反射光を低減することができる。つまり、偏光フィルタ１２及び／又は偏光フィルタ２２は、あったほうがより好ましいが、設けられていなくともよい。
【００７１】
また、以上では、光源１０と撮像部２０とを、被写体２である運転者の正面上方から狙う位置に配置したが、正面下方から狙う位置に配置してもよい。この場合においても、なるだけ、光照射部１００又は２００からの光がブリュースター角θＢに近い角度で眼２ａに入射するように光照射部１００又は２００の位置を調整すればよい。
【００７２】
また、偏光フィルタ１２は、平行光束光学系１１又は開口数低減素子２１１よりも、光源１０側に配置されていてもよい。
【００７３】
以上のように、第１実施形態に係る撮像装置６０は、視点検出のために用いられる撮像装置であって、人物である被写体２を撮像し、撮像画像を取得する撮像部２０と、被写体２に向けて光を射出する光源１０と、光源１０の光の射出側に配置され、光源１０からの光を平行光として被写体２に射出する平行光束光学系１１と、を備え、撮像部２０の撮像光軸２０ａと前記平行光の射出方向とが実質的に平行である。
この撮像装置６０によれば、被写体２に射出する光を平行光にでき、被写体２の特に眼２ａへの光の入射角を容易に調整できるため、眼２ａでの反射光を低減することができる。眼２ａでの反射光を低減することができれば、眼２ａの領域のコントラストが強調された撮像画像が得られるため、結果として、被写体検出装置１の検出対象である視点の位置を精度良く検出できる。つまり、撮像装置６０によれば、視点を良好な精度で検出するための画像を取得できる。
【００７４】
第１実施形態の変形例に係る撮像装置２６０は、視点検出のために用いられる撮像装置であって、人物である被写体２を撮像し、撮像画像を取得する撮像部２０と、被写体２に向けて光を射出する光源１０と、光源１０の光の射出側に配置され、光源１０からの光を通過させ、通過前の光よりも開口数を低減させた光を被写体２に射出する開口数低減素子２１１と、を備え、撮像部２０の撮像光軸２０ａと前記開口数低減素子から射出された光の中心軸とが実質的に平行である。
この撮像装置２６０によれば、被写体２に向かった射出された光源１０からの光の開口数を低減することで、被写体２の特に眼２ａへの光の入射角を調整しやすくなるため、眼２ａでの反射光を低減することができる。眼２ａでの反射光を低減することができれば、眼２ａの領域のコントラストが強調された撮像画像が得られるため、結果として、被写体検出装置１の検出対象である視点の位置を精度良く検出できる。つまり、撮像装置２６０によっても、視点を良好な精度で検出するための画像を取得できる。
【００７５】
また、撮像装置６０又は２６０では、撮像部２０の撮像対象側と光源１０の光の射出側の少なくとも一方には、到達した光のうちｐ偏光方向成分の光のみを通過させる偏光フィルタ１２又は２２が設けられている。
このように偏光フィルタ１２，２２を設ければ、上述したように、さらに、眼２ａでの反射の影響及び外光の影響を低減することができるため、より好ましい。
【００７６】
また、撮像装置６０又は２６０では、撮像部２０と光源１０とは、被写体２を被写体２の正面上方又は正面下方から狙う位置に配置されている。
このようにすれば、眼２ａに到達した光のうち一部が鏡面反射することによる反射光が撮像部２０に到達しにくくなるため、眼２ａの領域のコントラストが強調された撮像画像が得やすくなる。
【００７７】
また、撮像装置６０又は２６０は、車両（乗り物の一例）に搭載される。
このように撮像装置６０又は２６０が車両に搭載され、被写体２が車両の運転者（運転席に座っている運転者）である場合、運転者と車両の操舵装置とはほぼ一定の位置関係にある場合が多いため、特に、運転者の視点の位置を良好な精度で検出しやすい。
なお、撮像装置６０又は２６０は、他の乗り物（航空機、船舶等）に搭載されてもよく、この場合も同様に運転者の視点の位置を良好な精度で検出しやすい。
【００７８】
また、視点検出装置１は、撮像装置６０又は２６０と、撮像部２０が取得した撮像画像に基づき、この撮像画像に写った被写体２の像における視点の位置を検出する制御装置５０（制御部の一例）と、を備える、
視点検出装置１によれば、眼２ａの領域のコントラストが強調された撮像画像が得られるため、結果として、被写体検出装置１の検出対象である視点の位置を精度良く検出できる。
【００７９】
２．第２実施形態
第２実施形態に係る視点検出装置は、被写体２の視点を検出する装置として機能するのみならず、被写体２が視点を動かすだけで所定の入力操作を可能とするデータ入力装置として機能する。この装置は、視点検出装置１と同様の構成により実現される。そのため、以下では、同一の構成については、同じ符号を用いて説明し、第１実施形態と異なる点を中心に説明する。
【００８０】
第２実施形態に係る視点検出装置１は、視点検出処理において視点座標を求めるのみならず、得られた被写体領域画像の被写体領域における重心の位置（重心座標）をさらに求める。そして、視点座標と重心座標とを利用することで、被写体２が視点を動かすだけで入力操作を可能とする。つまり、第２実施形態に係る視点検出装置１によれば、ハンズフリーでの入力操作が可能となる。
【００８１】
まず、視点の位置（視点座標）のみならず重心の位置（重心座標）を取得する第２実施形態に係る視点検出処理を図１５のフローチャートを参照して説明する。この処理は、例えば制御装置５０の起動を条件に開始される。
【００８２】
（視点検出処理）
第２実施形態に係る視点検出処理では、ステップＳ３０５において、重心を検出する点と、前述のステップＳ２０６のように視点検出結果画像を表示装置３０に表示させない点が、第１実施形態に係る視点検出処理と異なる。 よって、以下では、ステップＳ３０５の処理について説明する。なお、ステップＳ３０１〜ステップＳ３０４は、第１実施形態に係る視点検出処理のステップＳ２０１〜ステップＳ２０４と同様であり、ステップＳ３０６は、第１実施形態に係る視点検出処理のステップＳ２０５と同様である。
【００８３】
ステップＳ３０５で、ＣＰＵ５１は、重心検出処理を実行し、ステップＳ３０４で取得した被写体検出画像上における被写体領域内の重心位置を検出する。
具体的には、ＣＰＵ５１は、ステップＳ３０４で被写体領域内と判別された全画素の座標の平均をとり、重心座標（ｉＧ，ｊＧ）を算出する。例えば、重心座標（ｉＧ，ｊＧ）は、以下の（式４）により算出される。
【数５】
【００８４】
例えば、図１２（ｂ）に示す被写体検出画像Ｅ１における被写体領域に対して、ＣＰＵ５１が（式４）を用いて算出する重心座標は、図１６に示す点Ｇの座標（ｉＧ，ｊＧ）となる。
このように、ステップＳ３０５における重心検出処理によれば、撮像部２０で撮影したフレーム画像中の被写体領域を代表する位置座標としての重心座標を取得できる。
【００８５】
続いて、ＣＰＵ５１は、第１実施形態のステップＳ２０５と同様のステップＳ３０６を実行し、視点座標（ｉＥ，ｊＥ）を検出し、取得する。
以上の処理からなる視点検出処理を、ＣＰＵ５１は、例えば制御装置５０の電源がオフされるまで繰り返し実行する。
【００８６】
次に、第２実施形態に特有の処理であるデータ選択処理を図１７等を参照して説明する。データ選択処理を実行するためのプログラムは、ＲＯＭ５２内に予め記憶されており、ＣＰＵ５１は、これを読み出し、実行する。
データ選択処理は、例えば、ユーザによる選択操作が必要な情報を制御装置５０が取得したことを条件に開始される。
【００８７】
（データ選択処理）
ＣＰＵ５１は、データ選択処理を開始すると、まず、画面を初期化し、データ選択画面を表示装置３０に表示させる（ステップＳ４０１）。このデータ選択画面のデータは、例えば、汎用メモリ５３に予め記憶されている。
データ選択画面の一例は、図１８（ａ）に示す、画面Ｈ１である。この画面Ｈ１のように、ユーザ（主に車両運転者）に対して、選択項目（ここでは、図示するように「はい」か「いいえ」）が列挙される。
また、ステップＳ４０１で、ＣＰＵ５１は、前回の視点ベクトルを初期化する。この前回の視点ベクトルは、後述するステップＳ４０７で保存されたものである。
【００８８】
続いて、ＣＰＵ５１は、タイマの時刻ｔをｔ＝０に設定し、ユーザの入力操作時間を計時するためのタイマをスタートさせる（ステップＳ４０２）。
【００８９】
続いて、ＣＰＵ５１は、次の（式５）で与えられる視点ベクトル（Δｉ，Δｊ）を取得する。
【数６】
ここでの（ｉＧ，ｊＧ）は、視点検出処理のステップＳ３０５でＣＰＵ５１が取得した重心座標であり、（ｉＥ，ｊＥ）は、同処理のステップＳ３０６でＣＰＵ５１が取得した視点座標である。
つまり、視点検出処理は、データ選択処理と並行して実行されており、ＣＰＵ５１は、データ選択処理のステップＳ４０３で、現在の重心座標（ｉＧ，ｊＧ）、視点座標（ｉＥ，ｊＥ）から上記（式５）に基づいて、重心座標に対する視点座標の位置を表す視点ベクトル（Δｉ，Δｊ）を取得する。
【００９０】
続いて、ＣＰＵ１１は、後述のステップＳ４０７で保存した前回の視点ベクトルと、先のステップＳ４０３で取得した視点ベクトルとを比較し、視点ベクトルが変化した否かについて判別する（ステップＳ４０４）。
【００９１】
視点ベクトルが変化していないと判別した場合（ステップＳ４０４；Ｎｏ）、ＣＰＵ５１は処理をステップＳ４０９に進める。例えば、前回の視点ベクトルが保存されていない場合も同様に、ＣＰＵ５１は処理をステップＳ４０９に進める。
一方、視点ベクトルが変化したと判別した場合（ステップＳ４０４；Ｙｅｓ）、ＣＰＵ５１は、視点テーブルを検索し、選択値を検知する（ステップＳ４０５）。視点テーブルは、例えば、図１８（ｂ）に示すような、テーブルＴＡ１であり、汎用メモリ５３に予め格納されている。
テーブルＴＡ１は、図示するように、視点ベクトルの要素であるΔｉ及びΔｊの各々の範囲と、項目番号（「１」または「２」）とが対応するように構成され、且つ、項目番号「１」が画像Ｈ１（図１８（ａ）参照）に示す選択項目「はい」と、項目番号「２」が画像Ｈ１に示す選択項目「いいえ」と対応するように構成されている。
項目番号「１」に対応するΔｉの範囲「１９０〜２８９」及びΔｊ「５０〜２６９」は、画像Ｈ１における選択項目「はい」の領域（図で、「はい」が矩形の枠で囲まれた領域）を囲むボックスの位置を示す座標の範囲に対応するものであり、項目番号「２」に対応するΔｉの範囲「１９０〜２８９」及びΔｊ「３７０〜５８９」は、画像Ｈ１における選択項目「いいえ」の領域（図で、「いいえ」が矩形の枠で囲まれた領域）を囲むボックスの位置を示す座標の範囲に対応するものである。ここでの座標は、例えば、画面Ｈ１において紙面左上端の点を（ｉ，ｊ）＝（０，０）と原点とした場合の座標である。
ＣＰＵ５１は、このようなテーブルＴＡ１をサーチし、変化した視点ベクトルが、例えば、（Δｉ，Δｊ）＝（２００，１００）である場合は、項目番号「１」の範囲に入るため、選択値が「はい」であると検知する。なお、図１７では示していないが、このステップＳ４０５で、選択値が検知できなかった場合は、ＣＰＵ５１は、例えば、ステップＳ４０３に処理を戻す。
【００９２】
ＣＰＵ５１は、選択値を検知すると、検知した選択値に基づいて、画面を更新する（ステップＳ４０６）。
ここでの画面更新処理は、ユーザが現在どの選択項目を選択しているかを認識させるための処理であり、例えば、ユーザが現在選択している選択項目を反転表示することによって、ユーザに現在選択している項目を報知する。
【００９３】
続いて、ＣＰＵ５１は、ステップＳ４０３で取得した視点ベクトルを、前回の視点ベクトルとして例えば汎用メモリ５３に保存する（ステップＳ４０７）。
ここで保存された視点ベクトルは、次回のステップＳ４０４で、ＣＰＵ５１５１が視点ベクトルが変化した否かを判別する際に用いられる。
【００９４】
続いて、ＣＰＵ５１は、ユーザの操作時間を計時するためのタイマをリセットし、再び時刻ｔ＝０からタイマをスタートさせる（ステップＳ４０８）。
【００９５】
続いて、ＣＰＵ５１は、計時時間の積算時間が所定の入力期間に達したか（タイムアウトしたか）否かを判別する（ステップＳ４０９）。
具体的には、前記所定の入力期間は、例えば予め汎用メモリ５３に記憶されており、この入力期間と積算時間とを比較することで、ＣＰＵ５１は、タイムアウトしたか否かを判別する。ここでの積算時間は、タイマをスタートしてからタイムアウトするまで（ステップＳ４０９でＹｅｓになるまで）の計時時間の合計である。したがって、積算時間が予め定められた入力期間に達するまでは、ＣＰＵ５１は、ステップＳ４０３〜ステップＳ４０９の処理を繰り返すことになる。
【００９６】
タイムアウトしていないと判別した場合（ステップＳ４０９；Ｎｏ）、ＣＰＵ５１は、処理をステップＳ４０３に戻す。
一方、タイムアウトしたと判別した場合（ステップＳ４０９；Ｙｅｓ）、ＣＰＵ５１は、ステップＳ４０８で選択されている選択値を、入力値として決定し、決定した選択値に応じた処理を行い（ステップＳ４１０）、データ選択処理を終了させる。
以上が、データ選択処理である。
【００９７】
（変形例）
第２実施形態におけるデータ選択処理では、データ選択画面として画面Ｈ１を、視点テーブルとしてテーブルＴＡ１を用い、ユーザが選択対象として「はい」または「いいえ」を選択する例を示したがこれに限られない。第２実施形態に係る視点検出装置１において、データ選択画面と視点テーブルとを適宜変更すれば、様々なデータ選択操作が可能となる。一例を以下に示す。
【００９８】
例えば、データ選択画像として、図２０（ａ）に示すように文字や数値を選択できるように構成された画像Ｈ２であってもよいし、図２１（ａ）に示すように一定区間中の１点を選択できるように構成された画像Ｈ３（画像Ｈ３は、ユーザからの入力操作により音量を示す図形の形状が紙面左右方向に可変するボリュームバー表示を示している）であってもよい。
【００９９】
データ選択画像として、画像Ｈ２を採用した場合には、視点テーブルとして図２０（ｂ）に示すようなテーブルＴＡ２を汎用メモリ５３に予め格納しておけばよい。
テーブルＴＡ２は、図示するように、視点ベクトルの要素であるΔｉ及びΔｊの各々の範囲と、項目番号（「１」、「２」、「３」、…）とが対応するように構成され、且つ、項目番号「１」が画像Ｈ２に示す「１」と、項目番号「２」が画像Ｈ２に示す「２」と、項目番号「３」が画像Ｈ２に示す「３」と、・・・というふうに対応するように構成されている。
テーブルＴＡ２は、テーブルＴＡ１と同様に、Δｉ及びΔｊの各範囲が、選択項目（画像Ｈ２における「１」、「＊」、「＃」等）の各々の位置を示す座標の範囲に対応するように構成されており、ＣＰＵ５１は、このようなテーブルＴＡ２をサーチし、変化した視点ベクトルが、例えば、（Δｉ，Δｊ）＝（１５０，１５０）である場合は、項目番号「１」の範囲に入るため、選択値が「１」であると検知する。
【０１００】
データ選択画像として、画像Ｈ３を採用した場合には、視点テーブルとして図２１（ｂ）に示すようなテーブルＴＡ３を汎用メモリ５３に予め格納しておけばよい。テーブルＴＡ３の構成も、テーブルＴＡ１、ＴＡ２と同様に、Δｉ及びΔｊの各範囲が、選択項目（画像Ｈ３における音量を示す図形（白抜きの長方形の紙面における右端部））の各々の位置を示す座標の範囲に対応するように構成されている。
【０１０１】
以上に説明した第２実施形態及びその変形例によれば、被写体領域の重心位置（重心座標）と視点の位置（視点座標）との相対的な位置関係を利用することで、被写体２であるユーザは、視点の位置を変えるだけで、ハンズフリーのデータ入力操作を行うことができる。この技術によれば、被写体２であるユーザが表情を変えたり、顔の向きを変えたりしても、被写体領域の重心位置の変化は、視点の位置の変化に比べて少ないため、入力結果が安定する。
【０１０２】
なお、本発明は上記第１及び第２実施形態及びそれらの変形例によって限定されるものではない。上記第１及び第２実施形態及びそれらの変形例に変更（構成要素の削除も含む）を加えることができるのはもちろんである。
【０１０３】
例えば、以上の説明では、制御装置５０（ＣＰＵ５１）が、垂直同期信号の立ち下がりを検出し、かつフィールド識別信号が奇数フィールド画像を示すときに、時刻ｔ＝０としてタイマを設定するものとしたが、制御装置５０は、垂直同期信号の立ち上りを検出し且つフィールド識別信号が奇数フィールド画像を示すときに、時刻ｔ＝０としてタイマを設定してもよい。
【０１０４】
また、以上の説明では、上記の実施形態に係る制御装置５０は、撮像部２０が奇数フィールド画像を撮像しているときに光源１０を点灯させ、撮像部２０が偶数フィールドを撮像しているときに光源１０を消灯させたがこれに限られない。撮像部２０が偶数フィールド画像を撮像しているときに光源１０を点灯させ、撮像部２０が奇数フィールドを撮像しているときに光源１０を消灯させてもよい。
【０１０５】
また、以上では、視点検出装置１が、奇数フィールド又は偶数フィールドの撮像タイミングで光源１０を点滅させ、被写体検出画像を取得ないしは、視点を検出する例を説明したがこれに限られない。
図２２（ａ）に示すような、撮像制御信号と光源制御信号とを生成する制御装置２５０と、制御装置２５０が供給した撮像制御信号（図２２（ｂ）参照）に同期して撮像する撮像部２２０と、制御装置２５０が供給した光源制御信号（図２２（ｂ）参照）に同期して点灯・消灯する光源２１０と、を少なくとも備える視点検出装置２０１が被写体検出画像を取得してもよい。この場合、光源ＯＮ時のタイミングでの撮像画像と光源ＯＦＦ時のタイミングでの撮像画像との差分をとり、これを閾値処理によって２値化することで、被写体領域画像を取得する、という手順になる。なお、図２２（ａ）では、表示装置、入力装置、平行光光学系又は開口数低減素子、偏光フィルタ等を省略した。また、光源２１０、撮像部２２０、及び制御装置２５０は、前記した光源１０、撮像部２０、及び制御装置５０とほぼ同一の構成からなる。
【０１０６】
また、光源制御処理、視点検出処理、データ選択処理を制御装置５０が実行するためのプログラムは、ＲＯＭ５２に予め記憶されているものとして説明したが、このような動作プラグラム及び各種データは、視点検出装置１に含まれるコンピュータに対して、着脱自在の記録媒体により配布・提供されてもよい。さらに、動作プログラム及び各種データは、電気通信ネットワーク等を介して接続された他の機器からダウンロードすることによって配布されるようにしてもよい。
【０１０７】
そして、各処理の実行形態も、着脱自在の記録媒体を装着することにより実行するものだけではなく、電気通信ネットワーク等を介してダウンロードした動作プログラム及び各種データを内蔵の記憶装置に一旦格納することにより実行可能としてもよいし、電気通信ネットワーク等を介して接続された他の機器側のハードウェア資源を用いて直接実行してもよい。さらには、他の機器と電気通信ネットワーク等を介して各種データの交換を行うことにより各処理を実行してもよい。
【０１０８】
以上の説明では、本発明の理解を容易にするために、重要でない公知の技術的事項の説明を適宜省略した。
【符号の説明】
【０１０９】
１…視点検出装置
１００，２００…光照射部
１０…光源
１１…平行光光学系
２１１…開口数低減素子
１２，２２…偏光フィルタ
２０…撮像部
３０…表示装置
４０…入力装置
５０…制御装置
５１…ＣＰＵ
５２…ＲＯＭ
５３…汎用メモリ
５４…ビデオメモリ
５５…同期分離回路
５６…フィールド識別回路
５７…外部デバイスＩ／Ｆ
６０，２６０…撮像装置
２…被写体
３…背景
【技術分野】
【０００１】
本発明は、視点検出のために用いられる撮像装置及びこれを備える視点検出装置に関する。
【背景技術】
【０００２】
撮像部が撮像した被写体の画像から、人物の視点を検出する技術が知られている。例えば、特許文献１には、撮像部で撮像した画像に対して、予め用意したテンプレートと相関演算を行うことで、被写体であるユーザの目の領域を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０６−２５５３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術では、撮像時の照明環境等が原因で、鮮明な画像を得ることができない場合があった。この場合、テンプレートマッチングによる視点検出に失敗する蓋然性が高まる。つまり、特許文献１に開示された技術は、必ずしも検出精度が良好なものとは言えなかった。
【０００５】
本発明は上記実状に鑑みてなされたものであり、視点を良好な精度で検出するための画像を取得できる撮像装置及びこれを備える視点検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係る撮像装置は、
視点検出のために用いられる撮像装置であって、
人物である被写体を撮像し、撮像画像を取得する撮像部と、
前記被写体に向けて光を射出する光源と、
前記光源の光の射出側に配置され、前記光源からの光を平行光として前記被写体に射出する平行光束光学系と、を備え、
前記撮像部の撮像光軸と前記平行光の射出方向とが実質的に平行である、
ことを特徴とする。
【０００７】
上記目的を達成するため、本発明の第２の観点に係る撮像装置は、
視点検出のために用いられる撮像装置であって、
人物である被写体を撮像し、撮像画像を取得する撮像部と、
前記被写体に向けて光を射出する光源と、
前記光源の光の射出側に配置され、前記光源からの光を通過させ、通過前の光よりも開口数を低減させた光を前記被写体に射出する開口数低減素子と、を備え、
前記撮像部の撮像光軸と前記開口数低減素子から射出された光の中心軸とが実質的に平行である、
ことを特徴とする。
【０００８】
上記目的を達成するため、本発明の第３の観点に係る視点検出装置は、
上記第１又は第２の観点に係る撮像装置と、
前記撮像部が取得した撮像画像に基づき、この撮像画像に写った被写体像における視点の位置を検出する制御部と、を備える、
ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、視点を良好な精度で検出するための画像を取得できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る視点検出装置の概略構成を示すブロック図である。
【図２】制御装置の構成を説明するためのブロック図である。
【図３】（ａ）は、光照射部と撮像部との配置関係を説明するための図である。（ｂ）は、光照射部からの光がブリュースター角で被写体の眼に入射する場合を示した図である。
【図４】被写体の像がフレーム画像として結像される過程を説明するための図である。
【図５】（ａ）〜（ｃ）は、光源制御処理における光源制御信号の送信タイミングを説明するためのタイミングチャートである。
【図６】光源制御処理のフローチャートである。
【図７】視点検出処理のフローチャートである。
【図８】視点検出処理において制御装置が取得するフレーム画像の一例を示した図である。
【図９】（ａ）は、奇数フィールド画像の一例を示した図であり、（ｂ）は、偶数フィールド画像の一例を示した図である。
【図１０】（ａ）は、補間奇数フレーム画像の一例を示した図であり、（ｂ）は、補間偶数フレーム画像の一例を示した図である。
【図１１】被写体検出画像の一例を示した図である。
【図１２】（ａ）、（ｂ）は、ある人物を被写体として、視点検出処理を実行した場合に、どのような被写体検出画像が得られるかを説明するための図である。
【図１３】視点検出処理におけるテンプレートマッチングを説明するための概念図である。
【図１４】表示装置に表示される視点検出結果画像の一例である。
【図１５】本発明の第２実施形態に係る視点検出処理のフローチャートである。
【図１６】第２実施形態に係る視点検出処理における重心検出処理を説明するための図である。
【図１７】第２実施形態に係るデータ選択処理のフローチャートである。
【図１８】（ａ）は、データ選択画面の一例を示す図である。（ｂ）は、視点テーブルの一例を示す図である。
【図１９】第１実施形態の変形例に係る撮像装置を説明するための図である。
【図２０】（ａ）及び（ｂ）は、第２実施形態の変形例を示す図であり、（ａ）は、データ選択画面の変形例を示す図である。（ｂ）は、視点テーブルの変形例を示す図である。
【図２１】（ａ）及び（ｂ）は、第２実施形態の変形例を示す図であり、（ａ）は、データ選択画面の変形例を示す図である。（ｂ）は、視点テーブルの変形例を示す図である。
【図２２】（ａ）は、変形例に係る視点検出装置を説明するためのブロック図である。（ｂ）は、光源制御信号と撮像制御信号の送信タイミングを説明するためのタイミングチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態を図面を参照して詳細に説明する。
【００１２】
１．第１実施形態
第１実施形態に係る視点検出装置は、図１に示す視点検出装置１である。
視点検出装置１は、車両に搭載されるものであり、図１に示すように、表示装置３０と、入力装置４０と、制御装置５０と、撮像装置６０と、を備える。
撮像装置６０は、光源１０及び平行光束光学系１１から構成される光照射部１００と、撮像部２０と、偏光フィルタ１２及び２２と、を備える。
【００１３】
視点検出装置１は、制御装置５０の制御の下、撮像部２０に人物（本実施形態では、車両の運転者）である被写体２（図２参照）を撮像させると共に、予め設定された点灯時間で光源１０を点灯させる。そして、後述の視点検出処理を実行することで、撮像画像における被写体２が写っている領域（以下、「被写体領域」と言う。）を検出し、被写体２の視点を検出する。
【００１４】
光照射部１００は、図１に示すように、被写体２に平行光を照射するものであり、前記のように光源１０及び平行光束光学系１１から構成される。
【００１５】
光源１０は、被写体２に向けて光を射出するものであり、例えば、赤外線ＬＥＤ（Light Emitting Diode）から構成される。光源１０は、制御装置５０から出力される光源制御信号に基づいて点灯・消灯する。
【００１６】
平行光束光学系１１は、光源１０が射出した光を平行光にする光学系であり、光源１０の前方（光の射出側）に配置されている。平行光束光学系１１は、例えば、コリメートレンズであり、その焦点に光源１０の射出点が位置するように配置されている。
つまり、平行光束光学系１１は、光源１０からの光を平行光として被写体２に射出する。
【００１７】
撮像部２０は、被写体２を撮像するものであり、例えば、複数のレンズと、電子シャッター機能を有するＣＣＤ（Charged Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子とを含むビデオカメラである。
撮像部２０は、シャッターが開いているときにレンズを用いて固体撮像素子の受光面に被写体２の像を結像させ、結像させた像の光の強弱を電気信号に変換し、その電気信号に基づいた映像信号を含むビデオ信号を、制御装置５０に出力する。
【００１８】
光照射部１００と撮像部２０とは、図３（ａ）に示すように、被写体２の顔（具体的には、座席に座った運転者の顔）を被写体２である運転者から見て正面上方から狙う位置（例えば、ルームミラー近傍の位置）に配置されている。また、光照射部１００と撮像部２０とは、互いに隣り合うように配置され、且つ、光照射部１００が有するレンズの光軸１００ａと撮像部２０が有するレンズ光軸（撮像光軸）２０ａとが略平行（丁度、平行も含む）となるように配置されている。
つまり、撮像装置６０においては、撮像部２０の撮像光軸２０ａと平行光束光学系１１からの平行光の射出方向とが実質的に平行である。
【００１９】
ここで、図３（ａ）を参照して、撮像装置６０において、上記のように光照射部１００（ないしは光源１０）と撮像部２０とを配置した理由を説明する。
【００２０】
被写体２を狙って設けられた光照射部１００が射出した光は、被写体２の顔に到達し、その大部分の光は肌２ｂ（つまり、皮膚の表面）で拡散反射し、残りの光は、被写体２の眼２ａにおいて、眼球表面の涙等による水分の膜において、一部が鏡面反射する。
光照射部１００からの光Ｌ１は平行光であるため、ほぼ一様な入射角をもって斜め上方から眼２ａの界面に入射する。入射した光Ｌ１の一部は、眼２ａで鏡面反射し、斜め下方に向かう反射光Ｒ１となる。このため、反射光Ｒ１は、撮像部２０にほとんど到達しない。一方、肌２ｂに到達する光源からの光Ｌ２は、肌２ｂで拡散反射するため、反射光の一部の光Ｒ２は、撮像部２０へと向かう光となる。
このように被写体２の像を表す光は撮像部２０に到達するため、得られる撮像画像においては、眼２ａに対応する領域のほうが肌２ｂに対応する領域よりも暗くなる。眼２ａの領域のコントラストが強調された撮像画像が得られれば、結果として、被写体検出装置１の検出対象である視点の位置を精度良く検出できる。また、光照射部１００（ないしは光源１０）と撮像部２０とを被写体２の正面上方に配置すれば、光照射部１００からの光の被写体２への入射角と、フロントガラスやサイドガラスを透過して車内に入り込む正面及び側面からの外光の被写体２への入射角とをずらすことができるため、撮像における外光の影響を低減することもできる。
このような理由により、本願発明者は、撮像装置６０において、光照射部１００と撮像部２０とを上記のように配置した。
【００２１】
偏光フィルタ１２及び２２は、それぞれ、到達した光のうちｐ偏光成分の光（ｐ偏光）のみを通過させるｐ偏光板から構成されている。これらは、眼２ａでの反射の影響及び外光の影響を低減するために設けられる。
【００２２】
偏光フィルタ１２は、光照射部１００の前方（射出方向）に配置されている。このため、偏光フィルタ１２を通過した光照射部１００からの光は、ｐ偏光として、被写体２を照射する。
ｐ偏光の反射率は、どの入射角でもｓ偏光成分の光（ｓ偏光）の反射率以下であるため、このように偏光フィルタ１２を設けることにより、眼２ａでの反射光Ｒ１をさらに低減することができる。
【００２３】
ここで、上記の通り、光照射部１００は、被写体２を前方斜め上から狙う位置に配置されているが、理想的には、図３（ｂ）に示すように、光照射部１００は、射出した光が運転者が正面を向いているときの眼２ａの界面に、ブリュースター角θＢで入射するように配置されるのがよい。このようにすれば、理論上は、ｐ偏光として眼２ａに到達する光の反射率を０（ゼロ）に近づけることができ、撮像画像における眼２ａ領域と肌２ｂ領域とのコントラストをさらに稼ぐことができる。但し、実際には、眼球は曲面であることや、運転者の体格、座席の位置等の諸条件により、眼２ａでのｐ偏光の反射率を０とすることは不可能である。
よって、前記諸条件を考慮して、なるだけ、光照射部１００からの光がブリュースター角θＢに近い角度で眼２ａに入射するように光照射部１００の位置を調整すればよい。光照射部１００は、平行光を照射するため、入射角を踏まえて調整しやすい。
【００２４】
なお、入射側の屈折率をｎ１、透過側の屈折率をｎ２とすれば、ブリュースター角θＢは、以下のように表せる。
【数１】
【００２５】
ここで、入射側の屈折率ｎ１を空気の屈折率１とし、透過側の屈折率ｎ２を眼球表面が水の膜（涙）で覆われているとして、簡単に、水の屈折率１．３３とすれば、上記（数１）式より、ブリュースター角θＢは、約５３度となる。
この場合、被写体２が正面を向いた場合の視線Ｖ（図３（ｂ）参照）から約５３度上方の位置に光照射部１００を配置すればよい。撮像部２０も視線Ｖから同様な角度をもって配置すればよい。例えば、このようにして、光照射部１００（ないしは光源１０）と撮像部２０とは、各々の光軸である光軸１００ａと光軸（撮像光軸）２０ａとが略平行となるように配置される。
【００２６】
偏光フィルタ２２は、撮像部２０の前方（撮像対象である被写体方向）に配置されている。このため、撮像部２０に到達した光は、ｐ偏光として、固体撮像素子の受光面に到達する。
上記のように、ｐ偏光の反射率は、どの入射角でもｓ偏光の反射率以下である。したがって、反射光はｓ偏光の成分の光の割合が多くなる。そのため、このように偏光フィルタ２２を配置することで、被写体２で反射した光（特に、眼２ａで反射した光）のうち強く反射するｓ偏光の光を遮断することができる。
【００２７】
なお、偏光フィルタ１２及び２２は、眼２ａに比べて明るく撮像したい肌２ｂにおける反射光も低減してしまうが、撮像画像に与える影響としては、眼２ａでの反射光が与える影響のほうが大きい。そのため、偏光フィルタ１２及び２２を設けることにより、眼２ａの領域が強調された撮像画像を得ることができる。
【００２８】
以上のように、本実施形態では、平行光を照射する光照射部１００、光照射部１００及び撮像部２０の配設位置、及び、ｓ偏光を遮断する偏光フィルタ１２及び２２により、眼２ａでの反射光を効果的に抑制している。
本願発明者は、被写体２の眼２ａで光の反射特性（到達した光の一部が鏡面反射する）と、肌２ｂでの光の反射特性（到達した光が拡散反射する）との違いに着目し、これらの特性を利用して、撮像装置６０を構成すれば、以上に説明した理由により、眼２ａの領域のコントラストが強調された撮像画像を得られ、結果として、視点検出装置１の検出対象である視点の位置を良好な精度で検出することができることを見出した。
【００２９】
ここからは、撮像部２０の固体撮像素子の受光面に、被写体２の像が、図４に示すような例えば２Ｍ行Ｎ列の画素から成るフレーム画像Ａとして結像される過程（撮像部２０が撮像画像を取得するまでの過程）を説明する。
この場合、固体撮像素子を構成するマトリックス状に配置されたフォトダイオード（前記の各画素に１対１で対応するように配置されている。）は、シャッターが開いているときに受光した光量に応じた電荷を生成する。そして、撮像部２０は、シャッターが閉じた後に、同期信号発生回路（図示せず）により出力される垂直同期信号及び水平同期信号に同期して、各ラインのフォトダイオードの電荷を電気信号として読み取る。
【００３０】
ここで、ラインを上から順に数えたときの番号をライン番号と言う（つまり、２Ｍ行Ｎ列のフレーム画像において、ライン番号１は１行目を示し、ライン番号２Ｍは２Ｍ行目を示す）。
そして、奇数番号のラインから構成されるライン群を「奇数フィールド」といい、偶数番号のラインから構成されるライン群を「偶数フィールド」と言う。また、あるフレーム画像において、奇数フィールドに対応する画像を「奇数フィールド画像」といい、偶数フィールドに対応する画像を「偶数フィールド画像」と言う。
つまり、フレーム画像は、奇数フィールド画像と偶数フィールド画像とで構成されており、フレーム画像において、奇数フィールド画像に係るラインと偶数フィールド画像に係るラインとは各々隣り合う。
【００３１】
撮像部２０は、１つのフレーム画像Ａの撮像において、奇数フィールドの撮像と偶数フィールドの撮像とを行う。撮像部２０は、各撮像において、シャッターを開閉し、受光素子に電荷を蓄積する。
撮像部２０は、フォトダイオードの電荷を読み取る際に、奇数フィールド画像の撮像では、奇数フィールドの各電荷を読み取り、偶数フィールド画像の撮像では、偶数フィールドの各電荷を読み取る。撮像部２０は、このような読み取りを、水平同期信号に同期して行う。
【００３２】
具体的には、撮像部２０は、以下の手順で電荷の読み取りを行う。
１）垂直同期信号に同期して、フレーム画像Ａにおけるライン番号が奇数のラインの電荷の読み取りを開始し、全ての奇数ラインの電荷を読み取る。すなわち、撮像部２０は、ライン番号１，３，…，２Ｍ−１の順で水平同期信号に同期して各ラインの電荷を読み取る。このようにして、撮像部２０は、奇数フィールドの電荷を読み取ることになる。
２）次の垂直同期信号に同期して、フレーム画像Ａにおけるライン番号が偶数のラインの電荷の読み取りを開始し、全ての偶数ラインの電荷を読み取る。すなわち、撮像部２０は、ライン番号２，４，…，２Ｍの順で水平同期信号に同期して各ラインの電荷を読み取る。このようにして、撮像部２０は、偶数フィールドの電荷を読み取ることになる。
つまり、撮像部２０は、被写体２の撮像を偶数フィールドと奇数フィールドの撮像に分けて行う。
【００３３】
このような１つのフレームを構成する奇数フィールドと偶数フィールドを表す電荷の読み取りは、それぞれ、例えば１／６０秒の間隔で行われる。つまり、１つのフレーム当たりの電荷の読み取りは、１／３０秒間隔で行われる。よって、撮像部２０は、１秒当たり３０フレームの画像を撮影することになる。
そして、撮像部２０は、読み取った電荷が表す電気信号である映像信号と、垂直同期信号と、水平同期信号とを重畳した信号を、ビデオ信号として制御装置５０に出力する。
【００３４】
図１及び図２に戻って、表示装置３０は、制御装置５０の制御の下、後述の出力画像データが表す画像（例えば、後述の被写体検出結果画像Ｆ）を表示する。表示装置３０は、例えばＬＣＤ（Liquid Crystal Display）から構成される。
【００３５】
入力装置４０は、ユーザの所定の入力操作を受け付けるものであり、例えばユーザの数値入力や上下左右の方向指示を受け付けるキーボード、マウス、タッチパネル等から構成される。入力装置４０が受け付けた入力操作を示すデータは、制御装置５０に出力される。
【００３６】
制御装置５０は、例えばマイクロコンピュータから構成され、図２に示すように、ＣＰＵ（Central Processing Unit）５１と、ＲＯＭ（Read-Only Memory)５２と、汎用メモリ５３と、ビデオメモリ５４と、同期分離回路５５と、フィールド識別回路５６と、外部デバイスインターフェイス（Ｉ／Ｆ）５７と、を備える。
【００３７】
ＣＰＵ５１は、ＲＯＭ５２内に予め記憶された、後述する光源制御処理、視点検出処理等を実行するための所定プログラムを読み出し、実行する。そして、ＣＰＵ５１は、撮像部２０から取得したビデオ信号、処理後の演算結果、画像データ等を汎用メモリ５３に一時的に記憶させる。
また、ＣＰＵ５１は、汎用メモリ５３に記憶された出力画像データをビデオメモリ５４に転送し、転送した出力画像データに基づき表示装置３０に出力画像データが表す画像を表示させる。
また、ＣＰＵ５１は、計時可能なタイマ（図示せず）を内蔵し、適宜、計時を行う。
【００３８】
ＲＯＭ５２には、前記所定プログラムの他、光源制御処理において参照される光源１０の点灯時間を規定するためのＴＯＦＦ及びＴＯＮ（図５（ｃ）参照）の値を示すデータが記憶されている（ＴＯＦＦ及びＴＯＮについては後述する）。また、汎用メモリ５３には、視点検出処理におけるテンプレートマッチングで用いられるテンプレートＴＥを示すデータが予め記憶されている。
【００３９】
同期分離回路５５は、撮像部２０からのビデオ信号を、映像信号と垂直同期信号（図５（ａ）参照）と水平信号とに分離する回路である。
【００４０】
フィールド識別回路５６は、同期分離回路５５により分離された、垂直同期信号及び水平同期信号から、ビデオ信号に含まれる映像信号が奇数フィールド画像と偶数フィールド画像の何れであるかを示すフィールド識別信号を生成する。
フィールド識別信号は、一例として、図５（ｂ）に示すように構成され、このようなフィールド識別信号に基づいて、ＣＰＵ５１は、撮像部２０から取得した映像信号が、奇数フィールド画像を示すものであるか、偶数フィールド画像を示すものであるかを判別することができる。
【００４１】
外部デバイスＩ／Ｆ５７は、光源１０、撮像部２０、表示装置３０、入力装置４０の各々と、制御装置５０の各部とを導通接続する。
【００４２】
次に、所望のタイミングで、予め設定された点灯時間の間、光源１０を点灯させるための光源制御処理を、図６等を参照して説明する。
光源制御処理は、制御装置５０のＣＰＵ５１により実行され、例えば制御装置５０の起動を条件に開始される。
【００４３】
（光源制御処理）
ＣＰＵ５１は、光源制御処理を開始すると、まず、ステップＳ１０１で、垂直同期信号の立ち下がり（図５（ａ）参照）を検出した否かを判別する。この垂直同期信号は、前述のように、撮像部２０からのビデオ信号を、映像信号と垂直同期信号と水平信号とに分離する同期分離回路５５から出力される。
【００４４】
ＣＰＵ５１は、垂直同期信号の立ち下がりを検出していないと判別した場合（ステップＳ１０１；Ｎｏ）、ステップＳ１０４に処理を進める。
一方、ＣＰＵ５１は、垂直同期信号の立ち下がりを検出したと判別した場合（ステップＳ１０１；Ｙｅｓ）、ステップＳ１０２に処理を進める。
【００４５】
ステップＳ１０２で、ＣＰＵ５１は、フィールド識別回路５６から取得したフィールド識別信号（図５（ｂ）参照）が、奇数フィールド画像を示しているか否かを判別する。具体的には、ＣＰＵ５１は、フィールド識別信号の立ち上がりを検出した場合に、フィールド識別信号が奇数フィールド画像を示していると判別する。
【００４６】
フィールド識別信号が奇数フィールド画像を示していない（つまり、偶数フィールド画像を示している）と判別した場合（ステップＳ１０２；Ｎｏ）、ＣＰＵ５１は、ステップＳ１０１に処理を戻す。一方、フィールド識別信号が奇数フィールド画像を示していると判別した場合（ステップＳ１０２；Ｙｅｓ）、ＣＰＵ５１は、ステップＳ１０３に処理を進める。
【００４７】
ステップＳ１０３で、ＣＰＵ５１は、タイマの時刻ｔをｔ＝０に設定し、計時を開始する。
【００４８】
続いて、ステップＳ１０４で、ＣＰＵ５１は、タイマの時刻ｔがＴＯＮ≦ｔ≦ＴＯＦＦを満たすか否かを判別する。
ここで、ＴＯＮ及びＴＯＦＦは、撮像部２０の固体撮像素子を構成するフォトダイオードのうち、奇数フィールドのフォトダイオードが受光している光量に応じた電荷の蓄積開始時刻及び終了時刻に対応する。なお、ＴＯＮとＴＯＦＦは、予めＲＯＭ５２にデフォルト値として記憶されているか、ユーザにより入力装置４０を介して設定され記憶される。
【００４９】
タイマの時刻ｔがＴＯＮ≦ｔ≦ＴＯＦＦを満たすと判別した場合（ステップＳ１０４；Ｙｅｓ）、ＣＰＵ５１は、点灯を示す光源制御信号（図５（ｃ）参照）を光源１０に出力する（ステップＳ１０５）。そして、処理をステップＳ１０１に戻す。
一方、時刻ｔがＴＯＮ≦ｔ≦ＴＯＦＦを満たさないと判別した場合（ステップＳ１０４；Ｎｏ）、ＣＰＵ５１は、消灯を示す光源制御信号を光源１０に出力する（ステップＳ１０６）。そして、処理をステップＳ１０１に戻す。
【００５０】
以上の処理からなる光源制御処理を、ＣＰＵ５１は、例えば、制御装置５０の電源がオフされるまで繰り返す。本処理により、撮像部２０が奇数フィールド画像を撮像しているタイミングで光源１０を点灯させ、偶数フィールド画像を撮像しているタイミングで光源１０を消灯させることができる。
【００５１】
次に、制御装置５０のＣＰＵ５１が実行する視点検出処理を、図７等を参照して説明する。この処理は、例えば制御装置５０の起動を条件に開始される。
【００５２】
（視点検出処理）
ＣＰＵ５１は、視点検出処理を開始すると、まず、ステップＳ２０１で、撮像部２０が出力するビデオ信号から、垂直同期信号に基づいて１フレーム分の画像データ（１つの撮像画像を表すデータ）を取得する。
具体的には、ＣＰＵ５１は、垂直同期信号に同期して、撮像部２０から出力されたビデオ信号から、１つの奇数フィールド画像を示す映像信号と１つの偶数フィールド画像を示す映像信号とにより構成される１フレーム分の映像信号を取得する。
【００５３】
例えば、撮像部２０が、被写体２（図２参照）を撮像した場合、ＣＰＵ５１が取得するフレーム画像は、図８に示すようなフレーム画像Ｂ（撮像画像の一例）である。
フレーム画像Ｂでは、奇数フィールド画像における被写体２の像は明るく、偶数フィールド画像における被写体２の像は暗く撮像される。これは、撮像部２０の撮像中において、ＣＰＵ５１が前述の光源制御処理を実行することで、撮像部２０が奇数フィールド画像を撮像しているタイミングで光源１０を点灯させ、偶数フィールド画像を撮像しているタイミングで光源１０を消灯させているためである。
一方、背景３（図２参照）は、光源１０から十分離れており、光源１０の影響をほとんど受けないため、フレーム画像Ｂにおける背景３の像の明るさは、奇数フィールド画像と偶数フィールド画像とで、光源１０の照光に起因しては変化しない。
【００５４】
続いて、ステップＳ２０２で、ＣＰＵ５１は、ステップＳ２０１で取得したフレーム画像を奇数フィールド画像と偶数フィールド画像とに分け、各々を取得する。
具体的には、例えばフレーム画像Ｂ（図８参照）を取得した場合、ＣＰＵ５１は、図９（ａ）に示す奇数フィールド画像Ｃ１と、図９（ｂ）に示す偶数フィールド画像Ｃ２と、を取得する。なお、奇数フィールド画像Ｃ１と偶数フィールド画像Ｃ２の各々を構成するライン数は、フレーム画像Ｂを構成するライン数の半分となっている。
【００５５】
続いて、ステップＳ２０３で、ＣＰＵ５１は、ステップＳ２０２で取得した奇数フィールド画像と偶数フィールド画像から、補間奇数フレーム画像と補間偶数フレーム画像を生成し、取得する（ステップＳ２０３）。
【００５６】
ここで、補間奇数フレーム画像とは、奇数フィールド画像を構成する各ラインの間に新たにラインを補間したフレーム画像であり、補間偶数フレーム画像とは、偶数フィールド画像を構成する各ラインの間に新たにラインを補間したフレーム画像である。
具体的には、ＣＰＵ５１は、奇数フィールド画像Ｃ１と偶数フィールド画像Ｃ２について各々がフレーム画像Ｂと同じライン数となるように各ラインの間に新たにラインを補間することで、奇数フィールド画像Ｃ１からは図１０（ａ）に示すような補間奇数フレーム画像Ｄ１を生成し、偶数フィールド画像Ｃ２からは図１０（ｂ）に示すような補間偶数フレーム画像Ｄ２を生成し、各々を取得する。
【００５７】
一例として、補間奇数フレーム画像Ｄ１は、奇数フィールド画像Ｃ１の各ラインの間に、輝度値として上下の画素の輝度値の平均値を有するラインを補間することで生成される。同様に、補間偶数フレーム画像Ｄ２は、偶数フィールド画像Ｃ２の各ラインの間に、輝度値として上下の画素の輝度値の平均値を有するラインを補間することで生成される。
例えば、フレーム画像Ｂが、２Ｍ行Ｎ列の画像数を有し、ｉ行ｊ列目の画素の輝度値がＩｉ，ｊで表される場合、フレーム画像Ｂを取得した制御装置５０は、以下の（式１）に示す輝度値ＩＯｉ，ｊを有する補間奇数フレーム画像Ｄ１と、以下の（式２）に示す輝度値ＩＥｉ，ｊを有する補間フレーム画像Ｄ２と、を生成し、取得する。なお、Ｉｍｉｎは、フレーム画像Ｂの輝度値Ｉの最小値を表す。
【００５８】
【数２】
【００５９】
図７に戻って、補間奇数フレーム画像と補間偶数フレーム画像とを取得すると、ステップＳ２０４で、ＣＰＵ５１は、補間奇数フレーム画像と補間偶数フレーム画像との比較に基づいて、被写体領域を示す被写体検出画像を取得する。
【００６０】
例えば、ＣＰＵ５１は、補間奇数フレーム画像Ｄ１（図１０（ａ）参照）と、補間偶数フレーム画像Ｄ２（図１０（ｂ）参照）とについて、対応する位置にある画素の輝度値を比較し、その画素の輝度値の差が所定値θよりも大きい場合に、その位置にある画素は被写体領域内の画素であると判別する。
そして、ＣＰＵ５１は、この判別処理を補間奇数フレーム画像Ｄ１及び補間偶数フレーム画像Ｄ２の全域に対して行い、被写体領域内の画素であると判別した画素についてはフレーム画像Ｂの輝度値の最小値Ｉｍｉｎを輝度値とし、それ以外の画素についてはフレーム画像Ｂの輝度値の最大値Ｉｍａｘを輝度値として有する被写体検出画像Ｅ（図１１参照）を取得する。
このような被写体検出画像Ｅの輝度値ＩＤｉ，ｊは以下の（式３）のように表すことができる。
【００６１】
【数３】
【００６２】
ここで、本処理において取得できる被写体検出画像のより具体的な例を示せば、車両に乗車した人物を撮像部２０で撮像し、図１２（ａ）に示すようなフレーム画像Ｂ１（撮像画像の一例）が得られた場合、ＣＰＵ５１が取得する被写体検出画像は、図１２（ｂ）に示すような被写体検出画像Ｅ１となる。
このように、本処理によれば、被写体領域（被写体２である人物の領域）を表す被写体検出画像を取得することができる。
本実施形態に係る視点検出装置１では、上記のように、光照射部１００、撮像部２０、及び偏光フィルタ１２，２２が配置されているため、拡散反射する肌２ｂに対応する領域が明るく、到達した光の一部が鏡面反射する眼２ａに対応する領域が暗い撮像画像、つまり、図１２（ａ）に示すような、眼２ａの領域のコントラストが強調されたフレーム画像Ｂ１が得られる。
なお、ここで得られるフレーム画像Ｂ１も、厳密には、図８に示すフレーム画像Ｂのように、奇数フィールド画像における被写体２の像は明るく、偶数フィールド画像における被写体２の像は暗く撮像されるものとなるが、実際に画像を視認する際には、フレーム画像を構成する各ラインは微細なものであるため、概観としては、図１２（ａ）に示すようになる。
図１２（ａ）では、眼２ａの領域のコントラストが強調された撮像画像が得られる、という本実施形態に特有の効果の理解を容易にするためフレーム画像Ｂ１をこのように表した。
【００６３】
続いて、ステップＳ２０５で、ＣＰＵ５１は、ステップＳ２０４で得た被写体検出画像上の被写体領域に対して、周知の画像処理技術であるテンプレートマッチングを実行することで、視点座標を検出する（視点を検出する）。ＣＰＵ５１は、汎用メモリ５３に記憶されているテンプレートＴＥを読み出し、このテンプレートＴＥに最も近い領域を画像中でサーチすることによって、視点座標を検出する。
具体的には、ＣＰＵ５１は、以下の（数４）式で与えられる座標（ｉ，ｊ）における絶対値差分ＳＡＤｉｊを算出し、それが最小となる座標をサーチし（図１３に概念的に示した）、最小となる座標を視点座標（ｉＥ，ｊＥ）として検出する。なお、Ｔｍｎは、Ｂ行Ｂ列サイズのテンプレートＴＥにおけるｍ行ｎ列目の画素値である。
【数４】
【００６４】
続いて、ステップＳ２０６で、ＣＰＵ５１は、ステップＳ２０１で撮像部２０から取得したフレーム画像に、図１４に示すように、取得した視点座標（つまり、ＣＰＵ５１が検出した視点の位置）を示す指標Ｉｎを描画した視点検出結果画像Ｆを表示装置３０に表示させる。
なお、取得した視点座標を示す指標Ｉｎは、図示する十字印の指標に限られない。ユーザが視点の位置を認識できるものであれば、指標Ｉｎの形状は任意であり、点や丸印等であってもよい。また、図１４に示す例では、被写体の人物の両目の中心を視点としているが、これに限られず、左右一方の目の位置を視点としてもよいし、左右双方の位置を各々求めて、その各々を視点としてもよい。視点をどのようにするかは、目的に応じて適宜変更できる。
【００６５】
以上の処理からなる視点検出処理を、ＣＰＵ５１は、例えば制御装置５０の電源がオフされるまで繰り返し実行する。
【００６６】
（変形例）
以上の実施形態では、被写体２に光を照射する光照射部を平行光を照射する光照射部１００としたが、これに限られない。変形例として、図１９に示すように、光源１０と開口数低減素子２１１とから構成される光照射部２００であってもよい。
【００６７】
開口数低減素子２１１は、光源１０の光の射出側に配置され、光源１０が射出した光の中心軸近傍の光のみを通過させるものである。開口数低減素子２１１は、光源１０からの光を通過させ、通過前の光よりも開口数を低減させた光を被写体２に射出する。
開口数低減素子２１１は、ルーバー、ピンホール板、等から構成される。
ルーバーは、板状の部材（板材）であり、特定の入射角よりも大きい角度で入射した光を吸収する遮光層と、前記特定の入射角以下の角度で入射した光を透過させる透過層を前記板材の面内方向に交互に積層して構成されるものである。この積層ピッチを変えれば、任意に開口数を低減できる。
ピンホール板は、開口孔が形成された板状の部材であり、例えば、開口の中心が光源１０の射出する光の中心軸と一致するように配置される。開口径を変えれば、任意に開口数を低減できる。
【００６８】
光照射部２００と撮像部２０とは、互いに隣り合うように配置され、且つ、光照射部２００が射出する光の中心軸（光束の中心に位置する光の光軸）と撮像部２０の光軸（撮像光軸）２０ａとが略平行（丁度、平行も含む）となるように配置されている。
つまり、変形例に係る撮像装置２６０においては、撮像部２０の撮像光軸２０ａと開口数低減素子２１１から射出された光の中心軸とが実質的に平行である。
【００６９】
このような開口数低減素子２１１を有する光照射部２００によれば、光源１０からの光の開口数を低減することで、被写体２に入射する光の入射角をある程度は制御できるため、眼２ａの領域のコントラストが強調された撮像画像が得られ、結果として、被写体検出装置１の検出対象である視点の位置を精度良く検出できる。
【００７０】
また、以上の実施形態では、視点検出装置１が偏光フィルタ１２及び偏光フィルタ２２を備えるものとしたが、これに限られない。
偏光フィルタ１２又は偏光フィルタ２２のいずれか一方のみ設けても、特に、眼２ａでの反射光を効果的に低減することができる。また、偏光フィルタ１２及び２２を設けず、光照射部１００（又は光照射部２００）と撮像部２０との配置関係のみによっても眼２ａでの反射光を低減することができる。つまり、偏光フィルタ１２及び／又は偏光フィルタ２２は、あったほうがより好ましいが、設けられていなくともよい。
【００７１】
また、以上では、光源１０と撮像部２０とを、被写体２である運転者の正面上方から狙う位置に配置したが、正面下方から狙う位置に配置してもよい。この場合においても、なるだけ、光照射部１００又は２００からの光がブリュースター角θＢに近い角度で眼２ａに入射するように光照射部１００又は２００の位置を調整すればよい。
【００７２】
また、偏光フィルタ１２は、平行光束光学系１１又は開口数低減素子２１１よりも、光源１０側に配置されていてもよい。
【００７３】
以上のように、第１実施形態に係る撮像装置６０は、視点検出のために用いられる撮像装置であって、人物である被写体２を撮像し、撮像画像を取得する撮像部２０と、被写体２に向けて光を射出する光源１０と、光源１０の光の射出側に配置され、光源１０からの光を平行光として被写体２に射出する平行光束光学系１１と、を備え、撮像部２０の撮像光軸２０ａと前記平行光の射出方向とが実質的に平行である。
この撮像装置６０によれば、被写体２に射出する光を平行光にでき、被写体２の特に眼２ａへの光の入射角を容易に調整できるため、眼２ａでの反射光を低減することができる。眼２ａでの反射光を低減することができれば、眼２ａの領域のコントラストが強調された撮像画像が得られるため、結果として、被写体検出装置１の検出対象である視点の位置を精度良く検出できる。つまり、撮像装置６０によれば、視点を良好な精度で検出するための画像を取得できる。
【００７４】
第１実施形態の変形例に係る撮像装置２６０は、視点検出のために用いられる撮像装置であって、人物である被写体２を撮像し、撮像画像を取得する撮像部２０と、被写体２に向けて光を射出する光源１０と、光源１０の光の射出側に配置され、光源１０からの光を通過させ、通過前の光よりも開口数を低減させた光を被写体２に射出する開口数低減素子２１１と、を備え、撮像部２０の撮像光軸２０ａと前記開口数低減素子から射出された光の中心軸とが実質的に平行である。
この撮像装置２６０によれば、被写体２に向かった射出された光源１０からの光の開口数を低減することで、被写体２の特に眼２ａへの光の入射角を調整しやすくなるため、眼２ａでの反射光を低減することができる。眼２ａでの反射光を低減することができれば、眼２ａの領域のコントラストが強調された撮像画像が得られるため、結果として、被写体検出装置１の検出対象である視点の位置を精度良く検出できる。つまり、撮像装置２６０によっても、視点を良好な精度で検出するための画像を取得できる。
【００７５】
また、撮像装置６０又は２６０では、撮像部２０の撮像対象側と光源１０の光の射出側の少なくとも一方には、到達した光のうちｐ偏光方向成分の光のみを通過させる偏光フィルタ１２又は２２が設けられている。
このように偏光フィルタ１２，２２を設ければ、上述したように、さらに、眼２ａでの反射の影響及び外光の影響を低減することができるため、より好ましい。
【００７６】
また、撮像装置６０又は２６０では、撮像部２０と光源１０とは、被写体２を被写体２の正面上方又は正面下方から狙う位置に配置されている。
このようにすれば、眼２ａに到達した光のうち一部が鏡面反射することによる反射光が撮像部２０に到達しにくくなるため、眼２ａの領域のコントラストが強調された撮像画像が得やすくなる。
【００７７】
また、撮像装置６０又は２６０は、車両（乗り物の一例）に搭載される。
このように撮像装置６０又は２６０が車両に搭載され、被写体２が車両の運転者（運転席に座っている運転者）である場合、運転者と車両の操舵装置とはほぼ一定の位置関係にある場合が多いため、特に、運転者の視点の位置を良好な精度で検出しやすい。
なお、撮像装置６０又は２６０は、他の乗り物（航空機、船舶等）に搭載されてもよく、この場合も同様に運転者の視点の位置を良好な精度で検出しやすい。
【００７８】
また、視点検出装置１は、撮像装置６０又は２６０と、撮像部２０が取得した撮像画像に基づき、この撮像画像に写った被写体２の像における視点の位置を検出する制御装置５０（制御部の一例）と、を備える、
視点検出装置１によれば、眼２ａの領域のコントラストが強調された撮像画像が得られるため、結果として、被写体検出装置１の検出対象である視点の位置を精度良く検出できる。
【００７９】
２．第２実施形態
第２実施形態に係る視点検出装置は、被写体２の視点を検出する装置として機能するのみならず、被写体２が視点を動かすだけで所定の入力操作を可能とするデータ入力装置として機能する。この装置は、視点検出装置１と同様の構成により実現される。そのため、以下では、同一の構成については、同じ符号を用いて説明し、第１実施形態と異なる点を中心に説明する。
【００８０】
第２実施形態に係る視点検出装置１は、視点検出処理において視点座標を求めるのみならず、得られた被写体領域画像の被写体領域における重心の位置（重心座標）をさらに求める。そして、視点座標と重心座標とを利用することで、被写体２が視点を動かすだけで入力操作を可能とする。つまり、第２実施形態に係る視点検出装置１によれば、ハンズフリーでの入力操作が可能となる。
【００８１】
まず、視点の位置（視点座標）のみならず重心の位置（重心座標）を取得する第２実施形態に係る視点検出処理を図１５のフローチャートを参照して説明する。この処理は、例えば制御装置５０の起動を条件に開始される。
【００８２】
（視点検出処理）
第２実施形態に係る視点検出処理では、ステップＳ３０５において、重心を検出する点と、前述のステップＳ２０６のように視点検出結果画像を表示装置３０に表示させない点が、第１実施形態に係る視点検出処理と異なる。 よって、以下では、ステップＳ３０５の処理について説明する。なお、ステップＳ３０１〜ステップＳ３０４は、第１実施形態に係る視点検出処理のステップＳ２０１〜ステップＳ２０４と同様であり、ステップＳ３０６は、第１実施形態に係る視点検出処理のステップＳ２０５と同様である。
【００８３】
ステップＳ３０５で、ＣＰＵ５１は、重心検出処理を実行し、ステップＳ３０４で取得した被写体検出画像上における被写体領域内の重心位置を検出する。
具体的には、ＣＰＵ５１は、ステップＳ３０４で被写体領域内と判別された全画素の座標の平均をとり、重心座標（ｉＧ，ｊＧ）を算出する。例えば、重心座標（ｉＧ，ｊＧ）は、以下の（式４）により算出される。
【数５】
【００８４】
例えば、図１２（ｂ）に示す被写体検出画像Ｅ１における被写体領域に対して、ＣＰＵ５１が（式４）を用いて算出する重心座標は、図１６に示す点Ｇの座標（ｉＧ，ｊＧ）となる。
このように、ステップＳ３０５における重心検出処理によれば、撮像部２０で撮影したフレーム画像中の被写体領域を代表する位置座標としての重心座標を取得できる。
【００８５】
続いて、ＣＰＵ５１は、第１実施形態のステップＳ２０５と同様のステップＳ３０６を実行し、視点座標（ｉＥ，ｊＥ）を検出し、取得する。
以上の処理からなる視点検出処理を、ＣＰＵ５１は、例えば制御装置５０の電源がオフされるまで繰り返し実行する。
【００８６】
次に、第２実施形態に特有の処理であるデータ選択処理を図１７等を参照して説明する。データ選択処理を実行するためのプログラムは、ＲＯＭ５２内に予め記憶されており、ＣＰＵ５１は、これを読み出し、実行する。
データ選択処理は、例えば、ユーザによる選択操作が必要な情報を制御装置５０が取得したことを条件に開始される。
【００８７】
（データ選択処理）
ＣＰＵ５１は、データ選択処理を開始すると、まず、画面を初期化し、データ選択画面を表示装置３０に表示させる（ステップＳ４０１）。このデータ選択画面のデータは、例えば、汎用メモリ５３に予め記憶されている。
データ選択画面の一例は、図１８（ａ）に示す、画面Ｈ１である。この画面Ｈ１のように、ユーザ（主に車両運転者）に対して、選択項目（ここでは、図示するように「はい」か「いいえ」）が列挙される。
また、ステップＳ４０１で、ＣＰＵ５１は、前回の視点ベクトルを初期化する。この前回の視点ベクトルは、後述するステップＳ４０７で保存されたものである。
【００８８】
続いて、ＣＰＵ５１は、タイマの時刻ｔをｔ＝０に設定し、ユーザの入力操作時間を計時するためのタイマをスタートさせる（ステップＳ４０２）。
【００８９】
続いて、ＣＰＵ５１は、次の（式５）で与えられる視点ベクトル（Δｉ，Δｊ）を取得する。
【数６】
ここでの（ｉＧ，ｊＧ）は、視点検出処理のステップＳ３０５でＣＰＵ５１が取得した重心座標であり、（ｉＥ，ｊＥ）は、同処理のステップＳ３０６でＣＰＵ５１が取得した視点座標である。
つまり、視点検出処理は、データ選択処理と並行して実行されており、ＣＰＵ５１は、データ選択処理のステップＳ４０３で、現在の重心座標（ｉＧ，ｊＧ）、視点座標（ｉＥ，ｊＥ）から上記（式５）に基づいて、重心座標に対する視点座標の位置を表す視点ベクトル（Δｉ，Δｊ）を取得する。
【００９０】
続いて、ＣＰＵ１１は、後述のステップＳ４０７で保存した前回の視点ベクトルと、先のステップＳ４０３で取得した視点ベクトルとを比較し、視点ベクトルが変化した否かについて判別する（ステップＳ４０４）。
【００９１】
視点ベクトルが変化していないと判別した場合（ステップＳ４０４；Ｎｏ）、ＣＰＵ５１は処理をステップＳ４０９に進める。例えば、前回の視点ベクトルが保存されていない場合も同様に、ＣＰＵ５１は処理をステップＳ４０９に進める。
一方、視点ベクトルが変化したと判別した場合（ステップＳ４０４；Ｙｅｓ）、ＣＰＵ５１は、視点テーブルを検索し、選択値を検知する（ステップＳ４０５）。視点テーブルは、例えば、図１８（ｂ）に示すような、テーブルＴＡ１であり、汎用メモリ５３に予め格納されている。
テーブルＴＡ１は、図示するように、視点ベクトルの要素であるΔｉ及びΔｊの各々の範囲と、項目番号（「１」または「２」）とが対応するように構成され、且つ、項目番号「１」が画像Ｈ１（図１８（ａ）参照）に示す選択項目「はい」と、項目番号「２」が画像Ｈ１に示す選択項目「いいえ」と対応するように構成されている。
項目番号「１」に対応するΔｉの範囲「１９０〜２８９」及びΔｊ「５０〜２６９」は、画像Ｈ１における選択項目「はい」の領域（図で、「はい」が矩形の枠で囲まれた領域）を囲むボックスの位置を示す座標の範囲に対応するものであり、項目番号「２」に対応するΔｉの範囲「１９０〜２８９」及びΔｊ「３７０〜５８９」は、画像Ｈ１における選択項目「いいえ」の領域（図で、「いいえ」が矩形の枠で囲まれた領域）を囲むボックスの位置を示す座標の範囲に対応するものである。ここでの座標は、例えば、画面Ｈ１において紙面左上端の点を（ｉ，ｊ）＝（０，０）と原点とした場合の座標である。
ＣＰＵ５１は、このようなテーブルＴＡ１をサーチし、変化した視点ベクトルが、例えば、（Δｉ，Δｊ）＝（２００，１００）である場合は、項目番号「１」の範囲に入るため、選択値が「はい」であると検知する。なお、図１７では示していないが、このステップＳ４０５で、選択値が検知できなかった場合は、ＣＰＵ５１は、例えば、ステップＳ４０３に処理を戻す。
【００９２】
ＣＰＵ５１は、選択値を検知すると、検知した選択値に基づいて、画面を更新する（ステップＳ４０６）。
ここでの画面更新処理は、ユーザが現在どの選択項目を選択しているかを認識させるための処理であり、例えば、ユーザが現在選択している選択項目を反転表示することによって、ユーザに現在選択している項目を報知する。
【００９３】
続いて、ＣＰＵ５１は、ステップＳ４０３で取得した視点ベクトルを、前回の視点ベクトルとして例えば汎用メモリ５３に保存する（ステップＳ４０７）。
ここで保存された視点ベクトルは、次回のステップＳ４０４で、ＣＰＵ５１５１が視点ベクトルが変化した否かを判別する際に用いられる。
【００９４】
続いて、ＣＰＵ５１は、ユーザの操作時間を計時するためのタイマをリセットし、再び時刻ｔ＝０からタイマをスタートさせる（ステップＳ４０８）。
【００９５】
続いて、ＣＰＵ５１は、計時時間の積算時間が所定の入力期間に達したか（タイムアウトしたか）否かを判別する（ステップＳ４０９）。
具体的には、前記所定の入力期間は、例えば予め汎用メモリ５３に記憶されており、この入力期間と積算時間とを比較することで、ＣＰＵ５１は、タイムアウトしたか否かを判別する。ここでの積算時間は、タイマをスタートしてからタイムアウトするまで（ステップＳ４０９でＹｅｓになるまで）の計時時間の合計である。したがって、積算時間が予め定められた入力期間に達するまでは、ＣＰＵ５１は、ステップＳ４０３〜ステップＳ４０９の処理を繰り返すことになる。
【００９６】
タイムアウトしていないと判別した場合（ステップＳ４０９；Ｎｏ）、ＣＰＵ５１は、処理をステップＳ４０３に戻す。
一方、タイムアウトしたと判別した場合（ステップＳ４０９；Ｙｅｓ）、ＣＰＵ５１は、ステップＳ４０８で選択されている選択値を、入力値として決定し、決定した選択値に応じた処理を行い（ステップＳ４１０）、データ選択処理を終了させる。
以上が、データ選択処理である。
【００９７】
（変形例）
第２実施形態におけるデータ選択処理では、データ選択画面として画面Ｈ１を、視点テーブルとしてテーブルＴＡ１を用い、ユーザが選択対象として「はい」または「いいえ」を選択する例を示したがこれに限られない。第２実施形態に係る視点検出装置１において、データ選択画面と視点テーブルとを適宜変更すれば、様々なデータ選択操作が可能となる。一例を以下に示す。
【００９８】
例えば、データ選択画像として、図２０（ａ）に示すように文字や数値を選択できるように構成された画像Ｈ２であってもよいし、図２１（ａ）に示すように一定区間中の１点を選択できるように構成された画像Ｈ３（画像Ｈ３は、ユーザからの入力操作により音量を示す図形の形状が紙面左右方向に可変するボリュームバー表示を示している）であってもよい。
【００９９】
データ選択画像として、画像Ｈ２を採用した場合には、視点テーブルとして図２０（ｂ）に示すようなテーブルＴＡ２を汎用メモリ５３に予め格納しておけばよい。
テーブルＴＡ２は、図示するように、視点ベクトルの要素であるΔｉ及びΔｊの各々の範囲と、項目番号（「１」、「２」、「３」、…）とが対応するように構成され、且つ、項目番号「１」が画像Ｈ２に示す「１」と、項目番号「２」が画像Ｈ２に示す「２」と、項目番号「３」が画像Ｈ２に示す「３」と、・・・というふうに対応するように構成されている。
テーブルＴＡ２は、テーブルＴＡ１と同様に、Δｉ及びΔｊの各範囲が、選択項目（画像Ｈ２における「１」、「＊」、「＃」等）の各々の位置を示す座標の範囲に対応するように構成されており、ＣＰＵ５１は、このようなテーブルＴＡ２をサーチし、変化した視点ベクトルが、例えば、（Δｉ，Δｊ）＝（１５０，１５０）である場合は、項目番号「１」の範囲に入るため、選択値が「１」であると検知する。
【０１００】
データ選択画像として、画像Ｈ３を採用した場合には、視点テーブルとして図２１（ｂ）に示すようなテーブルＴＡ３を汎用メモリ５３に予め格納しておけばよい。テーブルＴＡ３の構成も、テーブルＴＡ１、ＴＡ２と同様に、Δｉ及びΔｊの各範囲が、選択項目（画像Ｈ３における音量を示す図形（白抜きの長方形の紙面における右端部））の各々の位置を示す座標の範囲に対応するように構成されている。
【０１０１】
以上に説明した第２実施形態及びその変形例によれば、被写体領域の重心位置（重心座標）と視点の位置（視点座標）との相対的な位置関係を利用することで、被写体２であるユーザは、視点の位置を変えるだけで、ハンズフリーのデータ入力操作を行うことができる。この技術によれば、被写体２であるユーザが表情を変えたり、顔の向きを変えたりしても、被写体領域の重心位置の変化は、視点の位置の変化に比べて少ないため、入力結果が安定する。
【０１０２】
なお、本発明は上記第１及び第２実施形態及びそれらの変形例によって限定されるものではない。上記第１及び第２実施形態及びそれらの変形例に変更（構成要素の削除も含む）を加えることができるのはもちろんである。
【０１０３】
例えば、以上の説明では、制御装置５０（ＣＰＵ５１）が、垂直同期信号の立ち下がりを検出し、かつフィールド識別信号が奇数フィールド画像を示すときに、時刻ｔ＝０としてタイマを設定するものとしたが、制御装置５０は、垂直同期信号の立ち上りを検出し且つフィールド識別信号が奇数フィールド画像を示すときに、時刻ｔ＝０としてタイマを設定してもよい。
【０１０４】
また、以上の説明では、上記の実施形態に係る制御装置５０は、撮像部２０が奇数フィールド画像を撮像しているときに光源１０を点灯させ、撮像部２０が偶数フィールドを撮像しているときに光源１０を消灯させたがこれに限られない。撮像部２０が偶数フィールド画像を撮像しているときに光源１０を点灯させ、撮像部２０が奇数フィールドを撮像しているときに光源１０を消灯させてもよい。
【０１０５】
また、以上では、視点検出装置１が、奇数フィールド又は偶数フィールドの撮像タイミングで光源１０を点滅させ、被写体検出画像を取得ないしは、視点を検出する例を説明したがこれに限られない。
図２２（ａ）に示すような、撮像制御信号と光源制御信号とを生成する制御装置２５０と、制御装置２５０が供給した撮像制御信号（図２２（ｂ）参照）に同期して撮像する撮像部２２０と、制御装置２５０が供給した光源制御信号（図２２（ｂ）参照）に同期して点灯・消灯する光源２１０と、を少なくとも備える視点検出装置２０１が被写体検出画像を取得してもよい。この場合、光源ＯＮ時のタイミングでの撮像画像と光源ＯＦＦ時のタイミングでの撮像画像との差分をとり、これを閾値処理によって２値化することで、被写体領域画像を取得する、という手順になる。なお、図２２（ａ）では、表示装置、入力装置、平行光光学系又は開口数低減素子、偏光フィルタ等を省略した。また、光源２１０、撮像部２２０、及び制御装置２５０は、前記した光源１０、撮像部２０、及び制御装置５０とほぼ同一の構成からなる。
【０１０６】
また、光源制御処理、視点検出処理、データ選択処理を制御装置５０が実行するためのプログラムは、ＲＯＭ５２に予め記憶されているものとして説明したが、このような動作プラグラム及び各種データは、視点検出装置１に含まれるコンピュータに対して、着脱自在の記録媒体により配布・提供されてもよい。さらに、動作プログラム及び各種データは、電気通信ネットワーク等を介して接続された他の機器からダウンロードすることによって配布されるようにしてもよい。
【０１０７】
そして、各処理の実行形態も、着脱自在の記録媒体を装着することにより実行するものだけではなく、電気通信ネットワーク等を介してダウンロードした動作プログラム及び各種データを内蔵の記憶装置に一旦格納することにより実行可能としてもよいし、電気通信ネットワーク等を介して接続された他の機器側のハードウェア資源を用いて直接実行してもよい。さらには、他の機器と電気通信ネットワーク等を介して各種データの交換を行うことにより各処理を実行してもよい。
【０１０８】
以上の説明では、本発明の理解を容易にするために、重要でない公知の技術的事項の説明を適宜省略した。
【符号の説明】
【０１０９】
１…視点検出装置
１００，２００…光照射部
１０…光源
１１…平行光光学系
２１１…開口数低減素子
１２，２２…偏光フィルタ
２０…撮像部
３０…表示装置
４０…入力装置
５０…制御装置
５１…ＣＰＵ
５２…ＲＯＭ
５３…汎用メモリ
５４…ビデオメモリ
５５…同期分離回路
５６…フィールド識別回路
５７…外部デバイスＩ／Ｆ
６０，２６０…撮像装置
２…被写体
３…背景
【特許請求の範囲】
【請求項１】
視点検出のために用いられる撮像装置であって、
人物である被写体を撮像し、撮像画像を取得する撮像部と、
前記被写体に向けて光を射出する光源と、
前記光源の光の射出側に配置され、前記光源からの光を平行光として前記被写体に射出する平行光束光学系と、を備え、
前記撮像部の撮像光軸と前記平行光の射出方向とが実質的に平行である、
ことを特徴とする撮像装置。
【請求項２】
視点検出のために用いられる撮像装置であって、
人物である被写体を撮像し、撮像画像を取得する撮像部と、
前記被写体に向けて光を射出する光源と、
前記光源の光の射出側に配置され、前記光源からの光を通過させ、通過前の光よりも開口数を低減させた光を前記被写体に射出する開口数低減素子と、を備え、
前記撮像部の撮像光軸と前記開口数低減素子から射出された光の中心軸とが実質的に平行である、
ことを特徴とする撮像装置。
【請求項３】
前記撮像部の撮像対象側と前記光源の光の射出側の少なくとも一方には、到達した光のうちｐ偏光方向成分の光のみを通過させる偏光フィルタが設けられている、
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像部と前記光源とは、前記被写体を前記被写体の正面上方又は正面下方から狙う位置に配置されている、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
乗り物に搭載されることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の撮像装置と、
前記撮像部が取得した撮像画像に基づき、この撮像画像に写った被写体像における視点の位置を検出する制御部と、を備える、
ことを特徴とする視点検出装置。
【請求項１】
視点検出のために用いられる撮像装置であって、
人物である被写体を撮像し、撮像画像を取得する撮像部と、
前記被写体に向けて光を射出する光源と、
前記光源の光の射出側に配置され、前記光源からの光を平行光として前記被写体に射出する平行光束光学系と、を備え、
前記撮像部の撮像光軸と前記平行光の射出方向とが実質的に平行である、
ことを特徴とする撮像装置。
【請求項２】
視点検出のために用いられる撮像装置であって、
人物である被写体を撮像し、撮像画像を取得する撮像部と、
前記被写体に向けて光を射出する光源と、
前記光源の光の射出側に配置され、前記光源からの光を通過させ、通過前の光よりも開口数を低減させた光を前記被写体に射出する開口数低減素子と、を備え、
前記撮像部の撮像光軸と前記開口数低減素子から射出された光の中心軸とが実質的に平行である、
ことを特徴とする撮像装置。
【請求項３】
前記撮像部の撮像対象側と前記光源の光の射出側の少なくとも一方には、到達した光のうちｐ偏光方向成分の光のみを通過させる偏光フィルタが設けられている、
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像部と前記光源とは、前記被写体を前記被写体の正面上方又は正面下方から狙う位置に配置されている、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
乗り物に搭載されることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の撮像装置と、
前記撮像部が取得した撮像画像に基づき、この撮像画像に写った被写体像における視点の位置を検出する制御部と、を備える、
ことを特徴とする視点検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１３−１１５７４４（Ｐ２０１３−１１５７４４Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６２６１３（Ｐ２０１１−２６２６１３）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００２３１５１２）日本精機株式会社 (1,561)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００２３１５１２）日本精機株式会社 (1,561)
【Ｆターム（参考）】
[ Back to top ]