イメージセンサ通信装置と方法
【課題】通信データの高速化、小型化、低消費電力化を図り、座標補正等を行うことを不要とする装置の提供。
【解決手段】画素回路１１と電荷を蓄積保持する第１の保持回路１２と第１の保持回路と第１の出力信号線４１間に接続され、第１の制御信号Ｓ−Ｃｃｓにより、第１の保持回路に保持された電荷に対応する信号を前記第１の出力信号線４１に通信用として出力する第１のスイッチ３３と第２の制御信号Ｓ−Ｄｔにより制御される第２のスイッチ３２を介して第１の保持回路１２の出力に接続され、第１の保持回路１２の電荷を蓄積保持する第２の保持回路１３と第２の保持回路１３と第１の出力信号線４１間に接続され、第３の制御信号Ｓ−Ｖｒｓにより制御され、第２の保持回路１３に保持された電荷に対応する信号を第１の出力信号線４１に撮像用として出力する第３のスイッチ３４と、を含む。
【解決手段】画素回路１１と電荷を蓄積保持する第１の保持回路１２と第１の保持回路と第１の出力信号線４１間に接続され、第１の制御信号Ｓ−Ｃｃｓにより、第１の保持回路に保持された電荷に対応する信号を前記第１の出力信号線４１に通信用として出力する第１のスイッチ３３と第２の制御信号Ｓ−Ｄｔにより制御される第２のスイッチ３２を介して第１の保持回路１２の出力に接続され、第１の保持回路１２の電荷を蓄積保持する第２の保持回路１３と第２の保持回路１３と第１の出力信号線４１間に接続され、第３の制御信号Ｓ−Ｖｒｓにより制御され、第２の保持回路１３に保持された電荷に対応する信号を第１の出力信号線４１に撮像用として出力する第３のスイッチ３４と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受光した光を電気信号に変換する画素回路を備えた装置に関し、特に、画素回路を用いて通信を行う装置と方法に関する。
【背景技術】
【０００２】
受光した光を電気信号に変換する複数の撮像素子を、行と列の二次元アレイ状に備えたイメージセンサ装置は、撮像目的に利用されているが、光通信装置としても利用される。この利用目的は、現実空間と電子情報を組み合わせたサービスであるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）と親和性が高い。例えば、平成２１年度経済産業省委託事業「ＩＴとサービスの融合による新市場創出促進事業（ｅ空間実証事業）」「街と興味を結ぶフィールド・エンゲージメント・サービス」実証事業（ｅ 空間 Ｋａｎｓａｉ）成果報告書４−２（非特許文献１）のように、通信用と撮像用の二つのイメージセンサ装置を用いて実現している。しかし、小型化や低消費電力化の点で問題が残されている。
【０００３】
このＡＲを実現するための構成として、例えば特許文献１の記載が参照される。特許文献１には、被写体を撮像する撮像装置において、情報を符号化した光学信号を発信する発信光源を備えた被写体に対応する画像信号を入力するイメージセンサと、前記イメージセンサに近接する位置に略画角を合わせて配置され、前記発信光源が発信する前記光学信号を受信する光通信センサと、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、及び前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行う信号処理手段とを備え、画像の解像度を劣化させることなく、画像と光信号を同時に取得する可能とする構成が開示されている。前記信号処理手段は、前記光学信号を復号した情報に対応する画像を生成する画像生成手段と、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号に、前記画像生成手段により生成された前記画像の画像信号を重畳する処理を行う画像重畳手段とを備え、表示手段は、前記信号処理手段により重畳された画像信号に対応する画像を表示する。
【０００４】
また、特許文献２には、規則的に配列された複数の光電変換素子及びＣＣＤからなるＣＣＤセンサ（２次元アレイセンサ）と、光電変換素子から転送された電荷が入力されるＡ／Ｄコンバータとを有し、光電変換素子のそれぞれが生成した電荷を第１の期間を周期として所定の順番でＡ／Ｄコンバータへ転送し、Ａ／Ｄコンバータから映像信号を出力する撮像素子であって、特定の光電変換素子からは第１の周期よりも早い第２の周期でＡ／Ｄコンバータへ電荷を転送させる手段を備え、Ａ／Ｄコンバータは、第１の期間を周期として特定の光電変換素子から転送されてきた電荷に応じては映像信号として出力し、第２の期間を周期として特定の光電変換素子から転送されてきた電荷に応じては、可視光信号として、映像信号とは異なる経路へ出力する構成が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２０１６８１号公報
【特許文献２】特開２００７−１５１１４３号公報
【非特許文献】
【０００６】
【非特許文献１】平成２１年度「ＩＴとサービスの融合による新市場創出促進事業（ｅ空間実証事業）」「街と興味を結ぶフィールド・エンゲージメント・サービス」実証事業（ｅ 空間 Ｋａｎｓａｉ）成果報告書 第４章“４−２ 直感的な情報取得を可能とするＡＲ可視光受信手段の確立”、第１１２頁〜第１１９頁、［ｏｎｌｉｎｅ］、平成２２年３月、株式会社電通、［平成２３年５月２０日検索］、インターネット（ＵＲＬ：http://unit.aist.go.jp/cfsr/it-services-fusion/e-space/dentsu_report.pdf）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明者が行った関連技術の分析を以下に与える。
【０００８】
上記したように、通信用と撮像用の二つのイメージセンサ装置を用いる場合、小型化や低消費電力化の点で問題がある。さらに以下のような問題もある。
【０００９】
画素回路を用いた通信用センサは、一般に、露光時間を短くすることで、より高速に大量の通信データを受信できるように、設計が行われる。一方、画素回路を用いた撮像用センサには、撮像する被写体を表現するために必要な露光時間を確保しなければならない、という制約が課せられる。
【００１０】
したがって、画素回路を用いて通信用センサと撮像用センサを実現する場合、露光時間を通信用途に合わせると、撮像する被写体を表現できない、という問題が生じる。また露光時間を撮像用途に合わせて被写体を表現すると、通信の高速化が困難である、という問題が生じる。
【００１１】
さらに、画素回路を用いて、通信用センサと撮像用センサとに個別に用意する場合、二つの画素回路があるため、これらを近傍に並べたとしても物理的に異なる位置に配置されることになる。通信用センサと撮像用センサの二つの画素回路を用いたイメージセンサ装置において、同一の被写体を撮影したとき、画素回路の物理的な位置差について座標補正を行う仕組みが必要となる。すなわち、二つの画素回路を必要とし、さらに座標補正を行う仕組み（制御機構）の追加が必要とされ、規模が大きくなる。
【００１２】
上記特許文献１では、イメージセンサにより入力された画像信号に画像生成手段により生成された画像信号を重畳する処理を行う画像重畳手段が必要となり、小型化や低消費電力化を阻害する要因となっている。
【００１３】
また、上記特許文献２では、時分割で、通信用途（可視光通信）と撮像用途（通常のスキャン動作）を実現しており、通信用センサと撮像用センサを物理的に個別に用意していたものを、時間軸上で個別に用意したものに相当し、同一時刻の光を利用していないため、補正回路等が必要とされ、規模が大きくなる、等の問題がある。
【００１４】
したがって、本発明の主たる目的の１つは、画素回路を用いて通信を行うにあたり、通信の高速化、装置の小型化、低消費電力化を実現可能とする装置、及び方法を提供することにある。また本発明は、上記目的に加えて、補正等を不要とし規模の増大を抑制する装置、及び方法を提供することもその目的としている。
【課題を解決するための手段】
【００１５】
上記問題点の少なくとも１つを解決するため、本発明は、概略以下の構成とされる（ただし、以下に制限されない）。
【００１６】
視点の１つによれば、画素回路と、前記画素回路で発生した電荷を蓄積保持する第１の保持回路と、前記第１の保持回路と第１の出力信号線間に接続され、第１の制御信号によりオン・オフが制御され、オン状態のとき、前記第１の保持回路に保持された電荷を前記第１の出力信号線に通信用として出力する第１のスイッチと、第２の制御信号によりオン・オフが制御される第２のスイッチを介して前記第１の保持回路に接続され、前記第２のスイッチがオン状態のとき、前記第１の保持回路に保持された電荷を蓄積保持する第２の保持回路と、前記第２の保持回路と前記第１の出力信号線間に接続され、第３の制御信号によりオン・オフが制御され、オン状態のとき、前記第２の保持回路に保持された電荷を前記第１の出力信号線に撮像用として出力する第３のスイッチと、を含む拡張画素回路を備えた、イメージセンサ通信装置が提供される。
【００１７】
別の視点によれば、
（Ａ）画素回路と第１の保持回路間の露光時間用スイッチのオンとオフを所定回繰返して前記第１の保持回路に電荷を蓄積し、
（Ｂ）前記第１の保持回路に蓄積保持された電荷に対応したレベルを出力する第１の増幅回路の出力信号を通信用の信号として、オン状態とした通信用データ出力スイッチを介して出力信号線に出力し、
（Ｃ）前記第１の保持回路と第２の保持回路間の転送スイッチをオンし、前記通信用データ出力スイッチをオフとし、それまでに前記第１の保持回路に蓄積保持された電荷を前記第２の保持回路に移し変えたのち、前記露光時間用スイッチのオンとオフを所定回繰返して前記画素回路の電荷を前記第１の保持回路から前記第２の保持回路に転送し前記第２の保持回路に電荷を蓄積してゆき、
（Ｄ）前記転送スイッチをオフとしてから、
前記（Ａ）から（Ｃ）を繰り返し、前記第２の保持回路の電荷に対応したレベルを出力する第２の増幅回路の出力信号を撮像用の信号として、オン状態とした撮像用データ出力スイッチを介して前記出力信号線に出力し、
前記（Ａ）から前記（Ｃ）を所定回（Ｎ回）の繰り返しによるＮ個の通信用の信号が出力されたのちに１つの撮像用の信号が出力される、通信方法が提供される。
【発明の効果】
【００１８】
本発明によれば、通信の高速化、装置の小型化、低消費電力化を実現可能としている。さらに、本発明によれば、補正等を不要とし規模の増大を抑制することができる。本発明による上記外の作用・効果は、本発明を限定する意味を有しない好適な形態、実施形態、さらに図面等から当業者には明らかとなろう。
【図面の簡単な説明】
【００１９】
【図１】本発明の例示的な一実施形態の拡張画素回路の構成の一例を示す図である。
【図２】本発明の例示的な一実施形態のイメージセンサ通信装置の構成の一例を示す図である。
【図３】本発明の例示的な一実施形態のイメージセンサ通信装置の動作例を示すタイミング図である。
【図４】本発明の例示的な一実施形態のイメージセンサ通信装置の動作原理を説明する説明図である。
【図５】本発明の例示的な一実施形態のイメージセンサ通信装置の動作例を示すタイミング図である。
【図６】本発明の例示的な一実施形態のイメージセンサ通信装置の出力信号を説明する図である。
【図７】本発明の例示的な別の実施形態のイメージセンサ通信装置の構成の一例を示す図である。
【発明を実施するための形態】
【００２０】
発明を実施するための好ましいいくつかの形態について説明する。いくつかの好ましい形態によれば、受光した光を電気信号に変換する画素回路（１１）と、前記画素回路（１１）で発生した電荷を蓄積保持する第１の保持回路（１２：通信用保持回路）と、前記第１の保持回路（１２）と第１の出力信号線（４１）間に接続され、第１の制御信号（Ｃ−Ｃｃｓ：出力スイッチ制御信号）によりオン・オフが制御され、オン状態のとき、前記第１の保持回路（１２）に蓄積保持されている電荷に対応するレベルの信号を前記第１の出力信号線（４１）に出力する第１のスイッチ（３３：通信用データ出力スイッチ）と、
第２の制御信号（Ｓ−Ｄｔ：通信用保持データ転送スイッチ制御信号）によりオン・オフが制御される第２のスイッチ（３２：通信用保持データ転送スイッチ）を介して、前記第１の保持回路（１２）に接続され、前記第２のスイッチ（３２）がオン状態のとき、前記第１の保持回路（１２）に保持された電荷を蓄積保持する第２の保持回路（１３：撮像用保持回路）と、
前記第２の保持回路（１３）と前記第１の出力信号線（４１）間に接続され、第３の制御信号（Ｓ−Ｖｒｓ：撮像用データ出力スイッチ制御信号）によりオン・オフが制御され、オン状態のとき、前記第２の保持回路（１３）に蓄積保持されている電荷に対応するレベルの信号を前記第１の出力信号線（４１）に撮像用として出力する第３のスイッチ（３４：撮像用データ出力スイッチ）と、を含む拡張画素回路（１）を備えている。
【００２１】
いくつかの好ましい形態によれば、前記第１の保持回路（１２）と前記第１のスイッチ（３３）の間に第１の増幅回路（２１）を備え、前記第２の保持回路（１３）と前記第３のスイッチ（３４）の間に第２の増幅回路（２２）を備えている。前記第１の保持回路（１２）に保持される電荷に応じたレベルの信号を入力とする前記第１の増幅回路（２１）の出力信号が、前記第１のスイッチ（３３）がオンのとき、前記第１の出力信号線（４１）に出力される（このとき、前記第１の保持回路（１２）に保持される電荷は転送されず、前記第１の保持回路（１２）にそのまま保持される）。前記第２の保持回路（１３）に保持される電荷に応じたレベルの信号を入力とする前記第２の増幅回路（２２）の出力信号が、前記第３のスイッチ（３４）がオンのとき、前記第１の出力信号線（４１）に出力される構成としてもよい（このとき、前記第２の保持回路（１３）に保持される電荷は転送されず、前記第２の保持回路（１３）にそのまま保持される）。
【００２２】
いくつかの好ましい形態によれば、前記画素回路（１１）と前記第１の保持回路（１２）間に、第４の制御信号（Ｓ−Ｈｓ：露光時間用スイッチ制御信号）によりオン・オフが制御され、オン状態のとき、前記画素回路（１１）の電荷を前記第１の保持回路（１２）に転送する第４のスイッチ（３１：露光時間用スイッチ）を備えた構成としてもよい。
【００２３】
いくつかの好ましい形態によれば、前記画素回路（１１）、前記第１の保持回路（１２）、及び、前記第２の保持回路（１３）を共通にリセットする第５の制御信号（Ｓ−Ｒｓｔ：リセット信号）を備えた構成としてもよい。第５の制御信号（Ｓ−Ｒｓｔ）が活性状態のとき、前記画素回路（１１）、前記第１の保持回路（１２）、及び、前記第２の保持回路（１３）は、リセットされ、保持している電荷は放電され空となる。
【００２４】
いくつかの好ましい形態によれば、前記拡張画素回路（１）を単位画素として、複数の前記拡張画素回路（１）を行と列の２次元アレイ状に備え、同一列を構成する複数の前記拡張画素回路に対して前記第１の出力信号線（４１）を共通に備え、各列の前記第１の出力信号線（４１）は、前記２次元アレイの列に対して平行に配設され、前記第１の出力信号線（４１）は一端で、対応する第６の制御信号（Ｓ−Ｃｓ：列選択（Ｃｏｌｕｍｎ ｓｅｌｅｃｔ）スイッチ制御信号）によりオン・オフが制御される第５のスイッチ（３５：列選択スイッチ）を介して、複数の列に対して共通に設けられ、前記２次元アレイの行に平行な第２の出力信号線（４２：Ｓ−Ｏｕｔ：拡張画素回路出力データ信号線）に接続される構成としてもよい。複数行のそれぞれに対して、同一行の複数の前記拡張画素回路（１）に共通に前記第１乃至第５の制御信号を出力する第１の制御回路（２：垂直制御回路）と、前記第１の出力信号線（４１）と前記第２の出力信号線（４２）の間に接続される前記第５のスイッチ（３５）を制御する第６の制御信号（Ｓ−Ｃｓ）を、各列の前記第５のスイッチ（３５）に対して出力する第２の制御回路（３：水平走査制御回路）を備えている。
【００２５】
いくつかの好ましい形態によれば、
（ａ）前記第５の制御信号（Ｓ−Ｒｓｔ）を活性化させて前記画素回路、前記第１の保持回路（１２）、前記第２の保持回路（１３）をリセットし、その後、前記第５の制御信号を非活性化して該リセットを解除し（タイミングｔ０）、
（ｂ）前記第４の制御信号（Ｓ−Ｈｓ）の予め定められた長さのパルス列を前記第４のスイッチ（３１）に供給して前記画素回路（１１）の電荷が前記第１の保持回路（１２）に蓄積して行き（タイミングｔ１）、その間、前記第１乃至第５の制御信号は非活性化状態とされ、
（ｃ）前記第４の制御信号（Ｓ−Ｈｓ）の予め定められた所定長さのパルス列の次の非活性状態のタイミング（タイミングｔ２）で、前記第１の制御信号（Ｓ−Ｃｃｓ）を活性化し、前記第１のスイッチ（３３）を介して前記第１の保持回路（１２）の蓄積電荷に対応したレベルの信号が、第１の増幅回路（２１）を介して、前記第１の出力信号線（４１）に出力され、さらに、前記第６の制御信号（Ｓ−Ｃｓ）により前記第５のスイッチ（３５）がオンして前記第１の出力信号線（４１）の信号が通信用の信号として前記第２の出力信号線（４２：Ｓ−Ｏｕｔ）に伝達され、
（ｄ）次に、前記第１の制御信号（Ｃ−Ｃｃｓ）を非活性化とし、前記第２の制御信号（Ｓ−Ｄｔ）を活性化して（タイミングｔ３）、前記第２のスイッチ（３２）をオン状態とし、前記第１の保持回路（１２）の蓄積電荷を前記第２の保持回路（１３）に転送して移し変え、
（ｅ）前記第２の制御信号（Ｓ−Ｄｔ）の活性化状態を保持し（タイミングｔ４）、前記第４の制御信号（Ｓ−Ｈｓ）の予め定められた所定長さのパルス列を前記第４のスイッチ（３１）に供給し、前記画素回路（１１）の電荷が前記第１の保持回路（１２）から、オン状態の前記第２のスイッチ（３２）を介して、前記第２の保持回路（１３）に蓄積され、
前記第２の制御信号（Ｓ−Ｄｔ）の非活性化状態として（タイミングｔ５）、前記（ｂ）から前記（ｅ）を所定回（Ｎ回）数繰り返し、
前記第３の制御信号（Ｓ−Ｖｒｓ）を活性化して、第３のスイッチ（３４）をオンとし、前記第２の保持回路（１３）の蓄積電荷に対応したレベルの信号が、第２の増幅回路（２２）から、撮像用の信号として、前記第１の出力信号線（４１）に出力され、前記第６の制御信号（Ｓ−Ｃｓ）により前記第５のスイッチ（３５）がオンして前記第１の出力信号線（４１）の信号が撮像用の信号として前記第２の出力信号線（４２：Ｓ−Ｏｕｔ）に出力され、
前記（ｂ）から前記（ｅ）を所定回（Ｎ回）の繰り返しによるＮ個の通信用の信号が前記第２の出力信号線（４２：Ｓ−Ｏｕｔ）に出力されたのち、撮像用の信号が、前記第２の出力信号線（４２：Ｓ−Ｏｕｔ）に出力される。
【００２６】
いくつかの好ましい形態によれば、隣接行の拡張画素回路では、後の行の拡張画素回路の第１乃至第４の制御信号は、前の行の拡張画素回路の第１乃至第４の制御信号よりそれぞれタイミング的にずれている。前記第６の制御信号（Ｓ−Ｃｓ）のパルス幅は、前記第４の制御信号（Ｓ−Ｈｓ）のパルスの非活性期間よりも短い。
【００２７】
好ましい形態の１つによれば、前記第１の保持回路（１２）と、前記第２のスイッチ（３２）の間に、第７の制御信号（Ｓ−Ｈｓ−ａ）によりオン・オフが制御される第６のスイッチ（３１−ａ）と、前記第６のスイッチがオンのとき、前記第１の保持回路（１２）が保持する電荷を受け、蓄積保持する第３の保持回路（１２−ａ）の直列回路を備え、前記第１の増幅回路（２１−ａ）は、前記第１の保持回路（１２）と前記第３の保持回路（１２−ａ）の電荷の差分を増幅して出力する。
【００２８】
好ましい形態による方法においては、
（Ａ）画素回路（１１）と第１の保持回路（１２）間の露光時間用スイッチ（３１）のオンとオフを所定回繰返して前記第１の保持回路（１２）に電荷を蓄積し、
（Ｂ）前記第１の保持回路（１２）に蓄積保持された電荷に対応したレベルを出力する第１の増幅回路（２１）の出力信号を通信用の信号として、オン状態とした通信用データ出力スイッチ（３３）を介して出力信号線（４１）に出力し、
（Ｃ）前記第１の保持回路（１２）と第２の保持回路（１３）間の転送スイッチ（３２）をオンし、前記通信用データ出力スイッチ（３３）をオフとし、それまでに前記第１の保持回路（１２）に蓄積保持された電荷を前記第２の保持回路（１３）に移し変えたのち、前記露光時間用スイッチ（３１）のオンとオフを所定回繰返して前記画素回路（１１）の電荷を前記第１の保持回路（１２）から前記第２の保持回路（１３）に転送して前記第２の保持回路（１３）に電荷を蓄積してゆき、
（Ｄ）前記転送スイッチ（３２）をオフとしてから、
前記（Ａ）から（Ｃ）を繰り返し、
前記第２の保持回路（１３）の電荷に対応したレベルを出力する第２の増幅回路（２２）の出力信号を撮像用の信号として、オン状態とした撮像用データ出力スイッチ（３４）を介して前記出力信号線（４１）に出力し、
前記（Ａ）から前記（Ｃ）を所定回（Ｎ回）の繰り返しによるＮ個の通信用の信号が出力されたのちに１つの撮像用の信号が出力される。
【００２９】
好ましい形態によれば、イメージセンサ通信装置は、複数の画素回路の各々を、通信用センサと撮像用センサの二つの目的に利用できるように露光時間の制御を行う。以下、例示的ないくつかの実施形態に即して説明する。
【００３０】
＜実施形態１＞
図１は、例示的な実施形態の構成の一例を示す図であり、単位画素回路の回路構成が示されている。この単位画素回路は、本明細書では、拡張画素回路１という。図１を参照すると、拡張画素回路１は、例えば光検出器として機能するフォトダイオードからなる画素回路１１と、通信用保持回路１２と、撮像用保持回路１３と、通信用保持回路１２の出力に入力が接続された通信用保持データ出力増幅回路２１と、撮像用保持回路１３の出力に入力が接続された撮像用保持データ出力増幅回路２２と、画素回路１１の出力と通信用保持回路１２の入力間に接続された露光時間用スイッチ３１と、通信用保持データ出力増幅回路２１の出力に一端が接続された通信用データ出力スイッチ３３と、通信用保持回路１２の出力と撮像用保持回路１３の入力間に接続された通信用保持データ転送スイッチ３２と、撮像用保持データ出力増幅回路２２の出力に一端が接続された撮像用データ出力スイッチ３４と、を備えている。
【００３１】
露光時間用スイッチ３１は露光時間用スイッチ制御信号（Ｓ−Ｈｓ）によってオン・オフが制御される。
【００３２】
通信用データ出力スイッチ３３は、通信用データ出力スイッチ制御信号（Ｓ−Ｃｃｓ）によってオン・オフが制御される。
【００３３】
通信用保持データ転送スイッチ３２は、通信用保持データ転送スイッチ制御信号（Ｓ−Ｄｔ）によってオン・オフが制御される。
【００３４】
撮像用データ出力スイッチ３４は、撮像用データ出力スイッチ制御信号（Ｓ−Ｖｒｓ）によってオン・オフが制御される。
【００３５】
拡張画素回路１の通信用データ出力スイッチ３３の他端と撮像用データ出力スイッチ３４の他端は、共通に出力信号線４１に接続される。
【００３６】
出力信号線４１の一端は、列選択スイッチ（ｃｏｌｕｍｎ ｓｅｌｅｃｔ）３５を介して、拡張画素回路出力データ信号Ｓ−Ｏｕｔに接続される。
【００３７】
列選択スイッチ（３５）は、列出力スイッチ制御信号（Ｓ−Ｃｓ）によってオン・オフが制御される。なお、図１では、単位画素回路である１つの拡張画素回路１の構成が示されており、隣の行、隣の列の拡張画素回路等は省略されている。
【００３８】
特に制限されないが、図１に示す例では、スイッチ３１、３２、３３、３４、３５はＮＭＯＳスイッチ（ＮＭＯＳパストランジスタ）で構成され、ゲートに制御信号Ｓ−Ｈｓ、Ｓ−Ｄｔ、Ｓ−Ｃｃｓ、Ｓ−Ｃｓがそれぞれ接続され、ゲート電位がＨｉｇｈ電位のときオン状態、Ｌｏｗ電位のときオフ状態とされる。なお、各スイッチはＮＭＯＳスイッチに限定されるものでなく、ＰＭＯＳスイッチ、あるいはＣＭＯＳスイッチであってもよい。
【００３９】
画素回路１１と、通信用保持回路１２と、撮像用保持回路１３にはリセット信号Ｓ―Ｒｓｔが入力される。
【００４０】
通信用保持データ出力増幅回路２１は、通信用保持回路１２の蓄積電荷に応じたレベル（例えば通信用保持回路１２において電荷を蓄積するコンデンサの端子電圧）を受け、増幅出力（電圧出力）するバッファ回路で構成され、該バッファ回路の入力インピーダンスは高く、通信用保持回路１２の蓄積電荷は、通信用保持データ出力増幅回路２１の入力端子には流れこまない（すなわち、通信用保持回路１２の電荷は通信用保持データ出力増幅回路２１の入力には転送されない）。同様に、撮像用保持データ出力増幅回路２２は、撮像用保持回路１３の蓄積電荷に応じたレベル（例えば撮像用保持回路１３において電荷を蓄積するコンデンサの端子電圧）を受け増幅出力（電圧出力）するバッファ回路で構成され、該バッファ回路の入力インピーダンスは高く、撮像用保持回路１２の蓄積電荷は、撮像用保持データ出力増幅回路２２の入力端子には流れこまない（撮像用保持回路１３の電荷は撮像用保持データ出力増幅回路２２の入力には転送されない）。特に制限されないが、増幅回路２１、２２は例えばボルテージフォロワ接続の差動アンプで構成してもよい。
【００４１】
図２は、本実施形態のイメージセンサ通信装置の構成の一例を示す図である。ＣＭＯＳイメージセンサ通信装置１００は、複数の拡張画素回路１が、２次元アレイ状（格子状）に配置されている。同一列の拡張画素回路１の拡張画素回路（図１の１）の通信用データ出力スイッチ３３の他端と撮像用データ出力スイッチ３４の他端は、列に共通の出力信号線４１に接続され、出力信号線４１は、列選択スイッチ３５を介して、各列共通に設けられた拡張画素回路出力データ信号（線）４２（Ｓ−Ｏｕｔ）に接続され、Ｓ−Ｏｕｔは出力回路４（出力ドライバ）に接続される。
【００４２】
垂直制御回路２は、行毎に、制御信号Ｓ−Ｂを出力する。図２の制御信号Ｓ−Ｂは、図１の信号Ｓ−Ｒｓｔ、Ｓ−Ｈｓ、Ｓ−Ｃｃｓ、Ｓ−Ｄｔ、Ｓ−Ｖｒｓを含む。
【００４３】
列選択スイッチ３５は、水平走査制御回路３から出力される列出力スイッチ制御信号（Ｓ−Ｃｓ）を対応する列選択スイッチ３５に接続される。
【００４４】
制御信号Ｓ−Ｂは、図１の露光時間用スイッチ制御信号Ｓ−Ｈｓ、通信用保持データ転送スイッチ制御信号Ｓ−Ｄｔ及び通信用データ出力スイッチ制御信号Ｓ−Ｃｃｓを説明のために便宜上一本の線で表現したものである。
【００４５】
図２において、リセット信号Ｓ−Ｒｓｔは、 拡張画素回路１の画素回路（１１）と、通信用保持回路（１２）と、撮像用保持回路（１３）に入力されるほか、水平走査制御回路３、垂直制御回路２に入力される。
【００４６】
次に図１乃至図６を参照して、本実施形態の動作について説明をする。
【００４７】
図１の通信用保持回路１２及び撮像用保持回路１３はコンデンサによる電荷を蓄積する回路で構成する。出力回路４は、拡張画素回路出力データ信号Ｓ−Ｏｕｔ上のアナログ電圧を受けるアナログ増幅回路やアナログ増幅回路から出力されるアナログ信号をデジタル信号に変換するアナログ・デジタル・コンバータで構成される。
【００４８】
図３は、図２の格子状に２次元配置された複数の拡張画素回路１のうち、代表的な一つのタイミングチャートを表す。図３のタイミングチャートのリセット信号Ｓ−Ｒｓｔ、スイッチ制御信号Ｓ−Ｈｓ、Ｓ−Ｃｃｓ、Ｓ−Ｄｔ、Ｓ−Ｖｒｓ、Ｓ−Ｃｓは、図１のリセット制御信号Ｓ−Ｒｓｔ、拡張画素回路１のスイッチ３１〜３５のスイッチ制御信号である。前述したように、これらのスイッチ３１〜３５はＮＭＯＳトランジスタで構成されており、スイッチ制御信号がＨｉｇｈレベル（電源ＶＤＤ電位）でオンするものとする。
【００４９】
図４は、図３のタイミング図の動作を説明するための図であり、図３のｔ０からｔ８の時間における露光時間用スイッチ３１の状態、通信用保持回路１２の電荷分布、通信用保持データ転送スイッチ３２の状態、撮像用保持回路１３の電荷分布を模式的に示したものである。
【００５０】
図４では、図１の露光時間用スイッチ３１がオフの状態を３１−１で表し、オンの状態を３１−２で表している。また、図１の通信用保持データ転送スイッチ３２がオフの状態を３２−１で表し、オンの状態を３２−２で表している。さらに、図１の通信用保持回路１２における電荷の保持状態を示す電荷分布１２−１と、撮像用保持回路１３における電荷の保持状態を示す電荷分布１３−１を用いて動作を説明する。
【００５１】
図４のｔ０は図３のｔ０に対応し、リセット信号Ｓ−Ｒｓｔが解除されたタイミング（ＨｉｇｈからＬｏｗに遷移したタイミング）を示す。ｔ０における拡張画素回路１の電荷分布を図４のｔ０で表す（図４の（ａ））。ｔ０では、通信用保持回路１２と撮像用保持回路１３の電荷分布を示す１２−１と１３−１は、電荷が蓄積されていない初期状態となっている。
【００５２】
図３のｔ１は、Ｓ−ＨｓがＨｉｇｈであり、ＳＤｔがＬｏｗであり、図１の露光時間用スイッチ３１がオンであり、図１の通信用保持データ転送スイッチ３２がオフの状態を表す。
【００５３】
ｔ１では、露光時間用スイッチ３１がオンのため、画素回路１１が受光して発生した電荷Ｃが、図４の（ｂ）のＳ−ｐＣの矢印の通り、通信用保持回路１２に蓄積される。
【００５４】
このとき、通信用保持データ転送スイッチ３２がオフのため、撮像用保持回路１３には、電荷Ｃは伝達されない。その後、ｔ０とｔ１の状態を繰り返す。
【００５５】
図３のｔ２は、ｔ０とｔ１が繰り返された後の状態を表す。図４のｔ２（図４の（ｃ））は、通信用保持回路１２の電荷分布１２−１は、繰り返し電荷が通信用保持回路１２に蓄積された状態を示す。
【００５６】
さらに、露光時間用スイッチ３１がオフ（Ｓ−ＨｓがＬｏｗ）、通信用データ出力スイッチ３３がオン（Ｓ−ＣｃｓがＨｉｇｈ）、撮像用データ出力スイッチ３４がオフの状態となる（Ｓ−ＤｔがＬｏｗ）。
【００５７】
これにより、通信保持回路１２に蓄積した電荷を拡張画素回路出力データ信号Ｓ−Ｏｕｔで参照でき、図４の（ｃ）の３３−１で表す。また、列選択スイッチ３５がオンとなり、拡張画素回路出力データ信号Ｓ−Ｏｕｔが、図２のＣＭＯＳイメージセンサ通信装置１００から出力される。この出力を通信用として取り扱えばよい。
【００５８】
なお、列選択スイッチ３５がオンとなる期間（Ｓ−Ｃｓのパルス幅）が、露光時間用スイッチ制御信号Ｓ−Ｈｓに対して短いのは、露光時間用スイッチ制御信号Ｓ−ＨｓがＬｏｗレベルであるうちに、選択されている行の他の列を、ＣＭＯＳイメージセンサ通信装置１００から出力するためである。
【００５９】
図３のｔ３では、通信用保持データ転送スイッチ３２がオンとなる（Ｓ−ＤｔがＨｉｇｈ）。この状態は、図４を参照して、ｔ３（図４の（ｄ））のように、通信用保持回路１２に蓄積された電荷がＳ−ｃｖＣの矢印の通り、撮像用保持回路１３に移動する。なお、特に制限されるものではないが、撮像用保持回路１３の電荷蓄積用のコンデンサ（不図示）の一側電極（図４の模式図で１３−１の底に対応する側の電極）を、例えばＧＮＤ（グランド）電位とした場合、通信用保持回路１２の電荷蓄積用コンデンサの一側電極（図４の模式図で１２−１の底に対応する電極）は正電位（正のオフセット電位）にバイアスされ、この構成を模式的に表すため、図４では、通信用保持回路１２の電荷分布１２−１の底（の電位）が、撮像用保持回路１３の電荷分布１３−１の底（の電位）よりも高く表わされている。そして、通信用保持データ転送スイッチ３２がオンのときは、この電位差により、通信用保持回路１２の蓄積電荷は、図４の（ｄ）のＳ−ｃｖＣに示すように、通信用保持回路１２側から撮像用保持回路１３側に流入する。
【００６０】
図３のｔ４は、ｔ３の状態が続いている。これは、図４のｔ４に対応しており（図４の（ｅ））、通信用保持回路１２には電荷が蓄積されていない。
【００６１】
図３のｔ５では、Ｓ−ＨｓはＨｉｇｈ、Ｓ−ＤｔはＨｉｇｈからＬｏｗとなり、ｔ１と同じ動作となる。図４を参照して、ｔ５（図４の（ｆ））は、ｔ１と同じように、通信用保持回路１２に電荷が蓄積されるが、ｔ５では、撮像用保持回路１３の電荷分布１３ー１に、これまで蓄積された電荷がそのまま保持されていることを示している。
【００６２】
図３のｔ６は、ｔ５と同じ動作をしている。このとき、図４の（ｇ）を参照して、ｔ６では、撮像用保持回路１３の電荷分布１３ー１にｔ５と差分無く蓄積していることを示し、通信用保持回路１２の電荷分布１２ー１に新たに電荷を蓄積していることを示す。
【００６３】
図３のｔ７は、ｔ３と同じ動作をする。図４を参照して、ｔ６（図４の（ｇ））からｔ７（図４の（ｈ））に通信用保持回路１２に蓄積された電荷分布１２−１の電荷と、ｔ６以前に撮像用保持回路１３に蓄積していた電荷が合計されていることを撮像用保持回路１３の電荷分布１３ー１に示す。
【００６４】
図３のｔ８は、Ｓ−ＨｓがＬｏｗ、Ｓ−ＣｃｓがＬｏｗ、Ｓ−ＶｒｓがＨｉｇｈであり、露光時間用スイッチ３１がオフ、通信用データ出力スイッチ３３がオフ、撮像用データ出力スイッチ３４がオンの状態となる。
【００６５】
これにより、撮像用保持回路１３に蓄積した電荷を、拡張画素回路出力データ信号Ｓ−Ｏｕｔで参照でき、図４の（ｉ）の３３−２で表す。また、Ｓ−ＣｓにＨｉｇｈパルスが与えられ、列選択スイッチ３５がオンとなり、この拡張画素回路出力データ信号Ｓ−Ｏｕｔは、拡張画素回路出力データ信号Ｓ−Ｏｕｔが、図２のＣＭＯＳイメージセンサ通信装置１００から出力される。この出力を、撮像用データとして取り扱えばよい。
【００６６】
図５は、図３にタイミングチャートを示した行に隣接した行のタイミングチャートを示す。図５は、Ｓ−Ｒｓｔを除く信号が、図３のタイミングチャートより一つ遅れたタイミングである。このため、拡張画素回路出力データ信号Ｓ−Ｏｕｔが、行毎に、出力ノード４１に同時に出力されないように構成できる。これにより、図２のＣＭＯＳイメージセンサ通信装置１００の出力回路４は、図６のように情報を外部に出力する。図６においてｔは、時間の経過を示している。
【００６７】
出力回路４から出力される１フレームの情報（図６（ｄ））は、複数の通信フレーム情報と１つの撮像フレーム情報を含む（図６（ｃ））。
【００６８】
ここで、通信フレーム情報は、拡張画素回路１の通信用保持回路１２を参照した情報である。通信フレーム情報は、複数の行情報を含む。１つの行情報は、図１の同一行の複数の列の信号線４１の出力信号である。１つの行情報は、複数の画素情報を含む（図６（ｂ）と（ａ）参照）。
【００６９】
撮像フレーム情報は、拡張画素回路１の撮像用保持回路１３を参照した情報である。通信フレーム情報は、露光時間を短く制御した通信情報であり、撮像フレーム情報は、露光時間を長く制御した撮像情報である。
【００７０】
以上説明したように本発明によれば、通信用と撮像用の露光時間制御が可能となり、イメージセンサの画素回路を通信用途と撮像用途で利用できるようになる。さらに、通信用途と撮像用途で、座標が一致するため、補正回路を組み込む必要がなく、小規模な回路でシステムを構築可能となる。
【００７１】
前記実施形態では、図３等に示したように、露光時間用スイッチ制御信号Ｓ−Ｈｓのオン・オフの比率は等しく設定されているが、別の実施形態として、露光時間用スイッチ制御信号Ｓ−Ｈｓのオン・オフの比率（デューティ比）を変更してもよい。
【００７２】
＜実施形態２＞
図７は、例示的な別の実施形態の構成の一例を示す図である。図７を参照すると、通信用保持回路１２と通信用保持データ転送スイッチ３２の間にスイッチ３１−ａと通信用保持回路１２−ａとが直列形態に接続され、図１の通信用保持データ出力増幅回路２１の代わりに、差動増幅回路である通信用保持データ差分出力増幅回路２１−ａを備えている。通信用保持データ差分出力増幅回路２１−ａは、通信用保持回路１２と、通信用保持回路１２−ａの差分を出力する。スイッチ３１−ａはスイッチ制御信号Ｓ−Ｈｓ−ａによりオン・オフが制御される。特に制限されないが、スイッチ制御信号Ｓ−Ｈｓ−ａは、露光時間用スイッチ制御信号Ｓ−Ｈｓ（図３等のタイミング波形参照）の反転信号（相補信号）として与えられ、露光時間用スイッチ制御信号Ｓ−Ｈｓが活性状態とされ、露光時間用スイッチ３１がオンのとき、スイッチ３１−ａはオフ、露光時間用スイッチ制御信号Ｓ−Ｈｓが非活性状態とされ、露光時間用スイッチ３１がオフのとき、スイッチ３１−ａはオンとされ、通信用保持回路１２に蓄積保持された電荷が通信用保持回路１２−ａに転送されて蓄積保持される。通信用保持データ差分出力増幅回路２１−ａは、通信用保持回路１２と通信用保持回路１２−ａの蓄積電荷の差分（信号Ｓ−Ｈｓの半周期Δｔに対応する電荷の差分ΔＩ）に対応するレベルを差動増幅し、通信用データ出力スイッチ３３がオンのとき、この差分信号を、通信用の信号として、出力信号線４１に出力する。本実施形態において、露光時間用スイッチ制御信号Ｓ−Ｈｓと相補のスイッチ制御信号Ｓ−Ｈｓ−ａによる制御以外は、図３、図４のタイミング図等を参照して説明した前記実施形態の動作と同じであるため、その説明は省略する。
【００７３】
なお、上記の特許文献、非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【符号の説明】
【００７４】
１ 拡張画素回路
２ 垂直制御回路
３ 水平走査制御回路
４ 出力回路
１１ 画素回路
１２、１２−ａ 通信用保持回路
１３ 撮像用保持回路
２１ 通信用保持データ出力増幅回路
２１−ａ 通信用保持データ差分出力増幅回路
２２ 撮像用保持データ出力増幅回路
３１ 露光時間用スイッチ
３１−ａ スイッチ
３２ 通信用保持データ転送スイッチ
３３ 通信用データ出力スイッチ
３４ 撮像用データ出力スイッチ
３５ 列選択スイッチ
３６ スイッチ
４１ 出力線
４２ 拡張画素回路出力データ信号線（Ｓ−Ｏｕｔ）
１００ ＣＭＯＳイメージセンサ通信装置
【技術分野】
【０００１】
本発明は、受光した光を電気信号に変換する画素回路を備えた装置に関し、特に、画素回路を用いて通信を行う装置と方法に関する。
【背景技術】
【０００２】
受光した光を電気信号に変換する複数の撮像素子を、行と列の二次元アレイ状に備えたイメージセンサ装置は、撮像目的に利用されているが、光通信装置としても利用される。この利用目的は、現実空間と電子情報を組み合わせたサービスであるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）と親和性が高い。例えば、平成２１年度経済産業省委託事業「ＩＴとサービスの融合による新市場創出促進事業（ｅ空間実証事業）」「街と興味を結ぶフィールド・エンゲージメント・サービス」実証事業（ｅ 空間 Ｋａｎｓａｉ）成果報告書４−２（非特許文献１）のように、通信用と撮像用の二つのイメージセンサ装置を用いて実現している。しかし、小型化や低消費電力化の点で問題が残されている。
【０００３】
このＡＲを実現するための構成として、例えば特許文献１の記載が参照される。特許文献１には、被写体を撮像する撮像装置において、情報を符号化した光学信号を発信する発信光源を備えた被写体に対応する画像信号を入力するイメージセンサと、前記イメージセンサに近接する位置に略画角を合わせて配置され、前記発信光源が発信する前記光学信号を受信する光通信センサと、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号、及び前記光通信センサにより受信された前記光学信号を復号した情報を用いた処理を行う信号処理手段とを備え、画像の解像度を劣化させることなく、画像と光信号を同時に取得する可能とする構成が開示されている。前記信号処理手段は、前記光学信号を復号した情報に対応する画像を生成する画像生成手段と、前記イメージセンサを構成する画素と前記光通信センサを構成する画素とを対応付けして、前記イメージセンサにより入力された前記画像信号に、前記画像生成手段により生成された前記画像の画像信号を重畳する処理を行う画像重畳手段とを備え、表示手段は、前記信号処理手段により重畳された画像信号に対応する画像を表示する。
【０００４】
また、特許文献２には、規則的に配列された複数の光電変換素子及びＣＣＤからなるＣＣＤセンサ（２次元アレイセンサ）と、光電変換素子から転送された電荷が入力されるＡ／Ｄコンバータとを有し、光電変換素子のそれぞれが生成した電荷を第１の期間を周期として所定の順番でＡ／Ｄコンバータへ転送し、Ａ／Ｄコンバータから映像信号を出力する撮像素子であって、特定の光電変換素子からは第１の周期よりも早い第２の周期でＡ／Ｄコンバータへ電荷を転送させる手段を備え、Ａ／Ｄコンバータは、第１の期間を周期として特定の光電変換素子から転送されてきた電荷に応じては映像信号として出力し、第２の期間を周期として特定の光電変換素子から転送されてきた電荷に応じては、可視光信号として、映像信号とは異なる経路へ出力する構成が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２０１６８１号公報
【特許文献２】特開２００７−１５１１４３号公報
【非特許文献】
【０００６】
【非特許文献１】平成２１年度「ＩＴとサービスの融合による新市場創出促進事業（ｅ空間実証事業）」「街と興味を結ぶフィールド・エンゲージメント・サービス」実証事業（ｅ 空間 Ｋａｎｓａｉ）成果報告書 第４章“４−２ 直感的な情報取得を可能とするＡＲ可視光受信手段の確立”、第１１２頁〜第１１９頁、［ｏｎｌｉｎｅ］、平成２２年３月、株式会社電通、［平成２３年５月２０日検索］、インターネット（ＵＲＬ：http://unit.aist.go.jp/cfsr/it-services-fusion/e-space/dentsu_report.pdf）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明者が行った関連技術の分析を以下に与える。
【０００８】
上記したように、通信用と撮像用の二つのイメージセンサ装置を用いる場合、小型化や低消費電力化の点で問題がある。さらに以下のような問題もある。
【０００９】
画素回路を用いた通信用センサは、一般に、露光時間を短くすることで、より高速に大量の通信データを受信できるように、設計が行われる。一方、画素回路を用いた撮像用センサには、撮像する被写体を表現するために必要な露光時間を確保しなければならない、という制約が課せられる。
【００１０】
したがって、画素回路を用いて通信用センサと撮像用センサを実現する場合、露光時間を通信用途に合わせると、撮像する被写体を表現できない、という問題が生じる。また露光時間を撮像用途に合わせて被写体を表現すると、通信の高速化が困難である、という問題が生じる。
【００１１】
さらに、画素回路を用いて、通信用センサと撮像用センサとに個別に用意する場合、二つの画素回路があるため、これらを近傍に並べたとしても物理的に異なる位置に配置されることになる。通信用センサと撮像用センサの二つの画素回路を用いたイメージセンサ装置において、同一の被写体を撮影したとき、画素回路の物理的な位置差について座標補正を行う仕組みが必要となる。すなわち、二つの画素回路を必要とし、さらに座標補正を行う仕組み（制御機構）の追加が必要とされ、規模が大きくなる。
【００１２】
上記特許文献１では、イメージセンサにより入力された画像信号に画像生成手段により生成された画像信号を重畳する処理を行う画像重畳手段が必要となり、小型化や低消費電力化を阻害する要因となっている。
【００１３】
また、上記特許文献２では、時分割で、通信用途（可視光通信）と撮像用途（通常のスキャン動作）を実現しており、通信用センサと撮像用センサを物理的に個別に用意していたものを、時間軸上で個別に用意したものに相当し、同一時刻の光を利用していないため、補正回路等が必要とされ、規模が大きくなる、等の問題がある。
【００１４】
したがって、本発明の主たる目的の１つは、画素回路を用いて通信を行うにあたり、通信の高速化、装置の小型化、低消費電力化を実現可能とする装置、及び方法を提供することにある。また本発明は、上記目的に加えて、補正等を不要とし規模の増大を抑制する装置、及び方法を提供することもその目的としている。
【課題を解決するための手段】
【００１５】
上記問題点の少なくとも１つを解決するため、本発明は、概略以下の構成とされる（ただし、以下に制限されない）。
【００１６】
視点の１つによれば、画素回路と、前記画素回路で発生した電荷を蓄積保持する第１の保持回路と、前記第１の保持回路と第１の出力信号線間に接続され、第１の制御信号によりオン・オフが制御され、オン状態のとき、前記第１の保持回路に保持された電荷を前記第１の出力信号線に通信用として出力する第１のスイッチと、第２の制御信号によりオン・オフが制御される第２のスイッチを介して前記第１の保持回路に接続され、前記第２のスイッチがオン状態のとき、前記第１の保持回路に保持された電荷を蓄積保持する第２の保持回路と、前記第２の保持回路と前記第１の出力信号線間に接続され、第３の制御信号によりオン・オフが制御され、オン状態のとき、前記第２の保持回路に保持された電荷を前記第１の出力信号線に撮像用として出力する第３のスイッチと、を含む拡張画素回路を備えた、イメージセンサ通信装置が提供される。
【００１７】
別の視点によれば、
（Ａ）画素回路と第１の保持回路間の露光時間用スイッチのオンとオフを所定回繰返して前記第１の保持回路に電荷を蓄積し、
（Ｂ）前記第１の保持回路に蓄積保持された電荷に対応したレベルを出力する第１の増幅回路の出力信号を通信用の信号として、オン状態とした通信用データ出力スイッチを介して出力信号線に出力し、
（Ｃ）前記第１の保持回路と第２の保持回路間の転送スイッチをオンし、前記通信用データ出力スイッチをオフとし、それまでに前記第１の保持回路に蓄積保持された電荷を前記第２の保持回路に移し変えたのち、前記露光時間用スイッチのオンとオフを所定回繰返して前記画素回路の電荷を前記第１の保持回路から前記第２の保持回路に転送し前記第２の保持回路に電荷を蓄積してゆき、
（Ｄ）前記転送スイッチをオフとしてから、
前記（Ａ）から（Ｃ）を繰り返し、前記第２の保持回路の電荷に対応したレベルを出力する第２の増幅回路の出力信号を撮像用の信号として、オン状態とした撮像用データ出力スイッチを介して前記出力信号線に出力し、
前記（Ａ）から前記（Ｃ）を所定回（Ｎ回）の繰り返しによるＮ個の通信用の信号が出力されたのちに１つの撮像用の信号が出力される、通信方法が提供される。
【発明の効果】
【００１８】
本発明によれば、通信の高速化、装置の小型化、低消費電力化を実現可能としている。さらに、本発明によれば、補正等を不要とし規模の増大を抑制することができる。本発明による上記外の作用・効果は、本発明を限定する意味を有しない好適な形態、実施形態、さらに図面等から当業者には明らかとなろう。
【図面の簡単な説明】
【００１９】
【図１】本発明の例示的な一実施形態の拡張画素回路の構成の一例を示す図である。
【図２】本発明の例示的な一実施形態のイメージセンサ通信装置の構成の一例を示す図である。
【図３】本発明の例示的な一実施形態のイメージセンサ通信装置の動作例を示すタイミング図である。
【図４】本発明の例示的な一実施形態のイメージセンサ通信装置の動作原理を説明する説明図である。
【図５】本発明の例示的な一実施形態のイメージセンサ通信装置の動作例を示すタイミング図である。
【図６】本発明の例示的な一実施形態のイメージセンサ通信装置の出力信号を説明する図である。
【図７】本発明の例示的な別の実施形態のイメージセンサ通信装置の構成の一例を示す図である。
【発明を実施するための形態】
【００２０】
発明を実施するための好ましいいくつかの形態について説明する。いくつかの好ましい形態によれば、受光した光を電気信号に変換する画素回路（１１）と、前記画素回路（１１）で発生した電荷を蓄積保持する第１の保持回路（１２：通信用保持回路）と、前記第１の保持回路（１２）と第１の出力信号線（４１）間に接続され、第１の制御信号（Ｃ−Ｃｃｓ：出力スイッチ制御信号）によりオン・オフが制御され、オン状態のとき、前記第１の保持回路（１２）に蓄積保持されている電荷に対応するレベルの信号を前記第１の出力信号線（４１）に出力する第１のスイッチ（３３：通信用データ出力スイッチ）と、
第２の制御信号（Ｓ−Ｄｔ：通信用保持データ転送スイッチ制御信号）によりオン・オフが制御される第２のスイッチ（３２：通信用保持データ転送スイッチ）を介して、前記第１の保持回路（１２）に接続され、前記第２のスイッチ（３２）がオン状態のとき、前記第１の保持回路（１２）に保持された電荷を蓄積保持する第２の保持回路（１３：撮像用保持回路）と、
前記第２の保持回路（１３）と前記第１の出力信号線（４１）間に接続され、第３の制御信号（Ｓ−Ｖｒｓ：撮像用データ出力スイッチ制御信号）によりオン・オフが制御され、オン状態のとき、前記第２の保持回路（１３）に蓄積保持されている電荷に対応するレベルの信号を前記第１の出力信号線（４１）に撮像用として出力する第３のスイッチ（３４：撮像用データ出力スイッチ）と、を含む拡張画素回路（１）を備えている。
【００２１】
いくつかの好ましい形態によれば、前記第１の保持回路（１２）と前記第１のスイッチ（３３）の間に第１の増幅回路（２１）を備え、前記第２の保持回路（１３）と前記第３のスイッチ（３４）の間に第２の増幅回路（２２）を備えている。前記第１の保持回路（１２）に保持される電荷に応じたレベルの信号を入力とする前記第１の増幅回路（２１）の出力信号が、前記第１のスイッチ（３３）がオンのとき、前記第１の出力信号線（４１）に出力される（このとき、前記第１の保持回路（１２）に保持される電荷は転送されず、前記第１の保持回路（１２）にそのまま保持される）。前記第２の保持回路（１３）に保持される電荷に応じたレベルの信号を入力とする前記第２の増幅回路（２２）の出力信号が、前記第３のスイッチ（３４）がオンのとき、前記第１の出力信号線（４１）に出力される構成としてもよい（このとき、前記第２の保持回路（１３）に保持される電荷は転送されず、前記第２の保持回路（１３）にそのまま保持される）。
【００２２】
いくつかの好ましい形態によれば、前記画素回路（１１）と前記第１の保持回路（１２）間に、第４の制御信号（Ｓ−Ｈｓ：露光時間用スイッチ制御信号）によりオン・オフが制御され、オン状態のとき、前記画素回路（１１）の電荷を前記第１の保持回路（１２）に転送する第４のスイッチ（３１：露光時間用スイッチ）を備えた構成としてもよい。
【００２３】
いくつかの好ましい形態によれば、前記画素回路（１１）、前記第１の保持回路（１２）、及び、前記第２の保持回路（１３）を共通にリセットする第５の制御信号（Ｓ−Ｒｓｔ：リセット信号）を備えた構成としてもよい。第５の制御信号（Ｓ−Ｒｓｔ）が活性状態のとき、前記画素回路（１１）、前記第１の保持回路（１２）、及び、前記第２の保持回路（１３）は、リセットされ、保持している電荷は放電され空となる。
【００２４】
いくつかの好ましい形態によれば、前記拡張画素回路（１）を単位画素として、複数の前記拡張画素回路（１）を行と列の２次元アレイ状に備え、同一列を構成する複数の前記拡張画素回路に対して前記第１の出力信号線（４１）を共通に備え、各列の前記第１の出力信号線（４１）は、前記２次元アレイの列に対して平行に配設され、前記第１の出力信号線（４１）は一端で、対応する第６の制御信号（Ｓ−Ｃｓ：列選択（Ｃｏｌｕｍｎ ｓｅｌｅｃｔ）スイッチ制御信号）によりオン・オフが制御される第５のスイッチ（３５：列選択スイッチ）を介して、複数の列に対して共通に設けられ、前記２次元アレイの行に平行な第２の出力信号線（４２：Ｓ−Ｏｕｔ：拡張画素回路出力データ信号線）に接続される構成としてもよい。複数行のそれぞれに対して、同一行の複数の前記拡張画素回路（１）に共通に前記第１乃至第５の制御信号を出力する第１の制御回路（２：垂直制御回路）と、前記第１の出力信号線（４１）と前記第２の出力信号線（４２）の間に接続される前記第５のスイッチ（３５）を制御する第６の制御信号（Ｓ−Ｃｓ）を、各列の前記第５のスイッチ（３５）に対して出力する第２の制御回路（３：水平走査制御回路）を備えている。
【００２５】
いくつかの好ましい形態によれば、
（ａ）前記第５の制御信号（Ｓ−Ｒｓｔ）を活性化させて前記画素回路、前記第１の保持回路（１２）、前記第２の保持回路（１３）をリセットし、その後、前記第５の制御信号を非活性化して該リセットを解除し（タイミングｔ０）、
（ｂ）前記第４の制御信号（Ｓ−Ｈｓ）の予め定められた長さのパルス列を前記第４のスイッチ（３１）に供給して前記画素回路（１１）の電荷が前記第１の保持回路（１２）に蓄積して行き（タイミングｔ１）、その間、前記第１乃至第５の制御信号は非活性化状態とされ、
（ｃ）前記第４の制御信号（Ｓ−Ｈｓ）の予め定められた所定長さのパルス列の次の非活性状態のタイミング（タイミングｔ２）で、前記第１の制御信号（Ｓ−Ｃｃｓ）を活性化し、前記第１のスイッチ（３３）を介して前記第１の保持回路（１２）の蓄積電荷に対応したレベルの信号が、第１の増幅回路（２１）を介して、前記第１の出力信号線（４１）に出力され、さらに、前記第６の制御信号（Ｓ−Ｃｓ）により前記第５のスイッチ（３５）がオンして前記第１の出力信号線（４１）の信号が通信用の信号として前記第２の出力信号線（４２：Ｓ−Ｏｕｔ）に伝達され、
（ｄ）次に、前記第１の制御信号（Ｃ−Ｃｃｓ）を非活性化とし、前記第２の制御信号（Ｓ−Ｄｔ）を活性化して（タイミングｔ３）、前記第２のスイッチ（３２）をオン状態とし、前記第１の保持回路（１２）の蓄積電荷を前記第２の保持回路（１３）に転送して移し変え、
（ｅ）前記第２の制御信号（Ｓ−Ｄｔ）の活性化状態を保持し（タイミングｔ４）、前記第４の制御信号（Ｓ−Ｈｓ）の予め定められた所定長さのパルス列を前記第４のスイッチ（３１）に供給し、前記画素回路（１１）の電荷が前記第１の保持回路（１２）から、オン状態の前記第２のスイッチ（３２）を介して、前記第２の保持回路（１３）に蓄積され、
前記第２の制御信号（Ｓ−Ｄｔ）の非活性化状態として（タイミングｔ５）、前記（ｂ）から前記（ｅ）を所定回（Ｎ回）数繰り返し、
前記第３の制御信号（Ｓ−Ｖｒｓ）を活性化して、第３のスイッチ（３４）をオンとし、前記第２の保持回路（１３）の蓄積電荷に対応したレベルの信号が、第２の増幅回路（２２）から、撮像用の信号として、前記第１の出力信号線（４１）に出力され、前記第６の制御信号（Ｓ−Ｃｓ）により前記第５のスイッチ（３５）がオンして前記第１の出力信号線（４１）の信号が撮像用の信号として前記第２の出力信号線（４２：Ｓ−Ｏｕｔ）に出力され、
前記（ｂ）から前記（ｅ）を所定回（Ｎ回）の繰り返しによるＮ個の通信用の信号が前記第２の出力信号線（４２：Ｓ−Ｏｕｔ）に出力されたのち、撮像用の信号が、前記第２の出力信号線（４２：Ｓ−Ｏｕｔ）に出力される。
【００２６】
いくつかの好ましい形態によれば、隣接行の拡張画素回路では、後の行の拡張画素回路の第１乃至第４の制御信号は、前の行の拡張画素回路の第１乃至第４の制御信号よりそれぞれタイミング的にずれている。前記第６の制御信号（Ｓ−Ｃｓ）のパルス幅は、前記第４の制御信号（Ｓ−Ｈｓ）のパルスの非活性期間よりも短い。
【００２７】
好ましい形態の１つによれば、前記第１の保持回路（１２）と、前記第２のスイッチ（３２）の間に、第７の制御信号（Ｓ−Ｈｓ−ａ）によりオン・オフが制御される第６のスイッチ（３１−ａ）と、前記第６のスイッチがオンのとき、前記第１の保持回路（１２）が保持する電荷を受け、蓄積保持する第３の保持回路（１２−ａ）の直列回路を備え、前記第１の増幅回路（２１−ａ）は、前記第１の保持回路（１２）と前記第３の保持回路（１２−ａ）の電荷の差分を増幅して出力する。
【００２８】
好ましい形態による方法においては、
（Ａ）画素回路（１１）と第１の保持回路（１２）間の露光時間用スイッチ（３１）のオンとオフを所定回繰返して前記第１の保持回路（１２）に電荷を蓄積し、
（Ｂ）前記第１の保持回路（１２）に蓄積保持された電荷に対応したレベルを出力する第１の増幅回路（２１）の出力信号を通信用の信号として、オン状態とした通信用データ出力スイッチ（３３）を介して出力信号線（４１）に出力し、
（Ｃ）前記第１の保持回路（１２）と第２の保持回路（１３）間の転送スイッチ（３２）をオンし、前記通信用データ出力スイッチ（３３）をオフとし、それまでに前記第１の保持回路（１２）に蓄積保持された電荷を前記第２の保持回路（１３）に移し変えたのち、前記露光時間用スイッチ（３１）のオンとオフを所定回繰返して前記画素回路（１１）の電荷を前記第１の保持回路（１２）から前記第２の保持回路（１３）に転送して前記第２の保持回路（１３）に電荷を蓄積してゆき、
（Ｄ）前記転送スイッチ（３２）をオフとしてから、
前記（Ａ）から（Ｃ）を繰り返し、
前記第２の保持回路（１３）の電荷に対応したレベルを出力する第２の増幅回路（２２）の出力信号を撮像用の信号として、オン状態とした撮像用データ出力スイッチ（３４）を介して前記出力信号線（４１）に出力し、
前記（Ａ）から前記（Ｃ）を所定回（Ｎ回）の繰り返しによるＮ個の通信用の信号が出力されたのちに１つの撮像用の信号が出力される。
【００２９】
好ましい形態によれば、イメージセンサ通信装置は、複数の画素回路の各々を、通信用センサと撮像用センサの二つの目的に利用できるように露光時間の制御を行う。以下、例示的ないくつかの実施形態に即して説明する。
【００３０】
＜実施形態１＞
図１は、例示的な実施形態の構成の一例を示す図であり、単位画素回路の回路構成が示されている。この単位画素回路は、本明細書では、拡張画素回路１という。図１を参照すると、拡張画素回路１は、例えば光検出器として機能するフォトダイオードからなる画素回路１１と、通信用保持回路１２と、撮像用保持回路１３と、通信用保持回路１２の出力に入力が接続された通信用保持データ出力増幅回路２１と、撮像用保持回路１３の出力に入力が接続された撮像用保持データ出力増幅回路２２と、画素回路１１の出力と通信用保持回路１２の入力間に接続された露光時間用スイッチ３１と、通信用保持データ出力増幅回路２１の出力に一端が接続された通信用データ出力スイッチ３３と、通信用保持回路１２の出力と撮像用保持回路１３の入力間に接続された通信用保持データ転送スイッチ３２と、撮像用保持データ出力増幅回路２２の出力に一端が接続された撮像用データ出力スイッチ３４と、を備えている。
【００３１】
露光時間用スイッチ３１は露光時間用スイッチ制御信号（Ｓ−Ｈｓ）によってオン・オフが制御される。
【００３２】
通信用データ出力スイッチ３３は、通信用データ出力スイッチ制御信号（Ｓ−Ｃｃｓ）によってオン・オフが制御される。
【００３３】
通信用保持データ転送スイッチ３２は、通信用保持データ転送スイッチ制御信号（Ｓ−Ｄｔ）によってオン・オフが制御される。
【００３４】
撮像用データ出力スイッチ３４は、撮像用データ出力スイッチ制御信号（Ｓ−Ｖｒｓ）によってオン・オフが制御される。
【００３５】
拡張画素回路１の通信用データ出力スイッチ３３の他端と撮像用データ出力スイッチ３４の他端は、共通に出力信号線４１に接続される。
【００３６】
出力信号線４１の一端は、列選択スイッチ（ｃｏｌｕｍｎ ｓｅｌｅｃｔ）３５を介して、拡張画素回路出力データ信号Ｓ−Ｏｕｔに接続される。
【００３７】
列選択スイッチ（３５）は、列出力スイッチ制御信号（Ｓ−Ｃｓ）によってオン・オフが制御される。なお、図１では、単位画素回路である１つの拡張画素回路１の構成が示されており、隣の行、隣の列の拡張画素回路等は省略されている。
【００３８】
特に制限されないが、図１に示す例では、スイッチ３１、３２、３３、３４、３５はＮＭＯＳスイッチ（ＮＭＯＳパストランジスタ）で構成され、ゲートに制御信号Ｓ−Ｈｓ、Ｓ−Ｄｔ、Ｓ−Ｃｃｓ、Ｓ−Ｃｓがそれぞれ接続され、ゲート電位がＨｉｇｈ電位のときオン状態、Ｌｏｗ電位のときオフ状態とされる。なお、各スイッチはＮＭＯＳスイッチに限定されるものでなく、ＰＭＯＳスイッチ、あるいはＣＭＯＳスイッチであってもよい。
【００３９】
画素回路１１と、通信用保持回路１２と、撮像用保持回路１３にはリセット信号Ｓ―Ｒｓｔが入力される。
【００４０】
通信用保持データ出力増幅回路２１は、通信用保持回路１２の蓄積電荷に応じたレベル（例えば通信用保持回路１２において電荷を蓄積するコンデンサの端子電圧）を受け、増幅出力（電圧出力）するバッファ回路で構成され、該バッファ回路の入力インピーダンスは高く、通信用保持回路１２の蓄積電荷は、通信用保持データ出力増幅回路２１の入力端子には流れこまない（すなわち、通信用保持回路１２の電荷は通信用保持データ出力増幅回路２１の入力には転送されない）。同様に、撮像用保持データ出力増幅回路２２は、撮像用保持回路１３の蓄積電荷に応じたレベル（例えば撮像用保持回路１３において電荷を蓄積するコンデンサの端子電圧）を受け増幅出力（電圧出力）するバッファ回路で構成され、該バッファ回路の入力インピーダンスは高く、撮像用保持回路１２の蓄積電荷は、撮像用保持データ出力増幅回路２２の入力端子には流れこまない（撮像用保持回路１３の電荷は撮像用保持データ出力増幅回路２２の入力には転送されない）。特に制限されないが、増幅回路２１、２２は例えばボルテージフォロワ接続の差動アンプで構成してもよい。
【００４１】
図２は、本実施形態のイメージセンサ通信装置の構成の一例を示す図である。ＣＭＯＳイメージセンサ通信装置１００は、複数の拡張画素回路１が、２次元アレイ状（格子状）に配置されている。同一列の拡張画素回路１の拡張画素回路（図１の１）の通信用データ出力スイッチ３３の他端と撮像用データ出力スイッチ３４の他端は、列に共通の出力信号線４１に接続され、出力信号線４１は、列選択スイッチ３５を介して、各列共通に設けられた拡張画素回路出力データ信号（線）４２（Ｓ−Ｏｕｔ）に接続され、Ｓ−Ｏｕｔは出力回路４（出力ドライバ）に接続される。
【００４２】
垂直制御回路２は、行毎に、制御信号Ｓ−Ｂを出力する。図２の制御信号Ｓ−Ｂは、図１の信号Ｓ−Ｒｓｔ、Ｓ−Ｈｓ、Ｓ−Ｃｃｓ、Ｓ−Ｄｔ、Ｓ−Ｖｒｓを含む。
【００４３】
列選択スイッチ３５は、水平走査制御回路３から出力される列出力スイッチ制御信号（Ｓ−Ｃｓ）を対応する列選択スイッチ３５に接続される。
【００４４】
制御信号Ｓ−Ｂは、図１の露光時間用スイッチ制御信号Ｓ−Ｈｓ、通信用保持データ転送スイッチ制御信号Ｓ−Ｄｔ及び通信用データ出力スイッチ制御信号Ｓ−Ｃｃｓを説明のために便宜上一本の線で表現したものである。
【００４５】
図２において、リセット信号Ｓ−Ｒｓｔは、 拡張画素回路１の画素回路（１１）と、通信用保持回路（１２）と、撮像用保持回路（１３）に入力されるほか、水平走査制御回路３、垂直制御回路２に入力される。
【００４６】
次に図１乃至図６を参照して、本実施形態の動作について説明をする。
【００４７】
図１の通信用保持回路１２及び撮像用保持回路１３はコンデンサによる電荷を蓄積する回路で構成する。出力回路４は、拡張画素回路出力データ信号Ｓ−Ｏｕｔ上のアナログ電圧を受けるアナログ増幅回路やアナログ増幅回路から出力されるアナログ信号をデジタル信号に変換するアナログ・デジタル・コンバータで構成される。
【００４８】
図３は、図２の格子状に２次元配置された複数の拡張画素回路１のうち、代表的な一つのタイミングチャートを表す。図３のタイミングチャートのリセット信号Ｓ−Ｒｓｔ、スイッチ制御信号Ｓ−Ｈｓ、Ｓ−Ｃｃｓ、Ｓ−Ｄｔ、Ｓ−Ｖｒｓ、Ｓ−Ｃｓは、図１のリセット制御信号Ｓ−Ｒｓｔ、拡張画素回路１のスイッチ３１〜３５のスイッチ制御信号である。前述したように、これらのスイッチ３１〜３５はＮＭＯＳトランジスタで構成されており、スイッチ制御信号がＨｉｇｈレベル（電源ＶＤＤ電位）でオンするものとする。
【００４９】
図４は、図３のタイミング図の動作を説明するための図であり、図３のｔ０からｔ８の時間における露光時間用スイッチ３１の状態、通信用保持回路１２の電荷分布、通信用保持データ転送スイッチ３２の状態、撮像用保持回路１３の電荷分布を模式的に示したものである。
【００５０】
図４では、図１の露光時間用スイッチ３１がオフの状態を３１−１で表し、オンの状態を３１−２で表している。また、図１の通信用保持データ転送スイッチ３２がオフの状態を３２−１で表し、オンの状態を３２−２で表している。さらに、図１の通信用保持回路１２における電荷の保持状態を示す電荷分布１２−１と、撮像用保持回路１３における電荷の保持状態を示す電荷分布１３−１を用いて動作を説明する。
【００５１】
図４のｔ０は図３のｔ０に対応し、リセット信号Ｓ−Ｒｓｔが解除されたタイミング（ＨｉｇｈからＬｏｗに遷移したタイミング）を示す。ｔ０における拡張画素回路１の電荷分布を図４のｔ０で表す（図４の（ａ））。ｔ０では、通信用保持回路１２と撮像用保持回路１３の電荷分布を示す１２−１と１３−１は、電荷が蓄積されていない初期状態となっている。
【００５２】
図３のｔ１は、Ｓ−ＨｓがＨｉｇｈであり、ＳＤｔがＬｏｗであり、図１の露光時間用スイッチ３１がオンであり、図１の通信用保持データ転送スイッチ３２がオフの状態を表す。
【００５３】
ｔ１では、露光時間用スイッチ３１がオンのため、画素回路１１が受光して発生した電荷Ｃが、図４の（ｂ）のＳ−ｐＣの矢印の通り、通信用保持回路１２に蓄積される。
【００５４】
このとき、通信用保持データ転送スイッチ３２がオフのため、撮像用保持回路１３には、電荷Ｃは伝達されない。その後、ｔ０とｔ１の状態を繰り返す。
【００５５】
図３のｔ２は、ｔ０とｔ１が繰り返された後の状態を表す。図４のｔ２（図４の（ｃ））は、通信用保持回路１２の電荷分布１２−１は、繰り返し電荷が通信用保持回路１２に蓄積された状態を示す。
【００５６】
さらに、露光時間用スイッチ３１がオフ（Ｓ−ＨｓがＬｏｗ）、通信用データ出力スイッチ３３がオン（Ｓ−ＣｃｓがＨｉｇｈ）、撮像用データ出力スイッチ３４がオフの状態となる（Ｓ−ＤｔがＬｏｗ）。
【００５７】
これにより、通信保持回路１２に蓄積した電荷を拡張画素回路出力データ信号Ｓ−Ｏｕｔで参照でき、図４の（ｃ）の３３−１で表す。また、列選択スイッチ３５がオンとなり、拡張画素回路出力データ信号Ｓ−Ｏｕｔが、図２のＣＭＯＳイメージセンサ通信装置１００から出力される。この出力を通信用として取り扱えばよい。
【００５８】
なお、列選択スイッチ３５がオンとなる期間（Ｓ−Ｃｓのパルス幅）が、露光時間用スイッチ制御信号Ｓ−Ｈｓに対して短いのは、露光時間用スイッチ制御信号Ｓ−ＨｓがＬｏｗレベルであるうちに、選択されている行の他の列を、ＣＭＯＳイメージセンサ通信装置１００から出力するためである。
【００５９】
図３のｔ３では、通信用保持データ転送スイッチ３２がオンとなる（Ｓ−ＤｔがＨｉｇｈ）。この状態は、図４を参照して、ｔ３（図４の（ｄ））のように、通信用保持回路１２に蓄積された電荷がＳ−ｃｖＣの矢印の通り、撮像用保持回路１３に移動する。なお、特に制限されるものではないが、撮像用保持回路１３の電荷蓄積用のコンデンサ（不図示）の一側電極（図４の模式図で１３−１の底に対応する側の電極）を、例えばＧＮＤ（グランド）電位とした場合、通信用保持回路１２の電荷蓄積用コンデンサの一側電極（図４の模式図で１２−１の底に対応する電極）は正電位（正のオフセット電位）にバイアスされ、この構成を模式的に表すため、図４では、通信用保持回路１２の電荷分布１２−１の底（の電位）が、撮像用保持回路１３の電荷分布１３−１の底（の電位）よりも高く表わされている。そして、通信用保持データ転送スイッチ３２がオンのときは、この電位差により、通信用保持回路１２の蓄積電荷は、図４の（ｄ）のＳ−ｃｖＣに示すように、通信用保持回路１２側から撮像用保持回路１３側に流入する。
【００６０】
図３のｔ４は、ｔ３の状態が続いている。これは、図４のｔ４に対応しており（図４の（ｅ））、通信用保持回路１２には電荷が蓄積されていない。
【００６１】
図３のｔ５では、Ｓ−ＨｓはＨｉｇｈ、Ｓ−ＤｔはＨｉｇｈからＬｏｗとなり、ｔ１と同じ動作となる。図４を参照して、ｔ５（図４の（ｆ））は、ｔ１と同じように、通信用保持回路１２に電荷が蓄積されるが、ｔ５では、撮像用保持回路１３の電荷分布１３ー１に、これまで蓄積された電荷がそのまま保持されていることを示している。
【００６２】
図３のｔ６は、ｔ５と同じ動作をしている。このとき、図４の（ｇ）を参照して、ｔ６では、撮像用保持回路１３の電荷分布１３ー１にｔ５と差分無く蓄積していることを示し、通信用保持回路１２の電荷分布１２ー１に新たに電荷を蓄積していることを示す。
【００６３】
図３のｔ７は、ｔ３と同じ動作をする。図４を参照して、ｔ６（図４の（ｇ））からｔ７（図４の（ｈ））に通信用保持回路１２に蓄積された電荷分布１２−１の電荷と、ｔ６以前に撮像用保持回路１３に蓄積していた電荷が合計されていることを撮像用保持回路１３の電荷分布１３ー１に示す。
【００６４】
図３のｔ８は、Ｓ−ＨｓがＬｏｗ、Ｓ−ＣｃｓがＬｏｗ、Ｓ−ＶｒｓがＨｉｇｈであり、露光時間用スイッチ３１がオフ、通信用データ出力スイッチ３３がオフ、撮像用データ出力スイッチ３４がオンの状態となる。
【００６５】
これにより、撮像用保持回路１３に蓄積した電荷を、拡張画素回路出力データ信号Ｓ−Ｏｕｔで参照でき、図４の（ｉ）の３３−２で表す。また、Ｓ−ＣｓにＨｉｇｈパルスが与えられ、列選択スイッチ３５がオンとなり、この拡張画素回路出力データ信号Ｓ−Ｏｕｔは、拡張画素回路出力データ信号Ｓ−Ｏｕｔが、図２のＣＭＯＳイメージセンサ通信装置１００から出力される。この出力を、撮像用データとして取り扱えばよい。
【００６６】
図５は、図３にタイミングチャートを示した行に隣接した行のタイミングチャートを示す。図５は、Ｓ−Ｒｓｔを除く信号が、図３のタイミングチャートより一つ遅れたタイミングである。このため、拡張画素回路出力データ信号Ｓ−Ｏｕｔが、行毎に、出力ノード４１に同時に出力されないように構成できる。これにより、図２のＣＭＯＳイメージセンサ通信装置１００の出力回路４は、図６のように情報を外部に出力する。図６においてｔは、時間の経過を示している。
【００６７】
出力回路４から出力される１フレームの情報（図６（ｄ））は、複数の通信フレーム情報と１つの撮像フレーム情報を含む（図６（ｃ））。
【００６８】
ここで、通信フレーム情報は、拡張画素回路１の通信用保持回路１２を参照した情報である。通信フレーム情報は、複数の行情報を含む。１つの行情報は、図１の同一行の複数の列の信号線４１の出力信号である。１つの行情報は、複数の画素情報を含む（図６（ｂ）と（ａ）参照）。
【００６９】
撮像フレーム情報は、拡張画素回路１の撮像用保持回路１３を参照した情報である。通信フレーム情報は、露光時間を短く制御した通信情報であり、撮像フレーム情報は、露光時間を長く制御した撮像情報である。
【００７０】
以上説明したように本発明によれば、通信用と撮像用の露光時間制御が可能となり、イメージセンサの画素回路を通信用途と撮像用途で利用できるようになる。さらに、通信用途と撮像用途で、座標が一致するため、補正回路を組み込む必要がなく、小規模な回路でシステムを構築可能となる。
【００７１】
前記実施形態では、図３等に示したように、露光時間用スイッチ制御信号Ｓ−Ｈｓのオン・オフの比率は等しく設定されているが、別の実施形態として、露光時間用スイッチ制御信号Ｓ−Ｈｓのオン・オフの比率（デューティ比）を変更してもよい。
【００７２】
＜実施形態２＞
図７は、例示的な別の実施形態の構成の一例を示す図である。図７を参照すると、通信用保持回路１２と通信用保持データ転送スイッチ３２の間にスイッチ３１−ａと通信用保持回路１２−ａとが直列形態に接続され、図１の通信用保持データ出力増幅回路２１の代わりに、差動増幅回路である通信用保持データ差分出力増幅回路２１−ａを備えている。通信用保持データ差分出力増幅回路２１−ａは、通信用保持回路１２と、通信用保持回路１２−ａの差分を出力する。スイッチ３１−ａはスイッチ制御信号Ｓ−Ｈｓ−ａによりオン・オフが制御される。特に制限されないが、スイッチ制御信号Ｓ−Ｈｓ−ａは、露光時間用スイッチ制御信号Ｓ−Ｈｓ（図３等のタイミング波形参照）の反転信号（相補信号）として与えられ、露光時間用スイッチ制御信号Ｓ−Ｈｓが活性状態とされ、露光時間用スイッチ３１がオンのとき、スイッチ３１−ａはオフ、露光時間用スイッチ制御信号Ｓ−Ｈｓが非活性状態とされ、露光時間用スイッチ３１がオフのとき、スイッチ３１−ａはオンとされ、通信用保持回路１２に蓄積保持された電荷が通信用保持回路１２−ａに転送されて蓄積保持される。通信用保持データ差分出力増幅回路２１−ａは、通信用保持回路１２と通信用保持回路１２−ａの蓄積電荷の差分（信号Ｓ−Ｈｓの半周期Δｔに対応する電荷の差分ΔＩ）に対応するレベルを差動増幅し、通信用データ出力スイッチ３３がオンのとき、この差分信号を、通信用の信号として、出力信号線４１に出力する。本実施形態において、露光時間用スイッチ制御信号Ｓ−Ｈｓと相補のスイッチ制御信号Ｓ−Ｈｓ−ａによる制御以外は、図３、図４のタイミング図等を参照して説明した前記実施形態の動作と同じであるため、その説明は省略する。
【００７３】
なお、上記の特許文献、非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【符号の説明】
【００７４】
１ 拡張画素回路
２ 垂直制御回路
３ 水平走査制御回路
４ 出力回路
１１ 画素回路
１２、１２−ａ 通信用保持回路
１３ 撮像用保持回路
２１ 通信用保持データ出力増幅回路
２１−ａ 通信用保持データ差分出力増幅回路
２２ 撮像用保持データ出力増幅回路
３１ 露光時間用スイッチ
３１−ａ スイッチ
３２ 通信用保持データ転送スイッチ
３３ 通信用データ出力スイッチ
３４ 撮像用データ出力スイッチ
３５ 列選択スイッチ
３６ スイッチ
４１ 出力線
４２ 拡張画素回路出力データ信号線（Ｓ−Ｏｕｔ）
１００ ＣＭＯＳイメージセンサ通信装置
【特許請求の範囲】
【請求項１】
画素回路と、
前記画素回路で発生した電荷を蓄積保持する第１の保持回路と、
前記第１の保持回路と第１の出力信号線間に接続され、第１の制御信号によりオン・オフが制御され、オン状態のとき、前記第１の保持回路に蓄積保持されている電荷に対応するレベルの信号を前記第１の出力信号線に出力する第１のスイッチと、
第２の制御信号によりオン・オフが制御される第２のスイッチを介して、前記第１の保持回路に接続され、前記第２のスイッチがオン状態のとき、前記第１の保持回路に保持された電荷を蓄積保持する第２の保持回路と、
前記第２の保持回路と前記第１の出力信号線間に接続され、第３の制御信号によりオン・オフが制御され、オン状態のとき、前記第２の保持回路に蓄積保持されている電荷に対応するレベルの信号を前記第１の出力信号線に撮像用として出力する第３のスイッチと、
を含む拡張画素回路を備えた、ことを特徴とするイメージセンサ通信装置。
【請求項２】
前記第１の保持回路と前記第１のスイッチの間に第１の増幅回路を備え、
前記第２の保持回路と前記第３のスイッチの間に第２の増幅回路を備え、
前記第１の保持回路に保持される電荷に応じたレベルの信号を受ける前記第１の増幅回路の出力信号が、前記第１のスイッチがオンのとき、前記第１の出力信号線に出力され、
前記第２の保持回路に保持される電荷に応じたレベルの信号を受ける前記第２の増幅回路の出力信号が、前記第３のスイッチがオンのとき、前記第１の出力信号線に出力される、ことを特徴とする請求項１記載のイメージセンサ通信装置。
【請求項３】
前記画素回路と前記第１の保持回路間に、第４の制御信号によりオン・オフが制御され、オン状態のとき、前記画素回路の電荷を前記第１の保持回路に転送する第４のスイッチを備えている、ことを特徴とする請求項１又は２記載のイメージセンサ通信装置。
【請求項４】
前記画素回路、前記第１の保持回路、及び、前記第２の保持回路を共通にリセットする第５の制御信号を備えている、ことを特徴とする請求項３記載のイメージセンサ通信装置。
【請求項５】
前記拡張画素回路を単位画素として複数の前記拡張画素回路を行と列の２次元アレイ状に備え、
同一列を構成する複数の前記拡張画素回路に対して前記第１の出力信号線を共通に備え、
各列の前記第１の出力信号線は、前記２次元アレイの列に平行に配設され、
前記第１の出力信号線は一端で、対応する第６の制御信号によりオン・オフが制御される第５のスイッチを介して、複数の列に対して共通に設けられ、前記２次元アレイの行に平行な第２の出力信号線に接続される、ことを特徴とする請求項４記載のイメージセンサ通信装置。
【請求項６】
複数行のそれぞれに対して、同一行の複数の前記拡張画素回路に共通に前記第１乃至第５の制御信号を出力する第１の制御回路と、
前記第１の出力信号線と前記第２の出力信号線の間に接続される前記第５のスイッチを制御する第６の制御信号を、各列の前記第５のスイッチに対して出力する第２の制御回路と、
を備えている、ことを特徴とする請求項５記載のイメージセンサ通信装置。
【請求項７】
（ａ）前記第５の制御信号を活性化させて前記画素回路、前記第１の保持回路、前記第２の保持回路の電荷をリセットし、その後、前記第５の制御信号を非活性化して該リセットを解除し、
（ｂ）前記第４の制御信号の予め定められた長さのパルス列を前記第４のスイッチに供給して前記画素回路の電荷が前記第１の保持回路に蓄積して行き、その間、前記第１乃至第５の制御信号は非活性化状態とされ、
（ｃ）前記第４の制御信号の予め定められた所定長さのパルス列の次の非活性状態のタイミングで、前記第１の制御信号を活性化し、前記第１のスイッチを介して前記第１の保持回路の蓄積電荷に対応したレベルの信号が、前記第１の出力信号線に出力され、さらに、前記第６の制御信号により前記第５のスイッチがオンして前記第１の出力信号線の信号が通信用の信号として前記第２の出力信号線に伝達され、
（ｄ）次に、前記第１の制御信号を非活性化とし、前記第２の制御信号を活性化して、前記第２のスイッチをオン状態とし、前記第１の保持回路の蓄積電荷を前記第２の保持回路に転送して移し変え、
（ｅ）前記第２の制御信号の活性化状態を保持し、前記第４の制御信号の予め定められた所定長さのパルス列を前記第４のスイッチに供給し、前記画素回路の電荷が前記第１の保持回路から、オン状態の前記第２のスイッチを介して、前記第２の保持回路に蓄積され、
（ｆ）前記第２の制御信号の非活性化状態として、
前記（ｂ）から前記（ｅ）を所定回（Ｎ回）数繰り返し、
前記第３の制御信号を活性化して前記第２の保持回路の蓄積電荷に対応したレベルの信号が、撮像用の信号として、前記第１の出力信号線に出力され、且つ、前記第６の制御信号により前記第５のスイッチがオンして前記第１の出力信号線の信号が撮像用の信号として前記第２の出力信号線に出力され、
前記（ｂ）から前記（ｅ）を所定回（Ｎ回）の繰り返しによるＮ個の通信用の信号が前記第２の出力信号線に出力されたのち撮像用の信号が、前記第２の出力信号線に出力される、ことを特徴とする請求項６記載のイメージセンサ通信装置。
【請求項８】
隣接行の前記拡張画素回路では、後の行の拡張画素回路の第１乃至第４の制御信号は前の行の拡張画素回路の第１乃至第４の制御信号より、タイミング的にずれている、ことを特徴とする請求項５乃至７のいずれか１項に記載のイメージセンサ通信装置。
【請求項９】
前記第１の保持回路と、前記第２のスイッチの間に、
第７の制御信号によりオン・オフが制御される第６のスイッチと、
前記第６のスイッチがオンのとき、前記第１の保持回路が保持する電荷を前記第６のスイッチを介して受けとり蓄積保持する第３の保持回路と、
を備え、
前記第１の増幅回路は、前記第１の保持回路と前記第３の保持回路の出力に入力がそれぞれ接続されている、ことを特徴とする請求項１乃至８のいずれか１項に記載のイメージセンサ通信装置。
【請求項１０】
（Ａ）画素回路と第１の保持回路間の露光時間用スイッチのオンとオフを所定回繰返して前記第１の保持回路に電荷を蓄積し、
（Ｂ）前記第１の保持回路に蓄積保持された電荷に対応したレベルを出力する第１の増幅回路の出力信号を通信用の信号として、オン状態とした通信用データ出力スイッチを介して出力信号線に出力し、
（Ｃ）前記第１の保持回路と第２の保持回路間の転送スイッチをオンし、前記通信用データ出力スイッチをオフとし、それまでに前記第１の保持回路に蓄積保持された電荷を前記第２の保持回路に移し変えたのち、前記露光時間用スイッチのオンとオフを所定回繰返して前記画素回路の電荷を前記第１の保持回路から前記第２の保持回路に転送し前記第２の保持回路に電荷を蓄積してゆき、
（Ｄ）前記転送スイッチをオフとしてから、
前記（Ａ）から（Ｃ）を繰り返し、前記第２の保持回路の電荷に対応したレベルを出力する第２の増幅回路の出力信号を撮像用の信号として、オン状態とした撮像用データ出力スイッチを介して前記出力信号線に出力し、
前記（Ａ）から前記（Ｃ）を所定回（Ｎ回）の繰り返しによるＮ個の通信用の信号が出力されたのちに１つの撮像用の信号が出力される、ことを特徴とする通信方法。
【請求項１】
画素回路と、
前記画素回路で発生した電荷を蓄積保持する第１の保持回路と、
前記第１の保持回路と第１の出力信号線間に接続され、第１の制御信号によりオン・オフが制御され、オン状態のとき、前記第１の保持回路に蓄積保持されている電荷に対応するレベルの信号を前記第１の出力信号線に出力する第１のスイッチと、
第２の制御信号によりオン・オフが制御される第２のスイッチを介して、前記第１の保持回路に接続され、前記第２のスイッチがオン状態のとき、前記第１の保持回路に保持された電荷を蓄積保持する第２の保持回路と、
前記第２の保持回路と前記第１の出力信号線間に接続され、第３の制御信号によりオン・オフが制御され、オン状態のとき、前記第２の保持回路に蓄積保持されている電荷に対応するレベルの信号を前記第１の出力信号線に撮像用として出力する第３のスイッチと、
を含む拡張画素回路を備えた、ことを特徴とするイメージセンサ通信装置。
【請求項２】
前記第１の保持回路と前記第１のスイッチの間に第１の増幅回路を備え、
前記第２の保持回路と前記第３のスイッチの間に第２の増幅回路を備え、
前記第１の保持回路に保持される電荷に応じたレベルの信号を受ける前記第１の増幅回路の出力信号が、前記第１のスイッチがオンのとき、前記第１の出力信号線に出力され、
前記第２の保持回路に保持される電荷に応じたレベルの信号を受ける前記第２の増幅回路の出力信号が、前記第３のスイッチがオンのとき、前記第１の出力信号線に出力される、ことを特徴とする請求項１記載のイメージセンサ通信装置。
【請求項３】
前記画素回路と前記第１の保持回路間に、第４の制御信号によりオン・オフが制御され、オン状態のとき、前記画素回路の電荷を前記第１の保持回路に転送する第４のスイッチを備えている、ことを特徴とする請求項１又は２記載のイメージセンサ通信装置。
【請求項４】
前記画素回路、前記第１の保持回路、及び、前記第２の保持回路を共通にリセットする第５の制御信号を備えている、ことを特徴とする請求項３記載のイメージセンサ通信装置。
【請求項５】
前記拡張画素回路を単位画素として複数の前記拡張画素回路を行と列の２次元アレイ状に備え、
同一列を構成する複数の前記拡張画素回路に対して前記第１の出力信号線を共通に備え、
各列の前記第１の出力信号線は、前記２次元アレイの列に平行に配設され、
前記第１の出力信号線は一端で、対応する第６の制御信号によりオン・オフが制御される第５のスイッチを介して、複数の列に対して共通に設けられ、前記２次元アレイの行に平行な第２の出力信号線に接続される、ことを特徴とする請求項４記載のイメージセンサ通信装置。
【請求項６】
複数行のそれぞれに対して、同一行の複数の前記拡張画素回路に共通に前記第１乃至第５の制御信号を出力する第１の制御回路と、
前記第１の出力信号線と前記第２の出力信号線の間に接続される前記第５のスイッチを制御する第６の制御信号を、各列の前記第５のスイッチに対して出力する第２の制御回路と、
を備えている、ことを特徴とする請求項５記載のイメージセンサ通信装置。
【請求項７】
（ａ）前記第５の制御信号を活性化させて前記画素回路、前記第１の保持回路、前記第２の保持回路の電荷をリセットし、その後、前記第５の制御信号を非活性化して該リセットを解除し、
（ｂ）前記第４の制御信号の予め定められた長さのパルス列を前記第４のスイッチに供給して前記画素回路の電荷が前記第１の保持回路に蓄積して行き、その間、前記第１乃至第５の制御信号は非活性化状態とされ、
（ｃ）前記第４の制御信号の予め定められた所定長さのパルス列の次の非活性状態のタイミングで、前記第１の制御信号を活性化し、前記第１のスイッチを介して前記第１の保持回路の蓄積電荷に対応したレベルの信号が、前記第１の出力信号線に出力され、さらに、前記第６の制御信号により前記第５のスイッチがオンして前記第１の出力信号線の信号が通信用の信号として前記第２の出力信号線に伝達され、
（ｄ）次に、前記第１の制御信号を非活性化とし、前記第２の制御信号を活性化して、前記第２のスイッチをオン状態とし、前記第１の保持回路の蓄積電荷を前記第２の保持回路に転送して移し変え、
（ｅ）前記第２の制御信号の活性化状態を保持し、前記第４の制御信号の予め定められた所定長さのパルス列を前記第４のスイッチに供給し、前記画素回路の電荷が前記第１の保持回路から、オン状態の前記第２のスイッチを介して、前記第２の保持回路に蓄積され、
（ｆ）前記第２の制御信号の非活性化状態として、
前記（ｂ）から前記（ｅ）を所定回（Ｎ回）数繰り返し、
前記第３の制御信号を活性化して前記第２の保持回路の蓄積電荷に対応したレベルの信号が、撮像用の信号として、前記第１の出力信号線に出力され、且つ、前記第６の制御信号により前記第５のスイッチがオンして前記第１の出力信号線の信号が撮像用の信号として前記第２の出力信号線に出力され、
前記（ｂ）から前記（ｅ）を所定回（Ｎ回）の繰り返しによるＮ個の通信用の信号が前記第２の出力信号線に出力されたのち撮像用の信号が、前記第２の出力信号線に出力される、ことを特徴とする請求項６記載のイメージセンサ通信装置。
【請求項８】
隣接行の前記拡張画素回路では、後の行の拡張画素回路の第１乃至第４の制御信号は前の行の拡張画素回路の第１乃至第４の制御信号より、タイミング的にずれている、ことを特徴とする請求項５乃至７のいずれか１項に記載のイメージセンサ通信装置。
【請求項９】
前記第１の保持回路と、前記第２のスイッチの間に、
第７の制御信号によりオン・オフが制御される第６のスイッチと、
前記第６のスイッチがオンのとき、前記第１の保持回路が保持する電荷を前記第６のスイッチを介して受けとり蓄積保持する第３の保持回路と、
を備え、
前記第１の増幅回路は、前記第１の保持回路と前記第３の保持回路の出力に入力がそれぞれ接続されている、ことを特徴とする請求項１乃至８のいずれか１項に記載のイメージセンサ通信装置。
【請求項１０】
（Ａ）画素回路と第１の保持回路間の露光時間用スイッチのオンとオフを所定回繰返して前記第１の保持回路に電荷を蓄積し、
（Ｂ）前記第１の保持回路に蓄積保持された電荷に対応したレベルを出力する第１の増幅回路の出力信号を通信用の信号として、オン状態とした通信用データ出力スイッチを介して出力信号線に出力し、
（Ｃ）前記第１の保持回路と第２の保持回路間の転送スイッチをオンし、前記通信用データ出力スイッチをオフとし、それまでに前記第１の保持回路に蓄積保持された電荷を前記第２の保持回路に移し変えたのち、前記露光時間用スイッチのオンとオフを所定回繰返して前記画素回路の電荷を前記第１の保持回路から前記第２の保持回路に転送し前記第２の保持回路に電荷を蓄積してゆき、
（Ｄ）前記転送スイッチをオフとしてから、
前記（Ａ）から（Ｃ）を繰り返し、前記第２の保持回路の電荷に対応したレベルを出力する第２の増幅回路の出力信号を撮像用の信号として、オン状態とした撮像用データ出力スイッチを介して前記出力信号線に出力し、
前記（Ａ）から前記（Ｃ）を所定回（Ｎ回）の繰り返しによるＮ個の通信用の信号が出力されたのちに１つの撮像用の信号が出力される、ことを特徴とする通信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２４４５４９（Ｐ２０１２−２４４５４９Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１５１０３（Ｐ２０１１−１１５１０３）
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００２３２２５４）日本電気通信システム株式会社 (586)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００２３２２５４）日本電気通信システム株式会社 (586)
【Ｆターム（参考）】
[ Back to top ]