説明

ステレオ撮像装置、同期撮像方法および電子情報機器

【課題】CMOSのように外部から共通トリガを与えることができない撮像装置であっても、複数の撮像素子に対して同期の取れた画像信号を出力する。
【解決手段】フレーム制御部4は、左右の撮像装置2A,2Bの一方の撮像装置2Aを起動し、その一方からのフレーム信号Aを基準にして、左右の撮像装置2A,2Bのうちの他方のフレーム信号Bの出力タイミングを制御して撮像装置2Bを起動する。また、フレーム制御部4は、左右の撮像装置2A,2Bの各フレーム信号の出力タイミングの差分時間だけ、左右の撮像装置2A,2Bのうちの他方の撮像装置2Bの1フレーム期間を延長するかまたは短縮することにより同期ズレを解消する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体視のステレオ画像を静止画および動画で撮像可能とするステレオ撮像装置および、このステレオ撮像装置に用いられる同期撮像方法、このステレオ撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、画像入力カメラ、スキャナ装置、ファクシミリ装置、カメラ付き携帯電話装置などの電子情報機器に関する。
【背景技術】
【0002】
この種の従来のステレオ撮像装置は、カメラ付き携帯電話装置やディジタルスチルカメラおよびセキュリティカメラなどに用いられている。従来のカメラ付き携帯電話装置では、高機能化が進み、カメラモジュールにオートフォーカス、ズーム、マクロおよび手振れ補正などの各種機構が組み込まれるに至っている。また、携帯機器においても組み込み機器用CPU、周辺回路などの高機能化から多様な通信機能を実現する一方で立体視のステレオ画像(3D画像)を扱えるまでになってきている。
【0003】
図8は、特許文献1に開示されている従来の画像取得装置の要部構成例を示すブロック図である。
【0004】
図8において、従来の画像取得装置100は、画像を撮像して画像信号として出力する第1、第2および第3の撮像手段110、120、130と、第1、第2および第3の撮像手段110、120、130から出力される画像信号の周期の基準となる所定の周期のクロック信号を発生するクロック信号発生手段140と、第1、第2および第3の撮像手段110、120、130から画像信号が出力されるタイミングをとるためのトリガ信号を発する外部トリガ信号発生手段150と、外部トリガ信号発生手段150から発せられたトリガ信号を受け取ったときクロック信号発生手段140から発せられるクロック信号に基づいて第1、第2および第3の撮像手段110、120、130から画像信号を出力させる第1、第2および第3の制御手段111、121、131とから構成されている。第1、第2および第3の撮像手段110、120、130から出力された画像信号はそれぞれ第1、第2および第3のメモリ112、122、132に記憶された後に、画像処理手段160に出力され、画像処理手段160は第1、第2および第3のメモリ112、122、132から出力された画像信号に基づいて画像処理を行うものである。
【0005】
クロック信号発生手段140は、第1、第2および第3の撮像手段110、120、130に対して共通のクロック信号を出力する。また、クロック信号発生手段140はクロック信号の2倍の周波数のレファレンス信号を発するレファレンス信号発生部141と、レファレンス信号を2分の1に分周する分周部142とを有し、レファレンス信号発生部141から発せられたレファレンス信号を分周部142により2分の1に分周してクロック信号として出力する。
【0006】
上記構成により、以下、その動作を説明する。
【0007】
図9は、図8の画像取得装置100の動作を説明するためのタイミングチャートである。
【0008】
図9に示すように、画像取得装置100において、まず、トリガ信号発生手段150からトリガ信号が発生され、その後の最初のクロック信号の立ち上がりにより、第1、第2および第3の撮像手段110、120、130が第1、第2および第3の制御手段111、121、131によりそれぞれ駆動されて露光を開始する。
【0009】
次に、トリガ信号が立ち下がると、次のクロック信号の立下りにより、第1、第2および第3の撮像手段110、120、130は露光を終了する。
【0010】
さらに、次のトリガ信号の立ち上がった後、次のクロック信号の立ち上がりにより第1,第2および第3の撮像手段110、120、130は再び露光を開始すると共に最初の露光による画像信号を出力する。このとき、第1、第2および第3の撮像手段110、120、130からそれぞれ出力される画像信号同志はクロック信号とトリガ信号を共通としているので同期が取れている。
【0011】
続いて、第1、第2および第3の撮像手段110、120、130から出力された画像信号はそれぞれ第1、第2および第3のメモリ112、122、132に記憶された後に、画像処理手段160に出力され、各画像信号が同時の画像処理される。
【0012】
要するに、外部トリガ信号発生手段150がトリガ信号を発生し、第1、第2および第3の撮像手段110、120、130が露光を開始する。次に、トリガ信号が立ち下がると第1、第2および第3の撮像手段110、120、130は露光を終了する。続いて、次のクロック立ち上がりで、露光開始および最初の露光による画像信号を出力する。
【0013】
したがって、クロック信号発生手段140が、第1、第2および第3の撮像手段110、120、130について共通であり、第1、第2および第3の制御手段111、121、131が、トリガ信号を受け取ったとき共通のクロック信号発生手段140から発せられるクロック信号に基づいて第1、第2および第3の撮像手段110、120、130から各画像信号同志で同期のとれた画像信号を出力させるようにしたので、各画像信号を同じタイミングで第1、第2および第3のメモリ112、122、132に記憶させることができ、各画像信号を相互に利用して画像処理などを適切に行うことができる。また、クロック信号を共通にすることにより、複数の撮像手段により画像を撮像するときの露光時間も複数の撮像手段について同一にするので、画像間演算に好適な画像を得ることができる。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】特開2002−165108号公報
【発明の概要】
【発明が解決しようとする課題】
【0015】
特許文献1に開示されている従来の画像取得装置100では、第1、第2および第3の制御手段111、121、131に共通な外部トリガ信号を与えて同期の取れた画像 信号を出力し、同じタイミングで第1、第2および第3のメモリ112、122、132に記憶させている。ところが、このような従来技術では、CMOSのように、内部にタイミングジェネレータを持つ撮像装置では外部共通トリガを与えることができず、同期を取ることができないという問題を有していた。
【0016】
本発明は、上記従来の問題を解決するもので、CMOSのように外部から共通トリガを与えることができない撮像装置であっても、複数の撮像素子に対して同期の取れた画像信号を出力することができるステレオ撮像装置および、このステレオ撮像装置に用いられる同期撮像方法、このステレオ撮像装置を画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器を提供することを目的とする。
【課題を解決するための手段】
【0017】
本発明のステレオ撮像装置は、立体視のステレオ画像を撮像可能とする左右の撮像装置と、該左右の撮像装置からのフレーム信号の出力タイミングを検出するフレーム検出部と、検出したフレーム信号の出力タイミングに基づいて、該左右の撮像装置からの各画像データが同期するように、該左右の撮像装置のうちの少なくともいずれかのフレーム信号または/および該画像データの出力タイミングを制御するフレーム制御部とを有するものであり、そのことにより上記目的が達成される。
【0018】
また、好ましくは、本発明のステレオ撮像装置におけるフレーム制御部は、前記検出したフレーム信号の出力タイミングに基づいて、前記左右の撮像装置の各フレーム信号が同期するように、該左右の撮像装置のうちの少なくともいずれかのフレーム信号の出力タイミングを制御する。
【0019】
さらに、好ましくは、本発明のステレオ撮像装置におけるフレーム制御部は、前記検出したフレーム信号の出力タイミングに基づいて、前記左右の撮像装置からの1フレーム分の画像データを一旦記憶する左右のメモリのデータ出力タイミングが同期するように該データ出力タイミングを制御する。
【0020】
さらに、好ましくは、本発明のステレオ撮像装置におけるフレーム制御部は、前記左右の撮像装置の一方を起動し、該一方からのフレーム信号を基準にして、該左右の撮像装置のうちの他方のフレーム信号の出力タイミングを制御して該他方を起動する。
【0021】
さらに、好ましくは、本発明のステレオ撮像装置におけるフレーム制御部は、前記左右の撮像装置の各フレーム信号の出力タイミングの差分時間だけ、該左右の撮像装置のうちの他方の1フレーム期間を延長するかまたは短縮する。
【0022】
さらに、好ましくは、本発明のステレオ撮像装置におけるフレーム制御部は、前記左右の撮像装置の各フレーム信号の出力タイミングの差分時間だけ、該左右の撮像装置のうちの他方の画像データの前記メモリからの1フレーム期間を延長するかまたは短縮するようにデータ出力制御する。
【0023】
さらに、好ましくは、本発明のステレオ撮像装置におけるフレーム制御部は前記左右の撮像装置のうちの一方の撮像装置を起動し、該一方の撮像装置からの次のフレーム先頭を示すフレーム信号の出力タイミングを前記フレーム検出部が検出し、該フレーム制御部は、該フレーム検出部で検出した該出力タイミングに基づいて、該一方の撮像装置からのさらに次のフレーム信号に同期するように他方の撮像装置を起動する。
【0024】
さらに、好ましくは、本発明のステレオ撮像装置におけるフレーム検出部で検出した各フレーム信号の出力タイミングの時間差分が所定時間よりも大きくなったかどうかを検出し、該各フレーム信号の時間差分が所定時間よりも大きくなった場合に、他方のフレーム信号が一方のフレーム信号よりも早く発生したかどうかを判定し、他方のフレーム信号が一方のフレーム信号よりも早く発生した場合、前記フレーム制御部が他方の撮像装置に対して、該各フレーム信号の差分時間分だけ他方の次のフレーム信号の1フレーム期間を延長し、それ以外の場合に、該フレーム制御部が該他方の撮像装置に対して、該各フレーム信号の差分時間分だけ該他方の次のフレーム信号の1フレーム期間を短縮し、そのフレーム期間調整後、それ以降の各フレーム信号からは元のフレーム期間に戻す。
【0025】
さらに、好ましくは、本発明のステレオ撮像装置におけるフレーム検出部で検出した各フレーム信号の出力タイミングの時間差分が所定時間よりも大きくなったかどうかを検出し、該各フレーム信号の時間差分が所定時間よりも大きくなった場合に、他方のフレーム信号が一方のフレーム信号よりも早く発生したかどうかを判定し、他方のフレーム信号が一方のフレーム信号よりも早く発生した場合、前記フレーム制御部が他方の撮像装置の画像データの前記メモリからの1フレーム期間を、該各フレーム信号の差分時間分だけ延長し、それ以外の場合に、該フレーム制御部が該他方の撮像装置の画像データの該メモリからの1フレーム期間を、該各フレーム信号の差分時間分だけ短縮し、そのフレーム期間調整後、それ以降の各フレーム信号からは元のフレーム期間に戻す。
【0026】
本発明の同期撮像方法は、立体視のステレオ画像を撮像可能とする左右の撮像装置からのフレーム信号の出力タイミングをフレーム検出部で検出するフレーム検出工程と、フレーム制御部が、検出したフレーム信号の出力タイミングに基づいて、該左右の撮像装置からの各画像データが同期するように、該左右の撮像装置のうちの少なくともいずれかのフレーム信号または/および該画像データの出力タイミングを制御するフレーム制御工程とを有するものであり、そのことにより上記目的が達成される。
【0027】
また、好ましくは、本発明の同期撮像方法におけるフレーム制御工程は、前記検出したフレーム信号の出力タイミングに基づいて、前記左右の撮像装置の各フレーム信号が同期するように、該左右の撮像装置のうちの少なくともいずれかのフレーム信号の出力タイミングを制御する。
【0028】
さらに、好ましくは、本発明の同期撮像方法におけるフレーム制御工程は、前記検出したフレーム信号の出力タイミングに基づいて、前記左右の撮像装置からの1フレーム分の画像データを一旦記憶する左右のメモリのデータ出力タイミングが同期するように該データ出力タイミングを制御する。
【0029】
さらに、好ましくは、本発明の同期撮像方法におけるフレーム制御工程は、前記左右の撮像装置の一方を起動し、該一方からのフレーム信号を基準にして、該左右の撮像装置のうちの他方のフレーム信号の出力タイミングを制御して該他方を起動する。
【0030】
さらに、好ましくは、本発明の同期撮像方法におけるフレーム制御工程は、前記左右の撮像装置の各フレーム信号の出力タイミングの差分時間だけ、該左右の撮像装置のうちの他方の1フレーム期間を延長するかまたは短縮する。
【0031】
さらに、好ましくは、本発明の同期撮像方法におけるフレーム制御工程は、前記左右の撮像装置の各フレーム信号の出力タイミングの差分時間だけ、該左右の撮像装置のうちの他方の画像データの前記メモリからの1フレーム期間を延長するかまたは短縮するように出力制御する。
【0032】
さらに、好ましくは、本発明の同期撮像方法における一方撮像装置起動手段が、前記左右の撮像装置のうちの一方の撮像装置を起動する一方撮像装置起動工程と、該一方の撮像装置からの次のフレーム先頭を示すフレーム信号をフレーム検出部が検出し、他方撮像装置起動手段が、該フレーム検出部で検出した出力タイミングに基づいて、該一方の撮像装置からのさらに次のフレーム信号に同期するように他方の撮像装置を起動する他方撮像装置起動工程とを有する。
【0033】
さらに、好ましくは、本発明の同期撮像方法における時間差分検出手段が、フレーム検出部で検出した各フレーム信号の出力タイミングの時間差分が所定時間よりも大きくなったかどうかを検出する時間差分検出工程と、該各フレーム信号の時間差分が所定時間よりも大きくなった場合に、フレーム信号発生タイミング判定手段が、他方のフレーム信号が一方のフレーム信号よりも早く発生したかどうかを判定するフレーム信号発生タイミング判定工程と、フレーム期間調整手段が、該他方のフレーム信号が該一方のフレーム信号よりも早く発生した場合、他方の撮像装置に対して、該各フレーム信号の差分時間分だけ他方の次のフレーム信号の1フレーム期間を延長し、それ以外の場合に、該他方の撮像装置に対して、該各フレーム信号の差分時間分だけ該他方の次のフレーム信号の1フレーム期間を短縮するフレーム期間調整工程とを有し、フレーム期間調整後、それ以降の該各フレーム信号からは元のフレーム期間に戻して上記各工程を繰り返す。
【0034】
さらに、好ましくは、本発明の同期撮像方法における時間差分検出手段が、フレーム検出部で検出した各フレーム信号の出力タイミングの時間差分が所定時間よりも大きくなったかどうかを検出する時間差分検出工程と、該各フレーム信号の時間差分が所定時間よりも大きくなった場合に、フレーム信号発生タイミング判定手段が、他方のフレーム信号が一方のフレーム信号よりも早く発生したかどうかを判定するフレーム信号発生タイミング判定工程と、フレーム期間調整手段が、該他方のフレーム信号が一方のフレーム信号よりも早く発生した場合、他方の撮像装置の画像データの前記メモリからの1フレーム期間を、該各フレーム信号の差分時間分だけ延長し、それ以外の場合に、該他方の撮像装置の画像データの該メモリからの1フレーム期間を、該各フレーム信号の差分時間分だけ短縮し、そのフレーム期間調整後、それ以降の各フレーム信号からは元のフレーム期間に戻して上記各工程を繰り返す。
【0035】
本発明の電子情報機器は、本発明の上記ステレオ撮像装置を画像入力デバイスとして撮像部に用いたものであり、そのことにより上記目的が達成される。
【0036】
上記構成により、以下、本発明の作用を説明する。
【0037】
本発明においては、立体視のステレオ画像を撮像可能とする左右の撮像装置と、左右の撮像装置からのフレーム信号の出力タイミングを検出するフレーム検出部と、検出したフレーム信号の出力タイミングに基づいて、左右の撮像装置からの各画像データが同期するように、左右の撮像装置のうちの少なくともいずれかのフレーム信号または画像データの出力タイミングを制御するフレーム制御部とを有している。フレーム制御部は、検出したフレーム信号の出力タイミングに基づいて、左右の撮像装置の各フレーム信号が同期するように、左右の撮像装置のうちの少なくともいずれかのフレーム信号の出力タイミングを制御する。また、フレーム制御部は、検出したフレーム信号の出力タイミングに基づいて、左右の撮像装置からの1フレーム分の画像データを一旦記憶する左右のメモリのデータ出力タイミングが同期するようにデータ出力タイミングを制御する。
【0038】
このように、検出したフレーム信号の出力タイミングに基づいて、左右の撮像装置からの各画像データが同期するように、左右の撮像装置のうちの少なくともいずれかのフレーム信号または画像データの出力タイミングを制御するので、CMOSのように外部から共通トリガを与えることができない撮像装置であっても、複数の撮像素子に対して同期の取れた画像信号を出力することが可能となる。
【発明の効果】
【0039】
以上により、本発明によれば、検出したフレーム信号の出力タイミングに基づいて、左右の撮像装置からの各画像データが同期するように、左右の撮像装置のうちの少なくともいずれかのフレーム信号または画像データの出力タイミングを制御するため、CMOSのように外部から共通トリガを与えることができない撮像装置であっても、複数の撮像素子に対して同期の取れた画像信号を出力することができる。
【図面の簡単な説明】
【0040】
【図1】本発明の実施形態1におけるステレオ撮像装置の要部構成例を示すブロック図である。
【図2】図1のステレオ撮像装置1の起動動作を説明するためのフローチャートである。
【図3】図1のステレオ撮像装置1の起動動作を説明するための画像信号同期シーケンスを示す信号波形図である。
【図4】図1のステレオ撮像装置1の同期ずれ補正動作を説明するためのフローチャートである。
【図5】図1のステレオ撮像装置1の同期ずれ補正動作を説明するための画像信号同期シーケンスを示す信号波形図である。
【図6】本発明の実施形態2におけるステレオ撮像装置の要部構成例を示すブロック図である。
【図7】本発明の実施形態3として、本発明の実施形態1、2のステレオ撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【図8】特許文献1に開示されている従来の画像取得装置の要部構成例を示すブロック図である。
【図9】図8の画像取得装置の動作を説明するためのタイミングチャートである。
【発明を実施するための形態】
【0041】
以下に、本発明のステレオ撮像装置およびこれに用いられる同期撮像方法の実施形態1、2および、この固体撮像装置の実施形態1、2を画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器の実施形態3について図面を参照しながら詳細に説明する。
【0042】
(実施形態1)
図1は、本発明の実施形態1におけるステレオ撮像装置の要部構成例を示すブロック図である。
【0043】
図1において、本実施形態1のステレオ撮像装置1は、立体視のステレオ画像を静止画および動画で撮像可能とする左右の撮像装置2A、2Bと、左右の撮像装置2A、2Bからのフレーム信号を検出するフレーム検出部3と、検出したフレーム信号を受けて該左右の撮像装置のうちの一方のフレームを制御するフレーム制御部4と、撮像装置2A、2Bからの各画像信号を信号処理してカラー画像信号を得る信号処理部5A,5Bと、信号処理部5A,5Bからのカラー画像信号を記録するメモリ6A,6Bとを有している。なお、左右の撮像装置2A、2Bにはクロック発生器よりクロック信号が入力されている。
【0044】
フレーム制御部4は、撮像装置2A,2Bからのフレーム信号を基準にして、撮像装置2A、2Bのフレーム開始タイミングおよび1フレーム期間の制御を行う。要するに、フレーム制御部4は、左右の撮像装置2A,2Bの一方(ここでは撮像装置2A)からのフレーム信号を基準にして、左右の撮像装置2A,2Bのうちの他方のフレーム開始タイミングを制御する。また、フレーム制御部4は、左右の撮像装置2A,2Bの各フレーム信号の立ち上がりまたは立下りタイミングの差分時間だけ、左右の撮像装置2A,2Bのうちの一方の1フレーム期間を延長するかまたは短縮することにより左右の撮像装置2A,2Bの各フレーム信号の同期を取る。
【0045】
図2は、図1のステレオ撮像装置1の起動動作を説明するためのフローチャートである。図3は、図1のステレオ撮像装置1の起動動作を説明するための画像信号同期シーケンスを示す信号波形図である。
【0046】
図2に示すように、まず、ステップS1で撮像装置2Aを起動する。このとき、起動した撮像装置2Aから、図3(a)に示すようにフレーム信号Aと画像出力信号Aが順次出力される。撮像装置2Aの起動はフレーム制御部4からの起動信号によって行うようにしたが、これに限らず、図示しない起動スイッチの操作によって撮像装置2Aが起動するようにしてもよいし、図示しない起動スイッチの操作によってフレーム制御部4が起動し、フレーム制御部4からの起動信号によって撮像装置2Aが起動するようにしてもよい。
【0047】
次に、左右の撮像装置2A,2Bのうちの一方の撮像装置2Aの起動後、ステップS2で、フレーム検出部3は、撮像装置2Aの次のフレーム先頭を示す(2)のフレーム信号Aの検出を待つ。この次の(2)のフレーム信号Aをフレーム検出部3で受けてフレーム制御部4が、さらに次の(3)のフレーム信号Aに同期するように撮像装置2Bを起動する。起動した撮像装置2Bから、図3(b)に示すようにフレーム信号Bと画像出力信号Bが順次出力される。最初のフレーム信号Bは(3)のフレーム信号Aに同期したフレーム信号Bである。このように、撮像装置2Bの起動は、撮像装置2Aのフレーム信号Aの信号立ち上がりタイミングを基準タイミングとしている。この場合、撮像装置2Bへの設定時間によるディレイを考慮して撮像装置2Aの信号立ち上がりタイミングに合致するように撮像装置2Bを起動する。
【0048】
要するに、ステレオ撮像装置1を用いた同期撮像方法は、フレーム制御部4の一方撮像装置起動手段が、フレーム制御部4は左右の撮像装置2A,2Bのうちの一方の撮像装置2Aを起動する一方撮像装置起動工程と、一方の撮像装置2Aからの次のフレーム先頭を示すフレーム信号Aをフレーム検出部3が検出し、フレーム制御部4の他方撮像装置起動が、フレーム検出部3からの検出信号を受けて、一方の撮像装置2Aからのさらに次のフレーム信号Aに同期するように他方の撮像装置2Bを起動する他方撮像装置起動工程とを有している。
【0049】
このように、フレーム制御部4は左右の撮像装置2A,2Bのうちの一方の撮像装置2Aを起動し、一方の撮像装置2Aからの次のフレーム先頭を示すフレーム信号Aをフレーム検出部3が検出し、フレーム制御部4は、フレーム検出部3からの検出信号を受けて、一方の撮像装置2Aからのさらに次のフレーム信号Aに同期するように他方の撮像装置2Bを起動することによって、CMOSのように外部から共通トリガを与えることができないステレオ撮像装置1であっても、左右の撮像装置2A,2Bに対して同期の取れた画像出力信号を出力させることができる。
【0050】
次に、撮像装置2A、2Bの動作中に同期ずれが生じた場合に同期を取る方法について説明する。
【0051】
図4は、図1のステレオ撮像装置1の同期ずれ補正動作を説明するためのフローチャートである。図5は、図1のステレオ撮像装置1の同期ずれ補正動作を説明するための画像信号同期シーケンスを示す信号波形図である。
【0052】
図4に示すように、まず、ステップS11でフレーム信号A,Bの例えば信号立ち上がりの時間差分が所定時間よりも大きくなったかどうかを検出する。フレーム信号A,Bの例えば信号立ち上がりの時間差分が所定時間よりも大きくなるまで待ち、フレーム信号A,Bの例えば信号立ち上がりの時間差分が所定時間よりも大きくなった場合(YES)に、次のステップS12で、フレーム信号Aがフレーム信号Bよりも早く発生するかまたは、フレーム信号Bがフレーム信号Aよりも早く発生するかどうかを判定する。
【0053】
次に、図5(a)に示すように、フレーム信号Bがフレーム信号Aよりも早く発生する場合(YES)、ステップS13で、フレーム制御部4が撮像装置2Bに対して、フレーム信号A,Bの差分時間分だけ次のフレーム信号Bの1フレーム期間を延長してそれ以降のフレーム信号A,Bが同期するように調整制御する。さらに、ステップS15で次の1フレームからは元のフレーム期間に戻す。
【0054】
続いて、図5(b)に示すように、フレーム信号Bがフレーム信号Aよりも遅く発生する場合(NO)、ステップS14で、フレーム制御部4が撮像装置2Bに対して、フレーム信号A,Bの差分時間分だけ次のフレーム信号Bの1フレーム期間を短縮してそれ以降のフレーム信号A,Bが同期するように調整制御する。さらに、ステップS15で次の1フレームからは元のフレーム期間に戻す。
【0055】
さらに、、ステップS16でステレオ撮像装置1の起動動作が終了したかどうかを検出する。ステレオ撮像装置1は起動動作が終了するまで上記ステップS11〜S15の処理を繰り返す。
【0056】
要するに、ステレオ撮像装置1を用いた同期撮像方法は、フレーム制御部4の時間差分検出手段が、フレーム検出部3で検出したフレーム信号A,Bの信号立ち上がりタイミングの時間差分が所定時間よりも大きくなったかどうかを検出する時間差分検出工程と、フレーム信号A,Bの信号立ち上がりの時間差分が所定時間よりも大きくなった場合に、フレーム信号発生タイミング判定手段が、フレーム信号Bがフレーム信号Aよりも早く発生したかどうかを判定するフレーム信号発生タイミング判定工程と、フレーム制御部4のフレーム期間調整手段が、フレーム信号Bがフレーム信号Aよりも早く発生した場合、撮像装置2Bに対して、フレーム信号A,Bの差分時間分だけ次のフレーム信号Bの1フレーム期間を延長し、それ以外の場合に、フレーム制御部4が撮像装置2Bに対して、フレーム信号A,Bの差分時間分だけ次のフレーム信号Bの1フレーム期間を短縮するフレーム期間調整工程とを有し、フレーム期間調整後、それ以降のフレーム信号A,Bからは元のフレーム期間に戻して上記工程を繰り返す。
【0057】
以上により、本実施形態1によれば、立体視のステレオ画像を撮像可能とする左右の撮像装置2A,2Bと、左右の撮像装置2A,2Bからのフレーム信号の出力タイミングを検出するフレーム検出部3と、検出したフレーム信号の出力タイミングに基づいて、左右の撮像装置2A,2Bからの各画像データが同期するように、撮像装置2Aのフレーム信号Aの出力タイミングを制御するフレーム制御部4とを有している。フレーム制御部4は、検出したフレーム信号Aの出力タイミングに基づいて、左右の撮像装置2A,2Bの各フレーム信号が同期するように、撮像装置2Bのフレーム信号Bの出力タイミングを制御する。具体的には、フレーム制御部4は、左右の撮像装置2A,2Bの一方の撮像装置2Aを起動し、その一方からのフレーム信号Aを基準にして、左右の撮像装置2A,2Bのうちの他方のフレーム信号Bの出力タイミングを制御して撮像装置2Bを起動する。また、フレーム制御部4は、左右の撮像装置2A,2Bの各フレーム信号の出力タイミングの差分時間だけ、左右の撮像装置2A,2Bのうちの他方の撮像装置2Bの1フレーム期間を延長するかまたは短縮することにより同期ズレを解消する。
【0058】
このように、検出したフレーム信号の出力タイミングに基づいて、左右の撮像装置2A,2Bのからの各画像データが同期するように、左右の撮像装置2A,2Bののうちの少なくともいずれかのフレーム信号の出力開始タイミングを制御するため、CMOSのように外部から共通トリガを与えることができない撮像装置2A,2Bのであっても、複数の撮像素子に対して同期の取れた画像信号を出力させることができる。
【0059】
(実施形態2)
上記実施形態1では、フレーム制御部4が、検出したフレーム信号の出力タイミングに基づいて、左右の撮像装置2A,2Bからの各画像データが同期するように、左右の撮像装置2A,2Bのうちの少なくともいずれかのフレーム信号の出力開始タイミングを制御する場合について説明したが、本実施形態2では、同期ずれがあった場合に、検出したフレーム信号の出力タイミングに基づいて、左右の撮像装置2A,2Bからの各画像データが同期するように、左右の撮像装置2A,2Bのうちの少なくともいずれかの画像データの出力タイミングを制御する場合について説明する。
【0060】
図6は、本発明の実施形態2におけるステレオ撮像装置の要部構成例を示すブロック図である。
【0061】
図6において、本実施形態2のステレオ撮像装置1Aは、立体視のステレオ画像を静止画および動画で撮像可能とする左右の撮像装置21A、21Bと、撮像装置12A、21Bからのフレーム信号A,Bを検出するフレーム検出部3と、検出したフレーム信号を受けて撮像装置2A、2Bを制御するフレーム制御部4Aと、撮像装置21A、21Bからの各画像信号の1フレーム分を一旦記憶するメモリ61A,61Bと、メモリ61A,61Bからの画像信号を所定の信号処理してカラー画像信号を得る信号処理部5A,5Bとを有し、撮像装置21A,21Bからの1フレームの画像信号をメモリ61A,61Bにそれぞれ一旦記憶させて、撮像装置21A、21Bからの1フレーム毎の各画像信号のメモリ61A,61Bからのデータ出力タイミングを互いに同期するように制御する。
【0062】
本実施形態2のステレオ撮像装置1Aにおいて、フレーム制御部4Aは、検出したフレーム信号の出力タイミングに基づいて、左右の撮像装置2A,2Bからの1フレーム分の画像データを一旦記憶する左右のメモリ61A,61Bのデータ出力タイミングが同期するようにデータ出力タイミングを制御する。この場合に、フレーム制御部4Aは、左右の撮像装置2A,2Bの一方を起動し、一方からのフレーム信号を基準にして、左右の撮像装置2A,2Bのうちの他方のフレーム信号の出力タイミングを制御して他方を起動する。これについては上記実施形態1の場合と同様であるが、同期ずれを補正する場合がメモリ61A,61Bを制御する点で上記実施形態1の場合と異なっている。即ち、フレーム制御部4Aは、左右の撮像装置2A,2Bの各フレーム信号の出力タイミングの差分時間だけ、左右の撮像装置2A,2Bのうちの他方の画像データのメモリ61A,61Bからの1フレーム期間を延長するかまたは短縮するようにデータ出力制御するようになっている。
【0063】
要するに、本実施形態2のステレオ撮像装置1Aでは、フレーム制御部4Aは左右の撮像装置2A,2Bのうちの一方の撮像装置2Aを起動し、一方の撮像装置2Aからの次のフレーム先頭を示すフレーム信号Aの出力タイミングをフレーム検出部3が検出し、フレーム制御部4Aは、フレーム検出部3で検出したフレーム信号Aの出力タイミングに基づいて、一方の撮像装置2Aからのさらに次のフレーム信号に同期するように他方の撮像装置2Bを起動する。
【0064】
また、本実施形態2のステレオ撮像装置1Aでは、フレーム検出部3で検出した各フレーム信号の出力タイミングの時間差分が所定時間よりも大きくなったかどうかを検出し、各フレーム信号A,Bの時間差分が所定時間よりも大きくなった場合に、他方のフレーム信号Bが一方のフレーム信号Aよりも早く発生したかどうかを判定し、他方のフレーム信号Bが一方のフレーム信号Aよりも早く発生した場合、フレーム制御部4Aが他方の撮像装置2Bの画像データBのメモリ61Bからの1フレーム期間を、各フレーム信号A,Bの差分時間分だけ延長し、それ以外の場合に、フレーム制御部4Aが他方の撮像装置の画像データBのメモリ61Bからの1フレーム期間を、各フレーム信号A,Bの差分時間分だけ短縮し、そのフレーム期間調整後、それ以降の各フレーム信号A,Bからは元のフレーム期間に戻す。
【0065】
ここで、本実施形態2のステレオ撮像装置1Aを用いた同期撮像方法は、立体視のステレオ画像を撮像可能とする左右の撮像装置2A,2Bからのフレーム信号の出力タイミングをフレーム検出部3で検出するフレーム検出工程と、フレーム制御部4Aが、検出したフレーム信号の出力タイミングに基づいて、左右の撮像装置2A,2Bからの各画像データが同期するように、左右の撮像装置2A,2Bのうちの少なくともいずれかのフレーム信号または/および画像データの出力タイミングを制御するフレーム制御工程とを有している。この場合、本実施形態2の同期撮像方法では、同期ずれにおいて、フレーム制御工程は、検出したフレーム信号の出力タイミングに基づいて、左右の撮像装置2A,2Bからの1フレーム分の画像データを一旦記憶する左右のメモリ61A,61Bのデータ出力タイミングが同期するようにそのデータ出力タイミングを制御する。つまり、フレーム制御工程は、左右の撮像装置2A、2Bの各フレーム信号の出力タイミングの差分時間だけ、左右の撮像装置2A、2Bのうちの他方の画像データBのメモリ61Bからの1フレーム期間を延長するかまたは短縮するように出力制御する。
【0066】
要するに、本実施形態2の同期撮像方法では、一方撮像装置起動手段が、左右の撮像装置2A,2Bのうちの一方の撮像装置2Aを起動する一方撮像装置起動工程と、一方の撮像装置2Aからの次のフレーム先頭を示すフレーム信号Aをフレーム検出部3が検出し、他方撮像装置起動手段が、フレーム検出部3で検出した出力タイミングに基づいて、一方の撮像装置2Aからのさらに次のフレーム信号Aに同期するように他方の撮像装置2Bを起動する他方撮像装置起動工程とを有している。
【0067】
また、本実施形態2の同期撮像方法では、時間差分検出手段が、フレーム検出部3で検出した各フレーム信号の出力タイミングの時間差分が所定時間よりも大きくなったかどうかを検出する時間差分検出工程と、各フレーム信号の時間差分が所定時間よりも大きくなった場合に、フレーム信号発生タイミング判定手段が、他方のフレーム信号Bが一方のフレーム信号Aよりも早く発生したかどうかを判定するフレーム信号発生タイミング判定工程と、フレーム期間調整手段が、他方のフレーム信号Bが一方のフレーム信号Aよりも早く発生した場合、他方の撮像装置2Bの画像データのメモリ61Bからの1フレーム期間を、各フレーム信号A,Bの差分時間分だけ延長し、それ以外の場合に、他方の撮像装置2Bの画像データBのメモリ61Bからの1フレーム期間を、各フレーム信号A,Bの差分時間分だけ短縮し、そのフレーム期間調整後、それ以降の各フレーム信号A,Bからは元のフレーム期間に戻して上記各工程を繰り返す。
【0068】
以上により、本実施形態2によれば、同期ずれがあっても、検出したフレーム信号A,Bの出力タイミングに基づいて、左右の撮像装置2A,2Bのからの各画像データが同期するように、左右の撮像装置2A,2Bのうちの少なくともいずれかのメモリからの画像データのデータ出力タイミングを制御するため、CMOSのように外部から共通トリガを与えることができない撮像装置2A,2Bであっても、複数の撮像素子に対して同期の取れた画像信号を出力させることができる。
【0069】
(実施形態3)
図7は、本発明の実施形態3として、本発明の実施形態1、2のステレオ撮像装置1または1Aを撮像部に用いた電子情報機器の概略構成例を示すブロック図である。
【0070】
図7において、本実施形態3の電子情報機器90は、上記実施形態1、2のステレオ撮像装置1または1Aと、このステレオ撮像装置1または1Aからのカラー画像信号を記録用に所定の信号処理した後にデータ記録可能とする記録メディアなどのメモリ部91と、このステレオ撮像装置1または1Aからのカラー画像信号を表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示可能とする液晶表示装置などの表示部92と、このステレオ撮像装置1または1Aからのカラー画像信号を通信用に所定の信号処理をした後に通信処理可能とする送受信装置などの通信部93と、このステレオ撮像装置1または1Aからのカラー画像信号を印刷用に所定の印刷信号処理をした後に印刷処理可能とするプリンタなどの画像出力部94とを有している。なお、この電子情報機器90として、これに限らず、ステレオ撮像装置1または1Aの他に、メモリ部91と、表示部92と、通信部93と、プリンタなどの画像出力部94とのうちの少なくともいずれかを有していてもよい。
【0071】
この電子情報機器90としては、前述したように例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、監視カメラ、ドアホンカメラ、車載用後方監視カメラなどの車載用カメラおよびテレビジョン電話用カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、カメラ付き携帯電話装置および携帯端末装置(PDA)などの画像入力デバイスを有した電子機器が考えられる。
【0072】
したがって、本実施形態3によれば、このステレオ撮像装置1または1Aからのカラー画像信号に基づいて、これを表示画面上に良好に表示したり、これを紙面にて画像出力部94により良好にプリントアウト(印刷)したり、これを通信データとして有線または無線にて良好に通信したり、これをメモリ部92に所定のデータ圧縮処理を行って良好に記憶したり、各種データ処理を良好に行うことができる。
【0073】
なお、以上のように、本発明の好ましい実施形態1〜3を用いて本発明を例示してきたが、本発明は、この実施形態1〜3に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態1〜3の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【0074】
本発明は、立体視のステレオ画像を静止画および動画で撮像可能とするステレオ撮像装置および、このステレオ撮像装置に用いられる同期撮像方法、このステレオ撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、画像入力カメラ、スキャナ装置、ファクシミリ装置、カメラ付き携帯電話装置などの電子情報機器の分野において、検出したフレーム信号の出力タイミングに基づいて、左右の撮像装置からの各画像データが同期するように、左右の撮像装置のうちの少なくともいずれかのフレーム信号または画像データの出力タイミングを制御するため、CMOSのように外部から共通トリガを与えることができない撮像装置であっても、複数の撮像素子に対して同期の取れた画像信号を出力することができる。
【符号の説明】
【0075】
1、1A ステレオ撮像装置
2A、2B、21A、21B 左右の撮像装置
3 フレーム検出部
4、4A フレーム制御部
5A、5B 信号処理部
6A、6B、61A、61B メモリ
90 電子情報機器
91 メモリ部
92 表示部
93 通信部
94 画像出力部

【特許請求の範囲】
【請求項1】
立体視のステレオ画像を撮像可能とする左右の撮像装置と、該左右の撮像装置からのフレーム信号の出力タイミングを検出するフレーム検出部と、検出したフレーム信号の出力タイミングに基づいて、該左右の撮像装置からの各画像データが同期するように、該左右の撮像装置のうちの少なくともいずれかのフレーム信号または/および該画像データの出力タイミングを制御するフレーム制御部とを有するステレオ撮像装置。
【請求項2】
前記フレーム制御部は、前記検出したフレーム信号の出力タイミングに基づいて、前記左右の撮像装置の各フレーム信号が同期するように、該左右の撮像装置のうちの少なくともいずれかのフレーム信号の出力タイミングを制御する請求項1に記載のステレオ撮像装置。
【請求項3】
前記フレーム制御部は、前記検出したフレーム信号の出力タイミングに基づいて、前記左右の撮像装置からの1フレーム分の画像データを一旦記憶する左右のメモリのデータ出力タイミングが同期するように該データ出力タイミングを制御する請求項1に記載のステレオ撮像装置。
【請求項4】
前記フレーム制御部は、前記左右の撮像装置の一方を起動し、該一方からのフレーム信号を基準にして、該左右の撮像装置のうちの他方のフレーム信号の出力タイミングを制御して該他方を起動する請求項2に記載のステレオ撮像装置。
【請求項5】
前記フレーム制御部は、前記左右の撮像装置の各フレーム信号の出力タイミングの差分時間だけ、該左右の撮像装置のうちの他方の1フレーム期間を延長するかまたは短縮する請求項2に記載のステレオ撮像装置。
【請求項6】
前記フレーム制御部は、前記左右の撮像装置の各フレーム信号の出力タイミングの差分時間だけ、該左右の撮像装置のうちの他方の画像データの前記メモリからの1フレーム期間を延長するかまたは短縮するようにデータ出力制御する請求項3に記載のステレオ撮像装置。
【請求項7】
前記フレーム制御部は前記左右の撮像装置のうちの一方の撮像装置を起動し、該一方の撮像装置からの次のフレーム先頭を示すフレーム信号の出力タイミングを前記フレーム検出部が検出し、該フレーム制御部は、該フレーム検出部で検出した該出力タイミングに基づいて、該一方の撮像装置からのさらに次のフレーム信号に同期するように他方の撮像装置を起動する請求項4に記載のステレオ撮像装置。
【請求項8】
前記フレーム検出部で検出した各フレーム信号の出力タイミングの時間差分が所定時間よりも大きくなったかどうかを検出し、該各フレーム信号の時間差分が所定時間よりも大きくなった場合に、他方のフレーム信号が一方のフレーム信号よりも早く発生したかどうかを判定し、他方のフレーム信号が一方のフレーム信号よりも早く発生した場合、前記フレーム制御部が他方の撮像装置に対して、該各フレーム信号の差分時間分だけ他方の次のフレーム信号の1フレーム期間を延長し、それ以外の場合に、該フレーム制御部が該他方の撮像装置に対して、該各フレーム信号の差分時間分だけ該他方の次のフレーム信号の1フレーム期間を短縮し、そのフレーム期間調整後、それ以降の各フレーム信号からは元のフレーム期間に戻す請求項5に記載のステレオ撮像装置。
【請求項9】
前記フレーム検出部で検出した各フレーム信号の出力タイミングの時間差分が所定時間よりも大きくなったかどうかを検出し、該各フレーム信号の時間差分が所定時間よりも大きくなった場合に、他方のフレーム信号が一方のフレーム信号よりも早く発生したかどうかを判定し、他方のフレーム信号が一方のフレーム信号よりも早く発生した場合、前記フレーム制御部が他方の撮像装置の画像データの前記メモリからの1フレーム期間を、該各フレーム信号の差分時間分だけ延長し、それ以外の場合に、該フレーム制御部が該他方の撮像装置の画像データの該メモリからの1フレーム期間を、該各フレーム信号の差分時間分だけ短縮し、そのフレーム期間調整後、それ以降の各フレーム信号からは元のフレーム期間に戻す請求項6に記載のステレオ撮像装置。
【請求項10】
立体視のステレオ画像を撮像可能とする左右の撮像装置からのフレーム信号の出力タイミングをフレーム検出部で検出するフレーム検出工程と、フレーム制御部が、検出したフレーム信号の出力タイミングに基づいて、該左右の撮像装置からの各画像データが同期するように、該左右の撮像装置のうちの少なくともいずれかのフレーム信号または/および該画像データの出力タイミングを制御するフレーム制御工程とを有する同期撮像方法。
【請求項11】
前記フレーム制御工程は、前記検出したフレーム信号の出力タイミングに基づいて、前記左右の撮像装置の各フレーム信号が同期するように、該左右の撮像装置のうちの少なくともいずれかのフレーム信号の出力タイミングを制御する請求項10に記載の同期撮像方法。
【請求項12】
前記フレーム制御工程は、前記検出したフレーム信号の出力タイミングに基づいて、前記左右の撮像装置からの1フレーム分の画像データを一旦記憶する左右のメモリのデータ出力タイミングが同期するように該データ出力タイミングを制御する請求項10に記載の同期撮像方法。
【請求項13】
前記フレーム制御工程は、前記左右の撮像装置の一方を起動し、該一方からのフレーム信号を基準にして、該左右の撮像装置のうちの他方のフレーム信号の出力タイミングを制御して該他方を起動する請求項11に記載の同期撮像方法。
【請求項14】
前記フレーム制御工程は、前記左右の撮像装置の各フレーム信号の出力タイミングの差分時間だけ、該左右の撮像装置のうちの他方の1フレーム期間を延長するかまたは短縮する請求項11に記載の同期撮像方法。
【請求項15】
前記フレーム制御工程は、前記左右の撮像装置の各フレーム信号の出力タイミングの差分時間だけ、該左右の撮像装置のうちの他方の画像データの前記メモリからの1フレーム期間を延長するかまたは短縮するように出力制御する請求項12に記載の同期撮像方法。
【請求項16】
一方撮像装置起動手段が、前記左右の撮像装置のうちの一方の撮像装置を起動する一方撮像装置起動工程と、該一方の撮像装置からの次のフレーム先頭を示すフレーム信号をフレーム検出部が検出し、他方撮像装置起動手段が、該フレーム検出部で検出した出力タイミングに基づいて、該一方の撮像装置からのさらに次のフレーム信号に同期するように他方の撮像装置を起動する他方撮像装置起動工程とを有する請求項13に記載の同期撮像方法。
【請求項17】
時間差分検出手段が、フレーム検出部で検出した各フレーム信号の出力タイミングの時間差分が所定時間よりも大きくなったかどうかを検出する時間差分検出工程と、該各フレーム信号の時間差分が所定時間よりも大きくなった場合に、フレーム信号発生タイミング判定手段が、他方のフレーム信号が一方のフレーム信号よりも早く発生したかどうかを判定するフレーム信号発生タイミング判定工程と、フレーム期間調整手段が、該他方のフレーム信号が該一方のフレーム信号よりも早く発生した場合、他方の撮像装置に対して、該各フレーム信号の差分時間分だけ他方の次のフレーム信号の1フレーム期間を延長し、それ以外の場合に、該他方の撮像装置に対して、該各フレーム信号の差分時間分だけ該他方の次のフレーム信号の1フレーム期間を短縮するフレーム期間調整工程とを有し、フレーム期間調整後、それ以降の該各フレーム信号からは元のフレーム期間に戻して上記各工程を繰り返す請求項14に記載の同期撮像方法。
【請求項18】
時間差分検出手段が、フレーム検出部で検出した各フレーム信号の出力タイミングの時間差分が所定時間よりも大きくなったかどうかを検出する時間差分検出工程と、該各フレーム信号の時間差分が所定時間よりも大きくなった場合に、フレーム信号発生タイミング判定手段が、他方のフレーム信号が一方のフレーム信号よりも早く発生したかどうかを判定するフレーム信号発生タイミング判定工程と、フレーム期間調整手段が、該他方のフレーム信号が一方のフレーム信号よりも早く発生した場合、他方の撮像装置の画像データの前記メモリからの1フレーム期間を、該各フレーム信号の差分時間分だけ延長し、それ以外の場合に、該他方の撮像装置の画像データの該メモリからの1フレーム期間を、該各フレーム信号の差分時間分だけ短縮し、そのフレーム期間調整後、それ以降の各フレーム信号からは元のフレーム期間に戻して上記各工程を繰り返す請求項15に記載の同期撮像方法。
【請求項19】
請求項1〜9のいずれかに記載のステレオ撮像装置を画像入力デバイスとして撮像部に用いた電子情報機器。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−98877(P2013−98877A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−241728(P2011−241728)
【出願日】平成23年11月2日(2011.11.2)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】