デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法
【課題】立体画像表示のための立体画像を生成する装置とその構成を提供する。
【解決手段】第１の画像センサと、第１の画像センサと離れて配置された第２の画像センサと、第１および第２の画像センサからの画像データを合成するダイバーシティ合成モジュールと、ダイバーシティ合成モジュールからの合成画像データを処理するように構成された画像処理モジュールとを備えることにより、立体画像表示のための立体画像を生成する装置を構成する。
【解決手段】第１の画像センサと、第１の画像センサと離れて配置された第２の画像センサと、第１および第２の画像センサからの画像データを合成するダイバーシティ合成モジュールと、ダイバーシティ合成モジュールからの合成画像データを処理するように構成された画像処理モジュールとを備えることにより、立体画像表示のための立体画像を生成する装置を構成する。
【発明の詳細な説明】
【関連出願】
【０００１】
本願は、２００６年７月２５日に出願され、"MOBILE DEVICE WITH DUAL DIGITAL CAMERA SENSORS AND METHODS OF USING THE SAME"と題され、その全体が参照によって本明細書に組み込まれ、本願ともに譲渡された米国特許出願（代理人整理番号０６１１７０）に関連する。
【技術分野】
【０００２】
本願は、電子デバイスに関し、さらに詳しくは、デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法に関する。
【背景技術】
【０００３】
例えばセルラ電話のようないくつかのモバイル・デバイスは、画像をキャプチャするためのセンサを持つことができる。
【発明の概要】
【０００４】
１つの局面は、第１の画像センサと、第１の画像センサと離れて配置された第２の画像センサと、第１の画像センサおよび第２の画像センサからの画像データを合成するダイバーシティ合成モジュールと、ダイバーシティ合成モジュールから得られた合成画像データを処理するように構成された画像処理モジュールとを備えた装置に関する。
【０００５】
他の局面は、第１の画像センサを用いて第１の画像を検知することと、第１の画像センサから離れて配置された第２の画像センサを用いて第２の画像を検知することと、第１の画像センサおよび第２の画像センサからの画像データをダイバーシティ合成することと、立体画像を生成するために、合成された画像データを処理することとを備えた方法に関する。
【０００６】
１または複数の実施形態の詳細は、添付図面および以下の記述で述べられる。
【図面の簡単な説明】
【０００７】
【図１】図１は、２またはそれ以上のカメラ・センサを備えたモバイル・デバイスを例示している。
【図２Ａ】図２Ａは、単一の視点Ｖがカメラ・センサの位置である場合における画像平面Ｐ１’およびＰ２’に投影された２つの対象ポイントＰ１およびＰ２を例示している。
【図２Ｂ】図２Ｂは、左側Ｖと右側Ｖとが、２つのカメラ・センサの位置である場合における右側画像平面Ｐ１ｒ’、Ｐ２ｒ’および左側画像平面Ｐ１ｌ’、Ｐ２ｌ’の２つの対象ポイントＰ１およびＰ２の投射投影を例示している。
【図３】図３は、図１のデバイスにおけるカメラ処理パイプラインの一例を例示している。
【図４】図４は、図１のデバイスによって実行されうる立体映像処理フローチャートを例示している。
【図５】図５は、図１のデバイスの２つのセンサによって見られる画像の一例を例示する。
【図６】図６は、図１のデバイスの２つのセンサ・コントローラのフローチャートを例示する。
【図７Ａ】図７Ａは、水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。
【図７Ｂ】図７Ｂは、水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。
【図７Ｃ】図７Ｃは、図７Ａおよび図７Ｂの左目視点および右目視点から構成された３−Ｄ画像を示す。
【図８Ａ】図８Ａは、水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。
【図８Ｂ】図８Ｂは、水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。
【図８Ｃ】図８Ｃは、図８Ａおよび図８Ｂの左目視点および右目視点から構築された３−Ｄ画像を示す。
【図９】図９は、２またはそれ以上のセンサを備えたモバイル・デバイスの別の構成を例示する。
【図１０】図１０は、図９のデバイスを用いた映像モード処理の方法を例示する。
【発明を実施するための形態】
【０００８】
（投射図法）
図２Ａに示されるように、カメラは投射投影を行なうことにより画像をキャプチャする。図２Ａは、単一の視点Ｖがカメラ・センサの位置である場合における画像平面Ｐ１’およびＰ２’に投影された２つの対象ポイントＰ１およびＰ２を例示している。
【０００９】
深さ方向を知覚することができる人間の視覚体系を模擬するために、２つのカメラ・センサを備えたデバイスが、図２Ｂに示すように、右目および左目のビューをキャプチャすることができる。図２Ｂは、左側Ｖと右側Ｖとが、２つのカメラ・センサの位置である場合における右側画像平面Ｐ１ｒ’、Ｐ２ｒ’および左側画像平面Ｐ１ｌ’、Ｐ２ｌ’の２つの対象ポイントＰ１およびＰ２の投射投影を例示している。画像平面上における対象の投射の差分は、立体画像としての深さ方向の感知に相当する。
【００１０】
図７Ａ−７Ｂおよび図８Ａ−８Ｂは、約６ｃｍの水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。図７Ｃおよび図８Ｃは、下記に述べられるように、図７Ａ−７Ｂおよび図８Ａ−８Ｂからの左目視点および右目視点から構築された３−Ｄ画像を示す。
【００１１】
（３−Ｄ立体画像および映像）
知覚的なリアリズムを高めることは、次世代のマルチメディア開発を駆り立てる要因となった。急速に成長しているマルチメディア通信市場およびエンタテイメント市場は、立体画像キャプチャ、処理、圧縮、配信、および表示をカバーする３次元（３−Ｄ）（立体または立体的とも称される）画像技術および映像技術を用いることができる。
【００１２】
立体（stereo）画像と単一（mono）画像との間の主な相違は、前者が、シーン内における対象の距離と、３次元の感覚とを与えることである。人間の視覚は、本質的には、異なる投射視点にある左目と右目によって見られる両目を用いた視点によって、立体的である。我々の脳は、立体的な深さのある画像を合成することができる。
【００１３】
マルチメディア・デバイスは、モノスコピックなインフラストラクチャで実現されうる。モノスコピックなカメラは、立体画像をキャプチャして生成することができる。モノスコピックなカメラは、立体画像を生成するために、深さ情報を検出および推定する自動焦点処理からの統計情報を用いることができる。
【００１４】
（デュアル・センサを備えたデバイス）
デュアル・センサを備えたデバイスに関し、例えば、増加したデータ処理の計算上の複雑さ、電力消費、これらセンサの位置および解像度の設定のような多くの問題がある。カメラ電話のようなデバイスは、固定位置に２つの画像センサを有しうる。すなわち、２つのセンサは、移動することができない。２つのセンサは、例えば異なる解像度を持つ１次センサおよび２次センサのように、別々に設定され、取り扱われうる。低解像度センサが、映像をキャプチャするために使用される一方、高解像度センサが、静止画像をキャプチャするために使用されうる。下記に述べられるように、２つのセンサから得られた画像は、ともに合成あるいは処理されうる。
【００１５】
デュアル・センサ・カメラ電話は、立体画像または立体映像をキャプチャおよび生成するために、正確なビューを得ることができる。デュアル・カメラ・センサ・モバイル・デバイスのコストは、１つのセンサを持つデバイスとほぼ同じほどに低減されうる。以下の記述は、高品質立体画像／映像キャプチャおよび立体画像合成を可能にするデュアル・カメラ・センサ・モバイル・デバイスあるいは立体画像システムを説明する。
【００１６】
図１は、３−Ｄ立体画像および映像をキャプチャして処理するように構成された、デュアル・デジタル・カメラ・センサ１３２、１３４を備えたモバイル・デバイス１３０を例示する。一般に、モバイル・デバイス１３０は、デジタル画像および／または映像シーケンスをキャプチャし、生成し、処理し、修正し、スケールし、符号化し、復号し、送信し、格納し、表示するように構成されうる。このデバイス１３０は、高品質立体画像キャプチャ、様々なセンサ位置、視点角度ミスマッチ補償、および、立体画像の処理および合成のための効率的なソリューションを提供することができる。
【００１７】
モバイル・デバイス１３０は、無線通信デバイス、携帯情報端末（ＰＤＡ）、ハンドヘルド・デバイス、ラップトップ・コンピュータ、デスクトップ・コンピュータ、デジタル・カメラ、デジタル記録デバイス、ネットワーク対応デジタル・テレビ、モバイル電話、セルラ電話、衛星電話、カメラ電話、地上ベースの無線電話、ダイレクト双方向通信デバイス（しばしば、「ウォーキー・トーキー」と称される）、カムコーダ等で実現されうる。
【００１８】
モバイル・デバイス１３０は、第１のセンサ１３２、第２のセンサ１３４、第１のカメラ・インタフェース１３６、第２のカメラ・インタフェース１４８、第１のバッファ１３８、第２のバッファ１５０、メモリ１４６、ダイバーシティ合成モジュール１４０（あるいはエンジン）、カメラ処理パイプライン１４２、第２のメモリ１５４、３−Ｄ画像用ダイバーシティ合成コントローラ１５２、モバイル・ディスプレイ・プロセッサ（ＭＤＰ）１４４、ビデオ・エンコーダ１５６、静止画像エンコーダ１５８、ユーザ・インタフェース１２０、およびトランシーバ１２９を含みうる。図１に示される構成要素に加えて、あるいはそれらの構成要素の代わりに、モバイル・デバイス１３０は、その他の構成要素を含むことができる。図１のアーキテクチャは、単に一例である。本明細書に記述された機能および技術は、その他様々なアーキテクチャで実現されうる。
【００１９】
センサ１３２、１３４は、デジタル・カメラ・センサでありうる。センサ１３２、１３４は、同様または異なる物理構造を有しうる。センサ１３２、１３４は、同様にまたは異なって設定されたセッティングを有しうる。センサ１３２、１３４は、静止画像スナップショットおよび／または映像シーケンスをキャプチャすることができる。各センサは、個々のセンサまたはセンサ要素の表面に配置されたカラー・フィルタ・アレイ（ＣＦＡ）を含むことができる。
【００２０】
メモリ１４６、１５４は、個別かもしれないしあるいは統合されうる。メモリ１４６、１５４は、処理前および処理後の画像シーケンスまたは映像シーケンスを格納することができる。メモリ１４６、１５４は、揮発性記憶装置および／または不揮発性記憶装置を含みうる。メモリ１４６、１５４は、例えばダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、フラッシュ・メモリまたはＮＡＮＤゲート・メモリ、あるいはその他任意のデータ記憶技術のような任意のタイプのデータ記憶手段を備えることができる。
【００２１】
カメラ処理パイプライン１４２（エンジン、モジュール、処理ユニット、ビデオ・フロント・エンド（ＶＦＥ）等とも称される）は、ハードウェア、ソフトウェア、ファームウェア、および／または１または複数のマイクロプロセッサ、デジタル信号プロセサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、あるいはこれらの様々な組み合わせを含むモバイル電話用チップ・セットを備えうる。このパイプライン１４２は、画像シーケンスおよび／または映像シーケンスの品質を改善するために、１または複数の画像処理技術を実行することができる。下記に述べられるように、図３は、図１のカメラ処理パイプライン１４２の一例を例示している。
【００２２】
ビデオ・エンコーダ１５６は、デジタル・ビデオ・データの符号化（すなわち圧縮）および復号（すなわち解凍）のためのエンコーダ／デコーダ（コーデック）を備えることができる。ビデオ・エンコーダ１５６は、ＭＰＥＧまたはＨ．２６４のような、１または複数の符号化／復号規格またはフォーマットを使用することができる。
【００２３】
静止画像エンコーダ１５８は、画像データの符号化（すなわち圧縮）および復号（すなわち解凍）のためのエンコーダ／デコーダ（コーデック）を備えることができる。静止画像エンコーダ１５８は、例えばＪＰＥＧのような１または複数の符号化／復号規格またはフォーマットを使用することができる。
【００２４】
トランシーバ１２９は、符号化された画像シーケンスまたは映像シーケンスを受信して、別のデバイスまたはネットワークに送信することができる。トランシーバ１２９は、符号分割多元接続（ＣＤＭＡ）のような無線通信規格を使用することができる。ＣＤＭＡ規格の例は、ＣＤＭＡ １ｘ エボリューション・データ・オプティマイズド（ＥＶ−ＤＯ）（３ＧＰＰ２）、広帯域ＣＤＭＡ（ＷＣＤＭＡ）（３ＧＰＰ）等を含む。
【００２５】
デバイス１３０は、２センサ・カメラ・アーキテクチャのための高度に最適化されたハードウェア・ソリューションを含みうる。そのコストは、単一センサ・カメラで使用されるエンジンとほぼ等しい。デュアル・カメラ・センサ・デバイス１３０内には、キャプチャされた画像および映像の高い視覚品質、および、低電力制約を提供するモジュールのセットが実装されうる。
【００２６】
デバイス１３０は、３−Ｄ立体画像および映像が効率的に生成されるように、２つのセンサ１３８、１５０間の固定された水平距離を保つことができる。図１に示すように、２つのセンサ１３２、１３４は、水平距離で約６ｃｍ離れているが、６ｃｍよりも遠いあるいは近いその他の距離もまた使用されうる。第１のセンサ１３２は、１次センサであり、第２のセンサ１３４は、２次センサでありうる。第２のセンサ１３４は、電力消費を低減するために、非立体モードに対しては停止されうる。
【００２７】
２つのバッファ１３８、１５０は、例えば、２つのセンサ１３２、１３４からのピクセル・データの１行または１ラインのようなリアル・タイム・センサ入力データを格納することができる。センサ・ピクセル・データは、小さなバッファ１３８、１５０にオン・ラインで（つまりリアル・タイムで）入る。そして、センサ１３２とセンサ１３４（またはバッファ１３８とバッファ１５０）を切り換えることによって、ダイバーシティ合成モジュール１４０および／またはカメラ・エンジン・パイプライン・エンジン１４２によって、オフラインで処理される。ダイバーシティ合成モジュール１４０および／またはカメラ・エンジン・パイプライン・エンジン１４２は、１つのセンサのデータ・レートの約２倍の速度で動作することができる。出力データ帯域幅およびメモリ要求を低減するために、立体画像および映像が、カメラ・エンジン１４２内で整えられる。
【００２８】
ダイバーシティ合成モジュール１４０は、まず、第１のバッファ１３８からのデータを選択する。バッファ１３８の１行の終わりに、ダイバーシティ合成モジュール１４０は、第２のセンサ１３４からデータを得るために、第２のバッファ１５０に切り換えることができる。ダイバーシティ合成モジュール１４０は、第２のバッファ１５０からのデータの１行の終わりに、第１のバッファ１３８に切り換えることができる。
【００２９】
処理電力およびデータ・トラフィック帯域幅を低減するために、映像モードにあるセンサ画像データは、（第１のメモリ１４６をバイパスすることによって）バッファ１３８、１５０を経由して直接的にダイバーシティ合成モジュール１４０へ送られうる。一方、スナップショット（画像）処理モードの場合、センサ・データが、オフライン処理のために、メモリ１４６に保存されうる。さらに、低電力消費プロファイルのために、第２のセンサ１３４の電源がオフされ、カメラ・パイプライン駆動クロックを縮小することができる。
【００３０】
（立体画像合成）
図７Ａ−７Ｂおよび図８Ａ−８Ｂは、水平距離で約６ｃｍ離された第１のセンサ１３２と第２のセンサ１３４（左目視点および右目視点）によってキャプチャされた画像の例を例示している。図７Ａ−７Ｂおよび図８Ａ−８Ｂは、（図１のデバイス１３０内、または、デバイス１３０からのデータを受信するその他幾つかのデバイス内の）自動立体画像（autostereoscopic）表示システムに直接的に渡される画像を示す。立体画像（stereoscopic）表示を見るためには、ユーザによって３−Ｄ眼鏡が使用されるべきである。これは、立体的なアプリケーションの効果を実演する。自動立体画像（autostereoscopic）と単なる立体画像（stereoscopic）との違いは、立体画像表示は、３−Ｄ眼鏡を必要とすることである。３−Ｄ眼鏡は、各目に対する正しい視点を選択的に可能にする。これら３−Ｄ眼鏡上のカラー・フィルタ（Anaglyph）の場合、左目視点のみが赤チャネル・データを含み、右目視点のみが緑チャネルおよび青チャネルを含む。図３のカメラ・プロセス処理パイプライン内のカラー・チャネル・マスク３２８は、未使用のチャネル・データを削除することができる。
【００３１】
図７Ｃおよび図８Ｃは、図７Ａ−７Ｂおよび図８Ａ−８Ｂにおける２視点から構築された３−Ｄ立体画像（anaglyph）を例示する。
【００３２】
（カメラ・パイプライン）
図３は、図１のカメラ処理パイプライン１４２の一例を例示する。例えば、このパイプライン１４２は、黒サブトラクト（subtract）モジュール３００と、レンズ・ロール・オフ補正モジュール３０２と、チャネル利得モジュール３０４と、不良ピクセル補正またはノイズ低減モジュール３０６と、デモザイク・モジュール３０８と、統計データ収集モジュール３１０と、１−Ｄ Ｙマッピング・モジュール３１２と、視野（ＦＯＶ：field of view）クロッピング・モジュール３１４と、スケール・モジュール３１６と、ホワイト・バランス・モジュール３１８と、色補正モジュール３２０と、皮膚色プロセッサ３２２、ｌｕｍａ適応モジュール３２４と、赤／緑／青（ＲＧＢ）ルック・アップ・テーブル（ＬＵＴ）と、ＲＧＢ−ＹＣｒＣｂ色変換またはチャネル・マスク・モジュール３２８と、Ｙ適応空間フィルタ（ＡＳＦ：adaptive spatial filtering）モジュール３３０と、彩度サブ・モジュール３３２とを含むことができる。図３中で示されるモジュール／機能に加えて、あるいはそのモジュールの代わりに、パイプライン１４２は、他のモジュールおよび／または機能を含むことができる。パイプライン１４２の出力は、図１の第２のメモリ１５４に供給されうる。
【００３３】
（垂直ミスマッチ・オフセット）
デバイス１３０は、２つの独立したセンサ１３２、１３４からキャプチャされた２つの画像の垂直ミスマッチを高信頼度で計算し、補償することができる。
【００３４】
図５は、図１の２つのセンサ１３２、１３４によって見られた、すなわちキャプチャされた画像の一例を例示する。センサ１３２、１３４のおのおのの有効な行インデクスは、２つのセンサ１３２、１３４間に存在する“Ｙオフセット”と呼ばれる垂直ミスマッチ・オフセットに由来する。３−Ｄ画像用ダイバーシティ合成コントローラ１５２は、図６を用いて下記に示すようにして、Ｙオフセットを導出する。例えば、Ｙオフセット＝５の場合、第１のセンサ１３２の有効な行インデクスは、５から（画像高さ−１）となり、第２のセンサ１３４については、０から（画像高さ−６）となる。あるいは、Ｙオフセット＝−５の場合、第１のセンサ１３２の有効な行インデクスは、０から（画像高さ−６）となり、第２のセンサ１３４については、５から（画像高さ−１）となる。２つのセンサの出力データを使うために、単一のカメラＶＦＥパイプライン１４２が、高クロック周波数で駆動されうる。
【００３５】
Ｙオフセットを推定するために、Ｙ １−Ｄマッピング・モジュール３１２が、例えば、付録Ａの擬似コードにおけるＹ ＳｕｍＳｅｎｓｏｒ１[]およびＹ ＳｕｍＳｅｎｓｏｒ２[]のような垂直方向１−Ｄマッピング・データを提供する。入力される行データは、第１のセンサ１３２および第２のセンサ１３４から交互に来るので、おのおのの行のＹ ＳｕｍＳｅｎｓｏｒ１[]およびＹ ＳｕｍＳｅｎｓｏｒ２[]は、フレームの最後において利用可能となるだろう。このＹ推定タスクがディセーブルされると、Ｙ １−Ｄマッピング・モジュール３１２は、電力消費を低減するためにディセーブルされる。
【００３６】
チャンネル・マスク・モジュール３２８は、決まった画像および映像処理のために色変換を実行し、３−Ｄ画像の構築時において色チャネル・マスク・タスクを実行しうる。左目視点のみが赤チャネル・データを含み、右目視点が緑チャネルおよび青チャネルを含んでいるので、カメラ・エンジン１４２は、第１のセンサ行データに関する赤チャネル・データのみを送り出し、第２のセンサ行データに関する緑チャネル・データおよび青チャネル・データを送出する。したがって、立体画像の構築のための出力データ・トラフィック帯域幅、メモリ要求、および後処理タスクが低減されうる。
【００３７】
（映像モード処理）
図４は、図１のデバイス１３０によって実行されうる立体映像処理フローチャートを例示する。立体画像処理は、図４の立体映像モード処理と同様の方法で実行されうる。ブロック４００では、水平ピクセル・インデクスが、バッファ選択が第１のバッファ１３８（第１のセンサ・データ）であるか、第２のバッファ１５０（第２のセンサ・データ）であるかを決定する。ブロック４０２、４０６では、第１のバッファ１３８および第２のバッファ１５０からそれぞれピクセルが読み取られる。ブロック４０４、４０８では、有効なデータ基準について、垂直ピクセル・インデクス（ｙピクセル）が、Ｙオフセット（ｙ＿ｏｆｆｓｅｔ）と比較される。この有効なデータ基準は、第１のセンサ・データとも第２のセンサ・データとも異なる有効な行データは、ブロック４１０において、ダイバーシティ合成モジュール１４０へ送られ、その後、ブロック４１２において、カメラ・パイプライン・エンジン１４２に送られるだろう。ブロック４１４は、そのピクセルが最後のピクセルであるかを判定し、もし最後のピクセルでなければ、ブロック４００に戻る。もし最後のピクセルであれば、処理された、第１のセンサ・データの赤チャネル・データと、第２のセンサ・データの緑チャネル・データおよび青チャネル・データとが、たとえばブロック４１８における表示や映像符号化のような更なる処理のために、メモリ１５４内に保存されるだろう（ブロック４１６）。
【００３８】
（センサ・コントローラ）
位置の不正確さおよび視点角度のミスマッチによって、２つのセンサによってキャプチャされた画像間で、ある垂直方向のミスマッチ・オフセットが存在しうる。図５は、２つのセンサによってキャプチャされた画像間の垂直方向のオフセット（“Ｙオフセット”）を例示する。２つのセンサのコントローラ１５２は、共通のオーバラップ・エリアに位置する構築された画像を、垂直方向において調節することができる。（図４におけるブロック４０４および４０８によって、あるいは、図３におけるＦＯＶクロッピング・モジュール３１４によって）画像の上端または下端をクロップ・アウトした後、「構築された画像の高さ」は、図５に示すように、「センサ画像高さ」からＹオフセットを引いたものに等しい。
【００３９】
図６は、図１中の２つのセンサ・コントローラ１５２のフローチャートを例示する。図６は、デバイス１３０に電源が投入された場合、あるいは、センサ位置が変わった場合にアクティブになる推定タスクを例示する。オフセットは垂直方向にしかないので、この提案された推定ソリューションは、（図３における１−Ｄ Ｙマッピング・モジュール３１２による）１−Ｄ Ｙマッピングによって行われ、その後、１−Ｄ相互相関がなされる。付録Ａは、対応する擬似コードをリストしている。
【００４０】
水平距離と、僅かな垂直距離とを持つ２つの画像が同時にキャプチャされるので、２つのシーンは、水平方向において非常に類似し、高く相関付けられる。したがって、この処理は、ロバストで効率的なターゲットを達成するために、１−Ｄ垂直マッピングおよび相互相関探索のみを用いる。
【００４１】
ブロック６０２、６０６では、第１のセンサ１３２および第２のセンサ１３４が、データをキャプチャする。各行について蓄積されたｌｕｍａデータは、フレームの最後において利用可能である。ブロック６０４、６０８では、カメラ・パイプライン１４２が、図３の１−Ｄ Ｙマッピング・モジュール３１２による１−Ｄ Ｙマッピングを用いてセンサ・データを処理する。
【００４２】
ブロック６１０では、図１におけるコントローラ１５２が、２つのセンサのＹマッピング間の最大相関に対応するＹオフセットを見つける。２つのセンサのＹマッピング・データの相互相関は、図１のコントローラ１５２による後処理中に行われる。最大相互相関に対応するオフセットは、導出されたＹオフセットである。垂直オフセットは、視点角度に依存して制限された値でありうる。その探索範囲もまた制限されうる。
【００４３】
ブロック６１２では、立体画像処理の失敗を回避するために、最大相互相関が、図１におけるコントローラ１５２によって、しきい値と比較される。最大相互相関が、しきい値未満ではない場合、立体画像が正しく構築され、ブロック６１４において、ダイバーシティ合成のためのＹオフセットが設定される。例えば、このしきい値は、第１のセンサＹマッピング・データの自動相関の９０％として設定されうる。言い換えれば、構築ステータスは、第１のセンサと第２のセンサとでオーバラップしている画像エネルギーが、第１のセンサ・データのエネルギーの９０％に等しいか、それより大きい場合においてのみ正しい。最大相互相関がしきい値以下である場合、ブロック６１６に示すように、立体画像は、正しく構築されない。
【００４４】
要約すると、デュアル・カメラ・センサ１３２、１３４を備えたデバイス１３０は、高品質な立体画像および映像のキャプチャを可能とする。例えばセンサ位置、視点角度ミスマッチ補償、および２つの視点の合成のような多くの問題に対処することができる。デバイス１３０は、デバイス１３０のコストが、単一のセンサを備えたカメラ電話で使用される処理エンジンとほぼ同じになるように、特定のアプリケーションの低電力制約を満足するように高度に最適化されている。一方、柔軟性がありかつ信頼性のある解決策は、高い視覚品質を保証するために、２つの独立したセンサ１３２、１３４からキャプチャされた２つの視点画像の垂直方向のミスマッチを計算し、補償することができる。
【００４５】
（少なくとも１つのセンサが可動式である２つのセンサを備えたデバイス）
図９は、２またはそれ以上のセンサ１０２、１０４を備えたモバイル・デバイス１００の別の構成を例示している。デバイス１００は、上述した機能のうちの１または複数を実現するように構成されうる。モバイル・デバイス１００は、デジタル画像および／または映像シーケンスをキャプチャ、生成、処理、修正、スケール、符号化、復号、送信、格納、および表示するように構成されうる。モバイル・デバイス１００は、例えば、無線通信デバイス、携帯情報端末（ＰＤＡ）、ラップトップ・コンピュータ、デスクトップ・コンピュータ、デジタル・カメラ、デジタル記録デバイス、ネットワーク対応のデジタル・テレビ、モバイル電話、セルラ電話、衛星電話、カメラ電話、地上ベースの無線電話、ダイレクト双方向通信デバイス（しばしば、「ウォーキー・トーキー」と称される）等のようなデバイス内に存在するか、あるいはこれらデバイスに実装されうる。
【００４６】
モバイル・デバイス１００は、第１のセンサ１０２、第２のセンサ１０４、センサ位置コントローラ１０６、カメラ処理パイプライン１０８、ディスプレイ１１０、ビデオ・エンコーダ１１２、静止画像エンコーダ１１４、メモリ１１６、カメラ・コントローラ１１８、ユーザ・インタフェース１２０、プロセッサ１２８、およびトランシーバ１２９を含みうる。図９に示す構成要素に加えて、あるいはその構成要素の代わりに、モバイル・デバイス１００は他の構成要素を含むことができる。図９で示されたアーキテクチャは、単に一例である。本明細書に記述された特徴および技術は、その他様々なアーキテクチャを用いて実現されうる。
【００４７】
センサ１０２、１０４は、デジタル・カメラ・センサでありうる。センサ１０２、１０４は、静止画像スナップショットおよび／または映像シーケンスをキャプチャすることができる。これらセンサはそれぞれ、個々のセンサまたはセンサ要素の表面に配置されたカラー・フィルタ・アレイ（ＣＦＡ）を含みうる。
【００４８】
メモリ１１６は、処理前および処理後の画像または映像シーケンスを格納することできる。メモリ１１６は、揮発性記憶装置および不揮発性記憶装置を含むことができる。メモリ１１６は、例えば、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、フラッシュ・メモリ、ＮＯＲまたはＮＡＮＤゲート・メモリ、またはその他任意のデータ記憶技術のような任意のタイプのデータ記憶手段を備えうる。
【００４９】
（エンジン、モジュール、処理ユニット等とも呼ばれる）カメラ処理パイプライン１０８は、ハードウェア、ソフトウェア、ファームウェア、および／または、１または複数のマイクロプロセッサ、デジタル信号プロセサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、あるいはこれらの様々な組み合わせを含む、モバイル電話のためのチップ・セットを備えうる。カメラ処理パイプライン１０８は、画像および／または映像シーケンスの品質を改善する１または複数の画像処理技術を実行することができる。例えば、パイプライン１０８は、デモザイク、レンズ・ロール・オフ補正、スケーリング、色補正、色変換、および空間フィルタリングのような技術を実行することができる。パイプライン１０８はまた、その他の技術を実行することが可能である。
【００５０】
ビデオ・エンコーダ１１２は、デジタル・ビデオ・データを符号化（すなわち圧縮）、および復号（すなわち解凍）をするためのエンコーダ／デコーダ（コーデック）を備えることができる。
【００５１】
静止画像エンコーダ１１４は、画像データを符号化（すなわち圧縮）、および復号（すなわち解凍）をするためのエンコーダ／デコーダ（コーデック）を備えることができる。
【００５２】
トランシーバ１２９は、符号化された画像または映像シーケンスを受信し、および／または、それらを、別のデバイスまたはネットワークへ送信することができる。トランシーバ１２９は、符号分割多元接続（ＣＤＭＡ）のような無線通信規格を使用することができる。ＣＤＭＡ規格の例は、ＣＤＭＡ １ｘ エボリューション・データ・オプティマイズド（ＥＶ−ＤＯ）、広帯域ＣＤＭＡ（ＷＣＤＭＡ）等を含む。
【００５３】
（センサに関する更なる詳細）
２つの個別のセンサ１０２、１０４を備えたモバイル・デバイス１００の設計および機能が、以下に述べられる。センサ１０２、１０４は、２つの局面を持つことができる。第１に、センサ位置コントローラ１０６が、例えば、センサ１０２、１０４を、１または複数の方向に回転、シフト、またはスライドさせることによって、２つのセンサ１０２、１０４の場所および／または位置を調節することができる。動作のいくつかの例が、図９に示される。しかし、他の２次元（２−Ｄ）または３次元（３−Ｄ）の動作もまた実施されうる。その動作は、ユーザおよび／またはカメラ・コントローラ１１８によって設定されうる。調整可能なセンサ１０２、１０４によって、例えば画像品質改善、３−Ｄ画像および映像視覚化、および３６０°パノラマ映像生成のような多くの高機能を可能としうる。
【００５４】
これら動作は、ある期間中、あるいはある周波数の間、固定されうる。１つの構成では、センサは、２を超えるセンサを備えている。これらセンサは、ライン状に、三角形状に、円状またはその他幾つかのパターンで配置される。この構成では、デバイス１００は、あるセンサを起動し、何れのセンサをも動かすことなく他のセンサを停止させることができる。この構成は、センサを動かすことから生じる問題を回避することができる。
【００５５】
第２に、例えば分解能のような、センサ１０２、１０４の様々な設定を調節することができ、さらに進化した機能および／または画像処理アプリケーションが可能となる。デュアル・センサ１０２、１０４は、モバイル・デバイス１００の画像処理の柔軟性を改善することができる。
【００５６】
図１０は、図９のデバイス１００を用いたビデオ・モード処理の方法を例示する。図１０は、図１乃至図８Ｃを参照して説明された機能のうちの何れかを含むように組み合わせまたは修正される。ブロック２０２および２０４では、センサ１０２、１０４が、画像をキャプチャして、ビデオ・フロント・エンド（ＶＦＥ）内に実装されているかあるいはビデオ・フロント・エンド（ＶＦＥ）と結合されたカメラ処理パイプライン１０８へピクセル・データを送る。ブロック２０６および２０８では、カメラ処理パイプライン１０８が、このピクセル・データを処理する。例えば、カメラ処理パイプライン１０８は、色を調節し、サイズをスケールし、画像コントラストを高めることにより、画像品質を改善することができる。
【００５７】
ブロック２１０では、カメラ処理パイプライン１０８が、２つのセンサ１０２、１０４からの、処理され、キャプチャされた画像を合成する（または縫い合わせる）。合成された画像は、ディスプレイ１１０による表示のため、および／または、エンコーダ１１２、１１４による静止画像および／または映像の符号化のために、メモリ１１６に保存されうる。判定ブロック２１２は、キャプチャおよび処理するための更なるピクセル・データが存在するかを判定する。
【００５８】
２つのセンサ１０２、１０４は、１または複数の利点を備えることができる。第１に、センサ位置を調節することによって、観察者の視角を制御することができる。第２に、２つのセンサ１０２、１０４から入力された画像が、一緒に処理され合成されうる。第３に、２つのセンサ１０２、１０４の間の水平距離が調整可能でありうる。これらの利点のうちの１または複数は、柔軟性および機能を高め、広範囲の拡張機能をサポートすることができる。
【００５９】
本明細書に記述された技術は、特定用途のためのセンサ位置設定および制御構成に依存しうる。低電力消費プロファイルのために、第２のセンサ１０４の電源がオフされ、カメラ・パイプライン駆動クロックを縮小することができる。
【００６０】
（調整可能なセンサ位置）
センサ１０２、１０４には３つの位置あるいは場所が存在しうる。これは、柔軟性を与え、拡張機能を可能にする。
【００６１】
２つのセンサ１０２、１０４は、互いに非常に接近して配置されうる。２つのセンサ１０２、１０４が、実質的に同じビュー・ポートをターゲットとしている場合、つまり、理論上、２つのセンサ１０２、１０４の間の距離が、０に近い場合、キャプチャされた画像および／または映像の品質は、非常に高められうる。キャプチャされた画像を１つに合成するために、それらを移動させる調節アルゴリズムを用いることができる。
【００６２】
特に、光が弱い環境においては、ランダムな画像ノイズが問題となりうる。２つのセンサ１０２、１０４を用いた受信ダイバーシティは、時間ダイバーシティによる重なり合った画像のボケや、露光時間といった制約なしで、センサ・ノイズを低減するための良い解決策でありうる。２つのセンサ１０２、１０４は、２つのセンサ１０２、１０４によってキャプチャされたシーン間の相違点を少なくするために、互いに近接して配置されうる。センサ・ノイズ分布は、独立しており、同じ分散を持つかもしれない。２つのセンサ１０２、１０４からの２つの処理された画像の合成後、信号対ノイズ比（ＳＮＲ）は、以下のようにして計算されうる。
【数１】
【００６３】
ここで、Ｓ１およびＳ２は、センサ１０２およびセンサ１０４からのキャプチャされた画像の信号であり、ｖａｒ（Ｎ１）およびｖａｒ（Ｎ２）は、センサ１０２およびセンサ１０４からのセンサ・ノイズ画像分散である。２つのセンサの画像および映像を合成した後、ＳＮＲは、３デシベル（ｄＢ）も改善されうる。
【００６４】
デュアル・カメラ・センサを備えたモバイル・デバイスが本明細書で説明された。このデバイスでは、センサの設定および位置の両方が調節可能でありうる。高度な機能適応性のある画像合成エンジンが、例えば画像品質改善、３−Ｄ画像および映像視覚化、および３６０°パノラマ映像生成のような高度な機能またはアプリケーションを提供することができる。
【００６５】
本明細書で開示された局面に関連して記載された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズム・ステップが、電子工学ハードウェア、コンピュータ・ソフトウェア、あるいはこれらの組み合わせとして実現されることを理解するであろう。ハードウェアとソフトウェアとの相互置換性を明確に説明するために、様々な例示的な部品、ブロック、モジュール、回路、およびステップが、それらの機能に関して一般的に記述された。それら機能がハードウェアとしてまたはソフトウェアとして実現されるかは、特定のアプリケーションおよびシステム全体に課せられている設計制約に依存する。当業者であれば、各特定のアプリケーションに応じて変化する方法で上述した機能を実現することができる。しかしながら、この適用判断は、限定と解釈されるべきではない。
【００６６】
本明細書で開示された局面に関連して記述された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡあるいはその他のプログラマブル論理デバイス、ディスクリート・ゲートあるいはトランジスタ・ロジック、ディスクリート・ハードウェア部品、または本明細書に記述した機能を実現するために設計された上記何れかの組み合わせを用いて実現または実施されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、例えばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１または複数のマイクロプロセッサ、またはその他任意のこのような構成である計算デバイスの組み合わせとして実現することも可能である。
【００６７】
本明細書で開示された実施形態に関連して記述された方法やアルゴリズムの動作は、ハードウェアによって直接的に、プロセッサによって実行されるソフトウェア・モジュールによって、または、これらの組み合わせによって具体化される。ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ・メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブル・ディスク、ＣＤ−ＲＯＭ、あるいはその他任意の型式の記憶媒体に収納されうる。記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに結合される。または、記憶媒体はプロセッサに統合されることができる。このプロセッサと記憶媒体とは、ＡＳＩＣ内に存在することができる。ＡＳＩＣは、ユーザ端末内に存在することもできる。あるいはこのプロセッサと記憶媒体とは、ユーザ端末内のディスクリート部品として存在することができる。
【００６８】
これら記述された局面に対する様々な変形例は、当業者に明らかであって、本明細書で定義された一般的な原理は、本発明の主旨または範囲から逸脱することなく他の実施形態にも適用されうる。このように、本開示は、本明細書で示された実施形態に限定されるものではなく、本明細書に記載された原理および新規な特徴に一致した最も広い範囲に相当することが意図されている。
【００６９】
【表１】
【関連出願】
【０００１】
本願は、２００６年７月２５日に出願され、"MOBILE DEVICE WITH DUAL DIGITAL CAMERA SENSORS AND METHODS OF USING THE SAME"と題され、その全体が参照によって本明細書に組み込まれ、本願ともに譲渡された米国特許出願（代理人整理番号０６１１７０）に関連する。
【技術分野】
【０００２】
本願は、電子デバイスに関し、さらに詳しくは、デュアル・デジタル・センサを備えた立体画像および映像キャプチャ・デバイスと、それを用いた方法に関する。
【背景技術】
【０００３】
例えばセルラ電話のようないくつかのモバイル・デバイスは、画像をキャプチャするためのセンサを持つことができる。
【発明の概要】
【０００４】
１つの局面は、第１の画像センサと、第１の画像センサと離れて配置された第２の画像センサと、第１の画像センサおよび第２の画像センサからの画像データを合成するダイバーシティ合成モジュールと、ダイバーシティ合成モジュールから得られた合成画像データを処理するように構成された画像処理モジュールとを備えた装置に関する。
【０００５】
他の局面は、第１の画像センサを用いて第１の画像を検知することと、第１の画像センサから離れて配置された第２の画像センサを用いて第２の画像を検知することと、第１の画像センサおよび第２の画像センサからの画像データをダイバーシティ合成することと、立体画像を生成するために、合成された画像データを処理することとを備えた方法に関する。
【０００６】
１または複数の実施形態の詳細は、添付図面および以下の記述で述べられる。
【図面の簡単な説明】
【０００７】
【図１】図１は、２またはそれ以上のカメラ・センサを備えたモバイル・デバイスを例示している。
【図２Ａ】図２Ａは、単一の視点Ｖがカメラ・センサの位置である場合における画像平面Ｐ１’およびＰ２’に投影された２つの対象ポイントＰ１およびＰ２を例示している。
【図２Ｂ】図２Ｂは、左側Ｖと右側Ｖとが、２つのカメラ・センサの位置である場合における右側画像平面Ｐ１ｒ’、Ｐ２ｒ’および左側画像平面Ｐ１ｌ’、Ｐ２ｌ’の２つの対象ポイントＰ１およびＰ２の投射投影を例示している。
【図３】図３は、図１のデバイスにおけるカメラ処理パイプラインの一例を例示している。
【図４】図４は、図１のデバイスによって実行されうる立体映像処理フローチャートを例示している。
【図５】図５は、図１のデバイスの２つのセンサによって見られる画像の一例を例示する。
【図６】図６は、図１のデバイスの２つのセンサ・コントローラのフローチャートを例示する。
【図７Ａ】図７Ａは、水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。
【図７Ｂ】図７Ｂは、水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。
【図７Ｃ】図７Ｃは、図７Ａおよび図７Ｂの左目視点および右目視点から構成された３−Ｄ画像を示す。
【図８Ａ】図８Ａは、水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。
【図８Ｂ】図８Ｂは、水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。
【図８Ｃ】図８Ｃは、図８Ａおよび図８Ｂの左目視点および右目視点から構築された３−Ｄ画像を示す。
【図９】図９は、２またはそれ以上のセンサを備えたモバイル・デバイスの別の構成を例示する。
【図１０】図１０は、図９のデバイスを用いた映像モード処理の方法を例示する。
【発明を実施するための形態】
【０００８】
（投射図法）
図２Ａに示されるように、カメラは投射投影を行なうことにより画像をキャプチャする。図２Ａは、単一の視点Ｖがカメラ・センサの位置である場合における画像平面Ｐ１’およびＰ２’に投影された２つの対象ポイントＰ１およびＰ２を例示している。
【０００９】
深さ方向を知覚することができる人間の視覚体系を模擬するために、２つのカメラ・センサを備えたデバイスが、図２Ｂに示すように、右目および左目のビューをキャプチャすることができる。図２Ｂは、左側Ｖと右側Ｖとが、２つのカメラ・センサの位置である場合における右側画像平面Ｐ１ｒ’、Ｐ２ｒ’および左側画像平面Ｐ１ｌ’、Ｐ２ｌ’の２つの対象ポイントＰ１およびＰ２の投射投影を例示している。画像平面上における対象の投射の差分は、立体画像としての深さ方向の感知に相当する。
【００１０】
図７Ａ−７Ｂおよび図８Ａ−８Ｂは、約６ｃｍの水平距離によって分離された２つのセンサからのキャプチャされた画像の例を例示する。図７Ｃおよび図８Ｃは、下記に述べられるように、図７Ａ−７Ｂおよび図８Ａ−８Ｂからの左目視点および右目視点から構築された３−Ｄ画像を示す。
【００１１】
（３−Ｄ立体画像および映像）
知覚的なリアリズムを高めることは、次世代のマルチメディア開発を駆り立てる要因となった。急速に成長しているマルチメディア通信市場およびエンタテイメント市場は、立体画像キャプチャ、処理、圧縮、配信、および表示をカバーする３次元（３−Ｄ）（立体または立体的とも称される）画像技術および映像技術を用いることができる。
【００１２】
立体（stereo）画像と単一（mono）画像との間の主な相違は、前者が、シーン内における対象の距離と、３次元の感覚とを与えることである。人間の視覚は、本質的には、異なる投射視点にある左目と右目によって見られる両目を用いた視点によって、立体的である。我々の脳は、立体的な深さのある画像を合成することができる。
【００１３】
マルチメディア・デバイスは、モノスコピックなインフラストラクチャで実現されうる。モノスコピックなカメラは、立体画像をキャプチャして生成することができる。モノスコピックなカメラは、立体画像を生成するために、深さ情報を検出および推定する自動焦点処理からの統計情報を用いることができる。
【００１４】
（デュアル・センサを備えたデバイス）
デュアル・センサを備えたデバイスに関し、例えば、増加したデータ処理の計算上の複雑さ、電力消費、これらセンサの位置および解像度の設定のような多くの問題がある。カメラ電話のようなデバイスは、固定位置に２つの画像センサを有しうる。すなわち、２つのセンサは、移動することができない。２つのセンサは、例えば異なる解像度を持つ１次センサおよび２次センサのように、別々に設定され、取り扱われうる。低解像度センサが、映像をキャプチャするために使用される一方、高解像度センサが、静止画像をキャプチャするために使用されうる。下記に述べられるように、２つのセンサから得られた画像は、ともに合成あるいは処理されうる。
【００１５】
デュアル・センサ・カメラ電話は、立体画像または立体映像をキャプチャおよび生成するために、正確なビューを得ることができる。デュアル・カメラ・センサ・モバイル・デバイスのコストは、１つのセンサを持つデバイスとほぼ同じほどに低減されうる。以下の記述は、高品質立体画像／映像キャプチャおよび立体画像合成を可能にするデュアル・カメラ・センサ・モバイル・デバイスあるいは立体画像システムを説明する。
【００１６】
図１は、３−Ｄ立体画像および映像をキャプチャして処理するように構成された、デュアル・デジタル・カメラ・センサ１３２、１３４を備えたモバイル・デバイス１３０を例示する。一般に、モバイル・デバイス１３０は、デジタル画像および／または映像シーケンスをキャプチャし、生成し、処理し、修正し、スケールし、符号化し、復号し、送信し、格納し、表示するように構成されうる。このデバイス１３０は、高品質立体画像キャプチャ、様々なセンサ位置、視点角度ミスマッチ補償、および、立体画像の処理および合成のための効率的なソリューションを提供することができる。
【００１７】
モバイル・デバイス１３０は、無線通信デバイス、携帯情報端末（ＰＤＡ）、ハンドヘルド・デバイス、ラップトップ・コンピュータ、デスクトップ・コンピュータ、デジタル・カメラ、デジタル記録デバイス、ネットワーク対応デジタル・テレビ、モバイル電話、セルラ電話、衛星電話、カメラ電話、地上ベースの無線電話、ダイレクト双方向通信デバイス（しばしば、「ウォーキー・トーキー」と称される）、カムコーダ等で実現されうる。
【００１８】
モバイル・デバイス１３０は、第１のセンサ１３２、第２のセンサ１３４、第１のカメラ・インタフェース１３６、第２のカメラ・インタフェース１４８、第１のバッファ１３８、第２のバッファ１５０、メモリ１４６、ダイバーシティ合成モジュール１４０（あるいはエンジン）、カメラ処理パイプライン１４２、第２のメモリ１５４、３−Ｄ画像用ダイバーシティ合成コントローラ１５２、モバイル・ディスプレイ・プロセッサ（ＭＤＰ）１４４、ビデオ・エンコーダ１５６、静止画像エンコーダ１５８、ユーザ・インタフェース１２０、およびトランシーバ１２９を含みうる。図１に示される構成要素に加えて、あるいはそれらの構成要素の代わりに、モバイル・デバイス１３０は、その他の構成要素を含むことができる。図１のアーキテクチャは、単に一例である。本明細書に記述された機能および技術は、その他様々なアーキテクチャで実現されうる。
【００１９】
センサ１３２、１３４は、デジタル・カメラ・センサでありうる。センサ１３２、１３４は、同様または異なる物理構造を有しうる。センサ１３２、１３４は、同様にまたは異なって設定されたセッティングを有しうる。センサ１３２、１３４は、静止画像スナップショットおよび／または映像シーケンスをキャプチャすることができる。各センサは、個々のセンサまたはセンサ要素の表面に配置されたカラー・フィルタ・アレイ（ＣＦＡ）を含むことができる。
【００２０】
メモリ１４６、１５４は、個別かもしれないしあるいは統合されうる。メモリ１４６、１５４は、処理前および処理後の画像シーケンスまたは映像シーケンスを格納することができる。メモリ１４６、１５４は、揮発性記憶装置および／または不揮発性記憶装置を含みうる。メモリ１４６、１５４は、例えばダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、フラッシュ・メモリまたはＮＡＮＤゲート・メモリ、あるいはその他任意のデータ記憶技術のような任意のタイプのデータ記憶手段を備えることができる。
【００２１】
カメラ処理パイプライン１４２（エンジン、モジュール、処理ユニット、ビデオ・フロント・エンド（ＶＦＥ）等とも称される）は、ハードウェア、ソフトウェア、ファームウェア、および／または１または複数のマイクロプロセッサ、デジタル信号プロセサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、あるいはこれらの様々な組み合わせを含むモバイル電話用チップ・セットを備えうる。このパイプライン１４２は、画像シーケンスおよび／または映像シーケンスの品質を改善するために、１または複数の画像処理技術を実行することができる。下記に述べられるように、図３は、図１のカメラ処理パイプライン１４２の一例を例示している。
【００２２】
ビデオ・エンコーダ１５６は、デジタル・ビデオ・データの符号化（すなわち圧縮）および復号（すなわち解凍）のためのエンコーダ／デコーダ（コーデック）を備えることができる。ビデオ・エンコーダ１５６は、ＭＰＥＧまたはＨ．２６４のような、１または複数の符号化／復号規格またはフォーマットを使用することができる。
【００２３】
静止画像エンコーダ１５８は、画像データの符号化（すなわち圧縮）および復号（すなわち解凍）のためのエンコーダ／デコーダ（コーデック）を備えることができる。静止画像エンコーダ１５８は、例えばＪＰＥＧのような１または複数の符号化／復号規格またはフォーマットを使用することができる。
【００２４】
トランシーバ１２９は、符号化された画像シーケンスまたは映像シーケンスを受信して、別のデバイスまたはネットワークに送信することができる。トランシーバ１２９は、符号分割多元接続（ＣＤＭＡ）のような無線通信規格を使用することができる。ＣＤＭＡ規格の例は、ＣＤＭＡ １ｘ エボリューション・データ・オプティマイズド（ＥＶ−ＤＯ）（３ＧＰＰ２）、広帯域ＣＤＭＡ（ＷＣＤＭＡ）（３ＧＰＰ）等を含む。
【００２５】
デバイス１３０は、２センサ・カメラ・アーキテクチャのための高度に最適化されたハードウェア・ソリューションを含みうる。そのコストは、単一センサ・カメラで使用されるエンジンとほぼ等しい。デュアル・カメラ・センサ・デバイス１３０内には、キャプチャされた画像および映像の高い視覚品質、および、低電力制約を提供するモジュールのセットが実装されうる。
【００２６】
デバイス１３０は、３−Ｄ立体画像および映像が効率的に生成されるように、２つのセンサ１３８、１５０間の固定された水平距離を保つことができる。図１に示すように、２つのセンサ１３２、１３４は、水平距離で約６ｃｍ離れているが、６ｃｍよりも遠いあるいは近いその他の距離もまた使用されうる。第１のセンサ１３２は、１次センサであり、第２のセンサ１３４は、２次センサでありうる。第２のセンサ１３４は、電力消費を低減するために、非立体モードに対しては停止されうる。
【００２７】
２つのバッファ１３８、１５０は、例えば、２つのセンサ１３２、１３４からのピクセル・データの１行または１ラインのようなリアル・タイム・センサ入力データを格納することができる。センサ・ピクセル・データは、小さなバッファ１３８、１５０にオン・ラインで（つまりリアル・タイムで）入る。そして、センサ１３２とセンサ１３４（またはバッファ１３８とバッファ１５０）を切り換えることによって、ダイバーシティ合成モジュール１４０および／またはカメラ・エンジン・パイプライン・エンジン１４２によって、オフラインで処理される。ダイバーシティ合成モジュール１４０および／またはカメラ・エンジン・パイプライン・エンジン１４２は、１つのセンサのデータ・レートの約２倍の速度で動作することができる。出力データ帯域幅およびメモリ要求を低減するために、立体画像および映像が、カメラ・エンジン１４２内で整えられる。
【００２８】
ダイバーシティ合成モジュール１４０は、まず、第１のバッファ１３８からのデータを選択する。バッファ１３８の１行の終わりに、ダイバーシティ合成モジュール１４０は、第２のセンサ１３４からデータを得るために、第２のバッファ１５０に切り換えることができる。ダイバーシティ合成モジュール１４０は、第２のバッファ１５０からのデータの１行の終わりに、第１のバッファ１３８に切り換えることができる。
【００２９】
処理電力およびデータ・トラフィック帯域幅を低減するために、映像モードにあるセンサ画像データは、（第１のメモリ１４６をバイパスすることによって）バッファ１３８、１５０を経由して直接的にダイバーシティ合成モジュール１４０へ送られうる。一方、スナップショット（画像）処理モードの場合、センサ・データが、オフライン処理のために、メモリ１４６に保存されうる。さらに、低電力消費プロファイルのために、第２のセンサ１３４の電源がオフされ、カメラ・パイプライン駆動クロックを縮小することができる。
【００３０】
（立体画像合成）
図７Ａ−７Ｂおよび図８Ａ−８Ｂは、水平距離で約６ｃｍ離された第１のセンサ１３２と第２のセンサ１３４（左目視点および右目視点）によってキャプチャされた画像の例を例示している。図７Ａ−７Ｂおよび図８Ａ−８Ｂは、（図１のデバイス１３０内、または、デバイス１３０からのデータを受信するその他幾つかのデバイス内の）自動立体画像（autostereoscopic）表示システムに直接的に渡される画像を示す。立体画像（stereoscopic）表示を見るためには、ユーザによって３−Ｄ眼鏡が使用されるべきである。これは、立体的なアプリケーションの効果を実演する。自動立体画像（autostereoscopic）と単なる立体画像（stereoscopic）との違いは、立体画像表示は、３−Ｄ眼鏡を必要とすることである。３−Ｄ眼鏡は、各目に対する正しい視点を選択的に可能にする。これら３−Ｄ眼鏡上のカラー・フィルタ（Anaglyph）の場合、左目視点のみが赤チャネル・データを含み、右目視点のみが緑チャネルおよび青チャネルを含む。図３のカメラ・プロセス処理パイプライン内のカラー・チャネル・マスク３２８は、未使用のチャネル・データを削除することができる。
【００３１】
図７Ｃおよび図８Ｃは、図７Ａ−７Ｂおよび図８Ａ−８Ｂにおける２視点から構築された３−Ｄ立体画像（anaglyph）を例示する。
【００３２】
（カメラ・パイプライン）
図３は、図１のカメラ処理パイプライン１４２の一例を例示する。例えば、このパイプライン１４２は、黒サブトラクト（subtract）モジュール３００と、レンズ・ロール・オフ補正モジュール３０２と、チャネル利得モジュール３０４と、不良ピクセル補正またはノイズ低減モジュール３０６と、デモザイク・モジュール３０８と、統計データ収集モジュール３１０と、１−Ｄ Ｙマッピング・モジュール３１２と、視野（ＦＯＶ：field of view）クロッピング・モジュール３１４と、スケール・モジュール３１６と、ホワイト・バランス・モジュール３１８と、色補正モジュール３２０と、皮膚色プロセッサ３２２、ｌｕｍａ適応モジュール３２４と、赤／緑／青（ＲＧＢ）ルック・アップ・テーブル（ＬＵＴ）と、ＲＧＢ−ＹＣｒＣｂ色変換またはチャネル・マスク・モジュール３２８と、Ｙ適応空間フィルタ（ＡＳＦ：adaptive spatial filtering）モジュール３３０と、彩度サブ・モジュール３３２とを含むことができる。図３中で示されるモジュール／機能に加えて、あるいはそのモジュールの代わりに、パイプライン１４２は、他のモジュールおよび／または機能を含むことができる。パイプライン１４２の出力は、図１の第２のメモリ１５４に供給されうる。
【００３３】
（垂直ミスマッチ・オフセット）
デバイス１３０は、２つの独立したセンサ１３２、１３４からキャプチャされた２つの画像の垂直ミスマッチを高信頼度で計算し、補償することができる。
【００３４】
図５は、図１の２つのセンサ１３２、１３４によって見られた、すなわちキャプチャされた画像の一例を例示する。センサ１３２、１３４のおのおのの有効な行インデクスは、２つのセンサ１３２、１３４間に存在する“Ｙオフセット”と呼ばれる垂直ミスマッチ・オフセットに由来する。３−Ｄ画像用ダイバーシティ合成コントローラ１５２は、図６を用いて下記に示すようにして、Ｙオフセットを導出する。例えば、Ｙオフセット＝５の場合、第１のセンサ１３２の有効な行インデクスは、５から（画像高さ−１）となり、第２のセンサ１３４については、０から（画像高さ−６）となる。あるいは、Ｙオフセット＝−５の場合、第１のセンサ１３２の有効な行インデクスは、０から（画像高さ−６）となり、第２のセンサ１３４については、５から（画像高さ−１）となる。２つのセンサの出力データを使うために、単一のカメラＶＦＥパイプライン１４２が、高クロック周波数で駆動されうる。
【００３５】
Ｙオフセットを推定するために、Ｙ １−Ｄマッピング・モジュール３１２が、例えば、付録Ａの擬似コードにおけるＹ ＳｕｍＳｅｎｓｏｒ１[]およびＹ ＳｕｍＳｅｎｓｏｒ２[]のような垂直方向１−Ｄマッピング・データを提供する。入力される行データは、第１のセンサ１３２および第２のセンサ１３４から交互に来るので、おのおのの行のＹ ＳｕｍＳｅｎｓｏｒ１[]およびＹ ＳｕｍＳｅｎｓｏｒ２[]は、フレームの最後において利用可能となるだろう。このＹ推定タスクがディセーブルされると、Ｙ １−Ｄマッピング・モジュール３１２は、電力消費を低減するためにディセーブルされる。
【００３６】
チャンネル・マスク・モジュール３２８は、決まった画像および映像処理のために色変換を実行し、３−Ｄ画像の構築時において色チャネル・マスク・タスクを実行しうる。左目視点のみが赤チャネル・データを含み、右目視点が緑チャネルおよび青チャネルを含んでいるので、カメラ・エンジン１４２は、第１のセンサ行データに関する赤チャネル・データのみを送り出し、第２のセンサ行データに関する緑チャネル・データおよび青チャネル・データを送出する。したがって、立体画像の構築のための出力データ・トラフィック帯域幅、メモリ要求、および後処理タスクが低減されうる。
【００３７】
（映像モード処理）
図４は、図１のデバイス１３０によって実行されうる立体映像処理フローチャートを例示する。立体画像処理は、図４の立体映像モード処理と同様の方法で実行されうる。ブロック４００では、水平ピクセル・インデクスが、バッファ選択が第１のバッファ１３８（第１のセンサ・データ）であるか、第２のバッファ１５０（第２のセンサ・データ）であるかを決定する。ブロック４０２、４０６では、第１のバッファ１３８および第２のバッファ１５０からそれぞれピクセルが読み取られる。ブロック４０４、４０８では、有効なデータ基準について、垂直ピクセル・インデクス（ｙピクセル）が、Ｙオフセット（ｙ＿ｏｆｆｓｅｔ）と比較される。この有効なデータ基準は、第１のセンサ・データとも第２のセンサ・データとも異なる有効な行データは、ブロック４１０において、ダイバーシティ合成モジュール１４０へ送られ、その後、ブロック４１２において、カメラ・パイプライン・エンジン１４２に送られるだろう。ブロック４１４は、そのピクセルが最後のピクセルであるかを判定し、もし最後のピクセルでなければ、ブロック４００に戻る。もし最後のピクセルであれば、処理された、第１のセンサ・データの赤チャネル・データと、第２のセンサ・データの緑チャネル・データおよび青チャネル・データとが、たとえばブロック４１８における表示や映像符号化のような更なる処理のために、メモリ１５４内に保存されるだろう（ブロック４１６）。
【００３８】
（センサ・コントローラ）
位置の不正確さおよび視点角度のミスマッチによって、２つのセンサによってキャプチャされた画像間で、ある垂直方向のミスマッチ・オフセットが存在しうる。図５は、２つのセンサによってキャプチャされた画像間の垂直方向のオフセット（“Ｙオフセット”）を例示する。２つのセンサのコントローラ１５２は、共通のオーバラップ・エリアに位置する構築された画像を、垂直方向において調節することができる。（図４におけるブロック４０４および４０８によって、あるいは、図３におけるＦＯＶクロッピング・モジュール３１４によって）画像の上端または下端をクロップ・アウトした後、「構築された画像の高さ」は、図５に示すように、「センサ画像高さ」からＹオフセットを引いたものに等しい。
【００３９】
図６は、図１中の２つのセンサ・コントローラ１５２のフローチャートを例示する。図６は、デバイス１３０に電源が投入された場合、あるいは、センサ位置が変わった場合にアクティブになる推定タスクを例示する。オフセットは垂直方向にしかないので、この提案された推定ソリューションは、（図３における１−Ｄ Ｙマッピング・モジュール３１２による）１−Ｄ Ｙマッピングによって行われ、その後、１−Ｄ相互相関がなされる。付録Ａは、対応する擬似コードをリストしている。
【００４０】
水平距離と、僅かな垂直距離とを持つ２つの画像が同時にキャプチャされるので、２つのシーンは、水平方向において非常に類似し、高く相関付けられる。したがって、この処理は、ロバストで効率的なターゲットを達成するために、１−Ｄ垂直マッピングおよび相互相関探索のみを用いる。
【００４１】
ブロック６０２、６０６では、第１のセンサ１３２および第２のセンサ１３４が、データをキャプチャする。各行について蓄積されたｌｕｍａデータは、フレームの最後において利用可能である。ブロック６０４、６０８では、カメラ・パイプライン１４２が、図３の１−Ｄ Ｙマッピング・モジュール３１２による１−Ｄ Ｙマッピングを用いてセンサ・データを処理する。
【００４２】
ブロック６１０では、図１におけるコントローラ１５２が、２つのセンサのＹマッピング間の最大相関に対応するＹオフセットを見つける。２つのセンサのＹマッピング・データの相互相関は、図１のコントローラ１５２による後処理中に行われる。最大相互相関に対応するオフセットは、導出されたＹオフセットである。垂直オフセットは、視点角度に依存して制限された値でありうる。その探索範囲もまた制限されうる。
【００４３】
ブロック６１２では、立体画像処理の失敗を回避するために、最大相互相関が、図１におけるコントローラ１５２によって、しきい値と比較される。最大相互相関が、しきい値未満ではない場合、立体画像が正しく構築され、ブロック６１４において、ダイバーシティ合成のためのＹオフセットが設定される。例えば、このしきい値は、第１のセンサＹマッピング・データの自動相関の９０％として設定されうる。言い換えれば、構築ステータスは、第１のセンサと第２のセンサとでオーバラップしている画像エネルギーが、第１のセンサ・データのエネルギーの９０％に等しいか、それより大きい場合においてのみ正しい。最大相互相関がしきい値以下である場合、ブロック６１６に示すように、立体画像は、正しく構築されない。
【００４４】
要約すると、デュアル・カメラ・センサ１３２、１３４を備えたデバイス１３０は、高品質な立体画像および映像のキャプチャを可能とする。例えばセンサ位置、視点角度ミスマッチ補償、および２つの視点の合成のような多くの問題に対処することができる。デバイス１３０は、デバイス１３０のコストが、単一のセンサを備えたカメラ電話で使用される処理エンジンとほぼ同じになるように、特定のアプリケーションの低電力制約を満足するように高度に最適化されている。一方、柔軟性がありかつ信頼性のある解決策は、高い視覚品質を保証するために、２つの独立したセンサ１３２、１３４からキャプチャされた２つの視点画像の垂直方向のミスマッチを計算し、補償することができる。
【００４５】
（少なくとも１つのセンサが可動式である２つのセンサを備えたデバイス）
図９は、２またはそれ以上のセンサ１０２、１０４を備えたモバイル・デバイス１００の別の構成を例示している。デバイス１００は、上述した機能のうちの１または複数を実現するように構成されうる。モバイル・デバイス１００は、デジタル画像および／または映像シーケンスをキャプチャ、生成、処理、修正、スケール、符号化、復号、送信、格納、および表示するように構成されうる。モバイル・デバイス１００は、例えば、無線通信デバイス、携帯情報端末（ＰＤＡ）、ラップトップ・コンピュータ、デスクトップ・コンピュータ、デジタル・カメラ、デジタル記録デバイス、ネットワーク対応のデジタル・テレビ、モバイル電話、セルラ電話、衛星電話、カメラ電話、地上ベースの無線電話、ダイレクト双方向通信デバイス（しばしば、「ウォーキー・トーキー」と称される）等のようなデバイス内に存在するか、あるいはこれらデバイスに実装されうる。
【００４６】
モバイル・デバイス１００は、第１のセンサ１０２、第２のセンサ１０４、センサ位置コントローラ１０６、カメラ処理パイプライン１０８、ディスプレイ１１０、ビデオ・エンコーダ１１２、静止画像エンコーダ１１４、メモリ１１６、カメラ・コントローラ１１８、ユーザ・インタフェース１２０、プロセッサ１２８、およびトランシーバ１２９を含みうる。図９に示す構成要素に加えて、あるいはその構成要素の代わりに、モバイル・デバイス１００は他の構成要素を含むことができる。図９で示されたアーキテクチャは、単に一例である。本明細書に記述された特徴および技術は、その他様々なアーキテクチャを用いて実現されうる。
【００４７】
センサ１０２、１０４は、デジタル・カメラ・センサでありうる。センサ１０２、１０４は、静止画像スナップショットおよび／または映像シーケンスをキャプチャすることができる。これらセンサはそれぞれ、個々のセンサまたはセンサ要素の表面に配置されたカラー・フィルタ・アレイ（ＣＦＡ）を含みうる。
【００４８】
メモリ１１６は、処理前および処理後の画像または映像シーケンスを格納することできる。メモリ１１６は、揮発性記憶装置および不揮発性記憶装置を含むことができる。メモリ１１６は、例えば、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、フラッシュ・メモリ、ＮＯＲまたはＮＡＮＤゲート・メモリ、またはその他任意のデータ記憶技術のような任意のタイプのデータ記憶手段を備えうる。
【００４９】
（エンジン、モジュール、処理ユニット等とも呼ばれる）カメラ処理パイプライン１０８は、ハードウェア、ソフトウェア、ファームウェア、および／または、１または複数のマイクロプロセッサ、デジタル信号プロセサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、あるいはこれらの様々な組み合わせを含む、モバイル電話のためのチップ・セットを備えうる。カメラ処理パイプライン１０８は、画像および／または映像シーケンスの品質を改善する１または複数の画像処理技術を実行することができる。例えば、パイプライン１０８は、デモザイク、レンズ・ロール・オフ補正、スケーリング、色補正、色変換、および空間フィルタリングのような技術を実行することができる。パイプライン１０８はまた、その他の技術を実行することが可能である。
【００５０】
ビデオ・エンコーダ１１２は、デジタル・ビデオ・データを符号化（すなわち圧縮）、および復号（すなわち解凍）をするためのエンコーダ／デコーダ（コーデック）を備えることができる。
【００５１】
静止画像エンコーダ１１４は、画像データを符号化（すなわち圧縮）、および復号（すなわち解凍）をするためのエンコーダ／デコーダ（コーデック）を備えることができる。
【００５２】
トランシーバ１２９は、符号化された画像または映像シーケンスを受信し、および／または、それらを、別のデバイスまたはネットワークへ送信することができる。トランシーバ１２９は、符号分割多元接続（ＣＤＭＡ）のような無線通信規格を使用することができる。ＣＤＭＡ規格の例は、ＣＤＭＡ １ｘ エボリューション・データ・オプティマイズド（ＥＶ−ＤＯ）、広帯域ＣＤＭＡ（ＷＣＤＭＡ）等を含む。
【００５３】
（センサに関する更なる詳細）
２つの個別のセンサ１０２、１０４を備えたモバイル・デバイス１００の設計および機能が、以下に述べられる。センサ１０２、１０４は、２つの局面を持つことができる。第１に、センサ位置コントローラ１０６が、例えば、センサ１０２、１０４を、１または複数の方向に回転、シフト、またはスライドさせることによって、２つのセンサ１０２、１０４の場所および／または位置を調節することができる。動作のいくつかの例が、図９に示される。しかし、他の２次元（２−Ｄ）または３次元（３−Ｄ）の動作もまた実施されうる。その動作は、ユーザおよび／またはカメラ・コントローラ１１８によって設定されうる。調整可能なセンサ１０２、１０４によって、例えば画像品質改善、３−Ｄ画像および映像視覚化、および３６０°パノラマ映像生成のような多くの高機能を可能としうる。
【００５４】
これら動作は、ある期間中、あるいはある周波数の間、固定されうる。１つの構成では、センサは、２を超えるセンサを備えている。これらセンサは、ライン状に、三角形状に、円状またはその他幾つかのパターンで配置される。この構成では、デバイス１００は、あるセンサを起動し、何れのセンサをも動かすことなく他のセンサを停止させることができる。この構成は、センサを動かすことから生じる問題を回避することができる。
【００５５】
第２に、例えば分解能のような、センサ１０２、１０４の様々な設定を調節することができ、さらに進化した機能および／または画像処理アプリケーションが可能となる。デュアル・センサ１０２、１０４は、モバイル・デバイス１００の画像処理の柔軟性を改善することができる。
【００５６】
図１０は、図９のデバイス１００を用いたビデオ・モード処理の方法を例示する。図１０は、図１乃至図８Ｃを参照して説明された機能のうちの何れかを含むように組み合わせまたは修正される。ブロック２０２および２０４では、センサ１０２、１０４が、画像をキャプチャして、ビデオ・フロント・エンド（ＶＦＥ）内に実装されているかあるいはビデオ・フロント・エンド（ＶＦＥ）と結合されたカメラ処理パイプライン１０８へピクセル・データを送る。ブロック２０６および２０８では、カメラ処理パイプライン１０８が、このピクセル・データを処理する。例えば、カメラ処理パイプライン１０８は、色を調節し、サイズをスケールし、画像コントラストを高めることにより、画像品質を改善することができる。
【００５７】
ブロック２１０では、カメラ処理パイプライン１０８が、２つのセンサ１０２、１０４からの、処理され、キャプチャされた画像を合成する（または縫い合わせる）。合成された画像は、ディスプレイ１１０による表示のため、および／または、エンコーダ１１２、１１４による静止画像および／または映像の符号化のために、メモリ１１６に保存されうる。判定ブロック２１２は、キャプチャおよび処理するための更なるピクセル・データが存在するかを判定する。
【００５８】
２つのセンサ１０２、１０４は、１または複数の利点を備えることができる。第１に、センサ位置を調節することによって、観察者の視角を制御することができる。第２に、２つのセンサ１０２、１０４から入力された画像が、一緒に処理され合成されうる。第３に、２つのセンサ１０２、１０４の間の水平距離が調整可能でありうる。これらの利点のうちの１または複数は、柔軟性および機能を高め、広範囲の拡張機能をサポートすることができる。
【００５９】
本明細書に記述された技術は、特定用途のためのセンサ位置設定および制御構成に依存しうる。低電力消費プロファイルのために、第２のセンサ１０４の電源がオフされ、カメラ・パイプライン駆動クロックを縮小することができる。
【００６０】
（調整可能なセンサ位置）
センサ１０２、１０４には３つの位置あるいは場所が存在しうる。これは、柔軟性を与え、拡張機能を可能にする。
【００６１】
２つのセンサ１０２、１０４は、互いに非常に接近して配置されうる。２つのセンサ１０２、１０４が、実質的に同じビュー・ポートをターゲットとしている場合、つまり、理論上、２つのセンサ１０２、１０４の間の距離が、０に近い場合、キャプチャされた画像および／または映像の品質は、非常に高められうる。キャプチャされた画像を１つに合成するために、それらを移動させる調節アルゴリズムを用いることができる。
【００６２】
特に、光が弱い環境においては、ランダムな画像ノイズが問題となりうる。２つのセンサ１０２、１０４を用いた受信ダイバーシティは、時間ダイバーシティによる重なり合った画像のボケや、露光時間といった制約なしで、センサ・ノイズを低減するための良い解決策でありうる。２つのセンサ１０２、１０４は、２つのセンサ１０２、１０４によってキャプチャされたシーン間の相違点を少なくするために、互いに近接して配置されうる。センサ・ノイズ分布は、独立しており、同じ分散を持つかもしれない。２つのセンサ１０２、１０４からの２つの処理された画像の合成後、信号対ノイズ比（ＳＮＲ）は、以下のようにして計算されうる。
【数１】
【００６３】
ここで、Ｓ１およびＳ２は、センサ１０２およびセンサ１０４からのキャプチャされた画像の信号であり、ｖａｒ（Ｎ１）およびｖａｒ（Ｎ２）は、センサ１０２およびセンサ１０４からのセンサ・ノイズ画像分散である。２つのセンサの画像および映像を合成した後、ＳＮＲは、３デシベル（ｄＢ）も改善されうる。
【００６４】
デュアル・カメラ・センサを備えたモバイル・デバイスが本明細書で説明された。このデバイスでは、センサの設定および位置の両方が調節可能でありうる。高度な機能適応性のある画像合成エンジンが、例えば画像品質改善、３−Ｄ画像および映像視覚化、および３６０°パノラマ映像生成のような高度な機能またはアプリケーションを提供することができる。
【００６５】
本明細書で開示された局面に関連して記載された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズム・ステップが、電子工学ハードウェア、コンピュータ・ソフトウェア、あるいはこれらの組み合わせとして実現されることを理解するであろう。ハードウェアとソフトウェアとの相互置換性を明確に説明するために、様々な例示的な部品、ブロック、モジュール、回路、およびステップが、それらの機能に関して一般的に記述された。それら機能がハードウェアとしてまたはソフトウェアとして実現されるかは、特定のアプリケーションおよびシステム全体に課せられている設計制約に依存する。当業者であれば、各特定のアプリケーションに応じて変化する方法で上述した機能を実現することができる。しかしながら、この適用判断は、限定と解釈されるべきではない。
【００６６】
本明細書で開示された局面に関連して記述された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡあるいはその他のプログラマブル論理デバイス、ディスクリート・ゲートあるいはトランジスタ・ロジック、ディスクリート・ハードウェア部品、または本明細書に記述した機能を実現するために設計された上記何れかの組み合わせを用いて実現または実施されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、例えばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１または複数のマイクロプロセッサ、またはその他任意のこのような構成である計算デバイスの組み合わせとして実現することも可能である。
【００６７】
本明細書で開示された実施形態に関連して記述された方法やアルゴリズムの動作は、ハードウェアによって直接的に、プロセッサによって実行されるソフトウェア・モジュールによって、または、これらの組み合わせによって具体化される。ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ・メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブル・ディスク、ＣＤ−ＲＯＭ、あるいはその他任意の型式の記憶媒体に収納されうる。記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに結合される。または、記憶媒体はプロセッサに統合されることができる。このプロセッサと記憶媒体とは、ＡＳＩＣ内に存在することができる。ＡＳＩＣは、ユーザ端末内に存在することもできる。あるいはこのプロセッサと記憶媒体とは、ユーザ端末内のディスクリート部品として存在することができる。
【００６８】
これら記述された局面に対する様々な変形例は、当業者に明らかであって、本明細書で定義された一般的な原理は、本発明の主旨または範囲から逸脱することなく他の実施形態にも適用されうる。このように、本開示は、本明細書で示された実施形態に限定されるものではなく、本明細書に記載された原理および新規な特徴に一致した最も広い範囲に相当することが意図されている。
【００６９】
【表１】
【特許請求の範囲】
【請求項１】
第１の画像センサと、
前記第１の画像センサと離れて配置された第２の画像センサと、
前記第１および第２の画像センサからの画像データを合成するダイバーシティ合成モジュールと、
前記ダイバーシティ合成モジュールからの合成画像データを処理するように構成された画像処理モジュールと
を備えた装置。
【請求項２】
前記画像処理モジュールは、立体画像表示のための立体画像を生成するように構成された請求項１に記載の装置。
【請求項３】
前記画像処理モジュールは、立体画像表示で直接的に視覚化される立体画像を生成するように構成された請求項１に記載の装置。
【請求項４】
前記画像処理モジュールは、立体画像表示のための立体映像を生成するように構成された請求項１に記載の装置。
【請求項５】
前記画像処理モジュールは、立体画像表示で直接的に視覚化される立体映像を生成するように構成された請求項１に記載の装置。
【請求項６】
前記第１の画像センサからの画像データを格納する第１のバッファと、
前記第２の画像センサからの画像データを格納する第２のバッファとをさらに備え、
前記ダイバーシティ合成モジュールは、前記第１のバッファおよび前記第２のバッファから交互に画像データを受け取るように構成された請求項１に記載の装置。
【請求項７】
前記画像処理モジュールは、前記第１の画像センサおよび前記第２の画像センサからの画像データのための垂直方向１次元マッピングを提供するように構成されたマッピング・モジュールを備える請求項１に記載の装置。
【請求項８】
前記マッピング・モジュールからの垂直方向１次元マッピング・データを相関付け、前記第１および第２の画像センサからの画像データの垂直マッピングの最大相関に対応する垂直ミスマッチ・オフセットを見つけるように構成されたコントローラをさらに備え、
前記ダイバーシティ合成モジュールは、前記第１および第２の画像センサからの画像データを合成するために前記垂直ミスマッチ・オフセットを使用する請求項７に記載の装置。
【請求項９】
前記ダイバーシティ合成モジュールは、
前記垂直ミスマッチ・オフセットを、前記第１の画像センサからの第１のピクセルの垂直インデクスと比較し、前記第１の画像センサからの第１のピクセルの垂直インデクスが、前記垂直ミスマッチ・オフセットよりも大きいのであれば、前記第１のピクセルを前記画像処理モジュールに送り、
前記垂直ミスマッチ・オフセットを、前記第２の画像センサからの第２のピクセルの垂直インデクスと比較し、前記第２の画像センサからの第２のピクセルの垂直インデクスが、画像高さから前記垂直ミスマッチ・オフセットを引いたものよりも小さいのであれば、前記第２のピクセルを前記画像処理モジュールに送る
ように構成された請求項８に記載の装置。
【請求項１０】
前記コントローラは、立体画像構築失敗があるかを判定するために、前記垂直ミスマッチ・オフセットを、しきい値と比較するように構成された請求項８に記載の装置。
【請求項１１】
前記画像処理モジュールは、前記第１および第２の画像センサによってキャプチャされた画像の黒サブトラクト、レンズ・ロール・オフ補正、チャネル利得調節、不良ピクセル補正、デモザイク、クロッピング、スケール、ホワイト・バランス、色補正、ｌｕｍａ適応、色変換、および画像コントラスト強調のうちの少なくとも１つを実行するように構成された請求項１に記載の装置。
【請求項１２】
前記画像処理モジュールは、３次元画像を構築するためカラー・チャネル・マスク・タスクを実行するように構成された色変換モジュールを備える請求項１に記載の装置。
【請求項１３】
前記画像処理モジュールは、前記第１の画像センサの行データに関する赤チャネル・データを出力し、前記第２の画像センサの行データに関する緑チャネル・データおよび青チャネル・データを出力する請求項１２に記載の装置。
【請求項１４】
前記第１の画像センサと前記第２の画像センサとは、約６ｃｍ離れて配置された請求項１に記載の装置。
【請求項１５】
前記第２の画像センサは、前記装置が低電力モードに入った場合に停止するように構成された請求項１に記載の装置。
【請求項１６】
前記装置はモバイル電話である請求項１に記載の装置。
【請求項１７】
無線通信を送信および受信するように構成されたトランシーバをさらに備える請求項１に記載の装置。
【請求項１８】
第１の画像センサを用いて第１の画像を検知することと、
前記第１の画像センサと離れて配置された第２の画像センサを用いて第２の画像を検知することと、
前記第１および第２の画像センサからの画像データをダイバーシティ合成することと、
立体画像を生成するために、前記ダイバーシティ合成された画像データを処理することと
を備える方法。
【請求項１９】
立体画像表示のための立体画像を準備することをさらに備える請求項１８に記載の方法。
【請求項２０】
立体画像表示で直接的に視覚化される立体画像を準備することをさらに備える請求項１８に記載の方法。
【請求項２１】
立体画像表示のための立体映像を生成することをさらに備える請求項１８に記載の方法。
【請求項２２】
立体画像表示で直接的に視覚化される立体映像を生成することをさらに備える請求項１８に記載の方法。
【請求項２３】
前記第１の画像センサからの画像データを格納することと、
前記第２の画像センサからの画像データを格納することとをさらに備え、
前記ダイバーシティ合成することは、前記第１のバッファおよび前記第２のバッファから交互に画像データを受け取ることを備える請求項１８に記載の方法。
【請求項２４】
前記ダイバーシティ合成された画像データを処理することは、前記第１の画像センサおよび前記第２の画像センサからの画像データのための垂直方向１次元マッピングを提供することを備える請求項１８に記載の方法。
【請求項２５】
垂直方向１次元マッピング・データを相関付けることと、
前記第１および第２の画像センサからの画像データの垂直マッピングの最大相関に対応する垂直ミスマッチ・オフセットを見つけることとをさらに備え、
前記ダイバーシティ合成することは、前記第１および第２の画像センサからの画像データを合成するために前記垂直ミスマッチ・オフセットを使用する請求項２４に記載の方法。
【請求項２６】
前記ダイバーシティ合成することは、
前記垂直ミスマッチ・オフセットを、前記第１の画像センサからの第１のピクセルの垂直インデクスと比較することと、
前記第１の画像センサからの第１のピクセルの垂直インデクスが、前記垂直ミスマッチ・オフセットよりも大きいのであれば、前記第１のピクセルを処理することと、
前記垂直ミスマッチ・オフセットを、前記第２の画像センサからの第２のピクセルの垂直インデクスと比較することと、
前記第２の画像センサからの第２のピクセルの垂直インデクスが、画像高さから前記垂直ミスマッチ・オフセットを引いたものよりも小さいのであれば、前記第２のピクセルを処理することと
を備える請求項２４に記載の方法。
【請求項２７】
立体画像構築失敗があるかを判定するために、前記垂直ミスマッチ・オフセットを、しきい値と比較することをさらに備える請求項２４に記載の方法。
【請求項２８】
前記処理することは、前記第１および第２の画像センサによってキャプチャされた画像の黒サブトラクト、レンズ・ロール・オフ補正、チャネル利得調節、不良ピクセル補正、デモザイク、クロッピング、スケール、ホワイト・バランス、色補正、ｌｕｍａ適応、色変換、および画像コントラスト強調のうちの少なくとも１つを実行することを備える請求項１８に記載の方法。
【請求項２９】
前記処理することは、３次元画像を構築するためカラー・チャネル・マスク・タスクを実行することを備える請求項１８に記載の方法。
【請求項３０】
前記処理することは、前記第１の画像センサの行データに関する赤チャネル・データを出力し、前記第２の画像センサの行データに関する緑チャネル・データおよび青チャネル・データを出力する請求項２９に記載の方法。
【請求項３１】
低電力モードにある前記第２の画像センサを停止することをさらに備える請求項１８に記載の方法。
【請求項３２】
無線通信を送信すること、および受信することをさらに備える請求項１８に記載の方法。
【請求項１】
第１の画像センサと、
前記第１の画像センサと離れて配置された第２の画像センサと、
前記第１および第２の画像センサからの画像データを合成するダイバーシティ合成モジュールと、
前記ダイバーシティ合成モジュールからの合成画像データを処理するように構成された画像処理モジュールと
を備えた装置。
【請求項２】
前記画像処理モジュールは、立体画像表示のための立体画像を生成するように構成された請求項１に記載の装置。
【請求項３】
前記画像処理モジュールは、立体画像表示で直接的に視覚化される立体画像を生成するように構成された請求項１に記載の装置。
【請求項４】
前記画像処理モジュールは、立体画像表示のための立体映像を生成するように構成された請求項１に記載の装置。
【請求項５】
前記画像処理モジュールは、立体画像表示で直接的に視覚化される立体映像を生成するように構成された請求項１に記載の装置。
【請求項６】
前記第１の画像センサからの画像データを格納する第１のバッファと、
前記第２の画像センサからの画像データを格納する第２のバッファとをさらに備え、
前記ダイバーシティ合成モジュールは、前記第１のバッファおよび前記第２のバッファから交互に画像データを受け取るように構成された請求項１に記載の装置。
【請求項７】
前記画像処理モジュールは、前記第１の画像センサおよび前記第２の画像センサからの画像データのための垂直方向１次元マッピングを提供するように構成されたマッピング・モジュールを備える請求項１に記載の装置。
【請求項８】
前記マッピング・モジュールからの垂直方向１次元マッピング・データを相関付け、前記第１および第２の画像センサからの画像データの垂直マッピングの最大相関に対応する垂直ミスマッチ・オフセットを見つけるように構成されたコントローラをさらに備え、
前記ダイバーシティ合成モジュールは、前記第１および第２の画像センサからの画像データを合成するために前記垂直ミスマッチ・オフセットを使用する請求項７に記載の装置。
【請求項９】
前記ダイバーシティ合成モジュールは、
前記垂直ミスマッチ・オフセットを、前記第１の画像センサからの第１のピクセルの垂直インデクスと比較し、前記第１の画像センサからの第１のピクセルの垂直インデクスが、前記垂直ミスマッチ・オフセットよりも大きいのであれば、前記第１のピクセルを前記画像処理モジュールに送り、
前記垂直ミスマッチ・オフセットを、前記第２の画像センサからの第２のピクセルの垂直インデクスと比較し、前記第２の画像センサからの第２のピクセルの垂直インデクスが、画像高さから前記垂直ミスマッチ・オフセットを引いたものよりも小さいのであれば、前記第２のピクセルを前記画像処理モジュールに送る
ように構成された請求項８に記載の装置。
【請求項１０】
前記コントローラは、立体画像構築失敗があるかを判定するために、前記垂直ミスマッチ・オフセットを、しきい値と比較するように構成された請求項８に記載の装置。
【請求項１１】
前記画像処理モジュールは、前記第１および第２の画像センサによってキャプチャされた画像の黒サブトラクト、レンズ・ロール・オフ補正、チャネル利得調節、不良ピクセル補正、デモザイク、クロッピング、スケール、ホワイト・バランス、色補正、ｌｕｍａ適応、色変換、および画像コントラスト強調のうちの少なくとも１つを実行するように構成された請求項１に記載の装置。
【請求項１２】
前記画像処理モジュールは、３次元画像を構築するためカラー・チャネル・マスク・タスクを実行するように構成された色変換モジュールを備える請求項１に記載の装置。
【請求項１３】
前記画像処理モジュールは、前記第１の画像センサの行データに関する赤チャネル・データを出力し、前記第２の画像センサの行データに関する緑チャネル・データおよび青チャネル・データを出力する請求項１２に記載の装置。
【請求項１４】
前記第１の画像センサと前記第２の画像センサとは、約６ｃｍ離れて配置された請求項１に記載の装置。
【請求項１５】
前記第２の画像センサは、前記装置が低電力モードに入った場合に停止するように構成された請求項１に記載の装置。
【請求項１６】
前記装置はモバイル電話である請求項１に記載の装置。
【請求項１７】
無線通信を送信および受信するように構成されたトランシーバをさらに備える請求項１に記載の装置。
【請求項１８】
第１の画像センサを用いて第１の画像を検知することと、
前記第１の画像センサと離れて配置された第２の画像センサを用いて第２の画像を検知することと、
前記第１および第２の画像センサからの画像データをダイバーシティ合成することと、
立体画像を生成するために、前記ダイバーシティ合成された画像データを処理することと
を備える方法。
【請求項１９】
立体画像表示のための立体画像を準備することをさらに備える請求項１８に記載の方法。
【請求項２０】
立体画像表示で直接的に視覚化される立体画像を準備することをさらに備える請求項１８に記載の方法。
【請求項２１】
立体画像表示のための立体映像を生成することをさらに備える請求項１８に記載の方法。
【請求項２２】
立体画像表示で直接的に視覚化される立体映像を生成することをさらに備える請求項１８に記載の方法。
【請求項２３】
前記第１の画像センサからの画像データを格納することと、
前記第２の画像センサからの画像データを格納することとをさらに備え、
前記ダイバーシティ合成することは、前記第１のバッファおよび前記第２のバッファから交互に画像データを受け取ることを備える請求項１８に記載の方法。
【請求項２４】
前記ダイバーシティ合成された画像データを処理することは、前記第１の画像センサおよび前記第２の画像センサからの画像データのための垂直方向１次元マッピングを提供することを備える請求項１８に記載の方法。
【請求項２５】
垂直方向１次元マッピング・データを相関付けることと、
前記第１および第２の画像センサからの画像データの垂直マッピングの最大相関に対応する垂直ミスマッチ・オフセットを見つけることとをさらに備え、
前記ダイバーシティ合成することは、前記第１および第２の画像センサからの画像データを合成するために前記垂直ミスマッチ・オフセットを使用する請求項２４に記載の方法。
【請求項２６】
前記ダイバーシティ合成することは、
前記垂直ミスマッチ・オフセットを、前記第１の画像センサからの第１のピクセルの垂直インデクスと比較することと、
前記第１の画像センサからの第１のピクセルの垂直インデクスが、前記垂直ミスマッチ・オフセットよりも大きいのであれば、前記第１のピクセルを処理することと、
前記垂直ミスマッチ・オフセットを、前記第２の画像センサからの第２のピクセルの垂直インデクスと比較することと、
前記第２の画像センサからの第２のピクセルの垂直インデクスが、画像高さから前記垂直ミスマッチ・オフセットを引いたものよりも小さいのであれば、前記第２のピクセルを処理することと
を備える請求項２４に記載の方法。
【請求項２７】
立体画像構築失敗があるかを判定するために、前記垂直ミスマッチ・オフセットを、しきい値と比較することをさらに備える請求項２４に記載の方法。
【請求項２８】
前記処理することは、前記第１および第２の画像センサによってキャプチャされた画像の黒サブトラクト、レンズ・ロール・オフ補正、チャネル利得調節、不良ピクセル補正、デモザイク、クロッピング、スケール、ホワイト・バランス、色補正、ｌｕｍａ適応、色変換、および画像コントラスト強調のうちの少なくとも１つを実行することを備える請求項１８に記載の方法。
【請求項２９】
前記処理することは、３次元画像を構築するためカラー・チャネル・マスク・タスクを実行することを備える請求項１８に記載の方法。
【請求項３０】
前記処理することは、前記第１の画像センサの行データに関する赤チャネル・データを出力し、前記第２の画像センサの行データに関する緑チャネル・データおよび青チャネル・データを出力する請求項２９に記載の方法。
【請求項３１】
低電力モードにある前記第２の画像センサを停止することをさらに備える請求項１８に記載の方法。
【請求項３２】
無線通信を送信すること、および受信することをさらに備える請求項１８に記載の方法。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０】
【公開番号】特開２０１３−４８４５０（Ｐ２０１３−４８４５０Ａ）
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２１９３６４（Ｐ２０１２−２１９３６４）
【出願日】平成２４年１０月１日（２０１２．１０．１）
【分割の表示】特願２００９−５２１９９２（Ｐ２００９−５２１９９２）の分割
【原出願日】平成１９年７月２５日（２００７．７．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＣＤＭＡ
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１２−２１９３６４（Ｐ２０１２−２１９３６４）
【出願日】平成２４年１０月１日（２０１２．１０．１）
【分割の表示】特願２００９−５２１９９２（Ｐ２００９−５２１９９２）の分割
【原出願日】平成１９年７月２５日（２００７．７．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＣＤＭＡ
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
[ Back to top ]