立体撮影装置およびそれを用いた携帯端末装置
【課題】正面撮影を行うメインカメラと，自分撮影用のサブカメラを利用して静止画像や動画像の立体画像撮影が可能な立体撮影装置およびそれを用いた携帯端末装置を提供する。
【解決手段】画像データ処理部１３５は、メインカメラ１１０の画像から構造物を確定し、背景画像からの切り出しを行う。サブカメラ１１１の画像から構造物位置情報を抽出し、それに基づいて構造物をメインカメラで得られた画像位置から移動する。背景と隠れたオブジェクトを補正する。また、サブカメラ１１１の画像の画像情報からメインカメラ１１０で撮影した画像では隠れた部分の画像情報を生成するので、間違いのない補正が可能である。
【解決手段】画像データ処理部１３５は、メインカメラ１１０の画像から構造物を確定し、背景画像からの切り出しを行う。サブカメラ１１１の画像から構造物位置情報を抽出し、それに基づいて構造物をメインカメラで得られた画像位置から移動する。背景と隠れたオブジェクトを補正する。また、サブカメラ１１１の画像の画像情報からメインカメラ１１０で撮影した画像では隠れた部分の画像情報を生成するので、間違いのない補正が可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを搭載して立体画像が撮影可能な立体撮影装置およびそれを用いた携帯端末装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤなどの固体撮像素子を搭載したカメラ機能を有する携帯電話が登場してきており、静止画及び動画が撮影可能となっている。さらには、立体画像の撮影も可能とするものも登場してきている。
【０００３】
次に画像が３Ｄ（３Ｄｉｍｅｎｓｉｏｎ：３次元）に見える原理を図に示す。
図１１のような風景を例にする。図１２に人間が左目から見える風景と右目から見える風景を示す。図１２のように左目と右目には距離があるため、その左右に見える風景に差（視差）を感じることにより立体感が生じる。
【０００４】
２Ｄ（２Ｄｉｍｅｎｓｉｏｎ：２次元）の写真や動画像を、３Ｄに見せるには図１２のように左目から見える背景（画像）と右目から見える背景（画像）をそれぞれ用意する必要がある。そして左目用の背景（画像）には左目だけで見えるようにし、そして右目用の背景（画像）には右目だけで見えるようにすると立体的に見える。３Ｄ化のための左目用画像と右目用画像を得るための技術としては次のような手法がある。
【０００５】
次の（１）〜（３）はハードウェアによる３Ｄ撮影の従来技術の例である。（４）はソフトウェアによる３Ｄ化の従来技術の例である。
【０００６】
（１）撮像装置に２つの同一の撮像部を平行に実装する方法（特許文献１，２参照）
図１３のように、撮像装置に２つの同一の撮像部を視差の距離だけ離し、平行に実装することで左目、右目両方の画像を得ることができる。静止画像、動画像の両方を得ることができることが特徴である。
【０００７】
（２）レンズ部を２つ持ち、１つの撮像部に２つの画像を撮影する方法
図１４のように、撮像装置に２つのレンズを視差の距離だけ離し、平行に実装することで左目、右目両方の画像を１つのセンサに入力する。静止画像、動画像の両方を得ることができることが特徴である。
【０００８】
（３）１つの撮像部のみを有する撮像装置にて、その撮像装置を平行移動させて連続して撮影する方法
図１５のように、撮像装置を左目位置で撮影し画像を得る。次に手動で移動させて右目位置で撮影し、画像を得る。左目位置の画像と右目位置の画像を利用して３Ｄ画像を得る。
【０００９】
（４）ソフトウェアによる３Ｄ化
画像を３Ｄ化するには元画像から左目から見える画像に基づいて右目から見える画像に変換する処理を行うことである。概略の流れを図１６に示す。図は構造物が２つあり、その構造物を立体的に見せるための処理である。
（ａ）構図を識別し、画角と奥行きの情報を得る。
（ｂ）各奥行きにある構造物Ａ，Ｂを識別し、切り出す。
（ｃ）（ａ）の奥行き情報に基づき構造物を、左目視点の画像と右目視点の画像に、視差分移動を行う。
（ｄ）左目視点の画像と右目視点の画像に対し、構造物を移動して欠けている背景、構造物の隠れていた部分を補完する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−２５０３９６号公報
【特許文献２】特開２００６−３４５２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記従来技術では次のような問題点がある。
（１）撮像装置に２つの同一の撮像部を平行に実装する方法
２つの同一の撮像部を装備する必要があり、高価であり、装置が大型化するという欠点がある。
（２）レンズ部を２つ持ち、１つの撮像部に２つの画像を撮影する方法
１つのセンサに両目の画像を得るため、それぞれの画像を分離する必要がある。またセンサのもつ縦方向の解像度（画素数）が半分以下になる。一般的にレンズが小さくなるため、感度が低くなるという欠点がある。
【００１２】
（３）１つの撮像部のみを有する撮像装置にて、その撮像装置を平行移動させて連続して撮影する方法
左目位置の画像と右目位置の画像の撮影時間の差が生じるため、移動対象物を撮影すると正しい３Ｄ用の画像を得られない。また動画像を得ることができないという欠点がある。
【００１３】
（４）ソフトウェアによる３Ｄ化
（ａ）の構図の識別に間違いがあると、正しく３Ｄ画像が生成されない。また同様に（ｂ）の構造物の識別を誤ると正しく３Ｄ画像が生成されない。
また、ソフトウェアにより（ａ）〜（ｄ）の処理を実行するため非常に時間がかかり、リアルタイムに３Ｄ用の動画像データを作成するには処理装置に高い処理能力が必要である。
【００１４】
さらに動画像を含めた画像の３Ｄ撮影をするためには（１）のように２つの同一の撮像部を用意するか１つの撮像素子に左目、右目、２つの画像が入力するように構成する必要がある。
【００１５】
一般の携帯端末装置では背面に撮影用に大型のイメージセンサをもつ撮像部と、ＴＶ電話などの用途に使用する小型のイメージセンサをもつ撮像部２つを備えているものが多く、同一の撮像部を２つ配置するとなると３つの撮像部が必要となり、現実的ではなかった。
【００１６】
本発明は、斯かる実情に鑑み、正面撮影を行うメインカメラと，自分撮影用のサブカメラを利用して画像特性が良い立体画像撮影を可能とする立体撮影装置およびそれを用いた携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明は、筐体に正面撮影用の主撮像部と自分撮影用の副撮像部とを備えた立体撮影装置において、
前記主撮像部と前記副撮像部を同一方向に配置して前記撮像部間の距離を視差とする同方向配置構造と、前記主撮像部で撮影した画像を元画像データとして用い、前記副撮像部で撮影した画像から視差情報を取得し、前記元画像データを、前記視差情報に基づいて、前記副撮像部の視差を有する画像を生成する画像データ処理部と、を備えたことを特徴とする。
【００１８】
また、本発明の立体撮影装置において、前記画像データ処理部は、前記元画像データに対し構造物解析を行い、構造物と背景画像を抽出し、前記副撮像部の画像から構造物位置情報を抽出し、前記視差情報と前記構造物位置情報に基づいて、前記元画像の構造物を移動して配置することを特徴とする。
【００１９】
また、本発明の立体撮影装置において、前記画像データ処理部は、前記元画像データの隠れた部分の情報を、前記副撮像部の画像から画像情報を抽出して、隠れた部分の画像を生成することを特徴とする。
【００２０】
本発明は、前記立体撮影装置を備えたことを特徴とする携帯端末装置である。
【発明の効果】
【００２１】
本発明によれば、主撮像部で撮影した画像を元に、副撮像部で撮影した画像の視差情報から、主撮像部の特性と同じ画像を生成するので、画像特性の良い立体画像を取得することができる。
また、元画像データから構造物と背景画像を抽出し、副撮像部の画像からの視差情報と構造物位置情報を抽出して、元画像の構造物を移動して配置するので、正確な視差画像を生成できる。
また、元画像データの隠れた部分の情報を、前記副撮像部の画像から画像情報を抽出して画像生成を行うので、正確な視差画像を生成できる。
【図面の簡単な説明】
【００２２】
【図１】折りたたみ型の携帯端末での第１の実施例を示す図である。
【図２】第１の実施例に加速度センサを実装して水平状態を検出する図である。
【図３】折りたたみ型の携帯端末での第２の実施例を示す図である。
【図４】折りたたみ型の携帯端末での第３の実施例を示す図である。
【図５】メインカメラとサブカメラを有して立体撮影を可能とする携帯端末の機能構成を示すブロック図である。
【図６】メインカメラ画像を基準としたソフトウェアの画像解析による３Ｄ化の例を示す図である。
【図７】センサを利用した３Ｄ撮影モードへの移行の動作を示すフローチャートである。
【図８】メインカメラの画像データに基づいて、サブカメラの画像情報を参照しながらサブカメラの画像を生成する処理を示すフローチャートである。
【図９】図８に続くフローチャートである。
【図１０】図９に続くフローチャートである。
【図１１】撮影対象である風景を示す図である。
【図１２】左目から見える風景と右目から見える風景を示す図である。
【図１３】２つの同一の撮像部を平行に実装して立体画像を得る従来の撮影装置を示す図である。
【図１４】２つのレンズを視差の距離だけ離し平行に実装して立体画像を得る従来の撮影装置を示す図である。
【図１５】１つの撮像部のみを実装して立体画像を得る従来の撮影装置を示す図である。
【図１６】元画像から左目から見える画像に基づいて右目から見える画像に変換処理する従来の３Ｄ化方式を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態を添付図面を参照して説明する。
【００２４】
［発明の概要］
本発明は、同一でない２つの撮像素子を用いて静止画像、動画像問わず精度の高い３Ｄ画像を得ることにある。つまり、撮影した画像特性が良い方を用いて、もう一方で撮影した画像を生成し直す処理を行い、より特性のよい画像をえるものである。したがって従来技術の「（３）１つの撮像部のみを有する撮像装置にて、その撮像装置を平行移動させて連続して撮影する方法」は本発明とは関連しない。また、従来技術の「（１）撮像装置に２つの同一の撮像部を平行に実装する方法」については同一の撮像部を持つため、それぞれの撮像部に対して同一の処理で３Ｄ画像を得ることができるが、同一の撮像部を２つ持たせることはメインの撮像素子とサブの撮像素子に同一の撮像部を持たせると端末のサイズ、形状デザインに制限が生じてしまう。またメインの撮像素子に同一の撮像部を持たせ、サブの撮像部と分けると、３つの撮像部を持たせることになり、コスト面で現実的ではない。
【００２５】
本発明は、正面撮影用のメインカメラと、自分撮影用のサブカメラとの２つの撮像部を持つ撮影装置にて３Ｄ画像を得ることを実現することである。従来技術「（２）レンズ部に２つの視差をもたせるためのコンバージョンレンズを使用し１つの撮像部に２つの画像を撮影する方法」については、専用の構造を持たせることが必要であり、本発明とは関連しない。
【００２６】
ソフトウェアでの３Ｄ化については、１つの撮像部から得られた画像に対して構造解析し、３Ｄ化をするが、本発明は２つの同一でない撮像部から得られた画像に対して、１つを３Ｄ化する画像の対象とし、もう１つを３Ｄ化するための構造解析の補助、精度向上の役割を果たすための情報とする。
【００２７】
［撮像部の配置と端末構造］
本発明の立体撮影装置を用いた実施形態として携帯端末を例に説明する。２つの撮像素子を使用して３Ｄ撮影する場合においては、メインカメラとサブカメラの撮像部を水平に並べて視差を設ける必要がある。その実現例として図１、図３、図４のような構造がある。以下順に説明する。
【００２８】
＜第１の実施例＞
図１は、折りたたみ型の携帯端末での第１の実施例を示す図である。
携帯端末１０は、上筐体１１と下筐体１２から構成される。上筐体１１には、メイン画面１３、サブ画面１４が表裏に配置されている。上筐体１１は、回転ヒンジ１５により、携帯端末１０の開閉時に下筐体１２に対して１８０度回転することが出来る（図１（ｂ）（ｆ）参照）。さらに、上筐体１１は、回転ヒンジ１６により、３Ｄ撮影時には携帯端末１１を開いた状態で、下筐体１２の表面に対して１８０度回転して裏返しにすることができる（図１（ｃ）〜（ｅ）参照）。
【００２９】
メインカメラ（主撮像部）１７は、下筐体１２の裏面に有し、一般の被写体に向けて撮影するものである。メインカメラ１７での撮影では、図１の（ｂ）もしくは（ｆ）の状態で、利用者がメイン画面１３をファインダーとして撮影する。
サブカメラ１８は、上筐体１１の上部に有し、ＴＶ電話等の主に利用者本人を撮影するために使用するカメラであり、メインカメラ１７よりも解像度等の特性は劣る。
【００３０】
図１（ｅ）は、携帯端末１０の開状態で、下筐体１２に対して１８０度回転した状態で有り、メインカメラ１７とサブカメラ１８が同一方向に向けて配置されることになる。このときメインカメラ１７とサブカメラ１８の距離は、視差距離に該当する程度である。３Ｄ撮影時には、利用者は、図１（ｅ）のような状態でサブ画面１４をファインダーとして撮影する。図１はカメラ１６，１７が垂直方向に配置されているが、携帯端末１０を水平にし、カメラ１６，１７を水平になるよう配置する。回転ヒンジ１５による回転により、図１（ａ）の状態でメイン画面１３を保護でき、図１（ｂ）及び（ｆ）のような状態で携帯端末１０を使用可能状態とする。図１（ｅ）の状態は、３Ｄ撮影の時にのみに使用する状態である。
【００３１】
回転ヒンジ１６部分に、メインカメラ１７とサブカメラ１８が同一方向を向く３Ｄ撮影モードになっているかを検出する同一方向検出部１９を設ける。例えば、回転ヒンジ１６の下筐体１２側に磁石１９ａ、上筐体１１側に磁気センサ１９ｂを設ける。そして。図１（ｅ）の状態で、磁石１９ａと磁気センサ１９ｂが近接して対向する位置になり、３Ｄ撮影モードを検出できる。この検出結果に基づいて、ファインダーとなっているサブ画面１４に、「３Ｄカメラ撮影モードになったことを報知する表示」、もしくは「３Ｄカメラ撮影モードに入るかをどうかを問う表示」を行う機能を実装することが出来る。図１（ｅ）以外の状態の時は、３Ｄ撮影モードにしないようにする。
【００３２】
さらに図２（ａ）に示すように、加速度センサ（水平検出部）２０を実装することで、メインカメラ１７とサブカメラ１８が水平位置になっているかを検出する。ファインダーとなっているサブ画面１４に検出角度を表示する機能を実装することが出来る。図２（ａ）のように、水平度が３Ｄ撮影に適していれば、３Ｄ撮影可能であることをサブ画面１４に表示してもよい。
【００３３】
また、図２（ｂ）のように、３Ｄカメラ撮影モード中に３Ｄ撮影が難しくなる角度に達すると「水平になるよう促す警告メッセージ」を、サブ画面１４に表示することも出来る。また、同一方向検出部１９の検出結果により、３Ｄカメラ撮影モード中に図１（ｅ）の状態以外になった場合には、３Ｄ撮影が不可能なため、自動で３Ｄカメラ撮影モードを解除する機能を実装することが出来る。
【００３４】
＜第２の実施例＞
図３は、折りたたみ型の携帯端末での第２の実施例を示す図である。
携帯端末３０は、上筐体３１と下筐体３２から構成される。上筐体３１は、さらに第１の上筐体３１ａと第２の上筐体３１ｂとから構成され、第１の上筐体３１ａには表面側にサブ画面３４が配置され、第２の上筐体３１ｂの表面側（第１の上筐体３１ａの表面とは反対側の面）にメイン画面３３が配置されている。上筐体３１は回転ヒンジ３５を有し、携帯端末３０の開閉時に下筐体３２に対して１８０度回転することが出来る（図３（ｂ）参照）。さらに第１の上筐体３１ａと第２の上筐体３１ｂとの間にサイクロイド回転構造を有し、９０度回転することが出来る（図３（ｃ）〜（ｅ）参照）。メインカメラ３６は下筐体３２の裏面に有し、メインカメラ３６での撮影では図３の（ｃ）もしくは（ｅ）の状態でメイン画面３３をファインダーとして撮影する。
【００３５】
サブカメラ３７は第２の上筐体３１ｂの上部に配置され、ＴＶ電話等の主に利用者本人を撮影するために使用するカメラである。３Ｄ撮影時には、図３（ｇ）のような状態で、サブ画面３４をファインダーとして撮影する。図３（ｇ）の状態では、カメラ３６，３７は水平方向に配置され、３Ｄ撮影モードとして撮影が可能となる。
【００３６】
同一方向検出部として磁石３９ａと磁気センサ３９ｂを設け、磁石３９ａは下筐体３２、磁気センサ３９ｂは第２の上筐体３１ｂに設ける。その機能は、第１の実施例と同じなので詳しい説明は省略する。
また、水平方向検出部として加速度センサを設けるのも第１の実施例と同じなので詳しい説明は省略する。
【００３７】
＜第３の実施例＞
図４は、折りたたみ型の携帯端末での第３の実施例を示す図である。
携帯端末５０は、上筐体５１と下筐体５２から構成される。上筐体５１には、メイン画面５３、サブ画面５４が表裏に配置されている。上筐体５１は、回転ヒンジ５５により、携帯端末５０の開閉時に下筐体５２に対して１８０度回転することが出来る。
メインカメラ（主撮像部）５７は、下筐体５２の裏面に有し、一般の被写体に向けて撮影するものである。メインカメラ１７での撮影では、利用者がメイン画面５３をファインダーとして撮影する。
【００３８】
サブカメラ１８は、上筐体１１の上部に有し、ＴＶ電話等の主に利用者本人を撮影するために使用するカメラであり、メインカメラ１７よりも解像度等の特性は劣る。
【００３９】
サブカメラ５８は上筐体５１の上部に有し、ＴＶ電話等の主に本人を撮影するために使用するカメラである。本人撮影には（ａ）の状態で、３Ｄ撮影時には（ｃ）のような状態でサブ画面５４をファインダーとして撮影する。
【００４０】
本実施例は３Ｄ撮影のためにサブカメラ５８に回転機構を実装しており、１８０度の回転が可能である。従って、向きを上筐体５１の表面から裏面へと向きを変えることができる（（ａ）〜（ｃ））。サブカメラ５８の向きをセンサで検知し、（ｃ）の方向にカメラが向いたとき、自動的に３Ｄ撮影のモードに入ることも可能である。
【００４１】
実施例では折りたたみ型の携帯端末であるが、とくに折りたたみ型である必要性はない。また、サブカメラ５８に回転機構を実施しているため、図１、図３と異なり、メイン画面をファインダーとして使用できるためより快適な撮影が可能である。
【００４２】
メイン画面をファインダーとして使用せず、サブ画面をファインダーとして使用する場合にはメインカメラに回転機構を有してもよい。本構造においても図２（ｂ）のように３Ｄカメラ撮影モード中に３Ｄ撮影が難しくなる角度に達すると水平になるよう促す警告メッセージを出すことも出来る。また３Ｄカメラ撮影モード中に図４（ｃ）の状態以外になった場合には３Ｄ撮影が不可能なため自動で３Ｄカメラ撮影前のモードに戻るようにすることが出来る。
【００４３】
［携帯端末の機能構成］
上記に説明した携帯端末の機能構成について説明する。
図５は、メインカメラとサブカメラを有して立体撮影を可能とする携帯端末の機能構成を示すブロック図である。この携帯端末１００は、メインカメラ（主撮像部）１１０、サブカメラ（副撮像部）１１１、同一方向検出部１２０、水平検出部１２１、処理部１３０、表示部１５０，１５１、ＲＡＭ１６０、ＲＯＭ１６１、補助記憶装置１６２の各機能ブロックから構成される。メインカメラ１１０にはイメージセンサ１１２、サブカメラ１１１にはイメージセンサ１１３が備えられている。処理部１３０には、ビデオＩ／Ｆ１３１，１３２、センサＩ／Ｆ１３３、画像データ処理部１３５、ＣＰＵ１３６、ディスプレイＩ／Ｆ１３７，１３８が備えられている。
以下に各部の説明をする。
【００４４】
・カメラ１１０，１１１
上述したように、メインカメラ１１０は、正面撮影用の撮像部である。一方、サブカメラ１１１は、利用者自身を撮影する撮像部である。
メインカメラ１１０とサブカメラ１１１にはイメージセンサ１１２と１１３がそれぞれ備えられている。イメージセンサ１１２，１１３は、レンズから入射した光を取り込み、その光を電気信号に変換する半導体素子である。
図５のように素子をマトリックス状（ＲＯＷ−ＣＯＬＭＮ）に配置し、被写体をセンサの受光面に結像させ、結像した像の光の明暗を電気信号に変換して、変換した信号を順次読み出すことで、画像データとして得ることができる。
一般的に素子の受光面積が広いほど受光感度が上がり、素子数が多くなればなるほど画像の解像度が高くなる。携帯端末のような背面と表面の両方に撮像部を持つ端末は目的別に背面側には大面積、高解像度の撮像部が使用され、表面側には背面と比較し、小面積で低解像度の撮像部が使用されることが多い。
【００４５】
・同一方向検出部１２０、水平検出部１２１
同一方向検出部１２０は、メインカメラ１１０とサブカメラ１１１が同一方向を向いて配置されているかを検出するセンサであり、図１に示す磁石と磁気センサに該当する。同一方向検出部１２０により携帯端末１１０が３Ｄ撮影モードにできるかを検出する。
水平検出部１２１は、図１に示す加速度センサに該当するものであり、メインカメラ１１０とサブカメラ１１１が３Ｄ撮影に適する水平位置にあるかを検出するものである。
【００４６】
・処理部
ビデオＩ／Ｆ１３１，１３２は、メインカメラ１１０とサブカメラ１１１から検出された画像データが入力され、画像データ処理部１３５に送る。
センサＩ／Ｆ１３３は、同一方向検出部１２０と水平検出部１２１から検出結果が入力され、ＣＰＵ１３６に送る。
画像データ処理部１３５は、ＣＰＵ１３６から与えられたパラメータや命令に従い、イメージセンサ１１２，１１３からの画像データを取得しＲＡＭ１６０やＣＰＵ１３６に出力する。表示を行うためにイメージセンサ１１２，１１３からの取得したデータやＣＰＵ１３６／ＲＡＭ１６０からの画像データを表示部（メイン画面１５０、サブ画面１５１）への出力を行う。また、画像のデータの入出力時に色情報や解像度の変換を行う。
ＣＰＵ１３６は、ＲＯＭ１６１に格納されたプログラムを処理、実行し、携帯端末１００の３Ｄ撮像システムを起動する。そして、補助記憶装置１６２に格納されたプログラムをＲＡＭ１６０に転送し、ＲＡＭ１６０に一時格納されたプログラムを処理、実行する。
ディスプレイＩ／Ｆ１３７，１３８は、画像データ処理部１３５の処理データを表示部１５０，１５１に送る。
【００４７】
・ＲＯＭ（Read Only Memory）１６１
コンピュータを動作させるための基本プログラム（ＩＰＬ：Initial Program Loader／ＯＳ：Operating System）や固定データが格納されている。
【００４８】
・ＲＡＭ（Random Access Memory）１６０
プログラムを実行するための作業領域やイメージセンサ１１２，１１３から得られた画像データを一時的に格納するための記憶装置である。補助記憶装置１６２より本発明に使用されるプログラムを高速に実行するために一時的に読み出し、格納する。処理部１３０はそのプログラムをＲＡＭ１６０から読み出し、実行する。
【００４９】
・補助記憶装置１６２
一般的には磁気記録装置ＨＤＤ（Hard Disk Drive）、半導体記録装置ＳＳＤ（Solid State Drive）、光学式記録装置（ＣＤ，ＤＶＤ，ＢＬＵ−ＲＡＹ Ｄｉｓｋ）等を指す。プログラムや、画像データ、動画像データを格納する。従って、本発明に使用される３Ｄ処理用プログラムも格納されている。またイメージセンサ１１２，１１３の色や解像度の変換のための情報が格納されている。
【００５０】
・表示部（メイン画面１５０、サブ画面１５１）
処理部１３０より表示用のデータを受け取り、表示する。例えばイメージセンサ１１２，１１３から得たＲＡＭ１６０に格納されたデータを表示部１５０に出力し、表示する。
【００５１】
［３Ｄ画像データ処理］
撮像装置に異なる特性をもつ２つの撮像部を平行に配置し３Ｄ画像を得る方法では、ソフトウェアによる画像解析を必要とせずに３Ｄ画像を得ることができる。しかしながら、サブカメラの解像度／色特性の基本的に特性の悪いほうを基準とした３Ｄ画像となる。高解像度、高（色特性）品位の画像で３Ｄ化するにはメインカメラの画像を基準としたほうがよい。
【００５２】
図６は、メインカメラ画像を基準としたソフトウェアの画像解析による３Ｄ化の例を示す図である。３Ｄ化の処理手順は図１６のソフトウェアによる３Ｄ化と同様である。
（ａ）は３Ｄ化の右目画像を作成するための元となるメインカメラ撮影による左目画像である。（ｅ）はメインカメラ撮影時に同時に撮影した右目位置にあるサブカメラ撮影画像である。従来では（ａ）の画像データから構図を解析し構図物を抽出していたが、さらに（ｆ）のサブカメラ撮影画像から視差分の画像差を抽出し、確実に構造物を得ることが出来る。
【００５３】
（ｂ）では構造物を確定し、背景画像からの切り出しを行う。（ｇ）では、サブカメラの画像から構造物位置情報を抽出し、（ｃ）では、それに基づいて構造物をメインカメラで得られた画像位置から移動する。従来では移動位置は構造解析を実施し、奥行き情報から移動位置を推測して移動していたため、精度が十分ではなかったが、このような処理を行うことにより、精度を高めることができる。
【００５４】
（ｄ）では、背景と隠れたオブジェクトを補正する。従来では隠れた部分については画像情報がないため、周囲の情報から推測にて補正をしており、間違った補正をする可能性があったが、（ｈ）のように、サブカメラ画像の画像情報からメインカメラで撮影した画像では隠れた部分の画像情報を生成するので、間違いのない補正が可能である。
【００５５】
［３Ｄ撮影における動作］
図７は、センサを利用した３Ｄ撮影モードへの移行の動作を示すフローチャートである。機能ブロックが図５、端末構造が図１、図２であるとして、説明する。
【００５６】
ＣＰＵ１３６が同一方向検出部１２０である磁気センサ１９ｂのＯＮ／ＯＦＦを検出する（ステップＳ１）。ステップＳ２において、磁気センサ１９ｂがＯＮしていれば（磁気センサ１９ｂが磁石１９ａに近接していれば）、ＣＰＵ１３６は水平検出部１２１である加速度センサ２０による携帯端末１００（図１では携帯端末１０）の傾きを検出する（ステップＳ３）。ステップＳ４において、携帯端末１００が水平位置になっていれば（３Ｄ撮影可能な角度の範囲内になっていれば）、ステップＳ５に進む。ステップＳ２，Ｓ４において、ＮＯであれば、ステップＳ１に戻る。
【００５７】
ステップＳ５において、ＣＰＵ１３６は、３Ｄ撮影モードへ自動的に移行させる。もしくは、ＣＰＵ１３６は３Ｄ撮影モードへ移行するかどうかのメッセージを画像データ処理部１３５に生成させ、表示部１５０，１５１のいずれかに表示させる。
【００５８】
再び、ＣＰＵ１３６が同一方向検出部１２０である磁気センサ１９ｂのＯＮ／ＯＦＦを検出する（ステップＳ６）。ステップＳ７において、磁気センサ１９ｂがＯＮしていれば（磁気センサ１９ｂが磁石１９ａに近接していれば）、ＣＰＵ１３６は水平検出部１２１である加速度センサ２０による携帯端末１００（図１では携帯端末１０）の傾きを検出する（ステップＳ８）。ステップＳ９において、携帯端末１００が水平位置になっていれば（３Ｄ撮影可能な角度の範囲内になっていれば）、ステップＳ１０に進み、ＣＰＵ１３６は、３Ｄ撮影モードを維持する。ステップＳ９において、ＮＯであれば、ステップＳ６に戻る。
【００５９】
ステップＳ７において、ＮＯであれば、ステップＳ１１において、ＣＰＵ１３６は、３Ｄ撮影モードから、元のモードへ自動で戻す。若しくは、ＣＰＵ１３６は、元の撮影モードへ移行するかどうかのメッセージを画像データ処理部１３５に生成させ、表示部１５０，１５１のいずれかに表示させる。
【００６０】
図８、図９、図１０は、メインカメラの画像データに基づいて、サブカメラの画像情報を参照しながらサブカメラの画像を生成する処理を示すフローチャートである。メインカメラの画像とサブカメラの画像では解像度や、色情報の違いはあるが右目側の画像データとして参照できるため、メインカメラ画像から、高い精度で３Ｄ用の右目画像データの作成が可能である。図５の機能ブロックと図６を参照しながら説明する。
【００６１】
ステップＳ２１において、画像データ処理部１３５は、メインカメラ１１０により撮影した撮影画像データ（図６（ａ））の構造物解析を行う。そして、ステップＳ２２において、メインカメラ１１０の撮像画像データのなかで、３Ｄ化可能性のあるオブジェクト（構造物）の抽出し、そのオブジェクトの形状、座標の抽出を行う（図６（ｂ））。３Ｄ化可能性のあるオブジェクト数＝Ｍ個とする。図６（ｂ）では構造物Ａ、Ｂの２つである。各オブジェクトの形状、座標等のデータをＲＡＭ１６０内に配列ＭＯ（Ｍ）として格納する。
【００６２】
ステップＳ２３において、サブカメラ１１１の撮影画像データ（図６（ｅ））の構造物解析を行う。そして、ステップＳ２４において、サブカメラの３Ｄ化可能性のあるオブジェクトの抽出を行う（図６（ｆ））。オブジェクトの形状、座標の抽出が抽出され、３Ｄ化可能性のあるオブジェクト数＝Ｓ個とする。各オブジェクトの形状、座標等のデータをＲＡＭ１６０内に配列ＳＯ（Ｓ）として格納する。
【００６３】
ステップＳ２５において、画像データ処理部１３５は、変数Ｋ＝０、配列変数ＭＫ（０：Ｍ−１）＝０とする。ここで、変数Ｋとは、３Ｄ化オブジェクト数を表わす。配列変数ＭＫ（０：Ｍ−１）は、３Ｄ化するオブジェクト番号を示し、ＭＫ（０：Ｍ−１）＝０であれば、「３Ｄ対象でない」ということであり、ＭＫ（０：Ｍ−１）＝１であれば、「３Ｄ対象である」ということである。
【００６４】
ステップＳ２６において、画像データ処理部１３５は、ループカウンターに対し、Ｉ＝０とする。ステップＳ２７において、Ｉ＝Ｍかを確認し、ＮＯであればステップＳ２８に進み、ＹＥＳであれば、ステップＳ３５に進む。
【００６５】
ステップＳ２８において、画像データ処理部１３５は、ループカウンターに対し、Ｊ＝０とする。ステップＳ２９において、Ｊ＝Ｓかを確認し、ＮＯであればステップＳ３０に進み、ＹＥＳであれば、ステップＳ３３に進む。
【００６６】
ステップＳ３０において、画像データ処理部１３５は、メインカメラオブジェクトＭＯ（Ｉ）とサブカメラオブジェクトＳＯ（Ｊ）は同一形状かを確認する。同一形状であれば、ステップＳ３１において、メインカメラのオブジェクトＭＯ（Ｉ）とサブカメラのオブジェクトＳＯ（Ｊ）は視差分座標がずれた位置にあるかを確認する。視差分座標がずれた位置にあれば、ステップＳ３２に進む。
ステップＳ３０、３１において、ＮＯであれば、ステップＳ３４において、Ｊ＝Ｊ＋１とする。
【００６７】
ステップＳ３２において、Ｋ＝Ｋ＋１、ＭＫ（Ｉ）＝１とする。ステップＳ３３において、Ｉ＝Ｉ＋１とし、ステップＳ２７に戻る。
【００６８】
ステップＳ３５において、Ｉ＝０とし、ステップＳ３６において、Ｋ＝Ｉであるかを確認する。ＹＥＳであれば、処理は終了する。
Ｋ＝Ｉでなければ、ステップＳ３７において、ＭＯ（ＭＫ（Ｉ））のオブジェクトデータの座標をＳＯ（ＭＫ（Ｉ））のオブジェクトデータの座標に変更に変更する。
【００６９】
ステップＳ３８において、画像データ処理部１３５は、移動したＭＯ（ＭＫ（Ｉ））のオブジェクトデータの座標で隠れた部分のデータをＳＯ（ＭＫ（Ｉ））の周囲データを参照して補正する。そして、ステップＳ３９においてＫ＝Ｋ＋１とし、ステップＳ３６に戻る。
【００７０】
こうして、メインカメラで撮影した画像を元に、サブカメラで撮影した画像の情報から、メインカメラの特性と同じ画像を生成するので、画像特性の良い立体画像を取得することができる。
【００７１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【符号の説明】
【００７２】
１０，３０，５０，１００ 携帯端末
１１，３１，５１ 上筐体
１２，３２，５２ 下筐体
１３，３３，５３，１５０ 表示部（メイン画面）
１４，３４，５４，１５１ 表示部（サブ画面）
１５，１６，３５ 回転ヒンジ
１７，３６，５７，１１０ メインカメラ（主撮像部）
１８，３７，５８，１１１ サブカメラ（副撮像部）
１９ａ 磁石
１９ｂ 磁気センサ
２０ 加速度センサ
１１２，１１３ イメージセンサ
１２０ 同一方向検出部
１２１ 水平検出部
１３０ 処理部
１３５ 画像データ処理部
１３６ ＣＰＵ
【技術分野】
【０００１】
本発明は、カメラを搭載して立体画像が撮影可能な立体撮影装置およびそれを用いた携帯端末装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤなどの固体撮像素子を搭載したカメラ機能を有する携帯電話が登場してきており、静止画及び動画が撮影可能となっている。さらには、立体画像の撮影も可能とするものも登場してきている。
【０００３】
次に画像が３Ｄ（３Ｄｉｍｅｎｓｉｏｎ：３次元）に見える原理を図に示す。
図１１のような風景を例にする。図１２に人間が左目から見える風景と右目から見える風景を示す。図１２のように左目と右目には距離があるため、その左右に見える風景に差（視差）を感じることにより立体感が生じる。
【０００４】
２Ｄ（２Ｄｉｍｅｎｓｉｏｎ：２次元）の写真や動画像を、３Ｄに見せるには図１２のように左目から見える背景（画像）と右目から見える背景（画像）をそれぞれ用意する必要がある。そして左目用の背景（画像）には左目だけで見えるようにし、そして右目用の背景（画像）には右目だけで見えるようにすると立体的に見える。３Ｄ化のための左目用画像と右目用画像を得るための技術としては次のような手法がある。
【０００５】
次の（１）〜（３）はハードウェアによる３Ｄ撮影の従来技術の例である。（４）はソフトウェアによる３Ｄ化の従来技術の例である。
【０００６】
（１）撮像装置に２つの同一の撮像部を平行に実装する方法（特許文献１，２参照）
図１３のように、撮像装置に２つの同一の撮像部を視差の距離だけ離し、平行に実装することで左目、右目両方の画像を得ることができる。静止画像、動画像の両方を得ることができることが特徴である。
【０００７】
（２）レンズ部を２つ持ち、１つの撮像部に２つの画像を撮影する方法
図１４のように、撮像装置に２つのレンズを視差の距離だけ離し、平行に実装することで左目、右目両方の画像を１つのセンサに入力する。静止画像、動画像の両方を得ることができることが特徴である。
【０００８】
（３）１つの撮像部のみを有する撮像装置にて、その撮像装置を平行移動させて連続して撮影する方法
図１５のように、撮像装置を左目位置で撮影し画像を得る。次に手動で移動させて右目位置で撮影し、画像を得る。左目位置の画像と右目位置の画像を利用して３Ｄ画像を得る。
【０００９】
（４）ソフトウェアによる３Ｄ化
画像を３Ｄ化するには元画像から左目から見える画像に基づいて右目から見える画像に変換する処理を行うことである。概略の流れを図１６に示す。図は構造物が２つあり、その構造物を立体的に見せるための処理である。
（ａ）構図を識別し、画角と奥行きの情報を得る。
（ｂ）各奥行きにある構造物Ａ，Ｂを識別し、切り出す。
（ｃ）（ａ）の奥行き情報に基づき構造物を、左目視点の画像と右目視点の画像に、視差分移動を行う。
（ｄ）左目視点の画像と右目視点の画像に対し、構造物を移動して欠けている背景、構造物の隠れていた部分を補完する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−２５０３９６号公報
【特許文献２】特開２００６−３４５２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記従来技術では次のような問題点がある。
（１）撮像装置に２つの同一の撮像部を平行に実装する方法
２つの同一の撮像部を装備する必要があり、高価であり、装置が大型化するという欠点がある。
（２）レンズ部を２つ持ち、１つの撮像部に２つの画像を撮影する方法
１つのセンサに両目の画像を得るため、それぞれの画像を分離する必要がある。またセンサのもつ縦方向の解像度（画素数）が半分以下になる。一般的にレンズが小さくなるため、感度が低くなるという欠点がある。
【００１２】
（３）１つの撮像部のみを有する撮像装置にて、その撮像装置を平行移動させて連続して撮影する方法
左目位置の画像と右目位置の画像の撮影時間の差が生じるため、移動対象物を撮影すると正しい３Ｄ用の画像を得られない。また動画像を得ることができないという欠点がある。
【００１３】
（４）ソフトウェアによる３Ｄ化
（ａ）の構図の識別に間違いがあると、正しく３Ｄ画像が生成されない。また同様に（ｂ）の構造物の識別を誤ると正しく３Ｄ画像が生成されない。
また、ソフトウェアにより（ａ）〜（ｄ）の処理を実行するため非常に時間がかかり、リアルタイムに３Ｄ用の動画像データを作成するには処理装置に高い処理能力が必要である。
【００１４】
さらに動画像を含めた画像の３Ｄ撮影をするためには（１）のように２つの同一の撮像部を用意するか１つの撮像素子に左目、右目、２つの画像が入力するように構成する必要がある。
【００１５】
一般の携帯端末装置では背面に撮影用に大型のイメージセンサをもつ撮像部と、ＴＶ電話などの用途に使用する小型のイメージセンサをもつ撮像部２つを備えているものが多く、同一の撮像部を２つ配置するとなると３つの撮像部が必要となり、現実的ではなかった。
【００１６】
本発明は、斯かる実情に鑑み、正面撮影を行うメインカメラと，自分撮影用のサブカメラを利用して画像特性が良い立体画像撮影を可能とする立体撮影装置およびそれを用いた携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明は、筐体に正面撮影用の主撮像部と自分撮影用の副撮像部とを備えた立体撮影装置において、
前記主撮像部と前記副撮像部を同一方向に配置して前記撮像部間の距離を視差とする同方向配置構造と、前記主撮像部で撮影した画像を元画像データとして用い、前記副撮像部で撮影した画像から視差情報を取得し、前記元画像データを、前記視差情報に基づいて、前記副撮像部の視差を有する画像を生成する画像データ処理部と、を備えたことを特徴とする。
【００１８】
また、本発明の立体撮影装置において、前記画像データ処理部は、前記元画像データに対し構造物解析を行い、構造物と背景画像を抽出し、前記副撮像部の画像から構造物位置情報を抽出し、前記視差情報と前記構造物位置情報に基づいて、前記元画像の構造物を移動して配置することを特徴とする。
【００１９】
また、本発明の立体撮影装置において、前記画像データ処理部は、前記元画像データの隠れた部分の情報を、前記副撮像部の画像から画像情報を抽出して、隠れた部分の画像を生成することを特徴とする。
【００２０】
本発明は、前記立体撮影装置を備えたことを特徴とする携帯端末装置である。
【発明の効果】
【００２１】
本発明によれば、主撮像部で撮影した画像を元に、副撮像部で撮影した画像の視差情報から、主撮像部の特性と同じ画像を生成するので、画像特性の良い立体画像を取得することができる。
また、元画像データから構造物と背景画像を抽出し、副撮像部の画像からの視差情報と構造物位置情報を抽出して、元画像の構造物を移動して配置するので、正確な視差画像を生成できる。
また、元画像データの隠れた部分の情報を、前記副撮像部の画像から画像情報を抽出して画像生成を行うので、正確な視差画像を生成できる。
【図面の簡単な説明】
【００２２】
【図１】折りたたみ型の携帯端末での第１の実施例を示す図である。
【図２】第１の実施例に加速度センサを実装して水平状態を検出する図である。
【図３】折りたたみ型の携帯端末での第２の実施例を示す図である。
【図４】折りたたみ型の携帯端末での第３の実施例を示す図である。
【図５】メインカメラとサブカメラを有して立体撮影を可能とする携帯端末の機能構成を示すブロック図である。
【図６】メインカメラ画像を基準としたソフトウェアの画像解析による３Ｄ化の例を示す図である。
【図７】センサを利用した３Ｄ撮影モードへの移行の動作を示すフローチャートである。
【図８】メインカメラの画像データに基づいて、サブカメラの画像情報を参照しながらサブカメラの画像を生成する処理を示すフローチャートである。
【図９】図８に続くフローチャートである。
【図１０】図９に続くフローチャートである。
【図１１】撮影対象である風景を示す図である。
【図１２】左目から見える風景と右目から見える風景を示す図である。
【図１３】２つの同一の撮像部を平行に実装して立体画像を得る従来の撮影装置を示す図である。
【図１４】２つのレンズを視差の距離だけ離し平行に実装して立体画像を得る従来の撮影装置を示す図である。
【図１５】１つの撮像部のみを実装して立体画像を得る従来の撮影装置を示す図である。
【図１６】元画像から左目から見える画像に基づいて右目から見える画像に変換処理する従来の３Ｄ化方式を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態を添付図面を参照して説明する。
【００２４】
［発明の概要］
本発明は、同一でない２つの撮像素子を用いて静止画像、動画像問わず精度の高い３Ｄ画像を得ることにある。つまり、撮影した画像特性が良い方を用いて、もう一方で撮影した画像を生成し直す処理を行い、より特性のよい画像をえるものである。したがって従来技術の「（３）１つの撮像部のみを有する撮像装置にて、その撮像装置を平行移動させて連続して撮影する方法」は本発明とは関連しない。また、従来技術の「（１）撮像装置に２つの同一の撮像部を平行に実装する方法」については同一の撮像部を持つため、それぞれの撮像部に対して同一の処理で３Ｄ画像を得ることができるが、同一の撮像部を２つ持たせることはメインの撮像素子とサブの撮像素子に同一の撮像部を持たせると端末のサイズ、形状デザインに制限が生じてしまう。またメインの撮像素子に同一の撮像部を持たせ、サブの撮像部と分けると、３つの撮像部を持たせることになり、コスト面で現実的ではない。
【００２５】
本発明は、正面撮影用のメインカメラと、自分撮影用のサブカメラとの２つの撮像部を持つ撮影装置にて３Ｄ画像を得ることを実現することである。従来技術「（２）レンズ部に２つの視差をもたせるためのコンバージョンレンズを使用し１つの撮像部に２つの画像を撮影する方法」については、専用の構造を持たせることが必要であり、本発明とは関連しない。
【００２６】
ソフトウェアでの３Ｄ化については、１つの撮像部から得られた画像に対して構造解析し、３Ｄ化をするが、本発明は２つの同一でない撮像部から得られた画像に対して、１つを３Ｄ化する画像の対象とし、もう１つを３Ｄ化するための構造解析の補助、精度向上の役割を果たすための情報とする。
【００２７】
［撮像部の配置と端末構造］
本発明の立体撮影装置を用いた実施形態として携帯端末を例に説明する。２つの撮像素子を使用して３Ｄ撮影する場合においては、メインカメラとサブカメラの撮像部を水平に並べて視差を設ける必要がある。その実現例として図１、図３、図４のような構造がある。以下順に説明する。
【００２８】
＜第１の実施例＞
図１は、折りたたみ型の携帯端末での第１の実施例を示す図である。
携帯端末１０は、上筐体１１と下筐体１２から構成される。上筐体１１には、メイン画面１３、サブ画面１４が表裏に配置されている。上筐体１１は、回転ヒンジ１５により、携帯端末１０の開閉時に下筐体１２に対して１８０度回転することが出来る（図１（ｂ）（ｆ）参照）。さらに、上筐体１１は、回転ヒンジ１６により、３Ｄ撮影時には携帯端末１１を開いた状態で、下筐体１２の表面に対して１８０度回転して裏返しにすることができる（図１（ｃ）〜（ｅ）参照）。
【００２９】
メインカメラ（主撮像部）１７は、下筐体１２の裏面に有し、一般の被写体に向けて撮影するものである。メインカメラ１７での撮影では、図１の（ｂ）もしくは（ｆ）の状態で、利用者がメイン画面１３をファインダーとして撮影する。
サブカメラ１８は、上筐体１１の上部に有し、ＴＶ電話等の主に利用者本人を撮影するために使用するカメラであり、メインカメラ１７よりも解像度等の特性は劣る。
【００３０】
図１（ｅ）は、携帯端末１０の開状態で、下筐体１２に対して１８０度回転した状態で有り、メインカメラ１７とサブカメラ１８が同一方向に向けて配置されることになる。このときメインカメラ１７とサブカメラ１８の距離は、視差距離に該当する程度である。３Ｄ撮影時には、利用者は、図１（ｅ）のような状態でサブ画面１４をファインダーとして撮影する。図１はカメラ１６，１７が垂直方向に配置されているが、携帯端末１０を水平にし、カメラ１６，１７を水平になるよう配置する。回転ヒンジ１５による回転により、図１（ａ）の状態でメイン画面１３を保護でき、図１（ｂ）及び（ｆ）のような状態で携帯端末１０を使用可能状態とする。図１（ｅ）の状態は、３Ｄ撮影の時にのみに使用する状態である。
【００３１】
回転ヒンジ１６部分に、メインカメラ１７とサブカメラ１８が同一方向を向く３Ｄ撮影モードになっているかを検出する同一方向検出部１９を設ける。例えば、回転ヒンジ１６の下筐体１２側に磁石１９ａ、上筐体１１側に磁気センサ１９ｂを設ける。そして。図１（ｅ）の状態で、磁石１９ａと磁気センサ１９ｂが近接して対向する位置になり、３Ｄ撮影モードを検出できる。この検出結果に基づいて、ファインダーとなっているサブ画面１４に、「３Ｄカメラ撮影モードになったことを報知する表示」、もしくは「３Ｄカメラ撮影モードに入るかをどうかを問う表示」を行う機能を実装することが出来る。図１（ｅ）以外の状態の時は、３Ｄ撮影モードにしないようにする。
【００３２】
さらに図２（ａ）に示すように、加速度センサ（水平検出部）２０を実装することで、メインカメラ１７とサブカメラ１８が水平位置になっているかを検出する。ファインダーとなっているサブ画面１４に検出角度を表示する機能を実装することが出来る。図２（ａ）のように、水平度が３Ｄ撮影に適していれば、３Ｄ撮影可能であることをサブ画面１４に表示してもよい。
【００３３】
また、図２（ｂ）のように、３Ｄカメラ撮影モード中に３Ｄ撮影が難しくなる角度に達すると「水平になるよう促す警告メッセージ」を、サブ画面１４に表示することも出来る。また、同一方向検出部１９の検出結果により、３Ｄカメラ撮影モード中に図１（ｅ）の状態以外になった場合には、３Ｄ撮影が不可能なため、自動で３Ｄカメラ撮影モードを解除する機能を実装することが出来る。
【００３４】
＜第２の実施例＞
図３は、折りたたみ型の携帯端末での第２の実施例を示す図である。
携帯端末３０は、上筐体３１と下筐体３２から構成される。上筐体３１は、さらに第１の上筐体３１ａと第２の上筐体３１ｂとから構成され、第１の上筐体３１ａには表面側にサブ画面３４が配置され、第２の上筐体３１ｂの表面側（第１の上筐体３１ａの表面とは反対側の面）にメイン画面３３が配置されている。上筐体３１は回転ヒンジ３５を有し、携帯端末３０の開閉時に下筐体３２に対して１８０度回転することが出来る（図３（ｂ）参照）。さらに第１の上筐体３１ａと第２の上筐体３１ｂとの間にサイクロイド回転構造を有し、９０度回転することが出来る（図３（ｃ）〜（ｅ）参照）。メインカメラ３６は下筐体３２の裏面に有し、メインカメラ３６での撮影では図３の（ｃ）もしくは（ｅ）の状態でメイン画面３３をファインダーとして撮影する。
【００３５】
サブカメラ３７は第２の上筐体３１ｂの上部に配置され、ＴＶ電話等の主に利用者本人を撮影するために使用するカメラである。３Ｄ撮影時には、図３（ｇ）のような状態で、サブ画面３４をファインダーとして撮影する。図３（ｇ）の状態では、カメラ３６，３７は水平方向に配置され、３Ｄ撮影モードとして撮影が可能となる。
【００３６】
同一方向検出部として磁石３９ａと磁気センサ３９ｂを設け、磁石３９ａは下筐体３２、磁気センサ３９ｂは第２の上筐体３１ｂに設ける。その機能は、第１の実施例と同じなので詳しい説明は省略する。
また、水平方向検出部として加速度センサを設けるのも第１の実施例と同じなので詳しい説明は省略する。
【００３７】
＜第３の実施例＞
図４は、折りたたみ型の携帯端末での第３の実施例を示す図である。
携帯端末５０は、上筐体５１と下筐体５２から構成される。上筐体５１には、メイン画面５３、サブ画面５４が表裏に配置されている。上筐体５１は、回転ヒンジ５５により、携帯端末５０の開閉時に下筐体５２に対して１８０度回転することが出来る。
メインカメラ（主撮像部）５７は、下筐体５２の裏面に有し、一般の被写体に向けて撮影するものである。メインカメラ１７での撮影では、利用者がメイン画面５３をファインダーとして撮影する。
【００３８】
サブカメラ１８は、上筐体１１の上部に有し、ＴＶ電話等の主に利用者本人を撮影するために使用するカメラであり、メインカメラ１７よりも解像度等の特性は劣る。
【００３９】
サブカメラ５８は上筐体５１の上部に有し、ＴＶ電話等の主に本人を撮影するために使用するカメラである。本人撮影には（ａ）の状態で、３Ｄ撮影時には（ｃ）のような状態でサブ画面５４をファインダーとして撮影する。
【００４０】
本実施例は３Ｄ撮影のためにサブカメラ５８に回転機構を実装しており、１８０度の回転が可能である。従って、向きを上筐体５１の表面から裏面へと向きを変えることができる（（ａ）〜（ｃ））。サブカメラ５８の向きをセンサで検知し、（ｃ）の方向にカメラが向いたとき、自動的に３Ｄ撮影のモードに入ることも可能である。
【００４１】
実施例では折りたたみ型の携帯端末であるが、とくに折りたたみ型である必要性はない。また、サブカメラ５８に回転機構を実施しているため、図１、図３と異なり、メイン画面をファインダーとして使用できるためより快適な撮影が可能である。
【００４２】
メイン画面をファインダーとして使用せず、サブ画面をファインダーとして使用する場合にはメインカメラに回転機構を有してもよい。本構造においても図２（ｂ）のように３Ｄカメラ撮影モード中に３Ｄ撮影が難しくなる角度に達すると水平になるよう促す警告メッセージを出すことも出来る。また３Ｄカメラ撮影モード中に図４（ｃ）の状態以外になった場合には３Ｄ撮影が不可能なため自動で３Ｄカメラ撮影前のモードに戻るようにすることが出来る。
【００４３】
［携帯端末の機能構成］
上記に説明した携帯端末の機能構成について説明する。
図５は、メインカメラとサブカメラを有して立体撮影を可能とする携帯端末の機能構成を示すブロック図である。この携帯端末１００は、メインカメラ（主撮像部）１１０、サブカメラ（副撮像部）１１１、同一方向検出部１２０、水平検出部１２１、処理部１３０、表示部１５０，１５１、ＲＡＭ１６０、ＲＯＭ１６１、補助記憶装置１６２の各機能ブロックから構成される。メインカメラ１１０にはイメージセンサ１１２、サブカメラ１１１にはイメージセンサ１１３が備えられている。処理部１３０には、ビデオＩ／Ｆ１３１，１３２、センサＩ／Ｆ１３３、画像データ処理部１３５、ＣＰＵ１３６、ディスプレイＩ／Ｆ１３７，１３８が備えられている。
以下に各部の説明をする。
【００４４】
・カメラ１１０，１１１
上述したように、メインカメラ１１０は、正面撮影用の撮像部である。一方、サブカメラ１１１は、利用者自身を撮影する撮像部である。
メインカメラ１１０とサブカメラ１１１にはイメージセンサ１１２と１１３がそれぞれ備えられている。イメージセンサ１１２，１１３は、レンズから入射した光を取り込み、その光を電気信号に変換する半導体素子である。
図５のように素子をマトリックス状（ＲＯＷ−ＣＯＬＭＮ）に配置し、被写体をセンサの受光面に結像させ、結像した像の光の明暗を電気信号に変換して、変換した信号を順次読み出すことで、画像データとして得ることができる。
一般的に素子の受光面積が広いほど受光感度が上がり、素子数が多くなればなるほど画像の解像度が高くなる。携帯端末のような背面と表面の両方に撮像部を持つ端末は目的別に背面側には大面積、高解像度の撮像部が使用され、表面側には背面と比較し、小面積で低解像度の撮像部が使用されることが多い。
【００４５】
・同一方向検出部１２０、水平検出部１２１
同一方向検出部１２０は、メインカメラ１１０とサブカメラ１１１が同一方向を向いて配置されているかを検出するセンサであり、図１に示す磁石と磁気センサに該当する。同一方向検出部１２０により携帯端末１１０が３Ｄ撮影モードにできるかを検出する。
水平検出部１２１は、図１に示す加速度センサに該当するものであり、メインカメラ１１０とサブカメラ１１１が３Ｄ撮影に適する水平位置にあるかを検出するものである。
【００４６】
・処理部
ビデオＩ／Ｆ１３１，１３２は、メインカメラ１１０とサブカメラ１１１から検出された画像データが入力され、画像データ処理部１３５に送る。
センサＩ／Ｆ１３３は、同一方向検出部１２０と水平検出部１２１から検出結果が入力され、ＣＰＵ１３６に送る。
画像データ処理部１３５は、ＣＰＵ１３６から与えられたパラメータや命令に従い、イメージセンサ１１２，１１３からの画像データを取得しＲＡＭ１６０やＣＰＵ１３６に出力する。表示を行うためにイメージセンサ１１２，１１３からの取得したデータやＣＰＵ１３６／ＲＡＭ１６０からの画像データを表示部（メイン画面１５０、サブ画面１５１）への出力を行う。また、画像のデータの入出力時に色情報や解像度の変換を行う。
ＣＰＵ１３６は、ＲＯＭ１６１に格納されたプログラムを処理、実行し、携帯端末１００の３Ｄ撮像システムを起動する。そして、補助記憶装置１６２に格納されたプログラムをＲＡＭ１６０に転送し、ＲＡＭ１６０に一時格納されたプログラムを処理、実行する。
ディスプレイＩ／Ｆ１３７，１３８は、画像データ処理部１３５の処理データを表示部１５０，１５１に送る。
【００４７】
・ＲＯＭ（Read Only Memory）１６１
コンピュータを動作させるための基本プログラム（ＩＰＬ：Initial Program Loader／ＯＳ：Operating System）や固定データが格納されている。
【００４８】
・ＲＡＭ（Random Access Memory）１６０
プログラムを実行するための作業領域やイメージセンサ１１２，１１３から得られた画像データを一時的に格納するための記憶装置である。補助記憶装置１６２より本発明に使用されるプログラムを高速に実行するために一時的に読み出し、格納する。処理部１３０はそのプログラムをＲＡＭ１６０から読み出し、実行する。
【００４９】
・補助記憶装置１６２
一般的には磁気記録装置ＨＤＤ（Hard Disk Drive）、半導体記録装置ＳＳＤ（Solid State Drive）、光学式記録装置（ＣＤ，ＤＶＤ，ＢＬＵ−ＲＡＹ Ｄｉｓｋ）等を指す。プログラムや、画像データ、動画像データを格納する。従って、本発明に使用される３Ｄ処理用プログラムも格納されている。またイメージセンサ１１２，１１３の色や解像度の変換のための情報が格納されている。
【００５０】
・表示部（メイン画面１５０、サブ画面１５１）
処理部１３０より表示用のデータを受け取り、表示する。例えばイメージセンサ１１２，１１３から得たＲＡＭ１６０に格納されたデータを表示部１５０に出力し、表示する。
【００５１】
［３Ｄ画像データ処理］
撮像装置に異なる特性をもつ２つの撮像部を平行に配置し３Ｄ画像を得る方法では、ソフトウェアによる画像解析を必要とせずに３Ｄ画像を得ることができる。しかしながら、サブカメラの解像度／色特性の基本的に特性の悪いほうを基準とした３Ｄ画像となる。高解像度、高（色特性）品位の画像で３Ｄ化するにはメインカメラの画像を基準としたほうがよい。
【００５２】
図６は、メインカメラ画像を基準としたソフトウェアの画像解析による３Ｄ化の例を示す図である。３Ｄ化の処理手順は図１６のソフトウェアによる３Ｄ化と同様である。
（ａ）は３Ｄ化の右目画像を作成するための元となるメインカメラ撮影による左目画像である。（ｅ）はメインカメラ撮影時に同時に撮影した右目位置にあるサブカメラ撮影画像である。従来では（ａ）の画像データから構図を解析し構図物を抽出していたが、さらに（ｆ）のサブカメラ撮影画像から視差分の画像差を抽出し、確実に構造物を得ることが出来る。
【００５３】
（ｂ）では構造物を確定し、背景画像からの切り出しを行う。（ｇ）では、サブカメラの画像から構造物位置情報を抽出し、（ｃ）では、それに基づいて構造物をメインカメラで得られた画像位置から移動する。従来では移動位置は構造解析を実施し、奥行き情報から移動位置を推測して移動していたため、精度が十分ではなかったが、このような処理を行うことにより、精度を高めることができる。
【００５４】
（ｄ）では、背景と隠れたオブジェクトを補正する。従来では隠れた部分については画像情報がないため、周囲の情報から推測にて補正をしており、間違った補正をする可能性があったが、（ｈ）のように、サブカメラ画像の画像情報からメインカメラで撮影した画像では隠れた部分の画像情報を生成するので、間違いのない補正が可能である。
【００５５】
［３Ｄ撮影における動作］
図７は、センサを利用した３Ｄ撮影モードへの移行の動作を示すフローチャートである。機能ブロックが図５、端末構造が図１、図２であるとして、説明する。
【００５６】
ＣＰＵ１３６が同一方向検出部１２０である磁気センサ１９ｂのＯＮ／ＯＦＦを検出する（ステップＳ１）。ステップＳ２において、磁気センサ１９ｂがＯＮしていれば（磁気センサ１９ｂが磁石１９ａに近接していれば）、ＣＰＵ１３６は水平検出部１２１である加速度センサ２０による携帯端末１００（図１では携帯端末１０）の傾きを検出する（ステップＳ３）。ステップＳ４において、携帯端末１００が水平位置になっていれば（３Ｄ撮影可能な角度の範囲内になっていれば）、ステップＳ５に進む。ステップＳ２，Ｓ４において、ＮＯであれば、ステップＳ１に戻る。
【００５７】
ステップＳ５において、ＣＰＵ１３６は、３Ｄ撮影モードへ自動的に移行させる。もしくは、ＣＰＵ１３６は３Ｄ撮影モードへ移行するかどうかのメッセージを画像データ処理部１３５に生成させ、表示部１５０，１５１のいずれかに表示させる。
【００５８】
再び、ＣＰＵ１３６が同一方向検出部１２０である磁気センサ１９ｂのＯＮ／ＯＦＦを検出する（ステップＳ６）。ステップＳ７において、磁気センサ１９ｂがＯＮしていれば（磁気センサ１９ｂが磁石１９ａに近接していれば）、ＣＰＵ１３６は水平検出部１２１である加速度センサ２０による携帯端末１００（図１では携帯端末１０）の傾きを検出する（ステップＳ８）。ステップＳ９において、携帯端末１００が水平位置になっていれば（３Ｄ撮影可能な角度の範囲内になっていれば）、ステップＳ１０に進み、ＣＰＵ１３６は、３Ｄ撮影モードを維持する。ステップＳ９において、ＮＯであれば、ステップＳ６に戻る。
【００５９】
ステップＳ７において、ＮＯであれば、ステップＳ１１において、ＣＰＵ１３６は、３Ｄ撮影モードから、元のモードへ自動で戻す。若しくは、ＣＰＵ１３６は、元の撮影モードへ移行するかどうかのメッセージを画像データ処理部１３５に生成させ、表示部１５０，１５１のいずれかに表示させる。
【００６０】
図８、図９、図１０は、メインカメラの画像データに基づいて、サブカメラの画像情報を参照しながらサブカメラの画像を生成する処理を示すフローチャートである。メインカメラの画像とサブカメラの画像では解像度や、色情報の違いはあるが右目側の画像データとして参照できるため、メインカメラ画像から、高い精度で３Ｄ用の右目画像データの作成が可能である。図５の機能ブロックと図６を参照しながら説明する。
【００６１】
ステップＳ２１において、画像データ処理部１３５は、メインカメラ１１０により撮影した撮影画像データ（図６（ａ））の構造物解析を行う。そして、ステップＳ２２において、メインカメラ１１０の撮像画像データのなかで、３Ｄ化可能性のあるオブジェクト（構造物）の抽出し、そのオブジェクトの形状、座標の抽出を行う（図６（ｂ））。３Ｄ化可能性のあるオブジェクト数＝Ｍ個とする。図６（ｂ）では構造物Ａ、Ｂの２つである。各オブジェクトの形状、座標等のデータをＲＡＭ１６０内に配列ＭＯ（Ｍ）として格納する。
【００６２】
ステップＳ２３において、サブカメラ１１１の撮影画像データ（図６（ｅ））の構造物解析を行う。そして、ステップＳ２４において、サブカメラの３Ｄ化可能性のあるオブジェクトの抽出を行う（図６（ｆ））。オブジェクトの形状、座標の抽出が抽出され、３Ｄ化可能性のあるオブジェクト数＝Ｓ個とする。各オブジェクトの形状、座標等のデータをＲＡＭ１６０内に配列ＳＯ（Ｓ）として格納する。
【００６３】
ステップＳ２５において、画像データ処理部１３５は、変数Ｋ＝０、配列変数ＭＫ（０：Ｍ−１）＝０とする。ここで、変数Ｋとは、３Ｄ化オブジェクト数を表わす。配列変数ＭＫ（０：Ｍ−１）は、３Ｄ化するオブジェクト番号を示し、ＭＫ（０：Ｍ−１）＝０であれば、「３Ｄ対象でない」ということであり、ＭＫ（０：Ｍ−１）＝１であれば、「３Ｄ対象である」ということである。
【００６４】
ステップＳ２６において、画像データ処理部１３５は、ループカウンターに対し、Ｉ＝０とする。ステップＳ２７において、Ｉ＝Ｍかを確認し、ＮＯであればステップＳ２８に進み、ＹＥＳであれば、ステップＳ３５に進む。
【００６５】
ステップＳ２８において、画像データ処理部１３５は、ループカウンターに対し、Ｊ＝０とする。ステップＳ２９において、Ｊ＝Ｓかを確認し、ＮＯであればステップＳ３０に進み、ＹＥＳであれば、ステップＳ３３に進む。
【００６６】
ステップＳ３０において、画像データ処理部１３５は、メインカメラオブジェクトＭＯ（Ｉ）とサブカメラオブジェクトＳＯ（Ｊ）は同一形状かを確認する。同一形状であれば、ステップＳ３１において、メインカメラのオブジェクトＭＯ（Ｉ）とサブカメラのオブジェクトＳＯ（Ｊ）は視差分座標がずれた位置にあるかを確認する。視差分座標がずれた位置にあれば、ステップＳ３２に進む。
ステップＳ３０、３１において、ＮＯであれば、ステップＳ３４において、Ｊ＝Ｊ＋１とする。
【００６７】
ステップＳ３２において、Ｋ＝Ｋ＋１、ＭＫ（Ｉ）＝１とする。ステップＳ３３において、Ｉ＝Ｉ＋１とし、ステップＳ２７に戻る。
【００６８】
ステップＳ３５において、Ｉ＝０とし、ステップＳ３６において、Ｋ＝Ｉであるかを確認する。ＹＥＳであれば、処理は終了する。
Ｋ＝Ｉでなければ、ステップＳ３７において、ＭＯ（ＭＫ（Ｉ））のオブジェクトデータの座標をＳＯ（ＭＫ（Ｉ））のオブジェクトデータの座標に変更に変更する。
【００６９】
ステップＳ３８において、画像データ処理部１３５は、移動したＭＯ（ＭＫ（Ｉ））のオブジェクトデータの座標で隠れた部分のデータをＳＯ（ＭＫ（Ｉ））の周囲データを参照して補正する。そして、ステップＳ３９においてＫ＝Ｋ＋１とし、ステップＳ３６に戻る。
【００７０】
こうして、メインカメラで撮影した画像を元に、サブカメラで撮影した画像の情報から、メインカメラの特性と同じ画像を生成するので、画像特性の良い立体画像を取得することができる。
【００７１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【符号の説明】
【００７２】
１０，３０，５０，１００ 携帯端末
１１，３１，５１ 上筐体
１２，３２，５２ 下筐体
１３，３３，５３，１５０ 表示部（メイン画面）
１４，３４，５４，１５１ 表示部（サブ画面）
１５，１６，３５ 回転ヒンジ
１７，３６，５７，１１０ メインカメラ（主撮像部）
１８，３７，５８，１１１ サブカメラ（副撮像部）
１９ａ 磁石
１９ｂ 磁気センサ
２０ 加速度センサ
１１２，１１３ イメージセンサ
１２０ 同一方向検出部
１２１ 水平検出部
１３０ 処理部
１３５ 画像データ処理部
１３６ ＣＰＵ
【特許請求の範囲】
【請求項１】
筐体に正面撮影用の主撮像部と自分撮影用の副撮像部とを備えた立体撮影装置において、
前記主撮像部と前記副撮像部を同一方向に配置して前記撮像部間の距離を視差とする同方向配置構造と、
前記主撮像部で撮影した画像を元画像データとして用い、前記副撮像部で撮影した画像から視差情報を取得し、前記元画像データを、前記視差情報に基づいて、前記副撮像部の視差を有する画像を生成する画像データ処理部と、
を備えたことを特徴とする立体撮影装置。
【請求項２】
前記画像データ処理部は、前記元画像データに対し構造物解析を行い、構造物と背景画像を抽出し、前記副撮像部の画像から構造物位置情報を抽出し、前記視差情報と前記構造物位置情報に基づいて、前記元画像の構造物を移動して配置することを特徴とする請求項１に記載の立体撮影装置。
【請求項３】
前記画像データ処理部は、前記元画像データの隠れた部分の情報を、前記副撮像部の画像から画像情報を抽出して、隠れた部分の画像を生成することを特徴とする請求項１または２に記載の立体撮影装置。
【請求項４】
請求項１から３のいずれか一項に記載の立体撮影装置を備えたことを特徴とする携帯端末装置。
【請求項１】
筐体に正面撮影用の主撮像部と自分撮影用の副撮像部とを備えた立体撮影装置において、
前記主撮像部と前記副撮像部を同一方向に配置して前記撮像部間の距離を視差とする同方向配置構造と、
前記主撮像部で撮影した画像を元画像データとして用い、前記副撮像部で撮影した画像から視差情報を取得し、前記元画像データを、前記視差情報に基づいて、前記副撮像部の視差を有する画像を生成する画像データ処理部と、
を備えたことを特徴とする立体撮影装置。
【請求項２】
前記画像データ処理部は、前記元画像データに対し構造物解析を行い、構造物と背景画像を抽出し、前記副撮像部の画像から構造物位置情報を抽出し、前記視差情報と前記構造物位置情報に基づいて、前記元画像の構造物を移動して配置することを特徴とする請求項１に記載の立体撮影装置。
【請求項３】
前記画像データ処理部は、前記元画像データの隠れた部分の情報を、前記副撮像部の画像から画像情報を抽出して、隠れた部分の画像を生成することを特徴とする請求項１または２に記載の立体撮影装置。
【請求項４】
請求項１から３のいずれか一項に記載の立体撮影装置を備えたことを特徴とする携帯端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−１１５４６７（Ｐ２０１３−１１５４６７Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５７２７４（Ｐ２０１１−２５７２７４）
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]