立体画像表示装置及び立体視訓練方法
【課題】ユーザの立体視能力を訓練することで、容易に立体視できるように促す。
【解決手段】視差がない左目用画像(a)(i)と右目用画像(a)(ii)とから生成される立体画像(a)(iii)と、視差が小さい左目用画像(b)(i)と右目用画像(b)(ii)とから生成される立体画像(b)(iii)と、視差が中程度の左目用画像(c)(i)と右目用画像(c)(ii)とから生成される立体画像(c)(iii)と、視差が大きい左目用画像(d)(i)と右目用画像(d)(ii)とから生成される立体画像(d)(iii)と、を用意し、視差の小さい順に各立体画像を表示する。
【解決手段】視差がない左目用画像(a)(i)と右目用画像(a)(ii)とから生成される立体画像(a)(iii)と、視差が小さい左目用画像(b)(i)と右目用画像(b)(ii)とから生成される立体画像(b)(iii)と、視差が中程度の左目用画像(c)(i)と右目用画像(c)(ii)とから生成される立体画像(c)(iii)と、視差が大きい左目用画像(d)(i)と右目用画像(d)(ii)とから生成される立体画像(d)(iii)と、を用意し、視差の小さい順に各立体画像を表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は立体画像表示装置及び立体視訓練方法に係り、特に、ユーザの立体視能力を訓練することで容易に立体視できるように促す立体画像表示装置及び立体視訓練方法に関する。
【背景技術】
【0002】
複数の視点画像に基づいた立体画像を表示可能な表示装置が知られている。このような表示装置は、両眼視差のある画像をユーザの左右の目に分離して入力することによって、ユーザに立体視させている。しかしながら、立体視に不慣れなユーザや立体視を苦手とするユーザは、このような立体画像表示装置を見ても、どうやって見れば立体視できるかが分からず、立体画像を楽しむことができない。
【0003】
特許文献1には、1画面の中に単一の周囲画像と注視画像を配置し、注視画像を右目用と左目用に分割し、徐々に遠映に変えていき、観察者の両眼の焦点が無限遠点を立体視可能となった時点で、2画面のステレオグラム動画画面を配信する技術が記載されている。特許文献1の技術によれば、観察者が1画面のスクリーン画面を観察していると自然に2画面のステレオグラムを立体視している状態となり、2画面を注視しながら焦点を画面の奥行き方向へ移動させるための高度な訓練は不要となる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−107602号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、単一の注目被写体と単一の背景被写体から構成される画像であれば、その画像を立体視できるように導くことは可能であるが、複数視差のある画像に対する立体視能力を訓練することは難しいという問題点があった。
【0006】
本発明はこのような事情に鑑みてなされたもので、ユーザの立体視能力を訓練することで、容易に立体視できるように促す立体画像表示装置及び立体視訓練方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
前記目的を達成するために請求項1に記載の立体画像表示装置は、複数の視点画像に基づいた立体画像を表示手段に表示可能な立体画像表示装置において、利用者が立体視を訓練するための訓練モードに設定する設定手段と、前記訓練モードに設定されると同一被写体の視差の異なる複数の立体画像を順次前記表示手段に表示する制御手段であって、視差の小さい順に表示する制御手段とを備えたことを特徴とする。
【0008】
本発明によれば、利用者が立体視を訓練するための訓練モードに設定されると、同一被写体の視差の異なる複数の立体画像が、視差の小さい順に表示手段に表示されるので、ユーザの立体視能力を訓練することができる。
【0009】
請求項2に示すように請求項1に記載の立体画像表示装置において、前記制御手段は、前記複数の立体画像を視差の小さい順に前記表示手段に表示した後、視差の大きい順に前記表示手段に表示することを特徴とする。
【0010】
これにより、立体視の訓練時のストレスを低減することができる。
【0011】
請求項3に示すように請求項1または2に記載の立体画像表示装置において、前記訓練モードに設定されると、利用者の立体視能力を診断するために同一被写体の視差の異なる複数の立体画像を順次前記表示手段に表示する手段と、前記表示された立体画像を利用者が立体視することが可能か否かを入力する手段とを備え、前記制御手段は、前記利用者が立体視可能な視差に応じて訓練開始時の立体画像の視差を異ならせることを特徴とする。
【0012】
これにより、利用者の立体視能力に応じて訓練を行うことができる。
【0013】
請求項4に示すように請求項1から3のいずれかに記載の立体画像表示装置において、前記視差の異なる複数の立体画像は、視差が大きくなるほど主要被写体が大きくなる立体画像、または視差が大きくなるほど背景の被写体が小さくなる立体画像からなることを特徴とする。
【0014】
これにより、立体画像であることをわかりやすくすることができる。
【0015】
請求項5に示すように請求項1から4のいずれかに記載の立体画像表示装置において、被写体光を画像データに変換する撮像手段であって、複数の視点画像を撮影可能に配置された複数の撮像手段と、前記複数の撮像手段を用いて撮影された複数の画像から、同一被写体の視差の異なる複数の立体画像を生成する手段とを備えたことを特徴とする。
【0016】
これにより、利用者が自分で撮影した画像を用いて立体視の訓練を行うことができる。
【0017】
請求項6に示すように請求項1から5のいずれかに記載の立体画像表示装置において、立体視可能な角度で視認した場合と立体視が不可能な角度で視認した場合とで見え方が異なる立体視アシストマーカを前記表示手段に表示することを特徴とする。
【0018】
これにより、利用者が立体視可能な角度で表示手段を視認することができる。
【0019】
請求項7に示すように請求項6に記載の立体画像表示装置において、前記立体視アシストマーカが3つ以上表示されることを特徴とする。
【0020】
これにより、利用者が確実に立体視可能な角度で表示手段を視認することができる。
【0021】
請求項8に示すように請求項1から7のいずれかに記載の立体画像表示装置において、前記設定手段は、専用の操作部材で構成されていることを特徴とする。
【0022】
これにより、訓練モードへ移行しやすくすることができる。
【0023】
請求項9に示すように請求項1から8のいずれかに記載の立体画像表示装置において、前記訓練モードでの動作が終了すると、通常の立体画像表示モードへ移行することを特徴とする。
【0024】
これにより、訓練終了後に直ちに意図する立体画像を立体視することができる。
【0025】
前記目的を達成するために請求項10に記載の立体視訓練方法は、複数の視点画像に基づいた立体画像を表示手段に表示可能な立体画像表示装置を用いた立体視訓練方法において、利用者が立体視を訓練するための訓練モードに設定する工程と、前記訓練モードに設定されると同一被写体の視差の異なる複数の立体画像を順次前記表示手段に表示する制御工程であって、視差の小さい順に表示する制御工程とを備えたことを特徴とする。
【発明の効果】
【0026】
本発明によれば、利用者が立体視を訓練するための訓練モードに設定されると、同一被写体の視差の異なる複数の立体画像が、視差の小さい順に表示手段に表示されるので、ユーザの立体視能力を訓練することができる。
【図面の簡単な説明】
【0027】
【図1】図1は、本発明に係る立体画像表示装置1の正面図である。
【図2】図2は、立体画像表示装置1の電気的構成の一例を示す図である。
【図3】図3は、立体視訓練モードにおける動作を示すフローチャートである。
【図4】図4は、それぞれ視差の異なる訓練画像を示す図である。
【図5】図5は、本実施の形態の立体視訓練モードの動作を示すフローチャートである。
【図6】図6は、本実施の形態の立体画像表示装置1の電気的構成の一例を示す図である。
【図7】図7は、本実施の形態の立体視診断・訓練モードの動作を示すフローチャートである。
【図8】図8は、各診断画像を示す図である。
【図9】図9は、立体視マーカ111を示す図である。
【図10】図10は、訓練用の画像と立体視マーカ111とを立体画像表示デバイス14に表示した立体画像表示装置1の正面図である。
【図11】図11は、複眼撮像装置50の正面図である。
【図12】図12は、複眼撮像装置50の電気的構成の一例を示す図である。
【図13】図13は、複眼撮像装置50による立体視訓練用の画像の生成について示すフローチャートである。
【図14】図14は、撮影画像と撮影画像から生成したそれぞれ視差の異なる訓練画像である。
【発明を実施するための形態】
【0028】
以下に、本発明を実施するための最良の形態について説明する。
【0029】
<第1の実施の形態>
図1は、本発明に係る立体画像表示装置1の正面図である。同図に示すように、立体画像表示装置1は、その正面に立体画像表示デバイス14、操作部26が設けられている。
【0030】
操作部26は、図では詳細に表されていないが、記録/再生モード選択スイッチ26a、立体視訓練モードボタン26b、記録ボタン26c、電源ボタン26d、ズームボタン26e、メニューボタン26f、メニュー選択用十字キー26g等を備えており、ユーザは、それぞれの操作に応じて立体画像表示装置1を制御する。
【0031】
立体画像表示デバイス14は、立体画像データを立体表示することが可能なレンチキュラーレンズ方式の3Dモニタである。また立体画像表示デバイス14は、動作モード、ズーム等を設定する際の各種のメニュー画面を表示させ、操作部26の操作に応じて設定項目の設定が可能なGUI用の画面を表示する。
【0032】
図2は、立体画像表示装置1の電気的構成の一例を示す図である。同図に示すように、立体画像表示装置1は、前述の立体画像表示デバイス14、操作部26の他、画像信号処理部10、立体画像信号処理部11、圧縮処理部12、ビデオエンコーダ13、バス15、CPU16、音入力処理部17、ステレオマイクアンプ部18、マイク19、メモリ20、ROM21、メディア記録制御部22、記録メディア23等から構成される。
【0033】
各部はCPU16に制御されて動作し、CPU16は、操作部26からの入力に基づき所定の制御プログラムを実行することにより、立体画像表示装置1の各部を制御する。
【0034】
ROM21にはCPU16が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。CPU16は、ROM21に記録された制御プログラムをメモリ20に読み出し、逐次実行することにより、立体画像表示装置1の各部を制御する。
【0035】
ビデオエンコーダ13は、CPU16からの指令に従い、バス15を介して入力された画像データの立体画像表示デバイス14への表示を制御する。
【0036】
ステレオマイクアンプ部18は、マイク19から入力された音声信号を増幅し、音入力処理部17に入力する。音入力処理部17は、CPU16からの指令に従い、ステレオマイクアンプ部18から入力された音声入力を所定のフォーマットのデジタル信号に変換する。
【0037】
記録メディア23は、半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等の着脱可能な記録媒体である。メディア記録制御部22には、圧縮処理部12により圧縮処理が施された画像データや音入力処理部17においてデジタル信号に変換された音声データがバス15を介して入力され、メディア記録制御部22はこれらの信号を記録メディア23に記録する。
【0038】
音出力装置24は、バス15を介して入力された音声信号に基づいて、スピーカ25から音声を発生させる。
【0039】
電源部27は、図示しないAC電源から各種のDC電圧を生成して立体画像表示装置1の各部に電源を供給する。各種のDC電圧は、AC電源からではなく、立体画像表示装置1に内蔵された電池から生成してもよい。
【0040】
次に、立体画像表示装置1の立体視訓練モードについて説明する。図3は、立体視訓練モードにおける動作を示すフローチャートである。
【0041】
ユーザは、操作部26の立体視訓練モードボタン26bを操作することにより、立体画像表示装置1を立体視訓練モードに設定することができる(ステップS1)。なお、立体視訓練モードボタン26bは、立体画像表示デバイス14上にタッチパネルを設け、タッチパネル上での専用ボタンとしてもよい。このように、専用ボタンを設けることで、立体視に不慣れなユーザに立体視訓練モードへの移行操作をしやすくでき、例えば友人に立体視させるとき等、普段見慣れていない人に立体視させる場合に有効である。専用ボタンを設けることができない場合には、メニュー選択用十字キー26g等によるメニュー操作から立体視訓練モードを選択するように構成しても構わない。
【0042】
立体視訓練モードに設定されると、CPU16は、立体画像表示デバイス14に立体視訓練用の画像表示を開始する(ステップS2)。立体視訓練画像は、予めROM21に記憶されている。なお、立体視訓練画像は、記録メディア23に記録されていてもよい。
【0043】
立体視訓練画像は複数の画像から構成されており、CPU16は、まず1枚目の訓練画像を立体画像表示デバイス14に表示する(ステップS3)。ユーザは、この1枚目の訓練画像を視認する。
【0044】
1枚目の訓練画像を表示してから所定時間が経過した後に、1枚目の訓練画像の表示をやめ、2枚目の訓練画像を立体画像表示デバイス14に表示する(ステップS4)。ユーザは、同様にこの2枚目の訓練画像を視認する。所定時間経過後ではなく、ユーザによる操作部26の操作によって訓練画像を切替えてもよい。
【0045】
以下同様に、n枚目の訓練画像を表示し(ステップS5)、立体視訓練モードの終了が選択される(ステップS6)と、立体視訓練モードの処理を終了する。なお、立体視訓練モードを終了した後は、記録メディア23に記録されている通常の立体視すべき画像を、続けて立体画像表示デバイス14に表示することが好ましい。このように続けて表示することにより、立体視の訓練を終えたユーザは、意図する立体画像を直ちに立体視することが可能となる。
【0046】
以上のように、複数枚の訓練画像を続けて表示することで、立体視に不慣れなユーザや立体視の苦手なユーザに、立体視のやり方を体験してもらい、立体視に慣れてもらうことが可能となる。
【0047】
ここで、訓練画像の詳細について説明する。図4(a)は、1枚目の訓練画像(訓練画像A)、図4(b)は2枚目の訓練画像(訓練画像B)、図4(c)は3枚目の訓練画像(訓練画像C)、及び図4(d)は4枚目の訓練画像(訓練画像D)を示す図であり、それぞれ(i)が左目用画像、(ii)が右目用画像、(iii)が左右の合成画像(立体画像)を示している。立体画像信号処理部11は、(i)に示す左目画像と(ii)に示す右目画像とから、合成画像(iii)を生成し、この合成画像を立体画像表示デバイス14に表示させる。
【0048】
図4(a)(i)と図4(a)(ii)とは、同じ画像(視差のない画像)であり、したがって、図4(a)(iii)の合成画像は平面画像となる。
【0049】
図4(b)(i)に示す左目用画像は、図4(a)(i)に示す左目画像と比較して、被写体102と被写体103とが所定量だけ縮小されているとともに、画面左側へ所定量移動している。また、図4(b)(ii)に示す右目画像は、図4(a)(ii)に示す右目画像と比較して、被写体102と被写体103とが所定量だけ縮小されているとともに、画面右側へ所定量移動している。したがって、図4(b)(iii)の合成画像は、視差の小さい立体画像となり、さらに、被写体101に対して被写体102と被写体103とに奥行き感(被写体102と被写体103とが被写体101よりも奥方向に存在する)を持たせることにより、立体であることをわかりやすくした画像となる。
【0050】
また、図4(c)(i)に示す左目用画像は、図4(b)(i)に示す左目画像と比較して、被写体102と被写体103がさらに所定量だけ縮小されているとともに、画面左側へさらに所定量移動している。また、図4(c)(ii)に示す右目画像は、図4(b)(ii)に示す右目画像と比較して、被写体102と被写体103がさらに所定量だけ縮小されているとともに、画面右側へさらに所定量移動している。したがって、図4(c)(iii)の合成画像は、図4(b)(iii)の合成画像よりもさらに奥行き感を持たせた、視差が中程度の立体画像となる。
【0051】
同様に、図4(d)は、図4(c)に示す3枚目の訓練画像よりもさらに奥行き感のある左右画像を使用することで、視差の大きい立体画像となっている。このように、訓練画像A〜Dは、訓練画像A、B、C、Dの順に視差が大きくなっている。
【0052】
なお、訓練画像は、図4のように背景が奥まるように視差が異なる画像でなく、主要被写体が近づくように視差が異なる画像であってもよい。この場合は、視差が大きくなるほど主要被写体が拡大されることが好ましい。
【0053】
次に、これらの訓練画像を用いた立体視訓練モードについて説明する。図5は、本実施の形態の立体視訓練モードの動作を示すフローチャートである。なお、図3と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0054】
立体視訓練用の画像の表示を開始する(ステップS2)と、まず、図4(a)に示す訓練画像Aを立体画像表示デバイス14に表示する(ステップS11)。ユーザは、この訓練画像Aを視認する。
【0055】
訓練画像Aを表示してから所定時間が経過した後に、図4(b)に示す訓練画像Bを立体画像表示デバイス14に表示する(ステップS12)。ユーザは、この訓練画像Bを視認する。
【0056】
さらに、図4(c)に示す訓練画像C、図4(d)に示す訓練画像Dを順に表示する(ステップS13、S14)。このように、視差の無い画像から徐々に視差の強い画像を表示することで、大きなストレスを感じることなく、立体感を感じることができる。
【0057】
次に、訓練画像Dを表示してから所定時間が経過した後に、図4(c)に示す訓練画像C、図4(b)に示す訓練画像B、及び図4(a)に示す訓練画像Aを順に表示する(ステップS15〜S17)。このように、徐々に視差を弱めていくことで、視差訓練時のストレスを低減することができる。
【0058】
本実施の形態では、4枚の訓練画像を用いて視差訓練を行っているが、枚数はこれに限定されるものではない。また、全ての訓練画像をROM21等に記憶しておくのではなく、1枚の立体画像だけを記憶しておき、表示を行う際に該当する視差の立体画像を生成してもよい。
【0059】
また、次に表示させる立体画像について、現在表示している立体画像よりも視差の大きい画像を表示させるか、または視差の小さい画像を表示させるかをユーザが選択できるように構成してもよい。
【0060】
さらに、視差が微小に異なる立体画像を微少時間毎に切替えて表示してもよい。このように表示することで、ゆっくりと立体感が変化する動画のように見せることが可能となる。
【0061】
<第2の実施の形態>
次に、第2の実施の形態の立体画像表示装置1について説明する。本実施の形態の立体画像表示装置1は、ユーザの立体視能力を診断するモードを備えている。
【0062】
図6は、本実施の形態の立体画像表示装置1の電気的構成の一例を示す図である。なお、図2と共通する部分には同一の符号を付し、その詳細な説明は省略する。同図に示すように、第1の実施の形態とは、立体視訓練モードボタン26bの代わりに立体視診断・訓練モードボタン26hを備えたところが異なる。
【0063】
次に、本実施の形態における立体視診断・訓練モードについて説明する。図7は、本実施の形態の立体視診断・訓練モードの動作を示すフローチャートである。
【0064】
ユーザは、立体視診断・訓練モードボタン26hを操作することにより、立体画像表示装置1を立体視診断・訓練モードに設定することができる(ステップS21)。立体視診断・訓練モードに設定されると、CPU16は、ユーザの立体視能力の診断を開始する(ステップS22)。立体視能力の診断は、予めROM21に記憶されている診断画像を立体画像表示デバイス14に表示し、ユーザが立体視可能か否かを入力することにより行う。
【0065】
CPU16は、まず診断画像Aを立体画像表示デバイス14に表示する。図8(a)は、診断画像Aを示す図であり、(i)が左目用画像、(ii)が右目用画像、(iii)が左右の合成画像を示している。この合成画像は、図4(b)に示す、訓練画像Bと同様の画像である。ユーザは、この診断画像Aを視認し、立体視が可能であったか否かを操作部26により立体画像表示装置1に入力する(ステップS23)。
【0066】
診断画像Aが立体視できない場合は、訓練画像Aから訓練を開始する(ステップS24)。本実施の形態の訓練画像A〜Dは、図4に示す訓練画像A〜Dと同様の画像である。
【0067】
CPU16は、立体画像表示デバイス14に訓練画像Aを表示する。さらに、第1の実施の形態と同様に、所定時間が経過する毎に、視差の大きくなる順に、訓練画像B、C、Dを立体画像表示デバイス14に表示する。ユーザは、これらの訓練画像を視認して訓練を行う。
【0068】
また、最も視差の大きい訓練画像Dを表示してから所定時間が経過すると、今度は視差の小さくなる順に、訓練画像C、B、Aを立体画像表示デバイス14に表示する。ユーザは、これらの訓練画像を視認して訓練を行う(ステップS25)。
【0069】
最後に、視差のない訓練画像Aを表示し(ステップS26)、立体視診断・訓練モードの終了が選択される(ステップS32)と、処理を終了する。
【0070】
ステップS23において診断画像Aが立体視できる場合は、CPU16は、次に診断画像Bを立体画像表示デバイス14に表示する。図8(b)は、診断画像Bを示す図であり、(i)が左目用画像、(ii)が右目用画像、(iii)が左右の合成画像を示している。この合成画像は、図4(d)に示す、訓練画像Dと同様の画像である。ユーザは、この診断画像Bを視認し、立体視が可能であったか否かを操作部26により立体画像表示装置1に入力する(ステップS27)。
【0071】
診断画像Bが立体視できない場合は、訓練画像Bから訓練を開始する(ステップS28)。CPU16は、立体画像表示デバイス14に訓練画像Bを表示する。さらに、第1の実施の形態と同様に、所定時間が経過する毎に、視差の大きくなる順に、訓練画像C、Dを立体画像表示デバイス14に表示する。ユーザは、これらの訓練画像を視認して訓練を行う。
【0072】
また、最も視差の大きい訓練画像Dを表示してから所定時間が経過すると、今度は視差の小さくなる順に、訓練画像C、Bを立体画像表示デバイス14に表示する。ユーザは、これらの訓練画像を視認して訓練を行う(ステップS29)。
【0073】
最後に、訓練画像Bを表示し(ステップS30)、立体視診断・訓練モードの終了が選択される(ステップS32)と、処理を終了する。
【0074】
ステップS27において診断画像Bが立体視できる場合は、訓練不要と判断し(ステップS31)、立体視診断・訓練モードの終了が選択される(ステップS32)と、処理を終了する。
【0075】
以上のように、診断画像Aの立体視画できない場合は、視差のない画像から訓練を開始し、診断画像Aの立体視はできるが診断画像Bの立体視はできない場合は、視差の小さい訓練画像から訓練を開始する。このように、ユーザの立体視の能力を診断し、診断したレベルに合わせた視差の画像から訓練を開始することで、適切に訓練を行うことが可能となる。
【0076】
本実施の形態では、診断画像と訓練画像を同じ画像を使用しているが、異なる画像を用いてもよい。
【0077】
なお、ユーザは、自分が表示画像を立体視しうる範囲(立体画像表示デバイス14を視認する角度)にいるのか否かを判断することができない。即ち、訓練を開始し、立体視ができて初めて立体視しうる範囲にいることがわかる。このような状態では、立体視訓練の効率が下がってしまう。したがって、立体視訓練用の画像を立体画像表示デバイス14に表示する際に、訓練用の画像と共に立体視マーカを表示してもよい。
【0078】
図9は、立体視マーカ111を示す図であり、図9(a)は立体視可能な角度から視認した場合の立体視マーカ111の見え方を示しており、図9(b)は立体視不可能な角度から視認した場合の立体視マーカ111の見え方を示している。このような立体視マーカ111を訓練用の画像と共に表示することにより、ユーザは立体視可能な角度を認識することができ、訓練画像を立体視することをアシストすることができる。
【0079】
図10は、訓練用の画像と立体視マーカ111とを立体画像表示デバイス14に表示した立体画像表示装置1の正面図である。同図においては、立体視マーカ111が4箇所に表示されているが、表示する個数は適宜決定すればよい。ユーザは、表示された全ての立体視マーカ111が図9(a)のように見える角度を探し、その角度で訓練用の画像を視認することにより、訓練用の画像を立体視することが容易になり、立体視訓練の効率を上げることができる。
【0080】
<第3の実施の形態>
次に、本発明に係る複眼撮像装置50について説明する。複眼撮像装置50は、撮影した画像から立体視訓練用の画像を生成することが可能となっている。
【0081】
図11(a)は、複眼撮像装置50の前面の正面図であり、図11(b)は背面の正面図である。同図に示すように、複眼撮像装置50は、複数の撮像系を備えた複眼デジタルカメラであり、同一被写体を複数視点(図11では、左右2つの視点を例示)から見た立体画像を撮影することが可能に構成されている。
【0082】
図12は、複眼撮像装置50の電気的構成の一例を示す図である。なお、図2と共通する部分には同一の符号を付し、その詳細な説明は省略する。同図に示すように、複眼撮像装置50は、図2と共通の部分以外に、第1の撮像系51、第2の撮像系61、画像入力コントローラ70、クロックジェネレータ71、AF検出回路72等を備えている。
【0083】
第1撮像系51は、レンズ52、CCD53、CDS・AMP部54、AD変換器55、タイミングジェネレータ56、モータドライバ57を備えている。レンズ52は、図示しないズームレンズ、フォーカスレンズ、絞り、及びメカシャッタを含み、モータドライバ57に駆動されて、ズーミング、フォーカシング、絞りの開口量(F値)変更、及びメカシャッタの開閉を行う。
【0084】
CCD53は、レンズ52の後段に配置されており、レンズ52を透過した被写体光を受光する。
【0085】
CCD53の受光面には図示しない多数の受光素子が二次元的に配列されており、各受光素子に対応して図示しない赤(R)、緑(G)、青(B)の原色カラーフィルタが所定の配列構造で配置されている。受光面上に結像された被写体光は、各受光素子によって電気信号に変換され、蓄積される。
【0086】
各受光素子に蓄積された電気信号は、図示しない垂直転送路に読み出される。垂直転送路は、この信号をタイミングジェネレータ56から供給されるクロックに同期して、1ラインずつ図示しない水平転送路に転送する。さらに水平転送路は、垂直転送路から転送された1ライン分の信号を、タイミングジェネレータ56供給されるクロックに同期してCDS・AMP部54へ出力する。
【0087】
CDS・AMP部54は、画像信号に含まれているノイズや暗電流成分を除去した後、設定された撮影感度(ISO感度)に応じた所定のゲインで増幅する。所要の信号処理が施されたアナログの画像信号は、AD変換器55において所定ビットの階調幅を持ったデジタルの画像信号に変換される。この画像信号は、いわゆるRAWデータであり、画素毎にR、G、Bの濃度を示す階調値を有している。このデジタルの画像信号は、画像入力コントローラ70に入力される。
【0088】
画像入力コントローラ70は、所定容量のラインバッファを内蔵しており、AD変換器55から出力された1フレーム分の画像信号を蓄積する。この画像入力コントローラ70に蓄積された1フレーム分の画像信号は、バス15を介してメモリ20に格納される。
【0089】
第2の撮像系61についても、第1の撮像系51と同様の構成となっている。即ち、レンズ62を透過した被写体光は、CCD63の各受光素子によって電気信号に変換され、CDS・AMP部54へ出力される。CDS・AMP部54において所定の信号処理が施されたアナログ信号は、AD変換器55においてデジタルの画像信号に変換された後、画像入力コントローラ70に入力される。
【0090】
クロックジェネレータ71は、図示しない水晶発振回路で発生した各種の周波数のクロックを、各ブロックへ供給する。
【0091】
AF検出回路72は、第1の撮像系AF制御回路73と第2の撮像系AF制御回路74から構成されている。第1の撮像系AF制御回路73は、CPU16の指令に従い、画像入力コントローラ70を介してメモリ20に格納された第1の撮像系51のR、G、Bの画像信号を取り込み、AF(Automatic Focus)制御に必要な焦点評価値を算出する。同様に、第2の撮像系AF制御回路74は、第2の撮像系61のR、G、Bの画像信号を取り込み、AF(Automatic Focus)制御に必要な焦点評価値を算出する。
【0092】
このAF検出回路72は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカス領域内の信号を切り出すフォーカス領域抽出部、及び、フォーカス領域内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカス領域内の絶対値データを焦点評価値としてCPU16に出力する。CPU16は、AF制御時、このAF検出回路72から出力される焦点評価値が極大となる位置をサーチし、その位置にレンズ52、及びレンズ62の図示しないフォーカスレンズを移動させることにより、主要被写体への焦点合わせを行う。
【0093】
また、複眼撮像装置50は、立体画像信号処理部11に、視差調整信号処理部11aを備えている。視差調整信号処理部11aの動作については後述する。
【0094】
次に、複眼撮像装置50による立体視訓練用の画像の生成について、図13を用いて説明する。
【0095】
ユーザは、操作部26の図示しない立体視訓練画像取得モードボタンを操作することにより、複眼撮像装置50を立体視訓練画像取得モードに設定することができる(ステップS41)。立体視訓練画像取得モードに設定されると、CPU16は、第1の撮像系51及び第2の撮像系61による画像信号の取得を開始し、立体画像表示デバイス14にライブビュー表示を行う(ステップS42)。ここで、ユーザは立体視に不慣れである可能性があるため、ライブビュー画像は平面画像とする。なお、操作部26を操作することにより、ライブビューを立体画像に変更可能に構成してもよい。
【0096】
記録ボタン(シャッタレリーズボタン)26cが操作されると(ステップS43)、通常の立体画像撮影を行う。即ち、第1の撮像系51及び第2の撮像系61についてAE、AFを行い(ステップS44)、本撮影を行う。また、本撮影によって取得した画像信号にAWB等の所定の処理を施し、第1の撮像系51で撮影した画像と第2の撮像系61において撮影した画像との左右の2枚の画像を取得する(ステップS45)。さらに、立体画像信号処理部11は、この左右の2枚の画像から、立体画像を生成する(ステップS45)。
【0097】
図14(d)は、撮影画像を示す図であり、(i)は第1の撮像系51において撮影した画像(左目用画像)、(ii)は第2の撮像系61において撮影した画像(右目用画像)、(iii)はこれらの画像の合成画像(立体画像)を示している。この例では、主要被写体104の他、背景被写体105及び106が撮影されている。
【0098】
次に、視差調整信号処理部11aは、この2枚の撮影画像から対応点抽出を行い(ステップS46)、抽出した対応点を用いて、2枚の画像から全く視差のない画像を生成する(ステップS47)。
【0099】
図14(a)は、ステップS47において生成された視差のない画像を示す図であり、(i)は左目用画像、(ii)は右目用画像、(iii)はこれらの画像の合成画像を示している。本実施の形態では、視差を無くすと共に、背景被写体105及び106の大きさを主要被写体104と同様に変更することにより、奥行き感を無くしている。
【0100】
さらに、視差調整信号処理部11aは、抽出した対応点を用いて、図14(a)に示す視差のない画像と図14(d)に示す撮影画像の中間の視差を持つ中間視差画像を生成する(ステップS48)。図14(c)は、ステップS48において生成された中間視差画像を示す図であり、(i)は左目用画像、(ii)は右目用画像、(iii)はこれらの画像の合成画像を示している。背景被写体105及び106は、中間の視差を持つとともに、大きさについても中間となるように生成されている。
【0101】
このように、訓練画像として必要な枚数だけ、視差の異なる中間視差画像の生成を行う(ステップS49)。図14(b)は、さらに生成された中間視差画像を示す図である。なお、中間視差画像は、撮影画像の視差より大きな視差となるように生成してもよい。また、この必要な枚数は、予め定められていてもよいし、ユーザが自由に設定できるように構成してもよい。
【0102】
必要な枚数の中間視差画像の生成が終了すると、撮影した画像、生成した視差のない画像、及び中間視差画像をROM21に記録し(ステップS50)、処理を終了する。これらの画像は、記録メディア23に記録してもよい。
【0103】
このように生成した訓練画像を用いて、第1の実施の形態や第2の実施の形態の立体画像表示装置1の立体視訓練モードと同様に表示を行う。図14に示した画像の例では、図14(a)、(b)、(c)、(d)の順に視差が大きくなるので、それぞれ訓練画像A、訓練画像B、訓練画像C、訓練画像Dとして表示すればよい。
【0104】
このように、ユーザが実際に目で見て撮影した画像を訓練画像に用いることで、立体視を導入しやすくすることが可能となる。
【符号の説明】
【0105】
1…立体画像表示装置、10…画像信号処理部、11…立体画像信号処理部、14…立体画像表示デバイス、16…CPU、21…ROM、23…記録メディア、26b…立体視訓練モードボタン、26h…立体視診断・訓練モードボタン、101、102、103、104、105、106…被写体、111…立体視マーカ
【技術分野】
【0001】
本発明は立体画像表示装置及び立体視訓練方法に係り、特に、ユーザの立体視能力を訓練することで容易に立体視できるように促す立体画像表示装置及び立体視訓練方法に関する。
【背景技術】
【0002】
複数の視点画像に基づいた立体画像を表示可能な表示装置が知られている。このような表示装置は、両眼視差のある画像をユーザの左右の目に分離して入力することによって、ユーザに立体視させている。しかしながら、立体視に不慣れなユーザや立体視を苦手とするユーザは、このような立体画像表示装置を見ても、どうやって見れば立体視できるかが分からず、立体画像を楽しむことができない。
【0003】
特許文献1には、1画面の中に単一の周囲画像と注視画像を配置し、注視画像を右目用と左目用に分割し、徐々に遠映に変えていき、観察者の両眼の焦点が無限遠点を立体視可能となった時点で、2画面のステレオグラム動画画面を配信する技術が記載されている。特許文献1の技術によれば、観察者が1画面のスクリーン画面を観察していると自然に2画面のステレオグラムを立体視している状態となり、2画面を注視しながら焦点を画面の奥行き方向へ移動させるための高度な訓練は不要となる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−107602号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、単一の注目被写体と単一の背景被写体から構成される画像であれば、その画像を立体視できるように導くことは可能であるが、複数視差のある画像に対する立体視能力を訓練することは難しいという問題点があった。
【0006】
本発明はこのような事情に鑑みてなされたもので、ユーザの立体視能力を訓練することで、容易に立体視できるように促す立体画像表示装置及び立体視訓練方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
前記目的を達成するために請求項1に記載の立体画像表示装置は、複数の視点画像に基づいた立体画像を表示手段に表示可能な立体画像表示装置において、利用者が立体視を訓練するための訓練モードに設定する設定手段と、前記訓練モードに設定されると同一被写体の視差の異なる複数の立体画像を順次前記表示手段に表示する制御手段であって、視差の小さい順に表示する制御手段とを備えたことを特徴とする。
【0008】
本発明によれば、利用者が立体視を訓練するための訓練モードに設定されると、同一被写体の視差の異なる複数の立体画像が、視差の小さい順に表示手段に表示されるので、ユーザの立体視能力を訓練することができる。
【0009】
請求項2に示すように請求項1に記載の立体画像表示装置において、前記制御手段は、前記複数の立体画像を視差の小さい順に前記表示手段に表示した後、視差の大きい順に前記表示手段に表示することを特徴とする。
【0010】
これにより、立体視の訓練時のストレスを低減することができる。
【0011】
請求項3に示すように請求項1または2に記載の立体画像表示装置において、前記訓練モードに設定されると、利用者の立体視能力を診断するために同一被写体の視差の異なる複数の立体画像を順次前記表示手段に表示する手段と、前記表示された立体画像を利用者が立体視することが可能か否かを入力する手段とを備え、前記制御手段は、前記利用者が立体視可能な視差に応じて訓練開始時の立体画像の視差を異ならせることを特徴とする。
【0012】
これにより、利用者の立体視能力に応じて訓練を行うことができる。
【0013】
請求項4に示すように請求項1から3のいずれかに記載の立体画像表示装置において、前記視差の異なる複数の立体画像は、視差が大きくなるほど主要被写体が大きくなる立体画像、または視差が大きくなるほど背景の被写体が小さくなる立体画像からなることを特徴とする。
【0014】
これにより、立体画像であることをわかりやすくすることができる。
【0015】
請求項5に示すように請求項1から4のいずれかに記載の立体画像表示装置において、被写体光を画像データに変換する撮像手段であって、複数の視点画像を撮影可能に配置された複数の撮像手段と、前記複数の撮像手段を用いて撮影された複数の画像から、同一被写体の視差の異なる複数の立体画像を生成する手段とを備えたことを特徴とする。
【0016】
これにより、利用者が自分で撮影した画像を用いて立体視の訓練を行うことができる。
【0017】
請求項6に示すように請求項1から5のいずれかに記載の立体画像表示装置において、立体視可能な角度で視認した場合と立体視が不可能な角度で視認した場合とで見え方が異なる立体視アシストマーカを前記表示手段に表示することを特徴とする。
【0018】
これにより、利用者が立体視可能な角度で表示手段を視認することができる。
【0019】
請求項7に示すように請求項6に記載の立体画像表示装置において、前記立体視アシストマーカが3つ以上表示されることを特徴とする。
【0020】
これにより、利用者が確実に立体視可能な角度で表示手段を視認することができる。
【0021】
請求項8に示すように請求項1から7のいずれかに記載の立体画像表示装置において、前記設定手段は、専用の操作部材で構成されていることを特徴とする。
【0022】
これにより、訓練モードへ移行しやすくすることができる。
【0023】
請求項9に示すように請求項1から8のいずれかに記載の立体画像表示装置において、前記訓練モードでの動作が終了すると、通常の立体画像表示モードへ移行することを特徴とする。
【0024】
これにより、訓練終了後に直ちに意図する立体画像を立体視することができる。
【0025】
前記目的を達成するために請求項10に記載の立体視訓練方法は、複数の視点画像に基づいた立体画像を表示手段に表示可能な立体画像表示装置を用いた立体視訓練方法において、利用者が立体視を訓練するための訓練モードに設定する工程と、前記訓練モードに設定されると同一被写体の視差の異なる複数の立体画像を順次前記表示手段に表示する制御工程であって、視差の小さい順に表示する制御工程とを備えたことを特徴とする。
【発明の効果】
【0026】
本発明によれば、利用者が立体視を訓練するための訓練モードに設定されると、同一被写体の視差の異なる複数の立体画像が、視差の小さい順に表示手段に表示されるので、ユーザの立体視能力を訓練することができる。
【図面の簡単な説明】
【0027】
【図1】図1は、本発明に係る立体画像表示装置1の正面図である。
【図2】図2は、立体画像表示装置1の電気的構成の一例を示す図である。
【図3】図3は、立体視訓練モードにおける動作を示すフローチャートである。
【図4】図4は、それぞれ視差の異なる訓練画像を示す図である。
【図5】図5は、本実施の形態の立体視訓練モードの動作を示すフローチャートである。
【図6】図6は、本実施の形態の立体画像表示装置1の電気的構成の一例を示す図である。
【図7】図7は、本実施の形態の立体視診断・訓練モードの動作を示すフローチャートである。
【図8】図8は、各診断画像を示す図である。
【図9】図9は、立体視マーカ111を示す図である。
【図10】図10は、訓練用の画像と立体視マーカ111とを立体画像表示デバイス14に表示した立体画像表示装置1の正面図である。
【図11】図11は、複眼撮像装置50の正面図である。
【図12】図12は、複眼撮像装置50の電気的構成の一例を示す図である。
【図13】図13は、複眼撮像装置50による立体視訓練用の画像の生成について示すフローチャートである。
【図14】図14は、撮影画像と撮影画像から生成したそれぞれ視差の異なる訓練画像である。
【発明を実施するための形態】
【0028】
以下に、本発明を実施するための最良の形態について説明する。
【0029】
<第1の実施の形態>
図1は、本発明に係る立体画像表示装置1の正面図である。同図に示すように、立体画像表示装置1は、その正面に立体画像表示デバイス14、操作部26が設けられている。
【0030】
操作部26は、図では詳細に表されていないが、記録/再生モード選択スイッチ26a、立体視訓練モードボタン26b、記録ボタン26c、電源ボタン26d、ズームボタン26e、メニューボタン26f、メニュー選択用十字キー26g等を備えており、ユーザは、それぞれの操作に応じて立体画像表示装置1を制御する。
【0031】
立体画像表示デバイス14は、立体画像データを立体表示することが可能なレンチキュラーレンズ方式の3Dモニタである。また立体画像表示デバイス14は、動作モード、ズーム等を設定する際の各種のメニュー画面を表示させ、操作部26の操作に応じて設定項目の設定が可能なGUI用の画面を表示する。
【0032】
図2は、立体画像表示装置1の電気的構成の一例を示す図である。同図に示すように、立体画像表示装置1は、前述の立体画像表示デバイス14、操作部26の他、画像信号処理部10、立体画像信号処理部11、圧縮処理部12、ビデオエンコーダ13、バス15、CPU16、音入力処理部17、ステレオマイクアンプ部18、マイク19、メモリ20、ROM21、メディア記録制御部22、記録メディア23等から構成される。
【0033】
各部はCPU16に制御されて動作し、CPU16は、操作部26からの入力に基づき所定の制御プログラムを実行することにより、立体画像表示装置1の各部を制御する。
【0034】
ROM21にはCPU16が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。CPU16は、ROM21に記録された制御プログラムをメモリ20に読み出し、逐次実行することにより、立体画像表示装置1の各部を制御する。
【0035】
ビデオエンコーダ13は、CPU16からの指令に従い、バス15を介して入力された画像データの立体画像表示デバイス14への表示を制御する。
【0036】
ステレオマイクアンプ部18は、マイク19から入力された音声信号を増幅し、音入力処理部17に入力する。音入力処理部17は、CPU16からの指令に従い、ステレオマイクアンプ部18から入力された音声入力を所定のフォーマットのデジタル信号に変換する。
【0037】
記録メディア23は、半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等の着脱可能な記録媒体である。メディア記録制御部22には、圧縮処理部12により圧縮処理が施された画像データや音入力処理部17においてデジタル信号に変換された音声データがバス15を介して入力され、メディア記録制御部22はこれらの信号を記録メディア23に記録する。
【0038】
音出力装置24は、バス15を介して入力された音声信号に基づいて、スピーカ25から音声を発生させる。
【0039】
電源部27は、図示しないAC電源から各種のDC電圧を生成して立体画像表示装置1の各部に電源を供給する。各種のDC電圧は、AC電源からではなく、立体画像表示装置1に内蔵された電池から生成してもよい。
【0040】
次に、立体画像表示装置1の立体視訓練モードについて説明する。図3は、立体視訓練モードにおける動作を示すフローチャートである。
【0041】
ユーザは、操作部26の立体視訓練モードボタン26bを操作することにより、立体画像表示装置1を立体視訓練モードに設定することができる(ステップS1)。なお、立体視訓練モードボタン26bは、立体画像表示デバイス14上にタッチパネルを設け、タッチパネル上での専用ボタンとしてもよい。このように、専用ボタンを設けることで、立体視に不慣れなユーザに立体視訓練モードへの移行操作をしやすくでき、例えば友人に立体視させるとき等、普段見慣れていない人に立体視させる場合に有効である。専用ボタンを設けることができない場合には、メニュー選択用十字キー26g等によるメニュー操作から立体視訓練モードを選択するように構成しても構わない。
【0042】
立体視訓練モードに設定されると、CPU16は、立体画像表示デバイス14に立体視訓練用の画像表示を開始する(ステップS2)。立体視訓練画像は、予めROM21に記憶されている。なお、立体視訓練画像は、記録メディア23に記録されていてもよい。
【0043】
立体視訓練画像は複数の画像から構成されており、CPU16は、まず1枚目の訓練画像を立体画像表示デバイス14に表示する(ステップS3)。ユーザは、この1枚目の訓練画像を視認する。
【0044】
1枚目の訓練画像を表示してから所定時間が経過した後に、1枚目の訓練画像の表示をやめ、2枚目の訓練画像を立体画像表示デバイス14に表示する(ステップS4)。ユーザは、同様にこの2枚目の訓練画像を視認する。所定時間経過後ではなく、ユーザによる操作部26の操作によって訓練画像を切替えてもよい。
【0045】
以下同様に、n枚目の訓練画像を表示し(ステップS5)、立体視訓練モードの終了が選択される(ステップS6)と、立体視訓練モードの処理を終了する。なお、立体視訓練モードを終了した後は、記録メディア23に記録されている通常の立体視すべき画像を、続けて立体画像表示デバイス14に表示することが好ましい。このように続けて表示することにより、立体視の訓練を終えたユーザは、意図する立体画像を直ちに立体視することが可能となる。
【0046】
以上のように、複数枚の訓練画像を続けて表示することで、立体視に不慣れなユーザや立体視の苦手なユーザに、立体視のやり方を体験してもらい、立体視に慣れてもらうことが可能となる。
【0047】
ここで、訓練画像の詳細について説明する。図4(a)は、1枚目の訓練画像(訓練画像A)、図4(b)は2枚目の訓練画像(訓練画像B)、図4(c)は3枚目の訓練画像(訓練画像C)、及び図4(d)は4枚目の訓練画像(訓練画像D)を示す図であり、それぞれ(i)が左目用画像、(ii)が右目用画像、(iii)が左右の合成画像(立体画像)を示している。立体画像信号処理部11は、(i)に示す左目画像と(ii)に示す右目画像とから、合成画像(iii)を生成し、この合成画像を立体画像表示デバイス14に表示させる。
【0048】
図4(a)(i)と図4(a)(ii)とは、同じ画像(視差のない画像)であり、したがって、図4(a)(iii)の合成画像は平面画像となる。
【0049】
図4(b)(i)に示す左目用画像は、図4(a)(i)に示す左目画像と比較して、被写体102と被写体103とが所定量だけ縮小されているとともに、画面左側へ所定量移動している。また、図4(b)(ii)に示す右目画像は、図4(a)(ii)に示す右目画像と比較して、被写体102と被写体103とが所定量だけ縮小されているとともに、画面右側へ所定量移動している。したがって、図4(b)(iii)の合成画像は、視差の小さい立体画像となり、さらに、被写体101に対して被写体102と被写体103とに奥行き感(被写体102と被写体103とが被写体101よりも奥方向に存在する)を持たせることにより、立体であることをわかりやすくした画像となる。
【0050】
また、図4(c)(i)に示す左目用画像は、図4(b)(i)に示す左目画像と比較して、被写体102と被写体103がさらに所定量だけ縮小されているとともに、画面左側へさらに所定量移動している。また、図4(c)(ii)に示す右目画像は、図4(b)(ii)に示す右目画像と比較して、被写体102と被写体103がさらに所定量だけ縮小されているとともに、画面右側へさらに所定量移動している。したがって、図4(c)(iii)の合成画像は、図4(b)(iii)の合成画像よりもさらに奥行き感を持たせた、視差が中程度の立体画像となる。
【0051】
同様に、図4(d)は、図4(c)に示す3枚目の訓練画像よりもさらに奥行き感のある左右画像を使用することで、視差の大きい立体画像となっている。このように、訓練画像A〜Dは、訓練画像A、B、C、Dの順に視差が大きくなっている。
【0052】
なお、訓練画像は、図4のように背景が奥まるように視差が異なる画像でなく、主要被写体が近づくように視差が異なる画像であってもよい。この場合は、視差が大きくなるほど主要被写体が拡大されることが好ましい。
【0053】
次に、これらの訓練画像を用いた立体視訓練モードについて説明する。図5は、本実施の形態の立体視訓練モードの動作を示すフローチャートである。なお、図3と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0054】
立体視訓練用の画像の表示を開始する(ステップS2)と、まず、図4(a)に示す訓練画像Aを立体画像表示デバイス14に表示する(ステップS11)。ユーザは、この訓練画像Aを視認する。
【0055】
訓練画像Aを表示してから所定時間が経過した後に、図4(b)に示す訓練画像Bを立体画像表示デバイス14に表示する(ステップS12)。ユーザは、この訓練画像Bを視認する。
【0056】
さらに、図4(c)に示す訓練画像C、図4(d)に示す訓練画像Dを順に表示する(ステップS13、S14)。このように、視差の無い画像から徐々に視差の強い画像を表示することで、大きなストレスを感じることなく、立体感を感じることができる。
【0057】
次に、訓練画像Dを表示してから所定時間が経過した後に、図4(c)に示す訓練画像C、図4(b)に示す訓練画像B、及び図4(a)に示す訓練画像Aを順に表示する(ステップS15〜S17)。このように、徐々に視差を弱めていくことで、視差訓練時のストレスを低減することができる。
【0058】
本実施の形態では、4枚の訓練画像を用いて視差訓練を行っているが、枚数はこれに限定されるものではない。また、全ての訓練画像をROM21等に記憶しておくのではなく、1枚の立体画像だけを記憶しておき、表示を行う際に該当する視差の立体画像を生成してもよい。
【0059】
また、次に表示させる立体画像について、現在表示している立体画像よりも視差の大きい画像を表示させるか、または視差の小さい画像を表示させるかをユーザが選択できるように構成してもよい。
【0060】
さらに、視差が微小に異なる立体画像を微少時間毎に切替えて表示してもよい。このように表示することで、ゆっくりと立体感が変化する動画のように見せることが可能となる。
【0061】
<第2の実施の形態>
次に、第2の実施の形態の立体画像表示装置1について説明する。本実施の形態の立体画像表示装置1は、ユーザの立体視能力を診断するモードを備えている。
【0062】
図6は、本実施の形態の立体画像表示装置1の電気的構成の一例を示す図である。なお、図2と共通する部分には同一の符号を付し、その詳細な説明は省略する。同図に示すように、第1の実施の形態とは、立体視訓練モードボタン26bの代わりに立体視診断・訓練モードボタン26hを備えたところが異なる。
【0063】
次に、本実施の形態における立体視診断・訓練モードについて説明する。図7は、本実施の形態の立体視診断・訓練モードの動作を示すフローチャートである。
【0064】
ユーザは、立体視診断・訓練モードボタン26hを操作することにより、立体画像表示装置1を立体視診断・訓練モードに設定することができる(ステップS21)。立体視診断・訓練モードに設定されると、CPU16は、ユーザの立体視能力の診断を開始する(ステップS22)。立体視能力の診断は、予めROM21に記憶されている診断画像を立体画像表示デバイス14に表示し、ユーザが立体視可能か否かを入力することにより行う。
【0065】
CPU16は、まず診断画像Aを立体画像表示デバイス14に表示する。図8(a)は、診断画像Aを示す図であり、(i)が左目用画像、(ii)が右目用画像、(iii)が左右の合成画像を示している。この合成画像は、図4(b)に示す、訓練画像Bと同様の画像である。ユーザは、この診断画像Aを視認し、立体視が可能であったか否かを操作部26により立体画像表示装置1に入力する(ステップS23)。
【0066】
診断画像Aが立体視できない場合は、訓練画像Aから訓練を開始する(ステップS24)。本実施の形態の訓練画像A〜Dは、図4に示す訓練画像A〜Dと同様の画像である。
【0067】
CPU16は、立体画像表示デバイス14に訓練画像Aを表示する。さらに、第1の実施の形態と同様に、所定時間が経過する毎に、視差の大きくなる順に、訓練画像B、C、Dを立体画像表示デバイス14に表示する。ユーザは、これらの訓練画像を視認して訓練を行う。
【0068】
また、最も視差の大きい訓練画像Dを表示してから所定時間が経過すると、今度は視差の小さくなる順に、訓練画像C、B、Aを立体画像表示デバイス14に表示する。ユーザは、これらの訓練画像を視認して訓練を行う(ステップS25)。
【0069】
最後に、視差のない訓練画像Aを表示し(ステップS26)、立体視診断・訓練モードの終了が選択される(ステップS32)と、処理を終了する。
【0070】
ステップS23において診断画像Aが立体視できる場合は、CPU16は、次に診断画像Bを立体画像表示デバイス14に表示する。図8(b)は、診断画像Bを示す図であり、(i)が左目用画像、(ii)が右目用画像、(iii)が左右の合成画像を示している。この合成画像は、図4(d)に示す、訓練画像Dと同様の画像である。ユーザは、この診断画像Bを視認し、立体視が可能であったか否かを操作部26により立体画像表示装置1に入力する(ステップS27)。
【0071】
診断画像Bが立体視できない場合は、訓練画像Bから訓練を開始する(ステップS28)。CPU16は、立体画像表示デバイス14に訓練画像Bを表示する。さらに、第1の実施の形態と同様に、所定時間が経過する毎に、視差の大きくなる順に、訓練画像C、Dを立体画像表示デバイス14に表示する。ユーザは、これらの訓練画像を視認して訓練を行う。
【0072】
また、最も視差の大きい訓練画像Dを表示してから所定時間が経過すると、今度は視差の小さくなる順に、訓練画像C、Bを立体画像表示デバイス14に表示する。ユーザは、これらの訓練画像を視認して訓練を行う(ステップS29)。
【0073】
最後に、訓練画像Bを表示し(ステップS30)、立体視診断・訓練モードの終了が選択される(ステップS32)と、処理を終了する。
【0074】
ステップS27において診断画像Bが立体視できる場合は、訓練不要と判断し(ステップS31)、立体視診断・訓練モードの終了が選択される(ステップS32)と、処理を終了する。
【0075】
以上のように、診断画像Aの立体視画できない場合は、視差のない画像から訓練を開始し、診断画像Aの立体視はできるが診断画像Bの立体視はできない場合は、視差の小さい訓練画像から訓練を開始する。このように、ユーザの立体視の能力を診断し、診断したレベルに合わせた視差の画像から訓練を開始することで、適切に訓練を行うことが可能となる。
【0076】
本実施の形態では、診断画像と訓練画像を同じ画像を使用しているが、異なる画像を用いてもよい。
【0077】
なお、ユーザは、自分が表示画像を立体視しうる範囲(立体画像表示デバイス14を視認する角度)にいるのか否かを判断することができない。即ち、訓練を開始し、立体視ができて初めて立体視しうる範囲にいることがわかる。このような状態では、立体視訓練の効率が下がってしまう。したがって、立体視訓練用の画像を立体画像表示デバイス14に表示する際に、訓練用の画像と共に立体視マーカを表示してもよい。
【0078】
図9は、立体視マーカ111を示す図であり、図9(a)は立体視可能な角度から視認した場合の立体視マーカ111の見え方を示しており、図9(b)は立体視不可能な角度から視認した場合の立体視マーカ111の見え方を示している。このような立体視マーカ111を訓練用の画像と共に表示することにより、ユーザは立体視可能な角度を認識することができ、訓練画像を立体視することをアシストすることができる。
【0079】
図10は、訓練用の画像と立体視マーカ111とを立体画像表示デバイス14に表示した立体画像表示装置1の正面図である。同図においては、立体視マーカ111が4箇所に表示されているが、表示する個数は適宜決定すればよい。ユーザは、表示された全ての立体視マーカ111が図9(a)のように見える角度を探し、その角度で訓練用の画像を視認することにより、訓練用の画像を立体視することが容易になり、立体視訓練の効率を上げることができる。
【0080】
<第3の実施の形態>
次に、本発明に係る複眼撮像装置50について説明する。複眼撮像装置50は、撮影した画像から立体視訓練用の画像を生成することが可能となっている。
【0081】
図11(a)は、複眼撮像装置50の前面の正面図であり、図11(b)は背面の正面図である。同図に示すように、複眼撮像装置50は、複数の撮像系を備えた複眼デジタルカメラであり、同一被写体を複数視点(図11では、左右2つの視点を例示)から見た立体画像を撮影することが可能に構成されている。
【0082】
図12は、複眼撮像装置50の電気的構成の一例を示す図である。なお、図2と共通する部分には同一の符号を付し、その詳細な説明は省略する。同図に示すように、複眼撮像装置50は、図2と共通の部分以外に、第1の撮像系51、第2の撮像系61、画像入力コントローラ70、クロックジェネレータ71、AF検出回路72等を備えている。
【0083】
第1撮像系51は、レンズ52、CCD53、CDS・AMP部54、AD変換器55、タイミングジェネレータ56、モータドライバ57を備えている。レンズ52は、図示しないズームレンズ、フォーカスレンズ、絞り、及びメカシャッタを含み、モータドライバ57に駆動されて、ズーミング、フォーカシング、絞りの開口量(F値)変更、及びメカシャッタの開閉を行う。
【0084】
CCD53は、レンズ52の後段に配置されており、レンズ52を透過した被写体光を受光する。
【0085】
CCD53の受光面には図示しない多数の受光素子が二次元的に配列されており、各受光素子に対応して図示しない赤(R)、緑(G)、青(B)の原色カラーフィルタが所定の配列構造で配置されている。受光面上に結像された被写体光は、各受光素子によって電気信号に変換され、蓄積される。
【0086】
各受光素子に蓄積された電気信号は、図示しない垂直転送路に読み出される。垂直転送路は、この信号をタイミングジェネレータ56から供給されるクロックに同期して、1ラインずつ図示しない水平転送路に転送する。さらに水平転送路は、垂直転送路から転送された1ライン分の信号を、タイミングジェネレータ56供給されるクロックに同期してCDS・AMP部54へ出力する。
【0087】
CDS・AMP部54は、画像信号に含まれているノイズや暗電流成分を除去した後、設定された撮影感度(ISO感度)に応じた所定のゲインで増幅する。所要の信号処理が施されたアナログの画像信号は、AD変換器55において所定ビットの階調幅を持ったデジタルの画像信号に変換される。この画像信号は、いわゆるRAWデータであり、画素毎にR、G、Bの濃度を示す階調値を有している。このデジタルの画像信号は、画像入力コントローラ70に入力される。
【0088】
画像入力コントローラ70は、所定容量のラインバッファを内蔵しており、AD変換器55から出力された1フレーム分の画像信号を蓄積する。この画像入力コントローラ70に蓄積された1フレーム分の画像信号は、バス15を介してメモリ20に格納される。
【0089】
第2の撮像系61についても、第1の撮像系51と同様の構成となっている。即ち、レンズ62を透過した被写体光は、CCD63の各受光素子によって電気信号に変換され、CDS・AMP部54へ出力される。CDS・AMP部54において所定の信号処理が施されたアナログ信号は、AD変換器55においてデジタルの画像信号に変換された後、画像入力コントローラ70に入力される。
【0090】
クロックジェネレータ71は、図示しない水晶発振回路で発生した各種の周波数のクロックを、各ブロックへ供給する。
【0091】
AF検出回路72は、第1の撮像系AF制御回路73と第2の撮像系AF制御回路74から構成されている。第1の撮像系AF制御回路73は、CPU16の指令に従い、画像入力コントローラ70を介してメモリ20に格納された第1の撮像系51のR、G、Bの画像信号を取り込み、AF(Automatic Focus)制御に必要な焦点評価値を算出する。同様に、第2の撮像系AF制御回路74は、第2の撮像系61のR、G、Bの画像信号を取り込み、AF(Automatic Focus)制御に必要な焦点評価値を算出する。
【0092】
このAF検出回路72は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカス領域内の信号を切り出すフォーカス領域抽出部、及び、フォーカス領域内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカス領域内の絶対値データを焦点評価値としてCPU16に出力する。CPU16は、AF制御時、このAF検出回路72から出力される焦点評価値が極大となる位置をサーチし、その位置にレンズ52、及びレンズ62の図示しないフォーカスレンズを移動させることにより、主要被写体への焦点合わせを行う。
【0093】
また、複眼撮像装置50は、立体画像信号処理部11に、視差調整信号処理部11aを備えている。視差調整信号処理部11aの動作については後述する。
【0094】
次に、複眼撮像装置50による立体視訓練用の画像の生成について、図13を用いて説明する。
【0095】
ユーザは、操作部26の図示しない立体視訓練画像取得モードボタンを操作することにより、複眼撮像装置50を立体視訓練画像取得モードに設定することができる(ステップS41)。立体視訓練画像取得モードに設定されると、CPU16は、第1の撮像系51及び第2の撮像系61による画像信号の取得を開始し、立体画像表示デバイス14にライブビュー表示を行う(ステップS42)。ここで、ユーザは立体視に不慣れである可能性があるため、ライブビュー画像は平面画像とする。なお、操作部26を操作することにより、ライブビューを立体画像に変更可能に構成してもよい。
【0096】
記録ボタン(シャッタレリーズボタン)26cが操作されると(ステップS43)、通常の立体画像撮影を行う。即ち、第1の撮像系51及び第2の撮像系61についてAE、AFを行い(ステップS44)、本撮影を行う。また、本撮影によって取得した画像信号にAWB等の所定の処理を施し、第1の撮像系51で撮影した画像と第2の撮像系61において撮影した画像との左右の2枚の画像を取得する(ステップS45)。さらに、立体画像信号処理部11は、この左右の2枚の画像から、立体画像を生成する(ステップS45)。
【0097】
図14(d)は、撮影画像を示す図であり、(i)は第1の撮像系51において撮影した画像(左目用画像)、(ii)は第2の撮像系61において撮影した画像(右目用画像)、(iii)はこれらの画像の合成画像(立体画像)を示している。この例では、主要被写体104の他、背景被写体105及び106が撮影されている。
【0098】
次に、視差調整信号処理部11aは、この2枚の撮影画像から対応点抽出を行い(ステップS46)、抽出した対応点を用いて、2枚の画像から全く視差のない画像を生成する(ステップS47)。
【0099】
図14(a)は、ステップS47において生成された視差のない画像を示す図であり、(i)は左目用画像、(ii)は右目用画像、(iii)はこれらの画像の合成画像を示している。本実施の形態では、視差を無くすと共に、背景被写体105及び106の大きさを主要被写体104と同様に変更することにより、奥行き感を無くしている。
【0100】
さらに、視差調整信号処理部11aは、抽出した対応点を用いて、図14(a)に示す視差のない画像と図14(d)に示す撮影画像の中間の視差を持つ中間視差画像を生成する(ステップS48)。図14(c)は、ステップS48において生成された中間視差画像を示す図であり、(i)は左目用画像、(ii)は右目用画像、(iii)はこれらの画像の合成画像を示している。背景被写体105及び106は、中間の視差を持つとともに、大きさについても中間となるように生成されている。
【0101】
このように、訓練画像として必要な枚数だけ、視差の異なる中間視差画像の生成を行う(ステップS49)。図14(b)は、さらに生成された中間視差画像を示す図である。なお、中間視差画像は、撮影画像の視差より大きな視差となるように生成してもよい。また、この必要な枚数は、予め定められていてもよいし、ユーザが自由に設定できるように構成してもよい。
【0102】
必要な枚数の中間視差画像の生成が終了すると、撮影した画像、生成した視差のない画像、及び中間視差画像をROM21に記録し(ステップS50)、処理を終了する。これらの画像は、記録メディア23に記録してもよい。
【0103】
このように生成した訓練画像を用いて、第1の実施の形態や第2の実施の形態の立体画像表示装置1の立体視訓練モードと同様に表示を行う。図14に示した画像の例では、図14(a)、(b)、(c)、(d)の順に視差が大きくなるので、それぞれ訓練画像A、訓練画像B、訓練画像C、訓練画像Dとして表示すればよい。
【0104】
このように、ユーザが実際に目で見て撮影した画像を訓練画像に用いることで、立体視を導入しやすくすることが可能となる。
【符号の説明】
【0105】
1…立体画像表示装置、10…画像信号処理部、11…立体画像信号処理部、14…立体画像表示デバイス、16…CPU、21…ROM、23…記録メディア、26b…立体視訓練モードボタン、26h…立体視診断・訓練モードボタン、101、102、103、104、105、106…被写体、111…立体視マーカ
【特許請求の範囲】
【請求項1】
複数の視点画像に基づいた立体画像を表示手段に表示可能な立体画像表示装置において、
利用者が立体視を訓練するための訓練モードに設定する設定手段と、
前記訓練モードに設定されると同一被写体の視差の異なる複数の立体画像を順次前記表示手段に表示する制御手段であって、視差の小さい順に表示する制御手段と、
を備えたことを特徴とする立体画像表示装置。
【請求項2】
前記制御手段は、前記複数の立体画像を視差の小さい順に前記表示手段に表示した後、視差の大きい順に前記表示手段に表示することを特徴とする請求項1に記載の立体画像表示装置。
【請求項3】
前記訓練モードに設定されると、利用者の立体視能力を診断するために同一被写体の視差の異なる複数の立体画像を順次前記表示手段に表示する手段と、
前記表示された立体画像を利用者が立体視することが可能か否かを入力する手段と、
を備え、
前記制御手段は、前記利用者が立体視可能な視差に応じて訓練開始時の立体画像の視差を異ならせることを特徴とする請求項1または2に記載の立体画像表示装置。
【請求項4】
前記視差の異なる複数の立体画像は、視差が大きくなるほど主要被写体が大きくなる立体画像、または視差が大きくなるほど背景の被写体が小さくなる立体画像からなることを特徴とする請求項1から3のいずれかに記載の立体画像表示装置。
【請求項5】
被写体光を画像データに変換する撮像手段であって、複数の視点画像を撮影可能に配置された複数の撮像手段と、
前記複数の撮像手段を用いて撮影された複数の画像から、同一被写体の視差の異なる複数の立体画像を生成する手段と、
を備えたことを特徴とする請求項1から4のいずれかに記載の立体画像表示装置。
【請求項6】
立体視可能な角度で視認した場合と立体視が不可能な角度で視認した場合とで見え方が異なる立体視アシストマーカを前記表示手段に表示することを特徴とする請求項1から5のいずれかに記載の立体画像表示装置。
【請求項7】
前記立体視アシストマーカが3つ以上表示されることを特徴とする請求項6に記載の立体画像表示装置。
【請求項8】
前記設定手段は、専用の操作部材で構成されていることを特徴とする請求項1から7のいずれかに記載の立体画像表示装置。
【請求項9】
前記訓練モードでの動作が終了すると、通常の立体画像表示モードへ移行することを特徴とする請求項1から8のいずれかに記載の立体画像表示装置。
【請求項10】
複数の視点画像に基づいた立体画像を表示手段に表示可能な立体画像表示装置を用いた立体視訓練方法において、
利用者が立体視を訓練するための訓練モードに設定する工程と、
前記訓練モードに設定されると同一被写体の視差の異なる複数の立体画像を順次前記表示手段に表示する制御工程であって、視差の小さい順に表示する制御工程と、
を備えたことを特徴とする立体視訓練方法。
【請求項1】
複数の視点画像に基づいた立体画像を表示手段に表示可能な立体画像表示装置において、
利用者が立体視を訓練するための訓練モードに設定する設定手段と、
前記訓練モードに設定されると同一被写体の視差の異なる複数の立体画像を順次前記表示手段に表示する制御手段であって、視差の小さい順に表示する制御手段と、
を備えたことを特徴とする立体画像表示装置。
【請求項2】
前記制御手段は、前記複数の立体画像を視差の小さい順に前記表示手段に表示した後、視差の大きい順に前記表示手段に表示することを特徴とする請求項1に記載の立体画像表示装置。
【請求項3】
前記訓練モードに設定されると、利用者の立体視能力を診断するために同一被写体の視差の異なる複数の立体画像を順次前記表示手段に表示する手段と、
前記表示された立体画像を利用者が立体視することが可能か否かを入力する手段と、
を備え、
前記制御手段は、前記利用者が立体視可能な視差に応じて訓練開始時の立体画像の視差を異ならせることを特徴とする請求項1または2に記載の立体画像表示装置。
【請求項4】
前記視差の異なる複数の立体画像は、視差が大きくなるほど主要被写体が大きくなる立体画像、または視差が大きくなるほど背景の被写体が小さくなる立体画像からなることを特徴とする請求項1から3のいずれかに記載の立体画像表示装置。
【請求項5】
被写体光を画像データに変換する撮像手段であって、複数の視点画像を撮影可能に配置された複数の撮像手段と、
前記複数の撮像手段を用いて撮影された複数の画像から、同一被写体の視差の異なる複数の立体画像を生成する手段と、
を備えたことを特徴とする請求項1から4のいずれかに記載の立体画像表示装置。
【請求項6】
立体視可能な角度で視認した場合と立体視が不可能な角度で視認した場合とで見え方が異なる立体視アシストマーカを前記表示手段に表示することを特徴とする請求項1から5のいずれかに記載の立体画像表示装置。
【請求項7】
前記立体視アシストマーカが3つ以上表示されることを特徴とする請求項6に記載の立体画像表示装置。
【請求項8】
前記設定手段は、専用の操作部材で構成されていることを特徴とする請求項1から7のいずれかに記載の立体画像表示装置。
【請求項9】
前記訓練モードでの動作が終了すると、通常の立体画像表示モードへ移行することを特徴とする請求項1から8のいずれかに記載の立体画像表示装置。
【請求項10】
複数の視点画像に基づいた立体画像を表示手段に表示可能な立体画像表示装置を用いた立体視訓練方法において、
利用者が立体視を訓練するための訓練モードに設定する工程と、
前記訓練モードに設定されると同一被写体の視差の異なる複数の立体画像を順次前記表示手段に表示する制御工程であって、視差の小さい順に表示する制御工程と、
を備えたことを特徴とする立体視訓練方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2010−193411(P2010−193411A)
【公開日】平成22年9月2日(2010.9.2)
【国際特許分類】
【出願番号】特願2009−38540(P2009−38540)
【出願日】平成21年2月20日(2009.2.20)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成22年9月2日(2010.9.2)
【国際特許分類】
【出願日】平成21年2月20日(2009.2.20)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]