立体画像再撮影装置、立体画像奥行き変換装置およびそのプログラム
【課題】撮影装置に奥行きを制御するためのレンズを設けることなく、撮影装置で撮影した画像を用いて、立体画像の再生像の奥行き制御を行うことが可能な立体画像再撮影装置を提供する。
【解決手段】立体画像再撮影装置２は、要素画像群を表示する要素画像群表示部２１ａと、当該要素画像群表示部２１ａの表示面に開口部を平面状に複数配列した表示開口群２１ｂとを備える表示手段２１と、開口部を平面状に複数配列した撮影開口群２２ａと、要素画像群を撮影する要素画像群撮影部２２ｂとを備える撮影手段２２とを、所定距離を隔てて対面させ、表示手段２１と前記撮影手段２２との間に、要素画像が立体画像として表示される際の奥行きを制御する奥行き制御レンズＬを備えていることを特徴とする。
【解決手段】立体画像再撮影装置２は、要素画像群を表示する要素画像群表示部２１ａと、当該要素画像群表示部２１ａの表示面に開口部を平面状に複数配列した表示開口群２１ｂとを備える表示手段２１と、開口部を平面状に複数配列した撮影開口群２２ａと、要素画像群を撮影する要素画像群撮影部２２ｂとを備える撮影手段２２とを、所定距離を隔てて対面させ、表示手段２１と前記撮影手段２２との間に、要素画像が立体画像として表示される際の奥行きを制御する奥行き制御レンズＬを備えていることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インテグラル方式による立体画像表示方式において、再生される立体画像の奥行きを制御した画像を生成する立体画像再撮影装置、立体画像奥行き変換装置およびそのプログラムに関する。
【背景技術】
【０００２】
一般に、任意の視点から自由に立体画像を視聴することが可能な立体画像表示方式の一つとして、平面状に配列された凸レンズ群あるいはピンホール群を利用したインテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている。
【０００３】
ここで、図６を参照して、ＩＰ方式の概念について説明する。ＩＰ方式は、図６（ａ）に示すように、撮影時において、フィルム（撮影面）１１ｂの前面（被写体Ｔ側）に多数のピンホールまたは凸レンズからなる撮影開口群（例えば、レンズアレイ）１１ａを備え、フィルム１１ｂに、ピンホールまたは凸レンズの大きさ、数に応じた縮小された被写体Ｔの倒立像（要素画像）からなる要素画像群ｔ１を撮影する。そして、そのフィルム１１ｂを写真に現像したのち、図６（ｂ）に示すように、写真（表示面）３１ａの背面から拡散光により写真３１ａを照射することで、図６（ａ）の撮影開口群１１ａと同一の構成である表示開口群３１ｂを通して像（再生像Ｔｘ）を再生する。このとき、図６（ａ）においてフィルム（撮影面）１１ｂに撮影される被写体Ｔからの光の経路と、図６（ｂ）において写真（表示面）３１ａから発せられた光の経路とは、同じ経路となるため、表示開口群３１ｂと再生像Ｔｘとの距離は、撮影開口群１１ａと被写体Ｔとの距離と同一（距離Ｌ０）となる。
しかし、この構成のままでは、凸形状の被写体が、再生像において凹形状として再生される等、凹凸が反転する、いわゆる逆視現象が発生する。
【０００４】
この問題を解決する第１の方法として、ＩＰ方式で生成された立体像を再撮影し、その撮影された画像を表示する手法が開示されている（非特許文献１参照）。
この手法は、図７（ａ）に示すように、図６で説明したＩＰ方式と同様に被写体Ｔを撮影し、図７（ｂ）に示すように、その撮影された第１要素画像群ｔ１を表示する。そして、さらに、図７（ｂ）に示すように、その表示された第１要素画像群ｔ１と表示開口群２１ｂによって再生された像を第２要素画像群ｔ２として再撮影する。そして、図７（ｃ）に示すように、再撮影された画像（第２要素画像群ｔ２）を表示することで、被写体Ｔの凹凸の反転が２度行われることになり、観察方向から見て、表示面より奥に被写体Ｔと同一の凹凸形状を持つ像（再生像Ｔｘ）を再生することができる。
【０００５】
このとき、本手法では、図７（ｂ）に示すように、２回目の撮影を行う多数のピンホールまたは凸レンズからなる第２の撮影開口群２２ａと、１回目の表示を行う第１の表示開口群２１ｂとの距離（Ｌｄ）を調整することで、図７（ｃ）に示した再生像の位置を、距離（Ｌｄ）に等しい距離（Ｌｓ＝−Ｌｄ）分だけ移動させることができる。
【０００６】
また、前記問題を解決する第２の方法として、倒立像である要素画像を予め点対象の画像に変換する手法が開示されている（特許文献１、非特許文献２参照）。
この手法は、図８に示すように、要素画像を点対象変換することで、倒立した要素画像を正立した画像に変換するものである。具体的には、図９に示すように、撮影開口群を構成するレンズを屈折率分布レンズ（ＧＲＩＮレンズＧＬ）とし、ＧＲＩＮレンズＧＬの長さを蛇行する光路の周期Ｐの３／４倍とすることで、倒立した要素画像を正立した画像に変換することができる。
【０００７】
そして、図１０（ａ）に示すように、フィルム（撮影面）１１ｂの前面（被写体Ｔ側）に多数のＧＲＩＮレンズからなる第１の撮影開口群（ＧＲＩＮレンズアレイ）１１Ｇａを備えることで、正立した複数の要素画像からなる要素画像群ｔ１を撮影する。そして、図１０（ｂ）に示すように、写真（表示面）３１ａに正立した要素画像（要素画像群ｔ１）を表示させることで、第２の表示開口群３１ｂを通して奥行きが反転していない像（再生像Ｔｘ）を再生することができる。
【０００８】
また、本手法においては、図１１（ａ）に示すように、図１０（ａ）で示した第１の撮影開口群（ＧＲＩＮレンズアレイ）１１Ｇａの撮影面１１ｂとは反対側（被写体Ｔ側）に大口径凸レンズ（奥行き制御レンズＬ）を配置して、被写体を撮影する。なお、この状態では、図１１（ｂ）に示すように、要素画像群ｔ１の各要素画像が被写体Ｔに対して１８０度回転した状態となるため、図１１（ｃ）に示すように、表示面全体を１８０度回転させることで、被写体Ｔと同一の向きとなる像（再生像Ｔｘ）を再生することができる。そして、本手法では、大口径凸レンズ（奥行き制御レンズＬ）の位置（Ｌ１、Ｌ２）を調整することで、再生像の位置（奥行き）を制御することができる。
【特許文献１】特開平１０−１５０６７５号公報（段落００２６〜００３８、図７）
【非特許文献１】H.E.Ives, ”Optical properties of a Lippmann lenticulated sheet”, J.Opt.Soc.Am.21, pp.171-176(1931).
【非特許文献２】F.Okano,J.Arai,H.Hoshino and I.Yuyama, ”Three-dimensional video system based on integral photography”, Opt.Eng.,38,1072-1077(1999)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
前記した第１の方法は、再生像の凹凸が反転することなく、さらに、１回目の表示を行う第１の表示開口群と、２回目の撮影を行う第２の撮影開口群との距離を調整することで、再生像の位置を調整することができる。この第１の方法においては、遠方の被写体の再生像をより近くに再生することで画像の演出効果を高めたいという要望がある。しかし、この第１の方法では、再生像の位置が奥行き方向に平行移動するだけであるため、無限遠に存在する被写体の再生像は無限遠に再生されてしまう。このため、遠方の被写体の再生像をより近くに再生したいという要望を十分に満足することができないという問題がある。
【００１０】
これに対し、前記した第２の方法は、無限遠に被写体が存在する場合であっても、大口径凸レンズの位置を調整することで、再生像をより近くに再現することができる点で優れている。しかし、第２の方法は、第１の撮影開口群の被写体側に奥行き制御レンズ等の光学系を配置し、その光学系と撮影開口群（ＧＲＩＮレンズアレイ）との間に、再生像を調整するための距離を確保する必要がある。このため、本方法を採用した撮影装置は、少なくともその距離を確保した大きさとなる。しかし、撮影装置は、屋外等、場所を変えて撮影を行うものであるため、さらなる小型・軽量化が望まれている。
【００１１】
本発明は、以上のような問題点に鑑みてなされたものであり、撮影装置に奥行きを制御するためのレンズを設けることなく、撮影装置で撮影した画像を用いて、立体画像の再生像の奥行き制御を行うことが可能な立体画像再撮影装置、立体画像奥行き変換装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の立体画像再撮影装置は、立体画像として表示されたときに、被写体の凹凸が反転した再生像となる複数の要素画像からなる要素画像群を、さらに当該凹凸が反転した再生像となる画像として、再撮影する立体画像再撮影装置であって、要素画像群表示部と、表示開口群と、撮影開口群と、要素画像群撮影部とを備え、前記表示開口群と前記撮影開口群との間に奥行き制御レンズを備える構成とした。
【００１３】
かかる構成において、立体画像再撮影装置は、要素画像群表示部によって、事前に撮影された複数の要素画像（要素画像群）を表示する。そして、この要素画像の位置に対応して、要素画像群表示部の表示面側にピンホールまたはレンズである開口部を平面状に複数配列して設けた表示開口群によって、表示面から発光された要素画像の光を通過させる。また、立体画像再撮影装置は、撮影手段において、撮影面側にピンホールまたはレンズである開口部を平面状に複数配列して設けた撮影開口群によって要素画像の光を通過させ集光させることで、要素画像群撮影部によってその要素画像（要素画像群）を撮影する。これによって、撮影された要素画像は、再生時に被写体と同じ方向および凹凸を示す画像となる。なお、表示開口群、撮影開口群における開口部には、ピンホールや凸レンズ、あるいは光軸方向に複数の凸レンズからなるレンズ系を用いることができる。
このように、立体画像再撮影装置は、事前に撮影された凹凸が反転した再生像となる要素画像を再撮影することで、さらに当該凹凸が反転することになり、被写体と同一の凹凸形状となる立体画像を表示するための画像となる。
【００１４】
さらに、立体画像再撮影装置は、表示開口群と撮影開口群との間に奥行き制御レンズを備えることで、表示開口群によって再生される再生像の位置を奥行き制御レンズの光軸方向に移動させることができる。そして、立体画像再撮影装置は、この奥行き制御レンズを通過した光を撮影手段で撮影することで、その撮影された画像は、奥行きが奥行き制御レンズの光軸方向に移動したものとなる。これによって、この立体画像再撮影装置で再撮影された画像を、通常の立体画像表示装置により再生することで、実際の被写体の位置とは異なる（奥行きが制御された）位置に生成され視認されることになる。例えば、奥行き制御レンズとして、凸レンズを用いることで、立体画像再撮影装置によって撮影された画像は、実際の被写体の位置よりも手前に再生像を結像させる画像となる。
【００１５】
また、請求項２に記載の立体画像再撮影装置は、前記奥行き制御レンズが凸レンズであって、当該凸レンズを前記表示開口群に当接して配置する構成とした。
【００１６】
かかる構成において、立体画像再撮影装置は、奥行き制御レンズとしての凸レンズを表示開口群に当接して配置することで、立体画像再撮影装置で再撮影された画像は、凸レンズ（より正確には凸レンズの主点）の位置から、凸レンズの焦点距離までの間に被写体の位置が制御された画像となる。なお、凸レンズを表示開口群から離して配置した場合、凸レンズの焦点距離と被写体の位置によっては、被写体を再生像として再生できない場合があるが、凸レンズを表示開口群に当接することで、被写体の位置に関係なく、被写体の再生像が再生されることになる。
【００１７】
さらに、請求項３に記載の立体画像奥行き変換装置は、立体画像として表示されたときに、被写体の凹凸が反転した再生像となる複数の要素画像からなる第１要素画像群から、前記再生像の凹凸をさらに反転させるとともに、奥行きを変化させた第２要素画像群を生成する立体画像奥行き変換装置であって、分配手段と、第１要素画像光波変換手段と、奥行き変換手段と、第２要素画像光波変換手段と、加算手段とを備える構成とした。
【００１８】
かかる構成において、立体画像奥行き変換装置は、分配手段によって、第１要素画像群の光波を要素画像ごとに分配する。そして、立体画像奥行き変換装置は、第１要素画像光波変換手段によって、要素画像の光波を、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する。なお、ここで光波とは、要素画像の光を波動として扱った場合の振幅と位相を複素数で表したものである。
そして、立体画像奥行き変換装置は、奥行き変換手段によって、第１要素画像光波変換手段で変換された光波を、第１要素画像群全体の光を通過させる、予め定めた焦点距離となる仮想の凸レンズを通した光波に変換する。これによって、それぞれの要素画像が変化を受け、その結果、再生立体像の奥行きが変化することになる。
【００１９】
また、立体画像奥行き変換装置は、第２要素画像光波変換手段によって、奥行き変換手段で変換された光波を、要素画像ごとに対応する、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する。これによって、それぞれの要素画像は、凹凸が反転するとともに、仮想の凸レンズの焦点距離に応じて制御されることになる。
そして、立体画像奥行き変換装置は、加算手段によって、第２要素画像光波変換手段で変換された光波を要素画像の数だけ加算する。これによって、再生像として再生された場合に、被写体の奥行きが制御された画像（第２要素画像群）が生成されることになる。
【００２０】
また、請求項４に記載の立体画像奥行き変換プログラムは、立体画像として表示されたときに、被写体の凹凸が反転した再生像となる複数の要素画像からなる第１要素画像群から、前記再生像の凹凸をさらに反転させるとともに、奥行きを変化させた第２要素画像群を生成するために、コンピュータを、分配手段、第１要素画像光波変換手段、奥行き変換手段、第２要素画像光波変換手段、加算手段として機能させる構成とした。
【００２１】
かかる構成において、立体画像奥行き変換プログラムは、分配手段によって、第１要素画像群の光波を要素画像ごとに分配する。そして、立体画像奥行き変換プログラムは、第１要素画像光波変換手段によって、要素画像の光波を、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する。
そして、立体画像奥行き変換プログラムは、奥行き変換手段によって、第１要素画像光波変換手段で変換された光波を、第１要素画像群全体の光を通過させる、予め定めた焦点距離となる仮想の凸レンズを通した光波に変換する。
【００２２】
また、立体画像奥行き変換プログラムは、第２要素画像光波変換手段によって、奥行き変換手段で変換された光波を、要素画像ごとに対応する、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する。
そして、立体画像奥行き変換プログラムは、加算手段によって、第２要素画像光波変換手段で変換された光波を要素画像の数だけ加算する。これによって、再生像として再生された場合に、被写体の奥行きが制御された画像（第２要素画像群）が生成される。
【発明の効果】
【００２３】
本発明は、以下に示す優れた効果を奏するものである。
請求項１に記載の発明によれば、被写体を複数の要素画像として撮影した画像を再撮影することで、表示開口群と撮影開口群との間に備えた奥行き制御レンズにより、立体画像を表示するための画像に対して奥行きを制御した画像を生成することができる。これによって、遠方の被写体の再生像をより近くに再生することで画像の演出効果を高めることができる。また、撮影装置や表示装置に奥行きを制御するためのレンズを設ける必要がなく、撮影装置や表示装置の小型・軽量化を図ることができる。
請求項２に記載の発明によれば、奥行き制御レンズとしての凸レンズを表示開口群に当接して配置することで、被写体の位置に関係なく、被写体の再生像を再生することが可能な画像を撮影することができる。
【００２４】
請求項３または請求項４に記載の発明によれば、被写体を複数の要素画像として撮影した画像を再撮影した画像を演算により生成することができる。この生成された画像は、被写体の奥行きが制御された画像となるため、遠方の被写体の再生像をより近くに再生することができ、画像の演出効果を高めることができる。また、本発明によれば、奥行きを制御するための光学系を演算によって行うため、装置を小型・軽量化することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態について図面を参照して説明する。
［第１実施形態：立体画像再撮影装置］
まず、図１を参照して、本発明の第１実施形態に係る立体画像再撮影装置について説明する。図１は、立体画像再撮影装置の構成を示す概略図である。
図１に示すように、立体画像再撮影装置２は、立体画像撮影装置１において撮影された、被写体を複数の要素画像として撮影した画像（第１要素画像群）を再撮影し、立体画像表示装置３において立体画像として表示される再生像の奥行きを変化させた画像（第２要素画像群）を生成するものである。ここでは、立体画像再撮影装置２は、表示手段２１と、撮影手段２２と、奥行き制御レンズＬとを備えている。
【００２６】
表示手段２１は、立体画像撮影装置１において撮影された画像（第１要素画像群）を個々の要素画像ごとに倒立した画像として表示するものであって、要素画像群表示部２１ａと、表示開口群２１ｂとを備えている。
【００２７】
要素画像群表示部２１ａは、立体画像撮影装置１において撮影された画像（第１要素画像群）を表示するものであって、液晶ディスプレイ、プラズマディスプレイ、ＣＲＴ（Cathode Ray Tube）等である。
【００２８】
表示開口群２１ｂは、要素画像群表示部２１ａで表示される各要素画像の位置に対応して、当該要素画像から凹凸の反転した像を生成させるものであって、複数の開口部２１ｂ１，２１ｂ２，…，２１ｂｎを、要素画像群表示部２１ａの表示面に平面状に複数配列して構成されている。なお、開口部２１ｂ１，２１ｂ２，…，２１ｂｎは、ピンホールまたは凸レンズであって、ここでは、単一の凸レンズを用いることとしている。この表示開口群２１ｂを通過した光は、後記する奥行き制御レンズＬに入射される。
【００２９】
撮影手段２２は、奥行き制御レンズＬから入射された光を受光し、個々の要素画像ごとに撮影するものであって、撮影開口群２２ａと、要素画像群撮影部２２ｂとを備えている。
【００３０】
撮影開口群２２ａは、奥行き制御レンズＬから入射された光を集光させるものであって、複数の開口部２２ａ１，２２ａ２，…，２２ａｎを、後記する要素画像群撮影部２２ｂの撮影面に平面状に複数配列して構成されている。なお、開口部２２ａ１，２２ａ２，…，２２ａｎは、ピンホールまたは凸レンズであって、ここでは、凸レンズを用いることとしている。この撮影開口群２２ａを通過した光は、要素画像群撮影部２２ｂに入射される。
【００３１】
要素画像群撮影部２２ｂは、撮影開口群２２ａを通過し集光した光を受光し、撮影するものであって、ＣＣＤ（Charge Coupled Device：光電変換素子）、写真用フィルム等である。この要素画像群撮影部２２ｂでは、撮影開口群２２ａの開口部２２ａ１，２２ａ２，…，２２ａｎに対応した数の要素画像（第２要素画像群）が撮影されることになる。この要素画像群撮影部２２ｂで撮影された要素画像群（第２要素画像群）が、立体画像表示装置３において表示されることで、立体画像として被写体が再生されることになる。この際、表示開口群２１ｂによって生成された立体像（凹凸が反転）が、再度、立体画像表示装置３によって凹凸が反転して再生されるので、結果として奥行きの凹凸が正しく再現される。
【００３２】
奥行き制御レンズＬは、表示手段２１と撮影手段２２との間に配置され、要素画像群撮影部２２ｂの撮影面において撮影される要素画像が立体画像として表示される際の奥行きを制御するものである。この奥行き制御レンズＬには、凸レンズを用いることができ、少なくとも表示手段２１や撮影手段２２よりも大きい径を持つレンズとする。
この奥行き制御レンズＬは、入射光を屈折させるため、表示手段２１で表示された要素画像群の光は、奥行き制御レンズＬの屈折率、曲率半径等に応じて屈折されて、撮影手段２２で撮影されることになる。すなわち、撮影手段２２の撮影面において撮影される個々の要素画像は、奥行き制御レンズＬの光軸方向にずれて撮影される。これによって、撮影手段２２で撮影された要素画像群を、立体画像表示装置３において表示すると、実際の被写体位置よりも手前に生成され視認されることになる。例えば、奥行き制御レンズＬの屈折率が同じである場合は、当該奥行き制御レンズＬの位置をより表示手段２１側に位置させることで、立体画像として表示される再生像の位置をより観察方向手前側に再生させることができる。なお、奥行き制御レンズＬによって立体画像の奥行きを制御する手法については、図２を参照して、後で詳細に説明を行うことにする。
【００３３】
このように立体画像再撮影装置２を構成することで、立体画像を表示するための画像（要素画像群）から、奥行きを制御した画像を生成することができる。また、この構成によれば、立体画像撮影装置１に奥行き制御レンズを備える必要がないため、立体画像撮影装置１を小型・軽量化することが可能となる。
【００３４】
〔奥行き制御方法の詳細〕
次に、図２を参照して、図１で説明した立体画像再撮影装置２を用いた、立体画像の奥行き制御方法について説明する。図２は、本発明における立体画像の奥行き制御方法を説明するための模式図であって、（ａ）は被写体撮影時、（ｂ）は再撮影時、（ｃ）は立体画像表示時をそれぞれ示している。
【００３５】
また、ここでは、図２（ａ）に示すように、凸レンズを平面状に複数配列した撮影開口群１１ａと、その撮影開口群１１ａを通過した光を受光し、撮影する要素画像群撮影部１１ｂとを備えた立体画像撮影装置１が、被写体Ｔを画像（第１要素画像群ｔ１）として撮影するものとする。
また、図２（ｂ）に示すように、立体画像再撮影装置２は、図２（ａ）で撮影された画像（第１要素画像群ｔ１）と表示開口群２１ｂによって再生された像とを再撮影することで、奥行き制御を行った画像（第２要素画像群ｔ２）を生成するものとする。
さらに、図２（ｃ）に示すように、図２（ｂ）で生成された第２要素画像群ｔ２を表示する要素画像群表示部３１ａと、凸レンズを平面状に複数配列した表示開口群３１ｂとを備えた立体画像表示装置３が、第２要素画像群ｔ２を立体画像として提示するものとする。
【００３６】
以下、立体画像の奥行き制御方法について、被写体Ｔを撮影し、立体画像として再生するまでの手順と合わせて説明を行うことにする。なお、この手順は、撮影と表示とを１つのステップとしたときに、２回の撮影・表示ステップにより行われる。
〔第１撮影ステップ〕
まず、図２（ａ）に示すように、立体画像撮影装置１は、第１の撮影開口群１１ａである凸レンズの主点から、距離Ｌ０だけ離れた被写体Ｔを、第１要素画像群ｔ１として撮影する。
【００３７】
〔第１表示ステップ〕
そして、図２（ｂ）に示すように、立体画像再撮影装置２は、立体画像撮影装置１で撮影された画像（第１要素画像群ｔ１）を表示する。このとき、立体画像再撮影装置２の第１の要素画像群表示部２１ａで表示される第１要素画像群ｔ１は、奥行き制御レンズＬが存在しない場合、第１の表示開口群２１ｂの主点から距離Ｌ０だけ離れた位置に再生像Ｔ１を結像する画像となる。
【００３８】
〔第２撮影ステップ〕
そして、立体画像再撮影装置２は、第１の表示開口群２１ｂと第２の撮影開口群２２ａとの間に設けた奥行き制御レンズＬを通過した光を、第２要素画像群ｔ２として撮影する。なお、第２要素画像群ｔ２は、奥行き制御レンズＬを通過した画像であるため、前記した第１表示ステップにおいて再生される再生像Ｔ１よりも手前に結像する画像（再生像Ｔ２）となる。
ここで、奥行き制御レンズＬの主点から、第１表示ステップにおいて再生される再生像Ｔ１までの距離をＬａ、奥行き制御レンズＬの主点から、第２要素画像群ｔ２により再生される再生像Ｔ２までの距離をＬｂ、奥行き制御レンズＬの焦点距離をｆｄとすると、各Ｌａ、Ｌｂおよびｆｄは、以下の式（１）の関係を満たすことになる。
【００３９】
【数１】
【００４０】
すなわち、奥行き制御レンズＬから、第２要素画像群ｔ２により再生される再生像Ｔ２までの距離Ｌｂは、以下の式（２）により示すことができる。
【００４１】
【数２】
【００４２】
また、第１表示ステップにおいて第１要素画像群ｔ１により再生される再生像Ｔ１の位置と、第２要素画像群ｔ２により再生される再生像Ｔ２の位置との差Ｌｔは、以下の式（３）により示すことができる。
【００４３】
【数３】
【００４４】
〔第２表示ステップ〕
そして、図２（ｃ）に示すように、立体画像表示装置３は、立体画像再撮影装置２で撮影された画像（第２要素画像群ｔ２）を表示する。このとき、図２（ｂ）において、第１の表示開口群２１ｂと第２の撮影開口群２２ａとの距離（Ｌｄ）を調整することで、図２（ｃ）に示した再生像Ｔ３の位置を、距離（Ｌｄ）に応じた距離（Ｌｓ）分だけ観察方向手前に移動させることができる。すなわち、観察方向から見て被写体の再生像は、実際に撮影した被写体の位置から、以下の式（４）に示した距離（Ｌｓ）だけ手前に表示されることになる。
【００４５】
【数４】
【００４６】
以上説明したように、立体画像再撮影装置２において、立体画像撮影装置１で撮影された画像（第１要素画像群ｔ１）と表示開口群２１ｂによって再生された像とを再撮影することで、図７に示した従来の方法に比べて、より大きく奥行きを制御することができる。また、図１１に示した従来の方法に比べて、立体画像撮影装置１に奥行き制御レンズを設ける必要がないため、立体画像撮影装置１の構成を簡略化することができる。
【００４７】
なお、図２（ｂ）において、奥行き制御レンズＬの主点から、第１表示ステップにおいて再生される再生像Ｔ１までの距離Ｌａが、奥行き制御レンズＬの焦点距離ｆｄと等しくなった場合、前記式（２）に示すように、奥行き制御レンズＬから、第２要素画像群ｔ２により再生される再生像Ｔ２までの距離Ｌｂは無限遠（∞）となり、奥行き制御ができないことになる。この場合、第１表示ステップにおける奥行き制御レンズＬの主点から、再生像Ｔ１までの距離Ｌａが、奥行き制御レンズＬの焦点距離ｆｄと等しくならないように、奥行き制御レンズＬの位置を調整することで回避することができる。
【００４８】
（奥行き制御方法の好適例）
次に、図３を参照して、図２で説明した奥行き制御レンズＬの焦点距離ｆｄに影響されることなく、再生像の奥行きを制御することが可能な奥行き制御方法について説明を行う。図３は、本発明における好適な立体画像の奥行き制御方法を説明するための模式図であって、（ａ）は被写体撮影時、（ｂ）は再撮影時、（ｃ）は立体画像表示時をそれぞれ示している。なお、図３の立体画像再撮影装置２Ｂは、図３（ｂ）において、奥行き制御レンズＬが第１の表示開口群２１ｂに当接して配置されていることが、図２における立体画像再撮影装置２の構成と異なっている。なお、立体画像撮影装置１および立体画像表示装置３は、それぞれ図２と同様のものである。
【００４９】
以下、立体画像の奥行き制御方法について、図２で説明したステップと同様、撮影と表示とを１つのステップとした２回の撮影・表示ステップについてその手順を順に説明する。
〔第１撮影ステップ〕
まず、図３（ａ）に示すように、立体画像撮影装置１は第１の撮影開口群１１ａを介して被写体を第１要素画像群として撮影する。このとき、被写体の位置は、立体画像撮影装置１に最も近づいた位置である第１の撮影開口群１１ａの位置Ｔ０から、最も離れた位置である無限遠Ｔ∞まで存在する可能性がある。
【００５０】
〔第１表示ステップ〕
そして、図３（ｂ）に示すように、立体画像再撮影装置２Ｂは、立体画像撮影装置１で撮影された画像（第１要素画像群）を表示する。
ここで、図３（ｂ）に示すように、立体画像再撮影装置２Ｂは、奥行き制御レンズＬを第１の表示開口群２１ｂに当接していることから、前記した図２（ｂ）において、第１の表示開口群２１ｂから、その表示開口群２１ｂにより再生される再生像Ｔ１までの距離Ｌ０と、奥行き制御レンズＬから、その奥行き制御レンズＬを介して再生される再生像Ｔ２までの距離Ｌａは、等しい距離であるとみなすことができる。
【００５１】
これは、距離Ｌ０（すなわち、距離Ｌａ）が、第１の表示開口群２１ｂの直前から無限遠まで変化すると、前記式（２）により、奥行き制御レンズＬから、その奥行き制御レンズＬを介して再生される再生像Ｔ２までの距離Ｌｂは、“０”から焦点距離ｆｄまで変化することを示している。
【００５２】
〔第２撮影ステップ〕
そこで、図３（ｂ）に示すように、立体画像再撮影装置２Ｂは、第１表示ステップで表示された画像を、奥行き制御レンズＬを介して第２要素画像群として撮影することで、その撮影された第２要素画像群は、奥行き制御レンズＬの主点（距離“０”）から、焦点距離ｆｄまでに再生可能な画像となる。
【００５３】
〔第２表示ステップ〕
そして、図３（ｃ）に示すように、立体画像表示装置３は、立体画像再撮影装置２Ｂで撮影された画像を表示する。
これによって、図３（ａ）において第１の撮影開口群１１ａ上に位置していた被写体の再生像は、図３（ｃ）において第２の表示開口群３１ｂから観測方向手前の位置に再生される。このとき、第２の表示開口群３１ｂから再生像までの距離は、図３（ｂ）における第２の撮影開口群２２ａから奥行き制御レンズＬまでの距離ＬＩ，０と等しくなる。
【００５４】
また、図３（ａ）において無限遠に存在する被写体の再生像は、図３（ｃ）において第２の表示開口群３１ｂから観測方向奥の位置に再生される。このとき、第２の表示開口群３１ｂから再生像までの距離は、図３（ｂ）における第２の撮影開口群２２ａから奥行き制御レンズＬを介して再生される再生像までの距離ＬＩ，∞と等しくなる。
【００５５】
以上説明したように、立体画像再撮影装置２Ｂにおいて、奥行き制御レンズＬを第１の表示開口群２１ｂに当接して配置することで、距離“０”から無限遠までに存在する被写体の再生像を、奥行き制御レンズＬの焦点距離ｆｄ内で再生することができる。
なお、ここでは、立体画像再撮影装置２，２Ｂは、奥行き制御レンズＬ等のレンズ系により再生像の奥行き制御を行ったが、本発明は、光学系と等価な演算回路等によって奥行き制御を行うこととしてもよい。
【００５６】
［第２実施形態：立体画像奥行き変換装置］
次に、図４を参照して、本発明の第２実施形態に係る立体画像奥行き変換装置について説明する。図４は、立体画像奥行き変換装置の構成を示すブロック構成図である。また、立体画像奥行き変換装置４は、図３に示した立体画像再撮影装置２Ｂと等価な装置とし、適宜図５を参照することとする。また、立体画像奥行き変換装置４に入力される要素画像群（第１要素画像群）は、立体画像撮影装置１（図１参照）において、ＣＣＤ等によって撮影された映像信号である。
【００５７】
図４に示すように、立体画像奥行き変換装置４は、第１実施形態で説明した立体画像再撮影装置２Ｂにおける光学系による処理を演算により行うものである。ここでは、立体画像奥行き変換装置４は、分配手段４１と、要素画像分の要素画像変換手段４２、奥行き変換手段４３および要素画像再生手段４４と、加算手段４５とを備えている。
【００５８】
分配手段４１は、入力された映像信号を要素画像単位に分割するものである。ここで、分配手段４１は、入力された映像信号における要素画像群表示部２１ａの表示面に表示される第１要素画像群ｔ１のｍ番目の要素画像の光波（ｇｓ，ｍ（ｘｓ，ｍ，ｙｓ，ｍ））を、ｍ番目の要素画像に予め対応付けられている要素画像変換手段４２に出力する。なお、ここで、光波とは、映像信号を光の波動として扱った場合の振幅と位相を複素数で表したものである。
【００５９】
要素画像変換手段（第１要素画像光波変換手段）４２は、要素画像の光波を、予め定めた焦点距離となる要素レンズ（仮想のピンホールまたはレンズ）を通した際の光波に変換するものである。ここでは、要素画像変換手段４２は、光波計算手段４２ａと、位相シフト手段４２ｂとを備えている。
【００６０】
光波計算手段４２ａは、要素画像の光波をフレネル近似することで、要素レンズ（仮想のピンホールまたはレンズ）に入射する光波を演算するものである。すなわち、光波計算手段４２ａは、第１の表示開口群２１ｂのｍ番目の開口部（要素レンズ等）に到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（５）により要素画像ごとの光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を演算する。
【００６１】
【数５】
【００６２】
ここで、ｘｓ，ｍ、ｘｏ，ｍは、それぞれ画像全体（第１要素画像群）におけるｍ番目の要素画像の中心のｘ座標、表示開口群２１ｂのｍ番目の開口部の光軸中心からのｘ座標である。また、ｙｓ，ｍ、ｙｏ，ｍは、それぞれ画像全体（第１要素画像群）におけるｍ番目の要素画像の中心のｙ座標、表示開口群２１ｂのｍ番目の開口部の光軸中心からのｙ座標である。また、ｆ１は第１の表示開口群２１ｂの開口部（要素レンズ）の焦点距離、ｋは波数２π／λ（λは波長）である。
この要素画像ごとの光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））は、位相シフト手段４２ｂに出力される。
【００６３】
位相シフト手段４２ｂは、光波計算手段４２ａから入力された要素画像の光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））から、位相を仮想の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段４２ｂは、以下の式（６）に示すように、要素レンズに相当する位相分だけ光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））をシフトさせることで、要素レンズから出射する光波に相当する信号（光波Ｒｏ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を演算する。
【００６４】
【数６】
【００６５】
この要素画像ごとの光波（Ｒｏ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））は、奥行き変換手段４３に出力される。
【００６６】
奥行き変換手段４３は、要素画像変換手段４２で変換された光波を、予め定めた焦点距離となる仮想の奥行き制御レンズＬ（凸レンズ）を通した際の光波に変換するものである。ここでは、奥行き変換手段４３は、位相シフト手段４３ａと、再分配手段４３ｂとを備えている。
【００６７】
位相シフト手段４３ａは、要素画像変換手段４２で変換された光波の位相を仮想の凸レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段４３ａは、以下の（７）式に示すように、奥行き制御レンズＬに相当する位相分だけ光波（Ｒｏ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））をシフトさせることで、奥行き制御レンズＬから出射する光波に相当する信号（光波Ｒｄ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を演算する。
【００６８】
【数７】
【００６９】
ここで、ｘ０，ｙ０は奥行き制御レンズＬの光学中心からの距離である。また、第１の表示開口群２１ｂの開口部（要素レンズ）のピッチをＰとすると、ｘｏ＝ｘｏ，ｍ＋ｍＰ、ｙｏ＝ｙｏ，ｍ＋ｍＰの関係が成り立つ。
この位相シフト手段４３ａで演算された要素画像ごとの光波（Ｒｄ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））は、再分配手段４３ｂに出力される。
【００７０】
再分配手段４３ｂは、位相シフト手段４３ａから入力された要素画像ごとの光波（Ｒｄ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））から、第２の撮影開口群２２ａの開口部（要素レンズ）に入射する光波を演算するものである。前記した位相シフト手段４３ａで演算された光波（Ｒｄ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））は、ｍ番目の要素レンズに到達するだけではなく、周辺の要素レンズにも到達することになる。そこで、再分配手段４３ｂは、位相シフト手段４３ａから入力された要素画像ごとの光波（Ｒｄ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））が、第２の撮影開口群２２ａの開口部（要素レンズ）に分配された結果となるｎ番目の要素レンズに到達した光波（Ｒｐ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））を、一般的なフレネル近似を用いて、以下の式（８）により演算する。
【００７１】
【数８】
【００７２】
ここで、ｘｐ，ｎ、ｙｐ，ｎは、それぞれｎ番目の撮影開口群２２ａの開口部（要素レンズ）の光学中心からのｘ座標、ｙ座標である。また、Ｌｄは奥行き制御レンズＬと第２の撮影開口群２２ａとの距離である。
この撮影開口群２２ａの開口部ごとの光波（Ｒｐ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））は、要素画像再生手段４４に出力される。
【００７３】
要素画像再生手段（第２要素画像光波変換手段）４４は、奥行き変換手段４３で変換された光波を、予め定めた焦点距離となる要素レンズ（仮想のピンホールまたはレンズ）を通した際の光波に変換するものである。ここでは、要素画像再生手段４４は、位相シフト手段４４ａと、光波計算手段４４ｂとを備えている。
【００７４】
位相シフト手段４４ａは、奥行き変換手段４３で変換された光波（Ｒｐ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））から、位相を仮想の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段４４ａは、以下の式（９）に示すように、要素レンズに相当する位相分だけ光波（Ｒｐ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））をシフトさせることで、要素レンズから出射する光波に相当する信号（光波Ｒｒ，ｎ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を演算する。
【００７５】
【数９】
【００７６】
ここで、ｆ２は第２の撮影開口群２２ａの開口部（要素レンズ）の焦点距離である。
この要素レンズごとの光波（Ｒｒ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））は、光波計算手段４４ｂに出力される。
【００７７】
光波計算手段４４ｂは、要素レンズごとの光波をフレネル近似することで、要素レンズ（仮想のピンホールまたはレンズ）から出射し、要素画像群撮影部２２ｂの撮影面に到達する光波を演算するものである。すなわち、光波計算手段４４ｂは、以下の式（１０）により、ｎ番目の要素レンズから出射されて要素画像群撮影部２２ｂの撮影面に到達する光波（Ｒｅ，ｎ，ｍ（ｘｅ，ｎ，ｙｅ，ｎ））を演算する。
【００７８】
【数１０】
【００７９】
ここで、ｘｅ，ｎ、ｙｅ，ｎは、それぞれ要素画像の中心からのｘ座標、ｙ座標である。この光波計算手段４４ｂで演算された光波（Ｒｅ，ｎ，ｍ（ｘｅ，ｎ，ｙｅ，ｎ））は、加算手段４５に出力される。
【００８０】
加算手段４５は、要素画像再生手段４４から出力された要素画像ごとの光波から、その光波電力の総和を演算することで、奥行き変換処理が施された映像信号、すなわち、第２要素画像群ｔ２となる映像信号を生成するものである。
ところで、要素画像再生手段４４から出力される要素画像群撮影部２２ｂの撮影面に到達する光波（Ｒｅ，ｎ，ｍ（ｘｅ，ｎ，ｙｅ，ｎ））の電力は、光の振幅の２乗で表すことができる。また、第１要素画像群ｔ１の各要素画像として発せられた光波は、インコヒーレント（波長や位相が一定ではない）であるため、光波の位相は無相関であるとみなすことができる。
【００８１】
そこで、加算手段４５は、第１要素画像群ｔ１の各要素画像（−Ｍ〜Ｍ）として発せられた光波の電力の総和を、以下の式（１１）により演算することで、第２要素画像群ｔ２の一つの要素画像（式（１１）ではｎ番目の要素画像）の電力を求め、その電力に比例した映像信号を出力する。
【００８２】
【数１１】
【００８３】
これによって、立体画像奥行き変換装置４は、図３に示した立体画像再撮影装置２Ｂと等価で、演算により、立体画像として表示される再生像の奥行きを変化させた画像（第２要素画像群）を生成することができる。
なお、本発明は、この構成に限定されるものではない。例えば、ここでは、立体画像奥行き変換装置４は、図５に示したように、奥行き制御レンズＬを第１の表示開口群２１ｂに当接して配置した立体画像再撮影装置２Ｂと等価な装置として実現したが、図１に示した立体画像再撮影装置２と等価な装置として実現することも可能である。
この場合、奥行き変換手段４３に、要素画像変換手段４２（位相シフト手段４２ｂ）から出力された光波をフレネル近似して、奥行き制御レンズＬに入射する光波を演算するフレネル近似手段（図示せず）を、位相シフト手段４３ａの前段に設ければよい。
【００８４】
また、ここでは、要素レンズを凸レンズとして計算する例を示したが、ピンホールの場合は、位相シフト関数（位相シフト手段４２ｂおよび４４ａ）を省略することができる。この場合、焦点距離ｆ１およびｆ２は、ピンホールとそれぞれに対応する要素画像との距離となる。
【００８５】
また、立体画像奥行き変換装置４は、前記した各手段を演算回路によって実現することも可能であるし、中央処理装置（ＣＰＵ：Central Processing Unit）、主記憶装置（ＲＡＭ：Random Access Memory）等を備えた一般的なコンピュータを、前記した各手段として機能させるプログラム（立体画像奥行き変換プログラム）により動作させることで実現することも可能である。
以上説明したように、本発明は、第１表示ステップから第２撮影ステップまでの処理を、光学系ではなく演算により行うことで、立体画像再撮影装置２、２Ｂにおける効果に加え、装置構成を小型化することができる効果を奏することになる。
【図面の簡単な説明】
【００８６】
【図１】本発明の第１実施形態に係る立体画像再撮影装置の構成を示す概略図である。
【図２】本発明における立体画像の奥行き制御方法を説明するための模式図であって、（ａ）は立体画像撮影装置における被写体撮影時、（ｂ）は立体画像再撮影装置における再撮影時、（ｃ）は立体画像表示装置における立体画像表示時を示している。
【図３】本発明における好適な立体画像の奥行き制御方法を説明するための模式図であって、（ａ）は立体画像撮影装置における被写体撮影時、（ｂ）は立体画像再撮影装置における再撮影時、（ｃ）は立体画像表示装置における立体画像表示時を示している。
【図４】本発明の第２実施形態に係る立体画像奥行き変換装置の構成を示すブロック構成図である。
【図５】本発明における演算により立体画像の奥行きを制御する方法を説明するための模式図である。
【図６】従来のＩＰ方式の概念を説明するための説明図であって、（ａ）は被写体撮影時、（ｂ）は立体画像表示時を示している。
【図７】従来の立体画像の奥行き制御方法を説明するための模式図であって、（ａ）は被写体撮影時、（ｂ）は再撮影時、（ｃ）は立体画像表示時を示している。
【図８】従来の奥行きの反転を解消するための要素画像の点対象変換を示す図である。
【図９】従来のＧＲＩＮレンズを用いた点対称変換を模式的に示す図である。
【図１０】従来のＧＲＩＮレンズアレイを用いたＩＰ方式の概念を説明するための説明図であって、（ａ）は被写体撮影時、（ｂ）は立体画像表示時を示している。
【図１１】従来のＧＲＩＮレンズアレイを用いた立体画像の奥行き制御方法を説明するための模式図であって、（ａ）は被写体撮影時、（ｂ）は再撮影時、（ｃ）は立体画像表示時を示している。
【符号の説明】
【００８７】
１ 立体画像撮影装置
２、２Ｂ 立体画像再撮影装置
２１ 表示手段
２１ａ 要素画像群表示部
２１ｂ 表示開口群
２２ 撮影手段
２２ａ 撮影開口群
２２ｂ 要素画像群撮影部
３ 立体画像表示装置
４ 立体画像奥行き変換装置
４１ 分配手段
４２ 要素画像変換手段（第１要素画像光波変換手段）
４３ 奥行き変換手段
４４ 要素画像再生手段（第２要素画像光波変換手段）
４５ 加算手段
Ｌ 奥行き制御レンズ
【技術分野】
【０００１】
本発明は、インテグラル方式による立体画像表示方式において、再生される立体画像の奥行きを制御した画像を生成する立体画像再撮影装置、立体画像奥行き変換装置およびそのプログラムに関する。
【背景技術】
【０００２】
一般に、任意の視点から自由に立体画像を視聴することが可能な立体画像表示方式の一つとして、平面状に配列された凸レンズ群あるいはピンホール群を利用したインテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている。
【０００３】
ここで、図６を参照して、ＩＰ方式の概念について説明する。ＩＰ方式は、図６（ａ）に示すように、撮影時において、フィルム（撮影面）１１ｂの前面（被写体Ｔ側）に多数のピンホールまたは凸レンズからなる撮影開口群（例えば、レンズアレイ）１１ａを備え、フィルム１１ｂに、ピンホールまたは凸レンズの大きさ、数に応じた縮小された被写体Ｔの倒立像（要素画像）からなる要素画像群ｔ１を撮影する。そして、そのフィルム１１ｂを写真に現像したのち、図６（ｂ）に示すように、写真（表示面）３１ａの背面から拡散光により写真３１ａを照射することで、図６（ａ）の撮影開口群１１ａと同一の構成である表示開口群３１ｂを通して像（再生像Ｔｘ）を再生する。このとき、図６（ａ）においてフィルム（撮影面）１１ｂに撮影される被写体Ｔからの光の経路と、図６（ｂ）において写真（表示面）３１ａから発せられた光の経路とは、同じ経路となるため、表示開口群３１ｂと再生像Ｔｘとの距離は、撮影開口群１１ａと被写体Ｔとの距離と同一（距離Ｌ０）となる。
しかし、この構成のままでは、凸形状の被写体が、再生像において凹形状として再生される等、凹凸が反転する、いわゆる逆視現象が発生する。
【０００４】
この問題を解決する第１の方法として、ＩＰ方式で生成された立体像を再撮影し、その撮影された画像を表示する手法が開示されている（非特許文献１参照）。
この手法は、図７（ａ）に示すように、図６で説明したＩＰ方式と同様に被写体Ｔを撮影し、図７（ｂ）に示すように、その撮影された第１要素画像群ｔ１を表示する。そして、さらに、図７（ｂ）に示すように、その表示された第１要素画像群ｔ１と表示開口群２１ｂによって再生された像を第２要素画像群ｔ２として再撮影する。そして、図７（ｃ）に示すように、再撮影された画像（第２要素画像群ｔ２）を表示することで、被写体Ｔの凹凸の反転が２度行われることになり、観察方向から見て、表示面より奥に被写体Ｔと同一の凹凸形状を持つ像（再生像Ｔｘ）を再生することができる。
【０００５】
このとき、本手法では、図７（ｂ）に示すように、２回目の撮影を行う多数のピンホールまたは凸レンズからなる第２の撮影開口群２２ａと、１回目の表示を行う第１の表示開口群２１ｂとの距離（Ｌｄ）を調整することで、図７（ｃ）に示した再生像の位置を、距離（Ｌｄ）に等しい距離（Ｌｓ＝−Ｌｄ）分だけ移動させることができる。
【０００６】
また、前記問題を解決する第２の方法として、倒立像である要素画像を予め点対象の画像に変換する手法が開示されている（特許文献１、非特許文献２参照）。
この手法は、図８に示すように、要素画像を点対象変換することで、倒立した要素画像を正立した画像に変換するものである。具体的には、図９に示すように、撮影開口群を構成するレンズを屈折率分布レンズ（ＧＲＩＮレンズＧＬ）とし、ＧＲＩＮレンズＧＬの長さを蛇行する光路の周期Ｐの３／４倍とすることで、倒立した要素画像を正立した画像に変換することができる。
【０００７】
そして、図１０（ａ）に示すように、フィルム（撮影面）１１ｂの前面（被写体Ｔ側）に多数のＧＲＩＮレンズからなる第１の撮影開口群（ＧＲＩＮレンズアレイ）１１Ｇａを備えることで、正立した複数の要素画像からなる要素画像群ｔ１を撮影する。そして、図１０（ｂ）に示すように、写真（表示面）３１ａに正立した要素画像（要素画像群ｔ１）を表示させることで、第２の表示開口群３１ｂを通して奥行きが反転していない像（再生像Ｔｘ）を再生することができる。
【０００８】
また、本手法においては、図１１（ａ）に示すように、図１０（ａ）で示した第１の撮影開口群（ＧＲＩＮレンズアレイ）１１Ｇａの撮影面１１ｂとは反対側（被写体Ｔ側）に大口径凸レンズ（奥行き制御レンズＬ）を配置して、被写体を撮影する。なお、この状態では、図１１（ｂ）に示すように、要素画像群ｔ１の各要素画像が被写体Ｔに対して１８０度回転した状態となるため、図１１（ｃ）に示すように、表示面全体を１８０度回転させることで、被写体Ｔと同一の向きとなる像（再生像Ｔｘ）を再生することができる。そして、本手法では、大口径凸レンズ（奥行き制御レンズＬ）の位置（Ｌ１、Ｌ２）を調整することで、再生像の位置（奥行き）を制御することができる。
【特許文献１】特開平１０−１５０６７５号公報（段落００２６〜００３８、図７）
【非特許文献１】H.E.Ives, ”Optical properties of a Lippmann lenticulated sheet”, J.Opt.Soc.Am.21, pp.171-176(1931).
【非特許文献２】F.Okano,J.Arai,H.Hoshino and I.Yuyama, ”Three-dimensional video system based on integral photography”, Opt.Eng.,38,1072-1077(1999)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
前記した第１の方法は、再生像の凹凸が反転することなく、さらに、１回目の表示を行う第１の表示開口群と、２回目の撮影を行う第２の撮影開口群との距離を調整することで、再生像の位置を調整することができる。この第１の方法においては、遠方の被写体の再生像をより近くに再生することで画像の演出効果を高めたいという要望がある。しかし、この第１の方法では、再生像の位置が奥行き方向に平行移動するだけであるため、無限遠に存在する被写体の再生像は無限遠に再生されてしまう。このため、遠方の被写体の再生像をより近くに再生したいという要望を十分に満足することができないという問題がある。
【００１０】
これに対し、前記した第２の方法は、無限遠に被写体が存在する場合であっても、大口径凸レンズの位置を調整することで、再生像をより近くに再現することができる点で優れている。しかし、第２の方法は、第１の撮影開口群の被写体側に奥行き制御レンズ等の光学系を配置し、その光学系と撮影開口群（ＧＲＩＮレンズアレイ）との間に、再生像を調整するための距離を確保する必要がある。このため、本方法を採用した撮影装置は、少なくともその距離を確保した大きさとなる。しかし、撮影装置は、屋外等、場所を変えて撮影を行うものであるため、さらなる小型・軽量化が望まれている。
【００１１】
本発明は、以上のような問題点に鑑みてなされたものであり、撮影装置に奥行きを制御するためのレンズを設けることなく、撮影装置で撮影した画像を用いて、立体画像の再生像の奥行き制御を行うことが可能な立体画像再撮影装置、立体画像奥行き変換装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の立体画像再撮影装置は、立体画像として表示されたときに、被写体の凹凸が反転した再生像となる複数の要素画像からなる要素画像群を、さらに当該凹凸が反転した再生像となる画像として、再撮影する立体画像再撮影装置であって、要素画像群表示部と、表示開口群と、撮影開口群と、要素画像群撮影部とを備え、前記表示開口群と前記撮影開口群との間に奥行き制御レンズを備える構成とした。
【００１３】
かかる構成において、立体画像再撮影装置は、要素画像群表示部によって、事前に撮影された複数の要素画像（要素画像群）を表示する。そして、この要素画像の位置に対応して、要素画像群表示部の表示面側にピンホールまたはレンズである開口部を平面状に複数配列して設けた表示開口群によって、表示面から発光された要素画像の光を通過させる。また、立体画像再撮影装置は、撮影手段において、撮影面側にピンホールまたはレンズである開口部を平面状に複数配列して設けた撮影開口群によって要素画像の光を通過させ集光させることで、要素画像群撮影部によってその要素画像（要素画像群）を撮影する。これによって、撮影された要素画像は、再生時に被写体と同じ方向および凹凸を示す画像となる。なお、表示開口群、撮影開口群における開口部には、ピンホールや凸レンズ、あるいは光軸方向に複数の凸レンズからなるレンズ系を用いることができる。
このように、立体画像再撮影装置は、事前に撮影された凹凸が反転した再生像となる要素画像を再撮影することで、さらに当該凹凸が反転することになり、被写体と同一の凹凸形状となる立体画像を表示するための画像となる。
【００１４】
さらに、立体画像再撮影装置は、表示開口群と撮影開口群との間に奥行き制御レンズを備えることで、表示開口群によって再生される再生像の位置を奥行き制御レンズの光軸方向に移動させることができる。そして、立体画像再撮影装置は、この奥行き制御レンズを通過した光を撮影手段で撮影することで、その撮影された画像は、奥行きが奥行き制御レンズの光軸方向に移動したものとなる。これによって、この立体画像再撮影装置で再撮影された画像を、通常の立体画像表示装置により再生することで、実際の被写体の位置とは異なる（奥行きが制御された）位置に生成され視認されることになる。例えば、奥行き制御レンズとして、凸レンズを用いることで、立体画像再撮影装置によって撮影された画像は、実際の被写体の位置よりも手前に再生像を結像させる画像となる。
【００１５】
また、請求項２に記載の立体画像再撮影装置は、前記奥行き制御レンズが凸レンズであって、当該凸レンズを前記表示開口群に当接して配置する構成とした。
【００１６】
かかる構成において、立体画像再撮影装置は、奥行き制御レンズとしての凸レンズを表示開口群に当接して配置することで、立体画像再撮影装置で再撮影された画像は、凸レンズ（より正確には凸レンズの主点）の位置から、凸レンズの焦点距離までの間に被写体の位置が制御された画像となる。なお、凸レンズを表示開口群から離して配置した場合、凸レンズの焦点距離と被写体の位置によっては、被写体を再生像として再生できない場合があるが、凸レンズを表示開口群に当接することで、被写体の位置に関係なく、被写体の再生像が再生されることになる。
【００１７】
さらに、請求項３に記載の立体画像奥行き変換装置は、立体画像として表示されたときに、被写体の凹凸が反転した再生像となる複数の要素画像からなる第１要素画像群から、前記再生像の凹凸をさらに反転させるとともに、奥行きを変化させた第２要素画像群を生成する立体画像奥行き変換装置であって、分配手段と、第１要素画像光波変換手段と、奥行き変換手段と、第２要素画像光波変換手段と、加算手段とを備える構成とした。
【００１８】
かかる構成において、立体画像奥行き変換装置は、分配手段によって、第１要素画像群の光波を要素画像ごとに分配する。そして、立体画像奥行き変換装置は、第１要素画像光波変換手段によって、要素画像の光波を、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する。なお、ここで光波とは、要素画像の光を波動として扱った場合の振幅と位相を複素数で表したものである。
そして、立体画像奥行き変換装置は、奥行き変換手段によって、第１要素画像光波変換手段で変換された光波を、第１要素画像群全体の光を通過させる、予め定めた焦点距離となる仮想の凸レンズを通した光波に変換する。これによって、それぞれの要素画像が変化を受け、その結果、再生立体像の奥行きが変化することになる。
【００１９】
また、立体画像奥行き変換装置は、第２要素画像光波変換手段によって、奥行き変換手段で変換された光波を、要素画像ごとに対応する、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する。これによって、それぞれの要素画像は、凹凸が反転するとともに、仮想の凸レンズの焦点距離に応じて制御されることになる。
そして、立体画像奥行き変換装置は、加算手段によって、第２要素画像光波変換手段で変換された光波を要素画像の数だけ加算する。これによって、再生像として再生された場合に、被写体の奥行きが制御された画像（第２要素画像群）が生成されることになる。
【００２０】
また、請求項４に記載の立体画像奥行き変換プログラムは、立体画像として表示されたときに、被写体の凹凸が反転した再生像となる複数の要素画像からなる第１要素画像群から、前記再生像の凹凸をさらに反転させるとともに、奥行きを変化させた第２要素画像群を生成するために、コンピュータを、分配手段、第１要素画像光波変換手段、奥行き変換手段、第２要素画像光波変換手段、加算手段として機能させる構成とした。
【００２１】
かかる構成において、立体画像奥行き変換プログラムは、分配手段によって、第１要素画像群の光波を要素画像ごとに分配する。そして、立体画像奥行き変換プログラムは、第１要素画像光波変換手段によって、要素画像の光波を、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する。
そして、立体画像奥行き変換プログラムは、奥行き変換手段によって、第１要素画像光波変換手段で変換された光波を、第１要素画像群全体の光を通過させる、予め定めた焦点距離となる仮想の凸レンズを通した光波に変換する。
【００２２】
また、立体画像奥行き変換プログラムは、第２要素画像光波変換手段によって、奥行き変換手段で変換された光波を、要素画像ごとに対応する、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する。
そして、立体画像奥行き変換プログラムは、加算手段によって、第２要素画像光波変換手段で変換された光波を要素画像の数だけ加算する。これによって、再生像として再生された場合に、被写体の奥行きが制御された画像（第２要素画像群）が生成される。
【発明の効果】
【００２３】
本発明は、以下に示す優れた効果を奏するものである。
請求項１に記載の発明によれば、被写体を複数の要素画像として撮影した画像を再撮影することで、表示開口群と撮影開口群との間に備えた奥行き制御レンズにより、立体画像を表示するための画像に対して奥行きを制御した画像を生成することができる。これによって、遠方の被写体の再生像をより近くに再生することで画像の演出効果を高めることができる。また、撮影装置や表示装置に奥行きを制御するためのレンズを設ける必要がなく、撮影装置や表示装置の小型・軽量化を図ることができる。
請求項２に記載の発明によれば、奥行き制御レンズとしての凸レンズを表示開口群に当接して配置することで、被写体の位置に関係なく、被写体の再生像を再生することが可能な画像を撮影することができる。
【００２４】
請求項３または請求項４に記載の発明によれば、被写体を複数の要素画像として撮影した画像を再撮影した画像を演算により生成することができる。この生成された画像は、被写体の奥行きが制御された画像となるため、遠方の被写体の再生像をより近くに再生することができ、画像の演出効果を高めることができる。また、本発明によれば、奥行きを制御するための光学系を演算によって行うため、装置を小型・軽量化することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態について図面を参照して説明する。
［第１実施形態：立体画像再撮影装置］
まず、図１を参照して、本発明の第１実施形態に係る立体画像再撮影装置について説明する。図１は、立体画像再撮影装置の構成を示す概略図である。
図１に示すように、立体画像再撮影装置２は、立体画像撮影装置１において撮影された、被写体を複数の要素画像として撮影した画像（第１要素画像群）を再撮影し、立体画像表示装置３において立体画像として表示される再生像の奥行きを変化させた画像（第２要素画像群）を生成するものである。ここでは、立体画像再撮影装置２は、表示手段２１と、撮影手段２２と、奥行き制御レンズＬとを備えている。
【００２６】
表示手段２１は、立体画像撮影装置１において撮影された画像（第１要素画像群）を個々の要素画像ごとに倒立した画像として表示するものであって、要素画像群表示部２１ａと、表示開口群２１ｂとを備えている。
【００２７】
要素画像群表示部２１ａは、立体画像撮影装置１において撮影された画像（第１要素画像群）を表示するものであって、液晶ディスプレイ、プラズマディスプレイ、ＣＲＴ（Cathode Ray Tube）等である。
【００２８】
表示開口群２１ｂは、要素画像群表示部２１ａで表示される各要素画像の位置に対応して、当該要素画像から凹凸の反転した像を生成させるものであって、複数の開口部２１ｂ１，２１ｂ２，…，２１ｂｎを、要素画像群表示部２１ａの表示面に平面状に複数配列して構成されている。なお、開口部２１ｂ１，２１ｂ２，…，２１ｂｎは、ピンホールまたは凸レンズであって、ここでは、単一の凸レンズを用いることとしている。この表示開口群２１ｂを通過した光は、後記する奥行き制御レンズＬに入射される。
【００２９】
撮影手段２２は、奥行き制御レンズＬから入射された光を受光し、個々の要素画像ごとに撮影するものであって、撮影開口群２２ａと、要素画像群撮影部２２ｂとを備えている。
【００３０】
撮影開口群２２ａは、奥行き制御レンズＬから入射された光を集光させるものであって、複数の開口部２２ａ１，２２ａ２，…，２２ａｎを、後記する要素画像群撮影部２２ｂの撮影面に平面状に複数配列して構成されている。なお、開口部２２ａ１，２２ａ２，…，２２ａｎは、ピンホールまたは凸レンズであって、ここでは、凸レンズを用いることとしている。この撮影開口群２２ａを通過した光は、要素画像群撮影部２２ｂに入射される。
【００３１】
要素画像群撮影部２２ｂは、撮影開口群２２ａを通過し集光した光を受光し、撮影するものであって、ＣＣＤ（Charge Coupled Device：光電変換素子）、写真用フィルム等である。この要素画像群撮影部２２ｂでは、撮影開口群２２ａの開口部２２ａ１，２２ａ２，…，２２ａｎに対応した数の要素画像（第２要素画像群）が撮影されることになる。この要素画像群撮影部２２ｂで撮影された要素画像群（第２要素画像群）が、立体画像表示装置３において表示されることで、立体画像として被写体が再生されることになる。この際、表示開口群２１ｂによって生成された立体像（凹凸が反転）が、再度、立体画像表示装置３によって凹凸が反転して再生されるので、結果として奥行きの凹凸が正しく再現される。
【００３２】
奥行き制御レンズＬは、表示手段２１と撮影手段２２との間に配置され、要素画像群撮影部２２ｂの撮影面において撮影される要素画像が立体画像として表示される際の奥行きを制御するものである。この奥行き制御レンズＬには、凸レンズを用いることができ、少なくとも表示手段２１や撮影手段２２よりも大きい径を持つレンズとする。
この奥行き制御レンズＬは、入射光を屈折させるため、表示手段２１で表示された要素画像群の光は、奥行き制御レンズＬの屈折率、曲率半径等に応じて屈折されて、撮影手段２２で撮影されることになる。すなわち、撮影手段２２の撮影面において撮影される個々の要素画像は、奥行き制御レンズＬの光軸方向にずれて撮影される。これによって、撮影手段２２で撮影された要素画像群を、立体画像表示装置３において表示すると、実際の被写体位置よりも手前に生成され視認されることになる。例えば、奥行き制御レンズＬの屈折率が同じである場合は、当該奥行き制御レンズＬの位置をより表示手段２１側に位置させることで、立体画像として表示される再生像の位置をより観察方向手前側に再生させることができる。なお、奥行き制御レンズＬによって立体画像の奥行きを制御する手法については、図２を参照して、後で詳細に説明を行うことにする。
【００３３】
このように立体画像再撮影装置２を構成することで、立体画像を表示するための画像（要素画像群）から、奥行きを制御した画像を生成することができる。また、この構成によれば、立体画像撮影装置１に奥行き制御レンズを備える必要がないため、立体画像撮影装置１を小型・軽量化することが可能となる。
【００３４】
〔奥行き制御方法の詳細〕
次に、図２を参照して、図１で説明した立体画像再撮影装置２を用いた、立体画像の奥行き制御方法について説明する。図２は、本発明における立体画像の奥行き制御方法を説明するための模式図であって、（ａ）は被写体撮影時、（ｂ）は再撮影時、（ｃ）は立体画像表示時をそれぞれ示している。
【００３５】
また、ここでは、図２（ａ）に示すように、凸レンズを平面状に複数配列した撮影開口群１１ａと、その撮影開口群１１ａを通過した光を受光し、撮影する要素画像群撮影部１１ｂとを備えた立体画像撮影装置１が、被写体Ｔを画像（第１要素画像群ｔ１）として撮影するものとする。
また、図２（ｂ）に示すように、立体画像再撮影装置２は、図２（ａ）で撮影された画像（第１要素画像群ｔ１）と表示開口群２１ｂによって再生された像とを再撮影することで、奥行き制御を行った画像（第２要素画像群ｔ２）を生成するものとする。
さらに、図２（ｃ）に示すように、図２（ｂ）で生成された第２要素画像群ｔ２を表示する要素画像群表示部３１ａと、凸レンズを平面状に複数配列した表示開口群３１ｂとを備えた立体画像表示装置３が、第２要素画像群ｔ２を立体画像として提示するものとする。
【００３６】
以下、立体画像の奥行き制御方法について、被写体Ｔを撮影し、立体画像として再生するまでの手順と合わせて説明を行うことにする。なお、この手順は、撮影と表示とを１つのステップとしたときに、２回の撮影・表示ステップにより行われる。
〔第１撮影ステップ〕
まず、図２（ａ）に示すように、立体画像撮影装置１は、第１の撮影開口群１１ａである凸レンズの主点から、距離Ｌ０だけ離れた被写体Ｔを、第１要素画像群ｔ１として撮影する。
【００３７】
〔第１表示ステップ〕
そして、図２（ｂ）に示すように、立体画像再撮影装置２は、立体画像撮影装置１で撮影された画像（第１要素画像群ｔ１）を表示する。このとき、立体画像再撮影装置２の第１の要素画像群表示部２１ａで表示される第１要素画像群ｔ１は、奥行き制御レンズＬが存在しない場合、第１の表示開口群２１ｂの主点から距離Ｌ０だけ離れた位置に再生像Ｔ１を結像する画像となる。
【００３８】
〔第２撮影ステップ〕
そして、立体画像再撮影装置２は、第１の表示開口群２１ｂと第２の撮影開口群２２ａとの間に設けた奥行き制御レンズＬを通過した光を、第２要素画像群ｔ２として撮影する。なお、第２要素画像群ｔ２は、奥行き制御レンズＬを通過した画像であるため、前記した第１表示ステップにおいて再生される再生像Ｔ１よりも手前に結像する画像（再生像Ｔ２）となる。
ここで、奥行き制御レンズＬの主点から、第１表示ステップにおいて再生される再生像Ｔ１までの距離をＬａ、奥行き制御レンズＬの主点から、第２要素画像群ｔ２により再生される再生像Ｔ２までの距離をＬｂ、奥行き制御レンズＬの焦点距離をｆｄとすると、各Ｌａ、Ｌｂおよびｆｄは、以下の式（１）の関係を満たすことになる。
【００３９】
【数１】
【００４０】
すなわち、奥行き制御レンズＬから、第２要素画像群ｔ２により再生される再生像Ｔ２までの距離Ｌｂは、以下の式（２）により示すことができる。
【００４１】
【数２】
【００４２】
また、第１表示ステップにおいて第１要素画像群ｔ１により再生される再生像Ｔ１の位置と、第２要素画像群ｔ２により再生される再生像Ｔ２の位置との差Ｌｔは、以下の式（３）により示すことができる。
【００４３】
【数３】
【００４４】
〔第２表示ステップ〕
そして、図２（ｃ）に示すように、立体画像表示装置３は、立体画像再撮影装置２で撮影された画像（第２要素画像群ｔ２）を表示する。このとき、図２（ｂ）において、第１の表示開口群２１ｂと第２の撮影開口群２２ａとの距離（Ｌｄ）を調整することで、図２（ｃ）に示した再生像Ｔ３の位置を、距離（Ｌｄ）に応じた距離（Ｌｓ）分だけ観察方向手前に移動させることができる。すなわち、観察方向から見て被写体の再生像は、実際に撮影した被写体の位置から、以下の式（４）に示した距離（Ｌｓ）だけ手前に表示されることになる。
【００４５】
【数４】
【００４６】
以上説明したように、立体画像再撮影装置２において、立体画像撮影装置１で撮影された画像（第１要素画像群ｔ１）と表示開口群２１ｂによって再生された像とを再撮影することで、図７に示した従来の方法に比べて、より大きく奥行きを制御することができる。また、図１１に示した従来の方法に比べて、立体画像撮影装置１に奥行き制御レンズを設ける必要がないため、立体画像撮影装置１の構成を簡略化することができる。
【００４７】
なお、図２（ｂ）において、奥行き制御レンズＬの主点から、第１表示ステップにおいて再生される再生像Ｔ１までの距離Ｌａが、奥行き制御レンズＬの焦点距離ｆｄと等しくなった場合、前記式（２）に示すように、奥行き制御レンズＬから、第２要素画像群ｔ２により再生される再生像Ｔ２までの距離Ｌｂは無限遠（∞）となり、奥行き制御ができないことになる。この場合、第１表示ステップにおける奥行き制御レンズＬの主点から、再生像Ｔ１までの距離Ｌａが、奥行き制御レンズＬの焦点距離ｆｄと等しくならないように、奥行き制御レンズＬの位置を調整することで回避することができる。
【００４８】
（奥行き制御方法の好適例）
次に、図３を参照して、図２で説明した奥行き制御レンズＬの焦点距離ｆｄに影響されることなく、再生像の奥行きを制御することが可能な奥行き制御方法について説明を行う。図３は、本発明における好適な立体画像の奥行き制御方法を説明するための模式図であって、（ａ）は被写体撮影時、（ｂ）は再撮影時、（ｃ）は立体画像表示時をそれぞれ示している。なお、図３の立体画像再撮影装置２Ｂは、図３（ｂ）において、奥行き制御レンズＬが第１の表示開口群２１ｂに当接して配置されていることが、図２における立体画像再撮影装置２の構成と異なっている。なお、立体画像撮影装置１および立体画像表示装置３は、それぞれ図２と同様のものである。
【００４９】
以下、立体画像の奥行き制御方法について、図２で説明したステップと同様、撮影と表示とを１つのステップとした２回の撮影・表示ステップについてその手順を順に説明する。
〔第１撮影ステップ〕
まず、図３（ａ）に示すように、立体画像撮影装置１は第１の撮影開口群１１ａを介して被写体を第１要素画像群として撮影する。このとき、被写体の位置は、立体画像撮影装置１に最も近づいた位置である第１の撮影開口群１１ａの位置Ｔ０から、最も離れた位置である無限遠Ｔ∞まで存在する可能性がある。
【００５０】
〔第１表示ステップ〕
そして、図３（ｂ）に示すように、立体画像再撮影装置２Ｂは、立体画像撮影装置１で撮影された画像（第１要素画像群）を表示する。
ここで、図３（ｂ）に示すように、立体画像再撮影装置２Ｂは、奥行き制御レンズＬを第１の表示開口群２１ｂに当接していることから、前記した図２（ｂ）において、第１の表示開口群２１ｂから、その表示開口群２１ｂにより再生される再生像Ｔ１までの距離Ｌ０と、奥行き制御レンズＬから、その奥行き制御レンズＬを介して再生される再生像Ｔ２までの距離Ｌａは、等しい距離であるとみなすことができる。
【００５１】
これは、距離Ｌ０（すなわち、距離Ｌａ）が、第１の表示開口群２１ｂの直前から無限遠まで変化すると、前記式（２）により、奥行き制御レンズＬから、その奥行き制御レンズＬを介して再生される再生像Ｔ２までの距離Ｌｂは、“０”から焦点距離ｆｄまで変化することを示している。
【００５２】
〔第２撮影ステップ〕
そこで、図３（ｂ）に示すように、立体画像再撮影装置２Ｂは、第１表示ステップで表示された画像を、奥行き制御レンズＬを介して第２要素画像群として撮影することで、その撮影された第２要素画像群は、奥行き制御レンズＬの主点（距離“０”）から、焦点距離ｆｄまでに再生可能な画像となる。
【００５３】
〔第２表示ステップ〕
そして、図３（ｃ）に示すように、立体画像表示装置３は、立体画像再撮影装置２Ｂで撮影された画像を表示する。
これによって、図３（ａ）において第１の撮影開口群１１ａ上に位置していた被写体の再生像は、図３（ｃ）において第２の表示開口群３１ｂから観測方向手前の位置に再生される。このとき、第２の表示開口群３１ｂから再生像までの距離は、図３（ｂ）における第２の撮影開口群２２ａから奥行き制御レンズＬまでの距離ＬＩ，０と等しくなる。
【００５４】
また、図３（ａ）において無限遠に存在する被写体の再生像は、図３（ｃ）において第２の表示開口群３１ｂから観測方向奥の位置に再生される。このとき、第２の表示開口群３１ｂから再生像までの距離は、図３（ｂ）における第２の撮影開口群２２ａから奥行き制御レンズＬを介して再生される再生像までの距離ＬＩ，∞と等しくなる。
【００５５】
以上説明したように、立体画像再撮影装置２Ｂにおいて、奥行き制御レンズＬを第１の表示開口群２１ｂに当接して配置することで、距離“０”から無限遠までに存在する被写体の再生像を、奥行き制御レンズＬの焦点距離ｆｄ内で再生することができる。
なお、ここでは、立体画像再撮影装置２，２Ｂは、奥行き制御レンズＬ等のレンズ系により再生像の奥行き制御を行ったが、本発明は、光学系と等価な演算回路等によって奥行き制御を行うこととしてもよい。
【００５６】
［第２実施形態：立体画像奥行き変換装置］
次に、図４を参照して、本発明の第２実施形態に係る立体画像奥行き変換装置について説明する。図４は、立体画像奥行き変換装置の構成を示すブロック構成図である。また、立体画像奥行き変換装置４は、図３に示した立体画像再撮影装置２Ｂと等価な装置とし、適宜図５を参照することとする。また、立体画像奥行き変換装置４に入力される要素画像群（第１要素画像群）は、立体画像撮影装置１（図１参照）において、ＣＣＤ等によって撮影された映像信号である。
【００５７】
図４に示すように、立体画像奥行き変換装置４は、第１実施形態で説明した立体画像再撮影装置２Ｂにおける光学系による処理を演算により行うものである。ここでは、立体画像奥行き変換装置４は、分配手段４１と、要素画像分の要素画像変換手段４２、奥行き変換手段４３および要素画像再生手段４４と、加算手段４５とを備えている。
【００５８】
分配手段４１は、入力された映像信号を要素画像単位に分割するものである。ここで、分配手段４１は、入力された映像信号における要素画像群表示部２１ａの表示面に表示される第１要素画像群ｔ１のｍ番目の要素画像の光波（ｇｓ，ｍ（ｘｓ，ｍ，ｙｓ，ｍ））を、ｍ番目の要素画像に予め対応付けられている要素画像変換手段４２に出力する。なお、ここで、光波とは、映像信号を光の波動として扱った場合の振幅と位相を複素数で表したものである。
【００５９】
要素画像変換手段（第１要素画像光波変換手段）４２は、要素画像の光波を、予め定めた焦点距離となる要素レンズ（仮想のピンホールまたはレンズ）を通した際の光波に変換するものである。ここでは、要素画像変換手段４２は、光波計算手段４２ａと、位相シフト手段４２ｂとを備えている。
【００６０】
光波計算手段４２ａは、要素画像の光波をフレネル近似することで、要素レンズ（仮想のピンホールまたはレンズ）に入射する光波を演算するものである。すなわち、光波計算手段４２ａは、第１の表示開口群２１ｂのｍ番目の開口部（要素レンズ等）に到達する光波に相当する信号として、一般的なフレネル近似を用いて、以下の式（５）により要素画像ごとの光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を演算する。
【００６１】
【数５】
【００６２】
ここで、ｘｓ，ｍ、ｘｏ，ｍは、それぞれ画像全体（第１要素画像群）におけるｍ番目の要素画像の中心のｘ座標、表示開口群２１ｂのｍ番目の開口部の光軸中心からのｘ座標である。また、ｙｓ，ｍ、ｙｏ，ｍは、それぞれ画像全体（第１要素画像群）におけるｍ番目の要素画像の中心のｙ座標、表示開口群２１ｂのｍ番目の開口部の光軸中心からのｙ座標である。また、ｆ１は第１の表示開口群２１ｂの開口部（要素レンズ）の焦点距離、ｋは波数２π／λ（λは波長）である。
この要素画像ごとの光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））は、位相シフト手段４２ｂに出力される。
【００６３】
位相シフト手段４２ｂは、光波計算手段４２ａから入力された要素画像の光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））から、位相を仮想の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段４２ｂは、以下の式（６）に示すように、要素レンズに相当する位相分だけ光波（Ｒｉ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））をシフトさせることで、要素レンズから出射する光波に相当する信号（光波Ｒｏ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を演算する。
【００６４】
【数６】
【００６５】
この要素画像ごとの光波（Ｒｏ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））は、奥行き変換手段４３に出力される。
【００６６】
奥行き変換手段４３は、要素画像変換手段４２で変換された光波を、予め定めた焦点距離となる仮想の奥行き制御レンズＬ（凸レンズ）を通した際の光波に変換するものである。ここでは、奥行き変換手段４３は、位相シフト手段４３ａと、再分配手段４３ｂとを備えている。
【００６７】
位相シフト手段４３ａは、要素画像変換手段４２で変換された光波の位相を仮想の凸レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段４３ａは、以下の（７）式に示すように、奥行き制御レンズＬに相当する位相分だけ光波（Ｒｏ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））をシフトさせることで、奥行き制御レンズＬから出射する光波に相当する信号（光波Ｒｄ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を演算する。
【００６８】
【数７】
【００６９】
ここで、ｘ０，ｙ０は奥行き制御レンズＬの光学中心からの距離である。また、第１の表示開口群２１ｂの開口部（要素レンズ）のピッチをＰとすると、ｘｏ＝ｘｏ，ｍ＋ｍＰ、ｙｏ＝ｙｏ，ｍ＋ｍＰの関係が成り立つ。
この位相シフト手段４３ａで演算された要素画像ごとの光波（Ｒｄ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））は、再分配手段４３ｂに出力される。
【００７０】
再分配手段４３ｂは、位相シフト手段４３ａから入力された要素画像ごとの光波（Ｒｄ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））から、第２の撮影開口群２２ａの開口部（要素レンズ）に入射する光波を演算するものである。前記した位相シフト手段４３ａで演算された光波（Ｒｄ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））は、ｍ番目の要素レンズに到達するだけではなく、周辺の要素レンズにも到達することになる。そこで、再分配手段４３ｂは、位相シフト手段４３ａから入力された要素画像ごとの光波（Ｒｄ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））が、第２の撮影開口群２２ａの開口部（要素レンズ）に分配された結果となるｎ番目の要素レンズに到達した光波（Ｒｐ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））を、一般的なフレネル近似を用いて、以下の式（８）により演算する。
【００７１】
【数８】
【００７２】
ここで、ｘｐ，ｎ、ｙｐ，ｎは、それぞれｎ番目の撮影開口群２２ａの開口部（要素レンズ）の光学中心からのｘ座標、ｙ座標である。また、Ｌｄは奥行き制御レンズＬと第２の撮影開口群２２ａとの距離である。
この撮影開口群２２ａの開口部ごとの光波（Ｒｐ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））は、要素画像再生手段４４に出力される。
【００７３】
要素画像再生手段（第２要素画像光波変換手段）４４は、奥行き変換手段４３で変換された光波を、予め定めた焦点距離となる要素レンズ（仮想のピンホールまたはレンズ）を通した際の光波に変換するものである。ここでは、要素画像再生手段４４は、位相シフト手段４４ａと、光波計算手段４４ｂとを備えている。
【００７４】
位相シフト手段４４ａは、奥行き変換手段４３で変換された光波（Ｒｐ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））から、位相を仮想の要素レンズに相当する位相分だけシフトさせた光波を演算するものである。すなわち、位相シフト手段４４ａは、以下の式（９）に示すように、要素レンズに相当する位相分だけ光波（Ｒｐ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））をシフトさせることで、要素レンズから出射する光波に相当する信号（光波Ｒｒ，ｎ，ｍ（ｘｏ，ｍ，ｙｏ，ｍ））を演算する。
【００７５】
【数９】
【００７６】
ここで、ｆ２は第２の撮影開口群２２ａの開口部（要素レンズ）の焦点距離である。
この要素レンズごとの光波（Ｒｒ，ｎ，ｍ（ｘｐ，ｎ，ｙｐ，ｎ））は、光波計算手段４４ｂに出力される。
【００７７】
光波計算手段４４ｂは、要素レンズごとの光波をフレネル近似することで、要素レンズ（仮想のピンホールまたはレンズ）から出射し、要素画像群撮影部２２ｂの撮影面に到達する光波を演算するものである。すなわち、光波計算手段４４ｂは、以下の式（１０）により、ｎ番目の要素レンズから出射されて要素画像群撮影部２２ｂの撮影面に到達する光波（Ｒｅ，ｎ，ｍ（ｘｅ，ｎ，ｙｅ，ｎ））を演算する。
【００７８】
【数１０】
【００７９】
ここで、ｘｅ，ｎ、ｙｅ，ｎは、それぞれ要素画像の中心からのｘ座標、ｙ座標である。この光波計算手段４４ｂで演算された光波（Ｒｅ，ｎ，ｍ（ｘｅ，ｎ，ｙｅ，ｎ））は、加算手段４５に出力される。
【００８０】
加算手段４５は、要素画像再生手段４４から出力された要素画像ごとの光波から、その光波電力の総和を演算することで、奥行き変換処理が施された映像信号、すなわち、第２要素画像群ｔ２となる映像信号を生成するものである。
ところで、要素画像再生手段４４から出力される要素画像群撮影部２２ｂの撮影面に到達する光波（Ｒｅ，ｎ，ｍ（ｘｅ，ｎ，ｙｅ，ｎ））の電力は、光の振幅の２乗で表すことができる。また、第１要素画像群ｔ１の各要素画像として発せられた光波は、インコヒーレント（波長や位相が一定ではない）であるため、光波の位相は無相関であるとみなすことができる。
【００８１】
そこで、加算手段４５は、第１要素画像群ｔ１の各要素画像（−Ｍ〜Ｍ）として発せられた光波の電力の総和を、以下の式（１１）により演算することで、第２要素画像群ｔ２の一つの要素画像（式（１１）ではｎ番目の要素画像）の電力を求め、その電力に比例した映像信号を出力する。
【００８２】
【数１１】
【００８３】
これによって、立体画像奥行き変換装置４は、図３に示した立体画像再撮影装置２Ｂと等価で、演算により、立体画像として表示される再生像の奥行きを変化させた画像（第２要素画像群）を生成することができる。
なお、本発明は、この構成に限定されるものではない。例えば、ここでは、立体画像奥行き変換装置４は、図５に示したように、奥行き制御レンズＬを第１の表示開口群２１ｂに当接して配置した立体画像再撮影装置２Ｂと等価な装置として実現したが、図１に示した立体画像再撮影装置２と等価な装置として実現することも可能である。
この場合、奥行き変換手段４３に、要素画像変換手段４２（位相シフト手段４２ｂ）から出力された光波をフレネル近似して、奥行き制御レンズＬに入射する光波を演算するフレネル近似手段（図示せず）を、位相シフト手段４３ａの前段に設ければよい。
【００８４】
また、ここでは、要素レンズを凸レンズとして計算する例を示したが、ピンホールの場合は、位相シフト関数（位相シフト手段４２ｂおよび４４ａ）を省略することができる。この場合、焦点距離ｆ１およびｆ２は、ピンホールとそれぞれに対応する要素画像との距離となる。
【００８５】
また、立体画像奥行き変換装置４は、前記した各手段を演算回路によって実現することも可能であるし、中央処理装置（ＣＰＵ：Central Processing Unit）、主記憶装置（ＲＡＭ：Random Access Memory）等を備えた一般的なコンピュータを、前記した各手段として機能させるプログラム（立体画像奥行き変換プログラム）により動作させることで実現することも可能である。
以上説明したように、本発明は、第１表示ステップから第２撮影ステップまでの処理を、光学系ではなく演算により行うことで、立体画像再撮影装置２、２Ｂにおける効果に加え、装置構成を小型化することができる効果を奏することになる。
【図面の簡単な説明】
【００８６】
【図１】本発明の第１実施形態に係る立体画像再撮影装置の構成を示す概略図である。
【図２】本発明における立体画像の奥行き制御方法を説明するための模式図であって、（ａ）は立体画像撮影装置における被写体撮影時、（ｂ）は立体画像再撮影装置における再撮影時、（ｃ）は立体画像表示装置における立体画像表示時を示している。
【図３】本発明における好適な立体画像の奥行き制御方法を説明するための模式図であって、（ａ）は立体画像撮影装置における被写体撮影時、（ｂ）は立体画像再撮影装置における再撮影時、（ｃ）は立体画像表示装置における立体画像表示時を示している。
【図４】本発明の第２実施形態に係る立体画像奥行き変換装置の構成を示すブロック構成図である。
【図５】本発明における演算により立体画像の奥行きを制御する方法を説明するための模式図である。
【図６】従来のＩＰ方式の概念を説明するための説明図であって、（ａ）は被写体撮影時、（ｂ）は立体画像表示時を示している。
【図７】従来の立体画像の奥行き制御方法を説明するための模式図であって、（ａ）は被写体撮影時、（ｂ）は再撮影時、（ｃ）は立体画像表示時を示している。
【図８】従来の奥行きの反転を解消するための要素画像の点対象変換を示す図である。
【図９】従来のＧＲＩＮレンズを用いた点対称変換を模式的に示す図である。
【図１０】従来のＧＲＩＮレンズアレイを用いたＩＰ方式の概念を説明するための説明図であって、（ａ）は被写体撮影時、（ｂ）は立体画像表示時を示している。
【図１１】従来のＧＲＩＮレンズアレイを用いた立体画像の奥行き制御方法を説明するための模式図であって、（ａ）は被写体撮影時、（ｂ）は再撮影時、（ｃ）は立体画像表示時を示している。
【符号の説明】
【００８７】
１ 立体画像撮影装置
２、２Ｂ 立体画像再撮影装置
２１ 表示手段
２１ａ 要素画像群表示部
２１ｂ 表示開口群
２２ 撮影手段
２２ａ 撮影開口群
２２ｂ 要素画像群撮影部
３ 立体画像表示装置
４ 立体画像奥行き変換装置
４１ 分配手段
４２ 要素画像変換手段（第１要素画像光波変換手段）
４３ 奥行き変換手段
４４ 要素画像再生手段（第２要素画像光波変換手段）
４５ 加算手段
Ｌ 奥行き制御レンズ
【特許請求の範囲】
【請求項１】
立体画像として表示されたときに、被写体の凹凸が反転した再生像となる複数の要素画像からなる要素画像群を、さらに当該凹凸が反転した再生像となる画像として、再撮影する立体画像再撮影装置であって、
前記要素画像群を表示する要素画像群表示部と、
この要素画像群表示部で表示される各要素画像の位置に対応した複数のピンホールまたはレンズである開口部を、前記要素画像群表示部の表示面側に平面状に配列した表示開口群と、
この表示開口群と対面する位置に設けた、複数のピンホールまたはレンズである開口部を平面状に配列した撮影開口群と、
この撮影開口群を撮影面側に設けるとともに、前記要素画像群を撮影する要素画像群撮影部とを備え、
前記表示開口群と前記撮影開口群との間に、前記要素画像群撮影部において撮影される要素画像が立体画像として表示される際の奥行きを制御する奥行き制御レンズを備えていることを特徴とする立体画像再撮影装置。
【請求項２】
前記奥行き制御レンズは凸レンズであって、当該凸レンズを前記表示開口群に当接して配置することを特徴とする請求項１に記載の立体画像再撮影装置。
【請求項３】
立体画像として表示されたときに、被写体の凹凸が反転した再生像となる複数の要素画像からなる第１要素画像群から、前記再生像の凹凸をさらに反転させるとともに、奥行きを変化させた第２要素画像群を生成する立体画像奥行き変換装置であって、
前記第１要素画像群の光波を前記要素画像ごとに分配する分配手段と、
この分配手段で分配された要素画像の光波を、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する第１要素画像光波変換手段と、
この第１要素画像光波変換手段で変換された光波を、前記第１要素画像群全体の光を通過させる、予め定めた焦点距離となる仮想の凸レンズを通した光波に変換する奥行き変換手段と、
この奥行き変換手段で変換された光波を、前記要素画像ごとに対応する、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する第２要素画像光波変換手段と、
この第２要素画像光波変換手段で変換された光波を、前記要素画像の数だけ加算することで、前記第２要素画像群を生成する加算手段と、
を備えていることを特徴とする立体画像奥行き変換装置。
【請求項４】
立体画像として表示されたときに、被写体の凹凸が反転した再生像となる複数の要素画像からなる第１要素画像群から、前記再生像の凹凸をさらに反転させるとともに、奥行きを変化させた第２要素画像群を生成するために、コンピュータを、
前記第１要素画像群の光波を前記要素画像ごとに分配する分配手段、
この分配手段で分配された要素画像の光波を、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する第１要素画像光波変換手段、
この第１要素画像光波変換手段で変換された光波を、前記第１要素画像群全体の光を通過させる、予め定めた焦点距離となる仮想の凸レンズを通した光波に変換することで、前記要素画像の奥行きを変化させる奥行き変換手段、
この奥行き変換手段で変換された光波を、前記要素画像ごとに対応する、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する第２要素画像光波変換手段、
この第２要素画像光波変換手段で変換された光波を、前記要素画像の数だけ加算することで、前記第２要素画像群を生成する加算手段、
として機能させることを特徴とする立体画像奥行き変換プログラム。
【請求項１】
立体画像として表示されたときに、被写体の凹凸が反転した再生像となる複数の要素画像からなる要素画像群を、さらに当該凹凸が反転した再生像となる画像として、再撮影する立体画像再撮影装置であって、
前記要素画像群を表示する要素画像群表示部と、
この要素画像群表示部で表示される各要素画像の位置に対応した複数のピンホールまたはレンズである開口部を、前記要素画像群表示部の表示面側に平面状に配列した表示開口群と、
この表示開口群と対面する位置に設けた、複数のピンホールまたはレンズである開口部を平面状に配列した撮影開口群と、
この撮影開口群を撮影面側に設けるとともに、前記要素画像群を撮影する要素画像群撮影部とを備え、
前記表示開口群と前記撮影開口群との間に、前記要素画像群撮影部において撮影される要素画像が立体画像として表示される際の奥行きを制御する奥行き制御レンズを備えていることを特徴とする立体画像再撮影装置。
【請求項２】
前記奥行き制御レンズは凸レンズであって、当該凸レンズを前記表示開口群に当接して配置することを特徴とする請求項１に記載の立体画像再撮影装置。
【請求項３】
立体画像として表示されたときに、被写体の凹凸が反転した再生像となる複数の要素画像からなる第１要素画像群から、前記再生像の凹凸をさらに反転させるとともに、奥行きを変化させた第２要素画像群を生成する立体画像奥行き変換装置であって、
前記第１要素画像群の光波を前記要素画像ごとに分配する分配手段と、
この分配手段で分配された要素画像の光波を、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する第１要素画像光波変換手段と、
この第１要素画像光波変換手段で変換された光波を、前記第１要素画像群全体の光を通過させる、予め定めた焦点距離となる仮想の凸レンズを通した光波に変換する奥行き変換手段と、
この奥行き変換手段で変換された光波を、前記要素画像ごとに対応する、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する第２要素画像光波変換手段と、
この第２要素画像光波変換手段で変換された光波を、前記要素画像の数だけ加算することで、前記第２要素画像群を生成する加算手段と、
を備えていることを特徴とする立体画像奥行き変換装置。
【請求項４】
立体画像として表示されたときに、被写体の凹凸が反転した再生像となる複数の要素画像からなる第１要素画像群から、前記再生像の凹凸をさらに反転させるとともに、奥行きを変化させた第２要素画像群を生成するために、コンピュータを、
前記第１要素画像群の光波を前記要素画像ごとに分配する分配手段、
この分配手段で分配された要素画像の光波を、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する第１要素画像光波変換手段、
この第１要素画像光波変換手段で変換された光波を、前記第１要素画像群全体の光を通過させる、予め定めた焦点距離となる仮想の凸レンズを通した光波に変換することで、前記要素画像の奥行きを変化させる奥行き変換手段、
この奥行き変換手段で変換された光波を、前記要素画像ごとに対応する、仮想のピンホールまたは予め定めた焦点距離を持つレンズである開口部を通した光波に変換する第２要素画像光波変換手段、
この第２要素画像光波変換手段で変換された光波を、前記要素画像の数だけ加算することで、前記第２要素画像群を生成する加算手段、
として機能させることを特徴とする立体画像奥行き変換プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−１１４４８３（Ｐ２００７−１１４４８３Ａ）
【公開日】平成１９年５月１０日（２００７．５．１０）
【国際特許分類】
【出願番号】特願２００５−３０５７５０（Ｐ２００５−３０５７５０）
【出願日】平成１７年１０月２０日（２００５．１０．２０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成１９年５月１０日（２００７．５．１０）
【国際特許分類】
【出願日】平成１７年１０月２０日（２００５．１０．２０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]