画像処理システム及び方法
【課題】高圧環境下で撮影しても、常圧環境で撮影した画像と同等の画像が得られる、画像処理システム及び方法を提供する。
【解決手段】ビューポート１１Ａを有する耐圧容器１１内の撮影装置１２を用いビューポート１１Ａを経由して耐圧容器１１外の撮影対象物１を撮影して生成した撮影画像を処理する。撮影装置１２により形成される像が耐圧容器１１外の媒質の状態及びビューポートの状態に応じて移動する量に関して、補正情報を格納する補正情報格納手段１５と、耐圧容器１１が高圧環境下にある状態で、撮影装置１２で生成される撮影画像上の撮影対象物１における各対象点への視線ベクトルを、補正情報格納手段１５に格納されている補正情報により補正して、撮影画像を処理する撮影画像補正手段１６と、を備える。
【解決手段】ビューポート１１Ａを有する耐圧容器１１内の撮影装置１２を用いビューポート１１Ａを経由して耐圧容器１１外の撮影対象物１を撮影して生成した撮影画像を処理する。撮影装置１２により形成される像が耐圧容器１１外の媒質の状態及びビューポートの状態に応じて移動する量に関して、補正情報を格納する補正情報格納手段１５と、耐圧容器１１が高圧環境下にある状態で、撮影装置１２で生成される撮影画像上の撮影対象物１における各対象点への視線ベクトルを、補正情報格納手段１５に格納されている補正情報により補正して、撮影画像を処理する撮影画像補正手段１６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高圧環境下で生成した撮影画像を処理する画像処理システム及び方法に関する。
【背景技術】
【０００２】
海洋資源などの探索や海底探査のために、海中探査機が用いられている。海中探査機には有人用と無人用とがあり、無人用としては、自律型無人探査機（ＡＵＶ）と遠隔操作型無人探査機（ＲＯＶ）とがある。前者のＡＵＶは、海中探査機に動力源を搭載して単独で探査を行うものである。後者のＲＯＶでは、海洋探査船と海中探査機との間で例えばケーブルが接続されており、海中探査機は例えばケーブルを経由して電力供給を受け、海中探査機に搭載された観測機器や制御機器と海洋探査船との間で例えばケーブルを経由して各種信号や観測データを送受信する。
【０００３】
海中探査機は、各種の制御機器、観測機器（以下、「電子機器」と呼ぶ。）と電源とを収容するための耐圧容器と、海中探査機の骨格を形成し、かつ耐圧容器を保護し支持するためのフレームと、海中で海中探査機に浮力を与えるための浮力材と、推進力を与えるスラスタなどから構成されている。特に、深海で使用する電子機器は、耐圧容器に収容されている。ここで、耐圧容器とは水圧に耐えられるような容器を意味する。
【０００４】
耐圧容器は、例えば円筒状の筒体の両端を蓋体で水密に閉止して構成される。光学カメラなどの観測機器、海中探査機の動作を制御するための制御機器、マニピュレータや浮上用、通信用機器などの各種の装置は、それぞれ耐圧容器に組み込まれている。
【０００５】
耐圧容器に収容された光学カメラを用いて海中の対象物を撮影すると、対象物からの光が屈折する。そのときの屈折に関するものとして特許文献１、２及び非特許文献１があり、水圧による屈折に関するものとして特許文献３がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７‐８４１８０号公報
【特許文献２】特開２０００‐２９９８０５号公報
【特許文献３】特開２００９‐２４４５５４号公報
【非特許文献】
【０００７】
【非特許文献１】中山大介 他、「ステレオ視によるガラス水槽中物体の３次元計測のための観測パラメータ」、電子情報通信学会論文誌、Ｄ−ＩＩ、情報・システム、ＩＩ−パターン処理、Ｊ８４−Ｄ−ＩＩ（１２）、２６８４頁〜２６８９頁、２００１年１２月１日
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、光学カメラを収容した耐圧容器が水深度に応じて高圧環境下におかれ、耐圧容器外の対象物を光学カメラで撮影する場合を想定する。この場合、第１に、対象物から光学カメラへ達する光線は、耐圧容器外の領域とビューポートの領域と耐圧容器内の領域という３つの領域を経由する。第２に、ビューポートは水深度に応じた高圧力により大きく変形する。例えば、ビューポートの歪曲の度合いが変化する。またその変化の度合いも、例えば、ビューポートの中心付近とビューポートの周縁付近とでは異なり、均一ではない。よって、光学カメラで撮影される画像には、３つの領域の不連続な屈折とビューポートの変形とに起因して複合的な歪みが含まれている。そのため、高圧環境下で撮影すると、常圧環境下で撮影した画像と同等の画像が得られないという課題がある。
【０００９】
そこで、本発明は、高圧環境下で撮影しても、常圧環境で撮影した画像と同等の画像が得られる、画像処理システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明における画像処理システムは、ビューポートを有する耐圧容器内の撮影装置を用いビューポートを経由して耐圧容器外の撮影対象物を撮影して生成した撮影画像を処理する、画像処理システムであって、撮影装置により形成される像が耐圧容器外の媒質の状態及びビューポートの状態に応じて移動する量に関して、補正情報を格納する補正情報格納手段と、耐圧容器が高圧環境下にある状態で、撮影装置で生成される撮影画像上の撮影対象物における各対象点への視線ベクトルを、補正情報格納手段に格納されている補正情報により補正して、該撮影画像を処理する撮影画像補正手段と、を備える。
【００１１】
一方、本発明における画像処理方法の一つは、ビューポートを有する耐圧容器内の撮影装置を用いビューポートを経由して耐圧容器外の撮影対象物を撮影して生成した撮影画像を処理する画像処理方法であって、耐圧容器がおかれている環境の圧力を変化させて、ビューポートを介して撮影装置により、パターンを有する補正情報算出用リファレンスを撮影するステップと、撮影装置による補正情報算出用リファレンスの撮影により得られる撮影パターンと常圧環境下での補正情報算出用リファレンス撮影により得られる撮影パターンとを比較してパターンの移動量を求め、撮影装置により形成される像が耐圧容器外の媒質の状態及びビューポートの状態に応じて移動する量に関する補正情報を求めるステップと、耐圧容器が撮影環境において撮影対象物を撮影して撮影画像を生成するステップと、補正情報に基づいて、撮影画像上の撮影対象物における各対象点への視線ベクトルを補正し、撮影画像を補正するステップと、を含む。
【００１２】
また、本発明における画像処理方法の一つは、ビューポートを有する耐圧容器内の撮影装置を用いビューポートを経由して耐圧容器外の撮影対象物を撮影して生成した撮影画像を処理する画像処理方法であって、耐圧容器が撮影環境にある状態で撮影装置により撮影対象物を撮影して撮影画像を生成するステップと、既に補正情報として求められている、撮影装置により形成される像が耐圧容器外の媒質の状態及びビューポートの状態に応じて移動する量に基づいて、撮影画像上の撮影対象物における各対象点への視線ベクトルを補正し、撮影画像を補正するステップと、を含む。
【発明の効果】
【００１３】
本発明によると、高圧環境下で撮影しても、常圧環境で撮影した画像と同等の画像が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明のコンセプトを説明するための概念図である。
【図２】撮影画像から対象点の画素位置を求めることを説明するための概念図である。
【図３】撮影対象物と撮影装置と撮影画像との位置関係を模式的に示す図である。
【図４】高圧環境下で撮影した撮影画像から常圧環境下で撮影したと同等の画像を得るための画像処理の様子を模式的に示し、（Ａ）は高圧環境下で撮影した撮影画像、（Ｂ）は補正後の画像を示す図である。
【図５】本発明の第１の実施形態に係る画像処理システムの構成図である。
【図６】本発明の第２の実施形態に係る画像処理システムの構成図である。
【図７】可動部としてのマニピュレータを用いた画像パターンの取得方法を説明するための模式図であり、（Ａ）はマニピュレータ及び参照物を模式的に示す図であり、（Ｂ）はマニピュレータの移動過程を模式的に示す図である。
【図８】補正情報算出用リファレンスの一例を示す斜視図である。
【図９（Ａ）】補正パラメータの導出により求めた補正項の圧力依存性を示すグラフである。
【図９（Ｂ）】補正パラメータの導出により求めた補正係数の圧力依存性を示すグラフである。
【図１０】高圧環境下におけるステレオ視３次元計測システムを示し、（Ａ）は撮影対象物と撮影装置との配置関係を示し、（Ｂ）はそのシステム構成図である。
【図１１】（Ａ）及び（Ｂ）は本発明が利用される分野での一形態を模式的に示す図である。
【発明を実施するための形態】
【００１５】
以下添付図面を参照しながら本発明のコンセプト、さらにそれを具現化した幾つかの実施形態について詳細に説明するが、本発明は特許請求の範囲に記載した範囲において適宜変更して実施することができる。
【００１６】
〔本発明のコンセプト〕
本発明のコンセプトについて説明する。図１は、本発明のコンセプトを説明するための概念図である。図１に示すように、撮影の対象物１が高圧環境下に置かれ、この高圧環境下に、耐圧容器内の撮影装置２により、耐圧容器のビューポート３経由で、撮影される。例えば、撮影対象物１は海水という媒質中にあり、撮影装置２は空気という媒質中にあり、撮影対象物１から撮影装置２に達する光線Ｌは、海水、ビューポート、空気という３つの媒質を経由することになる。この撮影される像は、各媒質の屈折率及び媒質の圧力変化に応じて複合的な歪みを含んでおり、この撮影される像の各点は、常圧環境下で撮影される像の各点からずれた位置となる。このずれを補正量として計算し、補正量に基づいて撮影画像の各画素の位置を補正することにより、常圧環境下で撮影した画像と同等の画像が得られる。
【００１７】
その際必要となる補正量の導出について概説する。撮影装置２を耐圧容器に格納し、その耐圧容器の設置環境を昇圧、降圧する。例えば耐圧容器を高圧槽内に設置することで実現してもよい。高圧槽の圧力を昇降する際、既知の画像パターンを撮影する。この画像パターンは、例えば格子状にマークが配列されたものである。撮影される像は環境圧力に応じて変化する。よって、各格子状のマークが環境圧力に応じてどのように移動するかを測定することができる。この測定した移動量に基づいて、像に歪みのない状態から像に歪みのある状態への写像を導出することができる。このようにして求めた写像の逆写像を用いれば、高圧環境下で撮影した像から、常圧環境下で撮影した画像と同等の画像を求めることができる。
【００１８】
〔補正式の導出に関して〕
高圧環境下での撮影画像データにおいて、歪みを含んだ像（虚像）から歪みを取り除いた像（実像）へ補正するための、補正式、補正パラメータの導出方法、さらに、補正式を用いた補正の方法について順に説明する。
【００１９】
補正式の一つの例としては、式（１）で示される。
【数１】
ここで、式（１）における各項及び係数は、次のとおりである。図１に示すように、レンズ中心を通る線、即ちレンズ中心軸をＬとし、虚像上のある一点からＬまでの距離をＷｉとする。また、実像上の対応点からＬまでの距離をＷｒとする。Ｗｉは撮影装置２で生成した撮影画像から得られる。Ｄは、撮影装置２から撮影対象物１までの距離である。Ｋｗは、撮影装置２を収容する耐圧容器中の媒質の屈折率ｎａと耐圧容器外の媒質の屈折率ｎｗとの比、即ち、ｎａ／ｎｗで定まる。補正項Ｄａはビューポート３と撮影装置２との距離であり、圧力に応じて変化する。補正係数ｄは歪みの補正係数であり、圧力に応じて変化する。
【００２０】
〔式（１）で表される補正式の導出について〕
ここで、例示した補正式の導出方法の例を示す。図１に示すように、撮影装置２から撮影対象物１までの光線（図１に太線で示す）は、耐圧容器内部、ビューポート３、ビューポート３外の３つの領域を経由する。各領域における光線の角度を、撮影装置２の光軸中心を基準として表わし、撮影装置２からビューポート３内側への入射角をθa、ビューポート３を通過する光線の角度をθg、ビューポート３外側への出射角をθwとする。また、耐圧容器内の気体の屈折率をna,ビューポート(アクリル、ガラス等)の屈折率をng,ビューポート外側の媒質の屈折率をnwとする。なお、撮影装置２のレンズ中心軸はビューポート面と直交しているものとする。
【００２１】
ビューポート３内側の境界面での屈折率と角度の関係から式（２）が成立する。
【数２】
三角関数における次式（３）の関係式を用いて式変形すると、式（４）を得る。
【数３】
【数４】
ここで、Ｋｇ＝ｎａ／ｎｇとおくと、式（５）を得る。
【数５】
ビューポート３外側と外部の媒質との境界面では、式（６）を得る。
【数６】
さらに式（７）の関係が成り立つ。
【数７】
よって、カメラレンズから出た角度とビューポート３から水中に出る角度との関係をまとめて考え、Ｋｗ＝ｎａ／ｎｗとおくと、式（８）が成り立つ。
【数８】
【００２２】
今、撮影装置２からビューポート３内側までの距離をＤａ、ビューポート３の厚みをＤｇ、ビューポート３外側から撮影対象物１までの距離をＤｗとする。レンズ中心軸Ｌから実像のある一点までをＷｒ、レンズ中心軸から虚像の対応点までをＷｉとする。実際の位置Ｗｒに対し、見かけ上の位置がＷｉである。Ｗｒ、Ｗｉは式（９）、式（１０）で表される。
【数９】
【数１０】
ここで、式（５）、式（８）を式（９）へ代入し、Ｄ＝Ｄａ+Ｄｇ+Ｄｗとおくと、式（１１）より、式（１２）を得る。
【数１１】
【数１２】
式（１２）において、媒質中における撮影対象物１までの距離はビューポート３の厚みに対して十分に遠い、すなわち、Ｄｗ>>Ｄｇとみなして
Ｄ≒Ｄｗ，Ｄｇ≒０
と近似し、（１-Ｋｗ２）を補正係数ｄに置き換えて、式（１）を得る。
【００２３】
〔補正パラメータの導出について〕
式（１）の補正式には、未知のパラメータ補正項Ｄａ及び補正係数ｄを求める必要がある。他のパラメータは、既知あるいは計測により得られる。補正項Ｄａと補正係数ｄの導出について説明する。
【００２４】
先ず、既知の画像パターンを有する補正情報算出用リファレンス（「参照物」とも呼ぶ）は、参照点の実像の位置(群)は確定できるので、Ｗｒを確定可能である。
高圧環境下における撮影画像から、実像に対応する参照点の虚像の位置(群)が計測される。これにより、Ｗｉが計測により求まる。
撮影装置２から補正情報算出用リファレンスまでの距離Ｄは計測により得られる。
屈折率の比Ｋｗは、耐圧容器中の媒質の屈折率ｎａと耐圧容器外の媒質の屈折率ｎｗとがよく知られている場合は既知の値を用いてもよいし、実際にセンサで計測することにより確定してもよい。
パラメータＤａ及びｄの導出は、得られたＷｒの参照点群及びＷｉの対応点群の値から、補正式（１）を満たす最適なＤａ及びｄを求める問題と等価である。よって、一般的な数理的手法、例えば山登り法（ヒルクライミング）などで、求めることが可能である。以下ではこの導出法について説明する。
【００２５】
補正項Ｄａ及び補正係数ｄの導出法の一例について説明する。
ある圧力状態におけるＷｒ群およびＷｉ群(次式では添字iで示す)について、式（１３）のように、補正式（１）の差分を２乗し、参照点の数分の総和をとる。なお、差分を２乗せずに、差分の絶対値としてもよい。
【数１３】
このＳ（Ｄａ，ｄ）を最小化するＤａ、ｄを求めればよい。これは一般的な最適化問題であるから、山登り法（ヒルクライミング）などの方法によって計算すればよい。各圧力状態にて同様の計算を行うことにより、各圧力状態におけるＤａ，ｄが得られる。これら離散的に得られたＤａ,ｄに対し、補間やフィッティング等の手法を用いることにより、圧力とＤａ,ｄとの連続関数を得ることができる。
【００２６】
〔補正方法〕
求められた補正パラメータを用い、式（１）に例示される補正式を使って撮影画像から実像への補正を行うことができる。画素位置から視線ベクトルを求める方法は、ごく一般的な手法を用いることができる。
【００２７】
先ず、撮影画像から、対象点の画素位置を求める。図２は撮影画像から対象点の画素位置を求めることを説明するための概念図である。ＣＣＤなどのイメージセンサを有する撮影装置２での撮影解像度をＭ×Ｎとすると、図２に示すように、撮影画像は（０，０）から（Ｍ−１，Ｎ−１）までの座標で、撮影画像上の点を表現することができる。図３は撮影対象物１と撮影装置２と撮影画像との位置関係を模式的に示す図である。図３に示すように、撮影装置２の焦点距離をＦとすると、撮影画像は撮影装置２から距離Ｆの位置で、撮影装置２の光軸と直交する平面上にあると考えてよい。撮影画像から対象点の画素位置を求めるためには、図２に示すように、対象点が撮影画像上のどの座標位置（ｐｘ，ｐｙ）に映っているかを調べればよい。対象点への視線ベクトルは、撮影画像上での画素位置（ｐｘ，ｐｙ）への方向ベクトルであり、画素位置（ｐｘ，ｐｙ）、撮影画像上の光軸中心（ｃｘ，ｃｙ）、距離Ｆがわかれば求めることができる。
【００２８】
次に、式（１）に例示される補正式を用い、対象点への補正後の視線ベクトルを求める。Ｋｗ、Ｄは既知である。パラメータＤａ、ｄは、前述した補正パラメータ導出法にて得られた、圧力に応じた値を用いる。これにより、高圧環境下で撮影した撮影画像を補正して、常圧環境下で撮影した画像と同等の画像を得ることができる。
図４は高圧環境下で撮影した撮影画像から常圧環境下で撮影した画像と同等の画像を得るための画像処理の様子を模式的に示し、（Ａ）は高圧環境下で撮影した撮影画像、（Ｂ）は補正後の画像を示す図である。
前述の処理により、撮影装置２から、高圧環境下で撮影した撮影画像上の対象点の画素位置までの視線ベクトルが求まる。図４（Ａ）では、高圧環境下での撮影画像のある一点を光軸中心からの矢印で示しており、矢印の長さをＷｉとする。図４（Ｂ）は、同じ点の補正後の位置を示し、矢印の長さをＷｒとする。光軸中心の撮影画像上の位置は、圧力変化によって変わらない。式（１）に例示される補正式を用いれば、ＷｒからＷｉを計算することができるため、補正後の位置を求めることができる。
【００２９】
以上の一連の処理により、高圧環境下で撮影された画像上の見かけ上の位置Ｗｉから常圧環境下で撮影されたと等価な画像上位置Ｗｒが求まる。
よって、撮影画像上での全ての画素について同様の処理を行えば、撮影画像から補正後の画像を得ることができる。
【００３０】
ここで、撮影装置２としてステレオカメラを用いれば、補正後の２本の視線ベクトルによって、高圧環境下での歪みを補正した３次元計測を行うことができる。
【００３１】
このコンセプトの優位性について説明する。
第１に、圧力変化によるビューポート３の変化を直接測定していないため、ビューポート３の形状、厚み、耐圧容器への取付態様を考慮する必要がない。つまり、ビューポート３は例えば平面形状であっても、ドーム型のような半球面状であってもよい。
第２に、撮影対象物１の存在する媒質が、圧力、温度、組成変化等により変化する屈折率を有する場合であっても、撮影する環境と補正量を測定する環境とを同等にすることができれば、何ら制約を受けない。
第３に、撮影する環境、補正量を測定する環境について圧力による制約がない。圧力の上限や下限がないためである。
第４に、撮影対象物１の存在する媒質が液体でも気体でも適用することができる。
第５に、撮影対象物１から撮影装置２に達する光の波長については、撮影する環境と補正量を測定する環境とで同等にすれば、遠赤外線から紫外線までの任意の波長に適用でき、制限がない。
第６に、撮影装置２に含まれるレンズなどの光学系は、撮影環境と補正量の測定環境とで同等にすれば、何ら制約されない。
第７に、撮影中に補正することも、撮影後に補正することも可能である。
【００３２】
〔第１の実施形態〕
以下、本発明の各実施形態について詳細に説明する。図５は、本発明の第１の実施形態に係る画像処理システム１０のブロック構成図である。本発明の第１の実施形態に係る画像処理システム１０は、ビューポート１１Ａを有する耐圧容器１１内に、撮影装置１２と記憶部１３と補正情報算出手段１４と補正情報格納手段１５と撮影画像補正手段１６とセンサ１７と通信手段１８と制御部１９とを備えている。なお、撮影装置１２と通信手段１８以外の構成要素は当該耐圧容器の外部（別の耐圧容器等）に配置し、通信により情報の受け渡しをすることも可能である。
【００３３】
耐圧容器１１は背景技術で説明したので、説明を省略する。撮影装置１２は、光学カメラと、広角レンズ、ミラーなどの光学系とを備え、制御手段１９により撮影制御され、撮影により生成した撮影画像は記憶部１３に記憶される。センサ１７は、耐圧容器１１の周りの環境、例えば圧力、撮影対象物１のある媒質の温度をモニタリングする。通信手段１８は、図示しない外部、例えば船舶、監視センタなどと交信して撮影画像のデータの送受信や各種の制御データの送受信を行う。送受信は音波などの無線通信、光ファイバなどを用いた有線通信の何れか又はその組み合わせである。
【００３４】
補正情報算出手段１４は、耐圧容器１１が異なる圧力環境下にある状態で、撮影装置１２により前述の画像パターンを有する補正情報算出用リファレンスを撮影して撮影パターン画像を生成し、圧力変化による撮影パターン画像上のパターンの移動量から補正情報を求める。求まった補正情報は補正情報格納手段１５に格納される。
【００３５】
補正情報格納手段１５には、撮影装置１２により形成される像が耐圧容器１１外の媒質の状態及びビューポートの状態に応じて移動する量に関して、補正情報を格納している。この補正情報は、圧力毎に補正情報を表したテーブル形式、圧力と補正情報との関係を式で表した補正式など、その表現形態は問わない。
【００３６】
撮影画像補正手段１６は、記憶部１３に格納されている撮影画像について、この撮影画像上の撮影対象物１における各対象点への視線ベクトルを、補正情報格納手段１５に格納されている補正情報により補正して、該撮影画像を処理する。ここで、「撮影画像を補正する」とは、画素毎に、歪みによるずれをなくして撮影画像そのものを補正する場合のみならず、撮影画像自体は修正しなくとも、位置計算等の過程で補正を適用した計算を行うことも含まれる。なお、制御手段１９は、耐圧容器１１内にある各手段を統括制御するものである。
【００３７】
〔第２の実施形態〕
本発明の第２の実施形態に係る画像処理システム２０について説明する。図６は、本発明の第２の実施形態に係る画像処理システム２０を示すシステム構成図である。図５に示すシステム１０とは、補正情報算出手段１４を備えていない点で異なる。これは、既に、補正情報が求められて補正情報格納手段１５に格納されているためである。
【００３８】
本発明の第１及び第２の実施形態に係る画像処理システム１０，２０は以上のようにシステム構成されている。以下では、画像処理システム１０，２０を用いることで、ビューポート１１Ａを有する耐圧容器１１内の撮影装置１２を用いて、ビューポート１１Ａを経由して耐圧容器１１外の撮影対象物１を撮影して生成した撮影画像の処理の仕方について説明する。
【００３９】
〔高圧環境下における画像パターンの取得手順〕
第１の実施形態に係る画像処理システム１０を念頭に、高圧環境下における画像パターンの取得手順について説明する。
第１のステップにおいて、ビューポート１１Ａを備えた耐圧容器１１に撮影装置１２としての光学カメラを格納する。
【００４０】
第２のステップにおいて、補正情報算出用リファレンスとして、既知の複数の画像パターンが印刷された物（以下、「参照物」と呼ぶ。）と耐圧容器１１とを、大気中において任意の位置姿勢状態（以下、「基本状態」と呼ぶ。）で設置する。基本状態は、耐圧容器１１と参照物とが正対した姿勢関係において、光学カメラの撮影画像視野がそのパターンによりほぼ満たされる位置関係とする。
【００４１】
ここで、参照物は高圧環境下において変形しないものとし、参照物に印刷されている画像パターンは、圧力変化により剥離したり、移動したり、変形しないものとする。これを確認するために、圧力変化を伴った高圧環境下にて、参照物の信頼性試験を適宜行うことが望ましい。参照物のサイズは高圧槽の規模に応じて決定され、印刷される画像パターンの個数は、高圧槽に設置した際に光学カメラの撮影画像視野が当該画像パターンでほぼ満たされる個数とする。各画像パターンのサイズは、撮影装置１２の解像度、実際に使用する場合の撮影対象物１までの代表的な距離に応じて決定される。
【００４２】
第３のステップにおいて、基本状態において、撮影装置１２を用いて参照物を撮影し、その撮影画像を記憶部１３に保存する。参照物の姿勢を適宜変化させた場合には、その都度同様に参照物を撮影してその撮影画像を保存する。
【００４３】
第４ステップにおいて、基本状態にて耐圧容器１１と参照物とをフレーム（図示せず）に固定して高圧槽内に設置する。
第５ステップにおいて、高圧槽内の媒質中で常圧環境の下において、撮影装置１２を用いて参照物を撮影し、その撮影画像を記憶部１３に保存する。
【００４４】
第６ステップにおいて、高圧槽内を昇圧し、任意の環境圧に達した時点において、その都度撮影装置１２を用いて参照物を撮影し、その画像を保存する。この処理を最大圧に達するまで繰り返し行う。最大圧は、耐圧容器１１及び撮影装置１２使用環境に即して任意に決定される。昇圧の間隔は例えば１００ｋＰａ、１ＭＰａとし、昇圧、降圧毎に撮影する。
【００４５】
第７ステップにおいて、最高圧に到達した時点で撮影装置１２を用いて参照物を撮影し、その画像を記憶部１２に保存する。その後、任意の時間最高圧を保持する。最高圧を任意時間保持した後、第８ステップにおいて、高圧槽内を降圧する。この際、降圧開始前に撮影装置１２を用いて参照物を撮影し、その画像を記憶部１３に保存する。昇圧時の手順と同様に、任意の環境圧に到達した時点において、その都度撮影装置１２を用いて参照物を撮影し、その画像を保存する。これを常圧に到達するまで繰り返し行う。参照物を撮影する圧力間隔は昇圧時と同様適切に定める。
【００４６】
第９ステップにおいて、降圧終了後、常圧環境下において撮影装置１２を用いて参照物を撮影し、その画像を記憶部１２に保存する。
【００４７】
以上のステップを順に行うことにより、大気圧における既知の画像パターン、媒質中において圧力変化前の、即ち常圧における既知の画像パターン、媒質中における昇圧時の、即ち高圧における既知の画像パターン、媒質中における降圧時の、即ち高圧時の既知の画像パターンが得られる。
【００４８】
なお、高圧槽における昇降圧速度については、耐圧容器及び光学カメラを実際に使用する環境に移動する速度に即して事前に任意に設定する。例えば、海中探査機への搭載を想定する場合は、海中探査機の下降速度、上昇速度に合せてもよい。
最高圧時の保持時間は、耐圧容器及びビューポートの変形が生じるのに十分な時間を要すればよく、昇圧、降圧を連続することを排除するものではない。
【００４９】
〔既知の画像パターンの処理〕
ここで、図５に示す補正情報算出手段１４による、各既知の画像パターンの処理について説明する。大気圧における既知の画像パターンから、カメラ原点から対象物までの距離Ｄを求めることができる。常圧における既知の画像パターンを基準とし、昇圧時及び降圧時における各高圧時の既知の画像パターンと比較することにより、昇降圧時における各画像パターンの移動量を求めることができる。
【００５０】
移動量の算出については、前述した、たとえばヒルクライミング法などを用いて、各圧力において補正項Ｄａ及び補正係数ｄを所定の精度で求められれば十分である。これにより、圧力をインデックスとしたテーブル（「補正パラメータテーブル」と呼ぶ。）を作成してもよいし、変数Ｄａ及びｄと圧力との相関について回帰分析等を用いて求めた近似式、つまり補正式で規定してもよい。この移動量については、補正情報格納手段１５に格納される。
【００５１】
上述のように補正式が特定できるので、撮影補正手段１６は、補正情報格納手段１５に格納された補正情報に基づいて、撮影画像上の撮影対象物１における各対象点への視線ベクトルを、補正情報格納手段１５に格納されている補正情報により補正して、この撮影画像を処理する。その際、撮影画像の全ての画素について、上述の補正式（１）により補正する必要はなく、例えば、表示に必要な領域の画素のみに関して補正すれば十分である。
【００５２】
〔マニピュレータを用いた画像パターンの取得法〕
画像パターンが例えば海中探査機のマニピュレータに取り付けられ、海中探査機に図５に示す画像処理システム１０が搭載されている場合を例にとって説明する。海中探査機は一般にプラットフォームと呼ぶことができる。
【００５３】
図７はマニピュレータを用いた画像パターンの取得方法を説明するための模式図である。前提として、対象となる撮影装置１２はビューポート１１Ａ付きの耐圧容器１１に格納され、耐圧容器１１はマニピュレータなどの可動部３０を装備したプラットフォームに搭載されている。海中探査機は、図７（Ａ）に示すように、可動部３０を備え、可動部３０は、一又は複数の関節３１でアーム３２同士が接続されており、可動部３０の先端部には手部３３を設けている。
【００５４】
先ず、第１ステップとして、可動部３０の任意位置に、既知の画像パターンが印字されている参照物３４を取り付ける。例えば、図７（Ａ）に示すように、参照物３４は手部３３に取り付けられ、この参照物３４には例えば格子状のドットが付されている。この際、参照物中心（画像パターン中心）と可動部３０の任意位置との相対位置関係は厳密に計測されているものとする。ここで、可動部３０は、その先端部を任意の３次元位置姿勢へと誘導する機構を有しており、その際各マニピュレータの各関節の状態、例えば関節角度又は角速度をセンシングすることができる。なお、参照物３４のドットは一つでも複数でもよい。
【００５５】
第２ステップとして、気中において、複数の任意位置へ参照物３４を移動し撮影することにより撮影装置１２のキャリブレーションを実施する。これにより、カメラ座標系とマニピュレータ座標系との位置及び姿勢の関係が既知となる。
【００５６】
第３ステップとして、可動部３０を装備した状態で、目的のミッションを遂行する圧力環境下にプラットフォームを到達させる。ここで、圧力環境とは、プラットフォームを海中探査機と仮定するならばミッションを行う深度に到達したときの環境、プラットフォームを高圧ガスの貯蔵タンクと仮定するならば貯蔵圧力まで加圧した環境となる。
【００５７】
第４ステップとして、撮影装置１２により参照物３４が撮影できる任意の位置姿勢へと可動部３０を誘導したのち、参照物３４を撮影し、当該撮影画像を保存する。例えば図７（Ｂ）に示すように、マニピュレータなどの可動部３０を立体的に移動することで、参照物３４の位置姿勢を誘導して、その都度、参照物３４を撮影する。
【００５８】
第５ステップとして、撮影画像を取得した際のカメラ原点から参照物中心までの距離を、可動部３４の順運動学モデルより算出し保存する。またその際の参照物の姿勢も同順運動学モデルより算出し保存する。上記距離を算出する際、順運動学モデルを用いるが、前述の第２ステップにてキャリブレーションを行っていることにより、カメラ座標系とマニピュレータ座標系との位置姿勢関係は事前に既知となっている。
【００５９】
第６ステップとして、光学カメラの撮影画像視野をほぼ全包括する範囲にて参照物３４が撮影されるように第４ステップ及び第５ステップを繰り返す。参照物３４を撮影する位置姿勢、実施回数は、仮に光学カメラの撮影画像視野を当該画像パタンーンでほぼ満たすような大型の参照物を撮影した場合と同等の効果が得られるように設定する。また、これにより設定された位置姿勢へ誘導するように可動部を制御する場合は、手動あるいは事前のプログラミングにより自動にて行う。
【００６０】
第７ステップとして、全ての撮影を終了後、全撮影画像とその際の参照物中心までの距離を用いて、画像パターンの移動量を求める。求めた移動量より、補正パラメータテーブルや補正式を作成することにより、実環境、即ち高圧環境における補正量がリアルタイムに取得される。
【００６１】
以上のステップを経ることで、補正情報が求まるので、撮影補正手段１６は、補正情報格納手段１５に格納された補正情報に基づいて、撮影画像上の撮影対象物１における各対象点への視線ベクトルを補正して、撮影画像を処理する。このように、各対象点が撮影画像の全ての画素に対応するようそれぞれ視線ベクトルを補正することで、常圧環境で撮影した画像と同等の歪んでいない画像を得ることができる。
【実施例】
【００６２】
次に実施例を説明する。補正情報算出用リファレンスとして、図８に示す格子状に円形のマーク又は幾何学模様を有する参照物を用いた。図８に示すように、リング状の底部４１の周上に間隔をあけて支柱４２が立設され、底部４１には補正情報算出用リファレンス４３としてマーク又は幾何学模様４３Ａが格子状に設けられている。また、各支柱４２にも補正情報算出用リファレンス４４として、円形のマーク又は幾何学模様４４Ａが多数設けられている。なお、補正情報算出用リファレンス４３の上方には、ドーム型あるいは平型のビューポートを備えた撮影装置４５が設けられている。図８に示す補正情報算出用リファレンス４３，４４及び撮影装置４５を備えた筐体４０を、高圧水槽に入れて、水を注入して圧力を変化させた。
【００６３】
図９は、前述の補正パラメータの導出により求めた補正項、補正係数の圧力依存性を示すグラフであり、（Ａ）は補正項Ｄａ、（Ｂ）は補正係数ｄに関するものである。図の横軸は圧力であり、縦軸はそれぞれ補正項Ｄａ、補正係数ｄである。図９から、補正項Ｄａ、補正係数ｄは何れも線形性及び再現性を有する。よって、圧力に応じて補正項Ｄａ、補正係数ｄを求めることもできる。
【００６４】
〔適用される応用形態〕
本発明は各種に応用される。応用形態の一つは、高圧環境下におけるステレオ視３次元計測システムである。図１０は、高圧環境下におけるステレオ視３次元計測システム５０を示し、（Ａ）は撮影対象物１と撮影装置５２Ａ，５２Ｂとの配置関係を示し、（Ｂ）はそのシステム構成図である。図５や図６と同様の撮影装置５２Ａ，５２Ｂが、スレテオ視を生成するよう２台以上で構成されている。ステレオ視３次元計測システム５０は、左右の撮影装置５２Ａ，５２Ｂと、撮影装置５２Ａ，５２Ｂからの撮影画像を補正する補正手段５６と、ステレオマッチング部５１と、図５及び図６に示す各要素（図１０では図示せず）を備える。ステレオ視３次元計測システム５０は、左右の撮影装置５２Ａ，５２Ｂで生成した撮影画像の歪みを撮影画像補正手段５６により補正することで、高圧環境下における歪みを補正した３次元計測を行うことができる。これにより、高圧環境下における任意の物体の３次元位置、面積、長さを算出することができる。なお、撮影対象物１の３次元位置、面積、長さのみを得たい場合には、補正後の位置が得られればよいため、画像自体の補正は行わなくとも、位置計算上必要な補正計算を行えば十分である。
【００６５】
応用形態の一つは、高圧環境下における広角カメラを用いた全周囲画像表示システムである。全周囲画像表示システムは、広角レンズやミラーを有する光学系を備える。広角カメラが撮影した撮影画像を前述のように歪み補正し、１８０度視野角を有し、歪みの少ない画像を表示する。また、撮影装置を複数配置することで、全周囲画像表示、即ちパノラマ表示を実現することができる。
【産業上の利用可能性】
【００６６】
本発明が利用される分野について説明する。
第１として、海中探査機の操作、観測システムへの適用である。有人又は無人の海中探査機を操作する場合や、海中探査機における撮影装置が撮影した映像を用いて深海観測を行う場合、広角カメラを備える撮影装置を設けることにより、歪みのない広視野角映像を提供することができる。例えば、図１１（Ａ）に示すように、海水探査機６０の前部と後部とに広角レンズ及び光学カメラを備えた撮影装置６１，６２が備えられることで、図示するように広い範囲の視界領域を得ることができる。また、図１１（Ｂ）に示すように、海水探査機６０の上部と下部とに広角レンズ及び光学カメラを備えた撮影装置６３，６４が設けられることで、図示するように広い範囲の視界領域を得ることができる。図１１（Ａ），（Ｂ）に示す矢印は、撮影装置６１，６２，６３，６４からの視界が広がっている方向を示しており、その方向に照明が届く限り、各撮影装置６１，６２，６３，６４が広角で撮影することができる。また例えば、ステレオ視３次元計測システムを海中探査機６０に備えれば、海中探査機６０が調査、観測ミッション中に撮影した対象までの距離だけでなく、その対象の任意の長さ、サイズ、面積等を計測することができる。
第２として、海底ステーションの監視システムへの適用である。海底ステーションには定点設置型の撮影装置が設けられている。そこで、広角カメラを備える撮影装置を設けることにより、撮影した画像を補正することで、監視映像として、歪みのない広視野角映像を提供することができる。また、ステレオ視３次元計測システムを海底ステーションに備えれば、海底ステーションが撮影した物標までの距離だけでなく、その対象の任意の長さ、サイズ、面積等を計測することができる。
第３として、高圧ガス貯蔵施設、製造設備の内部監視システムへの適用である。高圧ガス貯蔵容器内や製造設備内に広角カメラを備える撮影装置を設けておき、撮影装置により撮影した画像を補正することで、歪みのない広視野角映像を得ることができる。これにより、内部のヒビ、クラック、腐食などの正常でない部位を早期に発見することができる。また、ステレオ視３次元計測システムを備えれば、ヒビ、クラック、腐食などの正常でない部位に関し、その３次元位置を確定できるほか、長さ、サイズ、面積等を計測することもできる。
【符号の説明】
【００６７】
１：撮影対象物
２，１２：撮影装置
３，１１Ａ：ビューポート
１０，２０：画像処理システム
１１：耐圧容器
１３：記憶部
１４：補正情報算出手段
１５：補正情報格納手段
１６：撮影画像補正手段
１７：センサ
１８：通信手段
１９：制御手段
３０：可動部
３１：関節
３２：アーム
３３：手部
３４：参照物
４０：筐体
４１：底部
４２：支柱
４３，４４：補正情報算出用リファレンス
４３Ａ，４４Ａ：マーク又は幾何学模様
４５：撮影装置
５０：スレテオ視３次元計測システム
５１：ステレオマッチング部
５２Ａ，５２Ｂ：撮影装置
５６：撮影画像補正手段
６０：海中探査機
６１，６２，６３，６４：撮影装置
【技術分野】
【０００１】
本発明は、高圧環境下で生成した撮影画像を処理する画像処理システム及び方法に関する。
【背景技術】
【０００２】
海洋資源などの探索や海底探査のために、海中探査機が用いられている。海中探査機には有人用と無人用とがあり、無人用としては、自律型無人探査機（ＡＵＶ）と遠隔操作型無人探査機（ＲＯＶ）とがある。前者のＡＵＶは、海中探査機に動力源を搭載して単独で探査を行うものである。後者のＲＯＶでは、海洋探査船と海中探査機との間で例えばケーブルが接続されており、海中探査機は例えばケーブルを経由して電力供給を受け、海中探査機に搭載された観測機器や制御機器と海洋探査船との間で例えばケーブルを経由して各種信号や観測データを送受信する。
【０００３】
海中探査機は、各種の制御機器、観測機器（以下、「電子機器」と呼ぶ。）と電源とを収容するための耐圧容器と、海中探査機の骨格を形成し、かつ耐圧容器を保護し支持するためのフレームと、海中で海中探査機に浮力を与えるための浮力材と、推進力を与えるスラスタなどから構成されている。特に、深海で使用する電子機器は、耐圧容器に収容されている。ここで、耐圧容器とは水圧に耐えられるような容器を意味する。
【０００４】
耐圧容器は、例えば円筒状の筒体の両端を蓋体で水密に閉止して構成される。光学カメラなどの観測機器、海中探査機の動作を制御するための制御機器、マニピュレータや浮上用、通信用機器などの各種の装置は、それぞれ耐圧容器に組み込まれている。
【０００５】
耐圧容器に収容された光学カメラを用いて海中の対象物を撮影すると、対象物からの光が屈折する。そのときの屈折に関するものとして特許文献１、２及び非特許文献１があり、水圧による屈折に関するものとして特許文献３がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７‐８４１８０号公報
【特許文献２】特開２０００‐２９９８０５号公報
【特許文献３】特開２００９‐２４４５５４号公報
【非特許文献】
【０００７】
【非特許文献１】中山大介 他、「ステレオ視によるガラス水槽中物体の３次元計測のための観測パラメータ」、電子情報通信学会論文誌、Ｄ−ＩＩ、情報・システム、ＩＩ−パターン処理、Ｊ８４−Ｄ−ＩＩ（１２）、２６８４頁〜２６８９頁、２００１年１２月１日
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、光学カメラを収容した耐圧容器が水深度に応じて高圧環境下におかれ、耐圧容器外の対象物を光学カメラで撮影する場合を想定する。この場合、第１に、対象物から光学カメラへ達する光線は、耐圧容器外の領域とビューポートの領域と耐圧容器内の領域という３つの領域を経由する。第２に、ビューポートは水深度に応じた高圧力により大きく変形する。例えば、ビューポートの歪曲の度合いが変化する。またその変化の度合いも、例えば、ビューポートの中心付近とビューポートの周縁付近とでは異なり、均一ではない。よって、光学カメラで撮影される画像には、３つの領域の不連続な屈折とビューポートの変形とに起因して複合的な歪みが含まれている。そのため、高圧環境下で撮影すると、常圧環境下で撮影した画像と同等の画像が得られないという課題がある。
【０００９】
そこで、本発明は、高圧環境下で撮影しても、常圧環境で撮影した画像と同等の画像が得られる、画像処理システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明における画像処理システムは、ビューポートを有する耐圧容器内の撮影装置を用いビューポートを経由して耐圧容器外の撮影対象物を撮影して生成した撮影画像を処理する、画像処理システムであって、撮影装置により形成される像が耐圧容器外の媒質の状態及びビューポートの状態に応じて移動する量に関して、補正情報を格納する補正情報格納手段と、耐圧容器が高圧環境下にある状態で、撮影装置で生成される撮影画像上の撮影対象物における各対象点への視線ベクトルを、補正情報格納手段に格納されている補正情報により補正して、該撮影画像を処理する撮影画像補正手段と、を備える。
【００１１】
一方、本発明における画像処理方法の一つは、ビューポートを有する耐圧容器内の撮影装置を用いビューポートを経由して耐圧容器外の撮影対象物を撮影して生成した撮影画像を処理する画像処理方法であって、耐圧容器がおかれている環境の圧力を変化させて、ビューポートを介して撮影装置により、パターンを有する補正情報算出用リファレンスを撮影するステップと、撮影装置による補正情報算出用リファレンスの撮影により得られる撮影パターンと常圧環境下での補正情報算出用リファレンス撮影により得られる撮影パターンとを比較してパターンの移動量を求め、撮影装置により形成される像が耐圧容器外の媒質の状態及びビューポートの状態に応じて移動する量に関する補正情報を求めるステップと、耐圧容器が撮影環境において撮影対象物を撮影して撮影画像を生成するステップと、補正情報に基づいて、撮影画像上の撮影対象物における各対象点への視線ベクトルを補正し、撮影画像を補正するステップと、を含む。
【００１２】
また、本発明における画像処理方法の一つは、ビューポートを有する耐圧容器内の撮影装置を用いビューポートを経由して耐圧容器外の撮影対象物を撮影して生成した撮影画像を処理する画像処理方法であって、耐圧容器が撮影環境にある状態で撮影装置により撮影対象物を撮影して撮影画像を生成するステップと、既に補正情報として求められている、撮影装置により形成される像が耐圧容器外の媒質の状態及びビューポートの状態に応じて移動する量に基づいて、撮影画像上の撮影対象物における各対象点への視線ベクトルを補正し、撮影画像を補正するステップと、を含む。
【発明の効果】
【００１３】
本発明によると、高圧環境下で撮影しても、常圧環境で撮影した画像と同等の画像が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明のコンセプトを説明するための概念図である。
【図２】撮影画像から対象点の画素位置を求めることを説明するための概念図である。
【図３】撮影対象物と撮影装置と撮影画像との位置関係を模式的に示す図である。
【図４】高圧環境下で撮影した撮影画像から常圧環境下で撮影したと同等の画像を得るための画像処理の様子を模式的に示し、（Ａ）は高圧環境下で撮影した撮影画像、（Ｂ）は補正後の画像を示す図である。
【図５】本発明の第１の実施形態に係る画像処理システムの構成図である。
【図６】本発明の第２の実施形態に係る画像処理システムの構成図である。
【図７】可動部としてのマニピュレータを用いた画像パターンの取得方法を説明するための模式図であり、（Ａ）はマニピュレータ及び参照物を模式的に示す図であり、（Ｂ）はマニピュレータの移動過程を模式的に示す図である。
【図８】補正情報算出用リファレンスの一例を示す斜視図である。
【図９（Ａ）】補正パラメータの導出により求めた補正項の圧力依存性を示すグラフである。
【図９（Ｂ）】補正パラメータの導出により求めた補正係数の圧力依存性を示すグラフである。
【図１０】高圧環境下におけるステレオ視３次元計測システムを示し、（Ａ）は撮影対象物と撮影装置との配置関係を示し、（Ｂ）はそのシステム構成図である。
【図１１】（Ａ）及び（Ｂ）は本発明が利用される分野での一形態を模式的に示す図である。
【発明を実施するための形態】
【００１５】
以下添付図面を参照しながら本発明のコンセプト、さらにそれを具現化した幾つかの実施形態について詳細に説明するが、本発明は特許請求の範囲に記載した範囲において適宜変更して実施することができる。
【００１６】
〔本発明のコンセプト〕
本発明のコンセプトについて説明する。図１は、本発明のコンセプトを説明するための概念図である。図１に示すように、撮影の対象物１が高圧環境下に置かれ、この高圧環境下に、耐圧容器内の撮影装置２により、耐圧容器のビューポート３経由で、撮影される。例えば、撮影対象物１は海水という媒質中にあり、撮影装置２は空気という媒質中にあり、撮影対象物１から撮影装置２に達する光線Ｌは、海水、ビューポート、空気という３つの媒質を経由することになる。この撮影される像は、各媒質の屈折率及び媒質の圧力変化に応じて複合的な歪みを含んでおり、この撮影される像の各点は、常圧環境下で撮影される像の各点からずれた位置となる。このずれを補正量として計算し、補正量に基づいて撮影画像の各画素の位置を補正することにより、常圧環境下で撮影した画像と同等の画像が得られる。
【００１７】
その際必要となる補正量の導出について概説する。撮影装置２を耐圧容器に格納し、その耐圧容器の設置環境を昇圧、降圧する。例えば耐圧容器を高圧槽内に設置することで実現してもよい。高圧槽の圧力を昇降する際、既知の画像パターンを撮影する。この画像パターンは、例えば格子状にマークが配列されたものである。撮影される像は環境圧力に応じて変化する。よって、各格子状のマークが環境圧力に応じてどのように移動するかを測定することができる。この測定した移動量に基づいて、像に歪みのない状態から像に歪みのある状態への写像を導出することができる。このようにして求めた写像の逆写像を用いれば、高圧環境下で撮影した像から、常圧環境下で撮影した画像と同等の画像を求めることができる。
【００１８】
〔補正式の導出に関して〕
高圧環境下での撮影画像データにおいて、歪みを含んだ像（虚像）から歪みを取り除いた像（実像）へ補正するための、補正式、補正パラメータの導出方法、さらに、補正式を用いた補正の方法について順に説明する。
【００１９】
補正式の一つの例としては、式（１）で示される。
【数１】
ここで、式（１）における各項及び係数は、次のとおりである。図１に示すように、レンズ中心を通る線、即ちレンズ中心軸をＬとし、虚像上のある一点からＬまでの距離をＷｉとする。また、実像上の対応点からＬまでの距離をＷｒとする。Ｗｉは撮影装置２で生成した撮影画像から得られる。Ｄは、撮影装置２から撮影対象物１までの距離である。Ｋｗは、撮影装置２を収容する耐圧容器中の媒質の屈折率ｎａと耐圧容器外の媒質の屈折率ｎｗとの比、即ち、ｎａ／ｎｗで定まる。補正項Ｄａはビューポート３と撮影装置２との距離であり、圧力に応じて変化する。補正係数ｄは歪みの補正係数であり、圧力に応じて変化する。
【００２０】
〔式（１）で表される補正式の導出について〕
ここで、例示した補正式の導出方法の例を示す。図１に示すように、撮影装置２から撮影対象物１までの光線（図１に太線で示す）は、耐圧容器内部、ビューポート３、ビューポート３外の３つの領域を経由する。各領域における光線の角度を、撮影装置２の光軸中心を基準として表わし、撮影装置２からビューポート３内側への入射角をθa、ビューポート３を通過する光線の角度をθg、ビューポート３外側への出射角をθwとする。また、耐圧容器内の気体の屈折率をna,ビューポート(アクリル、ガラス等)の屈折率をng,ビューポート外側の媒質の屈折率をnwとする。なお、撮影装置２のレンズ中心軸はビューポート面と直交しているものとする。
【００２１】
ビューポート３内側の境界面での屈折率と角度の関係から式（２）が成立する。
【数２】
三角関数における次式（３）の関係式を用いて式変形すると、式（４）を得る。
【数３】
【数４】
ここで、Ｋｇ＝ｎａ／ｎｇとおくと、式（５）を得る。
【数５】
ビューポート３外側と外部の媒質との境界面では、式（６）を得る。
【数６】
さらに式（７）の関係が成り立つ。
【数７】
よって、カメラレンズから出た角度とビューポート３から水中に出る角度との関係をまとめて考え、Ｋｗ＝ｎａ／ｎｗとおくと、式（８）が成り立つ。
【数８】
【００２２】
今、撮影装置２からビューポート３内側までの距離をＤａ、ビューポート３の厚みをＤｇ、ビューポート３外側から撮影対象物１までの距離をＤｗとする。レンズ中心軸Ｌから実像のある一点までをＷｒ、レンズ中心軸から虚像の対応点までをＷｉとする。実際の位置Ｗｒに対し、見かけ上の位置がＷｉである。Ｗｒ、Ｗｉは式（９）、式（１０）で表される。
【数９】
【数１０】
ここで、式（５）、式（８）を式（９）へ代入し、Ｄ＝Ｄａ+Ｄｇ+Ｄｗとおくと、式（１１）より、式（１２）を得る。
【数１１】
【数１２】
式（１２）において、媒質中における撮影対象物１までの距離はビューポート３の厚みに対して十分に遠い、すなわち、Ｄｗ>>Ｄｇとみなして
Ｄ≒Ｄｗ，Ｄｇ≒０
と近似し、（１-Ｋｗ２）を補正係数ｄに置き換えて、式（１）を得る。
【００２３】
〔補正パラメータの導出について〕
式（１）の補正式には、未知のパラメータ補正項Ｄａ及び補正係数ｄを求める必要がある。他のパラメータは、既知あるいは計測により得られる。補正項Ｄａと補正係数ｄの導出について説明する。
【００２４】
先ず、既知の画像パターンを有する補正情報算出用リファレンス（「参照物」とも呼ぶ）は、参照点の実像の位置(群)は確定できるので、Ｗｒを確定可能である。
高圧環境下における撮影画像から、実像に対応する参照点の虚像の位置(群)が計測される。これにより、Ｗｉが計測により求まる。
撮影装置２から補正情報算出用リファレンスまでの距離Ｄは計測により得られる。
屈折率の比Ｋｗは、耐圧容器中の媒質の屈折率ｎａと耐圧容器外の媒質の屈折率ｎｗとがよく知られている場合は既知の値を用いてもよいし、実際にセンサで計測することにより確定してもよい。
パラメータＤａ及びｄの導出は、得られたＷｒの参照点群及びＷｉの対応点群の値から、補正式（１）を満たす最適なＤａ及びｄを求める問題と等価である。よって、一般的な数理的手法、例えば山登り法（ヒルクライミング）などで、求めることが可能である。以下ではこの導出法について説明する。
【００２５】
補正項Ｄａ及び補正係数ｄの導出法の一例について説明する。
ある圧力状態におけるＷｒ群およびＷｉ群(次式では添字iで示す)について、式（１３）のように、補正式（１）の差分を２乗し、参照点の数分の総和をとる。なお、差分を２乗せずに、差分の絶対値としてもよい。
【数１３】
このＳ（Ｄａ，ｄ）を最小化するＤａ、ｄを求めればよい。これは一般的な最適化問題であるから、山登り法（ヒルクライミング）などの方法によって計算すればよい。各圧力状態にて同様の計算を行うことにより、各圧力状態におけるＤａ，ｄが得られる。これら離散的に得られたＤａ,ｄに対し、補間やフィッティング等の手法を用いることにより、圧力とＤａ,ｄとの連続関数を得ることができる。
【００２６】
〔補正方法〕
求められた補正パラメータを用い、式（１）に例示される補正式を使って撮影画像から実像への補正を行うことができる。画素位置から視線ベクトルを求める方法は、ごく一般的な手法を用いることができる。
【００２７】
先ず、撮影画像から、対象点の画素位置を求める。図２は撮影画像から対象点の画素位置を求めることを説明するための概念図である。ＣＣＤなどのイメージセンサを有する撮影装置２での撮影解像度をＭ×Ｎとすると、図２に示すように、撮影画像は（０，０）から（Ｍ−１，Ｎ−１）までの座標で、撮影画像上の点を表現することができる。図３は撮影対象物１と撮影装置２と撮影画像との位置関係を模式的に示す図である。図３に示すように、撮影装置２の焦点距離をＦとすると、撮影画像は撮影装置２から距離Ｆの位置で、撮影装置２の光軸と直交する平面上にあると考えてよい。撮影画像から対象点の画素位置を求めるためには、図２に示すように、対象点が撮影画像上のどの座標位置（ｐｘ，ｐｙ）に映っているかを調べればよい。対象点への視線ベクトルは、撮影画像上での画素位置（ｐｘ，ｐｙ）への方向ベクトルであり、画素位置（ｐｘ，ｐｙ）、撮影画像上の光軸中心（ｃｘ，ｃｙ）、距離Ｆがわかれば求めることができる。
【００２８】
次に、式（１）に例示される補正式を用い、対象点への補正後の視線ベクトルを求める。Ｋｗ、Ｄは既知である。パラメータＤａ、ｄは、前述した補正パラメータ導出法にて得られた、圧力に応じた値を用いる。これにより、高圧環境下で撮影した撮影画像を補正して、常圧環境下で撮影した画像と同等の画像を得ることができる。
図４は高圧環境下で撮影した撮影画像から常圧環境下で撮影した画像と同等の画像を得るための画像処理の様子を模式的に示し、（Ａ）は高圧環境下で撮影した撮影画像、（Ｂ）は補正後の画像を示す図である。
前述の処理により、撮影装置２から、高圧環境下で撮影した撮影画像上の対象点の画素位置までの視線ベクトルが求まる。図４（Ａ）では、高圧環境下での撮影画像のある一点を光軸中心からの矢印で示しており、矢印の長さをＷｉとする。図４（Ｂ）は、同じ点の補正後の位置を示し、矢印の長さをＷｒとする。光軸中心の撮影画像上の位置は、圧力変化によって変わらない。式（１）に例示される補正式を用いれば、ＷｒからＷｉを計算することができるため、補正後の位置を求めることができる。
【００２９】
以上の一連の処理により、高圧環境下で撮影された画像上の見かけ上の位置Ｗｉから常圧環境下で撮影されたと等価な画像上位置Ｗｒが求まる。
よって、撮影画像上での全ての画素について同様の処理を行えば、撮影画像から補正後の画像を得ることができる。
【００３０】
ここで、撮影装置２としてステレオカメラを用いれば、補正後の２本の視線ベクトルによって、高圧環境下での歪みを補正した３次元計測を行うことができる。
【００３１】
このコンセプトの優位性について説明する。
第１に、圧力変化によるビューポート３の変化を直接測定していないため、ビューポート３の形状、厚み、耐圧容器への取付態様を考慮する必要がない。つまり、ビューポート３は例えば平面形状であっても、ドーム型のような半球面状であってもよい。
第２に、撮影対象物１の存在する媒質が、圧力、温度、組成変化等により変化する屈折率を有する場合であっても、撮影する環境と補正量を測定する環境とを同等にすることができれば、何ら制約を受けない。
第３に、撮影する環境、補正量を測定する環境について圧力による制約がない。圧力の上限や下限がないためである。
第４に、撮影対象物１の存在する媒質が液体でも気体でも適用することができる。
第５に、撮影対象物１から撮影装置２に達する光の波長については、撮影する環境と補正量を測定する環境とで同等にすれば、遠赤外線から紫外線までの任意の波長に適用でき、制限がない。
第６に、撮影装置２に含まれるレンズなどの光学系は、撮影環境と補正量の測定環境とで同等にすれば、何ら制約されない。
第７に、撮影中に補正することも、撮影後に補正することも可能である。
【００３２】
〔第１の実施形態〕
以下、本発明の各実施形態について詳細に説明する。図５は、本発明の第１の実施形態に係る画像処理システム１０のブロック構成図である。本発明の第１の実施形態に係る画像処理システム１０は、ビューポート１１Ａを有する耐圧容器１１内に、撮影装置１２と記憶部１３と補正情報算出手段１４と補正情報格納手段１５と撮影画像補正手段１６とセンサ１７と通信手段１８と制御部１９とを備えている。なお、撮影装置１２と通信手段１８以外の構成要素は当該耐圧容器の外部（別の耐圧容器等）に配置し、通信により情報の受け渡しをすることも可能である。
【００３３】
耐圧容器１１は背景技術で説明したので、説明を省略する。撮影装置１２は、光学カメラと、広角レンズ、ミラーなどの光学系とを備え、制御手段１９により撮影制御され、撮影により生成した撮影画像は記憶部１３に記憶される。センサ１７は、耐圧容器１１の周りの環境、例えば圧力、撮影対象物１のある媒質の温度をモニタリングする。通信手段１８は、図示しない外部、例えば船舶、監視センタなどと交信して撮影画像のデータの送受信や各種の制御データの送受信を行う。送受信は音波などの無線通信、光ファイバなどを用いた有線通信の何れか又はその組み合わせである。
【００３４】
補正情報算出手段１４は、耐圧容器１１が異なる圧力環境下にある状態で、撮影装置１２により前述の画像パターンを有する補正情報算出用リファレンスを撮影して撮影パターン画像を生成し、圧力変化による撮影パターン画像上のパターンの移動量から補正情報を求める。求まった補正情報は補正情報格納手段１５に格納される。
【００３５】
補正情報格納手段１５には、撮影装置１２により形成される像が耐圧容器１１外の媒質の状態及びビューポートの状態に応じて移動する量に関して、補正情報を格納している。この補正情報は、圧力毎に補正情報を表したテーブル形式、圧力と補正情報との関係を式で表した補正式など、その表現形態は問わない。
【００３６】
撮影画像補正手段１６は、記憶部１３に格納されている撮影画像について、この撮影画像上の撮影対象物１における各対象点への視線ベクトルを、補正情報格納手段１５に格納されている補正情報により補正して、該撮影画像を処理する。ここで、「撮影画像を補正する」とは、画素毎に、歪みによるずれをなくして撮影画像そのものを補正する場合のみならず、撮影画像自体は修正しなくとも、位置計算等の過程で補正を適用した計算を行うことも含まれる。なお、制御手段１９は、耐圧容器１１内にある各手段を統括制御するものである。
【００３７】
〔第２の実施形態〕
本発明の第２の実施形態に係る画像処理システム２０について説明する。図６は、本発明の第２の実施形態に係る画像処理システム２０を示すシステム構成図である。図５に示すシステム１０とは、補正情報算出手段１４を備えていない点で異なる。これは、既に、補正情報が求められて補正情報格納手段１５に格納されているためである。
【００３８】
本発明の第１及び第２の実施形態に係る画像処理システム１０，２０は以上のようにシステム構成されている。以下では、画像処理システム１０，２０を用いることで、ビューポート１１Ａを有する耐圧容器１１内の撮影装置１２を用いて、ビューポート１１Ａを経由して耐圧容器１１外の撮影対象物１を撮影して生成した撮影画像の処理の仕方について説明する。
【００３９】
〔高圧環境下における画像パターンの取得手順〕
第１の実施形態に係る画像処理システム１０を念頭に、高圧環境下における画像パターンの取得手順について説明する。
第１のステップにおいて、ビューポート１１Ａを備えた耐圧容器１１に撮影装置１２としての光学カメラを格納する。
【００４０】
第２のステップにおいて、補正情報算出用リファレンスとして、既知の複数の画像パターンが印刷された物（以下、「参照物」と呼ぶ。）と耐圧容器１１とを、大気中において任意の位置姿勢状態（以下、「基本状態」と呼ぶ。）で設置する。基本状態は、耐圧容器１１と参照物とが正対した姿勢関係において、光学カメラの撮影画像視野がそのパターンによりほぼ満たされる位置関係とする。
【００４１】
ここで、参照物は高圧環境下において変形しないものとし、参照物に印刷されている画像パターンは、圧力変化により剥離したり、移動したり、変形しないものとする。これを確認するために、圧力変化を伴った高圧環境下にて、参照物の信頼性試験を適宜行うことが望ましい。参照物のサイズは高圧槽の規模に応じて決定され、印刷される画像パターンの個数は、高圧槽に設置した際に光学カメラの撮影画像視野が当該画像パターンでほぼ満たされる個数とする。各画像パターンのサイズは、撮影装置１２の解像度、実際に使用する場合の撮影対象物１までの代表的な距離に応じて決定される。
【００４２】
第３のステップにおいて、基本状態において、撮影装置１２を用いて参照物を撮影し、その撮影画像を記憶部１３に保存する。参照物の姿勢を適宜変化させた場合には、その都度同様に参照物を撮影してその撮影画像を保存する。
【００４３】
第４ステップにおいて、基本状態にて耐圧容器１１と参照物とをフレーム（図示せず）に固定して高圧槽内に設置する。
第５ステップにおいて、高圧槽内の媒質中で常圧環境の下において、撮影装置１２を用いて参照物を撮影し、その撮影画像を記憶部１３に保存する。
【００４４】
第６ステップにおいて、高圧槽内を昇圧し、任意の環境圧に達した時点において、その都度撮影装置１２を用いて参照物を撮影し、その画像を保存する。この処理を最大圧に達するまで繰り返し行う。最大圧は、耐圧容器１１及び撮影装置１２使用環境に即して任意に決定される。昇圧の間隔は例えば１００ｋＰａ、１ＭＰａとし、昇圧、降圧毎に撮影する。
【００４５】
第７ステップにおいて、最高圧に到達した時点で撮影装置１２を用いて参照物を撮影し、その画像を記憶部１２に保存する。その後、任意の時間最高圧を保持する。最高圧を任意時間保持した後、第８ステップにおいて、高圧槽内を降圧する。この際、降圧開始前に撮影装置１２を用いて参照物を撮影し、その画像を記憶部１３に保存する。昇圧時の手順と同様に、任意の環境圧に到達した時点において、その都度撮影装置１２を用いて参照物を撮影し、その画像を保存する。これを常圧に到達するまで繰り返し行う。参照物を撮影する圧力間隔は昇圧時と同様適切に定める。
【００４６】
第９ステップにおいて、降圧終了後、常圧環境下において撮影装置１２を用いて参照物を撮影し、その画像を記憶部１２に保存する。
【００４７】
以上のステップを順に行うことにより、大気圧における既知の画像パターン、媒質中において圧力変化前の、即ち常圧における既知の画像パターン、媒質中における昇圧時の、即ち高圧における既知の画像パターン、媒質中における降圧時の、即ち高圧時の既知の画像パターンが得られる。
【００４８】
なお、高圧槽における昇降圧速度については、耐圧容器及び光学カメラを実際に使用する環境に移動する速度に即して事前に任意に設定する。例えば、海中探査機への搭載を想定する場合は、海中探査機の下降速度、上昇速度に合せてもよい。
最高圧時の保持時間は、耐圧容器及びビューポートの変形が生じるのに十分な時間を要すればよく、昇圧、降圧を連続することを排除するものではない。
【００４９】
〔既知の画像パターンの処理〕
ここで、図５に示す補正情報算出手段１４による、各既知の画像パターンの処理について説明する。大気圧における既知の画像パターンから、カメラ原点から対象物までの距離Ｄを求めることができる。常圧における既知の画像パターンを基準とし、昇圧時及び降圧時における各高圧時の既知の画像パターンと比較することにより、昇降圧時における各画像パターンの移動量を求めることができる。
【００５０】
移動量の算出については、前述した、たとえばヒルクライミング法などを用いて、各圧力において補正項Ｄａ及び補正係数ｄを所定の精度で求められれば十分である。これにより、圧力をインデックスとしたテーブル（「補正パラメータテーブル」と呼ぶ。）を作成してもよいし、変数Ｄａ及びｄと圧力との相関について回帰分析等を用いて求めた近似式、つまり補正式で規定してもよい。この移動量については、補正情報格納手段１５に格納される。
【００５１】
上述のように補正式が特定できるので、撮影補正手段１６は、補正情報格納手段１５に格納された補正情報に基づいて、撮影画像上の撮影対象物１における各対象点への視線ベクトルを、補正情報格納手段１５に格納されている補正情報により補正して、この撮影画像を処理する。その際、撮影画像の全ての画素について、上述の補正式（１）により補正する必要はなく、例えば、表示に必要な領域の画素のみに関して補正すれば十分である。
【００５２】
〔マニピュレータを用いた画像パターンの取得法〕
画像パターンが例えば海中探査機のマニピュレータに取り付けられ、海中探査機に図５に示す画像処理システム１０が搭載されている場合を例にとって説明する。海中探査機は一般にプラットフォームと呼ぶことができる。
【００５３】
図７はマニピュレータを用いた画像パターンの取得方法を説明するための模式図である。前提として、対象となる撮影装置１２はビューポート１１Ａ付きの耐圧容器１１に格納され、耐圧容器１１はマニピュレータなどの可動部３０を装備したプラットフォームに搭載されている。海中探査機は、図７（Ａ）に示すように、可動部３０を備え、可動部３０は、一又は複数の関節３１でアーム３２同士が接続されており、可動部３０の先端部には手部３３を設けている。
【００５４】
先ず、第１ステップとして、可動部３０の任意位置に、既知の画像パターンが印字されている参照物３４を取り付ける。例えば、図７（Ａ）に示すように、参照物３４は手部３３に取り付けられ、この参照物３４には例えば格子状のドットが付されている。この際、参照物中心（画像パターン中心）と可動部３０の任意位置との相対位置関係は厳密に計測されているものとする。ここで、可動部３０は、その先端部を任意の３次元位置姿勢へと誘導する機構を有しており、その際各マニピュレータの各関節の状態、例えば関節角度又は角速度をセンシングすることができる。なお、参照物３４のドットは一つでも複数でもよい。
【００５５】
第２ステップとして、気中において、複数の任意位置へ参照物３４を移動し撮影することにより撮影装置１２のキャリブレーションを実施する。これにより、カメラ座標系とマニピュレータ座標系との位置及び姿勢の関係が既知となる。
【００５６】
第３ステップとして、可動部３０を装備した状態で、目的のミッションを遂行する圧力環境下にプラットフォームを到達させる。ここで、圧力環境とは、プラットフォームを海中探査機と仮定するならばミッションを行う深度に到達したときの環境、プラットフォームを高圧ガスの貯蔵タンクと仮定するならば貯蔵圧力まで加圧した環境となる。
【００５７】
第４ステップとして、撮影装置１２により参照物３４が撮影できる任意の位置姿勢へと可動部３０を誘導したのち、参照物３４を撮影し、当該撮影画像を保存する。例えば図７（Ｂ）に示すように、マニピュレータなどの可動部３０を立体的に移動することで、参照物３４の位置姿勢を誘導して、その都度、参照物３４を撮影する。
【００５８】
第５ステップとして、撮影画像を取得した際のカメラ原点から参照物中心までの距離を、可動部３４の順運動学モデルより算出し保存する。またその際の参照物の姿勢も同順運動学モデルより算出し保存する。上記距離を算出する際、順運動学モデルを用いるが、前述の第２ステップにてキャリブレーションを行っていることにより、カメラ座標系とマニピュレータ座標系との位置姿勢関係は事前に既知となっている。
【００５９】
第６ステップとして、光学カメラの撮影画像視野をほぼ全包括する範囲にて参照物３４が撮影されるように第４ステップ及び第５ステップを繰り返す。参照物３４を撮影する位置姿勢、実施回数は、仮に光学カメラの撮影画像視野を当該画像パタンーンでほぼ満たすような大型の参照物を撮影した場合と同等の効果が得られるように設定する。また、これにより設定された位置姿勢へ誘導するように可動部を制御する場合は、手動あるいは事前のプログラミングにより自動にて行う。
【００６０】
第７ステップとして、全ての撮影を終了後、全撮影画像とその際の参照物中心までの距離を用いて、画像パターンの移動量を求める。求めた移動量より、補正パラメータテーブルや補正式を作成することにより、実環境、即ち高圧環境における補正量がリアルタイムに取得される。
【００６１】
以上のステップを経ることで、補正情報が求まるので、撮影補正手段１６は、補正情報格納手段１５に格納された補正情報に基づいて、撮影画像上の撮影対象物１における各対象点への視線ベクトルを補正して、撮影画像を処理する。このように、各対象点が撮影画像の全ての画素に対応するようそれぞれ視線ベクトルを補正することで、常圧環境で撮影した画像と同等の歪んでいない画像を得ることができる。
【実施例】
【００６２】
次に実施例を説明する。補正情報算出用リファレンスとして、図８に示す格子状に円形のマーク又は幾何学模様を有する参照物を用いた。図８に示すように、リング状の底部４１の周上に間隔をあけて支柱４２が立設され、底部４１には補正情報算出用リファレンス４３としてマーク又は幾何学模様４３Ａが格子状に設けられている。また、各支柱４２にも補正情報算出用リファレンス４４として、円形のマーク又は幾何学模様４４Ａが多数設けられている。なお、補正情報算出用リファレンス４３の上方には、ドーム型あるいは平型のビューポートを備えた撮影装置４５が設けられている。図８に示す補正情報算出用リファレンス４３，４４及び撮影装置４５を備えた筐体４０を、高圧水槽に入れて、水を注入して圧力を変化させた。
【００６３】
図９は、前述の補正パラメータの導出により求めた補正項、補正係数の圧力依存性を示すグラフであり、（Ａ）は補正項Ｄａ、（Ｂ）は補正係数ｄに関するものである。図の横軸は圧力であり、縦軸はそれぞれ補正項Ｄａ、補正係数ｄである。図９から、補正項Ｄａ、補正係数ｄは何れも線形性及び再現性を有する。よって、圧力に応じて補正項Ｄａ、補正係数ｄを求めることもできる。
【００６４】
〔適用される応用形態〕
本発明は各種に応用される。応用形態の一つは、高圧環境下におけるステレオ視３次元計測システムである。図１０は、高圧環境下におけるステレオ視３次元計測システム５０を示し、（Ａ）は撮影対象物１と撮影装置５２Ａ，５２Ｂとの配置関係を示し、（Ｂ）はそのシステム構成図である。図５や図６と同様の撮影装置５２Ａ，５２Ｂが、スレテオ視を生成するよう２台以上で構成されている。ステレオ視３次元計測システム５０は、左右の撮影装置５２Ａ，５２Ｂと、撮影装置５２Ａ，５２Ｂからの撮影画像を補正する補正手段５６と、ステレオマッチング部５１と、図５及び図６に示す各要素（図１０では図示せず）を備える。ステレオ視３次元計測システム５０は、左右の撮影装置５２Ａ，５２Ｂで生成した撮影画像の歪みを撮影画像補正手段５６により補正することで、高圧環境下における歪みを補正した３次元計測を行うことができる。これにより、高圧環境下における任意の物体の３次元位置、面積、長さを算出することができる。なお、撮影対象物１の３次元位置、面積、長さのみを得たい場合には、補正後の位置が得られればよいため、画像自体の補正は行わなくとも、位置計算上必要な補正計算を行えば十分である。
【００６５】
応用形態の一つは、高圧環境下における広角カメラを用いた全周囲画像表示システムである。全周囲画像表示システムは、広角レンズやミラーを有する光学系を備える。広角カメラが撮影した撮影画像を前述のように歪み補正し、１８０度視野角を有し、歪みの少ない画像を表示する。また、撮影装置を複数配置することで、全周囲画像表示、即ちパノラマ表示を実現することができる。
【産業上の利用可能性】
【００６６】
本発明が利用される分野について説明する。
第１として、海中探査機の操作、観測システムへの適用である。有人又は無人の海中探査機を操作する場合や、海中探査機における撮影装置が撮影した映像を用いて深海観測を行う場合、広角カメラを備える撮影装置を設けることにより、歪みのない広視野角映像を提供することができる。例えば、図１１（Ａ）に示すように、海水探査機６０の前部と後部とに広角レンズ及び光学カメラを備えた撮影装置６１，６２が備えられることで、図示するように広い範囲の視界領域を得ることができる。また、図１１（Ｂ）に示すように、海水探査機６０の上部と下部とに広角レンズ及び光学カメラを備えた撮影装置６３，６４が設けられることで、図示するように広い範囲の視界領域を得ることができる。図１１（Ａ），（Ｂ）に示す矢印は、撮影装置６１，６２，６３，６４からの視界が広がっている方向を示しており、その方向に照明が届く限り、各撮影装置６１，６２，６３，６４が広角で撮影することができる。また例えば、ステレオ視３次元計測システムを海中探査機６０に備えれば、海中探査機６０が調査、観測ミッション中に撮影した対象までの距離だけでなく、その対象の任意の長さ、サイズ、面積等を計測することができる。
第２として、海底ステーションの監視システムへの適用である。海底ステーションには定点設置型の撮影装置が設けられている。そこで、広角カメラを備える撮影装置を設けることにより、撮影した画像を補正することで、監視映像として、歪みのない広視野角映像を提供することができる。また、ステレオ視３次元計測システムを海底ステーションに備えれば、海底ステーションが撮影した物標までの距離だけでなく、その対象の任意の長さ、サイズ、面積等を計測することができる。
第３として、高圧ガス貯蔵施設、製造設備の内部監視システムへの適用である。高圧ガス貯蔵容器内や製造設備内に広角カメラを備える撮影装置を設けておき、撮影装置により撮影した画像を補正することで、歪みのない広視野角映像を得ることができる。これにより、内部のヒビ、クラック、腐食などの正常でない部位を早期に発見することができる。また、ステレオ視３次元計測システムを備えれば、ヒビ、クラック、腐食などの正常でない部位に関し、その３次元位置を確定できるほか、長さ、サイズ、面積等を計測することもできる。
【符号の説明】
【００６７】
１：撮影対象物
２，１２：撮影装置
３，１１Ａ：ビューポート
１０，２０：画像処理システム
１１：耐圧容器
１３：記憶部
１４：補正情報算出手段
１５：補正情報格納手段
１６：撮影画像補正手段
１７：センサ
１８：通信手段
１９：制御手段
３０：可動部
３１：関節
３２：アーム
３３：手部
３４：参照物
４０：筐体
４１：底部
４２：支柱
４３，４４：補正情報算出用リファレンス
４３Ａ，４４Ａ：マーク又は幾何学模様
４５：撮影装置
５０：スレテオ視３次元計測システム
５１：ステレオマッチング部
５２Ａ，５２Ｂ：撮影装置
５６：撮影画像補正手段
６０：海中探査機
６１，６２，６３，６４：撮影装置
【特許請求の範囲】
【請求項１】
ビューポートを有する耐圧容器内の撮影装置を用い該ビューポートを経由して耐圧容器外の撮影対象物を撮影して生成した撮影画像を処理する、画像処理システムであって、
上記撮影装置により形成される像が上記耐圧容器外の媒質の状態及びビューポートの状態に応じて移動する量に関して、補正情報を格納する補正情報格納手段と、
上記耐圧容器が高圧環境下にある状態で、上記撮影装置で生成される撮影画像上の上記撮影対象物における各対象点への視線ベクトルを、上記補正情報格納手段に格納されている補正情報により補正して、該撮影画像を処理する撮影画像補正手段と、
を備えた、画像処理システム。
【請求項２】
さらに、パターンを有する補正情報算出用リファレンスと、
前記耐圧容器が異なる圧力環境下にある状態で、前記撮影装置により上記補正情報算出用リファレンスを撮影して撮影パターン画像上の上記パターンの移動量から前記補正情報を求めて前記補正情報格納手段に格納する補正情報算出手段と、
を備える、請求項１に記載の画像処理システム。
【請求項３】
前記撮影装置はステレオ視を生成するように２台以上で構成されており、
前記撮影画像補正手段は前記撮影装置が生成したステレオ視の撮影画像又はステレオ視による計測値をそれぞれ補正する、請求項１に記載の画像処理システム。
【請求項４】
前記撮影装置は広角レンズ、ミラーその他の光学系を備えている、請求項１に記載の画像処理システム。
【請求項５】
ビューポートを有する耐圧容器内の撮影装置を用い該ビューポートを経由して耐圧容器外の撮影対象物を撮影して生成した撮影画像を処理する画像処理方法であって、
上記耐圧容器がおかれている環境の圧力を変化させて、上記ビューポートを介して上記撮影装置により、パターンを有する補正情報算出用リファレンスを撮影するステップと、
上記撮影装置による上記補正情報算出用リファレンスの撮影により得られる撮影パターンと常圧環境下での上記補正情報算出用リファレンス撮影により得られる撮影パターンとを比較してパターンの移動量を求め、上記撮影装置により形成される像が上記耐圧容器外の媒質の状態及びビューポートの状態に応じて移動する量に関する補正情報を求めるステップと、
上記耐圧容器が撮影環境において上記撮影対象物を撮影して撮影画像を生成するステップと、
上記補正情報に基づいて、上記撮影画像上の上記撮影対象物における各対象点への視線ベクトルを補正し、上記撮影画像を補正するステップと、
を含む、画像処理方法。
【請求項６】
ビューポートを有する耐圧容器内の撮影装置を用い該ビューポートを経由して耐圧容器外の撮影対象物を撮影して生成した撮影画像を処理する画像処理方法であって、
上記耐圧容器が撮影環境にある状態で上記撮影装置により上記撮影対象物を撮影して撮影画像を生成するステップと、
既に補正情報として求められている、上記撮影装置により形成される像が上記耐圧容器外の媒質の状態及びビューポートの状態に応じて移動する量に基づいて、上記撮影画像上の上記撮影対象物における各対象点への視線ベクトルを補正し、上記撮影画像を補正するステップと、
を含む、画像処理方法。
【請求項１】
ビューポートを有する耐圧容器内の撮影装置を用い該ビューポートを経由して耐圧容器外の撮影対象物を撮影して生成した撮影画像を処理する、画像処理システムであって、
上記撮影装置により形成される像が上記耐圧容器外の媒質の状態及びビューポートの状態に応じて移動する量に関して、補正情報を格納する補正情報格納手段と、
上記耐圧容器が高圧環境下にある状態で、上記撮影装置で生成される撮影画像上の上記撮影対象物における各対象点への視線ベクトルを、上記補正情報格納手段に格納されている補正情報により補正して、該撮影画像を処理する撮影画像補正手段と、
を備えた、画像処理システム。
【請求項２】
さらに、パターンを有する補正情報算出用リファレンスと、
前記耐圧容器が異なる圧力環境下にある状態で、前記撮影装置により上記補正情報算出用リファレンスを撮影して撮影パターン画像上の上記パターンの移動量から前記補正情報を求めて前記補正情報格納手段に格納する補正情報算出手段と、
を備える、請求項１に記載の画像処理システム。
【請求項３】
前記撮影装置はステレオ視を生成するように２台以上で構成されており、
前記撮影画像補正手段は前記撮影装置が生成したステレオ視の撮影画像又はステレオ視による計測値をそれぞれ補正する、請求項１に記載の画像処理システム。
【請求項４】
前記撮影装置は広角レンズ、ミラーその他の光学系を備えている、請求項１に記載の画像処理システム。
【請求項５】
ビューポートを有する耐圧容器内の撮影装置を用い該ビューポートを経由して耐圧容器外の撮影対象物を撮影して生成した撮影画像を処理する画像処理方法であって、
上記耐圧容器がおかれている環境の圧力を変化させて、上記ビューポートを介して上記撮影装置により、パターンを有する補正情報算出用リファレンスを撮影するステップと、
上記撮影装置による上記補正情報算出用リファレンスの撮影により得られる撮影パターンと常圧環境下での上記補正情報算出用リファレンス撮影により得られる撮影パターンとを比較してパターンの移動量を求め、上記撮影装置により形成される像が上記耐圧容器外の媒質の状態及びビューポートの状態に応じて移動する量に関する補正情報を求めるステップと、
上記耐圧容器が撮影環境において上記撮影対象物を撮影して撮影画像を生成するステップと、
上記補正情報に基づいて、上記撮影画像上の上記撮影対象物における各対象点への視線ベクトルを補正し、上記撮影画像を補正するステップと、
を含む、画像処理方法。
【請求項６】
ビューポートを有する耐圧容器内の撮影装置を用い該ビューポートを経由して耐圧容器外の撮影対象物を撮影して生成した撮影画像を処理する画像処理方法であって、
上記耐圧容器が撮影環境にある状態で上記撮影装置により上記撮影対象物を撮影して撮影画像を生成するステップと、
既に補正情報として求められている、上記撮影装置により形成される像が上記耐圧容器外の媒質の状態及びビューポートの状態に応じて移動する量に基づいて、上記撮影画像上の上記撮影対象物における各対象点への視線ベクトルを補正し、上記撮影画像を補正するステップと、
を含む、画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９（Ａ）】
【図９（Ｂ）】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９（Ａ）】
【図９（Ｂ）】
【図１０】
【図１１】
【公開番号】特開２０１１−２４８４１４（Ｐ２０１１−２４８４１４Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１１７８７３（Ｐ２０１０−１１７８７３）
【出願日】平成２２年５月２２日（２０１０．５．２２）
【出願人】（５０４１９４８７８）独立行政法人海洋研究開発機構 (110)
【出願人】（５０４４５４０６０）株式会社アプライド・ビジョン・システムズ (11)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２２日（２０１０．５．２２）
【出願人】（５０４１９４８７８）独立行政法人海洋研究開発機構 (110)
【出願人】（５０４４５４０６０）株式会社アプライド・ビジョン・システムズ (11)
【Ｆターム（参考）】
[ Back to top ]