距離画像カメラおよび距離画像合成方法
【課題】１つ以上の物体までの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能な距離画像カメラおよび距離画像合成方法を提供する。
【解決手段】発光部１１と、反射光が戻るまでの時間から算出される距離情報を画素毎に有する距離画像を取得する撮像部１２と、露出調節部１３と、露出を段階的に変更しながら撮像した複数の距離画像において、同一の画素位置に対応する各画素の距離情報の重み付き平均値をそれぞれ算出するとともに、そうして算出された重み付き平均値を各画素の距離情報とするように合成した合成距離画像を求める演算制御部１５とを備え、各画素は前記反射光の受光強度を示す受光レベル情報も有し、各画素の距離情報の重み付き平均値の算出では、その画素の前記受光レベル情報に応じて前記距離情報の精度に対応するように算出される重み付け係数が用いられる。
【解決手段】発光部１１と、反射光が戻るまでの時間から算出される距離情報を画素毎に有する距離画像を取得する撮像部１２と、露出調節部１３と、露出を段階的に変更しながら撮像した複数の距離画像において、同一の画素位置に対応する各画素の距離情報の重み付き平均値をそれぞれ算出するとともに、そうして算出された重み付き平均値を各画素の距離情報とするように合成した合成距離画像を求める演算制御部１５とを備え、各画素は前記反射光の受光強度を示す受光レベル情報も有し、各画素の距離情報の重み付き平均値の算出では、その画素の前記受光レベル情報に応じて前記距離情報の精度に対応するように算出される重み付け係数が用いられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離画像カメラおよび距離画像合成方法に関し、特に、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能な距離画像カメラおよび距離画像合成方法に関する。
【背景技術】
【０００２】
従来、画素毎に距離情報を有する距離画像を取得することが可能な装置が提案されている（例えば、特許文献１参照）。
【０００３】
この特許文献１に記載のレンジファインダ装置は、被写体に投射した光の反射光を受けて、前記被写体の３次元位置情報を測定するレンジファインダ装置であって、前記光を投射する光源部と、前記光源部からの投射光の前記被写体での反射光を、受けるカメラ部と、前記被写体の距離情報に基づいて、前記光源部の光出力および前記カメラ部の露出条件のうちの少なくともいずれか一方を、制御する制御部とを備えたことを特徴とするものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２４１１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、投射された光の反射光の強度は物体までの距離やその物体表面の反射率などによって大きく変動するため、距離画像を取得する際に適正露出とすることはなかなか困難であった。投射光の強度や露出設定などをどのように定めたとしても、距離画像全体にわたって距離精度を良好に維持できるとは限らないからである。
【０００６】
例えば、露出量を増やすためにシャッター速度を遅くすると、近距離にある物体や表面反射率の高い物体からの反射光が強くなってその受光レベル信号が飽和しやすくなる。逆に、露出量を減らすためにシャッター速度を速くすると、遠距離にある物体や表面反射率の低い物体からの反射光が弱くなってその受光レベル信号のＳ／Ｎ比が悪化する。いずれにしても、距離精度の悪化につながってしまう。
【０００７】
露出量を増減するため、シャッター速度の変更の代わりに投射光の強度を変えた場合であっても同様に、近距離や表面反射率の高い物体で受光レベル信号が飽和しやすくなったり、遠距離や表面反射率の低い物体で受光レベル信号のＳ／Ｎ比が悪化したりすることがあるので、やはり距離精度の悪化につながってしまう。
【０００８】
従来技術のこのような課題に鑑み、本発明の目的は、撮像対象空間内に存在する１つ以上の物体までのそれぞれの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能な距離画像カメラおよび距離画像合成方法を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の距離画像カメラは、撮像対象空間へ光を照射する発光部と、この発光部から照射された光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を画素毎に有する距離画像を取得する撮像部と、この撮像部による距離画像取得の際の露出を変更する露出調節部と、この露出調節部によって露出を段階的に変更しながら前記撮像部で撮像した複数の距離画像において、同一の画素位置に対応する各画素の距離情報の重み付き平均値をそれぞれ算出するとともに、そうして算出された重み付き平均値を各画素の距離情報とするように合成した合成距離画像を求める演算制御部とを備え、前記各画素は、前記反射光の受光強度を示す受光レベル情報もそれぞれ有しており、前記演算制御部における各画素の距離情報の重み付き平均値の算出では、その画素の前記受光レベル情報に応じて前記距離情報の精度に対応するように算出される重み付け係数が用いられることを特徴とする。
【００１０】
ここで、前記重み付け係数は、前記受光レベル情報の中間領域内では相対的に高くその中間領域外では相対的に低くなるとともに、最大値を取る位置が互いに異なるような１つ以上の関数から選択された関数に基づいて決定してもよい。また、前記露出調節部による露出の段階的変更は、シャッター速度の増減または前記発光部から照射される光の強度の変更の少なくとも一方によって行うようにしてもよい。
【００１１】
このような構成の距離画像カメラによれば、撮像対象空間内に存在する１つ以上の物体までのそれぞれの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能となる。
【００１２】
また、本発明の距離画像カメラにおいて、前記撮像部による距離画像の取得を同一露出で複数回行い、画素毎の前記距離情報および前記受光レベル情報の各回の平均値を画素毎に有するようにした平均化距離画像を、前記演算制御部で用いる距離画像の代わりとしてもよい。
【００１３】
このような構成の距離画像カメラによれば、同一の露出設定で複数回の撮像を行って平均化した画素毎の前記距離情報および前記受光レベル情報を用いるので、各露出設定における撮像での測定誤差が減少し、結果として距離精度をより向上させることができる。
【００１４】
あるいは、上記目的を達成するため、本発明の距離画像合成方法は、照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を画素毎に有するとともに、前記画素毎に前記反射光の受光強度を示す受光レベル情報も有する距離画像の取得を露出設定を段階的に変更しながら複数回行う段階露出距離画像取得工程と、前記受光レベル情報に応じて、前記距離情報の精度に対応した重み付け係数を算出する重み付け係数算出工程と、前記段階露出距離画像取得工程で取得した複数の距離画像において、同一の画素位置に対応する各画素の距離情報の重み付け平均値を、前記重み付け係数算出工程で算出される重み付け係数を用いて算出するとともに、そうして算出された重み付き平均値を各画素の距離情報とするように合成した合成距離画像を求める距離画像合成工程とを含むことを特徴とする。
【００１５】
上記の距離画像カメラと同様に、前記重み付け係数は、前記受光レベル情報の中間領域内では相対的に高くその中間領域外では相対的に低くなるとともに、最大値を取る位置が互いに異なるような１つ以上の関数から選択された関数に基づいて決定してもよい。また、前記段階露出距離画像取得工程における露出の段階的変更は、シャッター速度の増減または前記発光部から照射される光の強度の変更の少なくとも一方によって行うようにしてもよい。
【００１６】
このような構成の距離画像合成方法によれば、撮像対象空間内に存在する１つ以上の物体までのそれぞれの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能となる。
【００１７】
また、本発明の距離画像合成方法において、前記段階露出距離画像取得工程における距離画像の取得を同一露出で複数回行い、画素毎の前記距離情報および前記受光レベル情報の各回の平均値を画素毎に有するようにした平均化距離画像を、前記距離画像合成工程で用いる距離画像の代わりとしてもよい。
【００１８】
このような構成の距離画像合成方法によれば、同一の露出設定で複数回の撮像を行って平均化した画素毎の前記距離情報および前記受光レベル情報を用いるので、各露出設定における撮像での測定誤差が減少し、結果として距離精度をより向上させることができる。
【発明の効果】
【００１９】
本発明の距離画像カメラおよび距離画像合成方法によれば、撮像対象空間内に存在する１つ以上の物体までのそれぞれの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。
【図２】距離画像カメラ１０による演算処理の概略を示すフローチャートである。
【図３】図２に示した演算処理における各画素の走査についての概略説明図である。
【図４】図２に示した演算処理における「距離画像取得」サブルーチン内の処理の概略を示すフローチャートである。
【図５】図２に示した演算処理における「重み付け係数算出」サブルーチン内の処理の概略を示すフローチャートである。
【図６】図５で示した処理において重み付け係数ｃを算出するための関数ｆｚの例を示す概略図である。
【図７】図５で示した処理において重み付け係数ｃを算出するための関数ｆｚの別の例を示す概略図である。
【図８】図５で示した処理において重み付け係数ｃを算出するための関数ｆｚのさらに別の例を示す概略図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を、図面を参照して説明する。
【００２２】
＜ 距離画像カメラ１０の概略構成など ＞
図１は、本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。
【００２３】
この図１に示すように、距離画像カメラ１０は、撮像対象空間へ赤外光を照射する赤外発光ユニット１１と、この赤外発光ユニット１１から照射された赤外光が反射されて戻ってくるまでの時間の測定値に基づいて算出される距離データを格子状に配置された画素毎に有する距離画像を取得することが可能なイメージセンサ１２と、このイメージセンサ１２による距離画像取得の際の露出設定変更をシャッター速度を可変とすることで可能とした露出調節部１３と、イメージセンサ１２によって取得した距離画像を一時的に記憶する大容量メモリとしてのフレームバッファ１４と、赤外発光ユニット１１による赤外光の照射（照射強度、照射時間やタイミングなど）、イメージセンサ１２による距離画像の取得、露出調節部１３によるシャッター速度の変更などの制御を行うとともに、イメージセンサ１２によって取得されてフレームバッファ１４に記憶されている１セット以上の距離画像を読み出して演算処理（詳細は後述）などを行う演算制御ユニット１５（例えば、ＣＰＵ）とを備えている。なお、イメージセンサ１２によって取得された距離画像の各画素は、反射光の受光強度を示す受光レベルデータもそれぞれ有している。
【００２４】
赤外発光ユニット１１としては、例えば、赤外光を発する発光ダイオードや半導体レーザなどが挙げられるが、これらに限られない。赤外光の照射強度や照射時間を可変とすることで、露出調節部１３との組み合わせでイメージセンサ１２の露出設定をより広範囲で行えるようにしてもよい。
【００２５】
イメージセンサ１２としては、例えば、いわゆるＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサなどが挙げられるが、これに限られない。
【００２６】
露出調節部１３としては、シャッター速度を可変とするものに限られない。例えば、絞り機構や、光の透過率を電気的に変更可能なフィルタを代わりに用いたり、あるいはこれらの１つ以上を組み合わせて用いることなども考えられる。ただし、距離画像の取得に要する時間があまり長くならないように、露出設定変更を高速で行えるものが好ましい。
【００２７】
図２は、距離画像カメラ１０による演算処理の概略を示すフローチャートである。図３は、この演算処理における各画素の走査についての概略説明図である。
【００２８】
まず、距離画像カメラ１０のイメージセンサ１２による撮像のために露出調節部１３での露出設定・変更を行う（ステップＳ１）。後述するように、このステップＳ１はループ内で所定回数Ｎだけ繰り返される。例えば、Ｎ＝１０、すなわち全部で１０回繰り返される場合、１回目は初期設定として、画面全体を単純平均した場合の適正露出に対して所定量だけ露出アンダー（−Ｄ）となるようにシャッター速度を高速側に設定してもよい。２回目以降は、露出を一定量ΔＤだけオーバー側へシフトさせるようにシャッター速度を毎回段階的に低速側へ設定する。この一定量ΔＤは、上記の適正露出に対して最終回の露出設定が露出オーバー（＋Ｄ）となるように定めればよい。
【００２９】
そして、このような露出設定でイメージセンサ１２による撮像を行って、画素毎に距離データおよび受光レベルデータを有する距離画像を取得するためのサブルーチン「距離画像取得」を呼び出す（ステップＳ２）。なお、このサブルーチン内の処理詳細は図４を参照して後述する。
【００３０】
取得した距離画像の画素毎の距離データおよび受光レベルデータを、後の演算などのためにフレームバッファ１４に一時的に保存する（ステップＳ３）。
【００３１】
全ての露出パターンによる距離画像の取得が完了したかどうかを確認し（ステップＳ４）、まだ完了していなければステップＳ１に戻り、既に完了していれば次へ進む。
【００３２】
ステップＳ１からステップＳ４までのループ内の各処理が所定回数繰り返された後、フレームバッファ１４に保存されているＮ回分の距離画像の画素毎の距離データおよび受光レベルデータを各回分毎に順に取り出す（ステップＳ５）。後述するように、このステップＳ５もループ内で所定回数Ｎだけ繰り返される。
【００３３】
ステップＳ５でフレームバッファ１４から取り出した距離画像の各画素について、対象とする画素位置を順次移動させながら走査する（ステップＳ６）。
【００３４】
そして、重み付け計数を算出するためのサブルーチン「重み付け係数算出」を呼び出す（ステップＳ７）。なお、このサブルーチン内の処理詳細は図５および図６を参照して後述する。
【００３５】
ステップＳ６、Ｓ７の各処理は、対象とする画素位置を順次移動させながらすべての画素位置について行う必要があるので、距離画像内の全画素についての走査が完了したかどうかを確認し（ステップＳ８）、まだ完了していなければステップＳ６に戻るとともに対象とする画素位置を移動させて同様の処理を繰り返す。全画素についての走査が既に完了していれば次へ進む。
【００３６】
ステップＳ６、Ｓ７の各処理は、さらにＮ回分の距離画像すべてについて行う必要があるので、全フレームに対する処理が完了したかどうかを確認し（ステップＳ９）、まだ完了していなければステップＳ５に戻って次の回の距離画像に対して同様の処理を繰り返す。全フレームについての処理が既に完了していれば次へ進む。
【００３７】
最後に、ステップＳ５〜Ｓ９にかけての二重のループによって算出された重み付け係数を用いて、各画素位置について、各フレームの画素の距離データを加重加算する（ステップＳ１０）。
【００３８】
このような各処理を実行することで、図３に示すように、露出設定を変更しながら撮像を行って取得した距離画像１、距離画像２、距離画像３、・・・、距離画像Ｎにおいて同一の画素位置に対応する画素Ｐ1、画素Ｐ2、画素Ｐ3、・・・、画素ＰNの各距離データの重み付き平均値を算出する。すべての画素位置について同様の重み付き平均値の算出を行うと、そのようにして算出された重み付き平均値を各画素の距離データとする距離画像を得ることができる。
【００３９】
図４は、図２に示した演算処理における「距離画像取得」サブルーチン内の処理の概略を示すフローチャートである。
【００４０】
まず、図２のステップＳ１での露出設定変更に対応したパラメータを取得する（ステップＳ２１）。
【００４１】
ステップＳ２１で取得したパラメータに応じて露出設定で距離画像カメラ１０のイメージセンサ１２による撮像を行って１枚の距離画像を取得する（ステップＳ２２）。
【００４２】
取得した距離画像の画素毎の距離データおよび受光レベルデータをフレームバッファ１４に一時的に保存する（ステップＳ３）。
【００４３】
ステップＳ２２の撮像を規定回数行うため、それまでの距離画像の取得枚数が規定枚数に達しているかどうかを確認し（ステップＳ２４）、まだであればステップＳ２２に戻って同様の処理を繰り返す。規定枚数の距離画像の取得が既に完了していれば次へ進む。
【００４４】
フレームバッファ１４に保存されている規定枚数の距離画像について、画素毎の距離データおよび受光レベルデータをすべて取り出す（ステップＳ５）。
【００４５】
最後に、各画素位置について、各フレームの画素の距離データの単純な平均化処理を行う（ステップＳ１０）。
【００４６】
このように、同一の露出設定で複数回の撮像を行い、取得した距離画像の距離データを平均化したもの（平均化距離画像）を用いることで測定誤差が減少させることができる。
【００４７】
図５は、図２に示した演算処理における「重み付け係数算出」サブルーチン内の処理の概略を示すフローチャートである。
【００４８】
まず、図２のステップＳ７でこのサブルーチンが呼び出された時点のフレームと画素位置で定まる画素の距離データｚおよび受光レベルａのうちで、距離データｚの値をもとにして、重み付け係数ｃを算出するための関数ｆｚを決定する（ステップＳ３１）。ここで、ｚ＝０、１、・・・ｎである。
【００４９】
そして、画素の受光レベルａとステップＳ３１で決定された関数ｆｚより、重み付け係数ｃを算出する（ステップＳ３２）。
【００５０】
図６は、重み付け係数ｃを算出するための関数ｆｚの例を示す概略図である。図７は、関数ｆｚの別の例を示す概略図である。図８は、関数ｆｚのさらに別の例を示す概略図である。
【００５１】
関数ｆｚのごく簡単な例としては、例えば、図６に示すような２つの関数ｆ０、ｆ１が挙げられるが、この例ではｎ＝１ということになる。これらの関数はｆ０、ｆ１はいずれも、受光レベル信号がかなり高くて飽和している可能性が高い領域や受光レベル信号がかなり低くてＳ／Ｎ比がかなり悪化している領域では相対的により低く、両端ではほぼ０であり、これらの領域の中間領域では相対的に高いような値を取る曲線状である。また、係数ｃが最大となるピークは、関数ｆ１の方が関数ｆ０の方よりも受光レベルａの高い側にある。
【００５２】
物体などが比較的近距離にある場合、反射光は強めになることが考えられるので、高めの受光レベルデータを有する画素の距離データを重視するように関数ｆ１を選択すればよい。逆に、物体などが比較的遠距離にある場合には、反射光は弱めになることが考えられるので、低めの受光レベルデータを有する画素の距離データを重視するように関数ｆ０を選択すればよい。
【００５３】
関数ｆｚのさらに簡単な例としては、例えば、図７に示すように、図６の関数ｆ０と関数ｆ１のほぼ中間的な１つの関数ｆ０のみとすることも考えられる。さらに別の例としては、図８に示すように、受光レベルの低い側および高い側を除いた所定範囲内で一定値である関数ｆ０のみも考えられる。この場合は、受光レベル信号が飽和している可能性があるか、またはＳ／Ｎ比がかなり悪化している場合のように信頼性の低い距離データを除外して、それ以外の比較的信頼性の高い距離データを単純平均することを意味する。
【００５４】
なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【符号の説明】
【００５５】
１０ 距離画像カメラ
１１ 赤外発光ユニット
１２ イメージセンサ
１３ 露出調節部
１４ フレームバッファ
１５ 演算制御ユニット
【技術分野】
【０００１】
本発明は、距離画像カメラおよび距離画像合成方法に関し、特に、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能な距離画像カメラおよび距離画像合成方法に関する。
【背景技術】
【０００２】
従来、画素毎に距離情報を有する距離画像を取得することが可能な装置が提案されている（例えば、特許文献１参照）。
【０００３】
この特許文献１に記載のレンジファインダ装置は、被写体に投射した光の反射光を受けて、前記被写体の３次元位置情報を測定するレンジファインダ装置であって、前記光を投射する光源部と、前記光源部からの投射光の前記被写体での反射光を、受けるカメラ部と、前記被写体の距離情報に基づいて、前記光源部の光出力および前記カメラ部の露出条件のうちの少なくともいずれか一方を、制御する制御部とを備えたことを特徴とするものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２４１１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、投射された光の反射光の強度は物体までの距離やその物体表面の反射率などによって大きく変動するため、距離画像を取得する際に適正露出とすることはなかなか困難であった。投射光の強度や露出設定などをどのように定めたとしても、距離画像全体にわたって距離精度を良好に維持できるとは限らないからである。
【０００６】
例えば、露出量を増やすためにシャッター速度を遅くすると、近距離にある物体や表面反射率の高い物体からの反射光が強くなってその受光レベル信号が飽和しやすくなる。逆に、露出量を減らすためにシャッター速度を速くすると、遠距離にある物体や表面反射率の低い物体からの反射光が弱くなってその受光レベル信号のＳ／Ｎ比が悪化する。いずれにしても、距離精度の悪化につながってしまう。
【０００７】
露出量を増減するため、シャッター速度の変更の代わりに投射光の強度を変えた場合であっても同様に、近距離や表面反射率の高い物体で受光レベル信号が飽和しやすくなったり、遠距離や表面反射率の低い物体で受光レベル信号のＳ／Ｎ比が悪化したりすることがあるので、やはり距離精度の悪化につながってしまう。
【０００８】
従来技術のこのような課題に鑑み、本発明の目的は、撮像対象空間内に存在する１つ以上の物体までのそれぞれの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能な距離画像カメラおよび距離画像合成方法を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の距離画像カメラは、撮像対象空間へ光を照射する発光部と、この発光部から照射された光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を画素毎に有する距離画像を取得する撮像部と、この撮像部による距離画像取得の際の露出を変更する露出調節部と、この露出調節部によって露出を段階的に変更しながら前記撮像部で撮像した複数の距離画像において、同一の画素位置に対応する各画素の距離情報の重み付き平均値をそれぞれ算出するとともに、そうして算出された重み付き平均値を各画素の距離情報とするように合成した合成距離画像を求める演算制御部とを備え、前記各画素は、前記反射光の受光強度を示す受光レベル情報もそれぞれ有しており、前記演算制御部における各画素の距離情報の重み付き平均値の算出では、その画素の前記受光レベル情報に応じて前記距離情報の精度に対応するように算出される重み付け係数が用いられることを特徴とする。
【００１０】
ここで、前記重み付け係数は、前記受光レベル情報の中間領域内では相対的に高くその中間領域外では相対的に低くなるとともに、最大値を取る位置が互いに異なるような１つ以上の関数から選択された関数に基づいて決定してもよい。また、前記露出調節部による露出の段階的変更は、シャッター速度の増減または前記発光部から照射される光の強度の変更の少なくとも一方によって行うようにしてもよい。
【００１１】
このような構成の距離画像カメラによれば、撮像対象空間内に存在する１つ以上の物体までのそれぞれの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能となる。
【００１２】
また、本発明の距離画像カメラにおいて、前記撮像部による距離画像の取得を同一露出で複数回行い、画素毎の前記距離情報および前記受光レベル情報の各回の平均値を画素毎に有するようにした平均化距離画像を、前記演算制御部で用いる距離画像の代わりとしてもよい。
【００１３】
このような構成の距離画像カメラによれば、同一の露出設定で複数回の撮像を行って平均化した画素毎の前記距離情報および前記受光レベル情報を用いるので、各露出設定における撮像での測定誤差が減少し、結果として距離精度をより向上させることができる。
【００１４】
あるいは、上記目的を達成するため、本発明の距離画像合成方法は、照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を画素毎に有するとともに、前記画素毎に前記反射光の受光強度を示す受光レベル情報も有する距離画像の取得を露出設定を段階的に変更しながら複数回行う段階露出距離画像取得工程と、前記受光レベル情報に応じて、前記距離情報の精度に対応した重み付け係数を算出する重み付け係数算出工程と、前記段階露出距離画像取得工程で取得した複数の距離画像において、同一の画素位置に対応する各画素の距離情報の重み付け平均値を、前記重み付け係数算出工程で算出される重み付け係数を用いて算出するとともに、そうして算出された重み付き平均値を各画素の距離情報とするように合成した合成距離画像を求める距離画像合成工程とを含むことを特徴とする。
【００１５】
上記の距離画像カメラと同様に、前記重み付け係数は、前記受光レベル情報の中間領域内では相対的に高くその中間領域外では相対的に低くなるとともに、最大値を取る位置が互いに異なるような１つ以上の関数から選択された関数に基づいて決定してもよい。また、前記段階露出距離画像取得工程における露出の段階的変更は、シャッター速度の増減または前記発光部から照射される光の強度の変更の少なくとも一方によって行うようにしてもよい。
【００１６】
このような構成の距離画像合成方法によれば、撮像対象空間内に存在する１つ以上の物体までのそれぞれの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能となる。
【００１７】
また、本発明の距離画像合成方法において、前記段階露出距離画像取得工程における距離画像の取得を同一露出で複数回行い、画素毎の前記距離情報および前記受光レベル情報の各回の平均値を画素毎に有するようにした平均化距離画像を、前記距離画像合成工程で用いる距離画像の代わりとしてもよい。
【００１８】
このような構成の距離画像合成方法によれば、同一の露出設定で複数回の撮像を行って平均化した画素毎の前記距離情報および前記受光レベル情報を用いるので、各露出設定における撮像での測定誤差が減少し、結果として距離精度をより向上させることができる。
【発明の効果】
【００１９】
本発明の距離画像カメラおよび距離画像合成方法によれば、撮像対象空間内に存在する１つ以上の物体までのそれぞれの距離や表面反射率に関わらず、距離画像のほぼ全体にわたって良好な距離精度を得ることが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。
【図２】距離画像カメラ１０による演算処理の概略を示すフローチャートである。
【図３】図２に示した演算処理における各画素の走査についての概略説明図である。
【図４】図２に示した演算処理における「距離画像取得」サブルーチン内の処理の概略を示すフローチャートである。
【図５】図２に示した演算処理における「重み付け係数算出」サブルーチン内の処理の概略を示すフローチャートである。
【図６】図５で示した処理において重み付け係数ｃを算出するための関数ｆｚの例を示す概略図である。
【図７】図５で示した処理において重み付け係数ｃを算出するための関数ｆｚの別の例を示す概略図である。
【図８】図５で示した処理において重み付け係数ｃを算出するための関数ｆｚのさらに別の例を示す概略図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を、図面を参照して説明する。
【００２２】
＜ 距離画像カメラ１０の概略構成など ＞
図１は、本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。
【００２３】
この図１に示すように、距離画像カメラ１０は、撮像対象空間へ赤外光を照射する赤外発光ユニット１１と、この赤外発光ユニット１１から照射された赤外光が反射されて戻ってくるまでの時間の測定値に基づいて算出される距離データを格子状に配置された画素毎に有する距離画像を取得することが可能なイメージセンサ１２と、このイメージセンサ１２による距離画像取得の際の露出設定変更をシャッター速度を可変とすることで可能とした露出調節部１３と、イメージセンサ１２によって取得した距離画像を一時的に記憶する大容量メモリとしてのフレームバッファ１４と、赤外発光ユニット１１による赤外光の照射（照射強度、照射時間やタイミングなど）、イメージセンサ１２による距離画像の取得、露出調節部１３によるシャッター速度の変更などの制御を行うとともに、イメージセンサ１２によって取得されてフレームバッファ１４に記憶されている１セット以上の距離画像を読み出して演算処理（詳細は後述）などを行う演算制御ユニット１５（例えば、ＣＰＵ）とを備えている。なお、イメージセンサ１２によって取得された距離画像の各画素は、反射光の受光強度を示す受光レベルデータもそれぞれ有している。
【００２４】
赤外発光ユニット１１としては、例えば、赤外光を発する発光ダイオードや半導体レーザなどが挙げられるが、これらに限られない。赤外光の照射強度や照射時間を可変とすることで、露出調節部１３との組み合わせでイメージセンサ１２の露出設定をより広範囲で行えるようにしてもよい。
【００２５】
イメージセンサ１２としては、例えば、いわゆるＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサなどが挙げられるが、これに限られない。
【００２６】
露出調節部１３としては、シャッター速度を可変とするものに限られない。例えば、絞り機構や、光の透過率を電気的に変更可能なフィルタを代わりに用いたり、あるいはこれらの１つ以上を組み合わせて用いることなども考えられる。ただし、距離画像の取得に要する時間があまり長くならないように、露出設定変更を高速で行えるものが好ましい。
【００２７】
図２は、距離画像カメラ１０による演算処理の概略を示すフローチャートである。図３は、この演算処理における各画素の走査についての概略説明図である。
【００２８】
まず、距離画像カメラ１０のイメージセンサ１２による撮像のために露出調節部１３での露出設定・変更を行う（ステップＳ１）。後述するように、このステップＳ１はループ内で所定回数Ｎだけ繰り返される。例えば、Ｎ＝１０、すなわち全部で１０回繰り返される場合、１回目は初期設定として、画面全体を単純平均した場合の適正露出に対して所定量だけ露出アンダー（−Ｄ）となるようにシャッター速度を高速側に設定してもよい。２回目以降は、露出を一定量ΔＤだけオーバー側へシフトさせるようにシャッター速度を毎回段階的に低速側へ設定する。この一定量ΔＤは、上記の適正露出に対して最終回の露出設定が露出オーバー（＋Ｄ）となるように定めればよい。
【００２９】
そして、このような露出設定でイメージセンサ１２による撮像を行って、画素毎に距離データおよび受光レベルデータを有する距離画像を取得するためのサブルーチン「距離画像取得」を呼び出す（ステップＳ２）。なお、このサブルーチン内の処理詳細は図４を参照して後述する。
【００３０】
取得した距離画像の画素毎の距離データおよび受光レベルデータを、後の演算などのためにフレームバッファ１４に一時的に保存する（ステップＳ３）。
【００３１】
全ての露出パターンによる距離画像の取得が完了したかどうかを確認し（ステップＳ４）、まだ完了していなければステップＳ１に戻り、既に完了していれば次へ進む。
【００３２】
ステップＳ１からステップＳ４までのループ内の各処理が所定回数繰り返された後、フレームバッファ１４に保存されているＮ回分の距離画像の画素毎の距離データおよび受光レベルデータを各回分毎に順に取り出す（ステップＳ５）。後述するように、このステップＳ５もループ内で所定回数Ｎだけ繰り返される。
【００３３】
ステップＳ５でフレームバッファ１４から取り出した距離画像の各画素について、対象とする画素位置を順次移動させながら走査する（ステップＳ６）。
【００３４】
そして、重み付け計数を算出するためのサブルーチン「重み付け係数算出」を呼び出す（ステップＳ７）。なお、このサブルーチン内の処理詳細は図５および図６を参照して後述する。
【００３５】
ステップＳ６、Ｓ７の各処理は、対象とする画素位置を順次移動させながらすべての画素位置について行う必要があるので、距離画像内の全画素についての走査が完了したかどうかを確認し（ステップＳ８）、まだ完了していなければステップＳ６に戻るとともに対象とする画素位置を移動させて同様の処理を繰り返す。全画素についての走査が既に完了していれば次へ進む。
【００３６】
ステップＳ６、Ｓ７の各処理は、さらにＮ回分の距離画像すべてについて行う必要があるので、全フレームに対する処理が完了したかどうかを確認し（ステップＳ９）、まだ完了していなければステップＳ５に戻って次の回の距離画像に対して同様の処理を繰り返す。全フレームについての処理が既に完了していれば次へ進む。
【００３７】
最後に、ステップＳ５〜Ｓ９にかけての二重のループによって算出された重み付け係数を用いて、各画素位置について、各フレームの画素の距離データを加重加算する（ステップＳ１０）。
【００３８】
このような各処理を実行することで、図３に示すように、露出設定を変更しながら撮像を行って取得した距離画像１、距離画像２、距離画像３、・・・、距離画像Ｎにおいて同一の画素位置に対応する画素Ｐ1、画素Ｐ2、画素Ｐ3、・・・、画素ＰNの各距離データの重み付き平均値を算出する。すべての画素位置について同様の重み付き平均値の算出を行うと、そのようにして算出された重み付き平均値を各画素の距離データとする距離画像を得ることができる。
【００３９】
図４は、図２に示した演算処理における「距離画像取得」サブルーチン内の処理の概略を示すフローチャートである。
【００４０】
まず、図２のステップＳ１での露出設定変更に対応したパラメータを取得する（ステップＳ２１）。
【００４１】
ステップＳ２１で取得したパラメータに応じて露出設定で距離画像カメラ１０のイメージセンサ１２による撮像を行って１枚の距離画像を取得する（ステップＳ２２）。
【００４２】
取得した距離画像の画素毎の距離データおよび受光レベルデータをフレームバッファ１４に一時的に保存する（ステップＳ３）。
【００４３】
ステップＳ２２の撮像を規定回数行うため、それまでの距離画像の取得枚数が規定枚数に達しているかどうかを確認し（ステップＳ２４）、まだであればステップＳ２２に戻って同様の処理を繰り返す。規定枚数の距離画像の取得が既に完了していれば次へ進む。
【００４４】
フレームバッファ１４に保存されている規定枚数の距離画像について、画素毎の距離データおよび受光レベルデータをすべて取り出す（ステップＳ５）。
【００４５】
最後に、各画素位置について、各フレームの画素の距離データの単純な平均化処理を行う（ステップＳ１０）。
【００４６】
このように、同一の露出設定で複数回の撮像を行い、取得した距離画像の距離データを平均化したもの（平均化距離画像）を用いることで測定誤差が減少させることができる。
【００４７】
図５は、図２に示した演算処理における「重み付け係数算出」サブルーチン内の処理の概略を示すフローチャートである。
【００４８】
まず、図２のステップＳ７でこのサブルーチンが呼び出された時点のフレームと画素位置で定まる画素の距離データｚおよび受光レベルａのうちで、距離データｚの値をもとにして、重み付け係数ｃを算出するための関数ｆｚを決定する（ステップＳ３１）。ここで、ｚ＝０、１、・・・ｎである。
【００４９】
そして、画素の受光レベルａとステップＳ３１で決定された関数ｆｚより、重み付け係数ｃを算出する（ステップＳ３２）。
【００５０】
図６は、重み付け係数ｃを算出するための関数ｆｚの例を示す概略図である。図７は、関数ｆｚの別の例を示す概略図である。図８は、関数ｆｚのさらに別の例を示す概略図である。
【００５１】
関数ｆｚのごく簡単な例としては、例えば、図６に示すような２つの関数ｆ０、ｆ１が挙げられるが、この例ではｎ＝１ということになる。これらの関数はｆ０、ｆ１はいずれも、受光レベル信号がかなり高くて飽和している可能性が高い領域や受光レベル信号がかなり低くてＳ／Ｎ比がかなり悪化している領域では相対的により低く、両端ではほぼ０であり、これらの領域の中間領域では相対的に高いような値を取る曲線状である。また、係数ｃが最大となるピークは、関数ｆ１の方が関数ｆ０の方よりも受光レベルａの高い側にある。
【００５２】
物体などが比較的近距離にある場合、反射光は強めになることが考えられるので、高めの受光レベルデータを有する画素の距離データを重視するように関数ｆ１を選択すればよい。逆に、物体などが比較的遠距離にある場合には、反射光は弱めになることが考えられるので、低めの受光レベルデータを有する画素の距離データを重視するように関数ｆ０を選択すればよい。
【００５３】
関数ｆｚのさらに簡単な例としては、例えば、図７に示すように、図６の関数ｆ０と関数ｆ１のほぼ中間的な１つの関数ｆ０のみとすることも考えられる。さらに別の例としては、図８に示すように、受光レベルの低い側および高い側を除いた所定範囲内で一定値である関数ｆ０のみも考えられる。この場合は、受光レベル信号が飽和している可能性があるか、またはＳ／Ｎ比がかなり悪化している場合のように信頼性の低い距離データを除外して、それ以外の比較的信頼性の高い距離データを単純平均することを意味する。
【００５４】
なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【符号の説明】
【００５５】
１０ 距離画像カメラ
１１ 赤外発光ユニット
１２ イメージセンサ
１３ 露出調節部
１４ フレームバッファ
１５ 演算制御ユニット
【特許請求の範囲】
【請求項１】
撮像対象空間へ光を照射する発光部と、
この発光部から照射された光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を画素毎に有する距離画像を取得する撮像部と、
この撮像部による距離画像取得の際の露出を変更する露出調節部と、
この露出調節部によって露出を段階的に変更しながら前記撮像部で撮像した複数の距離画像において、同一の画素位置に対応する各画素の距離情報の重み付き平均値をそれぞれ算出するとともに、そうして算出された重み付き平均値を各画素の距離情報とするように合成した合成距離画像を求める演算制御部とを備え、
前記各画素は、前記反射光の受光強度を示す受光レベル情報もそれぞれ有しており、
前記演算制御部における各画素の距離情報の重み付き平均値の算出では、その画素の前記受光レベル情報に応じて前記距離情報の精度に対応するように算出される重み付け係数が用いられることを特徴とする距離画像カメラ。
【請求項２】
請求項１に記載の距離画像カメラにおいて、
前記重み付け係数は、前記受光レベル情報の中間領域内では相対的に高くその中間領域外では相対的に低くなるとともに、最大値を取る位置が互いに異なるような１つ以上の関数から選択された関数に基づいて決定することを特徴とする距離画像カメラ。
【請求項３】
請求項１または２に記載の距離画像カメラにおいて、
前記露出調節部による露出の段階的変更は、シャッター速度の増減または前記発光部から照射される光の強度の変更の少なくとも一方によって行うことを特徴とする距離画像カメラ。
【請求項４】
請求項１〜３のいずれか１項に記載の距離画像カメラにおいて、
前記撮像部による距離画像の取得を同一露出で複数回行い、画素毎の前記距離情報および前記受光レベル情報の各回の平均値を画素毎に有するようにした平均化距離画像を、前記演算制御部で用いる距離画像の代わりとすることを特徴とする距離画像カメラ。
【請求項５】
照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を画素毎に有するとともに、前記画素毎に前記反射光の受光強度を示す受光レベル情報も有する距離画像の取得を露出設定を段階的に変更しながら複数回行う段階露出距離画像取得工程と、
前記受光レベル情報に応じて、前記距離情報の精度に対応した重み付け係数を算出する重み付け係数算出工程と、
前記段階露出距離画像取得工程で取得した複数の距離画像において、同一の画素位置に対応する各画素の距離情報の重み付け平均値を、前記重み付け係数算出工程で算出される重み付け係数を用いて算出するとともに、そうして算出された重み付き平均値を各画素の距離情報とするように合成した合成距離画像を求める距離画像合成工程とを
を含むことを特徴とする距離画像合成方法。
【請求項６】
請求項５に記載の距離画像合成方法において、
前記重み付け係数は、前記受光レベル情報の中間領域内では相対的に高くその中間領域外では相対的に低くなるとともに、最大値を取る位置が互いに異なるような１つ以上の関数から選択された関数に基づいて決定することを特徴とする距離画像合成方法。
【請求項７】
請求項５または６に記載の距離画像合成方法において、
前記段階露出距離画像取得工程における露出の段階的変更は、シャッター速度の増減または前記発光部から照射される光の強度の変更の少なくとも一方によって行うことを特徴とする距離画像合成方法。
【請求項８】
請求項５〜７のいずれか１項に記載の距離画像合成方法において、
前記段階露出距離画像取得工程における距離画像の取得を同一露出で複数回行い、画素毎の前記距離情報および前記受光レベル情報の各回の平均値を画素毎に有するようにした平均化距離画像を、前記距離画像合成工程で用いる距離画像の代わりとすることを特徴とする距離画像合成方法。
【請求項１】
撮像対象空間へ光を照射する発光部と、
この発光部から照射された光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を画素毎に有する距離画像を取得する撮像部と、
この撮像部による距離画像取得の際の露出を変更する露出調節部と、
この露出調節部によって露出を段階的に変更しながら前記撮像部で撮像した複数の距離画像において、同一の画素位置に対応する各画素の距離情報の重み付き平均値をそれぞれ算出するとともに、そうして算出された重み付き平均値を各画素の距離情報とするように合成した合成距離画像を求める演算制御部とを備え、
前記各画素は、前記反射光の受光強度を示す受光レベル情報もそれぞれ有しており、
前記演算制御部における各画素の距離情報の重み付き平均値の算出では、その画素の前記受光レベル情報に応じて前記距離情報の精度に対応するように算出される重み付け係数が用いられることを特徴とする距離画像カメラ。
【請求項２】
請求項１に記載の距離画像カメラにおいて、
前記重み付け係数は、前記受光レベル情報の中間領域内では相対的に高くその中間領域外では相対的に低くなるとともに、最大値を取る位置が互いに異なるような１つ以上の関数から選択された関数に基づいて決定することを特徴とする距離画像カメラ。
【請求項３】
請求項１または２に記載の距離画像カメラにおいて、
前記露出調節部による露出の段階的変更は、シャッター速度の増減または前記発光部から照射される光の強度の変更の少なくとも一方によって行うことを特徴とする距離画像カメラ。
【請求項４】
請求項１〜３のいずれか１項に記載の距離画像カメラにおいて、
前記撮像部による距離画像の取得を同一露出で複数回行い、画素毎の前記距離情報および前記受光レベル情報の各回の平均値を画素毎に有するようにした平均化距離画像を、前記演算制御部で用いる距離画像の代わりとすることを特徴とする距離画像カメラ。
【請求項５】
照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を画素毎に有するとともに、前記画素毎に前記反射光の受光強度を示す受光レベル情報も有する距離画像の取得を露出設定を段階的に変更しながら複数回行う段階露出距離画像取得工程と、
前記受光レベル情報に応じて、前記距離情報の精度に対応した重み付け係数を算出する重み付け係数算出工程と、
前記段階露出距離画像取得工程で取得した複数の距離画像において、同一の画素位置に対応する各画素の距離情報の重み付け平均値を、前記重み付け係数算出工程で算出される重み付け係数を用いて算出するとともに、そうして算出された重み付き平均値を各画素の距離情報とするように合成した合成距離画像を求める距離画像合成工程とを
を含むことを特徴とする距離画像合成方法。
【請求項６】
請求項５に記載の距離画像合成方法において、
前記重み付け係数は、前記受光レベル情報の中間領域内では相対的に高くその中間領域外では相対的に低くなるとともに、最大値を取る位置が互いに異なるような１つ以上の関数から選択された関数に基づいて決定することを特徴とする距離画像合成方法。
【請求項７】
請求項５または６に記載の距離画像合成方法において、
前記段階露出距離画像取得工程における露出の段階的変更は、シャッター速度の増減または前記発光部から照射される光の強度の変更の少なくとも一方によって行うことを特徴とする距離画像合成方法。
【請求項８】
請求項５〜７のいずれか１項に記載の距離画像合成方法において、
前記段階露出距離画像取得工程における距離画像の取得を同一露出で複数回行い、画素毎の前記距離情報および前記受光レベル情報の各回の平均値を画素毎に有するようにした平均化距離画像を、前記距離画像合成工程で用いる距離画像の代わりとすることを特徴とする距離画像合成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２２５８０７（Ｐ２０１２−２２５８０７Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９４３３８（Ｐ２０１１−９４３３８）
【出願日】平成２３年４月２０日（２０１１．４．２０）
【出願人】（０００１０３７３６）オプテックス株式会社 (116)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月２０日（２０１１．４．２０）
【出願人】（０００１０３７３６）オプテックス株式会社 (116)
【Ｆターム（参考）】
[ Back to top ]