説明

手領域検出装置、手領域検出方法、プログラム及び記憶媒体

【課題】手領域を精度良く検出することが可能な手領域検出装置、手領域検出方法及びプログラムを提供する。
【解決手段】手領域検出装置は、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション手段と、セグメンテーション手段によって抽出された領域の輪郭線上に位置する一の輪郭点と、輪郭線上に位置する他の輪郭点との距離を、輪郭線を構成する全ての輪郭点について求め、求められた距離に基づいて、セグメンテーション手段によって抽出された複数の領域の中から手領域を決定する手領域決定手段と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力画像から手領域を検出する技術分野に関する。
【背景技術】
【0002】
この種の技術が、例えば特許文献1及び2に提案されている。特許文献1には、入力画像から手の候補領域を検出し、手の候補領域の面積や、周辺長や、手の候補領域の中心からの距離に基づいて、手の候補領域の形状複雑度を算出する技術が提案されている。また、特許文献2には、画像内の手の領域を抽出し、手領域を横切る直線と手領域の輪郭線との交点に基づいて手の状態を検出する技術が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−52609号公報
【特許文献2】特開平11−25260号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記した特許文献1に提案された技術では、入力画像に手だけでなく腕が含まれている場合(例えば半袖や七分袖などを着用して手の撮影を行った場合)に、手の候補領域における中心が腕側に大きく移動してしまうことで、手領域を適切に検出できない場合があった。他方で、特許文献2に提案された技術では、指がラスタスキャン方向に対し略垂直であることを前提としており、手の方向が変化した場合などには適切に検出を行うことが困難であった。
【0005】
本発明が解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、手領域を精度良く検出することが可能な手領域検出装置、手領域検出方法、プログラム及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明では、手領域検出装置は、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション手段と、前記セグメンテーション手段によって抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション手段によって抽出された前記複数の領域の中から手領域を決定する手領域決定手段と、を備える。
【0007】
請求項12に記載の発明では、手領域検出装置によって実行される手領域検出方法は、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション工程と、前記セグメンテーション工程で抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション工程で抽出された前記複数の領域の中から手領域を決定する手領域決定工程と、を備える。
【0008】
請求項13に記載の発明では、コンピュータを具備する手領域検出装置によって実行されるプログラムは、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション手段、前記セグメンテーション手段によって抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション手段によって抽出された前記複数の領域の中から手領域を決定する手領域決定手段、として前記コンピュータを機能させる。
【0009】
請求項14に記載の発明では、記憶媒体は、請求項13に記載のプログラムを記憶したことを特徴とする。
【図面の簡単な説明】
【0010】
【図1】本実施例に係る手領域検出装置の全体構成を示す概略図である。
【図2】セグメンテーションの処理の途中過程で得られた結果の一例を示す。
【図3】セグメンテーション結果の一例を示す。
【図4】領域深度を具体的に説明するための図を示す。
【図5】領域深度を輪郭点(輪郭ピクセル)ごとに並べたグラフの一例を示す。
【図6】指差しが行われた入力画像より得られる、輪郭点と領域深度との関係の具体例を示す。
【図7】指領域抽出部によって抽出された指領域の具体例を示している。
【発明を実施するための形態】
【0011】
本発明の1つの観点では、手領域検出装置は、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション手段と、前記セグメンテーション手段によって抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション手段によって抽出された前記複数の領域の中から手領域を決定する手領域決定手段と、を備える。
【0012】
上記の手領域検出装置は、入力画像から手領域を検出するために好適に利用される。セグメンテーション手段は、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出する。手領域決定手段は、セグメンテーション手段によって抽出された領域の輪郭線上に位置する一の輪郭点と、輪郭線上に位置する他の輪郭点との距離を、輪郭線を構成する全ての輪郭点について求める。そして、手領域決定手段は、こうして求められた距離に基づいて、セグメンテーション手段によって抽出された複数の領域の中から手領域を決定する。このような輪郭線上に位置する輪郭点間の距離を用いることで、手領域を適切に検出することが可能となる。
【0013】
上記の手領域検出装置の一態様では、前記手領域決定手段は、前記輪郭線を構成する全ての輪郭点について求められた前記距離の平均値と標準偏差とに基づいて、前記手領域を決定することができる。
【0014】
上記の手領域検出装置の他の一態様では、前記手領域決定手段は、前記輪郭線を構成する全ての輪郭点と、前記全ての輪郭点について求められた前記距離とによって規定されるグラフに対して、パターンマッチングを行うことで、前記手領域を決定することができる。
【0015】
上記の手領域検出装置の他の一態様では、前記手領域決定手段は、前記一の輪郭点における前記輪郭線の接線と直交し、且つ当該一の輪郭点を通る直線が、前記輪郭線に交わる点を前記他の輪郭点として用いる。このような輪郭点間の距離を用いることで、手領域を精度良く検出することが可能となる。
【0016】
上記の手領域検出装置の他の一態様では、前記手領域決定手段は、前記一の輪郭点から、前記輪郭線を構成する輪郭点の中で最も離れた点を、前記他の輪郭点として用いる。このような輪郭点間の距離を用いることによっても、手領域を精度良く検出することが可能となる。
【0017】
上記の手領域検出装置の他の一態様では、前記手領域決定手段は、前記輪郭線を構成する輪郭点の中で最も先鋭に変化する点を前記一の輪郭点として固定して用いると共に、前記輪郭線を構成する輪郭点から前記最も先鋭に変化する点を除いた点を前記他の輪郭点として用いる。このような輪郭点間の距離を用いることによっても、手領域を精度良く検出することが可能となる。
【0018】
上記の手領域検出装置の他の一態様では、前記手領域決定手段によって決定された前記手領域から、前記距離に基づいて、指領域を抽出する指領域抽出手段を更に備える。これにより、手領域から指領域を適切に抽出することができる。
【0019】
上記の手領域検出装置の他の一態様では、前記指領域抽出手段は、前記手領域決定手段によって求められた、前記輪郭線を構成する全ての輪郭点についての前記距離の平均値と標準偏差とに基づいて、前記指領域を抽出することができる。
【0020】
好適な例では、前記指領域抽出手段は、前記平均値と前記標準偏差とに基づいて、前記指領域の候補となる複数の領域を抽出し、前記複数の領域の中で最も面積が大きい領域を、前記指領域として決定する。これにより、指差しが行われた指に対応する指領域を適切に抽出することができる。
【0021】
上記の手領域検出装置において好適には、前記手領域決定手段は、前記セグメンテーション手段によって抽出された前記複数の領域だけでなく、前記複数の領域を組み合わせた領域も用いて、前記手領域を決定する。これにより、複数の色や模様を有する手袋装着時などにおいて、手領域を適切に検出することが可能となる。
【0022】
上記の手領域検出装置において好適には、前記手領域決定手段は、前記距離だけでなく、前記セグメンテーション手段によって抽出された前記領域の面積及び/又は周長も用いて、前記手領域を決定する。例えば、手領域決定手段は、面積及び/又は周長に基づいて、セグメンテーション手段によって抽出された複数の領域をある程度絞り込み、この後、距離に基づいて、絞り込まれた領域から手領域を決定することができる。
【0023】
本発明の他の観点では、手領域検出装置によって実行される手領域検出方法は、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション工程と、前記セグメンテーション工程で抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション工程で抽出された前記複数の領域の中から手領域を決定する手領域決定工程と、を備える。
【0024】
本発明の更に他の観点では、コンピュータを具備する手領域検出装置によって実行されるプログラムは、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション手段、前記セグメンテーション手段によって抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション手段によって抽出された前記複数の領域の中から手領域を決定する手領域決定手段、として前記コンピュータを機能させる。
【0025】
上記のプログラムは、記憶媒体に記録した状態で好適に取り扱うことができる。
【実施例】
【0026】
以下、図面を参照して本発明の好適な実施例について説明する。
【0027】
[全体構成]
図1は、本実施例に係る手領域検出装置2の全体構成を示す概略図である。ここでは、手領域検出装置2の機能の概要について簡単に説明する。
【0028】
図1に示すように、手領域検出装置2は、主に、セグメンテーション部3と、手領域決定部4と、指領域抽出部5と、を有する。また、手領域検出装置2には、カメラ1による撮影画像が入力される。例えば、手領域検出装置2は、PC(Personal Computer)などによって実現され、PC内のCPU(Central Processing Unit)が、セグメンテーション部3、手領域決定部4及び指領域抽出部5として機能する。
【0029】
セグメンテーション部3は、色情報などを手掛かりとして、カメラ1から入力された画像(入力画像)に対してセグメンテーションを行う。具体的には、セグメンテーション部3は、入力画像を色情報などに基づいて領域分けを行うことで、検出すべき手領域の候補となる複数の領域を抽出する。
【0030】
手領域決定部4は、セグメンテーション部3によって抽出された複数の領域の中から、手領域を決定する。「手領域」は、入力画像の中で、人間の手の部分に相当する画像上での領域である。具体的には、手領域決定部4は、セグメンテーション部3によって抽出された領域の面積及び周長、並びに当該領域の輪郭線上に位置する一の輪郭点と他の輪郭点との距離に基づいて、手領域を決定する。この場合、手領域決定部4は、セグメンテーション部3によって抽出された領域の輪郭線を構成する全ての輪郭点について、このような距離を求める。
【0031】
なお、「輪郭点」とは、セグメンテーション部3によって抽出された領域の輪郭線上に位置する点、つまり領域の輪郭線の画像を構成するピクセルを意味する。以下では、輪郭点のことを、「輪郭ピクセル」とも表記する。
【0032】
指領域抽出部5は、手領域決定部4によって決定された手領域から、指領域を抽出する。「指領域」は、入力画像の中で、人間の指の部分に相当する画像上での領域である。具体的には、指領域抽出部5は、手領域決定部4によって求められた距離(手領域における輪郭線上に位置する一の輪郭点と他の輪郭点との距離)に基づいて、手領域から指領域を抽出する。
【0033】
[セグメンテーション]
次に、図2及び図3を参照して、本実施例においてセグメンテーション部3が行う処理の具体例について説明する。ここでは、セグメンテーションとしてグラフカット(Graph Cut)の手法を用いた場合を例示する。
【0034】
図2は、セグメンテーションの処理の途中過程で得られた結果の一例を示している。図2(a)は、入力画像の一例を示している。図2(a)に示すように、入力画像には、指差しが行われている手が含まれている。図2(b)は、図2(a)に示したような入力画像より作成された、HSV色空間におけるH−S色空間での2次元ヒストグラムの一例を示している(H:色相、S:彩度、V:明度)。図2(b)では、横方向に「S」を示し、縦方向に「H」を示している。図2(c)は、図2(b)に示したような2次元ヒストグラムに基づいて得られた、クラスタリング結果の一例を示している。ここでは、クラス数10の混合正規分布モデル(GMM:Gaussian Mixture Model)にて、色空間のクラスタリングを行ったものとする。図2(c)でも、横方向に「S」を示し、縦方向に「H」を示している。
【0035】
なお、図2(b)及び図2(c)では、グレースケールにてヒストグラム及びクラスタリング結果を表現しているが、実際には種々の色を用いて表現される。例えば、図2(b)は、赤、緑、青などで2次元ヒストグラムが表現され、青、緑、赤の順に頻度が上昇する。
【0036】
図3は、セグメンテーション結果の一例を示している。具体的には、図3(a)〜(j)は、クラス数10の混合正規分布モデルにて色空間のクラスタリングを行った結果(図2(c)参照)に従って、それぞれのクラスごとにグラフカットを適用し、入力画像をセグメンテーションした結果を示している。図3(a)〜(j)において、白の部分は選択領域(つまり手領域の候補として抽出された領域)を示し、黒の部分は背景を示している。
【0037】
なお、グラフカットの手法を用いてセグメンテーションを行うことに限定はされず、グラフカット以外の公知の手法を用いてセグメンテーションを行っても良い。
【0038】
[手領域決定]
次に、本実施例において手領域決定部4が行う処理について説明する。手領域決定部4は、上記のようにしてセグメンテーション部3によって抽出された複数の領域の中から、手領域を決定する。
【0039】
本実施例では、手領域決定部4は、セグメンテーション部3によって抽出された領域の面積及び周長、並びに当該領域の輪郭線上に位置する一の輪郭点と他の輪郭点との距離に基づいて、手領域を決定する。具体的には、手領域決定部4は、一の輪郭点における輪郭線の接線と直交し、当該一の輪郭点を通る直線が、輪郭線に交わる点(当該一の輪郭点を除く)を他の輪郭点として用いて、当該一の輪郭点と当該他の輪郭点との距離(以下、適宜「領域深度」と呼ぶ。)を、輪郭線を構成する全ての輪郭点について求める。そして、手領域決定部4は、輪郭線を構成する全ての輪郭点について求められた領域深度から、領域深度の平均値と標準偏差とを求め、当該平均値と当該標準偏差とに基づいて手領域を決定する。
【0040】
より詳しくは、手領域決定部4は、まず最初に、セグメンテーション部3によって抽出された複数の領域の中から、面積が所定範囲内であり、且つ周長が所定範囲内である領域を選択する。そして、手領域決定部4は、このように選択された領域の中から、上記のようにして求められた領域深度の平均値及び標準偏差を用いて、手領域を決定する。この場合、手領域決定部4は、領域深度の平均値が所定範囲内であり、且つ領域深度の標準偏差が所定範囲内であるような領域を、手領域として決定する。ここで、手領域決定部4は、セグメンテーション部3によって抽出された複数の領域において上記したような条件を満たす領域が存在しない場合には、入力画像に手領域が含まれていないと判定する。
【0041】
なお、領域の面積の判定に用いる所定範囲、領域の周長の判定に用いる所定範囲、領域深度の平均値の判定に用いる所定範囲、及び領域深度の標準偏差の判定に用いる所定範囲は、それぞれ、人間の手の大きさなどを考慮して定められた範囲が用いられる。これらの所定範囲として、予め定めた固定の範囲を用いても良いし、入力画像などに応じて変化される範囲を用いても良い。
【0042】
図4は、領域深度を具体的に説明するための図を示す。図4(a)は、セグメンテーション部3によって抽出された領域の1つを例示している。ここでは、説明の便宜上、手領域と考えられる領域を例示している。また、図4(a)では、説明を分かり易くするために、セグメンテーション部3によって抽出された領域の輪郭線を黒線でなぞった図を示している(以下で示す図も同様とする)。
【0043】
図4(b)は、領域深度の一例を示している。ここでは、輪郭点P1についての領域深度L1を例に挙げる。図4(b)に示すように、輪郭点P1における輪郭線の接線A1に直行し、且つ当該輪郭点P1を通る直線A2(以下では、直線A2において矢印で示す方向を「エッジ垂直方向」とも呼ぶ。)は、輪郭点P2にて輪郭線と交わる。領域深度L1は、このような輪郭点P1と輪郭点P2との距離に相当する。図4(b)より分かるように、領域深度L1は、領域のエッジ垂直方向に引いた直線A2が、領域を切り取る長さと考えることができる。言い換えると、領域深度L1は、エッジ垂直方向における領域のピクセル数と考えることができる。
【0044】
前述したように、手領域決定部4は、領域における輪郭線を構成する全ての輪郭点について、このような領域深度を求める。そして、手領域決定部4は、輪郭線を構成する全ての輪郭点について求められた領域深度から、領域深度の平均値及び標準偏差を求め、当該平均値及び当該標準偏差のそれぞれを所定範囲と比較することで、領域が手領域であるか否かを判定する。
【0045】
図5は、上記のようにして求められた領域深度を輪郭点(輪郭ピクセル)ごとに並べたグラフの一例を示している。図5では、横軸に輪郭点を示しており、縦軸に領域深度を示している。具体的には、横軸に示す輪郭点の数字は、領域の輪郭線を構成するピクセルのインデックスを表しており、縦軸に示す領域深度は、「ピクセル」の単位で表している。
【0046】
上記では、領域深度の平均値及び標準偏差を求め、当該平均値及び当該標準偏差に基づいて手領域を決定する手法を示したが、他の例では、こうする代わりに、図5に示したようなグラフの形状に基づいて手領域を決定しても良い。つまり、領域深度の平均値及び標準偏差に対して所定範囲を用いた判定を行うことで手領域を決定することに限定はされず、複数の輪郭点ごとに領域深度を並べたグラフの形状に対してパターンマッチングを行うことで、手領域を決定しても良い。
【0047】
例えば、輪郭点ごとに領域深度を並べたグラフの形状と、予め用意したパターンとの類似度を求め、類似度が所定値以上であるグラフが得られた領域を、手領域として決定することができる。比較に用いるパターンとしては、想定される手領域より得られるようなグラフの形状を用いることができ、1つのパターンのみを用いても良いし、複数のパターンを用いても良い。1つの例では、複数の輪郭点より得られた領域深度を、領域深度が浅い輪郭点を基準にして並べると共に、輪郭点によって規定される軸のスケールを正規化したグラフを作成し、当該グラフの形状に基づいてパターンマッチングを行うことができる。
【0048】
[指領域抽出]
次に、本実施例において指領域抽出部5が行う処理について説明する。ここでは、指差しが行われた指に対応する指領域を抽出する例を挙げる。
【0049】
図6は、指差しが行われた入力画像より得られる、輪郭点と領域深度との関係の典型的な例を示している。図6に示すグラフは、手領域に対応するグラフであり、手領域決定部4によって前述したような手順で求められる。なお、横軸及び縦軸の定義は、図5と同様である。
【0050】
図6に示すように、符号Rで示す範囲に含まれる輪郭点では、領域深度が比較的浅いことが見て取れる。このような範囲Rは、手領域の中で幅が比較的狭い領域に対応すると言え、当該領域は、指差しが行われた指に対応する指領域であると考えることができる。
【0051】
したがって、本実施例では、指領域抽出部5は、手領域決定部4によって決定された手領域についての領域深度に基づいて、手領域から指領域を抽出する。この場合、指領域抽出部5は、手領域決定部4によって求められた領域深度の平均値及び標準偏差に基づいて、手領域から指領域を抽出する。
【0052】
具体的には、まず、指領域抽出部5は、手領域を構成する輪郭点の中で、領域深度が以下の式(1)の条件を満たすような輪郭点(複数の輪郭点)を選ぶ。
領域深度≦平均値−a×標準偏差 式(1)
式(1)において、平均値及び標準偏差は、上記した手領域決定部4によって求められた値である。具体的には、手領域を構成する全ての輪郭点から求められた領域深度の平均値及び標準偏差である。また、式(1)中の「a」は、適当な実数である。
【0053】
指領域抽出部5は、式(1)の条件を満たす複数の輪郭点で、エッジ垂直方向に手領域を塗りつぶす。具体的には、指領域抽出部5は、式(1)の条件を満たす複数の輪郭点のそれぞれから、エッジ垂直方向に手領域の輪郭線まで伸びる線分を描くことで、手領域を塗りつぶしていく。これにより、手領域内に、複数の塗りつぶされた領域が形成される(1つの領域のみしか形成されない場合もある)。指領域抽出部5は、このような複数の領域を、指領域の候補となる領域として用いる。なお、式(1)の条件を満たす複数の輪郭点にて手領域を塗りつぶすことで指領域の候補となる領域を求めることは、手領域から、幅が比較的狭い領域(つまり領域深度が比較的浅い領域)を抽出することに相当する。
【0054】
そして、指領域抽出部5は、手領域を塗りつぶすことで求められた複数の領域(指領域の候補となる領域)の中で、面積が最も大きい領域を指領域として決定する。これは、指差しが行われたことを前提にした処理である。
【0055】
図7は、指領域抽出部5によって抽出された指領域の具体例を示している。図7(a)〜(c)では、塗りつぶされた領域が、抽出された指領域を示している。これより、指を指す方向などに関わらずに、指領域が適切に抽出できていることがわかる。
【0056】
なお、上記では、指差しが行われていることを前提にしていたため、指領域の候補となる領域の中で面積が最も大きい領域を指領域として決定していた。指差しが行われていることを前提にしない場合には、面積が最も大きい領域を選ぶといった条件を用いなくても良い。この場合には、式(1)の条件を満たす複数の輪郭点にて手領域を塗りつぶすことで得られた領域を、指領域として決定することができる。これにより、入力画像に2以上の指に対応する画像が含まれている場合に、これらの指に対応する指領域を適切に抽出することができる。
【0057】
[本実施例の作用・効果]
以上説明した本実施例によれば、エッジ垂直方向における領域の長さ(ピクセル数)に対応する領域深度を用いることで、手領域を精度良く検出することができる。具体的には、領域の中心からの距離を用いて手領域を検出する特許文献1に記載された技術では、入力画像に手だけでなく腕が含まれている場合に手領域を適切に検出することができなかったが、本実施例によれば、領域深度を用いるため、入力画像に手だけでなく腕が含まれている場合にも適切に手領域を検出することができる。また、本実施例によれば、このような領域深度に基づいて手領域から指領域を抽出するため、指領域も適切に検出することができる。
【0058】
また、本実施例によれば、入力として画像のみがあれば手領域を検出することができ、手領域を検出するための道具などを別途用いる必要がない。更に、本実施例によれば、手を撮影する方向に関わらずに手領域を適切に検出することができるため、ユーザがカメラ1の方向を意識する必要がない。更に、本実施例によれば、手領域の検出を肌色情報等ではなく、領域形状の特徴に基づいて行っているため、手袋をはめた手なども適切に検出することができる。
【0059】
[変形例]
以下では、上記の実施例に好適な変形例について説明する。なお、下記の変形例は、任意に組み合わせて上述の実施例に適用しても良い。
【0060】
(変形例1)
上記では、領域深度に基づいて手領域を検出する実施例を示したが、領域深度の代わりに、領域の輪郭線を構成する輪郭点ごとの、最も離れた輪郭点までの距離に基づいて、手領域を検出しても良い。この例では、手領域決定部4は、輪郭線上の一の輪郭点から、輪郭線を構成する輪郭点の中で最も離れた点を他の輪郭点として用いて、当該一の輪郭点と当該他の輪郭点との距離(以下、「第1距離」と呼ぶ。)を、輪郭線を構成する全ての輪郭点について求める。そして、手領域決定部4は、このように求められた第1距離に基づいて、前述した実施例と同様の手法を用いて、手領域を検出する。また、指領域抽出部5は、第1距離に基づいて、前述した実施例と同様の手法を用いて、手領域から指領域を抽出する。なお、手領域などを検出するに当たって、上記した一の輪郭点と他の輪郭点とを結んだ直線の方向を更に考慮に入れても良い。
【0061】
(変形例2)
上記では、領域深度に基づいて手領域を検出する実施例を示したが、領域深度の代わりに、領域の輪郭線を構成する輪郭点の中で特徴的な点から各輪郭点までの距離に基づいて、手領域を検出しても良い。例えば、手領域決定部4は、領域の輪郭線を構成する輪郭点の中で最も先鋭に変化する点を一の輪郭点として固定して用いると共に、輪郭線を構成する輪郭点から当該最も先鋭に変化する点を除いた点を他の輪郭点として用いて、当該一の輪郭点と当該他の輪郭点との距離(以下、「第2距離」と呼ぶ。)を、輪郭線を構成する全ての輪郭点について求める。そして、手領域決定部4は、このように求められた第2距離に基づいて、前述した実施例と同様の手法を用いて、手領域を検出する。また、指領域抽出部5は、第2距離に基づいて、前述した実施例と同様の手法を用いて、手領域から指領域を抽出する。
【0062】
(変形例3)
上記では、セグメンテーション部3によって抽出された複数の領域のみから、手領域を決定する実施例を示したが、このような複数の領域だけでなく、当該複数の領域を組み合わせた領域も用いて、手領域を決定しても良い。例えば、セグメンテーション部3によって抽出された複数の領域において、色相や彩度、輝度が近いものを組み合わせた領域や、空間的に近いものを組み合わせた領域を用いて、手領域を決定することができる。手領域を決定する手法は、前述した実施例で示した手法を適用することができる。このように複数の領域を組み合わせた領域を用いることで、複数の色や模様を有する手袋装着時などにおいて、手領域を適切に検出することが可能となる。
【0063】
なお、変形例3は、上記した変形例1及び変形例2と組み合わせて実施することも可能である。
【0064】
(変形例4)
上記では、領域の面積、周長、及び領域深度に基づいて手領域を決定する実施例を示したが、他の例では、面積及び周長を用いずに、領域深度のみに基づいて手領域を決定することができる。実施例では、セグメンテーション部3によって抽出された複数の領域の中から、面積が所定範囲内であり、且つ周長が所定範囲内である領域を選択し、選択された領域について領域深度に基づいた判定を行うことで手領域を決定していたが、他の例では、セグメンテーション部3によって抽出された複数の領域の全てに対して領域深度に基づいた判定を行うことで、手領域を決定することができる。
【0065】
更に他の例では、面積及び周長のいずれか一方と領域深度とに基づいて、手領域を決定することができる。この例では、セグメンテーション部3によって抽出された複数の領域の中から、面積が所定範囲内である領域、又は周長が所定範囲内である領域を選択し、選択された領域について領域深度に基づいた判定を行うことで、手領域を決定することができる。
【0066】
なお、変形例4は、上記した変形例1、変形例2及び変形例3と組み合わせて実施することも可能である。
【0067】
[適用例]
本発明は、テレビやホームAVなどの家電や、車載用のナビゲーション装置などに、ジェスチャ操作インタフェースとして好適に適用することができる。
【符号の説明】
【0068】
1 カメラ
2 手領域検出装置
3 セグメンテーション部
4 手領域決定部
5 指領域抽出部

【特許請求の範囲】
【請求項1】
入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション手段と、
前記セグメンテーション手段によって抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション手段によって抽出された前記複数の領域の中から手領域を決定する手領域決定手段と、を備えることを特徴とする手領域検出装置。
【請求項2】
前記手領域決定手段は、前記輪郭線を構成する全ての輪郭点について求められた前記距離の平均値と標準偏差とに基づいて、前記手領域を決定することを特徴とする請求項1に記載の手領域検出装置。
【請求項3】
前記手領域決定手段は、前記輪郭線を構成する全ての輪郭点と、前記全ての輪郭点について求められた前記距離とによって規定されるグラフに対して、パターンマッチングを行うことで、前記手領域を決定することを特徴とする請求項1に記載の手領域検出装置。
【請求項4】
前記手領域決定手段は、前記一の輪郭点における前記輪郭線の接線と直交し、且つ当該一の輪郭点を通る直線が、前記輪郭線に交わる点を前記他の輪郭点として用いることを特徴とする請求項1乃至3のいずれか一項に記載の手領域検出装置。
【請求項5】
前記手領域決定手段は、前記一の輪郭点から、前記輪郭線を構成する輪郭点の中で最も離れた点を、前記他の輪郭点として用いることを特徴とする請求項1乃至3のいずれか一項に記載の手領域検出装置。
【請求項6】
前記手領域決定手段は、前記輪郭線を構成する輪郭点の中で最も先鋭に変化する点を前記一の輪郭点として固定して用いると共に、前記輪郭線を構成する輪郭点から前記最も先鋭に変化する点を除いた点を前記他の輪郭点として用いることを特徴とする請求項1乃至3のいずれか一項に記載の手領域検出装置。
【請求項7】
前記手領域決定手段によって決定された前記手領域から、前記距離に基づいて、指領域を抽出する指領域抽出手段を更に備えることを特徴とする請求項1乃至6のいずれか一項に記載の手領域検出装置。
【請求項8】
前記指領域抽出手段は、前記手領域決定手段によって求められた、前記輪郭線を構成する全ての輪郭点についての前記距離の平均値と標準偏差とに基づいて、前記指領域を抽出することを特徴とする請求項7に記載の手領域検出装置。
【請求項9】
前記指領域抽出手段は、前記平均値と前記標準偏差とに基づいて、前記指領域の候補となる複数の領域を抽出し、前記複数の領域の中で最も面積が大きい領域を、前記指領域として決定することを特徴とする請求項8に記載の手領域検出装置。
【請求項10】
前記手領域決定手段は、前記セグメンテーション手段によって抽出された前記複数の領域だけでなく、前記複数の領域を組み合わせた領域も用いて、前記手領域を決定することを特徴とする請求項1乃至9のいずれか一項に記載の手領域検出装置。
【請求項11】
前記手領域決定手段は、前記距離だけでなく、前記セグメンテーション手段によって抽出された前記領域の面積及び/又は周長も用いて、前記手領域を決定することを特徴とする請求項1乃至10のいずれか一項に記載の手領域検出装置。
【請求項12】
手領域検出装置によって実行される手領域検出方法であって、
入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション工程と、
前記セグメンテーション工程で抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション工程で抽出された前記複数の領域の中から手領域を決定する手領域決定工程と、を備えることを特徴とする手領域検出方法。
【請求項13】
コンピュータを具備する手領域検出装置によって実行されるプログラムであって、
入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション手段、
前記セグメンテーション手段によって抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション手段によって抽出された前記複数の領域の中から手領域を決定する手領域決定手段、として前記コンピュータを機能させることを特徴とするプログラム。
【請求項14】
請求項13に記載のプログラムを記憶したことを特徴とする記憶媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2013−114660(P2013−114660A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−263542(P2011−263542)
【出願日】平成23年12月1日(2011.12.1)
【出願人】(000005016)パイオニア株式会社 (3,620)
【出願人】(599011687)学校法人 中央大学 (110)
【Fターム(参考)】