説明

特定領域抽出装置及び特定領域抽出プログラム

【課題】画像中の特定領域を効率的かつ高精度に抽出する。
【解決手段】入力画像に対する特定領域を抽出する特定領域抽出装置において、前記入力画像に対して所定の形状からなる窓領域を設定する窓領域設定手段と、前記窓領域設定手段により得られる窓領域を前記入力画像の左右方向及び上下方向に対してそれぞれ所定間隔で移動させ、各移動位置における前記窓領域に含まれる画像特徴を取得する特徴取得手段と、前記窓領域の移動に伴う前記特徴取得手段により得られる画像特徴の変化量に基づいて1又は複数の境界を設定する境界設定手段と、前記境界設定手段により設定される境界に基づいて特定領域を抽出する特定領域抽出手段とを有することにより、上記課題を解決する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特定領域抽出装置及び特定領域抽出プログラムに係り、特に画像中の特定領域を効率的かつ高精度に抽出するための特定領域抽出装置及び特定領域抽出プログラムに関する。
【背景技術】
【0002】
従来では、マルチメディア技術の発展に伴い、画像処理に対する要求も高まっている。例えば、画像中から前傾領域や物体領域を自動的に抽出する技術については、様々な手法が開示されている(例えば、特許文献1〜4参照)。
【0003】
特許文献1に示されている手法では、入力画像に映っている各物体までの距離を測定し、入力画像に対応する距離画像を作成し、作成した距離画像を用いて物体までの距離に応じてオブジェクト検出枠を設定している。
【0004】
また、特許文献2に示されている手法では、ユーザにより指定された前景ピクセル及び背景ピクセルをそれぞれ基準ピクセルとして、3次元の色空間が複数に分割された分割色空間のうちから、各基準ピクセルが属する分割色空間を基準分割色空間として特定し、各基準ピクセルとこれに隣接する隣接ピクセルとの色空間における色の距離を算出すると共に各隣接ピクセルが各基準分割色空間に属するか否かを判別し、各隣接ピクセルについて算出された色の距離と、各隣接ピクセルについて判別された基準分割色空間への属否に基づく重み付けとに基づいて各隣接ピクセルについてのコストを算出して前景ピクセル又は背景ピクセルを確定している。
【0005】
また、特許文献3に示されている手法では、動画像データ中から対象物が存在する存在領域を抽出し、抽出された存在領域を除いた複数の動画像のフレーム画像データ又はフィールド画像データを合成して、背景画像データを生成し、生成された背景画像データに基づいて、動画像データから所定の対象物の画像データを抽出している。
【0006】
また、特許文献4に示されている手法では、画像に閉曲線を配置し閉曲線の歪み具合を示す内部エネルギー又は画像の輝度勾配を示す画像エネルギー又は閉曲線の膨張或いは収縮を示す外部エネルギーの少なくともいずれかの和である総エネルギーに基づいて閉曲線を動的に変形させて画像に含まれる対象領域の輪郭を抽出している。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2010−108262号公報
【特許文献2】特開2010−79477号公報
【特許文献3】特開平8−63603号公報
【特許文献4】特開2007−265331号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、上述した特許文献1に示されているような手法では、入力画像の他に距離画像が必要であり、その分の処理内容や処理時間等が増えるため、効率的な処理が行えない。また、特許文献2に示されているような手法では、ユーザによる前景ピクセル及び背景ピクセルの初期指定が必要であり、精度がユーザに依存してしまう。
【0009】
また、特許文献3に示されているような手法では、動画を対象としており、背景と前景領域の動きが異なる場合に限定されるため、1つの画像に対して効率的かつ高精度に特定領域を抽出することはできない。更に、特許文献4に示されているような手法では、物体の正確な輪郭線を抽出するために、輪郭モデル(閉曲線)の各サンプル点の位置を、繰り返し演算による収束により決定する必要があるため、計算時間を要してしまう。
【0010】
本発明は、上述した問題点に鑑みなされたものであり、画像中の特定領域を効率的かつ高精度に抽出するための特定領域抽出装置及び特定領域抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【0012】
本発明は、入力画像に対する特定領域を抽出する特定領域抽出装置において、前記入力画像に対して所定の形状からなる窓領域を設定する窓領域設定手段と、前記窓領域設定手段により得られる窓領域を前記入力画像の左右方向及び上下方向に対してそれぞれ所定間隔で移動させ、各移動位置における前記窓領域に含まれる画像特徴を取得する特徴取得手段と、前記窓領域の移動に伴う前記特徴取得手段により得られる画像特徴の変化量に基づいて1又は複数の境界を設定する境界設定手段と、前記境界設定手段により設定される境界に基づいて特定領域を抽出する特定領域抽出手段とを有することを特徴とする。
【0013】
また、本発明は、コンピュータを、上述した特定領域抽出装置が有する各手段として機能させるための特定領域抽出プログラムである。
【発明の効果】
【0014】
本発明によれば、画像中の特定領域を効率的かつ高精度に抽出することができる。
【図面の簡単な説明】
【0015】
【図1】本実施形態における特定領域抽出装置の機能構成の一例を示す図である。
【図2】本実施形態における窓領域設定から境界設定までの具体例を説明するための図である。
【図3】窓領域設定から境界設定までの他の例を説明するための図である。
【図4】特定領域の抽出例を示す図である。
【図5】部分特定領域の抽出例を示す図である。
【図6】境界設定手段における境界設定の他の例について説明するための図である。
【図7】本実施形態における出力画像例を示す図である。
【図8】本実施形態における特定領域抽出処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0016】
<本発明について>
本発明は、例えば上述した従来手法のような距離画像やユーザによる初期操作等を必要とせず、画像上に設定した窓領域の水平方向及び垂直方向への1度のみの移動により、大まかな特定領域を高速に抽出可能とするものである。
【0017】
具体的には、本発明は、入力画像に対して、水平方向及び垂直方向に窓領域を移動して窓領域内の画像特徴(例えば、色、テクスチャ等)の移動に伴う変化を計測し、特定領域と、非特定領域との境界線を、水平方向及び垂直方向でそれぞれ2本抽出する。そして、抽出された合計4本の境界線で囲まれた矩形領域を、画像上の特定領域とする。
【0018】
なお、特定領域とは、例えば画像中に含まれる前景領域、被写体(例えば、人物)等の物体領域、注視領域、注目領域等からなり、これらの領域を画像の内容や抽出目的に応じて任意に設定することができるものとするが、本発明においてはこれに限定されるものではない。また、非特定領域とは、画像中において上述した特定領域に含まれない領域を意味し、例えば前景領域に対する背景領域、注視領域に対する非注視領域等がこれに該当する。更に、本実施形態では、上述で非特定領域とした背景領域や非注視領域を特定領域とし、前景領域や注視領域を非特定領域としてもよい。
【0019】
以下に、上述したような特徴を有する本発明における特定領域抽出装置及び特定領域抽出プログラムを好適に実施した形態について、図面を用いて詳細に説明する。なお、以下の説明においては、一例として、画像中に含まれる前景領域を特定領域とし、背景領域を非特定領域として説明する。
【0020】
<特定領域抽出装置:機能構成例>
図1は、本実施形態における特定領域抽出装置の機能構成の一例を示す図である。図1に示す特定領域抽出装置10は、入力手段11と、出力手段12と、蓄積手段13と、窓領域設定手段14と、特徴取得手段15と、境界設定手段16と、特定領域抽出手段17と、画像生成手段18と、送受信手段19と、制御手段20とを有するよう構成されている。
【0021】
入力手段11は、例えばユーザ等からの窓領域設定指示、特徴取得指示、境界設定指示、特定領域抽出指示、画像生成指示、送受信指示等の特定領域抽出処理における各入力を受け付ける。なお、入力手段11は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等を有する。
【0022】
出力手段12は、入力手段11により入力された指示内容や、各指示内容に基づいて生成された窓領域、画像特徴、境界設定、特定領域、生成された画像等の特定領域抽出処理における抽出結果や各種処理経過等の内容を表示したり、音声等を出力する。なお、出力手段12は、ディスプレイ等の画面表示デバイスやスピーカ等の音声出力デバイス等を有する。なお、入力手段11と出力手段12とは、例えばタッチパネル等のような一体型であってもよい。
【0023】
蓄積手段13は、本実施形態における特定領域の抽出を行うための元となる画像データ(原画像データ)や、窓領域の設定情報、画像特徴取得情報、境界設定情報、特定領域情報、生成された特定領域抽出情報等の各種データ等、本実施形態における特定領域抽出において必要な各種情報等を蓄積する。
【0024】
なお、蓄積手段13は、送受信手段19を介して通信ネットワーク等に接続される外部装置等から取得される本実施形態で使用可能な画像データや各種設定情報等を蓄積する。また、蓄積手段13は、本実施形態における特定領域抽出処理等において、上述した各種データを読み出したり、書き込んだりすることができる。
【0025】
窓領域設定手段14は、所定の窓領域を設定する。なお、窓領域の幅を設定する場合、窓領域設定手段14は、まず画像に対して設定された基準座標を含む基準線(例えば、中心線等)を、縦及び横にそれぞれ設定する。次に、窓領域設定手段14は、設定した縦の基準線(例えば、直線等)に対して、左側及び右側のそれぞれの領域(幅)を設定する。
【0026】
また、窓領域設定手段14は、設定した横の基準線(直線)に対して、上側及び下側のそれぞれの領域(幅)を設定する。具体的には、設定された基準線を対称軸とする2つの同一サイズの領域を窓領域として設定する。なお、本実施形態では、基準線からの幅は、左と右、又は、上と下で同一の幅でもよく、それぞれ異なる幅であってもよい。また、幅の設定は、例えばユーザ等により特定の値に設定されていてもよく、また画像サイズ等に合わせて任意に設定されてもよい。
【0027】
更に、本実施形態における窓領域は、例えば特定領域を抽出する対象画像に対する周波数解析を行い、その解析結果に応じて窓の幅を設定してもよい。これにより、画像全体(特に背景)が芝生等のような色特徴やテクスチャ特徴の出やすい場合であっても、周波数解析の結果に対応させて窓領域を調整することでノイズ等をなくして高精度に特定領域を抽出することができる。
【0028】
特徴取得手段15は、上述した窓領域に含まれる画像に対する画像特徴を取得する。なお、画像特徴としては、例えば、色特徴及びテクスチャ特徴等であるが本発明においてはこれに限定されるものではない。
【0029】
例えば、特徴取得手段15は、左窓領域の色特徴と、右窓領域の色特徴とを計算し、その差分h(X)を取得する。なお、色特徴の例としては、例えばRGB平均値ベクトル、色相成分のヒストグラム等があるが、本発明においてはこれに限定されるものではない。
【0030】
また、特徴取得手段15は、左窓領域のテクスチャ特徴と、右窓領域のテクスチャ特徴とを計算し、その差分h(X)を取得する。なお、テクスチャ特徴の例としては、例えばエッジ画素数、エッジの方向ヒストグラム等があるが、本発明においてはこれに限定されるものではない。
【0031】
更に、特徴取得手段15は、上窓領域の色特徴と下窓領域の色特徴とを計算し、その差分v(Y)を取得する。更に、特徴取得手段15は、上窓領域のテクスチャ特徴と下窓領域のテクスチャ特徴とを計算し、その差分v(Y)を取得する。
【0032】
ここで、特徴取得手段15は、上述の内容を、基準線を所定間隔(例えば、1画素〜10画素等)毎に水平方向(X)又は垂直方向(Y)に移動し(ずらし)、左右及び上下に対して画面の全部又は一部を走査して、上述した特徴取得処理を行う。なお、本実施形態における走査方法は、例えば画像の端部から端部まで走査してもよく、両端部から中心に向けて走査してもよい。
【0033】
境界設定手段16は、上述した窓領域の移動に伴う特徴取得手段15により得られる画像特徴の変化量に基づいて1又は複数の境界を設定する。具体的には、境界設定手段16は、例えば基準線を水平方向に移動させながら取得した複数の色特徴の差分h(X)の最大値MAX_h、基準線を水平方向に移動させながら取得した複数のテクスチャ特徴の差分h(X)の最大値MAX_hを用いて全てのh(X)及びh(X)の値が0〜1の範囲となるように調整する。なお、調整手法としては、例えば、h(X)=h(X)/MAX_h、h(X)=h(X)/MAX_hとして計算することで、0〜1の範囲に含めることができる。このとき、MAX_h、MAX_hの場合の値は1になる。
【0034】
また、境界設定手段16は、h(X)が極大(前後のh(X)よりも大きな値(変化量)を持つ)であって、予め設定された閾値h_TH以上となるXの値のうち、一番小さいものをXCL、一番大きいものをXCRとする。また、境界設定手段16は、h(X)が極大(前後のh(X)よりも大きな値(変化量)を持つ)であって、予め設定した閾値h_TH以上となるXの値のうち、一番小さいものをXTL、一番大きいものをXTRとする。
【0035】
そして、境界設定手段16は、XCLとXTLの最小値をXとし、XCRとXTRの最大値をXとし、その座標から垂直に引いた直線を特定領域の左側境界線及び右側境界線として設定する。
【0036】
また、境界設定手段16は、上述した水平方向と同様に、垂直方向についても上側及び下側の境界線を設定する。具体的には、境界設定手段16は、例えば基準線を素直方向に移動させながら取得した複数の色特徴の差分v(Y)の最大値MAX_v、基準線を垂直方向に移動させながら取得した複数のテクスチャ特徴の差分v(Y)の最大値MAX_vを用いて全てのv(Y)及びv(Y)の値が0〜1の範囲となるように調整する。なお、調整手法としては、上述と同様に、例えばv(Y)=v(Y)/MAX_v、v(Y)=v(Y)/MAX_vとして計算することで、0〜1の範囲に含めることができる。このとき、MAX_h、MAX_hの場合の値は1になる。
【0037】
次に、境界設定手段16は、v(Y)が極大(前後のv(Y)よりも大きな値(変化量)を持つ)であって、予め設定されたv(Y)が閾値w_TH以上となるYの値のうち、一番小さいものをYCTとし、一番大きいものをYCBとする。また、境界設定手段16は、v(Y)が極大(前後のv(Y)よりも大きな値(変化量)を持つ)であって、予め設定された閾値w_TH以上となるYの値のうち、一番小さいものをYTTとし、大きいものをYTBとする。
【0038】
そして、境界設定手段16は、YCTとYTTの最小値をYとし、YCBとYTBの最大値をYとして、その座標から水平に引いた直線を特定領域の上側境界線及び下側境界線として設定する。
【0039】
なお、上述した閾値h_TH,w_THについては、同一の閾値を用いてもよく、異なる閾値を用いてもよい。また、本実施形態では、閾値h_TH,w_THのそれぞれについても色特徴からの差分とテクスチャ特徴からの差分とで、それぞれ異なる閾値を設定してもよい。更に、本実施形態における閾値の設定では、例えば特徴取得手段15により取得した特徴の最大値に対する比率(例えば、0.6〜0.8等)によって設定することもできる。
【0040】
特定領域抽出手段17は、境界設定手段16により得られる4本の境界線(左側、右側、上側、下側)に囲まれた矩形領域を特定領域とする。なお、特定領域抽出手段17において抽出される特定領域は、1つであってもよく、複数であってもよい。
【0041】
また、特定領域抽出手段17は、複数の特定領域を抽出する場合に、例えば1つの画像を複数に分割し、それぞれの分割画像に対して上述した処理を行って、特定領域を抽出してもよく、また上述した境界設定手段16により、左右の境界と上下の境界との組を複数設定して、それらの境界を用いて複数の特定領域を抽出してもよい。
【0042】
また、特定領域抽出手段17は、複数の特定領域が設定された場合に、その中から所定の条件(例えば、画像の中心に最も近い領域、所定のサイズ以上の領域、所定の色を含む領域、若しくはそれらの組み合わせ等)に基づいて、少なくとも1つの特定領域を抽出することもできる。更に、特定領域抽出手段17は、得られた複数の特定領域から、各特定領域を全て又は1部を包含する特定領域を抽出することもできる。
【0043】
画像生成手段18は、入力された画像中に特定領域抽出手段17により抽出された特定領域を表示(合成)させた画像を生成する。具体的には、画像生成手段18は、入力された画像中に含まれる特定領域の部分を、例えば枠や模様等により囲んだ画像を生成する。なお、枠については、背景画像の色と重なり見えづらくなることがないように背景色を反転させた色で表示してもよく、枠内の領域全体を半透明の色で合成表示してもよい。なお、画像生成手段18は、生成した画像を出力手段12等により出力させて、ユーザに提示させる。
【0044】
送受信手段19は、インターネット等に代表される通信ネットワーク等を介して、特定領域抽出装置10内の各種画像や窓領域設定情報、画像特徴、境界設定情報、特定領域抽出結果、特定領域抽出画像等を外部装置等に送信する。また、送受信手段19は、通信ネットワークに接続された外部装置等から、入力画像、窓領域設定情報、画像特徴、境界設定情報、その他の各種データ等を受信する。つまり、送受信手段19は、送受信可能な各種データを、他の装置に送信したり、他の装置から各種データを受信するための通信インタフェースである。
【0045】
制御手段20は、特定領域抽出装置10における各機能構成全体の制御を行う。具体的には、制御手段20は、入力手段11により入力されたユーザ等からの入力情報に基づいて、窓領域を設定したり、画像特徴を取得したり、境界を設定したり、特定領域を抽出したり、画像を生成する等の本実施形態における特定領域抽出処理において必要となる各種を制御する。上述したように、本実施形態によれば、画像中の特定領域を効率的かつ高精度に抽出することができる。
【0046】
<窓領域設定から境界設定までの具体例>
ここで、上述した本実施形態における窓領域設定から境界設定までの具体例について図を用いて説明する。図2は、本実施形態における窓領域設定から境界設定までの具体例を説明するための図である。なお、図2(a)〜(e)に適宜示される窓領域は、画像に対して抽出する特定領域の横の境界(範囲)と縦の境界(範囲)を探索するための窓領域を示している。
【0047】
図2(a)では、ある画像(サイズW(横)×H(縦))30に対し、ある基準線(中心線)31を設定し、更にその基準線から左右の何れか又は両方に幅を設けて所定の範囲Lからなる窓領域32を設定する。
【0048】
ここで、図2(a)の例では、基準線31−1に対して左右に同距離の幅を持たせている。具体的には、基準線31−1の横軸Wにおける横座標X(MAX:W−1)に対して「X−L/2」,「X+L/2」の2つの座標と、縦座標Y(MAX:H−1)からなる窓領域が構成されている。
【0049】
つまり、窓領域設定手段14は、画像(サイズW×H)上の直線(X,0)−(X,H−1)を基準線31−1として、左窓領域(左上座標(X−(L/2),0)−右下座標(X,H−1))32−1a、及び、右窓領域(左上座標(X,0)−右下座標(X+(L/2),H−1))32−1bを設定する。なお、本明細書中の記載において「直線A−B」とは、座標Aから座標Bまでの直線を意味し、「領域(座標A―B)」とは、座標Aと座標Bを角とする矩形の領域を意味する。
【0050】
また、本実施形態における窓領域の幅の大きさは、例えば、画像サイズや画像内容、ユーザ等の指示により任意に設定することができる。
【0051】
次に、本実施形態では、特徴取得手段15において、上述のように設定された左右の窓領域32−1a,32−1bを、例えば横方向の左端から右端(例えば右端から左端、両端から中心でもよい)まで、所定間隔(例えば、約1〜10画素)毎に横に移動(水平走査)させ、移動させた位置毎に上述した特徴取得手段15により左右それぞれの窓領域における特徴(例えば、色特徴、テクスチャ特徴等)を取得する。
【0052】
また、特徴取得手段15は、図2(b)に示すように、移動毎に取得される特徴から、左窓領域32−1aの色特徴と右窓領域32−1bの色特徴の差分h(X)が極大(前後のh(X)よりも大きな値(変化量)を持つ)かつ閾値h_TH以上となるXの値をXC1,XC2,…,XCMとして取得する。また、特徴取得手段15は、上述の条件で取得したXの値の数Mが2以上の場合には、そのうち一番小さいXの値をXCLとし、一番大きいXの値をXCRとする。図2(b)の例では、XC1〜XC4の値が取得され、そのうちXCL=XC1、XCR=XC4として取得される。
【0053】
なお、本実施形態において、M=0の場合には、XCL=0、XCR=W−1とする。また、M=1の場合には、XC1≧W/2であればXCL=XC1、XCR=W−1とし、XC1<W/2であれば、XCL=0、XCR=XC1とする。
【0054】
また同様に、特徴取得手段15は、移動毎に取得される特徴から、左窓領域32−1aのテクスチャ特徴と右窓領域32−1bのテクスチャ特徴の差分h(X)が極大(前後のh(X)よりも大きな値(変化量)を持つ)かつ閾値h_TH以上となるXの値をXT1,XT2,…,XTNとして取得する。また、特徴取得手段15は、上述の条件で取得したXの値の数Nが2以上の場合には、そのうち一番小さいXの値をXTLとし、一番大きいXの値をXTRとする。なお、本実施形態において、N=0の場合には、XTL=0、XTR=W−1とする。また、N=1の場合には、XT1≧W/2であればXTL=XT1、XTR=W−1とし、XT1<W/2であれば、XTL=0、XTR=XT1とする。
【0055】
また、上述の例では、色特徴の差分h(X)の最大値MAX_h、テクスチャ特徴の差分h(X)の最大値MAX_hを用いて、全てのh(X)及びh(X)の値が0〜1の範囲となるように調整してから上述の処理を行ってもよい。
【0056】
次に、境界設定手段16は、上述したXCLとXTLとの最小値をXとし、XCRとXTRとの最大値をXとし、図2(c)に示すように、直線(X,0)−(X,H−1)を、例えば特定領域と非特定領域との左側境界線33とし、直線(X,0)−(X,H−1)を、例えば特定領域と非特定領域との右側境界線34とする。
【0057】
ここで、上述の例は、画像に対して設定される特定領域の左右の境界設定の内容について説明したが、特定領域の上下の境界設定の内容についても同様の手法で取得することができる。なお、上下の境界については、例えば上述にて設定された左右の境界を利用することができる。
【0058】
具体的には、図2(d)に示すように、窓領域設定手段14は、画像30上の直線(X,Y)−(X,Y)を基準線31−2として、上窓領域(左上座標(X,Y−(L/2))−右下座標(X,Y))32−2a、及び下窓領域(左上座標(X,Y)−右下座標(X,Y+(L/2))32−2bからなる窓領域を設定する。このように、左右の境界を利用することで、窓領域を小さくすることができ、データ量が削減されるため、画像処理の負荷を軽減することができる。
【0059】
なお、本実施形態における上下の窓領域の設定方法は、これに限定されるものではなく、窓領域設定手段14は、上述した左右の境界の設定内容を用いずに画像サイズを基準として上下の窓領域を設定することもできる。その場合、窓領域設定手段14は、画像30上の直線(0,Y)−(W,Y)を基準線31−2として、上窓領域(左上座標(0,Y−(L/2))−右下座標(W−1,Y))、及び下窓領域(左上座標(0,Y)−右下座標(W−1,Y+(L/2))からなる窓領域を設定する。
【0060】
次に、本実施形態では、特徴取得手段15において、上述のように設定された上下の窓領域32−2a,32−2bを、例えば縦方向の上端から下端(例えば下端から上端、両端から中心でもよい)まで、所定間隔(例えば、約1〜10画素)毎に縦に移動(垂直走査)させ、移動させた位置毎に上述した特徴取得手段15により上下それぞれの窓領域における特徴(例えば、色特徴、テクスチャ特徴等)を取得する。また、特徴取得手段15は、上窓領域32−2aの色特徴と下窓領域32−2bの色特徴との差分v(Y)と、上窓領域32−2aのテクスチャ特徴と下窓領域32−2bのテクスチャ特徴との差分v(Y)とを取得する。
【0061】
次に、境界設定手段16は、v(Y)が極大(前後のv(Y)よりも大きな値(変化量)を持つ)かつv(Y)が閾値w_TH以上となるYの値をYC1,YC2,…,YCM'として取得する。また、特徴取得手段15は、上述の条件で取得したYの値の数M'が2以上の場合には、そのうち一番小さいYの値をYCTとし、一番大きいYの値をYCBとする。なお、本実施形態において、M'=0の場合には、YCT=0、YCB=H−1とする。また、M'=1の場合には、YC1≧H/2であれば、YCT=YC1、YCB=H−1とし、YC1<H/2であれば、YCT=0、YCB=YC1とする。
【0062】
また同様に、特徴取得手段15は、移動毎に取得される特徴から、上窓領域32−2aのテクスチャ特徴と下窓領域32−2bのテクスチャ特徴の差分v(Y)が極大(前後のv(Y)よりも大きな値(変化量)を持つ)かつ閾値w_TH以上となるYの値をYT1,YT2,…,YTN'として取得する。また、特徴取得手段15は、上述の条件で取得したYの値の数N'が2以上の場合には、一番小さいYの値をYTTとし、一番大きいYの値をYTBとする。なお、本実施形態において、N'=0の場合には、YTT=0、YTB=H−1とする。また、N'=1の場合には、YT1≧H/2であればYTT=YT1、YTB=H−1とし、YT1<H/2であれば、YTT=0、YTB=YT1とする。
【0063】
また、上述の例では、色特徴の差分v(X)の最大値MAX_v、テクスチャ特徴の差分v(X)の最大値MAX_vを用いて、全てのv(X)及びv(X)の値が0〜1の範囲となるように調整してから上述の処理を行ってもよい。
【0064】
次に、境界設定手段16は、上述したYCTとYTTとの最小値をYとし、YCBとYTBとの最大値をYとし、直線(X,Y)−(X,Y)を、例えば特定領域と非特定領域との上側境界線とし、直線(X,Y)−(X,Y)を、例えば特定領域と非特定領域との下側境界線とする。
【0065】
そして、特定領域抽出手段17は、図2(e)に示すように、境界設定手段16により得られる4本の境界線(左側、右側、上側、下側)に囲まれた画像30における矩形領域を特定領域35として抽出する。
【0066】
このように、本実施形態では、予め設定された2つの窓領域に対するそれぞれの画像特徴に基づいて、画像中の特定領域を効率的かつ高精度に抽出することができる。
【0067】
<特定領域の他の抽出例>
ここで、本実施形態における特定領域の他の抽出例について説明する。上述した例では、水平(左右)→垂直(上下)の順で走査して境界線を設定し、特定領域を抽出したが、垂直(上下)→水平(左右)の順で操作して境界線を設定し、特定領域を抽出してもよい。
【0068】
図3は、窓領域設定から境界設定までの他の例を説明するための図である。なお、図3(a)〜(d)に適宜示される窓領域は、画像に対して抽出する特定領域の縦の境界と横の境界(範囲)を探索するための窓領域を示している。また、図3に示す窓領域設定から境界設定までの処理は、上述した図2に示す水平(左右)→垂直(上下)の順序を逆に行えばよいため、ここでの詳しい説明は省略する。
【0069】
窓領域設定手段14は、図3(a)に示すように、画像30上に設定した基準線31−3に対して上窓領域32−3a及び下窓領域32−3bを設定する。次に、特徴取得手段15は、窓領域を垂直方向に所定間隔(例えば、約1〜10画素)毎に走査させながら、それぞれの窓領域における特徴(例えば、色特徴、テクスチャ特徴等)を取得する。
【0070】
また、境界設定手段16は、特徴取得手段15から得られる色特徴、テクスチャ特徴を用いて上述した処理を行い、図3(b)に示すように、画像30における特定領域と非特定領域との上側境界線36と下側境界線37とを設定する。
【0071】
次に、図3の例では、例えば上述にて設定された上下の境界を利用して左右の境界を設定する。具体的には、窓領域設定手段14は、図3(c)に示すように、画像30上に基準線31−4を設定し、左窓領域32−4a及び右窓領域32−4bからなる窓領域を設定する。なお、上下の境界を利用することで、窓領域を小さくすることができ、データ量が削減されるため、画像処理の負荷を軽減することができる。
【0072】
なお、図3の例における左右の窓領域の設定方法は、これに限定されるものではなく、窓領域設定手段14は、上述した上下の境界の設定内容を用いずに画像サイズを基準として左右の窓領域を設定することもできる。
【0073】
次に、特徴取得手段15は、窓領域を水平方向に所定間隔(例えば、約1〜10画素)毎に走査させながら、それぞれの窓領域における特徴(例えば、色特徴、テクスチャ特徴等)を取得する。
【0074】
また、境界設定手段16は、特徴取得手段15から得られる色特徴、テクスチャ特徴を用いて上述した処理を行い、画像30における特定領域と非特定領域との上側境界線と下側境界線とを設定する。
【0075】
そして、特定領域抽出手段17は、図3(e)に示すように、境界設定手段16により得られる4本の境界線(上側、下側、左側、右側)に囲まれた画像30における矩形領域を特定領域38として抽出する。
【0076】
このように、図3に示す手順においても同様に特定領域を抽出することができる。
【0077】
なお、本実施形態では、例えば窓領域設定手段14が、縦、横の画像サイズの大きさに応じて、水平と垂直のどちらの走査を先に行うかを選択することができる。つまり、上述したように、先の走査では、画像の両端の幅が窓領域となり、後の走査では、先の走査で求められた境界線の幅が窓領域となる。したがって、本実施形態では、縦、横の幅(サイズ)の小さい方に対する走査を先に行うのが好ましい。これにより、画像処理を行う対象となるデータ量を削減することができ、より迅速に特定領域を設定することができる。
【0078】
また、例えば画像が風景画のような場合には、水平線や地平線等、左右に直線的な画像特徴(例えば、色特徴等)の変位部分が見られるようなことが多い。したがって、そのような画像の場合には、先に上下の境界を設定してから左右の境界を設定するように処理を行うことで、より確実かつ迅速に特定領域を抽出することができる。
【0079】
更に、本実施形態では、例えば、図2に示すように水平→垂直の順で走査した場合の特定領域35と、図3に示すように垂直→水平の順で走査した場合の特定領域38とを比較して最終的な特定領域を抽出してもよい。
【0080】
ここで、図4は、特定領域の抽出例を示す図である。図4の例では、画像30上に水平→垂直の順で走査した場合の特定領域35と、垂直→水平の順で走査した場合の特定領域38とが表示されている。本実施形態において、特定領域抽出手段17は、複数の抽出手法で得られた複数の特定領域のうち、例えば面積が最小の特定領域を最終的な特定領域とする。したがって、図4の例では、特定領域38が最終的な特定領域として抽出される。
【0081】
なお、本実施形態においては、これに限定されるものではなく、例えば、特定領域抽出手段17は、複数の特定領域のうち、面積が最大の特定領域を最終的な特定領域として抽出してもよく、また複数の特定領域が重複する領域(いわゆるAND領域)、何れかの特定領域を含む領域(いわゆるOR領域)、又は複数の特定領域を平均した領域を最終的な特定領域として抽出してもよい。
【0082】
<特定領域を細分化した部分特定領域の抽出例>
更に、本実施形態では、特定領域抽出手段17において、特定領域を更に細分化して部分特定領域を抽出することもできる。
【0083】
例えば、特定領域の形状が縦長(縦の長さ>横の長さ)の場合は、v(Y)が極大かつ閾値h_TH以上であったYの値(YC1,YC2,…,YCM')の数M'と、v(Y)が極大(かつ閾値h_TH以上となるYの値(YT1,YT2,…,YTN)の数N'とを比較し、少ない方のYの値の系列をY,Y,…,Yとする(K=M'又はN')。
【0084】
ここで、K=M'の場合(つまり、vの系列が選択された場合)には、フラグ=0、K=N'の場合(つまり、vの系列が選択された場合)には、フラグ=1とする。次に、特定領域抽出手段17は、上述したKが偶数(K=2n)の場合に、特定領域(左上頂点座標(X,Y)、右下頂点座標(X,Y))内にセットした以下のn(n:1以上の整数)個の領域を、特定領域を細分化した部分特定領域として抽出する。
領域1(左上頂点座標(X,Y)、右下頂点座標(X,Y))
領域2(左上頂点座標(X,Y)、右下頂点座標(X,Y))

領域n(左上頂点座標(X,Y2n−1)、右下頂点座標(X,Y2n))
また、特定領域抽出手段17は、上述したKが奇数(K=2n+1)の場合であってフラグ=0のときは、Y,Y,…,Y2n+1の中からv(Y)(i=1,….K)の値が最も小さいYを除去したYの値の系列をY',Y',…,Y'2nとする。また、特定領域抽出手段17は、上述したKが奇数の場合であってフラグ=1のときは、Y,Y,…,Y2n+1の中から、v(Y)(i=1,….K)の値が最も小さいYを除去したYの値の系列をY',Y',…,Y'2nとする。
【0085】
次に、特定領域抽出手段17は、特定領域(左上頂点座標(X,Y)、右下頂点座標(X,Y))内にセットした以下のn個の領域を、特定領域を細分化した部分特定領域として抽出する。
領域1(左上頂点座標(X,Y')、右下頂点座標(X,Y'))
領域2(左上頂点座標(X,Y')、右下頂点座標(X,Y'))

領域n(左上頂点座標(X,Y'2n−1)、右下頂点座標(X,Y'2n))
また同様に、h(X)が極大かつ閾値h_TH以上であったXの値(XC1,XC2,…,XCM)の数Mと、h(X)が極大かつ閾値h_TH以上であったXの値(XT1,XT2,…,XTN)の数Nとを比較し、少ない方のXの値の系列を(X,X,…,X)とする(K=M又はN)ここで、K=Mのとき(hの系列が選択された)はフラグ=0、K=Nのとき(hの系列が選択された)はフラグ=1とする。
【0086】
ここで、特定領域抽出手段17は、Kが偶数の場合(K=2n)に、特定領域(左上頂点座標(X,Y)、右下頂点座標(X,Y))内にセットした以下のn個の領域を、特定領域を細分化した部分特定領域として抽出する。
領域1(左上頂点座標(X,Y)、右下頂点座標(X,Y))
領域2(左上頂点座標(X,Y)、右下頂点座標(X,Y))

領域n(左上頂点座標(X2n−1,Y)、右下頂点座標(X2n,Y))
また、特定領域抽出手段17は、上述したKが奇数(K=2n+1)の場合であってフラグ=0のときは、X,X,…,X2n+1の中から、h(X)(i=1,….K)の値が最も小さいXを除去したXの値の系列をX',X',…,X'2nとする。また、特定領域抽出手段17は、上述したKが奇数の場合であってフラグ=0のときは、X,X,…,X2n+1の中から、h(X)(i=1,….K)の値が最も小さいXを除去したXの値の系列をX',X',…,X'2nとする。
【0087】
次に、特定領域抽出手段17は、特定領域(左上頂点座標(X,Y)、右下頂点座標(X,Y))内にセットした以下のn個の領域を、特定領域を細分化した部分特定領域として抽出する。
領域1(左上頂点座標(X',Y)、右下頂点座標(X',Y))
領域2(左上頂点座標(X',Y)、右下頂点座標(X',Y))

領域n(左上頂点座標(X'2n−1,Y)、右下頂点座標(X'2n,Y))
ここで、図5は、部分特定領域の抽出例を示す図である。本実施形態では、上述した処理を行うことで、特定領域に含まれる1又は複数の部分特徴領域を抽出することができる。図5の例では、2つの部分特徴領域39−1,39−2が抽出されている。
【0088】
これにより、本実施形態では、より詳細に特徴領域を抽出することができる。なお、本実施形態では、上述したように複数の部分特徴領域がある場合に、少なくとも1つの特徴領域のみを画像生成手段18により表示するようにしてもよい。その場合には、例えば中心に近い部分特定領域が抽出されるが本発明においてはこれに限定されるものではない。
【0089】
<境界設定の他の例>
ここで、図6は、境界設定手段における境界設定の他の例について説明するための図である。例えば、図6に示す画像40のように、注視すべき被写体(対象物)41が、画像の中心にない場合、左右や上下の何れかの境界が設定できない場合がある。
【0090】
例えば、左右何れかの境界(例えば、直線X)のみが抽出された場合には、図6(a),(b)に示すように、予め設定された一方の領域について上下の窓領域を設定してもよく、また画像40において、直線Xで区切られる左右の境界のうち、領域の小さい方又は大きい方の何れかを選択して上下の窓領域を設定してもよい。
【0091】
図6(a)の例では、画像40に対して直線Xで区切られた右側領域に対して窓領域42が設定されている。また、図6(b)の例では、画像40に対して直線Xで区切られた左側領域に対して窓領域43が設定されている。本実施形態では、何れかの窓領域を用いて上下の境界を設定してもよく、両方の窓領域について境界を設定し、設定された境界から得られたそれぞれの特定領域のうち、小さい方、又は大きい方の領域を選択してもよく、両方の領域を選択してもよい。
【0092】
なお、本実施形態では、左右何れも閾値以下である場合には、特定領域を抽出しないか、抽出できない旨の表示を上述したが画像生成手段18により生成し、出力手段12に出力し、ユーザに通知することもできる。
【0093】
<特徴取得の具体例>
ここで、上述した特徴取得手段15における特徴取得の具体例について説明する。本実施形態における画像特徴の例としては、例えば、色特徴やテクスチャ特徴(モノクロ特徴)等を用いることができるが、本発明においてはこれに限定されるものではない。
【0094】
上述した色特徴の例としては、例えば各ブロックにより得られるRGB平均値ベクトル(r,g,b)や色相ヒストグラム(h1,h2,・・・,hK)(なお、Kはブロック数を示し、h1〜hKは各ブロックの色相を示す)等を用いることができる。
【0095】
また、テクスチャ特徴(モノクロ特徴)の例としては、例えば各ブロックにより得られる平均輝度値(m)やエッジ量(e)、エッジ方向ヒストグラム(d1,d2,・・・,dL)(なお、Lはブロック数を示し、d1〜dLは各ブロックのエッジ方向を示す)等を用いることができる。
【0096】
更に、本実施形態では、上述した例に限定されるものではなく、例えば複数の画像特徴を組み合わせることもできる。例えば、色特徴とテクスチャ特徴とを組み合せた場合には、例えばRGB平均値ベクトルとエッジ量とを組み合わせて(r,g,b,e)としたり、色相ヒストグラムとエッジ方向ヒストグラムとを組み合わせて(h1,h2,・・・,hK,d1,d2,・・・,dL)とし、得られた画像特徴に基づいて境界を設定することができる。
【0097】
<画像生成手段18により生成される画像例>
次に、上述した画像生成手段18により生成される画像例について、図を用いて説明する。図7は、本実施形態における出力画像例を示す図である。図7(a)〜(f)に示される画像50−1〜50−8は、それぞれが上述した本実施形態における特定領域抽出処理により抽出された特定領域51−1〜51−8が表示されている。
【0098】
なお、図7(g)の例では、3つの花の画像を示している。この場合、3つの花について特定領域が設定される場合もあるが、特定領域抽出手段17は、複数の特定領域が設定された場合に、その中から所定の条件に基づく少なくとも1つの特定領域を設定することができる。したがって、図7(g)の例では、複数の特定領域のうち、中心に近い特定領域が抽出される。
【0099】
また、図7(h)の例では、画像50−8に2本の菜の花が含まれているが、このような場合には、特定領域抽出手段17は、例えば、両方の花が含まれるような特定領域51−8を抽出することもできる。なお、本発明においてはこれに限定されるものではなく、特定領域抽出手段17は、例えば、それぞれの菜の花に対する2つの部分特定領域を抽出してもよい
なお、本実施形態における画像生成手段18により生成される画像例は、図7(a)〜(f)に限定されるものではなく、例えば上述した図2〜6等に示すような画像も生成される。
【0100】
<実行プログラム>
ここで、上述した特定領域抽出装置10は、例えばCPU(Central Processing Unit)、RAM(Random Access Memory)等の揮発性の記憶媒体、ROM(Read Only Memory)等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータ(ハードウェア)によって構成することができる。
【0101】
したがって、特定領域抽出装置10が有する上述した各手段は、各手段が有する機能を記述したプログラムをCPUに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク(フロッピィーディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記録媒体に格納して頒布することもできる。
【0102】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム(特定領域抽出プログラム)を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、特定領域抽出処理を実現することができる。なお、本発明における実行プログラムによる処理については、例えば上述した各処理を実現することができる。
【0103】
<特定領域抽出処理>
次に、上述した実行プログラム(特定領域抽出プログラム)により実行される特定領域抽出処理の具体例についてフローチャートを用いて説明する。
【0104】
図8は、本実施形態における特定領域抽出処理の一例を示すフローチャートである。図8において、まず、処理対象の画像を入力し(S01)、入力された画像に対して、上述した手法により左右境界設定及び上下境界設定を行う(S02、S03)。なお、本実施形態におけるS02及びS03の処理は、上述したようにどちらを先に処理してもよい。また、左右(水平)→上下(垂直)の順及び上下(垂直)→左右(水平)の順の両方を行ってもよい。
【0105】
次に、S02及びS03の処理により得られた左右境界及び上下境界で囲まれる特定領域を抽出し(S04)、抽出領域をディスプレイ等の出力手段に表示する(S05)。また、S04の処理において、左右と上下を入れ替えて両方で境界設定を行った場合には、上述したように、得られた複数の特定領域に基づいて最終的な特定領域を抽出してもよい。
【0106】
ここで、対象とする全ての画像に対して特定領域抽出処理を行ったか否かを判断し(S06)、全ての画像に対して処理を行っていない場合(S06において、NO)、S01に戻り、他の画像を入力して後続の処理を行う。
【0107】
また、S06の処理において、全ての画像に対して特定領域処理を行った場合(S06において、YES)、当該処理を終了する。
【0108】
上述したように本発明によれば、画像中の特定領域を効率的かつ高精度に抽出することができる。具体的には、本発明によれば、例えば、距離画像等の入力画像以外のデータや、ユーザによる初期操作を必要とせず、例えば画像の大まかな前景領域(例えば、注視領域、顔領域、被写体等も含む)を高速に抽出可能となり、物体認識等の処理を効率化することができる。
【0109】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【0110】
10 特定領域抽出装置
11 入力手段
12 出力手段
13 蓄積手段
14 窓領域設定手段
15 特徴取得手段
16 境界設定手段
17 特定領域抽出手段
18 画像生成手段
19 送受信手段
20 制御手段
30,40,50 画像
31 基準線(中心線)
32,42,43 窓領域
33 左側境界線
34 右側境界線
36 上側境界線
37 下側境界線
35,38,51 特定領域
39 部分特徴領域
41 被写体

【特許請求の範囲】
【請求項1】
入力画像に対する特定領域を抽出する特定領域抽出装置において、
前記入力画像に対して所定の形状からなる窓領域を設定する窓領域設定手段と、
前記窓領域設定手段により得られる窓領域を前記入力画像の左右方向及び上下方向に対してそれぞれ所定間隔で移動させ、各移動位置における前記窓領域に含まれる画像特徴を取得する特徴取得手段と、
前記窓領域の移動に伴う前記特徴取得手段により得られる画像特徴の変化量に基づいて1又は複数の境界を設定する境界設定手段と、
前記境界設定手段により設定される境界に基づいて特定領域を抽出する特定領域抽出手段とを有することを特徴とする特定領域抽出装置。
【請求項2】
前記窓領域設定手段は、
前記入力画像に所定の基準線を設定し、設定された基準線を対称軸とする2つの同一サイズの領域を窓領域として設定することを特徴とする請求項1に記載の特定領域抽出装置。
【請求項3】
前記特徴取得手段は、
前記窓領域に含まれる色特徴及びテクスチャ特徴を取得し、更に取得した各特徴に対して前記所定間隔毎の差分情報を取得することを特徴とする請求項1又は2に記載の特定領域抽出装置。
【請求項4】
前記境界設定手段は、
前記特徴取得手段により得られる差分情報に基づいて、前記画像特徴の変化量が大きい順に予め設定された数の窓領域を抽出し、抽出した窓領域から境界を設定することを特徴とする請求項3に記載の特定領域抽出装置。
【請求項5】
前記窓領域設定手段は、
前記境界設定手段により得られた前記左右方向及び上下方向の何れか一方に対する境界情報を用いて、他方に移動させる窓領域を設定することを特徴とする請求項1乃至4の何れか1項に記載の特定領域抽出装置。
【請求項6】
前記特定領域抽出手段は、
複数の特定領域が抽出された場合に、前記複数の特定領域を比較して最終的な特定領域を抽出することを特徴とする請求項1乃至5の何れか1項に記載の特定領域抽出装置。
【請求項7】
前記特定領域抽出手段は、
前記特定領域を細分化して少なくとも1つの部分特定領域を抽出することを特徴とする請求項1乃至6の何れか1項に記載の特定領域抽出装置。
【請求項8】
コンピュータを、請求項1乃至7の何れか1項に記載の特定領域抽出装置が有する各手段として機能させるための特定領域抽出プログラム。

【図1】
image rotate

【図8】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate