画像処理方法、画像処理装置及び画像処理プログラム
【課題】画像中のオブジェクト輪郭の破損を抑止することができる画像処理方法を提供する。
【解決手段】画像を入力する画像入力ステップと、所定数のレイヤを定義し、画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定ステップと、画像から各レイヤのレイヤ画像を生成するレイヤ画像生成ステップと、レイヤ画像をそれぞれのサイズを変更するレイヤ画像リサイズステップと、レイヤ構造に基づきレイヤ画像を統合してリサイズ画像を出力する画像統合ステップとを有する。
【解決手段】画像を入力する画像入力ステップと、所定数のレイヤを定義し、画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定ステップと、画像から各レイヤのレイヤ画像を生成するレイヤ画像生成ステップと、レイヤ画像をそれぞれのサイズを変更するレイヤ画像リサイズステップと、レイヤ構造に基づきレイヤ画像を統合してリサイズ画像を出力する画像統合ステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
印刷及び表示装置の多様性と汎用性の増加に伴い、装置の画面サイズ、解像度及びアスペクト比の違いに合わせて映像や画像などのマルチメディアコンテンツのサイズを適切に変更する必要性が生じてきている。このようなサイズ変更は、典型的には画像を縮小するスケーリングや画像の一部を切り抜くクロッピングによって実現される。これらのサイズ変更手法は、典型的にはコンテンツの内容によらずに一様に適用され、それによってコンテンツの内容を維持するために必要な視覚情報が失われる場合もある。
【０００３】
より有効なサイズ変更法として、コンテンツ中の重要な特徴を維持しながら画像や映像のサイズ変更を行うイメージリターゲティングという方法がある。重要な特徴は、画像輪郭の検出や、顔検出などのトップダウン法や、視覚的顕著性の検出などのボトムアップ法などの方法によって検出することができる。こうした方法によりコンテンツ中の重要な特徴が含まれる領域を発見し、トリミング、シームカービング、メッシュ変形イメージリターゲティング等の方法で非線形にサイズ変更を行い、重要な特徴を維持したまま画像や映像のサイズを変更することができる。
【０００４】
シームカービングによる画像のサイズ変更では、典型的には、画像の全画素についてその画素が持つエネルギー量を設定し、画像を縦または横に分断するパスを構成する画素の総エネルギー量が最小になるように選択し、選択されたパスを構成する画素を削除／結合／複製／分割することによって画像サイズを横または縦にパスの幅ずつ縮小／拡大していくことができ、このプロセスは画像サイズが所望の値になるまで繰り返される（例えば、非特許文献１参照）。画素のエネルギー量は、前述した画素そのものの特徴量を元に計算するほかに、隣接画素など画像中の他の画素との相関関係、例えば輝度値の差分などを指標として計算される。
【０００５】
メッシュ変形イメージリターゲティングによる画像のサイズ変更では、典型的には、画像にメッシュを割り当てメッシュの変形によって画像変形を制御し、変形後の画像が所望のサイズに収まるようにメッシュ形状を最適化することによって画像のサイズ変更を行う（例えば、非特許文献２参照）。最適化に用いる目的関数は、前述した画素毎のエネルギー量や、画像全体としての尤もらしさを指標として設計する。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Avidan S, Shamir A. Seam carving for content-aware image resizing. ACM Transactions on Graphics. 2007;26(3)
【非特許文献２】Wang Y-S, Tai C-L, Sorkine O, Lee T-Y. Optimized scale-and-stretch for image resizing. ACM Transactions on Graphics. 2008;27(5)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、先行技術による画像サイズ変更では、特に重要領域同士が密に存在する構造を持つ画像についてサイズを減少させる場合に、非重要領域を全て削除したとしても所望のサイズを満たさないとき、必然的に重要領域を変形・削除することになる。例えば画像中に２つのオブジェクトが隣り合って存在する場合、これらのオブジェクトが存在する領域は高い重要特徴量をもつ可能性が高く、サイズ変更に伴う変形・削除はオブジェクト領域を回避して行われる可能性が高いが、もし画像の幅をこのオブジェクトの幅よりも小さく変更する場合、変形・削除はオブジェクト領域内に及び、オブジェクトの形状を歪め輪郭を破損してしまう。
【０００８】
単純な例を図６に示す。従来技術を用いて図６（ａ）に示す画像を横方向に縮小する場合、図６（ｂ）に示す画像のようなオブジェクト輪郭の破損した画像が生成されてしまうという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、画像中のオブジェクト輪郭の破損を抑止することができる画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、画像を入力する画像入力ステップと、所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定ステップと、前記画像から各レイヤのレイヤ画像を生成するレイヤ画像生成ステップと、前記レイヤ画像をそれぞれのサイズを変更するレイヤ画像リサイズステップと、前記レイヤ構造に基づき前記レイヤ画像を統合してリサイズ画像を出力する画像統合ステップとを有することを特徴とする。
【００１１】
本発明は、前記画像を分断するパスを探索するパス探索ステップをさらに有し、前記レイヤ画像リサイズステップは、探索された前記パスに基づき前記レイヤ画像を縮小または拡張することによりサイズの変更を行うことを特徴とする。
【００１２】
本発明は、前記レイヤ画像の全画素または部分領域のもつエネルギー量に基づき、前記レイヤ画像の全画素または部分領域のもつ縮小または拡張に対するコストを計算し、コストマップを生成するコストマップ設定ステップをさらに有し、前記パス探索ステップは、前記コストマップに基づき画素または部分領域の集合からなるパスを探索することを特徴とする。
【００１３】
本発明は、前記レイヤ画像のそれぞれに対してメッシュ構造を生成し、前記レイヤ画像と前記メッシュを対応付けるメッシュ設定ステップと、前記メッシュを変形するメッシュ変形ステップとをさらに有し、前記レイヤ画像リサイズステップは、前記変形されたメッシュに基づき前記レイヤ画像を変形することによりサイズの変更を行うことを特徴とする。
【００１４】
本発明は、画像を入力する画像入力手段と、所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定手段と、前記画像から各レイヤのレイヤ画像を生成するレイヤ画像生成手段と、前記レイヤ画像をそれぞれのサイズを変更するレイヤ画像リサイズ手段と、前記レイヤ構造に基づき前記レイヤ画像を統合してリサイズ画像を出力する画像統合手段とを備えることを特徴とする。
【００１５】
本発明は、前記画像処理方法をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【００１６】
本発明によれば、入力画像中の全画素について奥行き方向に属するレイヤを決定し、そのレイヤごと独立のエネルギー最適化を行った結果に基づき入力画像をリサイズすることで、レイヤ毎に所有する画素群を優先的に維持するリサイズ画像結果を得ることができる。また、得られたリサイズ画像を統合することによって、画像中に重要な領域が密に複数存在する場合においても、それぞれの歪み・破損を回避し、相互の重ね合わせを許容しながら配置を変更し、画像をリサイズすることができるという効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す装置の処理動作を示すフローチャートである。
【図３】本発明の第２の実施形態の構成を示すブロック図である。
【図４】図３に示す装置の処理動作を示すフローチャートである。
【図５】画像のリサイズ結果を示す説明図である。
【図６】従来技術による画像のリサイズ例を示す説明図である。
【発明を実施するための形態】
【００１８】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による画像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。画像処理装置１００は、コンピュータ装置によって構成され、画像入力部１０１と、レイヤ構造設定部１０２と、レイヤ画像生成部１０３と、コストマップ設定部１０４と、パス探索部１０５と、レイヤ画像リサイズ部１０６と、画像統合部１０７とを備える。
【００１９】
画像入力部１０１は、サイズ変更の対象となる元画像を外部から入力する。レイヤ構造設定部１０２は、任意の数のレイヤを定義し、画像中の各画素に対してその画素が属するレイヤを設定する。レイヤ画像生成部１０３は、元画像をレイヤ数分複製し、レイヤ画像とする。コストマップ設定部１０４は、各レイヤ画像の全画素についてエネルギー量を設定し、コストマップを設定する。パス探索部１０５は、設定されたコストマップを参照して、画像を縦または横に分断するパスを探索する。レイヤ画像リサイズ部１０６は、探索されたパスに沿って画素の削除／結合／複製／分割をすることによって画像サイズを横又は縦に縮小／拡大する。画像統合部１０７は、リサイズされた全レイヤ画像を、レイヤ構造に基づいて結合して得られるリサイズ画像を出力する。
【００２０】
次に、図２を参照して、図１に示す画像処理装置１００の処理動作を説明する。図２は図１に示す画像処理装置１００が、画像のサイズ変更を行って出力する処理動作を示すフローチャートである。まず、画像入力部１０１は、サイズ変更の対象となる元画像を外部から入力する（ステップＳ１）。次に、レイヤ構造設定部１０１は、画像を奥行き方向に分割するレイヤ数を決定し、元画像中のすべての画素について属するレイヤを決定する（ステップＳ２）。この画素とレイヤをそれぞれの固有画素と固有レイヤとする。レイヤ数は固定のものを設定しても構わないし、画像に応じて適切なものを計算し設定しても構わないし、画像と共に付加情報として入力して設定しても構わないし、ユーザによる入力操作により設定しても構わない。画像に応じてレイヤ数を計算する場合、例えば、画像中の画素の奥行きを推定し、その奥行きの最大値と最小値との差を任意の定数で割ったものを用いるといった方法を用いることができる。
【００２１】
また、画素の属するレイヤは、画素ごとに奥行き推定によって求めても構わないし、画像セグメンテーションによって幾つかの領域に分割しその領域ごとに奥行推定を行っても構わないし、領域同士の前後関係を推定しその順序を示すだけでも構わない。または画像と共に付加情報として入力して設定しても構わないし、ユーザの入力操作により設定しても構わない。またはそれらの方法の組み合わせによって設定しても構わない。例えば、画素ごとに奥行き推定を行い、推定された奥行きを画像セグメンテーションによって求められた領域ごとに平均化するといった方法を用いることもできるし、推定された奥行きを画像として提示し、ユーザの操作によって修正を加えるといった方法でもよい。
【００２２】
次に、レイヤ画像生成部１０３は、設定されたレイヤ数分だけ元画像を複製し、レイヤ画像を生成する（ステップＳ３）。各レイヤ画像は元画像の完全な複製でも構わないし、任意のフィルタによって加工したものでも構わない。このフィルタは、例えば、あるｉ番目のレイヤに対応するレイヤ画像Ｉｉを生成する場合、固有画素の値は元画像における画素値をそのまま複製し、その他の画素の値は元画像の画素値と近傍画素の画素値との平均値を与えるという処理を行う。このフィルタは固定のものを用いても構わないし、画像に応じて適切なものを設定しても構わないし、画像と共に付加情報として入力して設定しても構わないし、ユーザの入力操作によって設定しても構わない。また、全てのレイヤで同じフィルタを用いても構わないし、レイヤによって違うものを用いても構わない。
【００２３】
次に、コストマップ設定部１０４は、各レイヤ画像とレイヤ構造に基づき、各レイヤ画像の各画素におけるエネルギー量を算出し、またそのエネルギー量から、画素そのものの単体コストと近傍画素との結合コストを算出し、画素ごとの合計コストを記述したコストマップとして設定する（ステップＳ４）。エネルギー量は、各レイヤ画像から輝度／色等の画像特徴を用いて顕著性を算出しても構わないし、顔検出などの特徴検出を用いて算出しても構わないし、ユーザの入力操作により設定しても構わない。単体コストの算出は、エネルギー値をそのまま用いても構わないし、スケーリングしても構わないし、その他の任意の関数を設計しても構わない。結合コストの算出は、ある画素とその近傍画素のエネルギーに関して任意次元のノルムを計算しても構わないし、任意の関数を設計しても構わない。また、近傍画素として隣接４近傍画素や８近傍画素を用いても構わないし、その他の任意の近傍関数を設計しても構わない。
【００２４】
また、レイヤ構造に基づき、エネルギー及びコストを増幅・減少させる処理を加えても構わない。例えば、あるレイヤ画像について、その固有画素のコストを増大させ、その他の画素のコストを減少させるような処理が適用できる。あるいは、画像統合部１０７による画像統合を行った後の出力画像における歪みや欠損を抑制するようなコストを与えるという処理でもよい。画像統合部１０７における統合方法に各レイヤ画像から固有画素だけを抜き出し低層から高層へ順に重ねあわせる方法を用いる場合、統合後の画像にはどのレイヤにも対応画素がない欠損領域が生じる場合があるが、この欠損を抑制するために、高層レイヤのリサイズによって画素欠損が生じる領域を低層レイヤのリサイズによって埋め合わせるようなコストマップを設計するようにしてもよい。例えば、レイヤ画像リサイズ部１０６における画像リサイズでパス画素の削除とパス画素より右側に存在する画素を左に移動する処理によってリサイズを行う場合において、低層レイヤにおけるパスが高層レイヤで選択されたパスよりも常に左側に存在するようにコストを設計するようにしてもよい。
【００２５】
次に、パス探索部１０５は、各コストマップに基づき各レイヤ画像を横又は縦に分断する、コスト最少のパスを探索する（ステップＳ５）。パスを構成する画素群は４近傍連結でも構わないし、８近傍連結でも構わないし、その他の任意の連結規則を用いても構わない。パスとして選択される画素数は、例えば横に分断する場合は各列１画素ずつでも構わないし、複数画素ずつでも構わない。探索法は動的計画法を用いても構わないし、その他の最適化問題の解法を用いても構わないし、全探索を行っても構わない。
【００２６】
次に、レイヤ画像リサイズ部１０６は、選択されたパスに基づいて画像をリサイズする（ステップＳ６）。リサイズの方法は、縮小の場合は、パスの画素を削除しても構わないし、パスの画素と隣接画素もしくは近傍画素とを結合しても構わないし、複数画素ずつ選択されている場合はそれらの結合でも構わない。拡大の場合は、パスの画素を複製しても構わないし、パスの画素と隣接画素とのブレンドにより新しい画素を生成しても構わないし、複数画素ずつ選択されている場合はそれらのブレンドにより新しい画素を生成しても構わない。または、画像を複数のブロックに分割しておき、パスが含まれるブロックをダウンサンプリングするといった方法でもよい。
【００２７】
次に、レイヤ画像リサイズ部１０６は、画像が目標のサイズに達しているか否かを判定し（ステップＳ７）、画像が目標のサイズに達していなければステップＳ４へ戻り、コストマップ設定部１０４によるコストマップを生成する処理からステップＳ４、Ｓ５、Ｓ６の処理を繰り返す。一方、画像が目標のサイズに達していれば、レイヤ画像リサイズ部１０６は、レイヤ画像を画像統合部１０７へ出力する。これを受けて、画像統合部１０７は、レイヤ構造に基づき各レイヤ画像を統合してリサイズ画像を生成して外部へ出力する（ステップＳ８）。目標のサイズは、予め内部に定義されていてもよいし、外部から元画像と一緒に入力されるようにしてもよい。
【００２８】
画像統合部１０７が行う画像の統合は、各レイヤ画像から固有画素だけを抜き出し低層から高層へ順に重ねあわせても構わないし、全レイヤ画像の全画素をレイヤ構造に基づいた重み付けをした上でブレンドしても構わないし、全画素についてレイヤ構造及び全レイヤ画像の画素値を用いて尤もらしい画素値を投票で決定しても構わない。
【００２９】
前述した説明では、繰り返し演算中にコストマップの設定を全画素について毎回行う例を説明したが、これは任意の条件で特定の回のみに実行しても構わない。また前回のリサイズによって変更が生じた部分についてのみ実行することで、大幅に演算量を削減することもできる。
【００３０】
また、前述の説明では、パス探索を毎回行う例を説明したが、考えられるすべてのパスとその総コストを記憶しておき、毎回リサイズ時に変更を受ける範囲のパスとその総コストのみを更新するといった方法で演算量の削減を行うこともできる。また、予めレイヤ数分のレイヤ画像を生成する例を説明したが、レイヤ画像の全画素から元画像の画素への対応を記述したインデックスを作成して代用することでメモリ量を削減できる。
【００３１】
また、すべてのレイヤ画像を目標のサイズにリサイズしてから統合を行い出力する例を説明したが、一回リサイズするごとにすべてのレイヤ画像を統合し、改めてレイヤ構造の設定、レイヤ画像の生成及びコストマップの設定を行っても構わない。
【００３２】
このように、元画像に対してリサイズを行うことにより、図５に示すように画像中のオブジェクト同士の重ね合わせの発生を許容するイメージリターゲティングを実現でき、オブジェクトの歪み・破損を回避することができる。
【００３３】
＜第２の実施形態＞
次に、本発明の第２の実施形態による画像処理装置を説明する。図３は同実施形態の構成を示すブロック図である。図１に示す画像処理装置１００との差異は、コストマップ設定部１０４とパス探索部１０５に代えてメッシュ設定部１０４ｂとメッシュ変形部１０５ｂを備える点である。メッシュ設定部１０４ｂは、各レイヤ画像についてメッシュを生成する。メッシュ変形部１０５ｂは、設定された各階層のメッシュを構成する頂点群の座標を最適化する。
【００３４】
次に、図４を参照して、図３に示す画像処理装置１００の処理動作を説明する。図４は、図３に示す画像処理装置１００が、画像のサイズ変更を行って出力する処理動作を示すフローチャートである。図４に示す処理動作が、図２に示す処理動作と異なる点は、ステップＳ４〜Ｓ７に代えて、ステップＳ４ｂ、Ｓ５ｂ、Ｓ６ｂが新たに設けられている点である。以下、図４に示す処理動作のうち、図２に示す処理動作と同様の処理動作については、簡単に説明する。
【００３５】
まず、画像入力部１０１は、サイズ変更の対象となる元画像を外部から入力する（ステップＳ１）。次に、レイヤ構造設定部１０１は、画像を奥行き方向に分割するレイヤ数を決定し、元画像中のすべての画素について属するレイヤを決定する（ステップＳ２）。次に、レイヤ画像生成部１０３は、設定されたレイヤ数分だけ元画像を複製し、レイヤ画像を生成する（ステップＳ３）。
【００３６】
次に、メッシュ設定部１０４ｂは各レイヤ画像に対してメッシュを設定する（ステップＳ４ｂ）。メッシュは３つ以上の頂点を持つ多角形から形成され、各頂点には画像上の座標値（ｕ座標、ｖ座標）が与えられる。メッシュは、例えば均一なグリッド用構造をとっても構わないし、その他の任意の構造をとっても構わない。この構造は固定のものを用いても構わないし、画像特徴を考慮し不均一なものを生成しても構わないし、画像と共に付加情報として入力しても構わないし、ユーザの入力操作により設定しても構わない。
【００３７】
画像特徴を考慮する場合、例えば画像から直線エッジを検出し、直線エッジとメッシュの辺が一致するようなメッシュ構造を生成する方法などが適用できる。あるいは、レイヤ構造に基づき、そのメッシュが対応するレイヤの固有画素の付近では細かく、その他の画素の付近では荒くメッシュを設定するようにしてもよい。メッシュの各頂点に割り当てられる座標値は整数画素精度でも構わないし、小数画素精度でも構わない。メッシュの各頂点は画像上の座標値の他に絶対座標値（ｘ座標、ｙ座標）を持ち、この座標値を変更することでメッシュの変形を行う。このとき頂点の絶対座標値と画像座標値に基づいた補間により画像上の各画素が持つ絶対座標値が決定し、メッシュ変形に伴う画像変形を実現する。
【００３８】
次に、メッシュ変形部１０５ｂは、各レイヤ画像とレイヤ構造に基づきエネルギー関数を設定し、それを最小化または最大化するように各レイヤに対応するメッシュを構成する頂点群の座標値を最適化する（ステップＳ５ｂ）。エネルギー関数には画像輪郭やその他の視覚的顕著性に基づく拘束を含めても構わないし、ユーザの指定による拘束を含めても構わない。また、レイヤによって個別に拘束を追加しても構わないし、レイヤ同士の相互関係を考慮した拘束を追加しても構わない。単純な例として、あるｉ番目のレイヤのメッシュを構成する頂点群の一部｛Ｐｉ，ｋ｜ｋ＝ｍ，．．．，ｍ＋ｌ｝の絶対座標がある範囲内に存在するとき、ｊ番目のレイヤのメッシュを構成する頂点群の一部｛Ｐｊ，ｋ｜ｋ＝ｍ，．．．，ｍ＋ｌ｝の絶対座標も同じ範囲内に存在するといった拘束が適用できる。あるいは、レイヤ構造に基づき、メッシュ頂点が対応付けられている画素の固有レイヤによってその画素が寄与するエネルギーを増幅・減少させる処理を加えても構わない。
【００３９】
次に、レイヤ画像リサイズ部１０６は、変形された各レイヤのメッシュに基づいて各レイヤ画像を変形する（ステップＳ６ｂ）。補間方法は線形補間でも構わないし、その他の任意の補間方法でも構わない。そして、画像統合部１０７は、レイヤ構造に基づき各レイヤ画像を統合してリサイズ画像を生成して外部へ出力する（ステップＳ８）。
【００４０】
前述した説明では、予めレイヤ数分のレイヤ画像を生成する例を説明したが、レイヤ画像の全画素から元画像の画素への対応を記述したインデックスを作成して代用することでメモリ量を削減できる。また、すべてのレイヤ画像を所望のサイズにリサイズしてから統合を行い出力する例を説明したが、一回リサイズした後にすべてのレイヤ画像を統合し、改めてレイヤ構造の設定、レイヤ画像の生成及びメッシュの設定を行い、再度最適化を繰り返す処理を行っても構わない。
【００４１】
以上説明したように、画像リサイズに伴うオブジェクトの歪み・破損を回避するために、入力画像から複数のレイヤを生成し、レイヤごとに独立に画像リサイズを実施し統合することで、画像中のオブジェクト同士の重ね合わせの発生を許容するイメージリターゲティングを行うようにした。レイヤ毎にリサイズの対象となる初期レイヤ画像を入力画像から生成しそれぞれ異なる加工を加え、また異なるエネルギー関数を用いることで、それぞれのレイヤにおけるリサイズ後の画像はそのレイヤの固有画素を優先的に保持したものになる。固有画素以外の画素もリサイズに十分な影響を与えるため、被写体を切り取り再配置することによりリサイズする場合のように正確な画像セグメンテーション及びレイヤ構造生成を行う必要はない。
【００４２】
なお、図１、図２における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像のリサイズ処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００４４】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００４５】
画像中のオブジェクト同士の重ね合わせの発生を許容するイメージリターゲティング方法を取ることで、オブジェクトの歪み・破損を回避ことが不可欠な用途に適用できる。
【符号の説明】
【００４６】
１０１・・・画像入力部、１０２・・・レイヤ構造設定部、１０３・・・レイヤ画像生成部、１０４・・・コストマップ設定部、１０５・・・パス探索部、１０６・・・レイヤ画像リサイズ部、１０７・・・画像統合部、１０８・・・パス編集部、１０４ｂ・・・メッシュ設定部、１０５ｂ・・・メッシュ変形部
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
印刷及び表示装置の多様性と汎用性の増加に伴い、装置の画面サイズ、解像度及びアスペクト比の違いに合わせて映像や画像などのマルチメディアコンテンツのサイズを適切に変更する必要性が生じてきている。このようなサイズ変更は、典型的には画像を縮小するスケーリングや画像の一部を切り抜くクロッピングによって実現される。これらのサイズ変更手法は、典型的にはコンテンツの内容によらずに一様に適用され、それによってコンテンツの内容を維持するために必要な視覚情報が失われる場合もある。
【０００３】
より有効なサイズ変更法として、コンテンツ中の重要な特徴を維持しながら画像や映像のサイズ変更を行うイメージリターゲティングという方法がある。重要な特徴は、画像輪郭の検出や、顔検出などのトップダウン法や、視覚的顕著性の検出などのボトムアップ法などの方法によって検出することができる。こうした方法によりコンテンツ中の重要な特徴が含まれる領域を発見し、トリミング、シームカービング、メッシュ変形イメージリターゲティング等の方法で非線形にサイズ変更を行い、重要な特徴を維持したまま画像や映像のサイズを変更することができる。
【０００４】
シームカービングによる画像のサイズ変更では、典型的には、画像の全画素についてその画素が持つエネルギー量を設定し、画像を縦または横に分断するパスを構成する画素の総エネルギー量が最小になるように選択し、選択されたパスを構成する画素を削除／結合／複製／分割することによって画像サイズを横または縦にパスの幅ずつ縮小／拡大していくことができ、このプロセスは画像サイズが所望の値になるまで繰り返される（例えば、非特許文献１参照）。画素のエネルギー量は、前述した画素そのものの特徴量を元に計算するほかに、隣接画素など画像中の他の画素との相関関係、例えば輝度値の差分などを指標として計算される。
【０００５】
メッシュ変形イメージリターゲティングによる画像のサイズ変更では、典型的には、画像にメッシュを割り当てメッシュの変形によって画像変形を制御し、変形後の画像が所望のサイズに収まるようにメッシュ形状を最適化することによって画像のサイズ変更を行う（例えば、非特許文献２参照）。最適化に用いる目的関数は、前述した画素毎のエネルギー量や、画像全体としての尤もらしさを指標として設計する。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Avidan S, Shamir A. Seam carving for content-aware image resizing. ACM Transactions on Graphics. 2007;26(3)
【非特許文献２】Wang Y-S, Tai C-L, Sorkine O, Lee T-Y. Optimized scale-and-stretch for image resizing. ACM Transactions on Graphics. 2008;27(5)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、先行技術による画像サイズ変更では、特に重要領域同士が密に存在する構造を持つ画像についてサイズを減少させる場合に、非重要領域を全て削除したとしても所望のサイズを満たさないとき、必然的に重要領域を変形・削除することになる。例えば画像中に２つのオブジェクトが隣り合って存在する場合、これらのオブジェクトが存在する領域は高い重要特徴量をもつ可能性が高く、サイズ変更に伴う変形・削除はオブジェクト領域を回避して行われる可能性が高いが、もし画像の幅をこのオブジェクトの幅よりも小さく変更する場合、変形・削除はオブジェクト領域内に及び、オブジェクトの形状を歪め輪郭を破損してしまう。
【０００８】
単純な例を図６に示す。従来技術を用いて図６（ａ）に示す画像を横方向に縮小する場合、図６（ｂ）に示す画像のようなオブジェクト輪郭の破損した画像が生成されてしまうという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、画像中のオブジェクト輪郭の破損を抑止することができる画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、画像を入力する画像入力ステップと、所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定ステップと、前記画像から各レイヤのレイヤ画像を生成するレイヤ画像生成ステップと、前記レイヤ画像をそれぞれのサイズを変更するレイヤ画像リサイズステップと、前記レイヤ構造に基づき前記レイヤ画像を統合してリサイズ画像を出力する画像統合ステップとを有することを特徴とする。
【００１１】
本発明は、前記画像を分断するパスを探索するパス探索ステップをさらに有し、前記レイヤ画像リサイズステップは、探索された前記パスに基づき前記レイヤ画像を縮小または拡張することによりサイズの変更を行うことを特徴とする。
【００１２】
本発明は、前記レイヤ画像の全画素または部分領域のもつエネルギー量に基づき、前記レイヤ画像の全画素または部分領域のもつ縮小または拡張に対するコストを計算し、コストマップを生成するコストマップ設定ステップをさらに有し、前記パス探索ステップは、前記コストマップに基づき画素または部分領域の集合からなるパスを探索することを特徴とする。
【００１３】
本発明は、前記レイヤ画像のそれぞれに対してメッシュ構造を生成し、前記レイヤ画像と前記メッシュを対応付けるメッシュ設定ステップと、前記メッシュを変形するメッシュ変形ステップとをさらに有し、前記レイヤ画像リサイズステップは、前記変形されたメッシュに基づき前記レイヤ画像を変形することによりサイズの変更を行うことを特徴とする。
【００１４】
本発明は、画像を入力する画像入力手段と、所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定手段と、前記画像から各レイヤのレイヤ画像を生成するレイヤ画像生成手段と、前記レイヤ画像をそれぞれのサイズを変更するレイヤ画像リサイズ手段と、前記レイヤ構造に基づき前記レイヤ画像を統合してリサイズ画像を出力する画像統合手段とを備えることを特徴とする。
【００１５】
本発明は、前記画像処理方法をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【００１６】
本発明によれば、入力画像中の全画素について奥行き方向に属するレイヤを決定し、そのレイヤごと独立のエネルギー最適化を行った結果に基づき入力画像をリサイズすることで、レイヤ毎に所有する画素群を優先的に維持するリサイズ画像結果を得ることができる。また、得られたリサイズ画像を統合することによって、画像中に重要な領域が密に複数存在する場合においても、それぞれの歪み・破損を回避し、相互の重ね合わせを許容しながら配置を変更し、画像をリサイズすることができるという効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す装置の処理動作を示すフローチャートである。
【図３】本発明の第２の実施形態の構成を示すブロック図である。
【図４】図３に示す装置の処理動作を示すフローチャートである。
【図５】画像のリサイズ結果を示す説明図である。
【図６】従来技術による画像のリサイズ例を示す説明図である。
【発明を実施するための形態】
【００１８】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による画像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。画像処理装置１００は、コンピュータ装置によって構成され、画像入力部１０１と、レイヤ構造設定部１０２と、レイヤ画像生成部１０３と、コストマップ設定部１０４と、パス探索部１０５と、レイヤ画像リサイズ部１０６と、画像統合部１０７とを備える。
【００１９】
画像入力部１０１は、サイズ変更の対象となる元画像を外部から入力する。レイヤ構造設定部１０２は、任意の数のレイヤを定義し、画像中の各画素に対してその画素が属するレイヤを設定する。レイヤ画像生成部１０３は、元画像をレイヤ数分複製し、レイヤ画像とする。コストマップ設定部１０４は、各レイヤ画像の全画素についてエネルギー量を設定し、コストマップを設定する。パス探索部１０５は、設定されたコストマップを参照して、画像を縦または横に分断するパスを探索する。レイヤ画像リサイズ部１０６は、探索されたパスに沿って画素の削除／結合／複製／分割をすることによって画像サイズを横又は縦に縮小／拡大する。画像統合部１０７は、リサイズされた全レイヤ画像を、レイヤ構造に基づいて結合して得られるリサイズ画像を出力する。
【００２０】
次に、図２を参照して、図１に示す画像処理装置１００の処理動作を説明する。図２は図１に示す画像処理装置１００が、画像のサイズ変更を行って出力する処理動作を示すフローチャートである。まず、画像入力部１０１は、サイズ変更の対象となる元画像を外部から入力する（ステップＳ１）。次に、レイヤ構造設定部１０１は、画像を奥行き方向に分割するレイヤ数を決定し、元画像中のすべての画素について属するレイヤを決定する（ステップＳ２）。この画素とレイヤをそれぞれの固有画素と固有レイヤとする。レイヤ数は固定のものを設定しても構わないし、画像に応じて適切なものを計算し設定しても構わないし、画像と共に付加情報として入力して設定しても構わないし、ユーザによる入力操作により設定しても構わない。画像に応じてレイヤ数を計算する場合、例えば、画像中の画素の奥行きを推定し、その奥行きの最大値と最小値との差を任意の定数で割ったものを用いるといった方法を用いることができる。
【００２１】
また、画素の属するレイヤは、画素ごとに奥行き推定によって求めても構わないし、画像セグメンテーションによって幾つかの領域に分割しその領域ごとに奥行推定を行っても構わないし、領域同士の前後関係を推定しその順序を示すだけでも構わない。または画像と共に付加情報として入力して設定しても構わないし、ユーザの入力操作により設定しても構わない。またはそれらの方法の組み合わせによって設定しても構わない。例えば、画素ごとに奥行き推定を行い、推定された奥行きを画像セグメンテーションによって求められた領域ごとに平均化するといった方法を用いることもできるし、推定された奥行きを画像として提示し、ユーザの操作によって修正を加えるといった方法でもよい。
【００２２】
次に、レイヤ画像生成部１０３は、設定されたレイヤ数分だけ元画像を複製し、レイヤ画像を生成する（ステップＳ３）。各レイヤ画像は元画像の完全な複製でも構わないし、任意のフィルタによって加工したものでも構わない。このフィルタは、例えば、あるｉ番目のレイヤに対応するレイヤ画像Ｉｉを生成する場合、固有画素の値は元画像における画素値をそのまま複製し、その他の画素の値は元画像の画素値と近傍画素の画素値との平均値を与えるという処理を行う。このフィルタは固定のものを用いても構わないし、画像に応じて適切なものを設定しても構わないし、画像と共に付加情報として入力して設定しても構わないし、ユーザの入力操作によって設定しても構わない。また、全てのレイヤで同じフィルタを用いても構わないし、レイヤによって違うものを用いても構わない。
【００２３】
次に、コストマップ設定部１０４は、各レイヤ画像とレイヤ構造に基づき、各レイヤ画像の各画素におけるエネルギー量を算出し、またそのエネルギー量から、画素そのものの単体コストと近傍画素との結合コストを算出し、画素ごとの合計コストを記述したコストマップとして設定する（ステップＳ４）。エネルギー量は、各レイヤ画像から輝度／色等の画像特徴を用いて顕著性を算出しても構わないし、顔検出などの特徴検出を用いて算出しても構わないし、ユーザの入力操作により設定しても構わない。単体コストの算出は、エネルギー値をそのまま用いても構わないし、スケーリングしても構わないし、その他の任意の関数を設計しても構わない。結合コストの算出は、ある画素とその近傍画素のエネルギーに関して任意次元のノルムを計算しても構わないし、任意の関数を設計しても構わない。また、近傍画素として隣接４近傍画素や８近傍画素を用いても構わないし、その他の任意の近傍関数を設計しても構わない。
【００２４】
また、レイヤ構造に基づき、エネルギー及びコストを増幅・減少させる処理を加えても構わない。例えば、あるレイヤ画像について、その固有画素のコストを増大させ、その他の画素のコストを減少させるような処理が適用できる。あるいは、画像統合部１０７による画像統合を行った後の出力画像における歪みや欠損を抑制するようなコストを与えるという処理でもよい。画像統合部１０７における統合方法に各レイヤ画像から固有画素だけを抜き出し低層から高層へ順に重ねあわせる方法を用いる場合、統合後の画像にはどのレイヤにも対応画素がない欠損領域が生じる場合があるが、この欠損を抑制するために、高層レイヤのリサイズによって画素欠損が生じる領域を低層レイヤのリサイズによって埋め合わせるようなコストマップを設計するようにしてもよい。例えば、レイヤ画像リサイズ部１０６における画像リサイズでパス画素の削除とパス画素より右側に存在する画素を左に移動する処理によってリサイズを行う場合において、低層レイヤにおけるパスが高層レイヤで選択されたパスよりも常に左側に存在するようにコストを設計するようにしてもよい。
【００２５】
次に、パス探索部１０５は、各コストマップに基づき各レイヤ画像を横又は縦に分断する、コスト最少のパスを探索する（ステップＳ５）。パスを構成する画素群は４近傍連結でも構わないし、８近傍連結でも構わないし、その他の任意の連結規則を用いても構わない。パスとして選択される画素数は、例えば横に分断する場合は各列１画素ずつでも構わないし、複数画素ずつでも構わない。探索法は動的計画法を用いても構わないし、その他の最適化問題の解法を用いても構わないし、全探索を行っても構わない。
【００２６】
次に、レイヤ画像リサイズ部１０６は、選択されたパスに基づいて画像をリサイズする（ステップＳ６）。リサイズの方法は、縮小の場合は、パスの画素を削除しても構わないし、パスの画素と隣接画素もしくは近傍画素とを結合しても構わないし、複数画素ずつ選択されている場合はそれらの結合でも構わない。拡大の場合は、パスの画素を複製しても構わないし、パスの画素と隣接画素とのブレンドにより新しい画素を生成しても構わないし、複数画素ずつ選択されている場合はそれらのブレンドにより新しい画素を生成しても構わない。または、画像を複数のブロックに分割しておき、パスが含まれるブロックをダウンサンプリングするといった方法でもよい。
【００２７】
次に、レイヤ画像リサイズ部１０６は、画像が目標のサイズに達しているか否かを判定し（ステップＳ７）、画像が目標のサイズに達していなければステップＳ４へ戻り、コストマップ設定部１０４によるコストマップを生成する処理からステップＳ４、Ｓ５、Ｓ６の処理を繰り返す。一方、画像が目標のサイズに達していれば、レイヤ画像リサイズ部１０６は、レイヤ画像を画像統合部１０７へ出力する。これを受けて、画像統合部１０７は、レイヤ構造に基づき各レイヤ画像を統合してリサイズ画像を生成して外部へ出力する（ステップＳ８）。目標のサイズは、予め内部に定義されていてもよいし、外部から元画像と一緒に入力されるようにしてもよい。
【００２８】
画像統合部１０７が行う画像の統合は、各レイヤ画像から固有画素だけを抜き出し低層から高層へ順に重ねあわせても構わないし、全レイヤ画像の全画素をレイヤ構造に基づいた重み付けをした上でブレンドしても構わないし、全画素についてレイヤ構造及び全レイヤ画像の画素値を用いて尤もらしい画素値を投票で決定しても構わない。
【００２９】
前述した説明では、繰り返し演算中にコストマップの設定を全画素について毎回行う例を説明したが、これは任意の条件で特定の回のみに実行しても構わない。また前回のリサイズによって変更が生じた部分についてのみ実行することで、大幅に演算量を削減することもできる。
【００３０】
また、前述の説明では、パス探索を毎回行う例を説明したが、考えられるすべてのパスとその総コストを記憶しておき、毎回リサイズ時に変更を受ける範囲のパスとその総コストのみを更新するといった方法で演算量の削減を行うこともできる。また、予めレイヤ数分のレイヤ画像を生成する例を説明したが、レイヤ画像の全画素から元画像の画素への対応を記述したインデックスを作成して代用することでメモリ量を削減できる。
【００３１】
また、すべてのレイヤ画像を目標のサイズにリサイズしてから統合を行い出力する例を説明したが、一回リサイズするごとにすべてのレイヤ画像を統合し、改めてレイヤ構造の設定、レイヤ画像の生成及びコストマップの設定を行っても構わない。
【００３２】
このように、元画像に対してリサイズを行うことにより、図５に示すように画像中のオブジェクト同士の重ね合わせの発生を許容するイメージリターゲティングを実現でき、オブジェクトの歪み・破損を回避することができる。
【００３３】
＜第２の実施形態＞
次に、本発明の第２の実施形態による画像処理装置を説明する。図３は同実施形態の構成を示すブロック図である。図１に示す画像処理装置１００との差異は、コストマップ設定部１０４とパス探索部１０５に代えてメッシュ設定部１０４ｂとメッシュ変形部１０５ｂを備える点である。メッシュ設定部１０４ｂは、各レイヤ画像についてメッシュを生成する。メッシュ変形部１０５ｂは、設定された各階層のメッシュを構成する頂点群の座標を最適化する。
【００３４】
次に、図４を参照して、図３に示す画像処理装置１００の処理動作を説明する。図４は、図３に示す画像処理装置１００が、画像のサイズ変更を行って出力する処理動作を示すフローチャートである。図４に示す処理動作が、図２に示す処理動作と異なる点は、ステップＳ４〜Ｓ７に代えて、ステップＳ４ｂ、Ｓ５ｂ、Ｓ６ｂが新たに設けられている点である。以下、図４に示す処理動作のうち、図２に示す処理動作と同様の処理動作については、簡単に説明する。
【００３５】
まず、画像入力部１０１は、サイズ変更の対象となる元画像を外部から入力する（ステップＳ１）。次に、レイヤ構造設定部１０１は、画像を奥行き方向に分割するレイヤ数を決定し、元画像中のすべての画素について属するレイヤを決定する（ステップＳ２）。次に、レイヤ画像生成部１０３は、設定されたレイヤ数分だけ元画像を複製し、レイヤ画像を生成する（ステップＳ３）。
【００３６】
次に、メッシュ設定部１０４ｂは各レイヤ画像に対してメッシュを設定する（ステップＳ４ｂ）。メッシュは３つ以上の頂点を持つ多角形から形成され、各頂点には画像上の座標値（ｕ座標、ｖ座標）が与えられる。メッシュは、例えば均一なグリッド用構造をとっても構わないし、その他の任意の構造をとっても構わない。この構造は固定のものを用いても構わないし、画像特徴を考慮し不均一なものを生成しても構わないし、画像と共に付加情報として入力しても構わないし、ユーザの入力操作により設定しても構わない。
【００３７】
画像特徴を考慮する場合、例えば画像から直線エッジを検出し、直線エッジとメッシュの辺が一致するようなメッシュ構造を生成する方法などが適用できる。あるいは、レイヤ構造に基づき、そのメッシュが対応するレイヤの固有画素の付近では細かく、その他の画素の付近では荒くメッシュを設定するようにしてもよい。メッシュの各頂点に割り当てられる座標値は整数画素精度でも構わないし、小数画素精度でも構わない。メッシュの各頂点は画像上の座標値の他に絶対座標値（ｘ座標、ｙ座標）を持ち、この座標値を変更することでメッシュの変形を行う。このとき頂点の絶対座標値と画像座標値に基づいた補間により画像上の各画素が持つ絶対座標値が決定し、メッシュ変形に伴う画像変形を実現する。
【００３８】
次に、メッシュ変形部１０５ｂは、各レイヤ画像とレイヤ構造に基づきエネルギー関数を設定し、それを最小化または最大化するように各レイヤに対応するメッシュを構成する頂点群の座標値を最適化する（ステップＳ５ｂ）。エネルギー関数には画像輪郭やその他の視覚的顕著性に基づく拘束を含めても構わないし、ユーザの指定による拘束を含めても構わない。また、レイヤによって個別に拘束を追加しても構わないし、レイヤ同士の相互関係を考慮した拘束を追加しても構わない。単純な例として、あるｉ番目のレイヤのメッシュを構成する頂点群の一部｛Ｐｉ，ｋ｜ｋ＝ｍ，．．．，ｍ＋ｌ｝の絶対座標がある範囲内に存在するとき、ｊ番目のレイヤのメッシュを構成する頂点群の一部｛Ｐｊ，ｋ｜ｋ＝ｍ，．．．，ｍ＋ｌ｝の絶対座標も同じ範囲内に存在するといった拘束が適用できる。あるいは、レイヤ構造に基づき、メッシュ頂点が対応付けられている画素の固有レイヤによってその画素が寄与するエネルギーを増幅・減少させる処理を加えても構わない。
【００３９】
次に、レイヤ画像リサイズ部１０６は、変形された各レイヤのメッシュに基づいて各レイヤ画像を変形する（ステップＳ６ｂ）。補間方法は線形補間でも構わないし、その他の任意の補間方法でも構わない。そして、画像統合部１０７は、レイヤ構造に基づき各レイヤ画像を統合してリサイズ画像を生成して外部へ出力する（ステップＳ８）。
【００４０】
前述した説明では、予めレイヤ数分のレイヤ画像を生成する例を説明したが、レイヤ画像の全画素から元画像の画素への対応を記述したインデックスを作成して代用することでメモリ量を削減できる。また、すべてのレイヤ画像を所望のサイズにリサイズしてから統合を行い出力する例を説明したが、一回リサイズした後にすべてのレイヤ画像を統合し、改めてレイヤ構造の設定、レイヤ画像の生成及びメッシュの設定を行い、再度最適化を繰り返す処理を行っても構わない。
【００４１】
以上説明したように、画像リサイズに伴うオブジェクトの歪み・破損を回避するために、入力画像から複数のレイヤを生成し、レイヤごとに独立に画像リサイズを実施し統合することで、画像中のオブジェクト同士の重ね合わせの発生を許容するイメージリターゲティングを行うようにした。レイヤ毎にリサイズの対象となる初期レイヤ画像を入力画像から生成しそれぞれ異なる加工を加え、また異なるエネルギー関数を用いることで、それぞれのレイヤにおけるリサイズ後の画像はそのレイヤの固有画素を優先的に保持したものになる。固有画素以外の画素もリサイズに十分な影響を与えるため、被写体を切り取り再配置することによりリサイズする場合のように正確な画像セグメンテーション及びレイヤ構造生成を行う必要はない。
【００４２】
なお、図１、図２における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像のリサイズ処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００４４】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００４５】
画像中のオブジェクト同士の重ね合わせの発生を許容するイメージリターゲティング方法を取ることで、オブジェクトの歪み・破損を回避ことが不可欠な用途に適用できる。
【符号の説明】
【００４６】
１０１・・・画像入力部、１０２・・・レイヤ構造設定部、１０３・・・レイヤ画像生成部、１０４・・・コストマップ設定部、１０５・・・パス探索部、１０６・・・レイヤ画像リサイズ部、１０７・・・画像統合部、１０８・・・パス編集部、１０４ｂ・・・メッシュ設定部、１０５ｂ・・・メッシュ変形部
【特許請求の範囲】
【請求項１】
画像を入力する画像入力ステップと、
所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定ステップと、
前記画像から各レイヤのレイヤ画像を生成するレイヤ画像生成ステップと、
前記レイヤ画像をそれぞれのサイズを変更するレイヤ画像リサイズステップと、
前記レイヤ構造に基づき前記レイヤ画像を統合してリサイズ画像を出力する画像統合ステップと
を有することを特徴とする画像処理方法。
【請求項２】
前記画像を分断するパスを探索するパス探索ステップをさらに有し、
前記レイヤ画像リサイズステップは、探索された前記パスに基づき前記レイヤ画像を縮小または拡張することによりサイズの変更を行うことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記レイヤ画像の全画素または部分領域のもつエネルギー量に基づき、前記レイヤ画像の全画素または部分領域のもつ縮小または拡張に対するコストを計算し、コストマップを生成するコストマップ設定ステップをさらに有し、
前記パス探索ステップは、前記コストマップに基づき画素または部分領域の集合からなるパスを探索することを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記レイヤ画像のそれぞれに対してメッシュ構造を生成し、前記レイヤ画像と前記メッシュを対応付けるメッシュ設定ステップと、
前記メッシュを変形するメッシュ変形ステップと
をさらに有し、
前記レイヤ画像リサイズステップは、前記変形されたメッシュに基づき前記レイヤ画像を変形することによりサイズの変更を行うことを特徴とする請求項１に記載の画像処理方法。
【請求項５】
画像を入力する画像入力手段と、
所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定手段と、
前記画像から各レイヤのレイヤ画像を生成するレイヤ画像生成手段と、
前記レイヤ画像をそれぞれのサイズを変更するレイヤ画像リサイズ手段と、
前記レイヤ構造に基づき前記レイヤ画像を統合してリサイズ画像を出力する画像統合手段と
を備えることを特徴とする画像処理装置。
【請求項６】
請求項１から請求項４のいずれかに記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【請求項１】
画像を入力する画像入力ステップと、
所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定ステップと、
前記画像から各レイヤのレイヤ画像を生成するレイヤ画像生成ステップと、
前記レイヤ画像をそれぞれのサイズを変更するレイヤ画像リサイズステップと、
前記レイヤ構造に基づき前記レイヤ画像を統合してリサイズ画像を出力する画像統合ステップと
を有することを特徴とする画像処理方法。
【請求項２】
前記画像を分断するパスを探索するパス探索ステップをさらに有し、
前記レイヤ画像リサイズステップは、探索された前記パスに基づき前記レイヤ画像を縮小または拡張することによりサイズの変更を行うことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記レイヤ画像の全画素または部分領域のもつエネルギー量に基づき、前記レイヤ画像の全画素または部分領域のもつ縮小または拡張に対するコストを計算し、コストマップを生成するコストマップ設定ステップをさらに有し、
前記パス探索ステップは、前記コストマップに基づき画素または部分領域の集合からなるパスを探索することを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記レイヤ画像のそれぞれに対してメッシュ構造を生成し、前記レイヤ画像と前記メッシュを対応付けるメッシュ設定ステップと、
前記メッシュを変形するメッシュ変形ステップと
をさらに有し、
前記レイヤ画像リサイズステップは、前記変形されたメッシュに基づき前記レイヤ画像を変形することによりサイズの変更を行うことを特徴とする請求項１に記載の画像処理方法。
【請求項５】
画像を入力する画像入力手段と、
所定数のレイヤを定義し、前記画像中の各画素が属するレイヤを設定することによりレイヤ構造を設定するレイヤ構造設定手段と、
前記画像から各レイヤのレイヤ画像を生成するレイヤ画像生成手段と、
前記レイヤ画像をそれぞれのサイズを変更するレイヤ画像リサイズ手段と、
前記レイヤ構造に基づき前記レイヤ画像を統合してリサイズ画像を出力する画像統合手段と
を備えることを特徴とする画像処理装置。
【請求項６】
請求項１から請求項４のいずれかに記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−８５１８１（Ｐ２０１３−８５１８１Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２４９１７（Ｐ２０１１−２２４９１７）
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]