画像中の投影領域の決定方法、及び装置
【課題】本発明は、画像中の投影領域の決定方法及び装置を提供する。
【解決手段】該方法は、入力部によって、複数の画像を有する画像列を入力する入力ステップと、検知部によって、前記画像列における各画像の投影領域の位置を検知する検知ステップと、関係種別判定部によって、該画像の投影領域と当該画像を投影する前の画像の投影領域との位置関係により、該画像と前の画像との関係種別を判定する関係種別判定ステップと、決定部によって、前記関係種別判定ステップで判定した関係種別により、各画像の投影領域の位置を決定する決定ステップと、を有する。
【解決手段】該方法は、入力部によって、複数の画像を有する画像列を入力する入力ステップと、検知部によって、前記画像列における各画像の投影領域の位置を検知する検知ステップと、関係種別判定部によって、該画像の投影領域と当該画像を投影する前の画像の投影領域との位置関係により、該画像と前の画像との関係種別を判定する関係種別判定ステップと、決定部によって、前記関係種別判定ステップで判定した関係種別により、各画像の投影領域の位置を決定する決定ステップと、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本発明は、画像中の投影領域の決定方法および装置に関する。
【背景技術】
【０００２】
コンピュータの技術が発展するにつれ、遠隔会議、遠隔医療等の遠隔応用が実現し、力強く、凄まじい勢いで発展しつつある。従来技術においては、該技術分野で一定の進展が得られている。このような応用においては、一方の撮像装置から撮像された画像を他方へ遠隔送信する必要があるが、一方の撮像装置から撮像された画像の全てが遠隔端末の関心画像とは限らず、また、実際に、遠隔端末の関心領域は、作像角度が原因で歪みが生じていることがしばしばある。このため、遠隔応用においては、通常、遠隔側の関心領域の抽出、及び該関心領域の歪み補正を考慮する必要があり、処理負担が過重になってしまう。また、リアルタイム要求を満足しようとすると、さらに問題が深刻になってしまう。
【０００３】
特許文献1（米国特許US7171056B2）には、ホワイトボード内容の電子ファイルへの変換方法が記載されている。該目的を達成するために、該特許技術においては、静止ホワイトボード領域の検知方法が提案されているが、該方法は、静止ホワイトボード領域の検知のみに適用されるため、リアルタイムの連続投影領域の検知は、不可能になる。
【０００４】
特許文献２（米国特許US7872637B2）には、投影領域の検知ステップを有する、コンピュータ画面の投影画像におけるレーザスポット位置の追跡システムが記載されている。しかしながら、該技術においては、空間情報のみを用いた、単一フレーム画像からの投影領域の検知が行われ、連続画像中のレーザスポット位置への時間分析による、レーザスポットの軌跡追跡に重点が置かれている。該技術においては、前のフレームにおける投影領域の検知結果が利用されておらず、独立したフレームごとの処理が行われているため、システムの処理負担が過重になってしまう。
【０００５】
投影―撮像システムにおいては、システム座標を補正するために、投影領域の４つのコーナー点の検知が必要となる。従来技術においては、単一静止画像への投影領域検知が行われ、映像ストリームにおける連続画像への空間分析によるリアルタイム検知は行われていない。また、従来技術においては、画像領域全体への分析による投影領域の決定が行われ、演算の複雑度が比較的に高くなってしまう。
【０００６】
なお、例えば、遠隔会議の遠隔応用における１次実施工程においては、投影領域が常に安定したものではなく、各種要因で変化する可能性がある。従来技術においては、単一フレーム画像への処理を各々行うか、連続映像画像へのリアルタイム処理への要求を満たしていないか、フレームごとの独立した処理により該リアルタイム処理への要求を満たしていることで、システムの処理負担が過重になってしまうおそれがある。遠隔応用分野においては、ネットワーク等の転送条件の制限が深刻であることから、ローカル応用に比べて、システム負担の増大による更なる重大な問題が生じるおそれがある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、従来技術における前述の問題に鑑みてなされたものである。本発明は、シーンの変化に応じた、連続映像画像列からの画像の投影領域へのリアルタイム検知及び決定が可能な、画像の投影領域決定方法及び装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の実施例の一態様においては、入力部によって、複数の画像を有する画像列を入力する入力ステップと、検知部によって、前記画像列における各画像の投影領域の位置を検知する検知ステップと、関係種別判定部によって、該画像の投影領域と当該画像を投影する前の画像の投影領域との位置関係により、該画像と前の画像との関係種別を判定する関係種別判定ステップと、決定部によって、前記関係種別判定ステップで判定した関係種別により、各画像の投影領域の位置を決定する決定ステップと、を有する、画像中の投影領域の決定方法が提供される。
【０００９】
本発明の実施例の他の態様においては、複数の画像を有する画像列を入力する入力部と、前記画像列における各画像の投影領域の位置を検知する検知部と、該画像の投影領域と当該画像を投影する前画像の投影領域との位置関係により、該画像と前の画像との関係種別を判定する関係種別判定部と、前記関係種別判定部により判定した関係種別により、各画像の投影領域の位置を決定する決定部と、を有する、装置が提供される。
【図面の簡単な説明】
【００１０】
本発明の以上の目的及び他の目的、特徴、長所、技術及び産業上の重要性が容易に理解できるように、以下、図面を参照して、本発明の好適実施例について詳細に説明する。
【図１】本発明の実施例における画像中の投影領域決定方法及び画像中の投影領域決定方法を実行する装置の適用環境を示した図である。
【図２】撮像された画像中の投影領域の例を示した図である。
【図３】本発明の実施例における画像中の投影領域決定方法の全体フローチャートである。
【図４】本発明の実施例における画像中の投影領域決定方法を実行する装置の全体ブロック図である。
【図５】本発明の実施例における画像中の投影領域決定システムの全体ブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施例について説明する。
【００１２】
図１は、本発明の実施例における画像中の投影領域決定方法及び画像中の投影領域決定方法を実行する装置の適用環境を示した図である。
【００１３】
投影装置２０は、画像を投影スクリーン３０に投射し、投影スクリーン３０に表示されるコンテンツは、大概、ローカル端末から遠隔端末の他方へプレゼンテーションすべきコンテンツとなる。投影スクリーン３０上の投影領域は、基本的にローカル、遠隔の両方の関心領域とされてよい。撮像装置１０は、撮像された映像の連続画像を処理装置４０へ転送し、撮像装置１０による撮像画像の範囲は、通常、例えば、投影スクリーン３０に表示される関心領域以外にも、周辺のコンテンツを含まない投影スクリーンの領域及び壁、テーブル面等の現場の周辺環境を含む等、投影装置２０により投射される投影領域の範囲よりも大きくなっている。処理装置４０は、任意の従来の手段により、画像を遠隔端末へ転送することができ、ここで、処理装置４０は、撮像装置１０から撮像された画像を直接遠隔端末へ転送することができるが、このように転送される画像に大量の遠隔側の関心対象以外の情報が含まれていることから、転送データ量が過大になるのみならず、真の関心領域の重要度がかえって弱くなり、そのうちの重要情報が遠隔側に無視されてしまうおそれがある。
【００１４】
図２は、撮像された画像中の投影領域の例を示した図である。通常、撮像装置３０を調整し、できる限り投影領域にピントを合わせたとしても、撮像される画像は依然として投影領域を超えてしまう可能性があり、また、撮像角度が原因で、撮像画像における投影領域にある程度の歪みが生じるおそれがある。このため、投影領域の抽出を行わない場合は、前述の問題以外にも、歪み画像を、遠隔側が観覧しにくくなることから、双方のインタラクションに不都合となる。
【００１５】
このため、処理装置４０により、本発明の実施例における画像中の投影領域決定方法及び画像中の投影領域決定方法を実行する装置を実現し、以降の例えば投影領域の歪み補正、投影領域コンテンツの転送、及び、投影領域に現在コンテンツを書き込んでいるユーザとのインタラクションや、他方の遠隔システムとの投影領域のコンテンツ共有等のその後の処理のために、撮像装置１０から提供される投影領域を含む連続画像から、投影領域を決定している。
【００１６】
ここで、投影装置２０は、例えば、プロジェクタであり、投影スクリーン３０は、例えば、ズックのスクリーンや、ホワイトボードや、ブロックボード、さらには単なる壁等の任意のスクリーンであり、要するに画像を表示可能な任意の物体であり、撮像装置１０は、例えば、カメラや、ビデオカメラや、撮影機や、ウェブカメラ等の任意の画像撮像装置であり、処理装置４０は、各種コンピュータや、データ処理能力を有する装置であってよい。
【００１７】
図３は、本発明の実施例における画像中の投影領域決定方法の全体フローチャートである。図３に示されたように、本発明の実施例における画像中の投影領域決定方法は、複数の画像を有する画像列を入力する、入力ステップＳ１００と、画像列における各画像中の投影領域の位置を検知する、検知ステップＳ２００と、該画像の投影領域の前画像の投影領域との位置関係により、該画像の前画像との関係種別を判定する、関係種別判定ステップＳ３００と、画像列における各画像の、前画像との関係種別により、各画像の投影領域の位置を決定する、決定ステップＳ４００を有している。
【００１８】
入力ステップＳ１００に入力される画像列は、例えば、撮像装置１０で撮像された連続した映像画像であり、以下、連続した撮像画像を入力画像として説明を行うが、本発明の実施例は、単一フレームの静止画像の処理にのみ適用されるものではない。画像列における各画像（或いは、「フレーム画像」や、「フレーム」と称される）には、投影装置２０から投射された投影領域が含まれ、該投影領域は、ローカルと遠隔端末の両方の関心領域となり、双方のインタラクションのもとになる。
【００１９】
検知ステップＳ２００においては、検知された該画像中の投影領域の四辺形の４つのコーナー点の位置が、該投影領域の位置を表している。例えば、図２の場合、“+”をマークされた投影領域の４つのコーナー点の、左上コーナー点CPtl、右上コーナー点CPtr、左下コーナー点CPblと一致させ、該投影領域の位置を表している。
【００２０】
検知ステップＳ２００においては、具体的に、以下の処理により、フレーム画像中の投影領域の位置検知を行い、各フレームを対象とし、フレームごとに行うことができる（単一フレームの投影領域検知）。
【００２１】
（１）フレーム画像がカラー画像であると、カラー画像を階調図に変換し、
（２）中間値フィルタにより、画像ノイズを低減し、
（３）canny演算子を用いた画像中のエッジ検知を行い、
（４）検知されたエッジ点列から、凸多角形の輪郭集合を取得し、
（５）凸多角形の輪郭集合から、四角形に近い四辺形輪郭（即ち、４つの頂点と約９０度の頂角を有する輪郭）をフィルタし、
（６）通常、投影領域が入力画像の大半の面積を占めることから、最外層の四辺形を候補投影領域として選択する。
【００２２】
検知ステップＳ２００の前述の各操作は、従来技術手段で実現することができ、検知された投影領域は、「候補」投影領域とされ、以降の決定処理に用いられる。
【００２３】
検知ステップＳ２００においては、各種原因から、検知された該画像中の投影領域が四辺形をなさない場合や、例えば、投影領域が外部の物体（例えば、人体）に遮られた場合等、該画像から投影領域が検知されない場合がある。投影領域が遮られると、エッジ検知及び輪郭検知方法による、規則を満たす四辺形の検出ができないため、検知結果が０となる。本発明の実施例においては、このような場合、現フレーム画像と前フレーム画像間の投影領域の位置関係の特殊種別と見なし、このような種別の対応法については、以下、説明を行う。
【００２４】
関係種別判定ステップＳ３００においては、空間情報により、現フレーム画像と前フレーム画像間の検知結果の差を分析し、該差に応じた、現フレーム画像と前フレーム画像間の関係の分類を行い、分類された種別が、前後フレームのシーン変化を表すことになる。
【００２５】
関係種別判定ステップＳ３００においては、先ず、現単一フレーム画像の投影領域の特徴値を算出する必要がある。投影領域の特徴値は、以下のように定義される。
【００２６】
（1）投影領域の基本特徴の記述：
CP（コーナー点、corner point）： 例えば、図２に示された２次元画像中の投影領域のコーナー点の、左上コーナー点CPtl、右上コーナー点CPtr、左下コーナー点CPbl、右下コーナー点CPbrであり、画像座標系中の（x，y）座標値により表される。
【００２７】
PA（投影領域、projection area）：前記４つのコーナー点からなる四辺形であり、
【数１】
として表される。
【００２８】
（2）２次元空間中のコーナー点位置関係から算出された特徴値である投影領域の派生特徴：
BL（辺長、border length）：隣接するコーナー点同士のユークリッド距離である。左上コーナー点CPtlと右上コーナー点CPtr間の上辺の辺長を例にすると、以下の算出方法が用いられる。
【００２９】
左上コーナー点CPtlの座標を(Xtl, Ytl)，右上コーナー点CPtrの座標を(Xtr, Ytr)とすると、上辺の辺長BL(CPtl->CPtr)は、
BL(CPtl->CPtr) = [(Xtr-Xtl)2 + (Ytr-Ytl)2]1/2
と表すことができる。
【００３０】
AR（アスペクト比、aspect ratio）：ある特定のコーナー点において、アスペクト比は、該コーナー点で交差する２辺の辺長比（横辺割る縦辺）であり、左上コーナー点を例にすると、該コーナー点のアスペクト比ARtlは、
ARtl = BL(CPtl->CPtr) / BL(CPtl->CPbl)
と表すことができる。
【００３１】
もちろん、投影領域の派生特徴は、これに限られるものではない。
【００３２】
関係種別判定ステップＳ３００においては、該画像中の投影領域と該画像の前画像の投影領域との、辺長比例変化量が、比例差閾値以上になるか、比例差閾値を越えた場合は、該画像の前画像との関係種別が第１種別であると判定している。
【００３３】
本発明の実施例による投影領域検知工程においては、投影領域が外部物体（例えば、人体）に遮られてしまう場合がある。この場合は、その他の投影領域が、投影領域のアスペクト比が大きく変化したものの、依然として基本的な四辺形を保持する可能性がある。この場合は、現フレーム画像と前フレーム画像間の関係を第１種別に分類してもよい。
【００３４】
第１種別の前後フレーム画像関係は、遮りにより、即ち、投影領域が人体や、他の物体に遮られた場合は、辺長比例変化量から、第１種別の判断を行うことができる。
【００３５】
該画像の投影領域と該画像の前画像の投影領域との、対応するコーナー点の隣接２辺のアスペクト比の差分絶対値を算出し、差分絶対値の和を、前記辺長比例変化量とする。
【００３６】
例えば、検知された現フレーム画像の投影領域の４つのコーナー点と既に決められた前フレーム画像の投影領域の４つのコーナー点のそれぞれの辺長比例変化量を算出してから、比例差閾値との比較を行う。
【００３７】
具体的に、検知された現画像の投影領域の左上コーナー点のアスペクト比ARtlと、既に決められた前画像の左上コーナー点のアスペクト比AR’tlの差分絶対値DARtlを算出する。
【００３８】
DARtl = |ARtl - AR’tl|。
【００３９】
同様に、現画像の投影領域と前画像の投影領域の、右上、左下、右下、右下コーナー点のアスペクト比の差分絶対値DARtr、DARbl、DARbrが求められる。
【００４０】
次に、下記式（1）により、４つの差分絶対値の和を、辺長比例変化量VARarとする。
VARar = DARtl + DARtr + DARbl + DARbr （1）
【００４１】
次に、下記式（2）により、現画像と前画像の投影領域の位置関係が前記第１種別に属するか否かを判断する。
VARar ≧ Tvar_ar （2）
式中、Tvar_arは、コーナー点の比例差閾値であり、前記式（2）を満足すると、現フレーム画像と前フレーム画像の関係を第１種別に分類する。
【００４２】
また、前記式（2）の条件の変形として、VARar > Tvar_arとしてもよい。経験から、適切な比例差閾値を設定してもよく、この場合のTvar_arは、例えば、0.1や、0.05や、0.2等の値に設定することができる。
【００４３】
なお、４つの差分絶対値の平均値を辺長比例変化量としてもよく、この場合の比例差閾値は、前記比例差閾値を４で割ったものとなることは言うまでもない。
【００４４】
なお、簡略化するために、単に、対角の２点のアスペクト比差分から、辺両比例変化量VARarを算出してもよく、左上コーナー点、右下コーナー点を例にすると、下記式（3）から、辺長比例変化量が求められる。
VARar = DARtl + DARbr （3）
【００４５】
同様に、他方の対角線上の右上、左下の２コーナー点から、辺長比例変化量を求めてもよい。
【００４６】
なお、同様の条件下の経験から、それに対応した比例差閾値が得られてよく、例えば、式（3）の場合、比例差閾値は、式（2）における比例差閾値の半分でもよく、２つの差分絶対値の平均値を辺長比例変化量とする場合は、４つのコーナー点の場合と同様の比例差閾値にすることができる。
【００４７】
関係種別判定ステップＳ３００においては、該画像中の投影領域と該画像の前画像の投影領域との、辺長比例変化量が、比例差閾値未満になるか、比例差閾値以下になり、かつ、コーナー点位置の変化したコーナー点数が数閾値以上になるか、数閾値を超え、かつ、コーナー点の位置変化量が位置差閾値以上になるか、数閾値を超えた場合は、該画像の前画像との関係種別が第２種別であると判定する。
【００４８】
具体的に、現画像と前画像の投影領域間の位置関係の判定工程において、前記式（２）を満足せず、VARar < Tvar_arとなる場合や、式（２）の条件変形が、VARar > Tvar_arとなる場合、実際の判断結果がVARar ≦ Tvar_arであると、さらに以下の変化量を判断する。
【００４９】
NUMcc：位置座標の変化したコーナー点数；
VARcc：位置の変化した対応コーナー点間の位置変化量（位置差、単位は、画素）。
【００５０】
前記変化量に対し、それに対応する閾値が設定される。
【００５１】
Tnum_cc：位置座標の変化したコーナー点数に対応する数閾値；
Tvar_cc：コーナー点位置の変化量に対応する位置差閾値。
【００５２】
Tnum_ccは、経験値でもよく、例えば、２でもよく、1や、3や、さらには0、4でもよい。
【００５３】
現画像の投影領域と前画像の投影領域間の対応コーナー点の画像における位置座標を比較し、位置の変化したコーナー点の数NUMccを算出する。次に、該数NUMccが下記式（4）を満たすか否かを判断する。
NUMcc ≧Tnum_cc （4）
該式（4）の変形として、NUMcc > Tnum_ccとしてもよいことは言うまでもない。
【００５４】
コーナー点位置の変化したコーナー点数をカウントするとともに、各対応コーナー点間の位置変化量を各々算出する。または、先ず、コーナー点位置の変化したコーナー点を判断し、式（４）や、その変形を満足する場合、さらに位置の変化した対応コーナー点間の位置変化量を算出してもよい。または、先ず、対応コーナー点間の位置変化量を算出し、これにより、コーナー点位置の変化したコーナー点数を容易に取得でき、式（４）や、その変形に代入して判断を行うことができる。
【００５５】
例えば、該（現）画像の投影領域と該画像の前画像の投影領域との、対応する４つのコーナー点間の変位量を算出し、対応する４つのコーナー点間の変位量の和を前記コーナー点位置の変化量としてもよい。
【００５６】
具体的に、現フレーム画像の投影領域の左上コーナー点（Xtl，Ytl）と前画像の既に決められた投影領域の左上コーナー点（X’tl，Y’tl）間の２次元ユークリッド距離[(Xtl-X’tl)2 + (Ytl-Y’tl)2]1/2を左上コーナー点の変位量とすることができ、同様に、他の３つの対応コーナー点間の２次元ユークリッド距離を算出し、その変位量とすることができる。
【００５７】
対応する４つのコーナー点間の変位量の和を、コーナー点位置の変化量VARccとし、該変化量VARccが下記式（5）を満足するか否かを判断することができる。
VARcc > Tvar_cc （5）
【００５８】
式中、Tvar_ccは、位置差閾値であり、経験値であってもよく、例えば、この場合、８でもよく、5、6、10（単位は、画素）等でもよい。もちろん、式（5）の変形として、VARcc ≧ Tvar_ccとしてもよい。
【００５９】
なお、対応する４つのコーナー点間の変位量の平均値をコーナー点位置の変化量としてもよく、この場合の位置差閾値は、式（５）やその変形における位置差閾値を４で割ったものとする。
【００６０】
代替として、該（現）画像の投影領域と該画像の前画像の投影領域との、対応する４つのコーナー点間の横変位量と縦変位量を各々算出し、横変位量と縦変位量の重みを加算することで、前記コーナー点位置の変化量が得られるようにしてもよい。
【００６１】
例えば、同様に、左上コーナー点を例、検知された現フレーム画像の投影領域の左上コーナー点が（Xtl，Ytl）で、その前画像の決められた投影領域の対応左上コーナー点が（X’tl，Y’tl）であるとし、横変位量| Xtl - X’tl |と縦変位量| Ytl - Y’tl |を算出する。次に、横変位量と縦変位量に異なる重み付けを行い、例えば、横変位量重みをwh、縦変位量重みをwvとしてから、wh| Xtl - X’tl | + wv| Ytl - Y’tl |のように重みを加算し、左上コーナー点の位置変化量とする。同様に、他の３つのコーナー点（右上、左下、右下）のそれぞれの横変位量と縦変位量を算出するとともに、重み加算を行うことで、各自の位置変化量が得られる。次に、４つのコーナー点でそれぞれ得られたコーナー点位置の変化量の加算値、或いは、４つのコーナー点で得られたコーナー点位置の変化量の平均値を、コーナー位置の変化量VARccとするとともに、同様の方式で得られた経験値を、それに対応した位置差閾値Tvar_ccとして、式（5）に代入する。
【００６２】
ここで、縦変位量重みwvは、横変位量重みwhよりも大きくなるように設定することができる。
【００６３】
第１種別に属すると判断されていない場合、式（４）や、その変形を満足し、同時に式（５）や、その変形を満足すると、該画像の前画像との関係種別が第２種別と判断することができる。
【００６４】
現画像と前画像の投影領域間の位置関係が、第２種別に属する場合は、例えば、投影装置自体の移動によるものと考えられる。
【００６５】
関係種別判定ステップＳ３００においては、該画像中の投影領域と該画像の前画像の投影領域との、コーナー点位置の変化量が、位置差閾値未満になるか、位置差閾値以下になると、該画像の前画像との関係種別が第３種別であると判定する。
【００６６】
具体的に、現画像と前画像の投影領域間の位置関係を判断する工程において、前述の任意の１方式から得られたコーナー点位置の変化量VARccに対し、前記式（5）を満足せず、VARcc ≦ Tvar_ccとなる場合、或いは、式（5）の条件の変形がVARcc ≧ Tvar_ccとなる場合、実際の判断結果が、VARcc < Tvar_ccとなると、該現画像の前画像との関係種別が第３種別であると判定する。
【００６７】
前後フレームの関係が第３種別である場合は、外部光線による妨害と、各装置自体のぶれによるものと考えられる。
【００６８】
なお、前述のように、検知ステップＳ２００において、検知された該画像中の投影領域が四辺形をなしていないか、該画像から投影領域が検知されていない場合は、関係種類判定ステップＳ３００において、該画像の前画像との関係種別が第４種別であると判定している。
【００６９】
前後フレームの関係が第４種別である場合は、投影装置の遮り、装置の異常等によるものと考えられる。
【００７０】
関係種別判定ステップＳ３００においては、投影領域の位置により、現フレーム画像（または、「現画像」や、「該画像」と称される）の前フレーム画像との関係種別を決定後に、決定ステップＳ４００において、関係種別に応じた、現フレーム画像中の投影領域の位置決めを行う。
【００７１】
具体的に、決定ステップＳ４００において、該画像が前画像に対して第１種別であると、該前画像の投影領域の位置を該画像の投影領域の位置とする。
【００７２】
また、決定ステップＳ４００において、該画像が前画像に対して第２種別であると、該前画像の投影領域の位置を該画像の投影領域の位置とする。
【００７３】
また、決定ステップＳ４００において、該画像が前画像に対して第３種別であると、該前画像の投影領域の位置を該画像の投影領域の位置とする。
【００７４】
また、決定ステップＳ４００において、該画像が前画像に対して第４種別であると、該前画像の投影領域の位置を該画像の投影領域の位置とする。
【００７５】
このため、現画像と前画像の投影領域の位置関係が第２種別である場合のみ、検知ステップＳ２００で検知された投影領域の位置を現画像の投影領域の位置と決定することができ、即ち、前フレーム画像で決定された投影領域の位置の更新及び入れ替えを行う。それ以外の場合は、前フレーム画像で決められた投影領域の位置を引き続き用いることができる。
【００７６】
換言すると、現画像と前画像の投影領域の位置関係が第２種別である場合のみ、歪み投影領域の補正処理を引き続き行う必要があり、例えば、第１、第３、第４種別等の他の場合は、既存の投影領域への歪み補正結果を用いることで、処理負担を軽減することができる。
【００７７】
さらに、本発明は、本発明の実施例における画像中の画像中の投影領域決定方法を実行可能な装置として実施されてもよい。図４は、本発明の実施例における画像中の投影領域決定方法を実行する装置の全体ブロック図である。図４に示されたように、本発明の実施例における画像中の投影領域決定方法を実行する装置は、複数の画像を有する画像列を入力する、前記入力ステップＳ１００を実行可能な入力部１００と、画像列における各画像中の投影領域の位置を検知する、前記検知ステップＳ２００を実行可能な検知部２００と、該画像の投影領域の前画像の投影領域との位置関係により、該画像の前画像との関係種別を判定する、前記関係種別判定ステップＳ３００を実行可能な関係種別判定部３００と、画像列における各画像の、前画像との関係種別により、各画像の投影領域の位置を決定する、前記決定ステップＳ４００を実行可能な決定部４００を有している。
【００７８】
また、検知装置２００において、検知された該画像中の投影領域の四辺形の４つのコーナー点の位置が、該投影領域の位置を表すようにしてもよい。
【００７９】
また、該（現）画像中の投影領域と該画像の前画像の投影領域との、辺長比例変化量が、比例差閾値以上になるか、比例差閾値を越えた場合は、該画像の前画像との関係種別が第１種別であると判定してもよい。
【００８０】
また、該（現）画像中の投影領域と該画像の前画像の投影領域との、辺長比例変化量が、比例差閾値未満になるか、比例差閾値以下になると、該画像の前画像との関係種別が第２種別であると判定してもよい。
【００８１】
また、関係種別判定装置３００において、該画像の投影領域と該画像の前画像の投影領域との、対応するコーナー点の隣接２辺のアスペクト比の差分絶対値を算出し、差分絶対値の和を、前記辺長比例変化量としてもよい。
【００８２】
また、該（現）画像中の投影領域と該画像の前画像の投影領域との、コーナー点位置の変化量が、位置差閾値未満になるか、位置差閾値以下になると、該画像の前画像との関係種別が第３種別であると判定してもよい。
【００８３】
また、関係種別判定装置３００において、該画像の投影領域と該画像の前画像の投影領域との、対応する４つのコーナー点間の変位量を算出し、対応する４つのコーナー点間の変位量の和を前記コーナー点位置の変化量としてもよい。
【００８４】
または、関係種別判定装置３００において、該画像の投影領域と該画像の前画像の投影領域との、対応する４つのコーナー点間の横変位量と縦変位量を各々算出し、横変位量と縦変位量の重みを加算することで、前記コーナー点位置の変化量が得られるようにしてもよい。
【００８５】
なお、検知装置２００において、検知された該画像中の投影領域が四辺形をなしていないか、該画像から投影領域が検知されていない場合は、関係種類判定装置３００において、該画像の前画像との関係種別が第４種別であると判定してもよい。
【００８６】
また、決定装置４００において、該画像が前画像に対して第１種別であると、該前画像の投影領域の位置を該画像の投影領域の位置としてもよい。
【００８７】
また、決定装置４００において、該画像が前画像に対して第２種別であると、該前画像の投影領域の位置を該画像の投影領域の位置としてもよい。
【００８８】
また、決定装置４００において、該画像が前画像に対して第３種別であると、該前画像の投影領域の位置を該画像の投影領域の位置としてもよい。
【００８９】
また、決定装置４００において、該画像が前画像に対して第４種別であると、該前画像の投影領域の位置を該画像の投影領域の位置としてもよい。
【００９０】
さらに、本発明は、画像中の投影領域決定システムとして実施されてもよい。本発明の実施例は、遠隔システムに適用されているが、本発明の実施例における画像中の投影領域決定方法、装置及びシステムは、遠隔側に依存することなく、例えば、ローカル側等、遠隔システム中の一方のみに適用されてもよい。本発明の実施例は、投影領域の決定のみに用いられてもよく、当業者は、以降の処理の便宜を図るために、任意の所望の形式で、決定された投影領域の運用法を決めてもよく、さらには、歪み領域の補正や、遠隔端末への送信を行わなくてもよい。
【００９１】
図５は、本発明の実施例における画像中の投影領域決定システム１０００の全体ブロック図である。図５に示されたように、本発明の実施例における画像中の投影領域決定システム１０００は、例えば、前述の撮像装置１０等を含む入力装置１１００と、前述の本発明の実施例による画像中の投影領域決定方法や、前述の本発明の実施例による画像中の投影領域決定方法を実行する装置を実現するための、例えば、コンピュータのＣＰＵや、他の処理機能を有するチップ等の処理装置１２００と、外部へ前述の投影領域決定工程から得られた結果を出力するための、例えば、モニター、プリンタ、通信ネットワーク及びそれに接続された遠隔出力装置等の出力装置１３００と、揮発或いは不揮発形式にて、前記画像中の投影領域決定処理工程における画像と、得られた結果と、コマンドと、中間データ等を記憶するための、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、半導体メモリ等の各種揮発または不揮発性メモリの記憶装置１４００を有する。
【００９２】
本発明の実施例においては、連続した画像列を対象の処理データとし、投影領域の複数の特徴値により、隣接したフレーム画像間の空間分析を行うことで、現画像中の投影領域を決定している。本発明の実施例における画像中の投影領域決定方法、装置及びシステムは、異なる環境変化に適用可能な臨機応変性を有し、例えば、撮像/撮影装置の変位や、人体の投影領域への遮りや、外部照度変化による画像フリッカー及び装置自体の剛性震動等による画像ぶれ等の、各種異なる環境シーン変化を識別することができる。
【００９３】
本発明の実施例によると、入力された連続画像の各フレーム画像中の投影領域を決定することができ、隣接したフレーム画像の検知結果へのリアルタイムな空間分析を行うことで、前後フレーム画像シーンの変化に応じて、異なる処理対処法を用いることができ、一定のシーン変化時に、必ず現フレーム画像中の投影領域検知結果を用いることなく、直接前画像の投影領域決定結果を用いることができ、これにより、処理量をできる限り減らし、例えば、前に投影領域が決められた場合は、投影領域のゆがみ補正等の処理を再度行わせないようにすることで、処理負担の低減が可能になる。
【００９４】
明細書における一連の動作は、ハードウェアや、ソフトウェアや、ハードウェアとソフトウェアの組み合わせ色実行することができる。ソフトウェアによる該一連の動作の実行時には、コンピュータプログラムを専用ハードウェアに内蔵されたコンピュータのメモリにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。或いは、コンピュータプログラムを各種処理が実行可能な汎用コンピュータにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。
【００９５】
例えば、コンピュータプログラムを記録媒体であるハードディスクやＲＯＭに予め保存するか、一時または永久的にコンピュータプログラムをフロッピや、ＣＤ−ＲＯＭや、MOや、ＤＶＤや、磁気ディスクや、半導体メモリ等のような移動記録媒体に記憶（記録）することができ、このような移動記録媒体をパッケージとして提供してもよい。
【００９６】
前述の具体的な実施例によって、本発明を詳細に説明したが、本発明の精神を逸脱しない範囲内の、実施例へ修正や代替が可能なことは言うまでもない。換言すると、本発明は、説明の形式で開示されており、制限的に解釈されるものではない。本発明の要旨は、添付された請求範囲で判断されるべきである。
【００９７】
例えば、コンピュータプログラムを記録媒体であるハードディスクやＲＯＭに予め保存するか、一時または永久的にコンピュータプログラムをフロッピや、ＣＤ−ＲＯＭや、MOや、ＤＶＤや、磁気ディスクや、半導体メモリ等のような移動記録媒体に記憶（記録）することができ、このような移動記録媒体をパッケージとして提供してもよい。
【００９８】
前述の具体的な実施例によって、本発明を詳細に説明したが、本発明の精神を逸脱しない範囲内の、実施例へ修正や代替が可能なことは言うまでもない。換言すると、本発明は、説明の形式で開示されており、制限的に解釈されるものではない。本発明の要旨は、添付された請求範囲で判断されるべきである。
【先行技術文献】
【特許文献】
【００９９】
【特許文献１】米国特許第ＵＳ７１７１０５６Ｂ２号明細書
【特許文献２】米国特許第ＵＳ７８７２６３７Ｂ２号明細書
【技術分野】
【０００１】
本発明は、本発明は、画像中の投影領域の決定方法および装置に関する。
【背景技術】
【０００２】
コンピュータの技術が発展するにつれ、遠隔会議、遠隔医療等の遠隔応用が実現し、力強く、凄まじい勢いで発展しつつある。従来技術においては、該技術分野で一定の進展が得られている。このような応用においては、一方の撮像装置から撮像された画像を他方へ遠隔送信する必要があるが、一方の撮像装置から撮像された画像の全てが遠隔端末の関心画像とは限らず、また、実際に、遠隔端末の関心領域は、作像角度が原因で歪みが生じていることがしばしばある。このため、遠隔応用においては、通常、遠隔側の関心領域の抽出、及び該関心領域の歪み補正を考慮する必要があり、処理負担が過重になってしまう。また、リアルタイム要求を満足しようとすると、さらに問題が深刻になってしまう。
【０００３】
特許文献1（米国特許US7171056B2）には、ホワイトボード内容の電子ファイルへの変換方法が記載されている。該目的を達成するために、該特許技術においては、静止ホワイトボード領域の検知方法が提案されているが、該方法は、静止ホワイトボード領域の検知のみに適用されるため、リアルタイムの連続投影領域の検知は、不可能になる。
【０００４】
特許文献２（米国特許US7872637B2）には、投影領域の検知ステップを有する、コンピュータ画面の投影画像におけるレーザスポット位置の追跡システムが記載されている。しかしながら、該技術においては、空間情報のみを用いた、単一フレーム画像からの投影領域の検知が行われ、連続画像中のレーザスポット位置への時間分析による、レーザスポットの軌跡追跡に重点が置かれている。該技術においては、前のフレームにおける投影領域の検知結果が利用されておらず、独立したフレームごとの処理が行われているため、システムの処理負担が過重になってしまう。
【０００５】
投影―撮像システムにおいては、システム座標を補正するために、投影領域の４つのコーナー点の検知が必要となる。従来技術においては、単一静止画像への投影領域検知が行われ、映像ストリームにおける連続画像への空間分析によるリアルタイム検知は行われていない。また、従来技術においては、画像領域全体への分析による投影領域の決定が行われ、演算の複雑度が比較的に高くなってしまう。
【０００６】
なお、例えば、遠隔会議の遠隔応用における１次実施工程においては、投影領域が常に安定したものではなく、各種要因で変化する可能性がある。従来技術においては、単一フレーム画像への処理を各々行うか、連続映像画像へのリアルタイム処理への要求を満たしていないか、フレームごとの独立した処理により該リアルタイム処理への要求を満たしていることで、システムの処理負担が過重になってしまうおそれがある。遠隔応用分野においては、ネットワーク等の転送条件の制限が深刻であることから、ローカル応用に比べて、システム負担の増大による更なる重大な問題が生じるおそれがある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、従来技術における前述の問題に鑑みてなされたものである。本発明は、シーンの変化に応じた、連続映像画像列からの画像の投影領域へのリアルタイム検知及び決定が可能な、画像の投影領域決定方法及び装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の実施例の一態様においては、入力部によって、複数の画像を有する画像列を入力する入力ステップと、検知部によって、前記画像列における各画像の投影領域の位置を検知する検知ステップと、関係種別判定部によって、該画像の投影領域と当該画像を投影する前の画像の投影領域との位置関係により、該画像と前の画像との関係種別を判定する関係種別判定ステップと、決定部によって、前記関係種別判定ステップで判定した関係種別により、各画像の投影領域の位置を決定する決定ステップと、を有する、画像中の投影領域の決定方法が提供される。
【０００９】
本発明の実施例の他の態様においては、複数の画像を有する画像列を入力する入力部と、前記画像列における各画像の投影領域の位置を検知する検知部と、該画像の投影領域と当該画像を投影する前画像の投影領域との位置関係により、該画像と前の画像との関係種別を判定する関係種別判定部と、前記関係種別判定部により判定した関係種別により、各画像の投影領域の位置を決定する決定部と、を有する、装置が提供される。
【図面の簡単な説明】
【００１０】
本発明の以上の目的及び他の目的、特徴、長所、技術及び産業上の重要性が容易に理解できるように、以下、図面を参照して、本発明の好適実施例について詳細に説明する。
【図１】本発明の実施例における画像中の投影領域決定方法及び画像中の投影領域決定方法を実行する装置の適用環境を示した図である。
【図２】撮像された画像中の投影領域の例を示した図である。
【図３】本発明の実施例における画像中の投影領域決定方法の全体フローチャートである。
【図４】本発明の実施例における画像中の投影領域決定方法を実行する装置の全体ブロック図である。
【図５】本発明の実施例における画像中の投影領域決定システムの全体ブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施例について説明する。
【００１２】
図１は、本発明の実施例における画像中の投影領域決定方法及び画像中の投影領域決定方法を実行する装置の適用環境を示した図である。
【００１３】
投影装置２０は、画像を投影スクリーン３０に投射し、投影スクリーン３０に表示されるコンテンツは、大概、ローカル端末から遠隔端末の他方へプレゼンテーションすべきコンテンツとなる。投影スクリーン３０上の投影領域は、基本的にローカル、遠隔の両方の関心領域とされてよい。撮像装置１０は、撮像された映像の連続画像を処理装置４０へ転送し、撮像装置１０による撮像画像の範囲は、通常、例えば、投影スクリーン３０に表示される関心領域以外にも、周辺のコンテンツを含まない投影スクリーンの領域及び壁、テーブル面等の現場の周辺環境を含む等、投影装置２０により投射される投影領域の範囲よりも大きくなっている。処理装置４０は、任意の従来の手段により、画像を遠隔端末へ転送することができ、ここで、処理装置４０は、撮像装置１０から撮像された画像を直接遠隔端末へ転送することができるが、このように転送される画像に大量の遠隔側の関心対象以外の情報が含まれていることから、転送データ量が過大になるのみならず、真の関心領域の重要度がかえって弱くなり、そのうちの重要情報が遠隔側に無視されてしまうおそれがある。
【００１４】
図２は、撮像された画像中の投影領域の例を示した図である。通常、撮像装置３０を調整し、できる限り投影領域にピントを合わせたとしても、撮像される画像は依然として投影領域を超えてしまう可能性があり、また、撮像角度が原因で、撮像画像における投影領域にある程度の歪みが生じるおそれがある。このため、投影領域の抽出を行わない場合は、前述の問題以外にも、歪み画像を、遠隔側が観覧しにくくなることから、双方のインタラクションに不都合となる。
【００１５】
このため、処理装置４０により、本発明の実施例における画像中の投影領域決定方法及び画像中の投影領域決定方法を実行する装置を実現し、以降の例えば投影領域の歪み補正、投影領域コンテンツの転送、及び、投影領域に現在コンテンツを書き込んでいるユーザとのインタラクションや、他方の遠隔システムとの投影領域のコンテンツ共有等のその後の処理のために、撮像装置１０から提供される投影領域を含む連続画像から、投影領域を決定している。
【００１６】
ここで、投影装置２０は、例えば、プロジェクタであり、投影スクリーン３０は、例えば、ズックのスクリーンや、ホワイトボードや、ブロックボード、さらには単なる壁等の任意のスクリーンであり、要するに画像を表示可能な任意の物体であり、撮像装置１０は、例えば、カメラや、ビデオカメラや、撮影機や、ウェブカメラ等の任意の画像撮像装置であり、処理装置４０は、各種コンピュータや、データ処理能力を有する装置であってよい。
【００１７】
図３は、本発明の実施例における画像中の投影領域決定方法の全体フローチャートである。図３に示されたように、本発明の実施例における画像中の投影領域決定方法は、複数の画像を有する画像列を入力する、入力ステップＳ１００と、画像列における各画像中の投影領域の位置を検知する、検知ステップＳ２００と、該画像の投影領域の前画像の投影領域との位置関係により、該画像の前画像との関係種別を判定する、関係種別判定ステップＳ３００と、画像列における各画像の、前画像との関係種別により、各画像の投影領域の位置を決定する、決定ステップＳ４００を有している。
【００１８】
入力ステップＳ１００に入力される画像列は、例えば、撮像装置１０で撮像された連続した映像画像であり、以下、連続した撮像画像を入力画像として説明を行うが、本発明の実施例は、単一フレームの静止画像の処理にのみ適用されるものではない。画像列における各画像（或いは、「フレーム画像」や、「フレーム」と称される）には、投影装置２０から投射された投影領域が含まれ、該投影領域は、ローカルと遠隔端末の両方の関心領域となり、双方のインタラクションのもとになる。
【００１９】
検知ステップＳ２００においては、検知された該画像中の投影領域の四辺形の４つのコーナー点の位置が、該投影領域の位置を表している。例えば、図２の場合、“+”をマークされた投影領域の４つのコーナー点の、左上コーナー点CPtl、右上コーナー点CPtr、左下コーナー点CPblと一致させ、該投影領域の位置を表している。
【００２０】
検知ステップＳ２００においては、具体的に、以下の処理により、フレーム画像中の投影領域の位置検知を行い、各フレームを対象とし、フレームごとに行うことができる（単一フレームの投影領域検知）。
【００２１】
（１）フレーム画像がカラー画像であると、カラー画像を階調図に変換し、
（２）中間値フィルタにより、画像ノイズを低減し、
（３）canny演算子を用いた画像中のエッジ検知を行い、
（４）検知されたエッジ点列から、凸多角形の輪郭集合を取得し、
（５）凸多角形の輪郭集合から、四角形に近い四辺形輪郭（即ち、４つの頂点と約９０度の頂角を有する輪郭）をフィルタし、
（６）通常、投影領域が入力画像の大半の面積を占めることから、最外層の四辺形を候補投影領域として選択する。
【００２２】
検知ステップＳ２００の前述の各操作は、従来技術手段で実現することができ、検知された投影領域は、「候補」投影領域とされ、以降の決定処理に用いられる。
【００２３】
検知ステップＳ２００においては、各種原因から、検知された該画像中の投影領域が四辺形をなさない場合や、例えば、投影領域が外部の物体（例えば、人体）に遮られた場合等、該画像から投影領域が検知されない場合がある。投影領域が遮られると、エッジ検知及び輪郭検知方法による、規則を満たす四辺形の検出ができないため、検知結果が０となる。本発明の実施例においては、このような場合、現フレーム画像と前フレーム画像間の投影領域の位置関係の特殊種別と見なし、このような種別の対応法については、以下、説明を行う。
【００２４】
関係種別判定ステップＳ３００においては、空間情報により、現フレーム画像と前フレーム画像間の検知結果の差を分析し、該差に応じた、現フレーム画像と前フレーム画像間の関係の分類を行い、分類された種別が、前後フレームのシーン変化を表すことになる。
【００２５】
関係種別判定ステップＳ３００においては、先ず、現単一フレーム画像の投影領域の特徴値を算出する必要がある。投影領域の特徴値は、以下のように定義される。
【００２６】
（1）投影領域の基本特徴の記述：
CP（コーナー点、corner point）： 例えば、図２に示された２次元画像中の投影領域のコーナー点の、左上コーナー点CPtl、右上コーナー点CPtr、左下コーナー点CPbl、右下コーナー点CPbrであり、画像座標系中の（x，y）座標値により表される。
【００２７】
PA（投影領域、projection area）：前記４つのコーナー点からなる四辺形であり、
【数１】
として表される。
【００２８】
（2）２次元空間中のコーナー点位置関係から算出された特徴値である投影領域の派生特徴：
BL（辺長、border length）：隣接するコーナー点同士のユークリッド距離である。左上コーナー点CPtlと右上コーナー点CPtr間の上辺の辺長を例にすると、以下の算出方法が用いられる。
【００２９】
左上コーナー点CPtlの座標を(Xtl, Ytl)，右上コーナー点CPtrの座標を(Xtr, Ytr)とすると、上辺の辺長BL(CPtl->CPtr)は、
BL(CPtl->CPtr) = [(Xtr-Xtl)2 + (Ytr-Ytl)2]1/2
と表すことができる。
【００３０】
AR（アスペクト比、aspect ratio）：ある特定のコーナー点において、アスペクト比は、該コーナー点で交差する２辺の辺長比（横辺割る縦辺）であり、左上コーナー点を例にすると、該コーナー点のアスペクト比ARtlは、
ARtl = BL(CPtl->CPtr) / BL(CPtl->CPbl)
と表すことができる。
【００３１】
もちろん、投影領域の派生特徴は、これに限られるものではない。
【００３２】
関係種別判定ステップＳ３００においては、該画像中の投影領域と該画像の前画像の投影領域との、辺長比例変化量が、比例差閾値以上になるか、比例差閾値を越えた場合は、該画像の前画像との関係種別が第１種別であると判定している。
【００３３】
本発明の実施例による投影領域検知工程においては、投影領域が外部物体（例えば、人体）に遮られてしまう場合がある。この場合は、その他の投影領域が、投影領域のアスペクト比が大きく変化したものの、依然として基本的な四辺形を保持する可能性がある。この場合は、現フレーム画像と前フレーム画像間の関係を第１種別に分類してもよい。
【００３４】
第１種別の前後フレーム画像関係は、遮りにより、即ち、投影領域が人体や、他の物体に遮られた場合は、辺長比例変化量から、第１種別の判断を行うことができる。
【００３５】
該画像の投影領域と該画像の前画像の投影領域との、対応するコーナー点の隣接２辺のアスペクト比の差分絶対値を算出し、差分絶対値の和を、前記辺長比例変化量とする。
【００３６】
例えば、検知された現フレーム画像の投影領域の４つのコーナー点と既に決められた前フレーム画像の投影領域の４つのコーナー点のそれぞれの辺長比例変化量を算出してから、比例差閾値との比較を行う。
【００３７】
具体的に、検知された現画像の投影領域の左上コーナー点のアスペクト比ARtlと、既に決められた前画像の左上コーナー点のアスペクト比AR’tlの差分絶対値DARtlを算出する。
【００３８】
DARtl = |ARtl - AR’tl|。
【００３９】
同様に、現画像の投影領域と前画像の投影領域の、右上、左下、右下、右下コーナー点のアスペクト比の差分絶対値DARtr、DARbl、DARbrが求められる。
【００４０】
次に、下記式（1）により、４つの差分絶対値の和を、辺長比例変化量VARarとする。
VARar = DARtl + DARtr + DARbl + DARbr （1）
【００４１】
次に、下記式（2）により、現画像と前画像の投影領域の位置関係が前記第１種別に属するか否かを判断する。
VARar ≧ Tvar_ar （2）
式中、Tvar_arは、コーナー点の比例差閾値であり、前記式（2）を満足すると、現フレーム画像と前フレーム画像の関係を第１種別に分類する。
【００４２】
また、前記式（2）の条件の変形として、VARar > Tvar_arとしてもよい。経験から、適切な比例差閾値を設定してもよく、この場合のTvar_arは、例えば、0.1や、0.05や、0.2等の値に設定することができる。
【００４３】
なお、４つの差分絶対値の平均値を辺長比例変化量としてもよく、この場合の比例差閾値は、前記比例差閾値を４で割ったものとなることは言うまでもない。
【００４４】
なお、簡略化するために、単に、対角の２点のアスペクト比差分から、辺両比例変化量VARarを算出してもよく、左上コーナー点、右下コーナー点を例にすると、下記式（3）から、辺長比例変化量が求められる。
VARar = DARtl + DARbr （3）
【００４５】
同様に、他方の対角線上の右上、左下の２コーナー点から、辺長比例変化量を求めてもよい。
【００４６】
なお、同様の条件下の経験から、それに対応した比例差閾値が得られてよく、例えば、式（3）の場合、比例差閾値は、式（2）における比例差閾値の半分でもよく、２つの差分絶対値の平均値を辺長比例変化量とする場合は、４つのコーナー点の場合と同様の比例差閾値にすることができる。
【００４７】
関係種別判定ステップＳ３００においては、該画像中の投影領域と該画像の前画像の投影領域との、辺長比例変化量が、比例差閾値未満になるか、比例差閾値以下になり、かつ、コーナー点位置の変化したコーナー点数が数閾値以上になるか、数閾値を超え、かつ、コーナー点の位置変化量が位置差閾値以上になるか、数閾値を超えた場合は、該画像の前画像との関係種別が第２種別であると判定する。
【００４８】
具体的に、現画像と前画像の投影領域間の位置関係の判定工程において、前記式（２）を満足せず、VARar < Tvar_arとなる場合や、式（２）の条件変形が、VARar > Tvar_arとなる場合、実際の判断結果がVARar ≦ Tvar_arであると、さらに以下の変化量を判断する。
【００４９】
NUMcc：位置座標の変化したコーナー点数；
VARcc：位置の変化した対応コーナー点間の位置変化量（位置差、単位は、画素）。
【００５０】
前記変化量に対し、それに対応する閾値が設定される。
【００５１】
Tnum_cc：位置座標の変化したコーナー点数に対応する数閾値；
Tvar_cc：コーナー点位置の変化量に対応する位置差閾値。
【００５２】
Tnum_ccは、経験値でもよく、例えば、２でもよく、1や、3や、さらには0、4でもよい。
【００５３】
現画像の投影領域と前画像の投影領域間の対応コーナー点の画像における位置座標を比較し、位置の変化したコーナー点の数NUMccを算出する。次に、該数NUMccが下記式（4）を満たすか否かを判断する。
NUMcc ≧Tnum_cc （4）
該式（4）の変形として、NUMcc > Tnum_ccとしてもよいことは言うまでもない。
【００５４】
コーナー点位置の変化したコーナー点数をカウントするとともに、各対応コーナー点間の位置変化量を各々算出する。または、先ず、コーナー点位置の変化したコーナー点を判断し、式（４）や、その変形を満足する場合、さらに位置の変化した対応コーナー点間の位置変化量を算出してもよい。または、先ず、対応コーナー点間の位置変化量を算出し、これにより、コーナー点位置の変化したコーナー点数を容易に取得でき、式（４）や、その変形に代入して判断を行うことができる。
【００５５】
例えば、該（現）画像の投影領域と該画像の前画像の投影領域との、対応する４つのコーナー点間の変位量を算出し、対応する４つのコーナー点間の変位量の和を前記コーナー点位置の変化量としてもよい。
【００５６】
具体的に、現フレーム画像の投影領域の左上コーナー点（Xtl，Ytl）と前画像の既に決められた投影領域の左上コーナー点（X’tl，Y’tl）間の２次元ユークリッド距離[(Xtl-X’tl)2 + (Ytl-Y’tl)2]1/2を左上コーナー点の変位量とすることができ、同様に、他の３つの対応コーナー点間の２次元ユークリッド距離を算出し、その変位量とすることができる。
【００５７】
対応する４つのコーナー点間の変位量の和を、コーナー点位置の変化量VARccとし、該変化量VARccが下記式（5）を満足するか否かを判断することができる。
VARcc > Tvar_cc （5）
【００５８】
式中、Tvar_ccは、位置差閾値であり、経験値であってもよく、例えば、この場合、８でもよく、5、6、10（単位は、画素）等でもよい。もちろん、式（5）の変形として、VARcc ≧ Tvar_ccとしてもよい。
【００５９】
なお、対応する４つのコーナー点間の変位量の平均値をコーナー点位置の変化量としてもよく、この場合の位置差閾値は、式（５）やその変形における位置差閾値を４で割ったものとする。
【００６０】
代替として、該（現）画像の投影領域と該画像の前画像の投影領域との、対応する４つのコーナー点間の横変位量と縦変位量を各々算出し、横変位量と縦変位量の重みを加算することで、前記コーナー点位置の変化量が得られるようにしてもよい。
【００６１】
例えば、同様に、左上コーナー点を例、検知された現フレーム画像の投影領域の左上コーナー点が（Xtl，Ytl）で、その前画像の決められた投影領域の対応左上コーナー点が（X’tl，Y’tl）であるとし、横変位量| Xtl - X’tl |と縦変位量| Ytl - Y’tl |を算出する。次に、横変位量と縦変位量に異なる重み付けを行い、例えば、横変位量重みをwh、縦変位量重みをwvとしてから、wh| Xtl - X’tl | + wv| Ytl - Y’tl |のように重みを加算し、左上コーナー点の位置変化量とする。同様に、他の３つのコーナー点（右上、左下、右下）のそれぞれの横変位量と縦変位量を算出するとともに、重み加算を行うことで、各自の位置変化量が得られる。次に、４つのコーナー点でそれぞれ得られたコーナー点位置の変化量の加算値、或いは、４つのコーナー点で得られたコーナー点位置の変化量の平均値を、コーナー位置の変化量VARccとするとともに、同様の方式で得られた経験値を、それに対応した位置差閾値Tvar_ccとして、式（5）に代入する。
【００６２】
ここで、縦変位量重みwvは、横変位量重みwhよりも大きくなるように設定することができる。
【００６３】
第１種別に属すると判断されていない場合、式（４）や、その変形を満足し、同時に式（５）や、その変形を満足すると、該画像の前画像との関係種別が第２種別と判断することができる。
【００６４】
現画像と前画像の投影領域間の位置関係が、第２種別に属する場合は、例えば、投影装置自体の移動によるものと考えられる。
【００６５】
関係種別判定ステップＳ３００においては、該画像中の投影領域と該画像の前画像の投影領域との、コーナー点位置の変化量が、位置差閾値未満になるか、位置差閾値以下になると、該画像の前画像との関係種別が第３種別であると判定する。
【００６６】
具体的に、現画像と前画像の投影領域間の位置関係を判断する工程において、前述の任意の１方式から得られたコーナー点位置の変化量VARccに対し、前記式（5）を満足せず、VARcc ≦ Tvar_ccとなる場合、或いは、式（5）の条件の変形がVARcc ≧ Tvar_ccとなる場合、実際の判断結果が、VARcc < Tvar_ccとなると、該現画像の前画像との関係種別が第３種別であると判定する。
【００６７】
前後フレームの関係が第３種別である場合は、外部光線による妨害と、各装置自体のぶれによるものと考えられる。
【００６８】
なお、前述のように、検知ステップＳ２００において、検知された該画像中の投影領域が四辺形をなしていないか、該画像から投影領域が検知されていない場合は、関係種類判定ステップＳ３００において、該画像の前画像との関係種別が第４種別であると判定している。
【００６９】
前後フレームの関係が第４種別である場合は、投影装置の遮り、装置の異常等によるものと考えられる。
【００７０】
関係種別判定ステップＳ３００においては、投影領域の位置により、現フレーム画像（または、「現画像」や、「該画像」と称される）の前フレーム画像との関係種別を決定後に、決定ステップＳ４００において、関係種別に応じた、現フレーム画像中の投影領域の位置決めを行う。
【００７１】
具体的に、決定ステップＳ４００において、該画像が前画像に対して第１種別であると、該前画像の投影領域の位置を該画像の投影領域の位置とする。
【００７２】
また、決定ステップＳ４００において、該画像が前画像に対して第２種別であると、該前画像の投影領域の位置を該画像の投影領域の位置とする。
【００７３】
また、決定ステップＳ４００において、該画像が前画像に対して第３種別であると、該前画像の投影領域の位置を該画像の投影領域の位置とする。
【００７４】
また、決定ステップＳ４００において、該画像が前画像に対して第４種別であると、該前画像の投影領域の位置を該画像の投影領域の位置とする。
【００７５】
このため、現画像と前画像の投影領域の位置関係が第２種別である場合のみ、検知ステップＳ２００で検知された投影領域の位置を現画像の投影領域の位置と決定することができ、即ち、前フレーム画像で決定された投影領域の位置の更新及び入れ替えを行う。それ以外の場合は、前フレーム画像で決められた投影領域の位置を引き続き用いることができる。
【００７６】
換言すると、現画像と前画像の投影領域の位置関係が第２種別である場合のみ、歪み投影領域の補正処理を引き続き行う必要があり、例えば、第１、第３、第４種別等の他の場合は、既存の投影領域への歪み補正結果を用いることで、処理負担を軽減することができる。
【００７７】
さらに、本発明は、本発明の実施例における画像中の画像中の投影領域決定方法を実行可能な装置として実施されてもよい。図４は、本発明の実施例における画像中の投影領域決定方法を実行する装置の全体ブロック図である。図４に示されたように、本発明の実施例における画像中の投影領域決定方法を実行する装置は、複数の画像を有する画像列を入力する、前記入力ステップＳ１００を実行可能な入力部１００と、画像列における各画像中の投影領域の位置を検知する、前記検知ステップＳ２００を実行可能な検知部２００と、該画像の投影領域の前画像の投影領域との位置関係により、該画像の前画像との関係種別を判定する、前記関係種別判定ステップＳ３００を実行可能な関係種別判定部３００と、画像列における各画像の、前画像との関係種別により、各画像の投影領域の位置を決定する、前記決定ステップＳ４００を実行可能な決定部４００を有している。
【００７８】
また、検知装置２００において、検知された該画像中の投影領域の四辺形の４つのコーナー点の位置が、該投影領域の位置を表すようにしてもよい。
【００７９】
また、該（現）画像中の投影領域と該画像の前画像の投影領域との、辺長比例変化量が、比例差閾値以上になるか、比例差閾値を越えた場合は、該画像の前画像との関係種別が第１種別であると判定してもよい。
【００８０】
また、該（現）画像中の投影領域と該画像の前画像の投影領域との、辺長比例変化量が、比例差閾値未満になるか、比例差閾値以下になると、該画像の前画像との関係種別が第２種別であると判定してもよい。
【００８１】
また、関係種別判定装置３００において、該画像の投影領域と該画像の前画像の投影領域との、対応するコーナー点の隣接２辺のアスペクト比の差分絶対値を算出し、差分絶対値の和を、前記辺長比例変化量としてもよい。
【００８２】
また、該（現）画像中の投影領域と該画像の前画像の投影領域との、コーナー点位置の変化量が、位置差閾値未満になるか、位置差閾値以下になると、該画像の前画像との関係種別が第３種別であると判定してもよい。
【００８３】
また、関係種別判定装置３００において、該画像の投影領域と該画像の前画像の投影領域との、対応する４つのコーナー点間の変位量を算出し、対応する４つのコーナー点間の変位量の和を前記コーナー点位置の変化量としてもよい。
【００８４】
または、関係種別判定装置３００において、該画像の投影領域と該画像の前画像の投影領域との、対応する４つのコーナー点間の横変位量と縦変位量を各々算出し、横変位量と縦変位量の重みを加算することで、前記コーナー点位置の変化量が得られるようにしてもよい。
【００８５】
なお、検知装置２００において、検知された該画像中の投影領域が四辺形をなしていないか、該画像から投影領域が検知されていない場合は、関係種類判定装置３００において、該画像の前画像との関係種別が第４種別であると判定してもよい。
【００８６】
また、決定装置４００において、該画像が前画像に対して第１種別であると、該前画像の投影領域の位置を該画像の投影領域の位置としてもよい。
【００８７】
また、決定装置４００において、該画像が前画像に対して第２種別であると、該前画像の投影領域の位置を該画像の投影領域の位置としてもよい。
【００８８】
また、決定装置４００において、該画像が前画像に対して第３種別であると、該前画像の投影領域の位置を該画像の投影領域の位置としてもよい。
【００８９】
また、決定装置４００において、該画像が前画像に対して第４種別であると、該前画像の投影領域の位置を該画像の投影領域の位置としてもよい。
【００９０】
さらに、本発明は、画像中の投影領域決定システムとして実施されてもよい。本発明の実施例は、遠隔システムに適用されているが、本発明の実施例における画像中の投影領域決定方法、装置及びシステムは、遠隔側に依存することなく、例えば、ローカル側等、遠隔システム中の一方のみに適用されてもよい。本発明の実施例は、投影領域の決定のみに用いられてもよく、当業者は、以降の処理の便宜を図るために、任意の所望の形式で、決定された投影領域の運用法を決めてもよく、さらには、歪み領域の補正や、遠隔端末への送信を行わなくてもよい。
【００９１】
図５は、本発明の実施例における画像中の投影領域決定システム１０００の全体ブロック図である。図５に示されたように、本発明の実施例における画像中の投影領域決定システム１０００は、例えば、前述の撮像装置１０等を含む入力装置１１００と、前述の本発明の実施例による画像中の投影領域決定方法や、前述の本発明の実施例による画像中の投影領域決定方法を実行する装置を実現するための、例えば、コンピュータのＣＰＵや、他の処理機能を有するチップ等の処理装置１２００と、外部へ前述の投影領域決定工程から得られた結果を出力するための、例えば、モニター、プリンタ、通信ネットワーク及びそれに接続された遠隔出力装置等の出力装置１３００と、揮発或いは不揮発形式にて、前記画像中の投影領域決定処理工程における画像と、得られた結果と、コマンドと、中間データ等を記憶するための、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、半導体メモリ等の各種揮発または不揮発性メモリの記憶装置１４００を有する。
【００９２】
本発明の実施例においては、連続した画像列を対象の処理データとし、投影領域の複数の特徴値により、隣接したフレーム画像間の空間分析を行うことで、現画像中の投影領域を決定している。本発明の実施例における画像中の投影領域決定方法、装置及びシステムは、異なる環境変化に適用可能な臨機応変性を有し、例えば、撮像/撮影装置の変位や、人体の投影領域への遮りや、外部照度変化による画像フリッカー及び装置自体の剛性震動等による画像ぶれ等の、各種異なる環境シーン変化を識別することができる。
【００９３】
本発明の実施例によると、入力された連続画像の各フレーム画像中の投影領域を決定することができ、隣接したフレーム画像の検知結果へのリアルタイムな空間分析を行うことで、前後フレーム画像シーンの変化に応じて、異なる処理対処法を用いることができ、一定のシーン変化時に、必ず現フレーム画像中の投影領域検知結果を用いることなく、直接前画像の投影領域決定結果を用いることができ、これにより、処理量をできる限り減らし、例えば、前に投影領域が決められた場合は、投影領域のゆがみ補正等の処理を再度行わせないようにすることで、処理負担の低減が可能になる。
【００９４】
明細書における一連の動作は、ハードウェアや、ソフトウェアや、ハードウェアとソフトウェアの組み合わせ色実行することができる。ソフトウェアによる該一連の動作の実行時には、コンピュータプログラムを専用ハードウェアに内蔵されたコンピュータのメモリにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。或いは、コンピュータプログラムを各種処理が実行可能な汎用コンピュータにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。
【００９５】
例えば、コンピュータプログラムを記録媒体であるハードディスクやＲＯＭに予め保存するか、一時または永久的にコンピュータプログラムをフロッピや、ＣＤ−ＲＯＭや、MOや、ＤＶＤや、磁気ディスクや、半導体メモリ等のような移動記録媒体に記憶（記録）することができ、このような移動記録媒体をパッケージとして提供してもよい。
【００９６】
前述の具体的な実施例によって、本発明を詳細に説明したが、本発明の精神を逸脱しない範囲内の、実施例へ修正や代替が可能なことは言うまでもない。換言すると、本発明は、説明の形式で開示されており、制限的に解釈されるものではない。本発明の要旨は、添付された請求範囲で判断されるべきである。
【００９７】
例えば、コンピュータプログラムを記録媒体であるハードディスクやＲＯＭに予め保存するか、一時または永久的にコンピュータプログラムをフロッピや、ＣＤ−ＲＯＭや、MOや、ＤＶＤや、磁気ディスクや、半導体メモリ等のような移動記録媒体に記憶（記録）することができ、このような移動記録媒体をパッケージとして提供してもよい。
【００９８】
前述の具体的な実施例によって、本発明を詳細に説明したが、本発明の精神を逸脱しない範囲内の、実施例へ修正や代替が可能なことは言うまでもない。換言すると、本発明は、説明の形式で開示されており、制限的に解釈されるものではない。本発明の要旨は、添付された請求範囲で判断されるべきである。
【先行技術文献】
【特許文献】
【００９９】
【特許文献１】米国特許第ＵＳ７１７１０５６Ｂ２号明細書
【特許文献２】米国特許第ＵＳ７８７２６３７Ｂ２号明細書
【特許請求の範囲】
【請求項１】
入力部によって、複数の画像を有する画像列を入力する入力ステップと、
検知部によって、前記画像列における各画像の投影領域の位置を検知する検知ステップと、
関係種別判定部によって、該画像の投影領域と当該画像を投影する前の画像の投影領域との位置関係により、該画像と前の画像との関係種別を判定する関係種別判定ステップと、
決定部によって、前記関係種別判定ステップで判定した関係種別により、各画像の投影領域の位置を決定する決定ステップと、を有する、画像中の投影領域の決定方法。
【請求項２】
前記検知ステップにおいて、検知された該画像中の投影領域の四辺形の４つのコーナー点の位置が、該投影領域の位置を表す、請求項１に記載の画像中の投影領域の決定方法。
【請求項３】
前記関係種別判定ステップにおいて、該画像の投影領域と当該画像を投影する前の画像の投影領域との、辺長比例変化量が、比例差閾値以上になるか、比例差閾値を越えた場合は、該画像と前記前の画像との関係種別が第１種別であると判定し、
前記決定ステップにおいて、該画像が前記前の画像に対して第１種別であると、前記前の画像の投影領域の位置を該画像の投影領域の位置とする、請求項２に記載の画像中の投影領域の決定方法。
【請求項４】
前記関係種別判定ステップにおいて、該画像の投影領域と前記前の画像の投影領域との、辺長比例変化量が、比例差閾値未満になるか、比例差閾値以下になると、該画像と前記前の画像との関係種別が第２種別であると判定し、
前記決定ステップにおいて、該画像が前記前の画像に対して第２種別であると、前記前の画像の投影領域の位置を該画像の投影領域の位置とする、請求項２に記載の画像中の投影領域の決定方法。
【請求項５】
前記関係種別判定ステップにおいて、該画像の投影領域と前記前の画像の投影領域との、コーナー点位置の変化量が、位置差閾値未満になるか、位置差閾値以下になると、該画像と前記前の画像との関係種別が第３種別であると判定し、
前記決定ステップにおいて、該画像が前記前の画像に対して第３種別であると、前記前の画像の投影領域の位置を該画像の投影領域の位置とする、請求項２に記載の画像中の投影領域の決定方法。
【請求項６】
前記検知ステップにおいて、検知された該画像の投影領域が四辺形をなしていないか、該画像から投影領域が検知されていない場合は、関係種類判定ステップにおいて、該画像と前記前の画像との関係種別が第４種別であると判定し、
前記決定ステップにおいて、該画像が前記前の画像に対して第４種別であると、前記前の画像の投影領域の位置を該画像の投影領域の位置とする、請求項１に記載の画像中の投影領域の決定方法。
【請求項７】
該画像の投影領域と前記前の画像の投影領域との、対応する４つのコーナー点間の変位量を算出し、対応する４つのコーナー点間の変位量の和を前記コーナー点位置の変化量とする、請求項４または５に記載の画像中の投影領域の決定方法。
【請求項８】
該画像の投影領域と前記前の画像の投影領域との、対応する４つのコーナー点間の横変位量と縦変位量を各々算出し、横変位量と縦変位量の重みを加算することで、前記コーナー点位置の変化量が得られる、請求項４または５に記載の画像中の投影領域の決定方法。
【請求項９】
該画像の投影領域と前記前の画像の投影領域との、対応するコーナー点の隣接２辺のアスペクト比の差分絶対値を算出し、差分絶対値の和を、前記辺長比例変化量とする、請求項３または４に記載の画像中の投影領域の決定方法。
【請求項１０】
複数の画像を有する画像列を入力する入力部と、
前記画像列における各画像の投影領域の位置を検知する検知部と、
該画像の投影領域と当該画像を投影する前画像の投影領域との位置関係により、該画像と前の画像との関係種別を判定する関係種別判定部と、
前記関係種別判定部により判定した関係種別により、各画像の投影領域の位置を決定する決定部と、を有する、装置。
【請求項１】
入力部によって、複数の画像を有する画像列を入力する入力ステップと、
検知部によって、前記画像列における各画像の投影領域の位置を検知する検知ステップと、
関係種別判定部によって、該画像の投影領域と当該画像を投影する前の画像の投影領域との位置関係により、該画像と前の画像との関係種別を判定する関係種別判定ステップと、
決定部によって、前記関係種別判定ステップで判定した関係種別により、各画像の投影領域の位置を決定する決定ステップと、を有する、画像中の投影領域の決定方法。
【請求項２】
前記検知ステップにおいて、検知された該画像中の投影領域の四辺形の４つのコーナー点の位置が、該投影領域の位置を表す、請求項１に記載の画像中の投影領域の決定方法。
【請求項３】
前記関係種別判定ステップにおいて、該画像の投影領域と当該画像を投影する前の画像の投影領域との、辺長比例変化量が、比例差閾値以上になるか、比例差閾値を越えた場合は、該画像と前記前の画像との関係種別が第１種別であると判定し、
前記決定ステップにおいて、該画像が前記前の画像に対して第１種別であると、前記前の画像の投影領域の位置を該画像の投影領域の位置とする、請求項２に記載の画像中の投影領域の決定方法。
【請求項４】
前記関係種別判定ステップにおいて、該画像の投影領域と前記前の画像の投影領域との、辺長比例変化量が、比例差閾値未満になるか、比例差閾値以下になると、該画像と前記前の画像との関係種別が第２種別であると判定し、
前記決定ステップにおいて、該画像が前記前の画像に対して第２種別であると、前記前の画像の投影領域の位置を該画像の投影領域の位置とする、請求項２に記載の画像中の投影領域の決定方法。
【請求項５】
前記関係種別判定ステップにおいて、該画像の投影領域と前記前の画像の投影領域との、コーナー点位置の変化量が、位置差閾値未満になるか、位置差閾値以下になると、該画像と前記前の画像との関係種別が第３種別であると判定し、
前記決定ステップにおいて、該画像が前記前の画像に対して第３種別であると、前記前の画像の投影領域の位置を該画像の投影領域の位置とする、請求項２に記載の画像中の投影領域の決定方法。
【請求項６】
前記検知ステップにおいて、検知された該画像の投影領域が四辺形をなしていないか、該画像から投影領域が検知されていない場合は、関係種類判定ステップにおいて、該画像と前記前の画像との関係種別が第４種別であると判定し、
前記決定ステップにおいて、該画像が前記前の画像に対して第４種別であると、前記前の画像の投影領域の位置を該画像の投影領域の位置とする、請求項１に記載の画像中の投影領域の決定方法。
【請求項７】
該画像の投影領域と前記前の画像の投影領域との、対応する４つのコーナー点間の変位量を算出し、対応する４つのコーナー点間の変位量の和を前記コーナー点位置の変化量とする、請求項４または５に記載の画像中の投影領域の決定方法。
【請求項８】
該画像の投影領域と前記前の画像の投影領域との、対応する４つのコーナー点間の横変位量と縦変位量を各々算出し、横変位量と縦変位量の重みを加算することで、前記コーナー点位置の変化量が得られる、請求項４または５に記載の画像中の投影領域の決定方法。
【請求項９】
該画像の投影領域と前記前の画像の投影領域との、対応するコーナー点の隣接２辺のアスペクト比の差分絶対値を算出し、差分絶対値の和を、前記辺長比例変化量とする、請求項３または４に記載の画像中の投影領域の決定方法。
【請求項１０】
複数の画像を有する画像列を入力する入力部と、
前記画像列における各画像の投影領域の位置を検知する検知部と、
該画像の投影領域と当該画像を投影する前画像の投影領域との位置関係により、該画像と前の画像との関係種別を判定する関係種別判定部と、
前記関係種別判定部により判定した関係種別により、各画像の投影領域の位置を決定する決定部と、を有する、装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−１０６３５２（Ｐ２０１３−１０６３５２Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１２−２４７４５２（Ｐ２０１２−２４７４５２）
【出願日】平成２４年１１月９日（２０１２．１１．９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２４年１１月９日（２０１２．１１．９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]