撮像装置、画像処理方法、及びプログラム記憶媒体
【課題】移動する被写体を追尾しながら流し撮りを行ったときに、鮮明な流し撮り画像を得る。
【解決手段】フレーム画像に基づき流し撮りの際の撮影対象画像としての被写体画像を含む画像領域を撮影対象画像存在領域として設定し、撮影対象画像存在領域内に存在する被写体画像を追尾対象画像とみなして撮影対象画像存在領域に対応する対比対象画像領域を時系列的に後続するフレーム画像に対して設定しかつ撮影対象画像存在領域の画像の特徴量を対比対象画像領域の画像の特徴量と比較して対比対象が増量域が追尾対象画像を含む追尾対象画像存在領域であるか否かを判定して時系列的に前後する追尾対象画像存在領域を取得し、前回の追尾対象画像存在領域の座標位置と今回の追尾対象画像存在領域の座標位置との差をフレーム画像の取得時間差に基づいて除算して追尾対象画像の移動速度を計測し、その移動速度に対応する速度表示マークをモニタ画面Ｇ上に表示する。
【解決手段】フレーム画像に基づき流し撮りの際の撮影対象画像としての被写体画像を含む画像領域を撮影対象画像存在領域として設定し、撮影対象画像存在領域内に存在する被写体画像を追尾対象画像とみなして撮影対象画像存在領域に対応する対比対象画像領域を時系列的に後続するフレーム画像に対して設定しかつ撮影対象画像存在領域の画像の特徴量を対比対象画像領域の画像の特徴量と比較して対比対象が増量域が追尾対象画像を含む追尾対象画像存在領域であるか否かを判定して時系列的に前後する追尾対象画像存在領域を取得し、前回の追尾対象画像存在領域の座標位置と今回の追尾対象画像存在領域の座標位置との差をフレーム画像の取得時間差に基づいて除算して追尾対象画像の移動速度を計測し、その移動速度に対応する速度表示マークをモニタ画面Ｇ上に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動する被写体を追尾しながら撮影（いわゆる流し撮り）を行うことができる撮像装置、画像処理方法、及びプログラム記憶媒体に関する。
【背景技術】
【０００２】
従来から、移動する被写体を追尾しながら撮影を行うに際し、撮像装置のモニタ画面から被写体が外れて見えなくならないようにそのモニタ画面の表示を制御する方法として、被写体の移動方向の後方に比べて移動方向の前方の撮影領域が大きくなるようにモニター画面の表示を制御する方法（例えば、特許文献１参照。）、被写体のモニタ画面からはみ出さないように被写体を追尾しながらモニタの画面の表示を制御する方法（例えば、特許文献２参照）が提案されている。
【０００３】
ところで、流し撮り撮影では、図１に模式的に示すように、高速で動いている被写体を撮影するに際し、モニタ画面Ｇ上で、被写体画像Ｏの移動速度と同速度で撮像装置（カメラ）を被写体の移動方向（例えば、矢印Ａ方向）に追従させながら撮影すると、被写体が鮮明に撮影されかつ背景に存在する静止物体の静止物体画像Ｂが流れることによりぼけて撮影されるという流し撮り写真が撮れる。この流し撮り写真は被写体の高速移動をより一層強調して表現できる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、流し撮り撮影に際し、カメラの追従速度を被写体の移動速度に一致させるには高度なテクニックが必要であり、一般ユーザにとってはこのような撮影は困難であって、流し撮り写真を撮影するときには失敗する場合が多い。
【０００５】
特許文献１、特許文献２には被写体を追尾しながら、モニタ画面から被写体が消失しないようにモニタ画面Ｇの表示を制御する制御方法が提案されているが、被写体はモニタ画面Ｇから消失しなくても、被写体の画面上での移動速度とカメラの追従速度との間に速度差が存在すると、流し撮り撮影の際にモニタ画面Ｇ上で被写体画像Ｏが相対的に動き、被写体画像Ｏがぼけてしまって、鮮明な流し撮り画像を撮影できないという課題がある。
【０００６】
本発明は、移動する被写体を追尾しながら、被写体の流し撮りを行ったときに、鮮明な流し撮り画像を得るのに貢献する撮像装置、画像処理方法、及びプログラム記憶媒体を提供することを目的とする。
【０００７】
本発明は、更に言うならば、流し撮りの際の撮影対象画像としての被写体画像を含む画像領域を撮影対象画像存在領域に設定し、この撮影対象画像存在領域内に存在する被写体画像を追尾対象画像とみなして、この追尾対象画像のモニタ画面上の移動速度を計測し、この移動速度に対応する速度表示マークをモニタ画面に表示可能な撮像装置、画像処理方法、及びプログラム記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、撮影光学系を介して取得されかつモニタ画面上に表示されるフレーム画像に基づき流し撮りの際の撮影対象画像としての被写体画像を含む画像領域を撮影対象画像存在領域として設定する設定処理部と、前記撮影対象画像存在領域内に存在する被写体画像を追尾対象画像とみなして前記撮影対象画像存在領域に対応する対比対象画像領域を前記フレーム画像に時系列的に後続するフレーム画像に対して設定しかつ前記撮影対象画像存在領域の画像の特徴量を前記対比対象画像領域の画像の特徴量と比較することにより対比対象画像領域が前記追尾対象画像を含む追尾対象画像存在領域であるか否かを判定して時系列的に相前後する追尾対象画像存在領域を取得する探索処理部と、前記モニタ画面上での前回得られた追尾対象画像存在領域の座標位置と今回得られた追尾対象画像存在領域の座標位置との差を相前後するフレーム画像の取得時間差に基づいて除算して前記モニタ画面上での前記追尾対象画像の移動速度を計測する計測処理部と、前記追尾対象画像の移動速度に対応する速度表示マークを前記モニタ画面上に表示させる表示処理部とを有することを特徴とする。
【０００９】
計測処理部により得られた追尾対象画像の移動速度が所定の閾値以下のときに自動的に撮影を実行する構成とすれば、流し撮り撮影をより一層確実に行うことができて望ましい。
この場合に、複数枚の流し撮り写真を連写して取得する構成とすれば、流し撮り写真のうちの好みのものを選択できる。
更に、撮影露光時間を長く設定して撮影を実行する構成とすれば、流し撮り写真の撮影効果を強調できる。
【００１０】
また、撮影露光時間を変更しながら複数枚の流し撮り写真を連写して取得する構成とすれば、撮影効果の異なる複数枚の流し撮り写真を得ることができることになって望ましい。
なお、画像の特徴量として、各領域内の各画素により得られる輝度ヒストグラム分布を用いることにすれば、既存の画像処理技術が利用可能である。
【００１１】
本発明に係る流し撮り撮影は、撮影光学系を介して取得されかつモニタ画面上に表示されるフレーム画像に基づき流し撮りの際の撮影対象画像としての被写体画像を含む画像領域を撮影対象画像存在領域として設定する設定処理ステップと、前記撮影対象画像存在領域内に存在する被写体画像を追尾対象画像とみなして前記撮影対象画像存在領域に対応する対比対象画像領域を前記フレーム画像に時系列的に後続するフレーム画像に対して設定しかつ前記撮影対象画像存在領域の画像の特徴量を前記対比対象画像領域の画像の特徴量と比較することにより対比対象画像領域が前記追尾対象画像を含む追尾対象画像存在領域であるか否かを判定して時系列的に相前後する追尾対象画像存在領域を取得する探索処理ステップと、前記モニタ画面上での前回得られた追尾対象画像存在領域の座標位置と今回得られた追尾対象画像存在領域の座標位置との差を相前後するフレーム画像の取得時間差に基づいて除算して前記モニタ画面上での前記追尾対象画像の移動速度を計測する計測処理ステップと、前記追尾対象画像の移動速度に対応する速度表示マークを前記モニタ画面上に表示させる表示処理ステップとが実行可能なプログラムが記録されているコンピュータが読み取り可能な記録媒体からこのプログラムをコンピュータに読み出して実行させることができる。
【発明の効果】
【００１２】
本発明によれば、高度の撮影テクニックを有するプロフェッショナルのカメラマンでなくとも、流し撮り写真撮影を簡単確実に行うことができる。
【図面の簡単な説明】
【００１３】
【図１】図１は流し撮り写真撮影の行う場合の一例を模式的に示す説明図である。
【図２】図２は本発明に係る流し撮り撮影に用いるカメラの外観図である。
【図３】図３は本発明の流し撮り撮影の各処理部の要部構成を示すブロック図である。
【図４】図４はＮ枚のフレーム画像の一例を示す模式図である。
【図５】図５は撮影対象画像存在領域の設定の説明に用いたフレーム画像である。
【図６】図６は撮影対象画像存在領域と対比対象画像領域と追尾対象画像存在領域との関係を示すフレーム画像の模式図であって、（ａ）は撮影対象画像存在領域が設定されたフレーム画像を示し、（ｂ）は対比対象画像領域を用いて追尾対象画像存在領域を探索中の状態を示すフレーム画像を示している。
【図７】図７はモニター画面に表示された速度表示マークを示す図である。
【図８】図８は図２に示すカメラのブロック回路図である。
【図９】図９は本発明に係る画像処理の処理ステップを示すフローチャートである。
【図１０】図１０は流し撮り撮影により取得されたフレーム画像を示す図である。
【発明を実施するための形態】
【実施例】
【００１４】
以下に、本発明に係る撮像装置の実施の形態を添付図面を参照しつつ説明する。
まず、本発明が適用される撮像装置の画像処理について、図２、図３を参照しつつ説明する。
その図２は、本発明が適用される撮像装置の斜視図であって、この図２において、１はカメラ本体、２は撮影光学系を有するレンズ鏡胴である。
流し撮り撮影を行う際には、例えば、カメラ本体１の背面に設けられているモニタ画面Ｇにメニュ画面を表示させて、流し撮り撮影モード、Ｎ枚連写モードを設定する。
【００１５】
図３はその流し撮り撮影モードにおける画像処理の各処理部を示すブロック図である。
その図３において、３は設定処理部、４は探索処理部、５は計測処理部、６は表示処理部、７は自動撮影実行処理部、Ｇはモニタ画面である。
【００１６】
撮影光学系を介して取得されたフレーム画像データは、表示処理部６によりモニタ画面Ｇにフレーム画像として表示されると共に、設定処理部３に入力される。
ここでは、設定処理部３には、流し撮り撮影モードの場合、図４に示すように、Ｎ枚のフレーム画像Ｆ０〜ＦＮに対応するフレーム画像データが入力される。なお、図４には、フレーム画像Ｆ０の画像Ｂ、Ｏが視覚化して表示されている。
【００１７】
その設定処理部３は、図５に示すように、撮影光学系を介して取得されたフレーム画像Ｆ０に対応するフレーム画像データに基づき、流し撮りの際の撮影対象画像としての被写体画像Ｏを含む画像領域を撮影対象画像存在領域Ｑとして設定する設定処理を実行する機能を有する。
【００１８】
カメラを被写体に向けると、移動する被写体に対応する被写体画像Ｏは、モニタ画面Ｇ上で移動しつつ表示される。この移動する被写体を流し撮りの撮影対象とする場合、モニタ画面Ｇ上で流し撮りの撮影対象画像としての被写体画像Ｏを追尾対象画像Ｏ’として追尾することになる。
【００１９】
設定処理部３には、撮影光学系を介して順次取得された図４に示すフレーム画像Ｆ０〜ＦＮに対応するフレーム画像データが連続的に入力され、同時に、図２、図３に示すモニタ画面Ｇにフレーム画像Ｆ０〜ＦＮに対応する被写体画像Ｏがモニタ用として連続的に表示される。
【００２０】
以下の説明では、フレーム画像Ｆ０〜ＦＮを用いて説明するが、このフレーム画像Ｆ０〜ＦＮは同時にモニタ画面Ｇに表示されている画像を意味するものとする。
ユーザーは、そのモニタ画面Ｇ上に表示されているフレーム画像Ｆ０の画像Ｂ、Ｏの中から流し撮りの際の撮影対象画像としての被写体画像Ｏを含む画像領域を撮影対象画像存在領域Ｑとして設定する。
【００２１】
例えば、ユーザーが、図５に示すフレーム画像Ｆ０（モニタ画面Ｇに表示されている画像）について、モニタ画面Ｇ上で、各点Ａ、Ｂ、Ｃ、Ｄ（四点）をそれぞれタッチすることにより、設定処理部３によりその指定された各点Ａ、Ｂ、Ｃ、Ｄにより囲まれた矩形枠を被写体画像Ｏを含む撮影対象画像存在領域Ｑに設定する。
【００２２】
また、図５に示すモニター画面Ｇ上で、例えば、被写体画像Ｏの点Ｐを指定することにより、設定処理部３は所定の大きさの矩形枠（この点Ｐを対角線の交点とする矩形枠）を設定し、この矩形枠内を被写体画像Ｏを含む撮影対象画像存在領域Ｑに設定する構成としても良い。
更に、この場合、設定処理部３は自動的にコントラストの差が大きい画像領域を撮影対象画像存在領域Ｑとして設定しても良い。
【００２３】
探索処理部４は、図６（ａ）に示す撮影対象画像存在領域Ｑ内に存在する被写体画像Ｏを追尾対象画像Ｏ’とみなして、図６（ｂ）に示すように、撮影対象画像存在領域Ｑに対応する対比対象画像領域Ｑ”をフレーム画像Ｆ０に時系列的に後続するフレーム画像Ｆ１〜ＦＮに対して設定しかつ撮影対象画像存在領域Ｑ内の画像の特徴量を後続のフレーム画像Ｆ１〜ＦＮ内の対比対象画像領域Ｑ”の画像の特徴量と比較することにより対比対象画像領域Ｑ”が追尾対象画像Ｏ’を含む追尾対象画像存在領域Ｑ’であるか否かを判定する。
これにより、探索処理部４は、時系列的に相前後する追尾対象画像存在領域Ｑ’を取得する。
【００２４】
すなわち、探索処理部４は、フレーム画像Ｆ０において設定された撮影対象画像存在領域Ｑをテンプレートとして、例えば、図６（ａ）に示すフレーム画像Ｆ０の次のフレーム画像Ｆ１の探索領域Ｓ内で、対比対象画像領域Ｑ”を右方向、下方向に所定の順番に設定して両画像領域に含まれる画像の対比を繰り返すことにより、図６（ｂ）に示すように、撮影対象画像存在領域Ｑ内に存在する画像と最も類似度の高い対比対象画像領域Ｑ”を追尾対象画像Ｏ’を含む追尾対象画像存在領域Ｑ’に決定する。
【００２５】
なお、その図６には、撮影対象画像存在領域Ｑを囲む矩形枠の各点Ａ、Ｂ、Ｃ、Ｄに対応する対比対象画像領域Ｑ”を囲む矩形枠の各点に符号Ａ”、Ｂ”、Ｃ”、Ｄ”が付され、追尾対象画像存在領域Ｑ’を囲む矩形枠の各点に符号Ａ’、Ｂ’、Ｃ’、Ｄ’が付されている。
また、探索領域Ｓは、この実施例では、フレーム画像Ｆ１の全領域であるが、これに限るものではない。
【００２６】
フレーム画像データＦ０〜ＦＮは、Δｔの時間間隔をおいて順次取得され、この順次取得されるフレーム画像データＦ１〜ＦＮについて追尾対象画像存在領域Ｑ’が決定される。
【００２７】
計測処理部５は、モニタ画面Ｇ上での前回得られた追尾対象画像存在領域Ｑ’の座標位置と今回得られた追尾対象画像存在領域Ｑ’の座標位置との差を時間的に相前後して得られるフレーム画像の時間差Δｔにより除算して、モニタ画面Ｇ上での追尾対象画像Ｏ’の移動速度を計測する。
【００２８】
表示処理部６は、計測により得られた追尾対象画像Ｏ’の移動速度に対応する速度表示マークＶＭとしての矢印を図７に示すモニター画面Ｇ上に表示させる表示処理を行う。
【００２９】
フレーム画像Ｆ０の撮影対象画像存在領域Ｑ内に存在する被写体画像Ｏとフレーム画像Ｆ１の対比対象画像領域Ｑ”内に存在する画像との類似度の計算には、例えば、撮影対象画像存在領域Ｑ内に存在する各画素により得られた輝度ヒストグラム分布と対比対象画像領域Ｑ”内に存在する各画素により得られた輝度ヒストグラム分布とを用いる。
【００３０】
例えば、撮影対象画像存在領域Ｑ内の各画素により得られた輝度ヒストグラムをq=[q1, q2, …, qn]とする。符号q1, q2, …, qnは、それぞれ、輝度レベル「１」から輝度レベル「ｎ」までの画素数である。
一方、対比対象画像領域Ｑ”内の各画素により得られた輝度ヒストグラムをp=[ p1, p2, …, pn]とする。符号p1, p2, …, pnも、それぞれ輝度レベル「１」から輝度レベル「ｎ」までの画素数である。
【００３１】
その各輝度ヒストグラム分布を求める時、面積変化の影響を最小にするため、撮影対象画像存在領域Ｑ、対比対象画像領域Ｑ”の各領域内の全画素について正規化を行う。
撮影対象画像存在領域Ｑと対比対象画像領域Ｑ”の類似度Simは下記の式（１）により計算する。
【数１】
類似度Simが最大の対比対象画像領域Ｑ”がフレーム画像Ｆ１において最終的に得られた追尾対象画像存在領域Ｑ’である。
探索処理部４は、探索処理中、この輝度ヒストグラム分布を求める処理を、Δｔの時間間隔で、各フレーム画像Ｆ１〜ＦＮについて実行する。
【００３２】
計測処理部５は、追尾対象画像存在領域Ｑ’が得られる都度、各フレーム画像毎に得られる追尾対象画像存在領域Ｑ’について、前回のフレーム画像データにより得られた追尾対象画像存在領域Ｑ’のモニタ画面Ｇ上における座標位置と今回のフレーム画像により得られた追尾対象画像存在領域Ｑ’のモニタ画面Ｇ上における座標位置との相対的な座標位置の差から追尾対象画像存在領域Ｑ’内に存在する追尾対象画像Ｏ’の画面Ｇ上での移動速度を求めるために、以下の計算を行う。
その計算式には、例えば、以下の式（２）、（３）を用いる。
【数２】
【数３】
【００３３】
ここで、Ｖｘはモニタ画面Ｇ上での水平方向の速度、Ｖｙはモニター画面Ｇ上での垂直方向の速度である。符号(x’, y’)、符号 (x, y)はフレーム画像Ｆ０とフレーム画像Ｆ１のそれぞれの対応する点の座標である。Δtはフレーム画像間の時間差である。
【００３４】
一般的に、モニタ画面Ｇ上での追尾対象画像Ｏ’の移動速度は、今回取得されたフレーム画像Ｆｉにおける追尾対象画像存在領域Ｑ’のモニター画面Ｇの座標位置に対して前回取得されたフレーム画像Ｆｉ−１における追尾対象画像存在領域Ｑ’のモニター画面Ｇの座標位置の差を取得時間差Δｔで除した値である。
【００３５】
表示処理部６は、その計測処理部５によって得られた移動速度に基づき図７に示すようにモニタ画面Ｇに速度表示マークＶＭとして矢印を表示させる。この速度表示マークＶＭは、矢印の長さが大きいほど、モニタ画面Ｇ上での追尾対象画像Ｏ’の移動速度が大きいことを意味している。すなわち、流し撮りの撮影対象としての被写体の移動速度が大きいことを意味する。
【００３６】
ユーザは、この矢印の長さが短くなるように、カメラを被写体の移動に対応させて移動させることにより、流し撮りの被写体に対する同期を取ることができ、鮮明な流し撮り撮影を行うことができることになる。
【００３７】
自動撮影実行処理部７は、計測処理部５の計測結果を判定し、モニタ画面Ｇ上での追尾対象画像存在領域Ｑ’の移動速度、すなわち、追尾対象画像Ｏ’の移動速度が所定の閾値以下になると、撮影を自動的に実行し、これにより、流し撮り画像が得られる。
【００３８】
以下に、この画像処理部を有する撮像装置の一例としてのデジタルカメラのハードウェアの構成を説明する。
図８はそのデジタルカメラのハードウェアの構成を示すブロック回路図である。そのデジタルカメラは、撮影光学系１１、メカニカルシャッタ１２、ＣＣＤ１３、ＣＤＳ回路１４、Ａ／Ｄ変換器１５、画像処理部（画像処理回路）１６、モニタ画面Ｇを備えた液晶ディスプレイ（ＬＣＤ）１７、ＣＰＵ１８、ＲＡＭ１９、ＲＯＭ２０、ＳＤＲＡＭ２１、圧縮伸長部２２、メモリカード２３、操作部２４、タイミング信号発生器２５、モータ２６を備えている。
【００３９】
その撮影光学系１１とそのＣＣＤ１３との間には、メカニカルシャッタ１２が配置され、このメカニカルシャッタ１２はＣＣＤ１３に入射する被写体光の遮断に用いられる。その撮影光学系１１のフォーカスレンズ等とメカニカルシャッタ１２とは、モータ２６により駆動される。
【００４０】
デジタルカメラを被写体に向けると、被写体からの光が、撮影光学系１１を通してＣＣＤ（Charge Coupled Device）１３に入射される。
ＣＣＤ１３は、その撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。ＣＣＤ１３から出力された画像情報は、ＣＤＳ（Correlated Double Sampling:相関２重サンプリング）回路１４によりノイズ成分を除去され、Ａ／Ｄ変換器１５によりデジタル値に変換された後、画像処理部１６に向けて出力される。
【００４１】
画像処理部１６は、フレーム画像データを一時的に格納するＳＤＲＡＭ（SynchronousＤＲＡＭ）２１を用いて、YCrCb変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。
【００４２】
なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。また、画像処理部１６は、信号処理や画像処理が施された画像情報を液晶ディスプレイ１７のモニタ画面Ｇに表示する。
【００４３】
また、信号処理、画像処理が施された画像データは、圧縮伸張部２２を介して、メモリカード２３に記録される。圧縮伸張部２２は、操作部２４から取得した指示によって、画像処理部１６から出力される画像データを圧縮してメモリカード２３に出力すると共に、メモリカード２３から読み出した画像データを伸張して画像処理部１６に出力する回路である。
【００４４】
なお、ＣＣＤ１３、ＣＤＳ回路１４、Ａ／Ｄ変換器１５は、タイミング信号を発生するタイミング信号発生器２５を介してＣＰＵ（Central Processing Unit）１８によって、そのタイミングが制御される。画像処理部１６、圧縮伸張部２２、メモリカード２３は、ＣＰＵ１８によって統括制御される。
【００４５】
ＣＰＵ１８はプログラムに従って各種演算処理を行い、そのプログラム等を格納した読み出し専用メモリであるＲＯＭ（Read Only Memory）２０、各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ（Random Access Memory）１９等を内蔵し、これらがバスラインによって相互接続されている。
【００４６】
このデジタルカメラで実行される画像処理プログラムは、被写体を追尾し、追尾対象画像存在領域Ｑ’の移動速度を計測する機能を含むモジュール構成となっている。
実際のハードウェアとしてはＣＰＵ（プロセッサ）１８が記憶媒体としてのＲＯＭ２０からこの画像処理プログラムを読み出して実行することにより、図３に示す各処理部の処理を実行する処理ステップが主記憶装置上にロードされ、追尾対象画像Ｏ’の速度計算を実行し、デジタルカメラのモニタ画面Ｇの表示制御を実行すると共に、画像撮影、画像処理、画像を圧縮して、メモリカード２３に流し撮り画像データを生成するようになっている。
【００４７】
以下に、流し撮りの実行について、図９に示すフローチャートを参照しつつ説明する。
移動する被写体画像Ｏを含む画像が画像処理部１６に入力され、液晶ディスプレイ１７のモニタ画面Ｇに表示される。
ユーザーは、モニタ画面Ｇを見ながら、例えば、モニタ画面Ｇ上をタッチすることによりモニタ画面Ｇ上の座標を入力して、流し撮りの撮影対象とする被写体画像Ｏを含む撮影対象画像存在領域Ｑを設定する（Ｓ．１）。
【００４８】
ＣＰＵ１８は、最初に設定処理部３として機能し、追尾プログラムに従って撮影対象画像存在領域Ｑのコントラストの高い領域を抽出し、設定された撮影対象画像存在領域Ｑを追尾対象画像Ｏ’を含む追尾対象画像存在領域Ｑ’に設定する。
ついで、この撮影対象画像存在領域Ｑ内の画像の特徴量を算出する（Ｓ．２）。
【００４９】
ＣＰＵ１８は、同時に、モニタ画面Ｇに表示されている動画像としてのフレーム画像に対応する表示用動画像のフレーム画像ＦｉをΔｔの時間間隔で取得し、２個のフレーム画像をＳＤＲＡＭ２１に保存する。前回のフレーム画像データと今回のフレーム画像データとからなる動画像フレームが追尾処理に用いられる。
【００５０】
ＣＰＵ１８は、ついで探索処理部４として機能し、フレーム画像Ｆ０に後続して得られるフレーム画像Ｆ１〜ＦＮに対して対比対象画像領域Ｑ”を設定し、探索領域Ｓ内で対比対象画像領域Ｑ”の位置を変更しながら、追尾対象画像存在領域Ｑ’の探索を実行する（Ｓ．３）。
【００５１】
ＣＰＵ１８は、対比対象画像領域Ｑ”の位置を変更する都度、対比対象画像領域Ｑ”内に存在する画像の特徴量を算出し（Ｓ．４）、この対比対象画像領域Ｑ”内の画像の特徴量を撮影対象画像存在領域Ｑ内の画像の特徴量との類似度計算を実行することにより（Ｓ．５）、対比対象画像領域Ｑ”の画像と撮影対象画像存在領域Ｑの画像とを比較し（Ｓ．６）、探索領域Ｓ内での探索が終了するまで（Ｓ．７）、Ｓ．３〜Ｓ．７の探索処理を行い、類似度の最も高い対比対象画像領域Ｑ”があれば、それを追尾対象画像存在領域Ｑ’に決定する（Ｓ．８）。
【００５２】
続いて、ＣＰＵ８は、今回探索を行っているフレーム画像について、追尾対象画像存在領域Ｑ’が得られたか否かを判断し（Ｓ．９）、今回のフレーム画像について追尾対象画像存在領域Ｑ’が得られなかったときには、今回のフレーム画像がＮ番目のフレーム画像であるか否かを判断し（Ｓ．１０）、Ｎ番目のフレーム画像でない場合には、Ｓ．３に戻って、次回の取得したフレーム画像に基づいて探索処理を実行する。
【００５３】
Ｓ．１０において、Ｎ番目のフレーム画像である場合には、流し撮り撮影モードの実行を中止し、通常の撮影モードに戻る。
現在探索を行っているフレーム画像について、追尾対象画像存在領域Ｑ’が得られた場合には、ＣＰＵ１８は、速度計測処理部として機能し、前回得られた追尾対象画像存在領域Ｑ’と今回得られた追尾対象画像存在領域Ｑ’とからなる動画像フレームデータに基づいて、モニタ画面Ｇ上での追尾対象画像Ｏ’の移動速度を計算する（Ｓ．１１）。
【００５４】
ＣＰＵ１８は、この移動速度の結果に基づく表示データを液晶ディスプレイ（ＬＣＤ）１７に出力し、これにより、モニタ画面Ｇに、追尾対象画像存在領域Ｑ’と共に、その追尾対象画像Ｏ’のモニタ画面Ｇ上における移動速度に対応する速度表示マークＶＭが表示される（Ｓ．１２）。
【００５５】
ユーザは、速度表示マークＶＭの矢印の長さに合わせて、矢印のガイドに従ってカメラ１を矢印が示す方向に動かす。速度表示マークＶＭの長さが短くなると、カメラ本体１の移動速度が追尾対象画像Ｏ’の移動速度に近づき、これにより、ユーザは被写体の移動速度にカメラ本体１の移動速度が近づいたことを認識できる。
【００５６】
ＣＰＵ１８は、モニタ画面Ｇ上での追尾対象画像存在領域Ｑ’内の追尾対象画像Ｏ’の移動速度が所定の閾値以下になると（Ｓ．１３）、自動的に撮影を実行する（Ｓ．１４）。これにより、鮮明な流し撮り画像が得られる。その後、通常撮影モードに戻る。
モニタ画面Ｇ上での追尾対象画像存在領域Ｑ’内の追尾対象画像Ｏ’の移動速度が所定の閾値以下でない場合には、Ｓ．３に戻って、Ｓ．３以降の処理が繰り返し実行され、Ｎ枚のフレーム画像について処理が終了すると、流し撮り撮影処理を中止し、通常の撮影モードへ移行する。
【００５７】
流し撮り撮影は、単写モードとして一枚の流し撮りの写真を撮影する構成としてもよいし、連写モードとして、複数枚の流し撮り写真を撮影する構成としてもよい。
その流し撮り画像データは、信号処理、画像処理が施されて、圧縮伸張回路部２２により所定の処理が行われた後、メモリカード２３に記録される。
【００５８】
例えば、連写モードでは、図１０に示すように、速度表示マークＶＭの矢印の長さが所定の閾値以下になると、シャッターが切られ、連続撮影が実行される。また、速度表示マークＶＭが所定の閾値以上になると、連写が停止される。これにより、複数枚の一連の流し撮り写真が得られる。ユーザはこれらの一連の流し撮り写真の中から最適な流し撮り写真を選択することができる。これにより、確実に鮮明なユーザにとって好ましい流し撮り写真が得られる。
【００５９】
また、追尾対象画像存在領域Ｑ’の追尾対象画像Ｏ’の移動速度が所定の閾値以下になると、測光演算により得られた露光時間よりも長目に流し撮り写真撮影の際の露光時間を設定して、デジタルカメラのシャッターを切り、流し撮り写真の撮影を実行するようにしても良い。
このような構成とすれば、流し撮り写真の効果を強く強調できる。露光時間が長ければ長いほど、背景に存在する被写体画像が流れるというボケの効果を強調できる。
【００６０】
更に、追尾対象像画像存在領域Ｑ’の移動速度が所定の閾値以下になると、各フレーム画像データの露光時間を測光演算により得られた露光時間よりも短い露光時間から長い露光時間の間で変更しながら、流し撮りの連続撮影を実行させるようにしても良い。
【００６１】
このような流し撮りの連続撮影を実行すれば、各フレーム画像Ｆ１〜ＦＮについて露光時間を変更しながら、異なる効果を有する流し撮り写真が複数枚得られる。
連続撮影した一連の流し撮り写真の露光時間が長ければ長いほど背景が流れるというボケの効果が強調される。
【符号の説明】
【００６２】
３…設定処理部
４…探索処理部
５…計測処理部
６…表示処理部
Ｇ…モニタ画面
ＶＭ…速度表示マーク
Ｏ’…追尾対象画像
【先行技術文献】
【特許文献】
【００６３】
【特許文献１】特開２００６‐２２９３２２号公報
【特許文献２】特開２００９‐１００４５４号公報
【技術分野】
【０００１】
本発明は、移動する被写体を追尾しながら撮影（いわゆる流し撮り）を行うことができる撮像装置、画像処理方法、及びプログラム記憶媒体に関する。
【背景技術】
【０００２】
従来から、移動する被写体を追尾しながら撮影を行うに際し、撮像装置のモニタ画面から被写体が外れて見えなくならないようにそのモニタ画面の表示を制御する方法として、被写体の移動方向の後方に比べて移動方向の前方の撮影領域が大きくなるようにモニター画面の表示を制御する方法（例えば、特許文献１参照。）、被写体のモニタ画面からはみ出さないように被写体を追尾しながらモニタの画面の表示を制御する方法（例えば、特許文献２参照）が提案されている。
【０００３】
ところで、流し撮り撮影では、図１に模式的に示すように、高速で動いている被写体を撮影するに際し、モニタ画面Ｇ上で、被写体画像Ｏの移動速度と同速度で撮像装置（カメラ）を被写体の移動方向（例えば、矢印Ａ方向）に追従させながら撮影すると、被写体が鮮明に撮影されかつ背景に存在する静止物体の静止物体画像Ｂが流れることによりぼけて撮影されるという流し撮り写真が撮れる。この流し撮り写真は被写体の高速移動をより一層強調して表現できる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、流し撮り撮影に際し、カメラの追従速度を被写体の移動速度に一致させるには高度なテクニックが必要であり、一般ユーザにとってはこのような撮影は困難であって、流し撮り写真を撮影するときには失敗する場合が多い。
【０００５】
特許文献１、特許文献２には被写体を追尾しながら、モニタ画面から被写体が消失しないようにモニタ画面Ｇの表示を制御する制御方法が提案されているが、被写体はモニタ画面Ｇから消失しなくても、被写体の画面上での移動速度とカメラの追従速度との間に速度差が存在すると、流し撮り撮影の際にモニタ画面Ｇ上で被写体画像Ｏが相対的に動き、被写体画像Ｏがぼけてしまって、鮮明な流し撮り画像を撮影できないという課題がある。
【０００６】
本発明は、移動する被写体を追尾しながら、被写体の流し撮りを行ったときに、鮮明な流し撮り画像を得るのに貢献する撮像装置、画像処理方法、及びプログラム記憶媒体を提供することを目的とする。
【０００７】
本発明は、更に言うならば、流し撮りの際の撮影対象画像としての被写体画像を含む画像領域を撮影対象画像存在領域に設定し、この撮影対象画像存在領域内に存在する被写体画像を追尾対象画像とみなして、この追尾対象画像のモニタ画面上の移動速度を計測し、この移動速度に対応する速度表示マークをモニタ画面に表示可能な撮像装置、画像処理方法、及びプログラム記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、撮影光学系を介して取得されかつモニタ画面上に表示されるフレーム画像に基づき流し撮りの際の撮影対象画像としての被写体画像を含む画像領域を撮影対象画像存在領域として設定する設定処理部と、前記撮影対象画像存在領域内に存在する被写体画像を追尾対象画像とみなして前記撮影対象画像存在領域に対応する対比対象画像領域を前記フレーム画像に時系列的に後続するフレーム画像に対して設定しかつ前記撮影対象画像存在領域の画像の特徴量を前記対比対象画像領域の画像の特徴量と比較することにより対比対象画像領域が前記追尾対象画像を含む追尾対象画像存在領域であるか否かを判定して時系列的に相前後する追尾対象画像存在領域を取得する探索処理部と、前記モニタ画面上での前回得られた追尾対象画像存在領域の座標位置と今回得られた追尾対象画像存在領域の座標位置との差を相前後するフレーム画像の取得時間差に基づいて除算して前記モニタ画面上での前記追尾対象画像の移動速度を計測する計測処理部と、前記追尾対象画像の移動速度に対応する速度表示マークを前記モニタ画面上に表示させる表示処理部とを有することを特徴とする。
【０００９】
計測処理部により得られた追尾対象画像の移動速度が所定の閾値以下のときに自動的に撮影を実行する構成とすれば、流し撮り撮影をより一層確実に行うことができて望ましい。
この場合に、複数枚の流し撮り写真を連写して取得する構成とすれば、流し撮り写真のうちの好みのものを選択できる。
更に、撮影露光時間を長く設定して撮影を実行する構成とすれば、流し撮り写真の撮影効果を強調できる。
【００１０】
また、撮影露光時間を変更しながら複数枚の流し撮り写真を連写して取得する構成とすれば、撮影効果の異なる複数枚の流し撮り写真を得ることができることになって望ましい。
なお、画像の特徴量として、各領域内の各画素により得られる輝度ヒストグラム分布を用いることにすれば、既存の画像処理技術が利用可能である。
【００１１】
本発明に係る流し撮り撮影は、撮影光学系を介して取得されかつモニタ画面上に表示されるフレーム画像に基づき流し撮りの際の撮影対象画像としての被写体画像を含む画像領域を撮影対象画像存在領域として設定する設定処理ステップと、前記撮影対象画像存在領域内に存在する被写体画像を追尾対象画像とみなして前記撮影対象画像存在領域に対応する対比対象画像領域を前記フレーム画像に時系列的に後続するフレーム画像に対して設定しかつ前記撮影対象画像存在領域の画像の特徴量を前記対比対象画像領域の画像の特徴量と比較することにより対比対象画像領域が前記追尾対象画像を含む追尾対象画像存在領域であるか否かを判定して時系列的に相前後する追尾対象画像存在領域を取得する探索処理ステップと、前記モニタ画面上での前回得られた追尾対象画像存在領域の座標位置と今回得られた追尾対象画像存在領域の座標位置との差を相前後するフレーム画像の取得時間差に基づいて除算して前記モニタ画面上での前記追尾対象画像の移動速度を計測する計測処理ステップと、前記追尾対象画像の移動速度に対応する速度表示マークを前記モニタ画面上に表示させる表示処理ステップとが実行可能なプログラムが記録されているコンピュータが読み取り可能な記録媒体からこのプログラムをコンピュータに読み出して実行させることができる。
【発明の効果】
【００１２】
本発明によれば、高度の撮影テクニックを有するプロフェッショナルのカメラマンでなくとも、流し撮り写真撮影を簡単確実に行うことができる。
【図面の簡単な説明】
【００１３】
【図１】図１は流し撮り写真撮影の行う場合の一例を模式的に示す説明図である。
【図２】図２は本発明に係る流し撮り撮影に用いるカメラの外観図である。
【図３】図３は本発明の流し撮り撮影の各処理部の要部構成を示すブロック図である。
【図４】図４はＮ枚のフレーム画像の一例を示す模式図である。
【図５】図５は撮影対象画像存在領域の設定の説明に用いたフレーム画像である。
【図６】図６は撮影対象画像存在領域と対比対象画像領域と追尾対象画像存在領域との関係を示すフレーム画像の模式図であって、（ａ）は撮影対象画像存在領域が設定されたフレーム画像を示し、（ｂ）は対比対象画像領域を用いて追尾対象画像存在領域を探索中の状態を示すフレーム画像を示している。
【図７】図７はモニター画面に表示された速度表示マークを示す図である。
【図８】図８は図２に示すカメラのブロック回路図である。
【図９】図９は本発明に係る画像処理の処理ステップを示すフローチャートである。
【図１０】図１０は流し撮り撮影により取得されたフレーム画像を示す図である。
【発明を実施するための形態】
【実施例】
【００１４】
以下に、本発明に係る撮像装置の実施の形態を添付図面を参照しつつ説明する。
まず、本発明が適用される撮像装置の画像処理について、図２、図３を参照しつつ説明する。
その図２は、本発明が適用される撮像装置の斜視図であって、この図２において、１はカメラ本体、２は撮影光学系を有するレンズ鏡胴である。
流し撮り撮影を行う際には、例えば、カメラ本体１の背面に設けられているモニタ画面Ｇにメニュ画面を表示させて、流し撮り撮影モード、Ｎ枚連写モードを設定する。
【００１５】
図３はその流し撮り撮影モードにおける画像処理の各処理部を示すブロック図である。
その図３において、３は設定処理部、４は探索処理部、５は計測処理部、６は表示処理部、７は自動撮影実行処理部、Ｇはモニタ画面である。
【００１６】
撮影光学系を介して取得されたフレーム画像データは、表示処理部６によりモニタ画面Ｇにフレーム画像として表示されると共に、設定処理部３に入力される。
ここでは、設定処理部３には、流し撮り撮影モードの場合、図４に示すように、Ｎ枚のフレーム画像Ｆ０〜ＦＮに対応するフレーム画像データが入力される。なお、図４には、フレーム画像Ｆ０の画像Ｂ、Ｏが視覚化して表示されている。
【００１７】
その設定処理部３は、図５に示すように、撮影光学系を介して取得されたフレーム画像Ｆ０に対応するフレーム画像データに基づき、流し撮りの際の撮影対象画像としての被写体画像Ｏを含む画像領域を撮影対象画像存在領域Ｑとして設定する設定処理を実行する機能を有する。
【００１８】
カメラを被写体に向けると、移動する被写体に対応する被写体画像Ｏは、モニタ画面Ｇ上で移動しつつ表示される。この移動する被写体を流し撮りの撮影対象とする場合、モニタ画面Ｇ上で流し撮りの撮影対象画像としての被写体画像Ｏを追尾対象画像Ｏ’として追尾することになる。
【００１９】
設定処理部３には、撮影光学系を介して順次取得された図４に示すフレーム画像Ｆ０〜ＦＮに対応するフレーム画像データが連続的に入力され、同時に、図２、図３に示すモニタ画面Ｇにフレーム画像Ｆ０〜ＦＮに対応する被写体画像Ｏがモニタ用として連続的に表示される。
【００２０】
以下の説明では、フレーム画像Ｆ０〜ＦＮを用いて説明するが、このフレーム画像Ｆ０〜ＦＮは同時にモニタ画面Ｇに表示されている画像を意味するものとする。
ユーザーは、そのモニタ画面Ｇ上に表示されているフレーム画像Ｆ０の画像Ｂ、Ｏの中から流し撮りの際の撮影対象画像としての被写体画像Ｏを含む画像領域を撮影対象画像存在領域Ｑとして設定する。
【００２１】
例えば、ユーザーが、図５に示すフレーム画像Ｆ０（モニタ画面Ｇに表示されている画像）について、モニタ画面Ｇ上で、各点Ａ、Ｂ、Ｃ、Ｄ（四点）をそれぞれタッチすることにより、設定処理部３によりその指定された各点Ａ、Ｂ、Ｃ、Ｄにより囲まれた矩形枠を被写体画像Ｏを含む撮影対象画像存在領域Ｑに設定する。
【００２２】
また、図５に示すモニター画面Ｇ上で、例えば、被写体画像Ｏの点Ｐを指定することにより、設定処理部３は所定の大きさの矩形枠（この点Ｐを対角線の交点とする矩形枠）を設定し、この矩形枠内を被写体画像Ｏを含む撮影対象画像存在領域Ｑに設定する構成としても良い。
更に、この場合、設定処理部３は自動的にコントラストの差が大きい画像領域を撮影対象画像存在領域Ｑとして設定しても良い。
【００２３】
探索処理部４は、図６（ａ）に示す撮影対象画像存在領域Ｑ内に存在する被写体画像Ｏを追尾対象画像Ｏ’とみなして、図６（ｂ）に示すように、撮影対象画像存在領域Ｑに対応する対比対象画像領域Ｑ”をフレーム画像Ｆ０に時系列的に後続するフレーム画像Ｆ１〜ＦＮに対して設定しかつ撮影対象画像存在領域Ｑ内の画像の特徴量を後続のフレーム画像Ｆ１〜ＦＮ内の対比対象画像領域Ｑ”の画像の特徴量と比較することにより対比対象画像領域Ｑ”が追尾対象画像Ｏ’を含む追尾対象画像存在領域Ｑ’であるか否かを判定する。
これにより、探索処理部４は、時系列的に相前後する追尾対象画像存在領域Ｑ’を取得する。
【００２４】
すなわち、探索処理部４は、フレーム画像Ｆ０において設定された撮影対象画像存在領域Ｑをテンプレートとして、例えば、図６（ａ）に示すフレーム画像Ｆ０の次のフレーム画像Ｆ１の探索領域Ｓ内で、対比対象画像領域Ｑ”を右方向、下方向に所定の順番に設定して両画像領域に含まれる画像の対比を繰り返すことにより、図６（ｂ）に示すように、撮影対象画像存在領域Ｑ内に存在する画像と最も類似度の高い対比対象画像領域Ｑ”を追尾対象画像Ｏ’を含む追尾対象画像存在領域Ｑ’に決定する。
【００２５】
なお、その図６には、撮影対象画像存在領域Ｑを囲む矩形枠の各点Ａ、Ｂ、Ｃ、Ｄに対応する対比対象画像領域Ｑ”を囲む矩形枠の各点に符号Ａ”、Ｂ”、Ｃ”、Ｄ”が付され、追尾対象画像存在領域Ｑ’を囲む矩形枠の各点に符号Ａ’、Ｂ’、Ｃ’、Ｄ’が付されている。
また、探索領域Ｓは、この実施例では、フレーム画像Ｆ１の全領域であるが、これに限るものではない。
【００２６】
フレーム画像データＦ０〜ＦＮは、Δｔの時間間隔をおいて順次取得され、この順次取得されるフレーム画像データＦ１〜ＦＮについて追尾対象画像存在領域Ｑ’が決定される。
【００２７】
計測処理部５は、モニタ画面Ｇ上での前回得られた追尾対象画像存在領域Ｑ’の座標位置と今回得られた追尾対象画像存在領域Ｑ’の座標位置との差を時間的に相前後して得られるフレーム画像の時間差Δｔにより除算して、モニタ画面Ｇ上での追尾対象画像Ｏ’の移動速度を計測する。
【００２８】
表示処理部６は、計測により得られた追尾対象画像Ｏ’の移動速度に対応する速度表示マークＶＭとしての矢印を図７に示すモニター画面Ｇ上に表示させる表示処理を行う。
【００２９】
フレーム画像Ｆ０の撮影対象画像存在領域Ｑ内に存在する被写体画像Ｏとフレーム画像Ｆ１の対比対象画像領域Ｑ”内に存在する画像との類似度の計算には、例えば、撮影対象画像存在領域Ｑ内に存在する各画素により得られた輝度ヒストグラム分布と対比対象画像領域Ｑ”内に存在する各画素により得られた輝度ヒストグラム分布とを用いる。
【００３０】
例えば、撮影対象画像存在領域Ｑ内の各画素により得られた輝度ヒストグラムをq=[q1, q2, …, qn]とする。符号q1, q2, …, qnは、それぞれ、輝度レベル「１」から輝度レベル「ｎ」までの画素数である。
一方、対比対象画像領域Ｑ”内の各画素により得られた輝度ヒストグラムをp=[ p1, p2, …, pn]とする。符号p1, p2, …, pnも、それぞれ輝度レベル「１」から輝度レベル「ｎ」までの画素数である。
【００３１】
その各輝度ヒストグラム分布を求める時、面積変化の影響を最小にするため、撮影対象画像存在領域Ｑ、対比対象画像領域Ｑ”の各領域内の全画素について正規化を行う。
撮影対象画像存在領域Ｑと対比対象画像領域Ｑ”の類似度Simは下記の式（１）により計算する。
【数１】
類似度Simが最大の対比対象画像領域Ｑ”がフレーム画像Ｆ１において最終的に得られた追尾対象画像存在領域Ｑ’である。
探索処理部４は、探索処理中、この輝度ヒストグラム分布を求める処理を、Δｔの時間間隔で、各フレーム画像Ｆ１〜ＦＮについて実行する。
【００３２】
計測処理部５は、追尾対象画像存在領域Ｑ’が得られる都度、各フレーム画像毎に得られる追尾対象画像存在領域Ｑ’について、前回のフレーム画像データにより得られた追尾対象画像存在領域Ｑ’のモニタ画面Ｇ上における座標位置と今回のフレーム画像により得られた追尾対象画像存在領域Ｑ’のモニタ画面Ｇ上における座標位置との相対的な座標位置の差から追尾対象画像存在領域Ｑ’内に存在する追尾対象画像Ｏ’の画面Ｇ上での移動速度を求めるために、以下の計算を行う。
その計算式には、例えば、以下の式（２）、（３）を用いる。
【数２】
【数３】
【００３３】
ここで、Ｖｘはモニタ画面Ｇ上での水平方向の速度、Ｖｙはモニター画面Ｇ上での垂直方向の速度である。符号(x’, y’)、符号 (x, y)はフレーム画像Ｆ０とフレーム画像Ｆ１のそれぞれの対応する点の座標である。Δtはフレーム画像間の時間差である。
【００３４】
一般的に、モニタ画面Ｇ上での追尾対象画像Ｏ’の移動速度は、今回取得されたフレーム画像Ｆｉにおける追尾対象画像存在領域Ｑ’のモニター画面Ｇの座標位置に対して前回取得されたフレーム画像Ｆｉ−１における追尾対象画像存在領域Ｑ’のモニター画面Ｇの座標位置の差を取得時間差Δｔで除した値である。
【００３５】
表示処理部６は、その計測処理部５によって得られた移動速度に基づき図７に示すようにモニタ画面Ｇに速度表示マークＶＭとして矢印を表示させる。この速度表示マークＶＭは、矢印の長さが大きいほど、モニタ画面Ｇ上での追尾対象画像Ｏ’の移動速度が大きいことを意味している。すなわち、流し撮りの撮影対象としての被写体の移動速度が大きいことを意味する。
【００３６】
ユーザは、この矢印の長さが短くなるように、カメラを被写体の移動に対応させて移動させることにより、流し撮りの被写体に対する同期を取ることができ、鮮明な流し撮り撮影を行うことができることになる。
【００３７】
自動撮影実行処理部７は、計測処理部５の計測結果を判定し、モニタ画面Ｇ上での追尾対象画像存在領域Ｑ’の移動速度、すなわち、追尾対象画像Ｏ’の移動速度が所定の閾値以下になると、撮影を自動的に実行し、これにより、流し撮り画像が得られる。
【００３８】
以下に、この画像処理部を有する撮像装置の一例としてのデジタルカメラのハードウェアの構成を説明する。
図８はそのデジタルカメラのハードウェアの構成を示すブロック回路図である。そのデジタルカメラは、撮影光学系１１、メカニカルシャッタ１２、ＣＣＤ１３、ＣＤＳ回路１４、Ａ／Ｄ変換器１５、画像処理部（画像処理回路）１６、モニタ画面Ｇを備えた液晶ディスプレイ（ＬＣＤ）１７、ＣＰＵ１８、ＲＡＭ１９、ＲＯＭ２０、ＳＤＲＡＭ２１、圧縮伸長部２２、メモリカード２３、操作部２４、タイミング信号発生器２５、モータ２６を備えている。
【００３９】
その撮影光学系１１とそのＣＣＤ１３との間には、メカニカルシャッタ１２が配置され、このメカニカルシャッタ１２はＣＣＤ１３に入射する被写体光の遮断に用いられる。その撮影光学系１１のフォーカスレンズ等とメカニカルシャッタ１２とは、モータ２６により駆動される。
【００４０】
デジタルカメラを被写体に向けると、被写体からの光が、撮影光学系１１を通してＣＣＤ（Charge Coupled Device）１３に入射される。
ＣＣＤ１３は、その撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。ＣＣＤ１３から出力された画像情報は、ＣＤＳ（Correlated Double Sampling:相関２重サンプリング）回路１４によりノイズ成分を除去され、Ａ／Ｄ変換器１５によりデジタル値に変換された後、画像処理部１６に向けて出力される。
【００４１】
画像処理部１６は、フレーム画像データを一時的に格納するＳＤＲＡＭ（SynchronousＤＲＡＭ）２１を用いて、YCrCb変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。
【００４２】
なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。また、画像処理部１６は、信号処理や画像処理が施された画像情報を液晶ディスプレイ１７のモニタ画面Ｇに表示する。
【００４３】
また、信号処理、画像処理が施された画像データは、圧縮伸張部２２を介して、メモリカード２３に記録される。圧縮伸張部２２は、操作部２４から取得した指示によって、画像処理部１６から出力される画像データを圧縮してメモリカード２３に出力すると共に、メモリカード２３から読み出した画像データを伸張して画像処理部１６に出力する回路である。
【００４４】
なお、ＣＣＤ１３、ＣＤＳ回路１４、Ａ／Ｄ変換器１５は、タイミング信号を発生するタイミング信号発生器２５を介してＣＰＵ（Central Processing Unit）１８によって、そのタイミングが制御される。画像処理部１６、圧縮伸張部２２、メモリカード２３は、ＣＰＵ１８によって統括制御される。
【００４５】
ＣＰＵ１８はプログラムに従って各種演算処理を行い、そのプログラム等を格納した読み出し専用メモリであるＲＯＭ（Read Only Memory）２０、各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ（Random Access Memory）１９等を内蔵し、これらがバスラインによって相互接続されている。
【００４６】
このデジタルカメラで実行される画像処理プログラムは、被写体を追尾し、追尾対象画像存在領域Ｑ’の移動速度を計測する機能を含むモジュール構成となっている。
実際のハードウェアとしてはＣＰＵ（プロセッサ）１８が記憶媒体としてのＲＯＭ２０からこの画像処理プログラムを読み出して実行することにより、図３に示す各処理部の処理を実行する処理ステップが主記憶装置上にロードされ、追尾対象画像Ｏ’の速度計算を実行し、デジタルカメラのモニタ画面Ｇの表示制御を実行すると共に、画像撮影、画像処理、画像を圧縮して、メモリカード２３に流し撮り画像データを生成するようになっている。
【００４７】
以下に、流し撮りの実行について、図９に示すフローチャートを参照しつつ説明する。
移動する被写体画像Ｏを含む画像が画像処理部１６に入力され、液晶ディスプレイ１７のモニタ画面Ｇに表示される。
ユーザーは、モニタ画面Ｇを見ながら、例えば、モニタ画面Ｇ上をタッチすることによりモニタ画面Ｇ上の座標を入力して、流し撮りの撮影対象とする被写体画像Ｏを含む撮影対象画像存在領域Ｑを設定する（Ｓ．１）。
【００４８】
ＣＰＵ１８は、最初に設定処理部３として機能し、追尾プログラムに従って撮影対象画像存在領域Ｑのコントラストの高い領域を抽出し、設定された撮影対象画像存在領域Ｑを追尾対象画像Ｏ’を含む追尾対象画像存在領域Ｑ’に設定する。
ついで、この撮影対象画像存在領域Ｑ内の画像の特徴量を算出する（Ｓ．２）。
【００４９】
ＣＰＵ１８は、同時に、モニタ画面Ｇに表示されている動画像としてのフレーム画像に対応する表示用動画像のフレーム画像ＦｉをΔｔの時間間隔で取得し、２個のフレーム画像をＳＤＲＡＭ２１に保存する。前回のフレーム画像データと今回のフレーム画像データとからなる動画像フレームが追尾処理に用いられる。
【００５０】
ＣＰＵ１８は、ついで探索処理部４として機能し、フレーム画像Ｆ０に後続して得られるフレーム画像Ｆ１〜ＦＮに対して対比対象画像領域Ｑ”を設定し、探索領域Ｓ内で対比対象画像領域Ｑ”の位置を変更しながら、追尾対象画像存在領域Ｑ’の探索を実行する（Ｓ．３）。
【００５１】
ＣＰＵ１８は、対比対象画像領域Ｑ”の位置を変更する都度、対比対象画像領域Ｑ”内に存在する画像の特徴量を算出し（Ｓ．４）、この対比対象画像領域Ｑ”内の画像の特徴量を撮影対象画像存在領域Ｑ内の画像の特徴量との類似度計算を実行することにより（Ｓ．５）、対比対象画像領域Ｑ”の画像と撮影対象画像存在領域Ｑの画像とを比較し（Ｓ．６）、探索領域Ｓ内での探索が終了するまで（Ｓ．７）、Ｓ．３〜Ｓ．７の探索処理を行い、類似度の最も高い対比対象画像領域Ｑ”があれば、それを追尾対象画像存在領域Ｑ’に決定する（Ｓ．８）。
【００５２】
続いて、ＣＰＵ８は、今回探索を行っているフレーム画像について、追尾対象画像存在領域Ｑ’が得られたか否かを判断し（Ｓ．９）、今回のフレーム画像について追尾対象画像存在領域Ｑ’が得られなかったときには、今回のフレーム画像がＮ番目のフレーム画像であるか否かを判断し（Ｓ．１０）、Ｎ番目のフレーム画像でない場合には、Ｓ．３に戻って、次回の取得したフレーム画像に基づいて探索処理を実行する。
【００５３】
Ｓ．１０において、Ｎ番目のフレーム画像である場合には、流し撮り撮影モードの実行を中止し、通常の撮影モードに戻る。
現在探索を行っているフレーム画像について、追尾対象画像存在領域Ｑ’が得られた場合には、ＣＰＵ１８は、速度計測処理部として機能し、前回得られた追尾対象画像存在領域Ｑ’と今回得られた追尾対象画像存在領域Ｑ’とからなる動画像フレームデータに基づいて、モニタ画面Ｇ上での追尾対象画像Ｏ’の移動速度を計算する（Ｓ．１１）。
【００５４】
ＣＰＵ１８は、この移動速度の結果に基づく表示データを液晶ディスプレイ（ＬＣＤ）１７に出力し、これにより、モニタ画面Ｇに、追尾対象画像存在領域Ｑ’と共に、その追尾対象画像Ｏ’のモニタ画面Ｇ上における移動速度に対応する速度表示マークＶＭが表示される（Ｓ．１２）。
【００５５】
ユーザは、速度表示マークＶＭの矢印の長さに合わせて、矢印のガイドに従ってカメラ１を矢印が示す方向に動かす。速度表示マークＶＭの長さが短くなると、カメラ本体１の移動速度が追尾対象画像Ｏ’の移動速度に近づき、これにより、ユーザは被写体の移動速度にカメラ本体１の移動速度が近づいたことを認識できる。
【００５６】
ＣＰＵ１８は、モニタ画面Ｇ上での追尾対象画像存在領域Ｑ’内の追尾対象画像Ｏ’の移動速度が所定の閾値以下になると（Ｓ．１３）、自動的に撮影を実行する（Ｓ．１４）。これにより、鮮明な流し撮り画像が得られる。その後、通常撮影モードに戻る。
モニタ画面Ｇ上での追尾対象画像存在領域Ｑ’内の追尾対象画像Ｏ’の移動速度が所定の閾値以下でない場合には、Ｓ．３に戻って、Ｓ．３以降の処理が繰り返し実行され、Ｎ枚のフレーム画像について処理が終了すると、流し撮り撮影処理を中止し、通常の撮影モードへ移行する。
【００５７】
流し撮り撮影は、単写モードとして一枚の流し撮りの写真を撮影する構成としてもよいし、連写モードとして、複数枚の流し撮り写真を撮影する構成としてもよい。
その流し撮り画像データは、信号処理、画像処理が施されて、圧縮伸張回路部２２により所定の処理が行われた後、メモリカード２３に記録される。
【００５８】
例えば、連写モードでは、図１０に示すように、速度表示マークＶＭの矢印の長さが所定の閾値以下になると、シャッターが切られ、連続撮影が実行される。また、速度表示マークＶＭが所定の閾値以上になると、連写が停止される。これにより、複数枚の一連の流し撮り写真が得られる。ユーザはこれらの一連の流し撮り写真の中から最適な流し撮り写真を選択することができる。これにより、確実に鮮明なユーザにとって好ましい流し撮り写真が得られる。
【００５９】
また、追尾対象画像存在領域Ｑ’の追尾対象画像Ｏ’の移動速度が所定の閾値以下になると、測光演算により得られた露光時間よりも長目に流し撮り写真撮影の際の露光時間を設定して、デジタルカメラのシャッターを切り、流し撮り写真の撮影を実行するようにしても良い。
このような構成とすれば、流し撮り写真の効果を強く強調できる。露光時間が長ければ長いほど、背景に存在する被写体画像が流れるというボケの効果を強調できる。
【００６０】
更に、追尾対象像画像存在領域Ｑ’の移動速度が所定の閾値以下になると、各フレーム画像データの露光時間を測光演算により得られた露光時間よりも短い露光時間から長い露光時間の間で変更しながら、流し撮りの連続撮影を実行させるようにしても良い。
【００６１】
このような流し撮りの連続撮影を実行すれば、各フレーム画像Ｆ１〜ＦＮについて露光時間を変更しながら、異なる効果を有する流し撮り写真が複数枚得られる。
連続撮影した一連の流し撮り写真の露光時間が長ければ長いほど背景が流れるというボケの効果が強調される。
【符号の説明】
【００６２】
３…設定処理部
４…探索処理部
５…計測処理部
６…表示処理部
Ｇ…モニタ画面
ＶＭ…速度表示マーク
Ｏ’…追尾対象画像
【先行技術文献】
【特許文献】
【００６３】
【特許文献１】特開２００６‐２２９３２２号公報
【特許文献２】特開２００９‐１００４５４号公報
【特許請求の範囲】
【請求項１】
撮影光学系を介して取得されかつモニタ画面上に表示されるフレーム画像に基づき流し撮りの際の撮影対象画像としての被写体画像を含む画像領域を撮影対象画像存在領域として設定する設定処理部と、
前記撮影対象画像存在領域内に存在する被写体画像を追尾対象画像とみなして前記撮影対象画像存在領域に対応する対比対象画像領域を前記フレーム画像に時系列的に後続するフレーム画像に対して設定しかつ前記撮影対象画像存在領域の画像の特徴量を前記対比対象画像領域の画像の特徴量と比較することにより対比対象画像領域が前記追尾対象画像を含む追尾対象画像存在領域であるか否かを判定して時系列的に相前後する追尾対象画像存在領域を取得する探索処理部と、
前記モニタ画面上での前回得られた追尾対象画像存在領域の座標位置と今回得られた追尾対象画像存在領域の座標位置との差を相前後するフレーム画像の取得時間差に基づいて除算して前記モニタ画面上での前記追尾対象画像の移動速度を計測する計測処理部と、
前記追尾対象画像の移動速度に対応する速度表示マークを前記モニタ画面上に表示させる表示処理部とを有することを特徴とする撮像装置。
【請求項２】
前記計測処理部により得られた前記追尾対象画像の移動速度が所定の閾値以下のときに自動的に撮影を実行する自動撮影実行手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記自動撮影実行手段は、複数枚の流し撮り写真を連写して取得することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記自動撮影実行手段は、前記所定の閾値以下になったときに、撮影露光時間を長く設定して撮影を実行することを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記自動撮影実行手段は、撮影露光時間を変更しながら複数枚の流し撮り写真を連写して取得することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記画像の特徴量は、各領域内の各画素により得られる輝度ヒストグラム分布であることを特徴とする請求項１ないし請求項５のいずれか１項に記載の撮像装置。
【請求項７】
撮影光学系を介して取得されかつモニタ画面上に表示されるフレーム画像に基づき流し撮りの際の撮影対象画像としての被写体画像を含む画像領域を撮影対象画像存在領域として設定する設定処理ステップと、
前記撮影対象画像存在領域内に存在する被写体画像を追尾対象画像とみなして前記撮影対象画像存在領域に対応する対比対象画像領域を前記フレーム画像に時系列的に後続するフレーム画像に対して設定しかつ前記撮影対象画像存在領域の画像の特徴量を前記対比対象画像領域の画像の特徴量と比較することにより対比対象画像領域が前記追尾対象画像を含む追尾対象画像存在領域であるか否かを判定して時系列的に相前後する追尾対象画像存在領域を取得する探索処理ステップと、
前記モニタ画面上での前回得られた追尾対象画像存在領域の座標位置と今回得られた追尾対象画像存在領域の座標位置との差を相前後するフレーム画像の取得時間差に基づいて除算して前記モニタ画面上での前記追尾対象画像の移動速度を計測する計測処理ステップと、
前記追尾対象画像の移動速度に対応するを前記モニタ画面上に表示させる表示処理ステップとを含む画像処理方法。
【請求項８】
前記計測処理ステップにより得られた前記追尾対象画像の移動速度が所定の閾値以下のときに自動的に撮影を実行する自動撮影実行処理ステップを含むことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記自動撮影実行処理ステップは、複数枚の流し撮り写真を連写して取得することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記自動撮影実行処理ステップは、前記所定の閾値以下になったときに、撮影露光時間を長く設定して撮影を実行することを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記自動撮影実行処理ステップは、撮影露光時間を変更しながら複数枚の流し撮り写真を連写して取得することを特徴とする請求項９に記載の画像処理方法。
【請求項１２】
撮影光学系を介して取得されかつモニタ画面上に表示されるフレーム画像に基づき流し撮りの際の撮影対象画像としての被写体画像を含む画像領域を撮影対象画像存在領域として設定する設定処理ステップと、
前記撮影対象画像存在領域内に存在する被写体画像を追尾対象画像とみなして前記撮影対象画像存在領域に対応する対比対象画像領域を前記フレーム画像に時系列的に後続するフレーム画像に対して設定しかつ前記撮影対象画像存在領域の画像の特徴量を前記対比画像領域の画像の特徴量と比較することにより前記追尾対象画像を含む追尾対象画像存在領域であるか否かを探索して時系列的に相前後する追尾対象画像存在領域を取得する探索処理ステップと、
前記モニタ画面上での前回得られた追尾対象画像存在領域の座標位置と今回得られた追尾対象画像存在領域の座標位置との差を相前後するフレーム画像の取得時間差に基づいて除算して前記モニタ画面上での前記追尾対象画像の移動速度を計測する計測処理ステップと、
前記追尾対象画像の移動速度に対応する速度表示マークを前記モニタ画面上に表示させる表示処理ステップとが実行可能なプログラムが記録されているコンピュータが読み取り可能な記録媒体。
【請求項１】
撮影光学系を介して取得されかつモニタ画面上に表示されるフレーム画像に基づき流し撮りの際の撮影対象画像としての被写体画像を含む画像領域を撮影対象画像存在領域として設定する設定処理部と、
前記撮影対象画像存在領域内に存在する被写体画像を追尾対象画像とみなして前記撮影対象画像存在領域に対応する対比対象画像領域を前記フレーム画像に時系列的に後続するフレーム画像に対して設定しかつ前記撮影対象画像存在領域の画像の特徴量を前記対比対象画像領域の画像の特徴量と比較することにより対比対象画像領域が前記追尾対象画像を含む追尾対象画像存在領域であるか否かを判定して時系列的に相前後する追尾対象画像存在領域を取得する探索処理部と、
前記モニタ画面上での前回得られた追尾対象画像存在領域の座標位置と今回得られた追尾対象画像存在領域の座標位置との差を相前後するフレーム画像の取得時間差に基づいて除算して前記モニタ画面上での前記追尾対象画像の移動速度を計測する計測処理部と、
前記追尾対象画像の移動速度に対応する速度表示マークを前記モニタ画面上に表示させる表示処理部とを有することを特徴とする撮像装置。
【請求項２】
前記計測処理部により得られた前記追尾対象画像の移動速度が所定の閾値以下のときに自動的に撮影を実行する自動撮影実行手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記自動撮影実行手段は、複数枚の流し撮り写真を連写して取得することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記自動撮影実行手段は、前記所定の閾値以下になったときに、撮影露光時間を長く設定して撮影を実行することを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記自動撮影実行手段は、撮影露光時間を変更しながら複数枚の流し撮り写真を連写して取得することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記画像の特徴量は、各領域内の各画素により得られる輝度ヒストグラム分布であることを特徴とする請求項１ないし請求項５のいずれか１項に記載の撮像装置。
【請求項７】
撮影光学系を介して取得されかつモニタ画面上に表示されるフレーム画像に基づき流し撮りの際の撮影対象画像としての被写体画像を含む画像領域を撮影対象画像存在領域として設定する設定処理ステップと、
前記撮影対象画像存在領域内に存在する被写体画像を追尾対象画像とみなして前記撮影対象画像存在領域に対応する対比対象画像領域を前記フレーム画像に時系列的に後続するフレーム画像に対して設定しかつ前記撮影対象画像存在領域の画像の特徴量を前記対比対象画像領域の画像の特徴量と比較することにより対比対象画像領域が前記追尾対象画像を含む追尾対象画像存在領域であるか否かを判定して時系列的に相前後する追尾対象画像存在領域を取得する探索処理ステップと、
前記モニタ画面上での前回得られた追尾対象画像存在領域の座標位置と今回得られた追尾対象画像存在領域の座標位置との差を相前後するフレーム画像の取得時間差に基づいて除算して前記モニタ画面上での前記追尾対象画像の移動速度を計測する計測処理ステップと、
前記追尾対象画像の移動速度に対応するを前記モニタ画面上に表示させる表示処理ステップとを含む画像処理方法。
【請求項８】
前記計測処理ステップにより得られた前記追尾対象画像の移動速度が所定の閾値以下のときに自動的に撮影を実行する自動撮影実行処理ステップを含むことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記自動撮影実行処理ステップは、複数枚の流し撮り写真を連写して取得することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記自動撮影実行処理ステップは、前記所定の閾値以下になったときに、撮影露光時間を長く設定して撮影を実行することを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記自動撮影実行処理ステップは、撮影露光時間を変更しながら複数枚の流し撮り写真を連写して取得することを特徴とする請求項９に記載の画像処理方法。
【請求項１２】
撮影光学系を介して取得されかつモニタ画面上に表示されるフレーム画像に基づき流し撮りの際の撮影対象画像としての被写体画像を含む画像領域を撮影対象画像存在領域として設定する設定処理ステップと、
前記撮影対象画像存在領域内に存在する被写体画像を追尾対象画像とみなして前記撮影対象画像存在領域に対応する対比対象画像領域を前記フレーム画像に時系列的に後続するフレーム画像に対して設定しかつ前記撮影対象画像存在領域の画像の特徴量を前記対比画像領域の画像の特徴量と比較することにより前記追尾対象画像を含む追尾対象画像存在領域であるか否かを探索して時系列的に相前後する追尾対象画像存在領域を取得する探索処理ステップと、
前記モニタ画面上での前回得られた追尾対象画像存在領域の座標位置と今回得られた追尾対象画像存在領域の座標位置との差を相前後するフレーム画像の取得時間差に基づいて除算して前記モニタ画面上での前記追尾対象画像の移動速度を計測する計測処理ステップと、
前記追尾対象画像の移動速度に対応する速度表示マークを前記モニタ画面上に表示させる表示処理ステップとが実行可能なプログラムが記録されているコンピュータが読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２４４０４６（Ｐ２０１１−２４４０４６Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１１７４８（Ｐ２０１０−１１１７４８）
【出願日】平成２２年５月１４日（２０１０．５．１４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月１４日（２０１０．５．１４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]