信号処理装置、撮像装置、及び信号処理プログラム
【課題】 低解像度のモニタ等においても映像信号に含まれる画像の高域信号成分に関する情報を高精度に表示する。
【解決手段】 入映像信号に含まれる画像の高域信号成分に関する情報を抽出し、抽出された情報を前記映像信号に重畳するための信号処理を行う信号処理装置において、前記画像を予め設定される画素ブロック単位に分割する分割手段と、前記分割手段により得られる画素ブロック毎に高域信号成分量を抽出し、抽出された高域信号成分量から前記画素ブロック毎の代表値を設定する高域信号成分量抽出手段と、前記高域信号成分量抽出手段により得られる代表値情報を前記映像信号に重畳する重畳手段とを有することにより、上記課題を解決する。
【解決手段】 入映像信号に含まれる画像の高域信号成分に関する情報を抽出し、抽出された情報を前記映像信号に重畳するための信号処理を行う信号処理装置において、前記画像を予め設定される画素ブロック単位に分割する分割手段と、前記分割手段により得られる画素ブロック毎に高域信号成分量を抽出し、抽出された高域信号成分量から前記画素ブロック毎の代表値を設定する高域信号成分量抽出手段と、前記高域信号成分量抽出手段により得られる代表値情報を前記映像信号に重畳する重畳手段とを有することにより、上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、撮像装置、及び信号処理プログラムに係り、特に低解像度のモニタ等においても映像信号に含まれる画像の高域信号成分に関する情報を高精度に表示するための信号処理装置、撮像装置、及び信号処理プログラムに関する。
【背景技術】
【０００２】
従来、カメラ等の撮像装置にはピントを調整するための機構が設けられている。具体的には、フィルムカメラにおいては三角測量の原理を用いたレンジファインダ方式や、実際に撮影するレンズを通った光学像を視認することのできる一眼レフカメラ等がある。
【０００３】
また、テレビカメラにおいては、光学ファインダを有したものとして小型のブラウン管や液晶モニタ等からなるビューファインダをカメラに取り付け、その画面に表示された撮影画像を見ながらピント調整を行っている。また、よりピントの合っている部分を分かりやすくするため、撮影された映像信号に信号処理を行う手法がある（例えば、特許文献１参照。）。
【０００４】
更に、ハイビジョンのように高精細な撮像方式により撮影される場合でもビューファインダ等での視認性を向上させるため、撮影した映像信号に含まれる画像をサブサンプリングし、加算等を行うことでピント補助信号を生成する手法がある（例えば、特許文献２参照。）。
【０００５】
このように、ピントの位置（合焦点）の視認性を高めるために撮影画像から高域信号成分を抽出して増幅した後、元の映像信号に重畳した信号をビューファインダ上に表示する手法が用いられている。
【特許文献１】特開昭６１−４５６９１号公報
【特許文献２】特開昭６２−２８５５８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、従来手法に示されているように高域信号成分等の所定の周波数を選択的に強調するためには、装置構成としてバンドパスフィルタを作る必要があるが、その実現のためには多くのタップ数となってしまう。また、少ないタップ数では、高域を抽出するため、ある程度のＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）を設計することは可能であるが、結果として不必要な高域信号成分までもが強調されてしまう可能性がある。
【０００７】
また、現在ハイビジョンを初めとする既存の映像システムでは、ビューファインダとして撮影画像とほぼ同程度の解像度の画像を表示できる小型表示装置が開発されている。したがって、上述した手法によりカメラヘッド等に取り付けられたビューファインダでほぼ正確にピント調整ができる段階にある。
【０００８】
しかしながら、ハイビジョンを超える解像度を有する超高精細カメラ等の撮像装置によって撮影を行う場合には、相当の解像度を有するビューファインダが存在しないため、解像度を低下させる必要が生じるため、表示された画像からピント調整を行うことが非常に困難となる。
【０００９】
また、超高精細カメラ等では、今まで以上にピント調整を厳密に行わないとフォーカスのずれた映像を撮影してしまう可能性があるため、ビューファインダのように低解像度のモニタ上でも高精度にピント調整を行うことのできる表示装置を備えたカメラシステムが必要とされている。
【００１０】
本発明は、上述した問題点に鑑みなされたものであり、低解像度のモニタ等においても映像信号に含まれる画像の高域信号成分に関する情報を高精度に表示するための信号処理装置、撮像装置、及び信号処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、小画面等の低解像度のモニタで超高精細の原画像の高域信号成分が表示できないという問題を解決するものであり、上記課題を解決するために、以下の特徴を有する課題を解決するための手段を採用している。
【００１２】
請求項１に記載された発明は、映像信号に含まれる画像の高域信号成分に関する情報を抽出し、抽出された情報を前記映像信号に重畳するための信号処理を行う信号処理装置において、前記画像を予め設定される画素ブロック単位に分割する分割手段と、前記分割手段により得られる画素ブロック毎に高域信号成分量を抽出し、抽出された高域信号成分量から前記画素ブロック毎の代表値を設定する高域信号成分量抽出手段と、前記高域信号成分量抽出手段により得られる代表値情報を前記映像信号に重畳する重畳手段とを有することを特徴とする。
【００１３】
請求項１記載の発明によれば、撮影した映像信号の解像度よりも解像度の低いモニタ等に表示する場合においても映像信号に含まれる画像の高域信号成分に関する情報を表示することができる。これにより、ユーザは高精度なピント調整を実現することができる。
【００１４】
請求項２に記載された発明は、前記分割手段により得られる画素ブロック毎のも画像を正規化する正規化手段を有することを特徴とする。
【００１５】
請求項２記載の発明によれば、映像信号に含まれる画像から撮影領域の明るい部分と暗い部分とで抽出される高域信号成分の輝度レベルの差を均一にすることができる。
【００１６】
請求項３に記載された発明は、前記高域信号成分量抽出手段は、前記画素ブロック毎に画像の輪郭を抽出し、抽出された輪郭情報に基づいて代表値を設定することを特徴とする。
【００１７】
請求項３記載の発明によれば、輪郭情報に基づいて高精度な代表値を設定することができる。
【００１８】
請求項４に記載された発明は、前記高域信号成分量抽出手段は、前記画素ブロック毎に画素値の分散値を算出し、算出された分散値に基づいて代表値を設定することを特徴とする。
【００１９】
請求項４記載の発明によれば、分散値を用いるため周波数に依存せずに代表値を設定することができる。したがって、画素欠陥やＦＰＮ（Ｆｉｘｅｄ Ｐｕｌｓｅ Ｎｏｉｓｅ：固定パターンノイズ）等のパルス状のノイズの影響を減少させることができる。
【００２０】
請求項５に記載された発明は、前記高域信号成分量抽出手段は、予め設定される画素ブロックを前記画像の所定の位置から１画素単位で移動させることで得られる画像領域に対して高域信号成分量の抽出を行うことを特徴とする。
【００２１】
請求項５記載の発明によれば、高精度に高域信号成分量を抽出することができる。これにより、高精度な代表値を設定することができる。
【００２２】
請求項６に記載された発明は、前記高域信号成分量抽出手段は、前記高域信号成分量をサブサンプリングにより所定の画像サイズに縮小することを特徴とする。
【００２３】
請求項６記載の発明によれば、撮影した映像信号の解像度よりも解像度の低いモニタ等に表示する場合においても映像信号に含まれる画像の高域信号成分に関する情報を表示することができる。
【００２４】
請求項７に記載された発明は、前記高域信号成分量抽出手段は、前記画像に含まれるオプティカルブラック領域から画素値の分散値を算出し、算出された分散値と、他の画素ブロックから得られる分散値との差分情報に基づいて代表値を設定することを特徴とする。
【００２５】
請求項７記載の発明によれば、縦縞状のノイズや画素ずらし撮影法における素子毎の特性不均一に起因した画面全体の高域信号成分の影響を回避することができる。また、この高域信号成分量に基づいて代表値を設定することで、より高精度な高域信号成分に関する情報を表示させることができる。
【００２６】
請求項８に記載された発明は、請求項１乃至請求項７の何れか１項に記載の信号処理装置を有する撮像装置である。
【００２７】
請求項９に記載された発明は、映像信号に含まれる画像の高域信号成分に関する情報を抽出し、抽出された情報を前記映像信号に重畳するための信号処理をコンピュータに実行させるための信号処理プログラムにおいて、前記画像を予め設定される画素ブロック単位に分割する分割処理と、前記分割処理により得られる画素ブロック毎に高域信号成分量を抽出し、抽出された高域信号成分量から前記画素ブロック毎の代表値を設定する高域信号成分量抽出処理と、前記高域信号成分量抽出処理により得られる代表値情報を前記映像信号に重畳する重畳処理とをコンピュータに実行させる。
【００２８】
請求項９記載の発明によれば、撮影した映像信号の解像度よりも解像度の低いモニタ等に表示する場合においても映像信号に含まれる画像の高域信号成分に関する情報を表示することができる。これにより、ユーザは高精度なピント調整を実現することができる。また、特別な装置構成を必要とせず、低コストで信号処理を実現することができる。更に、プログラムをインストールすることにより、容易に信号処理を実現することができる。
【発明の効果】
【００２９】
本発明によれば、撮影した映像信号の解像度よりも解像度の低いモニタ等に表示する場合においても映像信号に含まれる画像の高域信号成分に関する情報を高精度に表示することができる。これにより、ユーザは高精度なピント調整を実現することができる。
【発明を実施するための最良の形態】
【００３０】
以下に本発明の特徴を有する信号処理装置、撮像装置、及び信号処理プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００３１】
図１は、本発明における信号処理装置を有する撮影システムの一構成例を示す図である。図１に示す撮影システム１０は、撮像装置１１と、信号処理装置１２と、表示装置１３とを有するよう構成されている。
【００３２】
撮像装置１１は、ハイビジョンカメラ等からなり被写体等を撮影し、撮影された映像信号を信号処理装置１２に出力する。信号処理装置１２は、撮像装置１１から得られた映像信号に含まれる画像（原画像）を予め設定される大きさのブロック毎に区切って信号処理を行う。また、信号処理装置１２は、信号処理された映像信号を表示装置１３に出力する。
【００３３】
表示装置１３は、ビューファインダ等に代表される小型モニタ等からなる。つまり、表示装置１３は、撮像装置１１にて撮影された映像の解像度よりも低い解像度の画像しか表示することができないが、本発明における信号処理装置１２により信号処理された映像信号が入力されるため、低解像度のモニタでも高域信号成分に基づく原画像のピント情報を表示することができる。これにより、ユーザは高精度なピント調整を実現することができる。
【００３４】
なお、図１では、撮像装置１１と信号処理装置１２とが別体に構成されているが、本発明においてはこの限りではなく後述する信号処理装置１２による信号処理の各構成を撮像装置１１内に設けてもよい。また、表示装置１３も撮像装置１１内に設けた構成にしてもよい。
【００３５】
＜信号処理装置１２：機能構成＞
次に、信号処理装置１２の機能構成について図を用いて説明する。図２は、本発明における信号処理装置の機能構成の一例を示す図である。図２に示す信号処理装置１２は、分割手段２１と、正規化手段２２と、高域信号成分量抽出手段２３と、画像縮小手段２４と、重畳手段２５とを有するよう構成されている。
【００３６】
まず、信号処理装置１２は、撮像装置１１にて撮影された映像信号を分割手段２１及び画像縮小手段２４に入力する。分割手段２１は、入力された映像信号に含まれる画像フレーム毎に予め設定されたブロック毎に分割する。ここで、ブロックとは、例えば画像フレームの縦横がｍ×ｎ画素（ｍ，ｎ≧１）で囲まれる領域を示すものであり、表示装置１３の解像度等や信号処理装置１２の処理性能等に基づいてブロックの大きさが設定される。分割手段２１は、分割された画像を正規化手段２２に出力する。
【００３７】
正規化手段２２は、入力された画像から撮影領域の明るい部分と暗い部分とにおいて、高域信号成分量抽出手段２３で抽出される高域信号成分の輝度レベル差を均一にするため、各ブロックの画像の正規化を行う。
【００３８】
なお、正規化処理は、対象とするブロック内の画像信号をｆ（ｘ，ｙ）とすると、以下に示す（１）式で示される。
【００３９】
【数１】
正規化手段２２は、この正規化画像ｆ＾を高域信号成分量抽出手段２３に出力する。高域信号成分量抽出手段２３は、抽出された正規化画像を例えば高域通過フィルタ等により高域信号成分を抽出する。また、高域信号成分量抽出手段２３は、抽出された高域信号成分から画像の代表値を設定する。なお、代表値としては分割されたブロック毎の分散値や周波数分析手法等を用いる。
【００４０】
具体的には、画素値の分散値を算出し、算出された分散値をそれぞれのブロックの高域信号成分量としたり、ブロック毎に抽出された高域信号の絶対値のピーク値を検出し、検出された値をそのブロックの代表値として設定することができる。なお、代表値の具体的な設定手法については後述する。また、高域信号成分量抽出手段２３は、代表値を表示装置１３に予め設定されている解像度等に基づいて拡大縮小により調整し、調整された代表値を重畳手段２５に出力する。
【００４１】
また、高域信号成分量抽出手段２３は、抽出された高域信号部分がフリッカされて表示装置１３に表示されるよう信号を制御し、その制御に関する制御情報を重畳手段２５に出力することもできる。これにより、ユーザに表示装置１３にて高域信号成分に基づくピント調整の補助情報としてのピント情報を視認しやすくさせることができる。
【００４２】
一方、画像縮小手段２４は、撮像装置１１から入力される映像信号を表示装置１３に予め設定されている解像度等に基づいて映像信号に含まれる各画像を拡大縮小により調整する。また、画像縮小手段２４は調整された画像を重畳手段２５に出力する。
【００４３】
重畳手段２５は、高域信号成分量抽出手段２３により入力された代表値又は制御情報と、画像縮小手段２４により得られる対応する縮小画像とを重畳する。また、重畳手段２５は、重畳された映像信号を表示装置１３に出力する。これにより、撮影した映像信号の解像度よりも解像度の低いモニタ等からなる表示装置１３に表示する場合においても、映像信号に含まれる画像の高域信号成分に関する情報（代表値）をピント情報として表示することができる。また、ユーザは、表示装置１３に出力される高域信号成分に基づくピント情報から高精度なピント調整を実現することができる。
【００４４】
なお、図２に示す構成例では、原画像と代表値等とを表示装置１３の解像度等に対応させてそれぞれを拡大縮小による調整をしたものを重畳したが、本発明においてはこの限りではなく、例えば重畳させた後の映像信号を表示装置１３の解像度等に対応させて拡大縮小による調整をしてもよい。また、図２の構成においては、正規化手段２２を有していない構成としても高域信号成分量の抽出及び代表値の設定は可能であり、本発明を適用することができる。
【００４５】
次に、上述の高域信号成分量抽出手段２３における代表値の設定例について説明する。
【００４６】
＜第１の設定例：ブロック毎の最大値の抽出による代表値設定＞
第１の設定例は、代表値としてブロック毎の画像から得られる高域信号の最大値を設定するものである。具体的には、まず、原画像から高域通過フィルタ（ＨＰＦ）等を用いて高域信号成分を抽出する。
【００４７】
ここで、一般に画像の輪郭部分は濃度が大きく変化する部分であるため、この部分の信号は高い周波数領域を含んでいる。したがって、第１の設定例では、高域信号の抽出として輪郭抽出を行う。
【００４８】
なお、輪郭とは物体の外縁をあらわす線、又は画像を特徴づける線要素であり、輪郭を抽出することを「輪郭抽出」又は「エッジ抽出」という。つまり、画像の中の物体と物体、あるいは物体と背景の境目が輪郭であるため、画像の濃度や色に急な変化があるところが輪郭に見える。そのため、輪郭抽出には濃度にだけ注目すればよい。つまり、輪郭は、濃度値が急激に変化する部分であるので関数の変化分を取り出す微分演算を輪郭抽出に用いる。
【００４９】
ここで、微分には１次微分（グラディエント）と２次微分（ラプラシアン）があり、ともに輪郭抽出に利用することができる。なお、グラディエントは、ある画像の位置（ｘ，ｙ）における濃度の勾配を表すものであり、エッジの検出に適している。また、ラプラシアンは、グラディエントをもう一度微分した２次微分の値である。なお、実際は微分値ではなく差分値をとる。
【００５０】
また、本発明においては、グラディエントやラプラシアンの他にも通常のグラディエントよりも差分をとる間隔が広く、ぼやけた画像部分についても輪郭を抽出することができるＳｏｂｅｌや、テンプレートマッチングによる輪郭抽出を行うＰｒｅｗｉｔｔ等を用いることができる。
【００５１】
したがって、第１の設定例では、例えばブロック毎に１次微分等によって輪郭情報である画像信号の勾配を算出し、そのブロック内における勾配の最大値を代表値として設定する。これにより、輪郭抽出により、高周波成分量の代表値を高精度に設定することができる。
【００５２】
なお、この場合、予め設定された画像サイズ（例えばｎ×ｎ画素）のブロック内の高域信号の絶対値の最大値を抽出する。したがって、抽出される代表値の画像サイズは原画像の１／ｎ２となる。
【００５３】
＜第２の設定例：分散値による代表値設定＞
第２の設定例は、代表値としてブロック毎の画像から得られる分散値を設定するものである。具体的には、通常、撮像装置１１にて撮影された映像に含まれる画像のピントが合っている状態の場合、そのピントが合っている状態の部分だけを見ると、そこはコントラストの高い状態、つまりその周辺の輝度レベルの差が大きくなっている。したがって、ブロック内の分散値をとることにより、ピントの合っていない部分と比較してピントが合っている部分の画素値は分散しているため、その分散値は大きくなっているはずである。
【００５４】
なお、分散値は、所定の大きさに区切られたブロック内の画素値をそれぞれｘ１，ｘ２，・・・，ｘｎとすると、以下に示す（２）式の平均μから（３）式の分散σ２を算出することができる。
【００５５】
【数２】
このようにして得られた分散値を高域信号成分量として出力する。また、ブロック毎に分散値を算出し、算出された分散値の振幅値を輝度レベルに置換し、置換された輝度レベルをそれぞれの画像ブロックの代表値とする。
【００５６】
これにより、分散値を用いるため周波数に依存せずに代表値を設定することができる。したがって、画素欠陥やＦＰＮ等のパルス状のノイズの影響を高域通過フィルタ等を用いる場合と比較して減少させることができる。
【００５７】
なお、第２の設定例においても、代表値は各ブロック（例えばｎ×ｎ画素）毎にそれぞれ１つ出力するため、出力画像サイズは、原画像の画像サイズの１／ｎ２となる。
【００５８】
ここで、上述した第１、第２の設定例における信号処理の流れについて図を用いて説明する。図３は、第１、第２の設定例における信号処理の流れの一例を示す図である。なお、図３では、本発明の一例として画像を縮小させる信号処理を示している。
【００５９】
図３に示すように、映像信号に含まれる原画像から所定の大きさのブロック（図３ではｎ×ｎ画素）に分割し、分割された小ブロック毎に正規化を行う。次に、上述の第１又は第２の設定例により代表値が設定され、１／ｎ２に縮小された代表値情報からなる画像が得られる。また、原画像から単純に縮小処理された１／ｎ２画像と代表値情報とを重畳することにより、本発明における縮小原画像を取得することができる。そして、縮小原画像群からなる映像信号を表示装置１３に出力する。
【００６０】
これにより、撮影した映像信号の解像度よりも解像度の低いモニタ等からなる表示装置１３に表示する場合においても、映像信号に含まれる画像の高域信号成分に関する情報（代表値）を表示することができる。また、ユーザは、表示装置１３に出力される高域信号成分に基づくピント情報から高精度なピント調整を実現することができる。
【００６１】
＜第３の設定例：画素単位でブロックをスライドさせて代表値を設定＞
図４は、本発明における代表値の第３の設定例を説明するための一例の図である。第３の設定例は、先に原画像の画像サイズに対応して代表値を設定した後、画像サイズを表示装置に合わせて縮小させるものである。
【００６２】
具体的に説明すると、第３の設定例では、所定の大きさの画素ブロック（例えばｎ×ｎ画素）を原画像の画素に対して図４に示すＸ方向又はＹ方向に１画素ずつスライドさせながらそれぞれの位置におけるブロックの信号処理を行い、その演算処理結果を代表値として設定する。
【００６３】
図４に示すように、ｎ×ｎ画素のブロックを画素単位で移動させ、各位置で上述した第１の設定例又は第２の設定例に示すように代表値を求め、その求めた代表値を、ブロックの位置に対応した位置の画素の高域信号成分量とする。これにより、原画像と同一の画像サイズである輪郭画像を抽出することができる。
【００６４】
なお、上述した処理は、周辺画素の画像情報も含めて高域信号成分を算出できるため、画像精度を向上させることができる。また、この輪郭画像の代表値を用いることで、例えば高解像度の大画面モニタにもピント情報の表示が可能となり、より高精度な画像を表示させることができる。
【００６５】
また、第３の設定例により得られた輪郭画像は原画像と同一の画像サイズであるため、低解像度の小モニタ等に表示させる場合には、図５のサブサンプリングの一例に示すように、輪郭画像を予め設定されたブロックに分割して区切られたブロック毎にサブサンプリングを行い、高域信号成分量を抽出することで縮小画像を抽出することができる。
【００６６】
ここで、従来からある縦縞状のノイズや画素ずらし撮影法における素子毎の特性不均一に起因して発生する画面全体の高域信号成分の影響は、出力される高域信号成分量の画像の中で均一なオフセット成分として表れる。
【００６７】
そこで、従来のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）といった固体撮像素子では、温度変化等に起因する撮像素子の特性変化を補償するために、画面の端部（例えば右端部及び上端部等）に遮光領域であるオプティカルブラック（ＯＢ：Ｏｐｔｉｃａｌ Ｂｌａｃｄ）と呼ばれるエリアがある。
【００６８】
本発明では、上述した代表値の設定において、このオプティカルブラックエリアにより得られる高域信号成分量を画面全体から削除することにより、縦縞状のノイズや画素ずらし撮影等における素子毎の特性不均一に起因した画面全体の高域信号成分の影響を回避することができる。
【００６９】
ここで、上述の内容について図を用いて説明する。図６は、オブティカルブラックとオブティカルブラックに対応した信号処理の一例を示す図である。なお、図６（ａ）は、オプティカルブラックエリアを説明する一例の図を示し、図６（ｂ）は、信号処理の流れについて説明するための一例の図である。
【００７０】
図６（ａ）に示すようにオプティカルブラックエリアエリア６０は、例えば有効画素エリアの周囲に存在する。そこで、図６（ｂ）に示すように、有効画素エリアからオプティカルブラックエリアに対応するブロックに対してのオプティカルブラックエリアの高域信号成分量を削除する。なお、この場合、高域信号成分だけでなく、オフセット成分も削除する。
【００７１】
ここで、信号処理を具体的に説明すると、画像に含まれるオプティカルブラック領域から得られる分散値を参照レベルとして求め、更に参照レベルを他のブロックから得られる分散値から差分した値から代表値を設定する。なお、図６（ｂ）の代表値の設定例は、上述した第２の設定例を応用したものであるが、第１の設定例の設定手法を用いることもできる。
【００７２】
これにより、有効画素エリアのブロックに対する代表値を高精度に取得することができる。これにより、より高精度なピント情報を表示装置に出力することができる。
【００７３】
ここで、本発明における信号処理装置１２は、上述した専用の装置構成等を用いて本発明における信号処理を行うこともできるが、各構成における処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にそのプログラムをインストールすることにより、本発明における信号処理を実現することができる。
【００７４】
＜ハードウェア構成＞
ここで、本発明における信号処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図７は、本発明における信号処理が実現可能なハードウェア構成の一例を示す図である。
【００７５】
図７におけるコンピュータ本体には、入力装置７１と、出力装置７２と、ドライブ装置７３と、補助記憶装置７４と、メモリ装置７５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７６と、ネットワーク接続装置７７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００７６】
入力装置７１は、ユーザが操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザからのプログラムの実行等、各種操作信号を入力する。出力装置７２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ（モニタ）を有し、ＣＰＵ７６が有する制御プログラムにより信号処理プログラムの実行経過や結果等を表示することができる。
【００７７】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体７８等により提供される。プログラムを記録した記録媒体７８は、ドライブ装置７３にセット可能であり、記録媒体７８に含まれる実行プログラムが、記録媒体７８からドライブ装置７３を介して補助記憶装置７４にインストールされる。
【００７８】
補助記憶装置７４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【００７９】
ＣＰＵ７６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置７５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、信号処理における各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置７４から取得することができ、また格納することもできる。
【００８０】
ネットワーク接続装置７７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【００８１】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで信号処理を実現することができる。また、プログラムをインストールすることにより、容易に信号処理を実現することができる。次に、実行プログラムにおける処理手順についてフローチャートを用いて説明する。
【００８２】
＜信号処理＞
図８は、本発明における信号処理プログラムを用いた信号処理手順を示す一例のフローチャートである。なお、図８は、撮影された映像信号の解像度よりも低い解像度の表示装置に映像信号を出力する場合における本発明の信号処理の一例を示すものである。
【００８３】
まず、撮像装置にて撮影された映像信号又は予め撮影され蓄積されている映像信号を入力し（Ｓ０１）、入力された映像信号に含まれる画像を予め設定される大きさのブロックに分割する（Ｓ０２）。
【００８４】
次に、分割された画像ブロック毎に正規化処理を行い（Ｓ０３）、正規化された画像ブロック毎に上述の設定例に基づいて高域信号成分量を抽出し（Ｓ０４）、抽出された高域信号成分量から代表値を設定する（Ｓ０５）。
【００８５】
一方、Ｓ０１により入力された映像信号に含まれる各画像を表示される表示装置の解像度等に基づいて縮小する（Ｓ０６）。次に、Ｓ０６で得られた縮小画像と、Ｓ０５にて設定された代表値とを重畳し（Ｓ０７）、重畳された縮小映像を出力する（Ｓ０８）。
【００８６】
上述した信号処理により、高精細な撮像装置により撮影された映像を画質の低い小モニタ等に表示させる場合でも、ピントの確認を容易に行うことができる。
【００８７】
上述したように本発明によれば、撮影した映像信号の解像度よりも解像度の低いモニタ等に表示する場合においても映像信号に含まれる画像の高域信号成分に関する情報を高精度に表示することができる。これにより、ユーザは低解像度のモニタでもピントが合っている範囲がモニタ上で確認しやすくなり、高精度なピント調整を実現することができる。
【００８８】
また、本発明における代表値を用いることにより、解像度の低いモニタ上においても原画像の高域信号の位置や量、分布等を表示することができる。これにより、例えば、ビューファインダ等の比較的小さい画面には表示不可能であった高域信号成分量を目視が容易なり、更にフリッカを画像に重畳表示等することで、テレビジョンカメラのピント調整を容易で確実に行うことができる。
【００８９】
なお、上述した実施形態では、主に原画像の画像サイズから画像サイズを縮小して表示する場合における信号処理について説明したが、本発明を適用して、例えば画像サイズが同一で解像度の異なるものや、解像度が撮影された映像信号よりも高い解像度の拡大画像で表示可能な表示装置に出力する場合にも、上述したように代表値を設定して映像信号に付与することで、その代表値に基づいて解像度等を変換し高精細な画像を表示させることができる。
【００９０】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００９１】
【図１】撮影システムの一構成例を示す図である。
【図２】本発明における信号処理装置の機能構成の一例を示す図である。
【図３】第１、第２の設定例における信号処理の流れの一例を示す図である。
【図４】本発明における代表値の第３の設定例を説明するための一例の図である。
【図５】サブサンプリングの一例を示す図である。
【図６】オブティカルブラックとオブティカルブラックに対応した信号処理の一例を示す図である。
【図７】本発明における信号処理が実現可能なハードウェア構成の一例を示す図である。
【図８】本発明における信号処理プログラムを用いた信号処理手順を示す一例のフローチャートである。
【符号の説明】
【００９２】
１０ 撮影システム
１１ 撮像装置
１２ 信号処理装置
１３ 表示装置
２１ 分割手段
２２ 正規化手段
２３ 高域信号成分量抽出手段
２４ 画像縮小手段
２５ 重畳手段
６０ オプティカルブラックエリア
７１ 入力装置
７２ 出力装置
７３ ドライブ装置
７４ 補助記憶装置
７５ メモリ装置
７６ ＣＰＵ
７７ ネットワーク接続装置
７８ 記録媒体
【技術分野】
【０００１】
本発明は、信号処理装置、撮像装置、及び信号処理プログラムに係り、特に低解像度のモニタ等においても映像信号に含まれる画像の高域信号成分に関する情報を高精度に表示するための信号処理装置、撮像装置、及び信号処理プログラムに関する。
【背景技術】
【０００２】
従来、カメラ等の撮像装置にはピントを調整するための機構が設けられている。具体的には、フィルムカメラにおいては三角測量の原理を用いたレンジファインダ方式や、実際に撮影するレンズを通った光学像を視認することのできる一眼レフカメラ等がある。
【０００３】
また、テレビカメラにおいては、光学ファインダを有したものとして小型のブラウン管や液晶モニタ等からなるビューファインダをカメラに取り付け、その画面に表示された撮影画像を見ながらピント調整を行っている。また、よりピントの合っている部分を分かりやすくするため、撮影された映像信号に信号処理を行う手法がある（例えば、特許文献１参照。）。
【０００４】
更に、ハイビジョンのように高精細な撮像方式により撮影される場合でもビューファインダ等での視認性を向上させるため、撮影した映像信号に含まれる画像をサブサンプリングし、加算等を行うことでピント補助信号を生成する手法がある（例えば、特許文献２参照。）。
【０００５】
このように、ピントの位置（合焦点）の視認性を高めるために撮影画像から高域信号成分を抽出して増幅した後、元の映像信号に重畳した信号をビューファインダ上に表示する手法が用いられている。
【特許文献１】特開昭６１−４５６９１号公報
【特許文献２】特開昭６２−２８５５８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、従来手法に示されているように高域信号成分等の所定の周波数を選択的に強調するためには、装置構成としてバンドパスフィルタを作る必要があるが、その実現のためには多くのタップ数となってしまう。また、少ないタップ数では、高域を抽出するため、ある程度のＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）を設計することは可能であるが、結果として不必要な高域信号成分までもが強調されてしまう可能性がある。
【０００７】
また、現在ハイビジョンを初めとする既存の映像システムでは、ビューファインダとして撮影画像とほぼ同程度の解像度の画像を表示できる小型表示装置が開発されている。したがって、上述した手法によりカメラヘッド等に取り付けられたビューファインダでほぼ正確にピント調整ができる段階にある。
【０００８】
しかしながら、ハイビジョンを超える解像度を有する超高精細カメラ等の撮像装置によって撮影を行う場合には、相当の解像度を有するビューファインダが存在しないため、解像度を低下させる必要が生じるため、表示された画像からピント調整を行うことが非常に困難となる。
【０００９】
また、超高精細カメラ等では、今まで以上にピント調整を厳密に行わないとフォーカスのずれた映像を撮影してしまう可能性があるため、ビューファインダのように低解像度のモニタ上でも高精度にピント調整を行うことのできる表示装置を備えたカメラシステムが必要とされている。
【００１０】
本発明は、上述した問題点に鑑みなされたものであり、低解像度のモニタ等においても映像信号に含まれる画像の高域信号成分に関する情報を高精度に表示するための信号処理装置、撮像装置、及び信号処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、小画面等の低解像度のモニタで超高精細の原画像の高域信号成分が表示できないという問題を解決するものであり、上記課題を解決するために、以下の特徴を有する課題を解決するための手段を採用している。
【００１２】
請求項１に記載された発明は、映像信号に含まれる画像の高域信号成分に関する情報を抽出し、抽出された情報を前記映像信号に重畳するための信号処理を行う信号処理装置において、前記画像を予め設定される画素ブロック単位に分割する分割手段と、前記分割手段により得られる画素ブロック毎に高域信号成分量を抽出し、抽出された高域信号成分量から前記画素ブロック毎の代表値を設定する高域信号成分量抽出手段と、前記高域信号成分量抽出手段により得られる代表値情報を前記映像信号に重畳する重畳手段とを有することを特徴とする。
【００１３】
請求項１記載の発明によれば、撮影した映像信号の解像度よりも解像度の低いモニタ等に表示する場合においても映像信号に含まれる画像の高域信号成分に関する情報を表示することができる。これにより、ユーザは高精度なピント調整を実現することができる。
【００１４】
請求項２に記載された発明は、前記分割手段により得られる画素ブロック毎のも画像を正規化する正規化手段を有することを特徴とする。
【００１５】
請求項２記載の発明によれば、映像信号に含まれる画像から撮影領域の明るい部分と暗い部分とで抽出される高域信号成分の輝度レベルの差を均一にすることができる。
【００１６】
請求項３に記載された発明は、前記高域信号成分量抽出手段は、前記画素ブロック毎に画像の輪郭を抽出し、抽出された輪郭情報に基づいて代表値を設定することを特徴とする。
【００１７】
請求項３記載の発明によれば、輪郭情報に基づいて高精度な代表値を設定することができる。
【００１８】
請求項４に記載された発明は、前記高域信号成分量抽出手段は、前記画素ブロック毎に画素値の分散値を算出し、算出された分散値に基づいて代表値を設定することを特徴とする。
【００１９】
請求項４記載の発明によれば、分散値を用いるため周波数に依存せずに代表値を設定することができる。したがって、画素欠陥やＦＰＮ（Ｆｉｘｅｄ Ｐｕｌｓｅ Ｎｏｉｓｅ：固定パターンノイズ）等のパルス状のノイズの影響を減少させることができる。
【００２０】
請求項５に記載された発明は、前記高域信号成分量抽出手段は、予め設定される画素ブロックを前記画像の所定の位置から１画素単位で移動させることで得られる画像領域に対して高域信号成分量の抽出を行うことを特徴とする。
【００２１】
請求項５記載の発明によれば、高精度に高域信号成分量を抽出することができる。これにより、高精度な代表値を設定することができる。
【００２２】
請求項６に記載された発明は、前記高域信号成分量抽出手段は、前記高域信号成分量をサブサンプリングにより所定の画像サイズに縮小することを特徴とする。
【００２３】
請求項６記載の発明によれば、撮影した映像信号の解像度よりも解像度の低いモニタ等に表示する場合においても映像信号に含まれる画像の高域信号成分に関する情報を表示することができる。
【００２４】
請求項７に記載された発明は、前記高域信号成分量抽出手段は、前記画像に含まれるオプティカルブラック領域から画素値の分散値を算出し、算出された分散値と、他の画素ブロックから得られる分散値との差分情報に基づいて代表値を設定することを特徴とする。
【００２５】
請求項７記載の発明によれば、縦縞状のノイズや画素ずらし撮影法における素子毎の特性不均一に起因した画面全体の高域信号成分の影響を回避することができる。また、この高域信号成分量に基づいて代表値を設定することで、より高精度な高域信号成分に関する情報を表示させることができる。
【００２６】
請求項８に記載された発明は、請求項１乃至請求項７の何れか１項に記載の信号処理装置を有する撮像装置である。
【００２７】
請求項９に記載された発明は、映像信号に含まれる画像の高域信号成分に関する情報を抽出し、抽出された情報を前記映像信号に重畳するための信号処理をコンピュータに実行させるための信号処理プログラムにおいて、前記画像を予め設定される画素ブロック単位に分割する分割処理と、前記分割処理により得られる画素ブロック毎に高域信号成分量を抽出し、抽出された高域信号成分量から前記画素ブロック毎の代表値を設定する高域信号成分量抽出処理と、前記高域信号成分量抽出処理により得られる代表値情報を前記映像信号に重畳する重畳処理とをコンピュータに実行させる。
【００２８】
請求項９記載の発明によれば、撮影した映像信号の解像度よりも解像度の低いモニタ等に表示する場合においても映像信号に含まれる画像の高域信号成分に関する情報を表示することができる。これにより、ユーザは高精度なピント調整を実現することができる。また、特別な装置構成を必要とせず、低コストで信号処理を実現することができる。更に、プログラムをインストールすることにより、容易に信号処理を実現することができる。
【発明の効果】
【００２９】
本発明によれば、撮影した映像信号の解像度よりも解像度の低いモニタ等に表示する場合においても映像信号に含まれる画像の高域信号成分に関する情報を高精度に表示することができる。これにより、ユーザは高精度なピント調整を実現することができる。
【発明を実施するための最良の形態】
【００３０】
以下に本発明の特徴を有する信号処理装置、撮像装置、及び信号処理プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００３１】
図１は、本発明における信号処理装置を有する撮影システムの一構成例を示す図である。図１に示す撮影システム１０は、撮像装置１１と、信号処理装置１２と、表示装置１３とを有するよう構成されている。
【００３２】
撮像装置１１は、ハイビジョンカメラ等からなり被写体等を撮影し、撮影された映像信号を信号処理装置１２に出力する。信号処理装置１２は、撮像装置１１から得られた映像信号に含まれる画像（原画像）を予め設定される大きさのブロック毎に区切って信号処理を行う。また、信号処理装置１２は、信号処理された映像信号を表示装置１３に出力する。
【００３３】
表示装置１３は、ビューファインダ等に代表される小型モニタ等からなる。つまり、表示装置１３は、撮像装置１１にて撮影された映像の解像度よりも低い解像度の画像しか表示することができないが、本発明における信号処理装置１２により信号処理された映像信号が入力されるため、低解像度のモニタでも高域信号成分に基づく原画像のピント情報を表示することができる。これにより、ユーザは高精度なピント調整を実現することができる。
【００３４】
なお、図１では、撮像装置１１と信号処理装置１２とが別体に構成されているが、本発明においてはこの限りではなく後述する信号処理装置１２による信号処理の各構成を撮像装置１１内に設けてもよい。また、表示装置１３も撮像装置１１内に設けた構成にしてもよい。
【００３５】
＜信号処理装置１２：機能構成＞
次に、信号処理装置１２の機能構成について図を用いて説明する。図２は、本発明における信号処理装置の機能構成の一例を示す図である。図２に示す信号処理装置１２は、分割手段２１と、正規化手段２２と、高域信号成分量抽出手段２３と、画像縮小手段２４と、重畳手段２５とを有するよう構成されている。
【００３６】
まず、信号処理装置１２は、撮像装置１１にて撮影された映像信号を分割手段２１及び画像縮小手段２４に入力する。分割手段２１は、入力された映像信号に含まれる画像フレーム毎に予め設定されたブロック毎に分割する。ここで、ブロックとは、例えば画像フレームの縦横がｍ×ｎ画素（ｍ，ｎ≧１）で囲まれる領域を示すものであり、表示装置１３の解像度等や信号処理装置１２の処理性能等に基づいてブロックの大きさが設定される。分割手段２１は、分割された画像を正規化手段２２に出力する。
【００３７】
正規化手段２２は、入力された画像から撮影領域の明るい部分と暗い部分とにおいて、高域信号成分量抽出手段２３で抽出される高域信号成分の輝度レベル差を均一にするため、各ブロックの画像の正規化を行う。
【００３８】
なお、正規化処理は、対象とするブロック内の画像信号をｆ（ｘ，ｙ）とすると、以下に示す（１）式で示される。
【００３９】
【数１】
正規化手段２２は、この正規化画像ｆ＾を高域信号成分量抽出手段２３に出力する。高域信号成分量抽出手段２３は、抽出された正規化画像を例えば高域通過フィルタ等により高域信号成分を抽出する。また、高域信号成分量抽出手段２３は、抽出された高域信号成分から画像の代表値を設定する。なお、代表値としては分割されたブロック毎の分散値や周波数分析手法等を用いる。
【００４０】
具体的には、画素値の分散値を算出し、算出された分散値をそれぞれのブロックの高域信号成分量としたり、ブロック毎に抽出された高域信号の絶対値のピーク値を検出し、検出された値をそのブロックの代表値として設定することができる。なお、代表値の具体的な設定手法については後述する。また、高域信号成分量抽出手段２３は、代表値を表示装置１３に予め設定されている解像度等に基づいて拡大縮小により調整し、調整された代表値を重畳手段２５に出力する。
【００４１】
また、高域信号成分量抽出手段２３は、抽出された高域信号部分がフリッカされて表示装置１３に表示されるよう信号を制御し、その制御に関する制御情報を重畳手段２５に出力することもできる。これにより、ユーザに表示装置１３にて高域信号成分に基づくピント調整の補助情報としてのピント情報を視認しやすくさせることができる。
【００４２】
一方、画像縮小手段２４は、撮像装置１１から入力される映像信号を表示装置１３に予め設定されている解像度等に基づいて映像信号に含まれる各画像を拡大縮小により調整する。また、画像縮小手段２４は調整された画像を重畳手段２５に出力する。
【００４３】
重畳手段２５は、高域信号成分量抽出手段２３により入力された代表値又は制御情報と、画像縮小手段２４により得られる対応する縮小画像とを重畳する。また、重畳手段２５は、重畳された映像信号を表示装置１３に出力する。これにより、撮影した映像信号の解像度よりも解像度の低いモニタ等からなる表示装置１３に表示する場合においても、映像信号に含まれる画像の高域信号成分に関する情報（代表値）をピント情報として表示することができる。また、ユーザは、表示装置１３に出力される高域信号成分に基づくピント情報から高精度なピント調整を実現することができる。
【００４４】
なお、図２に示す構成例では、原画像と代表値等とを表示装置１３の解像度等に対応させてそれぞれを拡大縮小による調整をしたものを重畳したが、本発明においてはこの限りではなく、例えば重畳させた後の映像信号を表示装置１３の解像度等に対応させて拡大縮小による調整をしてもよい。また、図２の構成においては、正規化手段２２を有していない構成としても高域信号成分量の抽出及び代表値の設定は可能であり、本発明を適用することができる。
【００４５】
次に、上述の高域信号成分量抽出手段２３における代表値の設定例について説明する。
【００４６】
＜第１の設定例：ブロック毎の最大値の抽出による代表値設定＞
第１の設定例は、代表値としてブロック毎の画像から得られる高域信号の最大値を設定するものである。具体的には、まず、原画像から高域通過フィルタ（ＨＰＦ）等を用いて高域信号成分を抽出する。
【００４７】
ここで、一般に画像の輪郭部分は濃度が大きく変化する部分であるため、この部分の信号は高い周波数領域を含んでいる。したがって、第１の設定例では、高域信号の抽出として輪郭抽出を行う。
【００４８】
なお、輪郭とは物体の外縁をあらわす線、又は画像を特徴づける線要素であり、輪郭を抽出することを「輪郭抽出」又は「エッジ抽出」という。つまり、画像の中の物体と物体、あるいは物体と背景の境目が輪郭であるため、画像の濃度や色に急な変化があるところが輪郭に見える。そのため、輪郭抽出には濃度にだけ注目すればよい。つまり、輪郭は、濃度値が急激に変化する部分であるので関数の変化分を取り出す微分演算を輪郭抽出に用いる。
【００４９】
ここで、微分には１次微分（グラディエント）と２次微分（ラプラシアン）があり、ともに輪郭抽出に利用することができる。なお、グラディエントは、ある画像の位置（ｘ，ｙ）における濃度の勾配を表すものであり、エッジの検出に適している。また、ラプラシアンは、グラディエントをもう一度微分した２次微分の値である。なお、実際は微分値ではなく差分値をとる。
【００５０】
また、本発明においては、グラディエントやラプラシアンの他にも通常のグラディエントよりも差分をとる間隔が広く、ぼやけた画像部分についても輪郭を抽出することができるＳｏｂｅｌや、テンプレートマッチングによる輪郭抽出を行うＰｒｅｗｉｔｔ等を用いることができる。
【００５１】
したがって、第１の設定例では、例えばブロック毎に１次微分等によって輪郭情報である画像信号の勾配を算出し、そのブロック内における勾配の最大値を代表値として設定する。これにより、輪郭抽出により、高周波成分量の代表値を高精度に設定することができる。
【００５２】
なお、この場合、予め設定された画像サイズ（例えばｎ×ｎ画素）のブロック内の高域信号の絶対値の最大値を抽出する。したがって、抽出される代表値の画像サイズは原画像の１／ｎ２となる。
【００５３】
＜第２の設定例：分散値による代表値設定＞
第２の設定例は、代表値としてブロック毎の画像から得られる分散値を設定するものである。具体的には、通常、撮像装置１１にて撮影された映像に含まれる画像のピントが合っている状態の場合、そのピントが合っている状態の部分だけを見ると、そこはコントラストの高い状態、つまりその周辺の輝度レベルの差が大きくなっている。したがって、ブロック内の分散値をとることにより、ピントの合っていない部分と比較してピントが合っている部分の画素値は分散しているため、その分散値は大きくなっているはずである。
【００５４】
なお、分散値は、所定の大きさに区切られたブロック内の画素値をそれぞれｘ１，ｘ２，・・・，ｘｎとすると、以下に示す（２）式の平均μから（３）式の分散σ２を算出することができる。
【００５５】
【数２】
このようにして得られた分散値を高域信号成分量として出力する。また、ブロック毎に分散値を算出し、算出された分散値の振幅値を輝度レベルに置換し、置換された輝度レベルをそれぞれの画像ブロックの代表値とする。
【００５６】
これにより、分散値を用いるため周波数に依存せずに代表値を設定することができる。したがって、画素欠陥やＦＰＮ等のパルス状のノイズの影響を高域通過フィルタ等を用いる場合と比較して減少させることができる。
【００５７】
なお、第２の設定例においても、代表値は各ブロック（例えばｎ×ｎ画素）毎にそれぞれ１つ出力するため、出力画像サイズは、原画像の画像サイズの１／ｎ２となる。
【００５８】
ここで、上述した第１、第２の設定例における信号処理の流れについて図を用いて説明する。図３は、第１、第２の設定例における信号処理の流れの一例を示す図である。なお、図３では、本発明の一例として画像を縮小させる信号処理を示している。
【００５９】
図３に示すように、映像信号に含まれる原画像から所定の大きさのブロック（図３ではｎ×ｎ画素）に分割し、分割された小ブロック毎に正規化を行う。次に、上述の第１又は第２の設定例により代表値が設定され、１／ｎ２に縮小された代表値情報からなる画像が得られる。また、原画像から単純に縮小処理された１／ｎ２画像と代表値情報とを重畳することにより、本発明における縮小原画像を取得することができる。そして、縮小原画像群からなる映像信号を表示装置１３に出力する。
【００６０】
これにより、撮影した映像信号の解像度よりも解像度の低いモニタ等からなる表示装置１３に表示する場合においても、映像信号に含まれる画像の高域信号成分に関する情報（代表値）を表示することができる。また、ユーザは、表示装置１３に出力される高域信号成分に基づくピント情報から高精度なピント調整を実現することができる。
【００６１】
＜第３の設定例：画素単位でブロックをスライドさせて代表値を設定＞
図４は、本発明における代表値の第３の設定例を説明するための一例の図である。第３の設定例は、先に原画像の画像サイズに対応して代表値を設定した後、画像サイズを表示装置に合わせて縮小させるものである。
【００６２】
具体的に説明すると、第３の設定例では、所定の大きさの画素ブロック（例えばｎ×ｎ画素）を原画像の画素に対して図４に示すＸ方向又はＹ方向に１画素ずつスライドさせながらそれぞれの位置におけるブロックの信号処理を行い、その演算処理結果を代表値として設定する。
【００６３】
図４に示すように、ｎ×ｎ画素のブロックを画素単位で移動させ、各位置で上述した第１の設定例又は第２の設定例に示すように代表値を求め、その求めた代表値を、ブロックの位置に対応した位置の画素の高域信号成分量とする。これにより、原画像と同一の画像サイズである輪郭画像を抽出することができる。
【００６４】
なお、上述した処理は、周辺画素の画像情報も含めて高域信号成分を算出できるため、画像精度を向上させることができる。また、この輪郭画像の代表値を用いることで、例えば高解像度の大画面モニタにもピント情報の表示が可能となり、より高精度な画像を表示させることができる。
【００６５】
また、第３の設定例により得られた輪郭画像は原画像と同一の画像サイズであるため、低解像度の小モニタ等に表示させる場合には、図５のサブサンプリングの一例に示すように、輪郭画像を予め設定されたブロックに分割して区切られたブロック毎にサブサンプリングを行い、高域信号成分量を抽出することで縮小画像を抽出することができる。
【００６６】
ここで、従来からある縦縞状のノイズや画素ずらし撮影法における素子毎の特性不均一に起因して発生する画面全体の高域信号成分の影響は、出力される高域信号成分量の画像の中で均一なオフセット成分として表れる。
【００６７】
そこで、従来のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）といった固体撮像素子では、温度変化等に起因する撮像素子の特性変化を補償するために、画面の端部（例えば右端部及び上端部等）に遮光領域であるオプティカルブラック（ＯＢ：Ｏｐｔｉｃａｌ Ｂｌａｃｄ）と呼ばれるエリアがある。
【００６８】
本発明では、上述した代表値の設定において、このオプティカルブラックエリアにより得られる高域信号成分量を画面全体から削除することにより、縦縞状のノイズや画素ずらし撮影等における素子毎の特性不均一に起因した画面全体の高域信号成分の影響を回避することができる。
【００６９】
ここで、上述の内容について図を用いて説明する。図６は、オブティカルブラックとオブティカルブラックに対応した信号処理の一例を示す図である。なお、図６（ａ）は、オプティカルブラックエリアを説明する一例の図を示し、図６（ｂ）は、信号処理の流れについて説明するための一例の図である。
【００７０】
図６（ａ）に示すようにオプティカルブラックエリアエリア６０は、例えば有効画素エリアの周囲に存在する。そこで、図６（ｂ）に示すように、有効画素エリアからオプティカルブラックエリアに対応するブロックに対してのオプティカルブラックエリアの高域信号成分量を削除する。なお、この場合、高域信号成分だけでなく、オフセット成分も削除する。
【００７１】
ここで、信号処理を具体的に説明すると、画像に含まれるオプティカルブラック領域から得られる分散値を参照レベルとして求め、更に参照レベルを他のブロックから得られる分散値から差分した値から代表値を設定する。なお、図６（ｂ）の代表値の設定例は、上述した第２の設定例を応用したものであるが、第１の設定例の設定手法を用いることもできる。
【００７２】
これにより、有効画素エリアのブロックに対する代表値を高精度に取得することができる。これにより、より高精度なピント情報を表示装置に出力することができる。
【００７３】
ここで、本発明における信号処理装置１２は、上述した専用の装置構成等を用いて本発明における信号処理を行うこともできるが、各構成における処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にそのプログラムをインストールすることにより、本発明における信号処理を実現することができる。
【００７４】
＜ハードウェア構成＞
ここで、本発明における信号処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図７は、本発明における信号処理が実現可能なハードウェア構成の一例を示す図である。
【００７５】
図７におけるコンピュータ本体には、入力装置７１と、出力装置７２と、ドライブ装置７３と、補助記憶装置７４と、メモリ装置７５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７６と、ネットワーク接続装置７７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００７６】
入力装置７１は、ユーザが操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザからのプログラムの実行等、各種操作信号を入力する。出力装置７２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ（モニタ）を有し、ＣＰＵ７６が有する制御プログラムにより信号処理プログラムの実行経過や結果等を表示することができる。
【００７７】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体７８等により提供される。プログラムを記録した記録媒体７８は、ドライブ装置７３にセット可能であり、記録媒体７８に含まれる実行プログラムが、記録媒体７８からドライブ装置７３を介して補助記憶装置７４にインストールされる。
【００７８】
補助記憶装置７４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【００７９】
ＣＰＵ７６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置７５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、信号処理における各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置７４から取得することができ、また格納することもできる。
【００８０】
ネットワーク接続装置７７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【００８１】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで信号処理を実現することができる。また、プログラムをインストールすることにより、容易に信号処理を実現することができる。次に、実行プログラムにおける処理手順についてフローチャートを用いて説明する。
【００８２】
＜信号処理＞
図８は、本発明における信号処理プログラムを用いた信号処理手順を示す一例のフローチャートである。なお、図８は、撮影された映像信号の解像度よりも低い解像度の表示装置に映像信号を出力する場合における本発明の信号処理の一例を示すものである。
【００８３】
まず、撮像装置にて撮影された映像信号又は予め撮影され蓄積されている映像信号を入力し（Ｓ０１）、入力された映像信号に含まれる画像を予め設定される大きさのブロックに分割する（Ｓ０２）。
【００８４】
次に、分割された画像ブロック毎に正規化処理を行い（Ｓ０３）、正規化された画像ブロック毎に上述の設定例に基づいて高域信号成分量を抽出し（Ｓ０４）、抽出された高域信号成分量から代表値を設定する（Ｓ０５）。
【００８５】
一方、Ｓ０１により入力された映像信号に含まれる各画像を表示される表示装置の解像度等に基づいて縮小する（Ｓ０６）。次に、Ｓ０６で得られた縮小画像と、Ｓ０５にて設定された代表値とを重畳し（Ｓ０７）、重畳された縮小映像を出力する（Ｓ０８）。
【００８６】
上述した信号処理により、高精細な撮像装置により撮影された映像を画質の低い小モニタ等に表示させる場合でも、ピントの確認を容易に行うことができる。
【００８７】
上述したように本発明によれば、撮影した映像信号の解像度よりも解像度の低いモニタ等に表示する場合においても映像信号に含まれる画像の高域信号成分に関する情報を高精度に表示することができる。これにより、ユーザは低解像度のモニタでもピントが合っている範囲がモニタ上で確認しやすくなり、高精度なピント調整を実現することができる。
【００８８】
また、本発明における代表値を用いることにより、解像度の低いモニタ上においても原画像の高域信号の位置や量、分布等を表示することができる。これにより、例えば、ビューファインダ等の比較的小さい画面には表示不可能であった高域信号成分量を目視が容易なり、更にフリッカを画像に重畳表示等することで、テレビジョンカメラのピント調整を容易で確実に行うことができる。
【００８９】
なお、上述した実施形態では、主に原画像の画像サイズから画像サイズを縮小して表示する場合における信号処理について説明したが、本発明を適用して、例えば画像サイズが同一で解像度の異なるものや、解像度が撮影された映像信号よりも高い解像度の拡大画像で表示可能な表示装置に出力する場合にも、上述したように代表値を設定して映像信号に付与することで、その代表値に基づいて解像度等を変換し高精細な画像を表示させることができる。
【００９０】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００９１】
【図１】撮影システムの一構成例を示す図である。
【図２】本発明における信号処理装置の機能構成の一例を示す図である。
【図３】第１、第２の設定例における信号処理の流れの一例を示す図である。
【図４】本発明における代表値の第３の設定例を説明するための一例の図である。
【図５】サブサンプリングの一例を示す図である。
【図６】オブティカルブラックとオブティカルブラックに対応した信号処理の一例を示す図である。
【図７】本発明における信号処理が実現可能なハードウェア構成の一例を示す図である。
【図８】本発明における信号処理プログラムを用いた信号処理手順を示す一例のフローチャートである。
【符号の説明】
【００９２】
１０ 撮影システム
１１ 撮像装置
１２ 信号処理装置
１３ 表示装置
２１ 分割手段
２２ 正規化手段
２３ 高域信号成分量抽出手段
２４ 画像縮小手段
２５ 重畳手段
６０ オプティカルブラックエリア
７１ 入力装置
７２ 出力装置
７３ ドライブ装置
７４ 補助記憶装置
７５ メモリ装置
７６ ＣＰＵ
７７ ネットワーク接続装置
７８ 記録媒体
【特許請求の範囲】
【請求項１】
映像信号に含まれる画像の高域信号成分に関する情報を抽出し、抽出された情報を前記映像信号に重畳するための信号処理を行う信号処理装置において、
前記画像を予め設定される画素ブロック単位に分割する分割手段と、
前記分割手段により得られる画素ブロック毎に高域信号成分量を抽出し、抽出された高域信号成分量から前記画素ブロック毎の代表値を設定する高域信号成分量抽出手段と、
前記高域信号成分量抽出手段により得られる代表値情報を前記映像信号に重畳する重畳手段とを有することを特徴とする信号処理装置。
【請求項２】
前記分割手段により得られる画素ブロック毎の画像を正規化する正規化手段を有することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記高域信号成分量抽出手段は、
前記画素ブロック毎に画像の輪郭を抽出し、抽出された輪郭情報に基づいて代表値を設定することを特徴とする請求項１又は２に記載の信号処理装置。
【請求項４】
前記高域信号成分量抽出手段は、
前記画素ブロック毎に画素値の分散値を算出し、算出された分散値に基づいて代表値を設定することを特徴とする請求項１又は２に記載の信号処理装置。
【請求項５】
前記高域信号成分量抽出手段は、
予め設定される画素ブロックを前記画像の所定の位置から１画素単位で移動させることで得られる画像領域に対して高域信号成分量の抽出を行うことを特徴とする請求項１乃至４の何れか１項に記載の信号処理装置。
【請求項６】
前記高域信号成分量抽出手段は、
前記高域信号成分量をサブサンプリングにより所定の画像サイズに縮小することを特徴とする請求項５に記載の信号処理装置。
【請求項７】
前記高域信号成分量抽出手段は、
前記画像に含まれるオプティカルブラック領域から画素値の分散値を算出し、算出された分散値と、他の画素ブロックから得られる分散値との差分情報に基づいて代表値を設定することを特徴とする請求項１乃至６の何れか１項に記載の信号処理装置。
【請求項８】
請求項１乃至請求項７の何れか１項に記載の信号処理装置を有する撮像装置。
【請求項９】
映像信号に含まれる画像の高域信号成分に関する情報を抽出し、抽出された情報を前記映像信号に重畳するための信号処理をコンピュータに実行させるための信号処理プログラムにおいて、
前記画像を予め設定される画素ブロック単位に分割する分割処理と、
前記分割処理により得られる画素ブロック毎に高域信号成分量を抽出し、抽出された高域信号成分量から前記画素ブロック毎の代表値を設定する高域信号成分量抽出処理と、
前記高域信号成分量抽出処理により得られる代表値情報を前記映像信号に重畳する重畳処理とをコンピュータに実行させるための信号処理プログラム。
【請求項１】
映像信号に含まれる画像の高域信号成分に関する情報を抽出し、抽出された情報を前記映像信号に重畳するための信号処理を行う信号処理装置において、
前記画像を予め設定される画素ブロック単位に分割する分割手段と、
前記分割手段により得られる画素ブロック毎に高域信号成分量を抽出し、抽出された高域信号成分量から前記画素ブロック毎の代表値を設定する高域信号成分量抽出手段と、
前記高域信号成分量抽出手段により得られる代表値情報を前記映像信号に重畳する重畳手段とを有することを特徴とする信号処理装置。
【請求項２】
前記分割手段により得られる画素ブロック毎の画像を正規化する正規化手段を有することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記高域信号成分量抽出手段は、
前記画素ブロック毎に画像の輪郭を抽出し、抽出された輪郭情報に基づいて代表値を設定することを特徴とする請求項１又は２に記載の信号処理装置。
【請求項４】
前記高域信号成分量抽出手段は、
前記画素ブロック毎に画素値の分散値を算出し、算出された分散値に基づいて代表値を設定することを特徴とする請求項１又は２に記載の信号処理装置。
【請求項５】
前記高域信号成分量抽出手段は、
予め設定される画素ブロックを前記画像の所定の位置から１画素単位で移動させることで得られる画像領域に対して高域信号成分量の抽出を行うことを特徴とする請求項１乃至４の何れか１項に記載の信号処理装置。
【請求項６】
前記高域信号成分量抽出手段は、
前記高域信号成分量をサブサンプリングにより所定の画像サイズに縮小することを特徴とする請求項５に記載の信号処理装置。
【請求項７】
前記高域信号成分量抽出手段は、
前記画像に含まれるオプティカルブラック領域から画素値の分散値を算出し、算出された分散値と、他の画素ブロックから得られる分散値との差分情報に基づいて代表値を設定することを特徴とする請求項１乃至６の何れか１項に記載の信号処理装置。
【請求項８】
請求項１乃至請求項７の何れか１項に記載の信号処理装置を有する撮像装置。
【請求項９】
映像信号に含まれる画像の高域信号成分に関する情報を抽出し、抽出された情報を前記映像信号に重畳するための信号処理をコンピュータに実行させるための信号処理プログラムにおいて、
前記画像を予め設定される画素ブロック単位に分割する分割処理と、
前記分割処理により得られる画素ブロック毎に高域信号成分量を抽出し、抽出された高域信号成分量から前記画素ブロック毎の代表値を設定する高域信号成分量抽出処理と、
前記高域信号成分量抽出処理により得られる代表値情報を前記映像信号に重畳する重畳処理とをコンピュータに実行させるための信号処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−１４８４２０（Ｐ２００６−１４８４２０Ａ）
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願番号】特願２００４−３３４３１２（Ｐ２００４−３３４３１２）
【出願日】平成１６年１１月１８日（２００４．１１．１８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（０００１０１３３０）アストロデザイン株式会社 (28)
【Ｆターム（参考）】
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願日】平成１６年１１月１８日（２００４．１１．１８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（０００１０１３３０）アストロデザイン株式会社 (28)
【Ｆターム（参考）】
[ Back to top ]