デジタル周波数解析装置
【課題】画像の圧縮に伴う遅延を低減することができるデジタル周波数解析装置を提供する。
【解決手段】バッファメモリに記憶された輝度データ、色差データは、画像の上下の端部において所定のライン数分の画素を補間して画像を拡張する処理を施される。ＬＯＴ部４Ａ、５Ａは、輝度データ、色差データに対して、隣接するブロックがオーバーラップするように画像を分割したブロックの単位で直交変換を行い周波数データに変換する。メモリ制御部３Ａは、バッファメモリに記憶された輝度データ、色差データのライン数と、所定期間にＬＯＴ部４Ａ、５Ａで処理されるライン数とに応じて、バッファメモリから輝度データ、色差データを読み出すタイミングを制御する。
【解決手段】バッファメモリに記憶された輝度データ、色差データは、画像の上下の端部において所定のライン数分の画素を補間して画像を拡張する処理を施される。ＬＯＴ部４Ａ、５Ａは、輝度データ、色差データに対して、隣接するブロックがオーバーラップするように画像を分割したブロックの単位で直交変換を行い周波数データに変換する。メモリ制御部３Ａは、バッファメモリに記憶された輝度データ、色差データのライン数と、所定期間にＬＯＴ部４Ａ、５Ａで処理されるライン数とに応じて、バッファメモリから輝度データ、色差データを読み出すタイミングを制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像データを周波数データに変換するデジタル周波数解析装置に関する。
【背景技術】
【０００２】
撮像した画像をリアルタイムに無線や有線で伝送し、表示するシステムでは、伝送路によって伝送可能な伝送レート（単位時間あたりに伝送可能なデータ量）が限られている。このため、画像以外の情報を同時に伝送する、画像を多画素化するなど、伝送量が増加する場合には所定の時間内に伝送が完了しないなどの問題があった。この課題を解決するために特許文献１で示すような画像の圧縮機能を搭載した画像圧縮送信装置が提案されている。
【０００３】
図２４は、画像圧縮送信装置３０と、外部に設置する受信表示装置４０との一例の概略構成を示している。図２４において、画像圧縮送信装置３０は、撮像部３１と、圧縮部３２と、送信部３３とで構成され、受信表示装置４０は、受信部４１と、伸張部４２と、表示部４３とで構成される。
【０００４】
画像圧縮送信装置３０において、撮像部３１は被写体からの光を受光し、その受光量に応じた電気信号を画像データとして生成するイメージセンサ等から構成される。撮像部３１は、生成した画像データを後段の圧縮部３２に供給する。圧縮部３２に供給される画像データをデータ０１とする。
【０００５】
圧縮部３２はデータ０１を所定の画像圧縮方式によって符号化し、後段の送信部３３に符号化データを供給する。送信部３３に供給される符号化データをデータ０５とする。
【０００６】
送信部３３は、データ０５を、所定の伝送レートを持つ伝送路を介して、外部に設置した受信機を有する受信表示装置４０に伝送する。受信表示装置４０に伝送する符号化データをデータ０６とする。
【０００７】
受信表示装置４０において、受信部４１は、伝送されたデータ０６を受信し、伸張部４２に符号化データを供給する。伸張部４２に供給される符号化データをデータ０７とする。
【０００８】
伸張部４２は、データ０７を画像データに復号化し、後段の表示部４３に供給する。表示部４３に供給される画像データをデータ０８とする。
【０００９】
表示部４３は、データ０８に基づく画像をモニタ等の表示装置に表示する。
【００１０】
圧縮部３２において、従来例では画像の圧縮方式として、所定のサイズの画像ブロックごとにＤＣＴ（Discrete Cosine Transform）を施して画像データを周波数データに変換するＪＰＥＧやＭＰＥＧ等の方法が用いられている。しかし、内視鏡のような医療機器では診断用に高画質な画像を取得する要求があり、ＤＣＴを用いて周波数解析を行う場合、画像中の濃淡の少ない部分でブロック状のノイズが発生し、画質が劣化するという問題があった。
【００１１】
この問題の解決方法として特許文献２で示すような方法が提案されている。この方法では、ＤＣＴの代わりに、画像ブロックを重複させて画像データを周波数データに変換するＬＯＴ（Lapped Orthogonal Transform）が実行される。以下、ＬＯＴを用いた圧縮部３２について詳細に説明する。
【００１２】
図２５は、ＬＯＴにおける圧縮部３２の構成を示している。圧縮部３２は、図２５に示すように、デジタル周波数解析装置３２１と、量子化部３２２と、エントロピー符号化部３２３とで構成される。デジタル周波数解析装置３２１には撮像部３１から画像データであるデータ０１が供給される。
【００１３】
デジタル周波数解析装置３２１は、所定の画像ブロックごとにＬＯＴを施して画像データを周波数データに変換し、後段の量子化部３２２に供給する。量子化部３２２に供給される周波数データをデータ０３とする。
【００１４】
量子化部３２２は、周波数データを量子化テーブル等で設定される量子化値で除算することで量子化し、量子化データを後段のエントロピー符号化部３２３に供給する。エントロピー符号化部３２３に供給される量子化データをデータ０４とする。
【００１５】
エントロピー符号化部３２３は、量子化データに対して、出現確率が高い値に短い符号を割り当てる可変長符号化を施すことで、データ量の削減された符号化データを生成し、出力する。エントロピー符号化部３２３から出力される符号化データはデータ０５である。
【００１６】
図２６は、デジタル周波数解析装置３２１の構成を示している。デジタル周波数解析装置３２１は、図３２に示すように、メモリ制御部３２１１と、フレームメモリ３２１２と、ＬＯＴ部３２１３とで構成される。
【００１７】
メモリ制御部３２１１は、フレームメモリ３２１２の読み出しのタイミングを制御する読み出し開始信号Ｃをフレームメモリ３２１２に供給する。フレームメモリ３２１２は１フレーム分の画像データ（データ０１）を記憶し、記憶した画像データを、読み出し開始信号Ｃに応じて後段のＬＯＴ部３２１３に供給する。ＬＯＴ部３２１３に供給される画像データをデータ０２とする。
【００１８】
ＬＯＴ部３２１３は、画像データであるデータ０２に対して前述のＬＯＴを施して周波数データに変換する。ＬＯＴ部３２１３から出力される周波数データはデータ０３である。
【００１９】
ここで、ＬＯＴに関して説明する。ＬＯＴは、隣接するブロックがそれぞれ重複した領域を持つように画像を複数のブロックに分割（ブロック化）しブロック単位で圧縮を行うものである。図２７は、ＬＯＴを使用する場合のブロック化の例を示す。図２７（ａ）が、水平方向に重複する例である。この場合、ブロック０では最初の１６ラインの１６画素（画素１〜画素１６）のデータがブロック化される。続いて、隣接するブロック１では８画素分ずらした画素９から画素２４のデータがブロック化される。すなわち、８画素分が重複している。同様にブロック１と隣接するブロック２についても８画素ずつ重複する。図２７（ｂ）が、垂直方向に重複する例である。この場合、ブロック０に隣接するブロックｎでは８ライン分ずらしたライン９からライン２４のデータがブロック化される。水平方向と同様に、８ライン分が重複する。
【００２０】
図２８は、水平および垂直の重複直交変換処理を示す。図２８（ａ）は水平方向の重複直交変換処理を示す。前述したように、ブロック０とブロック１では重複して処理が行われる。これらのそれぞれのブロックに対し直交変換処理が行われる。この時、１６×１６画素に対して水平方向の直交変換を行った結果は１６×８の周波数データとなる。図２８（ｂ）は垂直方向の重複直交変換処理を示す。水平方向と同様にブロック０とブロックｎでは重複して処理が行われる。それぞれのブロックの１６×８の画像データに対し直交変換処理を行い、８×８個の周波数データの結果が得られる。
【００２１】
なお、伸張時にはそれぞれのブロックで８×８個の周波数データから１６×１６画素の画像データが生成される。８画素の重複部分を重畳することによりブロックノイズの無い画像が出力される。上述した水平および垂直の重複直交変換処理は、特許文献３で示されるＬＯＴ演算装置で開示されている。
【００２２】
上記のように、ＬＯＴではブロックを重複させて直交変換するため、特許文献２に示すように、画像端の画素を折り返すことによって、画像の境界線に対して対称な画素を生成し、重複する画素数の半分の画素数分、画像を拡張する必要がある。例えば８画素を重複させて直交変換をする場合、図２９に示すように、垂直方向に関して上下に４ラインずつ折り返した画像を直交変換する。したがって、ＬＯＴを用いたデジタル周波数解析装置は、画像データの折り返し処理を行うＬＯＴ部を有する。
【００２３】
ここで、内視鏡で使用される撮像部の出力フォーマットについて説明する。内視鏡の撮像部の出力フォーマットとしてＹＵＶ４２２線順次方式が用いられることが多い。これは、暗い体内の撮影のために、撮像部には補色フィルタを用いた色差線順次型の撮像感度が高いイメージセンサを用いるからである。
【００２４】
図３０は撮像部からのＹＵＶ４２２出力を示す。輝度データ（Ｙ）は、１ラインの周期を示す水平同期信号に同期して毎ライン出力され、色差データは赤色の色差（Ｕ）と青色の色差（Ｖ）の各データが１ライン毎に交互に出力される。図３０では赤色の色差（Ｕ）のデータが先に入力される例であるが、撮像部によっては青色の色差（Ｖ）のデータが先に入力される場合もある。
【００２５】
上記のようにＹＵＶ４２２線順次方式では輝度データのライン数は色差データの２倍となる。一般に、圧縮処理では輝度データ、色差データは独立の処理系によって処理されるが、色差データの処理量に対する輝度データの処理量も２倍になる。すなわち、それぞれのデータに対して同等の処理を行うと、各色差データの処理時間は輝度データの処理時間の半分となる。しかし、伸張後の画像を再構成するにあたり、輝度データと色差データを同期させる必要があるため、輝度データと色差データの圧縮処理は同期をとって行われる。
【００２６】
図３１は、ＬＯＴを用いた圧縮部３２の処理を示す。一般に、撮像部３１から入力される画像データは、１フレームの周期を示す垂直同期信号と１ラインの周期を示す水平同期信号とに同期して圧縮部３２に供給される。図３１に示すように、垂直同期信号の周期をＴｖ時間、水平同期信号の周期をＴｈ時間として以下の説明に用いる。
【００２７】
フレームメモリ３２１２に記憶する画像データをデータ０１、メモリ制御部３２１１からの読み出し開始信号Ｃを受けてフレームメモリ３２１２から読み出してＬＯＴ部３２１３に供給される画像データをデータ０２、ＬＯＴ部３２１３によって画像データから周波数データに変換された周波数データをデータ０３、量子化部３２２によって量子化された量子化データをデータ０４、エントロピー符号化部３２３によって符号化された符号化データをデータ０５とする。
【００２８】
データ０１はフレーム単位でフレームメモリ３２１２に順次書き込まれる。フレームメモリ３２１２では１フレーム分のデータ０１が書き込まれた後、メモリ制御部３２１１から読み出し信号Ｃを受けてデータの読み出しが行われるため、データ０１に対してデータ０２にはＴｖ時間の遅延が生じる。データ０３〜０５は、各処理部の処理時間をかけて処理され、図３１に示す処理遅延を伴い、出力される。よって、圧縮部３２では、画像データが入力されてから符号化データが出力されるまでにＴｖ＋Δ（各処理に要する時間）分の処理時間を要する。
【００２９】
図３２は、圧縮部３２へ画像データが入力されてから表示部４３で画像を表示するまでの処理を示す。撮像部３１から出力され、圧縮部３２に入力される画像データはデータ０１であり、圧縮部３２から出力され、送信部３３に入力される符号化データはデータ０５である。送信部３３から送信され、受信部４１で受信されるデータはデータ０６であり、伸張部４２に入力される符号化データはデータ０７であり、伸張部４２から出力され、表示部４３に入力される画像データはデータ０８である。
【００３０】
データ０１は、圧縮部３２によって、前述した処理時間をかけてデータ０５に変換される。データ０５は、データの送受信による遅延を伴って、データ０６として受信部４１で受信される。データ０７は伸張部４２によって伸張処理され、遅延を伴ってデータ０８として表示部４３に入力される。よって、フレームメモリ３２１２に１フレーム分のデータを記憶してから読み出すことと、各処理部の処理に伴う遅延とによって、撮像から表示までに少なくともＴｖ時間以上の時間を要する。
【先行技術文献】
【特許文献】
【００３１】
【特許文献１】特表２００４−５３６６４４号公報
【特許文献２】特開平６−２３７４４９号公報
【特許文献３】特開平０４−２８０１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【００３２】
前述したように、従来技術ではＬＯＴを用いて高画質な画像を得ている。内視鏡のように画像を閲覧しながらユーザが処置を行う用途では、撮像から表示までの遅延時間をなるべく短くしたいという要求がある。しかし、従来技術では画像圧縮処理の遅延時間を短くするという観点については考慮されていない。
【００３３】
本発明は、上述した課題に鑑みてなされたものであって、画像の圧縮に伴う遅延を低減することができるデジタル周波数解析装置を提供することを目的とする。
【課題を解決するための手段】
【００３４】
本発明は、上記の課題を解決するためになされたもので、輝度データを処理する輝度データ処理部と色差データを処理する色差データ処理部とを備え、前記輝度データと前記色差データとで構成されるデジタル画像データを入力して輝度、色差成分毎の周波数データを出力するデジタル周波数解析装置であって、前記輝度データ処理部は、前記輝度データを記憶する第１のバッファメモリと、前記第１のバッファメモリに記憶された前記輝度データを読み出し、前記輝度データに対して、画像の上下の端部において所定のライン数分の画素を補間して画像を拡張する処理を行う第１の画像補間部と、前記第１の画像補間部によって処理された前記輝度データに対して、隣接するブロックがオーバーラップするように画像を分割した前記ブロックの単位で直交変換を行い周波数データに変換する第１の重複直交変換部とを有し、前記色差データ処理部は、前記色差データを記憶する第２のバッファメモリと、前記第２のバッファメモリに記憶された前記色差データを読み出し、前記色差データに対して、画像の上下の端部において所定のライン数分の画素を補間して画像を拡張する処理を行う第２の画像補間部と、前記第２の画像補間部によって処理された前記色差データに対して、隣接するブロックが重複するように画像を分割した前記ブロックの単位で前記色差データを直交変換して周波数データに変換する第２の重複直交変換部とを有し、前記第１、第２のバッファメモリに記憶された前記輝度データ、前記色差データのライン数と、所定期間に前記第１、第２の重複直交変換部で処理されるライン数とに応じて、前記第１、第２のバッファメモリから前記輝度データ、前記色差データを読み出すタイミングを制御する制御部を備えたことを特徴とするデジタル周波数解析装置である。
【００３５】
また、本発明のデジタル周波数解析装置において、前記デジタル画像データは、輝度色差４２２形式であることを特徴とする。
【００３６】
また、本発明のデジタル周波数解析装置において、前記第１、第２の画像補間部は、画像の最上端および最下端を境界として画像の内側および外側の所定のライン数分が対称となるように画像の内側の前記所定のライン数分の画素を画像の外側に折り返して画像を拡張することを特徴とする。
【００３７】
また、本発明のデジタル周波数解析装置において、前記第１の重複直交変換部は、ｎライン（ｎは正の整数）からなる前記ブロックの単位で重複直交変換処理を行い、前記第２の重複直交変換部は、ｍライン（ｍは正の整数）からなる前記ブロックの単位で重複直交変換処理を行い、前記ｎとｍとの比は入力される前記輝度データと前記色差データの入力ライン数の比と同一であることを特徴とする。
【００３８】
また、本発明のデジタル周波数解析装置において、前記ｎは前記ｍより大きく、前記第２の重複直交変換部は、前記第２のバッファメモリに記憶された各ブロックの前記色差データに対して、画像の垂直方向に画素を補間して前記ｍラインを前記ｎラインに補間する処理を行う補間部を含み、前記ｎライン単位で重複直交変換処理を行うことを特徴とする。
【００３９】
また、本発明のデジタル周波数解析装置において、前記第１、第２のバッファメモリの容量は１フレーム分の容量よりも小さいことを特徴とする。
【発明の効果】
【００４０】
本発明によれば、直交変換に必要なライン数の輝度データ、色差データが第１、第２のバッファメモリに記憶された時点で輝度データ、色差データの読み出しが開始されるので、画像の圧縮に伴う遅延を低減することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の第１の実施形態による内視鏡システムの構成を示すブロック図である。
【図２】本発明の第１の実施形態による圧縮部の構成を示すブロック図である。
【図３】本発明の第１の実施形態における２回のＬＯＴに必要なライン数を示す参考図である。
【図４】本発明の第１の実施形態によるデジタル周波数解析装置の構成を示すブロック図である。
【図５】本発明の第１の実施形態によるメモリ制御部の構成を示すブロック図である。
【図６】本発明の第１の実施形態によるデジタル周波数解析装置の動作を示すタイミングチャートである。
【図７】本発明の第１の実施形態によるデジタル周波数解析装置の動作を示すタイミングチャートである。
【図８】本発明の第１の実施形態によるデジタル周波数解析装置の動作を示すタイミングチャートである。
【図９】本発明の第１の実施形態によるデジタル周波数解析装置の動作を示すタイミングチャートである。
【図１０】本発明の第１の実施形態による圧縮部の動作を示すタイミングチャートである。
【図１１】本発明の第１の実施形態による画像圧縮送信装置および受信表示装置の動作を示すタイミングチャートである。
【図１２】本発明の第２の実施形態による圧縮部の構成を示すブロック図である。
【図１３】本発明の第２の実施形態における２回のＬＯＴに必要なライン数を示す参考図である。
【図１４】本発明の第２の実施形態によるデジタル周波数解析装置の構成を示すブロック図である。
【図１５】本発明の第２の実施形態によるメモリ制御部の構成を示すブロック図である。
【図１６】本発明の第２の実施形態によるデジタル周波数解析装置の動作を示すタイミングチャートである。
【図１７】本発明の第２の実施形態によるデジタル周波数解析装置の動作を示すタイミングチャートである。
【図１８】本発明の第２の実施形態によるデジタル周波数解析装置の動作を示すタイミングチャートである。
【図１９】本発明の第３の実施形態による圧縮部の構成を示すブロック図である。
【図２０】本発明の第３の実施形態によるデジタル周波数解析装置の構成を示すブロック図である。
【図２１】本発明の第３の実施形態におけるデータの読み出し方法を示す参考図である。
【図２２】本発明の第３の実施形態における垂直方向の補間方法を示す参考図である。
【図２３】本発明の第３の実施形態における時分割処理を説明するためのタイミングチャートである。
【図２４】従来の画像圧縮送信装置および受信表示装置の構成を示すブロック図である。
【図２５】従来の圧縮部の構成を示すブロック図である。
【図２６】従来のデジタル周波数解析装置の構成を示すブロック図である。
【図２７】ＬＯＴにおけるブロックを示す参考図である。
【図２８】ＬＯＴの処理方法を示す参考図である。
【図２９】画像の折り返し処理方法を示す参考図である。
【図３０】ＹＵＶ４２２線順次方式によるデータ出力を示すタイミングチャートである。
【図３１】従来の圧縮部の動作を示すタイミングチャートである。
【図３２】従来の画像圧縮送信装置および受信表示装置の動作を示すタイミングチャートである。
【発明を実施するための形態】
【００４２】
以下、図面を参照し、本発明の実施形態を説明する。
【００４３】
（第１の実施形態）
まず、本発明の第１の実施形態を説明する。第１の実施形態は、撮像した画像をリアルタイムに無線や有線で伝送し、表示する内視鏡システムに本発明を適用したものである。図１は、本実施形態による内視鏡システムの構成を示している。図１に示すように内視鏡システムは、画像圧縮送信装置１０と、外部に設置する受信表示装置２０とで構成される。
【００４４】
画像圧縮送信装置１０は、撮像部１１と、圧縮部１２と、送信部１３とで構成され、受信表示装置２０は、受信部２１と、伸張部２２と、表示部２３とで構成される。
【００４５】
画像圧縮送信装置１０において、撮像部１１は被写体からの光を受光し、その受光量に応じた電気信号を画像データとして生成するイメージセンサ等から構成される。撮像部１１は、生成した画像データを後段の圧縮部１２に供給する。圧縮部１２に供給される画像データをデータＡ０１とする。
【００４６】
圧縮部１２はデータＡ０１を所定の画像圧縮方式によって符号化し、後段の送信部１３に符号化データを供給する。送信部１３に供給される符号化データをデータＡ０５とする。
【００４７】
送信部１３は、データＡ０５を、所定の伝送レートを持つ伝送路を介して、外部に設置した受信機を有する受信表示装置２０に伝送する。受信表示装置２０に伝送する符号化データをデータＡ０６とする。
【００４８】
受信表示装置２０において、受信部２１は、伝送されたデータＡ０６を受信し、伸張部２２に符号化データを供給する。伸張部２２に供給される符号化データをデータＡ０７とする。
【００４９】
伸張部２２は、データＡ０７を画像データに復号化し、後段の表示部２３に供給する。表示部２３に供給される画像データをデータＡ０８とする。
【００５０】
表示部２３は、データＡ０８に基づく画像をモニタ等の表示装置に表示する。
【００５１】
本発明のデジタル周波数解析装置は圧縮部１２に搭載される。以下、圧縮部１２の構成を説明する。図２は圧縮部１２の構成を示している。圧縮部１２は、図２に示すように、デジタル周波数解析装置１２１ａと、量子化部１２２と、エントロピー符号化部１２３とで構成される。デジタル周波数解析装置１２１ａには撮像部１１から画像データであるデータＡ０１が供給される。
【００５２】
デジタル周波数解析装置１２１ａは、所定の画像ブロックごとにＬＯＴを施して画像データを周波数データに変換し、後段の量子化部１２２に供給する。量子化部１２２に供給される周波数データをデータＡ０３とする。
【００５３】
量子化部１２２は、周波数データを量子化テーブル等で設定される量子化値で除算することで量子化し、量子化データを後段のエントロピー符号化部１２３に供給する。エントロピー符号化部１２３に供給される量子化データをデータＡ０４とする。
【００５４】
エントロピー符号化部１２３は、量子化データに対して、出現確率が高い値に短い符号を割り当てる可変長符号化を施すことで、データ量の削減された符号化データを生成し、出力する。エントロピー符号化部１２３から出力される符号化データはデータＡ０５である。
【００５５】
次に、デジタル周波数解析装置１２１ａについて詳しく説明する。デジタル周波数解析装置１２１ａは、前述したように輝度データと色差データをＬＯＴによって周波数データに変換するものである。本実施形態でもＬＯＴは従来例と同様に１６×１６画素を１ブロックとし、８画素を重複させて直交変換を行う。すなわち、垂直方向のＬＯＴを1回行うためには１６ラインの入力が必要となる。
【００５６】
ここで、本実施形態の画像圧縮送信装置１０は入力フォーマットがＹＵＶ４２２線順次であり、Ｔｖ時間に入力される色差データのライン数に比べて輝度データのライン数は２倍となる。このため、輝度データの垂直方向のＬＯＴの処理回数も色差データの処理回数に比べて２倍となる。
【００５７】
また、本実施形態では、受信表示装置２０において遅延時間を最小限に抑えた画像表示を行うため、輝度データと色差データの圧縮処理を同期させる必要がある。すなわち、輝度データと色差データの圧縮処理を同期して行うためには、色差の垂直方向のＬＯＴを１回行う間に輝度の垂直方向のＬＯＴを２回行う必要がある。
【００５８】
また、ＬＯＴではブロックを重複させて直交変換するため、画像端の画素を折り返すことによって画像の境界線に対して対称な画素を生成し、重複する画素数の半分の画素数分、画像を拡張する必要がある。本実施形態の例では４画素の拡張が必要であり、拡張された画像データがＬＯＴで周波数データに変換される。
【００５９】
図２９は垂直方向の画像の折り返し方法を示す。画像の上端部に位置するライン１〜４のデータが画像の折り返しに使用される。図２９に示すように、画像の最上端を境界として画像の内側および外側の４ライン分が対称となるように、画像の内側のライン１〜４のデータが画像の外側に補間され、画像が拡張される。すなわち、境界から画像の外側に向かってライン１〜４のデータがこの順に並ぶようにデータが補間される。画像の下端部でも、画像の最下端を境界として画像の内側および外側の４ライン分が対称となるように、画像の内側の４ライン分のデータが画像の外側に補間され、画像が拡張される。水平方向も同様に４画素分の折り返しが行われる。
【００６０】
図３に示すように、ＬＯＴを２回行うために必要なライン数は、２回のＬＯＴで８ライン分が重複するため、２４ラインである。図３に示す画像データは、上記の折り返しによる画像の拡張が行われた後のデータである。
【００６１】
図４はデジタル周波数解析装置１２１ａの構成を示している。デジタル周波数解析装置１２１ａは、輝度データ処理部１Ａと、色差データ処理部２Ａと、メモリ制御部３Ａとで構成される。
【００６２】
輝度データ処理部１ＡはＬＯＴによって輝度データを周波数データに変換する。色差データ処理部２ＡはＬＯＴによって色差データを周波数データに変換する。メモリ制御部３Ａは、輝度データの処理と色差データの処理とが同期して行われるように、輝度データ処理部１Ａに含まれるバッファメモリＹ１ａ〜Ｙ６ａと、色差データ処理部２Ａに含まれるバッファメモリＵ１ａ〜Ｕ３ａ、Ｖ１ａ〜Ｖ３ａとのデータの書き込みおよび読み出しを制御する。
【００６３】
輝度データ処理部１Ａは、バッファメモリＹ１ａ〜Ｙ６ａと、ＬＯＴ部４Ａとで構成される。バッファメモリＹ１ａ〜Ｙ６ａは、デジタル周波数解析装置１２１ａに入力された輝度データを記憶する。バッファメモリＹ１ａ〜Ｙ６ａのメモリアドレスをｙ１ａ〜ｙ６ａとする。ＬＯＴ部４Ａは、バッファメモリＹ１ａ〜Ｙ６ａから読み出された輝度データに対してブロック単位で直交変換を行い周波数データに変換する。
【００６４】
色差データ処理部２Ａは、バッファメモリＵ１ａ〜Ｕ３ａと、バッファメモリＶ１ａ〜Ｖ３ａと、ＬＯＴ部５Ａとで構成される。バッファメモリＵ１ａ〜Ｕ３ａ、Ｖ１ａ〜Ｖ３ａは、デジタル周波数解析装置１２１ａに入力された色差データを記憶する。バッファメモリＵ１ａ〜Ｕ３ａのメモリアドレスをｕ１ａ〜ｕ３ａ、バッファメモリＶ１ａ〜Ｖ３ａのメモリアドレスをｖ１ａ〜ｖ３ａとする。ＬＯＴ部５Ａは、バッファメモリＵ１ａ〜Ｕ３ａ、Ｖ１ａ〜Ｖ３ａから読み出された色差データに対してブロック単位で直交変換を行い周波数データに変換する。
【００６５】
図５はメモリ制御部３Ａの構成を示している。メモリ制御部３Ａは、タイミング生成部３１Ａと、アドレス制御部３２Ａと、メモリ選択部３３Ａとで構成される。タイミング生成部３１Ａは、輝度データ処理部１Ａと色差データ処理部２Ａのそれぞれに、バッファメモリからのデータの読み出しの開始を指示する読み出し開始信号Ａを出力する。アドレス制御部３２Ａは、バッファメモリＹ１ａ〜Ｙ６ａ、Ｕ１ａ〜Ｕ３ａ、Ｖ１ａ〜Ｖ３ａのメモリアドレスを出力する。メモリ選択部３３Ａは、データを読み出す対象となるバッファメモリを指示するメモリ選択信号Ａを出力する。
【００６６】
次に、輝度データ処理部１ＡにおけるバッファメモリＹ１ａ〜Ｙ６ａのデータの書き込みについて、図６〜図８を参照して詳しく説明する。バッファメモリＹ１ａ〜Ｙ６ａに入力されるデータの最初の４ライン分はバッファメモリＹ１ａに書き込まれる。これは、後述するようにバッファメモリＹ１ａの読み出しを制御することによって画像を折り返す処理を行うためである。次の８ライン分のデータはバッファメモリＹ２ａに書き込まれ、その次の８ライン分のデータはバッファメモリＹ３ａに書き込まれる。このようにメモリ制御部３Ａのメモリ選択部３３Ａによって各バッファメモリＹ１ａ〜Ｙ６ａが選択され、バッファメモリＹ１ａ〜Ｙ６ａにデータが書き込まれる。
【００６７】
次に、輝度データ処理部１ＡにおけるバッファメモリＹ１ａ〜Ｙ６ａのデータの読み出しについて、図６〜図８を参照して詳しく説明する。メモリ制御部３Ａのタイミング生成部３１Ａによって、バッファメモリＹ１ａ〜Ｙ６ａに書き込まれたデータの読み出しが開始される。
【００６８】
後段のＬＯＴ部４Ａでは１６×１６画素を１ブロックとし、ブロック間で８画素を重複して直交変換を行うため、画像端の有効領域と無効領域の境界線に対して対称性を有するように４画素分を折り返して拡張したデータが必要である。また、前述したように輝度データについては、垂直方向のＬＯＴ２回分の処理に必要な２４ライン分を読み出す必要がある。アドレス制御部３２Ａは、上記を満たすようにメモリアドレスを生成し、バッファメモリＹ１ａ〜Ｙ６ａのデータの読み出しを制御する。
【００６９】
この読み出しの動作について、以下で詳しく説明する。色差データのＬＯＴに同期するため、タイミング生成部３１Ａは、データが入力されてから２４Ｔｈ時間が経過した後に読み出し開始信号Ａを各バッファメモリＹ１ａ〜Ｙ６ａに供給する。アドレス制御部３２Ａは、垂直方向に拡張したデータを得るために、まず、４ライン目を読み出すようにメモリアドレスｙ１ａをバッファメモリＹ１ａに供給する。続いて３、２、１ライン目をこの順に読み出すようにメモリアドレスｙ１ａをバッファメモリＹ１ａに供給する。そしてもう一度、１、２、３、４ライン目をこの順に読み出すようにメモリアドレスｙ１ａをバッファメモリＹ１ａに供給する。よって、バッファメモリＹ１ａから合計８ライン分のデータが読み出される。
【００７０】
また、バッファメモリＹ１ａから上記の８ライン分のデータが読み出される期間において、バッファメモリＹ２ａから５〜１２ライン目までの８ライン分のデータが読み出される。さらに、バッファメモリＹ１ａから上記の８ライン分のデータが読み出される期間において、バッファメモリＹ３ａから１３〜２０ライン目までの８ライン分のデータが読み出される。このようにして、バッファメモリＹ１ａ、Ｙ２ａ、Ｙ３ａから２４ライン分のデータが読み出され、後段のＬＯＴ部４Ａに供給される。
【００７１】
ＬＯＴ部４Ａは、入力されたデータを、１６×１６の画素を１ブロックとして８画素を重複しながら８×８の周波数データに変換し、後段の量子化部１２２に供給する。上記では画像の折り返しを行って画像を拡張したが、例えば入力データの１ライン目をコピーして画像を拡張させてもよい。画像の下端部についても、上記と同様に垂直方向に４ライン分のデータが補間され、画像が拡張される。
【００７２】
次に、色差データ処理部２ＡにおけるバッファメモリＵ１ａ〜Ｕ３ａのデータの書き込みについて、図６〜図８を参照して詳しく説明する。色差データについては、ＵとＶの各データが１ライン毎に交互に入力されるため、ＬＯＴに必要なライン数が揃うまでの時間は輝度データと比べて２倍となる。
【００７３】
バッファメモリＵ１ａ〜Ｕ３ａには奇数ラインが入力される。バッファメモリＵ１ａ〜Ｕ３ａに入力されるデータの最初の４ライン分はバッファメモリＵ１ａに書き込まれる。次の８ライン分のデータはバッファメモリＵ２ａに書き込まれ、その次の８ライン分のデータはバッファメモリＵ３ａに書き込まれる。このようにメモリ制御部３Ａのメモリ選択部３３Ａによって各バッファメモリＵ１ａ〜Ｕ３ａが選択され、バッファメモリＵ１ａ〜Ｕ３ａにデータが書き込まれる。
【００７４】
次に、色差データ処理部２ＡにおけるバッファメモリＵ１ａ〜Ｕ３ａのデータの読み出しについて、図６〜図８を参照して詳しく説明する。メモリ制御部３Ａのタイミング生成部３１Ａによって、バッファメモリＵ１ａ〜Ｕ３ａに書き込まれたデータの読み出しが開始される。
【００７５】
後段のＬＯＴ部５Ａでは、輝度データと同様に１６×１６画素を１ブロックとし、ブロック間で８画素を重複して直交変換を行うため、画像端の有効領域と無効領域の境界線に対して対称性を有するように４画素分を折り返して拡張したデータが必要である。また、前述したように色差データについては、垂直方向のＬＯＴ１回分の処理に必要な１６ライン分を読み出す必要がある。アドレス制御部３２Ａは、上記を満たすようにメモリアドレスを生成し、バッファメモリＵ１ａ〜Ｕ３ａのデータの読み出しを制御する。
【００７６】
この読み出しの動作について、以下で詳しく説明する。輝度データの読み出し開始と同時刻にタイミング生成部３１Ａは読み出し開始信号ＡをバッファメモリＵ１ａ、Ｕ２ａに供給する。アドレス制御部３２Ａは、垂直方向に拡張したデータを得るために、まず、データの７ライン目を読み出すようにメモリアドレスｕ１ａをバッファメモリＵ１ａに供給する。続いて、５、３、１ライン目をこの順に読み出すようにメモリアドレスｕ１ａをバッファメモリＵ１ａに供給する。そしてもう一度、１、３、５、７ライン目をこの順に読み出すようにメモリアドレスｕ１ａをバッファメモリＵ１ａに供給する。よって、バッファメモリＵ１ａから合計８ライン分のデータが読み出される。
【００７７】
また、バッファメモリＵ１ａから上記の８ライン分のデータが読み出される期間において、バッファメモリＵ２ａから９、１１、１３、１５、１７、１９、２１、２３ライン目の８ライン分のデータが読み出される。このようにして、バッファメモリＵ１ａ、Ｕ２ａから１６ライン分のデータが読み出され、後段のＬＯＴ部５Ａに供給される。
【００７８】
ＬＯＴ部５Ａは、入力されたデータを、１６×１６の画素を１ブロックとして８画素を重複しながら８×８の周波数データに変換し、後段の量子化部１２２に供給する。上記では画像の折り返しを行って画像を拡張したが、例えば入力データの１ライン目をコピーして画像を拡張させてもよい。画像の下端部についても、上記と同様に垂直方向に４ライン分のデータが補間され、画像が拡張される。
【００７９】
バッファメモリＶ１ａ〜Ｖ３ａには偶数ラインが入力される。バッファメモリＶ１ａ〜Ｖ３ａのデータの書き込みおよび読み出しの動作はバッファメモリＵ１ａ〜Ｕ３ａと同様である。
【００８０】
次に、図９を参照してデジタル周波数解析装置１２１ａの動作を説明する。輝度データ処理部１Ａ、色差データ処理部２Ａに含まれるバッファメモリに書き込まれる画像データはデータＡ０１である。タイミング生成部３１Ａから読み出し開始信号Ａを受けてバッファメモリから読み出されてＬＯＴ部４Ａ、５Ａに供給される画像データをデータＡ０２とする。ＬＯＴ部４Ａ、５Ａで画像データから周波数データに変換されたデータはデータＡ０３である。
【００８１】
データＡ０１はバッファメモリに順次書き込まれる。データＡ０２は、タイミング生成部３１Ａから読み出し開始信号Ａを受けてバッファメモリから読み出される。データＡ０２は、データＡ０１の書き込み開始から２４Ｔｈ時間が経過した後に読み出される。これは、ＹＵＶ４２２線順次フォーマットでは同期していない輝度と色差について、ＬＯＴの開始時刻を揃えるためである。
【００８２】
データＡ０３はＬＯＴ部４Ａ、５Ａの処理結果であるため、データＡ０２と比べて図９に示すような遅延時間αを伴って出力される。よって、デジタル周波数解析装置１２１ａに画像データが入力されてから周波数データが出力されるまでに要する時間は２４Ｔｈ＋αである。
【００８３】
次に、図１０を参照して、デジタル周波数解析装置１２１ａを含む圧縮部１２の動作を説明する。デジタル周波数解析装置１２１ａに入力される画像データはデータＡ０１であり、デジタル周波数解析装置１２１ａによって画像データから周波数データに変換されたデータはデータＡ０３である。量子化部１２２によって量子化された量子化データはデータＡ０４であり、エントロピー符号化部１２３によって符号化された符号化データはデータＡ０５である。
【００８４】
デジタル周波数解析装置１２１ａにデータＡ０１が入力されてからデータＡ０３が出力されるまでに要する時間は、タイミングチャートで示すように２４Ｔｈ＋αである。データＡ０４、Ａ０５は、量子化部１２２、エントロピー符号化部１２３でそれぞれの処理時間をかけて処理され、処理遅延を伴って出力される。
【００８５】
次に、図１１を参照して、圧縮部１２を含む画像圧縮送信装置１０における撮像から、外部に設置する受信表示装置２０における表示までの動作を説明する。撮像部１１から出力され、圧縮部１２に入力される画像データはデータＡ０１であり、圧縮部１２から出力され、送信部１３に入力される符号化データはデータＡ０５である。送信部１３から送信され、受信部２１で受信される符号化データはデータＡ０６であり、受信部２１から出力され、伸張部２２に入力される符号化データはデータＡ０７であり、伸張部２２から出力され、表示部２３に入力される画像データはデータＡ０８である。
【００８６】
データＡ０１は、圧縮部１２によって、前述した処理時間をかけてデータＡ０５として画像圧縮される。データＡ０５は、データの送受信による遅延を伴って送信され、受信部２１はデータＡ０６として受信する。受信部２１から伸張部２２に供給されるデータＡ０７は伸張部２２によって伸張処理され、遅延を伴ってデータＡ０８として表示部２３に入力される。伸張部２２は、圧縮部１２が行う処理の手順とは逆の手順の処理を行う。伸張部２２は、８ライン分の画像データに相当する分以上の符号化データが入力された時点で処理を開始可能であり、圧縮部１２の構成から容易に処理内容を推察できる。
【００８７】
従来技術では、圧縮部３２のフレームメモリに画像データを１フレーム分記憶してから読み出すことによって、撮像から表示までに少なくともＴｖの時間を要していた。一方、本実施形態によるデジタル周波数解析装置１２１ａを用いた圧縮部１２は、ＬＯＴを行うのに必要なライン数分の画像データをバッファメモリに記憶した時刻に読み出しを開始するため、撮像から表示までに要する遅延時間をＴｖ時間から２４Ｔｈ時間に短縮することができる。以上の構成により、バッファメモリがＬＯＴに必要なライン数分の画像データを記憶した時刻に読み出しを開始し、かつ折り返しによって画像を拡張してＬＯＴを行うため、圧縮部１２での処理遅延を最小限にすることができる。本実施形態は、ＹＵＶ４２２線順次方式への適用が望ましい。
【００８８】
また、画像の最上端および最下端を境界として画像の内側および外側の所定のライン数分が対称となるように画像の内側の所定のライン数分の画素を画像の外側に折り返して画像を拡張することによって、出力画角を入力画角と同一にすることができ、ＬＯＴによる画像周辺の画質劣化を防ぐことができる。
【００８９】
また、ＬＯＴを行うのに必要なライン数分の画像データをバッファメモリに記憶するので、各バッファメモリの容量を１フレーム分の容量よりも小さくすることが可能となるため、回路規模を削減することができる。
【００９０】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。第２の実施形態も、第１の実施形態と同様の画像圧縮送信装置１０に含まれる。図１２は圧縮部１２の構成を示している。第２の実施形態によるデジタル周波数解析装置１２１ｂは圧縮部１２に含まれる。デジタル周波数解析装置１２１ｂ以外の構成は第１の実施形態と同様である。デジタル周波数解析装置１２１ｂに供給される画像データをデータＢ０１とし、量子化部１２２に供給される周波数データをデータＢ０３とし、エントロピー符号化部１２３に供給される量子化データをデータＢ０４とし、エントロピー符号化部１２３から出力される符号化データをデータＢ０５とする。
【００９１】
第２の実施形態では、輝度信号に対しての垂直方向のＬＯＴ処理はｎライン単位（ｎは正の整数）で行われ、色差信号に対しての垂直方向のＬＯＴ処理はｍライン単位（ｍは正の整数）で行われる。ただし、ｎとｍとの比は、１Ｔｖ期間に入力される輝度信号と色差信号の入力ライン数の比と同一である。
【００９２】
輝度データの垂直方向の８画素を重複させて１６画素単位でＬＯＴを行う場合の例を示す。図１３に示すように、ＹＵＶ４２２線順次フォーマットでは、輝度データのライン数に比べて色差データのライン数は半分である。本実施形態では、図１３に示すように色差の垂直方向のＬＯＴは、４画素を重複して８画素単位で行う。
【００９３】
すなわち、輝度データに関して、垂直方向のＬＯＴに必要なライン数は１６ライン分であり、また、色差データに関して、垂直方向のＬＯＴに必要なライン数は８ライン分となる。このように色差の垂直方向のＬＯＴの単位を１６画素から８画素にすると、色差のＬＯＴの回数が２倍となり、輝度のＬＯＴ回数と一致する。以上により、色差の垂直方向のＬＯＴを１回行う間に輝度の垂直方向のＬＯＴを１回行うことで輝度と色差の圧縮処理が同期する。なお、ＬＯＴでは、重複する画素数の半分の画素数分を折り返して画像を拡張する必要があるが、このことを色差の垂直方向のＬＯＴに当てはめると、２画素分、画像を拡張することになる。
【００９４】
図１４はデジタル周波数解析装置１２１ｂの構成を示している。デジタル周波数解析装置１２１ｂは、輝度データ処理部１Ｂと、色差データ処理部２Ｂと、メモリ制御部３Ｂとで構成される。
【００９５】
輝度データ処理部１ＢはＬＯＴによって輝度データを周波数データに変換する。色差データ処理部２ＢはＬＯＴによって色差データを周波数データに変換するが、垂直方向のＬＯＴの単位は輝度の半分のサイズで行う。メモリ制御部３Ｂは、輝度データの処理と色差データの処理とが同期して行われるように、輝度データ処理部１Ｂに含まれるバッファメモリＹ１ｂ〜Ｙ３ｂと、色差データ処理部２Ｂに含まれるバッファメモリＵ１ｂ〜Ｕ３ｂ、Ｖ１ｂ〜Ｖ３ｂとのデータの書き込みおよび読み出しを制御する。
【００９６】
輝度データ処理部１Ｂは、バッファメモリＹ１ｂ〜Ｙ３ｂと、ＬＯＴ部４Ｂとで構成される。バッファメモリＹ１ｂ〜Ｙ３ｂは、デジタル周波数解析装置１２１ｂに入力された輝度データを記憶する。バッファメモリＹ１ｂ〜Ｙ３ｂは、それぞれ画像データを８ライン分記憶できるメモリである。バッファメモリＹ１ｂ〜Ｙ３ｂのメモリアドレスをｙ１ｂ〜ｙ６ｂとする。ＬＯＴ部４Ｂは、バッファメモリＹ１ｂ〜Ｙ３ｂから読み出された輝度データに対してブロック単位で直交変換を行い周波数データに変換する。ＬＯＴ部４Ｂは、第１の実施形態と同様に垂直方向のＬＯＴを１６画素単位で行う。
【００９７】
色差データ処理部２Ｂは、バッファメモリＵ１ｂ〜Ｕ３ｂと、バッファメモリＶ１ｂ〜Ｖ３ｂと、ＬＯＴ部５Ｂとで構成される。バッファメモリＵ１ｂ〜Ｕ３ｂ、Ｖ１ａ〜Ｖ３ａは、デジタル周波数解析装置１２１ｂに入力された色差データを記憶する。バッファメモリＵ１ｂ〜Ｕ３ｂのメモリアドレスをｕ１ｂ〜ｕ３ｂ、バッファメモリＶ１ｂ〜Ｖ３ｂのメモリアドレスをｖ１ｂ〜ｖ３ｂとする。バッファメモリＵ１ｂ〜Ｕ３ｂ、Ｕ１ｂ〜Ｖ３ｂは、それぞれ画像データを４ライン分記憶できるメモリである。ＬＯＴ部５Ｂは、バッファメモリＵ１ｂ〜Ｕ３ｂ、Ｖ１ｂ〜Ｖ３ｂから読み出された色差データに対してブロック単位で直交変換を行い周波数データに変換する。ＬＯＴ部５Ｂは垂直方向のＬＯＴを８画素単位で行う。
【００９８】
図１５はメモリ制御部３Ｂの構成を示している。メモリ制御部３Ｂは、タイミング生成部３１Ｂと、アドレス制御部３２Ｂと、メモリ選択部３３Ｂとで構成される。タイミング生成部３１Ｂは、輝度データ処理部１Ｂと色差データ処理部２Ｂのそれぞれに、バッファメモリからのデータの読み出しの開始を指示する読み出し開始信号Ｂを出力する。アドレス制御部３２Ｂは、バッファメモリＹ１ｂ〜Ｙ３ｂ、Ｕ１ｂ〜Ｕ３ｂ、Ｖ１ｂ〜Ｖ３ｂのメモリアドレスを出力する。メモリ選択部３３Ｂは、データを読み出す対象となるバッファメモリを指示するメモリ選択信号Ｂを出力する。
【００９９】
次に、輝度データ処理部１ＢにおけるバッファメモリＹ１ｂ〜Ｙ３ｂのデータの書き込みについて、図１６、図１７を参照して詳しく説明する。バッファメモリＹ１ｂ〜Ｙ３ｂに入力されるデータの最初の４ライン分はバッファメモリＹ１ｂに書き込まれる。次の８ライン分のデータはバッファメモリＹ２ｂに書き込まれ、その次の８ライン分のデータはバッファメモリＹ３ｂに書き込まれる。このようにメモリ制御部３Ｂのメモリ選択部３３Ｂによって各バッファメモリＹ１ｂ〜Ｙ３ｂが選択され、バッファメモリＹ１ｂ〜Ｙ３ｂにデータが書き込まれる。
【０１００】
次に、輝度データ処理部１ＢにおけるバッファメモリＹ１ｂ〜Ｙ３ｂのデータの読み出しについて、図１６、図１７を参照して詳しく説明する。メモリ制御部３Ｂのタイミング生成部３１Ｂによって、各バッファメモリＹ１ｂ〜Ｙ３ｂに書き込まれたデータの読み出しが開始される。第１の実施形態と同様にアドレス制御部３２Ｂがメモリアドレスｙ１ｂ〜ｙ３ｂを供給して読み出しを制御することで、４画素分折り返して拡張したデータがＬＯＴ部５Ａに供給される。画像の折り返しによって画像を拡張しているが、例えば入力データの１ライン目をコピーして画像を拡張させてもよい。
【０１０１】
本実施形態では、輝度と色差で垂直方向のＬＯＴの回数が同じであり、色差のＬＯＴが１回行われる間に輝度のＬＯＴも１回行われるため、１６ライン分が各バッファメモリＹ１ｂ〜Ｙ３ｂから読み出される。この読み出しの動作について、以下で詳しく説明する。
【０１０２】
色差のＬＯＴに同期するため、タイミング生成部３１Ｂは、データが入力されてから１２Ｔｈ時間が経過した後に読み出し開始信号ＢをバッファメモリＹ１ｂに供給する。アドレス制御部３２Ｂは、垂直方向に拡張したデータを得るために、まず、データの４ライン目を読み出すようにメモリアドレスｙ１ｂをバッファメモリＹ１ｂに供給する。続いて、３、２、１ライン目をこの順に読み出すようにメモリアドレスｙ１ｂをバッファメモリＹ１ｂに供給する。そしてもう一度、１、２、３、４ライン目をこの順に読み出すようにメモリアドレスｙ１ｂをバッファメモリＹ１ｂに供給する。よって、バッファメモリＹ１ｂから合計８ライン分のデータが読み出される。
【０１０３】
また、バッファメモリＹ１ｂから上記の８ライン分のデータが読み出される期間において、バッファメモリＹ２ｂから５〜１２ライン目までの８ライン分のデータが読み出される。このようにしてバッファメモリＹ１ｂ、Ｙ２ｂから１６ライン分のデータが読み出され、後段のＬＯＴ部４Ａに供給される。
【０１０４】
次の垂直方向のＬＯＴに用いられるデータと、前の垂直方向のＬＯＴに用いられるデータとでは８ライン分が重複するため、もう一度バッファメモリＹ２ｂから５〜１２ライン目までの８ライン分のデータが読み出される。また、バッファメモリＹ２ｂから上記の８ライン分のデータが読み出される期間において、バッファメモリＹ３ｂから１３〜２４ライン目までの８ライン分のデータが読み出される。このようにしてバッファメモリＹ２ｂ、Ｙ３ｂから１６ライン分のデータが読み出され、後段のＬＯＴ部４Ａに供給される。
【０１０５】
以降は同様にして８ライン分のデータを重複させてデータが読み出され、バッファメモリＹ１ｂ〜Ｙ３ｂのうちの２つから１６ライン分のデータが後段のＬＯＴ部４Ａに供給される。ＬＯＴ部４Ａは、入力されたデータを、１６×１６の画素を１ブロックとして８画素を重複しながら８×８の周波数データに変換し、後段の量子化部１２２に供給する。画像の下端部についても、上記と同様に垂直方向に４ライン分のデータが補間され、画像が拡張される。
【０１０６】
次に、色差データ処理部２ＢにおけるバッファメモリＵ１ｂ〜Ｕ３ｂのデータの書き込みについて、図１６、図１７を参照して詳しく説明する。バッファメモリＵ１ｂ〜Ｕ３ｂには奇数ラインが入力される。色差データについてはＵとＶの各データが１ライン毎に交互に入力されるため、ＬＯＴに必要なライン数が揃うまでの時間は輝度データと比べて２倍である。つまり、色差の垂直方向のＬＯＴを行うためには８ライン分のデータが必要であるが、８ライン分のデータが揃うまでに１６Ｔｈの時間を要する。ただし、画像の上端については２ライン分が拡張されるため、色差の垂直方向のＬＯＴを行うためには６ライン分のデータが必要であり、６ライン分のデータが揃うまでに１２Ｔｈの時間を要する。
【０１０７】
バッファメモリに入力されるデータの最初の２ライン分はバッファメモリＵ１ｂに書き込まれる。次の４ライン分のデータはバッファメモリＵ２ｂに書き込まれ、その次の４ライン分のデータはバッファメモリＵ３ｂに書き込まれる。このようにメモリ制御部３Ｂのメモリ選択部３３Ｂによって各バッファメモリＵ１ｂ〜Ｕ３ｂが選択され、バッファメモリＵ１ｂ〜Ｕ３ｂにデータが書き込まれる。
【０１０８】
バッファメモリＶ１ｂ〜Ｖ３ｂには偶数ラインが入力される。バッファメモリＶ１ｂ〜Ｖ３ｂのデータの書き込みおよび読み出しの動作はバッファメモリＵ１ｂ〜Ｕ３ｂと同様である。
【０１０９】
次に、色差データ処理部２ＢにおけるバッファメモリＵ１ｂ〜Ｕ３ｂのデータの読み出しについて、図１６、図１７を参照して詳しく説明する。メモリ制御部３Ｂのタイミング生成部３１Ｂによって、各バッファメモリＵ１ｂ〜Ｕ３ｂ、Ｖ１ｂ〜Ｖ３ｂに書き込まれたデータの読み出しが開始される。
【０１１０】
後段のＬＯＴ部５Ｂでは、８×８画素を１ブロックとし、ブロック間で４画素を重複して直交変換を行うため、２画素分の折り返しによる画像の拡張が必要である。アドレス制御部３２Ｂは、上記を満たすようにメモリアドレスを生成し、バッファメモリＵ１ｂ〜Ｕ３ｂのデータの読み出しを制御する。
【０１１１】
この読み出しの動作について、以下で詳しく説明する。輝度データの読み出し開始と同時刻にタイミング生成部３１Ｂは読み出し開始信号ＢをバッファメモリＵ１ｂ、Ｕ２ｂに供給する。アドレス制御部３２Ｂは、垂直方向に拡張したデータを得るために、まず、データの３ライン目を読み出すようにメモリアドレスｕ１ｂをバッファメモリＵ１ｂに供給する。続いて、１ライン目を読み出すようにメモリアドレスｕ１ｂをバッファメモリＵ１ｂに供給する。そしてもう一度、１、３ライン目を読み出すようにメモリアドレスｕ１ｂをバッファメモリＵ１ｂに供給する。よって、バッファメモリＵ１ｂから合計４ライン分のデータが読み出される。
【０１１２】
また、バッファメモリＵ１ｂから上記の４ライン分のデータが読み出される期間において、バッファメモリＵ２ｂから５、７、９、１１ラインの４ライン分のデータが読み出される。このようにしてバッファメモリＵ１ｂ、Ｕ２ｂから８ライン分のデータが読み出され、後段のＬＯＴ部５Ｂに供給される。
【０１１３】
ＬＯＴ部５Ｂは、入力されたデータを、８×８の画素を１ブロックとして４画素を重複しながら４×４の周波数データに変換し、後段の量子化部１２２に供給する。上記では画像の折り返しを行って画像を拡張したが、例えば入力データの１ライン目をコピーして画像を拡張させてもよい。画像の下端部についても、上記と同様に垂直方向に２ライン分のデータが補間され、画像が拡張される。
【０１１４】
次に、図１８を参照してデジタル周波数解析装置１２１ｂの動作を説明する。輝度データ処理部１Ｂ、色差データ処理部２Ｂに含まれるバッファメモリに書き込まれる画像データはデータＢ０１である。タイミング生成部３１Ｂから読み出し開始信号Ｂを受けてバッファメモリから読み出されてＬＯＴ部４Ｂ、５Ｂに供給される画像データをデータＢ０２とする。ＬＯＴ部４Ｂ、５Ｂで画像データから周波数データに変換されたデータはデータＢ０３である。
【０１１５】
データＢ０１はバッファメモリに順次書き込まれる。データＢ０２は、タイミング生成部３１Ｂから読み出し開始信号Ｂを受けてバッファメモリから読み出される。データＢ０２は、輝度と色差の両方についてＬＯＴに必要なライン数がバッファメモリに書き込まれてから読み出される。データＢ０１の書き込み開始から、輝度と色差でＬＯＴに必要なライン数が揃うまでに要する時間は同じ１２Ｔｈの時間である。
【０１１６】
データＢ０３はＬＯＴ部４Ｂ、５Ｂの処理結果であるため、データＢ０２と比べて図１８に示すような遅延時間βを伴って出力される。デジタル周波数解析装置１２１ｂに画像データが入力されてから周波数データが出力されるまでに要する時間は１２Ｔｈ＋α（ＬＯＴ処理時間）で済むため、第１の実施形態よりもさらに１２Ｔｈ分、撮像から表示までに要する遅延時間を短縮することができる。
【０１１７】
前述したようにＹＵＶ４２２線順次方式では輝度と色差のライン数が異なる。そこで、本実施形態のＬＯＴ部４Ｂ、５Ｂは、輝度と色差の入力ライン数の比と同一のライン数を単位として処理を行っている。具体的には、ＬＯＴ部４Ｂは輝度の垂直方向のＬＯＴを１６ライン単位で行い、ＬＯＴ部５Ｂは色差の垂直方向のＬＯＴを８ライン単位で行う。このため、輝度の処理に必要な１６ライン分（折り返しのために最初の４ライン分が２回読み出されることを考慮すると１２ライン分）のデータが入力される時刻と、色差の処理に必要な８ライン分（折り返しのために最初の２ライン分が２回読み出されることを考慮すると６ライン分）のデータが入力される時刻とが同一となる。
【０１１８】
一方、第１の実施形態では、輝度の処理に必要な２４ライン分（折り返しのために最初の４ライン分が２回読み出されることを考慮すると２０ライン分）のデータが入力される時刻よりも、色差の処理に必要な１６ライン分（折り返しのために最初の４ライン分が２回読み出されることを考慮すると１２ライン分）のデータが入力される時刻が遅れる。このため、輝度データについては、必要なデータがバッファメモリに記憶されてからデータの読み出しが開始されるまでに遅延時間がある。これに対して、本実施形態では、輝度データ、色差データともに、必要なデータがバッファメモリに記憶されてからすぐにデータの読み出しが開始されるため、処理遅延を短縮することができる。
【０１１９】
（第３の実施形態）
次に、本発明の第３の実施形態を説明する。第３の実施形態も、第１の実施形態と同様の画像圧縮送信装置１０に含まれる。図１９は圧縮部１２の構成を示している。第３の実施形態によるデジタル周波数解析装置１２１ｃは圧縮部１２に含まれる。デジタル周波数解析装置１２１ｃ以外の構成は第１、第２の実施形態と同様である。第３の実施形態は、輝度・色差の処理においてＬＯＴ処理部を時分割で使用することにより規模の削減を図るものである。
【０１２０】
図２０はデジタル周波数解析装置１２１ｃの構成を示している。デジタル周波数解析装置１２１ｃは、輝度データのバッファメモリＹＢＵＦと、色差データのバッファメモリＵＢＵＦ、ＶＢＵＦと、メモリ制御部３Ｃと、選択部６Ｃと、補間部７Ｃと、ＬＯＴ部８Ｃとで構成される。
【０１２１】
バッファメモリＹＢＵＦは、デジタル周波数解析装置１２１ｃに入力された輝度データを記憶する。バッファメモリＵＢＵＦ、ＶＢＵＦは、デジタル周波数解析装置１２１ｃに入力された色差データを記憶する。メモリ制御部３Ｃは、各バッファメモリに対するデータの書き込みおよび読み出しを制御し、特に読み出しに関しては、各バッファメモリからブロック単位で時分割にデータを読み出し、選択部６Ｃに供給する。ここで、輝度データＹのブロック単位は１６×１６画素であり、色差データＵ、Ｖのブロック単位は１６×８画素である。
【０１２２】
選択部６Ｃは、各バッファメモリから読み出されたデータを補間部７Ｃに出力すると共に、そのデータが輝度データであるのか、それとも色差データであるのかを識別する輝度色差識別信号を補間部７Ｃに出力する。補間部７Ｃは、選択部６Ｃから出力されたデータのうち色差データに対して垂直方向に画素補間を行う。ＬＯＴ部８Ｃは、１６×１６画素のブロック単位でＬＯＴを行い、画像データを周波数データに変換する。
【０１２３】
次に、メモリ制御部３Ｃ、選択部６Ｃ、補間部７Ｃの処理について詳しく説明する。図２１に示すようにメモリ制御部３Ｃは、輝度データＹのバッファメモリＹＢＵＦからＹａ、Ｙｂ、Ｙｃ・・・の順のＭＣＵ（Minimum Coded Unit）単位でデータを読み出す。一方、メモリ制御部３Ｃは、色差データＵ、ＶのバッファメモリＵＢＵＦ、ＶＢＵＦからＵａ、Ｕｂ、Ｕｃ・・・、Ｖａ、Ｖｂ、Ｖｃ・・・の順のＭＣＵ単位でデータを読み出す。
【０１２４】
補間部７Ｃは、選択部６Ｃからの輝度色差識別信号を受けて、輝度色差識別信号が色差データを示している場合、図２２のように色差データＵ、Ｖに対して、垂直方向に８画素から１６画素に補間する処理を行う。例えば１６×８画素のデータＵａを１６×１６画素のデータＵａ’に補間し、後段のＬＯＴ部８Ｃに供給する。なお、輝度データに対しては補間せずに後段のＬＯＴ部８Ｃに供給する。
【０１２５】
以下、輝度データＹと色差データＵ、Ｖの時分割処理について、図２３で示すタイミングチャートを使って説明する。メモリ制御部３Ｃは時刻ｔ１でバッファメモリＹＢＵＦから輝度データＹａを読み出す。続いて、時刻ｔ２でバッファメモリＵＢＵＦから色差データＵａを読み出し、時刻ｔ３でバッファメモリＶＢＵＦから色差データＶａを読み出す。
【０１２６】
また、選択部６Ｃは、色差データを読み出す時刻ｔ２、ｔ３ではタイミングチャートで示す輝度色差識別信号を補間部７Ｃに供給する。補間部７Ｃは、輝度色差識別信号を受けて、１６×８画素の色差データＵａを１６×１６画素の色差データＵａ’に補間する。同様に、補間部７Ｃは、輝度色差識別信号を受けて、１６×８画素の色差データＶａを１６×１６画素の色差データＶａ’に補間する。そして、輝度データＹａ、色差データＵａ’、色差データＶａ’の順で後段のＬＯＴ部８Ｃにデータを供給する。ＬＯＴ部８Ｃは、Ｙａ、Ｕａ’、Ｖａ’、Ｙｂ、Ｕｂ’、Ｖｂ’・・・と入力されるデータを時分割で処理する。
【０１２７】
以上のように、補間部７Ｃは、色差データに対して、垂直方向にｍ個の画素をｎ個に補間する処理を行う。これによって、輝度データと色差データのブロックの大きさが同一となるため、輝度と色差とでＬＯＴ部８Ｃを共有化して時分割でＬＯＴを行うことができる。したがって、単純な補間処理を行う補間部を追加することにより、大規模なＬＯＴ部を共有することができるため、回路規模を削減することができる。
【０１２８】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【０１２９】
１０，３０・・・画像圧縮送信装置、１１，３１・・・撮像部、１２，３２・・・圧縮部、１３，３３・・・送信部、２０，４０・・・受信表示装置、２１，４１・・・受信部、２２，４２・・・伸張部、２３，４３・・・表示部、１２１ａ，１２１ｂ，１２１ｃ，３２１・・・デジタル周波数解析装置、１２２，３２２・・・量子化部、１２３，３２３・・・エントロピー符号化部、３２１１・・・メモリ制御部、３２１２・・・フレームメモリ、３２１３・・・ＬＯＴ部、１Ａ，１Ｂ・・・輝度データ処理部、２Ａ，２Ｂ・・・色差データ処理部、３Ａ，３Ｂ，３Ｃ・・・メモリ制御部、４Ａ，４Ｂ，５Ａ，５Ｂ，８Ｃ・・・ＬＯＴ部（重複直交変換部）、６Ｃ・・・選択部、７Ｃ・・・補間部、３１Ａ，３１Ｂ・・・タイミング生成部（制御部）、３２Ａ，３２Ｂ・・・アドレス制御部（画像補間部）、３３Ａ，３３Ｂ・・・メモリ選択部
【技術分野】
【０００１】
本発明は、デジタル画像データを周波数データに変換するデジタル周波数解析装置に関する。
【背景技術】
【０００２】
撮像した画像をリアルタイムに無線や有線で伝送し、表示するシステムでは、伝送路によって伝送可能な伝送レート（単位時間あたりに伝送可能なデータ量）が限られている。このため、画像以外の情報を同時に伝送する、画像を多画素化するなど、伝送量が増加する場合には所定の時間内に伝送が完了しないなどの問題があった。この課題を解決するために特許文献１で示すような画像の圧縮機能を搭載した画像圧縮送信装置が提案されている。
【０００３】
図２４は、画像圧縮送信装置３０と、外部に設置する受信表示装置４０との一例の概略構成を示している。図２４において、画像圧縮送信装置３０は、撮像部３１と、圧縮部３２と、送信部３３とで構成され、受信表示装置４０は、受信部４１と、伸張部４２と、表示部４３とで構成される。
【０００４】
画像圧縮送信装置３０において、撮像部３１は被写体からの光を受光し、その受光量に応じた電気信号を画像データとして生成するイメージセンサ等から構成される。撮像部３１は、生成した画像データを後段の圧縮部３２に供給する。圧縮部３２に供給される画像データをデータ０１とする。
【０００５】
圧縮部３２はデータ０１を所定の画像圧縮方式によって符号化し、後段の送信部３３に符号化データを供給する。送信部３３に供給される符号化データをデータ０５とする。
【０００６】
送信部３３は、データ０５を、所定の伝送レートを持つ伝送路を介して、外部に設置した受信機を有する受信表示装置４０に伝送する。受信表示装置４０に伝送する符号化データをデータ０６とする。
【０００７】
受信表示装置４０において、受信部４１は、伝送されたデータ０６を受信し、伸張部４２に符号化データを供給する。伸張部４２に供給される符号化データをデータ０７とする。
【０００８】
伸張部４２は、データ０７を画像データに復号化し、後段の表示部４３に供給する。表示部４３に供給される画像データをデータ０８とする。
【０００９】
表示部４３は、データ０８に基づく画像をモニタ等の表示装置に表示する。
【００１０】
圧縮部３２において、従来例では画像の圧縮方式として、所定のサイズの画像ブロックごとにＤＣＴ（Discrete Cosine Transform）を施して画像データを周波数データに変換するＪＰＥＧやＭＰＥＧ等の方法が用いられている。しかし、内視鏡のような医療機器では診断用に高画質な画像を取得する要求があり、ＤＣＴを用いて周波数解析を行う場合、画像中の濃淡の少ない部分でブロック状のノイズが発生し、画質が劣化するという問題があった。
【００１１】
この問題の解決方法として特許文献２で示すような方法が提案されている。この方法では、ＤＣＴの代わりに、画像ブロックを重複させて画像データを周波数データに変換するＬＯＴ（Lapped Orthogonal Transform）が実行される。以下、ＬＯＴを用いた圧縮部３２について詳細に説明する。
【００１２】
図２５は、ＬＯＴにおける圧縮部３２の構成を示している。圧縮部３２は、図２５に示すように、デジタル周波数解析装置３２１と、量子化部３２２と、エントロピー符号化部３２３とで構成される。デジタル周波数解析装置３２１には撮像部３１から画像データであるデータ０１が供給される。
【００１３】
デジタル周波数解析装置３２１は、所定の画像ブロックごとにＬＯＴを施して画像データを周波数データに変換し、後段の量子化部３２２に供給する。量子化部３２２に供給される周波数データをデータ０３とする。
【００１４】
量子化部３２２は、周波数データを量子化テーブル等で設定される量子化値で除算することで量子化し、量子化データを後段のエントロピー符号化部３２３に供給する。エントロピー符号化部３２３に供給される量子化データをデータ０４とする。
【００１５】
エントロピー符号化部３２３は、量子化データに対して、出現確率が高い値に短い符号を割り当てる可変長符号化を施すことで、データ量の削減された符号化データを生成し、出力する。エントロピー符号化部３２３から出力される符号化データはデータ０５である。
【００１６】
図２６は、デジタル周波数解析装置３２１の構成を示している。デジタル周波数解析装置３２１は、図３２に示すように、メモリ制御部３２１１と、フレームメモリ３２１２と、ＬＯＴ部３２１３とで構成される。
【００１７】
メモリ制御部３２１１は、フレームメモリ３２１２の読み出しのタイミングを制御する読み出し開始信号Ｃをフレームメモリ３２１２に供給する。フレームメモリ３２１２は１フレーム分の画像データ（データ０１）を記憶し、記憶した画像データを、読み出し開始信号Ｃに応じて後段のＬＯＴ部３２１３に供給する。ＬＯＴ部３２１３に供給される画像データをデータ０２とする。
【００１８】
ＬＯＴ部３２１３は、画像データであるデータ０２に対して前述のＬＯＴを施して周波数データに変換する。ＬＯＴ部３２１３から出力される周波数データはデータ０３である。
【００１９】
ここで、ＬＯＴに関して説明する。ＬＯＴは、隣接するブロックがそれぞれ重複した領域を持つように画像を複数のブロックに分割（ブロック化）しブロック単位で圧縮を行うものである。図２７は、ＬＯＴを使用する場合のブロック化の例を示す。図２７（ａ）が、水平方向に重複する例である。この場合、ブロック０では最初の１６ラインの１６画素（画素１〜画素１６）のデータがブロック化される。続いて、隣接するブロック１では８画素分ずらした画素９から画素２４のデータがブロック化される。すなわち、８画素分が重複している。同様にブロック１と隣接するブロック２についても８画素ずつ重複する。図２７（ｂ）が、垂直方向に重複する例である。この場合、ブロック０に隣接するブロックｎでは８ライン分ずらしたライン９からライン２４のデータがブロック化される。水平方向と同様に、８ライン分が重複する。
【００２０】
図２８は、水平および垂直の重複直交変換処理を示す。図２８（ａ）は水平方向の重複直交変換処理を示す。前述したように、ブロック０とブロック１では重複して処理が行われる。これらのそれぞれのブロックに対し直交変換処理が行われる。この時、１６×１６画素に対して水平方向の直交変換を行った結果は１６×８の周波数データとなる。図２８（ｂ）は垂直方向の重複直交変換処理を示す。水平方向と同様にブロック０とブロックｎでは重複して処理が行われる。それぞれのブロックの１６×８の画像データに対し直交変換処理を行い、８×８個の周波数データの結果が得られる。
【００２１】
なお、伸張時にはそれぞれのブロックで８×８個の周波数データから１６×１６画素の画像データが生成される。８画素の重複部分を重畳することによりブロックノイズの無い画像が出力される。上述した水平および垂直の重複直交変換処理は、特許文献３で示されるＬＯＴ演算装置で開示されている。
【００２２】
上記のように、ＬＯＴではブロックを重複させて直交変換するため、特許文献２に示すように、画像端の画素を折り返すことによって、画像の境界線に対して対称な画素を生成し、重複する画素数の半分の画素数分、画像を拡張する必要がある。例えば８画素を重複させて直交変換をする場合、図２９に示すように、垂直方向に関して上下に４ラインずつ折り返した画像を直交変換する。したがって、ＬＯＴを用いたデジタル周波数解析装置は、画像データの折り返し処理を行うＬＯＴ部を有する。
【００２３】
ここで、内視鏡で使用される撮像部の出力フォーマットについて説明する。内視鏡の撮像部の出力フォーマットとしてＹＵＶ４２２線順次方式が用いられることが多い。これは、暗い体内の撮影のために、撮像部には補色フィルタを用いた色差線順次型の撮像感度が高いイメージセンサを用いるからである。
【００２４】
図３０は撮像部からのＹＵＶ４２２出力を示す。輝度データ（Ｙ）は、１ラインの周期を示す水平同期信号に同期して毎ライン出力され、色差データは赤色の色差（Ｕ）と青色の色差（Ｖ）の各データが１ライン毎に交互に出力される。図３０では赤色の色差（Ｕ）のデータが先に入力される例であるが、撮像部によっては青色の色差（Ｖ）のデータが先に入力される場合もある。
【００２５】
上記のようにＹＵＶ４２２線順次方式では輝度データのライン数は色差データの２倍となる。一般に、圧縮処理では輝度データ、色差データは独立の処理系によって処理されるが、色差データの処理量に対する輝度データの処理量も２倍になる。すなわち、それぞれのデータに対して同等の処理を行うと、各色差データの処理時間は輝度データの処理時間の半分となる。しかし、伸張後の画像を再構成するにあたり、輝度データと色差データを同期させる必要があるため、輝度データと色差データの圧縮処理は同期をとって行われる。
【００２６】
図３１は、ＬＯＴを用いた圧縮部３２の処理を示す。一般に、撮像部３１から入力される画像データは、１フレームの周期を示す垂直同期信号と１ラインの周期を示す水平同期信号とに同期して圧縮部３２に供給される。図３１に示すように、垂直同期信号の周期をＴｖ時間、水平同期信号の周期をＴｈ時間として以下の説明に用いる。
【００２７】
フレームメモリ３２１２に記憶する画像データをデータ０１、メモリ制御部３２１１からの読み出し開始信号Ｃを受けてフレームメモリ３２１２から読み出してＬＯＴ部３２１３に供給される画像データをデータ０２、ＬＯＴ部３２１３によって画像データから周波数データに変換された周波数データをデータ０３、量子化部３２２によって量子化された量子化データをデータ０４、エントロピー符号化部３２３によって符号化された符号化データをデータ０５とする。
【００２８】
データ０１はフレーム単位でフレームメモリ３２１２に順次書き込まれる。フレームメモリ３２１２では１フレーム分のデータ０１が書き込まれた後、メモリ制御部３２１１から読み出し信号Ｃを受けてデータの読み出しが行われるため、データ０１に対してデータ０２にはＴｖ時間の遅延が生じる。データ０３〜０５は、各処理部の処理時間をかけて処理され、図３１に示す処理遅延を伴い、出力される。よって、圧縮部３２では、画像データが入力されてから符号化データが出力されるまでにＴｖ＋Δ（各処理に要する時間）分の処理時間を要する。
【００２９】
図３２は、圧縮部３２へ画像データが入力されてから表示部４３で画像を表示するまでの処理を示す。撮像部３１から出力され、圧縮部３２に入力される画像データはデータ０１であり、圧縮部３２から出力され、送信部３３に入力される符号化データはデータ０５である。送信部３３から送信され、受信部４１で受信されるデータはデータ０６であり、伸張部４２に入力される符号化データはデータ０７であり、伸張部４２から出力され、表示部４３に入力される画像データはデータ０８である。
【００３０】
データ０１は、圧縮部３２によって、前述した処理時間をかけてデータ０５に変換される。データ０５は、データの送受信による遅延を伴って、データ０６として受信部４１で受信される。データ０７は伸張部４２によって伸張処理され、遅延を伴ってデータ０８として表示部４３に入力される。よって、フレームメモリ３２１２に１フレーム分のデータを記憶してから読み出すことと、各処理部の処理に伴う遅延とによって、撮像から表示までに少なくともＴｖ時間以上の時間を要する。
【先行技術文献】
【特許文献】
【００３１】
【特許文献１】特表２００４−５３６６４４号公報
【特許文献２】特開平６−２３７４４９号公報
【特許文献３】特開平０４−２８０１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【００３２】
前述したように、従来技術ではＬＯＴを用いて高画質な画像を得ている。内視鏡のように画像を閲覧しながらユーザが処置を行う用途では、撮像から表示までの遅延時間をなるべく短くしたいという要求がある。しかし、従来技術では画像圧縮処理の遅延時間を短くするという観点については考慮されていない。
【００３３】
本発明は、上述した課題に鑑みてなされたものであって、画像の圧縮に伴う遅延を低減することができるデジタル周波数解析装置を提供することを目的とする。
【課題を解決するための手段】
【００３４】
本発明は、上記の課題を解決するためになされたもので、輝度データを処理する輝度データ処理部と色差データを処理する色差データ処理部とを備え、前記輝度データと前記色差データとで構成されるデジタル画像データを入力して輝度、色差成分毎の周波数データを出力するデジタル周波数解析装置であって、前記輝度データ処理部は、前記輝度データを記憶する第１のバッファメモリと、前記第１のバッファメモリに記憶された前記輝度データを読み出し、前記輝度データに対して、画像の上下の端部において所定のライン数分の画素を補間して画像を拡張する処理を行う第１の画像補間部と、前記第１の画像補間部によって処理された前記輝度データに対して、隣接するブロックがオーバーラップするように画像を分割した前記ブロックの単位で直交変換を行い周波数データに変換する第１の重複直交変換部とを有し、前記色差データ処理部は、前記色差データを記憶する第２のバッファメモリと、前記第２のバッファメモリに記憶された前記色差データを読み出し、前記色差データに対して、画像の上下の端部において所定のライン数分の画素を補間して画像を拡張する処理を行う第２の画像補間部と、前記第２の画像補間部によって処理された前記色差データに対して、隣接するブロックが重複するように画像を分割した前記ブロックの単位で前記色差データを直交変換して周波数データに変換する第２の重複直交変換部とを有し、前記第１、第２のバッファメモリに記憶された前記輝度データ、前記色差データのライン数と、所定期間に前記第１、第２の重複直交変換部で処理されるライン数とに応じて、前記第１、第２のバッファメモリから前記輝度データ、前記色差データを読み出すタイミングを制御する制御部を備えたことを特徴とするデジタル周波数解析装置である。
【００３５】
また、本発明のデジタル周波数解析装置において、前記デジタル画像データは、輝度色差４２２形式であることを特徴とする。
【００３６】
また、本発明のデジタル周波数解析装置において、前記第１、第２の画像補間部は、画像の最上端および最下端を境界として画像の内側および外側の所定のライン数分が対称となるように画像の内側の前記所定のライン数分の画素を画像の外側に折り返して画像を拡張することを特徴とする。
【００３７】
また、本発明のデジタル周波数解析装置において、前記第１の重複直交変換部は、ｎライン（ｎは正の整数）からなる前記ブロックの単位で重複直交変換処理を行い、前記第２の重複直交変換部は、ｍライン（ｍは正の整数）からなる前記ブロックの単位で重複直交変換処理を行い、前記ｎとｍとの比は入力される前記輝度データと前記色差データの入力ライン数の比と同一であることを特徴とする。
【００３８】
また、本発明のデジタル周波数解析装置において、前記ｎは前記ｍより大きく、前記第２の重複直交変換部は、前記第２のバッファメモリに記憶された各ブロックの前記色差データに対して、画像の垂直方向に画素を補間して前記ｍラインを前記ｎラインに補間する処理を行う補間部を含み、前記ｎライン単位で重複直交変換処理を行うことを特徴とする。
【００３９】
また、本発明のデジタル周波数解析装置において、前記第１、第２のバッファメモリの容量は１フレーム分の容量よりも小さいことを特徴とする。
【発明の効果】
【００４０】
本発明によれば、直交変換に必要なライン数の輝度データ、色差データが第１、第２のバッファメモリに記憶された時点で輝度データ、色差データの読み出しが開始されるので、画像の圧縮に伴う遅延を低減することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の第１の実施形態による内視鏡システムの構成を示すブロック図である。
【図２】本発明の第１の実施形態による圧縮部の構成を示すブロック図である。
【図３】本発明の第１の実施形態における２回のＬＯＴに必要なライン数を示す参考図である。
【図４】本発明の第１の実施形態によるデジタル周波数解析装置の構成を示すブロック図である。
【図５】本発明の第１の実施形態によるメモリ制御部の構成を示すブロック図である。
【図６】本発明の第１の実施形態によるデジタル周波数解析装置の動作を示すタイミングチャートである。
【図７】本発明の第１の実施形態によるデジタル周波数解析装置の動作を示すタイミングチャートである。
【図８】本発明の第１の実施形態によるデジタル周波数解析装置の動作を示すタイミングチャートである。
【図９】本発明の第１の実施形態によるデジタル周波数解析装置の動作を示すタイミングチャートである。
【図１０】本発明の第１の実施形態による圧縮部の動作を示すタイミングチャートである。
【図１１】本発明の第１の実施形態による画像圧縮送信装置および受信表示装置の動作を示すタイミングチャートである。
【図１２】本発明の第２の実施形態による圧縮部の構成を示すブロック図である。
【図１３】本発明の第２の実施形態における２回のＬＯＴに必要なライン数を示す参考図である。
【図１４】本発明の第２の実施形態によるデジタル周波数解析装置の構成を示すブロック図である。
【図１５】本発明の第２の実施形態によるメモリ制御部の構成を示すブロック図である。
【図１６】本発明の第２の実施形態によるデジタル周波数解析装置の動作を示すタイミングチャートである。
【図１７】本発明の第２の実施形態によるデジタル周波数解析装置の動作を示すタイミングチャートである。
【図１８】本発明の第２の実施形態によるデジタル周波数解析装置の動作を示すタイミングチャートである。
【図１９】本発明の第３の実施形態による圧縮部の構成を示すブロック図である。
【図２０】本発明の第３の実施形態によるデジタル周波数解析装置の構成を示すブロック図である。
【図２１】本発明の第３の実施形態におけるデータの読み出し方法を示す参考図である。
【図２２】本発明の第３の実施形態における垂直方向の補間方法を示す参考図である。
【図２３】本発明の第３の実施形態における時分割処理を説明するためのタイミングチャートである。
【図２４】従来の画像圧縮送信装置および受信表示装置の構成を示すブロック図である。
【図２５】従来の圧縮部の構成を示すブロック図である。
【図２６】従来のデジタル周波数解析装置の構成を示すブロック図である。
【図２７】ＬＯＴにおけるブロックを示す参考図である。
【図２８】ＬＯＴの処理方法を示す参考図である。
【図２９】画像の折り返し処理方法を示す参考図である。
【図３０】ＹＵＶ４２２線順次方式によるデータ出力を示すタイミングチャートである。
【図３１】従来の圧縮部の動作を示すタイミングチャートである。
【図３２】従来の画像圧縮送信装置および受信表示装置の動作を示すタイミングチャートである。
【発明を実施するための形態】
【００４２】
以下、図面を参照し、本発明の実施形態を説明する。
【００４３】
（第１の実施形態）
まず、本発明の第１の実施形態を説明する。第１の実施形態は、撮像した画像をリアルタイムに無線や有線で伝送し、表示する内視鏡システムに本発明を適用したものである。図１は、本実施形態による内視鏡システムの構成を示している。図１に示すように内視鏡システムは、画像圧縮送信装置１０と、外部に設置する受信表示装置２０とで構成される。
【００４４】
画像圧縮送信装置１０は、撮像部１１と、圧縮部１２と、送信部１３とで構成され、受信表示装置２０は、受信部２１と、伸張部２２と、表示部２３とで構成される。
【００４５】
画像圧縮送信装置１０において、撮像部１１は被写体からの光を受光し、その受光量に応じた電気信号を画像データとして生成するイメージセンサ等から構成される。撮像部１１は、生成した画像データを後段の圧縮部１２に供給する。圧縮部１２に供給される画像データをデータＡ０１とする。
【００４６】
圧縮部１２はデータＡ０１を所定の画像圧縮方式によって符号化し、後段の送信部１３に符号化データを供給する。送信部１３に供給される符号化データをデータＡ０５とする。
【００４７】
送信部１３は、データＡ０５を、所定の伝送レートを持つ伝送路を介して、外部に設置した受信機を有する受信表示装置２０に伝送する。受信表示装置２０に伝送する符号化データをデータＡ０６とする。
【００４８】
受信表示装置２０において、受信部２１は、伝送されたデータＡ０６を受信し、伸張部２２に符号化データを供給する。伸張部２２に供給される符号化データをデータＡ０７とする。
【００４９】
伸張部２２は、データＡ０７を画像データに復号化し、後段の表示部２３に供給する。表示部２３に供給される画像データをデータＡ０８とする。
【００５０】
表示部２３は、データＡ０８に基づく画像をモニタ等の表示装置に表示する。
【００５１】
本発明のデジタル周波数解析装置は圧縮部１２に搭載される。以下、圧縮部１２の構成を説明する。図２は圧縮部１２の構成を示している。圧縮部１２は、図２に示すように、デジタル周波数解析装置１２１ａと、量子化部１２２と、エントロピー符号化部１２３とで構成される。デジタル周波数解析装置１２１ａには撮像部１１から画像データであるデータＡ０１が供給される。
【００５２】
デジタル周波数解析装置１２１ａは、所定の画像ブロックごとにＬＯＴを施して画像データを周波数データに変換し、後段の量子化部１２２に供給する。量子化部１２２に供給される周波数データをデータＡ０３とする。
【００５３】
量子化部１２２は、周波数データを量子化テーブル等で設定される量子化値で除算することで量子化し、量子化データを後段のエントロピー符号化部１２３に供給する。エントロピー符号化部１２３に供給される量子化データをデータＡ０４とする。
【００５４】
エントロピー符号化部１２３は、量子化データに対して、出現確率が高い値に短い符号を割り当てる可変長符号化を施すことで、データ量の削減された符号化データを生成し、出力する。エントロピー符号化部１２３から出力される符号化データはデータＡ０５である。
【００５５】
次に、デジタル周波数解析装置１２１ａについて詳しく説明する。デジタル周波数解析装置１２１ａは、前述したように輝度データと色差データをＬＯＴによって周波数データに変換するものである。本実施形態でもＬＯＴは従来例と同様に１６×１６画素を１ブロックとし、８画素を重複させて直交変換を行う。すなわち、垂直方向のＬＯＴを1回行うためには１６ラインの入力が必要となる。
【００５６】
ここで、本実施形態の画像圧縮送信装置１０は入力フォーマットがＹＵＶ４２２線順次であり、Ｔｖ時間に入力される色差データのライン数に比べて輝度データのライン数は２倍となる。このため、輝度データの垂直方向のＬＯＴの処理回数も色差データの処理回数に比べて２倍となる。
【００５７】
また、本実施形態では、受信表示装置２０において遅延時間を最小限に抑えた画像表示を行うため、輝度データと色差データの圧縮処理を同期させる必要がある。すなわち、輝度データと色差データの圧縮処理を同期して行うためには、色差の垂直方向のＬＯＴを１回行う間に輝度の垂直方向のＬＯＴを２回行う必要がある。
【００５８】
また、ＬＯＴではブロックを重複させて直交変換するため、画像端の画素を折り返すことによって画像の境界線に対して対称な画素を生成し、重複する画素数の半分の画素数分、画像を拡張する必要がある。本実施形態の例では４画素の拡張が必要であり、拡張された画像データがＬＯＴで周波数データに変換される。
【００５９】
図２９は垂直方向の画像の折り返し方法を示す。画像の上端部に位置するライン１〜４のデータが画像の折り返しに使用される。図２９に示すように、画像の最上端を境界として画像の内側および外側の４ライン分が対称となるように、画像の内側のライン１〜４のデータが画像の外側に補間され、画像が拡張される。すなわち、境界から画像の外側に向かってライン１〜４のデータがこの順に並ぶようにデータが補間される。画像の下端部でも、画像の最下端を境界として画像の内側および外側の４ライン分が対称となるように、画像の内側の４ライン分のデータが画像の外側に補間され、画像が拡張される。水平方向も同様に４画素分の折り返しが行われる。
【００６０】
図３に示すように、ＬＯＴを２回行うために必要なライン数は、２回のＬＯＴで８ライン分が重複するため、２４ラインである。図３に示す画像データは、上記の折り返しによる画像の拡張が行われた後のデータである。
【００６１】
図４はデジタル周波数解析装置１２１ａの構成を示している。デジタル周波数解析装置１２１ａは、輝度データ処理部１Ａと、色差データ処理部２Ａと、メモリ制御部３Ａとで構成される。
【００６２】
輝度データ処理部１ＡはＬＯＴによって輝度データを周波数データに変換する。色差データ処理部２ＡはＬＯＴによって色差データを周波数データに変換する。メモリ制御部３Ａは、輝度データの処理と色差データの処理とが同期して行われるように、輝度データ処理部１Ａに含まれるバッファメモリＹ１ａ〜Ｙ６ａと、色差データ処理部２Ａに含まれるバッファメモリＵ１ａ〜Ｕ３ａ、Ｖ１ａ〜Ｖ３ａとのデータの書き込みおよび読み出しを制御する。
【００６３】
輝度データ処理部１Ａは、バッファメモリＹ１ａ〜Ｙ６ａと、ＬＯＴ部４Ａとで構成される。バッファメモリＹ１ａ〜Ｙ６ａは、デジタル周波数解析装置１２１ａに入力された輝度データを記憶する。バッファメモリＹ１ａ〜Ｙ６ａのメモリアドレスをｙ１ａ〜ｙ６ａとする。ＬＯＴ部４Ａは、バッファメモリＹ１ａ〜Ｙ６ａから読み出された輝度データに対してブロック単位で直交変換を行い周波数データに変換する。
【００６４】
色差データ処理部２Ａは、バッファメモリＵ１ａ〜Ｕ３ａと、バッファメモリＶ１ａ〜Ｖ３ａと、ＬＯＴ部５Ａとで構成される。バッファメモリＵ１ａ〜Ｕ３ａ、Ｖ１ａ〜Ｖ３ａは、デジタル周波数解析装置１２１ａに入力された色差データを記憶する。バッファメモリＵ１ａ〜Ｕ３ａのメモリアドレスをｕ１ａ〜ｕ３ａ、バッファメモリＶ１ａ〜Ｖ３ａのメモリアドレスをｖ１ａ〜ｖ３ａとする。ＬＯＴ部５Ａは、バッファメモリＵ１ａ〜Ｕ３ａ、Ｖ１ａ〜Ｖ３ａから読み出された色差データに対してブロック単位で直交変換を行い周波数データに変換する。
【００６５】
図５はメモリ制御部３Ａの構成を示している。メモリ制御部３Ａは、タイミング生成部３１Ａと、アドレス制御部３２Ａと、メモリ選択部３３Ａとで構成される。タイミング生成部３１Ａは、輝度データ処理部１Ａと色差データ処理部２Ａのそれぞれに、バッファメモリからのデータの読み出しの開始を指示する読み出し開始信号Ａを出力する。アドレス制御部３２Ａは、バッファメモリＹ１ａ〜Ｙ６ａ、Ｕ１ａ〜Ｕ３ａ、Ｖ１ａ〜Ｖ３ａのメモリアドレスを出力する。メモリ選択部３３Ａは、データを読み出す対象となるバッファメモリを指示するメモリ選択信号Ａを出力する。
【００６６】
次に、輝度データ処理部１ＡにおけるバッファメモリＹ１ａ〜Ｙ６ａのデータの書き込みについて、図６〜図８を参照して詳しく説明する。バッファメモリＹ１ａ〜Ｙ６ａに入力されるデータの最初の４ライン分はバッファメモリＹ１ａに書き込まれる。これは、後述するようにバッファメモリＹ１ａの読み出しを制御することによって画像を折り返す処理を行うためである。次の８ライン分のデータはバッファメモリＹ２ａに書き込まれ、その次の８ライン分のデータはバッファメモリＹ３ａに書き込まれる。このようにメモリ制御部３Ａのメモリ選択部３３Ａによって各バッファメモリＹ１ａ〜Ｙ６ａが選択され、バッファメモリＹ１ａ〜Ｙ６ａにデータが書き込まれる。
【００６７】
次に、輝度データ処理部１ＡにおけるバッファメモリＹ１ａ〜Ｙ６ａのデータの読み出しについて、図６〜図８を参照して詳しく説明する。メモリ制御部３Ａのタイミング生成部３１Ａによって、バッファメモリＹ１ａ〜Ｙ６ａに書き込まれたデータの読み出しが開始される。
【００６８】
後段のＬＯＴ部４Ａでは１６×１６画素を１ブロックとし、ブロック間で８画素を重複して直交変換を行うため、画像端の有効領域と無効領域の境界線に対して対称性を有するように４画素分を折り返して拡張したデータが必要である。また、前述したように輝度データについては、垂直方向のＬＯＴ２回分の処理に必要な２４ライン分を読み出す必要がある。アドレス制御部３２Ａは、上記を満たすようにメモリアドレスを生成し、バッファメモリＹ１ａ〜Ｙ６ａのデータの読み出しを制御する。
【００６９】
この読み出しの動作について、以下で詳しく説明する。色差データのＬＯＴに同期するため、タイミング生成部３１Ａは、データが入力されてから２４Ｔｈ時間が経過した後に読み出し開始信号Ａを各バッファメモリＹ１ａ〜Ｙ６ａに供給する。アドレス制御部３２Ａは、垂直方向に拡張したデータを得るために、まず、４ライン目を読み出すようにメモリアドレスｙ１ａをバッファメモリＹ１ａに供給する。続いて３、２、１ライン目をこの順に読み出すようにメモリアドレスｙ１ａをバッファメモリＹ１ａに供給する。そしてもう一度、１、２、３、４ライン目をこの順に読み出すようにメモリアドレスｙ１ａをバッファメモリＹ１ａに供給する。よって、バッファメモリＹ１ａから合計８ライン分のデータが読み出される。
【００７０】
また、バッファメモリＹ１ａから上記の８ライン分のデータが読み出される期間において、バッファメモリＹ２ａから５〜１２ライン目までの８ライン分のデータが読み出される。さらに、バッファメモリＹ１ａから上記の８ライン分のデータが読み出される期間において、バッファメモリＹ３ａから１３〜２０ライン目までの８ライン分のデータが読み出される。このようにして、バッファメモリＹ１ａ、Ｙ２ａ、Ｙ３ａから２４ライン分のデータが読み出され、後段のＬＯＴ部４Ａに供給される。
【００７１】
ＬＯＴ部４Ａは、入力されたデータを、１６×１６の画素を１ブロックとして８画素を重複しながら８×８の周波数データに変換し、後段の量子化部１２２に供給する。上記では画像の折り返しを行って画像を拡張したが、例えば入力データの１ライン目をコピーして画像を拡張させてもよい。画像の下端部についても、上記と同様に垂直方向に４ライン分のデータが補間され、画像が拡張される。
【００７２】
次に、色差データ処理部２ＡにおけるバッファメモリＵ１ａ〜Ｕ３ａのデータの書き込みについて、図６〜図８を参照して詳しく説明する。色差データについては、ＵとＶの各データが１ライン毎に交互に入力されるため、ＬＯＴに必要なライン数が揃うまでの時間は輝度データと比べて２倍となる。
【００７３】
バッファメモリＵ１ａ〜Ｕ３ａには奇数ラインが入力される。バッファメモリＵ１ａ〜Ｕ３ａに入力されるデータの最初の４ライン分はバッファメモリＵ１ａに書き込まれる。次の８ライン分のデータはバッファメモリＵ２ａに書き込まれ、その次の８ライン分のデータはバッファメモリＵ３ａに書き込まれる。このようにメモリ制御部３Ａのメモリ選択部３３Ａによって各バッファメモリＵ１ａ〜Ｕ３ａが選択され、バッファメモリＵ１ａ〜Ｕ３ａにデータが書き込まれる。
【００７４】
次に、色差データ処理部２ＡにおけるバッファメモリＵ１ａ〜Ｕ３ａのデータの読み出しについて、図６〜図８を参照して詳しく説明する。メモリ制御部３Ａのタイミング生成部３１Ａによって、バッファメモリＵ１ａ〜Ｕ３ａに書き込まれたデータの読み出しが開始される。
【００７５】
後段のＬＯＴ部５Ａでは、輝度データと同様に１６×１６画素を１ブロックとし、ブロック間で８画素を重複して直交変換を行うため、画像端の有効領域と無効領域の境界線に対して対称性を有するように４画素分を折り返して拡張したデータが必要である。また、前述したように色差データについては、垂直方向のＬＯＴ１回分の処理に必要な１６ライン分を読み出す必要がある。アドレス制御部３２Ａは、上記を満たすようにメモリアドレスを生成し、バッファメモリＵ１ａ〜Ｕ３ａのデータの読み出しを制御する。
【００７６】
この読み出しの動作について、以下で詳しく説明する。輝度データの読み出し開始と同時刻にタイミング生成部３１Ａは読み出し開始信号ＡをバッファメモリＵ１ａ、Ｕ２ａに供給する。アドレス制御部３２Ａは、垂直方向に拡張したデータを得るために、まず、データの７ライン目を読み出すようにメモリアドレスｕ１ａをバッファメモリＵ１ａに供給する。続いて、５、３、１ライン目をこの順に読み出すようにメモリアドレスｕ１ａをバッファメモリＵ１ａに供給する。そしてもう一度、１、３、５、７ライン目をこの順に読み出すようにメモリアドレスｕ１ａをバッファメモリＵ１ａに供給する。よって、バッファメモリＵ１ａから合計８ライン分のデータが読み出される。
【００７７】
また、バッファメモリＵ１ａから上記の８ライン分のデータが読み出される期間において、バッファメモリＵ２ａから９、１１、１３、１５、１７、１９、２１、２３ライン目の８ライン分のデータが読み出される。このようにして、バッファメモリＵ１ａ、Ｕ２ａから１６ライン分のデータが読み出され、後段のＬＯＴ部５Ａに供給される。
【００７８】
ＬＯＴ部５Ａは、入力されたデータを、１６×１６の画素を１ブロックとして８画素を重複しながら８×８の周波数データに変換し、後段の量子化部１２２に供給する。上記では画像の折り返しを行って画像を拡張したが、例えば入力データの１ライン目をコピーして画像を拡張させてもよい。画像の下端部についても、上記と同様に垂直方向に４ライン分のデータが補間され、画像が拡張される。
【００７９】
バッファメモリＶ１ａ〜Ｖ３ａには偶数ラインが入力される。バッファメモリＶ１ａ〜Ｖ３ａのデータの書き込みおよび読み出しの動作はバッファメモリＵ１ａ〜Ｕ３ａと同様である。
【００８０】
次に、図９を参照してデジタル周波数解析装置１２１ａの動作を説明する。輝度データ処理部１Ａ、色差データ処理部２Ａに含まれるバッファメモリに書き込まれる画像データはデータＡ０１である。タイミング生成部３１Ａから読み出し開始信号Ａを受けてバッファメモリから読み出されてＬＯＴ部４Ａ、５Ａに供給される画像データをデータＡ０２とする。ＬＯＴ部４Ａ、５Ａで画像データから周波数データに変換されたデータはデータＡ０３である。
【００８１】
データＡ０１はバッファメモリに順次書き込まれる。データＡ０２は、タイミング生成部３１Ａから読み出し開始信号Ａを受けてバッファメモリから読み出される。データＡ０２は、データＡ０１の書き込み開始から２４Ｔｈ時間が経過した後に読み出される。これは、ＹＵＶ４２２線順次フォーマットでは同期していない輝度と色差について、ＬＯＴの開始時刻を揃えるためである。
【００８２】
データＡ０３はＬＯＴ部４Ａ、５Ａの処理結果であるため、データＡ０２と比べて図９に示すような遅延時間αを伴って出力される。よって、デジタル周波数解析装置１２１ａに画像データが入力されてから周波数データが出力されるまでに要する時間は２４Ｔｈ＋αである。
【００８３】
次に、図１０を参照して、デジタル周波数解析装置１２１ａを含む圧縮部１２の動作を説明する。デジタル周波数解析装置１２１ａに入力される画像データはデータＡ０１であり、デジタル周波数解析装置１２１ａによって画像データから周波数データに変換されたデータはデータＡ０３である。量子化部１２２によって量子化された量子化データはデータＡ０４であり、エントロピー符号化部１２３によって符号化された符号化データはデータＡ０５である。
【００８４】
デジタル周波数解析装置１２１ａにデータＡ０１が入力されてからデータＡ０３が出力されるまでに要する時間は、タイミングチャートで示すように２４Ｔｈ＋αである。データＡ０４、Ａ０５は、量子化部１２２、エントロピー符号化部１２３でそれぞれの処理時間をかけて処理され、処理遅延を伴って出力される。
【００８５】
次に、図１１を参照して、圧縮部１２を含む画像圧縮送信装置１０における撮像から、外部に設置する受信表示装置２０における表示までの動作を説明する。撮像部１１から出力され、圧縮部１２に入力される画像データはデータＡ０１であり、圧縮部１２から出力され、送信部１３に入力される符号化データはデータＡ０５である。送信部１３から送信され、受信部２１で受信される符号化データはデータＡ０６であり、受信部２１から出力され、伸張部２２に入力される符号化データはデータＡ０７であり、伸張部２２から出力され、表示部２３に入力される画像データはデータＡ０８である。
【００８６】
データＡ０１は、圧縮部１２によって、前述した処理時間をかけてデータＡ０５として画像圧縮される。データＡ０５は、データの送受信による遅延を伴って送信され、受信部２１はデータＡ０６として受信する。受信部２１から伸張部２２に供給されるデータＡ０７は伸張部２２によって伸張処理され、遅延を伴ってデータＡ０８として表示部２３に入力される。伸張部２２は、圧縮部１２が行う処理の手順とは逆の手順の処理を行う。伸張部２２は、８ライン分の画像データに相当する分以上の符号化データが入力された時点で処理を開始可能であり、圧縮部１２の構成から容易に処理内容を推察できる。
【００８７】
従来技術では、圧縮部３２のフレームメモリに画像データを１フレーム分記憶してから読み出すことによって、撮像から表示までに少なくともＴｖの時間を要していた。一方、本実施形態によるデジタル周波数解析装置１２１ａを用いた圧縮部１２は、ＬＯＴを行うのに必要なライン数分の画像データをバッファメモリに記憶した時刻に読み出しを開始するため、撮像から表示までに要する遅延時間をＴｖ時間から２４Ｔｈ時間に短縮することができる。以上の構成により、バッファメモリがＬＯＴに必要なライン数分の画像データを記憶した時刻に読み出しを開始し、かつ折り返しによって画像を拡張してＬＯＴを行うため、圧縮部１２での処理遅延を最小限にすることができる。本実施形態は、ＹＵＶ４２２線順次方式への適用が望ましい。
【００８８】
また、画像の最上端および最下端を境界として画像の内側および外側の所定のライン数分が対称となるように画像の内側の所定のライン数分の画素を画像の外側に折り返して画像を拡張することによって、出力画角を入力画角と同一にすることができ、ＬＯＴによる画像周辺の画質劣化を防ぐことができる。
【００８９】
また、ＬＯＴを行うのに必要なライン数分の画像データをバッファメモリに記憶するので、各バッファメモリの容量を１フレーム分の容量よりも小さくすることが可能となるため、回路規模を削減することができる。
【００９０】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。第２の実施形態も、第１の実施形態と同様の画像圧縮送信装置１０に含まれる。図１２は圧縮部１２の構成を示している。第２の実施形態によるデジタル周波数解析装置１２１ｂは圧縮部１２に含まれる。デジタル周波数解析装置１２１ｂ以外の構成は第１の実施形態と同様である。デジタル周波数解析装置１２１ｂに供給される画像データをデータＢ０１とし、量子化部１２２に供給される周波数データをデータＢ０３とし、エントロピー符号化部１２３に供給される量子化データをデータＢ０４とし、エントロピー符号化部１２３から出力される符号化データをデータＢ０５とする。
【００９１】
第２の実施形態では、輝度信号に対しての垂直方向のＬＯＴ処理はｎライン単位（ｎは正の整数）で行われ、色差信号に対しての垂直方向のＬＯＴ処理はｍライン単位（ｍは正の整数）で行われる。ただし、ｎとｍとの比は、１Ｔｖ期間に入力される輝度信号と色差信号の入力ライン数の比と同一である。
【００９２】
輝度データの垂直方向の８画素を重複させて１６画素単位でＬＯＴを行う場合の例を示す。図１３に示すように、ＹＵＶ４２２線順次フォーマットでは、輝度データのライン数に比べて色差データのライン数は半分である。本実施形態では、図１３に示すように色差の垂直方向のＬＯＴは、４画素を重複して８画素単位で行う。
【００９３】
すなわち、輝度データに関して、垂直方向のＬＯＴに必要なライン数は１６ライン分であり、また、色差データに関して、垂直方向のＬＯＴに必要なライン数は８ライン分となる。このように色差の垂直方向のＬＯＴの単位を１６画素から８画素にすると、色差のＬＯＴの回数が２倍となり、輝度のＬＯＴ回数と一致する。以上により、色差の垂直方向のＬＯＴを１回行う間に輝度の垂直方向のＬＯＴを１回行うことで輝度と色差の圧縮処理が同期する。なお、ＬＯＴでは、重複する画素数の半分の画素数分を折り返して画像を拡張する必要があるが、このことを色差の垂直方向のＬＯＴに当てはめると、２画素分、画像を拡張することになる。
【００９４】
図１４はデジタル周波数解析装置１２１ｂの構成を示している。デジタル周波数解析装置１２１ｂは、輝度データ処理部１Ｂと、色差データ処理部２Ｂと、メモリ制御部３Ｂとで構成される。
【００９５】
輝度データ処理部１ＢはＬＯＴによって輝度データを周波数データに変換する。色差データ処理部２ＢはＬＯＴによって色差データを周波数データに変換するが、垂直方向のＬＯＴの単位は輝度の半分のサイズで行う。メモリ制御部３Ｂは、輝度データの処理と色差データの処理とが同期して行われるように、輝度データ処理部１Ｂに含まれるバッファメモリＹ１ｂ〜Ｙ３ｂと、色差データ処理部２Ｂに含まれるバッファメモリＵ１ｂ〜Ｕ３ｂ、Ｖ１ｂ〜Ｖ３ｂとのデータの書き込みおよび読み出しを制御する。
【００９６】
輝度データ処理部１Ｂは、バッファメモリＹ１ｂ〜Ｙ３ｂと、ＬＯＴ部４Ｂとで構成される。バッファメモリＹ１ｂ〜Ｙ３ｂは、デジタル周波数解析装置１２１ｂに入力された輝度データを記憶する。バッファメモリＹ１ｂ〜Ｙ３ｂは、それぞれ画像データを８ライン分記憶できるメモリである。バッファメモリＹ１ｂ〜Ｙ３ｂのメモリアドレスをｙ１ｂ〜ｙ６ｂとする。ＬＯＴ部４Ｂは、バッファメモリＹ１ｂ〜Ｙ３ｂから読み出された輝度データに対してブロック単位で直交変換を行い周波数データに変換する。ＬＯＴ部４Ｂは、第１の実施形態と同様に垂直方向のＬＯＴを１６画素単位で行う。
【００９７】
色差データ処理部２Ｂは、バッファメモリＵ１ｂ〜Ｕ３ｂと、バッファメモリＶ１ｂ〜Ｖ３ｂと、ＬＯＴ部５Ｂとで構成される。バッファメモリＵ１ｂ〜Ｕ３ｂ、Ｖ１ａ〜Ｖ３ａは、デジタル周波数解析装置１２１ｂに入力された色差データを記憶する。バッファメモリＵ１ｂ〜Ｕ３ｂのメモリアドレスをｕ１ｂ〜ｕ３ｂ、バッファメモリＶ１ｂ〜Ｖ３ｂのメモリアドレスをｖ１ｂ〜ｖ３ｂとする。バッファメモリＵ１ｂ〜Ｕ３ｂ、Ｕ１ｂ〜Ｖ３ｂは、それぞれ画像データを４ライン分記憶できるメモリである。ＬＯＴ部５Ｂは、バッファメモリＵ１ｂ〜Ｕ３ｂ、Ｖ１ｂ〜Ｖ３ｂから読み出された色差データに対してブロック単位で直交変換を行い周波数データに変換する。ＬＯＴ部５Ｂは垂直方向のＬＯＴを８画素単位で行う。
【００９８】
図１５はメモリ制御部３Ｂの構成を示している。メモリ制御部３Ｂは、タイミング生成部３１Ｂと、アドレス制御部３２Ｂと、メモリ選択部３３Ｂとで構成される。タイミング生成部３１Ｂは、輝度データ処理部１Ｂと色差データ処理部２Ｂのそれぞれに、バッファメモリからのデータの読み出しの開始を指示する読み出し開始信号Ｂを出力する。アドレス制御部３２Ｂは、バッファメモリＹ１ｂ〜Ｙ３ｂ、Ｕ１ｂ〜Ｕ３ｂ、Ｖ１ｂ〜Ｖ３ｂのメモリアドレスを出力する。メモリ選択部３３Ｂは、データを読み出す対象となるバッファメモリを指示するメモリ選択信号Ｂを出力する。
【００９９】
次に、輝度データ処理部１ＢにおけるバッファメモリＹ１ｂ〜Ｙ３ｂのデータの書き込みについて、図１６、図１７を参照して詳しく説明する。バッファメモリＹ１ｂ〜Ｙ３ｂに入力されるデータの最初の４ライン分はバッファメモリＹ１ｂに書き込まれる。次の８ライン分のデータはバッファメモリＹ２ｂに書き込まれ、その次の８ライン分のデータはバッファメモリＹ３ｂに書き込まれる。このようにメモリ制御部３Ｂのメモリ選択部３３Ｂによって各バッファメモリＹ１ｂ〜Ｙ３ｂが選択され、バッファメモリＹ１ｂ〜Ｙ３ｂにデータが書き込まれる。
【０１００】
次に、輝度データ処理部１ＢにおけるバッファメモリＹ１ｂ〜Ｙ３ｂのデータの読み出しについて、図１６、図１７を参照して詳しく説明する。メモリ制御部３Ｂのタイミング生成部３１Ｂによって、各バッファメモリＹ１ｂ〜Ｙ３ｂに書き込まれたデータの読み出しが開始される。第１の実施形態と同様にアドレス制御部３２Ｂがメモリアドレスｙ１ｂ〜ｙ３ｂを供給して読み出しを制御することで、４画素分折り返して拡張したデータがＬＯＴ部５Ａに供給される。画像の折り返しによって画像を拡張しているが、例えば入力データの１ライン目をコピーして画像を拡張させてもよい。
【０１０１】
本実施形態では、輝度と色差で垂直方向のＬＯＴの回数が同じであり、色差のＬＯＴが１回行われる間に輝度のＬＯＴも１回行われるため、１６ライン分が各バッファメモリＹ１ｂ〜Ｙ３ｂから読み出される。この読み出しの動作について、以下で詳しく説明する。
【０１０２】
色差のＬＯＴに同期するため、タイミング生成部３１Ｂは、データが入力されてから１２Ｔｈ時間が経過した後に読み出し開始信号ＢをバッファメモリＹ１ｂに供給する。アドレス制御部３２Ｂは、垂直方向に拡張したデータを得るために、まず、データの４ライン目を読み出すようにメモリアドレスｙ１ｂをバッファメモリＹ１ｂに供給する。続いて、３、２、１ライン目をこの順に読み出すようにメモリアドレスｙ１ｂをバッファメモリＹ１ｂに供給する。そしてもう一度、１、２、３、４ライン目をこの順に読み出すようにメモリアドレスｙ１ｂをバッファメモリＹ１ｂに供給する。よって、バッファメモリＹ１ｂから合計８ライン分のデータが読み出される。
【０１０３】
また、バッファメモリＹ１ｂから上記の８ライン分のデータが読み出される期間において、バッファメモリＹ２ｂから５〜１２ライン目までの８ライン分のデータが読み出される。このようにしてバッファメモリＹ１ｂ、Ｙ２ｂから１６ライン分のデータが読み出され、後段のＬＯＴ部４Ａに供給される。
【０１０４】
次の垂直方向のＬＯＴに用いられるデータと、前の垂直方向のＬＯＴに用いられるデータとでは８ライン分が重複するため、もう一度バッファメモリＹ２ｂから５〜１２ライン目までの８ライン分のデータが読み出される。また、バッファメモリＹ２ｂから上記の８ライン分のデータが読み出される期間において、バッファメモリＹ３ｂから１３〜２４ライン目までの８ライン分のデータが読み出される。このようにしてバッファメモリＹ２ｂ、Ｙ３ｂから１６ライン分のデータが読み出され、後段のＬＯＴ部４Ａに供給される。
【０１０５】
以降は同様にして８ライン分のデータを重複させてデータが読み出され、バッファメモリＹ１ｂ〜Ｙ３ｂのうちの２つから１６ライン分のデータが後段のＬＯＴ部４Ａに供給される。ＬＯＴ部４Ａは、入力されたデータを、１６×１６の画素を１ブロックとして８画素を重複しながら８×８の周波数データに変換し、後段の量子化部１２２に供給する。画像の下端部についても、上記と同様に垂直方向に４ライン分のデータが補間され、画像が拡張される。
【０１０６】
次に、色差データ処理部２ＢにおけるバッファメモリＵ１ｂ〜Ｕ３ｂのデータの書き込みについて、図１６、図１７を参照して詳しく説明する。バッファメモリＵ１ｂ〜Ｕ３ｂには奇数ラインが入力される。色差データについてはＵとＶの各データが１ライン毎に交互に入力されるため、ＬＯＴに必要なライン数が揃うまでの時間は輝度データと比べて２倍である。つまり、色差の垂直方向のＬＯＴを行うためには８ライン分のデータが必要であるが、８ライン分のデータが揃うまでに１６Ｔｈの時間を要する。ただし、画像の上端については２ライン分が拡張されるため、色差の垂直方向のＬＯＴを行うためには６ライン分のデータが必要であり、６ライン分のデータが揃うまでに１２Ｔｈの時間を要する。
【０１０７】
バッファメモリに入力されるデータの最初の２ライン分はバッファメモリＵ１ｂに書き込まれる。次の４ライン分のデータはバッファメモリＵ２ｂに書き込まれ、その次の４ライン分のデータはバッファメモリＵ３ｂに書き込まれる。このようにメモリ制御部３Ｂのメモリ選択部３３Ｂによって各バッファメモリＵ１ｂ〜Ｕ３ｂが選択され、バッファメモリＵ１ｂ〜Ｕ３ｂにデータが書き込まれる。
【０１０８】
バッファメモリＶ１ｂ〜Ｖ３ｂには偶数ラインが入力される。バッファメモリＶ１ｂ〜Ｖ３ｂのデータの書き込みおよび読み出しの動作はバッファメモリＵ１ｂ〜Ｕ３ｂと同様である。
【０１０９】
次に、色差データ処理部２ＢにおけるバッファメモリＵ１ｂ〜Ｕ３ｂのデータの読み出しについて、図１６、図１７を参照して詳しく説明する。メモリ制御部３Ｂのタイミング生成部３１Ｂによって、各バッファメモリＵ１ｂ〜Ｕ３ｂ、Ｖ１ｂ〜Ｖ３ｂに書き込まれたデータの読み出しが開始される。
【０１１０】
後段のＬＯＴ部５Ｂでは、８×８画素を１ブロックとし、ブロック間で４画素を重複して直交変換を行うため、２画素分の折り返しによる画像の拡張が必要である。アドレス制御部３２Ｂは、上記を満たすようにメモリアドレスを生成し、バッファメモリＵ１ｂ〜Ｕ３ｂのデータの読み出しを制御する。
【０１１１】
この読み出しの動作について、以下で詳しく説明する。輝度データの読み出し開始と同時刻にタイミング生成部３１Ｂは読み出し開始信号ＢをバッファメモリＵ１ｂ、Ｕ２ｂに供給する。アドレス制御部３２Ｂは、垂直方向に拡張したデータを得るために、まず、データの３ライン目を読み出すようにメモリアドレスｕ１ｂをバッファメモリＵ１ｂに供給する。続いて、１ライン目を読み出すようにメモリアドレスｕ１ｂをバッファメモリＵ１ｂに供給する。そしてもう一度、１、３ライン目を読み出すようにメモリアドレスｕ１ｂをバッファメモリＵ１ｂに供給する。よって、バッファメモリＵ１ｂから合計４ライン分のデータが読み出される。
【０１１２】
また、バッファメモリＵ１ｂから上記の４ライン分のデータが読み出される期間において、バッファメモリＵ２ｂから５、７、９、１１ラインの４ライン分のデータが読み出される。このようにしてバッファメモリＵ１ｂ、Ｕ２ｂから８ライン分のデータが読み出され、後段のＬＯＴ部５Ｂに供給される。
【０１１３】
ＬＯＴ部５Ｂは、入力されたデータを、８×８の画素を１ブロックとして４画素を重複しながら４×４の周波数データに変換し、後段の量子化部１２２に供給する。上記では画像の折り返しを行って画像を拡張したが、例えば入力データの１ライン目をコピーして画像を拡張させてもよい。画像の下端部についても、上記と同様に垂直方向に２ライン分のデータが補間され、画像が拡張される。
【０１１４】
次に、図１８を参照してデジタル周波数解析装置１２１ｂの動作を説明する。輝度データ処理部１Ｂ、色差データ処理部２Ｂに含まれるバッファメモリに書き込まれる画像データはデータＢ０１である。タイミング生成部３１Ｂから読み出し開始信号Ｂを受けてバッファメモリから読み出されてＬＯＴ部４Ｂ、５Ｂに供給される画像データをデータＢ０２とする。ＬＯＴ部４Ｂ、５Ｂで画像データから周波数データに変換されたデータはデータＢ０３である。
【０１１５】
データＢ０１はバッファメモリに順次書き込まれる。データＢ０２は、タイミング生成部３１Ｂから読み出し開始信号Ｂを受けてバッファメモリから読み出される。データＢ０２は、輝度と色差の両方についてＬＯＴに必要なライン数がバッファメモリに書き込まれてから読み出される。データＢ０１の書き込み開始から、輝度と色差でＬＯＴに必要なライン数が揃うまでに要する時間は同じ１２Ｔｈの時間である。
【０１１６】
データＢ０３はＬＯＴ部４Ｂ、５Ｂの処理結果であるため、データＢ０２と比べて図１８に示すような遅延時間βを伴って出力される。デジタル周波数解析装置１２１ｂに画像データが入力されてから周波数データが出力されるまでに要する時間は１２Ｔｈ＋α（ＬＯＴ処理時間）で済むため、第１の実施形態よりもさらに１２Ｔｈ分、撮像から表示までに要する遅延時間を短縮することができる。
【０１１７】
前述したようにＹＵＶ４２２線順次方式では輝度と色差のライン数が異なる。そこで、本実施形態のＬＯＴ部４Ｂ、５Ｂは、輝度と色差の入力ライン数の比と同一のライン数を単位として処理を行っている。具体的には、ＬＯＴ部４Ｂは輝度の垂直方向のＬＯＴを１６ライン単位で行い、ＬＯＴ部５Ｂは色差の垂直方向のＬＯＴを８ライン単位で行う。このため、輝度の処理に必要な１６ライン分（折り返しのために最初の４ライン分が２回読み出されることを考慮すると１２ライン分）のデータが入力される時刻と、色差の処理に必要な８ライン分（折り返しのために最初の２ライン分が２回読み出されることを考慮すると６ライン分）のデータが入力される時刻とが同一となる。
【０１１８】
一方、第１の実施形態では、輝度の処理に必要な２４ライン分（折り返しのために最初の４ライン分が２回読み出されることを考慮すると２０ライン分）のデータが入力される時刻よりも、色差の処理に必要な１６ライン分（折り返しのために最初の４ライン分が２回読み出されることを考慮すると１２ライン分）のデータが入力される時刻が遅れる。このため、輝度データについては、必要なデータがバッファメモリに記憶されてからデータの読み出しが開始されるまでに遅延時間がある。これに対して、本実施形態では、輝度データ、色差データともに、必要なデータがバッファメモリに記憶されてからすぐにデータの読み出しが開始されるため、処理遅延を短縮することができる。
【０１１９】
（第３の実施形態）
次に、本発明の第３の実施形態を説明する。第３の実施形態も、第１の実施形態と同様の画像圧縮送信装置１０に含まれる。図１９は圧縮部１２の構成を示している。第３の実施形態によるデジタル周波数解析装置１２１ｃは圧縮部１２に含まれる。デジタル周波数解析装置１２１ｃ以外の構成は第１、第２の実施形態と同様である。第３の実施形態は、輝度・色差の処理においてＬＯＴ処理部を時分割で使用することにより規模の削減を図るものである。
【０１２０】
図２０はデジタル周波数解析装置１２１ｃの構成を示している。デジタル周波数解析装置１２１ｃは、輝度データのバッファメモリＹＢＵＦと、色差データのバッファメモリＵＢＵＦ、ＶＢＵＦと、メモリ制御部３Ｃと、選択部６Ｃと、補間部７Ｃと、ＬＯＴ部８Ｃとで構成される。
【０１２１】
バッファメモリＹＢＵＦは、デジタル周波数解析装置１２１ｃに入力された輝度データを記憶する。バッファメモリＵＢＵＦ、ＶＢＵＦは、デジタル周波数解析装置１２１ｃに入力された色差データを記憶する。メモリ制御部３Ｃは、各バッファメモリに対するデータの書き込みおよび読み出しを制御し、特に読み出しに関しては、各バッファメモリからブロック単位で時分割にデータを読み出し、選択部６Ｃに供給する。ここで、輝度データＹのブロック単位は１６×１６画素であり、色差データＵ、Ｖのブロック単位は１６×８画素である。
【０１２２】
選択部６Ｃは、各バッファメモリから読み出されたデータを補間部７Ｃに出力すると共に、そのデータが輝度データであるのか、それとも色差データであるのかを識別する輝度色差識別信号を補間部７Ｃに出力する。補間部７Ｃは、選択部６Ｃから出力されたデータのうち色差データに対して垂直方向に画素補間を行う。ＬＯＴ部８Ｃは、１６×１６画素のブロック単位でＬＯＴを行い、画像データを周波数データに変換する。
【０１２３】
次に、メモリ制御部３Ｃ、選択部６Ｃ、補間部７Ｃの処理について詳しく説明する。図２１に示すようにメモリ制御部３Ｃは、輝度データＹのバッファメモリＹＢＵＦからＹａ、Ｙｂ、Ｙｃ・・・の順のＭＣＵ（Minimum Coded Unit）単位でデータを読み出す。一方、メモリ制御部３Ｃは、色差データＵ、ＶのバッファメモリＵＢＵＦ、ＶＢＵＦからＵａ、Ｕｂ、Ｕｃ・・・、Ｖａ、Ｖｂ、Ｖｃ・・・の順のＭＣＵ単位でデータを読み出す。
【０１２４】
補間部７Ｃは、選択部６Ｃからの輝度色差識別信号を受けて、輝度色差識別信号が色差データを示している場合、図２２のように色差データＵ、Ｖに対して、垂直方向に８画素から１６画素に補間する処理を行う。例えば１６×８画素のデータＵａを１６×１６画素のデータＵａ’に補間し、後段のＬＯＴ部８Ｃに供給する。なお、輝度データに対しては補間せずに後段のＬＯＴ部８Ｃに供給する。
【０１２５】
以下、輝度データＹと色差データＵ、Ｖの時分割処理について、図２３で示すタイミングチャートを使って説明する。メモリ制御部３Ｃは時刻ｔ１でバッファメモリＹＢＵＦから輝度データＹａを読み出す。続いて、時刻ｔ２でバッファメモリＵＢＵＦから色差データＵａを読み出し、時刻ｔ３でバッファメモリＶＢＵＦから色差データＶａを読み出す。
【０１２６】
また、選択部６Ｃは、色差データを読み出す時刻ｔ２、ｔ３ではタイミングチャートで示す輝度色差識別信号を補間部７Ｃに供給する。補間部７Ｃは、輝度色差識別信号を受けて、１６×８画素の色差データＵａを１６×１６画素の色差データＵａ’に補間する。同様に、補間部７Ｃは、輝度色差識別信号を受けて、１６×８画素の色差データＶａを１６×１６画素の色差データＶａ’に補間する。そして、輝度データＹａ、色差データＵａ’、色差データＶａ’の順で後段のＬＯＴ部８Ｃにデータを供給する。ＬＯＴ部８Ｃは、Ｙａ、Ｕａ’、Ｖａ’、Ｙｂ、Ｕｂ’、Ｖｂ’・・・と入力されるデータを時分割で処理する。
【０１２７】
以上のように、補間部７Ｃは、色差データに対して、垂直方向にｍ個の画素をｎ個に補間する処理を行う。これによって、輝度データと色差データのブロックの大きさが同一となるため、輝度と色差とでＬＯＴ部８Ｃを共有化して時分割でＬＯＴを行うことができる。したがって、単純な補間処理を行う補間部を追加することにより、大規模なＬＯＴ部を共有することができるため、回路規模を削減することができる。
【０１２８】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【０１２９】
１０，３０・・・画像圧縮送信装置、１１，３１・・・撮像部、１２，３２・・・圧縮部、１３，３３・・・送信部、２０，４０・・・受信表示装置、２１，４１・・・受信部、２２，４２・・・伸張部、２３，４３・・・表示部、１２１ａ，１２１ｂ，１２１ｃ，３２１・・・デジタル周波数解析装置、１２２，３２２・・・量子化部、１２３，３２３・・・エントロピー符号化部、３２１１・・・メモリ制御部、３２１２・・・フレームメモリ、３２１３・・・ＬＯＴ部、１Ａ，１Ｂ・・・輝度データ処理部、２Ａ，２Ｂ・・・色差データ処理部、３Ａ，３Ｂ，３Ｃ・・・メモリ制御部、４Ａ，４Ｂ，５Ａ，５Ｂ，８Ｃ・・・ＬＯＴ部（重複直交変換部）、６Ｃ・・・選択部、７Ｃ・・・補間部、３１Ａ，３１Ｂ・・・タイミング生成部（制御部）、３２Ａ，３２Ｂ・・・アドレス制御部（画像補間部）、３３Ａ，３３Ｂ・・・メモリ選択部
【特許請求の範囲】
【請求項１】
輝度データを処理する輝度データ処理部と色差データを処理する色差データ処理部とを備え、前記輝度データと前記色差データとで構成されるデジタル画像データを入力して輝度、色差成分毎の周波数データを出力するデジタル周波数解析装置であって、
前記輝度データ処理部は、
前記輝度データを記憶する第１のバッファメモリと、
前記第１のバッファメモリに記憶された前記輝度データを読み出し、前記輝度データに対して、画像の上下の端部において所定のライン数分の画素を補間して画像を拡張する処理を行う第１の画像補間部と、
前記第１の画像補間部によって処理された前記輝度データに対して、隣接するブロックがオーバーラップするように画像を分割した前記ブロックの単位で直交変換を行い周波数データに変換する第１の重複直交変換部と
を有し、
前記色差データ処理部は、
前記色差データを記憶する第２のバッファメモリと、
前記第２のバッファメモリに記憶された前記色差データを読み出し、前記色差データに対して、画像の上下の端部において所定のライン数分の画素を補間して画像を拡張する処理を行う第２の画像補間部と、
前記第２の画像補間部によって処理された前記色差データに対して、隣接するブロックが重複するように画像を分割した前記ブロックの単位で前記色差データを直交変換して周波数データに変換する第２の重複直交変換部と
を有し、
前記第１、第２のバッファメモリに記憶された前記輝度データ、前記色差データのライン数と、所定期間に前記第１、第２の重複直交変換部で処理されるライン数とに応じて、前記第１、第２のバッファメモリから前記輝度データ、前記色差データを読み出すタイミングを制御する制御部を備えた
ことを特徴とするデジタル周波数解析装置。
【請求項２】
前記デジタル画像データは、輝度色差４２２形式であることを特徴とする請求項１に記載のデジタル周波数解析装置。
【請求項３】
前記第１、第２の画像補間部は、画像の最上端および最下端を境界として画像の内側および外側の所定のライン数分が対称となるように画像の内側の前記所定のライン数分の画素を画像の外側に折り返して画像を拡張することを特徴とする請求項１に記載のデジタル周波数解析装置。
【請求項４】
前記第１の重複直交変換部は、ｎライン（ｎは正の整数）からなる前記ブロックの単位で重複直交変換処理を行い、前記第２の重複直交変換部は、ｍライン（ｍは正の整数）からなる前記ブロックの単位で重複直交変換処理を行い、前記ｎとｍとの比は入力される前記輝度データと前記色差データの入力ライン数の比と同一であることを特徴とする請求項１に記載のデジタル周波数解析装置。
【請求項５】
前記ｎは前記ｍより大きく、前記第２の重複直交変換部は、前記第２のバッファメモリに記憶された各ブロックの前記色差データに対して、画像の垂直方向に画素を補間して前記ｍラインを前記ｎラインに補間する処理を行う補間部を含み、前記ｎライン単位で重複直交変換処理を行うことを特徴とする請求項４に記載のデジタル周波数解析装置。
【請求項６】
前記第１、第２のバッファメモリの容量は１フレーム分の容量よりも小さいことを特徴とする請求項１に記載のデジタル周波数解析装置。
【請求項１】
輝度データを処理する輝度データ処理部と色差データを処理する色差データ処理部とを備え、前記輝度データと前記色差データとで構成されるデジタル画像データを入力して輝度、色差成分毎の周波数データを出力するデジタル周波数解析装置であって、
前記輝度データ処理部は、
前記輝度データを記憶する第１のバッファメモリと、
前記第１のバッファメモリに記憶された前記輝度データを読み出し、前記輝度データに対して、画像の上下の端部において所定のライン数分の画素を補間して画像を拡張する処理を行う第１の画像補間部と、
前記第１の画像補間部によって処理された前記輝度データに対して、隣接するブロックがオーバーラップするように画像を分割した前記ブロックの単位で直交変換を行い周波数データに変換する第１の重複直交変換部と
を有し、
前記色差データ処理部は、
前記色差データを記憶する第２のバッファメモリと、
前記第２のバッファメモリに記憶された前記色差データを読み出し、前記色差データに対して、画像の上下の端部において所定のライン数分の画素を補間して画像を拡張する処理を行う第２の画像補間部と、
前記第２の画像補間部によって処理された前記色差データに対して、隣接するブロックが重複するように画像を分割した前記ブロックの単位で前記色差データを直交変換して周波数データに変換する第２の重複直交変換部と
を有し、
前記第１、第２のバッファメモリに記憶された前記輝度データ、前記色差データのライン数と、所定期間に前記第１、第２の重複直交変換部で処理されるライン数とに応じて、前記第１、第２のバッファメモリから前記輝度データ、前記色差データを読み出すタイミングを制御する制御部を備えた
ことを特徴とするデジタル周波数解析装置。
【請求項２】
前記デジタル画像データは、輝度色差４２２形式であることを特徴とする請求項１に記載のデジタル周波数解析装置。
【請求項３】
前記第１、第２の画像補間部は、画像の最上端および最下端を境界として画像の内側および外側の所定のライン数分が対称となるように画像の内側の前記所定のライン数分の画素を画像の外側に折り返して画像を拡張することを特徴とする請求項１に記載のデジタル周波数解析装置。
【請求項４】
前記第１の重複直交変換部は、ｎライン（ｎは正の整数）からなる前記ブロックの単位で重複直交変換処理を行い、前記第２の重複直交変換部は、ｍライン（ｍは正の整数）からなる前記ブロックの単位で重複直交変換処理を行い、前記ｎとｍとの比は入力される前記輝度データと前記色差データの入力ライン数の比と同一であることを特徴とする請求項１に記載のデジタル周波数解析装置。
【請求項５】
前記ｎは前記ｍより大きく、前記第２の重複直交変換部は、前記第２のバッファメモリに記憶された各ブロックの前記色差データに対して、画像の垂直方向に画素を補間して前記ｍラインを前記ｎラインに補間する処理を行う補間部を含み、前記ｎライン単位で重複直交変換処理を行うことを特徴とする請求項４に記載のデジタル周波数解析装置。
【請求項６】
前記第１、第２のバッファメモリの容量は１フレーム分の容量よりも小さいことを特徴とする請求項１に記載のデジタル周波数解析装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【公開番号】特開２０１１−１８８１２１（Ｐ２０１１−１８８１２１Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−４９５６４（Ｐ２０１０−４９５６４）
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]