受信装置、受信方法、及び通信システム
【課題】低遅延かつ高品質でデータを受信する。
【解決手段】符号化データと画像ヘッダとを含む通信パケットが、画像の先頭に対応する符号化データから順に送信され、通信部４１は、その通信パケットを受信する。蓄積部５３には、通信パケットに含まれる符号化データおよび画像ヘッダが蓄積される。ヘッダ検出部５１は、ピクチャヘッダ観測区間おいて、通信部４１が受信した通信パケットの画像ヘッダからピクチャヘッダを検出し、ピクチャヘッダ蓄積部５４には、ピクチャヘッダが蓄積される。そして、蓄積制御部５２は、観測区間内に、ヘッダ検出部５１によりピクチャヘッダが検出されなかった場合、ピクチャヘッダ蓄積部５４に蓄積されているピクチャヘッダを読み出して、蓄積部５３に蓄積させる。本発明は、例えば、ラインベース・コーデックにより符号化された符号化データを通信する通信システムに適用できる。
【解決手段】符号化データと画像ヘッダとを含む通信パケットが、画像の先頭に対応する符号化データから順に送信され、通信部４１は、その通信パケットを受信する。蓄積部５３には、通信パケットに含まれる符号化データおよび画像ヘッダが蓄積される。ヘッダ検出部５１は、ピクチャヘッダ観測区間おいて、通信部４１が受信した通信パケットの画像ヘッダからピクチャヘッダを検出し、ピクチャヘッダ蓄積部５４には、ピクチャヘッダが蓄積される。そして、蓄積制御部５２は、観測区間内に、ヘッダ検出部５１によりピクチャヘッダが検出されなかった場合、ピクチャヘッダ蓄積部５４に蓄積されているピクチャヘッダを読み出して、蓄積部５３に蓄積させる。本発明は、例えば、ラインベース・コーデックにより符号化された符号化データを通信する通信システムに適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受信装置、受信方法、及び通信システムに関し、特に、低遅延かつ高品質でデータを受信することができるようにした受信装置、受信方法、及び通信システムに関する。
【背景技術】
【０００２】
従来、インターネットやLAN（Local Area Network）など様々なネットワークを介して、画像データ（特に動画像データ）を転送するアプリケーションやサービスが広く利用されている。一般的に、ネットワークを介して画像データを送受信する場合には、MPEG（Moving Pictures Experts Group）やJPEG 2000（Joint Photographic Experts Group 2000）などの符号化（圧縮）処理により画像データのデータ量を減少させた上でネットワークに送出する。そして、その符号化された画像データを受信する受信側においては、復号（伸長）処理を施して画像データを再生する。
【０００３】
ところで、近年、ライブ中継を行うカメラシステムにおいては、高画質かつ低遅延伝送での画像データ配信が要求されている。しかしながら、MPEGやJPEG2000などの符号化方式では、コード遅延（符号化遅延＋復号遅延）が２ピクチャ以上あるため、より低遅延伝送が可能な符号化方式が求められている。
【０００４】
そこで、近日、１ピクチャをＮ個のライン（Ｎは１以上）の集合に分割し、分割した集合（ラインブロックという）ごとに画像を符号化することで遅延時間を短くする画像圧縮方式（以下、ラインベース・コーデックという）が提案され始めている。ラインベース・コーデックの利点としては、低遅延伝送の他、画像圧縮の１単位で取り扱う情報が少ないことにより、高速処理やハードウェア規模の低減が可能といった利点がある。
【０００５】
例えば、特許文献１には、ラインベース・コーデックに基づく通信データについて、ラインブロックごとに適切に欠落データの補完処理を行う通信装置が記載されている。また、特許文献２には、ラインベース・コーデックを用いた通信において安定して同期を獲得することのできる通信装置が記載されている。
【０００６】
このようなラインベース・コーデックを利用することにより、低遅延かつ高画質での伝送が実現され、今後、ライブ中継を行うカメラシステムにラインベース・コーデックを適用することが期待されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３１１９４８号公報
【特許文献２】特開２００９−２７８５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、通信媒体を介してラインベース・コーデックにより圧縮された画像転送を行う場合、送信端末と受信端末との間のタイミングを、どのよう同期させるのかが課題となる。一般的に、受信端末側では、パケットのヘッダ（Header）に挿入される時間情報（例えば、Time Stampなど）や、水平同期信号（VSYNC）、垂直同期信号（HSYNC）、ブランク期間の始めと終わりに付加される既知信号であるSAV（Start of Active Video）またはEAV（End of Active Video）などを用いて、フレーム単位で再生処理が行われる。従って、受信端末において、上記同期信号や上記既知信号を参考にして、最短で1フレーム後にデコードを開始することにより、より簡単にデコード処理を行うことができる。
【０００９】
しかしながら、ラインベース・コーデックにおいて、伝送路の帯域以内にデータレートを抑えながら、低遅延という特徴を活かそうとした場合、予め決められたデータ転送量となるようにデータの圧縮が行われる。また、該当ピクセル（またはライン、ラインの束）のデータ圧縮率は、該当ピクセル（またはライン、ラインの束）の前に受信したデータ量によって決定される。これらのことより、ラインベース・コーデックでは、データ転送量の制御時間がピクチャーベースのコーデックに比較して短時間になる。
【００１０】
さらに、あるピクセル（またはライン、ラインの束）のデータ量が一時的に増大したとき、伝送路に送信しきれない送信データが、送信端末側のバッファ（buffer）に一時蓄積することがある。これにより、本来送信すべき送信出力タイミングよりも遅れたタイミングで、送信データが送信される状況が発生する。
【００１１】
また、従来のライブ中継を行うカメラシステムを高画質でかつ、Ethernet（登録商標）やNGN、無線といった汎用回線に対応させるとなると、遅延量の増大やパケットロスなどが発生する状況となる。
【００１２】
このように、送信出力タイミングの遅れや、遅延量の増大、パケットロスなどが発生するような状況によって、例えば、ラインベース・コーデックのピクチャのデコード情報が含まれるパケット（以下、ピクチャヘッダパケットと称する）の伝送が遅れたり、ロスした場合、受信端末側では、復号処理においてピクチャヘッダを参照することができない状況が発生する。この場合、受信端末側で再生される画質が低下することになる。従って、上述のような状況においても、ラインベース・コーデックによる低遅延という特徴を活かすことができ、かつ、画質の低下を抑制することができる方法が求められている。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、ラインベース・コーデックを用いて符号化された画像データを、低遅延かつ高品質（高画質）で受信することができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の第１の側面の受信装置は、画像データを符号化した符号化データと、前記画像データに関する情報が含まれる画像ヘッダとを含む通信パケットを、画像の先頭に対応する前記符号化データから順に送信する送信装置から送信された前記通信パケットを受信する受信手段と、前記受信手段により受信された通信パケットに含まれる前記符号化データおよび前記画像ヘッダを蓄積する第１の蓄積手段と、所定の観測区間において、前記符号化データのうちの画像の先頭に対応する符号化データとともに送信されるピクチャヘッダを、前記受信手段が受信した前記通信パケットの画像ヘッダから検出する検出手段と、前記検出手段により検出された前記ピクチャヘッダを蓄積する第２の蓄積手段と、前記観測区間内に、前記検出手段により前記ピクチャヘッダが検出されなかった場合、前記第２の蓄積手段に蓄積されているピクチャヘッダを読み出して、前記第１の蓄積手段に蓄積させる制御手段とを備える。
【００１５】
本発明の第１の側面の受信方法は、画像データを符号化した符号化データと、前記画像データに関する情報が含まれる画像ヘッダとを含む通信パケットを、画像の先頭に対応する前記符号化データから順に送信する送信装置から送信された前記通信パケットを受信し、前記受信された通信パケットに含まれる前記符号化データおよび前記画像ヘッダを第１の蓄積手段に蓄積し、所定の観測区間において、前記符号化データのうちの画像の先頭に対応する符号化データとともに送信されるピクチャヘッダを、前記通信パケットの画像ヘッダから検出し、前記検出された前記ピクチャヘッダを第２の蓄積手段に蓄積し、前記観測区間内に、ピクチャヘッダが検出されなかった場合、前記第２の蓄積手段に蓄積されているピクチャヘッダを読み出して、前記第１の蓄積手段に蓄積させるステップを含む。
【００１６】
本発明の第２の側面の通信システムは、画像データを符号化した符号化データと、前記画像データに関する情報が含まれる画像ヘッダとを含む通信パケットを、画像の先頭に対応する前記符号化データから順に送信する送信装置と、前記送信装置から送信された前記通信パケットを受信する受信手段と、前記受信手段により受信された通信パケットに含まれる前記符号化データおよび前記画像ヘッダを蓄積する第１の蓄積手段と、所定の観測区間において、前記符号化データのうちの画像の先頭に対応する符号化データとともに送信されるピクチャヘッダを、前記受信手段が受信した前記通信パケットの画像ヘッダから検出する検出手段と、前記検出手段により検出された前記ピクチャヘッダを蓄積する第２の蓄積手段と、前記観測区間内に、前記検出手段により前記ピクチャヘッダが検出されなかった場合、前記第２の蓄積手段に蓄積されているピクチャヘッダを読み出して、前記第１の蓄積手段に蓄積させる制御手段とを有する受信装置とを備える。
【００１７】
本発明の第１および第２の側面においては、画像データを符号化した符号化データと、画像データに関する情報が含まれる画像ヘッダとを含む通信パケットを、画像の先頭に対応する符号化データから順に送信する送信装置から送信された通信パケットが受信され、受信された通信パケットに含まれる符号化データおよび画像ヘッダが第１の蓄積手段に蓄積される。そして、所定の観測区間において、符号化データのうちの画像の先頭に対応する符号化データとともに送信されるピクチャヘッダが、通信パケットの画像ヘッダから検出され、検出されたピクチャヘッダが第２の蓄積手段に蓄積され、観測区間内に、ピクチャヘッダが検出されなかった場合、第２の蓄積手段に蓄積されているピクチャヘッダが読み出されて、第１の蓄積手段に蓄積される。
【発明の効果】
【００１８】
本発明の第１および第２の側面によれば、ラインベース・コーデックを用いて符号化された画像データについて、低遅延で伝送し、かつ、画質の低下を抑制することができる。
【図面の簡単な説明】
【００１９】
【図１】画像データを符号化する符号化装置の構成例を示す図である。
【図２】分析フィルタリングを４回繰り返すことにより分割された係数データの構成を示す図である。
【図３】ラインブロックを説明する図である。
【図４】本発明を適用した通信システムの実施の形態の構成例を示すブロック図である。
【図５】ＩＰパケットのフレームフォーマットを示す図である。
【図６】ピクチャヘッダパケットについての概略的なデータ構造を示す図である。
【図７】受信メモリ部の詳細な構成を示すブロック図である。
【図８】観測区間について説明する図である。
【図９】画像データを送信する送信処理を説明するフローチャートである。
【図１０】画像データを受信する受信処理を説明するフローチャートである。
【図１１】データ蓄積処理を説明するフローチャートである。
【図１２】符号化単位の復号処理を説明するフローチャートである。
【図１３】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２１】
まず、画像データの符号化処理について説明する。
【００２２】
図１は、画像データを符号化する符号化装置の構成例を示す図である。
【００２３】
図１に示される符号化装置１０は、入力された画像データを符号化して符号化データを生成し、出力する。図１に示されるように符号化装置１０は、ウェーブレット変換部１１、途中計算用バッファ部１２、係数並び替え用バッファ部１３、係数並び替え部１４、量子化部１５、およびエントロピ符号化部１６を有する。
【００２４】
符号化装置１０に入力された画像データは、ウェーブレット変換部１１を介して途中計算用バッファ部１２に一時的に溜め込まれる。
【００２５】
ウェーブレット変換部１１は、途中計算用バッファ部１２に溜め込まれた画像データに対してウェーブレット変換を施す。このウェーブレット変換の詳細については後述する。ウェーブレット変換部１１は、ウェーブレット変換により得られた係数データを係数並び替え用バッファ部１３に供給する。
【００２６】
係数並び替え部１４は、係数並び替え用バッファ部１３に書き込まれた係数データを所定の順序（例えば、ウェーブレット逆変換処理順）で読み出し、量子化部１５に供給する。
【００２７】
量子化部１５は、供給された係数データを、所定の方法で量子化し、得られた係数データ（量子化係数データ）をエントロピ符号化部１６に供給する。
【００２８】
エントロピ符号化部１６は、供給された係数データを、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。エントロピ符号化部１６は、生成した符号化データを符号化装置１０の外部に出力する。
【００２９】
次に、ウェーブレット変換について説明する。ウェーブレット変換は、画像データを空間周波数の高い成分（高域成分）と低い成分（低域成分）とに分割する分析フィルタリングを、生成した低域成分に対して再帰的に繰り返すことにより、画像データを、階層的に構成される周波数成分毎の係数データに変換する処理である。なお、以下において、分割レベルは、高域成分の階層ほど下位とし、低域成分の階層ほど上位とする。
【００３０】
１つの階層（分割レベル）において、分析フィルタリングは、水平方向と垂直方向の両方について行われる。これにより、１つの階層の係数データ（画像データ）は、１階層分の分析フィルタリングにより４種類の成分に分割される。４種類の成分とは、すなわち、水平方向および垂直方向の両方について高域な成分（ＨＨ）、水平方向に高域で垂直方向に低域な成分（ＨＬ）、水平方向に低域で垂直方向に高域な成分（ＬＨ）、および、水平方向および垂直方向の両方について低域な成分（ＬＬ）である。各成分の集合を、それぞれサブバンドと称する。
【００３１】
ある階層において分析フィルタリングが行われて４つのサブバンドが生成された状態において、次の（１つ上位の）階層の分析フィルタリングは、その生成された４つのサブバンドのうち、水平方向および垂直方向の両方について低域な成分（ＬＬ）に対して行われる。
【００３２】
このように分析フィルタリングが再帰的に繰り返されることにより、空間周波数の低い帯域の係数データは、より小さな領域（低域成分）に追い込まれる。したがって、このようにウェーブレット変換された係数データを符号化するようにすることにより、効率的な符号化が可能となる。
【００３３】
図２は、分析フィルタリングを４回繰り返すことにより、分割レベル４までの１３個のサブバンド（１ＬＨ，１ＨＬ，１ＨＨ，２ＬＨ，２ＨＬ，２ＨＨ，３ＬＨ，３ＨＬ，３ＨＨ，４ＬＬ，４ＬＨ，４ＨＬ，４ＨＨ）に分割された係数データの構成を示している。
【００３４】
次に、ラインブロックについて説明する。図３は、ラインブロックを説明する図である。ウェーブレット変換における分析フィルタリングは、処理対象となる２ラインの画像データまたは係数データから、１階層上の４つのサブバンドの係数データを１ラインずつ生成する。
【００３５】
したがって、例えば、分割レベル数が４の場合、図３の斜線部分で示されるように、最上位階層である分割レベル４の各サブバンドの係数データを１ラインずつ得るためには、サブバンド３ＬＬの係数データが２ライン必要である。
【００３６】
サブバンド３ＬＬを２ライン得る、すなわち、分割レベル３の各サブバンドの係数データを２ラインずつ得るためには、サブバンド２ＬＬの係数データが４ライン必要である。
【００３７】
サブバンド２ＬＬを４ライン得る、すなわち、分割レベル２の各サブバンドの係数データを４ラインずつ得るためには、サブバンド１ＬＬの係数データが８ライン必要である。
【００３８】
サブバンド１ＬＬを８ライン得る、すなわち、分割レベル１の各サブバンドの係数データを８ラインずつ得るためには、ベースバンドの係数データが１６ライン必要である。
【００３９】
つまり、分割レベル４の各サブバンドの係数データを１ラインずつ得るためには、１６ラインのベースバンドの画像データが必要になる。
【００４０】
この最低域成分のサブバンド（図３の例の場合４ＬＬ）の１ライン分の係数データを生成するために必要なライン数の画像データを、ラインブロック（またはプレシンクト）と称する。
【００４１】
例えば、分割レベル数がＭの場合、最低域成分のサブバンドの１ライン分の係数データを生成するためには、ベースバンドの画像データが２のＭ乗ライン必要になる。これがラインブロックのライン数である。
【００４２】
なお、ラインブロックは、その１ラインブロックの画像データをウェーブレット変換して得られる各サブバンドの係数データの集合のことも示す。
【００４３】
また、ラインとは、フレーム画像（ピクチャ）の１列分の水平方向の画素列や、サブバンドの１列分の水平方向の係数列のことを示す。この１ライン分の係数データを係数ラインとも称する。また、１ライン分の画像データを画像ラインとも称する。以下において、より詳細に区別して説明する必要がある場合、適宜表現を変える。
【００４４】
また、１係数ライン（１ライン分の係数データ）が符号化された１ライン分の符号化データを符号ラインとも称する。
【００４５】
このようなラインベース・ウェーブレット変換処理によれば、ＪＰＥＧ２０００のタイル分割と同様、１枚のピクチャをより細かい粒度に分解して処理を行うことが可能となり、画像データの送受信時の低遅延化を図ることができる。さらに、ラインベース・ウェーブレット変換の場合、ＪＰＥＧ２０００のタイル分割とは異なり、１つのベースバンド信号に対する分割ではなく、ウェーブレット係数での分割であるため、さらに、タイル境界でのブロックノイズ的な画質劣化が発生しないという特徴も有する。
【００４６】
ここまで、ラインベース・コーデックの一例としての、ラインベース・ウェーブレット変換について説明を行った。なお、以下に説明する本発明の各実施形態は、ラインベース・ウェーブレット変換に限らず、例えばＪＰＥＧ２０００やＭＰＥＧ４のような既存の階層符号化など、任意のラインベース・コーデックに適用可能である。
【００４７】
図４は、本発明を適用した通信システムの実施の形態の構成例を示すブロック図である。
【００４８】
図４において、通信システム２０は、カメラ２１およびカメラ制御装置２２を備えて構成されている。カメラ２１およびカメラ制御装置２２の間は、例えば、ＩＥＥＥ８０２．１１ａ，ｂ，ｇ，ｎ，ｓなどの標準仕様に基づく無線通信や、Ethernet（登録商標）、NGN（Next Generation Network）などの汎用回線により接続されている。
【００４９】
カメラ２１は、被写体を撮像し、一連の画像データを生成して送信する送信装置としての機能を備える。カメラ制御装置２２は、カメラ２１に対する制御を行って、カメラ２１から送信されてくる画像を受信する受信装置としての機能を備える。
【００５０】
なお、カメラ２１およびカメラ制御装置２２が１対１の関係ではなく、例えば、１台のカメラ制御装置２２が、複数台のカメラ２１に対する制御を行って、複数台のカメラ２１から送信されてくる画像を受信するように通信システム２０を構成することができる。即ち、通信システム２０は複数台のカメラ２１を備えて構成されていてもよい。
【００５１】
カメラ２１は、撮像部３１、符号化部３２、送信メモリ部３３、通信部３４、および通信制御部３５を備えて構成される。カメラ２１としては、例えば、ビデオカメラや、動画撮影機能を有するデジタルスチルカメラ、パーソナルコンピュータ、携帯電話機、ゲーム機器などを採用することができる。
【００５２】
撮像部３１は、CCD（Charge Coupled Device）や、CMOS(Complementary Metal Oxide Semiconductor)センサなどの撮像素子を備えて構成され、撮像素子が撮像して得られる画像データを、符号化部３２に供給する。
【００５３】
符号化部３２は、図１の符号化装置１０に対応し、前述のラインベース・コーデックに従って画像データを符号化する。即ち、符号化部３２は、撮像部３１から供給された画像データを１フィールド内のＮライン（Ｎは１以上）の符号化単位で符号化してデータ量を削減した後、符号化済みの画像データ（符号化データ）を送信メモリ部３３に供給する。
【００５４】
送信メモリ部３３は、符号化部３２から供給される符号化データを一時的に蓄積する。また、送信メモリ部３３は、ネットワーク環境に応じてルーティング情報を管理し、例えば、通信システム２０が複数台のカメラ２１を有して構成される場合、他の端末（カメラ２１）へのデータ転送を制御するルーティング機能を有してもよい。
【００５５】
通信部３４は、通信制御部３５の制御に従って、カメラ制御装置２２との通信を行う。例えば、通信部３４は、通信制御部３５による制御に応じたタイミングで、送信メモリ部３３に蓄積されている符号化データを読み出してカメラ制御装置２２に送信する。通信部３４は、例えば、１ピクチャ分の符号化データを複数に分割し、それぞれ分割された符号化データを含む複数の通信パケットを生成して、一連の画像データを順次送信する。また、通信部３４は、例えば、カメラ制御装置２２からの通信パケットを受信した場合、受信した通信パケットを解析し、通信制御部３５に渡すべき制御データを分離して、通信制御部３５に出力する。
【００５６】
通信制御部３５は、経路制御やＱｏＳによる無線回線などに関する制御を行うとともに、カメラ制御装置２２との間で画像データの送信タイミングの調整を行う。より具体的には、通信制御部３５は、カメラ制御装置２２から送信される送信開始指示信号（制御データ）を、通信部３４を介して受け取り、送信開始指示信号で指定された送信開始時刻に従って、通信パケットの送信を開始するように通信部３４を制御する。これにより、通信部３４は、送信メモリ部３３に蓄積されているデータを読み出して通信パケットを生成し、送信開始時刻に従ったタイミングで送信する。
【００５７】
カメラ制御装置２２は、通信部４１、受信メモリ部４２、復号部４３、出力部４４、同期制御部４５、および通信制御部４６を備えて構成される。カメラ制御装置２２としては、パーソナルコンピュータや、ビデオレコーダなどの家庭用の映像処理装置、通信装置、任意の情報処理装置など、カメラ２１に対して画像データの送受信タイミングを決定するマスタとしての役割を果たす装置を採用することができる。
【００５８】
通信部４１は、通信制御部４６の制御に従って、カメラ２１との通信を行う。例えば、通信部４１は、送信開始指示信号の送信を指示されると、送信開始指示信号を含む通信パケットを生成して、カメラ２１に送信する。また、通信部４１は、例えば、カメラ２１から送信されてくる符号化データを含む通信パケットを受信した場合、その通信パケットから符号化データを取り出して受信メモリ部４２に出力する。
【００５９】
受信メモリ部４２は、通信制御部４６の制御に従って、通信部４１から出力される符号化データを一時的に蓄積した後、所定の復号開始時点で復号部４３に符号化データを出力する。受信メモリ部４２では、通信制御部４６から指定された復号開始時刻が、画像データの復号開始時点として決定される。
【００６０】
復号部４３は、受信メモリ部４２から出力される符号化データを１フィールド内のＮライン（Ｎは１以上）の単位で復号し、その復号の結果得られる画像データを出力部４４に出力する。出力部４４は、復号部４３において復号された画像データに応じた画像を出力する。
【００６１】
同期制御部４５は、通信システム２０内の装置間の画像データの送受信タイミングを制御するタイミングコントローラの役割を果たす。例えば、同期制御部４５には、通信部４１が受信した通信パケットに含まれているタイムスタンプ（例えば、回線制御レイヤ同期用タイムスタンプ）が、通信制御部４６を介して供給される。同期制御部４５は、そのタイムスタンプを参照して、回線を同期させるためのタイミングを示す同期信号を調整して出力する。同期制御部４５は、典型的にはアプリケーション層の処理として実装される。
【００６２】
通信制御部４６は、通信制御部３５と同様に、経路制御やＱｏＳによる無線回線などに関する制御を行うとともに、同期制御部４５から出力される同期信号に応じて、カメラ２１との間で画像データの送信タイミングの調整を行う。
【００６３】
この画像データの送受信タイミングの調整は、カメラ制御装置２２において実行されているアプリケーションからの指示や、カメラ２１からの同期要求信号の受信などをきっかけとして開始される。そして、通信制御部４６は、同期制御部４５の同期信号に応じて、画像データの送信開始時刻を指定する送信開始指示信号を、通信部４１を介してカメラ２１に送信し、画像データの復号開始時刻の指定を受信メモリ部４２に対して行う。このとき、受信メモリ部４２に対して指定される復号開始時刻は、カメラ２１へ送信される画像データの送信開始時刻から、復号化単位ごとのデータ量の変動や通信経路のジッタなどの通信環境の変動により生じる遅延、ハードウェア遅延、またはメモリ遅延等を吸収するための時間を差し引いた時刻とする。
【００６４】
このようにカメラ２１およびカメラ制御装置２２は構成されており、カメラ２１において撮像された画像データがカメラ制御装置２２に送信され、カメラ制御装置２２において受信されて出力される。
【００６５】
ここで、カメラ２１およびカメラ制御装置２２の間で、例えば、ＩＰ（Internet Protocol）に基づく通信を行う場合には、カメラ２１では、通信部３４が、送信メモリ部３３から読み出した符号化データを含むＩＰパケットを生成し、符号化単位での一連の画像データの送信処理が実行される。
【００６６】
図５を参照して、カメラ２１とカメラ制御装置２２との間で送受信する可能性のある通信データの一例としての、ＩＰパケットのフレームフォーマットについて説明する。図５では、１つのＩＰパケットの内部構成が４段階に分けられて示されている。
【００６７】
まず、ＩＰパケットは、ＩＰヘッダおよびＩＰデータから構成される。ＩＰヘッダには、例えば、宛先ＩＰアドレスなどのＩＰに基づく通信経路の制御に関する制御情報などが含まれる。
【００６８】
ＩＰデータは、さらにＵＤＰヘッダ及びＵＤＰデータから構成される。ＵＤＰは、リアルタイム性が重視される動画または音声データの配信時などに一般的に使用される、ＯＳＩ参照モデルのトランスポート層のプロトコルである。ＵＤＰヘッダには、例えばアプリケーション識別情報である宛先ポート番号などが含まれる。
【００６９】
ＵＤＰデータは、さらにＲＴＰヘッダ及びＲＴＰデータから構成される。ＲＴＰヘッダには、例えばシーケンス番号などのデータストリームのリアルタイム性を保証するための制御情報が含まれる。
【００７０】
ＲＴＰデータは、画像データのヘッダ（以下、画像ヘッダという。）及びラインベース・コーデックに基づいて圧縮された画像本体である符号化データから構成される。符号化データは、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で画像データが符号化されたデータである。
【００７１】
画像ヘッダには、例えばピクチャ番号やラインブロック番号（１ライン単位で符号化を行う場合にはライン番号）、サブバンド番号などの画像データに関する情報を含むことができる。なお、画像ヘッダは、ピクチャごとに付与されるピクチャヘッダと、ラインブロックごとに付与されるラインブロックヘッダにさらに分けて構成されてもよい。
【００７２】
このように構成されているＩＰパケットが、カメラ２１の通信部３４から送信され、カメラ制御装置２２の通信部４１に受信される。そして、通信部４１は、ＩＰパケットに含まれている画像ヘッダおよび符号化データを抜き出し、受信メモリ部４２に出力する。
【００７３】
ここで、画像データでは、ピクチャごとにピクチャヘッダが付与されており、カメラ２１の通信部３４は、例えば、ピクチャの先頭に対応する符号化データを含むＩＰパケットの画像ヘッダにピクチャヘッダを含めて、そのＩＰパケットを送信する。以下、適宜、ピクチャヘッダが画像ヘッダに含まれているＩＰパケットを、ピクチャヘッダパケットと称する。
【００７４】
図６には、ピクチャヘッダパケットについての概略的なデータ構造が示されている。ピクチャヘッダパケットには、例えば、ＲＴＰヘッダ、画像ヘッダ、および符号化データが配置されている。
【００７５】
ＲＴＰヘッダには、Ｖ（Version Bit），Ｐ（Padding Bit），Ｘ（Extension Bit），ＣＣ（CSRC(Contributing Source) Count），Ｍ（Marker Bit），ＰＴ（Payload Type）、シーケンス番号、タイムスタンプ、ＳＳＲＣ（Synchronization Source Identifier：送信者識別子）が記述される。
【００７６】
画像ヘッダは、全てのＩＰパケットに共通する共通部分と、ピクチャヘッダパケットに含まれるピクチャヘッダとで構成される。共通部分には、図５に示したように、ピクチャ番号、ラインブロック番号、サブバンド番号が記述される。
【００７７】
ピクチャヘッダには、画像のサイズを示す画像サイズ情報、単位時間あたりに更新される画像の枚数を示すフレームレート、および、画像の画質を調整するための変数であるｎ個の画質調整パラメータ１乃至ｎが記述される。これらのピクチャヘッダに記述されている情報は、カメラ制御装置２２の復号部４３において符号化データを復号する際に参照される。
【００７８】
符号化データは、ＩＰパケットのペイロードに格納可能なサイズで格納される。例えば、ピクチャヘッダパケットには、ピクチャヘッダが含まれる分に応じて、ピクチャヘッダが含まれないＩＰパケットよりも少ないサイズの符号化データが格納される。
【００７９】
次に、図７は、図４の受信メモリ部４２の詳細な構成を示すブロック図である。
【００８０】
図７に示すように、受信メモリ部４２は、ヘッダ検出部５１、蓄積制御部５２、蓄積部５３、ピクチャヘッダ蓄積部５４、復号開始指示部５５、および時間観測部５６を備えて構成される。カメラ２１から送信されてくる通信パケットを通信部４１が受信すると、通信部４１は、その通信パケットに含まれている画像ヘッダおよび符号化データを抜き出して、ヘッダ検出部５１および蓄積制御部５２にそれぞれ供給する。
【００８１】
ヘッダ検出部５１は、通信部４１から供給されるデータに含まれる画像ヘッダを検出し、その画像ヘッダに含まれているピクチャ番号、ラインブロック番号、サブバンド番号を抽出する。また、ヘッダ検出部５１は、所定のピクチャヘッダ観測区間（後述の図８参照）において、画像ヘッダにピクチャヘッダが含まれている場合、ピクチャヘッダを抽出する。
【００８２】
例えば、ヘッダ検出部５１は、画像ヘッダから抽出したピクチャ番号に基づいて、ピクチャの先頭位置を認識する。また、ヘッダ検出部５１は、画像ヘッダから抽出したラインブロック番号に基づいて、その画像ヘッダが付加されている符号化データが、ピクチャ内のどのラインブロックに該当するのかを認識する。また、ヘッダ検出部５１は、画像ヘッダから抽出したピクチャヘッダに基づいて、ピクチャヘッダパケットが受信されたことを認識する。
【００８３】
そして、ヘッダ検出部５１は、それらの認識した情報を、制御情報として蓄積制御部５２および復号開始指示部５５へ出力する。
【００８４】
蓄積制御部５２は、ヘッダ検出部５１からの制御情報に従って、通信部４１から供給される画像ヘッダおよび符号化データの蓄積部５３への蓄積を制御する。また、蓄積制御部５２は、ヘッダ検出部５１からの制御情報に従って、画像ヘッダにピクチャヘッダが含まれている場合、その画像ヘッダおよび符号化データをピクチャヘッダ蓄積部５４にも蓄積する。
【００８５】
蓄積部５３は、蓄積制御部５２から供給される画像ヘッダおよび符号化データを一時的に蓄積する。ピクチャヘッダ蓄積部５４は、ピクチャヘッダが含まれている画像ヘッダ、および、その画像ヘッダと同じ通信パケットに含まれていた符号化データを一時的に蓄積する。
【００８６】
ここで、符号化データは、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で画像データが符号化されたものである。そして、蓄積部５３では、符号化データそれぞれの画像上の位置（即ち、ピクチャ内のどのライン（またはラインブロック）に該当するか）に対応して、画像ヘッダおよび符号化データを蓄積する記憶領域が割り当てられている。従って、蓄積制御部５２は、画像ヘッダおよび符号化データを蓄積部５３に蓄積する際に、ヘッダ検出部５１によって認識された画像上の位置に従って、その画像ヘッダおよび符号化データに割り当てられている記憶領域に蓄積する。
【００８７】
また、例えば、カメラ２１の通信部３４が送信したピクチャヘッダパケットが伝送経路中でロスした場合、通信部４１からヘッダ検出部５１に、ピクチャヘッダを含む画像ヘッダが供給されないことになる。この場合、ヘッダ検出部５１は、ピクチャヘッダを抽出することができず、所定のピクチャヘッダ観測区間（後述の図８参照）が経過してもピクチャヘッダを抽出することができなければ、ピクチャヘッダパケットがロスしたことを検出する。ヘッダ検出部５１が、ピクチャヘッダパケットがロスしたことを検出すると、蓄積制御部５２は、ピクチャヘッダ蓄積部５４に蓄積されている画像ヘッダおよび符号化データを読み出して、蓄積部５３に蓄積させ、ロスしたデータに替えて挿入する。
【００８８】
上述したように、蓄積制御部５２は、ピクチャヘッダが含まれている画像ヘッダおよび符号化データをピクチャヘッダ蓄積部５４にも蓄積している。従って、カメラ制御装置２２がピクチャヘッダパケットを既に受信している場合、ピクチャヘッダ蓄積部５４には、ピクチャヘッダが含まれている画像ヘッダおよび符号化データが蓄積されている。従って、蓄積部５３に蓄積中の符号化データに応じたピクチャのピクチャヘッダがロスしても、そのピクチャよりも前のピクチャのピクチャヘッダが、ロスしたピクチャヘッダの替わりに蓄積部５３に蓄積される。
【００８９】
なお、例えば、ピクチャヘッダ蓄積部５４の保持内容は、最新のピクチャヘッダが含まれている画像ヘッダおよび符号化データに常に更新する他、例えば、ピクチャヘッダが含まれている画像ヘッダおよび符号化データを一度保持したら、その保持内容を維持し続けてもよい。また、一般的に、ピクチャヘッダパケットに含まれている符号化データ（画像データ）の情報量は多いので、符号化データについては、符号化データよりもデータ量の少ない既知のデータに置き換えて、符号化データ以外のデータ（画像ヘッダ）を、常に更新するようにしてもよい。
【００９０】
復号開始指示部５５は、図４の通信制御部４６から設定された復号開始時刻を画像データの復号開始時点として決定する。そして、復号開始指示部５５は、復号開始時後に、符号化単位（即ち、ラインまたはラインブロックの単位）での符号化データを蓄積部５３から読み出して復号部４３に供給するとともに、復号部４３に対して復号開始を指示する。
【００９１】
ここで、本実施形態では、ピクチャの先頭が認識された時点から予め設定された一定の時間が経過した後の時点が、復号開始時点として設定される。例えば、復号化単位ごとのデータ量の変動や通信経路のジッタの影響等による遅延を吸収できる時間を一定の時間として設定するのが好適である。
【００９２】
時間観測部５６は、復号開始指示部５５からの制御を受けて、ピクチャヘッダの観測区間の時間を制御する。時間観測部５６は、例えば、タイマーとして実装することができる。ピクチャヘッダの観測区間については、カメラ２１とカメラ制御装置２２の送受信処理タイミングがカメラ制御装置２２より設定され、ラインベース・コーデックを使用していることより、観測区間を復号化単位ごとのデータ量の変動や通信経路のジッタの影響等による遅延を吸収できる時間で設定できるため、観測区間を狭く設定することが可能となる。
【００９３】
ここで、図８を参照して、観測区間について説明する。
【００９４】
図８には、カメラ２１が、ピクチャヘッダパケットを送信するタイミングを示す送信タイミング、カメラ制御装置２２が、その送信タイミングで送信されたピクチャヘッダパケットを受信する受信タイミング、および、受信メモリ部４２に設定されるピクチャヘッダ観測区間が示されている。
【００９５】
上述したように、カメラ２１は、カメラ制御装置２２からの送信開始指示信号で指定された送信開始時刻に従って画像データの送信を行い、１ピクチャごとに、ピクチャの先頭でピクチャヘッダパケットを送信する。カメラ２１から送信されたピクチャヘッダパケットは、復号化単位ごとのデータ量の変動や通信経路のジッタなどの通信環境の変動により生じる遅延時間に応じて遅延して、カメラ制御装置２２に受信される。
【００９６】
そして、ピクチャヘッダ観測区間は、送信開始時刻からピクチャヘッダパケットの受信時刻までを含む所定の時間であって、１ピクチャ期間（１ピクチャ分の符号化データの送信に必要な時間）未満に設定される。
【００９７】
例えば、従来の受信装置では、１ピクチャ期間が経過して次のピクチャのピクチャヘッダパケットを受信したときに、現在のピクチャのピクチャヘッダパケットがロスしたことを検出していた。従って、この場合、１ピクチャ期間が経過するまで復号処理を待機することになる。
【００９８】
これに対し、カメラ制御装置２２では、１ピクチャ期間よりも狭くピクチャヘッダ観測区間を設定することができ、ピクチャヘッダ観測区間内にピクチャヘッダパケットを検出することができなければ、ピクチャヘッダパケットがロスしたとして、１ピクチャ期間が経過するまで待機することなく復号処理を開始することができる。これにより、より低遅延で画像を出力することができる。また、このとき、受信済みのピクチャヘッダパケットに含まれているピクチャヘッダを利用して復号処理が行われるので、ピクチャヘッダを用いずに復号処理が行われる場合と比較して、高画質で復号することができる。即ち、ピクチャヘッダを用いずに復号処理が行われる場合には、画質が低下してしまうが、このような画質の低下を回避することができる。
【００９９】
次に、図９乃至図１２を参照して、カメラ２１が画像データを送信する送信処理、および、カメラ制御装置２２が画像データを受信する受信処理について説明する。
【０１００】
次に、図９は、カメラ２１が画像データを送信する送信処理を説明するフローチャートである。
【０１０１】
ステップＳ１１において、通信部３４は、カメラ制御装置２２から送信されてくる送信開始指示信号を受信して通信制御部３５に供給する。例えば、カメラ２１が起動して撮像部３１による撮像が開始されると処理が開始され、通信制御部３５は、通信部３４が送信開始指示信号を受信するまで処理を待機する。そして、通信部３４が送信開始指示信号を受信して通信制御部３５に供給すると、通信制御部３５は、送信開始指示信号に含まれる送信開始時刻を取得し、処理はステップＳ１２に進む。
【０１０２】
ステップＳ１２において、通信制御部３５は、ステップＳ１１で取得した送信開始時刻に従って、送信開始時刻になったか否かを判定し、送信開始時刻になったと判定されるまで処理を待機する。その後、送信開始時刻になったと判定されると、処理はステップＳ１３に進む。
【０１０３】
ステップＳ１３において、通信制御部３５は、画像データの符号化部３２への出力を開始するように撮像部３１に対する制御を行い、符号化部３２は、撮像部３１から出力された画像データを１フィールド内のＮライン（Ｎは１以上）の符号化単位での符号化を開始する。そして、符号化部３２は、画像データを符号化した符号化データを送信メモリ部３３に出力し、送信メモリ部３３には、通信経路および送信処理の進行状況に応じて符号化データが蓄積される。
【０１０４】
ステップＳ１４において、通信制御部３５は、符号化データのカメラ制御装置２２への送信を待機するか否かを判定し、符号化データを送信するタイミングとなるまで処理を待機する。その後、符号化データを送信するタイミングとなると、カメラ制御装置２２は、カメラ制御装置２２に送信する通信パケットを生成するように、通信部３４に対する制御を行う。これにより、通信部３４は、送信メモリ部３３から符号化データを読み出し、その符号化データを含む通信パケットの生成を開始する。
【０１０５】
ここで、例えば、ピクチャの先頭の画像に対応する符号化データを含む通信パケットを生成するとき、通信部３４は、上述したようなピクチャヘッダを含む画像ヘッダと、符号化データとを含む通信パケットを生成する。
【０１０６】
ステップＳ１５の処理後、処理はステップＳ１６に進み、通信部３４は、カメラ制御装置２２に対して通信データを送信し、処理は終了される。
【０１０７】
次に、図１０は、カメラ制御装置２２が画像データを受信する受信処理を説明するフローチャートである。
【０１０８】
ステップＳ２１において、通信制御部４６は、同期制御部４５からの同期信号に基づく時刻であって、復号部４３が復号処理を開始する時刻を示す復号開始時刻を、受信メモリ部４２の復号開始指示部５５に対して指定し、処理はステップＳ２２に進む。
【０１０９】
ステップＳ２２において、通信制御部４６は、同期制御部４５からの同期信号に基づく時刻であって、カメラ２１が画像データの送信を開始する時刻を示す送信開始時刻を含む送信開始指示信号を、通信部４１を介してカメラ２１に送信する。ステップＳ２１で送信された送信開始指示信号が、図９のステップＳ１１で受信される。
【０１１０】
ステップＳ２２の処理後、処理はステップＳ２３に進み、受信メモリ部４２では、復号開始指示部５５が、通信制御部４６により指定された復号開始時刻に応じて、時間観測部５６に対してピクチャヘッダ観測区間を設定する。これにより、時間観測部５６はピクチャヘッダの観測区間のカウントを開始し、処理はステップＳ２４に進む。
【０１１１】
ステップＳ２４において、カメラ制御装置２２では、カメラ２１から送信されてくる通信パケットを通信部４１が受信して、受信メモリ部４２が画像ヘッダおよび符号化データを蓄積するデータ蓄積処理が開始される。データ蓄積処理については、図１１を参照して後述する。
【０１１２】
ステップＳ２５において、復号開始指示部５５は、ステップＳ２１で指定された復号開始時刻になったか否かを判定し、復号開始時刻になったと判定するまで処理を待機する。そして、ステップＳ２５において、復号開始指示部５５が復号開始時刻になったと判定した場合、処理はステップＳ２６に進み、復号開始指示部５５は、この時点において、復号対象のデータの受信が完了しているか否かを判定する。
【０１１３】
上述したように、本実施の形態では、ラインベース・コーデックを採用しており、例えば、復号開始指示部５５は、ピクチャの先頭のラインブロックの画像に対応する符号化データが蓄積部５３に蓄積されているか否かを検出する。そして、その符号化データが蓄積部５３に蓄積されていれば、復号開始指示部５５は、復号対象のデータの受信が完了しているか否かを判定する。
【０１１４】
ステップＳ２６において、復号開始指示部５５が、復号対象のデータの受信が完了していないと判定した場合、処理はステップＳ２１に戻り、送受信対象の画像データについての送受信タイミングの再調整が行われ、以下、同様の処理が繰り返される。
【０１１５】
一方、ステップＳ２６において、復号開始指示部５５が、復号対象のデータの受信が完了していると判定した場合、処理はステップＳ２７に進む。
【０１１６】
ステップＳ２７において、復号開始指示部５５は、蓄積制御部５２を介して蓄積部５３に蓄積されている復号対象の符号化データおよび画像ヘッダを読み出して復号部４３に供給する。
【０１１７】
ステップＳ２７の処理後、処理はステップＳ２８に進み、符号化単位の復号処理が行われる。符号化単位の復号処理については、図１２を参照して後述する。
【０１１８】
ステップＳ２８の処理後、処理はステップＳ２９に進み、復号開始指示部５５は、ピクチャ内の全てのラインが復号されたか否かを判定する。
【０１１９】
ステップＳ２９において、復号開始指示部５５がピクチャ内の全てのラインが復号されていないと判定した場合、処理はステップＳ２７に戻り、以下、同様の処理が繰り返される。即ち、この場合、ステップＳ２７において、直前のステップＳ２８で復号された符号化単位の次の符号化単位が復号処理の対称とされ、その符号化単位のデータが蓄積部５３から読み出されて復号部４３に供給され、符号化単位の復号処理が行われる。
【０１２０】
一方、ステップＳ２９において、復号開始指示部５５がピクチャ内の全てのラインが復号されたと判定した場合、処理は終了される。
【０１２１】
次に、図１１は、図１０のステップＳ２４で処理が開始されるデータ蓄積処理を説明するフローチャートである。
【０１２２】
ステップＳ３１において、ヘッダ検出部５１は、通信部４１が通信パケットを受信したか否かを判定し、通信部４１が通信パケットを受信して、その通信パケットから取り出したデータを供給するまで、処理を待機する。
【０１２３】
通信部４１からデータが供給されると、ステップＳ３１において、ヘッダ検出部５１は、通信部４１が通信パケットを受信したと判定し、処理はステップＳ３２に進み、ヘッダ検出部５１は、通信部４１から供給されるデータから画像ヘッダを検出する。そして、ヘッダ検出部５１は、画像ヘッダに含まれている各種の情報を取得する。
【０１２４】
ステップＳ３２の処理後、処理はステップＳ３３に進み、ヘッダ検出部５１は、ステップＳ３２で検出した画像ヘッダにピクチャヘッダが含まれているか否かを判定する。
【０１２５】
ステップＳ３３において、ヘッダ検出部５１が、画像ヘッダにピクチャヘッダが含まれていると判定した場合、処理はステップＳ３４に進む。ステップＳ３４において、ヘッダ検出部５１は、蓄積制御部５２に対して、ピクチャヘッダが含まれている画像ヘッダを検出したことを示す制御情報を供給する。これにより、蓄積制御部５２は、蓄積部５３およびピクチャヘッダ蓄積部５４に画像ヘッダおよび符号化データをそれぞれ蓄積するように制御を行う。
【０１２６】
一方、ステップＳ３３において、ヘッダ検出部５１が、画像ヘッダにピクチャヘッダが含まれていないと判定した場合、処理はステップＳ３５に進む。ステップＳ３５において、ヘッダ検出部５１は、蓄積制御部５２に対して、ピクチャヘッダが含まれている画像ヘッダを検出しなかったことを示す制御情報を供給する。これにより、蓄積制御部５２は、蓄積部５３に画像ヘッダおよび符号化データを蓄積するように制御を行う。
【０１２７】
ステップＳ３４またはＳ３５の処理後、処理はステップＳ３６に進み、時間観測部５６は、図１０のステップＳ２３でカウントを開始したピクチャヘッダ観測区間が経過したか否かを判定する。ステップＳ３６において、時間観測部５６が、ピクチャヘッダ観測区間が経過していないと判定した場合、処理はステップＳ３１に戻り、以下、同様の処理が繰り返される。
【０１２８】
一方、ステップＳ３６において、時間観測部５６が、ピクチャヘッダ観測区間が経過したと判定した場合、時間観測部５６はピクチャヘッダ観測区間が経過したことをヘッダ検出部５１に通知し、処理はステップＳ３７に進む。
【０１２９】
ステップＳ３７において、ヘッダ検出部５１は、ピクチャヘッダパケットがロスしたか否かを判定する。例えば、ヘッダ検出部５１は、ステップＳ３７の処理が行われた時点までに、ステップＳ３３においてピクチャヘッダが含まれているという判定を行っていれば、ピクチャヘッダパケットがロスしていないと判定する。
【０１３０】
ステップＳ３７において、ヘッダ検出部５１が、ピクチャヘッダパケットがロスしたと判定した場合、処理はステップＳ３８に進み、蓄積制御部５２は、ピクチャヘッダ蓄積部５４にピクチャヘッダが保持されているか否かを判定する。例えば、現在のピクチャより前のピクチャを受信する処理においてピクチャヘッダが受信されていれば、ピクチャヘッダ蓄積部５４にピクチャヘッダが保持されている。
【０１３１】
ステップＳ３８において、蓄積制御部５２がピクチャヘッダ蓄積部５４にピクチャヘッダが保持されていると判定した場合、処理はステップＳ３９に進む。ステップＳ３９において、蓄積制御部５２は、ピクチャヘッダ蓄積部５４に蓄積されている画像ヘッダおよび符号化データを読み出して、蓄積部５３に挿入する。
【０１３２】
一方、ステップＳ３７でピクチャヘッダパケットがロスしていないと判定された場合、ステップＳ３８でピクチャヘッダ蓄積部５４にピクチャヘッダが保持されていないと判定された場合、または、ステップＳ３９の処理後、処理はステップＳ４０に進む。
【０１３３】
ステップＳ４０以降では、残りの全てのラインのデータを受信するまで、蓄積部５３に画像ヘッダおよび符号化データを蓄積する処理が繰り返される。即ち、ステップＳ４０では、ステップＳ３１の処理と同様に、通信部４１が通信パケットを受信したと判定されるまで処理が待機され、ステップＳ４２では、ステップＳ３２の処理と同様に、画像ヘッダが検出される。そして、ステップＳ４２では、ステップＳ３５の処理と同様に、蓄積部５３に画像ヘッダおよび符号化データが蓄積される。
【０１３４】
その後、ステップＳ４３において、ヘッダ検出部５１は、全てのラインのデータを受信したか否かを判定し、全てのラインのデータを受信していないと判定した場合、処理はステップＳ４０に戻り、以下、同様の処理が繰り返される。一方、ステップＳ４３において、全てのラインのデータを受信したと判定された場合、処理は終了される。
【０１３５】
次に、図１２は、図１０のステップＳ２８における符号化単位の復号処理を説明するフローチャートである。
【０１３６】
ステップＳ５１において、復号部４３は、図１０のステップＳ２７で復号開始指示部５５が蓄積部５３から読み出して出力した画像データ（符号化データおよび画像ヘッダ）を受信し、処理はステップＳ５２に進む。
【０１３７】
ステップＳ５２において、復号開始指示部５５は、符号化単位での許容復号時間を計測する。ここで、符号化単位での許容復号時間とは、１つの符号化単位の画像データを表示するために費やすことのできる時間を意味する。一例として、１０８０／６０ｐ（画面サイズ２２００ｘ１１２５、６０ｆｐｓのプログレッシブ方式）の映像を復号する場合、１ラインの表示に費やせる時間は、ブランク時間を考慮すると約１４．８［μｓ］、ブランク時間を考慮しないと約１５．４［μｓ］となる。そして、符号化単位がＮライン分のラインブロックであった場合には、符号化単位での許容復号時間は、前述の１ラインの表示に費やせる時間のＮ倍となる。
【０１３８】
ステップＳ５２の処理後、処理はステップＳ５３に進み、復号開始指示部５５は、符号化単位での処理時間が終了するまでに蓄積部５３から復号部４３への画像データの転送が終了するかどうかを判定する。
【０１３９】
ステップＳ５３において、復号開始指示部５５が符号化単位での処理時間が終了するよりも早く画像データの転送が終了すると判定した場合、即ち、想定されるよりも少ない画像データしか受信されていなかった場合は、処理はステップＳ５４に進む。
【０１４０】
ステップＳ５４において、復号開始指示部５５は、当該画像データの受信完了を待つことなくダミーデータを当該ライン（またはラインブロック）へ挿入する。即ち、この場合、復号の対象となる画像データの受信が通信の遅延などの原因により完了していないことが考えられ、このとき、復号の対象となる画像データの受信完了を待つと同期タイミングがずれて画像の表示が遅延するため、ダミーデータの挿入が行われる。ここで挿入されるダミーデータとしては、例えば１ピクチャ前（またはそれ以前）の同一ライン（またはラインブロック）の画像データを用いることができる。なお、ダミーデータとしては、かかる例に限定されず、固定の画像データや、動き保証などにより予測したデータなど、任意のデータを用いることができる。
【０１４１】
一方、ステップＳ５３において、復号開始指示部５５が符号化単位での処理時間が終了するよりも早く画像データの転送が終了しないと判定した場合、処理はステップＳ５５に進む。
【０１４２】
ステップＳ５５において、復号開始指示部５５は、画像データの転送が終了する前に符号化単位での許容復号時間が終了するか否かを判定する。ステップＳ５５において、復号開始指示部５５が画像データの転送が終了する前に符号化単位での許容復号時間が終了しないと判定した場合、処理はステップＳ５３に戻り、以下、同様の処理が繰り返される。
【０１４３】
一方、ステップＳ５５において、復号開始指示部５５が画像データの転送が終了する前に符号化単位での許容復号時間が終了したと判定された場合、処理はステップＳ５６に進む。
【０１４４】
ステップＳ５６において、復号開始指示部５５は、蓄積部５３に復号対象の画像データが残っているか否かを判定する。ステップＳ５５において、復号開始指示部５５が蓄積部５３に復号対象の画像データが残っていると判定した場合、処理はステップＳ５７に進み、復号開始指示部５５は、蓄積部５３に残っている画像データを削除する。
【０１４５】
一方、ステップＳ５６において、蓄積部５３に復号対象の画像データが残っていないと判定された場合、ステップＳ５７の処理後、または、ステップＳ５４の処理後、処理は終了される。
【０１４６】
なお、ステップＳ５５において、１つの符号化単位での処理時間が終了した際に、時間計測用のカウンタを一時停止またはリセットすることなく連続的に動作させながら、次の復号化単位での復号指示を行うのが好適である。そうすることにより、例えばラインブロックごとの符号化単位での復号タイミングがばらつくことなく復号処理が行われる。
【０１４７】
また、その代わりに、時間計測用のカウンタとは別にカメラ制御装置２２内に時間制御部（図示せず）を設け、例えばステップＳ５４において、符号化単位ごとの処理開始、終了のタイミングを当該時間制御部から受信メモリ部４２または復号部４３へ通知させてもよい。
【０１４８】
そして、復号化単位での復号処理は、ピクチャ内の全てのラインの処理が終了するまで繰り返され、全てのラインの処理が終了した時点で受信処理は終了する。
【０１４９】
以上のように、カメラ制御装置２２では、ピクチャのデコード情報が含まれるピクチャヘッダパケットがロスした際に、ピクチャヘッダ蓄積部５４に保持されている画像ヘッダおよび符号化データを蓄積部５３に挿入して、画像ヘッダおよび符号化データを補完することができる。これにより、復号部４３では、補完された画像ヘッダおよび符号化データを利用して復号処理を行うことができ、ピクチャヘッダパケットがロスすることによる画質の低下を回避することができる。
【０１５０】
また、カメラ制御装置２２が、カメラ２１とカメラ制御装置２２との送受信処理タイミングを設定し、ピクチャヘッダ観測区間を狭く設定することができるので、ピクチャヘッダパケットがロスした場合の待機時間を短くすることができ、低遅延で画像を出力することができる。
【０１５１】
特に、通信システム２０では、ラインベース・コーデックによる低遅延という特徴を活かすことができ、エラーが発生するようなネットワーク環境においても低遅延で高画質な画像を伝送することができる。
【０１５２】
また、例えば、通信システム２０が複数のカメラ２１を備えて構成される場合、カメラ制御装置２２側で複数の画像データの管理または統合をする際に、カメラ制御装置２２がタイミングコントローラの役割を果たし、画像データ間での同期を合わせることができる。
【０１５３】
また、同期制御部４５は、通信環境の変動を吸収するための時間間隔を前述の送信開始時刻との間に有する復号開始時刻を受信メモリ部４２内の復号開始指示部５５に対して指定する。そして、受信メモリ部４２の復号開始指示部５５は、指定された復号開始時刻に基づいて復号開始時点を決定し、画像データの復号化単位での復号開始の指示を行う。また、ピクチャヘッダがロスした際には、ピクチャヘッダ蓄積部５４が保持していたピクチャヘッダにより補完することで、同期を合わせて送信された画像データについて、通信環境の変動、ロスなどの影響を吸収しながら、安定して同期された状態で復号を行うことができる。
【０１５４】
なお、通信システム２０において、通信部３４および４１は、ＴＤＭＡ（Time Division Multiple Access）方式やＣＳＭＡ（Carrier Sense Multiple Access）方式でのＭＡＣ（Media Access Control）層の制御を行う。また、通信制御部３５および４６は、キャリアではなくプリアンブルの相関からパケットを識別するＰＳＭＡ（Preamble Sense Multiple Access）に基づくＭＡＣ層の制御を行う。
【０１５５】
さらに、通信システム２０では、通信パケットを利用して送信開始信号（制御データ）を送受信することにより送信開始時刻を指定する他、別系統でタイミング信号を使用することで、送信開始時刻を指定してもよい。
【０１５６】
また、ピクチャヘッダ観測区間が経過したタイミングで、ピクチャヘッダパケットがロスしたことを検出する他、ピクチャヘッダ観測区間中であっても、パケット番号を監視することにより、ピクチャヘッダパケットのロスを検出することができる。例えば、ピクチャ番号が０〜１０（ピクチャ番号が０のパケットがピクチャヘッダパケットである）で動作しているとき、ピクチャヘッダ観測区間中にパケット番号が８，９，１０，１のような順番でパケットを受信されたとする。このとき、パケット番号が１のパケットを受信したときに、ピクチャヘッダパケットがロスしたと検出し、ピクチャヘッダパケットの補完を行うように動作させることができる。これにより、ピクチャヘッダパケットがロスしたことを検出するタイミングを早くすることができ、より低遅延で復号処理を開始することができる。
【０１５７】
なお、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１５８】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１５９】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１６０】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１６１】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１６２】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１６３】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１６４】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【０１６５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１６６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１６７】
１０ 符号化装置， １１ ウェーブレット変換部， １２ 途中計算用バッファ部， １３ 係数並び替え用バッファ部， １４ 係数並び替え部， １５ 量子化部， １６ エントロピ符号化部， ２０ 通信システム， ２１ カメラ， ２２ カメラ制御装置， ３１ 撮像部， ３２ 符号化部， ３３ 送信メモリ部， ３４ 通信部， ３５ 通信制御部， ４１ 通信部， ４２ 受信メモリ部， ４３ 復号部， ４４ 出力部， ４５ 同期制御部， ４６ 通信制御部， ５１ ヘッダ検出部， ５２ 蓄積制御部， ５３ 蓄積部， ５４ ピクチャヘッダ蓄積部， ５５ 復号開始指示部， ５６ 時間観測部
【技術分野】
【０００１】
本発明は、受信装置、受信方法、及び通信システムに関し、特に、低遅延かつ高品質でデータを受信することができるようにした受信装置、受信方法、及び通信システムに関する。
【背景技術】
【０００２】
従来、インターネットやLAN（Local Area Network）など様々なネットワークを介して、画像データ（特に動画像データ）を転送するアプリケーションやサービスが広く利用されている。一般的に、ネットワークを介して画像データを送受信する場合には、MPEG（Moving Pictures Experts Group）やJPEG 2000（Joint Photographic Experts Group 2000）などの符号化（圧縮）処理により画像データのデータ量を減少させた上でネットワークに送出する。そして、その符号化された画像データを受信する受信側においては、復号（伸長）処理を施して画像データを再生する。
【０００３】
ところで、近年、ライブ中継を行うカメラシステムにおいては、高画質かつ低遅延伝送での画像データ配信が要求されている。しかしながら、MPEGやJPEG2000などの符号化方式では、コード遅延（符号化遅延＋復号遅延）が２ピクチャ以上あるため、より低遅延伝送が可能な符号化方式が求められている。
【０００４】
そこで、近日、１ピクチャをＮ個のライン（Ｎは１以上）の集合に分割し、分割した集合（ラインブロックという）ごとに画像を符号化することで遅延時間を短くする画像圧縮方式（以下、ラインベース・コーデックという）が提案され始めている。ラインベース・コーデックの利点としては、低遅延伝送の他、画像圧縮の１単位で取り扱う情報が少ないことにより、高速処理やハードウェア規模の低減が可能といった利点がある。
【０００５】
例えば、特許文献１には、ラインベース・コーデックに基づく通信データについて、ラインブロックごとに適切に欠落データの補完処理を行う通信装置が記載されている。また、特許文献２には、ラインベース・コーデックを用いた通信において安定して同期を獲得することのできる通信装置が記載されている。
【０００６】
このようなラインベース・コーデックを利用することにより、低遅延かつ高画質での伝送が実現され、今後、ライブ中継を行うカメラシステムにラインベース・コーデックを適用することが期待されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３１１９４８号公報
【特許文献２】特開２００９−２７８５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、通信媒体を介してラインベース・コーデックにより圧縮された画像転送を行う場合、送信端末と受信端末との間のタイミングを、どのよう同期させるのかが課題となる。一般的に、受信端末側では、パケットのヘッダ（Header）に挿入される時間情報（例えば、Time Stampなど）や、水平同期信号（VSYNC）、垂直同期信号（HSYNC）、ブランク期間の始めと終わりに付加される既知信号であるSAV（Start of Active Video）またはEAV（End of Active Video）などを用いて、フレーム単位で再生処理が行われる。従って、受信端末において、上記同期信号や上記既知信号を参考にして、最短で1フレーム後にデコードを開始することにより、より簡単にデコード処理を行うことができる。
【０００９】
しかしながら、ラインベース・コーデックにおいて、伝送路の帯域以内にデータレートを抑えながら、低遅延という特徴を活かそうとした場合、予め決められたデータ転送量となるようにデータの圧縮が行われる。また、該当ピクセル（またはライン、ラインの束）のデータ圧縮率は、該当ピクセル（またはライン、ラインの束）の前に受信したデータ量によって決定される。これらのことより、ラインベース・コーデックでは、データ転送量の制御時間がピクチャーベースのコーデックに比較して短時間になる。
【００１０】
さらに、あるピクセル（またはライン、ラインの束）のデータ量が一時的に増大したとき、伝送路に送信しきれない送信データが、送信端末側のバッファ（buffer）に一時蓄積することがある。これにより、本来送信すべき送信出力タイミングよりも遅れたタイミングで、送信データが送信される状況が発生する。
【００１１】
また、従来のライブ中継を行うカメラシステムを高画質でかつ、Ethernet（登録商標）やNGN、無線といった汎用回線に対応させるとなると、遅延量の増大やパケットロスなどが発生する状況となる。
【００１２】
このように、送信出力タイミングの遅れや、遅延量の増大、パケットロスなどが発生するような状況によって、例えば、ラインベース・コーデックのピクチャのデコード情報が含まれるパケット（以下、ピクチャヘッダパケットと称する）の伝送が遅れたり、ロスした場合、受信端末側では、復号処理においてピクチャヘッダを参照することができない状況が発生する。この場合、受信端末側で再生される画質が低下することになる。従って、上述のような状況においても、ラインベース・コーデックによる低遅延という特徴を活かすことができ、かつ、画質の低下を抑制することができる方法が求められている。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、ラインベース・コーデックを用いて符号化された画像データを、低遅延かつ高品質（高画質）で受信することができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の第１の側面の受信装置は、画像データを符号化した符号化データと、前記画像データに関する情報が含まれる画像ヘッダとを含む通信パケットを、画像の先頭に対応する前記符号化データから順に送信する送信装置から送信された前記通信パケットを受信する受信手段と、前記受信手段により受信された通信パケットに含まれる前記符号化データおよび前記画像ヘッダを蓄積する第１の蓄積手段と、所定の観測区間において、前記符号化データのうちの画像の先頭に対応する符号化データとともに送信されるピクチャヘッダを、前記受信手段が受信した前記通信パケットの画像ヘッダから検出する検出手段と、前記検出手段により検出された前記ピクチャヘッダを蓄積する第２の蓄積手段と、前記観測区間内に、前記検出手段により前記ピクチャヘッダが検出されなかった場合、前記第２の蓄積手段に蓄積されているピクチャヘッダを読み出して、前記第１の蓄積手段に蓄積させる制御手段とを備える。
【００１５】
本発明の第１の側面の受信方法は、画像データを符号化した符号化データと、前記画像データに関する情報が含まれる画像ヘッダとを含む通信パケットを、画像の先頭に対応する前記符号化データから順に送信する送信装置から送信された前記通信パケットを受信し、前記受信された通信パケットに含まれる前記符号化データおよび前記画像ヘッダを第１の蓄積手段に蓄積し、所定の観測区間において、前記符号化データのうちの画像の先頭に対応する符号化データとともに送信されるピクチャヘッダを、前記通信パケットの画像ヘッダから検出し、前記検出された前記ピクチャヘッダを第２の蓄積手段に蓄積し、前記観測区間内に、ピクチャヘッダが検出されなかった場合、前記第２の蓄積手段に蓄積されているピクチャヘッダを読み出して、前記第１の蓄積手段に蓄積させるステップを含む。
【００１６】
本発明の第２の側面の通信システムは、画像データを符号化した符号化データと、前記画像データに関する情報が含まれる画像ヘッダとを含む通信パケットを、画像の先頭に対応する前記符号化データから順に送信する送信装置と、前記送信装置から送信された前記通信パケットを受信する受信手段と、前記受信手段により受信された通信パケットに含まれる前記符号化データおよび前記画像ヘッダを蓄積する第１の蓄積手段と、所定の観測区間において、前記符号化データのうちの画像の先頭に対応する符号化データとともに送信されるピクチャヘッダを、前記受信手段が受信した前記通信パケットの画像ヘッダから検出する検出手段と、前記検出手段により検出された前記ピクチャヘッダを蓄積する第２の蓄積手段と、前記観測区間内に、前記検出手段により前記ピクチャヘッダが検出されなかった場合、前記第２の蓄積手段に蓄積されているピクチャヘッダを読み出して、前記第１の蓄積手段に蓄積させる制御手段とを有する受信装置とを備える。
【００１７】
本発明の第１および第２の側面においては、画像データを符号化した符号化データと、画像データに関する情報が含まれる画像ヘッダとを含む通信パケットを、画像の先頭に対応する符号化データから順に送信する送信装置から送信された通信パケットが受信され、受信された通信パケットに含まれる符号化データおよび画像ヘッダが第１の蓄積手段に蓄積される。そして、所定の観測区間において、符号化データのうちの画像の先頭に対応する符号化データとともに送信されるピクチャヘッダが、通信パケットの画像ヘッダから検出され、検出されたピクチャヘッダが第２の蓄積手段に蓄積され、観測区間内に、ピクチャヘッダが検出されなかった場合、第２の蓄積手段に蓄積されているピクチャヘッダが読み出されて、第１の蓄積手段に蓄積される。
【発明の効果】
【００１８】
本発明の第１および第２の側面によれば、ラインベース・コーデックを用いて符号化された画像データについて、低遅延で伝送し、かつ、画質の低下を抑制することができる。
【図面の簡単な説明】
【００１９】
【図１】画像データを符号化する符号化装置の構成例を示す図である。
【図２】分析フィルタリングを４回繰り返すことにより分割された係数データの構成を示す図である。
【図３】ラインブロックを説明する図である。
【図４】本発明を適用した通信システムの実施の形態の構成例を示すブロック図である。
【図５】ＩＰパケットのフレームフォーマットを示す図である。
【図６】ピクチャヘッダパケットについての概略的なデータ構造を示す図である。
【図７】受信メモリ部の詳細な構成を示すブロック図である。
【図８】観測区間について説明する図である。
【図９】画像データを送信する送信処理を説明するフローチャートである。
【図１０】画像データを受信する受信処理を説明するフローチャートである。
【図１１】データ蓄積処理を説明するフローチャートである。
【図１２】符号化単位の復号処理を説明するフローチャートである。
【図１３】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２１】
まず、画像データの符号化処理について説明する。
【００２２】
図１は、画像データを符号化する符号化装置の構成例を示す図である。
【００２３】
図１に示される符号化装置１０は、入力された画像データを符号化して符号化データを生成し、出力する。図１に示されるように符号化装置１０は、ウェーブレット変換部１１、途中計算用バッファ部１２、係数並び替え用バッファ部１３、係数並び替え部１４、量子化部１５、およびエントロピ符号化部１６を有する。
【００２４】
符号化装置１０に入力された画像データは、ウェーブレット変換部１１を介して途中計算用バッファ部１２に一時的に溜め込まれる。
【００２５】
ウェーブレット変換部１１は、途中計算用バッファ部１２に溜め込まれた画像データに対してウェーブレット変換を施す。このウェーブレット変換の詳細については後述する。ウェーブレット変換部１１は、ウェーブレット変換により得られた係数データを係数並び替え用バッファ部１３に供給する。
【００２６】
係数並び替え部１４は、係数並び替え用バッファ部１３に書き込まれた係数データを所定の順序（例えば、ウェーブレット逆変換処理順）で読み出し、量子化部１５に供給する。
【００２７】
量子化部１５は、供給された係数データを、所定の方法で量子化し、得られた係数データ（量子化係数データ）をエントロピ符号化部１６に供給する。
【００２８】
エントロピ符号化部１６は、供給された係数データを、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。エントロピ符号化部１６は、生成した符号化データを符号化装置１０の外部に出力する。
【００２９】
次に、ウェーブレット変換について説明する。ウェーブレット変換は、画像データを空間周波数の高い成分（高域成分）と低い成分（低域成分）とに分割する分析フィルタリングを、生成した低域成分に対して再帰的に繰り返すことにより、画像データを、階層的に構成される周波数成分毎の係数データに変換する処理である。なお、以下において、分割レベルは、高域成分の階層ほど下位とし、低域成分の階層ほど上位とする。
【００３０】
１つの階層（分割レベル）において、分析フィルタリングは、水平方向と垂直方向の両方について行われる。これにより、１つの階層の係数データ（画像データ）は、１階層分の分析フィルタリングにより４種類の成分に分割される。４種類の成分とは、すなわち、水平方向および垂直方向の両方について高域な成分（ＨＨ）、水平方向に高域で垂直方向に低域な成分（ＨＬ）、水平方向に低域で垂直方向に高域な成分（ＬＨ）、および、水平方向および垂直方向の両方について低域な成分（ＬＬ）である。各成分の集合を、それぞれサブバンドと称する。
【００３１】
ある階層において分析フィルタリングが行われて４つのサブバンドが生成された状態において、次の（１つ上位の）階層の分析フィルタリングは、その生成された４つのサブバンドのうち、水平方向および垂直方向の両方について低域な成分（ＬＬ）に対して行われる。
【００３２】
このように分析フィルタリングが再帰的に繰り返されることにより、空間周波数の低い帯域の係数データは、より小さな領域（低域成分）に追い込まれる。したがって、このようにウェーブレット変換された係数データを符号化するようにすることにより、効率的な符号化が可能となる。
【００３３】
図２は、分析フィルタリングを４回繰り返すことにより、分割レベル４までの１３個のサブバンド（１ＬＨ，１ＨＬ，１ＨＨ，２ＬＨ，２ＨＬ，２ＨＨ，３ＬＨ，３ＨＬ，３ＨＨ，４ＬＬ，４ＬＨ，４ＨＬ，４ＨＨ）に分割された係数データの構成を示している。
【００３４】
次に、ラインブロックについて説明する。図３は、ラインブロックを説明する図である。ウェーブレット変換における分析フィルタリングは、処理対象となる２ラインの画像データまたは係数データから、１階層上の４つのサブバンドの係数データを１ラインずつ生成する。
【００３５】
したがって、例えば、分割レベル数が４の場合、図３の斜線部分で示されるように、最上位階層である分割レベル４の各サブバンドの係数データを１ラインずつ得るためには、サブバンド３ＬＬの係数データが２ライン必要である。
【００３６】
サブバンド３ＬＬを２ライン得る、すなわち、分割レベル３の各サブバンドの係数データを２ラインずつ得るためには、サブバンド２ＬＬの係数データが４ライン必要である。
【００３７】
サブバンド２ＬＬを４ライン得る、すなわち、分割レベル２の各サブバンドの係数データを４ラインずつ得るためには、サブバンド１ＬＬの係数データが８ライン必要である。
【００３８】
サブバンド１ＬＬを８ライン得る、すなわち、分割レベル１の各サブバンドの係数データを８ラインずつ得るためには、ベースバンドの係数データが１６ライン必要である。
【００３９】
つまり、分割レベル４の各サブバンドの係数データを１ラインずつ得るためには、１６ラインのベースバンドの画像データが必要になる。
【００４０】
この最低域成分のサブバンド（図３の例の場合４ＬＬ）の１ライン分の係数データを生成するために必要なライン数の画像データを、ラインブロック（またはプレシンクト）と称する。
【００４１】
例えば、分割レベル数がＭの場合、最低域成分のサブバンドの１ライン分の係数データを生成するためには、ベースバンドの画像データが２のＭ乗ライン必要になる。これがラインブロックのライン数である。
【００４２】
なお、ラインブロックは、その１ラインブロックの画像データをウェーブレット変換して得られる各サブバンドの係数データの集合のことも示す。
【００４３】
また、ラインとは、フレーム画像（ピクチャ）の１列分の水平方向の画素列や、サブバンドの１列分の水平方向の係数列のことを示す。この１ライン分の係数データを係数ラインとも称する。また、１ライン分の画像データを画像ラインとも称する。以下において、より詳細に区別して説明する必要がある場合、適宜表現を変える。
【００４４】
また、１係数ライン（１ライン分の係数データ）が符号化された１ライン分の符号化データを符号ラインとも称する。
【００４５】
このようなラインベース・ウェーブレット変換処理によれば、ＪＰＥＧ２０００のタイル分割と同様、１枚のピクチャをより細かい粒度に分解して処理を行うことが可能となり、画像データの送受信時の低遅延化を図ることができる。さらに、ラインベース・ウェーブレット変換の場合、ＪＰＥＧ２０００のタイル分割とは異なり、１つのベースバンド信号に対する分割ではなく、ウェーブレット係数での分割であるため、さらに、タイル境界でのブロックノイズ的な画質劣化が発生しないという特徴も有する。
【００４６】
ここまで、ラインベース・コーデックの一例としての、ラインベース・ウェーブレット変換について説明を行った。なお、以下に説明する本発明の各実施形態は、ラインベース・ウェーブレット変換に限らず、例えばＪＰＥＧ２０００やＭＰＥＧ４のような既存の階層符号化など、任意のラインベース・コーデックに適用可能である。
【００４７】
図４は、本発明を適用した通信システムの実施の形態の構成例を示すブロック図である。
【００４８】
図４において、通信システム２０は、カメラ２１およびカメラ制御装置２２を備えて構成されている。カメラ２１およびカメラ制御装置２２の間は、例えば、ＩＥＥＥ８０２．１１ａ，ｂ，ｇ，ｎ，ｓなどの標準仕様に基づく無線通信や、Ethernet（登録商標）、NGN（Next Generation Network）などの汎用回線により接続されている。
【００４９】
カメラ２１は、被写体を撮像し、一連の画像データを生成して送信する送信装置としての機能を備える。カメラ制御装置２２は、カメラ２１に対する制御を行って、カメラ２１から送信されてくる画像を受信する受信装置としての機能を備える。
【００５０】
なお、カメラ２１およびカメラ制御装置２２が１対１の関係ではなく、例えば、１台のカメラ制御装置２２が、複数台のカメラ２１に対する制御を行って、複数台のカメラ２１から送信されてくる画像を受信するように通信システム２０を構成することができる。即ち、通信システム２０は複数台のカメラ２１を備えて構成されていてもよい。
【００５１】
カメラ２１は、撮像部３１、符号化部３２、送信メモリ部３３、通信部３４、および通信制御部３５を備えて構成される。カメラ２１としては、例えば、ビデオカメラや、動画撮影機能を有するデジタルスチルカメラ、パーソナルコンピュータ、携帯電話機、ゲーム機器などを採用することができる。
【００５２】
撮像部３１は、CCD（Charge Coupled Device）や、CMOS(Complementary Metal Oxide Semiconductor)センサなどの撮像素子を備えて構成され、撮像素子が撮像して得られる画像データを、符号化部３２に供給する。
【００５３】
符号化部３２は、図１の符号化装置１０に対応し、前述のラインベース・コーデックに従って画像データを符号化する。即ち、符号化部３２は、撮像部３１から供給された画像データを１フィールド内のＮライン（Ｎは１以上）の符号化単位で符号化してデータ量を削減した後、符号化済みの画像データ（符号化データ）を送信メモリ部３３に供給する。
【００５４】
送信メモリ部３３は、符号化部３２から供給される符号化データを一時的に蓄積する。また、送信メモリ部３３は、ネットワーク環境に応じてルーティング情報を管理し、例えば、通信システム２０が複数台のカメラ２１を有して構成される場合、他の端末（カメラ２１）へのデータ転送を制御するルーティング機能を有してもよい。
【００５５】
通信部３４は、通信制御部３５の制御に従って、カメラ制御装置２２との通信を行う。例えば、通信部３４は、通信制御部３５による制御に応じたタイミングで、送信メモリ部３３に蓄積されている符号化データを読み出してカメラ制御装置２２に送信する。通信部３４は、例えば、１ピクチャ分の符号化データを複数に分割し、それぞれ分割された符号化データを含む複数の通信パケットを生成して、一連の画像データを順次送信する。また、通信部３４は、例えば、カメラ制御装置２２からの通信パケットを受信した場合、受信した通信パケットを解析し、通信制御部３５に渡すべき制御データを分離して、通信制御部３５に出力する。
【００５６】
通信制御部３５は、経路制御やＱｏＳによる無線回線などに関する制御を行うとともに、カメラ制御装置２２との間で画像データの送信タイミングの調整を行う。より具体的には、通信制御部３５は、カメラ制御装置２２から送信される送信開始指示信号（制御データ）を、通信部３４を介して受け取り、送信開始指示信号で指定された送信開始時刻に従って、通信パケットの送信を開始するように通信部３４を制御する。これにより、通信部３４は、送信メモリ部３３に蓄積されているデータを読み出して通信パケットを生成し、送信開始時刻に従ったタイミングで送信する。
【００５７】
カメラ制御装置２２は、通信部４１、受信メモリ部４２、復号部４３、出力部４４、同期制御部４５、および通信制御部４６を備えて構成される。カメラ制御装置２２としては、パーソナルコンピュータや、ビデオレコーダなどの家庭用の映像処理装置、通信装置、任意の情報処理装置など、カメラ２１に対して画像データの送受信タイミングを決定するマスタとしての役割を果たす装置を採用することができる。
【００５８】
通信部４１は、通信制御部４６の制御に従って、カメラ２１との通信を行う。例えば、通信部４１は、送信開始指示信号の送信を指示されると、送信開始指示信号を含む通信パケットを生成して、カメラ２１に送信する。また、通信部４１は、例えば、カメラ２１から送信されてくる符号化データを含む通信パケットを受信した場合、その通信パケットから符号化データを取り出して受信メモリ部４２に出力する。
【００５９】
受信メモリ部４２は、通信制御部４６の制御に従って、通信部４１から出力される符号化データを一時的に蓄積した後、所定の復号開始時点で復号部４３に符号化データを出力する。受信メモリ部４２では、通信制御部４６から指定された復号開始時刻が、画像データの復号開始時点として決定される。
【００６０】
復号部４３は、受信メモリ部４２から出力される符号化データを１フィールド内のＮライン（Ｎは１以上）の単位で復号し、その復号の結果得られる画像データを出力部４４に出力する。出力部４４は、復号部４３において復号された画像データに応じた画像を出力する。
【００６１】
同期制御部４５は、通信システム２０内の装置間の画像データの送受信タイミングを制御するタイミングコントローラの役割を果たす。例えば、同期制御部４５には、通信部４１が受信した通信パケットに含まれているタイムスタンプ（例えば、回線制御レイヤ同期用タイムスタンプ）が、通信制御部４６を介して供給される。同期制御部４５は、そのタイムスタンプを参照して、回線を同期させるためのタイミングを示す同期信号を調整して出力する。同期制御部４５は、典型的にはアプリケーション層の処理として実装される。
【００６２】
通信制御部４６は、通信制御部３５と同様に、経路制御やＱｏＳによる無線回線などに関する制御を行うとともに、同期制御部４５から出力される同期信号に応じて、カメラ２１との間で画像データの送信タイミングの調整を行う。
【００６３】
この画像データの送受信タイミングの調整は、カメラ制御装置２２において実行されているアプリケーションからの指示や、カメラ２１からの同期要求信号の受信などをきっかけとして開始される。そして、通信制御部４６は、同期制御部４５の同期信号に応じて、画像データの送信開始時刻を指定する送信開始指示信号を、通信部４１を介してカメラ２１に送信し、画像データの復号開始時刻の指定を受信メモリ部４２に対して行う。このとき、受信メモリ部４２に対して指定される復号開始時刻は、カメラ２１へ送信される画像データの送信開始時刻から、復号化単位ごとのデータ量の変動や通信経路のジッタなどの通信環境の変動により生じる遅延、ハードウェア遅延、またはメモリ遅延等を吸収するための時間を差し引いた時刻とする。
【００６４】
このようにカメラ２１およびカメラ制御装置２２は構成されており、カメラ２１において撮像された画像データがカメラ制御装置２２に送信され、カメラ制御装置２２において受信されて出力される。
【００６５】
ここで、カメラ２１およびカメラ制御装置２２の間で、例えば、ＩＰ（Internet Protocol）に基づく通信を行う場合には、カメラ２１では、通信部３４が、送信メモリ部３３から読み出した符号化データを含むＩＰパケットを生成し、符号化単位での一連の画像データの送信処理が実行される。
【００６６】
図５を参照して、カメラ２１とカメラ制御装置２２との間で送受信する可能性のある通信データの一例としての、ＩＰパケットのフレームフォーマットについて説明する。図５では、１つのＩＰパケットの内部構成が４段階に分けられて示されている。
【００６７】
まず、ＩＰパケットは、ＩＰヘッダおよびＩＰデータから構成される。ＩＰヘッダには、例えば、宛先ＩＰアドレスなどのＩＰに基づく通信経路の制御に関する制御情報などが含まれる。
【００６８】
ＩＰデータは、さらにＵＤＰヘッダ及びＵＤＰデータから構成される。ＵＤＰは、リアルタイム性が重視される動画または音声データの配信時などに一般的に使用される、ＯＳＩ参照モデルのトランスポート層のプロトコルである。ＵＤＰヘッダには、例えばアプリケーション識別情報である宛先ポート番号などが含まれる。
【００６９】
ＵＤＰデータは、さらにＲＴＰヘッダ及びＲＴＰデータから構成される。ＲＴＰヘッダには、例えばシーケンス番号などのデータストリームのリアルタイム性を保証するための制御情報が含まれる。
【００７０】
ＲＴＰデータは、画像データのヘッダ（以下、画像ヘッダという。）及びラインベース・コーデックに基づいて圧縮された画像本体である符号化データから構成される。符号化データは、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で画像データが符号化されたデータである。
【００７１】
画像ヘッダには、例えばピクチャ番号やラインブロック番号（１ライン単位で符号化を行う場合にはライン番号）、サブバンド番号などの画像データに関する情報を含むことができる。なお、画像ヘッダは、ピクチャごとに付与されるピクチャヘッダと、ラインブロックごとに付与されるラインブロックヘッダにさらに分けて構成されてもよい。
【００７２】
このように構成されているＩＰパケットが、カメラ２１の通信部３４から送信され、カメラ制御装置２２の通信部４１に受信される。そして、通信部４１は、ＩＰパケットに含まれている画像ヘッダおよび符号化データを抜き出し、受信メモリ部４２に出力する。
【００７３】
ここで、画像データでは、ピクチャごとにピクチャヘッダが付与されており、カメラ２１の通信部３４は、例えば、ピクチャの先頭に対応する符号化データを含むＩＰパケットの画像ヘッダにピクチャヘッダを含めて、そのＩＰパケットを送信する。以下、適宜、ピクチャヘッダが画像ヘッダに含まれているＩＰパケットを、ピクチャヘッダパケットと称する。
【００７４】
図６には、ピクチャヘッダパケットについての概略的なデータ構造が示されている。ピクチャヘッダパケットには、例えば、ＲＴＰヘッダ、画像ヘッダ、および符号化データが配置されている。
【００７５】
ＲＴＰヘッダには、Ｖ（Version Bit），Ｐ（Padding Bit），Ｘ（Extension Bit），ＣＣ（CSRC(Contributing Source) Count），Ｍ（Marker Bit），ＰＴ（Payload Type）、シーケンス番号、タイムスタンプ、ＳＳＲＣ（Synchronization Source Identifier：送信者識別子）が記述される。
【００７６】
画像ヘッダは、全てのＩＰパケットに共通する共通部分と、ピクチャヘッダパケットに含まれるピクチャヘッダとで構成される。共通部分には、図５に示したように、ピクチャ番号、ラインブロック番号、サブバンド番号が記述される。
【００７７】
ピクチャヘッダには、画像のサイズを示す画像サイズ情報、単位時間あたりに更新される画像の枚数を示すフレームレート、および、画像の画質を調整するための変数であるｎ個の画質調整パラメータ１乃至ｎが記述される。これらのピクチャヘッダに記述されている情報は、カメラ制御装置２２の復号部４３において符号化データを復号する際に参照される。
【００７８】
符号化データは、ＩＰパケットのペイロードに格納可能なサイズで格納される。例えば、ピクチャヘッダパケットには、ピクチャヘッダが含まれる分に応じて、ピクチャヘッダが含まれないＩＰパケットよりも少ないサイズの符号化データが格納される。
【００７９】
次に、図７は、図４の受信メモリ部４２の詳細な構成を示すブロック図である。
【００８０】
図７に示すように、受信メモリ部４２は、ヘッダ検出部５１、蓄積制御部５２、蓄積部５３、ピクチャヘッダ蓄積部５４、復号開始指示部５５、および時間観測部５６を備えて構成される。カメラ２１から送信されてくる通信パケットを通信部４１が受信すると、通信部４１は、その通信パケットに含まれている画像ヘッダおよび符号化データを抜き出して、ヘッダ検出部５１および蓄積制御部５２にそれぞれ供給する。
【００８１】
ヘッダ検出部５１は、通信部４１から供給されるデータに含まれる画像ヘッダを検出し、その画像ヘッダに含まれているピクチャ番号、ラインブロック番号、サブバンド番号を抽出する。また、ヘッダ検出部５１は、所定のピクチャヘッダ観測区間（後述の図８参照）において、画像ヘッダにピクチャヘッダが含まれている場合、ピクチャヘッダを抽出する。
【００８２】
例えば、ヘッダ検出部５１は、画像ヘッダから抽出したピクチャ番号に基づいて、ピクチャの先頭位置を認識する。また、ヘッダ検出部５１は、画像ヘッダから抽出したラインブロック番号に基づいて、その画像ヘッダが付加されている符号化データが、ピクチャ内のどのラインブロックに該当するのかを認識する。また、ヘッダ検出部５１は、画像ヘッダから抽出したピクチャヘッダに基づいて、ピクチャヘッダパケットが受信されたことを認識する。
【００８３】
そして、ヘッダ検出部５１は、それらの認識した情報を、制御情報として蓄積制御部５２および復号開始指示部５５へ出力する。
【００８４】
蓄積制御部５２は、ヘッダ検出部５１からの制御情報に従って、通信部４１から供給される画像ヘッダおよび符号化データの蓄積部５３への蓄積を制御する。また、蓄積制御部５２は、ヘッダ検出部５１からの制御情報に従って、画像ヘッダにピクチャヘッダが含まれている場合、その画像ヘッダおよび符号化データをピクチャヘッダ蓄積部５４にも蓄積する。
【００８５】
蓄積部５３は、蓄積制御部５２から供給される画像ヘッダおよび符号化データを一時的に蓄積する。ピクチャヘッダ蓄積部５４は、ピクチャヘッダが含まれている画像ヘッダ、および、その画像ヘッダと同じ通信パケットに含まれていた符号化データを一時的に蓄積する。
【００８６】
ここで、符号化データは、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で画像データが符号化されたものである。そして、蓄積部５３では、符号化データそれぞれの画像上の位置（即ち、ピクチャ内のどのライン（またはラインブロック）に該当するか）に対応して、画像ヘッダおよび符号化データを蓄積する記憶領域が割り当てられている。従って、蓄積制御部５２は、画像ヘッダおよび符号化データを蓄積部５３に蓄積する際に、ヘッダ検出部５１によって認識された画像上の位置に従って、その画像ヘッダおよび符号化データに割り当てられている記憶領域に蓄積する。
【００８７】
また、例えば、カメラ２１の通信部３４が送信したピクチャヘッダパケットが伝送経路中でロスした場合、通信部４１からヘッダ検出部５１に、ピクチャヘッダを含む画像ヘッダが供給されないことになる。この場合、ヘッダ検出部５１は、ピクチャヘッダを抽出することができず、所定のピクチャヘッダ観測区間（後述の図８参照）が経過してもピクチャヘッダを抽出することができなければ、ピクチャヘッダパケットがロスしたことを検出する。ヘッダ検出部５１が、ピクチャヘッダパケットがロスしたことを検出すると、蓄積制御部５２は、ピクチャヘッダ蓄積部５４に蓄積されている画像ヘッダおよび符号化データを読み出して、蓄積部５３に蓄積させ、ロスしたデータに替えて挿入する。
【００８８】
上述したように、蓄積制御部５２は、ピクチャヘッダが含まれている画像ヘッダおよび符号化データをピクチャヘッダ蓄積部５４にも蓄積している。従って、カメラ制御装置２２がピクチャヘッダパケットを既に受信している場合、ピクチャヘッダ蓄積部５４には、ピクチャヘッダが含まれている画像ヘッダおよび符号化データが蓄積されている。従って、蓄積部５３に蓄積中の符号化データに応じたピクチャのピクチャヘッダがロスしても、そのピクチャよりも前のピクチャのピクチャヘッダが、ロスしたピクチャヘッダの替わりに蓄積部５３に蓄積される。
【００８９】
なお、例えば、ピクチャヘッダ蓄積部５４の保持内容は、最新のピクチャヘッダが含まれている画像ヘッダおよび符号化データに常に更新する他、例えば、ピクチャヘッダが含まれている画像ヘッダおよび符号化データを一度保持したら、その保持内容を維持し続けてもよい。また、一般的に、ピクチャヘッダパケットに含まれている符号化データ（画像データ）の情報量は多いので、符号化データについては、符号化データよりもデータ量の少ない既知のデータに置き換えて、符号化データ以外のデータ（画像ヘッダ）を、常に更新するようにしてもよい。
【００９０】
復号開始指示部５５は、図４の通信制御部４６から設定された復号開始時刻を画像データの復号開始時点として決定する。そして、復号開始指示部５５は、復号開始時後に、符号化単位（即ち、ラインまたはラインブロックの単位）での符号化データを蓄積部５３から読み出して復号部４３に供給するとともに、復号部４３に対して復号開始を指示する。
【００９１】
ここで、本実施形態では、ピクチャの先頭が認識された時点から予め設定された一定の時間が経過した後の時点が、復号開始時点として設定される。例えば、復号化単位ごとのデータ量の変動や通信経路のジッタの影響等による遅延を吸収できる時間を一定の時間として設定するのが好適である。
【００９２】
時間観測部５６は、復号開始指示部５５からの制御を受けて、ピクチャヘッダの観測区間の時間を制御する。時間観測部５６は、例えば、タイマーとして実装することができる。ピクチャヘッダの観測区間については、カメラ２１とカメラ制御装置２２の送受信処理タイミングがカメラ制御装置２２より設定され、ラインベース・コーデックを使用していることより、観測区間を復号化単位ごとのデータ量の変動や通信経路のジッタの影響等による遅延を吸収できる時間で設定できるため、観測区間を狭く設定することが可能となる。
【００９３】
ここで、図８を参照して、観測区間について説明する。
【００９４】
図８には、カメラ２１が、ピクチャヘッダパケットを送信するタイミングを示す送信タイミング、カメラ制御装置２２が、その送信タイミングで送信されたピクチャヘッダパケットを受信する受信タイミング、および、受信メモリ部４２に設定されるピクチャヘッダ観測区間が示されている。
【００９５】
上述したように、カメラ２１は、カメラ制御装置２２からの送信開始指示信号で指定された送信開始時刻に従って画像データの送信を行い、１ピクチャごとに、ピクチャの先頭でピクチャヘッダパケットを送信する。カメラ２１から送信されたピクチャヘッダパケットは、復号化単位ごとのデータ量の変動や通信経路のジッタなどの通信環境の変動により生じる遅延時間に応じて遅延して、カメラ制御装置２２に受信される。
【００９６】
そして、ピクチャヘッダ観測区間は、送信開始時刻からピクチャヘッダパケットの受信時刻までを含む所定の時間であって、１ピクチャ期間（１ピクチャ分の符号化データの送信に必要な時間）未満に設定される。
【００９７】
例えば、従来の受信装置では、１ピクチャ期間が経過して次のピクチャのピクチャヘッダパケットを受信したときに、現在のピクチャのピクチャヘッダパケットがロスしたことを検出していた。従って、この場合、１ピクチャ期間が経過するまで復号処理を待機することになる。
【００９８】
これに対し、カメラ制御装置２２では、１ピクチャ期間よりも狭くピクチャヘッダ観測区間を設定することができ、ピクチャヘッダ観測区間内にピクチャヘッダパケットを検出することができなければ、ピクチャヘッダパケットがロスしたとして、１ピクチャ期間が経過するまで待機することなく復号処理を開始することができる。これにより、より低遅延で画像を出力することができる。また、このとき、受信済みのピクチャヘッダパケットに含まれているピクチャヘッダを利用して復号処理が行われるので、ピクチャヘッダを用いずに復号処理が行われる場合と比較して、高画質で復号することができる。即ち、ピクチャヘッダを用いずに復号処理が行われる場合には、画質が低下してしまうが、このような画質の低下を回避することができる。
【００９９】
次に、図９乃至図１２を参照して、カメラ２１が画像データを送信する送信処理、および、カメラ制御装置２２が画像データを受信する受信処理について説明する。
【０１００】
次に、図９は、カメラ２１が画像データを送信する送信処理を説明するフローチャートである。
【０１０１】
ステップＳ１１において、通信部３４は、カメラ制御装置２２から送信されてくる送信開始指示信号を受信して通信制御部３５に供給する。例えば、カメラ２１が起動して撮像部３１による撮像が開始されると処理が開始され、通信制御部３５は、通信部３４が送信開始指示信号を受信するまで処理を待機する。そして、通信部３４が送信開始指示信号を受信して通信制御部３５に供給すると、通信制御部３５は、送信開始指示信号に含まれる送信開始時刻を取得し、処理はステップＳ１２に進む。
【０１０２】
ステップＳ１２において、通信制御部３５は、ステップＳ１１で取得した送信開始時刻に従って、送信開始時刻になったか否かを判定し、送信開始時刻になったと判定されるまで処理を待機する。その後、送信開始時刻になったと判定されると、処理はステップＳ１３に進む。
【０１０３】
ステップＳ１３において、通信制御部３５は、画像データの符号化部３２への出力を開始するように撮像部３１に対する制御を行い、符号化部３２は、撮像部３１から出力された画像データを１フィールド内のＮライン（Ｎは１以上）の符号化単位での符号化を開始する。そして、符号化部３２は、画像データを符号化した符号化データを送信メモリ部３３に出力し、送信メモリ部３３には、通信経路および送信処理の進行状況に応じて符号化データが蓄積される。
【０１０４】
ステップＳ１４において、通信制御部３５は、符号化データのカメラ制御装置２２への送信を待機するか否かを判定し、符号化データを送信するタイミングとなるまで処理を待機する。その後、符号化データを送信するタイミングとなると、カメラ制御装置２２は、カメラ制御装置２２に送信する通信パケットを生成するように、通信部３４に対する制御を行う。これにより、通信部３４は、送信メモリ部３３から符号化データを読み出し、その符号化データを含む通信パケットの生成を開始する。
【０１０５】
ここで、例えば、ピクチャの先頭の画像に対応する符号化データを含む通信パケットを生成するとき、通信部３４は、上述したようなピクチャヘッダを含む画像ヘッダと、符号化データとを含む通信パケットを生成する。
【０１０６】
ステップＳ１５の処理後、処理はステップＳ１６に進み、通信部３４は、カメラ制御装置２２に対して通信データを送信し、処理は終了される。
【０１０７】
次に、図１０は、カメラ制御装置２２が画像データを受信する受信処理を説明するフローチャートである。
【０１０８】
ステップＳ２１において、通信制御部４６は、同期制御部４５からの同期信号に基づく時刻であって、復号部４３が復号処理を開始する時刻を示す復号開始時刻を、受信メモリ部４２の復号開始指示部５５に対して指定し、処理はステップＳ２２に進む。
【０１０９】
ステップＳ２２において、通信制御部４６は、同期制御部４５からの同期信号に基づく時刻であって、カメラ２１が画像データの送信を開始する時刻を示す送信開始時刻を含む送信開始指示信号を、通信部４１を介してカメラ２１に送信する。ステップＳ２１で送信された送信開始指示信号が、図９のステップＳ１１で受信される。
【０１１０】
ステップＳ２２の処理後、処理はステップＳ２３に進み、受信メモリ部４２では、復号開始指示部５５が、通信制御部４６により指定された復号開始時刻に応じて、時間観測部５６に対してピクチャヘッダ観測区間を設定する。これにより、時間観測部５６はピクチャヘッダの観測区間のカウントを開始し、処理はステップＳ２４に進む。
【０１１１】
ステップＳ２４において、カメラ制御装置２２では、カメラ２１から送信されてくる通信パケットを通信部４１が受信して、受信メモリ部４２が画像ヘッダおよび符号化データを蓄積するデータ蓄積処理が開始される。データ蓄積処理については、図１１を参照して後述する。
【０１１２】
ステップＳ２５において、復号開始指示部５５は、ステップＳ２１で指定された復号開始時刻になったか否かを判定し、復号開始時刻になったと判定するまで処理を待機する。そして、ステップＳ２５において、復号開始指示部５５が復号開始時刻になったと判定した場合、処理はステップＳ２６に進み、復号開始指示部５５は、この時点において、復号対象のデータの受信が完了しているか否かを判定する。
【０１１３】
上述したように、本実施の形態では、ラインベース・コーデックを採用しており、例えば、復号開始指示部５５は、ピクチャの先頭のラインブロックの画像に対応する符号化データが蓄積部５３に蓄積されているか否かを検出する。そして、その符号化データが蓄積部５３に蓄積されていれば、復号開始指示部５５は、復号対象のデータの受信が完了しているか否かを判定する。
【０１１４】
ステップＳ２６において、復号開始指示部５５が、復号対象のデータの受信が完了していないと判定した場合、処理はステップＳ２１に戻り、送受信対象の画像データについての送受信タイミングの再調整が行われ、以下、同様の処理が繰り返される。
【０１１５】
一方、ステップＳ２６において、復号開始指示部５５が、復号対象のデータの受信が完了していると判定した場合、処理はステップＳ２７に進む。
【０１１６】
ステップＳ２７において、復号開始指示部５５は、蓄積制御部５２を介して蓄積部５３に蓄積されている復号対象の符号化データおよび画像ヘッダを読み出して復号部４３に供給する。
【０１１７】
ステップＳ２７の処理後、処理はステップＳ２８に進み、符号化単位の復号処理が行われる。符号化単位の復号処理については、図１２を参照して後述する。
【０１１８】
ステップＳ２８の処理後、処理はステップＳ２９に進み、復号開始指示部５５は、ピクチャ内の全てのラインが復号されたか否かを判定する。
【０１１９】
ステップＳ２９において、復号開始指示部５５がピクチャ内の全てのラインが復号されていないと判定した場合、処理はステップＳ２７に戻り、以下、同様の処理が繰り返される。即ち、この場合、ステップＳ２７において、直前のステップＳ２８で復号された符号化単位の次の符号化単位が復号処理の対称とされ、その符号化単位のデータが蓄積部５３から読み出されて復号部４３に供給され、符号化単位の復号処理が行われる。
【０１２０】
一方、ステップＳ２９において、復号開始指示部５５がピクチャ内の全てのラインが復号されたと判定した場合、処理は終了される。
【０１２１】
次に、図１１は、図１０のステップＳ２４で処理が開始されるデータ蓄積処理を説明するフローチャートである。
【０１２２】
ステップＳ３１において、ヘッダ検出部５１は、通信部４１が通信パケットを受信したか否かを判定し、通信部４１が通信パケットを受信して、その通信パケットから取り出したデータを供給するまで、処理を待機する。
【０１２３】
通信部４１からデータが供給されると、ステップＳ３１において、ヘッダ検出部５１は、通信部４１が通信パケットを受信したと判定し、処理はステップＳ３２に進み、ヘッダ検出部５１は、通信部４１から供給されるデータから画像ヘッダを検出する。そして、ヘッダ検出部５１は、画像ヘッダに含まれている各種の情報を取得する。
【０１２４】
ステップＳ３２の処理後、処理はステップＳ３３に進み、ヘッダ検出部５１は、ステップＳ３２で検出した画像ヘッダにピクチャヘッダが含まれているか否かを判定する。
【０１２５】
ステップＳ３３において、ヘッダ検出部５１が、画像ヘッダにピクチャヘッダが含まれていると判定した場合、処理はステップＳ３４に進む。ステップＳ３４において、ヘッダ検出部５１は、蓄積制御部５２に対して、ピクチャヘッダが含まれている画像ヘッダを検出したことを示す制御情報を供給する。これにより、蓄積制御部５２は、蓄積部５３およびピクチャヘッダ蓄積部５４に画像ヘッダおよび符号化データをそれぞれ蓄積するように制御を行う。
【０１２６】
一方、ステップＳ３３において、ヘッダ検出部５１が、画像ヘッダにピクチャヘッダが含まれていないと判定した場合、処理はステップＳ３５に進む。ステップＳ３５において、ヘッダ検出部５１は、蓄積制御部５２に対して、ピクチャヘッダが含まれている画像ヘッダを検出しなかったことを示す制御情報を供給する。これにより、蓄積制御部５２は、蓄積部５３に画像ヘッダおよび符号化データを蓄積するように制御を行う。
【０１２７】
ステップＳ３４またはＳ３５の処理後、処理はステップＳ３６に進み、時間観測部５６は、図１０のステップＳ２３でカウントを開始したピクチャヘッダ観測区間が経過したか否かを判定する。ステップＳ３６において、時間観測部５６が、ピクチャヘッダ観測区間が経過していないと判定した場合、処理はステップＳ３１に戻り、以下、同様の処理が繰り返される。
【０１２８】
一方、ステップＳ３６において、時間観測部５６が、ピクチャヘッダ観測区間が経過したと判定した場合、時間観測部５６はピクチャヘッダ観測区間が経過したことをヘッダ検出部５１に通知し、処理はステップＳ３７に進む。
【０１２９】
ステップＳ３７において、ヘッダ検出部５１は、ピクチャヘッダパケットがロスしたか否かを判定する。例えば、ヘッダ検出部５１は、ステップＳ３７の処理が行われた時点までに、ステップＳ３３においてピクチャヘッダが含まれているという判定を行っていれば、ピクチャヘッダパケットがロスしていないと判定する。
【０１３０】
ステップＳ３７において、ヘッダ検出部５１が、ピクチャヘッダパケットがロスしたと判定した場合、処理はステップＳ３８に進み、蓄積制御部５２は、ピクチャヘッダ蓄積部５４にピクチャヘッダが保持されているか否かを判定する。例えば、現在のピクチャより前のピクチャを受信する処理においてピクチャヘッダが受信されていれば、ピクチャヘッダ蓄積部５４にピクチャヘッダが保持されている。
【０１３１】
ステップＳ３８において、蓄積制御部５２がピクチャヘッダ蓄積部５４にピクチャヘッダが保持されていると判定した場合、処理はステップＳ３９に進む。ステップＳ３９において、蓄積制御部５２は、ピクチャヘッダ蓄積部５４に蓄積されている画像ヘッダおよび符号化データを読み出して、蓄積部５３に挿入する。
【０１３２】
一方、ステップＳ３７でピクチャヘッダパケットがロスしていないと判定された場合、ステップＳ３８でピクチャヘッダ蓄積部５４にピクチャヘッダが保持されていないと判定された場合、または、ステップＳ３９の処理後、処理はステップＳ４０に進む。
【０１３３】
ステップＳ４０以降では、残りの全てのラインのデータを受信するまで、蓄積部５３に画像ヘッダおよび符号化データを蓄積する処理が繰り返される。即ち、ステップＳ４０では、ステップＳ３１の処理と同様に、通信部４１が通信パケットを受信したと判定されるまで処理が待機され、ステップＳ４２では、ステップＳ３２の処理と同様に、画像ヘッダが検出される。そして、ステップＳ４２では、ステップＳ３５の処理と同様に、蓄積部５３に画像ヘッダおよび符号化データが蓄積される。
【０１３４】
その後、ステップＳ４３において、ヘッダ検出部５１は、全てのラインのデータを受信したか否かを判定し、全てのラインのデータを受信していないと判定した場合、処理はステップＳ４０に戻り、以下、同様の処理が繰り返される。一方、ステップＳ４３において、全てのラインのデータを受信したと判定された場合、処理は終了される。
【０１３５】
次に、図１２は、図１０のステップＳ２８における符号化単位の復号処理を説明するフローチャートである。
【０１３６】
ステップＳ５１において、復号部４３は、図１０のステップＳ２７で復号開始指示部５５が蓄積部５３から読み出して出力した画像データ（符号化データおよび画像ヘッダ）を受信し、処理はステップＳ５２に進む。
【０１３７】
ステップＳ５２において、復号開始指示部５５は、符号化単位での許容復号時間を計測する。ここで、符号化単位での許容復号時間とは、１つの符号化単位の画像データを表示するために費やすことのできる時間を意味する。一例として、１０８０／６０ｐ（画面サイズ２２００ｘ１１２５、６０ｆｐｓのプログレッシブ方式）の映像を復号する場合、１ラインの表示に費やせる時間は、ブランク時間を考慮すると約１４．８［μｓ］、ブランク時間を考慮しないと約１５．４［μｓ］となる。そして、符号化単位がＮライン分のラインブロックであった場合には、符号化単位での許容復号時間は、前述の１ラインの表示に費やせる時間のＮ倍となる。
【０１３８】
ステップＳ５２の処理後、処理はステップＳ５３に進み、復号開始指示部５５は、符号化単位での処理時間が終了するまでに蓄積部５３から復号部４３への画像データの転送が終了するかどうかを判定する。
【０１３９】
ステップＳ５３において、復号開始指示部５５が符号化単位での処理時間が終了するよりも早く画像データの転送が終了すると判定した場合、即ち、想定されるよりも少ない画像データしか受信されていなかった場合は、処理はステップＳ５４に進む。
【０１４０】
ステップＳ５４において、復号開始指示部５５は、当該画像データの受信完了を待つことなくダミーデータを当該ライン（またはラインブロック）へ挿入する。即ち、この場合、復号の対象となる画像データの受信が通信の遅延などの原因により完了していないことが考えられ、このとき、復号の対象となる画像データの受信完了を待つと同期タイミングがずれて画像の表示が遅延するため、ダミーデータの挿入が行われる。ここで挿入されるダミーデータとしては、例えば１ピクチャ前（またはそれ以前）の同一ライン（またはラインブロック）の画像データを用いることができる。なお、ダミーデータとしては、かかる例に限定されず、固定の画像データや、動き保証などにより予測したデータなど、任意のデータを用いることができる。
【０１４１】
一方、ステップＳ５３において、復号開始指示部５５が符号化単位での処理時間が終了するよりも早く画像データの転送が終了しないと判定した場合、処理はステップＳ５５に進む。
【０１４２】
ステップＳ５５において、復号開始指示部５５は、画像データの転送が終了する前に符号化単位での許容復号時間が終了するか否かを判定する。ステップＳ５５において、復号開始指示部５５が画像データの転送が終了する前に符号化単位での許容復号時間が終了しないと判定した場合、処理はステップＳ５３に戻り、以下、同様の処理が繰り返される。
【０１４３】
一方、ステップＳ５５において、復号開始指示部５５が画像データの転送が終了する前に符号化単位での許容復号時間が終了したと判定された場合、処理はステップＳ５６に進む。
【０１４４】
ステップＳ５６において、復号開始指示部５５は、蓄積部５３に復号対象の画像データが残っているか否かを判定する。ステップＳ５５において、復号開始指示部５５が蓄積部５３に復号対象の画像データが残っていると判定した場合、処理はステップＳ５７に進み、復号開始指示部５５は、蓄積部５３に残っている画像データを削除する。
【０１４５】
一方、ステップＳ５６において、蓄積部５３に復号対象の画像データが残っていないと判定された場合、ステップＳ５７の処理後、または、ステップＳ５４の処理後、処理は終了される。
【０１４６】
なお、ステップＳ５５において、１つの符号化単位での処理時間が終了した際に、時間計測用のカウンタを一時停止またはリセットすることなく連続的に動作させながら、次の復号化単位での復号指示を行うのが好適である。そうすることにより、例えばラインブロックごとの符号化単位での復号タイミングがばらつくことなく復号処理が行われる。
【０１４７】
また、その代わりに、時間計測用のカウンタとは別にカメラ制御装置２２内に時間制御部（図示せず）を設け、例えばステップＳ５４において、符号化単位ごとの処理開始、終了のタイミングを当該時間制御部から受信メモリ部４２または復号部４３へ通知させてもよい。
【０１４８】
そして、復号化単位での復号処理は、ピクチャ内の全てのラインの処理が終了するまで繰り返され、全てのラインの処理が終了した時点で受信処理は終了する。
【０１４９】
以上のように、カメラ制御装置２２では、ピクチャのデコード情報が含まれるピクチャヘッダパケットがロスした際に、ピクチャヘッダ蓄積部５４に保持されている画像ヘッダおよび符号化データを蓄積部５３に挿入して、画像ヘッダおよび符号化データを補完することができる。これにより、復号部４３では、補完された画像ヘッダおよび符号化データを利用して復号処理を行うことができ、ピクチャヘッダパケットがロスすることによる画質の低下を回避することができる。
【０１５０】
また、カメラ制御装置２２が、カメラ２１とカメラ制御装置２２との送受信処理タイミングを設定し、ピクチャヘッダ観測区間を狭く設定することができるので、ピクチャヘッダパケットがロスした場合の待機時間を短くすることができ、低遅延で画像を出力することができる。
【０１５１】
特に、通信システム２０では、ラインベース・コーデックによる低遅延という特徴を活かすことができ、エラーが発生するようなネットワーク環境においても低遅延で高画質な画像を伝送することができる。
【０１５２】
また、例えば、通信システム２０が複数のカメラ２１を備えて構成される場合、カメラ制御装置２２側で複数の画像データの管理または統合をする際に、カメラ制御装置２２がタイミングコントローラの役割を果たし、画像データ間での同期を合わせることができる。
【０１５３】
また、同期制御部４５は、通信環境の変動を吸収するための時間間隔を前述の送信開始時刻との間に有する復号開始時刻を受信メモリ部４２内の復号開始指示部５５に対して指定する。そして、受信メモリ部４２の復号開始指示部５５は、指定された復号開始時刻に基づいて復号開始時点を決定し、画像データの復号化単位での復号開始の指示を行う。また、ピクチャヘッダがロスした際には、ピクチャヘッダ蓄積部５４が保持していたピクチャヘッダにより補完することで、同期を合わせて送信された画像データについて、通信環境の変動、ロスなどの影響を吸収しながら、安定して同期された状態で復号を行うことができる。
【０１５４】
なお、通信システム２０において、通信部３４および４１は、ＴＤＭＡ（Time Division Multiple Access）方式やＣＳＭＡ（Carrier Sense Multiple Access）方式でのＭＡＣ（Media Access Control）層の制御を行う。また、通信制御部３５および４６は、キャリアではなくプリアンブルの相関からパケットを識別するＰＳＭＡ（Preamble Sense Multiple Access）に基づくＭＡＣ層の制御を行う。
【０１５５】
さらに、通信システム２０では、通信パケットを利用して送信開始信号（制御データ）を送受信することにより送信開始時刻を指定する他、別系統でタイミング信号を使用することで、送信開始時刻を指定してもよい。
【０１５６】
また、ピクチャヘッダ観測区間が経過したタイミングで、ピクチャヘッダパケットがロスしたことを検出する他、ピクチャヘッダ観測区間中であっても、パケット番号を監視することにより、ピクチャヘッダパケットのロスを検出することができる。例えば、ピクチャ番号が０〜１０（ピクチャ番号が０のパケットがピクチャヘッダパケットである）で動作しているとき、ピクチャヘッダ観測区間中にパケット番号が８，９，１０，１のような順番でパケットを受信されたとする。このとき、パケット番号が１のパケットを受信したときに、ピクチャヘッダパケットがロスしたと検出し、ピクチャヘッダパケットの補完を行うように動作させることができる。これにより、ピクチャヘッダパケットがロスしたことを検出するタイミングを早くすることができ、より低遅延で復号処理を開始することができる。
【０１５７】
なお、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１５８】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１５９】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１６０】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１６１】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１６２】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１６３】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１６４】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【０１６５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１６６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１６７】
１０ 符号化装置， １１ ウェーブレット変換部， １２ 途中計算用バッファ部， １３ 係数並び替え用バッファ部， １４ 係数並び替え部， １５ 量子化部， １６ エントロピ符号化部， ２０ 通信システム， ２１ カメラ， ２２ カメラ制御装置， ３１ 撮像部， ３２ 符号化部， ３３ 送信メモリ部， ３４ 通信部， ３５ 通信制御部， ４１ 通信部， ４２ 受信メモリ部， ４３ 復号部， ４４ 出力部， ４５ 同期制御部， ４６ 通信制御部， ５１ ヘッダ検出部， ５２ 蓄積制御部， ５３ 蓄積部， ５４ ピクチャヘッダ蓄積部， ５５ 復号開始指示部， ５６ 時間観測部
【特許請求の範囲】
【請求項１】
画像データを符号化した符号化データと、前記画像データに関する情報が含まれる画像ヘッダとを含む通信パケットを、画像の先頭に対応する前記符号化データから順に送信する送信装置から送信された前記通信パケットを受信する受信手段と、
前記受信手段により受信された通信パケットに含まれる前記符号化データおよび前記画像ヘッダを蓄積する第１の蓄積手段と、
所定の観測区間において、前記符号化データのうちの画像の先頭に対応する符号化データとともに送信されるピクチャヘッダを、前記受信手段が受信した前記通信パケットの画像ヘッダから検出する検出手段と、
前記検出手段により検出された前記ピクチャヘッダを蓄積する第２の蓄積手段と、
前記観測区間内に、前記検出手段により前記ピクチャヘッダが検出されなかった場合、前記第２の蓄積手段に蓄積されているピクチャヘッダを読み出して、前記第１の蓄積手段に蓄積させる制御手段と
を備える受信装置。
【請求項２】
前記送信装置に対して、前記通信パケットの送信を開始する時刻を指示する送信開始指示手段をさらに備え、
前記観測区間は、前記送信開始指示手段により指示される時刻から所定の時間であって、かつ、１画像分の前記符号化データの送信に必要な時間未満に設定される
請求項１に記載の受信装置。
【請求項３】
前記符号化データは、ラインベース・コーデックにより符号化されたものである
請求項１に記載の受信装置。
【請求項４】
前記第２の蓄積手段に、前記ピクチャヘッダが蓄積されているか否かを判定する判定手段をさらに備え、
前記制御手段は、前記判定手段により前記第２の蓄積手段に前記ピクチャヘッダが蓄積されていると判定された場合に、前記第２の蓄積手段に蓄積されているピクチャヘッダを前記第１の蓄積手段に蓄積させる
請求項１に記載の受信装置。
【請求項５】
前記第２の蓄積手段は、前記検出手段により前記ピクチャヘッダが検出されるたびに、蓄積内容を更新する
請求項１に記載の受信装置。
【請求項６】
前記第２の蓄積手段は、前記ピクチャヘッダを含む前記画像ヘッダを蓄積するとともに、前記ピクチャヘッダと同一の前記通信パケットに含まれている前記符号化データ、または、前記符号化データよりもデータ量の少ない既知のデータを蓄積する
請求項１に記載の受信装置。
【請求項７】
画像データを符号化した符号化データと、前記画像データに関する情報が含まれる画像ヘッダとを含む通信パケットを、画像の先頭に対応する前記符号化データから順に送信する送信装置から送信された前記通信パケットを受信し、
前記受信された通信パケットに含まれる前記符号化データおよび前記画像ヘッダを第１の蓄積手段に蓄積し、
所定の観測区間において、前記符号化データのうちの画像の先頭に対応する符号化データとともに送信されるピクチャヘッダを、前記通信パケットの画像ヘッダから検出し、
前記検出された前記ピクチャヘッダを第２の蓄積手段に蓄積し、
前記観測区間内に、ピクチャヘッダが検出されなかった場合、前記第２の蓄積手段に蓄積されているピクチャヘッダを読み出して、前記第１の蓄積手段に蓄積させる
ステップを含む受信方法。
【請求項８】
画像データを符号化した符号化データと、前記画像データに関する情報が含まれる画像ヘッダとを含む通信パケットを、画像の先頭に対応する前記符号化データから順に送信する送信装置と、
前記送信装置から送信された前記通信パケットを受信する受信手段と、
前記受信手段により受信された通信パケットに含まれる前記符号化データおよび前記画像ヘッダを蓄積する第１の蓄積手段と、
所定の観測区間において、前記符号化データのうちの画像の先頭に対応する符号化データとともに送信されるピクチャヘッダを、前記受信手段が受信した前記通信パケットの画像ヘッダから検出する検出手段と、
前記検出手段により検出された前記ピクチャヘッダを蓄積する第２の蓄積手段と、
前記観測区間内に、前記検出手段により前記ピクチャヘッダが検出されなかった場合、前記第２の蓄積手段に蓄積されているピクチャヘッダを読み出して、前記第１の蓄積手段に蓄積させる制御手段と
を有する受信装置と
を備える通信システム。
【請求項１】
画像データを符号化した符号化データと、前記画像データに関する情報が含まれる画像ヘッダとを含む通信パケットを、画像の先頭に対応する前記符号化データから順に送信する送信装置から送信された前記通信パケットを受信する受信手段と、
前記受信手段により受信された通信パケットに含まれる前記符号化データおよび前記画像ヘッダを蓄積する第１の蓄積手段と、
所定の観測区間において、前記符号化データのうちの画像の先頭に対応する符号化データとともに送信されるピクチャヘッダを、前記受信手段が受信した前記通信パケットの画像ヘッダから検出する検出手段と、
前記検出手段により検出された前記ピクチャヘッダを蓄積する第２の蓄積手段と、
前記観測区間内に、前記検出手段により前記ピクチャヘッダが検出されなかった場合、前記第２の蓄積手段に蓄積されているピクチャヘッダを読み出して、前記第１の蓄積手段に蓄積させる制御手段と
を備える受信装置。
【請求項２】
前記送信装置に対して、前記通信パケットの送信を開始する時刻を指示する送信開始指示手段をさらに備え、
前記観測区間は、前記送信開始指示手段により指示される時刻から所定の時間であって、かつ、１画像分の前記符号化データの送信に必要な時間未満に設定される
請求項１に記載の受信装置。
【請求項３】
前記符号化データは、ラインベース・コーデックにより符号化されたものである
請求項１に記載の受信装置。
【請求項４】
前記第２の蓄積手段に、前記ピクチャヘッダが蓄積されているか否かを判定する判定手段をさらに備え、
前記制御手段は、前記判定手段により前記第２の蓄積手段に前記ピクチャヘッダが蓄積されていると判定された場合に、前記第２の蓄積手段に蓄積されているピクチャヘッダを前記第１の蓄積手段に蓄積させる
請求項１に記載の受信装置。
【請求項５】
前記第２の蓄積手段は、前記検出手段により前記ピクチャヘッダが検出されるたびに、蓄積内容を更新する
請求項１に記載の受信装置。
【請求項６】
前記第２の蓄積手段は、前記ピクチャヘッダを含む前記画像ヘッダを蓄積するとともに、前記ピクチャヘッダと同一の前記通信パケットに含まれている前記符号化データ、または、前記符号化データよりもデータ量の少ない既知のデータを蓄積する
請求項１に記載の受信装置。
【請求項７】
画像データを符号化した符号化データと、前記画像データに関する情報が含まれる画像ヘッダとを含む通信パケットを、画像の先頭に対応する前記符号化データから順に送信する送信装置から送信された前記通信パケットを受信し、
前記受信された通信パケットに含まれる前記符号化データおよび前記画像ヘッダを第１の蓄積手段に蓄積し、
所定の観測区間において、前記符号化データのうちの画像の先頭に対応する符号化データとともに送信されるピクチャヘッダを、前記通信パケットの画像ヘッダから検出し、
前記検出された前記ピクチャヘッダを第２の蓄積手段に蓄積し、
前記観測区間内に、ピクチャヘッダが検出されなかった場合、前記第２の蓄積手段に蓄積されているピクチャヘッダを読み出して、前記第１の蓄積手段に蓄積させる
ステップを含む受信方法。
【請求項８】
画像データを符号化した符号化データと、前記画像データに関する情報が含まれる画像ヘッダとを含む通信パケットを、画像の先頭に対応する前記符号化データから順に送信する送信装置と、
前記送信装置から送信された前記通信パケットを受信する受信手段と、
前記受信手段により受信された通信パケットに含まれる前記符号化データおよび前記画像ヘッダを蓄積する第１の蓄積手段と、
所定の観測区間において、前記符号化データのうちの画像の先頭に対応する符号化データとともに送信されるピクチャヘッダを、前記受信手段が受信した前記通信パケットの画像ヘッダから検出する検出手段と、
前記検出手段により検出された前記ピクチャヘッダを蓄積する第２の蓄積手段と、
前記観測区間内に、前記検出手段により前記ピクチャヘッダが検出されなかった場合、前記第２の蓄積手段に蓄積されているピクチャヘッダを読み出して、前記第１の蓄積手段に蓄積させる制御手段と
を有する受信装置と
を備える通信システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２５９２４９（Ｐ２０１１−２５９２４９Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１３２４５９（Ｐ２０１０−１３２４５９）
【出願日】平成２２年６月９日（２０１０．６．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月９日（２０１０．６．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]