電子透かしによるリップシンク装置及びリップシンク方法
【課題】
従来の電子透かしによるリップシンク方法では、音声と映像の伝送／処理系における同期情報として、映像信号と音声信号の両方に同一の時間情報を挿入する為、映像信号より情報量の密な音声信号には時間情報を挿入し辛いという問題があった。
【解決手段】
音声と映像の同期情報として、同一の時間情報ではなく、例えば振幅といった音声の特徴信号を、音声信号に比べて情報量の粗な映像信号に対してのみ電子透かしとして挿入するので、容易且つ効率的にリップシンクが可能である。
従来の電子透かしによるリップシンク方法では、音声と映像の伝送／処理系における同期情報として、映像信号と音声信号の両方に同一の時間情報を挿入する為、映像信号より情報量の密な音声信号には時間情報を挿入し辛いという問題があった。
【解決手段】
音声と映像の同期情報として、同一の時間情報ではなく、例えば振幅といった音声の特徴信号を、音声信号に比べて情報量の粗な映像信号に対してのみ電子透かしとして挿入するので、容易且つ効率的にリップシンクが可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号と映像信号の伝送／処理系において電子透かしにより映像と音声を同期させる装置と方法に関するものである。
【背景技術】
【０００２】
従来の電子透かしによるリップシンク方法では、同期情報として映像信号と音声信号にそれぞれ同一の時間情報を挿入し、受信側でこれらの時間差を検出後一方を遅延して映像と音声を同期させる方法であった。
【０００３】
【特許文献１】特開２００３−２５９３１４号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の電子透かしによるリップシンク方法では、同期情報として映像信号と音声信号の両方に同一の時間情報を挿入する為、情報量の密な音声信号には同期情報を挿入し辛いという問題があった。
【０００５】
本発明は、上記問題点を解決した電子透かしによるリップシンク装置及びリップシンク方法を提供することを課題としている。
【課題を解決するための手段】
【０００６】
上記問題を解決する為に、本発明の電子透かしによるリップシンク方法は、同期情報として同一の時間情報ではなく、音声の特徴信号を抽出して映像信号に挿入する事を特徴としている。
【０００７】
この発明によれば、情報量の粗な映像信号にのみ音声の特徴信号を電子透かしとして挿入するので、挿入が容易且つ効率的である。
【発明の効果】
【０００８】
本発明によれば、同期情報として音声の特徴信号を映像信号に対してのみ電子透かしとして挿入するので、音声信号が電子透かし挿入による影響を受けないという効果がある。
【発明を実施するための最良の形態】
【０００９】
図１は本発明によるブロック図であり、図２は従来の技術によるブロック図である。以下図１に従って本発明内容について説明する。
【００１０】
図１において音声信号入力部１より入力された音声信号は、分岐後特徴信号抽出部３においてその特徴信号例えば振幅が抽出される。抽出された特徴信号は映像信号入力部２より入力された映像信号に対して電子透かし挿入部４において電子透かしとして挿入される。
【００１１】
音声信号と電子透かしを挿入した映像信号は、それぞれ伝送経路やデジタル処理回路を表す遅延系５を通過する。 遅延系５を通過した後の音声信号と映像信号は同期がずれており、一般的には音声信号より映像信号が遅延する。
【００１２】
音声の特徴信号を電子透かしとして挿入した映像信号は、電子透かし抽出部７において音声の特徴信号が抽出されて比較部８に送られる。一方遅延系５を通過した音声信号は、分岐後特徴信号抽出部６において音声の特徴信号（ここでは振幅）が抽出されて比較部８へ送られる。比較部８ではこれら２つの音声の特徴信号を比較し、時間差を算出して時間差信号を送出する。
【００１３】
比較部８から送出された時間差信号により、音声信号は音声遅延部９において映像信号と同期する様に遅延処理が施されて音声信号出力部１０に送付される。また電子透かし抽出部７を経た映像信号は映像信号出力部１１へ送付される。この結果、遅延系５において遅延差を生じた音声信号と映像信号の同期が回復される。
【００１４】
図２において音声信号入力部２１より入力された音声信号と、映像信号入力部２２より入力された映像信号は、電子透かし挿入部２４，２５においてタイムコード発生器２３より送出された同一の時間情報が挿入される。
【００１５】
電子透かしを各々挿入した音声信号と同映像信号は、それぞれ伝送経路やデジタル処理回路を表す遅延系２６を通過する。遅延系２６を通過した後の音声信号と映像信号は一般に同期がずれている。
【００１６】
同一の時間情報が挿入された音声信号と映像信号は、電子透かし抽出部２７，２８で時間情報が抽出されて比較部２９へ送られる。比較部２９ではこれらの時間情報を比較し、時間差を算出して時間差信号を送出する。
【００１７】
比較部２９から送出された時間差信号は、音声遅延部３０と映像遅延部３１に送付されて遅延の大きい方に合わせて同期がとられる。同期が回復した音声信号と映像信号は、各々音声信号出力部３２と映像信号出力部３３へ送付される。
【００１８】
図３は本発明による音声の特徴信号の抽出例であり、音声信号４１に対して音声の特徴信号４２が抽出される。更に図１の比較部８において映像信号の遅延量４３が判定され、音声遅延部９において遅延量４３だけ音声信号が遅延されて映像信号との同期が取られる。
【００１９】
尚、本実施例では音声の特徴信号として振幅を上げたが、これ以外にも周波数特性やゼロクロスの間隔やエネルギー（電力）等が音声の特徴信号として有効である。
【図面の簡単な説明】
【００２０】
【図１】本発明によるリップシンクのブロック図である。
【図２】従来技術によるリップシンクのブロック図である。
【図３】本発明による音声の特徴信号の抽出例である。
【符号の説明】
【００２１】
１ 音声信号入力部
２ 映像信号入力部
３ 特徴信号抽出部
４ 電子透かし挿入部
５ 遅延系
６ 特徴信号抽出部
７ 電子透かし抽出部
８ 比較部
９ 音声遅延部
１０ 音声信号出力部
１１ 映像信号出力部
２１ 音声信号入力部
２２ 映像信号入力部
２３ タイムコード発生器
２４ 電子透かし挿入部
２５ 電子透かし挿入部
２６ 遅延系
２７ 電子透かし抽出部
２８ 電子透かし抽出部
２９ 比較部
３０ 音声遅延部
３１ 映像遅延部
３２ 音声信号出力部
３３ 映像信号出力部
４１ 音声信号
４２ 音声の特徴信号
４３ 遅延量
【技術分野】
【０００１】
本発明は、音声信号と映像信号の伝送／処理系において電子透かしにより映像と音声を同期させる装置と方法に関するものである。
【背景技術】
【０００２】
従来の電子透かしによるリップシンク方法では、同期情報として映像信号と音声信号にそれぞれ同一の時間情報を挿入し、受信側でこれらの時間差を検出後一方を遅延して映像と音声を同期させる方法であった。
【０００３】
【特許文献１】特開２００３−２５９３１４号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の電子透かしによるリップシンク方法では、同期情報として映像信号と音声信号の両方に同一の時間情報を挿入する為、情報量の密な音声信号には同期情報を挿入し辛いという問題があった。
【０００５】
本発明は、上記問題点を解決した電子透かしによるリップシンク装置及びリップシンク方法を提供することを課題としている。
【課題を解決するための手段】
【０００６】
上記問題を解決する為に、本発明の電子透かしによるリップシンク方法は、同期情報として同一の時間情報ではなく、音声の特徴信号を抽出して映像信号に挿入する事を特徴としている。
【０００７】
この発明によれば、情報量の粗な映像信号にのみ音声の特徴信号を電子透かしとして挿入するので、挿入が容易且つ効率的である。
【発明の効果】
【０００８】
本発明によれば、同期情報として音声の特徴信号を映像信号に対してのみ電子透かしとして挿入するので、音声信号が電子透かし挿入による影響を受けないという効果がある。
【発明を実施するための最良の形態】
【０００９】
図１は本発明によるブロック図であり、図２は従来の技術によるブロック図である。以下図１に従って本発明内容について説明する。
【００１０】
図１において音声信号入力部１より入力された音声信号は、分岐後特徴信号抽出部３においてその特徴信号例えば振幅が抽出される。抽出された特徴信号は映像信号入力部２より入力された映像信号に対して電子透かし挿入部４において電子透かしとして挿入される。
【００１１】
音声信号と電子透かしを挿入した映像信号は、それぞれ伝送経路やデジタル処理回路を表す遅延系５を通過する。 遅延系５を通過した後の音声信号と映像信号は同期がずれており、一般的には音声信号より映像信号が遅延する。
【００１２】
音声の特徴信号を電子透かしとして挿入した映像信号は、電子透かし抽出部７において音声の特徴信号が抽出されて比較部８に送られる。一方遅延系５を通過した音声信号は、分岐後特徴信号抽出部６において音声の特徴信号（ここでは振幅）が抽出されて比較部８へ送られる。比較部８ではこれら２つの音声の特徴信号を比較し、時間差を算出して時間差信号を送出する。
【００１３】
比較部８から送出された時間差信号により、音声信号は音声遅延部９において映像信号と同期する様に遅延処理が施されて音声信号出力部１０に送付される。また電子透かし抽出部７を経た映像信号は映像信号出力部１１へ送付される。この結果、遅延系５において遅延差を生じた音声信号と映像信号の同期が回復される。
【００１４】
図２において音声信号入力部２１より入力された音声信号と、映像信号入力部２２より入力された映像信号は、電子透かし挿入部２４，２５においてタイムコード発生器２３より送出された同一の時間情報が挿入される。
【００１５】
電子透かしを各々挿入した音声信号と同映像信号は、それぞれ伝送経路やデジタル処理回路を表す遅延系２６を通過する。遅延系２６を通過した後の音声信号と映像信号は一般に同期がずれている。
【００１６】
同一の時間情報が挿入された音声信号と映像信号は、電子透かし抽出部２７，２８で時間情報が抽出されて比較部２９へ送られる。比較部２９ではこれらの時間情報を比較し、時間差を算出して時間差信号を送出する。
【００１７】
比較部２９から送出された時間差信号は、音声遅延部３０と映像遅延部３１に送付されて遅延の大きい方に合わせて同期がとられる。同期が回復した音声信号と映像信号は、各々音声信号出力部３２と映像信号出力部３３へ送付される。
【００１８】
図３は本発明による音声の特徴信号の抽出例であり、音声信号４１に対して音声の特徴信号４２が抽出される。更に図１の比較部８において映像信号の遅延量４３が判定され、音声遅延部９において遅延量４３だけ音声信号が遅延されて映像信号との同期が取られる。
【００１９】
尚、本実施例では音声の特徴信号として振幅を上げたが、これ以外にも周波数特性やゼロクロスの間隔やエネルギー（電力）等が音声の特徴信号として有効である。
【図面の簡単な説明】
【００２０】
【図１】本発明によるリップシンクのブロック図である。
【図２】従来技術によるリップシンクのブロック図である。
【図３】本発明による音声の特徴信号の抽出例である。
【符号の説明】
【００２１】
１ 音声信号入力部
２ 映像信号入力部
３ 特徴信号抽出部
４ 電子透かし挿入部
５ 遅延系
６ 特徴信号抽出部
７ 電子透かし抽出部
８ 比較部
９ 音声遅延部
１０ 音声信号出力部
１１ 映像信号出力部
２１ 音声信号入力部
２２ 映像信号入力部
２３ タイムコード発生器
２４ 電子透かし挿入部
２５ 電子透かし挿入部
２６ 遅延系
２７ 電子透かし抽出部
２８ 電子透かし抽出部
２９ 比較部
３０ 音声遅延部
３１ 映像遅延部
３２ 音声信号出力部
３３ 映像信号出力部
４１ 音声信号
４２ 音声の特徴信号
４３ 遅延量
【特許請求の範囲】
【請求項１】
音声信号と映像信号の伝送／処理系において、
音声信号入力部と、
映像信号入力部と、
入力された音声信号から音声の特徴信号を抽出する特徴信号抽出部と、
入力された映像信号に該特徴信号を電子透かしとして挿入する電子透かし挿入部と、
遅延系を経た音声信号から音声の特徴信号を抽出する特徴信号抽出部と、
遅延系を経た映像信号から音声の特徴信号を抽出する電子透かし抽出部と、
これら２つの音声の特徴信号を取り込んで時間差を算出し、時間差信号を送出する比較部と、
該時間差信号に基づいて音声を遅延させる音声遅延部を含む事を特徴とするリップシンク装置。
【請求項２】
音声の特徴信号が、振幅／周波数成分／ゼロクロスの間隔／エネルギー（電力）のいずれかである事を特徴とする請求項１に記載のリップシンク装置。
【請求項３】
音声信号と映像信号の伝送／処理系において、
音声信号入力工程と、
映像信号入力工程と、
入力された音声信号から音声の特徴信号を抽出する特徴信号抽出工程と、
入力された映像信号に該特徴信号を電子透かしとして挿入する電子透かし挿入工程と、
遅延系を経た音声信号から音声の特徴信号を抽出する特徴信号抽出工程と、
遅延系を経た映像信号から音声の特徴信号を抽出する電子透かし抽出工程と、
これら２つの音声の特徴信号を取り込んで時間差を算出し、時間差信号を送出する比較工程と、
該時間差信号に基づいて音声を遅延させる音声遅延工程を含む事を特徴とするリップシンク方法。
【請求項４】
音声の特徴信号が、振幅／周波数成分／ゼロクロスの間隔／エネルギー（電力）のいずれかである事を特徴とする請求項３に記載のリップシンク方法。
【請求項１】
音声信号と映像信号の伝送／処理系において、
音声信号入力部と、
映像信号入力部と、
入力された音声信号から音声の特徴信号を抽出する特徴信号抽出部と、
入力された映像信号に該特徴信号を電子透かしとして挿入する電子透かし挿入部と、
遅延系を経た音声信号から音声の特徴信号を抽出する特徴信号抽出部と、
遅延系を経た映像信号から音声の特徴信号を抽出する電子透かし抽出部と、
これら２つの音声の特徴信号を取り込んで時間差を算出し、時間差信号を送出する比較部と、
該時間差信号に基づいて音声を遅延させる音声遅延部を含む事を特徴とするリップシンク装置。
【請求項２】
音声の特徴信号が、振幅／周波数成分／ゼロクロスの間隔／エネルギー（電力）のいずれかである事を特徴とする請求項１に記載のリップシンク装置。
【請求項３】
音声信号と映像信号の伝送／処理系において、
音声信号入力工程と、
映像信号入力工程と、
入力された音声信号から音声の特徴信号を抽出する特徴信号抽出工程と、
入力された映像信号に該特徴信号を電子透かしとして挿入する電子透かし挿入工程と、
遅延系を経た音声信号から音声の特徴信号を抽出する特徴信号抽出工程と、
遅延系を経た映像信号から音声の特徴信号を抽出する電子透かし抽出工程と、
これら２つの音声の特徴信号を取り込んで時間差を算出し、時間差信号を送出する比較工程と、
該時間差信号に基づいて音声を遅延させる音声遅延工程を含む事を特徴とするリップシンク方法。
【請求項４】
音声の特徴信号が、振幅／周波数成分／ゼロクロスの間隔／エネルギー（電力）のいずれかである事を特徴とする請求項３に記載のリップシンク方法。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００７−２０８３４５（Ｐ２００７−２０８３４５Ａ）
【公開日】平成１９年８月１６日（２００７．８．１６）
【国際特許分類】
【出願番号】特願２００６−２１６０７（Ｐ２００６−２１６０７）
【出願日】平成１８年１月３１日（２００６．１．３１）
【出願人】（０００１０１３３０）アストロデザイン株式会社 (28)
【Ｆターム（参考）】
【公開日】平成１９年８月１６日（２００７．８．１６）
【国際特許分類】
【出願日】平成１８年１月３１日（２００６．１．３１）
【出願人】（０００１０１３３０）アストロデザイン株式会社 (28)
【Ｆターム（参考）】
[ Back to top ]