オーディオ符号化装置、オーディオ符号化方法、およびプログラム
【課題】複数のチャンネルのオーディオ信号を高効率で符号化する場合に、符号化による音質劣化を防止することができるようにする。
【解決手段】決定部は、左用と右用のチャンネルのオーディオ信号の周波数スペクトルに基づいて、左用（右用）のチャンネルの混合後の周波数スペクトルにおける右用（左用）のチャンネルの周波数スペクトルの割合である混合率を決定する。乗算部と加算部は、混合率に基づいて、チャンネルごとに、左用と右用のチャンネルの周波数スペクトルを混合する。混合後の左用と右用のチャンネルの周波数スペクトルは符号化される。本技術は、例えば、オーディオ符号化装置に適用することができる。
【解決手段】決定部は、左用と右用のチャンネルのオーディオ信号の周波数スペクトルに基づいて、左用（右用）のチャンネルの混合後の周波数スペクトルにおける右用（左用）のチャンネルの周波数スペクトルの割合である混合率を決定する。乗算部と加算部は、混合率に基づいて、チャンネルごとに、左用と右用のチャンネルの周波数スペクトルを混合する。混合後の左用と右用のチャンネルの周波数スペクトルは符号化される。本技術は、例えば、オーディオ符号化装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、オーディオ符号化装置、オーディオ符号化方法、およびプログラムに関し、特に、複数のチャンネルのオーディオ信号を高効率で符号化する場合に、符号化による音質劣化を防止することができるようにしたオーディオ符号化装置、オーディオ符号化方法、およびプログラムに関する。
【背景技術】
【０００２】
複数のチャンネルのオーディオ信号からなるステレオオーディオ信号の符号化としては、チャンネル間の関係を利用することで符号化効率を高めるM/Sステレオ符号化やインテンシティ・ステレオ符号化などがある。なお、以下では、説明の便宜上、ステレオオーディオ信号のチャンネル数は、左用のチャンネルと右用のチャンネルの２つであるものとするが、３以上であっても同様である。
【０００３】
M/Sステレオ符号化では、ステレオオーディオ信号を構成する左用と右用のチャンネルのオーディオ信号の和と差の成分が符号化結果とされる。従って、左用と右用のチャンネルのオーディオ信号が類似している場合、差の成分が小さいため、符号化効率が高まる。しかしながら、左用と右用のチャンネルのオーディオ信号が大きく異なる場合、差の成分が大きいため、符号化効率を高めることができない。その結果、符号化後の量子化において量子化ノイズが発生し、復号時に不自然な雑音が発生する場合がある。
【０００４】
インテンシティ・ステレオ符号化では、人間の聴覚が高域では位相に鈍感で主に周波数スペクトルのレベル比によって定位を知覚するという原理に基づいて符号化が行われる（例えば、非特許文献１参照）。具体的には、インテンシティ・ステレオ符号化では、所定の周波数FISより低い周波数については、左用と右用のチャンネルの周波数スペクトルが、そのまま符号化結果とされる。一方、所定の周波数FIS以上の周波数については、左用と右用のチャンネルの周波数スペクトルを混合した共通スペクトルと各チャンネルの周波数スペクトルのレベルが符号化結果とされる。
【０００５】
従って、復号時には、周波数FISより低い周波数については、符号化結果である左用と右用のチャンネルの周波数スペクトルがそのまま復号結果とされる。一方、周波数FIS以上の周波数については、符号化結果である共通スペクトルに各チャンネルの周波数スペクトルのレベルが適用され、復号結果とされる。
【０００６】
このようなインテンシティ・ステレオ符号化においても、M/Sステレオ符号化と同様に、左用と右用のチャンネルのオーディオ信号が類似していることが前提となっている。従って、左用と右用のチャンネルのオーディオ信号が全く異なる場合、例えば、左用のチャンネルのオーディオ信号がシンバルのオーディオ信号であり、右用のチャンネルのオーディオ信号がトランペットのオーディオ信号である場合、共通スペクトルが、左用と右用のチャンネルの周波数スペクトルと異なるものとなるため、復号時に不自然な雑音が発生する場合がある。
【０００７】
そこで、左用と右用のチャンネルのオーディオ信号の周波数スペクトルの間隔の尺度を求め、この尺度が閾値以下である場合M/Sステレオ符号化等の共通符号化を行い、閾値以上である場合個別符号化を行うことが考案されている（例えば、特許文献１参照）。
【０００８】
また、ステレオオーディオ信号の周波数スペクトルを所定の周波数帯域ごとに分割し、その周波数帯域ごとにインテンシティ・ステレオ符号化が適用されたかの指標を特定のハフマンコードブック番号を用いて伝送することが考案されている（例えば、特許文献２参照）。これにより、所定の周波数帯域ごとにインテンシティ・ステレオ符号化のオン/オフを切り替えることが可能である。
【０００９】
しかしながら、特許文献１および２の発明において、共通符号化またはインテンシティ・ステレオ符号化のオン/オフが頻繁に切り替えられると、定位が不安定になったり異音が発生したりする場合がある。
【００１０】
また、符号化において高い圧縮率が求められる場合には、たとえ左用と右用のチャンネルのオーディオ信号が著しく異なる場合であっても、符号化効率を高めるためにインテンシティ・ステレオ符号化を用いざるを得ない場合がある。この場合、復号時に明らかに知覚可能な不自然な雑音が発生することがある。
【００１１】
一方、帯域分割されたステレオオーディオ信号を、符号化の歪み率に基づく混合率で混合し、符号化することが考えられている（例えば、特許文献３参照）。この場合、歪み率に基づいて連続的に符号化対象の左右のセパレーション（ステレオ感）が制御されるため、定位が不安定になったり異音が発生したりすることを防止することができる。
【００１２】
図１は、このような符号化を行うオーディオ符号化装置の構成の一例を示すブロック図である。
【００１３】
図１のオーディオ符号化装置１０は、フィルタバンク１１、フィルタバンク１２、適応ミキシング部１３、T/F変換部１４、T/F変換部１５、符号化制御部１６、符号化部１７、マルチプレクサ１８、および歪み率検出部１９により構成される。
【００１４】
図１のオーディオ符号化装置１０には、左のチャンネルの時間信号であるオーディオ信号xLと右のチャンネルの時間信号であるオーディオ信号xRが符号化対象のステレオオーディオ信号として入力される。
【００１５】
オーディオ符号化装置１０のフィルタバンク１１は、符号化対象として入力されるオーディオ信号xLをB個の周波数帯域（バンド）のオーディオ信号に帯域分割する。フィルタバンク１１は、分割されたバンド番号b(b=1,2,・・・,B）のサブバンド信号xbLを適応ミキシング部１３に供給する。
【００１６】
同様に、フィルタバンク１２は、符号化対象として入力されるオーディオ信号xRをB個のバンドのオーディオ信号に帯域分割する。フィルタバンク１１は、分割されたバンド番号b(b=1,2,・・・,B）のサブバンド信号xbRを適応ミキシング部１３に供給する。
【００１７】
適応ミキシング部１３は、歪み率検出部１９から供給される過去の符号化対象の符号化における歪み率に基づいて、フィルタバンク１１から供給されるサブバンド信号xbLと、フィルタバンク１２から供給されるサブバンド信号xbRの混合率を決定する。
【００１８】
具体的には、適応ミキシング部１３は、歪み率が大きい、即ちS/N比が悪いほど、混合率を大きくする。これにより、混合の結果得られるサブバンド信号の左右のセパレーション（ステレオ感）は小さくなり、符号化効率が高まる。一方、適応ミキシング部１３は、歪み率が小さい、即ちS/N比が良いほど、混合率を小さくする。これにより、混合の結果得られるサブバンド信号の左右のセパレーション（ステレオ感）は大きくなる。
【００１９】
適応ミキシング部１３は、決定されたサブバンド信号xbLの混合率に基づいて、サブバンド信号xbLとサブバンド信号xbRをバンドごとに混合し、サブバンド信号xbLmixを生成する。同様に、適応ミキシング部１３は、決定されたサブバンド信号xbRの混合率に基づいて、サブバンド信号xbLとサブバンド信号xbRをバンドごとに混合し、サブバンド信号xbRmixを生成する。適応ミキシング部１３は、生成されたサブバンド信号xbLmixをT/F変換部１４に供給し、サブバンド信号xbRmix をT/F変換部１５に供給する。
【００２０】
T/F変換部１４は、サブバンド信号xbLmixに対してMDCT（Modified Discrete Cosine Transform）などの時間−周波数変換を行い、その結果得られる周波数スペクトルXLを符号化制御部１６と符号化部１７に供給する。
【００２１】
同様に、T/F変換部１５は、サブバンド信号xbRmixに対してMDCTなどの時間−周波数変換を行い、その結果得られる周波数スペクトルXRを符号化制御部１６と符号化部１７に供給する。
【００２２】
符号化制御部１６は、T/F変換部１４から供給される周波数スペクトルXLと、T/F変換部１５から供給される周波数スペクトルXRの相関に基づいて、デュアル符号化、M/Sステレオ符号化、またはインテンシティ符号化のいずれかの符号化方式を選択する。符号化制御部１６は、選択された符号化方式を符号化部１７に供給する。
【００２３】
符号化部１７は、T/F変換部１４から供給される周波数スペクトルXLと、T/F変換部１５から供給される周波数スペクトルXRを、それぞれ、符号化制御部１６から供給される符号化方式で符号化する。符号化部１７は、符号化の結果得られる符号化スペクトルと、符号化に関する付加情報を、マルチプレクサ１８に供給する。
【００２４】
マルチプレクサ１８は、符号化部１７から供給される符号化スペクトル、符号化に関する付加情報などを所定のフォーマットで多重化し、その結果得られる符号化データを出力する。
【００２５】
歪み率検出部１９は、符号化部１７の符号化における歪み率を検出し、適応ミキシング部１３に供給する。
【先行技術文献】
【特許文献】
【００２６】
【特許文献１】特許第３４２１７２６号
【特許文献２】特許第３６２２９８２号
【特許文献３】特許第３９５１６９０号
【非特許文献】
【００２７】
【非特許文献１】ISO/IEC 13818-7 Information technology "Generic coding of moving pictures and associated audio information Part 7",Advanced Audio Coding(AAC)
【発明の概要】
【発明が解決しようとする課題】
【００２８】
しかしながら、図１のオーディオ符号化装置１０では、過去の符号化対象の歪み率に基づいて混合率が決定されるので、混合率は、必ずしも、現在の符号化対象の特徴に適した混合率ではない。その結果、符号化による音質劣化が発生する場合がある。例えば、左用と右用のチャンネルのオーディオ信号が著しく異なる場合であっても、左用と右用のチャンネルの周波数スペクトルが十分に混合されず、復号時に雑音が発生する場合がある。
【００２９】
本技術は、このような状況に鑑みてなされたものであり、ステレオオーディオ信号を高効率で符号化する場合に、符号化による音質劣化を防止することができることができるようにするものである。
【課題を解決するための手段】
【００３０】
本技術の一側面のオーディオ符号化装置は、複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率を決定する決定部と、前記決定部により決定された前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルを混合する混合部と、前記混合部による混合後の前記複数のチャンネルの前記周波数スペクトルを符号化する符号化部とを備えるオーディオ符号化装置である。
【００３１】
本技術の一側面のオーディオ符号化方法およびプログラムは、本技術の一側面第１の側面のオーディオ符号化装置に対応する。
【００３２】
本技術の一側面においては、複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率が決定され、前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルが混合され、混合後の前記複数のチャンネルの前記周波数スペクトルが符号化される。
【発明の効果】
【００３３】
本技術の一側面によれば、複数のチャンネルのオーディオ信号を高効率で符号化する場合に、符号化による音質劣化を防止することができる。
【図面の簡単な説明】
【００３４】
【図１】従来のオーディオ符号化装置の構成の一例を示すブロック図である。
【図２】本技術を適用したオーディオ符号化装置の一実施の形態の構成例を示すブロック図である。
【図３】図２の相関/エネルギー計算部におけるバンドを説明する図である。
【図４】図２の適応ミキシング部の構成例を示す図である。
【図５】混合率m1の例を示す図である。
【図６】混合率m2の例を示す図である。
【図７】混合率m3の例を示す図である。
【図８】図２の符号化部の構成例を示すブロック図である。
【図９】符号化処理を説明するフローチャートである。
【図１０】図９の混合処理の詳細を説明するフローチャートである。
【図１１】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００３５】
＜一実施の形態＞
［オーディオ符号化装置の一実施の形態の構成例］
図２は、本技術を適用したオーディオ符号化装置の一実施の形態の構成例を示すブロック図である。
【００３６】
図２のオーディオ符号化装置３０は、入力端子３１および入力端子３２、T/F変換部３３およびT/F変換部３４、相関/エネルギー計算部３５、適応ミキシング部３６、符号化部３７、マルチプレクサ３８、並びに出力端子３９により構成される。オーディオ符号化装置３０は、ステレオオーディオ信号の周波数スペクトルに基づく混合率で、その周波数スペクトルを混合し、インテンシティ・ステレオ符号化を行う。
【００３７】
具体的には、オーディオ符号化装置３０の入力端子３１には、符号化対象のステレオオーディオ信号のうちの左用のチャンネルの時間信号であるオーディオ信号xLが入力され、T/F変換部３３に供給される。また、入力端子３２には、符号化対象のステレオオーディオ信号のうちの右のチャンネルの時間信号であるオーディオ信号xRが入力され、T/F変換部３４に供給される。
【００３８】
T/F変換部３３は、入力端子３１から供給されるオーディオ信号xLに対して、所定の変換フレームごとにMDCT変換等の時間‐周波数変換を施す。T/F変換部３３は、その結果得られる周波数スペクトルXL（係数）を、相関/エネルギー計算部３５と適応ミキシング部３６に供給する。
【００３９】
同様に、T/F変換部３４は、入力端子３２から供給されるオーディオ信号xRに対して、所定の変換フレームごとにMDCT変換等の時間‐周波数変換を施す。T/F変換部３４は、その結果得られる周波数スペクトルXR（係数）を、相関/エネルギー計算部３５と適応ミキシング部３６に供給する。
【００４０】
相関/エネルギー計算部３５は、T/F変換部３３から供給される周波数スペクトルXLと、T/F変換部３４から供給される周波数スペクトルXRを、それぞれ、所定の周波数帯域（バンド）ごとに分割する。なお、各バンドには、周波数の低い方から順にバンド番号b（b=1,2,・・・,B）が付与されている。
【００４１】
また、相関/エネルギー計算部３５は、以下の式（１）により、バンドごとに、バンド番号bのバンドの周波数スペクトルXLのエネルギーEL(b)と周波数スペクトルXRのエネルギーER(b)を計算する。
【００４２】
【数１】
【００４３】
なお、式（１）において、XL(k)は、周波数インデックスｋの周波数スペクトルXLを表し、XR(k)は、周波数インデックスｋの周波数スペクトルXRを表す。また、Kb，Kb+1-1は、それぞれ、バンド番号bのバンドの周波数に対応する周波数インデックスの最小値、最大値を表す。これらのことは、後述する式（２）においても同様である。
【００４４】
さらに、相関/エネルギー計算部３５は、以下の式（２）により、エネルギーEL(b)とエネルギーER(b)を用いて、周波数スペクトルXLと周波数スペクトルXRの各バンドの相関corr(b)を計算する。
【００４５】
【数２】
【００４６】
この相関corr(b)は、周波数スペクトルXLおよび周波数スペクトルXRが相関/エネルギー計算部３５に入力されるごと、即ち変換フレームごとに計算されるが、そのままでは変化が激しいため、相関/エネルギー計算部３５は、相関corr(b)を時間平滑化する。具体的には、相関/エネルギー計算部３５は、例えば、以下の式（３）により、現在の変換フレームの相関corr(b)と過去の所定数の変換フレームの相関corr(b)を指数加重平均し、平均相関ave_corr(b)を逐次的に計算する。
【００４７】
ave_corr(b)=r×ave_corr(b)Old＋(1-r)×corr(b) (0<r<1)
・・・（３）
【００４８】
なお、式（３）において、ave_corr(b)Oldは、過去の所定数の変換フレームの指数加重平均である。
【００４９】
相関／エネルギー計算部３５は、以上のようにして計算された平均相関ave_corr(b)、エネルギーEL(b)、およびエネルギーER(b)を、適応ミキシング部３６に供給する。
【００５０】
適応ミキシング部３６は、相関／エネルギー計算部３５から供給される平均相関ave_corr(b)、エネルギーEL(b)、およびエネルギーER(b)に基づいて、バンドごとに混合率を計算する。なお、混合率とは、混合後の左用のチャンネルの周波数スペクトルXLmix（右用のチャンネルの周波数スペクトルXRmix）における右用のチャンネルの周波数スペクトルXR（左用のチャンネルの周波数スペクトルXL）の割合である。
【００５１】
適応ミキシング部３６は、各バンドの混合率に基づいて、バンドおよびチャンネルごとに、T/F変換部３３から供給される周波数スペクトルXLと、T/F変換部３４から供給される周波数スペクトルXRを混合する。適応ミキシング部３６は、混合の結果得られる左用のチャンネルの周波数スペクトルXLmixと、右用のチャンネルの周波数スペクトルXRmixを符号化部３７に供給する。
【００５２】
符号化部３７は、適応ミキシング部３６から供給される周波数スペクトルXLmixと周波数スペクトルXRmixをインテンシティ・ステレオ符号化する。符号化部３７は、符号化の結果得られる符号化スペクトルと符号化に関する付加情報を、マルチプレクサ３８に供給する。
【００５３】
マルチプレクサ３８は、符号化部３７から供給される符号化スペクトル、符号化に関する付加情報などを所定のフォーマットで多重化し、その結果得られる符号化データを、出力端子３９を介して出力する。
【００５４】
なお、オーディオ符号化装置３０では、相関corr(b)が時間平滑化されたが、上述した式（３）のrを0にし、時間平滑化されないようにしてもよい。また、エネルギーEL(b)とエネルギーER(b)も、相関corr(b)と同様に時間平滑化されるようにしてもよい。
【００５５】
また、オーディオ符号化装置３０では、符号化部３７がインテンシティ・ステレオ符号化を行うが、インテンシティ・ステレオ符号化以外のM/Sステレオ符号化等の高効率の符号化を行うようにしてもよい。
【００５６】
［バンドの説明］
図３は、図２の相関/エネルギー計算部３５におけるバンドを説明する図である。
【００５７】
図３に示すように、各バンドは、所定の周波数の帯域である。例えば、図３では、バンド番号bのバンドは、周波数インデックスKbに対応する周波数以上周波数インデックスKb+1に対応する周波数未満の帯域である。
【００５８】
また、図３の例では、インテンシティ・ステレオ符号化において、左用と右用の周波数スペクトルがそのまま符号化結果とならないバンドのうちの下限のバンド（以下、開始バンドという）のバンド番号がisbである。さらに、バンド番号isbのバンドの周波数インデックスの最小値がKisbであり、周波数インデックスKisbの周波数がFISである。
【００５９】
なお、相関/エネルギー計算部３５におけるバンドは、聴覚の臨界帯域幅（クリティカルバンド）に合わせて高域ほどバンドの範囲が広くなるように分割されることが望ましい。また、バンドの範囲は、符号化部３７における量子化や符号化の処理単位である量子化ユニットの範囲と同一であってもよいし、異なっていてもよい。また、FIS以上の周波数は、バンドに分割されず、まとめて１バンドとされるようにしてもよい。
【００６０】
[適応ミキシング部の構成例]
図４は、図２の適応ミキシング部３６の構成例を示す図である。
【００６１】
図４の適応ミキシング部３６は、決定部５１、乗算部５２、乗算部５３、加算部５４、乗算部５５、乗算部５６、および加算部５７により構成される。
【００６２】
決定部５１は、図２の相関/エネルギー計算部３５から供給される各バンドのエネルギーEL(b)、エネルギーER(b)、および平均相関ave_corr(b)を用いて、そのバンドの混合率m(b)を計算する。決定部５１は、計算された混合率m(b)を乗算部５２、乗算部５３、乗算部５５、および乗算部５６に供給する。
【００６３】
乗算部５２、乗算部５３、および加算部５４は、左用のチャンネルの混合部として機能し、乗算部５５、乗算部５６、および加算部５７は、右用のチャンネルの混合部として機能する。
【００６４】
具体的には、乗算部５２、乗算部５３、および加算部５４は、以下の式（４）により、混合率m(b)に基づいて混合を行い、混合後の周波数スペクトルXLmixを生成する。また、乗算部５５、乗算部５６、および加算部５７は、以下の式（４）により、混合率m(b)に基づいて混合を行い、混合後の周波数スペクトルXRmixを生成する。
【００６５】
XLmix(k)=(1-m(b))×XL(k)＋m(b)×XR(k)
XRmix(k)=m(b)×XL(k)+(1-m(b))×XR(k)
・・・（４）
【００６６】
なお、式（４）において、周波数インデックスkは、バンド番号bのバンドに含まれる周波数の周波数インデックスである。また、式（４）において、XLmix(k)，XRmix(k)は、それぞれ、周波数インデックスｋの周波数スペクトルXLmix、周波数スペクトルXRmixである。さらに、XL(k)，XR(k)は、周波数インデックスｋの周波数スペクトルXL、周波数スペクトルXRである。
【００６７】
より詳細には、乗算部５２は、バンドごとに、図２のT/F変換部３３から供給される周波数スペクトルXLと決定部５１から供給される混合率m(b)を１から減算した値とを乗算し、その結果得られる周波数スペクトルを加算部５４に供給する。
【００６８】
また、乗算部５３は、バンドごとに、図２のT/F変換部３４から供給される周波数スペクトルXRと決定部５１から供給される混合率m(b)を乗算し、その結果得られる周波数スペクトルを加算部５４に供給する。
【００６９】
加算部５４は、バンドごとに、乗算部５２から供給される周波数スペクトルと、乗算部５３から供給される周波数スペクトルとを加算する。加算部５４は、加算の結果得られる周波数スペクトルを混合後の周波数スペクトルXLmixとして、図２の符号化部３７に供給する。
【００７０】
また、乗算部５５は、バンドごとに、T/F変換部３３から供給される周波数スペクトルXL(b)と決定部５１から供給される混合率m(b)とを乗算し、その結果得られる周波数スペクトルを加算部５７に供給する。
【００７１】
乗算部５６は、バンドごとに、T/F変換部３４から供給される周波数スペクトルXR(b)と決定部５１から供給される混合率m(b)を１から減算した値とを乗算し、その結果得られる周波数スペクトルを加算部５７に供給する。
【００７２】
加算部５７は、バンドごとに、乗算部５５から供給される周波数スペクトルと、乗算部５６から供給される周波数スペクトルとを加算する。加算部５７は、加算の結果得られる周波数スペクトルを混合後の周波数スペクトルXRmixとして、符号化部３７に供給する。
【００７３】
[混合率の計算方法の説明]
図５乃至図７は、図４の決定部５１における混合率の計算方法を説明する図である。
【００７４】
決定部５１は、バンドごとに、平均相関ave_corr(b)に基づいて、例えば、図５に示す混合率m1(ave_corr(b))を決定する。なお、図５において、横軸は、平均相関ave_corr(b)を表し、縦軸は混合率m1(ave_corr(b))を表している。
【００７５】
平均相関ave_corr(b)が0付近である場合、周波数スペクトルXLと周波数スペクトルXRが異なっているため、左用と右用のチャンネルの符号化対象の違いによって生じる復号時の雑音を防止する必要がある。一方、平均相関ave_corr(b)が1に近い場合、周波数スペクトルXLと周波数スペクトルXRが類似しているため、符号化による復号時の雑音が生じにくい。従って、図５の例では、混合率m1(ave_corr(b))は、平均相関ave_corr(b)が0に近いほど大きく、平均相関ave_corr(b)が1に近いほど小さくなっている。また、平均相関ave_corr(b)が0である場合、混合率m1(ave_corr(b))は、最大値である0.5となっている。
【００７６】
一方、平均相関ave_corr(b)が負の値である場合、平均相関ave_corr(b)が正の値である場合と同様に、平均相関ave_corr(b)が0に近いほど大きく、平均相関ave_corr(b)が-1に近いほど小さくなる。但し、この場合、混合によりエネルギーが減衰するため、混合率m1(ave_corr(b))は、平均相関ave_corr(b)が正の値である場合に比べて小さくなっている。また、平均相関ave_corr(b)が、-1より大きい所定の負の閾値T（例えば、-0.6程度）よりも小さい場合、混合率m1(ave_corr(b))は0となっている。
【００７７】
なお、混合率m1(ave_corr(b))は、以下の式（５）のように決定されるようにしてもよい。
【００７８】
ave_corr(b)≦C1である場合、m1(ave_corr(b))=0
C1<ave_corr(b)≦C2である場合、m1(ave_corr(b))=0.5×(ave_corr(b)−C1)/(C2−C1)
ave_corr(b)>C2である場合、m1(ave_corr(b))=0.5×(ave_corr(b)−1)/(C2−1)
・・・（５）
【００７９】
式（５）において、C1およびC2は所定の閾値である。例えば、C1は−0.6であり、C2は0であるようにすることができる。
【００８０】
また、決定部５１は、バンドごとに、エネルギーEL(b)およびER(b)に基づいて、例えば、図６に示す混合率m2(LR_ratio(b))を決定する。
【００８１】
なお、図６において、横軸は、エネルギーEL(b)およびER(b)に基づいて以下の式（６）で定義される左用と右用のチャンネルの周波数スペクトルのレベル比LR_ratio(b)[dB］を表し、縦軸は混合率m2(LR_ratio(b))を表す。
【００８２】
LR_ratio(b)=10log10（EL/ER）
・・・（６）
【００８３】
図６の例では、レベル比LR_ratioの絶対値が大きいほど、即ち周波数スペクトルXLと周波数スペクトルXRのレベルが異なっているほど、音漏れ（詳細は後述する）を防止するために混合率m2(LR_ratio(b))は小さくされる。そして、レベル比LR_ratioの絶対値が所定の閾値R(30dB程度)以上である場合、混合率m2(LR_ratio(b))は0とされる。
【００８４】
但し、左用と右用のチャンネルの少なくとも一方の音が無音に近い場合、即ち、周波数スペクトルXLと周波数スペクトルXRの少なくとも一方のレベルが所定の閾値より小さい場合には、音漏れが知覚されやすいため、レベル比LR_ratioに関わらず混合率m2(LR_ratio(b))は0とされる。
【００８５】
音漏れとは、レベルが大きく異なるオーディオ信号の周波数スペクトルを混合することにより発生する、レベルの大きい周波数スペクトルからレベルの小さい周波数スペクトルへのレベルの移動である。
【００８６】
さらに、決定部５１は、バンドの周波数に基づいて、例えば、図７に示す混合率m3(b)を決定する。なお、図７において、横軸は、バンド番号bを表し、縦軸は、混合率m3(b)を表す。
【００８７】
開始バンドであるバンド番号isbのバンドから急激に混合が行われると、不連続性により雑音が発生することがあるため、図７の例では、バンド番号isbより少し前のバンド番号のバンドから徐々に混合率m3(b)が最大値である0.5まで増加する。また、より高域（例えば13kHz以上の周波数）では、復号時の雑音が知覚されにくいため、周波数スペクトルXLと周波数スペクトルXRが異なっていても、ステレオ感を保持するために混合率m3(b)を0.5より少し小さくする。
【００８８】
決定部５１は、以上のようにして求められた混合率m1(ave_corr(b))，m2(LR_ratio(b))、およびm3(b)を用いて、以下の式（７）により、バンドbの最終的な混合率m(b)を決定する。
【００８９】
ｍ(b)=4×m1（ave_corr(b)）×m2（LR_ratio(b)）×m3(b)
・・・（７）
【００９０】
なお、混合率m(b)は、混合率m1(ave_corr(b))，m2(LR_ratio(b))、およびm3(b)の積ではなく、以下の式（８）のように混合率m1(ave_corr(b))，m2(LR_ratio(b))、およびm3(b)の線形和であってもよい。
【００９１】
ｍ(b)=w1×m1（ave_corr(b)）+w2×m2（LR_ratio(b)）+w3×m3(b)
但し、w1＋w2＋w3=１
・・・（８）
【００９２】
また、混合率m(b)は、必ずしも、混合率m1(ave_corr(b))，m2(LR_ratio(b))、およびm3(b)の全てを用いて決定される必要はなく、混合率m1(ave_corr(b))，m2(LR_ratio(b))、およびm3(b)の少なくとも１つを用いて決定されればよい。
【００９３】
[符号化部の構成例]
図８は、図２の符号化部３７の構成例を示すブロック図である。
【００９４】
図８の符号化部３７は、乗算部７１、演算部７２、レベル補正部７３、加算部７４、正規化部７５、量子化部７６、加算部７７、正規化部７８、および量子化部７９により構成される。
【００９５】
図２の適応ミキシング部３６から供給される周波数スペクトルXLmixおよびXRmixのうちの、開始バンドの最小の周波数ＦISの周波数インデックスKisb未満の周波数インデックスの周波数スペクトルXLmixは、加算部７４に供給され、周波数スペクトルXRmixは、加算部７７に供給される。
【００９６】
一方、適応ミキシング部３６から供給される周波数スペクトルXLmixおよびXRmixのうちの、周波数インデックスKisb以上の周波数インデックスの周波数スペクトルXLmixは、演算部７２、レベル補正部７３、および加算部７４に供給され、周波数スペクトルXRmixは、乗算部７１、レベル補正部７３、および加算部７７に供給される。
【００９７】
乗算部７１と演算部７２は、以下の式（９）により、周波数インデックスKisb以上の周波数インデックスの周波数スペクトルXLmixと周波数スペクトルXRmixに共通の共通スペクトルXMを生成する。
【００９８】
XM(k)=0.5×｛XLmix(k)＋sign×XRmix(k)｝（k≧Kisb）
・・・（９）
【００９９】
なお、式（９）において、XM(k)，XLmix(k),XRmix(k)は、それぞれ、周波数インデックスｋの共通スペクトルXM、周波数スペクトルXLmix、周波数スペクトルXRmixを表す。また、signは、各量子化ユニットにおける周波数スペクトルXRmixの位相極性であり、＋1または‐1である。例えば、量子化ユニット内の周波数スペクトルXLmixとXRmixの相関が正の値である場合、位相極性signは+1であり、負の値である場合、位相極性signは‐1である。
【０１００】
より詳細には、乗算部７１は、周波数インデックスKisb以上の周波数インデックスの周波数スペクトルXRmixに対して位相極性signを乗算し、その結果得られる周波数スペクトルを演算部７２に供給する。
【０１０１】
演算部７２は、周波数インデックスKisb以上の周波数インデックスの周波数スペクトルXLmixと乗算部７１から供給される周波数スペクトルを加算し、その結果得られる周波数スペクトルに0.5を乗算して、共通スペクトルXMを生成する。演算部７２は、生成された共通スペクトルXMをレベル補正部７３に供給する。
【０１０２】
レベル補正部７３は、量子化ユニットごとに、演算部７２から供給される共通スペクトルXMのエネルギーが、周波数インデックスKisb以上の周波数インデックスの周波数スペクトルXLmixの、その量子化ユニットにおけるエネルギーと一致するように、共通スペクトルXMのレベルを補正する。同様に、レベル補正部７３は、共通スペクトルXMのエネルギーが、周波数インデックスKisb以上の周波数インデックスの周波数スペクトルXRmixの、その量子化ユニットにおけるエネルギーと一致するように、共通スペクトルXMのレベルを補正する。
【０１０３】
具体的には、レベル補正部７３は、まず、周波数インデックスKisb以上の周波数インデックスの周波数スペクトルXLmixおよびXRmixの量子化ユニットqごとのエネルギーEL(q)およびER(q)、並びに、共通スペクトルXMのエネルギーEM(q)を計算する。そして、レベル補正部７３は、量子化ユニットｑごとに、エネルギーEL(q)またはER(q)、およびエネルギーEM(q)を用いて、以下の式（１０）により、共通スペクトルXMのレベルを補正する。
【０１０４】
【数３】
【０１０５】
なお、式（１０）において、XM(k)，XLIS(k),XRIS(k)は、それぞれ、周波数インデックスｋの共通スペクトルXM、レベル補正後の共通スペクトルXLIS,レベル補正後の共通スペクトルXRISを表す。
【０１０６】
レベル補正部７３は、レベル補正後の共通スペクトルXLISを加算部７４に供給し、レベル補正後の共通スペクトルXRISを加算部７７に供給する。
【０１０７】
加算部７４は、周波数インデックスKisb未満の周波数インデックスの周波数スペクトルXLmixとレベル補正部７３から供給される共通スペクトルXLISとを加算し、その結果得られる全周波数インデックスの周波数スペクトルを正規化部７５に供給する。
【０１０８】
正規化部７５は、加算部７４から供給される周波数スペクトルを、所定の周波数帯域幅の量子化ユニットごとに、周波数スペクトルの振幅に応じた正規化係数（スケールファクタ）SFLを用いて正規化する。正規化部７５は、正規化の結果得られる周波数スペクトルXLNormを量子化部７６に供給し、正規化係数SFLを符号化に関する付加情報として図２のマルチプレクサ３８に供給する。
【０１０９】
量子化部７６は、正規化部７５から供給される周波数スペクトルXLNormを所定のビット数で量子化し、量子化後の周波数スペクトルXLNormを左用のチャンネルの符号化スペクトルとしてマルチプレクサ３８に供給する。これにより、左用のチャンネルの符号化スペクトルとしてマルチプレクサ３８に供給される符号化スペクトルの周波数インデックスｋは、全周波数インデックス（0,1,・・・,Kisb,・・・,K）となる。
【０１１０】
また、加算部７７は、周波数インデックスKisb未満の周波数インデックスの周波数スペクトルXRmixとレベル補正部７３から供給される共通スペクトルXRISとを加算し、その結果得られる全周波数インデックスの周波数スペクトルを正規化部７８に供給する。
【０１１１】
正規化部７８は、加算部７７から供給される周波数スペクトルを、量子化ユニットごとに、周波数スペクトルの振幅に応じた正規化係数SFRを用いて正規化する。正規化部７５は、正規化の結果得られる周波数スペクトルXRNormを量子化部７９に供給し、正規化係数SFRを符号化に関する付加情報としてマルチプレクサ３８に供給する。
【０１１２】
量子化部７９は、正規化部７８から供給される周波数スペクトルXRNormのうちの、周波数インデックスKisb未満の周波数インデックスの周波数スペクトルXRNormを所定のビット数で量子化する。量子化部７９は、量子化後の周波数スペクトルXRNormを右用のチャンネルの符号化スペクトルとしてマルチプレクサ３８に供給する。これにより、マルチプレクサ３８に供給される右用のチャンネルの符号化スペクトルの周波数インデックスｋは、全周波数インデックスのうちの周波数インデックスKisb未満の周波数インデックス（0,1,・・・,Kisb-1）となる。
【０１１３】
なお、図８の符号化部３７では、左用のチャンネルの符号化スペクトルの周波数インデックスｋが全周波数インデックスであり、右用のチャンネルの符号化スペクトルの周波数インデックスｋがKisb未満であるようにしたが、左用のチャンネルと右用のチャンネルの周波数インデックスｋが逆になるようにしてもよい。即ち、右用のチャンネルの符号化スペクトルの周波数インデックスｋが全周波数インデックスであり、左用のチャンネルの符号化スペクトルの周波数インデックスｋがKisb未満であるようにしてもよい。
【０１１４】
［オーディオ符号化装置の処理の説明］
図９は、図２のオーディオ符号化装置３０の符号化処理を説明するフローチャートである。この符号化処理は、入力端子３１にオーディオ信号ｘLが入力され、入力端子３２にオーディオ信号xRが入力されたとき、開始される。
【０１１５】
図９のステップＳ１１において、T/F変換部３３は、入力端子３１から供給される左用のチャンネルのオーディオ信号xLに対して、所定の変換フレームごとに時間‐周波数変換を施す。T/F変換部３３は、その結果得られる周波数スペクトルXLを、相関/エネルギー計算部３５と適応ミキシング部３６に供給する。
【０１１６】
ステップＳ１２において、T/F変換部３４は、入力端子３２から供給される右用のチャンネルのオーディオ信号xRに対して、所定の変換フレームごとに時間‐周波数変換を施す。T/F変換部３４は、その結果得られる周波数スペクトルXRを、相関/エネルギー計算部３５と適応ミキシング部３６に供給する。
【０１１７】
ステップＳ１３において、相関/エネルギー計算部３５は、T/F変換部３３から供給される周波数スペクトルXLと、T/F変換部３４から供給される周波数スペクトルXRを、それぞれ、バンドごとに分割する。
【０１１８】
ステップＳ１４において、相関/エネルギー計算部３５は、上述した式（１）により、バンドごとに、エネルギーEL(b)とエネルギーER(b)を計算し、適応ミキシング部３６に供給する。
【０１１９】
ステップＳ１５において、相関/エネルギー計算部３５は、上述した式（２）により、エネルギーEL(b)とエネルギーER(b)を用いて、各バンドの相関corr(b)を計算し、保持する。そして、相関/エネルギー計算部３５は、上述した式（３）により、現在の変換フレームの相関corr(b)と過去の所定数の変換フレームの相関corr(b)を指数加重平均して、平均相関ave_corr(b)を逐次的に計算し、適応ミキシング部３６に供給する。
【０１２０】
ステップＳ１６において、適応ミキシング部３６は、平均相関ave_corr(b)、エネルギーEL(b)、およびエネルギーER(b)に基づいて、バンドおよびチャンネルごとに、周波数スペクトルXLと周波数スペクトルXRを混合する混合処理を行う。この混合処理の詳細は、後述する図１０を参照して説明する。
【０１２１】
ステップＳ１７において、符号化部３７は、適応ミキシング部３６から供給される周波数スペクトルXLmixと周波数スペクトルXRmixをインテンシティ・ステレオ符号化し、その結果得られる符号化スペクトルをマルチプレクサ３８に供給する。
【０１２２】
ステップＳ１８において、マルチプレクサ３８は、符号化部３７から供給される符号化スペクトル、符号化に関する付加情報などを所定のフォーマットで多重化し、その結果得られる符号化データを、出力端子３９を介して出力する。そして、処理は終了する。
【０１２３】
図１０は、図９のステップＳ１６の混合処理の詳細を説明するフローチャートである。
【０１２４】
図１０のステップＳ３１において、適応ミキシング部３６の決定部５１（図４）は、相関／エネルギー計算部３５から供給される平均相関ave_corr(b)に基づいて、バンドごとに、図５に示したような混合率m1（ave_corr(b)）を決定する。
【０１２５】
ステップＳ３２において、決定部５１は、相関／エネルギー計算部３５から供給されるエネルギーEL(b)とエネルギーER(b)に基づいて、バンドごとに、図６に示したような混合率m2(LR_ratio(b))を決定する。
【０１２６】
ステップＳ３３において、決定部５１は、各バンドの周波数に基づいて、バンドごとに、図７に示したような混合率m3(b)を決定する。
【０１２７】
ステップＳ３４において、決定部５１は、混合率m1（ave_corr(b)）、混合率m2(LR_ratio(b))、および混合率m3(b)に基づいて、バンドごとに、上述した式（７）や式（８）により、混合率m(b)を決定する。決定部５１は、計算された混合率m(b)を乗算部５２、乗算部５３、乗算部５５、および乗算部５６に供給する。
【０１２８】
ステップＳ３５において、乗算部５２は、バンドごとに、図２のT/F変換部３３から供給される周波数スペクトルXLと決定部５１から供給される混合率m(b)を１から減算した値とを乗算し、その結果得られる周波数スペクトルを加算部５４に供給する。また、乗算部５６は、バンドごとに、図２のT/F変換部３４から供給される周波数スペクトルXRと決定部５１から供給される混合率m(b)を１から減算した値とを乗算し、その結果得られる周波数スペクトルを加算部５７に供給する。
【０１２９】
ステップＳ３６において、乗算部５３は、バンドごとに、T/F変換部３４から供給される周波数スペクトルXRと決定部５１から供給される混合率m(b)を乗算し、その結果得られる周波数スペクトルを加算部５４に供給する。また、乗算部５５は、バンドごとに、T/F変換部３３から供給される周波数スペクトルXLと決定部５１から供給される混合率m(b)とを乗算し、その結果得られる周波数スペクトルを加算部５７に供給する。
【０１３０】
ステップＳ３７において、加算部５４は、バンドごとに、乗算部５２から供給される周波数スペクトルと、乗算部５３から供給される周波数スペクトルとを加算する。加算部５４は、その結果得られる周波数スペクトルを混合後の周波数スペクトルXLmixとして、図２の符号化部３７に供給する。また、加算部５７は、バンドごとに、乗算部５５から供給される周波数スペクトルと、乗算部５６から供給される周波数スペクトルとを加算する。加算部５７は、その結果得られる周波数スペクトルを混合後の周波数スペクトルXRmixとして、符号化部３７に供給する。そして、処理は、図９のステップＳ１６に戻り、ステップＳ１７に進む。
【０１３１】
以上のように、オーディオ符号化装置３０は、符号化対象のステレオオーディオ信号の周波数スペクトルXLおよびXRに基づいて混合率m(b)を決定するので、混合率m(b)が符号化対象のステレオオーディオ信号の特徴に適したものとなる。その結果、符号化による雑音の発生や音漏れなどの音質劣化を防止することができる。
【０１３２】
また、オーディオ符号化装置３０は、オーディオ信号xL,xRではなく、周波数スペクトルXL,XRをバンドごとに混合するので、図１のオーディオ符号化装置１０のように、帯域分割のためのフィルタバンク１１および１２を設ける必要がない。また、符号化処理における演算量とメモリ使用量を削減することができる。
【０１３３】
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１３４】
そこで、図１１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１３５】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１３６】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１３７】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１３８】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１３９】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１４０】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１４１】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１４２】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１４３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１４４】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４５】
なお、本技術は、以下のような構成もとることができる。
【０１４６】
（１）
複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率を決定する決定部と、
前記決定部により決定された前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルを混合する混合部と、
前記混合部による混合後の前記複数のチャンネルの前記周波数スペクトルを符号化する符号化部と
を備えるオーディオ符号化装置。
（２）
前記決定部は、前記複数のチャンネルの前記周波数スペクトルの相関に基づいて前記混合率を決定する
前記（１）に記載のオーディオ符号化装置。
（３）
前記決定部は、前記相関が０に近いほど前記混合率が大きくなり、前記相関が−１に近いほど前記混合率が小さくなるように、前記混合率を決定する
前記（２）に記載のオーディオ符号化装置。
（４）
前記決定部は、前記相関が−１より大きい所定の負の閾値より小さい場合、前記混合率を０に決定する
前記（２）または（３）に記載のオーディオ符号化装置。
（５）
前記決定部は、前記複数のチャンネルの前記周波数スペクトルのレベル比に基づいて前記混合率を決定する
前記（１）乃至（４）のいずれかに記載のオーディオ符号化装置。
（６）
前記決定部は、前記レベル比が大きいほど前記混合率が小さくなるように、前記混合率を決定する
前記（５）に記載のオーディオ符号化装置。
（７）
前記決定部は、前記複数のチャンネルのうちの少なくとも１つのチャンネルの前記周波数スペクトルのレベルが所定の閾値より小さい場合、前記混合率を０に決定し、前記複数のチャンネルの前記周波数スペクトルのレベルが全て前記所定の閾値以上である場合、前記レベル比に基づいて前記混合率を決定する
前記（５）または(６)に記載のオーディオ符号化装置。
（８）
前記決定部は、前記複数のチャンネルの前記周波数スペクトルのエネルギー比に基づいて前記混合率を決定する
前記（５）に記載のオーディオ符号化装置。
（９）
前記決定部は、前記複数のチャンネルの前記周波数スペクトルをそれぞれ所定の周波数帯域ごとに分割し、前記周波数帯域ごとの前記複数のチャンネルの前記周波数スペクトルに基づいて、前記周波数帯域ごとの前記混合率を決定し、
前記混合部は、前記決定部により決定された前記周波数帯域ごとの前記混合率に基づいて、前記チャンネルおよび前記周波数帯域ごとに、前記複数のチャンネルの前記周波数スペクトルを混合する
前記（１）乃至（８）のいずれかに記載のオーディオ符号化装置。
（１０）
前記決定部は、前記周波数帯域ごとの前記周波数スペクトルと前記周波数帯域の周波数に基づいて、前記周波数帯域ごとの前記混合率を決定する
前記（９）に記載のオーディオ符号化装置。
（１１）
前記符号化部は、前記混合部による混合後の前記複数のチャンネルの前記周波数スペクトルをインテンシティ・ステレオ符号化する
前記（１）乃至（１０）のいずれかに記載のオーディオ符号化装置。
（１２）
オーディオ符号化装置が、
複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率を決定する決定ステップと、
前記決定ステップの処理により決定された前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルを混合する混合ステップと、
前記混合ステップの処理による混合後の前記複数のチャンネルの前記周波数スペクトルを符号化する符号化ステップと
を含むオーディオ符号化方法。
（１３）
コンピュータに、
複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率を決定する決定ステップと、
前記決定ステップの処理により決定された前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルを混合する混合ステップと、
前記混合ステップの処理による混合後の前記複数のチャンネルの前記周波数スペクトルを符号化する符号化ステップと
を含む処理を実行させるためのプログラム。
【符号の説明】
【０１４７】
３０ オーディオ符号化装置， ３７ 符号化部， ５１ 決定部， ５２，５３ 乗算部， ５４ 加算部， ５５，５６ 乗算部， ５７ 加算部
【技術分野】
【０００１】
本技術は、オーディオ符号化装置、オーディオ符号化方法、およびプログラムに関し、特に、複数のチャンネルのオーディオ信号を高効率で符号化する場合に、符号化による音質劣化を防止することができるようにしたオーディオ符号化装置、オーディオ符号化方法、およびプログラムに関する。
【背景技術】
【０００２】
複数のチャンネルのオーディオ信号からなるステレオオーディオ信号の符号化としては、チャンネル間の関係を利用することで符号化効率を高めるM/Sステレオ符号化やインテンシティ・ステレオ符号化などがある。なお、以下では、説明の便宜上、ステレオオーディオ信号のチャンネル数は、左用のチャンネルと右用のチャンネルの２つであるものとするが、３以上であっても同様である。
【０００３】
M/Sステレオ符号化では、ステレオオーディオ信号を構成する左用と右用のチャンネルのオーディオ信号の和と差の成分が符号化結果とされる。従って、左用と右用のチャンネルのオーディオ信号が類似している場合、差の成分が小さいため、符号化効率が高まる。しかしながら、左用と右用のチャンネルのオーディオ信号が大きく異なる場合、差の成分が大きいため、符号化効率を高めることができない。その結果、符号化後の量子化において量子化ノイズが発生し、復号時に不自然な雑音が発生する場合がある。
【０００４】
インテンシティ・ステレオ符号化では、人間の聴覚が高域では位相に鈍感で主に周波数スペクトルのレベル比によって定位を知覚するという原理に基づいて符号化が行われる（例えば、非特許文献１参照）。具体的には、インテンシティ・ステレオ符号化では、所定の周波数FISより低い周波数については、左用と右用のチャンネルの周波数スペクトルが、そのまま符号化結果とされる。一方、所定の周波数FIS以上の周波数については、左用と右用のチャンネルの周波数スペクトルを混合した共通スペクトルと各チャンネルの周波数スペクトルのレベルが符号化結果とされる。
【０００５】
従って、復号時には、周波数FISより低い周波数については、符号化結果である左用と右用のチャンネルの周波数スペクトルがそのまま復号結果とされる。一方、周波数FIS以上の周波数については、符号化結果である共通スペクトルに各チャンネルの周波数スペクトルのレベルが適用され、復号結果とされる。
【０００６】
このようなインテンシティ・ステレオ符号化においても、M/Sステレオ符号化と同様に、左用と右用のチャンネルのオーディオ信号が類似していることが前提となっている。従って、左用と右用のチャンネルのオーディオ信号が全く異なる場合、例えば、左用のチャンネルのオーディオ信号がシンバルのオーディオ信号であり、右用のチャンネルのオーディオ信号がトランペットのオーディオ信号である場合、共通スペクトルが、左用と右用のチャンネルの周波数スペクトルと異なるものとなるため、復号時に不自然な雑音が発生する場合がある。
【０００７】
そこで、左用と右用のチャンネルのオーディオ信号の周波数スペクトルの間隔の尺度を求め、この尺度が閾値以下である場合M/Sステレオ符号化等の共通符号化を行い、閾値以上である場合個別符号化を行うことが考案されている（例えば、特許文献１参照）。
【０００８】
また、ステレオオーディオ信号の周波数スペクトルを所定の周波数帯域ごとに分割し、その周波数帯域ごとにインテンシティ・ステレオ符号化が適用されたかの指標を特定のハフマンコードブック番号を用いて伝送することが考案されている（例えば、特許文献２参照）。これにより、所定の周波数帯域ごとにインテンシティ・ステレオ符号化のオン/オフを切り替えることが可能である。
【０００９】
しかしながら、特許文献１および２の発明において、共通符号化またはインテンシティ・ステレオ符号化のオン/オフが頻繁に切り替えられると、定位が不安定になったり異音が発生したりする場合がある。
【００１０】
また、符号化において高い圧縮率が求められる場合には、たとえ左用と右用のチャンネルのオーディオ信号が著しく異なる場合であっても、符号化効率を高めるためにインテンシティ・ステレオ符号化を用いざるを得ない場合がある。この場合、復号時に明らかに知覚可能な不自然な雑音が発生することがある。
【００１１】
一方、帯域分割されたステレオオーディオ信号を、符号化の歪み率に基づく混合率で混合し、符号化することが考えられている（例えば、特許文献３参照）。この場合、歪み率に基づいて連続的に符号化対象の左右のセパレーション（ステレオ感）が制御されるため、定位が不安定になったり異音が発生したりすることを防止することができる。
【００１２】
図１は、このような符号化を行うオーディオ符号化装置の構成の一例を示すブロック図である。
【００１３】
図１のオーディオ符号化装置１０は、フィルタバンク１１、フィルタバンク１２、適応ミキシング部１３、T/F変換部１４、T/F変換部１５、符号化制御部１６、符号化部１７、マルチプレクサ１８、および歪み率検出部１９により構成される。
【００１４】
図１のオーディオ符号化装置１０には、左のチャンネルの時間信号であるオーディオ信号xLと右のチャンネルの時間信号であるオーディオ信号xRが符号化対象のステレオオーディオ信号として入力される。
【００１５】
オーディオ符号化装置１０のフィルタバンク１１は、符号化対象として入力されるオーディオ信号xLをB個の周波数帯域（バンド）のオーディオ信号に帯域分割する。フィルタバンク１１は、分割されたバンド番号b(b=1,2,・・・,B）のサブバンド信号xbLを適応ミキシング部１３に供給する。
【００１６】
同様に、フィルタバンク１２は、符号化対象として入力されるオーディオ信号xRをB個のバンドのオーディオ信号に帯域分割する。フィルタバンク１１は、分割されたバンド番号b(b=1,2,・・・,B）のサブバンド信号xbRを適応ミキシング部１３に供給する。
【００１７】
適応ミキシング部１３は、歪み率検出部１９から供給される過去の符号化対象の符号化における歪み率に基づいて、フィルタバンク１１から供給されるサブバンド信号xbLと、フィルタバンク１２から供給されるサブバンド信号xbRの混合率を決定する。
【００１８】
具体的には、適応ミキシング部１３は、歪み率が大きい、即ちS/N比が悪いほど、混合率を大きくする。これにより、混合の結果得られるサブバンド信号の左右のセパレーション（ステレオ感）は小さくなり、符号化効率が高まる。一方、適応ミキシング部１３は、歪み率が小さい、即ちS/N比が良いほど、混合率を小さくする。これにより、混合の結果得られるサブバンド信号の左右のセパレーション（ステレオ感）は大きくなる。
【００１９】
適応ミキシング部１３は、決定されたサブバンド信号xbLの混合率に基づいて、サブバンド信号xbLとサブバンド信号xbRをバンドごとに混合し、サブバンド信号xbLmixを生成する。同様に、適応ミキシング部１３は、決定されたサブバンド信号xbRの混合率に基づいて、サブバンド信号xbLとサブバンド信号xbRをバンドごとに混合し、サブバンド信号xbRmixを生成する。適応ミキシング部１３は、生成されたサブバンド信号xbLmixをT/F変換部１４に供給し、サブバンド信号xbRmix をT/F変換部１５に供給する。
【００２０】
T/F変換部１４は、サブバンド信号xbLmixに対してMDCT（Modified Discrete Cosine Transform）などの時間−周波数変換を行い、その結果得られる周波数スペクトルXLを符号化制御部１６と符号化部１７に供給する。
【００２１】
同様に、T/F変換部１５は、サブバンド信号xbRmixに対してMDCTなどの時間−周波数変換を行い、その結果得られる周波数スペクトルXRを符号化制御部１６と符号化部１７に供給する。
【００２２】
符号化制御部１６は、T/F変換部１４から供給される周波数スペクトルXLと、T/F変換部１５から供給される周波数スペクトルXRの相関に基づいて、デュアル符号化、M/Sステレオ符号化、またはインテンシティ符号化のいずれかの符号化方式を選択する。符号化制御部１６は、選択された符号化方式を符号化部１７に供給する。
【００２３】
符号化部１７は、T/F変換部１４から供給される周波数スペクトルXLと、T/F変換部１５から供給される周波数スペクトルXRを、それぞれ、符号化制御部１６から供給される符号化方式で符号化する。符号化部１７は、符号化の結果得られる符号化スペクトルと、符号化に関する付加情報を、マルチプレクサ１８に供給する。
【００２４】
マルチプレクサ１８は、符号化部１７から供給される符号化スペクトル、符号化に関する付加情報などを所定のフォーマットで多重化し、その結果得られる符号化データを出力する。
【００２５】
歪み率検出部１９は、符号化部１７の符号化における歪み率を検出し、適応ミキシング部１３に供給する。
【先行技術文献】
【特許文献】
【００２６】
【特許文献１】特許第３４２１７２６号
【特許文献２】特許第３６２２９８２号
【特許文献３】特許第３９５１６９０号
【非特許文献】
【００２７】
【非特許文献１】ISO/IEC 13818-7 Information technology "Generic coding of moving pictures and associated audio information Part 7",Advanced Audio Coding(AAC)
【発明の概要】
【発明が解決しようとする課題】
【００２８】
しかしながら、図１のオーディオ符号化装置１０では、過去の符号化対象の歪み率に基づいて混合率が決定されるので、混合率は、必ずしも、現在の符号化対象の特徴に適した混合率ではない。その結果、符号化による音質劣化が発生する場合がある。例えば、左用と右用のチャンネルのオーディオ信号が著しく異なる場合であっても、左用と右用のチャンネルの周波数スペクトルが十分に混合されず、復号時に雑音が発生する場合がある。
【００２９】
本技術は、このような状況に鑑みてなされたものであり、ステレオオーディオ信号を高効率で符号化する場合に、符号化による音質劣化を防止することができることができるようにするものである。
【課題を解決するための手段】
【００３０】
本技術の一側面のオーディオ符号化装置は、複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率を決定する決定部と、前記決定部により決定された前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルを混合する混合部と、前記混合部による混合後の前記複数のチャンネルの前記周波数スペクトルを符号化する符号化部とを備えるオーディオ符号化装置である。
【００３１】
本技術の一側面のオーディオ符号化方法およびプログラムは、本技術の一側面第１の側面のオーディオ符号化装置に対応する。
【００３２】
本技術の一側面においては、複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率が決定され、前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルが混合され、混合後の前記複数のチャンネルの前記周波数スペクトルが符号化される。
【発明の効果】
【００３３】
本技術の一側面によれば、複数のチャンネルのオーディオ信号を高効率で符号化する場合に、符号化による音質劣化を防止することができる。
【図面の簡単な説明】
【００３４】
【図１】従来のオーディオ符号化装置の構成の一例を示すブロック図である。
【図２】本技術を適用したオーディオ符号化装置の一実施の形態の構成例を示すブロック図である。
【図３】図２の相関/エネルギー計算部におけるバンドを説明する図である。
【図４】図２の適応ミキシング部の構成例を示す図である。
【図５】混合率m1の例を示す図である。
【図６】混合率m2の例を示す図である。
【図７】混合率m3の例を示す図である。
【図８】図２の符号化部の構成例を示すブロック図である。
【図９】符号化処理を説明するフローチャートである。
【図１０】図９の混合処理の詳細を説明するフローチャートである。
【図１１】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００３５】
＜一実施の形態＞
［オーディオ符号化装置の一実施の形態の構成例］
図２は、本技術を適用したオーディオ符号化装置の一実施の形態の構成例を示すブロック図である。
【００３６】
図２のオーディオ符号化装置３０は、入力端子３１および入力端子３２、T/F変換部３３およびT/F変換部３４、相関/エネルギー計算部３５、適応ミキシング部３６、符号化部３７、マルチプレクサ３８、並びに出力端子３９により構成される。オーディオ符号化装置３０は、ステレオオーディオ信号の周波数スペクトルに基づく混合率で、その周波数スペクトルを混合し、インテンシティ・ステレオ符号化を行う。
【００３７】
具体的には、オーディオ符号化装置３０の入力端子３１には、符号化対象のステレオオーディオ信号のうちの左用のチャンネルの時間信号であるオーディオ信号xLが入力され、T/F変換部３３に供給される。また、入力端子３２には、符号化対象のステレオオーディオ信号のうちの右のチャンネルの時間信号であるオーディオ信号xRが入力され、T/F変換部３４に供給される。
【００３８】
T/F変換部３３は、入力端子３１から供給されるオーディオ信号xLに対して、所定の変換フレームごとにMDCT変換等の時間‐周波数変換を施す。T/F変換部３３は、その結果得られる周波数スペクトルXL（係数）を、相関/エネルギー計算部３５と適応ミキシング部３６に供給する。
【００３９】
同様に、T/F変換部３４は、入力端子３２から供給されるオーディオ信号xRに対して、所定の変換フレームごとにMDCT変換等の時間‐周波数変換を施す。T/F変換部３４は、その結果得られる周波数スペクトルXR（係数）を、相関/エネルギー計算部３５と適応ミキシング部３６に供給する。
【００４０】
相関/エネルギー計算部３５は、T/F変換部３３から供給される周波数スペクトルXLと、T/F変換部３４から供給される周波数スペクトルXRを、それぞれ、所定の周波数帯域（バンド）ごとに分割する。なお、各バンドには、周波数の低い方から順にバンド番号b（b=1,2,・・・,B）が付与されている。
【００４１】
また、相関/エネルギー計算部３５は、以下の式（１）により、バンドごとに、バンド番号bのバンドの周波数スペクトルXLのエネルギーEL(b)と周波数スペクトルXRのエネルギーER(b)を計算する。
【００４２】
【数１】
【００４３】
なお、式（１）において、XL(k)は、周波数インデックスｋの周波数スペクトルXLを表し、XR(k)は、周波数インデックスｋの周波数スペクトルXRを表す。また、Kb，Kb+1-1は、それぞれ、バンド番号bのバンドの周波数に対応する周波数インデックスの最小値、最大値を表す。これらのことは、後述する式（２）においても同様である。
【００４４】
さらに、相関/エネルギー計算部３５は、以下の式（２）により、エネルギーEL(b)とエネルギーER(b)を用いて、周波数スペクトルXLと周波数スペクトルXRの各バンドの相関corr(b)を計算する。
【００４５】
【数２】
【００４６】
この相関corr(b)は、周波数スペクトルXLおよび周波数スペクトルXRが相関/エネルギー計算部３５に入力されるごと、即ち変換フレームごとに計算されるが、そのままでは変化が激しいため、相関/エネルギー計算部３５は、相関corr(b)を時間平滑化する。具体的には、相関/エネルギー計算部３５は、例えば、以下の式（３）により、現在の変換フレームの相関corr(b)と過去の所定数の変換フレームの相関corr(b)を指数加重平均し、平均相関ave_corr(b)を逐次的に計算する。
【００４７】
ave_corr(b)=r×ave_corr(b)Old＋(1-r)×corr(b) (0<r<1)
・・・（３）
【００４８】
なお、式（３）において、ave_corr(b)Oldは、過去の所定数の変換フレームの指数加重平均である。
【００４９】
相関／エネルギー計算部３５は、以上のようにして計算された平均相関ave_corr(b)、エネルギーEL(b)、およびエネルギーER(b)を、適応ミキシング部３６に供給する。
【００５０】
適応ミキシング部３６は、相関／エネルギー計算部３５から供給される平均相関ave_corr(b)、エネルギーEL(b)、およびエネルギーER(b)に基づいて、バンドごとに混合率を計算する。なお、混合率とは、混合後の左用のチャンネルの周波数スペクトルXLmix（右用のチャンネルの周波数スペクトルXRmix）における右用のチャンネルの周波数スペクトルXR（左用のチャンネルの周波数スペクトルXL）の割合である。
【００５１】
適応ミキシング部３６は、各バンドの混合率に基づいて、バンドおよびチャンネルごとに、T/F変換部３３から供給される周波数スペクトルXLと、T/F変換部３４から供給される周波数スペクトルXRを混合する。適応ミキシング部３６は、混合の結果得られる左用のチャンネルの周波数スペクトルXLmixと、右用のチャンネルの周波数スペクトルXRmixを符号化部３７に供給する。
【００５２】
符号化部３７は、適応ミキシング部３６から供給される周波数スペクトルXLmixと周波数スペクトルXRmixをインテンシティ・ステレオ符号化する。符号化部３７は、符号化の結果得られる符号化スペクトルと符号化に関する付加情報を、マルチプレクサ３８に供給する。
【００５３】
マルチプレクサ３８は、符号化部３７から供給される符号化スペクトル、符号化に関する付加情報などを所定のフォーマットで多重化し、その結果得られる符号化データを、出力端子３９を介して出力する。
【００５４】
なお、オーディオ符号化装置３０では、相関corr(b)が時間平滑化されたが、上述した式（３）のrを0にし、時間平滑化されないようにしてもよい。また、エネルギーEL(b)とエネルギーER(b)も、相関corr(b)と同様に時間平滑化されるようにしてもよい。
【００５５】
また、オーディオ符号化装置３０では、符号化部３７がインテンシティ・ステレオ符号化を行うが、インテンシティ・ステレオ符号化以外のM/Sステレオ符号化等の高効率の符号化を行うようにしてもよい。
【００５６】
［バンドの説明］
図３は、図２の相関/エネルギー計算部３５におけるバンドを説明する図である。
【００５７】
図３に示すように、各バンドは、所定の周波数の帯域である。例えば、図３では、バンド番号bのバンドは、周波数インデックスKbに対応する周波数以上周波数インデックスKb+1に対応する周波数未満の帯域である。
【００５８】
また、図３の例では、インテンシティ・ステレオ符号化において、左用と右用の周波数スペクトルがそのまま符号化結果とならないバンドのうちの下限のバンド（以下、開始バンドという）のバンド番号がisbである。さらに、バンド番号isbのバンドの周波数インデックスの最小値がKisbであり、周波数インデックスKisbの周波数がFISである。
【００５９】
なお、相関/エネルギー計算部３５におけるバンドは、聴覚の臨界帯域幅（クリティカルバンド）に合わせて高域ほどバンドの範囲が広くなるように分割されることが望ましい。また、バンドの範囲は、符号化部３７における量子化や符号化の処理単位である量子化ユニットの範囲と同一であってもよいし、異なっていてもよい。また、FIS以上の周波数は、バンドに分割されず、まとめて１バンドとされるようにしてもよい。
【００６０】
[適応ミキシング部の構成例]
図４は、図２の適応ミキシング部３６の構成例を示す図である。
【００６１】
図４の適応ミキシング部３６は、決定部５１、乗算部５２、乗算部５３、加算部５４、乗算部５５、乗算部５６、および加算部５７により構成される。
【００６２】
決定部５１は、図２の相関/エネルギー計算部３５から供給される各バンドのエネルギーEL(b)、エネルギーER(b)、および平均相関ave_corr(b)を用いて、そのバンドの混合率m(b)を計算する。決定部５１は、計算された混合率m(b)を乗算部５２、乗算部５３、乗算部５５、および乗算部５６に供給する。
【００６３】
乗算部５２、乗算部５３、および加算部５４は、左用のチャンネルの混合部として機能し、乗算部５５、乗算部５６、および加算部５７は、右用のチャンネルの混合部として機能する。
【００６４】
具体的には、乗算部５２、乗算部５３、および加算部５４は、以下の式（４）により、混合率m(b)に基づいて混合を行い、混合後の周波数スペクトルXLmixを生成する。また、乗算部５５、乗算部５６、および加算部５７は、以下の式（４）により、混合率m(b)に基づいて混合を行い、混合後の周波数スペクトルXRmixを生成する。
【００６５】
XLmix(k)=(1-m(b))×XL(k)＋m(b)×XR(k)
XRmix(k)=m(b)×XL(k)+(1-m(b))×XR(k)
・・・（４）
【００６６】
なお、式（４）において、周波数インデックスkは、バンド番号bのバンドに含まれる周波数の周波数インデックスである。また、式（４）において、XLmix(k)，XRmix(k)は、それぞれ、周波数インデックスｋの周波数スペクトルXLmix、周波数スペクトルXRmixである。さらに、XL(k)，XR(k)は、周波数インデックスｋの周波数スペクトルXL、周波数スペクトルXRである。
【００６７】
より詳細には、乗算部５２は、バンドごとに、図２のT/F変換部３３から供給される周波数スペクトルXLと決定部５１から供給される混合率m(b)を１から減算した値とを乗算し、その結果得られる周波数スペクトルを加算部５４に供給する。
【００６８】
また、乗算部５３は、バンドごとに、図２のT/F変換部３４から供給される周波数スペクトルXRと決定部５１から供給される混合率m(b)を乗算し、その結果得られる周波数スペクトルを加算部５４に供給する。
【００６９】
加算部５４は、バンドごとに、乗算部５２から供給される周波数スペクトルと、乗算部５３から供給される周波数スペクトルとを加算する。加算部５４は、加算の結果得られる周波数スペクトルを混合後の周波数スペクトルXLmixとして、図２の符号化部３７に供給する。
【００７０】
また、乗算部５５は、バンドごとに、T/F変換部３３から供給される周波数スペクトルXL(b)と決定部５１から供給される混合率m(b)とを乗算し、その結果得られる周波数スペクトルを加算部５７に供給する。
【００７１】
乗算部５６は、バンドごとに、T/F変換部３４から供給される周波数スペクトルXR(b)と決定部５１から供給される混合率m(b)を１から減算した値とを乗算し、その結果得られる周波数スペクトルを加算部５７に供給する。
【００７２】
加算部５７は、バンドごとに、乗算部５５から供給される周波数スペクトルと、乗算部５６から供給される周波数スペクトルとを加算する。加算部５７は、加算の結果得られる周波数スペクトルを混合後の周波数スペクトルXRmixとして、符号化部３７に供給する。
【００７３】
[混合率の計算方法の説明]
図５乃至図７は、図４の決定部５１における混合率の計算方法を説明する図である。
【００７４】
決定部５１は、バンドごとに、平均相関ave_corr(b)に基づいて、例えば、図５に示す混合率m1(ave_corr(b))を決定する。なお、図５において、横軸は、平均相関ave_corr(b)を表し、縦軸は混合率m1(ave_corr(b))を表している。
【００７５】
平均相関ave_corr(b)が0付近である場合、周波数スペクトルXLと周波数スペクトルXRが異なっているため、左用と右用のチャンネルの符号化対象の違いによって生じる復号時の雑音を防止する必要がある。一方、平均相関ave_corr(b)が1に近い場合、周波数スペクトルXLと周波数スペクトルXRが類似しているため、符号化による復号時の雑音が生じにくい。従って、図５の例では、混合率m1(ave_corr(b))は、平均相関ave_corr(b)が0に近いほど大きく、平均相関ave_corr(b)が1に近いほど小さくなっている。また、平均相関ave_corr(b)が0である場合、混合率m1(ave_corr(b))は、最大値である0.5となっている。
【００７６】
一方、平均相関ave_corr(b)が負の値である場合、平均相関ave_corr(b)が正の値である場合と同様に、平均相関ave_corr(b)が0に近いほど大きく、平均相関ave_corr(b)が-1に近いほど小さくなる。但し、この場合、混合によりエネルギーが減衰するため、混合率m1(ave_corr(b))は、平均相関ave_corr(b)が正の値である場合に比べて小さくなっている。また、平均相関ave_corr(b)が、-1より大きい所定の負の閾値T（例えば、-0.6程度）よりも小さい場合、混合率m1(ave_corr(b))は0となっている。
【００７７】
なお、混合率m1(ave_corr(b))は、以下の式（５）のように決定されるようにしてもよい。
【００７８】
ave_corr(b)≦C1である場合、m1(ave_corr(b))=0
C1<ave_corr(b)≦C2である場合、m1(ave_corr(b))=0.5×(ave_corr(b)−C1)/(C2−C1)
ave_corr(b)>C2である場合、m1(ave_corr(b))=0.5×(ave_corr(b)−1)/(C2−1)
・・・（５）
【００７９】
式（５）において、C1およびC2は所定の閾値である。例えば、C1は−0.6であり、C2は0であるようにすることができる。
【００８０】
また、決定部５１は、バンドごとに、エネルギーEL(b)およびER(b)に基づいて、例えば、図６に示す混合率m2(LR_ratio(b))を決定する。
【００８１】
なお、図６において、横軸は、エネルギーEL(b)およびER(b)に基づいて以下の式（６）で定義される左用と右用のチャンネルの周波数スペクトルのレベル比LR_ratio(b)[dB］を表し、縦軸は混合率m2(LR_ratio(b))を表す。
【００８２】
LR_ratio(b)=10log10（EL/ER）
・・・（６）
【００８３】
図６の例では、レベル比LR_ratioの絶対値が大きいほど、即ち周波数スペクトルXLと周波数スペクトルXRのレベルが異なっているほど、音漏れ（詳細は後述する）を防止するために混合率m2(LR_ratio(b))は小さくされる。そして、レベル比LR_ratioの絶対値が所定の閾値R(30dB程度)以上である場合、混合率m2(LR_ratio(b))は0とされる。
【００８４】
但し、左用と右用のチャンネルの少なくとも一方の音が無音に近い場合、即ち、周波数スペクトルXLと周波数スペクトルXRの少なくとも一方のレベルが所定の閾値より小さい場合には、音漏れが知覚されやすいため、レベル比LR_ratioに関わらず混合率m2(LR_ratio(b))は0とされる。
【００８５】
音漏れとは、レベルが大きく異なるオーディオ信号の周波数スペクトルを混合することにより発生する、レベルの大きい周波数スペクトルからレベルの小さい周波数スペクトルへのレベルの移動である。
【００８６】
さらに、決定部５１は、バンドの周波数に基づいて、例えば、図７に示す混合率m3(b)を決定する。なお、図７において、横軸は、バンド番号bを表し、縦軸は、混合率m3(b)を表す。
【００８７】
開始バンドであるバンド番号isbのバンドから急激に混合が行われると、不連続性により雑音が発生することがあるため、図７の例では、バンド番号isbより少し前のバンド番号のバンドから徐々に混合率m3(b)が最大値である0.5まで増加する。また、より高域（例えば13kHz以上の周波数）では、復号時の雑音が知覚されにくいため、周波数スペクトルXLと周波数スペクトルXRが異なっていても、ステレオ感を保持するために混合率m3(b)を0.5より少し小さくする。
【００８８】
決定部５１は、以上のようにして求められた混合率m1(ave_corr(b))，m2(LR_ratio(b))、およびm3(b)を用いて、以下の式（７）により、バンドbの最終的な混合率m(b)を決定する。
【００８９】
ｍ(b)=4×m1（ave_corr(b)）×m2（LR_ratio(b)）×m3(b)
・・・（７）
【００９０】
なお、混合率m(b)は、混合率m1(ave_corr(b))，m2(LR_ratio(b))、およびm3(b)の積ではなく、以下の式（８）のように混合率m1(ave_corr(b))，m2(LR_ratio(b))、およびm3(b)の線形和であってもよい。
【００９１】
ｍ(b)=w1×m1（ave_corr(b)）+w2×m2（LR_ratio(b)）+w3×m3(b)
但し、w1＋w2＋w3=１
・・・（８）
【００９２】
また、混合率m(b)は、必ずしも、混合率m1(ave_corr(b))，m2(LR_ratio(b))、およびm3(b)の全てを用いて決定される必要はなく、混合率m1(ave_corr(b))，m2(LR_ratio(b))、およびm3(b)の少なくとも１つを用いて決定されればよい。
【００９３】
[符号化部の構成例]
図８は、図２の符号化部３７の構成例を示すブロック図である。
【００９４】
図８の符号化部３７は、乗算部７１、演算部７２、レベル補正部７３、加算部７４、正規化部７５、量子化部７６、加算部７７、正規化部７８、および量子化部７９により構成される。
【００９５】
図２の適応ミキシング部３６から供給される周波数スペクトルXLmixおよびXRmixのうちの、開始バンドの最小の周波数ＦISの周波数インデックスKisb未満の周波数インデックスの周波数スペクトルXLmixは、加算部７４に供給され、周波数スペクトルXRmixは、加算部７７に供給される。
【００９６】
一方、適応ミキシング部３６から供給される周波数スペクトルXLmixおよびXRmixのうちの、周波数インデックスKisb以上の周波数インデックスの周波数スペクトルXLmixは、演算部７２、レベル補正部７３、および加算部７４に供給され、周波数スペクトルXRmixは、乗算部７１、レベル補正部７３、および加算部７７に供給される。
【００９７】
乗算部７１と演算部７２は、以下の式（９）により、周波数インデックスKisb以上の周波数インデックスの周波数スペクトルXLmixと周波数スペクトルXRmixに共通の共通スペクトルXMを生成する。
【００９８】
XM(k)=0.5×｛XLmix(k)＋sign×XRmix(k)｝（k≧Kisb）
・・・（９）
【００９９】
なお、式（９）において、XM(k)，XLmix(k),XRmix(k)は、それぞれ、周波数インデックスｋの共通スペクトルXM、周波数スペクトルXLmix、周波数スペクトルXRmixを表す。また、signは、各量子化ユニットにおける周波数スペクトルXRmixの位相極性であり、＋1または‐1である。例えば、量子化ユニット内の周波数スペクトルXLmixとXRmixの相関が正の値である場合、位相極性signは+1であり、負の値である場合、位相極性signは‐1である。
【０１００】
より詳細には、乗算部７１は、周波数インデックスKisb以上の周波数インデックスの周波数スペクトルXRmixに対して位相極性signを乗算し、その結果得られる周波数スペクトルを演算部７２に供給する。
【０１０１】
演算部７２は、周波数インデックスKisb以上の周波数インデックスの周波数スペクトルXLmixと乗算部７１から供給される周波数スペクトルを加算し、その結果得られる周波数スペクトルに0.5を乗算して、共通スペクトルXMを生成する。演算部７２は、生成された共通スペクトルXMをレベル補正部７３に供給する。
【０１０２】
レベル補正部７３は、量子化ユニットごとに、演算部７２から供給される共通スペクトルXMのエネルギーが、周波数インデックスKisb以上の周波数インデックスの周波数スペクトルXLmixの、その量子化ユニットにおけるエネルギーと一致するように、共通スペクトルXMのレベルを補正する。同様に、レベル補正部７３は、共通スペクトルXMのエネルギーが、周波数インデックスKisb以上の周波数インデックスの周波数スペクトルXRmixの、その量子化ユニットにおけるエネルギーと一致するように、共通スペクトルXMのレベルを補正する。
【０１０３】
具体的には、レベル補正部７３は、まず、周波数インデックスKisb以上の周波数インデックスの周波数スペクトルXLmixおよびXRmixの量子化ユニットqごとのエネルギーEL(q)およびER(q)、並びに、共通スペクトルXMのエネルギーEM(q)を計算する。そして、レベル補正部７３は、量子化ユニットｑごとに、エネルギーEL(q)またはER(q)、およびエネルギーEM(q)を用いて、以下の式（１０）により、共通スペクトルXMのレベルを補正する。
【０１０４】
【数３】
【０１０５】
なお、式（１０）において、XM(k)，XLIS(k),XRIS(k)は、それぞれ、周波数インデックスｋの共通スペクトルXM、レベル補正後の共通スペクトルXLIS,レベル補正後の共通スペクトルXRISを表す。
【０１０６】
レベル補正部７３は、レベル補正後の共通スペクトルXLISを加算部７４に供給し、レベル補正後の共通スペクトルXRISを加算部７７に供給する。
【０１０７】
加算部７４は、周波数インデックスKisb未満の周波数インデックスの周波数スペクトルXLmixとレベル補正部７３から供給される共通スペクトルXLISとを加算し、その結果得られる全周波数インデックスの周波数スペクトルを正規化部７５に供給する。
【０１０８】
正規化部７５は、加算部７４から供給される周波数スペクトルを、所定の周波数帯域幅の量子化ユニットごとに、周波数スペクトルの振幅に応じた正規化係数（スケールファクタ）SFLを用いて正規化する。正規化部７５は、正規化の結果得られる周波数スペクトルXLNormを量子化部７６に供給し、正規化係数SFLを符号化に関する付加情報として図２のマルチプレクサ３８に供給する。
【０１０９】
量子化部７６は、正規化部７５から供給される周波数スペクトルXLNormを所定のビット数で量子化し、量子化後の周波数スペクトルXLNormを左用のチャンネルの符号化スペクトルとしてマルチプレクサ３８に供給する。これにより、左用のチャンネルの符号化スペクトルとしてマルチプレクサ３８に供給される符号化スペクトルの周波数インデックスｋは、全周波数インデックス（0,1,・・・,Kisb,・・・,K）となる。
【０１１０】
また、加算部７７は、周波数インデックスKisb未満の周波数インデックスの周波数スペクトルXRmixとレベル補正部７３から供給される共通スペクトルXRISとを加算し、その結果得られる全周波数インデックスの周波数スペクトルを正規化部７８に供給する。
【０１１１】
正規化部７８は、加算部７７から供給される周波数スペクトルを、量子化ユニットごとに、周波数スペクトルの振幅に応じた正規化係数SFRを用いて正規化する。正規化部７５は、正規化の結果得られる周波数スペクトルXRNormを量子化部７９に供給し、正規化係数SFRを符号化に関する付加情報としてマルチプレクサ３８に供給する。
【０１１２】
量子化部７９は、正規化部７８から供給される周波数スペクトルXRNormのうちの、周波数インデックスKisb未満の周波数インデックスの周波数スペクトルXRNormを所定のビット数で量子化する。量子化部７９は、量子化後の周波数スペクトルXRNormを右用のチャンネルの符号化スペクトルとしてマルチプレクサ３８に供給する。これにより、マルチプレクサ３８に供給される右用のチャンネルの符号化スペクトルの周波数インデックスｋは、全周波数インデックスのうちの周波数インデックスKisb未満の周波数インデックス（0,1,・・・,Kisb-1）となる。
【０１１３】
なお、図８の符号化部３７では、左用のチャンネルの符号化スペクトルの周波数インデックスｋが全周波数インデックスであり、右用のチャンネルの符号化スペクトルの周波数インデックスｋがKisb未満であるようにしたが、左用のチャンネルと右用のチャンネルの周波数インデックスｋが逆になるようにしてもよい。即ち、右用のチャンネルの符号化スペクトルの周波数インデックスｋが全周波数インデックスであり、左用のチャンネルの符号化スペクトルの周波数インデックスｋがKisb未満であるようにしてもよい。
【０１１４】
［オーディオ符号化装置の処理の説明］
図９は、図２のオーディオ符号化装置３０の符号化処理を説明するフローチャートである。この符号化処理は、入力端子３１にオーディオ信号ｘLが入力され、入力端子３２にオーディオ信号xRが入力されたとき、開始される。
【０１１５】
図９のステップＳ１１において、T/F変換部３３は、入力端子３１から供給される左用のチャンネルのオーディオ信号xLに対して、所定の変換フレームごとに時間‐周波数変換を施す。T/F変換部３３は、その結果得られる周波数スペクトルXLを、相関/エネルギー計算部３５と適応ミキシング部３６に供給する。
【０１１６】
ステップＳ１２において、T/F変換部３４は、入力端子３２から供給される右用のチャンネルのオーディオ信号xRに対して、所定の変換フレームごとに時間‐周波数変換を施す。T/F変換部３４は、その結果得られる周波数スペクトルXRを、相関/エネルギー計算部３５と適応ミキシング部３６に供給する。
【０１１７】
ステップＳ１３において、相関/エネルギー計算部３５は、T/F変換部３３から供給される周波数スペクトルXLと、T/F変換部３４から供給される周波数スペクトルXRを、それぞれ、バンドごとに分割する。
【０１１８】
ステップＳ１４において、相関/エネルギー計算部３５は、上述した式（１）により、バンドごとに、エネルギーEL(b)とエネルギーER(b)を計算し、適応ミキシング部３６に供給する。
【０１１９】
ステップＳ１５において、相関/エネルギー計算部３５は、上述した式（２）により、エネルギーEL(b)とエネルギーER(b)を用いて、各バンドの相関corr(b)を計算し、保持する。そして、相関/エネルギー計算部３５は、上述した式（３）により、現在の変換フレームの相関corr(b)と過去の所定数の変換フレームの相関corr(b)を指数加重平均して、平均相関ave_corr(b)を逐次的に計算し、適応ミキシング部３６に供給する。
【０１２０】
ステップＳ１６において、適応ミキシング部３６は、平均相関ave_corr(b)、エネルギーEL(b)、およびエネルギーER(b)に基づいて、バンドおよびチャンネルごとに、周波数スペクトルXLと周波数スペクトルXRを混合する混合処理を行う。この混合処理の詳細は、後述する図１０を参照して説明する。
【０１２１】
ステップＳ１７において、符号化部３７は、適応ミキシング部３６から供給される周波数スペクトルXLmixと周波数スペクトルXRmixをインテンシティ・ステレオ符号化し、その結果得られる符号化スペクトルをマルチプレクサ３８に供給する。
【０１２２】
ステップＳ１８において、マルチプレクサ３８は、符号化部３７から供給される符号化スペクトル、符号化に関する付加情報などを所定のフォーマットで多重化し、その結果得られる符号化データを、出力端子３９を介して出力する。そして、処理は終了する。
【０１２３】
図１０は、図９のステップＳ１６の混合処理の詳細を説明するフローチャートである。
【０１２４】
図１０のステップＳ３１において、適応ミキシング部３６の決定部５１（図４）は、相関／エネルギー計算部３５から供給される平均相関ave_corr(b)に基づいて、バンドごとに、図５に示したような混合率m1（ave_corr(b)）を決定する。
【０１２５】
ステップＳ３２において、決定部５１は、相関／エネルギー計算部３５から供給されるエネルギーEL(b)とエネルギーER(b)に基づいて、バンドごとに、図６に示したような混合率m2(LR_ratio(b))を決定する。
【０１２６】
ステップＳ３３において、決定部５１は、各バンドの周波数に基づいて、バンドごとに、図７に示したような混合率m3(b)を決定する。
【０１２７】
ステップＳ３４において、決定部５１は、混合率m1（ave_corr(b)）、混合率m2(LR_ratio(b))、および混合率m3(b)に基づいて、バンドごとに、上述した式（７）や式（８）により、混合率m(b)を決定する。決定部５１は、計算された混合率m(b)を乗算部５２、乗算部５３、乗算部５５、および乗算部５６に供給する。
【０１２８】
ステップＳ３５において、乗算部５２は、バンドごとに、図２のT/F変換部３３から供給される周波数スペクトルXLと決定部５１から供給される混合率m(b)を１から減算した値とを乗算し、その結果得られる周波数スペクトルを加算部５４に供給する。また、乗算部５６は、バンドごとに、図２のT/F変換部３４から供給される周波数スペクトルXRと決定部５１から供給される混合率m(b)を１から減算した値とを乗算し、その結果得られる周波数スペクトルを加算部５７に供給する。
【０１２９】
ステップＳ３６において、乗算部５３は、バンドごとに、T/F変換部３４から供給される周波数スペクトルXRと決定部５１から供給される混合率m(b)を乗算し、その結果得られる周波数スペクトルを加算部５４に供給する。また、乗算部５５は、バンドごとに、T/F変換部３３から供給される周波数スペクトルXLと決定部５１から供給される混合率m(b)とを乗算し、その結果得られる周波数スペクトルを加算部５７に供給する。
【０１３０】
ステップＳ３７において、加算部５４は、バンドごとに、乗算部５２から供給される周波数スペクトルと、乗算部５３から供給される周波数スペクトルとを加算する。加算部５４は、その結果得られる周波数スペクトルを混合後の周波数スペクトルXLmixとして、図２の符号化部３７に供給する。また、加算部５７は、バンドごとに、乗算部５５から供給される周波数スペクトルと、乗算部５６から供給される周波数スペクトルとを加算する。加算部５７は、その結果得られる周波数スペクトルを混合後の周波数スペクトルXRmixとして、符号化部３７に供給する。そして、処理は、図９のステップＳ１６に戻り、ステップＳ１７に進む。
【０１３１】
以上のように、オーディオ符号化装置３０は、符号化対象のステレオオーディオ信号の周波数スペクトルXLおよびXRに基づいて混合率m(b)を決定するので、混合率m(b)が符号化対象のステレオオーディオ信号の特徴に適したものとなる。その結果、符号化による雑音の発生や音漏れなどの音質劣化を防止することができる。
【０１３２】
また、オーディオ符号化装置３０は、オーディオ信号xL,xRではなく、周波数スペクトルXL,XRをバンドごとに混合するので、図１のオーディオ符号化装置１０のように、帯域分割のためのフィルタバンク１１および１２を設ける必要がない。また、符号化処理における演算量とメモリ使用量を削減することができる。
【０１３３】
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１３４】
そこで、図１１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１３５】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１３６】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１３７】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１３８】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１３９】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１４０】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１４１】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１４２】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１４３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１４４】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４５】
なお、本技術は、以下のような構成もとることができる。
【０１４６】
（１）
複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率を決定する決定部と、
前記決定部により決定された前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルを混合する混合部と、
前記混合部による混合後の前記複数のチャンネルの前記周波数スペクトルを符号化する符号化部と
を備えるオーディオ符号化装置。
（２）
前記決定部は、前記複数のチャンネルの前記周波数スペクトルの相関に基づいて前記混合率を決定する
前記（１）に記載のオーディオ符号化装置。
（３）
前記決定部は、前記相関が０に近いほど前記混合率が大きくなり、前記相関が−１に近いほど前記混合率が小さくなるように、前記混合率を決定する
前記（２）に記載のオーディオ符号化装置。
（４）
前記決定部は、前記相関が−１より大きい所定の負の閾値より小さい場合、前記混合率を０に決定する
前記（２）または（３）に記載のオーディオ符号化装置。
（５）
前記決定部は、前記複数のチャンネルの前記周波数スペクトルのレベル比に基づいて前記混合率を決定する
前記（１）乃至（４）のいずれかに記載のオーディオ符号化装置。
（６）
前記決定部は、前記レベル比が大きいほど前記混合率が小さくなるように、前記混合率を決定する
前記（５）に記載のオーディオ符号化装置。
（７）
前記決定部は、前記複数のチャンネルのうちの少なくとも１つのチャンネルの前記周波数スペクトルのレベルが所定の閾値より小さい場合、前記混合率を０に決定し、前記複数のチャンネルの前記周波数スペクトルのレベルが全て前記所定の閾値以上である場合、前記レベル比に基づいて前記混合率を決定する
前記（５）または(６)に記載のオーディオ符号化装置。
（８）
前記決定部は、前記複数のチャンネルの前記周波数スペクトルのエネルギー比に基づいて前記混合率を決定する
前記（５）に記載のオーディオ符号化装置。
（９）
前記決定部は、前記複数のチャンネルの前記周波数スペクトルをそれぞれ所定の周波数帯域ごとに分割し、前記周波数帯域ごとの前記複数のチャンネルの前記周波数スペクトルに基づいて、前記周波数帯域ごとの前記混合率を決定し、
前記混合部は、前記決定部により決定された前記周波数帯域ごとの前記混合率に基づいて、前記チャンネルおよび前記周波数帯域ごとに、前記複数のチャンネルの前記周波数スペクトルを混合する
前記（１）乃至（８）のいずれかに記載のオーディオ符号化装置。
（１０）
前記決定部は、前記周波数帯域ごとの前記周波数スペクトルと前記周波数帯域の周波数に基づいて、前記周波数帯域ごとの前記混合率を決定する
前記（９）に記載のオーディオ符号化装置。
（１１）
前記符号化部は、前記混合部による混合後の前記複数のチャンネルの前記周波数スペクトルをインテンシティ・ステレオ符号化する
前記（１）乃至（１０）のいずれかに記載のオーディオ符号化装置。
（１２）
オーディオ符号化装置が、
複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率を決定する決定ステップと、
前記決定ステップの処理により決定された前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルを混合する混合ステップと、
前記混合ステップの処理による混合後の前記複数のチャンネルの前記周波数スペクトルを符号化する符号化ステップと
を含むオーディオ符号化方法。
（１３）
コンピュータに、
複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率を決定する決定ステップと、
前記決定ステップの処理により決定された前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルを混合する混合ステップと、
前記混合ステップの処理による混合後の前記複数のチャンネルの前記周波数スペクトルを符号化する符号化ステップと
を含む処理を実行させるためのプログラム。
【符号の説明】
【０１４７】
３０ オーディオ符号化装置， ３７ 符号化部， ５１ 決定部， ５２，５３ 乗算部， ５４ 加算部， ５５，５６ 乗算部， ５７ 加算部
【特許請求の範囲】
【請求項１】
複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率を決定する決定部と、
前記決定部により決定された前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルを混合する混合部と、
前記混合部による混合後の前記複数のチャンネルの前記周波数スペクトルを符号化する符号化部と
を備えるオーディオ符号化装置。
【請求項２】
前記決定部は、前記複数のチャンネルの前記周波数スペクトルの相関に基づいて前記混合率を決定する
請求項１に記載のオーディオ符号化装置。
【請求項３】
前記決定部は、前記相関が０に近いほど前記混合率が大きくなり、前記相関が−１に近いほど前記混合率が小さくなるように、前記混合率を決定する
請求項２に記載のオーディオ符号化装置。
【請求項４】
前記決定部は、前記相関が−１より大きい所定の負の閾値より小さい場合、前記混合率を０に決定する
請求項２に記載のオーディオ符号化装置。
【請求項５】
前記決定部は、前記複数のチャンネルの前記周波数スペクトルのレベル比に基づいて前記混合率を決定する
請求項１に記載のオーディオ符号化装置。
【請求項６】
前記決定部は、前記レベル比が大きいほど前記混合率が小さくなるように、前記混合率を決定する
請求項５に記載のオーディオ符号化装置。
【請求項７】
前記決定部は、前記複数のチャンネルのうちの少なくとも１つのチャンネルの前記周波数スペクトルのレベルが所定の閾値より小さい場合、前記混合率を０に決定し、前記複数のチャンネルの前記周波数スペクトルのレベルが全て前記所定の閾値以上である場合、前記レベル比に基づいて前記混合率を決定する
請求項５に記載のオーディオ符号化装置。
【請求項８】
前記決定部は、前記複数のチャンネルの前記周波数スペクトルのエネルギー比に基づいて前記混合率を決定する
請求項５に記載のオーディオ符号化装置。
【請求項９】
前記決定部は、前記複数のチャンネルの前記周波数スペクトルをそれぞれ所定の周波数帯域ごとに分割し、前記周波数帯域ごとの前記複数のチャンネルの前記周波数スペクトルに基づいて、前記周波数帯域ごとの前記混合率を決定し、
前記混合部は、前記決定部により決定された前記周波数帯域ごとの前記混合率に基づいて、前記チャンネルおよび前記周波数帯域ごとに、前記複数のチャンネルの前記周波数スペクトルを混合する
請求項１に記載のオーディオ符号化装置。
【請求項１０】
前記決定部は、前記周波数帯域ごとの前記周波数スペクトルと前記周波数帯域の周波数に基づいて、前記周波数帯域ごとの前記混合率を決定する
請求項９に記載のオーディオ符号化装置。
【請求項１１】
前記符号化部は、前記混合部による混合後の前記複数のチャンネルの前記周波数スペクトルをインテンシティ・ステレオ符号化する
請求項１に記載のオーディオ符号化装置。
【請求項１２】
オーディオ符号化装置が、
複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率を決定する決定ステップと、
前記決定ステップの処理により決定された前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルを混合する混合ステップと、
前記混合ステップの処理による混合後の前記複数のチャンネルの前記周波数スペクトルを符号化する符号化ステップと
を含むオーディオ符号化方法。
【請求項１３】
コンピュータに、
複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率を決定する決定ステップと、
前記決定ステップの処理により決定された前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルを混合する混合ステップと、
前記混合ステップの処理による混合後の前記複数のチャンネルの前記周波数スペクトルを符号化する符号化ステップと
を含む処理を実行させるためのプログラム。
【請求項１】
複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率を決定する決定部と、
前記決定部により決定された前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルを混合する混合部と、
前記混合部による混合後の前記複数のチャンネルの前記周波数スペクトルを符号化する符号化部と
を備えるオーディオ符号化装置。
【請求項２】
前記決定部は、前記複数のチャンネルの前記周波数スペクトルの相関に基づいて前記混合率を決定する
請求項１に記載のオーディオ符号化装置。
【請求項３】
前記決定部は、前記相関が０に近いほど前記混合率が大きくなり、前記相関が−１に近いほど前記混合率が小さくなるように、前記混合率を決定する
請求項２に記載のオーディオ符号化装置。
【請求項４】
前記決定部は、前記相関が−１より大きい所定の負の閾値より小さい場合、前記混合率を０に決定する
請求項２に記載のオーディオ符号化装置。
【請求項５】
前記決定部は、前記複数のチャンネルの前記周波数スペクトルのレベル比に基づいて前記混合率を決定する
請求項１に記載のオーディオ符号化装置。
【請求項６】
前記決定部は、前記レベル比が大きいほど前記混合率が小さくなるように、前記混合率を決定する
請求項５に記載のオーディオ符号化装置。
【請求項７】
前記決定部は、前記複数のチャンネルのうちの少なくとも１つのチャンネルの前記周波数スペクトルのレベルが所定の閾値より小さい場合、前記混合率を０に決定し、前記複数のチャンネルの前記周波数スペクトルのレベルが全て前記所定の閾値以上である場合、前記レベル比に基づいて前記混合率を決定する
請求項５に記載のオーディオ符号化装置。
【請求項８】
前記決定部は、前記複数のチャンネルの前記周波数スペクトルのエネルギー比に基づいて前記混合率を決定する
請求項５に記載のオーディオ符号化装置。
【請求項９】
前記決定部は、前記複数のチャンネルの前記周波数スペクトルをそれぞれ所定の周波数帯域ごとに分割し、前記周波数帯域ごとの前記複数のチャンネルの前記周波数スペクトルに基づいて、前記周波数帯域ごとの前記混合率を決定し、
前記混合部は、前記決定部により決定された前記周波数帯域ごとの前記混合率に基づいて、前記チャンネルおよび前記周波数帯域ごとに、前記複数のチャンネルの前記周波数スペクトルを混合する
請求項１に記載のオーディオ符号化装置。
【請求項１０】
前記決定部は、前記周波数帯域ごとの前記周波数スペクトルと前記周波数帯域の周波数に基づいて、前記周波数帯域ごとの前記混合率を決定する
請求項９に記載のオーディオ符号化装置。
【請求項１１】
前記符号化部は、前記混合部による混合後の前記複数のチャンネルの前記周波数スペクトルをインテンシティ・ステレオ符号化する
請求項１に記載のオーディオ符号化装置。
【請求項１２】
オーディオ符号化装置が、
複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率を決定する決定ステップと、
前記決定ステップの処理により決定された前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルを混合する混合ステップと、
前記混合ステップの処理による混合後の前記複数のチャンネルの前記周波数スペクトルを符号化する符号化ステップと
を含むオーディオ符号化方法。
【請求項１３】
コンピュータに、
複数のチャンネルのオーディオ信号の周波数スペクトルに基づいて、前記複数のチャンネルの各チャンネルの混合後の周波数スペクトルにおける他のチャンネルの周波数スペクトルの割合である混合率を決定する決定ステップと、
前記決定ステップの処理により決定された前記混合率に基づいて、前記チャンネルごとに、前記複数のチャンネルの前記周波数スペクトルを混合する混合ステップと、
前記混合ステップの処理による混合後の前記複数のチャンネルの前記周波数スペクトルを符号化する符号化ステップと
を含む処理を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−３３１８９（Ｐ２０１３−３３１８９Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−２３０３３０（Ｐ２０１１−２３０３３０）
【出願日】平成２３年１０月２０日（２０１１．１０．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年１０月２０日（２０１１．１０．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
[ Back to top ]