音声帯域拡張装置
【課題】 帯域拡張後において、聴感が自然な音声信号を実現できる音声帯域拡張装置を提供する。
【解決手段】 本発明は、原音声信号からその原音声信号が備えない帯域を有する拡張音声信号を生成する拡張音声生成手段を有する音声帯域拡張装置に関する。そして、原音声信号及び拡張音声信号間のタイミングずれを検出するタイミングずれ検出手段と、検出されたタイミングずれに応じ、原音声信号及び又は拡張音声信号のタイミングを調整する調整手段と、タイミング調整後の両信号を合成する合成手段とを有することを特徴とする。タイミングずれ検出手段は、例えば、零交差や相互相関などを用いてタイミングずれを検出する。
【解決手段】 本発明は、原音声信号からその原音声信号が備えない帯域を有する拡張音声信号を生成する拡張音声生成手段を有する音声帯域拡張装置に関する。そして、原音声信号及び拡張音声信号間のタイミングずれを検出するタイミングずれ検出手段と、検出されたタイミングずれに応じ、原音声信号及び又は拡張音声信号のタイミングを調整する調整手段と、タイミング調整後の両信号を合成する合成手段とを有することを特徴とする。タイミングずれ検出手段は、例えば、零交差や相互相関などを用いてタイミングずれを検出する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は音声帯域拡張装置に関し、例えば、狭帯域電話機や交換機からの音声信号を広帯域化する装置に適用し得るものである。
【背景技術】
【0002】
現在、電話などの音声通信は様々なネットワークを用いて盛んに行われている。しかしながら、従来の公衆網を利用していた時代の慣習から、電話音声通信は、一般に電話帯域と呼ばれる300Hzから3.4kHzの周波数に制限されて行われている。しかし、人間の発声する音声には、300Hz以下の低域成分や、3.4kHz以上の高域成分も含まれており、また、これら低域成分及び高域成分は発話の個人性にも係わる重要な成分である。また、高齢者にとっても、これら低域成分及び高域成分の欠如は個人性の欠如だけでなく、音声の認識を低下させる一因であり、これら成分を含んだ音声での通話が望まれている。
【0003】
しかしながら、一般的な公衆網における交換機では、電話帯域を越える音声を伝送させることができない。このような点に鑑み、特許文献1には、音声帯域を拡張する帯域拡張器が提案されている。
【0004】
特許文献1に記載の帯域拡張器手法を、図2を用いて説明する。300Hzから3.4kHzに周波数が限定された狭帯域音声信号(デジタル信号)DCが帯域拡張器10に入力される。この狭帯域音声信号DCは、標本化周波数変換器11により標本化周波数が高められた変換原信号Sに変換され(例えば、8kHzから16kHz)、この変換原信号Sを用いて、低域側(300Hz以下)へ拡張した拡張信号(合成低域信号)LS、高域側(3.4〜7kHz)へ拡張した拡張信号(合成高域信号)HS、無声部分を拡張した拡張信号(合成無声信号)USをそれぞれ低域信号生成器12、高域信号生成器13、無声部信号生成器14で生成し、上述の変換原信号Sと加算器15で加算することで帯域拡張信号Vを生成している。
【0005】
この帯域拡張信号Vは、帯域制限された狭帯域音声信号DCから生成された低域成分の信号や高域成分の信号などを、伝送された信号と共に同時に提供し、これら各成分が含まれる広帯域信号と同様の臨場感ある音声として聴取することを可能にしている。
【特許文献1】特開平9−258787号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1の帯域拡張方法では、新たに生成された成分の信号が原信号と周波数成分が異なるため、新たに生成された成分の信号と、伝送されてきた信号との位相関係を問題とすることなく単に加算合成しているため、最終的に作成された広帯域音声信号は、本来の広帯域音声信号と比べ、聴感が不自然な音声信号になることも生じていた。
【0007】
そのため、帯域拡張後において、聴感が自然な音声信号を実現できる音声帯域拡張装置が望まれている。
【課題を解決するための手段】
【0008】
かかる課題を解決するため、本発明は、原音声信号からその原音声信号が備えない帯域を有する拡張音声信号を生成する拡張音声生成手段を有する音声帯域拡張装置において、上記原音声信号及び上記拡張音声信号間のタイミングずれを検出するタイミングずれ検出手段と、検出されたタイミングずれに応じ、上記原音声信号及び又は上記拡張音声信号のタイミングを調整する調整手段と、タイミング調整後の上記原音声信号及び上記拡張音声信号を合成する合成手段とを有することを特徴とする。
【発明の効果】
【0009】
本発明の音声帯域拡張装置によれば、帯域が異なるとは言え、原音声信号及び拡張音声信号を、タイミングを合わせて合成するようにしたので、帯域拡張後において、聴感が自然な音声信号を実現することができる。
【発明を実施するための最良の形態】
【0010】
(A)第1の実施形態
以下、本発明による音声帯域拡張装置の第1の実施形態を、図面を参照しながら詳述する。
【0011】
図1は、第1の実施形態の音声帯域拡張装置100の構成を示すブロック図であり、上述した従来に係る図2との同一、対応部分には、同一符号を付して示している。
【0012】
図1において、第1の実施形態の音声帯域拡張装置100は、標本化周波数変換器11、低域信号生成器12、高域信号生成器13、無声部信号生成器14及び調整加算器20を有する。
【0013】
ここで、標本化周波数変換器11、低域信号生成器12、高域信号生成器13及び無声部信号生成器14はそれぞれ、特許文献1に記載のものと同様である。但し、帯域拡張信号Vを生成するための合成低域信号LS、合成高域信号HS、合成無声信号USの生成方法は、特許文献1に記載のものに限定されず、他の既存の方法を適用したものであっても良い。
【0014】
この第1の実施形態は、特定の時間(例えば10ms)をひとまとまりにした音声フレーム(フレーム)単位に処理を行うことを想定しているが、フレームの時間長は限定しない。また、固定的なフレームでの処理には限定せず可変長のフレームでもかまわない。
【0015】
図2における加算器15に代えて設けられた調整加算器20は、合成低域信号LS、合成高域信号HS、合成無声信号USを、周波数変換原信号Sに対してタイミングを調整して加算するものであり、タイミングを調整する点が加算器15と異なっている。
【0016】
図3は、第1の実施形態の調整加算器20の詳細構成を示すブロック図である。図3において、第1の実施形態の調整加算器20は、低域調整加算器21、高域調整加算器22及び無声部調整加算器23を有する。
【0017】
低域調整加算器21は、周波数変換原信号Sと低域信号生成器12から出力された合成低域信号LSとをタイミングを合わせて加算するものであり、高域調整加算器22は、低域調整加算器21の出力信号(低域拡張信号LV)と高域信号生成器13から出力された合成高域信号HSとをタイミングを合わせて加算するものであり、無声部調整加算器23は、高域調整加算器22の出力信号(高域拡張信号HV)と無声部信号生成器14から出力された合成無声信号USとをタイミングを合わせて加算するものである。
【0018】
図3では、低域調整加算器21、高域調整加算器22、無声部調整加算器23の順に縦続接続されているものを示したが、これら3個の調整加算器の縦続接続順序は図3のものに限定されず、任意に選定しても良い。
【0019】
低域調整加算器21、高域調整加算器22及び無声部調整加算器23は同様な構成を有している。図4は、低域調整加算器21の詳細構成を示すブロック図であるが、高域調整加算器22及び無声部調整加算器23も、同様な詳細構成を有する。
【0020】
低域調整加算器21は、2個の零交差検出器31、32、遅延検出器33、調整器34、及び加算回路35を有する。
【0021】
第1の零交差検出器31は、周波数変換原信号Sにおける零交差(0クロス)のタイミングを検出して、原零交差情報SZを遅延検出器33に出力するものである。周波数変換原信号Sの零交差を検出する零交差検出器31は、他の高域調整加算器22及び無声部調整加算器23と共用するようにしても良い。
【0022】
第2の零交差検出器32は、合成低域信号LSにおける零交差(0クロス)のタイミングを検出して、低域零交差情報LZを遅延検出器23に出力するものである。
【0023】
遅延検出器33は、原零交差情報SZ及び低域零交差情報LZから、調整器34へ合成低域信号LSの遅延情報LDを出力する。なお、合成低域信号LSは、例えば、低域信号生成器12による処理による影響などを受け、周波数変換原信号Sから位相がずれているものである。
【0024】
調整器34は、合成低域信号LSを遅延情報LDが指示する分だけ遅延させた調整低域信号LAを加算回路35へ出力するものである。
【0025】
加算回路35は、周波数変換原信号Sと調整低域信号LAとを加算し、周波数変換原信号Sに比較して低域部分を拡張させた低域拡張信号LVを出力する。
【0026】
高域調整加算器22及び無声部調整加算器23も、低域調整加算器21と同様な詳細構成を有する。高域調整加算器22は、低域調整加算器21における2種類の入力信号S、LSに代えて、信号LV、HSが入力されて高域拡張信号HVを出力するものである。また、無声部調整加算器23は、低域調整加算器21における2種類の入力信号S、LSに代えて、信号HV、USが入力されて無声部拡張信号UV(帯域拡張信号Vと同一)を出力するものである。
【0027】
以下、低域調整加算器21の動作を詳述する。低域調整加算器21においては、1音声フレームが入力されるたびに、各部が以下のように動作する。
【0028】
第1の零交差検出器31では、入力された周波数変換原信号Sが零交差する時刻とその時刻での傾きを計算し、零交差時刻及び傾きでなる零交差情報SZを遅延検出器33へ出力する。零交差の検出は、例えば、現時刻の標本値と直前の時刻の標本値との積が負数となる時刻を零交差時刻とする。また、傾きは、例えば、零交差時刻での標本値が正であれば正の傾き、負数であれば負の傾きと判断する。但し、零交差の検出、傾きの判定手法は、この手法に限定はしない。また、零交差時刻の検出精度を高めるため、零交差検出器21内部に被判定信号(ここでは周波数変換原信号S)に対し、判定前に、公知の直流成分の除去手法や雑音除去手法を適用した被検出信号を生成し、当該被検出信号に対して零交差検出することも可能である。
【0029】
第2の零交差検出器32は、第1の零交差検出器31への入力が周波数変換原信号Sの代わりに合成低域信号LSであること、出力が原零交差情報SZの代わりに低域零交差情報LZであることを除いて、第1の零交差検出器31の動作と同様であるので詳細な説明は省略する。
【0030】
遅延検出器33は、周波数変換原信号Sから求めた零交差情報SZと合成低域信号LSから求めた低域零交差情報LZを入力し、周波数変換原信号Sに対する合成低域信号LSの遅延時間を計算し、これを遅延情報LDとして調整器35に出力する。遅延時間は、例えば、原零交差情報SZ、低域零交差情報LZと共に、フレーム内で最初に検出された正の傾きを持つ零交差時刻の時間差としているが、この決定方法には限定せず、フレーム内の低域零交差情報LZから求めた零交差時刻に最も近い原零交差情報SZから求めた零交差時刻との時間差を遅延時間としても良い。但し、遅延時間は、原零交差情報SZの零交差時刻を基準時刻とすることが必要である。この第1の実施形態では、許容する遅延時間を−3msから3msまでとし、この範囲を超える遅延時間が発生する場合には、遅延時間を0msとすることとしている。なお、この規則は、設計者が要求する性能に応じて任意に設定することが可能である。遅延時間が0msとは、遅延がないとして扱うことである。
【0031】
調整器34は、遅延検出器33から低域遅延情報LDを受取り、当該低域遅延情報から遅延時間を抽出し、遅延時間分の遅延を合成低域信号LSに付与し、双方の零交差時刻が同一時刻になるように調整した信号を調整信号LAとして加算回路35に出力する。
【0032】
この際、遅延時間付与により生じたフレーム内の信号の過不足は、例えば、次のように調整する。
【0033】
遅延時間の付与により合成低域信号LSに対し調整信号LAが進む場合について、図5を用いて説明する。図5は、1フレーム内における遅延付与前の合成低域信号LS、当該信号に遅延量Dだけ遅延付与させた遅延付与信号LS1、後述する信号の不足を補う補間信号LS2、調整後の低域調整信号LAを示している。
【0034】
ここでは、遅延量Dが負の遅延を付与させていることに等しい。この場合、遅延時間付与により音声フレーム内の最新側の信号が不足する。この場合、まず当該遅延付与信号LS1の最新端での信号波形の周期LTを計算する。周期LTの計算は、例えば、公知の自己相関関数を用いても良く、周期計算方法は限定しない。この周期LTを基に、遅延付与信号LS1の最新端から最古側へ1周期分に相当する信号波形を1周期LTだけ最新側の位置に補間信号LS2として複製し、補間信号LS2のうち信号波形の不足分に対応する部分ESを遅延付与信号LS1と結合し、低域調整信号LAを生成する。
【0035】
第1の実施形態では、この周期LTを3msから6msとしている。遅延量は最大でも3msであるため、最古1周期分を確保すれば、不足分を補うことが可能である。ここで、遅延量が周期LTよりも大きくなる場合であれば、不足分を補うために確保する信号の長さを2周期分確保するなども可能であり、当該補間信号LS2の決定方法は、限定せず設計者が適宜決定して良い。
【0036】
また、補間信号LS2を確保する際に1周期LTを超える期間(例えば、最新4ms期間)の信号を用い、1周期区間を超える部分と遅延付与信号LS1とをそれぞれ重み付けし重ね合わせた結果を低域調整信号LAとしても良い。この重ね合わせの際の重みの割合は、合計で100%となり、遅延付与信号LS1が時刻経過とともに単調に補間信号LS2へと移行するような重みとすると良い。
【0037】
さらに、周期LTを計算する際に必要な信号は図示した信号以上確保しても良い。また、フレームの最古側部分に関しても、同様に直前フレームと信号を重ね合わせ重み付けするようにしても良い。
【0038】
遅延時間の付与により、調整信号LAが合成低域信号LSよりも遅れる場合(正の遅延を付与させる場合)、すなわちフレーム内の最古側の信号が不足する場合も、調整信号LAが合成低域信号LSよりも進む場合と同様に調整することができるが、過去の信号を特定時間(第1の実施形態では3ms以上)保持しておき、不足部分に、保持しておいた直前の過去の信号を補い、重ね合わせ重み付けすることも可能である。
【0039】
加算回路35では、周波数変換原信号Sと低域調整信号LAを加算し、低域拡張信号LVを生成する。この際、周波数変換原信号Sと低域調整信号LAに重み付けをして加算を行うが、その重みについては、第1の実施形態の帯域拡張手法が示す成分ごとの加算割合を適用するようにしても良い。
【0040】
高域調整加算器22及び無声部調整加算器23も、入出力信号は異なるが、低域調整加算器21と同様に動作する。
【0041】
上述した第1の実施形態によれば、零交差点位置を合わせることにより、各成分拡張信号の位相を原信号に合わせることが可能となり、成分拡張信号の位相のずれなどによる信号加算時の異音を抑制することが可能となる。その結果、出力音声信号(帯域拡張信号)の音質を向上させることができる。
【0042】
(B)第2の実施形態
次に、本発明による音声帯域拡張装置の第2の実施形態を、図面を参照しながら詳述する。
【0043】
第2の実施形態の音声帯域拡張装置も、第1の実施形態と同様に、標本化周波数変換器11、低域信号生成器12、高域信号生成器13、無声部信号生成器14及び調整加算器20を有し(図1参照)、調整加算器20が、低域調整加算器21、高域調整加算器22及び無声部調整加算器23を有する(図3参照)。
【0044】
第2の実施形態の場合、低域調整加算器21、高域調整加算器22及び無声部調整加算器23の詳細構成が第1の実施形態と異なっている。
【0045】
図6は、第2の実施形態の低域調整加算器21の詳細構成を示すブロック図であり、第1の実施形態に係る図4との同一、対応部分には同一、対応符号を付して示している。
【0046】
第2の実施形態の場合、第1の零交差検出器31からの零交差情報SZと、第2の零交差検出器32からの低域零交差情報LZとが与えられる遅延検出器133は、第1の実施形態の遅延検出器33とは異なり、低域遅延情報LDと共に原遅延情報SDを出力する。
【0047】
第2の実施形態における調整器134も、第1の実施形態と同様に、合成低域信号LSと低域遅延情報LDを入力し、低域遅延情報LDに含まれる遅延を付与した後、調整低域信号LAを出力するものである。但し、この第2の実施形態の場合、調整器134は、正方向の遅延のみに対応するものである点が、第1の実施形態の調整器34と異なっている。
【0048】
第2の実施形態で新たに設けられた調整器135は、調整器134とほぼ同様な構成であり、周波数変換原信号Sと原遅延情報SDを入力し、周波数変換原信号Sに対して、原遅延情報SDが規定する遅延を付与した原調整信号SAを出力するものである。
【0049】
第2の実施形態の場合も、高域調整加算器22及び無声部調整加算器23の詳細構成は、低域調整加算器21の詳細構成と同様である。
【0050】
以下、第2の実施形態の特徴をなす遅延検出器133、調整器134、調整器135の動作を説明する。
【0051】
遅延検出器133は、第1の実施形態の遅延検出器33と同様に、入力された原零交差情報SZと低域零交差情報LZを用いて、原零交差情報SZを基準とした遅延時間を計算する。但し、遅延検出器133が、第1の実施形態の遅延検出器33と異なるのは、計算された遅延時間が正の遅延時間ならば、低域遅延情報LDに当該遅延時間を挿入すると共に原遅延情報SDに0の遅延時間を挿入させ、一方、計算された遅延時間が負の遅延時間ならば、低域遅延情報LDに0の遅延時間を挿入させ、原遅延情報SDに当該遅延時間のの符号反転させた時間を挿入させる。
【0052】
調整器134は、第1の実施形態の調整器34と同様に、入力された低域遅延情報LDに挿入されている遅延時間分だけ合成低域信号LSに遅延を付与させる。ここで、信号を調整する処理では、正の遅延のみを反映させている点が、第1の実施形態の調整器34と異なっている。因みに、第1の実施形態では、低域遅延情報に挿入されている遅延時間は正負双方の値をとっていたため、信号の調整も正負双方向に調整できるようにしなければならなかったが、第2の実施形態では正方向の遅延のみを考慮すれば良く、負方向の遅延を対応させない分だけ処理の複雑さが低減される。
【0053】
調整器135に関しても、合成低域信号LSの代わりに周波数変換原信号S、低域遅延信号LDの代わりに原遅延情報SDを用いるが、調整器134と同様に動作し、この際、正の遅延のみを扱う。また、ここでは、正の遅延のみを扱っているが、負の遅延のみを扱うようにしても良い。
【0054】
第2の実施形態によれば、第1の実施形態と同様な効果を奏すると共に、さらに、以下の効果を奏することができる。
【0055】
調整器を2つ導入することで、遅延量の符号による判定を減らし、また、調整処理機能を絞ることで、処理の複雑さを解消し、処理量を削減することで、装置規模を小さくすることが可能である。
【0056】
(C)第3の実施形態
次に、本発明による音声帯域拡張装置の第3の実施形態を、図面を参照しながら詳述する。
【0057】
第3の実施形態の音声帯域拡張装置も、第1の実施形態と同様に、標本化周波数変換器11、低域信号生成器12、高域信号生成器13、無声部信号生成器14及び調整加算器20を有し(図1参照)、調整加算器20が、低域調整加算器21、高域調整加算器22及び無声部調整加算器23を有する(図3参照)。
【0058】
第3の実施形態の場合、低域調整加算器21、高域調整加算器22及び無声部調整加算器23の詳細構成が第1の実施形態と異なっている。
【0059】
図7は、第3の実施形態の低域調整加算器21の詳細構成を示すブロック図であり、第1の実施形態に係る図4との同一、対応部分には同一、対応符号を付して示している。
【0060】
第3の実施形態の場合、低域調整加算器21は、相関計算器41、調整器42及び加算回路35を有する。なお、高域調整加算器22及び無声部調整加算器23も、低域調整加算器21と同様に、図7に示すような構成を有している。
【0061】
相関計算器41は、第1の実施形態の零交差検出器31、32、遅延検出器33に代えて設けられたものであり、周波数変換原信号Sと低域信号生成器13によって生成された合成低域信号LSとの相関情報(低域相関情報)LCを得て調整器42へ出力するものである。
【0062】
この第3の実施形態の調整器42は、低域相関情報LCと合成低域信号LSに基づいて、タイミング調整が施された低域調整信号LAを加算回路35に出力するものである。
【0063】
以下では、より具体的に、相関計算器41及び調整器42の機能、動作を説明する。
【0064】
相関計算器41は、フレーム毎に周波数変換原信号Sと合成低域信号LSとの相互相関関数を計算し、最も相互相関の値が大きくなる遅れ量を計算する。すなわち、合成低域信号LSを遅延させたときに最も相関性が高くなる遅延時間を求める。この遅延時間を低域相関情報LCとして調整器42へ出力する。
【0065】
また、必要であれば、相互相関関数を計算するための過去の変換原信号Sと過去の合成低域信号LSとを一定時間分(例えば、過去10ms分)確保するようにしても良い。
【0066】
上述した相互相関の演算の場合では、正の遅延のみを付加させることになるが、前記相関計算器41において周波数変換原信号Sに対する遅延させた合成低域信号LSの相互相関値の極大となる遅れ量を求めると共に、当該相互相関における極大値と、合成低域信号LSに対する周波数変換原信号Sの相互相関値の極大値、及び当該極大値をとる遅れ量を求め、当該2つの極大値を比較することにより正の遅延か負の遅延を求めるようにしても良い。すなわち、前者の周波数変換原信号Sを基準とした相互相関値の極大値が後者の合成低域信号LSを基準とした相互相関値の極大値よりも大きい場合は正の遅延とし、合成低域信号LSを基準とした相互相関値の極大値が変換原信号Sを基準とした相互相関値の極大値よりも大きい場合は負の遅延であるとみなす。
【0067】
また、第3の実施形態(図7)では、第1の実施形態のように、1つの調整器で信号の調整をする例で説明しているが、第2の実施形態のように調整器を2つ配して信号を調整させるようにしても良い。
【0068】
調整器42では、合成低域信号LSと低域相関情報LCを受取り、低域相関情報LCを基に合成低域信号LSを遅延させ、低域調整信号LAを出力する。合成低域信号LSへの遅延付与の方法に関しては、第1の実施形態の調整器24の手法と同様である。
【0069】
第3の実施形態によっても、タイミング調整による効果は、第1の実施形態と同様であり、第3の実施形態によれば、さらに、以下の効果を奏することができる。
【0070】
相関計算器を導入することで、遅延量を正確な一意の値に決定することが可能であり、遅延量を求める精度も向上するため、出力される音声品質のさらなる向上が期待できる。また、第1、第2の実施形態に比較して、2つの零交差検出器、及び1つの遅延検出器を廃することができ、装置構成規模を縮小することが可能である。
【0071】
(D)第4の実施形態
次に、本発明による音声帯域拡張装置の第4の実施形態を、図面を参照しながら詳述する。
【0072】
第4の実施形態の音声帯域拡張装置は、第3の実施形態に比較すると、低域調整加算器21、高域調整加算器22及び無声部調整加算器23の内部構成が多少異なっている。
【0073】
図8は、第4の実施形態の低域調整加算器21の詳細構成を示すブロック図であり、第3の実施形態に係る図7との同一、対応部分には同一、対応符号を付して示している。なお、高域調整加算器22及び無声部調整加算器23も、低域調整加算器21と同様に、図8に示すような構成を有している。
【0074】
第4の実施形態の低域調整加算器21は、相関計算器41、調整器42及び加算回路35に加え、周期検出器43を有する。また、周期検出器43を設けたことにより、相関計算器41の機能も多少第3の実施形態のから異なっている。
【0075】
周期検出器43は、周波数変換原信号Sを受取り、当該信号の波形周期を計算し、これを周期情報Tとして相関計算器41へ出力する。当該波形周期の計算は、自己相関関数が最大となる遅れ量をその信号の波形周期として検出する。この自己相関関数の計算のために必要なデータ量を確保するために周期検出器43内部に過去の変換原信号Sを保持する機能を有している。この自己相関関数の計算時期は、直前の自己相関関数の計算時に求められた波形周期分の時間が経過した時刻で実施することが望ましい。
【0076】
相関計算器41は、第3の実施形態と同様に変換原信号Sと合成低域信号LSとの相互相関関数を計算するが、その時期は前述の周期検出器42から周期情報Tを受取った時刻で実施する。第3の実施形態では、フレームごとに1回の相互相関の計算を実施していたが、例えば音声信号などでは、フレーム内に複数個の周期が存在すること、また、波形周期が複数フレームに渡ることもあり得る。信号の調整はこうした波形周期と同期して実施することがより効果的であると言える。
【0077】
第4の実施形態では、第3の実施形態に対し、周期検出器43を適用する例を示したが、第1、第2の実施形態の各零交差検出器に対しも、周期情報を提供することにより、第1の実施形態においても周期検出器を適用することが可能である。
【0078】
第4の実施形態によれば、第3の実施形態と同様な効果に加え、周波数変換原信号Sの周期を基に信号の調整を実施することで、より自然な形での位相調整が可能であるという効果をも奏する。
【0079】
(E)第5の実施形態
次に、本発明による音声帯域拡張装置の第5の実施形態を、図面を参照しながら詳述する。
【0080】
第5の実施形態の音声帯域拡張装置も、上述した各実施形態と同様に、標本化周波数変換器11、低域信号生成器12、高域信号生成器13、無声部信号生成器14及び調整加算器20を有する(図1参照)。
【0081】
しかし、第5の実施形態の場合、調整加算器20の内部構成が上述した実施形態のものと異なっている。
【0082】
第5の実施形態の場合、調整加算器20は、図9に示すように、低域調整器51、高域調整器52、無声部調整器53及び合成加算器54を有する。
【0083】
低域調整器51は、低域信号生成器12から出力された合成低域信号LSのタイミングを周波数変換原信号Sに合わせるものであり、高域調整器52は、高域信号生成器13から出力された合成高域信号HSのタイミングを周波数変換原信号Sに合わせるものであり、無声部調整器53は、無声部信号生成器14から出力された合成無声部信号USのタイミングを周波数変換原信号Sに合わせるものであり、合成加算器54は、低域調整器51、高域調整器52、無声部調整器53からの出力信号LA、HA、UAと、周波数変換原信号Sとを重み付け合成するものである。
【0084】
低域調整器51、高域調整器52及び無声部調整器53は同様な詳細構成を有し、代表して、低域調整器51の詳細構成を図10に示している。ここで、図10において、第1の実施形態の低域調整加算器21の詳細構成を示している図3との同一、対応部分には同一符号を付して示している。
【0085】
第5の実施形態の低域調整器51は、第1の実施形態の低域調整加算器21に比較すると、加算回路35が省略された構成を有している。すなわち、タイミング調整がなされた調整器34からの低域調整信号LAを、合成加算器54に直ちに出力する構成となっており、零交差検出器31、32、遅延検出器33及び調整器34は、第1の実施形態のものと同様に機能するものである。なお、低域調整器51、高域調整器52及び無声部調整器53における零交差検出器31を共用するようにしても良い。また、ここでは零交差検出器を用いてタイミング調整を実施したが、零交差検出器の代わりに相関計算器や、周期計算器を用いて相互相関を計算することによりタイミング調整を実施しても良い。
【0086】
第5の実施形態によっても、第1の実施形態と同様な効果を奏することができる。また、第5の実施形態の構成は、低域調整器51、高域調整器52及び無声部調整器53が並列な接続であるため、タイミング調整に供する成分をユーザが選定し得るようにした場合に、実現し易いものとなっている。
【0087】
(F)他の実施形態
上記各実施形態においては、拡張成分信号が、低域成分、高域成分、無声部成分の3種類の信号のものを示したが、拡張成分信号の種類数は3種類に限定されず、これよりも多くても少なくても良い。例えば、帯域が異なる高域成分を複数種類生成するようにしても良い。
【0088】
また、上記各実施形態においては、拡張成分信号の全てに対して、原信号とのタイミング調整を行うものを示したが、拡張成分信号の一部について原信号とのタイミング調整を行うようにしても良い。さらに、タイミング調整を行う拡張成分信号を、ユーザが選択できるようにしても良く、合成比率も選択できるようにしても良い。
【0089】
上記第1、第2、第5の実施形態においては、信号のタイミングを規定するものとして零交差を用いるものを示したが、これに代え、1フレーム内のピークの最大値又は最小値を、信号のタイミングを規定するものとして処理するようにしても良い。
【0090】
上記各実施形態の説明では、ハードウェア的に実現されているイメージで説明したが、ソフトウェア的に音声帯域拡張装置を実現しても良い。また、一部の処理をアナログ信号の段階で行うようにしても良い。
【図面の簡単な説明】
【0091】
【図1】第1の実施形態の音声帯域拡張装置の構成を示すブロック図である。
【図2】従来の帯域拡張器の構成を示すブロック図である。
【図3】第1の実施形態の調整加算器の詳細構成を示すブロック図である。
【図4】第1の実施形態の低域調整加算器の詳細構成を示すブロック図である。
【図5】第1の実施形態の低域調整加算器内の調整器の処理の説明図である。
【図6】第2の実施形態の低域調整加算器の詳細構成を示すブロック図である。
【図7】第3の実施形態の低域調整加算器の詳細構成を示すブロック図である。
【図8】第4の実施形態の低域調整加算器の詳細構成を示すブロック図である。
【図9】第5の実施形態の調整加算器の詳細構成を示すブロック図である。
【図10】第5の実施形態の低域調整器の詳細構成を示すブロック図である。
【符号の説明】
【0092】
11…標本化周波数変換器、12…低域信号生成器、13…高域信号生成器、14…無声部信号生成器、20…調整加算器、21…低域調整加算器、22…高域調整加算器、23…無声部調整加算器、31、32…零交差検出器、33、133…遅延検出器、34、42、134、135…調整器、35…加算回路、41…相関計算器、43…周期検出器、51…低域調整器、52…高域調整器、53…無声部調整器、54…合成加算器、100…音声帯域拡張装置。
【技術分野】
【0001】
本発明は音声帯域拡張装置に関し、例えば、狭帯域電話機や交換機からの音声信号を広帯域化する装置に適用し得るものである。
【背景技術】
【0002】
現在、電話などの音声通信は様々なネットワークを用いて盛んに行われている。しかしながら、従来の公衆網を利用していた時代の慣習から、電話音声通信は、一般に電話帯域と呼ばれる300Hzから3.4kHzの周波数に制限されて行われている。しかし、人間の発声する音声には、300Hz以下の低域成分や、3.4kHz以上の高域成分も含まれており、また、これら低域成分及び高域成分は発話の個人性にも係わる重要な成分である。また、高齢者にとっても、これら低域成分及び高域成分の欠如は個人性の欠如だけでなく、音声の認識を低下させる一因であり、これら成分を含んだ音声での通話が望まれている。
【0003】
しかしながら、一般的な公衆網における交換機では、電話帯域を越える音声を伝送させることができない。このような点に鑑み、特許文献1には、音声帯域を拡張する帯域拡張器が提案されている。
【0004】
特許文献1に記載の帯域拡張器手法を、図2を用いて説明する。300Hzから3.4kHzに周波数が限定された狭帯域音声信号(デジタル信号)DCが帯域拡張器10に入力される。この狭帯域音声信号DCは、標本化周波数変換器11により標本化周波数が高められた変換原信号Sに変換され(例えば、8kHzから16kHz)、この変換原信号Sを用いて、低域側(300Hz以下)へ拡張した拡張信号(合成低域信号)LS、高域側(3.4〜7kHz)へ拡張した拡張信号(合成高域信号)HS、無声部分を拡張した拡張信号(合成無声信号)USをそれぞれ低域信号生成器12、高域信号生成器13、無声部信号生成器14で生成し、上述の変換原信号Sと加算器15で加算することで帯域拡張信号Vを生成している。
【0005】
この帯域拡張信号Vは、帯域制限された狭帯域音声信号DCから生成された低域成分の信号や高域成分の信号などを、伝送された信号と共に同時に提供し、これら各成分が含まれる広帯域信号と同様の臨場感ある音声として聴取することを可能にしている。
【特許文献1】特開平9−258787号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1の帯域拡張方法では、新たに生成された成分の信号が原信号と周波数成分が異なるため、新たに生成された成分の信号と、伝送されてきた信号との位相関係を問題とすることなく単に加算合成しているため、最終的に作成された広帯域音声信号は、本来の広帯域音声信号と比べ、聴感が不自然な音声信号になることも生じていた。
【0007】
そのため、帯域拡張後において、聴感が自然な音声信号を実現できる音声帯域拡張装置が望まれている。
【課題を解決するための手段】
【0008】
かかる課題を解決するため、本発明は、原音声信号からその原音声信号が備えない帯域を有する拡張音声信号を生成する拡張音声生成手段を有する音声帯域拡張装置において、上記原音声信号及び上記拡張音声信号間のタイミングずれを検出するタイミングずれ検出手段と、検出されたタイミングずれに応じ、上記原音声信号及び又は上記拡張音声信号のタイミングを調整する調整手段と、タイミング調整後の上記原音声信号及び上記拡張音声信号を合成する合成手段とを有することを特徴とする。
【発明の効果】
【0009】
本発明の音声帯域拡張装置によれば、帯域が異なるとは言え、原音声信号及び拡張音声信号を、タイミングを合わせて合成するようにしたので、帯域拡張後において、聴感が自然な音声信号を実現することができる。
【発明を実施するための最良の形態】
【0010】
(A)第1の実施形態
以下、本発明による音声帯域拡張装置の第1の実施形態を、図面を参照しながら詳述する。
【0011】
図1は、第1の実施形態の音声帯域拡張装置100の構成を示すブロック図であり、上述した従来に係る図2との同一、対応部分には、同一符号を付して示している。
【0012】
図1において、第1の実施形態の音声帯域拡張装置100は、標本化周波数変換器11、低域信号生成器12、高域信号生成器13、無声部信号生成器14及び調整加算器20を有する。
【0013】
ここで、標本化周波数変換器11、低域信号生成器12、高域信号生成器13及び無声部信号生成器14はそれぞれ、特許文献1に記載のものと同様である。但し、帯域拡張信号Vを生成するための合成低域信号LS、合成高域信号HS、合成無声信号USの生成方法は、特許文献1に記載のものに限定されず、他の既存の方法を適用したものであっても良い。
【0014】
この第1の実施形態は、特定の時間(例えば10ms)をひとまとまりにした音声フレーム(フレーム)単位に処理を行うことを想定しているが、フレームの時間長は限定しない。また、固定的なフレームでの処理には限定せず可変長のフレームでもかまわない。
【0015】
図2における加算器15に代えて設けられた調整加算器20は、合成低域信号LS、合成高域信号HS、合成無声信号USを、周波数変換原信号Sに対してタイミングを調整して加算するものであり、タイミングを調整する点が加算器15と異なっている。
【0016】
図3は、第1の実施形態の調整加算器20の詳細構成を示すブロック図である。図3において、第1の実施形態の調整加算器20は、低域調整加算器21、高域調整加算器22及び無声部調整加算器23を有する。
【0017】
低域調整加算器21は、周波数変換原信号Sと低域信号生成器12から出力された合成低域信号LSとをタイミングを合わせて加算するものであり、高域調整加算器22は、低域調整加算器21の出力信号(低域拡張信号LV)と高域信号生成器13から出力された合成高域信号HSとをタイミングを合わせて加算するものであり、無声部調整加算器23は、高域調整加算器22の出力信号(高域拡張信号HV)と無声部信号生成器14から出力された合成無声信号USとをタイミングを合わせて加算するものである。
【0018】
図3では、低域調整加算器21、高域調整加算器22、無声部調整加算器23の順に縦続接続されているものを示したが、これら3個の調整加算器の縦続接続順序は図3のものに限定されず、任意に選定しても良い。
【0019】
低域調整加算器21、高域調整加算器22及び無声部調整加算器23は同様な構成を有している。図4は、低域調整加算器21の詳細構成を示すブロック図であるが、高域調整加算器22及び無声部調整加算器23も、同様な詳細構成を有する。
【0020】
低域調整加算器21は、2個の零交差検出器31、32、遅延検出器33、調整器34、及び加算回路35を有する。
【0021】
第1の零交差検出器31は、周波数変換原信号Sにおける零交差(0クロス)のタイミングを検出して、原零交差情報SZを遅延検出器33に出力するものである。周波数変換原信号Sの零交差を検出する零交差検出器31は、他の高域調整加算器22及び無声部調整加算器23と共用するようにしても良い。
【0022】
第2の零交差検出器32は、合成低域信号LSにおける零交差(0クロス)のタイミングを検出して、低域零交差情報LZを遅延検出器23に出力するものである。
【0023】
遅延検出器33は、原零交差情報SZ及び低域零交差情報LZから、調整器34へ合成低域信号LSの遅延情報LDを出力する。なお、合成低域信号LSは、例えば、低域信号生成器12による処理による影響などを受け、周波数変換原信号Sから位相がずれているものである。
【0024】
調整器34は、合成低域信号LSを遅延情報LDが指示する分だけ遅延させた調整低域信号LAを加算回路35へ出力するものである。
【0025】
加算回路35は、周波数変換原信号Sと調整低域信号LAとを加算し、周波数変換原信号Sに比較して低域部分を拡張させた低域拡張信号LVを出力する。
【0026】
高域調整加算器22及び無声部調整加算器23も、低域調整加算器21と同様な詳細構成を有する。高域調整加算器22は、低域調整加算器21における2種類の入力信号S、LSに代えて、信号LV、HSが入力されて高域拡張信号HVを出力するものである。また、無声部調整加算器23は、低域調整加算器21における2種類の入力信号S、LSに代えて、信号HV、USが入力されて無声部拡張信号UV(帯域拡張信号Vと同一)を出力するものである。
【0027】
以下、低域調整加算器21の動作を詳述する。低域調整加算器21においては、1音声フレームが入力されるたびに、各部が以下のように動作する。
【0028】
第1の零交差検出器31では、入力された周波数変換原信号Sが零交差する時刻とその時刻での傾きを計算し、零交差時刻及び傾きでなる零交差情報SZを遅延検出器33へ出力する。零交差の検出は、例えば、現時刻の標本値と直前の時刻の標本値との積が負数となる時刻を零交差時刻とする。また、傾きは、例えば、零交差時刻での標本値が正であれば正の傾き、負数であれば負の傾きと判断する。但し、零交差の検出、傾きの判定手法は、この手法に限定はしない。また、零交差時刻の検出精度を高めるため、零交差検出器21内部に被判定信号(ここでは周波数変換原信号S)に対し、判定前に、公知の直流成分の除去手法や雑音除去手法を適用した被検出信号を生成し、当該被検出信号に対して零交差検出することも可能である。
【0029】
第2の零交差検出器32は、第1の零交差検出器31への入力が周波数変換原信号Sの代わりに合成低域信号LSであること、出力が原零交差情報SZの代わりに低域零交差情報LZであることを除いて、第1の零交差検出器31の動作と同様であるので詳細な説明は省略する。
【0030】
遅延検出器33は、周波数変換原信号Sから求めた零交差情報SZと合成低域信号LSから求めた低域零交差情報LZを入力し、周波数変換原信号Sに対する合成低域信号LSの遅延時間を計算し、これを遅延情報LDとして調整器35に出力する。遅延時間は、例えば、原零交差情報SZ、低域零交差情報LZと共に、フレーム内で最初に検出された正の傾きを持つ零交差時刻の時間差としているが、この決定方法には限定せず、フレーム内の低域零交差情報LZから求めた零交差時刻に最も近い原零交差情報SZから求めた零交差時刻との時間差を遅延時間としても良い。但し、遅延時間は、原零交差情報SZの零交差時刻を基準時刻とすることが必要である。この第1の実施形態では、許容する遅延時間を−3msから3msまでとし、この範囲を超える遅延時間が発生する場合には、遅延時間を0msとすることとしている。なお、この規則は、設計者が要求する性能に応じて任意に設定することが可能である。遅延時間が0msとは、遅延がないとして扱うことである。
【0031】
調整器34は、遅延検出器33から低域遅延情報LDを受取り、当該低域遅延情報から遅延時間を抽出し、遅延時間分の遅延を合成低域信号LSに付与し、双方の零交差時刻が同一時刻になるように調整した信号を調整信号LAとして加算回路35に出力する。
【0032】
この際、遅延時間付与により生じたフレーム内の信号の過不足は、例えば、次のように調整する。
【0033】
遅延時間の付与により合成低域信号LSに対し調整信号LAが進む場合について、図5を用いて説明する。図5は、1フレーム内における遅延付与前の合成低域信号LS、当該信号に遅延量Dだけ遅延付与させた遅延付与信号LS1、後述する信号の不足を補う補間信号LS2、調整後の低域調整信号LAを示している。
【0034】
ここでは、遅延量Dが負の遅延を付与させていることに等しい。この場合、遅延時間付与により音声フレーム内の最新側の信号が不足する。この場合、まず当該遅延付与信号LS1の最新端での信号波形の周期LTを計算する。周期LTの計算は、例えば、公知の自己相関関数を用いても良く、周期計算方法は限定しない。この周期LTを基に、遅延付与信号LS1の最新端から最古側へ1周期分に相当する信号波形を1周期LTだけ最新側の位置に補間信号LS2として複製し、補間信号LS2のうち信号波形の不足分に対応する部分ESを遅延付与信号LS1と結合し、低域調整信号LAを生成する。
【0035】
第1の実施形態では、この周期LTを3msから6msとしている。遅延量は最大でも3msであるため、最古1周期分を確保すれば、不足分を補うことが可能である。ここで、遅延量が周期LTよりも大きくなる場合であれば、不足分を補うために確保する信号の長さを2周期分確保するなども可能であり、当該補間信号LS2の決定方法は、限定せず設計者が適宜決定して良い。
【0036】
また、補間信号LS2を確保する際に1周期LTを超える期間(例えば、最新4ms期間)の信号を用い、1周期区間を超える部分と遅延付与信号LS1とをそれぞれ重み付けし重ね合わせた結果を低域調整信号LAとしても良い。この重ね合わせの際の重みの割合は、合計で100%となり、遅延付与信号LS1が時刻経過とともに単調に補間信号LS2へと移行するような重みとすると良い。
【0037】
さらに、周期LTを計算する際に必要な信号は図示した信号以上確保しても良い。また、フレームの最古側部分に関しても、同様に直前フレームと信号を重ね合わせ重み付けするようにしても良い。
【0038】
遅延時間の付与により、調整信号LAが合成低域信号LSよりも遅れる場合(正の遅延を付与させる場合)、すなわちフレーム内の最古側の信号が不足する場合も、調整信号LAが合成低域信号LSよりも進む場合と同様に調整することができるが、過去の信号を特定時間(第1の実施形態では3ms以上)保持しておき、不足部分に、保持しておいた直前の過去の信号を補い、重ね合わせ重み付けすることも可能である。
【0039】
加算回路35では、周波数変換原信号Sと低域調整信号LAを加算し、低域拡張信号LVを生成する。この際、周波数変換原信号Sと低域調整信号LAに重み付けをして加算を行うが、その重みについては、第1の実施形態の帯域拡張手法が示す成分ごとの加算割合を適用するようにしても良い。
【0040】
高域調整加算器22及び無声部調整加算器23も、入出力信号は異なるが、低域調整加算器21と同様に動作する。
【0041】
上述した第1の実施形態によれば、零交差点位置を合わせることにより、各成分拡張信号の位相を原信号に合わせることが可能となり、成分拡張信号の位相のずれなどによる信号加算時の異音を抑制することが可能となる。その結果、出力音声信号(帯域拡張信号)の音質を向上させることができる。
【0042】
(B)第2の実施形態
次に、本発明による音声帯域拡張装置の第2の実施形態を、図面を参照しながら詳述する。
【0043】
第2の実施形態の音声帯域拡張装置も、第1の実施形態と同様に、標本化周波数変換器11、低域信号生成器12、高域信号生成器13、無声部信号生成器14及び調整加算器20を有し(図1参照)、調整加算器20が、低域調整加算器21、高域調整加算器22及び無声部調整加算器23を有する(図3参照)。
【0044】
第2の実施形態の場合、低域調整加算器21、高域調整加算器22及び無声部調整加算器23の詳細構成が第1の実施形態と異なっている。
【0045】
図6は、第2の実施形態の低域調整加算器21の詳細構成を示すブロック図であり、第1の実施形態に係る図4との同一、対応部分には同一、対応符号を付して示している。
【0046】
第2の実施形態の場合、第1の零交差検出器31からの零交差情報SZと、第2の零交差検出器32からの低域零交差情報LZとが与えられる遅延検出器133は、第1の実施形態の遅延検出器33とは異なり、低域遅延情報LDと共に原遅延情報SDを出力する。
【0047】
第2の実施形態における調整器134も、第1の実施形態と同様に、合成低域信号LSと低域遅延情報LDを入力し、低域遅延情報LDに含まれる遅延を付与した後、調整低域信号LAを出力するものである。但し、この第2の実施形態の場合、調整器134は、正方向の遅延のみに対応するものである点が、第1の実施形態の調整器34と異なっている。
【0048】
第2の実施形態で新たに設けられた調整器135は、調整器134とほぼ同様な構成であり、周波数変換原信号Sと原遅延情報SDを入力し、周波数変換原信号Sに対して、原遅延情報SDが規定する遅延を付与した原調整信号SAを出力するものである。
【0049】
第2の実施形態の場合も、高域調整加算器22及び無声部調整加算器23の詳細構成は、低域調整加算器21の詳細構成と同様である。
【0050】
以下、第2の実施形態の特徴をなす遅延検出器133、調整器134、調整器135の動作を説明する。
【0051】
遅延検出器133は、第1の実施形態の遅延検出器33と同様に、入力された原零交差情報SZと低域零交差情報LZを用いて、原零交差情報SZを基準とした遅延時間を計算する。但し、遅延検出器133が、第1の実施形態の遅延検出器33と異なるのは、計算された遅延時間が正の遅延時間ならば、低域遅延情報LDに当該遅延時間を挿入すると共に原遅延情報SDに0の遅延時間を挿入させ、一方、計算された遅延時間が負の遅延時間ならば、低域遅延情報LDに0の遅延時間を挿入させ、原遅延情報SDに当該遅延時間のの符号反転させた時間を挿入させる。
【0052】
調整器134は、第1の実施形態の調整器34と同様に、入力された低域遅延情報LDに挿入されている遅延時間分だけ合成低域信号LSに遅延を付与させる。ここで、信号を調整する処理では、正の遅延のみを反映させている点が、第1の実施形態の調整器34と異なっている。因みに、第1の実施形態では、低域遅延情報に挿入されている遅延時間は正負双方の値をとっていたため、信号の調整も正負双方向に調整できるようにしなければならなかったが、第2の実施形態では正方向の遅延のみを考慮すれば良く、負方向の遅延を対応させない分だけ処理の複雑さが低減される。
【0053】
調整器135に関しても、合成低域信号LSの代わりに周波数変換原信号S、低域遅延信号LDの代わりに原遅延情報SDを用いるが、調整器134と同様に動作し、この際、正の遅延のみを扱う。また、ここでは、正の遅延のみを扱っているが、負の遅延のみを扱うようにしても良い。
【0054】
第2の実施形態によれば、第1の実施形態と同様な効果を奏すると共に、さらに、以下の効果を奏することができる。
【0055】
調整器を2つ導入することで、遅延量の符号による判定を減らし、また、調整処理機能を絞ることで、処理の複雑さを解消し、処理量を削減することで、装置規模を小さくすることが可能である。
【0056】
(C)第3の実施形態
次に、本発明による音声帯域拡張装置の第3の実施形態を、図面を参照しながら詳述する。
【0057】
第3の実施形態の音声帯域拡張装置も、第1の実施形態と同様に、標本化周波数変換器11、低域信号生成器12、高域信号生成器13、無声部信号生成器14及び調整加算器20を有し(図1参照)、調整加算器20が、低域調整加算器21、高域調整加算器22及び無声部調整加算器23を有する(図3参照)。
【0058】
第3の実施形態の場合、低域調整加算器21、高域調整加算器22及び無声部調整加算器23の詳細構成が第1の実施形態と異なっている。
【0059】
図7は、第3の実施形態の低域調整加算器21の詳細構成を示すブロック図であり、第1の実施形態に係る図4との同一、対応部分には同一、対応符号を付して示している。
【0060】
第3の実施形態の場合、低域調整加算器21は、相関計算器41、調整器42及び加算回路35を有する。なお、高域調整加算器22及び無声部調整加算器23も、低域調整加算器21と同様に、図7に示すような構成を有している。
【0061】
相関計算器41は、第1の実施形態の零交差検出器31、32、遅延検出器33に代えて設けられたものであり、周波数変換原信号Sと低域信号生成器13によって生成された合成低域信号LSとの相関情報(低域相関情報)LCを得て調整器42へ出力するものである。
【0062】
この第3の実施形態の調整器42は、低域相関情報LCと合成低域信号LSに基づいて、タイミング調整が施された低域調整信号LAを加算回路35に出力するものである。
【0063】
以下では、より具体的に、相関計算器41及び調整器42の機能、動作を説明する。
【0064】
相関計算器41は、フレーム毎に周波数変換原信号Sと合成低域信号LSとの相互相関関数を計算し、最も相互相関の値が大きくなる遅れ量を計算する。すなわち、合成低域信号LSを遅延させたときに最も相関性が高くなる遅延時間を求める。この遅延時間を低域相関情報LCとして調整器42へ出力する。
【0065】
また、必要であれば、相互相関関数を計算するための過去の変換原信号Sと過去の合成低域信号LSとを一定時間分(例えば、過去10ms分)確保するようにしても良い。
【0066】
上述した相互相関の演算の場合では、正の遅延のみを付加させることになるが、前記相関計算器41において周波数変換原信号Sに対する遅延させた合成低域信号LSの相互相関値の極大となる遅れ量を求めると共に、当該相互相関における極大値と、合成低域信号LSに対する周波数変換原信号Sの相互相関値の極大値、及び当該極大値をとる遅れ量を求め、当該2つの極大値を比較することにより正の遅延か負の遅延を求めるようにしても良い。すなわち、前者の周波数変換原信号Sを基準とした相互相関値の極大値が後者の合成低域信号LSを基準とした相互相関値の極大値よりも大きい場合は正の遅延とし、合成低域信号LSを基準とした相互相関値の極大値が変換原信号Sを基準とした相互相関値の極大値よりも大きい場合は負の遅延であるとみなす。
【0067】
また、第3の実施形態(図7)では、第1の実施形態のように、1つの調整器で信号の調整をする例で説明しているが、第2の実施形態のように調整器を2つ配して信号を調整させるようにしても良い。
【0068】
調整器42では、合成低域信号LSと低域相関情報LCを受取り、低域相関情報LCを基に合成低域信号LSを遅延させ、低域調整信号LAを出力する。合成低域信号LSへの遅延付与の方法に関しては、第1の実施形態の調整器24の手法と同様である。
【0069】
第3の実施形態によっても、タイミング調整による効果は、第1の実施形態と同様であり、第3の実施形態によれば、さらに、以下の効果を奏することができる。
【0070】
相関計算器を導入することで、遅延量を正確な一意の値に決定することが可能であり、遅延量を求める精度も向上するため、出力される音声品質のさらなる向上が期待できる。また、第1、第2の実施形態に比較して、2つの零交差検出器、及び1つの遅延検出器を廃することができ、装置構成規模を縮小することが可能である。
【0071】
(D)第4の実施形態
次に、本発明による音声帯域拡張装置の第4の実施形態を、図面を参照しながら詳述する。
【0072】
第4の実施形態の音声帯域拡張装置は、第3の実施形態に比較すると、低域調整加算器21、高域調整加算器22及び無声部調整加算器23の内部構成が多少異なっている。
【0073】
図8は、第4の実施形態の低域調整加算器21の詳細構成を示すブロック図であり、第3の実施形態に係る図7との同一、対応部分には同一、対応符号を付して示している。なお、高域調整加算器22及び無声部調整加算器23も、低域調整加算器21と同様に、図8に示すような構成を有している。
【0074】
第4の実施形態の低域調整加算器21は、相関計算器41、調整器42及び加算回路35に加え、周期検出器43を有する。また、周期検出器43を設けたことにより、相関計算器41の機能も多少第3の実施形態のから異なっている。
【0075】
周期検出器43は、周波数変換原信号Sを受取り、当該信号の波形周期を計算し、これを周期情報Tとして相関計算器41へ出力する。当該波形周期の計算は、自己相関関数が最大となる遅れ量をその信号の波形周期として検出する。この自己相関関数の計算のために必要なデータ量を確保するために周期検出器43内部に過去の変換原信号Sを保持する機能を有している。この自己相関関数の計算時期は、直前の自己相関関数の計算時に求められた波形周期分の時間が経過した時刻で実施することが望ましい。
【0076】
相関計算器41は、第3の実施形態と同様に変換原信号Sと合成低域信号LSとの相互相関関数を計算するが、その時期は前述の周期検出器42から周期情報Tを受取った時刻で実施する。第3の実施形態では、フレームごとに1回の相互相関の計算を実施していたが、例えば音声信号などでは、フレーム内に複数個の周期が存在すること、また、波形周期が複数フレームに渡ることもあり得る。信号の調整はこうした波形周期と同期して実施することがより効果的であると言える。
【0077】
第4の実施形態では、第3の実施形態に対し、周期検出器43を適用する例を示したが、第1、第2の実施形態の各零交差検出器に対しも、周期情報を提供することにより、第1の実施形態においても周期検出器を適用することが可能である。
【0078】
第4の実施形態によれば、第3の実施形態と同様な効果に加え、周波数変換原信号Sの周期を基に信号の調整を実施することで、より自然な形での位相調整が可能であるという効果をも奏する。
【0079】
(E)第5の実施形態
次に、本発明による音声帯域拡張装置の第5の実施形態を、図面を参照しながら詳述する。
【0080】
第5の実施形態の音声帯域拡張装置も、上述した各実施形態と同様に、標本化周波数変換器11、低域信号生成器12、高域信号生成器13、無声部信号生成器14及び調整加算器20を有する(図1参照)。
【0081】
しかし、第5の実施形態の場合、調整加算器20の内部構成が上述した実施形態のものと異なっている。
【0082】
第5の実施形態の場合、調整加算器20は、図9に示すように、低域調整器51、高域調整器52、無声部調整器53及び合成加算器54を有する。
【0083】
低域調整器51は、低域信号生成器12から出力された合成低域信号LSのタイミングを周波数変換原信号Sに合わせるものであり、高域調整器52は、高域信号生成器13から出力された合成高域信号HSのタイミングを周波数変換原信号Sに合わせるものであり、無声部調整器53は、無声部信号生成器14から出力された合成無声部信号USのタイミングを周波数変換原信号Sに合わせるものであり、合成加算器54は、低域調整器51、高域調整器52、無声部調整器53からの出力信号LA、HA、UAと、周波数変換原信号Sとを重み付け合成するものである。
【0084】
低域調整器51、高域調整器52及び無声部調整器53は同様な詳細構成を有し、代表して、低域調整器51の詳細構成を図10に示している。ここで、図10において、第1の実施形態の低域調整加算器21の詳細構成を示している図3との同一、対応部分には同一符号を付して示している。
【0085】
第5の実施形態の低域調整器51は、第1の実施形態の低域調整加算器21に比較すると、加算回路35が省略された構成を有している。すなわち、タイミング調整がなされた調整器34からの低域調整信号LAを、合成加算器54に直ちに出力する構成となっており、零交差検出器31、32、遅延検出器33及び調整器34は、第1の実施形態のものと同様に機能するものである。なお、低域調整器51、高域調整器52及び無声部調整器53における零交差検出器31を共用するようにしても良い。また、ここでは零交差検出器を用いてタイミング調整を実施したが、零交差検出器の代わりに相関計算器や、周期計算器を用いて相互相関を計算することによりタイミング調整を実施しても良い。
【0086】
第5の実施形態によっても、第1の実施形態と同様な効果を奏することができる。また、第5の実施形態の構成は、低域調整器51、高域調整器52及び無声部調整器53が並列な接続であるため、タイミング調整に供する成分をユーザが選定し得るようにした場合に、実現し易いものとなっている。
【0087】
(F)他の実施形態
上記各実施形態においては、拡張成分信号が、低域成分、高域成分、無声部成分の3種類の信号のものを示したが、拡張成分信号の種類数は3種類に限定されず、これよりも多くても少なくても良い。例えば、帯域が異なる高域成分を複数種類生成するようにしても良い。
【0088】
また、上記各実施形態においては、拡張成分信号の全てに対して、原信号とのタイミング調整を行うものを示したが、拡張成分信号の一部について原信号とのタイミング調整を行うようにしても良い。さらに、タイミング調整を行う拡張成分信号を、ユーザが選択できるようにしても良く、合成比率も選択できるようにしても良い。
【0089】
上記第1、第2、第5の実施形態においては、信号のタイミングを規定するものとして零交差を用いるものを示したが、これに代え、1フレーム内のピークの最大値又は最小値を、信号のタイミングを規定するものとして処理するようにしても良い。
【0090】
上記各実施形態の説明では、ハードウェア的に実現されているイメージで説明したが、ソフトウェア的に音声帯域拡張装置を実現しても良い。また、一部の処理をアナログ信号の段階で行うようにしても良い。
【図面の簡単な説明】
【0091】
【図1】第1の実施形態の音声帯域拡張装置の構成を示すブロック図である。
【図2】従来の帯域拡張器の構成を示すブロック図である。
【図3】第1の実施形態の調整加算器の詳細構成を示すブロック図である。
【図4】第1の実施形態の低域調整加算器の詳細構成を示すブロック図である。
【図5】第1の実施形態の低域調整加算器内の調整器の処理の説明図である。
【図6】第2の実施形態の低域調整加算器の詳細構成を示すブロック図である。
【図7】第3の実施形態の低域調整加算器の詳細構成を示すブロック図である。
【図8】第4の実施形態の低域調整加算器の詳細構成を示すブロック図である。
【図9】第5の実施形態の調整加算器の詳細構成を示すブロック図である。
【図10】第5の実施形態の低域調整器の詳細構成を示すブロック図である。
【符号の説明】
【0092】
11…標本化周波数変換器、12…低域信号生成器、13…高域信号生成器、14…無声部信号生成器、20…調整加算器、21…低域調整加算器、22…高域調整加算器、23…無声部調整加算器、31、32…零交差検出器、33、133…遅延検出器、34、42、134、135…調整器、35…加算回路、41…相関計算器、43…周期検出器、51…低域調整器、52…高域調整器、53…無声部調整器、54…合成加算器、100…音声帯域拡張装置。
【特許請求の範囲】
【請求項1】
原音声信号からその原音声信号が備えない帯域を有する拡張音声信号を生成する拡張音声生成手段を有する音声帯域拡張装置において、
上記原音声信号及び上記拡張音声信号間のタイミングずれを検出するタイミングずれ検出手段と、
検出されたタイミングずれに応じ、上記原音声信号及び又は上記拡張音声信号のタイミングを調整する調整手段と、
タイミング調整後の上記原音声信号及び上記拡張音声信号を合成する合成手段と
を有することを特徴とする音声帯域拡張装置。
【請求項2】
上記タイミングずれ検出手段は、
上記原音声信号の零交差情報を得る第1の零交差検出器と、
上記拡張音声信号の零交差情報を得る第2の零交差検出器と、
上記原音声信号の零交差情報と上記拡張音声信号の零交差情報とから、上記原音声信号及び上記拡張音声信号間のタイミングずれを検出するタイミングずれ検出器と
を有することを特徴とする請求項1に記載の音声帯域拡張装置。
【請求項3】
上記タイミングずれ検出手段は、上記原音声信号及び上記拡張音声信号間の相互相関に基づいて、上記原音声信号及び上記拡張音声信号間のタイミングずれを検出する相関計算器を有することを特徴とする請求項1に記載の音声帯域拡張装置。
【請求項4】
上記原音声信号の周期性情報を得る周期検出器を有し、上記タイミングずれ検出手段は、上記原音声信号の周期に基づき、上記拡張音声信号での対応タイミングの範囲を制限することを特徴とする請求項1〜3のいずれかに記載の音声帯域拡張装置。
【請求項5】
上記拡張音声信号として第1〜第Nの拡張音声信号がある場合において、
第1〜第Nの拡張音声信号毎に、上記タイミングずれ検出手段と、上記調整手段と、上記合成手段とを有すると共に、
上記第n+1(nは1〜N−1)の拡張音声信号用の上記タイミングずれ検出手段、上記調整手段及び上記合成手段は、上記原音声信号に代えて、上記第nの拡張音声信号用の上記合成手段からの出力信号を処理する
ことを特徴とする請求項1〜4のいずれかに記載の音声帯域拡張装置。
【請求項6】
上記拡張音声信号として第1〜第Nの拡張音声信号がある場合において、
上記タイミングずれ検出手段と上記調整手段とを、第1〜第Nの拡張音声信号のそれぞれに設けると共に、上記合成手段を共用させた
ことを特徴とする請求項1〜4のいずれかに記載の音声帯域拡張装置。
【請求項1】
原音声信号からその原音声信号が備えない帯域を有する拡張音声信号を生成する拡張音声生成手段を有する音声帯域拡張装置において、
上記原音声信号及び上記拡張音声信号間のタイミングずれを検出するタイミングずれ検出手段と、
検出されたタイミングずれに応じ、上記原音声信号及び又は上記拡張音声信号のタイミングを調整する調整手段と、
タイミング調整後の上記原音声信号及び上記拡張音声信号を合成する合成手段と
を有することを特徴とする音声帯域拡張装置。
【請求項2】
上記タイミングずれ検出手段は、
上記原音声信号の零交差情報を得る第1の零交差検出器と、
上記拡張音声信号の零交差情報を得る第2の零交差検出器と、
上記原音声信号の零交差情報と上記拡張音声信号の零交差情報とから、上記原音声信号及び上記拡張音声信号間のタイミングずれを検出するタイミングずれ検出器と
を有することを特徴とする請求項1に記載の音声帯域拡張装置。
【請求項3】
上記タイミングずれ検出手段は、上記原音声信号及び上記拡張音声信号間の相互相関に基づいて、上記原音声信号及び上記拡張音声信号間のタイミングずれを検出する相関計算器を有することを特徴とする請求項1に記載の音声帯域拡張装置。
【請求項4】
上記原音声信号の周期性情報を得る周期検出器を有し、上記タイミングずれ検出手段は、上記原音声信号の周期に基づき、上記拡張音声信号での対応タイミングの範囲を制限することを特徴とする請求項1〜3のいずれかに記載の音声帯域拡張装置。
【請求項5】
上記拡張音声信号として第1〜第Nの拡張音声信号がある場合において、
第1〜第Nの拡張音声信号毎に、上記タイミングずれ検出手段と、上記調整手段と、上記合成手段とを有すると共に、
上記第n+1(nは1〜N−1)の拡張音声信号用の上記タイミングずれ検出手段、上記調整手段及び上記合成手段は、上記原音声信号に代えて、上記第nの拡張音声信号用の上記合成手段からの出力信号を処理する
ことを特徴とする請求項1〜4のいずれかに記載の音声帯域拡張装置。
【請求項6】
上記拡張音声信号として第1〜第Nの拡張音声信号がある場合において、
上記タイミングずれ検出手段と上記調整手段とを、第1〜第Nの拡張音声信号のそれぞれに設けると共に、上記合成手段を共用させた
ことを特徴とする請求項1〜4のいずれかに記載の音声帯域拡張装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2006−234967(P2006−234967A)
【公開日】平成18年9月7日(2006.9.7)
【国際特許分類】
【出願番号】特願2005−45995(P2005−45995)
【出願日】平成17年2月22日(2005.2.22)
【出願人】(000000295)沖電気工業株式会社 (6,645)
【公開日】平成18年9月7日(2006.9.7)
【国際特許分類】
【出願日】平成17年2月22日(2005.2.22)
【出願人】(000000295)沖電気工業株式会社 (6,645)
[ Back to top ]