アクセント句マッチング事前選択を用いた日本語音声合成方法及びシステム
【課題】日本語の韻律特性を用いることにより、日本語音声合成に有用な音声合成方法及びシステムを提供する。
【解決手段】入力された文章の音素に対する発音及びアクセント情報を含む記号に変換する。その記号のアクセント情報を用いて上記入力された文章のアクセント句を区分する。区分されたアクセント句を基準に音声データベース(DB)に予め保存された文章を比較して類似する文章を事前選択する。そして、事前選択された文章のみを用いて音声合成する。
【解決手段】入力された文章の音素に対する発音及びアクセント情報を含む記号に変換する。その記号のアクセント情報を用いて上記入力された文章のアクセント句を区分する。区分されたアクセント句を基準に音声データベース(DB)に予め保存された文章を比較して類似する文章を事前選択する。そして、事前選択された文章のみを用いて音声合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成方法及び音声合成システムに関し、より具体的には、合成単位選択過程で比較すべき候補の数を事前選択(pre−selection)する音声合成方法及びシステムに関する。
【背景技術】
【０００２】
これまで入力されたテキストを音声に合成(TTS：Text To Speech)する様々な音声合成方法及びシステムが提案され使用されてきた。その中でも、コーパス基盤の音声合成方法は、音声を合成単位形態で構成したデータベース(DB)から合成に必要な単位を選択し、これらを適切に連結して合成音を生成することで、高音質の合成音を生成することができる。
【０００３】
このようなコーパス基盤の音声合成システムに関する基本システム構成図が図１に図示されている。図１を参考に一般的な音声合成方法を見てみると、文章が入力されると、言語学的処理部１２０のテキスト前処理モジュール１２１が数字/略語/記号辞典１６１を用いて文章に含まれた数字、記号等をテキストに変換し、文章分析モジュール１２２が品詞辞典１６２を用いて文章を分析し、発音表記変換モジュール１２３が発音辞典１６３を用いて発音表記に変換する。
【０００４】
上記言語学的処理部で入力文章の前処理が行われると、韻律処理部１３０は、言語学的処理部から抽出された情報を用いて抑揚、持続時間等の韻律情報を生成する。
【０００５】
また、音声信号処理部１４０の合成単位選択モジュール１４１は、言語学的処理部から生成された情報を用いて、音声DB１６４から最適の合成単位を選択し、韻律調節モジュール１４２で、韻律処理部１３０で発生させた韻律情報を用いて韻律を調節した後、音声波形生成モジュール１４３で、韻律が調節された合成単位を連結して合成音を作り、音声出力部１５０を通じて合成音を出力する。このとき、付加的に音色制御モジュール１４４を通じて音色を調節することもできる。
【０００６】
上述のような構造の一般的なコーパス基盤の音声合成システムは、動的プログラミング探索技法であるViterbiアルゴリズムを用いて最適の合成単位を選択し、その性能が良いため、現在多く使用されている（例えば特許文献１）。
【特許文献１】特開平１０−４９１９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、より良い音質を得るためには、音声信号処理部１４０で使用する音声DB１６４に多様な音韻変化及び発音規則が含まれるよう構成しなければならないが、データベースに多様な発音の組合せを含めれば含めるほど、音質は良くなる反面、データベースに保存された資料の量が非常に大きくなり、最適の合成単位を選択するための合成単位検索時間、及び計算量が急激に増加するので、リアルタイム音声合成が不可能となる問題点が発生する。
【０００８】
このため、本発明者らは、言語に存在する抑揚発話特性、特に、日本語に存在する抑揚発話特性を把握し、これを用いて音声合成過程で比較すべき候補の数を効果的に減らす反面、最適の候補が除外されないようにし、迅速で優れた音質の音声合成ができる事前選択方法及びこれを用いたシステムを開発することに至ったのである。
【０００９】
本発明の目的は、日本語の韻律特性を用いることにより、日本語音声合成に有用な音声合成方法及びシステムを提供するためのものである。
【００１０】
本発明の別の目的は、最適の合成単位を選択する前に、合成単位選択で比較すべき候補を事前選択することにより、迅速な音声合成が可能な音声合成方法及びシステムを提供するためのものである。
【００１１】
本発明のまた別の目的は、アクセント句単位で事前選択を行う効率的で高音質の音声合成の可能な音声合成方法及びシステムを提供するためのものである。
【００１２】
本発明のまた別の目的は、連結された音素列の最大長を基準に候補の類似度を判断することにより、最適の候補が除外されることは防止できる音声合成方法及びシステムを提供するためのものである。
【００１３】
本発明のまた別の目的は、音声合成のために文章を構成する音素の発音情報のみならず、アクセント情報を共に示すことができる発音記号表示方法を提供するためのものである。
【００１４】
本発明のまた別の目的は、文章のアクセント情報から単語と単語の間の韻律情報である休止期情報を把握することができる方法を提供するためのものである。
【００１５】
本発明のまた別の目的は、文章の休止期情報を通じてアクセント句を区分することができる方法を提供するためのものである。
【００１６】
本発明のまた別の目的は、最適の候補を選択するためのアクセント句マッチング方法を提供するためのものである。
【００１７】
本発明の上記及びその他の目的は、下記に説明される本発明により全て達成することができる。
【課題を解決するための手段】
【００１８】
本発明による音声合成方法は、入力された文章の音素に対する発音及びアクセント情報を含む記号に変換し、上記記号のアクセント情報を用いて、上記入力された文章のアクセント句を区分し、上記区分されたアクセント句を基準に音声データベース(DB)に予め保存された文章を比較して類似する文章を事前選択し、そして、上記事前選択された文章のみを用いて音声合成することを特徴とする。
【００１９】
また、上記と音声合成のために入力された文章をアクセント情報が含まれた発音記号で示し、この記号が示すアクセント情報から文章を構成する単語と単語の間の休止期情報を把握し、把握された休止期情報から、アクセント境界を把握することを特徴とする。
【００２０】
更に、把握されたアクセント句情報を用いたアクセント句マッチング方法において一致する音素列の最大長を示すCCL値を用いることにより、最適の候補が事前選択過程から除外されることを防止することを特徴とする。
【発明の効果】
【００２１】
本発明は、音声合成のために文章を構成する音素の発音情報のみならず、アクセント情報を共に示すことができる発音記号表示方法、文章のアクセント情報から単語と単語の間の韻律情報である休止期情報を把握することができる方法、文章の休止期情報を通じてアクセント句を区分することができる方法、最適の候補を選択するためのアクセント句マッチング方法を提供することができ、上記のような方法を用いて最適の合成単位を選択する前に、合成単位選択で比較すべき候補を事前選択することにより、迅速な音声合成が可能であり、アクセント句単位で事前選択を行う効率的で高音質の音声合成が可能であり、連結された音素列の最大長を基準に類似度を判断することにより、最適の候補が除外されることは防止でき、日本語の韻律特性を用いることにより、日本語音声合成に有用な音声合成方法及びシステムを提供する効果を有する。
【発明を実施するための最良の形態】
【００２２】
一般的に抑揚は、文章をその単位とする抑揚句(Intonational Phrase:IP)単位で変化するため、抑揚句全体を比較して全ての音素列が一致する候補が存在する場合、これらのみを候補として合成単位選択を行えば、音声合成のための計算量を減らすことができるのみならず、合成される音声単位が全て連結されているので、音質も録音音質と同様に優れる。
【００２３】
即ち、例えば「アンニョンハセヨ」という文章を音声合成するとき、「アンニョンハセヨ」という音声がデータベースに存在すれば、これのみを候補に選択し、この音声を構成する合成単位をそのまま持ってきて合成音を生成するのである。韓国語のように、抑揚が主に抑揚句(IP)単位で変化する言語の場合、抑揚句単位で合成単位を探索するよう具現することにより、音声合成に必要な候補の数を減らすと共に、合成音質も向上させることができる。しかし、抑揚句は、一つの文章のように比較的長い長さを有する大きな韻律単位であるので、抑揚句全体が一致する候補が存在する確率は低い。
【００２４】
その反面、日本語の場合、図２に図示されたように、抑揚句より小さいアクセント句単位で抑揚が大きく変化する特徴がある。従って、日本語の場合、抑揚句より小さい単位であるアクセント句(Accentual Phrase:AP)単位で候補を比較することにより、一致する候補を見付ける確率を高めると共に、アクセント句が一致する候補のみで合成単位選択を行い、抑揚句全体が一致する場合と同様に、優れた音質の合成音を得ることができる。
【００２５】
図３に本発明による音声合成システムのシステム構成図が図示されている。先ず、文章入力部２１０を通じて日本語の文章が入力されると、言語学的処理部２２０のテキスト前処理モジュール２２１が、数字/略語/記号辞典２６１を用いて、文章に含まれた数字、記号等をテキストに変換する。即ち、文章に「１」、「２」等の数字が含まれている場合、数字「１」と「２」に対応する日本語テキスト「一」、「二」でテキスト処理される。
【００２６】
テキスト処理された文章は、文章分析モジュール２２２が品詞辞典２６２を用いて文章を分析し、表記変換モジュール２２３が、発音/アクセント辞典２６３を用いて、アクセント情報が含まれた発音記号で文章の表記を変換する。
【００２７】
言語学的処理部２２０で入力文章の前処理が行われると、韻律処理部２３０は、言語学的処理部から抽出された情報を用いて、抑揚、持続時間等の韻律情報を生成し、事前選択処理部２４０の分析/計算モジュール２４１では、言語学的処理部から抽出された情報を用いて抑揚句(IP)及びアクセント句(AP)を分析し、連結された音素列の最大長(Connected Context Length:CCL)を計算し、事前選択モジュール２４２では、分析/計算モジュールで分析された情報を基に、抑揚句及び/又はアクセント句が一致するかどうかを比較するアクセント句マッチング(Accentual Phrase Matching)技法を通じて、音声合成に用いられる候補を事前選択する。
【００２８】
事前選択処理部２４０で音声合成に使用される候補が事前選択されると、従来と同一の方法で、音声信号処理部２５０において、合成単位選択モジュール２５１が事前選択された候補を用いて最適の合成単位を見付け、韻律調節モジュール２５２が韻律処理部２３０から生成された韻律情報を用いて韻律を調節した後、音声波形生成モジュール２５３で韻律調節された最適の合成単位を連結して合成音を作り、音声出力部２６０を通じて合成音を出力するようになる。このとき、付加的に音色制御モジュール２５４を通じて音色を調節することもできる。
【００２９】
上述のように本発明による音声合成システムでは、最適の合成単位を選択する過程を行う前に、音声DBに保存された文章のうち、合成単位選択過程に使用する一定の範囲の文章、即ち候補を事前選択する。このような事前選択を行うためには、音声合成しようとする文章と音声DBに保存された文章の間に、アクセント句単位のマッチングが行わなければならず、アクセント句単位のマッチングが行われるためには、音声合成しようとする文章のアクセント句が分析されなければならず、文章のアクセント句を分析するためには、文章を構成する音素に対する発音とアクセント情報を同時に表示する記号で示すことが出来なければならない。
【００３０】
従って、以下でアクセント情報が含まれた発音記号で入力された文章を表現する方法、これを通じてアクセント句を分離する方法、アクセント句マッチング技法ついてより詳細に説明する。
【００３１】
「アクセント情報が含まれた発音記号」
音素は大きく母音と子音に分けることができるが、母音の場合、単音と長音に区分することができ、単音は更に低音と高音に分けられ、長音の場合、低音、高音、低音から高音に変わる場合、高音から低音に変わる場合に区分することができ、本発明では、日本語の固有のアクセント変化を反映するため、高音である単音の後に低音がくる場合と高音がくる場合とを更に区分する。
【００３２】
上記のようなアクセント情報を表示するために、本発明では、子音の場合、一般的な発音記号を使用するが、母音の場合、アクセント情報を表示できる記号を一般的な発音記号と併記して、次の表１のように示す。しかし、表１のように数字でアクセント情報を区分して表示するものは例示的なものであるだけで、上記の原則に従ってアクセント情報を表記することができる如何なる形態の記号も定義して使用することができる。
【００３３】
【表１】
【００３４】
図４に示すように、例えば、日本語の文章「富士山は日本で一番高い山です。」が入力された場合、品詞辞典による文章分析後、上記のような方式でアクセント情報が含まれた発音記号で入力された文章を表現すると、「[h u2 j i0 s a0 xN0][wa0][n i0 h o2 xn0][d e0][i0 ch i1 b a1 xn1][t a0 k a2 i0][ya0 ma2][d e0 s u0]」のように表現することができる。
【００３５】
「アクセント句決定方法」
上述のようにアクセント情報が表示された記号文章が表現されると、これよりアクセント句の境界を見付けるためには、先ず単語と単語の間に適用される韻律情報である休止期情報を決定しなければならない。
【００３６】
本発明では、表２のように単語と単語の間の休止期を五つに区分する。
【００３７】
【表２】
【００３８】
入力された文章で休止期を決定するためには、文章分析により得られた単語の品詞、発音、記号の種類、また、複数の慣用語情報等を用いるが、先ず、上記の休止期のうち休止期３を一番最初に決定する。休止期３は、抑揚句や文章の終りを示すので、文章終了記号、休止符または休止符のような意味の記号が示される単語の終りを休止期３と決定する。休止期３を決定することにより、全体の文章の長さ情報を得ることができ、非常に長い文章に対しては休止期３を適切な位置に追加することが好ましい。
【００３９】
上記のように休止期３が決定されると、各単語の発音情報を用いてアクセントの流れを推定する。日本語のアクセントは、一つのアクセント句で一度下がれば再度上がらないため、このような特性を用いて同一のアクセント句に含まれる単語の間を示す休止期１と互いに異なるアクセント句に含まれる単語の間を示す休止期２を決定することができる。
【００４０】
休止期１と休止期２を決定する方法をより詳細に説明すると、次の表３の通りである。
【００４１】
【表３】
【００４２】
上記のように休止期１と２を決定することにより、文章のアクセント句を区分することができる。
【００４３】
上記のような規則に従って、「富士山は日本で一番高い山です。」のアクセント句を区分すると、前単語である「富士山は[h u2 j i0 s a0 xN0 wa0]」の最後のアクセントは低音で、後単語である「日本で[n i0 h o2 xn0 d e0]」の最初のアクセントは低音で残りのアクセントのうち高音[o2]があるので、「富士山は」と「日本で」の間は休止期２であり、互いに異なるアクセント句に分けられることが分かる。
【００４４】
上記のような方法で「富士山は日本で一番高い山です。」を全て把握してみると、図４に図示されたように、５つのアクセント句(AP１〜AP５)に区分することができ、これは、図２で分析された音声のアクセント句区分と同一であることが確認できる。
【００４５】
しかし、アクセント句の間のポーズがない場合、２つのアクセント句の間に相関関係が存在し得るため、これを考慮してアクセント句間のポーズの有無によって、休止期２を休止期２−１と２−２に更に区分することができる。
【００４６】
休止期２−１と２−２は、休止期２と決定された部分に対して品詞情報、慣用語的情報等を用いて区分する。休止期１と２の区分と異なり、アクセント句間のポーズの有無は、一定のパターンが存在せず、人が直接読んだ時、単語の意味やデータベースを録音したアナウンサーの読む癖、一般人の読むパタ−ンなどによって異なり得る。従って、休止期２−１と２−２を区分する方法を表４に例示的に記載したが、これを基に容易に付加、変更して使用することができる。
【００４７】
【表４】
【００４８】
上記のように休止期１乃至３を区分した後、休止期０を決定するが、文章分析の結果のうち、一単語が２つの単語に分けられた場合、単語の最初の音が音価のない場合(ツ)等を休止期０と決定する。
【００４９】
上記の方法によって入力された文章の休止期情報が決定されると、休止期情報からアクセント句境界(Accentual Phrase Boundary:APB)情報を得ることができる。APBは、アクセント句とアクセント句の間の特徴を示すもので、３種類、即ち、アクセント句境界でない場合(APB ０)、アクセント句の境界やポーズが存在しない依存的な境界(Dependent Boundary)(APB １)、ポーズが存在する独立的な境界(Independent Boundary)(APB ２)に分けられ、休止期とAPBの間の関係は下記の表５の通りである。
【００５０】
【表５】
【００５１】
上記のように求めたアクセント句境界情報を用いて入力された文章のアクセント句を分離し、適する候補を選択するためのアクセント句マッチングを行う。アクセント句マッチングにおいて、依存的な境界のアクセント句の間には、相関関係が大きな場合もあるが、独立的な境界のアクセント句の間には、相関関係が殆ど存在しないため、独立的な境界のアクセント句は抑揚句のように処理する。
【００５２】
「アクセント句のマッチング方法」
基本的にアクセント句マッチングとは、データベースに保存された候補のうち、音声合成に使用される候補を選択することにおいて、アクセント句単位でその類似可否を判断するものであるが、本発明では、連結された音素列の最大長(Connected Context Length:CCL)を定義し、これを用いてアクセント句マッチングを行うことにより、最適の候補が事前選択から除外されることを防止する。
【００５３】
CCLとは、合成しようとする音素の前後の音素列と候補のDB内の前後の音素列を比較して一致する音素列の最大長を意味する。現在合成しようとする音素をp[i]とすれば、p[i]に隣接した前後の音素列は、{...、p[i−２]、p[i−１]、p[i+１]、p[i+２]、...}で示すことができ、p[i]の候補をu[i]とすれば、u[i]に隣接した前後の音素列は、{...、u[i−２]、u[i−１]、u[i+１]、u[i+２]、...}に示すことができる。
【００５４】
Tri−Phoneで合成単位を選択する場合、合成しようとする音素列「p[i−１]−p[i]−p[i+１]」と、候補「u[i−１]−u[i]−u[i+１]」とが一致する場合、CCL値は１である。CCL値は、前方、後方のCCLに分けられて計算されるが、p[i−２]とu[i−２]とが一致すれば、前方のCCL値が１増加し、p[i+２]とu[i+２]とが一致すれば、後方のCCL値が１増加し、このような計算は、各候補に対してアクセント境界まで引き続きCCL値を求める。
【００５５】
図４に「富士山は日本で一番高い山です。」をTri−Phone合成単位で示し、このうち、一番目のアクセント句の四番目の音素である[i０]の候補１乃至３に対してそれぞれのCCL値を求める方法が図示されている。合成しようとするアクセント句AP１は、８つの音素からなっており、候補１(Candidate １)のCCL値が８で、合成しようとするアクセント句のAP１の音素列と完全に一致することを示している。
【００５６】
図５は、本発明による事前選択方法であるアクセント句マッチングの流れ図が図示されている。先ず、S１乃至S３は抑揚句全体が一致する候補があるかどうかを見付ける過程で、S４乃至S６はアクセント句全体が一致する候補があるかどうかを探す過程であり、比較する範囲のみ異なるだけで、方法は同一である。
【００５７】
先ず、抑揚句全体の一致する候補が存在するかどうかを見付けるため、合成しようとする文章とデータベースに保存されている候補を抑揚句の範囲にCCL値を計算し(S１)、CCL値が大きい順に候補を整列する(S２)。整列された候補のうち最も大きなCCL値を有する候補の音素列が、合成しようとする抑揚句全体の音素列と一致するかどうかを判断し(S３)、もし、抑揚句全体の音素列が一致すれば、最大のCCL値を有する候補のみ残すことで、事前選択過程は終了する。
【００５８】
しかし、もし抑揚句全体の音素列が一致しなければ、事前選択過程は、アクセント句が一致するかどうかを比較する次の過程へ進む。再度アクセント句の範囲に対して各候補のCCL値が計算され(S４)、CCL値が大きな順に候補を整列した後(S５)、整列された候補のうち最も大きなCCL値を有する候補の音素列が、合成しようとするアクセント句全体の音素列と一致するかどうかを判断し(S６)、アクセント句(AP)全体が一致する候補が存在すれば、最大のCCL値を有する候補のみ残すことで、事前選択過程は終了し得る。
【００５９】
しかし、上記に説明したように、アクセント句境界が、独立したアクセント句境界(APB２)でない場合、互いに相関関係が存在し得るため、独立したアクセント句境界であるかどうかを判断して(S７)、もし独立したアクセント句境界である場合にのみ、最大のCCL値を有するn個の候補のみ残すことで、事前選択過程を終了するのが好ましい。
【００６０】
もし、S６でアクセント句全体が一致する候補が存在しなかったり、S７で独立したアクセント句境界でなければ、S９でピッチ、持続時間等の韻律情報を考慮し、目標音素に対する候補の類似度を計算し、類似度が大きいN個(予め決められた数)の候補を選択する。このとき、CCL値で候補の加重値を計算し(S８)、計算された加重値を上記類似度の判断に反映するのが好ましい。
【００６１】
もし、S３またはS７の抑揚句またはアクセント句全体の音素列が一致する候補の数が、予め決定された最大候補の数のNを超える場合、S９のような類似度計算をして、N個の候補のみが残るようすることができ、このように事前選択された候補のみを最適の合成単位の選択過程に使用することになる。
【００６２】
上記のように、本発明による音声合成システムは、音声DBで最適の合成単位を選択する前に、データベースに保存されている候補のうちから、最適の合成単位の選択に使用される候補を事前選択することにより、最適の合成単位を選択するための計算量と所要時間を画期的に減らすことができる。
【００６３】
また、音声合成をしようとする文章と音声DBに保存された文章(候補)をアクセント句単位でマッチングすることにより、抑揚句単位でマッチングするときより最適の候補を容易に選択できるのみならず、それぞれの抑揚句が一致する候補の該当抑揚句を構成する合成単位を連結することにより、抑揚句全体が一致する場合と同様に高い音質の合成音を作ることができる。
【００６４】
更に、CCL値を用いて合成単位選択に用いられた候補を事前選択することにより、最適の候補が音声合成過程から除外されることを防止することができる。
【図面の簡単な説明】
【００６５】
【図１】従来のコーパス基盤音声合成システムに対するシステム構成図である。
【図２】音声の抑揚句(IP)とアクセント句(AP)を示す図である。
【図３】本発明の一実施形態による音声合成システムのシステム構成図である。
【図４】本発明の一実施形態によるアクセント句の分離と連結された音素列の最大長(CCL)検出方法を示す図である。
【図５】アクセント句マッチング方法を用いた事前選択順序図である。
【符号の説明】
【００６６】
１１０、２１０ 文章入力部
１２０、２２０ 言語学的処理部
１２１、２２１ Text前処理モジュール
１２２、２２２ 文章分析モジュール
１２３ 発音表記変換モジュール
１３０、２３０ 韻律処理部
１４０、２５０ 音声信号処理部
１４１、２５１ 合成単位選択モジュール
１４２、２５２ 韻律調節モジュール
１４３、２５３ 音声波形生成モジュール
１４４、２５４ 音色制御モジュール
１５０、２６０ 音声出力部
１６１、２６１ 数字/略語/記号辞典
１６２、２６２ 品詞辞典
１６３ 発音辞典
１６４、２６４ 音声DB(データベース)
２２３ 表記変換モジュール
２４０ 事前選択処理部
２４１ 分析/計算モジュール
２４２ 事前選択モジュール
２６３ 発音/アクセント辞典
【技術分野】
【０００１】
本発明は、音声合成方法及び音声合成システムに関し、より具体的には、合成単位選択過程で比較すべき候補の数を事前選択(pre−selection)する音声合成方法及びシステムに関する。
【背景技術】
【０００２】
これまで入力されたテキストを音声に合成(TTS：Text To Speech)する様々な音声合成方法及びシステムが提案され使用されてきた。その中でも、コーパス基盤の音声合成方法は、音声を合成単位形態で構成したデータベース(DB)から合成に必要な単位を選択し、これらを適切に連結して合成音を生成することで、高音質の合成音を生成することができる。
【０００３】
このようなコーパス基盤の音声合成システムに関する基本システム構成図が図１に図示されている。図１を参考に一般的な音声合成方法を見てみると、文章が入力されると、言語学的処理部１２０のテキスト前処理モジュール１２１が数字/略語/記号辞典１６１を用いて文章に含まれた数字、記号等をテキストに変換し、文章分析モジュール１２２が品詞辞典１６２を用いて文章を分析し、発音表記変換モジュール１２３が発音辞典１６３を用いて発音表記に変換する。
【０００４】
上記言語学的処理部で入力文章の前処理が行われると、韻律処理部１３０は、言語学的処理部から抽出された情報を用いて抑揚、持続時間等の韻律情報を生成する。
【０００５】
また、音声信号処理部１４０の合成単位選択モジュール１４１は、言語学的処理部から生成された情報を用いて、音声DB１６４から最適の合成単位を選択し、韻律調節モジュール１４２で、韻律処理部１３０で発生させた韻律情報を用いて韻律を調節した後、音声波形生成モジュール１４３で、韻律が調節された合成単位を連結して合成音を作り、音声出力部１５０を通じて合成音を出力する。このとき、付加的に音色制御モジュール１４４を通じて音色を調節することもできる。
【０００６】
上述のような構造の一般的なコーパス基盤の音声合成システムは、動的プログラミング探索技法であるViterbiアルゴリズムを用いて最適の合成単位を選択し、その性能が良いため、現在多く使用されている（例えば特許文献１）。
【特許文献１】特開平１０−４９１９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、より良い音質を得るためには、音声信号処理部１４０で使用する音声DB１６４に多様な音韻変化及び発音規則が含まれるよう構成しなければならないが、データベースに多様な発音の組合せを含めれば含めるほど、音質は良くなる反面、データベースに保存された資料の量が非常に大きくなり、最適の合成単位を選択するための合成単位検索時間、及び計算量が急激に増加するので、リアルタイム音声合成が不可能となる問題点が発生する。
【０００８】
このため、本発明者らは、言語に存在する抑揚発話特性、特に、日本語に存在する抑揚発話特性を把握し、これを用いて音声合成過程で比較すべき候補の数を効果的に減らす反面、最適の候補が除外されないようにし、迅速で優れた音質の音声合成ができる事前選択方法及びこれを用いたシステムを開発することに至ったのである。
【０００９】
本発明の目的は、日本語の韻律特性を用いることにより、日本語音声合成に有用な音声合成方法及びシステムを提供するためのものである。
【００１０】
本発明の別の目的は、最適の合成単位を選択する前に、合成単位選択で比較すべき候補を事前選択することにより、迅速な音声合成が可能な音声合成方法及びシステムを提供するためのものである。
【００１１】
本発明のまた別の目的は、アクセント句単位で事前選択を行う効率的で高音質の音声合成の可能な音声合成方法及びシステムを提供するためのものである。
【００１２】
本発明のまた別の目的は、連結された音素列の最大長を基準に候補の類似度を判断することにより、最適の候補が除外されることは防止できる音声合成方法及びシステムを提供するためのものである。
【００１３】
本発明のまた別の目的は、音声合成のために文章を構成する音素の発音情報のみならず、アクセント情報を共に示すことができる発音記号表示方法を提供するためのものである。
【００１４】
本発明のまた別の目的は、文章のアクセント情報から単語と単語の間の韻律情報である休止期情報を把握することができる方法を提供するためのものである。
【００１５】
本発明のまた別の目的は、文章の休止期情報を通じてアクセント句を区分することができる方法を提供するためのものである。
【００１６】
本発明のまた別の目的は、最適の候補を選択するためのアクセント句マッチング方法を提供するためのものである。
【００１７】
本発明の上記及びその他の目的は、下記に説明される本発明により全て達成することができる。
【課題を解決するための手段】
【００１８】
本発明による音声合成方法は、入力された文章の音素に対する発音及びアクセント情報を含む記号に変換し、上記記号のアクセント情報を用いて、上記入力された文章のアクセント句を区分し、上記区分されたアクセント句を基準に音声データベース(DB)に予め保存された文章を比較して類似する文章を事前選択し、そして、上記事前選択された文章のみを用いて音声合成することを特徴とする。
【００１９】
また、上記と音声合成のために入力された文章をアクセント情報が含まれた発音記号で示し、この記号が示すアクセント情報から文章を構成する単語と単語の間の休止期情報を把握し、把握された休止期情報から、アクセント境界を把握することを特徴とする。
【００２０】
更に、把握されたアクセント句情報を用いたアクセント句マッチング方法において一致する音素列の最大長を示すCCL値を用いることにより、最適の候補が事前選択過程から除外されることを防止することを特徴とする。
【発明の効果】
【００２１】
本発明は、音声合成のために文章を構成する音素の発音情報のみならず、アクセント情報を共に示すことができる発音記号表示方法、文章のアクセント情報から単語と単語の間の韻律情報である休止期情報を把握することができる方法、文章の休止期情報を通じてアクセント句を区分することができる方法、最適の候補を選択するためのアクセント句マッチング方法を提供することができ、上記のような方法を用いて最適の合成単位を選択する前に、合成単位選択で比較すべき候補を事前選択することにより、迅速な音声合成が可能であり、アクセント句単位で事前選択を行う効率的で高音質の音声合成が可能であり、連結された音素列の最大長を基準に類似度を判断することにより、最適の候補が除外されることは防止でき、日本語の韻律特性を用いることにより、日本語音声合成に有用な音声合成方法及びシステムを提供する効果を有する。
【発明を実施するための最良の形態】
【００２２】
一般的に抑揚は、文章をその単位とする抑揚句(Intonational Phrase:IP)単位で変化するため、抑揚句全体を比較して全ての音素列が一致する候補が存在する場合、これらのみを候補として合成単位選択を行えば、音声合成のための計算量を減らすことができるのみならず、合成される音声単位が全て連結されているので、音質も録音音質と同様に優れる。
【００２３】
即ち、例えば「アンニョンハセヨ」という文章を音声合成するとき、「アンニョンハセヨ」という音声がデータベースに存在すれば、これのみを候補に選択し、この音声を構成する合成単位をそのまま持ってきて合成音を生成するのである。韓国語のように、抑揚が主に抑揚句(IP)単位で変化する言語の場合、抑揚句単位で合成単位を探索するよう具現することにより、音声合成に必要な候補の数を減らすと共に、合成音質も向上させることができる。しかし、抑揚句は、一つの文章のように比較的長い長さを有する大きな韻律単位であるので、抑揚句全体が一致する候補が存在する確率は低い。
【００２４】
その反面、日本語の場合、図２に図示されたように、抑揚句より小さいアクセント句単位で抑揚が大きく変化する特徴がある。従って、日本語の場合、抑揚句より小さい単位であるアクセント句(Accentual Phrase:AP)単位で候補を比較することにより、一致する候補を見付ける確率を高めると共に、アクセント句が一致する候補のみで合成単位選択を行い、抑揚句全体が一致する場合と同様に、優れた音質の合成音を得ることができる。
【００２５】
図３に本発明による音声合成システムのシステム構成図が図示されている。先ず、文章入力部２１０を通じて日本語の文章が入力されると、言語学的処理部２２０のテキスト前処理モジュール２２１が、数字/略語/記号辞典２６１を用いて、文章に含まれた数字、記号等をテキストに変換する。即ち、文章に「１」、「２」等の数字が含まれている場合、数字「１」と「２」に対応する日本語テキスト「一」、「二」でテキスト処理される。
【００２６】
テキスト処理された文章は、文章分析モジュール２２２が品詞辞典２６２を用いて文章を分析し、表記変換モジュール２２３が、発音/アクセント辞典２６３を用いて、アクセント情報が含まれた発音記号で文章の表記を変換する。
【００２７】
言語学的処理部２２０で入力文章の前処理が行われると、韻律処理部２３０は、言語学的処理部から抽出された情報を用いて、抑揚、持続時間等の韻律情報を生成し、事前選択処理部２４０の分析/計算モジュール２４１では、言語学的処理部から抽出された情報を用いて抑揚句(IP)及びアクセント句(AP)を分析し、連結された音素列の最大長(Connected Context Length:CCL)を計算し、事前選択モジュール２４２では、分析/計算モジュールで分析された情報を基に、抑揚句及び/又はアクセント句が一致するかどうかを比較するアクセント句マッチング(Accentual Phrase Matching)技法を通じて、音声合成に用いられる候補を事前選択する。
【００２８】
事前選択処理部２４０で音声合成に使用される候補が事前選択されると、従来と同一の方法で、音声信号処理部２５０において、合成単位選択モジュール２５１が事前選択された候補を用いて最適の合成単位を見付け、韻律調節モジュール２５２が韻律処理部２３０から生成された韻律情報を用いて韻律を調節した後、音声波形生成モジュール２５３で韻律調節された最適の合成単位を連結して合成音を作り、音声出力部２６０を通じて合成音を出力するようになる。このとき、付加的に音色制御モジュール２５４を通じて音色を調節することもできる。
【００２９】
上述のように本発明による音声合成システムでは、最適の合成単位を選択する過程を行う前に、音声DBに保存された文章のうち、合成単位選択過程に使用する一定の範囲の文章、即ち候補を事前選択する。このような事前選択を行うためには、音声合成しようとする文章と音声DBに保存された文章の間に、アクセント句単位のマッチングが行わなければならず、アクセント句単位のマッチングが行われるためには、音声合成しようとする文章のアクセント句が分析されなければならず、文章のアクセント句を分析するためには、文章を構成する音素に対する発音とアクセント情報を同時に表示する記号で示すことが出来なければならない。
【００３０】
従って、以下でアクセント情報が含まれた発音記号で入力された文章を表現する方法、これを通じてアクセント句を分離する方法、アクセント句マッチング技法ついてより詳細に説明する。
【００３１】
「アクセント情報が含まれた発音記号」
音素は大きく母音と子音に分けることができるが、母音の場合、単音と長音に区分することができ、単音は更に低音と高音に分けられ、長音の場合、低音、高音、低音から高音に変わる場合、高音から低音に変わる場合に区分することができ、本発明では、日本語の固有のアクセント変化を反映するため、高音である単音の後に低音がくる場合と高音がくる場合とを更に区分する。
【００３２】
上記のようなアクセント情報を表示するために、本発明では、子音の場合、一般的な発音記号を使用するが、母音の場合、アクセント情報を表示できる記号を一般的な発音記号と併記して、次の表１のように示す。しかし、表１のように数字でアクセント情報を区分して表示するものは例示的なものであるだけで、上記の原則に従ってアクセント情報を表記することができる如何なる形態の記号も定義して使用することができる。
【００３３】
【表１】
【００３４】
図４に示すように、例えば、日本語の文章「富士山は日本で一番高い山です。」が入力された場合、品詞辞典による文章分析後、上記のような方式でアクセント情報が含まれた発音記号で入力された文章を表現すると、「[h u2 j i0 s a0 xN0][wa0][n i0 h o2 xn0][d e0][i0 ch i1 b a1 xn1][t a0 k a2 i0][ya0 ma2][d e0 s u0]」のように表現することができる。
【００３５】
「アクセント句決定方法」
上述のようにアクセント情報が表示された記号文章が表現されると、これよりアクセント句の境界を見付けるためには、先ず単語と単語の間に適用される韻律情報である休止期情報を決定しなければならない。
【００３６】
本発明では、表２のように単語と単語の間の休止期を五つに区分する。
【００３７】
【表２】
【００３８】
入力された文章で休止期を決定するためには、文章分析により得られた単語の品詞、発音、記号の種類、また、複数の慣用語情報等を用いるが、先ず、上記の休止期のうち休止期３を一番最初に決定する。休止期３は、抑揚句や文章の終りを示すので、文章終了記号、休止符または休止符のような意味の記号が示される単語の終りを休止期３と決定する。休止期３を決定することにより、全体の文章の長さ情報を得ることができ、非常に長い文章に対しては休止期３を適切な位置に追加することが好ましい。
【００３９】
上記のように休止期３が決定されると、各単語の発音情報を用いてアクセントの流れを推定する。日本語のアクセントは、一つのアクセント句で一度下がれば再度上がらないため、このような特性を用いて同一のアクセント句に含まれる単語の間を示す休止期１と互いに異なるアクセント句に含まれる単語の間を示す休止期２を決定することができる。
【００４０】
休止期１と休止期２を決定する方法をより詳細に説明すると、次の表３の通りである。
【００４１】
【表３】
【００４２】
上記のように休止期１と２を決定することにより、文章のアクセント句を区分することができる。
【００４３】
上記のような規則に従って、「富士山は日本で一番高い山です。」のアクセント句を区分すると、前単語である「富士山は[h u2 j i0 s a0 xN0 wa0]」の最後のアクセントは低音で、後単語である「日本で[n i0 h o2 xn0 d e0]」の最初のアクセントは低音で残りのアクセントのうち高音[o2]があるので、「富士山は」と「日本で」の間は休止期２であり、互いに異なるアクセント句に分けられることが分かる。
【００４４】
上記のような方法で「富士山は日本で一番高い山です。」を全て把握してみると、図４に図示されたように、５つのアクセント句(AP１〜AP５)に区分することができ、これは、図２で分析された音声のアクセント句区分と同一であることが確認できる。
【００４５】
しかし、アクセント句の間のポーズがない場合、２つのアクセント句の間に相関関係が存在し得るため、これを考慮してアクセント句間のポーズの有無によって、休止期２を休止期２−１と２−２に更に区分することができる。
【００４６】
休止期２−１と２−２は、休止期２と決定された部分に対して品詞情報、慣用語的情報等を用いて区分する。休止期１と２の区分と異なり、アクセント句間のポーズの有無は、一定のパターンが存在せず、人が直接読んだ時、単語の意味やデータベースを録音したアナウンサーの読む癖、一般人の読むパタ−ンなどによって異なり得る。従って、休止期２−１と２−２を区分する方法を表４に例示的に記載したが、これを基に容易に付加、変更して使用することができる。
【００４７】
【表４】
【００４８】
上記のように休止期１乃至３を区分した後、休止期０を決定するが、文章分析の結果のうち、一単語が２つの単語に分けられた場合、単語の最初の音が音価のない場合(ツ)等を休止期０と決定する。
【００４９】
上記の方法によって入力された文章の休止期情報が決定されると、休止期情報からアクセント句境界(Accentual Phrase Boundary:APB)情報を得ることができる。APBは、アクセント句とアクセント句の間の特徴を示すもので、３種類、即ち、アクセント句境界でない場合(APB ０)、アクセント句の境界やポーズが存在しない依存的な境界(Dependent Boundary)(APB １)、ポーズが存在する独立的な境界(Independent Boundary)(APB ２)に分けられ、休止期とAPBの間の関係は下記の表５の通りである。
【００５０】
【表５】
【００５１】
上記のように求めたアクセント句境界情報を用いて入力された文章のアクセント句を分離し、適する候補を選択するためのアクセント句マッチングを行う。アクセント句マッチングにおいて、依存的な境界のアクセント句の間には、相関関係が大きな場合もあるが、独立的な境界のアクセント句の間には、相関関係が殆ど存在しないため、独立的な境界のアクセント句は抑揚句のように処理する。
【００５２】
「アクセント句のマッチング方法」
基本的にアクセント句マッチングとは、データベースに保存された候補のうち、音声合成に使用される候補を選択することにおいて、アクセント句単位でその類似可否を判断するものであるが、本発明では、連結された音素列の最大長(Connected Context Length:CCL)を定義し、これを用いてアクセント句マッチングを行うことにより、最適の候補が事前選択から除外されることを防止する。
【００５３】
CCLとは、合成しようとする音素の前後の音素列と候補のDB内の前後の音素列を比較して一致する音素列の最大長を意味する。現在合成しようとする音素をp[i]とすれば、p[i]に隣接した前後の音素列は、{...、p[i−２]、p[i−１]、p[i+１]、p[i+２]、...}で示すことができ、p[i]の候補をu[i]とすれば、u[i]に隣接した前後の音素列は、{...、u[i−２]、u[i−１]、u[i+１]、u[i+２]、...}に示すことができる。
【００５４】
Tri−Phoneで合成単位を選択する場合、合成しようとする音素列「p[i−１]−p[i]−p[i+１]」と、候補「u[i−１]−u[i]−u[i+１]」とが一致する場合、CCL値は１である。CCL値は、前方、後方のCCLに分けられて計算されるが、p[i−２]とu[i−２]とが一致すれば、前方のCCL値が１増加し、p[i+２]とu[i+２]とが一致すれば、後方のCCL値が１増加し、このような計算は、各候補に対してアクセント境界まで引き続きCCL値を求める。
【００５５】
図４に「富士山は日本で一番高い山です。」をTri−Phone合成単位で示し、このうち、一番目のアクセント句の四番目の音素である[i０]の候補１乃至３に対してそれぞれのCCL値を求める方法が図示されている。合成しようとするアクセント句AP１は、８つの音素からなっており、候補１(Candidate １)のCCL値が８で、合成しようとするアクセント句のAP１の音素列と完全に一致することを示している。
【００５６】
図５は、本発明による事前選択方法であるアクセント句マッチングの流れ図が図示されている。先ず、S１乃至S３は抑揚句全体が一致する候補があるかどうかを見付ける過程で、S４乃至S６はアクセント句全体が一致する候補があるかどうかを探す過程であり、比較する範囲のみ異なるだけで、方法は同一である。
【００５７】
先ず、抑揚句全体の一致する候補が存在するかどうかを見付けるため、合成しようとする文章とデータベースに保存されている候補を抑揚句の範囲にCCL値を計算し(S１)、CCL値が大きい順に候補を整列する(S２)。整列された候補のうち最も大きなCCL値を有する候補の音素列が、合成しようとする抑揚句全体の音素列と一致するかどうかを判断し(S３)、もし、抑揚句全体の音素列が一致すれば、最大のCCL値を有する候補のみ残すことで、事前選択過程は終了する。
【００５８】
しかし、もし抑揚句全体の音素列が一致しなければ、事前選択過程は、アクセント句が一致するかどうかを比較する次の過程へ進む。再度アクセント句の範囲に対して各候補のCCL値が計算され(S４)、CCL値が大きな順に候補を整列した後(S５)、整列された候補のうち最も大きなCCL値を有する候補の音素列が、合成しようとするアクセント句全体の音素列と一致するかどうかを判断し(S６)、アクセント句(AP)全体が一致する候補が存在すれば、最大のCCL値を有する候補のみ残すことで、事前選択過程は終了し得る。
【００５９】
しかし、上記に説明したように、アクセント句境界が、独立したアクセント句境界(APB２)でない場合、互いに相関関係が存在し得るため、独立したアクセント句境界であるかどうかを判断して(S７)、もし独立したアクセント句境界である場合にのみ、最大のCCL値を有するn個の候補のみ残すことで、事前選択過程を終了するのが好ましい。
【００６０】
もし、S６でアクセント句全体が一致する候補が存在しなかったり、S７で独立したアクセント句境界でなければ、S９でピッチ、持続時間等の韻律情報を考慮し、目標音素に対する候補の類似度を計算し、類似度が大きいN個(予め決められた数)の候補を選択する。このとき、CCL値で候補の加重値を計算し(S８)、計算された加重値を上記類似度の判断に反映するのが好ましい。
【００６１】
もし、S３またはS７の抑揚句またはアクセント句全体の音素列が一致する候補の数が、予め決定された最大候補の数のNを超える場合、S９のような類似度計算をして、N個の候補のみが残るようすることができ、このように事前選択された候補のみを最適の合成単位の選択過程に使用することになる。
【００６２】
上記のように、本発明による音声合成システムは、音声DBで最適の合成単位を選択する前に、データベースに保存されている候補のうちから、最適の合成単位の選択に使用される候補を事前選択することにより、最適の合成単位を選択するための計算量と所要時間を画期的に減らすことができる。
【００６３】
また、音声合成をしようとする文章と音声DBに保存された文章(候補)をアクセント句単位でマッチングすることにより、抑揚句単位でマッチングするときより最適の候補を容易に選択できるのみならず、それぞれの抑揚句が一致する候補の該当抑揚句を構成する合成単位を連結することにより、抑揚句全体が一致する場合と同様に高い音質の合成音を作ることができる。
【００６４】
更に、CCL値を用いて合成単位選択に用いられた候補を事前選択することにより、最適の候補が音声合成過程から除外されることを防止することができる。
【図面の簡単な説明】
【００６５】
【図１】従来のコーパス基盤音声合成システムに対するシステム構成図である。
【図２】音声の抑揚句(IP)とアクセント句(AP)を示す図である。
【図３】本発明の一実施形態による音声合成システムのシステム構成図である。
【図４】本発明の一実施形態によるアクセント句の分離と連結された音素列の最大長(CCL)検出方法を示す図である。
【図５】アクセント句マッチング方法を用いた事前選択順序図である。
【符号の説明】
【００６６】
１１０、２１０ 文章入力部
１２０、２２０ 言語学的処理部
１２１、２２１ Text前処理モジュール
１２２、２２２ 文章分析モジュール
１２３ 発音表記変換モジュール
１３０、２３０ 韻律処理部
１４０、２５０ 音声信号処理部
１４１、２５１ 合成単位選択モジュール
１４２、２５２ 韻律調節モジュール
１４３、２５３ 音声波形生成モジュール
１４４、２５４ 音色制御モジュール
１５０、２６０ 音声出力部
１６１、２６１ 数字/略語/記号辞典
１６２、２６２ 品詞辞典
１６３ 発音辞典
１６４、２６４ 音声DB(データベース)
２２３ 表記変換モジュール
２４０ 事前選択処理部
２４１ 分析/計算モジュール
２４２ 事前選択モジュール
２６３ 発音/アクセント辞典
【特許請求の範囲】
【請求項１】
入力された日本語文章を音声合成する方法において、
入力された文章の音素に対する発音及びアクセント情報を含む記号に変換し、
上記記号のアクセント情報を用いて上記入力された文章のアクセント句を区分し、
上記区分されたアクセント句を基準に音声データベースに予め保存された文章を比較して類似する文章を候補として事前選択し、そして、
上記事前選択された文章のみを用いて音声合成する
ステップを含んでなることを特徴とする日本語音声合成方法。
【請求項２】
上記記号は、子音の場合、音素に対する発音記号のみを表記し、母音の場合、音素に対する発音記号と低音である単音、高音である単音、低音が次にくる高音、低音である長音、高音である長音、低音から高音に変わる長音、及び高音から低音に変わる長音の７つで区分されるアクセント情報を示す記号を共に表記することを特徴とする請求項１に記載の日本語音声合成方法。
【請求項３】
上記アクセント句を区分するステップは、
上記入力された文章で同一の単語の音素と音素の間を示す休止期０、同一のアクセント句に含まれる単語の間を示す休止期１、互いに異なるアクセント句に含まれる単語の間を示す休止期２、抑揚句や文章の終りを示す休止期３に分けられる休止期情報を把握し、そして
休止期２が示されるところは、アクセント句境界、休止期３が示されるところを抑揚句境界と決定する、
ステップを含んでなることを特徴とする請求項２に記載の日本語音声合成方法。
【請求項４】
上記休止期１と休止期２は、
前単語の最後のアクセントが低音で、前単語の残りのアクセントのうち高音がない場合を休止期１、
前単語の最後のアクセントが低音で、前単語の残りのアクセントのうち高音があり、後単語のアクセントのうち高音がない場合を休止期１、
前単語の最後のアクセントが低音で、前単語の残りのアクセントのうち高音があり、後単語のアクセントのうち高音がある場合を休止期２、
前単語の最後のアクセントが高音で、後単語の最初のアクセントが高音である場合を休止期１、
前単語の最後のアクセントが高音で、後単語の最初のアクセントが低音で、後単語の残りのアクセントのうち高音が表れない場合を休止期１、そして、
前単語の最後のアクセントが高音で、後単語の最初のアクセントが低音で、後単語の残りのアクセントのうち高音が表れる場合を休止期２、
と決定することを特徴とする請求項３に記載の日本語音声合成方法。
【請求項５】
上記休止期２は、単語と単語の間にポーズが存在する休止期２−１とポーズが存在しない休止期２−２に更に区分することができ、休止期２−１が示されるところを依存的アクセント句境界、休止期２−２と３が示されるところを独立的アクセント句境界と決定するステップを更に含み、上記事前選択過程で独立したアクセント句境界を有するアクセント句は、抑揚句と同一に処理することを特徴とする請求項３に記載の日本語音声合成方法。
【請求項６】
上記事前選択ステップは、上記音声データベースに上記入力された文章と抑揚句全体が同一の文章があれば、抑揚句全体が一致する文章のみを選択するステップ、
もし、抑揚句全体が一致する文章がなく、それぞれのアクセント句全体が一致する文章があれば、アクセント句が一致する文章のみを選択するステップ、そして
もし、それぞれのアクセント句が一致する文章が存在しなければ、アクセント句単位で音素に対する類似度を計算し、類似度が大きな順に予め決定された数であるＮ個の文章を選択するステップ、
を含んでなり、上記類似度は韻律情報を考慮して計算されることを特徴とする請求項１乃至５のうち何れか一項に記載の日本語音声合成方法。
【請求項７】
上記抑揚句またはアクセント句が一致する文章が存在するかどうかは、合成しようとする音素の前後の音素列と音声データベースに保存された文章の前後の音素列を比較して一致する音素列の最大長さを示すCCL値を計算して決定し、上記音素に対する類似度を計算することにおいて、CCL値が大きい文章に加重値を付与することを特徴とする請求項６に記載の日本語音声合成方法。
【請求項８】
上記アクセント句が一致する文章を選択するステップの次に選択された文章のアクセント句が、独立したアクセント句境界であるかどうかを判断するステップを更に含み、もし、独立したアクセント句境界でなければ、アクセント句が一致する文章が存在しない場合と同様に、事前選択することを特徴とする請求項７に記載の日本語音声合成方法。
【請求項９】
入力された文章に含まれた数字、記号、特殊文字をテキストに変換するテキスト前処理モジュール、テキスト前処理された文章の品詞を分析する文章分析モジュール、文章分析された文章をアクセントが含まれた発音記号で表記変換する表記変換モジュールを含む言語学的処理部、
入力された文章の韻律情報を処理する韻律処理部、
上記表記変換モジュールによって処理された入力文章の表記を用いて、入力された文章の抑揚句及びアクセント句を分析し、一致する音素列の最大長さ(CCL)を計算する分析/計算モジュール、及びアクセント句マッチングを用いて、合成単位選択過程に用いられる候補を事前選択する事前選択モジュールを含む事前選択処理部、及び
上記事前選択された候補のみを用いて入力された文章の音声合成に用いられる合成単位を選択する合成単位選択モジュール、上記韻律処理部による情報を用いて選択された合成単位の韻律を調節する韻律調節モジュール、韻律が調節された合成単位を連結して合成音を作る音声波形生成モジュール、及び上記合成音の音色を調節する音色制御モジュールを含む音声信号処理部、
を含んでなることを特徴とする音声合成システム。
【請求項１０】
上記音声合成システムは、請求項１乃至９のうち何れか一項による音声合成方法を用いて入力された文章の合成音を生成することを特徴とする請求項９に記載の音声合成システム。
【請求項１】
入力された日本語文章を音声合成する方法において、
入力された文章の音素に対する発音及びアクセント情報を含む記号に変換し、
上記記号のアクセント情報を用いて上記入力された文章のアクセント句を区分し、
上記区分されたアクセント句を基準に音声データベースに予め保存された文章を比較して類似する文章を候補として事前選択し、そして、
上記事前選択された文章のみを用いて音声合成する
ステップを含んでなることを特徴とする日本語音声合成方法。
【請求項２】
上記記号は、子音の場合、音素に対する発音記号のみを表記し、母音の場合、音素に対する発音記号と低音である単音、高音である単音、低音が次にくる高音、低音である長音、高音である長音、低音から高音に変わる長音、及び高音から低音に変わる長音の７つで区分されるアクセント情報を示す記号を共に表記することを特徴とする請求項１に記載の日本語音声合成方法。
【請求項３】
上記アクセント句を区分するステップは、
上記入力された文章で同一の単語の音素と音素の間を示す休止期０、同一のアクセント句に含まれる単語の間を示す休止期１、互いに異なるアクセント句に含まれる単語の間を示す休止期２、抑揚句や文章の終りを示す休止期３に分けられる休止期情報を把握し、そして
休止期２が示されるところは、アクセント句境界、休止期３が示されるところを抑揚句境界と決定する、
ステップを含んでなることを特徴とする請求項２に記載の日本語音声合成方法。
【請求項４】
上記休止期１と休止期２は、
前単語の最後のアクセントが低音で、前単語の残りのアクセントのうち高音がない場合を休止期１、
前単語の最後のアクセントが低音で、前単語の残りのアクセントのうち高音があり、後単語のアクセントのうち高音がない場合を休止期１、
前単語の最後のアクセントが低音で、前単語の残りのアクセントのうち高音があり、後単語のアクセントのうち高音がある場合を休止期２、
前単語の最後のアクセントが高音で、後単語の最初のアクセントが高音である場合を休止期１、
前単語の最後のアクセントが高音で、後単語の最初のアクセントが低音で、後単語の残りのアクセントのうち高音が表れない場合を休止期１、そして、
前単語の最後のアクセントが高音で、後単語の最初のアクセントが低音で、後単語の残りのアクセントのうち高音が表れる場合を休止期２、
と決定することを特徴とする請求項３に記載の日本語音声合成方法。
【請求項５】
上記休止期２は、単語と単語の間にポーズが存在する休止期２−１とポーズが存在しない休止期２−２に更に区分することができ、休止期２−１が示されるところを依存的アクセント句境界、休止期２−２と３が示されるところを独立的アクセント句境界と決定するステップを更に含み、上記事前選択過程で独立したアクセント句境界を有するアクセント句は、抑揚句と同一に処理することを特徴とする請求項３に記載の日本語音声合成方法。
【請求項６】
上記事前選択ステップは、上記音声データベースに上記入力された文章と抑揚句全体が同一の文章があれば、抑揚句全体が一致する文章のみを選択するステップ、
もし、抑揚句全体が一致する文章がなく、それぞれのアクセント句全体が一致する文章があれば、アクセント句が一致する文章のみを選択するステップ、そして
もし、それぞれのアクセント句が一致する文章が存在しなければ、アクセント句単位で音素に対する類似度を計算し、類似度が大きな順に予め決定された数であるＮ個の文章を選択するステップ、
を含んでなり、上記類似度は韻律情報を考慮して計算されることを特徴とする請求項１乃至５のうち何れか一項に記載の日本語音声合成方法。
【請求項７】
上記抑揚句またはアクセント句が一致する文章が存在するかどうかは、合成しようとする音素の前後の音素列と音声データベースに保存された文章の前後の音素列を比較して一致する音素列の最大長さを示すCCL値を計算して決定し、上記音素に対する類似度を計算することにおいて、CCL値が大きい文章に加重値を付与することを特徴とする請求項６に記載の日本語音声合成方法。
【請求項８】
上記アクセント句が一致する文章を選択するステップの次に選択された文章のアクセント句が、独立したアクセント句境界であるかどうかを判断するステップを更に含み、もし、独立したアクセント句境界でなければ、アクセント句が一致する文章が存在しない場合と同様に、事前選択することを特徴とする請求項７に記載の日本語音声合成方法。
【請求項９】
入力された文章に含まれた数字、記号、特殊文字をテキストに変換するテキスト前処理モジュール、テキスト前処理された文章の品詞を分析する文章分析モジュール、文章分析された文章をアクセントが含まれた発音記号で表記変換する表記変換モジュールを含む言語学的処理部、
入力された文章の韻律情報を処理する韻律処理部、
上記表記変換モジュールによって処理された入力文章の表記を用いて、入力された文章の抑揚句及びアクセント句を分析し、一致する音素列の最大長さ(CCL)を計算する分析/計算モジュール、及びアクセント句マッチングを用いて、合成単位選択過程に用いられる候補を事前選択する事前選択モジュールを含む事前選択処理部、及び
上記事前選択された候補のみを用いて入力された文章の音声合成に用いられる合成単位を選択する合成単位選択モジュール、上記韻律処理部による情報を用いて選択された合成単位の韻律を調節する韻律調節モジュール、韻律が調節された合成単位を連結して合成音を作る音声波形生成モジュール、及び上記合成音の音色を調節する音色制御モジュールを含む音声信号処理部、
を含んでなることを特徴とする音声合成システム。
【請求項１０】
上記音声合成システムは、請求項１乃至９のうち何れか一項による音声合成方法を用いて入力された文章の合成音を生成することを特徴とする請求項９に記載の音声合成システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００８−４６６３６（Ｐ２００８−４６６３６Ａ）
【公開日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願番号】特願２００７−２０８２４６（Ｐ２００７−２０８２４６）
【出願日】平成１９年８月９日（２００７．８．９）
【出願人】（００００００５２７）ペンタックス株式会社 (1,878)
【出願人】（５０１３５４２１１）ボイスウェア カンパニー リミテッド (4)
【住所又は居所原語表記】１０ｔｈ Ｆｌ，ＳＡＭＨＷＡＮ Ｄｉｇｉｔａｌ Ｖｅｎｔｕｒｅ Ｔｏｗｅｒ，Ｓｕｎｇｓｕ−Ｄｏｎｇ ２−Ｇａ，２８０−１３，ＳｕｎｇＤｏｎｇ−Ｇｕ，Ｓｅｏｕｌ，１３３−１２０，Ｋｏｒｅａ
【公開日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願日】平成１９年８月９日（２００７．８．９）
【出願人】（００００００５２７）ペンタックス株式会社 (1,878)
【出願人】（５０１３５４２１１）ボイスウェア カンパニー リミテッド (4)
【住所又は居所原語表記】１０ｔｈ Ｆｌ，ＳＡＭＨＷＡＮ Ｄｉｇｉｔａｌ Ｖｅｎｔｕｒｅ Ｔｏｗｅｒ，Ｓｕｎｇｓｕ−Ｄｏｎｇ ２−Ｇａ，２８０−１３，ＳｕｎｇＤｏｎｇ−Ｇｕ，Ｓｅｏｕｌ，１３３−１２０，Ｋｏｒｅａ
[ Back to top ]