融合發(fā)音機理的統(tǒng)計參數語音合成方法研究.pdf

1、近二十年來，統(tǒng)計參數語音合成方法發(fā)展迅速，逐步成為與單元挑選與波形拼接方法相并列的一種主流語音合成方法，隱馬爾可夫模型(Hidden MarkovModel，HMM)是統(tǒng)計參數語音合成中最為常用的聲學模型形式。相比于單元挑選與波形拼接方法，基于HMM的參數合成方法具有系統(tǒng)構建自動化程度高、可快速自適應、合成語音平滑流暢、系統(tǒng)尺寸小等優(yōu)點，但是該方法在合成語音的音質與自然度上和單元挑選與波形拼接方法相比仍有差距。此外，現階段該方法在實現多

2、樣化及個性化語音合成時的性能仍不夠理想。一方面，語音學知識難以融入聲學特征預測過程，對于合成語音特征的控制存在較強的數據依賴性;另一方面，在利用少量目標發(fā)音人數據與模型自適應算法實現合成系統(tǒng)話者轉換時，合成語音的自然度以及與目標發(fā)音人的相似度仍有待提升。
　　現階段統(tǒng)計參數語音合成方法所使用的聲學模型結構缺乏對于語音產生機理的描述，是產生上述不足的原因之一。因此，本文圍繞統(tǒng)計參數語音合成中融合發(fā)音機理的聲學建模方法開展研究工作，將

3、發(fā)音動作特征和共振峰特征作為中間層表征，構建了“語言學特征-中間層表征-聲學特征”的聲學模型結構，實現了對于實際語音產生中的層次化信息處理過程的模擬。首先，本文研究結合發(fā)音動作特征的聲學建模方法，構建了中文多發(fā)音人連續(xù)語流發(fā)音動作特征數據庫，驗證了雙流HMM模型對于實現發(fā)音動作特征與聲學特征聯合建模的有效性，提出了結合目標-逼近模型與多元回歸隱馬爾科夫模型(Multiple RegressionHidden MarkovModel，MR

4、HMM)的聲學建模方法，實現了基于語音學規(guī)則的合成語音特征控制;其次，本文將共振峰特征作為音素序列與可觀測聲學特征之間的中間表達，提出了基于隱藏式軌跡模型（Hidden Trajectory Model，HTM）的語音合成頻譜建模方法，提高了頻譜特征的預測精度與合成語音的自然度，實現了對于合成語音共振峰頻率與帶寬等特征的靈活控制，并且進一步研究了HTM模型自適應方法，提高了話者轉換合成語音的自然度與相似度。
　　整篇文章的安排如下

5、:
　　第一章是緒論，介紹語音產生機理，并簡要回顧幾種常見的語音合成方法。
　　第二章具體介紹基于HMM的統(tǒng)計參數語音合成方法，包括HMM的基本概念、基于HMM的語音合成系統(tǒng)框架以及其中的關鍵技術點，最后通過分析當前方法的優(yōu)缺點，闡述本文研究工作的動機與出發(fā)點。
　　第三章著重介紹基于雙流HMM的發(fā)音動作特征與聲學特征的聯合建模方法。首先，完成了多發(fā)音人中文連續(xù)語流發(fā)音動作特征數據庫的錄制，包括錄音環(huán)境的搭建以及對于采

6、集的發(fā)音動作特征的預處理等;然后，實現了基于雙流HMM的中文連續(xù)語流發(fā)音動作特征與聲學特征的聯合建模;最后，研究了不同的上下文屬性、模型聚類方式及流間相關性假設對于發(fā)音動作特征與聲學特征的聯合建模性能的影響。
　　第四章具體介紹結合目標-逼近模型與MRHMM模型的可控語音合成方法。首先，提出了基于目標-逼近模型的發(fā)音動作特征預測方法，該模型相比HMM模型具有參數數目較少且物理意義明確的優(yōu)點;其次，在第三章研究工作基礎上，設計實現了

7、結合目標-逼近模型和MRHMM模型的可控語音合成方法，并通過主客觀測試驗證了其結合語音學知識實現合成語音特征控制的有效性;最終，完成了結合發(fā)音動作特征的可控語音合成演示系統(tǒng)的開發(fā)。
　　第五章介紹基于HTM模型的統(tǒng)計參數語音合成方法。首先，介紹了HTM模型的基本框架，該模型將由目標-逼近模型產生的共振峰軌跡作為音素序列與可觀測聲學特征之間的隱含中間層，并利用非線性變換描述共振峰特征與聲學特征之間的映射關系;然后，提出了基于HTM模

8、型的統(tǒng)計參數語音合成方法，設計實現了相應的模型訓練與參數生成算法，并且通過實驗證明了該方法在降低頻譜特征預測誤差、提高合成語音自然度、實現對于合成語音共振峰特征靈活控制等方面的有效性。
　　第六章介紹基于HTM模型自適應的語音合成話者轉換方法。首先，提出了HTM框架下的模型自適應方法，該方法對于HTM模型中的共振峰相關參數和殘差相關參數分別進行轉換，并通過組合兩者轉換實現最終的模型自適應;然后，將HTM模型自適應方法應用于語音合成