第1章 数字语音处理介绍

1.1 语音信号

1.2 语音堆

1.3 数字语音处理的应用

1.3.1 语音编码

1.3.2 文语转换合成

1.3.3 语音识别和其他模式匹配问题

1.3.4 其他语音应用

1.4 参考文献评论

1.5 小结

第2章 数字信号处理基础回顾

2.1 引言

2.2 离散时间信号与系统

2.3 信号与系统的变换表示

2.3.1 连续时间傅里叶变换

2.3.2 z变换

2.3.3 离散时间傅里叶变换

2.3.4 离散傅里叶变换

2.3.5 DTFT的采样

2.3.6 DFT的性质

2.4 数字滤波器基础

2.4.1 FIR系统

2.4.2 FIR滤波器设计方法

2.4.3 FIR滤波器实现

2.4.4 IIR系统

2.4.5 IIR滤波器设计方法

2.4.6 IIR系统的实现

2.4.7 关于FIR和IIR滤波器设计方法的说明

2.5 采样

2.5.1 采样原理

2.5.2 语音和音频波形的采样率

2.5.3 改变采样信号的采样率

2.5.4 抽取

2.5.5 插值

2.5.6 非整数采样率变化

2.5.7 FIR滤波器的优点

2.6 小结

习题

第3章 人类语音产生基础

3.1 引言

3.2 语音产生过程

3.2.1 语音产生机理

3.2.2 语音特征与语音波形

3.2.3 语音生成的声学理论

3.3 语音的短时傅里叶表示

3.4 声音语音学

3.4.1 元音

3.4.2 双元音

3.4.3 声音的辨音特质

3.4.4 半元音

3.4.5 鼻音

3.4.6 清擦声

3.4.7 浊擦音

3.4.8 浊塞音

3.4.9 清塞音

3.4.10 破擦声和耳语音

3.5 美式英语音素的辨音特质

3.6 小结

习题

第4章 听觉、听感知模型和语音感知

4.1 引言

4.2 语言链

4.3 解剖学和耳的功能

4.3.1 基底膜机理

4.3.2 临界频带

4.4 声音的感知

4.4.1 声音的强度

4.4.2 人的听觉范围

4.4.3 响度级

4.4.4 响度

4.4.5 音高

4.4.6 掩蔽效应——音调

4.4.7 掩蔽效应——噪声

4.4.8 时域掩蔽效应

4.4.9 语音编码中的掩蔽效应

4.4.10 参数鉴别——JND

4.5 听感知模型

4.5.1 感知线性预测

4.5.2 Seneff听感知模型

4.5.3 Lyon听感知模型

4.5.4 整体区间直方图方法

4.5.5 听感知模型小结

4.6 人类语音感知实验

4.6.1 噪声中的声音感知

4.6.2 噪声中的语音感知

4.7 语音质量和可懂度测量

4.7.1 主观测试

4.7.2 语音质量的客观测量

4.8 小结

习题

第5章 声道中的声音传输

5.1 语音产生的声学原理

5.1.1 声音传播

5.1.2 例子：均匀无损声管

5.1.3 声道中损耗的影响

5.1.4 嘴唇的辐射影响

5.1.5 元音的声道传输函数

5.1.6 鼻腔耦合的影响

5.1.7 声道中声音的激励

5.1.8 基于声学理论的模型

5.2 无损声管模型

5.2.1 级联无损声管中的波形传播

5.2.2 边界条件

5.2.3 与数字滤波器的关系

5.2.4 无损声管模型的传输函数

5.3 采样语音信号的数字模型

5.3.1 声道建模

5.3.2 辐射模型

5.3.3 激励模型

5.3.4 完整模型

5.4 小结

习题

第6章 语音信号处理的时域方法

6.1 引言

6.2 语音的短时分析

6.2.1 短时分析的通用框架

6.2.2 短时分析中的滤波和采样

6.3 短时能量和短时幅度

6.3.1 基于短时能量的自动增益控制

6.3.2 短时幅度

6.4 短时过零率

6.5 短时自相关函数

6.6 修正短时自相关函数

6.7 短时平均幅度差分函数

6.8 小结

习题

第7章 频域表示

7.1 引言

7.2 离散时间傅里叶分析

7.3 短时傅里叶分析

7.3.1 DTFT解释

7.3.2 DFT实现

7.3.3 加窗对分辨率的影响

7.3.4 关于短时自相关函数

7.3.5 线性滤波解释

7.3.6 时域和频域中Xn（ej？）的采样率

7.4 频谱显示

7.5 合成的重叠相加法

7.5.1 精确重建的条件

7.5.2 合成窗的应用

7.6 合成的滤波器组求和方法

7.7 时间抽取滤波器组

7.7.1 通用FBS抽取系统

7.7.2 最大抽取滤波器组

7.8 双通道滤波器组

7.8.1 正交镜像滤波器组

7.8.2 QMF滤波器组的多相结构

7.8.3 共轭正交滤波器

7.8.4 树形结构滤波器组

7.9 使用FFT实现FBS方法

7.9.1 FFT分析技术

7.9.2 FFT合成技术

7.10 OLA再论

7.11 修正的STFT

7.11.1 乘性修正

7.11.2 加性修正

7.11.3 时间标度修正：相位声码器

7.12 小结

习题

第8章 倒谱和同态语音处理

8.1 简介

8.2 卷积同态系统

8.2.1 DTFT表示

8.2.2 z变换表示

8.2.3 复倒谱的性质

8.2.4 复倒谱分析实例

8.2.5 最小和最大相位信号

8.3 语音模型的同态分析

8.3.1 浊音模型的同态分析

8.3.2 清音模型的同态分析

8.4 计算语音的短时倒谱和复倒谱

8.4.1 基于离散傅里叶变换的计算

8.4.2 基于z变换的计算

8.4.3 最小相位和最大相位信号的递归计算

8.5 自然语音的同态滤波

8.5.1 语音短时倒谱分析模型

8.5.2 使用多项式根的短时分析实例

8.5.3 应用DFT的浊音分析

8.5.4 最小相位分析

8.5.5 应用DFT的清音分析

8.5.6 短时倒谱分析小结

8.6 全极点模型的倒谱分析

8.7 倒谱距离度量

8.7.1 线性滤波补偿

8.7.2 加权倒谱距离度量

8.7.3 群时延频谱

8.7.4 mel频率倒谱系数

8.7.5 动态倒谱特征

8.8 小结

习题

第9章 语音信号的线性预测分析

9.1 引言

9.2 线性预测分析的基本原理

9.2.1 线性预测分析方程的基本公式

9.2.2 自相关法

9.2.3 协方差法

9.2.4 小结

9.3 模型增益的计算

9.4 线性预测分析的频域解释

9.4.1 线性预测短时频谱分析

9.4.2 均方预测误差的频域解释

9.4.3 模型阶数p的作用

9.4.4 线性预测语谱图

9.4.5 与其他谱分析方法的对比

9.4.6 选择性线性预测

9.5 LPC方程组的解

9.5.1 Cholesky分解

9.5.2 Levinson-Durbin算法

9.5.3 格型公式及其解

9.5.4 计算需求比较

9.6 预测误差信号

9.6.1 归一化均方误差的其他表示法

9.6.2 LPC参数值的实验评估

9.6.3 归一化误差随帧位置的变化

9.7 LPC多项式A（Z）的一些性质

9.7.1 预测误差滤波器的最小相位性质

9.7.2 PARCOR系数和LPC多项式的稳定性

9.7.3 最佳LP模型根的位置

9.8 线性预测分析与无损声管模型的关系

9.9 LP参数的替代表示

9.9.1 预测误差多项式的根

9.9.2 全极点系统H（z）的冲激响应

9.9.3 冲激响应的自相关

9.9.4 倒谱

9.9.5 预测器多项式的自相关系数

9.9.6 PARCOR系数

9.9.7 对数面积比系数

9.9.8 线性谱对参数

9.10 小结

习题

第10章 语音参数的估计算法

10.1 引言

10.2 中值平滑和语音处理

10.3 语音背景／静音的鉴别

10.4 浊音／清音／静音检测的一种贝叶斯方法

10.5 基音周期估计（基音检测）

10.5.1 理想的基音周期估计

10.5.2 使用一种并行处理方法的基音周期估计

10.5.3 自相关、周期性和中心削波

10.5.4 一种基于自相关的基音估计器

10.5.5 频域中的基音检测

10.5.6 用于基音检测的同态系统

10.5.7 使用线性预测参数的基音检测

10.6 共振峰估计

10.6.1 共振峰估计的同态系统

10.6.2 使用线性预测参数的共振峰分析

10.9 小结

习题

第11章 语音信号数字编码

11.1 引言

11.2 语音信号采样

11.3 语音统计模型

11.3.1 自相关函数和功率谱

11.4 瞬时量化

11.4.1 均匀量化噪声分析

11.4.2 瞬时压扩（压缩／扩展）

11.4.3 最优SNR量化

11.5 自适应量化

11.5.1 前馈自适应

11.5.2 反馈自适应

11.5.3 自适应量化的总体评价

11.6 语音模型参数的量化

11.6.1 语音模型的标量量化

11.6.2 向量量化

11.6.3 VQ实现的要素

11.7 差分量化的一般理论

11.8 △调制

11.8.1 线性△调制

11.8.2 自适应△调制

11.8.3 △调制中的高阶预测器

11.8.4 LDM到PCM的转换

11.8.5 △－∑模数转换

11.9 差分脉冲编码调制

11.9.1 自适应量化DPCM

11.9.2 自适应预测DPCM

11.9.3 ADPCM系统的对比

11.10 ADPCM编码器的改善

11.10.1 ADPCM编码的基音预测

11.10.2 DPCM系统中的噪声整形

11.10.3 完全量化的自适应预测编码器

11.11 综合分析语音编码

11.11.1 A-b-S语音编码系统的基本原理

11.11.2 多脉冲LPC

11.11.3 码激励线性预测（CELP）

11.11.4 比特率为4800bps的CELP编码器

11.11.5 低延时CELP（LD-CELP）编码

11.11.6 A-b-S语音编码小结

11.12 开环语音编码器

11.12.1 二态激励模型

11.12.2 LPC声码器

11.12.3 残差激励LPC

11.12.4 混合激励系统

11.13 语音编码器的应用

11.13.1 语音编码器的标准化

11.13.2 语音编码器的质量评价

11.14 小结

习题

第12章 语音和音频的频域编码

12.1 引言

12.2 历史回顾

12.2.1 通道声码器

12.2.2 相位声码器

12.2.3 早期的STFT数字编码工作

12.3 子带编码

12.3.1 理想的2子带编码器

12.3.2 子带编码的量化器

12.3.3 子带语音编码器示例

12.4 自适应变换编码

12.5 音频编码的感知模型

12.5.1 短时分析和合成

12.5.2 临界带理论回顾

12.5.3 听阈

12.5.4 STFT 的声压校正

12.5.5 掩蔽效应回顾

12.5.6 掩蔽音的识别

12.5.7 STFT的量化

12.6 MPEG-1音频编码标准

12.6.1 MPEG-1滤波器组

12.6.2 通道信号的量化

12.6.3 MPEG-Ⅰ层Ⅱ和层Ⅲ

12.7 其他语音编码标准

12.8 小结

习题

第13章 文语转换合成方法

13.1 简介

13.2 文本分析

13.2.1 文档结构检测

13.2.2 文本正则化

13.2.3 语义分析

13.2.4 语音学分析

13.2.5 多音词消歧

13.2.6 字母－声音转换

13.2.7 韵律分析

13.2.8 韵律指定

13.3 语音合成方法的发展

13.4 早期的语音合成方法

13.4.1 声码器

13.4.2 终端模拟语音合成

13.4.3 发音器官语音合成方法

13.4.4 单词拼接合成

13.5 单元选择方法

13.5.1 拼接单元的选择

13.5.2 自然语音中的单元选择

13.5.3 从文本中进行在线单元选择

13.5.4 单元选择问题

13.5.5 转移代价和单元代价

13.5.6 单元边界平滑和修改

13.5.7 单元选择方法的实验结果

13.6 TTS的未来需求

13.7 可视化TTS

13.7.1 VTTS 处理

13.8 小结

习题

第14章 自动语音识别和自然语言理解

14.1 引言

14.2 自动语音识别简述

14.3 语音识别的整体过程

14.4 构建一个语音识别系统

14.4.1 识别任务

14.4.2 识别特征集

14.4.3 识别训练

14.4.4 测试与性能评估

14.5 ASR 中的决策过程

14.5.1 ASR 问题的贝叶斯原理

14.5.2 Viterbi算法

14.5.3 步骤1：声学建模

14.5.4 步骤2：语言模型

14.6 步骤3：搜索问题

14.7 简单的ASR系统：孤立的数字识别

14.8 语音识别器的性能评估

14.9 口语理解

14.10 对话管理和口语生成

14.11 用户界面

14.12 多模态用户界面

14.13 小结

习题

附录A 语音和音频处理演示

附录B 频域微分方程求解

参考文献

术语表