第1章 绪论

1.1视觉语音情感识别的产生背景

1.2视觉语音情感分析的研究内容

1.3视觉语音情感识别的应用领域

1.3.1表情识别的应用

1.3.2语音情感识别的应用

参考文献

第2章 视觉语音情感识别技术概况

2.1情感识别框架

2.2情感描述模型

2.2.1情感的定义

2.2.2情感的分类

2.3视觉语音信号预处理

2.3.1人脸表情图像预处理

2.3.2情感语音信号预处理

2.4情感特征提取

2.4.1视觉信息情感特征提取

2.4.2语音情感特征提取

2.5情感特征选择

2.6常用的情感识别模型

2.6.1基于相似性的情感识别模型

2.6.2基于连接机制的情感识别模型

2.6.3基于概率模型的情感识别模型

2.6.4基于集成学习的情感识别模型

2.7视觉语音情感识别的挑战

2.8视觉语音情感识别的新动向

参考文献

第3章 基于视觉信息的情感特征提取方法

3.1概述

3.2基于小波分解和优选VLBP的表情特征提取方法

3.2.1表情图像的小波分解

3.2.2小波分解图像的情感特征提取

3.2.3实验结果与分析

3.3基于多频域LBP-TOP的人脸表情特征提取方法

3.3.1 LBP-TOP算子

3.3.2多频率图像分块LBP-TOP特征提取

3.3.3实验结果与分析

3.4基于VLBP与光流的混合情感特征提取

3.4.1眼睛区域的小波分解分块VLBP特征提取

3.4.2特征点自动标注的嘴部光流特征提取

3.4.3基于混合特征的表情识别

3.4.4实验结果与分析

3.5基于Gabor变换的表情图像特征提取方法

3.5.1小波变换与多分辨率分析

3.5.2 Gabor变换

3.5.3人脸表情图像的网格化

3.5.4基于Gabor小波变换的表情弹性图的构造

3.5.5实验结果与分析

3.6基于积分图像的表情特征提取方法

3.6.1积分图像的概念

3.6.2积分图像表情特征提取

3.6.3实验结果与分析

3.7一种加权矩形提取表情特征的方法

3.7.1矩形模板设计

3.7.2基于加权矩形的表情特征提取

3.7.3实验结果与分析

3.8本章小结

参考文献

第4章 基于视觉信息的情感识别方法

4.1概述

4.2最大间隔最小体积球形支持向量机

4.2.1最大间隔球形支持向量机

4.2.2最大间隔最小体积球形支持向量机

4.2.3模型性能分析

4.2.4基于最大间隔最小体积球形支持向量机的表情识别

4.3混合特征结合分类树的细微表情识别算法

4.3.1混合特征提取

4.3.2基于分类树的表情识别

4.3.3实验结果与分析

4.4基于模糊深隐马尔可夫模型的图像序列表情识别方法

4.4.1模糊深隐马尔可夫模型

4.4.2模糊深隐马尔可夫模型的特性

4.4.3基于模糊深隐马尔可夫模型的图像序列表情识别

4.4.4实验结果与分析

4.5本章小结

参考文献

第5章 语音情感特征选择提取方法

5.1概述

5.2情感语音库的录制

5.2.1语音情感数据库

5.2.2音视频情感数据库

5.2.3音视频情感的有效性分析

5.3语音情感特征提取方法

5.3.1传统声学语音情感特征分析与提取

5.3.2基于导数的非个性化语音情感特征提取方法

5.3.3基于多重分形理论的语音情感特征提取方法

5.4语音情感特征选择方法

5.4.1基于神经网络贡献分析的语音情感特征选择

5.4.2基于遗传算法的语音情感特征选择和分类器参数优化方法

5.4.3基于类集／类对的两级语音情感特征选择方法

5.4.4基于扩展测地距离的语音情感特征有效性分析方法

5.4.5实验结果与分析

5.5基于流形学习的语音情感特征降维

5.5.1 Isomap算法描述

5.5.2 ELE算法描述

5.5.3基于增量流形学习的情感特征降维方法

5.5.4实验结果比较与分析

5.5.5相关方法比较

5.6本章小结

参考文献

第6章 语音情感识别方法

6.1概述

6.2基于选择性特征的 SVM决策树的语音情感识别方法

6.2.1情感混淆度

6.2.2基于SVM一对一算法的语音情感识别

6.2.3基于SVM决策树和选择性特征的语音情感识别

6.3基于改进有向无环图的分层语音情感识别方法

6.3.1基于SVM的有向无环图

6.3.2改进有向无环图的构造算法

6.3.3基于测地距离的待识别样本鉴别度量算法

6.3.4基于SVM的改进有向无环图的构造

6.3.5语音情感识别实验

6.3.6相关工作比较

6.4本章小结

参考文献

第7章 视觉语音融合情感识别方法

7.1基于混合特征和多HMM融合的图像序列表情识别

7.1.1多HMM融合的图像序列表情识别方法

7.1.2实验结果分析与比较

7.2基于D-S证据理论的多粒度语段融合语音情感识别

7.2.1 D-S证据理论简介

7.2.2多粒度情感语句分段方法

7.2.3多粒度语段融合情感识别算法描述

7.2.4实验结果分析与比较

7.2.5相关工作比较

7.3基于对象模糊密度赋值的决策级层次式融合算法

7.3.1模糊测度、模糊密度和模糊积分

7.3.2类模糊密度与混淆矩阵

7.3.3对象模糊密度

7.3.4基于对象模糊密度赋值的决策层融合识别算法

7.3.5基于模糊密度的人脸表情融合识别

7.3.6实验结果与分析

7.4具有噪声过滤功能的分类器协同训练半监督主动学习算法

7.4.1具有噪声过滤功能的协同训练半监督主动学习算法

7.4.2基于NF-CT-SSAL训练算法的半监督主动学习人脸表情识别

7.4.3实验结果与分析

7.5基于可分度和支持度的模糊密度赋值融合识别算法

7.5.1分类器的初始模糊密度

7.5.2分类器的自适应模糊密度赋值

7.5.3算法描述

7.5.4算法在人脸表情识别中的应用

7.5.5实验结果与分析

7.6本章小结

参考文献

第8章 情感分析的应用

8.1概述

8.2人脸表情动画中的逼真人脸重构

8.2.1一般人脸模型

8.2.2特定人脸模型重构

8.2.3实验结果与分析

8.3基于表情动作单元参数的逼真表情动画方法

8.3.1 ERI介绍

8.3.2图像的对准方法及分部位表情比率图库的建立

8.3.3表情动画中细微纹理生成

8.3.4实验结果与分析

8.4情感分析在E-learning环境中应用

8.4.1基于规则的本体推理

8.4.2 E-learning环境中的本体规则推理情感激励

8.4.3情形分析及情感激励实例

8.4.4相关工作比较

8.5本章小结

参考文献