模块1 大数据入门

第1讲 大数据简介

1.1什么是大数据

1.1.1大数据的优势

1.1.2挖掘各种大数据源

1.2数据管理的历史——大数据的演化

1.3大数据的结构化

1.4大数据要素

1.4.1数据量

1.4.2速度

1.4.3多样性

1.5大数据在商务环境中的应用

1.6大数据行业中的职业机会

1.6.1职业机会

1.6.2所需技能

1.6.3大数据的未来

练习

备忘单

第2讲 大数据在商业上的应用

2.1社交网络数据的重要性

2.2金融欺诈和大数据

2.3保险业的欺诈检测

2.4在零售业中应用大数据

练习

备忘单

第3讲 处理大数据的技术

3.1大数据的分布式和并行计算

3.1.1并行计算技术

3.1.2虚拟化及其对大数据的重要性

3.2 Hadoop简介

3.3云计算和大数据

3.3.1大数据计算的特性

3.3.2云部署模型

3.3.3云交付模型

3.3.4大数据云

3.3.5大数据云市场中的供应商

3.3.6使用云服务所存在的问题

3.4大数据内存计算技术

练习

备忘单

第4讲 了解Hadoop生态系统

4.1 Hadoop生态系统

4.2用HDFS存储数据

4.2.1 HDFS架构

4.2.2 HDFS的一些特殊功能

4.3利用Hadoop MapReduce处理数据

4.3.1 MapReduce是如何工作的

4.3.2 MapReduce的优点和缺点

4.3.3利用Hadoop YARN管理资源和应用

4.4利用HBase存储数据

4.5使用Hive查询大型数据库

4.6与Hadoop生态系统的交互

4.6.1 Pig和Pig Latin

4.6.2 Sqoop

4.6.3 Zookeeper

4.6.4 Flume

4.6.5 Oozie

练习

备忘单

第5讲 MapReduce基础

5.1 MapReduce的起源

5.2 MapReduce是如何工作的

5.3 MapReduce作业的优化技术

5.3.1硬件/网络拓扑

5.3.2同步

5.3.3文件系统

5.4 MapReduce的应用

5.5 HBase在大数据处理中的角色

5.6利用Hive挖掘大数据

练习

备忘单

模块2 分析和R编程入门

第1讲 理解分析

1.1分析与报告的对比

1.1.1报告

1.1.2分析

1.2基本和高级分析

1.3进行分析——需要考虑的事项

1.3.1正确限定问题的范围

1.3.2统计显著性还是业务重要性

1.3.3样本与总体

1.3.4推理与计算统计数字的对比

1.4构建分析团队

1.4.1成为分析师的必备技能

1.4.2 IT与分析的融合

练习

备忘单

第2讲 分析方法与工具

2.1分析方法的演变

2.1.1集成方法

2.1.2商品化模型

2.1.3文本分析

2.1.4文本分析的挑战

2.2分析工具的演变

2.3分析工具分类

2.3.1图形用户界面的兴起

2.3.2点解决方案的大爆发

2.3.3数据可视化工具

2.4一些流行的分析工具

2.4.1用于统计计算的R项目

2.4.2 IBM SPSS

2.4.3 SAS

2.5分析工具之间的对比

练习

备忘单

第3讲 探索R

3.1安装R

3.2使用脚本工作

3.2.1RGui

3.2.2 RStudio

3.2.3 “Hello world！”

3.2.4简单数学运算

3.2.5 R中的数学运算

3.2.6使用向量

3.2.7保存和计算数值

3.2.8回应用户

3.3浏览工作区

3.3.1操纵工作区内容

3.3.2保存工作

3.3.3检索工作

练习

备忘单

第4讲 将数据集读入R，从R导出数据

4.1使用c（）命令创建数据

4.1.1输入数值项作为数据

4.1.2输入文本项作为数据

4.2在R中使用scan（）命令获取数据

4.2.1输入文本作为数据

4.2.2使用剪贴板制作数据

4.2.3从磁盘读取数据文件

4.3读取更大的数据文件

4.3.1 read.csv（）命令

4.3.2在R中读取数据的其他命令

4.3.3数据文件中的缺失值

4.4从R导出数据

4.5在R中保存你的工作

4.5.1将数据文件保存到磁盘

4.5.2保存命名对象

4.5.3保存所有操作

4.5.4以文本文件形式保存数据到磁盘

4.5.5将向量对象写入磁盘

4.5.6将矩阵和数据帧对象写入磁盘

4.5.7将列表对象写入磁盘

练习

备忘单

第5讲 在R中操纵和处理数据

5.1确定最合适的数据结构

5.2创建数据的子集

5.2.1指定子集

5.2.2构造数据帧的子集

5.2.3从数据中取得样本

5.2.4数据子集的应用

5.3在数据中添加计算得到的字段

5.3.1在数据帧列上执行算术运算

5.3.2创建数据子组或者bin

5.4在R中组合和合并数据集

5.4.1创建样本数据以说明合并的方法

5.4.2使用merge（）函数

5.4.3合并类型

5.4.4使用查找表

5.5分类和排序数据

5.5.1向量的排序

5.5.2数据帧的排序

5.5.3用apply（）函数遍历数据

5.6公式接口简介

5.7数据整形

5.7.1理解长格式和宽格式数据

5.7.2从reshape2程序包入手

5.7.3将数据“熔化”为长格式

练习

备忘单

模块3 使用R进行数据分析

第1讲 使用R中的函数和包

1.1从脚本到函数

1.1.1创建脚本

1.1.2将脚本转变为函数

1.1.3使用函数

1.1.4减少行数

1.2巧妙地使用参数

1.2.1增加更多参数

1.2.2使用点参数

1.2.3使用函数作为参数

1.3函数作用域

1.3.1外部函数

1.3.2使用内部函数

1.4指派方法

1.4.1寻找函数背后的方法

1.4.2以UseMethod（）函数使用方法

1.5程序包

1.5.1为Windows安装程序包

1.5.2为Linux安装程序包

1.6程序包的使用

1.6.1加载程序包

1.6.2卸载程序包

练习

备忘单

第2讲 R中的描述性统计

2.1汇总命令

2.2名称命令

2.3汇总样本

2.4累积统计信息

2.4.1简单累计命令

2.4.2复杂累积命令

2.5数据帧的汇总统计

2.5.1数据帧的通用汇总命令

2.5.2专用的行和列汇总命令

2.5.3用于行/列汇总的apply（）命令

2.6矩阵对象的汇总统计

2.7列表的汇总统计

2.8列联表

2.8.1建立列联表

2.8.2选择表对象的各个部分

2.8.3测试表对象

2.8.4复杂（扁平）表

2.8.5测试“扁平”表对象

2.8.6表的汇总命令

2.9交叉表

练习

备忘单

第3讲 用函数、循环和数据帧分析数据

3.1矩阵、列表和数据帧

3.1.1矩阵

3.1.2列表

3.1.3数据帧——数据集

3.2向量、矩阵和列表的索引

3.2.1向量的索引

3.2.2矩阵的索引

3.2.3列表的索引

3.3 R编程

3.3.1表达式、赋值和算术运算符

3.3.2成组的表达式

3.3.3条件执行——if和ifelse

3.3.4重复执行——循环

3.4 RHadoop

3.4.1安装RHadoop

3.4.2创建用户定义函数

练习

备忘单

第4讲 R中的图形分析

4.1为单变量绘图

4.1.1直方图

4.1.2索引图

4.1.3时间序列图

4.1.4饼图

4.1.5 stripchart函数

4.2绘制双变量图表

4.2.1根据两个连续解释变量绘制图表：散点图

4.2.2使用分类解释变量绘图

4.3多重比较图表

4.4绘制多变量图表

4.4.1 pairs函数

4.4.2 coplot函数

4.4.3相互作用图表

4.5特殊图表

4.5.1设计图

4.5.2气泡图

4.5.3有许多相同值的图表

4.6将图形保存到外部文件

练习

备忘单

第5讲 R中的假设检验

5.1统计假设简介

5.1.1假设检验

5.1.2决策错误

5.2使用学生t检验

5.2.1使用不相等方差的双样本t检验

5.2.2使用相等方差的双样本t检验

5.2.3单样本t检验

5.2.4 t检验中的公式语法和样本子集构建

5.3 u检验

5.3.1双样本u检验

5.3.2单样本u检验

5.3.3 u检验中的公式语法和样本子集构建

5.4配对t检验和u检验

5.4.1相关和协方差

5.4.2协方差

5.4.3相关检验中的显著性检验

5.4.4公式语法

5.5关联分析检验

5.6拟合优度检验

练习

备忘单

模块4 使用R进行高级分析

第1讲 R中的线性回归

1.1线性回归分析基础知识

1.1.1简单线性回归

1.1.2多重线性回归

1.1.3最小二乘估计

1.1.4检查模型适当性

1.1.5回归输出的解读

1.1.6回归假设

1.1.7多重共线性

1.1.8检测多重共线性

1.2使用线性回归进行工作

1.2.1确定x和y变量

1.2.2检查条件

1.2.3回归线的计算

1.2.4求取斜率

1.2.5求取y截距

1.2.6回归线的解读

1.2.7做出正确的预测

1.3 R中的简单线性回归

1.3.1 R的5个著名函数

1.3.2校正的平方和及乘积和

1.3.3分散度

1.3.4回归中的方差分析

1.3.5 AIC

1.3.6参数不可靠性的估算

1.3.7用拟合模型预测

1.3.8检查模型

1.4线性模型结果对象

1.4.1系数

1.4.2拟合值

1.4.3残差

1.4.4公式

1.4.5最佳拟合线

1.5模型的构建

1.5.1用前向逐步回归增加项

1.5.2用后向删除方法删除项

1.5.3模型的比较

1.6曲线回归

练习

备忘单

第2讲 非线性回归

2.1非线性回归分析简介

2.2非线性回归和广义线性模型

2.3逻辑回归

2.3.1解读逻辑回归中的β系数

2.3.2计算β系数

2.3.3具有交互变量的逻辑回归

2.3.4具有指示变量的逻辑回归

2.3.5逻辑回归模型适当性检查

2.3.6使用逻辑回归线进行预测

2.4用MLE进行线估算

2.5将非线性模型转化为线性模型

2.6其他非线性回归模型

2.7广义加性模型

2.8自启动函数

2.8.1自启动Michaelis-Menten模型

2.8.2自启动渐近指数模型

2.8.3轮廓似然

2.8.4自启动逻辑

2.8.5自启动四参数逻辑

2.8.6自启动Weibull增长函数

2.8.7自启动一阶房室函数

2.9用拔靴法建立一个非线性回归家族

2.10逻辑回归的应用

2.10.1贷款接纳

2.10.2德国信用数据

2.10.3延误的航班

练习

备忘单

第3讲 聚类分析

3.1聚类简介

3.1.1聚类的应用

3.1.2聚类的复杂性

3.1.3距离计量

3.1.4簇内和簇间平方和

3.1.5高效聚类的属性

3.2凝聚层次聚类

3.2.1主要距离

3.2.2密度估算方法

3.3相似性聚合聚类

3.3.1相似性聚合的原理

3.3.2相似性聚合聚类的实施

3.4 Ramap包的用法

3.5 k均值聚类

3.6 R聚类示例：欧洲人的蛋白质摄入

3.7 R聚类示例：美国月度失业率

3.8在R中实施层次聚类

3.8.1例1：重温欧洲人蛋白质摄入

3.8.2例2：重温美国月度失业率

练习

备忘单

第4讲 决策树

4.1决策树的应用

4.2决策树原理

4.2.1选择变量——创建树的第1步

4.2.2拆分标准

4.2.3为节点分配数据——创建树的第2步

4.2.4修剪——创建树的第3步

4.3构建决策树

4.3.1决策树如何确定纯度？

4.3.2使用决策树时的实际考虑因素

4.3.3决策树选项

4.4 CART、C5.0和CHAID树

4.4.1 CART

4.4.2 C5.0

4.4.3 CHAID

4.4.4决策树对比

4.5用决策树预测

4.6决策树的优缺点

4.6.1决策树的优点

4.6.2决策树的缺点

4.7在R中构建决策树

练习

备忘单

第5讲 R和Hadoop的集成及Hive介绍

5.1 Hadoop

5.1.1 HDFS

5.1.2 MapReduce

5.1.3 Hadoop的应用

5.2集成R和Hadoop——RHadoop

5.2.1安装RHadoop

5.2.2在R中使用RHadoop

5.3通过文本挖掘得到有用信息

5.4 Hive简介

5.4.1元存储

5.4.2数据库

5.4.3数据类型

5.4.4查询语言

5.4.5 Hive命令

5.4.6 Hive交互和非交互模式

练习

备忘单

附录A 在R中可以完成的10件 Microsoft Excel工作