1 EKL技术栈介绍

日志分析的必要性

问题调试

性能分析

安全分析

预测分析

物联网日志

日志分析的挑战

不一致的日志格式

不同的时间格式

专业知识的需求

ELK技术栈

Elasticsearch

Logstash

Kibanna

ELK数据管道

安装ELK技术栈

安装Elasticsearch

运行Elasticsearch

配置Elasticsearch

Elasticsearch插件

安装Logstash

运行Logstash

Logstash的文件输入插件

Logstash的Elasticsearch输出插件

配置Logstash

安装Logstash forworder

Logstash插件

安装Kibana

配置Kibana

运行Kibana

Kibana的界面

总结

2 构建第一条ELK数据管道

输入的数据集

输入数据集的数据格式

配置Logstash1的输入

过滤和处理输入数据

将数据存储到Elasticsearch

使用Kibana可视化

运行Kibana

Kibana可视化组件

构建折线图

构建柱状图

构建度量

构建数据表

总结

3 使用Logstash采集、解析和转换数据

配置Logstash

Logstash插件

列出Logstash的所有插件

插件属性的数据类型

Logstash条件语句

Logstash插件的类型

总结

4 创建自定义Logstash插件

Logstash插件管理

插件生命周期管理

安装插件

更新插件

卸载插件

Logstash插件的结构

需要的依赖

类定义

配置插件名字

配置选项设置

插件方法

实现一个Logstash过滤器插件

构建插件

总结

5 为什么需要ELK中的Elasticsearch

为什么是Elasticsearch

E1asticsearch的基本概念

索引

文档

字段

类型

映射

分片

主分片和副本分片

集群

节点

探索Elasticsearch API

列出所有可用索引

列出集群中的所有节点

检查集群的健康状态

创建索引

检索文档

删除文档

Elasticsearch Query DSL

Elasticsearch插件

Bigdesk插件

Elastic-Hammer插件

Head插件

总结

6 使用Kibana理解数据

Kibana 4的功能

搜索词高亮显示

Elasticsearch聚合

衍生字段

动态仪表盘

Kibana界面

搜索页面

查询和检索数据

总结

7 Kibana可视化和仪表盘

可视化页面

创建可视化

可视化的类型

度量和桶聚合

可视化

仪表盘页面

创建新的仪表盘

保存和加载仪表盘

分享仪表盘

总结

8 构建完整的ELK技术栈

输入数据集

配置Logstash输入

访问日志的Grok表达式

Kibana可视化

运行Kibana

在搜索页进行搜索

可视化—图表

创建折线图

创建区域图

创建柱状图

创建Markdown

仪表盘页面

总结

9 生产环境的ELK技术栈

防止数据丢失

数据保护

系统可扩展性

数据保留

ELK技术栈实施案例

LinkedIn的ELK技术栈

SCA使用ELK的案例

SCA如何使用ELK

如何帮助分析

SCA使用ELK做监控

Cliffhanger Solutions使用ELK的案例

Kibana示例——Packetbeat仪表盘

总结

10 扩展ELK

Elasticsearch插件和工具

用于索引管理的Curator

用于安全的Shield

用于监控的Marvel

ELK的路线图

Elasticsearch路线图

Logstash路线图

Kibana路线图

总结