适读人群 ：本书可作为信息类专业学生、研究人员，行业运维工程师、数据分析人员、架构师、技术管理者等的学习教材，初学者可以在书中了解入门的基础知识，同时书中的一些经验之谈、设计技巧、案例等也可以给专业人士一些参考。

一本书帮助读者快速入门日志管理与分析。

第1章 走近日志 001

1．1 什么是日志 002

1．1．1 日志的概念 002

1．1．2 日志生态系统 002

1．1．3 日志的作用 003

1．2 日志数据 004

1．2．1 日志环境与日志类型 005

1．2．2 日志语法 006

1．2．3 日志管理规范 009

1．2．4 日志使用误区 009

1．3 云日志 010

1．4 日志使用场景 011

1．4．1 运维监控 011

1．4．2 安全审计 012

1．4．3 业务分析 013

1．4．4 物联网 015

1．5 日志未来展望 016

第2章 日志管理 017

2．1 概述 018

2．2 日志管理相关法律 018

2．3 日志管理要求 019

2．4 日志管理中存在的问题 019

2．5 日志管理的好处 020

2．6 日志归档 024

第3章 日志管理与分析系统 025

3．1 日志管理与分析系统的基本功能 026

3．1．1 日志采集 026

3．1．2 数据清洗 027

3．1．3 日志存储 027

3．1．4 日志告警 027

3．1．5 日志分析 028

3．1．6 日志可视化 028

3．1．7 日志智能分析 028

3．1．8 用户与权限管理 029

3．1．9 系统管理 029

3．2 日志管理与分析系统技术选型 030

3．2．1 日志分析的基本工具 030

3．2．2 开源+自研 032

3．2．3 商业产品 032

3．3 小结 035

第4章 日志采集 036

4．1 日志采集方式 037

4．1．1 Agent采集 037

4．1．2 Syslog 038

4．1．3 抓包 039

4．1．4 接口采集 039

4．1．5 业务埋点采集 040

4．1．6 Docker日志采集 040

4．2 日志采集常见问题 041

4．2．1 事件合并 042

4．2．2 高并发日志采集 043

4．2．3 深层次目录采集 043

4．2．4 大量小文件日志采集 044

4．2．5 其他日志采集问题 044

4．3 小结 045

第5章 字段解析 046

5．1 字段的概念 047

5．2 通用字段 048

5．2．1 时间戳 048

5．2．2 日志来源 048

5．2．3 执行结果 049

5．2．4 日志优先级 049

5．3 字段抽取 049

5．3．1 日志语法 050

5．3．2 字段抽取方法 050

5．3．3 常用日志类型的字段抽取 052

5．4 schema on write与schema on read 054

5．5 字段解析常见问题 055

5．5．1 字段存在别名 055

5．5．2 多个时间戳 055

5．5．3 特殊字符 055

5．5．4 封装成标准日志 056

5．5．5 类型转换 056

5．5．6 敏感信息替换 056

5．5．7 HEX转换 057

5．6 小结 057

第6章 日志存储 058

6．1 概述 059

6．2 日志存储形式 059

6．2．1 普通文本 059

6．2．2 二进制文本 060

6．2．3 压缩文本 063

6．2．4 加密文本 064

6．3 日志存储方式 064

6．3．1 数据库存储 064

6．3．2 分布式存储 067

6．3．3 文件检索系统存储 069

6．3．4 云存储 071

6．4 日志物理存储 073

6．5 日志留存策略 073

6．5．1 空间策略维度 074

6．5．2 时间策略维度 074

6．5．3 起始位移策略维度 074

6．6 日志搜索引擎 074

6．6．1 日志搜索概述 075

6．6．2 实时搜索引擎 075

6．7 小结 077

第7章 日志分析 078

7．1 概述 079

7．2 日志分析现状 079

7．2．1 对日志的必要性认识不足 079

7．2．2 缺乏日志分析专业人才 079

7．2．3 日志体量大且分散，问题定位难 080

7．2．4 数据外泄 080

7．2．5 忽略日志本身的价值 080

7．3 日志分析解决方案 080

7．3．1 数据集中管理 080

7．3．2 日志分析维度 081

7．4 常用分析方法 082

7．4．1 基线 082

7．4．2 聚类 083

7．4．3 阈值 083

7．4．4 异常检测 083

7．4．5 机器学习 084

7．5 日志分析案例 085

7．5．1 Linux系统日志分析案例 085

7．5．2 运营分析案例 086

7．5．3 交易监控案例 088

7．5．4 VPN异常用户行为监控案例 088

7．5．5 高效运维案例 089

7．6 SPL简介 090

7．7 小结 092

第8章 日志告警 093

8．1 概述 094

8．2 监控设置 094

8．3 告警监控分类 098

8．3．1 命中数统计类型的告警监控 098

8．3．2 字段统计类型的告警监控 099

8．3．3 连续统计类型的告警监控 100

8．3．4 基线对比类型的告警监控 100

8．3．5 自定义统计类型的告警监控 101

8．3．6 智能告警 102

8．4 告警方式 102

8．4．1 告警发送方式 102

8．4．2 告警抑制和恢复 105

8．4．3 告警的插件化管理 105

8．5 小结 105

第9章 日志可视化 106

9．1 概述 107

9．2 可视化分析 107

9．2．1 初识可视化 107

9．2．2 图表与数据 109

9．3 图表详解 110

9．3．1 序列类图表 110

9．3．2 维度类图表 116

9．3．3 关系类图表 119

9．3．4 复合类图表 123

9．3．5 地图类图表 125

9．3．6 其他图表 127

9．4 日志可视化案例 134

9．4．1 MySQL性能日志可视化 134

9．4．2 金融业务日志可视化 138

9．5 小结 140

第10章 日志平台兼容性与扩展性 142

10．1 RESTful API 143

10．1．1 RESTful API概述 143

10．1．2 常见日志管理API类型 144

10．1．3 API设计案例 145

10．2 日志App 147

10．2．1 日志App 概述 147

10．2．2 日志App的作用和特点 147

10．2．3 常见日志App类型 148

10．2．4 典型日志App案例 151

10．2．5 日志App的发展 155

第11章 智能运维 157

11．1 概述 158

11．2 异常检测 159

11．2．1 单指标异常检测 160

11．2．2 多指标异常检测 166

11．3 根因分析 167

11．3．1 相关性分析 168

11．3．2 事件关联关系挖掘 170

11．4 日志分析 170

11．4．1 日志预处理 171

11．4．2 日志模式识别 172

11．4．3 日志异常检测 172

11．5 告警收敛 173

11．6 趋势预测 175

11．7 智能运维面临的挑战 176

第12章 SIEM 177

12．1 概述 178

12．2 信息安全建设中存在的问题 179

12．3 日志分析在SIEM中的作用 179

12．4 日志分析与安全设备分析的异同 180

12．5 SIEM功能架构 181

12．6 SIEM适用场景 182

12．7 用户行为分析 191

12．8 小结 198

参考文献 199

序 言

每位IT工程师，无论是从事开发、运维还是安全工作，都不可避免地要与IT日志打交道。IT日志，无论是系统日志、网络日志、还是应用日志，都是IT系统最重要的数据之一。

我20多年前进入IT行业，在思科从事网络设备的软件开发，为了知道开发的软件是否正常运行，以及出错时及时定位问题，需要查看网络设备的日志。最早我是用编辑器如vi手工查看日志的，靠肉眼搜寻日志里的信息或异常。为了提升效率，我也用grep等命令，或者写shell脚本程序，以及使用awk、sed等高级工具，对日志进行半自动化处理。

后来，我加入谷歌从事网页搜索工作。十多年前谷歌每天都要爬取100多亿个网页，在爬取各个网页时，可能遇到各种各样的错误，网页爬虫软件每天产生的日志就达数百TB。那么大的日志文件，已经无法用vi这样的编辑器打开查看，使用shell脚本程序或awk、sed等工具来查看日志，效率也非常低。当时谷歌内部已经普遍开始使用MapReduce编程架构（类似Hadoop的软件），我们就写MapReduce程序来分析日志，每天生成分析报表。每当遇到需要新的分析项时，又得添加MapReduce程序，还得运行MapReduce程序几十分钟甚至几个小时，才能生成分析结果。这是程序化处理海量日志的开始。

再后来我加入腾讯和高德地图，都需要处理数据中心或后台系统产生的大量日志，面对每天产生的海量日志，shell命令或脚本程序，以及awk、sed等工具，已经满足不了需求。我尝试过自己开发软件处理日志，以及使用Hadoop处理日志。当时，业界也有使用数据库存储、分析日志的解决方案，但日志是非结构化数据，数据库这种处理结构化数据的系统完全不适合处理日志。

大约10年前，IT进入大数据时代。运用大数据技术分析海量日志，属于IT运维分析（IT Operation Analytics，ITOA）这个新领域。在ITOA产生之前，IT运维主要还是IT运维管理（IT Operation Management，ITOM）。ITOA是ITOM的升级，是用大数据技术分析IT运维产生的海量数据的方法。数据源除了日志，还可能是网络流量，以及应用性能管理（Application Performance Management，APM）的探针数据。

Hadoop是广泛使用的大数据分析框架，后来又出现了更实时的Spark、Flink等框架。使用Hadoop/Spark/Flink等框架分析日志需要研发投入，每次有新的分析需求或新的日志，都需要投入研发资源。也有使用各种NoSQL来存储、分析日志的，如Clickhouse，MongoDB等，但这些基于Key-Value的NoSQL系统，适合预先抽取了日志里需要分析的字段，或者程序已经做了改造，使用JSON等格式，输出的日志已经基本结构化。

对于大多数难以改造的应用系统，输出的日志是自由文本格式，实时搜索引擎是最好的解决方案。使用搜索引擎分析日志，可以搜索日志里的任何字段，如同网页搜索引擎可以搜索任何网页一样方便。对于需要分析的日志字段，可以在日志进入搜索引擎前抽取字段（Schema on Write）或在搜索分析日志时才抽取字段（Schema on Read，Schema on Fly，Schemaless）。与网页搜索引擎相比，日志搜索分析引擎更注重实时性，要求日志从产生到搜索分析出结果，只有几十秒的延时，而对于网页搜索的核心功能搜索相关性、搜索排序等，则基本用不上。

2003年Splunk在美国硅谷横空出世，这是第一个使用实时搜索引擎分析日志的产品。2010年Elasticsearch诞生，虽然Elasticsearch是个通用搜索引擎，但因为其开源免费，也被业界广泛应用于日志搜索分析。2014年日志易在中国诞生，中国用户有了更多的选择。

日志分析主要用于业务运维的可用性分析及应用性能分析，也可用于安全分析，以及实时业务分析。随着信息安全的发展，基于大数据的安全分析已经成为行业趋势。各种安全攻击层出不穷，需要基于全量日志和网络流量，对IT系统进行全面监测、分析，及时发现安全攻击。由此，诞生了基于日志的安全信息事件管理（Security Information Event Management，SIEM）及用户端点行为分析（User & Entity Behavior Analytics，UEBA）解决方案，SIEM与UEBA已经成为安全运营中心（Security Operation Center，SOC）不可或缺的核心组件。

基于日志做实时业务分析，相较于基于数据库的商业智能（Business Intelligence，BI），更加实时，而且不会对主要用于支撑交易的数据库造成压力，影响业务交易，这也是现在普遍应用的在线分析处理（On-Line Analytics Processing，OLAP）技术。

物联网（Internet of Things，IoT）的兴起，产生了海量物联网数据需要分析，这些物联网数据与日志类似，都是带时间戳的时间序列机器数据，同样可以用日志搜索分析引擎进行分析。

近年来，日志分析又有了进一步发展。人工智能的普及，也应用到日志分析上，诞生了智能运维（AI for IT Operations，AIOps）技术，把机器学习、人工智能算法应用到分析日志等IT运维产生的数据上。同时，结合IT系统指标数据（Metrics），系统调用链数据（Tracing），及日志（Log），共同分析，实现IT系统可观察性（Observability）。

现在，苹果手机、微信等广泛使用的系统每天在后台产生的新增日志量已经达到PB级。IT日志数据这座金矿亟待开发，日志分析大有可为。

越来越多的公司在采集、管理、分析日志，为了帮助IT运维、安全及研发人员及管理人员更好地理解日志、实现日志的价值，日志易团队结合过去多年在日志管理分析领域积累的经验，凝聚集体智慧，耗时近两年，写成了《日志管理与分析》一书。这本书涵盖了日志管理、分析的各个方面，全面介绍了日志分析在运维和安全方面应用，以及智能运维。

IT运维工程师通过本书，可以了解日志系统的选型，如何分析日志，实现系统可用性监控及应用性能监控、故障发现与根因分析，以及智能运维。安全工程师通过本书，可以了解如何基于大数据进行安全分析，以及SIEM和UEBA。研发工程师通过本书，可以了解开发日志管理分析系统的关键点。IT架构师和管理人员通过本书，可以了解日志分析系统在企业IT管理中的作用及如何建设高效的日志管理分析系统。