具体描述
在阿里巴巴集团内，数据人员面临的现实情况是：集团数据存储已经达到EB级别，部分单张表每天的数据记录数高达几千亿条；在2016年“双11购物狂欢节”的24小时中，支付金额达到了1207亿元人民币，支付峰值高达12万笔/秒，下单峰值达17.5万笔/秒，媒体直播大屏处理的总数据量高达百亿级别且所有数据都需要做到实时、准确地对外披露……巨大的信息量给数据采集、存储和计算都带来了极大的挑战。
《大数据之路：阿里巴巴大数据实践》就是在此背景下完成的。《大数据之路：阿里巴巴大数据实践》中讲到的阿里巴巴大数据系统架构，就是为了满足不断变化的业务需求，同时实现系统的高度扩展性、灵活性以及数据展现的高性能而设计的。
《大数据之路：阿里巴巴大数据实践》由阿里巴巴数据技术及产品部组织并完成写作，是阿里巴巴分享对大数据的认知，与生态伙伴共创数据智能的重要基石。相信《大数据之路：阿里巴巴大数据实践》中的实践和思考对同行会有很大的启发和借鉴意义。
作者简介
目录信息
第1篇 数据技术篇
第2章 日志采集 8
2.1 浏览器的页面日志采集 8
2.1.1 页面浏览日志采集流程 9
2.1.2 页面交互日志采集 14
2.1.3 页面日志的服务器端清洗和预处理 15
2.2 无线客户端的日志采集 16
2.2.1 页面事件 17
2.2.2 控件点击及其他事件 18
2.2.3 特殊场景 19
2.2.4 H5 & Native日志统一 20
2.2.5 设备标识 22
2.2.6 日志传输 23
2.3 日志采集的挑战 24
2.3.1 典型场景 24
2.3.2 大促保障 26
第3章 数据同步 29
3.1 数据同步基础 29
3.1.1 直连同步 30
3.1.2 数据文件同步 30
3.1.3 数据库日志解析同步 31
3.2 阿里数据仓库的同步方式 35
3.2.1 批量数据同步 35
3.2.2 实时数据同步 37
3.3 数据同步遇到的问题与解决方案 39
3.3.1 分库分表的处理 39
3.3.2 高效同步和批量同步 41
3.3.3 增量与全量同步的合并 42
3.3.4 同步性能的处理 43
3.3.5 数据漂移的处理 45
第4章 离线数据开发 48
4.1 数据开发平台 48
4.1.1 统一计算平台 49
4.1.2 统一开发平台 53
4.2 任务调度系统 58
4.2.1 背景 58
4.2.2 介绍 60
4.2.3 特点及应用 65
第5章 实时技术 68
5.1 简介 69
5.2 流式技术架构 71
5.2.1 数据采集 72
5.2.2 数据处理 74
5.2.3 数据存储 78
5.2.4 数据服务 80
5.3 流式数据模型 80
5.3.1 数据分层 80
5.3.2 多流关联 83
5.3.3 维表使用 84
5.4 大促挑战&保障 86
5.4.1 大促特征 86
5.4.2 大促保障 88
第6章 数据服务 91
6.1 服务架构演进 91
6.1.1 DWSOA 92
6.1.2 OpenAPI 93
6.1.3 SmartDQ 94
6.1.4 统一的数据服务层 96
6.2 技术架构 97
6.2.1 SmartDQ 97
6.2.2 iPush 100
6.2.3 Lego 101
6.2.4 uTiming 102
6.3 最佳实践 103
6.3.1 性能 103
6.3.2 稳定性 111
第7章 数据挖掘 116
7.1 数据挖掘概述 116
7.2 数据挖掘算法平台 117
7.3 数据挖掘中台体系 119
7.3.1 挖掘数据中台 120
7.3.2 挖掘算法中台 122
7.4 数据挖掘案例 123
7.4.1 用户画像 123
7.4.2 互联网反作弊 125
第2篇 数据模型篇
第8章 大数据领域建模综述 130
8.1 为什么需要数据建模 130
8.2 关系数据库系统和数据仓库 131
8.3 从OLTP和OLAP系统的区别看模型方法论的选择 132
8.4 典型的数据仓库建模方法论 132
8.4.1 ER模型 132
8.4.2 维度模型 133
8.4.3 Data Vault模型 134
8.4.4 Anchor模型 135
8.5 阿里巴巴数据模型实践综述 136
第9章 阿里巴巴数据整合及管理体系 138
9.1 概述 138
9.1.1 定位及价值 139
9.1.2 体系架构 139
9.2 规范定义 140
9.2.1 名词术语 141
9.2.2 指标体系 141
9.3 模型设计 148
9.3.1 指导理论 148
9.3.2 模型层次 148
9.3.3 基本原则 150
9.4 模型实施 152
9.4.1 业界常用的模型实施过程 152
9.4.2 OneData实施过程 154
第10章 维度设计 159
10.1 维度设计基础 159
10.1.1 维度的基本概念 159
10.1.2 维度的基本设计方法 160
10.1.3 维度的层次结构 162
10.1.4 规范化和反规范化 163
10.1.5 一致性维度和交叉探查 165
10.2 维度设计高级主题 166
10.2.1 维度整合 166
10.2.2 水平拆分 169
10.2.3 垂直拆分 170
10.2.4 历史归档 171
10.3 维度变化 172
10.3.1 缓慢变化维 172
10.3.2 快照维表 174
10.3.3 极限存储 175
10.3.4 微型维度 178
10.4 特殊维度 180
10.4.1 递归层次 180
10.4.2 行为维度 184
10.4.3 多值维度 185
10.4.4 多值属性 187
10.4.5 杂项维度 188
第11章 事实表设计 190
11.1 事实表基础 190
11.1.1 事实表特性 190
11.1.2 事实表设计原则 191
11.1.3 事实表设计方法 193
11.2 事务事实表 196
11.2.1 设计过程 196
11.2.2 单事务事实表 200
11.2.3 多事务事实表 202
11.2.4 两种事实表对比 206
11.2.5 父子事实的处理方式 208
11.2.6 事实的设计准则 209
11.3 周期快照事实表 210
11.3.1 特性 211
11.3.2 实例 212
11.3.3 注意事项 217
11.4 累积快照事实表 218
11.4.1 设计过程 218
11.4.2 特点 221
11.4.3 特殊处理 223
11.4.4 物理实现 225
11.5 三种事实表的比较 227
11.6 无事实的事实表 228
11.7 聚集型事实表 228
11.7.1 聚集的基本原则 229
11.7.2 聚集的基本步骤 229
11.7.3 阿里公共汇总层 230
11.7.4 聚集补充说明 234
第3篇 数据管理篇
第12章 元数据 236
12.1 元数据概述 236
12.1.1 元数据定义 236
12.1.2 元数据价值 237
12.1.3 统一元数据体系建设 238
12.2 元数据应用 239
12.2.1 Data Profile 239
12.2.2 元数据门户 241
12.2.3 应用链路分析 241
12.2.4 数据建模 242
12.2.5 驱动ETL开发 243
第13章 计算管理 245
13.1 系统优化 245
13.1.1 HBO 246
13.1.2 CBO 249
13.2 任务优化 256
13.2.1 Map倾斜 257
13.2.2 Join倾斜 261
13.2.3 Reduce倾斜 269
第14章 存储和成本管理 275
14.1 数据压缩 275
14.2 数据重分布 276
14.3 存储治理项优化 277
14.4 生命周期管理 278
14.4.1 生命周期管理策略 278
14.4.2 通用的生命周期管理矩阵 280
14.5 数据成本计量 283
14.6 数据使用计费 284
第15章 数据质量 285
15.1 数据质量保障原则 285
15.2 数据质量方法概述 287
15.2.1 消费场景知晓 289
15.2.2 数据加工过程卡点校验 292
15.2.3 风险点监控 295
15.2.4 质量衡量 299
第4篇 数据应用篇
第16章 数据应用 304
16.1 生意参谋 305
16.1.1 背景概述 305
16.1.2 功能架构与技术能力 307
16.1.3 商家应用实践 310
16.2 对内数据产品平台 313
16.2.1 定位 313
16.2.2 产品建设历程 314
16.2.3 整体架构介绍 317
附录A 本书插图索引 320
· · · · · · (收起)
读后感
数据是公司的资产已经成了事实上的信仰，从数据洞察商业规律，为决策提供支撑，创造价值，为商业赋能，一直是IT的愿景使命和不懈追求之一。在小数据时代，各大企业、机构的探索和努力方向主要体现在BI和数据仓库等应用上，对于当时数量相对有限、结构严谨有序的数据，这些工具...
评分数据是公司的资产已经成了事实上的信仰，从数据洞察商业规律，为决策提供支撑，创造价值，为商业赋能，一直是IT的愿景使命和不懈追求之一。在小数据时代，各大企业、机构的探索和努力方向主要体现在BI和数据仓库等应用上，对于当时数量相对有限、结构严谨有序的数据，这些工具...
评分HW产品配置系统部部长推荐语： 几年前，有人提出“人类正从IT时代走向DT时代”，社会上也不少人著书立说，纷繁解读，大家一时躁动不止。今天，以物联网、云计算、大数据、人工智能等为代表的新技术革命正在渗透着各行各业，并在悄悄的深深的影响、改变着我们的生活。出门...
评分 评分这本书作为我的2018开年第二本阅读的技术书籍，读完之后感觉受益良多 第一，对于整个大数据的体系有了更多且清晰的认知 第二，对于不同系统的逻辑处理方式给予了引导 第三，毕竟是阿里多年技术的累计产出，而且都是阿里技术大牛写的，干货相当多 最后，如果对于大数据方向想有...
用户评价
阅读体验上，这本书给人的感觉非常“重”，并非指页数多，而是指其知识密度大到需要放慢速度，反复咀嚼。它像是一部精心编排的交响乐，不同章节之间有着微妙的呼应和递进关系，每一个技术概念的引入都建立在前面章节的坚实基础上。特别是在处理“实时流数据处理”的部分，作者采用了非常独特的“场景化教学”方式，他没有直接抛出Spark Streaming或Flink的API，而是先构建了一个模拟金融高频交易场景下的数据洪流，然后逐步引入合适的中间件和处理范式来解决延迟和一致性的挑战。这种由问题驱动的学习路径，极大地激发了我的探索欲。我仿佛跟着作者一起在代码和架构图之间穿梭，亲手搭建起一个个复杂的数据管道。虽然过程充满挑战，但每当成功理清一个复杂的依赖关系时，那种成就感是无与伦比的。这本书的挑战性在于它要求读者具备一定的工程背景，但对于那些愿意投入时间和精力去深入挖掘的读者来说，它提供的回报是远超预期的系统性知识框架。
评分这本书最让我感到耳目一新的地方，在于它对“数据可视化”这一环节的重视程度，将其提升到了战略高度，而非仅仅看作是报表制作的附属品。作者认为，在海量数据面前，人类的认知负荷是有限的，因此，如何设计出能够揭示深层模式的视觉界面，是大数据价值链条上决定性的一环。书中花了相当大的篇幅讨论了认知心理学在数据呈现中的应用，比如如何利用颜色梯度、拓扑结构和交互反馈来引导用户的注意力。我特别喜欢其中关于“高维数据降维可视化”的章节，它不仅介绍了PCA、t-SNE等经典方法，更着重讨论了在特定业务场景下，选择哪种降维策略才能最真实地反映业务逻辑，而不是制造出误导性的“伪相关性”。读到这里，我感觉自己不仅仅是在学习技术，更是在学习一种新的“观察世界”的方式。这本书成功地将冰冷的技术逻辑与人类直观的感知能力巧妙地结合起来，让数据不再是屏幕上跳动的数字，而成为了可以“看得到、摸得着”的知识形态。
评分坦白说，我之前读过几本关于大数据技术的入门读物，它们大多浮于表面，充斥着大量过时的技术堆砌，读完后感觉像是“什么都知道一点，但什么都不精通”。然而，这本《大数据之路》彻底颠覆了我的这种印象。它的核心价值在于其对“规模化复杂性”的深刻洞察。作者似乎对“扩展性”这个问题有着近乎痴迷的研究，他不仅仅描述了如何使用MapReduce解决大规模计算问题，更深入探讨了在大规模集群中，如何优雅地处理节点故障、网络分区和数据倾斜这些“系统性不可靠因素”。书中的一个案例分析，专门讨论了某个知名互联网公司在应对“双十一”流量洪峰时，数据仓库架构是如何从单体结构缓慢迭代至多层级微服务化架构的。这个过程的描述极为详尽，包含了无数次失败的尝试、性能瓶颈的定位，以及最终优化后的性能曲线对比。这种对“实践中的挣扎”的忠实记录，是任何理论书籍无法比拟的。它让我明白了，大数据技术的发展不是一蹴而就的，而是充满试错与修正的动态过程。
评分初翻开这册书，我本以为会邂逅一连串令人眼花缭乱的前沿算法和模型介绍，毕竟“大数据”这个词汇总是与人工智能、机器学习紧密相连。但这本书却出乎意料地将重心放在了数据的“治理”与“伦理”层面，这着实给了我一个惊喜。作者的叙事风格犹如一位经验老到的社会学家，而非冷冰冰的程序员。他用一种近乎散文式的笔调，探讨了数据在社会结构中所扮演的角色变化，以及随之而来的权力转移问题。其中关于数据隐私保护的章节，简直是教科书级别的深度剖析，它没有停留在呼吁和谴责的层面，而是系统性地梳理了各国在立法上的尝试与困境，并提出了几种极具前瞻性的去中心化身份验证框架的设想。我感到一种强烈的共鸣，因为在这个信息爆炸的时代，我们每个人都在以不同的方式被数据定义，而这本书则试图给我们一个“反抗”或至少是“理解”这种定义的工具。它让我重新审视了自己每天留下的数字足迹，不再仅仅是用户，而是开始思考自己作为数据主体所应有的权利和责任。这种由技术驱动向人文关怀的视角转换，极大地提升了这本书的厚度。
评分这本名为《大数据之路》的书，光是标题就充满了引人入胜的史诗感，仿佛带领读者踏入一片充满未知与机遇的广袤数据海洋。我拿到这本书的时候，内心充满了期待，希望它能像一艘坚固的船，载着我这枚初探数字世界的水手，避开那些暗礁险滩，直抵数据价值的彼岸。然而，读完之后，我发现它更像是一份详尽的航海日志，记录了前人探索过程中的种种曲折、发现的宝藏点，以及那些最终被证明是死胡同的航线。书中对数据采集、存储和处理的底层逻辑进行了深入剖析，尤其在分布式系统的架构演进部分，作者的笔触细腻而专业，将那些原本晦涩难懂的概念，通过生动的比喻和严谨的图示，变得清晰可见。我尤其欣赏其中对于“数据孤岛”现象的批判性思考，这不仅仅是技术层面的问题，更是组织文化和管理哲学的体现。书里没有过多炫耀那些光鲜亮丽的商业案例，而是专注于技术栈是如何一步步构建起来的，这种务实、近乎偏执的细节描述，对于真正想理解大数据生态系统底层运作机制的人来说，价值无可估量。它让你明白，每一个时髦的技术名词背后，都凝结着无数工程师无数个不眠之夜的智慧与汗水，这远比阅读那些空泛的“赋能未来”的宣传口号要来得实在得多。
评分年度技术书推荐. 横向来说涵盖了数据业务的各个方面, 纵向来说有各个技术方案的背景,原因,演化路径. 限制. 非常难得. 最近正在做流式计算部分, 有一些需求想不清楚能不能接, 看到阿里都都不支持, 我们也果断不支持了....
评分冰冻三尺，非一日之寒。阿里数据体系全图。业务不涉及，很多章节只能脑补。
评分系统地从规范，模型，平台，应用等多层次对阿里大数据产品实践做了一遍梳理，值得一读。
评分看个热闹。
评分读到第一章收集数据部分，我们现在数据收集人肉工作量太大，纯业务埋点，无无痕埋点。闭环没闭上。书中能看到自己当时经历的那一部分只是阿里大数据大版图中很小很小的一块。庆幸现在的平台。全书读完，发现主要集中在ODPS内容。后半部分的数据仓库方法论读起来太干，快翻。
