具体描述
作者简介
王雪迎，毕业于中国地质大学计算机专业，高级工程师，拥有20年数据库、数据仓库相关技术经验。曾先后供职于北京现代商业信息技术有限公司、北京在线九州信息技术服务有限公司、华北计算技术研究所、北京优贝在线网络科技有限公司，担任DBA、数据架构师等职位。
目录信息
第1章 数据仓库简介
1.1 什么是数据仓库 1
1.1.1 数据仓库的定义 1
1.1.2 建立数据仓库的原因 3
1.2 操作型系统与分析型系统 5
1.2.1 操作型系统 5
1.2.2 分析型系统 8
1.2.3 操作型系统和分析型系统对比 9
1.3 数据仓库架构 10
1.3.1 基本架构 10
1.3.2 主要数据仓库架构 12
1.3.3 操作数据存储 16
1.4 抽取-转换-装载 17
1.4.1 数据抽取 17
1.4.2 数据转换 19
1.4.3 数据装载 20
1.4.4 开发ETL系统的方法 21
1.4.5 常见ETL工具 21
1.5 数据仓库需求 22
1.5.1 基本需求 22
1.5.2 数据需求 23
1.6 小结 24
第2章 数据仓库设计基础
2.1 关系数据模型 25
2.1.1 关系数据模型中的结构 25
2.1.2 关系完整性 28
2.1.3 规范化 30
2.1.4 关系数据模型与数据仓库 33
2.2 维度数据模型 34
2.2.1 维度数据模型建模过程 35
2.2.2 维度规范化 36
2.2.3 维度数据模型的特点 37
2.2.4 星型模式 38
2.2.5 雪花模式 40
2.3 Data Vault模型 42
2.3.1 Data Vault模型简介 42
2.3.2 Data Vault模型的组成部分 43
2.3.3 Data Vault模型的特点 44
2.3.4 Data Vault模型的构建 44
2.3.5 Data Vault模型实例 46
2.4 数据集市 49
2.4.1 数据集市的概念 50
2.4.2 数据集市与数据仓库的区别 50
2.4.3 数据集市设计 50
2.5 数据仓库实施步骤 51
2.6 小结 54
第3章 Hadoop生态圈与数据仓库
3.1 大数据定义 55
3.2 Hadoop简介 56
3.2.1 Hadoop的构成 57
3.2.2 Hadoop的主要特点 58
3.2.3 Hadoop架构 58
3.3 Hadoop基本组件 59
3.3.1 HDFS 60
3.3.2 MapReduce 65
3.3.3 YARN 72
3.4 Hadoop生态圈的其他组件 77
3.5 Hadoop与数据仓库 81
3.5.1 关系数据库的可扩展性瓶颈 82
3.5.2 CAP理论 84
3.5.3 Hadoop数据仓库工具 85
3.6 小结 88
第4章 安装Hadoop
4.1 Hadoop主要发行版本 89
4.1.1 Cloudera Distribution for Hadoop（CDH） 89
4.1.2 Hortonworks Data Platform（HDP） 90
4.1.3 MapR Hadoop 90
4.2 安装Apache Hadoop 91
4.2.1 安装环境 91
4.2.2 安装前准备 92
4.2.3 安装配置Hadoop 93
4.2.4 安装后配置 97
4.2.5 初始化及运行 97
4.3 配置HDFS Federation 99
4.4 离线安装CDH及其所需的服务 104
4.4.1 CDH安装概述 104
4.4.2 安装环境 106
4.4.3 安装配置 106
4.4.4 Cloudera Manager许可证管理 114
4.5 小结 115
第5章 Kettle与Hadoop
5.1 Kettle概述 117
5.2 Kettle连接Hadoop 119
5.2.1 连接HDFS 119
5.2.2 连接Hive 124
5.3 导出导入Hadoop集群数据 128
5.3.1 把数据从HDFS抽取到RDBMS 128
5.3.2 向Hive表导入数据 132
5.4 执行Hive的HiveQL语句 134
5.5 MapReduce转换示例 135
5.6 Kettle提交Spark作业 143
5.6.1 安装Spark 143
5.6.2 配置Kettle向Spark集群提交作业 146
5.7 小结 149
第6章 建立数据仓库示例模型
6.1 业务场景 150
6.2 Hive相关配置 152
6.2.1 选择文件格式 152
6.2.2 支持行级更新 159
6.2.3 Hive事务支持的限制 164
6.3 Hive表分类 164
6.4 向Hive表装载数据 169
6.5 建立数据库表 174
6.6 装载日期维度数据 179
6.7 小结 180
第7章 数据抽取
7.1 逻辑数据映射 182
7.2 数据抽取方式 185
7.3 导出成文本文件 191
7.4 分布式查询 196
7.5 使用Sqoop抽取数据 200
7.5.1 Sqoop简介 200
7.5.2 CDH 5.7.0中的Sqoop 203
7.5.3 使用Sqoop抽取数据 203
7.5.4 Sqoop优化 207
7.6 小结 208
第8章 数据转换与装载
8.1 数据清洗 210
8.2 Hive简介 214
8.2.1 Hive的体系结构 215
8.2.2 Hive的工作流程 216
8.2.3 Hive服务器 218
8.2.4 Hive客户端 221
8.3 初始装载 231
8.4 定期装载 236
8.5 Hive优化 246
8.6 小结 254
第9章 定期自动执行ETL作业
9.1 crontab 256
9.2 Oozie简介 260
9.2.1 Oozie的体系结构 260
9.2.2 CDH 5.7.0中的Oozie 262
9.3 建立定期装载工作流 262
9.4 建立协调器作业定期自动执行工作流 271
9.5 Oozie优化 275
9.6 小结 276
第10章 维度表技术
10.1 增加列 278
10.2 维度子集 285
10.3 角色扮演维度 292
10.4 层次维度 298
10.4.1 固定深度的层次 299
10.4.2 递归 302
10.4.3 多路径层次 310
10.4.4 参差不齐的层次 312
10.5 退化维度 313
10.6 杂项维度 316
10.7 维度合并 323
10.8 分段维度 329
10.9 小结 335
第11章 事实表技术
11.1 事实表概述 336
11.2 周期快照 337
11.3 累积快照 343
11.4 无事实的事实表 349
11.5 迟到的事实 354
11.6 累积度量 360
11.7 小结 366
第12章 联机分析处理
12.1 联机分析处理简介 367
12.1.1 概念 367
12.1.2 分类 368
12.1.3 性能 371
12.2 Impala简介 371
12.3 Hive、SparkSQL、Impala比较 377
12.3.1 Spark SQL简介 377
12.3.2 Hive、Spark SQL、Impala比较 379
12.3.3 Hive、Spark SQL、Impala性能对比 382
12.4 联机分析处理实例 387
12.5 Apache Kylin与OLAP 399
12.5.1 Apache Kylin架构 399
12.5.2 Apache Kylin安装 401
12.6 小结 407
第13章 数据可视化
13.1 数据可视化简介 408
13.2 Hue简介 410
13.2.1 Hue功能快速预览 411
13.2.2 配置元数据存储 412
13.3 Zeppelin简介 415
13.3.1 Zeppelin架构 415
13.3.2 Zeppelin安装配置 416
13.3.3 在Zeppelin中添加MySQL翻译器 421
13.4 Hue、Zeppelin比较 425
13.5 数据可视化实例 426
13.6 小结 434
· · · · · · (收起)
读后感
书中涉及到使用Hadoop建立数据仓库使用到的几乎所有的工具，并且介绍了建设数仓涉及到的理论知识，比如维度建模中纬度技术事实表技术都讲解的挺多，当然此书也更倾向于实践，书中涉及到的各种工具的安装使用，安装过程看的很少，一带而过，甚至没看。理论知识挺有实战性，涉及...
评分书中涉及到使用Hadoop建立数据仓库使用到的几乎所有的工具，并且介绍了建设数仓涉及到的理论知识，比如维度建模中纬度技术事实表技术都讲解的挺多，当然此书也更倾向于实践，书中涉及到的各种工具的安装使用，安装过程看的很少，一带而过，甚至没看。理论知识挺有实战性，涉及...
评分书中涉及到使用Hadoop建立数据仓库使用到的几乎所有的工具，并且介绍了建设数仓涉及到的理论知识，比如维度建模中纬度技术事实表技术都讲解的挺多，当然此书也更倾向于实践，书中涉及到的各种工具的安装使用，安装过程看的很少，一带而过，甚至没看。理论知识挺有实战性，涉及...
评分书中涉及到使用Hadoop建立数据仓库使用到的几乎所有的工具，并且介绍了建设数仓涉及到的理论知识，比如维度建模中纬度技术事实表技术都讲解的挺多，当然此书也更倾向于实践，书中涉及到的各种工具的安装使用，安装过程看的很少，一带而过，甚至没看。理论知识挺有实战性，涉及...
评分书中涉及到使用Hadoop建立数据仓库使用到的几乎所有的工具，并且介绍了建设数仓涉及到的理论知识，比如维度建模中纬度技术事实表技术都讲解的挺多，当然此书也更倾向于实践，书中涉及到的各种工具的安装使用，安装过程看的很少，一带而过，甚至没看。理论知识挺有实战性，涉及...
用户评价
这本书的封面设计实在是太吸引人了，那种深邃的蓝色调配上简洁的白色字体，一下子就让人联想到浩瀚的数据海洋和其中蕴藏的巨大潜力。我刚拿到手的时候，就被那种厚重感所吸引，心里暗自期待着里面能有什么惊人的干货。从目录上看，它似乎涵盖了数据仓库的方方面面，从基础理论到具体实施步骤，脉络清晰得让人放心。我尤其对其中关于数据治理和数据质量控制的章节很感兴趣，毕竟在实际工作中，数据“脏”是比“少”更让人头疼的问题。希望作者能提供一些实战中切实可行、甚至是颠覆传统思维的解决方案，而不是空泛的理论陈述。光是翻阅前言部分，就能感受到作者在这一领域的深厚积累和对技术的热忱，文字之间透露着一种务实的专业精神，让人忍不住想立刻沉下心来，一头扎进去。这本书的装帧质量也相当不错，纸张的触感很好，长时间阅读也不会觉得刺眼疲劳，这对于一本技术工具书来说，无疑是一个加分项，体现了出版方对读者的尊重。
评分这本书的理论深度和实践广度达到了一个令人称奇的平衡点，读起来完全没有那种枯燥乏味的感觉。它不像某些教科书那样，把Hadoop的技术细节堆砌得像一座难以攀登的高山，而是巧妙地将复杂的分布式计算概念，通过一系列贴近实际业务场景的案例进行阐述。我特别欣赏作者在讲解数据建模时所采取的迭代式思维，而不是一味地推崇某种固定的范式。这种处理方式非常符合当前快速变化的数据环境需求，让人感觉作者真正理解了现代数据仓库建设所面临的挑战——需求是不断演进的。每当读到一个关键的技术点，我总能预期到作者会给出至少两种以上的实现路径对比，这一点对于需要做技术选型的架构师来说，价值是无可估量的。这种对比分析，避免了“只有一种正确答案”的误区，极大地拓宽了读者的技术视野和决策能力。
评分这本书所展现的远不止于Hadoop本身的技术栈，它更像是一份关于构建现代数据生态系统的哲学指南。作者在书中反复强调的“数据即资产”的理念，贯穿了从数据采集到最终价值变现的全过程。我特别欣赏其中关于“业务价值驱动”的论述，它提醒着技术人员，所有的技术选型和架构设计，最终都要回归到能否有效支撑业务决策这一根本目的上。这使得这本书的适用范围超越了单纯的技术实现，上升到了战略层面。对于那些仅仅停留在“会写MapReduce”阶段的技术人员来说，这本书会是一剂强心针，促使他们去思考如何将技术能力转化为商业影响力，实现从“码农”到“数据架构师”的思维跃迁。它不仅仅是教你如何使用工具，更重要的是教你如何运用这些工具去创造真正的价值。
评分我不得不说，这本书的排版设计简直是一次视觉上的享受，这对于一本技术书籍来说，是非常罕见的优点。清晰的字体选择，合理的段落留白，以及关键代码块和流程图的精美绘制，都极大地减轻了阅读的疲劳感。那些原本可能需要对照着官方文档反复研读才能理解的复杂架构图，在这里被简化得一目了然，关键路径被用粗体或高亮标出，使得学习曲线变得异常平缓。更值得称赞的是，作者对于图表的引用不是为了凑页数，每一个图示、每一个表格，都是为了强化某个特定的技术概念或对比结果。这表明作者在内容创作之初，就已经将读者的阅读体验置于核心位置，而不是简单地将技术文档东拼西凑一番，这种用心程度，在当前快餐式学习资料中，实属难得。
评分阅读体验上，这本书的行文节奏把握得非常到位，语言流畅，逻辑跳转自然，丝毫没有生涩拗口之处。对于我们这些非科班出身，但工作需要直接面对大数据平台搭建的工程师而言，最大的障碍往往是晦涩的术语和跳跃的逻辑链条。然而，这本书却能像一位经验丰富的老前辈，耐心地引导你一步步深入核心。它在处理章节间的衔接时，总会用一小段话来总结前一节的知识点，并自然地引出下一节将要解决的问题，这种结构设计极大地提升了学习的连贯性。特别是当涉及到资源调优和性能监控的部分，作者提供的排查思路和故障恢复的最佳实践，简直就是一份“救命稻草”。我甚至在午休时间随便翻阅了一页，就被其中一个关于MapReduce参数优化的细节所吸引，立刻停下来做了笔记，可见其内容的精炼和实用性。
评分浅显易懂
评分Hadoop整体生态圈写的比较全面
评分Hadoop整体生态圈写的比较全面
评分这是看的第一本Hadoop的书，给了我一个基本的影像，介绍了Hadoop生态圈的基本情况，有一个基本的了解和认知。和我之前的知识结构不同的是，Hadoop在解决的是关于数据的一切问题，而基于这个问题又产生了许多无数的工具和插件形成了大数据工具Hadoop的生态圈，在这个生态圈里解决的全部是数据问题，数据问题解决了之后就可以更好的解决技术架构问题和业务架构问题，进而可以完善商业架构和模式的优化。以前做一个网站，最重要的是前端好看、效率高、体验好，现在是因为后段技术架构好、数据相应速度快、数据准确性高、关联度更好，可视化更有优势；未来，大数据一定会从后台走向前台，让世界看到数据的价值。这本书是入门，非常适合对Hadoop一无所知的各类人群查看、翻阅，翻阅完成之后可以结合业务、技术架构更好的思考。
评分一步一细节，详尽的介绍了Hadoop生态圈的各个框架，以及在此架构下数据仓库的完整建模实践，对初学者来说非常有价值。
