Python+Spark 2.0+Hadoop机器学习与大数据实战 pdf epub mobi txt 电子书下载 2026

简体网页||繁体网页

☆☆☆☆☆

出版者:清华大学出版社

作者:林大贵

出品人:

页数:519

译者:

出版时间:

价格:99

装帧:

isbn号码:9787302490739

丛书系列:

图书标签:

大数据
Python
hadoop
spark
AI
计算机
图书馆
机器学习
Python
Spark
Hadoop
机器学习
大数据
实战
数据处理
分布式计算
算法
大数据分析

下载链接在页面底部

facebook linkedin mastodon messenger pinterest reddit telegram twitter viber vkontakte whatsapp 复制链接

想要找书就要到图书目录大全

book.wenda123.org

立刻按 ctrl+D收藏本页

你会得到大惊喜!!

具体描述

本书从浅显易懂的“大数据和机器学习”原理说明入手，讲述大数据和机器学习的基本概念，如分类、分析、训练、建模、预测、机器学习（推荐引擎）、机器学习（二元分类）、机器学习（多元分类）、机器学习（回归分析）和数据可视化应用等。书中不仅加入了新近的大数据技术，还丰富了“机器学习”内容。为降低读者学习大数据技术的门槛，书中提供了丰富的上机实践操作和范例程序详解，展示了如何在单机Windows系统上通过Virtual Box虚拟机安装多机Linux虚拟机，如何建立Hadoop集群，再建立Spark开发环境。书中介绍搭建的上机实践平台并不限制于单台实体计算机。对于有条件的公司和学校，参照书中介绍的搭建过程，同样可以实现将自己的平台搭建在多台实体计算机上，以便更加接近于大数据和机器学习真实的运行环境。本书非常适合于学习大数据基础知识的初学者阅读，更适合正在学习大数据理论和技术的人员作为上机实践用的教材。

Python, Spark, Hadoop：开启大数据与机器学习的智能探索之旅在信息爆炸的时代，数据已成为驱动创新与决策的核心要素。掌握处理和分析海量数据的能力，以及从中挖掘洞察的机器学习技术，已经不再是少数技术专家的专属技能，而是走向智能化未来的必备通行证。本书旨在为广大开发者、数据科学家、研究人员以及任何对大数据和机器学习充满好奇的读者，提供一条清晰、系统且极具实战性的学习路径。我们将深入探索当今大数据处理领域两大巨头——Hadoop与Spark——的强大能力，并结合Python这一极其灵活且功能丰富的编程语言，以及机器学习的核心算法，帮助您构建端到端的大数据分析与机器学习解决方案。为什么选择Python、Spark与Hadoop？ Hadoop，作为大数据领域的基石，以其分布式存储（HDFS）和分布式计算（MapReduce）框架，成功解决了海量数据存储和初步处理的瓶颈。它构建了一个稳定可靠的生态系统，为后续更复杂的分析奠定了基础。然而，传统的MapReduce模型在处理迭代式计算（如机器学习算法）时效率不高，且开发相对复杂。 Spark的出现，以其内存计算的 revolucionary 理念，极大地提升了大数据处理的速度，尤其是在迭代计算和交互式查询方面，其性能远超MapReduce。Spark提供了更高级别的API，包括Spark SQL、Spark Streaming、MLlib（机器学习库）和GraphX（图计算库），使得构建复杂的大数据应用变得更加便捷高效。 Python，作为一种易学易用、社区活跃、生态系统极其丰富的编程语言，已经成为数据科学和机器学习领域的首选语言。其拥有海量的第三方库，如NumPy、Pandas、Scikit-learn、TensorFlow、PyTorch等，为数据处理、可视化、模型构建和部署提供了强大的支持。将Python与Hadoop、Spark结合，能够充分发挥各自的优势：Python负责高级逻辑、模型开发和用户交互，而Hadoop和Spark则负责底层的数据存储、分布式计算和海量数据的高效处理。本书将带您领略哪些精彩内容？本书将以系统化的方式，带领您从基础概念出发，逐步深入到各项核心技术与实战应用。我们不会停留在理论的层面，而是将大量的篇幅用于真实的案例分析和代码实践，确保您能够真正掌握这些工具的使用方法，并将其应用于解决实际问题。第一部分：大数据处理的基石——Hadoop生态系统 Hadoop入门与核心概念：我们将首先介绍Hadoop的诞生背景、核心组件（HDFS、YARN、MapReduce）的工作原理，以及其在大数据领域的地位。您将了解分布式文件系统（HDFS）如何存储海量数据，资源管理器（YARN）如何管理集群资源，以及MapReduce模型如何实现分布式计算。 HDFS实战：学习如何安装、配置和管理HDFS集群，包括数据上传、下载、命名空间操作、权限管理等。我们将通过实际操作，让您熟悉HDFS命令行接口和API。 MapReduce编程入门：即使Spark已经成为主流，理解MapReduce的思想对于深入理解分布式计算仍然至关重要。我们将通过简单的Word Count等经典示例，演示MapReduce的编程模型，包括Mapper、Reducer的设计，以及Shuffle过程。 Hadoop生态系统组件详解：除了核心的HDFS和MapReduce，Hadoop生态系统还包含许多强大的组件。我们将介绍Hive，一个基于Hadoop的数据仓库工具，它允许您使用SQL查询存储在HDFS上的数据；以及HBase，一个分布式、面向列的NoSQL数据库，适合处理大量结构化、半结构化和非结构化数据。同时，您还将了解ZooKeeper在分布式协调中的作用，以及Sqoop在关系型数据库与Hadoop之间数据导入导出方面的应用。第二部分：闪电般的分布式计算——Apache Spark Spark架构与核心组件：深入理解Spark的RDD（弹性分布式数据集）抽象，这是Spark的核心数据结构。我们将讲解Spark的DAG（有向无环图）调度器、内存计算原理以及其与HDFS的集成方式。 Spark Core API实战：学习如何使用Python（PySpark）进行Spark编程。我们将通过丰富的示例，演示RDD的创建、转换（transformations）和行动（actions），以及Spark如何进行懒加载和优化执行计划。 Spark SQL：数据分析的新维度： Spark SQL是Spark中最受欢迎的组件之一。您将学会如何使用Spark SQL进行结构化数据的处理，包括DataFrame和Dataset API的使用，以及如何通过SQL查询直接操作HDFS、Hive、HBase等数据源。我们将演示如何进行数据清洗、转换、聚合以及生成报表。 Spark Streaming：实时数据处理：在物联网、金融交易、社交媒体等领域，实时数据分析至关重要。Spark Streaming允许您以微批（micro-batch）或持续流（continuous processing）的方式处理实时数据。您将学习如何接收来自Kafka、Flume、TCP Socket等数据源的实时数据，并进行实时分析、转换和存储。 MLlib：Spark的机器学习库： MLlib是Spark提供的分布式机器学习库，它集成了多种常用的机器学习算法，并支持在大规模数据集上进行训练和推理。我们将详细介绍MLlib中的分类、回归、聚类、协同过滤等算法，以及如何使用MLlib进行模型训练、评估和调优。第三部分：Python与机器学习的深度融合 Python数据处理利器：NumPy与Pandas：在将数据输入Spark或机器学习模型之前，高效的数据预处理至关重要。我们将深入学习NumPy在数值计算方面的强大能力，以及Pandas在数据框（DataFrame）操作、数据清洗、数据探索和可视化方面的便捷性。 Scikit-learn：机器学习的瑞士军刀： Scikit-learn是Python中最流行、功能最全面的机器学习库之一。本书将系统介绍Scikit-learn中的各种监督学习（如线性回归、逻辑回归、支持向量机、决策树、随机森林、梯度提升树）和无监督学习（如K-Means聚类、PCA降维）算法。您将学习如何进行特征工程、模型选择、超参数调优和模型评估。深度学习入门（可选，根据读者需求）：随着深度学习的兴起，我们也可能触及 TensorFlow 和 PyTorch 等深度学习框架。这部分内容将介绍神经网络的基本概念，以及如何在Spark上进行分布式深度学习训练。特征工程与模型评估：无论使用何种算法，有效的特征工程和准确的模型评估都是构建高性能模型的关键。我们将探讨各种特征提取、特征选择、特征转换的技术，并介绍交叉验证、ROC曲线、精确率-召回率曲线等评估指标。第四部分：端到端实战项目为了巩固所学知识，本书将贯穿多个贯穿始终的实战项目。这些项目将模拟真实世界的业务场景，帮助您将Hadoop、Spark和Python以及机器学习技术有机地结合起来。电商用户行为分析与推荐系统：利用Hadoop存储大量的用户点击流数据，使用Spark SQL进行用户行为的聚合分析，如用户活跃度、购买转化率等。再结合MLlib或Scikit-learn构建个性化推荐模型，为用户推荐可能感兴趣的商品。社交媒体情感分析：从社交媒体平台抓取文本数据，利用Spark Streaming进行实时文本流的处理，通过自然语言处理技术（如TF-IDF、Word2Vec）提取文本特征，并使用分类模型（如朴素贝叶斯、SVM）进行情感分析（正面、负面、中立）。金融欺诈检测：分析大量的交易数据，使用Spark进行数据清洗和特征工程，构建一个高效的机器学习模型来检测潜在的欺诈交易，以降低金融风险。大数据可视化仪表盘：学习如何将Spark分析的结果通过Python的可视化库（如Matplotlib、Seaborn、Plotly）进行可视化，并可能集成到Web应用中，构建交互式的BI仪表盘。本书的特色与价值理论与实践并重：我们不仅讲解核心概念，更注重代码实现和实战演练。每一章都会提供清晰的代码示例，让您动手操作，加深理解。循序渐进的学习路径：内容从易到难，从基础到进阶，确保不同背景的读者都能找到适合自己的学习节奏。面向实际应用：所有的技术讲解和项目都紧密围绕实际业务场景，帮助您解决真实世界的问题，提升职业竞争力。前沿技术覆盖：本书涵盖了当前大数据和机器学习领域最热门、最有价值的技术栈，帮助您站在技术浪潮之巅。清晰的代码结构与注释：提供的代码示例结构清晰、易于理解，并配有详细的注释，方便您参考和修改。无论您是希望在大数据领域深耕，还是想利用机器学习赋能业务，亦或是想成为一名优秀的数据科学家，本书都将是您不可或缺的得力助手。让我们一起踏上这段激动人心的大数据与机器学习探索之旅，解锁数据的无限可能！

作者简介

林大贵，从事IT行业多年，在系统设计、网站开发、数字营销、商业智慧、大数据、机器学习等领域具有丰富的实战经验。

目录信息

目录

第1章 Python Spark机器学习与Hadoop大数据 1
1.1 机器学习的介绍 2
1.2 Spark的介绍 5
1.3 Spark数据处理 RDD、DataFrame、Spark SQL 7
1.4 使用Python开发 Spark机器学习与大数据应用 8
1.5 Python Spark 机器学习 9
1.6 Spark ML Pipeline机器学习流程介绍 10
1.7 Spark 2.0的介绍 12
1.8 大数据定义 13
1.9 Hadoop 简介 14
1.10 Hadoop HDFS分布式文件系统 14
1.11 Hadoop MapReduce的介绍 17
1.12 结论 18
第2章 VirtualBox虚拟机软件的安装 19
2.1 VirtualBox的下载和安装 20
2.2 设置VirtualBox存储文件夹 23
2.3 在VirtualBox创建虚拟机 25
2.4 结论 29
第3章 Ubuntu Linux 操作系统的安装 30
3.1 Ubuntu Linux 操作系统的安装 31
3.2 在Virtual设置Ubuntu虚拟光盘文件 33
3.3 开始安装Ubuntu 35
3.4 启动Ubuntu 40
3.5 安装增强功能 41
3.6 设置默认输入法 45
3.7 设置“终端”程序 48
3.8 设置“终端”程序为白底黑字 49
3.9 设置共享剪贴板 50
3.10 设置最佳下载服务器 52
3.11 结论 56
第4章 Hadoop Single Node Cluster的安装 57
4.1 安装JDK 58
4.2 设置SSH无密码登录 61
4.3 下载安装Hadoop 64
4.4 设置Hadoop环境变量 67
4.5 修改Hadoop配置设置文件 69
4.6 创建并格式化HDFS目录 73
4.7 启动Hadoop 74
4.8 打开HadoopResource-Manager Web界面 76
4.9 NameNode HDFS Web界面 78
4.10 结论 79
第5章 Hadoop Multi Node Cluster的安装 80
5.1 把Single NodeCluster复制到data1 83
5.2 设置VirtualBox网卡 84
5.3 设置data1服务器 87
5.4 复制data1服务器到data2、data3、master 94
5.5 设置data2服务器 97
5.6 设置data3服务器 100
5.7 设置master服务器 102
5.8 master连接到data1、data2、data3 创建HDFS目录 107
5.9 创建并格式化NameNodeHDFS目录 110
5.10 启动Hadoop Multi Node Cluster 112
5.11 打开Hadoop ResourceManager Web界面 114
5.12 打开NameNode Web界面 115
5.13 停止Hadoop Multi Node Cluster 116
5.14 结论 116
第 6 章 Hadoop HDFS命令 117
6.1 启动HadoopMulti-Node Cluster 118
6.2 创建与查看HDFS目录 120
6.3 从本地计算机复制文件到HDFS 122
6.4 将HDFS上的文件复制到本地计算机 127
6.5 复制与删除HDFS文件 129
6.6 在Hadoop HDFSWeb用户界面浏览HDFS 131
6.7 结论 134
第7章 Hadoop MapReduce 135
7.1 简单介绍WordCount.java 136
7.2 编辑WordCount.java 137
7.3 编译WordCount.java 141
7.4 创建测试文本文件 143
7.5 运行WordCount.java 145
7.6 查看运行结果 146
7.7 结论 147
第8章 Python Spark的介绍与安装 148
8.1 Scala的介绍与安装 150
8.2 安装Spark 153
8.3 启动pyspark交互式界面 156
8.4 设置pyspark显示信息 157
8.5 创建测试用的文本文件 159
8.6 本地运行pyspark程序 161
8.7 在Hadoop YARN运行pyspark 163
8.8 构建SparkStandalone Cluster运行环境 165
8.9 在SparkStandalone运行pyspark 171
8.10 Spark Web UI界面 173
8.11 结论 175
第9章在 IPythonNotebook 运行 Python Spark 程序 176
9.1 安装Anaconda 177
9.2 在IPythonNotebook使用Spark 180
9.3 打开IPythonNotebook笔记本 184
9.4 插入程序单元格 185
9.5 加入注释与设置程序代码说明标题 186
9.6 关闭IPythonNotebook 188
9.7 使用IPythonNotebook在Hadoop YARN-client模式运行 189
9.8 使用IPythonNotebook在Spark Stand Alone模式运行 192
9.9 整理在不同的模式运行IPythonNotebook的命令 194
9.9.1 在 Local 启动 IPython Notebook 195
9.9.2 在Hadoop YARN-client 模式启动 IPython Notebook 195
9.9.3 在Spark Stand Alone 模式启动 IPython Notebook 195
9.10 结论 196
第10章 Python Spark RDD 197
10.1 RDD的特性 198
10.2 开启IPython Notebook 199
10.3 基本RDD“转换”运算 201
10.4 多个RDD“转换”运算 206
10.5 基本“动作”运算 208
10.6 RDD Key-Value 基本“转换”运算 209
10.7 多个RDD Key-Value“转换”运算 212
10.8 Key-Value“动作”运算 215
10.9 Broadcast 广播变量 217
10.10 accumulator累加器 220
10.11 RDD Persistence持久化 221
10.12 使用Spark创建WordCount 223
10.13 Spark WordCount详细解说 226
10.14 结论 228
第11章 Python Spark的集成开发环境 229
11.1 下载与安装eclipse Scala IDE 232
11.2 安装PyDev 235
11.3 设置字符串替代变量 240
11.4 PyDev 设置 Python 链接库 243
11.5 PyDev设置anaconda2链接库路径 245
11.6 PyDev设置Spark Python链接库 247
11.7 PyDev设置环境变量 248
11.8 新建PyDev项目 251
11.9 加入WordCount.py程序 253
11.10 输入WordCount.py程序 254
11.11 创建测试文件并上传至HDFS目录 257
11.12 使用spark-submit执行WordCount程序 259
11.13 在Hadoop YARN-client上运行WordCount程序 261
11.14 在Spark Standalone Cluster上运行WordCount程序 264
11.15 在eclipse外部工具运行Python Spark程序 267
11.16 在eclipse运行spark-submit YARN-client 273
11.17 在eclipse运行spark-submit Standalone 277
11.18 结论 280
第12章 Python Spark创建推荐引擎 281
12.1 推荐算法介绍 282
12.2 “推荐引擎”大数据分析使用场景 282
12.3 ALS推荐算法的介绍 283
12.4 如何搜索数据 285
12.5 启动IPython Notebook 289
12.6 如何准备数据 290
12.7 如何训练模型 294
12.8 如何使用模型进行推荐 295
12.9 显示推荐的电影名称 297
12.10 创建Recommend项目 299
12.11 运行RecommendTrain.py 推荐程序代码 302
12.12 创建Recommend.py推荐程序代码 304
12.13 在eclipse运行Recommend.py 307
12.14 结论 310
第13章 Python Spark MLlib决策树二元分类 311
13.1 决策树介绍 312
13.2 “StumbleUpon Evergreen”大数据问题 313
13.2.1 Kaggle网站介绍 313
13.2.2 “StumbleUpon Evergreen”大数据问题场景分析 313
13.3 决策树二元分类机器学习 314
13.4 如何搜集数据 315
13.4.1 StumbleUpon数据内容 315
13.4.2 下载 StumbleUpon 数据 316
13.4.3 用LibreOffice Calc 电子表格查看train.tsv 319
13.4.4 复制到项目目录 322
13.5 使用IPython Notebook示范 323
13.6 如何进行数据准备 324
13.6.1 导入并转换数据 324
13.6.2 提取 feature 特征字段 327
13.6.3 提取分类特征字段 328
13.6.4 提取数值特征字段 331
13.6.5 返回特征字段 331
13.6.6 提取 label 标签字段 331
13.6.7 建立训练评估所需的数据 332
13.6.8 以随机方式将数据分为 3 部分并返回 333
13.6.9 编写 PrepareData(sc) 函数 333
13.7 如何训练模型 334
13.8 如何使用模型进行预测 335
13.9 如何评估模型的准确率 338
13.9.1 使用 AUC 评估二元分类模型 338
13.9.2 计算 AUC 339
13.10 模型的训练参数如何影响准确率 341
13.10.1 建立 trainEvaluateModel 341
13.10.2 评估impurity参数 343
13.10.3 训练评估的结果以图表显示 344
13.10.4 编写 evalParameter 347
13.10.5 使用 evalParameter 评估 maxDepth 参数 347
13.10.6 使用 evalParameter 评估 maxBins 参数 348
13.11 如何找出准确率最高的参数组合 349
13.12 如何确认是否过度训练 352
13.13 编写RunDecisionTreeBinary.py程序 352
13.14 开始输入RunDecisionTreeBinary.py程序 353
13.15 运行RunDecisionTreeBinary.py 355
13.15.1 执行参数评估 355
13.15.2 所有参数训练评估找出最好的参数组合 355
13.15.3 运行 RunDecisionTreeBinary.py 不要输入参数 357
13.16 查看DecisionTree的分类规则 358
13.17 结论 360
第14章 Python Spark MLlib 逻辑回归二元分类 361
14.1 逻辑回归分析介绍 362
14.2 RunLogisticRegression WithSGDBinary.py程序说明 363
14.3 运行RunLogisticRegression WithSGDBinary.py进行参数评估 367
14.4 找出最佳参数组合 370
14.5 修改程序使用参数进行预测 370
14.6 结论 372
第15章 Python Spark MLlib支持向量机SVM二元分类 373
15.1 支持向量机SVM算法的基本概念 374
15.2 运行SVMWithSGD.py进行参数评估 376
15.3 运行SVMWithSGD.py 训练评估参数并找出最佳参数组合 378
15.4 运行SVMWithSGD.py 使用最佳参数进行预测 379
15.5 结论 381
第16章 Python Spark MLlib朴素贝叶斯二元分类 382
16.1 朴素贝叶斯分析原理的介绍 383
16.2 RunNaiveBayesBinary.py程序说明 384
16.3 运行NaiveBayes.py进行参数评估 386
16.4 运行训练评估并找出最好的参数组合 387
16.5 修改RunNaiveBayesBinary.py 直接使用最佳参数进行预测 388
16.6 结论 390
第17章 Python Spark MLlib决策树多元分类 391
17.1 “森林覆盖植被”大数据问题分析场景 392
17.2 UCI Covertype数据集介绍 393
17.3 下载与查看数据 394
17.4 修改PrepareData() 数据准备 396
17.5 修改trainModel 训练模型程序 398
17.6 使用训练完成的模型预测数据 399
17.7 运行RunDecisionTreeMulti.py 进行参数评估 401
17.8 运行RunDecisionTreeMulti.py 训练评估参数并找出最好的参数组合 403
17.9 运行RunDecisionTreeMulti.py 不进行训练评估 404
17.10 结论 406
第18章 Python Spark MLlib决策树回归分析 407
18.1 Bike Sharing大数据问题分析 408
18.2 Bike Sharing数据集 409
18.3 下载与查看数据 409
18.4 修改 PrepareData() 数据准备 412
18.5 修改DecisionTree.trainRegressor训练模型 415
18.6 以 RMSE 评估模型准确率 416
18.7 训练评估找出最好的参数组合 417
18.8 使用训练完成的模型预测数据 417
18.9 运行RunDecisionTreeMulti.py进行参数评估 419
18.10 运行RunDecisionTreeMulti.py训练评估参数并找出最好的参数组合 421
18.11 运行RunDecisionTreeMulti.py 不进行训练评估 422
18.12 结论 424
第19章 Python Spark SQL、DataFrame、RDD数据统计与可视化 425
19.1 RDD、DataFrame、Spark SQL 比较 426
19.2 创建RDD、DataFrame与Spark SQL 427
19.2.1 在 local 模式运行 IPython Notebook 427
19.2.2 创建RDD 427
19.2.3 创建DataFrame 428
19.2.4 设置 IPython Notebook 字体 430
19.2.5 为DataFrame 创建别名 431
19.2.6 开始使用 Spark SQL 431
19.3 SELECT显示部分字段 434
19.3.1 使用 RDD 选取显示部分字段 434
19.3.2 使用 DataFrames 选取显示字段 434
19.3.3 使用 Spark SQL 选取显示字段 435
19.4 增加计算字段 436
19.4.1 使用 RDD 增加计算字段 436
19.4.2 使用 DataFrames 增加计算字段 436
19.4.3 使用 Spark SQL 增加计算字段 437
19.5 筛选数据 438
19.5.1 使用 RDD 筛选数据 438
19.5.2 使用 DataFrames 筛选数据 438
19.5.3 使用 Spark SQL 筛选数据 439
19.6 按单个字段给数据排序 439
19.6.1 RDD 按单个字段给数据排序 439
19.6.2 使用 Spark SQL排序 440
19.6.3 使用 DataFrames按升序给数据排序 441
19.6.4 使用 DataFrames按降序给数据排序 442
19.7 按多个字段给数据排序 442
19.7.1 RDD 按多个字段给数据排序 442
19.7.2 Spark SQL 按多个字段给数据排序 443
19.7.3 DataFrames 按多个字段给数据排序 443
19.8 显示不重复的数据 444
19.8.1 RDD 显示不重复的数据 444
19.8.2 Spark SQL 显示不重复的数据 445
19.8.3 Dataframes显示不重复的数据 445
19.9 分组统计数据 446
19.9.1 RDD 分组统计数据 446
19.9.2 Spark SQL分组统计数据 447
19.9.3 Dataframes分组统计数据 448
19.10 Join 联接数据 450
19.10.1 创建 ZipCode 450
19.10.2 创建 zipcode_tab 452
19.10.3 Spark SQL 联接 zipcode_table 数据表 454
19.10.4 DataFrame user_df 联接 zipcode_df 455
19.11 使用 Pandas DataFrames 绘图 457
19.11.1 按照不同的州统计并以直方图显示 457
19.11.2 按照不同的职业统计人数并以圆饼图显示 459
19.12 结论 461
第20章 Spark ML Pipeline 机器学习流程二元分类 462
20.1 数据准备 464
20.1.1 在 local 模式执行 IPython Notebook 464
20.1.2 编写 DataFrames UDF 用户自定义函数 466
20.1.3 将数据分成 train_df 与 test_df 468
20.2 机器学习pipeline流程的组件 468
20.2.1 StringIndexer 468
20.2.2 OneHotEncoder 470
20.2.3 VectorAssembler 472
20.2.4 使用 DecisionTreeClassi?er 二元分类 474
20.3 建立机器学习pipeline流程 475
20.4 使用pipeline进行数据处理与训练 476
20.5 使用pipelineModel 进行预测 477
20.6 评估模型的准确率 478
20.7 使用TrainValidation进行训练验证找出最佳模型 479
20.8 使用crossValidation交叉验证找出最佳模型 481
20.9 使用随机森林 RandomForestClassi?er分类器 483
20.10 结论 485
第21章 Spark ML Pipeline 机器学习流程多元分类 486
21.1 数据准备 487
21.1.1 读取文本文件 488
21.1.2 创建 DataFrame 489
21.1.3 转换为 double 490
21.2 建立机器学习pipeline流程 492
21.3 使用dt_pipeline进行数据处理与训练 493
21.4 使用pipelineModel 进行预测 493
21.5 评估模型的准确率 495
21.4 使用TrainValidation进行训练验证找出最佳模型 496
21.7 结论 498
第22章 Spark ML Pipeline 机器学习流程回归分析 499
22.1 数据准备 501
22.1.1 在local 模式执行 IPython Notebook 501
22.1.2 将数据分成 train_df 与 test_df 504
22.2 建立机器学习pipeline流程 504
22.3 使用dt_pipeline进行数据处理与训练 506
22.4 使用pipelineModel 进行预测 506
22.5 评估模型的准确率 507
22.6 使用TrainValidation进行训练验证找出最佳模型 508
22.7 使用crossValidation进行交叉验证找出最佳模型 510
22.8 使用GBT Regression 511
22.9 结论 513
附录A 本书范例程序下载与安装说明 514
A.1 下载范例程序 515
A.2 打开本书IPythonNotebook范例程序 516
A.3 打开 eclipsePythonProject 范例程序 518
· · · · · · (收起)

读后感

评分☆☆☆☆☆

Spark2.x+Python大数据机器学习视频课程课程学习地址：http://www.xuetuwuyou.com/course/303 课程出自学途无忧网：http://www.xuetuwuyou.com 讲师：轩宇老师本课程系统讲解如何在Spark2.0上高效运用Python来处理数据并建立机器学习模型，帮助读者开发并部署高效可拓展的实...

评分☆☆☆☆☆

用户评价

评分☆☆☆☆☆

这本书的排版和代码质量也值得称赞。清晰的代码块、恰当的行内注释，以及那些让人眼前一亮的流程图和架构示意图，都使得复杂的技术概念变得可视化和易于消化。我记得有一个关于模型持久化和加载的章节，作者不仅讲解了如何保存模型，还详细对比了不同序列化机制在性能和兼容性上的优劣，并且特别指出了在Spark环境中进行跨版本模型迁移时需要注意的“坑”。这种对细节的关注，体现了作者深厚的实战经验。相比于那些只关注“是什么”的书，这本书更注重“为什么”和“如何做”，它不仅教会了我使用工具，更培养了我从系统架构层面思考问题的习惯，这对于我后续独立设计复杂的数据管道至关重要。

评分☆☆☆☆☆

作为一名长期与数据打交道的数据科学家，我最看重的是技术栈的深度和广度。这本书的价值在于它成功地将“大数据”和“机器学习”这两个看似庞大的领域，用一套统一、流畅的语言串联了起来。很多市面上的书要么只讲Spark的集群调优，要么只讲Python的Scikit-learn模型。这本书的厉害之处在于，它展示了如何利用Hadoop集群作为基础设施，通过Spark来预处理TB级别的数据集，然后无缝地将处理好的特征向量输入到自定义的分布式训练算法中。我尝试了书中的一个关于推荐系统的案例，在本地机器上跑了几天都跑不完的数据集，但通过书中的指导，在集群上仅仅用了几小时就完成了训练和评估，这种性能上的飞跃是令人震撼的，也让我深刻理解了分布式计算的必要性。

评分☆☆☆☆☆

这本书的封面设计，那种深邃的蓝色背景搭配着白色的编程字体，一下子就抓住了我的眼球。我一直都在寻找一本能够将Python强大的数据处理能力与Spark的分布式计算框架完美结合的书籍，尤其是在涉及到真实世界中的机器学习应用时。我记得我翻开第一章的时候，作者对Hadoop生态系统的介绍就显得非常扎实，不是那种浮于表面的概述，而是深入到了HDFS和MapReduce的核心思想。我特别欣赏作者在介绍Spark RDDs和DataFrame时的那种循序渐进的讲解方式，每一个代码示例都经过精心挑选，能够立刻展示出相应概念的实际价值。特别是关于Spark MLlib的部分，作者没有仅仅停留在调用API层面，而是花了不少篇幅解释了底层算法是如何在分布式环境下高效运行的，这对于我这种既想快速上手实践又想理解原理的读者来说，简直是福音。读完前几章，我已经感觉自己仿佛跨越了一个知识的鸿沟，对大规模数据处理有了全新的认识。

评分☆☆☆☆☆

说实话，我阅读技术书籍的耐心是有限的，很多书读到一半就会因为讲解过于晦涩或者案例过于脱离实际而束之高阁。但这本书给我的感觉完全不同。它像是请了一位经验极其丰富的工程师坐在你旁边，手把手地带着你完成一个又一个复杂的项目。我尤其对书中关于实时数据流处理的章节印象深刻。它不是那种教科书式的理论堆砌，而是直接展示了如何利用Spark Streaming来捕获、转换和分析持续流入的数据流，并将其结果反馈到机器学习模型中进行实时预测。这种“从概念到生产”的实战路径设计，极大地增强了我的学习动力。每当我遇到一个难以理解的配置问题或者算法细节时，书中的注释和附注总能提供恰到好处的澄清，避免了我花费大量时间在网络上进行碎片化的搜索，这极大地提升了我的阅读效率和学习的连贯性。

评分☆☆☆☆☆

坦白说，刚开始我还有点担心这个“2.0”的版本号意味着内容会过于陈旧，毕竟技术迭代太快了。然而，阅读下来发现作者对新特性的集成非常及时。书中对Spark 2.0引入的DataSet API的讲解非常透彻，特别是与SQL的结合使用，让数据操作的表达力大大增强。我发现自己过去在处理半结构化数据时那种“吭哧吭哧”的感觉一扫而空，取而代之的是一种行云流水的编程体验。作者似乎有一种魔力，能把枯燥的API说明文，变成引人入胜的实战教程。这本书的价值不仅在于技术内容的广博，更在于它提供了一种现代、高效处理大规模机器学习任务的思维范式，我强烈推荐给任何希望在数据科学领域深耕的工程师和研究人员。

评分☆☆☆☆☆

首先请作者不要介意不过看了之后对Hadoop和Spark基本没啥了解印象深的是冗长的环境搭建描述总之不推荐阅读

评分☆☆☆☆☆

五星好评+强烈推荐的一本书，虽然内容可能没有很深入，但作者非常用心的把每一步操作详细的列出来并给出说明，让我们跟着做的时候非常有信心，没有出现奇奇怪怪的报错，没有不知道为啥就是进行不下去的情况。这本书用实例告诉你spark，hdfs的基础使用和操作方法，让你快速入门，懂得操作。后面再进行针对性的入门和进阶，就会非常顺手。非常好的一本书⭐⭐⭐⭐⭐

评分☆☆☆☆☆

首先请作者不要介意不过看了之后对Hadoop和Spark基本没啥了解印象深的是冗长的环境搭建描述总之不推荐阅读

评分☆☆☆☆☆

仅针对初学者

评分☆☆☆☆☆

手把手的教学，书本非常详尽