具体描述
Get ready to unlock the power of your data. With the fourth edition of this comprehensive guide, you’ll learn how to build and maintain reliable, scalable, distributed systems with Apache Hadoop. This book is ideal for programmers looking to analyze datasets of any size, and for administrators who want to set up and run Hadoop clusters.
Using Hadoop 2 exclusively, author Tom White presents new chapters on YARN and several Hadoop-related projects such as Parquet, Flume, Crunch, and Spark. You’ll learn about recent changes to Hadoop, and explore new case studies on Hadoop’s role in healthcare systems and genomics data processing.
Learn fundamental components such as MapReduce, HDFS, and YARN
Explore MapReduce in depth, including steps for developing applications with it
Set up and maintain a Hadoop cluster running HDFS and MapReduce on YARN
Learn two data formats: Avro for data serialization and Parquet for nested data
Use data ingestion tools such as Flume (for streaming data) and Sqoop (for bulk data transfer)
Understand how high-level data processing tools like Pig, Hive, Crunch, and Spark work with Hadoop
Learn the HBase distributed database and the ZooKeeper distributed configuration service
作者简介
Tom White has been an Apache Hadoop committer since February 2007, and is a member of the Apache Software Foundation. He works for Cloudera, a company set up to offer Hadoop support and training. Previously he was as an independent Hadoop consultant, working with companies to set up, use, and extend Hadoop. He has written numerous articles for O'Reilly, java.net and IBM's developerWorks, and has spoken at several conferences, including at ApacheCon 2008 on Hadoop. Tom has a Bachelor's degree in Mathematics from the University of Cambridge and a Master's in Philosophy of Science from the University of Leeds, UK.
目录信息
Chapter 1Meet Hadoop
Data!
Data Storage and Analysis
Querying All Your Data
Beyond Batch
Comparison with Other Systems
A Brief History of Apache Hadoop
What’s in This Book?
Chapter 2MapReduce
A Weather Dataset
Analyzing the Data with Unix Tools
Analyzing the Data with Hadoop
Scaling Out
Hadoop Streaming
Chapter 3The Hadoop Distributed Filesystem
The Design of HDFS
HDFS Concepts
The Command-Line Interface
Hadoop Filesystems
The Java Interface
Data Flow
Parallel Copying with distcp
Chapter 4YARN
Anatomy of a YARN Application Run
YARN Compared to MapReduce 1
Scheduling in YARN
Further Reading
Chapter 5Hadoop I/O
Data Integrity
Compression
Serialization
File-Based Data Structures
MapReduce
Chapter 1Developing a MapReduce Application
The Configuration API
Setting Up the Development Environment
Writing a Unit Test with MRUnit
Running Locally on Test Data
Running on a Cluster
Tuning a Job
MapReduce Workflows
Chapter 2How MapReduce Works
Anatomy of a MapReduce Job Run
Failures
Shuffle and Sort
Task Execution
Chapter 3MapReduce Types and Formats
MapReduce Types
Input Formats
Output Formats
Chapter 4MapReduce Features
Counters
Sorting
Joins
Side Data Distribution
MapReduce Library Classes
Hadoop Operations
Chapter 1Setting Up a Hadoop Cluster
Cluster Specification
Cluster Setup and Installation
Hadoop Configuration
Security
Benchmarking a Hadoop Cluster
Chapter 2Administering Hadoop
HDFS
Monitoring
Maintenance
Related Projects
Chapter 1Avro
Avro Data Types and Schemas
In-Memory Serialization and Deserialization
Avro Datafiles
Interoperability
Schema Resolution
Sort Order
Avro MapReduce
Sorting Using Avro MapReduce
Avro in Other Languages
Chapter 2Parquet
Data Model
Parquet File Format
Parquet Configuration
Writing and Reading Parquet Files
Parquet MapReduce
Chapter 3Flume
Installing Flume
An Example
Transactions and Reliability
The HDFS Sink
Fan Out
Distribution: Agent Tiers
Sink Groups
Integrating Flume with Applications
Component Catalog
Further Reading
Chapter 4Sqoop
Getting Sqoop
Sqoop Connectors
A Sample Import
Generated Code
Imports: A Deeper Look
Working with Imported Data
Importing Large Objects
Performing an Export
Exports: A Deeper Look
Further Reading
Chapter 5Pig
Installing and Running Pig
An Example
Comparison with Databases
Pig Latin
User-Defined Functions
Data Processing Operators
Pig in Practice
Further Reading
Chapter 6Hive
Installing Hive
An Example
Running Hive
Comparison with Traditional Databases
HiveQL
Tables
Querying Data
User-Defined Functions
Further Reading
Chapter 7Crunch
An Example
The Core Crunch API
Pipeline Execution
Crunch Libraries
Further Reading
Chapter 8Spark
Installing Spark
An Example
Resilient Distributed Datasets
Shared Variables
Anatomy of a Spark Job Run
Executors and Cluster Managers
Further Reading
Chapter 9HBase
HBasics
Concepts
Installation
Clients
Building an Online Query Application
HBase Versus RDBMS
Praxis
Further Reading
Chapter 10ZooKeeper
Installing and Running ZooKeeper
An Example
The ZooKeeper Service
Building Applications with ZooKeeper
ZooKeeper in Production
Further Reading
Case Studies
Chapter 1Composable Data at Cerner
From CPUs to Semantic Integration
Enter Apache Crunch
Building a Complete Picture
Integrating Healthcare Data
Composability over Frameworks
Moving Forward
Chapter 2Biological Data Science: Saving Lives with Software
The Structure of DNA
The Genetic Code: Turning DNA Letters into Proteins
Thinking of DNA as Source Code
The Human Genome Project and Reference Genomes
Sequencing and Aligning DNA
ADAM, A Scalable Genome Analysis Platform
From Personalized Ads to Personalized Medicine
Join In
Chapter 3Cascading
Fields, Tuples, and Pipes
Operations
Taps, Schemes, and Flows
Cascading in Practice
Flexibility
Hadoop and Cascading at ShareThis
Summary
Appendix Installing Apache Hadoop
Prerequisites
Installation
Configuration
Appendix Cloudera’s Distribution Including Apache Hadoop
Appendix Preparing the NCDC Weather Data
Appendix The Old and New Java MapReduce APIs
Case Studies
Chapter 1Composable Data at Cerner
From CPUs to Semantic Integration
Enter Apache Crunch
Building a Complete Picture
Integrating Healthcare Data
Composability over Frameworks
Moving Forward
Chapter 2Biological Data Science: Saving Lives with Software
The Structure of DNA
The Genetic Code: Turning DNA Letters into Proteins
Thinking of DNA as Source Code
The Human Genome Project and Reference Genomes
Sequencing and Aligning DNA
ADAM, A Scalable Genome Analysis Platform
From Personalized Ads to Personalized Medicine
Join In
Chapter 3Cascading
Fields, Tuples, and Pipes
Operations
Taps, Schemes, and Flows
Cascading in Practice
Flexibility
Hadoop and Cascading at ShareThis
Summary
Appendix Installing Apache Hadoop
Prerequisites
Installation
Configuration
Appendix Cloudera’s Distribution Including Apache Hadoop
Appendix Preparing the NCDC Weather Data
Appendix The Old and New Java MapReduce APIs
· · · · · · (收起)
读后感
你的履历添了一笔<hadoop权威指南>译者,但是你不配 这是我见过的最不用心的翻译, 字里行间行文不通顺, 请别勉强自己,map reduce shuffle机制都没翻译的好 虽然原作者写作功底也实在是一般 第 1 2 5 6 7 这几章 翻译的实在是太烂了 请不要呐Google翻译糊弄人阿 误人子弟 ...
评分 评分Cobub Razor APP数据统计分析工具官网上有篇文章是讲Hadoop Yarn调度器的选择和使用的，我觉得写的挺好的，推荐http://www.cobub.com/the-selection-and-use-of-hadoop-yarn-scheduler/
评分书中没有透露太多实现架构方面的细节，更多的是从使用者的角度上介绍了Hadoop的各种知识，包括MapReduce, HDFS, Hive, Pig, HBase, ZooKeeper。几乎涉及了Hadoop的所有关于使用方面的知识，包括安装和使用。 你甚至可以直接在自己的电脑上装上一个Hadoop，对着书中的例子实际演...
评分很多地方翻译的不行，需要对照英文看才能明白。。。不过对于快速学习，仍然是不错的选择。建议译者看看每部分内容的重要性，不重要的瞎翻翻就算了，重要的部分还是好好花点功夫，不要本末倒置了。比如第三章的数据流部分，这么经典的地方居然被翻译烂的一塌糊涂。不知道译者会...
用户评价
我必须说，这本书的语言风格非常独特，它既有技术书籍应有的严谨和精确，又穿插着一些作者个人的思考和经验分享，读起来一点也不枯燥。我尤其喜欢作者在解释复杂概念时，那种循序渐进、化繁为简的能力。比如，当我第一次接触到MapReduce的编程模型时，确实感到有些抽象，但书中通过生动的比喻和清晰的图示，将这个过程拆解得淋漓尽致，让我能够理解其中的逻辑。而且，作者不仅仅是告诉你“怎么做”，更重要的是解释了“为什么这么做”，这对于我这种追求深入理解的学习者来说，是至关重要的。它不是那种“复制粘贴”就能完成任务的书，而是鼓励读者去思考、去实践、去探索。我经常会在阅读过程中停下来，思考作者提出的问题，并且尝试着在脑海中模拟数据的流动过程。这种主动的学习方式，让我对Hadoop的理解更加深刻，也更加稳固。这本书让我感觉，我不是在被动地接受知识，而是在和作者一起构建对Hadoop世界的认知。
评分这本书的语言风格在专业性与可读性之间找到了一个绝佳的平衡点。作者在解释一些非常底层的技术细节时，虽然用词精准，但并不会让人感到晦涩难懂。他善于使用类比和举例，将那些看似遥不可及的概念拉近到我们的生活经验中。例如，在讲解HDFS的块（block）和副本（replication）机制时，他会用文件在不同房间的备份来类比，让我一下子就理解了其容错和高可用的原理。这种“润物细无声”的教学方式，让我觉得学习过程是一种享受，而不是一种负担。我甚至会反复阅读某些段落，不仅仅是为了理解内容，也是为了欣赏作者高超的表达技巧。
评分让我印象深刻的是，这本书并没有回避Hadoop生态系统中存在的挑战和复杂性。作者坦诚地指出了在实际应用中可能遇到的性能瓶颈、故障排查以及版本兼容性等问题，并为这些问题提供了深入的分析和可行的建议。这让我感觉这本书非常真实，它不仅仅是在宣传Hadoop的美好，更是在帮助我们认识到在真实世界中如何应对它的挑战。我特别期待后面章节中关于Hadoop集群监控、性能优化以及安全加固的详细内容，我相信这些经验性的指导对于我未来的职业发展会非常有帮助。它让我意识到，成为一名优秀的大数据工程师，不仅仅是掌握API和工具，更需要具备解决实际问题的能力和丰富的实践经验。这本书正在一步步地为我塑造这种能力。
评分在阅读这本书的过程中，我有一个非常直观的感受，那就是它对于实际操作的指导性非常强。虽然我还没有机会搭建真实的Hadoop集群，但书中提供的命令行指令、配置文件示例以及代码片段，都让我感觉触手可及。作者似乎预想到了我们这些初学者在实践中可能遇到的各种问题，并且提前给出了相应的解决方案。我尤其喜欢书中关于Hadoop集群安装、配置和调优的部分，它让我对如何将理论知识转化为实际应用有了清晰的认识。我甚至已经开始在自己的虚拟机上尝试搭建一个单机版的Hadoop环境，并且对照着书中的步骤一步一步地进行，感觉自己仿佛真的置身于一个大数据工程师的实际工作中。这种理论与实践相结合的学习方式，极大地提升了我学习的效率和兴趣，让我对未来能够独立部署和管理Hadoop集群充满信心。
评分这本书在讲解Hadoop架构的各个组成部分时，逻辑性非常强，每个章节之间的衔接都非常自然。我特别欣赏作者对YARN的介绍，它将资源管理和作业调度这两个核心功能清晰地划分开来，让我能够理解Hadoop 2.x相比于1.x在可扩展性和灵活性上的巨大提升。从Master-Slave架构到Resource Manager、Node Manager、ApplicationMaster的解耦，每一步的演进都充满了智慧。而且，书中不仅介绍了HDFS的副本机制和数据容错能力，还深入探讨了其与MapReduce的协同工作模式，以及如何通过调整参数来优化读写性能。我感觉这本书不仅仅是在讲解技术，更是在传递一种解决问题的思路和方法论。每当我遇到一个问题，我都会回过头来翻阅书中相关的章节，往往能够从中找到启示，甚至解决问题的关键。它让我明白，学习大数据技术，不仅要掌握工具，更要理解其背后的设计哲学。
评分这本书的图表设计堪称教科书级别的。无论是HDFS的NameNode和DataNode之间的通信流程，还是MapReduce的任务执行阶段，亦或是YARN的资源调度示意图，都绘制得清晰、准确、易于理解。我经常在阅读文字描述之后，会仔细研究相关的图表，感觉那些抽象的概念瞬间变得具象化了。特别是那些展示数据如何在集群中流动、任务如何在不同节点上并行执行的图，简直是视觉化的学习宝典。它们不仅仅是简单的示意图，更是作者对Hadoop底层原理深刻理解的体现。我甚至会自己动手，根据书中的图表，在纸上绘制更详细的流程图，加深对Hadoop工作机制的理解。这种视觉化的学习方式，让我事半功倍。
评分这本书所传递出的，是一种对技术原理的深刻洞察力。它不仅仅是让你知其然，更重要的是让你知其所以然。我尤其喜欢作者在讲解Hadoop的演进历程和设计哲学时所展现出的智慧。他会追溯Hadoop起源于Google的GFS和MapReduce论文，并分析Hadoop在这些基础上的创新和发展。这种对历史脉络的梳理，让我能够理解Hadoop为何会这样设计，它的优势在哪里，以及它在整个大数据技术栈中的定位。我感觉这本书不仅仅是在教我一项技术，更是在培养我一种独立思考和解决问题的能力。它鼓励我去探索，去质疑，去创造，这正是我在技术学习中最为珍视的品质。
评分这本书的封面设计就足够吸引我了，那种复古的、略带工业风格的配色和字体，让我第一眼就觉得这绝对是一本干货满满的技术书籍，而不是那种浮光掠影的入门指南。我一直对大数据技术充满好奇，尤其是Hadoop这个名字，感觉就像是大数据领域的一座丰碑，但又因为其庞大和复杂而望而却步。所以，当我看到“The Definitive Guide”这个副标题时，我知道我找到了那个能够引领我深入探索的向导。从拿到书的第一天起，我就迫不及待地翻开它，虽然我还没有深入到任何一个具体的章节，但仅仅是目录和引言部分，就让我感受到了作者严谨的学术态度和对Hadoop生态系统全面而深入的理解。它不仅仅是讲解Hadoop的核心组件，更像是在描绘整个大数据处理的宏伟蓝图，让我对未来学习的路径有了清晰的认识。我尤其期待书中关于HDFS、MapReduce、YARN以及Hive、HBase等周边组件的详细阐述，希望能够真正理解它们的设计理念和工作原理，而不是停留在表面。这本书的厚度也让我感到安心，这绝对是一本可以陪伴我度过漫长学习时光的良师益友，我将把它视为我大数据学习之旅的基石，并期待着它能为我打开通往更广阔技术领域的大门。
评分让我特别赞赏的是，这本书不仅仅停留在对Hadoop技术的介绍，还深入探讨了在实际生产环境中部署和管理Hadoop集群的各种最佳实践。它涵盖了从集群规划、硬件选型、网络配置，到监控告警、日志分析、故障排除等一系列关键环节。我甚至看到了关于如何进行性能调优，如何应对数据倾斜，以及如何保障数据安全等方面的详细指导。这让我感觉到，这本书 truly is a definitive guide，它为我指明了从技术学习者到合格的大数据工程师的必经之路。我将这本书视为我的“案头宝典”，在未来的实践中，我无疑会频繁地翻阅它。
评分这本书对于Hadoop生态系统中其他重要组件的讲解也毫不逊色。例如，对Hive的SQL-like查询语法和底层MapReduce/Tez作业生成的解释，让我理解了如何用更简洁的方式处理大规模数据。而对HBase的分布式、列式存储和随机读写能力的介绍，则让我领略到了NoSQL数据库在特定场景下的优势。作者在讲解这些组件时，始终围绕着Hadoop的整体框架，将它们与HDFS、YARN等核心组件的联系清晰地阐述出来。这让我能够从一个更高的维度去理解整个大数据处理的生态系统，而不仅仅是孤立地学习某个工具。我感觉这本书正在为我构建一个完整的大数据知识体系，让我能够融会贯通。
评分真尼玛长。介绍了生态圈里的大部分工具，用来总结回顾比较适合，没有实践过的读者看前两部分mr和yarn核心，扫一遍后面所有工具是做什么用的就可以了。
评分真尼玛长。介绍了生态圈里的大部分工具，用来总结回顾比较适合，没有实践过的读者看前两部分mr和yarn核心，扫一遍后面所有工具是做什么用的就可以了。
评分2016 NO.4 深入浅出，原理讲的非常透彻。核心是 Hadoop Fundamentals 和 MapReduce 两章，但是后面的 Related Projects 也写的言简意赅，能够突出重点。比如 Flume 这一章会提到一些在 Flume 官网教程上也没提到的要点。
评分读完了，第一次接触大数据相关的内容。这本书的内容相当全面，第一部分讲原理，中间详细介绍基于hadoop的project，最后有具体的应用举例。很多地方理解的还不是很透彻，需要进一步的阅读。
评分入门hadoop的好书
