Name: High Performance Spark
Availability: InStock
Rating: 8 (45 reviews)
Author: Holden Karau, Rachel Warren
ISBN: 9781491943205

目前看到的最全面最有用的讲解spark的书籍

spark开发进阶书。讲述了常用的transform action函数优化方法，针对大数据下数据倾斜，导致oom的场景，讲述了优化方法。高效的算法往往不是最简洁的。

翻译垃圾，纯机器翻译。内容也一般，没讲什么东西

前面4章认真看了一下， 感觉比较浅的。 不知道是不是时代的原因， 这个书里面的内容已经过时了？ 5-8章 简略看了一下。 5 主要说了transform的一些东西，6 是说 kv 数据处理。 7章说了用别的语言是怎么和spark交互然后还有一些优缺点之类的。 第八章是测试， 第九章讲得ml啥的， 跳过。 这个主要的问题我感觉是工作主要是用sql的api， 这个RDD 是不是很少用呢？

觉得比Spark权威指南稍差一点，第六章的goldilocks的例子不错。

在书没有正式出版前，就阅读了该书的初稿。这是一本非常不错的Spark进阶书籍。该书主要涉及spark-core和spark-sql两部分，主要从性能的角度去分析Spark的功能及使用。该书篇幅不多，没有像国内很多Spark书籍大段大段贴源码的情况。

吃透那几个例子对spark理解算是非常深入了。

书真不错可惜国内引进有点晚，期待下一版能有更多关于dateframe/dataset的内容

这里又落后了. 之前 persist 默认 level 是 MEMORY_ONLY, 这个很不科学, 大一点就会出问题. 2.0之后默认已经改成 MEMORY_AND_DISK 了

偏老了，external shuffle相关的内容还没有

RDD的五个基础方法：partitions() iterator(p, parentIters) dependencies() partitioner() preferredLocations(p) RDD有不同的类型，由不同的操作产生，不同的RDD也有不同的转换。Transformation和action的不同...

贴了二十多页log… 前后也没啥分析，这是在骗篇幅吗…

Goldilocks问题，从算法效率、避免内存OOM的实战角度，优化算法: 1. 逐列sort取rank.列数很多时效率不高。 2. (col_index, col_val) + groupByKey 排序。groupByKey当每个partition的数据过大时会出现OOM。 3. 在...

From a code readability perspective, this solution is ugly. It requires dozens of lines of code and four passes through the data. However, we expect that it will avoid memory errors on the executors and complete faster than the `groupByKey` or secondary sort solutions. This is because the data on each column should be mostly distinct doubles, and thus the shuffle should be fairly efficient. The final two `mapPartitions` routines involve reducing the data and can be achieved through iterator-to-iterator transformations, so we expect them to scale well. Indeed, on randomly distributed test data with many records, this solution outperforms the other implementations of the Goldilocks problem by orders of magnitude.