Spark大数据分析实战

不连续；杂；不适合新手；体现不了实战二字。

哎

水

Spark是基于内存计算的大数据并行计算框架，因为它基于内存计算，所以提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。Hadoop中包含计算框架MapReduce和分布式文件系统HDFS。 Spark是MapReduce的替代方案，而且兼容HDFS、Hive等分布式存储层，融入Hadoop的生态系统，并弥补MapReduce的不足。

1flume采集日志到kafka中，spark streaming去处理计算 2spark是加州大学伯克利分校发明的 3spark社区和生态发展越来越好，是未来的趋势。

有种“对方不想和你说话，并丢出一堆工具给你”的感觉。很多计算模型介绍，而就仅仅介绍，代码应用很浅，随便几行演示那种，也就看看个示例，并没有“实战”可言。

代码凑字数