人工智能和大数据时代，解决最有挑战性问题的主流方案是分布式机器学习！本书旨在全面介绍分布式机器学习的现状，深入分析其中的核心技术问题，并且讨论该领域未来的发展方向。
由微软亚洲研究院机器学习核心团队潜心力作！鄂维南院士、周志华教授倾心撰写推荐序！
本书旨在全面介绍分布式机器学习的现状，深入分析其中的核心技术问题，并且讨论该领域未来的发展方向。
全书共12章。第1章是绪论，向大家展示分布式机器学习这个领域的全景。第2章介绍机器学习的基础知识。第3章到第8章是本书的核心部分，向大家细致地讲解分布式机器学习的框架及其各个功能模块。其中第3章给出整个分布式机器学习框架的综述，而第4章到第8章则分别针对其中的数据与模型划分模块、单机优化模块、通信模块、数据与模型聚合模块加以介绍。接下来的三章是对前面内容的总结与升华。其中第9章介绍由分布式机器学习框架中不同选项所组合出来的各式各样的分布式机器学习算法，第10章讨论这些算法的理论性质，第11章则介绍几个主流的分布式机器学习系统（包括Spark MLlib 迭代式MapReduce系统，Multiverso参数服务器系统，TensorFlow数据流系统）。最后的第12章是全书的结语，在对全书内容进行简要总结之后，着重讨论分布式机器学习这个领域未来的发展方向。
本书基于微软亚洲研究院机器学习研究团队多年的研究成果和实践经验写成，既可以作为研究生从事分布式机器学习方向研究的参考文献，也可以作为人工智能从业者进行算法选择和系统设计的工具书。
人工智能大潮中，市场上已有许多机器学习书籍，但是分布式机器学习的专门书籍还很少见。本书是希望学习和了解分布式机器学习的读者的福音。
刘铁岩
微软亚洲研究院副院长。刘博士的先锋性研究促进了机器学习与信息检索之间的融合，被国际学术界公认为“排序学习”领域的代表人物。近年来在深度学习、分布式学习、强化学习等方面也颇有建树，发表论文200余篇，被引用近两万次。多次获得最佳论文奖、最高引用论文奖、Springer十大畅销华人作者、Elsevier 最高引中国学者等。被聘为卡内基-梅隆大学（CMU）客座教授，诺丁汉大学荣誉教授，中国科技大学教授、博士生导师；被评为国际电子电气工程师学会（IEEE）会士，国际计算机学会（ACM）杰出会员。
陈薇
微软亚洲研究院机器学习组主管研究员，研究机器学习各个分支的理论解释和算法改进，尤其关注深度学习、分布式机器学习、强化学习、博弈机器学习、排序学习等。2011年于中国科学院数学与系统科学研究院获得博士学位，同年加入微软亚洲研究院，负责机器学习理论项目，先...
- "对模型参数更新进行通信，往往有利于提高分布式机器学习的效率，因为在很多机器学习任务中，参数以及参数的更新任务往往是稀疏的。同时随着模型趋于收敛，参数的更新也会越来越小，另外可以使用量化或者过滤的方法进一步减少通信数据量。"
- "如果每个小批量训练的计算量很大，而模型规模又不大（CNN），通信开销可以忽略。反之，无法忽略。"
- "1.增大size导致方差变小，减少了跳出了局部最优的可能。实现了尖锐的局部最优，但是更加精确，所以可以增加学习率，逐步增大学习率。 2.减小，会导致收敛到平坦的局部最优，平坦区域泛化能力更强 3."
- "模型划分的随机划分手段：规模更小的骨架网络，骨架网络存在于每个工作节点，传输非骨架结构的参数，探索全局的结构。骨架网络的选取可以是周期性更新的，对全局拓扑结构的探索也是动态/随机的，大大减小模型并行的通信代价，对模型并行的效果有一定保证。"
- "是处理完mini-batch之后开始通信还是全部本地数据处理完之后通信？通信的收发频率是否需要一致？不同的频率对模型的收敛是否有影响？想要基于计算速度，带宽，数据大小，模型大小，计算出一个最优的通信频率，从而取得计算代价和通信代价的最优匹配。"
- "收敛性：不同方法的收敛速度和性质，每个模块对整体的收敛速度产生怎么样的影响，按照优化目标，本地优化算法，并行模式，通信和聚合方式进行归纳 加速比：除了与算法的收敛速度有关，还受通信-计算的时间比的影响。还有要实现收敛我们需要的最小通信量也是可以研究的方向。 泛化性质"
- "Caffe2中的gloo通信库实现了自定制的AllReuce功能，百度的DeepSpeech系统采用了环状的AllReduce功能，Nvidia提供的集合通讯库NCCL中有AllReduce的原语"
- "CMU的Parameter Server和Petuum谷歌的DistBelief和微软的DMTK/Multiverso"
