Elements of Information Theory

Thomas M. Cover, Joy A. Thomas

出版时间

2006-07-01

ISBN

9780471241959

评分

★★★★★
书籍介绍
这不是一本可以平铺直读、从第一章啃到最后一章的书。多数读者的真实读法是:带着一个具体问题,翻到需要的那一章——熵、数据压缩、Kolmogorov复杂性、信道容量——读完再合上。正因章节彼此相对独立,它更像一本可以随时回来查阅的参考手册,而非一气呵成的入门教程。它的语言极简、推理干净,被不少人称赞「讲得很妙」,但也正因简约,有人觉得「废话太多、读不完」,甚至质疑它是否真能算入门。真正适合它的,是已经对概率与统计有基础、需要在熵、互信息、信道容量等核心概念间快速建立直觉的读者;若你更想要一本循序渐进、把统计 inference 讲透的入门书,另有更对口的选择。
精彩摘录
  • "The initial questions treated by information theory lay in the areas of data compression and transmission. The answers are quantities such as entropy and mutual information, which are functions of the probability distributions that underlie the process of communication. The Kol-mogorov complexity of"
  • "We summarize this by saying, "Almost all events are almost equally suprising.""
用户评论
老实说数学难度上来讲不大,但是模型建得确实相当好,启发了许多方向,贡献了无数idea(代数编码理论因此问世) 我写论文时时不时想拜一拜香农,天才栽树,后人才有凉乘啊!提出一个好问题比解决一个难题要伟大得多,何况还是提出一系列好问题
主要读了从Kolmogorov复杂性到金融的三章,其实后面各章之间没太大逻辑连贯性,都是不同的主题,所以批评这本书内容散乱完全是搞错了阅读方法,这书本来就不是一章一章读下去的,而是挑自己需要的章节读。
废话多内容散读不完,不够elements
写得真好!信息论用到的数学是如此简单,但是结论又这么优雅,Shannon 真的厉害。
经典。但若是为了研究统计推断而学习信息论,我更推荐MacKay的Information Theory, Inference and Learning Algorithms。
大约在 8 年前我就有学习信息论的计划
完美教科书!
我还得多看几次,才能有点感觉。
(读了大概三分之一)我感觉还是挺适合我这种信息论菜鸟的。 当年,去蹭耿老师的网络信息论,什么都听不懂。课下拿起这本教材恶补基础。然鹅,最后也就学个皮毛[捂脸]
下载
收藏