信息论基础

[美] Thomas M. Cove

出版时间

2008-01-01

ISBN

9787111220404

评分

★★★★★
书籍介绍
信息论常被当作通信工程的工具书来教,但这本书真正打动读者的,是它把信息从
精彩摘录
  • "The initial questions treated by information theory lay in the areas of data compression and transmission. The answers are quantities such as entropy and mutual information, which are functions of the probability distributions that underlie the process of communication. The Kol-mogorov complexity of"
  • "We summarize this by saying, "Almost all events are almost equally suprising.""
目录
译者序.
第2版前言
第1版前言
第2版致谢
第1版致谢

显示全部
用户评论
2 3 7章 虽然是课本 不过大拿的魅力真的很强大 昨天出了分 估计近期不会再看了。。 加油
这不是本让一个毕业了n年的理工科学生能够像上学时那样硬关头皮看懂的“简明易懂”信息论教材。这本书的核心正如前言所说的“凡事应该尽可能简单到不能再简单为止”。多谢这次读书会,能够让我幸读了里面的2 3 5 6 7 14 16章。书总体来说讲得比较全,就是有个别地方翻译的不太好,需要大家讨论才能理解。参见jake书评
虽说是基础,可整页整页的公式符号,眼花缭乱。
看到第7章,智商已成渣渣。
对问题的全面理解不是靠推理,而是靠对结果的观察。因不宜超出果之所需-奥卡姆剃刀。D(μn||μ'n)≥D(μn+1||μ'n+1)对于任何马尔可夫链,两个概率密度函数间距离随时间n递减。如果两个不同国家对财产重新分配采用相同的税收体系,则两个国家的私人财产分布之间的相对熵距离将随时间而递减。熵H(X)=-Σp(x)log p(x) 相对熵 D(p||q)=Σp(x)log(p(x)/q(x)) 互信息I(X;Y)=ΣP(x,y)log(p(x,y)/p(x)p(y) 信息不等式D(p||q)≥0渐进均分性-1/n log p(X1,X2,...Xn)→H(Χ)数据压缩H(X)≤L*<H(X)+1科尔莫戈罗夫复杂度K(x)=minU(p)=x^l(p)高斯信道容量C=1/2log(1+P/N)
很幸运本科期间的教材给定的就是这本书,不管从翻译,排版,还是证明的思路都很适合初学者入手,可以说是市面上最好的中文信息论书籍了。信息论其实有许多符合直觉的地方,一旦有一些这种直觉的感受,学习会更加轻松。
太理论化了,实在看不下去,也真心看不懂,估计工作中也用不上,翻了翻,果断放弃。本书我就没有脸面打分,留给有勇气看完的同学来打分。
简明易懂,学得半通不通是我蠢,从此意识到tcs的路我走不通
信息论权威教材
为了考试学的,精读的第二章,以偏概全的讲,作者很有趣,不说废话不故弄玄虚
下载
收藏