GPT图解 大模型是怎样构建的

黄佳

出版时间

2023-12-01

ISBN

9787115623683

评分

★★★★★
书籍介绍
这本书最见功力的地方,在于它没有停留在'ChatGPT是什么'的猎奇层面,而是把读者带到'GPT是怎么被造出来的'。作者沿着一条清晰的技术演进线,从N-Gram、词袋模型,一路走到Transformer,让读者看到每一项新架构都是为解决前一项的痛点而生:NPLM固定上下文窗口的局限催生了RNN,梯度消失又催生了LSTM,长序列的难题则催生了注意力机制。这种'问题—突破—再出问题'的叙事,使技术不再是孤立的公式,而是一场有因果的接力。更难得的是,书中保留了大量可运行的代码,读者需动手复现才能真正吃懂Transformer。它适合愿意啃代码、想理解底层逻辑的人;若只想了解大模型概念,或许会觉得繁琐。
作者简介
黄佳,笔名咖哥,新加坡科技研究局人工智能研究员。主攻方向为 NLP 大模型的研发与应用、持续学习、AI in FinTech。黄佳深耕人工智能领域多年,积累了丰富的科研项目和政府、银行、能源、医疗等领域 AI 项目落地实战经验,目前正与 PlatoX.AI 展开富有前景的技术合作。曾著有《零基础学机器学习》《数据分析咖哥十话》等多部畅销书。同时,在极客时间开设专栏《零基础实战机器学习》《LangChain 实战课》,在深蓝学院开设视频课程“生成式预训练语言模型:理论与实战”。
精彩摘录
  • "从NPLM到Seq2Seq,NLP研究人员不断探索更有效的建模方法来捕捉自然语言的复杂性。 NPLM使用神经网络来学习词嵌入表示,并预测给定上文的下一个词。NPLM用连续向量表示词,捕捉到了单词之间的语义和语法关系。尽管NPLM性能有所提高,但仍然存在一些局限性,例如上下文窗口的大小是固定的。 为了解决上下文窗口大小固定的问题,研究人员开始使用RNN来处理可变长度的序列。RNN可以在处理序列时保持内部状态,从而捕捉长距离依赖关系。然而,RNN在训练中容易出现梯度消失和梯度爆炸问题。 为了解决梯度消失和梯度爆炸问题,LSTM和GRU等门控循环单元被提出。它们引入了门控机制,可以学习长距离依赖关系"
目录
序章 看似寻常最奇崛,成如容易却艰辛 001
GPT-4:点亮人工通用智能的火花 002
人工智能演进之路:神经网络两落三起 004
现代自然语言处理:从规则到统计 007
何为语言?信息又如何传播? 008

显示全部
用户评论
书没有很长,有大量的图解,理解起来也还好,但我不是相关从业者,就当成科普来看了
本书以“古诗词+章节内容”的形式为每个讲解不同语言模型的篇章命名,多为古诗词的改编,加上暗喻,用字数简短但是意蕴深厚的古诗词提炼大模型的特征、语言模型的发展脉络,让知识点直观、易懂、易记。
这本书很不错。
我想说我很喜欢佳哥书中章回体小说的章节标题,同时书中的配图对于我学习理解相关技术起到了很大的帮助。
看了黄佳大咖的这本新作,让我对GPT有了新的认识,人工智能一直是计算机从业者们的梦想,从无到有,经历坎坷,现今众多厂家公司开发人工智能技术,让人类更加轻松便捷使用我们的各类电子设备,加上大数据,让人工智能更加精准安全。
书的封面很好看,看到第一眼就被封面上的小人吸引了,好奇书里的内容,买回来发现确实是我想要的图解书了。图书内容也是轻松易读,感觉很不错呢
改变世界的开始
对大模型的见解非常独到,值得好好研读一下。
下载
收藏