书籍介绍
Nobody expected this--not even its creators: ChatGPT has burst onto the scene as an AI capable of writing at a convincingly human level. But how does it really work? What's going on inside its "AI mind"? In this short book, prominent scientist and computation pioneer Stephen Wolfram provides a readable and engaging explanation that draws on his decades-long unique experience at the frontiers of science and technology. Find out how the success of ChatGPT brings together the latest neural net technology with foundational questions about language and human thought posed by Aristotle more than two thousand years ago.
AI导读
核心看点
- 揭秘ChatGPT底层原理，解释其如何预测下一个词
- 融合神经网络技术与语言哲学，探讨AI思维本质
- 由计算先驱撰写，通俗解析Transformer架构与训练
适合谁读
- 对AI原理好奇但无深度学习基础的普通读者
- 希望快速了解大模型运作机制的科技爱好者
- 对语言模型与人类思维关系感兴趣的思考者
读前提醒
- 本书篇幅短小，适合碎片时间快速阅读入门
- 部分技术概念讲解较简略，需结合其他资料
- 注意区分作者观点与客观事实，理性看待局限
读者共识
- 作为AI扫盲书通俗易懂，适合零基础读者入门
- 作者观点独特，但部分技术解释被指不够严谨
- 书中包含较多自家产品广告，阅读时需注意甄别
本导读基于书籍简介、目录、原文摘录、短评和书评生成，不等同于全文精读。
精彩摘录
- "当ChatGPT做一些事情，比如写一篇文章时，他只是一遍又一遍的询问：“根据目前的文本下一个词应该是什么”并且每次都添加一个词。 它在每一步都会得到一个带概率的词列表，如果我们总是选择排民最高的词，会得到一份“平庸”的文章，毫无“创造力”，但有时随机选择低概率的词，会显得“更有趣”。"
- "从来没有“无模型的元模型”，所有模型都有特定的基本结构，以及用于拟合数据的一定量的“旋钮”（也就是“参数”）。"
- "每个神经网络都只对应于某个整体的数学函数，GPT神经网络也只对应于一个数学函数——实际上有数十亿项。"
- "神经网络之所以强大，原因不仅在于它能够处理各种工作，还在于它可以通过逐步“根据样例训练”来执行学习程序。 当构建一个神经网络来区分猫与狗时，我们不需要编写一个程序（比如）明确找到胡须，只需要展示足够多的关于什么是狗、什么是猫的样例，然后让神经网络从中“机器学习”如何区分即可。"
- "有时候，用神经网络解决复杂问题比解决简单问题更容易，大致原因在于，当有很多权重变量时，高位空间中“许多不同方向”可以引导我们达到全面最优解，而但变量很少时，很容易陷入局部最优解（但非整体最优解）。"
- "在越来越多的情况下，人们并不从头开始使用训练网络：一个新网络可以直接包含一个已训练过的网络、或至少使用该网络未自己生成更多数据。"
- "ChatGPT一个很好的特点，就是可以进行“无监督学习”，更容易获取训练样例。试想一下，GPT基本任务是续写给定的文本，因此要获得训练样例，就是获取一段文本并将结尾遮挡起来，将其作为“训练的输入”，而“输出”就是无遮挡的完整文本。这里的重点是，GPT不需要“明确的标签”，它可以直接从获得的文本样例中进行学习。"
- "训练神经网络很难，并且需要大量的计算工作，绝大部分工作是在处理数的数组，这正是GPU长处，这也是为什么神经网络训练通常受限于GPU数量。"
作者简介
Stephen Wolfram is an award-winning scientist and bestselling author, and the creator of some of the world's most respected software systems-Mathematica, WolframAlpha and Wolfram Language. For more than 35 years, he has been CEO of the global technology company Wolfram Research, as well as responsible for a series of groundbreaking advances in basic science, including the recent Wolfram Physics Project. stephenwolfram.com
用户评论
ChatGPT能助我们理解人类思想语言的基本特征和原则。ChatGPT的启示：人类语言（及背后的思维方式）在结构上比我们想象的更加简单。
对 LLM 最好的介绍材料，深入浅出
入门辅助理解一下chatgpt的原理
写书速度太快了，序言日期是今年Feb28～The first thing to explain is that what ChatGPT is always fundamentally trying to do is to produce a “reasonable continuation” of whatever text it’s got so far, where by “reasonable” we mean “what one might expect someone to write after seeing what people have written on billions of webpages, etc.”
收藏