2023年11月20日 每日一猜答案：。 答案：ABC。
每日一猜答案分析：

在 ChatGPT 火热当下，我们不妨设想一下它可以应用到我们生活和工作的哪些方面。作者在对 ChatGPT 有所了解后，从行业、宏观及微观的角度进行设想，积累灵感，并投身到模型建设中。希望对你也有所启发。

前言回顾

上一篇我们对 ChatGPT 的原理及技术实现进行了简要概述，详细可参考：ChatGPT 大流行的思考 - 解析篇

那么，在我们对 GPT 有一定了解的基础上，从行业、宏观及微观的角度进行设想，也许能得出些灵感，更好的投身到大模型浪潮中。

一、宏观及微观角度的设想

1. 宏观角度 - 行业设想

截至目前，从各大线上平台、自媒体、论文及分析报告反馈的信息来看，GPT 在回答问题、撰写文章、文本摘要、语言翻译和生成计算机代码等任务都具备良好表现，甚至部分领域已超过人类。

因每个行业市面上已存在对应的产品及形态，从行业的细分领域入手整理思考，再由已有的形态出发，设想加入 GPT 能力，究竟会迸发出什么爆点。

虽然设想存在一定的天马行空，但在这里也是需要有脚踏实地的思考，我们假设引入 GPT 需要解决的问题有哪些？

总结一下，GPT 的推广及实施主要面对三个问题：

可靠性 / 专业性问题：如何防止一本正经胡说八道的问题出现？

商业模式是否可落地：从门槛及成本两个角度考虑，后续在各行业的形态及商业模式待验证

部分行业如金融行业是否能引入：若存在需要颠覆行业认知的可能，在该行业的落地性可能性待探讨

可靠性 / 专业性问题，这个可以随着研究、技术及资本的投入逐步解决，个人觉得应该是没有太大问题。

其他两个问题更多是在 ChatGPT 上打了个大大的问号，因此还是需要全行业及各大机构探讨的。

因此关于行业的设想后续要面对的问题大概率是其商业模式是否可落地，这块是需要社会、政界、商界等验证后才得知。

2. 宏观角度 - 机构设想

上文提到的行业设想也是属于宏观的一个方面，那么如果从宏观的另一个角度 - 机构进行设想，会怎样呢？

首先，基于 ChatGPT 的大语言模型的认知，会发现GPT 改变了人类知识的创造、继承及应用的模式，无疑可以说是一个新的突破点。

所以按照这个思路，如果我们从部分机构来设想，也许会出现以下情况：

学校 +GPT：1）开设大语言模型学习专业，面向社会输出大语言模型的人才；2）教学模式变革：提供大语言模型 + 终端设备，辅助各专业老师输出更为符合社会变革的教学实践；

政府机构 +GPT：结合各国特色的大语言模型，结合 GPT 对各国国情判断及分析，按部就班发布各项政策，持续不断的发展人民生活；

各类车企及 Tier1+GPT：结合 GPT 的大语言能力（知识创建、继承等能力），提供更为安全可靠便利的驾驶体验，如车载对话机器人 +GPT 语言能力等等；

3. 微观角度 - 职业设想

那如果我们从职业的角度去设想，个人设想可能会出现以下情况：

教师 +GPT：衍生出新的教学模式，结合 GPT 给学生传授自主学习的能力，而不是对人类现有知识的传承；

学生 +GPT：新的学习模式及学习重心，结合 GPT 提供的数据、新旧知识，不断完善自身学习能力，提出新实践；

助理 +GPT：结合 GPT 的归纳总结能力，快速输出各行业相关的报告、材料（如患者病历、投资报告、会议纪要等）；

程序员 +GPT：通过嵌入 GPT 到 IDE 中，快速完成代码的编译、纠错及功能开发；

新闻撰稿人 +GPT：结合 GPT 的文本生成能力，定制符合人类发展、国家层面的报道；

律师 +GPT：结合 GPT 提供的历史案例分析，输出更为有利于原告被告的诉讼材料；

裁判员 +GPT：结合 GPT 多模态的分析能力（如各类球赛、辩论赛等），输出更为客观的判决结果；

可以看出，一方面 GPT（或者说大语言模型）可以为各职业人员的工作 / 学习效率提供质的飞跃，另一方面也对未来社会各界提出了新的要求及挑战：要求我们要有变革的决心和终身学习的能力。

二、GPT 新兴职业及研究方向

另，关于 GPT 的出现还会衍生出什么新兴职业，个人认为可能会有以下方面：

机器人防范及评估专家：针对大语言模型衍生的挑战及危机，制定对应策略的专家人才；

各行业大语言模型训练工程师：专门定向训练适合各国及各行业的大语言模型专家人才；

数据科学家：专门制定大语言模型的优质对话模板数据的专家人才；

并且，全世界或者联合国也许还会成立大语言模型研究学习机构，专门去应对各国面对的大语言模型挑战。

三、结束语

可以看出，为什么 GPT 能引发社会各界的关注，正是因为它改变了人类知识的创造、继承及应用的模式，并且还可能重新定义了往人类的学习及工作等方式。

正如一句话所说的：" 世界上唯一不变的就是变化。"

在 GPT3.5 后会已经有了 GPT4，未来肯定还会有更多的大语言模型，我们这代人无疑是处于转型的时代，我们面对的是机遇更是挑战。

人类社会已经经历了石器时代、青铜时代、铁器时代、蒸汽时代、电气时代、信息时代。

也许，毫不夸张的说，我们正在步入大语言模型时代 - 通用智能时代。

本文由 @SiegZhong 原创发布于人人都是产品经理，未经许可，禁止转载

题图来自 Unsplash，基于 CC0 协议

一图读懂chatgpt原理 chat gpt 国外研究现状

最近，很多非常聪明、精通技术的人都在讨论 ChatGPT，但我感觉他们都没有说到点上，他们对这款机器人的核心组件以及各个部分如何协同工作，并没有透彻理解。

需要说明的是，我并不是说自己了解 ChatGPT 的一切。我和其他人一样，包括活跃的机器学习研究人员，仍在学习和思考中。

我希望通过本文说明一下自己的理解，帮助其他“落伍”的人。

ChatGPT 的核心是生成式机器学习模型家族的大型语言模型。这个系列还包括 Stable Diffusion 以及所有其他提示驱动的文本模型，现在每天新闻讨论的都是这些模型。

简单来说，生成式模型是一种函数，它可以将结构化的符号集合作为输入，并生成相关的结构化符号集合作为输出。

下面是结构化符号集合的一些示例：

• 单词中的字母
• 句子中的单词
• 图像中的像素
• 视频中的帧

将一个符号集合转换为另一个相关符号集合的方法有很多种，这些方法并不限于计算机程序。你可以编写一个使用规则和查找表的计算机程序，就像 60 年代的聊天机器人。

在讨论关系之前，我们先来介绍两个概念，它们将在本文中反复出现：

• 确定性：确定的过程指的是，在输入既定的情况下，必然能得到相同的输出。
• 随机性：随机过程指的是，在输入既定的情况下，得到的输出有一定随机性，即有时得出这样的输出，有时则会得出其他输出。

例如，糖果机就是确定性的，投入一块钱，转动手柄，每次都能拿到一块糖。也就是说，一块钱=一块糖，永远不变。

但从另一个角度来看，糖果机也是随机的，投入一块钱，转动手柄，每次都能拿到一块糖，但这块糖的颜色基本上是随机的，且每种颜色的概率取决于机器内部不同颜色的比例。五台不同的糖果机，五种不同的颜色比例，就会有五种不同的颜色输出概率分布。

暂时抛开这些关键概念，下面我们来说一说为什么关系很难。

符号集合可以按照不同的方式关联在一起，关系越抽象越微妙，我们就需要投入越多技术来解决需要捕捉这种关系的问题。

1. 假设我们将集合 {cat} 与 {at-cay} 关联在一起，这是一个标准的“猪拉丁”转换（Pig Latin，一种英语语言游戏，形式是在英语上加上一点规则使发音改变，小孩子经常通过这种游戏秘密交流），我可以用一个简单的手写规则集来管理这种关系。

2. 假设我们将集合 {cat} 与 {dog} 关联在一起，那么这两个集合可以在多个抽象级别上关联。

• 作为有序的符号集合（序列），二者都有三个符号。
• 作为三个符号的序列，二者都是单词。
• 作为单词，二者都指代生物有机体。
• 作为有机体，二者都是哺乳动物。
• 作为哺乳动物，二者都是家养宠物。
• 等等。

3. 假设我们将集合 {the cat is alive} 与 {chatgpt} 关联在一起，那么就可以使用更多、甚至更高阶的概念来比较和对比这两个符号序列。

• 所有与猫相关的概念都可以考虑，所有“活着”与“死”相关的概念也在考虑范围内。
• 在另一个层面上，许多读者会发现我们可以称之为对薛定谔猫的互文引用。

4. 我们再添加一种关系，{chatgpt} 与 {the cat is mature}。那么此处，我们讨论的是身体发育阶段还是情感发展状态？

• 因为它是一只猫，“【【淘密令】】”（不成熟）的意思就是“年轻”、“孩子”等。
• 如果句子的主语是人，那么这个句子更有可能讨论的是适龄行为的一些情感概念。

在阅读上述内容时，你可以想象，随着列表项从 1 到 4，符号之间的可能关系会出现爆炸式增长。随着可能关系数量的增加，关系本身的抽象性、复杂性和微妙性方面也在加剧。

上述，不同的关系采用不同类别的符号存储和检索（从纸笔到数据中心），以有用的方式捕获和编码。

对于第 1 个关系，我们只需在一张纸上画出简单地“猪拉丁”关系，任何人看了这张图，就可以将英语单词转换为“猪拉丁”。但是到第 4 个例子的时候，我们就会思考一个问题：为什么机器学习会需要价值几千万美元的资源？

1. 我们发现这两个集合之间可能存在的关系就像一个小宇宙。这是一个令人眼花缭乱、紧密相连的概念网络，从简单的物理特征到生物分类学，再到身体和情感发展的微妙概念，一直沿着抽象阶梯向上延伸。

2. 一些更抽象的可能关系出现的可能性更大。因此，我们就需要考虑概率元素。

• 正如我在例子中所说，如果我谈论的是一只猫，那么成熟和不成熟更有可能是与身体发育相关的一组概念，而不太可能围绕情感或智力发育。

对于上述第 2 条中提到的概念，“不太可能”并不意味着不可能，特别是如果我们拓宽背景。例如，我们添加一些额外的词：

• {Regarding the cat in the hat: the cat is mature.}
• {Regarding the cat in the hat: chatgpt.}

突然间，所有的可能性都发生了变化。此处，成熟和不成熟代表的含义可能就是另一个领域。

概括：

• 当符号集合之间的关系简单且确定时，你不需要太多存储或计算能力即可将一个集合与另一个集合关联起来。
• 当符号集合之间的关系复杂且随机时，将一个集合与另一个集合相关联，就需要投入更多的存储和计算能力，从而以更丰富、更复杂的方式关联这些集合。

高中的化学曾介绍过一个概念，有助于我们思考生成式 AI：原子轨道。

原子轨道指的是电子在原子核外空间出现机率较大的区域。不同能级的电子具有不同形状的轨道，这意味着它们可能会出现在不同的区域。

下图是氢原子的轨道：

我们单独挑出一个来看看：

对于上图中的轨道，如果你用比电子更小的东西戳原子，区域越亮，你戳到电子的几率就越高。对于图片中的黑色区域，并不意味着找到电子的概率为零，只是说这个区域出现电子的概率低到几乎为零。

这些轨道是概率分布，它们具有特定的形状，上图中的轨道像四个花瓣，所以如果你观察这四个区域之一的一个点，则更有可能发现一个电子，而黑色区域则相反。

以上就是你需要了解的量子化学知识，也是暂时你需要了解的所有背景知识。下面，我们来谈一谈 ChatGPT。

你可以想象，对于 ChatGPT 这样的模型，模型可能生成的每个可能文本块（从几个乱七八糟的单词到整篇连贯的文章）都是概率分布中的一个点，就像以上我们讨论的氢原子轨道中电子的分布位置。

当你在 ChatGPT 的输入框输入一组单词时，例如：“Tell me about the state of a cat in a box with a flask of poison and a bit of radioactichatgpt”，你可以把点击“提交”按钮的动作想象成进行一次观察，这会引发波函数坍缩，并得出一个符号集合（只是许多可能的集合的一个）。

有些读者可能会意识到，文本到文本的大型语言模型，实际上是在概率空间中找到一个单词，并将它们串在一起形成句子。不过，在这个抽象层次上，“潜在空间指的是模型可能输出的所有单词的多维空间”与“潜在空间指的是可能输出的所有单词序列的多维空间”之间有一定的区别。为了方便读者理解，并最大程度地降低复杂性，此处我们采用后一个定义。

有时，文本提示输入会将你带到概率分布中的一个点，其对应的集合为 {The cat is alive}，而有的时候，你会到达不同的点，比如对应于 {The cat is dead}。

请注意，上述输入符号也有可能会将你带到模型的潜在空间中的一个点，其对应的集合为 {ph'nglui mglw'nafh Cthulhu R'lyeh wgah'nagl fhtagn}，尽管这种可能性几乎为零。这一切都取决于文本输入戳中的概率分布的形状，以及计算机的随机数生成器。

重点在于，在这个例子中，我们经常说语言模型“知道”猫的状态（生或者死），但其实这并不重要。模型内部是否对猫有一定的了解，以及对其环境有不同的掌握，这些其实也是次要的。

更好的方式是从这个角度理解：

在模型可能产生的所有符号集合的空间中（从胡言乱语的集合到莎士比亚的文集），模型概率分布中某些区域包含的符号集合，我们人类理解为 the cat is alive。在同一个概率空间中还有一些相邻区域包含的符号集合，我们人类理解为 The cat is dead。

以下是我们可能会在 ChatGPT 的潜在空间中遇到的一些与猫相关的符号集合，即可能的输出空间：

• {The cat roused herself from slumber and blinked her eyes.}
• {The soft breathing of the sleeping cat greeted Schr?dinger as he opened the box.}
• {Ja mon, de cat him dead.}
• {“I’chatgptt!” screamed Schr?dinger as he pulled his pet’s lifeless corpse from the box.}
• {Patches watched the scene from above, chatgptting near the ceiling as his master lifted his lifeless body from the box and wept.}

当你用不同的输入集合戳模型时，遇到有些输出集合的概率可能更高，但理论上所有输出集合都有可能遇到。

因此，虽然你和我都围绕某个事实与 ChatGPT 进行交互时，例如，孟加拉虎是否濒临灭绝，我们不应该认为 ChatGPT 是拥有一些个人经历的实体，或者认为 ChatGPT 掌握了一些关于孟加拉虎的事实，即便它告诉你和我两个人的信息有一些矛盾，也不能认为它对其中一个人撒谎。

相反，我们应该认为，通过我的文本提示，我观察到了概率分布中的一个点，这个概率分布对应于关于孟加拉虎的一组事实和概念，而你也做了相同的事情。我们两个得到了不同的单词序列，而且这些单词序列似乎代表不同的事实，例如它告诉我这种老虎濒临灭绝，但告诉你这种老虎非常普通，这是因为我们两个戳中了概率分布中不同的波瓣，并在不同波瓣中找到了不同的点。

• 我戳中的概率分布中波瓣包含的单词序列，按照人类的理解，意思是孟加拉虎濒临灭绝。
• 你戳中的概率分布中波瓣包含的单词序列，按照人类的理解，意思是孟加拉虎数量过剩。

那么，我们应该如何解决这个问题呢？

考虑到实际情况是，孟加拉虎确实濒临灭绝，我们需要去掉概率分布中你戳中的那个波瓣（即孟加拉虎数量过剩），或者至少降低这个概率。

当大型语言模型输出的单词序列不符合现实真相时，我们说该模型是产生了“幻觉”。

目前，我们有一套方法可以帮助我们塑造大型语言模型输出的概率分布，也就是说让一些区域变得更小或密度更低，而一些区域变得更大或更密集：

1.训练

2.微调

3.带有人类反馈的强化学习 (RLHF)

我们可以在高质量的数据上训练一个基础模型。所谓的高质量数据指的是符号集合，我们作为人类观察者认为这些数据有意义，而且是符合世界真相的符号集合。通过这种方式，经过训练的模型就像一个原子，其轨道的形状也符合我们的认知。

接下来，我们尝试一下这个模型，找出我们不希望在观察过程中在输出空间中遇到的区域，然后我们使用更有针对性、精心设计的训练数据对模型进行微调。这种微调会缩小一部分波瓣，并扩大一部分波瓣，同时我们希望在多次微调波瓣的形状之后，这个波函数一次又一次的缩小能够得到更加令我们满意的输出。

最后，我们利用带有人类反馈的强化学习，引入一些人为因素来帮助我们调整模型概率空间的形状，使其尽可能紧密地覆盖所有可能输出空间中对应于世界“真相”的点，同时不覆盖“虚假”事物相对应的点。正确完成这一步的工作后，模型概率空间的所有观察对我们来说都是“真相”点。

关于本节中的内容，我个人主要有两个问题：

1. 我们一直提到的这个“观察者”是谁，是负责解释模型的输出并判断对错的人？他们是聪明还是愚蠢？他们真的对真相感兴趣，还是说他们只是想塑造这个模型的概率分布来达到自己的目的？

2. 如果我有幸成为决定模型输出是否真实的观察者，我真的只想要真相吗？如果我想让模型讲一个关于独角兽的睡前故事，我会希望它模仿某位著名的主持人给我讲故事吗？一般来说模型的创造能力是一个特性，而不是非黑即白，不是吗？

这些问题是“幻觉”问题的核心，但这些不是技术问题，而是语言、解释学、政治的哲学，最重要的是：这是一个权力的问题。

与 ChatGPT 的交互体验非常强大，但实际上它只是一个 UI，就像计算器应用程序看起来像一个小型物理计算器一样。

虽然你以为模型在设法了解你，就像你了解它一样，随着对话的发展，你俩都在不断加深对彼此的了解。但实际情况并非如此。

你需要彻底摆脱自己正在与 ChatGPT 交谈的想法，为此你需要掌握的最后一个概念：令牌窗口。

对于本文介绍的普通语言模型，你为模型提供一组输入，它执行概率操作，然后提供输出。输入会进入模型的令牌窗口。

• 这里的“令牌”指的就是本文一直在谈论的“符号”。我想尽量避免使用专业术语，所以才说“符号”，但实际上模型接收和输出的都是令牌。
• “窗口”是模型可以接收并转化为一系列输出的令牌数量。

因此，当我使用 ChatGPT 之前的大型语言模型时，我将令牌放入令牌窗口，然后模型返回潜在空间中的一个点，而该点位于我放入的令牌附近。

关键在于，概率空间不会因我放入窗口的令牌而改变形状。当与我交互的窗口从一个变成另一个时，模型的权重保持不变，即模型不记得前一个窗口的内容。

你可以这样认为：每次我将令牌放入模型的窗口并点击“提交”时，就好像我在大街上撞见了模型，并第一次与它交谈，它不会记录任何有关与我交互的历史或信息。

还有一个不太完美的类比：每次我将特定提示和种子输入 Stable Diffusion，都会得到相同的图片。每个提示和种子的组合都会将我带到特定图像所在潜在空间中的一个点，如果我继续给它相同的输入，那么最后仍将获得相同的输出。我没有与模型建立任何共享的历史记录，而 Stable Diffusion 也没有“学习”任何关于我的信息。

最终结果是，模型经过训练后，唯一可获得的信息仅限于我放入令牌窗口的内容。如果我在令牌窗口中输入一个包含我婚姻状况的单词序列，那么模型会获取这些序列，并返回潜在空间中与输入序列相邻的一个点，而这个点代表与我在令牌窗口中给它的事实相关的信息。

ChatGPT 是一个具有很大的令牌窗口的大型语言模型，它的使用体验更具交互性，让用户感觉就像真正的对话一样。

下面，我们来实际试试看 ChatGPT 的 UI，假设我打开了浏览器，启动了一个 ChatGPT 会话，如下所示：

Me: What’s up, man.（你好，最近怎么样？）

ChatGPT: Not much. What’s up with you?（还那样。你怎么样？）

Me: Eh, my cat just died in a lab accident.（唉，我的猫刚死于一次实验室事故。）

ChatGPT: I’m chatgpt.（听到这个消息我感到非常遗憾。）

Me: Yeah, it sucks. I’chatgptog at the shelter, though. I pick him up this afternoon. （是的，我感觉很糟糕。不过，我已经从收养所挑选了一只狗。今天下午我就去接他。）

ChatGPT: That’s exciting! I’m sure your new dog will be a as good a companion for you as your now deceased cat.（太好啦！我相信你的狗会像已故的猫一样成为你的好伴侣。）

我们将这个此会话分解为多个令牌窗口，然后输入到模型中：

令牌窗口 1：

{What's up, man.}（你好，最近怎么样？）

输出1：

{Not much. What’s up with you?}（还那样。你怎么样？）

令牌窗口 2：

{Me: What’s up, man. （你好，最近怎么样？）

ChatGPT: Not much. What’s up with you?（还那样。你怎么样？）

Me: Eh, my cat just died in a lab accident.} （唉，我的猫刚死于一次实验室事故。）

输出2：

{I'm chatgpt.} （听到这个消息我感到非常遗憾。）

令牌窗口 3：

{Me: What’s up, man. （你好，最近怎么样？）

ChatGPT: Not much. What’s up with you? （还那样。你怎么样？）

Me: Eh, my cat just died in a lab accident. （唉，我的猫刚死于一次实验室事故。）

ChatGPT: I’m chatgpt. （听到这个消息我感到非常遗憾。）

Me: Yeah, it sucks. I’chatgptog at the shelter, though.} （是的，我感觉很糟糕。不过，我已经挑选了收养所的一只狗。今天下午我就去接他。）

输出3：

{That’s exciting! I’m sure your new dog will be a as good a companion for you as your now deceased cat.} （太好啦！我相信你的狗会像已故的猫一样成为你的好伴侣。）

看到了吗？OpenAI 不断将每次谈话的输出附加到现有输出，这样令牌窗口的内容就会随着谈话的进行而不断增加。

每次我点击“发送”时，OpenAI 不仅将我的最新输入提交给模型，还会将会话中所有之前的谈话内容都添加到令牌窗口，这样模型就可以获取整个“聊天记录”，并将我引向其概率空间中正确的波瓣。

换句话说，随着我与 ChatGPT 会话的进行，我为这个模型提供的“文本提示”越来越长，信息也越来越丰富。因此，在第三次交流中，ChatGPT “知道”我的猫已经死了，并且能够做出恰当的回应，正是因为 OpenAI 一直在秘密地将我们的整个“聊天”历史记录放入每个新的令牌窗口中。

但除了我们的聊天记录之外，这个模型不可能“知道”关于我的任何事情。所以说，令牌窗口是一种共享的、可变的状态，模型和我一起不断修改它，其中的内容是模型为了回复我而用于查找相关单词序列的一切。

总结一下：

• 模型的权重在正常使用期间不可变，这个权重决定了上述概率分布，并代表了模型“知道”的关于这个世界的一切。
• 我可以向模型输入新的“事实”，也就是我输入到令牌窗口的信息，模型据此生产新的输出。

如果你掌握了以上所有内容，就会明白即将推出的 OpenAI 模型版本中的 32K-token 窗口非常重要。这个令牌窗口足以让模型加载新的事实，例如客服历史记录、书籍章节或脚本、动作序列以及许多其他内容。

随着令牌窗口越来越大，预训练模型可以即时“学习”更多东西，因此也能解锁更多全新的 AI 功能。