谈谈ChatGPT背后的核心技术 1分钟了解什么是ChatGPT

互联资讯 2023-04-11 06:00:03 0

2023年11月20日每日一猜答案：。答案：ABC。
每日一猜答案分析：

谈谈ChatGPT背后的核心论文

最近chatgpt可以说是火遍了全世界，作为由知名人工智能研究机构OpenAI于2022年11月30日发布的一个大型语言预训练模型，他的核心在于能够理解人类的自然语言，并使用贴近人类语言风格的方式来进行回复。模型开放使用以来，在人工智能领域引起了巨大的轰动，也成功火出了技术圈。从数据上看，chatgpt用户数在5天内就达到了100万，2个月就达到了1亿；另外，在很多非人工智能领域，已经有机构在尝试用chatgpt去做一些智能生成的事。例如财通证券发布了一篇由chatgpt生成的行业研报，从研报的可读性和专业性上来看，虽然在细节上有很多需要推敲的地方，但是整体框架内容已经比较成熟。对于其他内容生产者来说，应用chatgpt也能够提升个人的生产效率。

chatgpt的强大能力是显而易见的，但对于人工智能领域不太熟悉的人，对这种黑盒的技术仍然会担忧或者不信任。恐惧通常来自于不了解，因此本文将为大家全面剖析chatgpt的技术原理，尽量以简单通俗的文字为大家解惑。

通过本文，你可以有以下收获：

1、知道chatgpt是什么

2、chatgpt有哪些核心要素

3、chatgpt能做哪些事

4、chatgpt不能做哪些事

上文说到chatgpt实际上是一个大型语言预训练模型（即Large Language Model，后面统一简称LLM）。什么叫LLM？LLM指的是利用大量文本数据来训练的语言模型，这种模型可以产生出强大的语言关联能力，能够从上下文中抽取出更多的信息。其实语言模型的研究从很早就开始了，随着算力的发展和数据规模的增长，语言模型的能力随着模型参数量的增加而提升。下图分别展示了LLM在参数量和数据量上的进化情况，其中数据量图例展示的是模型在预训练过程中会见到的token数量，对于中文来说一个token就相当于一个中文字符。

https://www.chatgpt.com/2022/08/04/the-promise-and-perils-of-large-language-models/

https://babylm.github.io/

为什么语言模型的参数量和数据量会朝着越来越大的方向发展呢？在早些时间的一些研究已经证明，随着参数量和训练数据量的增大，语言模型的能力会随着参数量的指数增长而线性增长，这种现象被称为Scaling Law（下图左例）。但是在2022年之后，随着进来对大模型的深入研究，人们发现当模型的参数量大于一定程度的时候，模型能力会突然暴涨，模型会突然拥有一些突变能力（Emergent Ability，下图右例），如推理能力、零样本学习能力等（后面均会介绍）。

https://franxyao.github.io/blog.html

chatgpt真正强大的地方在于他除了能够充分理解我们人类的问题需求外，还能够用流畅的自然语言进行应答，这是以前的语言模型不能实现的。下面，本文将chatgpt一分为二，分别从GPT和Chat两个维度来介绍chatgpt的机理。值得说明的是：当前OpenAI并未放出chatgpt相关的训练细节和论文，也没有开源代码，只能从其技术BLOG上获取其大致的训练框架和步骤，因此本文介绍的内容将根据后续实际发布的官方细节而更新。

GPT全称Generatichatgptormer，由Google在2018年提出的一种预训练语言模型。他的核心是一个Transformer结构，主要基于注意力机制来建模序列中不同位置之间的关联关系，最后可用于处理序列生成的任务。通过使用大量的文本数据，GPT可以生成各种各样的文本，包括对话、新闻报道、小说等等。上面提到了很多次语言模型，这里简单给出语言模型主要的涵义：

给定已知的token序列N_t（对中文来说是字符，对英文来说可能是单词或者词根），通过语言模型来预测t+1位置上的token是什么。实际上模型输出的是所有token在t+1位置上的概率向量，然后根据概率最大的准则选择token。大家在使用chatgpt的时候，一定有发现机器人在生成回复的时候是一个字一个字的顺序，背后的机制就是来自于这边。

cs224n（https://web.stanford.edu/class/cs224n/slides/cs224n-2023-lecture11-prompting-rlhf.pdf）

对语言模型来说，可能大家之前更熟悉的是BERT，BERT是Google在2018年发布的一种双向语言模型，发布后，其在不同语言理解类任务（如文本分类，信息抽取，文本相似度建模）中都达到了当期时间节点的最好效果。BERT与上述语言模型的机理有所不同，其训练任务相当于让模型去做完形填空任务（官方称为Masked Language Model任务，下文简称MLM)，并不是遵循文本一个接一个预测的顺序，其模型机制与人类沟通表达的习惯不太符合。图中左半部分是BERT的示意图，右半部是GPT的示意图，Trm为一个Transformer模型组件，E为输入的token序列，T为模型生成的token序列。其中，实线部分为该位置的Trm能够看到哪些其他位置token的上下文知识。可以看到，对于BERT来说，每个位置上的Trm都能看到任意位置的上下文知识，因此其在具体的自然语言理解任务上会有不错的效果。而GPT则是遵循传统语言模型的模式，例如index=1位置的Trm是无法看到index>1的知识的，因此它在自然语言理解任务上的效果不如BERT，但是在生成任务上会更符合人类的直觉。业界把BERT中的MLM模式称为自编码形式(auto-encoding)，把GPT的模式称为自回归形式（auto-regressive）。

https://arxiv.org/abs/2302.09419

大家从BERT和GPT的对比中可以看到，BERT在语言理解上似乎更具优势，那为何现在chatgpt的模型基座是GPT呢？这就涉及到最近两年逐渐清晰的NLP任务大一统趋势了。

基于MLM训练范式得到的BERT模型虽然在很多语言理解类任务上有不错的效果下游任务，之后整个业界在处理NLP任务的时候通常会遵循预训练模型→下游任务finetune的流程：

这种方式与传统的training from scratch相比，对下游任务数据的需求量更少，得到的效果也更优。不过，上述方式还是存在一些问题：

处理一个新的任务就需要标注新的语料，对语料的需求比较大，之前已经做过的任务语料无法高效利用。即使是信息抽取下面的不同任务（如实体识别和关系抽取两个任务）也无法通用化。
处理一个新的任务需要针对任务特性设计整体模型方案，虽然BERT模型的底座已经确定，但还是需要一定的设计工作量。例如文本分类的任务和信息抽取的任务的模型方案就完全不同。

对于要走向通用人工智能方向的人类来说，这种范式很难达到通用，对每个不同任务都用单独的模型方案和数据来训练显然也是低效的。因此，为了让一个模型能够尽量涵盖更多的任务，业界尝试了几种不同的路径来实现这个目标。

对BERT中的MLM进行改造，如引入一些特殊的Mask机制，使其能够同时支持多种不同任务，典型的模型如UniLM（
引入额外的Decoder，将BERT优化改造成能做生成式的模型，典型的工作有BART（），T5（），百度的UIE（将任务设计生成text-to-structure的形式实现信息抽取的大一统）。我对T5比较熟悉，之前也写过相关的分析，这个工作算是比较早地尝试将不同任务通过文本生成的方式进行大一统。如图所示，T5训练时直接输入了不同下游NLP任务的标注数据，通过在原始文本的前端添加任务的提示文本，来让模型学习不同任务的特性。如翻译任务可以是”translate English to German”,分类任务可以是跟具体分类目标有关如”cola sentence”,也可以是一种摘要任务”summarize”。

怎么样，是不是觉得跟chatgpt的模式有相似的地方？

这种方式可以同时利用多种NLP任务相关的公开数据集，一下子就把预训练任务从语言模型扩展到了更多任务类型中，增强了模型的通用性以及对下游任务的理解能力。

T5数据构建实例

除了上面两种方式外，还有其他改造BERT的方法就不穷举了，如苏神通过Gibbs采样来实现BERT模型的文本生成等。（）

虽然有很多大一统的路径，但是OpenAI一直坚持着GPT的方向不断演化着，2019年他们发布了GPT2，这个模型相对于GPT来说，主要是扩大了参数量，扩大了训练语料，在构建语料的时候隐式地包含了multitask或者multidomain的特质，最后在二阶段验证模型的时候并不是直接做有监督的finetune，而是继续用下游数据做无监督的训练，最后的效果居然还不错，证明了只要模型够大，就能学到足够的知识用于处理一些下游任务。从它的论文名字就可以看出来与其核心思想：Language models are unsuperchatgptrs 。不过彼时，BERT及其各种变种在领域中的应用还是更广的，真正让GPT系列模型惊艳众人的工作还是要数2020年发布的GPT-3模型。（）

首先，说几个跟GPT-3相关的数字：

OpenAI训练初版的GPT-3，比GPT-2整整用了15倍的语料，同时模型参数量扩展了100多倍。这么多资源的投入，使得GPT-3成为了一个“庞然巨物”，其产生的效果也是惊人的。除了在很多NLP的任务上有着很不错的指标外，其本身也产生了一种前所未有的能力――In-context learning。

简单来说，就是模型在不更新自身参数的情况下，通过在模型输入中带入新任务的描述与少量的样本，就能让模型”学习”到新任务的特征，并且对新任务中的样本产生不错的预测效果。这种能力可以当做是一种小样本学习能力。可以参考下图的例子来理解：其中，task description和examples用来帮助模型学习新任务，最后的chatgpt用来测试模型是否学会了。

与传统的小样本学习范式还是有所不同，之前主流的小样本学习范式以Meta-learning为主，通过将训练数据拆成不同的小任务进行元学习。在学习的过程中，模型的参数是一直在变化的，这是最大的一个不同点。

那不更新参数的小样本学习有什么好处呢？

对于大模型来说，这可是极佳的特性。因为大模型的微调成本通常都极为庞大，很少有公司能够具备微调训练的资源。因此，如果能够通过In-context learning的特性，让大模型快速学习下游任务，在相对较小的成本下（对大模型进行前向计算）快速完成算法需求，可以大大提升技术部门的生产力。

In-context learning的效果固然惊艳，但是对于一些包含复杂上下文或者需要多步推理的任务仍然有其局限性，这也是业界一直以来致力于让人工智能拥有的能力――推理能力。那么大模型具有推理能力吗？对于GPT-3来说，答案是可以有，但有一定的限制。我们先来看看它有的部分。

还记得文章开头提到的大模型的涌现能力吧，In-context正是属于当模型参数量达到一定程度后，突然出现的能力之一。那么除此以外，还有什么能力是涌现的呢？答案就是――Chain-of-thought，即思维链能力。

GPT-3拥有的In-context learning能力可以说有很大程度来自于其庞大的参数量和训练数据，但是具体能力来源仍然难以溯源。不过，最近已经有一些论文专门针对其进行了研究，如清华大学、北京大学和微软的研究员共同发表了一篇论文：，探索了GPT作为一个语言模型，可以视作是一个元优化器，并可将In-context learning理解为一种隐性的微调。

实际上是对输入的chatgpt采用Chain-of-thought的思想进行改写。传统的chatgpt中，对于一个复杂或者需要多步计算推导的问题样例，会直接给出答案作为In-context learning的学习范例与新任务的测试样例输入到大模型中。这样做往往不能得到正确的结果，如图所示：（）

然而，当我们将上述问题范例中的答案再细化一些，对推到出答案的每一个步骤都写出来，再将测试样例一起输入到模型中，此时模型居然能够正确回答了，而且也能够参照范例中的样例进行一定的推理，如图所示：

上述的模型输入中，还带有可参考的问题范例，还属于小样本的范畴。诡异的是，有人使用了一种匪夷所思的方法，让其具备了零样本的推理能力：在问题样例的答案中增加一句Let’chatgpt. 然后模型居然能够回答出之前不能回答的问题。

当然，上图中模型并未直接给出一个简洁的答案，而是给出了推导答案的步骤，论文中则是将上述output与输入模型的chatgpt拼在一块，再次输入模型，最终得到了简洁的答案输出：

既然大模型具备了COT的特性，那么就能说明它具备了推理能力了吗？答案是不确定的。因为在更多的复杂逻辑推理类任务或者计算任务上，大模型还是无法回答。简单来说就是他可以做一些简单的小学应用题，但是稍微复杂一点的问题它就是在瞎猜了。具体的例子可以参考这篇论文中的分析：

上一小节在介绍COT特性的时候，都是统一用GPT-3来代表。其实，**原始的GPT-3版本中并没有显著地发现其具备COT特性。**对于大众来说，像是chatGPT突然就有了这样的能力。其实，在chatGPT出来之前，openAI对GPT-3做了很多迭代优化工作。而GPT-3的COT特性就是在这些迭代优化中逐渐展现。但不可否认的是，目前仍然没有确定性的结论说明COT特性来自于具体哪些迭代优化。有些观点说是通过引入强化学习，有些观点则是说通过引入了指令微调的训练方式，也有些观点说是通过引入庞大的代码预训练语料，使得模型从代码逻辑中学习到了相应知识。推测的方式则是根据不同时间节点上的模型版本能力差进行排除法，虽然目前我们受限于技术能力只能从这些蛛丝马迹中去发现一些端倪，但仍然具有一定的借鉴意义。具体的推理过程本文不会重复，感兴趣的可以参考如下博客：。

虽然对于大模型突变能力的来源还不能轻易下结论，但是在其迭代优化过程中，引入的一些技术确实提升了（更准确得说是激活）大模型的能力。根据OpenAI的技术博客所述，chatgpt的训练方式主要参考了InstructGPT（），而InstructGPT主要涉及了两个核心的技术实现：指令微调（chatgpt）以及基于人工反馈的强化学习（Reinforcement learning from Human Feedback)，下面将对其进行介绍。

chatgpt（下称指令微调）技术，最早来自于谷歌Deepmind的Quoc V.Le团队在2021年发表的论文《Finetuned Language Models Are Zero-Shot Learners》()。在说指令微调前，必须得先介绍下21年初开始业界开始关注的chatgpt-learning范式。2021年4月，我在InfoQ的架构师大会上做了一次技术演讲，分享了我们在chatgpt上的一些研究实践，如下图所示：

chatgpt-learning最早来自于论文《Exploiting Cloze chatgptext Classification and Natural Language Inference》（），当时把里面的范式简称为PET（Pattern-exploiting Training）。其核心思想为将不同类型的自然语言理解任务与BERT预训练中的掩码语言模型任务进行转化靠拢。例如对于图中的实体情感分类任务，本身其分类标签是一个三维的空间。我通过设置一个prompt提示文本模板：由此可见，英伟达的舆情是{}，同时设计一个锚点，将原始分类目标的空间映射到语言模型中的子空间{正/负/中}，通过预测锚点位置的token间接得到情感标签。这种方式的优点在于能够将下游任务与语言模型在预训练任务中的训练范式达成一致，减少下游任务在模型学习迁移过程中的知识损失，在小样本的场景下比普通的Finetune模式会有更好的效果。chatgpt-learning实际上是一种语言模型能够股泛化不同任务的方式，从广义层面上来看，可以有多种实现方式，例如上面的PET，本文之前提到的T5模型，以及初版的GPT-3等。指令微调实际上也可以算作是广义chatgpt-learning中的一种实现方式（个人愚见）。它的核心思想是尽可能收集不同类型的自然语言处理任务（包括理解和生成），并使用自然语言设计对应的任务指令，让模型试图理解不同任务的指令与特性，最终通过语言模型生成的方式完成不同任务的训练，指令微调实例如下图所示：

那么指令微调与BERT、T5、GPT-3等chatgpt方式有什么区别呢？

BERT类的chatgpt设计与掩码语言模型任务相关，chatgpt模板和锚点要与任务对应，需要一定量的标注样本进行小样本训练。
T5的chatgpt更像是在预训练时对不同语言任务的数据打上了不同的标记，让模型对语言任务有了初步的理解，但是不够深入，无法应用在零样本的场景。
GPT-3的chatgpt中，会基于在模型训练过程中见过的数据，更像是让模型将chatgpt中的文本进行续写。这种方式可以帮助模型更好地理解用户输入的内容，并产生更准确和自然的输出。但其在零样本场景下效果仍然不佳。
指令微调技术使用chatgpt来为模型提供一系列指令或者命令，这些指令或命令会告诉模型应该如何进行特定任务的处理。与GPT-3中的chatgpt不同，指令微调中的chatgpt是针对特定任务和特定的模型进行设计的，相当于是指导模型如何完成任务。指令微调技术提升了模型的零样本学习能力。模型对于未见过的任务也能够理解并尝试处理。在GPT-3后续的迭代版本中，加入了指令微调后，即使在chatgpt中不引入带标注的样本，模型也能够比较好的理解需求并得到不错的效果。

目前公开开源的模型FLAN T5就是在T5模型基础上进行了指令微调的训练，相较于那些动辄几百亿、几千亿参数的大模型来说，这个模型的参数量已经足够亲民，可以作为个人研究或者业务实现的strong baseline

在chatgpt公开后，各种五花八门的chatgpt层出不穷。有让其作为一个linux终端的，有让其作为一个二次元猫娘的，也有让他写武侠小说的。感觉上chatgpt可以做任何事情，只要你的脑洞足够大。这种通才特质有很大一部分要归功于指令微调。只要我们设计的chatgpt指令足够清晰完整，模型总能够理解我们要干什么，并尽量按照我们的需求去完成任务。我认为这是其有别于过往大模型的重要特性之一。

指令微调技术固然强大，但是其本身也存在一定的缺点：

一些开放性的生成性语言任务并不存在固定正确的答案。因此在构建指令微调的训练集时，就无法覆盖这些任务了。
语言模型在训练的时候，对于所有token层面的错误惩罚是同等对待的。然而在文本生成时，有些token生成错误是非常严重的，需要加权惩罚。换句话说，语言模型的训练任务目标与人类的偏好存在gap。

综上，我们需要模型能够学习如何去满足人类的偏好，朝着人类满意的更新模型参数。因此，我们就需要引入人类对模型的奖惩方法（Reward）作为模型的引导，简称 .R(s)越高，模型的就越能满足人类偏好。很自然的，我们就能将最大化 ,即R的期望。一般来说，对于神经网络的训练来说，需要设计一个可微的目标函数，这样才能应用梯度下降法来对模型进行参数更新学习。然而，人类的R一般很难设计成可微的，因此不能直接用于神经网络的训练中，因此就有了强化学习的诞生。近年来，强化学习领域也在飞速发展，有了alphaGo系列的惊艳效果，有很多研究都将强化学习开始与深度学习进行了结合。比较典型的研究为Policy Gradient methods（基于策略的梯度方法）。基于上述的训练目标函数，我们仍然应用梯度计算来进行参数更新：

对于这个公式有两个问题：

如何估计R(*)的期望函数？
如果R(*)是一个不可微的函数，该如何计算梯度？

Policy Gradient methods就是用来解决上述问题的。通过一系列的公式变换（过程就不放了，大家可以参考斯坦福cs224n），可以得到以下式子：

我们将梯度计算移到了计算期望的式子内。虽然我们不能直接计算期望，但是可以采用蒙特卡洛采样的方法，去采样得到目标梯度的无偏估计。

将上式重新代入梯度更新的式子中，得到：

此时，在梯度更新时候我们会有两种趋势：

当R为正的时候，说明对当前策略选择有奖励，因此我们需要让梯度沿着最大化的方向更新
当R为负的时候，说明对当前策略选择有惩罚，因此我们需要让梯度沿着最小化的方向更新

通过这种方式，我们就让模型逐渐逼近R所期望的方向学习。

chatgpt也将强化学习的技术进行了应用集成，通过人机结合，成功让模型学会了人类的偏好。这种技术就是Reinforcement learning from Human Feedback,以下简称RLHF。

因为本人对强化学习领域不太熟悉，所以不足以完全解释其中的原理机制。因此主要参考斯坦福cs224n课程系列中对于该部分的宏观层面讲解。

有了上面的强化学习技术，我们现在能够对一些不可微的函数进行梯度学习，我们就能引入一些符合人类期望的奖励函数作为模型训练目标。但是，这套工作流程让然存在一些问题：

整个训练过程需要人工不断对模型的策略选择进行奖惩的判断，训练的时间成本陡然上升。

为了降低训练成本，先标注适量的数据集，让人先给出偏好标注。然后，我们基于这个数据训练一个奖励模型，用来自动生成人类对一个数据的偏好回答。

人本身会存在主观偏差，因此对数据的标注或者模型策略的评价也会有偏差。

为了能够对人类的主观偏差有一定的鲁棒性，不直接给出一个具体的好坏答复，而是采用一种Pairwise Comparison的方式，当生成一个文本输出时，人类可以对其进行成对比较，以指出其中更好或更合适的内容。例如，在文本摘要任务中，人类可以比较两个不同版本的摘要，并选择更好的那一个。这些成对比较可以帮助 InstructGPT 学习到人类的喜好和优先级，从而更好地生成高质量的文本输出。为了实现 Pairwise Comparison，需要设计一些有效的算法和策略，以便生成不同版本的文本输出，并对它们进行比较。具体来说，可以使用类似于基于排序的学习方法的算法来训练模型，并优化生成策略和模型参数，以便更好地满足人类反馈的需求：

图中，w和l分别代表两个不同的模型生成结果，从人类的视角看w的结果更优，因此w的分数应该也要大于l。

最后我们将RLHF的核心步骤串联起来：

初始状态下有一个通过指令微调方法训练后的语言模型
标注适量的数据，用于训练一个能够针对语言模型进行打分的Reward模型
用的权重参数初始化一个新的模型，使用上面的基于策略的深度强化学习方法优化下面的Reward：

除了外，上式还加了一个正则项。这个正则项可以防止通过强化学习更新的模型与原始的语言模型”跑的过于遥远”，可以看成是一条缰绳，让其保持基本的语言模型的特质。

下图为目前最常见的InstructGPT训练流程。

与上一小节中的通用RLHF流程不同，这里我们需要先用一些标注数据finetune一个SFT模型。训练任务与GPT-3的任务相同，因此数据也是采用prompt-generation的方式。构造的数据集的方式比较有讲究，首先要保证任务的多样性足够丰富；其次，对每个样本，标注着需要设计一个指令，然后生成多个问答对于该指令进行组合，用于组成一个小样本的chatgpt；最后就是OpenAI收集了实际服务当中产生的一些用户样例，这个数据能够让模型更切合实际使用的数据分布。
构建RM数据集，并训练得到。为了减少人工的成本，会先用步骤1中得到的SFT模型为每个数据的chatgpt产生K个生成结果，并引入人工根据结果进行质量排序。排序后的数据可以用来构建Pairwise Comparison的数据，用于训练得到。
基于策略优化的强化学习方法，以步骤1得到的SFT模型作为权重初始化模型，利用步骤2 对样本生成进行打分。

根据OpenAI发布的技术博客所述，chatgpt的训练方式与InstructGPT几乎相同，仅在收集数据的时候采用了不同的方式，具体细节并没有公布

百度信息流李彦宏李彦宏谈百度内容生态

百度信息流有效果吗,什么叫百度信息流,百度信息流按什么收费,百度信息流app

　　千呼万唤，国产ChatGPT终于来了！

　　今天下午，百度正式推出大语言模型――“文心一言”。

　　百度CEO李彦宏表示，这是全球大厂里面第一个做出对标ChatGPT的产品，也是百度十几年AI技术积累的结果。

　　那这个文心一言实力究竟如何呢？

　　ChatGPT 国产版 or 换壳小度？

　　首先，相信大家最关心的问题肯定是――文心一言的到底有什么用。

　　在发布会上，李彦宏展示了文心一言在五个使用场景的表现：

　　1.文学创作

　　用户询问文心一言《三体》的作者是哪里人、核心内容是什么、剧版的演员都有谁，文心一言都准确回答，就连张鲁一比于和伟高3cm都知道。

　　当然，上面这些只是关键词搜索+语音识别的基本操作，普通的小度语音助手也能做到。

　　文心一言还给出了五个续写《三体》的不同角度，逻辑条理还算清晰，不知道大刘怎么看呢？

　　2.商业文案创作

　　在商业创作场景中，文心一言可以根据公司的业务和特点，给公司想一个名字、标语，并解释背后的含义。

　　不得不说，还是挺实用的，但这些公司的名字似乎还是过于普通了，而且很多都已经被注册了吧～

　　3.数理逻辑推算

　　在面对小学奥数经典的“鸡兔同笼”问题时，文心一言也可以应付。

　　不但能给出结果，还有详细的解题步骤，就和真人一样。

　　可以看出，文心一言确实具备了一定的思维能力，能够学会数学推演及逻辑推理这类相对复杂任务。

　　这里还隐藏了一个彩蛋，如果你给出了错误的题目，文心一言经过演算，会直接告诉你问题出错了此题无解，高启盛直呼内行～

　　4.中文理解

　　作为“国产版ChatGPT”，文心一言还秀了一把中文处理能力。

　　在现场展示中，文心一言正确解释了成语“洛阳纸贵”的含义、“洛阳纸贵”对应的经济学理论，李彦宏还用“洛阳纸贵”四个字创作了一首藏头诗。

　　Leo也拉来了ChatGPT 对比了一番，发现ChatGPT也能回答个大概。

　　但想让ChatGPT写首中文藏头诗，确实有点为难它了。

　　然而，我们换一个指令方式，比如和它解释一下什么叫藏头诗，ChatGPT也能勉强写出来。

　　5.多模态生成

　　多模态生成方面，现场PPT上展示了文心一言生成文本、图片、音频的能力，甚至能够生成四川话等方言语音，本土化做得还行。

　　特别是这个根据描述，就能直接生成视频的功能，简直就是短视频营销号的福音。

　　不过李彦宏表示，为了现场演示效果，这些都是提前录好的，Leo十分好奇文心一言上线后实际效果如何。

　　带来的产业机会

　　看完文心一言的演示，作为一个靠码字维持生计的小编，Leo再次感受到了失业的危险......

　　而李彦宏也表示，AI市场爆发性的需求增长，将释放出前所未有的、指数级的商业价值。他预测，大语言模型将带来三大产业机会。

　　第一类是新型云计算公司，文心一言将根本性地改变云计算行业的游戏规则。

　　之前企业选择云厂商更多看算力、存储等基础云服务。未来，更多会看框架好不好、模型好不好，以及模型、框架、芯片、应用这四层之间的协同。

　　李彦宏预告，百度智能云将于近期举办新闻发布会，主题围绕文心一言的云服务和应用产品，既有公有云服务，也可以做私有化部署。

　　第二类是进行行业模型精调的公司，这是通用大模型和企业之间的中间层，他们可以基于对行业的洞察，调用通用大模型能力，为行业客户提供解决方案。

　　这方面，百度文心大模型已经在电力、金融、媒体等领域，发布了10多个行业大模型。

　　第三类是基于大模型底座进行应用开发的公司，即应用服务提供商。

　　李彦宏断言，对于大部分创业者和企业来说，真正的机会并不是从头开始做ChatGPT和文心一言这样的基础大模型，这很不现实，也不经济。

　　基于通用大语言模型抢先开发重要的应用服务，这可能才是真正的机会。

　　目前，基于文本生成、图像生成、音频生成、视频生成、数字人、3D等场景，已经涌现出很多创业明星公司，可能就是未来的新巨头。

　　-最后-

　　总的来说，文心一言已经具有类似人类的逻辑以及语言处理能力，但还是有很多不成熟的地方。

　　整场发布会下来，Leo觉得唯一的重点就是李彦宏表示：“文心一言不是中美科技对抗的工具。”

　　这满满的求生欲，隔着屏幕都能感觉到。

　　有网友表示，文心一言还没准备好，选择发布像是赶鸭子上架。

　　也有网友对于展示方式采用录播感到不满，认为这是ChatPPT。

　　还有网友制作梗图，文心一言和ChatGPT-4是跑车和垃圾车的区别。

　　看完发布会后Leo觉得，文心一言除了部分中文语境下的应用，其他方面和ChatGPT 确实还有很长一段距离。

　　李彦宏也表示，文心一言存在不足，但它的进步速度非常快，未来将适配百度内外不同产品，用户体验上将展示出惊人的亲和力。

　　然而，市场似乎很看好文心一言的前景，发布会举行时，百度的股价颠簸，尾盘拉升。

　　不管怎么说，是骡子是马拉出来遛遛就知道真本事，对于文心一言还是必须得实践一下才知道。

　　至于实际体验如何，等Leo拿到内测资格，再和大家分享吧～

　　・END・千呼万唤，国产ChatGPT终于来了！