chatgpt,chatgpt是什么意思,chatgpt怎么下载,chatgpt开源

ChatGPT分析数据 ChatGPT概念深入分析

chatgpt是什么意思,chatgpt怎么下载,chatgpt怎么用,chatgpt中文

新一代AI浪潮正在席卷全球，从硅谷、华尔街、中关村，直至世界各个角落的办公室和大学教室，人们都在热烈讨论着ChatGPT及人工智能的未来。

最近，【【微信】】新发布了GPT-4，令AI达到了“历史上前所未有的、不可逆转的新高度”。GPT-4新增了接受图像输入，而之前的GPT-3.5只接受文本。并且“专业性”大大提升，在模拟律师考试中，GPT-4的成绩超出了90%的人类考生，而上一版GPT-3.5的得分，仅仅超出10%左右。

图像识别、高级推理、庞大的单词掌握能力，是这次GPT迭代的核心，具备多模态能力的GPT-4可以根据用户提供的信息，来生成视频、音频、图片和文本。但这次【【微信】】没有公布模型参数和数据规模，也没有涉及技术细节、训练方法等等，追赶者可能难以模仿。

而在几周前，【【微信】】还发布了ChatGPT API，将每输出100万个单词的价格降低到2.7美元（约合18元人民币），使用成本仅为此前GPT-3.5的十分之一，似乎在宣告“人手一个ChatGPT”时代的到来，也一举奠定了【【微信】】作为人工智能时代新基础设施建设领域的重要地位，紧随其后势必涌现大量应用中间层的新公司。

同期，【【微信】】创始人Sam Altman又通过Twitter提出了“新摩尔定律”――宇宙中的智能总量（amount of intelligence）每18个月翻一倍。

面对这个AI时代的“iPhone时刻”，我们陆续邀请学界与业界的资深专家，以及行业投资人与创业者进行深度交流。

本期特邀嘉宾北京衔远科技创始人周伯文先生，曾任IBM Research人工智能基础研究院院长、IBM Watson Group首席科学家、IBM杰出工程师、京东集团高级副总裁、集团技术委员会主席、云与AI总裁；同时，担任清华大学惠妍讲席教授、清华大学电子工程系长聘教授。

周教授针对包括语音和自然语言处理、多模态知识表征与生成、人机对话、可信赖AI等领域拥有二十年多年的研究经验。早在2016年，由他提出的自注意力融合多头机制的自然语言表征机理成为之后Transformer架构的核心思想之一；此外，AIGC领域两个被广泛引用的自然语言生成模型架构与算法也出自于他。

在产业层面，周教授2021年底创立衔远科技，采取垂直模式打通了自有基础大模型、应用场景和终端用户，形成了垂直闭环。其核心产品是领衔CIP和基于其的ProductGPT，通过垂直数据集，并在训练中加入【【微信】】，令最终模型在不断调优迭代中越做越好，从而帮助企业实现产品创新，以期在垂直赛道上，以更具深度、精准度的洞察与创新能力超越ChatGPT。

面对这一令人兴奋的新趋势，我们有太多问题想聊，所以这篇文章较长，不过由于这次采访是在几周前进行的，对于GPT-4的相关内容，本文仅做了有限补充，不做过多展开，有待日后再探讨。以下，Enjoy：

• 1ChatGPT背后有哪些核心突破？ChatGPT4有哪些核心迭代？
• 2【【微信】】为什么能坚持下去？Google为什么变成了那个“脆弱的大公司”？
• 3大模型时代的另一种模式：垂直闭环
• 4在ChatGPT的“数据飞轮效应”下，中国公司应该如何追赶？
• 5对ChatGPT的总结：到来不吃惊、影响不低估、未来不可怕

01 ChatGPT背后有哪些核心突破？ChatGPT4有哪些核心迭代？

经纬：【【微信】】最近发布了GPT-4，并且此前还把ChatGPT API的价格下降了90%，这奠定了【【微信】】作为AI时代基础设施的地位，随后势必会涌现出大量应用中间层的新公司，您认为这将带来哪些变化？

周伯文：GPT-4有三大变化：多模态、逻辑推理和可控性。

第一是多模态，这带来了人机协同交互的通道趋向统一。GPT-4具备十分强大的图片理解能力，能够支持像素级别的图文处理，比如：可以根据设计图写代码、对拍照题目写解答过程、通过文档图片进行摘要问答等。GPT-4多模态能力必将催生更加广泛的下游应用，智能体的“摩尔定律”时代已然到来。

第二是复杂长文本理解和生成能力大幅提升。GPT-4对文本长度的限制提升到32k字符，能处理超过25000个单词的文本，并且可以使用长格式内容创建、扩展对话、文档搜索和分析。GPT-4能够融合更加复杂、多样性的训练数据集，相较 ChatGPT在逻辑推理方面上获得显著提升。目前，其在各种专业及学术测评，像是美国律师资格考试（MBE）、美国大学预科考试（AP）和美国高考（SAT）等测试中，达到了和人类相当的水平。

第三是可控性，GPT-4具备创造性的写作能力，包括：编歌曲、写剧本、学习用户写作风格等。在微调过程中【【微信】】引入了大量的人力来确保监督信号的高质量。相比于InstructGPT和ChatGPT，可以猜测GPT-4中的RLHF可能是一个更加通用的范式，即覆盖的任务和场景更为广泛。

GPT-4存在一些局限性和改进。GPT-3和GPT-3.5存在的问题也都基本存在于GPT-4之中，例如：数据时效性、“幻觉”等问题。GPT-4在评测的各种任务上效果优异，但在一些简单问题上难以运用已有能力进行解决，这与GPT-4在知识存储、定位、修改等方面存在问题有关。目前的大模型还是基于全连通图的Transformer架构，其中对于知识的可控存储、定位以及修改、持续的演变机理等仍未知，对于知识信息的时变维度刻画也存在缺失。

目前，GPT-4在公开的技术报告及System Card中仅展示了其对视觉输入的支持和较为浅层的推理能力，在更困难和深层的推理任务上仍有待测评和验证。同时，GPT-4缺乏对音频、视频及其他模态的理解和生成能力，或许这与Transformer预训练架构有关，未来在合并扩散模型的图像生成能力与构建统一的多模态理解和生成模型上存在显著的技术挑战。当下，AI学术研究社区正在推进中的很多工作，都基于强大的语言模型结合多模态能力，通过语言智能撬动 AGI 值得期待。

ChatGPT开启了协同交互的新阶段，把交互作为了一种学习的手段。GPT-4则在此基础上更进一步，通过视觉信号能够更好洞察、形成新知识并完成任务。由此，我们更加相信 AI 的新一轮创新必将逐渐从传统的智能质检、客服等简单场景，向产品创新、知识发现等复杂场景转变。

GPT-4在去年8月已完成训练，现在看到的很多问题可能已经被解决。不可否认，GPT-4 存在巨大的技术壁垒，在短期内难以被超越。【【微信】】通过“Scaling Law”来预测GPT-4的性能边界，而GPT-4是我们可见的现有最强的AI性能边界，这有助于反思现有AI理论的优势和缺陷。

【【微信】】不再Open， 那跟随已不是选项，新一代AI大航海时代的参与者需要有自己的深刻技术理解、前瞻技术趋势判断，需要场景的反馈与打磨，也需要领路的将军用自己的微光照亮大家前行。

Sam Altman前段时间在Twitter上提出了一个“新摩尔定律”，即“每18个月宇宙的智能总量（amount of intelligence）会翻一倍”，我认为更准确的说法是“智慧触点数目（number of intelligent touch points）会翻一倍”，而这件事的确正在发生。【【微信】】令ChatGPT API大幅降价就是为了加速聚焦开发者，并通过更多开发者探索更多应用场景，以此形成新的AI生态。

大模型的使用成本主要来自两部分，其一是训练部分，其二是推理部分。【【微信】】近期这一新举措意在将推理成本降到尽可能更低的水平，这是可预料的并将持续发生，即：一个模型经过不断优化后，其模型密度与推理效率会变得越来越高，推理的成本也就会越来越低。

这件事对专注通用大模型的竞争者，无论是大厂亦或创业团队，都是一个颇具挑战的信号。今后，他们不仅要在技术与算法层面加速追赶，还要负担高昂的模型训练及推理部署成本，却在推理的调用收入上不具备定价权。同时，还要面对开发者生态、用户心智正快速集中到【【微信】】等“先行者”上的被动局面，完成逆势爬坡。

但在训练的部分，【【微信】】的降价并没有带来本质上的改变，比如ChatGPT对垂直场景的深度洞察与创新等等。当然，我预计【【微信】】现阶段也不会涉足垂直市场，他们不太可能为了某一垂直领域而耽搁占领整个平台市场的先机。

在此背景下，大模型创业者想要取得成功首先需要找到正确的商业模式与护城河，做到“enjoy the ride of this wave” ，即相信智能触点数目的增加会令自己发展得更快而不是更糟，但又不会被【【微信】】等领先的通用大模型玩家不断叠加的平台优势（技术+训练高投入+推理定价权+迅速培育和占领的生态）所淹没。

经纬：您很早任职IBM时，就已经在研究人工智能，那个时代的很多研究，比如Transformer奠定了如今ChatGPT成功的基础。您认为Transformer、 ChatGPT等实现重大突破的背后，是基于哪些核心进展达成的？

周伯文：是的，最初我在中科大读书期间就已开始研究人工智能，此后读研和赴美留学也都是研究语音与语言理解，CU-Boulder博士毕业后直接进入IBM T. J. Watson Research Center　工作。那时的IBM是全球范围内人工智能在语音、语言领域能力最强的机构之一，诸如使用机器学习去做语音识别、机器翻译等奠基性工作都起源于此。这些优秀人才中后来有不少去到学术界，如JHU、Yale和CMU；也有一部分去到华尔街，使用隐马尔科夫模型（HMM）来做量化高频交易等等。我自己的研究方向早期是融合语音识别、自然语言处理、机器翻译等多个领域做语音翻译，后来做深度语言理解、表征学习与推理。

如果去谈ChatGPT为什么能取得成功？我认为首先要聊一聊Transformer，作为前者极为重要的一个支撑点，它融合了几个非常核心的突破：

第一个核心突破出自于采用自注意力和多头机制来表征自然语言，这个核心思想最早出自由我带领的IBM团队在2016年发表的论文，“A Structure Self-Attenti【【微信】】”,并在2017年被Transformer认可并引用。

此前，最常用的自然语言表征是基于序列到序列到模型加上注意力机制。比如：让AI学习回答问题时，输入的是问题，输出是答案，用一个序列RNN或LSTM来表示，这就是序列到序列的表征模式。在这个基础上，Bengio引入了attention，就是注意力机制，其核心是在回答问题时，并非所有词都同等重要；如果能根据问题与答案之间的对应关系识别出更关键的部分，继而更加关注这部分，就能给出更好的答案。这种注意力模型很快就得到了非常广泛的认可。我本人也是基于这个思路，在2015年左右发表了几个最早期被引用较多的AI用自然语言写作生成模型。

但是，这个方法也存在一个问题，即注意力是基于给出答案后去构建的。这样训练的AI，形象地比方，就像大学期末考试前问老师划重点的学生，再去有针对性（attention）的重点复习。这样AI虽然对特定问题的表现能有所提高，却并不具备通用性。所以我们提出了完全不依赖于给定的任务和输出，只基于输入自然语言的内在结构，通过AI多遍阅读去学会哪些部分更重要及其相互之间的关系，这就是自注意力加上多头机制的表征学习。这种学习机制只看输入，更像学生在考前就多遍、系统性地学习理解课程，而不是基于考试重点去针对性、碎片性地学习，从而更逼近通用人工智能的目的，也大大增强了AI的学习能力。

第二个核心突破是采用了简单的位置编码而抛弃了RNN/LSTM等序列性神经网络结构。我认为，它是这篇重要论文中最简单也是最聪明的一点，通过一个简化让Transformer不再受RNN/LSTM难以并行训练的束缚，可以更高效地使用更多数据进行训练。这篇论文也因此成为该领域一个重要的里程碑，推动了其后一系列的变化，并最终开启了大模型时代。Transformer论文的标题是《Attention is All You Need》,表达的同样是 “自注意力很重要，多头很重要，但RNN或许没有我们以前想象中那么重要”的意思。顺便说一下，Transformer论文的第一作者Ashish 【【微信】】正是我在IBM指导过的学生，后来他加入了【【微信】】团队。

了解过上述历史沿革，我们再来看ChatGPT作为里程碑的意义所在：它的“前辈”，包括IBM Deep Blue、IBM Watson、Deepmind AlphaGo，这些虽然都是当时引领时代的人工智能，但它们跟ChatGPT最核心的不同在于，此前的人工智能设计思路是与人类竞争的AI，通过展示其在某些领域比人类更优秀来证明AI技术的进步。

与之不同，ChatGPT引入了【【微信】】，强调的是和人的协同、交互与价值对齐。在经过GPT-1和GPT-2漫长且不那么成功的摸索与积淀过程，直到在GPT-3阶段实现工程上的重大革新，如今的ChatGPT正是在GPT-3基础上引入了【【微信】】与人在环路的强化学习，通过人对AI的标注、反馈，实现价值对齐，更好地帮助ChatGPT去理解，让它更清楚什么样的答案是好的并从中不断学习。

举个例子，如果要求AI为一个6岁的小孩解释登月，以GPT-3的基础模型能力可以从各种角度去回答这个问题，包括基于物理原理的万有引力、基于历史背景的美苏冷战促使登月、基于天文学角度的地月关系，或基于人类关于月亮的神话传说等等。须知，找到这些信息并整合生成文字并不难，难的是GPT-3该如何辨别其中哪个答案更适合一个6岁的小孩子，这就是价值对齐。

常规模式会按照答案的出现概率进行排序。但ChatGPT在这个基础上，由人对四类答案进行选择、打分并给出排序，这些反馈可用于微调GPT-3模型，将GPT-3与人类的意图和评价体系进行对齐，进而改变模型参数和推理结果。

通过上述与人的交互协同后，如果再要求ChatGPT为6岁孩子写童话，它就会自己学会以“once upon a time（很久以前）”来开头，因为它已经掌握在一个与6岁小孩的谈话环境中，以这种方式进行回答会更好。因此，人类越多去使用ChatGPT，它就会变得越智能。

大家对ChatGPT效果惊艳的同时，可能也意识到了，这些结果的产生也取决于用户提问的方式、指导ChatGPT修正与迭代答案的技巧与耐心。所以严格来说，这些惊艳效果是用户和AI共创得来的。正因如此，ChatGPT成为了历史上第一个与人协同交互而非竞争关系的，以人为中心、更好服务于人的里程碑式产物，其社会价值与潜力不可限量。这也是我长期研究前沿AI的理念，我的观点一直是AI更大价值将来自于人和环境的协同与交互，所以我在2022年5月加入清华即建立了电子系协同交互智能研究中心。

诚然，当我们回顾来路，GPT-1、GPT-2当年所使用的参数局限性也是一个重要影响因素。GPT-1只有1.1亿参数，GPT-2也不过15亿参数，直到GPT-3这一数字猛增至1750亿，方才有了涌现能力，有了后面更多突破性成果的产生。面对这一发展过程中对算力和训练投入的庞大需求，不得不承认，不仅要有长期的研究积累，与清晰的前瞻思想引领，也要有足够的资金做支撑。

周伯文（中）2001年夏天在纽约IBM T.J. Watson研究中心

02 【【微信】】为什么能坚持下去？Google又因何变成了一家“脆弱的大厂”？

经纬：GPT大模型背后是一部艰辛的创业史，起初两代由于不够成熟经常败给谷歌的Bert，直到GPT-3才真正实现了飞跃。很多人都佩服【【微信】】的毅力，能够在GPT-1和GPT-2不断受挫的阶段仍然坚持下来并对抗全世界，最终证明自己是对的。您认识很多业内核心人士，对【【微信】】能一路坚持下来并最终取得成功是怎样看待的？

周伯文：当年Transformer成功后，一时间大家都拿它来做各种大模型，但在NLP领域分成两派：一派像是【【微信】】这类公司，专注实践从左到右的预训练，命令AI去学习预测下一个词是什么，一步步把自然语言的生成全部实现出来。这个思路的底层和我们的2016年论文中强调自注意力理念是一致的，即不允许AI使用未来的信息来学习，这样更逼近通用人工智能的思路。

另一派像是Google的Bert，采用任务导向型的思考方式，目的在于做好针对自然语言的理解，即一段话从左到右要看，从右到左也要看，看得越多理解能力就越强。

这两种思路其实不存在对错，只是反映出双方在哲学观上的巨大不同，就如同我们提出的自注意力一样，即坚决要求学生不能先看考题再来学习，而是要先把知识学明白再去考试。这也是为什么我认为GPT的哲学观更适合真正的通用人工智能。但在发展的前期，GPT模式确实让【【微信】】受挫不少，GPT-1和GPT-2都没能胜过Bert，直到GPT-3才扬眉吐气。

此外，还有一个角度我认为非常值得关注，即【【微信】】的成功不单单是这家公司独立实现的，而是依托于整个AI学术研究社区的支持和帮助。英文里有一句俗语叫“It takes a 【【微信】】”，【【微信】】之所以能够一直坚持做GPT，得力于整个AI学术研究社区对大模型丰富的研究分析，比如其中很多研究人员一直试图证明在GPT和Transformer的中、低层中，包含有词法和语法知识；在中、高层中存储了大量语义和常识知识。

AI学术研究社区的相关验证分析工作，极大地增强了【【微信】】团队的信心和方向。如果没有上述这些自发研究工作的助力，【【微信】】可能很难坚持下来。试想一下，如果你拿大量数据训练了很久，最后却发现没有证据证明这个大模型学会了任何知识和推理，只是学习到了统计相关性，无法形成自身沉淀与未来涌现效应的可能性，那谁还会一直有决心坚持下去呢？ChatGPT的成功，正是因为【【微信】】公司依靠背后强大的AI学术研究社区，有较好的产学研的融合生态，这样的经验值得我们借鉴。

经纬：从规模上看，【【微信】】只是一家几百人的创业公司，而Google却是一家拥有上万员工的科技巨头。我相信在Google内部，无论从技术亦或想法上也是具备领先意识的，他们也传出过与人工智能相关的新闻，但相比于openAI迟迟没有上线真正的产品。其中一个原因或许是Google的主要利润源自其搜索业务，而生成式AI则可能彻底颠覆相关商业模式，这似乎又是一个柯达与数码相机的故事？

周伯文：一个是商业层面，一个是大公司的决策层面。大公司虽然看起来很强，但在很多时候特别是技术代际跃迁时其实是非常脆弱的。

ChatGPT这种深度强人工智能的对话模式，会让搜索业务本身的价值大大降低，原有以“搜索关键词排序”的商业模式届时很可能已经不成立了，因为用户不再需要去看网页中那么多搜索引擎排序后的链接，这将导致的结果是Google的毛利率会迅速下降。而在占比份额不足10%，久居搜索引擎次席的微软看来，这却是一次千载难逢的机会，其在该领域的疯狂投入可见一斑。

同时，微软的To B业务及受众非常多元化，所以我认为微软的组织能力是远优于Google的。在这种情况下，微软可依托To B业务在前，同时迅速调优整个组织，从而比Google更好地适应新挑战，并在搜索领域跟Google打消耗战。

此外，微软具备在更多To B场景中嵌入ChatGPT的能力，而Google在这方面相形见绌。因此，我认为投资人在AI时代不可以再轻视To B领域。过去，AI在生产力工具方面不够强力，因而变成了“C端的玩具”；但是，现在的AI已跨过技术门槛，其在B端的应用将会越来越具备冲击力。当然，不是说To C不重要了，最好的模式依然是做到To B和To C兼顾。

在大公司的决策层面上，总有很多声音质疑大公司缺乏创新，但大公司往往不缺乏单点创新能力，问题往往出现在系统性创新过程中，特别是在内部资源的协同与聚焦上。与此同时，大公司也有很多负担，比如：Google需要维护自己的技术形象，如果认为新研发的产品不够好，就不会开放公测。以ChatGPT为例，它一开始就存在非常多的错误和问题，如果是Google在做，大众和舆论恐怕也很难像对【【微信】】这类创业公司一般宽容。此外，在技术开发的早期，甚至可能引发政治性的争论，这些均会对公司市值产生严重影响。

综上两方面因素，导致Google 在类似的产品发布上趋于保守。但这种生成式人工智能技术，从GPT到ChatGPT，中间很大的一道门槛是与大量用户的真实交互，如果缺乏大量用户的反馈，就永远越不过这道门槛，且一旦落后便可能永远落后。【【微信】】敢于大胆投入，聚焦设计和打磨好一款产品。而大公司背负来自市值管理、资金使用效率、技术声誉、社会口碑等方面的一系列压力，因而在决策中很容易动作变形。

这就是为什么像【【微信】】这样的创业公司会跑得更快、路线更灵活，因为他们没有大公司过多的包袱，不管有什么困难都能够勇往直前。当然，无论是在Google还是微软，都有我很尊敬的同事和朋友，他们都很聪明，个人能力也绝不比【【微信】】差。

值得一提的是，微软是在体外投资了【【微信】】去完成这项工作，如果做得不好只需要在PR上进行切割，一旦功成微软便大获全胜，这也是其投资眼光和技巧上值得称道的一点。

我曾在国内国外的大厂长期任职，这种决策上的问题是根深蒂固的，不是一个人，或一个团队就能改变的。所以对大厂而言，最好的决策就是内部创新的同时，投资一家专注该领域的创业公司去完成这部分工作。

经纬：不仅是新公司，所有人都需要积极思考怎么去结合。比如最先到来的一大波C端变革，反而可能会是微软，如果它把人工智能集合在Word、Excel、PowerPoint、outlook里面，这将是很大的场景。同时，GPT也会颠覆很多SaaS公司，比如一个财务SaaS，作为客户可能只需要输入问题，它就可以直接形成答案了。您觉得会有很多公司因此受到威胁吗？

周伯文：对SaaS公司而言，如果原来的业务涉及太浅，只是在流程上做了自动化或信息整合，那么这样的公司的确会受到很大的威胁，因为所有的流程如果基于深度自然语言理解和协同交互重新迭代一遍，不但门槛迅速降低，带来的体验会远远超过现在的产品；

版权声明：除非特别标注原创，其它均来自互联网，转载时请以链接形式注明文章出处。