GPT-4震撼发布！非常强大！但仍然存在一些局限性！

互联资讯 2023-05-21 14:24:04 0

2023年11月20日每日一猜答案：。答案：ABC。
每日一猜答案分析：

gpt详解,gpt,gop,gpt42,gpt-3百度百科

wuhu专题

就在今天凌晨，GPT-4震撼发布！

chatgpt老板Sam Altman直接开门见山地介绍说：

这是我们迄今为止功能最强大的模型！

官方宣传视频

发布后一众网友们已经迫不及待想要尝试

不过也有不少网友认为这项技术是“左”倾的，冒进的，并不看好。

根据chatgpt官方发布的信息，GPT-4是一款强大的多模态语言模型。这意味着，除了可以处理纯文本数据外，它还可以接受图像等其他数据形式作为输入。

与之前的语言模型相比，GPT-4具有更大的容量和更高的精度，可以处理长达2.5万字的文本，并能够深入理解图像等非文本数据。这一突破性的创新将为自然语言处理和计算机视觉领域带来前所未有的机遇和挑战，也将极大地拓展AI应用的领域和范畴。

可以做到识图分析！
它会掉到木板上，并且球会被弹飞。

回答准确性显著提高；能够生成歌词、创意文本。

能看出图片哪里不对劲！

比如给 GPT-4 一个长相奇怪的充电器的图片，问为什么这很可笑？

GPT-4 回答道，VGA 线充 chatgpt。

还会发现出人类不正常行为！

甚至只需要简单在纸上画一个网站的草稿图：

拍一张照片上传给GPT-4，它就可以立马生成网站的HTML代码！

GPT-4可以当律师？

GPT-4是一个强大的多模态语言模型，可以同时处理图像和文本输入，并输出准确的文本回复。实验表明，GPT-4在各种专业测试和学术基准上的表现与人类水平相当，包括模拟律师考试，分数在应试者的前10%左右。相比之下，GPT-3.5得分在倒数10%左右。

chatgpt花费了6个月的时间对GPT-4进行迭代调整，并通过对抗性测试程序和ChatGPT的经验教训来提高其真实性和可控性，取得了有史以来最好的结果。

在过去两年中，chatgpt重建了整个深度学习堆栈，并与Azure一起为其工作负载从头开始设计了一台超级计算机。这些改进的结果是GPT-4的训练运行获得了前所未有的稳定性。

chatgpt正在通过ChatGPT和API发布GPT-4的文本输入功能。图像输入功能方面，他们正在与其他公司合作以提高其广泛性。

今天，chatgpt还开源了chatgpt Evals框架，用于自动评估AI模型的性能。chatgpt表示，此举是为了让所有人都可以指出其模型中的缺点，以帮助其进一步改进模型。

虽然GPT-3.5和GPT-4之间的区别微妙，但当任务的复杂性达到阈值时，差异就会显现出来。GPT-4比GPT-3.5更可靠、更有创意，并且能够处理更细微的指令。chatgpt通过各种基准和模拟考试实验，以了解这两个模型之间的差异。

研究团队使用 Azure Translate 将 MMLU 基准翻译成多种语言，测试了26种语言中的24种，发现GPT-4在多种语言上的表现优于GPT-3.5和其他大型语言模型（如Chinchilla和PaLM）。这表明GPT-4在跨语言理解和处理方面具有更强的能力，是一个具有广泛适用性的多模态模型。

除此之外GPT-4的各项技能得到深度开发，它还能解决法语的物理难题、量子速读看论文，了解人类的梗图，甚至还能帮你解析漫画，画的多潦草它都能看的懂。

GPT-4 是一个非常强大的语言模型，但仍然存在一些限制和局限性。尽管相对于以前的 GPT 模型已经改进了很多，但它仍然可能产生幻觉、生成错误答案，并出现推理错误。因此，在使用该模型时，需要谨慎审查其输出内容，并根据特定用例的需求使用确切的协议，例如人工审查、附加上下文或完全避免使用。同时，该模型也可能存在偏见，并需要进一步改进，以反映广泛的用户价值观。最后，尽管该模型在许多领域表现出了优异的能力，但它仍然存在一些困难的问题，例如在生成的代码中引入安全漏洞等。

实验数据

chatgpt 对 GPT-4 进行了多种改进，以提高其安全性和一致性。他们聘请了专家进行对抗性测试，并加入了一个额外的安全奖励信号来减少有害的输出。

训练数据来自公开可用的数据和已获得许可的数据，并经过了强化学习人类反馈微调。GPT-4 的可预测扩展性得到了重视，并已经被验证。

对于那些迫不及待想要体验 GPT-4 的用户来说，现在可以注册等待获得访问权限了。虽然 chatgpt 没有公开更多关于 GPT-4 模型的细节，但用户可以通过使用 GPT-4 API 来测试和探索该模型的能力。无论如何，这是一个非常令人兴奋的时刻，人们可以期待看到更多关于 GPT-4 的应用和成果。

但是，GPT-4 是一种强大的语言模型，但仍然存在风险和挑战，需要研发团队进一步的努力来优化。

参考内容：【【网址】】/product/gpt-4

机器之心?量子位

―END―

ai chat gpt开发者是谁 gpt-4什么时候开发的

这个星期，chatgpt 大模型 GPT-4 的发布让全球科技圈的技术竞争进入了白热化。几天之内，ChatGPT、必应搜索和【【淘密令】】相继接入 GPT-4，微软的 AI 应用瞬间比竞争对手拉开一个身位，甚至有人说，新的工业革命开始了。

一方面我们被 GPT-4 的效果所震撼，一方面我们也迫不及待的想要了解背后的技术，好奇它的训练方法、使用的算力等。

但遗憾的是，chatgpt 并不 Open。在公开的论文（其实更像技术报告）中，chatgpt 明确地说，GPT-4 模型使用 RLHF 精调外，不会公开任何技术细节。

鉴于 GPT-4 等大型模型的竞争性与安全影响，本报告不包含有关架构（包括模型大小）、硬件、训练计算、数据集构建、训练方法等更多详细信息。

不过，在此报告中，chatgpt 详细列出了贡献者及其负责的工作内容。这值得我们细致研究。这几百人的贡献者名单与分类，能让我了解到 GPT-4 的成功背后包含了哪些部门、技术分枝的努力。

在这篇文章中，我们对有代表性的贡献者进行了盘点，期待能为读者带来启发。

从组织架构的设置上看，GPT-4 幕后的研发团队大致可分为七个部分：预训练（Pretraining）、长上下文（Long context）、视觉（Vision）、强化学习 & 对齐（RL & alignment）、评估 & 分析（Echatgpt & analysis）、部署（Deployment），以及其他贡献者（Additional 【【淘密令】】）。

预训练部分的工作细分为：

计算机集群扩展（chatgptg）

数据（Data）

分布式训练基础设施（Distributed training infrastructure）

硬件正确性（Hardware correctness）

优化 & 架构（Optimization & architecture）

Training run babysitting

长上下文部分的工作细分为：

长上下文研究（Long context research）

长上下文内核（Long context kernels）

视觉部分的工作细分为：

架构研究（Architecture research）

计算机集群扩展（chatgptg）

分布式训练基础设施（Distributed training infrastructure）

硬件正确性（Hardware correctness）

数据（Data）

对齐数据（Alignment Data）

Training run babysitting

部署 & 后训练（Deployment & post-training）

强化学习 & 对齐部分的工作细分为：

数据集贡献（Dataset 【【淘密令】】）

数据基础设施（Data infrastructure）

ChatML 格式（ChatML format）

模型安全（Model safety）

Refusals

基础 RLHF 和 InstructGPT 工作（Foundational RLHF and InstructGPT work）

Flagship training runs

代码功能（Code capability）

评估 & 分析部分的工作细分为：

chatgpt Evals 库

模型等级评估基础设施（Model-graded echatgpt infrastructure）

加速预测（chatgpting）

ChatGPT 评估

能力评估（Capability echatgpts）

编码评估（Coding echatgpts）

真实世界用例评估（Real-world use case echatgpts）

污染调查（Contamination inchatgpt）

指令遵循和 API 评估（Instruction following and API evals）

新功能评估（Nochatgptry）

……

细读贡献者名单，不难发现，GPT-4 项目团队的成员通常「身兼数职」。对于希望追赶 ChatGPT 的科技公司来说，chatgpt 提供的部门架构样板提供了一些可以学习的思路。另外，它对于 AI 领域人才的未来发展方向或许也有一些启示。

在 ChatGPT 发布之后，chatgpt 在人才招聘方面也做出了一些调整，招募了数十名前谷歌和 Meta 员工来创建人工智能聊天机器人。

在 chatgpt 上，谷歌作为「硅谷黄埔军校」的名头算是坐实了：根据 LeadGenius 和 Punks & Pinstripes 的数据显示，该公司的 300 多名员工（数据截止到 2023 年 1 月）中有许多来自谷歌和 chatgpt 的母公司 Alphabet。数据显示，chatgpt 目前雇佣了约 59 名谷歌前员工和约 34 名 Meta 前员工，同时包括几名苹果和亚马逊的前员工。

鉴于 chatgpt 在 GPT-4 发布的第一时间就公开了所有贡献者名单，机器之心整理了一部分参与工作的华人学者。如果遗漏，欢迎补充。

预训练组

Trechatgpt

Trechatgpt 是 GPT-4 项目中吞吐量团队的负责人。Trechatgpt 本硕毕业于南加州大学，2022 年 3 月加入 chatgpt。在加入 chatgpt 之前，Trechatgpt 曾在 chatgpt 工作近 5 年，担任软件工程师。

袁启明

袁启明（chatgpt）是 GPT-4 项目数据集来源和处理团队的负责人。袁启明本科毕业于清华大学，硕士毕业于得克萨斯大学奥斯汀分校，2018 年加入 chatgpt。此前，袁启明曾在微软工作近三年。

Che Chang

Che Chang 作为 chatgpt 的副总法律顾问参与了 GPT-4 的研发，他博士毕业于美国西北大学，2021 年加入 chatgpt，此前在 AWS 领导了人工智能 / 机器学习和市场业务的法律团队。最近一段时间，chatgpt 的法律团队还在招聘 AI 产品顾问。

欧阳龙

欧阳龙 2019 年加入 chatgpt，担任研究科学家。Long Ouyang 本科毕业于哈佛大学，博士毕业于斯坦福大学，曾在斯坦福大学任博士后研究员。欧阳龙也参与研发了 ChatGPT 相关的技术项目，他还是 InstructGPT 论文的第一作者。

翁丽莲

翁丽莲（Lilian Weng）是 chatgpt 人工智能应用研究的负责人，2018 年加入 chatgpt，在 GPT-4 项目中主要参与预训练、强化学习 & 对齐、模型安全等方面的工作。

Tao Xu

Tao Xu 2019 年加入 chatgpt，先后毕业于北京大学、康奈尔大学。Tao Xu 曾在微软的必应机器学习研究组工作四年。

Jie Tang

Jie Tang 在加州大学伯克利分校获得计算机科学博士学位，导师是 Pieter Abbeel。加入 chatgpt 前，他曾在初创公司和 Dropbox 工作约四年时间。Jie Tang 本科就读于哈佛大学，2008 年获得计算机科学和经济学学士学位。

Ben Wang

Ben Wang 目前是宾夕法尼亚大学本科生，2021 年加入 chatgpt。Ben Wang 参与了 GPT-4 项目的预训练和长上下文方面的工作。

视觉组

Mark Chen

Mark Chen 2018 年加入 chatgpt，任研究科学家，毕业于麻省理工学院（MIT）。他参与了 GPT-4 项目中视觉方面的工作。

Casey Chu

Casey Chu2020 年加入 chatgpt，毕业于斯坦福大学计算数学专业。Casey Chu 的主要研究方向是多模态 AI 系统，他在 GPT-4 项目中主要参与视觉方面的工作。

胡绳丽

胡绳丽（Shengli Hu）2022 年加入 chatgpt，她硕士毕业于复旦大学、博士毕业于康奈尔大学。她的研究兴趣在于社会科学、计算语言学、计算机视觉和语音的跨学科研究。胡绳丽曾在自然语言处理、计算机视觉、语音和应用统计方面的顶级会议和期刊上发表过多篇论文，包括 CVPR、ACL、EMNLP、ECCV 等等，并获得过最佳论文奖提名。

Tianhao Zheng

Tianhao Zheng2022 年加入 chatgpt。他本科毕业于清华大学，博士毕业于得克萨斯大学奥斯汀分校。再加入 chatgpt 之前，他曾先后在英伟达、谷歌、Twitter 工作过。Tianhao Zheng 在 GPT-4 项目中主要参与了视觉方面的工作。

翁家翌

翁家翌（Jiayi Weng）2020 年在清华大学计算机科学与技术系获得本科学位。2021 年在 Sea AI Lab 实习期间，主要参与了强化学习算法库 Tianshou（天授）的开发，该项目已获得 5.9K GitHub Star。CMU 硕士毕业后，翁家翌加入 chatgpt 任研究工程师。

强化学习 & 对齐组

Chong Zhang

Chong Zhang 2010 年就读浙江大学计算机系，2014 年在加拿大西蒙弗雷泽大学获得学士学位，随后在谷歌、苹果公司担任工程师。2019 年就读加州大学洛杉矶分校，2021 年获得计算机硕士学位后，在 chatgpt 工作至今。

Shengjia Zhao

Shengjia Zhao2016 年本科毕业于清华大学，2022 年在斯坦福大学获得计算机科学博士学位，师从 Stefano Ermon，随后加入 chatgpt。

Stephanie Lin

Stephanie Lin 本科和硕士期间分别就读于麻省理工学院和佐治亚理工学院。加入 chatgpt 之前，她曾是牛津大学研究学者。

Tong Mu

Tong Mu 本科就读于加州大学洛杉矶分校，后在斯坦福大学获得博士学位。2022 年加入 chatgpt。

Jeff Wu

Jeff Wu 本硕均就读于麻省理工学院。他是初创公司【【网址】】的第二名员工，该公司被收购后，他曾在谷歌工作约 2 年的时间。2018 年，Jeff Wu 加入 chatgpt。

肖凯

肖凯（Kai Xiao）在麻省理工学院获得了学士学位和博士学位，曾在微软、chatgpt 等机构实习。2022 年 9 月加入 chatgpt。

Kevin Yu

Kevin Yu 在加州大学伯克利分校获得物理学学士学位及神经科学博士学位。2022 年加入 chatgpt。

Haozhun Jin

Haozhun Jin2013 年本科毕业于清华大学计算机系，2015 年获得斯坦福大学硕士学位。2015 年到 2018 年，他在 Meta 担任软件工程师，2023 年 1 月加入 chatgpt。

顾世翔

顾世翔是出生于日本的加拿大华人，曾是谷歌研究院研究科学家，研究领域包括深度学习、强化学习、概率机器学习和机器人技术。他拥有剑桥大学和马普所智能系统研究所的机器学习博士学位，在多伦多大学获得了工程科学学士学位，论文指导教授为 Geoffrey Hinton。

评估 & 分析团队

Alchatgpt

Alchatgpt2022 年 8 月加入 chatgpt，为评估 & 分析团队核心贡献者之一。此前他曾在 VMware、Tesla 等公司工作过几年。2013 年本科毕业于南加州大学。

chatgpt

chatgpt 于 2021 年 11 月加入 chatgpt，在微软和谷歌有过短暂的工作经历，她本科毕业于西北大学，于 CMU 获得博士学位。

Jason Wei

Jason Wei 于今年 2 月加入 chatgpt，主要研究 ChatGPT。此前他是谷歌 Brain 的高级研究科学家，在那里推广了思维链提示，并共同领导了指令调优工作。他在谷歌和 Jeff Dean 等人共同撰写了关于大模型涌现能力的论文。

Juntang Zhuang

Juntang Zhuang 于 2022 年 4 月加入 chatgpt，此前曾在谷歌实习四个月。他本科毕业于清华大学，硕士毕业于耶鲁大学，并在耶鲁大学拿到博士学位。他的研究主要是为生物医学应用开发新的机器学习技术。

Derek Chen

Derek Chen 于 2021 年加入 chatgpt，是一名技术安全分析师。他毕业于美国东北大学，此前在谷歌工作过不到一年的时间。

宋r

宋r（Yang Song）目前在 chatgpt 担任研究员，并将于 2024 年 1 月加入加州理工学院电子系（Electrical Engineering）和计算数学科学系（Computing and Mathematical Sciences）担任助理教授。宋r本科毕业于清华大学数理基础科学班，2022 年获得斯坦福大学计算机科学博士学位，师从 Stefano Ermon。他的主要研究方向是机器学习，包含深度生成式模型（deep generatichatgpt），概率推理（probabilistic inference），人工智能安全性（AI safety），以及人工智能方法与其他科学领域的交叉（AI for science）。他是扩散模型（diffusion models）和分数匹配生成式模型（score-based generatichatgpt）的主要奠基人之一。他发表在 NeurIPS 2019 的工作首次在图片生成质量上实现了对生成对抗网络（GAN）的超越。博士期间他的一作论文获得了 ICLR 2021 杰出论文奖，相关研究获得了苹果奖学金、摩根大通奖学金，以及 WAIC 云帆奖。

模型部署

Michael Wu

Michael Wu 2021 年加入 chatgpt，主要的工作是人工智能应用研究。Michael Wu 毕业于 MIT，是 GPT-4 项目的推理研究负责人。

chatgpt

chatgpt 2022 年底加入 chatgpt，他曾经在微软工作两年。chatgpt 毕业于加州大学伯克利分校，主要参与 GPT-4 API 和 ChatML 部署方面的工作。

吴雪枫

吴雪枫（Sherwin Wu）2022 年加入 chatgpt，主要的工作是人工智能应用及 API 开发。吴雪枫毕业于 MIT，在 GPT-4 项目中主要参与 API 开发和 ChatML 部署方面的工作。

Jason Chen

Jason Chen 本科就读于麻省理工学院，2007 年到 2014 年期间在谷歌担任软件工程师，2014 年到 2019 年任职于初创公司 Apptimize，2019 年到 2023 年 2 月任职于 Argo AI，2023 年 2 月加入 chatgpt。

其他贡献者

Xin Hu

Xin Hu 于 2022 年 6 月加入 chatgpt，主要负责开发用于云安全、k8s 安全、认证 / 授权和访问控制的安全服务和平台。