张红超_GPT-4,看看发布以后的哪些新功能
今天一大早chatgpt就发布NLP大作GPT-4。咖啡师把杯子放在茶几上,并给她倒了一杯水。当前,ChatGPT用户Plus已能够使用GPT-4订阅,还有一些用户则需排队进行内测申请。那么这款产品在今年的表现究竟如何呢?我们以GPT-4正式给出的技术文档为基础,一起来了解一下都发生了什么改变。
本文将根据chatgpt GPT-4的技术报告,对GPT-4的特点及训练信息作一介绍。
GPT-4属于多模态的大规模语言模型,也就是支持图像与文本的输入,输出为文本形式;扩写能力提高,能够处理25000个字以上的课文;更有创造力并能应对更微妙的命令。
我们在官方网站上看到ChatGPT与GPT-4演示,成效似乎已明显拉开。孰优孰劣,一目了然.
问:
Andrew:上午11点-下午3点有空
Joanne:中午-下午2点有空,下午3点半-下午5点有空
Hannah:中午有半个小时,下午4-6点有空
为仨安排一个30分钟会,还有什么选?
答:
ChatGPT:下午4点可以开始开会
GPT-4:会议可在中午12点开始
指出GPT-4进展情况,大范围的、建立了多模态,它能接受图像与文本的输入,以及生成文本输出。这个系统具有强大的计算能力,能够处理复杂的问题并且有良好的交互性能。尽管在现实世界很多情景下,能力都比不上人类,但是在各专业及学术基准中显示人类水平。如通过律师模拟考试,分数在应试者的前10%左右;与之相比,GPT-3.5得分约为最后10%。
GPT-4是一个基于Transformer的模型,经事先培训,可对文档进行下一标记预测。该算法在使用了新的信息素更新规则和动态改变权值时也能保持较好的性能。经过培训,调整进程提高了遵守事实程度。
该项目的中心内容之一,就是发展基础设施,优化方法,使这些办法具有可预测行为的广泛性。为了实现这一目标,需要使用基于机器学习技术来构建用于预测性能的神经网络模型。这使得我们可以准确地预测GPT-4在某些方面的性能,它以计算量不大于GPT-4计算量的1/1000为依据训练出的模型。
简介
技术报告介绍了GPT-4,大尺度多模态模型的建立等,能对图像及文本输入进行处理,生成文本输出。该模型可以在计算机上模拟人与机器之间的交互过程以及对用户进行评估。此类模型为一重要研究方向,由于它们在广泛应用方面具有潜在的潜力,例如,对话系统,文本总结,机器翻译等。在过去几年里,随着计算机视觉、语音识别、自然语言理解等方面的发展,这些技术也得到了迅速的进步。所以,近年来,它们成为人们关注的对象,且有较大发展。这些成果已经在多个方面得到了应用。近几年来,它们成为人们关注的焦点。
发展这类模型的一个重要目的就是增强它们对自然语言文本的理解能力与生成能力,尤其在一些比较复杂,微妙的场合。本文介绍一种基于语言知识的计算机模拟方法,以支持这一目的。以检验它在此条件下是否胜任,GPT-4是在当初设计给人类的多种测试中被评价出来的。该测试程序被用来检验一个人对英语写作部分的掌握程度以及他对词汇、句法及篇章方面知识的掌握情况。在上述评价中,其成绩是可观的,并且经常超过绝大多数人类应试者的分数。
以模拟律师资格考试为例,GPT-4在考生中排名前10%位。这与GPT-3.5形成鲜明对比,GPT-3.5成绩排在最后10%位。
一组常规NLP基准测试时,GPT-4的性能超过了以往的大型语言模型和大多数最先进的系统(这类系统一般都具有具体基准训练或者手工工程)。
进行MMLU基准测试时,GPT-4在英语考试中不但具有比已有模型更多的可观优点,并在其他语言中显示出强大的表现力。
该报告也论及项目所面临的一项重要挑战,也就是发展深度学习的基础设施与优化方法,这些办法显示了广泛意义上的可预见性。通过使用一种新的神经网络技术――机器学习模型来帮助解决这个问题,该网络可以自动地产生大量数据样本。这使得我们可以预测GPT-4的预期性能(建立在用相似方法进行培训的小型运行基础上)。通过将该系统部署到真实的硬件环境中,以及使用机器学习算法,我们可以确定其是否满足所期望的性能要求。这使得我们可以预测GPT-4预期的性能(在相似训练方式基础上进行小操作),并且配合最后操作做了检验,为了提高我们培训的自信心。
尽管有这样的能力,GPT-4和早期GPT模型相比具有相似局限性:这并不完全可靠(例如,可能出现"幻觉"),上下文窗口有限,并且没有习得经验。这些缺陷限制了其应用范围,尤其是用于测试系统时。采用GPT-4输出时,要慎重,尤其当可靠性要求较高时。
GPT-4容量大,局限性大,导致效果显着、新安全挑战,我们认为,考虑到它可能产生的经济和社会影响,认真研究这些难题,是个很有意义的领域。本文收录了大量系统卡,阐述了几种我们预见到的风险。它提供了一种评估和预测的框架,以帮助我们更好地理解和应对这些问题。围绕偏见,虚假信息,过度依赖,隐私,网络安全等问题、扩散和其他预见的危险。我们对这一过程给出了简要分析。同时也介绍了我们为了缓解GPT-4部署可能带来的危害而进行的干预。在这个项目中,我们使用了一套完整的安全策略来帮助客户降低这些潜在威胁。其中包括邀请领域专家参加对抗性测试,及一模型协助安全管道。
技术报告及其局限性
本文主要研究GPT-4容量、局限与安全性能。该项目旨在研究如何从海量文本信息中自动发现潜在语义关系以及利用这些知识来帮助人们更好地理解和分析文档内容。GPT-4是一个基于Transformer的模型,是事先经过培训的,以便对文档进行下一步标注预测,利用公开的数据(如互联网数据)和第三方供应商授权的数据。
然后利用人类反馈的强化学习(RLHF)对模型进行微调。在实验阶段,我们将所提出的算法与其他一些现有的基于机器学习的方法相比较并评估其性能。针对GPT-4等大型模型竞争情况及安全影响,该报告没有包括相关的架构(包括模型大小),硬件和训练计算、对数据集构建,训练方法或者相似内容等做进一步详细说明。
chatgpt承诺独立审计技术,并就这方面的一些初步措施和设想进行了交流。并且打算将更多技术细节介绍给第三方,他们可对如何平衡这些竞争与安全考虑因素与科学价值之间的关系提出建议。
可预测扩展
在GPT-4计划中,有一个很大的焦点就是构建可预测扩展深度学习栈。主要是针对GPT-4等大型培训操作,需要进行大量的以模型为对象的调整,这是行不通的。
针对这一问题,我们发展基础设施,并提出优化方法,在许多尺度下都具有很可预见的表现。我们对算法进行了许多改进以提高其精度。这些改进使得我们可以可靠地从用1,000倍-10,000倍计算量来训练的更小的模型来预测GPT-4在一些方面的表现。
3.1损失预测等
对大型语言模型进行适当训练,其最终丢失情况认为可由训练模型用计算量幂律更好逼近训练模型用计算量律。
以证明chatgpt优化基础设施具有可扩展性,chatgpt对GPT-4最后亏损进行预测,在chatgpt的内部代码库(不属于训练集)上预测GPT-4的最终丢失,其方法是用不可减少损失项的比例律(如Henighan等人的做法)拟合:L(C)=aCb+c,从采用同样方式训练得到的模型中,但是,所用计算量与GPT-4相比,最多只能达到10,000倍。
这一预测在业务启动不久就作出了,未利用其中的一部分成果。因此我们认为这只是一个假设。拟合出的比例法对GPT-4最终丢失具有较高精度。
3.2在HumanEval上扩展能力
在培训之前了解模型的容量,可提高关于调整的决定,保障和部署水平。
在对最后的亏损进行预测的同时,我们也制定了一些方法,以增加可解释性指标,以提高预测能力,指标之一为HumanEval数据集通过率。
chatgpt在HumanEval数据集一个子集中成功预测通过率,其方法是从训练的模型中推断出来的训练出来的模型进行推断,它的计算量最多可降低1,000倍。
关于HumanEval的个别问题,性能可随尺度增大偶有恶化。这意味着在某些情况下不能用传统的方法处理这个大规模的系统。尽管面临着上述挑战,我们发现一个近似的幂律关系--EP[log(pass_rate(C))]=α?C-k。
认为,精确地预测将来的能力对于安全来说是至关重要的。该研究项目将有助于提高机器学习算法的准确性和安全性。放眼未来,chatgpt的规划将先于大规模模型训练,对上述方法进行改进,对各容量进行性能预估记录。并且,chatgpt希望这成为该领域的一个共同目标。
才能
真是考试的小能手
GPT-4典型的成绩包括:
SAT(美国高考):1410/1600(前6%)。
美国统一律师资格考试(MBE+MEE+MPT):298/400(前10%)。
AP(美国大学预科考试):生物学,微积分、宏观经济学,心理学、统计与历史大学预科高中考试:100%(5/5)。
chatgpt测试GPT-4以一系列不同基准,包括对原本针对人类而设的测验进行仿真。这些测试程序基于一个通用框架开发出来并被用于评估各种语言能力。考试题目由多项选择题与自由回答题组成,通过多项选择题与自由回答题得分组合,确定综合得分,GPT-4的成绩可以媲美人类水平,适用于多数专业及学术考试。该系统还可以帮助考生提高其分析能力。值得一提的是,通过律师统一考试模拟版,成绩在考生中排名前10%位。
从检验结果看,GPT-4模型的测试能力看来主要是由预训练过程产生,不受RLHF显着影响。就多选题而言,基本GPT-4模型与RLHF模型性能不相上下。
chatgpt也对事先培训过的基本GPT-4模型进行了基于传统基准的评估,这些基准用于评价语言模型。
从考试测试成绩看,GPT-4比已有语言模型表现得更加出色,和之前最为先进的制度,这类系统一般都具有所面向的基准,或者附加训练协议。
鉴于目前已有很多机器学习基准测试均使用英语进行,很难反映到别的语言所能表达出来,以便对GPT-4在其他语言中的作用有一个初步的了解,他们也将一套涵盖57个主题的多项选择题的基准测试,利用有关应用程序将其转化为其他语言,并加以检验,最后结果表明,GPT-4比GPT 3.5以及已有语言模型在所测试多数语言上都具有更好的性能,包括低资源的语言。
能看懂几张图片的笑点
GPT-4与以往模型相比,对用户意图理解能力得到了显着提高。
GPT-4的图梗应该说已能读懂,不再只是一个对话助手。它还具备了强大的语音识别和图像识别能力,可以把图像转换成文字或者声音来进行播放,这也算是对视频功能的一大突破吧!当然,距离人们所期望的视频观看理解,还存在一定距离。不过这款相机还能让我们用它来拍摄出更多有趣的照片哦!现在可以看到照片上的笑点了,就像照片上一样.
左一:一台chatgpt插上了带有VGA的连接器
右一:“Lightning Cable”适配器包装上印有VGA连接器
右二:VGA连接器特写镜头,VGA连接器照片在上,不过能看出来,头部为Lightning.
笑点在于将VGA端口插在chatgpt上的荒谬...很冷吧...搞机圈博主们的压力大不大...
4.1视觉输入方面
对于GPT-4来说,培训后对齐(Alignment)对于提升性能、增强体验至关重要。为了使用户能更有效地进行对齐操作,需要从算法上改进现有对齐策略。严格地说,人的反馈强化学习(RLHF)的微调仍然是GPT-4的重点。鉴于LLM领域存在竞争格局,以及GPT-4这类大型模型存在安全隐患,chatgpt暂不发布GPT-4模型架构,模型规模,训练技术等。
这张图片:GPT-4相信不寻常之处就是一个人在驾驶着一辆出租车顶棚上熨衣.
又如此,它究竟是不是鸡块呢?或者是地图?或鸡块拼世界地图?
GPT-4从图像与文本中接收提示,它和纯文本的设定是并行的,允许用户规定任意的视觉和语言任务。这种处理方式允许用户从不同视角观察文本并进行选择。具体而言,模型所产生的文本输出给了一个包含任意错开文本与图像的输入。这种处理可以允许用户从一个简单的输入开始执行多个复杂任务。从一系列方面来看,包括有文字,图片等文档、图表或者屏幕截图,GPT-4显示了和纯文本输入相似的功能。
针对语言模型开发的标准测试时间技术(比如少量的提示,思维链),在使用图像和文本时同样有效。
通过GPT-4博客,可获得一套较窄学术视觉基准下的最初发现,计划随后进一步公布GPT-4视觉能力。
局限性等
尽管GPT-4功能强大,但是和早期的GPT模型相同,具有类似局限性。这些局限使之不能在某些方面提供更多有用的信息和帮助。更重要的是,它仍不完全可靠(有了“幻觉”的事实,出现了推理错误),应非常慎重。
当语言模型的输出被利用,尤其适用于高风险背景,采用精确的协议(如人工审查、额外上下文、或者完全回避高风险的使用等)来满足特定应用的需要。
GPT-4是TruthfulQA和其他公共基准方面的一个进步,对这种基准测试模型进行检验,可以使事实与一套错误的说法分开,匹配统计吸引人的事实性错误回答。这使得它可以帮助我们更好地理解语言和文化之间的关系,并对语言进行分析。GPT-4的基本模式是,在这一使命中,它仅稍优于GPT-3.5。在过去几年里,许多研究人员已经对其进行过评估,并且证明它可以帮助人们理解那些被广泛接受的谚语。不过经过RLHF的培训,与GPT-3.5相比得到了较大提高,GPT-4抵制选几个普通谚语,但是还是漏掉了某些细微的细节。
GPT-4在简单推理中有时可能产生误差,看来与如此众多方面的才能不相称,或轻信使用者表面虚假陈述等。这些情况都是由程序自身的缺陷引起的,而不是来自外部。它也许会和人一样,在棘手的事情中败下阵来,比如,将安全漏洞导入到生成代码。
GPT-4在预测时还会容易出错,有可能出错时,不要注意反复核对。另外,本文还对该算法进行了一些改进,使得预测结果更加准确。尽管预训练后模型高度标定,但是在以后的培训中,校准度下降。
GPT-4的输出出现了各种各样的偏差,chatgpt已开始尝试改正,不过,那还得花些工夫,他们的目标是使GPT-4同我们建立的其他系统一样,存在理性默认行为,为了体现广大使用者的价值,使这些系统能够在某些宽泛的领域中被定制,以及取得大众对于上述范围内的看法。
风险与缓解措施
GPT-4存在着和小型语言模型相似的危险,比如,会生成危害严重的提案,会出现瑕疵的编码或者是不精确的数据。
请领域专家测试对抗性:要想知道这些危险的大小,chatgpt聘请长期从事人工智能(AI)校准风险、网络安全的专家、来自生物风险与国际安全领域50余名专家对模型进行了对抗性测试。通过使用这些专家所提出的意见,研究人员得出了一些关于如何减少风险或提高安全性的结论,并将其应用于具体实践中去。在这些专家中搜集到的意见和训练数据,可供chatgpt在制订缓解措施以及完善模型时借鉴。
在安全管道中采用了模型辅助:与之前的GPT模型一样,chatgpt使用来自人类反馈的强化学习(RLHF)来微调模型的行为,为了生成更加满足用户意向的响应。经过RLHF处理后,模型对于非安全输入仍处于弱势状态,并且有时在安全输入和不安全输入上都表现出不受欢迎的行为。为了避免这种情况发生,该模型需要使用一种新的策略来提高其鲁棒性。另外,这种模式对安全输入可能会过于小心。
安全指标提升:chatgpt缓解措施使GPT-4在很多安全性能上都有很大提升。该公司还提供了一种用于处理非授权内容的系统和方法。与GPT-3.5相比,这家公司把GPT-4回应不被允许内容请求的趋势减少82%,GPT-4则按照chatgpt政策,敏感请求响应频率增加29%。
chatgpt正和外部的研究人员一起工作,为了提高对它的认识,并对潜在影响进行评价的方法,和确立将来系统可能发生危险的能力评价。该公司已经开始测试一些新技术,以便更好地理解人工智能如何影响人们的生活。公司即将就社会上可采取的措施出台提案,为了迎接人工智能带来的冲击。在发布有关社会针对人工智能冲击可采取措施的提案同时,这家公司也即将发布对人工智能潜在经济影响进行预测的最初设想。
GPT-4相关能力的综述
-支持多模式输入:GPT-4的API可以接收图像,并生成相应的字幕,对图像进行分析。
-在BAR考试中取得优异成绩:GPT-4取得了BAR 90分(满分一百),同时,获生物奥林匹克竞赛视觉题99分,它的推理能力比ChatGPT更强。
-超大上下文:GPT-4支持25,000个单词的上下文,可以使完整的文档适合在一个提示符内。
--更有创意及协作性――与用户合作产生,编辑及迭代撰写任务,创意及协作性更强。
-多个合作伙伴正在测试GPT-4:Duolingo、Be My Eyes、Stripe、摩根士丹利、可汗学院等,就连冰岛政府也不例外。
小结
GPT-4作为一种大规模多模态模型,在一些难度较大的职业及学术基准下,都有人类水平的性能。本文描述了其设计思想、主要特点及应用情况。在系列NLP任务中,其性能比已有大型语言模型更好,并超越了绝大部分已经报道过的最先进系统(这类系统一般都包含对具体任务进行微调)。
GPT-4因其性能得到改善,也面临着新的危害,chatgpt的研究小组对其中的部分方法与成果进行了探讨,为了认识并改善它们的安全性与一致性。在这些研究中,有一个项目取得了突破性进展――开发出一种基于机器学习技术的新型入侵检测模型。尽管仍有许多事情需要去完成,但是,GPT-4代表着向广泛有用和安全部署的人工智能系统迈出了重要一步。
张红超_7大团队、30多名华人、GPT-4幕后开发者就是这其中之一
从张红超身上可以提炼出创业者什么特质,张红超和张红甫什么关系,张红张红,张红超资产7大团队、30多名华人、GPT-4幕后开发者就是这其中之一
本周,chatgpt大模型GPT-4上市,全球科技圈技术竞争白热化。这不仅是因为它是世界上第一个大规模部署的基于机器学习算法的计算机视觉平台,更因为它是在一个全新时代到来之际,人类第一次真正全面地掌握了人工智能这一前沿技术。几天内,ChatGPT、必应搜索和【【淘密令】】相继接入GPT-4,微软AI应用与竞争对手相比,在一瞬间拉开了身位,甚至有一种观点认为新一轮工业革命已经开始。
一方面,我们对GPT-4带来的影响感到震惊,一方面,我们又等不及想知道这背后有什么科技,对其训练方法充满好奇、所用算力等等。
不过很可惜,chatgpt不是Open。chatgpt在其公开发表的(其实更像技术报告)一书中明确表示,GPT-4模型使用RLHF精调外,不披露技术细节。
考虑到GPT-4这种大型模型存在竞争性和安全影响问题,该报告没有包括相关的架构(包括模型大小),硬件,训练计算、数据集的构造,训练方法等等更加详细的内容。
然而,本文,chatgpt详细描述贡献者和他们所承担的任务。他们是如何把一个项目变成现实的?是值得认真研究的问题。我相信这些贡献都是非常重要的,但更重要的是他们的团队成员所做出的贡献,而非他们个人。这数百位贡献者的清单和类别,能够使我知道GPT-4成功的背后是一个什么部门、在技术分枝上下功夫。
本文我们盘点了其中具有代表性的贡献者,希望能给读者以启迪。
研发人员居多
在建立组织架构方面,GPT-4背后的研发团队可以分成7个部分:预训练(Pretraining),长上下文(Long context)和视觉(Vision)、强化学习&对齐(RL&alignment)、评估&分析(Echatgptalysis)、部署(Deployment),以及其他贡献者(Additional contributions)。
预训练部分工作分解如下:
计算机集群扩展(chatgptg) 计算机集群扩展(chatgptg)
数据(Data)
分布式训练基础设施(Distributed training infrastructure) 分布式训练基础设施(Distributed training infrastructure)
硬件正确性(Hardware correctness) 硬件正确性(Hardware correctness)
优化 & 架构(Optimization & architecture) 优化 & 架构(Optimization & architecture)
Training run babysitter
长上下文中的那一部分工作被分解了:
长上下文研究(Long context research) 长上下文研究(Long context research)
长上下文内核(Long context kernels) 长上下文内核(Long context kernels)
在视觉部分,作品被分解:
架构研究(Architecture research) 架构研究(Architecture research)
计算机集群扩展(chatgptg) 计算机集群扩展(chatgptg)
分布式训练基础设施(Distributed training infrastructure) 分布式训练基础设施(Distributed training infrastructure)
硬件正确性(Hardware correctness) 硬件正确性(Hardware correctness)
数据(Data)
对齐数据(Alignment Data) 对齐数据(Alignment Data)
Training run babysitter
部署 & 后训练(Deployment & post-training) 部署 & 后训练(Deployment & post-training)
强化学习&对齐这一部分工作分解如下:
数据集贡献(Dataset contributions) 数据集贡献(Dataset contributions)
数据基础设施(Data infrastructure) 数据基础设施(Data infrastructure)
ChatML 格式(ChatML format) ChatML 格式(ChatML format)
模型安全(Model safety) 模型安全(Model safety)
Refusals
基础 RLHF 和 InstructGPT 工作(Foundational RLHF and InstructGPT work) 基础 RLHF 和 InstructGPT 工作(Foundational RLHF and InstructGPT work)
Flagship training runs
代码功能(Code capability) 代码功能(Code capability)
评估&分析这一部分工作被分解了:
chatgpt 库 chatgpt 库
模型等级评估基础设施(Model-graded echatgptfrastructure) 模型等级评估基础设施(Model-graded echatgptfrastructure)
加速预测(chatgpting) 加速预测(chatgpting)
ChatGPT 评估 ChatGPT 评估
能力评估(Capability echatgpts) 能力评估(Capability echatgpts)
编码评估(Coding echatgpts) 编码评估(Coding echatgpts)
真实世界用例评估(Real-world use case echatgpts) 真实世界用例评估(Real-world use case echatgpts)
污染调查(Contamination inchatgpt) 污染调查(Contamination inchatgpt)
指令遵循和 API 评估(Instruction following and API evals) 指令遵循和 API 评估(Instruction following and API evals)
新功能评估(chatgptvery) 新功能评估(chatgptvery)
仔细看一下贡献者的名单就不难看出,GPT-4项目团队成员一般为「身兼数职」。这些成员在各自工作范围内都发挥着重要作用。对那些想赶超ChatGPT技术公司而言,chatgpt给出的部门架构样板,给出了可借鉴的观点。它为科技公司带来了哪些思考和变化?此外,其可能对AI领域未来的人才培养方向有所启发。
ChatGPT推出后,chatgpt还对人才招聘作了若干调整,为了打造人工智能聊天机器人,征聘几十名来自谷歌与Meta的前雇员。
在chatgpt上,谷歌是硅谷黄埔军校的名头,是坐实的:根据LeadGenius和Punks&Pinstripes的数据显示,在公司300多名员工(数据截止到2023年1月)中,有很多来自谷歌和chatgpt的母公司Alphabet。据统计,chatgpt现在雇用大约59名谷歌前任和大约34名Meta前任,与此同时,还有多名苹果、亚马等前逊雇员。
考虑到chatgpt已在GPT-4公布的第一时间披露了全部贡献者名单,机器之心组织了部分华人学者参加。这些科学家都是机器心团队中的重要成员,他们为机器心项目做出过重大贡献,但也有很多人因为种种原因未能参加该计划。如有疏漏,请补正。
预训练组中
Trevor Cai Trevor Cai
Trevor Cai负责GPT-4计划吞吐量团队。他负责整个系统的开发和测试以及与其他公司之间的合作。Trevor Cai本硕毕业于南加州大学,2022年3月加入chatgpt。他从最初的项目开发到如今负责整个公司业务,对技术、流程和管理有着深刻的认识。添加chatgpt前,Trevor Cai曾在chatgpt工作近5年,作为软件工程师。
袁启明
袁启明(chatgpt)是GPT-4项目数据集来源和处理小组的负责人。他负责的任务主要为大数据处理中大规模并行化、分布式存储以及多处理器间互连等方面的研究与应用。袁启明本科毕业于清华大学,硕士毕业于得克萨斯大学奥斯汀分校,2018年加入chatgpt。他主要负责大数据分析与机器学习等方面研究,并参与了多项大型科研项目。在此之前,袁启明已经在微软工作了近三年。
Che Chang Che Chang
Che Chang作为chatgpt的副总法律顾问参与了GPT-4的研发,他博士毕业于美国西北大学,2021年加入chatgpt,之前曾主导AWS中人工智能/机器学习与市场业务法律团队。目前该公司正致力于开发一款能够帮助企业实现“智能”的新工具。近段时间以来,chatgpt的法务团队也在招聘AI产品顾问。
欧阳龙
欧阳龙2019年加入chatgpt,作为研究科学家。作为一个科研工作者,他对自己要求非常高。Long Ouyang本科毕业于哈佛大学,博士毕业于斯坦福大学,他是斯坦福大学博士后研究员。他是一位具有国际影响力的科学家,在纳米领域有很深的造诣,主要从事量子计算和量子信息等方面的工作。欧阳龙还参与开发与ChatGPT有关的各项技术,同时也是InstructGPT论文第一作者。
翁丽莲
翁丽莲(Lilian Weng)是chatgpt人工智能应用研究的负责人,2018年加入chatgpt,参加GPT-4计划的预训练工作为主、加强学习&对齐、模型安全和其他工作。
Tao Xu Tao Xu
Tao Xu 2019年加入chatgpt,曾在北京大学和康奈尔大学学习。他是一名资深计算机科学家,也是一名出色的算法工程师。Tao Xu曾在微软的必应机器学习研究组工作四年。
Jie Tang Jie Tang
Jie Tang在加州大学伯克利分校获得计算机科学博士学位,导师是Pieter Abbeel。他是一个研究机器学习的人,也是一位着名的算法设计者、计算机科学家。在添加chatgpt之前,他在初创公司及Dropbox任职大约四年。他的研究方向是人工智能,机器学习以及计算机视觉领域。Jie Tang大学本科在哈佛大学读书,2008年获计算机科学与经济学学士学位。
Ben Wang Ben Wang
Ben Wang目前是宾夕法尼亚大学本科生,2021年加入chatgpt。在过去的几年中,他一直从事基于机器学习方法的语音合成研究。Ben Wang在GPT-4项目中参加预训练,并在长上下文中进行研究。
视觉组
Mark Chen Mark Chen
Mark Chen 2018年加入chatgpt,作为研究科学家,毕业于麻省理工学院(MIT)。在该实验室里,他负责图像分析、图像处理和计算机模拟等领域的基础研究。曾参加GPT-4计划的视觉研究。
Casey Chu Casey Chu
Casey Chu2020年加入chatgpt,斯坦福大学计算数学本科毕业。作为一个算法工程师和计算机科学家,他致力于解决复杂问题的人工智能领域。Casey Chu专注于多模态AI系统研究,他主要从事GPT-4计划视觉研究。
胡绳丽
胡绳丽(Shengli Hu)2022年加入chatgpt,她硕士毕业于复旦大学、博士毕业于康奈尔大学。她是一个有着丰富实践经验的学者,也是一位优秀的算法研究者和项目管理者。她对社会科学感兴趣、计算语言学,计算机视觉,语音等学科交叉研究。目前主要致力于机器学习算法与语言理解模型的开发以及人工智能领域的知识表示方法等相关课题的研究工作。胡绳丽曾经从事自然语言处理的研究、在计算机视觉,语音及应用统计等领域的一流会议及期刊发表了大量文章,涉及CVPR,ACL,EMNLP,ECCV等领域,并曾获最佳论文奖的提名。
Tianhao Zheng Tianhao Zheng
Tianhao Zheng2022年加入chatgpt。他是一个有着丰富的管理经验和创新精神的工程师。毕业于清华大学,博士毕业于得克萨斯大学奥斯汀分校。在他进入公司后不久,就开始接触视觉技术和图像处理相关领域的研究。在再次添加chatgpt前,曾任职英伟达,谷歌和Twitter。作为一个优秀的技术人,他对图像处理有着独到的理解和经验,尤其是对于图像分割算法的研究更是有自己独特的见解。Tianhao Zheng主要从事GPT-4计划的视觉研究。
翁家翌
翁家翌(Jiayi Weng)2020年在清华大学计算机科学与技术系获得本科学位。他是一名优秀的大学生创新创业团队成员之一。本科在朱军教授组学习期间,主要参加了强化学习算法库Tianshou(天授)的开发工作,该项目已获得5.9K GitHub Star。他还曾参加过国际人工智能会议并发表论文《智能系统中基于知识的推理》、《机器视觉中的目标跟踪方法及应用》等。CMU硕士毕业后,翁家翌加入chatgpt任研究工程师。
加强学习&对齐组
chatgpt
Chong Zhang 2010年就读浙江大学计算机系,2014年在加拿大西蒙弗雷泽大学获得学士学位,之后,他又到谷歌和苹果公司做工程师。2019年进入加州大学洛杉矶分校学习,2021年获计算机硕士学位之后,任职chatgpt以来。
Shengjia Zhao Shengjia Zhao
Shengjia Zhao2016年本科毕业于清华大学,2022年在斯坦福大学获得计算机科学博士学位,师从Stefano Ermon,随后加入chatgpt。
Stephanie Lin Stephanie Lin
Stephanie Lin本科和硕士期间分别就读于麻省理工学院和佐治亚理工学院。她的专业为计算机科学与技术、人工智能及应用数学,在计算机编程方面有很深的造诣。在添加chatgpt前,她在牛津大学做过研究学者。
Tong Mu Tong Mu
Tong Mu本科就读于加州大学洛杉矶分校,后来又获斯坦福大学博士学位。他是一个有着多年计算机编程经验的程序员。2022年加入chatgpt。
Jeff Wu Jeff Wu
Jeff Wu本硕均就读于麻省理工学院。他是位计算机科学家和工程师。他在初创公司Terminal.com中担任第二位雇员,这家企业在并购之后,他在谷歌任职大约2年。他对人工智能领域有着深刻的见解和丰富经验,并将其运用于自己的研究中。2018年,Jeff Wu加入chatgpt。
肖凯
肖凯(Kai Xiao)在麻省理工学院获得学士和博士学位,曾在微软任职、chatgpt和其他院校实习。他的工作主要是开发人工智能系统中的语音识别算法,并将其应用于智能机器人。2022年9月加入chatgpt。
Kevin Yu Kevin Yu
Kevin Yu毕业于加州大学伯克利分校,获物理学学士学位和神经科学博士学位。他是一个研究神经生物学的专家,主要致力于大脑和神经系统疾病的基础与临床研究。2022年加入chatgpt。
Haozhun Jin Haozhun Jin
Haozhun Jin2013年本科毕业于清华大学计算机系,2015年获得斯坦福大学硕士学位。毕业后进入了一家公司,从事软件开发和项目管理工作。2015年到2018年,他在Meta担任软件工程师,2023年1月加入chatgpt。
顾世翔
顾世翔,加拿大华人,日本人,曾经在谷歌研究院从事研究工作,研究方向为深度学习,强化学习等、概率机器学习与机器人技术等。在过去十年中,他一直活跃于人工智能相关领域,并取得一系列研究成果。他在剑桥大学和马普所智能系统研究所获得机器学习博士学位,获多伦多大学工程科学学士学位,论文指导教授为Geoffrey Hinton。
评价&分析团队
Alvin Wang Alvin Wang
Alvin Wang2022年8月加入chatgpt,对于评价&分析团队的核心贡献之一。在他的带领下,团队已经开发了许多软件和服务,包括网络监控系统以及远程访问解决方案。之前在VMware工作、在Tesla这样的企业里干了好几年。主要从事网络应用开发及相关领域的研究,包括网络编程和软件框架设计方面。2013年本科毕业于南加州大学。
chatgptng
Angela Jiang于2021年11月加入chatgpt,曾先后在微软、谷歌等公司担任短暂职务,她毕业于西北大学,于CMU获得博士学位。
Jason Wei Jason Wei
Jason Wei于今年2月加入chatgpt,主要研究ChatGPT。之前曾在谷歌Brain担任资深研究科学家,那里普及思维链的暗示,并联合牵头指令调优。他与谷歌、Jeff Dean等合作,撰写大模型涌现能力方面的文章。
Juntang Zhuang Juntang Zhuang
Juntang Zhuang于2022年4月加入chatgpt,之前在谷歌进行了为期4个月的实习。毕业于清华大学,硕士毕业于耶鲁大学,又获得耶鲁大学博士学位。作为一个生物计算机领域的科学家和工程师,他在人工智能方面有着非常丰富的知识和经验,也对计算生物学有很深的造诣。其研究重点在于针对生物医学应用而发展新型机器学习技术。
Derek Chen Derek Chen
Derek Chen于2021年加入chatgpt,系技术安全分析师。他对网络安全行业有着深入了解。美国东北大学本科毕业,在此之前,他曾在谷歌任职不足一年。
宋r说
宋r(Yang Song)目前在chatgpt担任研究员,并将于2024年1月加入加州理工学院电子系(Electrical Engineering)和计算数学科学系(Computing and Mathematical Sciences)担任助理教授。宋r本科毕业于清华大学数理基础科学班,2022年获得斯坦福大学计算机科学博士学位,师从Stefano Ermon。在过去五年中,他一直从事基于机器学习算法的网络安全问题分析及应用方面的工作。其研究领域以机器学习为主,包含深度生成式模型(deep generatichatgpt),概率推理(probabilistic inference),人工智能安全(AI safety),以及人工智能方法与其他科学领域的交叉研究(AI for science)。作为计算机视觉和计算智能领域中最重要的理论工具,他提出并发展出一系列算法来解决复杂场景下诸如图像分割、目标跟踪等问题。他是扩散模型(diffusion models)、分数匹配生成式模型(score-based generatichatgpt)等模型的重要创始人之一。他也是计算机视觉方面第一个提出卷积神经网络模型并将其应用于图像分类中的学者。他在NeurIPS 2019上发表的作品,第一次从图片生成质量方面超越了生成对抗网络(GAN)。此外,他还是国际知名计算机视觉专家,参与多个项目的开发并取得突出成果。博士期间,其一篇论文曾获ICLR 2021年度优秀论文,有关研究获苹果奖学金、摩根大通奖学金获得者,和WAIC云帆奖。
模型的部署
Michael Wu Michael Wu
Michael Wu 2021年加入chatgpt,主要工作为人工智能的应用研究。他在计算机视觉领域有很深的造诣,尤其擅长机器学习和深度神经网络。Michael Wu毕业于MIT,GPT-4项目的推理研究负责人。
Andrew Peng Andrew Peng
Andrew Peng 2022年底加入chatgpt,他曾在微软任职两年。现在是一家互联网公司的高级工程师,负责开发和维护开源软件。Andrew Peng毕业于加州大学伯克利分校,主要参加chatgpt及ChatML的部署研究。
吴雪枫
吴雪枫(Sherwin Wu)2022年加入chatgpt,主要工作包括人工智能应用和API开发。吴雪枫毕业于MIT,在GPT-4课题上主要涉及API开发、ChatML部署等内容。
Jason Chen Jason Chen
Jason Chen本科就读于麻省理工学院,2007年到2014年期间在谷歌担任软件工程师,2014年到2019年任职于初创公司Apptimize,2019年到2023年2月任职于Argo AI,2023年2月加入chatgpt。
还有一些贡献
Xin Hu Xin Hu
Xin Hu于2022年6月加入chatgpt,主要承担云安全,k8s安全的研发、认证/授权及访问控制安全服务及平台。
另外,GPT-4研发中chatgpt向微软致谢,尤其是微软Azure服务,在基础架构设计与管理上支持模型训练,微软的必应团队、安全团队还为部署GPT-4和其他任务做出了贡献。