庆云古诗词

庆云古诗词

芯片是如何为ChatGPT提供算力的?怪不得地球都容不下它了|文末赠书

互联资讯 0

2023年11月20日 每日一猜答案: 答案:ABC
每日一猜答案分析:

芯片是如何运作的,芯片是怎么实现功能的,芯片是如何诞生的,芯片到底是怎么工作的

近日,ChatGPT因大规模封号及关闭Plus付费会员的申请引发大家热议。

有网友说这是因为计算资源不够了,已经不单是靠钱能解决得了的问题,地球上已经没有足够的算力来满足ChatGPT的运行需求了。

AI的发展真的会被算力所限制吗?它和芯片又有怎样的关系?

1

芯片:算力决定智力

AI的“三驾马车”是数据、算法和算力。

我们将数据送入AI算法,由算法学习数据中的规律,这意味着要进行无数次运算。运算的背后是芯片提供的算力支持。

如果我们回顾AI算法的发展历史,可以发现,AI算法的发展史同样也是芯片公司的发展史。

从1999年的第一颗GPU,到2008年NVIDIA公司推出的第一颗可用于AI的GPU――Tegra,再到最近几年涌入AI领域的、百花齐放的各类芯片方案(例如,基于AVX-512指令集扩展的Intel至强CPU,NVIDIA全新的【【微信】】架构,赛灵思的【【微信】】推理平台),算力的提高极大地提高了AI的智力水平,让AI可以解决更加复杂、多样化的问题,也为我们进入AIGC时代铺平道路。

可以看到,在过去的20年中,数据的规模、算法的参数量、芯片的算力三者相辅相成,共同将AI推动到了当前阶段,衍生出了不同类型的AIGC。

因此,本文就以2023年的巨星级产品ChatGPT为例来说明芯片是如何为AIGC提供算力的。

ChatGPT的参数量达到了1750亿个量级。ChatGPT展现出的超强智力的背后是昂贵、巨量的算力资源。

让我们问ChatGPT两个问题,用它的回答来开始这一节的叙述(如图1和图2所示)。

图1

图2

下面从两个角度来解释AIGC和芯片的关系:①在AIGC领域中,现在用什么芯片?②随着AIGC的发展,对芯片会有什么新的需求?

2

在AIGC领域中,现在用什么芯片

1.何为“训练(Training)”和“推理(Inference)”

ChatGPT是通过“训练”得到答案的,那么什么是“训练”?

AIGC的实现过程分为两个环节:训练和推理。

训练是用大规模的数据来训练出复杂的神经网络模型。

通过对数据的标记,以及深度学习中的监督(Supervised),使最终得到的神经网络模型具有训练者需要的、特定的功能。

在具体的实现过程中,大数据作为输入源,经过神经网络算法解算,可以得到一个输出结果。

显然,这种单向的计算,对神经网络模型的构建起不到作用。我们需要构建一个反向的、从输出到输入的机制,才能形成负反馈,调整神经网络模型,达到“训练”的效果。

这个反向的机制可以是有监督学习(Super【【微信】】),即算法工程师给出参数,或者无监督学习(Unsuper【【微信】】),让算法通过自回归或自编码器来对输入信息进行学习。

推理是利用训练好的模型,通过输入新数据来获取结论。

因此,通俗地讲,“训练”的实质就是计算―反馈―调整―计算的往复过程,这一过程在不同的模型中有不同的实现方式;“推理”的实质是针对某个应用场景的输入―计算―输出的过程。

显而易见,训练所需要的计算量和算力资源是远大于推理的,而推理所需要考虑的,除了算力本身,还有功耗、成本,以及与应用场景的匹配。

AI芯片通常有以下3种类别:云端训练芯片、云端推理芯片、端侧推理芯片。其代表公司见表1。

表1

可以注意到,由于训练对算力的要求极高,芯片的功耗较大,因此训练往往放在云端,并没有“端侧训练芯片”。?

2.云端训练芯片:ChatGPT是怎样“练”成的

ChatGPT的“智能”感是通过使用大规模的云端训练集群实现的。

目前,云端训练芯片的主流选择是NVIDIA公司的【【微信】】。GPU(Graphics Processing Unit,图形处理器)的主要工作负载是图形处理。

GPU与CPU不同。从传统意义上来说,CPU作为一个通用处理器而存在,可以全面承担调度、计算和控制任务。

GPU的内核更小、更专用,例如在图像渲染中涉及大量的矩阵乘法和卷积运算,为了满足计算负载要求,GPU拥有CPU所不具备的大规模并行计算架构。根据NVIDIA公司官网的描述,CPU和GPU的区别见表2。

表2

(1)始于1985年,从VPU到GPU。

最早的图形处理器是1985年ATI公司(2006年被AMD公司收购)发布的一款芯片。当时,ATI公司并未将其命名为GPU,而是叫VPU(【【微信】】,视频处理器),直到AMD公司收购ATI公司,它们的产品名称才更改为GPU。

图3所示为ATI公司于1986年发布的CW16800-A图形处理器产品。

图3

“GPU”这个名字实际上来源于1999年NVIDIA公司将其发布的GeForce 256命名为GPU。随着NVIDIA公司的发展,GPU也与图形处理器概念等同,成了现代计算芯片的一大类型。

图4所示为NVIDIA公司的【【微信】】的照片。

图4

虽然GPU是为图像处理而生的,但深度学习的计算类型和图形渲染有很多的共通点。在图形渲染中,芯片需要不停地计算移动对象的轨迹,这需要大量的并行数学运算,而机器学习/深度学习涉及大量的矩阵/张量运算。因此,GPU的并行处理架构也能够很好地满足AI计算的要求。

(2)2006年,跨时代的计算平台CUDA。

仅有芯片层面的配置是不够的,软件接口的适配及生态的构建也非常重要。这就不得不提到统一计算设备架构(Compute Unified De【【微信】】,CUDA)。

2006年,NVIDIA公司首次推出CUDA。从这个词组本身的设计上可以看出,CUDA的最初开发人员是希望CUDA能成为不同平台之间的统一计算接口。

到目前为止,CUDA已经成为连接NVIDIA公司所有产品线的通用平台,上面沉淀了非常全面的API和算法框架库。

因此,CUDA生态成了NVIDIA公司面对其他GPU厂商时,最大的竞争优势之一。

那么,是不是所有的训练任务都只能够由NVIDIA公司的GPU来做?

虽然目前NVIDIA公司的GPU是训练芯片的主流选择,但答案是否定的,就像在本文开头ChatGPT的回答:“OpenAI并不固定使用某一种芯片,而是根据模型训练的具体需求,选择适当的计算平台”。

这里尝试使用表3来阐释训练芯片的选择。

表3

3.云端推理芯片:与云端的ChatGPT对话

按照AI芯片的分类,我们使用AIGC应用的过程本质上是一个推理过程。例如,在与ChatGPT对话时,我们输入一句话,这句话经过算法的运算,输出一个结果,这就是我们看到的回答。

因此,人们在使用ChatGPT这种AIGC应用(推理)时,理论上,对芯片的性能要求不需要像训练那么高。

以当前ChatGPT的应用场景为例,目前ChatGPT运行在云端,用户每一次与它对话都是一次推理过程。这个过程目前运行在OpenAI的计算集群――【【微信】】超算平台上,这是微软在2020年开发者大会上公布的拥有28.5万个CPU核心、1万个GPU,每个GPU拥有400Gb/s网络带宽的超级计算机。

虽然推理对算力的要求比训练稍低,但需要的算力资源仍然非常夸张。不过,由于两者计算的实质不同,训练本身类似于大力出奇迹,而推理是一个应用的过程,因此推理更容易被优化和加速。未来,AIGC应用所需的云端推理资源将会大幅降低。

4.端侧推理芯片:从云端芯片到终端芯片

目前,我们还不能在端侧运行ChatGPT这样的LLM,原因有以下几个方面:

第一,ChatGPT本身仍然在迭代,并且对话者输入的文字也是它迭代的原料。

第二,作为一个新模型,ChatGPT对于在终端部署的优化不足(这非常好理解,现阶段这也不是重点),导致对终端芯片的要求过高(主要是内存空间)。

随着LLM的进一步完善,未来我们有可能将它下载到终端,用终端的计算资源来运行,这样就可以实现离线运算。经过优化后的ChatGPT算法,对终端芯片的性能要求可能不会特别高。PC芯片,无论是Intel的还是Apple的M系列芯片,都可以承担这样的推理任务。

图5所示为Intel的酷睿处理器。

图5

随着AIGC应用逐渐成熟,成本进一步降低,它与IoT场景的结合将会进一步深入。

一方面,我们可以基于PC和手机,在云端使用各种各样的AIGC应用。在这个场景中,模型有可能离线运行在本地,也有可能采用本地+网络结合的方式运行。

另一方面,基于LLM衍生出来的针对特定场景的小模型可能会有意想不到的应用。笔者猜想,在扫地机、智能机器人、智能音箱等我们熟悉的智能终端中,都有可能应用到LLM的衍生模型,那我们有可能看到在未来会有越来越多的终端芯片需要提高对AI算法的支持性。与资金门槛和技术门槛极高的云端芯片相比,终端芯片普及的趋势将会给更多的芯片公司带来机会。

3

随着AIGC的发展,对芯片会有什么新的需求

1.摩尔定律和安迪-比尔定律:基础算力提高和负载算力节约

芯片界有两个很有意思的定律,即摩尔定律和安迪-比尔定律。

前者是指集成电路上可容纳的晶体管数目约每18个月便会增加一倍。

后者来源于20世纪90年代计算机会议上的一个小笑话,“安迪给的,比尔就会拿走”,安迪是Intel的前任CEO安迪・葛洛夫,比尔是微软的CEO比尔・盖茨。这句话的意思是新的软件总会耗尽硬件所提高的计算能力。

因此,云端芯片的计算能力将会继续提高,展现方式可能是现有硅基芯片的继续迭代,也有可能是存算一体、光计算、量子计算的突破。

由于芯片的成本过高,软件侧和硬件侧都会努力降低对算力的需求。我们已经看到类似的事情在不断发生:在硬件侧,例如谷歌针对神经网络计算开发了名为TPU的专用芯片,其在特定场景下的运行成本大幅低于同等性能的GPU;在软件侧,ChatGPT作为一个对话模型,是专门为聊天而设计的,而GPT-3是一个大型通用语言模型。

目前,OpenAI并未公布ChatGPT的参数规模,但我们可以从ChatGPT的兄弟模型――InstructGPT上观察到软件优化对计算资源的节省。

图6展示了InstructGPT和GPT-3参数规模的区别。

(a) (b)

图7-6

在对话场景中,InstructGPT 仅使用了精选的 13 亿个参数[如图6(a)所示]就达到了与GPT-3使用千亿个量级的参数[如图6(b)所示])结果相当甚至更好的回复质量。这意味着精选数据质量,深挖Transformer模型,将会有巨大的降本潜力。

在我们可见的未来,基础算力的提高和负载资源的节约将会同时发生,而两者究竟会擦出什么样的火花,十分值得期待。

2.成本降低迫在眉睫

虽然ChatGPT一炮而红,但是其高昂的运营成本是其大规模产业化应用的最大障碍之一。

业界已经充分关注到了ChatGPT的成本问题,并提出各个方向的优化措施:①硬件侧:NVIDIA公司的A100的升级版H100显卡能提供更高性价比的算力;Intel在【【微信】】大会上公布的新款云端AI专用芯片Habana Gaudi 2和Greco,有可能针对OpenAI的场景做了特质化加速。②软件侧:以Colossal-AI(潞晨科技的AI大模型开发系统)为例,其宣称能使Stable Diffusion模型的显存消耗降低至之前的1/46。

本文节选自《一本书读懂AIGC:ChatGPT、AI绘画、智能文明与生产力变革》一书。

ChatGPT会让我们失业吗?

这些AIGC工具能给我们的工作和生活带来什么变化?

什么是人们热议的AIGC?

在AIGC时代,我们如何应对?

欢迎阅读本书系统地了解AIGC!



自动答题问卷系统了解吗? 自动答题问卷系统+软件开发系统代理+ChatGPT运用+海外问卷调查答题软件,代理模式

自动答题app有哪些,自动答题器怎么使用,自动答题原理,自动答题代码怎么输入

自动答题问卷系统了解吗? 自动答题问卷系统+软件开发系统代理+ChatGPT运用+海外问卷调查答题软件,代理模式

前文引言:

微三云微信公众号平台开发 凭借极具竞争力的技术能力和成熟的各种微信开发解决方案,为客户提供集成性强、扩展能力强、可维护性高和维护成本低的各类为官网、微商城、微分销等系统解决方案  小程序应用场景 电子商务零售,餐饮,服务,教育,家居等全行业电子商务应用,拼团应用场景,抢购促销应用场景。  资讯展示基于CMS 内容管理系统,结合微信小程序构建小程序端资展示系统,随时随地获取各种行业资讯、产品资讯。 新零售商城通过小程序实现线上和线下结合,线上引流线下消费,结合线上支付下单,为实体商店带来流量和销量。 预约服务利用小程序的预约和服务功能为各类服务性质企业和商家带来源源不断的流量和销量。 社交应用基于小程序展示平台,构建如 LBS,SNS+企业服务等新型社交类应用程序,打造用户活跃度和粘性。 微三云提供思购臻选秒杀模式、美丽天天秒链动 2+1奖励模式,全民拼购模模式、社交盲盒系统,盲盒社交电商系统、秒杀拼购系统、预售拼购模式、拼商抽奖模式、广告电商模式分销系统,泰山众筹模式,共享购模式系统,分享购模式系统,太爱速 m 秒杀寄售模式, 独立源码商城, 可申请软著,可二次开发,无限分销,团队奖励,透明分销体系,强力吸引分销商,强关系快速引流。强大的后台管理功能更完善。 自动分佣, 裂变传播。

一、海外问卷项目背景:

国外企业在研发新产品或对老产品进行更新迭代时,会通过发布有偿问卷的形式对产品相关数据进行调查,来了解市场对于产品的认可度与需求度,从而帮助企业研发出更符合市场需求的产品。参与调研即有机会获得企业给出的酬劳,一般是5 -500美金不等 。而我们项目所做的就是参与这些国外企业所发布的有偿调研,获取这些企业的报酬 。在国外,除了企业会发布问卷了解民意外, 政府 、 学校等机构一样 会发布问卷从而更好了解民意 。而我们项目主要参与企业类的有偿问卷调查,赚取酬劳。整体来说,海外问卷调查项目可以理解为薅海外企业羊毛的项 目 。对我们而言, 更像是一个搬砖项目 ,所以 需要你有耐心,有想要赚钱的决心 。不然在这个行业中 可能你只是昙花一现 。不需要会英语,浏览器自带翻译或使用翻译软件即可操作。

二、海外问卷具体应该怎么操作

1、搭建网络环境

2、找题、答题

如果想要获得国外企业的报酬 , 找到他们所发布的问卷是一件zui基础的事情 , 如果你连问卷题目不到 ,答题也就成了空谈。巧妇难为无米之炊。

注意事项:

我们有自研的题库系统 ,目前题库题 目总量已破十万 ,与我们合作 ,您只需要刷题、 答题即可;省去您找题所费的时间 ,对于这个项目而言 ,时间就是金钱 。很多做这个项 目赚钱少的原因就是花了大量时间去找题 ,无法提升做题效率。

3、下卡、兑换

当我们问卷被企业采纳后 ,企业所给的报酬并非是直接以美金的形式直接发放 ,而是以亚马逊礼品卡的形式发放到你的邮箱 ,zui终将卡兑换成人民币即可。

 

三、我们的优势是什么

1、全国、首家智能化答题系统

现在市场上问卷调查人工答题一天八小时zui多能做80-100套题,我们问卷系统实现智能化答题,一天答题量可以达到500套题以上,通过量变实现我们的收益的质变。

2、答题智能系统释放人工

目前问卷调查人工手动一个人只能做一台电脑,通过智能问卷系统可实现一人超控两台电脑同时答题。

提供独、家题库

独、家题库,专人筛选题目,省去筛题时间,你只需登录系统答题即可,保姆式服务,省心省力。

3、培训及售后

完整的培训流程,让你轻松上手开启赚钱之路,强大的售后能力,让你任何时候无忧。

四、常见问题解答--项目性质疑问解答

1、什么样的人适合做问卷调查?

答:有主页,想做一份副业的人,有强烈赚钱欲望的人,有创业想法的人,都可以做这个项目,无论任何事情必须要抱有坚持的心态与坚定的信心,才能做好,如果急于求成,想着大富大贵,必定不适合该项目。

2、这个项目包赚钱回本?

答:首先我们并非理财类项目,不承诺包赚钱包回本,读书有成绩好的,有成绩不好的,具体能否赚钱取决于你的努力,更取决于你的信心与心态,项目zui初我们介绍的很清楚,我们项目类似于搬砖项目。熟练后一个月赚一万到两万之间,如果你是没有耐心,没有坚持人,或者报有大富大贵心态人,这个项目一定不适合你。这个项目的特点是多劳多得。

3、和我们合作如何保障服务

答:在合作期间您关于合作问题都可以找我们,我们都会进行解答,我们承诺绝不割韭菜,有问必答。

4、这个项目具体操作难不难

答:项目从入行角度来说,只需你会打字,会读题即可,zui难的还是心态,因为搬砖项目,多劳多得,需要付出时间精力,去学习,去熟练操作流程,熟能生巧大概周期为半个月到一个月,从小白到熟手,认真操作半个月,您就不觉得难了。

5、这个项目能赚钱为什么你们不自己做

答:我们公司自己也有自己的答题团队,我们发现该项目存在轻量化、可复制、题目不限的优势,zui终决定把项目进行招商放大,让大家一起来分享这个市场,题目每天都有,而且只要企业还在,就永远答不完的题。

6、行业目前竞争大吗?

答:行业整体来说不存在竞争,因为市场足够大,不仅仅是我们中国在做海外问卷调查,很多其他国家也存在这个行业,所以不仅仅是我们再赚美元,很多其他的低汇率国家也在从事,但是每家企业每月可产生几十上百份问卷,市场可想而知。目前其它国家从事这个行业的人并不多,市场从业zui多的还是国内。

7、国内问卷与国外问卷有什么区别?

答:国内问卷一般都是无偿形式,对于我们没有收益,海外问卷的优点在于都是有偿性质,而且都是美金结算,与我们中国存在汇率差,美国人对于5美元与中国对待5元人民币在感官上没有任何区别,但是5美元可根据汇率差兑换几倍的人民币

8、这个项目具体操作难不难?

答:不难,浏览器自带翻译,如果不能翻译的,可用有道词典截图翻译即可,很多人听到国外二字,就觉得这个项目很难,也正因如此,很多人在听到这个项目的时候就已经先否定了,没有真正的去了解,让自己错失一个良机,其实项目非常的简单易上手,zui难的是你赚钱的决心和有没有做好的信心。

 

五、市场分析

(一)适合做海外问卷调查的用户群体

第一类 不墨守成规进企业

随着时代发展,90后00后成为社会发展主力军,90后与00后都是敢于挑战新事物勇于创新,不墨守成规的一代。进企业上班,做着日复一日的工作,并不适合每一位90后,00后一份自由职业则成为他们的独立选择,海外问卷调查项目,即可赚取丰厚报酬。也可合理自有安排自己的时间,工作生活两不误。

第二类 做兼职副业赚钱

根据相关部门统计,中国中低收入一下群体占比高达把87.1%,在疫情时代下面临房贷车贷家庭开支等压力下,增加副业收入成为了人们不得不面临的问题,海外问卷调查是个完全有可能副业收入超过主业收入项目,实现再收入的机会。

第三类 想创业但缺乏项目

对一直在创业路上奔跑的你,是否也有过迷茫不知所措的时候,是否也有过项目发展面临转型困扰,海外问卷调查项目,与我们合作,总部可扶持项目落地,帮您解决项目难题。

(二)市场当前环境

1、存在时间久

海文问卷项目在国内存在已经几十年了之前名字叫做口子差第一批做还问卷项目的基本都是装的不菲的身价是一个完全值得信赖并且未来可持续发展的行业。

2、项目落地看得见

我们将用我们的实际行动,带领我们的用户看到切实的结果,我们始终坚定用事实说话的说真理,欢迎用户上门考察实地,勘察,让用户确实看到我们不是纸上谈兵,网上有不少行业相关资料,欢迎各位查阅了解,

3、市场前景打大

之前从事这个行业的人非常少,但自疫情爆发以来。国外企业发布问卷调查,都是从线下转移到互联网,是随之而来的便是互联网行业爆发式增长,据不完全统计,在2020年美国问卷发放佣金高达600亿美元,2021年突破900亿美元,2022年不会低于千亿,千亿美金,你我一起瓜分。

4、从业人数少,蓝海市场

目前从事这个行业的人不过几万人,这两年正式开始进入蓬勃发展,预计国内从事这个行业的人员可容纳zui少50万人,无论选择在此行业兼职做副业还是选择在该领域创业都大有可为。

(三)市场前景

20%的增长

据统计美国企业从过去通过互联网发布统计的占比,只占企业总和的57%。

受疫情影响,过去线下调研基本全部转为线上,2020年今年线上占比68%,2021年75%,2022年预计将会超过80%。

突破千亿

随着问卷调查行业逐步转战线上,随之而来的则是问卷奖励金额的提升,据不完全统计2020年美国企业发放问卷佣金超过600亿美元,2021到达900亿美元,2022年将会突破千亿。

新就业机会

可带动就业,帮助更多想做自由职业的人,提供一个全新的选择,90后与00后,很多不按部就班。2022年前,从事该行的人数不足5万,2022年该行业人数向的十万稳步迸发。

拓展阅读:

移动互联时代,人们的购物目的与意义已经在悄然改变,在生活互联网化的今天,零售也必须要互联网化。 微三云科技结合企业实际情况,运用新零售模式,借助第三方平台端口:分销商城、微信公众号、小程序、APP,以消费者体验为核心,思购臻选秒杀模式、美丽天天秒链动 2+1 奖励模式,泰山众筹模式,太爱速 m秒杀寄售模式,全民拼购模模式、社交盲盒系统,盲盒社交电商系统、秒杀拼购系统、预售拼购模式、拼商抽奖模式、广告电商模式等新模式营销模式创新为动力的全方位购物体验,帮助消费者实现随时随地买到物美价廉的商品。 微三云是一家致力于为广大用户提供数智化服务的专业公司。“用专业的数智化解决方案,让平台营销更有效,用户分享更有价值,给全体客户 安全的系统”为使命,以“成为国内百年、品牌、数智化领域翘楚”为愿景,认真践行“诚信、专业、创新、精进、利他”的核心价值观。公司自成立之日起,就与众多软件开发同行保持着紧密的合作关系,拥有一批资、深的用友产品实施应用和服务专家,通过提供满意的信息化服务,为客户创造价值。公司拥有专业化的软件开发、销售和实施服务队伍,满足不同行业、不同规模企业对信息化的需求。公司全体同仁感谢您对我们的关注,并期待着与您的合作!