庆云古诗词

庆云古诗词

ai服务器算力级别 全新架构提升ai算力

互联资讯 0

2023年11月20日 每日一猜答案: 答案:ABC
每日一猜答案分析:

ai服务器有什么用,ai服务器排名,ai 服务,ai服务器市场规模

本文来自格隆汇专栏:中金研究,作者:彭虎 薛辉蓉 朱镜榆

我们初步量化测算了ChatGPT对算力、存储量的影响。而考虑到近期OpenAI公司推出GPT-4多模态大模型、国内互联网厂商加速推进AI大模型布局以及AI插件应用快速放量,本篇报告旨在进一步量化测算AI云端算力的增量市场,并首次提出AI服务器产业链全景研究框架,展望算力行业发展趋势。

摘要

1.AI云端算力市场规模的测算:我们预计2023~2025年训练型和推理型AI加速芯片可实现的增量市场规模分别为72亿美元和168亿美元,对应服务器的出货增量分别为7.5万台和17.5万台,对应服务器的市场规模分别为149亿美元和348亿美元。考虑到AI应用的持续推广和活跃用户数的大幅提升,长期来看,我们认为推理型AI加速芯片和推理型服务器仍有望保持高增长。

2.AI服务器产业链拆解:AI服务器核心组件按价值量由高到低依次为GPU、DRAM、SSD、CPU、网卡、PCB、高速互联芯片和散热模组等,按7.5万台训练型和17.5万台推理型服务器测算,对应市场规模分别为240亿美元、88亿美元、48亿美元、34亿美元、5亿美元、3亿美元、2.5亿美元和1.5亿美元。相较普通双路服务器,我们测算AI服务器核心器件单机价值量提升倍数由高到低依次为GPU(24x)、DRAM(5.3x)、板内互联接口芯片(3.3x)、电源管理(3x)、散热(3x)、PCB(2.4x)、网卡(2.2x)和SSD(2x)。

3.我们认为未来AI算力领域呈现三点发展趋势:(1)需求端:从GPT-4仅5个月内就实现对GPT-3.5的迭代并推广上市来看,我们认为图片和视频类AIGC应用的成熟节奏在加快,将推动算力加速升级。(2)供给端:算力升级背后是更高的硬件资本支出,未来HBM/存算一体等新技术有望降低算力成本,伴随而来的是新市场的高速增长,例如美光预计全球HBM市场有望从2021年10亿美元提升至2025年70亿美元;(3)除云端算力外,我们认为AI将带来消费类硬件终端的投资机会,建议重点关注算力芯片、射频通信芯片、摄像头等功能芯片,以及PCB、电子元器件和功能件等。

风险

AI算法技术及应用落地进展不及预期;算力增量市场测算假设发生变化。

AI浪潮之巅:新一轮科技革命

自2022年下半年以来AIGC(AI-Generated Content,人工智能生成内容)实现技术和产业端的快速发展。2022年10月,初创企业Stability AI发布开源模型Stable Diffusion,可以根据提示词实现文生图的功能;2022年11月,OpenAI(成立于2015年)发布ChatGPT,将大型语言生成模型和人机对话推向新高度。除初创型企业之外,全球各大科技企业、包括互联网云计算大厂也都积极拥抱AIGC。

AIGC主要依赖大模型,如Transformer、BERT、GPT系列等,通常包含数十亿至数万亿个参数,需要庞大的数据集进行训练,AI算力需求指数级增长。以OpenAI GPT系列的版本演进为例,从GPT-1(2018.06)到GPT-2(2019.02)、GPT-3(2020.05)、GPT-3.5(2022.11)、GPT-4(2023.03),参数量和语料库持续升级。未来,随着大模型走向多模态,即结合图像、语音、文本等多种数据类型的学习,AIGC技术和应用还有望持续快速发展。

图表1:AIGC产业生态体系的三层架构(左)和典型的AI预训练模型(右)

资料来源:IDC,腾讯研究院《AIGC发展趋势报告2023》,中金公司研究部

AI时代数据和算力都是巨量的。英伟达高性能AI系统DGX H100为16PFLOPS FP16,32个DGX H100系统构成的DGX SuperPOD集群为1【【微信】】,相当于千亿台PC算力集合。通用算力用于常规应用,计算量小,只消耗少量算力;而HPC(高性能计算)和AI(人工智能)要调用大量计算资源。因此,我们认为2023年有望成为AI算力需求升级的重要拐点。

AI云端算力占主要需求,未来边缘侧AI算力需求也有望高增长。云端是指利用数据中心的强大算力,对海量数据进行大模型训练和推理;边缘侧是在终端设备上利用训练好的模型进行推理,进而开发丰富多样的应用类型。GPT-4多模态大模型在各种专业和学术基准上已具备与人类水平相当表,未来有望赋能垂直应用,包括但不限于自然语言生成、图像生成、视频生成、音乐生成、艺术创作等领域。Stability AI CEO表示,随着GPU和算力的提升,其开发的Stable Disffusion多模态大模型可能一年之内就能在智能手机上运行,未来新技术也将在更多低价的设备上进行训练,AI推动的创意快速涌现。

互联网云厂商是目前AI云端算力的主要需求方。OpenAI使用多个云计算提供商的服务来支持GPT的训练和推理,包括亚马逊AWS、谷歌云、微软Azure和IBM云(根据ChatGPT回答)。Trendforce预估2022年搭载GPGPU的AI 服务器年出货量约13万台,占整体服务器采购量的1%。其中,互联网大厂是核心采购来源方。

图表2:2022年全球AI服务器和整体出货量对比

资料来源:TrendForce,中金公司研究部

图表3:AI服务器需求分布(2021年)

资料来源:TrendForce,中金公司研究部

考虑到近期OpenAI公司推出GPT-4多模态大模型、国内互联网厂商加速推进AI大模型布局以及AI插件应用快速放量,本篇报告旨在进一步量化测算AI云端算力的增量市场,并首次提出AI服务器产业链全景研究框架,展望算力行业发展趋势。

量化分析:加速芯片和服务器市场显著增长

AI计算由云端和边缘端两部分构成。从商用成熟的节奏上,我们认为云端的模型训练和推理先行,然后是边缘端的算力升级;从算力需求规模看,根据华为,边缘算力将大于中心算力。本篇报告基于商用节奏和业务兑现确定性的考虑,重点量化云端算力需求。

在AI云端场景下,运算对象是大量的类型统一的数据,以并行运算为主,算力衡量指标为每秒浮点运算数FLOPS,典型的硬件芯片代表是GPU(图形处理器),此外还包括NPU、DPU等;而常见的CPU(中央处理器)由于计算单元只占小部分,大量空间放置存储和控制单元,并行计算能力上很受限制,算力衡量指标为每秒钟可执行操作数OPS。

云端计算包括训练和推理两个过程,首先是对模型的训练,然后用训练出的模型进行推理。我们尝试测算两个过程的算力资源需求,并提出以下模型和假设条件:

? 训练:属于非实时业务,所耗时间可能数天也可能数月,具体取决于模型参数量的多少和算力芯片性能的高低,因此在算力芯片和服务器的投入上,属于用户对阶段性模型训练需求的一次性成本。在具体测算过程中,我们给出4点假设:①典型AI厂商单一大模型训练所需的算力投入,分保守、中性和乐观三种情景;②具有大模型训练需求的龙头AI厂商的数量;③假设龙头厂商占据模型训练训练80%的算力需求;④参考英伟达DGX A100/H100系统配置,假设每台服务器配置8张GPU;

? 推理:属于实时业务,需要响应客户端触发的实际需求,算力需求取决于活跃用户数和设计并发数的级别,因此算力芯片和服务器的投入,会随着模型的商用流行度以及吸引的活跃用户数持续增加。在具体测算过程中,考虑到大模型的应用生态需要一段时间才能成熟,我们区分短期(3年内)和长期(5年左右)两种情景,并给出3点假设:①活跃用户数及其带来的最大并发处理次数,分保守、中性和乐观三种情景;②单Query所需Token数量和单Token所需时间;③容忍延时;④参考英伟达DGX A100/H100系统配置,假设每台服务器配置8张GPU。

我们认为,以上假设条件中的关键变量会随着GPT模型的升级和应用的普及而持续高增长。自2023年2月以来,GPT的热度持续提高:

2023年2月初微软于将GPT嵌入Bing,根据Data.ai最新数据,嵌入GPT后Bing的app下载量增长近8倍);3月14日OpenAI发布ChatGPT升级版,根据官网介绍,该升级版集成的GPT-4是一个大型多模态模型,相较于上一代,其输入既可以是文字,也可以是图像;3月16日中国互联网大厂百度正式发布文心一言,对标ChatGPT;3月23日OpenAI宣布为GPT引入插件,首批包括13个第三方插件和2个自有插件,功能覆盖衣食住行、工作和学习等多领域,至此OpenAI在GPT应用侧再下一城。

我们认为以上积极催化并非一时现象,后续随着大模型、终端应用和产业生态的逐步成熟,一方面,参与大模型训练和推理的厂商数量将持续增长,从Tier-1到Tier-2云厂商,再到运营商、金融客户和汽车客户等等;另一方面,模型本身的参数量、用户访问量也有望显著提升;如果更进一步地考虑到各厂商之间的算力竞争,以及用户大幅增长之后产生的访问并发问题,硬件端芯片和服务器的采购需求也会大幅增长。

因此,基于以上算力模型和假设条件,以英伟达A100 GPU等效算力为基准,我们对AI云端算力市场的测算结果如下(2023~2025年合计实现的增量):训练型AI加速芯片需求增量为60万张,对应市场规模为72亿美元,训练型服务器需求增量为7.5万台,对应市场规模为149亿美元;推理型AI加速芯片需求增量为140万张,对应市场规模为168亿美元,推理型服务器需求增量为17.5万台,对应市场规模为348亿美元。更长期而言,考虑到AI应用的推广和活跃用户数的大幅提升,推理型AI加速芯片和服务器市场规模仍有望保持高增长。

图表4:AI云端GPU及其他加速卡芯片、对应服务器增量市场规模测算

注:表格中服务器台数仅基于英伟达A100等效算力测算,不代表中长期实际出货台数

资料来源:英伟达,中金公司研究部

我们认为未来AI算力领域未来呈现三点发展趋势:(1)需求端:从GPT-4仅5个月内就实现对GPT-3.5的迭代并推广上市来看,我们认为图片和视频类AIGC应用的成熟节奏在加快,将推动算力加速升级。2)供给端:算力升级背后是更高的硬件资本支出,未来HBM/存算一体等新技术有望降低算力成本,伴随而来的是新市场的高速增长,例如美光预计全球HBM市场有望从2021年10亿美元提升至2025年70亿美元;(3)除云端算力外,我们认为AI将带来消费类硬件终端的投资机会,建议重点关注算力芯片、射频通信芯片、摄像头等功能芯片,以及PCB、电子元器件和功能件等。

图表5:供给侧,新技术赋能产品迭代,以英伟达产品矩阵为例,H100峰值计算吞吐量约A100的6倍

资料来源:英伟达官网

国产AI云端训练和推理芯片厂商参与者众多,大部分涌现于2017年以后。(1)华为Atlas 300T训练卡(型号9000)基于N腾910 AI芯片,单卡算力280TFLOPS FP16;(2)寒武纪思元370单卡算力256TOPS INT8,是第二代产品思元270算力的2倍;(3)百度昆仑芯2代AI芯片单卡算力为256TOPS INT8 / 128TFLOPS FP16;(4)海光DCU的优势则体现在生态兼容性,其ROCm GPU的计算生态和英伟达CUDA[1]高度相似,被称为“类CUDA”,有利于用户可快速迁移,2022年海光深算一号DCU已商业化应用,深算二号正在研发中。

图表6:AI芯片国产厂商梳理(截至2022年10月)

资料来源:海光信息招股说明书,中金公司研究部

图表7:AI芯片国产厂商梳理

资料来源:Wind,Jon Peddie Research,中金公司研究部

AI服务器竞争格局方面,当前互联网云计算厂商的白牌服务器占主导,未来随着边缘侧应用的成熟,品牌服务器厂商份额也有望提升。AI服务器分为品牌和白牌两类。所谓白牌,是由互联网云计算大厂在云计算的规模效应下,与传统的服务器代工厂EMS企业合作开发定制化的“白牌”服务器;所谓品牌,是由专门的服务器厂商开发的面向企业、政府、运营商和金融等销售的通用型服务器。2021年全球白牌服务器市场,鸿海以43%的份额位列行业第一,前五大厂商均为中国*厂商,合计份额为93.4%,排名第二至第五的依次为广达(17%)、纬创(14%)、英业达(12.8%)和美超微(7.6%);2021年全球AI服务器品牌市场,浪潮信息以20.9%的份额位列第一,排名第二至第五依次为戴尔(13%)、HPE(9.2%)、联想(5.8%)和IBM(4.1%);国内AI服务器市场,浪潮以52.4%的份额位列行业第一,排名第二至第五的依次为宁畅(7.9%)、新华三(7.8%)、华为(7.7%)和安擎(6.8%)。

图表8:不同商业模式服务器厂商竞争格局

资料来源:各公司官网,IDC,TrendForce,Digitimes Research,中金公司研究部

产业链解析:计算、存储和传输,算力水桶的三块木板

AI服务器核心组件按价值量由高到低依次为GPU(图形处理器)、DRAM(动态随机存取存储器)、SSD(固态硬盘)和RAID卡、CPU(中央处理器)、网卡、PCB、高速互联芯片(板内)和散热模组等,按如上25万台训练和推理服务器合计量测算,市场规模分别为240亿美元、88亿美元、48亿美元、34亿美元、5亿美元、3亿美元、2.5亿美元和1.5亿美元。相较普通双路服务器,我们测算AI服务器核心器件单机价值量提升倍数由高到低依次为GPU(24x)、DRAM(5.3x)、板内互联接口芯片(3.3x)、电源管理(3x)、散热(3x)、PCB(2.4x)、网卡(2.2x)和SSD(2x)。

图表9:普通和AI服务器价值量拆解及对比、AI服务器不同出货量假设下各环节的市场规模测算

注:普通服务器不存在明确的产品界定,为与英伟达DGX A100系统合理比较,我们假设普通服务器采用与A100同等规格的CPU配置,按照CPU占整机成本36%假设,据此推算服务器单机价值量约4万美元 资料来源:IDC,英伟达,中金公司研究部

图表10:服务器产业链

资料来源:Wind,腾讯研究院《AIGC发展趋势报告2023》,中金公司研究部

CPU:AI服务器中占比降低,但平台持续迭代

CPU负责数据的处理和运算,围绕微架构和制造工艺持续升级换代。2022在Intel占据全球服务器CPU 70%以上的市场份额。根据Intel产品路线规划图,通常每2~3年进行一次产品迭代,新产品价格提升空间约30%;且新产品商用速度快,我们认为上市后有望实现50%以上的老产品替代。从Intel数据中心(DCG)业务收入来看,通常新产品上市会带动相关业务持续2~3个季度的高增长。

CPU平台升级带动服务器主板和其他配件同步换代,Intel在服务器市场历史积累深厚,因此短期来看,Intel服务器CPU平台的升级,是影响服务器硬件产业链周期性变化的关键因素。主板方面,包括PCIe总线、内存、GPU和SSD。CPU内部集成PCIe控制器和内存控制器,PCIe总线点对点连接CPU与各类高速设备,包括GPU、SSD和网卡等,伴随PCIe升级至5.0,新一代CPU平台产品将兼容PCIe5.0标准,带动各类高速设备同步升级;而内存将从DDR4型号升级至DDR5,相关厂商或将逐步进入量产阶段。

Intel以Xeon为品牌名称持续推出系列产品,形成平台、子代和具体型号的递进关系:如已经推出Brickland、Grantley、和【【微信】】和Whitley平台;每代平台产品有多个子代,视CPU架构、工艺、PCIe控制器和内存控制器的不同而有差异:例如,自2017年7月规模商用的【【微信】】平台包括SkyLake和CascadeLake两代;各个子代拥有多种型号名称,2017年【【微信】】平台将产品型号命名方式由此前连续使用四代的E7/E5变为“至强可扩展处理器(Intel Xeon Scalable Processor,SP)”。新一代Eagle Stream平台规划于2021年发布,但实际有所延期(根据深南电路0029.16.SZ公告)[2],我们认为2023年Eagle Stream平台有望进入规模商用阶段。

图表11:Intel服务器CPU平台及产品升级规划

资料来源:英特尔官网,中金公司研究部

市场竞争格局方面,服务器CPU架构包括X86、ARM和MIPS等,x86为当前服务器CPU主流架构,几乎占据目前服务器全部市场份额,代表性厂商为Intel和AMD,2022年市占率分别为71%和20%。长期来看,一方面,AMD在X86架构下产品进度势如破竹;另一方面,ARM架构有望发挥在移动端市场的份额优势,借力端/云协同,抢占服务器市场更多份额。

存储:容量大幅提升,HBM等新技术快速发展

内存(DRAM)和硬盘(NAND为核心成本)是服务器存储的功能模块,美光预计到2025年服务器DRAM和NAND需求相较2021年分别实现2倍和3倍提升,而AI服务器DRAM和NAND容量是普通服务器的8倍和3倍。根据美光官网测算,数据中心整体存储需求约占存储总市场的31%,2021年数据中心DRAM和NAND分别约300亿美元和200亿美元,预计到2025年分别增长至500亿美元和300亿美元,预计到2030年分别增长至1000亿美元和700亿美元,2021年~2025年合计CAGR为14%。

图表12:服务器和数据中心存储容量的升级趋势

资料来源:美光官网,中金公司研究部

内存:容量约6~8倍提升,HBM市场显著增长

AI服务器中CPU和GPU协同工作,由于GPU比CPU拥有更多的算术逻辑单元,可以更好地发挥并行计算的优势,AI服务器中主要由GPU进行模型训练。在该协同工作模式下,CPU、GPU和DRAM之间的通信方式为:第一步,将输入数据从系统内存拷贝到显存,第二步,CPU指示GPU处理数据,第三步,GPU并行完成一系列计算,第四步,将计算结果从显存拷贝到内存。

图表13:AI服务器模型训练示意图

资料来源:英伟达官网,中金公司研究部

由于训练需要存储中间激活,通常会比参数数量增加数倍内存,美光认为AI服务器的DRAM容量是普通服务器的8倍。内存DRAM可以分为DDR系列、GPDDR系列、LPDDR系列和HBM系列等:DDR为普通DRAM,主要用于普通PC;GPDDR是一种与GPU同时使用随机存取存储器,主要用于高带宽需求计算机;LPDDR主要用于便携设备。HBM(高带宽存储)显存是一种适用于高性能和AI训练计算的新型内存芯片,通过硅通孔技术进行芯片堆叠,并与GPU位于同一物理封装内,可节省能耗和占用空间,便于在系统中安装更多GPU。

图表14:传统显存GDDR和HBM的区别(左)、HBM的原理示意图(右)

资料来源:SK Hynix官网,英伟达官网,中金公司研究部

传统DDR系列围绕传输速率和运行效能持续升级,但由于市场需求量大、且产品相对标准化,行业价格具有一定的周期性,并且呈现寡头垄断的竞争格局。目前DDR和DDR2已逐渐被淘汰,较为常见的技术架构是DDR3、DDR4和LPDDR系列,同时行业内各大厂商正致力于DDR5的研发、量产和上市。根据IC Insights数据,自2013年DRAM市场规模总体上升,2022年全球DRAM市场规模达794.7亿美元,占存储市场56%。从行业周期性看,DRAM价格已相对稳定。

图表15:2021年DRAM各厂商市场份额

资料来源:IC Insights,中金公司研究部

图表16:2016.01~2023.02内存价格指数变化

资料来源:中国产业信息网,中金公司研究部

不同与内存模组,内存接口芯片领域中国厂商具备显著的全球竞争优势。澜起科技是全球可以提供DDR5第一子代的量产产品的三大厂商之一,另两个分别是瑞萨电子和Rambus。内存接口芯片是服务器内存模组的核心逻辑器件,作为服务器CPU存取内存数据的必由通路,主要作用是提升内存数据访问的速度及稳定性。2016年来服务器内存接口芯片市场规模快速增长,预计2022年为7.2亿美元,预计到2025年增长至14.6亿美元(根据澜起科技公告)。为了满足不断增长的AI处理对更高带宽、更高容量内存模组需求,JEDEC目前正在制定服务器MCR内存模组[3]相关技术标准,可提供双倍带宽,第一代产品最高支持8800MT/s速率,JEDEC指引在DDR5世代还会有两至三代更高速率的产品。澜起科技是全球可提供从DDR2到DDR5内存全缓冲/半缓冲完整解决方案的主要供应商之一,是全球微电子行业标准制定机构JEDEC固态技术协会的董事会成员之一,深度参与相关产品的标准制定。2022年5月,公司在业界率先试产DDR5第二子代RCD芯片。根据美光,DDR5在1Q22、4Q22渗透率分别为1%和11%,预计到4Q23有望达到50%。

图表17:内存接口芯片的发展演变

资料来源:澜起科技公告,中金公司研究部

HBM方面,SK Hynix与AMD合作,是全球最早推出HBM产品、打破技术限制并引入行业全新范式的厂商,分别于2014年、2018年、2020年和2022年推出HBM1、HBM2、HBM2E和HBM3。根据美光官网指引,2021年全球HBM市场规模为10亿美元,预计到2025年和2030年分别达到70亿美元和130亿美元,CAGR为30%。SK Hynix占据技术和产业化的先发优势,三星和美光紧随其后,目前国产厂商同样相对落后。

根据英伟达官网,N【【微信】】是全球首款支持高带宽HBM2显存技术的GPU架构,此后V100、A100均进一步提供了更快速、更高效更高容量的HBM2。最新的SX

ai智能机器人说话 ai机器人该不该具有法律人格

ai智能机器人,ai智能机器人最新突破,ai智能机器人怎么连wifi,ai智能机器人直播

风头正劲的ChatGPT又惹麻烦了。

ChatGPT问世后,全球各地的网友纷纷对它提出了各式各样的问题。其中,有不少问题ChatGPT都在一本正经地“胡说八道”。对此,大部分网友都当成了一个笑话来看。但是对于澳大利亚墨尔本西部赫本郡的市长布赖恩?胡德(Brian Hood)来说,ChatGPT的回答已经构成了对他的诽谤。

据外媒报道,布赖恩?胡德在考虑是否起诉ChatGPT的所属公司OpenAI,并且已经向OpenAI发出了投诉信。事件的起因在于ChatGPT在回答问题时错误地声称他是贿赂丑闻的有罪方。并且当地居民也可以搜索到这一消息,这严重损害了布赖恩?胡德的名誉以及政治形象。

布赖恩?胡德的律师表示,OpenAI将有28天的时间来修复错误,否则将面临诽谤诉讼。一旦正式提起诉讼,这将是全球首例针对生成式AI的诽谤诉讼。如果胜诉,这也就意味着未来OpenAI可能因为ChatGPT的“胡说八道”面临更多的法律风险。

海量资讯、精准解读,尽在新浪财经APP