庆云古诗词

庆云古诗词

ChatGPT :微软开源Deep Speed Chat,坚定看好算力设施

互联资讯 0

2023年11月20日 每日一猜答案: 答案:ABC
每日一猜答案分析:

chatgpt官网,chatgpt国内能用吗,chatgpt怎么用,chatgpt怎么读

文章来源:科技晶选

事件概述

2023年4月12日,微软宣布开源了Deep Speed Chat,帮助用户轻松训练类ChatGPT等大语言模型,使得人人都能拥有自己的ChatGPT。

核心观点

? 微软开源Deep Speed Chat,人人拥有ChatGPT时代已来临

ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式,这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在,通过Deep Speed Chat可以突破这些训练瓶颈,达到最佳效果。Deep Speed Chat拥有强化推理、RLHF模块、RLHF系统三大核心功能。强化推理方面,可实现简化 ChatGPT 类型模型的训练和强化推理;Deep Speed-RLHF模块方面,复刻了InstructGPT论文中的训练模式,并确保包括监督微调(SFT)、奖励模型微调和基于人类反馈的强化学习在内的三个步骤。DeepSpeed-HE能够在RLHF中无缝地在推理和训练模式之间切换,使其能够利用来自 DeepSpeed-Inference 的各种优化。此外,Deep Speed Chat在成本、效率、扩展性等方面非常优秀,效率方面,此模型高效且节省成本,只在Azure云上只需9小时即可训练一个OPT-13B模型,只需18小时即可训练一个 OPT-30B模型。这两种训练分别花费不到300美元和600美元。

? Deep Speed Chat高效赋能AI行业,显著提升效率并降低成本,我们认为AIGC百花齐放的时代已经到来。

我们认为微软此次开源Deep Speed Chat就像当年的互联网,为了提升发展速率降低了台式机的价格,使得普通用户也能拥有自己的电脑。效率方面,根据华尔街见闻消息,可将训练速度提升15倍以上,成本却大幅度降低。例如,一个130亿参数的类ChatGPT模型,只需1.25小时就能完成训练。我们认为通过Deep Speed Chat解决资源、算法等难题,轻松、高效的训练数千亿参数的最先进的类ChatGPT模型。我们认为AIGC百花齐放的时代已经到来,原因是Deep Speed Chat显著降低训练门槛,中小厂商有望以更低的成本加速实现类ChatGPT的开发,并显著降低成本,AIGC百花齐放的时代正式来临,我们认为金融、办公、医疗、智能助理、XR、智能助手、智慧音响等领域有望率先赋能。

? 再此重申强调ChatGPT的竞争本质即大模型储备竞赛,算力是打造大模型生态的必备基础,算力在大模型的背景下势必迎来大爆发。

算力是训练大模型的底层动力源泉,一个优秀的算力底座在大模型(AI算法)的训练和推理具备效率优势,其中包括AI服务器、AI芯片等为核心产品。大模型参数呈现指数规模,引爆海量算力需求。根据财联社和OpenAI数据,ChatGPT浪潮下算力缺口巨大,根据OpenAI数据,模型计算量增长速度远超人工智能硬件算力增长速度,存在万倍差距。运算规模的增长,带动了对AI训练芯片单点算力提升的需求,并对数据传输速度提出了更高的要求。根据智东西数据,过去五年,大模型发展呈现指数级别,部分大模型已达万亿级别,因此对算力需求也随之攀升。

投资建议

我们认为ChatGPT等大模型的出现,势必引爆算力需求。受益标的为: 首都在线、寒武纪、海光信息、浪潮信息、中科曙光、景嘉微、龙芯中科、神州数码、拓维信息、广电运通、云赛智联、青云科技、优刻得、光环新网、新炬网络、工业富联等。

风险提示

政策推进不及预期的风险、宏观经济下滑风险、核心技术研发不及预期的风险、中美贸易摩擦升级的风险。


ChatGPT 带火 AI 芯片,英伟达顶级显卡 eBay 售价超 4 万美元

chatgpt,chatgpt怎么下载,chatgpt怎么用,chatgpt怎么注册

4 月 15 日,财联社发文称,随着对训练和部署人工智能软件所需芯片的需求飙升,英伟达(Nvidia)最先进的显卡 H100 芯片在美国电商平台 eBay 上的售价已经超过 4 万美元。

据悉,去年发布的 H100 是英伟达最新的旗舰 AI 芯片以接替 A100,A100 是一款被称为 AI 应用“主力军”的芯片,售价约为 1 万美元。根据英伟达的说法,与 A100 相比,H100 的能效提高了 3.5 倍。开发人员正在使用 H100 来构建所谓的大型语言模型(LLMs),这是 OpenAI 的 ChatGPT 等 AI 应用的核心。