庆云古诗词

庆云古诗词

aigc gpt gpt和aigc区别

互联资讯 0

2023年11月20日 每日一猜答案: 答案:ABC
每日一猜答案分析:


智东西3月24日报道,今日,【【淘密令】】中国AIGC创新峰会在北京圆满举行!

正值GPT-4时代的大幕被一把拉开,本届峰会以“AI新纪元 创造新世界”为主题,是国内首场聚焦生成式AI(AIGC)的高规格创新峰会,汇聚超20位产学研大佬展开了一轮轮激烈的技术交锋、观点碰撞,帮助每一个在迷雾中砥砺前行的产业人完成一场去伪求真的旅程。

太多问题在过去两个月里涌向我们的大脑:GPT-4真的会带来认知智能的爆发吗?我们的AI和ChatGPT有多少差距?中国版OpenAI会诞生吗?被大厂高频提及的MaaS(模型即服务)会是确定趋势?中国AIGC产业会是“大厂赢者通吃“还是“百花齐放”……很多问题都在这场峰会中得到了解答,答案大多与我们不假思索的直觉不同,甚至专家之间的观点也截然相反,使得这些探讨变得格外有价值。

从大厂大模型产品交锋到顶级AI投资观点碰撞,从AIGC硬创先锋产品尝鲜到算力企业的“暴力美学”PK,从“大模型VS小模型”的争论到“ChatGPT为什么没有首先出现在中国”的灵魂之问……一波波高潮迭起,峰会现场座无虚席、人气爆棚,交流氛围热烈,全天到会观众超过千人,全网直播人数高达420万人次。

智一科技联合创始人、CEO龚伦常代表主办方在峰会上说,AI产业正在迎来新的市场机遇期,中国AIGC创新峰会希望为学术界、产业界、投资界搭建一个交流的平台。本届峰会主要包括一个AIGC高峰论坛主论坛,大模型、中国类ChatGPT、AIGC应用创新三大专题论坛。

会上,来自中科院等学术机构,微软、百度、快手、英伟达、昆仑万维、商汤科技等行业巨头,澜舟科技、墨芯人工智能、优必选、智谱AI、潞晨科技、云知声、竹间智能、aiXcoder、影谱科技、计算美学(Nolibox)等创业先锋,启明创投、创世伙伴资本、蓝驰创投等投资机构的嘉宾代表们,分享了大模型与生成式AI的前沿创新、商业前景、算力进化、创业机会与投资策略。

以下,是今日AIGC峰会的演讲精华。

一、主办方致辞:大模型演进,AI产业正迎来新机遇期

智一科技联合创始人、CEO龚伦常代表主办方为本届峰会致辞。预训练语言模型、扩散模型等关键算法和模型的出现与演进,推动了生成式AI的快速发展,相关产品在极短的时间内吸引了全球的关注。

国内首场高规格AIGC峰会盛况出圈!万字干货热聊GPT-4时代,浓缩21位大牛演讲

▲智一科技联合创始人、CEO龚伦常

过去一周更是AI突飞猛进的关键期,GPT-4和文心一言的发布、微软将GPT整合进了office全家桶带动了生产工具的飞跃。AI产业正在迎来新的市场机遇期。

基于此,中国AIGC创新峰会希望为学术界、产业界、投资界搭建一个交流的平台,让大家能在这里深入交流、激荡思想,并促进合作和创新的落地。

今年是智一科技成立的第7个年头。智一科技坚持技术和产业双轮驱动,聚焦以数字化、智能化为代表的前沿技术及其行业应用,构建产业媒体与企业服务两大业务体系。

智一科技拥有以智东西、芯东西、车东西为代表的产业媒体矩阵,已成为国内定位独特且具有较高影响力和公信力的产业媒体;同时针对产业升级需求,发展出以智东西公开课为核心的企业服务体系,与产业优秀公司、全球顶级高校的专家学者合作,举办系列talk及新青年讲座,并与国内外顶级企业合作举办定制公开课,截至目前已完成的课程超过600节,收获良好口碑。

二、大模型带来认知智能崛起,大厂和世界级科学家划重点

在上午的峰会现场,澜舟科技创始人兼CEO&中国计算机学会CCF副理事长周明讲解了大模型带来的新范式,中国科学院自动化研究所研究员&博士生导师张家俊解读了紫东太初大模型如何理解世界的奥秘。

同时,微软全渠道事业部首席技术官徐明强带大家探索了AIGC趋势及微软Azure OpenAI服务在企业的应用;刚刚推出文心一言的百度集团副总裁袁佛玉来到现场,探讨文心一言如何改变云计算市场游戏规则。

1、澜舟科技周明:大模型带来认知智能崛起,九大方面划重点

澜舟科技创始人兼CEO、中国计算机学会CCF副理事长、创新工场首席科学家周明深入解读了大模型带来的新范式。

▲澜舟科技创始人兼CEO、中国计算机学会CCF副理事长、创新工场首席科学家周明

作为微软走出的技术专家,周明说自己深受微软联合创始人比尔・盖茨影响,认为大模型正带来认知智能的崛起。大模型尤其是ChatGPT代表着语言理解、多轮对话、问题求解进入了一个可实用的时代;同时,大模型有效解决NLP任务碎片化问题,大幅度提高研发效率,标志着NLP进入工业化实施阶段。

当下,AI正历经从单个任务的专用模型,到广泛任务的通用模型的2.0时代,再到通用人工智能的AGI时代。AI 2.0时代将首先革新创作内容、办公方式、搜索引擎、人机交互界面、金融等多个领域。

创立于2021年6月的澜舟科技已推出了多个大模型对外产品服务,目前已落地孟子大模型、AIGC(智能创作)平台、机器翻译平台、金融NLP平台等多款技术及产品,落地同花顺、华夏基金等企业。结合类ChatGPT技术,澜舟科技推出了对话机器人MChat,能够通过智能对话帮助用户完成特定场景中的多种工作任务。

谈及对产业未来方向的展望,周明坦言,当下类ChatGPT技术在推理、逻辑、数学和算术、事实性错误等方面仍有所欠缺。未来,大模型相关的九大问题尤其值得关注,涉及推理能力、事实正确性、中文处理能力等方面。

2、微软徐明强:与OpenAI合作构建超级计算机

模型参数正在呈现指数型增长趋势。如今,对大模型的质疑会在短短1-2年内就被新的质疑所替代。所以,微软全渠道事业部首席技术官徐明强坚信,模型仍然会快速增长,因为目前的高质量语料目前仅使用了1/10。

▲微软全渠道事业部首席技术官徐明强

这一切的背后都离不开强大算力的支撑,这也决定了所能训练模型的大小、参数。因此,微软Azure与OpenAI合作构建了专为大规模AI训练而设计的AI超级计算机,该计算机拥有285000个CPU、10000块GPU。

徐明强把大语言模型比作了一块海绵,维基百科、医学或科学论文就是水,把这些论文塞进去就会带来其能力的涌现。

最后落脚到企业应用中,在CPU时代,企业应用时思考的问题是如何把商业问题转变为计算问题,也就是通过编译器将应用转为计算问题,如今则转变为如何把各行各业的问题转化为内容处理问题。

企业级ChatGPT应用场景包括客户服务、销售市场、内容生成、知识管理、辅助决策等。

3、中科院张家俊:揭秘“紫东太初”,多模态大模型初现“多专多能”

会上,中国科学院自动化研究所研究员&博士生导师、武汉人工智能研究院副院长张家俊解读了“紫东太初”大模型如何理解世界的技术奥秘。

▲中国科学院自动化研究所研究员&博士生导师、武汉人工智能研究院副院长张家俊

张家俊谈道,深度学习预训练大模型效果不断提升。当下,通过自监督学习条件下“大数据+大模型”方式,多模态大模型初现“多专多能”,在小样本学习、自然语言问答、跨模态生成等方面快速进步。大模型带动了创新潮,但其能耗和成本极高,认知能力与人相比仍有很大差距。

“紫东太初”是中科院自动化所团队推出的全球首个千亿参数多模态大模型。张家俊称,这一模型支持Token级别、模态级别与样本级别的多任务自监督学习,多模态弱关联数据在512卡训练128天,同时实现模态理解与模态生成统一建模。“紫东太初”支持以文搜图、以图生音、以音生图等跨模态检索与生成实例,比如输入一个真实图像,紫东太初就能生成个性化的3D形象。

目前,团队已推出了紫东太初开放服务平台1.0、紫东太初・洛神1.0 AIGC智能生成平台,并整合产学研用各方资源搭建人工智能开源开放生态,探索通用人工智能产业化路径。

4、百度袁佛玉:文心一言将改变云计算市场游戏规则,超10万家企业申请调用

全球AI产业已经进入爆发期,AI正在创造一个全新的世界。2021年,百度CEO李彦宏曾说过:“当电脑具备了对人类自然语言的理解能力,具备清晰的表达能力,具备很好的逻辑推理能力,它就非常像人。而机器的记忆力、计算能力远比人强。因此,AI一定会彻底改变今天的每一个行业 。”

▲百度集团副总裁袁佛玉

百度新一代大语言模型、生成式AI产品文心一言背后的关键技术支撑就是自然语言理解。

百度集团副总裁袁佛玉强调,“全球大厂当中,百度是第一个发布的。微软是直接调用Open AI,谷歌3月21日开放测试。Meta和亚马逊,现在都没有真正的发布同类型、同级别的产品。”

文心一言拥有五大核心能力,分别是文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成,能续写《三体》、《红楼梦》;生成直播文案;指出数理问题的错误并给出解题过程;强大的对中文语言的理解能力;基于百度自研大语言模型的生成图片、音频和视频的多模态生成能力。

袁佛玉谈到,从文心一言的表现来看,它具有了对人类意图的理解能力,回答的准确性、逻辑性、流畅性都逐渐接近人类水平。

文心一言新闻发布会后一周,已经有超10万家企业申请文心一言API调用服务测试。

人工智能时代IT技术栈有应用层、模型层、框架层、芯片层四层架构。袁佛玉说:“全球范围内,百度是唯一在这四层都拥有领先产品的公司。”

此外,大模型发展会在新型云计算、行业模型精调和应用开发方面带来三大产业机会。

三、中国不会出一个OpenAI?投资人:不同意!

向上追溯应用,快手MMU NLP中心和音频中心负责人张富峥讲述了AIGC技术在快手的探索和应用;向下探究算力,墨芯人工智能创始人兼CEO王维则向底层溯源了AIGC时代算力如何“进化”;此外,启明创投合伙人周志峰从投资角度讲解了AI新浪潮中的创业机会和投资策略。

1、快手张富峥:探索AIGC应用,数字人、音视频多点开花

实践出真知。会上,快手MMU自然语言处理中心&音频中心负责人张富峥通过演示AI生成数字人、音乐、视频的最新案例,分享了快手在AIGC的探索和应用。

▲快手MMU自然语言处理中心&音频中心负责人张富峥

张富峥首先从工作流程角度谈及了对AIGC的理解,基于“创作者将想要表达的想法输入,通过AI技术合成内容输出“工作流出发点,快手通过平台引擎、基础设施、AI原子能力、AIGC解决方案、落地场景等多方面布局了AIGC。

在数字人场景,通过简单输入文字,用户在5分钟之内就能生成具备精确口型、丰富表情/动作的数字人的应用,能用于电商、招聘、主播、培训等多个场景。

在智能音乐方面,用户可以根据用户输入指定的主题词等信息,生成押韵且与主题词相关的歌词、特定旋律,AI歌手等应用也已接近真人的歌唱水平。

在视频制作方面,AIGC技术对创作者也是大有帮助。比如,快手视频创作“一键成片”均消费量超4.5亿,文案成片日均作品消费量超4000万。

2、墨芯人工智能王维:稀疏计算成大模型落地最优解,墨芯引领AI 2.0算力进化

在需求侧,数字文明发展已经发生了根本变化。生成式AI打开了构建爆炸性成功应用的大门,AI 2.0大模型时代对算力的需求已经完全被颠覆。相较于AI 1.0小模型时代关注算力通用性,大型预训练模型结构统一化,更专注于可扩展性。算力的增长和推理速度,已成为大模型发展和应用的痛点。

墨芯人工智能创始人兼CEO王维说:“单纯靠硬件难以满足指数级的算力增长需求,必须通过软硬融合。在这个方向上,稀疏计算是公认的最有潜力发展和落地的方向。”相比稠密计算,稀疏计算可以达到1-2个数量级的性能提升。

▲墨芯人工智能创始人兼CEO王维

2021年初,墨芯第一颗高稀疏率的AI计算芯片Antoum流片成功,随后墨芯发布了基于Antoum的AI计算卡系列S4、S10、S30,支撑多样化的AI应用场景。基于墨芯独特的双稀疏算法与软硬协同理念,墨芯的产品可以兼顾高性能与低功耗,并且双稀疏算法可以在许多网络和应用中实现高达32倍的稀疏。

通过在176B开源大模型BLOOM上的实测,墨芯S30计算卡在仅采用中低倍稀疏率的情况下,就可以达到25tokens/每秒的生成速度,并以4张S30超过8张A100的生成速度,大幅加速推理速度。

王维说:“大模型的快速发展,给AI芯片初创公司带来了向巨头玩家发起挑战的机会,拥有了全新的展示舞台,用颠覆式创新带来数量级性能突破。”

3、启明创投周志峰:近六成生成式AI创业者聚焦多模态应用,中国生态或创造更多机会

40年以来,随着算力和数据的不断爆发式增长,AI技术形态发生成倍加速变化。如何站在新的节点上预判趋势、提前布局?

启明创投合伙人周志峰谈道,这波由超大规模预训练模型驱动的AI浪潮从底层技术展现出变革性的泛化能力和涌现现象,一定程度解决了AI 1.0时代创业面临的不少问题,包括AI技术仅是隐藏在终端产品中的很小一部分、社会缺乏对AI技术的合理预期、缺乏完善的应用开发基础设施与环境、缺乏上市公司和资本市场估值体系等。AI再次成为创业和投资的热点。2020年GPT-3发布的两年内,全球创投机构对AI企业的投资增长了4倍,仅2022年就有13.7亿美元的融资。

▲启明创投合伙人周志峰

与百度创始人称“中国基本不会再出一个OpenAI”的观点不同,周志峰认为,中国与美国对于AI底座大模型的生态环境非常不同,中国有很多独特的机会。除了高技术壁垒、高人才密度和高资本需求的大模型方向,年轻创业者、垂直产业老兵、AI界大咖在技术和应用多个维度都有不同的创业机会。启明创投科技团队总结了一张AI新浪潮生态架构及重点布局领域“地图”,从智算平台、工具链、开/闭源大模型、自建模型/第三方模型构建的应用等领域带来创投参考。

根据启明创投科技团队与100余家2020年后成立的企业的交流统计,在生成式AI创业领域,有14%的创业者聚焦于底层技术,57%的创业者聚焦多模态应用,29%的创业者聚焦语言类应用,能够在AI技术上构建自有壁垒的技术驱动型创业公司和可以融入产业工作流、提供高商业价值的应用型创业公司更容易脱颖而出。

四、圆桌对话:ChatGPT引爆科技革命,“赢者通吃”还是“百花齐放”?

狂飙的ChatGPT如何掀起新一轮科技革命?在上午的圆桌对话,智一科技联合创始人、总编辑张国仁与竹间智能总裁&COO孙彬、优必选语音技术科学家黄东延、创世伙伴资本合伙人梁宇一起探讨了关于技术、产业、投资的劲爆问题,将现场的氛围推向高潮。

▲圆桌对话环节,从左到右依次是:智一科技联合创始人、总编辑张国仁,竹间智能总裁&COO孙彬,优必选语音技术科学家黄东延,创世伙伴资本合伙人梁宇

ChatGPT横空出世,被英伟达CEO黄仁勋盛赞是“人工智能的iPhone时刻”,专注于自然语言理解赛道产业落地的竹间智能总裁&COO孙彬感慨道,这一产品的火爆确实在他们的意料之外,大模型、暴力参数带来的新范式改变已成为一个开始。

优必选是将人工智能赋能到服务机器人的头部玩家。“GPT的出现,让我们看到了人工智能深入各行各业,服务机器人走进千家万户的时代到来了。”优必选语音技术科学家黄东延说。

▲优必选语音技术科学家黄东延

此前深度学习三巨头之一杨立昆(Yann LeCun)曾谈道,ChatGPT没有特别的创新,只是被很好地组合。专注于早期科技企业投资的创世伙伴资本合伙人梁宇也表达了相近的观点,他认为从技术角度来讲,Transformer架构的系统集成和工程化一直在稳定创新,ChatGPT并没有实现革命性突破。黄东延同意梁宇的观点,并补充说,OpenAI是在集成、试错的过程中发现了“上帝给的密码”,使得对话达到类似人类的惊艳表现。

随后,张国仁抛出一个备受关注的问题:OpenAI的GPT-4推出、微软相关产品接二连三地发布让同行感受到不小的压力,微软+OpenAI组合的领先优势预计能保持多久?

对此,孙彬认为,任何绩效工具的组合都在于人如何使用和运用,最终还是要以人的产出来作为评判标准。他们组合的长期价值在于未来能不能用在其他产业中,让技术和行业实现完美统一。黄东延谈道,微软和OpenAI的组合能走多远,还需要看其技术创新能力和迭代开发速度,当然这个过程中还会有大量AI企业可能会出现“黑马”技术。

▲竹间智能总裁&COO孙彬

总的来看,微软的做法其实是为这个产业的发展打了个样。梁宇说:“从某种程度上来说,微软玩的是一种生态战略。”行业的应用、用户接入生态中,能形成“数据飞轮”,其滚动速度也会越来越快。

落脚到国内环境中,大模型训练还需要好的中文语言学习语料,才能作为“飞轮”滚动起来。

从美团联合创始人王慧文,到搜狗创始人王小川,再到李开复宣布Project AI 2.0计划,众多大佬都在加入AIGC创业潮。当张国仁问到这波创业潮是会像互联网时代创业一样“赢家通吃”,抑或是“百花齐放”,几位嘉宾都认可后者。

孙彬称,大模型时代的情况不同于互联网“大补贴”时代,AI已经形成了相对固定格局的创业链条,新大语言模型带来新的底层发动机,但沉淀的产业生态、模式会复用,会延续百花齐放的特征。他承认,大语言模型在产业可能仍是大厂主导,但关键点突破还要看科创公司。

梁宇也很认可这一观点。他认为在大厂领跑的同时,初创公司的机会可能在应用层,从垂直领域切入做产业落地、降本增效。“创企要学会躲开‘巨兽踩下的脚印’,所有伟大的公司都是从很小的缝隙中钻出来的。”

▲创世伙伴资本合伙人梁宇

谈到AIGC创业应具备的要素,梁宇称,当下大模型创业的竞争、资本环境、人才与前两年相比有质的变化,资金密度、创业者密度、企业家密度飙升,创业者需要有深厚的技术功底和行业理解。

孙彬认为,就像OpenAI联合创始人8年前创业利用了技术、资源、人脉等积累切入创业一样,当下创业者也需要考虑好算力、工程师、数据三件事,创业才会事半功倍。

峰会多位演讲嘉宾都将AI发展的终局指向通用人工智能(AGI),如何定义通用人工智能?它要解决的终极问题是什么?

黄东延认为,通用人工智能和垂直领域的人工智能实际上是相辅相成的,直观来讲,大厂会提供一个通用人工智能的平台,而垂直领域的人工智能就是在不同产业上做深入开发。

孙彬说,站在十年后看现在,这或许是通用人工智能的起始点。梁宇也提到今年或许是通用人工智能元年,通用人工智能从今天开始或许会慢慢像水、电一样渗透到人们生产生活的方方面面。

张国仁谈道,也许很多科幻电影已经为我们描绘出了通用人工智能的面貌,比如钢铁侠里面的贾维斯、流浪地球里的MOSS,虽然形态不一,但在智慧程度上将会达到或超越人类。

▲智一科技联合创始人、总编辑张国仁

那么,假设让我们从10年后回头看今天这一波AIGC应用创新,对科技产业和人类社会的意义和影响会是怎样?

孙彬认为,如果从10年后看今天,这会是对计算机交互方式的一个重大变革,使得人们不再去学复杂的语言。梁宇称也提到今年或许是通用人工智能元年,通用人工智能从今天开始或许会慢慢像水、电一样渗透到人们生产生活的方方面面。

从伦理层面看,黄东延谈道:“如何从人性出发将技术正面作用激发出来,十分关键。十年后或许每个人都有一个自己的智能机器人,将人在获得效率提升后能够更好地享受生活。”随之而来的是安全和伦理问题成为产业人的顾虑。黄东延认为,需要从法律法规、公司自律、大众意识、安全伦理标准等全方位治理。

张国仁总结说,十年后回看,应该有不少现在觉得习以为常的事情,到时候会变得不寻常,以当下视角而言,这就像人们现在已经习惯使用电子支付,与十年前或更早的采用现金支付方式之间的关系。

五、大模型专场:国产与GPT-4差距如何?垂直化、本土化超车

在下午的大模型专题论坛上,北京智谱华章科技有限公司CEO张鹏讲解了预训练大模型这一生成式AI时代的基座,潞晨科技创始人、新加坡国立大学计算机系校长青年教授尤洋探讨了低成本训练AI大模型的挑战与实践。

蓝驰创投投资合伙人石建平认为预训练大语言模型正开启认知智能时代,NVIDIA消费互联网行业解决方案架构师负责人徐添豪、商汤科技联合创始人&大装置事业群总裁杨帆从算力、算法实践层面带来了真知灼见。

1、智谱AI张鹏:大模型也有摩尔定律,探索GLM新路径

大模型专题论坛的首位演讲嘉宾是北京智谱华章科技有限公司(简称:智谱AI)CEO张鹏。作为跨产学界先锋,他分享了预训练大模型的技术路径与落地进展。

▲北京智谱华章科技有限公司CEO张鹏

预训练大模型已成为新一代AI应用的基础设施。张鹏称,大模型领域有一个摩尔定律:单模型参数量每年会增长10倍。当模型参数达到千亿级,大模型已迈过了一个质变的重要门槛,ChatGPT是一个代表。

“我们一直在努力。”张鹏说,基于清华大学计算机系的成果转化,智谱AI于2021年就推出了首个多模态大模型。张鹏谈道,训练一个千亿模型面临种种挑战,需要耐心也需要时间。

张鹏说,智谱AI合作研发的双语千亿模型GLM-130B,评测报告显示GLM-130B在准确性和公平性指标上与GPT-3 175B (davinci) 接近或持平。此外,自去年以来,智谱AI相继开源AI代码工具CodeGeeX,并发布了可单卡跑的ChatGLM-6B开源模型,同时上线了辅助写作应用“写作蛙”、个性化对话“小呆”等免费产品,大大降低了大模型的使用门槛。

最后,张鹏在会上强调了Model as a Service(MaaS)理念,主张提供从预训练大模型到API到应用多层级以及从云端到私有化到一体机部署的灵活部署方式。

2、潞晨科技尤洋:构建大模型训练基础设施Colossal-AI,降低AI大模型应用落地成本

AI模型参数量短短几年间翻了上万倍,未来,AI可能会比人类大脑更加智能、强大。如今横亘在大模型训练前面的挑战是训练成本极高。

在大数据、大模型同步提升的同时,如何创造出更有效的优化方式,降本增效实现可扩展性的高效计算,降低AI大模型的应用落地成本,已成为行业的关键痛点。

潞晨科技构建了一套高效的分布式AI大模型训练基础设施Colossal-AI。它包含高效的内存管理系统、N维并行技术和大规模优化方法三个部分。

据潞晨科技创始人、新加坡国立大学计算机系校长青年教授尤洋透露,目前,Colossal-AI已经成为全球基础软件市场增长最快的软件之一,并已在Github开源:https:【【网址】】/hpcaitech/ColossalAI

▲潞晨科技创始人、新加坡国立大学计算机系校长青年教授尤洋

潞晨科技研发的N维并行技术打造了更高维度的张量并行在内的多种并行策略,为大模型提供更低成本的高效分布式训练方案。

此外,基于Colossal-AI的异构调度系统,用户只需要写一行代码就能对GPU内存、CPU内存、硬盘实现动态管理,将硬件的模型容量提升数十倍。

例如,此前1750亿参数的GPT-3训练需要128个GPU,而Colossal-AI只需要64个GPU,显著降低大模型的硬件需求和成本。而在同样设备情况下,Colossal-AI可以帮用户更快速地完成模型训练,降低成本。

3、蓝驰创投石建平:认知智能已成AI前沿,“AI-First应用”成趋势

蓝驰创投投资合伙人石建平提出,预训练语言大模型开启了认知智能时代,认知智能已成为下一个AI的前沿。

▲蓝驰创投投资合伙人石建平

机器正前所未有地获得语言生成和理解、知识推理等认知能力,背后是AI OS(操作系统)、基础模型及预训练模型、强化学习技术等方面均已准备就绪。

创业公司如何去拥抱认知智能世界?石建平建议,不是所有的公司都要做大模型,还可以从垂直应用路径切入,比如用自有数据微调开源模型/第三方hosted模型;也可以从平台路径方向切入,比如为下游垂直应用开发者提供训练、微调、管理、服务等平台性工具等。

他谈道:“预训练语言大模型开启了以认知智能为核心驱动力的智能计算时代。”数字文明的底座是代码,而认知智能也将重新定义软件的构建方式,“AI-First应用”将成为趋势,比如目前微软搜索引擎新版Bing等已经给了出色样板。

“现在技术迭代的节奏比PPT都快。”石建平笑谈。在这种背景下,企业如何建立核心竞争优势?在他看来,这个核心将是运用自有数据训练微调的人工智能模型;同时,智能世界与数字世界的融合将带来更多想象。

4、NVIDIA徐添豪:软硬件协同使大规模集群训练GPT3时算力有效性超50%

硬件算力的提升不仅依靠芯片工艺的提升,更依靠准确捕捉AI模型算法演进的需求和趋势,NVIDIA消费互联网行业解决方案架构师负责人徐添豪说:“找到计算加速的关键点,并不断创新满足未来的业务需求。”

▲NVIDIA消费互联网行业解决方案架构师负责人徐添豪

进入大模型时代,一张卡远远无法承载一个模型的训练,需要更多个体组成能互相协作的机器节


chat gpt与aigc有什么不同 gpt对aigc的贡献


作者 | 程茜、李水青,编辑 | 心缘来源|智东西

智东西报道,3月24日,【【淘密令】】中国AIGC创新峰会在北京圆满举行!

正值GPT-4时代的大幕被一把拉开,本届峰会以“AI新纪元 创造新世界”为主题,是国内首场聚焦生成式AI(AIGC)的高规格创新峰会,汇聚超20位产学研大佬展开了一轮轮激烈的技术交锋、观点碰撞,帮助每一个在迷雾中砥砺前行的产业人完成一场去伪求真的旅程。

太多问题在过去两个月里涌向我们的大脑:GPT-4真的会带来认知智能的爆发吗?我们的AI和ChatGPT有多少差距?中国版OpenAI会诞生吗?被大厂高频提及的MaaS(模型即服务)会是确定趋势?中国AIGC产业会是“大厂赢者通吃”还是“百花齐放”……很多问题都在这场峰会中得到了解答,答案大多与我们不假思索的直觉不同,甚至专家之间的观点也截然相反,使得这些探讨变得格外有价值。

从大厂大模型产品交锋到顶级AI投资观点碰撞,从AIGC硬创先锋产品尝鲜到算力企业的“暴力美学”PK,从“大模型VS小模型”的争论到“ChatGPT为什么没有首先出现在中国”的灵魂之问……一波波高潮迭起,峰会现场座无虚席、人气爆棚,交流氛围热烈,全天到会观众超过千人,全网观看直播人数高达420万人次。

智一科技联合创始人、CEO龚伦常代表主办方在峰会上说,AI产业正在迎来新的市场机遇期,中国AIGC创新峰会希望为学术界、产业界、投资界搭建一个交流的平台。本届峰会主要包括一个AIGC高峰论坛主论坛,大模型、中国类ChatGPT、AIGC应用创新三大专题论坛。

会上,来自中科院等学术机构,微软、百度、快手、英伟达、昆仑万维、商汤科技等行业巨头,澜舟科技、墨芯人工智能、优必选、智谱AI、潞晨科技、云知声、竹间智能、aiXcoder、影谱科技、计算美学(Nolibox)等创业先锋,启明创投、创世伙伴资本、蓝驰创投等投资机构的嘉宾代表们,分享了大模型与生成式AI的前沿创新、商业前景、算力进化、创业机会与投资策略。

以下,是3月24日AIGC峰会的演讲精华。

一、主办方致辞:大模型演进AI产业正迎来新机遇期

智一科技联合创始人、CEO龚伦常代表主办方为本届峰会致辞。预训练语言模型、扩散模型等关键算法和模型的出现与演进,推动了生成式AI的快速发展,相关产品在极短的时间内吸引了全球的关注。

智一科技联合创始人、CEO龚伦常

过去一周更是AI突飞猛进的关键期,GPT-4和文心一言的发布、微软将GPT整合进了office全家桶带动了生产工具的飞跃。AI产业正在迎来新的市场机遇期。

基于此,中国AIGC创新峰会希望为学术界、产业界、投资界搭建一个交流的平台,让大家能在这里深入交流、激荡思想,并促进合作和创新的落地。

今年是智一科技成立的第7个年头。智一科技坚持技术和产业双轮驱动,聚焦以数字化、智能化为代表的前沿技术及其行业应用,构建产业媒体与企业服务两大业务体系。

智一科技拥有以智东西、芯东西、车东西为代表的产业媒体矩阵,已成为国内定位独特且具有较高影响力和公信力的产业媒体;同时针对产业升级需求,发展出以智东西公开课为核心的企业服务体系,与产业优秀公司、全球顶级高校的专家学者合作,举办系列公开课及新青年讲座,并与国内外顶级企业合作举办定制公开课,截至目前已完成的课程超过600节,收获良好口碑。

二、大模型带来认知智能崛起大厂和世界级科学家划重点

在上午的峰会现场,澜舟科技创始人兼CEO&中国计算机学会CCF副理事长周明讲解了大模型带来的新范式,中国科学院自动化研究所研究员&博士生导师、武汉人工智能研究院副院长张家俊解读了紫东太初大模型如何理解世界的奥秘。

同时,微软全渠道事业部首席技术官徐明强带大家探索了AIGC趋势及微软Azure OpenAI服务在企业的应用;刚刚推出文心一言的百度集团副总裁袁佛玉来到现场,探讨文心一言如何改变云计算市场游戏规则。

1.澜舟科技周明:大模型带来认知智能崛起,九大方面划重点

澜舟科技创始人兼CEO、中国计算机学会CCF副理事长、创新工场首席科学家周明深入解读了大模型带来的新范式。

▲澜舟科技创始人兼CEO、中国计算机学会CCF副理事长、创新工场首席科学家周明

作为微软走出的技术专家,周明说自己深受微软联合创始人比尔・盖茨影响,认为大模型正带来认知智能的崛起。大模型尤其是ChatGPT代表着语言理解、多轮对话、问题求解进入了一个可实用的时代;同时,大模型有效解决NLP任务碎片化问题,大幅度提高研发效率,标志着NLP进入工业化实施阶段。

当下,AI正历经从单个任务的专用模型,到广泛任务的通用模型的2.0时代,再到通用人工智能的AGI时代。AI 2.0时代将首先革新创作内容、办公方式、搜索引擎、人机交互界面、金融等多个领域。

创立于2021年6月的澜舟科技已推出了多个大模型对外产品服务,目前已落地孟子大模型、AIGC(智能创作)平台、机器翻译平台、金融NLP平台等多款技术及产品,落地同花顺、华夏基金等企业。结合类ChatGPT技术,澜舟科技推出了对话机器人MChat,能够通过智能对话帮助用户完成特定场景中的多种工作任务。

谈及对产业未来方向的展望,周明坦言,当下类ChatGPT技术在推理、逻辑、数学和算术、事实性错误等方面仍有所欠缺。未来,大模型相关的九大问题尤其值得关注,涉及推理能力、事实正确性、中文处理能力等方面。

2.微软徐明强:与OpenAI合作构建超级计算机

模型参数正在呈现指数型增长趋势。如今,对大模型的质疑会在短短1-2年内就被新的质疑所替代。所以,微软全渠道事业部首席技术官徐明强坚信,模型仍然会快速增长,因为目前的高质量语料目前仅使用了1/10。

微软全渠道事业部首席技术官徐明强

这一切的背后都离不开强大算力的支撑,这也决定了所能训练模型的大小、参数。因此,微软Azure与OpenAI合作构建了专为大规模AI训练而设计的AI超级计算机,该计算机拥有285000个CPU、10000块GPU。

徐明强把大语言模型比作了一块海绵,维基百科、医学或科学论文就是水,把这些论文塞进去就会带来其能力的涌现。

最后落脚到企业应用中,在CPU时代,企业应用时思考的问题是如何把商业问题转变为计算问题,也就是通过编译器将应用转为计算问题,如今则转变为如何把各行各业的问题转化为内容处理问题。

企业级ChatGPT应用场景包括客户服务、销售市场、内容生成、知识管理、辅助决策等。

3.中科院张家俊:揭秘“紫东太初”,多模态大模型初现“多专多能”

会上,中国科学院自动化研究所研究员&博士生导师、武汉人工智能研究院副院长张家俊解读了“紫东太初”大模型如何理解世界的技术奥秘。

▲中国科学院自动化研究所研究员&博士生导师、武汉人工智能研究院副院长张家俊

张家俊谈道,深度学习预训练大模型效果不断提升。当下,通过自监督学习条件下“大数据+大模型”方式,多模态大模型初现“多专多能”,在小样本学习、自然语言问答、跨模态生成等方面快速进步。大模型带动了创新潮,但其能耗和成本极高,认知能力与人相比仍有很大差距。

“紫东太初”是中科院自动化所团队推出的全球首个千亿参数多模态大模型。张家俊称,这一模型支持Token级别、模态级别与样本级别的多任务自监督学习,多模态弱关联数据在512卡训练128天,同时实现模态理解与模态生成统一建模。“紫东太初”支持以文搜图、以图生音、以音生图等跨模态检索与生成实例,比如输入一个真实图像,紫东太初就能生成个性化的3D形象。

目前,团队已推出了紫东太初开放服务平台1.0、紫东太初・洛神1.0 AIGC智能生成平台,并整合产学研用各方资源搭建人工智能开源开放生态,探索通用人工智能产业化路径。

4.百度袁佛玉:文心一言将改变云计算市场游戏规则,超10万家企业申请调用

全球AI产业已经进入爆发期,AI正在创造一个全新的世界。2021年,百度CEO李彦宏曾说过:“当电脑具备了对人类自然语言的理解能力,具备清晰的表达能力,具备很好的逻辑推理能力,它就非常像人。而机器的记忆力、计算能力远比人强。因此,AI一定会彻底改变今天的每一个行业 。”

百度集团副总裁袁佛玉

百度新一代大语言模型、生成式AI产品文心一言背后的关键技术支撑就是自然语言理解。

百度集团副总裁袁佛玉强调,“全球大厂当中,百度是第一个发布的。微软是直接调用Open AI,谷歌3月21日开放测试。Meta和亚马逊,现在都没有真正的发布同类型、同级别的产品。”

文心一言拥有五大核心能力,分别是文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成,能续写《三体》、《红楼梦》;生成直播文案;指出数理问题的错误并给出解题过程;强大的对中文语言的理解能力;基于百度自研大语言模型的生成图片、音频和视频的多模态生成能力。

袁佛玉谈到,从文心一言的表现来看,它具有了对人类意图的理解能力,回答的准确性、逻辑性、流畅性都逐渐接近人类水平。

文心一言新闻发布会后一周,已经有超10万家企业申请文心一言API调用服务测试。

人工智能时代IT技术栈有应用层、模型层、框架层、芯片层四层架构。袁佛玉说:“全球范围内,百度是唯一在这四层都拥有领先产品的公司。”

此外,大模型发展会在新型云计算、行业模型精调和应用开发方面带来三大产业机会。

三、中国不会出一个OpenAI?投资人:不同意!

向上追溯应用,快手MMU NLP中心和音频中心负责人张富峥讲述了AIGC技术在快手的探索和应用;向下探究算力,墨芯人工智能创始人兼CEO王维则向底层溯源了AIGC时代算力如何“进化”;此外,启明创投合伙人周志峰从投资角度讲解了AI新浪潮中的创业机会和投资策略。

1.快手张富峥:探索AIGC应用,数字人、音视频多点开花

实践出真知。会上,快手MMU自然语言处理中心&音频中心负责人张富峥通过演示AI生成数字人、音乐、视频的最新案例,分享了快手在AIGC的探索和应用。

快手MMU自然语言处理中心&音频中心负责人张富峥

张富峥首先从工作流程角度谈及了对AIGC的理解,基于“创作者将想要表达的想法输入,通过AI技术合成内容输出“工作流出发点,快手通过平台引擎、基础设施、AI原子能力、AIGC解决方案、落地场景等多方面布局了AIGC。

在数字人场景,通过简单输入文字,用户在5分钟之内就能生成具备精确口型、丰富表情/动作的数字人的应用,能用于电商、招聘、主播、培训等多个场景。

在智能音乐方面,用户可以根据用户输入指定的主题词等信息,生成押韵且与主题词相关的歌词、特定旋律,AI歌手等应用也已接近真人的歌唱水平。

在视频制作方面,AIGC技术对创作者也是大有帮助。比如,快手视频创作“一键成片”均消费量超4.5亿,文案成片日均作品消费量超4000万。

2.墨芯人工智能王维:稀疏计算成大模型落地最优解,墨芯引领AI 2.0算力进化

在需求侧,数字文明发展已经发生了根本变化。生成式AI打开了构建爆炸性成功应用的大门,AI 2.0大模型时代对算力的需求已经完全被颠覆。相较于AI 1.0小模型时代关注算力通用性,大型预训练模型结构统一化,更专注于可扩展性。算力的增长和推理速度,已成为大模型发展和应用的痛点。

墨芯人工智能创始人兼CEO王维说:“单纯靠硬件难以满足指数级的算力增长需求,必须通过软硬融合。在这个方向上,稀疏计算是公认的最有潜力发展和落地的方向。”相比稠密计算,稀疏计算可以达到1-2个数量级的性能提升。

墨芯人工智能创始人兼CEO王维

2022年初,墨芯第一颗高稀疏率的AI计算芯片Antoum流片成功,随后墨芯发布了基于Antoum的AI计算卡系列S4、S10、S30,支撑多样化的AI应用场景。基于墨芯独特的双稀疏算法与软硬协同理念,墨芯的产品可以兼顾高性能与低功耗,并且双稀疏算法可以在许多网络和应用中实现高达32倍的稀疏。

通过在176B开源大模型BLOOM上的实测,墨芯S30计算卡在仅采用中低倍稀疏率的情况下,就可以达到25tokens/每秒的生成速度,并以4张S30超过8张A100的生成速度,大幅加速推理速度。

王维说:“大模型的快速发展,给AI芯片初创公司带来了向巨头玩家发起挑战的机会,拥有了全新的展示舞台,用颠覆式创新带来数量级性能突破。”

3.启明创投周志峰:近六成生成式AI创业者聚焦多模态应用,中国生态或创造更多机会

40年以来,随着算力和数据的不断爆发式增长,AI技术形态发生成倍加速变化。如何站在新的节点上预判趋势、提前布局?

启明创投合伙人周志峰谈道,这波由超大规模预训练模型驱动的AI浪潮从底层技术展现出变革性的泛化能力和涌现现象,一定程度解决了AI 1.0时代创业面临的不少问题,包括AI技术仅是隐藏在终端产品中的很小一部分、社会缺乏对AI技术的合理预期、缺乏完善的应用开发基础设施与环境、缺乏上市公司和资本市场估值体系等。AI再次成为创业和投资的热点。2020年GPT-3发布的两年内,全球创投机构对AI企业的投资增长了4倍,仅2022年就有13.7亿美元的融资。

启明创投合伙人周志峰

与百度创始人称“中国基本不会再出一个OpenAI”的观点不同,周志峰认为,中国与美国对于AI底座大模型的生态环境非常不同,中国有很多独特的机会。除了高技术壁垒、高人才密度和高资本需求的大模型方向,年轻创业者、垂直产业老兵、AI界大咖在技术和应用多个维度都有不同的创业机会。启明创投科技团队总结了一张AI新浪潮生态架构及重点布局领域“地图”,从智算平台、工具链、开/闭源大模型、自建模型/第三方模型构建的应用等领域带来创投参考。

根据启明创投科技团队与100余家2020年后成立的企业的交流统计,在生成式AI创业领域,有14%的创业者聚焦于底层技术,57%的创业者聚焦多模态应用,29%的创业者聚焦语言类应用,能够在AI技术上构建自有壁垒的技术驱动型创业公司和可以融入产业工作流、提供高商业价值的应用型创业公司更容易脱颖而出。

四、圆桌对话:ChatGPT引爆科技革命赢者通吃还是百花齐放?

狂飙的ChatGPT如何掀起新一轮科技革命?在上午的圆桌对话,智一科技联合创始人、总编辑张国仁与竹间智能总裁&COO孙彬、优必选语音技术科学家黄东延、创世伙伴资本合伙人梁宇一起探讨了关于技术、产业、投资的劲爆问题,将现场的氛围推向高潮。

▲圆桌对话环节,从左到右依次是:智一科技联合创始人、总编辑张国仁,竹间智能总裁&COO孙彬,优必选语音技术科学家黄东延,创世伙伴资本合伙人梁宇

ChatGPT横空出世,被英伟达CEO黄仁勋盛赞是“人工智能的iPhone时刻”,专注于自然语言理解赛道产业落地的竹间智能总裁&COO孙彬感慨道,这一产品的火爆确实在他们的意料之外,大模型、暴力参数带来的新范式改变已成为一个开始。

优必选是将人工智能赋能到服务机器人的头部玩家。“GPT的出现,让我们看到了人工智能深入各行各业,服务机器人走进千家万户的时代到来了。”优必选语音技术科学家黄东延说。

优必选语音技术科学家黄东延

此前深度学习三巨头之一杨立昆(Yann LeCun)曾谈道,ChatGPT没有特别的创新,只是被很好地组合。专注于早期科技企业投资的创世伙伴资本合伙人梁宇也表达了相近的观点,他认为从技术角度来讲,Transformer架构的系统集成和工程化一直在稳定创新,ChatGPT并没有实现革命性突破。黄东延同意梁宇的观点,并补充说,OpenAI是在集成、试错的过程中发现了“上帝给的密码”,使得对话达到类似人类的惊艳表现。随后,张国仁抛出一个备受关注的问题:OpenAI的GPT-4推出、微软相关产品接二连三地发布让同行感受到不小的压力,微软+OpenAI组合的领先优势预计能保持多久?

对此,孙彬认为,任何绩效工具的组合都在于人如何使用和运用,最终还是要以人的产出来作为评判标准。他们组合的长期价值在于未来能不能用在其他产业中,让技术和行业实现完美统一。黄东延谈道,微软和OpenAI的组合能走多远,还需要看其技术创新能力和迭代开发速度,当然这个过程中还会有大量AI企业可能会出现“黑马”技术。

竹间智能总裁&COO孙彬

总的来看,微软的做法其实是为这个产业的发展打了个样。梁宇说:“从某种程度上来说,微软玩的是一种生态战略。”行业的应用、用户接入生态中,能形成“数据飞轮”,其滚动速度也会越来越快。

落脚到国内环境中,大模型训练还需要好的中文语言学习语料,才能作为“飞轮”滚动起来。

从美团联合创始人王慧文,到搜狗创始人王小川,再到李开复宣布Project AI 2.0计划,众多大佬都在加入AIGC创业潮。当张国仁问到这波创业潮是会像互联网时代创业一样“赢家通吃”,抑或是“百花齐放”,几位嘉宾都认可后者。

孙彬称,大模型时代的情况不同于互联网“大补贴”时代,AI已经形成了相对固定格局的创业链条,新大语言模型带来新的底层发动机,但沉淀的产业生态、模式会复用,会延续百花齐放的特征。他承认,大语言模型在产业可能仍是大厂主导,但关键点突破还要看科创公司。

梁宇也很认可这一观点。他认为在大厂领跑的同时,初创公司的机会可能在应用层,从垂直领域切入做产业落地、降本增效。“创企要学会躲开‘巨兽踩下的脚印’,所有伟大的公司都是从很小的缝隙中钻出来的。”

创世伙伴资本合伙人梁宇

谈到AIGC创业应具备的要素,梁宇称,当下大模型创业的竞争、资本环境、人才与前两年相比有质的变化,资金密度、创业者密度、企业家密度飙升,创业者需要有深厚的技术功底和行业理解。

孙彬认为,就像OpenAI联合创始人8年前创业利用了技术、资源、人脉等积累切入创业一样,当下创业者也需要考虑好算力、工程师、数据三件事,创业才会事半功倍。

峰会多位演讲嘉宾都将AI发展的终局指向通用人工智能(AGI),如何定义通用人工智能?它要解决的终极问题是什么?

黄东延认为,通用人工智能和垂直领域的人工智能实际上是相辅相成的,直观来讲,大厂会提供一个通用人工智能的平台,而垂直领域的人工智能就是在不同产业上做深入开发。

孙彬说,站在十年后看现在,这或许是通用人工智能的起始点。梁宇也提到今年或许是通用人工智能元年,通用人工智能从今天开始或许会慢慢像水、电一样渗透到人们生产生活的方方面面。

张国仁谈道,也许很多科幻电影已经为我们描绘出了通用人工智能的面貌,比如钢铁侠里面的贾维斯、流浪地球里的MOSS,虽然形态不一,但在智慧程度上将会达到或超越人类。

智一科技联合创始人、总编辑张国仁

那么,假设让我们从10年后回头看今天这一波AIGC应用创新,对科技产业和人类社会的意义和影响会是怎样?

孙彬认为,如果从10年后看今天,这会是对计算机交互方式的一个重大变革,使得人们不再去学复杂的语言。梁宇称也提到今年或许是通用人工智能元年,通用人工智能从今天开始或许会慢慢像水、电一样渗透到人们生产生活的方方面面。

从伦理层面看,黄东延谈道:“如何从人性出发将技术正面作用激发出来,十分关键。十年后或许每个人都有一个自己的智能机器人,将人在获得效率提升后能够更好地享受生活。”随之而来的是安全和伦理问题成为产业人的顾虑。黄东延认为,需要从法律法规、公司自律、大众意识、安全伦理标准等全方位治理。

张国仁总结说,十年后回看,应该有不少现在觉得习以为常的事情,到时候会变得不寻常,以当下视角而言,这就像人们现在已经习惯使用电子支付,与十年前或更早的采用现金支付方式之间的关系。

五、大模型专场:国产与GPT-4差距如何?垂直化、本土化超车

在下午的大模型专题论坛上,北京智谱华章科技有限公司CEO张鹏讲解了预训练大模型这一生成式AI时代的基座,潞晨科技创始人、新加坡国立大学计算机系校长青年教授尤洋探讨了低成本训练AI大模型的挑战与实践。蓝驰创投投资合伙人石建平认为预训练大语言模型正开启认知智能时代,NVIDIA消费互联网行业解决方案架构师负责人徐添豪、商汤科技联合创始人&大装置事业群总裁杨帆从算力、算法实践层面带来了真知灼见。

1.智谱AI张鹏:大模型也有摩尔定律,探索GLM新路径

大模型专题论坛的首位演讲嘉宾是北京智谱华章科技有限公司(简称:智谱AI)CEO张鹏。作为跨产学界先锋,他分享了预训练大模型的技术路径与落地进展。

北京智谱华章科技有限公司CEO张鹏

预训练大模型已成为新一代AI应用的基础设施。张鹏称,大模型领域有一个摩尔定律:单模型参数量每年会增长10倍。当模型参数达到千亿级,大模型已迈过了一个质变的重要门槛,ChatGPT是一个代表。

“我们一直在努力。”张鹏说,基于清华大学计算机系的成果转化,智谱AI于2021年就推出了首个多模态大模型。张鹏谈道,训练一个千亿模型面临种种挑战,需要耐心也需要时间。

张鹏说,智谱AI合作研发的双语千亿模型GLM-130B,评测报告显示GLM-130B在准确性和公平性指标上与GPT-3 175B (davinci) 接近或持平。此外,自去年以来,智谱AI相继开源AI代码工具CodeGeeX,并发布了可单卡跑的ChatGLM-6B开源模型,同时上线了辅助写作应用“写作蛙”、个性化对话“小呆”等免费产品,大大降低了大模型的使用门槛。

最后,张鹏在会上强调了Model as a Service(MaaS)理念,主张提供从预训练大模型到API到应用多层级以及从云端到私有化到一体机部署的灵活部署方式。

2.潞晨科技尤洋:构建大模型训练基础设施Colossal-AI,降低AI大模型应用落地成本

AI模型参数量短短几年间翻了上万倍,未来,AI可能会比人类大脑更加智能、强大。如今横亘在大模型训练前面的挑战是训练成本极高。

在大数据、大模型同步提升的同时,如何创造出更有效的优化方式,降本增效实现可扩展性的高效计算,降低AI大模型的应用落地成本,已成为行业的关键痛点。

潞晨科技构建了一套高效的分布式AI大模型训练基础设施Colossal-AI。它包含高效的内存管理系统、N维并行技术和大规模优化方法三个部分。

据潞晨科技创始人、新加坡国立大学计算机系校长青年教授尤洋透露,目前,Colossal-AI已经成为全球基础软件市场增长最快的软件之一,并已在Github开源。

潞晨科技创始人、新加坡国立大学计算机系校长青年教授尤洋

潞晨科技研发的N维并行技术打造了更高维度的张量并行在内的多种并行策略,为大模型提供更低成本的高效分布式训练方案。

此外,基于Colossal-AI的异构调度系统,用户只需要写一行代码就能对GPU内存、CPU内存、硬盘实现动态管理,将硬件的模型容量提升数十倍。

例如,此前1750亿参数的GPT-3训练需要128个GPU,而Colossal-AI只需要64个GPU,显著降低大模型的硬件需求和成本。而在同样设备情况下,Colossal-AI可以帮用户更快速地完成模型训练,降低成本。

3.蓝驰创投石建平:认知智能已成AI前沿,“AI-First应用”成趋势

蓝驰创投投资合伙人石建平提出,预训练语言大模型开启了认知智能时代,认知智能已成为下一个AI的前沿。

蓝驰创投投资合伙人石建平

机器正前所未有地获得语言生成和理解、知识推理等认知能力,背后是AI OS(操作系统)、基础模型及预训练模型、强化学习技术等方面均已准备就绪。

创业公司如何去拥抱认知智能世界?石建平建议,不是所有的公司都要做大模型,还可以从垂直应用路径切入,比如用自有数据微调开源模型/第三方hosted模型;也可以从平台路径方向切入,比如为下游垂直应用开发者提供训练、微调、管理、服务等平台性工具等。

他谈道:“预训练语言大模型开启了以认知智能为核心驱动力的智能计算时代。”数字文明的底座是代码,而认知智能也将重新定义软件的构建方式,“AI-First应用”将成为趋势,比如目前微软搜索引擎新版Bing等已经给了出色样板。

“现在技术迭代的节奏比PPT都快。”石建平笑谈。在这种背景下,企业如何建立核心竞争优势?在他看来,这个核心将是运用自有数据训练微调的人工智能模型;同时,智能世界与数字世界的融合将带来更多想象。

4.NVIDIA徐添豪:软硬件协同使大规模集群训练GPT3时算力有效性超50%

本文地址: https://www.528683.com//show-399044.html
版权声明:除非特别标注原创,其它均来自互联网,转载时请以链接形式注明文章出处。