庆云古诗词

庆云古诗词

chatgpt对哪些行业构成冲击 人工智能chatgpt哪里能下载

互联资讯 0

2023年11月20日 每日一猜答案: 答案:ABC
每日一猜答案分析:

ChatGPT对哪些行业影响最大,ChatGPT对哪些行业有影响

席卷全球的新风口

OpenAI去年发布了聊天机器人模型ChatGPT,它能够理解和生成人类语言,并在许多自然语言处理任务中表现非常出色。据统计,上线仅两个月,ChatGPT活跃用户已经超亿,打破了由TikTok创造的9个月实现亿级用户注册的纪录,引起了各行各业人们的强烈关注。就连埃隆马斯克也忍不住发推表示,ChatGPT厉害得吓人,我们距离危险而强大的AI不远了。当然,在一顿痛批ChatGPT之后,马斯克也准备亲自下场,成立研究实验室,开发ChatGPT的竞品。

类ChatGPT模型的开发与应用,在国内也迅速成为资本市场关注、创业者纷纷入场的赛道。阿里、百度等互联网大厂,科大讯飞等语音类AI企业,以及众多创业者都希望乘着最新的风口迅速“起飞”。创业者大军中不乏像前美团联合创始人王慧文、出门问问CEO李志飞、搜狗前CEO王小川、前京东技术掌门人周伯文等行业大佬。开发出“中国的ChatGPT”俨然成了国内科技圈“All in”的方向。

然而,我们真的能迅速见到一个“中国的ChatGPT”吗?谁又能拔下头筹,成为这个细分赛道的领头羊呢?

这个众多大佬都挤进来“淘金”的赛道,一定不是简简单单就能搞定的。

OpenAI的GPT“家族”

在深入了解开发出比肩ChatGPT的模型需要面临哪些挑战之前,让我们先看下ChatGPT所属的GPT模型家族都有哪些成员。

  • GPT-1发布于2018年6月,包含117M个参数。这是第一个采用基于Transformer的模型架构进行预训练的模型。它在语言模型和单词类比任务上表现出色。

  • GPT-2发布于2019年2月,包含1.5B个参数。这个模型在自然语言生成任务上表现出色,可以生成高质量的文章、新闻报道和诗歌等文本。

  • GPT-3发布于2020年6月,包含175B个参数。具有出色的通用性和创造性,可以在各种 NLP任务上表现出色,包括文本生成、问答、机器翻译等任务。

到这就结束了?完全不是。

在GPT-3系列模型(注意,是一系列模型哦)发布之后,OpenAI继续基于原始的GPT-3进行了不断地完善。我们熟知的InstructGPT和ChatGPT实际的内部代号是chatgpt和text-chat-davinci-00【【QQ微信】】,是基于GPT-3.5的改良版。

在InstructGPT的训练中,OpenAI的研究员引入了RLHF(Reinforcement Learning from Human Feedback,人类反馈强化学习)机制。这一训练范式增强了人类对模型输出结果的调节,并且对结果进行了更具理解性的排序。在此基础上,ChatGPT还引入了“无害化”机制,防止模型生成不符合规范或伦理的答案。

不难看出,ChatGPT的出圈,与OpenAI多年的技术积累是分不开的。国内厂商想要开发出像ChatGPT一样优秀的模型,也绝不是简单依靠拉一波投资,雇一批算法研究员就能马上实现的。

“中国的ChatGPT”面临的挑战

首先,在资金投入方面,在当前的技术水平下,训练一个与ChatGPT这样的大型语言模型相当的模型需要数百万美元的投入。在发布ChatGPT之前,OpenAI可查的融资额已超过20亿美元,也是如此庞大的投资才使OpenAI拥有了多年技术积累。反观绝大多数近期入局的国内企业,即便拥有足够的资金与人员,也大都很难在短期追上OpenAI的步伐。

我们不禁想问,如果要在国内开发出一个类ChatGPT模型,到底会面临哪些技术挑战呢?

为了能了解到最最准确的答案,我们请教了ChatGPT“本人”

1、数据量:需要大量的数据集来进行训练。这些数据集需要是大规模的、多样化的、真实的,并且要涵盖各种不同的语言和语境。这需要花费大量的时间和资源来收集、整理和标注。

2、计算能力:需要非常强大的计算资源。这些模型需要在大规模的数据集上进行训练,并且需要进行大量的参数优化和调整。这些计算需要高性能的计算机和高效的分布式计算框架。

3、 算法优化:需要对算法进行不断的优化和改进。这包括优化网络结构、调整超参数、使用更好的优化算法等。这需要对深度学习算法有深入的了解和经验。 

可以发现,这是一个涉及到多个领域和技术的复杂系统工程。只有同时在底层的基础设施、针对性优化和大模型技术积淀都达到一定水平的情况下,才能够研发出高质量的模型,并应用于各种场景中。

让我们详细看看这三类技术挑战具体都意味着什么。

数据量

我们经常听到“有多少数据,就有多少智能”,数据对于模型训练的重要性不言而喻。类ChatGPT模型的训练,更需要超大规模的,经过清洗的数据。以GPT-3的训练为例,需要300B tokens的数据。大家如果对这个数字不敏感的话,可以参考整个英文的维基百科的数据量,只有“相对可怜”的3B tokens,是训练GPT-3所需的百分之一。并且,要训练出类ChatGPT模型,势必需要数倍于当年训练GPT-3的数据量的中文语料数据,这对于大部分企业或科研机构来说都是难以翻越的大山。有效的中文数据量,一定程度上决定了模型性能的上限。

计算能力

类ChatGPT模型的训练,除了需要非常多的训练数据外,也离不开庞大的算力支撑。根据北京智源人工智能研究院公布的数据,使用300B tokens的数据训练175B参数规模(与GPT-3规模相同)的模型,如果使用96台通过200Gb IB网卡互联的DGX-A100节点,需要约50天。要是使用更大规模的训练数据集,训练时长还会进一步增加。

对于计算集群来说,不仅需要能够提供海量的算力资源,还需要具备高速网络和高容量存储,以便支持大规模的数据访问和模型传输。整套基础设施,连同软件平台,还需要结合集群的拓扑结构针对分布式训练进行优化,通过调整并行策略等方式,提升硬件利用率与通讯效率,缩短整体训练时间。

算法优化

算法优化和模型的训练效率和效果息息相关。每一个算法研究员,都希望模型在训练过程中快速收敛,这恰恰也是算法研究人员经验与企业长年技术积累的体现。通常情况下,在训练的过程中需要不断调整学习率、批量大小、层数等超参数,或使用自动调参的技巧和经验,才能快速、稳定的实现模型收敛。就像中餐大厨们用“少许、适量”的调料制作美味佳肴一样,里面包含着的是大厨们几十年的手艺,不是一朝一夕就能被批量复制的。

前途是光明的,道路是曲折的

想必,这是最适合送给现在想要开发出“中国的ChatGPT”的各路大佬们的一句话了。为规避未来的技术风险,不少厂商、科研机构也开始探索在自研算力服务平台上训练的可行性。北京智源人工智能研究院作为国内顶尖的人工智能领域研究机构,早早就探索了使用自研算力服务平台的可能性。同样是使用300B tokens的数据训练175B参数规模的模型,通过曙光提供的算力服务,训练周期只需29.10天,在节点规模接近的情况下,训练效率是其他算力平台的300%。

基于自研算力服务平台进行训练,不可避免的会带来更多的移植与调优工作。曙光智算强大的硬件与算法优化团队,在集群、并行策略、算子、工具包等方面的优化上与智源开展了深入的合作。首先,为保证程序能够正常运行,需要完成包括DeepSpeed/Megatron/Colossal-AI/apex等必要组件的适配工作。其次,程序系统顺利调度通常也需要调整调整操作系统配置及tcp协议参数等。训练的优化工作则主要包含以下三个方面:

  • 算子层面:使用算子融合/算子优化等技术,深度挖掘硬件性能,提升硬件使用率;

  • 策略层面:采用模型并行、数据并行、流水线并行、Zero等多级并行策略,实现超大规模训练;

  • 集群层面:针对硬件的拓扑结构,对分布式训练通信、并行分组配比等进行定制优化,提升训练扩展比。

通过一系列的优化方法,最终也证明了我们可以在自研算力服务平台上,以能够对标国际水平的效率实现大模型的开发工作,这无疑为“中国的ChatGPT”的开发工作喂了一颗定心丸。希望在不久的将来,我们可以看到真正在自研算力平台上训练的,能与ChatGPT比肩的中文模型。

前途一定是光明的。

全球主流AI大模型TOP10榜单


iphone15pro改动 iphone 15 pro外观被曝苹果全面屏

iphone15pro改用usbc端口,iphone15pro改名,iphone15pro改ultra,iphone15pro改变

  以下是今晨值得关注的新闻

  iPhone 15 Pro 系列可能将升价

  传苹果也在做类似 ChatGPT 的 AI 产品

  OpenAI 联合创始人谈 GPT-4

  前 OpenAI 员工推出 ChatGPT 竞品

  假「泰国香米」企业已被连夜查封

  Tiffany 被曝一钻两卖

  小米再投汽车产业链

  中国富人家庭数据出炉

  我们需要「软件评论」

  chatgpt 或于 6 月推出

  Microsoft Build 2023 五月开启

  乐高举办首届「超跑车展」

  Billie 推出夜光刮毛刀

  卡西欧推出 GMW-B5000 40 周年纪念款

  昆汀公布导演生涯最后一部电影

  《宇宙探索编辑部》发布新预告

  《碟中谍 7》首曝海报

  iPhone 15 Pro 系列可能将升价

  据海通国际证券分析师 Jeff Pu,苹果今年将推出的 iPhone 15 Pro 和 iPhone 15 Pro Max 有可能将比上代对应 Pro 系列产品更贵。

  据分析,这次升价源自 iPhone 15 Pro 系列的多个升级更新,如钛合金框架、额外的 Taptic 引擎支持的固态按钮、A17 芯片等等。

  传苹果也在做类似 ChatGPT 的 AI 产品

  《纽约时报》称,苹果正在测试生成式 AI 概念,未来可能将用于 Siri,即便 Siri 本身的设计存在部分根本性问题。

  在上个月的年度 AI 峰会中,苹果向员工同步了其大型语言模型和其他 AI 工具的情况。包括 Siri 团队在内的苹果工程师们,据说每周都在测试语言生成概念,以应对像 ChatGPT 这样的新型聊天机器人。

  报道援引前苹果工程师 John Burkey 的话指出,Siri 的代码很「笨重」,即便是基本的功能更新也得花几周来弄。因此,想让 Siri 变成像 ChatGPT 这样的「创意助手」很难。

  OpenAI 联合创始人谈 GPT-4

  在备受关注的 GPT-4 推出后,TechCrunch 采访了 OpenAI 联合创始人 Greg Brockman。

  当被问及 GPT-4 和 GPT-4 的差异,Brockman 表示新模型虽然还有很多问题,但它的技巧改进也是显而易见的,如微积分和法律,「它从在特定领域非常糟变得相对还挺好」。

  谈及到 GPT-4 的图片输入功能,Brockman 说它的推出将是「缓慢且有意识的」,因人脸识别和图片处理本身就会有政策问题,因此 OpenAI 要先搞清楚「危险区域和红线在哪里」。

  另外,Brockman 还谈到了 GPT-4 的「记忆」问题。

  OpenAI 现在在测试一个 GPT-4 的版本,据说可「记住」50 页左右的对话内容(以更好地回答用户问题),是一般 GPT-4 记忆量的五倍,是 GPT-3 的八倍。

  Brockman 相信更大的记忆量能带来新应用机遇,如企业服务 ―― AI 为公司调用多个(部门)来源的信息,以非正式的对话方式回答问题。

  前 OpenAI 员工推出 ChatGPT 竞品

  由前 OpenAI 高管 Dario Amodei 和 Daniela Amodei 联合创立的公司 Anthropic 推出了一款 ChatGPT 竞品「Claude」。这家创业公司已经获得了 Google 母公司 Alphabet 的投资。

  Claude 和 ChatGPT 一样,可以提供类人文本反馈,完成多种任务。

  和 ChatGPT 不同的是,Anthropic 更重视打造更少可能去生成冒犯性内容的 AI 系统。团队在训练 Claude 的时候,会给 Claude 一套原则,并让 Claude 根据规则解释自己的反对意见。

  对于科技公司来说,安全问题非常棘手,因为 AI 本身并不能理解所生成文字的含义。

  假「泰国香米」企业已被连夜查封

  部分声称为「泰国香米」的产品,不仅产地不是泰国,就连香味也是用香精调配出来的。于是,明明是安徽本地大米,加了香精就变成了来自泰国的茉莉香米。

  据幸福肥东官微,针对被曝光的安徽香王粮油食品公司假香米问题,肥东县市场监管、公安等联合执法组第一时间赶至现场,已对该企业进行查封,对所有大米及其它原料等现场封存。

  同时,电商平台也紧急下架了香米香精等相关添加剂。

  在拼多多上搜索「香米精」「香米香精」,已显示「暂无搜索结果」;在淘宝上也已搜不到「香米香精」相关产品,不过搜索「香米精」仍能看到一些产品。

  Tiffany 被曝一钻两卖

  近日,一女子爆料称自己在 Tiffany 专柜选中了一颗 1.46 克拉价值 186000 元的钻戒,销售承诺为其从哈尔滨调货。

  不料,在交完了 186000 定金之后被告知钻戒在 10 天前就被卖掉了。3 月 15 日,当事人称专柜给出的解决方式是换一颗更贵的钻戒,需要补款。

  她希望专柜可以赔付自己 20% 的定金和从无锡到北京多次来回的差旅费。该专柜工作人员称当事人正在店里,双方正在协调此事。

  小米再投汽车产业链

  近日,上海追锋汽车系统有限公司完成千万元级 A+ 轮股权融资,投资方为小米旗下产业投资基金北京小米智造股权投资基金合伙企业(有限合伙)。

  除了追锋汽车,小米智造还投资了锂离子电池材料商法恩莱特、汽车电阻制造商鼎声微电、集成电路芯片公司傲芯科技、碳化硅器件研发商飞锃半导体以及汽车电子芯片研发商鸿翼芯等企业。

  小米系旗下目前还有小米长江产业基金、顺为资本以及小米私募股权基金管理有限公司三个股权投资平台,在汽车产业链上围绕动力电池、智能驾驶和汽车芯片等关键领域做了大量投资和布局。

  中国富人家庭数据出炉

  《2022 意才・胡润财富报告》近日发布,示了目前中国财富家庭数量、地域分布情况以及人群画像。

  目前中国高净值家庭最集中的城市呈现「3+2+2」格局,前三大是北京、上海和香港,其次是深圳和广州,再次是杭州和宁波。

  中国 600 万资产「富裕家庭」较上年增长 2.1% 至 518 万户;

  千万资产「高净值家庭」较上年增长 2.5% 至 211 万户;

  亿元资产「超高净值家庭」较上年增长 3.5% 至 13.8 万户。

  我们需要「软件评论」

  软件是我们时代重要的文化产品,但我们却没有像书评、影评、建筑评论一般专业的「软件评论(Software Criticism)」。

  在程序员兼作者 Sheon Han 看来,这不合理:

  如果不提及特定软件,也许我们根本无法全面地理解我们的时代。

  因此,关于软件的批判性思考是必要的。

  和「科技评论」不同,「软件评论」只专注于一个软件,并只谈论软件方面的内容(不谈市场需求等)―― 用户交互、前端、后端、基础架构,并最后提出一个论点。

  同时,「软件评论」也需作者融入不同学科的内容――技术、社会学、历史、哲学等等。

  假如为「Google Docs」写软件评论,可能要先提供部分关于写作的历史文化信息,然后再谈一下这个软件的技术如何让「实时协作」这个工作模式普及起来,另外还能探究未来的工作协作模式,最后讨论下软件的文化和社会意义。

  Han 认为,「软件评论」也是一种「服务」,有助于促进软件创作者、消费者和评论间的交流,进而推动软件发展。同时,它也能发掘鲜为人知的创作者和作品。

  以上观点摘自《连线》杂志,全文 【【网址】】/Czv0Xh

  chatgpt 或于 6 月推出

  据德国博客 WinFuture,Google 可能将于 I/O 2023 活动上发布其折叠屏手机 Pixel Fold。

  报道援引零售商消息指出,Google 将于 6 月带来 Pixel Fold 和 Pixel 7a,前者将有碳黑和陶瓷白两种配色。

  此前,也有人在火车上看到有人持有疑似 Pixel Fold 的照片。

  Microsoft Build 2023 五月开启

  今年 5 月 23 日-25 日,微软将于西雅图举办 Microsoft Build 2023 开发者大会。

  在活动上,微软将分享产品更新消息。今年,我们预计将看到关于 Windows 11 和以 AI 助力的 Bing 和 Edge 的更新资讯。

  乐高举办首届「超跑车展」

  在 3 月 11 日-29 日期间,乐高于上海市乌鲁木齐南路 Anomaly OPEN 空间举办首届乐高超跑车展。

  展览集结了 30 款车型,全新发售的 8 款新品也将与消费者见面。

  除了官方的超跑套装,车展还陈列了许多乐高迷们改装作品。儿童还可以预约现场的改装车工作坊。

  Billie 推出夜光刮毛刀

  DTC 脱毛品牌 BILLIE 推出了一款夜光刮毛刀 Moonbeam:

  灵感来自于星际旅行,数字未来主义和可爱的 90 年代动画。Moonbeam 向我们的过去、现在和未来的变革性物件致敬。

  其联合创始人表示,这款产品旨在为用户的日常护理带来一些新鲜感和奇妙的感觉。

  卡西欧推出 GMW-B5000 40 周年纪念款

  为庆祝 G-SHOCK GMW-B5000 诞生 40 周年,卡西欧将推出 GMW-B5000 纪念系列。

  纪念系列一改过往的「金银方块」,不锈钢表面采用热结晶处理,打造不规则花纹,使其不再是完全镜面而是呈现哑光特性。

  昆汀公布导演生涯最后一部电影

  昆汀・塔伦蒂诺此前曾说,个人导演生涯只拍十部作品。他的第九部作品是 2019 年上映的《好莱坞往事》。

  据 The Hollywood Reporter,昆汀的第十部导演作品是《影评人(The Mochatgpt)》,将于今年秋季开拍。

  故事背景设定于 1970 年代,有传将讲述传奇女影评人 Pauline Kael。

  《宇宙探索编辑部》发布新预告

  科幻喜剧《宇宙探索编辑部》发布「宇宙信号」版预告。

  

  影片讲述了科幻杂志《宇宙探索》编辑部的主编唐志军痴迷于寻找地外文明。有一天,他接收到了一个疑似来自宇宙深处的异常信号,于是他踏上了寻找外星人的旅途。

  《碟中谍 7》首曝海报

《碟中谍 7:致命清算(上)》发布官方海报,定档 7 月 14 日北美上映。

  该影片将继续由克里斯托夫・迈考利执导,讲述伊森・亨特和他的团队面对新挑战的故事。

  墨典单词

  iOS

|

  ¥30 → 6

  一个包含 70 万单词的本地英语词典,有各种考试大纲和语料库词库。在这里你可以获取从四六级到考研、托福、雅思、GRE 等不同级别的单词库。

  CoinsNote - 轻松记账

  iOS

|

  ¥12 → 0

  一款个人记帐 app,拥有简单优雅的用户界面且非常注重操作体验,致力于使记帐变成你的生活习惯。

  每天,APPSO 都会为你悉心挑选精美图片,让你的手机与众不同。

  今天给大家分享 2 张壁纸,喜欢的小伙伴可以试试。

@ar72014