庆云古诗词

庆云古诗词

8点1氪丨中国电科回应“员工痛批强制加班”;ChatGPT停售Plus服务;?特斯拉低价车型要来了,规划年产能400万辆

互联资讯 0

2023年11月20日 每日一猜答案: 答案:ABC
每日一猜答案分析:

中电科吧,中电科8号院最新消息,中国电科科技集团有限公司,中国电科第8研究所

上市进行时

广州慧智微电子、航天南湖电子、上海新相微电子

证监会同意广州慧智微电子股份有限公司、航天南湖电子信息技术股份有限公司、上海新相微电子股份有限公司首次公开发行股票并在科创板上市的注册申请。(证券时报)

知行汽车科技

据港交所文件,知行汽车科技(苏州)股份有限公司向港交所提交上市申请书。

中科磁业

4月3日,中科磁业在深交所创业板上市。中科磁业成立于2010年,位于东阳市横店镇,主要从事永磁材料的研发、生产和销售,是目前国内重要的永磁材料生产商之一,致力于发展成为新一代消费电子和节能家电领域全球领先的永磁材料应用方案提供商。(东阳发布)

TOP3 大新闻

中国电科回应“员工痛批强制加班”:非集团公司所属成员单位和员工

4月4日,疑似“中国电科员工怒怼领导清明节强制安排加班”的相关聊天记录在网络上传播。5日,中国电子科技集团有限公司(以下简称“中国电科”)回复人民网财经表示,网传微信群聊天记录所涉单位和人员,非集团公司所属成员单位和员工。中国电科新闻发言人表示,近日,中国电科关注到多个网络平台根据网传“CETC成都事业部(413)”和“CETC-软件开发课(27)”两个微信群聊天记录,发布和传播有关中国电科的不实信息和言论。中国电科高度重视,认真排查,上述微信群聊天记录所涉单位和人员,非集团公司所属成员单位和员工。对于传播、扩散虚假不实信息的行为,集团公司将保留追究法律责任的权利。(人民网)

ChatGPT停售Plus服务

4月5日,ChatGPT官网停止Plus付费项目的购买。在升级界面,OpenAI表示“因需求量太大暂停了升级服务”。官网显示,ChatGPT Plus每月付费20美元,服务特权包括高峰时期正常访问、更快的响应速度以及优先获取新功能。(中国证券网)

特斯拉低价车型要来了,规划年产能400万辆

36氪从多名产业人士处获悉,特斯拉正在为其新的低价车型,规划一副宏大的产能版图。消息人士称,这款低价车型是一个小号【【微信】】。特斯拉正在为其构建一个高达400万辆的年产能计划。据36氪了解,这是一项早期的产能策略,特斯拉正在向产业链传递:400万辆产能会分布在全球工厂,其中,北美的超级工厂将承担200万辆,德国柏林工厂和上海临港工厂分别承担100万辆。而在北美工厂当中,墨西哥的蒙特雷工厂会是这款新车型的产能主力。

大公司/大事件

三六零:周鸿t拟将6.25%公司股份分割至胡欢名下

36氪获悉,三六零发布公告称,公司获悉2023年4月4日周鸿t先生与胡欢女士经友好协商,已办理解除婚姻关系手续,并就股份分割等事宜作出相关安排。根据周鸿t先生与胡欢女士签订的《离婚协议书》,周鸿t先生拟将其直接持有的公司446585200股股份(约占公司总股份的6.25%)分割至胡欢女士名下。本次权益变动不会导致公司控股股东、实际控制人发生变化,不涉及公司控制权变更。

小米回应网传余承东加入小米汽车:都是胡编乱造的消息

针对有媒体报道华为终端公司总裁余承东将赴小米汽车任职的消息,小米集团公关负责人向36氪回应:这些都是胡编乱造的消息。据悉,近日,有网传消息称,华为终端公司总裁余承东即将赴小米汽车任职,余承东和雷军冰释前嫌,小米汽车已经向余承东伸出了橄榄枝,余承东从华为离职卸任之后,将马上赴小米汽车任职首席技术官CTO,有可能把华为汽车技术研发部门的一部分员工也挖过去。

理想汽车回应王兴减持4.2亿港元港美股

对于“王兴近半个月减持约4.2亿港元理想汽车港美股”,理想汽车回应表示,“本次交易股票为个人行为,交易占他(王兴)总持股比例很小一部分,不涉及美团持股部分。”据港交所数据,理想汽车非执行董事及美团董事长王兴3月30日减持了理想汽车港股。这也是3月21日以来其第6次减持港股,合计减持约3.10亿港元。王兴同时减持了3次理想汽车美股ADR,合计减持约1407万美元。(新浪财经)

华为2022年掏出719.55亿元分红,14万持股员工受益

4月4日,经华为公司内部有权机构决议,拟向股东分配股利人民币719.55亿元。相比2021年分红总额614.04亿元,同比增加105.51亿。(中证报)

美股三大指数收盘涨跌不一,大型科技股普遍下跌

36氪获悉,4月5日收盘,美股三大指数涨跌不一,纳指跌1.07%,标普500指数跌0.25%,道指涨0.24%。大型科技股普遍下跌,特斯拉跌超3%,亚马逊跌超2%,苹果、Meta跌超1%。人工智能概念股延续跌势,BigBear.ai控股跌超18%。热门中概股多数下跌,网易有道跌超15%,新东方、爱奇艺跌超5%,微博、知乎跌超4%,腾讯音乐跌超3%,阿里巴巴、百度、蔚来、理想汽车跌超2%。

拼多多增加联席CEO赵佳臻,与陈磊搭档

36氪获悉,拼多多集团发布公告称,经董事会批准,联合创始人赵佳臻将出任执行董事和联席CEO,与董事长、联席CEO陈磊搭档,共同管理公司业务。

虎头局上海门店大量停业,总部办公点人去楼空,欠下一百多万房租

第一财经记者4月5日查询虎头局官方小程序发现,目前上海的新天地店、南丰城店和环贸iapm店等显示在营业中,而大部分上海门店均为门店休息状态。在大众点评上,上海市的11家门店均已暂停营业,电话也基本无人接听。随后,第一财经记者来到环贸店,发现该门店已经关闭,门口有一个“内部调整中”的牌子。第一财经记者来到上海新天地、上海来福士和久光的虎头局门店,看到这些门店已经暂停营业,柜台内基本没有商品,有些门店还有说明牌写着“内部调整,暂停营业”。对于办公室搬离,虎头局表示,办公室搬到虎头局实验室了,离原来的地点不远。至于线下门店情况,虎头局未直接回应,但表示,线上所有的店铺营销和运营均在正常进行中,电商渠道所有销售订单都在平台合规范国内有序发货,无任何延迟。(第一财经日报)

北京环球影城叫停未授权商业旅拍

针对部分社交网站传出的“环球影城不让年卡摄影师进入”,4月3日,北京环球影城方面予以证实,称如果游客正常拍照、录像,并用于私人或是非商业用途依然是被允许的,如果是用于商业用途等则是禁止的。(北京商报)

北京:全市土地出让收入用于农业农村比例不低于7.5%

北京市委、市政府日前印发《关于做好2023年全面推进乡村振兴重点工作的实施方案》。《方案》提出:坚持把农业农村作为一般公共预算优先保障领域,市政府固定资产投资进一步向农业农村倾斜,完善农业支持保护各项制度,全市土地出让收入用于农业农村的比例不低于7.5%。(北京日报)

深圳市交通运输局:调整新能源小汽车增量指标申请条件

36氪获悉,深圳市交通运输局发布《关于调整新能源小汽车增量指标申请条件的通告》,持有效深圳市居住证的非深户籍人员,申请新能源小汽车(纯电动小汽车、混合动力小汽车)增量指标的,不要求最近连续24个月以上在本市缴纳基本医疗保险。本政策自发布之日起实施,至2023年12月31日结束。

上海制定外贸外资政策共41条措施:鼓励跨境货物贸易优先使用人民币结算

上海市政府新闻办举办“营造一流营商环境 服务构建新发展格局”主题系列的首场新闻发布会,介绍《上海市促进外贸稳规模提质量的若干政策措施》和《上海市加大吸引和利用外资若干措施》有关内容。其中提到,支持开拓多元化市场,以深入实施RCEP为契机,支持企业开拓国际市场。主要提出:举办华东进出口商品交易会线下展。加大企业参加海外重点展会展位费支持。建设海外仓综合服务平台。鼓励跨境货物贸易优先使用人民币结算等。(澎湃新闻)

中国对外贸易中心:本届广交会将对境内采购商全面开放

中国对外贸易中心主任储士家在新闻发布会上表示,本届广交会将对境内采购商全面开放。需要说明的是,境内采购中既有面向国内市场的,也有面向国际市场的,还有同时面向国内国际两个市场的。目前,境内采购商报名踊跃,京东集团、苏宁易购、唯品汇、网易严选、华润万家、华联超市、永辉超市、广百股份、雨果跨境、希音国际、飞利浦家电(中国)等近百家国内零售百强、知名跨境电商、外资企业、行业领军企业等大采购商均确认参会。(证券时报)

4月10日将举行主板注册制首批企业上市仪式

36氪获悉,上交所、深交所表示,目前,主板注册制首批企业上市交易的各项准备工作已基本就绪,上市时机已经成熟,将于4月10日(周一)举行首批企业上市仪式。

机票燃油附加费年内第二次下调:4月5日起单程最低降至30元

3月底开始,中国民航正式执行2023年夏秋航季航班计划,国际航班票价呈下降趋势。另外,多家国内航空公司表示,从4月5日开始,下调燃油附加费。(央视新闻)

鸿海创始人郭台铭结束美国行,4月5日发表工作计划报告

据报道,鸿海集团创始人郭台铭于4月5日发表未来工作计划报告。据了解,郭台铭于3月27日晚间启程前往美国开始为期12天的访问。郭台铭透露,此次在与哈佛医学院院长交流时,得知AI经由哈佛医学院投入ChatGPT-4的训练后,对癌症判断的准确率可以超过90%。(界面新闻)

特斯拉首次召回电动卡车Semi

据报道,美国国家公路交通安全管理局官网信息显示,特斯拉首次召回电动卡车Semi,涉及35辆问题车辆,且全部是在今年生产。因驻车制动阀模块缺陷,增加碰撞的风险,特斯拉将召回车辆,并免费更换缺陷部件。(财联社)

谷歌推出机票线上订购服务,并基于起飞前最低票价退赔差价

据报道,谷歌于4月3日推出一款新功能,将可以对机票价格进行实时关注并线上订购,并可以在已订购机票的票价起飞前又出现下跌时,向旅客退还差价。(财联社)

SpaceX星际飞船可能最早于下周进行首次入轨测试

美国联邦航空管理局(FAA)发布的一份通知显示,SpaceX星际飞船系统最早可能于下周进行首次入轨测试。据FAA网站周二发布的通知显示,星际飞船系统可能的发射日期为4月10日,备用发射日期为4月11日和12日。这些信息出现在FAA每日空中交通运营计划中,向航空公司等通报哪些事件可能造成航班延误。但SpaceX的此次发射尚未获得FAA的官方许可,星际飞船系统的发射时间仍不确定。因为通知是由FAA下属的空中交通组织(ATO)发布的,其在商业太空发射的审批过程中没有发言权。(网易科技)

iOS17或放弃对iPhoneX支持

据 MacRumors 报道,苹果 iOS 17 和 iPadOS 17 软件更新预计将放弃对 iPhone 8、iPhone 8 Plus、iPhone X、第一代 9.7 英寸和 12.9 英寸 iPad Pro 以及第五代 iPad 的支持。此列表中的设备是在 2015 年 11 月至 2017 年 11 月之间发布的。该信息如果准确,iOS 17 和 iPadOS 17 将与大多数搭载 A11 仿生芯片或更旧芯片的设备不兼容。唯一的例外是配备 A10 Fusion 芯片的第六代和第七代 iPad 型号以及配备 【【微信】】 芯片的第二代 10.5 英寸和 12.9 英寸 iPad Pro。(IT之家)

苹果公司据称减少部分公司零售部门岗位,受影响员工可申请新工作

据知情人士透露,苹果公司正在裁减公司零售团队中的一小部分职位,这是该公司去年开始紧缩开支以来首次听说内部裁员。苹果在其所谓的开发和维护团队减少职位。这些团队负责苹果全球各地零售店和设施的建设和维护。苹果将这一举措定位为精简,而非裁员。它告诉员工,这些调整旨在改善全球商店的维护,公司将为受影响员工提供支持。苹果告诉这些团队的员工,他们可以重新申请一些与之前工作相似的岗位。(新浪财经)

韩媒:因MacBook需求低迷,苹果M2芯片曾暂停生产两个月

据韩媒报道,苹果已在1、2月暂停生产用于MacBook的M2系列芯片。消息人士称,虽然在3月份恢复了该系列芯片的生产,但产量较一年前下降了一半。这是苹果公司首次暂停生产其称为“苹果硅”的芯片。消息人士表示,苹果芯片代工厂台积电1-2月都未送出任何已完成的5纳米M2晶圆,给封装和测试厂切割与组装为芯片成品。他们补充称,这只会在苹果要求的情况下发生,很可能是由于搭载这些芯片的MacBook需求低迷而引发。(界面新闻)

Meta计划年底前实现生成式AI商业化,用于广告图像

日经新闻4月5日消息,Meta计划在今年年底前将其专有的生成式人工智能商业化,用于生成广告图像。在访问日本期间,Meta首席技术官安德鲁・博斯沃思(Andrew Bosworth)接受采访表示,预计这项技术能帮助Meta的客户更有效地接触受众,降低成本。(界面新闻)

TikTok回应英千万英镑处罚:乐见罚款“从3373万美元大幅降低”

据路透社5日报道,英国信息专员办公室4日对中国短视频社交媒体平台TikTok罚款1270万英镑,声称原因是TikTok违反数据保护法律,未经家长同意使用13岁以下儿童的个人数据。对此,TikTok一位发言人当天回应称,公司不认同信息专员办公室的决定,但是乐见罚款“从该办公室去年提出的3373万美元大幅度降低”。(环球网)

亚马逊游戏部门宣布裁员100多人

4月5日消息,当地时间周二,亚马逊游戏部门高管宣布将裁员100多人。亚马逊游戏(Amazon Games)副总裁克里斯托弗・哈特曼 (Christoph Hartmann) 在给员工的备忘录中写道,此次裁员涉及隶属于亚马逊视频游戏部门的游戏增长 (Game Growth) 团队、亚马逊圣地亚哥游戏工作室和专门为亚马逊会员提供游戏服务的Prime Gaming团队。哈特曼说,一些员工会被调整到“符合我们战略重点”的其他项目。(网易科技)

麦当劳临时关闭美国办公室

美国科技行业的大规模裁员潮还未结束,服务业也开始准备挥下裁员的大刀。4月2日,美国媒体援引知情人士报道称,麦当劳本周将暂时关闭其在美国办公室,并准备为其重组计划下达裁员通知。据报道,2022年麦当劳全年实现营收231.8亿美元,同比增长6%,实现净利润为62亿美元,同比下降13%。(央视财经)

瑞士央行副行长:若未同瑞银达成交易,瑞信或已破产并引发全球金融危机

据外媒报道,瑞士央行副行长Martin Schlegel表示,瑞信集团如果没有出售给瑞银集团,那么下一个交易日就会破产,从而引发全球金融危机。Schlegel在采访中称,如果政府斡旋的收购交易未能达成,“一场瑞士和全球的金融危机非常可能已经发生了,瑞信可能已经破产”。他表示,合并是“所有糟糕解决方案中最好的一个”,以及,对金融稳定的担忧不会阻止瑞士央行加息。(界面新闻)

AI最前沿

佰维存储:公司产品暂未涉及ChatGPT等人工智能领域

36氪获悉,佰维存储发布股票异动公告称,公司专注于从事半导体存储器的存储介质应用研发、封装测试、生产和销售,主要产品及服务包括嵌入式存储、消费级存储、工业级存储及先进封测服务,公司产品广泛应用于智能终端、PC、大数据、物联网、车联网、工业互联网等领域。截止本公告披露日,公司产品暂未涉及ChatGPT等人工智能领域。

三星员工被曝不当使用ChatGPT,半导体机密数据直传美国

自OpenAI公司去年11月底公布以来,聊天机器人ChatGPT的热度依然不减。许多人发现它确实能通过协助日常办公释放更多的劳动力,但风险也随之而来。综合多家媒体报道,自3月11日韩国三星电子允许部分半导体业务部门员工使用ChatGPT开始,在20天内便爆出了三起机密资料外泄事件。三起机密资料外泄案件中,其中两起与半导体设备有关,另一起与内部会议有关。(财联社)

比尔・盖茨:呼吁暂停人工智能开发不会“解决挑战”

当地时间4月3日,微软联合创始人比尔・盖茨在接受采访时表示,呼吁暂停人工智能开发不会“解决挑战”,最好是把注意力放在如何最好地利用人工智能的发展上,很难理解在全球范围内暂停AI研发将如何实现。“我不认为要求某个特定群体暂停工作就能解决挑战。”盖茨说,“显然,这些东西有巨大的好处・・・・・・我们需要做的是确定棘手的领域。”微软已经许诺向ChatGPT开发者OpenAI投资数十亿美元。(界面新闻)

德国考虑“封杀”ChatGPT

4月3日,德国联邦数据保护专员发言人称,出于数据保护方面的考虑,暂时禁止在德国使用ChatGPT原则上是可能的。该发言人称,禁止使用该软件的动作将属于德国联邦数据保护机构的职权范围。此外,该机构要求意大利监管机构提供有关其阻止ChatGPT的更多信息。此前,意大利副总理马泰奥・萨尔维尼公开批评了意大利个人数据保护局禁止聊天机器人ChatGPT的决定。“封杀”ChatGPT一事,在意大利高层引发了激烈讨论。(每经网)

意大利隐私监管机构将与OpenAI代表会面,讨论ChatGPT禁令

根据4月4日发布的一份声明,意大利隐私监管机构将于当地时间周三与OpenAI代表会面,讨论在该国暂时禁止使用ChatGPT的问题。OpenAI表示,该公司愿意同意大利当局合作,以确保遵守隐私法规。(财联社)

投融资

广州螺蛳粉品牌“柒点螺蛳粉”获得百万元天使轮融资

36氪广东获悉,天眼查显示,近日,广州柒点螺食品科技有限公司(以下简称“柒点螺蛳粉”)宣布获得百万元天使轮融资。“柒点螺蛳粉”成立于2022年,是一家以螺蛳粉食材原料为核心,集产品研发、集中采购、生产加工、物流配送、品牌定制、营销推广、连锁品牌管理运营、饮食文化传播于一体的连锁品牌。

深圳健康医疗大数据服务企业“旗云健康”获数千万元A轮融资

近日,深圳达实旗云健康科技有限公司(下面简称「旗云健康」)宣布完成数千万元A轮融资。本轮融资由深高新投领投,银杏天使跟投,融资资金将用于核心技术研发、新产品布局及市场拓展。「旗云健康」是一家健康医疗大数据服务企业,提供健康医疗信息和大数据系统规划、建设和全生命周期运营服务。(投资界)

重庆快鲜生获得数百万元天使轮融资,东吴创业投资领投

4月3日消息,重庆快鲜生科技有限公司近日宣布完成数百万元天使轮融资,由东吴创业投资领投,老股东跟投。本轮融资将用于加速公司在预制菜门店和终端物流服务领域的扩张,进一步提升公司的技术能力和服务水平,为客户提供更加优质的服务体验。(投资界)

轻医美连锁品牌“秋涛美肤”获天使轮融资

36氪获悉,轻医美连锁品牌“秋涛美肤”已完成560万元的天使轮融资,资方为消费医疗赛道投资医疗服务机构的产业投资人。此轮融资资金将用于加大平台数字化投入,吸纳与培养轻医美专业人才。

“镓仁半导体”完成数千万元天使轮融资,蓝驰创投领投

近日,“镓仁半导体”宣布完成数千万元天使轮融资。本轮融资由蓝驰创投领投,禹泉资本跟投。融资资金将用于强化团队和产品研发。据介绍,镓仁半导体是一家专注于氧化镓等超宽禁带半导体单晶衬底及外延材料研发、生产和销售的科技型企业。

酷产品

金山办公发布 WPS 365 全家桶

4 月 5 日消息,金山办公宣布推出旗下办公软件的全新品牌“ WPS 365 ”。据介绍,WPS 365 是金山办公面向政府、企业及组织的数字办公全家桶。包括 WPS Office、云文档服务、云盘、即时通讯、视频会议、邮件等办公产品和服务。据官网,WPS 365 体验版可免费使用(上线 20 人),商业版最低价为 199 元 / 人 / 年。( IT 之家 )

整理|单天青


如何用chatgpt写长文 chatgpt无法生成长文

如何用chatGPT写长篇小说

自从今年ChatGPT引爆了全球AI应用后,墙内的我们不止一次发问,为什么我们造不出ChatGPT呢。当然,有很多的UP引经据典说了一大堆,基本最后的结论就是国内的科研环境不好,所以搞不出ChatGPT是正常的。

一开始我也是这么认为的,但当我所在的公司为了蹭GPT的热度,在不投人不投资源的情况下,作为打工人的我们不得不去搜遍各种路径之后,我却发现,我们也许没有想象中那么差。当然,我们不能抛开事实不谈,有差距我们要承认,ChatGPT的诞生,有偶然但更多的是必然,OpenAI没有推出来,谷歌也会推出,甚至清华也会推出来,当然,蹭热度的就不算了。

至于这么说的原因,且听我细细说来。

以史为鉴,可以知兴衰,所以,让我们先往回看。大语言模型是自然语言处理领域的一个重要方向,很多人应该都了解这一点,其发展历程可以追溯到几十年前的早期研究。其经历了以下几个主要里程碑:

20世纪60年代:科学家开始研究基于规则的自然语言处理方法,即使用规则手动编写程序,以实现自然语言的分析和生成。

20世纪80年代:出现了基于统计机器学习的自然语言处理方法,如隐马尔可夫模型和条件随机场等。这些方法可以自动地从大量语言数据中学习概率模型,并利用这些模型进行语言分析和生成。

2013年:谷歌推出了语言模型Word2Vec,将大规模语料库中的单词映射到低维向量空间中,从而实现了单词之间的语义关联。

2015年:微软研究院推出了深度神经网络语言模型(Deep Learning Language Model,DLM),该模型利用多层神经网络学习语言的概率分布,并取得了显著的性能提升。

2018年:OpenAI发布了一种名为GPT(Generati【【微信】】rmer)的基于Transformer架构的语言模型,它使用无监督学习的方法预训练模型,然后通过微调进行各种自然语言处理任务的处理。

2019年:OpenAI发布了GPT-2,它比GPT更大、更强大,可以生成高质量的自然语言文本,甚至可以用来写出类似于人类写作的文章。

2020年:OpenAI发布了GPT-3,它拥有1750亿个参数的庞大规模,是目前公开发布的最大规模的语言模型。它可以用于各种自然语言处理任务,并在自然语言生成方面取得了重大突破。

是的,你没看错,GPT-3模型2020年就已经被OpenAI给训练出来了。只不过,当时仍旧是处于实验室研究阶段,哪怕是今年3月开始火爆全网的GPT-3.5其实在去年9月份就已经上线。

上一个引起类似的事件还是2017年的AlphaGO,但其造成的影响远没有ChatGPT来的深远,原因暂且不提,我们要关注的是同年另一件事。这一年有一篇震惊整个机器学习界的论文横空出世――《attention is all you need》。

在这篇来自于谷歌的研究中,开创式地只使用attention(注意力)机制来构建模型,并且不仅仅在NLP领域,在其他机器学习领域效果也非常惊艳。就是这个目前机器学习领域绕不开的transformer结构,奠定了目前各大公司搜索、推荐的基石,可想而知它带来的影响力。

transformer效果惊人,自然引起了各大科研机构以及公司的注意,OpenAI也不例外,注意,此时OpenAI还是一家创业公司,虽然背后有如马斯克等几位大佬的支持,不得不佩服马斯克的眼光,但此时其实力远比不上被微软收购之后。时隔不到一年,谷歌和OpenAI各自基于transformer模型又发表了两篇非常经典的论文。谷歌提出了Bert,OpenAI提出了GPT,两家长达5年的纠缠开始。

Bert和GPT这两种底层结构都是基于Transformer,区别在于Bert是双向的语言模型,而GPT是单向的。正常人都能看出,Bert的结构是要优秀于GPT的,事实上工业应用也是如此。在今年之前,有多少人听说过GPT模型。

那为什么最终在2023年,GPT却迎头赶上,并越甩越远呢。唯一的理由,那只能说是,不愧是谷歌。谷歌这家公司很有意思,往往最新、最具前瞻性的技术都是他提出来的,但又总是被模仿者超越,比如安卓系统、比如机器学习。在5年前的NLP领域,江山是属于Bert的,但有道是打江山易,守江山难,领先于时代的性能,让谷歌没有迭代Bert的动力,但GPT却在角落里默默发育。

不久后,GPT-2推出,性能远超GPT-1,但依然比不上Bert,而且随着参数规模的激增,数据集加工以及模型训练需要的成本也越来越高。OpenAI一度只能在开源社区接受资助才能勉强存活。2019年,微软看重了它的潜力,“你的模型不是受制于硬件潜力发挥不出来吗,交给我”,10亿美元的投资让OpenAI翻身。

2020年,GPT-3问世。相比于GPT-2模型的15亿参数,GPT-3提升到了1750亿,是Bert模型的两千多倍,单次训练的成本就高达460万美元。3月份开始大家所熟悉的GPT-3.5的参数同样是1750亿,所以,可以看出,2022年9月份上线的GPT-3.5并没有任何技术上的提升,其主要核心在于交互端的应用。

好一出潘磕嫦高富帅的剧本是不是?其实不然

2020年谷歌仍然是领先的,ChatGPT的大火是2022年底。而且,谷歌在这期间并不是没有进步,作为全球最大搜索引擎的持有者,哪怕是实验性质的研究,其结果也不能小觑。对于互联网大事件有关注的朋友应该还有印象,前两年,有这样一篇报道一度引起互联网大震荡。

一位谷歌人工智能伦理研究的员工与LaMDA对话之后,察觉LaMDA有自我意识。于是他给谷歌的高层写了一封邮件,结果没有得到回应。于是他对外公布了与AI的对话内容,最终被带薪休假……

是不是有点印象,那是2021年5月,谷歌当时就推出了智能问答AI――LaMDA。

在报出上述新闻后,该产品迅速销声匿迹,以至于今年ChatGPT大火之后, 谷歌要重新开始搞Bard。

这是因为当时这件事情引来了广泛的关注,甚至连谷歌的股价都受到影响,但不像是ChatGPT,几乎是一路好评到现在才开始受到人们的担忧。在当时,各界人士几乎是一致恐慌,也许是出于担心影响谷歌搜索引擎的主营业务,在发布会之后的一年半时间内,LaMDA一直没有向大众开放,直到年底ChatGPT 3.5的发布,引起了关注狂潮。尤其是和bing搜索能力的结合,对谷歌搜索业务产生了巨大挑战。谷歌这才仓促推出了Bard AI,不仅发布会翻车,并且实际体验效果也很糟糕,比起文心一言都有差距。

说了这么多,这里面好像没中国什么事,难道我们连背景板都称不上?其实不然

中国在大预言模型或者自然语言处理领域差距是很明显的,这毫无疑问,原因又很多,网上随便找几个视频,几篇文章,能给你列的清清楚楚。我想说的,是一些偏事实的东西,首先还是看看我们在自然语言处理领域的发展历程:

1990年代,中国开始在自然语言处理领域进行研究,主要集中在词汇处理、句法分析、语义分析等方面。

2000年代,中国开始在机器翻译、信息检索等领域积极探索,获得了不少的研究成果。

2010年代,中国在自然语言处理领域的研究得到了进一步的发展,主要集中在面向深度学习的新算法、数据集和工具的研究与开发。

2015年,中国的科学家开始在大规模预训练语言模型领域开展研究。

2018年,阿里巴巴首次发布了中文自然语言处理模型BART,并在很短的时间内就取得了较好的效果。

2019年,百度发布了中文自然语言处理模型ERNIE,成为国内首个达到SOTA水平的模型之一。

2020年,中文自然语言处理模型BERT的中文预训练模型“Chinese BERT”在多个任务上创造了最新的SOTA效果,证明了中国学者在大规模预训练模型领域的实力。

中国在自然语言处理和大语言模型领域的发展历程可以追溯到20世纪80年代。当时,中国开始进行语音识别和机器翻译技术的研究,这些技术的初步应用主要用于军事和国防领域。

随着计算机技术的不断发展,我们开始逐步加大在自然语言处理领域的投入和研究。1992年,中国的第一本机器翻译专著《机器翻译》由中国科学院出版社出版,标志着中国机器翻译技术的发展进入了一个新的阶段。

在大语言模型方面,很明显,我们的研究和发展相对晚很多。实际上直到2018年,国内才有一些科技公司和研究机构才开始加大在大语言模型领域的研究和投入。例如,科大讯飞在2018年推出了自己的超大规模语言模型“讯飞开放平台”,并在2020年推出了规模更大的“超脑5.0”,在语音识别、机器翻译等领域取得了不俗的成绩,2021年3月,华为发布了自己的大语言模型“华为鲲鹏”,参数规模超过了1.2万亿,成为当时世界上最大的语言模型。哪怕是我们一直吐槽的百度也在大语言模型领域进行了一系列的研究和实践,并推出了自己的大语言模型――Elastic-Weight-Consolidated Transformer(ELECTRA)。

在学术领域,我个人觉得,有两项研究同样具有很有意义,第一篇是2019年来自于哈工大讯飞联合实验室发布中文BERT-wwm-ext预训练模型,它的出现,可以说是开拓了中文Bert的基础。另一篇则是在2022年三月份发布的GLM模型,由清华大学发表的论文《GLM: General Language Model Pretraining with Autoregressi【【微信】】》提出,而由这篇论文发展出的ChatGLM,才是中文ChatGPT的希望。也是我们下一章要介绍的重点。也是我反驳中国造不出ChatGPT是因为科研环境问题的来源。

在聊到ChatGLM前,我们首先要意识到,ChatGPT本身并不是诞生于科研,它甚至不能被认为是一个新技术,或者是新的研究成果。它更多是一次AI在应用领域勇敢并且成功的尝试,而且前面也提到,由于其巨量的参数,ChatGPT单次的训练以及维护成本高的吓人,需要消耗海量的资金,因此有很多所谓的公知在那里说各企业舍不得花钱倒也没瞎说,毕竟,国内那几家所谓的大厂,除了阿里,能认真沉淀并做研究的也的确没几家。但要说所有高校舍不得花钱以及能力不行,就纯属为了黑而黑了。

篇首我就有提到,为了完成工作,我在查找开源资源时,从Hugging Face上发现了ChatGLM,进而找到了ChatGLM的blog,你没看错,它没有官网,也几乎没有宣传。

ChatGLM 显然是采用了 ChatGPT 的设计思路,但它是不同于 BERT、GPT-3 以及 T5 的架构,是一个包含多目标函数的自回归预训练模型。由其基础架构GLM形成的GLM-130B(1300亿参数)也有一些独特的优势。

双语: 同时支持中文和英文。

高精度(英文): 在公开的英文自然语言榜单 LAMBADA、MMLU 和 Big-bench-lite 上优于 GPT-3 175B(API: davinci,基座模型)、OPT-175B 和 BLOOM-176B。

高精度(中文): 在7个零样本 CLUE 数据集和5个零样本 FewCLUE 数据集上明显优于 ERNIE TITAN 3.0 260B 和 YUAN 1.0-245B。

快速推理: 首个实现 INT4 量化的千亿模型,支持用一台 4 卡 3090 或 8 卡 2080Ti 服务器进行快速且基本无损推理。

可复现性: 所有结果(超过 30 个任务)均可通过我们的开源代码和模型参数复现。

跨平台: 支持在国产的海光 DCU、华为N腾 910 和申威处理器及美国的英伟达芯片上进行训练与推理。

2022年11月,斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测2,GLM-130B 是亚洲唯一入选的大模型。在与 OpenAI、谷歌大脑、微软、英伟达、脸书的各大模型对比中,评测报告显示 GLM-130B 在准确性和恶意性指标上与 GPT-3 175B (davinci) 接近或持平,鲁棒性和校准误差在所有千亿规模的基座大模型(作为公平对比,只对比无指令提示微调模型)中表现都很可观。

当然,虽然清华大学没有承认ChatGLM是由他们研发的(可能涉及到一些知识产权),但其底层架构却是来自于GLM就是上一章尾所提到的论文,所以懂得都懂。

上文提到的GLM-130B并没有相应的应用开源,但他们开源了一个ChatGLM-6B的版本,在Hugging Face 和魔搭上都有相应的应用,可以免注册体验,就智能程度来说,和ChatGPT没得比,毕竟参数差距太大,但就问答交互来说,可以预见的GLM-130B是能达到3月初ChatGPT-3.5能力的,只是我们现在没那个条件启动GLM-130B(8张A100),所以没法测试。

那么只有清华这座中国最好的学府有能力造出类GPT的模型吗,我们不得而知,但可以看一组来自Aminer和智谱《ChatGPT团队背景研究报告》的数据展示,揭秘了ChatGPT背后的87人团队中,有9位来自于中国,基本上都是来自于清北华科。

所以,我们并不是造不出ChatGPT这样的应用,也不是没有GPT这样的模型,甚至,在资源受限的情况下,我们依然有着GLM-130B这样的成果。理论上也不缺人才。那么真实的原因是什么呢?

好像找不到标准答案,但细究原因,我觉得和国内的大公司现况有关。国内公司的状况很有意思,体量越大,创新就会越来越低,然后和国外不同的就是,国内越大的企业,越倾向于通过垄断地位去压制市场创新,实在压制不住,就会想办法收购或者参股,所以,近几年能够突出重围的企业很少,字节和米哈游算是为数不多的例子,这也是为什么一旦突围会迅速成长的原因,因为同类型的企业已经被大厂给压制完了。而这些体量大的企业,往往没有生存压力,组织架构非常稳定,因此爆发力和研究能力普遍较低,大公司病严重。

但不是说国内完全就一潭死水,热衷于改革自己的阿里在这一领域其实贡献非常多,早两年他们就已经把GPT2模型的参数推到了20多亿,GPT3也是国内最早进行中文参数训练的,但奈何没有研发出自己的框架,训练的模型再好,也不能商用。

ChatGPT的火爆造成了强大的虹吸效应,又因为一些不可描述和国内部分企业小丑式的跟风,国内自媒体无底线的贬低,以至于我们觉得只有OpenAI能实现这种类人式的大语言模型。实际上,2023年在AI发展史上绝对称得上是浓墨重彩的一年,不仅仅是国外,国内亦如此。

不要困在被人为编织的信息茧房里,去求证,去思考,与君共勉!