庆云古诗词

庆云古诗词

训练chatgpt能有多烧钱 ai chat gpt 怎么玩

互联资讯 0

淘宝搜:【红包到手500】领超级红包,京东搜:【红包到手500】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】

训练场,训练创业意识,要重点训练( ),训练创业意识要重点训练什么能力,训练场可以增加英雄熟练度吗

  光放出基准和测试结果,不提供训练数据、成本、方法,是真的要「赢家通吃」了。

  眼看大语言模型似乎要被巨头公司垄断,如今忽然杀出一个初创公司,给了OpenAI一枪――用60亿参数的「Dolly」实现了和ChatGPT相似的能力。

  没错,我们现在只需要准备一些高质量的训练数据,再随便拿一个开源的大语言模型,训练30分钟后,就能得到一个ChatGPT「平替」!

  对此,Databricks自豪地表示,Dolly的发布,就是自己在人工智能技术民主化道路上打响的第一弹。

  60亿参数堪比ChatGPT,30分钟就训好

  由于ChatGPT需要消耗大量的数据和算力资源(利用数万个单词训练,消耗大量GPU),所以这类大语言模型注定只能被少量巨头所掌握。

  和「CloseAI」相反,Meta在今年3月向学术界发布了一组高质量(但不是指令跟随的)语言模型LLaMA,每个模型的训练时间超过了80,000个GPU小时。

  随后,斯坦福大学基于LLaMA构建了Alpaca,但不同之处在于,它利用一个包含50,000个问题和答案的小数据集进行了微调。令人惊讶的是,这使得Alpaca具有了类似于ChatGPT的交互性。

  而Dolly正是受到了Alpaca的启发。

  更有趣的是,拥有60亿参数的Dolly并没有利用现在最新的模型,而是选择了一个2021年发布的开源模型――GPT-J。

  由于Dolly本身是一个模型的「克隆」,所以团队最终决定将其命名为「多莉」――有史以来第一个被克隆的动物。

  与当前的大型语言模型(如GPT-3)相比,Dolly允许用户使用更小、更专业的模型,「复刻」ChatGPT的能力。

  毕竟对于那些细分用户来说,能够利用针对本行业进行过精调的模型,可以大大增加性能和准确性。

  尽管Databricks与OpenAI并无直接竞争关系,但它似乎试图通过证明构建类似ChatGPT这样的服务并非看起来那么困难,来抢占OpenAI的风头。

  尤其是,OpenAI采取了「规模越大越好」的方法来开发语言模型,并对其工作越来越保密。

  而Databricks除了将Dolly作为开源软件发布外,还强调Dolly只有60亿个参数(在训练过程中微调的语言模型部分),OpenAI的GPT-3模型有1750亿个参数。(OpenAI并未透露GPT-4的参数数量)。

  让老模型,涅重生

  根据InstructGPT论文中描述的指令跟随能力对Dolly进行评估后发现,它在很多能力上的表现和ChatGPT十分类似,包括文本生成、头脑风暴和开放式问答。

  在这些例子中,值得注意的不是生成文本的质量,而是在一个小型的高质量数据集上,微调一个旧的开源模型所带来的指令跟随能力的巨大改进。

  内容生成

  比如,写一条Databricks官宣大规模语言模型Dolly发布的推特。

  可以看到,原始的60亿参数模型(GPT-J)所生成的内容驴唇不对马嘴,而Dolly则给出了一个完全可用的推文――

  不仅内容符合要求,而且还贴心地加上了标签,以及提醒你记得加入发布的链接。

  对于这一题,ChatGPT给出的答案也是符合期待的,相比于Dolly,ChatGPT给出的推文包含更多评述性词句,并且给出的标签更加精准具体,但整体差距不大。

  当要写一条出售Nikon D-750相机的广告时,可以看到,GPT-J所生成的内容基本就在胡编乱造,像是在写小说一样杜撰购买和出售相机的剧情……

  而Dolly则根据Nikon D-750相机的特点及优势,给出了一则吸引人的相机转卖广告语,但遗憾的是像素参数不对。

  ChatGPT在这一题上也是圆满完成任务,广告语中突出该款相机的优势,文末仍然贴心地加上了标签。

  最后一题:给Edgar Allan Poe(爱伦・坡)写一封情书。

  对此,古早的GPT-J直接拒绝回答,究其原因竟然是――爱伦・坡已经去世了,你不能给私人写情书。

  而Dolly则成功地完成了任务,效果对比起来堪称「涅」。

  而这种「创造性」问题,显然是ChatGPT的强项,洋洋洒洒地写了300多个字。

  开放问答

  在事实性问题的问答测试上,团队选择了下面这个:「向我解释一下核裂变和核聚变之间的区别。」

  先不管对错,GPT-J全篇都是在讲太阳如何如何,虽然提到了「聚变」这个词,但完全无视了「裂变」。

  而Dolly第一句就直接点题――核裂变和核聚变的区别在于释放能量的方式,随后简单解释了他们的不同。

  相比之下,ChatGPT给出的回答明显要更加翔实。

  头脑风暴

  当让它们头脑风暴,给出应该阅读的五本科幻小说的名单,GPT-J则只是在喃喃自语,像是沉浸在了拖延阅读而产生的愧疚情绪中,完全回避了这个提问。

  Dolly则一如既往的表现稳定,按照指令给出了5本科幻小说的书名及其作者。

  ChatGPT对于该问题给出了更加丰富的回答,不仅包括书名和作者,还对每一本书的内容、类型作了简要评述和介绍。

  你要Close,我就Open

  对于很多公司而言,宁愿自己建立一个不那么强的模型,也不愿将数据发送给那些只提供API的大语言模型供应商。

  其中一个重要原因便是,这些问题和数据集是公司最敏感和专有的知识产权,直接将其交给第三方显然是不靠谱的。

  此外,公司自身可能在模型质量、成本和期望行为方面有不同的权衡,一种可定制化的语言模型更加符合需求。

  现在,Dolly的发布给了他们希望――即便是一个「过时」的开源大型语言模型 (LLM),也能通过30分的训练,赋予它神奇的类似ChatGPT的指令跟随能力。

  不难想象,大语言模型或许很快就不是AI巨头公司独占的玩法了!

  正如公司CEO Ali Ghodsi所说,「我们的信念是,让全世界的每个组织都能利用这些技术。」


4月7日股市分析收评复盘 股市分析2020年05月14日股市解盘

2021年4月7日股市收盘,4月7号股市,4月8日股市收盘,4月9日股市收评

中字头掉队,ChatGPT,AIGC重回舞台中央。

竞价开盘市场交易机会继续指向超跌反弹反向,一是光伏新能源,二是医药消费;

但在10点,市场交易机会与交易风险切换,超跌反弹逻辑瓦解。

竞价开盘交易风险指向的ChatGPT,AIGC获得资金拉升,中字头+数字经济的三大运营商中国移动,中国电信,中国联通拉升,紧接着通信服务,通信设备拉升,新晋级的工业富联涨停,一大批TMT相关标的都被带动起来,相比前两天交易机会主要指向软件,应用层面,今天则是指向算力硬件层面,AI芯片寒武纪,景嘉微,龙芯中科;服务器浪潮信息,中科曙光等纷纷大涨。

这背后推动的资金,则是这两天博弈超跌反弹的资金兑现切换。

高位的ChatGPT主题今天再度拉升是超预期的,而超跌反弹的赛道抱团股走弱也是超预期。

很显然资金不给机构喘气的机会,继续的逼空,砍仓。

但就这种资金混战的盘面来看,更容易跳水。

一边是高位的性价比有但降低,一边是低位的性价比有但不高。

除了存量资金的腾挪博弈,总量资金是不断的减少,2月16日高点的成交量是1.19万亿,3月20日成交高点是1.05万亿。

减量行情,放量跌,缩量涨。

市场重回背离分化格局,交易上,继续控制交易的仓位和频率,等大变盘,防大跳水。

马3月22日交易总结未开新仓,平仓泰格医药,持仓科创50ETF,300ETF认沽期权。未开新仓逻辑,市场地位超跌反弹逻辑在早盘10点钟被瓦解,市场重回ChatGPT为核心的TMT炒作逻辑,不符合盘前计划的做超跌反弹方向。平仓泰格医药逻辑,博超跌反弹,强留弱卖,10点左右市场交易逻辑大切换,顺势平仓。持仓科创50ETF,相对低位,不触及平仓信号,持有为主;持仓认沽期权逻辑,市场重回大背离,大分化,黑周四是考验,一是对冲多头持仓,二是防大跳水风险。总的来看,今天马慕灰籽社,宏观量化跑输市场,认沽期权回撤。

今天ChatGPT主题为核心的TMT如此快卷土重来超预期的强;机构抱团赛道超跌反弹仅一天就夭折超预期的弱。市场节奏变化太快,跟不上就按自己的交易节奏,以慢打快,以短打长。切不可别人赚钱比自己亏钱还难受,盲目追涨杀跌。