10000小时训练,1000小时训练,训练一万小时理论,训练时间多久

最近，似乎早已把GPT抛在脑后的OpenAI又整了个新活。

在经过海量无标注视频以及一点点标注过的数据训练之后，AI终于学会了在「我的世界」（Minecraft）里制作钻石镐。

而整套流程需要一个骨灰级玩家至少20分钟的时间才能完成，总计要操作24000次。

这个东西吧，看似简单，但对AI来说却非常困难。

7岁小孩看10分钟就能学会

对于最简单的木镐，让人类玩家从头开始学过程并不太难。

一个死宅不到3分钟用单个视频就能教会下一个。

演示视频全长2分52秒

然而，钻石镐的制作就复杂多了。

不过即便如此，一个7岁小孩也只需看上十分钟的演示视频，就能学会了。

这个任务的难点，主要在如何挖到钻石矿。

过程大概可以概括为12个步骤：先徒手刨下像素块「木头」，再由原木合成木块，木块制作木棍，木棍制作工坊装具台，工台造木镐，木镐敲石块，石块加木棍做石镐，石镐打造炼炉，炼炉加工铁矿，铁矿熔铸铁锭，铁锭制作铁镐，铁镐去挖钻石。

现在，压力来到了AI这边。

正巧，CMU、OpenAI、DeepMind、Microsoft Research等机构自2019年起，就搞了一个相关的比赛――MineRL。

参赛选手需要自研出一个「自主从零开始打造工具、自动寻找并挖掘钻石矿」的人工智能体，而获胜条件也很简单―最快者胜出。

结果如何？

在首届MineRL比赛结束之后，「7岁小孩看10分钟视频就学会，AI用了8百万步还搞不定」，可是上了Nature杂志的。

数据虽多，但我用不上啊

「我的世界」作为沙盒建筑游戏，其玩家策略、游戏内虚拟环境的高开放性，特别适合作为各种AI模型学习、决策能力的测试场和试金石。

而且作为一款「国民级」的游戏，想在网上找到和「我的世界」相关的视频简直易如反掌。

然而，不管是搭建教程，还是炫耀自己的作品，从某种程度上来说都只是在画面上呈现出的结果。

换句话说，看视频的人只能知道up主干了个啥，干的怎么样，但没法知道是怎么干的。

更具体点，电脑屏幕上呈现出来的只是结果，而操作步骤是up主在键盘上的不停点击，以及鼠标的不停移动，这部分是看不到的。

甚至，连这个过程都是经过剪辑的，人看了估计都学不会，更别说AI了。

雪上加霜的是，不少玩家抱怨在游戏里刨木头的枯燥度，太像做作业完成任务。结果一波更新之后，有不少工具可以直接白捡……这下，连数据都不好找了。

而OpenAI想要让AI学会玩儿「我的世界」，就必须找到一个办法，能够让这些海量的未标注的视频数据派上用场。

视频预训练模型――VPT

于是，VPT应运而出。

论文地址：【【网址】】/vpt/Paper.pdf

这东西说新也新，但是却并不复杂，是一种半监督式的模仿学习方法。

首先，收集一波数据标注外包们玩游戏的数据，其中包含视频和键鼠操作的记录。

VPT方法概述

然后，研究人员用这些数据搞了个逆动力学模型（in【【微信】】，IDM），可以推测出视频中每一步进行的时候，键鼠都是怎么动的。

这样一来，整个任务就变得简单多了，只需要比原来少很多的数据就可以实现目的。

用一小撮外包数据搞完IDM之后，就可以用IDM接下来标注更大规模的无标记数据集了。

基础模型训练数据对微调的影响

在训练了70000个小时以后，OpenAI的行为克隆模型就能实现各种别的模型做不到的工作了。

模型学会了怎么砍树收集木头，怎么用木头做木条，怎么用木条做桌子。而这一套事儿需要一个比较熟练的玩家操作小50秒的时间。

除了做桌子，模型还能游泳，打猎，吃东西。

甚至还有「跑跳搭」的骚操作，也就是起跳的时候脚下放个砖块或者木块，跳着跳着就能搭个柱子。这属于是骨灰级玩家的必修课了。

制作桌子（0 shot）

打猎（0 shot）

「跑跳搭」简陋版（0 shot）

而为了让模型能完成一些更精细的任务，一般还会把数据集微调成更小的规模，区分细小的方向。

OpenAI做了一项研究，展示了用VPT训练过的模型，再经过了微调之后，有多适应下游的数据集。

研究人员邀请人玩儿了10分钟的「我的世界」，用基础材料搭了个房子。他们希望通过这种方式可以加强模型执行一些游戏初期的任务的能力，比如说搭一个工作台。

当对该数据集进行完微调以后，研究人员不仅发现模型在执行初期任务时更加得心应手，还发现模型自个儿研究明白了怎么分别做出一张木制的工作台，和一张石制的工具台。

有时候，研究人员还能看到模型自己搭建简陋的避难所，搜查村子，还有抢箱子。

制作一把石镐的全过程（下方标注的时间是一名熟练玩家执行同样的任务的耗时）

制作石镐

然后我们来看看，OpenAI的专家们是怎么进行的微调。

他们使用的办法是，强化学习（RL）。

大多数RL方法通过随机探索先验来解决这些挑战，例如模型通常被激励通过熵奖励随机行动。VPT 模型应该是RL更好的先验模型，因为模拟人类行为可能比采取随机行动更有帮助。

研究人员将模型设置为收集钻石镐这类艰巨任务，这是「我的世界」中前所未有的功能，因为执行整个任务时使用本机人机界面时会变得更加困难。

制作钻石镐需要一系列漫长而复杂的子任务。为了使这项任务易于处理，研究人员为序列中的每个项目奖励智能体。

他们发现，从随机初始化（标准RL方法）训练的RL策略几乎没有获得任何奖励，从不学习收集日志，而且很少收集木棍。

与之形成鲜明对比的是，VPT模型的微调不仅可以学习如何制作钻石镐，而且在收集所有物品方面的成功率，甚至达到人类水平。

而这是第一次有人展示能够在「我的世界」中制作钻石工具的计算机模型。

以上就是惊呆了！训练7万小时后，OpenAI的模型竟然学会在「我的世界」里刨木头的详细内容，更多请关注php中文网其它相关文章！

快讯 ｜ 美国掀起AI人才争夺战，六位数工资，名校被科技公司“攻陷”；新南威尔士大学开发出人体器官上进行3D打印的机械臂

一分钟速览新闻点

• 知乎和面壁科技合作发布中文大模型“知海图AI”

• 字节旗下飞书将推出智能 AI 助手「My AI」

• 亚马逊推出自有大语言模型“泰坦”及生成式AI服务Bedrock

• 新南威尔士大学开发出人体器官上进行3D打印的机械臂

• 特斯拉亮相2023消博会，首次在家庭生活场景中展示人形机器人

• 美国掀起AI人才争夺战：六位数工资，名校被科技公司“攻陷”

• OpenAI或将再次在意大利开放，但需满足意大利当局提出的要求

国内要闻

1. 知乎和面壁科技合作发布中文大模型“知海图AI”

4月13日下午，知乎创始人、CEO周源宣布，知乎和面壁科技合作的中文大模型“知海图AI”正式开启内测。同时，基于人工智能的“热榜摘要”开启内测，对知乎热榜上的问题回答进行抓取、整理和聚合，并把回答梗概展现给用户。

2.?字节旗下飞书将推出智能 AI 助手「My AI」

4 月 11 日消息，字节跳动旗下办公软件飞书发布视频，预告专属智能助手「My AI」。从演示来看，My AI 的定位更类似微软推出的 Office Copilot，用户可以通过 My AI 总结生成会议纪要，并可根据会议纪要创建对应的待办事项，辅助用户规划后续工作。

同时，该 AI 能够根据文档数据，生成报告等内容；并能够根据用户的编辑内容，进一步续写文档内容，大大提升了工作效率。此外，My AI 还能够协助用户创建会议、查询案例参考、进行头脑风暴、规划项目进程等，在各方面为用户提供帮助。

可以说，虽然在「智能性」上，My AI 可能无法与能够自由对话的生成式人工智能出色，但在现阶段，它能够为工作提供更多，更为实际的帮助。

?

国际要闻

1. 亚马逊推出自有大语言模型“泰坦”及生成式AI服务Bedrock

在微软和 Google 之后，亚马逊也加入了生成式 AI 的竞赛，但它不是推出自己的 AI 聊天机器人，而是通过其 AWS 平台向用户提供大语言模型去构建自己的聊天机器人。亚马逊发布了 Bedrock 平台，向用户提供访问 Anthropic 和 AI21 开发的模型。亚马逊还提供了自己的模型，其中 Titan Text 能从提示生成文本，Text Embeddings 生成文本的数学表达，可用于翻译和搜索等任务。AWS 还提供了 【【淘密令】】 的开源模型 Stable Diffusion。

2.?新南威尔士大学开发出人体器官上进行3D打印的机械臂

近期，新南威尔士大学医疗机器人实验室团队在Ad【【微信】】发文称，开发出一种能够直接在人体器官上3D打印生物材料的微型手术机器人机械臂，装置F3DB可以像内窥镜一样进入人体，将生物材料输送到内部器官和组织的表面，并进行3D打印，解决了现有3D生物打印机的局限性，如表面不匹配和结构损坏等。该装置为伤口的精确治疗提供了新的方向，有望用于胃壁损伤或结肠损伤等疾病的治疗。

3. 特斯拉亮相2023消博会，首次在家庭生活场景中展示人形机器人

第三届中国国际消费品博览会（以下简称“消博会”）在海南省海口市开幕，特斯拉在会上亮相。特斯拉此次展出了S3XY全系车型和赛博充电桩等配套新品，首次在家庭生活场景中展出人形机器人，还全面展示了特斯拉的能源生态闭环。

近日，能源布局持续深化，特斯拉储能超级工厂项目就正式落地上海。这款与特斯拉车辆技术同源的Tesla Bot，搭载特斯拉全自动驾驶能力电脑和神经网络技术，手部拥有6个执行器和11个自由度，能够精准拿起细小物品，帮助人类干繁琐且重复的工作。（新京报）

4. 美国掀起AI人才争夺战：六位数工资，名校被科技公司“攻陷”

每当一个“风口”出现时，稀缺人才就会遭到疯抢，这次轮到了人工智能(AI)领域。在美国，科技公司们为了争夺AI人才，把“战争”烧到了顶级名校的校园内。

十几位大学教授、学生、应届毕业生和行业专业人士在接受采访时表示，随着越来越多的公司争夺AI主导地位，他们正在大学校园里挖掘人才。为了赢得学生的青睐，他们不仅发放一些小摆件和印有字母的水瓶，还提供40万美元至70万美元的六位数薪水，与业内顶尖人才一起工作的机会，并拿出足够的资源来解决在学术界因为太烧钱而无法解决的问题。

5. OpenAI或将再次在意大利开放，但需满足意大利当局提出的要求

当地时间周三，意大利数据保护局（Garante）提出了一系列聊天机器人ChatGPT在该国恢复使用的要求。在周三的声明中，Garante对OpenAI提出了一系列需要在本月底前满足的具体要求，并表示，在解决监管机构的担忧后，意大利当局将暂停对OpenAI处理该国用户数据的临时限制令，OpenAI也将再次在意大利开放。（财联社）