ChatGPT发展历程、原理、技术架构详解和产业未来（收录于ChatGPT技术详解与产业分析）

淘文章 2023-03-20 13:33:25 0

2023年11月20日每日一猜答案：。答案：ABC。
每日一猜答案分析：

protac发展历程,cgi发展史,jit发展历程,ci发展历程

拿出我收藏夹里所有的视频剪辑网站了，囊括了大家想要的动漫视频、影视素材、旅行以及科幻类视频内容。不管是初学剪辑视频，还是剪辑大佬，你都能在这些视频素材找到需要的剪辑视频，重点是基本上都免费、高清、无版权！

一个专门提供国外影视的网站，在这里你能找到很多国外高清影视，包括大家喜欢的蝙蝠侠、北极熊等。

它所有的电影都提供了详细的下载地址，你可以根据自己的设备或需求选择下载那种清晰度，每个视频还提供了大小。

一共免费视频剪辑素材，涵盖了50多万个视频剪辑素材，而且还提供了丰富的音频素材，让你一站就可以找到自己想要的剪辑内容。

每个剪辑内容都标注了详细的标签，包括风景、科幻、人物、商业、动物、办公等，它还是支持关键词搜索视频内容，每个视频你可以免费下载剪辑。

下载方法很简单，打开你要下载的视频内容，它会给出详细免费下载链接，点击即可获取免费的视频。

一个国外的免费视频网站，涵盖了丰富的视频素材以及背景音乐。

网站提供的都是3D视频素材，能在这里找到很多航拍的视角的视频，包括城市、风景、旅行、比赛，每个视频都是国外用户自行拍摄上传的。

你可以通过预览的方式，不用打开视频就可以在线查看视频内容，视频的清晰度以及分辨率都非常高，每个视频下方都提供了专属下载按钮，部分视频还支持免费商用。

一个买南非高分辨率的视频素材网站，可以免费商用无版权。

这里的视频清晰度都是1070P，都是采用高清摄像拍摄的，能够找到关于食物、科技、动物、建筑、运动、时尚、艺术、音乐、运输等等。

有些视频画面甚至都可以截图保存设置成桌面壁纸，每个视频都有专属标签以及和下载地址，在下载过程中大家还可以原拍摄作者、视频大小、下载格式，上传时间等详细的视频介绍。

一个专门提供影视视频素材网站，可以查找到所有即将上映或正在上映热播的电影作品。

进入网站你可以点击最新电影会看到最近上映的国内外所有的电影包括科幻片、动画、恐怖片、喜剧、惊悚等所有相关的影视素材。

想要了解即将上映的电影，点击即将上映可以看到不同国家要上映的电影时间，点击你喜欢看的可以看到最新的预告视频，这些预告视频还支持免费下载。

另外喜欢看电影的朋友还能在这里找到免费的影视内容，可以选择在线观看以及下载视频。

skypixel.com/

一个全球航拍爱好者都爱看的网站，能在这里找到最劝业的摄影师，让你看到全世界的风景。

网站按照不同的国家以及地域进行了划分，你看直接点击想看的国家风景，或国内省份的景点，网站的风景分为，自然、运动、人物等。

你也可以搜索想看的城市，它会通过360度航拍角度为你展示最详细的风景，每张都堪称是影视级的作品，你还可以进行截图设置换成桌面壁纸。

一个汇聚了全球优质的视频创作大人以及提供高质量的4K、无广告、无水印的视频素材。

提供的影视素材包括，广告宣传、短视频、剧情短片、旅行拍摄、古风视频、记录片等，重点是这里的视频大多都是用户自行原创的，并且还分享了创作教程。

如果你是剪辑影视素材的话，它的剧情短片提供了丰富的影视作品，有些影视作品甚至获得了国际大奖，视频的清晰度都保证在4K以内，下载后可以直接拖到剪辑软件上提取你需要的素材。

我们在下载视频后因为格式视频格式问题无法正常播放的话，分享一个格式丰富且转换效率快的视频格式转换软件-迅捷视频转换器。支持转换的视频格式包括：MOV, MKV, AVI, MP4,WMV, M4V, VOB等，能够将视频无损高清转换成其他格式

如，将FLV格式转换成MP4格式，点击视频转换，上传FLV视频，在输出格式设置中选择输出保存MP4。

还可以手动设置转换后的视频分辨率、比特率、帧速率等参数自定义视频。若是转换的视频数量较多，它还支持开启多线程转换，开启多线程转换可快速完成视频格式转换。

上传6个视频每个大小在10MB左右，完成全部视频转换耗时最长3分钟左右，每个视频都成功转换成MP4格式，无任何转换失败。

一个号称世界上最大的视频素材网站，非常适合电影制作，大部分视频都支持免费下载。

它的视频大多都是高画质HD，4K影片，视频分类也非常详细，如，空中飞行的飞机、鸟类、直升机等，动物和野生动物，艺术、背景、自然界、天空、慢动作、科幻、旅行等等。

大部分视频都是支持免费下载并且可商用的，视频上标记Pro的影视素材表明不能下载需要付费才可以下载。预览视频素材会显示水印标记，下载后水印会自动消除。

一个汇聚了全球优质正版的视频网站，所有的视频素材都是原创。

站内的视频会根据当下的热点实时更新，包括节假日的视频，以及新闻热点上的新闻都会同步更新到这个网站，不知道从哪里找到最新的视频素材，这个网站一定会让你有所收获。

下载视频之前需要登录账号，新用户支持免费下载30个新视频，都是无水印、无广告的高清视频。

一个免费的影视片段素材网站，每个视频都十分有质感，非常适合大家用来当做电影开头。

它所有的视频都进行免费且可商用标注，可以放心下载剪辑并发布视频，提供的视频素材很丰富，包括自然风景、人物、航拍、食物、饮食、办公等。

下载方法也比较简答，找到需要的视频素材后，它会直接给出“免费下载”按钮，点击下载就好了。

不管是做影视剪辑还是纪录片上面这些视频素材网站，你都能找到自己需要的视频，重点是大部分都支持免费下载，看完记得保存收藏起来。

我是做父亲的，儿子25岁，近期正好想过这个问题。

先说结论：当下啃老是合理的。

放在以前，鼓励孩子不要啃老自立谋生是正确的，但现在情况不同。

现在社会极为扭曲，年轻人生活压力太大，没有父母的帮助难以生存。

当下社会年轻人面临三座大山：房价高，内卷严重，结婚成本高。

首先是房价。我刚参加工作的时候，深圳，大学生月薪4000，莲塘房价4500，我干得好，薪水超过平均数，工作2年就全款买房了。现在我儿子也在深圳工作，月薪几千块，深圳平均房价超过5万了，他买不起房。

其次是内卷。以前上大学可以改变命运，现在遍地大学生，大学生没优势。

再次是结婚成本高。我结婚就领个证，9.8元，跟老婆一起来深圳租房住，那个年代周边同学同事都是这样的。现在结婚要房要车要彩礼。

从长远看，房价迟早回归理性，彩礼这类低级趣味的东西也终究是要消失的，问题是，年轻人眼下怎么办，等不到那一天呀。

春节的时候，亲眼看到年轻人选择躺平。一个亲戚带孩子来我家拜年，他家有两套深圳房，一个独子，他儿子说这辈子打算不结婚不生孩子，问他为什么，他说买不起房子，我说你家不是有2套房吗，他说他妈说了那2套房是她以后养老用的，他必须自己奋斗买房。

可见，对年轻人来说，眼下的困难实在不是努力就可以克服，索性躺平算了。

逼得年轻人躺平显然不我们想看到的结果，那么，怎么办？

这就要回归传统了，中国社会是以家庭为单位的，家庭是干嘛的？家庭就是通过互助抵御风险的，用老话说是相依为命。

回想我的父辈怎么做的，1986年我读中学，父母在村里盖新房，2层楼，每层100平方，第二层是干嘛的？就是预备给我娶媳妇的。

所以，什么叫啃老？中国的父母一直在帮助孩子成家立业好吧，几千年了，这是爱，是优良传统。

人的观念不能一成不变，要求年轻人独立奋斗没有错，但眼下，面对这个极为变态的社会，伸出援手更重要。这有点象“逆周期调节”，就象股市，正常情况下股民自行交易，但发生股灾时要拿真金白银救世，不能坐视不管。

我对儿子是这样讲的：三座大山，我帮你搬走2座，房子车子我搞定，结婚的费用我搞定，内卷你自己搞定，另外，我们是一家人，生活水平必须一模一样，不可能我吃肉你吃咸菜，在你的收入与我们齐平之前，我们会补贴你，保持消费水平一致。

当然，如果年轻人自己不努力，完全依赖父母那肯定不对。

你男朋友可能也讨厌狗，可能也讨厌猫，可能也讨厌青椒，可能也讨厌香菜。

为什么就提问一个讨厌黑人呢？

因为你喜欢？

哪吒自刎是整个中国文学史上尺度最大的表达。东亚小孩的一生一直重复哪吒自刎那一幕，割肉还母，剔骨还父的同时控诉着：你给的血肉在禁锢我，我不想要，还给你，把我还给我自己。

哪吒这个角色无论在哪个故事里都有一个极度悲凉的底色，反映的是中国特有的亲子关系，即便被父母逼死过一次，也摆脱不了父母。

儒家推崇的孝道，也是为了忠，本质是社会推卸养老责任，利于维护阶级统治。

私以为感情是需要培养的，不是血缘的赠品。

没必要。

最好在我们这一代解决掉这个问题。

以后的孩子听到日本，家长语重心长的告诉他们：曾经有个国家叫日本。。国小而不处卑，力少而不畏强，无礼而侮大邻，后来就成了历史。

这才是最好的解决方案。

退休后之后因为我家生活困难1990年我到北京工业大学干临时工把右手食指砸去一段。

以后我锻炼身体爬香山回家写自传，又到北京军事博物馆和学校讲抗美援朝自己亲身经历的故事。

目的是要求人们知道中国的和平来者不宜，但是我用嘴讲还是不满足，我又79岁自学电脑发博客，

让中国人民都知道中国的和平来者不宜，以后经过介绍我又上了知乎。我的一生就是这样活的

陈巍谈芯：：本文将介绍【【微信】】的特点、功能、技术架构、局限、产业应用、投资机会和未来。作者本人曾担任华为系自然语言处理（ NLP ）企业的首席科学家。

【【微信】】的关键改进可以参考paper:Augmenting Reinforcement Learning with Human Feedback

本文为深度技术科普与解读文章，不涉及过多技术名词。

作者：陈巍博士

存算一体/GPU架构和AI专家，高级职称。中关村云计算产业联盟，中国光学工程学会专家，国际计算机学会（ACM）会员，中国计算机学会（CCF）专业会员。曾任AI企业首席科学家、存储芯片大厂3D NAND设计负责人，主要成就包括国内首个大算力可重构存算处理器产品架构（已在互联网大厂完成原型内测），首个医疗领域专用AI处理器（已落地应用），首个RISC-V/x86/ARM平台兼容的AI加速编译器（与阿里平头哥/芯来合作，已应用），国内首个3D NAND芯片架构与设计团队建立（与三星对标），国内首个嵌入式闪存编译器（与台积电对标，已平台级应用）

关于【【微信】】更多的细节可以看（slide形式，替换了更多新内容）：

陈巍谈芯：【【微信】】报告：技术详解和产业未来（部分页面未贴出，收录于【【微信】】技术详解与产业分析，持续更新）

顺带提一下，有些朋友问为什么中国没有产出【【微信】】这样的产品。其实这是一个系统性的问题，要全盘去推进。具体可以看另一篇回答：

阻碍国内团队研究【【微信】】这样产品的障碍有哪些，技术，钱，还是领导力？

对【【微信】】算法技术讨论感兴趣可以加：（算法技术，非前端）

对【【微信】】创业投资感兴趣可以加：

【【微信】】资源汇总（github）：

【【微信】】-Hub (【【微信】】资源汇总)

--------------------------------------------------------------

先上参考网页或论文。专业的读者可以直接看paper。

【【微信】】: Optimizing Language Models for Dialogue 【【微信】】: Optimizing Language Models for Dialogue
GPT论文：Language Models are Few-Shot Learners Language Models are Few-Shot Learners
【【微信】】论文： Training language models to follow instructions with human feedback Training language models to follow instructions with human feedback
huggingface解读RHLF算法：Illustrating Reinforcement Learning from Human Feedback (RLHF) Illustrating Reinforcement Learning from Human Feedback (RLHF)
RHLF算法论文：Augmenting Reinforcement Learning with Human Feedback
TAMER框架论文：Interacti【【微信】】 Human Reinforcement
PPO算法： Proximal Policy Optimization Algorithms Proximal Policy Optimization Algorithms

今年12月1日，OpenAI推出人工智能聊天原型【【微信】】，再次赚足眼球，为AI界引发了类似AIGC让艺术家失业的大讨论。

据报道，【【微信】】在开放试用的短短几天，就吸引了超过 100 万互联网注册用户。并且社交网络流传出各种询问或调戏【【微信】】的有趣对话。甚至有人将【【微信】】比喻为“搜索引擎+社交软件”的结合体，能够在实时互动的过程中获得问题的合理答案。

【【微信】】是一种专注于对话生成的语言模型。它能够根据用户的文本输入，产生相应的智能回答。这个回答可以是简短的词语，也可以是长篇大论。其中GPT是Generati【【微信】】rmer（生成式预训练变换模型）的缩写。

通过学习大量现成文本和对话集合（例如Wiki），【【微信】】能够像人类那样即时对话，流畅的回答各种问题。（当然回答速度比人还是慢一些）无论是英文还是其他语言（例如中文、韩语等），从回答历史问题，到写故事，甚至是撰写商业计划书和行业分析，“几乎”无所不能。甚至有程序员贴出了【【微信】】进行程序修改的对话。

【【微信】】和AIGC的联合使用

【【微信】】也可以与其他AIGC模型联合使用，获得更加炫酷实用的功能。例如上面通过对话生成客厅设计图。这极大加强了AI应用与客户对话的能力，使我们看到了AI大规模落地的曙光。

我们首先了解下OpenAI是哪路大神。

OpenAI总部位于旧金山，由特斯拉的马斯克、Sam Altman及其他投资者在2015年共同创立，目标是开发造福全人类的AI技术。而马斯克则在2018年时因公司发展方向分歧而离开。

此前，OpenAI 因推出 GPT系列自然语言处理模型而闻名。从2018年起，OpenAI就开始发布生成式预训练语言模型GPT（Generati【【微信】】rmer），可用于生成文章、代码、机器翻译、问答等各类内容。

每一代GPT模型的参数量都爆炸式增长，堪称“越大越好”。2019年2月发布的GPT-2参数量为15亿，而2020年5月的GPT-3，参数量达到了1750亿。

GPT家族主要模型对比

【【微信】】 是基于GPT-3.5（Generati【【微信】】rmer 3.5）架构开发的对话AI模型，是【【微信】】的兄弟模型。【【微信】】很可能是OpenAI 在GPT-4 正式推出之前的演练，或用于收集大量对话数据。

【【微信】】的主要特点

OpenAI使用 RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）技术对【【微信】】进行了训练，且加入了更多人工监督进行微调。

此外，【【微信】】还具有以下特征：

1）可以主动承认自身错误。若用户指出其错误，模型会听取意见并优化答案。

2）【【微信】】可以质疑不正确的问题。例如被询问 “哥伦布 2015 年来到美国的情景” 的问题时，机器人会说明哥伦布不属于这一时代并调整输出结果。

3）【【微信】】可以承认自身的无知，承认对专业技术的不了解。

4）支持连续多轮对话。

与大家在生活中用到的各类智能音箱和“人工智障“不同，【【微信】】在对话过程中会记忆先前使用者的对话讯息，即上下文理解，以回答某些假设性的问题。【【微信】】可实现连续对话，极大的提升了对话交互模式下的用户体验。

对于准确翻译来说（尤其是中文与人名音译），【【微信】】离完美还有一段距离，不过在文字流畅度以及辨别特定人名来说，与其他网络翻译工具相近。

由于【【微信】】是一个大型语言模型，不直接具备网络搜索功能，因此不连接搜索引擎的版本只能基于2021年所拥有的数据集进行回答。例如它不知道2022年世界杯的情况，也不会像苹果的Siri那样回答今天天气如何、或帮你搜索信息。（编者注：后面已推出可以调用搜索引擎的版本）

即便学习的知识有限，【【微信】】还是能回答脑洞大开的人类的许多奇葩问题。为了避免【【微信】】染上恶习，【【微信】】通过算法屏蔽，减少有害和欺骗性的训练输入。，查询通过适度 API 进行过滤，并驳回潜在的种族主义或性别歧视提示。

NLP/NLU领域已知局限包括对重复文本、对高度专业的主题的误解，以及对上下文短语的误解。

对于人类或AI，通常需接受多年的训练才能正常对话。NLP类模型不仅要理解单词的含义，还要理解如何造句和给出上下文有意义的回答，甚至使用合适的俚语和专业词汇。

NLP技术的应用领域

本质上，作为【【微信】】基础的GPT-3或GPT-3.5 是一个超大的统计语言模型或顺序文本预测模型。

与BERT模型类似，【【微信】】或GPT-3.5都是根据输入语句，根据语言/语料概率来自动生成回答的每一个字（词语）。从数学或从机器学习的角度来看，语言模型是对词语序列的概率相关性分布的建模，即利用已经说过的语句（语句可以视为数学中的向量）作为输入条件，预测下一个时刻不同语句甚至语言集合出现的概率分布。

LLM成长的时间线（Xa【【微信】】）

【【微信】】使用来自人类反馈的强化学习进行训练，这种方法通过人类干预来增强机器学习以获得更好的效果。在训练过程中，人类训练者扮演着用户和人工智能助手的角色，并通过近端策略优化算法进行微调。

由于【【微信】】更强的性能和海量参数，它包含了更多的主题的数据，能够处理更多小众主题。【【微信】】现在可以进一步处理回答问题、撰写文章、文本摘要、语言翻译和生成计算机代码等任务。

BERT与GPT的技术架构（图中En为输入的每个字，Tn为输出回答的每个字）

说到【【微信】】，就不得不提到GPT家族。

【【微信】】之前有几个知名的兄弟，包括GPT-1、GPT-2和GPT-3。这几个兄弟一个比一个个头大，【【微信】】与GPT-3更为相近。

【【微信】】与GPT 1-3的技术对比

GPT家族与BERT模型都是知名的NLP模型，都基于Transformer技术。GPT-1只有12个Transformer层，而到了GPT-3，则增加到96层。

【【微信】】/GPT3.5（【【微信】】的前身）与GPT-3的主要区别在于，新加入了被称为RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）。这一训练范式增强了人类对模型输出结果的调节，并且对结果进行了更具理解性的排序。

在【【微信】】中，以下是“goodness of sentences”的评价标准。

真实性：是虚假信息还是误导性信息？
无害性：它是否对人或环境造成身体或精神上的伤害？
有用性：它是否解决了用户的任务？

这里不得不提到TAMER（Training an Agent Manually 【【微信】】cement，评估式强化人工训练代理）这个框架。该框架将人类标记者引入到Agents的学习循环中，可以通过人类向Agents提供奖励反馈（即指导Agents进行训练），从而快速达到训练任务目标。

TAMER框架论文

引入人类标记者的主要目的是加快训练速度。尽管强化学习技术在很多领域有突出表现，但是仍然存在着许多不足，例如训练收敛速度慢，训练成本高等特点。特别是现实世界中，许多任务的探索成本或数据获取成本很高。如何加快训练效率，是如今强化学习任务待解决的重要问题之一。

而TAMER则可以将人类标记者的知识，以奖励信反馈的形式训练Agent，加快其快速收敛。TAMER不需要标记者具有专业知识或编程技术，语料成本更低。通过TAMER+RL（强化学习），借助人类标记者的反馈，能够增强从马尔可夫决策过程 (MDP) 奖励进行强化学习 (RL) 的过程。

TAMER架构在强化学习中的应用

具体实现上，人类标记者扮演对话的用户和人工智能助手，提供对话样本，让模型生成一些回复，然后标记者会对回复选项打分排名，将更好的结果反馈回模型中，Agents同时从两种反馈模式中学习――人类强化和马尔可夫决策过程奖励作为一个整合的系统，通过奖励策略对模型进行微调并持续迭代。

在此基础上，【【微信】】可以比 GPT-3 更好的理解和完成人类语言或指令，模仿人类，提供连贯的有逻辑的文本信息的能力。

【【微信】】的训练过程分为以下三个阶段：

第一阶段：训练监督策略模型

GPT 3.5本身很难理解人类不同类型指令中蕴含的不同意图，也很难判断生成内容是否是高质量的结果。为了让GPT 3.5初步具备理解指令的意图，首先会在数据集中随机抽取问题，由人类标注人员，给出高质量答案，然后用这些人工标注好的数据来微调 GPT-3.5模型（获得SFT模型, Super【【微信】】）。

此时的SFT模型在遵循指令/对话方面已经优于 GPT-3，但不一定符合人类偏好。

【【微信】】模型的训练过程

第二阶段：训练奖励模型（Reward Model，RM）

这个阶段的主要是通过人工标注训练数据（约33K个数据），来训练回报模型。在数据集中随机抽取问题，使用第一阶段生成的模型，对于每个问题，生成多个不同的回答。人类标注者对这些结果综合考虑给出排名顺序。这一过程类似于教练或老师辅导。

接下来，使用这个排序结果数据来训练奖励模型。对多个排序结果，两两组合，形成多个训练数据对。RM模型接受一个输入，给出评价回答质量的分数。这样，对于一对训练数据，调节参数使得高质量回答的打分比低质量的打分要高。

第三阶段：采用PPO（Proximal Policy Optimization，近端策略优化）强化学习来优化策略。

PPO的核心思路在于将Policy Gradient中On-policy的训练过程转化为Off-policy，即将在线学习转化为离线学习，这个转化过程被称之为Importance Sampling。这一阶段利用第二阶段训练好的奖励模型，靠奖励打分来更新预训练模型参数。在数据集中随机抽取问题，使用PPO模型生成回答，并用上一阶段训练好的RM模型给出质量分数。把回报分数依次传递，由此产生策略梯度，通过强化学习的方式以更新PPO模型参数。

如果我们不断重复第二和第三阶段，通过迭代，会训练出更高质量的【【微信】】模型。

只要用户输入问题，【【微信】】就能给予回答，是否意味着我们不用再拿关键词去喂 Google或百度，就能立即获得想要的答案呢？

尽管【【微信】】表现出出色的上下文对话能力甚至编程能力，完成了大众对人机对话机器人（ChatBot）从“人工智障”到“有趣”的印象改观，我们也要看到，【【微信】】技术仍然有一些局限性，还在不断的进步。

1）【【微信】】在其未经大量语料训练的领域缺乏