2023年11月20日 每日一猜答案：。 答案：ABC。
每日一猜答案分析：

汶川大地震女孩辱骂,汶川地震女孩子辱骂视频,汶川小女孩,汶川女孩最后一条短信

3月26日，汶川地震幸存女孩牛钰更新视频，自述遭遇网暴。面对一些网友的攻击，牛钰在视频中表示出积极态度，称生活本身就会遇到各种各样的可能性，别人永远无法定义你，“不完美又怎么样，我们可以闪闪发光。”

2008年，11岁的牛钰在汶川地震中被一块石板压住，她坚持三天三夜等来了救援，却永远失去了右腿。虽遭遇不幸，牛钰依然笑对生活，乐观地称自己为“钢腿侠”，坚强地表示“曾经的苦难让我变得更强大。”

然而，如此活泼开朗的牛钰，仍然没有躲过网络暴力的欺辱与伤害。牛钰表示，在上海时装周“闪光假肢”的形象走红后，她就陆续受到了网络暴力。

“你真挺烦的”“一大早刷到你视频真的会心情不好”“你们残疾人都这么恶心吗”……从最初攻击牛钰的颜值，到后来谩骂牛钰和她身边的朋友，甚至是侮辱整个残疾人群体，网络暴力越来越肆无忌惮且没有底线，牛钰终于决定不再隐忍和沉默，而是选择了高调还击。牛钰不是为自己一个人在战斗，因为她“希望更多的残疾人或面临精神崩溃的人感受到力量”。

乐观向上的牛钰温暖和感动了很多网友，尽管她努力站在阳光下，网络暴力仍然如影随形，种种刻薄恶毒的言语攻击，不仅给牛钰带来了困扰和伤害，而且严重污染了网络空气，破坏了网络秩序。

牛钰之所以遭受网络暴力，并不是因为她自身言行有什么不妥，只不过是因为她的“小确幸”，被某些人看作是“眼中钉”。社交媒体上，很多人都曾不同程度遭受过网络暴力。很多时候，仅仅是因为一句话或者一张图，各种诋毁、诽谤、诅咒就顺着网线接踵而至。究其原因，在“键盘侠”眼中，别人晒幸福是一种罪过，愈挫愈勇者更加不可饶恕。

网络是虚拟的，但网络暴力造成的伤害不仅是真实的，而且是残忍的。面对“按键伤人”，不仅需要更多的牛钰挺身而出，同时也需要制度层面加大打击力度。3月28日，国务院新闻办公室举行新闻发布会，国家互联网信息办公室有关负责人介绍，2022年清朗行动累计清理违法和不良信息5430余万条，处置账号680余万个。以中央网信办部署开展“清朗・从严整治‘自媒体’乱象”专项行动为标志，互联网平台有必要加大内容审核与管理力度，让正义的阳光照亮互联网的每一个角落，让每个网友的生活都能“明媚而鲜艳”。

---

人工智能行业专题研究：IGC有望引领人工智能商业化浪潮

人工智能国际,人工智能行业资讯,人工智能行业市场,人工智能产业竞争力进入国际第一方阵

（报告出品方/作者：浙商证券，程兵）

1.1 AIGC 成本大幅下降，人工智能商业化进程拐点已现

我们认为以 ChatGPT 为代表的 AIGC 兴起，在内容创作成本、创作效率、模型计算 消耗、用户流量基础等维度实现了重大突破，有望推动 AI 商业化进程的大幅加速。

（1）AI 内容创作成本大幅降低且耗时更短，相较传统方式优势显著

目前 OpenAI 定价最高的文字模型达芬奇（基于 GPT-3）为每 750 词约 0.02 美元 （折合约 0.14 元人民币）；而主打“AI 生成文案”的独角兽 Jasper 以类 SaaS 服务形式 收费，根据官网显示，每月生成 10 万字的价格约 82 美元，折合每 1000 字约 5.57 元人 民币，而阅文集团 2021 年内容成本为 17.74 亿元（每 750 字 37 元）；在图像生成领域，Open AI 透露其 DALL-E2 模型的图片智能编辑及生成服务的价 格，超过免费额度数量的图片收费为每 460 张图片 15 美元，折合每张图片约 0.22 元人 民币。目前国内外 AIGC 绘画创作平均耗时已达到分秒级，创作效率较人工优势明 显。

（2）AIGC 模型算力消耗快速下降，落地门槛降低有望驱动消费级应用出现

根据量子位报告显示，借助最新的 Colossal-AI 通用深度学习系统，AIGC 领域的 Stable Diffusion 模型训练过程中可最高节省约 5.6 倍的显存需求（从 64.5GB 大幅降低 到 11.6GB），未来有望采用消费级 GTX 3060 显卡实现模型运算功能，大幅降低 AI 商 业化应用的落地门槛。

（3）爆款应用快速积累用户流量，商业化条件已基本具备

ChatGPT 发布后日活用户数量快速突破千万。根据 ARK Invest 的测算，自 2022 年 11 月底至 2023 年 1 月下旬，不足两个月的时间内 ChatGPT 的日活数量已突破 1200 万。使用者数量的爆炸式成长即反应出用户的尝试使用意愿强烈，未来嵌入到微软的业务生态 中也有望提升用户的工作效率，优化使用体验，创造更大的商业价值。

（4）国内外公司持续探索商业化路径，AIGC 生态有望加速形成

近日，OpenAI 推出 ChatGPT 付费订阅版 ChatGPT Plus，每月收费 20 美元，而包含 Synthesia、Jasper、runway 等 AIGC 初创公司相继推出细分领域的收费服务，未来 AIGC 产 业生态有望加速构建，并形成更加清晰的 AI 商业化应用路径。

1.2 应用场景丰富，AI 商业化空间前景广阔，建议关注三条投资主线

AIGC 推动人工智能商业化进程加速，有望打开千亿市场。德勤数据显示，2021 年中 国人工智能市场规模达 2058 亿元，预计到 2025 年将达到 5460 亿元，2021-2025 年复合增 长率约 27.63%。根据德勤预测，全球人工智能产业规模预计从 2017 年的 6900 亿美元增长 至 2025 年的 6.4 万亿美元，复合增长率达 32.10%。移动互联网时代带来的海量数据、模 型和算力的不断迭代，以及各类应用场景中的商业化尝试，为 AI 的商业化奠定了坚实基 础，未来有望加速释放人工智能产业动能。

人工智能商业化进程有望加速，建议重点关注三类公司选择投资标的。《20220-2023 中国人工智能计算力发展评估报告》中指出，未来随着自然语言处理、计算机视觉、AIGC 等细分技术的持续迭代，AI 应用将呈现场景应用深度和广度并行发展态势，以 AIGC 为代 表的生成式 AI 将在创作型工作（文本、图像视频创作）和预测、决策型工作中扮演更加重 要角色。我们建议围绕人工智能商业化的三大主线选择投资标的：（1）具备 AI 模型、算 法技术优势的科技公司；（2）具备对 AI 商业化实际应用场景理解和业务优势的厂商；（3）具备 AI 硬件优势的厂商；

（1）具备 AI 模型、算法研究实力优势的科技公司

我们梳理了人工智能发展史上出现的三次高潮（具体内容见本文第二章内容），总结出 人工智能发展遵循了“计算―知识―学习”三个阶段，在 AIGC 的推动下有望进入第四次 高潮，即“创造”阶段。人工智能从最早的科研主导（第一次、第二次 AI 浪潮），发展到 科技大厂参与研究（第三次 AI 浪潮），再到各细分场景公司深度参与 AI 商业化（未来）， 模型和算法的迭代始终是核心主线，因此我们认为具备 AI 模型和算法的科研实力的科技 大厂未来有望在 AI 商业化浪潮中保持核心竞争优势。

（2）具备对 AI 商业化实际应用场景理解和业务优势的厂商

AIGC 推动人工智能在各类细分场景中的商业化尝试，《AIGC 人工智能生产内容行业 研究报告》指出，未来 AIGC 有望与传媒、电商、影视、金融等各行业深度融合，创造更 多的应用场景，大幅提高各行业的内容创作效率。

在未来 AI 商业化进程中，众多 AIGC 开源模型和算法平台的存在，导致在场景应用 中，单纯的技术和算法很难成为玩家的竞争壁垒。在细分场景中，AIGC 企业需要在业务 场景的深度理解、AI 赋能的一体化解决方案、行业深度绑定、业务闭环等领域持续提升竞 争力。因此我们建议关注各细分赛道中，现有业务具备竞争优势，且具备 AI 转型实力（场 景数据储备+AI 算法技术实力）的公司。

（3）具备 AI 硬件优势的厂商

AI 商业化对硬件要求仍然很高，算力作为数据加速处理的动力源泉，其重要性不言而 喻。AI 处理器芯片可以支持深度神经网络的学习和加速计算，相比于 GPU 和 CPU 拥有成 倍的性能提升，和极低的耗电水平。因此，我们认为围绕人工智能的硬件厂商也将有望受 益 AI 商业化的发展。

1.3 AIGC 应用有望从 B 端延伸至 C 端市场，空间广阔规模超两千亿

对标海外 AIGC 厂商商业模式进行测算，国内 2030 年 AIGC 市场空间超两千亿。根 据 Gartner《2021 年预测：人工智能对人类和社会的影响》，到 2025 年 AIGC 产生的数据将 占所有数据的 10%。我们对标海外 AIGC 厂商，如 Jasper.AI、Stability.AI 等公司的商业模 式，测算国内 2023 年、2025 年和 2030 年 AIGC 市场空间。文字、图片渗透率有望快速提升，视频、直播等受限于技术迭代渗透率较慢。目前 AI 在文本和图像生成领域技术已且相对成熟，同时微软、百度等科技大厂有望将 AI 技术应用 到业务生态中，有望推动在线办公、搜索引擎等应用场景的渗透率提升。而在直播、影视 以及音视频等领域，由于 AI 生成技术处于初级阶段，且下游用户对内容要求较高，我们认 为短期内渗透率提升幅度较低。经测算，我们预计到 2025 年国内 AIGC 市场空间可达 403.52 亿元，到 2030 年市场空间可达 2175.58 亿元，未来几年市场有望迎来爆发式成长。

1.4 ChatGPT 面世即成顶流，性能持续提升商业化价值不断放大

ChatGPT 火爆出圈，可与真人流畅交流，标志生成式 AI 的突破性进展。2022 年 11 月 30 日，OpenAI 发布了对话式 AI 新模型 ChatGPT，该模型的功能包含了基于人机交互的 问题回答、文本写作以及代码编写等。ChatGPT 模型使用 Transformer 神经网络架构，通过 维基百科以及海量真实语料库的数据训练，实现了接近人类的交流水平。

ChatGPT 具备自我学习能力，面世以来性能仍在不断进步。2023 年 1 月 30 日， OpenAI 官方宣布 ChatGPT 通过新一轮的更新，在准确性和真实性上实现显著提升，并且 已经具备了比较基础的数学计算能力。经过使用者的测试，目前 ChatGPT 的数学计算能力 接近小学生水平，虽然相较其代码和文本写作相比差距甚远，但进步非常明显，ChatGPT 在数学领域的计算能力逐渐形成反映出模型的自我学习能力以及模型迁移能力出色。

微软计划推出一系列 AI 应用服务，ChatGPT 有望在实际应用中持续成长。2023 年 2 月 2 日，OpenAI 公司宣布推出付费试点订阅计划 ChatGPT Plus，定价每月 20 美元。付费 版功能包括高峰时段免排队、快速响应以及优先获得新功能和改进等。同时，OpenAI 方面 仍将提供对 ChatGPT 的免费访问权限。新版搜索引擎发布，融合 OpenAI 核心技术。新版 Bing 带有 一个扩展的聊天框，它现在可以做的不仅仅是回答事实问题和为你提供各种链接，在 ChatGPT 的帮助下，它还能够为你即时生成各种个性化的规划、建议、分析等，解决更复 杂的搜索问题。

1.【【淘密令】】 以 GPT+RLHF 模型为核心支撑，为 AIGC 发展指明方向

ChatGPT 将海量训练数据与 Transformer 框架结合，在 GPT 模型的基础上通过 RLHF 模型提升交互聊天能力，实现了对自然语言的深度建模，Transformer 有望在未来 较长时间内成为 AIGC 语言领域的核心技术框架。Transformer 架构为自然语言理解领域带来颠覆性变革，应用到 NLP、CV、生物、化 学等多领域。2017 年，谷歌跳出 RNN 和 CNN 的结构，提出了完全基于 Self-Attention 机 制的 Transformer 架构，当时在机器翻译任务上取得了颠覆性的进步。Transformer 由一个 编码器和一个解码器组成，且各自由若干个编码/解码模块堆叠而成，每个模块包含 MultiHead Attention 层、全连接层等功能不同的工作层。Transformer 架构优势突出，计算效率、并行度、解释性均实现突破。相比于之前的 框架 Transformer 架构除了在计算的时间复杂度更优外，还有 3 大优势：（1）可直接计算点乘结果，并行度高：对于数据序列 x1,x2……xn ，self-attention 可 以直接计算任意两节点的点乘结果，而 RNN 必须按照顺序从 x1 计算到 xn。（2）一步计算，解决长时依赖问题：处理序列信息使，通常用要经过的路径长度衡量 性能，CNN 需要增加卷积层数来扩大视野，RNN 只能逐个进行计算，而 self-attention 只需 要一步矩阵计算就可以，更好地解决长时依赖问题。（3）模型更可解释：self-attention 模型更可解释，attention 结果的分布可反映该模型 学习到了一些语法和语义信息。

RHFL 模型将预训练语言模型按照人类反馈进一步微调以符合人类偏好，利用人类反 馈信息直接优化模型。Open AI 采用了人类反馈强化学习（Reinforcement Learning from Human Feedback，RHFL）作为 ChatGPT 和核心训练方式，并称其是“能有效提升通用人工 智能系统与人类意图对齐的技术”。RLHF 的训练包括三个核心步骤：（1）预训练语言模型（也可以使用额外文本进行微调，监督微调新模型可以让模型更 加遵循指令提示，但不一定符合人类偏好）。（2）对模型根据提示（prompt）生成的文本进行质量标注，由人工标注者按偏好从最 佳到最差进行排名，利用标注文本训练奖励模型，从而学习到了人类对于模型根据给定提 示生成的文本序列的偏好性。（3）使用强化学习进行微调，确保模型输出合理连贯的文本片段，并且基于奖励模型 对模型输出的评估分数提升文本的生成质量。

2.1 复盘三次人工智能浪潮，AI 从科研向细分产业生态加速渗透

复盘历史上的三次人工智能浪潮，AIGC 有望引领第四次浪潮。我们从数据、模型迭 代和参与者等维度梳理了过往三次人工智能浪潮。我们认为，历次浪潮可以总结为 AI 从 推理能力形成，向知识储备，再向自我学习能力的方向持续进步，未来有望进入到自我创 造的阶段。

2.1.1 第一次 AI 浪潮，对人类神经元机制的模拟实现机器推理能力

计算机的诞生催生学术界对人工智能的大规模探索，第一次 AI 浪潮来袭。1946 年第 一代电子计算机诞生，在这一阶段，冯・诺依曼结构为现代计算机的体系架构奠定基础， 而图灵机的思想论证了现代计算机的计算模式和计算能力，开启了人类在现代人工智能领 域不断探索的旅程。冯・诺依曼模拟人类好大脑记忆存储与提取的工作机制，为计算机和人工智能奠定坚 实基础。上世纪 40 年代，冯・诺依曼提出了计算机的逻辑结构，其主要特点包含了程序以 二进制代码存放在存储器中、所有指令由操作码和地址码组成、指令在存储过程中按照执 行顺序进行存储等。冯・诺依曼结构将人类的神经系统与计算机结合在一起，大幅提升了 计算机的运算效率，为人工智能的发展提供了保障。

Rosenblatts 受生物神经网络启发，提出人工神经网络结构，成为现代神经网络和深度 学习的重要基础。感知机的工作原理可理解为生物神经网络中的信号作用，信号经过树突 传递到细胞核的过程中信号会发生变化。感知机在模型的“输入”位置添加神经元节点， 构成“输入单元”，向每一个属性指定一个权重 w，对属性值和权重的乘积求和，将结果 值与阈值比较，从而判定正负样本结果。但由于感知机模型只能解决线性问题，面对异或 问题时无能为力，也导致了第一次人工智能研究在上世纪 70 年代进入低潮期。

2.1.2 第二次 AI 浪潮，人工智能拥有知识储备，专家系统为代表性产物

20 世纪 80 年代，第二次人工智能浪潮到来，核心发展为让计算机学习大量专业知 识，研究人员将专家的知识、言论以及经验等数据输入到计算机，使其成为专家系统。专 家系统可以预测在一定条件下某种解的概率，由于当时计算机已有巨大容量，专家系统有 可能从数据中得出规律。在这一阶段，多层感知机、反向传播算法、神经网络的出现极大 程度地提升了计算机的计算及逻辑推理能力，为深度学习和强化学习模型奠定了重要基 础，同时专家系统的出现赋予了人工智能知识属性，并进行了一系列的商用尝试。

多层感知机强调模拟人类脑神经的复杂连接，使人工智能实现解决非线性问题的处理 能力。多层感知机可至少分成输入层、隐藏层和输出层这三层，隐藏层可根据需要建多层 且每层都可以有多个节点，相邻层的各个节点都互相连接。隐藏层和输出层具备计算加权 和激活函数处理的功能，实现数据信息的向前传递和分析。多层感知机的突破在于激活函 数的使用，在隐藏层中使用不同的激活函数可实现对数据的非线性化处理，使得 AI 具备 拟合任何连续函数的能力，大幅提升了计算机的计算能力。1986 年，Geoffrey Hinton 等人先后提出了多层感知机（MLP）与反向传播（BP）训练 相结合的理念，将人类基于结果误差反馈反哺逻辑推理的思想融入 AI。BP 算法的基本思 想是用误差的导数（梯度）调整，并通过误差的梯度做反向传播，更新模型权重, 以下降 学习的误差，拟合学习目标。

第二次 AI 浪潮中，专家系统模拟人类专家的知识和经验解决特定领域的问题，实现 了人工智能从理论研究走向实际应用、从一般推理策略探讨转向运用专门知识的重大突 破。并且机器学习（特别是神经网络）探索不同的学习策略和各种学习方法，在大量的实 际应用中也开始慢慢复苏。专家系统作为人工智能的重要分支，在这一时期逐步渗透到细分行业的实际场景解决 特定任务。第二次 AI 浪潮期间，专家系统应用到数学、物理、化学、医学、地质等细分 行业，能够辅助科研人员解决化学分子结构、疾病诊断、地质分析等特定任务。这一时期 专家系统的特点包含：（1）单学科的专业性；（2）系统结构完整，移植性好；（3）具有一 定的推理解释功能，透明性好；（4）采用启发式推理和不精确推理；（5）用产生式规则、 框架和语义网络表达知识；

专家系统商业价值显现，在企业生产决策过程中发挥重大作用。1980 年，美国* 梅隆大学与 DEC 公司合作研发的 XCON 专家系统，运用计算机系统配置的知识，依据用 户的定货，选出最合适的系统部件（如 CPU 型号、操作系统种类及相应型号，存储器和外 部设备等），并且能够给出优化意见以构成一个完整的系统。XCON 可以给出一个系统配 置的清单和这些部件装配关系的图，以便技术人员进行装配。在这一时期，除 DEC 公司 外，美国杜邦、通用汽车和波音等公司在也在生产决策中借助专家系统的辅助，1986 年美 国 AI 相关软硬件销售额达到 4.25 亿美元，人工智能技术逐渐走出科研院所，进入到企业 的实际业务场景中。

AI 模型算法研究领域，对人类脑神经的信号处理和思考机制的模拟进一步加深，代表 性产物包含 CNN、RNN 等神经网络模型。1982 年，John Hopfield 提出了一种结合存储系 统和二元系统的神经网络，即 Hopfield 网络。这种模型保证了向局部极小的收敛，由于每 个神经元的输出均连接到其它神经元的输入，模型能够通过训练从某一残缺的信息联想到 所属的完整信息，即，Hopfield 模型在模拟人类记忆储存和联想方面做出重大贡献，这一 模型也勾勒了未来 RNN 模型的雏形。Yann LeCun 提出 CNN 模型，并成功验证其商用的可行性。1989 年，LeCun 结合反 向传播算法与权值共享的卷积神经层发明了卷积神经网络（Con【【微信】】ork， CNN），CNN 通常由输入层、卷积层、池化（Pooling）层和全连接层组成。卷积层负责提 取图像中的局部特征，池化层用来大幅降低参数量级，全连接层则类似传统神经网络部分 输出想要的结果。卷积神经网络（CNN）成功应用到美国邮局的手写字符识别系统中，在 此基础上于 1998 年诞生了稳定可商业应用的 CNN 模型 LeNet-5。

2.1.3 第三次 AI 浪潮，数据爆炸背景下，AI 进入学习时代

人类进入互联网时代，数据量爆炸以及大数据技术的成熟，为人工智能的发展注入新 动能。PC 互联网以及移动互联网时代的到来驱动了人类活动数据量的爆炸式成长，为 AI 模型的训练提供有价值的原料，同时围绕大数据、云计算等领域的技术迭代使得人工智能 模型的计算效率、成本等均有大幅优化，为商业化应用打开了空间。根据海外学者论文《Modeling and Simulation Strategies for Performance E【【微信】】uting Systems》，进入互联网时代后，全球产生的数据量呈现爆炸式成长，于 2000 年突破 50EB，到 2007 年已接近 300EB。在针对大规模的数据计算领域，2003 年， Google 公布了 3 篇大数据奠基性论文，为大数据存储及分布式处理的核心问题提供了思 路：非结构化文件分布式存储（GFS）、分布式计算（MapReduce）及结构化数据存储 （BigTable），并奠定了现代大数据技术的理论基础。

Geoffrey Hinton 等人提出深度学习（Deep Learning）概念，掀起第三次人工智能热 潮。深度学习的本质是使用多个隐藏层网络结构，通过大量的向量计算，学习数据内在信 息的高阶表示。相较于传统的神经网络，深度学习模型具有更优异的特征学习能力，学习 得到的特征对数据有更本质的刻画，有利于可视化或分类；其次，深度神经网络在训练上 的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，因此模型精调的 效率得以大大提升。深度学习的出现标志着计算机实现了基于数据的学习和挖掘分析能 力，AI 能够挖掘复杂信息中包含的关联关系。2012 年 AlexNet 神经网络获得 ImageNet 大赛冠军，标志着 AI 在图像识别领域的突 破性成就。2012 年，在计算机视觉领域的竞赛 Image Net 中，AlexNet 以提升 10%的错误 率的进步力压第二名以 SIFT+FV、LBP+FV、GIST+FV、CSIFT+FV 等组合特征的算法。AlexNet 基于卷积神经网络 CNN 模型，在数据、算法及算力层面均有较大改进，创新地应 用了 Data Augmentation、ReLU、Dropout 和 LRN 等方法，并使用 GPU 加速网络训练。之 后图像识别领域 AI 模型均在此基础上进行优化，并且识别准确度超越了人类水平。

AlphaGo 具备深度学习能力，可结合人类专家比赛中学到的棋谱，以及在和自己下棋 （Self-Play）中进行强化学习。2016 年，人工智能 AlphaGo 在围棋竞技中击败李世石，标 志着 AI 具备了自我迭代和学习强化的能力。AlphaGo 的深度学习模型可分为策略网络和 价值网络，分别解决了围棋中的“下一手最佳策略”和“下一手后的胜率”两个问题，并 以此为核心通过学习人类棋谱和自我对弈，不断调整策略提升棋力。AlphaGo 较好地模拟 了人类棋手对于围棋落子的直觉判断，即，由于围棋存在的广度（每一步的可能性）和深 度（棋局从开始到结束的步数）导致计算机无法模拟计算所有的可能性，AlphaGo 通过策 略网络减少搜索广度，即每一步搜索少量节点，而通过价值网络减少搜索深度，无需将棋 局下到底即可得出当前局势的判断。在 AlphaGo 基础上，谷歌公司后续推出了迭代版本 AlphaGo Zero，增强了 AI 在面对 人类棋谱中未出现过的局势时的自我推理和学习能力，标志着 AI 的自我学习具备了一定的 迁移能力。

Transformer 架构横空出世，Open AI 发布的 GPT 模型，AI 进入“大模型”时代。GPT（Generati【【微信】】，GPT）模型利用更大规模的文本数据以及更深层的神经网络模型学习更丰富的文本语义表示，打破了自然语言处理各个任务之间的壁垒，使得搭建一 个面向特定任务的自然语言模型不再需要非常多的任务北京，只需要根据任务的输入和输 出形式应用预训练模型便可达到满意效果。NLP 模型的搭建只需要“无监督预训练+有监 督的精调”两阶段：（1）生成式预训练：在大规模文本数据上训练一个高容量的语言模型，以学习更丰富 的上下文信息；（2）判别式任务精调：将预训练好的模型适配到下游任务中，并使用有标注数据学习 判别式任务；从 GPT 到 GPT-2 和 GPT-3，参数提升和训练数据积累提升模型工作性能。到了 GPT2 阶段，Open AI 将自然语言模型定义为要完成零样本无监督多任务学习的目标，即预训 练好的模型可以直接用于下游任务。GPT-2 模型在学习更广泛的数据信息，增加了模型的 维度参数后，不需要针对特定的任务修改模型，将任务也作为提示词，和文本一起输入预 训练好的模型。承接 GPT-2 的核心思想，到了 GPT-3，模型参数量达到了 1750 亿，在不进行微调的情 况下可以在多个 NLP 基准上达到最先进的性能。GPT 模型的演进为国内外 AI 大厂提供了 重要的借鉴意义，即通过优质训练数据输入和模型复杂度的增加来提升模型性能，而未来 AI 以少样本乃至无样本学习为核心目标。

AI 大模型在任务准确度和场景泛化性方面提升显著，在此基础上针对不同实际场景提 炼出针对性的 AI 小模型以完成特定任务，可大大降低 AI 商业化部署的成本，提高训练速 度。其中，Transformer 架构和 GAN 模型为现在的语言文本生成和图像生成奠定了基础。GAN 模型参考博弈学习理论，通过内部两个模型的互相博弈，实现图像视频的 AI 自 动生成。生成式对抗网络（GAN，Generati【【微信】】s）是近年来复杂分布上无 监督学习最具前景的方法之一。模型通过框架中两个模块：生成模型（Generati【【微信】】） 和判别模型（Discriminati【【微信】】）的互相博弈学习产生输出。判别模型负责判断一个实 例是真实的还是模型生成；而生成模型负责生成实例来骗过判别模型。两个模型对抗中最 达到平衡，即生成模型生成的实例与真实的没有区别，判别模型无法区分输入数据是生成 的还是原始真实的数据。

GAN 模型应用广泛，成为 AIGC 重要底层框架但早期存在问题。GAN 模型应用包含 逼真图片生成、图片翻译、3D 建模等，但由于基础的 GAN 模型存在收敛不稳定、容易受 到部分