2023年11月20日 每日一猜答案：。 答案：ABC。
每日一猜答案分析：

AI背景知识

chatGPT是一个基于GPT-3.5/4的开放API，它的背后技术是基于Transformer网络的大型无监督语言模型，通过预训练和微调两个阶段的训练，能够学习自然语言的规则和结构，并且在各种下游任务上表现出色。从更大范围来说，chatGPT是属于自然语言处理(Natural Language Processing)领域的一个大语言模型（Large Language Model）。

我:你能给我说说chatGPT背后的技术吗？比如大语言模型，还有训练过程。chatGPT:当谈到ChatGPT时，背后的技术通常是指OpenAI GPT（Generati【【微信】】rmer）模型，这是一种使用Transformer网络架构进行预训练的大型语言模型。GPT是基于无监督学习技术构建的，该技术可以在没有标签的大量数据集上进行训练，以自动发现数据中的模式和结构。GPT模型的训练过程分为两个阶段：预训练和微调。预训练阶段使用一个大规模的无标签语料库，例如维基百科、新闻文章、小说等，通过预测给定文本序列中下一个单词的任务，对模型进行训练。这个任务被称为“语言模型”，因为模型被训练为理解自然语言中的上下文和语法规则，以便能够预测下一个单词。在这个过程中，GPT模型可以学习到自然语言的规则和结构，形成了通用的语言表示。在预训练完成后，微调阶段使用少量的标记数据对模型进行微调，以适应特定的下游任务，例如问答、文本分类、生成对话等。微调过程通过反向传播梯度更新模型的权重，以最小化特定任务的损失函数。微调的过程可以增强模型对特定任务的理解能力，并且可以使模型在下游任务上表现更好。总的来说，GPT模型的背后技术是基于Transformer网络的大型无监督语言模型，通过预训练和微调两个阶段的训练，能够学习自然语言的规则和结构，并且在各种下游任务上表现出色。

我:大语言模型、GPT、Transformer三者的关系是？chatGPT:大语言模型、GPT、Transformer三者是密切相关的概念，它们在自然语言处理和深度学习领域有着广泛的应用。具体关系如下：Transformer是一种基于注意力机制的神经网络架构，最初是为了机器翻译任务而设计的。它由编码器和解码器组成，可以对序列数据进行建模，适用于在输入和输出之间存在长距离依赖关系的任务。大语言模型是建立在Transformer架构基础上的语言模型，常见的大型预训练模型包括GPT、BERT等。大语言模型通过在大规模文本语料库上进行自监督预训练，能够捕捉到语言中的复杂结构与信息，从而在下游任务中取得很好的效果。GPT (Generati【【微信】】rmer)是一个基于Transformer架构和自监督预训练的句子级别自动生成模型，通常用于生成式任务，比如文本自动生成、摘要生成、对话系统等。因此，可以说，大语言模型是应用了Transformer架构并使用自监督预训练技术的模型，而GPT则是基于大语言模型构建的具体任务模型，两者都是Transformer架构在语言建模方面的应用。

一个奇怪的问题是，基于Transformer这种设计之初是为了机器翻译任务的模型，为什么在编写代码方面也表现良好？

我：为什么基于Transformer的GPT模型不仅可以用在翻译上，也能在在编写代码的任务上表现良好？chatGPT: 1.基于文本流的代码生成能力：现代软件开发通常包括对源代码的有效管理。生成源代码的技术需要考虑各种软件开发标准、API接口以及所有相关部分间相互影响的复杂性。GPT模型强大的自然语言理解能力使其能够有效生成高质量的源代码。2.上下文理解：代码通常是一个非常上下文相关的环境，特别是在功能相似但又具有微妙区别的不同代码块之间。 GPT模型能够根据上下文生成出更加匹配语法、且更加可读的代码。3.词向量表达：源代码的语法是有结构的，并且它通常被认为属于DSL的元素构成的单词阵列。它的语法规则清晰，也容易编写非常明确的语义。GPT通过预训练的方式将从输入数据中获得的词向量检索作为核心基础，使用语言模型来编写高效、正确的代码。因此，GPT模型在生成高质量源代码的任务方面也有很好的应用价值。

这里提到的一个关键技术：词向量检索，这在后面也会有所提及。

我:什么是词向量检索？chatGPT:词向量检索，也称为向量空间模型检索，是一种文本检索方法，其基本思想是将输入的文本转换为向量形式，并使用数学模型对文本相似度进行计算，从而寻找匹配的文本集合。通常情况下，词向量检索分为以下几个步骤：文本预处理：对原始文本进行分词、去除停用词等操作，以得到可供后续处理的单词列表。向量表示：利用某种算法（如word2vec）将每个单词映射为一个向量。这些向量通常具有较高的维数，并包含了单词的语义信息。查询处理：将用户输入的查询文本转换为向量表示，与预处理过的文本向量进行相似度计算，以得到最相关的文本。结果呈现：将计算出来的相似度得分排列，呈现给用户最相关的文本列表。词向量检索在自然语言处理领域被广泛应用，常用于搜索引擎、推荐系统等场景。它能够通过对文本的向量化处理，更准确地衡量文本之间的相似度，达到更精确和快速的文本检索效果。

我:什么是AI中的Prompt？chatGPT:在AI中，Prompt指的是提供给模型的文本或指令，可以用来初始化和引导模型生成一系列类似自然语言的输出。Prompt通常由一个或多个片段组成，其中每个片段都是一种语言形式或主题，用于定义AI模型需要生成的文本的内容和样式。Prompt可以以多种方式使用，例如：作为AI机器人对用户的响应：当一个用户与AI交互时，机器人会根据用户输入的信息和之前的上下文来生成回答。Prompt可以用作机器人生成响应的指南，确保AI产生的回复与预期的主题和风格相一致。作为生成AI初始文本的输入：某些AI工具（如GPT-3）可以根据给定的Prompt生成文本。这可以用于快速创建文章、电子邮件、Twitter帖子等等，并且可以扩展已有的草稿或以不同的风格和语言复述相同的消息。总之，Prompt在AI中是非常重要和有用的，因为它们可以让模型更加定向地生成特定类型或主题的字符串或句子。我:为什么一定要用Prompt？Prompt未来还会存在吗？chatGPT:在AI中，“Prompt”是指提供给模型的输入文本，它是用来启发模型生成输出的。Prompt通常是一些简短的话语或问题，向模型传递一些先验知识或上下文信息，以帮助模型更好地理解和执行任务。在许多自然语言处理(NLP)应用中，prompt对于准确预测输出至关重要。例如，一个对话系统可能需要给出一个明确的提示，让用户提供足够的上下文信息来回答问题，或者一个分类器需要在prompt下面添加一个标签，以便识别正确的类别。 虽然在AI中，Prompt广泛使用并且非常有用，但未来是否会一直使用它们取决于技术的演进。可能会出现新的方式帮助模型更好的理解上下文信息，消除Prompt所起到的作用，但是现阶段仍然有很多领域弥补不了这个作用，因此Prompt仍然是一种不可替代的输入形式。

我: openAI的embedding是什么？chatGPT: OpenAI的Embedding是一种将词语或句子转换成密集向量的技术。这些向量可以用于自然语言处理任务，如文本分类，情感分析和机器翻译等。在OpenAI的Embedding中，每个单词或句子都会被映射到一个向量空间中的点。与传统的one-hot编码（注1）不同，Embedding可捕获词语之间的相似性和关系，并使得机器学习算法能够更好地理解自然语言表达的含义。例如，在情感分析中，通过使用Embedding，我们可以将具有相似情感倾向的单词或短语映射到相似的向量空间中的位置。这样，我们就可以使用这些向量来训练机器学习模型，以帮助它们更准确地预测文本的情感。

注1：One-hot编码（one-hot encoding）是一种编码方式，用于将离散类别型变量转换为数值形式，以便于计算机处理。在one-hot编码中，每个类别都被表示为一个由全0和一个1组成的向量。向量的长度等于类别的总数，向量中的每个位置对应一个类别。对于某个类别，该类别对应的位置上的值为1，其他位置的值均为0。

举个例子，假设我们有一个类别变量“颜色”，它有三个可能的取值：“红色”、“绿色”和“蓝色”。在one-hot编码中，这三个类别可以被表示为以下三个向量：

• 红色:[1, 0, 0]
• 绿色:[0, 1, 0]
• 蓝色:[0, 0, 1]

这种编码方式在处理类别型数据时非常有用，尤其是在机器学习和深度学习中，因为它能够将非数值的类别数据转换为数值形式，便于模型进行计算和训练。

由于chatGPT的功能实在过于强大，导致应用端能做的功能并不多，目前已知的一些应用类型有以下几种。

这类应用主要是对接chatGPT的API或调用web端的接口，自身并没有太多的功能，只是将chatGPT的功能进行了封装。而这类应用又细分为两种：

• 工具类应用。需要用户提供自己的OpenAI API Key来使用，如很多APP或浏览器插件。
• 代理服务类。不需要用户提供自己的OpenAI API Key，而是通过代理服务来使用chatGPT的API。

由于chatGPT本身不是联网的，无法获取最新的数据，且输入的Token也是有最大限制的，因此这类应用主要是为chatGPT突破这些限制而设计的，比如通过爬虫获取最新的数据，然后通过chatGPT来生成新的文本或总结这些文字，或者通过Embedding的方式将大量的文本向量化，然后把文本节点与向量化的组合存储到特殊设计的索引中，然后把用户输入的Token向量化后，通过词向量检索寻找相关的上下文，然后把这些上下文与用户输入的Prompt一同提交给chatGPT来获取答案。

要应用自己去处理这么多繁琐的工作显然是没有必要的，因为已经有非常好的开源项目去实现这些功能了，代表就是 jerryjliu/llama_index，使用这个库可以很容易实现这些增强功能，比如给chatGPT提供外部数据源，从而可以让它帮助我们分析网页、文档、新闻等等任务。

一些相关的应用：

• myGPTReader：myGPTReader是Slack上的一个机器人，可以阅读和总结任何网页、文档（包括电子书）甚至来自YouTube的视频，它还可以通过语音与用户交流。
• chatpdf：通过给chatGPT提供PDF文档，然后可以针对此文档进行问答，或者总结文档内容。类似的开源实现有：guangzhengli/ChatFiles与arc53/DocsGPT。
• Copilot Hub：和上面的项目类似，不过多了能公开分享根据自己录入数据打造的问答机器人，比如能以乔布斯口吻回答问题的机器人。
• binary-husky/chatgpt_academic：科研工作专用ChatGPT拓展，特别优化学术Paper润色体验。

博罗天风证券：ChatGPT将如何改变互联网电商行业？

智通财经APP获悉，天风证券发布研究报告称，随着ChatGPT及人工智能技术的发展，将持续降低电商行业对人工的需求，不断优化线上的运营成本。该行认为ChatGPT在电商中实际应用的领域或远远超过根据当前技术现状的线性外推所能见的范围，建议关注两类公司，一是当前拥有资源禀赋尤其是数据禀赋的公司，有望借助不断发展的大模型技术实现自身垂类行业内的应用;二是主动转型拥抱ChatGPT或类似应用的公司，将在初期受益于成本降低，中后期凭借技术应用导入的先发优势形成一定壁垒。

天风证券主要观点如下：

2023年3月15日，OpenAI推出GPT-4，有望改变电商行业。GPT-4的回答准确性不仅大幅提高，还具备更高水平的识图能力，具备图片输入能力，且能够生成歌词、创意文本，实现风格变化，GPT-4的文字输入限制提升至2.5万字，它在很多专业和学术基准上表现与人类差不多，比如通过模拟的律师考试，得分在应试者前10%左右。该行认为，它将显著改变电商行业，主要从短期效率提升和中期格局变化两个方面。

短期来看，类ChatGPT应用驱动的效率提升工具有望落地。从海外电商服务平台shopify目前的落地来看，基于ChatGPT已经可以实现产品信息的自动生成、SEO优化、社媒营销文案撰写、基于个性化聊天的商品推荐，这些应用都有望在国内电商领域落地，带来直接的效率提升。此外，ChatGPT还有望替代客服、提高编程效率，或辅助生成产品的图片，这些领域内ChatGPT都有望带来成本的降低。

中期来看，人力资本投入权重变化将导致电商行业格局变化。ChatGPT驱动的效率变革将改变电商各个链条的人力成本，进而改变行业格局。该行认为以目前的技术现状线性外推，行业内目前可能发生的变革主要有三个方面：

流量分发的逻辑将有可能变成以类ChatGPT应用为中心。根据ChatGPT目前展现出的能力，它有望成为浏览、搜索、信息汇总的终端，将浏览器、app、用户文档、工具类应用的信息集成起来，成为新的流量中心，目前ChatGPT依靠三方插件已经可以实现一键下单购物，后续技术迭代有望加强易用性，有望使类ChatGPT工具成为新的电商流量中心。

在短视频和直播领域，AI生成的个性内容将有望替代真人视频和直播。目前应用AI绘制人像的应用已经趋于成熟，AI视频初见端倪，ChatGPT已经具备多模态能力，在利用图像和视频训练下，有望使成本远低于真人网红，形成完美替代。

中小品牌方有望建立属于公司自己的的完整营销运营团队。在AI服务提供商的支持下，营销、运营成本将大大降低，过去需要通过规模化外部专业团队进行的日常营销运营工作有望借助AI工具大幅降低人力需求，从而使得每个品牌都可以完整建立属于自身的内部营销运营团队，这将驱动电商产业链格局发生转变。

风险提示：AI技术发展不及预期风险，AI技术发展超预期风险，监管风险。