XuLaLa.Tech

哈喽大家好我是站长，美区火箭apple ID 土耳其apple ID 其他apple ID 账号资源，可加微信： 咨询 公众号：Ai

简介：本次分享会的主题是大模型在汽车工业化的实践与应用，主要集中展示工业制造相关的案例与实施经验。

它分为五个部分：

1.ChatGPT发展历史

2. 大模型的底层原理

3.大模式赋能新型工业化

4.产业化的实践探索

5. 问答环节

分享嘉宾｜蔚来汽车大车型应用技术负责人 黄帅

张山 编辑

内容校对｜李瑶

社区出品｜DataFun

01

ChatGPT发展历史

首先我们来简单回顾一下ChatGPT的发展历史。

OpenAI 早在 2018 年就发布了 GPT，但从 GPT-1 到 GPT-3 的生成式模型效果都不是很理想。直到 GPT-3.5，生成式模型才完成了对各类 NLP 问题的统一解决，在生成文本、回答问题、翻译文本等方面表现非常出色，甚至在部分任务上达到了人类水平。同时，ChatGPT 可以直接用自然语言进行交互，更加符合人类的习惯。随着发展，GPT4 支持多模态输入，可以完成答题看图、角色扮演、图表分析、编程、专业考试等各类复杂任务。

我们知道人工智能的发展经历了两个时代，从AI1.0小模型时代到AI2.0大模型时代。ChatGPT作为大模型的代表，在跨领域、多模型方面取得了突破，数据集从单一领域扩展到通用领域，从需要大量标注到不需要标注或者只需要少量标注。这是人工智能普遍实现的基础。比如在工业视觉质检领域，图像数据的积累非常缓慢，大模型只需要少量的标注就能达到与大量样本小模型相同的效果，可以加速整个工业智能的落地。

02

大模型的根本原理

1. BERT和GPT的区别

2. 基于InstructGPT对ChatGPT的改进

ChatGPT 是基于 InstructGPT 开发的，其主要的改进有：使用大量人类偏好的对话语料；引入强化学习。这两点保证了 ChatGPT 的答案更加贴近人类偏好，同时让模型不断逼近最佳结果。

3.ChatGPT 训练过程

ChatGPT的训练过程主要分为三个步骤：

第一步是收集数据来训练监督策略模型

第 2 步：收集数据来训练奖励模型

第三步，通过 PPO 强化奖励模型

这里说的ChatGPT的训练过程，是为了突出一个思想，在后续的Agent闭环中也会应用到这个思想，所以这不仅仅是ChatGPT的训练过程，更是实现模型和Agent持续增强的一个完美解决方案。

03

大模式赋能新型工业化

1. 实施路径

新型工业化是指把工业制造技术能力融入数字化能力、智能化能力，解决供应链、产业链中的问题，提升其柔性，带动整个工业化产业的技术创新。新型工业化成功的关键在于系统工程能力。在大模型发展的今天，新型工业化的执行路径可以通过构建订单系统、生产调度系统、分析系统、计划系统等数字化系统，以及构建包含整个物联网设备数据的数据系统，形成基于数字化系统、数据系统、大模型的GPT解决方案平台。然后基于GPT平台生成的各种Agent服务于下游的各种业务。

2. 应用范式

大模型使能新型工业化的基本应用范式有三种：

范式一：命令提示：用自然语言交互告诉设备或系统去完成某项指定的任务。比如可以通过语义设备发出命令让机械臂完成某项指定的任务，也可以通过命令让大模型生成逻辑控制代码。

范式二：决策支持：通过数据驱动的方式，而不是人工交互。比如在智能质检场景中，智能相机可以通过大模型判断铸件是否有缺陷，如果有缺陷，会给出缺陷的概率，然后交给人工判断和确认。

范式三：自主决策：不需要人工协助，常见场景有自动驾驶、自动分拣。

04

产业化的实践与探索

接下来，我们将详细讲解蔚来大模型的最佳实践。

首先是平台化。在蔚来，几乎所有业务大模型AI应用都是基于这个GPT平台编织起来的。这里说的AI应用就是AI Agent，应用的编织过程其实就是Agent的搭建过程。平台整体架构分为芯片层、框架层、模型层、服务层，业务场景在最上层。服务层所有的能力都是围绕着Agent的打造而形成的。在模型层，模型和数据是融为一体的。之所以会这样，是因为数据和模型密不可分，这也是新架构的思路。过去应用数据的方式是先建一个数据库，然后通过SQL访问数据仓库。有了大模型，完全可以通过自然语言交互直接访问数据，数据隐藏在模型最底层，是模型的一部分，模型层的能力是直接面对用户的，我们不再需要直接去分析和使用数据。

1. Agent逻辑架构

在人工智能领域，当下最火热的话题无疑是 Agent。那么 Agent 是什么，它由哪些组件组成呢？我们先来看看 NIO 是如何设计 Agent 的。

大模型的应用分为三个阶段，第一阶段是人完成大部分工作，模型辅助人决策；第二阶段是人与AI协同工作，GPT能力融入到软件中，成为软件的一部分，但此阶段不会改变整个系统的产品形态，仍然需要人来提供基础产品，AI只能作为原有产品的辅助；第三阶段是AI完成大部分工作，即AI Agent阶段，人只需要下达指令、设定目标、提供资源（如系统界面资源）即可，AI Agent会自动完成目标。

那么什么是代理呢？其实代理是通过模拟人的思维和动作模型来工作的，分为大脑、记忆、感知引擎、规划、任务执行四个部分。GPT充当大脑，插件成为手脚连接数据和系统，记忆以知识的形式存储，感知模型通过插件实现视听感知并与智能体连接，最终通过任务执行完成工作。

2. 三个闭环

为了实现AI Agent的持续增强，我们提出了三个闭环：数据闭环、模型闭环、Agents闭环。数据闭环和模型闭环是中间状态，服务于最终的Agents闭环。

（1）数据闭环

数据闭环分为数据接入、统一ETL、数据标注、存储分发、模型训练、效果恢复六大环节。效果恢复之后，数据会进一步修正。其中，数据标注由大模型完成，依赖给定范围内的标签体系。通过整个数据闭环，知识和数据可以不断完善。如果底层数据是语料，模型回答的问题总是有偏差，反映训练语料有问题，需要修正；基于提示工程进行知识问答时，如果答案总是错的，也可以通过回溯的方式修改知识。数据闭环可以高效链接散布各处的数据、信息、知识，反馈训练模型和智能体，整个闭环实现了从数据接入、信息分析、知识提取与分片、知识纠错、智能应用、效果反馈的全流程闭环，从而打造智能体的可持续进化能力。

（2）模型闭环

模型闭环也分为语料、模型、训练、评估、A/B 测试、上线六大环节。通过人工反馈的机制，当语料积累到一定程度时，会触发模型再次训练，评估达标后，就会上线。模型闭环的目标是不断增强模型，并带动 Agent 自动增强。这里复用了训练平台和大数据平台的能力，在这两个基础平台能力的基础上，实现从语料构建、语料存储、模型托管、模型微调、模型测试、模型上线的全流程闭环。

（3）代理闭环

上一篇文章提到了，我们的最终目标是实现Agent的持续增强，现在我们来介绍一下Agent的闭环。

涉及到多个模型闭环、知识闭环、数据闭环。数据闭环和知识闭环是分开的，数据闭环关注模型训练过程，也就是语料闭环，知识闭环关注知识更新。要实现Agent的闭环，需要构建一个完整的流程，并且能够感知到外部的反馈，然后通过归因分析触发相应的优化，优化之后评估效果，评估达标之后再进行组件更新。

基于数据闭环、模型闭环，通过反复迭代不断强化学习过程。这也是我之前提到的ChatGPT训练方案的又一次复刻。基于这个思路，我们实现了Agent闭环。

3. 应用案例

（一）三位一体智能质检

质检是工业制造中品质的保障，对于工业制造来说非常重要。我们提出了三位一体的智能检测解决方案，针对质检在三个方向实现突破，分别是可视、可听、可数字化。对于“可视”，可以用CV大模型替代人工检测，由于大模型具备跨领域知识能力，在图像数据匮乏的场景下可以降低冷启动成本；对于“可听”，可以用声音模型来分析识别异常噪音；对于数字化，可以用大模型进行分析预测，比如和标准结果进行对比分析，看是否匹配。

我们知道在实际生产中，产线端的系统不可能完全依赖云端，网络中断可能会影响生产，所以产线不可能完全依赖外部网络。我们提出了云边一体化架构。边缘系统一般需要部署在产线旁边，边缘系统的主要任务是检测并将数据上传到云端，云端系统主要是实现整体模型训练的闭环。云边一体化架构可以实现边缘系统的持续增强和云端的可视化、综合分析。

云端的闭环训练过程对于每个场景都是独立的，需要不断的数据积累，云端模型会根据不断增加的数据量决定是否重新训练模型，模型的指标评估和抽检实验通过后才能上线，从而实现模型的持续迭代。

（2）G8D 代理

最后我们来看看工业生产过程中复杂的质量问题该如何解决。工业中，质量处理过程一般采用G8D解决方案来解决此类问题。G8D主要分为问题发现、应急措施、团队建设、问题定义、短期措施、根本原因分析、长期解决方案、长期实施、预防复发、经验积累和祝贺八个模块。

想象一下，当 G8D 与大模型结合时，会碰撞出什么样的火花？基于此，我们提出了 G8D Agents 的复杂问题解决方案。这里需要搭建 8 个 Agent，每个 Agent 针对 G8D 的各个 D 承担相应的任务。当 8 个 Agent 搭建成一个团队后，就可以完成整体复杂问题的分析处理。当然这需要和数据系统、质量分析系统对接，将经验积累到上游系统（如质量分析、质量案例池等），以便反馈到整个系统。

在G8D Agents之前，质量分析过度依赖工程师的经验，经验没有得到很好的积累。G8D Agents系统不仅能快速分析处理质量问题，还能快速积累经验。最后，G8DAgent系统可以与各个系统对接，或成为系统的重要组成部分，相当于各个系统都具备了8D Agents的能力，避免了繁重的数字化系统建设，以轻量级的Agent方案节省开发成本，全面加速问题解决效率。

05

提问时间

Q1：G8D 中 Agent 是如何构建的？Agent 是手动设置的还是大模型自动调度的？

A1：利用已有的经验判断当前问题是否曾经发生过以及问题的影响，是否适合G8D解决方案。收集问题相关数据和历史记录，打通上下游系统，通过多轮交互，结合知识、插件等构建Agent。

Agent的调度有两种模式：类似流程图的固定调用；通过意图识别选择相应的Agent。

Q2：大模型中用到的知识存储在哪里？如何检索？

A2：目前存储的方式有两种：向量库和Elasticsearch。ES是全文检索，向量库会根据距离召回候选结果，然后乘以不同的权重进行排序，选出最优结果。

Q3：意图识别的时候，如何回忆起真正的意图？有哪些优化方案？

A3：整个意图体系是一个反复迭代的多级闭环，从最细粒度的意图识别开始，如果下级意图没有匹配上，则继续向上匹配，如果还是没有匹配上，则人工整理，看是否需要新的意图。另外，如果第一次没有匹配上，则会整合用户信息进行另一次匹配。

哈喽大家好我是站长，美区火箭apple ID 土耳其apple ID 其他apple ID 账号资源，可加微信： 咨询 可扫码下方关注公众号获取账号教程资源