哈喽大家好我是站长，美区火箭apple ID 土耳其apple ID 其他apple ID 账号资源，可加微信： 咨询 公众号：Ai
文章目录
一、简介
Transformer 正在颠覆人工智能领域。 市场上有这样的平台和Transformer模型。 本书将指导您使用 Hugging Face 从头开始预训练 RoBERTa 模型，包括构建数据集、定义数据组织器和训练模型。 它将带领您进入Transformer的世界，描述不同模型和平台的优点，并指出如何消除模型的缺点和问题。
“基于 GPT-3、ChatGPT、GPT-4 等 Transformer 架构的自然语言处理” 逐步展示如何微调 GPT-3 等预训练模型。 研究机器翻译、语音转文本、文本转语音、问答等 NLP 任务，并介绍解决 NLP 问题的技术，甚至可以帮助你应对假新闻焦虑（详细信息请参阅第 13 章）。
从书中可以了解到，OpenAI等先进平台将Transformer扩展到语言领域、计算机视觉领域，并允许使用DALL-E 2、ChatGPT和GPT-4来生成代码。 通过这本书，你将了解Transformer是如何工作的以及如何实现Transformer来解决NLP问题。 主要内容概括如下：
2. 简介 2.1 Transformer模型标志着AI新时代的开始
Transformer 是自然语言理解 (NLU) 的游戏规则改变者，自然语言理解 (NLU) 是自然语言处理 (NLP) 的子集。 NLU 已成为全球数字经济中人工智能的支柱之一。
Transformer 模型标志着人工智能新时代的开始。 语言基础知识已成为语言建模、聊天机器人、个人助理、问答、文本摘要、语音转文本、情感分析、机器翻译等的支柱。 社交网络正在取代身体接触，电子商务正在取代实体购物，数字报纸和流媒体正在取代实体剧院，远程文档咨询正在取代实体访问，远程工作正在取代现场办公室，我们正在数百个国家见证类似的趋势字段。 如果不理解人工智能的语言，社会将很难使用网络浏览器、流媒体服务以及任何涉及语言的数字活动。 我们的社会从物理信息到海量数字信息的范式转变迫使人工智能进入了一个新时代。 AI已经发展到十亿级参数模型，以应对万亿级文字数据集的挑战。
2.2 Transformer架构具有革命性和颠覆性
Transformer架构是革命性的、颠覆性的。 它打破了过去RNN和CNN的统治地位。 BERT和GPT模型放弃了循环网络层，而是使用自注意力机制。 Transformer 模型的性能优于 RNN 和 CNN。 这是人工智能史上划时代的变革。 Transformer 编码器和解码器包含单独训练的注意力头，可以使用 GPU 和 TPU 等尖端硬件进行并行化。 注意力头可以使用 GPU 运行，为十亿参数模型和即将推出的万亿参数模型打开了大门。 OpenAI 在拥有 10,000 个 GPU 和 285,000 个 CPU 核心的超级计算机上训练了具有 1750 亿个参数的 GPT-3 Transformer 模型。 随着数据量不断增长，训练人工智能模型所需的规模也在不断增加。 Transformer 模型开启了参数驱动人工智能的新时代。 为了学习包含数亿个单词组合的数据集，我们需要大量的参数来学习。
2.3 Google BERT 和 OpenAI GPT-3 等 Transformer 模型将 AI 提升到另一个水平
想想有多少人需要控制每天在社交网络上发布的数十亿条消息的内容，以便在提取其中包含的信息之前确定其是否合法和道德。 想想每天需要多少人翻译在线发布的数百万页文本。 或者想象一下，每分钟手动控制数百万条消息需要多少人力资源！ 想象一下，将每天在线发布的海量流媒体全部转换为文本需要多少人力资源。 想想为持续出现在网上的数十亿张图像生成人工智能图像说明所需的人力资源。
2.4 本书将为您带来的“奶酪”
本书将引导您完成代码开发和设计技巧（一种控制 Transformer 模型行为的新“编程”技能）。 每一章都使用 Python、PyTorch 和 TensorFlow 从头开始教授语言理解的关键方面。 您将学习原始 Transformer、Google BERT、OpenAI GPT-3、T5 和其他几个模型的架构。 最后一章将基于前面 16 章学到的知识来演示 ChatGPT 和 GPT-4 的增强功能。 您将学习如何微调 Transformer、从头开始训练模型以及使用强大的 API。 Facebook、谷歌、微软和其他大型科技公司提供了大量的数据集供我们探索。 您将密切关注媒体、社交媒体和研究论文等市场对语言理解的需求。 在数百项人工智能任务中，我们需要总结大量研究数据，翻译各个领域的文档，并出于道德和法律原因扫描所有社交媒体帖子。 整本书将使用Python、PyTorch和TensorFlow来实现。 您将首先学习人工智能语言理解神经网络模型的元素，然后学习如何探索和实现 Transformer。 本书旨在为读者提供在这个颠覆性人工智能时代有效开发语言理解关键方面所需的Python深度学习知识和工具，并呈现成为工业4.0人工智能专家所需的新技能。
2.5 本书的目标读者 3. 本书内容介绍 3.1 第 1 章
《Transformer 模型简介》从较高层面解释了 Transformer 模型是什么。 我们将研究 Transformer 生态系统和底层模型的特征。 本章重点介绍了许多可用平台以及工业 4.0 人工智能专家的发展。
3.2 第 2 章
《Transformer模型架构简介》回顾了NLP的背景，讲述了循环神经网络（RNN）、长短期记忆网络（LSTM）和卷积神经网络（CNN）的深度学习架构如何演变成Transformer架构。 我们将通过 Google Research 和 Google Brain 的作者创建的原创“Attention Is All You Need”方法来分析 Transformer 的架构。 将通过Python实践来描述Transformer的理论以及多头注意力子层是如何工作的。 通过本章的学习，你将了解Transformer的原始架构，从而为后续章节探索Transformer的各种变体和用法打下良好的基础。
3.3 第 3 章
“Fine-tuned BERT模型”是在原有Transformer的架构基础上进行扩展的。 BERT（来自 Transformers 的双向编码器表示）向您展示了一种理解 NLP 世界的新方法。 与通过分析过去的序列来预测未来的序列不同，BERT 关注的是整个序列！ 首先描述 BERT 架构的关键创新，然后通过在 Google Colab 笔记本中逐步完成每个步骤来微调 BERT 模型。 与人类一样，BERT 可以学习任务并执行其他新任务，而无需从头开始学习。
3.4 第 4 章
从头开始预训练 RoBERTa 模型》使用 Hugging Face PyTorch 模块从头开始构建 RoBERTa Transformer 模型。该 Transformer 模型与 BERT 和 DistilBERT 类似。首先，我们将使用自定义数据集从头开始训练令牌分析器。然后训练好的 Transformer 将用于运行下游掩码语言建模任务。
3.5 第 5 章
《使用 Transformer 进行下游 NLP 任务》揭示了 Transformer 模型在下游 NLP 任务中的神奇之处。 我们可以对预训练的 Transformer 模型进行微调，以执行一系列 NLP 任务，例如 BoolQ、CB、MultiRC、RTE、WiC 以及其他在 GLUE 和 SuperGLUE 排名中占据主导地位的 NLP 任务。 介绍Transformer的评估流程、任务、数据集和评估指标。 然后我们将使用 Hugging Face 的 Transformer 管道来处理一些下游任务。
3.6 第 6 章
《机器翻译》讲述了什么是机器翻译，并讨论如何从依赖人工翻译的基准转向使用机器翻译的方法，从而帮助读者了解如何构建机器翻译系统并进行进一步的研究和开发。 然后，我们将对欧洲议会的 WMT 法语-英语数据集的数据进行预处理。 机器翻译需要准确的评估方法，本章将介绍BLEU评分方法。 最后，我们将使用 Trax 来实现 Transformer 机器翻译模型。
3.7 第 7 章
“GPT-3”探索了 OpenAI GPT-2 和 GPT-3 Transformer 的许多方面。 首先，我们研究 OpenAI GPT 模型的架构并解释 GPT-3 引擎。 然后将运行 GPT-2 345M 参数模型并与之交互以生成文本。 接下来，我们将描述GPT-3 Playground的实际应用，使用GPT-3模型运行NLP任务，并与GPT-2进行结果比较。
3.8 第 8 章
《正文摘要（以法律、财务文档为例）》介绍了T5 Transformer模型的概念和架构。 我们将使用 Hugging Face 初始化用于文本摘要的 T5 模型。 您将使用 T5 模型聚合各种文本，然后探索应用于 Transformer 的迁移学习方法的优点和局限性。 最后，GPT-3将用于将一些企业法律文本概括为二年级学生可以理解的文本。
3.9 第 9 章
“数据集预处理和令牌分析器”检查了令牌分析器的局限性，并介绍了一些提高数据编码过程质量的方法。 首先，构建一个 Python 程序来调查为什么 Word2Vector 标记分析器会遗漏或误解某些单词，并描述预训练标记分析器的局限性。 然后，我们改进了第 8 章中 T5 模型生成的摘要，以表明词形还原过程方法仍有很大的改进空间。 最后，GPT-3的语言理解能力的极限将受到考验。
3.10第10章
《基于 BERT 的语义角色标注》探讨了 Transformer 如何学习理解文本内容。 语义角色标记（SRL）对人类来说是一项具有挑战性的任务。 变形金刚可以产生令人惊讶的结果。 我们将使用 Google Colab 笔记本来实现 Allen AI Institute 设计的基于 BERT 的 Transformer 模型。 该研究所的在线资源还将用于可视化 SRL 的产出。 最后，描述SRL的局限性和应用范围。
3.11第11章
《与变形金刚提问》展示了变形金刚如何学习推理。 Transformer 可以理解文本、故事并进行推理。 我们将了解如何通过添加 NER 和 SRL 来增强问答流程。 我们将描述如何设计和实现问题生成器； 它可以用来训练 Transformer 模型，也可以单独使用来生成问题。
3.12第12章
“情感分析”展示了 Transformer 如何改进情感分析。 我们将使用斯坦福情感树库来分析复杂的句子，然后挑战几个 Transformer 模型，看看它们是否能够理解序列的结构及其逻辑形式。 我们将了解如何使用 Transformer 进行预测并根据情感分析的输出触发不同的操作。 本章最后提供了一些使用 GPT-3 的示例。
3.13 第十三章
“使用 Transformer 分析假新闻”深入探讨了假新闻的热门话题，以及 Transformer 如何帮助我们理解每天在网上看到的在线内容的不同观点。 每天有数十亿条消息、帖子和文章通过社交媒体、网站和各种实时通信方式在线发布。 我们将使用前几章中介绍的技术来分析有关气候变化和枪支管制的争论。 我们将讨论如何在合理怀疑的基础上确定哪些新闻可以被视为假新闻，哪些新闻仍然是一个主观的道德和伦理问题。
3.14第14章
可解释的人工智能通过可视化其活动来揭开 Transformer 模型的神秘面纱。 我们将使用 BertViz 来可视化注意力头，并使用语言可解释性工具 (LIT) 来执行主成分分析 (PCA)。 最后，LIME 将用于通过字典学习来可视化 Transformer。
3.15第15章
“从 NLP 到计算机视觉”深入研究了高级模型 Reformer 和 DeBERTa，并使用 Hugging Face 运行示例。 Transformer 将图像处理为单词序列。 本章还将研究各种视觉 Transformer 模型，例如 ViT、CLIP 和 DALL-E； 我们将使用计算机视觉任务（包括图像生成）来测试它们。
3.16第16章
《AI助手》讲述了当工业4.0（I4.0）达到成熟阶段时，我们将主要使用AI助手（Copilot）。 AI助手主要以提示项目为主，因此本章首先列出了几个非正式/正式英语提示项目的示例，并使用 GitHub Copilot 辅助生成代码。 然后谈谈视觉 Transformer 如何帮助 NLP Transformer 可视化周围的世界。 最后将创建一个基于Transformer的推荐系统，可以应用于数字人和虚拟世界！
3.17第17章
“ChatGPT 和 GPT-4”以前面的章节为基础，探讨了 OpenAI 最先进的 Transformer 模型 ChatGPT 和 GPT-4。 您将使用 ChatGPT 构建对话式 AI，并学习如何使用可解释的 AI 来解释 Transformer 的输出。 您将探索 GPT-4 并使用提示编写 k-means 聚类程序。 还将介绍一个高级用例。 最后，DALL-E 2 将用于创建和生成图像的变体。
4.粉丝福利
没有获奖的朋友，如果您对本书感兴趣，可以点击下面的链接自行购买！ 基于 GPT-3、ChatGPT、GPT-4 等 Transformer 架构的自然语言处理。
今天的分享就到这里啦！ 如果觉得文章不错，可以三连支持。 纯仁的主页上有很多有趣的文章。 欢迎朋友们留言评论。 您的支持是春仁前进的动力！
哈喽大家好我是站长，美区火箭apple ID 土耳其apple ID 其他apple ID 账号资源，可加微信： 咨询 可扫码下方关注公众号获取账号教程资源