生成式AI入门

生成式人工智能正处于复兴时期，伴随着大量的新发现，以及人们为跟上新发展而产生的令人窒息的狂热。然而，了解技术的现状需要了解它的起源。随着人工智能科学的快速变化，我们首先应该建立适当的知识基础。为了提供帮助，本文提供了一个与生成人工智能形式相关的阅读清单。

人工神经网络已经存在了60多年。我们可以从1958年开始，当感知器最初在计算机上实现时。第一次，一种算法利用计算能力来获取标记的数据集并将其分类。近三十年后的1986年，反向传播作为一种训练神经网络从错误中学习的算法被引入。这一进步使多层感知器网络能够以非线性方式学习。2017年，Transformer被创建为一种神经架构，改进了过去循环模型的内存限制。这种效率的提高使网络能够更好地处理所提供信息的上下文和相关性。这三种技术在今天仍然适用和使用。

关于神经网络的实际发展有着深刻的历史记录，支持它们的理论工作包括几个世纪以来在数学和生物学上的发现。有趣的是，尽管有丰富的经验和概念工作背景，神经网络并没有受到广泛的关注。人工智能的发展只是偶尔才会进入集体意识——例如，IBM的超级计算机“深蓝”（Deep Blue）在1997年的国际象棋比赛中击败了世界冠军加里·卡斯帕罗夫，或者最近的一次，谷歌DeepMind的神经网络AlphaGo在2016年击败了围棋大师李世石。在过去几十年里，计算机和数据网络占据了技术专家的大部分注意力，而不是人工智能的发展。虽然至少在过去的十年里，人工智能已经在我们的生活中发挥了重要作用，但学习门槛一直很高，而且它在高等教育中的适用性并不明显。然而，IT专业人员关注各种形式的人工智能的时机已经到来，不是因为它将解决所有问题，而是因为它将改变组织的运作方式。

神经网络基础

我们怎么能做这样的事？如果我们必须浓缩几十年来关于神经网络的知识，那么就有必要把重点放在基本原理上。视频教程在一开始是一个有用的工具，因为神经网络基本上是视觉的。这是因为神经网络是基于视觉数学（例如，微积分，统计学和线性代数），也因为多层网络本质上是多维概念。

由3Blue1Brown于2018年制作的视频《什么是神经网络?》第1章“深度学习”占据了一个重要的时刻：在Transformer开始加速NLP模型之前。它提出了人工智能开发中的一个经典挑战：如何识别手写数字。

现在我们已经看到了神经网络如何工作的一般表示，是时候扩展我们的视野了：有许多类型的神经网络，每种都有特定的优点和缺点。Fjodor van Veen的清单，“神经网络动物园”（阿西莫夫研究所，2016年9月14日），乍一看似乎势不可当，但阅读这些内容的目的并不是把这些信息记在记忆中。相反，可以将每个网络排列视为可用于解决不同问题的许多工具的说明。

我们需要更详细地了解的第一类网络包括1980年发展起来的循环神经网络（RNN）。RNN允许节点相互交互，使网络能够处理顺序数据（例如，句子中的单词必须按顺序才能被理解）。隐藏层内节点的相互作用使网络能够通过充分的训练和微调来预测数据序列中的未来步骤。

在“当然，LSTM ——第一部分：LSTM的ABC”(Medium, 2018年6月8日)中，Alese介绍了RNN的一些挑战，即它们存在记忆问题。1997年，长短期记忆（LSTM）神经网络被开发出来，解决了这个问题。LSTM引入了一种记忆状态，使网络能够保留相关信息以理解上下文，同时丢弃不再需要的信息。

虽然LSTM网络可以处理更大的输入，但它们的训练速度很慢，并且在为并行处理而设计的现代GPU上运行效率较低。尽管存在这些限制，LSTM仍然与某些任务相关且有用（RNN也是如此）。二十年后，《Transformer》的诞生就是为了解决这些问题。这项技术在很大程度上推动了当前NLP的革命。transformer有一些强大的优势，包括能够更好地理解输入数据的上下文，这是由于一种关于单词依赖性和相关性更精确的自关注机制。杰伊·阿拉马尔在2018年6月27日出版的《Transformer》中提供了一个高层次的概念概述，而彼得·布卢姆在2019年8月18日出版的《Transformer从零开始》中从程序员的角度进行了很好的介绍。

ChatGPT的构建模块

有了一定的历史，我们现在可以回顾一下过去几年发表的重要文章。首先，请注意OpenAI （ChatGPT的创建者）是一家非营利组织，由知名的行业领导者于2015年成立，旨在自由合作开发人工智能。2018年6月，OpenAI发表了“用无监督学习提高语言理解”，这为使用Transformer进行无监督学习提供了理论基础。无监督学习是向神经网络提供数据而不告诉网络如何理解数据的过程，并配置网络，使其能够自己弄清楚需要什么。在GPT-1的例子中，7000本书被输入到模型中，以训练它准确预测未来的单词。

8个月后，OpenAI发布了GPT-2。这个版本展示了超出预期的功能，并展示了特别的功能：开发人员没有预料到的操作方式。这导致OpenAI做了一件在人工智能研究人员之外并没有引起很多关注的事情：由于担心恶意使用（例如，产生垃圾邮件，产生虚假的产品评论），它限制了GPT-2的发布。2019年5月，发布了一个限量版，随后在8月发布了一个功能仅为其一半的模型（以参数衡量），并在2019年11月发布了完整的GPT-2模型。OpenAI在“更好的语言模型及其含义”中描述了GPT-2，其中包括一个关于政策含义的部分，因此开始努力解决这项技术的社会影响。

六个月后，即2020年6月，OpenAI发布了GPT-3，没有任何分阶段发布或功能限制。相反，OpenAI决定创建一个营利性部门，并且没有给GPT-3发布源代码。GPT-3的关键突破是，在增加模型的大小和配置后，OpenAI发现该模型现在能够进行少样本学习：在非常有限的数据下进行监督学习，能够快速适应。因此，虽然之前发现的无监督学习的实践在GPT-3中继续遵循，但训练的监督学习部分得到了显着改善。不幸的是，OpenAI并没有提供与GPT-1和GPT-2相同的高级摘要，但它确实用一篇非常彻底的技术论文弥补了这一变化。

2022年3月，OpenAI发布了GPT-3.5，一年后的2023年3月，又发布了GPT-4。这款聊天机器人产品简称为ChatGPT，于2022年11月30日推出，首次为GPT-3.5模型提供了一个简单的基于web的界面。这些版本（特别是从2022年11月GPT-3.5的重新配置开始）值得注意的是应急能力的急剧增加。这一次，OpenAI没有发布ChatGPT的高级概述。相反，网页“介绍ChatGPT”只是简单地描述了开发人员所看到的一些简洁但本质上是“迭代”的变化。

2023年2月，计算思维开发和应用的先驱斯蒂芬·沃尔夫拉姆写了一篇非常全面的博客文章:“ChatGPT在做什么……”为什么它会起作用？”沃尔夫拉姆总结了ChatGPT的工作原理。

与此同时，人工智能研究人员对GPT的能力越来越感到兴奋和担忧。他们开始注意到全新的功能是可能的。Wei等人在《大型语言模型的涌现能力》(Transactions on Machine Learning Research, 2022年8月)中描述了这一现象。作者指出了社会风险，包括行为和社会学方面的担忧。

NLP模型伦理

像ChatGPT这样的NLP模型提出了各种各样的伦理问题。虽然OpenAI在道德问题上有意行事，但金钱和公司利益可能意味着该公司的道德无法得到保证。然而，考虑到替代生成式人工智能模型的爆炸式增长，这些产品中的许多将面临更少的审查，可能存在更严重的道德失误。但在讨论人工智能的伦理问题之前，我们应该先考虑一个伦理框架。黑格尔的责任理论是一种有益的停泊：社会背景对于解释伦理学至关重要，对于任何给定的行为，考虑对该行为后果的责任也很重要。此外，对后果的了解对于解释责任是必不可少的。

从偏见的伦理问题开始，OpenAI已经投入了大量的工作来训练GPT模型，使其注意社会背景并管理偏见。这与微软2016年臭名昭著的聊天机器人Tay大不相同，在Tay中，人工智能偏见的问题呈现出极端的形式。GPT的相对积极的结果证明了监督训练的重要性。一个紧迫的问题是，竞争模型并没有被有意地训练；此外，任何人都可以使用的“桌面”生成人工智能模型可能会因设计或意外而变得不道德。在“语言（技术）就是力量：对NLP中“偏见”的批判性调查”(ACL选集，2020年7月)中，Blodgett等人对NLP模型中的偏见研究进行了极好的论证，并提出了令人信服的理由，说明为什么需要做更多的工作来改进NLP中的偏见识别和训练。

错误信息是另一个重大问题。包括GPT在内的生成式人工智能模型通过编造信息产生“幻觉”或“虚构”。这尤其不和谐，因为虚构的东西可能看起来很权威：编造的来源有时引用的是真正的作者，但标题是假的。这些错误可以通过监督训练来解决：试着向NLP模型询问生产该模型的公司，结果将非常一致。随着新版本的发布，我们也看到了GPT在虚构错误方面的显著减少，这在一定程度上要归功于来自人类反馈的强化学习（RLHF），即用户根据准确性对回答进行排名。与此同时，像Bing Chat这样的产品试图通过“创造力”设置来解决这个问题，其预期目标是创造。这是一个细微差别的道德立场，因为它假设当NLP编造信息时，它是创造性的，而不是误导性的。在《训练语言模型遵循人类反馈指令》(2022年3月)中，欧阳等人提出了在NLP中使用RLHF的令人信服的案例。

一个类似的考虑是这项技术对社会的影响。我们继续与社交媒体的道德影响作斗争，这一技术也是由人工智能驱动的。由于这种不同形式的人工智能已被用于传播虚假信息，很明显，NLP模型可以以类似的方式使用。具有讽刺意味的是，社交媒体人工智能是围绕控制我们的注意力而设计的。控制注意力的后果之一是，算法会促进极端观点，以保持用户的参与度。这反过来又导致一些人创造了社会孤立的文化。当NLP机器人在各个平台上普及并匿名化时，这将如何改变我们彼此之间的互动方式?当我们的社会如此多地数字化，当人工智能的数字输出与人类的数字输出无法区分时，这对我们对现实的理解意味着什么？NLP模型会比社交媒体更进一步，创造一种独特的人工智能文化吗？亨特·奥尔科特和马修·根茨科在他们的文章《2016年大选中的社交媒体和假新闻》(Journal of Economic Perspectives, 2017年春季)中，全面阐述了社交媒体在影响不同社会行为方面的作用。

隐私和安全是NLP的复杂伦理问题，因为我们对突发能力的可能后果知之甚少。垃圾邮件和网络钓鱼是显而易见的问题：语法错误将不再是虚假请求的标志。直接与模型共享的数据也存在直接的担忧（并且已经发生了违规行为）。然而，伦理问题要深刻得多。暴露于关于一个人的有限信息能够在多大程度上允许对那个人进行出色的模拟，从而使我们的许多安全基础设施失效？一个模型能在多大程度上了解一个人，并准确地预测这个人是如何思考和行动的，从而操纵别人采取行动？需要多少信息才能确定一个人的关系、习惯和偏好，而监控国家可以利用这些信息？如果社交媒体人工智能的商业模式是广告（人工智能正在影响人们购买产品），那么NLP将出现什么样的商业模式？互联网上的自治机制（有时被人类以有问题的方式使用）如何允许对人工智能负责的有效机制？事实上，自主权和隐私权可能正处于改革的边缘。Brundage等人的《人工智能的恶意使用：预测、预防和缓解》(2018年2月）全面概述了人工智能带来的各种安全问题。虽然报告很长，但它是必不可少的读物，并提供了一个有望在未来更新的框架。

人工智能伦理的关键是问责制和透明度。神经网络功能的一个关键组成部分是程序员无法直接控制的隐藏层。当紧急行为发生时，实际结果是将黑箱效应扩展到输出层：实现了意料之外的行为或能力。在不知道如何做某事和不知道网络能够做什么之间有一个重要的道德区别。对于每一种不同产出的新排列，我们没有机制来评估可能随之而来的后果的伦理含义。无论我们是追随黑格尔还是其他伦理哲学家，理解这些模型是如何产生具体结果的，以及理解它们能够产生的全部结果是至关重要的。

技术人员希望在他们的机构中使用NLP模型，需要建立一个道德框架，在他们的代理和控制范围内考虑这些问题。迈向透明的第一步是归因：我们如何以及何时将工作归因于生成式人工智能？在互联网上查找一个主题，获得想法，然后写下来，这与从一篇文章中复制部分内容而不注明出处是非常不同的。同样，直接复制由生成式人工智能工具产生的内容需要披露，但将这些内容用于创意则不需要披露。还要考虑问责制的必要性。盲目相信生成式AI输出是不明智的，而且往往是不道德的。人工智能的产出不能被引用，因为它不具有可参考性。通过咨询可靠的来源来验证人工智能的输出，从而得出合理的结论，这当然是合理的。欧盟委员会发布的《教育工作者在教学和学习中使用人工智能和数据的道德准则》(2022年)是在教育中深思熟虑地使用人工智能的优秀指南。

总之

人工智能的历史与计算机的历史交织在一起。虽然互联网的重要性现在被广泛接受，但与人工智能相比，互联网是一项新技术。互联网的社会相关性在其诞生后的20多年里一直萎靡不振，而人工智能的孵化期甚至更长。

人工智能不再是一个专门的或小众的研究领域，具有有限的适用性。在过去的十年里，人工智能已经以这样或那样的形式交付给了没有人工智能标签的消费者（例如，社交媒体平台、语音助手、推荐系统、照片编辑）ChatGPT向世界宣告，深度学习领域——也就是高性能的神经网络——现在可以立即向所有人开放。也许更重要的是，ChatGPT展示了一种人工智能工具的有效性，它将鼓励我们所有人投资并探索这一广阔的可能性。

在未来的几年里，我们中的许多IT组织都将采用人工智能工具，我们需要认识到我们行为的后果。假以时日，人工智能将从根本上挑战我们理解现实的方式。人工智能是前所未有的新技术集合。正如人工智能不能解决所有问题一样，也没有一种简单而合乎道德的方法来驾驭人工智能。相反，需要对道德和形而上学进行严格的分析，并仔细考虑IT组织如何部署人工智能。IT组织需要建立在公平和包容的道德框架上，以确保生成式人工智能的授权技术体验是透明和负责任的。