在过去的30年里，人工智能（AI）取得了飞跃性的进步。经过适当编程的计算机非常适合处理特定任务，并在多个方面表现优于人类。但另一方面，人工智能在许多方面仍不及人类的表现。 人类看到一种新动物的实例后，就能相对轻松地在不同情境中识别出同一动物（称为“一次学习”），而当前的人工智能则需要数千甚至数百万个示例才能学会识别。 人类可以先掌握一项任务，随后再学习新任务，而这对人工智能而言似乎是个巨大的难题。人类大脑每天消耗约0.3千瓦时，相比之下，ChatGPT仅需回答一个请求就消耗了大约相同的能量。对于许多任务而言，即便是最先进的人工智能，要超越人类的表现仍任重道远。
这是为什么呢？毕竟，大多数现代人工智能架构都是基于神经网络（NN）的，而神经网络最初的设计目的正是为了模拟人类大脑。在这篇文章中，弗朗切斯科·迪·拉洛探讨了在实现“通用人工智能”过程中面临的一些挑战：
大脑和神经网络的工作原理
大脑的工作原理是接收某些输入——例如来自眼睛的信号——这些信号随后会对视觉皮层中的神经元产生一定的电刺激。当神经元受到的刺激达到一定阈值时，它就会被激活，并通过突触向与其相连的其他神经元发送信号。随着电信号在大脑中传递，这一过程不断重复。最终，输入信号被处理，并得出一个决策。 例如：输入——一只狮子正朝你跑来；决策——逃跑。
神经网络的工作原理与此有些相似。它接收一个输入（例如一张图像），该输入会经过一系列通过突触相互连接的节点/神经元。这些节点和突触会对传入的信号进行逐级处理，直到信号到达输出端并做出判断。例如，如果输入是一张狮子的图片，你就希望网络能准确地将其分类为狮子，而不是青蛙。
对大脑和神经网络的这一描述显然过于简单化，但足以用于讨论当前的话题。
神经网络通过观察大量示例，并对网络中的各种参数进行微调来学习。在“狮子与青蛙”的情景中，网络会看到大量狮子或青蛙的图片示例，然后进行猜测，并将猜测结果与正确答案进行比较。 如果猜测正确，它会“强化”相应的神经通路；如果猜测错误，则会“削弱”这些神经通路。这一过程被称为反向传播，与20世纪60年代计算机科学家对大脑学习机制的理解相似。
我们能否通过投入更强大的计算机和更多的数据来解决这个问题？
人脑大约有1000亿个神经元和100万亿个突触。这可以比作一个拥有约100万亿个可训练参数的模型。 作为对比，Meta的“Llama 3”（本文的同名主题）“仅”拥有700亿个可训练参数。那么，解决方案难道不是将Llama 3或其他模型扩展到100万亿个参数，从而达到与人类相当的智能水平吗？
不完全是这样。
机器学习中一个基本定理是：神经网络能够处理任意复杂的任务。更准确地说，它们可以逼近任何连续函数（该结果由Cybenko于1988年提出）。 因此，从理论上讲，对于任何“行为良好”的任务，只要神经网络规模足够大，就能解决它。虽然数学家们可能仅满足于理论上存在合适的神经网络这一事实，但真正的挑战在于如何实际构建这样的网络。这证明是说起来容易做起来难。现代架构和学习算法的有效性是有限的。
其中一个局限就是梯度消失问题。梯度消失现象出现在深度神经网络中，在这些网络中，调整网络早期节点的参数极其困难。对于深度足够大的网络，不断增加层数（从而产生更多参数）是徒劳的，因为早期的参数会变得无法训练。 虽然有方法可以尝试规避这一问题，例如批量归一化和梯度裁剪，但该问题依然存在。仅仅扩大网络规模并不能解决通用人工智能的问题。
更棘手的是，神经网络（NN）的有效性还受到其他实际限制的制约，例如可用训练数据的数量和计算资源的限制。据估计，如果ChatGPT仅使用单块GPU进行训练，预计需要大约355年。
由于神经网络（NN）需要大量数据进行训练，因此能否获得优质数据已变得至关重要。谷歌最近推出的“AI Overview”工具便是明证。 该工具依托从网络上搜集的信息和数据，会在谷歌搜索结果顶部快速展示对搜索问题的答案摘要。然而，任何在互联网上待过一段时间的人都会清楚，网络上充斥着各种无稽之谈。因此，AI Overview曾善意地建议通过“每天吃至少一块小石头”来改善健康，却没意识到这条建议其实摘自讽刺报纸 《洋葱报》。这不仅关乎数据量的多寡，更在于这些数据必须具备一定的可靠性，AI才能进行有效的训练。
僵化的计算机与可塑性的大脑
大脑具有一种被称为“神经可塑性”的能力，能够重新构建自身并以新的方式运作。与人类大脑相比，大多数现代神经网络（NN）的结构相对僵化：它们不具备“生长”新节点或形成新突触连接的能力。 虽然存在“遗忘门”和“权重修剪”等技术，但这些解决方案尚无法达到人脑的神经可塑性水平。神经可塑性似乎是人类学习和智能的一个基本方面。神经网络的相对僵化性似乎对其模仿人类的能力构成了严重限制。
从设计原理来看，神经网络会适应所给定的任务。一个经过训练用于识别手写字迹的神经网络，如果不进行大量重新训练，将无法准确分类动物。而人类却能相对轻松地同时完成这两项任务。目前，多任务学习领域正在开展大量研究，但除了为不同任务分别构建不同神经网络这种简单粗暴的实现方式之外，尚未取得太大进展。
例如，一个更具泛化能力的网络所面临的一个明显问题是：如何输入信息？假设你想开发一个既能玩《俄罗斯方块》又能进行英法翻译的人工智能，那么该网络就需要能够同时接收一系列单词和一张图片作为输入——而这实际上并不容易。
在训练多任务神经网络的其他尝试中，人们注意到人工智能在学习新信息的同时，很难保留旧信息。这一点在DeepMind尝试训练一个神经网络来玩57款不同的Atari 2600游戏时得以凸显。2020年3月，DeepMind成功训练出一个神经网络，其在全部57款游戏中的表现均超过了人类基准水平——但这一过程中遇到的挑战凸显了“通用智能”问题的艰巨性。
神经网络真的像大脑那样学习吗？
解决神经网络架构的问题并非故事的终点。另一个主要局限在于网络的训练方式。神经网络依赖某种“全知”的外部算法，该算法能够告诉神经网络正确答案是什么，其结果与正确答案的接近或偏差程度，并指导它如何调整网络参数。
暂且不谈神学讨论，大脑内部的情况似乎并非如此——大脑并不具备那种能够提供反向传播所需精确误差信号的 rigid 环境。大脑内部可能存在某种自我调节机制，能够对“正确答案”给予肯定。牛津大学最近的一项研究提出了一种名为“前瞻性配置”的新机制，其中描述了一只熊来到河边捕鱼的情景。 看到河流时，这只熊已经学会了预期会听到水声并闻到鲑鱼的气味。然而，有一天，这只熊来到河边时耳朵被堵住了，因此听不到河水声。在经典的反向传播中，连接视觉和听觉神经元的参数会被减少，但这样做也会减少视觉和嗅觉神经元之间的参数。这种减少会引起灾难性的干扰，并会损害这只熊下次造访时嗅出鲑鱼气味的能力。
这显然与现实情况不符。相反，该研究提出，学习算法使神经元趋向于一种前瞻性配置：这种配置能减少学习过程中信息之间的干扰，从而使权重调整不会产生如此剧烈的干扰。 “前瞻性配置”是一个相对较新的概念，但在在线学习（即网络在每次经验后立即进行学习）、多任务连续学习、变化环境中的学习、训练样本有限的学习（包括单次学习）以及强化学习等与生物学相关的场景中，它已经展现出了令人鼓舞的改进效果。该领域未来的发展值得期待。
未来
当代人工智能在单独的、具体的任务上表现出色，无论是下棋、将电子邮件翻译成另一种语言，还是查找附近的咖啡馆，但它们并不具备“通用智能”。 当前的人工智能研究中至少存在两个问题，它们是实现通用人工智能的障碍：神经网络缺乏神经可塑性，以及高效训练的难度。克服这两个障碍中的任何一个，都可能对迈向通用人工智能的进程产生重大影响。
在巴克·布雷特尔（Barker Brettell），我们一直密切关注人工智能和机器学习领域的最新发展。我们经常处理人工智能和机器学习前沿领域的发明，因此，如果您需要有关保护人工智能和机器学习相关知识产权的建议，请随时与我们联系。
“这不仅仅是一个拥有大量数据的问题，而且这些数据必须具备一定的可靠性，人工智能才能有效地进行训练。”
