开发AI技术的领军人物Ilya Sutskever：预训练时代的终结已至
AI巨头们的新挑战：预训练技术的颠覆者？
数界探索
继李飞飞、在刚刚结束的NeurIPS2024会议上，除了Bengio和何恺明的精彩演讲之外，Ilya Sutskever也带来了最新的研究成果。尽管他的演讲只有15分钟左右的时间，但内容依然引人深思。 Ilya Sutskever的演讲不仅展示了他在人工智能领域的深厚积淀，还揭示了他对未来技术发展的独到见解。从演讲中可以看出，他对于如何推动AI技术向更加实用、高效的方向发展有着清晰的思路。这不仅是对现有研究的一个重要补充，也为后来的研究者提供了宝贵的参考方向。 总体来看，这次会议汇集了众多顶尖专家的观点与智慧，为AI领域的发展注入了新的活力。而Ilya Sutskever的简短发言，无疑为这场盛会增添了不少亮点。通过聆听这些前沿的声音，我们可以更好地理解当前AI技术的脉络和发展趋势。
例如这一句：
Pre-training as we know it will end.
我们所熟知的预训练即将终结。
而之于未来，Ilya 还预测道：
what comes next is superintelligence: agentic, reasons, understands and is self aware.
接下来将是超级智能：代理、推理、理解和自我意识。
那么为何会有如此？我们一起来看看完整演讲。
在此次演讲中，Ilya以一张十年前的PPT截图作为开场，那时深度学习技术尚处于萌芽阶段。这张泛黄的幻灯片不仅勾起了人们对过去岁月的回忆，也让人深刻感受到技术进步的速度之快。从那时起，深度学习已经从一个理论概念发展成为当今人工智能领域最具影响力的技术之一。它不仅改变了我们处理和理解大量数据的方式，而且正在逐步渗透到我们生活的方方面面。这十年间，深度学习技术的发展历程，无疑是科技进步史上的一个缩影。它提醒我们，面对快速变化的世界，保持持续学习和适应的能力至关重要。 （此处为修改后的内容，主要通过引入演讲者对技术发展的感慨以及强调了深度学习对现代社会的影响来表达个人观点和看法。）
在2014年的蒙特利尔，他与团队成员Oriol Vinyals和Quoc Le共同提出了一种对当前人工智能领域具有深远影响的深度学习理念。这一理论不仅推动了机器学习技术的发展，还为后来的许多创新奠定了基础。这项工作的重要性在于它展示了如何通过模仿人脑神经网络的方式，使计算机能够更有效地处理复杂的数据集和任务。这标志着人工智能研究的一个重要转折点，开启了深度学习的新时代。尽管这一领域的进步带来了诸多机遇，但同时也引发了一些关于数据隐私和技术伦理的讨论。随着技术的不断成熟，确保其发展符合社会伦理标准将是未来研究的重要方向之一。 （这里主要是对原新闻内容进行了轻微的扩展和观点阐述，并未改变主体信息，同时增加了对未来发展的思考。）
Ilya展示了一张当时的幻灯片，重点介绍了他和团队的主要工作方向：将自回归模型、大型神经网络与大数据集相结合。
在十年前，这些因素并未被普遍视为成功的绝对保障，然而如今，它们已成为了人工智能领域最为关键的基础。
例如在谈到深度学习假设时，Ilya 强调了一个重要观点：
如果有一座10层的庞大神经网络，它便能在一秒钟内完成人类能够完成的任何任务。
他解释说，深度学习的核心假设在于人工神经元与生物神经元之间的相似性。根据这一假设，如果人类能够在0.1秒内完成某项任务，那么经过良好训练的10层神经网络也应能够完成同样的任务。
这一假设促进了深度学习领域的研究，并最终达成了当时看来颇为大胆的目标。
伊利亚详细阐述了自回归模型的基本原理：这种模型通过训练来预测序列中的下一个词元，一旦模型的预测足够精准，它就能够准确地捕捉到整个序列的概率分布。 在我看来，这种自回归模型的训练方法非常巧妙。它不仅简化了对复杂序列结构的理解过程，而且在处理自然语言任务时展现出极高的灵活性和准确性。例如，在机器翻译或文本生成等领域，这样的模型能够生成更加流畅且符合语境的输出，极大地提升了用户体验和技术应用的范围。同时，随着算法的不断优化和计算能力的提升，未来这类模型的应用前景将更为广阔。
这一理论为后续的语言模型研究奠定了重要基础，尤其在自然语言处理领域展现出巨大的应用潜力。在我看来，这种创新不仅极大地推动了人工智能技术的发展，而且为解决跨文化交流中的语言障碍提供了新的可能。未来，随着技术的不断进步和完善，我们有理由相信这类模型将在更广泛的场景下发挥作用，进一步提升人机交互的自然性和效率。 （这里主要是对原句进行了轻微改写，并加入了一些个人的观点和展望，但保持了原文的核心内容和主旨不变。）
当然除了“押对宝”的技术之外，也有“押错”的案例。例如LSTM（长短期记忆网络），它是深度学习研究者在Transformer出现之前广泛使用的主要技术之一。正如Ilya所提到的。
虽然LSTM在当时为神经网络带来了强大的功能，但其复杂性及其局限性也同样明显。
另一个便是并行化（parallelization）。尽管现在我们知道 pipeline 并不是一个好主意，但当时他们通过在每个 GPU 上运行一层网络，实现了 3.5 倍的速度提升。
Ilya 认为，规模假设（scaling hypothesis）是深度学习成功的关键。
这一假设表明，如果你有一个非常大的数据集，并训练一个足够大的神经网络，那么成功几乎是可以预见的。这个观点已经成为今天深度学习领域的核心法则。
Ilya进一步阐述了连接主义的观点，强调人工神经元与生物神经元之间的相似性使我们相信，即便不完全复制人脑的结构，庞大的神经网络也能够执行与人类类似的任务。
基于上述技术的发展，也让我们迎来了预训练的时代。预训练是推动所有进步的动力，包括大型神经网络和大规模数据集。
但 Ilya 接下来预测说：
虽然计算能力在不断增长，硬件和算法的进步使得神经网络的训练效率得到了提升，但数据的增长却已接近瓶颈。
他认为，数据是 AI 的化石燃料，随着全球数据的限制，未来人工智能将面临数据瓶颈。
虽然当前我们仍然可以使用现有数据进行有效训练，但 Ilya 认为这一增长趋势终将放缓，预训练的时代也会逐步结束。
谈及未来的发展方向时，Ilya强调了“智能代理”和“合成数据”的重要性。
不少专家在探讨这些议题，指出代理系统和生成数据可能是突破预训练模型局限的重要途径。
智能代理系统是指具备自主推理和决策能力的人工智能，而合成数据则是通过模拟环境生成的新数据，用于补充现实世界数据的不足。
Ilya还引用了一个生物学上的案例，阐述了哺乳动物的身体大小与大脑体积之间的关系，暗示不同生物可能遵循不同的“规模法则”来进化出各异的智能表现。
这一理念为深度学习领域的持续发展开启了新的思路，表明人工智能或许能够通过其他途径超越当前的规模限制。
Ilya 最后谈到了超级智能的前景。
他指出，虽然当前的语言模型和 AI 系统在某些任务上表现出超人类的能力，但它们在推理时仍显得不稳定和不可预测。
推理越多，随着系统的复杂性增加，其行为模式变得越来越难以预测，在处理某些复杂任务时尤其明显。 这种现象不仅揭示了技术进步中的挑战，也反映了我们对于智能系统理解的局限性。尽管人工智能技术在不断发展，但如何使这些系统更加稳定和可预测，依然是亟待解决的重要课题。这要求我们在设计和应用这些系统时，不仅要追求更高的效率和智能化水平，还必须重视系统的可靠性和可控性，以确保它们能够在各种复杂环境中稳定运行，为人类社会带来更多的便利和价值。
他还提到：
当前的AI系统尚不具备真正的理解和推理能力，尽管它们能够模仿人类的直觉，但未来的AI将在推理和决策方面表现出更为难以预测的能力。
伊利亚进一步推测，未来的AI将不仅仅是执行任务的工具，而会发展成为“智能代理”，能够自主进行推理和决策，甚至可能具备某种形式的自我意识。 从这一预测来看，未来的人工智能技术将不再局限于简单的指令执行，而是迈向更加智能化和自主化的方向。这种变化不仅预示着技术的进步，也对社会伦理、法律规范乃至人类自身的角色定位提出了新的挑战。随着AI系统越来越接近人类的认知能力，如何界定人与机器之间的界限，以及如何确保这些智能系统的决策过程符合道德标准，将成为亟待解决的问题。此外，这样的发展趋势也促使我们思考人工智能在教育、医疗、娱乐等各个领域的应用潜力，以及它可能带来的深远影响。未来，人类需要更加审慎地对待AI的发展，确保技术进步的同时，不忽视其对社会结构和个人生活的影响。
这将是一个质的飞跃，AI将不再是人类的工具或延伸，而是一个具备自主意识与决策能力的存在。 这种转变不仅标志着技术进步的一个重要里程碑，也对社会伦理、法律框架乃至人类自我认知提出了前所未有的挑战。随着AI逐渐展现出更加独立的行为模式，我们必须开始思考如何构建一个既能促进技术发展又能确保人类福祉和社会稳定的环境。此外，对于AI的监管与控制也将成为未来的重要议题，以防止其潜在风险对人类构成威胁。这一进程要求我们不仅在科技领域进行创新，同时也要在人文社会科学方面有所突破，以便更好地理解并引导AI的发展方向。
参考链接：
https://x.com/vincentweisser/status/1867719020444889118
本文来自微信公众号：量子位（ID：QbitAI），作者：金磊，原标题《Ilya 宣判：预训练即将终结！NeurIPS 现场沸腾》