OpenAI烧钱风波：数亿美元投入后，牛刀小试遭遇挑战
「破茧重生：OpenAI烧钱风波，重整旗鼓再出发」
数界探索
OpenAI的GPT系列一直是行业内外关注的焦点，然而在该公司最近如火如荼的宣传活动中，万众期待的GPT-5版本却不见踪影。
去年11月，OpenAI的首席执行官奥尔特曼曾明确表示，不会在2024年发布名为GPT-5的新模型。然而，有知情人士透露，作为OpenAI的最大投资者，微软曾期待在2024年年中能够看到这一新模型的亮相。 这种信息不一致的情况引发了外界对于OpenAI研发进度的诸多猜测。一方面，奥尔特曼的表态似乎给公众吃了一颗定心丸，表明他们目前没有计划急于推出下一代产品。另一方面，微软方面的期望则暗示了内部可能存在着不同的时间表或目标。这不禁让人思考，究竟是外部压力促使了更早的发布时间，还是内部开发进展比公开声明的要快？无论如何，随着2024年的临近，我们或许很快就能看到更多关于GPT-5的消息。
有人还称，截至目前，该项目已经筹备超过18个月，总体而言，这个代号为Orion的未来GPT-5模型的发展氛围已变得不太乐观。该模型已经进行了至少两次大规模训练，每次训练都需要数月时间来处理海量数据，但每次训练后都会出现新的挑战。
知情人士表示，Orion目前最多只能比OpenAI的公开模型略胜一筹，远未达到公司所称的“重大突破”，也无法让投资者认可其当前所需的巨大投入。据估算，该模型历时半年的训练仅在计算成本上就高达约5亿美元。
危险的是，在10月，OpenAI的最新估值达到了1570亿美元，并且持续受到投资者的青睐。不过，分析人士表示，这一高估值在很大程度上依赖于奥尔特曼的乐观预期，即GPT-5将在各种学科和任务上展现出博士级别的能力，远远超越当前GPT-4仅相当于高中生的水平。
这意味着如果GPT-5无法在合理时间内提供令人满意的性能表现，OpenAI的辉煌可能将如同泡沫般破裂，开启一场反噬的噩梦。
数据“燃”尽
OpenAI最初的设计理念是让GPT-5具备推动全新科学发现的能力，并能够执行如预约或航班订票等类人的决策任务，同时降低出错概率，或者至少在面对AI幻觉时能有所警觉。
尽管设想充满希望，但内部人士透露，OpenAI对于GPT-5的预期似乎有些过于乐观。特别是在处理数据问题方面，GPT-5遇到了前所未有的挑战。这表明，在实现如此雄心勃勃的目标时，技术上的障碍可能比预想的要多得多。 这一情况提醒我们，尽管人工智能的发展速度令人瞩目，但其背后的技术复杂性和所需解决的问题同样不容小觑。面对海量的数据处理需求，开发团队需要付出更多的努力来确保模型的有效性和准确性。这也意味着未来的AI产品可能需要更长的研发周期才能达到理想的性能水平。
在未来的人工智能模型训练过程中，我们需要不断进行测试，这一过程可能会持续很长时间。在此期间，模型将处理数以万亿计的单词片段，也就是所谓的token。据预测，未来的AI模型将需要吞吐量是当前模型的十倍甚至更多。 这种指数级的增长不仅反映了技术进步的速度，也揭示了对计算资源的巨大需求。随着模型变得越来越复杂，所需的计算能力和时间也会随之增加。这不仅仅是技术上的挑战，还涉及到环境和社会层面的影响。大量的能源消耗和碳排放成为我们必须正视的问题。如何平衡技术创新与环境保护，将是未来人工智能发展的重要议题之一。
GPT-4的训练使用了大约13万亿个token，这相当于一个由一千人组成的团队每天协作生产5000个单词，需要花费数月时间才能生成十亿个token。据奥尔特曼称，这样的训练项目成本超过1亿美元。 这种投入表明，人工智能领域的发展不仅需要巨大的资金支持，还需要长时间的努力和大量的人力资源。尽管如此，技术的进步速度仍然令人惊叹，这预示着未来人工智能将在更多领域发挥关键作用。同时，也引发了关于人工智能开发成本与收益比的思考，以及如何更高效地利用现有资源进行研究与开发的讨论。
因此，GPT-5模型面临的最大挑战依然是数据不足的问题。之前的模型主要依赖于新闻文章、社交媒体帖子和科学论文，然而，研究人员表示，目前公共互联网上的数据已显不足。为了使GPT-5更为强大，他们迫切需要更加多样化且质量更高的数据集。这一需求不仅凸显了技术进步对数据的依赖性，也反映了在大数据时代下，数据获取与处理的重要性日益增加。如何在确保数据隐私和伦理的前提下，获得更优质的数据资源，将成为未来人工智能发展的重要议题之一。
难以调头
目前，OpenAI的方案是从零开始生成数据，比如让招聘人员编写新的软件代码或解决数学问题，以便供Orion系统学习。这些员工中有些是软件工程师，有些是数学家，在必要时他们还需向Orion解释他们的工作过程。
此外，还有一种方法是利用现有的人工智能生成数据来训练Orion，例如OpenAI的o1。然而，研究人员警告称，使用人工智能生成的数据来训练人工智能系统可能会导致故障频发或产生不切实际的答案。 这种做法虽然在理论上听起来很吸引人，但在实际操作中却充满挑战。尽管人工智能生成的数据可以大大扩展训练集的规模和多样性，但如何确保这些数据的真实性和准确性仍然是一个未解之难题。此外，人工智能系统之间的交互也可能引发意想不到的问题，使得系统的整体性能难以预测。因此，在采用这种方法时，必须谨慎行事，并做好充分的测试与验证工作，以确保系统的稳定性和可靠性。
总之，在将Orion打造为真正的GPT-5的过程中，OpenAI已经感到力不从心，在实现质的突破之前，人工智能先被量的积累所困。更令人无奈的是，OpenAI今年持续的人才流失进一步加剧了这一困境。
近期，从首席科学家Ilya Sutskever到首席技术官Mira Murati，再到上周四辞职的知名研究员Alec Radford，OpenAI的多位重要人物相继离开，这一连串变动无疑为备受期待的GPT-5项目蒙上了一层阴影。尽管人工智能领域的发展充满潜力，但这样的高层离职潮可能会进一步延缓GPT-5的研发进程，甚至影响项目的最终成果。这不仅反映出团队内部可能存在的问题，也可能预示着在技术突破与商业运营之间需要找到更好的平衡点。随着这些关键人物的离去，GPT-5能否如期推出，以及其未来的表现如何，都变得更加难以预测。
迟迟未能看到成果的GPT-5也可能因OpenAI内部其他商业项目，例如Sora，而面临有限计算资源的竞争。这也向Orion发出了一个信号，即它几乎没有重新开始的机会，因为OpenAI已明确表示其追求盈利的目标。