【科技快讯】
3月1日,大浪资讯报道:近日,科技媒体Smartprix在其博文中透露,OpenAI在展示GPT-4.5模型的介绍视频中,意外曝光了GPT-6训练可能所需的GPU数量,这一信息预示着GPT-6的规模将超越所有先前的预测。
详细分析如下:
在GPT-4.5模型的介绍视频的第2分26秒,OpenAI展示的功能聊天记录中,出现了“Num GPUs for GPT 6 Training”的字样,这引起了业界的广泛关注。
尽管视频中并未对此提供进一步的解释,但“Num”这一词汇可能预示着一个前所未有的数字。根据媒体的推测,GPT-6的训练可能需要高达10万块GPU,这一规模远超以往任何模型。
回顾历史:
此前,有消息称OpenAI在训练GPT-3时使用了大约1万块GPU。随着模型的不断升级,对计算资源的需求也在持续增长。
最新进展:
代号为“Orion”的GPT 4.5在自然语言处理和减少“幻觉”方面取得了显著进展,其参数量可能超过3000亿至4000亿。据推测,GPT 4.5的训练使用了3万至5万块NVIDIA H100 GPU,训练成本估算在7.5亿至15亿美元之间(约合人民币54.69亿至109.37亿元)。
值得关注的是:
截图中“Num”的具体含义尚不明确,它可能代表“Numerous”(大量),暗示GPT-6的训练规模将远超先前的GPT-3和GPT-4.5。然而,这也可能只是OpenAI的一个策略,类似于之前他们用“Strawberry”(草莓)作为o1系列代号的举动,旨在引发市场关注。
结语:
随着人工智能技术的不断发展,我们对未来的GPT系列模型充满期待。而GPT-6的规模和性能,无疑将成为业界关注的焦点。