《群联AI DAPTIV+技术革新:巧妙驾驭NAND,缓解AI内存压力》

admin152025-03-19 16:55:46

最新科技动态:群联aiDAPTIV+技术亮相,助力AI应用突破内存瓶颈

—— IT之家专稿

2023年3月19日,北京讯 —— 近日,科技媒体NeoWin在其官方博文中报道了一项令人瞩目的技术进展。据悉,群联电子(Phison)近日对外展示了其创新性的aiDAPTIV+技术,这项技术有望通过动态缓存扩展内存,为AI应用领域带来突破性的内存解决方案。

内存瓶颈成为AI发展的关键制约

在人工智能(AI)和机器学习(ML)领域,处理能力已成为衡量现代硬件性能的关键指标。然而,除了处理器本身的算力外,AI任务对内存的需求也日益增长。正如IT之家引用博文所述,随着AI模型参数和精度的提升,对内存的消耗也随之增加。以单精度(float32)为例,其内存消耗通常达到参数值的四倍。即便是配备32GB显存的RTX 5090显卡,也可能在处理含有80亿参数的模型时面临内存压力。

aiDAPTIV+技术:动态缓存,突破内存瓶颈

为了解决这一难题,群联电子推出了aiDAPTIV+技术。该技术通过动态缓存的方式,结合基于NAND闪存的“aiDAPTIVCache”缓存技术,有效扩展了可用的HBM(高带宽内存)/ GDDR(专为高带宽应用设计的同步动态随机存取存储器)。

AI PRO桌面工作站:群联与Maingear携手打造

在GTC 2025大会上,群联电子与Maingear公司强强联手,推出了搭载aiDAPTIV+技术的AI PRO桌面工作站。通过aiDAPTIVLink 3.0新版中间件,该工作站实现了SSD的NAND和GPU之间的高效数据传输,提供了更快的首个Token时间(TTFT)回调响应,并支持更大的LLM(大型语言模型)提示上下文。

性能卓越,群联aiDAPTIV+技术展示实力

正如以下图表所示,群联aiDAPTIV+技术在处理超过130亿参数量的模型时,轻松超越了Maingear的配备四路英伟达RTX 6000 Ada的配置(未采用aiDAPTIV+)。

Maingear PRO AI工作站:高效训练,最小停机时间

Maingear公司介绍称,PRO AI工作站能够动态切片70B训练模型,将当前切片提供给GPU进行高速训练,同时将模型的其余部分存储在DRAM和群联AI100 SSD中。每个NVIDIA RTX 6000 ADA在训练过程中均表现出色,实现了最少的停机时间。

结语

群联电子的aiDAPTIV+技术为AI应用领域带来了全新的解决方案,有望在内存瓶颈问题上取得重大突破。随着技术的不断进步,我们有理由相信,AI应用将迎来更加广阔的发展空间。