惊喜！Hugging Face推出史上最小AI视觉语言模型，仅2.56亿参数，轻松运行在低于1GB内存的PC上！
AI小巨人，轻松驾驭AI视觉时代
1月24日消息，HuggingFace平台于昨日（1月23日）发表文章，推出了SmolVLM-256M-Instruct和SmolVLM-500M-Instruct两个轻量化AI模型。这些模型旨在让算力有限的设备能够最大程度地发挥其计算性能。
据报道，2024年11月HuggingFace平台推出了SmolVLMAI视觉语言模型（VLM），该模型仅包含20亿参数，专为设备端推理设计。由于其出色的低内存占用特性，SmolVLMAI在同类模型中显得尤为突出。
本次推出的 SmolVLM-256M-Instruct 仅有 2.56 亿参数，是有史以来发布的最小视觉语言模型，可以在内存低于 1GB 的 PC 上运行，提供卓越的性能输出。
SmolVLM-500M-Instruct模型虽然只有5亿参数，但其设计旨在适应硬件资源有限的环境。该模型为开发者提供了一个强大的工具，帮助他们应对大规模数据分析的挑战。通过降低对硬件的要求，SmolVLM-500M-Instruct在提升AI处理效率的同时，也显著提高了技术的可访问性。这不仅让更多的开发者能够参与到AI项目的开发中来，也为那些无法负担高端计算资源的小型团队或个人开发者提供了新的机会。 这样的创新对于推动AI技术的普及和应用具有重要意义，它表明在不牺牲性能的前提下，可以找到更高效的解决方案。同时，这也反映了当前AI领域内的一种趋势，即在追求更大模型和更多参数的同时，寻找更加实用和经济的方法来实现技术进步。
SmolVLM模型拥有卓越的多模态功能，能够进行图像描述、短视频分析，并能解答有关PDF文档或科学图表的问题。正如HuggingFace所言：“SmolVLM创建可搜索数据库的速度和成本效益更高，其效率相当于规模为其十倍的模型。”
该模型的开发基于两个专属数据集：TheCauldron和Docmatix。TheCauldron是一个精选的数据集，包含50个高质量的图像和文本样本，特别适用于多模态学习。而Docmatix则是专门为文档理解设计的，它通过将扫描文件与详尽的标题相结合来提升理解能力。
这两个模型采用了较小的视觉编码器SigLIP base patch-16/512，而非SmolVLM2B所使用的较大的SigLIP 400MSO。这一改动通过优化图像标记的处理方式，不仅减少了冗余，还显著提升了模型处理复杂数据的能力。这种改进无疑为相关技术领域注入了新的活力，使得在不牺牲性能的前提下实现更高效的计算成为可能。这不仅是技术创新的一大步，也为未来的研究提供了新的方向和思路。
SmolVLM模型现在能够以每个标记4096像素的速度对图像进行编码，这一性能相较于早期版本中的1820像素每标记有了显著提升。