中国联通元景文生图大模型开源,昇腾AI平台训练推理,中文智能领跑者闪亮登场-大浪资讯

admin72024-12-26 18:51:42

中国联通元景文生图大模型开源,昇腾AI平台训练推理,中文智能领跑者闪亮登场

元景文生图:智能时代的引领者

数界探索

   中国联通近日宣布,由联通数据智能公司研发的“联通元景文生图模型”已成功在国产昇腾AI软硬件平台上完成训练和推理,并正式开源。这是首个完全基于国产技术栈实现的中文原生文生图模型,标志着中国在人工智能领域自主可控技术方面取得了重要进展。 这一成就不仅展示了国产AI技术的实力,也为国内开发者提供了更多选择,有助于推动中文内容生成领域的创新和发展。同时,这也为中国企业在国际市场上提升竞争力奠定了坚实的基础,体现了我国在核心技术自主研发方面的决心和能力。

中国联通元景文生图大模型开源,昇腾AI平台训练推理,中文智能领跑者闪亮登场

   该模型实现了多项自主创新突破:

中国联通元景文生图大模型开源,昇腾AI平台训练推理,中文智能领跑者闪亮登场

   首先,在架构设计上,我们通过在SDXL框架中嵌入复合语言编码模块,实现了对中文长文本、多属性关联以及中文特有词汇的精准语义解析,从而显著提升了生成图像的效果。

中国联通元景文生图大模型开源,昇腾AI平台训练推理,中文智能领跑者闪亮登场

   此外,在昇腾AI大型计算集群上,我们成功完成了中文本地化文本到图像生成模型的训练与推理,并将该模型及代码对外开放,以促进国内文本转图像技术的发展。

中国联通元景文生图大模型开源,昇腾AI平台训练推理,中文智能领跑者闪亮登场

   据悉,原始SDXL的语言编码器仅使用英文CLIP模型,这使得它在处理英文文本时更加智能,但同时也限制了其对非英语文本的支持。此外,输入长度不能超过77个token,这对需要详细描述的应用场景来说可能是一个挑战。尽管如此,SDXL在处理简洁的英文文本时依然表现出色,未来或许可以通过改进模型来增强其多语言处理能力,以适应更广泛的应用需求。

   对此,联通元景文生图模型不仅将英文CLIP模型替换为中文CLIP,还引入了复合语言编码架构,采用基于编码器-解码器架构的语言模型,从而突破了文本长度的限制。

   通过引入复合语言编码模块,元景文生图模型实现了对中文语义的直接理解,从而避免了借助翻译插件等中间环节调用英文文生图模型所导致的中文信息丢失问题。

   同时,通过引入海量的中文图文对数据进行预训练,模型能够更精准地理解中文专属名词,例如“鼠标”与“老鼠”、“仙鹤”与“吊车”等容易被英文模型混淆的对象,同时也能够准确理解中文菜谱等特定领域的名词,并生成相应的高质量图片。这种技术的进步不仅大大提高了图像生成的准确性,还为多语言环境下的图像理解和生成提供了新的解决方案。它表明,随着技术的发展,机器学习模型在处理复杂且多样化的语言环境时,正逐渐展现出更强的适应性和灵活性。

   (在英文中均翻译成crane,易混淆)

   (中文特色词汇)

   中国联通在国产昇腾AI基础软硬件平台上实现了元景文生图模型从微调训练到推理的一体化适配。

   在微调训练方面,用户可使用自定义数据集,实现从其它平台至昇腾的平滑切换;

   在模型推理方面,我们的接口与Diffusers保持一致,操作简便且用户友好,同时支持单卡和多卡模式。在单卡推理过程中,我们还引入了UNetCache技术以实现加速。

   该模型已在中国联通的多个内部及外部项目中应用于文创、服装、工业设计等多个领域,支持了中华器灵、服装大模型等数十个案例。

   联通元景文生图模型赋能服装设计 

   联通元景文生图模型赋能文物活化

   目前,元景文生图模型现已在GitHub、HuggingFace、魔搭、始智等多个社区全面开放源代码,具体地址如下:

   GitHub:

   https://github.com/UnicomAI/UniT2IXL.git

   HuggingFace:

   https://huggingface.co/UnicomAI/UniT2IXL

   魔搭:

   https://www.modelscope.cn/UnicomAI/UniT2IXL.git

   始智:

   https://wisemodel.cn/models/UnicomAI/UniT2IXL

   联通元景文生图模型在全球数字经济大会上获奖