《天穹剧本机器人：AI引领短剧创作新时代》
AI智能编剧，引领戏剧创作新浪潮
2月18日，昆仑万维今日宣布开源国内首款针对AI短剧创作的视频生成模型SkyReels-V1以及国内首个达到顶尖水平的基于视频基础模型的表情动作可控算法SkyReels-A1。
昆仑万维官方介绍称，SkyReels-V1在表演细节上进行了标注，并对情感、场景及表演需求等方面进行了处理，采用“千万级、高质量”的好莱坞级别数据进行训练和微调。
此外，SkyReels-V1技术能够实现“影视级人物微表情表演”的生成，支持33种人物表情与400种自然动作组合，真实还原了人物的情感表达，可以生成大笑、怒吼、惊讶、哭泣等多种微表情。这一技术不仅标志着人工智能在模拟人类情感方面取得了重大突破，还为影视制作提供了无限可能。它能够帮助导演更精细地控制角色的情感表达，使电影或电视剧中的角色更加生动、逼真。此外，这项技术也可能会激发新的艺术创作形式，让观众体验到前所未有的视觉盛宴。
凭借与好莱坞级别影视作品相似的数据训练，目前SkyReels生成的每一帧画面，在构图、演员位置、摄像机角度等方面都声称具有“电影级的质感”。
SkyReels-V1 不仅支持文生视频，还支持图生视频，号称是“开源视频生成模型中参数最大的支持图生视频的模型”，在同等分辨率下各项指标实现开源 SOTA。
总结来看，SkyReels-V1 可以实现：
影视化表情识别体系：11 种针对影视戏剧中的人物表情理解，如不屑、不耐烦、无助、厌恶等表情的理解；
基于人体三维重建技术，我们能够准确理解视频中多个人员之间的空间相对关系，从而帮助模型生成具有电影级别的角色布局效果。
行为意图解析：开发逾400种行为语义元素，以实现对人类行为的精确解读；
表演场景理解：实现人物-服装-场景-剧情的关联分析。
性能方面，得益于自研推理优化框架「SkyReels-Infer」的支持，该模型能够达到544p分辨率，使用单台4090进行推理仅需80秒，并且还支持分布式多GPU并行处理。此外，它还支持ContextParallel、CFGParallel和VAEParallel技术。
此外，该模型采用FP8量化和参数级别卸载技术，以适应低显存用户的显卡运行需求；支持FlashAttention和SageAttention，并通过模型编译优化来进一步减少延迟；基于开源Diffusers库进行开发，以提高其易用性。
为了实现更加精准可控的人物视频生成，昆仑万维开源了SOTA级别的基于视频基座模型的表情动作可控算法SkyReels-A1，该算法与Runway的Act-One相抗衡。SkyReels-A1支持视频驱动的电影级表情捕捉功能，这无疑为数字人像技术的发展开辟了新的道路。 SkyReels-A1的推出标志着在人物视频生成领域迈出了重要的一步。它不仅提供了更为精细的控制选项，使创作者能够更准确地表达创意，而且在实际应用中也展现了巨大的潜力。例如，在电影制作中，这一技术可以大大提升角色表现的真实感，让观众更容易沉浸在故事之中。此外，对于游戏开发人员来说，这项技术也可以帮助他们创建更加生动的角色，从而增强玩家的体验感。随着这一技术的不断成熟和完善，未来有望在更多领域得到广泛应用。
SkyReels-A1技术展示了其在人物动态视频生成方面的强大能力，不仅限于特定的人体比例，还能适应包括肖像、半身及全身构图等多种场景需求。这项技术的进步无疑为影视制作、广告设计等领域带来了新的可能性，使得创作者可以更加自由地表达创意，而无需担心复杂的动画制作过程。随着这一技术的不断成熟与普及，未来我们可能会看到更多高质量且富有创意的动态影像作品涌现出来。
如下图所示，在SkyReels-A1技术的支持下，我们成功地将驱动视频中的面部表情和表演细节“移植”到了给定的参考图片的人物身上。这一创新成果不仅展示了人工智能在图像处理领域的巨大潜力，也为未来影视制作提供了全新的可能性。通过这项技术，我们可以预见未来的电影和电视节目将能够以更加高效和精确的方式进行后期制作，大大提升了创作的灵活性和多样性。此外，这项技术的应用也引发了对于版权和隐私等方面的讨论，如何在推动科技进步的同时确保伦理道德标准，是我们需要共同思考的问题。
附开源地址如下：
SkyReels-V1：https://github.com/SkyworkAI/SkyReels-V1
SkyReels-A1：https://github.com/SkyworkAI/SkyReels-A1
技术报告：
https://skyworkai.github.io/skyreels-a1.github.io/report.pdf