昆仑万维开源中国首个面向AI短剧创作的视频生成模子SkyReels-V1，重塑AI短剧行业样式
发布日期：2025-02-21 10:08 点击次数：119
2月18日，昆仑万维开源中国首个面向AI短剧创作的视频生成模子SkyReels-V1、中国首个SOTA级别基于视频基座模子的色调换作可控算法SkyReels-A1。
1. SkyReels-V1：Human-Centric Video Foundation Model，中国首个面向AI短剧创作的开源视频生成模子
SkyReels-V1可达成影视级东说念主物微色调饰演生成，救济33种良好东说念主物色调与400+种当然算作组合，高度规复真情面感抒发。正如以下视频所示，SkyReels-V1救济生成大笑、咆哮、骇怪、抽泣等微色调，展现出东说念主物形貌丰沛的饰演细节。即使有大幅度肢体算作，SkyReels-V1生成的微色调也圆善贴合东说念主物肢体饰演。
同期，SkyReels-V1为AI视频生成带来了电影级光影好意思学，基于好莱坞级的高质地影视数据历练，现时SkyReels生成的每一帧画面，在构图、演员站位、相机角度等齐具备电影级的质感。岂论是单东说念主镜头饰演细节，照旧多东说念主构图，现时已具备精确的色调限度和高质感画面。
更伏击的是，SkyReels-V1不仅救济文生视频、还能救济图生视频，是开源视频生成模子中参数最大的救济图生视频的模子，在同瓜分歧率下各项主义达成开源SOTA。
图1丨SkyReels-V1文生视频主义对比(起原：昆仑万维SkyReels)
大致达成这么的SOTA级别，不仅依赖于昆仑万维SkyReels团队基于自研的高质地数据清洗和东说念主工标注管线，构建了千万级的高质地电影&电视剧&记载片数据。更依托团队自研“Human-Centric”的视频不绝多模态大模子，大幅提高视频中东说念主物研讨的不绝智力，尤其是自研东说念主物智能明白系统。
总而言之，成绩于塌实的数据行状和先进的东说念主物智能明白系统，SkyReels-V1不错达成：
影视化色调识别体系：11种针对影视戏剧中的东说念主物色调不绝，如不屑、不耐性、无助、厌恶等色调的不绝；
东说念主物空间位置感知：基于东说念主体三维重建技艺，达成对视频中多东说念主的空间相对关系不绝，助力模子生成影视级东说念主物站位；
行为意图不绝：构建跨越400种行为语义单位，达成对东说念主物行为的精确不绝；
饰演场景不绝：达成东说念主物-服装-场景-剧情的关联分析。
SkyReels-V1不仅是全球少量数开源的视频生成模子，照旧围绕东说念主物饰演、开源视频生成模子中性能最强的。
在自研推理优化框架“SkyReels-Infer”的加握下，大幅提高推理成果，达成544p分歧率，推理基于单台4090只需80s，还救济散布式多卡并行，救济Context Parallel，CFG Parallel，和 VAE Parallel。此外，采纳fp8 quantization以及parameter-level offload，容许低显存用户级显卡启动需求；救济flash attention、SageAttention，模子编译优化等，进一步优化延伸；基于开源diffuser库，众和配资提高易用性。
正如下图2所示，在同等RTX4090资源情况下对比(4卡)，SkyReels-Infer版块比HunyuanVideo官方版块端到端延伸减少58.3%(293.3s vs 464.3s)；SkyReels-Infer版块具备更鲁棒的部署战略，救济用户级别显卡1卡-8卡的推理部署。
图2丨推理生成544p视频，使用换取卡数的RTX 4090，SkyReels-Infer版块端到端延伸优于HunyuanVideo官方(xdit) 58.3%
在同等A800资源情况下对比，SkyReels-Infer版块比HunyuanVideo官方版块端到端延伸减少14.7%～28.2%(如图3所示)，SkyReels-Infer版块具备更鲁棒的多卡部署战略。
图3丨推理生成544p视频，SkyReels-Infer版块具备更鲁棒的多卡部署战略，救济8卡部署
2.SkyReels-A1：首个SOTA级别的基于视频基座模子的色调换作可控算法
为了达成愈加精确可控的东说念主物视频生成，昆仑万维还开源了SOTA级别的基于视频基座模子的色调换作可控算法SkyReels-A1，对标Runway的Act-One，SkyReels-A1救济视频驱动的电影级色调捕捉，达成高保真微色调规复。大致基于淘气东说念主体比例(包括肖像、半身及全身构图)生成高度传神的东说念主物动态视频，其简直感源自对东说念主物色调变化和形貌的精确模拟、皮肤肌理、躯壳算作随从等多维度细节的深度规复。
SkyReels-A1不仅救济侧脸的色调限度生成、还能达成愈加传神的眉眼微色调生成和更大幅度的头部与当然躯壳算作。SkyReels-A1大致达成更大幅度的东说念主物色调驱动。比较Runway的Act-One，SkyReels-A1不错移动更复杂的色调换作，生成的东说念主物面部表情不错合营肢体及画面实践达成更生气勃勃的饰演。
3.以开源之姿，以破局之势，昆仑万维起劲于于鼓动全球AI短剧创作生态昌盛发展
昆仑万维一直坚握开源，鼓动技艺平权。昆仑万维同期将SOTA级别的SkyReels-V1和SkyReels-A1进行开源，是AI短剧行业首例，亦然昆仑万维SkyReels回馈行业迈出的一小步，更是促进AI短剧创作和视频生成行业枝繁叶茂的一大步。
咱们确信在进行推理优化的升级和可控算法的开源后，它们将为用户带来低资本、可控性更强的AIGC智力。昆仑万维但愿通过更多优秀视频生成模子的开源和极致的AI短剧产物智力，为用户带来低资本达成AI短剧创作的可能性、结巴行业现在视频生成一致性差的问题，让各人通过我方的电脑生成精细且可控的东说念主物饰演。
这次开源的视频大模子，不仅是一次技艺结巴，有助于平缓全球实践产业的数字规模，更是文化产业出产力的一次翻新。畴前，短剧与游戏、造谣现实等规模的跨界发展，将会加快产业交融。AI短剧也有但愿从“技艺实验”迈向“主流创作”，成为全球文化输出的新载体。
“达成通用东说念主工智能，让每个东说念主更好地塑造和抒发自我”是公司的职责，畴前，昆仑万维及SkyReels还将开源更多视频生成模子和算法、通用模子，通过开源达成AGI平权，鼓动AI短剧生态的握续开导和昌盛，促进开源社区、开发生态以及AI行业的发展。
