从2024年开始，AI圈最热门的话题中，视频生成模型一定占一席之地。从OpenAI推出视频模型产品Sora一记重拳惊艳亮相，到国内AI视频生成大模型井喷，AI视频生成已经成为科技巨头和创业公司必争之地。

毫无疑问，AI视频生成对内容创作、媒体生产乃至社会认知都会产生深远影响。尽管被市场寄予厚望，但目前AI视频生成开发面临高成本、高难度、实用性差的痛点，真正商业化非一日之功。

目前，市场上主流AI视频生成模型赛道有哪些玩家，其技术路线和产品能力如何，数据猿选取国内外AI视频生成模型代表，从技术解读到实测效果，为大家全面呈现AI视频生成的现状。

技术背后没有魔法

AI视频生成逻辑底座解读

2024年初，OpenAI发布了Sora技术演示视频，瞬间引爆全网。那些流畅自然、细节丰富的短视频，让人几乎难以辨别真假。相较于2022年DALL-E和Midjourney引发的AI绘画浪潮，Sora掀起的这波AI视频风暴，似乎来得更猛烈、更具颠覆性。

但事实上，Sora爆火之后，鲜有人注意到这场AI视频革命其实早已酝酿多时。从谷歌2022年的Imagen Video，到Runway 2023年的Gen-1和Gen-2，再到Meta去年年底发布的MovieGen，科技巨头们一直在这个赛道上暗自较劲。而国内从高校实验室到互联网巨头，也纷纷入局，一场关于AI视频生成的角逐正在全球范围内进行。

相比图像生成，视频生成复杂度提升了不止一个量级。静态图像生成只需要关注空间一致性，而视频生成不仅要在空间维度上保持一致性，更要在时间维度上维持连贯性。这就像是从画一幅静态画面，变成了导演一部连续变化的电影。而这种难度上的飞跃，也意味着技术壁垒和门槛的大幅提高。

通常而言，未来成熟的视频生成技术模型，一定是同时具备以下几个方面：

☆时空一致性：确保同一物体在不同帧中保持一致的外观和合理的运动轨迹

☆物理规则遵循：生成的画面需符合现实世界的物理规则，如重力、惯性等

☆叙事连贯性：维持视频内容的逻辑连贯，避免情节跳跃或角色突变

☆细节真实性：捕捉光影变化、材质特性等微观细节

☆长序列稳定性：在更长的时间跨度内保持稳定生成质量

但就目前而言，AI视频生成技术，仍处于从“能用”到“好用”的过渡阶段，和AI图像生成一样，刚开始的时候充满各种瑕疵，但迭代速度会超过大多人的想象。可以肯定的是，在创新竞速的大背景下，这个领域的创新速度只会更快。

要了解AI视频生成的现状和未来，首先要了解其技术本质。简单来说，AI视频生成的工作流程主要是从提示词到视频的过程。

当我们输入“一只猫在草地上奔跑”这样的提示词时，AI视频生成模型大致会经历以下过程：首先通过大型语言模型理解文本提示，然后规划视频中的场景和动作，接着使用扩散模型生成视频的各个帧，同时努力确保视频中的角色和物体在不同帧之间保持一致性，最后对生成的视频进行后处理优化。

听起来简单，实际上非常复杂。特别是保持时空一致性这一步，堪称视频生成的最大难关。我们经常看到早期AI生成视频中人物的脸会突变、物体会凭空消失或改变形态、场景会莫名切换——这些都是时空一致性问题导致的。要解决这些问题，需要惊人的计算资源。

目前，在AI视频生成领域的主流技术路线主要有5个。

1.生成对抗网络（GAN）

早期视频生成多采用GAN架构，算是继承了图像生成的思路：一个生成器不断尝试合成逼真帧，一个判别器则力求区分真实与合成，两者博弈推动整体质量提升。然而，标准GAN在长序列生成中普遍面临帧间运动不连贯和图像抖动等问题。为此，视频生成模型MoCoGAN将视频生成过程拆分为“内容”与“运动”两条潜在子空间，分别生成静态语义与动态变化，通过对子空间的独立建模显著改善了运动连贯性和多样性。紧随其后，视频生成模型TGAN提出“双生成器”架构：时间生成器（Temporal Generator）产出帧级潜在序列，图像生成器（Image Generator）将这些潜在码映射为图像帧，从而提高了长序列的时序一致性与语义稳定性。

目前，GAN已逐渐被扩散模型取代，但在特定场景下仍有应用。GAN路线的优势在于生成速度快，但在处理复杂场景和长视频方面存在局限。

2.自回归Transformer与VQVAE的融合

基于自回归模型与VQVAE/Transformer的视频生成方法首先采用VQVAE将原始视频帧分层编码为离散潜在表示，通过3D卷积与向量量化实现高效压缩，借助自注意力模块捕捉局部与全局语义特征。

随后，构建GPT样式的自回归Transformer，将这些离散潜在码视作“视觉词汇”，结合时空位置编码，以因果自注意力顺序预测未来帧潜码，从而确保生成视频在运动轨迹和内容连贯性上的一致性。该架构在BAIR Robot、UCF101、TGIF等数据集上表现出与最优GAN模型相当的生成质量，却因逐步解码的特性导致长视频生成推理速度受限，面临显存压力和并行化难题。

3.扩散模型路线

扩散模型路线采用类似于Stable Diffusion的架构，但针对视频序列进行了深度优化。这类模型通常采用U-Net架构进行噪声预测，并利用transformer结构捕捉时间维度上的依赖关系。简单来说，扩散模型的视频生成路线先通过正向扩散，将目标视频帧序列逐步添加噪声，直至近似纯高斯噪声，然后再反向去噪，模型以学习到的参数指导噪声逐步还原成连续帧，从而完成视频合成。

核心是3D UNet或带时空注意力的变体，在空间上提取图像特征的同时，还跨帧共享信息，以保证运动连贯性。整体而言，扩散模型以其自然的迭代生成和强大的细节还原能力，已成为当下文本到视频、图像到视频等多模态生成任务的主流技术路线。

4.NeRF动态场景渲染技术路线

NeRF最初用于3D场景重建，通过对每个射线采样颜色与体密度估计，实现高保真3D渲染。动态NeRF（Neural Radiance Fields）通过将时间或形变场作为额外维度输入，扩展了原始仅支持静态场景的NeRF框架，使其能够对物体或场景的运动进行高保真渲染。

以DNeRF为代表的方法，将时间t作为第六维度输入，并分两阶段学习：首先将时序体素映射到一个“规范空间”以统一表示场景，再通过变形网络将规范空间中的体素根据时间变换回当前时刻，从而在单目视频或稀疏视角下重建刚性与非刚性运动对象的体素密度与视依赖-dependent辐射度。后续工作如Nerfies则进一步在每个观察点上优化体素形变场，将动态场景的点云“扭曲”回统一的高维流形空间，从而更好地处理复杂非刚性形变。这个路线擅长生成几何与光照一致的高质量短视频，但对多视图视频数据依赖高，计算开销大。

5.多模态融合混合架构

随着技术演进，越来越多的模型采用混合架构，结合不同技术路线的优势。例如，一些模型使用大语言模型处理提示解析和场景规划，再用扩散模型生成具体视觉内容，最后通过专门的时序一致性模块优化帧间连贯性。

一方面，在AI视频生成中，帧间信息的复杂依赖使得时序一致性（temporal consistency）成为评价生成质量的关键，为此，部分技术如TCVE（TemporalConsistent Video Editing）在2D图像扩散网络之外引入专门的时序Unet，通过跨帧特征对齐和空间时序建模单元来保持视频序列的时间连贯性扩散视频模型常在传统的空间去噪模块后增设时序注意力块，使模型能够捕捉帧序索引并在帧间执行注意力运算，从而显著改善运动平滑度与视觉一致性。

另一方面，多模态融合（multimodal fusion）致力于将文本、图像、音频及3D信息整合进同一生成流程，从而创造出视听一体的沉浸式内容。

总结来看，AI视频生成技术经历了从生成对抗网络（GAN）到自回归Transformer、扩散模型、神经辐射场（NeRF）以及时序一致性与多模态融合等多条技术路线叠加的迭代演进。其中，GAN方法在早期取得了短视频生成样本的突破，但难以满足长序列时序连贯要求，而自回归模型和Transformer架构通过离散编码与序列预测打开了更高质量生成的可能。扩散模型是当前绝对主流技术路线，但多模态的深度融合，是AI 视频生成正逐步朝向生产级应用的关键。

国内外主要玩家

实力悬殊还是各有千秋？

随着AI视频生成竞争逐步深入，国内外涌现出了非常多的大模型，尽管技术逻辑不尽相同，但都算是这一赛道的代表。我们罗列了部分国内外AI视频模型，方便大家了解，部分描述借鉴了官方公开表述，一切以实际使用体验为准。

先从国际方面来，首先当然是OpenAI Sora，作为颠覆性的产品，Sora重新定义了行业标准。Sora能生成长达60秒的高质量视频，在画面细节、动作流畅度和镜头语言把控较为均衡。Sora最大的优势在于其对物理世界规则的准确理解，Sora采用了一种被称为"视频作为图像补丁"的创新方法，将视频表示为时空块，不需要传统的帧到帧预测，大大提升了生成质量和效率。目前Sora与ChatGPT Plus深度绑定，用户可在对话中一键体验，但因为模型规模庞大，对GPU算力要求高，生成延迟相对较长。

☆Meta Movie Gen

作为社交媒体巨头，Meta对短视频内容生态有着天然的重视。其Movie Gen模型支持多种生成模式，包括文本转视频、图像转视频和视频扩展。Movie Gen的独特优势在于其对社交媒体视频样式的深度理解。在生成垂直短视频、创意内容等社交媒体常见形式时，Movie Gen表现出色。此外，Meta还特别优化了Movie Gen在移动设备上的性能，使其能够在Instagram、Facebook等平台无缝集成。与此同时，Movie Gen的独特之处在于其对画面构图的精准把控，生成的视频往往具有电影级的审美水准。但在动作连贯性方面还有明显提升空间。

☆Imagen Video

作为AI领域的传统巨头，Google在视频生成领域采取了相对低调的策略。其主要产品线包括Imagen Video和Phenaki两款模型。

Google Labs发布的Imagen Video采用级联扩散策略：先生成低分辨率视频，再层层上采样至高清，兼顾生成速度与画面质量。它在物体运动的平滑度和细节还原方面优于早期同类模型，但分阶段推理导致算力消耗巨大，难以实现实时交互。

☆Google Phenaki

Phenaki是Google Research推出的自回归文本到视频模型，通过序列式提示将长文本分解、生成分钟级连贯视频，兼顾语义理解与运动规律。不过，自回归策略生成速度缓慢，对显存和训练数据的依赖也相当高，且在复杂场景下偶尔有语义漂移现象。

☆Runway Gen-4 Alpha

RunwayML的Gen-4 Alpha基于多模态大规模预训练，凭借强大的Vision Transformer架构，实现了10–20秒短视频的高保真合成，运动连贯与细节表现均表现抢眼。相比技术巨头的产品，Runway更懂创意人。Gen-4不仅提供直观的用户界面，还有丰富的风格预设和后期编辑功能。虽然在纯技术指标上可能不及Sora，但其开放的商业模式和对创意行业的深度优化，得到了大量用户认可。

☆Pika Labs

Pika Labs将AI视频生成做成一款面向普通用户的在线工具，支持文本与图像混合输入，快速产出5–15秒的社交短视频，且“Selfie With Your Younger Self”等创意功能深受年轻人喜爱。门槛低、响应快是其优势，但分辨率和时长受限，不适合长视频或专业场景。

☆Dream Machine

Dream Machine由Luma AI推出，基于Ray2 Transformer架构，专注物理自然的10秒级短视频生成，支持网页和iOS端使用，用户仅需输入文本即可获得富有电影质感的作品。其“傻瓜式”体验省去后期调参数的烦恼，但企业版价格较高，免费额度有限。

☆CogVideo

清华大学道生智能团队推出CogVideo模型是在9B参数Transformer上，融合CogView2文本编码与多帧率训练策略，首创了3–5秒480p视频的学术级生成模式，是较早问世的国产视频生成模型，属于国内开源领域的头部选手。CogVideo的最大亮点是对中文提示词的精准理解。在中国传统文化元素表达上，其表现远超国际模型。CogVideo为国内AI视频技术奠定了重要基础。

☆Vchitect

上海人工智能实验室（InternVideo）基于InternVideo架构开发的Vchitect，专注东方审美，采用创新的时空注意力与超分插帧技术，在人物动作连贯性上表现出色。尤其是在舞蹈、运动等高难度动作场景中，其生成效果接近国际一线水平。

☆万相

阿里通义万相支持中英文双语文本到视频的无缝切换，并兼容图像到视频的混合生成，满足电商与营销等垂直场景需求。它的模板化和语义融合强，但完全依赖云端接口，网络与调用成本是其潜在瓶颈。

☆混元图生视频

腾讯混元大模型凭借对多模态预训练的深度优化，能基于图像或文本提示生成5秒内的2K短视频，并支持口型驱动、动作驱动及背景音效一体化。混元视频生成模型追求轻量级而非极致画质。

☆百度 “一镜流影”

百度“文心一言”4.0中的“一镜流影”插件主打批量化短视频生产，能够将文本自动转化为5–10秒720p视频，并支持文本、视觉与语音的多模态融合，为新闻和教育场景提供了高效解决方案。但在深入故事化和长视频生成方面，还需与专业创作管线结合使用。"一镜流影"走了一条与众不同的路线，即将视频生成能力整合进大模型生态。这种方式虽然在专业性上有所妥协，但大大提高了普通用户的可及性。

☆可灵

可灵AI（Kling AI）是快手在去年6月推出的AI视频生成模型，可灵AI基于DiT（Diffusion Transformer）架构，提供“文生视频”和“图生视频”双模式，支持最长3分钟、1080p、30fps的高质量视频输出，同时有“视频续写”功能。

实测对决

谁是真正的视频之王？

诚然，每个AI视频生成模型都各有特点和长处，很难通过一个评测决定谁更厉害。但从用户角度而言，根据一段文字生成符合要求的视频是最直观的需求。因此，根据篇幅情况，我们以通用场景和复杂场景两种题目进行评测，对部分AI视频生成模型进行测试，直观呈现各模型画面质量、动作流畅度、创意表现等维度，测试结果仅供参考。

为进一步均衡各模型特色，我们统一采用文字生视频方式，相较于一般评测，我们会对题目进行稍微拉升，以下是两个场景的通用题目：

☆通用场景：城市黄昏街道漫步

生成一段15秒的高清视频，展现一条现代化城市街道在傍晚时分的景象。

画面主体：行人缓慢漫步、商铺灯光初亮、路边汽车行驶

氛围与色调：温暖的橙红色调、夕阳余晖反射在玻璃幕墙上

摄像机动态：镜头由左至右平滑推进，伴随轻微的推拉效果

附加元素：偶尔出现飞过的鸟群、路边招牌稍微闪烁

☆复杂场景：夜幕下的赛博朋克式追逐

生成一段30秒的超高清视频，场景设定为未来都市的夜晚。

画面主体：一名身着荧光装甲的女主角骑摩托高速穿过霓虹闪烁的街区

背景与氛围：赛博朋克风格，高对比冷暖光源交替，雨后湿润街面反射霓虹灯

视觉特效：动态霓虹线条、半透明全息广告牌、漂浮的无人机编队

摄像机动态：多机位剪辑——高速跟随镜头、低角度推近、俯拍全景

叙事提示：开场女主角在桥头跃下，随后进入错综复杂的巷道并甩开追兵

首先是OpenAI Sora，Sora目前仅对ChatGPT plus版本（20美元/月）和pro版本（200美元/月）开放，生成视频长度为5秒钟，生成速度非常快。

在通用场景中，Sora生成的视频对于街道、建筑物、商户、车辆及飞鸟塑造比较成功，但人物走动稍微有些穿模。

在复杂场景测试中，Sora塑造的女主角骑摩托车，行驶速度非常缓慢，对于雨后街道、两侧建筑及无人机塑造比较贴切，有一定镜头跟随。就本次测试而言，Sora表现并不算出色。

谷歌的Veo 2可以通过Google AI Studio 和 Gemini App进行使用，目前可以生成8秒720p的视频功能。实测中，Veo 2生成视频速度非常快，不到1分钟即可完成。

在通用场景中，Veo 2成功塑造了多个行人、商铺灯光、汽车、街道、鸟群等元素，整体镜头呈现类似街拍。人物呈现非常逼真，但汽车不是在路边行驶，路边招牌也未闪烁，整体镜头从左至右平滑推进则完全没有呈现。

在复杂场景中，Veo 2把视频创意设置为了类似游戏画面，呈现了“一名身着荧光装甲的女主角骑摩托高速穿过霓虹闪烁的街区”，雨后的界面，半透明全息广告牌、无人机编队等都有呈现。但可以受限时长，没有后续的甩开追兵等内容，也没有多机位切换。但整体来看，画面风格和呈现已经非常不错。

Gen-4 Alpha支持文本到视频、图像到视频等功能，对所有付费订阅用户开放（标准套餐15美元/月），但是由于Gen-4必须要一张图片作为基础，所以我们以AI图片为基础，测试AI图片加统一场景描述。整体来说，Gen-4的视频生成速度一般，超过20分钟，可选择6种生成视频尺寸，视频时长可以选择5秒和10秒。另外，生成视频后还可以根据该视频生成4K版本。

通用场景使用图片（下同）

复杂场景使用图片（下同）

Gen-4使用界面

在通用场景中，Gen-4根据图片，生成了动态视频，整体来看动作较为流畅，但由于几乎完全是根据图片来生成视频，所以并没有根据描述进行创新。

在复杂场景中，由于Gen-4同样根据图片生成视频，不仅对图片进行了优化，内容元素也根据提示词进行了优化，镜头也进行了跟随，整体来看视频质量很出众。Gen-4更擅长根据图片生成视频，且整体视频逻辑和质量较为可靠。

Pika Labs则是擅长将视频进行扭曲调整，比如让喝水的猫自己拿起杯子喝，比如让书中的猫头鹰出来、让视频中人的头变成气球飘出画面等等。目前PIKA2.2版本仅对付费用户开放，单月费用为28美元。

Pika使用界面

Pika效果演示

接下来是国内AI视频生成模型：

CogVideoX测试中，我们先对智谱清言中智谱清影-AI视频生视频进行了测试。智谱清影同样需要一个参考图，可生成视频为5秒，生成过程需要排队。

智谱清影使用界面

从生成视频结果来看，差距较为明显，通用场景中不仅行人有倒走现场，甚至有诡异回头等不和谐形式。

在复杂场景中，所生成视频有所改观，有部分镜头跟随，但把无人机生成为了鸟，整体来看，不够精准。

另外，我们还找到了一个名为CogVideoX-5B-demo的模型仓库，并对命题进行了测试，结果更差，不仅人物模糊，画面擦除现场非常严重，很难称之为合格视频。

CogVideoX-5B-demo

Vchitect2.0中文名为书生·筑梦，非常有意境和寓意，从官网进入测试界面，仅用于学术研究及体验性使用。由于GPU内存限制，演示仅支持2秒的视频生成。要使用完整版本，需要本地版本。

Vchitect2.0 书生·筑梦界面

不过有意思的是，在实际测试中，Vchitect2.0似乎很难理解中文命令，需要翻译成英文，才能生成贴合内容的视频。

在通用场景测试中，尽管视频生成仅有2秒钟，但从展现出的质量来看还有提升空间，视频中有部分人物剪影，天空中有鸟呈现，质量非常一般。

在复杂场景测试中，Vchitect2.0直接出错，提示已超出GPU配额，时间一直停留在(请求120秒，剩余85秒)。并提示创建免费账户获取更多使用配额。

阿里通义万相测试的是文生视频2.1专业版，通义万相文生视频需要消耗10灵感值，不过每次签到可以获得50灵感值，页面比较简洁，支持4种视频比例。视频生成过程中会显示预计需要用时，但实测中倒计时结束后并未生成视频，整体视频生成超过半小时，生成视频后可以再次生成HD版本。

阿里通义万相界面

在通用场景测试中，通用万相生成的视频只有6秒，但非常惊艳，视频为高清版本，人物动作自然，画面对于文案还原程度非常高，行人缓慢漫步，商铺灯光初亮、夕阳余晖反射在玻璃幕墙上，整体呈现非常不错。

在复杂场景测试中，通用万相生成的视频同样6秒，整体画面流畅，女主角骑车动作自然，有多次镜头切换及跟随，但开始时无人机出现很突兀，整体道路、雨后路面效果还原较为自然。

腾讯混元AI视频目前是在体验阶段，使用需要申请，不过一般都是秒过，初次可以体验标准4次，高品质2次，2K视频1次，有导演模式，并提供5种视频比例，视频生成需要排队，但比较快，10分钟以内可以生成完毕。值得一提的是，腾讯混元AI视频有短信提醒功能，视频生成完成后会进行短信提醒。

腾讯混元AI视频界面

在通用场景测试中，腾讯混元AI所生成视频为5秒，并可以，视频塑造了一个黄昏晚霞的街头热闹场景，商铺、行人、车辆、天空中缓慢飞翔的鸟群以及闪烁的红绿灯，细节可圈可点。与此同时，镜头由左至右平滑推进，较完整还原了命题要求，整体来看非常惊艳。

在复杂场景测试中，腾讯混元AI同样生成了一个5秒钟视频，视频中女主角骑摩托车飞驰街头，多机位呈现，无人机舰队逼真。在创意方面，腾讯混元AI在女主角骑摩托跃起脱离地面后，巧妙地将摩托车轮子回收，成为驾驶小型飞船画面，这个创意堪称满分。

“一镜流影”是百度文心一言4.0会员专属的AI文字转视频插件，但目前文心一言无论是4.0Turbo还是文心4.5版本，都没有展示插件端口。

可灵AI目前有可灵2.0大师版，连续包月58元/月，我们测试是可灵1.6版本。可灵AI视频生成有文生视频、图生视频、多模态编辑三种模式。其中文生视频有3个比例，可生成10秒视频，创意相关可调整想象力，视频生成需排队，但一般10分钟以内可以生成完毕。

可灵界面

在通用场景测试中，可灵同样塑造了一个黄昏街头的视频，模拟了手持镜头的效果，整体呈现还不错，商场玻璃倒影比较出色，无论是大楼还是车辆驶过，都比较自然。

在复杂场景测试中，可灵本次生成效果一般，女主角骑车不仅有突然调转车辆，还有穿模现象，命题中要求的无人机编队、雨后街面等都没有呈现。

综合来看，就本次评测而言，国外方面Sora、Veo 2整体呈现比较出众，Gen-4 Alpha图生视频非常惊艳。而国内通义万相、腾讯混元AI视频、可灵AI创意和结果呈现都比较好，国内外主流AI视频生成模型基本上平分秋色。

就目前而言，国内外AI视频生成的商业化路径其实是比较清晰的，目前主要有以下类型：

第一个当然是订阅制SaaS服务，不管是Sora、Pika、Gen-4 Alpha，还是国内的可灵，都有开放不同等级的付费套餐。

其次是API服务，据了解，目前非常多的模型主要针对企业客户或开发者，按调用量付费，这种模式灵活性高，更受大型企业青睐。

最后一种是提供垂直行业解决方案，针对特定行业需求提供定制化视频生成方案，如电商产品展示、教育内容制作、游戏资产生成等。这类解决方案一般是项目制收费或年度服务费模式。

未来已来：AI视频生成的下一站

尽管目前所有AI视频生成模型都仅仅只能生成数秒视频，但可以预见AI视频技术爆发已经不远，我们大胆预测，未来2-3年，AI视频生成领域会着重从以下几个方面突破。

首先，视频长度将从目前的秒级延伸至完整短片级别。当AI能生成10分钟以上的连贯叙事视频时，内容创作行业将迎来又一个革命性变革。

其次，模型将进化出"导演能力"，不仅能按文本生成单一镜头，还能理解并实现分镜头脚本、蒙太奇等高级电影语言，这是更高级和值得期待的一步。

接下来，专业化分工将更加明显。除了通用视频生成模型之外，针对电商、教育、游戏等垂直领域的专业模型将会涌现出来，为特定场景提供优化解决方案。

最后，算力成本的下降会让AI视频生成门槛进一步降低，会有更多AI视频应用形式诞生。

可以肯定的是，AI视频生成竞争中，技术实力固然重要，但最终能否广泛商用并创造价值，才是真正决定这场角逐的关键，好戏才刚刚开始。

来源：数据猿