2月16日凌晨,OpenAI发布旗下首个文生视频模型Sora,Sora的推出属于AI产业革命上的标杆事件。面对Sora的遥遥领先,中国玩家还有的玩吗?
Sora的冲击时隔一年,在ChatGPT大火之后,Sora再一次演绎了出圈奇迹。对比ChatGPT的文字生成,Sora的文生视频更直观,更具爆发力,给人们带来的冲击力更大。
第一个冲击,视频生成时长。
Sora凭借其强大的通用视觉数据处理,可以生成跨越不同持续时间、纵横比和分辨率的图像视频,最多可以连续生成60秒的高清视频。
在Sora推出之前,最长的例如Kaiber也是只能生成16s的长度,其他的文生视频长度都是个位数。如在2023年11月推出的模型中,最新的Pika1.0生成是3-7秒,Stable Video Diffusion模型是2-4秒,李飞飞谷歌团队W.A.I.T模型是3秒。
Sora的视频生成时长与竞争对手间是代差的区别。
我们可以这样理解Sora的视频生成时长:在对文字和图像识别和生成的基础上,Sora又叠加了时间的维度。这样AI初步具有了对真实世界物理逻辑关系的理解,这就是为什么业内会认为Sora实现突破性的跨越的主要原因。
第二个冲击,语义理解。
Sora与ChatGPT都是OpenAI的产品,可以说,Sora在语义理解上具有天然的优势。
Sora借助GTP-4将简短的用户提示转换为更长的详细字幕,然后发送到视频模型,有助于Sora更好理解客户需求。对比之下,Sora的主要对手Runway很难理解词义上的细微差别,不得不坚持提示中的特定描述而忽略其他描述。二者之间就这样产生了差距。
▌图源:网络此外,基于语义的理解,Sora采用DALL·E3的重标注技术,通过为视觉训练数据生成详细描述的标题,使模型更加准确地遵循用户的文本指令生成视频。在此视觉训练数据的基础上,Sora还能实现现有图片赋予动态效果和延伸视频内容的长度等多种功能。
语义理解加深了人机之间的互动,让Sora更智能,这是第二个突破。
第三个冲击,电影级别的镜头感。
从发布的视频来看,Sora生成视频场景制作复杂度极高,可以和电影特效一较高下。业内评价:在60秒的视频中,视频主体与背景之间高度流畅和稳定;在一个视频里实现多角度镜头,分镜切换符合逻辑且十分流畅;此外,Sora对于光影反射、运动方式、镜头移动等细节处理非常到位。
▌图源:网络角色和背景在视觉风格准确一致,行为逻辑流畅合理,这就达到了电影的基本要求。考虑到智能生成和人工拍摄在成本、创意等方面的差距,电影市场惊呼一片也就可以理解了。
与对手的差距很多投资机构大概率不会再投文生视频类项目了,因为OpenAI太强了。集智魔方创始人徐大大就公开表示,人工智能这一次的热潮很难留下太多机会,反而可能即将面临一个霸权式创业的时代。
也就是说,Sora横空出世之后,其他的文生视频模型的生存空间将被极度挤压。
▌图源:网络2024年AI视频生成赛道选手众多,不仅有美国AI初创公司Pika labs发布的Pika 1.0,还有谷歌推出的AI视频生成模型W.A.L.T等。国内,字节跳动于2023年11月推出了文生视频模型PixelDance,阿里紧随其后也上线了Animate Anyone模型,百度文心大模型的类似功能则在内测中,不久后会以插件形式开放。此外,腾讯、360、万兴科技、昆仑万维、国脉文化、美图等公司也纷纷涉足视频生成领域。
业内人士总结,Sora之前的AI视频生成有两种类型:一是由剪辑工具衍生出来的文生视频产品。这类产品并不会根据文本内容原生视频素材,而是在素材库内进行调用。二是由多模态大模型衍生出来的文生视频产品,针对性地原生一部分素材的能力,如郭德纲说英语等。
▌图源:网络但Sora不同。
Sora的独特建立在对Patchs、Transformers、DALL·E3等技术的创新上。通过patchs统一视频数据,就像大语言模型在语言层面统一文本代码、数学和自然语言一样;依托Diffusion Transformers等技术架构,全面碾压Runway等其他文生视频模型;借鉴DALL·E3,在语义理解上全面胜出。依靠这些技术,Sora实现制作无缝循环视频、给静态图片添加动画、扩展视频时间线、视频到视频编辑、视频拼接等功能
总之,Sora的差距是技术的碾压,遥遥领先是客观事实。
我们的机会国内选手应该如何看待Sora的遥遥领先?
首先,正视而不是夸大这种差距。以ChatGPT来说,2023年ChatGPT横空出世的时候,业内一片震惊。起初搜狗创始人王小川认为,OpenAI领先国内3年时间,但2023年6月,他去硅谷做了一番考察后,认为差距并没有这么大,而且国内应用层做的更出色,起码快美国三步。所以,看上去的差距实际上可能并没有那么大。
事实也说明这一点,ChatGPT之后,国内大模型接连出世,中美在大模型的竞争上分列世界前两名,彼此差距不大,且远远地把其他国家甩在身后。
▌图源:网络其次,认识并发挥中国AI的竞争优势。
根据历年来科技互联网的发展经验来看,中国往往在基础研究的突破落后于美国,但在延伸应用上却走在美国的前面。
移动支付、社交媒体、电商等方面中国都是后来居上。即使是近两年大火的AI,中国也有一较之力。美国在办公、金融、医疗的AI应用上处于领先地位,中国紧随其后,而AI+文娱、AI+交通等方面,中国则大幅领先于美国。
第三,广阔的国内市场是中国竞争最有力的底气。
制造是竞争力,但市场也是竞争力,需求更是竞争力。
中日基本同时启动大飞机项目,中国的C-919客机取得成功,日本却无奈退出研发。不是日本科技实力不足,而是日本市场缺乏足够的空间。新能源车上,锂电池领先氢能源电池,还有LED战胜DVD,都是市场起了决定性的作用。
▌图源:网络中国的大模型市场规模足够大。根据大模型之家、钛媒体数据,2023年中国大模型市场规模达到147亿人民币,同比增长110.0%。预计到2028年中国大模型市场规模将达到1179亿人民币,2022-2028年复合增长率约为60.11%,市场规模快速成长。
海外已有Synthesia、Runway等厂商在文生视频领域形成成熟商业方案,应用于企业产品介绍、操作指南、客户服务等场景。随着中国的百度、阿里、头条的迎头赶上,文生视频的竞争中,国内选手不会输于Sora。
结 语紧随Sora之后,谷歌Deep Mind团队发布基础世界模型Genie,通过给模型投喂视频数据进行训练,生成照片、草图甚至可以操控的虚拟世界。虚拟世界正不断向前,随着中国玩家的不断加入,这个世界会变得更加精彩。
看完觉得写得好的,不防打赏一元,以支持蓝海情报网揭秘更多好的项目。