Sora推动AI视频进入全新时代 AI视频生成赛道前景广阔

来源:互联网· 2024-02-20 16:07:25

人工智能使得视频技术超越了高级成像,进入了另一个层次。视频成像技术与人工智能相结合,获得了大量新数据,而且不仅可用于传统的物理安全应用,还能用于对整个企业的过去、现在甚至未来事件更深入地分析。

2月16日凌晨,OpenAI发布了首个文生视频模型Sora。Sora可以直接输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。

Sora是一个扩散Transformer模型,通过采用Diffusion Transformer等技术处理不同持续时间、分辨率和比例的视频/图像,实现“世界模拟器”,达到理解真实世界的运动和物理能力。目前官网上已经更新了48个视频demo,在这些demo中,Sora不仅能准确呈现细节,还能理解物体在物理世界中的存在,并生成具有丰富情感的角色。该模型还可以根据提示、静止图像甚至填补现有视频中的缺失帧来生成视频。

美国有线电视新闻网(CNN)称,尽管“多模态大模型”屡见不鲜,但Sora的制作长度和准确性使其与众不同,它可能会对数字娱乐产业产生重大影响。

在技术和工作原理方面,OpenAI介绍称,因使用Transformer架构,Sora具有极强的扩展性,同时在基于过去对DALL·E和GPT的研究基础构建上还利用了DALL·E 3的重述提示词技术,为视觉模型训练数据生成高描述性的标注。

在OpenAI的Sora之前,谷歌在去年12月21日发布一个全新的视频生成模型VideoPoet,能够执行包括文本到视频、图像到视频、视频风格化等操作。此前一夜爆红的文生视频软件Pika更掀起了AI视频应用热潮。对于此次Sora的出现,360集团创始人、董事长周鸿祎2月16日在微博发文表示,这意味着AGI实现将从10年缩短到1年。

AI视频指的是利用人工智能技术生成或编辑的视频内容。这通常涉及到深度学习和计算机视觉技术,允许机器理解和生成视频内容,或者自动编辑现有视频。

在AI视频生成方面,一些软件工具允许用户通过文字描述来生成视频。这些工具通常使用自然语言处理和图像生成技术,将文字描述转化为视觉内容。同时,也有一些工具能够从图片或现有视频生成新的视频内容,这通常涉及到深度学习和计算机视觉技术。

AI视频生成赛道前景广阔

在AI视频编辑方面,人工智能可以帮助自动化视频剪辑和后期处理过程。例如,AI可以分析视频内容,自动选择最佳镜头,或者自动调整颜色、亮度和对比度等参数,以提高视频质量。

AI视频在多个领域都有广泛的应用,包括电影制作、广告、新闻报道、社交媒体等。数据显示,截至2023年末,仅国内短视频用户规模已突破10亿人,不谈增量市场可能带来的红利,仅仅为这10多亿用户提供AI视频创意服务,就有大量文章可做。

面对AI视频生成领域的广阔前景,国内各厂商正加大投入,推动AI视频生成进入全新时代。字节跳动于去年11月发布PixelDance模型,不仅在视频时长上实现了突破,还可通过描述(纯文本)+首帧指导(图片)+尾帧指导(图片),生成包含复杂场景和动作的视频,用上一个视频片段尾帧为下一个视频头帧提供指导思路。

万兴科技于今年年初推出国内首个以音视频为核心的多媒体大模型万兴“天幕”。定位上,万兴“天幕”是音视频多媒体创作垂类大模型,由视频、音频、图片、语言大模型组成;能力上,万兴“天幕”涵盖当前市面上语言、音频、图像的大模型能力,文生视频能力是万兴“天幕”的子能力之一;用户方面,万兴“天幕”面向更细分垂直的市场,包括泛知识、泛营销、泛娱乐等领域,相关能力已在海外规模化商用。

随海外OpenAI、谷歌等纷纷推出各自的文生视频模型,国内领先厂商已入局,其中,海康威视、大华股份、萤石网络等视频分析行业领先厂商纷纷投入到多模态大模型研究和行业应用落地进程。

据量子位发布的《AIGC/AI生成内容产业展望报告》,视频生成将成为近期跨模态生成领域的中高潜力场景,其背后逻辑是不同技术带来的主流内容形式的变化。英伟达高级科学家Jim Fan评论认为,2022年是影像之年,2023是声波之年,而2024是视频之年。

算力的限制可能是目前Sora暂未开放使用的重要因素。随着AIGC技术在影视剧集、宣传视频、自媒体、游戏等领域逐步渗透,视频创作效率或迎来显著提升,同时视频相对于文字、图像的交互数据量级将有巨大提升,或对应算力需求的高速扩张。

在业内人士看来,Sora是AGI(通用人工智能)实现的重要里程碑,一方面,Sora的出现将全球目光聚焦于视频生成领域,验证了视频为王的趋势,也进一步验证了无视频不传播的时代,“视频+大模型”的应用市场空间扩展。


您可能关注: Sora



文章来源: https://www.cy211.cn/aizixun/2191.html

[免责声明]如需转载请注明原创来源;本站部分文章和图片来源网络编辑,如存在版权问题请发送邮件至398879136@qq.com,我们会在3个工作日内处理。非原创标注的文章,观点仅代表作者本人,不代表本站立场。