草海网

当前位置:首页 > 今日更新 > 正文

超越Sora!AI视频模型StreamingT2V可生成120秒超长视频

2024-03-26 14:30:13 今日更新
导读 关于超越Sora!AI视频模型StreamingT2V可生成120秒超长视频,这个很多人还不知道,今天澜澜就给大家说道说道,下面就让我们一起来看看吧! ...

关于超越Sora!AI视频模型StreamingT2V可生成120秒超长视频,这个很多人还不知道,今天澜澜就给大家说道说道,下面就让我们一起来看看吧!

站长之家(ChinaZ.com)3月26日 消息:近日,UT奥斯丁等机构提出的StreamingT2V技术引发了广泛关注,将AI视频生成推向了新的高度。这项技术突破了以往视频长度的限制,实现了生成高度一致且长度可扩展的视频。

StreamingT2V技术的核心构架包括条件注意力模块(CAM)和外观保持模块(APM)。CAM利用短期记忆单元确保视频连续性,而APM作为长期记忆单元保持视频中对象或场景的一致性。这两个模块的结合,使得生成的视频不仅动态连贯,而且视觉效果高质量。在测试中,研究人员用Streaming T2V生成1200帧,长达2分钟的视频。

具体实现方法分为三个阶段:初始化、Streaming T2V生成和Streaming Refinement。在初始化阶段,利用文本到视频模型创造视频的前16帧;接着进入Streaming T2V阶段,通过自回归技术生成后续帧,保证视频内容连贯性;最后,在Streaming Refinement阶段对生成的视频进行优化,提高画质和动态效果。

特色亮点包括:

从文本描述生成2分钟的视频

创建具有复杂动态运动的视频

确保长视频中的时间一致性

该技术的出现标志着AI视频生成的新突破,不仅可以生成1200帧甚至无限长的视频,而且内容过渡自然平滑,丰富多样。与此同时,StreamingT2V技术的不断完善和提升也将进一步推动AI视频生成领域的发展,为视频内容创作提供更多可能性。

项目入口:https://top.aibase.com/tool/streamingt2v

论文地址:https://arxiv.org/abs/2403.14773

以上就是关于【超越Sora!AI视频模型StreamingT2V可生成120秒超长视频】的相关内容,希望对亲们有所帮助!

标 签

免责声明:本文由用户上传,如有侵权请联系删除!

猜你喜欢

最新文章

© 2008-2024 All Rights Reserved .草海网 版权所有

网站地图 | 百度地图 | 今日更新