智谱AI杀入视频生成:「清影」上线,时长6秒,免费不限量
机器之心报道
机器之心编辑部
智谱大模型团队自研打造。
自从快手可灵 AI 火爆海内外,国内视频生成也如同 2023 年的文本大模型一样,越来越卷了。
刚刚,又一视频生成大模型产品宣布正式上线:智谱 AI 正式发布「清影」。只要你有好的创意(几个字到几百个字),再加上一点点耐心(30 秒),「清影」就能生成 1440x960 清晰度的高精度视频。
视频加载中...
即日起,清影上线清言 App,所有用户都可以全方位体验对话、图片、视频、代码和 Agent 生成功能。除了覆盖智谱清言的网页端和 App,你也可以在「AI 动态照片小程序」上进行操作,快速为手机里的照片实现动态效果。

智谱「清影」生成的视频时长有 6 秒,清晰度达到 1440×960,所有用户均可以免费使用。

智谱 AI 表示,随着技术的不断发展,「清影」的生成能力很快将可以用于短视频制作,广告生成甚至电影剪辑等工作中。
在生成式 AI 视频模型的研发中,Scaling Law 继续在算法和数据两方面发挥作用。「我们积极在模型层面探索更高效的 scaling 方式。」在智谱 Open Day 上,智谱 AI CEO 张鹏表示:「随着算法、数据不断迭代,相信 Scaling Law 将继续发挥强有力作用。」

拿捏各种风格
从目前的一些 Demo,以及简单试用的情况看来,智谱 AI 的「清影」具有如下特点:
在风景、动物、科幻、人文历史等类型的视频内容上生成的表现较好;擅长生成的视频风格包括卡通风格、真实摄影风格、二次元动漫风格等;实体类型呈现效果上看,动物 > 植物 > 物品 > 建筑 > 人物。它既可以文字生成视频,也可以完成图生视频,生成的风格覆盖奇幻动画风格。
文生视频
提示词:低角度向上推进,缓缓抬头,冰山上突然出现一条恶龙,然后恶龙发现你,冲向你。好莱坞电影风。

提示词:一个法师正在海浪中施展法术,宝石将海水都聚集过来,打开了一道魔法传送门。

提示词:蘑菇变成小熊。

到真实景物:
提示词:在一片森林中,人视,参天大树遮蔽着太阳,树叶的缝隙中洒下一些阳光,丁达尔效应。

提示词:一只水豚鼠像人一样站立着,手里拿着冰激凌,开心得吃起来。

图生视频
除了文本生成视频,也可以到清影上玩图片生成视频。图生视频带来了更多的新玩法,包括表情包梗图、广告制作、剧情创作、短视频创作等。同时,基于清影的「老照片动起来」小程序也会同步上线,只需一步上传老照片,AI 就能让凝练在旧时光中的照片灵动起来。
提示词:一条自由移动的七彩鱼。

提示词:图中男子站起来,风吹着他的头发。

提示词:小黄鸭玩具漂浮在游泳池的水面,特写。

再到现代艺术:
提示词:摄像机围绕着一大堆老式电视旋转,这些电视播放着不同的节目 ——20 世纪 50 年代的科幻电影、恐怖电影、新闻、静态、70 年代的情景喜剧等,背景设在纽约博物馆的一个大型画廊里。

提示词:掏出一个苹果手机拍照。

无提示词。

你常用的表情包,智谱 AI 能把它延长成「连续剧」。
提示词:师徒四人伸出手互相击掌,脸上是困惑的表情。

视频链接:https://mp.weixin.qq.com/s/fNsMxyuutjVkEtX_xRnsMA
提示词:小猫张大了嘴,脸上是困惑表情,很多问号。

视频链接:https://mp.weixin.qq.com/s/fNsMxyuutjVkEtX_xRnsMA
可以看出,清影各类风格都可以拿捏,还有更多的玩法等待人们来发掘。只需要在智谱清言 PC/APP 上,点击「清影智能体」功能,就可以让你的每一个创意在瞬间化为现实。
全自研技术
All in 大模型的智谱 AI,很早就开始部署多模态生成式 AI 模型。从 2021 年开始,智谱 AI 先后发布了 CogView(NeurIPS’21)、 CogView2(NeurIPS’22)、CogVideo(ICLR’23)、Relay Diffusion(ICLR’24)、CogView3 (2024)等多项研究。
据介绍,「清影」依托于智谱 AI 大模型团队自研打造的新一代视频生成大模型 CogVideoX。
去年 11 月,其团队基于文生图模型 CogView2 打造出了文本到视频生成模型 CogVideo,并随后将其开源。

CogVideo 拥有 94 亿参数,它通过 CogView2 生成一系列初始帧,基于双向注意力模型对图像进行插帧的方法实现视频生成。此外,CogVideo 根据文本描述生成 3D 环境,可直接利用预训练模型,避免了昂贵的训练,它也支持中文的 Prompt 输入。
本次清影底座的视频生成模型是 CogVideoX,它能将文本、时间、空间三个维度融合起来,参考了 Sora 的算法设计,它也是一个 DiT 架构,通过优化,CogVideoX 相比前代(CogVideo)推理速度提升了 6 倍。
OpenAI 的 Sora 横空出世,让 AI 在视频生成方面取得了显著进展,但大多数模型在生成具有连贯性和逻辑一致性的视频内容方面仍然存在困难。
为了解决这些问题,智谱 AI 自研了一个高效的三维变分自编码器结构(3D VAE),可以将原视频空间极致压缩到 2%,使得模型训练成本大幅下降,训练难度也大大降低。
模型结构采用因果三维卷积(Causal 3D convolution)为主要模型组件,并将自编码器中常用的注意力模块移除,使得模型具备不同分辨率迁移使用的能力。
同时,在时间维度上因果卷积使得模型视频编解码具备从前向后的序列独立性, 这有助于通过微调将模型扩展到更高帧率和更长时间的场景。
除此以外,视频生成还面临这样一个问题,即视频数据大多缺乏对应的描述性文本或者描述质量低下,为此智谱 AI 自研了一个端到端的视频理解模型,用于为海量的视频数据生成详细的、贴合内容的描述,进而构建海量的高质量视频文本对,使得训练出的模型指令遵循度高。
最后值得一提的是,智谱 AI 自研了一个将文本、时间、空间融合起来的 transformer 架构,该架构没有采用传统 cross attention 模块,而是在输入阶段就将文本嵌入和视频嵌入连接起来,以便更充分地进行两种模态的交互。
然而文本和视频特征空间存在很大差异,智谱 AI 通过 expert adaptive layernorm 对两者分别进行处理,使得模型能够高效利用参数来更好地将视觉信息与语义信息对齐。
智谱 AI 表示,通过优化技术,智谱 AI 生成式视频模型的推理速度提升了 6 倍。目前生成 6s 视频,模型花费的理论时间是 30 秒钟。
如今随着「清影」的上线,视频生成赛道又出现了智谱 AI 这位重磅玩家。
除了人人都能尝试的应用之外,清影 API 也同步上线大模型开放平台 bigmodel.cn,企业和开发者可以通过调用 API 的方式,体验和使用文生视频以及图生视频的模型能力。
随着各家公司 AI 视频生成功能的不断上线,今年的生成式 AI 竞赛已经进入白热化阶段。对于大多数用户来说,选择也更多了:现在,无论是完全没有视频制作基础的人,还是专业的内容创作者,都能借助大模型能力实现视频创作。
高清治愈风景视频素材哪里找?这几个网站推荐给你!
想要寻找能抚慰心灵的高清治愈风景视频素材?无论是用于视频剪辑、创意设计,还是仅作为个人欣赏,找到合适的素材平台都至关重要。以下推荐几个网站,这些网站提供大量免费且高清的治愈风景视频素材,希望能为您的创作和生活增添一抹宁静色彩。
目鼠网
作为国内领先的免费视频素材网站,目鼠网以其丰富的资源和便捷的操作体验而受到青睐。在这里,您可以找到种类繁多的高清治愈风景视频素材,从波澜壮阔的大海到宁静秀美的湖泊,从巍峨雄伟的山峰到生机盎然的森林,应有尽有。所有素材均可免费下载,且清晰度高,非常适合用于各种视频创作。
Pixabay
Pixabay是一个全球知名的免费图片和视频素材网站,其视频素材库相当庞大,其中包含高质量的治愈风景视频素材。您可以在这里找到来自世界各地的美丽景色,无论是阳光沙滩、雪山冰川,还是田园风光、城市夜景,Pixabay都能满足您的需求。
Life of Vids
如果您追求更加独特、艺术化的治愈风景视频素材,那么Life of Vids将是一个不错的选择。这个网站上的素材大多由独立电影人和艺术家创作,画面精美,风格独特,充满艺术气息。Life of Vids的素材更新频率不高,但每次更新都能带来惊喜。
Splitshire
Splitshire是一个由网页设计师Daniel Nanescu创建的免费素材网站,旨在为设计师、博主和创意人士提供高质量的图片和视频素材。虽然Splitshire的治愈风景视频素材数量不多,但质量都很高,画面清晰、构图精美,且带有浓厚的个人风格,非常适合用于个人博客、社交媒体和艺术创作。
Motion Elements
Motion Elements是一个综合性素材网站,提供各种类型的视频素材、音频素材、动画模板等,其中也包含高质量的治愈风景视频素材。Motion Elements的素材库非常庞大,更新频率高,您可以在这里找到最新、最热门的治愈风景视频素材。
相信通过以上推荐,您一定能找到心仪的高清治愈风景视频素材,为您的创作和生活增添一份宁静与美好。
相关问答
两张风景照片如何剪辑?
要剪辑两张风景照片,您可以使用许多图片处理软件或视频剪辑软件。以下是使用图片处理软件剪辑风景照片的简易步骤:1.打开照片:使用您喜欢的图片处理软件(如...
没有人物主角,只有风景和电影剪辑,如何做好视频自媒体?
如何做好自媒体,你的账号领域决定了你的账号定位,既然是剪辑影视片段,那么账号便是影视领域。只有在影视领域有着良好的垂直度和账号权重影视领域这条路才会走...
抖音里那些风景视频是哪里找的?-ZOL问答
8条回答:【推荐答案】1、可以在剪映APP中找到,打开剪映APP,接着点击剪同款,就可以找到抖音上的热门风景视频的素材了,点击剪同款,就可以免费使用这些素材了,最后...
风景号怎么剪辑?
剪辑风景号需要注意以下几点:1.选择好素材:在拍摄时要注意选择好画面,尽量避免晃动、模糊等问题,保证素材的清晰度和稳定性。2.突出主题:根据风景号的主...
白嫖22个免费视频素材网站,剪辑必备!-ZOL问答
在寻找那些既独特又免费的视频素材?这里精心挑选了22个卓越平台,让你的创意剪辑项目熠熠生辉。首先,MotionPlaces(motionplaces.com)提供全球壮丽风光的高...
影像资料中鲜花绽放、风云变幻、大雪融化的景色是拍摄出来后剪辑的还是全部用电脑制作的?
你好,这类视频叫做延时摄影是通过前期拍摄并进行后期剪辑获得的。这种摄影手法也叫缩时摄影。影像中最小单位的单幅影像画面叫做帧,当一秒钟播放24张照片时则...
漂亮风景在身边,街上摄影咋拍漂亮照片?有实用摄影和修图技巧吗?
漂亮风景在身边,街上摄影咋拍漂亮照片?有实用摄影和修图技巧吗?随着手机的普及,摄影变得越来越简单的事情,很多漂亮的照片从身边就能拍到,比如在街上。那...漂...
怎么剪辑风景切换滤镜?
首先,需要选好适合的风景切换滤镜。接着,将不同的风景素材导入剪辑软件中,然后将它们按照顺序排列。在每个场景的过渡处,使用适当的转场效果,如淡入淡出、...
手机修图ps软件哪个好-ZOL问答
现在都啥年代了,随时随地都能拍照片,手机里没几个修图软件简直不好意思出门啊!...你可以直接导入视频(最长15秒)、照片,或者把两者混在一起玩。它有20种混合模...
自驾游抖音怎样挣钱_其他问答_系统粉
拍抖音挣钱的方法介绍:打赏赚钱、广告变现、粉丝打赏、电商引流、IP变现1、打赏赚钱在打开观看短视频的时候,点击抖音或快手短视频软件进去里面,然...