智谱清影(Ying)
智谱清影是智谱 AI 推出的视频生成工具。
智谱宣布生成式视频能力全面上线,其旗下的清影功能正式与用户见面。清影依托于智谱自研的视频生成模型 CogVideoX,普通用户即日起可在智谱清言 PC 和 APP 端使用。
清影具有诸多显著特点。它生成 6 秒视频仅需 30 秒,生成的视频清晰度可达 1440×960,帧率为 16fps。用户输入文本或图片后,可选择自己想要生成的风格,包括卡通 3D、黑白、油画、电影感等,配上自带的音乐,即可生成充满 AI 想象力的视频片段。其提供文生视频和图生视频能力,带来了诸多新玩法,如表情包梗图、广告制作、剧情创作、短视频创作等。同时,基于清影的「老照片动起来」小程序也会同步上线,只需上传老照片,AI 就能让照片灵动起来。此外,清影(Ying)API 也同步上线大模型开放平台 bigmodel.cn,企业和开发者通过调用 API 的方式,可体验和使用文生视频以及图生视频的模型能力。
在技术方面,CogVideoX 具有核心技术特点。针对内容连贯性问题,智谱 AI 自主研发了高效的三维变分自编码器结构(3D VAE),结合 3D RoPE 位置编码模块,提升了在时间维度上对帧间关系的捕捉能力。在可控性方面,打造了端到端的视频理解模型,增强了对文本的理解和对指令的遵循能力。模型采纳了将文本、时间、空间三维一体融合的 transformer 架构,优化了模态间的交互效果。
智谱 AI 表示,随着技术的不断发展,清影的生成能力很快将可用于短视频制作、广告生成甚至电影剪辑等工作。