主要内容
Adobe 推出新的生成式 AI 电影制作工具，提供有趣方式创建音效并控制生成的视频输出。除了通常能让你描述 Adobe 的 Firefly AI 模型应制作或编辑内容的熟悉文本提示外，用户现在可使用拟声词般的录音来生成自定义声音，并使用参考视频指导 Firefly 生成视频中的动作。在 Firefly 应用中推出的测试版生成音效工具可用于录制和生成的视频，比谷歌的 Veo 3 视频工具对音频生成有更强控制。其界面类似视频编辑时间线，允许用户使创建的效果与上传的视频在时间上匹配。例如，用户可播放一匹马在路上行走的视频，并同时记录与马蹄步同步的“哒哒”声，同时附上“混凝土上的蹄声”的文本描述，该工具随后会生成四个音效选项供选择。这基于 Adobe 10 月 Max 活动中展示的 Project Super Sonic 实验。它不适用于语音，但支持创建如树枝折断、脚步声、拉链效果等冲击声，以及自然声音和城市氛围等环境音。Firefly 文本到视频生成器也将迎来新的高级控制。构图参考允许用户上传视频并与文本提示一起使用，以在生成的视频中镜像该视频的构图，这比仅反复输入文本描述更易实现特定结果。关键帧裁剪将让用户裁剪并上传 Firefly 可用于生成中间视频的第一帧和最后一帧图像，新的样式预设提供一系列视觉风格供用户快速选择，包括动漫、矢量艺术、黏土动画等。这些样式预设仅可与 Adobe 自己的 Firefly 视频 AI 模型一起使用。从我看到的现场演示来看，结果还有待提高——“黏土动画”选项看起来就像 21 世纪初的 3D 动画。但 Adobe 正在其自身工具中继续增加对竞争对手 AI 模型的支持，Adobe 的生成式 AI 负责人 Alexandru Costin 告诉 The Verge，未来可能会有类似控制和预设可用于第三方 AI 模型。这表明，随着 AI 工具越来越受欢迎，Adobe 正努力在创意软件食物链中保持领先地位，即使其在生成模型本身方面落后于 OpenAI 和谷歌等。