Stable Diffusion 创建动画视频

Deforum 是一种使用 Stable Diffusion 创建动画视频的工具。所有你需要提供的提示......

Deforum 是一种使用 Stable Diffusion 创建动画视频的工具。您只需要提供有关相机移动方式的提示和设置。

我们将完成制作此 deforum 视频的步骤。

这篇文章适用于之前没有制作过 deforum 视频的初学者。你将学习

什么是deforum。
如何在 AUTOMATIC1111 Stable Diffusion 上安装 deforum 扩展。
基本设置。
如何逐步创建您的第一个 deforum 视频。

什么是deforum？

Deforum是用于制作动画的开源和免费软件。它使用 Stable Diffusion 的图像到图像功能生成一系列图像并将它们拼接在一起以创建视频。

它对图像帧应用小的变换，并使用图像到图像功能创建下一帧。由于帧之间的变化很小，因此会产生连续视频的感觉。

如何安装 deforum？

我们将使用AUTOMATIC1111 GUI 的deforum 扩展。您可以在Windows、 Mac或 Google Colab上使用此 GUI 。

在 Google Colab 上使用 deforum

如果您使用快速入门指南中的 Colab 笔记本，只需在启动 AUTOMATIC1111 之前检查 Deforum 扩展。

就是这样！

启动后，您应该会在 AUTOMATIC1111 GUI 中看到Deforum 选项卡。

在 Windows 上安装 deforum

如果您在 Windows 上本地运行 AUTOMATIC1111，请按照这些说明安装 deforum。

第 1 步。打开**命令提示符 (cmd)**并将目录更改为stable-diffusion-webui. 如果您遵循该站点的安装指南，请运行

cd %userprofile%stable-diffusion-webui

第 2 步。通过运行以下命令安装 deforum 扩展。

git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum

重新启动 AUTOMATIC1111 GUI 后，您应该会看到 Deforum 选项卡。

在 Mac 上安装 deforum

如果您在 Mac 上本地运行 AUTOMATIC1111，请按照这些说明安装 deforum。

步骤 1.打开终端应用程序。导航到安装目录stable-diffusion-webui。如果您遵循了该站点的指南，请运行以下命令。

cd ~/stable-diffusion-webui

第 2 步。通过运行以下命令安装 deforum 扩展。

git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum

重新启动 AUTOMATIC1111 GUI 后，您应该会看到 Deforum 选项卡。

生成测试视频

此步骤是可选的，但会让您大致了解在哪里可以找到我们将使用的设置。

第 1 步：在 AUTOMATIC1111 GUI 中，导航到Deforum页面。

第 2 步：导航到关键帧选项卡。

您将在页面的下半部分看到一个**“运动”选项卡。**您将在此处设置相机参数。
最大帧数是视频的帧数。较高的值会使视频更长。

您可以使用默认值。

第 3 步：导航到“提示”选项卡。您将看到一个提示列表，每个提示前面都有一个数字。编号为提示生效的帧数。

对于下面的提示，它将使用视频开头的第一个提示。然后它将切换到在第 30 帧使用第二个提示，在第 60 帧使用第三个提示，在第 90 帧使用第四个提示。

您可以按原样保留提示。

第 4 步：单击“生成”开始生成视频。

第 5 步：完成后，单击“生成”按钮上方的按钮以查看视频。

您可以通过单击右下角的三个垂直点将视频保存到本地存储。或者您可以在文件夹下的输出目录中找到您的视频img2img-images。

基本设置（附示例）

我们将首先完成两个最重要的设置

运动（2D 和 3D）
提示

在逐步学习创建视频的示例之前，对 Deforum 的功能有一些基本的了解很重要。

在本节中，您将看到更改一个参数同时保持其他所有参数不变的示例。这些是您视频的基石。

通过组合它们并在不同时间打开和关闭它们，您可以创建令人惊叹的视觉效果。

运动设置

运动设置是 Deforum 中最常用的一些选项。您可以通过简单地更改它们和提示来制作像样的视频。因此，您应该很好地掌握运动设置的工作原理以及它们的作用。

让我们介绍两种最常用的动画模式

2D – 将图像视为 2D 并执行各种变换，如缩放和旋转以创建运动幻觉。
3D – 将图像视为 3D 场景的视图。您可以在任何 3D 操作中移动相机的视口。

二维运动设置

二维缩放

使用缩放功能放大或缩小图像。使用大于 1 的缩放值进行放大，小于 1 进行缩小。

该值离 1 越远，缩放速度越快。

默认情况下，缩放聚焦在中心。您可以通过设置Transform Center X和Transform Center Y来控制焦点。我们将在几卷中介绍它们。

二维角度

使用2D 角度旋转图像。正值逆时针旋转图像，负值顺时针旋转图像。

值越大，图像旋转得越快。

默认情况下，旋转围绕图像的中心。您可以通过设置Transform Center X和Transform Center Y来控制旋转中心。我们将在几卷中介绍它们。

二维平移 X

使用 Translation X 将图像横向移动。使用正值将图像向右移动，使用负值将图像向左移动。

二维平移 Y

使用 Translation Y 上下移动相机。使用正值将图像向下移动，使用负值将图像向上移动。

二维变换中心

变换中心用于改变缩放和/或旋转的焦点。

X 和 Y 的默认值为 0.5，即图像的中心。(X, Y) = (0, 0) 是左上角，(1, 1) 是右下角。有关其他常见位置，请参见下图。

您可以指定小于 0 或大于 1 的值。它们将在图像之外。

下面是左上角 (0, 0) 和右下角 (1, 1) 放大的两个示例。

二维透视翻转

透视翻转对图像执行类似 3D 的变换以创建一些很酷的效果。

您将需要选择启用透视翻转以启用这些选项。

3D 运动设置

3D 运动是 2D 运动的替代方法。把它想象成你拿着相机。您可以随意移动和旋转相机。

3D 翻译 X

平移 X 将相机向侧面移动。正值将相机向右移动。负值将相机向左移动。

3D平移Y

Translation Y 上下移动相机。使用正值将相机向上移动。负值会将相机向下移动。

3D平移Z

3D 中的平移 Z 类似于 2D 运动中的缩放。

3D 旋转 X

旋转 X 围绕 X 轴旋转相机。

3D 旋转 Y

旋转 Y 使相机绕 Y 轴旋转。

3D 旋转 Z

旋转 Z 围绕 Z 轴旋转相机。

运动时间表

运动设置放在表格中

frame1:(value1), frame2:(value2), frame3:(value3), ...

每个条目由两个数字组成：frame它生效的数字和动议的value。每个条目的框架和值必须用冒号分隔，值必须用括号括起来。

您始终需要第 0 帧的条目。

您可以拥有任意数量的条目。

重要的是要注意，当您有两个条目或更多条目时，这意味着两个帧之间的插值。

例如，缩放中使用的以下公式表示在前 100 帧中将缩放值从 1 逐渐增加到 1.02，并在接下来的 100 帧中将缩放值减小回 1。

0:(1), 100:(1.02), 200:(1)

如果你想让一个新的缩放值从第 100 帧开始生效，你可以这样写：

0:(1), 99:(1), 100:(1.02), 150:(1.02), 151:(1), 200:(1)

此公式将仅在第 100 到 150 帧之间应用缩放效果。

每个设置都有自己的运动时间表。

飞涨：0:(1)

角度：0:(0)

转换中心 X：0:(0.5)

变换中心 Y：0:(1)

翻译 X:0:(0)

翻译 Y：0:(5), 60:(0)

Tips：不能只写180:(5)。写入 0:(0)、180:(5)。第一个条目必须是第 0 帧。

一个循序渐进的例子

第 1 步：生成初始图像

初始图像是您在 deforum 视频中可以完全控制的少数几件事之一。它也可以说是最重要的一个，因为它为动画的其余部分设置了基调和颜色。

花点时间在txt2img选项卡中生成一个好的起始图像。

在此示例中，我使用了以下提示。

亨利卡维尔作为詹姆斯邦德的肖像，赌场，关键艺术，短跑，棕榈树，非常详细，数字绘画，artstation，概念艺术，电影灯光，锐利的焦点，插图，by gaston bussiere alphonse mucha

而这个否定提示。

变形的，毁容的

将种子设置为随机 (-1)。

我使用Protogen v2.2 模型来呈现逼真的插画风格。

看到喜欢的图像后，请记下种子值（在上面的屏幕截图中突出显示）。

第 2 步：生成视频的第一段

**在“提示”**选项卡中输入提示。我决定在默认提示中重用第二个提示。提示是

{
    “0”：“亨利卡维尔作为詹姆斯邦德的肖像，赌场，关键艺术，短跑，棕榈树，非常详细，数字绘画，artstation，概念艺术，电影照明，锐利的焦点，插图，由 gaston bussiere alphonse mucha --neg变形，毁容”，
    “50”：“拟人化的干净猫，被分形包围，史诗般的角度和姿势，对称，3d，景深，阮嘉风华中”
}

在第 50 帧中，提示切换为描述一只猫。

现在转到**“运行”**选项卡。

选择 Protogen 型号。
将种子设置为 2020548858。固定种子可以让您每次都从相同的图像开始，这样您就可以继续构建相同的视频。

因为我的詹姆斯邦德在初始图像中面向左侧，所以让相机向右移动很好。我们将使用3D 动画模型。

在关键帧选项卡中，

选择3D动画模式。
将最大帧设置为 100。这是为了生成足够的帧以查看前两个提示

在下方的**“运动”选项卡中，设置：**

将 X 翻译成0:(2). 这是为了将相机向右移动。
翻译 Z 到0:(1.75). 这是为了以较慢的速度放大。

保留其余0:(0)的无所事事。

按生成开始制作视频。

这是到目前为止的视频。

相机正在按照我们预期的方式移动。詹姆斯邦德很好地过渡到一只分形猫。

到目前为止，一切都很好。

第三步：添加下一个提示

现在在 txt2img 选项卡中集思广益下一个提示。

我决定过渡到太空场景会很好。这是最后的 deforum 提示。

{
    “0”：“亨利卡维尔作为詹姆斯邦德的肖像，赌场，关键艺术，短跑，棕榈树，非常详细，数字绘画，artstation，概念艺术，电影照明，锐利的焦点，插图，由 gaston bussiere alphonse mucha --neg变形，毁容”，
    “50”：“拟人化的干净猫，被分形包围，史诗般的角度和姿势，对称，3d，景深，阮嘉和风华中”，
    “90”：“巨大的漂浮空间站，未来派，星球大战风格，非常详细，美丽的机器美学，在太空，星系，黑暗的深空  --neg 糟糕的艺术，业余爱好者”
}

（我在第三个提示中使用了epi_noiseoffset LoRA模型修改器。详细信息请参阅LoRA教程。）

设置以下参数