Seedance 2.0: практическое руководство по мультимодальной видеомодели ByteDance
Seedance 2.0 может создавать видео по тексту, изображениям, видеоклипам и аудиореференсам, с нативным синхронным аудио и поддержкой вывода в 1080p.
Seedance 2.0 — более новая модель генерации видео от ByteDance. Главное изменение не сводится к более красивому результату. Оно в том, как модель принимает разные виды входных данных в одной генерации: текстовые промпты, изображения первого кадра, изображения последнего кадра, референсные изображения, референсные видео и референсное аудио.
Поэтому она полезна не только для простого сценария «напиши промпт — получи клип». Можно описать кадр текстом, прикрепить референс персонажа, добавить короткий референс движения и попросить модель создать видео с синхронным диалогом, звуковыми эффектами или фоновой музыкой.
Это руководство сосредоточено на текущих элементах управления, которые видит пользователь. О новейшей флагманской модели см. Seedance 2.5 или откройте страницу семейства Seedance 2.0 для 2.0, Fast и Mini.
Что поддерживает Seedance 2.0
Seedance 2.0 может создавать видео по тексту, по изображению или по смеси референсных входов. Основные входы:
| Вход | Для чего он нужен |
|---|---|
prompt | Основное текстовое описание видео |
image | Изображение первого кадра для генерации «изображение в видео» |
last_frame_image | Необязательный конечный кадр, используется вместе с изображением первого кадра |
reference_images | До 9 изображений как референс персонажа, стиля или композиции |
reference_videos | До 3 видео для переноса движения, монтажа видео или референса стиля |
reference_audios | До 3 аудиофайлов для генерации от аудио или синхронизации губ |
Есть одно важное ограничение: изображения первого и последнего кадра не следует смешивать с референсными изображениями. Если вы управляете первым и последним кадром, используйте этот путь. Если нужны референсы персонажа или стиля, используйте путь референсных изображений.
Нативное аудио — часть модели
Seedance 2.0 может создавать аудио и видео вместе. Это важно, потому что звук — не просто дополнительный слой, добавленный после готового видео. Модель может создать диалог, звуковые эффекты, атмосферу и музыку в том же проходе генерации.
Для произносимого диалога заключите реплику в двойные кавычки внутри промпта. Например:
Крупный план женщины у окна под дождём. Она смотрит в камеру и говорит: "Нам стоит уйти до рассвета." Мягкий тон комнаты, далёкий гром, медленный наезд камеры.
Это не гарантирует идеальную речь каждый раз, но даёт модели ясный сигнал, что текст в кавычках следует считать диалогом.
Мультимодальные референсы — настоящее изменение сценария
Самое практичное улучшение Seedance 2.0 — возможность сочетать несколько типов референсов:
- Используйте референсные изображения для согласованного персонажа, продукта, костюма или визуального стиля.
- Используйте референсные видео для движения, поведения камеры, монтажа или продолжения.
- Используйте референсное аудио для ритма, речи или направления синхронизации губ.
Промпт может ссылаться на эти файлы напрямую:
Персонаж из [Image1] идёт по декорации из [Image2], следуя танцевальному ритму из [Audio1]. Сохраните ту же куртку, причёску и настроение света. Камера с рук, средний план, естественное движение.
Это более управляемый способ работы, чем попытка описать всё с нуля. Он особенно полезен для показов продукта, клипов с говорящей головой, короткой рекламы, смены наряда и сцен в такт музыке.
Монтаж и продление видео
Seedance 2.0 также поддерживает сценарии с референсным видео. Можно дать видео и попросить модель что-то изменить, сохраняя другие части клипа согласованными, например движение, направление камеры или структуру сцены.
Можно также попросить продолжить сцену из референсного видео. На практике лучшие промпты конкретно говорят, что должно остаться прежним, а что должно измениться:
Продлите [Video1] на пять секунд. Сохраните то же направление камеры и того же персонажа. Персонаж поворачивается к дверному проёму, делает паузу, и свет в комнате тускнеет. Сохраните исходный тёплый цветовой тон.
При монтаже избегайте расплывчатых указаний вроде «сделай лучше». Скажите модели, какой объект, фон, стиль или действие должны измениться.
Разрешение, длительность и соотношение сторон
Seedance 2.0 сейчас поддерживает 480p, 720p и 1080p. Это стоит отделять от Seedance 2.0 Fast: вариант Fast поддерживает 480p и 720p, но не 1080p.
Модель также поддерживает обычные соотношения сторон:
| Параметр | Поддерживаемые значения |
|---|---|
| Разрешение | 480p, 720p, 1080p |
| Соотношение сторон | 16:9, 4:3, 1:1, 3:4, 9:16, 21:9, 9:21, adaptive |
| Длительность | 5, 10 или 15 секунд |
Параметр соотношения сторон adaptive позволяет модели выбрать форму кадра по входным данным. Длительность выбирается из фиксированных вариантов 5, 10 и 15 секунд.
Для ранних тестов начните с короткого клипа на 5 секунд. Переходите к большей длительности и 1080p, когда промпт и референсы уже работают.
Seedance 2.0 и Seedance 2.0 Fast
Seedance 2.0 Fast использует тот же общий сценарий: текст в видео, изображение в видео, мультимодальные референсы, нативное аудио и адаптивное соотношение сторон. Разница в компромиссе.
Используйте Seedance 2.0 Fast, когда нужны более быстрые итерации и можно остаться на 480p или 720p. Используйте Seedance 2.0, когда важнее качество или нужен вывод в 1080p.
Советы по промптам, которые обычно помогают
Хорошему промпту Seedance 2.0 не нужно звучать как техническая спецификация, но он должен отвечать на несколько конкретных вопросов:
- Кто или что является главным объектом?
- Что происходит в клипе?
- Что должна делать камера?
- Что модель должна взять из каждого референсного файла?
- Нужны ли диалог, музыка, атмосфера или аудио не нужно?
Например:
Керамическая кофейная чашка из [Image1] стоит на деревянном столе кафе. Медленно поднимается пар. Камера начинает с крупного плана, затем отъезжает и открывает тихое утреннее кафе. Мягкий джаз на фоне, естественный свет из окна, малая глубина резкости.
Это полезнее, чем «кинематографичная реклама кофе», потому что даёт модели объект, движение, камеру, аудио и настроение.
Когда использовать Seedance 2.0
Seedance 2.0 хорошо подходит, когда нужно больше управления, чем может дать модель только по тексту. Он особенно уместен для:
- Продуктовых видео, где объект должен оставаться узнаваемым
- Клипов с персонажем, где важна согласованность лица, костюма или стиля
- Видео с говорящей головой или в стиле ведущего с генерируемой речью
- Идей переноса движения на основе короткого референсного видео
- Монтажа видео, где нужно сохранить исходное движение, но изменить часть сцены
Это не замена монтажному суждению. Промпты всё равно нужно проверять, сравнивать результаты и решать, когда более короткий или более простой промпт работает лучше. Но по сравнению с базовым сценарием «текст в видео» Seedance 2.0 даёт больше рычагов, чтобы управлять результатом.
Похожие публикации
РуководстваРуководстваРуководства