Как сделать анимацию под голос с ИИ

В этом ролике не было ни CapCut, ни After Effects, ни монтажёра. Были я, ИИ-агент Claude Code и мой цифровой голос. Ещё я дал агенту музыку, под которую хотел ролик.

Я не писал код и не двигал руками ни одного кадра. Я писал Claude так же, как написал бы человеку: что хочу, для кого и какое должно быть настроение. Сценарий, озвучку, анимацию, звуки и сборку видео он сделал сам. Если что-то не нравилось, я так и писал: «Клод, бро, сделай переход плавнее». И он переделывал.

Ниже всё, что нужно, чтобы сделать так же. Программировать не придётся.

Что понадобится

Подписка на ИИ-агента, от 20 $ в месяц. Подойдёт Claude (в него входит агент Claude Code) или ChatGPT (в него входит агент Codex). Хватит одной подписки. Агент ставится на компьютер.

Программа для клона голоса. Бесплатный вариант: Voicebox, работает прямо на вашем компьютере. Если хотите, чтобы голос звучал живее, нужна платная подписка ElevenLabs. Голос в нашем ролике сделан там.

Запись вашего голоса. Диктофон на телефоне, тихая комната, говорите чётко и в той манере, в какой будете говорить в роликах. Для Voicebox нам хватило 20 секунд, но голос вышел искусственным. Для профессионального клона в ElevenLabs нужно больше получаса записи.

Идея. Ролик, который вам нравится и который хотите повторить по-своему. Или свой сценарий, или просто тема.

Музыка, если хотите свою. Агент положит её тихо под голос.

Тарифы меняются, поэтому цены проверяйте на официальных сайтах перед оплатой.

Что агент установит сам

Руками ставить ничего не нужно. Скажите агенту: «Установи всё, что нужно для этой работы, и проверь, что работает». Вот минимальный набор, который мы использовали:

HyperFrames: превращает анимацию, написанную кодом, в обычный видеофайл. Бесплатный.
faster-whisper: распознаёт вашу озвучку и даёт агенту точную секунду каждого слова. Без этого анимация не попадёт в голос.
FFmpeg: сводит голос, музыку и звуки и собирает итоговое видео.
Node.js и Python: на них работают инструменты выше.

Ещё агент возьмёт бесплатные шрифты и объёмные иконки Microsoft Fluent Emoji, а звуки ударов и щелчков синтезирует сам. Если у вас есть свои звуки, положите их в папку, он возьмёт.

Как это происходит

1. Расскажите агенту, что хотите

Создайте на компьютере отдельную папку под ролик и откройте в ней агента. Положите туда запись голоса и музыку. Дальше пишите своими словами, примерно так:

Хочу короткий ролик из анимированной графики под мой голос, от 60 до 90 секунд, вертикальный для Reels.

Для кого: [ваша компания, событие или аудитория].

Главная мысль, которую должен понять зритель: [одна фраза].

Цвета: [например, тёмный фон, бирюзовый и оранжевый].

Вот ролик, который мне нравится: [ссылка или файл]. Сделай в похожем духе, но со своим текстом. Если примера нет: придумай сценарий сам.

Музыка лежит в папке, пусть играет тихо под голосом.

Чем точнее вы скажете, для кого ролик и что зритель должен понять, тем лучше получится. Остальное агент спросит сам.

2. Сценарий

Агент напишет текст: короткие фразы, по одной мысли в каждой. Прочитайте его вслух. Что звучит коряво, правьте словами:

Сделай короче. Фразу про цены убери. В начале нужна интрига.

Совет из нашего опыта: названия пусть пишутся так, как звучат, например «Клод Код», а не «Claude Code». Иначе синтез голоса прочтёт их по буквам.

3. Голос

Если у вас Voicebox, отдайте агенту запись своего голоса и попросите: «Сделай мой клон в Voicebox и озвучь сценарий». Он озвучит каждую фразу сам и выберет лучший дубль.

Если у вас ElevenLabs, сделайте клон там, озвучьте сценарий и положите файл в папку. Мы так и сделали: сгенерировали два дубля и выбрали тот, где голос живее.

Если ударение встало не туда, меняйте формулировку, а не голос.

4. Сборка

Собери ролик под озвучку. Сначала покажи план: для каждой фразы фон, главное движение, иконку, переход и звук. Анимацию привязывай к словам голоса, ключевое слово должно появляться ровно тогда, когда я его произношу.

Посмотрите план, поправьте словами, потом скажите «собирай». Перед полным рендером попросите показать по два кадра с каждой сцены: ошибку дешевле поймать на картинке, чем в готовом видео.

Наш ролик на 32 фразы и 90 секунд рендерился пять с половиной минут.

5. Правки обычными словами

Это главное. Вы ничего не делаете руками, вы говорите, что не так:

Музыку тише.

Добавь в угол мой ник и сайт.

Сделай переход плавнее.

Эту сцену на белом фоне.

Каждая правка занимает несколько минут. Первые два пункта мы правили в этом ролике именно так.

6. Готовое видео

Агент выдаст видео со звуком, готовое для Reels. Попросите сразу в максимальном качестве, Instagram потом всё равно сожмёт.

Мы сделали чуть иначе: включили ролик на ноутбуке, сняли экран телефоном в торговом центре и добавили в начало селфи. Склеил всё тоже агент и заменил звук из динамиков чистой дорожкой.

Чтобы было «вау», а не презентация

Первая версия нашего ролика вышла плоской. Мы сравнили её с роликами, на которые равнялись: движения в кадре было вчетверо меньше, а смен картинки почти в пять раз меньше. Вот что исправили, это можно прямо так и сказать агенту:

Ключевое слово появляется ровно на звуке, а не вся фраза разом.
Фон меняется целиком каждые одну-три фразы, три-четыре цвета по очереди.
Переходы между сценами разные. Один и тот же переход подряд превращает ролик в слайды.
Фон всё время живой: зерно, плывущие пятна, лёгкое покачивание.
Слово делает то, что значит. У нас слово «поворот» поворачивается, а дизайнер и монтажёр зачёркиваются крестом.
На каждое событие свой звук. Один и тот же свист тридцать раз скучнее тишины.

Частые ошибки

Делать анимацию до голоса. Сначала озвучка, потом картинка, иначе рассинхрон.
Писать на экране длинные фразы. Крупно одно ключевое слово, остальное говорит голос.
Ставить музыку громче голоса. Мы свою опускали после первой пробы.
Просить сразу весь ролик. Сначала первые пять-шесть фраз, поймайте стиль, потом остальное.

Чего ИИ не решает

Зачем и для чего. Как сделать, ИИ уже умеет. Идею и смысл приносите вы.
Вкус. Агент переделает сколько угодно раз, но решать, что красиво, вам.
Контроль. Без хорошей идеи и вашей проверки можно получить красивую ерунду.
Права. Чужая музыка, логотипы и ролики: проверяйте, можно ли их использовать, особенно в рабочем аккаунте. Клонируйте только свой голос.

Если сервис недоступен в вашей стране

У некоторых ИИ-сервисов есть региональные ограничения. Перед регистрацией проверьте список стран на официальном сайте. Регистрируйтесь на свою почту, не покупайте готовые аккаунты и оплачивайте подписки через официальные страницы. Это общие советы, а не юридическая консультация.

Если застряли

Напишите в комментариях под роликом, на каком шаге встали и что ответил агент. Отвечу там же.