Сервис Dreamface для генерации видео

Сервис Dreamface для генерации видео

DreamFace – это онлайн-сервис для создания говорящих аватаров и видео с помощью технологий искусственного интеллекта.

Бесплатно можно создать по одному цифровому аватару и одному видео в день. Дополнительно выдается 2 кредита в месяц, которые тоже можно потратить на генерацию видео.

Регистрация

Регистрация у сервиса очень простая. Заходим на сайт и нажимаем вверху справа на кнопку «Начать сейчас».

Дальше нажимаем на кнопку «Войти / Зарег.» вверху справа.

Авторизироваться можно через аккаунт Google, а зарегистрироваться — с помощью электронной почты: указываем её адрес и придумываем пароль.

Создаём цифровой аватар

Сервис разрешает создавать видеоаватары, аватары Dream и видео. Попробуем все три варианта.

Начнём с «Видео с аватаром».

Из библиотеки сервиса выбираем подходящего аватара. Если нужно, загружаем свое изображение или видео.

Справа, во вкладке «Текст», указывает текстовый фрагмент, который будет произносить аватар. Ограничение — до 500 символов.

Текст может сгенерировать и нейросеть, для этого нажимаем на кнопку «AI».

Задаем тему текста и нажимаем «Generate». Перед генерацией не забываем выбрать язык и тон текста.

Для аватара нужно выбрать голос. Бесплатных голосов, говорящих на русском языке, совсем немного — около пяти. 

Если нажать на кнопку «+ Созд. нов. голос», можно загрузить аудио со своим голосом, а нейросеть применит его к добавленному тексту.

Загружаем файл, даем голосу название и нажимаем «Подтвердить»

Проверяем, чтобы на странице с аватаром был выбран именно этот голос. Если выбор не сохранился, заходим в раздел «Голос» — «Мой» и выбираем аудио еще раз.

Можно загрузить с ПК своё аудио или видео — вместо озвучивания текста.

Для этого заходим во вкладку «Аудио». Там же кнопка для записи аудио. Все эти материалы будут использоваться при создании аватара.

Когда все настройки завершены, нажимаем на кнопку «Генерировать».

Стоимость генерации — 1 кредит. Готовую работу можно просмотреть и скачать из личного кабинета.

Вот что у меня получилось.

Создаём цифровой аватар Dream 3.0

Теперь попробуем создать цифровой аватар Dream. Бесплатно можно создавать по одному такому аватару в день.

Выбираем на старте «Dream Avatar 3.0».

Дальше открывается примерно такое же окно, как и в прошлый раз. Отличие одно — для этого аватара можно использовать только фотографии.

Выбираем героя из библиотеки сервиса. Если нужно, загружаем своё изображение. Пишем текст (ограничение — 2000 символов). Можно написать текст с помощью ИИ.

Выбираем голос или создаём свой (как в предыдущем примере).

Запускаем генерацию, нажав на кнопку «1/сут. безп».

Ждём результат и скачиваем проект на ПК.

Я создала вот такого двойника и дала ему свой голос. Интонация не совсем точная, мимика чересчур активная, Но в целом очень даже неплохо.

Создаём видео

Осталось разобраться, как с помощью сервиса можно создать видео. Выбираем вариант «AI Видео».

Заходим в раздел «Моё видео». В предложенное окно вписываем промпт.

Рядом с промптом — кнопка для загрузки изображения (если нужно создать видео — «оживление» картинки).

Чуть ниже выбираем модель для генерации.

Для обычных пользователей доступны модели Dream Video 1.0 и 1.5.

Если выбрать модель 1.5, то можно будет бесплатно создавать по одному видео в день. Поэтому этот вариант и протестируем.

В «Настройках» выбираем соотношение сторон видео (ландшафт, портрет) и качество ролика (480 или 720). Бесплатное видео будет длиной 5 секунд.

Видео будет генерироваться со звуком. Его можно отключить внизу.

Во вкладке «Нач./Кон.» можно загрузить первый и последний кадр будущего видео.

Видео можно создать и на основе шаблона. Для этого даже промпт писать не надо. Выбираем подходящий, загружаем свое изображение — и запускаем генерацию.

Готовую генерацию скачиваем на ПК.

Это видео, созданное на основе текстового описания.

А это видео, созданное по шаблону.

Сервис Genmo для генерации видео

Сервис Genmo для генерации видео

Genmo AI — это инструмент для генерации видео, использующий возможности искусственного интеллекта. Он преобразовывает текстовые подсказки и загруженные изображения в видеоролики.

К сожалению, бесплатный тариф очень ограничен: он предлагает самую простую модель для генерации, с помощью которой можно создать до 5 видео в месяц.

Для работы нужен аккаунт Google.

Авторизация

Заходим на сайт сервиса. В открывшееся поле можно сразу вписать свой промт и нажать на кнопку «Generate»

Сразу после этого открывается окошко для авторизации. Продолжить работу можно с помощь аккаунта Google.

Как создаётся видео

Итак, промпт у нас уже есть. Для бесплатной генерации доступен только вариант «Replay», его и выбираем.

Если нужно «оживить» картинку, загружаем её с компьтера.

В настройках выбираем длительность видеоролика (от 2 до 6 секунд), степень похожести на загруженное изображение и степень движения (чем больше процкент, тем быстрее движение). При желании видео можно зациклить. 

Среди дополнительного — возможность выбрать движение камеры (приближение, движение по кругу, панорама или наклон).

А еще можно добавить спецэффектов: летающих колечек, сердечек, звездочек и т.д.

У каждого спецэффекта устанавливается сила и скорость.

Запускаем генерацию, нажав на кнопку «Generate».

Ждём несколько минут — и можно скачивать получившееся видео. Оно будет в квадратном формате с небольшим водяным знаком.

Нажав на кнопку «Share», можно скопировать ссылку на получившуюся работу (Copy).

Жаль, что бесплатные возможности у сервиса такие скромные. Инструмент подходит для относительно статичных сцен — сложные движения даются нейросети с трудом.

Вот несколько видео, которые у меня получились.

Visper — нейросеть для создания видео с цифровыми аватарами

Visper — нейросеть для создания видео с цифровыми аватарами

Visper — cервис для генерации видео от Сбера, позволяющий создавать виртуальных персонажей на основе синтеза речи. С его помощью можно получать готовые презентации, обучающие видео, новостной и рекламный контент.

Бесплатно с помощью этого онлайн-инструмента можно создавать до 2 минут видео в месяц.

Регистрация

Заходим на сайт сервиса и нажимаем на кнопку «Попробовать».

Вход на сервис возможен двумя способами: вы можете зарегистрироваться обычным способом или авторизоваться с использованием аккаунта ВК или Google.

Если нужна регистрация по адресу электронной почты, указаваем его в соответсвующем поле и нажимаем «Зарегистрироваться».

На указанный адрес придет письмо для подтверждения аккаунта. Нажимаем на кнопку «Подтвердить».

Придумываем пароль и нажимаем «Зарегистрироваться».

Создаём видео

После авторизации можно создать первый видеоролик — «с нуля» или на основе готовой презентации в формате pptx или pdf.

При загрузке презентаций стоит ограничение на количество слайдов (не более 6) и объем текста на каждом слайде (не более 200 символов).

Чтобы начать проект «с нуля», нажимаем на кнопку «Новый ролик». Чтобы начать с презентации, нажимаем на кнопку «Загрузить презентацию».

Бесплатно доступна генерация двухминутного ролика с водяным знаком в виде логотипа Visper.

Скачивание готовых роликов в демоверсии запрещено, можно только поделиться ссылкой на готовое видео.

Для начала внизу справа даём название нашему проекту (вместо надписи «Без названия»), нажав на значок с изображением карандаша.

Затем во вкладке «Общее» выбираем формат видео (горизонтальный или вертикальный), пол (мужской, женский).

Диктор может быть виден до пояса или в полный рост, для некоторых из них доступны жесты (кнопки в правом верхнем углу каждого аватара).

Чтобы одн и тот же персонаж разговаривал на всех слайдах видео, нажимаем на кнопку «Применить ко всем слайдам».

Ниже располагаются настройки для выбора интонации голоса персонажа (по три интонации для женского и мужского голоса).

Далее идет настройка внешнего вида слайда – можно менять размер и положение диктора, а также добавлять на задний план фотографии и видео.

Изображение может заполнять слайд полностью либо частично (второй шаблон слева) – по умолчанию помещается в правый верхний угол, при необходимости может перемещаться вручную.

Ещё ниже выбираем положение диктора в кадре, его масштаб. Если надо, затемняем фон.

Во вкладке «Фон» выбираем фоновое изображение или видео для слайда из предложенного списка. Предусмотрено три режима: сплошной цвет, фоновое видео и изображение на фоне.

Для добавления своего изображения в качестве фона нажимаем на кнопку «Загрузите фото или видео».

По желанию вы можете добавить фоновую музыку – выбрать трек из предложенных вариантов или добавить собственный в формате mp3 (Перетащите трек в формате mp3).

Речь диктора можно загружать в текстовом или аудио формате (раздел «Текст»). При желании можно расставлять ударения и паузы, а также добавлять жесты (опция работает не у всех аватаров).

Текст вставляем в поле под слайдом с изображением диктора. Длина сообщения для одного слайда — 200 символов. Можно загрузить своё аудио для озвучки (не более 20 секунд на слайд).

Чтобы поставить паузу, выбираем в тексте нужное место и нажимаем слева на кнопку «Пауза». Чтобы поставить ударение, ставим курсор перед ударной буквой и нажимаем «Ударение».

Паузы по умолчанию — 0,2 секунды. Их длительность можно изменить, прописав вместо 0,2 другую цифру.

При генерации сервис «съедает» первые и последние слова на каждом слайде. Поэтому стоит поставить паузы в начале и конце слайда: в начале слайда — примерно на секунду, в конце слайда — примерно 2-2,5 секунды.

Чтобы прослушать озвучку слайда, нажимаем на кнопку «Воспроизвести слайд».

Чтобы создать новый слайд в видеоролике, нажимаем на значок «плюс» внизу. И снова перейти к оформлению слайда.

Чтобы запустить процесс создания видеоролика, нажимаем на кнопку «Сгенерировать».

Ждём какое-то время и просматриваем результат. Чтобы поделиться проектом, нажимаем на кнопку с тремя точками и выбираем «Поделиться», чтобы скопировать ссылку на видео.

Если ролик нужно доработать, выбираем опцию «Использовать как черновик». Возвращаемся назад в редактор и изменяем то, что надо изменить.

За повторную генерацию тоже будут сниматься кредиты.

К сожалениею, после 30 дней бесплатные видео автоматически переходят в раздел «Черновики» и просмотр их уже невозможен. Чтобы вернуть видео, нужно заново перегенерировать его.

Бесплатно можно создать только очень простое видео. За дополнительные настройки (например, за скачивание) придется приобретать платный тарифный план (самый недорогой — поминутный — 150 рублей за минуту видео).

Вот мой небольшой пример.

AIVA — нейросеть  для создания музыки

AIVA — нейросеть для создания музыки

AIVA — это ИИ-сервис для создания музыки. Он изучает тонны треков, а потом сам пишет уникальные композиции — классика, поп, электроника — что угодно.

Бесплатная версия дает 3 скачивания в месяц с треками до 3 минут (генерировать можно столько, сколько захочется). Авторские права остаются за AIVA, а использование ограничено некоммерческими целями.

 

Регистрация

Заходим на сайт сервиса и нажимаем «Create a free account». В дальнейшем для входа используем кнопку «Log In».

Доступна авторизация через Google-аккаунт. Если нужно зарегистрироваться с помощью электронной почты, вписываем её адрес и нажимаем «Continue».

На указанный адрес придет ссылка для активации аккаунта. Нажимаем на кнопку «Confirm Email Address».

Придумываем пароль, соглашаемся с условиями сервиса и нажимаем «Create account».

Генерируем музыку по стилю

Открывается новая страница. Чтобы начать создание музыки, нажимаем на кнопку «Create a track». Далее выбираем «From a Style»

Открывается библиотека стилей, выбираем подходящий и нажимаем «Create». Для ускорения поиска нужного стиля есть поисковая строка.

Перед генерацией можно установить тональность мелодии, продолжительность трека и количество файлов, которые будут генерироваться. Нажимаем «Create track».

Некоторое время сервис создает композицию. А затем ее можно прослушать и скачать. Для этого нажимаем на значок со стрелкой.

Выбираем формат MP3.

Генерация по стилю — по сути лотерея. Иногда для создания подходящего варианта надо запустить несколько генераций.

Вот такую эпичную музыку мне предложила нейросеть.

Эпичная музыка

AIVA

Генерация на основе аудио

Бесплатно можно попробовать создать свой трек на основе загруженного с ПК музыкального файла.

Для этого нажимаем на кнопку «Create track» и выбираем вариант «From an influence».

Дальше с ПК нужно загрузить аудиофайл. Для этого жмём на «Drag&Drop».

Выбираем файл на ПК и загружаем внутрь сервиса. Нажимаем «Done».

За образец можно взять весь трек целиком, можно только его часть. Обрезаем аудифайл, используя маркеры слева и справа.

А потом нажимаем «Trim and upload».

После этого трек появится в нашем личном кабинете.

Теперь снова нажимаем «Create»«From an influence».

А потом выбираем «Use an existing influence».

В личном кабинете выбираем ранее загруженный файл-образец. 

Выбираем стиль (из выпадающего списка), настроение композиции, её продолжительность и количество треков.

Запускаем генерацию (Create tracks).

Скачиваем музыкальный файл так же, как и в предыдущем случае.

После нескольких попыток генерации выбрала все-таки вот такой вариант.

Соло фортепиано

AIVA

Нейросеть MusicGPT для создания музыки

Нейросеть MusicGPT для создания музыки

MusicGPT — это онлайн-сервис на основе искусственного интеллекта, позиционируемый как мощный генератор музыки.

Он позволяет создавать музыку с помощью ИИ по текстовому описанию (промпту), причем не только инструментальные треки, но и вокальные треки. Русский язык поддерживается.

Бесплатно на месяц предоставляется 500 кредитов для генерации. Одна генерация стоит 100 кредитов, при этом создаются два варианта одной композиции. 

Регистрация

Заходим на сайт сервиса и нажимаем на кнопку «Sign up». В дальнейшем для входа на сайт можно использовать кнопку «Log In».

Авторизироваться можно с помощью аккаунта Google. Если нужна регистрация с помощью электронной почты, вписываем в предложенное поле свой адрес и нажимаем «Continue».

На почту приходит код для верификации. Вставляем его в открывшееся поле и снова нажимаем «Continue».

Дальше придется ответить на несколько вопросов от создателей сервиса. Сначала представиться — назвать своё имя.

Дальше выбираем сферу деятельности. Все предложенные варианты связаны с музыкой, я выбрала вариант с хобби.

Следующий вопрос — «Откуда Вы узнали о нас?». Выбираем подходящий сервис.

Последний вопрос: «Как Вы будете использовать сервис?». Я выбрала самый первый вариант.

Нажимаем «Continue» и завершаем регистрацию.

Генерация инструментальной музыки

Можно приступать к творчеству. В центре экрана — поле для того, чтобы добавить в него промпт — текстовое описание будущей песни. Лучше писать на английском языке.

Для того, чтобы промпт получился более подробным, а результат — наилучшим, я попросила промпт за меня написать диалоговую нейросеть Qwen. Она предложила создать рок-балладу с таким промптом:

«An epic instrumental rock ballad in the style of symphonic rock, blending elements of post-rock and progressive rock. The piece should begin with a soft, melancholic melody on clean electric guitar with subtle reverb, gradually building through layers of atmospheric synthesizers and strings, then escalating into a powerful climax featuring distorted guitars, a driving rhythm section, and grand orchestral accents. The mood should be majestic and tragic, yet infused with glimmers of hope».

Чтобы запустить генерацию, нажимаем на значок со стрелкой.

Ждём какое-то время — и получаем два варианта музыкальной композиции.

Чтобы скачать трек на ПК, нажимаем справа от него на кнопку с тремя точками, выбираем «Download», а дальше — «Full Song».

И вот моя эпичная композиция. Мне понравилось.

Эпичная рок-баллада

MusicGPT

Генерируем песню на русском языке

Попробуем сгенерировать песню на русском языке. За основу я взяла стихотворение Вероники Тушновой «Не отрекаются любя». 

Для начала во вкладке «Instrumental» записываем промпт, описывающий будущую песню (стиль, инструменты и т.д.). Я выбрала стиль инди фолк-баллады с женским вокалом. Для этого с помощью нейросети сгенерировала вот такой промпт:

«A melancholic indie folk ballad in Russian, slow tempo (60–70 BPM), sparse arrangement: soft piano, distant ambient pads, subtle cello, and delicate acoustic guitar. Female vocal, intimate and breathy, with emotional restraint — like Agnes Obel meets Novo Amor. Atmosphere: winter night, snowstorm outside, quiet apartment, longing and hope intertwined. Minimalist, clean, cinematic».

Дальше переходим во вкладку «Lyrics». Сюда надо вставить текст стихотворения. Только лучше предварительно разбить его на куплеты и припевы. Если этого не сделать, сервис тут же пропоет весь текст как один куплет за 10 секунд, а дальше запоет на английском. 

Нам этого не надо, поэтому разбиваем текст такими словами:

Куплет — Verse
Припев — Chorus
Финал — Outro

Чтобы запустить генерацию, снова нажимаем на значок со стрелкой.

Получаем два варианта песни. Скачиваем так же, как и в предыдущем случае.

И вот моя песня.

Генерация на основе другого файла

Дополнительно можно загрузить внутрь сервиса свой файл с ПК и на его основе что-то создать. Для этого нажимаем на значок со скрепкой.

Можно загрузить файл с ПК или YouTube и напеть песню (Record). Также можно взять за основу свои прошлые генерации (Creations).

В поле для промпта описываем будущий результат и запускаем генерацию.

Я добавила с ПК файл с медленной композицией на фортепиано и попросила преобразовать её в рок-балладу. 

И вот что получилось. Необычно.

Рок-баллада о свободе

MusicGPT

Нейросеть Stable Audio для создания музыки

Нейросеть Stable Audio для создания музыки

Stability AI, известная, в основном, по нейросети для генерации картинок Stable Diffusion, в 2023 году выпустила новую нейросеть Stable Audio. Как и следует из названия, она генерирует аудиоклипы.

За основу взяли ту же модель, что и в Stable Diffusion, но обучили её на музыкальных композициях вместо изображений. Всего ей скормили около 800 тысяч композиций с сайта стоковой музыки AudioSparx — или около 19 500 часов различных звуков.

Бесплатно с помощью нейросети можно создавать по 10 музыкальных композиций в месяц длиной до 3 минут.

Регистрация

Заходим на сайт сервиса и нажимаем на кнопку «Sign up» вверху справа. В дальнейшем для входа на сайт можно использовать кнопку «Log in».

Авторизироваться можно с помощью аккаунта Google. А если нужно зарегистрироваться с помощью электронной почты, указываем её адрес, придумываем пароль и нажимаем «Continue».

Дальше соглашаемся с условиями сервиса и нажимаем «Next».

Генерация музыки

Самое время приступить к созданию первого трека. 

В предложенное окно вставляем промпт для генерации — на английском языке. В «Библиотеке стилей» (Prompt Library) можно выбрать подходящий стиль. Для выбора есть такие варианты:

Progressive Trance — прогрессивный транс;
Upbeat — бодрый;
Synthpop — синти-поп;
Epic Rock — эпичный рок;
Ambient — эмбиент;
Warm — тёплый;
Chill Hop — чил-хоп;
Drum Solo — соло на барабанах;
Disco — диско;
Modern — современный;
Calm — спокойный;
House — хаус;
Classic Rock — классический рок;
Trip Hop — трип-хоп;
New-Age — нью-эйдж;
Pop — поп;
Techno — техно;
Surprise me — удиви меня.

Дальше устанавливаем продолжительность звучания трека ( до 3 минут).

Дополнительно внутрь сервиса можно загрузить с Пк фрагмент своего музыкального файла, чтобы создать на его основе что-то похожее. Бесплатно можно загружать до 3 минут аудио в месяц. Правда, при этом итоговая генерация будет длиной не более 30 секунд.

Запускаем процесс, нажав на кнопку «Generate».

Готовый трек можно прослушать и скачать на ПК. Чтобы опубликовать музыкальный шедевр и поделиться ссылкой на него, нажимаем на кнопку «Share track».

Файл сохраняется в формате MP3.

А это окошко для публикации и распространения аудио. Сначала нажимаем на кнопку «Generate link».

А потом — «Copi link».

Во вкладке «Embed» можно взять код для встраивания трека на страницу сайта или блога.

Вот мой трек, созданный с помощью сервиса.

А промпт был вот такой: «upbeat, energetic, and optimistic rock-pop track with a driving rhythm, catchy melodies, and a vibrant atmosphere. The music should feature punchy drums, rhythmic electric guitar riffs, warm basslines, and bright piano or synth accents. Aim for a tempo around 100120 BPM, with a clear verse-chorus structure and a dynamic, radio-friendly sound. The mood should be joyful, confident, and upliftingperfect for a feel-good montage, commercial, or opening sequence. Keep the instrumentation tight and modern, with clean production and a touch of reverb for depth, but maintain clarity and forward momentum throughout the track».

А это ещё один пример генерации — уже на основе загруженного аудио. 

Это промпт: «Upbeat, cheerful pop track with a catchy melody, driving beat, and bright synths. Features bouncy bassline, crisp handclaps, sparkling vocal harmonies, and an infectious chorus. Tempo around 120 BPM, in a major key, evoking feelings of joy, summer days, and carefree dancing. Clean production, modern radio-friendly sound, suitable for a feel-good playlist».

Как создавать промпты

Промпты я писала не сама — мне помогала нейросеть Qwen. Сначала я попросила оптимистичную ритмичную музыку в стиле поп-рок, а потом — энергичную танцевальную музыку в стиле поп. И в итоге получила неплохие такие промпты, которые помогли создать первые нетленки.

Создатели сервиса предлагают при создании промпта прописывать такие позиции: 

1. Формат : Solo, Band, Orchestra, Chorus, Duet  (соло-инструмент, группа, оркестр, хор, дуэт).

2. Жанр музыки: Rock, Pop, Hip Hop, Indie, RnB и др. (рок, поп, хип-хоп, инди, ар-н-би и др.).

3. Поджанры: Drum loops, Electric guitar, Pop Music, Chillout, Ambient, Techno (барабанная петля, электрогитара, поп-музыка, чилаут, эмбиент, техно).

4. Инструменты: Piano, Drum machine, Synthesizer, Snare drum, Organ, Strings, Percussion, Ukelele и т.д. (пианино, драм-машина, синтезатор, малый барабан, орган, перкуссия, укулеле и т.д.).

5.  Настроение: Dramatic, Inspiring, Magical, Uplifting,  Driving,  Atmospheric, Happy и т.д. (драматичное, вдохновляющее, волшебное, воодушевляющее, побуждающее, атмосферное, счастливое и т.д.).

6. Стили: Film Instrumental, 2000s, 1960s, Dance, Video Games, High Tech,
Sci-Fi (инструментал из фильма, музыка 2000-х, 1960-х, танцевальная музыка, видеоигры, высокие технологии, научная фантастика).

7. Темп: Medium, Slow, Fast, Very Fast (средний, медленный, быстрый, очень быстрый).