Stability AI, известная, в основном, по нейросети для генерации картинок Stable Diffusion, в 2023 году выпустила новую нейросеть Stable Audio. Как и следует из названия, она генерирует аудиоклипы.
За основу взяли ту же модель, что и в Stable Diffusion, но обучили её на музыкальных композициях вместо изображений. Всего ей скормили около 800 тысяч композиций с сайта стоковой музыки AudioSparx — или около 19 500 часов различных звуков.
Бесплатно с помощью нейросети можно создавать по 10 музыкальных композиций в месяц длиной до 3 минут.
Регистрация
Заходим на сайт сервиса и нажимаем на кнопку «Sign up» вверху справа. В дальнейшем для входа на сайт можно использовать кнопку «Log in».
Авторизироваться можно с помощью аккаунта Google. А если нужно зарегистрироваться с помощью электронной почты, указываем её адрес, придумываем пароль и нажимаем «Continue».
Дальше соглашаемся с условиями сервиса и нажимаем «Next».
Генерация музыки
Самое время приступить к созданию первого трека.
В предложенное окно вставляем промпт для генерации — на английском языке. В «Библиотеке стилей» (Prompt Library) можно выбрать подходящий стиль. Для выбора есть такие варианты:
Progressive Trance — прогрессивный транс;
Upbeat — бодрый;
Synthpop — синти-поп;
Epic Rock — эпичный рок;
Ambient — эмбиент;
Warm — тёплый;
Chill Hop — чил-хоп;
Drum Solo — соло на барабанах;
Disco — диско;
Modern — современный;
Calm — спокойный;
House — хаус;
Classic Rock — классический рок;
Trip Hop — трип-хоп;
New-Age — нью-эйдж;
Pop — поп;
Techno — техно;
Surprise me — удиви меня.
Дальше устанавливаем продолжительность звучания трека ( до 3 минут).
Дополнительно внутрь сервиса можно загрузить с Пк фрагмент своего музыкального файла, чтобы создать на его основе что-то похожее. Бесплатно можно загружать до 3 минут аудио в месяц. Правда, при этом итоговая генерация будет длиной не более 30 секунд.
Запускаем процесс, нажав на кнопку «Generate».
Готовый трек можно прослушать и скачать на ПК. Чтобы опубликовать музыкальный шедевр и поделиться ссылкой на него, нажимаем на кнопку «Share track».
Файл сохраняется в формате MP3.
А это окошко для публикации и распространения аудио. Сначала нажимаем на кнопку «Generate link».
А потом — «Copi link».
Во вкладке «Embed» можно взять код для встраивания трека на страницу сайта или блога.
Вот мой трек, созданный с помощью сервиса.
А промпт был вот такой: «upbeat, energetic, and optimistic rock-pop track with a driving rhythm, catchy melodies, and a vibrant atmosphere. The music should feature punchy drums, rhythmic electric guitar riffs, warm basslines, and bright piano or synth accents. Aim for a tempo around 100120 BPM, with a clear verse-chorus structure and a dynamic, radio-friendly sound. The mood should be joyful, confident, and upliftingperfect for a feel-good montage, commercial, or opening sequence. Keep the instrumentation tight and modern, with clean production and a touch of reverb for depth, but maintain clarity and forward momentum throughout the track».
А это ещё один пример генерации — уже на основе загруженного аудио.
Это промпт: «Upbeat, cheerful pop track with a catchy melody, driving beat, and bright synths. Features bouncy bassline, crisp handclaps, sparkling vocal harmonies, and an infectious chorus. Tempo around 120 BPM, in a major key, evoking feelings of joy, summer days, and carefree dancing. Clean production, modern radio-friendly sound, suitable for a feel-good playlist».
Как создавать промпты
Промпты я писала не сама — мне помогала нейросеть Qwen. Сначала я попросила оптимистичную ритмичную музыку в стиле поп-рок, а потом — энергичную танцевальную музыку в стиле поп. И в итоге получила неплохие такие промпты, которые помогли создать первые нетленки.
Создатели сервиса предлагают при создании промпта прописывать такие позиции:
1. Формат : Solo, Band, Orchestra, Chorus, Duet (соло-инструмент, группа, оркестр, хор, дуэт).
2. Жанр музыки: Rock, Pop, Hip Hop, Indie, RnB и др. (рок, поп, хип-хоп, инди, ар-н-би и др.).
3. Поджанры: Drum loops, Electric guitar, Pop Music, Chillout, Ambient, Techno (барабанная петля, электрогитара, поп-музыка, чилаут, эмбиент, техно).
4. Инструменты: Piano, Drum machine, Synthesizer, Snare drum, Organ, Strings, Percussion, Ukelele и т.д. (пианино, драм-машина, синтезатор, малый барабан, орган, перкуссия, укулеле и т.д.).
5. Настроение: Dramatic, Inspiring, Magical, Uplifting, Driving, Atmospheric, Happy и т.д. (драматичное, вдохновляющее, волшебное, воодушевляющее, побуждающее, атмосферное, счастливое и т.д.).
6. Стили: Film Instrumental, 2000s, 1960s, Dance, Video Games, High Tech,
Sci-Fi (инструментал из фильма, музыка 2000-х, 1960-х, танцевальная музыка, видеоигры, высокие технологии, научная фантастика).
7. Темп: Medium, Slow, Fast, Very Fast (средний, медленный, быстрый, очень быстрый).