MMAudio - нейросеть для создания реалистичных фоновых звуков для/из видео. Инструкция по установке

MMAudio генерирует синхронизированный звук с учетом видео и/или текстовых подсказок. Ключевое новшество — мультимодальное совместное обучение, которое позволяет проводить обучение на широком спектре аудиовизуальных и аудиотекстовых наборов данных. По умолчанию эти скрипты используют large_44k_v2модель. В экспериментах вывод занимает всего около 6 ГБ памяти GPU (в 16-битном режиме), что должно соответствовать большинству современных GPU. Ограничения: - Модель иногда генерирует нежелательные неразборчивые звуки, похожие на человеческую речь; - Модель иногда генерирует нежелательную фоновую музыку; - Модель испытывает трудности с незнакомыми концепциями, например, она может генерировать «стрельбу из огнестрельного оружия», но не «стрельбу из РПГ». ________________________________ ✨Ссылки: ________________________________ ✨Таймкоды: 00:00 - Предисловие 01:39 - Пара слов про установку ComfyUI 02:03 - Установка кастомных нод 04:01 - Ошибка подгрузки ноды в интерфейс из-за библиотеки torchdiffeq 05:54 - Базовый врокфлоу 06:48 - Качаем модели и кладем в нужную папку 07:52 - Первый запуск и RuntimeError: The shape of the 2D attn_mask is torch.Size([77, 77]), but should be (1, 1) 09:48 - Примеры работы и нюансы 13:17 - Послесловие ________________________________ Теги: искусственный интеллект, нейросети, нейросеть, ai, ии, озвучить видео, озвучка, синтезатор звуков, озвучка видео, реалистичная озвучка, из текста в аудио, всякие полезности, нейросети для видео, нейросети для...