Улучшенный локальный RVC: клонируем свой голос за 5 минут | Видеоурок по установке | RVC rmvpe
Вставка
- Опубліковано 14 сер 2023
- Привет, друзья! В этом видео я расскажу об обновленной версии RVC, которая позволяет тренировать модели голоса прямо на вашем компьютере, без использования Google Colab. Это очень удобно, так как не нужно постоянно загружать модель в облако.
Главное нововведение этой версии - добавление метода rmvpe (Removal of Vocal Pitch Envelope). Этот метод позволяет лучше сохранять тембр голоса при клонировании. Благодаря ему синтезированная речь звучит более естественно и похоже на оригинальный голос.
В видео я покажу, где скачать последнюю версию RVC, как её установить и настроить на компьютере. Также расскажу, как решить некоторые типичные проблемы при работе с RVC.
Ссылка на RVC rmvpe: huggingface.co/datasets/Ba1yy...
Можете поддержать мой контент тут: boosty.to/ba1yya
Если вы мечтаете создать собственного голосового ассистента с вашим голосом - обязательно посмотрите это видео! Я поделюсь полезными советами, как добиться наилучшего результата.
Не забудьте поставить лайк, если видео вам понравилось. Подписывайтесь на канал и ставьте колокольчик, чтобы не пропустить новые полезные видео по созданию голосовых помощников и работе с RVC.
Также буду благодарен, если вы подпишетесь на мой телеграм канал. Там я публикую последние новости по теме голосовых технологий и делюсь интересными наработками в этой области. Заходите в чат телеграм канала - там можно задать вопросы и пообщаться с единомышленниками!
Ссылка на telegram канал: t.me/ba1yya
Спасибо, что смотрите мои видео! Вместе мы изучим увлекательный мир голосовых технологий. Жду вас в следующих видео!
теги-
ai cover, ai, so vits svc, cover, ai cover tutorial, how to ai cover, kanye west, нейросеть, how to make an ai cover, make ai cover, how to make ai cover, artificial, tutorial, how to make an ai cover tutorial, how to make a cover with ai, intelligence, how to make a song with ai, so-vits-svc, tutorial how to make an ai cover, ai voice, sovitssvc, модель голоса, vits svc, делаем модель голоса, как сделать голос colab, so-vits-svc 4.0, модель голоса google colab, делаем ai cover, своя модель голоса, mashup, so-vits-svc туториал, sovitssvc tutorial, so vits svc туториал, so-vits-svc google colab, so vits svc на андроид, мешап, как сделать модель голоса, so-vits-svc модель, so-vits, so-vits-svc как сделать свою модель, модель голоса сделать, мэшап, как сделать свою модель голоса, how to make kanye's voice, как сделать ai cover, how to make ai cover songs, кавер, ии, tinybunny, нейромэшап, aicover, нейрокавер, remix, искусственный интеллект, ai music, mashup.hk, mashup hk, lil t4k, music, #mashup, ai song tutorial, ai cover songs, how to ai cover tutorial, how to ai voice cover, ремикс, so vits svc tutorial, soviets svc tutorial, ai vocal tutorial, lil uzi vert ai, diff svc, sovits, how to use so vits svc, rvc, rvc tutorial, rvc ai, how to use rvc, new ai, how, bts, rvc ai cover, ghost, gotye, to, create, make, error google colab ai, спела, поет, за деньги да, кавер куплинов, ai нейросеть, винни пух, курт кобеин, kuplinov, best ai voice generator, аи кавер, как сделать кавер, ai мэшапы, как делать нейромэшапы?! / как сделать голос моргенштерна? | ai cover, musicfy ai, ai cover song, голоса знаменитостей, голос моргенштерна, как делать мэшапы, нейромешапы, как делать нейромэшапы, как, голоса артистов, remov, ai cover songs drake, rap, chatgpt, open ai, хип хоп, ai art, миджорни, нейросети, канье уэст, ai covers, ai generated music, скам, trends, ai rap, моргенштерн мэшап, мэшапы это, как сделать кавер найросетью, где взять модели для ai cover?, что сейчас популярно на ютубе, anighost, анигост, нейросеть моргенштерн, моргенштерн нейросеть слив трека, , оксимирон мэшапы, мэшапы, мэшап с нейросетью, мэшапы слушать, оксимирон нейросеть, трек с нейросетью, куплинов cover, нейросеть поет, нейросеть - за деньги да (слив трека), ai cover kai angel, ai cover morgenstern, how make ai cover, нейронные сети, канал, что делать если нету файла config.json?, ai voice changer, best ai voice changer, best ai voice clone, ai voice clone tutorial, ai voice cloning, best ai music generator 2023, best ai music tools, ai music michael jackson, ai music cover, ai music how to, ai music how to make, best ai music generator, ai voice cloning software, how to, ai generated vocals, ai generated cover song, voice to voice, ai voice to voice, quick, best ai cover tutorial, ai tutorial, how to make ai kanye, drake, rihow, rmvpe - Розваги
![[1/3] AI RVC (mangio) • Полный гайд об установке на пк • Запуск в колабе • Где брать модели](/img/n.gif)
Урааа, спасибо большое❤
Класс, спасибо!
Вау обнова, спасибо!
наконец то я начну петь чисто и попадая во все ноты!
спасибо за твой труд
Классно
Топ.
Именно когда после твоего туториала колаб не вытягивал нужную мне нагрузку (час озвучки, 250 эпох, пришлось искать локальное решение, именно то, какое в этом ролике. Хоть уже всё понял , но всё равно посмотрю с удовольствием
Сколько обучаются 250 эпох? Как долго занимает процесс создания модели с индексом?
@@In_Extremo 50 минут на 250 эпох локально я ставил на всю ночь на RTX 2080Ti. Мне кажется часов 9 делалось
@@kylewinters8531 Везёт, у меня на ноутбуке 6гб видеопамяти в 3060, соответственно одну эпоху делает 7 минут, на это нужно 30-35 часов. А Коллаб с Kaggle не работают и сыпят ошибками
Добрый день, выражаю огромную благодарность за за ваши труды ! Подскажите пожалуйста, есть ли возможность преобразования текста ( а не голоса ) в заданную натренированную модель ? В интерфейсе не нашёл такого функционала, буду благодарен за информацию.
А нахира есть гулавые движки там текс в голос ибешит на ура
Что делать при ошибке RuntimeError: The expanded size of the tensor (12800) must match the existing size (10000) at non-singleton dimension 1. Target sizes: [1, 12800]. Tensor sizes: [10000]
у меня 8-ядерный проц и ртх4050 мобильная, обучение происходит только на видяхе или на проце тоже?
Спасибо тебе огромное!
А в локальной версии как то возможно остановить процесс и дотренировать модель позже?
Привет, у меня макбук про на м1, я смогу локально установить как то? Пробовал веб версию, там ошибка выскакивает "time errored out" 😢
Святой человек, спасибо большое!
Спасибо за видео! Есть 1 вопрос, Как можно поставить больше 1000 эпох? Заранеее спасибо за ответ!
А не знаешь ли ,что делать если на моменте обработки модели ,часть "Защитить глухие согласные и звуки дыхания для предотвращения артефактов и тд." пишет error и всё?
Нормально то что тренировка эпох может остановиться на час или больше, хотя остальные тренировались по несколько минут?
Ведущий похож на Криса Хэмсворта. Кстати, файл "RVC_AMD_test.7z" с сайта (по ссылке) не распаковывается до конца (пишет неизвестный формат на всех файла в четвертой четверти процесса).
Последняя версия 7zip нужна
Что нужно, чтобы нейросеть некоторые звуки не проглатывала и выговаривала хорошо?
Вот за частоту дискреции обидно, ибо у меня фалы под 48, а не 40. Придется качать старую вашу версию, эх.
Ответить
У меня при запуске он пишет, что не найден путь и ошибка.... и просит нажать любою клавишу в Dos-окне... Что делать?
dataset обязательно писать? у меня без этого работало вроде. а если обязательно, то просто переименовать и все?
Автор, очень нужен гайд на нейронку, надеюсь заметишь мою просьбу
Вопрос!😊 Как получить хорошего качества акапеллу? Как я понимаю какой бы прекрасной модель голоса не была, все равно нужна изначально хорошего качества акапелла😢 Когда вырезаешь из песни то с огрехами конечно получается. Кто как делает, подскажите!
Поправка, во всех шагах на RVC.
файла индекс там нет, но если модель не вырубать то сделать можно, скажи как загружать другие модели уже готовые, а то я знаю как сделать свои, а как чужие нет. Но в лог нет файла индекс, есть много других которых у тебя нет. но с расширением индекс нет, возможно он теперь гдето в другом месте) мир любовь успеха)
Привет, когда я пишу путь и начинаю конвертировать, то получаю error, в cmd пишет AttributeError: 'NoneType' object has no attribute 'tobytes', хотя если в аудио выбрать someguy или somegirl, то аудио будет с голосом модельки, я не знаю что делать( (Модельку я скачивал, не сам делал)
Добрый день, я правильно понимаю что на amd не запустится?
И пару вопросов, заодно + в колво комментов для раскрутки твоего видео. )
1. По поводу графиков. Как я понимаю, не надо заморчаиваться с делением на 12. Просто тупо смотрю когда тотал график дает самое нижнее значание (например те же 5800), ближйшее к нему и беру эту версию модели в работу?
Да
4:35 - почему на 48к "работизированная" модель? у меня датасет в 48к.. даже 192к как-то брал.. никакой работизированности не наблюдал
меня какой то бесконечный луп процессинга 1387.0/29.6. Даже одну эпоху не могу сделать. В cmd только строка "max value is tensor (какое то число)" периодически прописывается. Что я делаю не так? Настройки все по умолчанию стоят.
Прикол.
предыдущий рвц через инет работает чтоль? и результат хуже дает? не понял я
Как посмотреть примеры и тд через тензор борд?
у меня очень медленная скорость скачивания с hugging face, до 200кб, выше не дает. хот провайдер местный и ненагруженный. так что 100мбит стабильно. что делать
Товарищи, нужна хелпа.
При обучении модели прога говорит что выделенно 0 мб памяти cuda и написано сколько доступно . Что делать?
на видеокартах амд работает?(6600xt)
Как продолжить тренировку?
Товарищи, а как поменять путь к папке с питоном? Настойчиво ищет в SYSTEM32.
Пишет вот такую ошибку ""Запуск программы невозможен, так как на компьютере отсутствует api-ms-win-core-path-l1-1-0.dllю Попробуйте переустановить программу" Я скачал файлы и кинул в системную папку Диска С. Но ничего не заработало. ЧТо делать?
Скажите, в какие папки нужно перекинуть файлы голосовой модели?
pth в weights, а индекс файл в logs/папка как модель называется. Читает, но при конвертации выдает ошибку. Сам ищу ответ.
Почему у меня нет индекса для файла? Я нажимаю "Тренировать идекс черт" и ничего. Не выполняется команда. Файла нет.
Спасибо огромное автор, за такой подробный гайд, основы по созданию моделей стали понятны) Единственное, можешь пожалуйста подсказать, как дотренировать модель именно в этой локальной RVC rmvpe?
Название одинаковое написать и эпох больше выставить
@@ba1yya все получилось, шикарно. Спасибо огромнейшее. Всех благ!!!)
@@ba1yya ерор выдает не найден путь
@@anxietyluv папки с логами значит нет или pth файла
@@ba1yyaТ.е если у меня было 300 эпох, сохранение каждые 5, прошло например 100 и потом прервал обучение. Нужно перезапустить скрипт, и снова в Тренировке точно так же проделать как сначала делал и количество эпох должно быть указано выше 100? Или как? Я просто ни разу не тренировал, так что извиняюсь заранее за возможно глупый вопрос. UPD. Разобрался сам уже.
Где ссылка на RVC rmvpe?
Чем это лучше оригинального файла?
Извините, а сегодня это актуально? Или что то изменилось? Следую Вашим инструкциям - не запускается go web😓 может python.exe мешает? Python должен на компе стоять?
Да python должен быть на пк
Спасибо за видео, очень полезно. Но есть вопрос: Окей, индекс файл я нашел, но где мне найти файл pth? Я просто хочу залить голос в AI VoiceChanger и не совсем понимаю где его взять
Я дурак, все нашёл, в видео говорилось оказывается (папка weights)
@@cooperhaps А у меня в папке weights ничего кроме .gitignore !! что я не правильно сделал???
а index файл как нашел? или его тоже надо тренировать по специальной кнопке?
@@aryys ну так в видео же сказано •-•
@@aryys9:13
Когда открываю go-web вылазит ошибка: Ошибка при запуске приложения (0хс000007b). Для выхода их приложения нажмите кнопку ОК. Что делать?
Здравствуйте) Подскажите пожалуйста. На видеокарте от amd это вообще возможно? Пробую, но всякий раз получается ерунда.
Нет, только нвидиа
Мужики, как остановить грамотно тренировку? Поставил ради интереса на 700 эпох. До 300 на каждую уходило по две минуты, после 500 3-4 минуты, а после 590 уже по 10 минут каждая. Если я просто закрою консоль, всё ведь будет напрасно и index не появится? Или появится всё таки? pth то понятно, они промежуточные есть, а вот индексов в папке я не обнаружил сейчас
у меня после всех 300 эпох не появился файл .index
Я нарезал в районе 100 коротких нарезок от 1 до 10ти секунд аудио специально для тренировки нейросети. Я знаю, что в полном гайде автор использовал в районе 70ти, но будет ли моего количества файлов достаточно для внушительного результата ? Может стоит нарезать еще столько же , чтобы сделать голос более реалистичным ?
Нарезка на качество никак не влияет. Программа режет как ей надо сама. В моем первом видео была ошибка по этому поводу, резать ничего не надо
Я сейчас уже не режу. Видимо, нарезка была нужна на анчальном этапе. Сейчас при тренировке там само все порежет на сотни кусочков вав. В папке logs к модели поищите в папках, увидите эти вавки нарезанные с 1 большой вавки. Да и при тренировке видно в рамке как код идет с кучей вавок.
Есть возможность "закаверить" сразу папку маленьких аудиофайлов (мультипик), а не выбирать по одному?
Ниже пакетная обработка есть
Работает на Mac OS?
Работает ли тренировка голосов без наличия видеокарты, а только встроенной в проц. интел?
нет вроде, если и работает то ужасно медленно
Привет! Подскажите как дотренеровать модель? Остановил на 160 эпохе, хочу добить хотя бы до 300.
нет
@@terriblepredator2371
Это видео актуально на данный момент?
*У меня после обучения, почему то не появился INDEX файл, а второй появился*
главный вопрос сколько эпох нужно тренеровать голос?голос чистый студийный количество нарезок 504 по 5-7 секунд есть и по 3.так вот никакой разницы не вижу что D_1000 ЧТО D_9000
А как использовать вот эти большие файлы? Где типо G_60000.pth и так далее, для чего они?
Здравствуйте, а как выставить для обучения модели больше 1000 эпох?
1000 ограничение
Ошибку выдало
RuntimeError: [enforce fail at C:\actions-runner\_work\pytorch\pytorch\builder\windows\pytorch\c10\core\impl\alloc_cpu.cpp:72] data. DefaultCPUAllocator: not enough memory: you tried to allocate 6408192 bytes.
С чем может быть связано?
Памяти не хватает. У тебя видеокарту не видит и на процессоре запускать пробует
На последенм этапе, когда нажимаю кнопку "Тренировать модель" выдаёт ошибку. Какие-то китайские символы и train.log
скачиваю зип файл с батниками и всеми хуйнями к нему, если я открываю батник в зип архиве то мне просто пишет какой код в этом батнике. Если я разорхивирую в какую либо папку зип то этот батник просто не включается и пишет ошибка что типо не может найти файл. Хотя антивирус ничего не банит
Привет, ответьте кто нибудь на два вопроса/ если у кого то скачана версия rvc_amd, работает ли у вас видеокарта и как вы ее включили?/2/ как можно остановить, и продолжить обучение модели.
На AMD видеокарте обучение проходит только с использованием процессора. На РАЙЗЕН 5600 ну очень всё медленно.
Скажи как обучит свою модель и кинуть туда
что делать, если зип папка не открывается, вообще никак. пробовала распаковать, выходит ошибка
Жду колаб версию
Подскажите плиз как сохранить модель конкретной эпохи, чтобы потом ее использовать? Там должны быть два файла вроде: pth и index. В папке weights есть файлы pth конкретных эпох, а где взять файл index для данной эпохи?
модель и точки сохранения в папке weights, а файл index в папке logs в папке с названием модели
@@vadimmakarov5539Понятно, спасибо. Вроде нашел. Просто думал, что индекс тоже делается к каждой эпохе отдельно.
Сколько не пытаюсь заменять голос на вокальных партиях качество получается скверным, выпадения, призвуки, ударения не так, другие интонации. На речь обычную ещё туда, сюда, но вокал скверно получается.
у меня GTX 960 4 GB Nvidia и мне пишет "К сожалению у вас нету видеокарты, которая поддерживает тренировку модели." начиная с какой видеокарты поддерживаться ?
RTX серия
Есть одна проблема:
У меня пишет "у вас нет видеокарты для тренировки модели". Что делать?
походу видюха неподходит, мб у тебя AMD, мб слишком старая
спасибо, все прекрасно работает, но можно как то ускорить процесс? Тренировка 250 эпох занимает 5-7 часов (core i5-12400f, rtx 4060)
300 эпох core i5-13600k rtx3060 - 50 минут
Можно ускорить, поменять процессор.
@@akula-z Разве основную нагрузку не видеокарта берет? Она у меня просто была на 90-100% загружена в процесе
Хотя странно, на gtx 1650 тоже 7 часов заняло, на 4060 должно тогда быть быстрее
@@user-ii8gs9yf6t В моем понимании, всё работает в связке, должна быть не только хорошая видеокарта, и но соответствующий ей процессор.
Если на ноуте только проц со встройкой работать не будет? Лучше на кагле?
Да, кагл лучше
Почему все модели глотаю согласные?
Файлы wav загружаются, но после обработки выскакивает Error
Сайт под видео не открывается(
Ba1yya, если можешь, объясни что за предупреждение такое - D:\RVC_New
untime\lib\site-packages\torch\autograd\__init__.py:200: UserWarning: Grad strides do not match bucket view strides. This may indicate grad was not created according to the gradient layout contract, or that the param's strides changed since DDP was constructed. This is not an error, but may impair performance. Есть возможность это исправить и поднять производительность?
И как выставить в твоей версии дискретизацию 48khz ? У меня исходники образцов голоса в 96khz.
Под 48 я ничего не оптимизирую. Поэтому убрал. Чаще всего если 48-44 ставить голос работа получится поэтому
@@ba1yya Автор, верни плз возможность выбора частоты. При импорте в проект Cubase с 44.1 кГц приходится делать передискретизацию, что снижает качество.
КАК ПРОДОЛЖИТЬ ТРЕНИРОВКУ?
подскажите куда кидать готовые модели?
В вейтингс pth, в лог/папка как модель называется index файл
Что делать при такой ошибке?
UserWarning: Grad strides do not match bucket view strides. This may indicate grad was not created according to the gradient layout contract, or that the param's strides changed since DDP was constructed. This is not an error, but may impair performance.
grad.sizes() = [64, 1, 4], strides() = [4, 1, 1]
bucket_view.sizes() = [64, 1, 4], strides() = [4, 4, 1]
(Triggered internally at C:\actions-runner\_work\pytorch\pytorch\builder\windows\pytorch\torch\csrc\distributed\c10d
educer.cpp:337.)
Проще сделать в файле, который вы оставили в описании , один компилятор
А можно ли дотренить модель например со 1000 эпох до 2000? Ну было бы конечно проще если бы добавили хотя бы до 10000 для удобства.
Ну по графикам там чаще всего всегда полная лажа после 1000. Только хуже становится
@@ba1yya Учту, как раз смотрю сейчас видео по графикам)
@@ba1yya Автор, верни плз возможность выбора частоты дискретизации, мне 40К не подходит
Привет! Видео супер, ноу меня возникает одна проблема. Во время infer с помощью уже обученной модели на rmvpe выскакивает в CMD ошибка:
if data.dtype in [np.float64, np.float32, np.float16]:
AttributeError: 'NoneType' object has no attribute 'dtype'
Причем эта же самая ошибка и в оригинальном локальном RVC, я уже думаю что это у меня с виндой что-то ни так((( Буду очень признателен если поможешь
Та же проблема, уже пару дней не могу ответ найти, везде где спрашивают про эту проблему нормального ответа нет.
@@user-xy9ug8fo6p кароче, я исправил это так: тот файл который хочешь изменить попробуй перенести на рабочий стол и назвать максимально коротко, типа "1", потом с зажатым шифтом (или контрлом, уже не помню как, давно не делал) нажми ПКМ и выбери "скопировать как путь" и вставь в место в нейронке, главное не забудь ковычки удалить.
Вообще мне кажется эта ошибка связанна именно с длинной путя к файлу
@@user-xy9ug8fo6pудалось решить проблему???
2060 super подойдет видеокарта?) или нет смысла?)
У меня обычная, всë работает
2. Пробовал собственноручно доучивать на локалке модель. Как понял, например модель отучилась 300 эпох. Смотрю по графику - недостаточно. И далее ползунком просто выставляю 500 эпох и в батке пошло далее 301 эпоха и т.д. - этот метод действительно верен и я реально доучиваю модель?
Верно
Как это происходит? Уже готовую модель с готовым индексом доучивать можно?
Как посмотреть достаточно ли эпох, или нужно доучивать. О каких графиках идёт речь?
Пишет "К сожалению у вас нету видеокарты, которая поддерживает тренировку модели". Видеокарта Radeon Pro WX 5100
Приветствую,спасибо за новую сборку.А что такое тренировка индекса черт?
Инструкция грубо говоря как голосом оттренированым пользоваться
Ясно,никогда не использовал просто.И если не сложно ещё один вопрос : Я тренировал модели в RVC beta,перекинул из weights модели в новую версию,но у меня выскакивает ошибка при замене голоса.Не знаешь,как решить или заного тренировать?@@ba1yya
И при использовании модели rmvpe-gpu выскавиет сообщение move model to cuda,no-f0-todo и no-feature-todo@@ba1yya
Ни одна модель не обробатывает датасет,везде пишет move model to cuda,no-f0-todo и no-feature-todo.Проверял папку logs - все пустые.@@ba1yya
@@VertexChannel1 cuda драйвера не стоит у тебя. Установи
А модели RVC v2 подойдут же? Подскажите пожалуйста
Это одно и тоже
Подойдут
амд тест при распаковке ошибки выдает
Где ссылка??
Нету ни какой ссылки на полный гайд
карта на ноутбуке AMD radeon карта встроенная, дискретная - NVIDIA GeForce RTX 3060 Laptop GPU (6 ГБ), процессор АМD 8 ядер, 16 потоков (логических процессоров).
Во время тренировки процессор грузиться до 15%, встроенная - 15%, дискретная - 0%. В чем причина? Эпоха тренируется 15 мин.
Что делать если не видит мою видеокарту? (rx580)
Салют! Есть ли варианты заставить работать это с видеокартой 1650Super 4gb vram ?
Есть
как?🥲@@ba1yya
размер пачки вытащил 1, но все равно жалуется на маленькую мощность и CUBA вылезает(( что делать?
тоже самое
baiyya, ПОМОГИИИ! УМОЛЯЯЯЮЮЮ!!! Т_Т При нажатии "переработка данных" вылезает ошибка "Connection errored out". Уже и перезапускал, и менял названия и папки датасета - ничего не помогает! В Каггле такая же ерунда(((
такая же фигня, удалось решить проблему?
на gtx 1060 3gb ваще никак не запустить? размер пачки всегда на 1, датасет уменьшал ничего не помогает. выдает CUDA out of memory. Tried to allocate 20.00 MiB
у меня 3050ti 4gb тоже самое:( уже датасэт на 5 файлов поставил
для тренировки больше не нужно резать исходники на куски по 10 секунд? в предыдущем видео видел файлы на несколько мегабайт
Больше не нужно. Хоть 10 минут сразу заливай)
Да, теперь там все само режет в папке logs эти вавки потом найдете к модели. Сотни вавок нарежет сам своим алгоритмом.
Это хорошая нейросеть для клонирования голоса на русском языке или есть лучше?
распаковка не работает только ошибка вылетает
*Блин видео карта слабая сейчас* ... я так прикинул почти 5 суток будет модель тренить ... есть ли какой нибудь способ это дело ускорить? или можно как то стопорить а потом продолжать оттуда откуда начал?
можно уменьшить количество эпох и количество файлов для тренировки, но качество голоса уменьшиться
а какая у тебя карта
GeForce GT 1030(((( ... А 3060 интересно справляется? думаю её может взять@@super_bebra444