КАК ИЗМЕНИТЬ ГОЛОС НЕЙРОСЕТЬЮ / Обучение и смена голоса so-vits-svc

Поділитися
Вставка
  • Опубліковано 31 гру 2024

КОМЕНТАРІ •

  • @Bezio.
    @Bezio. Рік тому +6

    Парочка дополнений:
    1. Работая в Kaggle при запуске первого блока вначале лога будет красная запись, начинающаяся на "Error:", после неё остальной лог так же может быть красного цвета - к сожалению это последствия обновления Kaggle, устранить это я не смог, но эти сообщения никак не влияют на процесс обучения, всё работает, просто визуальный момент.
    2. Если задумаете обучать голоса - обязательно перед этим ознакомьтесь с полным списком уже готовых голосов, чтобы впустую не повторять проделанную работу. Если я обучаю голоса из игр - я обычно прохожусь по всем основным голосам конкретной игры, у остальных персонажей либо слишком мало реплик, либо голос слишком похож на других персонажей (так как один актёр озвучки).
    3. Орк ничего не сказал в ролике об этом, но в Kaggle я подписал это комментариями. Как только доучили модель до 10к, оптимизировали и скачали, далее есть два варианта: Либо создаёте новый блокнот и по новой его подготавливаете и учите новую модель, либо как делаю я, удаляете в правой панели уже использованный датасет, запускаете последний блок "Очистка директории", ну и для чистого вида можно ткнуть правой кнопкой мыши по фону блокнота и нажать "Clear all Outputs", тогда ваш блокнот прийдёт в первозданное состояние, настраивать его уже не будет нужно и можно просто подгружать новый датасет и учить новую модель.
    Что ж, удачи вам, господа, а я за следующие пару недель надеюсь успеть сделать автопроигрывание примера голоса при выборе модели (чтобы не генерить вручную в попытке понять, подходит ли тебе голос), а так же пакетную обработку аудиореференсов. Если что - в папках с моделями, в большинстве, находятся аудиопримеры и через Google Drive (в вашей папке "Models" после первого запуска колаба) можно вручную открывать и прослушивать, в крайнем случае пока что это быстрее, чем генерить.

  • @GallonBallon
    @GallonBallon Рік тому +6

    Очень круто и интересно. Радуюсь такому энтузиазму. Круто, что ты есть, хорде.
    P.s. Даже если большая часть просмотревших никогда и не доберется до компиляции новых афоризмов старыми добрыми голосами
    P.p.s. Безио тоже крутой чел

  • @after17
    @after17 Рік тому +5

    Ничерта не понятно, но очень интересно) Буду на досуге тестить и юзать. Спасибо, братюнь!

  • @Alexander-477
    @Alexander-477 Рік тому +8

    Наконец-то можно будет исправить косяк озвучки в ночи ворона, когда одни и те же персонажи говорят разными голосами.

  • @VergoCastillianos
    @VergoCastillianos Рік тому +1

    ¡Gracias Orco, estamos todos trabajando juntos por un gran objetivo!

  • @MaxwellNicholls228
    @MaxwellNicholls228 Рік тому +1

    Монтаж очень приятный, информация изложена чётко, без воды и духоты. Очень крутой видеоролик

    • @Legion-N7
      @Legion-N7 Рік тому

      то чувство когда ничего не понял....

    • @Beisevir
      @Beisevir Рік тому +1

      По мне хватило бы 20 секунд с переключением разных голосов, а то отвлекает, и поменьше неформальной речи, все таки как никак инструкция

    • @MaxwellNicholls228
      @MaxwellNicholls228 Рік тому

      Наоборот приятно слушать, когда инструкции подают неформально@@Beisevir

  • @Beisevir
    @Beisevir Рік тому +1

    Спасибо братан. Ждал ещё летом.

  • @Thanass
    @Thanass Рік тому +3

    Спасибо!🤝 Опробуем!👍

  • @deflash
    @deflash Рік тому +5

    ТАРРОК БЛАГОДАРИТЬ

  • @Hellardrim
    @Hellardrim Рік тому +1

    Вот и дождались)

  • @user-t8mas
    @user-t8mas Рік тому +5

    Просто чудеса) Вот бы Фантом либерти озвучить

  • @roman.bulando
    @roman.bulando Рік тому +1

    Мама, я в телевизоре!

  • @MaxHotPlay
    @MaxHotPlay Рік тому +1

    Лайкос заранее проставил.

  • @Knijnaya_anarhiya
    @Knijnaya_anarhiya Рік тому +1

    Из 4 членов моей семьи за это видео проголосовало пятеро!
    Очень полезно, чувствуется рука мастера. Завезла фуру лайков *с двух аккаунтов* ;3

  • @telobarsik
    @telobarsik 8 місяців тому +1

    я не очень понял один момент, получается что у вас будет доступ к моему гуглдрайву и теоретически вы можете делать там всё что захотите?

  • @Инкарнат
    @Инкарнат Рік тому +6

    Озвучьте Архолос :в

  • @Sanzhar94
    @Sanzhar94 Рік тому +1

    Ждём озвучку Архолос, Хроники Миртаны)

  • @dota_pirate
    @dota_pirate Рік тому

    Спасибо, это невъебически круто

  • @nikolaybilinskyi8509
    @nikolaybilinskyi8509 Рік тому +1

    Круто, но мороки пока много .Да и "васянские" моды озвучивать лучше по васянски , иначе , так сказать , игроком теряется целостность картины восприятия и возникает диссонанс:).

  • @EVG_guitar
    @EVG_guitar Рік тому

    эхей, пара вопросиков !!
    можно обучить на английском языке, чтобы в последствие голос английского актёра натянуть на русский голос ?
    закинул пачку из 20 файлов для теста , и вижу что можно выбрать 1файлик из списка и запустить на нём конвертацию, , может быть можно реализовать применение настроек голоса ко всем файлам в пачке , и потом скачать а один клик ?

    • @орки
      @орки  Рік тому +1

      Говорить английским голосом русскую речь можно и наоборот тоже. Так что натянуть возможно))
      Не, пока можно только пачкой их загрузить и по одному обрабатывать/менять
      А пакетную обработку планируем, но хз когда будет

  • @IPSCLAIM
    @IPSCLAIM Рік тому

    У меня после обучения модели в папке Model всего 2 файла - config и G_10000. Где взять третий файл Sample?

    • @орки
      @орки  Рік тому

      Sample генерируется в ручную

    • @IPSCLAIM
      @IPSCLAIM Рік тому

      @@оркиСпасибо, разобрался.

  • @sergeydro
    @sergeydro Рік тому

    Круто! А какие есть ограничения если это использовать для коммерческих проектов?)

    • @Bezio.
      @Bezio. Рік тому +2

      Правильный вопрос, ибо учитывая и в общем обстоятельства, и особенно злободневный момент с украденным голосом - это всё таки голоса актёров озвучки, большинство из которых ещё живы и активно работают. Тут я могу сказать только две вещи:
      1. Мы обучаем прежде всего голоса персонажей, именно персонажей в конкретном образе актёра. Чтобы потом эти голоса использовались для озвучки так же персонажей.
      2. Я лично закладывал идею, что мои инструменты и наши модели будут использоваться исключительно для фанатского творчества (моды, машинимы), и никак не подразумевать коммерческое использование, так как авторское право и бла-бла всё это мы прекрасно понимаем.
      Так что для коммерции, увы, нанимать настоящих актёров озвучки, чтобы не привлекать негативное внимание ни к себе, ни к проекту, который в себе по изначальной идее ничего негативного не несёт.

    • @sergeydro
      @sergeydro Рік тому

      @@Bezio. спасибо за развернутый ответ) я правильно понимаю, что появляется компромиссный вариант для инди: платить за озвучеу только коротких отрывков (10-40 минут) и потом самому или только с помощью одного актёра озвучки озвучить все остальное?
      Естественно со всеми прямо это согласовать и получить разрешение.
      Это, кажется будет все равно сильно дешевле, если бы актеры озвучивали все диалоги

    • @Bezio.
      @Bezio. Рік тому +2

      @@sergeydro О-хо-хо, а вот тут уже всё сложно, идея-то конечно хитрая, но мне кажется, что никакой актёр озвучки на такое не согласится, сколько хронометража живого голоса - столько и платить, а вот такими вот хитростями - записать 15 минут реплик, обучить модель и записать самому всё остальное - это из разряда подлых махинаций. А если оговорить с актёром озвучки, что его голос изначально будет использоваться с нейросетью - как уже сказал, крайне сомневаюсь, что кто-то согласится, а если и согласится, то во-первых, цены будут совершенно другими, а во-вторых, большим вопросом встанет то, в каких объёмах ты сможешь генерировать реплики с этим голосом. Сложный юридический вопрос, на который нам даже актёры дубляжа вряд ли смогут ответить и просто откажут.

    • @sergeydro
      @sergeydro Рік тому +1

      @@Bezio. эх, значит пока удешевление озвучки для инди проектов остаётся еще мечтой)

  • @skalletorp5960
    @skalletorp5960 3 місяці тому

    Когда новый реп брат?

  • @damiyrki1205
    @damiyrki1205 Рік тому +2

    Вы хоть понимаете, что умершие актеры озвучки уже стали по сути бессмертными? Суховерко, Вихров, Ярославцев. Можно хоть Живова голос вернуть для озвучки. 😢

  • @Legion-N7
    @Legion-N7 Рік тому

    1:20 какие файлы нужно выбрать???

    • @орки
      @орки  Рік тому

      аудио в формате .wav или .mp3

  • @IamDallasGG
    @IamDallasGG Рік тому +2

    Make Gothics' games great again!

  • @Legion-N7
    @Legion-N7 Рік тому

    Я так и не понял как говорить то этими всеми голосами? какой функионал я в дискорде или в обс могу говорить???

    • @орки
      @орки  Рік тому

      Видео не про это, не про realtime

  • @Pinozaddo
    @Pinozaddo Рік тому +4

    Продолжай это магическое дерьмо!

  • @Unlaiker
    @Unlaiker Рік тому

    Круть

  • @hollow.one.w
    @hollow.one.w Рік тому +1

    конечно же мое мнение будет всем до одного места, но мистеру Horde лучше с ним ознакомиться.
    эта идея фикс с нейросетевой озвучкой приведет только к проблемам не только с теми, кто уважает работу и творчество актеров озвучки, но и с самими актерами озвучки.
    только недавно выходило видео от Алёны Андроновой. писали петиции по поводу использования голосовых биометрических данных, и уже есть сподвижки в юридическом направлении.
    в общем, канал скатывается не в лучшую сторону, как по мне
    НО точка невозврата еще не достигнута, и, я уверен, талант Horde позволит придумать более оригинальный контент👍

    • @Bezio.
      @Bezio. Рік тому +2

      Тема войсклонинга развивается в мире, Орк просто поднял её в Готик-коммьюнити. Хоть последние несколько роликов были про это - это не значит, что теперь это основной контент Орка, особенно учитывая все его прошлые ролики. Просто сейчас те, кому это интересно, подхватывают эту идею.
      Я бы не занимался излишним моралфажеством, но ты прав, необходимо заранее и чётко оговорить правила использования голосов только для некоммерческих целей. Всё таки тема, конечно, серьёзная, особенно учитывая недавние события.

    • @hollow.one.w
      @hollow.one.w Рік тому

      @@Bezio. Поглядим

  • @hollow.one.w
    @hollow.one.w Рік тому +1

    товарищи, заканчивайте с нейросетевой озвучкой, она звучит прикольно только поначалу.
    актеры озвучки имеют много проблем из-за их голоса, гуляющего по интернету.
    а голоса тех, кто уже умер, вообще аморально использовать.
    важно понимать, что в СНГ только совсем недавно начала развиваться защита использования биометрических данных голоса человека, т.к. клонирование голоса может быть использовано В ТОМ ЧИСЛЕ И МОШЕННИКАМИ против людей, которые не знакомы с данной технологией (в основном это наши с вами родители, бабушки, дедушки).
    таким образом, шутки с данной технологией имеют сомнительное будущее.
    бафайте свой голос и используйте его в видео, если нужно

    • @Bezio.
      @Bezio. Рік тому +2

      Что ж тут сказать, естественно мы понимаем, что для коммерческих целей нельзя использовать эти голоса, я лично обучал их по образам конкретных персонажей из разных игр и исключительно для фанатского творчества (Так как это даёт большие возможности для озвучки машиним и модов, Истара на всех не наберёшься, да и не смотря на его профессионализм, говорить голосами конкретных персонажей он не может, лишь похоже. А нанимать реальных актёров озвучки для некоммерческого мода очень мало кто может себе позволить, а про машинимы я вообще молчу). Насчёт неэтичности - тут у каждого человека свой взгляд, как уже сказал, используя в некоммерческом проекте голос персонажа, актёр которого уже почил, я лично считаю не надругательством над его голосом, а наоборот, уважительным воспоминанием его артистизма, он не забыт и используется в творчестве.
      Насчёт потенциальных мошенников - тут ты прав, всегда найдётся кто-то бессовестный, кто задумает идти мимо правил, но лишать из-за этого всех остальных добропорядочных людей возможности озвучивать своё фанатское творчество оригинальными голосами - я не думаю, что это правильно. Да и тема в любом случае сейчас активно развивается, я лишь делаю более оптимальный и удобный инструмент для простых пользователей. Однако если бы не было ни моих инструментов, ни всех наших моделей, потенциальный мошенник всё равно бы мог сам обучить любой голос и использовать его в своих гнусных целях.

    • @hollow.one.w
      @hollow.one.w Рік тому +1

      @@Bezio. ну я предупредил по поводу возможных юр. проблем, а также проблем с сообществом актеров озвучки (поверь, никто из них не одобрит все пункты, тобою описанные, то есть ты по сути вступаешь в конфронтацию с актерами, используя их голос и их коллег, никак иначе), а там сами знаете, люди взрослые.
      я считаю, что для озвучки модификаций можно самому прописать реплики, поупражнявшись в мастерстве артистизма и прокачивая артикуляцию

    • @lopario
      @lopario Рік тому +3

      Ооо, подоспел дефальщик обиженок-неолуддитов.
      То, что актеры озвучки имеют проблемы, никакими запретами не решится, та же реклама эдалт контента или казино находится вне правового поля, им до лампочки кто что запрещает хоть на каком уровне.
      Про АМАРАЛЬНОСТЬ я вообще молчу, просто кринж (чел умер, ему все равно, держу в курсе).
      Бедных пенсионеров как обманывали так и будут оьманывать, как им помогают в этом нелегком деле челы, делающие голосовые модели войсов готики? Бабка старая подумает: «Ох, Ватрас попао в аварию, срочно отправлю ему пенсию!».
      Нейронки развиваются и дарят нам кучу интересных и веселых штук, но нет, парочка обиженных актеров озвучки записали порцию нытья и сочувствующие хомяки побежали их поддерживать в борьбе со злом - прогрессом.
      Ребята, может вам стоит переключиться на своих прежних врагов: вышки 5g, вакцины и так далее?

    • @hollow.one.w
      @hollow.one.w Рік тому

      @@loparioты отвратителен

    • @AzureB-d1u
      @AzureB-d1u 8 місяців тому

      Вопрос очень интересный вы затронули. Когда известный актер озвучания Мэл Бланк умер (он озвучивал многих персонажей мультфильмов Looney Tunes), другие нанятые актеры озвучивали персонажей, по сути, его голосом (имитируя голоса, которые он придумал). А что скажете про "оживление" актера Питера Кушинга в виде цифрового персонажа, в фильме "Звёздные войны: Изгой-один"? Разумеется, разрешения на использование его образа у актера спросить было невозможно. Или использование цифровой копии Одри Хепбёрн в рекламе шоколадного батончика (!). Разумеется, к этому времени актриса уже давно умерла. Получается, что это аморально, но ради зарабатывания денег можно?
      По поводу имитации голосов: еще до появления нейросетей люди умели весьма похоже имитировать голоса известных людей и использовать их в своем творчестве (например, в жанре пародий). Как вы относитесь к имитации голоса живым человеком? Что будет, если озвучить модификацию к игре голосом, весьма похожим на оригинальный голос персонажа, но это будет живой человек? Будет ли это этично?

  • @kern2299
    @kern2299 Рік тому

    что делать, если выдаёт ошибку в кагле "no such file or directory: '/kaggle/working/logs/44k/G_10000.pth'

  • @worldofbells
    @worldofbells 10 місяців тому

    У меня появляются вот такие ошибки,как их исправить?
    ---------------------------------------------------------------------------
    MessageError Traceback (most recent call last)
    in ()
    11 import time
    12
    ---> 13 gdrive.mount('/drive', force_remount=True)
    14
    15 models_folder_path = '/drive/MyDrive/models'
    3 frames
    /usr/local/lib/python3.10/dist-packages/google/colab/_message.py in read_reply_from_input(message_id, timeout_sec)
    101 ):
    102 if 'error' in reply:
    --> 103 raise MessageError(reply['error'])
    104 return reply.get('data', None)
    105
    MessageError: Error: credential propagation was unsuccessful