Это невероятно!

[Кошка-суперагент]

Я сейчас наткнулась на это: www.youtube.com/watch?v=GTDO3yxcM4Q. Песня Юры Шатунова поётся голосом Юры Клинских, под видео приписка, что нейросеть. Но... что именно за нейросеть, почему нет ссылки?! Я стесняюсь спрашивать у автора, но она мне очень, очень, очень нужна! Потому что если там так можно сделать, то у меня появляется надежда НАКОНЕЦ-ТО послушать, как именно звучит песня моего, кхм, Петеньки в этом отрывке (там под смайликом, если что)! Самостоятельно я это представить себе всё никак не могу, не получается, а очень хочется.

@темы: происшествия, впечатления

Comments

[Darth Ross]

Ну, по идее поющая нейросеть должна работать так же, как и подставляющая лица. Нужен исходник и куча данных (фотографий и видео в случае замены лиц, записей голоса в случае замены голоса). По сути, нейросеть это такая программа, которая как бы «исправляет» исходную песню на основании данных (другого голоса), которые ей скормили. В итоге без готовой натренированной модели голоса (как и без самой песни-основы) ничего не получится, готовую модель вряд ли кто-то даст (хотя чем чёрт не шутит), а для тренировки модели нужно вникать, как именно это делать и тратить время на тренировку, а результат, в зависимости от количества и качества данных, может разочаровать. Сомневаюсь, что есть какой-нибудь бесплатный сайт, где лежит уже всё готовое, и тем более сомнительно, что там есть готовые модели под нужный голос. Полагаю, ютуберы тренируют любимые голоса сами, скачав где-то подходящую нейросетку и развернув у себя на машине. Опять же, я в этом вопросе не специалист и подобные нейросети не щупал, просто хочу сказать, что пока что это всё, скорее всего, не так уж и просто для непричастного пользователя, но по большей части доступно любому, кто шарит или готов потратить кучу времени на то, чтоб найти и разобраться, как это всё запустить и натренировать. Зато, судя по результатам, реально можно творить чудеса, это да.

[Кошка-суперагент]

Darth Ross, ох... Ну, песня-исходник у меня, допустим, найдётся. Мне просто надо вот ровно по такому же принципу: песня одного достаточно известного исполнителя - голосом другого, тоже известного. Проблема в чём - в том, что в той нейросети нет модели голоса того, второго? Или я что-то ещё не улавливаю? В неё надо как-то накидать нужных образцов?
Я тоже плохо разбираюсь в этом. Но так хотелось бы получить представление, а то в голове нужная песня с нужным голосом всё никак не монтируется. Раньше я ещё мечтала о каких-то модуляторах голоса, чтобы вот говоришь или поёшь ты своим, а на выходе получается чужой, вплоть до сходства с чьим-то конкретным голосом. Мне оно надо, чтобы мужских персонажей самостоятельно озвучивать. Так бы и песню тоже попробовала бы. Но я такой модулятор только в одном аниме видела.)) Мечтать не вредно, короче.

[Darth Ross]

Проблема в чём - в том, что в той нейросети нет модели голоса того, второго?

Ну да. В нейросети, как таковой ничего нет по умолчанию, это просто программа заточенная под определённое действие (например подменять голос), которую можно (нужно) обучить тому, как звучит нужный голос, причём желательно на большом массиве голосовых данных. Не знаю, возможно, уже появились сайты, где такое можно проделать онлайн, но я бы не сильно на это рассчитывал (оно потребует довольно много места на диске для обучения модели, если я правильно понимаю, и никто бесплатно такое в интернете делать не станет). Так что нейросеть в данном случае это не сайт в интернете, а программа, которой ещё надо уметь пользоваться. Когда я в последний раз проверял (а было это давно и неправда) всякие нейросетки представляли из себя исходники программ и инструкции к ним о том, как это чудо запустить и использовать. Всё это предполагало, что качающий человек либо сам программист, либо хотя бы умеет правильно нагуглить ту часть из инструкции, что непонятна, потому что даже запустить эту программу (в зависимости от технологии) может быть не так уж и просто. Бывают еще генераторы голоса (читалки) с разными голосами, но опять же под них нужен правильный голос (бесплатные варианты звучат очень так себе), плюс песню таким способом не сделать, плюс сейчас возникают всякие правовые коллизии, связанные с интеллектуальной собственностью на голоса знаменитостей, так что найти готовую модель может быть не так уж и просто по чисто легальным причинам.

[Кошка-суперагент]

Darth Ross, ясно, что там всё сложно. Как обучают нейросеть? Тоже не знаете? Это делают программисты, правильно?
В общем, как я поняла, есть бесплатные генераторы картинок и текстов, а с голосами таких нет?

[Darth Ross]

Как обучают нейросеть? Тоже не знаете? Это делают программисты, правильно?

Полагаю, зависит от нейросети. Это делает пользователь, который умеет это делать - т.е. программист или пользователь, прочитавший инструкцию, и научившийся тренировать конкретную нейросеть. Чисто теоретически обучение состоит в прогоне через нейросеть большого количества обучающего материала и какой-то контроль над тем насколько хорошо модель обучилась и делает именно то, что нужно. Технически понятия не имею.
Вот тут https://github.com/ai-collection/ai-collection/blob/main/README.ru.md#index есть список всяких нейросетей (в основном онлайн сайты) по категориям, есть в том числе всякое про аудио и речь, но, во-первых, надо копаться, а во-вторых, не очень похоже на то, что там есть то, что нужно (я беглым взглядом не нашёл). В любом случае, там куча ссылок на платные сайты, часть из них на английском, короче та ещё задачка.
На самом деле, если знать английский можно поискать нейросети (AI – искусственный интеллект) прямо в гугле. По запросу «voice swap ai» мне сразу выдало кучу всяких сайтов, но опять же, большая часть на английском и небесплатна, а также, кто его знает, насколько они хороши и не подсадят ли на компьютер какую-нибудь вирусню. Ну такое, одним словом. Нужен либо совет от бывалого спеца, либо большая усидчивость и удача в поиске.

[Кошка-суперагент]

Darth Ross, понятно. Ладно, фиг тогда с ними, раз такие сложности. Но за ссылку спасибо - кто знает, когда и что мне пригодится.