@@ВасилийПоветьев, это не смешно, к сожалению. Потому что во многих случаях сети проще запомнить или вывести какую-то странную зависимость, не имеющую к данным никакого отношения.
@@ОлегСотов-ю9с ммм, сеть с узором могла сработать, если узор был нарисован по правилам, а не рандомные кружки как здесь. Например кружки в в столбце идут через 5 пикселей, а на следущем столбце порядок кружков меняется на +1 пикселей по вертикале (идет смещение, но расстояние между ними прежнее). Тогда бы была законмерность, и за место кружков можно было подсунуть ещё что-то. А так сеть просто не поняла, что от неё хотят. Но это мои имхо и то, только в теории, прошу ногами не бить.
Несколько раз открывал и переоткрывал ваш канал (разные эл.почты). Редко заходил на канал, но всегда смотрел много видео. Интересно смотреть и очень затягивает, даже если мало что смыслишь
Есть же способы борьбы с переобучением. Dropout, регуляризация, или следить за контрольной выборкой и если ошибка на ней начинает увеличиваться при продолжающемся уменьшении ошибки по обучающей выборки, то это признак начала переобучения и надо прекращать обучение.
Есть идея для эксперимента. Что-то типа симулятора деградации. Например обучить нейросеть какой-то задаче с помощью правильных ответов, потом создать новую нейросеть и обучить ее используя ответы первой нейросети, таким образом обучать каждую следующую по ответам предыдущей. Интересно, как будет выглядеть график ошибок, насколько долго нужно обучать каждую нейросеть, чтобы деградация вообще не происходила и т.д
Бро у тебя у самого голос как у нейросети)) Классные видосы крафтишь, хотя конечно бывают и не в кассу. Лично мне больше всего понравился про изменение пространственных осей.
К эксперименту с убийством нейронов напрашивается обратный - с их оживлением: скормить полумёртвую сетку другой нейросети, которая по ещё живым нейронам и соседним слоям должна будет восстановить значения мёртвых.
Как всегда интересно и информативно. С возвращением! Надеюсь, дальше будешь выпускать ролики не по 4 месяца) Попробуй разбавить канал более простыми рубриками, если есть свободное время, чтобы он не пустовал во время работы над сложными проектами. И подписчикам хорошо и ютуб рекомендовать видео активнее будет.
В который раз - Молодец. Жирный царский лайк однозначно! Сделай видео, где детально описывается процесс создания нейронов на cpp и обучалки для них. Не всем интересно будет, но кому интересно - еще и полезно. Некое пособие с наглядными примерами.
результат будет очень кривым и всратым, ибо это всё равно, что давать дальтонику срисовать фотографию. Под одним и тем же оттенком чёрного может быть несколько цветов, и в итоге нейросеть будет просто угадывать цвета.
@@Мопс_001 нет, есть нейросети которые превращают разные черно-белые фото/фильмы в цветные и делают это довольно реалистично, они не угадывают каким будет цвет, а различают объекты, и окрашивают их в разные цвета. Посмотри видео по ссылке на таймкоде 2:30 ua-cam.com/video/3eM6hRlqcwE/v-deo.html
Спасибо за труды! Очень интересно. Вспомнил одну из дипломных работ в институте с распознаванием цифр нарисованных «от руки» (правда исходные данные были всего 10х10 пикселей и сложность была не высокой, но на тот момент выглядело впечатляюще)
Попробуйте сделать "обратную" съёмку сдвига во времени движущихся или вращающихся элементов природы. Например Волны океана, модели вращения солнечной системы или наиболее достоверную симуляцию вращения галактики. Т.е. скрученные элементы должны превратиться в стационарные полосы. Может мы найдём в этом что то интересное. К примеру, не исключено, что в результате перемещения планет в солн.сист. или в галактике может наблюдаться неожиданный результат построения каких либо нам известных символов. Согласитесь, планеты движутся не хаотично а по строгим алгоритмам магнитного поля. Это не одно и тоже, если бы человек запустил шарики по кругу. Ещё интересно посмотреть на вращающийся глобус с материками. Как выстроятся материки?
Тоже игрался с нейронной сетью. Сделал, чтобы она запоминала цвета пикселей картины в зависимости от их координат. Фактически получилась функция f(x,y) = Мона Лиза
В самом последнем примере, было бы очень интересно посмотреть, чтобы произошло, если бы вы сдвинули исходный фрагмент вверх или вниз целиком, а не отдельные кружки. Интересно нейросеть бы так же сдвинула весь результат вверх или вниз, или попыталась бы выровнять изображение.
Несколько странное подобие автоэнкодеров Советы: - Регуляризация - Conv слои (все таки dense слои для изображений будут переобучаться, так как предполагают корелляцию всех пикселей со всеми, что, конечно же, не так) - Bottleneck архитектура (дополнительная регуляризация, которая будет заставлять сеть выделять самые важные фичи, а не просто копировать вход на выход) Сейчас, если вы имели бы test set, увидели бы, что текущие варианты не имеют ничего общего с "генеративностью" и будут выдавать результат чуть лучше, чем полный рандом. Все сети просто запоминают train set и воспроизводят его в последствии
Попробуйте сделать нейросеть или генетический алгоритм на принцыпах открытых систем. Гуглить по запросу Open-endedness, т.е. системы открытые незавершенные. Думаю это прямой путь к ИИ
Память нейросети это же круто. Можно использовать в качестве архиватора для сжатия чего либо или шифрования. Оставляешь начальный кусочек, и конфигурацию нейросети, а потом при необходимости нейросеть разворачивает весь весь фрагмент. Начальный кусочек кодовое - слово, конфигурация - ключ.
@YaKefir Терминатор, не смотрели да? Всё время так начинается: какая прелестная программа, ути-пути. А потом - бац!!! Гоп-стоп, эй, человечек, дай закурить... Есть боеголовки? А если найду?!
Обычно для работы с изображениями свёрточные сети используют. Рекуррентные применяются для анализа последовательностей. Если скармливать картинки рекуррентной сети попиксельно, любую более-менее сложную задачу вы не решите, потому что даже человек не воспринимает картинки как последовательность пикселей.
@@ОлегСотов-ю9с на самом деле никто не запрещает делать свертку и после rnn блока, особенно если он отдает развернутую последовательность. В этом даже может быть смысл, если использовать conv1d на этой последовательности. В принципе, отдаленно это будет напоминать self-attention
@@ОлегСотов-ю9с Но конечно же, fcn - универсальный feature extractor и обычно используется для создания embeddings в случаях задач seq2seq и подобных с участием rnn
Честно нихрена не понял - но было интересно. Не понял потому что ютуб выдало это видео. Я думал тема про нейросеть мозга. Но тут про что-то другое. Надо разбираться с начала. Но я рад увидеть такое видео.
Бро, было бы интересно посмотреть создание нейронной сети для торговли на форексе или фондовом рынке. Тут заодно и заработать можно, а не только развлечься:)
Порою, будто Кровосток слушаешь. Великолепно. Есть свой стиль, а главное, очень интересно.
Эта гадина просто запомнила узор XD Прям какой то студент во время сессии :"D
Ор
@@ВасилийПоветьев, это не смешно, к сожалению. Потому что во многих случаях сети проще запомнить или вывести какую-то странную зависимость, не имеющую к данным никакого отношения.
@@ОлегСотов-ю9с Все, как у людей: Птицы низко летят - к дождю.
@@ОлегСотов-ю9с ммм, сеть с узором могла сработать, если узор был нарисован по правилам, а не рандомные кружки как здесь. Например кружки в в столбце идут через 5 пикселей, а на следущем столбце порядок кружков меняется на +1 пикселей по вертикале (идет смещение, но расстояние между ними прежнее). Тогда бы была законмерность, и за место кружков можно было подсунуть ещё что-то. А так сеть просто не поняла, что от неё хотят. Но это мои имхо и то, только в теории, прошу ногами не бить.
@@russovolante не все, а только, кажется, ласточки, так как они охоться за насекомыми, а насекомые чувствуют дождь и лезут на поверхность.
"...и умирает последний нейрон"
На этом моменте я чуть не расплакался
Есть работа художницы одной, там показаны рисунки которые выдавала постепенно "умирающая" нейросеть. Очень интересно.
@@-Cool_Fish- можно ссылочку?
@@thzeroucken вот ua-cam.com/video/fICrE5-fD7c/v-deo.html
Ура! Искренне рад возвращению. Смотрю с больший удовольствием данный канал. Автору выражаю благодарность и всех благ за его труд. Чести и удачи!
Абсолютно солидарен, очень рад возвращению..
Отличная визуализация. Интересные эксперименты. Понятная интерпретация. Спасибо!
Здорово я зашел! Спать откладывается на 14 минут 😊
Ошибаешься, дальше ты заходишь на канал и пропадаешь..))
Я человек простой. Вижу новое видео от foo52ru обязательно ставлю лайк, а потом с удовольствием смотрю.
Огромное спасибо за новый выпуск ваших исследований!
Ура, наконец-то выпуск!
данил?
@@ЕкатеринаВеликая-о6щ Катя?
@@Skreepan лол
@@Skreepan вроде
Этот канал - находка. Продолжайте делать видео
Ну что сказать, очень КРУТО! Очень редкое качество и понятность.
Несколько раз открывал и переоткрывал ваш канал (разные эл.почты). Редко заходил на канал, но всегда смотрел много видео. Интересно смотреть и очень затягивает, даже если мало что смыслишь
Боже, вы живой, как же я безумно рад!
Есть же способы борьбы с переобучением. Dropout, регуляризация, или следить за контрольной выборкой и если ошибка на ней начинает увеличиваться при продолжающемся уменьшении ошибки по обучающей выборки, то это признак начала переобучения и надо прекращать обучение.
Кстати, убийство нейронов это же и есть механизм дропаута. Только убивать надо в процессе обучения.
Есть идея для эксперимента. Что-то типа симулятора деградации. Например обучить нейросеть какой-то задаче с помощью правильных ответов, потом создать новую нейросеть и обучить ее используя ответы первой нейросети, таким образом обучать каждую следующую по ответам предыдущей. Интересно, как будет выглядеть график ошибок, насколько долго нужно обучать каждую нейросеть, чтобы деградация вообще не происходила и т.д
Помимо крутости содержания очень нравится атмосфера на канале) Какое-то ощущение ретро-гиковости)
Давно не было. С возвращением!
Как всегда - шикарно. Спасибо автору.
Обожаю канал, и тема нейросетей меня давно будоражит! :)
вот, кто заслуживает место в трендах ютуба!!!!
Это реально офигенно и завораживающе. Ты красавчик. Респект тебе.
Посмотрел ваши видео и кажется выбрал профессию.
Посмотрел видео на одном дыхании! Спасибо за то, что вдохновляете людей.
Спасибо за видос, делай чаще очень интересно, а то приходится пересматривать старые видосы и ждать)
Невероятно! БРАВО! Очень интересно и познавательно.
Люто про кружочки мне понравилось!
Бро у тебя у самого голос как у нейросети))
Классные видосы крафтишь, хотя конечно бывают и не в кассу.
Лично мне больше всего понравился про изменение пространственных осей.
6:25 переживал за нейроны больше чем за себя..
не пропадайте блогеры
вы зрителям еще нужны
"и эта г*@ина просто запомнила рисунок" by Техношаман. 😭😂😭😂😭😂😭😂👍👍👍👍👍
Спасибо за познавательное видео. Здоровья, творческих идей, с нетерпением ждём ещё )
Только ради Вас стал пользоваться Дзеном!
1к лайков и 0 дизлайков, первый раз такое вижу. Можете гордиться такой аудиторией.
Особенно интересен эксперимент с узором, жду продолжения
К эксперименту с убийством нейронов напрашивается обратный - с их оживлением: скормить полумёртвую сетку другой нейросети, которая по ещё живым нейронам и соседним слоям должна будет восстановить значения мёртвых.
Отлично и очень интересно! С нетерпением жду новых выпусков.
Лучшие видео на ютубе у вас!
Как всегда интересно и информативно. С возвращением! Надеюсь, дальше будешь выпускать ролики не по 4 месяца) Попробуй разбавить канал более простыми рубриками, если есть свободное время, чтобы он не пустовал во время работы над сложными проектами. И подписчикам хорошо и ютуб рекомендовать видео активнее будет.
В который раз - Молодец. Жирный царский лайк однозначно! Сделай видео, где детально описывается процесс создания нейронов на cpp и обучалки для них. Не всем интересно будет, но кому интересно - еще и полезно. Некое пособие с наглядными примерами.
Вы живы! Ура!
Класс! Супер контент! АлексГайвером и Игорем Белецким вы захватите мир!)))
Господи, рад, что вы живы)
Наш лучший друг вернулся и будет показывать нам как нужно делать
Нужен человек который хорошо разбирается в нйросетях для крупного проекта с высоким коммерческим потенциалом
Привет, попробуй инвертировать процесс преобразования изображение в чёрное белое. То есть наоборот из ЧБ в цветное. Интересно посмотреть на результат
результат будет очень кривым и всратым, ибо это всё равно, что давать дальтонику срисовать фотографию. Под одним и тем же оттенком чёрного может быть несколько цветов, и в итоге нейросеть будет просто угадывать цвета.
@@Мопс_001 нет, есть нейросети которые превращают разные черно-белые фото/фильмы в цветные и делают это довольно реалистично, они не угадывают каким будет цвет, а различают объекты, и окрашивают их в разные цвета. Посмотри видео по ссылке на таймкоде 2:30
ua-cam.com/video/3eM6hRlqcwE/v-deo.html
Nik Rub там сеть на порядки сложнее. Классификация + раскрашивание + ?. Даниил говорил про текущую сеть.
Ураааа новая серия по ИИ. Моя любимая тема. Я уж думал что ты забил на это.
Вы неплохо обращаетесь с нейронной сетью, продолжайте в том же духе
Спасибо за труды! Очень интересно. Вспомнил одну из дипломных работ в институте с распознаванием цифр нарисованных «от руки» (правда исходные данные были всего 10х10 пикселей и сложность была не высокой, но на тот момент выглядело впечатляюще)
Ураа новый видос))
давно тебя не было, но я хитрый, нажал колокольчик заранее)
твоя нейросеть очень хорошо обучена)
Всегда жду твои эксперименты
С возвращением! Ждал с нетерпением!
Чувак ты вернулся, респект тебе!! Заслуженный лойсик!
Спасибо! Не забрасывай канал, у тебя очень интересные видео.
Пол года не было! Молодец)
Попробуйте сделать "обратную" съёмку сдвига во времени движущихся или вращающихся элементов природы. Например Волны океана, модели вращения солнечной системы или наиболее достоверную симуляцию вращения галактики. Т.е. скрученные элементы должны превратиться в стационарные полосы. Может мы найдём в этом что то интересное.
К примеру, не исключено, что в результате перемещения планет в солн.сист. или в галактике может наблюдаться неожиданный результат построения каких либо нам известных символов. Согласитесь, планеты движутся не хаотично а по строгим алгоритмам магнитного поля. Это не одно и тоже, если бы человек запустил шарики по кругу.
Ещё интересно посмотреть на вращающийся глобус с материками. Как выстроятся материки?
на яндекс я конечно не пойду , но видео интересное ))) спасибо )) ух нейросеть, зубрилка !
Да! Пора самому уже уметь, а не ходить по Яндексам
Тоже игрался с нейронной сетью. Сделал, чтобы она запоминала цвета пикселей картины в зависимости от их координат. Фактически получилась функция f(x,y) = Мона Лиза
Thanks for that video
Классные ролики! Продолжай и не уходи так надолго.
Михаил Львович как всегда на высоте.
Очень интересно смотреть твои видео
Больше нейросетей и генетических алгоритмов. Жду нейросеть с комплексными весами связей и реккурентную сеточку.
В самом последнем примере, было бы очень интересно посмотреть, чтобы произошло, если бы вы сдвинули исходный фрагмент вверх или вниз целиком, а не отдельные кружки. Интересно нейросеть бы так же сдвинула весь результат вверх или вниз, или попыталась бы выровнять изображение.
Он не узнала бы первый фрагмент
УРА, ТЫ ЖИВ!
Несколько странное подобие автоэнкодеров
Советы:
- Регуляризация
- Conv слои (все таки dense слои для изображений будут переобучаться, так как предполагают корелляцию всех пикселей со всеми, что, конечно же, не так)
- Bottleneck архитектура (дополнительная регуляризация, которая будет заставлять сеть выделять самые важные фичи, а не просто копировать вход на выход)
Сейчас, если вы имели бы test set, увидели бы, что текущие варианты не имеют ничего общего с "генеративностью" и будут выдавать результат чуть лучше, чем полный рандом. Все сети просто запоминают train set и воспроизводят его в последствии
С возвращением. Вас заждались :)
Оба на, как интересно!
ЕЩЁ! про нейросети, т.к. это интересно и хочется понять их на примере таких видео, да и вопросов много...
Попробуйте сделать нейросеть или генетический алгоритм на принцыпах открытых систем. Гуглить по запросу Open-endedness, т.е. системы открытые незавершенные. Думаю это прямой путь к ИИ
С возвращением!
Ты жив) Давай так не пугай нас
Спасибо за новое видео! Только в слове "пиксель" ударение на первый слог.
Довольно занятная вещь в рекомендациях. Лайк и подписка)
Ну когда же новые выпуски?!?! Так классно делаете и так редко(((
После слова - "Гадина". Ролик приобрёл новый смысл)))
Просто, БРАВО!
Классная тема для обзора. Автор как всегда на высоте.
Не понял только исходя из чего определяете размеры и кол-во скрытых слоев.
Спасибо тебе. Очень увлекательно.
Память нейросети это же круто.
Можно использовать в качестве архиватора для сжатия чего либо или шифрования.
Оставляешь начальный кусочек, и конфигурацию нейросети, а потом при необходимости нейросеть разворачивает весь весь фрагмент.
Начальный кусочек кодовое - слово, конфигурация - ключ.
Супер! Интереснее чем игровые стримы!))) Продолжай! Буду ждать)
Это афигенно круто!!!! Продолжайте в том же духе! (А вы на каком языке пишите?)))
Них.. не понятно но очень интересно. Это поражает!
Про танчики классная идея, а можно чтобы попавший получал нейрон и дообучался?
Я пробовал на частично обученную сеть добавлять нейрон - никак не влияет. Сеть как будто не видит его и продолжает в своём темпе.
@Поэт Лучник, возможно, сеть придётся переучивать после добавления этого нейрона.
@Поэт Лучник Если будешь реализовывать, пожалуйста, сними видео и оставь здесь ссылку!
@Поэт Лучник Подписался и поставил колокольчик! Очень жду самообучающихся танчиков. Не подведи )
Это Волшебник!!!!
Когда машины захватят этот мир, они оставят тебя в живых )
Новая Марка «Батя»
@YaKefir Терминатор, не смотрели да? Всё время так начинается: какая прелестная программа, ути-пути.
А потом - бац!!! Гоп-стоп, эй, человечек, дай закурить... Есть боеголовки? А если найду?!
Чтобы избежать эффекта переобучения, может, попробовать упростить архитектуру сети? Уменьшить количество скрытых нейронов
Смотрел, как хороший триллер)
Для обработки изображений используют рекуррентные нейросети, последовательно кидаются пиксели и сетка на основе истории выдает результат.
Обычно для работы с изображениями свёрточные сети используют. Рекуррентные применяются для анализа последовательностей.
Если скармливать картинки рекуррентной сети попиксельно, любую более-менее сложную задачу вы не решите, потому что даже человек не воспринимает картинки как последовательность пикселей.
@@ОлегСотов-ю9с никто не мешает использовать rnn + conv :)
да и от rnn понемногу отходят в сторону attention based подходов
@@sergeyvakhreev8839, главное свёртку сделать перед RNN! :-)
@@ОлегСотов-ю9с на самом деле никто не запрещает делать свертку и после rnn блока, особенно если он отдает развернутую последовательность. В этом даже может быть смысл, если использовать conv1d на этой последовательности. В принципе, отдаленно это будет напоминать self-attention
@@ОлегСотов-ю9с Но конечно же, fcn - универсальный feature extractor и обычно используется для создания embeddings в случаях задач seq2seq и подобных с участием rnn
foo52ru, какую книгу вы прочитали, очень интересно, если отпишите, буду очень благодарен
Лайк не глядя, музыка класс подача +))
Еще, експеременты, обучающие уроки, книгу в студию.
Очень жду подробного разбора NEAT algorithm
Автор вы мега мозг! Скайнет не за горами)
Честно нихрена не понял - но было интересно.
Не понял потому что ютуб выдало это видео. Я думал тема про нейросеть мозга. Но тут про что-то другое. Надо разбираться с начала. Но я рад увидеть такое видео.
Рад видеть тебя, спасибо за видео 😊
Милорд нужно больше золота! Точнее больше выпусков.
Бро, было бы интересно посмотреть создание нейронной сети для торговли на форексе или фондовом рынке. Тут заодно и заработать можно, а не только развлечься:)
Ooo живой!!!)
Таким образом можно сжимать изображение до нескольких чисел (коэффициентов нейронов)
9:26 нейросеть выдала хоть и не тот результат, но он в РАЗЫ лучше. Реально атмосферно вышло.
+AionXIV Просто цвета побледнеел и всё)))