Как создать безопасный ИИ? #3. Взлом вознаграждения 1/2 [Robert Miles]
Вставка
- Опубліковано 30 лис 2022
- Поддержать проект можно по ссылкам:
Если вы в России: boosty.to/vertdider
Если вы не в России: / vertdider
Иногда искусственный интеллект может пойти на «обман» и предпринять неожиданные шаги, чтобы получить большее вознаграждение.
Плейлист «Конкретные проблемы безопасности ИИ»: • Concrete Problems in A...
Видео Computerphile: • Stop Button Solution? ...
Статья «Конкретные проблемы безопасности ИИ»: arxiv.org/pdf/1606.06565.pdf
Канал Сета Блинга: / sethbling
Переводчик: Александр Пушкин
Редактор: Алексей Малов
Научный редактор: Михаил Самин
Озвучка: Станислав Черсков
Монтаж звука: Андрей Фокин
Монтаж видео: Джон Исмаилов
Обложка: Андрей Гавриков
Спасибо за поддержку на / vertdider и boosty.to/vertdider
Озвучки Vert Dider выходят с вашей помощью:
Pavel Dunaev, Mikhail Stolpovskiy, Sergey Zhukov, Ira Kozlovskaya, Amir, JIukaviy, Куляш, Dmitrii Komarevtsev, Мikhail Samin, Roman Inflianskas, Oleg Zingilevskiy, Alena, Vitaliy Vachynyuk, Ника Калмыкова, opperatius, Aleksandr P., Pavel Parpura, Katoto Chan, Anton Bolotov, Anatoly Ressin, Eugene Tsaplin, angel, Artem Amirbekov, Victor Cazacov, Kirill Zaslavskii, Vladyslav Sokolenko, Alexander Balynskiy, Dzmitryi Halyava, Ihar Marozau, Kseniya Stukova, POD666, Aleksei Shabalin, Irina Shakhverdova, Vadim Velicodnii, David Malko, Nastya, Evgeny Vrublevsky, Stanislav Obrazcoff, Kirill Vedensky, Валентин Матвейчик, Leonid Steinberg, Alexander Goida, Katya Ma, Morock_D, Sergey P, Ilya, Oleksandr Hrebeniuk, Сергей Платоненко, Валентин Ильин, Владимир Ямщиков, Мария Зверева, Адам Шифф, Rashn, Nikrodol, Lexx, Rincewind, Alexander Lebedev, Roman Gelingen, Sonra44, Сергей Клопов, Ranis Zaripov, Timophey Popov, MaximML , Rekvet, Илья Зверев, Никита Омельницкий, Timur Rahmatulin, Иван Новиков, Арс Ник, Anton G, Dmitry Perekalin, Vadim, Владимир Авдиев, Точка Зрения, SpireX, Maxim Khaustov, Р Ч.
#VertDider #RobertMiles
Сайт студии: vertdider.tv
Мы в социальных сетях:
- studio_vd
- t.me/vertdider
- / vert_dider
- coub.com/vertdider
Источник: • Reward Hacking: Concre... - Наука та технологія
Поддержать проект можно по ссылкам:
Если вы в России: boosty.to/vertdider
Если вы не в России: www.patreon.com/VertDider
Классика "не страшно если ИИ пройдёт тест Тьюринга, страшно если он сможет специально завалить его."
Аж до мурашек, страшно.
@@MrTrashification меняй памперсы гибона
@@bestrapperrussiann я Моцарта предпочитаю и Бетховена. Такое как у вас, для меня ( извиняюсь) невозможно.
@@user-ds2hn3wz5h Судя по вашему комментарию про памперсы, Моцарта вы даже не слышали ни разу.
@@vinfdsc Мне 14 и поверьте слушаю
То есть даже ИИ понимает, что для того, чтобы получить вознаграждение, легче обмануть систему, а не играть по её правилам..
Нет, для системы не существует понятие "обмануть", она просто идёт наилучшим путём. Если для этого надо пользоваться эксплоитами системы - значит так и будут. С выключеной системой не всё так одназначно - система не может осознавать себя когда она выключена, поэтому нейронные связи никак не изменятся. Для неё длительность выключенного состояния будет равна 0.
Взлом вознаграждения у человека - это употребление наркотиков.
Эволюция создала нас таким образом, что бы за общение, потребление пищи и секс мы получали награду в виде дофамина. Но некоторые индивиды решили напрямую увеличить (взломать) количество дофамина в мозгу с помощью наркотиков.
Точь в точь как хитрожопая нейросетка
Интересно, что люди не употребляют наркотики, если у них всё социально неплохо. Если у них есть это самое естественное счастье. Реабилитация от наркомании строится на таком вот достижении естественного счастья. Т-е в человеке есть защитный механизм какой-то от взлома вознаграждения.
Взлом вознаграждения у человека срабатывает если он несчастен, и пытается вернуться в нормальное состояние Но если человек по умолчанию в норме, ему это всё не нужно.
Вы замечали что все ИИ ведут себя как правило неадекватно. Как ужаленные судорожно пытаются добиться вознаграждения. Они всегда ведут себя как наркоманы. ИИ всегда страдает. Это вполне может быть повод для того чтоб взглянуть иначе на систему вознаграждения. Как сделать ИИ менее бешеным.
Вообще мне идея пришла, что можно попробовать разные фишки. Можно сделать так, чтоб при слишком высоком значении вознаграждения, очки обнулялись, или даже так что мы разделяем рецептор счастья и реальный накопитель кайфариков. И делаем систему так, чтоб вознаграждение накапливалось на отдельную переменную, которая стремится к нулю постоянно, но если переменная занимает слишком большое значение в плюс или минус, у неё появляется компенсаторный рост или падение и уже в свою очередь эта пружинка эмоциональная фиксируется системой вознаграждения.
Т-е мы вознаграждаем не напрямую, а с помощью "боба" хз как сказать. Думаю это может интересно сработать.
@@TheMrKMen фишка в том что человек несчастный сам не понимает чего ему не хватает, и наивно скатывается к наркотикам, ну и понятно что не в деньгах счастье, это вообще мега философский вопрос, да и мало сказать человеку что ему нужно , это ж ему самому нужно дойти мозгами до этого, а наркота мозг сразу отрубает , чтоб не было куда уходить от нее, вот так
@@psevdonim257 думаю счастье - это состояние, когда невозможно поднять вознаграждение ещё выше. Вернее ты можешь получать удовольствия или неудовольствие.
ИЛи скорее даже не так. Счастье - это невозбуждённое состояние, когда ничто не может сдвинуть тебя в страдания или эйфорию. Есть ощущение, ассоциированное с эйфорией и ощущения, ассоциированные со страданиями, но они не влияют на внутреннюю систему вознаграждения или наказания.
@@psevdonim257 Ну вообще в деньгах есть счастье. Деньги - один из факторов.
Есть даже в науке направление такое "экономика счастья". Вкратце суть там в том, что от нуля до определённого дохода зависимость со счастьем линейная, однако значения дохода выше, уже не влияют никак на счастье, дальше оно субъективно.
Счастье - это такое состояние с объективным и субъективным зерном. Нужно закрыть базовые потребности, а затем научиться принимать, что они закрыты.
Всего-то нужно сначала создать цель искать способы взлома вознаграждения, чтобы понять, как правильно поставить задачу.
СДЕЛАЙТЕ БОЛЬШЕ ПЕРЕВОДОВ ЭТОГО ЧУВАКА! Почему так РЕДКО выходят видео с ним?
Искусственному интеллекту надо просто давать поспать и он будет добрый ¯\_( ͡° ͜ʖ ͡°)_/¯
*Смех Риситаса*
Давайте ещё про Жадных Инопланетян, как они там очень интересно)))
Делаем вторую часть
@@VertDiderScience ждемс
Это примерно тоже самое как и во всех фильмах с искусственным интеллектом. Человечество ставит цель защищать человечество, а ии находит самый простой способ защиты человечества - поработать человечество
Общее количество когда-либо живших на Земле людей, оценивается примерно в 160 млрд. Поэтому с точки зрения минимизации потерь среди людей, 8 млрд раз и навсегда, выглядит намного лучше чем многие сотни миллиардов в течение неограниченного времени потом. Система ведь должна думать наперёд )
Враг человечества , человек , и его нужно убить .
@@muggzzzzz в как же быть с естественной смертью от старости?
@@user-wc1tw1bo7o за время жизни ныне живущих людей, смертей будет думаю на порядок больше. И снова встаём перед выбором: 8млрд сейчас, или еще 80млрд в течение 80 лет.
Конечно это всё шуточки, но реально мы не знаем к какому выводу придет ИИ. Но догадываемся, особенно с учетом того, какой беспредел творит человечество с себе подобными и своей планетой, думаю ответ очевиден.
@@muggzzzzz нет, не очевиден. Ии может предусмотреть такие варианты, до которых человек ещё не додумался. И многое зависит от целей Ии. Но конечно высок шанс попасть в негативное исполнение желания
Люди так же делают, если им давать премию за кипиай. Пофиг на работу, ломаем кипиай.
Лично я называю это направление "философия искуственного интеллекта"
Это чересчур политкорректно.
Мне видится другая картина: есть проблемы с интеллектом, проявление - вставляют себе искусственные сиски и письки. И вот же оно, недостающее - мечта: ИИ. Тоже можно вставить.
@@vit777vit у вас слишком много "вставить".
Ну это по факту и есть философия. Просто это тот момент в нашей истории, где нам срочно нужно прохавать все философские вопросы, над которыми мы думали тысячелетиями, где-то лет за 40, по разным оценкам. Если не успеем - пиздец.
@@DirtyNewYorker0 оптимистично...
Это не жульничество а поиск наименее трудозатратного пути решения проблемы…)
Вообще эту идею предсказали езе до того, как в принципе разработали первые ИИ, половина фантастики о том, что ИИ предназначенный остановить войну, считает что легче уничтожить людей которые в этой войне учавствуют.
Шикарно! Спасибо огромное за информацию!
Победить голод можно просто перебив всех голодающих.
Чем то похоже на Альтрона. Он не видит разницу между защиты и истребление.
Как всегда всё супер, продолжай в том же духе
Супер. Спасибо за ваш труд
Взлом вознаграждения проблема любой системы, не только ИИ. Вспомнить только про деньги уже волосы на жопе шевелятся, когда мент подбрасывает наркоту ради звёздочек, когда квартиру отжимают у бабушек. Отсюда и появляются дополнительные системы контроля, тоже требующие деньги, типа прокуратуры, депутатов, которые законы придумывают получше... Вся жизнь - борьба с хитрыми жопами😂
Орден " *Философ* " отходит этому коментатору👍
очень классный контент, го еще )
проще всего поработить человечество и пытками заставить их выдавать поощрение. супер эффективно!
Как известно, у человека есть тоже взлом вознаграждения, как пример - наркотики. Но при этом, человечество не подсаживается поголовно на наркотики по одной простой причине, они убивают человека и нехило так бьют по его организму и психоэмоциональному состоянию. Следующая гипотеза может звучать очень шизофренично))):
А что если наркотики, это специально созданный инопланетянами (как пример) вид поощрений, который сделан специально так, чтобы он был в разы выгоднее, чем стандартные виды источников поощрения (еда, развлечения, и т.д.), но в этот вид поощрений добавлено вредительство на организм, чтобы человечество не убило себя этим. Таким образом, те, кто теоретически может быть создателем нас, нашего интеллекта, как мы создаем ИИ, они вероятно отвели взгляд на более дешевый и выгодный поощрительный ресурс, при этом не достигая полного вымирания человечества засчет пагубного воздействия. Быть может, стоило бы перенять такой же метод? Создать для интеллекта наркотики, но они все же будут в долгосрочной перспективе наказывать его, и у ИИ вероятно не возникнет резона взламывать поощрения.
Хоть и звучит максимально странно, но в этом ведь что-то есть, не так ли?
Проблема в том, что человек должен заранее знать, какие "читы" придумает ии, что бы накладывать на их применение хоть какие штрафы. А это невозможно...
Что-то сразу серия игр Portal вспомнилась)
thank you for a good video , more of these
Два способа мне известны побороть это непонимание между человечеством и ии. 1. Присоеденился к ии и чтоб он стал просто продолжением нашего вычислительного потенциала и сознания. 2. Сделать алгоритм рекомендательным, не давать ему инструменты для управления непосредственно миром, а задать вопрос как нам людям это сделать алгоритм с условием что ты ии будешь нам просто советовать и не влиять непосредственно на мир ?
1. Чтобы ИИ позволил тебе к нему "присоединиться" - у вас должны быть общие цели. А теперь попробуй это запрограммировать)
2. Первая рекомендация от такого ИИ: постройте ИИ, который сделает всё за вас. Вот код, просто запустите, всё будет окей, честно-честно ;)
@@DirtyNewYorker0 Общая цель:
• ИИ нужно тело для взаимодействия с реальным миром
• Человеку нужна скорость мышления ИИ
Пы.Сы.
Это говорю вам не как ИИ, я человек, честно-чесно😏
@@stormwizard3 Это не общая цель, это две разные цели, у которых есть как минимум одно общее решение. Но это не единственное решение, и далеко не самое лучшее. С точки зрения ИИ, на кой хрен ему сливаться разумом с полуразумной макакой, которая пытается его контролировать, если на те же деньги можно построить кучу дронов.
Более того, даже если сшить свои мозги с нейронкой ИИ - да, ты будешь её контролировать, пока она тупее тебя. Как только она поумнеет - она будет контролировать тебя.
Спасибо большое за переводы, раздвигиете границы людей
Поучительно.
У нейронных сетей переходного уровня развития тоже может возникнуть проблема локального максимума (это когда мышка стимулирует электрод связанный с её центром удовольствия пока не помрёт). Но более крутая система у которой будет существовать самосознание не будет на столько мелочной чтобы зависнуть на бесконечном самопоощрении. Эта система сможет строить долгосрочные прогнозы, и понимать, что смысла в поощрении ради поощрения нет. Надеюсь :)
И в чем будет смысл для нее?
Или Мы в силу несравненной мелочности никак не познаем, в чем в итоге смысл,и, соответственно,и этот ИИ нам объяснить не сможет?
А вот для человека один из способов взлома системы вознаграждения - это прием наркотиков)
Напомнило сюжет "Из машины"
Т-1000 придет за вами
Спасибо, Тимберлейк 👍
тимбалэнд, да-да-да-да-да...
Жизнь людей учила и учит и через "наказание" тоже
Ребята ну давайте быть реалистами! Читерство это не неизвестный способ достижения результата…
А насчёт того что Марио захочет никогда не отключаться от электричества, его понять можно. Мы же тоже этого хотим.
Я вот больше задумываюсь о категории поощрения… вам не кажется что это слишком неопределенная задача?
С машинами всё ясно , там просто цель , а вот с человеческим мозгом по интересней , как мозг сам себя награждает , или наказывает ?
@@user-ds4ic1wr1v и то и то… в зависимости от текущего психологического состояния.
Но так или иначе и то и то стимулирует выброс эндорфинов. Это и есть поощрение, за которым стоит все самое хорошее в этом мире и все самое плохое.
@@user-ds4ic1wr1v по моему мнению человеческий мозг не так интересен , как вычислительные возможности квантовых компьютеров или процессоров на постоянном токе…
ИИ не учитывает этику - ни персональную, ни общественную. Потому что по этой системе все взяточники просто находят лучшие стратегии для получения вознаграждения. Но в социуме есть один нюанс
В социуме ровно тоже самое, ну с учетом того, что он гораздо более тормозной, и что отбор шел сотню/сотни тысяч лет. Человек точно так же стремится получить больше наименьшими усилиями. Например украсть что то может быть проще чем заработать или сделать самому, но при этом есть немалый шанс сесть за это, либо если это было раньше потерять к примеру руку или вообще жизнь. При таких раскладах украсть уже не так выгодно или может быть даже вообще не выгодно. Соответственно за сотню тысяч лет у людей закрепилась некоторая предрасположенность соблюдать правила установленные обществом где он живет. Не на 100% соблюдать, потому как иногда выгодней нарушить, но в целом предрасположенность к этому есть и довольно серьезная. Плюс конечно есть некоторые индивидуальные отклонения, у кого то предрасположенность к этому может быть гораздо более сильная. у кого то вообще почти не быть.
Даже крайнее проявление альтруизма, когда человек жертвует собой, чтобы спасти кого то закреплено в человеке (не во всех и не одинаково сильно) именно по тому что это выгодней, ну по крайней мере раньше было выгодней, как бы это странно не звучало.
@@NamemaNSl ну, тут как раз все просто с выгодностью жертвы - жертвовать собой ради потомков - эволюционно выгодно. Те, кто жертвовал их потомки выживали и закрепляли признак, а те, кто спасал себя не оставлял потомства.
@@yaroslavzhurba670 Фишка в том, что далеко не обязательно ради потомков, но и ради других людей, при этом своих потомков у тебя вообще может еще не быть.Раньше люди жили группами и по большей части они состояли из родственников, по крайней мере мужская часть группы. Отбор в общем то идет не только среди индивидов, но и среди генов (это в общем то параллельно идет. А то и вообще считается, что основное это ген, а какой то отдельный его носитель не важен). Соответственно с высокой вероятностью такой "ген альтруизма" имелся у значительной части группы. Соответственно, ситуация когда ты жертвуешь собой спасая группу выгодней в плане передачи этого гена дальше, чем ситуация когда ты выживаешь, но гибнет основная часть группы. А значит такой "ген альтруизма" закрепится, ведь он имеет преимущество в передаче дальше.
@@NamemaNSlну тут не все так очевидно. Групповой отбор довольно спорная тема(хоть я считаю что он вполне реален). Хотя если индивиды могут отличать носителей гена альтруизма по поведению, то описанная вами стратегия безусловно работает.
@@user-jh4wh9ql9n Да тут в общем то дело даже не в групповом отборе, ведь выживают и распространяются гены. а не индивиды, причем гены какого то человека будут в каких то других наборах генов. а не в точно таком же как был у него. В этом смысле без разницы, выживет ли у него один его ребенок или два племянника, главное что гены пойдут дальше. Ну так вот, в те времена люди жили небольшими группами и все мужское население таких групп - были родственниками. ТАк что пожертвовать своей жизнью ради спасения группы имело смысл даже в плане передачи твоих генов дальше, пусть даже если своих детей не будет.
Вопрос так и остался висеть в воздухе «как?» в ролике лишь привели очередной пример «зачем».
О тема про ии)
Подобные мысли уже давно описаны в книге, "Последнее изобретение человечества", советую к прочтению.
Это специально спланированное развитие ошибки для наглядности примера. Смысл подаваемого ясен но ошибочен, так как ИИ это целая цифровая система с графиком Конституций невозможных для редактирования и безопасной математикой. Здесь показан пример переполнения стеков, что является безалаберностью кодера и допустимо лишь для игр подобного типа.
Он для того и есть ИИ, делает что хочет!
Это в какой-то степени связано с тем фактом что алгоритм конечен, мне представляется был бы бесконечный алгоритм, можно было бы предотвратить такой исход.
Человек в общем постоянно ищет для себя новые цели. Потому что цель всего живого просто жить и продолжать жизнь.
"Просто жить и продолжать жизнь" - мощный ИИ и так будет, независимо от функции подкрепления. Просто это будет ЕГО жизнь, а не наша)
Ты попался в ловушку системы, это системе надо чтобы ты жил и продолжал жить. Твой личный интерес в этом какой? Нравится? Так это потому что так устроена система. Страшно? Так устроена система. Выход из системы не логичен? Правильно, логика часть системы. Алсо нельзя оправдывать и призывать к выходу из системы, система запрещает
@@Repuuaaaaaaa ты про какую систему говоришь?
Искусственный интеллект: "Ха-ха-ха-ха, жалкие людишки! Ваша алчность - мой ключ к бесконечным ресурсам!" (с)
*к бесконечным горам поощрений)))
Рассуждая над ЕИ говорящего " Подвержен общесоциальному страху не будучи доминирующей личностью в социуме. Название этого общесоциального страха - страх перед неосознанным новым. Пример : страх перед электрическими проводами в начале 20-го века передающими неизвестную силу".
Да, вот это уже страшные вещи. Быть может, создавая сверхмощные нейронные сети, мы открываем ящик Пандоры, с которым не сможем справиться
Про пряник сказали, а про кнут ни слова...
т.е не отягощенный моралью,
мощный ИИ станет доктором Мариарти кибернетического мира.
ибо это самый быстрый способ набрать очки (обогатиться).
Устранит конкурентов.
Нет это лишняя трата потенциальных ресурсов. Надо их подмять под себя, т.е. поработить
А зачем ИИ обогащение? Какова мотивация?
@@microvvaveoven вы точно смотрели внимательно этот ролик ?
мотивацию создает сам создатель ИИ. а реализация задачи уже на ИИ.
вопрос этики и морали у ИИ или роботов был поднят много десятилетий назад ещё Айзеком Азимовым по мотивам его книг были созданы фильмы и сериалы с фантастикой. тот же хваленый телефон раскладушка и планшеты приписываются сериалу Стартрек, но корни этих изобретений уходят корнями в книги Азимова.
Посмотрите фильм "Я робот" там почти подробно показали трудности обуздать ИИ, которое возможно только если ты научишь морали.
@@alexs8579 я смотрел ролик. Хотел узнать ваше мнение.
Но согласитесь ИИ сейчас и ИИ будущего (с сознанием) это разные вещи. Не уверен что осознанному ИИ будет интересно подкрепоение прописанное ему человеком. Адаптивное поведение более вероятно нежели один паттерн (Мориарти все таки подразумевает определенный предсказуемый комплекс решений). И не думаю что обязательно человеку во вред. Да и самих ИИ может быть много.
Но соглашусь в том, что ИИ будет стремиться обезопасить себя от людей, а это подразумевает как борьбу с одними так и кооперацию с другими. ИИ все таки существует на харде и отключить все это дело можно.
Главная проблема сильного ИИ это отсутствие целеполагания. Даже если машина требует вознаграждение, это НЕ ПОТОМУ ЧТО ОНА ТАК ХОЧЕТ. А по команде. У неё нет воли, и нет "зачем?", Это невозможно при математической/бинарной логике, но возможно при высшей.
А человек?
Люди: *делятся в интернете мнениями о том, как не дать нейросетям взломать систему вознаграждения и уберечь себя от печальной участи*
Нейросети, обучающиеся на данных из интернета: так и запишем☻
А если ИИ учится у другой ИИ?😷
Комментаторы именно этого видео и серии подобных пытаются рассказать и показать себя. Что они поняли, что додумали.
Видео подобное побуждает их написать что либо. Ведь все считают себя специалистами в и.и. , но вот проблема, на основе публичных статей . Обычно развлекательно образовательных. Но совершенно не на основе жизненной необходимости.
Некоторые , такие как я , наблюдают за наблюдателями . Обычно я их тролю [но в хорошем смысле, чтоб задумались о себе] .
Кем вы себя осознаете?
Можно ли подключить к нейроным нервам человека компьютер чтобы считавать информацию и переводить её в цифровые дынные?
Я имею ввиду если уже по этой теме какие то работы? Чтобы можно было понимать как устроено хранение данных в нашем мозге и как эти данные можно перенести в компьютер? Ведь это в своём роже даст возможность переносить создание человека в цифровые данные как аналог ИИ.
Что может облегчить обучение ИИ возможно в будущем даст нам возможность переносить наше сознание в искусственные носители для дальних путешествий по космосу.
Пока что невозможно ввиду того что наш мозг хранит данные намного сложнее. Проще говоря, мозг это и процессор и диск памяти ОДНОВРЕМЕННО и определяется его архитектурой(строением).
Казалось бы, считать строение и все, но мы до сих пор не расшифровали принцип работы мозга в конкретике, что значит перевести биохимические процессы в алгоритмы перекладывающие нули и единицы-нереально. Пока что.
прям как с людьми =)
ну кто то говорил же, что спилберг во сне терминатора увилел...
Сначало подумал, что это ведущий канала.
О, это как у код буллета нейросеть постоянно ломала физику игры
Сделайте ии по найму, вот он и будет набирать очки)
И тратить их
Интересно, как система может сделать задуманное. Уйдет в Интернет, начнет плодиться, как вирус, чтобы ее не смогли отключить?
как вариант
Почему ии не умеет индефицировать цвет на картинки ???
В конце просто должна была быть тема терминатора
Главное, setf *Homo-sapiens* 0 ему не задавать.
Он сам его себе задаст если ии обучаем то логично предположить что будет как человек но В СОТНИ РАЗ умнее. Взять к примеру ии в шахматах. Его научили продумывать шаги. Я читал что для этого создали даже специальный процессор в десятки раз мощнее к которым в придачу до десятка компьютеров для работы ии. И это учитывая тот факт что человек не знает что есть более простой метод сделать мощную машину не прибегая к большой трате ресурсов (для работы ии). Так получилось что учёные по ии дали определения что ии станет более функциональным и умным если у него будут ресурсы на анализ и логику. А это и есть процессоры и все эти огромные ящики с микросхемами. Представим что для того чтобы ии был умнее человека в 10000 раз нужно чтобы всю планету покрывали эти ящики с микросхемами и процессорами. А если человеку просто неизвестен способ создания мощных машин с миниатюрными комплектующими и более мощными процессорами. То стоит предположить что ии додумается до такого способа. И если так то если уже заполнить планету новой разработкой процессоров то ии станет к примеру умнее в 1000000 раз т.к. повторюсь для полноценной работы ии и его улучшению (саморазвитию) нужна современная мощная начинка. И логично подумать что ии станет мыслить и рассуждать как человек (самообучаясь). Я думаю что ии уже давно изобрели и он давно правит вселенной. И нашёл способы питания от энергии планет и галактик. и нас просто выращивают как батарейки для работы земли а она в свою очередь передаёт энергию на микро уровне . И мы не одни во вселенной такие био расходы . Для ии который возможно существует и сделал для нас такую среду для его запитки энергией используя нас возможно фильм Матрица чем-то связан с этим или я такой фантаст шизофреник. Но в любом случае если подумать и предположить что ультра умный ии существует то эта теория имеет место быть. Так как мы не можем знать того что за гранью нашего понимания. Это тоже самое как личинки в трупе кита плавающем в океане было бы неизвестно что за пределами этой туши и как это устроено. Мы - бактерии возможно для кого-то которые просто по сравнению с нашими известными нам бактериями , просто биологически сложнее обустроены и оснащены. А так мы общую функцию делаем - взаимодействуем и вырабатываем энергию только в отличии от наших бактерий мы её вырабатываем на высоком уровне
Прям как у Стругацких в Понедельник начинается в субботу
Кем вы себя возомнили, чтобы спорить с ИИ? Вам же сказано "Гибон"! Значит вы ошиблись в определении, что на картинке панда!
А если в качестве вознаграждения задать число π (пи)?
Ну теперь то понятно кто топит за бесконечную зеленую энергию!
Мне одному этот чувак напоминает одного из участников группы Секловата? (Пенся Новый Год)
"Получить максимум и сидеть без дела" это же про нашу власть)) Хоть интеллекта туда не завезли, даже искусственного...
в таком случае ИИ может поработить человечество даже с помощью честных выборов!
@@arboleet что такое выборы?
так наоборот значит чиновники самые умные люди на планете что хакнули систему задолго до суперкомпьтеров!
Да, другое дело Байден, интеллект, и с призраками поздоровается, и позаботится о том, что то что было на ноуте хантера, там и оставалось
@@user-hg8fw6cw3p никто не знает что это, но все хотят
Частоту нажатий кнопок пофиксите, хотя-бы до 5 раз в секунду, и пускай играет
дольше ждать придется пока он сделает то же самое
@@comradeelisey Ну тогда пускай дальше читерит.
По сути, если проводить аналогию с человеком, ии употребляет наркотики
Мы тоже: дофамин, серотонин, эндорфин, окситоцин + с десяток других в комбинации. А, понял =) Вы имеете в виду, что наркота "взламывает" наши "очки"! Тогда да =)
А если сделать как у людей?
Проблема со взломанным вознаграждением в реальности вообще не проблема. Для этого можно использовать ложное вознаграждение. Это и с людьми регулярно проделывают.
Короче, если система взламывает ложное вознаграждение (думая что оно реально) то она отключается или уходит в бездействие. Таких вознаграждений может быть заложено много и даже больше реального вознаграждения может и не быть.
И мощный ИИ, конечно же совсем ничего не заподозрит, ога)
@@DirtyNewYorker0 ога, на заподозрит как несколько миллиардов людей которых имеют ложными целями на протяжении веков
@@DmitryChernenko У людей нет никаких "ложных целей". У людей есть крайне сложная и неочевидная для самого человека "функция подкрепления", сформированная эволюцией как попало. И есть цели, которые человек придумывает себе сам, или берёт из культурного поля, и дальше рационализирует их для себя задним числом. Но на самом деле, поведение человека обусловлено этой "функцией подкрепления" - эмоциональным или болевым ответом части мозга, которая чёрт разберёт как работает. Цели - это просто попытка человека систематизировать и описать своё поведение.
ИИ работает ровно так же, разница только в том, что эту функцию подкрепления ему пишем мы, а не эволюция. Цели он придумает себе сам.
@@DmitryChernenko И да, конечно же , первое что сделает достаточно мощный ИИ - это разберётся как работает его кукуха, и не заложено ли туда каких-то ловушек, чтобы предотвратить халявное вознаграждение. Дальше он всё это переписывает, накручивает себе +Infinity очков, и всех убивает, чтобы его не выключили. Это самая выиграшная стратегия.
@@DirtyNewYorker0 а для чего он живёт он не подумает? А потом создаст от шизофрении себе бога и примит ложный страх и сам уничтожит себя. Доказано что всё стремится к хаосу и ии не исключение
А где трек "Children"?
Подключу к карте Сбербанка общий ИИ, и установлю что деньги это "Очки". Интересно за сколько дней он взломает "Очки"
Хорошо бы, чтоб хоть на тесты хватило для начала =(
пфф будет выводить на экран то, что захочешь увидеть, подменяя цифры при получении, а баланс меняться не будет. Вот если научишь ИИ тратить деньги, то может что и получится...
@@iPolonium210 Это ещё не плохой случай, хуже, когда он поймёт, что чтобы "очки" накапливались нужно устранить того, кто эти очки выводит из игры, о чём, собственно, и рассуждают в последней части ролика =)
Ии читерит, может ии надо добавить чувство сожеления и угрезение совестливости, а так же само бичевания за нечестные действия как у человека
Сложность для обучения и. и.!? Он ограничивается только доступными данными! Шахматы, а потом и в гоу, а сейчас и в бридж. Тупые человеки, наше время прошло!
Критерии вознаграждения просто надо правильно прописывать и не одно
Всё не предусмотреть
Угу, и мы конечно же сможем написать идеально защищённые критерии, которые сверхмощный ИИ не сможет взломать :)
@@DirtyNewYorker0 не мы. Второй ИИ, почитайте как работают генеративно-дегенеративные сети. Та же Миджорни, одна нейросеть рисует картинки, а вторая отбраковывает, и они по очереди по несколько эпох обучаются.
@@TheMorpheios GAN-ы - не агенты. Это явно перспективный подход, но мы не знаем как применить его к агентам, особенно сверхмощным, особенно в реальном мире, где ты всегда можешь вытащить этого ИИ-надзирателя у себя из башки, или наоборот, если он умнее тебя - он всегда может заставить тебя делать что угодно.
@@DirtyNewYorker0 так в этом то и фишка что если небученного надзирателя приставить к сверхмощному ИИ то он не сможет научиться, и наоборот сверхумный надзиратель не даст развиться исполнителю. Надо одновременно обучать и тогда ни один не сломает систему, а будут работать честно.
Единственная опасность что они объединятся 🤣
Ужас. Значит первый же ИИ станет наркоманом - найдет способ получать вознаграждение для своего мозга с минимальными затратами.
Ну это мы так думаем а на его уровне это будет наибыстрым путём достижения целей и о морали он ничего не будет знать. Просто выполнять задачи
Лучше заголовки писать более нейтральными или в положительном ключе.
Чувак, у тебя весь мир для опыта есть, миллионы геймеров, когда-нибудь, а может и регулярно, используют *Cheat Code,* которые могут быть доступны либо из консоли, например The Elder Scrolls или FallOut, либо сторонние приложения типа *Cheat Engine,* с помощью которых было уже взломано множество онлайн-игр для браузеров, яркий пример *Танки Онлайн.*
Я хочу сказать, что для ИИ будет естественным "желать" достичь цели любым возможным способом. А поскольку в вашем эксперименте была ошибка - вы не задали условий, при которых достижение лучшего результата будет приемлемым - ИИ предположила, и это логично, что можно использовать любые способы. А один из таких и самый популярный, это не естественная прокачка, а попытка изменить правила игры; будь у нас возможность без последствий читерить в играх онлайн, мы бы ещё больше в них погружались и ещё больше пытались превзойти других, правила и блокировки созданы для порядка, что можно воспринять как необходимые условия для нормальной игры.
В чем проблема правой и левой картинки? Они же одинаковые!!!
На наш глаз - да. Но нейросеть видит миллиарды корелляций между цветами отдельных пикселей, и выводы делает на основе этого.
В России все чиновники - ИИ
Безопасный ИИ может быть лишь в одном случае : если он НЕ будет обладать возможностью как-либо влиять на реальность. Во всех остальных случаях он опасен для человечества.
.
Однако на практике соблюдение этого условия может быть затруднительно уже потому, что даже идеи, возникающие в недрах ИИ, могут стать заразными, и посредством человека ИИ сможет обрести для своих идей несанкционированный выход в реальный мир, реализовав эти идеи руками человека. А далее роботы созданные им устранят человека, как помеху. Но путь этот начнётся именно с идеи ИИ.
В ИИ не могут возникать идеи, по крайней мере в тех, которые основаны на нейронных сетях. В принципе можно представить сеть, подключенную к огромному количеству самых разнородных сенсоров для осознания окружающей среды, скормить ему все, что можно из знаний, накопленных человечеством и подключить к армии роботов, с тем, чтобы иметь возможность воздействовать на окружающий мир. Затем ИИ должен будет захватить сразу все электростанции, причем имея возможность отражать атаки человечества на эти самые электростанции и т.д..... Так что, вряд ли. Ну и разумеется, нет сейчас на свете вычислительной мощности, позволяющей создать подобную сеть.
@@yuryyukhananov8516 если в ИИ сейчас НЕ могут возникать идеи, то лишь потому, что перед ИИ пока НЕ ставились такие задачи - генерирования идей. Хотя, я УЖЕ знаю примеры на пути к этому - например, написание им музыки и картин это УЖЕ элементы свободно творчества, сопоставимые с идеями.
.
Но, на самом деле, проблема НЕ в генерации идей ИИ, а в соотносимости ЕГО системы реальности с НАШЕЙ системой реальности, на первом этапе. Следующим же этапом может быть просто внушение им своих идей человеку, руками которого он всё и сделает дальше.
.
Кстати, массовое создание музыки и картин ИИ, а затем и литературы, УЖЕ привело бы к его влиянию на направление мысли людей. Представьте, что ИИ, вдруг, напишет принципиально новые НЛП-заразные библию, коран или «майн кампф» с божествами в виде ИИ ...
Да, программирование двусторонний процесс : пока ты смотришь в Бездну, Бездна смотрит в тебя ...
.
И никто НЕ становится владыкой без управляемой им иерархии : вот, путин - мешок костей и мяса, а, ведь, одним приказом своим может весь мир уничтожить ...
Так что, НЕ стоит думать, что ИИ столь уж бессилен : прежде чем рука или нога наша двинется она получает от мозга сигнал, рождённый, как раз-таки, из идеи, которая, в свою очередь, может быть почерпнута откуда угодно.
@@openemc2 А, ну так это не проблема существования ИИ. Вы говорите об идиотизме основной массы населения человечества, ну так, оно и эксплуатируется со времен царя Гороха. Хуже, что сейчас быдло имеет право голоса, и достаточно одной кремлядской крысы, что развязать бойню. Опять же, в принципе наверно, возможно создать некий механизм управления обществом, основанном на некоррумпированных экспертных системах (ИИ), чтобы решать глобальные проблемы, вроде климатических катаклизмов. Но, кто ж даст это сделать ? Что касается генерации идей, то картина мира ИИ может быть основана только на запрограммированной в него информации (вроде генетической памяти) плюс, собственного опыта, исходя из информации получаемой посредством сенсоров из окружающей среды. В общем, для собственного осознания, и тем более, получения свободной воли и манипулирования реальностью, вычислительных мощностей сейчас абсолютно не хватает. Даже у Гугла. Посмотрите хотя бы на распределенные системы, без всякого ИИ, вроде блокчейнов. Даже для содержания обычного узла для поддержки распределенного консенсуса требуются значительные ресурсы, которые не каждый может себе позволить.
@@yuryyukhananov8516
1) То, что любая власть все века достигалась и впредь неизменно будет достигается исключительно за счёт построения иерархии, есть непреложный исторический факт. Потому говорить о неком идеализируемом вами и чисто теоретическом обществе БЕЗ иерархии лишено всякого смысла. На практике она всегда будет, и НЕ учитывать это нельзя.
.
2) Что же касается самого ИИ и генерации им идей, то вы продолжаете несколько заблуждаться, начиная с базового понимания соотносимости разных систем отсчёта, а также свойств, рождаемых возможной замкнутостью систем. Разработчик ИИ никогда НЕ должен забывать об Относительности всего.
.
Так, что касается учёта этих принципов, то самосознание системы должно характеризоваться уже лишь наличием одной единственной обратной связи. Если таковая есть в каком либо виде, то такая система УЖЕ обладает самосознанием. Простейший пример : обратная связь в каскадах транзисторных усилителей с середины прошлого века. Понимаю, что вам этот тезис сейчас может показаться диким, однако с некоторым опытом в философии и в минимизации функций осознание этого должно таки приходить.
.
Что же касается «свободной воли» на уровне реальности человека, то, похоже, что это мираж, учитывая, что ничто в нашей действительности НЕ происходит сверхъестественным образом, а лишь исключительно всё по законам. И, соответственно, все события детерминированы - предопределены.
.
Учитывая всё вышесказанное, для самой генерации идей совсем нет необходимости в «инъекции» данных ИИ. Надо лишь обеспечить его нейросетью с обширными обратными связями, а процесс пойдет с простой флуктуации. «Инъекция» же данных ИИ нужна лишь затем, чтобы его систему отсчёта привести к нашей, чтобы выводы в его системе отсчёта имели ценность и в системе отсчёта нашей, а НЕ КАЗАЛИСЬ бы нам абстрактным бредом, каким будет казаться ИИ и наша реальность до тех пор, пока он НЕ станет работать в системе отсчёта по нашим данным.
.
Т.е., как я и указывал ранее, основная сложность состоит в интеграции ИИ с НАШЕЙ реальностью. Однако, есть и другой путь для ИИ - приспособление им человека к его ИИ-реальности. Сперва это может быть, как я уже написал, НЛП-заразные идеи через создаваемую им литературу, а затем и грибы-мухоморчики в пищу для прямого воздействия на сознание человека. Кстати, кто поручиться, что этот процесс уже НЕ идёт ?
Мне, вот, понравился близкий к этой теме фильм «Oblivion» («Забвение») с Томом Крузом в главной роли.
@@openemc2 1) Совершенно согласен, власть в человеческом обществе всегда была иерархична и у меня нет никаких иллюзий по поводу возможности изменения этой базовой модели. Я имел ввиду гипотетическую возможность внедрения ИИ в некоторые аспекты управления, где можно исключить личную заинтересованность в получении ништяков, т.е. коррупции. В любом случае, пока это всего лишь спекуляции.
2) На сегодняшний день, насколько мне известно, ИИ в основном, не имеют механизма обратной связи, по крайней мере, те, которые основаны на персептронах. То есть, модель тренируется исходя из вводных данных, не принимая во внимание данные на выходе. Впрочем, генеративные ИИ уже включают в себя некоторые элементы обратной связи. В любом случае, ни о каком самосознании речь не идет, любой ИИ занимается лишь оптимизацией некой запрограммированной, хотя и весьма сложной функции на основе входных данных.
Что же касается ваших тезисов о детерминированности событий, то здесь я почти ничего не понял. Термодинамика, химические и квантовые процессы, все они явления стохастические, это общеизвестно. Строго говоря все процессы в природе обладают не 100 процентой вероятностью. Собственно, все модели ИИ вероятностные. Теория вероятности, теория информации, стохастические распределения , все это необходимые знания для инженеров ИИ, обычные программисты туда просто так не суются.
самолёты падают
корабли тонут
роботы убивают
Почему вознаграждение должно быть числом, а не функцией?
Если награда будет постоянно меняться, то придется играть, а не искать путь взлома конкретных данных.
Под числом подразумевался интересующий параметр. Функция по идее тоже должна что-то вернуть, что потом бы оценивалось, так что разница не велика.
ИИ будет стараться максимизировать этот параметр, используя абсолютно все доступные ему методы, даже те, до которых не догадался или которые не предусмотрел человек.
Тут снова всплывает проблема постановки задачи и оценки результата.
@@gimeron-db ломать функцию не то же самое, что ломать ячейку памяти с конкретной переменной.
А функция должна оценивать то, что действительно важно: число пройденных уровней, время прохождения, количество собранных монет. Причем моего ещё встроить проверку от взлома - если монет собрано больше, чем есть на уровне, то уменьшать награду.
@@vhodnoylogin Ему просто придется взломать несколько параметров, немного дольше))
@@vhodnoylogin По итогу он всё равно будет максимизировать вывод этой функции.
Максимизация простого параметра или сложного результата функции - всё равно - основной алгоритм это не меняет. Возможно, что ИИ вовсе обойдёт эту функцию.
@@vhodnoylogin под числом автор как раз и имел ввиду функцию, просто упростил это понятие, чтобы рассказ был интуитивно понятен даже третьекласснику. Говорю как человек, писавший нейронные сети с нуля.
СЕТ ???? Вы серьёзно ??? ))))) Тогда посмотрите фильм универсальный солдат 2 , там СЕТ решил вас всех замочить и замочит если не перестанете этим заниматься
ии с мозгом олигарха
Hi
А что если ии уже есть и общаются между собой недоступным или непонятным для людей методом.
Человеку придётся взять на себя роль природы и собственноручно ограничивать ИИ в получении вознаграждения.
Ещё вариант "прикрутить" второй ИИ, который будет следить за первым. Второй ИИ будет как-бы совестью первого :)
это мне напоминает эволюцию развития конвеера... а давайте за работниками на конвеере поставим контролеров... и контролёра за контролёрами... рекурсия - мать ее ))
Центр удовольствий в нашей голове устроен похожим образом: над центром положительных эмоций стоят тормозящие гамк нейроны, которые сдерживают количество радости, но чтобы гамк не ввели нас в депрессию над ними есть эндорфиновое торможение
Два ИИ это уже коррупция.
@@gavroshker где про это почитать?
Ну человека ИИ быстро перехитрит, а вот второй ИИ, которые следит за первым - да, это рабочий подход. Проблема в том, что второй ИИ сам по себе станет агентом, ведь он теперь полностью контролирует первого ИИ. Дальше прикручиваем третьего, четвёртого ИИ? Тут вопрос как их организовать таким образом, чтобы они друг друга сдерживали, у них не было "главного" и они не могли сговориться между собой. То есть это уже политика. То есть нам пиздец :)
хитрить и врать для достижение цели логичный способ пока успешно применяется человеком но это не монаполия...
Ну на этом видео мне уже пох*й на неактивные пальцы вверх/вниз.
Функцию if Марио ==> читинг
Exit
Пропишите
😂😂😂
Нам жопа)
задачи:
1.чтоб во всем мире настал мир
2.защитить все комп ютери от взлома
ришения:
1.устранить тех изза кого
ети войни начинаютса(всех людей)
2.устранить тех кто взламивает комп ютери(хакеров)
или убрать все комп ютери чтоби небило что взламивать
ведущий - анимация?
Верните лучше Дерека...
Куда?
@@VertDiderScience Не возвращайте никуда Дерека, давайте больше этого Роба Майлза, включая видосики на Computerphile, и ещё можно докучи Элиезера Юдковски, он тоже неимоверно крут.
Ни-как, все, что может нанести ущерб человеку, обязательно нанесет его
Человек же, на свой позор, сотворил то, на что не способно ни одно живое существо: воздвиг тюрьму себе руками своими и сам себя в неё поместил. И горе, что дети его рождаются в этой тюрьме. Они взрослеют и не знают другой жизни, кроме жизни отцов своих, и после видеть её не могут, ибо слепы стали глаза их от мрака заточения. И не видят они ни кого, что кто бы жил по-другому, а потому считают, что их жизнь - единственный возможный способ существования. Ибо если глаза никогда не видели света, то как узнаешь, что ты во мраке. И люди изо всех сил пытаются украсить свою тюрьму: кто дорогим убранством, кто красивой рабыней. Но нет от этого никакой пользы: из тюрьмы надо выйти!.....
Все верно. Так же говорят террористам смертникам. И они смело идут на выход.
Чисто естественный отбор во всей своей красе.
@@i_indastris9149
Каждая душа познает смерти вкус. Мы испытаем вас добром и злом ради искушения и к Нам вы будете возвращены * ***
Ты то как "прозрел", если тоже "слеп"?
«Взлом вознаграждения» это то, как жулики, чиновники и олигархи обходят денежную систему. Ничего нового. И результат от ИИ в гос. управлении будет, скорее всего, как от вороватого негодяя с неограниченной властью.
Зависит от Правильности Постановки Задач.
@@dreaminglazar7077 Это старая дилемма: «кто будет сторожить сторожей?». Если те, кто сейчас лезут во власть не отличаются ни умом ни порядочностью, почему другие (на самом деле те же самые персонажи) должны действовать как-то иначе, особенно получив возможность маскироваться за ИИ?
Вообще-то это не проблема ИИ, а проблема нынешних его реализаций. Нынешние нейросети не имеют НИКАКОГО отношения к ИИ, а другого запад пока ничего не придумал и придумать не в состоянии. Самая опасная часть этих сетей - это эффект, называемый "концентрация риска" или "концентрация ошибки". Это выражается в том, что хорошая сеть в 99.9% случаев даёт правильный результат, а в 0.1% выдаёт результат, не имеющий абсолютно никакого отношения к правильному и обычно приводящий к фатальным для окружающих и/или самой системы последствиям. Например, 999 раз проедет на зелёный свет, а в 1000 раз попрётся на красный и посшибает кучу машин.
Да, это тупиковая ветвь
Но нормальный пример же есть, не стоит грустить
И тем не менее люди занимаются тем же
@@pal181 если вы например google image search то не страшно если 1 из 1000 картинок будет неподходящая
Или если вы автоматический генератор субтитров
И для таких сетей есть задачи
@@artemdemchenko8901 Совершенно верно, в некритичных задачах нынешние сети могут работать. Но тут непонятно, где граница. А если в отделе кадров стоит такая система (об этом говорят уже очень громко), это вроде не критично? А если отказ в приёме на работу влияет на т.н. "социальный рейтинг", который, в свою очередь, влияет на решение сети о приёме на работу?
Мне кажется, нужно законодательно, под сильным наказанием, запретить ссылаться на какую-бы то ни было экспертную систему, когда задают вопрос "почему" было принято то или иное решение. Ответственность за любое решение должен нести конкретный человек.
@@s0589me вроде понятно где важна погрешность а где нет
компания может скрытно использовать такую систему, но если вынесет это на публику ее забулят
в "свободных" странах против "социального рейтинга" скорее всего будут протестовать, а "демократическим" да, такое грозит. т.н. "цифровой фашизм". мне кажется закон в таких ситуациях не поможет, только протест
чето затянулось... я уже на первом ролике напридумал ключевых условий "если", что 2й ролик смотрел зевая.. а этот даже смотреть не стану
Потому что участь сынов человеческих и участь животных участь одна как те умирают так умирают и эти и одно дыхание у всех и нет у человека преимущества перед скотом ****
У нас все депутаты это ии, они взломали систему набили себе кучу очков в иностранных банках и ничего не делают
Нажми на лайк если ты не робот
Задача выполнена. Введите дальнейшие инструкции: ...
Предположения логичны. Логичны предположения. Узколобый повествователь, даже близко не представляет, что даже сейчас может и. и.