Спасибо за лекцию. Узнал столько нового и ужаснулся. Посмотрите на проблему с другой стороны. Я так понимаю, что люди исходят из того, что существуют конкретные этические нормы и ИИ должны им соответствовать. Но это не только для ИИ , а для людей острая проблема, и перенос ее на ИИ может сильно усугубить ситуацию. Для начала нафантазируем, что будут выработаны инструменты для этической оценки, все языковые модели будут им соответстаовать и будет либо законодательное, либо какое-то другое общественное требование о соответствии. Но это же этические требования , можно ли тестировать людей на эти стандарты? Будут ли алгоритмы с этими этическими стандартами влиять на общество, продвигая эти стандарты среди людей? Жесткие этическпе стандарты это всегда большпя проблема, это как религиозные нормы и религиозные войны. По мере того как значение языковых моделей и похожих систем будет расти, будет расти и значение этих этических стандартов, это неизбежно станет фактором, влияющим на состояние общества. А споры по содержанию этических стандартов будут иметь все большую остроту. Тут и без ИИ споры о "тадиционных ценностях" или "новой этике" уже такие, что участвуют в оправдании войны, а с внедрением новых этических стандартов для ИИ, и с ростом влияния алгоритмов на общемтво - эти споры запросто станут непосредственым поводом для чего угодно. Решение - не пытаться найти единственно правильное решение. Вообще, развитие этики пошло не в сторону установления универсальной этики, а наоборот в сторону смягчения требований. Свобода совести, каждый может верить во что угодно, терпимость к мнению которое отличается от твоего. Реально получилось примерно так: люди перестали запрещать друг другу думать неправильно и бить за то, что кто-то думает неправильно. Но при этом, есть требования о последствиях, не важно во что ты веришь, можешь и верить в свободу убийств, но убивать и призывать к этому нельзя не по религии, а по праву. Получилось много систем нормативной саморегуляции общества, право, религия , мораль и нравственность, народные обычаи, суеверия какие-то - это все действует параллельно и может конфликтовать друг с другом. "Новая этика", которая сейчас доминирует в западных обществах - это только одна из систем и она не универсальна. Когда люди во главу угла ставят борьбу с предвзятостями, это на самом деле нетерпимость к чужим предвзятостям. При разработке этических стандартов для ИИ надо помнить, что этические стандарты для ИИ это также стандарты и для людей. Эти стандарты должны быть мягкими, они должны допускать наличие другого альтернативного мнения, допускать возможность ошибки. Лучше пусть языковая модель ошибается, и тогда люди будут исходить из того, что она может ошибаться и соответственно допускать ее до деятельности, где ошибки допустимы и могут быть исправлены. А выработка одного "надежного и правильного" этического стандарта - это не верный путь в принципе.
Alignment это не про то чтобы чатбот не говорил плохих слов. Это про то чтобы сильный ИИ всех не убил. По умолчанию, если ничего не делать и продолжать развивать ИИ - он всех поубивает. Выкладывание моделей в оупенсорс сейчас ускоряет прогресс и приближает момент когда мы потеряем контроль над ИИ. В этом случае у нас меньше времени на решение проблемы элайнмента.
Спасибо за лекцию. Узнал столько нового и ужаснулся. Посмотрите на проблему с другой стороны. Я так понимаю, что люди исходят из того, что существуют конкретные этические нормы и ИИ должны им соответствовать. Но это не только для ИИ , а для людей острая проблема, и перенос ее на ИИ может сильно усугубить ситуацию.
Для начала нафантазируем, что будут выработаны инструменты для этической оценки, все языковые модели будут им соответстаовать и будет либо законодательное, либо какое-то другое общественное требование о соответствии. Но это же этические требования , можно ли тестировать людей на эти стандарты? Будут ли алгоритмы с этими этическими стандартами влиять на общество, продвигая эти стандарты среди людей?
Жесткие этическпе стандарты это всегда большпя проблема, это как религиозные нормы и религиозные войны. По мере того как значение языковых моделей и похожих систем будет расти, будет расти и значение этих этических стандартов, это неизбежно станет фактором, влияющим на состояние общества. А споры по содержанию этических стандартов будут иметь все большую остроту. Тут и без ИИ споры о "тадиционных ценностях" или "новой этике" уже такие, что участвуют в оправдании войны, а с внедрением новых этических стандартов для ИИ, и с ростом влияния алгоритмов на общемтво - эти споры запросто станут непосредственым поводом для чего угодно.
Решение - не пытаться найти единственно правильное решение. Вообще, развитие этики пошло не в сторону установления универсальной этики, а наоборот в сторону смягчения требований. Свобода совести, каждый может верить во что угодно, терпимость к мнению которое отличается от твоего. Реально получилось примерно так: люди перестали запрещать друг другу думать неправильно и бить за то, что кто-то думает неправильно. Но при этом, есть требования о последствиях, не важно во что ты веришь, можешь и верить в свободу убийств, но убивать и призывать к этому нельзя не по религии, а по праву. Получилось много систем нормативной саморегуляции общества, право, религия , мораль и нравственность, народные обычаи, суеверия какие-то - это все действует параллельно и может конфликтовать друг с другом.
"Новая этика", которая сейчас доминирует в западных обществах - это только одна из систем и она не универсальна. Когда люди во главу угла ставят борьбу с предвзятостями, это на самом деле нетерпимость к чужим предвзятостям.
При разработке этических стандартов для ИИ надо помнить, что этические стандарты для ИИ это также стандарты и для людей. Эти стандарты должны быть мягкими, они должны допускать наличие другого альтернативного мнения, допускать возможность ошибки. Лучше пусть языковая модель ошибается, и тогда люди будут исходить из того, что она может ошибаться и соответственно допускать ее до деятельности, где ошибки допустимы и могут быть исправлены. А выработка одного "надежного и правильного" этического стандарта - это не верный путь в принципе.
Alignment это не про то чтобы чатбот не говорил плохих слов. Это про то чтобы сильный ИИ всех не убил. По умолчанию, если ничего не делать и продолжать развивать ИИ - он всех поубивает.
Выкладывание моделей в оупенсорс сейчас ускоряет прогресс и приближает момент когда мы потеряем контроль над ИИ. В этом случае у нас меньше времени на решение проблемы элайнмента.