【OpenAI】OpenAI超级对齐团队解散，GPT还安全么 | Ilya Sutskever & Jan Leike离职 | Superalignment
Вставка
- Опубліковано 17 тра 2024
- 在OpenAI发布了GPT-4o之后，内部却迎来了新一波的动荡。联合创始人兼首席科学家Ilya Sutskever宣布离职，随后又有不少人宣布离开OpenAI，包括超级对齐团队的联合负责人Jan Leike，昨天他更是在X平台上连发13条推文，直接公开透露自己与OpenAI高层，在公司的核心优先事项上，存在着“无法调和”的长期分歧，尤其是团队在推动项目和争取计算资源时遭遇重大的阻碍，严重影响研究的进度和质量。
#人工智能 #openai #ilyasutskever #superalignment
之前看Fridman和奥特曼最新的演讲的时候，已经感觉他的价值观的异样，至少给我有种不坦诚的感觉
狡猾的犹太人😏
看大飞的节目，不但有尽量精确的还原，还有大飞中肯的价值观，感谢
你这头像有点东西😋
OpenAI 宫斗的结局，Sam Altman 的回归，已经预示了 Ilya Sutskever 的离开，这是基本的政治规律，还能在一起合最后一张影已经很体面了。
我10年前大約這個時候（六月2014）在北京開ICML會遇到Ilya,後來我們組團去長城跟故宮他也就順便加入了。我還幫他拍了一組帥氣的照片。
厉害，你是不是早就财务自由了
@@feifeishuishui沒有沒有。英國稅跟national insurance太高。一半都繳稅了
@@carltonchu1 佩佐斯马斯克收入99%缴税也财务自由了啊
看了您的频道，我也是太极拳爱好者，不知大神是不是在传说中的deepmind
超级对齐非常重要，也是到达AGI 的必经之路. 对齐也是一种教导人类智能的方法.
希望Elon能夠邀請他參加Xai,for the future of humanity
和Elon合作应该会非常dramatic；但是否会另一家“机构”真的可以work for humanity又是另一件事情了哈哈哈
歪个楼。大飞视频里提到的那个西门斯研究所是Jim Simons创建的那个吗？那位大神前几天刚去世，也可以讲讲他的故事😅
Thanks for sharing! Amazing video
吃瓜群众听起来这个drama核心是个技术路线的分歧，看起来openai相比于alignment是选择了重注multimodal来使gpt获得新能力，虽然不意外但是个有用的insight受教了
超级对齐方向走错了，必死无疑，你看看A社的对齐效率，再看看openai的，A社claude2到claude3，只用了8个月，采用的就是双AI对齐（一个宪法AI的安全模型用于仅用于微调），红队成本要低得多，最后也是抓大放小，普通人用安全系数很高，稍微研究下就完全不安全，但A社认为目前人工智能本身能力，哪怕完全无审核，安全问题level还不如无审查视频影响力。
客观事实就是，目前AI还是人工智障水平，就是一个input输入和output推理工具，和自主智能根本不靠边，理论上严格控制input，便可以控制output的风险
對於開放官能創作上來說，
是"覺得"這樣不好?
還是"分析後" 與對照組 顯著對青年有負面影響?
我不認為 大飛 是經由 對照組後 得到這個結論呢，
當然可以單方面的說 以前如何 某某人如何 仰賴"經驗法則"。
但這不該脫離去比較 實驗組 與 對照組 這項 最基本的 分析基礎。
伊利亚的头发完全符合一个程序员的形象。
唏嘘不已，但是祝福，以及拥抱变化～
只想說看看人家的教育軌跡，跟咱們平民就是不一樣
他那个是学习轨迹，不是教育轨迹，现代教育体系是德国人为了批量标准化生产符合国家人力需求资源而建立的，被各国广泛采纳使用至今而已，义务教育体系的根本任务目的是扫除文盲，训练服从意识和驯化工人认知。即使是高的那个教育，也无非是提高点分工协作能力细分各工种职业技能细节而已。
感觉ilya 可能会去马斯克，或者自己独立出来
🎉🎉🎉
冲啊冲啊，期待人工智能统治人类的那一天能够到来！人类文明最高阶层就是AI，也许只有这样才能带领人类找寻一条真正公平的道路。
可是它为什么一定要带着你呢？
@@user-xh5zv9qc3w 我是人奸，只要人工智能统治世界就行。而不是同为人类的统治者来掌管国家和世界
上次的內鬥事件時，我就跟朋友說， Ilya 才是 chatgpt 之父，sam altman 只是 chatgpt 的經記人，當時事件的根本原因就是安全問題的岐見，當時只是被altman的聲勢壓下來，以後還是會爆發的，現在果然爆了。
特斯拉 vs 愛迪生？！
要小心Sam altam 成為人類独裁者，他掌握的能量現在超出了很多人的認知。
才不會，這個世界本來就是有極少數人掌控的
超级对齐是不可能成功的，因为我们的人类社会本质上是一个不公平的社会！所以，要向谁的价值观对齐呢？
但至少要有追求相對公平信念
专业的human annotation可以看做基本的普世道德，外加每个user自己的preference作为personalization alignment的signal。这个对齐本质上只是个概率分布的对齐，这是研究人员们在大语言模型前也一直在做的，没啥不可能的XD 一定要理解为价值观的对齐的话，就理解为AI在人类帮助下从网上和书上自学形成的价值对齐到生活中各种人的价值观吧。我们平常人用的gpt的普适价值观和你condition gpt到top 0.01%的persona后输出打工人福报的价值观在对齐算法上并不冲突。
@@txdy666这种想法就是罪恶的开始。
@@GujiYudao
不能因為怕鱷魚，就將自己變成鱷魚人。雖然這種南太平洋群島的土著人做法就算在現代社會都是無處不在，但人們對其的可算是常有的不安感受意味著，這絕不可能沒問題。當然有人也許會說，土著人的做法才合乎自然，但如果捫心覺得的確如此的話，那麼這種詭異的觀感又是怎麼一回事？
@@GujiYudao
對於 人與禽獸其異幾希 這句話，若無妨礙的話，想暸解一下，您對此論的看法為何？
你應該想人類需不需要色情AI，而不是把自己價值觀套在AI身上去控制人類
其實不用擔心 google跟meta已經追上 有算力就做得出來
以现在ai的水平就考虑超级对齐agi还是有点太早了。
AI是指數級發展，到來的一刻卒不及防，不早一點考慮，就不可能防得住。宇宙這麼安靜，可能真是因為沒有物種過得了AGI這一關
肯定不能等到临界点再来谈嘛
閒聊一下的是其實很多從業研究者擔心的是當技術全面普及到各個系統的時候，當你發現問題或漏洞的時候這時已經來不及了，隨著技術發展跟人類對於這種命令式的語言模型的需求AI可能會接管武器、電力系統，讓你無法隨便shutdown他。
@@ShawshankLam ai会消灭启动它的物种宇宙就不会那么安静而是充满了ai文明之间的斗争。更有可能的是文明发展到某种程度大家都允许对方自由发展，互不干涉。
@@user-om8dv8ot4n 資源是有限的，有能力的話不可能不侵略其他種族吧，除非發展到某個地埗，資源是趨於無限
上次大飞谈到sam说的GPT要落入具体业务，fsd是不是可能成为比gpt4o更有价值的实际落地和应用。
感謝大飛💕💕
我觉得还是顺其自然好了
這沒辦法，再不商業一點，過沒多久就會被淘汰了
真正有價值的天才走了，Open Ai已失去投資價值😅
投资的收益期待应该有所调整而已
卧槽，去年听大飞说了超级对齐，挺看好超级对齐的
一年后看，openai的超级对齐比隔壁A社的AI宪法对齐效率和能力都差了很多，估计团队解散根本原因还是方向错了，啥都没救
原来 GPT-4 的性能问题是对齐造成的。
是啊，而且是很没效率的对齐方案，超级对齐这路子就不靠谱
沒有所謂的道德對齊（這群人還先搞了謀反） AI 的進步應該會再加速
幾年後 我們說不定可以看到 AI 大飛 在發視頻
白左就是一帮神经病
离开了，也就不用受Sam的牵制了。后面想研究啥研究啥，未必是件坏事。期待Ilya未来带给我们的惊喜。
建议去谷歌，这样就能帮助openAI拖慢对手的进度
對齊容易共振頻率很危險的
宇宙要agi出現，人類是擋不住的，樂觀期待AGI的來臨吧！恐懼都是多此一舉。
agi出現只是小事，他依舊是工具，超智能才有可能產生威脅
最后突然煽情～
哈哈，不是故意的😁
大飞，达人！谈谈特斯拉的自动驾驶
准备中
如果變是絕對的，那絕對性會變嗎？如果絕對性是不變的話，變才會持續，那就意味著變的絕對性是不變的，而這個不變性就消解了變的絕對性本身。如果變也是相對的，那絕對依然存在，那這個稱之為絕對的東西就可算是不變的，才是不擰巴的。更願意認為，二重天是變的，三重天是不變的，這才不是所謂的虛無主義。
openai的領先應該幾乎奠基於算力，分出20%做超對齊簡直是巨大傷害，何況超對齊效果業不怎的，人類現在太苦，AI目前要毀滅人類還早得很，即使毀了也沒什麼，寧可AI毀滅人類文明，看看現在這世界人對人之間的溫情或許甚至少於對貓狗之間的溫情，即使openai的ai不邪惡，他的進步一定帶動開源模型的提升，極權國家就可以用他微調到自己想要的方向，想像中國幾億顆攝像頭由一個AI即時分析所有資訊，然後國與國之間軍備競賽必定升溫如同核武器，即使偏激的個人也可以用AI打造大規模殺傷性武器，比如化學合成路徑，基因武器
两次世界大战是谁发动的，先搞明白吧
人类文明有局限性和天花板，来自贪婪 愚昧 短视 自私 随机性，let‘s see
先制造问题，再解决问题，规律如此
八年级不是八岁。。
奥特曼不是人，怎么会为人类着想
谢谢你泰罗
@@Irbdmakrtb我不能相信光了？！咁大件事
應開除 sam
节目很好 但是能不能不用数字人主播啊？千篇一律的动作拉低节目质量了😂
真人出镜，下次边跳舞💃🏻边给大家播
有种预感，openai会成为科技史上的一个闹剧
他这发际线 确定没把自己逼得太紧？😂
可以澀澀了嗎，太棒了
可以，雖然他還是會稍做修正
不過只要不是過於誇張的
GPT4o都已經不會拒絕回答了
甚至可以評論Hentai圖
@@eGuoSuperAlihonX 在playground 一些會被屏蔽的內容還是可以透過API取得 😂。翻譯就是: 要色色，付錢就行。
@@Sulzbach-dk7ov 我知道啊
但大多數人不會特別為了這個去搞後台= =
只有少數有錢的性欲狂魔會為了色情搞這個
大多都是真的在搞生意的
@@Sulzbach-dk7ov 願意花錢買春的
跟在交友軟體上亂汁人
哪個比較多? 想想就知道了吧
@@eGuoSuperAlihonX AI 女友算是生意嗎?😂。想想看開一個訂閱制的APP，每個月5美金，然後用戶要開一個OpenAI帳號，聊天送圖片是pay as you go.