【漫士科普】GPT是如何工作的？为什么要学习接下一个词？
Вставка
- Опубліковано 18 тра 2024
- 一位来自清华的人工智能博士生，日常思索和科普。
An artificial intelligence doctoral student from Tsinghua University who likes to delve into thinking and science popularization.
喜欢我的内容欢迎订阅、评论、点赞^_^
Welcome to subscribe, like, and leave comments under my videos^_^
打开小铃铛🔔获取频道最新动态
Turn on the little bell🔔 to receive my latest updates
--------------------------------------------------------------------------------------
#科学 #科普 #知识 #物理 #数学 #ai #人工智能 #人工智慧 #gpt4 #gpt3 - Наука та технологія
谢谢作者的精彩讲解和准备视频的努力。我个人觉得大模型是用对了统计方法，加上海量存储，海量矩阵运算，暴力打造出一个相对可以实际应用的统计预测模型，能进行实时的 out of sample 预测，出来的结果很多时候还蛮符合人们的需要，在一些常见的应用场景下。如果人类的知识体系可以被概率统计模型无损失的充分必要的等效表达出来，那么这也许就解释了大模型和智能的一些联系：是因为大模型所使用概率统计模型可以对人类的知识进行无损失的充分必要的等效表示。这样一来，大模型所出的统计学的预测结果就被人类认为是有智能的色彩。
我常常看日本動畫, 聽著日語配音和中文字幕, 當某些特定的音調出現的時候每次都有那個中文字出現, 就可以大致猜出這個音調和那個中文意思相同
這個過程多經過幾次, 收錄的音調就越多, 之後在沒有字幕時聽到一句日文, 雖然你聽不懂全部, 也沒學過日文, 但還是能憑藉那些音調得到整個語句的大概意思
從某種程度上和GPT的學習方法也挺像的
語言是用來溝通的, 如果對面只要用阿巴阿巴就能傳遞訊息, 那就不需要文字了, 因此如果GPT能將語意轉成ABCD類, 然後定義A類後面接B類最為合適, 就能回答出大體來說不差的答案, 而產生類別的過程就是接龍訓練出來的效果
同意 前些天在學校聽了個講座 講者最後說了幾句日文 明明從未系統地學會日文 但憑著看動畫 聽歌學來的半吊子日語已經足以猜到整句話的意思還有講者在說完「私の名わ」之後會介紹自己的名字云云
雅蠛蝶❤
本質上語言就是一套有邏輯的模式，有系統的學習，是最快進入的辦法，但是AI卻是反過頭來學的。
先給片段局部，一塊一塊拼圖拼接而成，最終成為一個大大的拼圖畫。
AI也只是盡他所的〝猜(推敲)〞你想要的答案、結果。
谢谢作者，豁然开朗
点赞，感谢up分享
哇 这个声音一秒就爱了😮😮😮😮
哇哦，睡不着的时候我就看这个视频，努力理解里面的逻辑。。。
神经网络的数学原理是n元m次方程可以拟合任何曲线，任何逻辑都可以表示成曲线。大模型就是一个大型n元m次方程而已，所以理论上只要参数够多他就能拟合出任何逻辑。不是写代码实现逻辑，而是让模型根据数据去拟合。
Not just neural network, machine learning is function approximation.
@@leoc2844 Do them differend
结果的稳定性来自于模型收敛还是数据过拟合？
故TUVDLC0好0
@@martiny836 过拟合是学习方法的问题，理论上未提供的数据应该是0.5的真假，但是现在未提供的数据在算法中会确定为假产生的。所以你必须尽可能多的提供正确数据才能根本上防止过拟合。
大模型很有用，也很複雜，個人不是專業，不過影片中有一些觀念應該要調整，首先，就是大模型到底有沒有理解語言這點，我只說我們講話時實際上發生了什麼事情。各位應該都知道，我們每個人的意識都住在與世隔絕的小黑屋中，透過身體感官接收外在的刺激轉換成電子訊號，經過大腦的整合，在小黑屋中展現給我們感知到外在，當我們要跟外界溝通時，也是類似的相反過程，我們的意思透過大腦轉換成電子訊號指揮身體發出聲音行動等。有物理常識的應該知道，不管光或聲音，都是頻率和波長構成的，也就是說，外在的世界實際上只是一堆頻率波長，問題來了，那意義呢？當我們說話發出聲音或是寫下一段文字時，意義有跟著傳出去嗎？我想是沒有的，因為外在只有頻率和波長，文字和語言只是一段特定形式的頻率和波長，並沒有意義，如果語言和文字都沒有意義在其中，那我們怎麼理解對方的意思？這個目前眾說紛紜，個人相信我們的小黑屋內自帶意義的資料庫（這只是比喻請不要當成真的資料庫），所以每當我們大腦轉換整合過的特定的波長頻率給我們感知後，每個人就在自己的小黑屋中自行生成意義。所以我們並不是在溝通，而是根據這些形式，自行轉換成意義加以理解，這也是為何人的溝通經常出現雞同鴨講，但是電腦傳一段資料過去卻很精確幾乎不會出錯，因為電腦傳過去的沒有意義只有特定形式，而現在科技已經可以做到幾乎100％正確複製貼上形式。所以大語言模型應該是不理解語言的，之前科學家用邏輯性去訓練，成效卻很差的原因，也正是因為語言模型裡面不像我們有意義的資料庫，所以學起來非常慢。之前看過一個科學家說過，他在AI盛行之前就認為目前這個方法會有用，因為即使只是形式，也包含一定的規律，只要可以適當的複製，就算不理解，也會產生效果，最明顯的例子就是量子力學，沒人理解量子現象為什麼會這樣，但是因為數學可以複製這些現象的形式，所以我們就可以利用這些形式，製造出很多厲害的商品，儘管我們依然不理解量子力學。大語言模型應該也是類似的情形，大語言模型根據複雜的計算，複製貼上適合的語言特定形式，也就是一句話或一段文字，我們看到這些形式後，會自動在小黑屋中生成意義，然後再給予回應，我們看起來好像正在跟AI對談，其實是在自言自語。（好邊緣人啊）所以如果我們真的希望AI理解事情，大概必須給它一個意義的資料庫，但是因為我們也不知道自己的意義資料庫到底是什麼，目前應該是不可能的任務。而問題就卡在目前科學一直認為意識是物質的產物或現象，但是物質世界只有波長頻率沒有意義，所以這個研究方向很顯然不對，但是科學家並不這樣想，依然往這個方向繼續研究。
然後影片前面還是大模型深刻理解了人類語言，後面又說大模型不清楚在真實世界的含意......
很有趣的論點
我想所謂的理解人類語言只是他大概能判斷你表達的意思，其實就是用你的語句去抓關鍵字給你答案。然而他不明白為什麼人類會這樣問，用這些字詞組合，所以其實他也根本沒理解，因為他還是只是抓關鍵字罷了。
8:11 又看到了3B1B，众所周知，会推荐3B1B的视频主都是优质视频主😂
博主你好
你認為AGI有辦法在現有的模型架構下實現嗎? 我目前就讀清大大學部，看完你的講解和原先就具備的深度學習知識，感覺現有使用transformer的方式很難去實現AGI，我自己個人的想法是這個模型本質上還是使用機率預測接下來要輸出的詞，那麼就代表肯定有機率會答錯一些有標準答案的問題，不知道我這種解讀正不正確?
AGI估计还是要解决语言和现实世界的理解，光靠语言可能够呛。
在认知语言学界，有个领域叫situational word learning ，专门研究小朋友是怎么知道猫是猫，狗是狗的。这都是llm不能解决的问题。
还有人类听一年多的爸爸妈妈讲话，就能开始学说话，四岁多的小朋友已经表达很厉害了。GPT要看几百辈子的书籍才行，这和真正的人类语言智能还是两码事。
Yann Le Cun的观点好像和你一样
訓練幾百萬次才會說話，基本上會被歸類為白痴
不可能，你先去了解一下大腦神經元怎麼運作的吧…
请教：GPT使用的 n亿 个参数都是如何设定的？
点赞！感谢!
想說完整看完影片再決定要不要點讚的，但看到 1:11 以後決定先點讚再說
大模型，我理解就是一个信息检索系统吧， 没有智能，但是用来查资料，真的好用
問題是，什麼是「智能」？人類智能的本質究竟是什麼？我好混亂
@@ching-yanglin5689 人的智能，很重要的一点就是好奇心，然后探索世界，收获知识。 大模型就是强行喂鸭子，你看它会自发探索世界吗？
@@ching-yanglin5689 有很大程度上和创造力有关。我举个网络热门词“抽象”，近几年突然被赋予了“离谱、傻X”的语义，这是在字典里查不到的。如果你交给GPT，他永远都不会发展出这一层含义来，但是人类却会创造性的给语言赋予新的意义，而且奇怪的是，大部分人都会很容易接受并理解这种新的含义，并迅速纳入自己的语汇里。
再放到宏观历史上看，打个比方，如果只给GPT文言文作为训练材料，不管经过多少次深度训练，它都很难自主的发展出白话文，而这恰恰是人类历史自发产生的变化。
我只是举GPT最擅长的语言作为例子，其他领域的GPT的局限性就更多了。
你说的那个是搜索引擎，不是大模型
你講的想法應該比較接近決策樹就是前一代的人工智能的想法
说不定可以填个机车呀，哈哈
✌️🙏
typo：Fintune -> Fine Tune
大概還要加上感官情緒引擎，才能更接近人類吧
這篇論文:
Learning to gnerate reviews and Discovering Sentiment (2017)
學習生成評論並發現情緒
情緒似乎並沒有那麼複雜(但只是可能)
下回分解没看见啊，大模型潜在的秘密--涌现现象和GPT提示词的视频没看到啊，up主
请问为什么写不出二十个字的句子？ 主要是因为tokenization的原因吗？那后训练一下应该可以做到吧，可以学出一个token序列对应几个词。是说光靠预训练做不到？ gpt-4o试了下经常都是差一两个词。
因为自回归生成无法做“预先规划”
@@manshi_math 只是说光靠预训练做不到吧？如果用强化学习让模型拥有规划的能力呢？例如就用写出给定字数的句子这种任务来训练
@@yayizou3312 我依然持悲观态度，因为这是底层结构性的问题，只根据上文预测下一个词的方式根本性上难以做到控制字数和规划未来这一点
@@manshi_math gpt4.o上嘗試過中文和英文，中文無法，但是英文可以呢，是更新速度不同嗎？
@@anana-nf4hw 说不好
可以讓ai去當全世界的勞工嗎?這樣人類創造錢的理由都滿足的同時還可以解決窮富問題，然後以後錢就不重要了因為不需要勞工這樣大家就都可以做自己想做的事情了
你想說的是自動化吧
如何理解给它四个数字，让它算24点，然后它能给出答案。感觉这个答案不可能是从语言生成中能够产生的。
20字好像可以，1000字就不行了
句內沒下一字未決的體驗，但脫稿表達時，定會有段內下一句未決，或文內下一段未決的高張力體驗。人比機器的尺度更大，且有兩種模態，句內一模，句外另一模，而句內模屬義務敎育類，句外模屬之上的敎育一類。同樣的，熟知五十餘筆劃與會用幾千字並探索數十萬字的人群，與熟知廿六筆劃與會用幾千單字並探索如yyds一類的未數單字的人群，其相應的模態感也會有些微妙差別。實際上，反而有另一感與上述呈二律背反狀：中文自古為概率模型而非採語法自覺，若以下兩例，我屁他、谷歌一下，之類的，近代以降則以意動用法的名號稱之；而外文在很長一段時間會有某種正則模型的語法自覺或幻覺，然歐人授語強調語法，如楊立昆一類，一般法的慣用者則強調但說無妨不恥語誤方為得法之途，如安特曼一類，不可謂無法，但也屬視法為公器而非令法絕對化反受其役之外延，然也有細分，畢竟紅藍不一，各有所偏好或偏頗，藍有法責人向，紅有上責法向，此上非固為人。
符号与现象本身得联系是某些人类中一些人的能力，其他人只是应用这种能力的结果，大模型通过摄像头也就是图像形成与文字相对应仅仅是一种模仿，就像其他人。
确实限制字数和回答格式直接把4o 问崩溃了 完全前言不搭后语
看完了，想问个问题: 你在哪里？
是否能解析一下 为什么GPT可以编程？
我也有同樣的疑問，僅僅是接龍遊戲是沒辦法學會寫程式才對吧?
因为训练GPT的数据包含大量验证过的程序代码
程序，全是逻辑。和语言一样。
本質上是一樣，預測大概的行徑方向，且程式編碼更趨向於口耳化，想要怎去做怎麼時間。
剛好代碼也是英文單字【規則】組成，順利就拼湊而成了～
一個有趣的案例，教AI學英文，沒學過中文，AI居然還能回答中文。【沒錯！這就涉及了計算機基本原理，文字只是一串代碼，剛好這些代碼處理上剛好匹配到英文的邏輯編碼方式】。←大概就是基於這樣的理由會寫吧！
I do not agree with you. Actually, Existing LLM model is what human thinking. It should not be called large language model. It should be called large thinking model. It is the procedure or way of what human brain doing.
It is still not clear how human brains.think. Perhaps it also does something like generating next words based on the previous context. But the inherent flaw of autoregression means it cannot do any kind of planning ahead. You may argue that the human brain does not speak language in terms of grammar tree. So the final conclusion is that nothing is exactly like the human brain. But some can mimic it more closely.
意思就是 概率学是吗？
可以这么认为
2:28
我反而不太明白，和人類語言有哪些非常明顯的不同。
我其實也只是在接話，只是我擁有更多輸入資訊的感知器。
新學到的知識 也是 做為下一次接話輸入的一部分，
與或多 或少改變選字選詞的全局參數。
我们人知道“20”个的这个 20 真的是什么意思，因为有来自和现实物理世界的对应经验，语言大模型并没有，所以它不是真的理解。
@@davjd0916
20、數字其實也只是 語言，
或許可以說是 理性語言 ，
但仍是語言。
2進制、10進制、12進制 中 100 就各自有其意思。
我猜你是想表達 柏拉圖的理型，
人的思維中存在理型 (如椅子)，
而對於機械學習模型 的"思維"則沒有。
假如我有猜對你想表達的意思，
那我就可以進一步 舉出反例，
字詞三維向量，
某個概念、字詞 儲存於人腦中的方式，
(也就是人 對於某個概念的理型)
與目前大語言模型的學習方式 是相近的。
@@kangcc912 哦我不理解柏拉图的理型是什么的。
我的意思是，大模型只知道「20 是 20 这个符号」的这个意思，它不知道「20 条狗，20 条蛇和现实世界中对应起来是什么样子」的这个意思。
我只想知道怎麼才能打到你😂
这货还自称清华，都不知哪个蛋浮化的。
不是理解是擬合
要AI去理解，很困難，但AI就只是一個猜你要的答案的機器【離你的答案越接近，越趨向於這樣的回答】
说来说去都是重复同样的话题！
你看起來就像___
茶碗蒸
错，人类一开始并没有语法
你真的敢確定人類講話就不是在接話嗎？
倒也说不准
讲的有点误导人
谢谢，讲得浅显易懂。但是还是有点困惑，如果输入一段文字，gpt进行预测是可以理解的，但我输入一个字，比如“春”，gpt就给出如下答案：“春” (Chūn) 是中文中“春天”的缩写，代表一年中的四个季节之一......它怎么不回答：春天来了......
因为被第三阶段调整过了，是回答问题的，不是纯粹接话
可惜Chatgpt收费蛮贵的！只能等到普及的时候，就会便宜一点，就好比大哥大手机般！一开始的大哥大手机，要上千美元！每打出一分钟，一块多美元，接听也一样贵，也是一块多美元！那个时代，$5/hour 的收入，可以想象是多么贵！
低階版本無限使用，往後市場推出更高階的，低階的也會免費推出來。
AI要強大【免費開源不可少，畢竟支持AI的進步就是，資訊收集】
往後AI的一些新功能，可能會需要使用者付費解鎖【如購買機台設備那樣，從事生產】
@@Wind_of_Night 对极了！
看到AGI就點倒讚了 GPT跟AGI一點關係都沒有