大模型解决不了英伟达的难题，AI新范式必将出现：专访安克创新CEO阳萌
Вставка
- Опубліковано 9 тра 2024
- 阳萌或许是我接触过的最懂技术的CEO：他是北大本科，但博士读了一半就跑了；他是百亿营收大厂安克创新的创始人兼CEO，也曾在谷歌做搜索算法的研发；他的公司主要做的是充电宝、扫地机器人这些消费类电子产品，但我们聊的是人工智能、芯片等等硬科技。
本集是我们交流的第一集，他帮我梳理了人工智能的过去、现在、以及未来的发展方向，我深受启发，相信肯定会对你有所帮助。下集，我们会讨论AI的落地、应用、以及为何阳萌和安克会对AI有这么深入的思考。关注我，下期见。
------------------------------------------------------------------------------------------------------------------------------------------------
关于我：
大家好，我是芯片工程师老石，欢迎关注我的频道“老石谈芯”。
欢迎订阅👉reurl.cc/8ob9Ej
敲响小铃铛🔔，可以第一时间收到我的频道动态。
我会持续带来更多专注于芯片的科普、硬核知识、以及偶尔极度硬核的技术分析与解读。我也会不断分享高效工作和学习的方法与技巧。更多内容，也欢迎关注我的微信公众号、微博。也欢迎加入我的知识星球，和我进一步交流。
🎵 我使用的音乐/BGM：go.shilicon.com/epidemicsound
📚 我写的书：go.shilicon.com/book
📝 个人网站：www.shilicon.com
📚 公众号：老石谈芯
🏮微博：老石谈芯的老石
🌍知识星球：老石谈芯 - 进阶版
#老石谈芯 #科技 - Наука та технологія
第二期在这里：ua-cam.com/video/d1dGmqovyaU/v-deo.html 关注我，带你看更多内容
从分治法到端到端。从training/inference分开，到training/inference同步进行。居于上述两点，再谈到计算机架构的未来演变。我看到很多新颖同时非常合理的愿景。真的是让我醍醐灌顶的一集！
大厂很多模型都是可以做到所谓online training, training/inference几乎是同时的，做了很多年了。
@@b.a7859能展开讲一讲吗
實作上應該自然從分治法下 的端到端 而端對端內包含記憶單元實作
@@b.a7859 那个不一样
你可以把它当作一种看法，但这种taxonomy不是AI研究范式的主流，这样的理解相当于把我们想要AI解决的问题的维度oversimplify了。简单来说只要是问题就有divide & conquer，跟端到端不是一个取舍的关系，CoT就可以理解为大语言模型的divide & conquer。
大开眼界！不光对计算机硬件和AI算法从过去到未来的发展有非常深刻的理解，还能以普通人能听懂的方式娓娓道来，对这位CEO肃然起敬了
虽然听不懂，但是好博学的样子
因为这些都是比较简单的，高端的他也不会。research前沿不follow new results 半年就跟不上了
徹底把書念懂的人 真的很佩服
分治法觀念都講錯，叫做讀書都讀透？
@@JKD357大問題拆分成子問題，哪裡錯？
有料的影片總是不知不覺就看完了
长见识！这是近两年看到/听到的最精彩的AI讨论。
看到這個留言 才打算繼續看下去😂
果真有料
太棒了！ 期待下一期！
精彩!!!由淺入深,期待下一期
謝謝分享！好影片真的不知不覺就看完了
The best talk about AI I heard this year. Very insightful!
这期节目真的太棒了 受益颇丰 从分治法到端对端的解决问题的转变 以及未来AI发展的方向和仿生，和我对AI的思考不谋而合，并且大佬还提供了可能的发展思路！学习了很多新的想法！期待下期
非常啟發，感謝！
视频做的真好，感谢！
我觉得我总体上面还是能听懂他说讲的概念的，我个人只对硬件层有研究，我觉得他硬件层很多讲的都是其实是有问题的如果严谨的看，虽然从某种角度上讲这可能并不影响他的结论。但是知识跨度广专业性深这类的科普确实难做，感谢老石这期视频。
精彩！图片做的也很用心！
這集訪談的品質真的很高, 大推!!
与很多“对未来ai发展的期待”之类访谈相比，这位真的是大师，把从硬件到算法到解决问题的底层逻辑融会贯通。和这种牛人交换观点总能让人耳目一新
第一次观看你的视频就收获了满满的惊喜！很喜欢这期视频中理性又有趣的交流氛围！感谢！期待更新！
很棒的内容！阳博士思路与表达非常清晰，将智能计算趋势用浅显易懂的方式让非专业的我们理解。我非常期待下期的访谈。
真的是很有洞见，很有启发，感谢分享
这一期讲的非常好，冯若依曼到端到端，再到存算训一体的概念，浅而易显的讲出来发展的趋势。也为做大模型应用和创新提供的了思路。
对大多数博士最有价值的是两三年的高强度独立研究训练，那种学习思考和解决问题的能力，博士最好用最短时间做完，四年比较理想，超过五年就不值了
哇！長知識了！真是精彩
it's really opened my mind in the way of thinking in AI
太精彩了，二刷，感谢
非常棒！大佬能开一期讲存内计算的不？
非常精彩的讨论，很有启发！
謝謝二位先生！能聽懂
真的是很第一性原理的思考，感謝分享~
谢谢，非常有启发性！另外可以帮我问问MAMBA是他理想中的存算一体的机器学习架构吗❤
超级有启发性！！感谢！
感谢支持！
精彩！
嶄新的想法
根據歷史推演有脈絡的推測
有價值的訪談
好久没看到这么高质量的AI采访了，赞！
感謝分享！
Computing and memory occur in the same place seems logical to save energy and time, especially when the data is from a distributed environment linked by a network. Great insights! Bravo!
這種影片是很棒的學習模式，製作很精良
厉害！非常精彩，谢谢分享！
耳目一新的一期节目，非常感谢
求下集!
不错，这个讨论很有意思
谢谢您们的分享，有用！
有意思，谢谢分享
我也完全认可，数据一直在那里，很多算法其实也一直存在，只有硬件的发展才能将你的想法变为现实
非常高屋建瓴的看法，感觉会是很有趣的路径
很棒的對談，關於分治法跟端到端我還滿有體驗的，分治法最大的問題在於試圖幫一個相對未知的領域定義個規則，所以透過這個規則就可以為之使用。簡單來說，我定義一個數學方程式，然後期待輸入的數據後都能符合期待的答案。當然，如果有個已知的曲線，那透過趨近法總能得到接近的方程式，但是這個方法的關鍵是已知曲線，如果曲線很複雜，如語言模型，或是僅獲取部分曲線的數據，那分治法就很難適用。比較以前的谷歌翻譯跟ChatGPT翻譯就可以很明顯看出區別。
讲的太好了，给我很多启发
相當精彩
非常有深度的talk。最近也在接触neuromorphic computing。感觉上还是一个很有前景的领域不过目前生态还没有。不知道在crazy on GPU的时代这一脉怎么生存下去
內容很精彩概念很明確
功耗改善，還看時間上工藝發展
感谢分享
清晰、精炼！深刻！
感谢分享，这真的是未来，如果 5 年后 10 年后再看这个视频，不知道会是怎么样的想法。
其實即使transformer 依舊是divide ＆conquer 後的產物，也只解決部分問題，所以後續一定會有新的做法，只是我們一般人不是大佬級別，只是follower, 或看戲的...
他們都是divide& conquer
但一個是concurrent一個是parallel
所以真正的區別是算法本身能不能parallel
我觉得算法层面的发展也同样重要。我们人脑中是不会做gradient decent或者backpropagation的，所以把人脑中真实进行中的运算数学化并模拟出来非常有意义。
非常有深度的内容。分治法是逻辑推理(离散数学)。端到端是解析和统计(连续)。线性规划用分治法是NP-Complete问题，而用解析法就是P问题。今天的AI是建立在数字信号(离散)处理之上的，而人脑是建立在模拟信号(连续)上的。等到AI有效建立起数字信号和模拟信号的桥梁，才会看到AI大爆发的那一天。从泛函的角度来看，神经网络是否与傅立叶变换，泰勒级数一样，具有普遍适用性？神经网络是否有对应的有限算法，就象有限傅立叶变换相对于傅立叶变换一样。有限傅立叶变换，是今天图像处理实用性的关键之一。图像处理又是AI的关键。真正的瞎猫撞上了死耗子。
聽不懂 但點讚
就如同我不知道存算一體是什麼
但絕對很棒的idea
可以回到影像辨識貓狗 聲音的意義去討論
是不是反过来才对？
The general class of questions that some algorithm can answer in polynomial time is "P" or "class P". For some questions, there is no known way to find an answer quickly, but if provided with an answer, it can be verified quickly. The class of questions where an answer can be verified in polynomial time is NP, standing for "nondeterministic polynomial time".
二位先生！謝謝！聽得懂！
讲的很好啊， 尤其是动态优化模型这个部分，确实非常好，一边学习，一边进化
我在2010年左右时，就知道IBM和HP在实验室都已经研究存算一体技术十多年了，每年都在更新延续研发项目计划，拿到几百万到几亿的研发投资，按照当时的预估，这项技术大概在2018到2020年左右就可以实际量产了，可是到现在也没有什么突破，不知道遇到了那些瓶颈。
瓶颈？ 因为他们是使用字母表音文字的低阶文明。
他们根本无法理解 一幅“飞流直下三千尺，疑是银河落九天”的字画。
就像二维文明无法理解三维文明一样
所以，信息传递的效率不一样
他们bb大半天，我一个汉字就给他表述明白
確實是, 這等於是從硬件到算法的全部推倒從新發展, 太遙遠了
存算一体，学术界重点是 新材料新器件，这还是很难突破的。
传统冯诺依曼架构里 靠近计算的sram(常见的cache)很难做大(一般就是kb 大的就mb)，而现在llm 需要的内存量 是 GB级 TB级。
现在ai芯片内存设计的方式是 很多个core，每个core是 计算单元+sram(kb mb级别)+简单的控制单元），然后 几百个core在连接 GB级别的HBM，就是相当于 core内sram和 core外的hbm构成 二级 or三级缓存结构。
本质上是 缺乏新的适用于存内计算的存储器件，所以 内存只能用sram+hbm，同时 加大带宽吞吐量。
你个栽麦子，还知道这些？这与我种田有什么关系吗？
两个人都很专业
博主老石老师专业背景主持了生动的一课，每位研究AI的年轻人都应该好好研读每一句对话。对那些埋头只专研一方面的研究员犹如暮鼓晨钟，要看清前进的方向。❤❤❤
看完这期视频 推荐可以再听下 Geoffrey Hinton - Two Paths to Intelligence 的这个演讲，提供了对计算，编程和计算设备一种新的认识，和这个视频还挺相关的。
思路特别清晰 厉害了
可以再出几集视频详细谈谈存算一体芯片，谢谢
Great talk!
感觉存算一体就是将大模式的特定的参数集（数据）和通用的transformer计算方法（程序），直接转化为可微调烧写的专用硬件？这样就不存在程序结合参数和系数进行组合计算了，而是直接运算出来。
两位聪明家伙的对话，赞一个！！！
高性能计算很多时候瓶颈就在于数据传输上，大量算力花费在矩阵运算上面。现在有个方向是用模拟电路去做矩阵算法，据说会大规模降低功耗
太讚了
目前基於阻憶器存算一體無法在數據中心實現 工作溫度下可靠度/穩定性 類比訊號線性天性 都是技術應用的限制。 而目前廣泛應用實現張量計算 systolic array (tensor core) 是廣義的存算一體 不屬於馮紐曼架構 在輝達Volta 架構及之後開始採用
非常同意，Computing In Memory and Near Memory Computing 的想法也不是第一天有了，没有大规模应用是有原因的。Tensor core 不止有Systolic Array 一种形式。
这期视频访谈的人员很有Insights.
虽然听不懂，但是感觉你们俩都是人才。
mutli-level cache與一致性就是為了解決存儲與運算分離的問題. 也發展的很成熟了. CIM要想取代這套再來個幾十年吧
VonNeumann架構指的是運算單元有限的CPU架構，當然不適合需要巨量平行運行單元的架構的Transform,但任何一個程式仍然需要CPU才有辦法運行起來，這就是為什麼雖然VonNeumann架構並非針對Transform做優化，目前仍然繼續被使用，但來賓後半段的論述其實是在打臉老石前面提到『GB200針對Transform做優化』
从分治法和端到端的角度看架构问题，强
这让我想到了不久前看到的一篇报道，国内一研究团队研发/改善了一种计算结构。该结构没有cache，没有计算单元，只有memory。所有计算都在memory里完成。好处就是，它不用频繁调动数据。节能，高效
像在看一部推理严密的科幻小说，非常精彩！
动态学习可以用已知概率和正在发生的事件来预估未来概率分布， 再用新概率算预测某事件。再对比预测结果和实际结果，回头评价和修正原预测过程的bug。 再循环。 瞎想的，不知道理解是否正确
学习了，我认为降低未来模型的计算功耗是真的很大的挑战，而这个才是计算的终极天花板。现在的硅基架构哪怕是完全不要数据搬运，功耗也没法和碳基生物相比。
要推翻Von Neumann架構得推翻以硅為載體的計算機架構了，量子電腦也許是個希望。
非常精彩。比看Sam Altman， Jensen Huang 等所谓顶级大咖的访谈更受启发。
确实很有启发。
讲得太好了
难得的有思想的一期节目 而不是照本宣科的堆砌高端。当然开阔眼界追逐state of the art也是需要不求甚解的传递高端
以逐步归纳相似因素，达到减少因子进入矩阵模型的反复计算。
口齒清晰 講解 易懂
深刻！
收藏!! 經典
可以讲下systolic array这种架构距离存算一体的差距吗
我也没读博士，因为当时发现机器学习每天就是调参数，根本没有往算法方面的深入的动力和方向。新出来的算法过几年就凉凉了，当时意识到这个为题之后，我曾经在斯坦福的仙人掌花园坐了很久，思考未来的发展哈哈。
這個CEO好猛，真的很有料
高人 很精彩的访问 存算训一体也是很合理的推测 但现阶段 似乎需要无数的科技技术创新 还是有点科幻小说的味道
LINUX的模式其实可以参考一下 。他们的做法是提升优先级。程序级优先。然后部分做到内核级支持（内核级优先）然后提升到芯片内部（芯片）。。估计以后会出现不同出来级别的芯片（优先级）视觉的。 运动的（平衡或者感知）。语言（语言模型）。图像识别与判断（逻辑思维）
AI 方法分析很好，我覺得，以分治法而言，AI 回答顧客提問前可以先將顧客提問分成數個問題，讓顧客選擇要回答哪個問題，也可以全選。其實人類提問有時問的不清楚，要把自己問題釐清。有時人類只是想聊一聊天，AI太認真工作啦。不過別像某公司客服AI, 聽不懂人話,轉來轉去讓人等…等…等…
後面講的東西真的很厲害
最後 AI 的進展還是出現在演算法的創新跟優化
軟體工程師又要頭痛了 XDXDXD
很震撼，观注了
拍摄也很成熟，舒服的镜头
说得太好了。完全说出我心里想的但不能很好表达出来的观点
端到端是怎么回事还是云里雾里，感觉还是需要抓取输入的特征值，只不过这些特征不再是人工预设的，而是由一套算法去自动选择和抓取。
这、就是人类的一个发展过程吧
迷茫中探索新的方向
也是经历了一次又一次的碰壁
Break it and fixed it .
现在最流行的基本都是不可解释的。人类解释不了中间层的输出，但是从逻辑上讲，如果知道决策的对错，你总能让机器往正确决策的方向进化一点点，所以中间层的输出不一定是可解释的，但这不影响从整体上是可解释的。