大力出奇迹！OpenAI Sora是「像素操控戏法」还是「现实物理引擎」？
Вставка
- Опубліковано 7 вер 2024
- 我知道这一天早晚会来，但没想到来的这么快。同志们，这几天研究了下OpenAI，也就是美国开放人工智能研究中心推出的最新产品Sora。说实话，相当震撼。震撼之处不在于它能够生成真假难辨的超逼真画面，而是在于它的画面在很大程度上能重现物理过程。比如人在纸上画画，会留下墨迹；比如人吃一口汉堡，会有咬痕。这是不是说明，AI已经在视觉层面开始理解世界了呢？这期视频，咱们一块研究下。Miracles through might! Is OpenAI's Sora a 'pixel manipulation trick' or a 'real-world physics engine'?
大刘还是有一种能把复杂问题简化描述的特异能力的啊，厉害，科技界的老高
那个胡说八道的骗子就算了吧
老高解构问题的水平没问题，不过他是靠添油加醋真真假假混在一起来吸引眼球。要让他像科技行业这样全都用现实世界的素材不乱编，就远不及现在这样吸引人了。
别拿老高和大刘比较，老高视频里很多咨询都是错的，而且很多都被夸大的。
老高就是个玄学民科，学过初中物理的都看不上
说白了就是个东北瞎忽悠，没有任何干货价值
第一个把Transformer原理讲得如此通俗易懂
如果說大劉的影片也是Sora做出來的那就是真核彈級別了
想多了 單純是濾鏡級別而已
已经可以实现了 大陆B站上有个人专做外国名人讲中文的视频 看不出破绽 讲中文口型都对的上
@@lvseawave9570 烏克蘭的那個是用一般四秒去串連或是換頭ai後製濾鏡
@@lvseawave9570 烏克蘭的那個是用一般四秒去串連或是換頭ai後製濾鏡
@@lvseawave9570 不就是deepfake嗎，那個只是局部篡改圖像，跟Sora無中生有還是完全不同的。
一開始我也覺得很神奇，但想深一層，diffusion model一早能在空間上做到連續性，即是二維畫報上像素分佈似是在描述一樣東西。那麼影片只是時空上有連續性，時間和空間在representation上沒有任何分別，那麼時空就是spacetime token而已，做得到才正常
说真的 人类一直琢磨不透大脑的工作方式。但这波ai的研究方向 感觉让人类对自己大脑和所谓的逻辑、时间、空间概念有了新的认知，体会这种感受真的有点神奇，谁能想到当算力堆叠到一定程度后，简单的底层算法能让人类对生物和物理有重新认识呢
@@user-eb8wh7fi7d 那是你没学这个 神经网络 深度学习专业的一直是在模仿大脑神经 触突。。。。
按大劉說的全部訓練數據都只是2D平面圖片，卻能讀懂深度信息，具備了對於3D的理解能力，並用 平面像素展示出來，那假以時日，AI會不會有天能用3D展現出四維空間給人類看 ?
只要有時空連續性認知和創造的能力, 未來的應用相信會是遠遠在視頻製作之上.
看完對AI模擬過程更加理解了 受益良多!
這其實有類似研究的論文(只是沒OpenAI那麼會宣傳)，SORA其實不知道上下楨畫面的關係，只是把時間，空間參數都放入，生成超大量可能圖片，在篩選出""較為合理""連續動畫。(更難聽說法，一種像素流篩選器)，當然也引發許多問題，此算法沒有辦法真正理解圖片中物理現象(光影不合理，突然消失等)，也無法演譯物理或化學現象。(目前這沒辦法商業化變現，更多是OpenAI利用部分研究成果爭取市場資金)
那個畫的影片就看的出來 明顯是像素流 非理解物理引擎 就是用算力去暴力背答案
@@user-vh1xn4fx5y 其实就是算力到了这个程度了。说白了 现在的算力已经可以跟人脑一些记忆意识匹敌了 再加上迭代和无数投喂，就是暴力出奇迹能奈何呢？最大问题就是他基本突破不了人类上限 可是用于生成视频啥的 也不需要突破人类认知上限。或者换个角度理解 人类大脑是牛逼 但是一个人一生基本也就相当于投喂了一部分专业知识。或许真的不能用人脑的思维方式去定义ai这套建立模式，他似乎基底不先进，但是算力无限之后 或许人类能更意识到自己大脑的工作方式，也许所谓的逻辑也就是记住了一些事物规律罢了
@@user-eb8wh7fi7d 很有道理 可以賭賭看
到時模型效果是會先出現瓶頸
還是靠著暴力算來達到完美
上帝不會允許人類理解出自然界連續邏輯的算法的，理解出的那天就是毀滅的開始
我听不懂，但是如果sora真这么厉害，我觉得我做的那些稀奇古怪的梦境能通过文字描述视频化就太棒了
我觉得SORA用于还原梦境或者玄幻小说的场景肯定非常精彩。或许有一天我们可以通过neuralink这样的脑机接口捕获梦境中丰富的大脑电讯号，然后通过SORA将其解译成影像。
做过一些梦，太震撼害怕了，一直无法描述成视频别人看。
看完openai公布的影片,越來越相信大劉科普其實是AI生成
大刘的讲解是目前中文讲解里面最详细和最贴近专业的，其它的所谓大佬差多了，包括360的那位，还都仅仅限于他们擅长的应用，没有理解人家openai是咋具体把它实现的，所谓科技大佬还是低层次里的拔尖人物。
被從家裡趕出來了???最近幾期都是在車裡錄製的🤣😅😂
这是我见过的对sora最清晰的解读
像是2d的動畫師，在2d畫紙上依生活經驗建構3D世界的連續動畫，訓練就是給sora生活經驗，再生出精細漂亮連續動畫，ai真讓人驚艷
比起專一能力的alphaGo, 現實世界的理解與再現需要更多的算力，但邊際效應遞減很快，感覺AI的訓練機制還有增強的空間
我覺得先讓AI了解真是世界運作規則 這樣訓練才有用 不然很快就會有瓶頸了
1:37 這麼順暢的過渡場景以前只在夢中見過
個人傾向於像素流 那個畫的影片就看的出來 明顯是像素流 非理解物理引擎 就是用算力去暴力背答案
像素流具有無視各種物理的特性，比如皮膚毛髮流體煙霧等應該更為困難，真的按照物理不應該一步到位，錯誤也不應該像那樣。
清晰透徹。非常感謝🙏
素材够多 算法够快 能成就重构😊
看完了！给你点个赞。这系列请继续。
如果单纯是训练2D像素能学习出3D深度信息，是不是以后人类借助AI大量计算可以学习出更高维度的世界？
说的非常透彻，绝对不是业余水平。
他讲解一般观众能够听懂， 能产生共鸣，出现幻想，就说明了一点，他的确是业余水平。
@@michaelzap8528 相当同意。。。。这类的作者好像什么都懂，其实可能讲稿都是AI写的，自已再改下就是自已的了
@@michaelzap8528一般观众听得懂self attention 这种概念？ 你开什么玩笑
听不懂吗@@chunchunmaru4185
講的真的好!! 👍👍
大刘，能不能讲讲特斯拉fsd v12与sora的关联
大刘也可以参考一下 Unreal Engine 5. SORA 是训练加强的 UE5.
首先它识别了2d的图形object，然后在stream里发现了这些object的变化规律，然后就按照这个规律生图
正解 2D+用了unreal5 每次物体接触时和早期建模比较差的游戏差不多
講得不錯。不過這些生成式AI目前演示的很牛B，但現實上找不到任何實用價值，都只是Toy Apps而已，唯獨Nvidia坑人天價晶片狂銷，股價炒作的很開心。甚至GPT翻譯出來、回答你的東西是錯的還沒關係，如果生成出來是假的那就對人類會有很不利的影響了！
非常同意你的第一句话
可以效仿谷歌绘制地图的方法，与商家或政府在店面和街道上拍摄视频用以充作训练的数据来增加视频生成精准度。
大劉發更真快，贊一個
02：43斑点狗应该是窗户里往外看吧！但是里面竟然是电线杆😂😂😂
讲解很好。
期待可以早日使用
像马斯克说的一样，世界GG了
這只是開始~~就像一個奇點....接下來幾年會走到甚麼程度就難以估算
我想起 Sora Aoi😂😂😂😂如果有sora 倉井 就不須要Sora Aoi了😂😂
我猜目前這樣1分鐘的video生成，就算是OpenAI 的伺服器恐怕也要花上好幾天
发布当天我在推上看过 sam 用推友发去挑战的prompt去即时生成，所花最长不可能超过 4 小时（实际应该在 分钟 级别）
从人工智障进化到人工智能的过程，非常棒，加油
完了，我现在看每个短视频都在怀疑是不是AI生成的
怎么说呢，有些硬需求是绕不开的，特别是光的计算，就是需要巨大的算力，现在成熟3d引擎已经投机取巧到了极致，也同样使用AI技术，一样绕不开，一样需要大量的时间和成本去运算渲染。你如果说不一样啊，这是实际上静态画面绘制，其实无论视频 游戏 还是电影特效引擎，制作描绘的都是静态画面，甚至原理都是类似，也是通过上一帧画面减少下一帧的计算量。人家深耕行业几十年，别以为想不到，相较来说物理引擎出错其实反而没什么大不了。。。。。现在神话就在于，你跑一千公里，然后有人出来说我认识一个人很聪明，他5秒钟就能跑完。。。。。
虽然听不懂，但是我努力假装能听懂😂
我觉得其实本质上不是理解，而是它就是力大飞砖的方式，根据训练素材在数字高维空间重建了现实世界，之后自然可以向前向后把现实世界进行重演。你就想象一下，真实的宇宙需要理解什么物理定理吗？根本就不需要啊，直接该发生什么就发生什么就好了
真实宇宙不是由基本物理参数和定理为基础构成的么
物理参数和定理，是人们根据现实，总结出来的客观具有的多种规律性的东西。但实际上，这些跟客观的复杂性，还没法相比。是先有客观才有的我们说的规律，而不是先有参数和定理才有的客观。@@ffffkkkk
我不认为真实宇宙要什么物理参数和定理。它就在那里，管你是不是去总结什么定理算什么参数，它自己按照自己的客观存在就自然发生了@@ffffkkkk
周鸿祎和你的观点略有不同，我认为他说的相对靠谱些，Sora是基于2D模型生成的，因为它已具备人类单眼视觉，连续平面视频画面的特性，通过视频可以看到有狗狗的毛发、雪、水等元素，搞过3D建模的人都知道这类元素计算量是非常大的（这里指的是3D模型转视频的算力，而不是AI算力），可以简单的理解为一个独眼人类即使从来没有立体空间视觉经验的AI，如果哪天Sora能输出双眼3D视频，我觉得都不会采用3D建模形式输出视频。
游戏引擎“虚幻引擎5（Unreal Engine 5）早就有类似的3D渲染了，众多3A大作都更新多少代了，有些游戏3060都带着费劲了。我个人猜测sora也差不多是融合了某些游戏引擎的技术进行3D渲染，只不过贴图素材是AI生成的仿真照片。我的意思是Sora没有视频作者说的那么夸张神奇，这没必要闻之色变。呵呵~
@@S2Zn看來你還是不了解sora強大的地方
@@S2Zn 你那些3A大作都是一眼假，显卡的3D渲染就算2077也假的不能再假了，如果sora拿出2077这种画面，绝对不会引起轰动的
我認爲不是“理解”，而是經過訓練得到的“預測”能力而已，當然，這很可能就是我們形容為“理解”的意思。
科普讲的很好
2：05这个视频感觉就是动漫里只有主角在动，边上配角都不动的。
这跟人脑是一样的，没有学过任何物理的人，也能闭上眼睛想象一只杯子落地的过程。但是大多数人不是真的懂物理规律。人脑能够想象出常见场景，但是超出直觉的物理现象，就要研究物理知识了。
很好奇sora,可否產生昨晚遇到漂亮的紅衣女鬼的情況，它裡面的鬼長怎樣呢？
训练用的视频改用3D格式的视频，数据只增加一倍，但AI应该就可以获得更精确的3D理解能力。
这个视频处理的 Patch，好像 Occupancy Network 啊。。。
我開始相信我們活在一個虛擬的世界裡了
这个功能有什么稀奇的吗？ 我没觉得有什么了不起。大力出奇迹
谁能告诉我，大刘到底是做什么的？！！啥科技都能聊的这么细，这么深！不会是AI生成的吧？
以前是科技新闻记者，他有一期讲过自己背景。
还是随机带权重的predictor，做不到稳定。
有没有必要充值plus？
科技奇點真的到了 以後看電影都是AI生成 連遊戲裡面的NPC都擁有自我意識了
佛说:虚幻
奥特曼前几天说openAI开发SORA的目的不是想作视频生成软件，更是为了自动产生海量符合现实世界物理规律的高质量视频，用于训练AGI。当前可用于训练AGI的高质量视频太少了。
一旦成功，那么游戏中的NPC都会获得AGI的意识
@@zhchbob 那么以后进入元宇宙，没有虹膜识别，都分不清哪些是npc哪些是真人了
何止是电影这种预制的画面, 应该就是Matrix那种了. 所有东西都是ai实时交互创造的.
奇点个屁，现在离强人工智能还早呢，连影都没有，都是基于大数据的演算法！
感谢学习了
AI不是个人开发者和小团队能够玩得起的，个人和小团队上哪弄那么多资料给它训练，还有硬件成本，都是钱砸出来的。我学机器学习就白学了，只懂原理手里没资源，啥也弄不来，没东西给它训练最后也是白搭。最后选择接入OpenAI这种大公司的接口了
看来视频创作者的福音
它即将生成3d影响,头戴式穿戴设备将有非常丰富的资源用来欣赏.
看了大量物体的跌落，AI可以发现出万有引力定律吗？
确实有其他ai通过观看影片自己建立了一套“物理法则”
这直接可以制造新闻了，人类的辨识能力有需要提升啊
如果算力足够大 现在的这些3D游戏引擎就没用了 直接都是 photo realistic 啦？！
簡單計算一下，需要上千上萬倍的算力才能取代。（機房vs個人顯卡，一秒60張vs sora 單幀輸出時間）
国内有没有专注于算法的上市公司😉
想知道能不能色色
這不是人工智能覺醒，我覺得這是取代一份工作的朝向，人工智能覺醒是取代人不想做的事和危險工作，不是先挑"軟"的吃，而覺醒方向就因該先理解人類世界和物理規律這個方向學起，若只是從2D圖面和文字學習感覺這連覺醒邊也勾不到，從看畫面學習是很難理解現實世界的物理規律，魚能飛上雲上面和大樓與大樓間嗎? 所以這就只是產出一個能代提某人工作的工人還有補上一句話，世上沒有人人都富有的，有人富有就有貧窮，有人領多就有人少領，電腦補上這個工作就會有人失業，AI人工智能覺醒是能招換出世界偉大人物出來演講的，AI人工智能正真有價值的地方是預判事物的走向、注意提醒和找到跨越3D捷徑的聯繫點出來，而覺醒的順序因該會先出現實體活動機器人收集大量真實世界的物理和材料多方面的數據分析之後才會出現覺醒人工智能，不可能從腳踏車後下一個就接飛機了，中間一定會先出現車子和船的事物等最後才會是飛機和火箭，所以若是費盡7萬億心思在這個方面發展恐怕是不值得
现在就坐等openai推出文字/图像生成3d模型了😊
话说那个16倍的狗为什么有一种模特走T台的幻觉😂
深度信息也是从海量的视频信息中学习来的，因为这些学习的视频都是基于真实物理世界的，所以sora也学到了怎么画这个真实世界，但如果把ai生成的错误的视频给他学习，他也许就会学“坏”了，是这样把？😃
神经网络模型的底层逻辑是用非常多的直线(y=ax+b)再通过变形(如relu,sigmoid)叠加去拟合目标函数，这让它有强大的能力去逼近模仿要学习的目标，但这种叠加拟合机制也决定了它很难很难真正建立和被模仿对象完全一致的目标函数。所以sora可以逼真的模仿很多物理现象，但很难说它是真正学到了相对论和麦克斯韦方程组等物理知识
有木有那种文字生成3d模型的ai。我是说成熟点的。
Model X
说明openai有了强大的想象力
生成视频没什么了不起，能生成世界那将来可想而知
有没有可能是transformer先对各个物体3D建模，生成单独的连续动作，再把这些物体组合到一个场景里去渲染呢？
厲害
叫sora看了几千万的星球运动 sora可以给出运动方程和相对论不？ 不行 那就是没理解物理
只能说有物理引擎的部分能力或潜在能力，还需要堆算力，精调，等等。但是这至少说明了openai 是有很大技术冗余的，就像从零到一书里面说的那种假装有人竞争，实际已经垄断。
等商用版再了解。
我有很多有码视频。能帮忙用AI恢复吗
02:11 可以感到违和的感觉。但是可以看出这还真的挺危险的。如果太真实无破绽，犯罪的人就变得更多方法搞事情
以前看過倪匡的超級電腦就是這樣，他可以操控畫面像素達到自己想要的畫面，想不到現實中真的可以辦到啊，生活在這個時代真幸運。
This product is not for the average Joe, like you and me. The technology could be used in different scenes, though. However, whoever wants to monetize this application will be disappointed, unfortunately.
这个物理引擎的想法可能是大刘自己加上去的，Sora的设计者估计没有这个目的，属于AI自然产生的一个效果。这个效果就是AI通过从大量对物理世界的观察得出的自己对物理规律的一个“认知”，这种“认知“能通过视频反映人类司空见惯或需要几代人才发现的物理定律。比如它观察到一杯平静的水是大概率呆在杯子里的，只有小概率会自己跑到杯子外面，这个概率小到在接近无限长的时间里不会发生，这个和量子力学的理论不谋而合。Sora可能不明白这是为什么，但它能模拟并表达出来。这对使用它的人类来说就够了。
深度信息：特斯拉😅
🎉
给你点个赞
科普知識與腦補內容. 就跟舌頭與口水一樣混沌糾纏不清...
本期视频也是由sora生成的！
我更倾向于它只是找到了素材像素的共性
以后每个人都能随意创作一部电影，不用编导摄和演员，只需打入文本就能出品一部电影，太可怕了😂
问题是 为何不直接操作3D模型
机器对于现实世界有理解能力，太恐怖了
马斯克的特斯拉比目前这些生成视频早了很早就生成视频了，只不过特斯拉生成视频是用于汽车驾驶。
重要性：人才，數據，算法。
科技革命要来了
坐等量子計算機量產問世：幾十萬塊顯卡？幾億元的芯片？？我想說在座的各位都是弟弟😂😂😂😂😂🎉
只能說 未來的著作權大戰 跟 專利蟑螂 會有得搞了.....然後回到最初....
也许我们这个世界连虚拟都不是，单纯只是某个高级文明的ai里正在生成的一部视频😂
而這個視頻生成出的影片時間是137.87±0.02億年 我們現在能生出一分鐘
@user-fe6xb6my9x那个文明时间概念和我们不同
@@020239a 影片也未必是从宇宙诞生直至现在，就如一部电影，也不是每一部都从宇宙诞生说起。不过，这样更细思恐极，你不知道这个“宇宙”何时诞生，何时结束，搞不好下一秒就完结了。
影片也未必是从宇宙诞生直至现在，就如一部电影，也不是每一部都从宇宙诞生说起。不过，这样更细思恐极，你不知道这个“宇宙”何时诞生，何时结束，搞不好下一秒就完结了。
你这种症状持续多久了？
劝你先了解一下游戏引擎“虚幻引擎5（Unreal Engine 5）”再感慨Sora吧！😅
不是一回事……
一个是基于深度学习一个是基于计算机图形学
这是不是前几天OpenAI创始人说的需要7万亿美元做芯片的原因？！
就是，堆算力
不是，他们要摆脱被英伟达芯片掐脖子。反正自己的需求量这么高，不如自己造芯，总比用溢价这么高的英伟达芯片划算。