什么显卡能让ChatGPT跑在本地? 计算卡语言模型性能分析

相信最近不少玩 ChatGPT 的小伙伴经常碰到输出速度慢, 甚至是平台算力满载的情况. 与此同时 ChatGPT 加持的新版 Bing 又处在排队中, 这说明大语言模型的应用是建立在高算力和大显存的基础上.
那什么显卡能跑得动 ChatGPT? ChatGPT 资源的瓶颈在哪里? 今天这期视频就来分析一下
#chatgpt #nvidia #bing #openai
Bilibili: space.bilibili.com/546418
Twitter: / luvletter_moe
【赞助本频道】
Netflix/GPT-4/Midjourney/Apple TV+合租车: universalbus.cn/r?s=UTEf6cF0Of

[@user-lf4ir3mp2f]

不错的科普视频

[@augvizxie3833]

自己建應該比較不會變敏感問題查詢器

[@user-hy2ew2gi5z]

好像新卡不支持吧，我让得有人测过chat2啊，配在本地用的A100

[@nikochen7335]

个人笔电产品使用chatgpt和衍生的软件，是win的独立显存加x86架构好,还是arm版本的Mac OS 好，甚至是iOS更合适？

[@kit00001]

chatgpt跟你硬件性能没有半毛钱关系,硬要说吧,就跟你网络有那么一丢丢关系,所有平台都不见得有啥很大区别

[@ziyuWang-zx7it]

@@kit00001他说的应该是未来本地化小模型

[@kahoutam8817]

抛开算力不谈，有一个问题是像chatGPT等大模型openai耗费大量的数据以及金钱去训练，本地使用的话是否需要获得整个模型的权重？因为模型的价值应该也要保护，感觉比起算力，这个可能更难解决，就算诸如现在的联邦学习等，都是保护了用户的数据，但是用户还是拿到整个模型来本地训练，因此模型的保护可能比算算力更难解决。

[@anthonytao1586]

当然需要训练结束的权重的，不然你拿不到权重等于需要自己从头训练这个模型，这个个人根本做不到。所以想要本地跑起来，简单来说就是如何把模型权重和模型本身塞进显卡里。

[@user-bc4ln7qv7m]

应该可以用专用集成电路吧，不一定GPU，我记得证券交易所计算就是专用集成电路

[@user-bc4ln7qv7m]

类似比特币矿机算力卡那种东西

[@hoovoooo]

如果那样的话 英伟达不应该一块GPU那么贵

[@lingstein3500]

从A100等高性能GPU被限制出口中国来看，国内这几个叫嚣很快推出自己的ChatGPT的公司从算力实现上也很难办到(?)

[@xy5572]

恐怕这几个公司首先要考虑的是什么问题不可以回答

[@meisnood]

中国的只能算一半。遇到敏感话题全部XXX。

[@jameswoolf1440]

能出口，中共给白宫塞了钱，美国商务部给了一年缓冲期

[@lingstein3500]

@@xy5572 在算力上来看这比chatgpt的要求更多，墙内公司更难做出来了😝

[@xy5572]

@@lingstein3500 所以说百度阿里腾讯还是老老实实的送外卖和互联网借贷比较好 专业的事请让专业的人来做

[@jiabin26]

就是有马没“通宝”！ 他们要换卡卖是他们的自由！

[@user-sv4ge2yg5v]

我个人反倒是认为ai领域硬件和软件都有优化空间，反正才发展了十几年，说不定过几年又有新东西横空出世了。

[@chenlifox]

怎么感觉苹果的方案好像有本地跑得动的未来啊

[@user-znr8my9ygs6wgd4]

還真的

[@tennyluo2516]

今天反过来看 林亦LYi刚出的Mac studio在AI领域能和英华达扳手腕，就很搞笑

[@leech6579]

永远都是供耗问题 你性能提升 一定要够电 够散热 能源电费涨了 电源供应器也要涨价 根本是个恶性循环

[@user-se5jv2fn2d]

口齿太不清了。。。