- 10
- 144 270
AlphaArea KCORES
Hong Kong
Приєднався 5 чер 2014
半块RTX4090 玩转70B大语言模型
自ChatGPT发布以来，隔三岔五就有人宣称又在多么没门级的硬件上成功运行了大模型
但只要点进详情就会发现要么模型小得可怜，要么速度慢得没有实用价值
而我的目标是，半块RTX4090的预算，70B档次的量化模型，以及与在线AI相当的流畅对话！
KCORES 网站:
kcores.com/
Electronic Scavenger AI蕉滤群:
699387899
KCORES github:
github.com/KCORES/
但只要点进详情就会发现要么模型小得可怜，要么速度慢得没有实用价值
而我的目标是，半块RTX4090的预算，70B档次的量化模型，以及与在线AI相当的流畅对话！
KCORES 网站:
kcores.com/
Electronic Scavenger AI蕉滤群:
699387899
KCORES github:
github.com/KCORES/
Переглядів: 13 503
Відео
省到离谱，比树莓派还省电的x86主板--Wyse5070
Переглядів 84 тис.Рік тому
熟悉KCORES的粉丝都知道，比起绿色环保的低功耗平台，我们更喜欢廉价的起夜级垃圾 但是 如果有希望挑战最省电的x86平台呢？ DELL Wyse 5070，挑战极限！ 相关文档：github.com/KCORES/KCORES-5070 交流群：655944532
ECC内存究竟有多大用？NAS真的需要ECC内存吗？实测数据告诉你
Переглядів 14 тис.2 роки тому
工作站要ECC，NAS要ECC，软路由也要ECC 但是你真的见过ECC纠错起作用吗？ 或者说，你真的需要ECC内存吗？
1元10瓦 垃圾佬的超级ATX电源
Переглядів 15 тис.3 роки тому
选电源一定要1块1瓦? 我要1块10瓦! KCORES CSPS to ATX 转接模组，120 块 1200W 的超级电源 RGB, 风扇转速调节, 图形化监控/控制界面一应俱全. 感受顶级垃圾佬的奥术! 本次硬件及Arduino程序由我开发, 监控软件由 Karminski-牙医 开发 KCORE HomeLab交流群 826702309 开源项目地址 github.com/KCORES/KCORES-CSPS-to-ATX-Converter KCORES官方网站 kcores.com/
软路由 NAS 低功耗电源方案怎么选
Переглядів 5 тис.4 роки тому
追求极致省电的软路由和小型NAS功耗通常不超过50W 而常见的ATX电源在超低负载下效率并不好看 怎样才能极限节能？ KCORES 氪金核心 kcores.com/ HomeLab 交流群 826702309
dual port 10GBps NIC costs lower than 2$ !
Переглядів 1,9 тис.4 роки тому
本视频制作于2020年2月底 二手硬件价格变化快，是否仍具购买价值请自行判断 OCP to PCIe Adapter have been open sourse. github.com/KCORES/OCP2PCIe HomeLab交流群：826702309
Bad Server!! Watch Bad Apple by potato Server
Переглядів 6184 роки тому
程序控制硬盘柜fault灯播放Bad Apple Use python control hard disk fault LED to play bad apple 本视频拍摄过程中没有硬盘受到伤害 No hard disk was harmed
如何科学地启动硬盘
Переглядів 2,7 тис.4 роки тому
由于电机的特性，硬盘启动电流会远大于标称电流。 但是这个电流有多大？NAS与硬盘盒需要准备多大的电源？ 让ATX高速采样电流计来告诉你。 如果你也是 务管理器数框狂人，喜欢HomeLab硬件，想部署家庭IDC 欢迎加群：826702309
NVIDIA P106 Teardown & Extreme Overclocking for 3DMARK
Переглядів 1,2 тис.6 років тому
NVIDIA P106 Teardown & Extreme Overclocking for 3DMARK
大佬太强了，深入浅出，简明易懂
原来是靠二手的服务器来玩，关键是软件编译能力
已经全换了ecc内存，死机蓝屏概率几乎完全消失，唯一缺点是价格比非ecc内存贵50%
厉害，原来还能这么玩，我现在只是租显卡玩一玩，但我发现一块4090已经不够玩了
我怎么不相信呢😂
2:52 這麼燙就別摸啦~
70B的模型还是有点弱智，怎么最高性价比弄460B的模型？
你好，以后把背景音乐声调小一点好吗？都听不清说话了
你们这种科技类的视频，其实根本就不应该配背景音乐，太吵了
没看到700的，都过千
光是那顆2000瓦就值2000了吧
ua-cam.com/video/DAXVSNAj6GM/v-deo.html
pcie的v100可以用这套方案吗
可以, 就是太贵了, 不然我都想直接插满V100的
你好!我剛買了4028GR-TRT2 ,我試著用 UEFI mode啟動 PCI-e 接上的NVMe 4TB M.2 SSD, 雖然ubuntu server安裝過程的可以順利完成, 但系統無法啟動, 請問4028GR-TR2可以用pci-e 上的NVMe M.2 啟動系統嗎?還是這台機器只能用傳統的2.5吋SSD 啟動作業系統? 麻煩指點我一下, 謝謝!
超微X10世代不支援NVME啟動，一定要用NVME做啟動碟的話需要修改BIOS韌體刷入
@@AlphaArea 另外這台風扇真的很吵, 有沒有針對這台機器推薦的風扇型號可以替代這8顆風扇?
@@ti1272 只要不怕顯示卡過熱, 可以用ipmi指令手動調速
我還是掏卡給groq了,不是顯卡,是信用卡
大哥 gpu p2p和有没有pcie switch没关系
intel CPU的PCIe端口間P2P性能普遍有問題，個別型號還有嚴重問題。避坑最簡單的方法就是上顆PCIe Switch啊
閣下的玩具起飛的聲音 ... 怕怕. 不過真的多謝資訊. 非常有用😊
請問下那張OLD MASTER設計的擴長卡有得賣的沒有？如果GPU用AMD的是否也能這樣用？謝！
这是个开源项目 oshwhub.com/malong/PEX8796_PCIE_GEN3_24PORT_Switch 在闲鱼应该有商家卖成品
@@AlphaArea 好的謝謝
可以混搭顯卡嗎 3080 ti 12G 搭 3060 12G 或 P100 之類的
llama.cpp及衍生軟體支援的就是這種混搭。永遠只能同時用到一顆GPU，無論加多少顯示卡都只加顯存不加速度，而且一塊速度慢的卡加進去就能把速度帶崩
@@AlphaArea 懂了，謝謝！
感謝分享！！想請教一題，StableDiffusion這類生成圖片、影片的模型，也可以透過這樣的方式，來達成高顯存需求的單一推論工作嗎？感謝您解惑：）
StableDiffusion画图直接买24G显存的显卡就行了，上不起4090就上3090。还没到单显卡性能的瓶颈，所以没人优化多卡运行
@@AlphaArea 想問是否是做得到的呢？因為在嘗試影片的生成，長長超出ＶＲＡＭ線限制，目前用A6000 48G，如果再上去就是H100那種了，所以才想請教看看多卡運行的可行性：）
@@彭瀚賢 現在也有支援多卡並行的高效圖片/視頻生成框架 xdit-project/xDiT, 但是不確定對老顯卡支持如何, 我還沒有試
精品
P4能玩点啥，自己玩小模型就可以了。
P4基本就是个节能版P40，用ollama试试能跑什么算什么
為什麼不用gemma 2 27b能力接近llama70b的
gemma能出2，llama后面也会出4的嘛。我刚开始研究这套服务器的时候还只有qwen1和llama2呢。 综合来说模型还是越大越好的，只是新训练技术一般都会先在相对小尺寸的模型上应用，所以会呈现出交替进步的效果
PC的畫 有PCIE 理論上也是可以走這種只是 模型host 要換成影片裡說的那個 還有機殼跟散熱要可以支援雙卡 感謝分享
P100是pascal架构，他的半精度运算好像pytorch不支持
如果想要pytorch的混合精度支持，好像起码得是volta或turing架构
另外一些研究：2080ti（图灵架构）开始，消费级显卡就阉割了基于pcie的p2p功能，只能用nvlink（只能两张显卡）。老卡p100（帕斯卡架构）是支持基于pcie的p2p的。
所以说，如果你打算买p100这系显卡的话，那视频里推荐的基于pcie switch的4028gr是个好选择。如果你打算买更新一代的消费级显卡，那还是买直连pcie的7048gr。
现在追求高性能的推理框架基本都是丢开pytorch自己实现的，所以不太受这个影响
@@zesenqian1591 消费级显卡也别买7048GR，跨CPU的内存访问仍然会严重增加延迟
沒什麼用，只要系統穩，都不會藍屏，我的 NAS 從來就沒當機過，電腦只有超頻才有機會當機，正常使用都很穩定，當然跟電源供應器的品質也有關係，不好的供電也會造成當機 !!
可以用Speculative Sampling达到更快计算速度
可以可以 私有化模型
这个视频出来，P100小黄鱼要涨价了😅
剛剛看閒魚，P100-16G已經超過1000人民幣一張了@@
请教UP，没搜到4028GR准系统好价，求个关键词。另外4张卡用7048GR怎么样，准系统不到2600。
7048GR上的4块显卡分别连接在两块CPU上，通信延迟超级高。属于前AI时代的遗留，不适合跑现在的多卡并行推理
@@AlphaArea 注意要买4028GR-TR2，主要的8条pcie插槽都是从单个cpu引出的。如果4028GR-TR的话，主要的8条pcie是用两个cpu分别引出的，那这两组显卡之间的延迟只会比7048GR更高（因为PLX）。另外注意，20系开始的消费级显卡已经不支持基于pcie的p2p了（除非nvlink）。所以必须要通过cpu中转。
@@zesenqian1591 谢谢佬儿，看来只能选"战斗机"
@@AlphaArea 多谢佬儿，原来差在这儿了！
我自己有台双路e5 2699v4 ,最后只能搁置，这个方案国家电网合作伙伴加24小时不间断直升机了。 4090vram 又太小。 没钱玩玩，可以去买16g 的a770, 便宜，玩玩也没问题。 中等玩家，mac studio 大内存才是王道，设置简单，速度够用，电费少。高端玩家肯定是计算卡走起。
AI又不是NAS需要一直挂机下载，用的时候再开就行，电费哪有那么吓人。Mac内存大但速度太低，只有在MoE模型上有不错的速度体验
@@AlphaArea 你炼丹不是以小时就算？还是那句话，炼丹的人找替代方案几年了，要是这个方案真实用，你根本捡不到这么便宜的矿渣…
@@ufoformdad5845 一开始就说了只推理不训练, 你这是一点都没看就硬杠啊
看了前10s, 就知道是三朝矿渣 特斯拉。这玩意可以和580一起载入矿史了，而且本身不带视频输出，不带风扇。所以上服务器或者工作站还需要额外一张支持dx12 的显卡。 算是发热电费，我只能说大聪明。 哪有这种好事，这个方案在圈内早就被否决了，除了剑走偏方的垃圾佬，不会有人选这个方案的。
算盤不要背在背上，不能忘本還要舉一反三才能，自己買一個0.5歐姆以下的一百瓦以上的功率電阻然後量電壓就可以了，計算好電阻大小甚至可以直接電壓數字轉換電流，這是萬能電流計也是電錶裡面的設計
4:53 看起來這個方案不需要支援Nvlink，這是不是代表可以用多張4060Ti而非P100? 4060Ti一樣有16GB VRAM，浮點性能更好一點，功耗更低，也沒有公版計算卡那種超吵散熱問題，雖然比較貴，但拿來玩推理或許也是一種解方?
4060Ti是牙膏倒吸的一代，VRAM带宽还不如3060，不适合跑AI
@@AlphaArea 那用3060呢，有没有可能把噪音压制在能够使用一个房间隔离的程度，甚至可以放在同一个房间不感觉吵
@@asdjkm2484 为什么不省点钱买2060 12G。2060是这期视频的备选方案，但是我实在是不想碰矿渣，加上考虑到VRAM没ECC就没搞
@@asdjkm2484 3060太慢，不如P100改散熱，想省心省力可以考慮3090礦渣，但貴而且是礦渣
太神啦XDDDDDDDDD 6:52請問那些解除限制的模型該怎麼找呢? 影片中只看到一個 Liberated-Qwen1.5-72B 我目前希望成本再更低，回答速度可以捨棄，所以我用一套64GB RAM的洋垃圾配P40，windows會自動劃分一半的RAM，也就是32GB給顯卡借用，這樣也能跑70b大模型，比CPU快不少，很便宜，整機大約6000台幣而已，約1350人民幣。 能跑，能用，但真的超級慢XDDDDDDDDDDDDDDDD
Uncensored ai model 搜尋
huggingface上会有一些個人或組織做解限模型，這你只能自己找。 P40的問題是幾乎只能用llama.cpp和那些基於llama.cpp二次開發的軟體加速。而llama.cpp本身就不是個高效能框架，他們更喜歡搞各種平台的移植。所以P40也就只能一張卡玩，多張P40除了顯存大以外真的慢到沒辦法玩。
Uncensored ai model 可以找到
@@jessishandsome 謝謝
Spectral Compute宣布推出“SCALE”，这么说起来AMD的gpu也可以尝试尝试了啊
太大，太吵了。。。本还想弄一台玩玩来着，被这个起飞的声音劝退了
我只弄了一張p40隨便玩玩，由於原裝散熱模組的限制，全速運行時散熱風扇聲音一定很吵，因為進氣口就那麼點大，如果要玩tesla計算卡又想要安靜的全速運行，一定要有改卡的準備。
放到另一个房间里
我是阳台机房
你可以泡著
所以非ecc内存，组的PVE伺服器，平常16G(8G*2)跑满(不超频，容量跑满)长期并不会出问题？ 一般本喵7*24h让它运行着，每周概率维护一次
促進消費😂
How dare you.
功耗這種東西 對於筆記型電腦才會有意義
在软体来说 ECC 有没有对软体的崩溃 产生一定的帮助 是一个大问哉 因为如果软件本身的编码 就写的不好 那有ECC 还是依然会崩溃
听到了一个新的单位“一蜗牛”
垃圾佬前来膜拜膜拜，大佬玩出花来了。服务器电源白菜价，但转接板价格略贵些，网上贩卖的转接板和你的还不一样。请问大佬的转接板弄下来成本大约多少（除去电源）？另外PMBus是需要接arduino开发板才能玩？
幽默感很赞！
感謝分享
很實用
刷了提供的修改BIOS ,開機只長亮白燈，不能開機，能解決嗎？
花了四十美刀在ebay 買了一台全套Dell wyze 5070，Intel 寫的參數是最大8gb內存，我換了32gb (2x 16gb)既然工作的很好。
How dare u 😂😂
爱了，这么认真的
愛上封面女孩兒? 🤣🤣🤣