Rechenpower wie bei OpenAI - auf meinem Schreibtisch
Вставка
- Опубліковано 8 лют 2025
- === Anzeige / Sponsorenhinweis ===
Nutze den Code ct3003 unter dem folgenden Link, um einen exklusiven Preisnachlass von 60 % auf ein Incogni-Jahresabo zu erhalten:
incogni.com/ct...
=== Anzeige / Sponsorenhinweis ===
► Wie sich dieser Channel finanziert: • So bestechlich sind wi...
Das ist wahrscheinlich der krasseste PC, den ihr je gesehen habt. Der GH200-„Superchip“ mit Nvidia Grace-CPU und H100-GPU - und das alles im Desktop-Gehäuse!
Links aus dem Video:
► Ollama: ollama.com
► PyTorch mit CUDA Docker-Container: hub.docker.com...
► Der GPTShop aus Unterfranken: gptshop.ai
► c't 3003 unterstützen mit einem heise+ Abo: www.heiseplus....
► DER 3003-HYPE-NEWSLETTER: ct.de/hype
Mehr von uns:
► Alle Newsletter von Heise: www.heise.de/n...
► Hier geht es zum c't-WhatsApp-Kanal: whatsapp.com/c....
► Keno auf Instagram: / elektroelvis
► c't Magazin: ct.de
► und TOTAL CRAZY auf Papier! Überall wo es Zeitschriften gibt!
► Credits:
Konzept & Redaktion: Jan-Keno Janssen
Schnitt: Sahin Erengil
Host: Jan-Keno Janssen
Der angegebene Preis ist ohne Mehrwertsteuer, mit 19% sind es 38080 Euro.
Etwa auch der Preis eines PC mit 486er im Jahre 1989. Das war High End damals.
Dinge wiederholen sich.
@@Sorgenfrei6250 Für einen 486er? Niemals! Für eine SGI Workstation schon eher.
KI schätzt 22.500 EUR (inflationsbereinigt)
@@ct3003
Meine vorherige Antwort wurde gelöscht. Wahrscheinlich weil ich eine Quellenangabe hinzugefügt hatte.
Also nochmal.
Beim lesen einer "Happy Computer" von 1989 war ich als Teenager erstaunt über die Preise für 486 PCs in den Werbeanzeigen. 40.000 DM waren dort keine Seltenheit.
Wenn ihr ein paar Minuten eurer Zeit opfert, könnt ihr googeln, wieviel der 486er gekostet hat, als er 1989 auf den Markt kam.
Inflationsbereinigt sind 40.000 DM im Jahre 1989 etwa 41.000€ im Jahre 2024.
Mein 486-DX2-66MHz hat 1994 mit 8 MB RAM 3.400 DM gekostet. Inkl. Steuer und 15 Zoll CRT.
Das ist lustig, meine erste Reaktion war ein unmittelbarer "WILL ICH HABEN" Reflex. Ich muss dazu sagen, ich bin ALT, ich habe mit 12 Jahren meinen ersten Computer gekauft, Programmiert, mit Hardware "gebastelt", Informatik studiert, beim führenden IT Konzern gearbeitet ... eigentlich war ich (und bin) mein Leben lang Informatiker und daher ist diese erste Reaktion für mich auch ganz natürlich. Von KI bin ich besonders fasziniert, immer wieder stelle ich Überlegungen an, ob ich auch ein lokales... aber ich hab halt ein Leben UND einen Fulltime Job als Programmierer und spiele PS und XBox ... irgendwie fehlt mir die Zeit.
Und dieses Video hat es wieder einmal auf den Punkt gebracht: Selbst WENN ich mir 32k Euro "aus den Rippen schneide" - es wäre wahrscheinlich nur ein extrem teurer Staubfänger.
Danke Keno, dass du so klar und deutlich gesagt hast, dass man sich damit nicht die "all in one" Lösung einkauft sondern nur den ersten sehr sehr teuren Schritt in eine Welt aus Gefrickel und Frustration. Wenn man das "nebenbei" zu einem Fulltime Job und einem Leben machen will, wird die HW vermutlich veraltet sein, bevor man seinen ersten Erfolg mit dem Gerät erleben kann.
Danke! Aber wahrscheinlich ist der Hersteller von dem Monster jetzt auch "nur so semi glücklich" mit dem Review.
Keine Sorge, du warst und bist dein ganzes Leben lang Informatiker und daher ist diese erste Reaktion für dich auch ganz natürlich.
Und läuft Doom jetzt darauf?
Neh..nur Pacman 🤫
Hähä. Ich empfehle in solchen Fällen, in der älteren Verwandtschaft nach alten PCs zu fragen. Kostet nich so viel... 😁
Ab Halloween gibt's Doom 3 VR mit PBR Shadern
Doom läuft als Sora-Version Realtime. D.h. die KI erstellt die Umgebung ☺️
Auch meine Frage 😂😂😂
Endlich genug Power für Paint.
minesweeper läuft auch mit 30 FPS☝
„Kuckt mal hier, …“ - ich liebe dieses Intro!
😅😅
Ach du meine Güte, mein Rechner hat maximal die Leistung von Opel AI die Arm Architektur habe ich nur auf meinem Konto.😂
😂🤣
Super Video. So bekomme ich auch als „interessierter Laie“ mal eine Idee davon wo die Grenzen liegen bzw. wie speziell spezielle Hardware für spezielle Spezialaufgaben eigentlich ist.
Deine Kaufberatung für teure Hardware finde ich super. ❤👍
In 10 Jahren ist das auf dem Raspberry Pi X dabei 😂.
@@guido_aka_guy never
Das Gehäuse erinnert mich stark an den ersten Mac Pro, sehr schön 👍
Stimmt, kam mir auch in den Sinn.
Käsereibe lol
Schön?? 😂
InWin Dubili, wird zerlegt verschickt. Gibt interessante Videos von Gamers Nexus aus deren Designcenter, sehr kreativ.
@@Streber2000 Danke, schaue ich mir mal an 👍
Ein Computer löst Probleme, die wir ohne ihn nicht hätten 😂
Zumal wir unsere Fehler _mit_ Computern jetzt und immer mehr noch viiel schneller machen können.
But Can It Run Crysis?
CS 1.6 tauglich =)
Can it run Doom?
C64 Emulator?
GPIO fehlt sicher auch :)
Na ja eigentlich ist es ja die H100 hier den Kohl fett macht, sprich aus dem Rechner Ram&GPU herausholen und in ein AMD EPYC oder XEON mit Linux verbauen - und schon sind alle ARM basierenden Probleme einfach mal weg.
Und das die H100 alleine schon für 30k+ gehandelt wird kann man die NVIDIA ARM-CPU auch einfach wegwerfen ohne Verlust zu machen ;-)
Schön zusammengefasst.
oder man hat die entsprechende Software von den "Kollegen"...
Stimmt nicht ganz da GH200 ein komplettes Paket ist und dementsprechend deswegen nur zusammen ausgeliefert werden kann, empfehle dir zur weiteren Information die Webseite von Supermicro und deren MGX line up, dort kannst du das wunderbar sehen :)
VG
@@HeNryous Wie bidde? Die H100 ist eine "normale" PCI Karte die kannst Du aus dem System raus rupfen und in jeden normalen PC einbauen. Und hast Du mehr als eine dieser Karten kannst Du die mittels NVLink koppeln. Nur die Supercomputervariante H100 SMX kannst Du so nicht verwenden, die steckt hier aber nicht drin. 99% der beeindruckenden Leistung des Rechners basiert auf die H100 - der ARM Rest - schön, aber geschenkt - die 1000 Euro für ein leistungsfähigen PC hat man dann auch noch.
@@I_love_our_planet die H100 selbst schon als PCIe Variante aber die GH200 nicht die kommt im Paket
Für 32k EUR (+MwSt) hätt ich erwartet, dass mir der KI-Rechner selbst erklären kann, warum er das Geld wert ist.
Ganz schlechte Geldanlage, will nicht wissen, wie hoch der Wertverfall nach 1 Jahr ist 😉
Du kannst das ans internet hängen und 2€/h verlangen. Sind dann fast 18k€ pro Jahr die damit einspielen könntest. Also nach 2 Jahren vermutlich abbezahlt. Naja vielleicht nicht mit dem deutschen Strompreis aber in vernünftigen Ländern mit guter Energieversorgung schon.
???? Sorry aber du siehst scheinbar den Mehrwert dieses PCs nicht, anders kann ich mir deine dumme Bemerkung nicht erklären. Wer sich so einen Rechner kauft der geht über die Leistung pro Minute, heißt jemand der Aufträge abarbeitet verdient am Tag viel schneller sein Geld als mit einem normalen Rechner der ewig für die Renderings brauchen würde, also ist es scheiß egal wie viel Verlust man nach einem Jahr macht, wenn man eh ein Zetliches Arbeitsplus macht innerhalb dieses Jahres wegen der starken Hardware für renderings etc.
@@teLmi für jemanden wie in den Kommentaren der sich eine lokale KI bauen möchte für Zuhause. Das ist dann eher als "teures" (relativ) Hobby anzusehen. Dort spielen kosten oft zumindest in Form von Wert-Verlust auch keine Rolle da andere Dinge im Vordergrund stehen.
Nette Bitcoin Mining Maschine…
@@teLmi Hat hier recht. Der Wert eines Werkzeugs wird über die nützlichkeit definiert. Wenn ein 30.000€ Werkzeug einem Umsätze in 50-100.000€ höhe erstellen kann, ist das ein gutes Investment. Lohnt sich halt nur für die, die damit auch Geld verdienen ;)
Und ich freu mich gerade über einen frisch eingetroffenen raspi 5…😂
Back to the roots... Weniger ist mehr Spaß!
Da gibt es jetzt auch eine zusätzliche KI Hat
Sollte mich wundern, wenn der Rechner 32k kostet. Die H100 allein in der 80GB Version kostet bereits so zwischen 37k und 50k. In dem Shop stehen auch so "technische Daten" wie "Perfect for LLama 3.2" statt welche GPU da drin ist. Die Konfiguration, die er da hat dürfte eher um die 100k kosten.
Gerade mal nachgeschaut, das steht bei der 32K-Version ganz klar „Nvidia H100 Hopper Tensor Core GPU“.
@@ct3003 So steht's tatsächlich beim Checkout ganz am Ende. Allerdings ohne Steuern, was natürlich üblich ist für Geschäftskunden. Also ein Stück teuerer ist's dann doch, aber selbst mit Steuern seltsam "günstig".
Wenn Rechner den lokalen Stromanbieter glücklich machen. 😂
Hab jetzt eine zweite gebrauchte RTX 3090 aufgerüstet und bin bei 48 GB VRAM und 80 GB RAM - alles gebraucht. Mal sehen, was ich so an Token/s zustande bekomme und welche LLMs laufen. Bin noch am Schrauben.
Mit einem gebrauchen Supermicro H11 oder H12 gingen dann auch vier RTX 3090, wären aber nochmal ca. 2.5 k und ist sicher nicht einfach zu kühlen. Aber jedenfalls deutlich unter den 30k von Keno. Und man hat den ARM-Stress nicht.
kann man dann den Vram über pci e bündeln? Oder die aufgaben auf n GPUs + VRAM?
Evtl. Wasserkühlung sinnvoll?
@@MasterBoyZs Man kann die RTX 3090er zwar mittels NVLink-Brücke verbinden und diese können den Speicher dann gemeinsam nutzen, der Gewinn sei laut Tests aber gering ( ich hab es noch nicht gemessen). Auch sei die vergleichsweise langsame Anbindung über 4xPCI kein Flaschenhals. Allerdings laufen mittlerweile mit Ollama auch die großen Modelle auf der CPU und skalieren gut mit der Anzahl der Kerne. Mit meinem 12 Kern Ryzen hab ich mit llama3 70 ca. 1Token pro Sekunde. Mal sehen, was mit den zwei GPUs geht. Kann aber sein, dass immer noch zu wenig VRAM vorhanden ist. Wasserkühlung ist nicht so meins... Lieber Powerlimit und guten Airflow.
Quatsch, Hopper ist doch kein Mensch, Hoppa ist der gewöhnliche Sprachgebrauch meiner zweijährigen Tochter und bedeutet so viel wie "Pferd", so genau nimmt sie es da aber nicht, das Hoppa gibt es auch mit Horn auf der Nase ;-)
Viele Grüße,
Magnus
Gefällt!
Hättest du die H100 nicht aus dem teuren PC ausbauen können und sie in deinen privaten PC einbauen können? Dann hättest du die Leistung in deinem x86 System und das ARM Thema wäre kein Thema gewesen. 🤔
Ein maximal ausgebauter Mac Studio kostet ca 10000 Euro und bietet 192 GB Speicher, der dank Unified Memory Architecture auch von der GPU genutzt werden kann. Das Ding ist im Vergleich also 3mal billiger, kann aber mehr als doppelt so große Modelle laufen lassen. Und der Mac ist viel eher tauglich für das Büro oder Homeoffice, denn das Ding braucht maximal 295W.
Ein hochspezielles Werkzeug, würde ich sagen. Und in den Händen einer entsprechend ausgebildeten bzw. erfahrenen Fachkraft vermutlich für so einiges an Problemlösungen gut. Auf jeden Fall ist es interessant, eine solche Hochleistungsmaschine unabhängig von Serverfarmen oder Hostinganbietern betreiben zu können.
Sollte nicht eigentlich Freitag ein neues ct3003 VIdeo kommen? Ich krieg schon Entzugserscheinungen.
Ich nutze derzeit lokale KI direkt in Echtzeit 3D Anwendungen mit 7b 8b 9b Parametern. Das läuft sehr gut selbst auf meiner RTX3060 mit 12GB in erträglicher Geschwindigkeit. Auch die Einbindung von lokalen RAG Daten ist nutzbar. So bin ich komplett unabhängig und kann z.B. Schulungsprojekte damit umsetzen. Die Qualität der kleinen Modelle wird immer besser und ich war total überwältigt, als ich kleine Modelle in multilingualen Situationen eingesetzt habe. Mit den neuen RTX5090 und weiteren GPUs denke ich, werden die großen Systeme mehr und mehr uninteressant für den "normalen" User. Ob in Computerspielen oder anderen Anwendungen ist es doch am besten, wenn ich zuerst einmal die Daten auf meinem System behalte und nicht mit großen Firmen teile. Dazu kommt, dass die meisten Anfragen an eine KI oftmals von den kleinen Modellen ausreichend beantwortet werden können.
Die Kiste nimmt man eigentlich eher weniger für Inferenzberechnungen sondern eher zum finetunen/trainieren neuer Modelle. Für Inferenzberechnungen, eignen sich auch schon die Consumer-Karten hervorragend, sofern man das entsprechende Model quantisiert in den vRAM bekommt.
Sehr interessant ^^ danke für das Fazit ^^ 😊
So eine GH200 darf ich auch grade testen. Ist die zweitschnellste GPU die ich jemals in den Fingern hatte, kann 4TB/s VRAM Bandbreite. OpenCL go brrr :P
Meine FluidX3D Strömungsdynamik Software läuft da drauf out-of-the-box; kann sogar auf der Nvidia ARM Neoverse v2 CPU rechnen mit PoCL.
Welche Branchen arbeiten damit und welchen Mehrwert hat das für euch?
Endlich ein Pc der die Blumen richtig bewässern kann.
Hab' mal vor Jahrzehnten auf einer Silicon Graphics (SGI) Onyx CGI-Videos für u.a. TV-Sender gemacht (animiertes ARD-Logo und solche Sachen). Die Kiste war allerdings etwas größer und ein bisschen teurer. Und die Software fast nochmal so teuer. Fand's aber cool. Bis die Firma von Winzigweich gekauft wurde. Da bin ich dann mal weg gewesen. Heute würde wohl ein Telefon schneller mit dem Rendering fertig werden. Wir sind damals nach dem Start immer in den Feierabend gegangen und haben am nächsten Morgen nachgeguckt, ob's was geworden ist.
Mir erschleißt sich noch nicht so richtig, warum man so eine Kiste kauft. Nur für Sprachmodelle?
Eher Trainingsanwendungen, sowas wie kleineres finetuning (bspw lora)
@@ahsookee Ok, da habe ich echt keine Ahnung von und bin raus. Meine Zeit is' wohl vorbei (bin 61 und fand seinerzeit Novell Netware als Server-Betriebssystem besser als Windows Server. Aber dumals schon war es mir immer ein Anliegen, Software auf den Nutzer anzupassen und nicht umgekehrt.
Ich persönlich finde ja, das hat man heute irgendwie verlernt oder will es nicht mehr. Wie viele heutige KI-Sprachmodelle den Turing-Test heute bestehen würden, weiß ich nicht.
Aber ich weiß noch, dass alle die Modelle auf einer riesigen Datenbasis gründen, und die kommt nicht von ungefähr.
Es bleibt für mich das Grundproblem der KI: sie wird von Menschen trainiert, die etwas bestimmtes wollen. Und wenn die KI was anderes sagt, können Menschen das filtern, wie es ihnen beliebt.
Verzähl mal nix, Achim. SGI wurde nie, auch nicht teilweise, von Microsoft gekauft.
@@qapplor Hab' mich missverständlich ausgedrückt. Ich rede nicht von SGI, sondern von der Animations- und Renderingsoftware und der Firma, wo die Software entwickelt wurde und diese Onyx stand. Sorry.
@@achimklinkhammer_150 sry, du verstehst die grundlagen von KI nicht. es gibt unsupervised learning aber das hat nachteile. normales learning geht mit einer fehlerrate einher, du hast logischerweise ein ziel. das ist grundlage jedes klassischen algorithmus.
Wenn ich so einen starken PC hätte hätte ich denn dafür genommen um alle meine Videos in 8k 60FPS umzuwandeln damit die Videos Zukunft tauglicher sind
Irgendwie konnte ich mich nur auf dieses Haar konzentrieren, das da am Micro hing... 🤣🤣
Die 4090 hat "nur" 24GB Speicher. Ok 👌
Ja nur und die 5090 hat auch nur 32gb komplett lächerlich im KI-Zeitalter.
@@ratside9485 das sind gamingkarten.
Ne 10-Kanal-Lüftersteuerung mit einzelnen Potis versteckt hinter der Seitenwand eines 32k€-Rechners... Junge Junge Junge... Also in meinem Heimcomputer 😉 werden die Lüfter allesamt temperaturabhängig softwaregesteuert, und zwar abhängig von GPU- und CPU-Temperatur jeweils die, die dazu etwas produktives beitragen können... - Aber schönes Video. Wusste auch nicht, dass Arm schon dermaßen auf dem Vormarsch ist. 👍
Habe ich auch gedacht. 😂
... und softwaresteuerung ist so das schlechteste was man machen kann, sowas will man definitiv nicht in einem teurem rechner haben, da will man leistung der hardware und nicht irgendwelche software scheiße drauf haben die erstmal irgendwas steuern muss, so ein quatsch, gute hardware ist immer ohne software - lass dir das mal gesagt sein.
heute ist es ja eher umgekehrt und die hardware drosselt je nach kühlungssituation.
@@teLmi Hä? 😆Die Potis werden manuell eingestellt, das heißt, man hat irgendeine Lüftergeschwindigkeit manuell festgelegt, völlig ungeachtet dessen, wie hoch die Temperaturen von CPU, GPU usw. tatsächlich sind. Das ist nur eine manuelle Lüftersteuerung, statt einer automatischen Lüfterregelung, und somit haushoch unterlegen. Außer man stellt einfach alle auf Vollgas, dann wird es nicht zu warm, ist aber unnötig unfassbar laut.
@@FATPunisher und trotzdem wird industriell in großen Produktionen nicht wirklich mit Software für Lüfter gearbeitet. Man will von Haus aus ein funktionierendes System haben egal ob Software x installiert ist und eingestellt ist oder nicht. Verstehst du das ? Und gerade dort ist eine manuelle Steuerung viel besser. Das sind ja keine Gamer Betriebe die dann zocken, sondern daran wird gearbeitet und dann ist es Scheiss egal ob die Lüfter volle pulle laufen oder automatisch geregelt werden ;) Hauptsache die Leistung stimmt.
0:52 Ich hab absolut keinen Plan von Cuda oder ARM oder Supercomputern aber ich bin für mehr Suspense auf diesem Channel.
Die 0,5 Token/s beim 405B-Modell haben mich etwas entsetzt bei diesem Preis
btw ich find das alte c't 3003 Logo immer noch top :)
Ah, gut zwischen den Zeilen hingeguckt. 😙 Das alte Logo wird bald ersetzt.
Tjo, mega Computer gab es vor 15 Jahren
und um genau zu sein, ist das nichts neues krasses.
Es ist eben nur "stärker" geworden.
Solche Hardware kann man tatsächlich manchmal für den Heimbetrieb brauchen. Habe selbst noch eine Workstation von 2012 die mit 2 Xeon CPUs und max. 384GB Ram laufen kann.
Die Geschwindigkeit ist für heutige Verhältnisse eher dezent, aber tatsächlich benötige ich für meine Anwendungen mindestens 128GB RAM, damit sie überhaupt laufen.
In einigen Jahren kann man die "Supercomputer" von heute für einen wirklich überschaubaren Betrag kaufen. Meine Workstation lag im Vollausbau auch mal über 20K, heute kostet sowas
"In einigen Jahren kann man die "Supercomputer" von heute für einen wirklich überschaubaren Betrag kaufen"
Wenn Nividia keine Konkurrenz bekommt, würde ich das so nicht unterschreiben. Ist nicht so dass auf eine 4090 keine 48GB vram passen würden und die 24 haben wir jetzt seit wieviel Jahren?4?
Ich seh's wie du. Interessant aber im privaten Alltag unnötig. In den Rechenzentren stehen die Teile ja außerdem nicht als Single GPU Konfig herum.
In der AWS sind ARM-Prozessoren deutlich preiswerter und dafür auch noch schneller als die x86 Prozessoren. Läuft auch super stabil. Die Software muss es natürlich können.
Gutes Video und spannendes Thema , aber ihr macht solche spannenden Themen immer so kurze hastige Videos draus, wie eine geile Serie die nur 6 oder 8 folgen hat 😅 echt schade , nächstes Mal bitte für die Benchmark Fetischisten mehr vergleiche mehr zahlen und 1024 *1024 Bilder , bei dem Grafikspeicher kannste auch 2024*2024 Bilder direkt generieren ,also hier eine Liebe Kritik meinerseits ❤
Die Kiste ist was um Modelle zu erstellen. Aber sehr lehrreich
Dieses Gehäuse, ich brauche es!
InWin Dubili
Ist die GH200 das günstigste Basismodell für Workstations für 46.000€ oder die teuerste Version für 62.500 Euro? Die H100 gibts schon für 47.500€ oder gibt es da auch verschiedene Modelle? Wurde das gesponsert oder musstet ihr die rund 100.000€ - 110.000€ vom CT-Mag aufbringen?
Schade, dass die ARM-Unterstützung für zentrale Produkte wie pytorch noch nicht sauber ist. Damit fällt diese Maschine zwischen die Stühle. Tolle Leistung, aber nicht so richtig abrufbar. Die PCIe-Variante der H100 ist zwar sicher nicht gleich schnell, aber könnte unter diesen Umständen eine bessere Lösung sein. Wobei es bei diesen Karten noch relavant ist, ob man sie in einem "normalen" PC-Gehäuse auch gekühlt bekommt. Also nicht gleich losziehen, so eine kaufen und dann gucken, ob sie läuft. Dafür ist sie dann doch leicht zu teuer.
P.S: Die PCIe-H100 kostet einzeln etwa gleich viel, wie der gesamte Rechner hier.
Einfach nur geiles Video. Danke und gerne mehr davon!
Perlen vor die Rutzeferkelchen...😉Also, jetzt ich sag mal so. Das kam mir jetzt so vor als ob Du mit dieser Maschine echt total überfordert warst. Niemand sonst stellt sich so ein Teil mal einfach so in sein Büro, Spielzimmer oder Firma. Wer so was kauft der weiß warum und wozu. Und diese Video war nun wirklich keine Kaufberatung...
Nächstes Video : Guck mal hier... Ich habe diese Kiste als Homeserver umgebaut
Die Cuts werden Legendär ^^
mir hat der Doom spiel test gefehlt
so weiß ich doch gar nicht ob das für mich wäre
Hatte keinen Nerv mehr 😀
Danke für die Kaufberatung. Habe mir nun bei GPTshop einen Rechner für private Projekte bestellt
cooles video, passendes fazit. danke!
kann es sein, dass der ton bei dem video übersteuert? es kann an meinen einstellungen liegen, möchte ich nich ausschließen...
Junge, Du bist so cool😂 Danke für das Video👍
Ich habe vier 3080TI Grafikkarten und habe sie alle auf einem Server-Mainboard mit PCIe 4.0 x16 zusammen geschaltet und finde es ziemlich blöd dass die KI-Modelle dadurch nicht unbedingt schneller laufen. Stable Diffusion und ComfyUI können leider nicht mehrere GPUs gleichzeitig verwalten. Man sollte besser nach billigeren KI-Beschleunigerkarten umschauen wie etwa den Tesla P100, RTX A6000 und wie sie alle heißen. Also KI-Beschleuniger die 24GB oder 48GB verfügen. Wirst du ein Video darüber machen um einen guten Kosten-Nutzen-Faktor und die Gefahren für uns ermitteln?
Das spannende ist ja, das man in 10 - 15 Jahren diese Leistung in jedem 08/15 Rechner hat.
Ich verstehe immer noch nicht, wer da die Zielgruppe sein soll. Wenn ich mir als Firma so eine Kiste zu diesen Zwecken kaufe, dann stelle ich die doch dahin, wo sie hingehört - ins Rack im Serverraum und nicht unter den Schreibtisch.
Und für private Freaks ist das wirklich bisschen drüber, vor allem mit der Architektur, aus den genannten Gründen. Wüsste gern, wie viele von den Rechnern tatsächlich verkauft werden.
Wie immer ein großartiges Video, vielen Dank für alldie Arbeit!! 🙂
Joah, an dieser Stelle muss ich euch vermutlich mal meinen Dank aussprechen, dass ihr die Leistung dieses Computers nicht daran gemessen habt, wie schnell er Browserfenster öffnen, Websites scrollen oder Doom bzw. Minecraft (mit Mods!) spielen kann. Das wirkte ja regelrecht professionell.
Cooles Video, sehr interessant, wenn man keine Ahnung von Servern hat!
😁 Mit dem Supercomputer, kann man super Probleme lösen die man ohne, nicht hätte!
Ich bleib wohl noch´n paar Tage bei meinem -alten- *bewährten* x86 Win-Desktop.
Sehr spannende Video und Danke für das ehrliche Fazit, das meinen Haben-Wollen-Faktor für solche Workstations doch sehr reduziert hat 🙂. Die wichtigste Frage wurde jedoch nicht beantwortet: Can it run Crysis? 😉
Danke für den tollen Einblick
In ein, zwei Jahrzehnten kann das dann sowieso jedes Smartphone für 200 Kronkorken.
Bei uns in der Behörde gibt's Server mit solchen Grafikkarten.
Der normale Mitarbeiter bei uns, muss sich damit nicht herumschlagen,
weil diese Programme (ComfyUI, LLama, etc.) Webanwendungen sind.
Der ruft das einfach übers Intranet in seinem Browser auf. Basta!
Mich würde eher interessieren, wie man diese GPU-Hardware in die VMs durchreicht.
Oder noch besser, in einem hochverfügbaren, georedundanten, Kubernetes-Cluster.
Das wäre wirklich nützliche Info. Danke!
(Ach ja, und natürlich auch alles über das Thema R.A.G. 😉)
Du annotierst deine k8s pods mit node affinity, hast GPU nodes und assignst die einfach. Du brauchst aber für deine k8s pods zusätzliche Rechte, wenn du standardmäßig aber deine pods gar nicht abschottest, ist das egal.
Vielen Dank. Das war mal sehr interessant. Sieht man auch nicht alle Tage.
Hardware kann immer nur so schnell sein wie die Software es erlaubt.
Aus Sicht eines altgedienten EDV-Flachmanns - ich habe meine ersten Fortran 77-Programme während des Studiums noch im Hollerith-Format auf Lochkarten gestanzt - hat die Software heute nur noch ein Problem: den Programmierer. Früher war die Hardware zu langsam. Da hat man selbst auf einer Siemens 7.541 auf das Ergebnis warten müssen. Dann kamen die schnelleren Kisten, und es entstand ein Software-Problem: diese war zu schlecht und hat die elektronischen Wunder nicht richtig ausgenutzt. Heute gibt es Hardware und (mitunter) Software in recht ausgegorenem Status. Bloß der Mensch mit seinem Intellekt und inadäquater Denkweise (aus Sicht der Computer) kommt nicht mehr hinterher.
Erinnert mich an die Mac Pro 2012 diese Desktop Teile von Appel die haben doch auch in der krassesten stufe 40000€ gekostet wenn man alles was ging genommen hat.
Heute kann man die mit 10€ Xeon aufrüsten und die für 100€ kaufen 😂
Habe solche Dinge für HPC operiert, und arbeite auch normalerweise in Rechenzentrenumgebungen. Hatte den ersten NVIDIA + ARM Server vor ~2 Jahren zu operieren, damals musste man noch wirklich jede Software von Source auf neu bauen. Was bei PyTorch schon ein bisschen dauert.. Mittlerweile ist das bereits sehr viel besser geworden.
Verstehe nicht ganz das Argument, dass Docker nicht laufbar wäre. Docker Container sind bei so was immer die beste Wahl (außerhalb von absoluten Linux/GPU-Profis) weil das PyTorch mit einigen Optimierungen gebaut ist, welche man beim selbst bauen so nicht normal durchführen würde, und auch nicht beim pip install von PyTorch gesetzt sein werden.
Eventuell wäre es auch hier weitaus einfacher gewesen wenn man nicht das normale Ubuntu, sondern Nvidia's Ubuntu Flavour genommen hätte, welcher automatisch andere Package Server aktiviert und daher dann Zugriff auf mehr vorgebaute Pakete für Arm hat.
P.S.: Die Kühllösung sieht mir sehr suspekt aus. Bei solch potenter Hardware würde ich zumindenst eine Kompressorkühlung erwarten um eine solche Workstation auch 24/7 operieren zu können außerhalb von einem gekühlten Serverraum. Lieber ein paar tausend Euro mehr für eine professionelle Kühllösung zahlen als die hier präsentierte nicht professionelle Lösung.
Ich stell den deep talk immer auf vol 1 und schlaf dazu ein ❤
Kannst du mal gucken ob du das auch mit AMD gemacht bekommst wär man interessant etwas anderes als CUDA zu sehen
Als Headline für laien verständlich aber ein einzelner H100 mit openAI zu vergleichen ist weit hergeholt. Viele kleine Uni-Forschungsprojekte laufen auf H100 cluster mit 8 oder mehr. Ein einzelner H100 ist auch verschwendung wenn man schon die Infrastruktur dafür schaffen muss. Ist wie ein Ferrari zu kaufen aber Fahrradräder zu montieren. So ist der Rechner hier leider recht ineffizient aufgestellt fürs Geld und für AI 96GB VRAM und so viel RAM zu verbinden ist mir auch schleierhaft der Use Case.
Wenn du ein Geheimtipp willst: schau dir die neue Apples: für 10k kriegt man 128GB unified memory und kann alles mögliche darauf laufen lassen dank 40GPU cores.. es gibt auch macs mit 192GB Unified. das musst du testen! demnächst erscheinen sie mit 512GB.
Neue Video Idee: Wir installieren Windows auf den VRAM
Und nun noch die wichtigste Frage beim Testen jeder Grafikhardware: CAN IT RUN CRYSIS???
gibts bei dir ne liste was du an open-source tools empfiehlst für bestimmt Bereiche wie Transcription oder Übersetzung?
Macht ihr schon den Winterschlaf ? - Letzte Woche wurde kein ct3003-Beitrag hochgeladen. Denke mal diese Woche wird es drei geben. Einen für letzte Woche, einen für diese Woche und einen als Entschädigung für die erlittenen Entzugserscheinungen. Bin mal gespannt !
"Papa, ich brauch den PC für die Schule."
Hab mir die Webseite vom Anbieter angeschaut - was für ein Freak 😀 da hat jemand wirklich Ahnung von der Materie 👍🏼👍🏼👍🏼 Mal sehen was die Sparbüchse dazu zu sagen hat 🐷
Läuft den Blender da drauf? Wie flott kann man den mit der Karte nen Filmchen rendern?
Vielleich blöde Frage aber könnte man nicht die benötigten Programme mit dem Sourcecode selber compilen grade wenn man so viele CPU Kerne hat?
mal schauen was die Apple Mac Studio oder Pro können wenn sie den M4 erhalten. Mit ihren (bisherigen) 192GB Universal Speicher können theoretisch noch größere Modelle laufen.
So, Forza ist fertig runtergeladne. Wolln wir mal ne Runde auf nem Supercomputer starten? 😂
Kann man eigentlich größere KI-Modelle auf zwei 4090 laufen lassen oder läuft dass dann auf die gleiche Situation hinaus wie die Auslagerung auf den regulären Ram?
Bei mir bleibt es leider beim "was wäre wenn..." Bis das für mich irgendwann halbwegs erschwinglich wäre, werde ich es nicht mehr Nutzen >können
Geiles Teil. ^^
Aber um etwas Geld mit dem Internet zu verdienen oder einfach für casual User ist das wohl nix
Da dann doch lieber 1,5k für nen guten Hig end PC und dann hat man ja auch genug Spaß.
Cooles Video.
Schau dich schon ne ganze Weile und ich habe jetzt erst gesehen das ich dich noch nicht aboniert hatte. XD
Vielleicht weil ich deine Videos lieber im Vollbild sehe um die Infos besser lesen zu können. XD
wenn interesiert cuda zum trenieren schön und gut tensor ist doch das was schnell ist am ende.
oder wo für ist tensor da.
Vor 10 Jahren wärst Bitcoin Millionär damit geworden..
Hi Keno! Kann man da eigentlich 2 H100 Karten einbauen und die miteinander koppeln, sodass man noch größere llms in den Graka Speicher laden kann?
Hab dich letztens in Berlin (nähe Brandenburger Tor) gesehen, aber du schienst in Eile.
Sonst hätten wir solche Themen kurz abkaspern können 😁😁😁
Da hat der Keno sicher was verpasst.
Meine Kinners profitieren von OpaAI, jedoch ist bei dem auch nicht jedes Ergebnis 100% richtig. Mit dem Addon OmaAI erhalten sie noch eine gratis Zynismus-Engine, die OpaAIs Ergebnisse mit so manchem kessen Spruch aufwertet 😇
Wieviel FPS denn nu in Counterstrike?
Mir drängte sich da eine Frage auf: Wenn die Performance eines LLMs praktisch vollständig von dem Speicher auf der Grafikeinheit abhängt und selbst der 32.000 Euro Rechner
unbrauchbare Performance liefert, sobald er das RAM dazu nehmen muss, WOZU hat diese fette Kiste dann 480 GB RAM, wäre da eine zweite GraKa nicht besser und 16 GB RAM?
(Vorausgesetzt, man kann die LLMs so betreiben, aber wenn der Hauptspeicher dazu genommen werden kann, kann sicher auch eine zweite GPU mithelfen.)
Ich habe schon verstanden, dass der Gesamtspeicher größer sein muss als das was das Modell braucht und dass das geht, dass das RAM den GPU Speicher ergänzt und daher das Modell wenigstens LÄUFT aber es hilft ja wenig, ein Modell mit 0,5 Token/Sekunde zu betreiben. Und wenn ich nahezu zigtausend Euro ausgebe, will ich dann schon "alles" machen können.
Die teile sind nicht dafür gemacht LLM von der stange laufen zu lassen sondern welche fine zu tunen bzw neu zu entwickeln. Da kannst du eigentlich nicht genug RAM haben der so schnell wie möglich ist, einfach weil Zeit Geld kostet.
Ich stehe gerade vor der Frage, was für einen Rechner soll ich mir in 2024 holen, um lokale LLMs, sowie Blender und Unreal Engine zu nutzen. Bin Apple User und überlege, mir den Mac Mini M4 zu holen. Was meint ihr dazu? Könnt ihr dazu mal ein Video machen .. also insbesondere bezogen auf den AI Aspekt. Windows PC mit Monster GraKa kommt für mich nicht in Frage.
Umgebauter Mac Pro? Die Käsereibe? 😂
nein
bin nur wegen dem Dubili hier.
Warum sollte man sich das hollen? Wenn torch nicht zum laufen bringt?
Ich fahre noch einen i7-3770 mit iGPU und Linux drauf.
Bin mit der Kiste wirklich zufrieden.
Wenn ich mich vor so ein Monster setzen würde, wäre das vermutlich nicht nur eine neue Liga, sondern ein ganz anderer Planet. 😅
Mit Chrome und Excel krieg ich den Arbeitsspeicher auch voll.
Ist halt auch nur das Einstiegsmodell - bei 110 000 Euro wird es doch erst interessant
Und beim Start hört es an als wenn ein Eurofighter abhebt.
Oder eine Honeywell Bull mit Kernspeicher bootet.
Dagegen wirkt der Apple Studio mit M2 Max und 192GB Ram für knappe 8k ja geradezu wie ein Schnäppchen ;)