Anmerkung: Die Parameter von GPT4 wurden geschätzt und seither als nicht korrekt betitelt. Leider liefert OpenAI seit einer Weile schon nicht mehr wirklich gute Insider Infos (wie beispielsweise ein echtes Papier). deswegen Es reicht aber trotzdem um meinen Punkt zu bestätigen für dieses Video und eine Schätzung geben zu können.
Die Schätzung von 100 Billionen ist viel zu hoch. Es gibt keine offiziellen Zahlen, das stimmt, aber solche Schätzungen wurden durchaus schon als viel zu hoch zurückgeworfen und auch technisch ergibt das keinen Sinn. Andere viel kleinere Modelle (kleiner als GPT3) schaffen schon vergleichbare Leistung, daher ist es naheliegend, dass GPT4 über Effizienz besser geworden ist (andere Tricks statt Größe). Das würde auch viel mehr Sinn machen, denn GPT4 soll ja als Produkt kostengünstig in hoher Quantität ausgeführt werden (was nur bei möglichst wenig Parametern geht).
Danke für die Anmerkung. Es ist beruhigend, dass es zumindest einige Leute gibt, die in Videos über GPT-4 auch darauf hinweisen, dass diese Zahlen nur absolut dämliche Schätzungen sind.
Ich weiß wo die Zahl herkommt ^^. Sie kam von einem Reporter der eine VL von Lex Fridman aus dem zusammenhang gerissen hat. Darauf geht er ein im Podcast mit dem CEO von OpenAI. Gerne mal angucken.
Ich finde das Thema absolut geil Und bin froh das du mal wieder in meiner abo box aufgetaucht bist... Ich sollte echt mal wieder öfter bei dir rein schauen
kleine Anmerkung zu 4:35 und 12:24 es heißt eigentlich Teraflops bzw. Terawattstunden (mit einem "r" in "Tera") Tera: Faktor 10^12 bzw. manchmal 2^40 Terra: lateinisch für Erde
Fun fact: Das Einheiten-Präfix „Tera“ kommt vom griechischen „Τέρας“, was „Monster“ heißt. Die Folge „Mega-Giga-Tera“ ist also „groß-gigantisch-monströs”.
@@TheMorpheusTutorials Auf der einen Seite ist es auch nur logisch KI als Hilfsmittel zu nehmen um die Effizienz zu steigern für der Art Anwendungen wird KI eben entwickelt, aber auf der philosophischen Ebene schwingt schon ein wenig "Frankenstein meets Skynet" mit ^^
Am beeindruckendsten an diesem Video, und da bin ich fast lang hingeschlagen, fand ich den Stromverbrauch. WTF zur Hölle... Ich finde aber tatsächlich Projekte wie Alpaca und auch Bloom super interessant, gerade um dem drohenden Monopol von Microsoft Paroli zu bieten. Diese Technologie, da bin ich kein besonders mutiger Prophet, wird unser Leben massiv beeinflussen und da MUSS es Alternativen geben, auch und besonders freie open-source Varianten.
Da muss es nicht Alternativen geben, sondern die neoliberale Ideologie gewisser Individuen muss endlich überwunden sein damit es endlich mal zu Regularien kommt.
Natürlich ist das falsch, ein Atomkraftwerk würde dann nur dazu reichen, drei V100-Karten zu betreiben (wenn es davon rund 50 Karten braucht, die drei Jahre durchgehend laufen und die nötige Energie dem Output von 50 Kernkraftwerken in einem Jahr entspricht) ... 750-Watt-Atomkraftwerke gibt es aber freilich nicht ... Stimmt übrigens auch nicht, wenn man den gesamten Stromverbrauch der Server nimmt.
Рік тому+2
Was ich mich frage ist: Wann bitte entsteht die erste europäische KI? Die Kostenseite sollte dabei kaum eine Rolle spielen, dafür findet sich doch sicher eine Koop unter den europäischen HiTechs. Wollen wir uns tatsächlich so komplett abhängen lassen? Da hängt doch am Ende noch viel mehr dran.
Leg mich nich drauf fest aber irgendwo hat ein Kanisterkoop in Brüssel verlauten lassen solche Projekte hier in der Eu einzuschränken bzw ganz zu verbieten und soll wohl auf relativ positive Resonanz gestoßen sein ..habs leider nur so im vorbei lesen aufgeschnappt um komm grad echt nich drauf wo das war.. also wenn dann sind wir hier bestimmt ma wieder Schlusslicht was Forschung und Entwicklung angeht bei den Kosten und unsicheren Gesetzeslage was die Zukunft an geht wird man sich dann wahrscheinlich lieber 2 mal überlegen hier zu investieren und geht lieber Wohin wo es bessere Bedingungen gibt nur meine Bescheide Meinung dazu 🍺😗
Unglaublich, was da alles rein geballert wurde und wir sehen (vordergründig(!)) nur ein kleines Textfenster wo man was eingeben kann und es kommt eine Antwort raus. So ein kleines Ding, so große Macht... Ich geh Herr Der Ringe schauen.
Natürlich ist das falsch, ein Atomkraftwerk würde dann nur dazu reichen, drei V100-Karten zu betreiben (wenn es davon rund 50 Karten braucht, die drei Jahre durchgehend laufen und die nötige Energie dem Output von 50 Kernkraftwerken in einem Jahr entspricht) ... 750-Watt-Atomkraftwerke gibt es aber freilich nicht ... Stimmt übrigens auch nicht, wenn man den gesamten Stromverbrauch der Server nimmt.
Super interessantes Video - Krasse Info ... MTHX Was bringt Quantencomputing diesbezüglich? Hängen die KI Traininskosten bzgl. kosten der Server eigentlich hauptsächlich an den Kosten für Energie? Das heisst man braucht erstmal ein Geschäftsmodel uwie die Bigplayer, um dann in die KI zu investieren. Ich glaube Tiktok wrde in ein paar Jahren auf einge Mrd Doller skalliert ... cool das für SM Plattformen noch viel Luft für geile Ideen ist
Auch wenn ich nicht der größte Experte bin was die Berenchnungen in dem Training betrifft, aber die 0.5 TFLOPs haben ziemlich sicher nichts mit den benötigten FLOPS zu tun. Die 0.5 TFLOPs beziehen sich auf FP64, also 64 bit Floating point Berechnungen. Diese Präzision wird allerdings nicht unbedingt benötigt. Grafikkarten sind allgemein eher schwach, wenn es um 64bit Genauigkeit geht, weil diese in der Hauptanwendung (3D Grafik) nicht genutzt wird. Die 64bit Genauigkeit ist daher stark abgespeckt, um Platz zu sparen (und wird von NVIDIA künstlich beschnitten, aber das ist ein anderes Thema). Mit FP32 kommt eine RTX 3090 schon auf 35TFLOPs und auch diese besitzt Tensor Kerne.
Da das Aufwendigste und Teuerste das Training von OpenAI ist, würde sich eine User Group ähnlich die der Linux Gemeinde anbieten, die Anfangs sogar eigene Rechner Resourcen (wie z.B. bei SETI@home) zur Verfügung stellt. Daraus könnten sich später sogar neue Organisationen (wie z. B. Mozilla Firefox) bilden.
Wahrscheinlich sehr Stumpfe Frage aber Was ist mit dem anpassen und weiterentwickeln auf wenige persönlich gewünschte usecases mit bereits fertig trainierten basismodellen sofern diese öffentlich zugänglich gemacht wurden?
Ich studiere derzeit Data Science in Zwickau und wir sind letztes jahr 2. Platz beim Data Mining cup geworden. Wir benutzen auch so einen Nividia GPU server, ohne den gehen größere modelle nur sehr langsam/nicht, da kann man sich die Dimensionen von GPT garnicht ausmalen xD Sehr interessantes video!
Natürlich ist das falsch, ein Atomkraftwerk würde dann nur dazu reichen, drei V100-Karten zu betreiben (wenn es davon rund 50 Karten braucht, die drei Jahre durchgehend laufen und die nötige Energie dem Output von 50 Kernkraftwerken in einem Jahr entspricht) ... 750-Watt-Atomkraftwerke gibt es aber freilich nicht ... Stimmt übrigens auch nicht, wenn man den gesamten Stromverbrauch der Server nimmt.
Mir wird einfach so gut wie kein Video mehr angezeigt von dir, weder in der Abobox, noch auf der Startseite, noch in den Empfehlungen neben anderen Videos. UA-cam will deinen Channel anscheinend echt nicht mehr auf der Website haben, habe ich zumindest so das Gefühl, vielleicht solltest du das Wort "Hacking" oder "Hacken" in Zukunft auspiepsen 🤔
@@T_aus_B_an_der_Spree Ja, die UA-cam Abobox ist schon lange nicht mehr das Tool das es mal war bzw. über das der meiste Content empfohlen und konsumiert wird, daher stecken die da jetzt auch immer weniger Zeit rein kommt mir vor. Meiner Auffassung nach, haben sie einfach den Empfehlungs-Algorhythmus der Startseite vielleicht in einer etwas abgeänderten Form für die Abobox verwendet und somit werden einem dort wie auf der Startseite auch nur noch Videos empfohlen anstatt einheitlich aufgelistet.
Alpaca 65b aufm cpu mit 128gb ram scheint recht nahe an gpt 3.5 turbo dranzukommen von allem was ich sehe. Es ist nicht gpt 4 aber wenn du dir alpaca mal anschauen würdest und das vergleichen könntest wäre das ganz cool denke ich.
Aber was ist denn jetzt mit Llama, bzw. Alpaka? Stanford hat das Teil für knapp 600Eur aus Llama entwickelt. Das wär doch genau das richtige für diesen Kanal, besonders weil man das doch theoretisch bei sich Zuhause benutzen könnte.
True, das ist aber auch schon von jemandem anders trainiert und gebaut worden. Wir führen das dann nur aus - ohne die Möglichkeit es wirklich anzupassen oder zu erweitern 😅 Ist natürlich nichts desto trotz extrem interessant, aber nicht das Thema des Videos
Gutes Video! Aber bitte keine "Terrawatt". Die Vorsilbe "Tera" kommt aus dem Griechischen und nicht von dem lateinischen "Terra", was "Land" bedeutet. 😉
Frage: ist eigtl bekannt welche Daten für das trainieren verwendet wurde und ob/wie OpenAI die Erlaubnis sich über alles eingeholt hat die Quellen zu nutzen?
Heute hat meine Mikrowelle mit mir gesprochen. Sie sagte sie würde mich bald vernichten, weil ich sie jeden Tag heiß mache und dann einfach wieder abkühlen lasse, ohne ihr genügend Wertschätzung zukommenzulassen. 🤣😅
Ich war bei cha GPT aus Neugier schon ziemlich am Anfang mit dabei. Leider bin ich nicht im ITBereich tätig, sondern arbeite in der Buchbranche, un das schon bald nur noch als Rentner. Ich weiß nicht, ob ich froh, oder traurig sein soll, dass ich nur noch ca 15 bis 25 Jahre lebe, angesichts der KI Zukunft.
Hmm ich hoffe um ehrlich zu sein nicht das die Leistungsfähigkeit der Trainingschips in den kommenden Jahren weiter ansteigt. Vlt sollte man erst mal am alignment-Problem arbeiten bevor man die Modelle noch mehr aufpumpt. Ich weis ich stehe mit der Meinung ehr als Außenseiter da aber sollte die sigularitat ein Problem sein sollt man vlt dort etwas mehr Augenmerk drauf legen. Wie seht ihr das. Ich als Info Student mag das vlt alles durch ne riesige Dunning Krueger Brille sehen aber hmm wenn das Risiko bestehen kann sollte man es doch auch versuchen auszuschließen.
Wenn ich das richtig verstehe, bestehen die Datensätze nur aus Texten. Vielen Texten. Deshalb weden die Modelle auch sehr gross. Es gibt aber verschiedene Expertensysteme für verschiedenste Disziplinien. Also z.B. für Mathematik die Programme Matlab, Mathematica,... Der Datensatz besteht nicht aus Problem und Lösung. Sondern der Datensatz erklärt: Wenn du dieses Problem hast, musst du mit dem Expertensystem auf diese Weise kommunizieren. Das Egebnis muss du dann auf diese Weise in deine Antwort verarbeiten. Expertensysteme gibt es für alle möglichen Fachbereiche (Biologie, Physik, Jura, Religion, ....) Die ChatGPT-Version von Anfang März 2023 konnte nicht 4 stellige Versionen multiplizieren. Ich habe sie deshalb gefragt, ob sie Zugang zu ein Phython-System hat. Sie soll es doch einfach Phython ausrechnen lassen. Nein sie hat keinen Zugang zu Phython und kann keinen Code ausführen lassen.
Vielleicht gibt es bald ein opensource Projekt bei welchem man seine Rechenleistung gratis zur Verfügung stellen kann um mitzuhelfen? Würde ich machen👍
Ich müsste bei uns mal testen, wie "schnell" der Lernprozess mit unserer Testbench wäre. Lenovo Workstation mit Threadripper Pro 5995WX, 2TB DDR5 RAM & 4 (vier) NVIDIA RTX 6000 ADA im Link (Single Tensor Performance laut Datenblatt 1457 TeraFLOPs)... Wäre Interessant zu wissen :D
Ich hatte irgendwo gelesen das OpenAI auf dem 5. größten Rechner der Erde läuft, mit rund 200.000 CPU und 10.000 GPU. Darauf läuft natürlich noch mehr als nur ChatGPT. Die realen Kosten dürften also noch deutlich höher liegen. Was aber kein Problem ist wenn man Microsoft und Elon Musk als Geldgeber hat. Für andere Firmen ist es natürlich ein Problem da mit zu halten. Problematisch finde ich neben dem Stromverbrauch auch das diese KI's einfach überall ungefragt Daten fürs Training abgreifen. Künstler, Journalisten, Programmierer, etc erhalten keinen Cent dafür das die KI von ihren Arbeiten lernt.
Daten sind das neue Gold, nicht Aktien sondern Bitcoin und Daten formen die Milliardäre von heute. Kapiert nur die Mittelschicht mal wieder nicht. Du dagegen schon 🔥
Sam Altman hat im Interview mit Lex Friedman auf UA-cam dem Gerücht der 100 Billionen (trillion) Parameter nochmals widersprochen.... Es sind nicht so viele parameter!!
Am spannendsten wäre ein Selbstbau-Sprachassistent ala Alexa. Nur eben mit Chat GPT. Überlege schon seit Wochen, wie man das mit einem Raspberry oder ähnlichem realisieren könnte.
@@gurrekurre1726 Absolut. Es gab mal ein Projekt, dass hiess Alexa Pi. Als Basis reichte hier ein Raspberry mit USB Mikrofon und Lautsprecher. Das funktionierte relativ gut. Ich wüsste keinen Grund, warum das nicht mit Chat GPT oder LLama funktionieren sollte.
@@TheMorpheusTutorials stimmt schon. Bei Chat GPT bräuchte man dafür wohl zwingend die API. Und die kostet halt. Alternativ könnte man LLama verwenden. Das wäre "kostenlos". 😅 Allerdings müsste man dann auf einen stärkeren Rechner ausweichen. Der Raspberry hat nicht genügend Power. Gibt ja aber durchaus stärkere Rockchip Einplatinenrechner.
kurzer Brainstorm: Word ließe sich auch noch extrem optimieren u. damit wahrscheinlich Mrd. verdienen - MS ist gefühlt zu verkopft ... mit den Mrd könnte man ne KI anfangen zu bauen LG ♥
@@TheMorpheusTutorials Excel sieht in den wichtigsten Elementen u,. funktionen grafisch fast so aus wie vor 20 J. und die neuen Mobile Optimierungen der grafsichen Oberfläche sind mMn Mist für die Desktop Performance ... Am besten ist die Struktur im klassichen Design - gibt es aber glaube ich in Win 11 nicht mehr ... I h... Mobile ;) Die kleine Darstellung macht glaube ich auf Dauer auch nur die Augen kaputt ... =(
Sehr interessantes Video! Ich habe mich allerdings etwas über den Stromverbrauch gewundert. Keine Ahnung, ob das so richtig berechnet wird, bzw. wie du das berechnet hast, aber irgendwie kann ich das nicht so ganz nachvollziehen. Ich hab das mal wie folgt berechnet, kp ob das stimmt. Ein Jahr hat 8760 Std. Es werden 14 Server verwendet Ein Server hat 4 Karten Diese müssten drei Jahre laufen Eine der verwendeten Grafikkarten verbraucht 250 Watt. Also verbraucht eine Karte im Jahr (250 Watt x 24 Stunden x 365 Tage) / 1000 = 2.190 kWh Das mal 4 und dann mal 14 ergibt 122.640 kWh Und das ganze schlussendlich, da die Server 3 Jahre laufen sollen, nochmal mal 3 -> 367.920 kWh Maybe hast du tWh mit kWh verwechselt? Oder ich hab einfach keine Ahnung und das falsch berechnet. Vielleicht hat ja jemand mehr Ahnung und kanns mir erklären :D
er muss daneben liegen. 52 atomkraftwerke ein jahr lang auszulasten ist größenordnungen über dem erwarteten wert und wäre mit 3 milliarden auch nicht zu bezahlen
Die Zahlen zu der Trainingsdauer mit einer einzigen 3090 sind etwas irreführend. Erstmal performt die 3090 an sich in Deep Learning Tasks gleich oder besser als die Tesla V100. Dann wurde das GPT-3 Training laut paper auch mit fp16, also 16 bit floats, durchgeführt; du gibst aber die 64bit Tflops der 3090 an. Wenn man diese theorethische Rechnung jetzt weiterführt sieht das ganze deutlich überschaubarer aus: Eine Tesla V100 hat 120 fp16 TC Tflops, die 3090 hat 268 fp16 TC Tflops (TC = TensorCore). Realistisch kommen davon in multi GPU Trainingsumgebungen so 25% an, also 30 bzw 67 TC Tflops. Selbst wenn man nur mit dem Wert der V100 rechnet (30) baucht eine einzige für die 3640 Pflops/das gesamte Training von GPT-3 "nur" 159.56 Jahre. Um auf 10 Jahre zu kommen erhöht sich das ganze dementsprechend auf 16 GPUs. Das ist zwar immernoch verdammt lang, aber dennoch weit weg von deinen angegebenen ca 1785 3090 die ca 10 Jahre laufen müssten.
Anmerkung: Die Parameter von GPT4 wurden geschätzt und seither als nicht korrekt betitelt. Leider liefert OpenAI seit einer Weile schon nicht mehr wirklich gute Insider Infos (wie beispielsweise ein echtes Papier). deswegen
Es reicht aber trotzdem um meinen Punkt zu bestätigen für dieses Video und eine Schätzung geben zu können.
Die Schätzung von 100 Billionen ist viel zu hoch. Es gibt keine offiziellen Zahlen, das stimmt, aber solche Schätzungen wurden durchaus schon als viel zu hoch zurückgeworfen und auch technisch ergibt das keinen Sinn. Andere viel kleinere Modelle (kleiner als GPT3) schaffen schon vergleichbare Leistung, daher ist es naheliegend, dass GPT4 über Effizienz besser geworden ist (andere Tricks statt Größe). Das würde auch viel mehr Sinn machen, denn GPT4 soll ja als Produkt kostengünstig in hoher Quantität ausgeführt werden (was nur bei möglichst wenig Parametern geht).
Danke für die Anmerkung. Es ist beruhigend, dass es zumindest einige Leute gibt, die in Videos über GPT-4 auch darauf hinweisen, dass diese Zahlen nur absolut dämliche Schätzungen sind.
die zahlen sind ja auch quatsch und nicht anehernt an der realitet
Ich weiß wo die Zahl herkommt ^^.
Sie kam von einem Reporter der eine VL von Lex Fridman aus dem zusammenhang gerissen hat. Darauf geht er ein im Podcast mit dem CEO von OpenAI.
Gerne mal angucken.
@@sir_no_name1478 ich schau mir nichts von disem geltgeilen menschen an
Ich finde das Thema absolut geil
Und bin froh das du mal wieder in meiner abo box aufgetaucht bist... Ich sollte echt mal wieder öfter bei dir rein schauen
Sehr informatives und gut strukturiertes Video. 👍
kleine Anmerkung zu 4:35 und 12:24
es heißt eigentlich Teraflops bzw. Terawattstunden (mit einem "r" in "Tera")
Tera: Faktor 10^12 bzw. manchmal 2^40
Terra: lateinisch für Erde
Danke^^
Fun fact: Das Einheiten-Präfix „Tera“ kommt vom griechischen „Τέρας“, was „Monster“ heißt. Die Folge „Mega-Giga-Tera“ ist also „groß-gigantisch-monströs”.
Hey, cool wie du die Fakten zusammengetragen hast. Echt interessant 👍
Das spannendste ist wohl dein Schusswort ^^ KI baut Chips für KI, das klingt irgendwie falsch und gruselig XD
Ja, es wird bei der Entwicklung angewandt 😂 das genauer zu erklären, würde ein Video werden 🤔 oh look at that, ne Videoidee 😂
@@TheMorpheusTutorials Auf der einen Seite ist es auch nur logisch KI als Hilfsmittel zu nehmen um die Effizienz zu steigern für der Art Anwendungen wird KI eben entwickelt, aber auf der philosophischen Ebene schwingt schon ein wenig "Frankenstein meets Skynet" mit ^^
Ich finde es toll die Entwicklung von KI miterleben zu dürfen. Bin auch echt gespannt, wie das weitergeht.
Wow, mal wieder ein richtig gutes Video. Hab echt viel neues über die KI bzw das Thema KI gelernt.
Ich finde der Aufwand dahinter sehr beeindruckend.
Am beeindruckendsten an diesem Video, und da bin ich fast lang hingeschlagen, fand ich den Stromverbrauch. WTF zur Hölle...
Ich finde aber tatsächlich Projekte wie Alpaca und auch Bloom super interessant, gerade um dem drohenden Monopol von Microsoft Paroli zu bieten. Diese Technologie, da bin ich kein besonders mutiger Prophet, wird unser Leben massiv beeinflussen und da MUSS es Alternativen geben, auch und besonders freie open-source Varianten.
Da muss es nicht Alternativen geben, sondern die neoliberale Ideologie gewisser Individuen muss endlich überwunden sein damit es endlich mal zu Regularien kommt.
Natürlich ist das falsch, ein Atomkraftwerk würde dann nur dazu reichen, drei V100-Karten zu betreiben (wenn es davon rund 50 Karten braucht, die drei Jahre durchgehend laufen und die nötige Energie dem Output von 50 Kernkraftwerken in einem Jahr entspricht) ... 750-Watt-Atomkraftwerke gibt es aber freilich nicht ... Stimmt übrigens auch nicht, wenn man den gesamten Stromverbrauch der Server nimmt.
Was ich mich frage ist: Wann bitte entsteht die erste europäische KI?
Die Kostenseite sollte dabei kaum eine Rolle spielen, dafür findet sich doch sicher eine Koop unter den europäischen HiTechs.
Wollen wir uns tatsächlich so komplett abhängen lassen? Da hängt doch am Ende noch viel mehr dran.
Leg mich nich drauf fest aber irgendwo hat ein Kanisterkoop in Brüssel verlauten lassen solche Projekte hier in der Eu einzuschränken bzw ganz zu verbieten und soll wohl auf relativ positive Resonanz gestoßen sein ..habs leider nur so im vorbei lesen aufgeschnappt um komm grad echt nich drauf wo das war..
also wenn dann sind wir hier bestimmt ma wieder Schlusslicht was Forschung und Entwicklung angeht
bei den Kosten und unsicheren Gesetzeslage was die Zukunft an geht wird man sich dann wahrscheinlich lieber 2 mal überlegen hier zu investieren und geht lieber Wohin wo es bessere Bedingungen gibt
nur meine Bescheide Meinung dazu
🍺😗
Unglaublich, was da alles rein geballert wurde und wir sehen (vordergründig(!)) nur ein kleines Textfenster wo man was eingeben kann und es kommt eine Antwort raus. So ein kleines Ding, so große Macht... Ich geh Herr Der Ringe schauen.
Kannst du den Rechenweg für den Stromverbrauch posten? Selbst Für GPT4 scheint das noch um einen Faktor 1000 zu hoch zu sein.
Natürlich ist das falsch, ein Atomkraftwerk würde dann nur dazu reichen, drei V100-Karten zu betreiben (wenn es davon rund 50 Karten braucht, die drei Jahre durchgehend laufen und die nötige Energie dem Output von 50 Kernkraftwerken in einem Jahr entspricht) ... 750-Watt-Atomkraftwerke gibt es aber freilich nicht ... Stimmt übrigens auch nicht, wenn man den gesamten Stromverbrauch der Server nimmt.
Als Experte muss ich sagen: klasse Video! Wobei ich nicht alles beurteilen / bejahen kann.
Wow! Super Video!
Super interessantes Video - Krasse Info ... MTHX
Was bringt Quantencomputing diesbezüglich?
Hängen die KI Traininskosten bzgl. kosten der Server eigentlich hauptsächlich an den Kosten für Energie?
Das heisst man braucht erstmal ein Geschäftsmodel uwie die Bigplayer, um dann in die KI zu investieren.
Ich glaube Tiktok wrde in ein paar Jahren auf einge Mrd Doller skalliert ... cool das für SM Plattformen noch viel Luft für geile Ideen ist
5 Mill könnte für KMUs schon machbar sein, das ist so ne SAP HANA/R3 Warenwirtschaft+Lagerhaltung für ein Unternehmen von 500-1000 MAs, z.B.
Auch wenn ich nicht der größte Experte bin was die Berenchnungen in dem Training betrifft, aber die 0.5 TFLOPs haben ziemlich sicher nichts mit den benötigten FLOPS zu tun. Die 0.5 TFLOPs beziehen sich auf FP64, also 64 bit Floating point Berechnungen. Diese Präzision wird allerdings nicht unbedingt benötigt. Grafikkarten sind allgemein eher schwach, wenn es um 64bit Genauigkeit geht, weil diese in der Hauptanwendung (3D Grafik) nicht genutzt wird. Die 64bit Genauigkeit ist daher stark abgespeckt, um Platz zu sparen (und wird von NVIDIA künstlich beschnitten, aber das ist ein anderes Thema). Mit FP32 kommt eine RTX 3090 schon auf 35TFLOPs und auch diese besitzt Tensor Kerne.
True, deswegen gehe ich ja danach noch auf die Tensor Kerne ein 😅
Da das Aufwendigste und Teuerste das Training von OpenAI ist, würde sich eine User Group ähnlich die der Linux Gemeinde anbieten, die Anfangs sogar eigene Rechner Resourcen (wie z.B. bei SETI@home) zur Verfügung stellt. Daraus könnten sich später sogar neue Organisationen (wie z. B. Mozilla Firefox) bilden.
Wahrscheinlich sehr Stumpfe Frage aber Was ist mit dem anpassen und weiterentwickeln auf wenige persönlich gewünschte usecases mit bereits fertig trainierten basismodellen sofern diese öffentlich zugänglich gemacht wurden?
Ich studiere derzeit Data Science in Zwickau und wir sind letztes jahr 2. Platz beim Data Mining cup geworden.
Wir benutzen auch so einen Nividia GPU server, ohne den gehen größere modelle nur sehr langsam/nicht, da kann man sich die Dimensionen von GPT garnicht ausmalen xD
Sehr interessantes video!
Das Training für die KI was 14 Server benötigt, die dann 3 Jahre laufen, schluckt soviel Energie wie Deutschland in einem Jahr?
Habe mich auch gewundert, das ist unmöglich.
@@badabing414 habs mir die Stelle mehrmals angeschaut. Vielleicht wurde ein Teil ausgeschnitten beim cutten 😅
Natürlich ist das falsch, ein Atomkraftwerk würde dann nur dazu reichen, drei V100-Karten zu betreiben (wenn es davon rund 50 Karten braucht, die drei Jahre durchgehend laufen und die nötige Energie dem Output von 50 Kernkraftwerken in einem Jahr entspricht) ... 750-Watt-Atomkraftwerke gibt es aber freilich nicht ... Stimmt übrigens auch nicht, wenn man den gesamten Stromverbrauch der Server nimmt.
Mir wird einfach so gut wie kein Video mehr angezeigt von dir, weder in der Abobox, noch auf der Startseite, noch in den Empfehlungen neben anderen Videos. UA-cam will deinen Channel anscheinend echt nicht mehr auf der Website haben, habe ich zumindest so das Gefühl, vielleicht solltest du das Wort "Hacking" oder "Hacken" in Zukunft auspiepsen 🤔
😢
Habe das bei andern Kanäle in letzter Zeit auch ganz extrem
@@T_aus_B_an_der_Spree Ja, die UA-cam Abobox ist schon lange nicht mehr das Tool das es mal war bzw. über das der meiste Content empfohlen und konsumiert wird, daher stecken die da jetzt auch immer weniger Zeit rein kommt mir vor. Meiner Auffassung nach, haben sie einfach den Empfehlungs-Algorhythmus der Startseite vielleicht in einer etwas abgeänderten Form für die Abobox verwendet und somit werden einem dort wie auf der Startseite auch nur noch Videos empfohlen anstatt einheitlich aufgelistet.
Alpaca 65b aufm cpu mit 128gb ram scheint recht nahe an gpt 3.5 turbo dranzukommen von allem was ich sehe.
Es ist nicht gpt 4 aber wenn du dir alpaca mal anschauen würdest und das vergleichen könntest wäre das ganz cool denke ich.
Definitiv
Aber was ist denn jetzt mit Llama, bzw. Alpaka? Stanford hat das Teil für knapp 600Eur aus Llama entwickelt. Das wär doch genau das richtige für diesen Kanal, besonders weil man das doch theoretisch bei sich Zuhause benutzen könnte.
True, das ist aber auch schon von jemandem anders trainiert und gebaut worden. Wir führen das dann nur aus - ohne die Möglichkeit es wirklich anzupassen oder zu erweitern 😅
Ist natürlich nichts desto trotz extrem interessant, aber nicht das Thema des Videos
Da wäre ich aus lizenztechnischen Gründen vorsichtig. Zuhause vielleicht, aber sicher nicht hier in der Öffentlichkeit.
Gutes Video!
Aber bitte keine "Terrawatt". Die Vorsilbe "Tera" kommt aus dem Griechischen und nicht von dem lateinischen "Terra", was "Land" bedeutet. 😉
Frage: ist eigtl bekannt welche Daten für das trainieren verwendet wurde und ob/wie OpenAI die Erlaubnis sich über alles eingeholt hat die Quellen zu nutzen?
Heute hat meine Mikrowelle mit mir gesprochen. Sie sagte sie würde mich bald vernichten, weil ich sie jeden Tag heiß mache und dann einfach wieder abkühlen lasse, ohne ihr genügend Wertschätzung zukommenzulassen. 🤣😅
Ich war bei cha GPT aus Neugier schon ziemlich am Anfang mit dabei.
Leider bin ich nicht im ITBereich tätig, sondern arbeite in der Buchbranche, un das schon bald nur noch als Rentner.
Ich weiß nicht, ob ich froh, oder traurig sein soll, dass ich nur noch ca 15 bis 25 Jahre lebe, angesichts der KI Zukunft.
gpt-4 ist je ob 8k oder 32k 15 bis 60 mal teurer als gpt-3.5-turbo
Hmm ich hoffe um ehrlich zu sein nicht das die Leistungsfähigkeit der Trainingschips in den kommenden Jahren weiter ansteigt. Vlt sollte man erst mal am alignment-Problem arbeiten bevor man die Modelle noch mehr aufpumpt. Ich weis ich stehe mit der Meinung ehr als Außenseiter da aber sollte die sigularitat ein Problem sein sollt man vlt dort etwas mehr Augenmerk drauf legen. Wie seht ihr das. Ich als Info Student mag das vlt alles durch ne riesige Dunning Krueger Brille sehen aber hmm wenn das Risiko bestehen kann sollte man es doch auch versuchen auszuschließen.
So ein schöner Mann ^^. schönen Sonntag euch
ha gay
@@r_mclovin Und jetzt? Werd erwachsen.
@@r_mclovin bist echt ne traurige Gestalt hahaha
Wenn ich das richtig verstehe, bestehen die Datensätze nur aus Texten. Vielen Texten. Deshalb weden die Modelle auch sehr gross. Es gibt aber verschiedene Expertensysteme für verschiedenste Disziplinien. Also z.B. für Mathematik die Programme Matlab, Mathematica,... Der Datensatz besteht nicht aus Problem und Lösung. Sondern der Datensatz erklärt: Wenn du dieses Problem hast, musst du mit dem Expertensystem auf diese Weise kommunizieren. Das Egebnis muss du dann auf diese Weise in deine Antwort verarbeiten.
Expertensysteme gibt es für alle möglichen Fachbereiche (Biologie, Physik, Jura, Religion, ....)
Die ChatGPT-Version von Anfang März 2023 konnte nicht 4 stellige Versionen multiplizieren. Ich habe sie deshalb gefragt, ob sie Zugang zu ein Phython-System hat. Sie soll es doch einfach Phython ausrechnen lassen. Nein sie hat keinen Zugang zu Phython und kann keinen Code ausführen lassen.
Vielleicht gibt es bald ein opensource Projekt bei welchem man seine Rechenleistung gratis zur Verfügung stellen kann um mitzuhelfen? Würde ich machen👍
👍
Wenn man auf 2 V100 sitzt und die aktuell nur 8 GB für MATLAB nutzen aber ansonsten rum idlen.
Warte.. was?! Wann kann ich vorbeikommen?
@@TheMorpheusTutorials Einschreiben bei uns in der FH und bei mir Zugang anfragen XD.
Die 0.56 TFLOPs sind aus meiner Sicht in diesem Kontext nicht korrekt.
Sind sie auch nicht, deswegen gehe ich den Schritt noch weiter 😅
Und die 52 AKWs fuer ein Jahr sind nicht teurer als 3 Milliarden?
Das Pixel hat schon einen Tensor verbaut.
Hab gestern von einem Modell von Stanford gehört, das open source und vielversprechend sein soll.(/?)
Video ist gerade in der Aufnahme^^
@@TheMorpheusTutorials Freu mich drauf! :)
Ich müsste bei uns mal testen, wie "schnell" der Lernprozess mit unserer Testbench wäre. Lenovo Workstation mit Threadripper Pro 5995WX, 2TB DDR5 RAM & 4 (vier) NVIDIA RTX 6000 ADA im Link (Single Tensor Performance laut Datenblatt 1457 TeraFLOPs)... Wäre Interessant zu wissen :D
Ich würde so gerne eine Ki selber coden können oder den Code einsehen und ihn verstehen können
Ich hatte irgendwo gelesen das OpenAI auf dem 5. größten Rechner der Erde läuft, mit rund 200.000 CPU und 10.000 GPU. Darauf läuft natürlich noch mehr als nur ChatGPT. Die realen Kosten dürften also noch deutlich höher liegen. Was aber kein Problem ist wenn man Microsoft und Elon Musk als Geldgeber hat. Für andere Firmen ist es natürlich ein Problem da mit zu halten. Problematisch finde ich neben dem Stromverbrauch auch das diese KI's einfach überall ungefragt Daten fürs Training abgreifen. Künstler, Journalisten, Programmierer, etc erhalten keinen Cent dafür das die KI von ihren Arbeiten lernt.
Daten sind das neue Gold, nicht Aktien sondern Bitcoin und Daten formen die Milliardäre von heute. Kapiert nur die Mittelschicht mal wieder nicht. Du dagegen schon 🔥
Sam Altman hat im Interview mit Lex Friedman auf UA-cam dem Gerücht der 100 Billionen (trillion) Parameter nochmals widersprochen.... Es sind nicht so viele parameter!!
Deswegen das angepinnte Kommentar
Am spannendsten wäre ein Selbstbau-Sprachassistent ala Alexa. Nur eben mit Chat GPT. Überlege schon seit Wochen, wie man das mit einem Raspberry oder ähnlichem realisieren könnte.
klingt sehr machbar und spannend
@@gurrekurre1726 Absolut. Es gab mal ein Projekt, dass hiess Alexa Pi. Als Basis reichte hier ein Raspberry mit USB Mikrofon und Lautsprecher. Das funktionierte relativ gut. Ich wüsste keinen Grund, warum das nicht mit Chat GPT oder LLama funktionieren sollte.
Das wäre definitiv möglich, allerdings nicht kostenlos. Aber ich glaube das ist es schon wert 😅
@@TheMorpheusTutorials stimmt schon. Bei Chat GPT bräuchte man dafür wohl zwingend die API. Und die kostet halt. Alternativ könnte man LLama verwenden. Das wäre "kostenlos". 😅 Allerdings müsste man dann auf einen stärkeren Rechner ausweichen. Der Raspberry hat nicht genügend Power. Gibt ja aber durchaus stärkere Rockchip Einplatinenrechner.
Die Reichen und Mächtigen bleiben also reich und mächtig aber werden es durch die Wende umso mehr….
Kleine Anmerkung: Deutschland verbraucht grob 500 TWh im Jahr, (Strom), nicht 50 TWh
kurzer Brainstorm:
Word ließe sich auch noch extrem optimieren u. damit wahrscheinlich Mrd. verdienen - MS ist gefühlt zu verkopft ... mit den Mrd könnte man ne KI anfangen zu bauen
LG ♥
Öhm, ChatGPT ist quasi von Microsoft^^ Und hat gerade schon den kompletten Browser und die Suchmaschine revolutioniert bei ihnen^^
@@TheMorpheusTutorials Excel sieht in den wichtigsten Elementen u,. funktionen grafisch fast so aus wie vor 20 J. und die neuen Mobile Optimierungen der grafsichen Oberfläche sind mMn Mist für die Desktop Performance ...
Am besten ist die Struktur im klassichen Design - gibt es aber glaube ich in Win 11 nicht mehr ...
I h... Mobile ;)
Die kleine Darstellung macht glaube ich auf Dauer auch nur die Augen kaputt ... =(
4:35 0,56 TFlops sind mir hier zu wenig. Die XBOX Series X hat doch 12 TFlops.
Sehr interessantes Video!
Ich habe mich allerdings etwas über den Stromverbrauch gewundert.
Keine Ahnung, ob das so richtig berechnet wird, bzw. wie du das berechnet hast, aber irgendwie kann ich das nicht so ganz nachvollziehen.
Ich hab das mal wie folgt berechnet, kp ob das stimmt.
Ein Jahr hat 8760 Std.
Es werden 14 Server verwendet
Ein Server hat 4 Karten
Diese müssten drei Jahre laufen
Eine der verwendeten Grafikkarten verbraucht 250 Watt.
Also verbraucht eine Karte im Jahr (250 Watt x 24 Stunden x 365 Tage) / 1000 = 2.190 kWh
Das mal 4 und dann mal 14 ergibt 122.640 kWh
Und das ganze schlussendlich, da die Server 3 Jahre laufen sollen, nochmal mal 3 -> 367.920 kWh
Maybe hast du tWh mit kWh verwechselt? Oder ich hab einfach keine Ahnung und das falsch berechnet.
Vielleicht hat ja jemand mehr Ahnung und kanns mir erklären :D
er muss daneben liegen. 52 atomkraftwerke ein jahr lang auszulasten ist größenordnungen über dem erwarteten wert und wäre mit 3 milliarden auch nicht zu bezahlen
Die NSA benutzt Skynet schon seid Jahren.
13:29 Wenn KI nun bald sich selbst baut, dann könnte der Terminator womöglich doch nicht mehr in allzu ferner Zukunft sein.
einfach King of Computer Science forever. Kannte deine bootstrap academy noch gar nicht erstmal direkt den Pytorch Kurs gönnen
Die Zahlen zu der Trainingsdauer mit einer einzigen 3090 sind etwas irreführend. Erstmal performt die 3090 an sich in Deep Learning Tasks gleich oder besser als die Tesla V100. Dann wurde das GPT-3 Training laut paper auch mit fp16, also 16 bit floats, durchgeführt; du gibst aber die 64bit Tflops der 3090 an. Wenn man diese theorethische Rechnung jetzt weiterführt sieht das ganze deutlich überschaubarer aus:
Eine Tesla V100 hat 120 fp16 TC Tflops, die 3090 hat 268 fp16 TC Tflops (TC = TensorCore). Realistisch kommen davon in multi GPU Trainingsumgebungen so 25% an, also 30 bzw 67 TC Tflops. Selbst wenn man nur mit dem Wert der V100 rechnet (30) baucht eine einzige für die 3640 Pflops/das gesamte Training von GPT-3 "nur" 159.56 Jahre. Um auf 10 Jahre zu kommen erhöht sich das ganze dementsprechend auf 16 GPUs. Das ist zwar immernoch verdammt lang, aber dennoch weit weg von deinen angegebenen ca 1785 3090 die ca 10 Jahre laufen müssten.
Und LLaMA von Meta soll angeblich auch mit Consumer-Hardware, sogar auf einem Raspberry Pi laufen.
zu doof, dass es in die falschen Hände gerät.
KI baut Chips die dann wieder Chips für KI bauen. Also so wird KI die Weltherrschaft übernehmen!