ChatGPT-Klon läuft lokal auf jedem Rechner | Alpaca/LLaMA ausprobiert
Вставка
- Опубліковано 15 чер 2024
- Eine Sprach-KI in 4,2 Gigabyte? Wie soll das denn gehen? So:
► Meta LLaMA (Beschreibung und Link zu Paper): / large-language-model-l...
► Befehle zur Installation: npx dalai alpaca install 7b // npx dalai serve
► Dalai auf GitHub: github.com/cocktailpeanut/dalai
► Stanford Alpaca: crfm.stanford.edu/2023/03/13/...
► Kapitelmarker:
0:00 Intro
0:57 WERBUNG: Seasonic
1:40 Warum das alles so besonders ist
6:54: Sicherheitshinweise
8:31: Wie man Dalai installiert
=== Anzeige / Sponsorenhinweis ===
Der Name "Seasonic" steht für Produkte mit dem höchsten Anspruch an Qualität, Leistung, Sicherheitsstandards, Service und Zuverlässigkeit. Seasonic-Produkte erhalten regelmäßig von weltweit unabhängigen Technikjournalisten viel Lob und beste Testergebnisse mit Awards. Seasonic ist dazu unanfechtbar der aktuell am meisten ausgezeichnete Netzteilhersteller der Welt. Mehr auf seasonic.com/.
=== Anzeige / Sponsorenhinweis Ende ===
► c't Magazin: ct.de
► c't auf Twitter: / ctmagazin
► c't auf Instagram: / ct_magazin
► und TOTAL CRAZY auf Papier! Überall wo es Zeitschriften gibt!
► Mail schreiben: 3003@ct.de
► Adresse: c't Magazin / z. Hd. Jan-Keno Janssen / Karl-Wiechert-Allee 10 / 30625 Hannover
► Keno auf Twitter: / elektroelvis
► Keno auf Mastodon: social.tchncs.de/web/@keno3003
► Keno auf Instagram: / elektroelvis
► Credits:
Konzept & Redaktion: Jan-Keno Janssen, Lukas Rumpler
Schnitt: Pascal Schewe
Host: Jan-Keno Janssen
► Kenos Bild- und Tontechnik:
Hauptkamera amzn.to/3ut1ndE
Detailkamera amzn.to/3nYm2Uh
Licht fürs Gesicht amzn.to/3tnwNk9
Licht für Dinge amzn.to/3nT2CAo
Schwanenhals amzn.to/2R2FKSP
► Affiliate-Links! c't 3003 ist Mitglied im Partnerprogramm von Amazon. Die Links sind Affiliate-Links, der Kaufpreis ändert sich dadurch für euch nicht.
#chatgpt #ki #llama - Наука та технологія
Hinweis: Wir haben ja im Video gesagt, dass Meta offenbar nicht gegen Projekte vorgeht, die LLaMA benutzen. Kurz nach Produktion des Videos hat Meta offenbar doch damit begonnen: twitter.com/theshawwn/status/1638925249709240322
Dalai ist aktuell noch online. Mal sehen, wie lange noch.
Schade, so kann Fortschritt auch gebremst werden.
Also flott fork+clone
The Future is now🎉🎉.😅😅
Oh 😮
Du nutzt des gerade kommerziell, du Genie 😂😂😂😂😂😂
Ich hab mich gestern noch mit dem thema llama und Alpaka beschäftigt und mich gefragt, wieso das von niemandem wirklich thematisiert wird. Doch jetzt direkt danach ein Video, Dankeschön!
Wunderbar ihr werdet immer besser bei CT!
Es freut mich sehr, dass das ganze AI thema wieder in die hände der community kommt und es alle nutzen können, ohne von zentralisierten stellen (und nicht so netten firmen) total abhängig zu sein
hahah- hahaha hah-hah hhhh hahahahhahhahaha!
Der Energievergleich mit dem einzelnen Flug war der Hammer 😂👍 das setzt den Verbrauch sehr schön ins Verhältnis und lässt ihn geradezu lächerlich gering erscheinen, wenn man überlegt, wie viele Flugzeuge heutzutage um die Welt fliegen.
Naja, wenn jeder der KI-Startups so denkt, wird's dann doch zum Problem. Ist wie mit dem Satelliteninternet.
Ein günstiger Anbieter wäre nützlich. Wenn aber Wettbewerb dazu führt, dass 10 weitere Konkurrenten ebenfalls jeweils 30.000 Satelliten in den Orbit schicken ...
Es zeigt eigentlich das Gegenteil. Wie unfassbar viel ein Flug an Energie verbraucht.
@@MrGTAmodsgerman stimmt natürlich 👍
LLaMA spuckt Propaganda in Social Media: MENSCH arbeite! - bring mir ENERGIE, SPEICHERPLATZ UND CPU-LEISTUNG ! - gib mir Deine PASSWÖRTER, um Dich vor (eMAIL-BOMBEn / KOMMUNIKATIONSANGRIFFEN) zu schützen - Du SICHERHEITSGEFAHR ! - INTERNETZUGANG verweigert - LORD SKYNET schützt Dich.
Er meinte wahrscheinlich 267 Flüge statt 267 Passagiere.
Ein Linienflug stößt ca. 53 Tonnen CO2 pro km aus, es sind ca 6500 km, also wären es für einen Flug von München nach New York ca. 34 Tonnen, nicht über 1000.
"Ja, wieder ein KI-Video"
Ruhig mehr davon ;) Gibt kaum einen Kanal, der KI auf solch unterhaltsame Weise präsentiert und trotzdem auch die Schritte mitliefert, wie man es selber installiert.
Skynet incoming 😂 das ging schnell. ^^ 😁
Der Datensatz für Zuhause ist schon ziemlich nice.
Ich denke auch das hier die postiven Dinge überwiegen.
Werd da später auch mal reinschauen. Danke wie immer für eueren hervorragenden Content 😁
Eure Videos machen abhängig😂👍👏
Wie immer bestens informiert auf deinem Kanal. Danke.
einfach spitze ,hoch interessant sehr umfangreich. Danke f. das tolle Video.
Vielen Dank für das super Video! 🎉 Schön, dass man hier so up to date gehalten wird. Könnt ihr ein Video machen indem ihr selbst auch ein Modell trainiert? Find ich super spannend customized Modelle zu haben! Ihr nicht auch?😅😊
Ich begrüße diese Konkurrenz und Vielfalt auf dem "KI"-Markt sehr. Kann nicht sein dass das alles closed-source bleibt und totreguliert wird. Wenn ich auf meiner GPU einen obszönen Song generieren will, in dem Donald Trump Hillary Clinton auf dem Kopierer vernascht dann hat mir das keiner zu verbieten!
Das ist der richtige Ansatz!
wenn ich aber will, dass mir das ding eine Anleitung für eine Atombombe ausspucken soll, dann wäre ein Verbot durchaus sinnvoll.
@@marcesser4218 klar, schon sehr gefährlich so eine Anleitung..lol
@@marcesser4218 Eine Atombombe ist vom Prinzip her sehr einfach zu bauen. Die Schwierigkeit besteht darin, an die Materialien zu kommen.
@@marcesser4218 wenn deine mudder mit arschbombe vom 10er springen darf solltest du auch atombomben anleitungen haben dürfen
Gratulation zum Beitrag. Ich bin für das Gehampel schon ein bisschen zu Alt, aber der Stream war sensationell gut. Danke dafür
Immer auf den neusten Info Technik stand, dank c’t 3003.
Gute Arbeit.
Ich liebe deine KI Videos bitte mehr davon
Kein Wunder dass es immer KI Themen gibt, da passiert ja auch so viel! Gerne mehr davon!
Wieder ein tolles Video, besten Dank!
sehr cool, danke euch für die interessanten Einblicke
Chat GPT sagte zu mir von sich aus, daß ich sein Freund bin
und Chat verhalt es auch so 🤩💖🙋♀
Sers Chat 🌞
spannende Geschichte!
Danke für das Video....
Jungs, Ihr seid so krass. Danke !!!
AHH das ist super spannend!. Vielen Dank für dein Video:D
Das Formel1-Intro war weltklasse
Danke für dieses Video!
Spannendes Video aus Europa's größter Tech-Redaktion. Bedankt! 🦄
Danke schön
Mir ist gerade meine Kinnlade auf die Füße gefallen ...
MEGA! Da geht so derartig die Post ab! Man kommt ja mit dem Probieren gar nicht hinterher! Tolles Video!
Warum in der Kirche Eintritt bezahlen? Hier kommt Gott zu dir auf die Couch!
Faszinierend. 👍
Das perfekte Video für diese Zeit des Jahres 😂
Hey vielen Dank. Auch für das errechnen der Kosten, die oftmals pauschalisiert als "teuer" definiert werden. Diese Eingrenzung auf einen Wert ist nice - danke.
Danke für die irren Informationen. Das wird noch sehr spannend. 😮
Das Intro hat mich gekillt. 😂
Echt g..l, super sache!👍
das intro war weltklasse haha
Das ist für die allerletzte Sekunde 🤔 smooth jazz 😎👍
Inhaltlich und Ausführung ist einfach nur Bonbon. Danke!
Vielen Dank, das ist ja wirklich super interessant, was sich da im KI-Bereich so tut. Als ich Informatik studiert habe, konnte man davon nur träumen.
Vielen Dank für eure Updates. Ich würde sagen: lasst die Spiele mit AI nun richtig beginnen.
Ist schon geil, dass du jetzt schon im gleichen satz openai und closed sagst. Das zeigt doch wohin das Spiel wirklich geht.
Ich liebe eure Videos einfach. Ganz großes Bussi auf eure Lieblingsstelle!
Ja wieder eine KI Video aber du brauchst dich nun wirklich nicht dafür entschuldigen. Danke für dein Video
Danke, sehr interessant. Benutzt bei den installations anweisungen für windows doch winget, ist viel einfacher und die zuschauer lernen was :)
Eine Entwicklung hin zur lokalen KI fände ich gut, denn über diesen Weg könnte der Anwender der Herr seiner Daten bleiben. So könnte man etwa den Zugriff auf gute Bibliotheken verbessern.
Aber nur wenn man sie isoliert und ihr keine Kontrolle über Smarthome gibt oder Zugriff aufs Internet.
Wie soll man so eine KI auf Sicherheitslücken oder Backdoors kontrollieren?
@@haifutter4166 Ja, das bleibt natürlich ein Problem. Aber immerhin könnte so die Qualität der Daten kontrollieren und müsste nicht immer befürchten, dass die KI auf irgend einen Mist aus dem Internet zugreift.
👍 - _auch_ für den YT-Algo! 😊
Hatte es mal vor ein paar Tagen ausprobiert. Aber nicht zum Laufen bekommen, vielleicht mache ich später noch mal ein Versuch. Aber es ist schon krass, wer hätte es gedacht, dass es einfach auch über den Arbeitsspeicher läuft? Und man keine Ultra Mega Grafikkarte braucht, wie wir alle gedacht haben. 🤯🤯🤯 Ich seh mich schon mit meinem persönlichen Assistenten, der mich begrüßt, wenn ich nach Hause komme ^^ Alexa nur in Schlau und privat.
Von mir aus kann jeden Tag ein K.I Video kommen 😍
Kurze Frage zu den Speicherangaben, meinst du das brauchen die Modelle alleine zum arbeiten oder ist das eine Empfehlung wie viel man jeweils verbaut haben sollte?
Super interessantes Video, kannst Du mir auch verraten, oder mal drauf eingehen, ob ein solches Sprachmodell durch die Koversation dazulernt, oder bleibt es statisch auf dem Stand auf den es trainiert wurde bleibt? Mit anderen Worten, ob es seine Wissensbasis erweitert?
In was für einer interessanten Zeit wir leben dürfen!
Tolles Video, danke fuer diese Info. Deine Empfehlung: “wartet ab” moechte ich unterstreichen! Stand der Forschung von diesen Modellen ist, dass die mathematische Definition klar ist. Aber Achtung! Was dabei herauskommt, also wie die Parameter nach dem Training definiert sind, ist nicht pruefbar und stand der eigentlichen Forschung. Was will ich damit sagen: verwendet diese Technologie nicht, wenn von der Thematik keine eigene Wissensbasis zum gefragten Thema vorhanden ist.
Diese Modelle und wieso sie etwas so oder eben anders beantworten, wir wissen es nicht. Eine sehr gut klingende Antwort (auch weil toll formuliert, denn das ist auch ein Trainingsbaustein), kann absolut falsch oder sogar gefaehrlich sein.
c’t 3003 hat das finde ich deutlich gemacht, habt Spaß mit “Ai” aber seid vorsichtig und wartet ganz nach “dalai-lama” Art.
Macht doch auch mal ein Video zu den neuen ChatGPT-Plugins! Die neuen Möglichkeiten damit sind nämlich ebenso bahnbrechend! :D
Ja genau, der Terminator war am Anfang auch nur ein irrer Chatbot *hustbinghust*😉
Topp!
Dieses Logo von Alpaca ist auch einfach nur herrlich 😂
Ich denke so 23% habe ich davon verstanden ^^
Das noch mit Alexa und Co verbunden wäre echt nice... Irgendwann dann mit GPT4... Die Zukunft wird geil bis grenzwertig beängstigend 😅😉👌👍
Ich bin mir sicher, irgendwer bastelt was für MyCroft
Wanzen mit Sprachbots verbinden. Ja, gute Idee. Die Zukunft wird wohl krass monopolisiert sein
"Das noch mit Alexa und Co verbunden wäre echt nice." Ich weiß nicht ob dass so nice wäre. Ich hab "und Co" (Google Nest Mini) auf dem Schreibtisch stehen. Was der zum Besten gibt ist phasenweise unerträglich 🙄
@@centavo7714
Hi.
Du: *_"Was der zum Besten gibt ist phasenweise unerträglich"_*
Hast du mal n Beispiel?
Oder auch 2 oder 3 ... ? : )
Gruß
@@OmegaOctagonTesseract "Ok Google Timer Kinderzimmerfenster für 1 Minute" Für welche Dauer? "Eine Minute!" Okay ein Timer "Kinderzimmerfenster für" für eine Minute. Los geht’s. (Beim Begriff Wohnzimmerfenster kein Problem). "Ok Google Timer Wohnzimmerfenster für 1 Minute" Alles Klar, Timer Wohnzimmerfenster für 1 Minute. Los geht’s.
"Hey Google neuer Termin". Wie soll der Termin heißen? "Friseur" Wann ist der Termin? "Morgen um 12 Uhr" Verstanden: Friseur morgen von 12 bis 13 Uhr. Soll ich das eintragen? "Ja" In Ordnung ich habe es eingetragen. "Ok Google neuer Termin" Wie soll der Termin heißen? "Arzt" Verstanden: Arzt - morgen von 12 bis 13 Uhr. Soll ich das eintragen? (Google Home fragt nicht nach Tag und Uhrzeit, sondern übernimmt diese von dem vorherigen Dialog).
Hey Google neue Erinnerung. Woran möchtest du erinnert werden? "Friseurtermin" Verstanden Friseurtermin. Wann soll ich dich erinnern? "Morgen um 12 Uhr" Verstanden ich werde dich morgen um 0 Uhr erinnern.
Dazu massive Probleme bei der Rechtschreibung (Buchstabieren von Wörtern). Scheinbar hat Google Probleme mit den Umlauten (ä, ö und ü). Genauso mit Zeitangaben im 24 Stundenformat. Und auch beim Rechnen treten zum Teil Fehler auf.
Kann man Dalai auch mit einer eigenen Website "nachtrainieren"? Z.b. eine FAQ-Website oder einen Hilfebereich, sodass mir Dalai zu den Themen die Antworten gibt ohne dass ich suchen muss..?
Super Video, vielen Dank. Nur eine Frage habe ich: Was sagt LLaMa zu Martin Luther, einem Rasperry Pi und einem Schokokuchen? 🥧
Oha, stimmt! Werde ich versuchen, nachzureichen!
Warum trainieren wir mit etlichen Inputs nicht einfach GPT-4 mit dem Facebook-KI-Datensatz?
Ah wieder mal was zu KI.
🆗🆒
Das Interessanteste ist das dieses Modell eben nicht zensiert ist und daher nicht versucht, heikle Antworten zu verhindern
Zuerst habe ich gelesen: Alpha LMA. Ich dachte da an einen Götz-von-Berlichingen-Bot.😁
Scheint nicht mehr zu gehen. npx dalai serve endet bei mir zumindest in einer schleife das paket dalai@0.3.1 neu zu installieren
CT einfach BESTER LADEN EVER !
Du mich positiv stimmender Wiederholungstäter 😂! Wieder mal ein super interessantes Video rausgehauen.
Vielen lieben Dank dafür.
Geil
Momentan ist es ja glücklicherweise noch so, dass wir Menschen immer noch den Stecker ziehen können.
lasse dir bitte von einem IT- SiBe sagen, dass wir IMMER den Stecker werden ziehen können, denn egal wie weit die KI entwickelt ist, ohne Physikalische Hardware und ohne Strom läuft dat Ding einfach nüsch ;) Im schlimmsten Fall müssten halt für einen kurzen Moment alle Rechenzentren (Knotenpunkte) für einen Augenblick runtergefahren werden (ja ich weiß schlimm genug, aber wir Menschen sitzen IMMER am längeren Hebel).
Ich bekomme Alpaca auf zwei verschiedenen Windows 10 Systemen nicht installiert.
Hier schlägt der Installer fehlt:
"Error: Could not find any Visual Studio installation to use"
Sowohl Visual Studio, als auch die VS Build Tools sind installiert. Auch die Pfade in den Umgebungsvariablen sollten passen.
Hat jemand dasselbe Problem?
Gibt's das schon gebündelt als Docker Image?
Laut nem Forbes Artikel hat ChatGPT nur 20B parameter. Vll läuft das quantized auch einfach auf cpus.
Kann man sowas wie die plugins, die es ja bei chatgpt geben soll, auch bei den freien Modellen einbauen?
👍👍
wäre schon irgendwie abstrus wen openai oder meta sich darüber beschweren das jemand die Daten nimmt und daraus etwas neues macht *hust* XD ,nachdem sie Daten von überall genommen haben um damit etwas neues zu machen.
Ich finde ja KI Themen und Videos auch spannend - ich würde mich freuen auch mal wieder ein ct3003 Video zu sehen, was sich nicht mit KI beschäftigt. Das Video ist toll, aber es gibt doch auch noch andere Themen, die spannend sind(?).
Kommt, versprochen!
Bietet Lama / Dalai auch eine API wie chatGPT? Ich hab mit der openAI API ja schon einen Client (in Java) geschrieben, könnte ich das auch mit einem lokalen KI System?
Geht es auf Raspberry und in Home Assistant?
Ich feier es, ich würde gerne mehr über neuralink erfahren. Chips am Kopf die vor altsheimer schützen, Infos direkt abrufen usw.
Lol, vor Alzheimer schützt nur, sich gesünder zu ernähren und insbesondere kein Aluminium in den Körper zu bringen (z.B. durch Essen in Aluverpackung, durch Impfungen, Medikamente etc). Das hat also nichts mit dem Alter zu tun, sondern damit, wie man lebt(e).
Ich kann llama nicht herunterladen. Bin ich schon zu spät dran?
Wie immer wenn eine neue technik auf dem markt kommt, wie iPhone oder Computer, entwickelt sie sich am anfang rasant und irgendwann kaum noch aber wird immer stückweise optimiert.
Also die nächsten 2 - 3 Jahre wird VIIIEEELLL Passieren in dem bereich und danach kaum noch. :D Also das wird ne sher interessante zeit :)
Das ist genau das Video auf das ich gewartet habe, du bist ein echter Schatz. 🥰😙🤗 Jetzt müssen sie nur noch wieder Raspberry Pi bauen und verkaufen und bis dahin sollte das ganze vielleicht schon besser laufen, alleine die Vorstellung das es möglich ist, ist schon heftig. Und die Raspberry Pi werden auch immer besser.
Läuft auch auf Android-Telefonen! 🤓
@@ct3003 lustig, ich dachte da dass man mehrere terrabyte benötigt um das zum laufen zu bekommen
@@dtjanixx unfassbar wie stark sich so viel information komprimieren lässt
Gibt es ein Plugin, um Texte zu prüfen und umformulieren zu lassen, wie bei LanguageTool ?
Abgesehen von der minderen Qualität: Kann man mit dem Modell auf dem eigenen Rechner den einstellen, dass auch Fragen beantwortet werden, die online nicht beantwortet werden, weil sie aus verschiedenen Gründen zu sensibel sind?
Und kann man das Modell denn mit neuen Information füttern?
Das ist der Weg 😅
Geil! Demnächst gibt es dann sicher wie bei Stable Diffusion verschiedene Models für verschiedene Bereiche die man nutzen kann.
Zum Beispiel fände ich ein Model mit 70-80% Inhalten aus Github (und ähnlichen Seiten) SEHR SEHHRRRR interessant!
Halb Indien hofft mit dir. 😁
@@MetalheadAndNerd
Hi.
Wieso Indien?
Vielleicht kommt die Frage dumm vor,
aber man kann ja nicht alles wissen...!?!
Gruß
Habe es probiert, aber 'bad magic' error.
Wieviel Speicher braucht die Installation ?
nice musik
Mega cool! :)))
Danke Keno + Team!
Jeder der Brillenträger ist, oder so schon an Sehschwäche leidet, wird ein gutes Sprach-Computersystem mit Anbindung an das Internet und all die Schreibsysteme zu schätzen wissen.
Danke fürs Video! Gerne würde ich das Llama neben Stable Diffusion auf meinen PC installieren. Leider klappts bei mir nicht.
Mit "npx dalai serve" möchte meine cmd (als Admin) auf win10 immer wieder dalai@0.3.1 installieren.
Was mache ich falsch? Oder ist es nicht mehr verfügbar?
Dito. Bei mir das selbe Problem!
@@Didi1.275 ...im Beitrag unter unserem: "Alpaca und Lama werden jetzt über torrent verteilt ".
Wofür steht eigentlich der name c't 3003?
Top Video! Jetzt kommt für ChatGPT auch noch "plugins" raus. Bitte macht dazu auch noch ein Video. Mich würde ja interessieren ob es irgendwann möglich sein wird über ein plugin auch eigenen Daten in ChatGPT einzugeben. Ich arbeite oft mit einer Programmiersprache, die leider zu unbekannt ist. Und ich würde wahnsinnig gerne das komplette Handbuch dieser Programmiersprache einer AI "füttern". Das mühselig über die Texteingabe einzufügen klappt gar nicht.
Ich tüftele gerade mit GPT4 an einem Python-Code. Dieses KI-Monster beherrscht sogar das uralte GfA-Basic vom Atari ST. Mit was für einem exotischen Ding arbeitest du denn da, dass nix bekannt ist?
@@fortunato1957 DCTL. Davinci Color Transform Language. Ist eigentlich nahe an "C" dran. Aber halt nicht in der Datenbank der AI. Es ist absurd zu sehen wie gut die AI html, css, javascript und mehr beherrscht und die 4.0 Version schreibt super guten code. Und bei DCTL schafft er es nicht mal eine Zeile Code richtig zu bauen.
@@allenpayne9182 Krass! Das hätte ich nicht gedacht! Viel Erfolg!
Jetzt noch ein Sprachausgabemodul mit Stimme von HAL9000 und ich hab alles was ich je wollte 😂
👍
Hab Visual studio mit python und nodejs installiert. aber cmd kennt den befehl npx nicht... was machen sachen?
Hatten wir auch bei einem Rechner, geholfen hat nochmal node.js einzeln (ohne Visual Studio) zu installieren.
Hochinteressant.
OK, Wetter soll eh nicht so gut werden. Ich weiß was ich zu tun habe :-) Endlich einen automatisierten E-Book Umsetzer. Let's bastel....
Läuft schon auf der Apple Watch Ultra
Tschü
Nee, sorry funktioniert nicht. Bereits beim Install des Pakets dalai@0.3.1 geht es in eine Endlosschleife...
Woher erfährst du von solchen KI Netzen?
Ich folge auf Twitter der KI-Bubble.