DIE BESTE CHATGPT ALTERNATIVE - Kostenloser Offline Chatbot für Windows und Mac mit GPT4All
Вставка
- Опубліковано 14 тра 2024
- Man kann jetzt endlich einen eigenen Chatbot lokal, ohne Internet, ohne dass unsere Daten und Chats auf irgendeinen Server wandern, kostenlos und auf deutsch verwenden. Und dabei kann der Bot, was die Qualität der Antworten angeht, tatsächlich mit ChatGPT mithalten.
Die neue Version von GPT4All mit dem Wizard Modell hat das Unglaubliche geschafft. GPT3.5 Performance auf einem Laptop und niemand gehen unsere Daten etwas an. In diesem Video zeige ich Dir, wie Du den Chatbot installieren und verwenden kannst.
Hier gibt's GPT4All: gpt4all.io/index.html
00:00 Intro
01:09 GPT4All herunterladen und installieren
02:53 GPT4All einrichten und Modell installieren
04:40 Test des Falcon Modells mit deutscher Sprache
06:10 Test des neuen Wizard V1.1 Modells mit deutscher Sprache
07:11 Vergleich zu GPT-3.5
07:42 Arbeiten mit eigenen Inhalten innerhalb von GPT4All
09:11 Data Lake und das Verbessern zukünftiger Modelle
09:52 Fazit und Ausblick
Videovorschläge, Feedback und Kritik kannst Du uns jederzeit in den Kommentaren mitteilen!
Danke für eure Beiträge! Immer gute und aktuelle Infos !
Herzlichen Dank, eben im MacBook Pro von 2017 problemlos installiert und erstmals getestet.
Hättest ja mal erwähnen können, dass man mehr als 16G RAM braucht, dann hätte ich mir den Download gespart. ;-) Trotzdem Danke für den Beitrag.
Hat mich auch total überrascht. Frage: reichen genau 16GB RAM?
Nein bei den neuesten Modellen brauchst du 16GB frei. Also mehr RAM. Somit sind Systeme mit 8GB stark eingeschränkt. Aber es ist beeindruckend was für eine Leistung solche Modelle heute schon. Erreichen
Hallo Johannes! Danke für das Video. Meine Fragen: Steht Deine positive Bewertung heute noch? Geht das mit einem M1 und 16 GB RAM?
Danke vorab! Ihr mach tolle und vor allen Dingen fundierte Videos. Leider kann ich nicht überall folgen.
BG Klaus
@@kmasg2752das geht mit 16gb RAM aber nur die mittelgroßen und die kleinen LLMs bis 7b, alles ab 13b, also die großen LLMs benötigen 16GB frei, also müssen mehr als 16gb verbaut sein, damit dein Rechner nicht bei der benutzung auf bluescreenbasis abschmiert.
100% richtig. Selbst getestet.
Vielen Dank, ich werde es gleich mal ausprobieren.
Sehr schöne Beschreibung!
8:01 du kannst das Programm mit Dateien „füttern“. es ist zwar erst in der Betaphase jedoch funktioniert es super.
Vielen Dank für den Hinweis auf GPT4All und Eure Arbeit, die Ihr hier in den Kanal steckt.
Meine Erlebnisse bisher:
Das Downloaden war schon ein Abenteuer, weil GPT4All diesen zweimal abbrach mit einem "Status:error". Manuel dann heruntergeladen und ins richtige Verzeichnis geschoben. GPT startet dann ohne murren und knurren mit dem Wizzard v1..1
Testrechner: Surface Laptop Studio Model 1964 i7
Prozessor: 11th Gen Intel(R) Core(TM) i7-11370H @ 3.30GHz
Installierter RAM: 32 GB
Test mit der Frage: "Wer bist Du?" ergab eine sinnvolle Antwort, aber nur mit ca. 2.3 - 7 Token/s für mich noch zu langsam.
Ich behalte das Tool auf jeden Fall mal auf meinem Rechner für Norfälle und um die Entwicklung weiter zu verfolgen.
Danke für die neuen Infos
Traineriert GPT4All auch noch, wenn er lokal arbeitet? Welchen Datenstand hat die KI? ChatGPT ist ja nur bis Sep. 2021 trainiert.
Spannend. Vielen Dank. Klasse, das auch LLMA 2 - 13B damit läuft. Wie kann man jedoch das LLM trainieren, anhand einer kleinen Geschichte, so dass diese "KI" Unterschiede "erkennt", zwischen Personen gleichen Vornamens unterscheiden kann? Finde ich sehr spannend. Wie funktioniert diese "Intelligenz"? Vielen Dank.
Danke!
Danke, aber was willlst damit denn anfangen? Wo soll der Mehrwert sein?
Danke für das schöen Video aber sag mal, kennst du auch eine möglichkeit selbst Daten zu füttern? Es gab 'ne Seite, ähnlich aufgebaut wie ChatGPT wo man zum beispiel PDF Dateien hochladen konnte und der zog sich von dort die infos. Lief alles in Zeitlupe aber es ging. Hier 'ne möglichkeit so was zu machen?
Guter Beitrag. Können hiermit auch Plugins genutzt werden? ChatGPT Alternativen mit Plugin Nutzung suche ich bisher vergebens.
Sehr spannender Beitrag. Ich bin auf der Suche nach genau so einer Möglichkeit. Beispielsweise, um "ChatGPT" in einem Intranet zur Verfügung zu stellen. Allerdings wäre es dann super, wenn man das Modell mit den Inhalten des Intranet zusätzlich trainieren könnte. Gibt es solche Möglichkeiten?
Hallo Christoph,
aktuell gibt es da leider noch keine seriöse Lösung, die zuverlässig funktioniert und datenschutzrechtlich mit deutschen Standards konform ist. Aber das Llama2 Modell von Meta könnte eventuell eine gute Grundlage dafür bieten. Microsoft hat diese Woche außerdem weitere Infos zu Copilot und Bing Chat in der Enterprise Edition gegeben und das sind auch zwei Ansätze, die je nach Infrastruktur, möglicherweise in diese Richtung gehen werden. Wir sind selbst gerade verstärkt am Testen und werden auf jeden Fall ein Video machen, sollten wir dazu einen vielversprechenden Ansatz finden. LG Timothy
Kann man auch lokale PDFs analysieren lassen?
Ein sehr schön gemachtes Video!
Alles wurde sehr gut erklärt und und auch die Tests haben mich überzeugt...😊👍 Das gibt auf jeden Fall ein Abo! 😁😊
Bis auf wenige Ausnahmen läuft das ganze bei mir sehr gut.😊👍 Meine Technischen Daten werde ich weiter unten noch anhängen...
Was Ich jetzt noch gerne hätte, währe eine Möglichkeit eine Grafikkarte ein zu binden... Ich hab in meinem System eine Radeon rx 6700XT. Mir ist zwar bewusst, dass sich für gewöhnlich die Nvidia-Grafikkarten dafür besser eignen, trozdem denke ich, dass man mit den AMD Karten sicher auch was reißen könnte, da die Radeon Karten der aktuellen Generationen ja nicht gerade wenig auf dem Kasten haben... 🤔
Gibt es da schon eine Möglichkeit, von der hier jemand etwas weis?
Meine Technischen Daten:
Prozessor: AMD Ryzen 5 3600XT
Installierter RAM: 28GB
Mainboard: Asus Prime x570 Pro
GraKa: Radeon rx 6700XT
Betriebssystem: Windoof 10 Pro
Der Pc wird über das Netzwerk als Cloudgaming-Maschiene benutzt. Auf meinem Mac mini (M1) lief das ganze zwar auch aber bis die Antworten zu stande kamen, hat es immer ewig gedauert... 🤷♀🤔
Echt super, danke für die tolle Erklärung.
Gruß
ps: nutze ChatGPT 3.5 ab um über ein paar Ideen zu brainstormen :-)
Guten Morgen, ich habe einen Windows Laptop mit weniger als 16 RAM. Dadurch konnte ich nur GPT-4, GPT 3.5-Turbo und Mini Orca (Small) installieren. Bei den GPT`s kam folgende Fehlermeldung: ERROR: 2 ChatGPT responded with error code "429-Unbekannter Fehler" {
"error": { "message": "You exceeded your current quota, please check your plan and billing details.", "type": "insufficient_quota", "param": null, "code": "insufficient_quota" } }
Hoffe die Info hilft euch weiter. Danke für eure guten Videos. P.s. Vielleicht macht es Sinn ein Video über Hardware minimum requirements zu machen ?
Leider stürzt GPT4ALL bei mir direkt ab, sobald ich mit irgendeinem Model versuche etwas zu generieren. (Programm wird Terminiert ohne jede Fehlermeldung. Systemprotokoll kein Eintrag). Ich habe einen AMD FX(tm)-8350 Eight-Core Processor 4.00 GHz mit 32 GB DDR3 RAM, Windows 10 x64 Pro. Ist es Möglich, dass die CPU nicht kompatibel ist und gibt es vielleicht eine Liste dazu? Leider konnte ich mit eigener Recherche dazu kaum stichhaltige Informationen auftreiben.
Abgesehen davon ein Super Beitrag! Vielen Dank euch!
Wer das mal eben nachmachen mag... bitte die Hardwareanforderungen beachten. Mit einem Intel i7 kommt keine Freude auf. Für einen ersten Test ist es aber ok, um zu sehen ob man es überhaupt hinbekommt. Errechnet wird dann ca. ein Wort alle 9 Sekunden und das ist - naja. Mit einem Ryzen9 3900 ging es schon flotter. Die Abfrage startet mit genialen 30 Tokens/s, sinkt dann aber rasch auf 4 ab. Das ist in etwa langsamer als meine Lesegeschwindigkeit - leider. Bei Antworten mit HTML-Code Vorschlägen tropfen nur 1-2 Token heraus.
Arbeitsspeicher: Je nach Modellversion 16GB - das hat auch nicht jeder. Beim Test mit genau 16GB waren noch 5GB frei.
Ergebnis: Funktioniert, aber selbst mit neuster Hardware geht es noch zu langsam, zumindest bei meinen Test als KI-Anfänger. Was mache ich also falsch, da im Video der MAC angenehme 19 Token bringt?
Gibts mittlerweile ne Möglichkeit einen Voiceassistenten ins got4all einzupflegen oder ist das mit den Dokumenten chatten immer noch das neuste Feater?
In der Beschreibung steht ich muss das aus dem Quellcode erstellen weil ich mein ubuntu nicht upgraden kann (sudo apt upgrade). mit ./config geht es nicht. Wie kann ich das machen?
Könnte man hier die 'eigene Wahrheit' rein kippen?
Mir geht es darum einen Prozess im Unternehmen zu automatisieren ...
Vielen Dank für den Beitrag! Ich habe ein paar Fragen. Habe GPT4All installiert (neuer, sehr schneller Rechner mit 1000 Mbit Internetgeschwindigkeit). Die Schriftgröße ist unheimlich klein und lässt sich nicht vergrößern. Die Geschwindigkeit der Darstllung der Antwort ist extrem langsam, So, als ob ich mit 2 Fingern tippe. Eine Zeile braucht über eine Minute. Betrifft den Wizard. Kann man das ändern?
Was bedeutet "sehr schneller Rechner"? Die Internetgeschwindigkeit ist für die offline Nutzung völlig irrelevant!
Habt ihr genauere Informationen, ob dieses "offline GPT" hinsichtlich der Bearbeitungsgeschwindigkeit von einem schnelleren CPU oder Grafikbeschleuniger oder beidem profitiert?
Kriege ich das auf nem Notebook mit Ryzen 7 5700U ohne GPU bertieben ?
Wo lassen sich die Modelle manuell runterladen? Ein Link für jedes wäre hilfreich gewesen. Bei meinem 5 Jahre alten Rechner ließen sie sich installieren. Bi meinem neuen 32 GB RAM i7 13. Generation taucht das gleiche Problem auf wie bei Johannes6963
Kann denn dieses modell meine themen aich lernen??
K.A. ob es mir evtl. im Video entgangen ist, falls nicht, wäre der Hinweis hilfreich, dass man min. 16 GB Ram braucht um die Bots zu nutzen. Ich habe nur 8, weswegen ich mir heute weitere 16 GB Ram bestellt habe.
Danke für den Hinweis, habe 16 GB RAM, teste es am Wochenende mal.
Kann es zwar unter Windows installieren (64GB RAM WIn 11 aktuell) aber nach dem Laden des Wizard v1.1 oder GPT4AllFalcon kommt entweder nichts oder nach dem Download erfolgt Calculating MD5 und danach steht der vorherige Download-Button auf Remove und ein kleines rotes "Error" (Server Download Error) , 5 Mal versucht auch Neuinstallation - Schade 😞
Ergänzung und mein Tip: Nach manuellem Download des Modells von der Webseite funktioniert es
@@johann6963 wo lassen sich die Modelle manuall runterladen
Gibt es eine Möglichkeit das auf iOS zu bekommen?
GPT4all installiert, 3 Modelle runtergeladen und alle drei Modelle liegen falsch bezüglich des Finales von 1990. Laut diesen gewann Deutschland im Finale gegen Italien mit 1:0 was nur teilweise korrekt ist. Torschütze war in den Modellen entweder Möller oder Brehme. Auch 1990 wurde die deutsche Nationalmannschaft "Die Mannschaft" genannt. 😁
100 GB Daten - nice.
Mich würde mal interessieren ob man ALLE Datenbanken zusammen verwenden kann.
kurze Frage. Kann ich auch hier mittels Python Ergänzungen anfügen? Gibt es also so etwas wie eine Schnittstelle?
Gibt eine API, mal einen Blick in die Dokumentation werfen, da ist das ganz gut erklärt.
model loading error
trotz aller mühe, kann ich keinen text einfügen. wahrscheinlicher fehler, habe nur 16 gb ram.
Läuft auf dem Mac erst ab OS12.6 Sehr schade.
Ich habe Wizard v 1.2 mit einigen Fragen getestet und bin enttäuscht über die oberflächlichen und teils falschen Antworten. Selbst nach meiner Richtigstellung werden nach einer Entschuldigung weiterhin dieselben Antworten aufgelistet, die völlig an der Fragestellung vorbei gehen. Links zum Thema führen ins Leere oder zu Wikipedia-Seiten, die Begriffe, die in der Fragestellung vorkommen, erklären. Das Deutsch ist nicht immer grammatikalisch korrekt (drehend statt dreht).
geht nur ab MAC OS Vers. 12 !
Jetzt noch Deutsch und Kommerziell nutzbar, dann geht es ab!
Das Teil stürzt bereits beim ersten Start ab...