Відео

Nein, du machst nichts falsch. Man darf sich tatsächlich nicht auf die Antworten verlassen - vor allem weil sie zum Teil auch veraltet sind. Bessere Ergebnisse erhält man, wenn man zusätzlich eine Websuche oder Vector-Store verwendet. Ein nettes Tool das sowas anbietet ist OpenWebUI : ua-cam.com/video/Rrmm7KNIqbc/v-deo.html Auch llama 3.2 3B ist schon ziemlich gut und wesentlich besser was die deutsche Ausgabe angeht

Zum herunterladen des models benötigt man einmalig Internet. Danach passiert alles lokal auf deinem PC

Auf dem Pc

Du kannst zB. unter Docker Deskopt einstellen, wohin die Images gespeichert werden. Unter Einstellungen (Zahnrad oben rechts), dann Resources -> Advanced irgendwo steht da Disk Image location. Bei ollama kann man den Speicherort wohl auch über die Env-Variablen steuern: das geht zB. unter Windows via: setx OLLAMA_MODELS "D:\ollama_model" Quelle: github.com/ollama/ollama/issues/680 VG

schwer zu sagen, kannst du mir sagen welche version von webui du verwendest?

Vielen Dank! Wissen tue ich es nicht, da ich bisher noch nicht wirklich in den Code eingetaucht bin. Das Tool läuft aber auch offline, was schon mal ein sehr gutes Zeichen ist. Außerdem arbeiten (Stand jetzt) über 180 Entwickler an dem Code und er hat über 30k Sterne auf Github. Sollte da etwas nicht mit rechten Dingen zugehen und das Tools dazu bewegen "nach Hause" zu telefonieren, dann würde das recht schnell auffallen. Notfalls einfach die Browser-Konsole im Auge behalten :)

@@i-love-2-code Hi, danke für die schnelle Antwort :). Ich dachte es mir schon fast, aber ich wollte mal den Experten nochmal dazu fragen. Kannst du mir noch verraten, ob alle Huggingface Modells darauf funktionieren? LG!

Vielen Dank! Werde ich sehr gerne machen, wird aber noch etwas dauern. Ich habe eine kleine Liste von bereits begonnenen Videos und die muss ich erstmal abarbeiten - sonst laufe ich Gefahr dass die Sachen einfach zu lange nicht fertig werden. Ich gebe mir aber mühe so schnell wie möglich zu diesem Punkt zu kommen

@@i-love-2-code Danke schön 🙂 Ich freue mich schon auf deine Videos. Auf huggingface habe ich auch schon datasets hochgeladen, kannst sehr gerne benutzen ... einfach nach "Andzej-75" oder "RisingWorld" suchen.

Die Frage nach dem Thema kam tatsächlich schon öfters. Die kommenden 3 Videos sind leider schon begonnen und ich muss die auch erstmal fertig bekommen, sonst verzettele ich mich mit zu vielen offenen Baustellen. Aber danach widme ich ein ausführliches Video dem Thema Finetuning. Aber als kleiner Spoiler: Meiner Meinung nach erreicht man via RAG viel mehr und viel schneller Ergebnisse, als über Finetuning von einem Model.

@@i-love-2-code ja KP, alles mit der ruhe. Das wird eine harter arbeit. Tatsächlich habe ich RAG noch nicht verwendet. Ich habe lediglich PDF-Dokumente in den Arbeitsbereich von Open WebUI hochgeladen und damit einen Chatbot erstellt, der meine Fragen basierend auf den gelesenen und verstandenen Dokumenten beantworten soll. Leider liefert der Chatbot bei fast allen Fragen falsche oder unzusammenhängende Antworten. Ich habe bereits verschiedene Modelle ausprobiert, aber das Ergebnis ist meistens unbefriedigend. Die PDF-Dateien sind dabei höchstens 6 MB groß und nicht sehr komplex. Ist die RAG-Methode nicht dasselbe wie das Hochladen von Dokumenten in den Arbeitsbereich? Falls RAG deiner Einschätzung nach besser geeignet ist, könntest du dazu ein Tutorial erstellen? Vielen Dank für die Informationen zu RAG und deine Mühe, du hast einen tollen Kanal!

@@i-love-2-code ja KP, alles mit der ruhe. Das wird eine harter arbeit. Tatsächlich habe ich RAG noch nicht verwendet. Ich habe lediglich PDF-Dokumente in den Arbeitsbereich von Open WebUI hochgeladen und damit einen Chatbot erstellt, der meine Fragen basierend auf den gelesenen und verstandenen Dokumenten beantworten soll. Leider liefert der Chatbot bei fast allen Fragen falsche oder unzusammenhängende Antworten. Ich habe bereits verschiedene Modelle ausprobiert, aber das Ergebnis ist meistens unbefriedigend. Die PDF-Dateien sind dabei höchstens 6 MB groß und nicht sehr komplex. Ist die RAG-Methode nicht dasselbe wie das Hochladen von Dokumenten in den Arbeitsbereich? Vielen Dank für die Informationen zu RAG und deine Mühe, du hast einen tollen Kanal!

Vielen Dank! Tatsächlich ist ein zweites Video zu genau diesen Themen geplant. Ich rechne mit 2-3 Wochen bis ich es fertig habe

Sehr gerne und vielen Dank!

Du hast da wirklich einen Punkt :) Etwas unglücklich im Ton, aber ich bin ja auch nicht aus Zucker. Das Problem das du ansprichst ist wirklich spannend und ich würde dir gern anbieten, dass wir es in einem gemeinsamen Video genauer erklären - fände ich super! Falls du Lust hast, sag bescheid

Ja und damit hast du auch schon den Inhalt eines der nächsten Videos verraten :) Aber ich möchte an dieser Stelle ungern spoilern

Welche Behauptungen sollten deiner Meinung nach belegt werden?

Sehr gerne! Das Tool ist definitiv eine gute Wahl und wird in den kommenden Monaten noch um einige starke Features erweitert. Der Aufwand bzgl. Installation lohnt sich definitiv. Viel Erfolg und danke für das Feedback

Ja, man sollte da definitiv wissen was man tut und die "auto" Funktion nur mit Bedacht verwenden.

@@i-love-2-code Gibt es die Möglichkeit die Recht o.ä. zu beschränken. Nicht das die Ki "versehentlich" die Festplatte löscht oder Dateien umbenennt etc ;)

Es gibt einen experimentellen Safe-Mode: github.com/OpenInterpreter/open-interpreter/blob/main/docs/SAFE_MODE.md und per Default wird ja vor jeder Ausführung von Code nachgefragt. Unter Linux kann man noch mit Benutzerrechten arbeiten und dann könnte man Code-Interpreter noch in einer Docker-Umgebung betreiben, um Risiken zu minimieren. Ich hoffe das hilft ein wenig :)

@@i-love-2-code Vielen Danke. Es ist aufjedenfall ein niemals endendes Thema.

😅

I'm glad I could help :) If you don't want to start ollama separately or run it with "ollama serve", you can also use "ollama pull modelname"

Freut mich, dass es Ihnen offensichtlich sehr gut geht... Viel Spaß weiterhin

Ich habe bisher noch keinen Weg gefunden, die UI auf deutsch umzustellen. Im nächsten Video zeige ich aber eine UI bei der das und noch vieles mehr geht. Hoffe bis Mitte nächster Woche kann ich es hochladen. Ansonsten würde ich aktuell CohereForAI/aya-23-35B empfehlen. Ist ein sehr starkes Modell - vor allem wenn die deutsche Ausgaben wichtig sind. VG

@@i-love-2-code vielen dank für die tipps & hinweise. bin dann sehr gespannt auf das nächste video und werde auch mal das empfohlene modell ausprobieren. VG

Was für eine Grafikkarte verwendest du denn?

@@i-love-2-code AMD Radeon RX 6800 XT

Das frage ich mich auch.

Danke für dein Feedback. Ich arbeite gerade an einem Tool, dem man Bilder von Personen (sich selbst und Familienmitgliedern) geben kann und das dann basierend auf diesen und weiteren Metadaten entsprechende durchsuchbare Alben erstellt. Stelle das dann in einem zukünftigen Video vor und veröffentliche es auf Github. Habe jedoch aktuell leider viel um die Ohren, darum dauert es länger als ursprünglich geplant :/

Vielen Dank für dein positives Feedback :) Normalerweise kann man das über das rm-Kommando machen: zB. "ollama rm llama2". Wenn du wissen möchtest welche Models aktuell installiert sind: "ollama list" Es kann (zumindest unter Windows) vorkommen, dass dann beim Versuch zu löschen ein Fehler zurückgegeben wird. Der besagt in etwa, dass das Model gerade verwendet wird und nicht gelöscht werden kann. In dem Fall lohnt der Versuch ein anderes Model zu starten und direkt wieder zu beenden. Danach direkt nochmal den rm-Befehl ausführen. Ich hoffe das hilft

Ahhh ...mein nvidia diver ist zu alt 🤪

Driver aktualisiert...läuft 🤩👍

Tut mir leid, konnte nicht schneller antworten. Freut mich aber sehr, dass es jetzt funktioniert! Und vielen Dank für das Teilen der Lösung :)

Läuft auf jeden PC?

Kann man so beschreiben. Finde es auch gut, dass jede Zielgruppe ein Tool für sich im Netz finden kann.

Ich habe die Sachen von stability tatsächlich noch nicht ausprobiert, kann es darum schlecht miteinander vergleichen

Achso, deine Frage ... Nein, ich finde ComfyUI (SD) wegen der Möglichkeit der Veränderung des Systems, sprich Erweiterungen, um einiges besser. Wer aber einfach nur Bilder erstellen will, fährt mit Fooocus genauso gut.

Vielen Dank für die Rückmeldung! Ich schaue mir das heute Abend mal an und werde den Fehler korrigieren.

Vielen Dank!

Tut mir leid, dass es Probleme mit dem Tool gibt. Ist schwierig aus der Ferne da eine Diagnose zu stellen, vor allem weil ich selbst keinen Mac verwende. Als ersten Schritt würde ich vorschlagen, den Download-Ordner testweise zu ändern. Sollte alles nicht helfen, gern mal unter der Woche im Discord vorbeischauen. Da könnte ich es mir mal direkt anschauen :) VG

Du kannst es auch über CPU nutzen. Bzgl. AMD sagt die Doku: "AMD is not intensively tested, however. The AMD support is in beta." Ich habe leider keine AMD Karte, kann es daher nicht selbst testen

ua-cam.com/users/results?search_query=build+your+own+llm+from+scratch

Vielen Dank für dein Feedback. Ein eigenes LLM trainieren wird wohl kaum jemand von uns machen, das ist schlicht zu teuer. Wie man eigene Dokumente in GPT4ALL verwendet, habe ich hier erklärt: ua-cam.com/video/Koc_cB9Ana8/v-deo.html vielleicht hilft das etwas weiter. Lokale Models als Lernhilfe finde ich generell sehr spannend und werde dem nach Teil 2 zum Browser Plugin direkt ein Video widmen. Falls ich hier konkrete auf konkrete Fragen eingehen soll, schreib sie mir gern. Ansonsten: Sollte das GPT4ALL Video nicht helfen, melde dich einfach - bei konkreten Anliegen kann ich sicherlich behilflich sein

@@i-love-2-code Danke. Ob das teuer ist oder nicht, wäre trotzdem interessant zu wissen, wie man das per Python oder C++ machen könnte. Leider ist das "Gedächtnis" noch viel zu kurz, auch bei GPT4All gibt es sehr schnell Halluzinationen. So ganz würde ich mich auf die Antworten nicht verlassen. ;-) Mir geht es sehr spezielle darum, eine eigene "KI" zu erstellen, die ich entsprechend mit Dateien (PDF, TXT, Docx) trainieren möchte. Auch das Training interessiert mich, da verschiedene Zusammenhänge die sogenannte "KI" noch nicht "versteht". Klar, ist vorallem auch von der Hardware abhängig, auch was die Geschwindigkeit betrifft. Darum geht es mir erstmal nicht, ein XMG Neo 17 mit RTX4090 dürfte für meine Texts reichen. GPT4ALL mit GPU ist schon ein himmelweiter Unterschied. 🙂 Bin gespannt, wann man den ersten richtigen Dialog anhand seiner Lernskripte hat. Gerne auch Literaturtipps mitteilen. Belese mich bereits in ML, DL, RL, KNN usw..... BTW: Klasse Kanal! Schönes Wochenende.

Bin nicht sicher ob das reicht :) Du hast an sich 2 Möglichkeiten deinem LLM "Wissen zu vermitteln" Entweder via externen Datastore (VectorDB usw) was sich dann Richtung RAG bewegt oder (und ich denke das was du meinst) du musst (d)ein LLM Finetunen (schau mal nach: Fine tuning LLMs for Memorization). Beides spannende und vor allem umfangreiche Themen. Sollte dich Letzteres interessieren, kann ich dir folgende Playlist empfehlen: ua-cam.com/play/PLWG1mVtuzdxfXkxCbPHh9reKV-fWqraEX.html Bin mir ziemlich sicher, dass das die Informationen sind, nach denen du suchst. Dir auch ein schönes WE ;)

@@i-love-2-code Klasse, Danke. Ich schaue es mir an.

Ich gebe mein Bestes, damit der nicht wieder so lange auf sich warten lässt :)

​@@i-love-2-code Ich bin von Hause aus Hardwareentwickler, aber jetzt Rentner. Deine Videos ermöglichen es mir auf dem neusten Stand der Technik zu bleiben. Die technologische Entwicklung wird immer rasanter, um ihr zu folgen. Entweder man spezialisiert sich oder verliert den Anschluß. Sicherlich habe ich eine Menge Fragen zu dem Umgang und der Hardware mit der KI sowie derer praktischen Einbindung, aber ein Schritt nach dem anderen. Sicher können wir auch mal einen anderen Kanal der Kommunikation finden und ein interessantes Gespräch über weitaus mehr zu führen. LG Frank

Vielen Dank :) RAG wird definitiv bald kommen. Ich versuche, das Thema nach und nach aufzubauen, so dass ich bei komplexeren Sachverhalten auf entsprechende Grundlagenvideos verweisen kann. Aber das meiste ist erledigt und wir nähern uns den wirklich spannenden Dingen

Vielen Dank für das tolle Feedback! Das mit den Abonnements ist schon ok - der Kanal ist ja noch nicht so alt bzw. ich erstelle erst seit ein paar Wochen Videos. Ich möchte auch nicht in die Falle tappen, Abonnenten "hinterherzujagen", sonst bestimmt irgendwann die Nachfrage die Inhalte und nicht mehr meine persönlichen Interessen. Dann würde es schnell keinen Spaß mehr machen und ich würde wahrscheinlich die Lust verlieren :) Sollte es Probleme bei der Umsetzung unter Linux geben, gerne melden (Kommentar oder Email) ich unterstütze gern

Vielen Dank für deine Rückmeldung! Das ist wirklich unglaublich wertvoll. Nicht unbedingt wegen irgendwelcher Yt-Algorithmen, sondern vor allem, weil man sonst keine Ahnung hat, was dem Zuschauer gefallen und was ihn eher gelangweilt hat. Deshalb bin ich für jedes Feedback sehr dankbar. Zu deiner Frage: Man kann Modelle aus beiden Programmen im jeweils anderen verwenden. Models aus LMS in GPT4ALL zu verwenden ist völlig unkompliziert. Sie müssen sich nur den gleichen Model-Ordner teilen. Models von GPT4ALL in LMS ist dagegen mit etwas Aufwand verbunden. Da sich beide Tools einen Model-Ordner teilen, wird LMS nach einem Download von GPT4ALL ein "uncategorized model file" erkennen. Aber auch hier hilft LMS bei der Auflösung, indem es einen Hinweis gibt, wie die erwartete Ordnerstruktur aussieht: Publisher\Repository\Modelfile.gguf Als Bsp: TheBloke\Mistral-7B-Instruct-v0.2-GGUF\mistral-7b-instruct-v0.2.Q4_K_S.gguf Das ist dann etwas manueller Aufwand. Ich würde die Modelle also eher über LM-Studio herunterladen, da hat man sowieso mehr Auswahl und spart sich den Mehraufwand. Hoffe das hilft ein wenig :)

​@@i-love-2-code So habe ich mir das auch gedacht. LMS benutzen, um Modelle in die von LMS gewünschte Ordner-Struktur reinzuladen, und dann GPT4All diesen Ordner präsentieren. Danke für flottes Feedback, werde deine Videos weiter mit großem Interesse verfolgen. Abonniert habe ich schon.

Freut mich sehr, wenn es dir gefallen hat :) Danke für das Feedback

Gerade bei diesem Video war ich mir nicht sicher, ob es wirklich verständlich ist. Umso dankbarer bin ich für Dein Feedback. VG

@@i-love-2-code Von Hause aus bin ich ein Dinosaurier aus der Hardwareentwicklung.Jetzt bin ich Rentner. Habe sozusagen die Entwicklung der Programmiersprachen und BS von Beginn an mitgemacht und verfolgt. Irgendwann ging es so schnell, daß man den Anschluß verlor bzw. man hat sich spezialisiert. Um all meine Ideen umzusetzen fehlt es an Zeit und ich bin dankbar für diese Tutorials, wie du sie machst. Die Lernkurve ist dadurch sehr steil und das macht Spaß. Für mich ist natürlich die Brücke zwischen Mikrocontrollern und KIs sehr interessant. Zur Zeit arbeite ich aus Interesse an einer Infraschallalarmanlage. Eine Datenanalyse mit einer KI wäre in dem Fall sehr interessant. Jetzt könnte ich noch sehr viel schreiben, aber dabei belassen wir es erst mal... VG

@@frankschuler9738 Wow das klingt spannend. Vor allem weil das auch einen Bereich anschneidet, den ich bisher gar nicht so sehr auf dem Schirm hatte. Tatsächlich lese ich auch von Infraschallalarmanlagen heute zum ersten Mal. Umso schöner - da ich diesen Kanal gestartet habe, um mit interessanten Menschen in Kontakt zu kommen und über "meinen" Tellerrand hinauszuschauen. Meine MC Zeit ist leider eine Weile her, muss mich da mal belesen was es in dem Bereich so alles gibt. Ich werde mir auch mal Gedanken machen, wie ich einen Ort zum direkten Austausch (alles was über Kommentare hinaus geht) schaffen kann. VG

​@@i-love-2-code Einen Ort zum direkten Austausch würde ich sehr begrüßen. Es ist schwer Gleichgesinnte zu finden. Durch meine langjährige Arbeit, konnte ich viel Wissen und interessante Dinge erfahren. Dadurch sind meine Interessen sehr breitbandig, von Hardware, Software, Sensoren, physikalische Phänomene, Medizin, Psychologie, Biochemie, Datenanalyse bis hin zur Naturheilkunde auf naturwissenschaftlicher Basis. Momentan überrollen mich die alltäglichen Probleme der heutigen Politik (Energiewende, Heizungsgesetz, Grundsteuer, Gesundheit, Kfz, gesunde Ernährung, Instandsetzungsprobleme und vieles mehr) Man verplempert seine kostbare Lebenszeit mit ideologisch gesetzten Hürden. Wenn ich nicht so alt wäre, würde ich das Land verlassen. Zukunftsplanung ist derzeitig unmöglich. Wenn das nicht wäre, hätte ich jetzt Zeit meine Ideen und gesammelten Erfahrungen die ich habe umzusetzen. Leider schaffe ich das momentan nicht. Ich bin immer für einen interessanten Gedankenaustausch offen. Wir können alle nur dazu lernen. VG

Hahaha, das klingt in dem Video wirklich gefährlich :) Aber ich gelobe Besserung!

Ich danke dir für das positive Feedback! Freut mich riesig

Ja, die es gibt wohl gerade Probleme. Jedoch funktioniert der Weg um das Tool wieder lauffähig zu bekommen. Mehrfach am PC getestet (auch gerade eben nochmal)

@@i-love-2-codenur in Firefox geht es z.B. nicht so. Finde den Weg eh komisch um Cookies und Cache zu löschen. Naja, trotz allem ist es wohl kaputt gerade.

Vielen Dank @Re-Ha-B für den Tipp! Im Firefox: F12 drücken, auf Reiter Storage wechseln und den Rest wie im Video beschrieben durchführen. Ich passe die Beschreibung mal an. Viel Erfolg & ein angenehmes Wochenende

@@i-love-2-codeich mag wenn Leute Kritik annehmen und nicht gleich ausrasten. Daher dir auch ein tolles Wochenende! :)

Oh ja, vielen Dank für den Hinweis! Das ist mir tatsächlich entgangen. Ich wollte noch auf die Notwendigkeit der Prüfung solcher Fakten hinweisen, aber bin dann selbst in die Falle getappt.