LLAMA3: Programmieren eines lokalen Chatbots in Python - KI startet durch!
Вставка
- Опубліковано 10 лют 2025
- Meta hat ihr neues LLM LLAMA3 veröffentlicht. Das Modell ist unglaublich leistungsfähig und vollständig kostenlos. In diesem Video zeige ich, wie man ganz einfach einen Chatbot in Python programmieren und auf dem eigenen Rechner ausführen kann. Hierzu nutze ich die Bibliothek LLAMACPP. Das Video ist auch interessant für Leute, die ein grundlegendes Verständnis erlangen wollen, wie LLMs funktionieren.
Hier noch die Links:
Mein Video zu Neuronalen Netzen:
• KI, ChatGPT...und was ...
Interview mit Mark Zuckerberg:
• Mark Zuckerberg - Llam...
Sourcecode auf GitHub:
github.com/LT-...
Für tiefgehende Aktien- und Marktanalysen habe ich ein eigenes Projekt ins Leben gerufen. Ich würde mich freuen, wenn du einen Blick darauf wirfst. Dein Feedback ist mir sehr wichtig!
Hier der Link zur Seite:
alphanexus.de
Für Euro-Umrechnungen von IBKR-Kontoauszügen betreibe ich einen eigenen Service:
alphaconvert.de
Richtig gut, danke für das Video
Interessant finde ich wenn das Modell eigene Daten durchsuchen kann ähnlich wie die NVIDIA Lösung, aber eben mit mehr Datentypen
Du meinst ChatRTX, oder? Muss ich mir auch mal anschauen. Sieht spannend aus. Die benutzen LLAMA und Mistral als LLM, zumindest in dem Video auf deren Webpage.
Eigenes Modell trainieren interessiert mich auch. Ich möchte am liebsten einfach zB ein Fachbuch als PDF übergeben und dann passiert die Magie, ohne dass ich noch viel machen muss. Idealerweise werden auch Grafiken mit einbezogen.
Ansatzweise ist das ja schon mit PrivateGPT möglich.
Oder ist das etwas anderes? Das habe ich noch nicht verstanden.
Ich kenne PrivateGPT nicht wirklich; ich habe nur kurz die Webseite angeschaut. Sie nutzen anscheinend die OpenAI-Schnittstelle und bauen darauf ihr eigenes System. Das bedeutet, sie müssen ebenfalls das Problem lösen, das Kontextfenster bei großen PDFs effektiv zu nutzen. Es gibt jedoch auch das sogenannte Fine-Tuning, bei dem man Modelle mit eigenen Daten trainieren kann. Das heißt, das LLM bringt Daten direkt mit. Man nimmt also ein vortrainiertes Modell und fügt eigene Daten hinzu. Deshalb sind die Open-Source-Modelle auch so interessant, weil man sie selbst noch verändern kann. Allerdings ist das Ganze nicht komplett trivial, sodass man gute Ergebnisse erzielt. Das ist aber, was ich als Nächstes probieren möchte.
Da Empfehle ich auf RAG Ansätze zurückzugreifen. Damit machst du deinen Text linguistisch semantisch durchsuchbar.
Ist die schnellste und stabilste Lösung