Mistral, LLaMa & Co. - Use free AI giants locally
Вставка
- Опубліковано 1 чер 2024
- Learn computer science for free on my website:_ bootstrap.academy
Huggingface models: huggingface.co/models?pipelin...
Open LLM Leaderboard: huggingface.co/spaces/Hugging...
The web interface: github.com/oobabooga/text-gen...
GPT4ALL: gpt4all.io/index.html
Featured article: www.bleepingcomputer.com/news...
Chapter:
00:00 Introduction
00:37 Overview
01:12 Hugging Face as a central platform
03:48 Important open source models
05:23 Strength of models
07:41 Fine-tuning models
12:23 Advantages and disadvantages
17:22 Security aspects
19:19 Data protection
21:04 Cost aspects
26:34 Implementation with GPT4All
32:12 Choosing the best model
34:14 Implementation with Text Generation WebUI
38:16 Conclusion
* All my social media portals *:
bio.link/themorpheus
Discord:
the-morpheus.de/discord.html
_Support me - Thank you!
www.patreon.com/user?u=5322110
www.paypal.me/TheMorpheus
![[柴犬ASMR]曼玉Manyu&小白Bai 毛发护理Spa asmr](http://i.ytimg.com/vi/0TsXQ7z2Dh4/mqdefault.jpg)
Meine neue Website ist endlich auch fertig:
Ihr findet dort auch die Möglichkeit einen NEWSLETTER von mir zu abonnieren. Das ist super praktisch, weil wir da nicht auf den UA-cam Algorithmus angewiesen sind, dass ich euch erreiche. Ein Mal die Woche kommt dann ein Update, nicht nur mit Videos, sondern auch mit Themen, die es vielleicht in kein Video geschafft haben!
the-morpheus.de/
Hey Morpheus
Echt geile Webseite! sehr nice!
🏆
Die Seite ist echt hübsch geworden. Leider sind mir ein paar Dinge aufgefallen, die die Nutzung etwas negativ beeinflussen:
- Titel lädt schnell, aber die Seite laggt beim initialisieren (vermutlich wegen dem threejs Ding) und ist unbenutzbar (hängt) und Buttons sind nicht anklickbar für ein paar Sekunden
- Das threejs Ding sollte vielleicht (wenn möglich) nicht mit der Maus-Folge-Animation abbrechen, wenn man einen Button oder Text hovert (wirkt kaputt)
- Haufenweise Warnings in der Konsole
- paar Abstände wirken zu klein ("Zur Bootstrap Academy" Button Padding links und rechts und Abstand im Footer nach "Contact")
- Fehlende Übersetzungen im Footer?
- Bootstrap und jQuery? (Naja, ist dir überlassen xD)
Ich wäre dir so dankbar, wenn du mal so eine Huggingface-Reihe machen würdest und dabei die Basics abdeckst. Was ist ein Space, wie kann man so was erstellen etc...
dem möchte ich mich anschließen
Mega geil, bitte mehr Guides in der Form! Ist echt schwierig bei den Sachen noch durchzublicken. Für mich wäre sehr interessant, wie ich ein Basis Modell mit einem Datensatz von meinen Texten trainieren kann um nachher ähnlich Ergebnisse zu bekommen
Sehr gut, verdammt gut und hilfreich, bitte lege schnell mit Loras nach.
6:16 7B steht für 7 Milliarden, nicht Billionen oder Millionen.
Englische "Billions" genauer gesagt.
@@lars7898 Es gibt keine deutschen "Billions" genauer gesagt.
Milliarden oder Billionen oder Billiarden auf gut Deutsch gesagt.
@@herrspitz6964 Ich glaube es ist schon klar geworden, dass das B im Namen für eine englische Bezeichnung steht.
Das war nur ein Versprecher, später im Video hat er es dann eh richtig gesagt.
@@lars7898 Mir gehen Klugscheißer die auch noch falsch korrigieren auf den Sack.
Unglaublich gut erklärt. Super interessant das Thema Open Source KI. Sie können Seminare führen!!!
Huggingface ist fast ERSCHLAGEND auf den ersten Blick und es war gerade mein erster Blick
Tolles Video! 🙂 Yepp, die gleichen Gedankengänge hatte ich auch in Bezug auf lokal trainierte Modelle für eigene Applikationen, alles hat Vor- und auch Nachteile. 🙂
Ich bin soo froh, dass ich mir vor 2 Jahren einen Gaming-PC zusammengestellt habe, der eine gute Nvidia-Grafikkarte hat. Die Web-GUI ComfyUI für Stable Diffusion läuft bei mir richtig zügig. Ich hab's mal auf meinem Laptop über die CPU laufen lassen (als Test), die Generierung des Bildes mit den gleichen Parametern hat gleich mal 7 Minuten gedauert, anstelle von 5-7 Sekunden.
Danke für das Video! Ich kann als Alternative für lokale LLM-Inferenz noch Ollama empfehlen. Einfach zum laufen zu bringen, einfache Handhabung, Python&JS Libs, API-Nutzung möglich, WebUI Support, klasse Website & Blog.
Habe das auch. Sieht aus wie ChatGPT und man kann den Text auf Fullscreen setzen, was ich bei ChatGPT nicht gefunden habe. Achso und mit Bildern kann der auch umgehen (einfach hochladen im Chat).
Vielen Dank für deine großartige Arbeit, Wertschätzung ist unterwegs🏆
Was auch sehr interessant wäre, wenn du mal zeigst, wie man solche Modelle von Huggingface für seine eigene Anwendungen Fine-Tuned in Python VS Studio.
Danke super Video, endlich mal wieder info zu Open Source Modellen.😊
Mega! Und gerne mehr in diese Richtung
4:16 AMD funktioniert für mich wunderbar, solange ich pytorch benutze. ROCm hat mich sehr positiv überrascht. Auf einer RX 6800 bekomme ich etwa 10% Token/s wie eine 3060 (Ti?), habe aber 4GB VRAM mehr.
Achso ROCm läuft nur auf Linux, hab ich vergessen.
@@tedzards509 Es geht ihm dabei darum, dass die meisten Modelle mit CUDA beschleunigt werden, was Nvidia GPUs vorbehalten ist.
@@Tri-Technology die meisten Modelle von huggingface werden nit pytorch ausgeführt. Pytorch hat eine Beschleunigung für sowohl ROCm, als auch CUDA. Die modelle selber sind für nichts beschleunigt.
@@tedzards509 ist das vom Format abhängig (z.b. GGUF) oder steht bei jedem Modell ob das mit pytorch, Tensorflow oder Kerras läuft?
Ein echtes Brett hast Du da geleistet. Hast like und Abo
Sehr cooles Video. Hat mir sehr geholfen. Danke
Was heißt "Gaming-Rechner" in Bezug auf RAM, GPU (explizit schon genannte NVIDIA), CPU und den Anforderungen?
Ab welcher Größe vom RAM, laufen welche Größen der LLM?
Diese Fragen stellen sich mir ...
Bitte mehr davon! Ich hab gleich mal ein bisschen probiert auf mein Mac. Du kannst gerne mehr machen zu den ai Themen zum selbst machen. Vielleicht auch wie man das dann in sein eigenen Code einbaut?
Alles sehr faszinierend. Ich stehe noch ganz am Anfang und bin ehrlich gesagt ein wenig überfordert.
Das beginnt schon damit, dass ich keine Ahnung habe, auf was ich bei den Modells achten muss, wenn ich einen MacBook Air M1 habe und ob ich damit überhaupt ein vernünftiges Modell zum laufen bringen kann.
Mit Apples M Chips ist es schwierig, da die meisten Modelle CUDA zur Beschleunigung nutzen und das nur mit Nvidia GPUs möglich ist und zudem die M-Chips auf ARM-Architektur basieren. Da müsstest du Mal konkret in Apple Foren schauen oder selbst versuchen, ob du die Modelle zum laufen bringen kannst.
@@Tri-TechnologyDas ist nur bedingt richtig. Für Apple Silicon ist das GGUF Format wie gemacht. Apple hat tatsächlich den Vorteil, dass es über 'Unified-RAM' (geteilten Memory zw- CPU&GPU) verfügt und etwas schneller läuft als auf herkömmlichen CPUs. Ist natürlich trotzdem kein Vergleich zur Geschwindigkeit von NVIDIA-GPUs. Mit
Guten Abend Cedric,
ein schwieriges Terrain.
Gruß, Enigma-pi.
Gerne mehr von sowas :)
Hey, wie immer ein mega Video und danke für den Überblick!
2024 soll das Jahr der Robotics und Agents werden...glaubst du mit den Open Sorce Modellen lassen sich: Sales, Accounting, Service, Controlling und co Agents erstellen? Falls ja, welche Remote Jobs sind dann noch sicher? OpenAI wird die Agents bringen und ich möchte nicht darüber diskutieren ob ein Wandel kommt, sondern wie er kommt und welche Folgen hat. Lieben Dank dir/euch!
Agenten erstellen: ja
Jobs: großes Thema, hab ich ein paar Mal angerissen, aber momentan laufen die qualitativ noch nicht alleine
Werden aber noch mehr Videos dazu kommen
Super Video! Warum nutzt du nicht LM Studio für die Modelle? 🙂
Die amerikanischen Billionen sind deutsche Milliarden! Nicht Millionen. Kleines aber wichtiges Detail 😉
Klappe zu und weiterschauen 😂🤓
das hat mich auch kurz so verwirrt hahaha
Dankeeeeeeeeee
Super, Danke^^
70b Modelle passen quantisiert in 24GB VRAM im exl2 Format
Cooles video! Kannst du verschiedene llm serving frameworks vorstellen und benchmarken? Zb vllm, aphoridte, tgi, tensortRT-llm, openllm, sglang usw?
danke!
super video! gerne mehr zu huggingface und wie man llm in python nutzen kann! ich suche verzweifelt nach einem modell dass texte clustern kann nach themen!!
Kannst du vielleicht noch ein Video machen wie man etwas fein trainiert ?
Ich verwende eigentlich immer die GGUF oder GGML Varianten mit 4_K_M Quantisierung, obwohl es auf CPU recht langsam ist, aber mit 32GB Arbeitsspeicher sind sehr viele möglich. Mit meiner Grafikarte (2GB) geht nicht so viel...
Welches Model für text2Image Generierung würdest du empfehlen?
Gibt es auch eine Rubrik für LLMs die speziell für Coding gut trainiert wurden? Weil, ich sehe da nur Vision, Robotics, Audio usw...
Dann wollte ich fragen, ob es dann auch wirklich große Rolle spielt, dass man sich auf eine Programmiersprache fokussiert oder fällt es ab einer bestimmten Größe nicht mehr so sehr ins Gewicht und dass sie dann alle bzw großen Teil der Programmiersprachen abdecken?
Danke für das tolle Video , wirklich sehr interessant. Du haust da Content raus was echt genial ist und auch weiter hilft.
Hab mir Ollama installiert mit Docker und hab da auch ein recht gutes LLM Model gefunden "codellama" ... hat aber auch so seine Schwächen.
Probier da immer für NodeRED etwas Code generieren zu lassen und das klappt mal mehr oder weniger gut.
Gibt es da besserer Modelle oder andere Empfehlungen ?
Hab einen Linux Rechner mit 64GB RAM und Nivdia mit 12 GB RAM.
Wow, danke für dieses unfassbar wertvolle Video, ich bin tatsächlich gewillt mich nochmal mit der ganzen Thematik mehr zu befassen.Mal schauen wie weit ich mit meiner AMD Hardware komme.
hie geht's aber explizit nur um LLMs? Bildgenerierung ist da noch außenvor?
Nein, leider nicht. Egal welche "KI" du nutzen möchtest, AMD steht weit hinten. Du kannst ja mal nach ROCm googlen. Das ist AMDs Antwort auf die schlechte nutzbarkeit der AMD karten. Wie und ob dir das weiter hilft kann ich leider nicht sagen.
Bildgeneratoren: stable diffusion, hab ich auch ein paar Videos zu
Sehr gutes Video. Eine Anleitung für Text to Speech und Text to Picture wäre cool.
Also auf GPT4All läuft mein Mistral Modell mit meiner AMD 7900XTX unter Linux eigentlich flott?
Diese Zensur merke ich bei Bildgeneratoren, die ich kenne: Sie bekommen kein Tracheostoma hin, vermutlich weil Schnitte am Hals unter NSFW fallen. Doch ist ein Luftröhrenschnitt eine klassisches medizinisches Ding.
Theoretisch müssten Open-Source-Alternativen zu den jetzt angebotenen KI-Diensten (z.B. Audio-Filterung, Störgeräusche, evtl. sogar einzelne Stimmen heraus...) relativ schnell die gleiche Leistung erreichen, und damit solche teuren Abo-Dienste überflüssig machen.
Dass die also jetzt versuchen noch Geld zu verdienen, ist klar.
Wenn UA-cam diese Übersetzung in alle Sprachen wie bei Flawless-AI kostenlos einbaut, muss man als Creator vorher auch keine Dienstleister in Anspruch nehmen.
Und natürlich spart es vorher 2, 4, 5, 8... Sprachen-Versionen zu erstellen und hochzuladen.
Eine Art Sora für alle, kostenlos nutzbar (zu Hause), und unzensiert, damit könnten kleine Creator und solche die noch kein Video gemacht haben ohne Kosten einen guten Einstieg finden.
Schönes Intro, Outro, Clips für alle Videos, alles ohne einen 3-4-stelligen Betrag auszugeben, oder Stock-Material zu nutzen.
Gutes Video! Für ein besseren Kontext wäre es zu dem noch interessant zu wissen, was genau du für eine GPU etc. verwendest, damit man dass besser auf seinen eigenen Rechner umrechnen kann.
Rtx 3090
Wie aktualisiert man denn lokale modell, die man schon selber fine getuned/angelernt hat?
Was sagt ihr zum ollama launcher? Ist das sicher zum benutzen?
Mich würde ein Video interessieren welche theoretischen und praktischen Möglichkeiten und Limitierungen es gibt den Grafikspeicher für LLMs zu erweitern (insbesondere fürs fine-tuning). Es gibt ja Technologien wie shared Memory oder resizable bar. Leider gibt es dazu aber kaum Infos zu LLMs. Wären für solche Anwendungen nicht auch Grafikkarten mit erweiterbarem RAM sinnvoll? Oder gibt es davon keine weil es technisch nicht umsetzbar ist?
Vielen Dank auf jeden Fall für den spannenden content!
Es gibt keinen erweiterbaren VRAM bei Grafikkarten. Shared Memory ist zum Teil reservierter RAM für deine Integrierte Grafikeinheit deiner CPU (iGPU), wenn du denn sowas hast. Außertdem gibt es ja schon Lösungen, die auch auf der CPU laufen und eben deinen RAM statt GRafikkarte und deren VRAM nutzen, nur bocklangsam. Ich denke dass auch beides genutzt werden kann, wenn der VRAM nicht ausreicht aber ich weiß nicht inwiefern sich das überhaupt lohnt bzw. wie sehr das ganze über die CPU dann ausgebremst wird. Und resizable bar ist eine Option im Bios die du im besten Fall sowieso immer aktiv hast.
Wenn Du Gemini fragst, dann sind Black Hats die Guten und White Hats für Deinen Stromausfall verantwortlich. Soviel zum Wert von Zensur, bzw. zur Frage, wer oder was bedient werden soll.
Mit welcher lokalen KI kann ich sensible Excel Dateien hochladen um eventuelle Muster erkennen zu lassen? LG
Ich bin ja etwas verunsichert, wann oder ob es sich lohnt eigene Hardware anzuschaffen. Der Privatsphärenaspekt wiegt schon groß für mich - aber wenn dann würde ich auch TTS / STT, ein-drei LLMs und Stable Diffusion laufen lassen wollen und können. Ich fürchte irgendwie, dass alles was ich mir heute anschaffen würde, in kürzester Zeit obsolete ist..
Ich denke auch dass aktuell kein guter Zeitpunkt ist. Der Gerüchteküche zufolge fährt Nvidia die Produktion der 40er Serie inzwischen runter um beim Launch der 50er nicht auf Lagerbeständen sitzen zu bleiben.
Ich denke aktuell lohnt es sich definitiv auf die 50er zu warten. Sei es nur um die 40er günstiger zu erwerben:)
Wie energiehungrig sind die KI-Modelle? Wie viel Energie wird, oder wurde, für ihr Training verwendet, wie viel Energie wird für ihre Anwendung benötigt?
Ich meine, dass wurde in einem der ersten Videos von Morpheus zu LLMs und ChatGpt mal angesprochen. Genaue Zahlen wird man allerdings wohl nur bei der jeweiligen Entwicklungsfirma finden.
Ich weiß nicht wann das Video aufgenommen wurde, nun gibt es schon 587.000 Modelle o.o Danke für das ausführliche Video!
ich glaub du hast nen andren Filter drin^^ Ich hatte nur die Text Modell ;)
Wie schlagen sich die Open source Modelle im Vergleich zu Premium KIs?
Was hast du denn für eine Grafikkarte?
Kannst du das bitte mal auf einem Apple MacBook testen mit Apple Silicon Chip. Die „M“ Chips haben ihr RAM und ihren Grafik-RAM (sozusagen das VRAM) geteilt. Dadurch kann man relativ große Modelle ausführen und das auf einem kleinen Laptop ohne Nvidia Grafikkarte! Die Tokenerzeugung/Rechenleistung soll aber langsamer sein oder? Würde mich sehr interessieren welche Modelle man damit TO-GO auf dem Laptop dabei haben kann.
Gibt es ein LLM das auf Bilderkennung spezialiesiert ist und auch noch Deutsch versteht?
14:30 Wo war ich? Wir machen einfach da weiter wo ich war. 😅
Wie kann ich sicherstellen, das ein lokales modell nicht doch ggf. Nach big tech funkt?
sind die meisten modelle nicht auf die englische sprache ausgerichtet?
Wäre es möglich alte btc miner zum training zu benutzen?
Ich benutze Lm- Studio etwas moderne ui als gtp4all . LM Studio sagt mir auch vor dem download wie gut oder schlecht das Model wahrscheinlich auf meinem rechner läuft .
Was heisst ui?
@@karlaschmidtke7727 User Interface oder deutsch Benutzeroberfläche
Mac Studio ist super kompatibel.
Wie trainiert man eine ki?
👍
hab mir überlegt ne USV anzuschaffen, die bei Stromausfall meine sensiblen elektronischen Geräte dann sauber herunterfährt :D
Wie mache ich eigentlich einen Security Check für eines dieser 69.000 Modelle. Denn tatsächlich kann ja ein NN das auf meiner GraKa läuft im Hintergrund auch bösartigen Code erzeugen und ausführen.
Deswegen sollte man (sofern möglich) immer die Safetensor-Varianten der Modelle nutzen und 'trust-remote-code' auf false lassen.
Ich würde mir wünschen, dass ab und zu auch mal non-KI-Videos, also zu klassischer Informatik kommen. Ich hab allmählich genug von KI.
Ich mir auch, ich versuche immer das gerade momentan wichtigste zu machen. Wenn du Vorschläge hast, schreib mir gerne
@@TheMorpheusTutorials Auf dem Tutorial-Kanal fehlen für meinen Geschmack Videos zu gewissen trendigen Frameworks (gerade in der Werbeentwicklung). Man könnte mit sowas wie Svelte(-Kit) oder NextJS starten und dabei auch erklären, was die grundsätzlich anders machen und welche Probleme sie z.B. gegenüber React lösen. Für meinen Geschmack muss man keine gesamte Playliste machen, ein längeres Video (≈1-2 Stunden) reicht und ist übersichtlicher, eine Playliste schreckt eher ab.
Zwar hat der Kanal sehr ausführliche Playlisten zu diverse Themen, was mir dabei aber etwas fehlt sind Videos, die gerade für Einsteiger die Konzepte hinter "dem großen ganzen" verständlich machen und einordnen. Damit meine ich sowas wie den Weg von Daten, die man irgendwo in einem Formular eingibt (Frontend) mit einem Protokoll über ein Netzwerk zum Backend in die Datenbank und umgekehrt. Dabei dann auch immer darauf hinweisen, was es zu beachten gibt, dass alles möglichst sicher wird. Das würde dann viele Themen von Netzwerk, Frontend-Entwicklung, APIs und Datenbanken verbinden.
Auch so trendige Themen wie "Wie optimiere ich meine Entwicklungsumgebung" oder einen Vergleich von Code Editoren und IDEs könnte ich mir vorstellen. Bei sehr viel Freizeit und Motivation würde die eine oder andere in die Jahre gekommene Playliste eine Überarbeitung vertragen oder könnte einfach durch ein längeres, ausführliches Video ergänzt werden, das für den durchschnittlichen Hobby-Zuschauer ausreicht und wer mehr braucht kann in die Playliste. Ich stelle sie mir in der Art wie die vom englischen Kanal "Programming with Mosh" vor, nur hat der A nicht zu allen Themen was und ist B auf Englisch (was für die meinen jedoch kein Problem sein dürfte).
Bezüglich des Hauptkanals gefallen mir immer die Vergleichsvideos (Passwort-Manager, Browser, Clouds) ganz gut, aber auch die exposed-Videos, wo man irgendeinen Anbieter oder eine Technik runter macht (Opera, Fax) und zeigt wie es besser geht. Könnte man ja auch zu E-Mails machen. Bei den Vergleichen könnte man nach iOS gegen Android unter dem Gesichtspunkt der Sicherheit selbiges am Desktop machen. Ich persönlich liebe auch die Videos, wo man "Big Tech" runter macht, könnte man aus gegebenem Anlass ja bei Apple und deren Verhalten machen (DMA).
Was ich auch sehr vermisse sind die IT-Trends, kann man ja vielleicht auch seltener, etwa zum Monatsende bringen, wenn sie sonst zu aufwändig sind.
Was ich noch auf keinen UA-cam Kanal gesehen habe sind außerdem Videos dazu, wie ein IT-Nerd seinen Fernseher privatspäreschonend und werbefrei betreibt, dabei aber nicht auf Maus und Tastatur angewiesen ist und darüber hinaus eine Integration mit dem Heimnetz (Netzwerkspeicher, Medienserver) herstellt. Das ganze Thema Homelab inklusive von verglichen wie AdGuard Home gegen PiHole oder Plex gegen Emby gegen Jellyfin könnte man auch machen. Des weiteren könnte man Dienste wie Paperless NGX oder Photoprism vorstellen und einrichten.
Ich hoffe mal der Text war nicht zu lang, allgemein sollten das einfach Anregungen sein, in welche Richtung es gehen könnte, Hauptsache keine KI mehr 😅
@@TheMorpheusTutorials Was mir gerade noch eingefallen ist: Videos, die Krankenkassen, Versicherungen, Energieanbieter, online bezahlen und online ausweisen unter der Lupe des IT Security (und Privacy) Profis kritisch beäugen und vergleichen, gerade bei Krankenkassen aufgrund der momentanen Digitalisierung (E-Rezept, elektronische Patientenakte) vielleicht interessant.
@@IPnatorSowohl Playlists als auch lange Videos haben ihre Berechtigung. Für Anfänger ist wahrscheinlich eine Playlist besser, da sie dann einfach ein Video mehrmals anschauen können. Wie funktioniert das bei einem langen Video? Wenn es gklut organisiert ist, kann ich zwar zum gewünschte Kapitel springen, aber wie schaue ich mir nur ein Kapitel an?
@@Hofer2304 UA-cam hat seit einigen Jahren diese Timestamps, mit denen kann man ein längeres Video in Kapitel aufteilen und so für Struktur sorgen. Innerhalb des Videos kann man dann auch ein einzelnes Kapitel wiederholt anschauen. Ich glaube aber, als Anfänger wiederholt man eher die letzten 10-30 Sekunden, anstatt das gesamte Kapitel, mache ich jedenfalls so.
Um 20 pdf mit 200 Seiten als knowledge zu benutzen, wie viel RAM und CPU sollte der Rechner dann haben?
Hi! I'd like to chat with an uncensored AI but with updated information (dataset up to at least 2023), do u know any?
Ist LM Studio nicht = gpt4ALL?
Kriegt man das WebUI auf Linux installiert OHNE DOCKER?
Weiss jemand wie sich das verhält mit Code Generation , Tokens und Fine Tuning für ein großes Projekt ?
Kann man das Model für ein spezielles Projekt feintunen ?
Also man muss dann nicht mehr den gesamten Projekt source code als Tokens übergeben, sondern das Model weiss schon inherent dass ich an diesem Projekt (zB Linux Kernel) arbeite.
Logisch, es ist nach Änderungen am Code verwirrt, aber vielleicht kann man diese als Diffgrams übertragen - bis zu dem Punkt dasein neues Fine Tuning geschehen sollte.
Wäre das deutlich effizienter und man könnte ein größeres Projekt mit einem kleineren Model verarbeiten ?
14:08 Links unten sieht man deinen Standort, ich weiß nicht ob der öffentlich sein soll, sofern er denn überhaupt korrekt ist
Ich knie vor dir nieder - erste Klasse !
29.03.´24
AUTOGEN Video bitte 🙌🏻✌🏻👍🏻
gpu: amd oder nvidia?
Könntest du mal ein Video über hugging face machen
Mich würde mal interessieren wie man sich sicher sein kann, dass wenn man so ein LLM lokal ausführt, dass wirklich keine Daten abfließen. Theoretisch könnten die Entwickler doch auch Funktionen einbauen, dass man zwar seine eigene Hardware einsetzt und somit auch die Stromkosten selbst trägt aber die Prompts trotzdem bei bestehender Internetverbindung übertragen werden.
Das ist ja der Vorteil an OpenSource, man kann ich den Quelltext schauen und nachvollziehen was da gemacht wird.
@@firef4rtakasven453 Das schon aber meistens schaut man sich ja nur das an, was einen interessiert, weil man für den Rest gar keine Zeit hat.
Also ich hab noch kein os model gefunden das auch nur mit 3.5 mithalten kann.
Kann man einer lokalen KI dann einfach sagen: Hey hier ist das Grundgesetz (GG), sind die politischen Entscheidungen so rechtens? Oder im Arbeitsrecht, was darf ich, was darf ich nicht -- einfach der KI fragen und Antworten bekommen ( Geld für Anwalt gespart ).
Kann man schon, einen guten Prompt vorausgesetzt. Die Ausgabe kann aber Fehler enthalten. Da gab es so einen US-Anwalt, der ChatGPT arbeiten lassen hat, und dann existierten die referenzierten Fälle gar nicht...
(GG reicht da im Allgemeinen nicht als Kontext)
@@Ph34rNoB33r Und wenn man GG plus alle Abhängigkeiten übergibt?
@@Foreversun33 Das wird eine Menge Material. Und eine Menge Interpretation, die sich auch mit der Zeit ändern kann. Muss man dann alles noch überprüfen.
Wenn ich irgendwo eine Beschwerdemail schreiben will ist das wahrscheinlich okay. Für einen Vertrag oder die Verteidigung vor Gericht eher nicht.
Es kann unterstützen, aber keine Rechtsabteilung ersetzen, und das sehe ich vorerst auch nicht kommen.
Wenn man eine Richtung bekommt, und mit der anschließend zu einer Fachkraft, eventuell mit einer Zusammenfassung, wie die KI "geschlossen" hat, wäre doch schon mal was, als Annäherung.
@@Ph34rNoB33r Danke für deine Einschätzung.
Ein Abschnitt, in dem du auf die Bandbreite der Grafikkarten eingeht, wäre sinnvoll gewesen. ok Nvidia ist geklärt, deinen, nicht ausreichenden Speicher mit 24 GB hättest du erwähnt und wenn ich Nvidia mit 24 GB eingebe, geht der kostenlose Spaß bei 1900 Euro los. Das wäre dann eine RTX 4090 mit 450 Watt.
Hier wäre ein Einblick in die Notwendigkeiten und zu überspringenden Hürden nicht nur sinnvoll gewesen. Auch ein Blick auf die Entwicklungen am Grafikkartenmarkt und ob es da immer noch hoch und runter geht oder drunter und drüber wäre mehr als passend.
1900, da muss Oma noch ein paar Pullover stricken.
Hast du eigentlich Informatik studiert?
Ja, am Kit in Karlsruhe
👍🤔...🖖
Traurige Loser Geräusche mit meiner 3080 😭
super viedeo, aber ich brauche eine neue GPU 🙃
Habs bis zum Schluss geschaut. "Das war mal wieder was ruhigeres"......ne ich fand es ehr hektisch und etwas, nicht unstrukturiert, aber hin improvisiert. Ich glaube, vorbereitete Script-Videos gefallen mir besser.
Ich könnte es aber auch nicht besser. Auf Arbeit geht es mir genauso, wenn ich "spontan" einfach mal irgendwo durchführen oder einen Überblick geben soll. Wo fängt man an, wo hört man auf. Die Gedanken überholen sich etc.
Stromausfall? Unsere Netze sind doch sicher sagen die Klimaexperten **zwinkersmiley**
Das gesamte Projekt hat einen Haken: Es funktioniert nur, wenn der Benutzername in Windows keine Umlaute enthält. Ich habe den Chat GP4 von der genannten Website heruntergeladen und installiert. Dann stellte ich fest, dass er sich auch nicht im Verzeichnis des Benutzernamens installieren lässt, egal wohin, wegen der besagten Umlaute. Danach, als ich ihm ein Verzeichnis unterhalb des Benutzernamens zugewiesen habe, verweigert er die Installation aller Module.
ich werde mir dafür keine überteuerte Nvidia Karte kaufen. Für die Kosten kann ich jahrelang GPT und Gemeni nutzen, ohne eigenen Stromverbrauch. Die sind außerdem monatlich kündbar. Mal abwarten was Apple dieses Jahr bringt. Vielleicht ändert das nochmal alles.
Schade, dass so wenig mit AMD Grafikkarten unter Windows funktioniert. Es ist eine Qual, oder es geht nicht. Bei mir trifft Letzteres zu. Ich hoffe, es wird irgendwann so einfach wie mit Nvidia Karten. 😫
Benutzt lieber ollama hat bei mir besser funktioniert und wenn ihr noch eure eigenen dateien benutzen wollt das die ki die könnt ihr noch anzthingllm mit ollama benutzen ollama geht sogar mit 8gb ram und 4 kern 2.8Ghz habs getestet auf only cpu
7 Billion [en] ist 7 Milliarden [de]
„Open Devin“ Video bitte
Ja hab's probiert, war leider komplett broken und nicht ausführbar
Benutzer lieber Kobold , da kann man wenigsten mit Tensorflow und rocm über AMD gpu rendern
nicht genug kapas? "dann bring halt botnetz und ki zusammen" (lol)
"Man braucht eine nvidia Grafikkarte" 😂
Mistral Dolphin läuft auf meiner 7900XT hervorragend!
Auch die 10 neue Top Open Source LLMs jede Woche, die du nicht alle reviewen kannst, sehe ich nicht.
Bishen weniger übertreiben bitte.
7 Billion sind 7 Milliarden auf deutsch nicht Millionen
Also wenn es 69 000 Modelle mittlerweile gibt und sogar kostenlos dann verstehe ich den Hype an der Börse nicht. Dass da noch kein crash da ist an der Börse wundert mich.
warum sollte es denn crashen? high demand
Die Börsenkurse steigen nicht wegen den verschiedenen Modellen, sondern wegen der enormen Nachfrage nach der Hardware, auf der diese Modelle laufen. Siehe Nvidia.
@@herr-a5460 Mein Kommentar bezog sich auf den aktuellen KI Hype an der Börse und da es Über 69 000 Modelle gibt die man auch noch kostenlos bekommt ergibt es keinen Sinn wenn die Unternehmen dann keinerlei Gewinne erzielen weil man es kostenlos bekommt. Erinnert alles somit an die Dotcom Blase als das Internet auf den Markt kam.
@@herr-a5460 Falsch, Börsenkurse steigen weil mehr Aktien gekauft als verkauft werden, nicht mehr und nicht weniger. Oder wie erklärst du dir den hype um GME letztes Jahr?!
Also eher KI-Hardware. ansonsten steigen eigentlich nur Microsoft und Meta halbwegs. Die "KI-Player" Amazon und Alphabet haben nichtmal ihr 2021hoch überwunden. Und Adobe kann vom KI-hype auch nicht profitieren
Hehe, 69
KI-Modelle für Medizin trainieren. Das wäre doch was sinnvolles.
Hey. Soweit ich weiß gibt es die doch. Weiß natürlich nicht ob das der Anwendungsfall ist den du gern hättest aber KI die Krebs mitlerweile oft zuverlässiger erkennt als Fachärzte. KI für die Forschung bei neuen Medikamenten. KI zur berechnung vom Proteinfaltung für diverse Anwendungszwecke. Aufjedenfall ein spannender Bereich.
@@gorgep1242 Mich würde dieser Bereich sehr interessieren. Besonders cool wäre wenn es auch davon open-source gibt, damit jeder mit forschen und mit machen kann. Vielleicht erklärt uns Morpheus demnächst wie man KI-Modelle trainiert oder feintunt
irrerführender Titel, nicht präzise und eigentlich eine Falschaussage. Jeder, der ein bisschen im Thema ist, weiß wie immens die Unterschiede zwischen den Open Source Modellen und den proprietären sind.
Okay, dann erzähl mal. Mein das ernst :)
Es sollen ja auch newcomer angesprochen werden.
ein video wie man lokale ki's via oobabooga und huggingface fein trainiert wäre super! danke für das tolle video!