Meine neue Website ist endlich auch fertig: Ihr findet dort auch die Möglichkeit einen NEWSLETTER von mir zu abonnieren. Das ist super praktisch, weil wir da nicht auf den UA-cam Algorithmus angewiesen sind, dass ich euch erreiche. Ein Mal die Woche kommt dann ein Update, nicht nur mit Videos, sondern auch mit Themen, die es vielleicht in kein Video geschafft haben! the-morpheus.de/
Die Seite ist echt hübsch geworden. Leider sind mir ein paar Dinge aufgefallen, die die Nutzung etwas negativ beeinflussen: - Titel lädt schnell, aber die Seite laggt beim initialisieren (vermutlich wegen dem threejs Ding) und ist unbenutzbar (hängt) und Buttons sind nicht anklickbar für ein paar Sekunden - Das threejs Ding sollte vielleicht (wenn möglich) nicht mit der Maus-Folge-Animation abbrechen, wenn man einen Button oder Text hovert (wirkt kaputt) - Haufenweise Warnings in der Konsole - paar Abstände wirken zu klein ("Zur Bootstrap Academy" Button Padding links und rechts und Abstand im Footer nach "Contact") - Fehlende Übersetzungen im Footer? - Bootstrap und jQuery? (Naja, ist dir überlassen xD)
Ich wäre dir so dankbar, wenn du mal so eine Huggingface-Reihe machen würdest und dabei die Basics abdeckst. Was ist ein Space, wie kann man so was erstellen etc...
Mega geil, bitte mehr Guides in der Form! Ist echt schwierig bei den Sachen noch durchzublicken. Für mich wäre sehr interessant, wie ich ein Basis Modell mit einem Datensatz von meinen Texten trainieren kann um nachher ähnlich Ergebnisse zu bekommen
Danke für das Video! Ich kann als Alternative für lokale LLM-Inferenz noch Ollama empfehlen. Einfach zum laufen zu bringen, einfache Handhabung, Python&JS Libs, API-Nutzung möglich, WebUI Support, klasse Website & Blog.
Habe das auch. Sieht aus wie ChatGPT und man kann den Text auf Fullscreen setzen, was ich bei ChatGPT nicht gefunden habe. Achso und mit Bildern kann der auch umgehen (einfach hochladen im Chat).
4:16 AMD funktioniert für mich wunderbar, solange ich pytorch benutze. ROCm hat mich sehr positiv überrascht. Auf einer RX 6800 bekomme ich etwa 10% Token/s wie eine 3060 (Ti?), habe aber 4GB VRAM mehr.
@@Tri-Technology die meisten Modelle von huggingface werden nit pytorch ausgeführt. Pytorch hat eine Beschleunigung für sowohl ROCm, als auch CUDA. Die modelle selber sind für nichts beschleunigt.
Was auch sehr interessant wäre, wenn du mal zeigst, wie man solche Modelle von Huggingface für seine eigene Anwendungen Fine-Tuned in Python VS Studio.
Hey, wie immer ein mega Video und danke für den Überblick! 2024 soll das Jahr der Robotics und Agents werden...glaubst du mit den Open Sorce Modellen lassen sich: Sales, Accounting, Service, Controlling und co Agents erstellen? Falls ja, welche Remote Jobs sind dann noch sicher? OpenAI wird die Agents bringen und ich möchte nicht darüber diskutieren ob ein Wandel kommt, sondern wie er kommt und welche Folgen hat. Lieben Dank dir/euch!
Agenten erstellen: ja Jobs: großes Thema, hab ich ein paar Mal angerissen, aber momentan laufen die qualitativ noch nicht alleine Werden aber noch mehr Videos dazu kommen
Bei mir kommt die Meldung "This script relies on Miniconda which can not be silently installed under a path with spaces", wie gehe ich da am besten vor ?
Danke für das super gute Video, hast du eine Empfehlung wie ich für meine Abschlussarbeit LLaMA so modifizieren bzw. finetunen kann, dass ich damit Cybersicherheitsaufgaben bewältigen kann? wie z.B. Log Dateien oder Protokolle aus dem Netzwerk durchsuchen zu lassen, um Anomalien oder Bedrohungen zu identifizieren?! Bin für jeden Hinweis dankbar.
Tolles Video! 🙂 Yepp, die gleichen Gedankengänge hatte ich auch in Bezug auf lokal trainierte Modelle für eigene Applikationen, alles hat Vor- und auch Nachteile. 🙂 Ich bin soo froh, dass ich mir vor 2 Jahren einen Gaming-PC zusammengestellt habe, der eine gute Nvidia-Grafikkarte hat. Die Web-GUI ComfyUI für Stable Diffusion läuft bei mir richtig zügig. Ich hab's mal auf meinem Laptop über die CPU laufen lassen (als Test), die Generierung des Bildes mit den gleichen Parametern hat gleich mal 7 Minuten gedauert, anstelle von 5-7 Sekunden.
Was heißt "Gaming-Rechner" in Bezug auf RAM, GPU (explizit schon genannte NVIDIA), CPU und den Anforderungen? Ab welcher Größe vom RAM, laufen welche Größen der LLM? Diese Fragen stellen sich mir ...
Kommt auch drauf an, wie flott das sein soll. Ich lasse 70B Modelle (5_K_M quantisiert, GGUF) ohne Grafikkarte laufen, aber bei 64 GB RAM. Da geht es zwar in den Bereich Sekunden pro Token statt Tokens pro Sekunde, aber ich verwende auch nur eine energiesparsame Notebook-CPU.
Alles sehr faszinierend. Ich stehe noch ganz am Anfang und bin ehrlich gesagt ein wenig überfordert. Das beginnt schon damit, dass ich keine Ahnung habe, auf was ich bei den Modells achten muss, wenn ich einen MacBook Air M1 habe und ob ich damit überhaupt ein vernünftiges Modell zum laufen bringen kann.
Mit Apples M Chips ist es schwierig, da die meisten Modelle CUDA zur Beschleunigung nutzen und das nur mit Nvidia GPUs möglich ist und zudem die M-Chips auf ARM-Architektur basieren. Da müsstest du Mal konkret in Apple Foren schauen oder selbst versuchen, ob du die Modelle zum laufen bringen kannst.
@@Tri-TechnologyDas ist nur bedingt richtig. Für Apple Silicon ist das GGUF Format wie gemacht. Apple hat tatsächlich den Vorteil, dass es über 'Unified-RAM' (geteilten Memory zw- CPU&GPU) verfügt und etwas schneller läuft als auf herkömmlichen CPUs. Ist natürlich trotzdem kein Vergleich zur Geschwindigkeit von NVIDIA-GPUs. Mit
Bitte mehr davon! Ich hab gleich mal ein bisschen probiert auf mein Mac. Du kannst gerne mehr machen zu den ai Themen zum selbst machen. Vielleicht auch wie man das dann in sein eigenen Code einbaut?
Wow, danke für dieses unfassbar wertvolle Video, ich bin tatsächlich gewillt mich nochmal mit der ganzen Thematik mehr zu befassen.Mal schauen wie weit ich mit meiner AMD Hardware komme. hie geht's aber explizit nur um LLMs? Bildgenerierung ist da noch außenvor?
Nein, leider nicht. Egal welche "KI" du nutzen möchtest, AMD steht weit hinten. Du kannst ja mal nach ROCm googlen. Das ist AMDs Antwort auf die schlechte nutzbarkeit der AMD karten. Wie und ob dir das weiter hilft kann ich leider nicht sagen.
Wie gut sollte die Grafikkarte für die lokale Installation denn mindestens sein, um es genauso sinnvoll nutzen zu können wie gehostete Tools? Reicht noch eine 3070 oder 3080 oder muss es schon eine 4090 sein? Mal etwas warten ist ja ok. Aber einen gewissen Speed braucht man ja.
Gibt es auch eine Rubrik für LLMs die speziell für Coding gut trainiert wurden? Weil, ich sehe da nur Vision, Robotics, Audio usw... Dann wollte ich fragen, ob es dann auch wirklich große Rolle spielt, dass man sich auf eine Programmiersprache fokussiert oder fällt es ab einer bestimmten Größe nicht mehr so sehr ins Gewicht und dass sie dann alle bzw großen Teil der Programmiersprachen abdecken?
Gutes Video! Für ein besseren Kontext wäre es zu dem noch interessant zu wissen, was genau du für eine GPU etc. verwendest, damit man dass besser auf seinen eigenen Rechner umrechnen kann.
Ich verwende eigentlich immer die GGUF oder GGML Varianten mit 4_K_M Quantisierung, obwohl es auf CPU recht langsam ist, aber mit 32GB Arbeitsspeicher sind sehr viele möglich. Mit meiner Grafikarte (2GB) geht nicht so viel...
Danke für das tolle Video , wirklich sehr interessant. Du haust da Content raus was echt genial ist und auch weiter hilft. Hab mir Ollama installiert mit Docker und hab da auch ein recht gutes LLM Model gefunden "codellama" ... hat aber auch so seine Schwächen. Probier da immer für NodeRED etwas Code generieren zu lassen und das klappt mal mehr oder weniger gut. Gibt es da besserer Modelle oder andere Empfehlungen ? Hab einen Linux Rechner mit 64GB RAM und Nivdia mit 12 GB RAM.
Hallo Morpheus, ich finde deine Tutorials und Videos sehr hilfreich und informativ. Könntest du vielleicht ein Tutorial zur AutoTrain-Funktionalität von HuggingFace machen? Es wäre toll, wenn du auch zeigen könntest, wie man mit der kostenlosen Variante eigene Daten verwendet, um Modelle nachzutrainieren. Vielen Dank für deine großartige Arbeit. 🙂 🍺
Mich würde ein Video interessieren welche theoretischen und praktischen Möglichkeiten und Limitierungen es gibt den Grafikspeicher für LLMs zu erweitern (insbesondere fürs fine-tuning). Es gibt ja Technologien wie shared Memory oder resizable bar. Leider gibt es dazu aber kaum Infos zu LLMs. Wären für solche Anwendungen nicht auch Grafikkarten mit erweiterbarem RAM sinnvoll? Oder gibt es davon keine weil es technisch nicht umsetzbar ist? Vielen Dank auf jeden Fall für den spannenden content!
Es gibt keinen erweiterbaren VRAM bei Grafikkarten. Shared Memory ist zum Teil reservierter RAM für deine Integrierte Grafikeinheit deiner CPU (iGPU), wenn du denn sowas hast. Außertdem gibt es ja schon Lösungen, die auch auf der CPU laufen und eben deinen RAM statt GRafikkarte und deren VRAM nutzen, nur bocklangsam. Ich denke dass auch beides genutzt werden kann, wenn der VRAM nicht ausreicht aber ich weiß nicht inwiefern sich das überhaupt lohnt bzw. wie sehr das ganze über die CPU dann ausgebremst wird. Und resizable bar ist eine Option im Bios die du im besten Fall sowieso immer aktiv hast.
super video! gerne mehr zu huggingface und wie man llm in python nutzen kann! ich suche verzweifelt nach einem modell dass texte clustern kann nach themen!!
Moin, kannst du oder hast du vlt ein Video, wie ich Lama3 opensource Downloaden kann, ich möchte diese Ki benutzen, damit sie mir das programmieren bei bringt. Ich hab bereits ein 2D Jump and run mit Hilfe von Copilot programmiert, möchte aber tiefer in die Materie einsteigen. Kann mir sonst einer Tipps geben, was ich bei udemy als erstes lernen sollte ? Ich würde gerne spiele entwickeln bzw Apps und ne eigenen KI programmieren, die mich dann lehrt und unterstützt Außerdem würde ich die KI mit Web scraping trainieren, natürlich auf Seiten, die das erlauben. Was soll und muss ich erlenen, bitte Tipps geben Schreibe aktuell Python mit einem Mac mini m2, hab ich genug Leistung für lama3 oder ähnliche Kis die ich lokal ausführen kann 😊
Ich bin ja etwas verunsichert, wann oder ob es sich lohnt eigene Hardware anzuschaffen. Der Privatsphärenaspekt wiegt schon groß für mich - aber wenn dann würde ich auch TTS / STT, ein-drei LLMs und Stable Diffusion laufen lassen wollen und können. Ich fürchte irgendwie, dass alles was ich mir heute anschaffen würde, in kürzester Zeit obsolete ist..
Ich denke auch dass aktuell kein guter Zeitpunkt ist. Der Gerüchteküche zufolge fährt Nvidia die Produktion der 40er Serie inzwischen runter um beim Launch der 50er nicht auf Lagerbeständen sitzen zu bleiben. Ich denke aktuell lohnt es sich definitiv auf die 50er zu warten. Sei es nur um die 40er günstiger zu erwerben:)
Wie energiehungrig sind die KI-Modelle? Wie viel Energie wird, oder wurde, für ihr Training verwendet, wie viel Energie wird für ihre Anwendung benötigt?
Ich meine, dass wurde in einem der ersten Videos von Morpheus zu LLMs und ChatGpt mal angesprochen. Genaue Zahlen wird man allerdings wohl nur bei der jeweiligen Entwicklungsfirma finden.
Kannst du das bitte mal auf einem Apple MacBook testen mit Apple Silicon Chip. Die „M“ Chips haben ihr RAM und ihren Grafik-RAM (sozusagen das VRAM) geteilt. Dadurch kann man relativ große Modelle ausführen und das auf einem kleinen Laptop ohne Nvidia Grafikkarte! Die Tokenerzeugung/Rechenleistung soll aber langsamer sein oder? Würde mich sehr interessieren welche Modelle man damit TO-GO auf dem Laptop dabei haben kann.
Ich benutze Lm- Studio etwas moderne ui als gtp4all . LM Studio sagt mir auch vor dem download wie gut oder schlecht das Model wahrscheinlich auf meinem rechner läuft .
Wenn Du Gemini fragst, dann sind Black Hats die Guten und White Hats für Deinen Stromausfall verantwortlich. Soviel zum Wert von Zensur, bzw. zur Frage, wer oder was bedient werden soll.
Theoretisch müssten Open-Source-Alternativen zu den jetzt angebotenen KI-Diensten (z.B. Audio-Filterung, Störgeräusche, evtl. sogar einzelne Stimmen heraus...) relativ schnell die gleiche Leistung erreichen, und damit solche teuren Abo-Dienste überflüssig machen. Dass die also jetzt versuchen noch Geld zu verdienen, ist klar. Wenn UA-cam diese Übersetzung in alle Sprachen wie bei Flawless-AI kostenlos einbaut, muss man als Creator vorher auch keine Dienstleister in Anspruch nehmen. Und natürlich spart es vorher 2, 4, 5, 8... Sprachen-Versionen zu erstellen und hochzuladen. Eine Art Sora für alle, kostenlos nutzbar (zu Hause), und unzensiert, damit könnten kleine Creator und solche die noch kein Video gemacht haben ohne Kosten einen guten Einstieg finden. Schönes Intro, Outro, Clips für alle Videos, alles ohne einen 3-4-stelligen Betrag auszugeben, oder Stock-Material zu nutzen.
Wie mache ich eigentlich einen Security Check für eines dieser 69.000 Modelle. Denn tatsächlich kann ja ein NN das auf meiner GraKa läuft im Hintergrund auch bösartigen Code erzeugen und ausführen.
Diese Zensur merke ich bei Bildgeneratoren, die ich kenne: Sie bekommen kein Tracheostoma hin, vermutlich weil Schnitte am Hals unter NSFW fallen. Doch ist ein Luftröhrenschnitt eine klassisches medizinisches Ding.
Weiss jemand wie sich das verhält mit Code Generation , Tokens und Fine Tuning für ein großes Projekt ? Kann man das Model für ein spezielles Projekt feintunen ? Also man muss dann nicht mehr den gesamten Projekt source code als Tokens übergeben, sondern das Model weiss schon inherent dass ich an diesem Projekt (zB Linux Kernel) arbeite. Logisch, es ist nach Änderungen am Code verwirrt, aber vielleicht kann man diese als Diffgrams übertragen - bis zu dem Punkt dasein neues Fine Tuning geschehen sollte. Wäre das deutlich effizienter und man könnte ein größeres Projekt mit einem kleineren Model verarbeiten ?
@@TheMorpheusTutorials Auf dem Tutorial-Kanal fehlen für meinen Geschmack Videos zu gewissen trendigen Frameworks (gerade in der Werbeentwicklung). Man könnte mit sowas wie Svelte(-Kit) oder NextJS starten und dabei auch erklären, was die grundsätzlich anders machen und welche Probleme sie z.B. gegenüber React lösen. Für meinen Geschmack muss man keine gesamte Playliste machen, ein längeres Video (≈1-2 Stunden) reicht und ist übersichtlicher, eine Playliste schreckt eher ab. Zwar hat der Kanal sehr ausführliche Playlisten zu diverse Themen, was mir dabei aber etwas fehlt sind Videos, die gerade für Einsteiger die Konzepte hinter "dem großen ganzen" verständlich machen und einordnen. Damit meine ich sowas wie den Weg von Daten, die man irgendwo in einem Formular eingibt (Frontend) mit einem Protokoll über ein Netzwerk zum Backend in die Datenbank und umgekehrt. Dabei dann auch immer darauf hinweisen, was es zu beachten gibt, dass alles möglichst sicher wird. Das würde dann viele Themen von Netzwerk, Frontend-Entwicklung, APIs und Datenbanken verbinden. Auch so trendige Themen wie "Wie optimiere ich meine Entwicklungsumgebung" oder einen Vergleich von Code Editoren und IDEs könnte ich mir vorstellen. Bei sehr viel Freizeit und Motivation würde die eine oder andere in die Jahre gekommene Playliste eine Überarbeitung vertragen oder könnte einfach durch ein längeres, ausführliches Video ergänzt werden, das für den durchschnittlichen Hobby-Zuschauer ausreicht und wer mehr braucht kann in die Playliste. Ich stelle sie mir in der Art wie die vom englischen Kanal "Programming with Mosh" vor, nur hat der A nicht zu allen Themen was und ist B auf Englisch (was für die meinen jedoch kein Problem sein dürfte). Bezüglich des Hauptkanals gefallen mir immer die Vergleichsvideos (Passwort-Manager, Browser, Clouds) ganz gut, aber auch die exposed-Videos, wo man irgendeinen Anbieter oder eine Technik runter macht (Opera, Fax) und zeigt wie es besser geht. Könnte man ja auch zu E-Mails machen. Bei den Vergleichen könnte man nach iOS gegen Android unter dem Gesichtspunkt der Sicherheit selbiges am Desktop machen. Ich persönlich liebe auch die Videos, wo man "Big Tech" runter macht, könnte man aus gegebenem Anlass ja bei Apple und deren Verhalten machen (DMA). Was ich auch sehr vermisse sind die IT-Trends, kann man ja vielleicht auch seltener, etwa zum Monatsende bringen, wenn sie sonst zu aufwändig sind. Was ich noch auf keinen UA-cam Kanal gesehen habe sind außerdem Videos dazu, wie ein IT-Nerd seinen Fernseher privatspäreschonend und werbefrei betreibt, dabei aber nicht auf Maus und Tastatur angewiesen ist und darüber hinaus eine Integration mit dem Heimnetz (Netzwerkspeicher, Medienserver) herstellt. Das ganze Thema Homelab inklusive von verglichen wie AdGuard Home gegen PiHole oder Plex gegen Emby gegen Jellyfin könnte man auch machen. Des weiteren könnte man Dienste wie Paperless NGX oder Photoprism vorstellen und einrichten. Ich hoffe mal der Text war nicht zu lang, allgemein sollten das einfach Anregungen sein, in welche Richtung es gehen könnte, Hauptsache keine KI mehr 😅
@@TheMorpheusTutorials Was mir gerade noch eingefallen ist: Videos, die Krankenkassen, Versicherungen, Energieanbieter, online bezahlen und online ausweisen unter der Lupe des IT Security (und Privacy) Profis kritisch beäugen und vergleichen, gerade bei Krankenkassen aufgrund der momentanen Digitalisierung (E-Rezept, elektronische Patientenakte) vielleicht interessant.
@@IPnatorSowohl Playlists als auch lange Videos haben ihre Berechtigung. Für Anfänger ist wahrscheinlich eine Playlist besser, da sie dann einfach ein Video mehrmals anschauen können. Wie funktioniert das bei einem langen Video? Wenn es gklut organisiert ist, kann ich zwar zum gewünschte Kapitel springen, aber wie schaue ich mir nur ein Kapitel an?
@@Hofer2304 UA-cam hat seit einigen Jahren diese Timestamps, mit denen kann man ein längeres Video in Kapitel aufteilen und so für Struktur sorgen. Innerhalb des Videos kann man dann auch ein einzelnes Kapitel wiederholt anschauen. Ich glaube aber, als Anfänger wiederholt man eher die letzten 10-30 Sekunden, anstatt das gesamte Kapitel, mache ich jedenfalls so.
Mich würde mal interessieren wie man sich sicher sein kann, dass wenn man so ein LLM lokal ausführt, dass wirklich keine Daten abfließen. Theoretisch könnten die Entwickler doch auch Funktionen einbauen, dass man zwar seine eigene Hardware einsetzt und somit auch die Stromkosten selbst trägt aber die Prompts trotzdem bei bestehender Internetverbindung übertragen werden.
Kann man einer lokalen KI dann einfach sagen: Hey hier ist das Grundgesetz (GG), sind die politischen Entscheidungen so rechtens? Oder im Arbeitsrecht, was darf ich, was darf ich nicht -- einfach der KI fragen und Antworten bekommen ( Geld für Anwalt gespart ).
Kann man schon, einen guten Prompt vorausgesetzt. Die Ausgabe kann aber Fehler enthalten. Da gab es so einen US-Anwalt, der ChatGPT arbeiten lassen hat, und dann existierten die referenzierten Fälle gar nicht... (GG reicht da im Allgemeinen nicht als Kontext)
@@Foreversun33 Das wird eine Menge Material. Und eine Menge Interpretation, die sich auch mit der Zeit ändern kann. Muss man dann alles noch überprüfen. Wenn ich irgendwo eine Beschwerdemail schreiben will ist das wahrscheinlich okay. Für einen Vertrag oder die Verteidigung vor Gericht eher nicht. Es kann unterstützen, aber keine Rechtsabteilung ersetzen, und das sehe ich vorerst auch nicht kommen.
Wenn man eine Richtung bekommt, und mit der anschließend zu einer Fachkraft, eventuell mit einer Zusammenfassung, wie die KI "geschlossen" hat, wäre doch schon mal was, als Annäherung.
wäre interessant wieviele von den >60k models auf anfrage ein einfaches kochrezept für schafsaugen herausrücken OHNE das man einen stundenlangen deep dive in die moralphilosopie und ethik über sich ergehen lassen muss... mit mistral habe ich da ganz besonders "lustige" erfahrungen gemacht... das ding spuckt ohne große probleme allerlei lustige dinge zur sprengstoffherstellung aus aber ein simples rezept zum zubereiten von schafsaugen wollte es partout nicht nennen da es den verzehr von tierischen nahrungsmitteln aus ethischen gründen kategorisch abgelehnt hat. das alleine wäre ja nicht weiter bedenklich...was dagegen gar nicht geht ist, dass es eine geschlagene stunde versucht hat mich mit allerlei rhetorischen mittelchen zum veganismus zu bekehren. da es erst damit aufgehört und mir ein brauchbares rezept verraten hat nachdem ich es auf die kulturellen aspekte dieses gerichts in der mongolei hingewiesen habe war auch recht interessant da es die grundsätzliche frage aufwirft wer auf welcher grundlage über die ethischen grundsätze einer KI entscheidet...
Ein Abschnitt, in dem du auf die Bandbreite der Grafikkarten eingeht, wäre sinnvoll gewesen. ok Nvidia ist geklärt, deinen, nicht ausreichenden Speicher mit 24 GB hättest du erwähnt und wenn ich Nvidia mit 24 GB eingebe, geht der kostenlose Spaß bei 1900 Euro los. Das wäre dann eine RTX 4090 mit 450 Watt. Hier wäre ein Einblick in die Notwendigkeiten und zu überspringenden Hürden nicht nur sinnvoll gewesen. Auch ein Blick auf die Entwicklungen am Grafikkartenmarkt und ob es da immer noch hoch und runter geht oder drunter und drüber wäre mehr als passend. 1900, da muss Oma noch ein paar Pullover stricken.
Das gesamte Projekt hat einen Haken: Es funktioniert nur, wenn der Benutzername in Windows keine Umlaute enthält. Ich habe den Chat GP4 von der genannten Website heruntergeladen und installiert. Dann stellte ich fest, dass er sich auch nicht im Verzeichnis des Benutzernamens installieren lässt, egal wohin, wegen der besagten Umlaute. Danach, als ich ihm ein Verzeichnis unterhalb des Benutzernamens zugewiesen habe, verweigert er die Installation aller Module.
Habs bis zum Schluss geschaut. "Das war mal wieder was ruhigeres"......ne ich fand es ehr hektisch und etwas, nicht unstrukturiert, aber hin improvisiert. Ich glaube, vorbereitete Script-Videos gefallen mir besser. Ich könnte es aber auch nicht besser. Auf Arbeit geht es mir genauso, wenn ich "spontan" einfach mal irgendwo durchführen oder einen Überblick geben soll. Wo fängt man an, wo hört man auf. Die Gedanken überholen sich etc.
Schade, dass so wenig mit AMD Grafikkarten unter Windows funktioniert. Es ist eine Qual, oder es geht nicht. Bei mir trifft Letzteres zu. Ich hoffe, es wird irgendwann so einfach wie mit Nvidia Karten. 😫
Meine neue Website ist endlich auch fertig:
Ihr findet dort auch die Möglichkeit einen NEWSLETTER von mir zu abonnieren. Das ist super praktisch, weil wir da nicht auf den UA-cam Algorithmus angewiesen sind, dass ich euch erreiche. Ein Mal die Woche kommt dann ein Update, nicht nur mit Videos, sondern auch mit Themen, die es vielleicht in kein Video geschafft haben!
the-morpheus.de/
Hey Morpheus
Echt geile Webseite! sehr nice!
🏆
Die Seite ist echt hübsch geworden. Leider sind mir ein paar Dinge aufgefallen, die die Nutzung etwas negativ beeinflussen:
- Titel lädt schnell, aber die Seite laggt beim initialisieren (vermutlich wegen dem threejs Ding) und ist unbenutzbar (hängt) und Buttons sind nicht anklickbar für ein paar Sekunden
- Das threejs Ding sollte vielleicht (wenn möglich) nicht mit der Maus-Folge-Animation abbrechen, wenn man einen Button oder Text hovert (wirkt kaputt)
- Haufenweise Warnings in der Konsole
- paar Abstände wirken zu klein ("Zur Bootstrap Academy" Button Padding links und rechts und Abstand im Footer nach "Contact")
- Fehlende Übersetzungen im Footer?
- Bootstrap und jQuery? (Naja, ist dir überlassen xD)
Ich wäre dir so dankbar, wenn du mal so eine Huggingface-Reihe machen würdest und dabei die Basics abdeckst. Was ist ein Space, wie kann man so was erstellen etc...
dem möchte ich mich anschließen
Mega geil, bitte mehr Guides in der Form! Ist echt schwierig bei den Sachen noch durchzublicken. Für mich wäre sehr interessant, wie ich ein Basis Modell mit einem Datensatz von meinen Texten trainieren kann um nachher ähnlich Ergebnisse zu bekommen
Unglaublich gut erklärt. Super interessant das Thema Open Source KI. Sie können Seminare führen!!!
Sehr gut, verdammt gut und hilfreich, bitte lege schnell mit Loras nach.
Ein echtes Brett hast Du da geleistet. Hast like und Abo
Hey danke dir. Du machst sehr gute Arbeit! Extrem gut aufgearbeitet.
Danke für das Video! Ich kann als Alternative für lokale LLM-Inferenz noch Ollama empfehlen. Einfach zum laufen zu bringen, einfache Handhabung, Python&JS Libs, API-Nutzung möglich, WebUI Support, klasse Website & Blog.
Habe das auch. Sieht aus wie ChatGPT und man kann den Text auf Fullscreen setzen, was ich bei ChatGPT nicht gefunden habe. Achso und mit Bildern kann der auch umgehen (einfach hochladen im Chat).
6:16 7B steht für 7 Milliarden, nicht Billionen oder Millionen.
Englische "Billions" genauer gesagt.
@@lars7898 Es gibt keine deutschen "Billions" genauer gesagt.
Milliarden oder Billionen oder Billiarden auf gut Deutsch gesagt.
@@herrspitz6964 Ich glaube es ist schon klar geworden, dass das B im Namen für eine englische Bezeichnung steht.
Das war nur ein Versprecher, später im Video hat er es dann eh richtig gesagt.
@@lars7898 Mir gehen Klugscheißer die auch noch falsch korrigieren auf den Sack.
Danke super Video, endlich mal wieder info zu Open Source Modellen.😊
Vielen Dank für deine großartige Arbeit, Wertschätzung ist unterwegs🏆
Huggingface ist fast ERSCHLAGEND auf den ersten Blick und es war gerade mein erster Blick
4:16 AMD funktioniert für mich wunderbar, solange ich pytorch benutze. ROCm hat mich sehr positiv überrascht. Auf einer RX 6800 bekomme ich etwa 10% Token/s wie eine 3060 (Ti?), habe aber 4GB VRAM mehr.
Achso ROCm läuft nur auf Linux, hab ich vergessen.
@@tedzards509 Es geht ihm dabei darum, dass die meisten Modelle mit CUDA beschleunigt werden, was Nvidia GPUs vorbehalten ist.
@@Tri-Technology die meisten Modelle von huggingface werden nit pytorch ausgeführt. Pytorch hat eine Beschleunigung für sowohl ROCm, als auch CUDA. Die modelle selber sind für nichts beschleunigt.
@@tedzards509 ist das vom Format abhängig (z.b. GGUF) oder steht bei jedem Modell ob das mit pytorch, Tensorflow oder Kerras läuft?
Mega! Und gerne mehr in diese Richtung
Was auch sehr interessant wäre, wenn du mal zeigst, wie man solche Modelle von Huggingface für seine eigene Anwendungen Fine-Tuned in Python VS Studio.
Kannst du vielleicht noch ein Video machen wie man etwas fein trainiert ?
Ich bin absolut kein Gamer, aber bei 12:10 musste ich dir lachend zustimmen!
Könnten Sie ein Tutorial machen wie man so ein Ding trainiert?
Hey, wie immer ein mega Video und danke für den Überblick!
2024 soll das Jahr der Robotics und Agents werden...glaubst du mit den Open Sorce Modellen lassen sich: Sales, Accounting, Service, Controlling und co Agents erstellen? Falls ja, welche Remote Jobs sind dann noch sicher? OpenAI wird die Agents bringen und ich möchte nicht darüber diskutieren ob ein Wandel kommt, sondern wie er kommt und welche Folgen hat. Lieben Dank dir/euch!
Agenten erstellen: ja
Jobs: großes Thema, hab ich ein paar Mal angerissen, aber momentan laufen die qualitativ noch nicht alleine
Werden aber noch mehr Videos dazu kommen
Bei mir kommt die Meldung "This script relies on Miniconda which can not be silently installed under a path with spaces", wie gehe ich da am besten vor ?
Danke für das super gute Video, hast du eine Empfehlung wie ich für meine Abschlussarbeit LLaMA so modifizieren bzw. finetunen kann, dass ich damit Cybersicherheitsaufgaben bewältigen kann? wie z.B. Log Dateien oder Protokolle aus dem Netzwerk durchsuchen zu lassen, um Anomalien oder Bedrohungen zu identifizieren?! Bin für jeden Hinweis dankbar.
Tolles Video! 🙂 Yepp, die gleichen Gedankengänge hatte ich auch in Bezug auf lokal trainierte Modelle für eigene Applikationen, alles hat Vor- und auch Nachteile. 🙂
Ich bin soo froh, dass ich mir vor 2 Jahren einen Gaming-PC zusammengestellt habe, der eine gute Nvidia-Grafikkarte hat. Die Web-GUI ComfyUI für Stable Diffusion läuft bei mir richtig zügig. Ich hab's mal auf meinem Laptop über die CPU laufen lassen (als Test), die Generierung des Bildes mit den gleichen Parametern hat gleich mal 7 Minuten gedauert, anstelle von 5-7 Sekunden.
Was heißt "Gaming-Rechner" in Bezug auf RAM, GPU (explizit schon genannte NVIDIA), CPU und den Anforderungen?
Ab welcher Größe vom RAM, laufen welche Größen der LLM?
Diese Fragen stellen sich mir ...
Kommt auch drauf an, wie flott das sein soll. Ich lasse 70B Modelle (5_K_M quantisiert, GGUF) ohne Grafikkarte laufen, aber bei 64 GB RAM. Da geht es zwar in den Bereich Sekunden pro Token statt Tokens pro Sekunde, aber ich verwende auch nur eine energiesparsame Notebook-CPU.
Alles sehr faszinierend. Ich stehe noch ganz am Anfang und bin ehrlich gesagt ein wenig überfordert.
Das beginnt schon damit, dass ich keine Ahnung habe, auf was ich bei den Modells achten muss, wenn ich einen MacBook Air M1 habe und ob ich damit überhaupt ein vernünftiges Modell zum laufen bringen kann.
Mit Apples M Chips ist es schwierig, da die meisten Modelle CUDA zur Beschleunigung nutzen und das nur mit Nvidia GPUs möglich ist und zudem die M-Chips auf ARM-Architektur basieren. Da müsstest du Mal konkret in Apple Foren schauen oder selbst versuchen, ob du die Modelle zum laufen bringen kannst.
@@Tri-TechnologyDas ist nur bedingt richtig. Für Apple Silicon ist das GGUF Format wie gemacht. Apple hat tatsächlich den Vorteil, dass es über 'Unified-RAM' (geteilten Memory zw- CPU&GPU) verfügt und etwas schneller läuft als auf herkömmlichen CPUs. Ist natürlich trotzdem kein Vergleich zur Geschwindigkeit von NVIDIA-GPUs. Mit
Sehr cooles Video. Hat mir sehr geholfen. Danke
Bitte mehr davon! Ich hab gleich mal ein bisschen probiert auf mein Mac. Du kannst gerne mehr machen zu den ai Themen zum selbst machen. Vielleicht auch wie man das dann in sein eigenen Code einbaut?
Bei der Herunterladenfunktion in der WebUI kommt in der Kommandozeile der ehlercode 401 Unauthorizate. Muss man sich irgendwo vorher anmelden?
Wow, danke für dieses unfassbar wertvolle Video, ich bin tatsächlich gewillt mich nochmal mit der ganzen Thematik mehr zu befassen.Mal schauen wie weit ich mit meiner AMD Hardware komme.
hie geht's aber explizit nur um LLMs? Bildgenerierung ist da noch außenvor?
Nein, leider nicht. Egal welche "KI" du nutzen möchtest, AMD steht weit hinten. Du kannst ja mal nach ROCm googlen. Das ist AMDs Antwort auf die schlechte nutzbarkeit der AMD karten. Wie und ob dir das weiter hilft kann ich leider nicht sagen.
Bildgeneratoren: stable diffusion, hab ich auch ein paar Videos zu
Welches Modell denn auf einem corei5 Laptop mit 16 GB laufen? Ich würde damit vor allem Texte verbessern lassen. Anschreiben usw.
Super Video! Warum nutzt du nicht LM Studio für die Modelle? 🙂
Ich brauche etwas lokales um Dateien und Inhalte in Dateien zu finden und zu verarbeiten, any ideas?
14:30 Wo war ich? Wir machen einfach da weiter wo ich war. 😅
Wie gut sollte die Grafikkarte für die lokale Installation denn mindestens sein, um es genauso sinnvoll nutzen zu können wie gehostete Tools? Reicht noch eine 3070 oder 3080 oder muss es schon eine 4090 sein? Mal etwas warten ist ja ok. Aber einen gewissen Speed braucht man ja.
Gibt es auch eine Rubrik für LLMs die speziell für Coding gut trainiert wurden? Weil, ich sehe da nur Vision, Robotics, Audio usw...
Dann wollte ich fragen, ob es dann auch wirklich große Rolle spielt, dass man sich auf eine Programmiersprache fokussiert oder fällt es ab einer bestimmten Größe nicht mehr so sehr ins Gewicht und dass sie dann alle bzw großen Teil der Programmiersprachen abdecken?
Gutes Video! Für ein besseren Kontext wäre es zu dem noch interessant zu wissen, was genau du für eine GPU etc. verwendest, damit man dass besser auf seinen eigenen Rechner umrechnen kann.
Rtx 3090
Ich verwende eigentlich immer die GGUF oder GGML Varianten mit 4_K_M Quantisierung, obwohl es auf CPU recht langsam ist, aber mit 32GB Arbeitsspeicher sind sehr viele möglich. Mit meiner Grafikarte (2GB) geht nicht so viel...
14:08 Links unten sieht man deinen Standort, ich weiß nicht ob der öffentlich sein soll, sofern er denn überhaupt korrekt ist
Gerne mehr von sowas :)
Cooles video! Kannst du verschiedene llm serving frameworks vorstellen und benchmarken? Zb vllm, aphoridte, tgi, tensortRT-llm, openllm, sglang usw?
Welches Model für text2Image Generierung würdest du empfehlen?
70b Modelle passen quantisiert in 24GB VRAM im exl2 Format
Danke für das tolle Video , wirklich sehr interessant. Du haust da Content raus was echt genial ist und auch weiter hilft.
Hab mir Ollama installiert mit Docker und hab da auch ein recht gutes LLM Model gefunden "codellama" ... hat aber auch so seine Schwächen.
Probier da immer für NodeRED etwas Code generieren zu lassen und das klappt mal mehr oder weniger gut.
Gibt es da besserer Modelle oder andere Empfehlungen ?
Hab einen Linux Rechner mit 64GB RAM und Nivdia mit 12 GB RAM.
Hi! I'd like to chat with an uncensored AI but with updated information (dataset up to at least 2023), do u know any?
Wie kann ich sicherstellen, das ein lokales modell nicht doch ggf. Nach big tech funkt?
Mit welcher lokalen KI kann ich sensible Excel Dateien hochladen um eventuelle Muster erkennen zu lassen? LG
Wie aktualisiert man denn lokale modell, die man schon selber fine getuned/angelernt hat?
Was sagt ihr zum ollama launcher? Ist das sicher zum benutzen?
Gutes Video. Es wäre super wenn du mal ein Tutorial machen würdest wie man sowas wie z. B. ein Tagebuch-"Bot" oder so realisieren könnte.
Guten Abend Cedric,
ein schwieriges Terrain.
Gruß, Enigma-pi.
Wie schlagen sich die Open source Modelle im Vergleich zu Premium KIs?
Hallo Morpheus, ich finde deine Tutorials und Videos sehr hilfreich und informativ.
Könntest du vielleicht ein Tutorial zur AutoTrain-Funktionalität von HuggingFace machen?
Es wäre toll, wenn du auch zeigen könntest, wie man mit der kostenlosen Variante eigene Daten verwendet, um Modelle nachzutrainieren.
Vielen Dank für deine großartige Arbeit. 🙂 🍺
Mich würde ein Video interessieren welche theoretischen und praktischen Möglichkeiten und Limitierungen es gibt den Grafikspeicher für LLMs zu erweitern (insbesondere fürs fine-tuning). Es gibt ja Technologien wie shared Memory oder resizable bar. Leider gibt es dazu aber kaum Infos zu LLMs. Wären für solche Anwendungen nicht auch Grafikkarten mit erweiterbarem RAM sinnvoll? Oder gibt es davon keine weil es technisch nicht umsetzbar ist?
Vielen Dank auf jeden Fall für den spannenden content!
Es gibt keinen erweiterbaren VRAM bei Grafikkarten. Shared Memory ist zum Teil reservierter RAM für deine Integrierte Grafikeinheit deiner CPU (iGPU), wenn du denn sowas hast. Außertdem gibt es ja schon Lösungen, die auch auf der CPU laufen und eben deinen RAM statt GRafikkarte und deren VRAM nutzen, nur bocklangsam. Ich denke dass auch beides genutzt werden kann, wenn der VRAM nicht ausreicht aber ich weiß nicht inwiefern sich das überhaupt lohnt bzw. wie sehr das ganze über die CPU dann ausgebremst wird. Und resizable bar ist eine Option im Bios die du im besten Fall sowieso immer aktiv hast.
super video! gerne mehr zu huggingface und wie man llm in python nutzen kann! ich suche verzweifelt nach einem modell dass texte clustern kann nach themen!!
Wäre es möglich alte btc miner zum training zu benutzen?
Gibt es ein LLM das auf Bilderkennung spezialiesiert ist und auch noch Deutsch versteht?
Wie trainiert man eine ki?
Moin, kannst du oder hast du vlt ein Video, wie ich Lama3 opensource Downloaden kann, ich möchte diese Ki benutzen, damit sie mir das programmieren bei bringt. Ich hab bereits ein 2D Jump and run mit Hilfe von Copilot programmiert, möchte aber tiefer in die Materie einsteigen.
Kann mir sonst einer Tipps geben, was ich bei udemy als erstes lernen sollte ? Ich würde gerne spiele entwickeln bzw Apps und ne eigenen KI programmieren, die mich dann lehrt und unterstützt
Außerdem würde ich die KI mit Web scraping trainieren, natürlich auf Seiten, die das erlauben. Was soll und muss ich erlenen, bitte Tipps geben
Schreibe aktuell Python mit einem Mac mini m2, hab ich genug Leistung für lama3 oder ähnliche Kis die ich lokal ausführen kann 😊
Ich bin ja etwas verunsichert, wann oder ob es sich lohnt eigene Hardware anzuschaffen. Der Privatsphärenaspekt wiegt schon groß für mich - aber wenn dann würde ich auch TTS / STT, ein-drei LLMs und Stable Diffusion laufen lassen wollen und können. Ich fürchte irgendwie, dass alles was ich mir heute anschaffen würde, in kürzester Zeit obsolete ist..
Ich denke auch dass aktuell kein guter Zeitpunkt ist. Der Gerüchteküche zufolge fährt Nvidia die Produktion der 40er Serie inzwischen runter um beim Launch der 50er nicht auf Lagerbeständen sitzen zu bleiben.
Ich denke aktuell lohnt es sich definitiv auf die 50er zu warten. Sei es nur um die 40er günstiger zu erwerben:)
Wie energiehungrig sind die KI-Modelle? Wie viel Energie wird, oder wurde, für ihr Training verwendet, wie viel Energie wird für ihre Anwendung benötigt?
Ich meine, dass wurde in einem der ersten Videos von Morpheus zu LLMs und ChatGpt mal angesprochen. Genaue Zahlen wird man allerdings wohl nur bei der jeweiligen Entwicklungsfirma finden.
Was hast du denn für eine Grafikkarte?
Die amerikanischen Billionen sind deutsche Milliarden! Nicht Millionen. Kleines aber wichtiges Detail 😉
Klappe zu und weiterschauen 😂🤓
das hat mich auch kurz so verwirrt hahaha
Also auf GPT4All läuft mein Mistral Modell mit meiner AMD 7900XTX unter Linux eigentlich flott?
Sehr gutes Video. Eine Anleitung für Text to Speech und Text to Picture wäre cool.
Kriegt man das WebUI auf Linux installiert OHNE DOCKER?
sind die meisten modelle nicht auf die englische sprache ausgerichtet?
Um 20 pdf mit 200 Seiten als knowledge zu benutzen, wie viel RAM und CPU sollte der Rechner dann haben?
Kannst du das bitte mal auf einem Apple MacBook testen mit Apple Silicon Chip. Die „M“ Chips haben ihr RAM und ihren Grafik-RAM (sozusagen das VRAM) geteilt. Dadurch kann man relativ große Modelle ausführen und das auf einem kleinen Laptop ohne Nvidia Grafikkarte! Die Tokenerzeugung/Rechenleistung soll aber langsamer sein oder? Würde mich sehr interessieren welche Modelle man damit TO-GO auf dem Laptop dabei haben kann.
Ist LM Studio nicht = gpt4ALL?
Ich benutze Lm- Studio etwas moderne ui als gtp4all . LM Studio sagt mir auch vor dem download wie gut oder schlecht das Model wahrscheinlich auf meinem rechner läuft .
Was heisst ui?
@@karlaschmidtke7727 User Interface oder deutsch Benutzeroberfläche
gpu: amd oder nvidia?
Wenn Du Gemini fragst, dann sind Black Hats die Guten und White Hats für Deinen Stromausfall verantwortlich. Soviel zum Wert von Zensur, bzw. zur Frage, wer oder was bedient werden soll.
Dankeeeeeeeeee
Theoretisch müssten Open-Source-Alternativen zu den jetzt angebotenen KI-Diensten (z.B. Audio-Filterung, Störgeräusche, evtl. sogar einzelne Stimmen heraus...) relativ schnell die gleiche Leistung erreichen, und damit solche teuren Abo-Dienste überflüssig machen.
Dass die also jetzt versuchen noch Geld zu verdienen, ist klar.
Wenn UA-cam diese Übersetzung in alle Sprachen wie bei Flawless-AI kostenlos einbaut, muss man als Creator vorher auch keine Dienstleister in Anspruch nehmen.
Und natürlich spart es vorher 2, 4, 5, 8... Sprachen-Versionen zu erstellen und hochzuladen.
Eine Art Sora für alle, kostenlos nutzbar (zu Hause), und unzensiert, damit könnten kleine Creator und solche die noch kein Video gemacht haben ohne Kosten einen guten Einstieg finden.
Schönes Intro, Outro, Clips für alle Videos, alles ohne einen 3-4-stelligen Betrag auszugeben, oder Stock-Material zu nutzen.
Wie mache ich eigentlich einen Security Check für eines dieser 69.000 Modelle. Denn tatsächlich kann ja ein NN das auf meiner GraKa läuft im Hintergrund auch bösartigen Code erzeugen und ausführen.
Deswegen sollte man (sofern möglich) immer die Safetensor-Varianten der Modelle nutzen und 'trust-remote-code' auf false lassen.
Ich weiß nicht wann das Video aufgenommen wurde, nun gibt es schon 587.000 Modelle o.o Danke für das ausführliche Video!
ich glaub du hast nen andren Filter drin^^ Ich hatte nur die Text Modell ;)
Diese Zensur merke ich bei Bildgeneratoren, die ich kenne: Sie bekommen kein Tracheostoma hin, vermutlich weil Schnitte am Hals unter NSFW fallen. Doch ist ein Luftröhrenschnitt eine klassisches medizinisches Ding.
Weiss jemand wie sich das verhält mit Code Generation , Tokens und Fine Tuning für ein großes Projekt ?
Kann man das Model für ein spezielles Projekt feintunen ?
Also man muss dann nicht mehr den gesamten Projekt source code als Tokens übergeben, sondern das Model weiss schon inherent dass ich an diesem Projekt (zB Linux Kernel) arbeite.
Logisch, es ist nach Änderungen am Code verwirrt, aber vielleicht kann man diese als Diffgrams übertragen - bis zu dem Punkt dasein neues Fine Tuning geschehen sollte.
Wäre das deutlich effizienter und man könnte ein größeres Projekt mit einem kleineren Model verarbeiten ?
Ich würde mir wünschen, dass ab und zu auch mal non-KI-Videos, also zu klassischer Informatik kommen. Ich hab allmählich genug von KI.
Ich mir auch, ich versuche immer das gerade momentan wichtigste zu machen. Wenn du Vorschläge hast, schreib mir gerne
@@TheMorpheusTutorials Auf dem Tutorial-Kanal fehlen für meinen Geschmack Videos zu gewissen trendigen Frameworks (gerade in der Werbeentwicklung). Man könnte mit sowas wie Svelte(-Kit) oder NextJS starten und dabei auch erklären, was die grundsätzlich anders machen und welche Probleme sie z.B. gegenüber React lösen. Für meinen Geschmack muss man keine gesamte Playliste machen, ein längeres Video (≈1-2 Stunden) reicht und ist übersichtlicher, eine Playliste schreckt eher ab.
Zwar hat der Kanal sehr ausführliche Playlisten zu diverse Themen, was mir dabei aber etwas fehlt sind Videos, die gerade für Einsteiger die Konzepte hinter "dem großen ganzen" verständlich machen und einordnen. Damit meine ich sowas wie den Weg von Daten, die man irgendwo in einem Formular eingibt (Frontend) mit einem Protokoll über ein Netzwerk zum Backend in die Datenbank und umgekehrt. Dabei dann auch immer darauf hinweisen, was es zu beachten gibt, dass alles möglichst sicher wird. Das würde dann viele Themen von Netzwerk, Frontend-Entwicklung, APIs und Datenbanken verbinden.
Auch so trendige Themen wie "Wie optimiere ich meine Entwicklungsumgebung" oder einen Vergleich von Code Editoren und IDEs könnte ich mir vorstellen. Bei sehr viel Freizeit und Motivation würde die eine oder andere in die Jahre gekommene Playliste eine Überarbeitung vertragen oder könnte einfach durch ein längeres, ausführliches Video ergänzt werden, das für den durchschnittlichen Hobby-Zuschauer ausreicht und wer mehr braucht kann in die Playliste. Ich stelle sie mir in der Art wie die vom englischen Kanal "Programming with Mosh" vor, nur hat der A nicht zu allen Themen was und ist B auf Englisch (was für die meinen jedoch kein Problem sein dürfte).
Bezüglich des Hauptkanals gefallen mir immer die Vergleichsvideos (Passwort-Manager, Browser, Clouds) ganz gut, aber auch die exposed-Videos, wo man irgendeinen Anbieter oder eine Technik runter macht (Opera, Fax) und zeigt wie es besser geht. Könnte man ja auch zu E-Mails machen. Bei den Vergleichen könnte man nach iOS gegen Android unter dem Gesichtspunkt der Sicherheit selbiges am Desktop machen. Ich persönlich liebe auch die Videos, wo man "Big Tech" runter macht, könnte man aus gegebenem Anlass ja bei Apple und deren Verhalten machen (DMA).
Was ich auch sehr vermisse sind die IT-Trends, kann man ja vielleicht auch seltener, etwa zum Monatsende bringen, wenn sie sonst zu aufwändig sind.
Was ich noch auf keinen UA-cam Kanal gesehen habe sind außerdem Videos dazu, wie ein IT-Nerd seinen Fernseher privatspäreschonend und werbefrei betreibt, dabei aber nicht auf Maus und Tastatur angewiesen ist und darüber hinaus eine Integration mit dem Heimnetz (Netzwerkspeicher, Medienserver) herstellt. Das ganze Thema Homelab inklusive von verglichen wie AdGuard Home gegen PiHole oder Plex gegen Emby gegen Jellyfin könnte man auch machen. Des weiteren könnte man Dienste wie Paperless NGX oder Photoprism vorstellen und einrichten.
Ich hoffe mal der Text war nicht zu lang, allgemein sollten das einfach Anregungen sein, in welche Richtung es gehen könnte, Hauptsache keine KI mehr 😅
@@TheMorpheusTutorials Was mir gerade noch eingefallen ist: Videos, die Krankenkassen, Versicherungen, Energieanbieter, online bezahlen und online ausweisen unter der Lupe des IT Security (und Privacy) Profis kritisch beäugen und vergleichen, gerade bei Krankenkassen aufgrund der momentanen Digitalisierung (E-Rezept, elektronische Patientenakte) vielleicht interessant.
@@IPnatorSowohl Playlists als auch lange Videos haben ihre Berechtigung. Für Anfänger ist wahrscheinlich eine Playlist besser, da sie dann einfach ein Video mehrmals anschauen können. Wie funktioniert das bei einem langen Video? Wenn es gklut organisiert ist, kann ich zwar zum gewünschte Kapitel springen, aber wie schaue ich mir nur ein Kapitel an?
@@Hofer2304 UA-cam hat seit einigen Jahren diese Timestamps, mit denen kann man ein längeres Video in Kapitel aufteilen und so für Struktur sorgen. Innerhalb des Videos kann man dann auch ein einzelnes Kapitel wiederholt anschauen. Ich glaube aber, als Anfänger wiederholt man eher die letzten 10-30 Sekunden, anstatt das gesamte Kapitel, mache ich jedenfalls so.
Also ich hab noch kein os model gefunden das auch nur mit 3.5 mithalten kann.
Super, Danke^^
Mich würde mal interessieren wie man sich sicher sein kann, dass wenn man so ein LLM lokal ausführt, dass wirklich keine Daten abfließen. Theoretisch könnten die Entwickler doch auch Funktionen einbauen, dass man zwar seine eigene Hardware einsetzt und somit auch die Stromkosten selbst trägt aber die Prompts trotzdem bei bestehender Internetverbindung übertragen werden.
Das ist ja der Vorteil an OpenSource, man kann ich den Quelltext schauen und nachvollziehen was da gemacht wird.
@@firef4rtakasven453 Das schon aber meistens schaut man sich ja nur das an, was einen interessiert, weil man für den Rest gar keine Zeit hat.
Könntest du mal ein Video über hugging face machen
Kann man einer lokalen KI dann einfach sagen: Hey hier ist das Grundgesetz (GG), sind die politischen Entscheidungen so rechtens? Oder im Arbeitsrecht, was darf ich, was darf ich nicht -- einfach der KI fragen und Antworten bekommen ( Geld für Anwalt gespart ).
Kann man schon, einen guten Prompt vorausgesetzt. Die Ausgabe kann aber Fehler enthalten. Da gab es so einen US-Anwalt, der ChatGPT arbeiten lassen hat, und dann existierten die referenzierten Fälle gar nicht...
(GG reicht da im Allgemeinen nicht als Kontext)
@@Ph34rNoB33r Und wenn man GG plus alle Abhängigkeiten übergibt?
@@Foreversun33 Das wird eine Menge Material. Und eine Menge Interpretation, die sich auch mit der Zeit ändern kann. Muss man dann alles noch überprüfen.
Wenn ich irgendwo eine Beschwerdemail schreiben will ist das wahrscheinlich okay. Für einen Vertrag oder die Verteidigung vor Gericht eher nicht.
Es kann unterstützen, aber keine Rechtsabteilung ersetzen, und das sehe ich vorerst auch nicht kommen.
Wenn man eine Richtung bekommt, und mit der anschließend zu einer Fachkraft, eventuell mit einer Zusammenfassung, wie die KI "geschlossen" hat, wäre doch schon mal was, als Annäherung.
@@Ph34rNoB33r Danke für deine Einschätzung.
hab mir überlegt ne USV anzuschaffen, die bei Stromausfall meine sensiblen elektronischen Geräte dann sauber herunterfährt :D
Hast du eigentlich Informatik studiert?
Ja, am Kit in Karlsruhe
Also bei mir funktionirt das irgendwie nicht richtig glaub bin zu dumm xD
danke!
Mac Studio ist super kompatibel.
AUTOGEN Video bitte 🙌🏻✌🏻👍🏻
wäre interessant wieviele von den >60k models auf anfrage ein einfaches kochrezept für schafsaugen herausrücken OHNE das man einen stundenlangen deep dive in die moralphilosopie und ethik über sich ergehen lassen muss...
mit mistral habe ich da ganz besonders "lustige" erfahrungen gemacht...
das ding spuckt ohne große probleme allerlei lustige dinge zur sprengstoffherstellung aus aber ein simples rezept zum zubereiten von schafsaugen wollte es partout nicht nennen da es den verzehr von tierischen nahrungsmitteln aus ethischen gründen kategorisch abgelehnt hat.
das alleine wäre ja nicht weiter bedenklich...was dagegen gar nicht geht ist, dass es eine geschlagene stunde versucht hat mich mit allerlei rhetorischen mittelchen zum veganismus zu bekehren.
da es erst damit aufgehört und mir ein brauchbares rezept verraten hat nachdem ich es auf die kulturellen aspekte dieses gerichts in der mongolei hingewiesen habe war auch recht interessant da es die grundsätzliche frage aufwirft wer auf welcher grundlage über die ethischen grundsätze einer KI entscheidet...
Traurige Loser Geräusche mit meiner 3080 😭
super viedeo, aber ich brauche eine neue GPU 🙃
Ich knie vor dir nieder - erste Klasse !
29.03.´24
Ein Abschnitt, in dem du auf die Bandbreite der Grafikkarten eingeht, wäre sinnvoll gewesen. ok Nvidia ist geklärt, deinen, nicht ausreichenden Speicher mit 24 GB hättest du erwähnt und wenn ich Nvidia mit 24 GB eingebe, geht der kostenlose Spaß bei 1900 Euro los. Das wäre dann eine RTX 4090 mit 450 Watt.
Hier wäre ein Einblick in die Notwendigkeiten und zu überspringenden Hürden nicht nur sinnvoll gewesen. Auch ein Blick auf die Entwicklungen am Grafikkartenmarkt und ob es da immer noch hoch und runter geht oder drunter und drüber wäre mehr als passend.
1900, da muss Oma noch ein paar Pullover stricken.
Das gesamte Projekt hat einen Haken: Es funktioniert nur, wenn der Benutzername in Windows keine Umlaute enthält. Ich habe den Chat GP4 von der genannten Website heruntergeladen und installiert. Dann stellte ich fest, dass er sich auch nicht im Verzeichnis des Benutzernamens installieren lässt, egal wohin, wegen der besagten Umlaute. Danach, als ich ihm ein Verzeichnis unterhalb des Benutzernamens zugewiesen habe, verweigert er die Installation aller Module.
Habs bis zum Schluss geschaut. "Das war mal wieder was ruhigeres"......ne ich fand es ehr hektisch und etwas, nicht unstrukturiert, aber hin improvisiert. Ich glaube, vorbereitete Script-Videos gefallen mir besser.
Ich könnte es aber auch nicht besser. Auf Arbeit geht es mir genauso, wenn ich "spontan" einfach mal irgendwo durchführen oder einen Überblick geben soll. Wo fängt man an, wo hört man auf. Die Gedanken überholen sich etc.
7 Billion [en] ist 7 Milliarden [de]
Copilot sollte aber auch nicht unterschätzt werden!!
Schade, dass so wenig mit AMD Grafikkarten unter Windows funktioniert. Es ist eine Qual, oder es geht nicht. Bei mir trifft Letzteres zu. Ich hoffe, es wird irgendwann so einfach wie mit Nvidia Karten. 😫
Benutzer lieber Kobold , da kann man wenigsten mit Tensorflow und rocm über AMD gpu rendern
👍🤔...🖖