Ich habe bei meinen API Zugriffen (wenn ich JSON als output haben will) einen anderen start drinnen. In den Messages habe ich als erstes die System role, wo ich dem LLM die Rolle gebe. Dann setze ich als User ein Beispiel, was er hätte schreiben können. Dann ein assistant promt mit der gewünschten Ausgabe inklusive alle json Felder, die er nutzen soll. Zum Schluss kommt die user message. Zack und ich habe grundsätzlich ein Json output wie ich das haben will 😊
könntest du mal ein fine tuning video mit PEFT und OpenSource Modellen machen ? Insbesondere würde mich auch mal das Thema Computation Power vs. ModelParameter Size & Fine Tuning interessieren. Die Frage ob man für custom Use Cases sogar lokal fine tunen kann oder mittels"relative kleiner" Cloud Infra das umsetzen kann fänd ich auch sehr interessant.
Danke für das Video! Das mit den Preisen ist schon recht heftig. Aber mir kam der Gedanke, dass OpenAI mit den Finegetunten (es lebe Denglisch) Modellen schon gewissen Aufwand betreiben muss. Das Modell muss ja praktisch gehostet werden, da es ja weiterhin bei OpenAI läuft (man kann es ja nicht einfach herunterladen... das wäre allerdings fein ;) ). D.h. irgendwo läuft dann eine Instanz, die Kosten verursacht. Aber ob das die Preise so rechtfertigt, kann ich natürlich nicht sagen
Das ist das nette bei lokaler AI: Mit selbst geschriebenem sampling Code (oder grammar bei llama.cpp) kann man das Modell ohne Finetuning etc. auf ein bestimmtes Ausgabeformat (wie z.B. JSON) steuern oder sogar die Ausgabe waerend der Generation steuern.
Man kann jetzt bei GTP3.5 auch custom instructions vorgeben, die für jeden neuen Chat im Hintergrund übernommen werden. 1500 Zeichen hat man dafür kostenlos zur Verfügung. Das macht das teure Finetuning noch weniger interessant.
es sind insgesamt sogar 3000 Zeichen. jeweils 1500 für "What would you like ChatGPT to know about you to provide better responses?" und "How would you like ChatGPT to respond?"
Hast du schonmal versucht, OpenAIs function calling zu verwenden, um JSON Strukturen vorzugeben? Das soll ganz gut klappen heißt es in englischsprachigen Tutorials.
Wie sieht das ganze dann mit Copilot aus, wobei Microsoft ja bald ähnliches anbieten wird. Laut Microsoft soll ein auf den firmeninternen Daten finegetuntes Modell keine Copyright-Verstöße mehr machen. Bin mir da unsicher, aber gespannt was die Zukunft bringen wird.
@@Toebaay ich mein bei den Preisen ist hosten bestimmt die bessere Lösung und man muss ja nicht hosten wenn man für ein paar hundert Euro ne Grafikkarte kauft
"Fine-Tuning Daten durch Moderations-API" ?!? - wie krass. Wie doof könnte jemand sein, das zu verwenden? Du weißt auch nicht, was ein KI-Modell aus deinen Daten lernen kann: die Daten bleiben alle da draußen und die nächsten KI-Generationen können da potenziell viel mehr rausziehen.
Es wäre mal interessant durchzurechnen, ab wann es sich lohnt ein "eigenes" fein-getuntes LLM im eigenen "Rechenzentrum" laufen zu lassen.
Es fühlt sich immer noch so an, als wäre ChatGPT gestern erst rausgekommen. Gutes Tutorial, vielen Dank :)
Interessantes Video, thumbs up.
Ich habe bei meinen API Zugriffen (wenn ich JSON als output haben will) einen anderen start drinnen.
In den Messages habe ich als erstes die System role, wo ich dem LLM die Rolle gebe. Dann setze ich als User ein Beispiel, was er hätte schreiben können. Dann ein assistant promt mit der gewünschten Ausgabe inklusive alle json Felder, die er nutzen soll.
Zum Schluss kommt die user message.
Zack und ich habe grundsätzlich ein Json output wie ich das haben will 😊
könntest du mal ein fine tuning video mit PEFT und OpenSource Modellen machen ? Insbesondere würde mich auch mal das Thema Computation Power vs. ModelParameter Size & Fine Tuning interessieren. Die Frage ob man für custom Use Cases sogar lokal fine tunen kann oder mittels"relative kleiner" Cloud Infra das umsetzen kann fänd ich auch sehr interessant.
Danke für das Video! Das mit den Preisen ist schon recht heftig. Aber mir kam der Gedanke, dass OpenAI mit den Finegetunten (es lebe Denglisch) Modellen schon gewissen Aufwand betreiben muss. Das Modell muss ja praktisch gehostet werden, da es ja weiterhin bei OpenAI läuft (man kann es ja nicht einfach herunterladen... das wäre allerdings fein ;) ). D.h. irgendwo läuft dann eine Instanz, die Kosten verursacht. Aber ob das die Preise so rechtfertigt, kann ich natürlich nicht sagen
Das ist das nette bei lokaler AI: Mit selbst geschriebenem sampling Code (oder grammar bei llama.cpp) kann man das Modell ohne Finetuning etc. auf ein bestimmtes Ausgabeformat (wie z.B. JSON) steuern oder sogar die Ausgabe waerend der Generation steuern.
Was hat es für einen Vorteil, den System-Prompt auf so viele einzelne aufzuteilen?
Die Moderation api ist free übrigens. Von open ai. Also man kann selbst beim generieren über openai moderation api überprüfen, ob die Texte ok sind.
Würden Unternehmen nicht eher den Azure OpenAI Service verwenden?
Man kann jetzt bei GTP3.5 auch custom instructions vorgeben, die für jeden neuen Chat im Hintergrund übernommen werden. 1500 Zeichen hat man dafür kostenlos zur Verfügung. Das macht das teure Finetuning noch weniger interessant.
es sind insgesamt sogar 3000 Zeichen. jeweils 1500 für "What would you like ChatGPT to know about you to provide better responses?" und "How would you like ChatGPT to respond?"
Hast du schonmal versucht, OpenAIs function calling zu verwenden, um JSON Strukturen vorzugeben? Das soll ganz gut klappen heißt es in englischsprachigen Tutorials.
Wie sieht das ganze dann mit Copilot aus, wobei Microsoft ja bald ähnliches anbieten wird. Laut Microsoft soll ein auf den firmeninternen Daten finegetuntes Modell keine Copyright-Verstöße mehr machen. Bin mir da unsicher, aber gespannt was die Zukunft bringen wird.
6:20. Hast du da etwa geschnitten, du Schummler...😂
Mal wieder ein neues Feature von ClosedAI.
Wieso nutzt man dann nicht einfach lama 2 um die Probleme zu umgehen
Weil man sich dann auch um das Hosting kümmern muss. Aber generell eigentlich keine schlechte Alternative. So hätte man die größtmögliche Kontrolle.
@@Toebaay ich mein bei den Preisen ist hosten bestimmt die bessere Lösung und man muss ja nicht hosten wenn man für ein paar hundert Euro ne Grafikkarte kauft
"Fine-Tuning Daten durch Moderations-API" ?!? - wie krass. Wie doof könnte jemand sein, das zu verwenden? Du weißt auch nicht, was ein KI-Modell aus deinen Daten lernen kann: die Daten bleiben alle da draußen und die nächsten KI-Generationen können da potenziell viel mehr rausziehen.
Hab gelesen das GPT 4 jetzt in Bing integriert werden soll. Da stellt sich ja dann die Frage nach dem Bezahlmodell.🤔
Ist schon, ich konnte es auswählen
GPT 4 läuft doch auf Azure so weit ich weiß, also auf Microsofts eigenen Servern
Ich hätte gerne ein vollständig auf Astro trainierten Copilot, der mir auch die Files erstellen kann.
bitte Bitte BITTE B1TT3 keine AutoMagie! Lasst die Kids nicht mit den Daten spielen........ Nein...Doch....Oh weiahhhh