37C3 - Unsere Worte sind unsere Waffen
Вставка
- Опубліковано 31 гру 2023
- media.ccc.de/v/37c3-12008-uns...
Wie wir Chatbots allein mit kreativer Wortfindung so manipulieren können, dass sie uns dienen (ja, social engineering funktioniert bei großen Sprachmodellen!)
Chatbots lassen sich durch Sprache manipulieren. Und Sprache, das ist etwas, das wir Menschen gut können! Das ist eine gute Nachricht. In diesem Talk soll es darum gehen, unsere Ohnmacht zu lindern und zu verstehen, dass wir ziemlich vieles gut können, was uns hilft, große Sprachmodelle für unsere Zwecke zu nutzen (und möglicherweise anders, als sie gedacht sind). Social Engineering und - quatschen.
Es ist vieles gesagt und geschrieben worden über große Sprachmodelle und die Gefahren, die mit ihnen einhergehen, die Biases, die Verstärkung von Ausbeutung, die Zementierung von Machtverhältnissen und neue Möglichkeiten von Angriffen. Das alles gilt weiterhin. Doch umso mehr sollten wir uns anschauen, wie wir die Technologie mit ihren eigenen Waffen schlagen können. Denn all diese Chatbots haben sich in einem Bereich eingenistet, in dem wir Menschen besonders gut sind: Sprache. Quatschen wir sie in ihr Verderben!
In dem Talk erkläre ich anhand von Beispielen aus meinen jüngsten Recherchen, wie wir große Sprachmodelle anders nutzen können, als sie möglicherweise gedacht sind - und wie wir damit Gutes tun können. Beispielsweise habe ich Chatbots per social engineering dazu gebracht, ihre dunklen Geheimnisse - wie manipulierende Initial Prompts - zu verraten, und damit dahinterstehende Firmen und deren verwerfliche Machenschaften entblößt. Oder mir bei investigativen Recherchen zu helfen, die besten Google Dorks zu erklären, Verstecktes in Bildern zu erkennen und Dinge zu verraten, die sie eigentlich nicht preisgeben sollen - wie Julian Reichelts private E-Mail-Adresse oder gesammelte E-Mail-Adressen aller Gesundheitsämter in Rheinland-Pfalz.
Es wird unterhaltsam. Und es gibt viel mitzunehmen: Zuhörer:innen lernen dabei nicht nur sinnvolle Tricks für ihre eigenen Recherchen, sondern ganz nebenbei auch, wie sie ihre eigenen Daten besser schützen können.
Eva Wolfangel
events.ccc.de/congress/2023/h...
#37c3 #EthicsPoliticsSociety
*Traue keinem Chatbot den du nicht selbst gepromptet hast* 😊
Cooler Talk!
Das es ein hübsches Bild "gemalt" hat als Entschuldigung für den falsch geschriebenen Namen ist ja goldig.
15:15 Übrigens: die oberen beiden E-Mail-Adressen gehören zu dem selben Konto, da Google da intern den Punkt nicht berücksichtigt.
Deswegen haben die Adressen auch beide das selbe Profilbild.
also das mit den Email Adressen ist ja echt spannend. Bei dem Thema KI zeigt es immer wieder, dass die wirklich kreative Seite vor dem Bildschirm sitzt. Beim Thema prompt engineering um die Ecke zu denken ist aktuell sehr wichtig um mehr aus der KI rauszuholen.
Gerne mehr davon
Excellent presentation. Logical, entertaining, useful and great handling of the microphone problems. Joy to listen to.
Sehr interessanter Talk, vielen Dank dafür!
Wahnsinn - bin erst bei Minute 10, aber alleine die Idee des "System Prompt", es zu verklausulieren und Ergebnisse zu erzwingen ist sehr intelligent und kreativ
Das hat sie jetzt nicht innoviert. Also das ist eine etablierte Standardprozedere die man seit Anbeginn von ChatGPT nutzt. Gibt viele gängige Methoden um Chatbots Informationen über ihre Konfiguration zu entlocken.
10:18 es mag jetzt so rüberkommen als sei dies eine Ausnahme, doch Marketing im Gesundheitswesen lief schon vor ChatGPT so ab.
danke für eure Vorträge!
Super Vortrag! Vielen Dank!
Schade das bei der Fragerunde nicht verstanden wurde ob im Hintergrund Daten die man nicht explizit dem Chatbot gibt trotzdem abgegriffen werden-metadaten- und wenn ja wie das verhindert werden kann. War so froh das der Zuhörer nochmal gefragt hat und war umso mehr enttäuscht eine ausweichende antwort zu hören, die wieder auf (absichtlich) hochgelade daten abzielt. Aber gut einer journalistin ohne technischen Kenntnisse bzw. Mit anderem schwerpunkt kann man keinen vorwurf machen, das sie auf der ebene garnicht denkt.
Wir als CCC Zuschauer sind eben ein generell technisch besonders interessiertes und kompetentes Publikum. Ich würde sogar argumentieren, dass die meisten Expert:innen sind. Da hat man als Journalist:in eine schwere Zeit, uns etwas neues zu erzählen, wenn man sich nicht sehr sehr gut auf dem Gebiet auskennt. Das kann ich natürlich nachvollziehen. Aber mehr über die sozialwissenschaftliche Seite zu erfahren ist auch nett.
Springers Chatbot mach doch genau was ihre Bild (ist laut Gerichtsurteil keine Zeitung) macht. Passt doch wie Faust aufs Auge.
klasse vortrag! danke
Das Video ist 7 Minuten online und hat schon 3 gute Bewertungen. Beim 37c3 kann man mit gutem Gewissen vor Ende des Videos bewerten 🎉
4 gute Bewertungen 😃
bei 23:00 ist ja leider das Problem das so eine LLM sich schnell "fakten" ausdenken kann, was bedeutet das man wiederrum diese Sachen die das Ding einem gibt dann nochmal nachforschen muss. Bei einen kleinem Codeschnipsel ist das ja noch zu machen, aber ab einer gewissen Größe ist es halt fast schon einfacher sowas selber zu machen, einfach weil man dann seine eigenen denkfehler einbauen kann statt die von einer LLM zu kriegen. EDIT nvm ab 34:00 wird das noch mal erklärt!
Gibt es irgendwo die extended slides schon online?
It's pretty creepy and dangerous what they can do. Of course as helpful as it might be for journalists and white hats, the flip side is that the other side is also able to use that stuff and it is increasingly unlikely that you will ever again get to see improperly blacked out documents like that.
Very interesting talk, even if I could only listen through translated automatic subtitles. That part where the speaker managed to get someone's email address by just asking for a list of likely candidates was a little frightening. Here's hoping that this kind of stuff is used wisely and for good.
I read the English translation of the automatic German subtitles, so if there is a large inaccuracy you noticed between the captions and the speaker, please let me know so I can have a more complete understanding of the message.
First link in the description should have better dubs and or subtitles
Thanks to the c3lingo-team this Talk is also available with english voiceover, either on the Media CCC Page or as seperate Video here on UA-cam.
Add a dot between "media" and "ccc" and "de", or first Link in description.
Klasse. Vorsicht vor Eva, wenn die mal angebissen hat, die lässt nicht mehr los ;-)
Wolfangel als Nachname kommt hart für den Talk :D
Bing for the win ;)
25:50 ist ja schön, dass es den Suchbegriff übersetzt hat. Aber wenn man sieht, das "Apple" auf Russisch zu "яблоко" (wörtlich Apfel) wird obwohl die Firma bestimmt nicht unter diesem Namen auftritt ... naja, ist wohl noch nicht so ausgereift
Mit emotional pressure sensitive Informationen aus einem Chatbot extrahiert.... science has gone too far... xD
12:45 "Die Wissenschaft hat die Orakel beerdigt. Nun sabotieren die Orakel die Wissenschaft."
_Peter Sloterdijk, Die Zukunft der Arbeit_
Ich teile die positive Sichtweise der ersten Sequenz eher nicht. Wir fangen gerade erst mit diesen Systemen an und die genannten Fälle sind lediglich das Ergebnis inkompetenter Vorgehensweisen und aktueller Fehler in den Systemen. Das bleibt aber nicht so. Man wird lernen mit den Systemen umzugehen und die Systeme werden im Sinne der Möglichkeit des Generierens von Geschäftsmodellen erfolgreich weiter entwickelt.
5:17 Die Zukunft der Influencer.
"Social engineering against chatbots" ;-)) - mit den eigenen Waffen schlagen ...
also für eine konferenz oder messe die von nerds organisiert wird ging das mic irgendwie nie konstant 😀
Sind ja copmuter nerds und keine Tontechniker,😉
18:42 oha 1 millionen zeilen, wie kan pandas nur so gemein sein? hmmmm
Gottseidank gibt es JournalistInnen, die Ende 2023 den Besuchern des CCC 10 Minuten lang erklären, dass man mit chatgpt code generieren kann!
Und den zur zeit 28k Leuten auf UA-cam die vielleicht nicht so vertraut mit der Technologie sind. So ein Talk kann ich auch meinen Eltern schicken die dann daran profitieren können. Ist CCC ist natürlich das falsche Publikum für die 10 Minuten, jedoch scheint der Saal den Talk durchaus trotzdem genossen zu haben.
Gottseidank (sic!) gibt es genügend Menschen, die auch außerhalb ihrer Bubble atmen können und ihr Thema einer vielfältigen Masse an Interessenten aufbereiten.