37C3 - Hacking Neural Networks (deu)
Вставка
- Опубліковано 2 січ 2024
- media.ccc.de/v/37c3-12059-hac...
Eine Einführung in das Hacking von Neuronalen Netzen
Ich will den Zuhörerinnen einen Überblick über die aktuellen Möglichkeiten geben, wie Neuronale Netze angegriffen und manipuliert werden können. Das Ziel des Vortrags ist es, verschiedene Angriffe zu erklären und anhand von Beispielen zu veranschaulichen. Dies dient auch dazu, die Funktionsweise neuronaler Netze besser zu verstehen und ihre Limitierungen aufzuzeigen. Abschließend zeige ich, welche Maßnahmen ergriffen werden können, um diese Angriffe zu erkennen oder zu verhindern.
Der Vortrag beginnt mit einer knappen Einführung in die Funktionsweise Neuronaler Netze, um ein allgemeines Verständnis zu schaffen. Anschließend werden verschiedene Angriffe auf Neuronale Netze dargestellt. Die dargestellten Angriffe sind zum größten Teil technisch und ich werde Angriffe wie Prompt Injection nur kurz behandeln. Im Vortrag werden neben Prompt Injection Angriffe wie LastLayer Attack, Back-Dooring, Extracting Information, Brute Forcing, Neural Overflow, Malware Injection, Neural Obfuscation und Model Stealing theoretisch vorgestellt. Um den theoretischen Vortrag aufzulockern, werde ich einige dieser Angriffe anhand von Live-Beispielen veranschaulichen und erklären, wie sie die Funktionsweise Neuronaler Netze ausnutzen bzw. an welchen Stellen diese manipuliert werden können. Während der Erläuterung der Angriffe werde ich auch darauf eingehen, welche Informationen für den Angriff benötigt werden und welche Informationen besonders schützenswert sind. Abschließend werde ich mögliche Verteidigungsstrategien erläutern, auch wenn diese nur einen teilweisen Schutz ermöglichen. Der Vortrag wird einen guten Überblick über Angriffe auf Neuronale Netze geben, wie sie in der aktuellen wissenschaftlichen Literatur bekannt sind.
jate
events.ccc.de/congress/2023/h...
#37c3 #Science
Zur Frage bei 30:57 noch der interessante Zusatz:
Gerade weil das Netzwerk so kompliziert ist, sind Adversarial Attacks so "einfach" durchzuführen. Stellt man diese Pixelhaufen aka adversarial examples her und trainiert das Netzwerk mit den richtigen Zahlen und den Pixelhaufen, kann man beobachten, dass die ersten Layer des Netzwerks ausgedünnt werden beim trainieren. Das Netzwerk verliert dabei an "Komplexität" und lässt sich dann nicht mehr "verarschen"
Folie 1 leider fachlich inkorrekt: Die Definition von spezialisierter vs. generativer KI.
Hier besteht ein Missverständnis. Generative KI heißt generativ (nicht generell). Das Gegenteil ist diskriminative KI. Eine generative KI kann u.U. auch nur ein Problem lösen, z.B. nur neue Katzen generieren, wenn es auf Katzen trainiert wurde.
Regression und Klassifikation auch nicht richtig erklärt. Aua.
Richtig wäre gewesen: Regression ist Vorhersage eines kontinuierlichen Wertes, Klassifikation die Vorhersage eines diskreten Wertes (z.B. einer Klasse).
@@pw7225 Klassifikation ist keine Vorhersage. Vorhersage bezieht sich auf das Fortsetzen einer Reihe aus Datenpunkten. Klassifikation steckt einen Datenpunkt in eine Schublade.
Macht für mich auch den Eindruck, als hätte er "generativ" mit "generisch" verwechselt und in der Folge Klassifikation und Regression falsch in eine Katergorie "spezialisiert" gesteckt. Letztere machen aus einem Eingangsmuster einen i.d.R. niedrigerdimensionalen Ausgangsvektor, während generative ANNs umgekehrt arbeiten und aus einem Vektor im feature space wieder ein (bei Bildern höherdimensionales) Ausgagsmuster erzeugen, d.h. generieren.
Leider falsch
Zur Frage bei 29:30
Man könnte in die Trainingsdaten die 11. Kategorie `zufallsbilder` einfügen. Die besteht aus zufällig generierten Bildern.
Dann passt man das Netzwerk auf 11-dimensionale Ausgaben an und trainiert neu.
Danach sollten zufällige Bilder "viel häufiger nicht als 4 klassifiziert" werden. Es wird trotzdem noch zufällig aussehende Bilder geben, die trotzdem in der 4. dimension den höchsten wert haben und damit falsch erkannt werden.
Kann man versuchen, Erfolg nicht garantiert.
danke)
Vielen Dank, das war interessant.
Da die Aufgabe ja ist, sage mir welche Zahl von 0 bis 9 das ist, würde ein Mensch Wahrscheinlich die gleiche Ausgabe geben (ca. min 17:00). irgendwas zufälliges. Die Lösung wird wohl einfach sein, den Vektor um die Dimension "was anderes" zu erweitern. Das wird technisch wahrscheinlich wohl nichts verändern, könnte aber die Ergebnisse nachvollziehbarer machen (ca. 19:18).
"Zurückweisungsschwelle" - machen wir seit 20 Jahren
Das was er bei ca. 31:25 erzählt ist ja aber bei einem Menschen nicht anders, wir sehen auch überall Muster wo keine sind, wahrscheinlich mit einer andere Fehlerrate oder eben so das man das halt logisch ausschließt. Nach dem Motto sieht zwar aus wie ein Gesicht auf dem Mars, ist aber nur ein Steingebilde. Zu den Data Poisoning, so wie das Angesprochene Szenario mit den Rauschen, kann man das auch gleich in die Trainingsdaten mit einfließen lassen, wo man das z.B.: 100 mal das Gleiche Bild mit unterschiedliche Rauschmuster einfügt, das sollte sich gut klassifizieren können, da man das Gift sozusagen ja kennt. Könnte das funktionieren? Außer dem stelle ich mir jetzt die Frage, Wie aufwändig das ist (Rechenleistung), Wie viele Varianten benötigt man? Das sollte die Netzte ein wenig resilienter machen
Wird versucht, ja.
Ladet doch einmal Snicklink ein, dass er erzählen kann, wie er mit KI seine Parodien erstellt. Das fände ich total spannend.
???
Ja mann das wär cool
English titles are confusing, because it seems like this talk is in English!
there is an english variant on the channel...
Vortrag kommt 10 Jahre zu spät.
Wieso hast du das nicht früher präsentiert?