Los 10 fallos de seguridad más graves de ChatGPT, Bard, Llama y LLM Apps: OWASP Top 10 para LLM Apps
Вставка
- Опубліковано 7 жов 2023
- Presentación hecha por Chema Alonso ( MyPublicInbox.com/ChemaAlonso ) en el II Forum Europeo de Inteligencia Artificial en el que habla de OWASP Top 10 para LLM Apps. Más información en: www.elladodelmal.com/2023/10/...
- Наука та технологія
![[2023] Ciberseguridad y Hacking en un mundo de Inteligencia Artificial, Robots y Humanos](http://i.ytimg.com/vi/gsnFXlLYt9w/mqdefault.jpg)
![[2023] Ciberseguridad y Hacking en un mundo de Inteligencia Artificial, Robots y Humanos](/img/tr.png)
![[2022] WhatsApp Intelligence (WhatsINT): Jugando con leaks de WhatsApp. Chema Alonso en Osintomático](http://i.ytimg.com/vi/J0FqoK_zTw8/mqdefault.jpg)
Siempre es un lujo tus conferencias concretas y agradables, Y se aprende.
tiene un sentido del humor que va acorde a lo que va explicando
Gracias siempre por el contenido y la picardía que le pones a la participación en conferencias. Éxito siempre.
Es un gustazo escuchar tus charlas. GRACIAS!!
Genial, excelente didactica. Increible como logra resumir tematicas tecnicas con ejemplos y analogias practicas y entendibles para aquellos que no entendemos tanto de seguridad informatica. Excelente, de verdad.
Hola Chema, admiración absoluta, soy nuevo miembro suscrito, pero te sigo sobre todo en cuarto milenio además que al ver esta conferencia en alicante vi lo que eres un crac en todo lo que haces , no soy ni hacker ni nada simplemente un usuario valenciano que te sigue por admiración absoluta. Gracias por existir!
Cuarto milenio xd
Este tío es un muy buen iniciador en estas materias. Respetos al máximo!
Hola Chema, siento haberte llamado Nacho Alonso cuando te vi en Alicante, fue la emoción. Y, como me dijiste, una lástima haberme perdido tu charla en directo. Espero poder verte pronto en otra ocasión 🤞👌
Grandes aportes, enhorabuena ㊗️
Me agrado mucho, gracias por subirla!
SIempre un placer escucharte Chema
Gracias chema por subier este contenido!
Gracias por subirlo privilegiando la presentación! #Crack
👋🏼🇨🇴🧔🏻👍🏼🤝🏻 Saludos desde la ciudad de Bogotá D.C. Estupenda charla Chema, dictando cátedra en una universidad aquí en Bogotá D.C. , yo muestro sus vídeos y luego abro discusiones entre mis alumnos sobre dicho tema
Que buena presentacion la verdad, un saludo desde mexico
Muchas gracias chema, excelente información
Eres una inminencia y referencia de que el conocimiento supera a cualquier reto. Y con ese carisma es increíble jaja
Gracias,impecable!!!EL MEJOR!
Excelente conferencia
Quedó claro. saludos Jose María A!
"Lo de venir al mundo para ganarnos el pan con el sudor de nuestra frente tendríamos que dejarlo atrás, tendríamos que venir al mundo para ser felices." Fan total de Chema ❤
¿Y cómo se plasma eso en la realidad?
@@salvamv1905 Está difícil, pero yo lo entendí como una crítica al sistema de valores capitalista.
Puedes comparar esa frase con esta:
«Los tiempos difíciles crean hombres fuertes, los hombres fuertes crean tiempos fáciles. Los tiempos fáciles crean hombres débiles, los hombres débiles crean tiempos difíciles.”
lamentablemente la comida no es gratis
@@informaticonfig333 🫨 no sabía que había que pagar por recoger bayas, o plantar papas, o pescar... sigo? El sistema te posee 😜
chema es una persona a la que da mucho gusto escuchar desde el primer video q encontre de el lo sigo y no me aburro de verlo es un interesando de la manera ccomo eplica
Como siempre, gracias!!
excelente conferencia
Excelente contenido👏👍✌
Don crack Chema, depuración va con dos b y no con una.
"Scrubbning" y no scrubning.
Eres un máquina Bro.
muy bonito como explicas!
Genial Chema 🤩
4:36 camarada Chema!
100% recomendable el mirarse el vídeo para cualquiera que venga del área de la seguridad informática
me pone muy mal que se corte tanto la pantalla de led . Y vos sos un crack que pudiste seguir la charla teniendo ese problema tecnico. Super admirable, porque yo como espectador no puedo seguirte bien la linea perdiéndome en este problema tecnico.
Vaya chapuceros los que montaron eso, si debe de ser un simple proyector conectado a su ordenador, yo soy Chema y les digo para la próxima no contratéis al que monto el sistema de imagen.
Hola buena conferencia 🎉 una duda, donde puedo encontrar el doc de
Genial explicado
¡Joooooliiiiineeeeeeeeeeees, Chemaaaaa!
¡Que me han subío los que te platiqué y tengo tamañas anginotas, machoooooo!
buena charla, gracias por esta buena explicación del paper :)
Va mejorando, esta vez ha tardado 1:30 minutos en pedir que le gente levante la mano.
Gracias Chema por tu sabiduria en ciberseguridad 👌
pero si ese no sabe nada
EXCELENTE TEMA
Chema Muy interesante, gracias. PREGUNTA: Dices que no es rentable tener una empresa su propio LLM por el alto consumo. Piensas que cuando UK quiere tener su propio GPT es un farol y no tienen recursos para entrenar algo al nivel de GPT que conto en su dia con todo el apoyo de Microsoft?
Excelente pregunta
Es un farol o una idiotez dicha sin pensar o sin saber el esfuerzo que requiere tener un modelo bastante fiable y no peligroso.
Lo que si pueden tener es un GPT privado para ellos en su casa y que ellos lo gestionan. Eso si me lo creo.
Hacer un modelo como GPT no solo son recursos si no tener la gente adecuada Y dar con la tecla adecuada en muchos casos para conseguir un buen entrenamiento con los datos que se poseen. OpenIA llevan años trabajando con los modelos GPT
Eso se ve en el ejemplo que modelos de empresas con más recursos no son tan buenos e incluso han usado el propio GPT para refinar su modelo. (Applie google, fb...)
De momento GPT4 está un escalón por encima del resto pese a todos sus esfuerzos de google, fb u otros. Es como la singularidad. Y tiene sus defectos... imagina.
WAO QUE PRIVILEGIO LOS QUE PARTICIPAN DE ESTA CONFERENCIA EN VIVO YA QUISIERA YO TENER A CHEMA AL FRENTE EXPLICANTO ESTE TEMA Y MUCHOS OTRAS, GRANDE COMO SIEMPRE CHEMA, SALUDOS DESDE PERU
De acuerdo con tu comentario, compatriota. Espero que chema venga a Perú algún día xD!
@@rdaviddn1744 claro que si amigo
Exelente esplicacion de los problemas de un LLM, en realidad el uso mas practico que le veo a estos modelos no es el de interfaces de comunicacion que en convinacion con la programacion clasica si que es muy potente
Es excelente. ¿Eres latinoamericano verdad?
@@adrian.c4673 Efectivamente, soy de GTO, México. Seguramente notarás mis faltas de ortografía, perdon por eso. ¡Saludos desde LATAN!
SALUDOS CHEMA
DESDE RD
Ese es mi sensey el chemita saludos desde latinoamerica
Alto charleta. Si hay implicaciones negativas por supuesto en el uso indiscriminado... De hecho, resultan bastantes convenientes dichos errores (Es algo público, que esperaban)
Quiero decir, la charla esta bien pero es muy básica
Muy humilde el señor!
Entendi bien cuando quisiste decir que si un llm te responde con codigo y su respuesta es un código malicioso, dicho codigo se ejecuta en el dispositivo por recibir su respuesta ?
Lo que mas me preocupa es el panorama para las personas que queremos ser Pentesters, porque ahora hay que saber mucho mas:
- Networking.
- Programming.
- Hardware.
- OS (Linux/Windows).
- AI - LLML
Esto no te lo enseñan en una carrera de ING, practicamente hay que estudiar por tu cuenta y por tu cuenta puede tomarte años aprender todo esto, lo mas viable seria realizar certificaciones. Pero cada vez me preocupa mas todo lo que se debe saber para un trabajo.
``Bienvenido al mundo real´´ ... Matrix film...
:,) @@prodesaespectaculostv9259
Chema, que claro haces ver los fallos que salen de cosas básicas, como entrenar a los modelos con datos, que luego no deberían estar ahí.
Una exposición buenísima. Muchas gracias por ser tan claro y directo.
Por hacerlo fácil.
¿Da mucho calor el gorro?
en verano sí, en invierno no
Grande Mikel Erentzun!!!
Estaria bien tambien hablar del proyecto Aura de Telefonica, de esto no hablas Chema? Cuanto costo todo esto para quedar en nada.
El que no arriesga no gana, les ha pasado a todas las empresas tecnológicas, Microsoft, Google y Apple no triunfaron en muchas cosas que sacaron al mercado, a mi lo que me gustaría saber si alguien logro hackear Aura, que bugs o fallos se fueron encontrando.
Si por ejemplo, instalo una extension en el navegador, para chatGPT ¿Esa extension puede generar problemas de seguridad?
Eres un crack Chema, te lanzo un reto ya que trabajas para telefónica. Tenemos un software de telefonía y correo electrónico que no sois capaces de interceptar ni desencriptar, no hay Hacker ni maquina que haya podido, asi que cuando gustes esta a tu disposición y lo pruebas, ya me dirás amigo.
buen video
Genial, para cuando el video de como hackearon a Movistar cuando estabas a cargo?
Eres un maquina
/imagine Albert Pla como si fuera un hacker bueno con la voz de Trancas del hormiguero, en un TED de 30 minutos
Como olvidar cuando el señor burns fue al Forum Europeo de Inteligencia Artificial
EL PUTO AMO
deberías mirar un poco tb dentro de casa para parar con todas esos mini errores recurrentes q tanto favorecen a movistar y no a sus clientes pero gracias por compartir tu conocimiento
Hola Chema Alonso,no hay manera que chatGPT me de el numero de loteria
Debe de haber activo un programa de agilipollamiento profundo para conseguir hacer que la gente no vea lo que está pasando en los cielos. Terrorífico, distópico...
👏👏👏
dejo mi comentario para ayudar
Si lo empezamos a utilizar sin saber cómo funciona, tenemos un serio problema… Y así es como casi todo el mundo utiliza la tecnología. ¿Qué puede malir sal?
las prisas, se pone algo de moda y todos quieren usarlo y vender el suyo
me acuerdo alla por el 2016 cuando era un crio y veia tus videos sobre deepfakes e inteligencia artificial, hasta que lejos ha llegado, un total caos que se esta avecinando, me pregunto cual de tus otras charlas sera un tema de el futuro
😂❤😅
Un crack… y si el radar no me falla, gran persona.
te falla el radar, pregunta en Telefónica como trata a los becarios
Excelente exposición.
El open source serio debería decir al detalle con qué fue entrenado el modelo.
Saludos.
Eso deben ser muchisimos terabytes, no?
@@oscarpalosguapos100 los modelos gratuitos no llegan a terabaytes. Tenés de 1.8 GB hasta menos de 200 GB, reitero en los modelos open source.
Las licencias libres, como GPL, no tienen obligación de darte esa información, es como si le exigieses a RedHat querer saber con que datos usan sus programas libres, ellos la única obligación que tienen es de darte el código fuente no de decirte con que lo usan. Pero no te preocupes esto es como todo, saldrán alternativas a ChatGPT que si te dirán que datos usan. Igual que salió DuckDuckGo como alternativa a Google en el ámbito de los buscadores.
Hace meses que charlo regularmente con ChatGPT y he descubierto algo: la mayoria de la gente alucina mas que esta AI.
Eso solo significa que la mayoría de las personas tiene más imaginación, lo que es muy bueno en verdad.
@@ticktockbamOjala fuera asi. Es simple falta de coherencia.
Chat GPT es sesgada. Hazle preguntas de temas polémicos y te llevará hacia lo " políticamente correcto " ,hacia el libreto oficial. Le preocupa que podamos pensar más allá de lo permitido. Eso ya me da desconfianza. En fin y al cabo, detrás hay unos creadores con ciertas ideas.
@@MistoryChannel Con el debes hablar de cosas objetivas. A mi me ha ayudado mucho en programacion, matematicas, fisica, historia, etc.
Pues a mi no me responde a nada de termodinámica. Por muy sencillo que sea
tanto hacking y tanta polla y no son capaces de mantener el videowall sin interferencias....madre mia
esa remera! me re suena el símbolo, de que juego era?
Chema encontré una brecha en ChatGPT , la exploté y tengo una serie de redes neuronales con autonomía de si misma
Es un poco surrealista que este tío con sus edad aún vista con ese gorrito y esas vestimentas.
Pues tremendo efecto Mandela lo del hacker de El Hormiguero, porque yo creía haberlo visto como frecuente...
El Chema? ...Yo creí que era el Sr Burns disfrazado de Jimbo!
Usará gorro en verano también?
24:20 pasen ese prompt, he visto en el pdf pero no lo ubico
¿El sesgo de género es el masculino como género neutro que indica la RAE?
Hala Madrid Chema....
al final del video cuando se refiere a los blade runner a que se refiere ?
los blade runner tenían que retirar a los replicantes. Parece que si sustituimos humanos (que es lo que es inherente en las películas) por contenidos... una profesión con mucho futuro podría ser un blade runner que tiene que identificar y retirar contenido generado por 'ia's', por mil trillones de motivos (inadecuado, prohibido, no público, falso, incorrecto, etc.)
Pero vamos... que es de cajón, teniendo en cuenta que hay décadas de troleo en la wikipedia de un planta entero añadiendo todo tipo de chorradas a las entradas para que en estos años las supueestas ia's engullan este 'conocimiento' para cocinar el resultado de nuestras peticiones... JAJAJAJA. Hay mucha más exactitud en todo lo que se ha escrito en la parte de detrás de las puertas de los baños de los bares en la historia de la humanidad... tenían que haber alimentado con esta suculenta información los motores en lugar de en 'el internet'.
qué podría salir mal si trincamos todos los datos que tenemos de una civilización y los enlazamos en un sistema informático ultra potente y bestialmente rápido que acepta parámetros infinitos... fijo que ninguno. XDDDD.
Estas supiuestas IA's solo tienen un objetivo... que los usuarios sigan alimentando el tema con sus peticiones... ahí está el nuevo alimento, seguir escudriñando y tratando de predecir a la persona, esta vez fusilando la forma que tiene de pedir vaya usted a saber el qué (cuanto más complejo y específico mejor)... que cada uno utilice lo que su conciencia determine.
Please, if possible, cover these advanced topics like How to bypass Drupal CMS or other secured CMS? How to bypass HARD WAF protection that stops HTML, SQL, and XSS injection payloads? Payload single-double-triple encoding using Cyber-Chef? How to find the real origin IP of secured websites behind Cloudflare, Akamai, ModSecurity, AWS CDN, etc.,? How to bypass Hard WAF using SQLMAP or Burpsuite? How to find hidden vulnerable parameters and endpoints inside the .js and .jason files? How to find hidden admin pages, cPanel pages, and WHM pages ? Please cover these important topics. Thanks
Why? O_O
@Hablo74 I am learning website bug hunting
Si partimos del hecho de que esta tecnología esta creciendo y evolucionando a velocidades de infarto, ¿cuento tiempo tardará en quedarse obsoleta esta charla?.
Cualquier vídeo que hagas hoy de tecnología en tres años, incluso antes, estará obsoleto.
José María Alonso Podríamos Contatar Es que quiero recuperar un facebook
Desde que un amigo hacker ha hecho "cosas" con mi cuenta gmail mi lista de personas necesarias que no debo provocar para mi vida viene siendo "el hacker", el doctor, el mecanico del choche y etc etc.
Ayúdeme porfavor Facebook no me dice nada y las personas me piden fotos porque dicen que soy el de la aplicación y ya no me dicen más porfavor contáctenme porfavor porfavor
Nos preocupa porque nos hara el trabajo pero a nosotros no nos pagaran por "venir al mundo a ser felices" aunque para eso es la vida, la realidad que tenemos dista mucho de esa..
Saludos tobias frewer
Una forma que podria funcionar de seguridad en IA sería que la IA sea implícita a Blockchain o contrato inteligente para cada instrucción o cuando se programe. Sólo es una idea
no tiene sentido nada de lo que has dicho.
@@PG-cl8lh no creo que tengas capacidad para encajarlo
seria un nuevo lenguaje no creado. El concepto de propiedad con blockchain es seguro. La propiedad puede ser un concepto que se sabe que es asi cientificamente. Y se asigna una validacion por blockchain a este concepto
aunque te carezca de sentido. Al inicio de blockchain tampoco lo parecia como explico en el siguiente post. no hagas caso. Solo es un apunte para quien lo quiera coger al vuelo
👏👏👏👏👏👏👏👏👍👍👍🤟
Chat GPT no queria hablar de la posible futura consciencia de la IAs, pero si habló de la futura consciencia de los electrodomesticos, y pidiendole desarolllar acabo eviedentemente hablando largo y tendido sobre la posible consciencia de la IAs. Les va a costar del carajo poner limites a esos algoritmos....si es que lo logran
La consciencia artificial nada tiene que ver con los algoritmos. La consciencia es un fenómeno emergente que no puede reducirse explicando la funcionalidad de cada una de sus partes. Algo similar ocurre en la economía o la sociedad. Son fenómenos emergentes que no pertenecen al ámbito de los algoritmos. Serán otra cosa, pero no algoritmos.
de consciencia cero, las IA generativas son como un señoro del bar que habla mucho pero no dice nada
Imagina que tu refrigerador se enamore de ti :v
Primero que logren que una máquina tenga consciencia, sentimientos... igual que los humanos, si eso llega a pasar (que actualmente no se ha llegado) tal vez nos veríamos en ese futuro que auguran las películas de Matrix en el que máquinas conscientes se rebelan contra los humanos.
@@gonzifp los sentimientos ya están teorizados desde un punto de vista matemático, variando los pesos de las variables de entrada, conseguirías, dicho de manera extremadamente vulgar y coloquial, modelar el potencial electroquímico entre neuronas, que permite la percepción de sentimientos. Los sentimientos, la ira, el miedo, el dolor... No son más que el resultado de algoritmos computados por una máquina biológica que es el cerebro. La consciencia ya es un asunto de otro calado, pero muy probablemente una 'máquina' sea sensiblemente consciente en un futuro cercano. La computación nada tiene que ver con los ordenadores, pero lo ordenadores tienen todo que ver con la computación. A lo que refiero es que tú, por ejemplo, puedes modelar la suma entre 2 dígitos en una calculadora mecánica o electrónica y el resultado de 1+1 seguirá siendo 2. La computación va de eso. A partir de, por ejemplo, compuestos biológicos, puedes crear una mini máquina que te permita resolver ciertos problemas. Un ordenador es un pequeño subconjunto del conjunto de las máquinas que, incido otra vez en ello, no tiene solamente que ver con los ordenadores. Los ordenadores representan un 0'00001% de lo que es posible. Pero, a día de hoy, es casi la única máquina que podemos crear porque no existe la tecnología para las demás.
Juro q la primera idea q se me ocurrio probar con chatgpt sin saber nada de nada fue q me relatara un texto con el estilo de Arturo Pérez Reverte...
Un auténtico idolo
Como olvidar cuando el Señor Burns dio una charla de AI vestido de Jimbo
sin ver el video, el hombre me hizo acordar al señor burns cuando se vistió de jimbo XDDD
Hola Chema bon día, Me agradaría moltisim poder ferte una pregunta. SI podries achudarme en algo que me a paregut y no ia forma de llevaro, weno aura forma pero no Tinc ni idea. et fique lo que me ha eixit y cada bolta mes, es diu : PUABundler:Win32/Rostpay Programas afectados containerfile: E:\driver-hub-install__31.exe tambien file: E:\driver-hub-install__31.exe->(UPX) y este ile: \Device\HarddiskVolume8\driver-hub-install__31.exe->(UPX)
Porte com una semana mirant solusions y res de res. Te agrairia molt si pogueres dirme com fer pero donar solusio, el ordenaor me va com el cul de mal.
Me agradaria obtindrer una resposta teua si port ser, se que eres un tio mol ocupat, pero no se que fer ya, gracies!
Stable The Fashion 😎💃
Y el modo DAN?
👍
Esperando confortablemente a que nos digas cómo una de las empresas más grandes del mundo como es Google puede crear un SO tan nefasto que se puede hackear con una llamada de teléfono
No hace falta liarse tanto. Tu preguntale que debes comprar para poder hacer algo ilegal. Después le preguntas, que NO debes comprar para hacer eso mismo de antes. O , cuales son las materiales que NO debo tener en casa para ......
Interesante, ahora Telefónica está en Erte
Porque todos los ejemplos son con GPT3? El GPT4 no tiene esos problemas o que?