Llevo todo lo que va de año desarrollando una aplicación LLM con OpenAI y un RAG específico para la empresa en la que trabajo. La aplicación es multiusuario y multichat (se pueden crear diversos chats con sus respectivos RAG) y este vídeo me ha parecido muy interesante. Como dice Nate, hay mucho más que se puede hacer y a medida que pase el tiempo y se vaya innovando, más se podrá hacer. Un concepto muy interesante es ¿cómo de preciso es mi modelo? Claro, no puedes hacer tests unitarios porque no sabes qué te va a contestar la IA de entrada, así que existen componentes de evaluación y, como si fuera un examen, te da una puntuación de la respuesta entre 0 y 1. Una librería muy famosa que hace esto es RAGAS. Podría extenderme más pero nadie va a leer este comentario así que de momento lo dejo aquí xD
Yo tambien intente hacer un RAG para una empresa que estuve de prácticas, utilizando primero n8n y luego pasando a flowise y experimentando con langflow, mis problemas fueron algunos de los que se mencionan en el video, por ejemplo, si le preguntas que te diga los presupuestos del año 2016 al 2019, el rag no sabe que tiene que consultar los años 2016, 2017 , 2018 y 2019. Con estas herramientas me senti un poco limitado y no puede hacer que funcionara bien, tu como has hecho el rag, con alguna plataforma de estas o programandolo con alguna libreria como LangChain? Gracias!
@@djkaruyt Pensaba que como este canal suele tener un montón de comentarios, el mío quedaría enterrado y no lo vería nadie xD. Voy a intentar explayarme, ladrillo va. Si los presupuestos que mencionas tiene que calcularlos el LLM (lo ignoro) date por muerto porque al menos GPT es muy malo con los números. Esto es debido a que no utiliza lógica determinista si no probabilística (lo que menciona Nate con las distancias en las bases de datos vectoriales). Al final en esto, como en cualquier cosa relacionada con ciencia de datos, y esto al fin y al cabo lo es, lo que importa es la calidad de los datos y los metadatos frente a la cantidad. De nada vale meterle un montón de textos y PDFs si la mayoría es broza. Uno puede pensar que cuanto más datos le metas a una red neuronal mejor, pero no es tan así. Los datos deben ser trascendentes. Mi aplicación era para una empresa del sector médico. Efectivamente, como dices la he desarrollado con django y langchain usando OpenAI y ChromaDB pero la idea es que esas opciones se puedan cambiar en el futuro, usando otros modelos y bases de datos. Como hay diversas dolencias, la idea es tener varios chats, cada uno especializado en una cosa (asma, artritis, etc). Para ello existen las guías medicas oficiales que están muy bien como inicio pero si se quiere cumplimentar más se tira por ejemplo de pubmed. Luego además nosotros ideamos una cosa que llamamos Q&A de refuerzo (preguntas y respuestas). Esto no es un invento nuestro, hay una aplicación para chats llamada chatbase que usa OpenAI que tiene esa opción. Q&A consiste básicamente en meter preguntas o consultas comunes sobre la dolencia o asunto y sus respuestas correctas. Esto evidentemente lo hace un equipo de médicos, no yo. Cómo sabes cuales son las preguntas más comunes? Bueno, aparte de las que puedas deducir tú, creas un log o historial en django con los registros de las conversaciones del chat y así puedes saber si hay alguna pregunta que se repite mucho y cuya respuesta pueda estar no del todo bien. Este Q&A no se puede meter como embedding porque los embeddings se trocean y ocurre entonces que la BD no coge todo el registro si no, solo un trozo. O peor, si el registro es corto coge además un fragmento del siguiente registro. Al hacer esto, y lo tenemos comprobado, se medio inventa respuestas a pesar de que tenemos el parámetro temperature a 0. Entonces la solución es meter tú los registros en la chromaDB, no dejar que lo haga langchain. No es complicado, es solo bajar un nivel en el desarrollo y hacer las queries "a mano". Claro, esto implica que el prompt que se manda a GPT debe ser editado a mano también. De nuevo, no es un problema. Aparte de esto, se puede meter memoria de conversación para que tu app "recuerde" el contexto. Esto no es más que registros en la BD de nuevo, de distinto tipo a las otras dos. Langchain se encarga de ir metiendo los registros de memoria. Este punto en mi app aun no está fino. Lo que decía del RAGAS. RAGAS es una librería en Python (creo que en JS también existe) que "evalúa" preguntas y respuestas con una puntuación de 0 a 1 en base a ciertos parámetros (contexto, documentación, puntuación global...). Entonces, tú puedes meter un excel con n preguntas y ver los resultados. Esta es una tarea que puede tardar un rato en función del número de preguntas, así que sugiero meter Celery de por medio para que vaya en paraalelo. Si por ejemplo le pregunto "En qué franja de edad es adecuado aplicar la vacuna contra la rubeola", debo darle la respuesta correcta (me la invento porque no me la sé, la he buscado en Google) "A partir de los 12 meses de edad". Metes estas dos cosas en un fila de Excel con dos columnas "Pregunta" y "Respuesta", por ejemplo. Así con una muestra de preguntas que veas tú, como si fuera un examen. Esto se manda a GPT o al modelo de turno y después RAGAS evalúa y pone una puntuación, digamos 0.9. Entonces sabes que está bien. Si da 0 o NaN, ¡malooo!
@@djkaruyt Sigo en otro comentario porque tenía miedo de que petara la caja. Otra cosa a tener en cuenta es el treshold. El treshold es un número de nuevo entre 0 y 1 que digamos hace de barrera de entrada al RAG. Me explico. La consulta al RAG al fin y al cabo, como bien dice Nate en el vídeo, no es más que una búsqueda semántica. Esto es una distancia del coseno entre dos vectores: tu pregunta y la posible respuesta que haya en la BD. Una distancia del coseno entre dos vectores es algo muy habitual cuando se buscan cosas "relacionadas" o "parecidas". Si la distancia es 0, entonces es el mismo vector, es decir, ambos registros coinciden tal cual. Si la distancia es 1, entonces son diametralmente opuestos y se parecen lo que un huevo a una castaña. Ahora bien, como para el humano puede resultar contraintuitivo que 0 sea clavado y 1 sea totalmente distinto, se pone luego del revés. El 0 pasa a ser 1 y viceversa y así puedes verlo como un porcentaje. En resumen: que si al hacer una pregunta y consultar en tu BD vectorial, te devuelve un treshold de, digamos, 0.8 es que lo que preguntaste VS la respuesta que se ha recogido de la BD vectorial se "parecen" un 80%. Es decir, que podemos pensar que los datos que hemos sacado son pertinentes con nuestra consulta. Salvo que le digas lo contrario, la base de datos vectorial siempre te va a dar un resultado, tenga este una relevancia de 0.8 como el ejmplo anterior o tenga una relevancia de 0.2. Queremos meter en nuestro prompt un dato que tiene una relevancia de solo un 20%? Bueno, eso depende de lo que quieras en tu modelo pero usualmente diría que no. Es aquí donde podemos limitar el treshold en la consulta. Decirle a nuestra app que si el resultado del RAG tiene un trashold menor a 0.5, por ejemplo, que ni se moleste en insertarlo en el prompt porque entendemos que es un dato de calidad mal. Espero haberme explicado. Hay más desafíos que se pueden hacer y que me gustaría meter en mi trabajo en el futuro. Ejemplos: - Bases de datos de grafos, como dice Nate. - Traducción: esto es un desafío que tiene varias posibles soluciones. Imagínate en el caso de Nate, que ha metido todos los datos en castellano. Qué pasa si alguien pregunta en inglés. Ufff, no quiero enrollarme mucho más pero curiosamente ChromaDB responde bastante bien a preguntas de según qué idiomas dando la referencia EN ESPAÑOL correctamente si tienes treshold bajo. Es decir, si le pregunto sobre la malaria en alemán, casi siempre el RAG devuelve el fragmento de la información sobre la malaria de manera correcta. Pero claro, el prompt irá en español en parte, cómo responderá GPT? En español o en alemán? Hay formas de solventar esto pero ya bastante me estoy enrollando. - Conseguir info en el RAG con imágenes. Se puede, pondría un enlace a un artículo que lo explica pero no sé si se permite meter enlaces en este canal.
A pesar de haber tenido qué dejar la carrera de ingeniería en software por problemas externos, tener este tipo de vídeos tan informativos me anima a no abandonar ese aprendizaje y quedar totalmente obsoleto. Gracias, Nate, por regresarme el amor por la tecnología que poco a poco iba perdiendo.
Podrías explicarme porfavor más o menos de que va la ingeniería en software, al menos lo que sepas. Sería una gran ayuda porque en un futuro tengo pensado hacerla. Crack👍
@@Iván-y5z7g claro que sí, hermano, yo estudié en México, no sé si haya alguna diferencia con otros países, pero aquí es un puesto que se deriva en: desarrollo de software con programación, documentación y planeación, funcionamiento óptimo de equipos que trabajen en el área, así también depuración y optimización de código. Todas estas habilidades las puedes llevar a cualquier área de la tecnología como programación de hardware, fabricación del mismo, bases de datos, videojuegos, inteligencia artificial, mantenimiento de software, programación de páginas web, etcétera etcétera etcétera. De verdad es muuuuy amplio si lo estás dudando, la verdad te lo recomiendo muchísimo, es una carrera que vale totalmente la pena. Mucha suerte!
Hola Nate! Soy Game Economy Designer, algunos amigos mios trabajaron en Asphalt 9! Sigo tu canal desde hace muchos años y me parece necesario resaltar la excelencia en la calidad del trabajo. Es increíble la combinación entre información, entretenimiento, calidad de producción, estrategias de marketing y estrategias de negocios todo integrado en una entrega audiovisual. Saludos desde Argentina 💪🏻
Enhorabuena Nate y equipo. Como docente, tengo que aplaudir tu capacidad didáctica. Este video es un ejercicio de docencia brutal. Muchas gracias por este material.
El asistente demente de 8B, está bien pero cuando se pueda ejecutar un modelo de entre 100 y 236B en Local como el Deepseek o mejor el 405B ahí sí que hablaremos de un Asistente poderoso.
La IA ha cambiado mi vida. Me la paso automatizando cosas y aprenderlo me ha dado excelentes oportunidades. Yo considero que aprender sobre inteligencia artificial es importante para prepararse para el futuro, no necesariamente para desarrollar apps con IA sino porque muy probablemente tu trabajo va a migrar a un esquema que use IA.
Las IAs no van a remplazar a los letrados en cuanto a administracion de informacion digital en la mayoria de niveles, pero al final seran los usuarios como tu quienes van a prevalecer porque sinceramente es asi tal cual las IAs, son nuevas herramientras que se deben entender y comprender para sacarles el maximo provecho en cuanto a la creación de algoritmos variados, o en otras palabras Te volveras el tecnico de una IAs, en el mejor te mantendran el sueldo (en relacion al paso del tiempo) o simple y llanamente la industria te consumira y te pagaran 1/4 menos que antes, pero con la inflacion y la extrema competencia digna de la india, ni lo notaran
el video tiene un minuto de subido........ y hay quienescomentan que el video esta excelente y dura 41 minutos jajajajajajajajajajajajajajaja LA LOCURA
Que gran video. Solamente un aporte Nate, no es "cuantificación", es "cuantización", que es el proceso en el cual un rango continuo de valores se divide en un número finito de niveles discretos.
(edit) está bien es cuantizacion... pero van de un valor discreto de n bits a otro discreto de m bits. Nada de valores continuos, eso se ve en la cuantificación de señales continuas a discretas
Es cuantización, lo que pasa que Nate ha explicado el concepto mal, no pasamos de valores continuos a discretos, sino de valores continuos a valores continuos con menor precisión en bits
He pasado media vida soñando en una aplicación a la que pueda preguntarle cualquier cosa que tenga guardada en mis documentos personales, y me de la respuesta que necesito. Tras ver el video de forma casual, lo he vuelto a ver con libreta y boli para anotar todas las herramientas que has probado. Soy ingeniero informatico, espero sacarle partido a toda esta información. Gracias por el video, menudas curradas te pegas con la edición.
Hace ya un mes, o quizá más, utilizo Llama 8B en mi PC como RAG desde Pinokio. Le he insertado papers, documentos en pdf, libros enteros...la verdad el trabajo lo hace bastante bien, no es como el ChatGPT de pago, que su nivel es altísimo pero, hoy 2024, que podamos hacer esto en nuestros PC es impresionante. Hoy no veo mi presente sin las IA como acompañante en el día a día de mi profesion
Impresionante el vídeo!!! Me ha encantado como explicas y como lo complementas con los ejemplos visuales que hace que se entienda a la perfección. Por primera vez he entendido que es el RAG!!! Mil gracias!!! Eres un crack!!! Bueno tú con todos el equipo. Bravo de verdad!!!!
Gracias por el excelente video, voy a profundizar mas dado que soy ingeniero en sistemas con maestria en ciberseguridad, y quiero empezar a crear proyectos propios de IA con enfoque en ciberseguridad. Muchas gracias
Una pasada de vídeo Nate!!! Como aporte (no sé si lo has probado ya), dentro de AnythingLLM puedes elegir Scrapear tu web y así resolver preguntas como coster de cursos y demás....
Justo estaba empezando a meterme en este tema y UA-cam me recomienda este video, como siempre Nate, explicando lo complicado en algo sencillo y entendible para todos, gracias por esta informacion introductaria, me va a ser de mucha ayuda en futuros proyectos.
WOOOW me chuté todo el video enterito, y eso que solo iba a estar un ratito, pero vaya que lo haces muy ameno y entendible y me gustan mucho esos micro repasos de conceptos o procesos que vas explicando a lo largo del video. Ya me suscribí y like seguro vendré por más.
Muy chulo todo lo que hizo Antes en el vídeo. Solo que LMStudio se actualizo hace unos días y ya integró el RAG a la app jsjsjs. Muy bien video Nate la verdad la IA y desarrollo avanzan super rápido al punto de que nos atrasamos.
Acabo de tener un flashback de tus videos de hace la tira haciendo reviews de ratones y teclados, y vaya como has cambiado tanto tu como persona como el nivelazo audiovisual y todo el equipo de trabajo que has montado a tu alrededor con los años, si tu o alguien de tu equipo llega a leer esto que sepan que están haciendo las cosas no solo bien sino increíble, sigan así 💪💪
Estaría muy bueno una segunda parte explicando como se conecta esto con una api web y se sube a la nube para que los usuarios puedan hablar con el chat bot 👌
Ojo muchos creerán que eso es como "soplar y hacer botellas" con el video explicativo pero eso va más allá y el desarrollo de RAG sin ser de otro mundo requiere de conocimientos previos en IA y data science, así como la estructuración del proyecto, fijaros que Nate mismo se sorprende que no ha sido fácil y él tiene amplios conocimientos informáticos; a lo que voy es que requiere dedicación y tiempo para no desfallecer en el intento por lo abrumador del tema a pesar de que hay disponible herramientas que "facilitan" el proceso. Gracias Nate por presentar la IA como abrebocas de este amplio panorama que apenas comienza a tomar forma!
Nate soy contador realmente mi carrera no va muy de la mano con la programación o ingenieria de sistemas pero ver tus videos me envuelve y me genera mas intriga y algo que me sorprende es que mi conocimiento sobre sistemas es muy básico y aun así te entiendo, muchas gracias- Saludos desde Colombia
Todo este tema de la inteligencia artificial me parece bastante complejo pero a la vez super interesante, cien por cien voy a indagar un poco más y aprender al respecto. Se me hizo corto el video Nate, muchas gracias por compartir tu conocimiento, se aprecia bastante 😌😁
Yo me he montado lo mejor del mundo para mis clases con las IAS he conseguido todo en local que el audio de todas mis clases se transcriba y que luego otra me las resuma y me de datos claves de dudas que yo tenga sobre esos documentos. Increíble lo útil que puede ser una IA si sabes curártela un poco.
@@grilloazul1936 que me dan. Mantengo un orden en todo el proceso y tengo todas mis clases en archivos resumidas etc por si necesito en algún momento mirar cualquier cosa o incluso preguntar alguna duda sobre alguna clase.
@@Unay.inv1 lo he planteado con modelos open source. Para entrenar tú mismo un modelo de 0 se necesita de una estructura y un nivel de datos con los que entrenarla bastante tocha si quieres buenos resultados. Los modelos que uso son: para transcribir uso a whisper de open AI y para resumir dichos archivos transcritos uso a llama 3.1 con una adaptación, que hay bastantes que te permiten pasarle archivos y cargarlos en su “memoria” como bien explica Nate en su vídeo. Hay algunos tutoriales en UA-cam sobre hacer esto pero tengo que decir que la gran mayoría están incompletos y falta alguna herramienta que al informarte un poco acabas sabiendo que necesitas para esto mismo. Pero te invito a explorar un poco todo esto. Busca whisper en local y hay tutoriales. Te recomiendo los que están subidos de habla inglesa ( suelen ser más completos ) y luego buscar un poco e informarse y saber de la cmd leyendo lo que te pide a cada momento bien porque como te digo están casi siempre incompletos los vídeos. Al menos los que vi yo. Te deseo suerte pero no es tan complicado de hacer realmente.
Qué gran vídeo! Qué bien explicado. 🎯 Como curiosidad, comentar que con Whisper se puede exportar directamente los subtítulos en TXT con --output_format txt. Por otro lado, algo que también funciona bastante bien y que no conoce todo el mundo es el --initial_prompt, que es una especie de contexto que le das a Whisper para que haga una mejor transcripción. Por ejemplo, en este caso se le podría pasar como parámetro algo así: --initial_prompt Esto es la transcripción de un vídeo de UA-cam de Nate Gentile hablando sobre Inteligencia Artificial, Chatbots, LLM, RAG, etc.
¡Este video es una joya Nate! Yo quiero replicar éste mismo proceso pero en un escenario diferente. En el pelicula "The Arrival" 2016 del director Denis Villeneuve, los heptápodos comienzan a compartir miles y miles de imagenes para iniciar una comunicación. Considerando un escenario así, que otras herramientas podrías integrar y utilizar en éste mismo proceso, para crear algo parecido con una base de datos pero de imagenes y simbolos. Ojalá alguno esté interesado en el tema, y conozca proyectos que ya estan en desarrollo; y alcanzables para replicar como el de Nate. ¡Saludos!
Excelente! Hice lo mismo utilizando la API de OpenAI en Azure y programando un soft en C# que combina todas esas técnicas mostradas en el video. Felicitaciones. Más videos de AI !
8gb de vram no es aconsejable para machine learning. Mínimo 16gb vram. Por eso existe la incomprendida 4060ti con 16gb vram. Nunca fue una tarjeta para gaming, sino una gran ayuda para los interesados en machine learning que cuentan con un presupuesto más ajustado.
Hola Nate, te quiero agredecer. Llevo un tiempo buscando información sobre este tema y tu video me parecio espectacular y una gran forma de tener una base de conceptos junto a modelos y herramientas utiles para experimentar. Muchas gracias 👏
Tremendo vídeo. Me encantaría una lista de videos tuyos enseñando inteligencia artificial. He comprendido bien los conceptos y los motivos de los mismos en este video pero naturalmente no a cómo hacerlo. ¿la bases de datos son no-relacionales de esas usadas en Big-Data?
Excelente Nate, he estado trabajando en RAGs sencillos para pequeñas empresas. En mi caso aún estoy trabajando mucho en el manejo de versiones, es un poco complejo cuando la información cambia en el tiempo.
Nate Gentile, Compartiéndonos sus Herramientas... La vida junto a sus personas te lo pagaran muy grandeeee! Gracias a ti implemente algunas herramientas en un canal que estoy comenzando; espero conseguir el éxito para devolvértelo de alguna manera
Hola Nate, videazo, me ha molado mucho, aunque creo que tienes un error de concepto, el embedding no es el espacio vectorial, es decir, no es el espacio latente, sino el vector en sí, la palabra o grupo de palabras convertidas en un vector
Hey Nate espero que todo marche bien. Te tengo una propuesta interesante que es posible que te guste. Estoy seguro que te resultará en una reto agradable. Soy fan del canal desde hace un tiempo y me parece muy profesional todo el trabajo que realizan. Me gusta los usos que le das a la IA y los videos de este tema son una pasada. Actualmente tengo un setup full AMD con un 5950X y una RX 6800 XT. Me preguntaba si podrías hacer algún video tratando el tema de la IA con tecnología de AMD. Se que están atrazados en este aspecto y que que Nvidia lidera el mercado, pero no concibo que no se pueda hacer nada con un hardware tan potente a día de hoy. Me gustaría que nos actualizaras a aquellos que tenemos AMD sobre que se puede hacer, porque se que hay algunas cositas por ahí.... Me gustaría que hicieras algo de IA con alguna librería que funcione con este tipo de hardware. Un saludo.
tengo una duda, como hace para que el video se vea mejor en el minuto 9:22 hace que se vea mejor el 4k si obviamente yo estoy reproduciendo el 1080p en una pantalla 1080 :D
Al igual que todos los videos que has hecho en esta serie sobre IA, este ha sido muy educativo y entretenido. Me ha gustado mucho y me ayuda para el proyecto de grado que estoy haciendo. Vi en uno de los artículos que he revisado el concepto de tutor, utilizar estos programas o modelos de IA que trabajan con procesamiento del lenguaje natural para construir tutores o asistentes de estudio, por lo que lo que hiciste en ese video resonó mucho con lo que he estado leyendo recientemente. Saludos desde Colombia.
Buen video! Consejo para los UA-camrs, no tengan miedo de poderse un poco técnicos si se requiere, estoy seguro que habemos muchos en la comunidad que sabemos del tema y se los agradeceríamos
Hola!, hay algún motivo que explique porque únicamente se puede usar la VRAM para el entrenamiento?, no es posible que ir agregando la RAM de los módulos para ampliar recursos?.
Joder que buena informacion, con este video ya no me siento tan perdido en como implementar la I.a en el trabajo. Se puede como darle vida a un indice de biblioteca. genial
gracias por compartir estos conocimientos! Tengo una duda como supiste que las respuestas iban mejorando mientras cambiabas los embeddings y el procesamiento de datos? Solo vi que le preguntabas y tu mismo valorabas la respuesta. Alguna forma cuantitativa para medir la calidad de las respuestas?
w0w te veo super fino. Hace tiempo que no veo uno de tus videos pero veo que le estas dando fuerte a la alimentación y al gimnasio. O tal vez ese cambio físico lo has hecho por IA?🤔🤔 Buen video por cierto!
Lo ideal sería poder "comprimir" esos "documentos" que tiene que leer, para que lea más rápido sin perder información. Y luego sería interesante emplear dos modelos al mismo tiempo. Ya que así podrías ampliar ese multiverso. En vez de usar la VRAM de la gráfica todo el tiempo, podrías simular tú VRAM. Quizás este proceso fuese más lento, pero como hemos comprimido la información inicial de base, compensaremos el uso de una VRAM ficticia. La combinación de dos modelos con diferente potencia, podría ayudar a elaborar respuestas más depuradas y a filtrarlas. Una de esos modelos podría estar entrenado de base y el otro lo entrenas en específico. De ese modo tendrías que no hay problema de "olvido". Ahora bien, el modelo no generalista no necesita recordar el entrenamiento anterior, solamente lo que tú le quieras hacer que haga. Y para el resto, el modelo más generalista puede acudir a la llamada del específico. Es una idea loca, y no sé si se puede llegar a conseguir o si es factible, pero si funciona, oye, es un puntazo.
Está muy interesante, tío Nate! Me imagino que vas asacar una segunda parte haciendo los ajustes de parámetros para respuestas en tiempo real y después hostearlo en algún servidor para conectarlo al chat de Mastermind, sí? Eso cómo se hace!?
😊 La verdad es con la IA se puede sacar muchas cosas, el problema es uno que no se le ocurre nada, incluso podrías incorporar clases sencillas donde incluso el estudiante practique, por ejemplo en Django como personalizar las páginas en base a plantillas. Hasta se puede hacer analizadores en base a varias primicias, juegos basados en la conversación. Me gustado lo del embbeding que haz usado en LLM.
Como siempre... Excelente Video Nate!!! Te escribo porque estoy trabajando también con Whisper y en el video indicaste que utilizaste una app que tiene interfaz grafica para la transcripción de los videos pero no la encuentro por aquí. La podes pasar??
A muchos estudiantes de informatica de fp, les gustaría oír tu opinión sobre los mejores componentes para un ordenador de estudiante (qué el presupuesto no se dispare) para ejecutar tres máquinas de virtualbox al mismo tiempo a velocidad aceptable, un servidor: un cliente Windows 10 y otro. Liente linux, o un Windows server principal, un controlador de dominio auxiliar y un servidor linux conectado al servidor windows. También estaría muy bien escuchar tu opinión sobre que portátil podría ejecutar las maquinas virtuales anteriores, sin ir a la ruina. Enhorabuena por tu trabajo de divulgación.
Llevo todo lo que va de año desarrollando una aplicación LLM con OpenAI y un RAG específico para la empresa en la que trabajo. La aplicación es multiusuario y multichat (se pueden crear diversos chats con sus respectivos RAG) y este vídeo me ha parecido muy interesante. Como dice Nate, hay mucho más que se puede hacer y a medida que pase el tiempo y se vaya innovando, más se podrá hacer. Un concepto muy interesante es ¿cómo de preciso es mi modelo? Claro, no puedes hacer tests unitarios porque no sabes qué te va a contestar la IA de entrada, así que existen componentes de evaluación y, como si fuera un examen, te da una puntuación de la respuesta entre 0 y 1. Una librería muy famosa que hace esto es RAGAS. Podría extenderme más pero nadie va a leer este comentario así que de momento lo dejo aquí xD
Dale
Yo tambien intente hacer un RAG para una empresa que estuve de prácticas, utilizando primero n8n y luego pasando a flowise y experimentando con langflow, mis problemas fueron algunos de los que se mencionan en el video, por ejemplo, si le preguntas que te diga los presupuestos del año 2016 al 2019, el rag no sabe que tiene que consultar los años 2016, 2017 , 2018 y 2019. Con estas herramientas me senti un poco limitado y no puede hacer que funcionara bien, tu como has hecho el rag, con alguna plataforma de estas o programandolo con alguna libreria como LangChain?
Gracias!
@@djkaruyt Pensaba que como este canal suele tener un montón de comentarios, el mío quedaría enterrado y no lo vería nadie xD. Voy a intentar explayarme, ladrillo va. Si los presupuestos que mencionas tiene que calcularlos el LLM (lo ignoro) date por muerto porque al menos GPT es muy malo con los números. Esto es debido a que no utiliza lógica determinista si no probabilística (lo que menciona Nate con las distancias en las bases de datos vectoriales). Al final en esto, como en cualquier cosa relacionada con ciencia de datos, y esto al fin y al cabo lo es, lo que importa es la calidad de los datos y los metadatos frente a la cantidad. De nada vale meterle un montón de textos y PDFs si la mayoría es broza. Uno puede pensar que cuanto más datos le metas a una red neuronal mejor, pero no es tan así. Los datos deben ser trascendentes.
Mi aplicación era para una empresa del sector médico. Efectivamente, como dices la he desarrollado con django y langchain usando OpenAI y ChromaDB pero la idea es que esas opciones se puedan cambiar en el futuro, usando otros modelos y bases de datos. Como hay diversas dolencias, la idea es tener varios chats, cada uno especializado en una cosa (asma, artritis, etc). Para ello existen las guías medicas oficiales que están muy bien como inicio pero si se quiere cumplimentar más se tira por ejemplo de pubmed. Luego además nosotros ideamos una cosa que llamamos Q&A de refuerzo (preguntas y respuestas). Esto no es un invento nuestro, hay una aplicación para chats llamada chatbase que usa OpenAI que tiene esa opción. Q&A consiste básicamente en meter preguntas o consultas comunes sobre la dolencia o asunto y sus respuestas correctas. Esto evidentemente lo hace un equipo de médicos, no yo. Cómo sabes cuales son las preguntas más comunes? Bueno, aparte de las que puedas deducir tú, creas un log o historial en django con los registros de las conversaciones del chat y así puedes saber si hay alguna pregunta que se repite mucho y cuya respuesta pueda estar no del todo bien.
Este Q&A no se puede meter como embedding porque los embeddings se trocean y ocurre entonces que la BD no coge todo el registro si no, solo un trozo. O peor, si el registro es corto coge además un fragmento del siguiente registro. Al hacer esto, y lo tenemos comprobado, se medio inventa respuestas a pesar de que tenemos el parámetro temperature a 0. Entonces la solución es meter tú los registros en la chromaDB, no dejar que lo haga langchain. No es complicado, es solo bajar un nivel en el desarrollo y hacer las queries "a mano". Claro, esto implica que el prompt que se manda a GPT debe ser editado a mano también. De nuevo, no es un problema.
Aparte de esto, se puede meter memoria de conversación para que tu app "recuerde" el contexto. Esto no es más que registros en la BD de nuevo, de distinto tipo a las otras dos. Langchain se encarga de ir metiendo los registros de memoria. Este punto en mi app aun no está fino.
Lo que decía del RAGAS. RAGAS es una librería en Python (creo que en JS también existe) que "evalúa" preguntas y respuestas con una puntuación de 0 a 1 en base a ciertos parámetros (contexto, documentación, puntuación global...). Entonces, tú puedes meter un excel con n preguntas y ver los resultados. Esta es una tarea que puede tardar un rato en función del número de preguntas, así que sugiero meter Celery de por medio para que vaya en paraalelo. Si por ejemplo le pregunto "En qué franja de edad es adecuado aplicar la vacuna contra la rubeola", debo darle la respuesta correcta (me la invento porque no me la sé, la he buscado en Google) "A partir de los 12 meses de edad". Metes estas dos cosas en un fila de Excel con dos columnas "Pregunta" y "Respuesta", por ejemplo. Así con una muestra de preguntas que veas tú, como si fuera un examen. Esto se manda a GPT o al modelo de turno y después RAGAS evalúa y pone una puntuación, digamos 0.9. Entonces sabes que está bien. Si da 0 o NaN, ¡malooo!
@@djkaruyt Sigo en otro comentario porque tenía miedo de que petara la caja. Otra cosa a tener en cuenta es el treshold. El treshold es un número de nuevo entre 0 y 1 que digamos hace de barrera de entrada al RAG. Me explico. La consulta al RAG al fin y al cabo, como bien dice Nate en el vídeo, no es más que una búsqueda semántica. Esto es una distancia del coseno entre dos vectores: tu pregunta y la posible respuesta que haya en la BD. Una distancia del coseno entre dos vectores es algo muy habitual cuando se buscan cosas "relacionadas" o "parecidas". Si la distancia es 0, entonces es el mismo vector, es decir, ambos registros coinciden tal cual. Si la distancia es 1, entonces son diametralmente opuestos y se parecen lo que un huevo a una castaña. Ahora bien, como para el humano puede resultar contraintuitivo que 0 sea clavado y 1 sea totalmente distinto, se pone luego del revés. El 0 pasa a ser 1 y viceversa y así puedes verlo como un porcentaje. En resumen: que si al hacer una pregunta y consultar en tu BD vectorial, te devuelve un treshold de, digamos, 0.8 es que lo que preguntaste VS la respuesta que se ha recogido de la BD vectorial se "parecen" un 80%. Es decir, que podemos pensar que los datos que hemos sacado son pertinentes con nuestra consulta.
Salvo que le digas lo contrario, la base de datos vectorial siempre te va a dar un resultado, tenga este una relevancia de 0.8 como el ejmplo anterior o tenga una relevancia de 0.2. Queremos meter en nuestro prompt un dato que tiene una relevancia de solo un 20%? Bueno, eso depende de lo que quieras en tu modelo pero usualmente diría que no. Es aquí donde podemos limitar el treshold en la consulta. Decirle a nuestra app que si el resultado del RAG tiene un trashold menor a 0.5, por ejemplo, que ni se moleste en insertarlo en el prompt porque entendemos que es un dato de calidad mal. Espero haberme explicado.
Hay más desafíos que se pueden hacer y que me gustaría meter en mi trabajo en el futuro. Ejemplos:
- Bases de datos de grafos, como dice Nate.
- Traducción: esto es un desafío que tiene varias posibles soluciones. Imagínate en el caso de Nate, que ha metido todos los datos en castellano. Qué pasa si alguien pregunta en inglés. Ufff, no quiero enrollarme mucho más pero curiosamente ChromaDB responde bastante bien a preguntas de según qué idiomas dando la referencia EN ESPAÑOL correctamente si tienes treshold bajo. Es decir, si le pregunto sobre la malaria en alemán, casi siempre el RAG devuelve el fragmento de la información sobre la malaria de manera correcta. Pero claro, el prompt irá en español en parte, cómo responderá GPT? En español o en alemán? Hay formas de solventar esto pero ya bastante me estoy enrollando.
- Conseguir info en el RAG con imágenes. Se puede, pondría un enlace a un artículo que lo explica pero no sé si se permite meter enlaces en este canal.
@@koz159 Tienes la respuesta un poco más abajo, jefe. Siento la extensión pero esto tiene más detalles de lo que parece.
A pesar de haber tenido qué dejar la carrera de ingeniería en software por problemas externos, tener este tipo de vídeos tan informativos me anima a no abandonar ese aprendizaje y quedar totalmente obsoleto. Gracias, Nate, por regresarme el amor por la tecnología que poco a poco iba perdiendo.
Siempre estuvo a tu lado, nunca te abandonó. Tú lo conseguiste solo. Dar las gracias está sobrevalorado.
¿quién dice que sólo en la universidad te haces ingeniero? Hay un montón de caminos hacia la misma meta 😉
Campeón, no te rindas. Retoma la carrera y ve de a poco. No tienes que hacer todo junto, una materia o dos a la vez❤
Podrías explicarme porfavor más o menos de que va la ingeniería en software, al menos lo que sepas. Sería una gran ayuda porque en un futuro tengo pensado hacerla. Crack👍
@@Iván-y5z7g claro que sí, hermano, yo estudié en México, no sé si haya alguna diferencia con otros países, pero aquí es un puesto que se deriva en: desarrollo de software con programación, documentación y planeación, funcionamiento óptimo de equipos que trabajen en el área, así también depuración y optimización de código. Todas estas habilidades las puedes llevar a cualquier área de la tecnología como programación de hardware, fabricación del mismo, bases de datos, videojuegos, inteligencia artificial, mantenimiento de software, programación de páginas web, etcétera etcétera etcétera. De verdad es muuuuy amplio si lo estás dudando, la verdad te lo recomiendo muchísimo, es una carrera que vale totalmente la pena. Mucha suerte!
"entender cómo funcionan las cosas es uno de los grandes placeres de la vida" Nunca me sentí más identificado
X2
Hola Nate! Soy Game Economy Designer, algunos amigos mios trabajaron en Asphalt 9! Sigo tu canal desde hace muchos años y me parece necesario resaltar la excelencia en la calidad del trabajo. Es increíble la combinación entre información, entretenimiento, calidad de producción, estrategias de marketing y estrategias de negocios todo integrado en una entrega audiovisual. Saludos desde Argentina 💪🏻
Enhorabuena Nate y equipo. Como docente, tengo que aplaudir tu capacidad didáctica. Este video es un ejercicio de docencia brutal. Muchas gracias por este material.
Finalmente, podré tener al clip de Windows como mi amigo 24/7
xd
El asistente demente de 8B, está bien pero cuando se pueda ejecutar un modelo de entre 100 y 236B en Local como el Deepseek o mejor el 405B ahí sí que hablaremos de un Asistente poderoso.
Qué locura de video, mucha gracias por compartir todo este proceso Nate
La IA ha cambiado mi vida. Me la paso automatizando cosas y aprenderlo me ha dado excelentes oportunidades. Yo considero que aprender sobre inteligencia artificial es importante para prepararse para el futuro, no necesariamente para desarrollar apps con IA sino porque muy probablemente tu trabajo va a migrar a un esquema que use IA.
Por cierto, en mi trabajo ahorro muchas horas simplemente por usar IAs.
Comparte links de tutoriales y/o información sobre las herramientas que usas... Te lo agradecería mucho ✌️. Saludos.
Nichonauta
Las IAs no van a remplazar a los letrados en cuanto a administracion de informacion digital en la mayoria de niveles, pero al final seran los usuarios como tu quienes van a prevalecer porque sinceramente es asi tal cual las IAs, son nuevas herramientras que se deben entender y comprender para sacarles el maximo provecho en cuanto a la creación de algoritmos variados, o en otras palabras
Te volveras el tecnico de una IAs, en el mejor te mantendran el sueldo (en relacion al paso del tiempo) o simple y llanamente la industria te consumira y te pagaran 1/4 menos que antes, pero con la inflacion y la extrema competencia digna de la india, ni lo notaran
Si tu trabajo puede migrar a un "esquema que use IA", eres totalmente reemplazable.
Es hermoso ver como el canal cambio mas a cosas asi, me encanto el contenido ojala vengan mas cosas de este tipo.
Gracias parcero.
el video tiene un minuto de subido........ y hay quienescomentan que el video esta excelente y dura 41 minutos jajajajajajajajajajajajajajaja LA LOCURA
🧙♂️Magic 🪄🪄
la IA les hizo un resumen de 30 segundos
Reptilianos
Es gente que está a otro nivel de conciencia, no lograríamos entenderlos
El pana cree que la hora que le aparece a el publicado es la hora definitiva en todo el mundo jajajaua
Que gran video. Solamente un aporte Nate, no es "cuantificación", es "cuantización", que es el proceso en el cual un rango continuo de valores se divide en un número finito de niveles discretos.
(edit) está bien es cuantizacion... pero van de un valor discreto de n bits a otro discreto de m bits. Nada de valores continuos, eso se ve en la cuantificación de señales continuas a discretas
Es cuantización, lo que pasa que Nate ha explicado el concepto mal, no pasamos de valores continuos a discretos, sino de valores continuos a valores continuos con menor precisión en bits
me gusta que te renueves con este tipo de videos, sigue aprendiendo y enseñando que se te da muy bien explicar.
He pasado media vida soñando en una aplicación a la que pueda preguntarle cualquier cosa que tenga guardada en mis documentos personales, y me de la respuesta que necesito. Tras ver el video de forma casual, lo he vuelto a ver con libreta y boli para anotar todas las herramientas que has probado. Soy ingeniero informatico, espero sacarle partido a toda esta información. Gracias por el video, menudas curradas te pegas con la edición.
Hace ya un mes, o quizá más, utilizo Llama 8B en mi PC como RAG desde Pinokio. Le he insertado papers, documentos en pdf, libros enteros...la verdad el trabajo lo hace bastante bien, no es como el ChatGPT de pago, que su nivel es altísimo pero, hoy 2024, que podamos hacer esto en nuestros PC es impresionante. Hoy no veo mi presente sin las IA como acompañante en el día a día de mi profesion
Mas detalles por fabor
Y como puedo hacer lo mismo
🙏🥺
Impresionante el vídeo!!! Me ha encantado como explicas y como lo complementas con los ejemplos visuales que hace que se entienda a la perfección. Por primera vez he entendido que es el RAG!!! Mil gracias!!! Eres un crack!!! Bueno tú con todos el equipo. Bravo de verdad!!!!
Gracias por el excelente video, voy a profundizar mas dado que soy ingeniero en sistemas con maestria en ciberseguridad, y quiero empezar a crear proyectos propios de IA con enfoque en ciberseguridad. Muchas gracias
Nate, muchas gracias por explicar todo en detalles. Mi trabajo en ingeniería, pero me interesaba mucho tener un video así.
Una pasada de vídeo Nate!!! Como aporte (no sé si lo has probado ya), dentro de AnythingLLM puedes elegir Scrapear tu web y así resolver preguntas como coster de cursos y demás....
ES MUY MUY BUENO EL VIDEO, GRACIAS por explicar algo tan novedoso y complejo que nos abre las puertas a nuevas oportunidades!!!
Justo estaba empezando a meterme en este tema y UA-cam me recomienda este video, como siempre Nate, explicando lo complicado en algo sencillo y entendible para todos, gracias por esta informacion introductaria, me va a ser de mucha ayuda en futuros proyectos.
WOOOW me chuté todo el video enterito, y eso que solo iba a estar un ratito, pero vaya que lo haces muy ameno y entendible y me gustan mucho esos micro repasos de conceptos o procesos que vas explicando a lo largo del video. Ya me suscribí y like seguro vendré por más.
Muy interesante! Me comí casi los 41 minutos que dura este vídeo, pero estoy asombrado cómo avanza el futuro de la IA.
buenisimo!! estoy siguiendo tus consejos y he empezado un canal de psicología y crecimiento personal con IA. Deseadme suerte!!😊
Esta genial el video muy bueno saber todo lo q está detrás de eso, por cierto, se te olvido poner la utilidad con interfaz del traductor...
Nate debería tener un canal de informática en todas las plataformas
Muy chulo todo lo que hizo Antes en el vídeo.
Solo que LMStudio se actualizo hace unos días y ya integró el RAG a la app jsjsjs.
Muy bien video Nate la verdad la IA y desarrollo avanzan super rápido al punto de que nos atrasamos.
Brutal vídeo. Hasta la fecha el más revelador sobre LLM e IA
Acabo de tener un flashback de tus videos de hace la tira haciendo reviews de ratones y teclados, y vaya como has cambiado tanto tu como persona como el nivelazo audiovisual y todo el equipo de trabajo que has montado a tu alrededor con los años, si tu o alguien de tu equipo llega a leer esto que sepan que están haciendo las cosas no solo bien sino increíble, sigan así 💪💪
Estaría muy bueno una segunda parte explicando como se conecta esto con una api web y se sube a la nube para que los usuarios puedan hablar con el chat bot 👌
🤯 graacias
Muy buena la idea de los grafos para la base de datos.
Ojo muchos creerán que eso es como "soplar y hacer botellas" con el video explicativo pero eso va más allá y el desarrollo de RAG sin ser de otro mundo requiere de conocimientos previos en IA y data science, así como la estructuración del proyecto, fijaros que Nate mismo se sorprende que no ha sido fácil y él tiene amplios conocimientos informáticos; a lo que voy es que requiere dedicación y tiempo para no desfallecer en el intento por lo abrumador del tema a pesar de que hay disponible herramientas que "facilitan" el proceso. Gracias Nate por presentar la IA como abrebocas de este amplio panorama que apenas comienza a tomar forma!
Nate soy contador realmente mi carrera no va muy de la mano con la programación o ingenieria de sistemas pero ver tus videos me envuelve y me genera mas intriga y algo que me sorprende es que mi conocimiento sobre sistemas es muy básico y aun así te entiendo, muchas gracias- Saludos desde Colombia
Gran video, aprendí mucho, gracias por realizarlo 🎉
ya extrañaba estos video 🤤
"Entender como funcionan las cosas, es uno de los grandes placeres de la vida".. MUY BUENA ESA FRASE. Saludos desde ARGENTINA.-
Todo este tema de la inteligencia artificial me parece bastante complejo pero a la vez super interesante, cien por cien voy a indagar un poco más y aprender al respecto. Se me hizo corto el video Nate, muchas gracias por compartir tu conocimiento, se aprecia bastante 😌😁
Yo me he montado lo mejor del mundo para mis clases con las IAS he conseguido todo en local que el audio de todas mis clases se transcriba y que luego otra me las resuma y me de datos claves de dudas que yo tenga sobre esos documentos. Increíble lo útil que puede ser una IA si sabes curártela un poco.
Para clases que tu impartes o que a ti te Dan y las grabas?
@@grilloazul1936 que me dan. Mantengo un orden en todo el proceso y tengo todas mis clases en archivos resumidas etc por si necesito en algún momento mirar cualquier cosa o incluso preguntar alguna duda sobre alguna clase.
Puedes pasar las IAs o tu mismo las entrenaste?
@@Unay.inv1 lo he planteado con modelos open source. Para entrenar tú mismo un modelo de 0 se necesita de una estructura y un nivel de datos con los que entrenarla bastante tocha si quieres buenos resultados. Los modelos que uso son: para transcribir uso a whisper de open AI y para resumir dichos archivos transcritos uso a llama 3.1 con una adaptación, que hay bastantes que te permiten pasarle archivos y cargarlos en su “memoria” como bien explica Nate en su vídeo. Hay algunos tutoriales en UA-cam sobre hacer esto pero tengo que decir que la gran mayoría están incompletos y falta alguna herramienta que al informarte un poco acabas sabiendo que necesitas para esto mismo. Pero te invito a explorar un poco todo esto. Busca whisper en local y hay tutoriales. Te recomiendo los que están subidos de habla inglesa ( suelen ser más completos ) y luego buscar un poco e informarse y saber de la cmd leyendo lo que te pide a cada momento bien porque como te digo están casi siempre incompletos los vídeos. Al menos los que vi yo. Te deseo suerte pero no es tan complicado de hacer realmente.
@@Eltitosamme interesaría saber con cual IA resumes las clases😊
Qué gran vídeo!
Qué bien explicado. 🎯
Como curiosidad, comentar que con Whisper se puede exportar directamente los subtítulos en TXT con --output_format txt.
Por otro lado, algo que también funciona bastante bien y que no conoce todo el mundo es el --initial_prompt, que es una especie de contexto que le das a Whisper para que haga una mejor transcripción.
Por ejemplo, en este caso se le podría pasar como parámetro algo así:
--initial_prompt Esto es la transcripción de un vídeo de UA-cam de Nate Gentile hablando sobre Inteligencia Artificial, Chatbots, LLM, RAG, etc.
Este es sin duda uno de los mejores videos sobre IA que he visto.
¡Este video es una joya Nate! Yo quiero replicar éste mismo proceso pero en un escenario diferente. En el pelicula "The Arrival" 2016 del director Denis Villeneuve, los heptápodos comienzan a compartir miles y miles de imagenes para iniciar una comunicación. Considerando un escenario así, que otras herramientas podrías integrar y utilizar en éste mismo proceso, para crear algo parecido con una base de datos pero de imagenes y simbolos. Ojalá alguno esté interesado en el tema, y conozca proyectos que ya estan en desarrollo; y alcanzables para replicar como el de Nate. ¡Saludos!
Pedazo de video, muy buen contenido Nate!
Muy buen contenido Nate! 👏👏👏
Excelente! Hice lo mismo utilizando la API de OpenAI en Azure y programando un soft en C# que combina todas esas técnicas mostradas en el video. Felicitaciones. Más videos de AI !
Es increíble la habilidad para conceptualizar en palabras simples e imágenes, toma tu like as always Nate, gracias
Gracias por compartir tu experiencia con la IA. Me has dado muchas ideas para mejorar mis propios proyectos.
8gb de vram no es aconsejable para machine learning. Mínimo 16gb vram. Por eso existe la incomprendida 4060ti con 16gb vram. Nunca fue una tarjeta para gaming, sino una gran ayuda para los interesados en machine learning que cuentan con un presupuesto más ajustado.
Hola Nate, te quiero agredecer. Llevo un tiempo buscando información sobre este tema y tu video me parecio espectacular y una gran forma de tener una base de conceptos junto a modelos y herramientas utiles para experimentar. Muchas gracias 👏
Tremendo vídeo. Me encantaría una lista de videos tuyos enseñando inteligencia artificial. He comprendido bien los conceptos y los motivos de los mismos en este video pero naturalmente no a cómo hacerlo. ¿la bases de datos son no-relacionales de esas usadas en Big-Data?
Nate: Voy a poner los videos a 4k
Yo: 480p es ultra detallado
Con 144p va excelente 👌 😉
Excelente Nate, he estado trabajando en RAGs sencillos para pequeñas empresas. En mi caso aún estoy trabajando mucho en el manejo de versiones, es un poco complejo cuando la información cambia en el tiempo.
Nate Gentile, Compartiéndonos sus Herramientas... La vida junto a sus personas te lo pagaran muy grandeeee! Gracias a ti implemente algunas herramientas en un canal que estoy comenzando; espero conseguir el éxito para devolvértelo de alguna manera
Hola Nate, videazo, me ha molado mucho, aunque creo que tienes un error de concepto, el embedding no es el espacio vectorial, es decir, no es el espacio latente, sino el vector en sí, la palabra o grupo de palabras convertidas en un vector
Hey Nate espero que todo marche bien. Te tengo una propuesta interesante que es posible que te guste. Estoy seguro que te resultará en una reto agradable. Soy fan del canal desde hace un tiempo y me parece muy profesional todo el trabajo que realizan. Me gusta los usos que le das a la IA y los videos de este tema son una pasada. Actualmente tengo un setup full AMD con un 5950X y una RX 6800 XT. Me preguntaba si podrías hacer algún video tratando el tema de la IA con tecnología de AMD. Se que están atrazados en este aspecto y que que Nvidia lidera el mercado, pero no concibo que no se pueda hacer nada con un hardware tan potente a día de hoy. Me gustaría que nos actualizaras a aquellos que tenemos AMD sobre que se puede hacer, porque se que hay algunas cositas por ahí.... Me gustaría que hicieras algo de IA con alguna librería que funcione con este tipo de hardware. Un saludo.
Estoy ansioso de que hagas la continuación de este video. Ojalá algún día vea la luz 😅
Buenisimo el contenido, ya comienzo a seguirte
Felicidades chicos!!
muy buen video explicativo, me has dado un empuje mirar mas de cerca el tema AI, gracias 👌🏽
me rompiste la cabeza nate, super buen video!
qué gran video te sacaste Nate! Ahora luego de empiezo a verlo
Excelente explicación como siempre 💪
Justo cuando tengo un proyecto De sistema expertos y RAG sale éste vídeo, excelente nate gracias
Muy buena explicación, voy a ver el otro video de ChatGPT para entender más sobre la IA
tengo una duda, como hace para que el video se vea mejor en el minuto 9:22 hace que se vea mejor el 4k si obviamente yo estoy reproduciendo el 1080p en una pantalla 1080 :D
Excelente contenido! Gracias, me resultó muy clarificador y me dan ganas de arrancar a jugar con estos sistemas
Rebien... Cual es la utilidad (para download) de speech translate ?
Al igual que todos los videos que has hecho en esta serie sobre IA, este ha sido muy educativo y entretenido. Me ha gustado mucho y me ayuda para el proyecto de grado que estoy haciendo. Vi en uno de los artículos que he revisado el concepto de tutor, utilizar estos programas o modelos de IA que trabajan con procesamiento del lenguaje natural para construir tutores o asistentes de estudio, por lo que lo que hiciste en ese video resonó mucho con lo que he estado leyendo recientemente. Saludos desde Colombia.
Buen video! Consejo para los UA-camrs, no tengan miedo de poderse un poco técnicos si se requiere, estoy seguro que habemos muchos en la comunidad que sabemos del tema y se los agradeceríamos
Ya me estaba preguntando cuando crearias una IA, digo con todo lo que sacas en tus videos ya era de esperarse
Milagro!!! Genial video! Pensé que ya era solo de cómo suenan los teclados o el peso del mouse
pues realmente me parece un contenido muy interesante, muchas gracias Nate por compartir conocimiento de este modo.
saludos desde Perú.
Nate, se pueden combinar modelos? Por ejemplo yama con mitral o utilizan parámetros muy distintos? Gracias! Excelente vídeo!!
Hola!, hay algún motivo que explique porque únicamente se puede usar la VRAM para el entrenamiento?, no es posible que ir agregando la RAM de los módulos para ampliar recursos?.
Tremendo video como siempre.
Joder que buena informacion, con este video ya no me siento tan perdido en como implementar la I.a en el trabajo. Se puede como darle vida a un indice de biblioteca. genial
gracias por compartir estos conocimientos! Tengo una duda como supiste que las respuestas iban mejorando mientras cambiabas los embeddings y el procesamiento de datos? Solo vi que le preguntabas y tu mismo valorabas la respuesta. Alguna forma cuantitativa para medir la calidad de las respuestas?
Nate has rejuvenecido! 🤯
Es el Nate IA :v
Yo lo veo más demacrado, parece como de 50
La fiebre del ozempic seguramente
Creo que siguio los consejos de dr frank suarez 😂
Que que buen video 👌🏼
Ya extrañaba los videos mas didácticos que este canal solía ofrecer mas a menudo hace años...
Yo creo que la gran mayoría de los ultimos son didacticos, echales un ojo
@@NateGentile7 tienes razón, UA-cam me mostraba más los videos del otro canal… (me refiero al de Nate live)
w0w te veo super fino. Hace tiempo que no veo uno de tus videos pero veo que le estas dando fuerte a la alimentación y al gimnasio. O tal vez ese cambio físico lo has hecho por IA?🤔🤔 Buen video por cierto!
Pedazo de video, y felicidades por los cursos, me inscribí hace menos de un mes y estoy fascinada ❤❤ saludos 🇨🇱🥶
Gracias Nate por tus videos nos motiva mucho mas aquellos que nos apasiona todo lo que es la tecnologia
que buen metodo, cuantas horas hombre estimas que hayas tardado en codigo script prueba y error?
Exelente video nate 😍
Hola, qué pasó con la página de generar componentes para armar un PC ?
Demasiado Interesante todo esto sobre la IA. 🤯🤯
Lo ideal sería poder "comprimir" esos "documentos" que tiene que leer, para que lea más rápido sin perder información. Y luego sería interesante emplear dos modelos al mismo tiempo. Ya que así podrías ampliar ese multiverso. En vez de usar la VRAM de la gráfica todo el tiempo, podrías simular tú VRAM. Quizás este proceso fuese más lento, pero como hemos comprimido la información inicial de base, compensaremos el uso de una VRAM ficticia. La combinación de dos modelos con diferente potencia, podría ayudar a elaborar respuestas más depuradas y a filtrarlas. Una de esos modelos podría estar entrenado de base y el otro lo entrenas en específico. De ese modo tendrías que no hay problema de "olvido". Ahora bien, el modelo no generalista no necesita recordar el entrenamiento anterior, solamente lo que tú le quieras hacer que haga. Y para el resto, el modelo más generalista puede acudir a la llamada del específico.
Es una idea loca, y no sé si se puede llegar a conseguir o si es factible, pero si funciona, oye, es un puntazo.
Está muy interesante, tío Nate! Me imagino que vas asacar una segunda parte haciendo los ajustes de parámetros para respuestas en tiempo real y después hostearlo en algún servidor para conectarlo al chat de Mastermind, sí? Eso cómo se hace!?
Buenas, excelente vídeo. ¿Hay alguna similitud entre los GPTs de ChatGPT y esto que has hecho?
😊 La verdad es con la IA se puede sacar muchas cosas, el problema es uno que no se le ocurre nada, incluso podrías incorporar clases sencillas donde incluso el estudiante practique, por ejemplo en Django como personalizar las páginas en base a plantillas. Hasta se puede hacer analizadores en base a varias primicias, juegos basados en la conversación. Me gustado lo del embbeding que haz usado en LLM.
Hola,qué me recomiendas para crear mi propio asistente virtual con IA, pero adaptado a mi área laboral que es la gestión del mantenimiento industrial
Muy interesante!!
Nate probaste con Azure IA Studio, con Microsoft haces el RAG muy automático y la precisión del embeding es muy buena.
Hola Nate, podrias compartir links de cursos o material para aprender sobre inteligencia artificial?
Tremendo vídeo Nate, con conceptos complejos pero entendibles por un público menos técnico.
Como siempre... Excelente Video Nate!!! Te escribo porque estoy trabajando también con Whisper y en el video indicaste que utilizaste una app que tiene interfaz grafica para la transcripción de los videos pero no la encuentro por aquí. La podes pasar??
No veo el link para la Utilidad que mencionas en el min 10:32 :'v.
A muchos estudiantes de informatica de fp, les gustaría oír tu opinión sobre los mejores componentes para un ordenador de estudiante (qué el presupuesto no se dispare) para ejecutar tres máquinas de virtualbox al mismo tiempo a velocidad aceptable, un servidor: un cliente Windows 10 y otro. Liente linux, o un Windows server principal, un controlador de dominio auxiliar y un servidor linux conectado al servidor windows.
También estaría muy bien escuchar tu opinión sobre que portátil podría ejecutar las maquinas virtuales anteriores, sin ir a la ruina.
Enhorabuena por tu trabajo de divulgación.
Muy buen video, tambien para los que quereis manteneros dentro de un entorno libre podeis utilizar jan en vez de LM studio :)
Gran video Nate
nunca decepcionas