🚀 Agenda una Consultoría GRATUITA para poder analizar tu negocio y conocer como potenciarlo con ayuda de la IA: basdonax.com/ 🤖Link al repositorio: github.com/fcori47/basdonax-ai-rag ✅ Si queres crear o escalar tu negocio de IA, mandame la palabra "Comunidad": instagram.com/facundocorengia/ ✅ Encontrame en: Instagram: instagram.com/facundocorengia/ LinkedIn: www.linkedin.com/in/facundo-corengia/ Web personal: facundocorengia.com/
Facundo como estas? a mi me interesa empezar armar algo asi pero desconectado de la red, que pensas? hay charnce o si o si es necesario que sea con doker online?
@@CampoTraviesa2.0 que destruir trabajo?, si con esto puedo trabajar más rápido, has intentado leerte un pdf para aprender a usar After effects o Clip Studio Paint.... (La cantidad de páginas que tieen) imagina poder transcribir directos con merlin, pasarlos a un word y meterlos en el asistente, tendrías la info que subió algún profesor a youtube, directamente en tu pc, para hacer consultas..... esta gente no valora los avances.
Gracias por la información. Tu vídeo me ha servido de inspiración para hacer un índice de todos los documentos que me interesaban en un directorio determinado y un resumen del contenido de los mismos. Además he desarrollado una búsqueda para encontrar un tema seleccionado dentro de dichos documentos.
Enhorabuena por tu vídeo, quedó muy clara la explicación. Me gustó que dieras todo tipo de explicaciones y paso a paso para que no tengas que decir aquello de: "en local me funcionaba" o "pues a mi me iba". Sigue así :D
"Muchas gracias por este video tan valioso. No solo nos motiva y guía en lo que estamos trabajando hoy, sino que también será una gran ayuda para quienes lo vean en el futuro. Tu esfuerzo marca la diferencia. ¡Sigue así!"
Muchas gracias bro, estaba interesado en hacer algo asi con IA, pero no sabia por donde empezar, ya con esto puedo realizar un proyecto para mi area en la empresa.
Muchas gracias, muy detallado, ahora para mejorarlo estaría bien poder tener varios props y varios grupos de documentos, dividimos en contextos para que cada departamento tuviese su propio conocimiento y su propia URL. También que si nos da una mala respuesta lo podamos corregir para que la siguiente sea mejor. Lo dicho un 10
muchas gracias! aprecio mucho la gente que comparte sus conocimientos, me motivan a seguir siendo asi tambien, soy encargado de todo lo que es IA en la empresa en la que trabajo y seguramente implemente esto, saludos!
Gran trabajo. Me sirvio para aprender. Aunque el modelo no funciona bien, ya que las respuestas las imprime en el command prmpt (debes tener un print) pero no las muestra en la interfaz web. Tampoco busca correctamente en los pdf. Detalles para la 2.0 😊
Wao me ha servido de mucho, no te conocía, me suscribo y estaré atento a tus videos. No importa lo largo que sean, mientras enseñes como hacer las cosas de principio a fin y sean cosas practicas allí estaré. Gracias.
Buen proyecto! De cara a siguientes versiones sería interesante que se lean todos los ficheros que hay en una directorio. Periódicamente puede comprobar si hay nuevos ficheros o si se han modificado los que ya existían para seguir añadiendo el conocimiento propio. Además crear una pipeline que procese y entrene el modelo con la información de otras aplicaciones como Google docs, notion, Evernote... Parece que hay interfaces para cada una de setas aplicaciones en ollama Buen vídeo!!
PUES pides un sistema completo, no hay LLM que cumpla esos requerimientos , lo que puedes hacer es crear un json con las url de tu directorio y ese se lo pasas a la api del llm que uses y asi recoja el conenido que uses, el lio es que llama3 tiene poco contexto entonces los pdf no deben ser muy extensos o bien ir cambiando de archivo, quizás en gemini api, podrias, con su millon de contexto, pero sería caro por el momento, y local pues con las url como lo menciono arriba.
Buenísimo el proyecto....muchas gracias por compartir, sólo tuve que hacer alguna adaptación para utilizar los modelos que ya tenía en LMStudio en lugar de Ollama, y sustituir algun puerto que tenía ya ocupado.
Muchas gracias probaré con Langchain para agregarle memoria a los promts y sería interesante que pudieras elegir distintos modelos en la interfaz gráfica. De modo que usaría chatgpt4 para cosas complejas, phi2 para cosas básicas o resúmenes y llama3 para Python o código sin consumir la api de open ai. Muy buen video. Es un excelente punto de partida
Muchas gracias, de nuevo, por lo simplificado de la instalación que propones para este RAG. Echo en falta algo que puede ser necesario en muchos casos de uso como los enlaces a los documentos originales que ha utilizado el Llm para mostrar la respuesta. He intentado realizarlo por mi cuenta pero se me hace muy difícil hacer el debug de cualquier nueva función o código. Esto es debido a que no he trabajado nunca con docker y las instrucciones para hacerlo con el IDE SPYDER no me quedan nada claras. Espero que en alguna nueva versión de RAG integres esta parte de metadatos para pasarlos también al Llm.
Esta chulisimo! para mi esto es el futuro. La solución a que la población pueda acceder al big data en el que esta inmerso y darle utilidad. Me da un poco de rabia no poder probarlo ya que tengo un macmini con una tarjeta gráfica pequeña... (ya he probado Ollama con modelos pequeños y le cuesta mucho)... pero a cada mes salen cosas nuevas y en el futuro será un gusto trabajar con datos.
totalmente, ahora con modelos como gemini con 1millon de tokens de contexto se pone mejor la cosa, podes hacer que te responda muchisimo mas, esto cada vez pinta mejor. te recomiendo si tenes conocimientos de programacion utilizar gpt-3.5-turbo o gpt-4-turbo si no te funciona rapido el ollama, sino seguramente para el video de la version 2 de este RAG muestre como hacerlo con gpt/llama/phi no solo llama y phi
Muy buen aporte, lo siguiente como comentas es el tema de memoria, tanto memoria a corto plazo (los n mensajes anteriores), memoria a largo plazo (n mensajes relacionados a lo que preguntas similar al retrieval del pdf) y alguna memoria volátil (en redis o alguna KV db para aspectos puntuales como nombres citas o pasajes importantes)
Gracias! sisi, eso lo voy a implementar 100% para la próxima versión, ahora como estaba probando tipo mvp quería ver si valía la pena pero definitivamente si, que recuerde los últimos 5/10 mensajes
@@facundocorengia perfecto en mi trabajo diseño e integro rag para multiples propósitos, en algunas situaciones no requieres memoria, en otras con dos mensajes es suficiente y en otras se necesita de una extensa memoria. Browsing 1 o dos mensajes y no requiere a largo plazo Pdf, depende el uso en tu ejemplo con uno o dos va bien, pero si el usuario busca entender el pdf si es importante al menos unos 8 mensajes continuos y dos a largo plazo, Como asistente, si es para consultas puntuales memoria a corto plazo de 2 a 4 memoria a largo de al menos dos o tres mensajes. Para crear un javis es muy importante tener al menos unos 10 a corto plazo y unos 4 a largo plazo y sobre todo una memoria volátil que funcione como agenda para que recuerde por ejemplo como te debería llamar una personalidad dinámica etc.
Excelete aporte, seria genial que el chatboot pueda aprender o leer documentos desde un repositorio (ftp, sharepoint, fileserver). Muchas gracias por compartir tus conocimientos.
Excelente video, voy a probar momentáneamente phi 3 ya que le quité mi gráfica a mi ordenador porque me subió el precio de la luz en la casa y me quitaron el subsidio XD
Yo podria dar soporte de sistema personalizado , el sistema te permite guardar y usar todo automaticamente y que usuario use su propia computadora sin resticcion , acceder a todo lugares navegados aun si los dispositivos sa tablet , compu o celular que anteriormente usuario alla entrado , el sistema automaticamente intersepta e identifica paginas de usuario en toda la web
Muchas gracias amigo, queria montarme algo asi para tener un asistente especializado en un tema concreto. Vere hasta donde puedo sacarle partido. Note que a veces cuando le hacia preguntas, tomaba info de un archivo, pero la definición completa estaba en el otro. Le puse dos archivos, uno que habla sobre el proceso de genga y otro sobre douga, que son etapas en la animación japonesa. Pero cuando le pregunto que es Genga, me da una definición incompleta, porque va a mirar lo que se dice sobre el tema en el archivo de douga. Esto ocurre porque ambos archivos explican lo que es cada etapa por separado, pero hacen referencia la una a la otra, es decir, el el documento sobre genga se menciona un poco el douga y viceversa. Como cargue primero el documento sobre douga, al preguntarle que es genga solo me entrega la información del primer documento. Aunque si escribo el prompt de forma mas especifica, por ejemplo, en lugar de escribir "¿Que es genga?", escribo "Explicame que es genga o segunda animación clave" (que es otro concepto relacionado al genga), ahí si va al segundo documento a buscar la definición correcta.
me ha parecido muy interesante esto, no quiero ser como muchos usuarios y esperar la información digerida, por ello deseo conocer si es posible en donde debo buscar información para que al momento de incluir los archivos le haga saber que es un repositorio que ya existe, este repositorio esta organizado por subcarpetas y deseo agregarle la ruta.
de nada! mañana subo un video que te va a servir sobre ese tema, que va a ser la ruta de aprendizaje de ia con codigo en 2024, asi podes aprenderlo al 100%
Hola, realice todos los pasos y cuando ejecuto docker exec 5g3a4x1825fx ollama pull llama3, llega al 38% y me indica que no queda espacio en el disco, que debo hacer?
estuve buscando informacion y de esta forma lo podes hacer: forums.docker.com/t/docker-desktop-for-macos-no-space-left-on-device/140831 , se ve que tenes que manejar vos mismo el espacio que se le asigna a docker desktop, asi seguro que te deja, eso es en mac pero la interfaz del docker desktop es la misma
Lo que no encuentro es dónde se guarda el modelo que se descargan. La ruta del volumen no sé donde está.... (/ollama/models/) no sé dónde se crea en el host.
Soy médico y ya te digo yo que no es tan fácil, no es seguro y no es legal hacer eso. Pero ojalá en algún momento podamos extender el acceso a la salud con tecnología segura para la gente
jaja khé? no alcanza la capacidad, hay límites de tokens por hardware y por el diseño de las IAs todavía. Ni siquiera hay modelos buenos con visión. Los VLM todavía están más verdes que los LLM.
Excelente voy a suscribirme a tu canal. a las siguientes versiones puedes añadirle soporte al api de openrouter, ejecucion de acciones, code interpreter y agentes👍
cordial saludo, me puedes ayudar con un problema, cuando estoy instalando ollama3, llega al 66% y se saca un error de que no hay espacio en /home/models/blobs.
Facundo gracias por la info, personalmente algo que me limita mucho para usar la ia con clientes es el hecho de las alucinaciones que podrian generar en su momento info falsa y complicar la implementación exitosa. Aparte de tratar de hacer un buen prompt engineering (que no es tan efectivo) de que otra manera le darias manejo a este problema con la IA?
Buenas! Lo que podes hacer en ese caso además del prompt engineering que como bien comentas no lo es todo es bajarle la temperatura a 0, cuando haces eso solo va a responder información 100% precisa, eso me sirvió bastante para cuando hice chatbots para ventas y estaban conectados una base de datos que tenían que obtener el precio y podían errarle con eso. Cambiandole la temperatura a 0 nunca tuve problema, pero si lo dejas por defecto que esta en 0.7 ahí si que es un problema en esos casos
Felicitaciones, buen aporte. Sin embargo, recomendar a la gente que si quieren hacer pruebas serias respecto a trabajar con IA en local, procuren contar con la PC, ram y gpu adecuadas, sino será una perdida de tiempo y terminaran en frustración. Por el contrario en todo caso si quieren resultados, objetivos pueden enlazar lo usando los modelos a través de gpt ya que el procesamiento sería en la nube y la respuesta la obtendría sin necesidad del procesamiento del modelo por su pc local. Claro que dependiendo el modelo con gpt turbo o 4 costará algo pero obtendrán resultados más serios y evitar la frustración en el intento de comprender y aprender de esta tecnología. 👍🏼
hola facundo excelente eres un crack ,como quisiera que crearas un curso de automatizacion en udemy seras un grande yo harita ps estoy iniciandome en la programacion y ademas estudiando todo con repecto ala IA
Buenas! tarda mas en responder que LLMStudio ya que cada vez que le haces una consulta realiza el embedding de lo que escribiste, busca los 5 chunks que mas similitud tengan, se le pasa al modelo y ahi genera la respuesta, mas que nada por eso
que extraño la verdad, puede que sea que te esta utilizando muchisima ram porque puede llegar a consumir bastante el docker, para la próxima version voy a tener en cuenta tu caso para limitar los consumos de cada una de las imagenes del contenedor!
Un videotutorial de como instalar la version mini de phi-3 en un vps seria genial, podriamos empezar a crear nuestros propios chats de asistencia personalizados con documentos propios. Buen tuto
Buenas! muy interesante eso, seguramente en algun momento comente eso porque los modelos open source estan cada vez mejores, antes gpt3/4 no tenia rivales literal y ahora si, en un futuro lo voy a comentar como tambien el tema del fine tuning de los llm open source que hay gente que hace eso a modelos open source para dejar que respondan como gpt4-turbo 🤯
Hola de nuevo. Cuando hago toda instalación no meda error al ejecutarla, pero despues de apagar el ordenador y encenderlo de nuevo, al ejecutar me vuelve a dar el mismo error: OllamaEndpointNotFoundError: Ollama call failed with status code 404. Maybe your model is not found and you should pull the model with `ollama pull llama3`.
estuve buscando informacion y de esta forma lo podes hacer: forums.docker.com/t/docker-desktop-for-macos-no-space-left-on-device/140831 , se ve que tenes que manejar vos mismo el espacio que se le asigna a docker desktop, asi seguro que te deja
Esto también me ha sucedido a mi, luego de intentar varias soluciones basándome en el mensaje que muestra el error y sin dar con un resultado, he logrado SOLUCIONAR el problema ejecutando mi Power Shell en modo administrador, no entiendo por que me mostraba ese mensaje cuando no lo ejecutaba en modo administrador, es posible que el sistema limite el espacio usado si no eres el administrador del ordenador. Por si alguno le sirve.
Me da este eror: OllamaEndpointNotFoundError: Ollama call failed with status code 404. Maybe your model is not found and you should pull the model with `ollama pull llama3`.
Hola, gracias por compartir, consulta tengo ya instalado de antes el servidor de ollama que corre en segundo plano en mi pc, con ollama3.1 8b , como tendría que hacer, gracias!!!
Hermano, te hago una consulta muy especifica, pues se nota que sabes sobre el tema; ¿Como estructurar la DATA (tengo una BDD Postrge; bastante compleja en cuanto a relaciones) para trabajar con un LLM. A esto me refiero con; como nombrar mis tablas o reestructurarlas para que el LLM pueda brindar información fehaciente, eficaz, eficiente y verdadera.
@@facundocorengia Mortal! Ahí lo busco! porque sinceramente necesito un ia que me permita hacer analisis trayendo multiples datos de la BD, ej: Clima [viento, lluvia, sol, etc], Exámenes bioquímicos del agua, y cruzarles con otros datos, como uso del transporte publico.
Aparte de agradecer tremendo aporte quiisera consultar si es posible que pueda entregar citas textuales desde los documentos, para motivos de bibliografía y/o referencia
gracias! sisi se puede, tenes que especificarle en la prompt que queres que te responda asi, te recomiendo que te veas mi video sobre eso: ua-cam.com/video/amHXcLxUJ4E/v-deo.html para que te ayude a responder de esa forma
Hola Facundo! Gracias por tus videos. Me subscribi porque encuentro interesante los temas que publicas. Soy de Costa Rica y queria saber cuales son las companias en argentina de tecnologia bien renumeradas.
Gracias! eee no tengo mucha idea de como está el mercado aca en arg porque trabajo para afuera, pero se que las que mas pagan son las startup y capaz alguna de las grandes como accenture, globant, ml, etc
Si sustituimos a todos los funcionarios y gobernantes corruptos, nos ahorraríamos trillones de dólares y de tomas de decisión decididas por conveniencia de los corruptos y no de las Constituciones de cada nación.
Eso ya lo hace china hace mas de una decada, pero seguro pensas que son socialistas y que trabajan en minas de carbon con niños jajajaa. Se te huele lo libertario a kilometros. Termina la secundaria pibe!
Hola Facundo, quiero preguntarte si a traves de la Consulta gratuita de Negocios que ofreces, puedo hacerte un par de preguntas mas genericas sobre RAG y Entreganiemiento. Me confirmas?
Gracias por este gran aporte ❤ Quisiera consultarte algo. Es posible aumentar la cantidad de Tokens? Vi que ya lograron una ventana de contexto de 1 millon de tokens en Llama 3.
buenas! todo depende del modelo llm que uses, hay modelos en huggingface de llama3 con 1 millon de tokens, seria traerselos para así utilizarlo en el codigo que se tiene, eso seguramente lo veamos en la serie que estoy haciendo de como crear un rag, te recomiendo verla
Si, tenes que hacer ollama pull llama3 por ejemplo o el modelo que quieras y ahi hacer el docker exec (id de contendor) ollama run llama3, igualmente te recomiendo directamente instalar ollama no el docker-compose del video, te dejo el link: hub.docker.com/r/ollama/ollama
hola, como podria hacer para que no alucine tanto, nose porque cada pregunta que hago me responde algo nada que ver, o un hola y me dice algo fuera de contexto, como lo podria hacer? necesito ayuda.
buenas! ahi lo que podes hacer es modificarle la prompt exactamente para lo que vos necesitas, te recomiendo ver mi video sobre eso: ua-cam.com/video/wJI5VEoGmJM/v-deo.html , proba creando una prompt asi, si no te llega a andar bien con eso hablame a mi instagram: @facundocorengia y vemos como solucionarlo!
🚀 Agenda una Consultoría GRATUITA para poder analizar tu negocio y conocer como potenciarlo con ayuda de la IA: basdonax.com/
🤖Link al repositorio: github.com/fcori47/basdonax-ai-rag
✅ Si queres crear o escalar tu negocio de IA, mandame la palabra "Comunidad": instagram.com/facundocorengia/
✅ Encontrame en:
Instagram: instagram.com/facundocorengia/
LinkedIn: www.linkedin.com/in/facundo-corengia/
Web personal: facundocorengia.com/
Facundo como estas? a mi me interesa empezar armar algo asi pero desconectado de la red, que pensas? hay charnce o si o si es necesario que sea con doker online?
buenas! si usas docker de esta forma esta 100% en local osea no va ninguna info a internet
ponele si desconectas el internet de tu pc teniendolo instalado y prendes el rag te va a andar
La plaga actual...que forma de pensar tan extraña. Te sientes orgullo de destruir el trabajo de la gente amiguito?
@@CampoTraviesa2.0 que destruir trabajo?, si con esto puedo trabajar más rápido, has intentado leerte un pdf para aprender a usar After effects o Clip Studio Paint.... (La cantidad de páginas que tieen) imagina poder transcribir directos con merlin, pasarlos a un word y meterlos en el asistente, tendrías la info que subió algún profesor a youtube, directamente en tu pc, para hacer consultas..... esta gente no valora los avances.
Excelente, la 2da parte para que lo conectemos y conteste a los clientes de whatsapp, así tendríamos una secretaria personal para nuestros clientes ❤❤
Estaré esperando la versión 2. Que sea como un chat. 😊 Exelente video amigo.
es fascinante lo que estas replicando. Muchas gracias !!
Gracias por la información. Tu vídeo me ha servido de inspiración para hacer un índice de todos los documentos que me interesaban en un directorio determinado y un resumen del contenido de los mismos. Además he desarrollado una búsqueda para encontrar un tema seleccionado dentro de dichos documentos.
Enhorabuena por tu vídeo, quedó muy clara la explicación. Me gustó que dieras todo tipo de explicaciones y paso a paso para que no tengas que decir aquello de: "en local me funcionaba" o "pues a mi me iba". Sigue así :D
La ia no puede acostarse con el jefe. Es una gran desventaja. 😂
hey, por ahora
JAJAJA
Entonces no me sirve
Checkmate inteligencia artificial! 😮
Muchas gracias Facundo, eres un crack y además muy generoso. Estaré muy atento a tus videos. Me ha ayudado mucho esta genial y muy clara explicación
Que hermosura esto con Docker.
Dios bendiga tu vida hermano!!! Continua y no te detenga con tus aportes interesantes y precisos!!!
"Muchas gracias por este video tan valioso. No solo nos motiva y guía en lo que estamos trabajando hoy, sino que también será una gran ayuda para quienes lo vean en el futuro. Tu esfuerzo marca la diferencia. ¡Sigue así!"
Excelente Facundo, te felicito Explicacion y ejemplo 10.
Gracias por este aporte a la comunidad.
Muchas gracias bro, estaba interesado en hacer algo asi con IA, pero no sabia por donde empezar, ya con esto puedo realizar un proyecto para mi area en la empresa.
Eres una Máquina, gracias, me inspiras a seguir. Éxito, espero con ansias el resto de estos videos..
Buenisimo Facundo, gracias por compartir, es algo muy bueno y útil. Voy a probarlo y te comento
Gracias Facundo, por enseñar tu conocimiento de forma concreta y fácil.
Muchas gracias, muy detallado, ahora para mejorarlo estaría bien poder tener varios props y varios grupos de documentos, dividimos en contextos para que cada departamento tuviese su propio conocimiento y su propia URL. También que si nos da una mala respuesta lo podamos corregir para que la siguiente sea mejor. Lo dicho un 10
muchas gracias! aprecio mucho la gente que comparte sus conocimientos, me motivan a seguir siendo asi tambien, soy encargado de todo lo que es IA en la empresa en la que trabajo y seguramente implemente esto, saludos!
excelente! me alegro que te haya ayudado!!
Muchas gracias, está genial.
Por favor crea la versión que mantenga un chat continuo.
Gran trabajo. Me sirvio para aprender. Aunque el modelo no funciona bien, ya que las respuestas las imprime en el command prmpt (debes tener un print) pero no las muestra en la interfaz web. Tampoco busca correctamente en los pdf. Detalles para la 2.0 😊
Wao me ha servido de mucho, no te conocía, me suscribo y estaré atento a tus videos. No importa lo largo que sean, mientras enseñes como hacer las cosas de principio a fin y sean cosas practicas allí estaré. Gracias.
Seria interesante que este modelo pudieras conversar con el, y mas aun usando phi-3
Buen proyecto! De cara a siguientes versiones sería interesante que se lean todos los ficheros que hay en una directorio.
Periódicamente puede comprobar si hay nuevos ficheros o si se han modificado los que ya existían para seguir añadiendo el conocimiento propio.
Además crear una pipeline que procese y entrene el modelo con la información de otras aplicaciones como Google docs, notion, Evernote... Parece que hay interfaces para cada una de setas aplicaciones en ollama
Buen vídeo!!
gracias! muy buena idea para la próxima versión!
PUES pides un sistema completo, no hay LLM que cumpla esos requerimientos , lo que puedes hacer es crear un json con las url de tu directorio y ese se lo pasas a la api del llm que uses y asi recoja el conenido que uses, el lio es que llama3 tiene poco contexto entonces los pdf no deben ser muy extensos o bien ir cambiando de archivo, quizás en gemini api, podrias, con su millon de contexto, pero sería caro por el momento, y local pues con las url como lo menciono arriba.
me encanta la portada del video, lo interprete como un 'en tu cara, toma esto secretaria'
Extremadamente bien explicado! Muchisimas gracias por compartirlo
Excelente Facu, subscribiendome y esperando más contenido como este...
Buenísimo el proyecto....muchas gracias por compartir, sólo tuve que hacer alguna adaptación para utilizar los modelos que ya tenía en LMStudio en lugar de Ollama, y sustituir algun puerto que tenía ya ocupado.
Muchas gracias probaré con Langchain para agregarle memoria a los promts y sería interesante que pudieras elegir distintos modelos en la interfaz gráfica. De modo que usaría chatgpt4 para cosas complejas, phi2 para cosas básicas o resúmenes y llama3 para Python o código sin consumir la api de open ai.
Muy buen video. Es un excelente punto de partida
yo ya lo eh mejorado un poco es un buen producto solo que tiene algunos errores iniciales de librerias y de configuración
Muchas gracias, de nuevo, por lo simplificado de la instalación que propones para este RAG.
Echo en falta algo que puede ser necesario en muchos casos de uso como los enlaces a los documentos originales que ha utilizado el Llm para mostrar la respuesta.
He intentado realizarlo por mi cuenta pero se me hace muy difícil hacer el debug de cualquier nueva función o código. Esto es debido a que no he trabajado nunca con docker y las instrucciones para hacerlo con el IDE SPYDER no me quedan nada claras.
Espero que en alguna nueva versión de RAG integres esta parte de metadatos para pasarlos también al Llm.
gracias! me lo anoto para la proxima version!
Excelente. Estaría buenismo si lo continuas y lo conectas a contestar email y contestar mensajes
Jajaja volví al video para ver cómo iba y pegado. Muy bien facu
Parcero excelente aporte. Te hablo desde Colombia.
Espero con ansias la versión 2.0 para agregar archivos múltiples a la base de conocimiento
Gracias! Igualmente podes agregar multiples archivos! pero no de una sola vez, sería uno por uno.
En contextos donde no tienes el control de docker puedes usar la api de ollama para bajarte los modelos
gracias por compartir el metodo, me va servir de mucho
Gracias Facu! El dios de la IA jajajaj
Eres un grande bro mil años de vida para ti
muchas gracias Facundo, te felicito!
gracias! me alegro que te haya servido!!
Excelente video! 👏. Gracias por compartir tu conocimiento.
Esta chulisimo! para mi esto es el futuro. La solución a que la población pueda acceder al big data en el que esta inmerso y darle utilidad. Me da un poco de rabia no poder probarlo ya que tengo un macmini con una tarjeta gráfica pequeña... (ya he probado Ollama con modelos pequeños y le cuesta mucho)... pero a cada mes salen cosas nuevas y en el futuro será un gusto trabajar con datos.
totalmente, ahora con modelos como gemini con 1millon de tokens de contexto se pone mejor la cosa, podes hacer que te responda muchisimo mas, esto cada vez pinta mejor. te recomiendo si tenes conocimientos de programacion utilizar gpt-3.5-turbo o gpt-4-turbo si no te funciona rapido el ollama, sino seguramente para el video de la version 2 de este RAG muestre como hacerlo con gpt/llama/phi no solo llama y phi
Excelente aporte, nuevo seguidor😊
A qui estaremos al pendiente broo :)
Muy buen contenido, ojala sigas compartiendo.
Espero con ansias las novedades
Gracias! sisis obvio no voy a parar, esto recien empieza 😎
Muy buen aporte, lo siguiente como comentas es el tema de memoria, tanto memoria a corto plazo (los n mensajes anteriores), memoria a largo plazo (n mensajes relacionados a lo que preguntas similar al retrieval del pdf) y alguna memoria volátil (en redis o alguna KV db para aspectos puntuales como nombres citas o pasajes importantes)
Gracias! sisi, eso lo voy a implementar 100% para la próxima versión, ahora como estaba probando tipo mvp quería ver si valía la pena pero definitivamente si, que recuerde los últimos 5/10 mensajes
@@facundocorengia perfecto en mi trabajo diseño e integro rag para multiples propósitos, en algunas situaciones no requieres memoria, en otras con dos mensajes es suficiente y en otras se necesita de una extensa memoria.
Browsing 1 o dos mensajes y no requiere a largo plazo
Pdf, depende el uso en tu ejemplo con uno o dos va bien, pero si el usuario busca entender el pdf si es importante al menos unos 8 mensajes continuos y dos a largo plazo,
Como asistente, si es para consultas puntuales memoria a corto plazo de 2 a 4 memoria a largo de al menos dos o tres mensajes. Para crear un javis es muy importante tener al menos unos 10 a corto plazo y unos 4 a largo plazo y sobre todo una memoria volátil que funcione como agenda para que recuerde por ejemplo como te debería llamar una personalidad dinámica etc.
Buen video y buena explicación! Voy a probarlo y te daré un feedback. Gracias x compartir! Saludos
Muy buen video, te agradezco la data!! Me gustaría implementarlo voy a ver que sale...
Llegado el momento te contactaré.
Un abrazo desde Uruguay!
Estuve haciendo un proyecto parecido como hace 6 meses, pero con Langchai y el Token de API, bastante divertido la verdad
Muchas gracias!. Creo que le faltaría poder acceder a páginas concretas de internet, para poder disponer de información actualizada y sería perfecto.
Excelete aporte, seria genial que el chatboot pueda aprender o leer documentos desde un repositorio (ftp, sharepoint, fileserver).
Muchas gracias por compartir tus conocimientos.
Buenazo bro... vamos por mas ...
Excelente video, voy a probar momentáneamente phi 3 ya que le quité mi gráfica a mi ordenador porque me subió el precio de la luz en la casa y me quitaron el subsidio XD
Yo podria dar soporte de sistema personalizado , el sistema te permite guardar y usar todo automaticamente y que usuario use su propia computadora sin resticcion , acceder a todo lugares navegados aun si los dispositivos sa tablet , compu o celular que anteriormente usuario alla entrado , el sistema automaticamente intersepta e identifica paginas de usuario en toda la web
eres un crack , nuevo seguidor , sigue así chaval
Muchas gracias amigo, queria montarme algo asi para tener un asistente especializado en un tema concreto. Vere hasta donde puedo sacarle partido.
Note que a veces cuando le hacia preguntas, tomaba info de un archivo, pero la definición completa estaba en el otro. Le puse dos archivos, uno que habla sobre el proceso de genga y otro sobre douga, que son etapas en la animación japonesa. Pero cuando le pregunto que es Genga, me da una definición incompleta, porque va a mirar lo que se dice sobre el tema en el archivo de douga.
Esto ocurre porque ambos archivos explican lo que es cada etapa por separado, pero hacen referencia la una a la otra, es decir, el el documento sobre genga se menciona un poco el douga y viceversa.
Como cargue primero el documento sobre douga, al preguntarle que es genga solo me entrega la información del primer documento. Aunque si escribo el prompt de forma mas especifica, por ejemplo, en lugar de escribir "¿Que es genga?", escribo "Explicame que es genga o segunda animación clave" (que es otro concepto relacionado al genga), ahí si va al segundo documento a buscar la definición correcta.
me ha parecido muy interesante esto, no quiero ser como muchos usuarios y esperar la información digerida, por ello deseo conocer si es posible en donde debo buscar información para que al momento de incluir los archivos le haga saber que es un repositorio que ya existe, este repositorio esta organizado por subcarpetas y deseo agregarle la ruta.
Estoy haciendo un RAG, sin docker, ni python. Todo en Golang, y bueno, pase a ver tu proyecto :) estan interesantes los RAG's jeje
Buen aporte gracias!
Gracias saludos del Perú eres un pro igual tengo que estudiar programación me urge.
de nada! mañana subo un video que te va a servir sobre ese tema, que va a ser la ruta de aprendizaje de ia con codigo en 2024, asi podes aprenderlo al 100%
Excelente video 👌
Pero la secretaria hace cosas que la IA no...😌
sieres nerd si la sustituyes... 😅
literalmente no
Ah no?
Creo que lo están viendo desde el punto de vista "nerd" desde el otro punto de vista entenderías el comentario
Es que si eres demasiado "nerd" no entiendes lo que es sarcasmo y se toman todo literal sin el dulce doble sentido...@@cristianfranco5903
La IA es una hiperfunción, gracias.
buen canal bro, bien ahi +1 sub
Se pueden guardar facturas y pedir información de esas facturas como por ejemplo cuánto es el total a pagar de energía del mes de agosto....
Muchas gracias !!
Excelente video Facu, basicamente levantas 3 dockers ?
Hola, realice todos los pasos y cuando ejecuto docker exec 5g3a4x1825fx ollama pull llama3, llega al 38% y me indica que no queda espacio en el disco, que debo hacer?
estuve buscando informacion y de esta forma lo podes hacer: forums.docker.com/t/docker-desktop-for-macos-no-space-left-on-device/140831 , se ve que tenes que manejar vos mismo el espacio que se le asigna a docker desktop, asi seguro que te deja, eso es en mac pero la interfaz del docker desktop es la misma
Lo que no encuentro es dónde se guarda el modelo que se descargan. La ruta del volumen no sé donde está.... (/ollama/models/) no sé dónde se crea en el host.
Que modelo usas para crear los embeddings?
Podrías usarlo para hacer consultas medicas y salvar a millones chaval, muchas gracias por tu ayuda, ojala alguien vea el potencial.
jajajajajajajajaja cuanta inocencia
@@Carlos-pg9ip Gracias
Soy médico y ya te digo yo que no es tan fácil, no es seguro y no es legal hacer eso. Pero ojalá en algún momento podamos extender el acceso a la salud con tecnología segura para la gente
Eso ya lo hizo IBM hace @8 años
jaja khé? no alcanza la capacidad, hay límites de tokens por hardware y por el diseño de las IAs todavía. Ni siquiera hay modelos buenos con visión. Los VLM todavía están más verdes que los LLM.
Excelente voy a suscribirme a tu canal. a las siguientes versiones puedes añadirle soporte al api de openrouter, ejecucion de acciones, code interpreter y agentes👍
Bienvenido! Me anoto tus ideas para la próxima versión!
se puede subir una base de datos para preguntar tipos de query o graficos de barra, etc...
Excelente video, muchas gracias. ;)
cordial saludo, me puedes ayudar con un problema, cuando estoy instalando ollama3, llega al 66% y se saca un error de que no hay espacio en /home/models/blobs.
@AngelPrz nada, pero lo hice con otro método y me funciona bn
Facundo gracias por la info, personalmente algo que me limita mucho para usar la ia con clientes es el hecho de las alucinaciones que podrian generar en su momento info falsa y complicar la implementación exitosa. Aparte de tratar de hacer un buen prompt engineering (que no es tan efectivo) de que otra manera le darias manejo a este problema con la IA?
Buenas! Lo que podes hacer en ese caso además del prompt engineering que como bien comentas no lo es todo es bajarle la temperatura a 0, cuando haces eso solo va a responder información 100% precisa, eso me sirvió bastante para cuando hice chatbots para ventas y estaban conectados una base de datos que tenían que obtener el precio y podían errarle con eso. Cambiandole la temperatura a 0 nunca tuve problema, pero si lo dejas por defecto que esta en 0.7 ahí si que es un problema en esos casos
Felicitaciones, buen aporte. Sin embargo, recomendar a la gente que si quieren hacer pruebas serias respecto a trabajar con IA en local, procuren contar con la PC, ram y gpu adecuadas, sino será una perdida de tiempo y terminaran en frustración. Por el contrario en todo caso si quieren resultados, objetivos pueden enlazar lo usando los modelos a través de gpt ya que el procesamiento sería en la nube y la respuesta la obtendría sin necesidad del procesamiento del modelo por su pc local. Claro que dependiendo el modelo con gpt turbo o 4 costará algo pero obtendrán resultados más serios y evitar la frustración en el intento de comprender y aprender de esta tecnología. 👍🏼
hola facundo excelente eres un crack ,como quisiera que crearas un curso de automatizacion en udemy seras un grande yo harita ps estoy iniciandome en la programacion y ademas estudiando todo con repecto ala IA
Lo he probado y me va muy lento, se queda en running, en cambio con LLMStudio con phi3 me va rapidisimo
Buenas! tarda mas en responder que LLMStudio ya que cada vez que le haces una consulta realiza el embedding de lo que escribiste, busca los 5 chunks que mas similitud tengan, se le pasa al modelo y ahi genera la respuesta, mas que nada por eso
Instale y reinstale docker y se queda en pantalla negra, tocó restablecer el sistema a un punto anterior 2 veces😢 tengo una rtx 2060 en laptop 💻
que extraño la verdad, puede que sea que te esta utilizando muchisima ram porque puede llegar a consumir bastante el docker, para la próxima version voy a tener en cuenta tu caso para limitar los consumos de cada una de las imagenes del contenedor!
Muchas gracias
Excelente video.
Hola, muy buen y sintético video ! que base vectorial estas usando ?
Gracias! uso ChromaDB
Un videotutorial de como instalar la version mini de phi-3 en un vps seria genial, podriamos empezar a crear nuestros propios chats de asistencia personalizados con documentos propios. Buen tuto
Buenas! muy interesante eso, seguramente en algun momento comente eso porque los modelos open source estan cada vez mejores, antes gpt3/4 no tenia rivales literal y ahora si, en un futuro lo voy a comentar como tambien el tema del fine tuning de los llm open source que hay gente que hace eso a modelos open source para dejar que respondan como gpt4-turbo 🤯
Hola de nuevo. Cuando hago toda instalación no meda error al ejecutarla, pero despues de apagar el ordenador y encenderlo de nuevo, al ejecutar me vuelve a dar el mismo error: OllamaEndpointNotFoundError: Ollama call failed with status code 404. Maybe your model is not found and you should pull the model with `ollama pull llama3`.
No se porque pero despues de apagar el ordenador me veo obligado a ejecutar de nuevo:docker exec 2dd64ddfa2b9 ollama pull llama3. Alguna sugerencia?
buenas, tiene que ser algo de tu docker desktop, la memoria esta como de forma temporal, rarisimo la verdad, contame si pudiste solucionarlo!
BUENA ESA BROOO :3
no me funciona me dice este error: OCI runtime exec failed: write /tmp/runc-process1022*****596: no space left on device: unknown
estuve buscando informacion y de esta forma lo podes hacer: forums.docker.com/t/docker-desktop-for-macos-no-space-left-on-device/140831 , se ve que tenes que manejar vos mismo el espacio que se le asigna a docker desktop, asi seguro que te deja
@@facundocorengia no me funciono, lo actualice y me dice igual, eso parece que es de MacOs y yo tengo windows.
Esto también me ha sucedido a mi, luego de intentar varias soluciones basándome en el mensaje que muestra el error y sin dar con un resultado, he logrado SOLUCIONAR el problema ejecutando mi Power Shell en modo administrador, no entiendo por que me mostraba ese mensaje cuando no lo ejecutaba en modo administrador, es posible que el sistema limite el espacio usado si no eres el administrador del ordenador. Por si alguno le sirve.
Excelente Facundo, voy a probarlo, te pregunto, se podra conectar a una base de datos?
Saludos
Gracias! por el momento solo a la de vectores, aunque se podria hacer una conexion para que utilice una base de datos sql
Grande Facu!!!
Me da este eror: OllamaEndpointNotFoundError: Ollama call failed with status code 404. Maybe your model is not found and you should pull the model with `ollama pull llama3`.
Resuelto. Me había comido un paso por error
podrías decirme que paso te falto y lo corregiste, ya qué me da el mismo error a mi instalación gracias
No encuentro el error o faltante en la instalación
@@AlbertoBolioSalazar en mi caso fue que me olvide el paso de instalar ollama
Hola, gracias por compartir, consulta tengo ya instalado de antes el servidor de ollama que corre en segundo plano en mi pc, con ollama3.1 8b , como tendría que hacer, gracias!!!
Hermano, te hago una consulta muy especifica, pues se nota que sabes sobre el tema; ¿Como estructurar la DATA (tengo una BDD Postrge; bastante compleja en cuanto a relaciones) para trabajar con un LLM.
A esto me refiero con; como nombrar mis tablas o reestructurarlas para que el LLM pueda brindar información fehaciente, eficaz, eficiente y verdadera.
si, se puede hacer eso con ia, tengo un video que se llama destrui a los analistas de datos que lo explica todo por si queres saber mas
@@facundocorengia Mortal! Ahí lo busco! porque sinceramente necesito un ia que me permita hacer analisis trayendo multiples datos de la BD, ej: Clima [viento, lluvia, sol, etc], Exámenes bioquímicos del agua, y cruzarles con otros datos, como uso del transporte publico.
Aparte de agradecer tremendo aporte quiisera consultar si es posible que pueda entregar citas textuales desde los documentos, para motivos de bibliografía y/o referencia
gracias! sisi se puede, tenes que especificarle en la prompt que queres que te responda asi, te recomiendo que te veas mi video sobre eso: ua-cam.com/video/amHXcLxUJ4E/v-deo.html para que te ayude a responder de esa forma
@@facundocorengia muchas gracias de nuevo
Hola Facundo! Gracias por tus videos. Me subscribi porque encuentro interesante los temas que publicas. Soy de Costa Rica y queria saber cuales son las companias en argentina de tecnologia bien renumeradas.
Gracias! eee no tengo mucha idea de como está el mercado aca en arg porque trabajo para afuera, pero se que las que mas pagan son las startup y capaz alguna de las grandes como accenture, globant, ml, etc
Genio, lástima que el 90 % de la gente no entiende más que dar play, uno más que te sigue
Si sustituimos a todos los funcionarios y gobernantes corruptos, nos ahorraríamos trillones de dólares y de tomas de decisión decididas por conveniencia de los corruptos y no de las Constituciones de cada nación.
te cojen las empresas y lobbys bro
Los gobernantes son corruptos pero la gente común es peor
Eso ya lo hace china hace mas de una decada, pero seguro pensas que son socialistas y que trabajan en minas de carbon con niños jajajaa. Se te huele lo libertario a kilometros. Termina la secundaria pibe!
Todos somos corruptos . El programador de la IA también se va corromper cuando tenga la necesidad y la oportunidad.
porque las empresas y los lobbys y el narcotrafico no estan metidos en politica o sobornando politicos jajajaja
Hola Facundo, quiero preguntarte si a traves de la Consulta gratuita de Negocios que ofreces, puedo hacerte un par de preguntas mas genericas sobre RAG y Entreganiemiento. Me confirmas?
yo trabajo para clinicas.
y me gustaria poder implementar para consulta de informacion de clinicas
Si estas interesado en implementarlo te paso el link para agendar una llamada conmigo: calendly.com/basdonaxai/basdonaxai y ver si te puedo ayudar
Excelente video,una pregunta expone alguna api que pueda ser consumida desde otra fuente?
habría que prepararlo para que funcione de esa forma, ahora a la única cosa a la que se puede hacer request es ollama
Hago el paso a paso y no funciona (no me responde) le cargo los archivos y todo bien pero luego no responde :-(
buenas! que te sale? si queres enviame por instagram lo que te paso: @facundocorengia
Gracias por este gran aporte ❤
Quisiera consultarte algo.
Es posible aumentar la cantidad de Tokens? Vi que ya lograron una ventana de contexto de 1 millon de tokens en Llama 3.
buenas! todo depende del modelo llm que uses, hay modelos en huggingface de llama3 con 1 millon de tokens, seria traerselos para así utilizarlo en el codigo que se tiene, eso seguramente lo veamos en la serie que estoy haciendo de como crear un rag, te recomiendo verla
¿Se puede usar tu imagen docker para hacerle consultas directamente a la api de ollama? , gracias por compartir esto.
Si, tenes que hacer ollama pull llama3 por ejemplo o el modelo que quieras y ahi hacer el docker exec (id de contendor) ollama run llama3, igualmente te recomiendo directamente instalar ollama no el docker-compose del video, te dejo el link: hub.docker.com/r/ollama/ollama
hola, como podria hacer para que no alucine tanto, nose porque cada pregunta que hago me responde algo nada que ver, o un hola y me dice algo fuera de contexto, como lo podria hacer? necesito ayuda.
buenas! ahi lo que podes hacer es modificarle la prompt exactamente para lo que vos necesitas, te recomiendo ver mi video sobre eso: ua-cam.com/video/wJI5VEoGmJM/v-deo.html , proba creando una prompt asi, si no te llega a andar bien con eso hablame a mi instagram: @facundocorengia y vemos como solucionarlo!
Excelente