Servidor IA para tu Intranet 100% local usando Ollama y Open WebUI
Вставка
- Опубліковано 23 лют 2024
- En los últimos vídeos, la petición más popular ha sido, ¿cómo puedo desplegar esta solución en una intranet para varios clientes? Hoy os explico distintas configuraciones para servir modelos LLM a través de la red local utilizando el servicio Ollama junto con Open WebUI. En los ejemplos usaremos Windows 11, pero esta configuración puede replicarse también con equipos Linux.
¡Cualquier duda, sugerencia o comentario es bienvenido! - Наука та технологія
¡Eres un crack, tío, mil gracias! :D
Llevaba intentando instalar Open WebUI desde hacía semanas (no me gustaba la idea de usar LM Studio habiendo una alternativa Open Source), y en un par de minutos me has solucionado todas las dudas y lo tengo funcionando. Pedazo de tutorial.
Gracias Juan Jesús por el feedback. Me alegro mucho de que te resultara útil este tutorial y espero que los próximos videos te resulten útles también.
.... increíble que ya tengo un servar AI en mi casa, alucino usándolo.... gracias por tus clases... maestro
Me encanta saber que estás utilizando este contenido para crear tu servidor. Ya nos contarás si se te ocurre algún caso o utilidad que no hayamos pensado todavía. Nos leemos!
Tremendo tutorial, mi única paga es NO saltando los anuncios. Gracias maestro
Ahora UA-cam posiciona los anuncios usando algoritmos para localizar los mejores momentos y poner el mejor anuncio. A veces pone de estos no saltables que son un horror, pero no me deja elegir cuáles va a mostrar. Si por mi fuera, ¡sólo pondría anuncios saltables!
Ahi vamos. Otro gran creador de contenido. Espero verte crecer y llegar de inicio a los 100M. Podrías crear un ejemplo que utilice datos financieros de una Empresa para dar Insights y generación de KPIs.
Gracias por el apoyo! Estoy preparando contenido con datos específicos de documentos, espero poder compartirlos en breve
Gracias Gracias Tremendo video y explicación de las configuraciones de Redes. Increible 👏🏻👏🏻👏🏻🔥🔥🔥
Sería bueno si subes tus ppt , aunque realmente ya con toda la info que brindas es invaluable, muchas gracias por difundir el conocimiento.
Excelente video y canal !!!
Seria interesante poder implementar con Python (con FastApi como alternativa) una api que consuma el modelo LLM, con LangChain implementar RAG, llamadas a funciones externas, etc. Además así queda abierta la posibilidad de poder conectarse desde distintos clientes (Mobile, Web, Desktop) y con distintos lenguajes. Ahi ya queda en cada uno poder implementer medidas de control para cantidad de usuarios en paralelo, control de acceso, entre otras cosas.
Saludos cordiales desde Chile.
Gracias por la sugerencia Guillermo. Hay varios proyectos de este tipo que sirven llamadas del Langchain utilizando Streamlit como interface. He escogido Open WebUI para esta serie porque ofrece muchas funcionalidades de base y está en constante desarrollo. Para usos más avanzados, ciertamente pueden implementarse muchas funcionalidades extras con Langchain, LlamaIndex, etc. Saludos para todos los chilenos que ven La Hora Maker!
esta semana ya prendimos un mixtral con 46gigas de ram y GPU de 12 gigas.. es una maravilla trabajando.. increíble... GRACIAS MAESTRO!
Me alegro mucho de que lo hayais puesto en marcha! Gracias por comentar!
Aquí hay un detalle y es la tarjeta gráfica 2060, estamos hablando de un consumo 24/7 . Yo me iría por el Orange PI 5 Plus en términos energéticos con su ventilador y lo necesario para que no se caliente. Ollama no me ha corrido bien el modelo QWEN1.5-7B, hasta me respondía vacío, el que si me funcionó fue el LMA Studio desplegando su función de servidor y bastante rápido. Sería genial un video para poder usar esto por "Internet" y lo más importante como llamarías a tu IA local utilizando servicios en la nube como AWS o Azure.
Creo que la orange pi que mencionas tiene algunas cositas en su cpu para IA?. Es la mejor opción. Lamentablemente hay que esperar a que progresen más las NPU integradas en ARM
@@AlvM6428 Según veo su procesador cuenta con
AI Accelerator, NPU 3.0
El único problema con la NPU de la placa es que hayq ue convertir los modelos usando el toolkit de Rockchip y parece que este está pensado más para modelos de visión que LLM. Hay una iniciativa llamada MLC que usa la GPU Mali para hacer inferencia acelerada y que consigue una mejora de rendimiento.
LM Studio requiere interfaz para funcionar, por lo que no se le puede poner en modo servidor desde linea de comandos. En cambio Ollama si que se puede configurar directamente para que escuche a través de internet, modificando las variables de entorno
muchas gracias, tu mejor video! :)
Me alegro que te gustar el video! El nivel de sus contenidos is over 9000! :)
Excelente cuando continúas con esta serie?
Mil gracias, felicidades por tu trabajo ya que es de gran ayuda para los demás. ❤
Me alegro de que te resulte de ayuda. Gracias por comentar.
Muchas gracias
Excelente video! Muchas gracias por la explicación!
Con mucho gusto!
Genial el vídeo, muchas gracias. ¿Qué tal si lo llevamos al siguiente nivel y tenemos un vídeo de opciones para hostearlo en internet? Igual comprar una gráfica o montarse un equipo no es siempre una opción, y tenerlo compartido con más gente en internet para que salga más barato podría ser un camino para mucha gente. Y otro vídeo también podría ser cómo usar el mismo servidor (local o hosteado) para tener diferentes servicios, como generar imágenes con stable difussion o así.
Pero vaya, lo más importante, muchas gracias por el vídeo 🙂
Muchas gracias a ti por comentar.
Tengo pendiente de crear un vídeo en el que levantamos uno de estos servicios en Runpod, que es un proveedor online donde se puede obtener servicio por horas con GPUs bastante más potentes.
En cuanto a la parte de compartir el servidor, la principal limitación de la configuración actual con Ollama es que cuando se lanzan muchas consultas, éstas se encolan dentro del servidor y no es capaz de paralelizarlos.
Si quisiéramos generar un servicio en el que podamos responder consultas de forma paralela, lo más interesante sería montar una solución como vLLM que nos permite realizar esta labor en paralelo y no encolarlas.
Apuntado el video en la lista de pendientes!
*Muchas Gracias por compartir sus conocimientos y experiencia,Like y Suscrito👍👍👌👌👍👍*
Gracias por tu comentario. Espero que sigas disfrutando los próximos videos!
Muchas gracias!, muy bien explicado
Con mucho gusto
Genial como siempre
Muchas gracias por tu comentario
Muy buen video Gracias
Gracias por comentar Paulo
Gracias Cesar !!!!
Con mucho gusto!
hola.. consulta, se le puede cargar documento propios?
se le puede cargar una base de datos propia para que analice?
Te paso un like... ..
Gracias 👋👋👋👍
Gracias a ti por comentar! Saludos!
Esta genial😂 la IA local
A por ello con la ÍA local!
Impresionante vídeo, maestro!!! Como Siempre.
Una duda, conoces AI21 Studio? Se podría implementar dentro de estos servidores con Ollama Y OWUI en local?
Hasta dónde sé AI21 Studio es un servicio alojado que no tiene licencias abiertas, por lo que no se podría implementar en esta configuración con Ollama y Open Web UI. Ahora bien, sería interesante ver qué funcionalidades ofrece este modelo de AI21 Studio y tratar de buscar el modelo abierto equivalente que pudiera dar un rendimiento similar, aunque quizás no sea tan óptimo e ideal.
Es justo lo que estaba necesitando! tienes canal de discord para ir consultando? estoy desarrollando un proyecto para la escuela secundaria donde doy clases, y me serviría algo de ayuda.
Hola! Aquí te dejo el enlace al discord: discord.gg/EssKWUmCxA
Vamos a ponernos en marcha y conversar sobre estos temas por allí también!
Ese PC que estas usando ¿cuantas conexiones simultáneas te aguantará? Y si quiero más conexiones simultáneas, ¿se pueden instalar 2 tarjetas gráficas en el PC para aumentar ese poder de procesamiento simultáneo?
Tendria sentido seguir este tutorial para uso propio? Porque he estado probando con LLMs en LM Studio y algunas pesadas van bastante lentas. A lo mejor me interesa la velocidad que comentas? O seria la misma? Porque como mencionas que se usa con mas gente.
Muchas gracias por la pregunta. La configuración que presento aquí puede usarse tanto para una persona como para varias. LM Studio es muy comodo para una persona y la interfaz está muy pulida. Ahora bien, esta configuración de Ollama + OpenWebUI te ofrece la posibilidad de realizar consultas a tus propios documentos y sitios web, guardar prompts favoritos y algo, no menor, acceder a la interfaz web desde el móvil.
En cuanto a la velocidad será la misma, si se ejecuta todo en la misma máquina con la misma GPU.
Excelente video, por cuestiones de tiempo no he revisado todo tu material, pero sabes de algún modelo al que pueda limitar sus respuestas y entrenar con información en especifico o un video que tengas donde lo expliques o quizás sea idea para un próximo video, Saludos.
Gracias por tu comentario. En principio todos estos modelos abiertos pueden personalizarse usando fine-tuning para limitar la respuesta y adaptarla a escenarios diferentes. Lo comentaré en detalle en un próximo vídeo!
@@LaHoraMaker ok entiendo investigando un poco mas encontré un proyecto en GitHub llamado LLaMA Factory, no se si lo conoces?
como aprovecho al gpu, porque noto que usa la memoria normal ... tengo AMD Radeon RX Vega 11 Graphics, será que no la soporta? tengo la ultima version de ollama
Hola master super el video, consulta puedo ponerlo aprender de un path específico sabes donde lo poseia configurar
En OpenWebUI se gestiona por documentos esta cuestión, aunque es posible que en futuras versiones se pueda directamente apuntar a un directorio.
Pero que descubrimiento dios mio!!!.
Menuda barbona !!!
A ver que fabricas ahí ho ?
Hola Cesar muchas gracias por compartir su trabajo.
Tengo mi biblioteca de PDFs: algunos de medicina, otros de historia, etc. Me gustaría limitar mis consultas a estos documentos. Esto que presenta aquí se puede personalizar para lograr ese objetivo? Gracias por su respuesta.
Hola Carlos,
Se puede hacer con esta configuración lo que pides. Para ello, lo único que tendrías es que etiquetar los contenidos cuando los des de alta con una etiqueta, por ejemplo, medicina o tecnología.
Luego, cuando vas a lanzar tu consulta, pulsas el botón almohadilla y ahí te salen las colecciones disponibles de tal forma que puedes limitar la búsqueda a cualquiera de las etiquetas que has utilizado antes.
Espero que te resulte muy útil. Un saludo y nos vemos en los próximos vídeos.
Lo puedo montar online en un hosting GPU?
Gran vídeo, gracias. Que tal iría con una grafica tesla p40 de 24GB? O mejor una 3060 de 12 GB
Por temas de compatibilidad de drivers y soporte para distintas funcionalidades y optimizaciones recientes te recomendaría la 3060. Es muy similar a la que uso en mis vídeos y está muy bien de precio
wow, me encantó, muy bien explicado. No existe configuración similar aplicable en mac? digamos en mac studio? se que suena tonta la pregunta pero solo quiero saber por curiosidad. Me interesaría crear un proyecto de una IA en local que analice archivos legales (soy abogado y programador y entendí la parte técnica de tu video) y pueda generar texto. Cual sería el mejor enfoque?
Hola Juan, tanto Ollama como Open WebUI pueden funcionar en Mac. La configuración será similar a la de Linux en la parte servidor. (Como no tengo un Mac con mucha memoria para probar, no había contemplado el escenario). Gracias por la pregunta!
Muchas gracias Cesar, me queda una pregunta: ¿cuánto disco duro le pondrías a ese servidor, como mínimo?
Cada uno de los modelos te van a ocupar entre 5-20 GB. Lo cierto es que podrías tener un sólo modelo que te guste corriendo todo el tiempo y no dedicarle mucho más espacio. Ahora bien, si vas a probar modelos y a cambiar habitualmente de configuraciones, el disco acaba lleno en muy poco tiempo.
Un factor a tener en cuenta es que la velocidad del disco influye también en el tiempo que tarda en cargarse hasta la memoria. En mi caso, reutilicé un disco NVMe 3.0 de 512 GB para uno de los equipos. Posiblemente hubiera valido con uno de 256 GB o con un SSD SATA, pero era lo que tenía a mano. Como curiosidad, este disco fue sustituido por otro de 1 TB, porque de tanto probar modelos, siempre me acabo quedando sin sitio en todos lados :D
Buenos días, excelente video, cómo se usaría un esquema RAG, sobre está arquitectura?
El servidor Ollama te ofrece la posibilidad de generar los textos. Con Open Web UI puedes hacer una especie de mini RAG. Aquí tienes el ejemplo de cómo hacerlo: ua-cam.com/users/liveM4rdx-MEbQQ?si=A0ubWe_Nh0aBXAiZ&t=4022
Ahora bien, si quieres algo más complejo, necesitarás usar LangChain o algo similar para tomar los documentos de origen, calcular los embeddings, almacenarlos en una BD vectorial, calcular la similaridad e inyectarlos en la consulta para la generación.
Mil gracias por tu respuesta@@LaHoraMaker
Habría alguna forma de darle información personalizada a esa inteligencia artificial, para que pueda responder con la misma?
Creo que te puede interesar mucho el último video que hemos publicado al respecto: ua-cam.com/video/M4rdx-MEbQQ/v-deo.html
Si quieres revisar la parte de contenidos locales, comienza aproximadamente en el minuto 67 del video (o a las 01:07)
Gracias por el vídeo, pero y si le das un vuelta de tuerca? Es decir un su puesto de 3 servidores con rtx los tres y poder aprovechar ese poder de cómputo, x ejemplo para hacer este mismo esquema pero con los modelos gordos de LLMs, no se si me explico...
Hola, sí, me queda totalmente claro. En los últimos meses he visto algunos proyectos para trabajar de forma distribuida y creo que veremos a futuro muchos más proyectos de este tipo. Ahora bien, en estos frameworks no están soportadas todos los modelos recientes, por ejemplo, como Llama 2:
github.com/X-rayLaser/DistributedLLM
Otra opción posible para utilizar distintos equipos y poder sacar el máximo partido es utilizar un framework como Autogen en el que distintos agentes ejecutan distintos modelos. Uno de ellos, por ejemplo, podría dedicarse a codificación, otro podría dedicarse a planificación de tareas, revisión del código, etc.
Tengo pendiente de hacer un vídeo sobre este tema, pero todavía no he cubierto las bases en los vídeos del canal para poderlo abordar. Así que te recomiendo que le des un vistazo a los próximos vídeos donde vamos a ir a escenarios un pelín más complicados y avanzados.
@@LaHoraMaker Gracias, estaré atento y mientras miro la info que me has dado, mil gracias
Interesante proyecto. Sólo una duda : que potencial se puede sacar a este servidor a parte del educativo? (teniendo por ej en un navegador bing chat)
Muchas gracias por tu comentario.
Desde mi punto de vista existen varias ventajas de este método. La primera que no sabemos si Bing Chat seguirá estando disponible a futuro o será un servicio de pago ya que como sabes todos estos procesos de inferencia requieren unas GPUs y es posible que en el futuro servicios que hoy en día son gratuitos pasen a ser servicio de suscripción o están incluidos en algún tipo de plan de precios por parte de los fabricantes.
Por otra parte cada vez que estamos enviando nuestras consultas en muchos de los casos estas consultas se están utilizando para reentrenar los modelos y no queda muy claro qué se hace con nuestros datos y es por eso que creo que es importante también apostar por soluciones locales que no dependan de tener la conexión de internet y que no dependan de un proveedor externo. Es decir, si nos quedamos sin conexión a internet no podremos consultar Bing Chat y tampoco podemos consultar ChatGPT o cualquiera del resto de servicios. Así que creo que tener disponibles estos modelos locales puede ayudar aparte de otras cuestiones meramente técnicas como la latencia o en ciertos casos, aquellas relacionadas con la privacidad
¡Buenos días! He montado el servidor, pero el problema que tengo es que mi tarjeta gráfica es AMD y parece que Ollama no está detectándola, por lo que el modelo está ejecutandose directamente sobre la CPU. ¿Dónde puedo activar el uso de mi tarjeta gráfica, algún config?
Actualiza Ollama que justo han añadido soporte para tarjetas AMD esta misma semana!
Amigo excelente video te felicito. Para el caso mio me funciona unas veces realizando consultas de LLM como llama2 con open-weui en localhost:3000 pero a veces me sale este error "Uh-oh! There was an issue connecting to Ollama." porfa colaborame que puedo hacer??.. volvia borrar ollama y volvi a montar los LLM y me sigue saliendo el error.
¿Te ocurre esto todas las veces o cuando llevas un tiempo chateando con el modelo?
Buen video!!! Alguna alternativa a Open WebUI que solo proporcione una API, que gestione múlti usuarios y que permita licencia comercial.. De antemanos gracias.
Creo que lo que requieres en tu caso es un endpoint api y la gestión de distintas claves para distintos usuarios. Dale un vistazo a LiteLLM: github.com/BerriAI/litellm
Gracias por hacer el video amigo Cesar... valdrá la pena intentarlo con la Orange Pi 5 ? Aguantará, se le podrá poner una Tarjeta Gráfica? Digo por el coste
Una 2060 funcionando 24/7 no saldría económico para algo hogareño, Nvidia creo que tiene gráficas especializadas para esto. La Orange no consume casi nada y está optimizado en su procesador con AI Accelerator, NPU 3.0 en el caso de la Pi 5 Plus. Yo creo que valdría más la pena la Orange PI 5/5 Plus
@@terranovich8471 Ollama no tira de ese procesador. Aún nadie a usado ese NPU en la Orange pi 5 plus. Me gustaría saber si alguien hace esto con la Orange Pi 5 Plus, cuantos usuarios al mismo tiempo es capaz de aguantar...
@@royotech Ollama es lento hasta en mi PC Gamer con una RTX 4070, sin embargo, con LM Studio me ha ido muy bien, tocará probar el LM Studio en el Orange Pi 5 Plus para ver rendimiento.
@@terranovich8471 excelente dato. LM Studio te permite hacer el uso en intranet?
@@royotech Claro puedes levantar tu localhost.
Mi primer video en este canal. Ya monte un llama hace un par de meses pero me va muy lento
Hola! ¿Qué equipo estás utilizando para Ollama? ¿Con qué modelo estás probando?
@@LaHoraMaker i5 con wsl2 con ubuntou 22 sobre Windows 11
Gracias, como puedo alimentar UN Modelo de ollama con una vista de base de datos?
Muchas gracias por la pregunta. Comentarte que durante el video de ayer estuvimos durante el directo hablando sobre la posible solución y pasa por utilizar librerías como Langchain para transcribir estos consultas de texto a consultas SQL y devolver los datos de la base de datos local.
Ahora bien, en este caso, Ollama simplemente funciona con un motor de inferencia configurado en Langchain. Y es esta librería por encima la que utiliza y ofrece los componentes que te permiten consultar la base de datos.
Aquí código de ejemplo: python.langchain.com/docs/expression_language/cookbook/sql_db
conoces algun servicio en la nube para desplegarlo que no sea azure ni aws, son infernalmente caros
Yo este tipo de cosas suelo ejecutarlo en runpod que es bastante más economico
@@LaHoraMaker voy a mirar
Cuales son las que mejor funcionan? Desde que fecha estan actualizadas las IA? se pueden personalizar?
La pregunta fundamental es ¿para qué quieres usar principalmente tus modelos? Si es para uso general suelo recomendar Solar. Para algo que siga más el prompt Nous Hermes y sus variantes. Para código la serie Dolphin va bastante bien. Cada modelo tiene fecha de actualización propia y si se pueden personalizar, aunque todavía no lo hemos visto en el canal
Que pasa cuando 2 usuarios lo usan a la vez, se reduce exactamente a la mitad los tokens por segndo? 3 o mas?
Podrias mostrar en algun video algunos benchmarks basicos? Please!
Cuando dos usuarios lo usan a la vez, el servidor procesa primero una petición y después la otra. Si tienes muchos usuarios en paralelo es mejor buscar soluciones específicas como el servidor vLLM en lugar de Ollama.
¿Qué tipo de benchmarks te gustaría ver?
@@LaHoraMaker Genio!! gracias por la respusesta este finde voy a armar este server siguiendo tus instruciones, justamente en mi caso es mas util que procese el request a toda velocidad y luego siga con los otros, estoy obteniendo unos 26 tk/s con Qwen 1.5 con una 3090.
Al ser alta la cantidad de toquens los tiempos de espera no son altos para quien quede en cola de espera.
Muchos de nosotros buscamos darle algun uso comercial asi es que siempre es bueno saber velocidad, modelo usado en el video, hardware etc,.
Yo estaba bastante verde, en pocas semans APRENDI MUCHO, y gracias en gran parte a tu canal. Gracias!
A los que van llegadno nuevos, datos de performance simpre seran utiles, si queda pesado repetir en todos los vidoes, podria ser algo que quede en la descripcion, ejemplo:
Modelo
Quantizacion
Tokens/s
Hardware usado.
Dicho sea de paso muestra Qwen, es lo mejor que probe, pra usos generales relacionados con escritura, el modelo 14b, quantizado 8.
Modelo mas pequños de Qwen 1.5, no los recomiendo para usos serios, pero es interesante sus habilidad multilingue, mejor que otros modleos gigantes incluso.
Hola, Soy desarrollador y quisiera preguntarte ¿Cómo podría interactuar con ollama utilizando el protocolo http? Un saludo, muy buen video!
Ollama integra una API por defecto que sirve sobre http localmente en el puerto 11434. Puedes atacar el endpoint app con las librerías Python o Javascript de Ollama, o utilizando el API directamente (github.com/ollama/ollama/blob/main/docs/api.md ) o incluso utilizando el mismo código que usarías para OpenAI: (github.com/ollama/ollama/blob/main/docs/openai.md ). Eso si, en modo compatible OpenAI, temas como los modelos de visión no funcionan. Espero que te resulte muy útil.
@@LaHoraMaker Muchas gracias!!!!😍
Puedo montarlo en un cluster ARM ?
¿Qué tipo de equipos ARM son? ¿Algo tipo Raspberry Pi?
Necesito saber qué es más relevante si pasar el PC de 16 gigas en ram a 32GB o aumentar la tarjeta gráfica.? Qué tiene mayor beneficio con el mismo coste.?👈🏼👈🏼👈🏼👈🏼👈🏼
Pues es una pregunta complicada: ¿qué tarjeta gráfica tienes ahora mismo? ¿Cuanta memoria RAM tiene tu tarjeta gráfica?
@@LaHoraMaker instale un modelo de 72B en mi Notebook ryzen7 de 16GB y funciona muy lento. Veo que las cosas son como son. Tengo que comprar un PC y estaba viendo uno de 16GB con RTX de 12GB. ¿Que es mejor aumentar la RAM a 32GB o escalar en una tarjeta Gráfica inviritiendo el mismo dinero?
@@royotech el problema que tienes con ese tamaño es que ocupa quantizado 41 GB. A esto hay que sumarle el contexto. Lo ideal para correr esto sería un tarjeta gráfica de 48GB. El problema es que este tipo de tarjetas resultan todavía muy caras.
Si compras una tarjeta de 12 Gb podrás cargar menos de un tercio del modelo, así que aunque se acelere una parte, vas a seguir dependiendo del procesado de la CPU.
Ahora bien, el problema de base que veo es que tienes mucha menos memoria que el tamaño del modelo que quieres correr. Cuando pasa esto, el modelo empieza a descargar capas al disco, bajando la velocidad drásticamente.
Así que si quieres correr modelos más grandes, te recomendaría un equipo con 64 de RAM para que se pueda ejecutar todo el modelo en memoria. Si el equipo tiene una RTX mejor que mejor, pero aquí te vendrá mejor tener cubiertas las bases.
@@LaHoraMaker muchas gracias, ahora entiendo mejor.
buenisimo...pero extendio mucho el video, si solo es instalar olama y ya jajajaja.
Gracias por el comentario. Mi intención era cubrir todos los pasos para poner a funcionar Ollama y la interfaz web para dar soporte a distintos usuarios, así que ciertamente quedo un poco largo :)
Hoy en día con lo que gasta eso no vale la pena pero algo mas portátil tipo Orange Pi me gusta mas la idea
Todo depende de la frecuencia de uso y la velocidad que necesites de generación. Lo bueno es que puedes ejecutar una solución parecida en ambos entornos y elegir cuál emplear en base a tus necesidades. Muchas gracias por comentar!
Oracle cloud free tier 24gb arm ampere + ollama
De nada, que veo que hay mucho experto en UA-cam sobre todo en habla hispana
Ah gracias por el apunte, ¿cuantos tokens/s te da ollama en esa configuración con modelos tipo Mistral 7B?
cuando dijiste 3090 nvidia .-.
De momento es lo que estamos usando, una 3090 de segunda mano. Aunque con una 3060 se puede hacer muchísimo también en local.