Crea un endpoint API de vision 100% local usando LM Studio
Вставка
- Опубліковано 12 вер 2024
- En este video te comparto las instrucciones para crear tu propio endpoint local de visión, compatible con el API de ChatGPT de OpenAI, utilizando el programa LM Studio. Este programa puede utilizarse tanto en Windows, como Mac o Linux para servir un modelo abierto de visión como LLaVA o BakLLaVA para poder conversar con tus imagenes o integrarla adentro de otros servicios o proyectos web.
Hola, gracias por tu contenido. Ojala pudieras sacar mas video como este para Mac con chip M. Saludos desde Mexico
Apuntado! Se vienen nuevos videos para máquinas sin GPU dedicada!
Muchas gracias. Un día nos podrías explicar como hacer un Fine Tunning para reentrenar un modelo con algún método sencillo y con poco código.
En breve se vienen los métodos de fine-tuning con poco código, aunque empezaremos con fine-tuning de texto (y después de imágenes)
Hola , excelente video una duda existe algún modelo para crear imágenes en local usando la api de lm studio ?
De momento no se ha integrado ningun programa de creación de imágenes con LM Studio. Para esto quizás podrías dar un vistazo a Automattic 1111 que te permite levantar un endpoint API para la generación de imágenes localemente usando Stable Diffusion.
hola, tengo una consulta en tu interfaz te aparecen varias opciones como aceleracion por gpu, yo hace por instale lm studio pero me faltan varias opciones de las que tu tienes
Hola! Acaban de actualizar LM Studio a la versión 3 y han cambiado un poco la interfaz. Voy a revisarlo para hacer un video nuevo con las novedades. Gracias por comentar!
Para un endpoint su proposito es para conectar al api de Open AI ....pero mostraste su uso para describir una imagen... mi pregunta es si podria hacer creacion de nuevos documentos (como solicitudes o cualquier documento que tenga valor legal en el ambito empresarial) desde introducir documentos en pdf de manera local asi entrenar a la IA de hacer labores de un contador ,administrador o la parte legal de un abogado!! me explico optimizar las cosas de una empresa ... que son de manera de inteligencia... ya que la parte creativa de diseños graficos aun los humanos se tiene ese don... espero tu respuesta mi estimado ...
Hola Yaqui, gracias por el comentario!
Justo el día anterior publiqué un video sobre un API para generación de texto que podría tomar como parámetros un texto concreto y procesarlo para generar otros documentos, etc. Te dejo por aquí la URL del video por si quieres darle un vistazo: ua-cam.com/video/Flz2oy8D5Uw/v-deo.html
Donde puedo obtener la documentación de la api? o es la misma documentación de openAI?
El endpoint que levanta LM Studio replica la API de OpenAI, así que las llamadas deberían ser las mismas.
En la parte de arriba, a la derecha de la pestaña de Servidor de LM Studio tienes varios ejemplos de código.
También te recomiendo que descargues llava 1.6 en lugar de 1.5, ya que el modelo ha mejorado bastante
@@LaHoraMaker Si quiero darle contexto a la IA por medio de documentos pdf, tienes alguna idea de como hacerlo?
Buenas!, ¿qué GPU tienes?, en el caso de tener 14 VRAM en la GPU y 16GB de RAM ¿tienes algún modelo que sea decente para que ande en mi máquina?, gracias de antemano!
Hola Kris! Haciendo distitnas pruebas, unas de las cosas que hacía más lenta la inferencia con LLaVA era el adaptador. Con el adaptador quantizado, va bastante mejor.
Justo esta semana he instalado también Obsidian 3B quantizado que va bastante bien: huggingface.co/nisten/obsidian-3b-multimodal-q6-gguf
Este deberías poderlo correr sin problema, aunque en mi experiencia el modelo Q4_0 de Llava 1.5 da mejores resultados:
huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-Q4_K.gguf
huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-mmproj-Q4_0.gguf
Ya nos contarás a ver cual te funciona mejor y así lo podemos compartir con toda la comunidad
Podré usar LLM estudio en Raspberry PI 5 conectandole una tarjeta gráfica y usando un disco rígido en USB?
Poder, poder, deberías poderlo ejecutar. Ahora bien la CPU de la RPi 5 no es muy potente y hasta donde se la velocidad del bus PCIe es limitada, con lo que no aprovecharías toda la capacidad de la GPU para procesar la entrada.
De todas formas, esta semana que viene hago la prueba con la Orange Pi para que podáis ver la velocidad a la que funciona en una tarjeta similar (aunuqe un poco más potente)
@@LaHoraMaker muchas gracias. Te informo con lo que averigue. Que la entrada para tarjeta gráfica en la Raspberry Pi 5 tiene 2 hilos y las tarjetas gráficas 12 hillos. Oye, suponia que la Raspberry Pi 5 se había igualado con la Orange Pi 5. Sería interesante saber que pasaa. Tengo en mente un proyecto Open Source con estas placas y Mixtral para los profesores. Seria un impacto en los colegios de menos recursos.
y si corres localmente el llm estudio y te conectas por red al raspeberry para que esta envie los datos asi la carga estaria en el pc y no en el dispositvo
@@FENIXDO0166es una buena idea, emplear el equipo más potente para la generación y equipos más ligeros para realizar las consultas. De hecho, estaba pensando una serie que no se como llamar: servidor local LLM, servidor potente, servidor tocho o algo similar, cubriendo precisamente el escenario cliente servidor
Solo usando CPU?
LM Studio puede funcionar tanto con CPU como con GPU (o combinando ambas). Ahora bien, estos modelos de visión son bastante intensivos en cuanto a recursos así que posiblemente sin una GPU las respuestas serán tremendamente lentas.
@@LaHoraMaker si eso lo se, me sorprende lo rápido que entregó la respuesta. Está muy optimizado el modelo. Próximamente va estar en todos los dispositivos.