Instalar Llama 2 IA en PC | Instalar chat GPT en local, LM Studio mejor programa para modelos LLAMA
Вставка
- Опубліковано 16 вер 2023
- Veremos como poder usar modelos de inteligencia artificial generadores de texto como Meta LLAMA 2 IA , Vicuña IA y otros parecidos a CHAT GPT de forma local gracias al programa LM STUDIO, tutorial completo.
#llamaIa #metaIA #inteligenciaartificial #chatgpt #tutoriales #lmstudio
▼SI, TE HA AYUDADO, APOYA AL CANAL CON UNA DONACIÓN▼:
- www.paypal.me/BuenasPracticas/1
- Si eres de Perú YAPEANOS:
Aqui codigo QR para scanear buenaspracticas-jlp.blogspot....
▼GRACIAS▼
Pagina del programa LM Studio:
lmstudio.ai/
Modelos recomendados
Recomiendo que busquen este habla bien el español pero esta censurado : MythoMax L2 13B
GUANACO sin censura :
huggingface.co/TheBloke/Guana...
Pagina donde puedes encontrar varios modelos:
huggingface.co/TheBloke
Tags:
Usar programas tipo chat gpt en computadora, usar llama 2 IA en local, como instalar LM Studio, tutorial en español LM STUDIO 2023, LLAMA IA 2023, como instalar modelos de LLAMA sin censura, chat GPT sin censura tutorial
![Testing out OLLAMA - Your own ChatGPT locally! [ENGLISH SUBTITLES]](http://i.ytimg.com/vi/OmLKfDoAfyM/mqdefault.jpg)
![Testing out OLLAMA - Your own ChatGPT locally! [ENGLISH SUBTITLES]](/img/tr.png)
Pagina del programa LM Studio:
lmstudio.ai/
Modelos recomendados
Recomiendo que busquen este habla bien el español pero esta censurado : MythoMax L2 13B
GUANACO sin censura :
huggingface.co/TheBloke/Guanaco-13B-Uncensored-GGUF
Pagina donde puedes encontrar varios modelos:
huggingface.co/TheBloke
▼SI, TE HA AYUDADO, APOYA AL CANAL CON UNA DONACIÓN▼:
- www.paypal.me/BuenasPracticas/1
- Si eres de Perú YAPEANOS:
Aqui codigo QR para scanear buenaspracticas-jlp.blogspot.com/p/codigo-qr-jlpintado.html
▼GRACIAS▼
Este es el mejor tutotial, ya que comienza indicando los requerimientos de la pc, excelente
Me encantó, gracias
Muy buen tutorial. Gracias :)
🎯 Key Takeaways for quick navigation:
00:00 💻 *Consideraciones antes de instalar LM Studio y modelos*
- Recomendaciones para la computadora: al menos 16 GB de RAM, procesador Ryzen 5 o similar, tarjeta de video Nvidia para mejor rendimiento.
- Espacio en discos duros: es necesario tener suficiente espacio, especialmente en el disco donde se ejecutará el programa y donde se guardarán los modelos.
- Descarga e instalación de LM Studio: desde la página oficial, descarga el programa, ábrelo y sigue los pasos para la instalación.
02:02 📥 *Descarga e instalación de modelos de inteligencia artificial*
- Elección del modelo: se recomienda un modelo como Guanaco de 13 billones de parámetros, pero se proporciona un enlace para explorar otros modelos.
- Descarga del modelo: el proceso de descarga e instalación del modelo Guanaco se realiza desde la interfaz de LM Studio.
- Consideraciones al elegir modelos: se menciona la importancia de la compatibilidad y la capacidad de la computadora para manejar modelos más pesados.
04:06 🗣️ *Inicio de la sección de chat y configuración*
- Carga del modelo: cómo cargar el modelo descargado en la sección de chat de LM Studio.
- Uso del chat: se muestra cómo interactuar con el modelo para generar respuestas en español.
- Ajustes para aumentar contexto: la configuración para incrementar el contexto del modelo, permitiendo respuestas más extensas.
05:53 🧹 *Gestión del caché y eliminación de conversaciones*
- Peso de las respuestas: se destaca que las respuestas generadas pueden ocupar varios megabytes o incluso gigabytes.
- Eliminación de conversaciones: cómo borrar las conversaciones y liberar espacio en el caché del disco.
- Consideraciones sobre espacio en disco: la importancia de tener suficiente espacio en el disco C y el disco donde se instala el programa y modelos.
06:36 ⚙️ *Optimización con tarjeta de video Nvidia*
- Aceleración con GPU: cómo activar la aceleración con la tarjeta de video Nvidia para mejorar el rendimiento.
- Configuración adicional: ajustes para mejorar la velocidad de procesamiento al utilizar la tarjeta de video.
- Experiencia personal: el presentador comparte su experiencia y cómo la optimización puede hacer que la IA responda de manera similar a GPT-3, pero con algunas consideraciones sobre la potencia de la computadora.
07:28 📚 *Conclusión y agradecimientos*
- Resumen final: se recapitulan los puntos clave sobre la instalación, configuración y optimización de LM Studio y modelos.
- Canal de tutoriales: el presentador menciona que su canal ofrece tutoriales variados, y agradece a la audiencia por ver el video.
Made with HARPA AI
MI LIKE BUEN VIDEO Y BIEN EXPLICADO... SOBRE TODO DONDE PODEMOS GUARDAR LOS MODELOS GRACIAS BRO.
Hay alguna forma de generar audio a partir de texto con este mismo programa? por cierto buen video me sirvió mucho
Hola y permite hacer RAG?
TENGO UNA RAM DE 64 GB UNA RTX 3060 12GB VIRAM FUENTE DE ALIMENTACION 1000W PLACA MADRE GYGABITE GAMING X V2 PROCESADOR RINZEN 7-5700-X ¿ES UN ORDENADOR CLASE MEDIA? DISCOS DUROS M.2
como podria, por ejemplo con este porgrama subir varias leyes libros y demas (trabajo en abogacia) y preguntarle por ejemplo que me busque en articulo dice tal cosa o sea de una ley, y luego si puedo comparar con un libro que le subi anteriomente para extraer parrafo, se puede?
Hola, por ahora NO se puede hacer algo asi, no porque no exista la tecnica, simplemente porque no se ha implementado porque ello requiere mas procesamiento, mas bien mucho procesamiento por hacerlo de forma local, asi que de seguro estaran trabajando en como optimizar ello, pero por el momento con este programa no se puede.
y que otro lenguaje recomiendas amigo ?? llama 2 por ejemplo
Hola, como mencionas llama 2 y mixtral los recomendados.
muy buen video, lo lamentable es que la primera consulta sobre la batalla de rancagua, de la independencia de chile, el modelo guanaco me la contó como una gran victoria independentista, lo que completamente falso ya que los realistas nos volaron el OGT XDDDD
te agrego que luego de su respuesta errada le respondí esto: "no mucho mas, ya que en realidad fue una gran derrota para independentistas, y no una victoria como tu respondiste". Bastó eso y luego el modelo entró en un loop infinito de preguntas y respuestas automáticas sobre el tema de la independencia de Chile. El uso de esta herramienta al parecer no es estable, al menos en mi PC. Saludos!
Hola, aqui recomiendo usar los modelos que recomienda el programa en su hoja de inicio, varios de ellos tienen mayor rigurosidad / manejan mas contexto , el modelo GUANACO su ventaja es que no esta censurado.
Tengo 12gb de ram, intel i5 6400, y un nvidia gt 610 1gb ddr3 .... Claramente no me funciona ni el mas simple o por un problema de driver o capacidad ¿Estoy en lo correcto? Pensaba comprar 8gb de ram mas pero que dicen ustedes? Tarjeta de video tambien?
Hola, es la capacidad de tu tarjeta, la mayoria de estos "programas IA" piden como minimo una RTX, y al menos unos 8gb en la tarjeta de video
Como van esa noticias de yt?
Hola ¿no entiendo la consulta?
existira una forma de api para conectarlo a python bro?? no importa si es local o de forma nube
lamento decir que no lo se.
Amigo como se entrenan los modelos?
Hola, sobre estos modelos no te mentire , NI IDEA
500 GB de memoria SSD es suficiente? O recomiendas 1 TB?
Hola, si vas a usar otros programas IA como stable diffusion local, entrenar loras local, y usas photoshop recomendaria 1 tb de disco SSD para el disco C
no entendi muy bien los requisitos podrias ponerlos aqui para amd o nvdia gracias
Cualquier GPU moderna sirve mano aseguratr que tenga buena VRAM no mas
jajajaj santandereano 100% mano@@uiobla
Se pueden crear APIs con ese programa?
Hola, si tu pregunta es crear variantes de chat gpts la respuesta es NO, ahora si tu pregunta es que te ayude a crear codigo para crear el programa, LA RESPUESTA ES SI, ahi puedes usar diferentes lenguajes especializados para codigo
Hola , disculpa ¿es offline el programa?
Hola, la respuesta es SI, lo he probado sin ninguna conexion y funciona perfectamente.
cual crees que sea mejor esta o mistral
Hola MIXTRAL es mucho mejor en todos los sentidos, desde mejor optimizado a mayor comprensión de las preguntas que se le hace.
@@tutorialessos esto de la IA es algo loco verdad no has pensando hacer un video de las cosas nuevas que se vienen ? como regular las IA y elminacion de paginas como civitai para que las personas no puedan seguir descargando loras y cosas asi, aunque si eso llegara a pasar la gente se abriria grupos de telegram, todo internet esta plagado de IA incluso de modelos falsas jejeje.
hola, gracias por la recomendación, pero no tengo pensando eso, este canal es de solo tutoriales, subo videos cuando puedo, asi que me centro mas dichos tutoriales.
te anda muy lento para tener una tarjeta nvidia rtx3060, puede que solo este usando su cpu, yo tengo una laptop con 16 de ram y una rtx 2060q y me responde mucho mas rapido, casi instantanea la respuesta, ademas se demora en cargar menos de 3 segundos, aclaro que uso ollama en archlinux, es mejor que lmstudio, tambien dispone de una interfaz web, pero es mejor por consola.
Hola, ¿pero usas el mismo modelo que uso en el LM? porque tambien depende del peso del modelo, he usado modelos de 5b y me escriben mas rapido, por lo demas tal como muestro en el video uso la configuracion usando la tarjeta.
Que procesador usas?
@@user-jw8lb5ff5k uso una portátil hp Envy 15 ep0001la , un procesador i7-10750H, puede ser por el modelo que ocupe
¿como se limpia el cache?
Hola, como se menciona en el video, elimina la conversacion porque es ella la que se guarda en el cache.
gracias, no estaba seguro@@tutorialessos
Se puede utilizar para cargar y chatear con documentos locales , alguien sabe cómo hacerlo ?
Hola, por ahora no tiene esa compatibilidad de subir / leer / entender archivos , aunque los de la app mencionan que trabajan en eso pero en las versiones actuales NO TIENEN ESA FUNCION.
Se puede agregar archivos para que busque informacion de esos archivos? y utilizarlos como base de datos.
Parece que no. En todo caso instalar y probar PrivateGPT
que tal programa? mejor que chatgpt?
Hola, la calidad es equiparable a CHATGPT 3.5 pero depende bastante de la potencia de tu pc y por supuesto los modelos que uses.
No sirve para programar, falla horrible
Es demasiado mala, falla en todo
Hola, es raro porque funciona a la perfeccion, ¿haz verificado si los modelos que estas descargando son compatibles con LM?
@@tutorialessos si y he probado demasiadas opciones y ninguna se le acerca a gpt3
varios que han probado en local el modelo MIXTRAL 8x7 instruct dicen que ya es el modelo gpt3, lamentablemente aun no lo pruebo de forma local, de forma online si lo he probado aqui : labs.perplexity.ai/ y me parece mucho mejor que el gpt3
@@tutorialessos le acabo de hacer 6 pruebas y fallo en todos los resultados
lo ¿haz probado de forma online o local?