¡Mi propio ChatGPT en Casa! : Así lo he hecho (Mini PC Geekom A8)
Вставка
- Опубліковано 15 вер 2024
- He aprovechado la potencia y el bajo consumo de este Geekom A8 para montar el cerebro de mi Inteligencia Artificial en casa: Ollama junto a Llama3, Whisper y otros modelos para interactuar desde Home Assistant.
✅ Existen dos modelos del Geekom A8 con diferente modelo de CPU:
► Official ES:www.geekom.es/...
Descuento: UNA8YTB
► Versión Ryzen 9 en Amazon: unloco.link/LBDJB
Descuento: V3BQ9AKY
► Versión Ryzen 7 en Amazon: unloco.link/iMOkL
Descuento: UNR7YTB24
⚡ Apúntate a la newsletter del canal y recibe consejos y trucos: unloco.link/ne...
Blog: unlocoysutecno...
🔴 Tienda de domótica en Amazon: www.amazon.es/...
👍 🅳🅰🅻🅴 🅻🅸🅺🅴 🅰🅻 🆅🅸🅳🅴🅾 🚀
// 👍 𝗔𝗣𝗢𝗬𝗔 𝗔𝗟 𝗖𝗔𝗡𝗔𝗟 🛑
Puedes 𝗶𝗻𝘃𝗶𝘁𝗮𝗿𝗺𝗲 a un café: www.buymeacoff...
🛑 Puedes convertirte en miembro del canal en UA-cam: / @unlocoysutecnologia
🛑 o puedes hacerlo en Patreon:
/ unlocoysutecnologia
💥 𝗦𝗨𝗦𝗖𝗥𝗜𝗕𝗘𝗧𝗘 𝗔𝗟 𝗖𝗔𝗡𝗔𝗟 𝗬 𝗗𝗔𝗟𝗘 𝗔 𝗟𝗔 𝗖𝗔𝗠𝗣𝗔𝗡𝗜𝗧𝗔. 𝗚𝗥𝗔𝗖𝗜𝗔𝗦! 💥
⚡ 𝗧𝗘𝗟𝗘𝗚𝗥𝗔𝗠 ► t.me/unlocoysu...
📱 𝗧𝗜𝗞𝗧𝗢𝗞 ► / unlocoysutecnologia
📸 𝗜𝗡𝗦𝗧𝗔𝗚𝗥𝗔𝗠 ► / unlocoysutecnologia
==== ENLACES Y OTROS VÍDEOS DEL CANAL ====
Enlaces de todo lo visto en el vídeo:
www.ollama.com/
www.amd.com/en...
Override Ollama para usar GPU Radeon 780M: github.com/oll...
Ollama GPU con iGPUs: github.com/oll...
Force allocate VRAM: github.com/seg...
Hugging Face: huggingface.co/
Home LLM para HACS: github.com/aco...
Llama 3: ai.meta.com/bl...
Open WebUI: docs.openwebui...
Te recomiendo que veas estos vídeos para entender algunos conceptos:
🔝 Scheduler para Home Assistant - • Programador VISUAL par...
🔝 Migramos a Z-Wave JS - • Migramos de ZWave a ZW...
🔝 ¿Cómo actualizar Home Assistant? - • ¿Cómo actualizar Home ...
🔝 Instalación de HACS en Home Assistant - • Instalación de HACS en...
🔝 Home Assistant Cloud - • Pagarías por Home Assi...
🔝 Conectar Node-Red y Home Assistant - • Home Assistant y Node ...
#chatpgt #inteligenciaartificial #geekom
![Testing out OLLAMA - Your own ChatGPT locally! [ENGLISH SUBTITLES]](http://i.ytimg.com/vi/OmLKfDoAfyM/mqdefault.jpg)
A mi más q estos modelos lo que más me atrae es q empiecen a salir soluciones locales de altavoces para home assistant. Que funcionen bien y q no haya q dejarse los dos riñones para comprarlos y ser ingeniero informático para hacerlos correr :)
Todavía queda para tener una solución plug and play, pero supongo que todo llegará
Gracias, Carlos! Saludos desde Argentina
Muy interesante. Gran trabajo. Gracias por compartir. Saludos.
Gran video! Y realmente increíble lo que se viene!!!
Me ha gustado las referéncias a Star Trek. El saludo vulcaniano mientras aludias a la típica frase de los Borg "Toda resisténcia es futil". El video como siempre, muy bien explicado. Habrá que ir aprendiendo de IA...
We are borg.
Muy buen video.
Probaste hacer fine-tuning de ese modelo?
Excelente canal.
Saludos
Pues un video de como mandarle todos esos datos, calendar, sensores, etc y que te diga un resumen si que sería interesante!
Hola Carlos. Te resultaría interesante hacer un vídeo sobre cómo controlar un extractor de aire bidireccional en función de dos termómetros, uno interior y otro exterior a la vivienda? Requisitos: debe poderse elegir entre modo invierno (introduzco aire caliente diurno) y verano (introduzco aire fresco nocturno y extraigo aire caliente diurno), además de un interruptor de parada. Gracias. Saludos.
Estaba esperando un video tuyo de esto!!
La integración llm local a mi no le funciona, uso extended conversation pero no me funciona bien.
Deseando la segunda parte del video!!!
Respecto al tema de las librerias solo compatibles con Ubuntu, seguramente se pueda a llegar ejecutar en la version de Debian de la que hereda Ubuntu 22 solo que con trabajo extra, me paso en su momento con las librerias OpenVINO de Intel y al final si que pude.
Star Trek… como vas a hablar con ella, le podías haber puesto Locutus.por cierto mírate borg backup. El sistema de backup más geek que hay. Es como un Git+rsync. La resistencia también es futil. Hace copias de los cambios y guarda los datos con deduplicacion. Un saludo
Muy buenas. Uno de los puntos de inflexión sería el poder crear un sistema para dar órdenes mediante voz a la implementación de IA y que ejecutara acciones domóticas. Lo que vendría a ser un sustituto real e inteligente a los ladrillos de Alexa y Google.
Menuda locura de video! No me importaria el dia de mañana tener que cambiar mi extremadamente humilde NUC por algo bastante mas potente para meterle IA a la domotica. Pero ademas de mejorar, tendra que ser mas user friendly su implementacion. Esto ya se me escapa 😂
Te recomiendo también los modelos GGUF, ollama los acepta. Hay que hacer un modelfile como en docker, pero se pueden usar. Son mopdelos cuantizados y los de 4 bits funcionan bien. La documentación de ollama para hacer los modelfiles es muy mala si no sabes Go. Yo tengo un post explicándo cómo hacerlos, no lo pongo para no hacer spam, pero si te interesa te lo paso
Buenas Loco, con chatgpt plis se podria llamar a la Api de Openai que ya es multimodal? Aunque se pierda ese plus de privacidad? Saludos y muchas gracias por tu contenido.
el modelo GPT-4o es gratuito para su uso con chatgpt pero solo que limitado a cierta cantidad de prompts, se puede pagar por aumentar 5x con la suscripcion plus.
Gran video! Y justo ahora que estoy pensando en comprar un servidor más potente.
Crees que este podría correr junto a Llama, home assistant, frigate y reconocimiento facial?
Con el nuc que tengo ahora, whisper en small me tarda cerca de 3s en transcribir algo como "enciende la luz de la oficina" 😂
Ojo con whisper que tiene sus cosillas. En amd la aceleración no va tan fina como con nvidia. No he sacado tiempos porque lo utilizo para transcribir asi que la inmediatez no es un problema, aunque desde luego potencia tiene por un tubo
@@unlocoysutecnologia entonces crees que podría correr todo en el mismo servidor?
Vaya crack da gusto ver tus videos. Gracias
Gracias a ti
lo que he observado, que ya lo comentas en el vídeo, es que las IAs tienen respuesta para todo y si es necesario se lo inventan y esto en según que entornos es hasta peligroso. Incluso en entornos profesionales y acotados, l@s "jodid@s" te contestan. Grande como siempre Carlos.
Si, las alucinaciones pueden ser muy problemáticas
Carlos, podrias hacer un video acerca de como montar uno potente con una grafica dedicada?. Sería interesante tener una IA donde podamos hacer uso de un LLM similar a chatGPT sin las limitaciones que este tiene. Ejemplo: limitación de datos a años anteriores o pedirle cosas que no te las puede responder: predicciones de cosas, etc
Si tienes un equipo con una dedicada de nvidia, montate ollama, es super sencillo y se pueden hacer cosas muy chulas
Grande Carlos. Cuando le quites el HDMI tal vez tienes que usar un HDMI headless para no desactivar la aceleración por HW... Ya comentarás sí hace falta o no.
No me ha hecho falta. No lo tengo conectado por hdmi ya
Te recomiendo qwen2 7B, tiene mejores métricas en benchmarks que llama3 8B. Entiende bien el español y al tener 7B en vez de 8B ira un poco más rápido
Por lo general las gigantes del hardware o software, si toman en cuenta a linux, siempre es con ubuntu o red hat y sus derivadas
Gracias por comentar sobre nuestro producto. ¡Sus comentarios sobre los productos GEEKOM son muy valiosos para nosotros!
Ha salido el módulo Hailo 8L como Hat para Rpi5. Quizás el vídeo interesante sería HAOS sobre Rpi5 con Hat doble SSD y modulo Hailo 8L. Y ver rendimiento con Frigate.
Hay que tener cuidado con meter mucho hat, la line pcie que tiene es 1x. En cualquier caso, si consigo hacerme con uno a un precio decente, si, quiero probarlo
Yo el futuro lo veo por ahí el Hailo 8L original para Frigate y otra Rpi en paralelo para la IA general de tu casa y conexión privada Ollama con HAOS
@@galdakaMusicla rpi no tiene potencia suficiente por si misma para los llm, la jetson es otro cantar, pero el precio es otro
@@unlocoysutecnologiaDesde mi punto de vista estás equivocado. Hay modelos pequeños y tuneados para ejecutarse en Rpi5 sin problema. A día de hoy para pisos de 50 a 120 M2 con 60 dispositivos Zigbee y 3/4 cámaras RTSP es suficiente una Rpi 8GB con Coral o Hat AI oficial y disco duro SSD. Si le metes IA otra Rpi5 dedicada sería suficiente para el grueso de usuarios.
@@galdakaMusic Todo depende de lo que signifique para ti "sin problemas". Si te refieres a un llm que tarda 1 minuto en contestar y con una tasa de alucinaciones enorme, entonces si, hay modelos que entran en una raspi. Con respecto a lo de la casa, seguro que si, pero económicamente no tiene ningún sentido. Entre raspi, accesorios y los hats son más de 200€. Por ese precio tienes mini pcs de buena calidad y mucha más potencia. Un cosa es utilizar la raspi pelada para lo que es, que ahí tiene encaje, pero irte a más de 200€...
Es mejor este a8 o el it13?
Yo, lo que busco es una IA local que le des ordenes por voz y te entienda, que me encienda la cafetera , que le eche la comida a los gatos y el agua, y que me riege las lechugillas.
Es posible meter whisper por docker en un Nas Asustor6704t gen2 con 20gb de ram?
No habrá Borgs por ahí?
Jajaja, pues tanto por los borg de star trek como los bogones de la guía de autoestopista galáctico (obviamente los segundos parodian a los primeros) 😂
Deberías probar una Nvidia Orin Nano
Tienes pensado hacer algun video paso a paso de como instalar una IA que pueda controlar la casa automáticamente? Me interesa para un nuc de pocas prestaciones, siilar a raspi5, gracias
Muy interesante poder tener un modelo en local, pero eso no va a evitar que todos seamos asimilados.....
😂
Entiendo que en un Nodo de proxmox como lxc también se podría?
Si
Buen trekkie
Estoy 100% de acuerdo en la apreciación de que tarde o temprano la IA controlara nuestras casas, es el siguiente escalon lógico.
Por ahora lo veo un poco verde, me gustaría trastear con todo esto pero no dispongo del tiempo y recursos suficientes.
De todas maneras se agradece esta actualización y quedamos pendientes de saber cual sera el camino a seguir.... porsupuesto en español.
Now me voy a tomar un "fucking" cafe con leche de mileurista bro...
Si, todavía queda, queda mucho, pero llegará
🖖
Tienes algunos mini errores de conceptos (lo cual es perfectamente normal si no tu especialidad) pero como comentario constructivo si que queria comentar que el uso de LLMs es mas secundario, es una cosa que se puede delegar a la api de openAI perfectamente. Lo importante aqui a nivel local para mi es el uso de RAGs para acceser a tu información ya sea de documentos o sensorica
Segurísimo, soy aprendiz de todo esto. Si que te agradecería que comentases los errores de conceptos, asi puedo añadirlos a la descripción. Con respecto a openai, siempre está la opción, y buena es… pero barata no sale
@@unlocoysutecnologiaPues mira, te voy diciendo con tiempos 5:54 no exactamente. Chatgpt si que es un modelo, me explico, una LLM como funciona tradicionalmente es tu escribes algo le das a enter y sigue escribiendo. Por ejemplo empiezas un cuento y continúa con lo que estás escribiendo. Eso sería GPT, la base, luego está chatgpt que es un fine tunning en las ultimas capas para que acepte la estructura de chat, que es lo que te ofrece la web pero que también es un modelo. Voy a vuela pluma, no sé si me he explicado.
6:55 yo tiraría de mixtral. Me fío más de ellos que de meta. No he probado meta para ser honesto pero por compliance estoy poniendo mixtral a mis clientes (o API de openai). Es más interesante por ser europeo y más transparente.
13:04 justo esto es lo que te digo que debería hacer un RAG pero que también lo puedes hacer de una manera "hardcodeada" como lo has hecho tú.
14:50 aquí está el otro fallo. No es que este menos entrenado, el modelo es el mismo lo que haces es reducirle bits. Me suena que le vi un vídeo del tema dotcsv, te intento buscar enlace.
Te busco también una serie de artículos sobre arquitectura básica de estos chismes. Otra cosa, a mí la API de chatgpt para pruebas me consume mierda tbh baratísima. Meto 10€ hace 6 meses y ahí siguen 9€ y pico todavía. A nivel corpo es cuando sale caro por la escalabilidad
No, si usas la api de openAi, tienes que enviar tus datos a ellos. La ventaja de instalar una IA local también está en que no tenga acceso a tus datos
Puse dos respuestas largas pero como le etiquete directamente y no sale la respuesta xD supongo que lo tendrá capado. Si efectivamente, con la API yo llevo gastado menos de 50 cts en tres meses en la API de pruebas que tengo para mis clientes. Y le doy caña. Pero claro, esto se encarece con la escalabilidad y no porque un usuario haga cosas
We are the Borg. You will be assimilated. xD
We will add your biological and technological distinctiveness to our own. Your culture will adapt to service us. Resistance is futile.
Has considerado un mac mini? Diría que te permitiría correr modelos más grandes y consume muy poco.
Edito: ¿Y una Jetson Nano?
El problema es el precio. El mac mini con 16gb se va a más de 1500 euros
si no te importa el tamaño, hay bastantes servidores usados con potencia de sobra para que funcione todo a un precio mínimo.
@@aioras demasiado consumo
Una jetson podría correr el modelo completo de llama? O al menos el mismo que el del video sin retraso alguno?
@@ch0wch0w83 el consumo en mi opinión es relativo al precio de coste del ordenador, ya que si hay que gastar x8 en cuanto tardas en amortizar ese sobre coste? todo es hacer números y ya te adelanto que yo no he hecho
mejor que los belink de 200€?
No son comparables, son dos productos completamente distintos y con specs distintas
lastima que el saludos es de la serie original y el borg cube es next generation jajjajajajaaja
Primero!
Ya paro de escribir