Hola Rodrigo, muchas gracias por tu contenido he aprendido mucho. Quisiera saber por qué este mensaje cuando ejecuto el último ejemplo: "phi3 does not support tools" ?? saludos.
si tienes razon, perfecto. Lo he intentado anteriormente importandolo como plugin en el Kernel, pero no me ha funcionado (utilizando un SML). Pero utilizando Azure Open AI si funcionaba . Voy a probar agreandolo al prompt del mensaje, muchas graciasss! muy bueno el contenidoo!
Es importante que el SLM que uses soporte function calling. Lamentablemente no todos lo soportan. Algunos SLM han sido "fine-tuneados" para poder hacer algo parecido a function calling. Quizás por eso es que los plugins no te estarían funcionando. ¡Suerte!
Esa es una buena pregunta! Teóricamente las nuevas NPU que van a traer las portátiles de Microsoft, y algunos dispositivos como los futuros iPhones, están pensados para poder ejecutar en local y sin conexión a la red un SLM. Hay gente que ha logrado hacer funcionar el modelo Phi-3:mini en un Samsung, sólo que no recuerdo qué modelo exactamente.
@@CODERTECTURA estas capacidades de uso desconectado lo veo muy interesante , pero aun creo que es complejo desarrollar aplicaciones para el publico masivo, ya que la gran mayoría no dispone de los recursos necesarios ...aunque es el principio. Como experto que eres, estoy pensando aún así utilizar un poderlo como phi-3 en azure, porque tengo el convencimiento que será la apuesta de Microsoft y seguro que es más económico que utilizar las apis de openai , que opinas ?
Efectivamente. De hecho, Phi-3:Medium con contexto de 128k tokens te saldría en modalidad de pago por uso a razón de 0.0015$ cada 1000 tokens generados, que es el mismo precio que el modelo más barato de Azure OpenAI (el GPT-3.5-Turbo), y muchísimo más barato que el más poderoso (GPT-4o) que te sale diez veces más: 0.015$ por cada 1000 tokens generados. Así que si, un Phi-3, un Mistral, Falcon e incluso el Llama3 podrían ser más económicos y rentables dependiendo del caso de uso. Tienes más info aquí: techcommunity.microsoft.com/t5/ai-machine-learning-blog/affordable-innovation-unveiling-the-pricing-of-phi-3-slms-on/ba-p/4156495?wt.mc_id=MVP_348953
@@CODERTECTURA de hecho nosotros tenemos licencias Copilot 365, y con azure ai Studio podríamos acceder a un phi-3 medium vía semantic kernel y acceder desde nuestras apps mobile a signalr que tuviera semantic-kernel y acceder al modelo vía azure AI Studio, lo malo es el inglés para hacer la traducción utilizar algún traductor ....es la pieza que no contaba...no serà Muy rápido pero como primera aproximación podría funcionar , que opináis . Signalr lo tenemos ya integrado con .net Maui en las apps mobile para un set de escenarios, este podría aportarnos un chat donde a la larga interactuar en nuestros agentes mobile
![Testing out OLLAMA - Your own ChatGPT locally! [ENGLISH SUBTITLES]](http://i.ytimg.com/vi/OmLKfDoAfyM/mqdefault.jpg)
Muy claro, tanto que resulta comprensible incluso para un italiano que no conoce el español
Muy interesante! Gracias 🤜🏻🤛🏼
Genial, Rodrigo, te felicito. Voy a intentarlo y te cuento
Super excelente contendió, muy bueno como siempre muchas Gracias!
Rod eres un crack, explicando de forma tan sencilla algo que es tan complejo y tan novedoso! Crack!
¡MUCHAS GRACIAS! 🥰
Excelente explicación! Gracias por un video tan detallado!
¡Gracias!
Grande!
Muchas gracias maestro!!! 🥰🥰🥰
Hola Rodrigo, muchas gracias por tu contenido he aprendido mucho. Quisiera saber por qué este mensaje cuando ejecuto el último ejemplo: "phi3 does not support tools" ?? saludos.
Mañana te veo el video !
Hola Rodrigo, muy bueno!! Una pregunta, se puede agregar plugins ? es decir quiero agregar funciones nativas
¡Hola! Si, perfectamente podrías. De hecho el plugin ‘TextMemoryPlugin’ que utilizo es un tipo de plugin que solo tiene funciones nativas.
si tienes razon, perfecto. Lo he intentado anteriormente importandolo como plugin en el Kernel, pero no me ha funcionado (utilizando un SML). Pero utilizando Azure Open AI si funcionaba . Voy a probar agreandolo al prompt del mensaje, muchas graciasss! muy bueno el contenidoo!
Es importante que el SLM que uses soporte function calling. Lamentablemente no todos lo soportan. Algunos SLM han sido "fine-tuneados" para poder hacer algo parecido a function calling. Quizás por eso es que los plugins no te estarían funcionando.
¡Suerte!
@@CODERTECTURA Muchas graciass!!
Indicas al principio que se necesitan gpu de nvidia , sería suficiente con las NPU, osea un portátil de la nueva hornada de Microsoft u otro?
Esa es una buena pregunta! Teóricamente las nuevas NPU que van a traer las portátiles de Microsoft, y algunos dispositivos como los futuros iPhones, están pensados para poder ejecutar en local y sin conexión a la red un SLM.
Hay gente que ha logrado hacer funcionar el modelo Phi-3:mini en un Samsung, sólo que no recuerdo qué modelo exactamente.
@@CODERTECTURA estas capacidades de uso desconectado lo veo muy interesante , pero aun creo que es complejo desarrollar aplicaciones para el publico masivo, ya que la gran mayoría no dispone de los recursos necesarios ...aunque es el principio. Como experto que eres, estoy pensando aún así utilizar un poderlo como phi-3 en azure, porque tengo el convencimiento que será la apuesta de Microsoft y seguro que es más económico que utilizar las apis de openai , que opinas ?
Efectivamente.
De hecho, Phi-3:Medium con contexto de 128k tokens te saldría en modalidad de pago por uso a razón de 0.0015$ cada 1000 tokens generados, que es el mismo precio que el modelo más barato de Azure OpenAI (el GPT-3.5-Turbo), y muchísimo más barato que el más poderoso (GPT-4o) que te sale diez veces más: 0.015$ por cada 1000 tokens generados.
Así que si, un Phi-3, un Mistral, Falcon e incluso el Llama3 podrían ser más económicos y rentables dependiendo del caso de uso.
Tienes más info aquí: techcommunity.microsoft.com/t5/ai-machine-learning-blog/affordable-innovation-unveiling-the-pricing-of-phi-3-slms-on/ba-p/4156495?wt.mc_id=MVP_348953
@@CODERTECTURA de hecho nosotros tenemos licencias Copilot 365, y con azure ai Studio podríamos acceder a un phi-3 medium vía semantic kernel y acceder desde nuestras apps mobile a signalr que tuviera semantic-kernel y acceder al modelo vía azure AI Studio, lo malo es el inglés para hacer la traducción utilizar algún traductor ....es la pieza que no contaba...no serà Muy rápido pero como primera aproximación podría funcionar , que opináis . Signalr lo tenemos ya integrado con .net Maui en las apps mobile para un set de escenarios, este podría aportarnos un chat donde a la larga interactuar en nuestros agentes mobile
Existen - aunque ahora no me vienen a la cabeza - librerías que sin conexión a Internet te realizan traducciones de inglés a español bastante bien.