- 561
- 46 080
The Machine Learning Engineer
United Kingdom
Приєднався 9 жов 2011
www.youtube.com/@themachinelearningengineer?sub_confirmation=1
Github repo:
github.com/olonok69
Who I am:
www.linkedin.com/in/juan-h-a797802/
WhatsApp:
whatsapp.com/channel/0029VagRVdl8aKvO6VW9a33f
X:
x.com/AI_MLengineer
In this channel I want to share with the rest of the world and community how create and productize machine learning models based in my years of experience on this matter. I will go through different example and explain how I solved real business cases . There is no guarantee that this solutions will solve your specific case, but I hope it helps
Github repo:
github.com/olonok69
Who I am:
www.linkedin.com/in/juan-h-a797802/
WhatsApp:
whatsapp.com/channel/0029VagRVdl8aKvO6VW9a33f
X:
x.com/AI_MLengineer
In this channel I want to share with the rest of the world and community how create and productize machine learning models based in my years of experience on this matter. I will go through different example and explain how I solved real business cases . There is no guarantee that this solutions will solve your specific case, but I hope it helps
LLMOps: Convert Fine Tuned ViT classifier to ONNX and CPU inference #machinelearning #datascience
In this tutorial i will show you how to convert a finetuned Vit Transformer to ONNX format and do Inference in the CPU. The ViT was fine tuned wih a custom Dataset
Code:
github.com/olonok69/LLM_Notebooks/tree/main/image/onnx/app
Previous Videos :
github.com/olonok69/LLM_Notebooks/tree/main/image
Code:
github.com/olonok69/LLM_Notebooks/tree/main/image/onnx/app
Previous Videos :
github.com/olonok69/LLM_Notebooks/tree/main/image
Переглядів: 8
Відео
LLMOps: Convertir Fine Tuned ViT classifier a ONNX e inference en CPU #machinelearning #datascience
Переглядів 816 годин тому
En este Tutorial explico como convertir un Vision transformer a formato onnx y hacer inferencia en la CPU. El Vit ha sido personalizado con un dataset propietario Codigo: github.com/olonok69/LLM_Notebooks/tree/main/image/onnx/app Videos anteriores: github.com/olonok69/LLM_Notebooks/tree/main/image
Microsoft Ai: Semantic Kernel c# SDK. Semantic Memory with Chroma #machinelearning #datascience
Переглядів 8814 годин тому
In this video we wil create a Rag component with Sematic kernel , Chroma and OpenaAi models Code in C# github.com/olonok69/LLM_Notebooks/blob/main/microsoft/semantic-kernel/c#/chroma/Chroma_app/Program.cs
Microsoft Ai: Semantic Kernel c# SDK Semantic Memory con Chroma #machinelearning #datascience
Переглядів 3714 годин тому
En este vídeo vamos a ver como hacer un componente Rag con el Semantic kernel de Microsoft , usando chroma como vector Store y los modelos de OpeanAI Código: github.com/olonok69/LLM_Notebooks/blob/main/microsoft/semantic-kernel/c#/chroma/Chroma_app/Program.cs
LLMOps: Intel OpenVino toolkit Inference CPU and GPU Transformers #datascience #machinelearning
Переглядів 1914 годин тому
In this video we will see how to install Intel OpenVino Runtine , convert a Transformer model and then, we will do Inference in CPU and GPU Notebook: github.com/olonok69/LLM_Notebooks/tree/main/intel/openvino/transformeers
LLMOps: Intel OpenVino toolkit Inferencia CPU y GPU Transformers #datascience #machinelearning
Переглядів 1616 годин тому
En este video vamos a ver como instalar OpenVino runtime y veremos como convertir un modelo transformers al formato propietario de Intel y luego haremos inferencia con el modelo en la GPU y la CPU Notebook: github.com/olonok69/LLM_Notebooks/tree/main/intel/openvino/transformeers
Gemini API: How to use Code Execution Capability. Python SDK #machinelearning #datascience
Переглядів 2116 годин тому
In this video I will show you how to use the capability of generate and run code of Gemini API using the Python SDK. Notebook: github.com/olonok69/LLM_Notebooks/blob/main/google/Gemini_API_Code_Execution.ipynb
Gemini API: Como usar Code Execution con el python SDK #machinelearning #datascience
Переглядів 816 годин тому
En este vídeo te voy a mostrar como usar las capacidades de generar codigo y usarlo del Gemini API Notebook: github.com/olonok69/LLM_Notebooks/blob/main/google/Gemini_API_Code_Execution.ipynb
Microsoft Ai: Semantic Kernel c# SDK Intelligent Planners #machinelearning #datascience
Переглядів 2821 годину тому
In this video we will see how to work with Intelligent planners in the Semantic Kernel. We will use a LLM to create an execution plan looking at the plugings and kernel functions available in our kernel. learn.microsoft.com/en-us/semantic-kernel/concepts/planning?pivots=programming-language-csharp Code: github.com/olonok69/LLM_Notebooks/tree/main/microsoft/semantic-kernel/c#/planners
Microsoft Ai: Semantic Kernel c# SDK Intelligent Planners Español #machinelearning #datascience
Переглядів 1721 годину тому
En este vídeo vamos a ver como trabajar con los planificadores inteligentes del semantic kernel. Usaremos un modelo para crear un plan de ejecución acorde a los plugins y funciones de kernel que tiene enchufadas el mismo learn.microsoft.com/en-us/semantic-kernel/concepts/planning?pivots=programming-language-csharp Código: github.com/olonok69/LLM_Notebooks/tree/main/microsoft/semantic-kernel/c#/...
Gemini API Developer Competition video presentation
Переглядів 176День тому
This video it is part of the Gemini API Developer Competition
NVIDIA AI: Nvidia NIM Integration with Langchain #datascience #machinelearning
Переглядів 33День тому
In this video will review the integration of NVIDIA NIM with Langchain,creating a RAG Q&A together with Faiss Código: github.com/olonok69/LLM_Notebooks/tree/main/ml_Solutions/nvidia/langchain
NVIDIA AI: Nvidia NIM Integración con Langchain #datascience #machinelearning
Переглядів 26День тому
En este vídeo vamos a ver la integracion de NVIDIA NIM con Langchain y crearemos un componente RAG Q&A en conjunto con Faiss Código: github.com/olonok69/LLM_Notebooks/tree/main/ml_Solutions/nvidia/langchain
NVIDIA AI: Introduction to Nvidia NIM inference & LLama 3.1 405b Inst #datascience #machinelearning
Переглядів 42День тому
In this video I will introduce you the NVIDIA AI platform and NVIDIA NIM, a set of optimized cloud-native microservices designed to shorten time-to-market and simplify deployment of generative AI models anywhere, across cloud, data center, and GPU-accelerated workstations. Additionally we will get the first look to the new Meta model LLama 3.1 405b Instruct Code: github.com/olonok69/LLM_Noteboo...
NVIDIA AI: Introducción a Nvidia NIM inference y LLama 3.1 405b Inst #datascience #machinelearning
Переглядів 4214 днів тому
En este vídeo vamos veremos como usar la Plataforma NVIDIA AI, los microservicios de Inferencia NVIDIA NIM y el SDK proporcionado por Nvidia. También veremos como usar el nuevo modelo de Meta LLama 3.1 405b Instruct Código: github.com/olonok69/LLM_Notebooks/tree/main/ml_Solutions/nvidia/introduction
Microsoft Ai: Semantic Kernel, RAG Dynamic prompts #datascience #machinelearning
Переглядів 9514 днів тому
Microsoft Ai: Semantic Kernel, RAG Dynamic prompts #datascience #machinelearning
Microsoft Ai: Semantic Kernel, RAG Dynamic prompts Español #datascience #machinelearning
Переглядів 4414 днів тому
Microsoft Ai: Semantic Kernel, RAG Dynamic prompts Español #datascience #machinelearning
Microsoft Ai: Semantic Kernel C# SDK Integration with Ollama #machinelearning #datascience
Переглядів 12614 днів тому
Microsoft Ai: Semantic Kernel C# SDK Integration with Ollama #machinelearning #datascience
Microsoft Ai: Semantic Kernel C# SDK Integracion con Ollama #machinelearning #datascience
Переглядів 4514 днів тому
Microsoft Ai: Semantic Kernel C# SDK Integracion con Ollama #machinelearning #datascience
MLops: C# Image recognition with ResNet50v2 model #machinelearning #datascience
Переглядів 6014 днів тому
MLops: C# Image recognition with ResNet50v2 model #machinelearning #datascience
MLops: C# Image recognition con modelo ResNet50v2 #machinelearning #datascience
Переглядів 1614 днів тому
MLops: C# Image recognition con modelo ResNet50v2 #machinelearning #datascience
Microsoft Ai: C# SDK Semantic Kernel , How to use and create plugins #machinelearning #datascience
Переглядів 7514 днів тому
Microsoft Ai: C# SDK Semantic Kernel , How to use and create plugins #machinelearning #datascience
Microsoft Ai: Semantic Kernel C# SDK Usar y crear plugins y prompts #machinelearning #datascience
Переглядів 2814 днів тому
Microsoft Ai: Semantic Kernel C# SDK Usar y crear plugins y prompts #machinelearning #datascience
MLOPS: How to work with Hugginface Hub CLI #machinelearning
Переглядів 1714 днів тому
MLOPS: How to work with Hugginface Hub CLI #machinelearning
MLOPS: Como trabajar con el CLI de Hugginface Hub Español #machinelearning
Переглядів 2614 днів тому
MLOPS: Como trabajar con el CLI de Hugginface Hub Español #machinelearning
Microsoft Ai: Semantic Kernel SDK integration with Huggingface models #machinelearning #datascience
Переглядів 5821 день тому
Microsoft Ai: Semantic Kernel SDK integration with Huggingface models #machinelearning #datascience
Microsoft Ai: Semantic Kernel SDK integracion con modelos Huggingface #machinelearning #datascience
Переглядів 1921 день тому
Microsoft Ai: Semantic Kernel SDK integracion con modelos Huggingface #machinelearning #datascience
Gemini API Use Function Calling with python SDK #machinelearning #datascience
Переглядів 4021 день тому
Gemini API Use Function Calling with python SDK #machinelearning #datascience
Gemini API Usar Function Calling python SDK #machinelearning #datascience
Переглядів 2821 день тому
Gemini API Usar Function Calling python SDK #machinelearning #datascience
LLMops: Convert Bert to ONNX, Inference with BERTTokenizer for C# #machinelearning #datascience
Переглядів 4521 день тому
LLMops: Convert Bert to ONNX, Inference with BERTTokenizer for C# #machinelearning #datascience
I will love to see this with local models (Ollama or some other LLM-s/SLM-s)
@florimmaxhuni4718 Take a look to these 2 videos. I think it is almost what you are looking for :, booth use Ollama with a Microsoft phi-3 in Microsoft Ai: Semantic Kernel, RAG Dynamic prompts ua-cam.com/video/IDtZ5-JVyPE/v-deo.html Microsoft Ai: Semantic Kernel C# SDK Integration with Ollama ua-cam.com/video/IkeXb-LCSP8/v-deo.html In any case i have another request for the Rag one , I will see how to integrate both in 1 and do it. regards
How long did the finetuning process take? Like how many hours?
[56220/56220 4:12:44, Epoch 10/10] in a Colab Notebook with a A100, while a T4 it is enough
thanks a lot sir for this video. can you please create a video on RAG semantic kernel plugin for documents upload in chromadb and semantic kernel should manage this Plugin and whatever inpout user gives it should check this RAG Plugin and answer the user based on documents uploaded in the chromadb
Thanks , I will put it on the list of request. Keep tune, regards
cant hear anything,
review your setting, the audio is normal
@@themachinelearningengineer no man, too low - your voice is too low. even at 100% volume, i can barely hear you. what a shame - such a good video but barely audible
Hi , can you send the links to Ollama package in c#
Hi there is no package in c#. I show in the video how to install the docker container and you access Ollama using its REST API
impressive
thanks
very impressive. thanks to share
thanks
Very interesting technology. Good video. Thanks for sharing
yes I think microsoft it is doing a great job here
very good video, really impressive what it is possible to do with code execution
definetivelly impressive
You’re the only machine learning researcher on UA-cam to provide actual benchmark information. You went above and beyond all other ML UA-camrs 🧐,
thanks, I work in this topic as freelancer and I have to know to provide good advice in this industry that change very fast. You probably know as well that in this, every single day we are receiving new progress , new approaches . I have a long list of topics that i would like to cover, but no material time to cover all of them. All what you can see on the channel , is related to a project that now or in the past I have been involved with and also today I use it as a Knowledge base, just for me. Thanks again
extraordinario. Gracias for this video
thanks
super Video, thanks for share this material
you welcome
really nice series on semantic kernel with c#
Thanks, please share and like
muy bueno este video, gracias por publicar este contenido en Español
gracias, hay muchos mas en el canal. please comparte
gracias por estos videos magnificos
de nada Un saludo.
Fantastic work thanks to upload these videos
thanks. more in the channel
very good video, thanks for posting this. can you prepare this video in python?
yes, my plan is translate all the ones I have in C# . As soon as I finish with c# i will continue with python
how we can use another model, rather than use microsoft Phi3
yes , simply pull the new model into Ollama and change the label in the code. Potentially we can use a parameter to choose the model name
@@themachinelearningengineer thanks a lot
Super trabajo Gracias. Por favor continúa con tu labor.
Gracias , un saludo
great
thanks
Fantastic Video. thanks a lot to share. Are you working as well with LLamaindex?
Not much , I have been working with Langchain and Semantic Kernel, but at some point soon I will start with that topic. regards
can you share a link with the documentation of the Semantic Kernel? Thanks
here you have averything you may need github.com/microsoft/semantic-kernel
great video. do you have other examples with other CV architectures and also python?
yes you have ViT fine tunning, OCR stuff and soon some stable diffusion, This is about ViT fine Tune ua-cam.com/video/cxJLzggmyYE/v-deo.html
Hi thanks for videos. Can you make a little bit longer video about .net and ai integration? Also Im wondering how it we can use ollama and .net locally. Thanks again. Take care.
Hi, yes that it is my intention . I am working daily with python and while I have some knowledge in C# , this take me a lot more time than python. IN anycase mt goal it is moving part of my coding to c# with onnx and Semantic kernel .
I was looking at this library some time ago github.com/awaescher/OllamaSharp. we have a couple of videos using Ollama in python with Langchain, and I use it at work, also I have this in my Roadmap of work, but easily I can prepare soemthing with what I research so far
check this ua-cam.com/video/IkeXb-LCSP8/v-deo.html related to Ollama
Excelente video! muchas gracias.
de nada. un saludo
El volumen se escucha algo bajo.
Gracias por avisar, creo que tengo el micrófono con la supresión de sonido ambiente demasiado estricta.
This is the first of its kind, never seen Graph Data science tutorial before.. and I'm glad I found ur channel..Thanks for uploading such informative videos. One feedback , try to record on high volume as your voice is not loud and it takes some time to understand.
thanks. you have the full list in English here ua-cam.com/play/PLw-i55H2Io6iaqVkzFMR2H_sO-ZhiPl-A.html. Neo4j is one of my favourite technologies , i have use it in several projects. if you like the content, please give like , regards
its hard to listen. The audio is very low
check your setup, as the audio it is normal
@@themachinelearningengineer its low sir
of what competition are you referencing to in the video, if can I know
HI @josephroman2690 this is the competition ai.google.dev/competition?
and here for your info the solution to the detected problems in that video about chat history management and the bot being unable to follow with a new topic ua-cam.com/video/BAXHVgk9PLo/v-deo.html
@@themachinelearningengineer thanks man for the info
parte 2 please
estoy trabajando con ello. Un saludo
buen video, puedes hacer uno pero extracción de temas con gemini y Knowledge Graph por favor
y pues puede ser con la API con la de google AI studio y no con la de vertex
Hola , esto me va a llevar un tiempo ya que estoy con una aplicacion que tengo presentar, pero lo hare. El tema de hacerlo con Phi3 es porque no cuesta dinero, y hacer 100K llamadas al api de gemini tiene un coste.
por cierto si estas interesado en el tema de Gemini, echale un vistazo a este curso de udacity que es gratuito, www.udacity.com/course/gemini-API-by-google--cd13416?bsft_aaid=affd8710-61ff-4001-baca-1d4a7303381d&bsft_eid=82f6e23f-577a-dfce-871a-22a57603974c&bsft_clkid=8d9458c1-2e9a-4e8d-89e2-60a308e8eecc&bsft_uid=1119f82e-2d8f-44ad-a1ea-3fedfb8d0d37&bsft_mid=26240a04-6519-4345-86fe-e2d6d4632087&bsft_txnid=025b7d03-b038-415f-a363-24f22e7d7bba&bsft_mime_type=html&bsft_ek=2024-07-10T22%3A25%3A44Z&bsft_lx=3&bsft_tv=26
un saludo
Great video!
Thanks!
Thanks for putting out these videos;
you welcome
good
thanks.
thank you.
You're welcome
Tienes algun video de como usar pipelines en Vertex AI?
Creo que tengo algo a medio hacer , le echo un vistazo y cuando lo acabe aviso , Un saludo
Si a mi este en concreto me ha venido genial tambien , ya que hay pocos que hablan de Langchain en Español y con tanta claridad. Gracias y un saludo
bueno que the haya servido @jose-hw7fl
Gracias por darnos de su tiempo para enseñar estos temas, me ah gustado mucho este canal
De nada. Algunas son cosas en las que trabajo y otras de mi interés. Con todas también me ayudo a mi mismo para la luego acordarme de como he hecho algo. Compártelo , los vídeos o el canal si crees que le puede venir bien a algún conocido así me ayudas también a promocionar el canal. Un saludo
hi can we made the same with another vectorstore like faiss or pinecone?
yes, we can . I am thinking in doing the same with Pinecone. I will let you know
Fantastic video. Thanks for sharing, its helping me a lot
Glad it helped!
Hello im getting “externally managed environment” errors while trying to import the libraries why is that so?
Can you send me the logs of that error?
la documentacion automatica que dices la hace swagger
ok thanks
Hi great content, thanks for this excellent content. It is possible to create something similar but using LLamaIndex or Langchain?
Hi , Mlflow only has for the moment integration with Langchain and it is still in experimental status, but I am preparing something regards
Hi, take a look to this ua-cam.com/video/2sabb8XR9WA/v-deo.html
Hi really great content, it is possible to you do something similar with langchain or LlamaIndex?
great stuff, I like it
thanks
Make mlops course in english
Do I know you @kashifsadiq4145 ?
Hola: 1) como se usa OLLAMA_NUM_PARALLEL para configurar ollama serve? 2) Veo que se usa langchain y se crea un vector store pero no veo un proceso de Finetuning. Mejor dicho como se hace para hacer un fine tuning cuando tengo un modelo que quiero usar para classificar y quiero mejorar su resultado?
1 ) Esto es algo de lo que no hay mucha documentacion . Puedes buscar en el github de OLLama , pero ese parametro controla el numero de modelos que puedes tener cargados en Ollama y se configura en el servidor puedes encontrar mas informacion en github.com/ollama/ollama/issues/358 There are 2 layers of concurrency. There's OLLAMA_NUM_PARALLEL which controls how many requests can be answered against a single loaded model, and there's OLLAMA_MAX_LOADED_MODELS which controls how many models can be loaded at the same time, up to the limits of VRAM. (note: we do not support loading two or more copies of the same model)
2) ese Video No habla de Finetuning. En la lista ua-cam.com/play/PLw-i55H2Io6iIJWAJcL9L6OHliT0omoyR.html hay multiples ejemplos con Mistral, Llama, Microsoft Phi y otros
Hola. Muy claro el video de como utilizar Azure Machine Learning. Gracias por subirlo. Tengo una pregunta para ver si me puedes orientar. ... tengo que armar un modelo que optimice la logistica de los transporte de equipos petroleros en el yacimiento. Estos movimientos dependen de muchas variables y, dado que se necesitan optimizar los costos, entiendo que la solucion optima seria utilizar machine learning. Lo que no se es si la solucion de Azure ML me sirve para este tipo de modelos que quiero construir (es decir si ya tiene metodos que permitan este tipo de optimizaciones de logistica) o, hay que desarrollar componentes para la herramienta para este fin. Espero haberme explicado claramente. Gracias de antemano por la respuesta.
Hola, Azure ML es agnostico en cuanto a los modelos , es us servicio de Machine Learning. Lo que hagan los componentes que desarrolles , siempre y cuando se respete los lenguages que usan, el resto es bastante abierto y flexible. Azure ML te ofrece infraestructura , integracion con otros servicios y acceso rapido a modelos pretrained, el resto queda de tu parte. La foto final de una aplicacion ML corriendo en Azure la puedes ver como un conjunto de cajas (que este caso son docker containers) en las cuales tu decides que corre en cada una de ellas, (data preprocessing, NLP, CV , supervise learning), o cualquier otro paradigma de la IA, tu decides como las conectas , y lo que hace Azure ML es proporcionarte como te digo, es el soporte a todo lo que vayas a hacer, en termino de infraestructura que escala dependiendo de tun necesiadades, acceso a otros servicios en Azure, como Data warehousing, base de datos de vectores, u otros servicios IA o not IA como una base de datos. Te ofrece tambien seguridad y control de acceso de tu aplicacion y soporte en todo el ciclo de vida de la aplicacion desde el modelado hasta el gobierno y monitoreo en produccion. Este es el mismo concepto usado por Vertex ai in Google o Sagemaker en AWS. Espero que te ayude
Cual es la forma de contactarte al privado?
en la descripcion del canal tienes mi email un saludo
You could have the same idea with a model7b with vram 1 giga
I dont understand this