Це відео не доступне.
Перепрошуємо.
Escalamiento, Normalización y Estandarización de Datos con Python para Ciencia de Datos
Вставка
- Опубліковано 14 сер 2024
- Dentro del contexto de técnicas de aprendizaje de máquina, en este video se explica la problemática ocasionada por tener diferentes escalas en los datos. Para resolver esto, se explican técnicas de escalamiento, normalización y estandarización de datos utilizando la librería Scikit-Learn de Python.
Para citar este recurso educativo utiliza la siguiente referencia:
Gutiérrez-García, J.O. [Código Máquina]. (2021, 27 de Septiembre). Escalamiento, Normalización y Estandarización de Datos con Python para Ciencia de Datos [Video]. UA-cam. [Incluye aquí la URL del video].
********************************************
Para guiar tu aprendizaje, en este vínculo ( • Curso de Inteligencia ... ) se encuentra una guía secuencial para aprender:
1. Programación Básica con Python;
2. Manejo de Datos;
3. Visualización de Datos;
4. Análisis de Datos; y
5. Aprendizaje de Máquina y Ciencia de Datos.
********************************************
Índice del Video:
0:00 Problemática
2:09 Contexto y datos
3:54 Datos graficados
9:35 Distribución de los datos
11:36 Escalamiento
14:55 Normalización
17:56 Estandarización
22:00 Comparación de los métodos
⭐ Apoya a Código Máquina dando un Like, Comentando, Compartiendo o con un Super Gracias.
⭐ De la co-fundadora de Código Máquina, productos de cosmética natural SINHAKI:
www.amazon.com...
El código y datos del video están disponibles en GitHub github.com/Cod...
#CienciaDeDatos #AprendizajeDeMaquina #DataScience #MachineLearning #ScikitLearn #python
![DATA SCIENCE: Te explico un PROYECTO TÍPICO desde el Problema Hasta el Código [INCLUYE App]](http://i.ytimg.com/vi/paw7_cZoN1Q/mqdefault.jpg)
⭐ Apoya a Código Máquina dando un Like, Comentando, Compartiendo o con un Super Gracias.
⭐ De la co-fundadora de Código Máquina, productos de cosmética natural SINHAKI:
www.amazon.com.mx/stores/sinHaki/page/1BD34FBC-C0F9-44F5-AC69-520634334C61?ref_=ast_bln
Tu tutorial es sinceramente largo, e intensivo. Pero lo excelente cuesta, voy apostar por tu curso es matematica pura y python que mejor coctel me sucribo a tu canal quiero ver mas.
Muchas gracias por tus comentarios :)
Un profesor Espectacular, no deja nada a
barca todo el tema, gracias por este curso tan excelente, lo hacer ver fácil. Un gran saludo y felicitaciones desde Bogotá Colombia
Pues otro vídeo magistral, MUCHAS GRACIAS POR EL CURRAZO!!
Lo explicó mucho mejor que el profesor del curso que estoy tomando.
Muchas gracias por interactuar con el contenido del canal.
Explica bien. Solo que habla que tenemos que quitar outliers. Pero hay casos particulares donde estamos buscando esos outliers. Buen canal
Coincido plenamente. Muchas gracias por compartir sus conocimientos.
Es el mejor canal que he encontrado sobre estas temàticas. Te orienta de manera adecuada en el aprendizaje
En verdad te agradezco tus comentarios :)
Muchas gracias maestro!
Cracksaso, explicaste lo que casi nadie explica para poder entender ML
El mejor canal que he encontrado para aprender ciencia de datos, felicidades, tienes un excelente contenido! enseñas mejor que lo que enseñan en universidades! saludos!
@CRISTIANGONZALEZ-vu8gw muchas gracias por tus palabras :)
Muy bueno,
Gracias!!!
Excelente contenido, muchas gracias!!
Es una joya este canal. Muchas gracias por tus videos!!
En verdad que agradecemos tus palabras.
Eres un genio, enseñas muy bien y tocas temas muy específicos y avanzados de ciencia de datos.
Eres muy amable Gustavo, es un verdadero gusto saber que los videos son de tu agrado :)
Este video es oro puro. Tremendisimas gracias, mega suscrito y agradecido. Saludos.
Muy agradecido por tus comentarios y por suscribirte al canal. Saludos!!
Un canal académico y sistemático. Muchas Gracias por su aportación
Muy agradecido por tus comentarios. Saludos Antonio!!
Amigo, este es el mejor canal que he visto sobre ciencia de datos, 👏gracias por compartir este conocimiento y hacerlo de forma muy entendible. Me suscribo y compartiré este canal para que otros lo vean
Miguel muchas gracias por tus comentarios y por el gran apoyo. Gracias a ustedes podemos llegar a más personas.
x2
👋Octavio, muy claros los conceptos! felicitaciones!, me gusto mucho tu concepto de apachurrar los datos (jajaja), ya estoy esperando el próximo video con la guía (practica) de cómo mejorar los datos pasando por las diferentes técnicas de escalamiento, normalización y estandarización... (Mientras espero me doy una vuelta por tu tienda)... un saludo!
Muchas gracias Gustavo. La mejor de las suertes en la vida :)
Genial explicación, mucho mejor a los profesores del curso en el qie estoy
Excelente Maestro Octavio, muy claro. Gracias!
A la orden Rocko. Saludos!!
Muchas gracias, una forma de explicar muy clara.
Agradezco tus comentarios Alejandro 😊
Hola acabo de descubrir este canal, y realmente sigo muchos pero me quedo aquí con tus explicaciones claras y conceptos precisos. Muchas gracias por lo que haces y felicitaciones
Muchas gracias por tomarte el tiempo de comentar Mary Cruz. Me alegra saber que el contenido es de tu interés. Saludos!!
Excelente explicación, me ayudó muy bien a entender el contexto de la normalización de datos. Gracias y saludos.
Gracias por tus comentarios y por ver el canal :)
Que genial este video!!!!! Gracias!!!!
¡Muchas gracias Luis! ¡Feliz Año!
the best teacher
Braulio muchas gracias por tanto apoyo que me has brindado
Eres el mejoooooor
¡¡¡Muchas gracias!!!
Excelente explicación, mis felicitaciones y agradecimientos.
@albaandrademorales2930 muchas gracias :)
¡Crack!, muchas gracias por tus videos y explicaciones
Apenas me estoy iniciando en el mundo de análisis de datos y ML. Viendo tus videos he aprendido un montón y aclarado muchas dudas. Muchas gracias por compartir tu conocimiento
Muchas gracias por ver el canal y por los comentarios. Hacemos este contenido para personas como tú: con ganas de aprender :)
Entendí mucho más con la comparación en los gráficos, muchísimas gracias 😊
@rossisilvablas1646 gracias por seguir el contenido del canal y por interactuar :)
Muchas gracias amigo! tus videos son geniales, muy claros y prácticos!
Gracias por tus comentarios. Mientras tengamos tiempo y salud, seguiremos haciendo videos educativos :)
Muy buena explicación, excelente tu forma de hacerte entender. Gracias por compartir tus conocimientos. Saludos
Gracias por tus comentarios. Comentando y viendo el canal nos ayudas mucho a llegar a más personas ¡Muchas Gracias!
Muchas gracias por compartir, excelente los videos, ya suscripto claro. saludos!
Muchas gracias Mariano!!!
¡Excelente explicación! Felicitaciones.
Muchas gracias @HPenarandaBello
Explicas realmente genial.
Muchas gracias :)
Qué genial explicación. Gracias infinitas :)
Muchas gracias, igual, infinitas :)
Muchas gracias, profesor!
Es un placer :)
esta muy buena la informacion felicidades y gracias por compartir.
Muchas gracias por tus comentarios :)
Muy buena explicacion, tegno una interrogante que mas recomendable eliminar datos atipicos y luego normalizar o viceversa. O que criteria se debe ocupar uno o el otro. Gracias
gracias!!!
A la orden Elki. Saludos!!
Gracias
Gracias por seguir el contenido del canal :)
muy buen video
¡Gracias!
Que buen video. La verdad. Felicidades.
Muy buena explicación maestro.
Muchas gracias por tu comentario y por ver el canal :)
Que gran contenido, saludos.
Muchas gracias Pablo :)
Buen video
Excelente 💪👏👏👏👏👏
Muchas gracias por tu comentario y feliz año :)
muy buena explicación
¡¡¡Muchas gracias!!!
Excelente 👌
Muchas gracias :)
Excelente aporte, podrías realizar un video donde explicas como funciona el escalador "MaxAbsScaler"
Hola @freddyyelsinberrospialvara6497 gracias por la sugerencia (vamos tomando nota) y por seguir el contenido del canal. ¡¡¡Feliz año!!!
Excelente como siempre sus videos! Una consulta... Se aconseja estandarizar fractures en modelos de regresión lineal simple o múltiple??
Excelente explicación maestro despeje unas dudas que tenía sobre la escala robusta y también quiera anexar que la transformación logarítmica puede minimizar el efecto distorsionador de los datos atípicos.
Hay algunos algoritmos que requieren una estandarizado o un recalado como es el caso de los modelos que están basados en árboles de decisiones ya que utilizan series de desigualdades.
Muchas gracias por tus comentarios y por tus aportaciones :)
Este ha sido un vídeo magistral que me ayudó a entender de modo más claro estos conceptos. En mi opinión si tuviera que elegir entre estos métodos de normalización, escogería la técnica que mencionas al final aplicar primero un robusto y luego un mix-max, el primero excluye los valores atípico y el segundo distribuye los datos de forma más elegante. Pero me quedo con una duda y te agradecería en gran medida si me ayudaras a aclararlos. Si aplicara la técnica de robusto y mix-max, cómo podría aplicar la inversa para obtener los datos reales. Por ejemplo si aplicara esta técnica a una serie temporal, en ese formato no me serviría para luego predecir la serie después de haber entrenado el modelo? 🤷🏻♂️. Muchas gracias por los vídeos, excelentes. 👍🏻
Gracias por tus comentarios. Con respecto a tus preguntas. Primero, estas técnicas efectivamente también se usan en series de tiempo. Segundo, el tratamiento de outliers puede llegar a ser delicado y en algunas ocasiones se hace un tratamiento separado de los outliers, por ejemplo, échale un ojo a la técnica de iForest que ya explicamos en el canal (ua-cam.com/video/n2PpD7xnPoM/v-deo.html). Tercero, para "aplicar la inversa" hay un método de los escaladores que casi casi se llama así: inverse_transform(). Gracias por las preguntas :)
Excelente!
muy buenos tus videos, podrias hacer un video explicando bootstrapping para validar modelos ?.
Muchas gracias por tus comentarios y por tu sugerencia. Ya está anotada en la lista de videos por hacer :)
Excelente explicación, muchas gracias, era justo lo que estaba buscando y despejó mis dudas. Me surgió una nueva sobre algo que comentas, al dar el ejemplo en 14:16, dices que si el salario más alto fuera $25,000, entonces el 0.5 sería $12,500 pero eso dependería de tu dato mínimo, ¿no? Es decir, si el dato mínimo fuera de $9,000 entonces tenemos un intervalo de $16,000, y el 0.5 tendría que estar en medio de ambas, o sea, $8,000 por encima del mínimo, que sería $17,000, ¿es esto correcto?
Estimado David. Tienes razón, muy a la ligera en el minuto 14:16 asumí un salario mínimo de 0 pesos. Ciertamente, está en función de un dato mínimo, un poco antes, en el minuto 13:08,, ahí sí lo expliqué bien. Gracias por la observación :)
gracias por el video, tengo una consulta: aplico estandarizacion robusta para mis variables cuantitativas principales que tienen una CORRELACION NO LINEAL. ?
Gracias por tu comentario y por tu pregunta. En general, la estandarización y el escalamiento se aplican a todas las variables cuantitativas. Ya sea antes o después, se puede explora si tienes variables altamente correlacionadas, lo cual podría derivar en la eliminación de alguna de ellas. Ojalá la respuesta sea de utilidad :)
Qué tal estimado, no encuentro los códigos para llevar a la práctica lo visto en el video, qué nombre llevan? saludos y gracias por tomarte el tiempo de enseñarnos.
bro que lista puedo tomar para iniciar desde cero
Excelente forma de explicar con un ejemplo sencillo!!
Tenía una duda, quiero imputar datos faltantes, crees que antes debería escalar los datos o los debería hacer después? Saludos!
Muchas Gracias por tu comentarios y por tu pregunta. Ejecutar primero la imputación y después de la estandarización/escalamiento o al revés, es todo un tema de discusión y está sujeto a la técnicas que se utilicen. En general, yo sugiero hacer primero la imputación y después el escalamiento/estandarización dado que las técnicas escalamiento/estandarización no están hechas para trabajar con valores faltantes. Sin embargo, imputación con KNN podría requerir primero escalar/estandarizar y después hacer la imputación.
Muchas gracias por tus explicaicones.
la pregunta en este caso es la siguinte:
cuando se tienen dataframe con muchas más variables , se debe normalizar todo el dataframe o se debe analizar el contenido de cada variable, por ejemplo fechas o variables de tipo binomial ?
Normalmente la estandarización/estandarización/escalamiento se realiza solo con variables numéricas para alcanzar múltiples propósitos, por ejemplo homogeneizar, quitar outliers y/o debido a suposiciones que realizan ciertas técnicas de machine learning. Entonces, si una variable sigue cualquier otra distribución tendría que estandarizarse si la técnica de machine learning a utilizar trabaja bajo la suposición de que las variables siguen una distribución normal. Para el caso de las fechas, habría que ver el contexto. Si es un contexto de series de tiempo. no se modificarían y se utilizarán como índice y/o información contextual, y no explícitamente como entrada a la técnica de machine learning o de pronóstico de series de tiempo. Si no hay temporalidad asociada a las fechas (lo cual sería un poco raro pero en algunos casos sí podría suceder) y tienes pocas fechas, entonces habría que hacer una conversión numérica de las fechas como si fuera una variable categórica. En fin, hay muchas opciones y todas ellas dependen enteramente del contexto asociado a los datos. Espero mis comentarios ayuden un poco. Gracias por interactuar y por ver el canal :)
Demasiado claro... muchas gracias. Profe, esta transformación de los datos para efectos de aplicar procesos de ML, se revierte al finalizar el proceso? Lo pregunto pensando en sacar conclusiones a partir de gráficos cuyos valores ya no corresponden con denominaciones comunes como la edad y el salario. Muchas gracias
Gracias por tus comentarios y por la pregunta. Efectivamente, al momento de interpretar el resultado de un modelo se realiza una transformación a la inversa. De hecho, los escaladores, normalizadores y estandarizadores de sklearn tienen un método llamado inverse_transform() para tal propósito
¿Se debería normalizar las columnas específicas que tengan altas varianzas o todo el dataframe?
Gracias por la pregunta. Es práctica común estandarizar/escalar todas las columnas independientemente de la varianza.
Una consulta, a que te refieres cuando mencionas los out layers?, de antemano buena explicacion de este tema, otros canakes solo enseñan como usarlo y no explican el contexto
Los Outliers son datos atípicos o anómalos dentro de un conjunto de datos. Por ejemplo, la persona más rica del mundo es un dato atípico. Esa persona es muchísimo más rica que la gran mayoría. Tenemos un video que justo explica ese concepto utilizando diagramas de caja en caso de que desees verlo: ua-cam.com/video/wsfV4AO8UFw/v-deo.html
Tengo una duda porque es importante pasar los datos categóricos a datos numéricos.
¿Puede haber en un dataframe normalizados datos categóricos?
La mayoria de modelos de machine learning trabajan con datos numericos, si no deseas hacer ML no es necesario trasformar los datos.
Necesito ayuda, necesito hacer una normalizacion de un base de datos de excel pero esta una columna que abarca 7 columnas es decir arriba de las columna t1,t2,t3,t4,6 meses, 9 meses , anual y nos encargaron hacer preprocesamiento para hacer la normalizacion pero no se por donde empezar😢
Son muchos datos desde el año 1980 hasta el 2022
@BrownieData espero hayas logrado culminar tu proyecto con éxito. Lo mejor para este nuevo año!!!
Buenas, estoy haciendo el curso de maching learning, y me gustaría saber en que orden podría empezar a ver tus videos? ¿La lista que tienes de Ciencia de Datos está ordenada ?
Muchas gracias por ver nuestros videos y por interactuar con el contenido. Te comento que las listas de reproducción sí tienen cierto orden, sin embargo, su propósito está más asociado a agrupar contenido. Por ejemplo, para trabajar en machine learning con python, es necesario conocer sobre numpy y pandas que no son exclusivos de machine learning, y por tal razón, esos temas no están incluidos en esa playlist. Aunque debo mencionar que en el canal también tenemos listas de reproducción sobres Pandas y Numpy. Entonces, mi sugerencia es que entres a la página del canal y sigas el orden de subida de los videos brincándote aquellos temas que ya sean familiares para ti.
Solo queria hacer una correccion, el RobustScaler esta mal la formula, es (X-mediana(X))/Rangointercuatilico, no me dío la formula que tienes tu ahi 15:22, no se calcula con desviacion estandar aunque pueda ser muy cercano a 1, el iqr = 1 despues del escalamiento, ese es el que quiere hacer 1 y la mediana = 0
como desnormalizamos en cada uno de ellos?
Lucas gracias por la pregunta. Con respecto a ella, las mismas clases de MinMaxScaler y StandardScaler tienen un método llamado inverse_transform() que justo realiza la transformación inversa de los valores. Gracias por seguir el contenido del canal :)
@@CodigoMaquina gracias, en caso de un normalize ??
Como puedo acceder a esos datasets
Profe algun libro que me recomiendes?
cuando convierto los valores de numpy a dataframe me pone error datos_normalizer=pd.DataFrame([datos_normalizer],columns=["PM2.5","PM10","CO","C02","TEMP","HUM"])
/usr/local/lib/python3.9/dist-packages/pandas/core/internals/construction.py in _prep_ndarray(values, copy)
553 values = values.reshape((values.shape[0], 1))
554 elif values.ndim != 2:
--> 555 raise ValueError(f"Must pass 2-d input. shape={values.shape}")
556
557 return values
ValueError: Must pass 2-d input. shape=(1, 8000, 11)
Brayan, gracias por la pregunta. Con el contexto brindado, no alcanzo a ver cuál podría ser el error. Espero que ya se haya solucionado el problema. Gracias por seguir el contenido del canal.