Análisis de Componentes Principales (PCA) para Reducir la Dimensionalidad de Datos usando Python

[@CodigoMaquina]

⭐ Apoya a Código Máquina dando un Like, Comentando, Compartiendo o con un Super Gracias.
⭐ De la co-fundadora de Código Máquina, productos de cosmética natural SINHAKI:
www.amazon.com.mx/stores/sinHaki/page/1BD34FBC-C0F9-44F5-AC69-520634334C61?ref_=ast_bln

[@user-tr3ml5cd9r]

Excelente introducción, te agradezco la explicación intuitiva de los conceptos de PCA

[@CodigoMaquina]

Muchas gracias por interactuar con el contenido del canal!!!

[@victorernestovelandiasuare3780]

Muchas gracias, muy clara y completa la explicación

[@alexisdejesusmoroscampuzan45]

Maestro, que explicación tan espectacular. Eres como un Carl Sagan del Machine Learning.

[@CodigoMaquina]

Eres muy amable Alexis, agradezco muchos tus comentarios 😊

[@careduvir]

Totalmente de acuerdo, la explicación de las sombras me hizo poder ver una luz en medio de mi oscuridad jajaja.

[@careduvir]

@@CodigoMaquina excelente trabajo

[@edgargonzalezambriz5264]

Muchas gracias profesor

[@CodigoMaquina]

Con mucho gusto!

[@ceciliabress9671]

La mejor explicación que he encontrado!! Felicitaciones

[@user-nd9fn2ci5j]

Explicación esplendida, exquisita, perfecta.

[@alonsocortes2341]

Apenas descubrí tu canal y vaya que cosas que vi en la maestria son mucho más fáciles de entender, excelente trabajo!

[@calito44]

Mister, yo tome hasta un curso de algebra lineal para entender el bendito asunto de las PCA, y si puedo hacer todo el elemento de la descomposicion y lo frikines eigenvector pero no es hasta ahora con este video que todo me hace sentido. Un nuebo subscriptor.

[@OscarZunigaM]

Excelente explicación. Muy claro todo. Un nuevo suscriptor

[@sebastianescalar4073]

tremendísima explicación, llevo un tiempo trabajando con esto y me costaba mucho porque no lo entendía bien, pero con esto me hizo todo el sentido del mundo. Felicidades por sus videos!!!!

[@CodigoMaquina]

@sebastianescalar4073 muchas gracias!!!

[@familiaduranromero2931]

Excelente video Prof. Octavio, se entendió con mucha facilidad. Muchas gracias por su aporte. Elio Duran desde Vzla.

[@CodigoMaquina]

Elio, muchas gracias por tus comentarios. Nos alegra saber que los videos te son de utilidad. Saludos!!

[@ivanflorez2150]

Tu canal vale oro, muchas gracias por compartir tu conocimiento

[@CodigoMaquina]

Es un gusto compartir con la comunidad de Código Máquina. Saludos Iván!!

[@javiersolerobando463]

Si que lo vale

[@cml6012you]

EXCELENTE, super didáctico, muchas gracias

[@CodigoMaquina]

Me da mucho gusto que el video sea de tu agrado Manuel. Saludos!!

[@etm2967]

Un G.O.A.T explicando la salva el semestre al más bruto"

[@CodigoMaquina]

@etm2967 gracias por confiar en el contenido del canal

[@bot902]

GENIAL, yo veo todos tus videos

[@CodigoMaquina]

@bot902 muchas gracias por ver los videos y por interactuar con el contenido del canal. Eso nos ayuda a llegar a más personas :)

[@josebernahola1387]

Excelente explicación profesor Octavio, me sirvió mucho!

[@CodigoMaquina]

Es todo un placer!!!

[@TheDannydrum]

Todo esto es hermoso cuando lo terminas entendiendo con un video que lo explica de una manea tan perfecta.

[@CodigoMaquina]

¡Muchas gracias Daniel! ¡Feliz Año!

[@patricklandia1]

Que crack!, ya me suscribi

[@CodigoMaquina]

@patricklandia1 muchas gracias!!!

[@user-mj4hz5bd4q]

Thanks!

[@CodigoMaquina]

@user-mj4hz5bd4q Muchísimas gracias por apoyar y creer en este proyecto.

[@raulsegioespejoticona9222]

geniel explicacion de PCA

[@CodigoMaquina]

Muchas gracias por tus comentarios y por seguir el contenido del canal :)

[@evaristegalois9832]

Un buen video como siempre. Saludos desde Ecuador

[@CodigoMaquina]

Gracias y saludos desde México :)

[@carolinamora8848]

Excelente video, una pregunta, cuándo se debe usar la matriz de correlación y cuándo usar la matriz de covarianza? de qué depende?

[@Aletiometro]

Gracias por explicar el funcionamiento de este algoritmo de scikitlearn que me lo recomiendan para reduccion de dimensionalidad de manera clara

[@CodigoMaquina]

Muchas gracias por apoyarnos y creer en este proyecto. @CodigoMaquina ha sido uno de los proyectos más bonitos que hemos emprendido en nuestras vidas, y el ver que otras personas también creen en él, nos llena de motivación. ¡¡¡Muchas gracias!!!

[@daron98]

Maravilloso video.

[@CodigoMaquina]

@daron98 muchas gracias!!!

[@eduardoarevalo7034]

Octavio, excelente explicación como siempre, muchas gracias. Cómo sé por ejemplo cuanto tebemos muchas mas variables, cuáles son ese conjunto de variables que están representadas con mayor impacto en cada componente? Estoy en un proceso de selección de características y se me ha hecho un poquito difícil seleccionar las adecuadas para el modelo.

[@rockophill3934]

Gracias Maestro Octavio!!

[@CodigoMaquina]

Gracias a ti por comentar. Saludos Rocko!!

[@camilajs7582]

Son geniales tus clases! Podrías abarcar el tema LDA con el análisis de todos sus atributos?

[@CodigoMaquina]

Muchas gracias por tus comentarios. LDA es un tema super interesante y avanzado, el cual efectivamente me encantaría incluir en el canal. Poco a poco llenaré el canal de todos esos temas. Gracias por seguir el contenido del canal :)

[@luisnava1289]

Buen vídeo bastante bien explicado aunque debo decir que no entendí muy bien lo que tiene que ver con álgebra lineal sin embargo aclaro que esto es debido a que en mi escuela aun no me han enseñado eso,por eso te hago la pregunta de ¿Que cosas de álgebra lineal debería aprender? saludos y gracias por enseñarnos :)

[@joseleonardosanchezvasquez1514]

Muy buena explicación pero te falto mostrar el nuevo conjunto de datos y comparar los dos dataframe, aunque las graficas lo muestran siempre es bueno visualizar los cambios en el dataframe, es decir el primero tenia dos columnas y el segundo dataframe solo una columna debido a la reducción de dimensionalidad. Muchas gracias lo haces muy bien.
Tienes algún ejemplo de PCA con aprendizaje supervisado??

[@CodigoMaquina]

Muchas gracias por interactuar en el canal y por la retroalimentación. Al momento, es nuestro único video sobre PCA, aunque es muy probable que en un futuro incluyamos más videos sobre PCA y ahí aplicaremos las sugerencias. Gracias :)

[@joseleonardosanchezvasquez1514]

@@CodigoMaquina Gracias

[@jeisonlopez2044]

@@CodigoMaquina Gracias

[@tapagocha11]

Buen video!! Excelente!!

[@israelmg1749]

Saludos, tío Código Máquina

[@CodigoMaquina]

@israelmg1749 todo lo mejor para ti y tu familia :)

[@10955356]

Excelente video

[@JuanPablo-ce3du]

Gracias Maestro !

[@CodigoMaquina]

Es un placer :)

[@gabopython]

rayos, esta increible

[@CodigoMaquina]

Muchas gracias por tus comentarios Gabriel :)

[@zoryacevedo6198]

Excelente!!!

[@gonzaloyoutube9463]

Fenomenal vídeo, muchas gracias. Me cabe la duda de cómo modificar el código si por ejemplo tengo 6 variables numéricas en el DataSet

[@CodigoMaquina]

Muchas gracias por tus comentarios y por la pregunta. La implementación que hice de PCA paso a paso para ejemplificar y explicar la técnica sí requiere ajustes para trabajar con más variables. Sin embargo, la implementación de PCA provista por sklearn realmente no requiere ningún ajuste pues ya trabaja con datos multidimensionales. De hecho, mi recomendación es usar directamente la implementación de sklearn.

[@johnbermudez1488]

Buenas tardes, muy buen video, felicitaciones. ¿puedes hacer un video sobre el método PARAFAC usando python? gracias

[@CodigoMaquina]

@johnbermudez1488 PARAFAC es un tema muy interesante. Uno de estos días damos la sorpresa y hacemos el video. Sin embargo, dentro de este tema, llegará primero un video sobre t-SNE. Gracias por seguir el contenido del canal :)

[@cheli3030]

Hola, está muy clara la explicación. Estoy haciendo mi tesis y trabajando con una base de datos de 33 variables, el objetivo es clasificar las observaciones en "Maligno" o "Benigno", ya apliqué PCA, pero no sé cómo continuar, tendría que aplicar k-means a estas nuevas variables? y cómo podría interpretarlo? Gracias anticipadas

[@CodigoMaquina]

@cheli3030 gracias por tu comentario y por tu pregunta. Después de reducir las dimensiones, habría que utilizar un clasificador (ejemplo, regresión logística). Después de una búsqueda en la web, encontré el siguiente ejemplo que espero te sea de utilidad: www.kaggle.com/code/akhileshrai/pca-for-visualisation-classification

[@cheli3030]

@@CodigoMaquina Mil gracias

[@ingsamariojrg]

Buenas, excelente contenido..por favor colaboreme resolviendo una duda, si tengo unas variables categóricas las cuales he codificado inicialmente con el OneHotEncoder, las columnas resultantes de hacer este etiquetado o codificación, no se deben incluir en el Análisis de Componentes Principales cierto? Nisiquiera las debo estandarizar, es así?. Muchas gracias quedo atento

[@DataScience-oj4hc]

10:27

[@CodigoMaquina]

Gracias por interactuar con el contenido del canal :)

[@LuisSantanaDelacruz]

Muchas gracias por tu excelente video. Sólo me queda la duda de qué hacer con la gráfica obtenida, ¿cómo la puedo interpretar? ¿Qué me dice cada componente principal?

[@CodigoMaquina]

Estimado Luis muchas gracias por tus comentarios y preguntas. Este mecanismo nos ayuda a determinar la proporción de la varianza del conjunto de datos que se encuentra a lo largo del eje de cada componente principal. En realidad, PCA tiene varias aplicaciones muy importantes. Por ejemplo, el simple hecho de que podamos graficar múltiples variables en 2D o 3D nos puede ayudar a detectar patrones o clusters atacando así la maldición de dimensionalidad. Gracias por ver el contenido del canal :)

[@jesusmanuelnietocarracedo9701]

Genial explicación, ahora tengo una pregunta, entiendo que si en lugar de 2 variables tenemos 3, donde la tercera fuera la dependiente, y estas 2 variables las independientes, podríamos crear un modelo de regresión, con esta nueva variable que hemos creado de la combinación-reducción de la anterior? Disculpa la pregunta pero estoy empezando a entender estos algoritmos.

[@CodigoMaquina]

Estimado @jesusmanuelnietocarracedo9701 gracias por la pregunta. Si entendí bien, deseas aplicar una técnica de reducción de dimensionalidad como PCA sobre las variables independientes y después construir un modelos de regresión lineal. Hacer eso es factible, sin embargo, perderías la interpretabilidad que obtienes al utilizar un modelo de regresión lineal. En este caso, te recomendaría utilizar alguna técnica de regularización como LASSO para que conserves la interpretabilidad y construyas un modelo más simple.

[@carolinacuello7780]

Profesor... Una consulta en mi análisis hice la normalizacion y no la estandarizacion... Tengo que hacer si o si la estandarizacion para hacer el PCA o puedo usar los datos normalizados?

[@CodigoMaquina]

Carolina gracias por la pregunta tan interesante. De acuerdo a unos de los libros más referenciados (The Elements of Statistical Learning ), lo común para PCA es estandarizar (y no normalizar). PCA maximiza la varianza, la cual está asociada a la desviación estándar. Con la estandarización, por ejemplo de dos variables, los datos se centran y las dos variables quedan con una desviación estándar de 1, lo que permite el correcto funcionamiento de PCA.

[@luisgil267]

Gran video, una pregunta. Una vez que tengo una lista de datos proyectados y eligo aquellos con mayor varianza, ¿Ese nuevo vector es el que se debe usar para el analisis que quiera relalizar pero ahora con una variable menos?

[@CodigoMaquina]

Hola Luis gracias por tus comentarios y por la pregunta, la cual se responde con un gran SÍ. Una vez que tienes tus datos "reducidos" puedes ejecutar algún tipo de análisis, por ejemplo, clustering.

[@danielguardia5780]

Muy buen video, hay posibilidad de que puedas ejecutar un PCA de 3 variables?

[@CodigoMaquina]

Gracias por tus comentarios Daniel. Sí, efectivamente se puede aplicar PCA con 3 o muchas más variables. Creo que este tema amerita al menos un video más donde se presente una aplicación real y más compleja. Ojalá pronto podamos prepararlo :)

[@isacclazaro5259]

Se podrá usar parafac en lugar de PCA?

[@aditu1762]

hola! una pregunta: datos que mete a pca.fit_transform es un diccionario? o el dataframe? o el dataframe estandarizado? saludos

[@CodigoMaquina]

Gracias por la pregunta. Se ingresa el DataFrame estandarizado. De hecho, tenemos disponible el código del video en caso de que deseas interactuar con él: github.com/CodigoMaquina/code/blob/main/machine_learning_python/PCA.ipynb

[@arturo3138]

Excelente, pero te falto lo mas importante, cómo interpretar los nuevos datos proyectados.

[@alejandroibarrachavez2770]

me gustó mucho, pero no termine de entender como interpretar el gráfico, he visto que de repente usan gráficos muy distintos dependiendo el ejemplo

[@aditu1762]

los vectores eigen siempre van a ser ortogonales entre si?

[@CodigoMaquina]

Muchas gracias por seguir el contenido del canal y por tu pregunta. Al respecto, dado que la matriz de covarianza es simétrica y está compuesta de valores reales, sus vectores Eigen siempre son ortogonales.

[@jortigasperu]

hola Profesor, una consulta.. se podrá reducir dimensiones a datos cualitativos? Saludos

[@CodigoMaquina]

José muchas gracias por esta pregunta tan relevante e interesante. Si deseas reducir la dimensionalidad de datos categóricos, échale un ojo a la técnica de "Multiple Correspondence Analysis". Aquí va una referencia:
Abdi H, Valentin D. Multiple Correspondence Analysis. Encyclopedia of Measurement and Statistics. 2007. 10.4135/9781412952644

[@jortigasperu]

@@CodigoMaquina gracias!!

[@mauriciooffermann5446]

Ya, pero no me quedó claro, en qué momento es conveniente hacer la reducción de dimensionalidad 😊😊😊😊😊😊en qué momento no? Qué indicador es el que se deben mirar para saber si uno debe hacerlo o no?

[@CodigoMaquina]

Mauricio gracias por seguir el contenido del canal y por la pregunta, las cual es muy interesante y muy difícil de responder, pero aquí va un intento. El reducir la dimensionalidad de los datos depende enteramente del dominio. En algunas ocasiones deseas simplemente saber si existe algún componente que explique en mayor medida la varianza del conjunto de datos. En otras ocasiones se busca mitigar la maldición de la dimensionalidad (ua-cam.com/video/nhgCwWGNDiM/v-deo.html). En otras ocasiones ayuda a visualizar datos multidimensionales. Debo mencionar que hay más aplicaciones de la reducción de la dimensionalidad vía PCA, sin embargo, espero que las listadas ayuden un poco.

[@JuanSosa-gd8uy]

Después de hacer un análisis PCA puedes calcular cuáles de tus variables originales aportan a explicar la varianza esto sirve si queremos hacer un análisis. Además de que computacionalmente reducir las dimensiones por lo que algunos modelos pueden verse beneficiados de reducir la dimensionalidad.

[@kat9893]

Tiene algún curso así de bueno en udemy?

[@CodigoMaquina]

Muchas gracias por esta pregunta. Te comento que no tenemos cursos en udemy. Todo nuestro contenido está disponible gratuitamente en youtube y tratamos de que sea de la mayor calidad posible :)

[@abnereliberganzahernandez6337]

perdon por mi intromisison pero para explicar estos conceptos es necesariohacerlo analiticamente y no por analogias ya que no sirve de nada
yo no lo he terminado de entender pero la matriz de covarianza esta mal explicada. o incompleta. ya que la amtreiz de covarianza se calcula como la sumatoria de cada punto xi-u yi-u es decir
luego dividido entre el numero total de puntos es decir es un promedio. este promedio nos indica una relacion lineal entre los datos centrados x e y es decir contiene informacion de la variacion promedio de los puntos x e y con respecto a sus medias, es decir a sus datos centrados.
ademas de los signos indicarnos las direcciones de tales cambio es decir si cambia y para donde cambia x o si estan en la misma direccion de cambio o en direcciones opuestas.
y lo de los eigenvectores y eigen valores es simplemente la solucion de la ecuacon matricial (A - λI) v = 0 a aprtir de la resocuion de esta ecuacion se encuentras 2 vectores y ya esto representa bajar la dimesionalidad no es necesario invocar sombritas y lamparitas odio las explicaciones con metaforas no soy un nino

[@accesibilidadconluismi]

El profesor @CodigoMaquina no se si te va a responder, pero la figura Trol existe en todos los canales (hay gente que se aburre). Cuando estás en desacuerdo con alguna explicación de algún tutorial del tema que sea, que va para todo el mundo, no solamente para ti, está muy bien que expliques tu razonamiento e incluso puedas mejorarlo con tu razonamiento. Pero eso no te da derecho (aunque es lo malo que tienen la redes sociales que todos pueden faltar sin sentido) a decir que la manera de explicarlo con metáforas y lamparitas está mal y que ODIAS. Pues es muy sencillo no lo veas ya que no tienes la obligación si no te gusta. Pero te digo que yo debo se nino (que no tengo ni idea de lo que es) ya que desde simple utilizando la metáforas he comprendido y enseñado en clase para que mis alumnos comprendieran creo que mejor las cosas. Un saludo y me gustaría ver un vídeo tuyo explicando lo mismo con tu razonamiento.