Tutorial: LIMPIEZA DE DATOS con Python y Pandas
Вставка
- Опубліковано 2 сер 2024
- 🔥🔥Academia Online🔥🔥: cursos.codificandobits.com/
🔥🔥Asesorías y formación personalizada🔥🔥: www.codificandobits.com/servi...
En este tutorial veremos de forma práctica cómo hacer la limpieza de un set de datos, una fase esencial en cualquier proyecto de Ciencia de Datos o Machine Learning.
Notebook y set de datos: drive.google.com/drive/folder...
Contenido:
00:00 Introducción
00:29 Academia Online
00:57 El problema a resolver
02:14 Características del set de datos
04:10 Lectura del set de datos
06:01 Introducción a la limpieza
08:56 Manejo de datos faltantes
11:14 Columnas irrelevantes
17:21 Filas repetidas
18:18 Valores extremos
24:03 Errores en variables categóricas
32:49 Conclusión
🔴 ** VISITA WWW.CODIFICANDOBITS.COM **
En el sitio web encontrarás, además de artículos y material útil, cursos online y servicios de desarrollo de proyectos, asesorías y formación personalizada en las áreas de Ciencia de Datos, Machine Learning e Inteligencia Artificial.
🔴 ** VIDEOS Y LISTAS DE REPRODUCCIÓN RECOMENDADAS **
🎥 Análisis exploratorio de datos: • ¿Cómo hacer el ANÁLISI...
🎥 Manejo de datos faltantes: • ¿Cómo manejar los DATO...
🔴 ** ÚNETE A CODIFICANDO BITS Y SÍGUEME EN MIS REDES SOCIALES **
✅ Sitio web: www.codificandobits.com
✅ Suscríbete: ua-cam.com/users/codificando...
✅ Facebook: / codificandobits
✅ Instagram: / codificandobits
✅ Twitter: / codificandobits
🔴 ** ACERCA DE MÍ **
Soy Miguel Sotaquirá, el creador de Codificando Bits. Tengo formación como Ingeniero Electrónico, y un Doctorado en Bioingeniería, y desde el año 2017 me he convertido en un apasionado por el Machine Learning y el Data Science, y en la actualidad me dedico por completo a divulgar contenido y a brindar asesoría a personas y empresas sobre estos temas.
🔴 ** ACERCA DE CODIFICANDO BITS **
El objetivo de Codificando Bits es inspirar y difundir el conocimiento en las áreas de Machine Learning y Data Science.
#machinelearning - Наука та технологія
🔥🔥Academia Online🔥🔥: cursos.codificandobits.com/
🔥🔥Asesorías y formación personalizada🔥🔥: www.codificandobits.com/servicios/
Manual de cómo hacer un videotutorial de ciencia de datos. Este contenido tan explícito y práctico no se encuentra fácilmente.
Este video es oro para mí. Muchas gracias por compartir tu conocimiento de una forma tan sencilla y entendible!
Te quiero agradecer por tu excelente trabajo. Estoy estudiando ciencia de datos y claramente la limpieza y el análisis es lo que mas tiempo te lleva en un proyecto. Este video lo explica de forma muy clara en sencillos pasos. Seguramente cada dataset tiene su vuelta jaja, pero me ayudaste mucho. Te mando un abzo desde Arg!
Muchas gracias por tu comentario Tomás y un gran abrazo desde Colombia!
@@codificandobits Tengo algunas dudas. Primero se debe realizar un análisis exploratorio y luego la limpieza? o al revés? Y la otra duda es si esta limpieza aplica a todos los dataset. Muchas gracias y perdón las molestias! 😅
El siguiente video se ve prometedor!!!! Gracias!!!!
Que buen video!!!!!! Gracias!!!!
Muy Buenooo!!!!
Excelente video!
Tremendo video, por lo util y por lo claro. Gracias amigo!!
Te amo viejo, eres un crack, excelente explicación
Excelente maestro
Excelente, gracias!
Excelente, aprendi un monton!
Excelente video... Explicado de una manera clara y concisa ... Muchas gracias 😃👍
Excelente video, muchas gracias
Muy bueno el video. Muchas gracias.
Excelente video
Muy bien explicado !!
Graaaan video, me fue de mucha ayuda, gracias.
Muchas Gracias por compartir su conocimiento. Excelente.
Muy buen video, muy claro. Muchas gracias!!
Que espectacular. Es para ver diez veces y asimilar como conocimiento. Muchísimas gracias
Eres un profesor increible, muchas gracias por compartirnos todo lo que sabes!
muy bien explicado
me has salvado estoy agradecido
1 año y 7 días de que salió este video. Tremendo su valor... (ojalá así explicaran en la escuela en la que estoy inscrito). Solo para agregar aunque sea un poco, creo que en la columna 'contact' también pudieron unificarse "cellular" con "mobile".
Espero pronto unirme a tu academia en línea. Muchas gracias.
Muy buen video, muy explicativo en su punto Thanks
espectacular
Excelente explicacion del potencial de python para la limpieza de datos, michas gracias por este video.
Muy buen video, claro, completo y bien explicado. Muchas gracias!
Suscrito! gracias por compartir tu conocimiento.
Excelente…!
Buenisimo el video entendi todo graciass y felicitarlo por su Excelente trabajo y metodologia.
Muchas gracias ingeniero
Excelente explicación, me aportó mucho. Corregí e implementé varias líneas de código que clarificaron mi df y mis objetivos.
Excelente
Buenísimo. Fui realizando el paso a paso mientras explicabas. Quedo atenta a tus vídeos en caso de que haya una continuación para la siguiente etapa del análisis!
Gracias!
Qué bueno que te haya gustado el video... Sí, en unas semanas viene la continuación (análisis exploratorio). Un saludo!
Muy buen tutorial, lo único que le agregaría sería la lógica de algunas variables, por ejemplo, la variable día aparece como variable numérica, cuando en verdad debería ser una variable categórica. Para los que están empezando, algo que me funcionó en su momento, era pensar si tenía lógica el promedio de esa variable, de modo que si no tiene lógica utilizar el promedio, pues es porque no tiene sentido utilizarla como númerica. También hay que poner cuidado con esto al modelar, ya que internamente le están dando más relevancia a unas categorías con respecto a otras.
Muy buenas sugerencias Geovany! Y tienes razón acerca de los días: más que variable numérica debería ser categórica (ordinal). Un saludo!
Me encanto!!! Muchisimas gracias, estoy haciendo un curso/carrera de ciencia de datos, pero la verdad es que es pura teoria pero casi nada de practica y estoy muy perdida. Te re agradezco y se entendio todo perfectamente. Muchas bendiciones. Saludos.
Excelente resumen, muchos tip´s necesarios para estas actividades. Muchas gracias Profesor.
Me alegra que te haya gustado. Un saludo!
Excelente explicación ingeniero. Muchas gracias. Seguire paso a paso sus redes. Dios lo bendiga.
Gracias por tu comentario y un saludo!
gracias por el tutorial! :D
That's what she said
Grande
Excelente video, me ha ayudado mucho. Me queda una duda de si al final de las unificaciones de valores de las columnas tiene sentido revisar nuevamente los duplicados, ya que podía haber filas consideraras distintas pero luego de la unificacion (Por ej: ukn a unknown) quedaron como iguales.
Muchas gracias por este vìdeo. Supongamos que tuvieramos una columna con un ùnico subnivel, còmo harìamos para eliminarla?
Gracias por compartir su conocimiento. Cuando se usa regex=True en la siguiente linea de código?
data['job'] = data['job'].str.replace('admin.','administrative', regex=False)
Donde puedo ver El video de analisis de Estos Datos?
Excelente video Miguel! sigue trayendo más contenido con la manipulación y análisis de datos :)).
Por cierto, en que parte está el notebook de colab que dijiste que estaba en la descripción?
Hola Mitchel gracias por el comentario. Sí, en un próximo video veremos el análisis exploratorio de este set de datos.
Y en la descripción del video encuentras el enlace al notebook + dataset.
¡Un saludo!
¡¡¡Muchas Graciassssss!!!
31:17 esta notacion me afecta valores en otras columnas. Ese valor con el que corrijo el erroneo se me agrega como valor en todas las columnas del df con la cantidad de veces que se cumple esa condicion. Me puede brindar luz al respecto?
Consulta! Ahi donde dice ruta = (xxxx) por que entre medio dice video?
Esa parte de google.colab y lo del drive me tira error, si yo tengo el archivo en mi escritorio, ¿Cúal seria la escritura de código?
Mil gracias llevo una semana buscando como hacer eso😢
:) :) :)
Hola muchas gracias por tus contenidos! Pregunta: es necesario limpiar y paramétrizar el Dataset, previo a la decisión de algoritmos de ML para optimizar la evaluación? O como sugieres proceder?
Me refiero a un Dataset de variables climáticos en series de tiempo.
@@nara.titan28 Sí, siempre es necesario limpiar el dataset antes de cualquier análisis o procesamiento. ¿A qué te refieres con parametrizar?
excelente video , es posible que compartas el notebook?/?/??/?
Claro que sí. En la descripción del video encuentras el enlace al código fuente
Hola Profe excelente video, solo tengo una duda.
1. Que pasaria si en la parte de subniveles uno tiene muchos de estos, en este caso en el video teniamos 10, 8, 5 etc.. pero si hablamos ya de 10.000, 8.000, 50.000 subniveles el histograma saldria tan grande que quizas daria la misma, ¿Cómo se manejaria en ese caso?
Hola y qué buena pregunta. En este caso existen varias alternativas (aunque al final todo dependerá de las particularidades de tu set de datos y del problema que quieras resolver).
Por ejemplo podrías implementar técnicas de reducción (es decir eliminar algunos subniveles que no contengan muchos datos) o de agrupamiento (clustering). O usar el histograma para ver cuáles de estos subniveles son menos frecuentes y (si el problema lo permite) eliminarlos, o también podrías considerar técnicas de "cross-tabulation".
De nuevo, es necesario conocer en detalle el problema a resolver y el set de datos para determinar el camino que resultaría más adecuado. Un saludo!
Buen día estimado Profesor, le puedo hacer una consulta ¿Cómo puedo determinar la factibilidad de uso de un dataset para un proyecto específico?
Marlon es una pregunta muy difícil de responder sin conocer los detalles. Pero de forma general deberías tener en cuenta:
1) ¿Qué problema quieres resolver?
2) ¿Que producto/resultado final esperas tener una vez resuelto el problema?
Teniendo claras las respuestas a estas dos preguntas debes determinar si tu set de datos tiene las características que corresponden a las respuestas que acabas de dar.
Como te digo, es una respuesta muy genérica. Si me das más detalles te puedo orientar mejor.
@@codificandobits Buenas noches estimado profesor, gracias por la respuesta, soy novato en el tema de machine learning, pero ahora me encuentro trabajando en un proyecto referente al ancho de banda, he encontrado un par de datasets, pero aún no se si sean los adecuados para el proyecto que le comento. ¿Tendrá alguna otra red social dónde contactarlo, para que me brinde un par de consejos?
Hola! de verdad espero me puedas ayudar, soy nuevo en todo esto. Si por ejemplo de la columna age, yo quisiera solo ver la información de los que tienen 50 años, pero manteniendo el resto de información referente a esas personas con esa edad en particular, cómo lo puedo hacer? la verdad que por más que trato de pensar como hacerlo no encuentro la solución. Te agradecería mucho la ayuda!
Age = data[data["Age"]=50]
estimado, seria tan amable de pasar el note y el set de datos, gracias
Claro que sí Omar. El enlace lo encuentras en la descripción del video. ¡Un saludo!
@@codificandobits me recomendas panda para leer un archivo de 168 gb en formato txt?
Aca en Perulandia te llaman mas de 300 veces al mes. Son unas ladillas!
Tengo una duda en qué área está o que perfil tiene porque en la unam e ipn la manejan como ciencias físico matemáticas que debemos de saber matemáticas ciencias de la computación estadística y conocimiento del negocio en qué perfil está porque unos me dicen que es físico matemáticas otros que es tecnológica que perfil tiene en realidad esa es mi inquietud
Excelente video y muy bien explicado!!!.