#4 آموزش پیشرفته پایتون - پروژه داده کاوی و یادگیری ماشین - مرحله چهارم - آماده کردن داده ها
Вставка
- Опубліковано 2 лис 2020
- آموزش پیشرفته و پروژه محور پایتون با تمرکز بر داده کاوی و یادگیری ماشین - مرحله چهارم پروژه یادگیری ماشین - آماده کردن و تمیز کردن داده ها
در این ویدیو:
4. مرحله چهارم انجام یک پروژه یادگیری ماشین: آماده کردن و تمیز کردن داده ها، از بین بردن مقادیر نال و ستون های خالی، تغییر مقیاس اعداد و تبدیل ستون های رشته ای به عددی و گروهی
بررسی و کار با کتابخانه های پانداز و مت پلات لیب pandas - matplotlib
در این دوره با مراحل شش گانه ی انجام یک پروژه داده کاوی و یادگیری ماشین یا ماشین لرنینگ با استفاده از محیط جوپیتر آشنا خواهید شد.
در این دوره کتابخانه های
pandas, numpy, sklearn, matplotlib
به صورت پیشرفته آموزش داده خواهند شد
لینک دانلود داده ها:
github.com/reza-mashayekhi/Py...
Python Advanced - Introduction to Data Analysis and Machine Learning on Jupyter notebooks using pandas, numpy, matplotlib, sklearn
Farsi
subscribe:
/ @visionacademytutorials
لینک حمایت از ما:
www.paypal.com/cgi-bin/webscr...
مدرس: دکتر رضا مشایخی
Tutor: Dr. Reza Mashayekhi
Key-words:
#پایتون_پیشرفته
#داده_کاوی
#یادگیری_ماشین
#پروژه_محور
#Python_Advanced
#Data_Analysis
#Machine_Learning
The last step was like...Damn ! LOL !
سلام فیلم های شما واقعا عالیه. من از پایتون مقدماتی پیش رفتم و الان تا این فیلم جلو اومدم و انجامشون دادم و هیچ مشکلی نداشتم. بشدت هم علاقه مند شدم به ادامه کار و تمرین بیشتر. خیلی ممنون ازتون شما خیلی خوب توضیح میدید🙏🙏🙏
درود
سپاس از شما و ممنون به خاطر انرژی ای که به ما میدید🙏🙏💕💕
خیلی ممنون از آموزش. خیلی عای هست و خیلی خوب توضیح میدین. lممنون میشم اگر کد ها رو به ما بدین
عالی -عالی بود .that was perfect .
من آموزشهای زیادی رو از سایتهای ایرانی گرفته بودم قبلا ولی آموزش دادن شما عالی بود ، قشنگ معلومه که با دل و جون دارید یاد میدید . فقط لطفا بعد از درس ششم (فایل7#) یه درس دیگه اضافه کنید و چندتا مثال بزنید .
لطفا راه های دیگه داده کاوی و هوش مصنوعی ، تشخیص چهره یا تصویر را هم آموزش بزارید .
لایک داری
درود
ممنون از شما🙏🙏🙏
یک دوره ی پیشرفته ی داده کاوی و ماشین لرنینگ در حال ساخت هست.
ممنون از پیشنهاد خوبتون.🙏🙏
@@VisionAcademyTutorials Oh GOD , B joz In ?
good
عالی و جذاب موفق باشین
You teach principled and cleanly. You value the audience's time. I highly recommend this course to anyone who want to learn machine learning. Thank a million...
باسلام و احترام
ممنونم. عالی بود.
ممنون از همراهیتون 🙏🙏
خيلي خيلي ممنونم از بابت توضيحات خوبتون ، يعني من از كي منتظر اين آموزش بودم ، يعني شايد امروز آپلود اين ويديو قشنگت ترين اتفاق بود ممنونم 🌹🙏
درود
مرسی از این همه لطف و انرژی مثبت.🙏🙏🙏
Perfect!
Thanks for watching
Perfect. Thanks
Welcome 🙏🙏
Your method for teaching ML is really awesome. A big thank you to you for these wonderful videos. I am looking forward to seeing more tutorial videos from you.
Keep going 😍😍💪💪
Thank you, I will
ممنونم از بیان شیوا و مطالب ارزنده ای ک ارائه کردید
سپاس🙏🙏💕💕
damet garm😍🥰 perfect
🙏🙏🙏🙏🙏🙏
aali bood mesle hamishe. vagheaan mamnoon.
مرسی بابت انرژی مثبتتون🙏🙏🙏
ممنون بابت اموزش عالیتون.....ایا نیازه که ده دقیقه جلسات قبل مرور بشن؟جلسات قبل که وجود دارن و میشه بارها بررسی بشن
خیلی این مرحله سخت بود
سلام
ممنون از همراهی تون
تمرین رو فراموش نکنین
@@VisionAcademyTutorials بله بله
ممنون از تدریس عالیتون
nice
سلام ممنون که با کامنت هاتون بهمون انرژی میدین
aaaliiii bood
سپاس🙏🙏💕💕
استاد عالی بود دوره فقط این ارور رو نتونستم رفع کنم راهمایی میفرمایید ؟ انتهای ویدیو
ValueError: input_features is not equal to feature_names_in_
من اون پیشوند ["prox"] رو پاک کردم درست شد. پیشونداش یکم طولانی شد ولی کار کرد
چرا فقط میزارم ۱۰ تا ستون داشته باشم و بیشتر ۱۰ تا ارور میده
سلام دوست عزیز
خیلی ممنونم بابت آموزشتون خیلی با کیفیتتن
یه سوال خدمتون داشتم
جطور میشه دایره های موجود در اسکتر پلا رو طوری رسم گرد که outline باشه
یا بشه تبدیل به ماتریس کرد؟
Please tell me how to fix this error: data_cat_1hot.columns = encoder_1hot.get_feature_names(['prox'])
AttributeError: 'OneHotEncoder' object has no attribute 'get_feature_names'
وقت بخیر آقای دکتر سوالی داشتم، چرا ما دوبار پاکسازی دیتا میکنیم یعنی یک بار برای train_set و یک بار هم برای test_set چرا قبل تقسیم بندی دیتاها اول پاکسازی نمیکنیم بعد دیتاها به دو بخش تقسیم کنیم
kash code haro mizashtin baraye ma dar dastres
درود
کدها رو به مرور در کانال تلگراممون قرار میدیم
t.me/VisionAcademyGroup
سلام ؛ مث بقیه ویدیوها عاالی بود ؛ ولی کاش فایل ipynb که تو فیل ساحتید رو هم برای دانلود میذاشتید که به عنوان جزوه میداشتیم ؛ یا اینکه خودتون پی دی افشو میذلشتید؛ در هر صورت خیلی کارتون درسته
درود
ممنون از لطف شما
علت اینکه کد رو نگذاشتم این بود که حتما کد رو بنویسید
مطمئن باشید اینطوری بازدهی بیشتری خواهد داشت
اطفا فونت یا سایزی که از روی وپیر کدها رو مینویسید یا نشون میدهید را بزرگ کنید کدها رو نمیشه خوند
درود
حتما
مرسی از پیشنهادتون🙏
سلام خسته نباشید و ممنون از زحماتتون
دوره پیشرفته حدودا تا آخر تابستون گذاشته میشه؟
درود
ممنون از شما.
فکر نمیکنم تا پایان تابستان آماده بشه ولی سعیمون رو میکنیم.
ممنون از شما
سلام ممنون از ویدیو خوبتون من تو قسمت custom transformers" یه مشکلی دارم اونم اینه که برایBaseEstimator ارور
NameError : name 'BaseEstimator' is not defined
رو میگیرم و هرکاری میکنم حل نمیشه ممنون میشم کمک کنید
درود
احتمالا ایمپورت نشده.
اتبدای کد این خط رو اضافه کنید:
from sklearn.base import BaseEstimator, TransformerMixin
موفق باشید
@@VisionAcademyTutorials بله درست شد خیلی ممنون❤
Scikit-learn 0.20 was the last version to support Python 2.7 and Python 3.4. Scikit-learn 0.21 supported Python 3.5-3.7. Scikit-learn 0.22 supported Python 3.5-3.8. Scikit-learn now requires Python 3.6 or newer.
The first releases used the LabelBinarizer because I think there was no OneHotEncoder at the time, but the LabelBinarizer solution I used was really a hack, and it stopped working in a later version of Scikit-Learn because it's not designed to work in pipelines (since it's meant for the labels, not the input features). In particular, the LabelBinarizer can only handle one column at a time, and it only handles one argument (y), so it cannot be used in pipelines (which expect both X and y).
thanks for the update
باعرض سلام عمليات train_set و test_set ميتوانيم در اخرين مرحله چهارم اجرا كرد ؟
سلام و تشکر از آموزش عالیتون. کانال و سایتی غیراز یوتیوب ندارید که راحت‌تر بشه دسترسی داشت به فیلم و یا بشه دانلود کردشون
سلام
ممنون از همراهی تون
بله در حال حاضر ویدیو ها فقط توی کانال یوتیوب هستند
از شما هم خواهش میکنیم برای حمایت از گروه ما، فقط از همین طریق ویدیو ها رو ببینین و دانلود نکنین
با سلام طبق اون چیزی که ما از میانه 12 سال پیش در دبیرستان داشتیم اگر تعداد اعداد فرد باشد وسطی انتخاب میشد اگر تعداد اعداد زوج بود از دو تا عدد وسطی میانگین می گیریم میشه میانه یا مد ما
سلام ممنون بابت ویدیو های خوبتون من در این بخش یک مشکلی که برخورد میکنم در قسمت custom transformers زمانی که تابع را نوشتم و زمانی که class , object را ساختم و transform را صدا زدم وبعد همه این مراحل وقتی run میکنم پیام (NameError: name 'BaseEstimator' is not defined) را می دهد... در ویدیو این قسمت را متوجه نشدم چرا استفاده می شود
درود
احتمالا کتابخونه ی
BaseEstimator
رو ایمپورت نکردید.
بالای کدتون این خط رو اضافه کنید:
from sklearn.base import BaseEstimator, TransformerMixin
موفق باشید
@@VisionAcademyTutorials آقا به سوال منم جواب بدین ممنون
باسلام ممنون بابت فیلم خوبتون و صبر و شکیبایی بابت پاسخ به تمام کامنت ها
بی زحمت ارور زیر را راهنماییم می کنید
('selector', DataFrameSelector(num_attrs)),
NameError: name 'num_attrs' is not defined
از طرفی لیستم را داخل نام اتریبیوت ریختم:
df = train_set.copy()
df_num = df.drop(["ocean_proximity"], axis=1)
num_attrs = list(df_num)
باتشکر فراوان
درود
بدون دبدن کل برنامه نمیتونم علت رو متوجه بشم.
موفق باشید
با سلام و عرض ادب و احترام ، توی قسمت custom transformer وقتی دستوراتی که نوشتید رو نوشتم و خواستم run بگیرم بهم ارور میده و توی ارور مینویسه : name 'BaseEstimator' is not defined محبت میفرمایین بگید چجور این ارور رو رفع کنم؟
moshkel in tori hal mishe ,,, selole aval ke ketabkhone haro dari import mikoni in ham zire ketakhkhone sklearn import kon >>>>>>>> from sklearn.base import BaseEstimator, TransformerMixin
چرا فرایند
data prepration
را در همان مرحله اول روی کل داده های
housing
انجام نمیدهید و بعد که داده ها کامل شد تقسیم داده ها به
test وtrain
صورت گیرد؟
سلام با تشکر از آموزش خوبتون فقط یه سوال داشتم شما گفتید که اگه ما داده های متنی زیادی داشتیم بهینه است که از label encoding بریم ولی تو این روش خودش عدد میده و شاید به گرون ترین منطقه عدد صفر رو بده و به ارزون ترین منطقه عدد بیشتر میشه راهنمایی کنید برای رفع این مشکل چیکار باید کرد؟
سلام جناب دکتر
ممنون بابت درس عالی تون
ببخشید جناب دکتر یه سوال داشتم
تا این درس کل مراحل را خوب پیش رفتم اما اکنون به یک مشکل برخوردم هنگام که دستور
df =train _ set.copy
df_label = df("median_house_value").copy()
df = df.drop ("median_house_value", axis=1)
df.info()
مینویسم در جواب عبارت پائین میاد nameError: name 'train_set' is not defined
جناب استاد خواهشا راهنمایی کنید
با سلام. جناب دکتر دیتابیسی شبیه به همین دیتابیس سراغ ندارید که روی اون هم جداگونه کار کنیم؟ مرسی از زحماتتون.
درود
از طریق سایت
kaggle.com
میتونید به دیتا بیسهای مختلف و رایگانی دسترسی داشته باشید
موفق باشید
good
It was great. How can access pipeline code
Happy to hear that.
the code is not yet uploaded but we are trying to create a GitHub repository for that.
سلام من از همون ابتدا نمیتونم فایل شما رو import کنم
سلام وقت بخیر یه سوال داشتم توی قسمت custom transformبعد از اجرای کد ارورname 'BaseEstimator' is not definedبه چه علت ظاهر میشه؟
درود
احتمالا قبل از استفاده از
BaseEstimator
کتابخونه رو به برنامه ایمپورت نکردید. این رو قبل از استفاده از
BaseEstimator
بنویسید
from sklearn.base import BaseEstimator
موفق باشید
@@VisionAcademyTutorials ممنون
سلام اموزش پرددازش تصویر و بینایی ماشین و یادگیری ماشین در سی شارپ را با کمک کتابخونه های ml.net و opencvsharp اموزش بدهید
درود
توی برنامه کانال هست اما زمان دقیقش مشخص نیست
مرسی از نظرات خوبتون
سلام استاد وقت بخیر
دقیقه 32:40
قسمت Custom transforms
کلاسی تعریف کردید به اسم combinedAttributesAdder
و بهش دو تا مقدار دادید به نام های : BaseEstimator, TransformerMixin
منم دقیقا مثل شما همین کار رو انجام دادم اما متاسفانه خطا میده که این دو تا مقدار تعریف نشدن ! آیا نیاز هست اینا رو تعریف کنیم؟
حالا اومدم کد رو بدون این دو مقدار اجرا کردم و جواب داد!
دقیقا نتایجی که بدست آوردم با نتایج شما یکی شد.
آموزشتون واقعاً شیواست. 🙏 اما یک سوال :چرا در روش one hot encoding در جدول id و color رنگ blue دوبار آورده شده؟؟؟؟
اوه اوه ! فارسی انگلیسی چه داغون قاطی پاتی شده!!! چرا در روش وان هات اینکدینگ رنگ آبی دوباره در جدول آورده شده ؟
1:02:20 خوب نمیشه همون اول روی کل داده ها این عملیات رو انجام داد و بعد داده ها رو به دو دسته ترین و تست، تقسیم کرد؟
سلام استاد
روش بهینه و حرفه ای اینه که از پایپ لاین استفاده کنیم ؟
یا اون روش که جدا جدا هر مرحله رو انجام دادیم بهتره ؟؟
جفتش ی کاری رو انجام میده؟
رو همراه هم مشاهده می کنم به صوت ستونی علت چیست؟ باعرض سلام و تشکر, من int64 , float64
دورد
ممنون از شما.🙏🙏
بدون دیدن کد نمیتونم علت رو بفهمم.
@@VisionAcademyTutorials 0 longitude 16512 non-null float64
1 latitude 16512 non-null float64
2 housing_median_age 16512 non-null int64
3 total_rooms 16512 non-null int64
4 total_bedrooms 16512 non-null float64
5 population 16512 non-null int64
6 households 16512 non-null int64
7 median_income 16512 non-null float64
dtypes: float64(4), int64(4)
ببخشید یه سوال داشتم تو بخش کلاس اتریبیوتز ادر من ستونای جدید رو که اپند کردم نوشته list attributes object "append" is read only...میشه بگین مشکل کجاس؟
در کلاس impute ایا برای هر ستون یک میانه حساب میکند یا یک میانه برای کل داده ها؟
درود
برای هر ستون بر اساس سایر مقادیر یک میانه حساب میکنه.
موفق باشید
sim khaste nabashid agar emkansh hast lotfan pdf dars ham bzarid ba tashakor ☺️☺️
dorood
be zoodi in kar ro anjam midim.
movafagh bashid
سلام برای من توی قسمت pipeline وقتی دستورهای df = train_set.copy
df_num = df.drop(['ocean_proximity'], axis = 1)
num_attrs = list(df_num)
رو مینویسم ارور: 'function' object has no attribute 'drop'
میدهد. ممنون می‌شوم کمک کنید.
درود
بدون دیدن کل کد نمیتونم دلیل رو متوجه بشم
سلام، ممنون از ویدیوهای خوبتون
ببخشید پروژەی یادگیری عمیق ندارید؟ یا در این زمینە اگر مطالبی دارید ممنون میشم بەاشتراک بزارید.
درود
سپاس از شما🙏🙏
فعلا دوره ی یادگیری عمیق توی کانال وجود نداره ولی احتمالا در آینده در این مورد دوره ای آماده کنیم.
ممنون از پسشنهاد خوبتون
سلام
from sklearn.impute import SimpleImputer
رو زدم میزنه
No module named
sklearn.impute
درود
یا باید از
from sklearn.preprocessing import Imputer
استفاده کنید و یا ورژن
sklearn
رو باید آپدیت کنید.
موفق باشید
@@VisionAcademyTutorials مرسی این هم امتحان کردم ولی حالا یه مشکل دیگ هست که درمورد numpy هستش اینو میزنم درمورد numpy یک ارور دیگر میدهد
@@parhampazooki7191 import numpy as np
با اینکه pip3 install -U scikit-learn --user! انجام دادم ولی همچنان این ارور selector', DataFrameSelector(num_attrs)' را دارم
دوستان لطفا راهنماییم کنید مشکل از کجاست سوال دیگه ام این هستش که ما میتونیم اینجا از list استفاده کنیم
دورد
بله از لیست میتونید استفاده کنید.
در مورد ارور بدون دیدن کد نمیتونم نظر بدم.
موفق باشید
استاد ، آیا بهم خوردن فرمت طول و عرض جغرافیایی بعد از عملیات این درس، باعث نمیشه در شناسایی نقاط روی نقشه به مشکل بر بخوریم؟
میشد طول و عرض رو هم دراپ کرد؟! یا اثرات حذف طول و عرض در نتیجه تاثیر منفی میگذاشت؟
سلام استاد من یه مشکلی دارم تو piepline زمانی که کلاسDataFarameSlector رومیسازم آخر کلاس که که میخوام ریترن کنم
return x[self, attribute_names].values
این ارور رو میده👇👇
Indexerror: only integers, slices (:) , ellipsis (...) , numpy.newaxis (none) and integer or boolean arreys are valid indices.
ba salam.
man vaghti in df ro run migirim, chera non-null total_bedrooms ham mese baghiye moteghayerha, barabar ba 16512 hastesh?
df=train_set.copy()
df_label=df["median_house_value"].copy()
df=df.drop("median_house_value", axis=1)
df.info()
dorood, rastesh intori nemitoonam tashkhis bedam ellat chi hast, bayad kolle proseye load kardan e dadeha va config systemetoon ro baraye tashkhis e elat doonest.
Eli, same here :)
random_state نرو 2 بذاری
سلام ممنون بابت آموزش خوبتون... خواهشا کدهایی که تدریس کردید رو می تونیم داشته باشیم؟
درود
به زودی روی گیت قرار میدیم و اطلاع رسانی می کنیم
@@VisionAcademyTutorials Be zoodi hanooz nareside? :D
AttributeError Traceback (most recent call last)
Cell In[35], line 81
79 data_cat_1hot_tmp = encoder_1hot.fit_transform(df[["ocean_proximity"]])
80 data_cat_1hot = pd.DataFrame(data_cat_1hot_tmp)
---> 81 data_cat_1hot.columns = encoder_1hot.get_feature_names(['prox'])
82 data_cat_1hot.head()
AttributeError: 'OneHotEncoder' object has no attribute 'get_feature_names'
استاد سلام این ارور چطور میشه رفع کرد؟
این خطا رو رفع کردید شما؟؟
نه متاسفانه، یادش بخیر یکسالی میشه کامنت گذاشتم اما جوابی داده نشد@@mahdiehabdi8377
سلام ببخشید من هر وقت میام تو مینویسم
Imputer = Simpleimputer(Missing_values:np.nan, steratgy:'median)
Np رو نمیشناسه
درود
احتمالا
import numpy as np
رو یا فراموش کردید و یا اون
cell
که حاوی کد ایمپورت نامپای هست به درستی اجرا نشده و سیستم شما هنوز نامپای رو به درستی ایمپورت نکرده.
موفق باشید
@@VisionAcademyTutorials بله ایموپرتش نکرده بودم ممنون
ببخشید اقا مشایخی
اینبار هم دیتا فریم رو نمیشناسه
@@theslayer5440 شاید چون اولین حرفاتون بزرگ نیست/DataFrame بنویسید
@@atinhadi7138 با حروف بزرگه ولی نمیشناسه
لنگ اینم فقط :/
سلام و درود.
برای من یه همچین اروری میده میدونید دلیلش چیه؟
با تشکر
NameError Traceback (most recent call last)
in
37 rooms_ix, bedrooms_ix, population_ix, household_ix = 3, 4, 5, 6
38
---> 39 class CombinedAttributesAdder(BaseEstimator, TransformerMixin):
40 def fit(self, X, y=None):
41 return self
NameError: name 'BaseEstimator' is not defined
درود
احتمالا ایمپورت نشده.
ابتدای کد این خط رو اضافه کنید:
from sklearn.base import BaseEstimator, TransformerMixin
موفق باشید
مرسی ممنون درست شد 👍
how to master pipeline?
by practicing.
I suggest you follow hacakerrank.com
i really need to be in toucch with u, i am very intrested in machine learning and deep learning but i am confused in some basic python approaches such as class , pipeline
please guide me more
سلام ممنون از شما در قسمت آموزش Custom Transformers متاسفانه کلاس تشکیل نمیشه و NameError: name 'BaseEstimator' is not defined lپیش می آید ممنون میشم رهنمایی کنید لطفا
درود
ممنون از شما🙏
احتمالا قبل از استفاده از
BaseEstimator
کتابخونه رو به برنامه ایمپورت نکردید. این رو قبل از استفاده از
BaseEstimator
بنویسید
from sklearn.base import BaseEstimator
موفق باشید
Dorod, mamnon az matalebe mofideton. lotfan baraye moshkele zir rahnamayi farmayid:
Code: df_num_impute_tr = pd.Dataframe(X, columns = df_num.columns)
AttributeError: module 'pandas' has no attribute 'Dataframe'
dar zemn ketabkhanehaye zir dar aval barname ezafe shode:
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from pandas.plotting import scatter_matrix
from sklearn.impute import SimpleImputer
sepas az rahnamiyieton.
thanks for your reaction(Vision Academy), but I have a question. Please answer my question!
change it to DataFrame
pipelino سر سری رد کردی
درود
آموزش کامل پایپلاین نیاز به یک دوره ی کامل داره و هدف از این اشاره مختصر این بود که فقط یک دید کلی در موردش بوجود بیاد.
موفق باشید
سلام یه مشکل برای من پیش اومده توی اولای این سلول ...=imputer
np.nan ارور میده و میگه not defined
اگر راه حلی دارید لطفاً راهنماییم کنید
ببخشید این خطا چجوری رفع میشه؟
data_cat_1hot.columns = encoder_1hot.get_feature_names(['prox'])
AttributeError: 'OneHotEncoder' object has no attribute 'get_feature_names'