Відео

bisa, tetapi sebaiknya waktu pengolahan dijadikan satu

diaktifkan dahulu Virtual Environment nya mas/mb, yg telah diinstal library streamlit, pandas, dll

Jika hasil prediksi menggunakan algoritma Naive Bayes mendapatkan nilai 0 semua, bisa jadi terdapat masalah pada pembagian data training dan testing. Salah satu solusinya adalah dengan memastikan bahwa data yang digunakan untuk training dan testing telah terdistribusi dengan baik dan mewakili semua kemungkinan nilai pada setiap fitur. Selain itu, dapat juga dilakukan pengecekan terhadap model Naive Bayes yang digunakan. Mungkin model yang digunakan tidak cocok dengan data yang digunakan, sehingga perlu memilih model yang lebih sesuai dengan data. Selain itu, bisa juga dicoba menggunakan algoritma klasifikasi lain yang lebih cocok dengan data yang dimiliki, seperti Decision Tree, Random Forest, atau Support Vector Machine (SVM). Jika hal tersebut tidak memperbaiki hasil prediksi, maka bisa jadi data tidak memiliki korelasi dengan variabel target sehingga tidak bisa digunakan untuk memprediksi variabel target dengan model tertentu. Dalam hal ini, perlu dilakukan analisis lebih lanjut untuk mencari tahu apakah memang ada korelasi antara variabel prediktor dan variabel target.

nanti ditunggu tutorial selanjutnya

@@juntazen siap sir

import numpy as np from sklearn.neighbors import KNeighborsClassifier from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # Load dataset iris = load_iris() X = iris.data y = iris.target # Bagi dataset menjadi data latih dan data uji X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # Inisialisasi nilai K K = 5 # Inisialisasi variabel untuk menyimpan subset atribut yang akan dipertahankan selected_features = list(range(X.shape[1])) # Tentukan SL (significance level) yang diinginkan SL = 0.05 # Looping untuk menghapus atribut yang tidak signifikan while True: # Inisialisasi array untuk menyimpan hasil evaluasi model p_values = [] # Looping untuk melakukan evaluasi model dengan setiap atribut yang dipertahankan for feature in selected_features: # Buat model KNN dengan atribut yang dipertahankan knn = KNeighborsClassifier(n_neighbors=K) knn.fit(X_train[:, selected_features], y_train) # Hitung prediksi model pada data uji y_pred = knn.predict(X_test[:, selected_features]) # Hitung p-value untuk atribut tertentu p_value = 1 - accuracy_score(y_test, y_pred) # Simpan p-value ke dalam array p_values.append(p_value) # Cari atribut dengan p-value paling besar max_p_value = max(p_values) max_p_value_index = p_values.index(max_p_value) # Jika p-value paling besar melebihi SL, hapus atribut tersebut if max_p_value > SL: del selected_features[max_p_value_index] else: break # Buat model KNN dengan subset atribut yang dipertahankan knn = KNeighborsClassifier(n_neighbors=K) knn.fit(X_train[:, selected_features], y_train) # Hitung prediksi model pada data uji dengan subset atribut yang dipertahankan y_pred = knn.predict(X_test[:, selected_features]) # Hitung akurasi model pada data uji dengan subset atribut yang dipertahankan accuracy = accuracy_score(y_test, y_pred) # Cetak akurasi model print("Akurasi model KNN dengan subset atribut yang dipertahankan: {:.2f}%".format(accuracy * 100))

Program di atas mengimplementasikan algoritma Backward Elimination untuk mempertahankan subset atribut yang signifikan pada data latih untuk digunakan dalam model KNN. Algoritma ini dapat membantu meningkatkan akurasi model dengan membuang atribut yang tidak signifikan dan mengurangi dimensi data. Program ini diuji pada dataset iris dan mencetak akurasi model KNN pada data uji dengan subset atribut yang dipertahankan. Anda dapat memodifikasi program ini untuk digunakan pada dataset yang berbeda dan menyesuaikan parameter K dan SL sesuai kebutuhan.

Memakai modus sebagai imputasi (pengisian) data yang hilang pada variabel kategorikal bisa jadi pilihan yang tepat, namun tergantung pada karakteristik data tersebut. Namun, perlu diperhatikan bahwa penggunaan modus hanya cocok untuk data kategorikal yang memiliki distribusi frekuensi yang seimbang, yaitu setiap nilai muncul dengan frekuensi yang relatif sama. Jika distribusi frekuensi tidak seimbang, maka penggunaan modus dapat menghasilkan bias pada data. Selain penggunaan modus, terdapat beberapa metode lain yang dapat digunakan untuk mengisi missing value pada data kategorikal, seperti metode hot-deck dan cold-deck, serta teknik regresi. Pilihan metode yang digunakan harus disesuaikan dengan karakteristik data yang dimiliki dan tujuan analisis yang ingin dicapai.

Untuk membagi data menjadi data training dan data testing di RapidMiner, Anda dapat menggunakan operator Split atau Cross Validation. 1. Menggunakan operator Split: - Buka RapidMiner Studio dan buka proses Anda. - Tambahkan operator Split dari panel Operator di sisi kiri. - Hubungkan operator Split ke data input. - Atur proporsi split (misalnya 70% training dan 30% testing) pada konfigurasi operator Split. - Jika diperlukan, atur pengaturan lain seperti randomization atau stratification. - Output dari operator Split akan menghasilkan dua kumpulan data, satu untuk training dan satu lagi untuk testing. 2. Menggunakan operator Cross Validation: - Buka RapidMiner Studio dan buka proses Anda. - Tambahkan operator Cross Validation dari panel Operator di sisi kiri. - Hubungkan operator Cross Validation ke data input. - Atur pengaturan operator Cross Validation seperti jumlah fold dan pengaturan stratifikasi. - Output dari operator Cross Validation akan menghasilkan beberapa kumpulan data, masing-masing berisi bagian data training dan testing yang berbeda. Anda dapat menggunakan operator lain untuk memproses data training dan data testing, seperti operator Decision Tree atau operator Neural Network, tergantung pada tipe model yang ingin Anda kembangkan. Jangan lupa juga untuk melakukan evaluasi kinerja model Anda pada data testing untuk memastikan kualitas model Anda.

bisa disimak video yang hampir sama di link berikut : 1. Klasifikasi Penguin => ua-cam.com/video/M_VZkyWHPvY/v-deo.html 2. Klasifikasi Bunga IRIS => ua-cam.com/video/H1LYO6vhFek/v-deo.html 3. Klasifikasi Data dengan Streamlit (Web Apps) => ua-cam.com/video/hTn_3qss7KQ/v-deo.html

dicek terlebih dahulu untuk versi python nya mas, mungkin dependency nya

masih bisa

import numpy as np from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.naive_bayes import GaussianNB from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score # load dataset iris iris = datasets.load_iris() X = iris.data y = iris.target # bagi data menjadi data training dan data testing X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # buat model Naive Bayes nb_model = GaussianNB() nb_model.fit(X_train, y_train) # buat model KNN knn_model = KNeighborsClassifier(n_neighbors=5) knn_model.fit(X_train, y_train) # prediksi kelas menggunakan model Naive Bayes dan model KNN nb_pred = nb_model.predict(X_test) knn_pred = knn_model.predict(X_test) # gabungkan prediksi kedua model combined_pred = np.vstack((nb_pred, knn_pred)).T # klasifikasi dengan memilih hasil prediksi terbanyak final_pred = [] for pred in combined_pred: final_pred.append(np.argmax(np.bincount(pred))) # hitung akurasi accuracy = accuracy_score(y_test, final_pred) print("Akurasi kombinasi Naive Bayes dan KNN: {:.2f}%".format(accuracy*100))

Bisa menggunakan contoh diatas kemudian dimodifikasi sesuai kebutuhan. Pada program di atas, dataset Iris di-load menggunakan fungsi load_iris() dari library scikit-learn. Data kemudian dibagi menjadi data training dan data testing dengan rasio 70:30 menggunakan fungsi train_test_split(). Selanjutnya, dibuat dua model klasifikasi yaitu Naive Bayes dan KNN menggunakan library scikit-learn. Setelah model-model dibuat, data testing digunakan untuk memprediksi kelas menggunakan model Naive Bayes dan KNN. Hasil prediksi kedua model digabungkan dengan fungsi vstack() dan hasilnya diteruskan ke tahap klasifikasi, di mana kelas yang diprediksi adalah kelas yang muncul paling banyak pada kedua hasil prediksi. Akhirnya, akurasi dari kombinasi kedua model dihitung menggunakan fungsi accuracy_score().

wa'alaikumsalam, salam seperdjoengan mas Solihkhin

bisa menggunakan baris kode seperti ini: from sklearn import datasets # list semua dataset di sklearn.datasets dataset_list = [i for i in dir(datasets) if i.startswith('load_')] print("Daftar dataset di scikit-learn: ") for dataset in dataset_list: print(dataset[5:])

!pip install Sastrawi from Sastrawi.StopWordRemover.StopWordRemoverFactory import StopWordRemoverFactory from Sastrawi.Stemmer.StemmerFactory import StemmerFactory import re # Contoh dokumen doc = "Ini adalah contoh dokumen. Dokumen ini berisi beberapa kalimat. Kita akan menggunakan ini untuk menunjukkan tahapan preprocessing." # Case folding (ubah huruf kapital menjadi huruf kecil) doc = doc.lower() # Menghapus karakter non-alfanumerik dan whitespace doc = re.sub(r'[^\w\s]', '', doc) # Menghapus stopword stopword_factory = StopWordRemoverFactory() stopword = stopword_factory.create_stop_word_remover() filtered_doc = stopword.remove(doc) # Stemming stemmer_factory = StemmerFactory() stemmer = stemmer_factory.create_stemmer() normalized_doc = stemmer.stem(filtered_doc) # Output hasil preprocessing print("Hasil preprocessing:") print(normalized_doc)

diatas contoh preprocessing menggunakan Sastrawi

data random sample dari riset sebelumnya

mungkin jumlah datanya terlalu banyak, karna versi yang free maksimal skitar 10rb record, atau ada beberapa proses yang tidak sesuai

sama untuk library yg telah update dengan jenis decision tree yang terbaik, bisa dicek disini scikit-learn.org/stable/modules/tree.html#tree-algorithms-id3-c4-5-c5-0-and-cart

dataset sampel klastering

kalau sesuai topik tidak ada mas, bisa menggunakan contoh data klasifikasi kelulusan mahasiswa di ua-cam.com/video/7elJMqv8AlY/v-deo.html, atau klasifikasi bunga iris di ua-cam.com/video/H1LYO6vhFek/v-deo.html, atau klasifikasi penguin di ua-cam.com/video/M_VZkyWHPvY/v-deo.html, karena sama contohnya tinggal diganti saja data atau topik kasusnya.

pastikan sudah terinstall pythonnya, atau bisa dicek disini, semoga bisa membantu => www.educative.io/answers/err-python-is-not-recognized-as-an-internal-or-external-command

bisa di cek disini untuk source codenya => colab.research.google.com/drive/11R9qYf5pojIiw34r-8b5wz7MC3kA-3NM?usp=sharing

bisa dicek disini kak => colab.research.google.com/drive/10XFU5-FJT5ARFwZX_M80VTHOIWUK3G5G?usp=sharing

DecisionTree => colab.research.google.com/drive/1aFxk99E_5IfUgrtG9FzhF2nUBBRJHVnV?usp=sharing DecisionTree_IrisCSV => colab.research.google.com/drive/1DW8t7n6cmy_EVXXZ8WmzO9UMkFB3-6m6?usp=sharing Dataset Bunga Iris => drive.google.com/file/d/1yCyc88rWHW77zHdkGkmJOB-tUMuxStEM/view

bisa menyimak video ini mas => ua-cam.com/video/7elJMqv8AlY/v-deo.html

bisa menyimak video yg ini mas => ua-cam.com/video/rosTpHk9IuI/v-deo.html

bisa menggunakan perintah => df.dropna() df => dataframe Secara default perintah dropna() akan menghapus semua baris yang mengandung nilai NaN.

sesuai dokumentasi di website nya (docs.streamlit.io/knowledge-base/tutorials/deploy), utk deploy bisa melalui streamlit cloud, docker, kubernetes, heroku. Dan nantinya bisa di forward ke domain kita.

ditunggu tutorial selanjutnya mas, trus dukung channel ini agar terus berkembang. terimakasih

bisa menggunakan : print(kmeans.labels_), dicek disini mb => colab.research.google.com/drive/11enMbQNfqU3SxCClZLOVmYKb92kyOkg-?usp=sharing

tidak harus mas

iya mas, mhn maaf karena banyak agenda dan kesibukan kerja, jadi dukung terus channelnya dan nantikan video berikutnya, semoga bisa sesuai harapan teman2. Terimakasih

diagram yg terbentuk pertama kelompok (2,3), kemudian digabung dengan kelompok (1,4) => menjadi satu kelompok (1,2,3,4). Kemudian kelompok (1,2,3,4) digabung dengan kelompok 5 menjadi satu kelompok (1,2,3,4,5). Sehingga hirarki yang pertama 2 dan 3, kemudian 1 dan 4. Dan hirarki yang kedua gabungan (2, 3) dan (1,4) menjadi (1,2,3,4). Kemudian hirarki yang ketiga (1,2,3,4) dengan 5 menjadi (1,2,3,4,5).

ditunggu tutorial selanjutnya, terus dukung channel ini ya kak, terimakasih

@@juntazen siap bang ditunggu

nanti ditanyakan disini saja mas

untuk literasi utk hal tersebut saya belum menemukan yang sesuai. Jadi bisa menggunakan rule of thumb dimana gunakan aturan 50% dl dicoba, kemudian dianalisa bisa ditambahkan secara bertahap atau dikurangi.