Web Scraping: A Digital Scavenger Hunt Web scraping, often referred to as web harvesting or web data extraction, is the process of extracting data from websites. It involves using automated scripts or software to collect information from web pages and store it in a structured format, such as a database or spreadsheet. How Does Web Scraping Work? Target Selection: The first step is to identify the websites or specific sections of websites from which you want to extract data. Data Identification: You need to determine the structure of the web pages, including the HTML tags, classes, or IDs that surround the desired data. Script Development: A script, typically written in a programming language like Python, JavaScript, or Ruby, is created to navigate the web pages, locate the target data, and extract it. Data Extraction: The script uses techniques like XPath or CSS selectors to identify and extract the desired information. Data Storage: The extracted data is then stored in a structured format, such as a CSV file, JSON file, or database. Common Use Cases of Web Scraping Price Comparison: Websites collect price data from competitors to offer consumers the best deals. Market Research: Companies gather information about market trends, consumer behavior, and industry news. Data Analysis: Researchers extract data for academic studies, statistical analysis, or data visualization. Search Engine Indexing: Search engines like Google use web scraping to index web pages and provide relevant search results. Social Media Monitoring: Brands track mentions, sentiment, and engagement on social media platforms. Ethical Considerations and Legal Implications While web scraping can be a valuable tool, it's essential to consider ethical and legal implications: Terms of Service: Always respect the terms of service of the websites you're scraping. Some websites may prohibit or restrict data extraction. Rate Limiting: Avoid overwhelming websites with excessive requests. Adhere to their rate limits to prevent being blocked. Privacy and Data Protection: Handle extracted data responsibly, ensuring compliance with data privacy regulations like GDPR. Copyright Infringement: Be cautious about scraping copyrighted content. Respect intellectual property rights. By understanding the principles, applications, and ethical considerations of web scraping, you can leverage this powerful technique for various purposes while ensuring responsible and legal practices. Would you like to delve deeper into a specific aspect of web scraping, such as programming languages, tools, or ethical challenges?
Akhirnya, setelah sekian abad mantengin chanel lu bang. Kirain Berharap bikin video pemrograman python, untuk saya belajar penerapan materinya. Akhirnya, materi python ada di Game Android MiMo, ketemu playlist terbaru ini, jadi terungkap semua yang aku pelajarin di game Mimo.
gila lu keren bgt ... gw bnci bgt sbnarnya sama bahasa pemograman ini karena susah dipahami.. sekarang malah mudah dipahami... coba jaman kuliah ada yang ngajarin se simpel ini g susah dpt nilai bagus
Bwangg Dea, coba nanti next smaster bahas materi bahasa pemrogramannya mengikuti dari buku" bahasa pemrograman top list di online store bang. Kan enak juga tuh.
Mantap dulu awal2 belajar html,css sama javascript disini udah agak paham tapi eh pas masuk kampus belajarnya full python wkwk, gpp dah mulai dari awal lagi... Btw makasih bang videonya semoga bisa ngebantu kuliah gw
Overall,bagus bg materiny,gua nangkep,cuman di menit 19:26 , kyakny bhs pemogramanny kurang tepat bg, utk grade D harusny pakai elif nilai >=0 and nilai
gas gerak cepat bangg lanjut data science lanjut ke ai buat model kayak chatgpt pakai transformer juga lanjut game developer pakai c++ atau rust lanjut apalagi :vvv
Masih bingung php login dan register bang, Minta solusi bang, gimana caranya ketika kita berhasil register from actionya saya arahkan ke halaman berbeda, tetapi ketika gagal from actionya tetap di halaman yang sama, 🙏minta saran dan pertolongan
biasanya di auth controllernya bang variabel redirectPath nya dirubah sesuai path url yang dikehendaki. itu kalau cuma 1 role aja yang register, kalau multi role dan perlu meredirect ke halaman yang berbeda sesuai tipe rolenya bisa nambahin kode logic buat ngecek role user terus meredirect berdasarkan rolenya, kodenya bisa ditaruh di auth controller bagian register dan login atau di middleware
@@VersiPertamaboleh tuh, terus buat rekomendasi produknya pakai algoritma rekomendasi produk, bisa colaborative filtering atau content based filtering atau hybrid alias gambungan dari kedua itu. atau bisa juga pakai machine learning.
ditambahin fitur : pengguna bisa mencari barang dengan membuka kamera lalu mengarahkan ke foto barangnya terus nanti sistemnya akan mencarikan barang yang gambarnya mirip dengan gambar barang yang diambil dari kamera, bisa pakai machine learning image clasification kayak efficientnet atau object detection kayak yolov8, saran aku pakai tes aja 2 2 nya terus yang akurasinya tertinggi dipilih.
js yang pokok cukup ngerti ini aja bang - cara buat file js dengan tag - cara import file js - cara buat variabel semua tipe data dan paham tiap tipe data gunanya untuk apa - cara buat looping buat menampilkan data dalam array dan object - cara buat dom - cara buat function ber parameter dan return value - memahami kegunaan export dan export default untuk class bisa diskip, aku pakai js gapernah pakai class 😅. mungkin class banyak dipakai bikin app atau game pakai js. kalau aku pakai js buat frontend
setelah itu bisa lanjut belajar react, kalau ngejar fullstack terus lanjut belajar backend, golang saat ini demandnya tinggi di indonesia, setelah itu lanjut belajar python menyelami data science dan ai, ngodingnya jauh lebih simple daripada ngoding fullstack yang beratus ratus baris dan filenya bisa nyampe puluhan lebih belajarnya berbasis project biar semakin paham use case setiap kodenya
Python paling simple, apalagi buat web scrapping terbaik pokoknya😍
Web Scraping: A Digital Scavenger Hunt
Web scraping, often referred to as web harvesting or web data extraction, is the process of extracting data from websites. It involves using automated scripts or software to collect information from web pages and store it in a structured format, such as a database or spreadsheet.
How Does Web Scraping Work?
Target Selection: The first step is to identify the websites or specific sections of websites from which you want to extract data.
Data Identification: You need to determine the structure of the web pages, including the HTML tags, classes, or IDs that surround the desired data.
Script Development: A script, typically written in a programming language like Python, JavaScript, or Ruby, is created to navigate the web pages, locate the target data, and extract it.
Data Extraction: The script uses techniques like XPath or CSS selectors to identify and extract the desired information.
Data Storage: The extracted data is then stored in a structured format, such as a CSV file, JSON file, or database.
Common Use Cases of Web Scraping
Price Comparison: Websites collect price data from competitors to offer consumers the best deals.
Market Research: Companies gather information about market trends, consumer behavior, and industry news.
Data Analysis: Researchers extract data for academic studies, statistical analysis, or data visualization.
Search Engine Indexing: Search engines like Google use web scraping to index web pages and provide relevant search results.
Social Media Monitoring: Brands track mentions, sentiment, and engagement on social media platforms.
Ethical Considerations and Legal Implications
While web scraping can be a valuable tool, it's essential to consider ethical and legal implications:
Terms of Service: Always respect the terms of service of the websites you're scraping. Some websites may prohibit or restrict data extraction.
Rate Limiting: Avoid overwhelming websites with excessive requests. Adhere to their rate limits to prevent being blocked.
Privacy and Data Protection: Handle extracted data responsibly, ensuring compliance with data privacy regulations like GDPR.
Copyright Infringement: Be cautious about scraping copyrighted content. Respect intellectual property rights.
By understanding the principles, applications, and ethical considerations of web scraping, you can leverage this powerful technique for various purposes while ensuring responsible and legal practices.
Would you like to delve deeper into a specific aspect of web scraping, such as programming languages, tools, or ethical challenges?
Akhirnya, setelah sekian abad mantengin chanel lu bang. Kirain
Berharap bikin video pemrograman python, untuk saya belajar penerapan materinya.
Akhirnya, materi python ada di Game Android MiMo, ketemu playlist terbaru ini, jadi terungkap semua yang aku pelajarin di game Mimo.
suwun mase
masamaa masbroohhh
Ihhh, lama ga buka youtube, udah ada video python aja, mantep lah.
Simple mudah dipahami
gila lu keren bgt ... gw bnci bgt sbnarnya sama bahasa pemograman ini karena susah dipahami.. sekarang malah mudah dipahami... coba jaman kuliah ada yang ngajarin se simpel ini g susah dpt nilai bagus
Alhamdulillah, keluar juga tutorial yang di tunggu - tunggu, kebetulan sekarang saya ikut studi Independen kecerdasan buatan 😁
woww menarik tuh studinya :D
Bismillah dalam waktu dekat bisa ngerti python Aamiin
Hormat abangku ini yang di tunggu 🙏
ini dia yg ditunggu
yeaayy
Penonton Hadir untuk menyimak
Penjelasannya Ramah untuk pemula 👍🏿
asli gw seneng cara jelasinnya, gk kyk dosen di kelas yg membosankan. asik bat sih ini😃😃😃
Kece bang penjelasannya
mantappp amiin
Akhirnya yg di tunggu ini juga lagi ngerjain tugas pakw django, nambah ilmu lagi😃😃
gaspol brayyy
Yang di tunggu² akhirnya
gaspolll
asikk sekolah ada pelajaran python di sini juga ada
Alhamdulillah akhirnya yang di tunggu-tunggu 🎉
Menyala bang Dea 🙏🏻🔥🔥🔥
gaskeun bray 👊🏻
Bwangg Dea, coba nanti next smaster bahas materi bahasa pemrogramannya mengikuti dari buku" bahasa pemrograman top list di online store bang. Kan enak juga tuh.
Bang gua belajar react tanpa ngerti js, alhamdulillah pilek🙂
🔥🔥🔥
Cuma pilek kah? Gak smpe jantungan sesak napas gtu?
Menyala abangkuu
Kebakaran abangkuh🔥🔥
Gw typus banget 😅😅
Bang gua dulu pernah belajar python cuma lupa lagi mantap bang bikin tutorial ini
Mantap! Di tunggu playlistnya bang
siapp
Hadir kangg ☝🏻
sikat bray
Mantap dulu awal2 belajar html,css sama javascript disini udah agak paham tapi eh pas masuk kampus belajarnya full python wkwk, gpp dah mulai dari awal lagi... Btw makasih bang videonya semoga bisa ngebantu kuliah gw
Akhirnya bang dea makasih banget
masamaa brayy
Yang gua tunggu tunggu akhirnya Cuy Python🎉🎉🎉
gaskeun cuypyyy
the law of attraction. lagi belajar python, eh Bapa Dea bikin PL python juga hehe, makasih banyak.
Akhirnya Series Phyton
huyyy gas
Akhirnya pythonn arrrggghhh
Uhuyyy akhirnya abang kuhh, bang dea di depan abang kuhh 🔥🔥🔥
gaskeun bay
Logikanya ok
Nice
well 🔥
Bang Main Django juga, seru, jarang chanel indo main Django
gaskeun bree
Cihuyyy
kuyyyy kuyyy
mantap bang... mudah di pahami
🙌
Menyalaaaa abangkuhhh 🔥🔥
nyala nyala lu ah 😂
Seru ngikutin bang dea nih bahasa nya masuk buat orang awam
amiin lesgow
mantap bang, nemenin gw ngoding C#, kerjaan hehehe
wah menangis 🐍 bersama anak C mah 😂
Gua like aja bang nnti klo gua udah bisa baru subscribe 🤭
akhirnyaa
akhirnya yang di tunggu tunggu, soalnya utk kebuthan skripsi😅😅
gaspol braycuy
Gara² mas Dea bahasa mesin jadi seperti bahasa daerah😂😂😂
Colab sama mas Nanang mrk mantap tuh bisalah rivalnya AWS muncul di Indonesia aminn🤲🤲🤲🤲
Overall,bagus bg materiny,gua nangkep,cuman di menit 19:26 , kyakny bhs pemogramanny kurang tepat bg, utk grade D harusny pakai elif nilai >=0 and nilai
yes itu validasi yang lebih spesifik dan bagus
Pas banget, gw mau belajar langsung ada
gaskeun brayy
udah suka sama penjelasannya tapi masih kurang paham, harus nonton berkali kali😁
Ditunggu lanjutannya bg
siap
gas gerak cepat bangg lanjut data science lanjut ke ai buat model kayak chatgpt pakai transformer juga lanjut game developer pakai c++ atau rust lanjut apalagi :vvv
asooyy geboyyy
kok
.jarimanis {
color: purple;
}
habis nyoblos cuz bikin konten😂
Bang, cara ada Elif, else dll gimana, pake extension apa atau yang lain?
menyala bang 🔥🔥🐍🐍
Video ini sepertinya dibuat pas setelah coblosan. 😆😆😆😆😆😆
betul sekali bapak wkwkwk
halo bang
huyyyyy
video ini dibuat pada tanggal 14 februari
betul sekali 😍
wihh semester 5 padahal aku baru selese semester 1. Btw di tunggu lanjutanya
gaskeun rubikss
👍
yuhuwww
Bahas Java dong, Bang!
saya dikampus belajar python sampe lupa gara2 belajar js 😂
terlalu menarik ya js nya? wkkwwk
@@deaafrizalsangat 😂
Kenapa gak pernah jelasin tentang algoritma pemograman bang?
Waduh😅
python versi advaced coba bang
03 March 2024
kalo misalnya bisa python intermediate, kerja dimana ya?
kebanyakan bikin apa ya buat python ?
data science, api & embedded
AI jg bagus prospek python
info timeline pemula
buat versi django bg
langsung lompat ke semester 5 gpp kan bang hehe
Bang saya baru mau mulai belajar data analisis kalau ikutin kelas Python ini kedepannya nyambung gk mas? 🙏
Gua baru belajar python, gw network engineer
👊🏻 joss
laravel react gada lanjutan kah bang?
bg, btw video presentasi semester kmarin, udh gak bisa di kembalikan yah
iya bro, ama yt kena sangsi. makanya gue gak upload lama ya kan? wkwkw
Kapan ada sesi belajar Ansible untuk pemula? 🤔
wadaw, pengen servernya dlu atuh 😁
@@deaafrizal Bisa gw sediain di cloud Bang; sebut aja specs nya 😊
@@deaafrizal Cloud server Amerika gw sediain
Masih bingung php login dan register bang, Minta solusi bang, gimana caranya ketika kita berhasil register from actionya saya arahkan ke halaman berbeda, tetapi ketika gagal from actionya tetap di halaman yang sama, 🙏minta saran dan pertolongan
kan ada bro video gue yg php tuh percis seputar hal tersebut. di cek ya 😉
biasanya di auth controllernya bang variabel redirectPath nya dirubah sesuai path url yang dikehendaki. itu kalau cuma 1 role aja yang register, kalau multi role dan perlu meredirect ke halaman yang berbeda sesuai tipe rolenya bisa nambahin kode logic buat ngecek role user terus meredirect berdasarkan rolenya, kodenya bisa ditaruh di auth controller bagian register dan login atau di middleware
menjanjikan ;v
yang web sesi 4 di terusin ga bang?
lagi buat interpreter, slow banget cuy :(
😥
bang, gw lagi belajar flask untuk bikin api dengan python kira-kira ada rekomendasi project ga buat gw belajar flask
E commerce, lumayan asah logic
Apalagi klo implementasi diskon dkk
@@VersiPertamaboleh tuh, terus buat rekomendasi produknya pakai algoritma rekomendasi produk, bisa colaborative filtering atau content based filtering atau hybrid alias gambungan dari kedua itu. atau bisa juga pakai machine learning.
ditambahin fitur : pengguna bisa mencari barang dengan membuka kamera lalu mengarahkan ke foto barangnya terus nanti sistemnya akan mencarikan barang yang gambarnya mirip dengan gambar barang yang diambil dari kamera, bisa pakai machine learning image clasification kayak efficientnet atau object detection kayak yolov8, saran aku pakai tes aja 2 2 nya terus yang akurasinya tertinggi dipilih.
BANG GIMANA SIH BUAT SCRIP SENDIRI ,ATAU MENCARI SCRIP🙏MOHON BANTU BANGGG
tunggu prakteknya siang ini ya
@@deaafrizal LIVE buka bangg
Kapan lanjut nih bang 😊
cek deskripsi dongsss gaskeun
tak terasa udah 3 tahunan bekerja dengan python
gokil manggg
Cuma buat aplikasi desktop mang... hehehe
Kalo boleh tau pake library (selain AI) apa aja bang di industri python?
@@raff2931 bikin bot / tools mas. hehehe
Iri liat orang punya h2 ✖️
Iri ama bg dea jago bahasa pemrograman 🥲
pke aftereffect ya bg keren bgt bg😊😊
thanks to editor kita semua toriq 😂
Bng ajarin python untuk hacking tolong kk
gabole bang, gabole hal hal negatif 😑😑😑
Kalo test keamanan, bagus kok tujuannya tp klo untuk peretasan tujuan merugikan orang lain baru jelek @@doublekamui
@@VersiPertama iya sih, tapi doi dah ngetik mau buat hacking bukan test keamanan 😭😭
@@doublekamui iya, ini saya dah lg ngebelokin ke jalan yg benar jangan dibalikin dong ahhh elah 🗿
@doublekamui:mksud saya belajar python khusus hacking
untuk mengamankan data negara seperti whey hat, gtu mksudnya
IoT berarti ya bang skripsinya?
betul sekali broh
@@deaafrizal belum menyelam ke situ :( liat liat alatnya harganya mahal mahal 🤣
yg 100rb an ada bro mayan tuh buat belajar
@@deaafrizalbuat anak kos masi mahal bang 🤣🤣🤣 bisa buat makan 1 minggu 😭😭😭
Mau bljr py tpi js msh bingung
js yang pokok cukup ngerti ini aja bang
- cara buat file js dengan tag
- cara import file js
- cara buat variabel semua tipe data dan paham tiap tipe data gunanya untuk apa
- cara buat looping buat menampilkan data dalam array dan object
- cara buat dom
- cara buat function ber parameter dan return value
- memahami kegunaan export dan export default
untuk class bisa diskip, aku pakai js gapernah pakai class 😅. mungkin class banyak dipakai bikin app atau game pakai js. kalau aku pakai js buat frontend
setelah itu bisa lanjut belajar react, kalau ngejar fullstack terus lanjut belajar backend, golang saat ini demandnya tinggi di indonesia, setelah itu lanjut belajar python menyelami data science dan ai, ngodingnya jauh lebih simple daripada ngoding fullstack yang beratus ratus baris dan filenya bisa nyampe puluhan lebih
belajarnya berbasis project biar semakin paham use case setiap kodenya
Gausah pengen² py dulu, peres terus itu js, sampe nodejs dkk
Belajar C++ bwang "D" 😭
anjay bang "D" gokil juga sih
@@deaafrizal C++🙏 😘
Hormat abangku ini yang di tunggu 🙏
laravel react gada lanjutan kah bang?
gak ada bro untuk yg itu.