Eline sağlık. Güzel anlatım. Dosya adı Hepsi bu arada kalmış :) Bir de hücreleri shift+m ile toplu bir şekilde birleştirebilirsin. Kanalını sevdim takipteyim. İyi çalışmalar
çok güzel ve aydınlatıcı olmuş teşekkürler. şöyle bir sorum var trendyolda numara ile değilde kaydırmaya devam edince sayfada ürünler çoğalıyor bunu nasıl yapabiliriz?
Bu aralar web scraping ile ilgili videolar atamadım ama yakın zamanda paylaşmayı düşünüyorum. Veri çekilmesini istediğiniz site veya siteler varsa paylaşabilirsiniz.
Merhaba çok güzel bir eğitim elinize sağlık. size bir şey danışmak istiyorum .Bu kodlarla çalıştığımda aşağıda belirttiğim hatayı alıyorum yardımcı olabilir misiniz. Sorunu nasıl çözebilirim. AttributeError: 'NoneType' object has no attribute 'find'
Merhaba teşekkür ederim 🙂 Web siteleri kendilerini zamanla güncelledikleri için bizim de kodları güncel tutmamız gerekiyor. Aldığınız hata da boş değer geldiğini söylüyor ve boş değere find işlemi yapılamayacağını belirtiyor. Bu yüzden de hata veriyor. Çözüm için bu hatayı veren satırdan önceki satırda ki kodun verdiği değeri kontrol edin. Muhtemelen o boş dönüyordur. Web sitesinden o kodun taglerini güncelleyebilirsiniz Kolay gelsin inşallah anlaşılır olmuştur :)
Merhaba find diyip class card- body i aldıktan sonra findall ile divleri alırsanız size liste dönecektir. Liste içinde 2 tane eleman (div) olacağı için liste eleman seçme mantığıyla 0, 1 olarak seçim yapabilirsiniz. Ya da beautifılsoup da child diye bir kullanım var. Bu şekilde de yapılabilir İnşallah faydalı olmuştur Kolay gelsin
Merhaba, a adında bir değişkenin tanımlanmadığını söylüyor. 33:35 dakika da a = 1 diye tanımlama yapmışım. Bu şekilde ekleme yaparsanız hata düzelecektir.
sağolun güzel bir anlatım olmuş. Ancak benim bir sorum var veri çekmek istediğim sitenin link kısmı şöyle, site_adı/order/index bu gibi sitelerde ne yapmak gerekiyor?
Emegine saglik. Hocam biz trendyoldan urun alip aliexpreste satiyoruz. Ama tek tek urun almak cok yorucu. Bir katogori secip o katagorideki tüm sayfalari listelemek istiyoruz.exele o tumsayfadaki urunleri aktarip Link, barkod numarası ve ya ürün kodu, ürün adi, eski fiyat, indirimli fiyat, görsel 1,gorsel2, gorsel 3, gorsel 4, gorsel 5, açıklama aktaracak. Eğer ürünün varyanti varsa o varyantlari alt sekme olusturup mesela 40 numara ayakkabi için ayri satir. 41 numara icin ayri satir. Gibi varyantlari exele aktarsin. O exelide aliexpres altyapisina donusturmwk kolay. Exelle ürün yuklemek kolay olur. Bunun kodlamasini nasil yapariz. Yardimci olurmusunuz
Eline sağlık çok faydalı bir video olmuş. Bir sorum olacak. Bazı ürünlerde ayakkabı numarasına göre fiyatları değişiyor ya da kıyafetlerde bedene göre fiyatları değişiyor. Bunların verisini nasıl çekebilirim?
teşekkürler, eğer html taglerinde bu bilgiler mevcutsa o şekilde alınabilir. Eğer numaralara tıklamadan html tagleri gelmiyorsa selenium kullanarak yapılabilir. Başka yöntemleri de vardır belki ama aklıma gelen bu yöntem oldu
sade anlatım tşkler fakat soup=r.BeautifulSoup(r.content,"xlsx") yazdığımda File "c:\Users\KALE KAYMAKAMLIK\Desktop\alibaba.py\deneme.py", line 13, in soup=r.BeautifulSoup(r.content,"xlsx") AttributeError: 'Response' object has no attribute 'BeautifulSoup' hata döndürüyor html.parser yaptım excel uzantımı yazdım olmadı yardım lütfen
Benim de buna benzer bir projem var. Haber sayfalarından haber başlıklarını çekiyorum. Döngü döndüğü zaman CSV'ye eski haber başlıklarını da yazıyor. Döngü döndükçe sadece yeni haberleri yazmasını istiyorum fakat eskileri de yazıyor üzerine hala. Bunun için ne yapmam gerekir ? CSV'nin içini okuyarak içinde varsa yazmamasını sağlayan bir komut var mı ?
Böyle bir komut hatırlamıyorum fakat aldığınız haberleri for döngüsü ile csv de olup olmadığını kontrol edebilirsiniz. Aklıma başka yöntem gelmedi açıkçası
@@MuhammedEminBal Teşekkürler bir şekilde o sorunu çözdüm sonrasına boş değer döndürüyordu meğerse class değerinde boşluk olduğu içinmiş onuda halletmiş oldum
hocam çok teşekkür ederiz iyi bir eğitim videosu olmuş. ben de denedim ve daha ileriki bir çalışma olarak örneğin ayakkabılar ile ilgili yorumları çekmek istiyorum . tüm sayfalar için mümkün olurmu? olur ise yardımcı olurmusunuz kodlarda yada yapan bir arkadaş var ise paylaşabilirmi kodları?
hocam ben örneğin hepsiburada sitesinde anlık güncel şekilde örneğin samsung s23 128 Gb beyaz telefonun en ucuz ne kadar yani en dip fiyat kimde ve eğer örneğin 30 saniye sonra aynı marka model ram hafıza renk teki modeli başka bir satıcı daha aşağı bir fiyatı güncelledi yada ürün açtı bunuda anlık olarak bilmek istiyorum.bu konuda önemli olan nokta ürün içeriğinde yaşanan güncellemenin anlık olarak ilk bana yansıması
Üstad bi kaç defa farklı videolarda da yorum yazdım cevap vermediniz bari buna cevap verir misiniz? images = soup1.img.get("src") print(images) bu kodu yazdığımda sitenin logosunu yazıyor.. sizin diğer video larada baktım direk ürün resimi geliyor bende neden aynı sonuç çıkmıyr..
Selamlar Diğer yorumlar gözümden kaçmış olabilir. Onlara da bakacağım :) Sitelerin html kodları zamanla değişebilmektedir o yüzden kodlara güncelleme yapmak gerekebiliyor. Bu yazdığınız kod ilk bulduğu img yi alacaktır. Anladığım kadarıyla Video çektiğim zaman da ki HTML koduyla şimdi ki HTML değişmiş. Çözüm için fotoğrafın bulunduğu img ye ulaşmak için HTML kodlarında filtreleme yaparak sadece fotoğrafın img sini alabilirsiniz.
@@MuhammedEminBal ben sizin veri çektiğiniz sitelerden çekmiyorum sizin yöntemle başka sitelerden veri çekiyorum nasıl başarıyorsam ürün fotografını çekemiyorum... Bir çok kodlama denedim google dan ulaştığım tüm kaynaklara baktım sizin örnek verdiğiniz kodu yazınca karşıma logo geliyor... :) şöyle bi şey yapsanız... normal e-ticaret sitelerine özellikle wordpressin woocommerce olanlardan bi veri çekmeyi denesek birde orda nasıl değişkenler vs oluyor görelim... n11 gittigidiyor vs bunlar tam donanımlı css kodlamaya sahip siteler...
@@MuhammedEminBal üstad sizden varyantlı yada varyasyon veya nitelikli ürün çekme videosu bekliyorum... şuan ençok ihtiyaç duyduğum video... images sorununu hallettim... varyantlı bazı siteler select bazı siteler bu video da anlattığınız gibi kutu... stokta olan ve olmayan varyant nasıl çekilir...? Heyecanla bekliyorum... :)
Sait Kurt dediğiniz işlemler selenium la yapıldığı için siteye özgü kodlar yazılır. Bu aralar da bu konularda video çekmeyi düşünmüyorum. Eğer yardıma ihtiyacınız olursa 08muhammedeminbal@gmail.com Mail adresinden iletişime geçebilirsiniz.
@@MuhammedEminBal Son bir şey .. twettir da scrol işlemi yaptınız. bazı sitelerde aynı şekilde içerik sayfa aşağı indikce içerik akışı devam ediyor. lakin tweet sitesinde bütün veriyi tek sayfada aldınız ... diğer sitelerde aşağıya indikce veher içeriği detay sayfasından yazdırmak gerekir... bu scroll ile yineverdiğiniz örnekte ki gibi bir işlemle mi yapmalıyız farklı fonksiyonlar gerekli mi?
soup.img.get("src") diyince farklı bi fotoğraf geldi belirli bi alandaki img i alsın diye altındaki bi kısmı alıp denedim olmadı başka bi çözümü varmıdır teşekkür ederim video için bu arada çok işime yaradı
Necati Bilgin çok fazla yöntem var siteden siteye değişen. Burası için nasıl çözüm bulunur bilemiyorum. Eğer istediğiniz herhangi bir veri varsa mail atarsanız detayları konuşabiliriz
Eline sağlık. Güzel anlatım.
Dosya adı Hepsi bu arada kalmış :)
Bir de hücreleri shift+m ile toplu bir şekilde birleştirebilirsin.
Kanalını sevdim takipteyim. İyi çalışmalar
Çok faydalı ve keyifli bir video olmuş.Emekleriniz için teşekkürler.
Melih Kaplan rica ederim teşekkürler
Emeğine sağlık, tek eksi yan bu kadar kapsamlı çalışma için jupyter kullanmanız. Kodlar çorbaya döndü. Keşke Pycharm' da yapsaydınız.
harika bir video emeğinize sağlık.
"ul" find özelliği yok gibisinden bir hata veriyor nasıl çözerim
fiyatlar 4 yılda 10 kat artmış. iyi olmuş
Ağzınıza sağlık çok güzel anlatım.
çok güzel ve aydınlatıcı olmuş teşekkürler. şöyle bir sorum var trendyolda numara ile değilde kaydırmaya devam edince sayfada ürünler çoğalıyor bunu nasıl yapabiliriz?
merhaba, ürünün tüm fotoğraflarını nasıl alabilirz
Çok faydalı olmuş. Derslerin devam etmesini isterim
Bu aralar web scraping ile ilgili videolar atamadım ama yakın zamanda paylaşmayı düşünüyorum. Veri çekilmesini istediğiniz site veya siteler varsa paylaşabilirsiniz.
çok faydalı bir video emeğinize sağlık üstad
hocam exele kaydederken sıkıntı yaşıyorum. ValueError: Length mismatch: Expected axis has 0 elements, new values have 5 elements bu hatayı alıyorum
hala güncel mi ?
response 403 veriyor hepsiburada requestleri ret mi ediyor
Evet isteklerinize ret vermiş olabilir. Bunun için requests ile istek atarken user agent verirseniz response 200 olacaktır.
excel hücreye fotosunu atmak mümkün mü ?
Teşekkürler
Merhaba çok güzel bir eğitim elinize sağlık. size bir şey danışmak istiyorum .Bu kodlarla çalıştığımda aşağıda belirttiğim hatayı alıyorum yardımcı olabilir misiniz. Sorunu nasıl çözebilirim.
AttributeError: 'NoneType' object has no attribute 'find'
Merhaba teşekkür ederim 🙂
Web siteleri kendilerini zamanla güncelledikleri için bizim de kodları güncel tutmamız gerekiyor.
Aldığınız hata da boş değer geldiğini söylüyor ve boş değere find işlemi yapılamayacağını belirtiyor. Bu yüzden de hata veriyor.
Çözüm için bu hatayı veren satırdan önceki satırda ki kodun verdiği değeri kontrol edin. Muhtemelen o boş dönüyordur. Web sitesinden o kodun taglerini güncelleyebilirsiniz
Kolay gelsin inşallah anlaşılır olmuştur :)
@@MuhammedEminBal hızlı geri bildiriminiz için teşekkür ederim. Sizin kodları çalıştırdığımda bu hatayı alıyorum aslında.
rica ederim. benim kodları yazmamın üzerinden de neredeyse 1 yıl geçti. ufak güncellemelerle çalışır hale getirebilirsiniz
Merhaba sizinle nasil iletisime gecebilirim barkac sorularim olacakti
Merhaba,
08muhammedeminbal@gmail.com mail adresinden ulaşabilirsiniz
Tesekkur ederım.
Aynı div altında; aynı iismde 2 class var ise nasıl bır yol ızlememız gerekır.
Merhaba find diyip class card- body i aldıktan sonra findall ile divleri alırsanız size liste dönecektir. Liste içinde 2 tane eleman (div) olacağı için liste eleman seçme mantığıyla 0, 1 olarak seçim yapabilirsiniz.
Ya da beautifılsoup da child diye bir kullanım var. Bu şekilde de yapılabilir
İnşallah faydalı olmuştur
Kolay gelsin
Blog iletişim kısmından size yazdım dönüş yaparsanız çok sevinirim.
Merhaba
Mail ile iletişime geçtim
while a
Merhaba,
a adında bir değişkenin tanımlanmadığını söylüyor. 33:35 dakika da a = 1 diye tanımlama yapmışım. Bu şekilde ekleme yaparsanız hata düzelecektir.
@@MuhammedEminBal çok teşekkür ederim hocam
sağolun güzel bir anlatım olmuş. Ancak benim bir sorum var veri çekmek istediğim sitenin link kısmı şöyle, site_adı/order/index bu gibi sitelerde ne yapmak gerekiyor?
Sitede linkler "a" etiketiyle tutulduğu için sadece linki almak için farklı filtrelemeler yapabilirsiniz
Select menusunde ki verileri nasıl alıyoruz
Select menüsünde tıklama işlemi olacağı için selenium kullanarak bunu yapabilirsiniz.
Emegine saglik. Hocam biz trendyoldan urun alip aliexpreste satiyoruz. Ama tek tek urun almak cok yorucu. Bir katogori secip o katagorideki tüm sayfalari listelemek istiyoruz.exele o tumsayfadaki urunleri aktarip
Link, barkod numarası ve ya ürün kodu, ürün adi, eski fiyat, indirimli fiyat, görsel 1,gorsel2, gorsel 3, gorsel 4, gorsel 5, açıklama aktaracak. Eğer ürünün varyanti varsa o varyantlari alt sekme olusturup mesela 40 numara ayakkabi için ayri satir. 41 numara icin ayri satir. Gibi varyantlari exele aktarsin. O exelide aliexpres altyapisina donusturmwk kolay. Exelle ürün yuklemek kolay olur. Bunun kodlamasini nasil yapariz. Yardimci olurmusunuz
Merhaba
Detaylı işlemler olduğu için 08muhammedeminbal@gmail.com a mail atarsanız detayları görüşebiliriz
İyi Günler
Eline sağlık çok faydalı bir video olmuş. Bir sorum olacak. Bazı ürünlerde ayakkabı numarasına göre fiyatları değişiyor ya da kıyafetlerde bedene göre fiyatları değişiyor. Bunların verisini nasıl çekebilirim?
teşekkürler, eğer html taglerinde bu bilgiler mevcutsa o şekilde alınabilir. Eğer numaralara tıklamadan html tagleri gelmiyorsa selenium kullanarak yapılabilir. Başka yöntemleri de vardır belki ama aklıma gelen bu yöntem oldu
sade anlatım tşkler fakat
soup=r.BeautifulSoup(r.content,"xlsx") yazdığımda
File "c:\Users\KALE KAYMAKAMLIK\Desktop\alibaba.py\deneme.py", line 13, in
soup=r.BeautifulSoup(r.content,"xlsx")
AttributeError: 'Response' object has no attribute 'BeautifulSoup' hata döndürüyor html.parser yaptım excel uzantımı yazdım olmadı
yardım lütfen
Benim de buna benzer bir projem var. Haber sayfalarından haber başlıklarını çekiyorum. Döngü döndüğü zaman CSV'ye eski haber başlıklarını da yazıyor. Döngü döndükçe sadece yeni haberleri yazmasını istiyorum fakat eskileri de yazıyor üzerine hala. Bunun için ne yapmam gerekir ? CSV'nin içini okuyarak içinde varsa yazmamasını sağlayan bir komut var mı ?
Böyle bir komut hatırlamıyorum fakat aldığınız haberleri for döngüsü ile csv de olup olmadığını kontrol edebilirsiniz. Aklıma başka yöntem gelmedi açıkçası
Farklı bir siteden linkler direkt divlerin içerisinde divin içindeki linkleri çekerken sadece 1. divdeki link geliyor devamını nasıl alabilirim
selamlar,
Her sitenin html kodu farklı olduğu için tam çözüm olmayabilir ama find_all kullanarak belki yapabilirsiniz
@@MuhammedEminBal Teşekkürler bir şekilde o sorunu çözdüm sonrasına boş değer döndürüyordu meğerse class değerinde boşluk olduğu içinmiş onuda halletmiş oldum
Görkem Ercan tebrikler 👍 kolay gelsin
Kodlar nerde bulamadım
Açıklama kısmında yayınlamıştım. Burdan da ulaşabilirsiniz : github.com/EminMuhammed/Lider_ETicaret_Sitesinden_Veri_Cekme
hocam çok teşekkür ederiz iyi bir eğitim videosu olmuş. ben de denedim ve daha ileriki bir çalışma olarak örneğin ayakkabılar ile ilgili yorumları çekmek istiyorum . tüm sayfalar için mümkün olurmu? olur ise yardımcı olurmusunuz kodlarda yada yapan bir arkadaş var ise paylaşabilirmi kodları?
Merhaba
Teşekkür ederim 🙂. Evet tüm yorumları almak da mümkün. Ama Şu sıralar onun videosunu çekmek için çok vaktim yok malesef
@@MuhammedEminBal selam emel projeni yapabildin mi ?
hocam ben örneğin hepsiburada sitesinde anlık güncel şekilde örneğin samsung s23 128 Gb beyaz telefonun en ucuz ne kadar yani en dip fiyat kimde ve eğer örneğin 30 saniye sonra aynı marka model ram hafıza renk teki modeli başka bir satıcı daha aşağı bir fiyatı güncelledi yada ürün açtı bunuda anlık olarak bilmek istiyorum.bu konuda önemli olan nokta ürün içeriğinde yaşanan güncellemenin anlık olarak ilk bana yansıması
elinize sağlık...
Üstad bi kaç defa farklı videolarda da yorum yazdım cevap vermediniz bari buna cevap verir misiniz? images = soup1.img.get("src")
print(images) bu kodu yazdığımda sitenin logosunu yazıyor.. sizin diğer video larada baktım direk ürün resimi geliyor bende neden aynı sonuç çıkmıyr..
Selamlar
Diğer yorumlar gözümden kaçmış olabilir. Onlara da bakacağım :)
Sitelerin html kodları zamanla değişebilmektedir o yüzden kodlara güncelleme yapmak gerekebiliyor. Bu yazdığınız kod ilk bulduğu img yi alacaktır. Anladığım kadarıyla Video çektiğim zaman da ki HTML koduyla şimdi ki HTML değişmiş.
Çözüm için fotoğrafın bulunduğu img ye ulaşmak için HTML kodlarında filtreleme yaparak sadece fotoğrafın img sini alabilirsiniz.
@@MuhammedEminBal ben sizin veri çektiğiniz sitelerden çekmiyorum sizin yöntemle başka sitelerden veri çekiyorum nasıl başarıyorsam ürün fotografını çekemiyorum... Bir çok kodlama denedim google dan ulaştığım tüm kaynaklara baktım sizin örnek verdiğiniz kodu yazınca karşıma logo geliyor... :) şöyle bi şey yapsanız... normal e-ticaret sitelerine özellikle wordpressin woocommerce olanlardan bi veri çekmeyi denesek birde orda nasıl değişkenler vs oluyor görelim... n11 gittigidiyor vs bunlar tam donanımlı css kodlamaya sahip siteler...
@@MuhammedEminBal üstad sizden varyantlı yada varyasyon veya nitelikli ürün çekme videosu bekliyorum... şuan ençok ihtiyaç duyduğum video... images sorununu hallettim... varyantlı bazı siteler select bazı siteler bu video da anlattığınız gibi kutu... stokta olan ve olmayan varyant nasıl çekilir...? Heyecanla bekliyorum... :)
Sait Kurt dediğiniz işlemler selenium la yapıldığı için siteye özgü kodlar yazılır. Bu aralar da bu konularda video çekmeyi düşünmüyorum. Eğer yardıma ihtiyacınız olursa 08muhammedeminbal@gmail.com Mail adresinden iletişime geçebilirsiniz.
@@MuhammedEminBal Son bir şey .. twettir da scrol işlemi yaptınız. bazı sitelerde aynı şekilde içerik sayfa aşağı indikce içerik akışı devam ediyor. lakin tweet sitesinde bütün veriyi tek sayfada aldınız ... diğer sitelerde aşağıya indikce veher içeriği detay sayfasından yazdırmak gerekir... bu scroll ile yineverdiğiniz örnekte ki gibi bir işlemle mi yapmalıyız farklı fonksiyonlar gerekli mi?
çok teşekkürler :)
2 DAKİKADA ÖĞREN rica ederim :) kolay gelsin
Kardeşim merhabalar, telefonda görüşme imkanımız olabilir mi? Bir projem var, yardımına ihtiyacım var.
Mehmet Nazım BİLGİ merhabalar
08muhammedeminbal@gmail.com a mail atarsanız ordan daha detaylı görüşebiliriz.
@@MuhammedEminBal , videon çok anlaşılırdı! Bilgiler için çok teşekkür ederim. Sizinle en yakın zamanda gmail üzerinden iletişime geçeceğim.
Mehmet Nazım BİLGİ rica ederim faydalı olduysam ne güzel
Başarılar 👍
@@MuhammedEminBal bir mail gönderdim ama bakabilir misiniz?
Mehmet Nazım BİLGİ mailinize dönüş yaptım
Başarılar
pycharmda çalışmıyor kod.
BEAK evet bazen öyle olabilir. Kütüphane uyumsuzluğundan veya başka nedenlerden.
@@MuhammedEminBal Kodda hata vermiyorda çalıştırınca st2 ye nonetype error veriyor belkide etiketin ismi değişti ama boş değer olduğunu söylüyor
@@MuhammedEminBal sizde şuanda çalışıyormu kod
BEAK videoyu yayınladıktan sonra denemedim. Değer boş geliyorsa try except ile çözüm bulmaya çalışabilirsiniz.
@@MuhammedEminBal hiç bi türlü çalışmıyor eğer pycharmınız varsa kodu bir denermisiniz
soup.img.get("src")
diyince farklı bi fotoğraf geldi belirli bi alandaki img i alsın diye altındaki bi kısmı alıp denedim olmadı başka bi çözümü varmıdır teşekkür ederim video için bu arada çok işime yaradı
merhaba, kodunuzu çalıştırdıktan sonra print(soup.text) içeriğini yazdırdığımızda HB Güvenlik sayfasının içeriği geliyor. response.status_code, 403 veriyor.
user_agent = {'user-agent': 'Mozilla/5.0'}
verince de 403 dönüyor.
Merhaba, siteye istek attığınızda robot olduğunu anlıyor ve engelliyor
@@MuhammedEminBal nasıl çözebiliriz bu sorunu öneriniz var mı?
Necati Bilgin çok fazla yöntem var siteden siteye değişen. Burası için nasıl çözüm bulunur bilemiyorum. Eğer istediğiniz herhangi bir veri varsa mail atarsanız detayları konuşabiliriz
sizinle nasıl iletişim kurabilirim