原來抓網頁資料已經變得那麼簡單了?一行程式都不用寫,連小學生都能輕鬆上手喔!

Поділитися
Вставка
  • Опубліковано 5 жов 2024

КОМЕНТАРІ • 191

  • @小翰翰-z5w
    @小翰翰-z5w 4 місяці тому +309

    我覺得要這影片我要跪著看才可以表達我的讚嘆

    • @boicelu620
      @boicelu620 4 місяці тому +7

      ?? 這程式也不是他寫的 為啥要跪

    • @小翰翰-z5w
      @小翰翰-z5w 4 місяці тому

      @@boicelu620 程式被寫出來會不會運用就差很多,EXCEL大家電腦都有 ,但真正會活用的不算多,能深入淺出教大家如何活用我覺得很厲害

    • @xsleo2104
      @xsleo2104 3 місяці тому +20

      ​@@boicelu620但能把這麼多程序用易通的語言講給大部分人聽這不是一件小事情

    • @yojaychang
      @yojaychang Місяць тому +5

      那對寫程式的人,你要用什麼姿勢看?

    • @tz5379
      @tz5379 Місяць тому +1

      那我们一起跪吧 哈哈哈哈哈哈

  • @VincentCheng1658
    @VincentCheng1658 3 місяці тому +26

    東西到您的手裡就能夠變得簡單易懂,真的是本事,感謝您!

  • @leiZhang-ww3ir
    @leiZhang-ww3ir 4 місяці тому +14

    是我见过讲解教授电脑知识最清晰明了简介易懂的一位博主了,赞!

  • @shih-tingchen5329
    @shih-tingchen5329 4 місяці тому +5

    謝謝PAPAYA老師!! 還順便複習了超實用Excel功能!! 之前一直想找,卻不知道用什麼關鍵字來搜尋Trim跟Substitute!!

  • @user-beautifulsoup
    @user-beautifulsoup 4 місяці тому +19

    每次都是愉快地开启和关闭PAPAYA的视频,开心学习就是这么简单。大赞!

  • @Function_range
    @Function_range 4 місяці тому +37

    當我前幾天好不容易學好爬蟲時...
    這部影片就出現了,我...好吧,至少我知道原理
    如果遇到比較複雜的頁面還是要自己寫w

    • @阿公-x2j
      @阿公-x2j 4 місяці тому +1

      😂我也有好幾次這樣的感受,
      好不容易找到成就感,影片就出現了

    • @colin1016
      @colin1016 4 місяці тому +11

      用過Web Scraper 與 Instant Data Scraper, 這些工具是蠻方便的, 但很多時候抓取結果不如預期, 翻頁的時候抓不到資料, 自動翻頁時跳頁, 翻頁失敗, 資料沒有對齊等, 必須事後下很大的功夫整理, 我認為還是要自己學習編程來抓取, 這些工具當成輔助..

    • @kuku4629
      @kuku4629 3 місяці тому

      自己做可以复用,这个每次 还要重新设置一遍。 大部分需要抓的资料都是经常更新的,不可能只抓一遍。

  • @natsumealice
    @natsumealice 4 місяці тому +75

    終於來到這種資訊科技的時代了,以前論文爬蟲對文組來說好痛苦QQ

    • @hkywscl
      @hkywscl 4 місяці тому

      收集信息方便

    • @Unrequired
      @Unrequired 4 місяці тому +14

      說實話跟文理組沒啥關係,只是有沒有必要要多學而已;
      Beautiful Soup, Scrapy, Selenium, HTTP requests這些基本上你只要一步一步照著做而已

    • @Terry0319
      @Terry0319 4 місяці тому +11

      @@Unrequired ==你要確定捏,不懂一點html不是略懂PYTHON就算有CHATGPT也很難爬好ㄇ,這個東西超方便的,就算我會爬我知道這個也懶得花時間去研究網頁架構了,浪費時間

    • @morries1234
      @morries1234 3 місяці тому

      語言類本來就是文組的...

  • @fengarcanine2606
    @fengarcanine2606 3 місяці тому +8

    試了一下 還是蠻容易有Bug的
    但感謝分享這個方法

  • @J1136Yijia
    @J1136Yijia 4 місяці тому +17

    好強大的東東,總是會有人發明的,我們等著用~~謝謝

  • @mia.2862
    @mia.2862 4 місяці тому +3

    同事說裝爬蟲自動找資料,終於一年後PAPAYA老師來教學了❤🎉

  • @3cblog
    @3cblog 4 місяці тому +4

    爬蟲難得其實是分析他的架構,決定怎麼抓比較有效率。

  • @Hugohabor7799
    @Hugohabor7799 4 місяці тому +4

    比較明著來的網頁適合用這類的工具

  • @severinewang1930
    @severinewang1930 3 місяці тому +6

    已經不知道要怎麼形容papaya 頻道的厲害及重要性了👍👍👍👍

  • @xyz19791225
    @xyz19791225 4 місяці тому +12

    滿滿的尊敬,感謝分享

  • @ouo9454
    @ouo9454 4 місяці тому +6

    發明這類工具的人好天才,如此高效請求也難怪網頁要驗機器人😂

    • @oscarlin3555
      @oscarlin3555 Місяць тому

      現在網頁驗證已經沒有用了 AI做的比人類好

  • @ChengCheYu
    @ChengCheYu 4 місяці тому +5

    現在爬蟲困難是一堆驗證機器人:

  • @sugarban
    @sugarban 4 місяці тому +4

    實際上就是搜出網頁中寫死的大區塊然後再對內容分類而已
    所以只要遇到有進階篩選功能的,就會因為商品區塊改成個別呈現,導致只能抓到一團寂寞

  • @mugen8219
    @mugen8219 3 місяці тому +2

    精闢的講解!!請收下我的膝蓋...

  • @regularshow8958
    @regularshow8958 4 місяці тому +4

    太神了!我把我淘寶購物清單爬下來加總,14年來買了120幾萬台幣,呵呵!

    • @papayaclass
      @papayaclass  4 місяці тому +3

      你買真多 ~~~~ !厲害厲害 👍👍👍

    • @劉睿麟-d3z
      @劉睿麟-d3z 3 місяці тому

      我蝦皮想抓資料,但是蝦皮似乎阻擋了爬蟲軟體,淘寶沒有阻擋嗎!?

    • @regularshow8958
      @regularshow8958 3 місяці тому

      @@劉睿麟-d3z 爬購物紀錄沒有問題

  • @Gosiya
    @Gosiya 4 місяці тому +4

    太實用了!謝謝PAPAYA

  • @lightlydo
    @lightlydo 4 місяці тому +2

    昨天還在煩惱怎麼抓資料~今天就看這部,感謝PAPAYA

  • @kevinhuang6952
    @kevinhuang6952 2 місяці тому

    「感恩讚嘆」尚不足以形容的強大!

  • @Invisible_troll
    @Invisible_troll 3 місяці тому +2

    看了一下,基本上整合了简单的爬虫功能,但如果目标页面十分复杂,还是需要自己写代码

  • @goodday5482
    @goodday5482 3 місяці тому +1

    感謝大師!!! 前天看到影片,今天就用上了! 省下超多力氣🙏

  • @fukaichang2328
    @fukaichang2328 4 місяці тому +2

    太神了!感謝分享及講解❤❤

  • @eatbananaing
    @eatbananaing 4 місяці тому +1

    太實用了! 如果能夠做到 Zepier 連接上 Google Sheet 就不得了

  • @wanxinli6974
    @wanxinli6974 Місяць тому

    讲解得好清晰优雅!

  • @jasminchen6829
    @jasminchen6829 4 місяці тому +8

    老師好,我用影片的方法用在全國法規資料庫最新消息,擴充判斷’下一頁‘按鈕一直判斷成‘最後一頁’,即便我按影片步驟教導‘下一頁’才是正確的按鈕,開始爬蟲時還是會變成去按‘最後一頁’導致爬蟲資料只有第一頁及最後一頁,想請問有建議的解決方法嗎?謝謝。

    • @777-o6l
      @777-o6l Місяць тому

      我也是遇到問題

  • @Envy_Alvin
    @Envy_Alvin 4 місяці тому +4

    直接用Excel Import Data From Web就可阿

  • @lionsherkh
    @lionsherkh 4 місяці тому +8

    謝謝師傅 !

  • @pplan
    @pplan 3 місяці тому +2

    請問有沒有 一次搜尋多網站的爬蟲工具

  • @SamCG-f2b
    @SamCG-f2b 24 дні тому

    感謝分享~ 想請教如何可定時抓網頁資料及自動儲存下來用作分析(google sheet/excel/csv等儲存都可以), 例如想分析網站指定貨品價格走勢, 謝謝

  • @guangfumike
    @guangfumike 4 місяці тому +2

    簡單又實用!超強!

  • @n1xpen703
    @n1xpen703 4 місяці тому

    感谢!刚好工作中需要用到爬虫,这个教程超级实用

  • @YY-hl7hl
    @YY-hl7hl 3 місяці тому

    如果又有一個可以偽裝成chrome等瀏覽器的擴充插件出現 那是真的不用寫code也可以應付絕大多數的爬蟲了

  • @darenme
    @darenme 12 днів тому

    大感謝,正好需要啊

  • @bradtsai6746
    @bradtsai6746 4 місяці тому +3

    真的很方便
    不過會用爬蟲的狀況多半是要做機器人啦XD

    • @gqqnbig
      @gqqnbig 3 місяці тому

      做內容農場~

  • @maygi4918
    @maygi4918 3 місяці тому

    非常感謝老師,太有幫助了!

  • @dinayogi
    @dinayogi 2 місяці тому

    超棒的謝謝🎉🎉🎉

  • @簡士凱-j6r
    @簡士凱-j6r 4 місяці тому +1

    厲害~ 感謝分享

  • @briantu8728
    @briantu8728 4 місяці тому +3

    這個方法只有一個缺點: 太強了!

  • @jackwongbmw
    @jackwongbmw 4 місяці тому +6

    但有些網頁用javascript 出的dynamic content應該不行吧

    • @gqqnbig
      @gqqnbig 3 місяці тому

      這不是主要問題。第一個瀏覽器擴充工具和第二個工具都內建瀏覽器,可以執行javascript。反而python scrapy之類的編程方法一般不支持javascript。

    • @ccheyhey
      @ccheyhey 3 місяці тому

      ​@@gqqnbig應該是說最基本的python 方法是不支援,但只要再加些lib就可以支援

  • @peter-you
    @peter-you 4 місяці тому +1

    這個好實用阿阿阿❤❤❤

  • @mao_cmt
    @mao_cmt 4 місяці тому +2

    推Octoparse,但想問老師要怎麼爬 youtube 頻道影片列表和設定定時爬取最新影片XD

    • @vincent_chen1102
      @vincent_chen1102 4 місяці тому +1

      ua-cam.com/video/TFvQx8BRb2I/v-deo.html
      這影片有部分提到爬YT資訊 不知道這能不能幫到你

    • @mao_cmt
      @mao_cmt 4 місяці тому

      @@vincent_chen1102 有XD 感謝分享~(原本想爬蟲抓過往影片,但後來還是手動蒐集了T^T,現在只要關注新影片)

  • @datactive859
    @datactive859 4 місяці тому +4

    我两年前开始用这个软体,起初感觉很强大,后来发现很多的页面会让你填验证码,想尽办法不让你搜刮,着实有些头痛

    • @pensis
      @pensis 4 місяці тому +2

      這種方式的出現就是因為爬蟲太普遍了
      以後只有AI能對付AI了

  • @shengkai0209
    @shengkai0209 3 місяці тому

    很棒的教學

  • @jin88ism
    @jin88ism Місяць тому

    谢谢老师 ,聪明还会教

  • @陳秉謙-z9p
    @陳秉謙-z9p 4 місяці тому +4

    謝謝!

  • @rex52036888
    @rex52036888 4 місяці тому

    希望可以教學變成自動爬蟲的方式
    不再需要手動爬資料🙏

  • @breezeana06
    @breezeana06 4 місяці тому +1

    讚嘆 ! 正好用上 !

  • @hansom283
    @hansom283 3 місяці тому

    真的太神了!免除自己寫python程式碼了~

  • @MikewasG
    @MikewasG 4 місяці тому

    太優質了✨

  • @ZTHUANG
    @ZTHUANG 4 місяці тому +1

    哇!這個工具很實用,感謝分享

  • @samwu8070
    @samwu8070 4 місяці тому

    實用的功能,馬上來試試看

  • @DukehsuPh
    @DukehsuPh 4 місяці тому +1

    谢谢papaya , 我想到要抓取的数据了

  • @yichaohsieh
    @yichaohsieh 4 місяці тому

    真心佩服

  • @christinalai3485
    @christinalai3485 Місяць тому

    好犀利

  • @yungshenchen258
    @yungshenchen258 4 місяці тому +1

    請問大師,爛番茄網頁結構,如果要全部一次抓完所有影片資訊,但是找不到NEXT BUTTON,按下LOAD MORE功能鍵,就只停在現行網頁上,並沒有持續向下抓取資訊,應如何處理?

  • @kafans
    @kafans 11 днів тому

    谢谢您的分享 请问Firefox浏览器有类似的插件吗

  • @Quet_Weilan
    @Quet_Weilan 4 місяці тому +1

    老师有了解过影刀吗

  • @jessiej8652
    @jessiej8652 4 місяці тому

    天啊 好方便!

  • @linfrank8417
    @linfrank8417 4 місяці тому

    滿滿的敬配

  • @燦爛の煙花
    @燦爛の煙花 4 місяці тому

    老師你好
    我想詢問用photoshop
    如何把黑色人物剪影→正常圖片
    例如:神奇寶的猜猜我是誰
    還原成原本的樣子
    請問有沒有相關教學?
    感謝老師!!
    原本我是用魔術棒選黑色隱藏的部分
    再用曝光度調亮
    再來就自己亂搞,雖然看得出輪廓
    但不是很自然。。
    請告訴我正常的步驟,
    謝謝

    • @papayaclass
      @papayaclass  4 місяці тому +1

      嗨,如果沒有原始檔或原始圖層,要把一個非常暗的圖片還原成原來的樣子會有點困難喔,
      因為在調暗的過程中圖像會失去一些色彩資訊和細節。
      所以要做猜猜我是誰這種效果的話,保留一份原始影像還是最理想的。

  • @strolltimes
    @strolltimes 2 місяці тому

    這個程式的爬蟲不知道會不會被擋,我之前自己寫的爬蟲去爬政府機關的活動資訊,好像連線太頻繁就被擋了,會有一小段時間不能再上

  • @yungshenchen258
    @yungshenchen258 4 місяці тому +1

    Octoparse的試用只有14天?

  • @bryantliu1355
    @bryantliu1355 4 місяці тому

    真滴方便

  • @hkywscl
    @hkywscl 4 місяці тому +2

    视频不错

  • @pj94213
    @pj94213 4 місяці тому

    感謝大神!!!

  • @amitaka
    @amitaka 4 місяці тому

    為什麼我跪著看, 這太方便了

  • @OctopusSAMA-rs2hw
    @OctopusSAMA-rs2hw 2 місяці тому

    好家伙 我用的八爪鱼爬取器都被你发现了!!

  • @hm.l8763
    @hm.l8763 4 місяці тому

    太方便了🎉🎉🎉

  • @doge7562
    @doge7562 2 місяці тому

    如果我需要爬取的資料
    需要點擊資料才會像選單一樣向下拉開
    我該怎麼做
    例如原價屋的硬碟資訊

  • @BnLee
    @BnLee 4 місяці тому

    我的膝蓋在親地板

  • @shangchen7370
    @shangchen7370 4 місяці тому +1

    還好還沒開始花時間學爬蟲....❤

  • @dwarfking8585
    @dwarfking8585 22 дні тому

    老師您應該拿師鐸獎

  • @jiawei0812
    @jiawei0812 4 місяці тому +4

    想請問一下,是不是結構複雜的網站就比較不適用?

    • @DysonWang-y8n
      @DysonWang-y8n 4 місяці тому +1

      是,有些網站用的是前後端分離技術,資料是從後端拿的,必須得去觀察網站傳送資料的流程才能抓到規則去爬蟲

    • @武山儒海
      @武山儒海 4 місяці тому +3

      适不适用主要看你具体需求,和网站反爬。其实就是解析页面定位Html标签和class名字等相对做成插件比较方便。需要进阶一点可以试下rpa可视图形式拖拽。再进阶则是使用python结合scrapy去做深度定制

    • @吃吃-b1e
      @吃吃-b1e 4 місяці тому +1

      限制的問題在於它的爬蟲沒有控制爬行速度與使用者掩護所造成的爬行速度過快而被擋下

    • @武山儒海
      @武山儒海 4 місяці тому

      @@吃吃-b1e 延时爬去是必然,掩护的话考虑的就太多请求头,代理IP还有代理IP质量,登陆等.

    • @吃吃-b1e
      @吃吃-b1e 4 місяці тому

      @@武山儒海 能跟你加聯繫嗎

  • @rogerhsu8583
    @rogerhsu8583 4 місяці тому

    跪著感謝

  • @ryanwutw
    @ryanwutw 3 місяці тому

    請問PaPaya, 如果遇到的按鈕是 1, 2, 3, 4 ,5. 有方法解?

  • @痕
    @痕 4 місяці тому

    這集有料

  • @chengchetao4503
    @chengchetao4503 3 місяці тому

    跪著看完了

  • @Grass-c7r
    @Grass-c7r 3 місяці тому

    神啊!!

  • @fanyang1972
    @fanyang1972 2 місяці тому

    如何解决Authentication?

  • @oao1051
    @oao1051 4 місяці тому

    OAO!!!!!!!
    請問老師這有辦法批量抓圖片嗎?
    好需要orz
    想要整理家具的材質貼圖
    像是沙發的皮革有多種顏色跟布料/金屬件也有多種顏色
    放到anytype裡面當資料庫

    • @aass2288as
      @aass2288as 3 місяці тому

      之前有用過eagle,批量抓圖非常好用,雖然是要付費,但如果工作上常常使用,絕對很值得

  • @丁鴻銘-o8f
    @丁鴻銘-o8f 24 дні тому

    真神人也!

  • @TheMaydazz
    @TheMaydazz 4 місяці тому

    希望教學要如何反網抓?網站變得很慢。謝謝

    • @gqqnbig
      @gqqnbig 3 місяці тому

      驗證機器人

  • @aids92027
    @aids92027 4 місяці тому

    謝謝老師 下跪中

  • @alanhuang0920
    @alanhuang0920 4 місяці тому

    如果他是滾動式到底部自動呈現下一頁資料,而不是點擊的話,這也是可以的嗎

  • @黃國崴
    @黃國崴 4 місяці тому

    抱歉可以詢問有關於word的問題嗎?
    每次開啟word的檔案時,都會有另外兩個舊的檔案被一起開啟,
    就是我點擊C檔案,但除了C檔案被打開,同時也開啟了A和B檔案,
    每次開啟word都有這個現象,也每次都是A和B檔案被打開
    拜託網友幫忙解惑 感謝大家

    • @charlas99
      @charlas99 4 місяці тому +2

      根據你提供的描述,你在開啟Word文件時,除了目標文件外,還會同時開啟另外兩個特定的文件。這種情況可能是由以下幾種原因引起的:
      1. **啟動文件夾**:有時Word會記住上次打開的文件夾中的所有文件,並在啟動時自動打開這些文件。
      2. **啟動宏或插件**:某些宏或插件可能會自動打開特定的文件。
      3. **最近文檔列表**:Word的“最近使用的文檔”列表可能包含這些文件,導致它們被自動打開。
      以下是一些解決方法:
      ### 檢查啟動文件夾
      1. **關閉所有Word文檔**,並重新啟動Word。
      2. 點擊`文件` > `選項` > `進階`。
      3. 在“常規”部分,檢查“啟動時打開所有文件的文件夾”是否指向一個包含這些文件的文件夾。如果是,請清空或更改該設定。
      ### 檢查啟動宏或插件
      1. 點擊`文件` > `選項` > `外掛程式`。
      2. 在“管理”下拉列表中選擇`COM 外掛程式`,然後點擊`執行`。
      3. 停用所有外掛程式,然後重新啟動Word,檢查問題是否解決。
      4. 如果問題解決,可以逐個啟用外掛程式,找出引起問題的特定外掛程式。
      ### 清理最近文檔列表
      1. 點擊`文件` > `選項` > `進階`。
      2. 在“顯示”部分,找到“顯示此數量的最近使用的文檔”,並將其設置為較低的數字,例如0,然後點擊確定。
      3. 關閉Word,然後重新打開,並重新設置“最近使用的文檔”數量。
      如果上述方法仍不能解決問題,可以嘗試重新安裝Office套件,以確保所有設定恢復到默認狀態。

  • @Chase-Mainland
    @Chase-Mainland 3 місяці тому

    請問有什麼軟體可以快速抓取pdf內容部分資料,重複動作,將大量抓取的資料轉換成excel😅

  • @劉睿麟-d3z
    @劉睿麟-d3z 3 місяці тому

    使用上我有一個問題,我想抓自己的會員資料,無法使用帳號密碼登入,自然無法抓內部資料,請問如何解決,謝謝。

  • @eas7112
    @eas7112 4 місяці тому

    要人手介入這麼多操作, 建議還是去學一下編程, 2-3秒就爬完

    • @lipheris4555
      @lipheris4555 3 місяці тому +3

      不如講講你怎麼寫的,幾秒爬完整串html基本上沒有意義,乾脆儲存網頁算了。
      光是讀標籤這個動作通常超過3秒,不超過3秒能讀完的簡單網頁能用插件點幾下爬完幹嘛寫code,
      真的懂就秀點肌肉,用python的人都是實用主義,絕不排斥新做法,給我們這些不懂"編程"的人開開眼。

    • @eas7112
      @eas7112 3 місяці тому

      @@lipheris4555 Chrome headless, Browsershot, Puppeteer, 一大堆工具, 只怕你不會用, 哪一種語言已經不是問題, 現在 AI 時代, 你不會還是用 56k 上網吧, youtube 搜尋 "Web Scraping with GPT-4 Vision AI + Puppeteer is Mind-Blowingly EASY!"

  • @drccr
    @drccr 3 місяці тому

    Octoparse要收費了。 有沒有可取代的免費工具。 謝謝老師

  • @redwu5918
    @redwu5918 4 місяці тому

    原来是讲八爪鱼,八爪鱼很强大的根本不需要插件它自身的循环逻辑就能完成任务

  • @phonedr.1013
    @phonedr.1013 4 місяці тому

    我太早出生了😢😢 謝謝老師 每一部都好棒

  • @WongStephen-zd5qs
    @WongStephen-zd5qs 3 місяці тому

    這App已加入了Chrome, Edge, 但卻說不能用,何解?

  • @tsaiyungchien1053
    @tsaiyungchien1053 3 місяці тому

    請問如果要下載下面網頁所查詢到的csv檔案,如何變成每天自動爬文下載檔案

  • @Mr.Dorameow
    @Mr.Dorameow 4 місяці тому

    太狂拉

  • @GaHao
    @GaHao 4 місяці тому

    猛啊啊啊

  • @10053010
    @10053010 3 місяці тому

    請問Octoparse是不是只有14天免費呢?

  • @尾崎豆-o9y
    @尾崎豆-o9y 2 місяці тому

    太好了 來爬fanza了