How To Scrape ANY Website (ft. Scraping Browser)

Поділитися
Вставка
  • Опубліковано 14 лис 2024

КОМЕНТАРІ • 61

  • @nomadcoders
    @nomadcoders  Рік тому +20

    📌 스크래핑 브라우저 알아보기 (USD 10 크레딧 증정 | 7일 무료)
    brdta.com/nomadcoders
    📌 Scraping Browser (Get $10 Free Credit | 7 Days Free Trial)
    brdta.com/nomadcoders

  • @user-unknown71939
    @user-unknown71939 6 місяців тому +2

    증말 데이터 사이언스 전공인데 데이터 수집 과정도 중요하지만 정제 전처리 과정이 정말로 중요함...

  • @peacepiece9836
    @peacepiece9836 Рік тому +14

    와 감사합니다 진짜 너무 좋은 서비스예요..!

    • @nomadcoders
      @nomadcoders  Рік тому +2

      도움이 되셨다니 다행입니다.~~

  • @wooseoklee7087
    @wooseoklee7087 Рік тому +9

    아… 이제 이거 막는거 또 연구해야하네 ㅎ

  • @hhttt2
    @hhttt2 Рік тому +1

    구독중인 개발 유튜버중에 0순위임 👏👏👏
    감사합니다. 🥳

  • @sdfasdfsdfds
    @sdfasdfsdfds Рік тому +44

    로그인 해야되는 것도 됐으면 지렸을텐데 ㅠ

    • @SecretMember-n9d
      @SecretMember-n9d Рік тому +5

      되죠. 그냥 프록시 서버 빌려오는것처럼하는걸텐데

    • @SecretMember-n9d
      @SecretMember-n9d Рік тому

      Squid vps위에 도커에 구축하시고 해보시면 아실듯. 그냥 공개 된 것만 크롤링하란건 야놀자vs여기어때 소송건 검색해보세요. 민사로 가면 결국 걸리긴한데 공개 된 데이터에 스크래핑은 무효가 나서 니꼴쌤이 공개말 한듯요

    • @sdfasdfsdfds
      @sdfasdfsdfds Рік тому

      @@SecretMember-n9d 프록시서버 해도 인스타같은건 스크래핑하다가 광탈당해서요..

    • @luma-yv7jw
      @luma-yv7jw Рік тому +6

      셀레니움으로 됩니다 오히려 캡챠가 지리네요

    • @가자구독-q9e
      @가자구독-q9e Рік тому +3

      쿠키데이터 쓰면 돼요

  • @2029-b7h
    @2029-b7h Рік тому +3

    구독은 옛날부터 했는데 댓글은 처음 달아요. 회사에서 스크랩핑 하나 하라고 압박인데 고정IP에서 계속 하면 막혔는데 좋은 정보 많은 도움 됐습니다^^

    • @nomadcoders
      @nomadcoders  Рік тому

      도움이 되어서 기쁘네요 ;)

  • @parkchan0
    @parkchan0 Рік тому +1

    창과 방패인 셈이네요..!
    막으려는 각 서버, 뚫으려는 bright data

  • @노민준-i5w
    @노민준-i5w Рік тому +2

    ㄹㅇ 꿀팁이네얌

  • @frogeatssnake6811
    @frogeatssnake6811 Рік тому +2

    노코님은 재능이 출중하신데 왜 한국에서 활동하세요?

  • @hongsoonchoi
    @hongsoonchoi 9 місяців тому

    하지만 이용에 대한 법적 책임은 사용자가 져야 하겠죠?😂

  • @qpqqqpqqqq
    @qpqqqpqqqq Рік тому +6

    광고도 해야 니꼬형도 돈벌지ㅋㅋㅋㅋ 😂

  • @ThinkWithSteven
    @ThinkWithSteven Рік тому +15

    잘 모르는 분야라서 궁금해지는데, brightdata의 사업 모델이... 합법인가요?
    국내법 기준으로는 데이터 크롤링이 영업방해죄에 해당할 수 있을 것 같아요.
    합법이라고 쳐도 결국 온라인 광고 서비스와 광고 차단 서비스의 경쟁처럼 스크래이핑 서비스를 더 정교하게 차단하는 기술과 그걸 우회하는 기술이 서로 경쟁하며 발전하겠다는 생각이 드네요.

    • @dduckyee
      @dduckyee Рік тому +1

      공개되어 있는 정보는 상관 없지 않나요?
      여기어때가 야놀자 데이터 크롤링해갔던 것 결국 무죄 판결 났던 것 같은데

    • @뀨뀨꺄꺄-h5l
      @뀨뀨꺄꺄-h5l Рік тому

      brightdata의 사업 모델은 합법일 것으로 보입니다.
      만약 영업방해에 해당하게 된다면, 그 영업방해의 행위자는 brightdata의 유저이지, brightdata가 아니기 때문이죠.

    • @뀨뀨꺄꺄-h5l
      @뀨뀨꺄꺄-h5l Рік тому +4

      @@dduckyee공개된 데이터라고 완전히 자유롭지는 않습니다.
      형사건은 무죄지만 민사건은 부정경쟁행위에 해당되는 것으로 보고 10억원 배상 판결이 났거든요.

    • @user-mb6dh2yv5b
      @user-mb6dh2yv5b 9 місяців тому +1

      구글이랑 네이버 다음 등등의 검색엔진 프로그램이 결국은 정교한 스크래핑 및 크롤링을 하는 프로그램이에요.
      야놀자와 여기어때 사건 같은 경우에, 민사사건으로 배상판결이 난 이유는, 같은 업계에서 발생한 사건이므로 그렇습니다.
      부정경쟁방지법에 해당되어 그렇지요.
      결론은 공개된 데이터에 대해서 데이터를 스크래핑 하는것은 불법이 아닙니다.
      하지만 스크래핑한 데이터를 어떻게 활용하냐에 따라 민사에서는 판결이 달라질 수 있겠습니다.

  • @xn8cs
    @xn8cs 5 місяців тому

    인스타나 틱톡 웹에서도 작동하나요?

  • @djha1257
    @djha1257 Рік тому +2

    감사합니다

    • @nomadcoders
      @nomadcoders  Рік тому

      시청해 주셔서 감사해요~!@

  • @안준호-o4v
    @안준호-o4v Рік тому +21

    저는 보통 이런 크롤링/스크랩 작업을 할때 화면 자체를 OCR 해버립니다...
    시간은 걸리는데 혼날 걱정 없더라고요

  • @ibrahimkouma6751
    @ibrahimkouma6751 Рік тому +1

    Please a video on How to upload image clouflare 😊😊

  • @yeonggilgong5447
    @yeonggilgong5447 8 місяців тому

    robots.txt규칙 무시하고 그냥 따면 문제가 되겠죠?

  • @오미자-g8d
    @오미자-g8d Рік тому +3

    나는 파이썬 크롤링❤

  • @Jay-ls9ot
    @Jay-ls9ot Рік тому

    원슈타인 폼 미쳤다

  • @지니22-j7o
    @지니22-j7o Рік тому +1

    좋네요 :)

  • @꿈꾸는나비-m4w
    @꿈꾸는나비-m4w Рік тому +1

    👍🏻👍🏻👍🏻

  • @DK-ym9zv
    @DK-ym9zv 2 місяці тому

    Brightdata 광고 열심히하네

  • @아이니아
    @아이니아 Рік тому +2

    오호 이런것도 있구나

  • @빅스피오나
    @빅스피오나 Рік тому +17

    광고였네

  • @백영래-u3x
    @백영래-u3x Рік тому +12

    제품 광고네. ㅎㅎ!

  • @paste5601
    @paste5601 Рік тому

    멀티 생각하면 세프샵 미만잡인듯

    • @Rea458
      @Rea458 Місяць тому

      세프샵이 머에요 ?? 크롤링하려고하느데 좋은것좀 알려주세요 ㅜ

    • @paste5601
      @paste5601 Місяць тому

      @@Rea458 Cefsharp 입니당!

  • @h72h72h
    @h72h72h 8 місяців тому

    브라잇데이터 별걸 다하는구먼

  • @궁극의진리
    @궁극의진리 4 місяці тому

    스크래핑 X
    스크레이핑 O

  • @jaykim6857
    @jaykim6857 Рік тому +1

    2

  • @dwk3258
    @dwk3258 Рік тому

    1

  • @성이름-g3q
    @성이름-g3q 10 місяців тому +1

    결국 저것도 불법적으로 데이터수집해서 제공하는 비즈니스 모델이네 ㅎㅎ 불법 장려 쩐당

    • @user-mb6dh2yv5b
      @user-mb6dh2yv5b 9 місяців тому +1

      모자란 청년

    • @동선시
      @동선시 9 місяців тому +1

      데이터 수집이 왜 불법임? 네이버나 구글도 이런 식으로 비지니스를 하는데 말이죠. 저걸 그대로 ui나 글자 토씨 하나 안바꾸고 그냥 그대로 영리행위하는게 문제지, 저걸 가공하고 다시 유용하게 만들어내면 창조가 되는 법입니다.

    • @ummmmmmaff
      @ummmmmmaff 6 місяців тому

      돌멍게 빡대갈통인가 ㅋㅋ 저게 왜 불법임?