감사합니다! 😊 사실 노코드도 심화 단계로 갈수록 개발 못지않게 다양한 개념들을 이해해야 하긴 하지만, 그래도 더 빠른 시간 안에 개발할 수 있다는 점에서 강점이 있다고 생각해요. 또한, 요구되는 개념의 깊이가 비교적 얕기 때문에 비개발자도 충분히 접근할 만한 매력적인 도구라고 생각합니다!
쉽게 알려주셔서 감사합니다. 사이트 중 '더보기' 버튼 클릭한 이후에 나타나는 텍스트를 크롤링해보고 싶은데~ apify사용해서 크롤링 설정 후에 테스트해보면 '3개 포지션 더보기태그' 이렇게 나타나기만 하네요. 3번 정도 해 봤는데 동일한 결과라면 뭔가 다른 방법이나 세팅을 추가해야 할까요?
안녕하세요! 일단 이 영상에서는 동적웹사이트 크롤링을 시작할 수 있는 부분에 대해 말씀드렸는데요! 말씀하신 것처럼 뜬다는건, 더보기 버튼을 눌렀을때의 내용은 더보기 버튼을 눌렀을때만 또 데이터를 받아와서 보여준다는 뜻입니다. 그래서, 추가로 버튼을 누르는 작업을 크롤러에 추가해줘야하는데요. 그런 방식의 크롤링은 좀 더 고급 내용이라 향후에 다뤄볼지 고민해볼게요! 또 다른 방법은, 혹시 크롤링하고자 하는 사이트가 유명 플랫폼(인스타, 유튜브, X 등)이라면, 스토어에 이미 누군가가 만들어놓은 크롤러를 찾아서 사용하는 방법이 있습니다. ^^
한국 이커머스 사이트들은 anti-bot 조치가 강한 편이여서요. 일단 기본 방식으로는 리뷰같은걸 수집하긴 어렵고요. 이미 actor가 만들어져있는게 있다면 활용을 고려해보실수는 있을 것 같아요. (직접 제작은 사실 개발자가 아니면 안정적으로 돌릴 수 있는걸 만들기가 어렵습니다ㅜ) 보니까 octoparse에 템플릿으로 한국 이커머스 사이트 정보 수집하는 것들이 좀 있는 것 같네요!
영상 잘 보고있습니다 열심히 보고 따라하는중인데... 22분20초~ 이부분 JSON - Parse JSON The operation failed with an error. Error Source is not valid JSON. - Unexpected token 'P', "Please pro"... is not valid JSON 위 같은 에러가뜨거든요 몇번을 다시해도 이유를 모르겠어요!! 혹 이유를 알려주실수 있으실까요?
세번째 형태 말씀하시는거죠? Parse JSON에서 오류가 나는 경우는 보통 json format으로 chatgpt에서 결과가 잘 나오지 않아서 그런데요. ChatGPT 모듈에서 나오는 결과물이 {'key':'value'} 형식의 json 파일로 잘 나오는지를 확인을 해보셔야 하고요. 만약 제대로 나오지 않는다면, 프롬프트를 바꿔가시면서 JSON 포맷으로 딱나오게 수정을 먼저 해주셔야 합니다!
코딩에 대해 전혀 모르시는데, 크롤링을 하고 싶으시면 저는 개인적으로는 크롤링때문에 코딩을 처음부터 배우기 보다는 영상에서 다룬 것처럼 MAKE를 활용한 크롤링을 연습해보시는 것을 추천드려요! (향후에 더 고난이도/ 커스텀 크롤링을 하고 싶으실때 코딩을 배우셔도 무방합니다) 1. MAKE, AI API(ChatGPT, Claude), APIFY - 영상에서 다룬 것처럼 일단 3개 툴을 활용해서 일반적인 크롤링 방법에 대해 익히시고 원하는 사이트들 크롤링을 연습해보시면 좋습니다. - 저도 앞으로 더 다루겠지만, 다른 곳에서도 3개 툴에 대한 활용법을 공부해보실 수 있습니다 ^^ - MAKE같은 경우 자체적으로 공식 공부 자료를 제공해주기도 해요. (MAKE Academy) 2. 웹사이트 분석 및 데이터 가공 - HTML, CSS, Javascript와 JSON 포맷, REGEX등에 대해 좀 찾아보시면서 공부하시면, 얻은 데이터를 가공할 때 좋습니다. 3. 1,2보다 더 커스텀으로 웹크롤링을 하고 싶다면 개발 지식 공부 - 공부 필요한 기본 라이브러리 (파이썬 기준) - Requests: HTTP request하기 - BeautifulSoup: HTML 파싱 - Selenium: Dynamic website 자동화 - Playwright: JavaScript 위주 페이지 자동화 1,2,3 순서로 해보시는 걸 추천드리고요! 무엇보다 너무 이론에 집착하기 보다는, 프로젝트를 하시면서 필요한걸 공부해나가시면 좋습니다 ^^
지금 보여드린 방식은 기본기에 가까워서요! 로그인 없이 공개된 정보만 가져올 수 있습니다. 만약 로그인을 해야 보이는 정보라면, 여기에 추가로 로그인된 상태로 인식할 수 있게 조치를 취해줘야하는데요. 다만, 로그인 필요한 정보는 private information이라 볼수있어 크롤링에 대한 이슈의 소지가 있을 수 있습니다 :(
동적사이트 크롤링 정말 중요한데 내용 감서합니다. 구독했습니다. 크롤링 관련해서 강의가 자주 있었으면 합니다.
감사합니다! 관련해서 또 내용 정리해서 향후에 또 올려보도록 하겠습니다!
설명과 말투, 내용 모두 좋네요.
영상 만들어 주셔서 감사합니다.
Make로 따라 해볼께요.
감사합니다! ^^ 앞으로도 생산성을 높일 수 있는 시스템 구축에 도움되는 영상들 많이 올려보겠습니다!
유용한 정보에 대한 설명 감사합니다. 따라해 보겠습니다.
감사합니다~ ^^ 유용하게 활용하시기 바랍니다!
코딩 없다는 말은 사알짝 짜치는 느낌이긴하지만 (정규식, 스케쥴 등 코딩개념을 모르면.. ㄷㄷ),
되려 전체적으로 수준이 높습니다;;
고급 정보 감사합니다.
감사합니다! 😊 사실 노코드도 심화 단계로 갈수록 개발 못지않게 다양한 개념들을 이해해야 하긴 하지만, 그래도 더 빠른 시간 안에 개발할 수 있다는 점에서 강점이 있다고 생각해요. 또한, 요구되는 개념의 깊이가 비교적 얕기 때문에 비개발자도 충분히 접근할 만한 매력적인 도구라고 생각합니다!
구독했습니당^^
감사합니다~ 앞으로도 생산성 향상에 도움될만한 내용들 다뤄보겠습니다!
영상 감사합니다~❤❤😊
댓글 감사합니다! 유용하게 활용하시기 바랍니다 ^^
와우 대단합니다.
댓글 감사합니다! ^^
와 진짜 쉽게 알려주시네요!!
도움되셨다니 다행입니다 ^^ 앞으로도 생산성 향상에 도움될 영상들 올려보겠습니다! 관심 부탁드려요~
로그인해야하는 정보가 보이는 사이트도, 로그인 정보를 이용해서 크롤링 할 수 있을까요?
(당연히 평소에도 정상적 권한을 가지고 로그인하고 보는 곳입니다.)
좋은 의견 감사드립니다! ^^ 일단 결론부터 말씀드리면 가능은 합니다. 다만, 동적 웹사이트는 아무래도 로그인 방식, 페이지 html리턴 방식에 따라 변수들이 존재하는데요. 변수가 많아서 어떻게 말씀드리는게 가장 간단할지 고민해보겠습니다!
@@citizendev9c 저도 이부분 궁금합니다 !
엑셀시트 열 값을 순차적으로 웹사이트에 입력하여 결과 값을 표기하도록 하려면 영상을 어떤것을 시청해야 할까요? 빠른 속도로 할 수 있는 방법은 무엇인가요? 구독했습니다~
엑셀시트 값을 웹사이트에 표기하신다는게 구체적으로 어떤걸 하고 싶으신 걸까요~? 조금 더 구체적으로 설명해주시면 방법에 대해 말씀드리겠습니다!
@@citizendev9c웹사이트 검색란에 엑셀 값을 입력하여 결과 값을 표기 해주는 것입니다
쉽게 알려주셔서 감사합니다. 사이트 중 '더보기' 버튼 클릭한 이후에 나타나는 텍스트를 크롤링해보고 싶은데~ apify사용해서 크롤링 설정 후에 테스트해보면 '3개 포지션 더보기태그' 이렇게 나타나기만 하네요. 3번 정도 해 봤는데 동일한 결과라면 뭔가 다른 방법이나 세팅을 추가해야 할까요?
안녕하세요! 일단 이 영상에서는 동적웹사이트 크롤링을 시작할 수 있는 부분에 대해 말씀드렸는데요! 말씀하신 것처럼 뜬다는건, 더보기 버튼을 눌렀을때의 내용은 더보기 버튼을 눌렀을때만 또 데이터를 받아와서 보여준다는 뜻입니다.
그래서, 추가로 버튼을 누르는 작업을 크롤러에 추가해줘야하는데요. 그런 방식의 크롤링은 좀 더 고급 내용이라 향후에 다뤄볼지 고민해볼게요!
또 다른 방법은, 혹시 크롤링하고자 하는 사이트가 유명 플랫폼(인스타, 유튜브, X 등)이라면, 스토어에 이미 누군가가 만들어놓은 크롤러를 찾아서 사용하는 방법이 있습니다. ^^
쿠팡 리뷰 , 네이버 스토어 리뷰 도 뚫나요 이게 ?
한국 이커머스 사이트들은 anti-bot 조치가 강한 편이여서요. 일단 기본 방식으로는 리뷰같은걸 수집하긴 어렵고요. 이미 actor가 만들어져있는게 있다면 활용을 고려해보실수는 있을 것 같아요. (직접 제작은 사실 개발자가 아니면 안정적으로 돌릴 수 있는걸 만들기가 어렵습니다ㅜ) 보니까 octoparse에 템플릿으로 한국 이커머스 사이트 정보 수집하는 것들이 좀 있는 것 같네요!
영상 잘 보고있습니다
열심히 보고 따라하는중인데...
22분20초~ 이부분
JSON - Parse JSON
The operation failed with an error.
Error
Source is not valid JSON.
- Unexpected token 'P', "Please pro"... is not valid JSON
위 같은 에러가뜨거든요
몇번을 다시해도 이유를 모르겠어요!!
혹 이유를 알려주실수 있으실까요?
세번째 형태 말씀하시는거죠? Parse JSON에서 오류가 나는 경우는 보통 json format으로 chatgpt에서 결과가 잘 나오지 않아서 그런데요. ChatGPT 모듈에서 나오는 결과물이 {'key':'value'} 형식의 json 파일로 잘 나오는지를 확인을 해보셔야 하고요. 만약 제대로 나오지 않는다면, 프롬프트를 바꿔가시면서 JSON 포맷으로 딱나오게 수정을 먼저 해주셔야 합니다!
혹시 동적웹사이트 쇼핑몰의 이중옵션도 크롤링이 가능 할까요?
컬러, 사이즈 이렇게 추출해서 컬러별 사이즈 품절여부 이런걸 체크하고 싶어서요
아, 옵션을 선택해야만 뜨는 정보라면 아무래도 옵션 클릭하는 과정을 코드로 넣어줘야 크롤링이 가능할 것으로 보입니다. 말씀주신 복잡한 과정의 데이터를 가져오려하면 make +apify로 가능하긴 할텐데, apify내 코딩을 커스텀으로 해줘야 합니다ㅜ
@citizendev9c 역시 그렇군요 ㅠ 감사합니다
안녕하세요 혹시 코딩을 한번도 접해보지 않은 일반인이 크롤링 및 데이터 수집 관련 작업을 하려면 개발중에 어떤 기술을 배우면 좋을까요??? ㅠㅠ 너무 막막합니다 혹시 추천해주시는 유료 강의나 다른 방법 있으면 알려주세요 ㅠㅠ
코딩에 대해 전혀 모르시는데, 크롤링을 하고 싶으시면 저는 개인적으로는 크롤링때문에 코딩을 처음부터 배우기 보다는 영상에서 다룬 것처럼 MAKE를 활용한 크롤링을 연습해보시는 것을 추천드려요! (향후에 더 고난이도/ 커스텀 크롤링을 하고 싶으실때 코딩을 배우셔도 무방합니다)
1. MAKE, AI API(ChatGPT, Claude), APIFY
- 영상에서 다룬 것처럼 일단 3개 툴을 활용해서 일반적인 크롤링 방법에 대해 익히시고 원하는 사이트들 크롤링을 연습해보시면 좋습니다.
- 저도 앞으로 더 다루겠지만, 다른 곳에서도 3개 툴에 대한 활용법을 공부해보실 수 있습니다 ^^
- MAKE같은 경우 자체적으로 공식 공부 자료를 제공해주기도 해요. (MAKE Academy)
2. 웹사이트 분석 및 데이터 가공
- HTML, CSS, Javascript와 JSON 포맷, REGEX등에 대해 좀 찾아보시면서 공부하시면, 얻은 데이터를 가공할 때 좋습니다.
3. 1,2보다 더 커스텀으로 웹크롤링을 하고 싶다면 개발 지식 공부
- 공부 필요한 기본 라이브러리 (파이썬 기준)
- Requests: HTTP request하기
- BeautifulSoup: HTML 파싱
- Selenium: Dynamic website 자동화
- Playwright: JavaScript 위주 페이지 자동화
1,2,3 순서로 해보시는 걸 추천드리고요! 무엇보다 너무 이론에 집착하기 보다는, 프로젝트를 하시면서 필요한걸 공부해나가시면 좋습니다 ^^
유튜브에서도 특정단어가 들어간 동영상을 크롤링할수있나요?
유튜브에 특정단어로 서치해서 나오는 동영상을 크롤링하고 싶으시면, 해당 영상 + 이전에 제가 다뤘던 "노코드 웹크롤링 무료로 자동화하기"를 살펴보시면 좋을 것 같습니다! 거기서 유튜브 정보 가져오는 사례가 있습니다~
구글시트에 데이터를 넣을때 중복된 값을 제거하는 방법이 있을까요?
제 MAKE+Serp API영상에서 중복값 제거하는 것 다뤘으니 참고해보세요! ^^ ua-cam.com/video/fEDRUeRaO04/v-deo.html
네이버 스마트스토어, 블로그도 크롤링 가능한가요?
안녕하세요~ 말씀주신 서비스들은 동적 웹사이트에 속해서 3번 유형을 활용하시면 하실 수 있습니다! ^^
@ 답변감사합니다. 월요일에 꼭 해봐야겠어요
앱피파이에서 Page function 동일하게 작성했는데 그냥 오류나는데요..?
음, 메이크 말고 Apify 에서의 오류 말씀하시는거죠? 동일사이트에 동일 코드 쓰셨는데 에러가 나셨을까요? 어떤 오류가 뜨셨나요~?
구독 꾹! 그런데 유료회원 가입하거나 하는 사이트도 로그인해서 들어가서ㅜ크롤링하면 회원 유지기간동안은 괜찮아요??
지금 보여드린 방식은 기본기에 가까워서요! 로그인 없이 공개된 정보만 가져올 수 있습니다. 만약 로그인을 해야 보이는 정보라면, 여기에 추가로 로그인된 상태로 인식할 수 있게 조치를 취해줘야하는데요. 다만, 로그인 필요한 정보는 private information이라 볼수있어 크롤링에 대한 이슈의 소지가 있을 수 있습니다 :(
@citizendev9c 아.네~ 가능은 한 거군요?
예를 들면 홈택스나 통신회사에서 오는 청구서 같은 개인 문서를 이메일로 받으면, 링크를 클릭해서 내용을 보는데요. 혹시, 이런 이메일 안에 있는 링크들도 자동으로 들어가서 크롤링 가능한가요?
감사합니다.
쉬운데는 될지ㅜ모르지만.. 정작 중요한데는 안되요
예를들면 어떤거 말씀하시는 걸까요~?
혹시 gpt에서 생성한 자료를 엑셀에 넣고 그 자료를 브루에 자동으로 넣을 수 있을까요?
브루는 영상 작업하는 것 말씀하시는거죠? excel데이터가 브루에 필요하신가요~?
제가 알기로는 브루는 API 제공이나 integration이 딱히 없는 것으로 알고있어서요. gpt-> excel은 하실수있는데, 브루는 수동작업이 좀 필요할 것 같습니다.
@citizendev9c 네. 감사합니다