현업 백엔드 개발자입니다. 우선, 대단하다는 생각을 하고 있어요. 아마 제대로 개발을 배우시더라도 객체로 나누어 개발을 해야하기에 make 를 활용하시는 것만 봐도 잘하실 분이라는 생각이 듭니다. 우선, 제가 자주 사용하는 도구도 같이 추천하고 싶어서요 크롤링을 수월하게 하는 도구 중에서 퍼펫티어라는 녀석이 있습니다. 구글에서 만든걸로 알고있어요. 가상의 브라우저를 띄워 실제인 것 처럼 로그인하고 클릭하는 기술입니다. 그렇기 때문에 크롤링 제한은 거의 모두 뚫을 수 있다는 장점을 가지고 있어요. make 에서 사용이 가능할런지는 모르겠어요. 로컬이나 제가 서버를 띄워서는 많이 사용해봤던 녀석입니다.
댓글과 도구 추천 정말 감사합니다. 퍼펫티어 꼭 저장해놓고 사용해보겠습니다! 개발은 너무 먼 이야기처럼 느껴졌는데 요즘은 살짝이라도 걸칠 수 있게 되어서 새로운 세계를 엿보는 중이에요. 그래서인지 개발자 분들이 더욱 대단해보이는 요즘입니다. 😀 알려주신 정보 잘 적용해서 개발 공부 신나게 해볼게요. 감사해요!
네이버 pc 버전의 블로그는 텍스트를 막아 둔것은 아니고, 페이지 속의 페이지인 아이프레임 안에 있습니다. pc 버전 블로그 글을 가져올려면 페이지 접속후에 아이프레임을 찾아서 그 아이프레임 주소로 들어가면 글 테스트 들이 있습니다. 그 주소를 찾아서 그 주소를 다시 파싱 하시면 되실것 같습니다.
안녕하세요. 시현님 도움 많이 받고 있습니다. 그리고 잘 따라가고있습니다 ^^ 보니, replit 유료로 쓰시는것같네요! 무료는... 기본 starter는 public 설정으로 가게됩니다. 무료 제한 - 3 Free Repls, Public only - 1 collaborator - Static deployments only ----- 이것은 무엇인지 (!?) 유료는 120달러/연간
단순히 답하기 어려울 것 같아서 제가 아는 한도 내에서, 지극히 개인적인 생각을 공유드려볼게요. 처음 크롤링이라는 개념을 접했을 때가 2019년도 즈음이었어요. 그 당시 서버측에 무리가 갈 수 있지 않을까, 스크래핑 자체가 비윤리적이지 않을까 하는 고민을 한참 했더랍니다. 지금도 답을 찾아가는 중이지만 제가 힌트를 얻은 부분은 정보 제공자 측면에서 API를 엶으로서 이익을 얻는 부분이 충분히 크다는 것입니다. 수많은 빅테크 기업에서는 약간의 장벽을 두고 있지만 개인에게 API를 열어두고 있어요. UA-cam가 좋은 예시일 것 같은데요. UA-cam Data API Key를 얻으면 유튜브 채널의 조회수, 댓글의 반응 등 상당히 많은 정보를 개인 차원에서도 얻을 수 있습니다. 인스타그램도 비슷하죠. 이러한 정보 공개를 통해 수백 수천개의 기업들이 탄생하기도 했고 더 많은 사람들이 플랫폼을 활용하게 되었습니다. (윈윈 구조가 만들어지는 거죠) 그래서 문제가 될 만한 소지가 전혀 없지는 않지만, 그럼에도 얻을 수 있는 여러 편익이 있다고 생각하고요. 제공자 측면에서도 완벽하게는 아니지만 크롤링을 제한하는 조치를 할 수는 있습니다. 네이버 블로그가 그렇게 하고 있죠. 그리고 더 엄격하게 막는 방법도 분명 있고요. 또한 빅테크 기업이 처리하는 트래픽을 생각해보면 개인 수준에서 과다 트래픽을 발생시키긴 어렵고 서로에게 이익이 되는 지점을 잘 알고 이용하고 있다고 봅니다. 답변이 되었으면 좋겠습니다. 생각할 거리를 던져주셔서 감사합니다 :)
@@sihyun_adventure 안녕하세요. 저 역시도 이러한 크롤링이 가져다 주는 효과가 개인에게 엄청날 수 있다는 것을 잘 알고 있습니다. 또한 저 역시도 궁금한 사항이라 여쭤보게 되었습니다. 개인에게 api를 열어 둔 경우는 문제가 되기 어렵겠지만, 크롤링을 막고있는 상황이라면 다른 경우가 아닐까 생각합니다. 정확한 것은, 네이버 개발자 포럼에, 네이버 블로그 글을 크롤링 해도 되는지 물어보는 것이 가장 좋을 것 같습니다. '개인 수준에서 과다 트래픽을 발생시키긴 어렵고' : 개인이 여럿이 되거나, 기업이 아닌 개인이더라도 과다 트레픽을 발생시킬 수 있다고 생각하고 있습니다. '서로에게 이익이 되는 지점을 잘 알고 이용하고 있다고 봅니다.' : 네이버 입장에서도 그렇게 생각하는지 알아볼 필요가 있다고 생각합니다. 예전에는 음원을 불법 다운로드 했습니다. 음원을 불법으로 다운로드해서 듣는 사람들의 논리는 '불법 다운이 가능해야 사람들이 듣는다. 돈 내면 누가 듣나'였습니다. 지금도 영화/드라마 불법 스트리밍 사이트를 이용하는 사람들의 논리는 비슷합니다. '신규 영상 업로드가 빠르다, 자막을 빨리 업로드해준다, 문의에 빠르게 답변해준다.' 저역시도 어쩌다 몇 번 크롤링을 통해 필요한 내용을 정리하는 것은 큰 문제가 되지 않을 것 같습니다. 그러나 많은 사람들이 생각보다 많은 트레픽을 발생시키기 시작한다면 얘기가 달라질 것 같습니다. (특히 망 사용료 관련) 따라서 네이버측에서 막고 있는 사항이라면, 이에 대한 권한을 얻고 수집하는 것이 맞다고 생각합니다. 크롤링을 무작정 하면 안된다고 말씀드리는 것이 아니라, 네이버 서버에 트레픽을 발생시키는 행위, 네이버 측에서 구축된 데이터를 긁어오는 행위에 대해서 사전에 물어보는 과정 정도는 필요하지 않나 생각해 봤습니다. 업무 효율화와 관련된 좋은 영상은 잘 보고 있습니다. 감사합니다.
@@sihyun_adventure지나가다.. 크롤링과 제공되는 제공자가 제공하는 공식적인 api는 상당히 다르긴 하죠..ㅎㅎ 나는 개인이니 (혹은 내가 만든 크롤링을 이용한 서비스) 크롤링해봤자 트래픽도 얼마안될거니 괜찮지 라는 접근방식은 좀 많이 위험하다고 생각해요 ㅎㅎ
의견 감사해요 :) 덕분에 이 주제에 대해서 더 깊이 생각할 수 있게 되었습니다. 아직 배움이 부족해 답을 구하려면 꽤 많은 시간이 필요할 것 같지만 던져주신 의견에 공감하고 반성하면서 제 개인의 영향력이나, 기술의 혜택에 대해서도 꾸준히 고민해보는 계기가 되었어요. 감사합니다 👍 오늘도 좋은 날 되시기 바랍니다😁 @UserEAAS
![[무료] 인공지능 AI 서비스 6종 총 정리 | 챗GPT 퍼플렉시티 미드저니 대체!](http://i.ytimg.com/vi/8gFksrugSi0/mqdefault.jpg)
![[풀버전] 진짜로 진짜 같은 AI 아바타 만드는 방법 (Heygen + Elevenlabs)](/img/n.gif)
현업 백엔드 개발자입니다.
우선, 대단하다는 생각을 하고 있어요.
아마 제대로 개발을 배우시더라도
객체로 나누어 개발을 해야하기에 make 를 활용하시는 것만 봐도
잘하실 분이라는 생각이 듭니다.
우선, 제가 자주 사용하는 도구도 같이 추천하고 싶어서요
크롤링을 수월하게 하는 도구 중에서
퍼펫티어라는 녀석이 있습니다.
구글에서 만든걸로 알고있어요.
가상의 브라우저를 띄워 실제인 것 처럼 로그인하고 클릭하는 기술입니다.
그렇기 때문에 크롤링 제한은 거의 모두 뚫을 수 있다는 장점을 가지고 있어요.
make 에서 사용이 가능할런지는 모르겠어요.
로컬이나 제가 서버를 띄워서는 많이 사용해봤던 녀석입니다.
댓글과 도구 추천 정말 감사합니다. 퍼펫티어 꼭 저장해놓고 사용해보겠습니다!
개발은 너무 먼 이야기처럼 느껴졌는데 요즘은 살짝이라도 걸칠 수 있게 되어서 새로운 세계를 엿보는 중이에요. 그래서인지 개발자 분들이 더욱 대단해보이는 요즘입니다. 😀
알려주신 정보 잘 적용해서 개발 공부 신나게 해볼게요. 감사해요!
맨날 보면서 대리만족하는 ai 개발자 1인
잘 보아주셔서 감사합니다! 더욱 대리만족 하실 수 있게 이것저것 만들어볼게요 ㅎㅎ
네이버 pc 버전의 블로그는 텍스트를 막아 둔것은 아니고, 페이지 속의 페이지인 아이프레임 안에 있습니다.
pc 버전 블로그 글을 가져올려면 페이지 접속후에 아이프레임을 찾아서 그 아이프레임 주소로 들어가면 글 테스트 들이 있습니다.
그 주소를 찾아서 그 주소를 다시 파싱 하시면 되실것 같습니다.
와우 정말 유익한 정보네요! 아이프레임 찾아서 꼭 시도해보겠습니다. 감사해요 ☺️ :)
오늘도 너무 좋은데요? :) 👍🏻
좋게 봐주셔서 감사합니다. 계속 물어보고 답변하는 과정만 잘 반복하면 꽤 괜찮은 서비스를 만들 수도 있을 것 같아요. 😆
@@sihyun_adventure
시현님 메이크 컨텐츠 너무 잘보고 있습니다. 좋댓공 갑니다요!
감사합니다🙌 더 신나게 만들어 볼게요 :)
안녕하세요 시현님, 늘 좋은영상 감사합니다. 영상편집도 배우신건가요? 화면확대나 이동이 굉장히 자연스러워서요 혹시 촬영하는 툴이 따로 있는걸까요??
Screen Studio 라는 툴을 사용하고 있어요. 이걸로 녹화를 하고 프리미어 프로로 편집을 합니다!
와우... 대단하시네요.. 잘 따라 해 볼께요
잘 봐주셔서 감사합니다! 사실 클로드에 물어보고 붙여넣기만 반복하는 거라ㅎㅎ 꼭 해보시면 저 정도는 하실 수 있을 거예요. 더 연습해보고 더 나은 경로를 찾아 공유드리겠습니다 :)
안녕하세요. 시현님 도움 많이 받고 있습니다. 그리고 잘 따라가고있습니다 ^^
보니, replit 유료로 쓰시는것같네요! 무료는... 기본 starter는 public 설정으로 가게됩니다.
무료 제한
- 3 Free Repls, Public only
- 1 collaborator
- Static deployments only ----- 이것은 무엇인지 (!?)
유료는 120달러/연간
제가 이해를 잘 못했습니다. 어떤 점이 궁금하실까요? 저는 유료 플랜을 사용하고 있습니다 :)
perplexity 전까지 집중해서 보고 그 뒤는 이제 응용이다 느낌으로 봤습니다 ㅎㅎ
클로드에서 내용 넣어서 크롤링해달라고 하니 title이랑 내용, 이미지까지다 갖고 올수 있네요. 네이버블로그 써놓은것을 인스타에서 나오게 세팅해야겠습니다 ㅎㅎ..
@@sihyun_adventure 위에건 제 기록용이었습니다. 잘 따라했습니다. 감사합니당~
벌써 을 적용하셨군요 :) 좋은 인사이트를 공유해주셔서 감사합니다. 네이버 블로그와 인스타그램을 연동하면 훨씬 강력해질 것 같아요 ㅎㅎ 파이팅입니다!
REPLIT 유료와 무료의 차이는 뭐죠?
웹에 지속적인 배포 및 각종 AI 코파일럿 기능 등이 포함되어 있습니다. 기능이 너무 다양해서 공식 홈페이지에 가서 보시는 걸 추천드립니다 :)
@@sihyun_adventure 감사합니다.
가입 질문 메일드렸는데 반송이 되었네요
주소좀 부탁드려요 ^^
메일 주소는 sihyun@kimsihyun.com 입니다 :)
그리고 aicreatorlab.com/membership 에서 대략적인 안내 보실 수 있어요. 편하게 문의주세요!
네이버 입장에서 과다트레픽 발생으로 어뷰징으로 판단할 수 있는데 이러한 문제는 어떻게 생각하시나요?
단순히 답하기 어려울 것 같아서 제가 아는 한도 내에서, 지극히 개인적인 생각을 공유드려볼게요.
처음 크롤링이라는 개념을 접했을 때가 2019년도 즈음이었어요. 그 당시 서버측에 무리가 갈 수 있지 않을까, 스크래핑 자체가 비윤리적이지 않을까 하는 고민을 한참 했더랍니다.
지금도 답을 찾아가는 중이지만 제가 힌트를 얻은 부분은 정보 제공자 측면에서 API를 엶으로서 이익을 얻는 부분이 충분히 크다는 것입니다.
수많은 빅테크 기업에서는 약간의 장벽을 두고 있지만 개인에게 API를 열어두고 있어요. UA-cam가 좋은 예시일 것 같은데요. UA-cam Data API Key를 얻으면 유튜브 채널의 조회수, 댓글의 반응 등 상당히 많은 정보를 개인 차원에서도 얻을 수 있습니다. 인스타그램도 비슷하죠. 이러한 정보 공개를 통해 수백 수천개의 기업들이 탄생하기도 했고 더 많은 사람들이 플랫폼을 활용하게 되었습니다. (윈윈 구조가 만들어지는 거죠)
그래서 문제가 될 만한 소지가 전혀 없지는 않지만, 그럼에도 얻을 수 있는 여러 편익이 있다고 생각하고요. 제공자 측면에서도 완벽하게는 아니지만 크롤링을 제한하는 조치를 할 수는 있습니다. 네이버 블로그가 그렇게 하고 있죠. 그리고 더 엄격하게 막는 방법도 분명 있고요.
또한 빅테크 기업이 처리하는 트래픽을 생각해보면 개인 수준에서 과다 트래픽을 발생시키긴 어렵고 서로에게 이익이 되는 지점을 잘 알고 이용하고 있다고 봅니다.
답변이 되었으면 좋겠습니다. 생각할 거리를 던져주셔서 감사합니다 :)
@@sihyun_adventure 안녕하세요. 저 역시도 이러한 크롤링이 가져다 주는 효과가 개인에게 엄청날 수 있다는 것을 잘 알고 있습니다. 또한 저 역시도 궁금한 사항이라 여쭤보게 되었습니다.
개인에게 api를 열어 둔 경우는 문제가 되기 어렵겠지만, 크롤링을 막고있는 상황이라면 다른 경우가 아닐까 생각합니다.
정확한 것은, 네이버 개발자 포럼에, 네이버 블로그 글을 크롤링 해도 되는지 물어보는 것이 가장 좋을 것 같습니다.
'개인 수준에서 과다 트래픽을 발생시키긴 어렵고' : 개인이 여럿이 되거나, 기업이 아닌 개인이더라도 과다 트레픽을 발생시킬 수 있다고 생각하고 있습니다.
'서로에게 이익이 되는 지점을 잘 알고 이용하고 있다고 봅니다.' : 네이버 입장에서도 그렇게 생각하는지 알아볼 필요가 있다고 생각합니다.
예전에는 음원을 불법 다운로드 했습니다. 음원을 불법으로 다운로드해서 듣는 사람들의 논리는 '불법 다운이 가능해야 사람들이 듣는다. 돈 내면 누가 듣나'였습니다.
지금도 영화/드라마 불법 스트리밍 사이트를 이용하는 사람들의 논리는 비슷합니다. '신규 영상 업로드가 빠르다, 자막을 빨리 업로드해준다, 문의에 빠르게 답변해준다.'
저역시도 어쩌다 몇 번 크롤링을 통해 필요한 내용을 정리하는 것은 큰 문제가 되지 않을 것 같습니다.
그러나 많은 사람들이 생각보다 많은 트레픽을 발생시키기 시작한다면 얘기가 달라질 것 같습니다. (특히 망 사용료 관련)
따라서 네이버측에서 막고 있는 사항이라면, 이에 대한 권한을 얻고 수집하는 것이 맞다고 생각합니다.
크롤링을 무작정 하면 안된다고 말씀드리는 것이 아니라, 네이버 서버에 트레픽을 발생시키는 행위, 네이버 측에서 구축된 데이터를 긁어오는 행위에 대해서 사전에 물어보는 과정 정도는 필요하지 않나 생각해 봤습니다.
업무 효율화와 관련된 좋은 영상은 잘 보고 있습니다.
감사합니다.
@@sihyun_adventure지나가다.. 크롤링과 제공되는 제공자가 제공하는 공식적인 api는 상당히 다르긴 하죠..ㅎㅎ
나는 개인이니 (혹은 내가 만든 크롤링을 이용한 서비스) 크롤링해봤자 트래픽도 얼마안될거니 괜찮지
라는 접근방식은 좀 많이 위험하다고 생각해요 ㅎㅎ
사려깊은 댓글과 생각 공유 감사합니다. 써주신 글에 깊이 공감하면서도 행동을 그리 하긴 쉽지 않았던 것 같아요. 앞으로 이 점을 더욱 유의하면서 기술을 배우고 이를 어떻게 사용할 수 있는지 고민하도록 하겠습니다 :) 영상 잘 봐주셔서 감사합니다 🥹
의견 감사해요 :) 덕분에 이 주제에 대해서 더 깊이 생각할 수 있게 되었습니다.
아직 배움이 부족해 답을 구하려면 꽤 많은 시간이 필요할 것 같지만 던져주신 의견에 공감하고 반성하면서 제 개인의 영향력이나, 기술의 혜택에 대해서도 꾸준히 고민해보는 계기가 되었어요. 감사합니다 👍
오늘도 좋은 날 되시기 바랍니다😁
@UserEAAS