저는 절망편에서 LLM, 특히 chatGPT의 Advanced Data Analysis 를 언급하실 줄 알았습니다 ㅋㅋ 가장 힘들고 노력이 많이 필요한, 데이터 전처리 또는 시각화 과정 등 많은 귀찮은 것들을 아주 쉽게 해결해주기 때문에 지금은 석사급 이상만 되도 API로 많이들 사용하시는 걸로 압니다. 저도 연구 목적이 아니라 아이디어만 있는 일반인인데도 재미있게 많이 사용하고 있고요 :D
이게 절망이죠. MIT 나 스탠포드 가면 이쪽 공부하는 애들이 얼마나 많은데, 앞으로 이쪽 계열에서 필요한 사람들은 수학 천재 + 통계학 천재 + 데이타 셋업 + 컴퓨터 + 코딩/인문학 기본.. 코딩/통계/컴퓨터 지식만 가지고는 5-10년 안에 할일 없어질 가능성이 높음
솔직히 스타트업에서도 클렌징 하거나 콜렉터하면 사람 없는데 분석은 많음... 그리고 막상 시키면 생각보다 유의미한 결과를 못뽑음.. 나도 뭐 분석하고 싶어서 왔지만 클렌징이나 콜렉터하면서 보다 효율적이고 좋은 방법등 찾아볼 수 있어서 좋았음 작은거부터 시작해서 몸값 키우는게 정석이라고 봄
중간에 데이터 분석에 들어가는 돈 얘기를 하는 와중에 하야오 감독님이 마치 넷플릭스에서 제시한 너무 큰 돈이 욕심나서 판권을 넘긴 것처럼 묘사되어 있는데 작년에 개봉한 영화 제작에 예상보다 훨씬 많은 시간과 인력이 들어가는 바람에 너무 많은 비용이 들어서 그 제작비를 충당하기 위해서 어쩔 수 없이 넷플릭스에 판권을 팔았다고 하네요. 그냥 그렇다구요..
데이터 전처리만 의뢰하고 처리하는 플랫폼이 혹시 있나요?? 데이터 사이언티스트들이 전처리하는데 너무 많은 시간과 에너지를 쓰는건 기업입장에서도 인력낭비일거 같은데... 거꾸로 데이터 분석쪽을 희망하는 분들은 데이터 전처리를 부업으로 시작해서 기술을 확장해 나갈 수도 있을 것 같고...
@@polarfox_y 오 감사합니다. 저는 뭐랄까 예를 들자면 데이터 라벨링을 SETI프로젝트처럼 하나의 고객 기업과 다수의 개인 프리랜서간의 매칭 플랫폼이나 데이터계의 당근마켓처럼 이미 어떠한 데이터를 수집한 기관 혹은 업체가 제3자에게 판매하는 그런 서비스를 염두에 두고 말씀드린건데 셀렉트스타는 약간 후자와 가까운 기업이네요!
@@woojinlee5144 ㅋㅋㅋ 상업용 코드 업로드를 못할 뿐더러 올린다고 해도 수십만 라인 되는걸 업로드 할 수 있는지도 모르겠고 현존하는 정적분석기 동적분석기 수준의 반의 반도 못따라 갈거 같습니다. 최근 발표한 copilot pc+가 보안 문제를 해결해도 결국엔 성능이 안되요 지금 보여주는건 내부에 RAG pipe line구성해서 다른 특화된 agent로 넘겨주는건데 결국엔 그럴게 해도 분석기를 돌리는 툴로 넘겨주겠죠 ㅋㅋ
과연 무슨일을 하는것일까? : ua-cam.com/video/cVi5bLAgTqk/v-deo.html (1부)
데이터과학자의 좌절편 : ua-cam.com/video/KVKgbIq9Wus/v-deo.html (2부 - 본편)
12:49데이터 분석 업무를 하고 있는데 저건 현실입니다. ㅋㅋㅋㅋ
매일 회사 출근해서 데이터 분석 보다는 데이터 정리하고 오류 있는 데이터 검토하고 있네요
아무리 찾고 찾고 또 찾아도 또 어딘가에선 이상한 값이 튀어나오는게 일상인것같아요😢
마치 화학분석할 때 실제로 기기분석하는 시간보다는 sample preparation하는 시간이 훨씬 큰 거랑 비슷한 느낌이려나요 ㅋㅋ
엣지케이스랑 에러가 너무 많아요 😂
그치... 컴퓨터가 뭘 먹을지 얼마나 먹을지 어느정도 크기로 먹을만하게 잘라줘야 되는지 다 정해야 되니까 ㅋㅋㅋㅋㅋ
AI: 어? 밥씹는데 돌이 있어? 밥상엎을게
사람: 아니... 그게 왜 거기...
AI: 그런건 난 잘 모르겠고 와장창
서비스 나갈때는 말도 안하고 와장창😅 어젯밤도 AI님이 뭐가 맘에안드셔서 엎으셨는지 파악하느라 새벽1시 퇴근했네요😂
찰떡 비유^^
저는 절망편에서 LLM, 특히 chatGPT의 Advanced Data Analysis 를 언급하실 줄 알았습니다 ㅋㅋ
가장 힘들고 노력이 많이 필요한, 데이터 전처리 또는 시각화 과정 등 많은 귀찮은 것들을 아주 쉽게 해결해주기 때문에
지금은 석사급 이상만 되도 API로 많이들 사용하시는 걸로 압니다. 저도 연구 목적이 아니라 아이디어만 있는 일반인인데도 재미있게 많이 사용하고 있고요 :D
이게 절망이죠. MIT 나 스탠포드 가면 이쪽 공부하는 애들이 얼마나 많은데, 앞으로 이쪽 계열에서 필요한 사람들은 수학 천재 + 통계학 천재 + 데이타 셋업 + 컴퓨터 + 코딩/인문학 기본.. 코딩/통계/컴퓨터 지식만 가지고는 5-10년 안에 할일 없어질 가능성이 높음
@@woojinlee5144 동감합니다. 끌로드 같은 LLM이 데이타사이언스 마저 잠식해버릴수 있다는걸 이런데 나와서 떠들어버린다면 ... 그거야 말로 절망이죠. 물론 머지않아 그게 현실화 되겠지만 말이죠.
데이터 전처리, 시각화가 아직은 llm 으로 해결 다 안돼요 ㅠㅠ
좌절편 아니고 현실편입니당!
뭣
현업인데... 데이터만 매일 보고 있어요.
제조 회사인데 데이터만 보다가 은퇴할 듯 ㅠㅠ
제조 데이터는 돈이 핵심인데 돈 안쓰고,
문제를 해결하라고하니
답이 없어요.
데이터 클랜징 매우매우 중요함, 건물 만드는데 기초공사 안하고 건물 올리면 무조건 사고가 나는 것처럼, 데이터의 전처리가 정말 중요함.
솔직히 스타트업에서도 클렌징 하거나 콜렉터하면 사람 없는데 분석은 많음... 그리고 막상 시키면 생각보다 유의미한 결과를 못뽑음..
나도 뭐 분석하고 싶어서 왔지만 클렌징이나 콜렉터하면서 보다 효율적이고 좋은 방법등 찾아볼 수 있어서 좋았음
작은거부터 시작해서 몸값 키우는게 정석이라고 봄
걍 github 에서 활동만 해도 최근 이쪽 천재들이 하는거 보일듯. 한국 자료는 솔찍히 몇년 늦는거 같아요.
매우 동의합니다. 저는 파견직 라벨링부터 시작해서 지금은 해외 프로젝트 데이터랑 서비스 운영 총괄하게 되었네요. 작은것부터 탁월하게!
중간에 데이터 분석에 들어가는 돈 얘기를 하는 와중에 하야오 감독님이 마치 넷플릭스에서 제시한 너무 큰 돈이 욕심나서 판권을 넘긴 것처럼 묘사되어 있는데 작년에 개봉한 영화 제작에 예상보다 훨씬 많은 시간과 인력이 들어가는 바람에 너무 많은 비용이 들어서 그 제작비를 충당하기 위해서 어쩔 수 없이 넷플릭스에 판권을 팔았다고 하네요. 그냥 그렇다구요..
궁금한건 데이터 클린징 하는 과정에서 본인의 목적에 맞게 데이터 값을 편향되게 만드는 조작의 여지도 발생할 수 있는 거 아닌가요?
그쵸.. 그래서 분석가는 분석과정을 최대한 투명하게 오픈해야하고, 본인 스스로가 높은 윤리의식으로 스스로를 감시해야합니다.. 학계에서 가끔 터지는 연구부정 같은거니까요
그래서 더 높은 수준의 연구는 클렌징에 사람 손타는 부분은 3명이상 둬서 합니다.
삼각측량은 기지국이랑 2개만 연결되어있으면 가능한거 아닌가?
내가 봤을 때 데싸들의 문제는 그들의 저질스러운 코딩능력임. 코딩능력부터 쌓아야할 데싸러들이 너무 많음.
ㅇㅈ..
데이터사이언티스트는 코딩을 하는게아니라 모델링을통해서 통계학적으로 다음값을 예측하는것입니다. 개발자와는 큰차이가 있습니다
전처리를 코딩으로 해야되는데 님은 먼소리 하고있는거;@@ricebarbie
@@전지홍-d5p 시키는일만해봤으니 뭘알겠니
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 현 데이터 분석 업무 하고 있어요 ~ 쉽게 말해 데이터 준비하는 과정이 거의 70% 이상이지 않을까 분석은 요즘 전부 프로그램 자동화로 5%~ 10% 정도 나머지 20%는 보고서 쓰는데 ㅠㅠ
AI가 발전함에 따라..효율성과 최대 퍼포먼스 모두 AI가 경쟁우위를 가져가서
데이터 긁어모으는 잡일도 일꾼 AI가 하고 파인튜닝, 분석, 결론도 다른 슈퍼바이져 AI가 하고 AI들끼리 다 하는 방향으로 갈거 같은데...
재밌당...ㅠ
미국에서는 저걸 (캡챠) 고소를 하면 배상을 받을 수 있지 않을까?
짤 선정이 재밌네 ㅋㅋㅋㅋ
성공이네
👏👏👏👏👏🙏🙏👍👍
★
데이터 전처리만 의뢰하고 처리하는 플랫폼이 혹시 있나요?? 데이터 사이언티스트들이 전처리하는데 너무 많은 시간과 에너지를 쓰는건 기업입장에서도 인력낭비일거 같은데... 거꾸로 데이터 분석쪽을 희망하는 분들은 데이터 전처리를 부업으로 시작해서 기술을 확장해 나갈 수도 있을 것 같고...
셀렉트스타
@@polarfox_y 오 감사합니다. 저는 뭐랄까 예를 들자면 데이터 라벨링을 SETI프로젝트처럼 하나의 고객 기업과 다수의 개인 프리랜서간의 매칭 플랫폼이나 데이터계의 당근마켓처럼 이미 어떠한 데이터를 수집한 기관 혹은 업체가 제3자에게 판매하는 그런 서비스를 염두에 두고 말씀드린건데 셀렉트스타는 약간 후자와 가까운 기업이네요!
@@minsupwon8302그런 플랫폼이 존재하나요? 정보 보안 문제는 어떻게 할까요?
@@차장-l1z 말씀 듣고보니 보안 유지 측면에서 제약사항이 많겠네요... 새로운 시장을 캐치한다는게 쉽지 않군요 🥲
클라우드웍스 ? 가 예전부터 라벨링 부업으로 인기있을때 부터 했을거에요
디버깅
Co pilot 은 디버깅 이상을 벌써 보여줌.
@@woojinlee5144 ㅋㅋㅋ 상업용 코드 업로드를 못할 뿐더러
올린다고 해도 수십만 라인 되는걸 업로드 할 수 있는지도 모르겠고
현존하는 정적분석기 동적분석기 수준의 반의 반도 못따라 갈거 같습니다.
최근 발표한 copilot pc+가 보안 문제를 해결해도 결국엔 성능이 안되요
지금 보여주는건 내부에 RAG pipe line구성해서 다른 특화된 agent로 넘겨주는건데
결국엔 그럴게 해도 분석기를 돌리는 툴로 넘겨주겠죠 ㅋㅋ
대한민국 싸이언스 1호 박사님 장재언이 부정선거 데이터분석 했다고하던데요?
인천이 제주도와 붙어있는건 이해가 좀,, 안됩니더, 제주 비행은 김포에서,, 인천에서 제주가는 건 거의 없는 편인데,,, 왜 붙어있는건지 잘 모르겠어요,, 같은 섬이라서 그런건가,, 아! 태클은 전혀아닙니다~ 데이터분석을 취미삼아해보려고 공부중입니다 ㅎㅎ
어 정말 그렇네요? 분석적 사고를 아주 잘 활용하셨군요
다른 사람 댓글 없네
가장 먼저 사라질 직종중 하나
데싸는 AI의 근간인데 이게 어떻게 사라짐?? 진짜 무식하다.