테디노트님, 혹시 사이즈가 큰 csv과 llm과 연결해서 소통을하려고합니다. 랭체인 및 판다스AI를 통해서 결과는 좋게 나오는데, maximun token 이슈가 발생되네요. chunk > 임베딩 방식도 활용해보았는데, 결과 유실이 생기네요. 혹시 팁을 주시면 감사드리겠습니다. 국내외 영상을 다 찾아보고 있는데, 실제 큰 사이즈 데이터로 예제를 보여주시는 분들은 안계시네요. ㅠ
@@김대현-v2b dataframe agent 를 생성한 다음에요. CSV 파일이 크니 직접 내용을 가져오는 것은 max token 과 비용에 한계가 있어요. 따라서, dataframe agent 가 pandas query 를 짜서 실행하게끔 만들고요. dataframe 에 쿼리를 날려서 정보 조회를 하게끔 만드는 것이 베스트 인데요. 작성하면서 유추하기론 이미 이 단계까지는 하신 것 같고요. 이 결과 해석을 위해서 LLM 에 넣으시는 거라면 조회된 결과(query로 조회된 행)가 양이 많다면, 이를 통째로 LLM 에 넣게되면 쩔 수 없이 Max token 에 걸릴 수 밖에 없어요.그럴때는 조회된 행이 작게 가져오도록 잘게 쪼개서 여러 llm 으로 부분 답변을 받아 다시 종합하는 (map-reduce 방식) 방식을 고려해 볼 수 있을 것 같습니다! 데이터나 코드를 보고 말씀드리는 건 아니라서 정확한 피드백이 아닐 수 있어요!
존경하는 테디님 아래 질문 영상이나 답변 점 부탁드리면 안될까요? RunPod -> Pod 에서 A100 을 올려, 허깅페이스에 있는 EEVE-Korean-10.8B-v1.0 모델을 Pod 에서 다운받아 Python 으로 해당 EEVE 모델을 올리고, RestfulAPI 로 원격에서 테스트 해보는 방법이 없을까요 ? 그리고, Pod 에서 LLM 성능만 놓고 봤을 때 EEVE 모델을 아래의 원형 그대로 올리는게 좋은지, GGUF 를 받아서 ollama 로 올리는게 좋은지에 대해서도 궁금합니다. ^^ config.json model-00001-of-00005.safetensors model-00002-of-00005.safetensors model-00003-of-00005.safetensors model-00004-of-00005.safetensors model-00005-of-00005.safetensors model.safetensors.index.json special_tokens_map.json tokenizer.json tokenizer_config.json
안녕하세요~^^ restful 로 구축하시려면 fastapi 를 별도 띄우셔야 하는데요. 제가 추천 드리는 방식은 langserve 튜토리얼 처럼 remote runnable 로 띄우는 것입니다. 결국 안에는 비슷한 restful 방식이지만 langchain 의 러너블로 래핑한 라이브러리 입니다. client 도 랭체인으로 구축하시려면 remote runnable 이 더 깔끔할 수 있습니다^^ gguf 는 양자화 모델이라 pc에서도 구동이 되는 수준이고요. 따라서 A100보다 3090으로도 돌아갈 것 같아요. 물론 fp16 생각하시면 터질 수 있습니다~ 원형 그대로 돌리면 아무래도 양자화로 인한 성능저하에서 좀 더 자유로우실 수 있습니다. huggingface 로 직접 로드하실 수 있어요~!
테디님 윈도우 내에서 설치 중 오류가 발생해서 그런데 아래의 오류 관련 질문을 보시고 해결해주실 수 있으실까요? poetry shell을 입력하였을 때 긴 오류 문구가 뜨지만 그 중 가장 핵심적으로 보이는 부분만 보내드립니다 No global/local python version has been set yet. Please set the global/local version by typing: pyenv global 3.7.4 pyenv local 3.7.4 이런식으로 오류가 발생해서 더이상 진행을 못하는 상황인데 해결 가능하실까요?? 참고로 테디님 영상에서는 관리자 모드 실행 시와는 다르게 저는 C:\Windows\System32로 들어가지는 것이 오류의 발단이 아닌가 싶습니다. 오류 발생 이전 내용까지는 해당 경로의 하위 디렉토리로 생성해서 C:\Windows\System32\Documents\langchain-kr이런 형식으로 어찌저찌 따라가긴 했습니다 감사합니다!
안녕하세요? 강의 수강 감사합니다🙏PDF 는 수강하시는 분들 전원에게 제공해 드릴 예정인데요. 다만 9월까지는 꾸준히 교재를 업데이트 예정이고요. 강의 전체공개시점인 8월말즈음 교재를 PDF 로 발행하여 드릴 예정아에요! PDF 제본 하셔도 되지만 상업적인 목적으로 판매만 안하시면 됩니다^^ 혼자 보시는 용도로 프린트 하셔서 엮으셔도 됩니다! 감사합니다
테디 노트님 안녕하세요! 현재 자바 백엔드 분야 취업 준비중인 지망생입니다! 다름이 아니라 현재 채용우대 전형으로 서류는 통과되는데 현직자 친구한테 물어보니 LLM, RAG를 면접 때 많이 물어볼 수 있다고 하더라구요.. (딥러닝 쪽은 조금 공부해봤습니다) 시간이 많이 없어(1달정도) 현재 만드신 유튜브 RAG 커리큘럼 vs 패스트캠퍼스 강의 차이가 많이 있을까요? 아직 학생신분이라 비용에 대한 부담이 조금있어 댓글 남깁니다! 좋은 강의 만들어주셔서 감사합니다!
네 안녕하세요? 문의 글 남겨 주셔서 감사드립니다. 유튜브에 업로드 하는 콘텐츠와 패캠 콘텐츠는 겹치는 콘텐츠가 없습니다. 패캠 콘텐츠는 주로 밑바닥부터 기본기를 다지고 모듈 하나하나의 깊은 이해를 목표로 둔 강의에요. 이해가 선행이 되어야 유튜브 콘텐츠들이 100% 이해 할 수 있거든요~ 반면 유튜브 콘텐츠는 주로 활용 내용들이 많이 있어요. 기본 전제가 RAG 는 조금 다룰 줄 안다는 전제가 깔려 있으면 더욱 좋고요! 따라서 앞으로 RAG 에 쭉 공부하실 의향이 있다면 패캠 강의가 도움이 될 것이고요. 맛을 본다는 개념이라면 유튜브도 충분합니다^^ 다만 아무래도 강의 가격이 부담이 되실 수 있는데요. 제가 패캠 측에 요청해서 취업 준비생을 위한 할인쿠폰을 요청해 볼테니 teddylee777@gmail.com 으로 메일 하나만 보내주세요^^ 뽜이팅입니다🙌
와우 감사합니다. 너무 좋아요 ^^
저도 감사합니다
와!! 이런 무한 지식공유 감사해여, 수강신청했습니다!
ㅠㅠ 감사합니다🫡🫡
재미있고 쉽게 설명해주셔서 구독하고있습니다. ^^
따라서 잘 설치해봤습니다. 감사합니다.
감사합니다
오우... 좋은 자료 감사합니다!
감사합니다!!
정말 감사합니다~
감사합니당🙏
선 좋아요 후 시청
감사합니다👍👍
와 패키지 제작까지... 불편들을 없애는 진정한 개발자. 멋지네요~!
감사합니다🙏
좋은 강의 감사합니다
감사합니다!
감사합니다. poetry shell을 입력하면 가상환경이 생성되지 않고 "The command "shell" dose not exist."라고 뜨네요. 원인과 해결 방안을 알 수 있을까요?
아 네! 최근 poetry 환경이 바뀌면서 다음과 같이 해주시면 됩니다
pip3 install poetry
대신
pip3 install poetry==1.8.5
감사합니다~~:)
감사합니다🙏🙏
회사에 교육 듣겠다고 신청했어요~ ㅎㅎ
감사합니다 열심히 준비하겠습니다🙏
감사합니다 !! ㅠ
저도 감사해요
두번째 댓글도 못 침죠ㅋ 항상 감사하게 생각하고 있습니다!
항상 봐주셔서 감사합니다!
테디노트님, 혹시 사이즈가 큰 csv과 llm과 연결해서 소통을하려고합니다. 랭체인 및 판다스AI를 통해서 결과는 좋게 나오는데, maximun token 이슈가 발생되네요. chunk > 임베딩 방식도 활용해보았는데, 결과 유실이 생기네요. 혹시 팁을 주시면 감사드리겠습니다. 국내외 영상을 다 찾아보고 있는데, 실제 큰 사이즈 데이터로 예제를 보여주시는 분들은 안계시네요. ㅠ
@@김대현-v2b dataframe agent 를 생성한 다음에요. CSV 파일이 크니 직접 내용을 가져오는 것은 max token 과 비용에 한계가 있어요. 따라서, dataframe agent 가 pandas query 를 짜서 실행하게끔 만들고요. dataframe 에 쿼리를 날려서 정보 조회를 하게끔 만드는 것이 베스트 인데요. 작성하면서 유추하기론 이미 이 단계까지는 하신 것 같고요. 이 결과 해석을 위해서 LLM 에 넣으시는 거라면 조회된 결과(query로 조회된 행)가 양이 많다면, 이를 통째로 LLM 에 넣게되면 쩔 수 없이 Max token 에 걸릴 수 밖에 없어요.그럴때는 조회된 행이 작게 가져오도록 잘게 쪼개서 여러 llm 으로 부분 답변을 받아 다시 종합하는 (map-reduce 방식) 방식을 고려해 볼 수 있을 것 같습니다! 데이터나 코드를 보고 말씀드리는 건 아니라서 정확한 피드백이 아닐 수 있어요!
테디님, vscode에서 셀을 실행할 때, module 'ast' has no attribute 'type_param'. 라는 에러가 뜨면서 커널 시작이 안되는 오류가 발생하는데 혹시 해결방법을 여쭤볼 수 있을까요 ㅜㅜ
안녕하세요? 혹시 어떤 상황에서 해당 오류가 발생했을까요~?
우왂!!!! 감사합니다.
감사합니다🙏
감사합니다.
감사합니다🙏
존경하는 테디님 아래 질문 영상이나 답변 점 부탁드리면 안될까요?
RunPod -> Pod 에서 A100 을 올려,
허깅페이스에 있는 EEVE-Korean-10.8B-v1.0 모델을 Pod 에서 다운받아
Python 으로 해당 EEVE 모델을 올리고, RestfulAPI 로 원격에서 테스트 해보는 방법이 없을까요 ?
그리고, Pod 에서 LLM 성능만 놓고 봤을 때 EEVE 모델을 아래의 원형 그대로 올리는게 좋은지, GGUF 를 받아서 ollama 로 올리는게 좋은지에 대해서도 궁금합니다. ^^
config.json
model-00001-of-00005.safetensors
model-00002-of-00005.safetensors
model-00003-of-00005.safetensors
model-00004-of-00005.safetensors
model-00005-of-00005.safetensors
model.safetensors.index.json
special_tokens_map.json
tokenizer.json
tokenizer_config.json
안녕하세요~^^
restful 로 구축하시려면 fastapi 를 별도 띄우셔야 하는데요.
제가 추천 드리는 방식은 langserve 튜토리얼 처럼 remote runnable 로 띄우는 것입니다. 결국 안에는 비슷한 restful 방식이지만 langchain 의 러너블로 래핑한 라이브러리 입니다.
client 도 랭체인으로 구축하시려면 remote runnable 이 더 깔끔할 수 있습니다^^
gguf 는 양자화 모델이라 pc에서도 구동이 되는 수준이고요. 따라서 A100보다 3090으로도 돌아갈 것 같아요. 물론 fp16 생각하시면 터질 수 있습니다~
원형 그대로 돌리면 아무래도 양자화로 인한 성능저하에서 좀 더 자유로우실 수 있습니다. huggingface 로 직접 로드하실 수 있어요~!
저는왜 커널선택할때 아무리 껏다켜도 poetry Env 저게 안나올까요?ㅠㅠ
앗 정말요? 보통 한 번 껐다켜면 잡히는 편이긴 한데요 ㅠㅠ
테디님 윈도우 내에서 설치 중 오류가 발생해서 그런데 아래의 오류 관련 질문을 보시고 해결해주실 수 있으실까요?
poetry shell을 입력하였을 때 긴 오류 문구가 뜨지만 그 중 가장 핵심적으로 보이는 부분만 보내드립니다
No global/local python version has been set yet. Please set the global/local version by typing:
pyenv global 3.7.4
pyenv local 3.7.4
이런식으로 오류가 발생해서 더이상 진행을 못하는 상황인데 해결 가능하실까요??
참고로 테디님 영상에서는 관리자 모드 실행 시와는 다르게 저는 C:\Windows\System32로 들어가지는 것이 오류의 발단이 아닌가 싶습니다. 오류 발생 이전 내용까지는 해당 경로의 하위 디렉토리로 생성해서 C:\Windows\System32\Documents\langchain-kr이런 형식으로 어찌저찌 따라가긴 했습니다 감사합니다!
pyenv global 3.11 로 설정하여 파이썬 버전을 3.11로 설정해 주세요^^
테디님 혹시 나중에 npu 코딩 예시영상 한 번 올려주실 수 있을까요!
내 의견 감사합니다 기회가 되면 꼭 다루도록 하겠습니다^^
안녕하세요! 강의를 신청했는데, 7월 1일에강의를 시작한다면, 위키독스에 있는 내용을 그대로 사용하시나요? 또한, 강의에 이용하는 책을 종이책으로, 이용하고 싶은데 프린트해서 책으로 엮어도 될까요?
안녕하세요? 강의 수강 감사합니다🙏PDF 는 수강하시는 분들 전원에게 제공해 드릴 예정인데요. 다만 9월까지는 꾸준히 교재를 업데이트 예정이고요. 강의 전체공개시점인 8월말즈음 교재를 PDF 로 발행하여 드릴 예정아에요!
PDF 제본 하셔도 되지만 상업적인 목적으로 판매만 안하시면 됩니다^^ 혼자 보시는 용도로 프린트 하셔서 엮으셔도 됩니다! 감사합니다
리눅스(우분투)도 부탁드려요.
감사합니다
우분투 유저 이시군요 반갑습니다^^ 저도 서버는 우분투 입니다~ 우분투는 맥 영상을 보시면 좋을 것 같아요~ 안되는 부분 있으시면 알려주세요! 감사합니다🙏
테디 노트님 안녕하세요! 현재 자바 백엔드 분야 취업 준비중인 지망생입니다!
다름이 아니라 현재 채용우대 전형으로 서류는 통과되는데 현직자 친구한테 물어보니
LLM, RAG를 면접 때 많이 물어볼 수 있다고 하더라구요.. (딥러닝 쪽은 조금 공부해봤습니다)
시간이 많이 없어(1달정도) 현재 만드신 유튜브 RAG 커리큘럼 vs 패스트캠퍼스 강의
차이가 많이 있을까요? 아직 학생신분이라 비용에 대한 부담이 조금있어 댓글 남깁니다!
좋은 강의 만들어주셔서 감사합니다!
네 안녕하세요?
문의 글 남겨 주셔서 감사드립니다.
유튜브에 업로드 하는 콘텐츠와 패캠 콘텐츠는 겹치는 콘텐츠가 없습니다.
패캠 콘텐츠는 주로 밑바닥부터 기본기를 다지고 모듈 하나하나의 깊은 이해를 목표로 둔 강의에요.
이해가 선행이 되어야 유튜브 콘텐츠들이 100% 이해 할 수 있거든요~
반면 유튜브 콘텐츠는 주로 활용 내용들이 많이 있어요. 기본 전제가 RAG 는 조금 다룰 줄 안다는 전제가 깔려 있으면 더욱 좋고요!
따라서 앞으로 RAG 에 쭉 공부하실 의향이 있다면 패캠 강의가 도움이 될 것이고요. 맛을 본다는 개념이라면 유튜브도 충분합니다^^
다만 아무래도 강의 가격이 부담이 되실 수 있는데요. 제가 패캠 측에 요청해서 취업 준비생을 위한 할인쿠폰을 요청해 볼테니 teddylee777@gmail.com 으로 메일 하나만 보내주세요^^
뽜이팅입니다🙌
@@teddynote 빠르게 답변주셔서 진심으로 감사합니다! 메일 지금바로 보내겠습니다. 좋은 하루 되세요 :)
CREWAI 에 대해 다뤄주실수 있나요?
시키면 해야죠.. 농담이구요 ㅎㅎ 네 crewai 저도 궁금했습니다 다뤄볼께요^^
랭체인을 배워볼까 해서 환경설정을 봤는데.. poetry 빼고는 다 설치가 이미 되어있는 바람직하게 준비 되어있는 나의 맥
쏘우 러블리!!👍👍
혹시 병렬 추론도 가능한가요?
퍼랠럴 코드가 있어서 따라 해봤는데 막상 추론은 하나씩 하더라고요 ㅠ
혹시 어떤 코드를 보셨나요? 병렬 추론이라면 GPU 병렬로 묶어서 추론을 말씀하시는 거라면 가능합니다~
강의 오픈일만 기달랴요
서두르겠습니다 ㅜㅜ
테디님 맥미니를 원격 서버로 이용하고 계신거에요? 맥 → 맥 원격은 어떤 프로그램 사용하시는지 알 수 있을까요?
아마존에 mac mini EC2 인스턴스로 띄우고요! VNC 프로그램을 실행하여 원격 접속 하였습니다~
감사합니다. 커피 한 잔 하십쇼
아이코 ㅜ 후원 감사합니다. 커피 한 잔 바로 때리겠습니다🙏
랭체인이나 랭서버등은 라이센스 정책이 어떻게 되나요?
MIT 입니다~!
github.com/langchain-ai/langchain/blob/master/LICENSE
@@teddynote 답변감사합니다
첫댓글은 못참지
아흑🤤
감사합니다.
안피곤님 감사합니다🫡
감사합니다.
아이코오 수진님 후원 감사합니다 ㅜ🙏🙏 앞으로도 더욱 유용한 콘텐츠 만들겠습니다~ 감사드립니다!!
옴허~ 요게 이렇게 표시가 되나요;;;;;;;;;;;;;;
@@김수진-e3n1p 네~~^^ ㅎㅎㅎ