앞의 분 댓글에 랭체인으로 문서 기반 챗봇을 만들 수 있다고 하셨는데요. 가령 저자는 다른데 책이름이 같은 텍스트 데이터를 업로드해서 파인튜닝을 하고 싶어요. A저자, B저자 각각의 책 내용을 질문한다거나 또는 서로를 비교하려고 할 때 챗봇이 서로 다른 저자를 구별하여 인식하게 하려면 어떻게 해야 하나요? 데이터를 업로드할 때 전처리 문제일까요? 조언 부탁드립니다. 감사합니다.
좋은 내용 감사합니다. 윈도우에서 bat으로 깔았더니 이미 있는 아나콘, 파이썬 등등이 다 다시깔렸는데... 기존꺼에 영향없이 지우려면 어떻게 해야할까요? 아.. 그리고 이 에러가 나버리네요 AssertionError: Torch not compiled with CUDA enabled - 해결이 가능한 걸까요?
설치하고 실행 하려고 하니 code 에러가 보입니다. 설치후 저는 뤼튼을 사용하고 있는 고등학교 교사여서(참고로 인문사회 전공교사) 다운로드만 설치사고 실행하고 관심이 있어서, 그런데 몇가지 오류가 있어서 문이 있어서 질문 드립니디낟. window 에서 아나콘다 등 다른 것이 설치 필요한지 문의드립니다. 저는컴퓨터 코딩을 모르지만 관심이 있는 고드등학교
@@공무원의극기복례 아쉽게도 첨부 기능이 현재는 없으나 추후 업데이트 될 가능성은 있어 보입니다. 하지만, LangChain 을 활용하면 PDF 문서 기반 QA 봇을 만드실 수 있습니다. 만약, PDF 문서 기반 QA 봇을 생성해야 한다면 현재는 LangChain 을 활용하는 방안이 가장 유력해 보입니다.
![[LangChain 강의] #streamlit 으로 ChatGPT 클론 서비스 제작하는 방법](http://i.ytimg.com/vi/ZVmLe3odQvc/mqdefault.jpg)
잘 봤습니다. 파인튜닝에 대한 내용도 추가 되면 정말 좋겠네요
좋은 강의 감사드립니다.
위 오픈소스를 가지고 "나만의 chatgpt 만들기 강좌II. 한글 및 파인튜닝" 으로 내용 추가하시면
구독자가 더 많아 질 것같습니다.
좋은 의견 감사합니다👍👍
감사합니다
감사합니다~~
앞의 분 댓글에 랭체인으로 문서 기반 챗봇을 만들 수 있다고 하셨는데요. 가령 저자는 다른데 책이름이 같은 텍스트 데이터를 업로드해서 파인튜닝을 하고 싶어요. A저자, B저자 각각의 책 내용을 질문한다거나 또는 서로를 비교하려고 할 때 챗봇이 서로 다른 저자를 구별하여 인식하게 하려면 어떻게 해야 하나요? 데이터를 업로드할 때 전처리 문제일까요? 조언 부탁드립니다. 감사합니다.
데이터 업로드시 메타데이터를 지정하시면 됩니다! 저자, 출판사, 출간일이 다를테니 설사 책 이름이 같아도 문제 없습니다!
대학원 다닐떄 파이썬 3.8이 최신이였던거같은데 벌써 3.11 나왔네요 ㅎㅎ
3.12까지 공식으로 나왔어요^^ 기술 발전이 참 빠르네요 ㅎㅎ
소개해주신 방법을 가지고 영어로 칭찬하는 텍스트 생성 하는 챗봇을 회사 내부적으로 배포하고 싶은데 배포한 사이트는 다른 사람들이 세부 환경을 접근 못하게 하는 방법도 있나요?
제가 로컬에서 파라미터 설정을 다 하고 외부 사람들은 챗봇만 나오게 할 수 있나요?
넵! 가능합니다~ 실제로 배포하는 단계에서는 접속하는 사람들이 세부 파라미터에 대한 설정 변경을 하면 안되기 때문에 대부분 말씀하는 방식으로 배포하고 있어요~
@@teddynote 이 웹 ui 는 외부에 정보가 유출되지 않는 건가요? 실제로 회사에서 해당 웹 ui 개발하여 이용한 사례를 본지 궁금합니다
좋은 내용 감사합니다. 윈도우에서 bat으로 깔았더니 이미 있는 아나콘, 파이썬 등등이 다 다시깔렸는데... 기존꺼에 영향없이 지우려면 어떻게 해야할까요? 아.. 그리고 이 에러가 나버리네요 AssertionError: Torch not compiled with CUDA enabled - 해결이 가능한 걸까요?
만약에 아나콘다 가상환경을 따로 만들어서 진행하셨으면 새로 만든 가상환경을 삭제 하면 되지만 별도 만들지 않고 기존 환경에 덮어씌웠을 경우에는 되돌리기가 어렵습니다 ㅜ
다시 torch 를 gpu 버전으로 설치하시면 됩니다~ 문제가 발생한 패키지만 재설치해 보세요~
설치하고 실행 하려고 하니 code 에러가 보입니다. 설치후 저는 뤼튼을 사용하고 있는 고등학교 교사여서(참고로 인문사회 전공교사) 다운로드만 설치사고 실행하고 관심이 있어서, 그런데 몇가지 오류가 있어서 문이 있어서 질문 드립니디낟. window 에서 아나콘다 등 다른 것이 설치 필요한지 문의드립니다. 저는컴퓨터 코딩을 모르지만 관심이 있는 고드등학교
네 선생님 안녕하세요? 해당 코드를 실행하기 위해서는 아나콘다 파이썬 가상환경이 필요합니다. 사전에 구동하기 위한 설정이 선행되어야 동작합니다!
윈도우 gpu 쓰려면 cuda121 호환되야만 쓸 수 있을까요..?
cuda111 쓰고 있어서 맞춰서 torch 다운그레이드 했더니 이것저것 호환 안 되는게 많네요..
cpu로 돌리니까 답변이 너무 느리네요..!
pytorch 설치하실때 111지원 버전으로 설치하시면 됩니다👍
pytorch.org/get-started/previous-versions/
pdf첨부 한글 파일을 업로드하여 첨부파일기반 QA도 가능한지요?
@@공무원의극기복례 아쉽게도 첨부 기능이 현재는 없으나 추후 업데이트 될 가능성은 있어 보입니다. 하지만, LangChain 을 활용하면 PDF 문서 기반 QA 봇을 만드실 수 있습니다. 만약, PDF 문서 기반 QA 봇을 생성해야 한다면 현재는 LangChain 을 활용하는 방안이 가장 유력해 보입니다.
한글 대화에 적합한 sLLM모델을 찾고있는데요 혹시 추천하실수 있을까요?
huggingface.co/spaces/upstage/open-ko-llm-leaderboard
리더보드에서 상위 모델 선택하시는 것을 추천 드려요. 모델의 종류가 다양하고 크기도 다영해서 가지고 계신 GPU스펙에 맞춰서 직접 선택하시는 것이 가장 베스트 입니다~
@@teddynote 말씀 감사합니다~ 채널 대박 나세요 👍
혹시 한글로 파인튜닝도 해보셧나용
한국어 파인튜닝도 가능합니다. 한국어 기반 LoRA 모델로 해보시는 것을 추천 드립니다!
10B면 3090으로 돌아가나요
넵 돌아갑니다~^^