Llama2(라마2) 모델을 내부 문서를 통해 답변하는 프로젝트로, 노트북에서도 사용하는 좋은 프로젝트가 있어서 요점만 정리해 보았습니다. 관심있으신분은 Github 확인해서 참고하시면 좋을 것 같습니다. 원본 프로젝트 github.com/ken... 일부 실행 오류 수정 프로젝트 github.com/all...
아닙니다. :) 로컬(PC)에 모델을 다운로드해서 사용하기 때문에 정보가 유출되지 않습니다. 쉽게 보시면 OpenAI는 모델을 OpenAI에서 (인터넷) 접근해서 사용만 하는것이고, 라마 모델은 PC에 설치한 프로그램처럼 자체적으로 실행하는 것이라고 생각하시면 좋을것 같습니다.
공유해주신 자료로 돌려가면서 다른 LLM도 붙여보려고 하는데요. 예제로 되어 있는 llm은 허깅페이스에서 하나의 bin파일로 다운받아지는데 다른 llm은 .safetensors 형태이고 여러 개 파일로 나눠져서 만들어진거 같아요. 혹시 복수의 파일 다운 받아 연결하려면 어떻게 해야 할지 가이드 자료가 있을까요? 어제 새벽까지 방법을 찾아봤는데 소득이 없네요 ^^
저도 예전에 모델 다운로드하는게 어렵다는것을 많이 느꼇는데, 모델을 허깅페이스의 transformers로 제공된다면 이를 이용해서 모델을 로드한후save_pretrained 로 특정 경로 저장이 가능한것 같습니다. huggingface.co/docs/transformers/main_classes/model
좋은 자료 공유 감사합니다. 구동을 해보고 싶은데요... faiss-cpu install시 오류가 나서요 (아래 2개 다 오류) pip install faiss-cpu==1.7.4 pip3 install pytorch faiss-cpu==1.7.4 ERROR: Could not build wheels for faiss-cpu, which is required to install pyproject.toml-based projects 다른 분들은 이런 에러가 없는지요?
![[SK TECH SUMMIT 2023] LLM 적용 방법인 RAG VS PEFT, Domain 적용 승자는?](/img/n.gif)
좋은 자료 공유감사합니다~
저는 기존 github 코드 수정없이 해도 잘되네요!
다행입니다!
제가 물어보는 것들을
훈련하거나 저장해서 라마
만든 회사로 정보가 유출되거나
하지는 않나요? 인터넷이 없이도
된다는데 물어보는 질문에 대한
답변은 인터넷에서 긁어오는게
아니면 어떻게 코드로 학습이
되어있는건가요? 개발에 개자도
모르는 초보라 죄송합니다 ㅜㅜ
아닙니다. :) 로컬(PC)에 모델을 다운로드해서 사용하기 때문에 정보가 유출되지 않습니다.
쉽게 보시면 OpenAI는 모델을 OpenAI에서 (인터넷) 접근해서 사용만 하는것이고,
라마 모델은 PC에 설치한 프로그램처럼 자체적으로 실행하는 것이라고 생각하시면 좋을것 같습니다.
공유해주신 자료로 돌려가면서 다른 LLM도 붙여보려고 하는데요.
예제로 되어 있는 llm은 허깅페이스에서 하나의 bin파일로 다운받아지는데
다른 llm은 .safetensors 형태이고 여러 개 파일로 나눠져서 만들어진거 같아요.
혹시 복수의 파일 다운 받아 연결하려면 어떻게 해야 할지 가이드 자료가 있을까요?
어제 새벽까지 방법을 찾아봤는데 소득이 없네요 ^^
저도 예전에 모델 다운로드하는게 어렵다는것을 많이 느꼇는데, 모델을 허깅페이스의 transformers로 제공된다면 이를 이용해서 모델을 로드한후save_pretrained 로 특정 경로 저장이 가능한것 같습니다.
huggingface.co/docs/transformers/main_classes/model
@@allmdev 감사합니다 ~~
좋은 자료 공유 감사합니다.
구동을 해보고 싶은데요... faiss-cpu install시 오류가 나서요 (아래 2개 다 오류)
pip install faiss-cpu==1.7.4
pip3 install pytorch faiss-cpu==1.7.4
ERROR: Could not build wheels for faiss-cpu, which is required to install pyproject.toml-based projects
다른 분들은 이런 에러가 없는지요?
제가 보니, 파이썬 버전에 따라서 실행이 되지 않는다는 얘기가 있는것 같아요. 파이썬 버전이 3.9까지 지원 하고 그외에는 다른 라이브러리가 필요한데, 파이썬 버전을 3.9로 낮춰보세요
@@allmdev 감사합니다. 파이썬을 3.10.9 로 다시 설치하니 인스톨 잘되네요. ^^
@@heyjunes-v1 더 높은 버전이였군요 해결하셨다니 다행이네요 :)
데이터 폴더에 다른 문서를 넣어도 이전 문서파일 이름만 뜨는 이유는 무엇일까요? 그리고 문서가 2개 있는것으로 인식되는지 Document 2까지만 나옵니다.
제가 추가적으로 확인했을때는. db_build 가 있는지를 확인하고 있는 경우에 추가 생성을 하지 않는 것 같아요, db_build.py를 보시고, run_db_build 만 다시 실행해보시면서 테스트 해보시면 좋을 것 같습니다.
감사합니다. 확인해 보겠습니다.
LLM RAG랑 방식이 똑같아보이는데 RAG인가요?
네 RAG 맞습니다.