🤗

[@루루-z4l]

고급정보 감사합니다.

[@teddynote]

아이고오...... 이런 큰돈을🥹 감사합니다 맛난거 사먹겠습니다🫡 더 고급 정보가 뭐 있나 더 뒤적여 봐야 겠네요😊 앞으로도 열심히 업로드 하겠습니다~🙏

[@김주리-m9z]

좋은 강의 너무너무 감사드립니다! 올려주신 강의들 다 너무 좋아서 패스트캠퍼스 강의도 결제했어요! 많이 활동해주세요!

[@teddynote]

아이코 ㅠ 너무너무 감사합니다. 패캠 유료 강의에 정말 모든 노하우를 다 담고 있습니다~^^ 앞으로도 기대해 주세요~^^

[@아아아아-g8z]

14분까지 - 아하 그렇구나!! 로컬 설치도 성공했어 재밌네!!!
15분 이후 - 네....?

[@teddynote]

😭😭

[@chuuny]

다시 영상을 보고,,, 따라하기를 좀 해보고 있는데요.
단순히 로컬에서 다운받아 LLM모델을 사용할 수 있겠구나... 정도만 생각하고 있었는데...
활용할 수 있는 부분들이 아주 많이 있군요

[@teddynote]

네네 유용하게 다방면으로 써먹으실 수 있습니다~^^🫡

[@brain.trinity]

어제 보니까 버미님께서 파인튜닝 해놓은 것을 gguf파일을 만들어놓으신 것을 미리 봤었는데 이 영상을 위한 것이었군요!

[@teddynote]

큰 그림이었습니다! 딱 알아보시네요 ㅎㅎ 감사합니다!!

[@teddynote]

옵시디언(Obsidian) 활용법은 댓글 남겨주신 이분 영상 좋습니다! 참고하십쇼🫡

[@Euni2345]

영어 모델은 gpt-4-all도 쓰기 편하더라구요 ㅎㅎ gguf 모델 저도 애용하고 있는데, 아직 원인은 몰겠지만 답변이 중간에 끊기는 문제가 있네요 😂

[@teddynote]

그렇군요! gpt4all 도 써봐야겠네요~ 정보 감사합니다~ 간혹 gguf 중에서도 변환이 잘못된 파일은 오류도 있더라구요~

[@juliokim766]

이번에도 좋은 소개 감사합니다~:)

[@teddynote]

시청 감사해욧!!!🙏🙏

[@chuuny]

사실 아직은 뭔 얘기인지 모르겠지만 찜해놓고 알 수 있는 그 날이 오면 다시 볼려구요

[@teddynote]

좋습니다~ 찬찬히 가시죠~ ㅎㅎ👍

[@ot7141]

너무 좋은 영상 감사합니다!!!

[@teddynote]

감사감사합니다🙏🙏

[@wonpaper]

너무 좋은 영상 입니다. 저두 꼭 써보겠습니다. ㅎ 감사해요 선생님 ^^

[@teddynote]

항상 시청해 주셔서 감사드립니다👍

[@necromansir6060]

0.3.1부터는 뭔가 인터페이스가 많이 달라져서 영상을 보고 따라하기에는 해깔리네요.. 그냥 올라마 방식으로 하는게 나을려나..

[@Suloman-d5d]

감사합니다
너무 좋은 영상입니다

[@teddynote]

도움이 되셨으면 좋겠습니다 감사해요!🫡

[@김병찬-e7x]

좋은 영상 감사합니다!!

[@teddynote]

감사합니다🫡🫡

[@holyboundary]

감동적인 영상입니다.

[@teddynote]

감사합니다😭😭

[@유선아-t7z]

왜이렇게 부지런하세요 테디님😂

[@teddynote]

열심히 콘텐츠 공장 돌리고 있습니다🔥🔥

[@江生浩]

영상 감사합니다 !😸

[@teddynote]

감사합니다^^

[@fly082]

허깅페이스에 올려주신 llama3 ko 버전 템플릿 구성
시스템 prev suffix
user
Human: suffix
Assistant:
stop string , temp는 0으로 세팅했는데, 대화 끝에 가 계속 나오고 엉뚱한 대답이 나오는데 template 가 잘못됐을까요??

[@teddynote]

허깅페이스에 Ollama Template 도 공유 해놨어요. 공유한 Template 으로 한 번 적용해 보세요~!

[@fly082]

@@teddynote FROM Llama-3-Open-Ko-8B-Q8_0.gguf
TEMPLATE """{{- if .System }}
{{ .System }}
{{- end }}
Human:
{{ .Prompt }}
Assistant:
"""
SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions."""
PARAMETER temperature 0
PARAMETER num_predict 3000
PARAMETER num_ctx 4096
PARAMETER stop
PARAMETER stop
이거 맞나요?

[@leekame이카메]

@@teddynote 프리셋을 다운받아서 입힐수는 없을까요? gguf마다 프리셋이 알맞게 안되어있어서 말을 못알아먹는것도 좀 난감하네요 ㅠ.

[@drivekim]

좋은 강좌 감사합니다.

[@teddynote]

감사합니닷!🙌🙌

[@비니비니-e6u]

안녕하세요
혹시 lm studio 에서 prompt format 부분이(15:25) 안 보이던데 이제 사라진 것일까요..?

[@JustinInnoGrid]

안녕하세요.
좋은 강좌 감사합니다.
공유해주신 Llama-3-Open-Ko-8B-Instruct-preview-gguf 모델과 Llama-3-Open-Ko-8B-gguf 둘다 적용해봤지만,,,
LLM에서 내 벹는 답변이 전부 이상하게 반응하는 것 같습니다.
프롬프트 템플릿도 알려주신 방법과 허깅페이스에 기재된 내용 모두 다 적용해서 각각 테스트 해봐도
잘 되다가 어떤 순간부터 이상한 답변을 하거나 아예 응답을 못하는 현상
또는
답변해주겠다고 하고서는 그 다음 답변이 나오지 않는 현상등이 발생하고 있습니다.
어떤 모델을 써야 정확히 테스트 해볼 수 있을 까요?

[@teddynote]

음 간혹 불안정한 대답을 하는 경우는 있을 수도 있습니다. 최근에 Instruct-Preview 모델은 Open-Ko-8B 모델이랑 템플릿과 stop token 을 좀 다르게 설정해야 되더라고요. 조정하니깐 확실히 나아졌습니다.

[@officialsmilemusic]

잘봤습니다. lm studio에서
gpu 성능에 맞게 배칭처리도 지원 되나요?
gpu ram 용량에 맞게 서버를 여러개 띄워서 로드밸런싱 할 수도 있나요?

[@teddynote]

그 부분은 별도 구현이 필요합니다~ lm studio 에서는 어려워요 ㅜ

[@hyungsungshim5714]

감사합니닷!!

[@teddynote]

감사합니다~!!!🙏

[@aimaker]

코파일럿 명령어 리스트가 저는 다 안보이는데 왜그럴까요 패스트캠퍼스 강의 잘 듣고 있습니다. ^^

[@sdfasdfsdfds]

로컬AI는 잘 다듬으면 업무자동화 편하게 할거같은데 쉽지않네요 ㅠ
질문이 있는데 Llama-3-Open-Ko-8B-Instruct-preview-Q8_0.gguf로
해보고 있는 중에 질문을 하면 답변을 계속 반복하면서 말합니다.
이것도 프롬프트로 막을 수 있나요?
don't repeat yourself. 라고 적어도 말을 안듣네요 ㅋㅋㅋ ㅠ

[@teddynote]

맞아요 저도 테스트 해봤더니 아직 instruct preview 모델은 원치 않는 답변이 나오드라구요 제가 템플릿 설정 잘못 했을 수도 있구요. 지금은 open ko 모델로 먼저 테스트 해보시고요~ instrcut 모델은 추후 안정화된 버전 나오면 다시 테스트 해보고 공유 드리겠습니다!!

[@leop4689]

강사님. 너무 감사합니다. 강사님. 혹시 허깅페이스의 트랜스포머 모델을 통해 외부의 데이터를 처리하고 그 값으로 retrive하는 RAG서비스를 준비하고 있는데요. 혹시 허깅페이스 또는 딥러닝 모델 api를 랭체인으로 연결하여 구현하는 방법이 있을까요?

[@teddynote]

모델 서빙하는 pc 혹은 서버에서 fast api 나 vllm으로 모델 서빙을 하시구요 api 연결해서 사용 가능합니다!!

[@leop4689]

@@teddynote 너무 감사합니다. 제가 듣고 있는 유튜브 강의중 현존 최애 강의들이에요~ 패캠도 곧 조만간 ~

[@teddynote]

@@leop4689 감사합니다!! 앞으로도 도움이 되는 콘텐츠 업로드 하겠습니다!!

[@daebbong]

안녕하세요. 항상 감사하게 영상 잘보고있습니다. ^^ 궁금한게 있는데요, special token 정의할때 기존 pretrained model 에서 정의된 토큰을 그대로 써야하는게 아닌가 싶은데 이렇게 정의해도 상관없는건지 궁금합니다. 그리고 혹 추가적인 파인튜닝을 하셨다면 그때 를 쓰셨기 때문일까요?

[@인프피-티]

감사합니다.

[@teddynote]

감사합니다🙏

[@DrKane96]

랭체인으로 챗봇을 만들어보고 싶어 이 영상을 시청해보려 합니다.
그런데 저는 데이터 분석을 공부해왔고, 프론트엔드, 백엔드, 앱 제작에 대한 지식은 전무해서
랭체인으로 챗봇을 제작하는 것을 시도해도 되나 해서 여쭤봅니다

[@teddynote]

랭서브/스트림릿이 데이터 분석가를 위한 웹 제작 도구입니다 쉽게 웹제작을 할 수 있도록 해줘요! 걱정 안하셔도 됩니다~

[@JustinInnoGrid]

한가지 또 추가로 질문이 있습니다.
모델마다 템플릿을 달리 적용해야 한다고 하셨는데..
모델에 따라 템플릿을 적용하는건 어떻게 알고 적용해야 하는걸까요?
미리 감사드립니다.

[@teddynote]

보통 저작자가 공개하기도 하고 제일 중요한 것은 저작자가 데이터를 학습할 때 사용한 Format 입니다. 이는 학습 데이터셋을 통해서 보통 확인하는 편이구요.
stop token 은 special_tokens_map.json 에 보통은 잘 정의되어 있어요.

[@JustinInnoGrid]

@@teddynote 자세한 답변 정말 감사합니다. 도움이 되었습니다.

[@dalfst]

Message format preview에서 마지막 {Assistant} 뒤에 는 안닫나요?

[@teddynote]

답변을 할 때 AI가 생성하여 닫습니다 결국 닫는다는 것은 답변 생성의 종료를 뜻합니다~

[@zelxdid]

0.3버전넘어가고나서는 메뉴가 좀 달라지네요 adanvced configuation 가 없어서 하다 멈 칫 햇습니다

[@4mtechreview]

라마3 70b 모델 gguf 한글 파인튜닝 버전도 혹시 업로드 해주실 수 있으실까요? 그리고 혹시 지금은 LM - Studio에서 라마3 70b 모델을 더이상 다운로드 할 수 없는 건가요? 다운로드 매뉴에서 못찾겠네요 ㅜ

[@teddynote]

만들 수 있는데 돌릴 수 있는 자원을 가진 분들이 많이 안계실것 같아서 업로드는 안했거든요 ㅠ Q2 수준으로 양자화를 빡시게 해야 겨우 돌려볼 수 있는 수준인데... 출력도 많이 느리더라고요 ㅜ 시간되면 업로드 해서 공유해 보겠습니다. 공유하면 게시글에 공지사항 올릴께요!

[@user-yoo33]

바로 해보려고했는데 LM스튜디오 에서 부터 설치 실패 처리 당했네요...

[@가가방방]

궁금한 점이 생겨 글 남기게 되었습니다.
1. LLM은 웹에서 사용되는거라 개인정보 보안상으로 문제가 있을까요?

2. 개인 PC(로컬)에서 사용하는 이점으론 영상 마지막 쯤에 설명해주신 대로 응용이 가능하다는 점 뿐인건가요? 랭체인과 오디언스를 사용하는게 다소 번거로운것 같아 그만한 사용 이점이 있는지 궁금하네요.
3. LLM스튜디오에서 셋팅설정 한부분이 로컬에 적용이 되는건지 LLM스튜디오에서 사용할때만 적용되는건지 궁금합니다.

[@teddynote]

답변 드립니다~
1. 네 프롬프트에 개인정보가 포함되면 문제가 있을 수 있어요
2. 응용이 가능하다는 점이 사실 큰 부분이고요. GPT를 활용한 앱서비스를 만드려면 코드로 구현해야하는데, 나 혼자 활용하겠다 측면이라면 굳이 안써도 됩니다.
하지만, 성능도 api 를 사용해서 개발하면 모든 과정이 커스터마이징이 되기 때문에 일반 웹에서 쓰는 Gpt 보다 더 나은 RAG 를 하실 수 있고요.
3. 로컬에 적용 됩니다
3.

[@가가방방]

@@teddynote 답변 고맙습니다. 한 가지 더 궁금한 점이 생겼습니다.
1번 답변을 보면 LLM스튜디오도 gpt와 마찬가지로 보안상으로 문제가 있을 수 있는 것 같은데요, 그럼 로컬용을 사용한다면 LLM스튜디오 측이 모델개선하는데 내 프롬프트 대화 내용을 쓰진 않을까요? 로컬용을 쓰려는 목적이 민감한 사항 노출은 하지 않으려고 하는 거니깐요.
그리고 셋팅설정값도 로컬에 적용이 되는등을 봐서는 로컬용은 단지 웹에서 사용하는 걸 그저 가져다 쓰는 시스템인건가요? 앞선 질문과 겹쳐지는 부분인데 로컬에서 쓰는 프롬프트 메세지들이 내 pc에 저장이 되어 지는 건지, LLM서버로 가게 되는 건지 궁금하네요.

[@teddynote]

@@가가방방 프롬프트 메시지는 저장되비 않습니다 로컬 모델을 구동하기 위해 도와주는 도구라고 생각하시면 좋고요. 인터넷 끊어 놓고 테스트 해보시면 잘 구동합니다. 그 말인 즉슨 대화를 전송하지는 않는다는 뜻입니다.

[@윤지운-z4v]

이렇게 하면 인터넷 연결 없이도 가능한건가요??

[@daebbong]

질문이 한가지 더있습니다 ㅎ 보통 LM studio 를 쓰려면 pc 에서는 자원관계상 쓰기 어려워서 우분투 gpu서버에 설치후 pc에서는 terminal 접속(putty, mobaxterm등)해서 x11 으로 띄워쓰려고 했는데요, x11으로 뜨는 lm studio서는 한글 입력이 잘 안되더라구요 ㅠㅠ 물론 터미날 환경에서는 한글입력은 잘되요. 그래서 할수 없이 api 만으로 쓰고 있는데 혹 x11기반 lm studio에서 한글 입력방법이 있을까요?

[@2stmagi279]

질문있습니다~ 덕분에 LM스튜디오에서 이것저것 잘 해보고 있습니다. 허깅페이스, 허깅페이스ko에서 점수 잘 받은 모델을 설치했는데 답을 이상하게 합니다. "안녕"이라고만 쳤는데 말도 안되는 말을 해쌓네요. 제일 똑똑하다는 놈인데요. 말씀대로 Prompt Format때문에 그런지 싶어 링크 타고타고가서 어째어째 있어 바꿔봤는데도 그럽니다. 테디님이 올려주신 eeve모델은 lm 기본 프리셋으로도 얼추 답을 잘하는데, 허깅페이스에 한국어 순위권인 이 모델은 왜 이럴까요?

[@teddynote]

안녕하세요!
오픈모델마다 셋팅해줘야 하는 템플릿이 있습니다!
이건 오픈모델 페이지에 보통 공개를 해주는 편이고요. eeve도 페이지에 가보면 템플릿이 공개 되어 있습니다.
다른 모델을 쓰실때 해당 페이지 가셔서 템플릿 확인후 lm studio 우측에 템플릿 설정에서 템플릿 맞춰주시고 한 번 해보세요~!!

[@jin-uo8tl]

instruct-preview모델과 그냥 없는 모델의 차이점이 뭔가요??

[@teddynote]

instruct preview 모델은 beomi님 이 공개한 repository 의 내용에 의하면 chat vector 의 아이디어가 추가 되었다고 하더라고요! 저도 아직 자세한 차이점 까지는 모르겠어요 추후에 정식 모델이 공개되거나 관련하여 자세한 내용이 나오면 추가로 공유 드릴께요!

[@rogitun]

안녕하세요. 좋은 강의 감사합니다! 저는 윈도우에서 eeve q5로 ollma를 통해 테스트를 해봤는데 이게 답변이 너무 느리더라구요. cuda랑 cudnn도 설치된 상태인데도 불구하고 너무 느립니다.. 자원 사용도 모니터링 해보면 CPU만 겁나 쓰고 GPU는 쓰지를 않고 있구요. GPU는 1660super 모델을 사용하고 있는데 GPU를 사용하기엔 GPU 성능이 너무 부족해서 그런걸까요? 맥북 m1 pro 모델이 있긴 한데 이걸 쓰면 좀 나을지 혹은 cuda 세팅을 별도로 해야하는게 있는지 도움을 얻고 싶습니다 ㅠ

[@teddynote]

아마 1660모델은 딥러닝 모델을 돌리기 위한 cudnn을 지원하지 않는 것으로 봤던 것 같아요 nvidia 홈페이지에서 cuda 지원 gpu로 한 번 확인해 보시는 것이 정확할 것 같습니다!

[@rogitun]

@@teddynote 확인해보니 없네요 ㅠ 답변 감사합니다..! 맥으로 돌려야겠네요

[@terevipd]

좋은 정보 고맙습니다. 그런데...
Llama-3-Open-Ko-8B와 llama-3-8b-it-ko-chang, EEVE-Korean-Instruct-10.8B-v1.0 모델들 각각의 차이는 뭘까요?
제가 아무 것도 모르는 초보라서요...^^;

[@teddynote]

ko 나 Korean 이 붙어 있으면 일단 한국어를 잘하는 모델로 튜닝되었다고 쉽게 생각하시면 됩니다. 그런데 다양한 모델이 있는 이유는 각각의 모델마다 학습한 데이터셋의 차이, 학습 방법, 베이스가 되는 모델의 차이에 따라 이름을 다르게 붙입니다. 자동차로 비유를 들자면, "쏘렌토", "싼타페", "제네시스 SUV" 가 있습니다. 모두 비슷한 체급의 자동차이지만 분명 차이가 있죠. 나열된 모델도 비슷한 개념입니다~^^

[@terevipd]

@@teddynote 아... 그렇군요!
친절한 답변 감사합니다!!!
그럼... 저 3가지 모델 중에서는 어느 게 가장 높은 체급이려나요? ^^;
제 노트북에서 왠만한 모델은 다 돌아간다고 나오길래 llama 모델 중 가장 좋은 성능의 대용량 모델을 받았으면 하는데 도통 모르겠어서요. ^^;;;

[@유영재-c9c]

instruct가 아닌 일반 사전학습 모델 쓰면 채팅에 최적화가 안되어 있나요?

[@teddynote]

일반 사전학습 모델 사용해도 괜찮다고 합니다^^

[@gangin0218]

안녕하세요 궁금한 점이 생겨 댓글 남기게 되었습니다.
lm studio에서 이러한 모델들을 다운받아서 제가 원하는 도메인 지식을 학습시킬 방법이 있을까요? 영상과 같이 해봤는데 지식베이스가 없는것같아서요!
lm studio에서 안된다면 어떠한 방법이 있을까요?

[@teddynote]

파인튜닝쪽 프레임워크를 사용하셔서 모델을 튜닝해야 합니다~ 파인튜닝 쪽 키워드로 검색해 조시면 관련 자료가 많이 나오고요 unsloth axolotl trl 등등의 라이브러리가 있습니다~

[@gangin0218]

@@teddynote 빠른 답변 너무 감사합니다! 한번 알아볼게요!

[@blidkagaa]

질문이 있습니다. os를 구동할때 마다 lm studio를 켜고 모델을 올리고 서버를 구동해야하는 것 같은데요.. 혹시 컴퓨터를 켜자마자 바로 사용할 수 있는 방법이 있을까요?

[@teddynote]

제가 LM studio 는 가능한지 모르겠습니다만 서버에 바로 구동이 목적이시라면 올라마로 모델 파일 만드신 후 start up 에서 스크립트로 올라마 실행하면 될 것 같습니다!

[@blidkagaa]

@@teddynote 유튜브에 링크가 담긴 댓글을 달리면 삭제가 되는 것 같으네요?.. 댓글 올렸는데 삭제가 두번이나.. github issue로 올렸는데 다음 버전에 해당 기능이 추가된다는 답변을 받았습니다. github issue를 링크로 올렸는데.. 댓글이 자동 삭제되는 것 같아서.. 다시한번 링크 없이 댓글 달아봅니다. 감사합니다.

[@teddynote]

@@blidkagaa 링크가 달리면 자동으로 삭제되는 경우가 있더라고요 예전에도 이렇게 말씀해 주신 분이 계셨던 것 같아요! 디스코드 채널(link.teddynote.com/discord) 에서 질문 주셔도 좋습니다~ issue 도 확인해 볼께요!

[@atmoskr]

오늘 보여주신 피씨(또는 서버) 에 사용되는 사양(CPU 와 그래픽카드가 뭘까요?

[@teddynote]

맥북M3 Max 기종입니다 애플 MPS GPU를 사용하였습니다^^

[@유리비니-p5e]

테디님~! LM 스튜디오에서 모델을 Load 했는데 아래와 같은 에러가 발생해요.
원인이 성능이 부족해서 일까요?
"(Exit code: 0). Some model operation failed. Try a different model and/or config."
{
"memory": {
"ram_capacity": "15.84 GB",
"ram_unused": "8.40 GB"
},
"gpu": {
"type": "NvidiaCuda",
"vram_recommended_capacity": "8.00 GB",
"vram_unused": "6.97 GB"
},
"os": {
"platform": "win32",
"version": "10.0.22631",
"supports_avx2": true
},
"app": {
"version": "0.2.21",
"downloadsDir": "C:\\Users\\Chris\\.cache\\lm-studio\\models\\"
},
"model": {}
}

[@유리비니-p5e]

테디님 그래픽카드 드라이버 업데이트하고 해결되었습니다^^;;

[@teddynote]

네 다행이네요!!! 👍👍👍

[@Yanggyungsuneg]

preset 설정을 강의 따라가면서 변경했는데. 질문에 대한 답변 끝에 이 항상 붙네요. 이유가 뭘까요?

[@teddynote]

stop 토큰에 아마 빼먹고 를 추가해 주지 않으셨를 것 같아요~

[@Yanggyungsuneg]

@@teddynote 모델을 eeve가 아닌 llama3 모델을 선택해서 그랬네요. eeve 선택하니 제대로 나오네요

[@fly082]

@@teddynote 해줬는데도 나오는 이유가 뭘까요? 테디님 llama3 kor 버전입니다.

[@teddynote]

@@fly082 llama3 는 형식이 달라요. 모델마다 템플릿과 stop token 이 다르기 때문에 각 모델에 맞는 템플릿과 stop token 을 적용해야 올바르게 동작합니다. 참고로, 템플릿과 stop token 도 공유해 놓았어요~

[@유영재-c9c]

랭체인으로 NER도 가능한가요?

[@teddynote]

랭체인의 기능이라기 보다는 랭체인은 도구로써의 역할을 합니다. 따라서 랭체인과 llm을 가지고 개체명 처리를 위한 구현이 필요하구요. 구현한 사례를 어렵지 않게 찾아보실 수 있습니다.

[@oclis711]

끝까지 봤는데... 어디다 써요?

[@teddynote]

무료 GPT 모델을 사용하고자 할 때 사용할 수 있어요. 과금이 전혀 되지 않고 인터넷이 없는 환경에서도 동작하죠!

[@JeongJaeWoo]

이게...GPTs action도 사용 가능한건가요?

[@teddynote]

GPTs action 은 사용 불가입니다 ㅜ

[@JeongJaeWoo]

@@teddynote 음...그럼 action관 같은 중간처리 과정 만들기는 어려울까요?

[@teddynote]

@@JeongJaeWoo 세부 로직 처리하는건 langgraph 와 agent 로 처리 가능합니다~^^

[@leekame이카메]

이래서 옵시디언을 깔아야하는건가 ㅋㅋ

[@TheSheepwool1]

유용한 정보 감사드립니다 ~~~

[@teddynote]

감사합니다🙏