잘 봤습니다. Chain의 확장이군요. 사실 간단한 반복 수정 기능은 임으로 만들어서 사용했었는데. 프레임워크에서 제공해주면 편하게 사용할 수 있죠. Copilot 이나 Gemini, 뤼튼 등 서비스업체는 자체적으로 이런 기능을 이미 사용하고 있는 것 같은데. 일반 개발자들도 사용할 수 있게 된듯합니다. 판단과 판단에 따른 다른 동작을 정의하는게 실제로는 중요하겠네요. 1) 노드에서는 상태 따라서 다른 동작을 하도록 잘 만들어야 할 것 같고. 2) 에지에서는 현재 상태가 원하는데로 가고 있는지를 판단하는 게 중요할 꺼 같네요. 이부분에 LLM의 평가를 하는 기능도 있는 것 같고.
영상을 여러번 보며 공부중입니다 ㅎㅎ 랭그래프는 선택이 아닌 필수가 될수밖에 없겠네요 너무 강력하네요!! 근데 이제서야 조금식 알아가고 있는 RAG가 Conventional RAG 라니 ㅜㅜ 이렇게 빠르게 변하는 ai시장이 내년 후년에는 또 얼마나 빠르게 바뀔지 기대?가 됩니다 ㅎㄹ
안녕하세요 귀한 영상 잘 보고 있습니다. 프로젝트 하다가 막힌 부분이 있습니다. 제가 만든 생성형 AI는 문서의 내용을 잘 표현을 해 줍니다. 그런데 문서에 존재하지 않은 일반상식 같은것을 입력하면 GPT답변을 해버리는데...이것을 어떻게 해결 해야 할까요??? 전문가님의 의견을 정중히 구합니다.
안녕하세요! RAG 에 없는 답변을 물어볼 경우 "문서 내 찾을 수 없습니다" 라는 답변을 하도록 프롬프트 엔지니어링을 해두면, 없다면 없다고 답변합니다. 또 하나의 방법으로는 Routing LLM 을 사용해서 상황에 맞는 질문에 따라 다른 chain 으로 연결해 주는 방식을 택합니다. RAG 가 필요한 경우에는 RAG 체인을, 그렇지 않은 경우에는 일반 Chain 으로 답변하도록 "Routing" 시킬 수 있습니다!
강의 잘 들었습니다! Groundness Check를 하는 부분은 질문과 답변의 '관련성(relevance)'만을 체크할 수 있는걸까요? 만약 hallucination 여부를 판단하고 싶은 경우에 답변 생성은 chatgpt가, 평가는 claude가 하도록 만들면 교차검증의 효과가 있을지 궁금합니다.
단순한 방법으로는 iteration 횟수에 limit을 걸어 일정 횟수 반복하면 다음 스텝으로 보낼 수 있고요. 이 과정에서 쿼리를 transform 을 함으로써 다양한 답변 유도를 통해 정해진 횟수 내에 원하는 답변을 받도록 설정할 수 있습니다. 또는 정해진 횟수 이내에 원하는 답변이 추출 되지 않을 경우 다른 방법(인터넷 검색) 을 시도하여 답변을 얻어내는 것을 시도하도록 유도할 수 있습니다.
안녕하세요. 현업에서 GPT 베이스 챗봇 서비스를 개발하는 LLM엔지니어입니다. 테디노트님의 영상들 덕분에 현업에 많은 도움이 되고 있습니다 :) 늘 감사합니다. 한 가지 고민거리가 생겨서 질문남깁니다! langgraph 도입에 따라 답변의 질은 좋아졌으나 노드가 늘어남에 따라 응답지연시간이 증가하여 고민입니다. 응답속도와 답변퀄리티는 트레이드오프 관계라는 것을 어느정도는 알고 있으나 혹시 랭그래프를 쓰면서 응답지연을 줄이는 테디노트님의 노하우가 있을까요?
네 안그래도 저도 동일한 고민을 하고 있습니다. 1. 우선 routellm으로 중간 노드의 추론에 대한 지연시간과 cost를 효율적으로 가져가 보려고 하고 있습니다 2. 응답 지연은 불가피하게 발생하므로 ux 적으로 풀어보려고 하고 있습니다. chatgpt 의 토큰 스트리밍(답변을 모았다가 출력이 아닌 토큰 단위의 출력) 과 같이 중간 과정을 ux적으로 보여줌으로써 고객이 기다려 줄 수 있는 front를 제공하면 같은 시간임에도 불구하고 더 기다리는 시간이 짧게 느껴지는 경험을 제공할 수도 있습니다
좋은 내용 고맙습니다! 궁금한점은 이렇게 여러개의 evaluator가 체크하는 과정이 들어가면 응답속도가 느려지는 문제가 있지는 않을까 궁금합니다. 또 다른 질문으로는, checkpointer로 메모리를 사용하는데, 이 부분을 Database에 저장하고 가져오는 방식은 어떤가 궁금합니다. 용량이 큰 상태값이라면 바로 디비에 저장하고 가져오는 것도 생각해볼수 있고, 일반적으로는 노드들이 처리한 스테이트값과 처리과정을 최종 결과를 낸 이후에, 백그라운드로 저장하는 방식으로 나중에 처리이력을 분석하거나 비슷한 대답은 같은 과정을 반복하지 않고, 기존에 사용한 이력을 참조해서 바로 답을 하거나 일부과정을 스킵하거나 하는 방식으로 변경하면 어떨까 해서요. 키-밸류 구조를 보는순간 amazon dynamo db를 적용하면 되지않을까 생각도 해봤습니다.
네 체크하는 과정만큼 시간은 더 소요되는게 맞습니다. 검증 후 답변 vs 답변 : 신뢰도가 중요하면 전자. 속도가 더 중요하면 후자 이지만 대부분은 신뢰성 검증을 요구하는 편일 것 같습니다. 데이터 베이스에 저장하려면 snapshot 을 직렬화 하여 저장하는 로직이 추가 되어야 할 것 같습니다. 직렬화는 아마 지원할 것으로 생각합니다만 이부분은 제가 직접 테스트 해보지는 않아서 잘 모르겠습니다. 저는 langsmith 추적을 사용하고 있기 때문에 메모리 관리도 langsmith 로 하고 말씀하신 분석도 langsmith 에서 해결하는 편이에요~
이렇게 좋은 강의를 무료로.. 감사합니다. 선생님! 선생님, 올리신 강의를 보고 공유해주신 오픈소스를 참고하여 LangGraph라이브러리를 이용한 mult-LLM RAG를 구현중입니다. 추가로 궁금한 점이 있어 질문드립니다! 제가 코드를 구현하면서 GraphState 파이프라인을 설계하고 Agent 코드는 넣지 않았는데, 방금전에 langgraph 찍먹 강의를 보니 Agent의 역할이 꽤나 중요한 것 같았습니다. LangGraph 라이브러리로 RAG를 구현하는데도 Agent코드가 필요할까요? 코드를 짜고 실행하면 질문과 파일 내용이 여러번 겹쳐 입력되고, 그러면서 입/출력 토큰수가 계속 max token값을 넘어버리는 문제가 발생합니다. 실례가 되지 않으신다면 multi-LLM 구현하시는 코드도 전체 오픈해주실 수 있을까요? 비전공자에게 그저 한줄기 빛이십니다. 감사합니다!
설명 폼 미췄다…
🤤
새해부터 이런 양질의 콘텐츠를 공유해주시니 새해 복 더 많이 받으세요 테디대표님 :)
감사합니다.
아이코~~ 후원 감사합니다 🫡
와... 설명 진짜 잘하시네요.
감사합니다!
감사합니다. 쏙쏙 이해 됐습니다
감사합니다^^
좋은 내용과 친절한 설명 늘 감사 드립니다. LangGraph 선택이 아닌 필수처럼 보여지네요.
꼭 한 번 시도해 보세요! 🙏🙏
최근에 번아웃 왔었는데. 테디노트님 강의를 보니 갑자기 의욕이 나네요. 열정적인 에너지와 내용 너무 좋습니다.!!
저도 자주 번아웃이 오는데요 오히려 새로운 기술을 적용할 때 가장 설레고요. 다시금 시작할 수 있는 계기가 되는것 같어요!! 화이팅입니다🔥
LangGraph 너무 어렵게만 느껴졌는데 강의 들으면서 막막했던게 사라진거 같아요 ! 좋은 강의 감사합니다 :)
감사합니다!!
너어무... 감사합니다!!
감사합니다🙏
잘 들었습니다. 감사합니다.
감사합니다🫡
여러 청크를 참조해 답변을 생성해야 할 때 정말 유용하겠네요. 감사합니다 !!!
넘나리 좋아요😄
감사합니다
저도 감사합니다
잘 봤습니다. Chain의 확장이군요. 사실 간단한 반복 수정 기능은 임으로 만들어서 사용했었는데. 프레임워크에서 제공해주면 편하게 사용할 수 있죠. Copilot 이나 Gemini, 뤼튼 등 서비스업체는 자체적으로 이런 기능을 이미 사용하고 있는 것 같은데. 일반 개발자들도 사용할 수 있게 된듯합니다.
판단과 판단에 따른 다른 동작을 정의하는게 실제로는 중요하겠네요. 1) 노드에서는 상태 따라서 다른 동작을 하도록 잘 만들어야 할 것 같고. 2) 에지에서는 현재 상태가 원하는데로 가고 있는지를 판단하는 게 중요할 꺼 같네요. 이부분에 LLM의 평가를 하는 기능도 있는 것 같고.
의견 감사합니다. 노드, 엣지 구성요소로 코드는 간결해지고, 흐름을 관리하는게 눈에 보여서 그 점이 저는 제일 만족스럽습니다^^
상태에 따라서 다른 동작을 하도록(=다른 노드로 보내도록) 하는것은 컨디셔널 엣지로 구현 가능합니다. 일반 엣지는 판단 기능 없이 무조건 전달만 되고요.
댓글을 안달수가 없다..👍👍
감사합니다🙏
역시 테디님께서 테디하셨네요!!!! 🎉 좋은 강의 감사합니다
선생님 감사합니다👍
영상을 여러번 보며 공부중입니다 ㅎㅎ
랭그래프는 선택이 아닌 필수가 될수밖에 없겠네요 너무 강력하네요!!
근데 이제서야 조금식 알아가고 있는 RAG가 Conventional RAG 라니 ㅜㅜ
이렇게 빠르게 변하는 ai시장이
내년 후년에는 또 얼마나 빠르게 바뀔지 기대?가 됩니다 ㅎㄹ
정말 빠릅니다... 쫓아가다가 가랑이 찢어 지겠습니다. 그래도 랭그래프는 꼭 진입해 보세요! 강추입니다 ㅎ
와 그동안 배워보고 싶었는데...너무 쉽게 설명해주셔서 감사합니다
감사해요~ 꼭 한 번 도전해 보세요!
설명 감사합니다!
감사합니다🙏
최고의 강의 감사합니다.
극찬 감사합니다🫡
최고이십니다
감사합니다☺️
하드코딩으로 파이프라인을 만들고나서 유지보수가 걱정이였는데!!
랭그래프로 당장 랭그래프로 바꿔야겠습니다.
개발하기전에 봤으면 좋앗을것을...😂
넘나 감사합니다!!
랭그래프로 유지보수하시면 정말 편합니다 ㅎㅎ
저도 딱 이런 노드 엣지로 의사결정 흐름 시각화에 대해 구상하고 있는데 역시 니즈가 다 비슷비슷한가봅니다!
네 맞습니다.. RAG 하다보면 비슷한 고민을 하게 되죠..ㅎㅎ
감사합니다!!👍
저도 매번 감사합니다🙏
항상 감사합니다!
저도 매번 이렇게 봐주셔서 감사합니다😊
안녕하세요 귀한 영상 잘 보고 있습니다.
프로젝트 하다가 막힌 부분이 있습니다.
제가 만든 생성형 AI는 문서의 내용을 잘 표현을 해 줍니다. 그런데 문서에 존재하지 않은 일반상식 같은것을 입력하면 GPT답변을 해버리는데...이것을 어떻게 해결 해야 할까요??? 전문가님의 의견을 정중히 구합니다.
안녕하세요! RAG 에 없는 답변을 물어볼 경우 "문서 내 찾을 수 없습니다" 라는 답변을 하도록 프롬프트 엔지니어링을 해두면, 없다면 없다고 답변합니다.
또 하나의 방법으로는 Routing LLM 을 사용해서 상황에 맞는 질문에 따라 다른 chain 으로 연결해 주는 방식을 택합니다. RAG 가 필요한 경우에는 RAG 체인을, 그렇지 않은 경우에는 일반 Chain 으로 답변하도록 "Routing" 시킬 수 있습니다!
테디님 정말 잘 보았습니다. 감사합니다. 혹시 neo4j 그래프 DB를 활용한 rag에 대한 강의 한번 해주실 수 있나요. rag의 최종 방향이 어디인지 궁금합니다.
그래프 디비도 다뤄보도록 하겠습니다 ^^ 최종 방향이 어디일까요....... 진짜 당장 다음 달엔 어떻게 바뀔까 가늠이 안되네요 ㅜ
좋은 내용 감사합니다 !!
시청해 주셔서 감사합니다~!!!
목소리가 너무 좋으세요
감사합니다~^^
감사합니다!
감사합니다~
좋은 내용 감사합니다
쎄이호우님 감사합니다🙏🙏
감사합니다
감사합니다!
강의 잘 들었습니다!
Groundness Check를 하는 부분은 질문과 답변의 '관련성(relevance)'만을 체크할 수 있는걸까요? 만약 hallucination 여부를 판단하고 싶은 경우에 답변 생성은 chatgpt가, 평가는 claude가 하도록 만들면 교차검증의 효과가 있을지 궁금합니다.
답변에 대하여 다른 모델로(예를 들어 클로드) 교차검증이 기술적으로 어려운 것은 아닙니다만 그 효용성에 대해서는 여전히 의문입니다.
이 문제는 곧 교차 검증을 클로드로 하든 gpt로 하든 교차검증을 하는 주체 역시 할루시네이션이 발생할 여지가 있다고 생각합니다~
항상 도움 많이 받고있습니다. 이번 영상이 특히 유익하네요.. 혹시 발표자료도 다운받아볼 수 있을까요??
발표자료 더보기란에 다운로드 받을 수 있는 주소 올려놨습니다!
@@teddynote 감사드립니다!!
@@teddynote 감사합니다!
ModuleNotFoundError: No module named 'rag.utils' 어디서 받을수 있는지요?
튜토리얼의 실습 폴더 내 rag 폴더 안에 위치해 있습니다^^
그래프 특성상 사이클이 생겨서 계속 그 사이클을 돌면서 다음 스텝으로 넘어가지 못하는 문제도 있을 것 같은데, 그럴 땐 어떻게 처리하나요?
단순한 방법으로는 iteration 횟수에 limit을 걸어 일정 횟수 반복하면 다음 스텝으로 보낼 수 있고요. 이 과정에서 쿼리를 transform 을 함으로써 다양한 답변 유도를 통해 정해진 횟수 내에 원하는 답변을 받도록 설정할 수 있습니다. 또는 정해진 횟수 이내에 원하는 답변이 추출 되지 않을 경우 다른 방법(인터넷 검색) 을 시도하여 답변을 얻어내는 것을 시도하도록 유도할 수 있습니다.
안녕하세요.
현업에서 GPT 베이스 챗봇 서비스를 개발하는 LLM엔지니어입니다.
테디노트님의 영상들 덕분에 현업에 많은 도움이 되고 있습니다 :) 늘 감사합니다.
한 가지 고민거리가 생겨서 질문남깁니다!
langgraph 도입에 따라 답변의 질은 좋아졌으나 노드가 늘어남에 따라 응답지연시간이 증가하여 고민입니다.
응답속도와 답변퀄리티는 트레이드오프 관계라는 것을 어느정도는 알고 있으나 혹시 랭그래프를 쓰면서 응답지연을 줄이는 테디노트님의 노하우가 있을까요?
네 안그래도 저도 동일한 고민을 하고 있습니다.
1. 우선 routellm으로 중간 노드의 추론에 대한 지연시간과 cost를 효율적으로 가져가 보려고 하고 있습니다
2. 응답 지연은 불가피하게 발생하므로 ux 적으로 풀어보려고 하고 있습니다.
chatgpt 의 토큰 스트리밍(답변을 모았다가 출력이 아닌 토큰 단위의 출력) 과 같이 중간 과정을 ux적으로 보여줌으로써 고객이 기다려 줄 수 있는 front를 제공하면 같은 시간임에도 불구하고 더 기다리는 시간이 짧게 느껴지는 경험을 제공할 수도 있습니다
@@teddynote완성된 답변 데이터를 넘기지 않고 생성된 토큰을 즉시 다음 노드로 건네는 방식은 안되려나요. 답변이 잘못된 방향으로 가면 바로 잡아줄 수 있게요
혹시 upstage 의 groundedness Check 말고 다른서비스가 있을까요?
폐쇠망에서 사용할수있는 방법은 없을까해서요...
로컬llm으로 대체 하실 수 있습니다! upstage 나 openai LLM 대신 소형 모델을 사영하셔도 괜찮아요^^
@@teddynote앞서 만들어진 질문과 답변을 소형모델에 보내서 관련성 평가를 하는 방식으로요?
@@CharlesKing007 네 맞습니다 2개의 모델을 따로 운용하실 수 있어요!
@@teddynote 네 위 내용대로 테스트 해보니 잘되네요 감사합니다
좋은 내용 고맙습니다! 궁금한점은 이렇게 여러개의 evaluator가 체크하는 과정이 들어가면 응답속도가 느려지는 문제가 있지는 않을까 궁금합니다. 또 다른 질문으로는, checkpointer로 메모리를 사용하는데, 이 부분을 Database에 저장하고 가져오는 방식은 어떤가 궁금합니다. 용량이 큰 상태값이라면 바로 디비에 저장하고 가져오는 것도 생각해볼수 있고, 일반적으로는 노드들이 처리한 스테이트값과 처리과정을 최종 결과를 낸 이후에, 백그라운드로 저장하는 방식으로 나중에 처리이력을 분석하거나 비슷한 대답은 같은 과정을 반복하지 않고, 기존에 사용한 이력을 참조해서 바로 답을 하거나 일부과정을 스킵하거나 하는 방식으로 변경하면 어떨까 해서요. 키-밸류 구조를 보는순간 amazon dynamo db를 적용하면 되지않을까 생각도 해봤습니다.
네 체크하는 과정만큼 시간은 더 소요되는게 맞습니다. 검증 후 답변 vs 답변 : 신뢰도가 중요하면 전자. 속도가 더 중요하면 후자 이지만 대부분은 신뢰성 검증을 요구하는 편일 것 같습니다.
데이터 베이스에 저장하려면 snapshot 을 직렬화 하여 저장하는 로직이 추가 되어야 할 것 같습니다. 직렬화는 아마 지원할 것으로 생각합니다만 이부분은 제가 직접 테스트 해보지는 않아서 잘 모르겠습니다.
저는 langsmith 추적을 사용하고 있기 때문에 메모리 관리도 langsmith 로 하고 말씀하신 분석도 langsmith 에서 해결하는 편이에요~
@@teddynote 답변 감사합니다 랭그래프 신박한 기능같습니다. 정리해서 내부적으로 공유해보고 디비 저장도 적용해보려고 합니다. 고맙습니다 (_ _)
안녕하세요. LangGraph 내용 공부 차원에서 블로그에 정리해 놓고 싶은데, 테디노트 출처를 표시하고 강의자료 기반 내용을 블로그에 정리해 두어도 괜찮나요?
네 그럼요~^^ 출처만 남겨주시면 마음껏 활용하셔도 좋습니다^^
아하.. 상태라는게 state machine 의 state 가 아니라.. 노드간 정보를 전달하기 위한 context 객체군요!?
예 맞습니다. 노드간 정보 전달을 바로 State 통해 수행합니다!
미쳐다미쳤엉 낼 유료강의오픈인가요
맞습니다! 드디어 내일입니다!!
@@teddynote upstage ground checker 는 광고인가요?
@@Austin-t5o 광고였으면...좋겠지만 ㅎㅎ 광고는 아니고 홍보에요~ 광고비를 받거나 한 건 아니구요~ 간단하게 체크 가능한 기능이라서요 한 번 써보시고 잘 되는지 한 번 체험해 보십쇼~
넵 감사합니다 :)
유료급강의 그림이 있어서 알기쉬웠어요. 감사합니다.
도움이 되셨다니 감사합니다!!
테디샘 오랜만이에요. 좋은 강의 잘 들어요~
감사합니다 자주 놀러오세요🤗
와. 이거 필요했던 내용입니다. 감사해요~~~
감사합니다~
fastcampus 강의에 code만 있고 강의는 없던데요. 강의도 따로 하실 건가요 ?
네 강의 촬영 예정입니다 아직 공개전인데요 조금만 기다려 주시면 업로드 할 예정입니다🙌
안녕하세요. 테디노트의 RAG 비법노트 패스트캠퍼스 강의를 영상의 디스코드 서버로 가입할 수 있는 방법이 있을까요?
안녕하세요!
teddylee777@gmail.com 로 메일 주시면 방법 안내 드리겠습니다^^
안녕하세요 Teddy님 잘 보고 있습니다!
다름이 아니라 혹시 langgraph를 오픈소스 모델로도 실행이 가능할까요?
그럼요~^^ 됩니다~ 모델을 GPT대신 오픈소스 모델로 바꾸기만 하시면 됩니다
현재 클라우드 안쓰고 로컬로 사용할수 있을까요? 데이터가 빠져나가지 않게 하기위해서입니다 ㅎㅎ
네 가능합니다~ 유튜브에 로컬 모델로 RAG 하는 영상 업로드 되어 있습니다 한 번 참고해 보세요~
그리고 로컬 모델을 graph rag 에 적용도 가능해요~
이렇게 좋은 강의를 무료로.. 감사합니다. 선생님!
선생님, 올리신 강의를 보고 공유해주신 오픈소스를 참고하여 LangGraph라이브러리를 이용한 mult-LLM RAG를 구현중입니다.
추가로 궁금한 점이 있어 질문드립니다!
제가 코드를 구현하면서 GraphState 파이프라인을 설계하고 Agent 코드는 넣지 않았는데, 방금전에 langgraph 찍먹 강의를 보니 Agent의 역할이 꽤나 중요한 것 같았습니다. LangGraph 라이브러리로 RAG를 구현하는데도 Agent코드가 필요할까요? 코드를 짜고 실행하면 질문과 파일 내용이 여러번 겹쳐 입력되고, 그러면서 입/출력 토큰수가 계속 max token값을 넘어버리는 문제가 발생합니다.
실례가 되지 않으신다면 multi-LLM 구현하시는 코드도 전체 오픈해주실 수 있을까요?
비전공자에게 그저 한줄기 빛이십니다. 감사합니다!
관련성체크가 어떻게 가능할까요? @_@
35:47 입니다!
기존에 파이프라인 구성했던거도 다 저걸로 대체가능한걸까요
뭔가 직관적이네요
오늘부터 하나씩 테스트해 보시죠~😃
사내 LLM 이제 응용 단계에 들어가야하는데 LangGraph 활용하면 좋을 것 같네요
감사합니다!
아직까지는 만족하고 있습니다! 꼭 한 번 써보십쇼^^
LLM 서비스의 일타강사!
감사합니당🫰
2등
👍
스드스 뻘쭘
1등....
🫡
🎉🎉🎉
감사합니다.
감사합니다🫰