짧은 문장만 가능한건 아닌걸로 알고있고, OpenAIEmbedding에 비하면 퀄리티가 떨어집니다. HuggingFaceInstructEmbedding이라고 새로나온게 있는데, 이건 퀄리티가 좀 올라갔어요. ua-cam.com/video/FXy2hGlnavA/v-deo.html 영상 참고하세요.
안녕하세요! 영상 너무 감사합니다 다름이 아니라 궁금한점이 있는데, 영상에서 적혀있는거로는 huggingface embedding는 no cost지만 openai embedding과 비교가 안된다고 하셨는데 성능면에서 말씀하신건가요? 이 두 임베딩방식을 비교하는 사이트나 영상이 있을까요?
안녕하세요. 올려주신 영상 덕분에 빠르게 실습해볼 수 있었습니다. 감사합니다. 시간이 괜찮으시다면 추가적으로 QA진행할때 문서의 출처(원본 문서의 어디를 확인해서 가져오는지)를 확인할 수 있는 방법도 영상으로 제작해주실 수 있으신가요 ? 아웃풋으로 출처를 확인할 수 있다면 답변에 신뢰성을 얻을 수 있을것 같아서요..!
@@practical-ai 답변 감사드립니다. fdb.similarity_search를 통해 원하는 답변의 형태를 얻을 수 있었습니다. 다만 index.query_with_sources의 경우 dict형식으로 sources:에 top 4에 해당하는 문서 위치(?)로 보이는 표기가되어있는데 어떻게 활용해야하는지 어려움이있어서 langchain 문서를 확인해봐야할것 같습니다. 혹시 추가 tip 있으시면 답변달아주세요 ㅎㅎㅎ
PDF OCR 기능 있는거 본적이 있는데 다시 찾으려니 못찾겠네요. python.langchain.com/en/latest/modules/indexes/document_loaders/examples/pdf.html 여기 보면 여러가지 종류의 PDF reader들이 있어요. 정보 좀더 찾아볼께요~
영상 잘 봤습니다:) 영상 중에 map_rerank에 관한 설명을 하실 때 관련 정보를 못 찾으셨다고 하셔서 댓글 달아요. ua-cam.com/video/f9_BWhCI4Zo/v-deo.html 이 영상에서 map_reduce뿐만 아니라 stuff, refine, map_rerank 등에 대해서도 자세하게 설명해주니 참고하시면 좋을 것 같습니다. 다시 한번 양질의 콘텐츠 만들어주셔서 감사드립니다!
내용 너무 좋아요 감사합니다
어메이징!!!! 이런 자세한 설명은 전 정말 듣도 보도 못했습니다. 그것도 궁금했던 것만 골라서 콕콕 설명해 주시네요.
바로 옆에서 생생히 가르쳐주는 듯한 최고의 영상입니다. 감사합니다!
저 진짜로 유투브 수년 째 프리미엄 유저인데,, 진짜 댓글 안다는데... 왕 따봉 드리고 갑니다. 너무 너무 동영상 강의 다 좋아요. 이게 아무래도 제가 관심가는 분야인데, 희귀한 영상이다 보니 그런거 같아요 ^^;;;
감사합니다😍😍😍
코랩까지 오픈해주셨네요. 너무 감사합니다. 잘 배우고 갑니다!!
항상 잘 보고있습니다 감사합니다
랭체인 궁금했었는데 도움이 많이 되었습니다. 감사합니다.
저 유튜브 댓글 안쓰는데...정말 설명도 잘해주시고 소스까지 공유해주시니 너무 감사합니다!!! 앞으로도 좋은 강의 부탁드릴게요. 다시 한번 감사합니다!
찾고 있던 건데 ㅠㅠ 감사합니다!
쉽게 설명해 주셔서 귀에 쏙쏙 들어옵니다...감사합니다.
설명 자세해서 ㄹㅇ 감사합니다. 개꿀
오프ai임베딩, 허깅페이스 임베딩 관련 댓글 잘 읽었습니다. 센텐스트랜스포머 sbert 임베딩의 성능은 어떤가요?
python.langchain.com/en/latest/modules/models/text_embedding/examples/sentence_transformers.html 여기 읽어보니 HuggingFaceEmbedding이 이거를 사용하는거 같네요.
@@practical-ai 아그렇군요.. 답변 너무 감사해요. 영상 너무 많은 도움이 됩니다 감사합니다!
HuggingFace의 embedding은 짧은 문장만 가능하니 유의해야겠네요.
짧은 문장만 가능한건 아닌걸로 알고있고, OpenAIEmbedding에 비하면 퀄리티가 떨어집니다. HuggingFaceInstructEmbedding이라고 새로나온게 있는데, 이건 퀄리티가 좀 올라갔어요. ua-cam.com/video/FXy2hGlnavA/v-deo.html 영상 참고하세요.
@@practical-ai embedding시 shape size가 넘어가서 error가 납니다 ㅠ
안녕하세요!
영상 너무 감사합니다
다름이 아니라 궁금한점이 있는데, 영상에서 적혀있는거로는 huggingface embedding는 no cost지만 openai embedding과 비교가 안된다고 하셨는데 성능면에서 말씀하신건가요?
이 두 임베딩방식을 비교하는 사이트나 영상이 있을까요?
비교가 안된다는거는 벡터끼리 비교가 안된다는겁니다. Embedding 뽑는 방법은 정하기 나름입니다. LLM 모델에서 쓰는걸 쓰면 제일 이상적이긴해요. 저는 입력이 길지 않고 결과가 중요하다면 OpenAIEmbedding을 쓸듯해요. 임베딩 길이도 OpenAI가 HF보다 3배 길었던거 같아요.
잘 정리해 주셔서 쉽게 이해할 수 있었습니다. ^^b
너무 감사합니다
요약 한글로 하는것은 예제보니까 prompt_template 쓰면서 CONCISE SUMMARY IN KOREAN: 식으로 넣어주면 되더라구요
안녕하세요. 올려주신 영상 덕분에 빠르게 실습해볼 수 있었습니다. 감사합니다.
시간이 괜찮으시다면 추가적으로 QA진행할때 문서의 출처(원본 문서의 어디를 확인해서 가져오는지)를 확인할 수 있는 방법도 영상으로 제작해주실 수 있으신가요 ? 아웃풋으로 출처를 확인할 수 있다면 답변에 신뢰성을 얻을 수 있을것 같아서요..!
제가 이해한바로는 프롬프트와 유사한 split된 문서중 일부를 LLM모델에 전달하는걸로 이해하고있어서 그 부분을 출력하거나 관련된 문장을 볼드표기해서 출력할 수 있으면 좋을것 같습니다.
fdb.similarity_search 사용하시면 벡터DB에서 직접 검색도 가능하고,
index.query 대신 index.query_with_sources를 써보세요.
@@practical-ai 답변 감사드립니다. fdb.similarity_search를 통해 원하는 답변의 형태를 얻을 수 있었습니다. 다만 index.query_with_sources의 경우 dict형식으로 sources:에 top 4에 해당하는 문서 위치(?)로 보이는 표기가되어있는데 어떻게 활용해야하는지 어려움이있어서 langchain 문서를 확인해봐야할것 같습니다. 혹시 추가 tip 있으시면 답변달아주세요 ㅎㅎㅎ
영상 아주 좋아서 감사합니다. pdf 화일 어마하게 큰걸 loading했는데, 너무 시간이 많이 걸려서 그러는지 RateLimtError 뜨네요. 해결방법이 있을까요?
Summarization이라면 비용이 많이 나올거에요... 현재 무료 체험 단계라면 RateLimit이 조금만 써도 걸릴거고, 유료로 쓰면 RateLimit이 덜 걸립니다. 다만 Summarization은 비용이 많이 드는 작업이니 조심하세요~
온 세상이 뉴진스다..
pdf, 이미지 파일도 텍스트로 추출할 수 있나요?
PDF OCR 기능 있는거 본적이 있는데 다시 찾으려니 못찾겠네요. python.langchain.com/en/latest/modules/indexes/document_loaders/examples/pdf.html 여기 보면 여러가지 종류의 PDF reader들이 있어요. 정보 좀더 찾아볼께요~
python.langchain.com/en/latest/integrations/unstructured.html 이거 참고하세요.
@@practical-ai 넵! 감사합니다!!!!
랭체인 코랩링크 감사합니다
영상 잘 봤습니다:)
영상 중에 map_rerank에 관한 설명을 하실 때 관련 정보를 못 찾으셨다고 하셔서 댓글 달아요.
ua-cam.com/video/f9_BWhCI4Zo/v-deo.html
이 영상에서 map_reduce뿐만 아니라 stuff, refine, map_rerank 등에 대해서도 자세하게 설명해주니 참고하시면 좋을 것 같습니다.
다시 한번 양질의 콘텐츠 만들어주셔서 감사드립니다!
감사합니다. 영상 잘 봤습니다. 영상보니 map_rerank는 요약 예제가 아니긴 하네요.
@@practical-ai 네 그게 조금 아쉽긴 했어요. 그래도 대략적으로 어떤식으로 작동하는지 이론적인 것과 코드가 어떻게 움직이는지 설명해줘서 좋더라고요.
저는 초보로서 이해는 잘 하지 못하지만 계속 보고 있습니다. 하다보면 빠르게 습득할 수 있을 것 같다는 생각이 들어서입니다...링크에 연결된 colab에 들어가서 play를 하면 저는 Error가 뜨는데 이유가 뭘까요
API key 입력하셨나요?
@@mix-si3xq ㅋㅋ
아항 입력을해야하는군요
감사합니다
지식이 짧아서...좋은 영상 너무 감사합니다
링크 볼수 있을까요
Colab 링크는 설명에 있어요~