Video hay và rất dễ hiểu, em theo dõi video và làm theo được luôn. Hóng anh Thắng ra video hướng dẫn cách optimize để cho nó trả lời nhanh hơn. Chatbot mà thời gian phản hồi chậm quá ứng dụng thực tế không hiệu quả lắm ạ. Thanks anh
5 місяців тому
Thanks em. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup xem có giải pháp nào trc ko nhé!
Anh ơi em muốn hỏi thêm chút, khi mà em test thử thì kết quả model gốc khá là ngu, em có test trên vài model khác nữa giống với model trên LmStudio thì kết quả cũng không thay đổi và thời gian chạy thì rất lâu mặc dù cho trên LmStudio thì chạy khá là tốt là nhanh chóng! Anh cho em biết nguyên nhân được không ạ
Dạ anh ơi, khi chạy local thì thời gian phản hồi cũng khá lâu ( máy em có GPU). Vậy có cách nào để thời gian phản hồi rút ngắn lại ngoài cách thay đổi phần cứng mạnh hơn không ạ
Місяць тому+1
Em có thể dùng model nhẹ hơn tý em. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!
@ Dạ hiện tại em đang tìm hiểu sử dụng PhoBert để làm chatbot dạng extension để hỏi đáp trên trang web bất kì á anh. Mà em tìm hiểu thì thấy chưa có ai train PhoBert theo dạng anwsering quesion nên em mong anh ra video hướng dẫn ạ.
@@LeTien-gk8sx trước mình có 1 đồ án sài PhoBert nhưng làm task classifier, mình nghĩ đầu tiên bạn phải chuẩn bị bộ dataset đủ để fit với task QA của bạn, thì bạn có thể cấu hình thêm cho PhoBert như CNN, FCL thì mình nghĩ cũng có thể giải quyết bài toán này.
@@LeTien-gk8sx mình thấy PhoBERT chỉ train được theo cấu trúc 1 hỏi 1 đáp, câu sau ko liên quan đến câu trước, kể ra nó train được như GPT có history thì ngon
Khi em chạy thì nó đưa ra thông báo: ValueError: The de-serialization relies loading a pickle file. Pickle files can be modified to deliver a malicious payload that results in execution of arbitrary code on your machine.You will need to set allow_dangerous_deserialization to True to enable deserialization. If you do this, make sure that you trust the source of the data. For example, if you are loading a file that you created, and know that no one else has modified the file, then this is safe to do. Do not set this to True if you are loading a file from an untrusted source (e.g., some random site on the internet.). Nghĩa là nó đang cảnh báo rằng quá trình giải nén file pickle nó có thể gây nguy hiểm, có cách nào để tránh được không ạ?
Місяць тому
Bạn chụp ảnh post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup xem cho rõ nhé!
cho mình hỏi mình install thì nhận được lỗi: ERROR: Could not find a version that satisfies the requirement torch (from versions: none) ERROR: No matching distribution found for torch mình đang dùng visual studio code trên windows thanks
10 місяців тому+1
Bạn post lên Nhóm "Hội anh em thích ăn Mì AI" - facebook.com/groups/miaigroup kèm ảnh chụp cho dễ xem nhé!
cho em hỏi, em thấy hầu hết máy hiện tại đều có GPU, liệu GPU đó có chạy được model không ạ hay cần loại nào khác. Đồng thời, việc anh hỏi model có giúp model thông minh hơn không? Nếu không, làm cách nào để đưa nhiều data hơn cho chúng học ạ. Em mới học nên hỏi chưa đúng mong anh bỏ qua
19 днів тому
Em cần check xem GPU có hỗ trợ CUDA không nhé. Em có thể post cấu hình cụ thể lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup để xem có chạy đc ko nhé!
Đại ca cho em hỏi tý , e chạy file pdf có dung size 19mb thì lỗi :line 923, in __from index = faiss.IndexFlatL2(len(embeddings[0])) IndexError: list index out of range
8 місяців тому
Bạn post lên Nhóm "Hội anh em thích ăn Mì AI" - facebook.com/groups/miaigroup kèm ảnh cho tiện trao đổi nhé!
tại sao khi em thử chạy embedding model lại xuất hiện lỗi sau ạ nó khắc phục thế nào ạ C:\Users\dong3\AppData\Local\Programs\Python\Python310\lib\site-packages\pydantic\_internal\_fields.py:132: UserWarning: Field "model_name" in GPT4AllEmbeddings has conflict with protected namespace "model_". You may be able to resolve this warning by setting `model_config['protected_namespaces'] = ()`. warnings.warn( Failed to load llamamodel-mainline-cuda-avxonly.dll: LoadLibraryExW failed with error 0x7e Failed to load llamamodel-mainline-cuda.dll: LoadLibraryExW failed with error 0x7e
28 днів тому+1
Em chụp ảnh post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé
Anh chạy window chạy được file gguf không ạ ? Chứ em chạy trên pycharm thì định dạng file có biểu tượng dấu chấm hỏi, còn bên visual thì dưới dạng biểu tượng của text?
vậy file all-MiniLM-L6-v2-f16.gguf em có tải mà nó hiện ra lỗi như này ạ Model file path: D:\workSpace\TrainModel\boxchatAI\models\all-MiniLM-L6-v2-f16.gguf Traceback (most recent call last): File "D:\workSpace\TrainModel\boxchatAI\prepare_vector_db.py", line 65, in create_db_from_text() File "D:\workSpace\TrainModel\boxchatAI\prepare_vector_db.py", line 42, in create_db_from_text embedding_model = GPT4AllEmbeddings(model_file=model_file_path) File "D:\workSpace\TrainModel\boxchatAI\venv\lib\site-packages\pydantic\v1\main.py", line 341, in __init__ raise validation_error pydantic.v1.error_wrappers.ValidationError: 1 validation error for GPT4AllEmbeddings __root__ gpt4all.gpt4all.Embed4All() argument after ** must be a mapping, not NoneType (type=type_error) không biết anh có thể upload file này lên được không
cho em hỏi mình kết hợp với API của bard để làm nên 1 trợ lý ảo của riêng mình đc k ạ, khi hỏi bạn là ai ? , langchain trả lời , những câu hỏi liên quan tới kiến thức khác thì bard sẽ trả lời
10 місяців тому
Em post lên Nhóm "Hội anh em thích ăn Mì AI" - facebook.com/groups/miaigroup thảo luận cho tiện nha!
a ơi cho e hỏi là model embedding thay thế cho all-MiniLM-L6-v2-f16.gguf để run trên gpu thì dùng model nào dc a nhỉ ? trên vid a có bảo là có file colab ở trong github nhưng e xem thì k thấy đâu a ạ. E cám ơn a nhiều ạ!
10 місяців тому
À okie. Anh quên mất. Để anh up source colab lên nhé! Tên model anh ko nhớ chính xác. Em chứ run code là nó tải về!
Anh cho em hỏi hướng xây dựng chatbot hỗ trợ tư vấn mà dùng model gpt3.5 thì mình phát triển như nào để mình đưa được dữ liệu của mình ạ
10 місяців тому
À em cứ đưa dữ liệu của em vào context và gọi API lên GPT 3.5. Nhưng chú ý chi phí API chát đó nhé :D Cần thêm em post lên Nhóm "Hội anh em thích ăn Mì AI" - facebook.com/groups/miaigroup nhé!
Em chào anh ạ. Anh cho em hỏi có video nào anh hướng dẫn cách deploy chatbot không ạ?
3 місяці тому
Deploy chatbot nó còn tuỳ vào chatbot gì? Deploy ở đâu? Nền tàng gì? Dùng các thư viện nào… Nên Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!
anh cho em hỏi 1 vấn đề khi em gặp phải , em dùng gpt 4 vì em có apikey em dùng nó trả lời văn bản khá ok rồi , khi em upload 1 file pdf và em cho nó vào qdrant và em cho 1 cái promt để nó truy xuất cũng như sinh ra thông tin thêm cho em thì đã ok , nhưng khi em hỏi là file tôi vừa tải lên nói về cái gì -> thì nó đang kh hiểu được bối cảnh của việc tải lên của pdf mà nó chỉ embedding cái text của em thành 1 vector và so sánh với pdf em up vào db nên nó không hiểu đc. Thì trong trường hợp này em phải làm như nào ạ.
8 місяців тому
Em post lên Nhóm "Hội anh em thích ăn Mì AI" - facebook.com/groups/miaigroup cho tiện trao đổi nhé!
@ Cảm ơn bác, mình đã tải và sử dụng theo demo của bác, măc định dùng CPU, tốc độ xử lý quá chậm , hỏi 1 phát chắc mất 20-30 phút mới có câu trả lời :(
anh cho em hỏi khi em chạy code ở đoạn 34:15 thì em gặp lỗi 'Failed to load llamamodel-mainline-cuda-avxonly.dll: LoadLibraryExW failed with error 0x7e Failed to load llamamodel-mainline-cuda.dll: LoadLibraryExW failed with error 0x7e" là sao anh ơi. cứu em ơi. em có xem kĩ lại rồi
2 місяці тому
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!
Ai bị lỗi ở GPT4AllEmbeddings như vậy không ạ giúp em với: ValidationError: 1 validation error for GPT4AllEmbeddings __root__ gpt4all.gpt4all.Embed4All() argument after ** must be a mapping, not NoneType (type=type_error)
3 місяці тому
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!
Cám ơn tác giả, bài viết hay quá !
Cảm ơn bạn. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Rất hay ạ, xin cảm ơn anh
Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Video hay và rất dễ hiểu, em theo dõi video và làm theo được luôn. Hóng anh Thắng ra video hướng dẫn cách optimize để cho nó trả lời nhanh hơn. Chatbot mà thời gian phản hồi chậm quá ứng dụng thực tế không hiệu quả lắm ạ. Thanks anh
Thanks em. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup xem có giải pháp nào trc ko nhé!
Phải indexing cho embedded vector thì mới nhanh đc, thường ng ta hay dùng IVFFlat hoặc HNSW (trong Postgres)
@@khiemtran250 anh có tài liệu đọc để đánh index trong db không ạ, cho e xin với ạ
Tối về thử món này liền
Cảm ơn em nha. Cần thêm gì cứ lên Nhóm "Hội anh em thích ăn Mì AI" - facebook.com/groups/miaigroup nhé!
Hay quá Anh ạ, video chi tiết.
Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Đúng cái mình cần, đỉnh quá
Cảm ơn bạn. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Anh ơi em muốn hỏi thêm chút, khi mà em test thử thì kết quả model gốc khá là ngu, em có test trên vài model khác nữa giống với model trên LmStudio thì kết quả cũng không thay đổi và thời gian chạy thì rất lâu mặc dù cho trên LmStudio thì chạy khá là tốt là nhanh chóng! Anh cho em biết nguyên nhân được không ạ
Rất hay! cảm ơn bạn
Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Em đang làm khoá luận về đề tài này, em nên thuê server hay chạy local luôn để tốt nhất ạ
Nó tuỳ vào local của em máy có GPU ko? Nếu ko có thì nên thuê cho mạnh em ạ.
Dạ anh ơi, khi chạy local thì thời gian phản hồi cũng khá lâu ( máy em có GPU). Vậy có cách nào để thời gian phản hồi rút ngắn lại ngoài cách thay đổi phần cứng mạnh hơn không ạ
Em có thể dùng model nhẹ hơn tý em. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!
Anh làm thêm video kết nối Langchain với Facebook đi ạ
Em định kết nối như nào em?
Nó có hỗ trợ giống như Rasa không anh, hay mình phải tự viết API ạ
Phải tự viết em ơi :D@@NgaNguyen-ny6hq
Nhiều lúc là do loader của model anh ạ, em load thử bằng llamacpp nó trả lời khá khôn
Yeah cảm ơn em nhiều nhé!
Loader là sao v ạ?
Anh làm thêm ứng dụng PhoBert hỏi đáp tiếng Việt được không ạ. Em xem các video của anh thấy rất hay và rất dễ hiểu ạ!
Thanks em. Để a ngâm cứu nhé! Em có bài toán cụ thể ko?
@ Dạ hiện tại em đang tìm hiểu sử dụng PhoBert để làm chatbot dạng extension để hỏi đáp trên trang web bất kì á anh. Mà em tìm hiểu thì thấy chưa có ai train PhoBert theo dạng anwsering quesion nên em mong anh ra video hướng dẫn ạ.
@@LeTien-gk8sx trước mình có 1 đồ án sài PhoBert nhưng làm task classifier, mình nghĩ đầu tiên bạn phải chuẩn bị bộ dataset đủ để fit với task QA của bạn, thì bạn có thể cấu hình thêm cho PhoBert như CNN, FCL thì mình nghĩ cũng có thể giải quyết bài toán này.
@@LeTien-gk8sx mình thấy PhoBERT chỉ train được theo cấu trúc 1 hỏi 1 đáp, câu sau ko liên quan đến câu trước, kể ra nó train được như GPT có history thì ngon
Anh ơi cho e hỏi mình có thể tăng accuracy của model trong langchain ko? Và bằng cách nào ạ?
Em fine tune lại nhé. Cần thêm em post lên Nhóm "Hội anh em thích ăn Mì AI" - facebook.com/groups/miaigroup cho tiện trao đổi nha!
Khi em chạy thì nó đưa ra thông báo:
ValueError: The de-serialization relies loading a pickle file. Pickle files can be modified to deliver a malicious payload that results in execution of arbitrary code on your machine.You will need to set allow_dangerous_deserialization to True to enable deserialization. If you do this, make sure that you trust the source of the data. For example, if you are loading a file that you created, and know that no one else has modified the file, then this is safe to do. Do not set this to True if you are loading a file from an untrusted source (e.g., some random site on the internet.).
Nghĩa là nó đang cảnh báo rằng quá trình giải nén file pickle nó có thể gây nguy hiểm, có cách nào để tránh được không ạ?
Bạn chụp ảnh post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup xem cho rõ nhé!
Cái vector database nó chỉ tối ưu cho document thôi đúng không anh, giả sử mình muốn làm ứng dụng đặt hàng có database có sẵn thì cứ RAG thôi đko anh
Đúng rồi em. Có bạn dùng DB Mongo lun!
Vậy mình bỏ qua bước indexing vào luôn retrieval and generation luôn đúng không ạ
anh ơi, anh cho em hỏi langchain với RAG là 2 mô hình có liên quan đến nhau trong hoạt động k ạ
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
cho mình hỏi mình install thì nhận được lỗi:
ERROR: Could not find a version that satisfies the requirement torch (from versions: none)
ERROR: No matching distribution found for torch
mình đang dùng visual studio code trên windows
thanks
Bạn post lên Nhóm "Hội anh em thích ăn Mì AI" - facebook.com/groups/miaigroup kèm ảnh chụp cho dễ xem nhé!
llm mình dùng chatgpt thay vì vinallama để bot hiểu rồi và search trong vectordb đuợc ko a. như vậy có đỡ dùng cpu ko ạ? mong a giải thích.
Dùng ChatGPT thì mình sẽ gọi API lên server của Open AI nhé và không dùng CPU ở local nhưng lại mất tiền :D
@ mất tiền cũng ko sao. nhưng có sợ bị lộ dữ liệu ko a. vì vectordb mình đang ở local.
Trong clip anh cũng nói đó em. Chắc chắn có nguy cơ đó vì đã submit data lên trên đó rồi.@@daotran2637
@@daotran2637 mất tiền mà ko sao
Dạ hi anh và mọi người, Cho em hỏi em dùng window chạy cpu thì chạy được không ạ. Em chạy bị lỗi ạ
Chạy được em nha. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup kèm ảnh chụp xem lỗi ntn?
Anh cho em hỏi thêm là model tương tự nhưng có hỗ trợ lịch sử chat là model nào ạ?
Anh không hiểu ý em. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup xem nhé!
Mọi người cho mình hỏi máy mình có card đồ hoạ RTX 3060 12G thì có chạy ổn với những ứng dụng kiểu này không ạ
Theo mình thì 12GB cũng hơi nhỏ chút. Nhưng có thể chọn các model nhỏ chạy ok!
cho em hỏi, em thấy hầu hết máy hiện tại đều có GPU, liệu GPU đó có chạy được model không ạ hay cần loại nào khác. Đồng thời, việc anh hỏi model có giúp model thông minh hơn không? Nếu không, làm cách nào để đưa nhiều data hơn cho chúng học ạ. Em mới học nên hỏi chưa đúng mong anh bỏ qua
Em cần check xem GPU có hỗ trợ CUDA không nhé. Em có thể post cấu hình cụ thể lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup để xem có chạy đc ko nhé!
Anh có thể hướng dẫn chạy trên GPU không nhỉ? Rất thích anh làm những vid bổ ích ntn
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup xem nhé!
thay vì dùng model trên thì dùng Open AI API có tốt hơn không anh
Tốt hơn nhưng đắt tiền em ạ!
Trong ví dụ chưa thấy anh nói đến việc sử dụng RAG nhỉ?
Có clip ngay sau clip này em nhé. Em tìm trên kênh nha!
Clip nào vậy anh?
cho em hỏi, mình muốn dùng với kiểu dữ liệu dạng bảng như sheets và CSVs thì có khác biệt gì với PDF k ạ. Em cảm ơn
Đại ca cho em hỏi tý , e chạy file pdf có dung size 19mb thì lỗi :line 923, in __from
index = faiss.IndexFlatL2(len(embeddings[0]))
IndexError: list index out of range
Bạn post lên Nhóm "Hội anh em thích ăn Mì AI" - facebook.com/groups/miaigroup kèm ảnh cho tiện trao đổi nhé!
Vì trong folder data bạn không có file pdf á, bạn tạo folder data rồi thêm `LLM, LangChain và RAG.pdf` vào
a làm video về cách accuracy test cho cái langchain này đi ạ :D
Cái này a chưa làm bao giờ. Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup xem!
Ngoài model này còn model nào khác sử dụng được không ạ
Còn nhiều lắm. Bạn cứ post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup trao đổi nhé!
tại sao khi em thử chạy embedding model lại xuất hiện lỗi sau ạ nó khắc phục thế nào ạ
C:\Users\dong3\AppData\Local\Programs\Python\Python310\lib\site-packages\pydantic\_internal\_fields.py:132: UserWarning: Field "model_name" in GPT4AllEmbeddings has conflict with protected namespace "model_".
You may be able to resolve this warning by setting `model_config['protected_namespaces'] = ()`.
warnings.warn(
Failed to load llamamodel-mainline-cuda-avxonly.dll: LoadLibraryExW failed with error 0x7e
Failed to load llamamodel-mainline-cuda.dll: LoadLibraryExW failed with error 0x7e
Em chụp ảnh post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé
bài này ai chạy windows sẽ gặp lỗi chỗ FAISS thì phải, nó không support Windows. chạy trên linux và Mac thì ngon
Em chạy win ngon anh ơi kaka
faiss.FAISS
Anh chạy window chạy được file gguf không ạ ? Chứ em chạy trên pycharm thì định dạng file có biểu tượng dấu chấm hỏi, còn bên visual thì dưới dạng biểu tượng của text?
Em thử cài đặt theo hướng dẫn thì có cái pip install llma-cpp-python với cài cả pip install gguf rồi luôn á
Traceback (most recent call last):
File "C:\Users\B304\Documents\NLP_Project\NLP_Project\prepare_vector_db.py", line 56, in
create_db_from_text()
File "C:\Users\B304\Documents\NLP_Project\NLP_Project\prepare_vector_db.py", line 32, in create_db_from_text
embedding_model = GPT4AllEmbeddings(model_file="models/all-MiniLM-L6-v2-f16.gguf")
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\B304\Documents\NLP_Project\NLP_Project\.venv\Lib\site-packages\pydantic\v1\main.py", line 339, in __init__
values, fields_set, validation_error = validate_model(__pydantic_self__.__class__, data)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\B304\Documents\NLP_Project\NLP_Project\.venv\Lib\site-packages\pydantic\v1\main.py", line 1100, in validate_model
values = validator(cls_, values)
^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\B304\Documents\NLP_Project\NLP_Project\.venv\Lib\site-packages\langchain_community\embeddings\gpt4all.py", line 39, in validate_environment
model_name=values["model_name"],
~~~~~~^^^^^^^^^^^^^^
KeyError: 'model_name'
Anh cho em hỏi nếu muốn model này hỗ trợ tiếng Việt không dấu thì mình cần làm gì ạ?
Thì em phải chuẩn bị bộ data không dấu để finetune. Hoặc em thử yếu cầu model bỏ dấu cho em xem sao (a ko rõ họ có train với data ko dấu ko?)
@ Dạ vâng thanks anh
cho em hỏi nguyên model này chạy bằng CPU có bình thường không ạ
Hơi chậm em ạ. Nên có GPU. Em có thể chạy trên colab.
vậy file all-MiniLM-L6-v2-f16.gguf em có tải mà nó hiện ra lỗi như này ạ
Model file path: D:\workSpace\TrainModel\boxchatAI\models\all-MiniLM-L6-v2-f16.gguf
Traceback (most recent call last):
File "D:\workSpace\TrainModel\boxchatAI\prepare_vector_db.py", line 65, in
create_db_from_text()
File "D:\workSpace\TrainModel\boxchatAI\prepare_vector_db.py", line 42, in create_db_from_text
embedding_model = GPT4AllEmbeddings(model_file=model_file_path)
File "D:\workSpace\TrainModel\boxchatAI\venv\lib\site-packages\pydantic\v1\main.py", line 341, in __init__
raise validation_error
pydantic.v1.error_wrappers.ValidationError: 1 validation error for GPT4AllEmbeddings
__root__
gpt4all.gpt4all.Embed4All() argument after ** must be a mapping, not NoneType (type=type_error)
không biết anh có thể upload file này lên được không
không hiểu sao mình làm với 1 file lớn là 1 quyển sách thì kết quả ra ít chính xác
cho em hỏi mình kết hợp với API của bard để làm nên 1 trợ lý ảo của riêng mình đc k ạ, khi hỏi bạn là ai ? , langchain trả lời , những câu hỏi liên quan tới kiến thức khác thì bard sẽ trả lời
Em post lên Nhóm "Hội anh em thích ăn Mì AI" - facebook.com/groups/miaigroup thảo luận cho tiện nha!
a ơi cho e hỏi là model embedding thay thế cho all-MiniLM-L6-v2-f16.gguf để run trên gpu thì dùng model nào dc a nhỉ ? trên vid a có bảo là có file colab ở trong github nhưng e xem thì k thấy đâu a ạ. E cám ơn a nhiều ạ!
À okie. Anh quên mất. Để anh up source colab lên nhé! Tên model anh ko nhớ chính xác. Em chứ run code là nó tải về!
@ source colab trong cùng repo github đk a ạ ?
Đúng rồi. Anh vừa cập nhật lên nhé!@@tuanhungnguyen3036
@ e cám ơn a nhiều ạ!
Cái này ai chạy được window chưa ạ?? Em bị lỗi là nó không nhận dạng file á, em chạy trên pycharm và visual rồi á
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup xem nhé!
GPT4AllEmbeddings() báo lỗi này là sao ạ:
"gguf_init_from_file: failed to read tensor data"
"bert_load_from_file: gguf_init_from_file() failed"
mình cũng bị lỗi này, chưa biết khắc phục sao
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup trao đổi cho tiện nhé!
không biết bạn khắc phục được lỗi này chưa mình bị mà research không fix được ạ :(((
@@nguyenduyanh1 bạn có thể dùng model embedding khác. Mình dùng vietnamese bi encoder của bkai. có thể lấy từ hugging face
Anh cho em hỏi hướng xây dựng chatbot hỗ trợ tư vấn mà dùng model gpt3.5 thì mình phát triển như nào để mình đưa được dữ liệu của mình ạ
À em cứ đưa dữ liệu của em vào context và gọi API lên GPT 3.5. Nhưng chú ý chi phí API chát đó nhé :D
Cần thêm em post lên Nhóm "Hội anh em thích ăn Mì AI" - facebook.com/groups/miaigroup nhé!
Em chào anh ạ. Anh cho em hỏi có video nào anh hướng dẫn cách deploy chatbot không ạ?
Deploy chatbot nó còn tuỳ vào chatbot gì? Deploy ở đâu? Nền tàng gì? Dùng các thư viện nào…
Nên Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!
dạ, em muốn deploy chatbot kiểu hỏi đáp về thông tin file text trên cloud ạ
em muốn có giao diện nữa thì phả làm như thế nào ạ
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup trao đổi cho tiện nha!
chạy trên google colab ổn không anh?
Chạy tạm đc em. Đôi lúc hết bộ nhớ!
anh cho em hỏi 1 vấn đề khi em gặp phải , em dùng gpt 4 vì em có apikey em dùng nó trả lời văn bản khá ok rồi , khi em upload 1 file pdf và em cho nó vào qdrant và em cho 1 cái promt để nó truy xuất cũng như sinh ra thông tin thêm cho em thì đã ok , nhưng khi em hỏi là file tôi vừa tải lên nói về cái gì -> thì nó đang kh hiểu được bối cảnh của việc tải lên của pdf mà nó chỉ embedding cái text của em thành 1 vector và so sánh với pdf em up vào db nên nó không hiểu đc. Thì trong trường hợp này em phải làm như nào ạ.
Em post lên Nhóm "Hội anh em thích ăn Mì AI" - facebook.com/groups/miaigroup cho tiện trao đổi nhé!
bạn hỏi chưa, cho mình xin link tham khảo cách giải quyết nhé
A ơi có cách nào build 1 con AI mà ko dính tới chi phí, mà nó đọc đc dữ liệu db của mình k A
Chính là video em đang đọc đó, có dính tới chi phí đâu :D
@ cám ơn a nhiều hi
Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Nếu cấu hình dùng GPU ( air M1) thì cấu hình sao vậy bác
Mình chưa thử. Để mình thử rồi làm video nhé!
@ Cảm ơn bác, mình đã tải và sử dụng theo demo của bác, măc định dùng CPU, tốc độ xử lý quá chậm , hỏi 1 phát chắc mất 20-30 phút mới có câu trả lời :(
trên mac m1 mình cũng chậm tương tự@@CẩnVũ-u9g. Còn chạy trên windows i5 đời 8 thấy khá nhanh, không đến 5 phút ra trả lời
Có link colab không ạ anh?
Em xem trong phần mô tả của video nhé!
Cái này miễn phí hay thu phí vậy a ơi
FREE em nha!
A ơi nếu như mình đọc nhiều file cùng lúc thì model đó hiểu không nhỉ, với chỗ mà max_new_token là sao ạ?
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!
@@khanhnguyen-iz6ee Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!
anh cho em hỏi khi em chạy code ở đoạn 34:15 thì em gặp lỗi 'Failed to load llamamodel-mainline-cuda-avxonly.dll: LoadLibraryExW failed with error 0x7e
Failed to load llamamodel-mainline-cuda.dll: LoadLibraryExW failed with error 0x7e" là sao anh ơi. cứu em ơi. em có xem kĩ lại rồi
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!
mình cũng bị lỗi như bạn, bạn biết cách khắc phục rồi có thể chỉ mình được không. Mình cảm ơn!
Ai bị lỗi ở GPT4AllEmbeddings như vậy không ạ giúp em với:
ValidationError: 1 validation error for GPT4AllEmbeddings
__root__
gpt4all.gpt4all.Embed4All() argument after ** must be a mapping, not NoneType (type=type_error)
Em post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup cho tiện trao đổi nhé!