Розмір відео: 1280 X 720853 X 480640 X 360
Показувати елементи керування програвачем
Автоматичне відтворення
Автоповтор
謝謝分享與示範😍
能不能出一期视频指导如何配置 anythingllm 的 api 到 python 程序中？
請問在更改embedding model後, 所有查詢都出現錯誤訊息: Failed to execute query stream: Invalid input, No vector column found to match with the query vector dimension: 768, 這是什麼原因?
更改embedding model後要進cache裡刪除舊的向量暫存之後再重新embed一次才行差不多在影片 5:42 左右有講
这软件和ollma一样，不建立新的分区就一直反复回答上面的问题，除了检索功能以外甚至不如jan 好用，唯一不错的是支持中文
感謝分享
請問它跟在雲端運算, 例如Chatgpt這類的AI, 比起來有甚麼優勢?我的意思是說, 不考慮這些雲端AI需要收費或限制流量等問題, 本地端AI還要安裝或設置...等, 那為何不直接用雲端AI就好?是考量隱私或安全性等原因嗎?
完全本機運行的重點確實是為了隱私另外openai目前沒有提供rag的功能要搜文件內容的話要麼裝程式在本機跑然後看要本機跑llm還是呼叫api要麼還要再找一個線上平台使用資料外洩的風險更大
想知道SQL agent要怎麼使用😂
本地安装的话，给他文件是不是多余且麻烦？因为我本机中的文档非常多，直接指定他某个文件夹不就行了吗，这样或许能够节约一些磁盘空间的重复使用。
像是 PDF、DOC 等檔案是沒有辦法如 txt 檔直接讀取使用的需要先想辦法讀取內容因此不如先將他讀取完後轉存到較好處理的 txt 檔中再來也有可能是因為 AnythingLLM 有自架網頁的版本桌面版是基於這個改來的所以這些程式邏輯會一樣
我這邊按照你的預設設定，測試回答算是滿慢的，大概一個問題要3~5分鐘才回答
完全用自己電腦跑的話速度主要還是取決於電腦的硬體規格如果很慢的話可能就不是很適合用自己電腦跑了也許可以考慮調用API不然使用體驗太差
硬體規格有特舒的需求？否則跑不動
@@leesc311 就是如果要完全本機執行的話最好要能跑得動 llama 3.1 8b 體驗會比較好差不多要 16gb 系統記憶體 + 4gb vram的顯卡在差一點的硬體的話(例如沒有獨立顯卡或只有 2gb vram 的顯卡)跑 gemma 2 2b 效果也還可以接受就是 Agent 功能用 gemma 2 2b 效果比較差以上供你參考w
@@the_walking_fish 我的是聯想thinkbook core i7筆電，16gb ram無獨立顯卡，有建議的解決方案嗎？似乎都要外接，價錢不便宜。煩請指正
@@leesc311 沒有顯卡就跑不動了，你光靠CPU去跑那完全是折磨。
请教老师 ，这个本地知识库可以存贮或者运行多少个文档，或者多少万文字的内容呢？
理論上沒什麼限制但如果檔案很多同時embedding model選的比較差可能會導致查到錯誤的參考資料
这不就是一个模型的ui
是的，他就是個整合了一些工具的UI只是安裝、操作很簡單大多數人可以很方便使用而已
这个破烂软件如果用来查你给它的文档里面的内容查出来的精确度太低。而且还占电脑硬件资源太多。
謝謝分享與示範😍
能不能出一期视频指导如何配置 anythingllm 的 api 到 python 程序中？
請問在更改embedding model後, 所有查詢都出現錯誤訊息: Failed to execute query stream: Invalid input, No vector column found to match with the query vector dimension: 768, 這是什麼原因?
更改embedding model後
要進cache裡刪除舊的向量暫存
之後再重新embed一次才行
差不多在影片 5:42 左右有講
这软件和ollma一样，不建立新的分区就一直反复回答上面的问题，除了检索功能以外甚至不如jan 好用，唯一不错的是支持中文
感謝分享
請問它跟在雲端運算, 例如Chatgpt這類的AI, 比起來有甚麼優勢?
我的意思是說, 不考慮這些雲端AI需要收費或限制流量等問題,
本地端AI還要安裝或設置...等, 那為何不直接用雲端AI就好?
是考量隱私或安全性等原因嗎?
完全本機運行的重點確實是為了隱私
另外openai目前沒有提供rag的功能
要搜文件內容的話
要麼裝程式在本機跑
然後看要本機跑llm還是呼叫api
要麼還要再找一個線上平台使用
資料外洩的風險更大
想知道SQL agent要怎麼使用😂
本地安装的话，给他文件是不是多余且麻烦？因为我本机中的文档非常多，直接指定他某个文件夹不就行了吗，这样或许能够节约一些磁盘空间的重复使用。
像是 PDF、DOC 等檔案
是沒有辦法如 txt 檔直接讀取使用的
需要先想辦法讀取內容
因此不如先將他讀取完後
轉存到較好處理的 txt 檔中
再來也有可能是因為 AnythingLLM 有自架網頁的版本
桌面版是基於這個改來的
所以這些程式邏輯會一樣
我這邊按照你的預設設定，測試回答算是滿慢的，大概一個問題要3~5分鐘才回答
完全用自己電腦跑的話
速度主要還是取決於電腦的硬體規格
如果很慢的話
可能就不是很適合用自己電腦跑了
也許可以考慮調用API
不然使用體驗太差
硬體規格有特舒的需求？否則跑不動
@@leesc311 就是如果要完全本機執行的話
最好要能跑得動 llama 3.1 8b 體驗會比較好
差不多要 16gb 系統記憶體 + 4gb vram的顯卡
在差一點的硬體的話(例如沒有獨立顯卡或只有 2gb vram 的顯卡)
跑 gemma 2 2b 效果也還可以接受
就是 Agent 功能用 gemma 2 2b 效果比較差
以上供你參考w
@@the_walking_fish 我的是聯想thinkbook core i7筆電，16gb ram無獨立顯卡，有建議的解決方案嗎？似乎都要外接，價錢不便宜。煩請指正
@@leesc311 沒有顯卡就跑不動了，你光靠CPU去跑那完全是折磨。
请教老师 ，这个本地知识库可以存贮或者运行多少个文档，或者多少万文字的内容呢？
理論上沒什麼限制
但如果檔案很多
同時embedding model選的比較差
可能會導致查到錯誤的參考資料
这不就是一个模型的ui
是的，他就是個整合了一些工具的UI
只是安裝、操作很簡單
大多數人可以很方便使用而已
这个破烂软件如果用来查你给它的文档里面的内容查出来的精确度太低。而且还占电脑硬件资源太多。