Розмір відео: 1280 X 720853 X 480640 X 360
Показувати елементи керування програвачем
Автоматичне відтворення
Автоповтор
能不能出一期视频指导如何配置 anythingllm 的 api 到 python 程序中？
6:43: 設定搜尋引擎功能
謝謝分享與示範😍
請問在更改embedding model後, 所有查詢都出現錯誤訊息: Failed to execute query stream: Invalid input, No vector column found to match with the query vector dimension: 768, 這是什麼原因?
更改embedding model後要進cache裡刪除舊的向量暫存之後再重新embed一次才行差不多在影片 5:42 左右有講
想知道SQL agent要怎麼使用😂
按照你的步骤设置完但是和他说话就一直加载
感謝分享
这软件和ollma一样，不建立新的分区就一直反复回答上面的问题，除了检索功能以外甚至不如jan 好用，唯一不错的是支持中文
還有其他的可以推薦嗎?
請問這個版本有沒有embed chat 功能
桌面版的沒有Embedded Chat那個要Docker版的才有
本地安装的话，给他文件是不是多余且麻烦？因为我本机中的文档非常多，直接指定他某个文件夹不就行了吗，这样或许能够节约一些磁盘空间的重复使用。
像是 PDF、DOC 等檔案是沒有辦法如 txt 檔直接讀取使用的需要先想辦法讀取內容因此不如先將他讀取完後轉存到較好處理的 txt 檔中再來也有可能是因為 AnythingLLM 有自架網頁的版本桌面版是基於這個改來的所以這些程式邏輯會一樣
硬體規格有特舒的需求？否則跑不動
@@leesc311 就是如果要完全本機執行的話最好要能跑得動 llama 3.1 8b 體驗會比較好差不多要 16gb 系統記憶體 + 4gb vram的顯卡在差一點的硬體的話(例如沒有獨立顯卡或只有 2gb vram 的顯卡)跑 gemma 2 2b 效果也還可以接受就是 Agent 功能用 gemma 2 2b 效果比較差以上供你參考w
@@the_walking_fish 我的是聯想thinkbook core i7筆電，16gb ram無獨立顯卡，有建議的解決方案嗎？似乎都要外接，價錢不便宜。煩請指正
@@leesc311 沒有顯卡就跑不動了，你光靠CPU去跑那完全是折磨。
請問它跟在雲端運算, 例如Chatgpt這類的AI, 比起來有甚麼優勢?我的意思是說, 不考慮這些雲端AI需要收費或限制流量等問題, 本地端AI還要安裝或設置...等, 那為何不直接用雲端AI就好?是考量隱私或安全性等原因嗎?
完全本機運行的重點確實是為了隱私另外openai目前沒有提供rag的功能要搜文件內容的話要麼裝程式在本機跑然後看要本機跑llm還是呼叫api要麼還要再找一個線上平台使用資料外洩的風險更大
我這邊按照你的預設設定，測試回答算是滿慢的，大概一個問題要3~5分鐘才回答
完全用自己電腦跑的話速度主要還是取決於電腦的硬體規格如果很慢的話可能就不是很適合用自己電腦跑了也許可以考慮調用API不然使用體驗太差
感謝分享 請問AnythingLLM和 LM studio、Ollama工具、Jan又有什麼不同，AnythingLLM用huggingface下載的GGUF檔來跑嗎? 關於爬蟲方面您說的更換ollama embeded 有點看不太懂是怎麼更新的耶謝謝
anythingllm、lm studio、jan 這三個都是應用介面只是提供、整合了不同的功能而已ollama 則是用來執行語言模型用的程式像是anythingllm在不選用其他api的情況下實際上就是透過ollama來執行llm推理再來，gguf檔anything是可以載入的我在影片中應該有提到至於 embedding 的部分那個需要電腦上有裝 ollama並且使用指令下載好 embedding 模型再進入anythingllm的設定選用希望以上的回覆有幫助到你！
@@the_walking_fish 感謝 請問anythingllm是哪個國家團隊開發的啊? 謝謝
请教老师 ，这个本地知识库可以存贮或者运行多少个文档，或者多少万文字的内容呢？
理論上沒什麼限制但如果檔案很多同時embedding model選的比較差可能會導致查到錯誤的參考資料
这不就是一个模型的ui
是的，他就是個整合了一些工具的UI只是安裝、操作很簡單大多數人可以很方便使用而已
这个破烂软件如果用来查你给它的文档里面的内容查出来的精确度太低。而且还占电脑硬件资源太多。
能不能出一期视频指导如何配置 anythingllm 的 api 到 python 程序中？
6:43: 設定搜尋引擎功能
謝謝分享與示範😍
請問在更改embedding model後, 所有查詢都出現錯誤訊息: Failed to execute query stream: Invalid input, No vector column found to match with the query vector dimension: 768, 這是什麼原因?
更改embedding model後
要進cache裡刪除舊的向量暫存
之後再重新embed一次才行
差不多在影片 5:42 左右有講
想知道SQL agent要怎麼使用😂
按照你的步骤设置完但是和他说话就一直加载
感謝分享
这软件和ollma一样，不建立新的分区就一直反复回答上面的问题，除了检索功能以外甚至不如jan 好用，唯一不错的是支持中文
還有其他的可以推薦嗎?
請問這個版本有沒有embed chat 功能
桌面版的沒有Embedded Chat
那個要Docker版的才有
本地安装的话，给他文件是不是多余且麻烦？因为我本机中的文档非常多，直接指定他某个文件夹不就行了吗，这样或许能够节约一些磁盘空间的重复使用。
像是 PDF、DOC 等檔案
是沒有辦法如 txt 檔直接讀取使用的
需要先想辦法讀取內容
因此不如先將他讀取完後
轉存到較好處理的 txt 檔中
再來也有可能是因為 AnythingLLM 有自架網頁的版本
桌面版是基於這個改來的
所以這些程式邏輯會一樣
硬體規格有特舒的需求？否則跑不動
@@leesc311 就是如果要完全本機執行的話
最好要能跑得動 llama 3.1 8b 體驗會比較好
差不多要 16gb 系統記憶體 + 4gb vram的顯卡
在差一點的硬體的話(例如沒有獨立顯卡或只有 2gb vram 的顯卡)
跑 gemma 2 2b 效果也還可以接受
就是 Agent 功能用 gemma 2 2b 效果比較差
以上供你參考w
@@the_walking_fish 我的是聯想thinkbook core i7筆電，16gb ram無獨立顯卡，有建議的解決方案嗎？似乎都要外接，價錢不便宜。煩請指正
@@leesc311 沒有顯卡就跑不動了，你光靠CPU去跑那完全是折磨。
請問它跟在雲端運算, 例如Chatgpt這類的AI, 比起來有甚麼優勢?
我的意思是說, 不考慮這些雲端AI需要收費或限制流量等問題,
本地端AI還要安裝或設置...等, 那為何不直接用雲端AI就好?
是考量隱私或安全性等原因嗎?
完全本機運行的重點確實是為了隱私
另外openai目前沒有提供rag的功能
要搜文件內容的話
要麼裝程式在本機跑
然後看要本機跑llm還是呼叫api
要麼還要再找一個線上平台使用
資料外洩的風險更大
我這邊按照你的預設設定，測試回答算是滿慢的，大概一個問題要3~5分鐘才回答
完全用自己電腦跑的話
速度主要還是取決於電腦的硬體規格
如果很慢的話
可能就不是很適合用自己電腦跑了
也許可以考慮調用API
不然使用體驗太差
感謝分享 請問AnythingLLM和 LM studio、Ollama工具、Jan又有什麼不同，AnythingLLM用huggingface下載的GGUF檔來跑嗎?
關於爬蟲方面您說的更換ollama embeded 有點看不太懂是怎麼更新的耶
謝謝
anythingllm、lm studio、jan 這三個都是應用介面
只是提供、整合了不同的功能而已
ollama 則是用來執行語言模型用的程式
像是anythingllm在不選用其他api的情況下
實際上就是透過ollama來執行llm推理
再來，gguf檔anything是可以載入的
我在影片中應該有提到
至於 embedding 的部分
那個需要電腦上有裝 ollama
並且使用指令下載好 embedding 模型
再進入anythingllm的設定選用
希望以上的回覆有幫助到你！
@@the_walking_fish 感謝 請問anythingllm是哪個國家團隊開發的啊? 謝謝
请教老师 ，这个本地知识库可以存贮或者运行多少个文档，或者多少万文字的内容呢？
理論上沒什麼限制
但如果檔案很多
同時embedding model選的比較差
可能會導致查到錯誤的參考資料
这不就是一个模型的ui
是的，他就是個整合了一些工具的UI
只是安裝、操作很簡單
大多數人可以很方便使用而已
这个破烂软件如果用来查你给它的文档里面的内容查出来的精确度太低。而且还占电脑硬件资源太多。