Розмір відео: 1280 X 720853 X 480640 X 360
Показувати елементи керування програвачем
Автоматичне відтворення
Автоповтор
非常好的教程。本来以为我已经知道怎么用ollama了，没想到又学到很多东西。
謝謝講解，這正是我需要的管理工具
非常實用! 感謝這個影片帶我入門Ollama
希望讲一些使用者更关注的问题，比如模型能力，中文支持程度，硬件要求等
好的收到，感谢建议，后续会覆盖一些此类问题
感谢分享，小白很受益！
太棒了，能有帮到你太好了😀
感謝分享教學 請問有windows安裝介面的版本教學嗎?想說有什麼方法可以用OLLAMA來跑自己另外下載的模型以及有什麼比較簡單易操作的Ollama Web UI來產生介面類似chatgpt這樣直接使用謝謝
Hi 抱歉，我手邊沒有WINDOWS PC，不過你可以參考這篇文章。ollama.com/blog/windows-preview關於web UI，可以參考 gradio，streamlit 還有 openwebui。我在這支影片裡面有demo gradio的一些簡單功能，看看是否符合你的需求。ua-cam.com/video/HtqmEREAPC0/v-deo.html 。 另外，如果你希望下載模型然後用ollama，需要去huggingface看看model 的gguf文檔，ollama可以支持locally run gguf。這篇文章有講怎麼使用GGUF，供參考。www.markhneedham.com/blog/2023/10/18/ollama-hugging-face-gguf-models/
出现9966 后 应该如何连接网页呢
我就想问，各大厂家做出自家大模型时使用的是什么管理工具？
现在有很多分发渠道，ollama，huggingface都是比较常用的。大家多数会主流渠道，就类似操作系统包管理一样
请问这软件能设置使用CPU或者GPU吗，我试那个deepseek的时候只占内存显存，CPUGPU没一个愿意去干活的
可以设置的，在环境变量里面可以设置请使用gpu和cpu以及对应数量，不过依赖于显存
@chang-workshop 有具体点的吗？真心看不懂哪个值像那个意思，中英文都没
@@suningtech 假设运行环境设置完成哈（比如Windows环境下启动了cuda支持），那么Ollama是否使用GPU一般取决于模型是否完全load到了显存当中。如果你用的是Mac，Mac的内存和缓存是共用的，所以你要看下你剩余内存是否足够支持所有模型载入。一旦模型部分被载入到了vram，那么ollama回默认使用CPU而不是GPU
感谢分享，如果加了文件参数，那gemma会学习文件内的内容吗？
hi，你指的是create参数吧？Gemma 是可以学习文件里面的内容的。不过能制定的instruction比较有限，主要是一些预设的prompt参数，问答方式，系统设置，以及base model。 具体可以看这里 github.com/ollama/ollama/blob/main/docs/modelfile.md补充一下，如果希望让模型使用额外的知识库，最好是RAG或者fine-tuning。 关于RAG，近期我会上线一个视频解析，欢迎关注哈。
@@chang-workshop 非常需要，求讲解
@@Fire-in-the-hole 我之前发布了一个本地LLM搭建RAG的视频，这个ua-cam.com/video/HtqmEREAPC0/v-deo.html，希望可以帮到你
请问如何在代码中实现调用GPU加速呢，我设置了option，gpu_num和main_gpu，但是感觉没啥效果
hmm…，抱歉我手头没有设备测试。 可能没法立马找到办法解决。不过你的问题，首先得看下你的系统和显卡，目前ollama在Linux和Windows上对于gpu支持比较好，但是AMD显卡需要最新的preview的ollama，支持的AMD显卡型号见这里ollama.com/blog/amd-previewapple silicon 的Mac上gpu，需要MetalAPI，应该就能用gpu加速，但是不能是docker环境下。 如果是Intel Mac的AMD显卡目前应该不支持
怎么用指令卸载模型？
ollma rm 模型名称
有字幕的話頻道一定會更受歡迎 加油
🫡謝謝！我努力💪
棒啊
❤️，谢谢，希望有帮到你😁
很想知道有多模态交互的类chatbot吗
确实langchain和ollama整合接口支持多模态的，我来试试搞个原型分享一波，不过可能需要点时间。也可以参考下这里 python.langchain.com/docs/integrations/llms/ollama
openwebui
请问怎么改变模型存储的位置？
改变存储的位置，可以设定OLLAMA_MODELS 这个环境变量。设置之后，注意，1. 一定要重启 ollama_server，可以手动结束它然后重启ollama server的进程，这个变量是对ollama_server生效的。 2. 更新directory之后，ollama list看不到原先的directory里已经安装过的模型。
@@chang-workshop 感谢老铁！入
为什么运行时cpu满载而不是gpu满载呢？gpu几乎没动，有办法解决吗
这个目前看起来可能是你使用模型尺寸比较大导致的，可以参考这个资料，github.com/ollama/ollama/issues/1986 主要说的是，如果你用的mac，载入模型时候，内存容量足够，且大概剩余1/3，ollama会在gpu运行，否则只会在cpu运行
@@chang-workshop 说反了吧？！
我打开命令窗口后关闭再打开，就没反应了，老师这是啥问题
Hi 你说的没反应指的是terminal里面没有任何信息显示吗？
谢谢老师 这个已经解决了， 是我太小白命令提示符不懂。现在的问题是第二个指令安装到26％之后DOCKER报错，获取什么不成功中断退出1@@chang-workshop
@@miloyang-34 docker你看看是不是某些依赖包安装过程中没法获取，需要详细看下错误的日志。
下了很多模型，电脑容量不够了，我们能怎么删掉某个模型呢
可以试试ollama rm命令
@@chang-workshop 假设我要删掉llama2模型，是用这个命令吗 ollama rm llama2:7b？
@@issacike 对的，不过建议你先ollama list看下有哪些模型，然后把需要删除的模型name放到rm后面就可以了
@@chang-workshop 怎么看ollama list有哪些模型呢
@@issacike 可以terminal输入ollama list命令，就会列出你载入了哪些模型
ollama 怎么支持中文，我下载怎么不支持中文。
你是指中文输入prompt吧？首先你在命令行输入中文prompt的话，前提是你的terminal支持，其次，建议你下载一些比较知名LLM，比如gemma，llama2，应该都支持中文，但是支持程度一般，他们训练数据里面中文数据比例都是个位数。 还可以去ollama library，找下支持中文的模型 ，我找到一个llama2-chinese，应该是针对中文调教过的，可以尝试看看。 ollama library: ollama.com/library希望可以帮到你哈。
@@chang-workshop 好的好的 ，谢谢你了，我去看看。
内容不错，声音忽大忽小，体验比较差
收到！确实做的不够细致，后续持续改进，谢谢建议
这种只能跑，不能训练，，
对的，RAG本身是不会训练模型的
非常好的教程。本来以为我已经知道怎么用ollama了，没想到又学到很多东西。
謝謝講解，這正是我需要的管理工具
非常實用! 感謝這個影片帶我入門Ollama
希望讲一些使用者更关注的问题，比如模型能力，中文支持程度，硬件要求等
好的收到，感谢建议，后续会覆盖一些此类问题
感谢分享，小白很受益！
太棒了，能有帮到你太好了😀
感謝分享教學 請問有windows安裝介面的版本教學嗎?
想說有什麼方法可以用OLLAMA來跑自己另外下載的模型以及有什麼比較簡單易操作的Ollama Web UI
來產生介面類似chatgpt這樣直接使用
謝謝
Hi 抱歉，我手邊沒有WINDOWS PC，不過你可以參考這篇文章。ollama.com/blog/windows-preview
關於web UI，可以參考 gradio，streamlit 還有 openwebui。
我在這支影片裡面有demo gradio的一些簡單功能，看看是否符合你的需求。ua-cam.com/video/HtqmEREAPC0/v-deo.html 。
另外，如果你希望下載模型然後用ollama，需要去huggingface看看model 的gguf文檔，ollama可以支持locally run gguf。這篇文章有講怎麼使用GGUF，供參考。www.markhneedham.com/blog/2023/10/18/ollama-hugging-face-gguf-models/
出现9966 后 应该如何连接网页呢
我就想问，各大厂家做出自家大模型时使用的是什么管理工具？
现在有很多分发渠道，ollama，huggingface都是比较常用的。大家多数会主流渠道，就类似操作系统包管理一样
请问这软件能设置使用CPU或者GPU吗，我试那个deepseek的时候只占内存显存，CPUGPU没一个愿意去干活的
可以设置的，在环境变量里面可以设置请使用gpu和cpu以及对应数量，不过依赖于显存
@chang-workshop 有具体点的吗？真心看不懂哪个值像那个意思，中英文都没
@@suningtech 假设运行环境设置完成哈（比如Windows环境下启动了cuda支持），那么Ollama是否使用GPU一般取决于模型是否完全load到了显存当中。如果你用的是Mac，Mac的内存和缓存是共用的，所以你要看下你剩余内存是否足够支持所有模型载入。一旦模型部分被载入到了vram，那么ollama回默认使用CPU而不是GPU
感谢分享，如果加了文件参数，那gemma会学习文件内的内容吗？
hi，你指的是create参数吧？Gemma 是可以学习文件里面的内容的。不过能制定的instruction比较有限，主要是一些预设的prompt参数，问答方式，系统设置，以及base model。 具体可以看这里 github.com/ollama/ollama/blob/main/docs/modelfile.md
补充一下，如果希望让模型使用额外的知识库，最好是RAG或者fine-tuning。 关于RAG，近期我会上线一个视频解析，欢迎关注哈。
@@chang-workshop 非常需要，求讲解
@@Fire-in-the-hole 我之前发布了一个本地LLM搭建RAG的视频，这个ua-cam.com/video/HtqmEREAPC0/v-deo.html，希望可以帮到你
请问如何在代码中实现调用GPU加速呢，我设置了option，gpu_num和main_gpu，但是感觉没啥效果
hmm…，抱歉我手头没有设备测试。 可能没法立马找到办法解决。
不过你的问题，首先得看下你的系统和显卡，目前ollama在Linux和Windows上对于gpu支持比较好，但是AMD显卡需要最新的preview的ollama，支持的AMD显卡型号见这里
ollama.com/blog/amd-preview
apple silicon 的Mac上gpu，需要MetalAPI，应该就能用gpu加速，但是不能是docker环境下。 如果是Intel Mac的AMD显卡目前应该不支持
怎么用指令卸载模型？
ollma rm 模型名称
有字幕的話頻道一定會更受歡迎 加油
🫡謝謝！我努力💪
棒啊
❤️，谢谢，希望有帮到你😁
很想知道有多模态交互的类chatbot吗
确实langchain和ollama整合接口支持多模态的，我来试试搞个原型分享一波，不过可能需要点时间。也可以参考下这里 python.langchain.com/docs/integrations/llms/ollama
openwebui
请问怎么改变模型存储的位置？
改变存储的位置，可以设定OLLAMA_MODELS 这个环境变量。设置之后，注意，1. 一定要重启 ollama_server，可以手动结束它然后重启ollama server的进程，这个变量是对ollama_server生效的。 2. 更新directory之后，ollama list看不到原先的directory里已经安装过的模型。
@@chang-workshop 感谢老铁！入
为什么运行时cpu满载而不是gpu满载呢？gpu几乎没动，有办法解决吗
这个目前看起来可能是你使用模型尺寸比较大导致的，可以参考这个资料，github.com/ollama/ollama/issues/1986 主要说的是，如果你用的mac，载入模型时候，内存容量足够，且大概剩余1/3，ollama会在gpu运行，否则只会在cpu运行
@@chang-workshop 说反了吧？！
我打开命令窗口后关闭再打开，就没反应了，老师这是啥问题
Hi 你说的没反应指的是terminal里面没有任何信息显示吗？
谢谢老师 这个已经解决了， 是我太小白命令提示符不懂。现在的问题是第二个指令安装到26％之后DOCKER报错，获取什么不成功中断退出1@@chang-workshop
@@miloyang-34 docker你看看是不是某些依赖包安装过程中没法获取，需要详细看下错误的日志。
下了很多模型，电脑容量不够了，我们能怎么删掉某个模型呢
可以试试ollama rm命令
@@chang-workshop 假设我要删掉llama2模型，是用这个命令吗 ollama rm llama2:7b？
@@issacike 对的，不过建议你先ollama list看下有哪些模型，然后把需要删除的模型name放到rm后面就可以了
@@chang-workshop 怎么看ollama list有哪些模型呢
@@issacike 可以terminal输入ollama list命令，就会列出你载入了哪些模型
ollama 怎么支持中文，我下载怎么不支持中文。
你是指中文输入prompt吧？首先你在命令行输入中文prompt的话，前提是你的terminal支持，其次，建议你下载一些比较知名LLM，比如gemma，llama2，应该都支持中文，但是支持程度一般，他们训练数据里面中文数据比例都是个位数。 还可以去ollama library，找下支持中文的模型 ，我找到一个llama2-chinese，应该是针对中文调教过的，可以尝试看看。
ollama library: ollama.com/library
希望可以帮到你哈。
@@chang-workshop 好的好的 ，谢谢你了，我去看看。
内容不错，声音忽大忽小，体验比较差
收到！确实做的不够细致，后续持续改进，谢谢建议
这种只能跑，不能训练，，
对的，RAG本身是不会训练模型的