執行APP.PY之後能正確輸出"介绍AI超元域频道"，但是接著執行test.py之後會報錯，看起來是GPU的RAM不夠大的關係(RTX3070 8GB RAM)。但是不明白為什麼APP.PY可以順利回答問題而Test.PY卻不行呢? 報錯訊息有點長，擷取片段：Some modules are dispatched on the CPU or the disk. Make sure you have enough GPU RAM to fit the....
求教博主， 为啥不论我怎么set 这个environment, 在运行app.py的时候，运行第一行就报错， from unsloth import FastLanguageModel File "C:\Users\***\.conda\envs\unsloth_env\lib\site-packages\unsloth\__init__.py", line 89, in import triton ModuleNotFoundError: No module named 'triton'
感謝分享 不過看用來訓練的資料集都是短文本的，如果是想用長文本文獻資料做summary整理 如: 會談對話、小說文字、文獻期刊、病歷資料等 做摘要的話
訓練集資料要怎麼設計比較好呢? 謝謝
我也想知道做summary的摘要資料需求
谢谢了.很好的教程
谢谢支持🤝🤝
谢谢了，很详细，有个问题请教下：大模型的微调和训练的区别，是否主要是在数据量上的区别？
執行APP.PY之後能正確輸出"介绍AI超元域频道"，但是接著執行test.py之後會報錯，看起來是GPU的RAM不夠大的關係(RTX3070 8GB RAM)。但是不明白為什麼APP.PY可以順利回答問題而Test.PY卻不行呢? 報錯訊息有點長，擷取片段：Some modules are dispatched on the CPU or the disk. Make sure you have enough GPU RAM to fit the....
app.py中并没有将训练完成之后的模型加载，而是直接在训练的过程中加载的
我也遇到同樣的錯誤訊息 (RTX4070 8GB VRAM), 打算去找更簡單的教學來解決這個問題！
@@mingjenchen2975 8G不夠，後來換個12G的就可以了。
@@EctorHsieh 謝謝你的資訊，我也來找個更大的 VRAM 來試試... :D
作者你好，有没有清洗过中文数据集呢
ubuntu的系统可以是虚拟机吗还是必须实体机安装的Ubuntu？
可以发一下Windows下的运行环境嘛，全部的依赖
作者您好，运行test.py答非所问。数据我是用哪个alpaca-cleaned并手写加上自己的一些问答。微调结果就是答非所问。这个是什么原因呢？
你用什么运行的微调后的模型？如果是ollama，需要设置template
@@AIsuperdomain 选择默认的0.7了。
@@AIsuperdomain 选择默认的0.7了。
有支持macbook的吗unsloth吗
目前不支持
hi，想问下，本地JSON数据是您自己程序生成的吗？还是手写的？
数据规模大概是多少呢？
用脚本生成的 下期视频我会具体讲解
我获取到了一个别人的训练数据，格式json，我本地也用llama3:8B，怎么吧这个训练数据导入到大模型的gguf中呢，新手请见谅！
A卡不能用吗？
求教博主， 为啥不论我怎么set 这个environment, 在运行app.py的时候，运行第一行就报错， from unsloth import FastLanguageModel
File "C:\Users\***\.conda\envs\unsloth_env\lib\site-packages\unsloth\__init__.py", line 89, in
import triton
ModuleNotFoundError: No module named 'triton'
你如果是在win系统下，那么不支持triton的，要么使用win上的wsl，要么使用ubuntu系统，还可以使用nvidia ai workbench，我发过nvidia ai workbench的视频
@@AIsuperdomain 非常感谢！
这个视频能学到很多。❤
另外我想问一下，如果微调的问题是：Ai超元域是什么？
微调以后如果我问它：请介绍一下Ai超元域，它会答对吗？我的意思是它是怎么构建“Ai超元域是什么？”和“请介绍一下Ai超元域”之间的关联的呢？
我将关于频道的信息经过了清洗然后放入了json数据集里，微调之后模型就知道了关于AI超元域的信息
如何针对本地文件比如文本格式的进行问答 用python应该如何构建这样的代码？
将本地文件清洗格式化为json文件等类型，这个等我下期视频具体讲解
考慮出一部有關遠端連線的影片嗎?
好的 感谢提议
弱弱的问题下，可以把一本书的内容直接怼进去他就知道内容了，这样算训练吗？
不能，需要对书里的内容进行清洗，做成json等格式的数据集才行
那微调后的模型怎么在ollama上运行呢？
等我下期视频讲解
数据集要怎么制作？比如我有一本书作为知识库。我想让用户输入问答后回答书中的内容。
需要对书的内容进行清洗，最后做成数据集，等我最新的视频具体讲解
@@AIsuperdomain 好的 感谢大佬
@@AIsuperdomain大佬最新一期啥时候发呢
请教下视频里在mac上运行乌班图系统怎么搞哈？我win10系统。多谢
我并没有在mac上运行乌班图，而是用远程桌面连接的另一台乌班图的电脑
@@AIsuperdomain 懂了，感谢。大模型训练的话，不知道虚拟机能不能扛得住？个人电脑，gpu 16g 。
如何训练本地已有的模型呢
将代码里的路径改成本地模型的路径
可以講一下如果不微調, 但會用文本數據庫儲存對應數據, 然後可以模型可以從數據庫中找答案? 可以的話,以新年份新聞數據及一些銷售數據做例子。 感激.
我微调以后没有效果，仍然回答错误，不知道什么原因
请使用自己的数据集，不要放入与自己内容无关的其他数据集里
4060ti显卡windows系统能跑吗
可以
p100能调吗
可以
程式碼好像不能用了, 會報錯
从unsloth找找最新代码，因为unsloth更新了
我这个要怎么解决：ImportError: Unsloth: Your xformers version of 0.0.27 is too new.
版本太新，可以换成老一些的版本
@@AIsuperdomain 谢谢大佬，教程真不错👍
1080ti 好像不支持。
会报错还是？
@@AIsuperdomain LLVM ERROR: Cannot select: intrinsic %llvm.nvvm.shfl.sync.bfly.i32
github上有人说一样的这个错，换3080就好了。
在乌班图系统里部署llama 3，会需要翻墙吗？这咋解决。手上的软件都是windows 的
抱歉 这个问题不能给出回答