Розмір відео: 1280 X 720853 X 480640 X 360
Показувати елементи керування програвачем
Автоматичне відтворення
Автоповтор
UA-cam会员：ua-cam.com/channels/PpdGTNbIKdiWgxCrbka4Zw.htmljoinPatreon：www.patreon.com/newtype_ai知识星球：t.zsxq.com/19IaNz5wK
第二种模型导出方式是什么呢？第二种模型导出方式和第一种只导出adapter模型有什么区别呢？adapter模型可以脱离基础模型独立使用吗，还是说如何配合基础模型使用呢？
請問unsloth 也可以微調 他沒列出的模型嗎
感謝教學 關於fine tune的類比說明的好棒 讓人能更具體了解是怎麼微調不過請問影片中示範Unsloth的介面是用什麼軟體平台? 是colab嗎? 示範的是用本地的gpu資源嗎? 執行後model會下載道本地的電腦?
用的是Google Colab，GPU也是他们的。完成后上传到Hugging Face。
@@huanyihe777 感謝 那請問Google Colab是用付費還是免費版的才能跑這樣的微調?有colab的相關範例資源嗎?
视频里用的是免费的T4。Unsloth官方GitHub有代码
@@huanyihe777 謝謝 所以 Unsloth只有支援這些models嗎? Llama 3.1 (8B), Mistral Nemo (12B), Gemma 2 (9B), Phi-3 (mini), Ollama, Mistral v0.3 (7B), ORPO, DPO Zephyr, TinyLlama
Unsloth的Hugging Face页面有很多模型，你看看
非常感谢分享，相当有用。请问大概的算力要求如何。如果对8b模型finetune，用colab的免费版 vs pro版，finetune数据来源几百本电子书PDF大概几个GB大小。这个需要大概多久。另外，请问如何对图片去finetune，有时间能否分享一下，非常非常期待。多谢🙏
需要把PDF里的内容提取出来，转成特定格式的数据集，才能用于训练。
我使用你的模型但我遇到does not appear to have a file named pytorch_model.bin, model.safetensors, tf_model.h5, model.ckpt or flax_model.msgpack. 我應該如何解決這個問題
能不能用个场景 开微调，这样更容易理解
之后会围绕一个具体的微调目的展开
6:12 這個 finetune dataset 的三欄位, 跟 openai 的基本上差不多, system message, user message, assistant message
对的
因为InstructGPT的方法模式就是这样的。
最近看到好多AI聊天app，那個跟你對話自然，幾乎無法區別真人與否，例如英語的"Aspect"，或是中文的"卿卿我我"，請問Llama3.1能夠做到這種嗎? 如果沒有給它商業app的聊天紀錄當dataset，是否一般人就無法做到那種等級了?
可以通过微调增强模型的语言能力。比如，可以让模型具备文言文翻译的能力。只要有合适的dataset就可以
請問這根用LLaMA-Factory會有很大的差別?
mac电脑如何用unsloth或者其他工具微调大模型，能否出一期视频讲讲。
其实没区别，一样的设置
@@huanyihe777 Mac电脑运行不了
讚喔
请问您的colab的 ipynb文件是否可 分享
Unsloth的GitHub上有
3.0 70b我都要去租借80gb現存的顯卡才能跑得動unsloth, 405b怎麼可能一張T4搞定呢？
没说微调405B啊
8b而且是q4
用私有数据使用google colab，上传之后会有泄漏风险吗
我觉得没事。担心的话就在本地训练吧，一样的
本地微調一定要用Nvidia GPU 嗎？
微调出来的模型失去了通用能力，而且挺严重的，同时出现重复输出问题。请问有没有相关的微调经验应对
理论上peft是不会影响模型微调之后的通用能力
我的经验：1. 调整参数基本没用，如epoch，learing_rate等。所以不要做这一步无用功2. 核心是优化训练数据集，有以下几个方向：1. 数据的多样性，不要同一个问题来回问，要不断更换不同问题；2. answer要尽量长，太短几乎没用；3. 寻找到模型对哪个pattern或者token重复回答，然后减少这种token和pattern微调就是数据集的艺术，跟算法基本没关系🙂
![「只需2年，人類世界就會面目全非，台灣正處於這場變革的中心? !」深扒AI帝國NVidia崛起的真相，黃仁勳是如何一次次言中未來的？ [She's Xiaowu 小烏]](/img/n.gif)
UA-cam会员：ua-cam.com/channels/PpdGTNbIKdiWgxCrbka4Zw.htmljoin
Patreon：www.patreon.com/newtype_ai
知识星球：t.zsxq.com/19IaNz5wK
第二种模型导出方式是什么呢？第二种模型导出方式和第一种只导出adapter模型有什么区别呢？adapter模型可以脱离基础模型独立使用吗，还是说如何配合基础模型使用呢？
請問unsloth 也可以微調 他沒列出的模型嗎
感謝教學 關於fine tune的類比說明的好棒 讓人能更具體了解是怎麼微調
不過請問影片中示範Unsloth的介面是用什麼軟體平台? 是colab嗎? 示範的是用本地的gpu資源嗎? 執行後model會下載道本地的電腦?
用的是Google Colab，GPU也是他们的。完成后上传到Hugging Face。
@@huanyihe777 感謝 那請問Google Colab是用付費還是免費版的才能跑這樣的微調?
有colab的相關範例資源嗎?
视频里用的是免费的T4。Unsloth官方GitHub有代码
@@huanyihe777 謝謝 所以 Unsloth只有支援這些models嗎? Llama 3.1 (8B), Mistral Nemo (12B), Gemma 2 (9B), Phi-3 (mini), Ollama, Mistral v0.3 (7B), ORPO, DPO Zephyr, TinyLlama
Unsloth的Hugging Face页面有很多模型，你看看
非常感谢分享，相当有用。请问大概的算力要求如何。
如果对8b模型finetune，用colab的免费版 vs pro版，finetune数据来源几百本电子书PDF大概几个GB大小。这个需要大概多久。
另外，请问如何对图片去finetune，有时间能否分享一下，非常非常期待。多谢🙏
需要把PDF里的内容提取出来，转成特定格式的数据集，才能用于训练。
我使用你的模型但我遇到does not appear to have a file named pytorch_model.bin, model.safetensors, tf_model.h5, model.ckpt or flax_model.msgpack. 我應該如何解決這個問題
能不能用个场景 开微调，这样更容易理解
之后会围绕一个具体的微调目的展开
6:12 這個 finetune dataset 的三欄位, 跟 openai 的基本上差不多, system message, user message, assistant message
对的
因为InstructGPT的方法模式就是这样的。
最近看到好多AI聊天app，那個跟你對話自然，幾乎無法區別真人與否，例如英語的"Aspect"，或是中文的"卿卿我我"，請問Llama3.1能夠做到這種嗎? 如果沒有給它商業app的聊天紀錄當dataset，是否一般人就無法做到那種等級了?
可以通过微调增强模型的语言能力。比如，可以让模型具备文言文翻译的能力。只要有合适的dataset就可以
請問這根用LLaMA-Factory會有很大的差別?
mac电脑如何用unsloth或者其他工具微调大模型，能否出一期视频讲讲。
其实没区别，一样的设置
@@huanyihe777 Mac电脑运行不了
讚喔
请问您的colab的 ipynb文件是否可 分享
Unsloth的GitHub上有
3.0 70b我都要去租借80gb現存的顯卡才能跑得動unsloth, 405b怎麼可能一張T4搞定呢？
没说微调405B啊
8b而且是q4
用私有数据使用google colab，上传之后会有泄漏风险吗
我觉得没事。担心的话就在本地训练吧，一样的
本地微調一定要用Nvidia GPU 嗎？
微调出来的模型失去了通用能力，而且挺严重的，同时出现重复输出问题。请问有没有相关的微调经验应对
理论上peft是不会影响模型微调之后的通用能力
我的经验：
1. 调整参数基本没用，如epoch，learing_rate等。所以不要做这一步无用功
2. 核心是优化训练数据集，有以下几个方向：1. 数据的多样性，不要同一个问题来回问，要不断更换不同问题；2. answer要尽量长，太短几乎没用；3. 寻找到模型对哪个pattern或者token重复回答，然后减少这种token和pattern
微调就是数据集的艺术，跟算法基本没关系🙂