爱睡觉的KKY
爱睡觉的KKY
  • 3
  • 9 191
指令监督微调LLM中的魔鬼细节|大型语言模型lora调教指南
指令监督微调LLM训练前后效果对比,单轮、对轮对话数据构造,label mask, 模型准备,lora配置,训练流程。
Переглядів: 7 889

Відео

新一代ChatGLM2-6B 模型开箱|中文LLM要崛起了?2023 06 28 17 00 26
Переглядів 771Рік тому
ChatGLM2真实性能如何?模型量化加载,本地部署调戏,代码解析 回归decoder-only架构的ChatGLM2的开箱视频 探索LLM更多有趣的玩法在github搜索train_custom_LLM项目
【深度学习进阶】Pytorch Accelerate多GPU训练推理
Переглядів 531Рік тому
从零到Kaggle GrandMaster系列-深度学习进阶 了解如何使用Accelerate库使用多GPU训练、推理,使用混合精度,设置正确的Batch Size!

КОМЕНТАРІ

  • @花果山十三太保-b1g
    @花果山十三太保-b1g 7 місяців тому

    colab 能发一下吗?

  • @chengjian6440
    @chengjian6440 10 місяців тому

    请教大佬,训练数据需要做同义词替换之类的增强吗

    • @kky7134
      @kky7134 10 місяців тому

      不需要,对效果提升不大,这种增强对小数据集有点用,对训练语言模型规模的数据集完全没用啦

  • @YingYing-qu
    @YingYing-qu 11 місяців тому

    大佬,训练的代码可以共享吗

  • @majehuang3446
    @majehuang3446 Рік тому

    楼主这么好的内容,咋不继续啦

  • @qingsongyao4974
    @qingsongyao4974 Рік тому

    不错

  • @MoxinMusic
    @MoxinMusic Рік тому

    出现Cuda报错咋整?说libcudart.so文件缺失

  • @mintisan
    @mintisan Рік тому

    来了,来了,,,

  • @mintisan
    @mintisan Рік тому

    关注,,,一台4090+1080Ti表示关注,,,

  • @liupower1569
    @liupower1569 Рік тому

    期待微调!!!

    • @kky7134
      @kky7134 Рік тому

      过几天更新🚀

  • @GirlsHubOfficial
    @GirlsHubOfficial Рік тому

    看着还行,不知道实际体验怎么样。