Llama 3 模型申请与本地部署的几种方法,总有一种适用你。

Поділитися
Вставка
  • Опубліковано 20 гру 2024

КОМЕНТАРІ • 39

  • @AIDiscovery2045
    @AIDiscovery2045  8 місяців тому +2

    Llama 3-8B 预训练版本
    drive.google.com/drive/folders/1LzyXeRRnmb1e4X6oEjwY6U5nRUxsF-ts?usp=sharing

  • @singularity2000
    @singularity2000 8 місяців тому +7

    llama3 中文确实不错,我用ollama配合docker的webui跑的,8b量化版反应好快,也能准确分析文档。webui还支持自定义人格,然后我写了个提示词,llama 3的道德防护就被击穿,彻底黑化了,叫它写ddos脚本它都照做,就离谱哈哈哈

    • @showyes-vj1tb
      @showyes-vj1tb 8 місяців тому

      请问怎么写提示词能跳过内容审核?我让它翻译油管用户的留言,它都拒绝了,油管能审核通过显示出来的留言,按说没什么道德问题,但Llama3 8B就是不给翻译。

    • @山城下的麦芽
      @山城下的麦芽 8 місяців тому

      大神4g显卡能跑吗

    • @kindleamazon5637
      @kindleamazon5637 3 місяці тому

      @@山城下的麦芽 8B,CPU就可以完成

  • @WayneJuli
    @WayneJuli 8 місяців тому +1

    请问用LM studio怎么加载官网15G的那个模型呢?在LM里指向15G模型所在的目录 找不到模型,是不是不兼容?

    • @chanming-tl9pl
      @chanming-tl9pl 8 місяців тому

      感觉是IP限制,我在日本也没有

    • @AIDiscovery2045
      @AIDiscovery2045  8 місяців тому

      base版加载不了,原生版本是用来自己再次训练和微调用的。聊天推理只能通过LM 在线下载

  • @耿晓天
    @耿晓天 5 місяців тому

    感谢分享,为什么我用colab也显示403也要科学上网吗

    • @AIDiscovery2045
      @AIDiscovery2045  5 місяців тому

      是不是免费账号哈?有时会被禁止使用一些模型

    • @耿晓天
      @耿晓天 5 місяців тому

      @@AIDiscovery2045 是免费的,那估计是吧

  • @wingchileung2844
    @wingchileung2844 5 місяців тому

    在hugging face上申请的时候填了China,后来申请失败了这种情况有办法修吗

    • @AIDiscovery2045
      @AIDiscovery2045  5 місяців тому

      只能再注册个号了,选中国应该是过不了审核。

  • @随风飘荡-e6q
    @随风飘荡-e6q 7 місяців тому

    下在了8B-insture然后怎么运行????后面没了?

  • @llppg1297
    @llppg1297 8 місяців тому

    问一下up,这个第一种用ollama部署的llama3是微调的还是与训练base版本的

    • @AIDiscovery2045
      @AIDiscovery2045  8 місяців тому

      量化过的。如果要想自己微调必须下载官方base版本

  • @NGO996
    @NGO996 8 місяців тому

    感谢分享,40B要什么级别显卡呢,有测试过的没

    • @AIDiscovery2045
      @AIDiscovery2045  8 місяців тому

      没有40B模型号,只有70B,如果只是推理的话4090免费可以跑。

  • @520Sun
    @520Sun 8 місяців тому

    LM studio有中文的吗》?英文不好调试啊,UP主可以推荐点中文的可以运行AI模型工具吗??

    • @AIDiscovery2045
      @AIDiscovery2045  8 місяців тому

      LM studio好像没有中文;text-webui可以运行llama3,有中文汉化

  • @xiaowuya
    @xiaowuya 8 місяців тому

    必须安装在C盘吗。下载完毕模型哪得占用多大空间。C盘看样子今后必须扩大。

    • @AIDiscovery2045
      @AIDiscovery2045  8 місяців тому

      ollama默认安装在C盘,可以添加系统环境变量来改变ollama模型下载的保存目录

  • @兵刃哥
    @兵刃哥 7 місяців тому

    大哥 为什么没有Mac的教程

    • @AIDiscovery2045
      @AIDiscovery2045  7 місяців тому

      mac下的步骤跟windows下一样,把windows的命令窗口换成mac 的终端,按步骤执行指令就可以了

  • @jacklinxz
    @jacklinxz 8 місяців тому

    更新好即使,不过gtp-all也可以下载这个模型吧,我记得有好多个开源模型都支持的,这个也是开源的,它不好用吗😢

    • @AIDiscovery2045
      @AIDiscovery2045  8 місяців тому +2

      太火了,基本现在开源聊天AI都支持了,ollama支持是最快的,几乎跟官方同步发布的支持版本

  • @longhua98
    @longhua98 8 місяців тому

    70B 的3090可以跑吗?

  • @ZivenJay
    @ZivenJay 8 місяців тому

    ollama本地跑llama3大概需要什么配置?

  • @魏嘉-w4o
    @魏嘉-w4o 7 місяців тому

    好像签协议的时候,国家里没有中国

    • @AIDiscovery2045
      @AIDiscovery2045  7 місяців тому

      选中国是通不过的;选梯子节点对应的国家

  • @Nathan.Willan
    @Nathan.Willan 8 місяців тому

    你完全可以把你下载好的模型分享出来下载地址,百度盘或者谷歌盘都行,你介绍的那种下载方式太折磨人了,根本下不成,中途也总是容易断掉,这太浪费时间了

    • @AIDiscovery2045
      @AIDiscovery2045  8 місяців тому

      谷歌的可以分享,百度上传太慢了。

    • @Nathan.Willan
      @Nathan.Willan 8 місяців тому

      @@AIDiscovery2045 也好,分享链接麻烦发一下

    • @vurtnesaerdna
      @vurtnesaerdna 8 місяців тому

      @@AIDiscovery2045 估计网盘下载地址有么老哥?

  • @guangxing9010
    @guangxing9010 5 місяців тому

    换了好多节点,还是无法安装

  • @guangxing9010
    @guangxing9010 5 місяців тому

    复制到哪里

    • @AIDiscovery2045
      @AIDiscovery2045  5 місяців тому

      模型申请国家别选中国就可以通过了。