微调Llama3实现在线搜索引擎和RAG检索增强生成功能！打造自己的perplexity和GPTs！用PDF实现本地知识库

[@vaelephant]

手动点赞，你是讲的最清楚的 一博主，没任何多余的操作

[@AIsuperdomain]

谢谢支持

[@zoeyuwang6123]

讲的最好的博主，爱了

[@AIsuperdomain]

谢谢支持

[@淡墨-g5f]

您好，phidata的rag貌似不支持中文pdf？模型经常提示不能理解中文pdf内容

[@dongliang6663]

非常赞，这样是否可以把自己研究领域的pdf研究论文直接投喂到自己的本地模型，然后不断精进自己的模型，使得该模型朝着自己研究领域内的专业机器人发展？

[@AIsuperdomain]

完全可以

[@bdst9527]

博主，您好~！跟您提个建议，就是你在演示的时候，先介绍一下自己的运行平台+环境+工具，那些指令是在哪个环境执行，那些文件从什么地方下载；我们从什么地方可以获得演示之后的文件下载路径；否则，我听的云里雾里的不知道什么情况；

[@AIsuperdomain]

好的，因为上期视频已经介绍了，所以这期视频没有完整介绍

[@ninggee-bv8ib]

请问您用的是普通的llama3 8B还是 Llama-3-8b-instruct 的版本啊?

[@AIsuperdomain]

llama-3-8b-bnb-4bit

[@xiric2511]

超級詳細的內容!!

[@AIsuperdomain]

谢谢支持

[@AlanYan-tr8gn]

优质的内容，赞

[@AIsuperdomain]

谢谢支持

[@dongliang6663]

两个3090的24g显卡能带的起来吗

[@AIsuperdomain]

可以的

[@yuxiangchen1373]

请问一下llama3-70B最低需要什么硬件才能跑？

[@AIsuperdomain]

GPU的话需要24G显存

[@conerwei6720]

能不能做个视频关于怎么把llama3 微调成uncensored 模型？

[@WillCh01]

这个点在数据集而不是微调方式

[@AIsuperdomain]

好的 没问题

[@AIsuperdomain]

👍👍

[@809-d2q]

执行代码并没有调用tavily搜索，只有大模型自己的输出，这是什么问题？

[@AIsuperdomain]

tavily的API是否设置？

[@809-d2q]

@@AIsuperdomain 设置了，换成DuckDuckGo也不行，莫名其妙的问题，debug_mode=True开启debug模式也没有任何异常输出

[@yin3331]

#大神看能不能强强联合#
有个开源项目AirLLM可以实现4GB显存运行Llama3 70B大模型，那能不能把AirLLM与ollama做某种形式的结合，实现在个人消费级电脑上流畅运行Llama3 70B等大模型？我不是技术人员，英语也不行，真心求问！如果可行的话反映给ollama开发者

[@AIsuperdomain]

好的 我研究下

[@hpw8179]

好厉害

[@AIsuperdomain]

谢谢支持

[@onlyhuman028]

用月之暗面试试。

[@AIsuperdomain]

这个开源了吗

[@LLM-ih2oe]

请问需要什么配置的电脑

[@AIsuperdomain]

支持cuda的N卡，尽量是ubuntu系统

[@AlanYan-tr8gn]

真心不错

[@AIsuperdomain]

🤝🤝

[@809-d2q]

微调完的模型导入ollama后胡言乱语的，这是什么情况

[@AIsuperdomain]

应该是参数设置问题，建议参考LM Studio中的参数配置。一般ollama中胡言乱语的，在LM Studio中没有问题。

[@pigeatappgood8884]

❤

[@AIsuperdomain]

谢谢支持

[@CatsEyeView]

中文处理让人堪忧

[@AIsuperdomain]

哈哈

[@leesc311]

跑不動

[@AIsuperdomain]

显卡什么配置？

[@AlanYan-tr8gn]

[@AIsuperdomain]

😊😊😊