ollama vs vllm - 开启并发之后的 ollama 和 vllm 相比怎么样？

在 ollama 支持了并发之后其性能有了一定的提升，但是和目前模型推理最佳实践之一的 vllm 相比差距几何呢？这里是用一块 4090 对两个模型的性能进行对比。

[@kurosawa1120]

简明扼要，好视频

[@george89341]

感谢分享！

[@Nevetsieg]

我一直不理解为什么ollama连一个基本的图形界面也没有，为什么一切都要命令行打字？太不方便了

[@quick_fox_jumps_over_lazy_dog]

感謝分享！🎉

[@kimjason5294]

小姐姐怎么就一个视频呢？ 内容挺棒，还有别的吗？

[@shuaishao6114]

感谢分享！想问下有没有用async测试bedrock的方法

[@jackyli6716]

我在b站好像看到过你哦！
谢谢分享！

[@yinghaohu8784]

👍

[@weizhuang-k3x]

深入玩大模型的都没必要弄个webui

[@rogerroan7583]

這實驗太有料了能分享程式碼嗎

[@arkohut]

blog.csdn.net/arkohut/article/details/139076652