Enabling Cost-Efficient LLM Serving with Ray Serve

Поділитися
Вставка
  • Опубліковано 9 січ 2025

КОМЕНТАРІ • 4

  • @elephantum
    @elephantum 6 місяців тому +4

    It should be noted, that since this talk, Anyscale deprecated Ray LLM and now recommend vLLM

    • @_nitingoyal_
      @_nitingoyal_ 2 місяці тому

      vLLM requires Ray Serve to provide distributed inference.

  • @yukewang3164
    @yukewang3164 9 місяців тому +3

    awesome talk, with useful insights!

  • @MrEmbrance
    @MrEmbrance 5 місяців тому

    no thanks