(音声なし)ChatStreamのチャットUIを使った簡易的な同時生成テスト(RakutenAI-7B)

Поділитися
Вставка
  • Опубліковано 7 вер 2024
  • ChatStreamの推論サーバー(GPU1基、A5000)に7BサイズのLLMロードした状態で1リクエストのみでの推論速度を計測しました。

КОМЕНТАРІ •