TensorRT-LLM version 0.11.0.dev2024051400 の動作確認

昨日(2024/5/14)に大き目コミットの入った TensorRT-LLM の最新版 version 0.11.0.dev2024051400 の動作確認
QualitegのChatStreamは 推論エンジンとして Classic Transformer,vLLM,DeepSpeed,TensorRT-LLM をサポートしております。高速推論、省GPUメモリ、分散推論、量子化の要求に応じて最適な推論エンジンを選択することができます。