
vLLM là gì: 4 thông số PagedAttention tăng thông lượng GPU
vLLM là gì? Đó là thư viện phục vụ suy luận LLM mã nguồn mở, dùng PagedAttention để quản lý bộ nhớ KV cache gần như không lãng phí. Bài này đi qua 4 thông số quyết định thông lượng GPU: gpu-memory-utilization, max-model-len, tensor-parallel-size và Continuous Batching.
































