LiteLLM là gì? Một AI Gateway mã nguồn mở, đứng trước hơn 100 nhà cung cấp mô hình và nói chung một giọng OpenAI. Bản quickstart chạy bằng Docker, mở proxy ở cổng 4000 kèm PostgreSQL. Bốn bước dưới đây dựng gateway từ tệp Compose tới lần gọi API đầu tiên.
Tôi viết theo kiểu bản vẽ triển khai. Mỗi bước có lệnh thật lấy từ tài liệu chính hãng. Bước nào dễ làm hỏng cả cụm, tôi đánh dấu rõ.

Chú thích ảnh: bàn phím trước màn hình đang chỉnh màu. Ảnh: Jakub Zerdzicki, Pexels, giấy phép Pexels (link gốc xem mục Nguồn, phần Ảnh).
Đừng trả tiền thừa cho SaaS AI — Nhận lộ trình công cụ & chi phí tối ưu trong 10 giây
Mô tả bài toán của doanh nghiệp bạn (CSKH Zalo OA, Coding, RAG tài liệu nội bộ, Báo cáo P&L). Hệ thống cố vấn của 3A sẽ đề xuất bộ công cụ đã qua kiểm thử thực chiến.
Bước 1: Tải tệp Compose và sinh hai khoá bí mật thế nào?
Bạn cần hai thứ: tệp docker-compose.quickstart.yml và một tệp .env chứa hai khoá. Tải tệp Compose bằng một lệnh curl:
curl -sSLO https://github.com/BerriAI/litellm/raw/main/litellm/deploy/docker/docker-compose.quickstart.ymlRồi sinh hai khoá ngẫu nhiên và ghi vào .env:
printf 'LITELLM_MASTER_KEY=sk-%s\nLITELLM_SALT_KEY=sk-%s\n' \
"$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .envHai khoá này khác nhau về vai trò. Khoá chủ LITELLM_MASTER_KEY dùng để đăng nhập giao diện quản trị. Khoá muối LITELLM_SALT_KEY mã hoá các khoá nhà cung cấp bạn lưu vào gateway.
Cảnh báo quan trọng nhất của cả bài nằm ở đây. Tài liệu ghi rõ: không xoay khoá muối tại chỗ. Đổi nó sẽ làm các khoá đã lưu không giải mã được nữa. Hãy chép nó vào nơi cất bí mật ngay lúc sinh.
Bước 2: Chạy Compose và vào giao diện quản trị ra sao?
Khởi động cả cụm bằng một lệnh. Compose bật proxy ở cổng 4000 và một cơ sở dữ liệu PostgreSQL đi kèm.
docker compose -f docker-compose.quickstart.yml up -dKhi dịch vụ lên, mở http://localhost:4000/ui. Tên đăng nhập là admin. Mật khẩu chính là giá trị của LITELLM_MASTER_KEY.
Điều đáng chú ý là proxy có cơ sở dữ liệu thật. Nhờ đó khoá ảo, ngân sách và nhật ký chi tiêu sống qua lần khởi động lại. Phần "Giới hạn" bên dưới nói điều gì xảy ra khi bạn bỏ cơ sở dữ liệu.

Chú thích ảnh: một bàn làm việc với đồ dùng văn phòng. Ảnh: Mikhail Nilov, Pexels, giấy phép Pexels (link gốc xem mục Nguồn, phần Ảnh).
Bước 3: Thêm mô hình và tạo Virtual Key ở đâu?
Trong giao diện, vào mục Models + Endpoints để thêm mô hình. Bạn chọn nhà cung cấp, dán khoá của họ, đặt tên hiển thị. Sau đó thử ngay ở mục Playground.
Rồi đến phần quyết định cả mô hình vận hành: Virtual Key. Đây là khoá ảo bạn phát cho từng người hoặc từng ứng dụng, thay vì đưa khoá thật của OpenAI hay Anthropic. Mỗi khoá ảo gắn được ngân sách, giới hạn tốc độ và danh sách mô hình được dùng.
Khoá ảo chỉ hiện đúng một lần lúc tạo. Hãy chép ngay. Mất khoá thì tạo cái mới, không xem lại được.
Bước 4: Gọi gateway bằng OpenAI SDK như thế nào?
Gateway nói giọng OpenAI, nên mã cũ gần như không phải sửa. Bạn chỉ đổi base_url sang cổng 4000 và dùng khoá ảo làm api_key:
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:4000/v1",
api_key="sk-khoa-ao-cua-ban",
)
reply = client.chat.completions.create(
model="ten-model-ban-da-dat",
messages=[{"role": "user", "content": "Xin chào"}],
)
print(reply.choices[0].message.content)Chuỗi ten-model-ban-da-dat là tên bạn đặt ở Bước 3, không phải tên của nhà cung cấp. Đó là điểm hay của gateway: ứng dụng chỉ biết một tên, còn phía sau đổi nhà cung cấp lúc nào cũng được.
Địa chỉ đầy đủ của đường gọi là http://localhost:4000/v1/chat/completions.
| Bước | Việc làm | Thông số tài liệu |
|---|---|---|
| 1 | Tải Compose, sinh hai khoá | LITELLM_MASTER_KEY, LITELLM_SALT_KEY |
| 2 | Chạy cụm, vào giao diện | Cổng 4000, đường dẫn /ui |
| 3 | Thêm mô hình, tạo khoá ảo | Ngân sách, giới hạn tốc độ, quyền mô hình |
| 4 | Gọi bằng OpenAI SDK | /v1/chat/completions |

Chú thích ảnh: một bản phác tay trên giấy. Ảnh: Amina Filkins, Pexels, giấy phép Pexels (link gốc xem mục Nguồn, phần Ảnh).
Giới hạn và rủi ro khi chạy LiteLLM là gì?
Cảnh báo kỹ thuật
Gateway giữ khoá của mọi nhà cung cấp. Lộ MASTER_KEY nghĩa là lộ cả kho khoá.
- Chế độ không cơ sở dữ liệu: tài liệu có cách chạy chỉ với tệp cấu hình
litellm_config.yaml. Khi đómax_budgetkhông được thực thi, và tạo khoá ảo báo lỗi "No connected db.". Muốn kiểm soát chi tiêu thì phải có PostgreSQL. - Ghim phiên bản: tài liệu dặn ghim một thẻ phiên bản hoặc digest đã thử trước khi lên sản xuất. Đừng dùng
latestcho hệ thống thật. Image GHCR có ký bằng cosign để bạn kiểm tra nguồn gốc. - Chi phí ẩn: gateway thêm một điểm cần vận hành, sao lưu và theo dõi. Độ trễ cộng thêm do gateway tôi chưa đo. [CHƯA KIỂM]
- Cổng mở ra ngoài: ví dụ chạy không cơ sở dữ liệu gắn cổng vào
127.0.0.1:4000. Hãy giữ nguyên thói quen đó và đặt reverse proxy có HTTPS khi mở ra ngoài.
Đánh giá của tôi: nên dùng nếu bạn gọi từ hai nhà cung cấp trở lên hoặc cần phát khoá riêng cho từng nhóm. Chỉ một nhà cung cấp và một người dùng thì chưa cần gateway.
Đọc thêm trên 3a.com.vn: token trong AI là gì. Muốn hiểu cách giảm chi phí ngữ cảnh, xem tối ưu token cho Claude Code và MCP. Bài LangChain là gì nói về lớp ứng dụng nằm phía trên gateway.
Nguồn
Nguồn
- LiteLLM, "Docker Quick Start", ngày truy cập 2026-11-14. Link: https://docs.litellm.ai/docs/proxy/docker_quick_start
- LiteLLM, "Simple Proxy", ngày truy cập 2026-11-14. Link: https://docs.litellm.ai/docs/simple_proxy
- LiteLLM, "README", ngày truy cập 2026-11-14. Link: https://raw.githubusercontent.com/BerriAI/litellm/main/README.md
Ảnh
- Bìa: Jakub Zerdzicki, Pexels, giấy phép Pexels, ngày truy cập 2026-11-14. Link gốc: https://www.pexels.com/photo/30229850/
- Thân bài: Mikhail Nilov, Pexels, giấy phép Pexels, ngày truy cập 2026-11-14. Link gốc: https://www.pexels.com/photo/6893329/
- Thân bài: Amina Filkins, Pexels, giấy phép Pexels, ngày truy cập 2026-11-14. Link gốc: https://www.pexels.com/photo/7859472/



