3A.COM.VN

Kỹ Thuật Dev

LiteLLM là gì: 4 bước dựng AI Gateway gom 100+ mô hình

LiteLLM là gì? AI Gateway mã nguồn mở gom hơn 100 nhà cung cấp mô hình sau một cổng 4000. Bốn bước dựng bằng Docker, tạo virtual key và gọi bằng OpenAI SDK.

Sản phẩm trong bài:
OpenAI
Quang Minh· Trưởng ban Nghiên cứu & Đo kiểm AI5 phút đọc20/11/20260 lượt xem
LiteLLM là gì: 4 bước dựng AI Gateway gom 100+ mô hình
OpenAI

LiteLLM là gì? Một AI Gateway mã nguồn mở, đứng trước hơn 100 nhà cung cấp mô hình và nói chung một giọng OpenAI. Bản quickstart chạy bằng Docker, mở proxy ở cổng 4000 kèm PostgreSQL. Bốn bước dưới đây dựng gateway từ tệp Compose tới lần gọi API đầu tiên.

Tôi viết theo kiểu bản vẽ triển khai. Mỗi bước có lệnh thật lấy từ tài liệu chính hãng. Bước nào dễ làm hỏng cả cụm, tôi đánh dấu rõ.

Bàn phím và màn hình đang chỉnh màu, minh hoạ bảng điều khiển gateway
Bàn phím và màn hình đang chỉnh màu, minh hoạ bảng điều khiển gatewayNguồn chính hãng / Kho ảnh bản quyền mở · Official / Free Commercial License

Chú thích ảnh: bàn phím trước màn hình đang chỉnh màu. Ảnh: Jakub Zerdzicki, Pexels, giấy phép Pexels (link gốc xem mục Nguồn, phần Ảnh).

Dự án nội bộ · 3A AI Stack Advisor

Đừng trả tiền thừa cho SaaS AI — Nhận lộ trình công cụ & chi phí tối ưu trong 10 giây

Mô tả bài toán của doanh nghiệp bạn (CSKH Zalo OA, Coding, RAG tài liệu nội bộ, Báo cáo P&L). Hệ thống cố vấn của 3A sẽ đề xuất bộ công cụ đã qua kiểm thử thực chiến.

Bước 1: Tải tệp Compose và sinh hai khoá bí mật thế nào?

Bạn cần hai thứ: tệp docker-compose.quickstart.yml và một tệp .env chứa hai khoá. Tải tệp Compose bằng một lệnh curl:

bash
curl -sSLO https://github.com/BerriAI/litellm/raw/main/litellm/deploy/docker/docker-compose.quickstart.yml

Rồi sinh hai khoá ngẫu nhiên và ghi vào .env:

bash
printf 'LITELLM_MASTER_KEY=sk-%s\nLITELLM_SALT_KEY=sk-%s\n' \
  "$(openssl rand -hex 32)" "$(openssl rand -hex 32)" > .env

Hai khoá này khác nhau về vai trò. Khoá chủ LITELLM_MASTER_KEY dùng để đăng nhập giao diện quản trị. Khoá muối LITELLM_SALT_KEY mã hoá các khoá nhà cung cấp bạn lưu vào gateway.

Cảnh báo quan trọng nhất của cả bài nằm ở đây. Tài liệu ghi rõ: không xoay khoá muối tại chỗ. Đổi nó sẽ làm các khoá đã lưu không giải mã được nữa. Hãy chép nó vào nơi cất bí mật ngay lúc sinh.

Bước 2: Chạy Compose và vào giao diện quản trị ra sao?

Khởi động cả cụm bằng một lệnh. Compose bật proxy ở cổng 4000 và một cơ sở dữ liệu PostgreSQL đi kèm.

bash
docker compose -f docker-compose.quickstart.yml up -d

Khi dịch vụ lên, mở http://localhost:4000/ui. Tên đăng nhập là admin. Mật khẩu chính là giá trị của LITELLM_MASTER_KEY.

Điều đáng chú ý là proxy có cơ sở dữ liệu thật. Nhờ đó khoá ảo, ngân sách và nhật ký chi tiêu sống qua lần khởi động lại. Phần "Giới hạn" bên dưới nói điều gì xảy ra khi bạn bỏ cơ sở dữ liệu.

Bàn làm việc với đồ dùng văn phòng, minh hoạ việc chuẩn bị chỗ ngồi trước khi cấu hình
Bàn làm việc với đồ dùng văn phòng, minh hoạ việc chuẩn bị chỗ ngồi trước khi cấu hìnhNguồn chính hãng / Kho ảnh bản quyền mở · Official / Free Commercial License

Chú thích ảnh: một bàn làm việc với đồ dùng văn phòng. Ảnh: Mikhail Nilov, Pexels, giấy phép Pexels (link gốc xem mục Nguồn, phần Ảnh).

Bước 3: Thêm mô hình và tạo Virtual Key ở đâu?

Trong giao diện, vào mục Models + Endpoints để thêm mô hình. Bạn chọn nhà cung cấp, dán khoá của họ, đặt tên hiển thị. Sau đó thử ngay ở mục Playground.

Rồi đến phần quyết định cả mô hình vận hành: Virtual Key. Đây là khoá ảo bạn phát cho từng người hoặc từng ứng dụng, thay vì đưa khoá thật của OpenAI hay Anthropic. Mỗi khoá ảo gắn được ngân sách, giới hạn tốc độ và danh sách mô hình được dùng.

Khoá ảo chỉ hiện đúng một lần lúc tạo. Hãy chép ngay. Mất khoá thì tạo cái mới, không xem lại được.

Bước 4: Gọi gateway bằng OpenAI SDK như thế nào?

Gateway nói giọng OpenAI, nên mã cũ gần như không phải sửa. Bạn chỉ đổi base_url sang cổng 4000 và dùng khoá ảo làm api_key:

python
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:4000/v1",
    api_key="sk-khoa-ao-cua-ban",
)
reply = client.chat.completions.create(
    model="ten-model-ban-da-dat",
    messages=[{"role": "user", "content": "Xin chào"}],
)
print(reply.choices[0].message.content)

Chuỗi ten-model-ban-da-dat là tên bạn đặt ở Bước 3, không phải tên của nhà cung cấp. Đó là điểm hay của gateway: ứng dụng chỉ biết một tên, còn phía sau đổi nhà cung cấp lúc nào cũng được.

Địa chỉ đầy đủ của đường gọi là http://localhost:4000/v1/chat/completions.

BướcViệc làmThông số tài liệu
1Tải Compose, sinh hai khoáLITELLM_MASTER_KEY, LITELLM_SALT_KEY
2Chạy cụm, vào giao diệnCổng 4000, đường dẫn /ui
3Thêm mô hình, tạo khoá ảoNgân sách, giới hạn tốc độ, quyền mô hình
4Gọi bằng OpenAI SDK/v1/chat/completions
Bản phác viết tay trên giấy, minh hoạ sơ đồ luồng yêu cầu đi qua gateway
Bản phác viết tay trên giấy, minh hoạ sơ đồ luồng yêu cầu đi qua gatewayNguồn chính hãng / Kho ảnh bản quyền mở · Official / Free Commercial License

Chú thích ảnh: một bản phác tay trên giấy. Ảnh: Amina Filkins, Pexels, giấy phép Pexels (link gốc xem mục Nguồn, phần Ảnh).

Giới hạn và rủi ro khi chạy LiteLLM là gì?

Cảnh báo kỹ thuật

Gateway giữ khoá của mọi nhà cung cấp. Lộ MASTER_KEY nghĩa là lộ cả kho khoá.

  • Chế độ không cơ sở dữ liệu: tài liệu có cách chạy chỉ với tệp cấu hình litellm_config.yaml. Khi đó max_budget không được thực thi, và tạo khoá ảo báo lỗi "No connected db.". Muốn kiểm soát chi tiêu thì phải có PostgreSQL.
  • Ghim phiên bản: tài liệu dặn ghim một thẻ phiên bản hoặc digest đã thử trước khi lên sản xuất. Đừng dùng latest cho hệ thống thật. Image GHCR có ký bằng cosign để bạn kiểm tra nguồn gốc.
  • Chi phí ẩn: gateway thêm một điểm cần vận hành, sao lưu và theo dõi. Độ trễ cộng thêm do gateway tôi chưa đo. [CHƯA KIỂM]
  • Cổng mở ra ngoài: ví dụ chạy không cơ sở dữ liệu gắn cổng vào 127.0.0.1:4000. Hãy giữ nguyên thói quen đó và đặt reverse proxy có HTTPS khi mở ra ngoài.

Đánh giá của tôi: nên dùng nếu bạn gọi từ hai nhà cung cấp trở lên hoặc cần phát khoá riêng cho từng nhóm. Chỉ một nhà cung cấp và một người dùng thì chưa cần gateway.

Đọc thêm trên 3a.com.vn: token trong AI là gì. Muốn hiểu cách giảm chi phí ngữ cảnh, xem tối ưu token cho Claude Code và MCP. Bài LangChain là gì nói về lớp ứng dụng nằm phía trên gateway.

Nguồn

Nguồn

  • LiteLLM, "Docker Quick Start", ngày truy cập 2026-11-14. Link: https://docs.litellm.ai/docs/proxy/docker_quick_start
  • LiteLLM, "Simple Proxy", ngày truy cập 2026-11-14. Link: https://docs.litellm.ai/docs/simple_proxy
  • LiteLLM, "README", ngày truy cập 2026-11-14. Link: https://raw.githubusercontent.com/BerriAI/litellm/main/README.md

Ảnh

  • Bìa: Jakub Zerdzicki, Pexels, giấy phép Pexels, ngày truy cập 2026-11-14. Link gốc: https://www.pexels.com/photo/30229850/
  • Thân bài: Mikhail Nilov, Pexels, giấy phép Pexels, ngày truy cập 2026-11-14. Link gốc: https://www.pexels.com/photo/6893329/
  • Thân bài: Amina Filkins, Pexels, giấy phép Pexels, ngày truy cập 2026-11-14. Link gốc: https://www.pexels.com/photo/7859472/
— Quang Minh, từ phòng đo kiểm 3A.

Bài liên quan