3A.COM.VN

Công Cụ AI

Ollama là gì: 4 bước chạy LLM mã nguồn mở trên máy cục bộ

Ollama là gì? Ollama là công cụ mã nguồn mở chạy mô hình ngôn ngữ lớn ngay trên máy của bạn, không cần tài khoản cloud hay key API khi dùng model cục bộ. Bài này đi qua 4 bước: cài đặt, tải model, chạy trò chuyện và gọi API cục bộ.

Sản phẩm trong bài:
Ollama
Quang Minh· Trưởng ban Nghiên cứu & Đo kiểm AI6 phút đọc16/11/20260 lượt xem
Ollama là gì: 4 bước chạy LLM mã nguồn mở trên máy cục bộ
Ollama

Bạn tải model về máy một lần. Sau đó, bạn trò chuyện hoặc gọi model từ ứng dụng của mình. Dữ liệu suy luận ở lại trên phần cứng của bạn.

Tài liệu Quickstart của Ollama ghi rõ hai cách dùng model. Chạy model cục bộ thì không cần khóa API. Dùng model cloud thì cần tài khoản và khóa API. Model cloud chạy trên máy chủ của hãng nên không cần tải về. Trang thư viện ghi tên chạy cloud của Gemma 4 là gemma4:31b-cloud. Ví dụ gọi API cloud trong Quickstart dùng tên gemma4:31b. Hướng cục bộ không cần đăng nhập hay khóa API.

Công cụ dùng llama.cpp làm backend suy luận. Ollama hỗ trợ macOS, Windows và Linux, và có sẵn image Docker chính thức ollama/ollama trên Docker Hub.

Dự án nội bộ · 3A AI Stack Advisor

Đừng trả tiền thừa cho SaaS AI — Nhận lộ trình công cụ & chi phí tối ưu trong 10 giây

Mô tả bài toán của doanh nghiệp bạn (CSKH Zalo OA, Coding, RAG tài liệu nội bộ, Báo cáo P&L). Hệ thống cố vấn của 3A sẽ đề xuất bộ công cụ đã qua kiểm thử thực chiến.

Bước 1: Cài đặt Ollama trên macOS, Windows và Linux

Cách nhanh nhất là tải bản cài đặt từ trang download chính thức của Ollama cho macOS, Windows hoặc Linux. Trên macOS hoặc Linux, chạy lệnh cài đặt bằng script chính thức trong terminal:

bash
curl -fsSL https://ollama.com/install.sh | sh

Trên Windows, chạy lệnh sau trong PowerShell:

powershell
irm https://ollama.com/install.ps1 | iex

Sau khi cài xong, mở ứng dụng Ollama và làm theo hướng dẫn thiết lập. Trên Linux, nếu server chưa chạy thì khởi động bằng lệnh ollama serve trong một terminal riêng. Trang hỗ trợ phần cứng của Ollama ghi GPU Nvidia cần compute capability 5.0 trở lên và driver 550 trở lên. Bạn nên kiểm tra GPU của máy trước khi chọn model, vì model lớn chạy chậm trên máy không có GPU mạnh.

Bước 2: Tải model từ thư viện Ollama

Thư viện model của Ollama nằm tại ollama.com/library, với nhiều model mở như Llama 3, Gemma, Qwen và DeepSeek. Để tải một model mà chưa trò chuyện ngay, dùng lệnh pull kèm tên model, ví dụ:

bash
ollama pull gemma4:e2b

Tài liệu Quickstart của Ollama ghi rõ bản tải về của gemma4:e2b khoảng 7,2 GB. Hãng khuyên có 8 GB VRAM trống, hoặc bộ nhớ hợp nhất trên máy Mac. Với VRAM ít hơn, Ollama vẫn dùng được RAM hệ thống nhưng phản hồi có thể chậm hơn. Cửa sổ ngữ cảnh lớn hơn cũng cần thêm bộ nhớ.

Trang thư viện Gemma 4 liệt kê nhiều cỡ model. Bản E2B có 2,3B tham số hiệu dụng và cửa sổ ngữ cảnh 128K token. Ở bản E4B, tham số hiệu dụng là 4,5B và cửa sổ ngữ cảnh vẫn là 128K token. Bản 31B có 30,7B tham số và cửa sổ 256K token. Bạn nên chọn model theo ngân sách bộ nhớ thực tế của máy.

Laptop, giấy trắng và bút trên bàn gỗ, minh họa máy tính cục bộ chạy model ngay tại bàn làm việc
Laptop, giấy trắng và bút trên bàn gỗ, minh họa máy tính cục bộ chạy model ngay tại bàn làm việcNguồn chính hãng / Kho ảnh bản quyền mở · Official / Free Commercial License

Chú thích ảnh: Laptop, giấy trắng và bút trên bàn gỗ, minh họa máy tính cục bộ chạy model ngay tại bàn làm việc. Ảnh: Markus Spiske, Pexels, giấy phép Pexels (link gốc xem mục Nguồn, phần Ảnh).

Bước 3: Chạy model và trò chuyện ngay trong terminal

Sau khi cài đặt, chỉ cần một lệnh để tải model nếu chưa có rồi mở phiên trò chuyện:

bash
ollama run gemma4:e2b

Lệnh run làm hai việc: tải model về máy nếu máy chưa có, rồi mở khung chat trong terminal. Gõ /bye để thoát phiên trò chuyện. Tài liệu Quickstart dùng gemma4:e2b làm ví dụ chạy đầu tiên. Khuôn lệnh là ollama run kèm tên model.

Một số lệnh quản lý model dùng hằng ngày gồm ollama pull, ollama ls, ollama ps, ollama stop và ollama rm. Với pull, bạn tải model về máy. Lệnh ls liệt kê model đã tải. Lệnh ps cho biết model đang chạy. Để dừng model, bạn dùng stop. Để xóa model khỏi máy, bạn dùng rm. Model đã nằm trên ổ đĩa sau lần tải đầu. Những lần chạy sau khởi động ngay từ bộ nhớ đệm. Máy không cần tải lại model.

Bước 4: Gọi model từ ứng dụng qua API cục bộ

Ollama mở một API REST trên máy cục bộ tại địa chỉ http://localhost:11434. Ứng dụng của bạn gửi yêu cầu chat tới endpoint /api/chat, kèm tên model và danh sách message, ví dụ:

bash
curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma4:e2b",
    "messages": [
      {
        "role": "user",
        "content": "Say hello in one sentence."
      }
    ],
    "stream": false
  }'

API cục bộ không yêu cầu xác thực và chỉ lắng nghe trên 127.0.0.1, tức chỉ máy của bạn gọi được. Ngoài API riêng của Ollama, server cục bộ còn có endpoint tương thích OpenAI và Anthropic. Endpoint OpenAI nằm tại /v1/chat/completions. Endpoint Anthropic nằm tại /v1/messages. Nhờ đó, code đang dùng SDK OpenAI hoặc Anthropic có thể trỏ sang Ollama cục bộ mà ít phải sửa.

Ranh giới riêng tư nằm ở đây: model cục bộ giữ suy luận trên máy của bạn. Nếu bạn chủ động dùng model cloud của Ollama thì lưu lượng đó không còn thuần cục bộ nữa. Điều này cũng đúng khi bạn nối thêm dịch vụ trực tuyến khác. Khi chỉ dùng model local, prompt không rời khỏi máy.

Giới hạn và rủi ro khi chạy Ollama cục bộ

Tài liệu Quickstart của Ollama ghi rõ một giới hạn. Với VRAM ít hơn mức khuyên, Ollama vẫn dùng được RAM hệ thống. Đổi lại, phản hồi có thể chậm hơn. Cửa sổ ngữ cảnh lớn hơn cũng cần thêm bộ nhớ. Bạn nên tính trước dung lượng tải về và bộ nhớ máy cần.

API cục bộ không yêu cầu xác thực và chỉ lắng nghe trên 127.0.0.1. Nếu bạn tự mở cổng 11434 ra ngoài, bất kỳ ai cũng gọi được API của bạn. Bạn nên giữ server Ollama sau tường lửa và không mở cổng 11434 ra Internet.

Bảng đối chiếu: 3 model Gemma 4 và cỡ của chúng

ModelLệnh chạyTham sốCửa sổ ngữ cảnh
Gemma 4 E2Bollama run gemma4:e2b2,3B hiệu dụng128K token
Gemma 4 E4Bollama run gemma4:e4b4,5B hiệu dụng128K token
Gemma 4 31Bollama run gemma4:31b30,7B256K token

Số liệu trong bảng lấy từ trang thư viện Gemma 4 của Ollama và tài liệu Quickstart, chốt ngày 14/11/2026. Tên model và tag có thể đổi theo thời gian, nên kiểm lại trang thư viện trước khi tải bản mới.

Đọc thêm trên 3a.com.vn: So sánh LM Studio và Ollama khi chạy model trên máy. Mô hình mã nguồn mở chạy trên máy cá nhân. Hugging Face là gì và cách lấy model về máy.

Nguồn

Nguồn

  • Ollama, "Quickstart", ngày truy cập 2026-11-14. Link: https://docs.ollama.com/quickstart.md
  • Ollama, "Gemma 4", trang thư viện, ngày truy cập 2026-11-14. Link: https://ollama.com/library/gemma4
  • Ollama, "Cloud", ngày truy cập 2026-11-14. Link: https://docs.ollama.com/cloud.md
  • Ollama, "Hardware support", ngày truy cập 2026-11-14. Link: https://docs.ollama.com/gpu.md

Ảnh

  • Bìa: Cup of Couple, Pexels, giấy phép Pexels, ngày 2020-12-13. Link gốc: https://www.pexels.com/photo/6177678/
  • Ảnh thân bài: Markus Spiske, Pexels, giấy phép Pexels, ngày 2016-06-24. Link gốc: https://www.pexels.com/photo/113845/
— Quang Minh, từ phòng đo kiểm 3A.

Bài liên quan