16G 内存没独显的笔记本，能跑多大的本地模型

一句话答案：能跑，天花板在 1.5B 参数左右。0.5B 每秒出 38 个字，1.5B 每秒 15 个字，全程纯 CPU，显卡一点没参与。

适用前提：x86 笔记本、内存 16GB、没有可用独显（或独显显存太小被推理框架忽略）、Ubuntu 或同类 Linux。有 8GB 以上显存的机器不适用本文，你的情况完全不同。

一、先看这台机器的底子

测试机是一台 2019 年前后的轻薄本：i5-8265U，4 核 8 线程，内存 16GB，另有一块入门级独显 GeForce MX250。

关键不在于有没有独显，而在于推理框架认不认它。装好 Ollama 0.40.14 启动后，日志里这一行决定了一切：

inference compute  id=cpu  library=cpu  total="15.0 GiB" available="9.5 GiB"
vram-based default context  total_vram="0 B"

library=cpu、total_vram="0 B" —— 那块 MX250 被完全忽略。原因不复杂：这块卡的显存撑不住任何有意义的大模型，框架探测后直接放弃，把全部计算丢给 CPU。

所以后面所有数字，都是纯 CPU 跑出来的。这也是大多数老笔记本、办公本、没有独显的台式机的真实处境。

二、实测：两个模型，六个数字

用 Ollama 拉了两个 Q4_K_M 量化的 Qwen2.5，同一段提示词，各跑三次取稳定值：

两个模型的 size_vram 都是 0，确认没有动用显卡。

整组测试独立跑了两轮，两轮速度差在 1.3% 以内（1.5B 15.56 与 15.77 字/秒，0.5B 37.78 与 37.32 字/秒），数据可复现。

内存增量这一列值得多看两眼：+476MB 对应 0.49GB 文件，+1087MB 对应 1.17GB 文件 —— 增量几乎等于模型文件本身大小，再加上几百 MB 的上下文开销。这个规律很好用：模型文件多大，你的内存就要多出多少，不用记复杂公式。

换成实际感受：让 1.5B 写一段三百字的介绍，从按下回车到完整输出，用了 19.34 秒；同样的任务 0.5B 用了 6.73 秒。

三、这个速度能干什么，不能干什么

38 字/秒比正常人阅读速度快，15 字/秒略慢于阅读。但速度不是唯一的瓶颈，能力才是。

能用的场景：

• 短文本改写、润色、纠错，一次几十到一两百字
• 简单分类、打标签、抽字段，输出短且格式固定
• 隐私敏感、不能联网的内容处理 —— 这是本地部署最大的正当理由

别指望的场景：

• 长文写作。三百字要 19 秒，一篇两千字的稿子要两分钟以上，而且 1.5B 的连贯性撑不住那么长
• 写代码。这两个模型在这个尺寸上基本不能用
• 多轮复杂对话。上下文一长，内存和延迟同步上涨
• 任何需要"聪明"的任务。1.5B 的知识面和推理能力约等于很早以前的模型水平，它能把话说通顺，但不能替你想清楚

一句话：能跑通，不等于能当生产力工具。 它更像一个离线的文本处理小工具，不是一个可以替代在线服务的助手。

四、如果你照着做但跑不起来

• 拉模型一直卡住或失败：模型要从境外仓库下载，网络不稳就换镜像源，或者手动下载 GGUF 文件再用本地导入方式加载。
• 内存不足被系统杀掉（OOM）：先关浏览器。实测加载 1.5B 时系统已用内存会从约 5.6GB 涨到 6.7GB，留给其他程序的余量不多。16GB 机器上同时开一堆标签页就会开始交换。
• 以为在用显卡，其实没有：跑起来后执行 ollama ps，看 size_vram 字段。是 0 就说明纯 CPU，别被"我明明有独显"误导。
• 速度比本文慢很多：检查 CPU 是否被限制频率（省电模式）、是否在跑其他重负载任务。测试时 CPU 频率只有标称的 72%。

五、你的机器能跑到哪，用这个方法自己算

1. 查可用内存：free -h，看 available 那一列。加载模型前要留出比模型文件大 1GB 左右的余量。
2. 挑模型看文件大小，别看参数名。同样是 7B，Q4 量化和 Q8 量化体积能差一倍。
3. 先跑最小的那个确认整条链路通，再逐级往上加，直到速度掉到你无法接受为止。
4. 用 ollama ps 确认到底跑在 CPU 还是 GPU 上。

按本文这台机器的数据推，16GB 内存能塞下 7B 的 Q4 模型（约 4.4GB 文件），但那只是"装得下"，没有实测过它的速度，不要拿推测当结论。想稳妥，停在 1.5B 到 3B 这个区间。

六、什么情况下别折腾

• 你需要的是接近在线服务的回答质量 —— 本地 1.5B 给不了，别浪费时间。
• 你要写长文、写代码 —— 这两件事在老笔记本上不现实。
• 你只是想试试 —— 那就装，五分钟的事，试完删掉，成本极低。

真正值得本地跑的理由只有一个：内容不能出你的机器。如果这条对你成立，1.5B 这个量级虽然不聪明，但足够处理格式化的、短小的、有明确规则的任务。如果不成立，用在线接口更快也更好。

延伸阅读：AI 资讯分类下的历史文章，里面有这轮本地模型和硬件变化的背景。