内存溢出：本地AI大模型最大的拦路虎

在Win11上用Ollama或llama.cpp运行大语言模型，最常见的错误就是OOM（Out of Memory）——进程直接被系统杀掉，或者在任务管理器中看到内存跑到95%以上后系统卡死。很多人的第一反应是加内存条，但实际上通过正确配置虚拟内存、选择合适的量化模型和优化系统服务，16GB甚至8GB内存也可以流畅运行7B模型。

一、虚拟内存的正确配置

1.1 为什么虚拟内存对AI如此重要

虚拟内存是Windows用硬盘空间模拟的内存。AI模型运行时，物理内存被模型参数占满后，系统会使用页面文件作为后备存储。很多人为了省C盘空间把虚拟内存设得很小甚至关闭，这直接导致AI模型在内存压力下被系统kill掉。正确做法：在「系统属性」→「高级」→「性能设置」→「高级」→「虚拟内存」中，取消勾选「自动管理所有驱动器的分页文件大小」→选择C盘→选择「自定义大小」→初始大小和最大大小都设为物理内存的2倍（16GB内存设为32768MB，32GB设为49152MB）→点击「设置」→「确定」→重启电脑生效。注意：虚拟内存一定要放在SSD上，机械硬盘的速度太慢会导致模型推理时严重卡顿甚至报错。

1.2 多块硬盘的优化策略

如果你有多块SSD，将虚拟内存放到非系统SSD上可减少I/O竞争。在虚拟内存设置中先取消C盘的自动管理，选择D盘（或其他SSD），设为「系统管理的大小」或手动设为2倍物理内存。注意：不要把虚拟内存放到机械硬盘（HDD）上，读取延迟太大会让AI推理速度大幅下降。

二、使用量化模型降低内存需求

2.1 模型精度与内存对照

7B参数模型在不同精度下所需内存：FP32完整精度约28GB、FP16半精度约14GB、INT8量化约7GB、INT4量化约3.5GB、2位量化约1.75GB（质量损失较大）。3B参数模型：FP16约6GB、INT8约3GB、INT4约1.5GB。推荐配置：16GB内存的电脑用INT4量化（Q4_K_M格式）的7B模型，8GB内存推荐INT8量化的3B模型或INT4量化的1.5B模型。

2.2 在Ollama中选择量化版本

Ollama会自动根据你的硬件选择最合适的量化版本。运行ollama pull qwen2.5:7b会下载Q4_K_M量化版（约4.3GB下载大小，运行需4-6GB内存）。如果报OOM，手动指定更小的量化版本：ollama pull qwen2.5:7b-q4_k_s（更小但质量略低），或改用3B模型：ollama pull qwen2.5:3b。运行后通过ollama ps查看模型实际占用的内存。

三、CPU/GPU offloading设置

Ollama中：ollama run qwen2.5:7b --num-gpu 4可限制使用几层GPU。llama.cpp中：./main -m model.gguf -ngl 20（20层放GPU，剩余CPU），-ngl 0表示完全使用CPU。4GB显存推荐-ngl 8到12，控制在3GB以内。观察任务管理器GPU内存使用调整ngl值。

四、关闭Windows内存占用服务

以管理员身份打开命令提示符，运行net stop SysMain && sc config SysMain start=disabled（释放约500MB-2GB）。运行net stop WSearch && sc config WSearch start=disabled（释放约200-500MB）。运行前关闭Chrome（1-5GB）、Steam、Adobe后台。使用Get-Process | Sort-Object WorkingSet64 -Descending | Select -First 10查看内存占用前十的进程。

总结

16GB运行7B模型的关键配置：2倍虚拟内存放SSD + INT4量化模型 + CPU offloading + 关闭SysMain/Search。8GB内存建议用3B以下模型。