Atoms多模型同时调用内存溢出问题解决

根本原因是多大模型同时加载超出GPU显存，非Atom自身问题；应禁用其Python插件，改用外部终端按需加载、进程隔离或INT4量化。

本地同时调用多个大模型（如LLaMA-3-70B、Qwen2-72B、Phi-3.5-vision）导致Atom编辑器进程被系统强制终止，日志显示“Killed”或GPU显存报“CUDA out of memory”，本质是多模型权重+激活值+缓存叠加超出了GPU物理显存上限，而非Atom自身内存管理问题。

确认是否真由Atom触发OOM

Atom本身不参与模型推理，不会直接申请GPU显存。所谓“Atoms多模型同时调用内存溢出”，实为用户在Atom中运行的Python脚本（如通过script包或Hydrogen插件）加载多个大模型所致。先验证根源：

终端执行atom --safe /path/to/test.py打开脚本文件，再手动在终端运行python test.py。若终端报OOM而Atom界面无异常，则问题100%在脚本侧，与Atom无关。

【关键前提】后续所有操作仅适用于你确实在Atom内嵌Python环境（如Hydrogen、atom-python-run）中直接执行多模型加载的情形；否则应转向PyTorch/OOM专项优化。

禁用Atom中所有Python执行插件

Hydrogen、atom-python-run、script等插件会在Atom主线程中fork子进程并加载torch/transformers，极易因插件间状态污染导致显存未释放。必须彻底停用：

打开Atom → Atom → Settings → Packages → 搜索hydrogen → 点击Disable；同理禁用atom-python-run、script、platformio-ide-terminal（它默认启用pty，会继承父进程CUDA上下文）。

禁用后重启Atom。此时Atom仅作为纯文本编辑器，模型调用必须切到外部终端执行——这是唯一能隔离Atom与GPU资源的硬性手段。

在外部终端中安全调度多模型

方法一：按需加载 + 显式卸载

不要在单个Python进程中import多个model = AutoModelForCausalLM.from_pretrained(...)。改为函数封装 + del + torch.cuda.empty_cache()：

定义load_model(name)函数，在需要时调用；使用完毕立即执行del model → torch.cuda.empty_cache()；确保无全局变量持有模型引用。注意：gc.collect()对CUDA张量无效，仅靠del和empty_cache()即可。

方法二：进程级隔离

每个模型启动独立Python子进程，利用操作系统进程边界强制显存隔离：

① 将各模型封装为单独脚本：qwen_infer.py、llama_infer.py；

② 主控脚本用subprocess.Popen(['python', 'qwen_infer.py'], stdout=PIPE)调用；

③ 子进程退出后，其占用的全部GPU显存由CUDA驱动自动回收，无需任何手动干预。

方法三：量化+精度降级（必需步骤）

70B级模型FP16加载需≥140GB显存，单卡根本无法承载。必须启用INT4量化：

使用AutoModelForCausalLM.from_pretrained(..., load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16)；确认安装bitsandbytes≥0.43.0；【不可跳过】加载前设置os.environ["CUDA_VISIBLE_DEVICES"] = "0"，避免多进程争抢设备句柄。