Atoms多模型同时调用本地调试配置步骤

必须手动构建并行推理通道，需确保模型路径可访问、GPU显存≥24GB且量化格式兼容；下载GGUF/AWQ模型至指定目录，安装llama-cpp-python等多引擎依赖，按格式分别加载三模型，再通过atom-router路由调度并发调用。

要在本地调试环境中让 Atoms 同时调用多个模型（如 Llama-3-8B、Qwen2-7B、Phi-3-mini），必须绕过默认的单模型绑定逻辑，手动构建并行推理通道。这要求模型路径可访问、GPU显存充足且各模型量化格式兼容。

准备本地模型文件与运行环境

从 Hugging Face 或魔搭（ModelScope）下载三个目标模型的 GGUF 或 AWQ 格式权重，分别解压至 【./models/llama3-8b】、【./models/qwen2-7b】、【./models/phi3-mini】 目录；确保每个目录下存在 config.json 和 model.safetensors（或 gguf 文件）。

安装支持多后端的推理引擎：执行 pip install llama-cpp-python transformers auto-gptq optimum，其中 llama-cpp-python 用于 GGUF 模型，auto-gptq 用于 GPTQ 量化模型，transformers 保留给原生 FP16 加载路径。

确认 CUDA 驱动版本 ≥ 12.1，nvidia-smi 显示至少 24GB 可用显存——Phi-3-mini 占用约 2.1GB，Qwen2-7B（AWQ）约 5.8GB，Llama-3-8B（GGUF Q5_K_M）约 4.7GB，三者共需 ≥13GB 显存，但需预留 2GB 给调度器和 KV 缓存对齐。

编写 multi-atoms-loader.py 初始化多模型实例

创建 multi-atoms-loader.py，导入核心模块：from llama_cpp import Llama、from transformers import AutoTokenizer, AutoModelForCausalLM、from auto_gptq.modeling import BaseGPTQForCausalLM。

方法一：GGUF 模型直启（Llama-3-8B）

初始化 llama3_model = Llama(model_path="./models/llama3-8b/ggml-model-Q5_K_M.gguf", n_ctx=4096, n_threads=8, n_gpu_layers=45)；注意 n_gpu_layers 必须设为 ≥40，否则部分层回退 CPU 导致吞吐骤降。

方法二：AWQ 模型加载（Qwen2-7B）

先用 tokenizer_qwen = AutoTokenizer.from_pretrained("./models/qwen2-7b")，再调用 model_qwen = AutoModelForCausalLM.from_quantized("./models/qwen2-7b", device="cuda:0", use_safetensors=True)；此处不可省略 use_safetensors=True，否则会尝试加载 pytorch_model.bin 导致 OOM。

方法三：原生 FP16 模型轻载（Phi-3-mini）

使用 model_phi = AutoModelForCausalLM.from_pretrained("./models/phi3-mini", torch_dtype=torch.float16).to("cuda:0")，并立即执行 model_phi.eval()；若跳过 eval()，训练模式下的 dropout 层将引发输出不稳定。

配置原子化调度器 atom-router

第一步：定义路由策略字典

ROUTER_MAP = { "reasoning": llama3_model, "coding": model_qwen, "lightweight": model_phi }；键名必须与业务请求中的 intent 字段完全一致，大小写敏感。

第二步：封装并发调用函数

用 asyncio.to_thread 包裹各模型的 generate() 或 __call__() 方法，避免阻塞事件循环；对 Llama.cpp 实例需额外传入 temperature=0.7, top_p=0.9 等参数，否则默认 temperature=0.8 导致与 Qwen2 的采样行为不一致。

第三步：启动本地 HTTP 调试服务

用 FastAPI 启一个端点：@app.post("/atoms/invoke")，接收 JSON 请求体 {"intent": "coding", "prompt": "写一个快速排序"}，查表获取对应模型后异步调用，返回 {"output": "...", "model_used": "qwen2-7b"}。

启动命令：uvicorn multi-atoms-loader:app --host 0.0.0.0 --port 8000 --reload；【务必添加 --reload 参数，否则模型变更不会热更新】。