模型训练再牛，上线推理一慢全白搭。这五个技巧，帮你把大模型“跑得快、省资源”。

一、选对量化精度

推理优化的第一刀，砍在参数精度上。训练用FP32或FP16，推理完全可以用INT8甚至INT4。量化不是玄学，实测显示：INT8精度损失通常在1%以内，而显存占用直接减半，速度提升2-3倍。

怎么选？追求极致速度且硬件支持，用INT4（如GPTQ/AWQ）；要求精度损失几乎为零，用INT8；CPU部署首选GGUF格式，4-bit量化在普通笔记本上就能跑70亿参数模型。别担心精度，大多数对话和分类任务，用户根本感觉不出差别。量化是性价比最高的优化，没有之一。

二、启用KV缓存

大模型生成文本时，每个新token都要重新计算之前所有token的注意力。这就像你每次写新句子都把前面写过的重新抄一遍——极其浪费。

KV缓存解决了这个问题：把已经计算过的键值对（Key-Value）存起来，新token只计算它和之前token的关系。效果惊人：长文本生成时，推理速度提升5-10倍，且生成越长收益越大。主流推理框架（vLLM、HuggingFace的past_key_values）默认开启，但你需要检查自己的代码有没有误关。记住：不开启KV缓存的长文本推理，就像没用砧板切菜——能干，但折磨自己。

三、使用批处理

单个请求推理时GPU利用率往往很低，因为GPU是为“大规模并行”设计的。批处理（Batch）把多个请求拼在一起同时推理，让GPU同时干活。

动态批处理是生产环境的标配：系统等待几毫秒（比如50ms），收集到达的多个请求，打包成一个batch送进模型。吞吐量提升3-5倍很常见。注意控制最大batch size，别让显存爆了。vLLM和TensorRT-LLM都内置了这项优化。如果你的推理服务每秒请求数不到10，批处理收益有限；但一旦压力上来，它就是救命稻草。

四、选对推理引擎

很多人直接用HuggingFace的pipeline做生产部署，这是性能大坑。专业推理引擎做了大量底层优化：算子融合（把多个小计算合并成一个大计算）、内存复用、并行调度。换引擎是最快见效的优化手段。

GPU场景首选vLLM（开箱即用，PagedAttention技术让显存利用率提升数倍）或TensorRT-LLM（英伟达官方，速度最快但学习曲线陡）。CPU场景用llama.cpp，配合GGUF量化，普通服务器也能支撑70亿模型。评测数据：同样一个70亿模型，HF pipeline每秒只能生成20个token，换成vLLM能到60-80。不用换硬件，只换软件。

五、应用层降级

不是所有请求都需要跑大模型。设计应用时加入“智能降级”策略，能省下大量推理成本。

怎么降？先做意图分类：用户问“今天天气”，用小模型或规则匹配直接回答，无需调大模型。本地缓存：相同或相似问题（嵌入向量距离近），直接返回历史答案，避免重复计算。超时降级：大模型响应慢时，自动切换到更小的模型或返回预设兜底话术。混合部署：简单请求跑7B模型，只有高难度请求才调70B。实际业务中，60%-80%的请求可以通过降级处理而不影响用户体验。推理优化不只是改模型，更是改架构。

训练决定天花板，推理决定落地线。五个技巧从模型压缩到系统架构，按成本从低到高排序：先做量化加缓存，换引擎上批处理，最后再加应用降级。拿到一个推理慢的模型，依次试下来，多数能快3-5倍。别只盯着训练那几个点了，把推理优化加进你的技能树吧。