降低推理延迟的 9 种方法

当 AI 应用运行缓慢时，大多数团队都会归咎于模型。

模型通常只是延迟预算的一部分。

一个典型的请求会经过许多步骤：

• 身份验证 (Authentication) • 特征检索 (Feature Retrieval) • 向量搜索 (Vector Search) • Agent 编排 (Agent Orchestration) • LLM 推理 (LLM Inference) • 护栏机制 (Guardrails) • 响应生成 (Response Generation)

延迟会在这些层级中不断累积。资深工程师会优化整个流水线。

以下是在生产环境中降低延迟的 9 种方法：

  1. 使用特征存储 (Feature Stores) 许多系统在获取数据上花费的时间比进行预测的时间还要长。如果数据检索需要 450ms，那么一个 50ms 的模型就会变成一个 500ms 的系统。使用 Redis、DynamoDB 或 Feast 等工具来加速查找。

  2. 预计算特征 不要在请求时计算所有内容。使用每晚运行的批处理流水线来预计算诸如客户终身价值之类的数据。仅在请求期间计算近期交易等实时数据。

  3. 实现缓存 许多请求是重复的。使用 Redis 或 CloudFront 缓存常见查询的响应。缓存命中可以将延迟从秒级降低到毫秒级。

  4. 优化检索 在 RAG 系统中，搜索整个数据库速度很慢。使用元数据过滤器将搜索空间限制在特定的部门或文档类型中。

  5. 明智地使用混合搜索 同时使用关键词和向量进行搜索可以提高质量，但会增加耗时。先使用关键词搜索找到一小组候选集，然后仅对这些候选集进行向量排序。

  6. 并行运行任务 不要一个接一个地运行 Agent 工具。顺序执行会不断累积耗时。并行运行工具，将总时间缩短至最慢任务的执行时长。

  7. 使用尺寸合适的模型 并非所有任务都需要大模型。对于分类和意图检测，使用小模型。仅在处理复杂推理时使用大模型。

  8. 应用量化 将 FP32 模型转换为 INT8 或 INT4 格式。这可以减少内存占用并加快推理速度。这对于边缘部署和高吞吐量工作负载非常有用。

  9. 追踪一切 你无法修复你看不见的问题。追踪每一步的延迟：检索、搜索、工具调用和推理。使用 Langfuse 或 OpenTelemetry 等工具来寻找真正的瓶颈。

用户并不关心延迟是来自数据库还是 LLM。他们只关心总的等待时间。

资深机器学习工程师降低推理延迟的 9 种实用方法

在机器学习领域，模型在训练阶段的表现固然重要，但在生产环境中，推理延迟 (Inference Latency) 往往是决定用户体验和系统成本的关键因素。如果你的模型响应太慢，用户可能会流失，或者你的基础设施成本会飙升。

资深机器学习工程师不仅仅关注模型的准确率，他们还致力于优化模型在实际部署中的性能。以下是他们用来降低推理延迟的 9 种实用方法。

1. 模型量化 (Model Quantization)

模型量化是将模型的权重和激活值从高精度（如 32 位浮点数 FP32）转换为低精度（如 16 位浮点数 FP16 或 8 位整数 INT8）的过程。

  • 为什么有效： 低精度数值占用更少的内存，且在支持低精度运算的硬件（如具有 Tensor Cores 的 GPU）上计算速度更快。
  • 权衡： 可能会导致模型准确率轻微下降。

2. 模型剪枝 (Pruning)

剪枝是指移除神经网络中对预测结果贡献较小的权重或神经元。

  • 为什么有效： 通过减少参数数量，可以减小模型的大小并减少计算量。
  • 类型： 包括非结构化剪枝（移除单个权重）和结构化剪枝（移除整个通道或层）。

3. 知识蒸馏 (Knowledge Distillation)

知识蒸馏是一种训练技术，其中一个大型、复杂的模型（称为“教师模型”）指导一个较小、更轻量级的模型（称为“学生模型”）。

  • 为什么有效： 学生模型可以学习教师模型的行为，从而在保持接近教师模型性能的同时，拥有极快的推理速度。

4. 使用优化的运行时 (Using Optimized Runtimes)

不要直接在原始框架（如 PyTorch 或 TensorFlow）上进行生产推理。相反，应使用专门为推理优化的运行时。

  • 常用工具：
    • TensorRT: NVIDIA 开发的针对 GPU 优化的推理引擎。
    • ONNX Runtime: 一个跨平台的、高性能的推理引擎。
  • 为什么有效： 这些运行时会对计算图进行融合、层优化和内核自动调优。

5. 批处理 (Batching)

批处理是指将多个推理请求组合在一起进行处理。

  • 静态批处理 (Static Batching): 在训练时使用，但在实时推理中可能增加延迟。
  • 动态批处理 (Dynamic Batching): 在推理服务器（如 NVIDIA Triton）中非常有用。它会在短时间内收集请求并组成一个批次。
  • 权衡： 增加批次大小可以提高吞吐量 (Throughput)，但可能会增加单个请求的延迟 (Latency)。

6. 硬件加速 (Hardware Acceleration)

选择正确的硬件对于降低延迟至关重要。

  • GPU: 适合大规模并行计算。
  • TPU: Google 开发的专门用于张量运算的加速器。
  • FPGA: 提供高度定制化的硬件逻辑，适用于极低延迟需求。
  • Edge Devices: 在移动端或 IoT 设备上，使用专门的 NPU (神经网络处理器)。

7. 模型架构优化 (Model Architecture Optimization)

从设计之初就选择高效的架构，而不是事后修补。

  • 策略： 使用轻量级架构，如 MobileNet、EfficientNet 或 ShuffleNet。
  • 技术： 使用深度可分离卷积 (Depthwise Separable Convolutions) 或注意力机制的优化版本。

8. 缓存 (Caching)

如果你的应用经常处理重复的输入，缓存是极其有效的。

  • 实现方式： 使用 Redis 或内存缓存存储常见查询的结果。
  • 为什么有效： 对于重复请求，直接返回缓存结果可以实现近乎零的延迟，完全跳过模型推理过程。

9. 并行与并发 (Parallelism and Concurrency)

通过优化系统架构来处理请求。

  • 异步处理 (Asynchronous Processing): 不要让客户端等待模型处理完成，使用消息队列（如 Kafka）进行异步推理。
  • 多流执行 (Multi-stream Execution): 在 GPU 上利用 CUDA Streams 同时运行多个内核。

总结

降低推理延迟是一个多维度的过程，涉及模型设计、算法优化、运行时选择以及硬件配置。资深工程师通常会根据具体的业务需求（是追求极低延迟还是高吞吐量）来组合使用这些技术。

Optional learning community: https://t.me/GyaanSetuAi