端侧与边缘推理基础设施 总览
一句话理解：端侧推理把「模型在哪里跑」从数据中心推广到每一台消费设备——在功耗几瓦、内存十几 GB、无散热风道的约束下，用量化、流式加载、异构调度与端云协同，让大模型在手机、PC、眼镜、车载与机器人上可持续地跑起来。
学习目标
阅读完本主题后，你应该能够：
- 用「带宽 ÷ 每 token 字节数」解释端侧 decode 吞吐为什么比算力（TOPS）更受内存带宽支配，并手算 8B 模型在不同位宽下的 tok/s 上限。
- 用「KV 每 token 字节数 × 上下文长度」做端侧容量规划，说清 GQA 与 KV 量化如何把上下文上限从 2 万 token 推到 8 万 token。
- 画出端侧推理系统的分层架构（模型格式 → 运行时 → 硬件抽象 → 异构调度 → 内存管理 → 系统服务），并指出与云端 serving（vLLM）架构的差异。
- 对比 llama.cpp / MLX / ExecuTorch / ONNX Runtime + QNN / Core ML / MLC 六大运行时的定位、硬件后端与适用场景。
- 解释异构算子放置与回退：为什么 NPU 不支持 softmax/norm 时回退 GPU/CPU 的「传输税」可能吃掉 NPU 收益。
- 说清闪存流式加载（mmap + 预取 + 热子集）如何让 5 GB 模型在 8 GB 设备上「秒开」。
- 设计端云混合路由：用隐私分级做硬约束、延迟 SLO 与热节流做可行性判据、成本做最终 tie-breaker。
- 跑通并扩展本主题的 Mini Demo（带宽模型、KV 规划、异构回退、流式加载、LoRA 热切换、端云路由）。
- 回答端侧量化选型、持续性能、端云拆分了类面试问题。
与 LLMOps 其他主题的关系
云端引擎主题回答「数据中心里怎么把模型跑到最快」，本主题回答「模型怎么离开数据中心，在用户手边的设备上跑起来」——两者的量化、KV、调度知识是同源的，约束条件却完全不同。
| 主题 | 解决的核心问题 | 与本主题的关系 |
|---|---|---|
| vLLM | 云端高吞吐 serving | 架构参照系：端侧是「batch=1、功耗封顶」的极端 serving 场景 |
| 模型量化与压缩基础设施 | 训练侧量化算法与数据中心格式 | 本主题消费其产物：GGUF/ONNX/CoreML 是量化模型的端侧封装格式 |
| AI 编译器与 Kernel 生成 | 算子编译与 kernel 生成 | 端侧运行时（ExecuTorch/MLC）本质是「交叉编译 + AOT」的编译器管线 |
| 多模态与语音推理基础设施 | 视觉/语音模型推理 | 端侧是语音助手、AR 识别的主要落地形态，流式与低延迟要求更高 |
| LLM 推理缓存与 KV Cache 管理 | KV 复用与分层 | 端侧没有显存分层，KV 管理退化为「容量规划 + 量化」两个问题 |
| GPU 与 CUDA 编程 | GPU 体系结构 | 端侧 GPU/NPU 是同一编程模型的低功耗变体，统一内存改变了一切 |
| Personal AI Agent | 个人智能体 | 端侧推理是个体 Agent 的「身体」，隐私与离线能力是它的立身之本 |
| 安全 | 基础设施安全 | 模型分发验签、端云数据边界、PCC 可验证性都属端侧安全面 |
本章结构
- 背景 — 端侧 AI 爆发：四股力量与四面墙。
- 核心思想 — 内存墙、异构回退、流式加载、隐私分级、持续性能。
- 架构设计 — 端侧推理系统的六层架构。
- 工作流程 — 一次端侧推理请求的完整生命周期。
- 核心模块 — 格式打包、运行时、异构调度、内存管理、端云路由。
- 生态与源码分析 — 六大运行时与边缘节点横向对比。
- Mini Demo — 纯 Python 可运行的六类机制模拟。
- 企业生产实践 — 模型准入、热节流压测、端云灰度。
- 最佳实践 — 选型与容量规划清单。
- 面试题 — 初级/中级/高级面试题。
- 延伸阅读 — 论文、官方文档与手册内回链。
一句话总结
端侧推理的本质是：在电池供电的统一内存设备上，用带宽账取代算力账，用调度与流式加载取代堆卡，用隐私分级与端云协同取代单一部署——每一瓦功耗、每一 GB 内存都要在格式、运行时与路由三个层面同时精打细算。