📚 网上馆配 · 你选我买选采服务平台

大模型边缘推理系统设计—模型压缩、推理优化与跨平台部署—model compression, inference optimization and cross-platform deployment

📝 内容简介

本书共分为10章，系统解析大模型在边缘侧的部署路径，围绕大模型原理、边缘计算特性及两者结合面临的挑战展开。全书首先介绍Transformer架构、大模型裁剪与知识蒸馏方法，覆盖量化策略与推理优化机制，深入剖析了权重剪枝、混合精度计算、推理引擎执行流及算子融合等关键技术。随后聚焦实际部署流程与系统调度策略，从模型格式兼容、工具链集成到流水线构建与资源限制应对，再到KV缓存、模型热加载与调度优化等边缘执行机制均有深入讲解。最后基于平台与场景展开应用实战，包括面向ARM、RISC-V与x86的跨平台部署策略等。