为什么要理解硬件

做模型训练、推理或边缘部署时，CPU、GPU、NPU 的职责不同。理解它们的差异，有助于判断模型适合跑在哪类设备上。

CPU

CPU 是 Central Processing Unit，也就是中央处理器。

  • 常见应用：操作系统、文件处理、业务逻辑控制。
  • 计算特点：更擅长串行任务和复杂控制逻辑。
  • 部署角色：适合通用计算，也常作为模型推理服务的控制和调度核心。

GPU

GPU 是 Graphics Processing Unit，也就是图形处理器。

  • 常见应用：游戏渲染、科学计算、大模型训练。
  • 计算特点：更擅长大规模并行计算。
  • 部署角色：常用于深度学习训练和高吞吐推理。

NPU

NPU 是 Neural Processing Unit，也就是神经网络处理器。

  • 常见应用：人脸解锁、摄像头目标检测、边缘 AI 推理。
  • 计算特点：面向神经网络计算优化，尤其擅长矩阵运算。
  • 部署角色：适合端侧、边缘侧的 AI 推理加速。

总结

CPU 偏通用控制，GPU 偏并行计算，NPU 偏神经网络加速。模型部署时要结合任务类型、吞吐需求、延迟要求和设备环境选择合适硬件。

配图记录