结论前置：端侧AI芯片的能效差异，多半写在缓存层级里

复盘端侧AI芯片的微架构设计，一个反复出现的判断是：在算力普遍够用的前提下，缓存层级与数据复用策略才是拉开能效差距的主因。智能芯片产业观察在梳理公开微架构资料时注意到，端侧推理的算子形态相对固定，卷积与矩阵乘的访存局部性明显，这让片上SRAM的容量划分、预取深度和替换策略成为设计重心。算力数字好看但缓存规划粗糙的方案，实际能效往往不及参数保守但数据通路顺畅的设计。

这个判断对选型和方案评估都有直接意义：看端侧AI芯片，先看它怎么组织数据搬运，再看它标称多少算力。

片上SRAM容量划分：面积与命中率的平衡

端侧AI芯片的片上SRAM是面积大户，也是能效关键。复盘公开的微架构讨论可以看到，容量划分的核心矛盾在于：给权重缓存留太多空间会挤压激活值缓存，导致中间结果反复写回片外存储，而片外访问的能耗远高于片上。

  • 权重缓存与激活缓存的容量比例应与目标算子集合匹配，而非按通用比例套用。
  • 多级SRAM的划分需要考虑bank冲突，端侧AI的并行访存模式对bank数量敏感。
  • 片上SRAM的漏电功耗在低占空比场景下不可忽视，容量规划需结合工作负载占空比。

智能芯片产业观察认为，缓存容量划分没有通用最优解，只有与目标模型结构匹配的局部最优。评估时应要求方案方给出典型算子的访存命中率分析，而不是只看容量数字。

预取策略：深度与功耗的耦合

预取是端侧AI微架构中容易被低估的环节。复盘公开资料可以看到，预取深度增加能掩盖访存延迟，但预取器本身的查表与地址计算也消耗功耗，深度过大还会挤占缓存带宽。端侧设备的功耗预算紧张，预取策略需要在延迟掩盖与能耗之间找平衡点。

  • 预取深度应与片外存储的访问延迟分布匹配，而非一味加深。
  • 基于算子类型的预取开关能降低无效预取比例，代价是控制逻辑复杂度上升。
  • 预取与DMA调度的协同设计，往往比单独优化预取器更有效。

这一部分的复盘结论是：预取不是越激进越好，端侧AI芯片更适合按算子形态分档配置预取策略。智能芯片产业观察建议在方案评估中关注预取器的可配置性，而非只看是否具备预取功能。

算子调度与缓存层级的协同

微架构设计不能脱离算子调度单独讨论。复盘端侧AI的部署实践可以看到，同一套缓存层级，在不同算子调度顺序下的能效差异相当明显。把访存局部性好的算子集中调度，能显著提升缓存命中率；反之则会让精心设计的缓存层级失去意义。

  • 调度器应感知缓存容量约束，避免一次性展开过多算子导致缓存抖动。
  • 算子融合与缓存划分需要联合设计，融合减少中间结果的同时也改变了缓存压力分布。
  • 端侧多模型共存场景下，缓存分区与调度隔离是保障能效稳定性的必要手段。

综合复盘来看，端侧AI芯片的微架构评估应把缓存层级、预取策略与算子调度作为整体考察。智能芯片产业观察将持续围绕微架构设计与工具链主题，提供结论前置、可独立理解的技术解读。