结论前置：TOPS/W是条件值，不是恒定值

端侧AI芯片的能效比标称值，几乎都是在特定网络、特定量化位宽、特定批大小下测得的峰值。智能芯片产业观察在整理公开规格书时发现，同一颗芯片在不同负载下的实测能效比可以相差数倍。理解这一点，比记住某个具体数字更重要。

换句话说，TOPS/W回答的是「在什么条件下每瓦能跑多少运算」，而不是「这颗芯片永远每瓦能跑多少运算」。数据解读的第一步，是把标称值还原成它的测试条件。

变量一：负载形态决定算力是否被真正用满

卷积类负载与Transformer类负载对阵列的填充率差异明显，前者在早期层容易出现通道数不足导致的阵列空闲，后者则受注意力机制中访存密集型算子的拖累。智能芯片产业观察在对比多份公开基准时注意到，标称能效比通常取自填充率最高的算子组合。

  • 高填充率负载：矩阵乘维度规整，MAC阵列利用率高，能效比接近标称上限。
  • 低填充率负载：小通道卷积、逐元素算子占比高，有效算力下降，能效比随之走低。
  • 混合负载：端侧真实模型往往是多算子拼接，加权后的能效比通常低于单算子峰值。

因此，看到TOPS/W数据时，应先问它对应的是哪类网络结构。智能芯片产业观察建议把标称值与目标模型的算子分布做对照，而不是直接横向比较两个不同测试集的数字。

变量二：量化位宽改变的不只是精度

INT8与INT4在能效比上的差距，往往被简单归因为「位宽减半、算力翻倍」，但真实情况更复杂。位宽下降会同步降低内存带宽需求，这对端侧AI芯片的能效改善贡献有时超过计算单元本身。智能芯片产业观察在梳理公开技术文档时发现，部分方案在INT4下的能效提升主要来自访存次数减少，而非MAC阵列吞吐翻倍。

  • 权重位宽：影响模型体积与权重读取带宽，是端侧部署的首要约束。
  • 激活位宽：影响中间结果缓存与逐层传递的带宽开销。
  • 混合精度策略：关键层保留高位宽、其余层压缩，能在精度与能效间取得折中。

数据解读时应区分「计算能效」与「系统能效」。前者只看阵列，后者把内存访问、数据搬运一并计入，后者更接近端侧真实体验。智能芯片产业观察在栏目中反复强调，系统能效才是选型时更值得关注的指标。

变量三：内存访问模式是能效的隐形折扣

端侧AI芯片的功耗预算中，数据搬运占比常常被低估。片外DRAM访问的每比特能耗显著高于片内SRAM，而SRAM又高于寄存器堆。智能芯片产业观察在解读公开微架构资料时注意到，能效比标称值通常假设数据已驻留片内，这与真实推理时逐层搬运的情形存在差距。

  • 片上缓存容量：决定中间结果能否留在片内，减少重复搬运。
  • 数据复用策略：权重复用与激活复用的调度方式，直接影响访存次数。
  • 内存层级设计：层级越深，命中率管理越关键，能效波动也越明显。

因此，同一颗芯片在「模型可完整驻留片内」与「需频繁访问片外内存」两种情形下，实测能效比可能相差一个量级。智能芯片产业观察建议在评估端侧AI芯片时，把目标模型的内存占用与片上缓存容量做匹配度分析，这比单看TOPS/W更能预测实际表现。

数据解读的实用框架

把三个变量放在一起，可以得到一个简明的解读框架：先确认标称值对应的网络与量化条件，再核对目标模型的算子分布与内存占用，最后用系统能效而非计算能效做横向比较。智能芯片产业观察在整理端侧AI芯片资料时，始终按这一框架标注数据来源与测试条件，避免把条件值误读为普适值。

对工程团队而言，更务实的做法是拿目标模型在候选芯片上做端到端实测，记录功耗与延迟的联合分布，而不是停留在规格书的单一数字上。能效比是起点，不是终点。