研究发现推理使大模型推理能耗平均增至3.7倍: 一项研究测量了 86 个开放权重 LLM 检查点在七个基准测试和六个硬件平台上的推理能耗。大多数配置消耗的能耗中位数是得分至少同样好的另一个配置的 2.6–4.8 倍，差距最高可达 27 倍；推理平均使能耗增至约...

来源简报

研究发现推理使大模型推理能耗平均增至3.7倍: 一项研究测量了 86 个开放权重 LLM 检查点在七个基准测试和六个硬件平台上的推理能耗。大多数配置消耗的能耗中位数是得分至少同样好的另一个配置的 2.6–4.8 倍，差距最高可达 27 倍；推理平均使能耗增至约 3.7 倍。