推理效率 | 翊谦网络科技（深圳）有限公司

推理效率

8月28日，2026中国国际大数据产业博览会期间，中科曙光推出新一代词元加速方案ParaCache。这项技术通过保存并复用大模型已计算结果，让重复计算减少80%以上。实测显示，处理约12万词元输入时，模型开始回答前的等待时间最高可降98.5%；高并发场景下，系统每秒处理词元量达原值27倍。

大模型 ParaCache 存储技术推理效率人工智能

2 2026-08-28