Token加速
Token加速
中科曙光发布Token加速技术体系,破解大模型算力瓶颈
Token是大模型处理的核心单元,其生成效率直接影响模型响应速度和服务能力。在训练和推理过程中,海量数据需要在多块GPU间分发汇总,若出现CPU调度拖累、存储访问卡顿或网络抖动,会导致GPU空转等待,严重拉低集群算力利用率。
1