Consistency LLM：将LLMs转换为并行解码器可将推理加速3.5倍
talkingdev • 2024-05-08
656885 views
Consistency LLM是一种新的自然语言处理模型，可以将其转换为并行解码器，从而将推理时间缩短至3.5倍。LLM模型是一种具有良好性能的模型，但推理速度较慢。该研究团队将LLM转换为并行解码器，使用了一种名为一致性训练的技术。根据该研究的结果，使用一致性LLM进行推理比使用普通LLM进行推理要快3.5倍。
