开源代码模型击败ChatGPT在编码任务中(GitHub Repo)

近日，一种开源代码模型在编码任务中表现超越ChatGPT等语言模型。封闭模型之所以强大，是因为它们实际上是伪装成语言模型的代码模型。很多开放式语言模型表现不佳，因为它们无法从大规模的代码预训练中获得推理能力。而 Starcoder 模型在 Evol 指令上进行调整，令人惊讶地在 HumanEval 基准测试中取得了57的高分。模型和代码现已开放下载。 核心要点： - 开源代码模型在编码任务中胜过语言模型。 - 封闭模型实际上是代码模型伪装成的语言模型。 - Starcoder 模型在 Evol 指令上进行调整，达到了57的高分。