今天我们的主题是Meta AI团队最新推出的开源代码生成模型Code Llama。
Code Llama是一个基于Llama 2的代码生成专用语言模型,经过在大规模代码数据集上的继续预训练后,在代码生成任务上取得了领先的性能。Code Llama最大的模型规模达到340亿参数,在HumanEval和MBPP这两个编程基准测试中,其生成代码的正确率分别达到53.7%和56.2%,超过了当前公开的其他代码生成语言模型。
Code Llama提供了三种规模的模型,分别是7亿、13亿和340亿参数,以适应不同的部署需求。此外,Meta还发布了两个细化变种模型,一个是专门针对Python进行了进一步微调的Code Llama - Python,另一个是通过自然语言指令微调的Code Llama - Instruct,后者在处理自然语言提示时表现更优。
Code Llama的训练方式和模型权重都在Gi...去小宇宙查看完整单集简介
在小宇宙查看该单集文稿
