00273 Qwen2.5-Coder技术报告 (论文学习笔记)

前言

AlibabaGroup Qwen2.5-Coder技术报告论文的学习笔记。

Operating System: Ubuntu 22.04.4 LTS

信息

论文题目：Qwen2.5-Coder Technical Report

发表年份：2024

论文地址：https://arxiv.org/abs/2409.12186

pdf 地址：https://arxiv.org/pdf/2409.12186

个人学习笔记：

1. https://github.com/yanfeng98/paper-is-all-you-need/blob/main/papers/00033-Qwen2.5-Coder.pdf
2. https://cdn.jsdelivr.net/gh/LuYF-Lemon-love/paper-is-all-you-need/papers/00033-Qwen2.5-Coder.pdf

内容

摘要

在本报告中，我们介绍了Qwen2.5-Coder系列，它是其前身CodeQwen1.5的显著升级。该系列包括六个模型：Qwen2.5-Coder-（0.5B/1.5B/3B/7B/14B/32B）。作为一个特定于代码的模型，Qwen2.5-Coder建立在Qwen2.5架构之上，并继续在超过5.50万亿个令牌的庞大语料库上进行预训练。通过细致的数据清理、可扩展的合成数据生成和平衡的数据混合，Qwen2.5-Coder展示了令人印象深刻的代码生成能力，同时保留了一般和数学技能。这些模型已经在广泛的代码相关任务上进行了评估，在10多个基准测试中实现了最先进的（SOTA）性能，包括代码生成、完成、推理和修复，始终优于相同模型大小的大型模型。我们相信Qwen2.5-Coder系列的发布将推进代码智能的研究，并通过其宽松的许可，支持开发人员在现实世界应用程序中的更广泛采用。

结语

第二百七十三篇博文写完，开心！！！！

今天，也是充满希望的一天。