00278 DeepSeek-R1：通过强化学习激励LLM中的推理能力 (论文学习笔记)

前言

DeepSeek-AI DeepSeek-R1：通过强化学习激励LLM中的推理能力论文的学习笔记。

Operating System: Ubuntu 22.04.4 LTS

信息

论文题目：DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

发表年份：2025

论文地址：https://arxiv.org/abs/2501.12948

pdf 地址：https://arxiv.org/pdf/2501.12948

个人学习笔记：

1. https://github.com/yanfeng98/paper-is-all-you-need/blob/main/papers/00045-DeepSeek_R1.pdf
2. https://cdn.jsdelivr.net/gh/yanfeng98/paper-is-all-you-need/papers/00045-DeepSeek_R1.pdf

内容

摘要

我们介绍了我们的第一代推理模型DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero是一种通过大规模强化学习（RL）训练的模型，没有监督微调（SFT）作为初步步骤，展示了卓越的推理能力。通过RL，DeepSeek-R1-Zero自然出现了许多强大而有趣的推理行为。然而，它遇到了易读性差和语言混合等挑战。为了解决这些问题并进一步提高推理性能，我们引入了DeepSeek-R1，它在RL之前结合了多阶段训练和冷启动数据。DeepSeek-R1在推理任务上实现了与OpenAI-o1-1217相当的性能。为了支持研究社区，我们开源了DeepSeek-R1-Zero、DeepSeek-R1和六个密集模型（1.5B、7B、8B、14B、32B、70B），这些模型是从基于Qwen和Llama的DeepSeek-R1中提炼出来的。

结语

第二百七十八篇博文写完，开心！！！！

今天，也是充满希望的一天。