00121 学习笔记目录

Git VSCode Markdown Linux C++ Python 大语言模型 huggingface LaTeX Verilog
大语言模型
发布日期:   2024-06-01
更新日期:   2025-01-18

前言

学习笔记目录，包含论文笔记.

操作系统：Windows 11 家庭中文版

论文学习笔记

  1. 00122 神经语言模型的缩放定律 (论文学习笔记): 神经语言模型的缩放定律（2020）.
  2. 00123 零冗余优化器 论文学习笔记: 零冗余优化器（2020）.
  3. 00124 MiniCPM 论文学习笔记: MiniCPM 小型的语言模型（2024）.
  4. 00125 Phi-3 论文学习笔记: Phi-3 小型的语言模型（2024）.
  5. 00168 ChatGLM 论文学习笔记: ChatGLM 语言模型（2024）.

人工智能

  1. 00258 混淆矩阵: 混淆矩阵.
  2. 00262 roc_auc_score 函数: roc_auc_score 函数.
  3. 00253 Monte Carlo Tree Search算法: Monte Carlo Tree Search算法.

杂项

人工智能

  1. 00032-人工智能杂项: 介绍一些人工智能杂项，包括：激活函数等问题.
  2. 00077-PyTorch 杂项: 介绍一些 PyTorch 杂项.
  3. 00079-Hugging Face 杂项: 介绍一些 Hugging Face 的杂项.

编程语言

  1. 00030-Python 杂项: 介绍一些 Python 杂项，包括：Python 语法等问题.
  2. 00069-简洁 C/C++ 杂项: 介绍一些 C/C++ 简洁技巧.
  3. 00038-Markdown 杂项: 介绍一些 Markdown 杂项.
  4. 00154 Verilog 杂项: 介绍一些 Verilog 的杂项.

python 库

  1. 00092-pandas 杂项: 介绍一些 pandas 杂项.
  2. 00068 Sphinx 杂项: 介绍一些 Sphinx 杂项.
  3. 00070-pybind11 杂项: 介绍一些 pybind11 杂项，包括：打包等问题.
  4. 00207 Python 常用包安装笔记: Python 常用包安装笔记.

编程环境

  1. 00028-Linux 杂项: 介绍一些 Linux 杂项，包括：Linux 命令、Linux 系统问题.
  2. 00058-Windows 杂项: 介绍一些 Windows 杂项，包括：Windows 系统问题.
  3. 00145 VSCode 杂项: 介绍一些 VSCode 杂项.
  4. 00065-Git 杂项: 介绍 Git 和 Github 的杂项.
  5. 00172 Node.js 杂项: 介绍一些 Node.js 杂项.

文档

  1. 00061-WPS 杂项: 介绍一些 Office 办公软件杂项，包括：Word、Excel、PPT 问题.

编程语言

Python

  1. 00084 Python 类: Python 类学习笔记.
  2. 00083 Python 装饰器: Python 装饰器学习笔记.
  3. 00086 Python property 装饰器: Python property 装饰器学习笔记.
  4. 00261 Python hash 方法: Python __hash__ 方法.
  5. 00267 Python chain函数: chain函数.
  6. 00237 partial 函数: partial 函数.
  7. 00269 Python MethodType 方法: Python MethodType 方法.
  8. 00260 Python UUID 函数: UUID 函数.
  9. 00244 inspect.signature 函数: inspect.signature 函数.
  10. 00259 Python 堆队列算法: Python 堆队列算法.
  11. 00265 difflib — 计算差异的辅助工具: difflib — 计算差异的辅助工具.
  12. 00085 Python 垃圾回收器接口: Python 垃圾回收器接口学习笔记.
  13. 00175 warnings 学习笔记: warnings — 警告信息控制.
  14. 00089 Python dataclasses — 数据类: dataclasses — 数据类学习笔记.
  15. 00091 Python typing —— 对类型提示的支持: typing —— 对类型提示的支持学习笔记.
  16. 00016 ctypes — Python 的外部函数库: 介绍 ctypes — Python 的外部函数库.
  17. 00120 Python 日期和时间: Python 日期和时间.
  18. 00239 subprocess.run 用法: subprocess.run 用法.
  19. 00164 Python concurrent 包 学习笔记: concurrent.futures — 启动并行任务.
  20. 00054 copy 标准库学习笔记: copy — 浅层 (shallow) 和深层 (deep) 复制操作.
  21. 00055 CSV 文件读写: CSV 文件读写.
  22. 00093 Python json — JSON 编码和解码器: Python json — JSON 编码和解码器学习笔记.
  23. 00169 argparse 学习笔记, 00048 Argparse 教程学习笔记: argparse — 用于命令行选项、参数和子命令的解析器.
  24. 00047 正则表达式 HOWTO 学习笔记: 关于在 Python 中通过 re 模块使用正则表达式的官方入门教程.
  25. 00063 使用pip和虚拟环境安装包: 使用pip和虚拟环境安装包.
  26. 00235 pip查看包的位置: pip查看包的位置.
  27. 00046 打包 Python 项目: 打包 Python 项目.
  28. 00080 logging — Python 的日志记录工具: Python 的日志记录工具.
  29. 00166 PEP 8 – Style Guide for Python Code: PEP 8-Python代码样式指南.
  30. 00167 在VS Code中格式化Python: 在VS Code中格式化Python
  31. 00148 Python Fire 学习笔记: Python Fire是一个库，用于从绝对任何Python对象自动生成命令行界面（CLI）.
  1. 00255 Python 实用自定义便利函数: Python 实用自定义便利函数.

C++

  1. 00246 ubuntu安装常见的c++环境: ubuntu安装常见的c++环境.

Verilog

  1. 00158 Verilog In One Day 学习笔记: Verilog In One Day.

LaTex

  1. 00114 初识 LaTeX: 初识 LaTex，主要集中于基础语法知识.
  2. 00115 利用 LaTeX 做 PPT (Beamer): 基于 Beamer，利用 LaTex 做 PPT.
  3. 00116 Beamer 主题: 介绍一些 Beamer 主题.
  4. 00118 本地配置 LaTeX 环境-windows11: 利用 VSCode 在本地配置 LaTex 编译环境.

Linux 命令

  1. 00228 tgz文件解压缩: tgz文件解压缩.
  2. 00238 cp命令: cp命令.
  3. 00229 linux如何看cpu数: linux如何看cpu数.
  4. 00234 Shell脚本入门笔记: Shell脚本入门笔记.
  5. 00247 ubuntu内存查看方法: ubuntu内存查看方法.
  6. 00268 linux查看操作系统的命令: linux查看操作系统的命令.
  7. 00257 tmux 入门学习笔记: tmux 入门学习笔记.

Hugging Face

  1. 00202 Hugging Face 常用函数: 常用函数.

transformers

教程

  1. 00147 预处理数据: 预处理数据.
  2. 00126 微调预训练模型: 微调预训练模型.
  3. 00127 🤗 加速分布式训练: 🤗 加速分布式训练.
  4. 00128 使用 🤗 PEFT 加载adapters: 使用 🤗 PEFT加载adapters.

指南

  1. 00142 共享自定义模型: 共享自定义模型.
  2. 00143 文本生成策略: 文本生成策略.

任务

  1. 00129 文本分类: 文本分类.
  2. 00130 Token 分类: Token 分类.
  3. 00131 问答: 问答.
  4. 00132 因果语言建模: 因果语言建模.
  5. 00133 掩码语言建模: 掩码语言建模.
  6. 00134 翻译: 翻译.

性能和可扩展性

训练

  1. 00135 性能与可扩展性: 性能与可扩展性.
  2. 00136 在单个GPU上进行高效训练的方法和工具: 在单个GPU上进行高效训练的方法.
  3. 00137 在多个GPU上进行高效训练: 在多个GPU上进行高效训练的方法.
  4. 00138 完全分片数据并行: 完全分片数据并行.
  5. 00139 DeepSpeed: DeepSpeed.

推理

  1. 00140 CPU 推理: CPU推理.
  2. 00141 GPU 推理: GPU推理.

peft

  1. 00270 PEFT - Quicktour: Quicktour.

datasets

  1. 00170 了解您的数据集: 了解您的数据集.
  2. 00195 创建数据集: 创建数据集.
  3. 00196 加载文本数据: 加载文本数据.
  4. 00264 处理文本数据: 处理文本数据.

trl

  1. 00176 使用 trl 进行 sft: 此脚本展示了如何使用SFTTrainer将模型或适配器微调到目标数据集中.
  2. 00189 TRL - Supervised Fine-tuning Trainer: 介绍监督微调训练器.

博客

  1. 00144 ChatGPT 背后的“功臣”——RLHF 技术详解: ChatGPT 背后的“功臣”——RLHF 技术详解.
  2. 00160 PEFT：在低资源硬件上对十亿规模模型进行参数高效微调: PEFT.
  3. 00152 “StackLLaMA”: 用 RLHF 训练 LLaMA 的手把手教程: 用 RLHF 训练 LLaMA 的手把手教程.
  4. 00150 使用 DPO 微调 Llama 2: 使用 DPO 微调 Llama 2.
  5. 00162 大规模 Transformer 模型 8 比特矩阵乘简介: 大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes.
  6. 00151 面向生产的 LLM 优化: 面向生产的 LLM 优化.
  7. 00161 How to generate text: using different decoding methods for language generation with Transformers: 通过 Transformers 用不同的解码方法生成文本.
  8. 00153 开源大语言模型作为 LangChain 智能体: 开源大语言模型作为 LangChain 智能体.
  9. 00146 Cheat Sheet: Mastering Temperature and Top_p in ChatGPT API: 掌握ChatGPTAPI中的温度和Top_p.

NLP Course

1. Transformer models

  1. 00174 NLP Course - Introduction: Introduction.
  2. 00178 NLP Course - Natural Language Processing: Natural Language Processing.
  3. 00179 NLP Course - Transformers, what can they do?: Transformers, what can they do?
  4. 00180 NLP Course - How do Transformers work?: How do Transformers work?
  5. 00192 NLP Course - Encoder models: Encoder models.
  6. 00193 NLP Course - Decoder models: Decoder models.
  7. 00194 NLP Course - Sequence-to-sequence models: Sequence-to-sequence models.
  8. 00204 NLP Course - Bias and limitations: Bias and limitations.
  9. 00205 NLP Course - Summary: Summary.

2. Using 🤗 Transformers

  1. 00208 NLP Course - Introduction: Introduction.
  2. 00209 NLP Course - Behind the pipeline: Behind the pipeline.
  3. 00210 NLP Course - Models: Models.
  4. 00211 NLP Course - Tokenizers: Tokenizers.
  5. 00212 NLP Course - Handling multiple sequences: Handling multiple sequences.
  6. 00213 NLP Course - Putting it all together: Putting it all together.
  7. 00214 NLP Course - Basic usage completed!: Basic usage completed!

3. Fine-tuning a pretrained model

  1. 00215 NLP Course - Introduction: Introduction.
  2. 00216 NLP Course - Processing the data: Processing the data.
  3. 00217 NLP Course - Fine-tuning a model with the Trainer API: Fine-tuning a model with the Trainer API.
  4. 00218 NLP Course - A full training: A full training.
  5. 00219 NLP Course - Fine-tuning, Check!: Fine-tuning, Check!

4. Sharing models and tokenizers

  1. 00220 NLP Course - The Hugging Face Hub: The Hugging Face Hub.
  2. 00221 NLP Course - Using pretrained models: Using pretrained models.
  3. 00222 NLP Course - Sharing pretrained models: Sharing pretrained models.
  4. 00223 NLP Course - Building a model card: Building a model card.
  5. 00224 NLP Course - Part 1 completed!: Part 1 completed!.

5. The 🤗 Datasets library

  1. 00225 NLP Course - Introduction: Introduction.
  2. 00226 NLP Course - What if my dataset isn’t on the Hub?: What if my dataset isn’t on the Hub?.
  3. 00227 NLP Course - Time to slice and dice: Time to slice and dice.
  4. 00240 NLP Course - Big data? 🤗 Datasets to the rescue!: Big data? 🤗 Datasets to the rescue!
  5. 00241 NLP Course - Creating your own dataset: Creating your own dataset.
  6. 00243 NLP Course - Semantic search with FAISS: Semantic search with FAISS.
  7. 00249 NLP Course - 🤗 Datasets, check!: 🤗 Datasets, check!

6. The 🤗 Tokenizers library

  1. 00250 NLP Course - Introduction: Introduction.
  2. 00251 NLP Course - Training a new tokenizer from an old one: Training a new tokenizer from an old one.
  3. 00252 NLP Course - Fast tokenizers’ special powers: Fast tokenizers’ special powers.
  4. 00254 NLP Course - Fast tokenizers in the QA pipeline: Fast tokenizers in the QA pipeline.
  5. 00263 NLP Course - Normalization and pre-tokenization: Normalization and pre-tokenization.

Hugging Face Llama Recipes

  1. 00198 Hugging Face Llama Recipes - Getting Started: Getting Started.
  2. 00199 Hugging Face Llama Recipes - Local Inference: Local Inference.
  3. 00201 Hugging Face Llama Recipes - Fine Tuning: Fine Tuning.

PyTorch

  1. 00200 PyTorch - 常用函数: PyTorch - 常用函数.
  2. 00149 Fully Sharded Data Parallel(FSDP) 学习笔记: Fully Sharded Data Parallel(FSDP) 学习笔记.

大模型提供商

  1. 00171 OpenAI 文档: OpenAI 文档.
  2. 00242 vLLM 学习笔记: vLLM是一个快速且易于使用的LLM推理和服务库.
  3. 00233 Qwen2.5-Coder: Qwen2.5-Coder 全系列，强大、多样、实用.
  4. 00236 QwQ-32B-Preview: QwQ, 思忖未知之界.

Ollama

  1. 00230 Ollama 学习笔记: Get up and running with large language models.
  2. 00231 Ollama 学习笔记 (手动安装): Manual install.
  3. 00232 Ollama Python Library: Ollama Python Library.

Git

  1. 00117 Github 主页设置贪吃蛇详细教程: 如何在 Github 主页上设置贪吃蛇.
  2. 00119 常用的 GitHub Workflows: 常用的 GitHub Workflows.
  3. 00177 使用 Gitea 自建 Git 服务: 使用 Gitea 自建 Git 服务.
  4. 00191 在 wsl 上安装 gitea: 在 wsl 上安装 gitea.
  5. 00245 新建git仓库: 新建git仓库.
  6. 00256 ping 不通 Github: ping 不通 Github.

Linux & Windows

  1. 00163 如何使用WSL在Windows上安装Linux: 如何使用WSL在Windows上安装Linux.
  2. 00190 U盘作为系统启动盘后如何恢复: U盘作为系统启动盘后如何恢复.
  3. 00173 Docker 文档: Docker 文档.

画图

  1. 00203 Plotly - Violin: 如何在Python中使用Plotly制作小提琴图.

求学时的岁月

  1. 00094-读的论文清单：读研时阅读过的论文.

结语

第一百二十一篇博文写完，开心！！！！

今天，也是充满希望的一天。

文章作者: LuYF-Lemon-love
文章链接: https://luyf-lemon-love.space/2024/06/01/00121-xue-xi-bi-ji-mu-lu/
版权声明: 本博客所有文章除特別声明外，均采用 CC BY 4.0 许可协议。转载请注明来源 LuYF-Lemon-love !
Git VSCode Markdown Linux C++ Python 大语言模型 huggingface LaTeX Verilog
赏
  目录