强化学习教程：Hands-On Modern RL，现代强化学习实战指南：涵盖经典控制、LLM 后训练、RLVR 与多模态智能体 | 在线阅读 | github | #电子书 #指南 #教程

2016 年，AlphaGo 击败李世石，强化学习第一次震撼公众。2022 年 ChatGPT 发布，人们发现 RL 正是让大语言模型从"能说话"变成"说好话"的关键技术。从 DeepSeek-R1 到各类开源对齐模型，RLHF、DPO、GRPO 等算法已经深刻地重塑了整个 AI 行业。

然而，市面上的学习资源严重滞后于行业实践。主流教程对 RL 一笔带过，专门的 RL 教材又停留在传统框架，对 PPO、DPO、GRPO 只字不提。一个想要理解 RLHF 流程的工程师，不得不在经典教材和最新论文之间艰难地自行搭建桥梁。我们着手写这本书，就是为了填补这道鸿沟。

这本书代表了我们的尝试——让现代强化学习变得平易近人，用代码、数学和直觉的融合来教会人们核心概念。

一种"先动手、后理论"的学习路径

许多教科书先讲完 MDP 的全部性质，再讲贝尔曼方程，最后才允许你碰一行代码。在这本书中，你将从第一章的第一行代码开始训练一个智能体。当你亲眼看到 CartPole 的小车从摇摇晃晃到稳稳站立，亲手用 DPO 让一个大模型学会"说好话"，再回过头理解背后的数学时，学习过程会更加自然，理解也会更加持久。

每一章都遵循一个四步循环：先给你一段可运行的代码，让你获得直接经验；然后引导你关注训练曲线上的关键现象；接着在具备直觉的基础上讲解数学原理；最后用理论重新解读之前的现象，完成从直觉到形式化的闭环。

本书的每一章都包含可运行的代码示例。强化学习中的许多直觉只能通过试错来建立——调一调学习率，观察 reward 曲线的振荡；改一改 clip 参数，看看策略是否会崩溃。这些经验无法仅靠阅读公式来获得。

本书面向学生、工程师和研究人员。不需要过往的深度学习或机器学习背景，只需基本的 Python 编程能力、线性代数（矩阵运算）、微积分（偏导数、链式法则）和概率论基础（期望、条件概率）。大多数时候，我们会优先考虑直觉和想法，而不是数学的严谨性。

学习计算机科学常常需要寻找各种资源，基础课、算法、系统、数学到处找，进度难以把控，容易半途而废。

open-source-cs 把顶尖大学的免费公开课重新编排成完整CS本科培养路径，从入门到进阶一应俱全。| #教程 #计算机科学

不仅有Harvard CS50打牢基础、MIT微积分补数学底子、Princeton算法练解题能力，还覆盖系统构建、机器学习、数据库等实战应用。

主要功能：

- 计算机科学基础：Harvard CS50入门，系统理解计算本质；
- 编程能力：Duke大学Java系列+华盛顿大学编程语言全栈训练；
- 数学核心：MIT微积分三部曲+UT Austin线性代数，硬核必修打牢；
- 系统原理：从Nand到Tetris从零构建现代计算机；
- 算法理论：Princeton算法Part I/II，解题+证明双修；
- 应用实战：软件工程、斯坦福机器学习、数据库管理、密码学等前沿。

支持完全免费自学，每门课标注学时、前置要求和频率，适合零基础到进阶的自学者。按路径走=本科CS等效教育。

类似资源推荐：🌐 巴西版CS自学 | 🤖 100天100个IoT项目

构建一个真正有效的简单搜索引擎 | blog | #教程 #搜索引擎

“我知道你在想什么。“为什么不直接使用Elasticsearch？”或者“那Algolia怎么样？”这些都是有效的选择，但它们也带来了复杂性。你需要学习它们的API，管理它们的基础设施，并处理它们的各种怪癖。
有时候，你只想要一个：
※与现有数据库兼容的
※不需要外部服务的
※易于理解和调试的
※能够真正找到相关结果的

这就是我所构建的。一个使用你现有数据库的搜索引擎，尊重你当前的架构，并且让你完全掌控它的工作方式。

核心理念
这个概念很简单：将一切进行标记化（tokenize），存储起来，然后在搜索时匹配标记。

它的工作原理如下：
※索引：当你添加或更新内容时，我们将其分解为标记（单词、前缀、n-grams），并带有权重地存储它们
※搜索：当有人进行搜索时，我们以相同的方式对他们的查询进行标记，找到匹配的标记，并对结果进行评分
※评分：我们使用存储的权重来计算相关性分数

其中的关键在于标记化和加权。让我给你演示一下我的意思。”

llm-course：一站式学习大型语言模型（LLM）的免费课程。| #教程

课程分为LLM基础、科学家、工程师三部分，覆盖从理论到实践的全过程；提供多种实用工具，如模型合并、量化、自动评估等；互动式学习体验，配备LLM助教答疑

Happy-LLM：从零开始的大语言模型原理与实践教程，带你深入探索LLM的世界。| #教程

系统性教程，从NLP基础到LLaMA2实现；动手实践，涵盖预训练到微调全流程；结合前沿技术，如RAG和Agent

让CPU也能玩转大模型部署的开源教程。

提供从基础到进阶的全方位内容，覆盖多平台安装与配置；支持多种编程语言调用Ollama API，拓展性强；丰富的应用案例，包括本地AI Copilot和RAG应用搭建

动手学 Ollama 教程 | #教程

自然语言处理（NLP）领域的入门到精通教程，包含从分词器到Transformer架构的全面内容，旨在帮助学习者掌握NLP的核心概念并理解其发展脉络

NLP Zero to Hero | #教程