<div>睡觉高手<br/>IT农民工<br/>#######</div>

介绍了多种算法题的小技巧，包括脑筋急转弯题目、常用位操作、游戏中的随机算法、阶乘的尾零个数、高效寻找素数、模幂运算、寻找缺失和重复元素的方法，以及几个反直觉的概率问题。

数学运算技巧

通过多个实例（如跳跃游戏、加油站、区间调度等问题）详细讲解了贪心算法的原理、贪心选择性质，以及区间问题的常见解决思路和技巧。

贪心算法套路框架

通过打家劫舍问题模式、背包问题及多种动态规划经典习题，讲解了不同题目中 dp 数组的定义、状态转移方程等解题思路，还涉及贪心算法、二分查找等的应用。

动态规划练习题

总结了多个经典的动态规划问题，涵盖了从二维路径规划、图论最短路径、正则表达式匹配，到博弈论和区间动态规划等多个类型。

动态规划应用

系统讲解了 0-1 背包、完全背包及其变种问题（如子集划分、零钱兑换、目标和）的动态规划解法，涵盖状态定义、转移方程、优化技巧及与回溯算法的关系，掌握背包问题的通用思路。

背包问题

总结了字符串与子序列相关的动态规划问题，讲解通用思路、状态转移和实现技巧。

子序列问题

这篇文章探讨了如何将算法问题抽象为树形结构，通过回溯或者动态规划解决，具体分析了两道题目：单词拆分和单词拆分 II，展示了如何利用备忘录消除冗余计算，并提供了相应的代码实现和时间复杂度分析。

动态规划与回溯的思维转换

这篇文章深入剖析了动态规划中的细节问题，包括 base case 的设定、备忘录初始值的选择、边界处理、穷举视角的切换、空间压缩技巧以及遍历顺序的确定，帮助读者从多个维度理解和掌握动态规划的实战技巧与思维方法。

深入理解动态规划

本文深入浅出地讲解了动态规划的核心思想与解题框架，通过斐波那契数列和凑零钱等经典例题，系统阐述了如何确认状态、选择与 dp 数组的定义，并强调了“穷举 + 剪枝”是动态规划的本质。

动态规划算法套路框架

本文通过大量经典题目系统讲解了 BFS 算法在树结构、图结构、矩阵搜索等场景中的应用，展示了其在求解最短路径、连通性、状态转移等问题中的强大能力，并介绍了状态建模、反向搜索等技巧。

【练习】BFS 经典习题

本文介绍了 BFS 算法的本质以及代码框架，并通过经典问题（如滑动谜题、密码锁等）展示了如何将实际问题抽象为图结构，并利用 BFS 及其优化（如双向 BFS）高效求解最短路径问题。

BFS 算法套路框架

本文系统讲解了岛屿系列算法问题，核心考点是使用 DFS/BFS 遍历二维矩阵，并解析了不同的变体问题（如封闭岛屿、子岛屿、最大岛屿面积、不同形状的岛屿等）

一文秒杀所有岛屿题目

本文介绍了多个回溯算法的经典应用，包括连续差相同的数字、非递减子序列、回文串分割、格雷编码、单词搜索和火柴拼正方形等问题，并通过代码示例详细讲解了如何套用回溯算法的框架秒杀题目。

【练习】回溯算法经典习题

本文探讨了括号生成和集合划分问题，利用回溯算法进行穷举，并结合剪枝优化提升效率，帮助读者深入理解回溯算法在不同问题中的应用及其优化策略。

回溯算法实践

本文通过「球盒模型」提出回溯算法的两种穷举视角，深入解析排列、组合、子集问题的不同写法，并探讨回溯与 DFS 的关系及代码优化策略，帮助读者更深入地理解和应用回溯算法。

深入理解回溯算法

本文系统讲解了排列、组合、子集问题的 9 种变体，并通过回溯算法框架及剪枝优化方法，提供了高效的编程解法，使读者能够灵活应对各种变形题目。

回溯算法秒杀所有排列/组合/子集问题

详细介绍了回溯算法的基本概念、框架和应用，特别是通过全排列、数独和N皇后问题的实例，阐明了如何利用回溯算法进行问题求解和优化。

回溯算法套路框架

最大流问题是寻找在容量网络中流量最大的可行流，常用算法包括Ford-Fulkerson、Edmonds-Karp和Dinic。Ford-Fulkerson通过增广路径更新残存网络，Edmonds-Karp使用BFS寻找增广路径，而Dinic算法则通过分层图和阻塞流提高效率。最大流问题也可用于解决二分图最大匹配。

最大流算法

Dijkstra算法用于计算最短路径，时间复杂度为O(E log V)，而Bellman-Ford算法可处理负权重边，时间复杂度为O(VE)。练习题包括网络延迟时间、最小体力消耗路径和概率最大的路径，均可应用Dijkstra算法及其变体解决。

Dijkstra 算法模版及应用

最小生成树算法包括Kruskal和Prim算法，前者依赖于并查集以避免环，后者利用优先级队列和切分定理动态选择边。两者的时间复杂度均为O(ElogE)，适用于无向加权图的最小生成树问题。

最小生成树算法

并查集算法用于动态连通性，主要实现 union 和 connected 方法，通过路径压缩优化，操作效率可提升至 O(1)。该算法在图论中应用广泛，如计算连通分量和解决相关问题。

Union-Find 并查集算法

二分图的判定算法通过图的遍历和节点着色来判断图是否为二分图，使用DFS或BFS算法实现。该算法在存储电影与演员关系等场景中具有实用价值，并可应用于解决相关的算法题。

二分图判定算法

介绍有向图的环检测和拓扑排序算法，包括DFS和BFS实现方法，讨论课程依赖关系和学习顺序，提供示例和代码实现，最后介绍了经典的名流问题。

环检测及拓扑排序算法

归并排序和快速排序的详细解析，包括算法框架、时间复杂度、实现代码及其在实际问题中的应用，如计算右侧小于当前元素的个数和寻找第K个最大元素等。

归并/快速排序详解及应用

讨论了二叉树的拓展问题，包括最近公共祖先（LCA）问题的基本解法、变体及其在 Git 中的应用，此外还介绍了完全二叉树节点计数和嵌套列表扁平化的迭代器实现。

二叉树拓展延伸

本文介绍了二叉搜索树（BST）的特性及其在算法中的应用，包括中序遍历的有序性、常见算法题的解决方案，以及BST的基本操作如插入、删除、验证合法性以及构造。还探讨了如何利用后序遍历提高算法效率。

二叉搜索树心法（合集）

后序遍历在处理二叉树问题时非常重要，特别是在寻找重复子树时。通过序列化子树结构并利用哈希表记录出现次数，可以有效识别重复的子树。此外，序列化和反序列化技术对于在不同编程语言间传递二叉树结构至关重要。

二叉树心法（其他）

本文讨论了二叉树的构造问题，介绍了如何通过递归方法使用数组中的最大值构建最大二叉树，以及通过前序和中序遍历或后序和中序遍历构建二叉树的算法。提供了相关的代码示例和解题思路。

二叉树心法（构造篇）

二叉树解题思维分为遍历和分解问题两种模式，分别通过遍历节点或递归定义解决问题。示例包括翻转二叉树、填充下一个右侧节点指针和将二叉树展开为链表，展示了如何应用这两种思维模式。

二叉树心法（思路篇）

二叉树解题思维分为遍历和分解问题两类，强调在前中后序位置注入代码逻辑。二叉树的重要性体现在其与经典排序算法的关系，广泛应用于动态规划、回溯算法等。理解前中后序遍历的魅力及后序位置的特殊性是关键。

二叉树系列算法核心纲领

介绍了单调队列的实现及其在滑动窗口算法中的应用，展示了如何高效计算子数组的最大值和最小值，并通过多个例题说明了单调队列在解决算法问题中的重要性。包括绝对差不超过限制的最长连续子数组和、和至少为K的最短子数组等问题的解法。

【强化练习】单调队列的经典习题

单调队列是一种特殊的数据结构，用于解决滑动窗口问题，能够在维护先进先出顺序的同时，快速获取窗口内的最大值。通过使用单调队列，可以在O(N)的时间复杂度内高效处理窗口元素的添加和移除。

单调队列解决滑动窗口问题

这篇文章详细介绍了单调栈的多种变体（包括求下一个/上一个更大/更小元素）及其在实际算法题中的应用，通过多个经典例题展示了单调栈的实现方法和使用技巧。

【强化练习】单调栈变体和经典习题

这是一篇关于单调栈算法的教程，介绍了如何使用单调栈解决"下一个更大元素"类问题，包括基本模板和处理循环数组的技巧。

单调栈算法模版

这篇文章探讨了队列的先进先出特性及其在经典算法问题中的应用。包括具体的例题，如请求计数、循环队列设计和买票时间计算。强调环形数组的技巧，以及设计支持前、中、后操作的队列的平衡策略。最后，提供了高效解决买票问题的方法，避免了复杂的模拟过程。

【强化练习】队列的经典习题

这篇文章探讨了栈这一数据结构的先进后出特性及其在多种经典算法问题中的应用，包括路径简化、链表重排、括号有效性判断、逆波兰表达式求值等。此外，文章还介绍了设计具备额外功能的栈结构的题目，如最小栈和最大频率栈，进一步展示了栈的灵活性和实用性。

【强化练习】栈的经典习题

这篇文章探讨了如何利用栈和队列的特性相互实现对方的功能。首先，介绍了用两个栈实现队列的方法，通过将元素压入第一个栈（s1），并在需要时转移到第二个栈（s2）以实现先进先出的特性。并分析了时间复杂度，指出均摊时间复杂度为 O(1)。接着，讨论了用两个队列实现栈的方式，pop操作的时间复杂度为 O(N)，而其他操作为 O(1)。

队列和栈的互相实现

这篇文章探讨了带权重的随机选择算法，特别是如何通过前缀和数组和二分搜索来实现不同权重元素的随机抽取。接着引入了田忌赛马的故事，类比于如何在两个数组中最大化优势，提出了通过排序和双指针策略来优化选择的思路。

其他算法杂谈

本文探讨了大模型解码的多种策略，主要包括贪心解码、随机采样、Beam Search、top-k采样和top-p采样。解码过程中，模型根据输入文本逐步预测下一个token。top-k采样从概率最高的k个单词中随机选择；而top-p采样则动态选择累积概率超过阈值p的单词集合。温度采样通过调整概率分布的“温度”来控制生成的确定性和创造性。最后，联合采样结合了top-k、top-p和温度采样，以优化生成效果。

解码策略

如果在tokens数量一定的数据集上做多epochs的模型训练，会影响模型的性能，降低模型的效果。这在预训练和下游任务都会产生影响。但是，随着模型的发展，高质量数据集的tokens数将很快用完。而采用正则技术虽然会影响模型训练效率，但是可以降低这种影响。

token与模型参数

本文介绍了GPT和BERT模型中的tokenize过程，强调其在文本处理中的重要性。tokenize的粒度分为词、子词和字符，分别适用于不同语言的特点。常用的tokenize算法包括BPE（字节对编码）、WordPiece（基于概率的子词合并）、Unigram（从大词汇表逐步删除词汇）和SentencePiece（语言无关的分词器）。这些算法各有优缺点，旨在平衡词汇量和语义独立性，以提高模型的学习效率和性能。

tokenize分词

本文详细探讨了Transformer模型中的位置编码，强调其在捕捉输入顺序中的重要性。文章介绍了绝对位置编码（如可训练参数和三角函数式编码）与相对位置编码的不同方法，分析了各自的优缺点，包括外推性和灵活性。特别提到的RoPE和ALiBi等新型位置编码方法，旨在解决长度外推性问题，使模型在处理超长文本时仍能保持良好性能。最后，文章指出了当前位置编码研究的局限性及未来发展方向。

位置编码介绍

Batch Norm 及其变体（Layer Norm、Instance Norm、Group Norm 等）通过不同方式归一化数据以稳定训练并提升模型性能，而 Pre-LN 和 Post-LN 作为 Transformer 结构中的两种归一化策略，分别在训练稳定性和最终效果之间权衡取舍。

Layer normalization

Attention 相关面试题汇总！！！深入解析Attention机制及其在Transformer与BERT中的应用，剖析多头注意力、位置编码等核心技术，并详解FlashAttention、MLA等高效优化方案。

Attention please!

本文深入解析了 二分搜索 在不同场景下的应用，包括 一维数组、二维矩阵、旋转数组 以及 特殊数组。通过 LeetCode 经典题目，详细讲解了 二分搜索的核心思想——快速收缩搜索区间，并结合 代码示例 说明如何高效查找目标值。此外，文章还探讨了 二分搜索与双指针结合 解决 子序列判定、最接近元素查找 等问题，帮助读者掌握 二分搜索的多种变体 及其 优化技巧。

【强化练习】二分搜索算法经典习题

本文系统总结了二分搜索的进阶应用框架，突破基础场景限制，解决复杂算法问题。通过将问题抽象为自变量x、单调函数f(x)和目标值target，建立二分搜索通用解法，手把手拆解思路，助你掌握二分搜索的本质，灵活应对各类变种题型。

二分搜索的应用

这篇文章详细讲解了二分查找的核心思想和常见应用，包括查找某个数、查找左侧边界和右侧边界。文章分析了二分查找的关键细节，如 mid 计算、循环条件和边界处理，并通过题目示例帮助理解不同变体的实现方式。还特别指出了常见的错误和陷阱。

二分搜索算法核心代码模版

深入浅出讲解Rabin-Karp算法核心原理。以重复DNA序列和字符串匹配两道力扣题为例，演示如何用哈希+滑动窗口在O(N)时间定位子串，并详解大素数取模避免溢出的关键技巧。该算法通过哈希值代替子串比较，结合暴力校验解决冲突。

滑动窗口延伸：Rabin Karp 字符匹配算法

滑动窗口算法广泛应用于解决子数组问题，包括最小操作数、乘积小于K的子数组、最大连续1的个数等经典题目，强调转换思路和框架的使用。通过具体示例和代码，帮助理解和掌握滑动窗口的技巧。

【强化练习】滑动窗口算法经典习题

滑动窗口算法用于解决子数组问题，通过维护一个动态窗口来优化搜索过程，时间复杂度为O(N)。该算法适用于寻找符合特定条件的子串，如最小覆盖子串和无重复字符的最长子串等。代码示例展示了如何实现这一算法。

滑动窗口算法核心代码模板

差分数组是一种高效处理频繁区间增减操作的算法技巧，通过构造差分数组可以快速更新原始数组的值，适用于多种问题，如区间加法和航班预订统计等。具体实现包括增量和结果方法。

小而美的算法技巧：差分数组

激活函数为神经网络引入非线性能力，常见的有Sigmoid、tanh和ReLU等。ReLU计算简单但可能导致梯度爆炸，Leaky ReLU和ELU等变体旨在解决这些问题。GLU结合线性变换与门控机制，提升FFN层性能。Softmax用于多类分类问题，将输入转换为概率分布。

激活函数介绍

当前大多数大型语言模型采用decoder-only结构，因其在生成任务中表现优越，具备更好的zero-shot性能和训练效率。解码器模型通过单向注意力机制，克服了双向注意力的低秩问题，适合处理长文本和多轮对话。选择模型时需考虑具体应用场景，如BERT适合理解任务，LLaMA适合文本生成，而ChatGLM适合对话系统。

LLM 为什么 Decoder-only 架构

介绍了四种神经网络结构：卷积神经网络（CNN）用于图像处理，循环神经网络（RNN）处理序列数据，长短期记忆网络（LSTM）解决长期依赖问题，Transformer通过自注意力机制提高序列处理效率，广泛应用于自然语言处理等领域。

神经网络结构：CNN/RNN/LSTM/Transformer 

Word2Vec 是一种文本分布式表示方法，包含 CBOW 和 Skip-Gram 两种模型，以及层次 softmax 和负采样两种加速方法。CBOW 通过上下文预测中心词，而 Skip-Gram 则反之。Word2Vec 存在对多义词处理不佳和无法捕获单词顺序等问题。

Word2Vec 面试题

介绍了多个经典的前缀和技巧题目，包括矩阵区域和、寻找数组中心下标、除自身以外数组的乘积等，提供了详细的解题思路和代码实现。强调了前缀和与哈希表结合使用的有效性。

【强化练习】前缀和技巧经典习题

前缀和技巧用于快速计算数组或矩阵中元素的和，适用于不变数组的查询。通过预计算的前缀和数组，可以在O(1)时间内获取索引区间的和，适合处理多种查询，但在数组可变时需使用线段树。

小而美的算法技巧：前缀和数组

备考英语六级口语考试需掌握考试流程、评分标准、高频主题及分类词汇，灵活运用万能句式模板，并准备应对突发情况的策略，以提高口语表达能力和应试技巧。

英语六级口语考试备考指南

介绍了多个经典的数组双指针技巧题目，包括删除有序数组中的重复项、验证回文串、颜色分类、合并两个有序数组等，提供了解题思路和代码示例。

【强化练习】数组双指针经典习题

介绍了 nSum 问题的解决方案，包括两数之和、三数之和和四数之和的算法，强调了排序和双指针技术的应用，以及如何处理重复元素以返回唯一的结果。提供了相应的 Python 代码示例。

一个方法团灭 nSum 问题

分享了二维数组的操作技巧，包括顺/逆时针旋转矩阵、链表旋转、图像旋转以及螺旋遍历等算法，提供了相应的代码示例和解题思路。

二维数组的花式遍历技巧

双指针技巧在处理数组和链表问题中非常有效，主要包括快慢指针和左右指针。常见应用包括删除重复元素、移动零、二分查找和判断回文子串等，强调了原地修改和高效算法的重要性。

双指针技巧秒杀七道数组题目

总结了单链表的多种反转方法，包括迭代和递归实现，涵盖了反转整个链表、前N个节点、特定区间和K个一组反转等问题，同时介绍了如何判断链表是否为回文链表。

单链表的花式反转方法汇总

链表操作的经典题目包括删除重复元素、合并有序链表、查找第K小元素等，涉及链表分解、合并和运算技巧，提供了多种算法实现示例。

【强化练习】链表双指针经典习题

介绍了七个链表相关的算法题，包括合并两个有序链表、分隔链表、合并K个升序链表、删除倒数第N个节点、找到链表中间节点、判断链表是否有环以及寻找两个链表的交点，提供了相应的Python代码和解题思路。

双指针秒杀七道链表题

ICL survey 2

示例选择；示例排序；解码方法；示例生成；跨任务；

ICL survey

语言模型是序列的概率分布，自回归模型基于之前生成的结果生成token。信息理论中的熵衡量编码所需的比特数，n-gram模型依赖于最后的n-1个token，神经网络的引入使得语言模型取得重要进展，尤其是RNN和Transformers的应用。

大模型发展历程

使用Notion-Next需绑定数据库，支持自定义单页和隐藏页面功能，确保正确配置模板字段如标题、状态和slug，以便于访问和管理内容。提供了示例和使用场景说明。

模板说明

仅供列表展示、文章无内容，仅供列表展示、文章无内容，仅供列表展示、文章无内容。

EMPTY-ARTICLE

本文需要输入密码才可访问，密码: 123456

加锁文章 - 密码123456

这是示例的文章摘要，摘要内容可被用做搜索，预览。文章列表默认展示概要；若要在列表直接展示文章内容，可在blog.config.js中配置。

一维数组中的前缀和

303. 区域和检索 - 数组不可变

二维矩阵中的前缀和

304. 二维区域和检索 - 矩阵不可变

拓展延伸