递归自我提升（RSI）旨在让 AI 通过自主实验、反馈与验证持续改进自身，是探索通用人工智能的重要方向，但其长期有效性与安全性仍有待验证。

AI 智能体框架，它通过系统提示词、工具、智能体循环和模型适配层，为 AI 模型提供可控、可扩展且由用户掌握的运行环境。

后训练的本质是重塑语言模型的序列分布。SFT 学习一个预先给定的外部分布；RL 在模型自己的采样分布中寻找高奖励行为；On-Policy Distillation（OPD）则在学生自己访问的状态上接受教师的逐 token 指导。

Attention 相关面试题汇总！！！深入解析Attention机制及其在Transformer与BERT中的应用，剖析多头注意力、位置编码等核心技术，并详解FlashAttention、MLA等高效优化方案。

语言模型是序列的概率分布，自回归模型基于之前生成的结果生成token。信息理论中的熵衡量编码所需的比特数，n-gram模型依赖于最后的n-1个token，神经网络的引入使得语言模型取得重要进展，尤其是RNN和Transformers的应用。