Skip to content
Go back

2026.06.12

Edit page

How LLMs Actually Work

https://www.0xkato.xyz/how-llms-actually-work/ 本文全面讲解了大语言模型(LLM)的核心工作原理,从Tokenization、Embeddings、位置编码到注意力机制、多头注意力、前馈网络、残差流和层归一化,最终到下一个Token预测。文章以通俗易懂的方式解释了Transformer家族架构的共同骨架,并比较了不同模型(如GPT、LLaMA、Mistral)之间的差异,帮助读者理解现代LLM的通用性与特殊性。

Memory Augmented Neural Networks for Retrieval and Continual Learning

https://www.amplifypartners.com/blog-posts/memory-augmented-neural-networks-for-retrieval-and-continual-learning 本文回顾了当前 LLM 实现检索与测试时训练的方式,接着溯洄历史长河,探索记忆网络、神经图灵机等经典架构。这些古老的模型或许能启迪新一代基础智能体,在这些维度上实现规模化突破。

From Test-Driven to Loop-Driven Development

https://generativeprogrammer.com/p/from-test-driven-to-loop-driven-development 本文梳理了“循环驱动开发”(Loop-Driven Development)的概念,认为 AI 编码正在从简单的测试驱动开发演进为包含任务、拉取请求和循环工作流的系统工程。作者将 AI 编码的杠杆栈分为自动补全、提示工程、上下文工程、工具链工程和循环工程五个层次。文章强调,随着 AI 自主性的提升,确定性的验证机制(如测试、构建、类型检查)变得至关重要。工程师的角色正在从编写代码转向设计能够产生可靠代码的系统和约束。

Governing agent autonomy with Auto-review

https://cursor.com/blog/agent-autonomy-auto-review 所谓的 auto 模式,本质上还是需要一个 Sonnet 级别的 Agent 根据上下文实时评估操作的安全性:“像 python script.py 这样的命令可能是安全的,也可能存在风险,具体取决于文件内容。因此,分类器可以使用 ReadFile、Grep、Glob 和 ListDir 等工具检查工作区后再做决定”。值得一提的是,在这个场景下 Opus 级别过于浪费,而 Haiku 级别可能花费更多时间和Token去搜索,最终却得到更差的答案,虽然模型小最终速度也不一定更快


Edit page

Previous Post
2026.06.18
Next Post
2026.06.05