👋 Welcome To Lee's Blog
GPT-1/2：生成式预训练与 few-shot 萌芽
OpenAI 的 GPT-1/2 证明了一个直觉：只要模型够大、数据够多，生成式预训练自己就能学会语法、常识和推理，无需人工标注。
Unix Domain Socket 源码实现分析 (OLK 6.6)
深入内核源码，拆解 UDS 从 socket 创建到数据收发全过程，理解为什么本地 IPC 不走网络栈反而更快。
BERT：双向编码器，到底双在哪
BERT 的双向不是噱头——把 GPT 因果 mask 换成全连通 mask，每个 token 都能看到整个上下文，模型被迫学会真正的语义融合。
01 | 一切的起点：Transformer 到底解决了什么问题？
从 Attention Is All You Need 出发，用一个翻译小例子讲透自注意力、多头和位置编码，以及为什么搞懂它，是做 AI 护栏的人绕不开的第一课。
