🍥

辰远

天将降大任于斯人也

大模型架构学习

GPT-3：In-Context Learning 与 Few-Shot 爆发

GPT-3 用 1750 亿参数证明了规模就是能力：不微调、不更新参数，仅凭几个示例就能击败当时最先进的微调模型，彻底改变了 NLP 的范式。

容器

containerd 通信机制分析

从源码出发，拆解 containerd 的 gRPC、TTRPC、UDS 三层通信架构，理解一个容器运行时如何管理进程生命周期。

大模型架构学习

GPT-1/2：生成式预训练与 few-shot 萌芽

OpenAI 的 GPT-1/2 证明了一个直觉：只要模型够大、数据够多，生成式预训练自己就能学会语法、常识和推理，无需人工标注。

Linux内核

Unix Domain Socket 源码实现分析 (OLK 6.6)

深入内核源码，拆解 UDS 从 socket 创建到数据收发全过程，理解为什么本地 IPC 不走网络栈反而更快。

大模型架构学习

BERT：双向编码器，到底双在哪

2018 年 Google 提出的 BERT，用完形填空思路让 Transformer 真正学会双向理解上下文，成为理解型任务的标配底座。