MOVERZP / FIELD NOTES

算法与日常

我是 moverzp,一名算法工程师,职业经历为数据挖掘 → 搜索推荐 → 大模型,涉猎pre-train、mid-train,专注于post-train,在这里记录一些工作感悟和学习笔记,还有一些使用agent开发的小工具。

因果注意力矩阵示意图。每个 Token 只能关注当前位置和之前的 Token。
FIG. 01语言模型 · 因果注意力

01 / WRITING

近期文章

所有文章