MOVERZP / FIELD NOTES

算法与日常

我是 moverzp,一名算法工程师,目前主要做大模型。这里记下对模型如何理解上下文、生成回答的思考,也收录了过去的搜索推荐笔记和工作复盘。

因果注意力矩阵示意图。每个 Token 只能关注当前位置和之前的 Token。
FIG. 01语言模型 · 因果注意力

01 / WRITING

近期文章

所有文章