# 花叔 - 马斯克惊叹！DeepSeek和Kimi先后出手，捅破了Transformer的「潜规则」！ (Highlights)  ## Highlights - 改完之后每一层可以「回头看」所有之前层的输出，然后根据当前处理的内容，动态决定最需要参考哪几层的结果。这个「回头看」的过程就是注意力机制——和Transformer处理文本时做的事情一样，只不过方向从「回头看之前的文字」变成了「回头看之前的层」。 ([View Highlight](https://read.readwise.io/read/01kky0x0hzek76pff4nrv2r3jf)) ^997837580