上一篇说,小硅在玩"文字接龙"——一个字一个字往外蹦,蹦之前先猜概率最高的那个。可你有没有想过:要接得准,它得先看懂你这句话里,哪个词最重要。不然满篇字一样重,它上哪儿猜去?这一篇,我们就来拆解让 AI 真正开窍的那个关键本事——注意力。
这个"看懂哪个词重要"的本事,有个正经名字,叫注意力(Attention)。它是让 AI 真正开窍的关键发明——2017 年谷歌一篇论文《Attention is All You Need》(注意力就是你需要的一切),直接掀起了今天这波 AI 浪潮。你天天听的 GPT,最后那个字母 T,就是 Transformer,而 Transformer 这套架构的核心,就是注意力。
大约 5 分钟