選擇一個句子
句子裡每個詞都是一個 agent。點某個詞 → 看到它「投注意力給誰」(箭頭粗細 = 權重)。 切換 Head 看不同「視角」如何解讀同一個句子。 跟隔壁 🍞 麵包經濟學、📈 股市模擬器、👴 退休金 Sandbox 是姊妹作。
句子 · 詞的注意力
點任一個詞會看到它的注意力扇向其他詞。金色高亮 = 目前選中,箭頭粗細 = 這個詞投注多少注意力給對方。 Head 切換 = 換一個「思考角度」看同一個句子。
被選中的詞:完整 Q/K/V 決策路徑
對照麵包版的「決策 trace」——把 Q/K 匹配打分、softmax 歸一化、V 加權求和的過程全部攤開給你看。
Attention 熱力矩陣(當前 head)
行 = Query 詞(我在問什麼);列 = Key 詞(我看到誰)。 每一格顏色深淺 = 這一行的 Query 詞投注多少注意力給對應列的 Key 詞。 每一行加起來 = 1(row-softmax 保證:一個詞的注意力預算總量固定,分配給誰是選擇)。
8 個 head 同時看
每個 head 是一個獨立的「注意力視角」。有的看語法、有的追代詞、有的看情感。 在真實 Transformer 裡,模型自己學會要看什麼——這裡我們用手工設計的 head 讓你看得懂。