28. 假設某簡化 Transformer 模型中,輸入序列包含兩個詞,其向量定義如下:
• Query 向量:Q = [3, 0]
• Key 向量:K1 = [1, 2] (詞 1) ,K2 = [1, 1] (詞 2)
• Value 向量:V1 = [2, 1] (詞 1) ,V2 = [1, 5] (詞 2)
請依據下列步驟,計算最終 Self-Attention 輸出向量的第一個分量值,並將答案取至小數點後一位:
【題組】(2) 對 Scorei 進行 Softmax 正規化,計算權重 (Softmax
)