【詳解卡福利】寫作批改懸賞券,將於 2025/04/30 23:59:59 過期,還沒使用或領取,趕快前往領取並使用吧! 前往查看

教甄◆資訊科技概論專業(電腦科)題庫

【非選題】

28. 假設某簡化 Transformer 模型中,輸入序列包含兩個詞,其向量定義如下:

• Query 向量:Q = [3, 0]

• Key 向量:K1 = [1, 2] (詞 1) ,K2 = [1, 1] (詞 2)

• Value 向量:V1 = [2, 1] (詞 1) ,V2 = [1, 5] (詞 2)

請依據下列步驟,計算最終 Self-Attention 輸出向量的第一個分量值,並將答案取至小數點後一位:


【題組】

(2) 對 Scorei 進行 Softmax 正規化,計算權重 (Softmax)