30. 當大型語言模型讀到一個句子:
「學生把作業交給老師,因為他明天要請假。」
要產生回答或進行語意分析時,模型需要根據上下文判斷「他」較有可能指
的對象是老師還是學生。若模型使用 Transformer 架構,下列哪一個機制最
能幫助模型在處理「他」這個 token 時,同時參考句中其他 token 的語意
關聯?
(A) 使用位置編碼(positional encoding)記錄每個 token 在句子中的位置,
以判定代名詞所指涉的對象。
(B) 使用詞嵌入(word embedding)將每個 token 轉換成向量,便可確認每
個 token 的語意。
(C) 使用前饋神經網路(feed-forward neural network)調整「他」這個 token
的向量表示,使其包含更多語意資訊,進而判斷所指對象。
(D) 使用自注意力機制(self-attention)計算 token 之間的關聯權重,使模
型可依上下文調整各 token 的表示。
答案:登入後查看
統計: A(0), B(0), C(0), D(1), E(0) #3911396
統計: A(0), B(0), C(0), D(1), E(0) #3911396