阿摩線上測驗
登入
阿摩線上測驗
登入
試卷名稱：114年 - 114-2 AI 應用規劃師-中級能力鑑定公告試題_一科：人工智慧技術應用與規劃#136301
年份：114年
科目：iPAS◆AI應用規劃師◆中級
18. 當 Transformer 模型發生「注意力分布過於平均(Attention Collapse)」的情形時，導致模型無法有效聚焦於關鍵資訊，下列哪 一項策略可有效改善此問題？
(A)提高 Query-Key 點積(Dot Product)的縮放常數；
(B)在 Softmax 前加入高斯雜訊(Gaussian Noise)；
(C)使用 ReLU 函數取代 Softmax；
(D)對注意力權重施加稀疏化約束(Sparsity Constraint)