50. 某雲端服務公司計畫將大型語言模型部署於線上系統,並以批次推論 (Batch Inference)方式處理每日上百萬筆用戶請求。專案團隊在評 估可能遇到的挑戰時,下列哪一項通常不會被視為批次推論階段的主要難題?
(A)如何確保訓練語料的涵蓋性與標註品質,以避免模型偏差影響輸出;
(B)當批次規模增大時,如何降低推論延遲並保持即時回應能力;
(C)在推論過程中,有效管理與分配龐大的輸入資料量以避免資源壅塞;
(D)在叢集環境中精確安排推論任務,以提升 GPU/TPU 等硬體資源的利用率

答案:登入後查看
統計: A(92), B(27), C(20), D(82), E(0) #3869593

私人筆記 (共 3 筆)

私人筆記#8500349
未解鎖
正確答案:✅ (A) 如何確保訓練語料的...
(共 790 字,隱藏中)
前往觀看
4
0
私人筆記#8530898
未解鎖
本題正確答案為 (A) 如何確保訓練語...
(共 1691 字,隱藏中)
前往觀看
1
0
私人筆記#8521688
未解鎖
Training 訓練階段 vs. In...
(共 301 字,隱藏中)
前往觀看
0
0