50. 某雲端服務公司計畫將大型語言模型部署於線上系統,並以批次推論 (Batch Inference)方式處理每日上百萬筆用戶請求。專案團隊在評 估可能遇到的挑戰時,下列哪一項通常不會被視為批次推論階段的主要難題?
(A)如何確保訓練語料的涵蓋性與標註品質,以避免模型偏差影響輸出;
(B)當批次規模增大時,如何降低推論延遲並保持即時回應能力;
(C)在推論過程中,有效管理與分配龐大的輸入資料量以避免資源壅塞;
(D)在叢集環境中精確安排推論任務,以提升 GPU/TPU 等硬體資源的利用率

答案:登入後查看
統計: A(2), B(0), C(1), D(1), E(0) #3869593