5.
三、某機關 A 為瞭解網路上使用者的評價,委託開發社交平台訊息意見分析
系統 S。此系統 S 針對該機關 A 的訊息,從網路爬取下來後,對每則訊
息做出正向、負向、中立意見的預測。為評估系統 S 的成效,機關 A 對
S 產生的結果,由一位承辦人進行判斷,結果 100 則訊息中,該承辦人
認為系統 S 預測正確的有 75 則。由於未達理想,系統 S 改進 3 個月後,
再重新爬取網路訊息 100 則做預測,再交由同一名承辦人員判斷,這次
該承辦人認為系統 S 預測正確的有 90 則。請問:
【題組】
(一)這樣評估系統成效的方式,有何重大缺點?(10 分)