初等/五等/佐級◆圖書館學大意題庫下載題庫

名詞解釋:

　　相關判斷與評量意指判定文件與查詢問題的相關性，並用之進行檢索績效的評量。長久以來，已有許多學者討論多種相關的概念，例如心理相關、情境相關、主題相關等等，傳統上，以量化的方式評估相關性，採用的是「主題相關」。事實上，相關判斷會因判斷者、判斷情境等諸多因素而可能產生很大的差異，加上進行相關判斷時往往囿於時間人力等種種限制，無法作十分周詳的考量，通常只能採取一些可行性較高的權宜方案。相關判斷的結果主要是用以評估資訊檢索系統的績效，歷來學者對於這樣的評量方式也有許多質疑，主要可歸納為相關判斷者（relevance assessor）、相關層級（relevance granularity）、與評分尺度（scoring metric）。

 (1)

 　　 (2)

 (3)

 (4)

　　然而，資訊檢索系統會對一組問題，送出一份檢索結果（稱為一個run）。評估者進行相關判斷後，每一個問題都可計算出AP與R-Precision；對於整組問題，則可計算mean AP（MAP），作為該run的評量結果。

 (5)

其中Q為問題的總數

　　對於使用極為廣泛的AP、R-Precision、MAP，仍然受到許多的質疑。第一個質疑是採用MAP不甚公平，有研究者建議採用幾何平均（geometry average）而非算術平均（mean average），GAP的計算方式請參見式（6）。對於MAP相同的檢索系統而言，GAP可以區別出表現平穩者與表現起伏不定者。

　　(6)

其中Q為問題的總數

　　

　　前述的評量尺度僅適用於二元相關，許多研究者嘗試提出適用於多元相關的評分尺度，如cumulative gain、average weighted precision (AWP)、R-weighted precision (R-WP)、Q-measure、R-measure等。

參考資料:

Buckley, C. & Voorhees, E. M. (2000).Evaluating evaluation measure stability. In Proceedings of the 23rd annual international ACM SIGIR conference on research and development in information retrieval (SIGIR 2000) (pp. 33–40), ACM, New York.