一、資訊檢索(Information Retrieval, IR)系統的評估有許多指標,例如求準 率(Precision rate) 、求全率(Recall rate)、F-Measure。請列舉除了上述 三項指標之外的五項資訊檢索系統評估指標,並申論之。(25 分)

詳解 (共 2 筆)

詳解 提供者:yu

什麼是F-Measure

 
 
 
 
 
 

Gemini 說了

簡單來說,F-Measure(又稱為 F-score)就是把「查準率(Precision)」跟「查全率(Recall)」這兩個指標,透過數學公式揉合在一起的一個「綜合分數」。

為什麼需要它?(人話解釋)

在資訊檢索中,查準率跟查全率通常是「魚與熊掌,不可兼得」:

  • 你想抓得(查準高),你就得保守一點,只抓最有把握的,但這樣就會漏掉很多(查全低)。

  • 你想抓得(查全高),你就得寧可錯殺不可放過,什麼都抓,但這樣雜訊就很多(查準低)。

F-Measure 就是用來當裁判的。 它能避免系統「偏科」,確保系統在準確度和完整度之間取得一個平衡

它的公式(白話數學)

最常用的叫做 F1-score,它是兩者的「調和平均數」:

69a012ea31e0e.jpg

為什麼要用「調和平均」而不是一般的相加除以二? 因為調和平均有一個特性:只要其中一個指標非常低,F1 就會被拉低得很慘。

  • 例子:如果 Precision 是 100% 但 Recall 是 0.1%(系統只敢抓一筆),普通平均還有 50 分,但 F1 會趨近於 0。這能懲罰那些「極端偏科」的系統。

F-Measure 的三種常見類型

你可以透過權重(Beta 值)來決定你比較看重誰:

  1. F1-Measure (β=1)

    • 地位相等。最常用,覺得查準跟查全一樣重要。

  2. F2-Measure (β=2)

    • 查全率 (Recall) 比較重要。寧可多抓一點雜訊,也不想漏掉任何相關文件(例如:找醫學文獻、找法律判例)。

  3. F0.5-Measure (β=0.5)

    • 查準率 (Precision) 比較重要。希望抓出來的通通都要對,不想看到雜訊(例如:精準行銷、垃圾郵件過濾)。

詳解 提供者:yu
F-Measure公式
 
 
 
 
 
 
 
 
 
F-Measure(又稱 F-Score)是精確度(Precision)與回確率(Recall)的
調和平均數,公式如下:
69a0132240bdd.jpg
69a0133dc014f.jpg最常用的是 
69a0132240bdd.jpg
 
 Score(當 beta=1
 
時,代表兩者權重相等):
69a0132240bdd.jpg69a0135cd85c5.jpg
 
 
參數意義:
  • 69a0132240bdd.jpgbeta>1
     
    :較看重回確率(例如醫療篩檢,寧可錯殺不可放過)。
  • 69a0132240bdd.jpg69a0132240bdd.jpgbeta<1
     
    :較看重精確度(例如垃圾郵件過濾,避免誤判正常郵件)。