一、向量空間模型(Vector Space Model)使用特徵向量表達文件,從而將資 訊檢索轉換為向量相似性比對。相似性的計算有許多可能的方案與考慮 的面向,其中之一是採用原始向量內積(inner product) ,或是採用單位 向量內積。請說明前述兩種計算相似性作法的優缺點。(25分)

詳解 (共 2 筆)

yu
yu
詳解 #7424791
2026/06/29
我們用「投籃得分」和「看誰最同心協力」...
(共 3932 字,隱藏中)
前往觀看
yu
yu
詳解 #7419427
2026/06/25
在資訊檢索的向量空間模型中,計算兩向量相似性的作法如下:
1. 原始向量內積 (Inner Product)
概念:直接計算兩向量對應維度相乘後的總和,不對向量長度進行標準化。
  • 優點
    • 兼顧方向與長度:同時考量了詞彙分布的方向與詞頻多寡。在資訊檢索中,長度較長(字數多或重要詞頻繁)的文件通常資訊量較大,內積值大代表其與查詢的關聯性可能較高。
    • 計算速度快:僅需進行乘法與加法,無須計算向量長度的開根號與除法,運算開銷較低。
  • 缺點
    • 嚴重偏袒長文件:由於未經正規化,長文件(或高頻詞向量)往往具備較大的數值,在計算時容易掩蓋短文件,產生檢索偏差。
2. 單位向量內積 (Normalized/Unit Vector Inner Product)
概念:先將原始向量轉換為單位向量(長度標準化為 \(1\)),再計算內積,這在幾何學上等同於計算兩向量夾角的餘弦相似度 (Cosine Similarity)
  • 優點
    • 消除長度偏見:有效解決文件長度不一的問題。專注於比對特徵的「方向」(詞彙比例與語意),適合比較不同長度的文件與查詢。
    • 標準化範圍:相似度結果嚴格介於 \(-1\) 到 \(1\) 之間(在詞頻等正向特徵中為 \(0\) 到 \(1\)),易於設定統一的檢索門檻。
  • 缺點
    • 忽略絕對數量資訊:標準化會抹除特徵的絕對大小差異,可能導致具有重要高頻詞彙的優質長文件,被判定為與僅出現過幾次該詞的短文件相似,喪失了「詞彙重要程度」的資訊。
    • 運算成本較高:需要額外計算向量的歐幾里得長度(正規化因子),在海量資料比對時耗時略長。
ㅤㅤ
ㅤㅤ
ㅤㅤ
ㅤㅤ
「向量內積」是一種運算方法,用來求出兩個向量之間的關係(如夾角或投影量);而「單位向量內積」則是套用了該運算,由於兩者長度皆為 \(1\),它的結果代表了兩向量的「夾角餘弦值」與「相似度」。 [1, 2]
以下為兩者的詳細差異:
1. 定義與核心概念
  • 向量內積 (Inner/Dot Product):將兩個長度與方向皆任意的向量進行計算。它不僅與兩者方向有關,還包含了雙方的「長度大小」。結果是一個純量(數值),可用於計算物理做功或投影。
  • 單位向量內積:運算規則與一般內積相同,但參與運算的兩個向量長度皆為 1。因為長度被標準化了,內積結果完全取決於它們之間的「方向夾角」。 [1, 2, 3, 4, 5]
2. 公式與結果差異
ㅤㅤ
6a3c818f0162e.jpg
3. 主要用途
  • 向量內積:用來求出一個向量在另一個向量上的投影長度,或計算兩向量垂直與否(若內積為 0,則兩者互相垂直)。
  • 單位向量內積:專門用來評估兩個方向的相似度、計算夾角 \(\theta \)。在機器學習和資料科學中,這常被稱為「餘弦相似度」 (Cosine Similarity),值越接近 1 代表方向越吻合,越接近 -1 代表方向越相反。 [1, 2, 3, 4]
ㅤㅤ