題組內容

一、BIRCH 是一個 hierarchical clustering 方法,可以處理大量資料,以及避免雜訊(noisy)資料的問題,請簡答以下題目:

(三)此資料結構透過何種機制,達成可處理大量資料,不受記憶體大小限制?

詳解 (共 3 筆)

den
den
詳解 #5640760
2022/10/20
BIRCH使用二元樹的方式儲存資料,而葉...
(共 71 字,隱藏中)
前往觀看
匿名鸚鵡
匿名鸚鵡
詳解 #7581750
2026/10/13

BIRCH 主要透過以下兩項關鍵機制,在有限的記憶體限制下處理海量資料:

1. 高度壓縮的摘要統計量(CF 的加成性與單次掃描)

  • 不保留原始資料點:CF-Tree 不儲存實際的龐大数据點,只保留每個微群集(Sub-cluster)的統計三元組 CF = (N, LS, SS)。大量資料點被極度壓縮成少量的向量數值,大幅降低記憶體消耗。

  • 增量更新(Incremental):只要線性掃描資料集一次(Single Scan),讀入一個點就將其累加至最接近的 CF 節點中,不需要把全部資料一次載入記憶體。

2. 動態調整閾值與就地重建樹結構(Dynamic Rebuilding / Increasing Threshold T)

這是能完全不受記憶體大小限制的核心控制機制:

  • 固定記憶體預算(Memory Size Limit):系統一開始會設定 CF-Tree 允許使用的記憶體上限,並給予一個較小的群集半徑/直徑閾值 T。

  • 容量超標自動擴大閾值:當資料持續湧入,導致 CF-Tree 的大小達到記憶體上限時,演算法會自動調高閾值 T(放寬群集合併的距離標準)。

  • 記憶體內就地重構(In-Memory Rebuilding):

    • 提高 T 後,演算法會遍歷既有的 CF-Tree 葉節點,將彼此距離在新閾值 T 內的子群集相互吸收、合併為更少、更大的群集。

    • 重建後的樹結構深度與節點數會大幅縮減,釋出記憶體空間,以便繼續讀取後續的資料。

  • 整個過程完全在記憶體中自適應動態調控,因此即使原始資料規模達數百萬筆甚至數千萬筆,CF-Tree 都能始終被限制在指定的記憶體大小內。

hchungw
hchungw
詳解 #6128220
2024/06/12
BIRCH 方法通過 CF 樹結構、動態調整和分割策略、多次掃描和壓縮技術以及有效的異常資料處理機制,達成了在處理大量資料時不受記憶體大小限制的目標。這些機制確保了 BIRCH 能夠在有限的記憶體中高效地進行大規模資料的聚類操作。
ㅤㅤ
ㅤㅤ
ㅤㅤ
ㅤㅤ