讓資料自己「分家」：新研究把 Clustering 變成會演化的 Reaction–Diffusion 系統

今天多數人想到 AI，第一時間可能想到 Transformer、LLM、Agent 或生成圖片模型。

但在這些模型真正開始工作以前，還存在一個非常古老，而且直到現在仍然重要的問題：

一大堆資料放在你面前，到底哪些東西本來就屬於同一群？

這就是 Clustering，分群。

K-means、Gaussian Mixture Model、DBSCAN、Spectral Clustering，都是在不同假設下回答這個問題的方法。

但 Paul A. Milewski 與 Esteban G. Tabak 在 arXiv:2609.11608〈Dynamical Clustering and its Limiting Differential Equations〉裡，選了一條相當不一樣的路。

他們沒有一開始就問：

『最佳的 Cluster 到底是哪一組？』

而是問：

『如果每個資料點對不同類別的歸屬機率都能隨時間流動，最後會發生什麼？』

於是 Clustering 被改寫成了一個 Dynamical System。

資料不只是被分類。

它開始像某種物理系統一樣演化、擴散、競爭，最後自己形成邊界。

從硬分類改成會流動的 Soft Assignment

假設有一個資料點 xᶦ，而我們希望把所有資料分成 K 個類別。

傳統硬分類最後可能直接得到：

Class A = 1
Class B = 0
Class C = 0

也就是這個點確定屬於 A。

這篇論文則先給每個資料點一個 Soft Assignment：

A  0.40
B  0.35
C  0.25

論文用 Pᵢₖ 表示資料點 xᶦ 屬於第 k 類的機率，而且對同一個資料點：

Σ Pᵢₖ = 1

真正特別的地方是：

P 不是一次算完。

它是一個會隨著 algorithmic time t 改變的變數。

因此：

t = 0
A 0.40 / B 0.35 / C 0.25

↓

t = 1
A 0.52 / B 0.31 / C 0.17

↓

t = 5
A 0.91 / B 0.07 / C 0.02

分類本身變成一條 trajectory。

而作者設計了兩股主要力量推動這些機率。

Reaction。

以及：

Diffusion。

第一股力量：Reaction 讓每個點開始「選邊站」

論文首先從一套 Bayesian-like 的更新方式出發。

直覺上，可以把目前的 P 看成 Prior。

接著根據各類別目前呈現出的資料分布，重新估計：

如果 xᶦ 真正屬於 Class A，現在看到這個 xᶦ 的合理程度是多少？

再利用類似 Bayes Rule 的方式產生新的 Posterior。

系統不會瞬間把 P 換成 Posterior，而是讓 P 持續朝 Posterior 移動。

所以如果目前證據越來越支持 A：

A 0.40
↓
A 0.55
↓
A 0.75
↓
A 0.96

Reaction 的效果，就是逐漸把原本模糊的機率推向比較確定的分類。

在論文分析的系統裡，穩定的 steady states 最終會趨向 Rigid Assignment，也就是每個點的 P 最後變成 0 或 1，而且穩定解不會留下空的 class。

這代表 soft assignment 很大程度是一種演算法演化中的中間狀態。

就像 Optimization 裡有些方法會暫時允許解存在連續空間，再慢慢逼近離散答案。

但只靠 Reaction 仍然有問題

作者一開始其實先構造了一個比較接近 Gaussian Mixture 思路的版本。

假設每個 cluster 可以用 Gaussian Distribution 描述。

這時方法能夠在真正接近 Gaussian 的資料上正常運作。

問題是現實資料根本不一定長成一團橢圓形的 Gaussian cloud。

作者於是拿出了 Clustering 演算法很經典的一種折磨方式：

兩條彼此纏繞的 Spiral。

想像紅色點與藍色點各自形成一條螺旋：

紅 ─╮      ╭─ 紅
    ╲    ╱
藍   ╲  ╱   藍
      ╳
藍   ╱  ╲   藍
    ╱    ╲
紅 ─╯      ╰─ 紅

兩群資料在 Euclidean Space 裡彼此穿插。

用 Gaussian 假設幾乎不可能合理描述這種形狀。

作者也嘗試 Kernel Density Estimation。

它確實更加靈活，但又出現另一個問題：

結果對 bandwidth 非常敏感。

論文的雙 Spiral 實驗中，不同 bandwidth 可能讓演算法：

粗暴地把空間切成兩半；

正確辨識兩條 spiral；

或者把 spiral 切成許多碎片。

而且結果還會受到初始化與時間步長影響。

作者的結論是，如果 Clustering 必須依賴完整 Density Estimation，面對複雜或高維資料時可能會付出過高代價。

更現實的是，有些資料根本不是光滑連續空間。

例如：

國家
星期幾
類別
性別
網路節點

這些都是資料庫裡很常見的 Discrete Variable。

因此作者接下來乾脆把 Density Estimation 整層拿掉。

這才進入論文真正核心的 Measure-driven Non-parametric Clustering。

第二股力量：Diffusion 讓鄰居彼此交換意見

移除 Density Model 之後，新的問題又出現了。

如果完全不描述資料空間的 geometry，演算法就不知道：

哪些資料點彼此靠近？

作者於是加入 Diffusion。

如果兩個資料點在我們選定的 metric 下非常接近，它們的 class probability 就會彼此影響。

例如：

Point A
Class 1 = 0.90

Point B
Class 1 = 0.55

如果 A 與 B 是鄰居，diffusion 會讓它們的 P 往局部平均靠近。

這和 Heat Equation 的直覺很像。

一塊金屬左邊很熱、右邊很冷，熱量會逐漸擴散。

這裡擴散的不是 Temperature，而是：

Class Assignment。

於是整套模型產生一個很漂亮的拉扯：

Reaction
讓每個點更確定自己是誰

↕

Diffusion
讓附近的點彼此保持一致

Reaction 想建立差異。

Diffusion 想建立局部平滑。

Cluster Boundary 就從兩股力量的競爭中長出來。

Diffusion 強度甚至不是固定的

論文還多做了一步。

Diffusion coefficient ν 不是一個固定 hyperparameter。

它會隨著演化過程動態調整，讓 Reaction 與 Diffusion 的作用保持某種平衡。

直覺上，如果 Diffusion 太弱，資料會過早各自選邊站，產生碎裂的區域。

如果 Diffusion 太強，所有點又可能被過度 smoothing，失去真正的 cluster boundary。

所以 ν 會根據兩種力量目前的大小自適應調整。

作者的數值方法也證明，在其設定下 Δt ≤ 1 時具有穩定性與 positivity-preserving 性質；實驗中常採用接近 1 的時間步長。

這讓它不是單純用物理比喻描述 clustering，而是真的把分群問題寫成了一組 Dynamical Equations。

資料量無限大時，它真的變成 PDE

接下來就是整篇最數學、也最漂亮的地方。

當資料點數量越來越多，可以不再把資料想成一堆獨立 samples，而看成某個 continuous measure 上的分布。

此時原本離散 graph 上的 assignment dynamics，在 limit 中會轉換成一套 non-standard Reaction–Diffusion Differential Equations。

這讓 clustering 出現非常像 species competition 的圖像。

不同 class 可以想成不同 species。

Reaction 讓 species 競爭。

Diffusion 讓資訊在空間中傳播。

最後會得到：

AAAAAAAAAA│BBBBBBBBBB
          ↑
     sharp boundary

而不是永遠維持一大片灰色模糊區。

作者特別指出，這套系統和傳統 species competition Reaction–Diffusion Model 有相似之處，但一個有趣差異是：

它可以在沒有外加 boundary condition 的情況下，自發形成 well-balanced domains 與銳利 class boundaries。

換句話說，Boundary 不是事先畫好的。

它是 dynamics 自己長出來的。

所謂 Non-parametric，不代表完全不用參數

這裡有一個很容易被新聞標題誤解的地方。

論文稱這是一種 Non-parametric Clustering Algorithm。

但它不是：

『什麼都不用告訴演算法，它自己決定世界有幾群。』

作者明確列出的輸入包括：

Observations xᶦ
類別數量 K
一種或多種 distance / neighborhood 定義
如果是 semi-supervised，再加入已知 labels

所以 K 仍然需要事先提供。

它的 Non-parametric 更準確地說，是：

不必事先假設 cluster 的 probability distribution 必須屬於 Gaussian、Gaussian Mixture 或另一個固定 parametric family。

這點很重要。

它和 DBSCAN 那種連 cluster 數都不用先指定的「non-parametric」直覺並不完全相同。

Semi-supervised Learning：知道一小部分答案也可以

這套方法不只適用於完全沒有標籤的 Unsupervised Clustering。

如果部分資料已經知道答案，例如：

● 已知是疾病 A
● 已知是疾病 B
○ 未知
○ 未知
○ 未知

已知 label 可以作為 anchor。

Diffusion 再把這些資訊沿著 graph 傳播到附近資料。

這就變成 Semi-supervised Classification。

論文的例子也顯示，靠近不同 cluster 邊界的資料仍然可以保留 soft assignment，而不是被強迫立即變成 0 或 1。

因此 Soft Assignment 不只是數學中間工具，在 semi-supervised 情境裡也可以表達真正的不確定性。

然後作者做了一件更有趣的事：不只建立一張 Diffusion Network

這可能是整篇對現代資料科學最有潛力的部分。

傳統 clustering 很容易做這件事：

身高
體重
血壓
血糖
年齡
...

全部變成一個向量
↓
計算一個高維距離

作者反而問：

為什麼每種資料都一定得共享同一個 geometry？

於是它允許建立多張 Diffusion Network。

例如：

Network 1 → 血壓的鄰近關係
Network 2 → 血糖的鄰近關係
Network 3 → 心率的鄰近關係
Network 4 → 年齡的鄰近關係

每一張 network 都有自己的 distance metric。

如果兩個資料點在其中某一種 geometry 上很接近，class information 就能透過那張 network 傳遞。

最後 Reaction 同時整合所有 network 的資訊。

這和把全部 feature 暴力塞進一個 Euclidean Space，是非常不同的思想。

一個非常漂亮的合成醫療實驗

作者用了一個 synthetic medical example 來展示這個想法。

設定包括：

500 名病患。

8 個 clinical variables。

3 種 condition。

每一個 clinical variable 都建立自己的 Diffusion Network。

結果最後只有：

5 個誤診。

接著作者拿完全相同的資料，把八個 feature 全部放進一個單一的 8-dimensional diffusive network。

誤分類數變成：

76 個。

也就是：

8 個獨立 Diffusion Networks   5 / 500
單一 8D Diffusion Network    76 / 500

這不是一個大型真實醫療 benchmark，所以不能拿來宣稱新方法已經比所有高維 clustering 強十幾倍。

但它非常漂亮地展示了作者想表達的核心：

多維資料不一定非得先壓成一個統一距離空間。

作者甚至把 Curse of Dimensionality 反過來叫成 Blessing of Dimensionality

高維資料分析有一個經典麻煩：

Curse of Dimensionality。

當 dimension 不斷增加時，距離的直覺會開始失效。

高維空間裡的 nearest neighbor 不再像低維那麼有辨識度，資料也變得極度 sparse。

K-means 這類高度依賴 distance geometry 的演算法因此容易受影響。

但作者的 Multiple Diffusion Networks 做法把每個 feature 分配給自己的 network。

某一個 feature 出現極端 outlier，不代表資訊就完全無法從其他 network 傳播。

在前述 synthetic medical experiment 中，作者逐漸增加 observable variables。

結果 misclassification 快速下降。

該次實驗 realization 裡：

超過 8 個 observed variables 時只剩 1 個錯誤。

超過 15 個時降到 0。

所以作者直接把這節稱作：

Blessing of Dimensionality。

也就是『維度的祝福』。

意思不是高維問題從此被數學界消滅。

而是對這種 particular multi-network construction 而言，額外 feature 可以提供另一條獨立的 information diffusion route，反而讓分類變得更可靠。

這也是為什麼對摘要裡那句『defeats the curse of dimensionality』必須稍微踩煞車。

它是作者在其方法與實驗設定下提出的結果，不等於所有高維 AI 任務的 Curse of Dimensionality 已經被解決。

還可以拿來找 Time-series 的 Regime Change

Multiple Networks 的另一個有趣用途，是時間序列。

假設你觀察一個市場：

低波動
↓
高波動
↓
危機
↓
復甦

這些可以被視為不同 regime。

一般 clustering 如果只根據某一時刻的 feature，很可能把兩個相似但發生在完全不同時間區間的 points 拉在一起。

作者則可以同時建立：

Feature-space diffusion
+
Time diffusion

也就是一張 network 描述 observation 的相似度，另一張 network 描述時間上的鄰近關係。

於是分類不只知道：

『這兩個點長得很像。』

還知道：

『這兩個點在時間上也彼此接近。』

論文的 synthetic time-series example 展示了演算法重建兩個 underlying regimes 隨時間切換的情況。

所以它可以被理解成一種 Dynamical Regime Detection 方法。

金融市場、機器狀態監控、工業 sensor、氣候資料，都可能有類似問題。

但論文本身主要是在展示方法，而不是宣稱已經在金融或工業真實資料上超越現行最強模型。

這跟現在 LLM 有什麼關係？

這裡需要把『論文真的做了什麼』和『我們可以如何延伸理解』分開。

論文本身沒有測試 GPT、Claude、Embedding Model、Vector Database 或 RAG。

所以不能說這是一篇新的 LLM 技術論文。

但它處理的問題，和現代 AI Data Pipeline 有非常自然的接點。

現在很多 LLM 系統會先把文字轉成 Embedding：

文章
↓
Embedding Model
↓
[0.127, -0.442, 0.893, ...]

幾十萬篇文件就會變成一個大型高維 point cloud。

接下來仍然要回答：

哪些文章屬於同一個主題？
哪些內容是異常？
有哪些 semantic regions？
現在的 query 位於哪個 topic neighborhood？

這些依然是 clustering 問題。

所以一個可能的未來研究方向是：

Documents
↓
LLM Embeddings
↓
Dynamical Clustering
↓
Semantic Clusters
↓
RAG / Search / Classification

但必須強調：

這是從論文方法推導出的可能應用，不是作者在本文中已經證明的 LLM benchmark 結果。

Multiple Diffusion Networks 甚至可能比單一 Embedding 更有趣

現在常見做法是把所有語意壓進一組 embedding vector。

但現實中的文件其實同時有很多種關係。

以科技新聞為例：

語意相似度
公司關聯
時間鄰近
產業關係
引用來源
產品世代

理論上可以建立多張 graph：

Semantic Network
Temporal Network
Company Network
Citation Network

再讓 assignment information 在不同 network 裡傳遞。

這和這篇 Multiple Diffusive Networks 的精神相當接近。

例如一篇 RTX 5090 熔接頭文章可能同時靠近：

GPU Hardware
Power Delivery
NVIDIA
Hardware Failure

而不是被強迫只有：

category = GPU

這對 Recommendation、Topic Discovery 或 RAG routing 都可能很有意思。

同樣地，這仍然是延伸推論，不是論文已驗證的產品設計。

它和 Vector Database 也不是同一種東西

Vector Database 負責的主要是：

儲存 vectors
建立 ANN index
執行 similarity search

例如找出 query embedding 最近的 20 個 documents。

這篇演算法處理的不是 storage throughput，也不是 database write speed。

它更像是建立在資料之上的：

Structure Discovery Layer。

所以比較合理的 stack 是：

Raw Data
↓
Database / Vector DB
↓
Features / Embeddings
↓
Dynamical Clustering
↓
Cluster / Regime / Semantic Structure
↓
Search / RAG / Classification / Analysis

因此它不會讓 PostgreSQL INSERT 變快，也不是新的 SSD 寫入技術。

但它可能決定資料寫入後，系統要如何理解這些資料之間的關係。

和現代 AI 最值得注意的真正接點，是「Geometry 不一定只有一種」

這可能是我認為這篇最值得帶回現在 AI 世界的概念。

目前很多 AI 系統很自然地假設：

只要有夠好的 Embedding，就可以把世界塞進一個向量空間。

然後：

Cosine Similarity
Nearest Neighbor
Top-K

但真實資料的關係未必只有一種。

兩篇文章可能：

語意不太像，但屬於同一家公司的同一產品世代。

兩個病患可能：

某項指標差很多，但另外五項生理變數都很相似。

兩個市場時間點可能：

價格型態相似，但分別位於完全不同 regime。

Multiple Diffusion Networks 提供的思路就是：

不要硬逼所有關係共享同一套 distance。

每種關係可以有自己的 graph。

最後讓資訊從多條 topology 同時流動。

這個想法和 Multi-modal AI、Graph Learning、Knowledge Graph、Retrieval System 都有相當自然的概念接點。

它和 Mixture of Experts 有點像，但不是同一件事

如果一定要找一個現代 AI 裡有點類似的直覺，可以想到 Mixture of Experts。

MoE 的 Router 會決定一個 token 應該交給哪些 Expert：

Token
↓
Router
↓
Expert A 70%
Expert B 25%
Expert C 5%

Dynamical Clustering 則是：

Data Point
↓
Soft Assignment
↓
Cluster A 70%
Cluster B 25%
Cluster C 5%

兩者都容許 Soft Membership。

但用途完全不同。

MoE 是 Neural Network 的 computation routing。

這篇則是在解 clustering / classification dynamics。

所以不能把它叫做新的 MoE 方法。

這篇真正有意思的地方，是把 Clustering 從答案變成過程

傳統上，我們很容易把 clustering 想成：

Input
↓
Algorithm
↓
Clusters

這篇卻更接近：

Initial uncertainty
↓
Reaction
↕
Diffusion
↓
Self-organization
↓
Sharp boundaries

Cluster 不只是演算法吐出來的一張 label table。

它變成一個系統演化後的 equilibrium。

這讓 Machine Learning、Bayesian Inference、Graph Geometry 與 Reaction–Diffusion PDE 被放進同一個框架裡。

也因此，這篇真正有趣的地方不一定是：

『它是不是明天就會取代 K-means？』

而是它提出另一種理解資料的方式：

不要直接命令資料分成幾堆，而是設計一套局部規則，讓資料彼此交換資訊，最後自己長出秩序。

如果未來這套方法真的被證明能在大規模 Embedding、Multi-modal Data 或 Vector Retrieval 上有效，它的價值可能不只是又多了一個 Clustering Algorithm。

它可能提供的是另一種 AI Data Geometry：

世界不必被壓縮進唯一的一個距離空間。不同關係可以各自形成網路，再讓資訊沿著這些網路流動。

這個想法，反而可能比『又一個更準 0.7% 的 clustering benchmark』有趣得多。

Tech English｜本文關鍵專有名詞

Soft Assignment（軟分配）：不直接把資料點指定給唯一類別，而使用一組加總為 1 的機率表示它對不同 cluster 的歸屬程度。本文方法讓這些機率隨時間演化。

Reaction–Diffusion System（反應－擴散系統）：由局部 reaction 與空間 diffusion 共同控制的動力系統，在物理、化學與生物學中常用來描述物質或物種如何互動並形成空間圖樣。本文將類似概念用於 clustering。

Graph Laplacian（圖拉普拉斯）：描述 graph 上節點與鄰居關係的重要數學 operator，可用來表示資訊如何在網路中擴散。論文中的 diffusion dynamics 與這類 graph operator 密切相關。

Non-parametric Clustering（非參數式分群）：本文語境中主要指不需要事先假設每個 cluster 遵循 Gaussian 等固定 probability family；它並不代表完全沒有參數，方法仍需要指定類別數 K 與 neighborhood metrics。

Curse of Dimensionality（維度詛咒）：資料 dimension 上升後產生的一系列問題，包括空間變稀疏、distance discrimination 下降與估計資料需求快速上升。作者透過 Multiple Diffusion Networks 嘗試避免把所有 feature 壓進單一高維 geometry。

Regime Detection（狀態區間偵測）：識別 time series 在不同統計或動力狀態之間何時切換，例如低波動、高波動或其他運作模式。論文利用 feature-space 與 time-space diffusion network 共同進行 clustering。