資料流演算法

標籤：資料流   亞線性   近似演算法   雜湊   

在有些情況下，資料以一個或者多個流的方式到來，如果不對資料進行及時的儲存和處理，資料將永遠丟失。這就是我們所說的資料流問題。

既然說是資料流，說明我們只能以流的方式一個一個按順序訪問資料。也就是說沒法像訪問訪問數組一樣隨機訪問資料流中任意位置的元素。我們只能對資料進行少數次的整體掃描，最好情況只掃描資料一次。

一、有關結論

在資料流演算法裡面，有2個一般化結論為值得牢記：

1.通常情況下，獲得問題的近似解比精確解要高效得多。

2.為了產生與精確解相當接近的近似解，與雜湊相關的技術被證明十分有用。

二、相關定義

我們假設資料流 = （其中m為資料流的長度），任意元素從（n為可能出現的元素總數）中選擇。一般情況下，m和n的值都非常大。所以我們需要空間亞線性演算法來處理資料流問題。

如果我們對資料流處理想要求的函數為，通常為一個實數。很多基本函數被證明在空間亞線性情況下無法得到精確解，所以我們需要找到的估計或近似。那我們如何對演算法結果的品質進行判斷呢？假設我們演算法的輸出為。如果演算法滿足下面的不等式，我們將演算法稱為-近似的。

如果為0或者非常接近0，則滿足下面不等式即可。

對於資料流的定義，有不同的方式。一般只涉及資料到來（vanilla streaming model）。另外一種變種（turnstile streaming model）是某些元素不僅可以到來，而且還可以離開。

在接下來的幾個部落格裡，我將講述基礎的資料流演算法，包括採樣問題，頻繁元素問題，獨立元素個數問題，k階矩問題。後續可能會添加高階內容。

資料流演算法