基數(shù)估計(jì)算法就是使用準(zhǔn)確性換取空間。 為了說(shuō)明這一點(diǎn)，我們用三種不同的計(jì)算方法統(tǒng)計(jì)所有莎士比亞作品中不同單詞的數(shù)量。請(qǐng)注意，我們的輸入數(shù)據(jù)集增加了額外的數(shù)據(jù)以致比問(wèn)題的參考基數(shù)更高。 這三種技術(shù)是：Java HashSet、Linear Probabilistic Counter以及一個(gè)Hyper LogLog Counter。結(jié)果如下：

?

?

該表顯示，我們統(tǒng)計(jì)這些單詞只用了512 bytes，而誤差在3%以內(nèi)。相比之下，HashMap的計(jì)數(shù)準(zhǔn)確度最高，但需要近10MB的空間，你可以很容易地看到為什么基數(shù)估計(jì)是有用的。在實(shí)際應(yīng)用中準(zhǔn)確性并不是很重要的，這是事實(shí)，在大多數(shù)網(wǎng)絡(luò)規(guī)模和網(wǎng)絡(luò)計(jì)算的情況下，用概率計(jì)數(shù)器會(huì)節(jié)省巨大的空間。

再者，如果我們要實(shí)現(xiàn)記錄網(wǎng)站每天訪問(wèn)的獨(dú)立IP數(shù)量這樣的一個(gè)功能：

集合實(shí)現(xiàn)：

使用集合來(lái)儲(chǔ)存每個(gè)訪客的 IP ，通過(guò)集合性質(zhì)（集合中的每個(gè)元素都各不相同）來(lái)得到多個(gè)獨(dú)立 IP，然后通過(guò)調(diào)用 SCARD 命令來(lái)得出獨(dú)立 IP 的數(shù)量。

舉個(gè)例子，程序可以使用以下代碼來(lái)記錄 2017 年 12 月 5 日，每個(gè)網(wǎng)站訪客的 IP ：

ip = get_vistor_ip() SADD'2017.12.5::unique::ip'ip

然后使用以下代碼來(lái)獲得當(dāng)天的唯一 IP 數(shù)量：

SCARD'2017.12.5::unique::ip'

集合實(shí)現(xiàn)的問(wèn)題

使用字符串來(lái)儲(chǔ)存每個(gè)IPv4 地址最多需要耗費(fèi)15 字節(jié)（格式為 ‘XXX.XXX.XXX.XXX’，比如’202.189.128.186’）。

下表給出了使用集合記錄不同數(shù)量的獨(dú)立 IP 時(shí)，需要耗費(fèi)的內(nèi)存數(shù)量：

獨(dú)立IP數(shù)量 一天 一個(gè)月 一年
一百萬(wàn)?15 MB?450 MB?5.4 GB?
一千萬(wàn)?150 MB?4.5 GB?54 GB?
一億?1.5 GB?45 GB?540 GB?

隨著集合記錄的 IP 越來(lái)越多，消耗的內(nèi)存也會(huì)越來(lái)越多。另外如果要儲(chǔ)存 IPv6 地址的話，需要的內(nèi)存還會(huì)更多一些。為了更好地解決像獨(dú)立 IP 地址計(jì)算這種問(wèn)題，Redis 在 2.8.9 版本添加了 HyperLogLog 結(jié)構(gòu)。

Redis數(shù)據(jù)結(jié)構(gòu)HyperLogLog

Redis HyperLogLog 是用來(lái)做基數(shù)統(tǒng)計(jì)的算法，HyperLogLog 的優(yōu)點(diǎn)是，在輸入元素的數(shù)量或者體積非常非常大時(shí)，計(jì)算基數(shù)所需的空間總是固定的、并且是很小的。在Redis 里面，每個(gè) HyperLogLog 鍵只需要花費(fèi) 12 KB 內(nèi)存，就可以計(jì)算接近 2^64 個(gè)不同元素的基數(shù)。這和使用集合計(jì)算基數(shù)時(shí)，元素越多耗費(fèi)內(nèi)存就越多的集合形成鮮明對(duì)比。但是，因?yàn)?HyperLogLog 只會(huì)根據(jù)輸入元素來(lái)計(jì)算基數(shù)，而不會(huì)儲(chǔ)存輸入元素本身，所以 HyperLogLog 不能像集合那樣，返回輸入的各個(gè)元素。

什么是基數(shù)?

比如數(shù)據(jù)集 {1, 3, 5, 7, 5, 7, 8}， 那么這個(gè)數(shù)據(jù)集的基數(shù)集為 {1, 3, 5 ,7, 8}, 基數(shù)(不重復(fù)元素)為5。 基數(shù)估計(jì)就是在誤差可接受的范圍內(nèi)，快速計(jì)算基數(shù)。

估算值：算法給出的基數(shù)并不是精確的，可能會(huì)比實(shí)際稍微多一些或者稍微少一些，但會(huì)控制在合理的范圍之內(nèi)。

幾個(gè)命令

將元素添加至 HyperLogLog

1、PFADD key element [element …]

將任意數(shù)量的元素添加到指定的 HyperLogLog 里面。

這個(gè)命令可能會(huì)對(duì) HyperLogLog 進(jìn)行修，以便反映新的基數(shù)估算值，如果 HyperLogLog 的基數(shù)估算值在命令執(zhí)行之后出現(xiàn)了變化，那么命令返回1，否則返回0。

命令的復(fù)雜度為 O(N) ，N 為被添加元素的數(shù)量。

2、PFCOUNT key [key …]

返回給定 HyperLogLog 的基數(shù)估算值。

當(dāng)只給定一個(gè) HyperLogLog 時(shí)，命令返回給定 HyperLogLog 的基數(shù)估算值。

當(dāng)給定多個(gè) HyperLogLog 時(shí)，命令會(huì)先對(duì)給定的 HyperLogLog 進(jìn)行并集計(jì)算，得出一個(gè)合并后的HyperLogLog ，然后返回這個(gè)合并 HyperLogLog 的基數(shù)估算值作為命令的結(jié)果（合并得出的HyperLogLog 不會(huì)被儲(chǔ)存，使用之后就會(huì)被刪掉）。

當(dāng)命令作用于單個(gè) HyperLogLog 時(shí)， 復(fù)雜度為 O(1) ， 并且具有非常低的平均常數(shù)時(shí)間。

當(dāng)命令作用于多個(gè) HyperLogLog 時(shí)， 復(fù)雜度為 O(N) ，并且常數(shù)時(shí)間也比處理單個(gè) HyperLogLog 時(shí)要大得多。