最近，我和格萊布·諾門科（Gleb Naumenko）以及前同事格雷格·麥克斯韋爾（Greg Maxwell）推出了一個名為miniketch的軟件庫，用于在分布式系統的節點間同步數據時降低帶寬要求。

miniketch最初是作為一個項目的組成部分開發的，該項目研究使用set reconciliation在比特幣上的節點之間共享交易數據，即“set reconciliation Relay”或SRR。SRR的目標是顯著減少與運行比特幣全節點相關的帶寬。

該團隊決定將miniketch與SRR分開發布，因為它預計將對比特幣領域內外的許多其他應用程序有用。

為什么是Minisketch ？

傳統上，所有分布式系統都難以在節點之間同步數據——在集中式系統中，告訴節點應該擁有哪些數據，不應該擁有哪些數據要容易得多。

例如，分布式網絡中節點間數據同步的一種方法是可逆Bloom查詢表（IBLT）。雖然IBLT的CPU需求相對較低，但這是以相對較高的帶寬需求為代價實現的，特別是在差異數量較小的情況下。miniketch使用了一種稱為PinSketch的帶寬效率更高的算法。

與CPISync和Pinsketch最初的實現等其他帶寬高效的集協調算法相比，miniketch使用的計算能力要小得多。它比PinSketch快20到100倍，有時比CPISync快1000多倍。

如何實現改進？

Set reconciliation（由miniketch實現）比簡單地發送整個數據列表的帶寬效率更高，因為它允許主節點生成其列表的數學“草圖”。然后，主節點將此消息發送給其他節點，以便與它們自己的列表進行比較。草圖的大小只取決于節點之間的期望差異數量，而不取決于集合的總大小。盡管如此，它仍然允許主節點從其他節點中確定地區分它們需要哪些數據。

如果我們把它簡化成一個差值，很容易看出它是如何工作的：假設我有一個集合{3，5，7，11}，你有一個集合{3，5，7，9，11}，那么差值是{9}。我們都計算元素的和，得到3+5+7+11=26，你得到3+5+7+9+11=35。我把26這個和發給你，你從和中減去它;差是9。這是可行的，但僅限于找到單一的差異。miniketch通過發送各種類型的數據“和”來概括這一點。結果是，對于N個不同的和，您可以找到N個差異……只要集之間的差異的數量不超過發送的“和”的數量，miniketch總是能夠成功地找到所有的差異。

比特幣上的Minisketch

比特幣網絡的健壯性依賴于確保完整節點之間有足夠的連接，以阻止Sybiland分區攻擊。

不幸的是，比特幣節點的大部分數據使用（通常在40%到70%之間）甚至都沒有花在交易數據上，而是花在相互宣布新交易以找出要轉發哪些交易上?，F在，增加節點之間的連接數量會相應地增加帶寬開銷。這限制了每個節點可以支持的連接數量。

通過使用set reconciliation，可以有效地找出哪些事務尚未中繼，而不需要向每個對等方宣布每個事務。查找要中繼的事務的帶寬開銷。

這種解決方案的美妙之處在于，它不需要對比特幣的網絡共識規則進行任何修改。當雙方的軟件都支持SRR協議時，SRR將被啟用，不會對不支持SRR協議的節點操作人員產生負面影響。

SRR協議仍處于研究的早期階段，可能要過很長時間才能在比特幣網絡中得到采用，但像Minisketch這樣的進展代表著在改進比特幣完全節點的采用和可訪問性（以及優化其他分布式網絡）方面的一個非常重要的進展。