一般來(lái)說(shuō)，有兩種公認(rèn)的擴(kuò)展存儲(chǔ)架構(gòu)的方法：縱向擴(kuò)展和橫向擴(kuò)展。縱向擴(kuò)展主要通過(guò)增加單個(gè)硬件平臺(tái)的容量和功能來(lái)工作，而橫向擴(kuò)展通過(guò)額外的服務(wù)器或節(jié)點(diǎn)提高功能。從歷史上看，橫向擴(kuò)展實(shí)施起來(lái)比較復(fù)雜，但隨著NVMe over Fabrics的出現(xiàn)，這可能會(huì)發(fā)生變化。

對(duì)于橫向擴(kuò)展存儲(chǔ)架構(gòu)所面臨的挑戰(zhàn)，NVMe over Fabrics已被證明是一種有用的解決方案，而存儲(chǔ)供應(yīng)商和用戶都注意到了這一點(diǎn)。

一般來(lái)說(shuō)，有兩種公認(rèn)的擴(kuò)展存儲(chǔ)架構(gòu)的方法：縱向擴(kuò)展和橫向擴(kuò)展。縱向擴(kuò)展主要通過(guò)增加單個(gè)硬件平臺(tái)的容量和功能來(lái)工作，而橫向擴(kuò)展通過(guò)額外的服務(wù)器或節(jié)點(diǎn)提高功能。從歷史上看，橫向擴(kuò)展實(shí)施起來(lái)比較復(fù)雜，但隨著NVMe over Fabrics的出現(xiàn)，這可能會(huì)發(fā)生變化。

為了降低光纖網(wǎng)絡(luò)的性能開(kāi)銷，可以使用NVMe over Fabrics來(lái)解決某些橫向擴(kuò)展存儲(chǔ)架構(gòu)所面臨的限制。隨著越來(lái)越多的組織尋求高可擴(kuò)展性，供應(yīng)商開(kāi)始將NVMe over Fabrics技術(shù)融入其產(chǎn)品中，以降低橫向擴(kuò)展存儲(chǔ)所涉及的復(fù)雜性。

|| 橫向擴(kuò)展存儲(chǔ)的挑戰(zhàn)

橫向擴(kuò)展存儲(chǔ)往往分為兩類：

(1)緊密耦合：存儲(chǔ)節(jié)點(diǎn)或服務(wù)器彼此緊密結(jié)合，具有共享內(nèi)存和專有高速背板等功能。人們認(rèn)為是單片或向上擴(kuò)展的一些產(chǎn)品實(shí)際上是橫向擴(kuò)展架構(gòu)，例如Dell EMC的PowerMax。

(2)松散耦合：在這種情況下，很多節(jié)點(diǎn)沒(méi)有緊密綁定在一起，但可以單獨(dú)操作。節(jié)點(diǎn)使用一些高速網(wǎng)絡(luò)連接(通常是以太網(wǎng))，不直接內(nèi)置在平臺(tái)中。NetApp的SolidFire就是一個(gè)很好的例子，它使用多個(gè)1U服務(wù)器和標(biāo)準(zhǔn)萬(wàn)兆以太網(wǎng)(GbE)網(wǎng)絡(luò)。

NVMe開(kāi)發(fā)的下一個(gè)合乎邏輯的步驟是通過(guò)結(jié)構(gòu)或網(wǎng)絡(luò)啟用協(xié)議。

緊密耦合的橫向擴(kuò)展產(chǎn)品通常提供更高級(jí)別的彈性和更加一致的性能，而松散耦合的體系結(jié)構(gòu)可以擴(kuò)展得更多，但必須處理存儲(chǔ)驅(qū)動(dòng)器和節(jié)點(diǎn)故障的影響。

實(shí)施橫向擴(kuò)展存儲(chǔ)是一項(xiàng)挑戰(zhàn)，因?yàn)閿?shù)據(jù)需要受到保護(hù)和保持一致。這意味著在平臺(tái)中實(shí)施技術(shù)以檢測(cè)節(jié)點(diǎn)何時(shí)發(fā)生故障，并在設(shè)備或節(jié)點(diǎn)發(fā)生故障時(shí)通過(guò)橫向擴(kuò)展集群重新保護(hù)數(shù)據(jù)。

|| 什么是NVMe over Fabrics?

隨著數(shù)據(jù)中心性能需求的增加，存儲(chǔ)一直是提供快速高效應(yīng)用程序的瓶頸。NVMe是一種旨在通過(guò)固態(tài)介質(zhì)降低存儲(chǔ)協(xié)議性能開(kāi)銷的技術(shù)。基于NVMe的SSD硬盤使用外圍組件互連高速(PCIe)連接到服務(wù)器，在IOPS和吞吐量方面提供更大的帶寬，并且比SAS和SATA SSD硬盤具有更低的延遲。

|| NVMe over Fabrics的工作原理

NVMe開(kāi)發(fā)的下一個(gè)合乎邏輯的步驟是通過(guò)結(jié)構(gòu)或網(wǎng)絡(luò)啟用協(xié)議。NVMe over Fabrics描述了一些已經(jīng)開(kāi)發(fā)的標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)是為通過(guò)光纖通道(FC)，以太網(wǎng)或InfiniBand網(wǎng)絡(luò)傳輸NVMe協(xié)議而開(kāi)發(fā)的。 NVM express傳輸是一個(gè)提供NVMe命令和數(shù)據(jù)傳輸抽象協(xié)議層。

如今，NVMe over FC和NVMe over Fabrics的存儲(chǔ)產(chǎn)品通過(guò)融合以太網(wǎng)(RoCE),NVMe over InfiniBand和NVMe/TCP使用標(biāo)準(zhǔn)以太網(wǎng)網(wǎng)絡(luò)接口卡進(jìn)行遠(yuǎn)程直接內(nèi)存訪問(wèn)。

|| NVMe over Fabrics如何為實(shí)現(xiàn)橫向擴(kuò)展存儲(chǔ)提供幫助?

人們看到的一種情況是典型存儲(chǔ)設(shè)備中的組件分解。該架構(gòu)支持主機(jī)和存儲(chǔ)介質(zhì)之間更直接的路徑，從而無(wú)需通過(guò)集中控制器傳輸數(shù)據(jù)。即使是目前的橫向擴(kuò)展存儲(chǔ)產(chǎn)品也存在這種限制，這可能導(dǎo)致不能充分利用SSD硬盤的能力。通過(guò)提供更直接的I/O路徑，單個(gè)主機(jī)可以與多個(gè)驅(qū)動(dòng)器通信，反之亦然。這減少了延遲并增加了橫向擴(kuò)展能力。

NVMe規(guī)范的一部分提供了使這些工具工作的功能集。使用SAS和SATA驅(qū)動(dòng)器，I/O堆疊在一個(gè)隊(duì)列中，在讀取內(nèi)部NAND介質(zhì)時(shí)會(huì)產(chǎn)生瓶頸。NVMe引入了65,535個(gè)隊(duì)列的功能，每個(gè)隊(duì)列最多可容納65,535個(gè)隊(duì)列元素。這使得在主機(jī)和驅(qū)動(dòng)器之間實(shí)現(xiàn)高度并行的多對(duì)多的體系結(jié)構(gòu)成為可能，并為每個(gè)主機(jī)/驅(qū)動(dòng)器關(guān)系提供單獨(dú)的隊(duì)列。

在實(shí)施這種技術(shù)的供應(yīng)商中，E8 Storage公司提供E8 NVMe設(shè)備和基于主機(jī)的軟件驅(qū)動(dòng)程序。該設(shè)備充當(dāng)元數(shù)據(jù)服務(wù)器和以太網(wǎng)到PCIe橋，將傳統(tǒng)存儲(chǔ)任務(wù)(如快照)加載到每個(gè)連接的主機(jī)。

Excelero公司擁有一個(gè)基于軟件的產(chǎn)品，可將許多服務(wù)器連接到一個(gè)存儲(chǔ)消費(fèi)者和提供商網(wǎng)絡(luò)中。NVMesh軟件使任何存儲(chǔ)消費(fèi)者都可以訪問(wèn)任何服務(wù)器中的任何驅(qū)動(dòng)器，而無(wú)需采用目標(biāo)服務(wù)器CPU。其結(jié)果是一種可以實(shí)現(xiàn)額外容量增加的架構(gòu)，而現(xiàn)有應(yīng)用程序的開(kāi)銷幾乎可以忽略不計(jì)。

WekaIO公司使用類似的技術(shù)來(lái)提供稱為Matrix的橫向擴(kuò)展文件系統(tǒng)架構(gòu)。NVMe跨網(wǎng)絡(luò)的低延遲以及分布式處理使得Matrix文件系統(tǒng)能夠以比本地驅(qū)動(dòng)器更快的速度運(yùn)行。

|| 關(guān)注的硬件重點(diǎn)

供應(yīng)商還專注于構(gòu)建只支持高可擴(kuò)展性的硬件工具。Pavilion Data Systems公司開(kāi)發(fā)了一個(gè)平臺(tái)，該平臺(tái)使用多達(dá)20個(gè)自定義硬件刀片服務(wù)器和72個(gè)NVMe驅(qū)動(dòng)器來(lái)創(chuàng)建機(jī)架級(jí)架構(gòu)，能夠在100微秒時(shí)支持每秒120千兆字節(jié)的帶寬。應(yīng)用程序主機(jī)使用標(biāo)準(zhǔn)的40 GbE或100 GbE RoCE網(wǎng)絡(luò)適配器和NVMe over Fabrics驅(qū)動(dòng)程序。

Vexata公司開(kāi)發(fā)了一種架構(gòu)，該架構(gòu)使用商用硬件組件來(lái)擴(kuò)展以太網(wǎng)中的容量和性能。后端可擴(kuò)展性通過(guò)基于硬件的企業(yè)存儲(chǔ)模塊(ESM)實(shí)現(xiàn)，而前端連接提供NVMe over Fabrics功能和帶有I/O模塊(IOM)的直接硬件I/O路徑。現(xiàn)有的實(shí)現(xiàn)目前提供多達(dá)16個(gè)企業(yè)存儲(chǔ)模塊(ESM)和兩個(gè)I/O模塊(IOM)，盡管該體系結(jié)構(gòu)可以擴(kuò)展到更多。

Apeiron Data Systems公司是一家遵循硬件模型的初創(chuàng)公司。Apeiron ADS1000平臺(tái)使用NVMe over Ethernet和自定義主機(jī)總線適配器，提供橫向擴(kuò)展架構(gòu)，可在單一配置中增長(zhǎng)，支持?jǐn)?shù)千個(gè)驅(qū)動(dòng)器。

NVMe over Fabrics提供了消除傳統(tǒng)架構(gòu)約束的能力，并創(chuàng)建了更具分布性的產(chǎn)品。所有這些供應(yīng)商產(chǎn)品的共同點(diǎn)是減少?gòu)闹鳈C(jī)到介質(zhì)的I/O路徑的長(zhǎng)度和影響。這將成為未來(lái)存儲(chǔ)設(shè)計(jì)的一個(gè)特征，因?yàn)檠舆t仍然是存儲(chǔ)技術(shù)需要克服的最大挑戰(zhàn)。