SSD池化的必然趨勢(shì)

AI 、大數(shù)據(jù)及云業(yè)務(wù)的快速普及，導(dǎo)致數(shù)據(jù)呈井噴式增長(zhǎng)。為了滿足社會(huì)智能化發(fā)展的需要，企業(yè)對(duì)其IT基礎(chǔ)設(shè)施的算力和存儲(chǔ)性能的需求日益提高，其表現(xiàn)為在服務(wù)器層面，一個(gè)重要的需求就是內(nèi)存提供更大的容量來(lái)處理需要分析的數(shù)據(jù)， 其數(shù)據(jù)容量動(dòng)輒幾百GB乃至上TB級(jí)的容量；但是在一臺(tái)服務(wù)器上對(duì)于內(nèi)存的無(wú)限增加無(wú)論從可行性上還是成本上都是個(gè)難題。隨著NVMe SSD的性能越來(lái)越高，容量越來(lái)越大，成本日趨合理。為了應(yīng)對(duì)遠(yuǎn)大于內(nèi)存容量上限的上TB級(jí)數(shù)據(jù)的處理，越來(lái)越多的用戶選擇把NVMe SSD用于充當(dāng)內(nèi)存的Cache，存儲(chǔ)那些體量大，但不需要頻繁修改的數(shù)據(jù)。因此，配置NVMe SSD成為了高性能計(jì)算服務(wù)器的標(biāo)準(zhǔn)配置。

SSD池化的瓶頸效應(yīng)

NVMe SSD相比傳統(tǒng)的機(jī)械硬盤，IO處理能力不管是在小文件傳輸、還是大文件傳輸上都有了數(shù)量級(jí)的提高；但是，相比于內(nèi)存的IO處理能力而言，還是有著非常大的差距（如下圖所示），這也成為了制約NVMe SSD應(yīng)用和在高性能計(jì)算平臺(tái)普及的一個(gè)重要因素。

當(dāng)然，為了解決NVMe SSD傳輸?shù)男阅芷款i，可以在每個(gè)服務(wù)器上配置多塊SSD做Raid0，這樣可以提高SSD的性能。但是， 這樣做會(huì)明顯推高單臺(tái)服務(wù)器上SSD的配置成本，而且SSD的容量浪費(fèi)會(huì)變得異常明顯。

圖1 ：A代表配置一塊NVMe SSD的服務(wù)器，B代表配置多塊NVMe SSD的服務(wù)器，C代表采用了InfiniBand網(wǎng)絡(luò)NVMe over Fabric的SSD池化方案， 多臺(tái)服務(wù)器共享NVMe SSD,在配置NVMe SSD的服務(wù)器上配置高性能并行文件系統(tǒng)，將SSD共享給每一臺(tái)計(jì)算服務(wù)器，實(shí)現(xiàn)高IO訪問同時(shí)，SSD 容量利用率也得到了大幅提高

高性能網(wǎng)絡(luò)SSD池化最佳融合實(shí)踐

因此，NVIDIA網(wǎng)絡(luò)事業(yè)部聯(lián)合西部數(shù)據(jù)公司和北京極客天成科技有限公司，針對(duì)這一問題開展了基于InfiniBand網(wǎng)絡(luò)的NVMe Over Fabric的高性能并行文件系統(tǒng)的嘗試，將NVMe SSD池化，然后通過(guò)網(wǎng)絡(luò)共享給對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)。在低成本和高性能中給出了最佳的融合實(shí)踐。

該實(shí)踐是在兩臺(tái)服務(wù)器上部署并完成測(cè)試的，其中一臺(tái)服務(wù)器作為存儲(chǔ)節(jié)點(diǎn)配置了12塊西部數(shù) 據(jù)Ultrastar DC SN840 6.4TB的NVMe SSD，單SSD盤的4K隨機(jī)讀IO性能高達(dá)每秒780K，隨機(jī) 寫IO性能高達(dá)每秒253K，128K文件的隨機(jī)寫帶寬高達(dá)3.2GBps，128K文件的隨機(jī)讀帶寬高達(dá) 3.47GBps，高性能且速率穩(wěn)定的SSD保證了整體測(cè)試的質(zhì)量。另外一臺(tái)服務(wù)器配置為計(jì)算節(jié)點(diǎn)，兩臺(tái)服務(wù)器均配置NVIDIA Mellanox的最新200GbpsHDR InfiniBand網(wǎng)卡，通過(guò)HDR交換機(jī)連接，InfiniBand網(wǎng)絡(luò)的超高轉(zhuǎn)發(fā)速率，且不丟包的特性對(duì)于高性能Cache池的應(yīng)用至關(guān)重要，讓用戶不必?fù)?dān)心在頻繁的數(shù)據(jù)交換過(guò)程中由于突發(fā)的報(bào)文丟包而造成轉(zhuǎn)發(fā)性能下降；同時(shí)，將 12塊NVMe SSD通過(guò)極客天成的高性能并行文件系統(tǒng)整合成一張性能和容量超大的共享網(wǎng)盤，共享給計(jì)算節(jié)點(diǎn)使用，并通過(guò)文件系統(tǒng)將所有的SSD盤管理起來(lái)，實(shí)現(xiàn)了高性能和高性價(jià)比的兼顧，構(gòu)建出池化方案的基本輪廓。

實(shí)踐數(shù)據(jù)如下：

圖2：4K FIO測(cè)試數(shù)據(jù) 在 12塊NVMe SSD的情況下，隨機(jī)讀性能為1.97MIOPS，隨機(jī)寫性能為4.16MIOPS，隨機(jī)讀+隨機(jī)寫的性能為 3.55MIOPS

圖3：128K FIO測(cè)試數(shù)據(jù) 在6塊NVMe SSD盤的情況下，隨機(jī)讀的性能為 19GBps，隨機(jī)寫的性能為26.2GBps，隨機(jī)讀+隨機(jī)寫的性能為30.4GBps

總結(jié)

通過(guò)測(cè)試數(shù)據(jù)對(duì)比NVMe SSD池化方案與本地內(nèi)存采用Ramdisk方案的數(shù)據(jù)不難發(fā)現(xiàn)，基于InfiniBand網(wǎng)絡(luò)的NVMe SSD池作為Cache的性能已經(jīng)明顯得到優(yōu)化，達(dá)到了接近內(nèi)存的效果。

從以上的測(cè)試結(jié)果不難看出，基于InfiniBand網(wǎng)絡(luò)的SSD池化方案，可以經(jīng)濟(jì)地實(shí)現(xiàn)超高性能的Cache池來(lái)加速應(yīng)用，成 為一種新型數(shù)據(jù)中心高性能Cache池的通用架構(gòu)。

注：一兆字節(jié)等于一百萬(wàn)字節(jié)，一千兆字節(jié)等于十億字節(jié)，一百萬(wàn)兆字節(jié)等于一萬(wàn)億字節(jié)，由于操作環(huán)境的原因，實(shí)際用戶容量可能略少。

關(guān)于NVIDIA

NVIDIA（納斯達(dá)克股票代碼：NVDA）1999年發(fā)明的GPU驅(qū)動(dòng)了PC游戲市場(chǎng)的增長(zhǎng)，并重新定義了現(xiàn)代計(jì)算機(jī)圖形、高性能計(jì)算和人工智能。NVIDIA在加速計(jì)算和AI領(lǐng)域的創(chuàng)舉正在重塑交通，醫(yī)療健康和制造業(yè)等價(jià)值數(shù)萬(wàn)億美元的產(chǎn)業(yè)，并推動(dòng)了許多其他產(chǎn)業(yè)的增長(zhǎng)。

關(guān)于西部數(shù)據(jù)公司

西部數(shù)據(jù)公司作為數(shù)據(jù)基礎(chǔ)架構(gòu)的領(lǐng)導(dǎo)者，為用戶提供創(chuàng)新的存儲(chǔ)技術(shù)和解決方案，幫助用戶獲取、保存、訪問和轉(zhuǎn)換日益多樣化的數(shù)據(jù)。從高級(jí)數(shù)據(jù)中心、移動(dòng)傳感器到個(gè)人設(shè)備，數(shù)據(jù)無(wú)所不在，西部數(shù)據(jù)提供業(yè)界領(lǐng)先的解決方案來(lái)探索數(shù)據(jù)的可能性。西部數(shù)據(jù)公司以數(shù)據(jù)為中心的解決方案由Western Digital TM（西部數(shù)據(jù)）、SanDisk TM（閃迪）、WDTM（西數(shù)）、WD_BLACK TM 品牌組成。

關(guān)于北京極客天成科技有限公司

北京極客天成科技有限公司以高通量分布式集群存儲(chǔ)為先鋒，圍繞軟件定義、智能化、安全可靠，NVMe Over Fabric構(gòu)建了完全自主可控的分布式存儲(chǔ)產(chǎn)品線和解決方案，主要解決用戶海量數(shù)據(jù)下的高性能低時(shí)延數(shù)據(jù)讀寫難題，可為用戶的數(shù)據(jù)中心提供創(chuàng)新和高效的存儲(chǔ)及數(shù)據(jù)管理方案