近幾年，企業(yè)級(jí)存儲(chǔ)市場(chǎng)上，正在經(jīng)歷著重大的變化。一方面，分布式存儲(chǔ)正在經(jīng)歷快速的增長(zhǎng)時(shí)期。IDC 2019年市場(chǎng)預(yù)測(cè)報(bào)告顯示，無(wú)論是對(duì)象存儲(chǔ)、文件存儲(chǔ)還是塊存儲(chǔ)，在未來(lái)幾年里都會(huì)保持兩位數(shù)高速增長(zhǎng)。另一方面，IDC市場(chǎng)報(bào)告顯示，全閃存儲(chǔ)在所有采用存儲(chǔ)的企業(yè)里，幾乎已經(jīng)占80%的使用率。全閃存儲(chǔ)逐漸成為主流。
面對(duì)存儲(chǔ)市場(chǎng)的變化，各家云廠商都在積極應(yīng)對(duì)。青云QingCloud 從12年推出云產(chǎn)品開(kāi)始在底層存儲(chǔ)上就以自研的方式進(jìn)行，經(jīng)過(guò)8年磨礪，積累了大量云環(huán)境下的存儲(chǔ)的需求和技術(shù)實(shí)踐，由此推出的QingStor產(chǎn)品家族，目前包含QingStor NeonSAN（分布式塊存儲(chǔ)）、QingStor對(duì)象存儲(chǔ)、QingStor文件存儲(chǔ)、QingStor融合存儲(chǔ)等四款產(chǎn)品。
QingStor存儲(chǔ)產(chǎn)品線研發(fā)負(fù)責(zé)人王煜
向云而生的存儲(chǔ)
目前，QingStor四款家族產(chǎn)品是青云QingCloud最基礎(chǔ)存儲(chǔ)支撐，包括公有云和私有云。此外，作為底層存儲(chǔ)引擎，QingStor能夠與多種平臺(tái)對(duì)接，包括VMware虛擬化平臺(tái)、OpenStack云平臺(tái)，還包括Kubernetes容器平臺(tái)。由此可見(jiàn)，QingStor就是向云而生的產(chǎn)品。
目前，QingStor的產(chǎn)品家族已經(jīng)積累了數(shù)萬(wàn)家企業(yè)客戶，同時(shí)部署在公有云和私有云。公有云方面，QingStor全線產(chǎn)品已經(jīng)上線和部署在青云QingCloud的8個(gè)公有云區(qū)。在私有云部分，QingStor幾乎覆蓋了全部主流的行業(yè)，擁有非常多的行業(yè)客戶案例，包括銀行、保險(xiǎn)、證券、制造、能源、醫(yī)療等。
特別值得一提的是，QingStor無(wú)論是在公有云，還是在私有云的部署上都是采用同一套架構(gòu)，以及同一套代碼實(shí)現(xiàn)，保證產(chǎn)品的一致性，更有利于用戶產(chǎn)品的打通。可以看出，作為青云QingCloud存儲(chǔ)的基礎(chǔ)，QingStor全線產(chǎn)品經(jīng)過(guò)了公有云和私有云共同的檢驗(yàn)，并且在大規(guī)模生產(chǎn)環(huán)境中得到了使用。
QingStor從產(chǎn)生之初，就走上了自主設(shè)計(jì)、自主研發(fā)的道路。特別是在架構(gòu)設(shè)計(jì)上，完全采用自主設(shè)計(jì)，放棄了大多數(shù)廠商選擇的開(kāi)源之路，在我看來(lái)，這也是QingStor能夠在公有云和私有云實(shí)現(xiàn)統(tǒng)一架構(gòu)的最主要原因。
據(jù)QingStor存儲(chǔ)產(chǎn)品線研發(fā)負(fù)責(zé)人王煜介紹，QingStor四款產(chǎn)品在考慮實(shí)際的使用基礎(chǔ)上，都采用了獨(dú)立的架構(gòu)設(shè)計(jì)方法。他特別強(qiáng)調(diào)表示，企業(yè)存儲(chǔ)場(chǎng)景的多樣性和復(fù)雜性，就代表著不能通過(guò)一套架構(gòu)滿足所有需求，而"銀彈架構(gòu)"的模式，必然會(huì)對(duì)某些應(yīng)用場(chǎng)景做出妥協(xié)，最終造成存儲(chǔ)性能缺失，所以QingStor也因場(chǎng)景需求分為為熱數(shù)據(jù)、冷數(shù)據(jù)、溫?cái)?shù)據(jù)以及混合場(chǎng)景。
而最近，QingStor正在進(jìn)行新一輪的版本迭代，筆者有幸獲得其中一些消息分享給讀者。
QingStor NeonSAN 3.0
QingStor NeonSAN在設(shè)計(jì)之初，就希望打造成一款擁有極致性能的分布式存儲(chǔ)產(chǎn)品。而在設(shè)計(jì)上，采用縮短I/O路徑棧，去掉本地文件系統(tǒng)，提高協(xié)議轉(zhuǎn)換效率等方法，使其擁有了更為優(yōu)秀的性能。目前，QingStor NeonSAN已經(jīng)迭代到3.0版本。而QingStor NeonSAN產(chǎn)品線的迭代，完全圍繞著核心場(chǎng)景來(lái)打造產(chǎn)品能力，具體表現(xiàn)在云平臺(tái)/虛擬化場(chǎng)景、大數(shù)據(jù)場(chǎng)景、業(yè)務(wù)連續(xù)性場(chǎng)景以及最近這兩年非常火的容器/云原生場(chǎng)景四個(gè)核心場(chǎng)景。
第一，QingStor NeonSAN除了可以與QingCloud云平臺(tái)形成完美的對(duì)接、實(shí)現(xiàn)云平臺(tái)層面的統(tǒng)一管理和性能的最大優(yōu)化之外，還能很好地對(duì)接目前大家在業(yè)界使用比較多的虛擬化平臺(tái)、云計(jì)算平臺(tái)，如VMware平臺(tái)、OpenStack平臺(tái)、Hyper-V平臺(tái)。
QingStor存儲(chǔ)產(chǎn)品線產(chǎn)品經(jīng)理馮相東
第二，針對(duì)大數(shù)據(jù)應(yīng)用常用處理框架Hadoop和Spark，以及一些常用大數(shù)據(jù)系統(tǒng)所采用的底層HDFS文件系統(tǒng)。QingStor NeonSAN專門做了一些設(shè)計(jì)，比如提供互斥卷組的策略，即在QingStor NeonSAN層面提供多個(gè)單副本的卷。另外，在和HDFS文件系統(tǒng)的對(duì)接上，QingStor NeonSAN在性能方面也做了優(yōu)化。
第三，針對(duì)業(yè)務(wù)連續(xù)的問(wèn)題，青云QingCloud還提供了一整套基于QingStor NeonSAN的、以存儲(chǔ)為核心能力的業(yè)務(wù)連續(xù)性解決方案。特別在簡(jiǎn)化管理方面，QingStor NeonSAN能夠跟青云QingCloud云平臺(tái)一起，統(tǒng)一管理云平臺(tái)上的計(jì)算資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源，提供一整套完整的業(yè)務(wù)連續(xù)性管理的解決方案，滿足業(yè)務(wù)對(duì)不同RPO/RTO的要求，大大地簡(jiǎn)化業(yè)務(wù)連續(xù)性的管理，提高業(yè)務(wù)連續(xù)性的效率。
第四，在功能層面，QingStor NeonSAN提供標(biāo)準(zhǔn)CSI插件，支持與容器卷粒度的管理，以及快照、克隆、在線擴(kuò)容、QoS等存儲(chǔ)高級(jí)特性。在性能層面，QingStor NeonSAN可以在整條鏈路支持端到端RDMA的訪問(wèn)。基于高效率協(xié)議的支持，QingStor NeonSAN可以保證容器端應(yīng)用訪問(wèn)存儲(chǔ)的時(shí)延控制在微秒級(jí)別，基本是0.1-0.3毫秒訪問(wèn)時(shí)延的水平。整體上，QingStor NeonSAN可以為K8s、KubeSphere容器平臺(tái)提供高性能、可靠性、企業(yè)級(jí)分布式存儲(chǔ)的能力。
QingStor對(duì)象存儲(chǔ)3.0
對(duì)象存儲(chǔ)是主要解決非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的問(wèn)題，如海量圖片、音視頻、日志、歸檔備份等。這些數(shù)據(jù)讀取的頻率并不是特別高，通常是一次寫入、多次讀取的模型。但是其數(shù)據(jù)容量、數(shù)據(jù)數(shù)量都是非常大的。因此QingStor對(duì)象存儲(chǔ)設(shè)計(jì)的核心是承載海量的數(shù)據(jù)。在整個(gè)架構(gòu)設(shè)計(jì)時(shí)，采用了完全Share-Nothing的架構(gòu)，沒(méi)有任何單點(diǎn)，每一個(gè)組件都是可以無(wú)限水平擴(kuò)展，并且保證性能不會(huì)下降。特別是新推出的QingStor對(duì)象存儲(chǔ)3.0更是一款魚(yú)和熊掌兼得的存儲(chǔ)服務(wù)，兼得海量數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)存儲(chǔ)的超高性能。
QingStor對(duì)象存儲(chǔ)3.0，在對(duì)象版本控制、數(shù)據(jù)追加寫入、數(shù)據(jù)跨區(qū)域復(fù)制，以及生態(tài)工具四個(gè)功能上有所提升。此外新版本還具有新的能力的變化，一方面QingStor對(duì)象存儲(chǔ)3.0具有更強(qiáng)的、更具優(yōu)勢(shì)的存儲(chǔ)性能。另一方面QingStor對(duì)象存儲(chǔ)3.0可以服務(wù)于更多的數(shù)據(jù)應(yīng)用場(chǎng)景，如數(shù)據(jù)遷移、數(shù)據(jù)保護(hù)、數(shù)據(jù)備份、AI視頻監(jiān)控。
QingStor對(duì)象存儲(chǔ)產(chǎn)品經(jīng)理賈斌
具體而言，首先，QingStor對(duì)象存儲(chǔ)3.0中帶來(lái)了數(shù)據(jù)跨區(qū)域復(fù)制，和全新重構(gòu)的官方工具qsctl和qscamel。通過(guò)這些新功能和工具組合的方案，能夠做到數(shù)據(jù)遷移中，對(duì)跨平臺(tái)及復(fù)雜場(chǎng)景的全覆蓋，這套解決方案是可視化的操作和服務(wù)，讓用戶可以非常簡(jiǎn)單快捷的進(jìn)行操作。
其次，QingStor對(duì)象存儲(chǔ)3.0所擁有的版本控制功能，實(shí)現(xiàn)了存儲(chǔ)桶（Bucket）內(nèi)數(shù)據(jù)的歷史版本存儲(chǔ)和管理，解決了企業(yè)級(jí)用戶對(duì)數(shù)據(jù)保護(hù)的新需求，例如意外刪除、意外覆蓋、惡意篡改等極端情況。
另外，QingStor對(duì)象存儲(chǔ)基于通用的X86硬件，以及標(biāo)準(zhǔn)的API接口，可以友好地對(duì)接SaaS備份應(yīng)用，對(duì)存儲(chǔ)采購(gòu)成本和運(yùn)維管理更有利。QingStor對(duì)象存儲(chǔ)3.0實(shí)現(xiàn)了與更多主流廠商做深度兼容，使得數(shù)據(jù)備份更加簡(jiǎn)單和易用。
最后，QingStor對(duì)象存儲(chǔ)3.0帶來(lái)的新特性有數(shù)據(jù)追加寫入的接口、為智能終端定制的SDK，以及混合云存儲(chǔ)的解決方案，在QingStor對(duì)象存儲(chǔ)里，徹底打通視頻影像數(shù)據(jù)的生命周期，從海量數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)分析處理，到數(shù)據(jù)歸檔。通過(guò)SDK讓智能終端直接寫數(shù)據(jù)到對(duì)象存儲(chǔ)，簡(jiǎn)化了端到存儲(chǔ)的流程。平滑對(duì)接外部數(shù)據(jù)AI分析引擎，如數(shù)據(jù)深度分析、圖像識(shí)別、機(jī)器學(xué)習(xí)等應(yīng)用。
QingStor文件存儲(chǔ)2.0
青云QingCloud力求打造云計(jì)算架構(gòu)下的，通用的文件存儲(chǔ)產(chǎn)品，由此必須在產(chǎn)品上實(shí)現(xiàn)擁有通用的標(biāo)準(zhǔn)文件接口，擁有多層次的擴(kuò)展性，可以同時(shí)適配差異化的文件存儲(chǔ)需求，這三個(gè)重要的能力。為此，QingStor文件存儲(chǔ)系統(tǒng)就以此為出發(fā)點(diǎn)。
通用的文件接口（posix），是操作系統(tǒng)原生的接口，不需要另行改造就可以使用的接口，而QingStor文件存儲(chǔ)2.0使用posix接口，可以有效的降低企業(yè)因存儲(chǔ)接口兼容性出現(xiàn)的問(wèn)題。譬如，以HDFS為代表的專用文件系統(tǒng)，這些文件系統(tǒng)僅支持部分標(biāo)準(zhǔn)接口，比如僅支持順序?qū)懀恢С蛛S機(jī)修改等等。
QingStor文件存儲(chǔ)研發(fā)負(fù)責(zé)人黃蒙
QingStor文件存儲(chǔ)研發(fā)負(fù)責(zé)人黃蒙介紹表示，QingStor文件存儲(chǔ)的設(shè)計(jì)目標(biāo)就是要在支持通用文件接口和通用的網(wǎng)絡(luò)文件協(xié)議的前提下，提供一個(gè)可擴(kuò)展高可用的分布式文件存儲(chǔ)系統(tǒng)，這就直接擴(kuò)大了產(chǎn)品的使用場(chǎng)景。
QingStor文件存儲(chǔ)的架構(gòu)中，青云QingCloud自研了整個(gè)文件系統(tǒng)棧，不依賴本地文件系統(tǒng)，搭建了一個(gè)真正意義上的統(tǒng)一命名空間。由于允許多個(gè)邏輯接入節(jié)點(diǎn),可以同時(shí)訪問(wèn)和操作相同的數(shù)據(jù)，天然具有高可用的能力。在這一架構(gòu)下， 每一個(gè)目錄可以承載的容量和文件數(shù)量都沒(méi)有限制。此外，由于每個(gè)目錄下的內(nèi)容可以通過(guò)多個(gè)接入節(jié)點(diǎn)同時(shí)訪問(wèn)，也使處理能力有了水平擴(kuò)展性。
另外，為更好的同時(shí)支撐不同的業(yè)務(wù)，QingStor文件存儲(chǔ)支持為每一個(gè)創(chuàng)建的租戶文件系統(tǒng)提供差異化的設(shè)置，比如選擇副本數(shù)，甚至選擇文件數(shù)據(jù)塊大小。
值得一提的是，QingStor文件存儲(chǔ)2.0采用了Rust語(yǔ)言作為存儲(chǔ)系統(tǒng)開(kāi)發(fā)語(yǔ)言，這也給QingStor文件存儲(chǔ)帶來(lái)極大的性能提升。譬如，單個(gè)nfs client的fio性能測(cè)試數(shù)據(jù)，其中4k隨機(jī)讀寫IOPS提高了200%以上，64k的順序讀寫也有大約1倍的提升，效果非常顯著。
黃蒙表示，QingStor文件存儲(chǔ)旨在打造一款在云計(jì)算基礎(chǔ)架構(gòu)下更加通用的文件存儲(chǔ)產(chǎn)品，我們希望能通過(guò)這款產(chǎn)品幫助更多類型的應(yīng)用更平滑上云，享受到更好的云計(jì)算基礎(chǔ)設(shè)施帶來(lái)的便利。
總結(jié)來(lái)看，QingStor源于云，天然向云而生，是云計(jì)算環(huán)境下優(yōu)秀的存儲(chǔ)解決方案，能夠更好的適應(yīng)當(dāng)前市場(chǎng)需求。
