近幾年，企業(yè)級存儲市場上，正在經(jīng)歷著重大的變化。一方面，分布式存儲正在經(jīng)歷快速的增長時期。IDC 2019年市場預(yù)測報告顯示，無論是對象存儲、文件存儲還是塊存儲，在未來幾年里都會保持兩位數(shù)高速增長。另一方面，IDC市場報告顯示，全閃存儲在所有采用存儲的企業(yè)里，幾乎已經(jīng)占80%的使用率。全閃存儲逐漸成為主流。
面對存儲市場的變化，各家云廠商都在積極應(yīng)對。青云QingCloud 從12年推出云產(chǎn)品開始在底層存儲上就以自研的方式進(jìn)行，經(jīng)過8年磨礪，積累了大量云環(huán)境下的存儲的需求和技術(shù)實(shí)踐，由此推出的QingStor產(chǎn)品家族，目前包含QingStor NeonSAN（分布式塊存儲）、QingStor對象存儲、QingStor文件存儲、QingStor融合存儲等四款產(chǎn)品。
QingStor存儲產(chǎn)品線研發(fā)負(fù)責(zé)人王煜
向云而生的存儲
目前，QingStor四款家族產(chǎn)品是青云QingCloud最基礎(chǔ)存儲支撐，包括公有云和私有云。此外，作為底層存儲引擎，QingStor能夠與多種平臺對接，包括VMware虛擬化平臺、OpenStack云平臺，還包括Kubernetes容器平臺。由此可見，QingStor就是向云而生的產(chǎn)品。
目前，QingStor的產(chǎn)品家族已經(jīng)積累了數(shù)萬家企業(yè)客戶，同時部署在公有云和私有云。公有云方面，QingStor全線產(chǎn)品已經(jīng)上線和部署在青云QingCloud的8個公有云區(qū)。在私有云部分，QingStor幾乎覆蓋了全部主流的行業(yè)，擁有非常多的行業(yè)客戶案例，包括銀行、保險、證券、制造、能源、醫(yī)療等。
特別值得一提的是，QingStor無論是在公有云，還是在私有云的部署上都是采用同一套架構(gòu)，以及同一套代碼實(shí)現(xiàn)，保證產(chǎn)品的一致性，更有利于用戶產(chǎn)品的打通。可以看出，作為青云QingCloud存儲的基礎(chǔ)，QingStor全線產(chǎn)品經(jīng)過了公有云和私有云共同的檢驗，并且在大規(guī)模生產(chǎn)環(huán)境中得到了使用。
QingStor從產(chǎn)生之初，就走上了自主設(shè)計、自主研發(fā)的道路。特別是在架構(gòu)設(shè)計上，完全采用自主設(shè)計，放棄了大多數(shù)廠商選擇的開源之路，在我看來，這也是QingStor能夠在公有云和私有云實(shí)現(xiàn)統(tǒng)一架構(gòu)的最主要原因。
據(jù)QingStor存儲產(chǎn)品線研發(fā)負(fù)責(zé)人王煜介紹，QingStor四款產(chǎn)品在考慮實(shí)際的使用基礎(chǔ)上，都采用了獨(dú)立的架構(gòu)設(shè)計方法。他特別強(qiáng)調(diào)表示，企業(yè)存儲場景的多樣性和復(fù)雜性，就代表著不能通過一套架構(gòu)滿足所有需求，而"銀彈架構(gòu)"的模式，必然會對某些應(yīng)用場景做出妥協(xié)，最終造成存儲性能缺失，所以QingStor也因場景需求分為為熱數(shù)據(jù)、冷數(shù)據(jù)、溫數(shù)據(jù)以及混合場景。
而最近，QingStor正在進(jìn)行新一輪的版本迭代，筆者有幸獲得其中一些消息分享給讀者。
QingStor NeonSAN 3.0
QingStor NeonSAN在設(shè)計之初，就希望打造成一款擁有極致性能的分布式存儲產(chǎn)品。而在設(shè)計上，采用縮短I/O路徑棧，去掉本地文件系統(tǒng)，提高協(xié)議轉(zhuǎn)換效率等方法，使其擁有了更為優(yōu)秀的性能。目前，QingStor NeonSAN已經(jīng)迭代到3.0版本。而QingStor NeonSAN產(chǎn)品線的迭代，完全圍繞著核心場景來打造產(chǎn)品能力，具體表現(xiàn)在云平臺/虛擬化場景、大數(shù)據(jù)場景、業(yè)務(wù)連續(xù)性場景以及最近這兩年非常火的容器/云原生場景四個核心場景。
第一，QingStor NeonSAN除了可以與QingCloud云平臺形成完美的對接、實(shí)現(xiàn)云平臺層面的統(tǒng)一管理和性能的最大優(yōu)化之外，還能很好地對接目前大家在業(yè)界使用比較多的虛擬化平臺、云計算平臺，如VMware平臺、OpenStack平臺、Hyper-V平臺。
QingStor存儲產(chǎn)品線產(chǎn)品經(jīng)理馮相東
第二，針對大數(shù)據(jù)應(yīng)用常用處理框架Hadoop和Spark，以及一些常用大數(shù)據(jù)系統(tǒng)所采用的底層HDFS文件系統(tǒng)。QingStor NeonSAN專門做了一些設(shè)計，比如提供互斥卷組的策略，即在QingStor NeonSAN層面提供多個單副本的卷。另外，在和HDFS文件系統(tǒng)的對接上，QingStor NeonSAN在性能方面也做了優(yōu)化。
第三，針對業(yè)務(wù)連續(xù)的問題，青云QingCloud還提供了一整套基于QingStor NeonSAN的、以存儲為核心能力的業(yè)務(wù)連續(xù)性解決方案。特別在簡化管理方面，QingStor NeonSAN能夠跟青云QingCloud云平臺一起，統(tǒng)一管理云平臺上的計算資源、網(wǎng)絡(luò)資源、存儲資源，提供一整套完整的業(yè)務(wù)連續(xù)性管理的解決方案，滿足業(yè)務(wù)對不同RPO/RTO的要求，大大地簡化業(yè)務(wù)連續(xù)性的管理，提高業(yè)務(wù)連續(xù)性的效率。
第四，在功能層面，QingStor NeonSAN提供標(biāo)準(zhǔn)CSI插件，支持與容器卷粒度的管理，以及快照、克隆、在線擴(kuò)容、QoS等存儲高級特性。在性能層面，QingStor NeonSAN可以在整條鏈路支持端到端RDMA的訪問。基于高效率協(xié)議的支持，QingStor NeonSAN可以保證容器端應(yīng)用訪問存儲的時延控制在微秒級別，基本是0.1-0.3毫秒訪問時延的水平。整體上，QingStor NeonSAN可以為K8s、KubeSphere容器平臺提供高性能、可靠性、企業(yè)級分布式存儲的能力。
QingStor對象存儲3.0
對象存儲是主要解決非結(jié)構(gòu)化數(shù)據(jù)存儲的問題，如海量圖片、音視頻、日志、歸檔備份等。這些數(shù)據(jù)讀取的頻率并不是特別高，通常是一次寫入、多次讀取的模型。但是其數(shù)據(jù)容量、數(shù)據(jù)數(shù)量都是非常大的。因此QingStor對象存儲設(shè)計的核心是承載海量的數(shù)據(jù)。在整個架構(gòu)設(shè)計時，采用了完全Share-Nothing的架構(gòu)，沒有任何單點(diǎn)，每一個組件都是可以無限水平擴(kuò)展，并且保證性能不會下降。特別是新推出的QingStor對象存儲3.0更是一款魚和熊掌兼得的存儲服務(wù)，兼得海量數(shù)據(jù)存儲和數(shù)據(jù)存儲的超高性能。
QingStor對象存儲3.0，在對象版本控制、數(shù)據(jù)追加寫入、數(shù)據(jù)跨區(qū)域復(fù)制，以及生態(tài)工具四個功能上有所提升。此外新版本還具有新的能力的變化，一方面QingStor對象存儲3.0具有更強(qiáng)的、更具優(yōu)勢的存儲性能。另一方面QingStor對象存儲3.0可以服務(wù)于更多的數(shù)據(jù)應(yīng)用場景，如數(shù)據(jù)遷移、數(shù)據(jù)保護(hù)、數(shù)據(jù)備份、AI視頻監(jiān)控。
QingStor對象存儲產(chǎn)品經(jīng)理賈斌
具體而言，首先，QingStor對象存儲3.0中帶來了數(shù)據(jù)跨區(qū)域復(fù)制，和全新重構(gòu)的官方工具qsctl和qscamel。通過這些新功能和工具組合的方案，能夠做到數(shù)據(jù)遷移中，對跨平臺及復(fù)雜場景的全覆蓋，這套解決方案是可視化的操作和服務(wù)，讓用戶可以非常簡單快捷的進(jìn)行操作。
其次，QingStor對象存儲3.0所擁有的版本控制功能，實(shí)現(xiàn)了存儲桶（Bucket）內(nèi)數(shù)據(jù)的歷史版本存儲和管理，解決了企業(yè)級用戶對數(shù)據(jù)保護(hù)的新需求，例如意外刪除、意外覆蓋、惡意篡改等極端情況。
另外，QingStor對象存儲基于通用的X86硬件，以及標(biāo)準(zhǔn)的API接口，可以友好地對接SaaS備份應(yīng)用，對存儲采購成本和運(yùn)維管理更有利。QingStor對象存儲3.0實(shí)現(xiàn)了與更多主流廠商做深度兼容，使得數(shù)據(jù)備份更加簡單和易用。
最后，QingStor對象存儲3.0帶來的新特性有數(shù)據(jù)追加寫入的接口、為智能終端定制的SDK，以及混合云存儲的解決方案，在QingStor對象存儲里，徹底打通視頻影像數(shù)據(jù)的生命周期，從海量數(shù)據(jù)存儲到數(shù)據(jù)分析處理，到數(shù)據(jù)歸檔。通過SDK讓智能終端直接寫數(shù)據(jù)到對象存儲，簡化了端到存儲的流程。平滑對接外部數(shù)據(jù)AI分析引擎，如數(shù)據(jù)深度分析、圖像識別、機(jī)器學(xué)習(xí)等應(yīng)用。
QingStor文件存儲2.0
青云QingCloud力求打造云計算架構(gòu)下的，通用的文件存儲產(chǎn)品，由此必須在產(chǎn)品上實(shí)現(xiàn)擁有通用的標(biāo)準(zhǔn)文件接口，擁有多層次的擴(kuò)展性，可以同時適配差異化的文件存儲需求，這三個重要的能力。為此，QingStor文件存儲系統(tǒng)就以此為出發(fā)點(diǎn)。
通用的文件接口（posix），是操作系統(tǒng)原生的接口，不需要另行改造就可以使用的接口，而QingStor文件存儲2.0使用posix接口，可以有效的降低企業(yè)因存儲接口兼容性出現(xiàn)的問題。譬如，以HDFS為代表的專用文件系統(tǒng)，這些文件系統(tǒng)僅支持部分標(biāo)準(zhǔn)接口，比如僅支持順序?qū)懀恢С蛛S機(jī)修改等等。
QingStor文件存儲研發(fā)負(fù)責(zé)人黃蒙
QingStor文件存儲研發(fā)負(fù)責(zé)人黃蒙介紹表示，QingStor文件存儲的設(shè)計目標(biāo)就是要在支持通用文件接口和通用的網(wǎng)絡(luò)文件協(xié)議的前提下，提供一個可擴(kuò)展高可用的分布式文件存儲系統(tǒng)，這就直接擴(kuò)大了產(chǎn)品的使用場景。
QingStor文件存儲的架構(gòu)中，青云QingCloud自研了整個文件系統(tǒng)棧，不依賴本地文件系統(tǒng)，搭建了一個真正意義上的統(tǒng)一命名空間。由于允許多個邏輯接入節(jié)點(diǎn),可以同時訪問和操作相同的數(shù)據(jù)，天然具有高可用的能力。在這一架構(gòu)下， 每一個目錄可以承載的容量和文件數(shù)量都沒有限制。此外，由于每個目錄下的內(nèi)容可以通過多個接入節(jié)點(diǎn)同時訪問，也使處理能力有了水平擴(kuò)展性。
另外，為更好的同時支撐不同的業(yè)務(wù)，QingStor文件存儲支持為每一個創(chuàng)建的租戶文件系統(tǒng)提供差異化的設(shè)置，比如選擇副本數(shù)，甚至選擇文件數(shù)據(jù)塊大小。
值得一提的是，QingStor文件存儲2.0采用了Rust語言作為存儲系統(tǒng)開發(fā)語言，這也給QingStor文件存儲帶來極大的性能提升。譬如，單個nfs client的fio性能測試數(shù)據(jù)，其中4k隨機(jī)讀寫IOPS提高了200%以上，64k的順序讀寫也有大約1倍的提升，效果非常顯著。
黃蒙表示，QingStor文件存儲旨在打造一款在云計算基礎(chǔ)架構(gòu)下更加通用的文件存儲產(chǎn)品，我們希望能通過這款產(chǎn)品幫助更多類型的應(yīng)用更平滑上云，享受到更好的云計算基礎(chǔ)設(shè)施帶來的便利。
總結(jié)來看，QingStor源于云，天然向云而生，是云計算環(huán)境下優(yōu)秀的存儲解決方案，能夠更好的適應(yīng)當(dāng)前市場需求。
