不要Ceph，青云自己做了一套QingStor文件存儲系統(tǒng)

常見的存儲有三種類型，SAN塊存儲，對象存儲還有NAS文件存儲，分別對應(yīng)熱數(shù)據(jù)，冷數(shù)據(jù)和溫數(shù)據(jù)，一套完整的企業(yè)存儲體系中三者缺一不可，2018年7月27日的青云Cloud Insight 2018云計算峰會上，青云發(fā)布了QingStor文件系統(tǒng)，補充和完善了QingStor存儲產(chǎn)品線。

青云既是云服務(wù)廠商，也是企業(yè)級ICT服務(wù)商，QingStor存儲產(chǎn)品線的布局很好地反應(yīng)了青云的這種特殊性。

QingStor的發(fā)展歷程中，先是有了話題熱度最高的對象存儲，互聯(lián)網(wǎng)公司用的比較多，單位容量價格低，性能較低，安全性高。而后在2017年發(fā)布了熱度僅次于對象存儲的ServerSAN存儲——NeonSAN，強調(diào)高性能和低延時，支持真正的水平擴展，主要用于核心業(yè)務(wù)。SAN和NAS則非常企業(yè)級，企業(yè)級存儲公司主要做的就是這兩大塊，今天終于輪到了NAS文件存儲。

用過電腦的人都知道什么是文件存儲，簡單而言，你打開電腦其實用到了文件系統(tǒng)，在硬盤上找文件就是在用文件系統(tǒng)了，只是因為硬盤大小非常，一般人一塊硬盤也就夠了，可企業(yè)里數(shù)據(jù)非常多，別說單臺電腦了，單臺服務(wù)器也經(jīng)常不夠用，所以當數(shù)據(jù)非常多的時候就需要額外的存儲空間了，常見的做法是用網(wǎng)絡(luò)連接一臺專門做存儲的機器，常用的設(shè)備就是NAS(Network Attached Storage網(wǎng)絡(luò)附加存儲)，NAS在一定程度上是文件存儲的代名詞。

很多人都有體會，因為文件多了文件查找的效率就會明顯下降，打開電腦找個文件硬盤咯吱咯吱響，文件找的很慢，NAS一般來說性能都比較高，另外，文件不能丟失或者損壞，所以還要有各種數(shù)據(jù)保護措施，傳統(tǒng)大型存儲公司如NetApp，EMC都有出色的NAS產(chǎn)品，NAS是很貴的，主要是基于硬件的，做個NAS門檻是很高的，很多企業(yè)就靠一款成功的NAS產(chǎn)品便在市場上占據(jù)了很高的地位，這是一塊大市場。

由于大家都或多或少地知道文件存儲的應(yīng)用場景，所以說明文件存儲很普遍，需求非常大，Gartner的分析報告說，文件存儲在市場中占主流地位，在媒體、高性能計算領(lǐng)域都會用到。

NAS通常來說是Scaleup類型的，也就是主要靠單臺專有設(shè)備的實力，性能很高但也有限，擴展很難，產(chǎn)品設(shè)計的中心完全以硬件為核心。后來出現(xiàn)帶來分布式的文件系統(tǒng)，文件存儲的核心轉(zhuǎn)向以分布式存儲軟件為核心，常見的分布式文件系統(tǒng)有兩種：一種是以Hadoop HDFS和LusterFS為代表的集中式索引架構(gòu);一種是全對等Hash架構(gòu)，完全拋棄單獨的索引節(jié)點，其代表是GLuster和Ceph。

青云QingCloud存儲高級技術(shù)專家寧安表示，集中式的索引架構(gòu)問題在于擴展擴容不方便，一致性較差，全隊等的Hash架構(gòu)缺點在于文件數(shù)量會受到單節(jié)點和索引節(jié)點容量限制。雖然有種種問題，但是因為分布式文件系統(tǒng)通常是開源的，跟原來的封閉的集中式NAS截然不同，而且硬件是基于x86的成本會低出很多，所以，分布式存儲越來越流行，近年來，隨著開源社區(qū)在中國的發(fā)展，在分布式文件存儲系統(tǒng)中Ceph的呼聲最高。

這些缺點有四個方面：數(shù)據(jù)一致性問題，高可用問題，還有擴展性的問題，運維也比較復(fù)雜。另外，Ceph的性能問題也廣受詬病，在種種問題面前，青云最后還是決定自己做研發(fā)，參考一些開源的分布式文件系統(tǒng)的做法自己研發(fā)出了一套分布式文件系統(tǒng)，分布式文件存儲系統(tǒng)非常復(fù)雜。

為了應(yīng)對這些問題，QingStor文件存儲有以下幾個特點呢?

首先，QingStor的底層基于分布式塊存儲NeonSAN，NeonSAN是有高性能、強一致的塊存儲。這使得QingStor的塊存儲和文件存儲能做到更好的融合，兩者共享一個存儲池，可以分開管理，底層共用一套設(shè)備，如果追求性能和可靠性的話最好還是單獨部署，NeonSAN的用戶可以直接部署新的文件存儲。

第二，支持無限水平擴展。目錄和文件分離存儲，元數(shù)據(jù)層存儲索引目錄，用來定位文件具體位置;控制層負責(zé)下層塊設(shè)備的空間分配和事務(wù)管理。寧安介紹說，用Ceph的企業(yè)需要一批很懂Ceph的工程師，Ceph在一定數(shù)據(jù)規(guī)模之后會出現(xiàn)許多問題，經(jīng)常要處理很多壞盤、遷移和擴容的問題，這些問題只有在數(shù)據(jù)規(guī)模很大時才會暴露出來，但這時候已經(jīng)晚了。

第三，并行處理架構(gòu)。所有網(wǎng)關(guān)節(jié)點和NeonSAN節(jié)點是全互聯(lián)的關(guān)系，節(jié)點間可通過最短路徑相互訪問。集群內(nèi)數(shù)據(jù)復(fù)制與業(yè)務(wù)訪問分離，分別通過不同的網(wǎng)絡(luò)，因此在數(shù)據(jù)遷移和擴容時，不會對業(yè)務(wù)有任何影響。

QingStor分布式文件存儲的企業(yè)級特性非常全面。

其中，通過釣電安全、防篡改、數(shù)據(jù)加密等手段來提升數(shù)據(jù)安全性;通過分布式事務(wù)加上版本修改的機制實現(xiàn)了強一致性;通過服務(wù)無單點、數(shù)據(jù)無單點、網(wǎng)絡(luò)無單點，三點來支持高可用;通過NeonSAN的支持來實現(xiàn)高性能。

與Ceph的性能對比

在彈性擴展方面，QingStor文件存儲擴容更隨意，不用像Ceph一樣每次只能擴容一個節(jié)點，擴容跟數(shù)據(jù)遷移量成正比，擴容的過程中，QingStor文件存儲沒有強制用戶遷移數(shù)據(jù)，擴容過程中對寫入沒有影響，用戶可選擇在任意時間進行數(shù)據(jù)遷移，用戶可以操控數(shù)據(jù)遷移的過程。

在成本方面，通過智能的壓縮，自動精簡配置，存儲分層等手段來提升存儲空間利用率，從而優(yōu)化成本。QingStor文件存儲支持對文件類型判斷后做壓縮，如果是文本文件的話就重點壓縮，反正也不影響解壓后正常使用，如果是音視頻文件的話壓縮會有損失，寫入的時候就不壓縮了。

部署方面，QingStor最小三節(jié)點起步，用戶可利用現(xiàn)有的交換機去部署TCP/IP網(wǎng)絡(luò)，內(nèi)部數(shù)據(jù)通過RDMA來實現(xiàn)低延遲的數(shù)據(jù)服務(wù)操作。

在實際使用的時候，QingStor支持NFS、Samba協(xié)議和FUSE模塊加載方式，因為文件存儲本來就是服務(wù)于常見的應(yīng)用的，所以與原來的應(yīng)用沒有兼容性問題，像是OA這種傳統(tǒng)應(yīng)用完全沒問題，Hadoop、Spark等大數(shù)據(jù)分析也都沒問題，視頻剪輯，3D渲染，高性能計算等場景下都可以用。另外，青云最新推出的Anybox也是支持將QingStor文件存儲用作存儲后端，性能會更好一些。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。