撲朔迷離的云評估——至頂網(wǎng)云能力評估辦法公示

“雄兔腳撲朔,雌兔眼迷離;雙兔傍地走,安能辨我是雄雌?”木蘭辭的最后一句十分形象的對公有云主機的評測困難——對物理服務(wù)器而言,我們可以采用多種測試方法對其計算、存儲、網(wǎng)絡(luò)的最大性能進行測試,并對其結(jié)果進行比較。但是對于一個正在運行當(dāng)中的云計算系統(tǒng)而言,我們又應(yīng)該如何去分辨它的“雄雌”?

對于云計算系統(tǒng)的網(wǎng)絡(luò)和網(wǎng)絡(luò)應(yīng)用測試,至頂網(wǎng)這兩年已經(jīng)積累了一些比較成功的測試經(jīng)驗。但是對于云主機計算處理性能評估,還只能是摸著石頭過河。甚至某些同學(xué)認為這根本就是多此一舉,性能不夠做一下擴展就好,測試本就是多此一舉。最終我們云能力評估小組在刨根問底的精神指導(dǎo)下,充分溝通,達成共識。在對云主機WAN網(wǎng)Web應(yīng)用請求響應(yīng)測試的基礎(chǔ)上,嘗試對云主機的計算處理性能同樣進行測試。

因此,本次至頂網(wǎng)公有云云主機的橫向?qū)Ρ葴y試,既是對公有云主機的一次評估,也是對云主機測試方法的一次摸底?,F(xiàn)在特地把本次云主機測試方案及評估辦法公示出來,希望可以起到一個拋磚引玉的做用,共同促進公有云評估技術(shù)的進步。

云主機計算性能測試——GeekBench

在以往服務(wù)器計算性能測試中,通常是采用Windows操作系統(tǒng)下的性能測試軟件,但是在公有云主機中,大多支持的是Linux操作系統(tǒng)。因此,選用一個可以跨平臺,支持多種操作系統(tǒng)的測試工具就變得十分必要了。而且還要考慮搭建測試環(huán)境的便捷性,有些專業(yè)性的CPU測試工具雖然好,但測試環(huán)境的搭建復(fù)雜,耗時很長,如果出現(xiàn)舊版本測試沒跑完,新版本系統(tǒng)已上市的情況,哪就成了評測笑話了。因此,這樣的測試方法,再專業(yè)、再先進,我們肯定也不會去進行考慮。最后是測試用例的代表性,可以體現(xiàn)出當(dāng)前比較主流的計算應(yīng)用性能。

基于上述通用性、便捷性、代表性的綜合考慮,我們云能力評估小組最終選定可以在Windows、Linux和安卓操作系統(tǒng)上使用的計算性能測試工具GeekBench3.4.2來完成本次公有云主機的整數(shù)和浮點計算性能測試工作。

(Geekbench是通過一系列數(shù)據(jù)加密、數(shù)據(jù)壓縮、圖像壓縮、圖形計算、腳本處理和路徑計算的方式,對CPU的整數(shù)類型計算能力進行測試;并通過期權(quán)價格模似、圖像生成、銳化和模糊以及物理仿真、3D幾何場景描述等浮點計算功能對CPU的浮點計算能力進行測試。并將各個測試結(jié)果綜合后,統(tǒng)一對CPU的整數(shù)計算和浮點計算能力進行打分。)

Web應(yīng)用響應(yīng)測試——聽云

GeekBench的測試項目雖多,但缺少對網(wǎng)頁處理能力的測試。而Web應(yīng)用響應(yīng)能力,是我們運維同學(xué)最關(guān)注的測試項目。因此所選用的測試工具,也是充滿著運維色彩的聽云。為什么要用一個APM(應(yīng)用性能管理)軟件來進行Web應(yīng)用測試?主要是因為現(xiàn)實網(wǎng)絡(luò)環(huán)境測試和實驗室環(huán)境測試有著很大的不同。在實驗室環(huán)境中,我們要考驗的是設(shè)備的極限承受能力。在這種測試中,有很大幾率會造成破壞性后果。但是在現(xiàn)實網(wǎng)絡(luò)應(yīng)用環(huán)境中是很難對這種破壞性后果進行承受的。因此,在現(xiàn)實網(wǎng)絡(luò)環(huán)境測試中,必須注意以下幾點:

1、不能對現(xiàn)實網(wǎng)絡(luò)中正在運營的業(yè)務(wù)產(chǎn)生過高的影響。

2、測試數(shù)據(jù)的采集點要盡量部署全面,以便于全方位的對網(wǎng)絡(luò)傳輸信息進行收集。

3、測試數(shù)據(jù)的精度越高,結(jié)果越詳細,可以分析出潛在問題的可能性就會越大。

從上述幾點來分析,作為一款A(yù)PM軟件,聽云本身對現(xiàn)實網(wǎng)絡(luò)環(huán)境所造成影響較小(基本可以忽略不記)。發(fā)出的應(yīng)用請求流量可以進行控制,便于對測試強度進行靈活掌控。最主要的是聽云的監(jiān)控點遍布全國各地,可以很好的對云主機全國范圍內(nèi)應(yīng)用響應(yīng)能力進行評估。至于數(shù)所采集的精度和細粒度,則需要在測試后,通過測試結(jié)果再進一步進行分析。

云計算系統(tǒng)平臺應(yīng)用體驗——云能力評估專家組

云計算系統(tǒng),不是一個簡單的Web Server的服務(wù)器,而是為用戶提供業(yè)務(wù)應(yīng)用處理能力的平臺。用戶的應(yīng)用流量是否可以平滑接入,有效分配到各個云主機上進行業(yè)務(wù)應(yīng)用處理;業(yè)務(wù)數(shù)據(jù)可否快捷高效的進行調(diào)用;還有域名備份、問題溝通、平臺使用的難易度等等。要想搞清這些問題,就需要一一對不同的公有云平臺進行實際使用的體驗。

為此,我們至頂網(wǎng)云能力小組運維專家樂樂同學(xué)、首度技術(shù)官書葆老師共同承擔(dān)了這項任務(wù),從實際應(yīng)用的角度出發(fā),對不同云計算系統(tǒng)平臺分別進行體驗,并一一進行評價。只有通過實際的應(yīng)用才能產(chǎn)生最直觀的體現(xiàn)。這也是他們在百忙的工作之中,一定要抽出時間進行這項測試的一個最主要原因。希望通過我們絕對可以稱得上是一線技術(shù)專家的體驗測試,能向大家提供出一份絕對實用的應(yīng)用體驗資料。

梳理云評估辦法,讓云計算有理可依

計算性能、Web應(yīng)用響應(yīng)和系統(tǒng)平臺應(yīng)用體驗,是云能力評估小組在公有云技術(shù)評估道路上的又一次嘗試。云計算從誕生到現(xiàn)在,已經(jīng)經(jīng)歷了十多年的技術(shù)發(fā)展,然而可以公開的評估指標(biāo)和規(guī)范,卻始終是鳳毛麟角。梳理出一套切實可用,真正對用戶有指導(dǎo)意義的云計算評估辦法,是至頂網(wǎng)云能力評估小組當(dāng)前最熱切的追求。

但是也不能為了評測而評測,還需要對測試結(jié)果進行更加深入的分析。云是一個具有高度靈活性的產(chǎn)品,公有云廠商產(chǎn)品為什么會有這樣的技術(shù)指標(biāo)設(shè)計,需要在測試中深入挖掘。不但要有測試的方法,還要了解測試的道理,確保評估指標(biāo)的有效性,這樣才可以更加全面的真實的去進行評估。

因此,我們云能力評估小組在對公有云主機性能進行評測的同時,還舉行了一次大規(guī)模的公有云用戶實施情況調(diào)研。從中收集到了上千份有效調(diào)研問卷,從而獲得第一手的用戶公有云使用情況。相關(guān)報告將先于公有云評測報告對外公開發(fā)布。

除用戶調(diào)研外,我們也非常重視有關(guān)技術(shù)專家對公有云的觀點。為此我們還將征集一批知名企業(yè)的網(wǎng)絡(luò)技術(shù)專家,來傾聽一下他們對公有云技術(shù)的真知灼見,并邀請他們參與對公有云廠商的技術(shù)點評。通過這些工作在第一線的技術(shù)專家,對各大公有云廠商產(chǎn)品技術(shù)產(chǎn)生更深入的了解。

最后,我們將把本次的公有云評測結(jié)果按廠商生成獨立的測試報告。由于時間和精力有限,本次公有云主機評測我們只選擇了十家當(dāng)前比較主流的國內(nèi)外公有云廠商產(chǎn)品進行測試。它們分別是AWS、Azure、阿里云、百度云、華為云、金山云、京東云、青云、騰訊云以及UCloud(廠商排名不分先后)。接下來我們將對這些公有云主機測試結(jié)果一一進行分析,并逐一呈現(xiàn)給廣大用戶。希望通過這次公有云主機評估辦法的梳理,可以讓云計算更加有理可依,讓用戶可以更有針對性的對云主機加以選擇。

——————————————————

至頂網(wǎng)云能力評估小組是以至頂網(wǎng)技術(shù)部為主導(dǎo),評測實驗室為輔助的第三方媒體評測機構(gòu)。云能力評估小組力求從用戶實際應(yīng)用需求維度出發(fā),以客觀、公正、真實、開放的態(tài)度,對當(dāng)前云計算產(chǎn)品、技術(shù)及應(yīng)用進行測試、評估和分析。以實際產(chǎn)品應(yīng)用能力為基準,站在第三方的立場上,對當(dāng)前最新云計算及相關(guān)技術(shù),進行客觀、公平、公正的評論,并將測試方法、測試結(jié)果和結(jié)論公開對外展示。

極客網(wǎng)企業(yè)會員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2018-08-21
撲朔迷離的云評估——至頂網(wǎng)云能力評估辦法公示
“雄兔腳撲朔,雌兔眼迷離;雙兔傍地走,安能辨我是雄雌?”木蘭辭的最后一句十分形象的對公有云主機的評測困難——對于一個正在運行當(dāng)中的云計算系統(tǒng)而言,我們又應(yīng)該如何去分辨它的“雄雌”?

長按掃碼 閱讀全文