對(duì)于當(dāng)前航空業(yè)面臨的海量實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)監(jiān)測(cè)與分析挑戰(zhàn)，云智慧推出了一種基于業(yè)務(wù)系統(tǒng)日志數(shù)據(jù)，使用實(shí)時(shí)流式數(shù)據(jù)采集、大數(shù)據(jù)處理和人工智能技術(shù)實(shí)現(xiàn)海量日志數(shù)據(jù)智能化分析的解決方案，幫助IT運(yùn)維人員實(shí)時(shí)、動(dòng)態(tài)發(fā)現(xiàn)業(yè)務(wù)及IT系統(tǒng)存在的故障和異常，快速定位問題根源，保障航司業(yè)務(wù)持續(xù)、穩(wěn)定和高效運(yùn)行。
挑戰(zhàn)與需求
隨著航空及上下游服務(wù)產(chǎn)業(yè)鏈的快速發(fā)展，系統(tǒng)多、架構(gòu)復(fù)雜、新舊業(yè)務(wù)系統(tǒng)長(zhǎng)期共存，持續(xù)產(chǎn)生的海量日志數(shù)據(jù)缺乏有效的處理手段，對(duì)IT運(yùn)維和運(yùn)營(yíng)帶來極大的風(fēng)險(xiǎn)與挑戰(zhàn)。
以民航為例，旅客選擇飛機(jī)出行需要經(jīng)歷訂票、值機(jī)、登機(jī)等一系列流程，每種業(yè)務(wù)處理都要跨越多個(gè)平臺(tái)的應(yīng)用系統(tǒng)，每個(gè)系統(tǒng)都會(huì)實(shí)時(shí)輸出日志數(shù)據(jù)記錄當(dāng)前應(yīng)用運(yùn)行情況，上述流程中任何一個(gè)應(yīng)用的故障或者性能問題都會(huì)影響乘客出行。
如何實(shí)時(shí)了解業(yè)務(wù)的整體運(yùn)行狀態(tài)，如何基于海量、實(shí)時(shí)的應(yīng)用日志分析快速確定業(yè)務(wù)運(yùn)行異常及潛在風(fēng)險(xiǎn)，如何根據(jù)業(yè)務(wù)量變化動(dòng)態(tài)確定業(yè)務(wù)異常標(biāo)準(zhǔn)，如何針對(duì)當(dāng)前業(yè)務(wù)中的異常情況及時(shí)預(yù)警，如何實(shí)現(xiàn)日志數(shù)據(jù)與其他運(yùn)維監(jiān)控?cái)?shù)據(jù)的融合分析和查詢，快速、準(zhǔn)確定位業(yè)務(wù)及系統(tǒng)的故障，這都是日志智能分析平臺(tái)需要解決的難題。
云智慧日志智能分析解決方案及平臺(tái)架構(gòu)
云智慧海量日志智能分析解決方案包括系統(tǒng)日志數(shù)據(jù)的實(shí)時(shí)采集、傳輸、集群化的消息隊(duì)列、預(yù)處理組件及實(shí)時(shí)流式大數(shù)據(jù)處理，完成日志數(shù)據(jù)的解析、轉(zhuǎn)換、脫敏、業(yè)務(wù)邏輯處理后，以結(jié)構(gòu)化數(shù)據(jù)保存在分布式存儲(chǔ)系統(tǒng)中，然后調(diào)用算法集之中的一種或多種算法組合進(jìn)行多場(chǎng)景的智能分析、告警及可視化展示，同時(shí)提供數(shù)據(jù)API滿足其它數(shù)據(jù)深入挖掘和探索需求。
海量日志智能化分析平臺(tái)架構(gòu)如下圖所示：
方案特色和優(yōu)勢(shì)
云智慧日志智能化分析平臺(tái)解決方案為航空業(yè)務(wù)運(yùn)行的連續(xù)性、用戶體驗(yàn)的提升和業(yè)務(wù)的高效運(yùn)維提供了可靠的技術(shù)支撐，此方案具有如下優(yōu)勢(shì)：
1、豐富的日志數(shù)據(jù)實(shí)時(shí)采集
• 支持自有高性能采集器，兼容主流開源數(shù)據(jù)采集器、靈活水平擴(kuò)展的數(shù)據(jù)接入接口，快速接入流式數(shù)據(jù);
• 超高的吞吐量和極小的響應(yīng)時(shí)間，數(shù)據(jù)接入即可秒級(jí)查詢;
2、高性能、動(dòng)態(tài)擴(kuò)展數(shù)據(jù)處理平臺(tái)：內(nèi)置數(shù)十種處理組件，支持可視化處理pipeline及單步處理結(jié)果驗(yàn)證、處理結(jié)果采用列式存儲(chǔ)、線性存儲(chǔ)擴(kuò)展。平臺(tái)具備實(shí)時(shí)流式數(shù)據(jù)處理能力，滿足航空業(yè)海量日志數(shù)據(jù)實(shí)時(shí)處理和智能分析的嚴(yán)格要求：
• 支持根據(jù)數(shù)據(jù)量進(jìn)行水平伸縮，數(shù)據(jù)處理能力：40T/天，EPS：130萬(wàn)/秒。
• 支持多個(gè)節(jié)點(diǎn)同時(shí)寫入，寫入速度：60萬(wàn)條/秒/節(jié)點(diǎn)，同等條件下，寫入速度比Elasticsearch快10倍以上;
3、多場(chǎng)景智能分析平臺(tái)能力
• 算法平臺(tái)基于最新架構(gòu)和人工智能算法，具備強(qiáng)大的智能化分析能力，為上層業(yè)務(wù)提供算法支撐和擴(kuò)展。
• 內(nèi)置多個(gè)智能分析場(chǎng)景，包括日志智能搜索及上下文分析、日志模式自動(dòng)識(shí)別、基于算法的智能異常檢測(cè)、智能告警及指標(biāo)告警對(duì)接、日志與應(yīng)用性能監(jiān)控、基礎(chǔ)監(jiān)控?cái)?shù)據(jù)的融合關(guān)聯(lián)分析等。
方案價(jià)值
基于海量日志數(shù)據(jù)的云智慧智能日志分析方案已經(jīng)在航空、金融、能源等行業(yè)的智能運(yùn)維項(xiàng)目中成功實(shí)施，實(shí)踐證明此平臺(tái)能給行業(yè)客戶帶來明顯的改善和提升：
1、實(shí)現(xiàn)離散日志的統(tǒng)一采集、處理、存儲(chǔ)、歸檔以及查詢，極大提升日志管理和分析的便捷性;
2、基于實(shí)時(shí)日志數(shù)據(jù)智能分析幫助業(yè)務(wù)人員及時(shí)掌控業(yè)務(wù)運(yùn)行狀態(tài)，快速發(fā)現(xiàn)業(yè)務(wù)運(yùn)行的異常并及時(shí)報(bào)警，減少業(yè)務(wù)中斷時(shí)間;
3、基于業(yè)務(wù)日志數(shù)據(jù)、應(yīng)用性能監(jiān)控?cái)?shù)據(jù)、基礎(chǔ)資源監(jiān)控?cái)?shù)據(jù)的融合分析，實(shí)現(xiàn)復(fù)雜線上業(yè)務(wù)及系統(tǒng)問題原因的快速定位，提升復(fù)雜問題處理的效率。
客戶案例實(shí)戰(zhàn)
某航空企業(yè)的主營(yíng)業(yè)務(wù)是面向航司及上下游服務(wù)商，提供業(yè)務(wù)處理、電子分銷、結(jié)算清算等服務(wù)，當(dāng)出現(xiàn)性能緩慢或中斷時(shí)，現(xiàn)有監(jiān)控系統(tǒng)無法有效定位故障和異常。
針對(duì)此用戶需求，云智慧為該企業(yè)構(gòu)建了基于海量實(shí)時(shí)業(yè)務(wù)日志數(shù)據(jù)的業(yè)務(wù)運(yùn)維智能分析平臺(tái)，通過對(duì)業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)采集、處理、多維度智能分析，及時(shí)發(fā)現(xiàn)系統(tǒng)業(yè)務(wù)層面異常情況，增強(qiáng)該航空客戶業(yè)務(wù)預(yù)警、故障診斷與智能分析能力。
此平臺(tái)多次提前發(fā)現(xiàn)業(yè)務(wù)處理響應(yīng)時(shí)間變長(zhǎng)、業(yè)務(wù)指令交互錯(cuò)誤率增加等故障先兆，基于智能分析算法對(duì)即將發(fā)生的異常作出預(yù)測(cè)和及時(shí)告警，從而有效避免故障的業(yè)務(wù)風(fēng)險(xiǎn)。
總結(jié)和展望
云智慧日志智能分析平臺(tái)基于AIOps策略，融合基礎(chǔ)資源監(jiān)控、應(yīng)用性能監(jiān)控、用戶體驗(yàn)監(jiān)控等多維度運(yùn)維數(shù)據(jù)和人工智能分析算法，能夠及時(shí)發(fā)現(xiàn)業(yè)務(wù)運(yùn)營(yíng)中潛在風(fēng)險(xiǎn)，輔助管理人員作出準(zhǔn)確判斷和決策，實(shí)現(xiàn)對(duì)業(yè)務(wù)運(yùn)營(yíng)健康及未來發(fā)展趨勢(shì)的持續(xù)洞察，增強(qiáng)企業(yè)核心競(jìng)爭(zhēng)力。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
