什么是科學計算平臺？
科學研究是人們探索新事物、認知新規(guī)律、創(chuàng)造新技術的重要途徑，隨著人類社會的不斷進步，今天科學研究已經前進到一個更加復雜深奧的世界，研究的對象也向著大范圍、多領域的復雜系統工程進軍。例如，航天工程、全球氣候、生態(tài)環(huán)境問題等，對科研方法和手段也提出了新的挑戰(zhàn)。
科學計算作為現代科研主要手段，廣泛應用于信息檢索、環(huán)境模擬、數值計算、數據分析等場景中，同時，機器學習的迅猛發(fā)展也推動著科學計算平臺進入了百家爭鳴的時代：各類統計軟件、數據分析軟件、仿真軟件、制圖軟件多如牛毛……然而這種傳統的、分散的科研方式，給科研工作帶來了巨大挑戰(zhàn)：
· 知識碎片化、孤島化，難以建立起關聯關系；
· AI模型搭建對編程技能要求高，時間成本巨大且后期訓練優(yōu)化費時費力；
· 人工處理復雜建模操作，效率低，高維方程求解難度大，精度和性能無法兼顧；
· 大量機器學習訓練數據的采集、清洗和治理工作繁瑣而枯燥；深度學習框架缺乏租戶功能，難以實現資源的有效隔離和集群算力的有效管理。
工欲善其事，必先利其器。為了快速、實時的分析海量科學數據背后的意義、最大限度地滿足科研機構和人員之間交流與協作的需要，基于現代信息技術的科研平臺對于提高科研水平、促進學科交叉和融合、加強高層次創(chuàng)新人才的培養(yǎng)起著至關重要的作用。
軒轅研究院：
聯合鯤鵬打造AI科學計算平臺DataLab
軒轅研究院
是軒轅網絡旗下的全資子公司，是圍繞人工智能的科研和實訓教學的新型研發(fā)機構，深耕教育行業(yè)23年，是國內領先的AI+產教融合服務商。該機構依托多年的高校的技術成果，以及豐富的產學研合作方式，將國內外先進的技術成果轉化為科研應用技術和產品，助力科學技術的研究和創(chuàng)新。
軒轅AI科學計算平臺DataLab是軒轅研究院聯合廣州“鯤鵬+昇騰”生態(tài)創(chuàng)新中心共同打造的輔助科研工作的一體化解決方案。該方案集鯤鵬算力、多領域科研樣本數據、算法模型研發(fā)以及管理工具于一身，能有效支撐機器學習、神經網絡、知識抽取、關聯規(guī)律、智能預測、決策推理和高清科研圖表輸出等任務。可用于自然科學與社會科學研究，以及計算機、軟件、電子、自動化相關科研團隊進行計算機技術原理性的驗證場景，基于算法、數據進行科研實驗，并形成圖形化界面呈現實驗結果，攻關技術難題項目，助力科技成果轉化和推廣。
【軒轅AI科學計算平臺DataLab解決方案架構】
伴隨著科研數據持續(xù)爆炸性增長，科學家們需要更高的計算效率、數據處理效率以及工程效率，從而更好地支撐跨領域科研，這也對IT平臺的算力提出了更高挑戰(zhàn)。
· 鯤鵬天然的多核多并發(fā)、高性能、高算力以及低功耗等優(yōu)勢，能夠很好的滿足科研平臺海量數據處理、并行計算、低時延、綠色計算等要求；
· 作為軒轅研究院AI科學計算平臺DataLab的算力底座，鯤鵬還提供完善的鯤鵬DevKit開發(fā)套件以及專業(yè)服務，能夠幫助用戶快速完成應用的遷移、開發(fā)、編譯和調優(yōu)，支撐科研平臺的高效創(chuàng)新。
鯤鵬DevKit 1人天/應用
快速遷移AI科學計算平臺
在項目實施初期，開發(fā)人員需要將DataLab平臺快速遷移到鯤鵬。由于整個系統的模塊眾多給遷移工作帶來不少挑戰(zhàn)：
· 代碼量大：5個子模塊\15個微服務，共計100萬行左右代碼；
· 第三方軟件多：包含redis、rabbitmq、nacos、datax、hadoop，500+JAR包，手工查找兼容版本非常耗時；
經分析，采用手動遷移的話整個系統15個微服務需要30人天才能完成。
而鯤鵬DevKit代碼遷移工具可以實現依賴文件自動識別、兼容JAR包一鍵下載、代碼修改建議一鍵替換，無須耗時耗力檢查跟進。在鯤鵬DevKit的幫助下整個系統只用了10人天，平均每個服務不到1人天即可完成自動遷移。
【使用鯤鵬DevKit代碼遷移工具進行代碼分析】
基于鯤鵬DevKit高效開發(fā)建筑違章檢測算法模型，性能提升89%
遷移完成之后，軒轅研究院需要針對DataLab平臺中GIS領域科研場景，在鯤鵬平臺上新開發(fā)建筑違章檢測算法模型。在開發(fā)過程中，為進一步提升業(yè)務性能和穩(wěn)定性，將平臺之前使用的OpenJDK換成畢昇JDK，畢昇JDK在鯤鵬架構中提供了更好的版本穩(wěn)定性、GC（Gabarage Collector）性能、加解密性能，能夠提升DataLab平臺數據處理應用的運行效率。
此外，針對系統出現的性能瓶頸，軒轅研究院的技術人員使用了鯤鵬性能分析工具進行了調優(yōu)，對操作系統、JVM的運行狀態(tài)進行了分析和優(yōu)化，提升DataLab平臺AI計算模型相關業(yè)務的運行效率：
在系統性能分析中創(chuàng)建系統全景分析任務
通過采集系統軟硬件配置信息，以及系統CPU、內存、存儲IO、網絡IO資源的運行情況，識別出CPU單次利用率高和兩處熱點函數占比較大的瓶頸，并給出了優(yōu)化建議 ，解決了DataLab平臺93093線程的38-CPU單次利用率高的問題，提高了平臺運行性能。
【AI科學計算平臺DataLab系統性能調優(yōu)-全景分析】
通過訪存分析功能高階分析能力
分析到應用存在跨片跨DIE的內存訪問，并在系統建議下進行了進程綁核，從而優(yōu)化各個微服務的硬件資源分配，提升計算資源利用率。
通過微架構分析對DataLab平臺的操作系統進行采樣分析
發(fā)現了badSpeculation的branchMispredic占比較高，以及代碼中for循環(huán)嵌套的if判斷存在大量分支預測響應失敗情況，并針對上述問題給出了優(yōu)化建議，對平臺程序響應時間、內存分配等方面進行了性能優(yōu)化。
通過Java性能分析
對平臺的Java方法采樣、線程轉儲、老年代對象采樣等多種采樣分析方式，經過調整垃圾回收器的配置策略，改善查詢業(yè)務的吞吐量；
通過上述一系列的優(yōu)化分析，軒轅研究院DataLab平臺在鯤鵬上運行性能得到有效提升：比如對比鯤鵬DevKit優(yōu)化前后，模型查詢業(yè)務的平均響應時間典型場景下（1分鐘200并發(fā)）縮短27%，極限壓測場景下（1分鐘10000并發(fā)）縮短89%；
 |  |
【模型查詢業(yè)務平均響應時間對比】
模型查詢業(yè)務的吞吐量在鯤鵬DevKit優(yōu)化后也整體提升了30%。
【模型查詢業(yè)務吞吐量對比】
此外，數據集檢索、數據集上傳、模型訓練等業(yè)務的綜合性能均得到明顯提升。軒轅研究院在進行鯤鵬原生開發(fā)過程中，通過鯤鵬DevKit優(yōu)化了DataLab平臺數據處理能力，有效提升了違章建筑檢測的查詢速度，同時也讓GIS領域的科研工作更加便捷和高效。
軒轅研究院的AI科學計算平臺DataLab能夠在地理遙感、生物醫(yī)藥、地球科學、工業(yè)互聯網以及社會科學等眾多領域發(fā)揮重要作用，該方案已經在2021年鯤鵬應用創(chuàng)新大賽廣東賽區(qū)斬獲了金獎，成為2022年科研領域唯一入選鯤鵬精選解決方案。作為鯤鵬計算產業(yè)生態(tài)重要伙伴，軒轅研究院也與廣州“鯤鵬+昇騰”生態(tài)創(chuàng)新中心建立了長期合作關系，后續(xù)也將持續(xù)基于鯤鵬原生開發(fā)實現科學計算領域的應用創(chuàng)新。
鯤鵬原生開發(fā)是指使用鯤鵬DevKit的原生開發(fā)能力，如鯤鵬開發(fā)框架（含場景化SDK）、編譯調試工具、云測服務、調優(yōu)&診斷工具等，在鯤鵬平臺上開發(fā)新軟件/新功能，充分發(fā)揮鯤鵬架構優(yōu)勢，從而獲得開發(fā)效率/運行性能提升。
未來，鯤鵬DevKit將持續(xù)增強開發(fā)體驗、優(yōu)化工具能力，提升鯤鵬開發(fā)效率，促進千行百業(yè)數字化轉型。
【掃碼登錄鯤鵬社區(qū)DevKit專區(qū)，了解更多】
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
