AI 2.0 時代,企業(yè)愈發(fā)注重 AI 技術(shù)的場景化和商業(yè)化。然而,在實際落地過程中,企業(yè)面臨著資源管理、運維監(jiān)控、資源調(diào)度以及團(tuán)隊協(xié)作等多方面挑戰(zhàn),市場迫切需要一款具備強(qiáng)大管理能力,既能有效管控又能靈活調(diào)度的 AI 研發(fā)平臺級產(chǎn)品。江蘇潤和軟件股份有限公司(以下簡稱“潤和軟件”)秉承創(chuàng)新驅(qū)動理念,重磅推出全新 AI 軟硬一體化平臺—— AIRUNS 2.0,通過增強(qiáng)全棧 AI 能力,助力企業(yè) AI 快速落地。
潤和軟件發(fā)布全新AI軟硬一體化平臺——AIRUNS 2.0
AIRUNS 2.0的發(fā)布,進(jìn)一步提升了數(shù)據(jù)、算力等AI核心要素的管理能力,,相較1.0版本,著重強(qiáng)化了AI軟硬一體化、端到端數(shù)據(jù)管理、AI算力調(diào)度、AI訓(xùn)推加速、云-邊-端模型部署五大能力,使AI應(yīng)用落地更高效、便捷,幫助企業(yè)快速實現(xiàn)商業(yè)價值。
AIRUNS 2.0功能首頁
AI軟硬一體化能力:
AIRUNS 2.0可以實現(xiàn)從芯片到應(yīng)用的全棧優(yōu)化。其核心功能包括深入了解硬件架構(gòu)的深度集成、潤和軟件自研的 HopeOS 操作系統(tǒng)優(yōu)化智能計算場景以及兼容昇騰和英偉達(dá)平臺的異構(gòu)能力,優(yōu)化 CUDA 及 CANN 框架。
AIRUNS 2.0 AI軟硬一體化能力架構(gòu)圖
業(yè)務(wù)價值:
最大化發(fā)揮硬件潛能,提高系統(tǒng)的整體性能和能效,減少計算資源浪費,確保復(fù)雜計算任務(wù)能夠高效完成;帶來了更流暢的用戶體驗,減少性能瓶頸,且能夠處理大規(guī)模計算任務(wù),提升AI研發(fā)和應(yīng)用的整體效率;在高性能的基礎(chǔ)上,硬件選擇更加自由,減少了技術(shù)鎖定的風(fēng)險,提升了系統(tǒng)的適應(yīng)性。
端到端數(shù)據(jù)管理:
統(tǒng)一架構(gòu)設(shè)計的數(shù)據(jù)鏈管理,覆蓋數(shù)據(jù)采集、傳輸、存儲和分析;數(shù)據(jù)安全控制,通過加密和訪問控制確保數(shù)據(jù)安全與隱私;以及支持跨云、邊緣和終端設(shè)備的數(shù)據(jù)共享與協(xié)同。
業(yè)務(wù)價值:
減少數(shù)據(jù)在各個環(huán)節(jié)中的中斷和延遲,提升數(shù)據(jù)流轉(zhuǎn)效率,使得模型訓(xùn)練和推理的時間大幅縮短;確保數(shù)據(jù)的完整性、準(zhǔn)確性及安全性,尤其在處理敏感數(shù)據(jù)時提供了更高的合規(guī)性保障,降低了數(shù)據(jù)泄露和誤用的風(fēng)險;在不同的計算環(huán)境中靈活調(diào)度和處理數(shù)據(jù),提供更廣泛的應(yīng)用支持,提升業(yè)務(wù)流程的協(xié)同效率和靈活性。
AI算力調(diào)度:
統(tǒng)一管理所有AI算力(CPU、GPU、NPU)并進(jìn)行策略調(diào)度;支持動態(tài)調(diào)用、優(yōu)先調(diào)用、任務(wù)搶占和疊加等特性;實現(xiàn)算力資源的精細(xì)化切分,支持進(jìn)程級封裝和虛擬顯存擴(kuò)展;采用熱加載、動態(tài)選舉機(jī)制和職責(zé)鏈模式優(yōu)化調(diào)度策略。
AIRUNS 2.0算力調(diào)度架構(gòu)圖
業(yè)務(wù)價值:
各種算力資源得到充足利用,避免算力孤島,優(yōu)化資源分配,避免資源浪費,同時降低管理復(fù)雜度;AI業(yè)務(wù)共享算力集群,用完即釋放,充分復(fù)用底層算力資源,最大化提升AI算力能效;以最少的硬件資源,滿足更多的AI業(yè)務(wù);提升業(yè)務(wù)并發(fā)量、吞吐量,提升集群算力能效,保證業(yè)務(wù)的連續(xù)性;靈活應(yīng)對多環(huán)境下的不同業(yè)務(wù)調(diào)度需求,提升系統(tǒng)的擴(kuò)展性、容錯能力和實時性。
AI訓(xùn)推加速套件:
針對主流開源大模型的顯存和算子深度優(yōu)化、支持?jǐn)?shù)據(jù)和模型并行計算的高效并行架構(gòu)、動態(tài)資源調(diào)度與負(fù)載均衡、根據(jù)負(fù)載變化自動調(diào)整計算任務(wù)、全面的監(jiān)控、故障診斷、容錯機(jī)制。
業(yè)務(wù)價值:
提高單卡運行大模型的效率,降低硬件需求和運營成本;支持?jǐn)?shù)據(jù)和模型并行計算,顯著縮短訓(xùn)練時間并提升模型推理吞吐量,快速響應(yīng)市場需求;根據(jù)負(fù)載變化自動調(diào)整計算任務(wù),確保資源利用最大化,提高系統(tǒng)性能和穩(wěn)定性;通過全面的故障診斷和監(jiān)控機(jī)制,實現(xiàn)快速故障偵測與容錯,確保業(yè)務(wù)持續(xù)穩(wěn)定運行。
云-邊-端的模型部署:
一鍵式自動化部署,迅速將模型從開發(fā)環(huán)境推送至生產(chǎn)環(huán)境;支持云-邊-端的部署模式,并提供模型轉(zhuǎn)換、壓縮和量化工具;多版本管理,支持藍(lán)綠部署;兼容多種硬件環(huán)境和 AI 框架(TensorFlow、PyTorch、MindSpore等),支持多種服務(wù)協(xié)議(TGI、VLLM、OpenAI、Triton等)。
AIRUNS 2.0云-邊-端模型部署結(jié)構(gòu)圖
業(yè)務(wù)價值:
縮短模型上線時間,提高生產(chǎn)環(huán)境的部署效率,加快產(chǎn)品迭代速度;實現(xiàn)靈活的資源利用,優(yōu)化整體系統(tǒng)性能;確保模型更新的安全性與穩(wěn)定性,降低上線風(fēng)險并提高業(yè)務(wù)連續(xù)性;滿足不同業(yè)務(wù)需求,提升系統(tǒng)的靈活性和可擴(kuò)展性,促進(jìn)技術(shù)的快速集成與應(yīng)用。
基于 AIRUNS 2.0 完善成熟的AI應(yīng)用集成功能,可成功搭載成熟的、可商業(yè)化的解決方案,如大模型視覺、RAG+、AI測試解決方案,在平臺上達(dá)到數(shù)據(jù)高效處理、決策實時支持以及資源靈活調(diào)度的效果。
大模型(視覺)解決方案
潤和軟件大模型(視覺)解決方案架構(gòu)圖
方案優(yōu)勢:
相較傳統(tǒng)的計算機(jī)視覺模型,潤和軟件大模型(視覺)解決方案具備以下突出優(yōu)勢:
高準(zhǔn)確率,滿足復(fù)雜極端場景智能需求;高泛化性,滿足多樣性場景、目標(biāo)識別需求;全場景自主解析,場景規(guī)則自適應(yīng);多模態(tài)融合,圖文提示定義功能,快速生成新任務(wù)。
大模型(RAG+)解決方案
潤和軟件大模型(RAG+)解決方案內(nèi)容生成系統(tǒng)流程
核心功能:
精準(zhǔn)檢索:實現(xiàn)語義到關(guān)系型數(shù)據(jù)庫的精準(zhǔn)化搜索和歸納,并進(jìn)行BI展示;智能問答:提供基于企業(yè)內(nèi)部數(shù)據(jù)(文檔、表格、音視頻等)的問答分析能力;智能撰寫:基于提綱型模板,結(jié)合大模型技術(shù)提供智能化內(nèi)容撰寫服務(wù),包括段落、表格、折線圖、柱狀圖等;智能審核:根據(jù)法律法規(guī)、用戶制定的規(guī)則規(guī)約等總結(jié)出檢測規(guī)則,根據(jù)規(guī)則檢測用戶上傳資料的合法合規(guī)性。
大模型(AI測試)解決方案
通過引入AI測試,能顯著減少原有測試工程師團(tuán)隊的工作負(fù)擔(dān),使工程師團(tuán)隊可以專注于高價值的分析和決策。AI測試可以高效領(lǐng)導(dǎo)測試流程,自動生成和優(yōu)化測試產(chǎn)物,同時工程師可借助AI工具驗證產(chǎn)物的準(zhǔn)確性和完整性,確保測試質(zhì)量。
潤和軟件大模型(AI測試)解決方案
方案價值:
效率提升:工作量可減少50%以上,同時確保測試覆蓋率保持在95%以上;快速反饋:30分鐘內(nèi)完成變更影響分析,原本需要2-3小時的人工評估時間大幅縮短;自動化測試案例生成:設(shè)計和編寫測試腳本的時間可縮短60%以上;測試執(zhí)行自動化:同時運行多個測試任務(wù),測試執(zhí)行效率提升4倍;質(zhì)量保障:準(zhǔn)確性,回歸缺陷率降低20%,大幅提升了測試結(jié)果的可靠性;資源優(yōu)化:項目整體測試時間減少30%-40%,從而能夠更好地分配團(tuán)隊資源,降低項目成本,確保高效交付。
為更好滿足各行業(yè)AI需求,潤和軟件將持續(xù)更新AIRUNS,后續(xù)版本聚焦四個關(guān)鍵領(lǐng)域迭代創(chuàng)新:數(shù)據(jù)管理創(chuàng)新、訓(xùn)練過程高效、模型管理智能、部署形態(tài)靈活,為行業(yè)提供好用、易用、高性能的AI產(chǎn)品。
潤和軟件AIRUNS后續(xù)版本計劃
未來,潤和軟件將持續(xù)發(fā)揮AI創(chuàng)新技術(shù)研發(fā)實力,推出更具市場競爭力的AI創(chuàng)新產(chǎn)品和解決方案,持續(xù)賦能千行百業(yè)智能化轉(zhuǎn)型升級。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )