天翼云打造云智一體智算服務體系，加速大模型應用落地

11月10日消息（水易）今日，以“數(shù)字科技,煥新啟航”為主題的“中國電信2023數(shù)字科技生態(tài)大會暨2023數(shù)字科技生態(tài)展”在廣州盛大啟幕。

在上午的主論壇環(huán)節(jié)，天翼云公司總經(jīng)理胡志強正式對外發(fā)布了天翼云構(gòu)建的全棧大模型智算服務。

胡志強表示，2023年是大模型高速發(fā)展的一年，大模型不斷擴大的參數(shù)規(guī)模和快速迭代的技術(shù)路線跨越式地提升了模型的能力，但是同時也為大模型的訓練和應用帶來了很多挑戰(zhàn)。比如算力利用率的瓶頸日益凸顯、算力成本壓力進一步增大、模型的構(gòu)建難度不斷提升，模型的行業(yè)落地更加復雜。

為順應大模型時代對于云服務商的新要求，天翼云全面升級，構(gòu)建了全棧大模型智算服務，包括打造智算數(shù)據(jù)中心AIDC、升級云智超一體化基礎(chǔ)設(shè)施平臺“云驍”、推出一站式智算服務平臺“慧聚”，構(gòu)建國云大模型生態(tài)，形成云智一體的智算服務體系。

升級云智超基礎(chǔ)設(shè)施平臺“云驍”

整個體系的基石是智算基礎(chǔ)設(shè)施。胡志強表示，針對AI高強度運算帶來的散熱問題，天翼云推出液冷DC艙，融合定制化液冷智算服務器，實現(xiàn)低至1.12的PUE。

與此同時，天翼云將云驍升級成為云智超一體化基礎(chǔ)設(shè)施服務平臺，構(gòu)建高性能RoCE網(wǎng)絡、并行文件存儲等服務；重點提升訓練加速、網(wǎng)絡加速等核心能力，同時升級了運維體系，實現(xiàn)對基礎(chǔ)設(shè)施的全面故障預測和感知。國產(chǎn)化方面，云驍平臺率先在公有云加載天翼云RoCE網(wǎng)絡+國產(chǎn)GPU方案并實現(xiàn)商用。

打造一站式智算服務平臺“慧聚”

為加速大模型在行業(yè)的應用落地，天翼云正式發(fā)布一站式智算服務平臺“慧聚”。據(jù)了解，慧聚平臺將大模型開發(fā)訓練過程中的關(guān)鍵流程、復雜技術(shù)和寶貴實踐經(jīng)驗進行總結(jié)和抽取，構(gòu)建出一站式全鏈路的大模型生產(chǎn)應用的流水線。大幅降低大模型訓練、微調(diào)、部署、推理的門檻，讓客戶能夠更專注于模型升級和應用落地。

技術(shù)層面，慧聚平臺成功突破了算子加速、模型并行、斷點續(xù)訓等技術(shù)難點，將高性能計算能力、分布式算力調(diào)度能力、訓練和推理多環(huán)節(jié)加速技術(shù)、高性能數(shù)據(jù)存儲技術(shù)進行封裝；實現(xiàn)了萬卡集群調(diào)度，穩(wěn)定性、訓練推理速度等核心指標大幅提升。

功能層面，慧聚平臺基于數(shù)據(jù)平臺、模型訓練平臺、模型服務平臺和應用服務平臺四大平臺，提供數(shù)據(jù)準備、模型開發(fā)、任務管理、模型優(yōu)化等七大主要產(chǎn)品功能模塊，每個功能模塊又包含多級組件。功能與組件之間可以靈活組裝，幫助用戶打造針對不同場景的專屬工具集。

共建繁榮的國云大模型創(chuàng)新生態(tài)

基于全新的基礎(chǔ)設(shè)施服務平臺云驍和智算服務平臺慧聚，天翼云已經(jīng)為大模型開發(fā)者、大模型提供者、應用廠商、政府與科研機構(gòu)、行業(yè)協(xié)會等合作伙伴提供多種生態(tài)模式支持。

胡志強表示，依托國云智算底座，發(fā)揮國云安全優(yōu)勢，天翼云愿與產(chǎn)業(yè)各方合作伙伴緊密協(xié)作，廣泛匯聚國內(nèi)外AI芯片伙伴、各類通用大模型及行業(yè)大模型伙伴及廣大開發(fā)者，共建繁榮的大模型創(chuàng)新生態(tài)，攜手打造先進的智算生產(chǎn)力，全面賦能經(jīng)濟社會的數(shù)字化和智能化。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。