7月11日，網(wǎng)宿科技宣布推出一項全新的AI服務(wù)——邊緣AI網(wǎng)關(guān)，為企業(yè)用戶提供安全、可靠、高性能、易觀察的一體化模型服務(wù)管理方案，助力開發(fā)者的AI構(gòu)建之旅。
網(wǎng)宿科技CDN產(chǎn)品研發(fā)總監(jiān)曾智全表示，AI已經(jīng)成為新一輪創(chuàng)新的焦點，很多企業(yè)都想要使用AI，但缺乏相關(guān)的技術(shù)或經(jīng)驗，網(wǎng)宿在業(yè)內(nèi)率先推出邊緣AI網(wǎng)關(guān)，希望幫助企業(yè)更好、更簡單、更安全地應(yīng)用AI。
據(jù)悉，網(wǎng)宿邊緣AI網(wǎng)關(guān)旨在為企業(yè)在模型服務(wù)與AI應(yīng)用之間搭建橋梁，無論是個人開發(fā)者還是企業(yè)，都可以借助網(wǎng)宿邊緣AI網(wǎng)關(guān)，更加簡易地管理和集成模型服務(wù)，從而更好地開展AI應(yīng)用創(chuàng)新。
近年來，GPT大模型的橫空出世，在全球掀起了大模型競賽，隨之而來的，AI在各行各業(yè)的應(yīng)用加速涌現(xiàn)。如今，在應(yīng)用程序開發(fā)中，集成大模型已經(jīng)成為提升應(yīng)用體驗和功能深度的普遍趨勢。
在這種背景下，業(yè)界誕生了一種新的服務(wù)模式，即MaaS（Model as a Service，模型即服務(wù)）。模型提供商通過API接口，將大模型能力出租給第三方企業(yè)使用，允許企業(yè)通過HTTP請求或其他方式與之交互。服務(wù)提供商負(fù)責(zé)模型的更新和維護，企業(yè)可以直接享受到最新的模型改進。
不過，當(dāng)企業(yè)使用多個模型或提供商時，面臨著高昂的AI應(yīng)用成本。而為了最優(yōu)成本地利用各個AI服務(wù)商的模型服務(wù)，企業(yè)又面臨著管理、運維難題。如何更好的管控模型使用，降低成本支出，同時清晰地洞察AI使用現(xiàn)狀和服務(wù)問題，成為各個企業(yè)構(gòu)建AI應(yīng)用的內(nèi)在訴求。
另外，需要注意的是，在使用模型服務(wù)的過程中，企業(yè)還面臨著敏感數(shù)據(jù)泄露、內(nèi)容不合規(guī)等風(fēng)險。目前，大多企業(yè)組織還未著手解決AI相關(guān)風(fēng)險，或是正在解決中。
“針對以上種種挑戰(zhàn)，業(yè)界亟需一種可以降低管理和擴展模型服務(wù)難度，提升AI可用性和安全性的方案。網(wǎng)宿邊緣AI網(wǎng)關(guān)可以解決這一需求，讓企業(yè)和開發(fā)人員專注于構(gòu)建AI應(yīng)用程序，而不是管理復(fù)雜的集成。” 曾智全表示。
曾智全表示，網(wǎng)宿科技在歷次的互聯(lián)網(wǎng)應(yīng)用迭代中，為各類新興應(yīng)用的規(guī)模落地提供了重要的支撐，為全球企業(yè)提供了一站式、高效、安全的服務(wù)保障，我們所沉淀的完備技術(shù)能力以及深厚的場景經(jīng)驗，可以復(fù)用于眼下的AI創(chuàng)新浪潮中，與企業(yè)一起在AI時代起跑。
基于對企業(yè)需求的洞察，網(wǎng)宿科技在業(yè)內(nèi)率先打造了網(wǎng)宿邊緣AI網(wǎng)關(guān)，在行業(yè)中開創(chuàng)了新的服務(wù)范式。
具體來看，在一般情況下，企業(yè)管理其所接入的多個大模型，需要提前做一些集成開發(fā)。網(wǎng)宿邊緣AI網(wǎng)關(guān)則提供了一個通用、一體化的解決方案。企業(yè)可通過統(tǒng)一的控制平臺，創(chuàng)建邊緣AI網(wǎng)關(guān)，添加通道，實現(xiàn)與多AI服務(wù)商模型對接，并且平臺支持多模型服務(wù)的可管、可控、可觀察。
其中，在接入層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)提前完成了與多個主流AI服務(wù)商的集成，企業(yè)開發(fā)人員無需頻繁修改代碼，只需在控制臺進行網(wǎng)關(guān)配置，一次接入，即可使用多個模型服務(wù)，大大提升接入效率。
在管理層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)支持特殊配置，企業(yè)可以在AI網(wǎng)關(guān)上靈活定義優(yōu)先級、負(fù)載均衡、限速等策略，按需配置不同模型服務(wù)，實現(xiàn)成本可控或減少濫用，并且企業(yè)可在請求失敗情況下實現(xiàn)無縫切換，提升AI服務(wù)的可靠性。另外，企業(yè)還可以啟用緩存功能，一旦請求在AI緩存中命中，則不必回到模型提供商，減少模型提供商tokens數(shù)的消耗，降低成本，提高響應(yīng)速度。
在運營層面，網(wǎng)宿邊緣AI網(wǎng)關(guān)提供數(shù)據(jù)可視化功能，聚合來自多個模型提供商的指標(biāo)，支持請求數(shù)、tokens數(shù)、緩存數(shù)、錯誤數(shù)等的分析展示，并提供實時日志記錄，讓企業(yè)可以觀測和控制模型服務(wù)的使用情況，以優(yōu)化模型服務(wù)策略。
曾智全進一步介紹，在實現(xiàn)多模型服務(wù)的高效接入與管理的同時，網(wǎng)宿邊緣AI網(wǎng)關(guān)的核心價值，還在于確保模型服務(wù)的安全性、高性能，以及可定制化。
安全性對AI應(yīng)用至關(guān)重要。在安全性方面，企業(yè)可在網(wǎng)宿邊緣AI網(wǎng)關(guān)上配置提示詞過濾規(guī)則或執(zhí)行內(nèi)容安全審計，以確保交互內(nèi)容安全、合規(guī)且尊重用戶。
在服務(wù)性能上，依托網(wǎng)宿強大的全球資源網(wǎng)絡(luò)，用戶就近接入邊緣分布式AI網(wǎng)關(guān)，可以確保訪問的穩(wěn)定性和速度，減少因跨國網(wǎng)絡(luò)波動等異常因素對用戶體驗的影響。
尤為值得一提的是，網(wǎng)宿可以支持開發(fā)人員在離用戶最近的邊緣位置實現(xiàn)一定程度的無服務(wù)化開發(fā)。通過將網(wǎng)宿邊緣AI網(wǎng)關(guān)和網(wǎng)宿邊緣函數(shù)結(jié)合使用，靈活定制一些模型調(diào)用或中間處理邏輯，1小時內(nèi)即可上線服務(wù)，大幅節(jié)省研發(fā)人員時間。
據(jù)悉，目前，網(wǎng)宿邊緣AI網(wǎng)關(guān)已開放限時免費測試，以支撐用戶的AI體驗。而除此之外，網(wǎng)宿深入企業(yè)應(yīng)用，聚焦特定的AI場景，還打造了邊緣向量數(shù)據(jù)庫、邊緣模型推理服務(wù)等，計劃下一步面向公眾開放。
屆時，企業(yè)可輕松集成公共或自有模型，通過邊緣AI網(wǎng)關(guān)，合理管控模型應(yīng)用，獲知多模型運行數(shù)據(jù)，或是與邊緣函數(shù)、邊緣KV存儲、應(yīng)用引擎等組合使用，靈活構(gòu)建和擴展邊緣AI應(yīng)用，執(zhí)行智能問答、內(nèi)容創(chuàng)作、檢索增強、圖片識別等AI任務(wù)。（御風(fēng)）
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
