在人工智能的應(yīng)用領(lǐng)域，出現(xiàn)了一些讓人始料未及的趨勢：很多傳統(tǒng)企業(yè)開始選擇在 CPU 平臺上落地和優(yōu)化 AI 應(yīng)用。
例如制造領(lǐng)域在高度精細(xì)且較為耗時的瑕疵檢測環(huán)節(jié)，就導(dǎo)入了 CPU 及其他產(chǎn)品組合，來構(gòu)建橫跨「云-邊-端」的 AI?缺陷檢測方案，代替?zhèn)鹘y(tǒng)的人工瑕疵檢測方式。
再比如亞信科技就在自家 OCR-AIRPA 方案中采用了 CPU 作為硬件平臺，實現(xiàn)了從 FP32 到 INT8/BF16 的量化，從而在可接受的精度損失下，增加吞吐量并加速推理。將人工成本降至原來的 1/5 到 1/9，效率還提升了約 5-10 倍。
在處理 AI 制藥領(lǐng)域最重要的算法——AlphaFold2 這類大型模型上，CPU 同樣也「加入群聊」。從去年開始，CPU 便使 AlphaFold2 端到端的通量提升到了原來的 23.11 倍；而現(xiàn)如今，CPU 讓這個數(shù)值再次提升 3.02 倍。
上述這些 CPU，都有個共同的名字——至強(qiáng)，即英特爾? 至強(qiáng)? 可擴(kuò)展處理器。
為什么這些 AI 任務(wù)的推理能用 CPU，而不是只考慮由 GPU 或 AI 加速器來處理？
這里歷來存在很多爭論。
很多人認(rèn)為，真正落地的 AI 應(yīng)用往往與企業(yè)的核心業(yè)務(wù)緊密關(guān)聯(lián)，在要求推理性能的同時，也需要關(guān)聯(lián)到它的核心數(shù)據(jù)，因此對數(shù)據(jù)安全和隱私的要求也很高，因此也更偏向本地化部署。
而結(jié)合這個需求，再考慮到真正用 AI 的傳統(tǒng)行業(yè)更熟悉、更了解也更容易獲取和使用 CPU，那么使用服務(wù)器 CPU 混合精度實現(xiàn)的推理吞吐量，就是他們能夠更快和以更低成本解決自身需求的方法了。
面對越來越多傳統(tǒng) AI 應(yīng)用和大模型在 CPU 上的落地優(yōu)化，「用CPU加速AI」這條道路被不斷驗證。
這就是在數(shù)據(jù)中心中，有 70% 的推理運(yùn)行在英特爾? 至強(qiáng)? 可擴(kuò)展處理器上的原因 。
最近，英特爾的服務(wù)器 CPU 完成了又一次進(jìn)化。12 月 15 日，第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器正式發(fā)布。英特爾表示，一款為 AI 加速而生，而且表現(xiàn)更強(qiáng)的處理器誕生了。
人工智能正在推動人類與技術(shù)交互方式的根本性轉(zhuǎn)變，這場轉(zhuǎn)變的中心就是算力。
英特爾 CEO 帕特·基辛格（Pat Gelsinger）在 2023 英特爾 ON 技術(shù)創(chuàng)新大會表示：「在這個人工智能技術(shù)與產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型飛速發(fā)展的時代，英特爾保持高度的責(zé)任心，助力開發(fā)者，讓 AI 技術(shù)無處不在，讓 AI 更易觸達(dá)、更可見、透明并且值得信任?！?/p>
第五代至強(qiáng) 為 AI 加速
第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器的核心數(shù)量增加至 64 個，配備了高達(dá) 320MB 的 L3 緩存和 128MB 的 L2 緩存。不論單核性能還是核心數(shù)量，它相比以往的至強(qiáng)都有了明顯提升。
在最終性能指標(biāo)上，與上代產(chǎn)品相比，在相同功耗下平均性能提升 21%，內(nèi)存帶寬提升高達(dá) 16%，三級緩存容量提升到了原來的近 3 倍。
更為重要的是，第五代至強(qiáng)? 可擴(kuò)展處理器的每個內(nèi)核均具備AI加速功能，完全有能力處理要求嚴(yán)苛的 AI 工作負(fù)載。與上代相比，其訓(xùn)練性能提升多達(dá) 29%，推理能力提升高達(dá) 42%。
在重要的 AI 負(fù)載處理能力上，第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器也交出了令人滿意的答卷。
首先要讓 CPU 學(xué)會高效處理 AI 負(fù)載的方法：在第四代至強(qiáng)? 可擴(kuò)展處理器上，英特爾面向深度學(xué)習(xí)任務(wù)帶來了矩陣化的算力支持。
英特爾? AMX 就是至強(qiáng) CPU 上的專用矩陣計算單元，可被視為 CPU 上的 Tensor Core，從第四代至強(qiáng)? 可擴(kuò)展處理器開始成為內(nèi)置于 CPU 的 AI 加速引擎。
第五代至強(qiáng)? 可擴(kuò)展處理器利用英特爾? AMX 與英特爾? AVX-512 指令集，配合更快的內(nèi)核，以及速度更快的內(nèi)存，可以讓生成式 AI 更快地在其上運(yùn)行，無需獨(dú)立的 AI 加速器就能執(zhí)行更多工作負(fù)載。
借助在自然語言處理 (NLP) 推理方面實現(xiàn)的性能飛躍，這款全新的至強(qiáng)? 可支持響應(yīng)更迅速的智能助手、聊天機(jī)器人、預(yù)測性文本、語言翻譯等工作負(fù)載，可以在運(yùn)行參數(shù)量 200 億的大語言模型時，做到時延不超過 100 毫秒。
據(jù)了解，11.11 期間，京東云便通過基于第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器的新一代服務(wù)器，成功應(yīng)對了業(yè)務(wù)量激增。與上一代服務(wù)器相比，新一代京東云服務(wù)器實現(xiàn)了 23% 的整機(jī)性能提升，AI 計算機(jī)視覺推理性能提升了 38%，LLaMA2 推理性能也提高了 51%，輕松 hold 住用戶訪問峰值同比提高 170%、智能客服咨詢量超 14 億次的大促壓力。
除此之外，第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器也在能效、運(yùn)營效率、安全及質(zhì)量等方面實現(xiàn)了全面提升，提供了向前代產(chǎn)品的軟件和引腳兼容性支持，以及硬件級安全功能和可信服務(wù)。
國內(nèi)云服務(wù)大廠阿里云也在發(fā)布會上披露了其實測體驗數(shù)據(jù)，基于第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器及英特爾? AMX、英特爾? TDX 加速引擎，阿里云打造了 「生成式 AI 模型及數(shù)據(jù)保護(hù)」的創(chuàng)新實踐，使第八代 ECS 實例在實現(xiàn)了全場景加速和全能力提升的情況下，更加固了安全性能，且保持實例價格不變，普惠客戶。
數(shù)據(jù)顯示，其在數(shù)據(jù)全流程保護(hù)的基礎(chǔ)上，推理性能提高 25%、QAT 加解密性能提升 20%、數(shù)據(jù)庫性能提升 25%，以及音視頻性能提升 15%。
英特爾表示，第五代至強(qiáng)? 可擴(kuò)展處理器可為 AI、數(shù)據(jù)庫、網(wǎng)絡(luò)和科學(xué)計算工作負(fù)載帶來更強(qiáng)大的性能和更低的 TCO，將目標(biāo)工作負(fù)載的每瓦性能提升高達(dá) 10 倍。
對先進(jìn)AI模型實現(xiàn)原生加速
為讓 CPU 能夠高效處理 AI 任務(wù)，英特爾把 AI 加速的能力提升到了「開箱即用」的程度。
英特爾? AMX 除了可以加速深度學(xué)習(xí)的推理、訓(xùn)練以外，現(xiàn)在已經(jīng)支持了流行的深度學(xué)習(xí)框架。在深度學(xué)習(xí)開發(fā)者常用的 TensorFlow、PyTorch 上，英特爾? oneAPI 深度神經(jīng)網(wǎng)絡(luò)庫 (oneDNN) 提供了指令集層面的支持，使開發(fā)人員能夠在不同硬件架構(gòu)和供應(yīng)商之間自由遷移代碼，可以更輕松地利用芯片內(nèi)置的 AI 加速能力。
在保證了 AI 加速直接可用之后，英特爾利用高性能開源深度學(xué)習(xí)框架 OpenVINO? 工具套件，幫助開發(fā)者實現(xiàn)了一次開發(fā)、多平臺部署。它可以轉(zhuǎn)換和優(yōu)化使用熱門框架訓(xùn)練好的模型，在多種英特爾硬件的環(huán)境中快速實現(xiàn)，幫用戶最大程度地利用已有資源。
OpenVINO? 工具套件最新的版本也加入了對大型語言模型 (LLM) 性能的改進(jìn)，可以支持生成式 AI 工作負(fù)載，包括聊天機(jī)器人、智能助手、代碼生成模型等。
OpenVINO? 工具套件
通過這一系列技術(shù)，英特爾讓開發(fā)者們能夠在幾分鐘內(nèi)調(diào)優(yōu)深度學(xué)習(xí)模型，或完成對中小型深度學(xué)習(xí)模型的訓(xùn)練，在不增加硬件和系統(tǒng)復(fù)雜性的前提下獲得媲美獨(dú)立 AI 加速器的性能。
比如在先進(jìn)的預(yù)訓(xùn)練大語言模型上，英特爾的技術(shù)就可以幫助用戶完成快速部署。
用戶可以從最熱門的機(jī)器學(xué)習(xí)代碼庫 Hugging Face 中下載預(yù)訓(xùn)練模型 LLaMA2，然后使用英特爾?2 PyTorch、英特爾? Neural Compressor 等將模型轉(zhuǎn)換為 BF16 或 INT8 精度版本以降低延遲，再使用 PyTorch 進(jìn)行部署。
英特爾表示，為了能夠緊跟 AI 領(lǐng)域的潮流，有數(shù)百名軟件開發(fā)人員正在不斷改進(jìn)常用的模型加速能力，讓用戶能夠在跟上最新軟件版本的同時，獲得對于先進(jìn)AI模型的支持。
第五代至強(qiáng)? 可擴(kuò)展處理器的實力，目前已在部分大廠進(jìn)行了驗證?；鹕揭媾c英特爾合作升級了第三代彈性計算實例。
目前，火山引擎已通過獨(dú)有的潮汐資源并池能力，構(gòu)建百萬核彈性資源池，能夠以近似包月的成本提供按量使用體驗，降低上云成本?；诘谖宕⑻貭? 至強(qiáng)? 可擴(kuò)展處理器，火山引擎第三代彈性計算實例整機(jī)算力再次提升了 39%，應(yīng)用性能最高提升了 43%。
這只是個開始?？梢灶A(yù)見，很快會有更多科技公司的應(yīng)用能夠從第五代至強(qiáng)? 可擴(kuò)展處理器的性能中獲益。
下一代至強(qiáng)已經(jīng)現(xiàn)身
未來，人們對于生成式 AI 的需求還將不斷擴(kuò)大，更多的智能化應(yīng)用將會改變我們的生活。以計算能力為基礎(chǔ)，萬物感知、萬物互聯(lián)、萬物智能的時代正在加速到來。
面對這樣的趨勢，英特爾正在加緊打造再下一代的至強(qiáng) CPU，它們面向 AI 的「專業(yè)化」程度還會更高。
在最近披露的英特爾數(shù)據(jù)中心路線圖上，下一代至強(qiáng)? 處理器將對不同工作負(fù)載、場景配備不同的核心，其中主打計算密集型與AI任務(wù)的型號會使用側(cè)重性能輸出的核「P-core」，面向高密度與橫向擴(kuò)展負(fù)載的型號則會使用有更高能效的核「E-core」，這兩種不同的核心架構(gòu)并存的設(shè)計，既滿足部分用戶對極致性能的追求，也能兼顧到可持續(xù)發(fā)展綠色節(jié)能的需求。
未來，英特爾還將如何實現(xiàn)晶體管和芯片性能的飛躍，在 AI 算力上還能有什么樣的躍升？
讓我們拭目以待。
免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點(diǎn)，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
