AI應用的大腦是神經網絡，而構成神經網絡的基石是一個個算子。為了讓開發(fā)者的網絡在昇騰硬件上高效運行，昇騰異構計算架構CANN（Compute Architecture for Neural Networks）提供了豐富的高性能算子庫，包括神經網絡庫、線性代數計算庫等，高性能算子數量達到1400+。有了高性能算子庫的支撐，主流神經網絡可輕松在昇騰硬件上高效運行。
但隨著人工智能的爆發(fā)式增長，算法更新層出不窮，固定的高性能算子庫可能無法完全滿足開發(fā)者的多樣化創(chuàng)新需求，為了讓開發(fā)者提出的創(chuàng)新算法能夠在硬件上運行起來，自定義算子開發(fā)的能力必不可少。
但算子開發(fā)是個復雜的工程，需要考慮眾多因素，包括語言學習成本、功能邏輯的實現、硬件指令的適配、以及算子運行精度與性能的達標等等。往往一個經驗豐富的算法專家開發(fā)一個高性能的算子都要耗時數周甚至更長的時間。
算子開發(fā)總體流程
為提升算子開發(fā)效率，降低算子開發(fā)成本，昇騰推出了面向算子開發(fā)場景的昇騰Ascend C編程語言。昇騰Ascend C編程語言原生支持C和C++標準規(guī)范，最大化匹配用戶開發(fā)習慣；通過多層接口抽象，屏蔽了底層硬件差異；通過自動并行計算等關鍵技術，在保證性能的同時大大降低算子開發(fā)門檻。另外，昇騰Ascend C提供了孿生調試功能，大大縮短了算子調測時間。
昇騰Ascend C編程語言在異構計算架構CANN中的位置
多層級高性能類庫接口
工欲善其事，必先利其器。為簡化開發(fā)邏輯，昇騰Ascend C支持結構化核函數編程，提供了面向不同場景的高性能類庫接口。開發(fā)者僅需通過類庫接口的組裝調用，即可輕松實現高性能算子。
昇騰Ascend C提供的類庫接口
AI應用領域廣泛，開發(fā)者的背景與需求也各不相同。為滿足不同層級開發(fā)者的訴求，昇騰Ascend C針對計算接口和數據搬移接口，進行了分層分級，讓開發(fā)者可以根據自身需求選擇合適的接口。
針對計算類接口，當前昇騰Ascend C支持三個層級，其中級數越低，自由度越高，更易于表達復雜場景所需功能；級數越高，接口的封裝度越高，更易于表達常用語義，使用起來也更簡單。
計算接口分層分級與示例
針對搬移類接口，昇騰Ascend C將不同類型物理內存間的數據搬移抽象為一個統(tǒng)一的數據搬運接口，通過參數控制不同的搬運級別，從而滿足不同數據搬運場景的需求。
數據搬運接口分層分級與示例
另外，多層級的類庫接口封裝，可以更好地屏蔽不同型號硬件間的差異，輕松實現算子代碼對不同硬件的兼容。
自動并行計算
多層級的類庫接口可以讓開發(fā)者輕松實現算子的算法邏輯，達成預期功能。但一個好的算子，計算效率也是必須考慮的重要指標。眾所周知，將任務并行處理是提高計算效率的關鍵手段，但AI處理器的內存層次結構比較復雜、數據通路多，數據之間的依賴關系復雜，這種場景下，并行計算之間的流水如何排布，各任務間的數據同步如何實現，往往是比較困難的。
為了方便開發(fā)者實現高效的并行計算，昇騰Ascend C采用SPMD（Single-Program Multiple-Data）并行模式，開發(fā)者僅需關注一個計算核心上的算子程序實現，程序調用時，可自動啟動N個運行實例（我們稱之為Block），每個實例都可部署到不同的計算核心上執(zhí)行。由此，大大簡化了開發(fā)者在多個計算核心上的并行編程邏輯。
單程序多數據SPMD并行計算
在算子邏輯實現上，昇騰Ascend C基于流水線并行的編程范式，將算子核心邏輯劃分為“搬入、計算、搬出”，開發(fā)者只需聚焦實現“搬入、計算、搬出”內容，程序運行時，系統(tǒng)會自動將核內數據進行分片，每一片數據都專注完成單一功能，實現計算性能最大化。
核內多片數據流水線并行調度
孿生調試
昇騰Ascend C提供的多層級類庫接口以及自動并行計算功能，給開發(fā)者提供了輕松高效的編碼體驗。但在上一代算子開發(fā)的整個流程中，代碼編寫的時間往往僅占不到30%，剩下70%多的時間都在進行功能與性能調試，好的調試能力對提升端到端開發(fā)效率的重要性不言而喻。
開發(fā)時間占比示例
那為什么算子調試如此耗時呢？究其主要原因，一方面是由于NPU環(huán)境下本身調試困難，另一方面是因為編程過程隱藏了并行細節(jié)，導致同步死鎖、地址越界、數據溢出等問題難定位。
為提升算子調試效率，昇騰Ascend C提供了孿生調試能力，開發(fā)者既可以在CPU域進行調試調優(yōu)，又可以在NPU域進行調優(yōu)驗證，通過CPU域與NPU域相結合的方式，降低調試難度，提升調試效率。
在CPU域，開發(fā)者可通過業(yè)界標準C++工具GCC編譯器進行編譯，并通過GDB通用調試工具進行單步調試，精準驗證程序執(zhí)行流程是否符合預期。另外，昇騰Ascend C還提供了主動Bug分析工具，方便開發(fā)者快速進行問題定位；在NPU域，昇騰Ascend C提供了仿真調試能力與上板調試能力，開發(fā)者可以通過仿真調試的Profiling流水圖、指令日志以及數據日志，精準進行性能調優(yōu)，也可以通過上板調試進行真實行為的驗證。孿生調試的能力，在提升算子調試效率的同時又可保證精度與性能的達標。
昇騰Ascend C孿生調試
人工智能蓬勃發(fā)展，算法創(chuàng)新層出不窮。昇騰Ascend C編程語言通過易上手、高性能、易調測的優(yōu)勢，為開發(fā)者的創(chuàng)新算法更輕松高效地運行奠定了基石，讓基于昇騰的AI創(chuàng)新更加簡單。
昇騰Ascend C算子開發(fā)快速體驗
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
