2021年5月15日，融云X-Meetup技術(shù)沙龍第三站續(xù)航上海。本場沙龍聚焦“音視頻技術(shù)新方向”，由融云音視頻研發(fā)高級工程師姜春雨、時光機器人創(chuàng)始人兼CEO徐晶、融云IM研發(fā)中心高級工程師劉佳、學而思網(wǎng)校架構(gòu)師李亞龍，和資深音視頻技術(shù)專家栗偉，五位技術(shù)大咖出任演講嘉賓，他們以時下熱門應(yīng)用場景為視角，從技術(shù)實踐出發(fā)，與開發(fā)者們交流分享了關(guān)于音視頻技術(shù)的新觀察。
iOS上的音頻開發(fā)
今年，由于Clubhouse和Tiya的示范效應(yīng)，語聊房產(chǎn)品大火，音頻的開發(fā)技術(shù)備受開發(fā)者的關(guān)注。來自融云的音視頻研發(fā)高級工程師姜春雨,多年專注于移動端和音視頻領(lǐng)域的技術(shù)研發(fā)，他分享了《iOS 音頻設(shè)備開發(fā) - Core Audio》的主題內(nèi)容。
融云音視頻研發(fā)高級工程師姜春雨發(fā)表演講
姜春雨認為：移動端音頻處理的難點在于聲音美化、變聲、實時高音質(zhì)和場景玩法多樣化。單從iOS設(shè)備來說，要突破這些難點，離不開iOS所提供的Audio Unit，它是一項強大靈活的音頻處理技術(shù)，支持混合、均衡、格式轉(zhuǎn)換和實時輸入/輸出，用于錄制、播放、離線渲染和實時對話。
融云SDK以Audio Unit為基礎(chǔ)，構(gòu)建了長音效、短音效等多個功能模塊，最終在音頻設(shè)備上完成混音輸出。在場景化實踐中，姜春雨以音樂語聊房和百人超大會議室兩個典型場景為例，分享了融云SDK的技術(shù)開發(fā)優(yōu)化方案。比如，音樂語聊房注重高音質(zhì)、美聲變聲，以舒適噪音為好，開發(fā)者要根據(jù)這些需求進行算法調(diào)優(yōu);而超大會議室的優(yōu)化則要求做到服務(wù)端智能發(fā)流、多人聲音同時出現(xiàn)可以智能選擇會議發(fā)言人的聲音。
姜春雨總結(jié)道：Audio Unit是一個強大的音頻處理框架，音頻處理要基于Audio Unit框架構(gòu)建內(nèi)容，并且要在音頻處理內(nèi)容上不斷打磨優(yōu)化。未來，融云音視頻SDK還將不斷基于不同場景需要開發(fā)新的功能，持續(xù)優(yōu)化音頻產(chǎn)品，為開發(fā)者提供更好的解決方案。
構(gòu)建低延遲高可靠的信令系統(tǒng)
融云作為互聯(lián)網(wǎng)通信云賽道的領(lǐng)先廠商，2020年在業(yè)界率先提出“IM+RTC+PUSH”的整體通信解決方案。融云RTC喚起用戶的通道就是依賴于IM的SDK信令，因此，本次融云的IM研發(fā)中心高級工程師劉佳，分享了《構(gòu)建低延遲高可靠信令系統(tǒng)的探索與實踐》，幫助開發(fā)者更好地了解融云IM如何協(xié)同RTC，提供高可靠的通信能力。
融云IM研發(fā)中心高級工程師劉佳
劉佳介紹，高可靠音視頻信令系統(tǒng)的構(gòu)建在IM信令系統(tǒng)設(shè)計時，首先要進行服務(wù)分層，包括接入層、內(nèi)部服務(wù)和數(shù)據(jù)存儲的分層。而拆分原則要根據(jù)業(yè)務(wù)差異和服務(wù)對象的不同，拆分為API和 CMP，整體做到可監(jiān)控、可維護。其次，是要搭建完整的監(jiān)控體系，通過可視化的圖表，監(jiān)看網(wǎng)絡(luò)的性能情況，及時處理系統(tǒng)瓶頸。
對于低延遲信令系統(tǒng)的實現(xiàn)，劉佳分享道，融云不僅利用全球加速網(wǎng)絡(luò),降低網(wǎng)絡(luò)延遲，還基于融云自有通訊協(xié)議降低數(shù)據(jù)傳輸量，利用緩存機制,提高了服務(wù)的業(yè)務(wù)處理速度。并且，劉佳以緩存設(shè)計為例，說明通過一致性hash提高緩存命中率、高效利用CPU的處理能力、實施異步存儲等，也都是實現(xiàn)低延遲系統(tǒng)設(shè)計的要旨。
基于這些設(shè)計要點，劉佳展示了海量并發(fā)用戶場景下的語聊房系統(tǒng)架構(gòu)，為開發(fā)者提供了干貨解決方案。同時，他還總結(jié)出融云現(xiàn)有的音視頻整體服務(wù)架構(gòu)的三大優(yōu)勢：第一，信令服務(wù)與媒體服務(wù)解藕,兩個服務(wù)之間也不需要狀態(tài)同步;第二，媒體服務(wù)專注通信,信令服務(wù)專注能力;第三，部署簡單,方便進行全球部署媒體服務(wù)。
直播系統(tǒng)架構(gòu)設(shè)計滿足用戶對實時性的需求
本場沙龍中，音視頻直播場景也是一個重點話題。深耕互聯(lián)網(wǎng)音視頻12年，在直播領(lǐng)域積累了豐富實戰(zhàn)經(jīng)驗的拾光機器人公司創(chuàng)始人兼 CEO徐晶，通過他的《互聯(lián)網(wǎng)直播快速實戰(zhàn)》，分享了基于直播答題場景的架構(gòu)設(shè)計，尤其是幾個關(guān)鍵技術(shù)點和應(yīng)對策略，以及如何保證直播中的視頻和音頻質(zhì)量，都做出了詳細的講解。
沙龍中，專注于在線教育的學而思網(wǎng)校架構(gòu)師李亞龍，還針對教育低延時大班的直播場景，為開發(fā)者帶來了關(guān)于《在線教育直播系統(tǒng)架構(gòu)升級》的分享。他著重從網(wǎng)校視頻技術(shù)的發(fā)展、網(wǎng)校大班直播系統(tǒng)、網(wǎng)校公益直播課、低延遲直播探索這四個方面的設(shè)計要點，進行了分析講解。對于專注在線教育的開發(fā)者而言，具有普遍的示范意義。
此外，資深音視頻技術(shù)專家的栗偉，發(fā)表了《使用WebRTC構(gòu)建實時在線課堂》的演講。栗偉曾任職于中科院計算所、CC視頻，任職期間利用WebRTC技術(shù)開發(fā)了直播、在線課堂、視頻會議等商業(yè)產(chǎn)品，并發(fā)用戶數(shù)達到500萬。他還曾主筆撰寫了 《WebRTC技術(shù)詳解：從0到1構(gòu)建多人視頻會議系統(tǒng)》，在該領(lǐng)域有多年實踐經(jīng)驗，對WebRTC有非常深入的研究，他的實踐分享也讓開發(fā)者們獲益匪淺。
結(jié)語
在本次沙龍中，五位講師的分享，其共性特點在于：他們都基于當下所關(guān)注熱門場景展開話題。由此可見，應(yīng)用場景才是“探討音視頻技術(shù)新方向”的基礎(chǔ)，而越熱門的場景往往越是代表著這個領(lǐng)域的發(fā)展?jié)摿Ω?，因此也就越需要通過新技術(shù)、新產(chǎn)品加以承載。
隨著5G的進一步落地，網(wǎng)絡(luò)帶寬、網(wǎng)絡(luò)質(zhì)量的不斷優(yōu)化，音視頻通信無論在使用量級上，還是使用場景上，都會出現(xiàn)更多可能。對于開發(fā)者而言，只有及早儲備，盡可能多地掌握新技術(shù)，關(guān)注新方向，才能贏在當下，贏在未來。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
