8月22日，“騎到AI背上去”2023釘釘生態(tài)大會在上海舉辦。在數(shù)字員工專場分論壇上，釘釘副總裁、音視頻事業(yè)部負(fù)責(zé)人趙加雨發(fā)表主題演講，分享了釘釘音視頻在智能化方面的進展和應(yīng)用，以及基于釘釘AI PaaS，視頻會議場域未來的開放展望。
趙加雨談到，釘釘從4月就宣布要全面接入大模型，完成智能化再造，隨著AI與音視頻的結(jié)合越來越深入，釘釘會議里也實現(xiàn)了諸多創(chuàng)新應(yīng)用，除了之前的實時翻譯、字幕轉(zhuǎn)寫、智能摘要，這次還發(fā)布了數(shù)字分身代替參會、自然語言控制會議操作、文生虛擬背景三項新功能。其中，數(shù)字分身可以在會議時間發(fā)生沖突時，替代用戶列席參會，并能實時同步相關(guān)會議信息和結(jié)論。
他表示，未來，釘釘音視頻希望能將更多的場域開放給生態(tài)伙伴，共同構(gòu)建豐富的、有價值的應(yīng)用，提升用戶的體驗和效率。同時，釘釘也計劃將音視頻SDK嵌入生態(tài)伙伴的應(yīng)用中，共同打造優(yōu)質(zhì)、易用的音視頻解決方案，滿足不同行業(yè)和場景的需求。
以下為趙加雨的演講全文：
體驗和智能化，是釘釘音視頻事業(yè)部過去一年兩個核心的關(guān)鍵詞。
在體驗方面，去年我們成立了專項，從內(nèi)到外做了大量的優(yōu)化，現(xiàn)在釘釘會議的整個界面交互上，會更美觀、更便捷、更沉浸。同時，在底層技術(shù)架構(gòu)上，從采集、播放、編解碼、網(wǎng)絡(luò)到服務(wù)端，我們也做了全鏈路的優(yōu)化。音視頻尤其是視頻會議，我們開會的時候最基本的訴求就是能夠開好會，聽得到對方的聲音，所以我們在音頻算法、抗弱網(wǎng)方面做了提升，也期待大家可以多使用我們的釘釘會議。
講到智能化，其實視頻會議這個領(lǐng)域在這次大模型之前，就和AI做了非常多的結(jié)合，在音頻算法、視頻算法中融入了AI技術(shù)。比如，視頻算法相關(guān)的AI應(yīng)用，有美顏、虛擬背景，這些都是大家非常熟悉的場景應(yīng)用。而音頻算法也結(jié)合了AI實現(xiàn)更好的降噪效果，目前，釘釘會議上已經(jīng)支持消除300多種常見噪音，比如汽車?yán)嚷?、鍵盤敲擊聲，讓用戶開會更專注。
我們在會議里還有一種常見的需求就是字幕，本質(zhì)上也是AI能力?，F(xiàn)在釘釘會議里也全面接入了阿里通義聽悟，支持中英日三種語言的互譯，實現(xiàn)實時的轉(zhuǎn)寫和翻譯。此外，還有智能導(dǎo)播，大家在會議室開會時，如果有線上同事一起加入討論，就會出現(xiàn)坐得太遠聽不清，或者說個話對方聽不到的情況。我們的蜂鳴鳥音頻實驗室將AI和原創(chuàng)差分陣列技術(shù)相結(jié)合，可以實現(xiàn)單會議設(shè)備10米遠舉例拾音。當(dāng)發(fā)言人說話時，支持精準(zhǔn)的聲源定位，實時跟蹤并放大他的頭像，讓每個發(fā)言人都成為C位，營造更好的對話感。
隨著大模型時代的到來，我們也進行了相關(guān)的研究，希望用大模型把釘釘會議重做一遍。今天釘釘推出了全新的AI PaaS智能化底座，并面向生態(tài)伙伴開放。在釘釘會議里，我們利用AI PaaS也實現(xiàn)了非常多有意思的功能。
第一，是會議數(shù)字分身代替開會。職場人士每天都會面臨文山會海，文山現(xiàn)在我們通過智能文檔幫大家解決掉，會海我們也做了一些嘗試，為用戶提供了數(shù)字分身這個能力。如果你會議沖突或者這個會議和你的關(guān)聯(lián)度沒那么高，就可以讓你的數(shù)字分身代替你去開。開會過程中，你可以通過釘釘魔法棒的對話框，主動給它設(shè)置一些任務(wù)，比如關(guān)注特定的話題，當(dāng)有人討論到這個話題時，AI就會自動通知你而且告訴你相關(guān)內(nèi)容。你也可以設(shè)定數(shù)字分身每隔幾分鐘給你發(fā)送一個會議總結(jié)，還可以主動和數(shù)字分身對話，了解各種信息，比如會議里有哪些人、大家有沒有產(chǎn)生什么爭議，會議結(jié)束還會自動推送會議摘要給你。
第二，是用自然語言做會議智能控制。過去有很多用戶吐槽釘釘功能太多，入口不好找，釘釘會議其實也面臨這個問題，雖然我們做了大量簡化，但是釘釘會議這個產(chǎn)品對一些用戶來說使用門檻依然有點高。今天我們通過釘釘魔法棒里的智能助手把功能操作簡化掉，你只需要通過自然語言提出你的需求，AI會自動識別意圖并幫你完成操作，比如會議里人太多的時候，有人不小心開麥了，你去找到這個人并把它靜音掉會比較麻煩，你可以告訴AI把正在說話的人靜音，拉人加入會議的時候也可以直接打字拉人無需關(guān)心入口在哪里。通過這些能力，我們讓會議的操作、管理變得更簡單。
第三，是文生虛擬背景。虛擬背景一直很受用戶喜愛，尤其是過去幾年，我們“祖國的小花朵”們把這個功能玩出了花，一會在“太空里上課”，一會在“大草原上上課”，我們?nèi)粘９ぷ髦幸矔玫?，可以有效避免背景雜亂的尷尬。以前大家用虛擬背景除了已有的模板圖片外，自己需要導(dǎo)出去搜索下載圖片上傳，現(xiàn)在不用了，我們通過文生圖自動生成虛擬背景，徹底解放想象力。
接下來，釘釘會議也將通過AI PaaS逐步做應(yīng)用的開放，幫助合作伙伴做場景升級，未來更多的生態(tài)產(chǎn)品可以嵌入到釘釘會議中使用，比如面試、白板等應(yīng)用。比如我們近期正在和招聘合作伙伴共創(chuàng)的面試助手，面試過程中對話AI就可以通過簡歷內(nèi)容、溝通信息得到實時的輔助。我們希望做好體驗和開放，在智能化的時代，和生態(tài)伙伴一起給用戶帶去更多有意思、有價值的場景應(yīng)用。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
