近日，第32屆ACM國際多媒體會議在澳大利亞墨爾本圓滿落幕。由中國科學技術大學自動化系於俊老師帶隊的中國科學技術大學與云知聲共同組建的USTC-IAT-United團隊在不同挑戰(zhàn)賽道上累計榮獲5項冠軍、2項亞軍，技術實力再獲國際頂會認可。
ACM MM(ACM International Conference on Multimedia)作為計算機圖形學與多媒體領域的頂級國際會議，不僅被中國計算機學會(CCF)評定為A類國際學術會議，更以其卓越的學術影響力和社會認可度而聞名。該會議攜手全球領先的學術機構和知名企業(yè)，舉辦了一系列挑戰(zhàn)性賽事，成功吸引了全球眾多科研團隊和創(chuàng)新型企業(yè)的踴躍參與。
在這場全球頂尖智慧團隊間的激烈角逐中，聯(lián)合團隊表現(xiàn)出色，在多個挑戰(zhàn)賽道上奪得5項冠軍、2項亞軍，其研究成果廣泛涉及微動作分析、微表情檢測與分析、人機交互與對話、多模態(tài)群體行為分析以及視覺空間關系描述和深度偽造檢測等前沿領域。具體獲獎情況如下：
(1)微動作分析挑戰(zhàn) ( MAC: ACM Multimedia 2024 Micro-Action Analysis Challenge )
微動作相比于普通動作，更能展現(xiàn)人物在日常交流中的心理情緒，帶來更豐富的語義信息，對這些微動作進行精準檢測對于多模態(tài)理解至關重要。然而，微動作通常持續(xù)時間短，且多種微動作可能同時出現(xiàn)，因而檢測需要更多畫面幀的輸入來實現(xiàn)精細捕捉，這將導致巨大的顯存負擔和訓練代價。
為應對這些挑戰(zhàn)，團隊提出了3D-SENet Adapter，其能夠高效聚合時空信息，實現(xiàn)端到端的在線視頻特征學習。此外，團隊發(fā)現(xiàn)結合背景信息可顯著提升對小尺度微動作的檢測效果，為此，團隊開發(fā)了交叉注意力聚合檢測頭，該模塊集成特征金字塔中的多尺度特征，顯著提升視頻幀中微動作的檢測精度。該方法相比基線模型極大提升了檢測精度，并在兩個賽道上分別取得了冠軍與亞軍的成績，并且以論文形式在 ACM MM 會議上發(fā)表了研究成果。
(2)微表情挑戰(zhàn) ( Facial Micro-Expression Grand Challenge (MEGC) 2024 (CCS Task) )
微表情作為一種面部表情，與宏表情相對應，通常持續(xù)時間短，強度較低。同時微表情在現(xiàn)實中有著廣泛的應用，如醫(yī)療、刑事偵察等。MEGC挑戰(zhàn)賽的CCS (Cross-Cultural Spotting)賽道致力于選拔出通用性廣泛、穩(wěn)定性強的微表情識別方法，以推動該領域技術的發(fā)展與應用。
面對CCS賽道提出的挑戰(zhàn)，團隊選擇使用基于光流的方法進行微表情識別，對每個視頻抽取其光流特征，進而通過光流特征定位微表情發(fā)生的起始時間和結束時間。在生成微表情區(qū)間之后，采用邊界校準方案，通過判斷評估邊界的變化程度來決定壓縮或延展邊界，使得產(chǎn)生的微表情區(qū)間邊界更加準確。此外，團隊采用特定的特征增強方案，主要通過LANet增強特征的表達能力和魯棒性。最終團隊在排行榜上取得了冠軍，研究成果也以論文形式于 ACM MM 會議上發(fā)表。
(3)微表情挑戰(zhàn) ( Facial Micro-Expression Grand Challenge (MEGC) 2024 (STR Task) )
在以往微表情研究中，檢測和識別任務相對分離，存在很大的局限性。因此MEGC挑戰(zhàn)賽的STR (Spot-then-Recognize)賽道提出了 “先檢測后識別”的任務來整合兩個環(huán)節(jié)，進而提升微表情分析的準確性和實用性。
針對STR賽道提出的挑戰(zhàn)，團隊整合VideoMAE V2框架、時間信息適配器(TIA)及多尺度特征融合檢測頭，以提升微表情定位與識別性能。主要采用 VideoMAE V2作為特征提取骨干網(wǎng)絡，結合TIA增強視頻特征提取能力，尤其是在處理微表情任務時。TIA通過引入時間深度卷積層，捕捉相鄰幀的局部時間上下文，豐富當前時間步的表示。同時，構建多尺度圖像金字塔，通過分類和回歸分支組成的檢測頭，融合不同尺度的特征，使得模型能夠同時捕捉從寬泛動作到細微變化的全范圍動態(tài)，進而顯著提高微表情識別的準確性。
團隊方案在 STRS(Overall)評分中達到SOTA 的結果，并獲得冠軍，研究成果在ACM MM會議上進行發(fā)表。這一成果不僅驗證了團隊方法的有效性，也為微表情識別技術的進一步發(fā)展提供了方向。
(4) 多模態(tài)群體行為分析挑戰(zhàn) ( MultiMediate: Multi-modal Group Behaviour Analysis for Artificial Mediation )
在多人對話和人機交互領域，對人類的參與程度的評估至關重要。MultiMediate挑戰(zhàn)賽中的Multi-domain engagment estimation賽道中旨在解決當前人工調解者的能力受限于行為感知和分析方面的進展不足，進而推動和衡量在多領域參與度估計這一關鍵社會行為感知與分析任務上的進展。
為應對這些挑戰(zhàn)，團隊深入探索Seq2seq模型在不同時間窗口下的潛力，并提出了一種雙流AI-BiLSTM模型，該模型能夠對齊并交互對話者特征，以實現(xiàn)更準確的參與度估計。通過從視覺(CLIP)、文本(XLM-RoBERTa)和語音(w2v-bert-2.0)中提取特征，能夠更全面地理解和預測對話者的參與度。在建模過程中，團隊參考了ALbef和VL-BERT的設計，最終選擇了基于AI-BiLSTM的建模方法。在推理時，AI-BiLSTM在多人對話場景中的Concordance Correlation Coefficient (CCC)提升了8%，相較于第二名領先了10%，方案在ACM MM競賽中得到了驗證，并以明顯的優(yōu)勢奪得了冠軍。不僅展示了團隊在人工智能領域的技術實力，也為未來的人機交互和對話系統(tǒng)的發(fā)展提供了新的可能性。
(5)深度偽造檢測挑戰(zhàn) ( 1M-Deepfakes Detection Challenge )
Deepfakes挑戰(zhàn)賽通過視聽級檢測任務，幫助區(qū)分真實視頻和深度偽造視頻，阻止深度偽造視頻在網(wǎng)絡上的傳播，保護信息的真實性和可靠性。在Deepfakes任務中，細粒度感知和跨模態(tài)交互能力的提升至關重要。
為解決Deepfakes提出的挑戰(zhàn)，團隊提出了一種創(chuàng)新的局部全局交互模塊(AV-LG模塊)，顯著增強了模型的檢測性能。該模塊由局部區(qū)域內自我注意、全局區(qū)域間自我注意和局部全局交互組成。為了消除視頻偽造檢測中傾向于將真實樣本預測為假樣本的偏差，團隊適當增加了真實樣本的誤差權重。此外，團隊發(fā)現(xiàn)理解視頻語義對于視頻偽造檢測并非必要，因此通過傅里葉變換將采樣幀轉換為頻域，進一步提高了模型性能。通過這些技術的應用，不僅展示了團隊在視頻偽造檢測領域的技術實力，也為未來的Deepfakes檢測技術提供了新的可能性。最終獲得本賽道冠軍，研究成果通過論文的形式在 ACM MM 會議上呈現(xiàn)
(6)視覺空間關系描述挑戰(zhàn) ( Visual Spatial Description (VSD) Challenge )
Visual Spatial Description(VSD)挑戰(zhàn)旨在解決視覺空間語義理解領域的相關問題，即通過讓模型和系統(tǒng)生成準確的文本描述句子，來描述輸入圖像中兩個給定目標對象之間的空間關系，進而推動計算機視覺和自然語言處理領域在空間關系理解與描述方面的研究進展。這有助于人機交互場景下智能設備理解用戶意圖，提升用戶體驗。
針對VSD提出的挑戰(zhàn)，團隊應用 Retrieval Augmented Generation (RAG)技術來指導多模態(tài)大型語言模型 (MLLM)完成 VSD 任務，并利用正負樣本解決幻覺問題，進一步微調MLLM以增強語義理解和整體模型效能。該方案在VSD任務中的空間關系分類和視覺語言描述任務中都表現(xiàn)出更高的準確性和更少的幻覺錯誤，取得了令人滿意的結果。同時，團隊深入研究VSD與VSRC數(shù)據(jù)樣本不平衡問題，運用樣本級加權損失和重采樣等策略，提高模型對低頻對象關系的學習能力，確保了其在復雜數(shù)據(jù)環(huán)境下能夠高效處理。這些策略為更高級的視覺空間描述任務鋪平了道路，為計算機視覺和自然語言處理領域的未來研究和實際實現(xiàn)提供了有價值的見解。團隊以論文形式在 ACM MM會議上發(fā)表了研究成果并取得了亞軍。
此次斬獲5冠2亞，既是云知聲與中國科學技術大學緊密合作、持續(xù)探索人工智能賽道的成果，同時也是云知聲AGI技術架構實力的有力證明。
作為國內AGI技術產(chǎn)業(yè)化的先行者，云知聲依托其全棧AGI技術與產(chǎn)業(yè)布局，持續(xù)推動千行百業(yè)的智慧化升級。2023年5月，云知聲發(fā)布山海大模型(UniGPT)以來，持續(xù)保持高速迭代，在 OpenCompass、SuperCLUE、MedBench、SuperBench、MMMU 等多項通用、醫(yī)療及多模態(tài)大模型權威評測中屢創(chuàng)佳績，通用能力穩(wěn)居國內大模型第一梯隊，醫(yī)療大模型能力持續(xù)保持領先優(yōu)勢。以通用大模型為基座，云知聲構建起一個覆蓋醫(yī)療、交通、座艙等多場景在內的智能體矩陣，并逐步完成 “助手→同事→專家” 的自我演進，為智慧生活、智慧醫(yī)療、智慧交通等業(yè)務提供高效的產(chǎn)品化支撐，推動“U+X”戰(zhàn)略落實，持續(xù)踐行 “以通用人工智能(AGI)，創(chuàng)建互聯(lián)直覺的世界”的使命。
與中國科技大學的多模態(tài)技術合作，是云知聲多模態(tài)智能體演進的重要組成部分。今年8月，云知聲推出山海多模態(tài)大模型，通過整合跨模態(tài)信息，實現(xiàn)實時多模態(tài)擬人交互體驗，進一步夯實了云知聲AGI技術底座，推動山海大模型在各領域的廣泛應用。
展望未來，云知聲將繼續(xù)攜手中國科學技術大學等頂尖高校，共同加強人工智能基礎理論探索與關鍵技術突破。我們將積極擴展AGI技術的應用場景，為智慧物聯(lián)、智慧醫(yī)療等關鍵領域提供更為全面和深入的人工智能解決方案，致力通過人工智能技術，為各行各業(yè)帶來革命性進步，實現(xiàn)以AGI賦能千行百業(yè)的宏偉藍圖。
（免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
