華為移動(dòng)通信的新突破：預(yù)測(cè)用戶行為，精準(zhǔn)觸達(dá)，智慧通信新篇章
隨著電信市場(chǎng)的飽和，運(yùn)營(yíng)商面臨著從現(xiàn)有用戶中挖掘價(jià)值并提高用戶留存率的核心挑戰(zhàn)。華為 GTS 部門 AI 算法團(tuán)隊(duì)在此背景下，提出了 GTS-LUM（Global Technical Service-Large User Model）這一創(chuàng)新方法，專門解決電信行業(yè)用戶行為建模的難題。這一突破性的技術(shù)，有望為電信行業(yè)帶來一場(chǎng)用戶行為預(yù)測(cè)的革命。
首先，GTS-LUM 的主要?jiǎng)?chuàng)新點(diǎn)在于其基于海量用戶行為序列數(shù)據(jù)自監(jiān)督、多模異構(gòu) Encoder-Adapter-LLM Decoder 架構(gòu)。通過這一架構(gòu)，GTS-LUM 能夠精準(zhǔn)捕捉用戶業(yè)務(wù)級(jí)淺層語義，創(chuàng)新多尺度時(shí)序處理機(jī)制以及多用戶運(yùn)營(yíng)場(chǎng)景后訓(xùn)練。此外，Q-former 語義空間和業(yè)務(wù)空間知識(shí)對(duì)齊，以及目標(biāo)感知建模的引入，更是大大增強(qiáng)了 GTS-LUM 的預(yù)測(cè)精度和實(shí)用性。
在某省級(jí)運(yùn)營(yíng)商的真實(shí)場(chǎng)景中，我們選取了 20w 左右用戶數(shù)據(jù)量在 Ascend 910B2 NPU 上進(jìn)行訓(xùn)練和推理。實(shí)驗(yàn)結(jié)果顯示，GTS-LUM 在所有評(píng)估指標(biāo)上均顯著優(yōu)于基線模型，相比業(yè)界方案有顯著的性能提升。這些結(jié)果表明，盡管典型推薦模型在實(shí)驗(yàn)室數(shù)據(jù)中表現(xiàn)良好，但在具有領(lǐng)域特定復(fù)雜性的工業(yè)級(jí)數(shù)據(jù)集上，其性能可能會(huì)顯著下降。而 GTS-LUM 的優(yōu)異表現(xiàn)，凸顯了融合多模態(tài)輸入以及對(duì)開放世界知識(shí)與特定業(yè)務(wù)知識(shí)對(duì)齊的必要性。
華為 GTS 部門 AI 算法團(tuán)隊(duì)在論文中詳細(xì)介紹了 GTS-LUM 的技術(shù)架構(gòu)和核心創(chuàng)新點(diǎn)。他們創(chuàng)新的提出了多層級(jí)時(shí)間劃分融合語義策略，通過構(gòu)建“時(shí)段-周期”語義描述優(yōu)化用戶行為序列建模。同時(shí)，他們構(gòu)建了多模態(tài)協(xié)同的用戶行為嵌入框架，精準(zhǔn)捕捉用戶業(yè)務(wù)級(jí)淺層語義，并引入了基于 Q-Former 適配器的跨模態(tài)對(duì)齊機(jī)制，通過對(duì)比學(xué)習(xí)任務(wù)實(shí)現(xiàn)跨模態(tài)知識(shí)對(duì)齊。此外，他們還創(chuàng)新性地為 Q-Former 引入了額外訓(xùn)練任務(wù)，包括序列片段-文本匹配、序列片段-文本對(duì)比學(xué)習(xí)和序列片段-文本生成，使其兼具多模態(tài)對(duì)齊器與用戶長(zhǎng)期興趣壓縮器的雙重功能。
值得一提的是，GTS-LUM 的目標(biāo)感知建模進(jìn)一步優(yōu)化了用戶表征學(xué)習(xí)過程，通過將預(yù)測(cè)標(biāo)簽前置于行為序列起始位置，利用 LLM 的因果注意力機(jī)制實(shí)現(xiàn)雙階段優(yōu)化。在注意力計(jì)算階段，目標(biāo)標(biāo)簽作為先驗(yàn)條件動(dòng)態(tài)調(diào)整歷史行為的注意力權(quán)重分布；在表征生成階段，基于 Decoder 的自回歸架構(gòu)實(shí)現(xiàn)漸進(jìn)式特征優(yōu)化，通過多步解碼過程迭代調(diào)整用戶表征向量。這種目標(biāo)前置的建模方式，能夠顯著提高預(yù)測(cè)精度，并突出與任務(wù)場(chǎng)景最相關(guān)的歷史行為。
總的來說，華為 GTS 部門 AI 算法團(tuán)隊(duì)的研究成果——GTS-LUM，無疑為電信行業(yè)用戶行為建模提供了新的思路和方法。這一創(chuàng)新性的技術(shù)，有望為電信行業(yè)帶來巨大的商業(yè)價(jià)值，推動(dòng)通信行業(yè)的智能化發(fā)展。我們期待看到更多的實(shí)際應(yīng)用和實(shí)驗(yàn)結(jié)果，以驗(yàn)證 GTS-LUM 在工業(yè)級(jí)數(shù)據(jù)集上的表現(xiàn)和潛力。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
