天津移動(dòng)“AI荷爾蒙” ，打造基于計(jì)算機(jī)視覺(jué)技術(shù)的智慧零售系統(tǒng)

團(tuán)隊(duì)介紹

天津移動(dòng)“AI荷爾蒙”團(tuán)隊(duì)，專注人工智能產(chǎn)品研究，研發(fā)的三項(xiàng)成果已入選中國(guó)人工智能產(chǎn)業(yè)聯(lián)盟的2018年人工智能應(yīng)用案例TOP100，累計(jì)獲得國(guó)家專利7項(xiàng)。

團(tuán)隊(duì)產(chǎn)品經(jīng)理趙東明：

人工智能專業(yè)博士，長(zhǎng)期鉆研人工智能技術(shù)研發(fā)，有高級(jí)工程師職稱和中國(guó)移動(dòng)集團(tuán)專家認(rèn)證；

團(tuán)隊(duì)數(shù)據(jù)科學(xué)家田雷：

北大數(shù)學(xué)系碩士學(xué)歷，精于數(shù)據(jù)庫(kù)開(kāi)發(fā)、智能算法、邏輯設(shè)計(jì)。負(fù)責(zé)產(chǎn)品系統(tǒng)架構(gòu)、系統(tǒng)軟件開(kāi)發(fā)。

一．前言

“AI荷爾蒙”

是天津移動(dòng)IT和支撐中心開(kāi)發(fā)的一款基于人臉識(shí)別技術(shù)的視覺(jué)智慧零售系統(tǒng)，包括WEB版和移動(dòng)終端版，其中WEB版面向廳店運(yùn)營(yíng)，移動(dòng)版面向流動(dòng)式營(yíng)銷。

通過(guò)引入機(jī)器視覺(jué)、智慧推薦等人工智能技術(shù)，“AI荷爾蒙”以人臉識(shí)別快速獲取客戶身份、年齡、性別、行為軌跡，通過(guò)靈活的流動(dòng)式營(yíng)銷場(chǎng)地部署，實(shí)現(xiàn)流動(dòng)式營(yíng)銷場(chǎng)景中客戶的駐留信息收集，以深度分析最終實(shí)現(xiàn)精準(zhǔn)營(yíng)銷推薦，確保商家的智慧運(yùn)營(yíng)拓展到廳店外的廣闊空間，也幫助客戶更加快捷地完成商品了解、選購(gòu)商品、交易、結(jié)算的購(gòu)物流程。

二、產(chǎn)品介紹

目前市場(chǎng)上的新零售系統(tǒng)都是基于會(huì)員或APP用戶的固定應(yīng)用場(chǎng)景，利用互聯(lián)網(wǎng)產(chǎn)品優(yōu)勢(shì)采集到客戶人臉圖像來(lái)實(shí)現(xiàn)客戶識(shí)別，但無(wú)法識(shí)別非會(huì)員客戶，無(wú)法適用戶外或隨機(jī)場(chǎng)景。“AI荷爾蒙”利用電信運(yùn)營(yíng)商大數(shù)據(jù)優(yōu)勢(shì)和人臉識(shí)別模型優(yōu)勢(shì)，有效解決以上局限性，實(shí)現(xiàn)了非會(huì)員客戶全場(chǎng)景的智慧營(yíng)銷。

AI荷爾蒙廳店版系統(tǒng)以攝像頭為核心設(shè)備進(jìn)行進(jìn)廳客戶識(shí)別和推薦，但是受到場(chǎng)地、電力、顯示等限制，存在部署的局限性。零售場(chǎng)景中常用的社區(qū)推廣，小區(qū)推銷，校園營(yíng)銷等戶外場(chǎng)景，也需要有相應(yīng)的系統(tǒng)形態(tài)去獲取客戶身份，主動(dòng)推薦。因此，AI荷爾蒙團(tuán)隊(duì)打造了移動(dòng)終端版系統(tǒng)?；诎沧渴謾C(jī)或Pad，由設(shè)備自帶的屏幕進(jìn)行信息顯示，由內(nèi)置攝像頭進(jìn)行全景視頻采集，完成主體的人臉識(shí)別和智能商品推薦功能。

Web版系統(tǒng)圖示

移動(dòng)終端版

三、核心優(yōu)勢(shì)

將固定場(chǎng)景推廣到流動(dòng)場(chǎng)景，突破了固定位置限制和硬件約束，只需要手機(jī)安裝軟件就可以實(shí)現(xiàn)智慧營(yíng)銷能力

將會(huì)員或產(chǎn)品客戶范圍推廣到全部客戶，把智慧零售從體驗(yàn)期帶到了實(shí)用期。

依賴電信運(yùn)營(yíng)商大數(shù)據(jù)優(yōu)勢(shì)，可以獲取客戶產(chǎn)品推薦信息，為客戶量身定做推薦產(chǎn)品，提升營(yíng)銷效率和成功率的同時(shí)，確?？蛻舾兄w驗(yàn)。

系統(tǒng)的客戶體驗(yàn)流程：

四、研發(fā)過(guò)程

AI荷爾蒙團(tuán)隊(duì)2年來(lái)一直致力于能從視覺(jué)世界中學(xué)習(xí)的AI算法研究，通過(guò)打造一款產(chǎn)品，讓計(jì)算機(jī)能夠辨別不同的人，理解行為的關(guān)聯(lián)，推斷人的情緒、動(dòng)作和意圖，迅速判斷出畫(huà)面中人物、行為、喜好，進(jìn)而推薦最適合的商品。

實(shí)現(xiàn)這一目標(biāo)的第一步，就是讓計(jì)算機(jī)快速而精準(zhǔn)的識(shí)別人臉。過(guò)移動(dòng)的人臉圖像庫(kù)來(lái)訓(xùn)練個(gè)性化模型，客戶無(wú)感式完成人臉檢測(cè)-特征點(diǎn)估計(jì)-特征比對(duì)的全過(guò)程，結(jié)合識(shí)別的身份進(jìn)行個(gè)性化推薦。

工作難點(diǎn)體現(xiàn)在數(shù)據(jù)、模型、技術(shù)方法三個(gè)方面：

首先， AI荷爾蒙的訓(xùn)練集，必須比之前使用過(guò)的任何一種數(shù)據(jù)庫(kù)都要龐大。因此，下載了900萬(wàn)天津移動(dòng)用戶的人臉圖片，并去除水印，過(guò)濾劣質(zhì)圖片，生成多角度人臉。天津公司近百人的團(tuán)隊(duì)，輔助計(jì)算機(jī)完成了千萬(wàn)級(jí)的圖片處理工作，最終得到讓計(jì)算機(jī)精準(zhǔn)識(shí)別人臉的千萬(wàn)級(jí)高質(zhì)量圖像數(shù)據(jù)庫(kù)。

之后，在研究院九天深度學(xué)習(xí)平臺(tái)的GPU集群支持下，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)框架進(jìn)行了100輪次2000小時(shí)的訓(xùn)練，模型優(yōu)化再優(yōu)化，參數(shù)精調(diào)再精調(diào)，最終得到個(gè)性化模型。

最后，為了客戶的無(wú)感式體驗(yàn)，引入先進(jìn)的目標(biāo)檢測(cè)框架YOLO，來(lái)提升人臉檢測(cè)精度，確保廣角視頻中人臉不漏檢。通過(guò)網(wǎng)絡(luò)MR信令數(shù)據(jù)，圈定小范圍的用戶集，將檢索范圍由1:900萬(wàn)降到1:500，顯著提升檢索速度。在原有WEB版系統(tǒng)基礎(chǔ)上，針對(duì)社區(qū)直銷、校園營(yíng)銷的需求，開(kāi)發(fā)了移動(dòng)終端版，基于安卓手機(jī)或pad，在流動(dòng)式營(yíng)銷中實(shí)現(xiàn)人臉識(shí)別和商品推薦功能。

系統(tǒng)的大數(shù)據(jù)運(yùn)營(yíng)界面

五、應(yīng)用場(chǎng)景

在新零售背景下， AI荷爾蒙移動(dòng)終端版在流動(dòng)式營(yíng)銷場(chǎng)景中，有極大應(yīng)用潛力，具體包括：

1. 社區(qū)銷售場(chǎng)景

越來(lái)越多的渠道營(yíng)銷需要在傳統(tǒng)業(yè)務(wù)專區(qū)外開(kāi)辟了新的直銷專區(qū)，例如：小區(qū)公共區(qū)域的營(yíng)銷，商場(chǎng)公共空間的營(yíng)銷，地鐵入口營(yíng)銷，戶外廣場(chǎng)營(yíng)銷等。社區(qū)營(yíng)銷最大的問(wèn)題，就是客戶匆匆而過(guò)，或者咨詢后猶豫離開(kāi)，無(wú)法有效留下客戶信息，不能后續(xù)深入營(yíng)銷，重點(diǎn)客戶流量，客戶精確位置無(wú)法獲取，對(duì)精細(xì)化運(yùn)營(yíng)也不利。

因此，本系統(tǒng)是以安卓手機(jī)、Pad為載體，幫助流動(dòng)式營(yíng)銷中無(wú)感式完成客戶身份鑒別，留存客戶人臉、身份、位置，為后續(xù)精準(zhǔn)營(yíng)銷積累重要的精細(xì)化數(shù)據(jù)。在此場(chǎng)景下，社區(qū)內(nèi)攤位后可布放以手機(jī)攝像頭為載體的系統(tǒng)，全程拍攝營(yíng)銷過(guò)程并截取人臉，傳送到后臺(tái)服務(wù)器進(jìn)行識(shí)別，并聯(lián)合大數(shù)據(jù)微營(yíng)銷，計(jì)算最適應(yīng)的營(yíng)銷方案后續(xù)發(fā)送。

2. 體驗(yàn)式新零售場(chǎng)景

目前，各大手機(jī)品牌均傾向于開(kāi)設(shè)線下的終端體驗(yàn)區(qū)，尤其是新手機(jī)發(fā)布時(shí)，會(huì)結(jié)合時(shí)下熱點(diǎn)事件進(jìn)行流動(dòng)式營(yíng)銷，例如世界杯期間，各大商家結(jié)合世界杯主題開(kāi)設(shè)手機(jī)、啤酒、飲料品牌的公共空間布展?fàn)I銷，例如：在大悅城一層廣場(chǎng)進(jìn)行華為手機(jī)、三星手機(jī)、百威啤酒的銷售展覽。

在類似場(chǎng)景中，AI荷爾蒙移動(dòng)終端版可以發(fā)揮成本低、攜帶方便、體驗(yàn)良好的特性，以PAD+支架方式，在零售區(qū)內(nèi)設(shè)置智慧視覺(jué)體驗(yàn)區(qū)：

一方面將客戶識(shí)別結(jié)果展示在界面，給客戶全新體驗(yàn)；

另一方面可以獲取客戶身份，結(jié)合售賣的商品進(jìn)行實(shí)時(shí)營(yíng)銷。

本產(chǎn)品目前已立足天津移動(dòng)營(yíng)銷進(jìn)行了產(chǎn)品使用推廣，已應(yīng)用于天津移動(dòng)“萬(wàn)場(chǎng)直銷”活動(dòng)，支撐營(yíng)銷人員到小區(qū)等場(chǎng)景進(jìn)行現(xiàn)場(chǎng)營(yíng)銷，有效提升了營(yíng)銷效率，并支撐在營(yíng)銷活動(dòng)后自動(dòng)生成營(yíng)銷記錄和快速營(yíng)銷總結(jié)，目前正在18年校園營(yíng)銷中應(yīng)用。經(jīng)過(guò)驗(yàn)證可以有效提升現(xiàn)場(chǎng)營(yíng)銷效率12%，節(jié)省客戶記錄時(shí)間20%，提升產(chǎn)品推薦成功率8%。

六、近期產(chǎn)出的成果

進(jìn)入2018年中國(guó)移動(dòng)自主開(kāi)發(fā)大賽半決賽10強(qiáng)

入選人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟TOP100優(yōu)秀應(yīng)用案例

天津市科技成果轉(zhuǎn)化中心科技成果鑒定為“國(guó)內(nèi)領(lǐng)先”項(xiàng)目

集團(tuán)公司人工智能試點(diǎn)二期項(xiàng)目

集團(tuán)公司研發(fā)計(jì)劃項(xiàng)目

中國(guó)移動(dòng)研發(fā)云支撐項(xiàng)目，中國(guó)移動(dòng)研究院“九天”深度學(xué)習(xí)平臺(tái)重點(diǎn)支撐項(xiàng)目

獲推薦參加2018年天津市科學(xué)技術(shù)獎(jiǎng)項(xiàng)目，獲推薦參加2018年中國(guó)移動(dòng)業(yè)務(wù)服務(wù)創(chuàng)新獎(jiǎng)項(xiàng)目

完成天津移動(dòng)核心能力回收項(xiàng)目結(jié)題

中國(guó)移動(dòng)自主開(kāi)發(fā)大賽半決賽現(xiàn)場(chǎng)

七、應(yīng)用效果

人臉識(shí)別系統(tǒng)已應(yīng)用到天津移動(dòng)2個(gè)自辦營(yíng)業(yè)廳（新興路、民航大學(xué)）的到廳客戶身份識(shí)別、現(xiàn)場(chǎng)服務(wù)、業(yè)務(wù)推薦工作中，并直接參與了天津移動(dòng)萬(wàn)場(chǎng)地推和校園營(yíng)銷活動(dòng)，深入一線，以人工智能技術(shù)提升移動(dòng)用戶的客戶感知。經(jīng)過(guò)統(tǒng)計(jì)，客戶的業(yè)務(wù)受理時(shí)間減少40%，銷售效率提升25%，單位業(yè)務(wù)效益提升28%，客戶滿意度提升到99.5%，營(yíng)業(yè)廳整體運(yùn)營(yíng)效率提升30%以上，社會(huì)效益顯著，客戶評(píng)價(jià)良好。

系統(tǒng)還在持續(xù)迭代中，目前已經(jīng)通過(guò)AI技術(shù)教會(huì)計(jì)算機(jī)通過(guò)人臉去觀察顧客，鑒別顧客，推薦預(yù)設(shè)的方案，下一步，會(huì)在人體行為分析領(lǐng)域繼續(xù)探索，讓計(jì)算機(jī)讀懂人的形態(tài)，不同動(dòng)作的內(nèi)在關(guān)聯(lián)，真正理解客戶，感受客戶，希望大家繼續(xù)關(guān)注AI荷爾蒙，讓AI給生活多點(diǎn)荷爾蒙。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。