“數(shù)智未來，全速重構(gòu)”，2020云棲大會于9月17日通過線上直播的方式正式開啟。緣起2009年，歷經(jīng)11載，云棲大會不光成長為全世界科技工作者的一大盛會，同時也成為了一個分享和洞察未來科技產(chǎn)業(yè)發(fā)展趨勢的舞臺。
本次云棲大會共有400余位重磅嘉賓與會，包括10位國家院士、70余位頂級學(xué)者、300位國內(nèi)外知名企業(yè)管理者、青年科學(xué)家; 上百款新品發(fā)布，涵蓋云計算、人工智能、機(jī)器學(xué)習(xí)、量子計算、芯片、AIOT、組織協(xié)同、新零售、新金融、數(shù)字政府等領(lǐng)域……大會無疑成為了未來十?dāng)?shù)年產(chǎn)業(yè)與技術(shù)發(fā)展的風(fēng)向標(biāo)。
作為金融科技公司中的佼佼者，數(shù)禾科技也應(yīng)邀參會。數(shù)字時代下，數(shù)據(jù)就好比工業(yè)的“原油”，如何高效的“提取煉制”，發(fā)揮其最大效用?對此，數(shù)禾科技大數(shù)據(jù)負(fù)責(zé)人萬鵬發(fā)表了“金融科技云上數(shù)據(jù)湖構(gòu)建和管理之道”主題演講，指出了當(dāng)下大數(shù)據(jù)于金融科技領(lǐng)域運(yùn)用存在的問題以及瓶頸，分享了數(shù)禾科技云+數(shù)據(jù)湖解決方案，受到了廣泛關(guān)注。
“成”也大數(shù)據(jù)，“敗”也大數(shù)據(jù)
“你不會借錢給你不了解的人，因?yàn)樾畔⒉粚ΨQ”，萬鵬表示，“金融科技可以良性開展的核心點(diǎn)在于信貸風(fēng)控，它要解決的核心問題是面對海量有著信貸需求的互聯(lián)網(wǎng)用戶，如何在信息不對稱的情況下為其提供金融服務(wù)，而大數(shù)據(jù)在其中發(fā)揮了顯著作用。”
目前，金融科技領(lǐng)域常用的風(fēng)控體系，主要以基于各種風(fēng)控模型收集的相關(guān)數(shù)據(jù)為基礎(chǔ)數(shù)據(jù)，再經(jīng)由風(fēng)控策略驅(qū)動AI等技術(shù)實(shí)現(xiàn)調(diào)用，對用戶風(fēng)險進(jìn)行多維度評估。比如通過圖像監(jiān)測模型、中介評估模型、申請評分模型等，對用戶工作地區(qū)、工作情況、多頭借貸等數(shù)據(jù)進(jìn)行分析數(shù)據(jù)，實(shí)現(xiàn)對用戶風(fēng)險評估，在大幅降低信息不對稱的情況下，做出是否提供信貸服務(wù)、服務(wù)額度多少等決定。
可以看到，大數(shù)據(jù)的運(yùn)用起到了至關(guān)重要的作用，并且如果模型中的變量與策略足夠豐富、科學(xué)，就可以有效應(yīng)用更多有用數(shù)據(jù)，也就意味著系統(tǒng)更“認(rèn)識”用戶，風(fēng)險評估也將更為準(zhǔn)確有效。這種經(jīng)由某種模型、規(guī)則處理過的數(shù)據(jù)通常稱為結(jié)構(gòu)化數(shù)據(jù)。不過隨著業(yè)務(wù)的開展與拓展，金融活動的實(shí)時性與不間斷性越發(fā)明顯，金融風(fēng)險構(gòu)成的交叉性和復(fù)雜程度也更加突出，這就導(dǎo)致在服務(wù)場景復(fù)雜化的同時，數(shù)據(jù)積累出現(xiàn)了超出預(yù)期的暴增，傳統(tǒng)大數(shù)據(jù)結(jié)構(gòu)已經(jīng)難承其重。
深耕行業(yè)需求，“科技云+數(shù)據(jù)湖”破局
面對因?yàn)槭袌霭l(fā)展而帶來的行業(yè)難題，數(shù)禾科技采用了“云+數(shù)據(jù)湖”的解決方案，它的特點(diǎn)就是靈活、高效、成本低。
“數(shù)據(jù)湖”概念自2011年被提出以來，就被業(yè)界廣泛討論，有人認(rèn)為它是“新瓶裝舊酒”，也有人認(rèn)為它是新一代數(shù)據(jù)倉庫。較為清晰的定義是，“數(shù)據(jù)湖是一個集中化存儲海量的、多個來源、多種類型數(shù)據(jù)，并可以對數(shù)據(jù)進(jìn)行快速加工、分析的平臺，本質(zhì)上是一套先進(jìn)的企業(yè)數(shù)據(jù)架構(gòu)”。但它如何對企業(yè)賦能，其實(shí)仍在摸索過程中。數(shù)禾科技在“云+數(shù)據(jù)湖”方案的應(yīng)用，無論是在金融科技領(lǐng)域，還是其它大數(shù)據(jù)運(yùn)用領(lǐng)域，已經(jīng)成為了先行者。
首先，對于日益見長的數(shù)據(jù)體量，云技術(shù)的發(fā)展為新的數(shù)據(jù)存儲架構(gòu)與處理引擎的開發(fā)奠定了基礎(chǔ)，數(shù)據(jù)湖就是其中一種。數(shù)據(jù)湖不但允許用戶在其中存儲任意形式、任意規(guī)模的數(shù)據(jù)，同時，不會在其內(nèi)部對存儲數(shù)據(jù)自動進(jìn)行結(jié)構(gòu)化，只有當(dāng)用戶調(diào)用數(shù)據(jù)時，才會利用強(qiáng)大的數(shù)據(jù)查詢、處理、分析等組件，對系統(tǒng)進(jìn)行相應(yīng)的處理和應(yīng)用，為用戶數(shù)據(jù)的使用提供定制化支持。
換言之，數(shù)據(jù)湖可以存儲并調(diào)用包括結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)等一切數(shù)據(jù)。事實(shí)上，數(shù)據(jù)顯示，非結(jié)構(gòu)化數(shù)據(jù)在企業(yè)數(shù)據(jù)中占比高達(dá)80%，并且每年還在以55%~65%的速度增長，對任何企業(yè)而言，這都是一筆難以估量的財富，僅對信貸風(fēng)控一項進(jìn)行賦能，就可以對風(fēng)控能力的提升起到立竿見影的效果。
要搭建這樣一套體系顯然并非易事，數(shù)禾科技的做法就是摸著石頭探索前行。
早在2016年創(chuàng)立之初，數(shù)禾科技就搭建了小而全的開源大數(shù)據(jù)集群，這套系統(tǒng)持續(xù)運(yùn)行了兩年。隨著公司業(yè)務(wù)與數(shù)據(jù)規(guī)模的擴(kuò)大，由于計算資源與存儲資源無法彈性變化，集群出現(xiàn)了離線計算與實(shí)時計算爭奪資源的問題。2018年，為跳出困境，數(shù)禾科技采取了剝離實(shí)時計算于EMR之上，關(guān)鍵應(yīng)用場景以云上Hbase承接的做法，但僅在一年之后，存儲成本高、權(quán)限管理難度大、架構(gòu)過于復(fù)雜等問題的暴露又讓公司苦不堪言。最終，公司壯士斷腕，下線了原來全部的集群，設(shè)計出一種基于OSS對象存儲和EMR的流批一體數(shù)據(jù)湖架構(gòu)，一步到位解決了性能、數(shù)據(jù)隔離以及數(shù)據(jù)共享三大難題，享受到了結(jié)構(gòu)簡單、存儲低廉、彈性計算帶來的種種好處。
精益數(shù)據(jù)管理，數(shù)禾科技的五大原則
為進(jìn)一步挖掘數(shù)據(jù)湖持續(xù)產(chǎn)生價值的能力，數(shù)禾科技摸索出了精益數(shù)據(jù)管理的五大原則。一是全面紀(jì)錄，在用戶授權(quán)的前提下，以大數(shù)據(jù)收集技術(shù)驅(qū)動業(yè)務(wù)全流程數(shù)據(jù)收集的深度化、多維化、持續(xù)化;二是全面實(shí)時化，解決因時間變化而產(chǎn)生的持續(xù)性信息不對稱問題，讓人與系統(tǒng)實(shí)時做出決策;三是全面治理，進(jìn)行數(shù)據(jù)質(zhì)量、成本、架構(gòu)、效率的全面治理，實(shí)現(xiàn)數(shù)據(jù)管理“降本增效”;四是場景驅(qū)動，大數(shù)據(jù)提供服務(wù)時圍繞關(guān)鍵業(yè)務(wù)痛點(diǎn)展開，“好鋼用在刀刃上”;五是安全合規(guī)，杜絕灰色空間，堅守數(shù)據(jù)管理合規(guī)底線。
正是因?yàn)檫@樣的專業(yè)與專注，數(shù)禾科技得到了業(yè)內(nèi)與用戶的廣泛認(rèn)可。截至目前，包括銀行、消費(fèi)金融公司、信托、小貸、保險等機(jī)構(gòu)，國內(nèi)已有30余家持牌機(jī)構(gòu)與數(shù)禾展開深度合作，數(shù)禾打造的智能獲客、智能風(fēng)控、精細(xì)運(yùn)營等全鏈路金融科技技術(shù)，為中小金融機(jī)構(gòu)與商業(yè)機(jī)構(gòu)數(shù)字化轉(zhuǎn)型提供了強(qiáng)大驅(qū)動力;其旗下分眾小貸的“還唄”，面向年輕人提供賬單分期與商品分期服務(wù)，及至目前，已被超過5000萬消費(fèi)者選用。
云棲大會不但是一場科技盛會，也是未來產(chǎn)業(yè)與科技發(fā)展趨勢的一次集中體現(xiàn)，可以預(yù)見，這些新發(fā)布的技術(shù)、產(chǎn)品，必然會驅(qū)動產(chǎn)業(yè)的革新。數(shù)禾科技云+數(shù)據(jù)湖的提出不光是數(shù)禾科技研發(fā)能力與科技實(shí)力的表現(xiàn)，也是在互聯(lián)網(wǎng)科技爆發(fā)的時代下，有志于積極探索新技術(shù)企業(yè)的一個縮影。未來，數(shù)禾科技將更加積極投身于新技術(shù)的研發(fā)與應(yīng)用，為產(chǎn)業(yè)進(jìn)步再立新功。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
