金融行業(yè)數(shù)據(jù)復(fù)雜、成本高、難獲取？看路孚特如何打破困局

作者丨王曉青

嘉賓丨路孚特 RDP研發(fā)總監(jiān)董玉棟，路孚特高級(jí)研發(fā)經(jīng)理趙儀，路孚特企業(yè)架構(gòu)總監(jiān)陳強(qiáng)

2018年，湯森路透金融與風(fēng)險(xiǎn)業(yè)務(wù)部門(mén)獨(dú)立成為 Refinitiv(路孚特)。路孚特在湯森路透金融數(shù)據(jù)和市場(chǎng)知識(shí)積累之上，利用領(lǐng)先的技術(shù)、信息和分析方法繼續(xù)為行業(yè)者提供著服務(wù)。如今路孚特推出金融數(shù)據(jù)平臺(tái)。(Refinitiv Elektron Data Platform，簡(jiǎn)稱(chēng) RDP)，進(jìn)一步發(fā)揮其在行業(yè)積累的優(yōu)勢(shì)。InfoQ記者專(zhuān)訪路孚特 RDP研發(fā)總監(jiān)董玉棟、路孚特高級(jí)研發(fā)經(jīng)理趙儀、路孚特企業(yè)架構(gòu)總監(jiān)陳強(qiáng)，揭秘 RDP的設(shè)計(jì)理念及技術(shù)亮點(diǎn)。

從傳統(tǒng)的金融數(shù)據(jù)管理到現(xiàn)代金融數(shù)據(jù)治理，金融行業(yè)迎來(lái)巨大的轉(zhuǎn)變。由于數(shù)據(jù)量增長(zhǎng)形成的倒逼，以及要順應(yīng)監(jiān)管機(jī)構(gòu)和用戶(hù)的需求，越來(lái)越多的金融從業(yè)機(jī)構(gòu)開(kāi)始意識(shí)到“數(shù)據(jù)驅(qū)動(dòng)”的重要性，但全面釋放數(shù)據(jù)價(jià)值的過(guò)程并非一帆風(fēng)順。

金融行業(yè)在數(shù)據(jù)治理中面臨哪些痛點(diǎn)？

路孚特企業(yè)架構(gòu)總監(jiān)陳強(qiáng)表示，在金融行業(yè)里，數(shù)據(jù)來(lái)源非常復(fù)雜。面對(duì)不同的數(shù)據(jù)提供廠商、數(shù)據(jù)類(lèi)型以及數(shù)據(jù)提供方式，企業(yè)要獲取所需的金融數(shù)據(jù)并作處理分析，成本并不低。而一些小型金融機(jī)構(gòu)即便獲取到數(shù)據(jù)，也沒(méi)有足夠的技術(shù)能力去處理。

從另一個(gè)角度來(lái)看，路孚特高級(jí)研發(fā)經(jīng)理趙儀解釋?zhuān)瑪?shù)據(jù)通常受到兩類(lèi)人的關(guān)注：一類(lèi)是數(shù)據(jù)提供商，另一類(lèi)是數(shù)據(jù)消費(fèi)者。對(duì)于數(shù)據(jù)提供商而言，數(shù)據(jù)的權(quán)限管理、再分發(fā)權(quán)限的機(jī)制、數(shù)據(jù)合規(guī)等始終是痛點(diǎn);對(duì)于數(shù)據(jù)消費(fèi)者而言，如何解決數(shù)據(jù)來(lái)源不同、格式不統(tǒng)一、不一致等問(wèn)題迫在眉睫。

總體來(lái)看，金融從業(yè)機(jī)構(gòu)面臨的主要痛點(diǎn)如下：

數(shù)據(jù)來(lái)源復(fù)雜，且在不同部門(mén)、不同業(yè)務(wù)系統(tǒng)以及不同領(lǐng)域的機(jī)構(gòu)間，數(shù)據(jù)缺乏流動(dòng)性和共享性。

數(shù)據(jù)標(biāo)準(zhǔn)化程度低。來(lái)自不同業(yè)務(wù)、不同時(shí)期的數(shù)據(jù)，在用途、結(jié)構(gòu)、價(jià)值和質(zhì)量水平等方面差異較大，導(dǎo)致數(shù)據(jù)的提取、整理、分析和使用的難度加大。

成本問(wèn)題。隨著用戶(hù)量和數(shù)據(jù)量的增加，訪問(wèn)和使用數(shù)據(jù)的成本也在大幅提升。

目前金融機(jī)構(gòu)大部分可利用的數(shù)據(jù)依然是傳統(tǒng)業(yè)務(wù)產(chǎn)生的數(shù)據(jù)，而外部數(shù)據(jù)源拓展不足，缺乏更高層面的統(tǒng)籌協(xié)調(diào)來(lái)支持全面的數(shù)據(jù)分析和使用。

基于以上原因，路孚特推出了自主研發(fā)的金融數(shù)據(jù)平臺(tái) RDP。該平臺(tái)應(yīng)用統(tǒng)一的存儲(chǔ)層能力匯集來(lái)自全球的海量金融數(shù)據(jù)，通過(guò)完整的清洗、分析和增值處理流程后，集中分發(fā)給用戶(hù)。

RDP研發(fā)總監(jiān)董玉棟提到，路孚特已經(jīng)與全球的證券交易所、期貨交易所等機(jī)構(gòu)建立了合作關(guān)系，從數(shù)據(jù)生產(chǎn)端獲取到一手?jǐn)?shù)據(jù)，面向全球發(fā)布到數(shù)據(jù)消費(fèi)的一端。簡(jiǎn)單來(lái)講，就是“收之全球，發(fā)之全球”。

可以說(shuō)，RDP相當(dāng)于一個(gè)全球金融行業(yè)數(shù)據(jù)的統(tǒng)籌協(xié)調(diào)中心，其目的是方便金融從業(yè)者獲取更全面的行業(yè)數(shù)據(jù)，同時(shí)盡可能減少用戶(hù)成本，增加數(shù)據(jù)價(jià)值。

RDP如何幫助金融從業(yè)者以較低的成本訪問(wèn)和使用數(shù)據(jù)？

據(jù)了解，企業(yè)在數(shù)據(jù)傳輸過(guò)程中，除了從上游不同業(yè)務(wù)數(shù)據(jù)庫(kù)中實(shí)時(shí)、定時(shí)傳輸?shù)较掠蜗到y(tǒng)之外，還需要從外部合作商、供應(yīng)商中獲取業(yè)務(wù)數(shù)據(jù)。RDP具有大數(shù)據(jù)級(jí)別的行業(yè)數(shù)據(jù)，那么，它是如何幫助金融從業(yè)者以較低的成本便捷地訪問(wèn)和使用這些數(shù)據(jù)?

RDP的解決思路是：將其核心數(shù)據(jù)存儲(chǔ)在 AWS上，為用戶(hù)提供基于元數(shù)據(jù)驅(qū)動(dòng)的統(tǒng)一的 API接口。RDP的數(shù)據(jù)和 API接口可以通過(guò)所有主流的公有云產(chǎn)品、私有云設(shè)施，以及企業(yè)自有數(shù)據(jù)中心訪問(wèn)。

從用戶(hù)角度來(lái)看，基于元數(shù)據(jù)的訪問(wèn)大大簡(jiǎn)化了客戶(hù)對(duì)數(shù)據(jù)的使用。但是，數(shù)據(jù)訪問(wèn)越便捷意味著開(kāi)發(fā)難度越高。董玉棟也提到，統(tǒng)一的 API背后，需要理解客戶(hù)不同類(lèi)型的請(qǐng)求，并能夠高效執(zhí)行，但云原生的 API網(wǎng)關(guān)并不能完全實(shí)現(xiàn)這種特性。

API網(wǎng)關(guān)處于客戶(hù)端與各個(gè)微服務(wù)之間，擔(dān)任著反向代理的角色，負(fù)責(zé)將不同的請(qǐng)求路由到相對(duì)應(yīng)的微服務(wù)中去。API網(wǎng)關(guān)可以解決客戶(hù)端需求和每個(gè)微服務(wù)暴露的細(xì)粒度 API不匹配、部分服務(wù)使用的協(xié)議非 Web友好協(xié)議等問(wèn)題。

為了提升 API性能，滿(mǎn)足用戶(hù)不同類(lèi)型的訪問(wèn)請(qǐng)求，路孚特自主研發(fā)了 API網(wǎng)關(guān)以及用戶(hù)數(shù)據(jù)權(quán)限管理系統(tǒng)。AWS中的 API網(wǎng)關(guān)會(huì)注冊(cè)其所有的 RDP API，包括內(nèi)部消費(fèi)的 API和面向客戶(hù)的 API。用戶(hù)請(qǐng)求到達(dá)以后，API網(wǎng)關(guān)會(huì)自動(dòng)驗(yàn)證用戶(hù)的權(quán)限，并保證后續(xù)的合法數(shù)據(jù)請(qǐng)求快速遞交給相應(yīng)的服務(wù)，而超出服務(wù)范圍的請(qǐng)求會(huì)自動(dòng)拒絕。董玉棟表示，所有在 RDP上的產(chǎn)品設(shè)計(jì)都是從 API定義開(kāi)始，這有助于實(shí)現(xiàn)把客戶(hù)需求放到第一位的目標(biāo)，并最大化各種 API及服務(wù)的重用性，避免重復(fù)實(shí)現(xiàn)相同的功能。

在數(shù)據(jù)分發(fā)上，RDP統(tǒng)一了流式處理、批量處理和基于請(qǐng)求的數(shù)據(jù)提供方式。對(duì)于流式數(shù)據(jù)的訪問(wèn)，董玉棟提到，這類(lèi)數(shù)據(jù)即時(shí)性很重要，RDP通過(guò)在中間做多層緩存將數(shù)據(jù)持續(xù)且高速地推送給客戶(hù)。

批量數(shù)據(jù)請(qǐng)求分為“定制批量請(qǐng)求”和“隨機(jī)批量請(qǐng)求”兩種情況。對(duì)于定制批量請(qǐng)求，RDP按照約定時(shí)間定時(shí)打包推送給用戶(hù);對(duì)于隨機(jī)批量請(qǐng)求，則采用異步打包，然后將數(shù)據(jù)提取位置發(fā)送給用戶(hù)的方式處理。

對(duì)于面向搜索的數(shù)據(jù)，董玉棟介紹：“這類(lèi)訪問(wèn)基本都是同步請(qǐng)求，實(shí)時(shí)訪問(wèn)我們的數(shù)據(jù)庫(kù)返回給客戶(hù)。有時(shí)候用戶(hù)基于搜索的數(shù)據(jù)量特別大，RDP系統(tǒng)會(huì)進(jìn)行職能預(yù)測(cè)，自動(dòng)將這一類(lèi)請(qǐng)求轉(zhuǎn)變成隨機(jī)批量數(shù)據(jù)請(qǐng)求來(lái)處理。”

那么，如何應(yīng)對(duì)諸如跨洋實(shí)時(shí)交易這類(lèi)對(duì)時(shí)效性要求非常高的超低時(shí)延數(shù)據(jù)訪問(wèn)?

趙儀解釋?zhuān)?ldquo;跨洋實(shí)時(shí)交易本身存在地理位置上的時(shí)延，再加上系統(tǒng)帶來(lái)的時(shí)延，通過(guò)云服務(wù)訪問(wèn)無(wú)法滿(mǎn)足超低時(shí)延的需求。即便是快到 70ms的時(shí)延，對(duì)于實(shí)時(shí)交易來(lái)講，也是一種延遲。”路孚特的做法是在全球部署數(shù)據(jù)中心，以此提高時(shí)效性。此外，目前公有云還無(wú)法提供具有超高時(shí)效性的數(shù)據(jù)，因此，比較合適的做法是將數(shù)據(jù)通過(guò)專(zhuān)線直接部署到用戶(hù)所在地。

科技帶給金融行業(yè)的影響顯而易見(jiàn)，在金融機(jī)構(gòu)進(jìn)行各種互聯(lián)網(wǎng)創(chuàng)新的同時(shí)，也將金融科技的重要性提升到了戰(zhàn)略高度，通過(guò) AI、大數(shù)據(jù)、云計(jì)算、區(qū)塊鏈等新興技術(shù)不斷提升金融效率和競(jìng)爭(zhēng)力，建立新的金融生態(tài)。

而大數(shù)據(jù)技術(shù)從最初的“新奇”發(fā)展到如今的“普惠”階段，用戶(hù)的關(guān)注點(diǎn)也發(fā)生了很大的改變。早期用戶(hù)比較關(guān)注“靈活”、“快”，現(xiàn)在更關(guān)心的是企業(yè)級(jí)能力，同時(shí)降低成本也變得越來(lái)越重要。目前，企業(yè)級(jí)數(shù)據(jù)平臺(tái)普遍存在的困難是高速增長(zhǎng)的數(shù)據(jù)和計(jì)算量與成本之間的矛盾。如何用更低的成本獲取更多的信息，不僅是金融從業(yè)機(jī)構(gòu)的迫切需求，也是數(shù)據(jù)平臺(tái)的核心競(jìng)爭(zhēng)點(diǎn)。

談及 RDP未來(lái)的發(fā)展重點(diǎn)，趙儀表示：“RDP的目標(biāo)主要集中在加強(qiáng)數(shù)據(jù)的統(tǒng)一存儲(chǔ)和分發(fā)能力，降低客戶(hù)獲取數(shù)據(jù)的復(fù)雜度和成本。未來(lái)將用更低的成本擴(kuò)大數(shù)據(jù)覆蓋范圍。”與此同時(shí)，RDP會(huì)繼續(xù)獲取更多的用戶(hù)需求，并把這些需求統(tǒng)一到 RDP數(shù)據(jù)分發(fā)機(jī)制里，更好地為客戶(hù)提供存儲(chǔ)和分發(fā)的能力。

用科技普惠金融，這是路孚特技術(shù)團(tuán)隊(duì)研發(fā) RDP的初心。未來(lái)，隨著 5G、AI等新興技術(shù)的發(fā)展，路孚特也將打造更加智能高效的平臺(tái)，給用戶(hù)提供更好的體驗(yàn)。

除了在技術(shù)上不斷精益求精，路孚特也在積極推動(dòng)金融科技的生態(tài)發(fā)展。11月 29日，由路孚特主辦，以“引領(lǐng)科技變革，洞見(jiàn)金融未來(lái)”為主題的 ReFinTech金融科技峰會(huì)將在北京舉行。本次大會(huì)邀請(qǐng)了金融界知名專(zhuān)家和金融科技企業(yè)技術(shù)專(zhuān)家，深度探討行業(yè)發(fā)展思路和技術(shù)演進(jìn)趨勢(shì)，分享最前沿創(chuàng)新實(shí)踐，共同打造“創(chuàng)新、聚力、發(fā)展、共贏”的金融科技生態(tài)平臺(tái)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。