華為云數(shù)據(jù)湖探索服務(wù)DLI，精細(xì)化保障企業(yè)大數(shù)據(jù)安全

隨著企業(yè)業(yè)務(wù)的不斷發(fā)展，企業(yè)大數(shù)據(jù)資產(chǎn)在企業(yè)輔助決策、用戶畫像、推薦系統(tǒng)等諸多業(yè)務(wù)流程中扮演著越來越重要的作用，如何保證企業(yè)大數(shù)據(jù)在滿足各業(yè)務(wù)部門數(shù)據(jù)訪問需求的同時(shí)又能精細(xì)化保障數(shù)據(jù)訪問安全、避免數(shù)據(jù)泄露是每個(gè)企業(yè)大數(shù)據(jù)資產(chǎn)管理者必須關(guān)注的話題。

結(jié)合在華為云數(shù)據(jù)湖探索服務(wù)（DLI）中的技術(shù)沉淀與豐富的企業(yè)數(shù)據(jù)安全管理經(jīng)驗(yàn)，本文從以下幾點(diǎn)來探討如何精細(xì)化保障企業(yè)大數(shù)據(jù)安全。

1、企業(yè)大數(shù)據(jù)的安全挑戰(zhàn)；2、數(shù)據(jù)資產(chǎn)權(quán)限管理的通用做法；3、以華為云數(shù)據(jù)湖探索服務(wù)（DLI）為例，對數(shù)據(jù)資產(chǎn)管理的實(shí)踐&案例分析；4、未來展望。

企業(yè)大數(shù)據(jù)的安全挑戰(zhàn)

企業(yè)大數(shù)據(jù)日積月累，自然面臨著大數(shù)據(jù)安全的挑戰(zhàn)：數(shù)據(jù)來源廣泛，來源于不同的業(yè)務(wù)單元，又要服務(wù)于各種業(yè)務(wù)單元，還需要對不同層級的員工設(shè)置不一樣的權(quán)限。如何防范企業(yè)數(shù)據(jù)不被未經(jīng)授權(quán)的用戶訪問，管理數(shù)據(jù)在不同業(yè)務(wù)單元的共享，隔離企業(yè)敏感數(shù)據(jù)……企業(yè)可能面臨著以下的挑戰(zhàn)：

  數(shù)據(jù)隔離：不同的項(xiàng)目業(yè)務(wù)數(shù)據(jù)需要隔離，如游戲運(yùn)營數(shù)據(jù)，企業(yè)在設(shè)計(jì)大數(shù)據(jù)分析平臺時(shí)可能期望A游戲產(chǎn)生的業(yè)務(wù)數(shù)據(jù)用來支撐A游戲運(yùn)營分析，B游戲產(chǎn)生的業(yè)務(wù)數(shù)據(jù)是支撐B游戲運(yùn)營分析，那么需要對業(yè)務(wù)數(shù)據(jù)按項(xiàng)目進(jìn)行隔離，A游戲運(yùn)營部門員工只可訪問A游戲運(yùn)營數(shù)據(jù)，B游戲運(yùn)營部門員工只可訪問B游戲運(yùn)營數(shù)據(jù)。

  數(shù)據(jù)分層訪問：不同層級業(yè)務(wù)部門對數(shù)據(jù)具備不同的訪問權(quán)限，高層級部門可以訪問底層級部門的數(shù)據(jù)，而低層級部門不可訪問高層級部門的數(shù)據(jù)。如省級部門可以訪問地市級數(shù)據(jù)，而地市級部門只可訪問本地市數(shù)據(jù)，不可訪問跨區(qū)數(shù)據(jù)，也不可訪問省級部門數(shù)據(jù)。這就要求對數(shù)據(jù)的權(quán)限管理需要具備分層管理能力，能夠分層級授予不同的權(quán)限。

  列級數(shù)據(jù)授權(quán)：不同業(yè)務(wù)部門對同一份數(shù)據(jù)的訪問權(quán)限要求不同，所以要求能夠?qū)?shù)據(jù)進(jìn)行精細(xì)化授權(quán)。如銀行系統(tǒng)中，用戶表中的身份證號信息是敏感信息，柜臺系統(tǒng)可以查詢用戶的身份證號，但推薦系統(tǒng)就不需要身份證信息，只需要用戶ID就可以了。這種場景下需要對用戶表能夠分列授權(quán)，對不同的業(yè)務(wù)單元不同的權(quán)限。

  批量授權(quán)：隨著企業(yè)規(guī)模的增大，企業(yè)員工可能非常龐大，分部門授權(quán)，批量授權(quán)也是很常見的業(yè)務(wù)場景。例如銷售部門下面員工很多，如果單個(gè)單個(gè)的給銷售人員授權(quán)，會非常麻煩，人員流動時(shí)取消授權(quán)也很復(fù)雜，這時(shí)就需要能夠批量授權(quán)或者基本角色的授權(quán)模型，來實(shí)現(xiàn)一次授權(quán)，部門內(nèi)員工均可使用的目的。

數(shù)據(jù)資產(chǎn)權(quán)限管理的通用做法

目前比較流行的大數(shù)據(jù)分析平臺的有HADOOP，HIVE，SPARK等，它們使用的權(quán)限模型有POSIX模型，ACL模型，SQL Standard模型和RBAC模型。其中HADOOP大數(shù)據(jù)平臺使用了POSIX和ACL權(quán)限模型來管理數(shù)據(jù)，HIVE和SPARK使用了ACL和RBAC權(quán)限模型來管理數(shù)據(jù)。

POSIX權(quán)限模型是基于文件的權(quán)限模型，與Linux系統(tǒng)的文件系統(tǒng)權(quán)限類似。即一個(gè)文件有相應(yīng)的OWNER和GROUP,只能支持設(shè)置OWNER, GROUP和其他用戶的權(quán)限，可授權(quán)限也只有讀寫執(zhí)行權(quán)限。這種模型不適用于企業(yè)用戶，有一個(gè)明顯的缺點(diǎn)就是它只有一個(gè)GROUP，不能實(shí)現(xiàn)不同的GROUP,有不同的權(quán)限，也無法實(shí)現(xiàn)精細(xì)化的權(quán)限管理，只能在文件級授權(quán)，所授權(quán)限也只有讀寫與執(zhí)行權(quán)限。

ACL即Access Control List, ACL權(quán)限模型可以彌補(bǔ)POSIX權(quán)限模型的不足，可以實(shí)現(xiàn)比較精細(xì)化的權(quán)限管理。通過設(shè)置訪問控制列表，我們可以授予某一個(gè)用戶多個(gè)權(quán)限，也可以授予不同的用戶不同的權(quán)限。但ACL也有明顯的缺點(diǎn)，當(dāng)用戶數(shù)較大時(shí)，ACL列表會變得龐大而難以維護(hù)，這在大企業(yè)中問題尤其明顯。

RBAC（Role-Based Access Control）模型也是業(yè)界常用的一種權(quán)限模型。是基于用戶角色的權(quán)限管理模型，其首先將一個(gè)或多個(gè)權(quán)限授權(quán)某一個(gè)角色，再把角色與用戶綁定，也實(shí)現(xiàn)了對用戶的授權(quán)。一個(gè)用戶可以綁定一個(gè)或多個(gè)角色，用戶具備的權(quán)限為所綁定角色權(quán)限的并集。RBAC可以實(shí)現(xiàn)批量授權(quán)，可以靈活維護(hù)用戶的權(quán)限，是當(dāng)前比較流行的權(quán)限管理模型。

SQL Standard模型是HIVE/Spark使用權(quán)限模型之一，本質(zhì)是使用SQL方式的授權(quán)語法來管理權(quán)限。HIVE中的權(quán)限模型也是基于ACL和RBAC模型，即可以給單獨(dú)的用戶直接授權(quán)，也可能通過角色進(jìn)行授權(quán)。

以華為云DLI為例，對數(shù)據(jù)資產(chǎn)管理

DLI結(jié)合了ACL和RBAC兩種權(quán)限模型來管理用戶權(quán)限。DLI中涉及到的概念有：

DLI用戶：DLI用戶為IAM賬號及其下的子用戶，下面訪問權(quán)限說明的用戶均指IAM賬號及其下的子用戶。

DLI資源：DLI的資源分為數(shù)據(jù)庫(Database)，表（table）,視圖（View），作業(yè)（Job）和隊(duì)列(Queue)。資源是按項(xiàng)目隔離的，不同項(xiàng)目的資源不可互相訪問。表和視圖是數(shù)據(jù)庫(Database)下的子資源。

DLI權(quán)限：DLI權(quán)限為執(zhí)行DLI相關(guān)操作所需要的權(quán)限。DLI中的權(quán)限比較細(xì)，每項(xiàng)操作對應(yīng)的權(quán)限都不一樣，如創(chuàng)建表對應(yīng)CREATE_TABLE權(quán)限，刪除表對應(yīng)DROP_TABLE權(quán)限, 查詢對應(yīng)SELECT權(quán)限等等。

DLI使用統(tǒng)一身份認(rèn)證（IAM）的策略和DLI的訪問控制列表（ACL）來管理資源的訪問權(quán)限。其中統(tǒng)一身份認(rèn)證（IAM）的策略控制項(xiàng)目級資源的隔離和定義用戶為項(xiàng)目的管理員還是普通用戶。訪問控制列表（ACL）控制隊(duì)列，數(shù)據(jù)庫，表，視圖，列的訪問權(quán)限和授權(quán)管理。

DLI使用統(tǒng)一身份認(rèn)證來完成用戶認(rèn)證和用戶角色管理。DLI在IAM中預(yù)定義了幾個(gè)角色：Tenant Administrator（租戶管理員），DLI Service Admin（DLI管理員），DLI Service User（DLI普通用戶）。其中具備租戶管理員或DLI管理員角色的用戶在DLI內(nèi)是管理員，可以操作該項(xiàng)目的所有資源，包括創(chuàng)建數(shù)據(jù)庫，創(chuàng)建隊(duì)列，操作項(xiàng)目下的數(shù)據(jù)庫，表，視圖，隊(duì)列，作業(yè)。普通用戶不可創(chuàng)建數(shù)據(jù)庫，不可創(chuàng)建隊(duì)列，依賴管理員的授權(quán)，可以執(zhí)行創(chuàng)建表，查詢表等操作。

DLI使用ACL和RBAC兩種模型來管理用戶權(quán)限。管理員或資源的所有者可以授予另外一個(gè)用戶單個(gè)或多個(gè)權(quán)限，也可能創(chuàng)建角色，授予權(quán)限給創(chuàng)建好的角色，然后綁定角色和用戶。

DLI提供了API和SQL語句兩種方式來實(shí)現(xiàn)以上權(quán)限管理，方便用戶靈活授權(quán)。具體使用方式可以參考DLI的權(quán)限管理。

案例分析

拿銀行的大數(shù)據(jù)實(shí)踐來分析下如何利用DLI來管理數(shù)據(jù)的權(quán)限。眾所周知，銀行積累了大量的用戶數(shù)據(jù)，包括用戶信息，交易信息，賬戶信息等等數(shù)以億計(jì)的數(shù)據(jù)。而銀行業(yè)務(wù)也是非常的復(fù)雜，涉及到柜員系統(tǒng)，監(jiān)管部門，運(yùn)營部門，營銷部門等等各個(gè)業(yè)務(wù)線，各業(yè)務(wù)線對數(shù)據(jù)的要求不同，訪問的權(quán)限不同。我們拿反洗錢業(yè)務(wù)與畫像業(yè)務(wù)來簡單介紹下如何利用DLI平臺實(shí)現(xiàn)大數(shù)分析和數(shù)據(jù)資產(chǎn)權(quán)限管理。

典型的反洗錢業(yè)務(wù)一般是大額預(yù)警和黑名單機(jī)制，需要從海量的交易數(shù)據(jù)中篩選出大額交易或者是黑名單人員交易數(shù)據(jù)，將這些數(shù)據(jù)反饋給監(jiān)管人員進(jìn)行進(jìn)一步分析，涉及到的數(shù)據(jù)是交易數(shù)據(jù)，賬戶信息和黑名單信息。

畫像一般會分析用戶的交易類型與交易數(shù)據(jù)，推斷出用戶的興趣愛好，給用戶畫像，標(biāo)記用戶的興趣點(diǎn)在哪些地方。涉及交易信息中的交易類型和賬號信息。

在這兩項(xiàng)業(yè)務(wù)中，在DLI中，由數(shù)據(jù)管理員生成生成用戶信息表，交易數(shù)據(jù)表，賬戶信息表，黑名單信息表，并導(dǎo)入相應(yīng)的數(shù)據(jù)。在反省錢業(yè)務(wù)，授予反洗錢業(yè)務(wù)部門或人員賬戶信息表的查詢權(quán)限，交易數(shù)據(jù)表的查詢權(quán)限，黑名單信息的查詢權(quán)限，通過對賬戶信息表和交易數(shù)據(jù)表和黑名單表的聯(lián)合查詢，可以查找出異常交易信息及相關(guān)交易人員，反饋給反洗錢監(jiān)管人員。在畫像業(yè)務(wù)中，由數(shù)據(jù)管理員授予畫像業(yè)務(wù)部門或人員用戶信息表的查詢權(quán)限，交易數(shù)據(jù)表中交易金額和交易類型，交易商戶等列的查詢權(quán)限，賬戶信息表中的賬戶ID和用戶ID列的查詢權(quán)限，經(jīng)過這幾張表的聯(lián)合與聚合查詢，找出用戶常用交易信息，包含交易類型，金額，及相關(guān)地點(diǎn)等信息，描繪出用戶畫像信息。

未來展望

傳統(tǒng)企業(yè)數(shù)據(jù)資產(chǎn)面臨著幾個(gè)難題。各業(yè)務(wù)部門均會產(chǎn)生數(shù)據(jù)，數(shù)據(jù)標(biāo)準(zhǔn)不一致，維護(hù)復(fù)雜。各業(yè)務(wù)部門數(shù)據(jù)存在在不同的系統(tǒng)中，數(shù)據(jù)容易形成孤島，無法有效挖掘利用。部門間數(shù)據(jù)共享復(fù)雜，容易形成網(wǎng)狀授權(quán)網(wǎng)絡(luò)，維護(hù)成本巨大。

數(shù)據(jù)中臺方案可以解決這樣的難題，使用統(tǒng)一的數(shù)據(jù)管理平臺，統(tǒng)一的數(shù)據(jù)存儲，統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，進(jìn)行統(tǒng)一的數(shù)據(jù)資產(chǎn)管理，統(tǒng)一進(jìn)行授權(quán)管理，這也DLI探索的一個(gè)方向。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。