ADM敏捷數據管理(lǐ)解決方案-

需求場景
需求分(fēn)析
解決方案
方案優勢

需求場景

金融業作(zuò)為(wèi)資金密集型行業，數據具(jù)有(yǒu)高敏感性和高價值性的特征，因此對數據的安(ān)全使用(yòng)有(yǒu)着極高的要求，如何安(ān)全地使用(yòng)數據、最大程度地發揮其價值，是金融業一直以來研究的課題，開發測試業務(wù)作(zuò)為(wèi)數據使用(yòng)頻繁的典型應用(yòng)場景，受到金融用(yòng)戶重點的關注，如何滿足開發測試環境對數據的申請要求、如何提升數據交付的效率、如何管理(lǐ)數據使用(yòng)的版本等，是開發測試部門常見的工(gōng)作(zuò)需求，金融用(yòng)戶通過滿足開發測試人員日常面臨的數據使用(yòng)與管理(lǐ)需求，達到顯著縮短業務(wù)上線(xiàn)周期的目标。

需求分(fēn)析

要求縮短測試數據的交付時間項目的開發及測試是有(yǒu)時間周期的，由于數據量較大、數據申請較為(wèi)頻繁，一般一份數據的準備時間在一周左右，等待數據的時間較久，此問題不解決，将會成為(wèi)開發測試提升效率的瓶頸。所以，如何提升數據副本的交付效率，是開發測試場景中(zhōng)首先要考慮的需求。
要求滿足不同的數據申請需求對于開發測試業務(wù)而言，數據的需求是多(duō)樣的，有(yǒu)的要求某個時間點的數據，有(yǒu)的要求當天或前一天的數據；針對新(xīn)上線(xiàn)的業務(wù)系統，還會有(yǒu)造數需求。針對不同數據申請需求，要求全部滿足，需要考慮多(duō)種數據獲取方式。
要求敏感數據使用(yòng)前進行脫敏在使用(yòng)數據的時候，既要考慮到敏感數據的安(ān)全性問題，又(yòu)要考慮到工(gōng)作(zuò)效率問題，因此，在對數據交付使用(yòng)前，需要對敏感數據做相應的處理(lǐ)工(gōng)作(zuò)。要做到最大程度發現敏感信息，确保敏感數據不遺漏，還需要做到對敏感數據的仿真脫敏，以使得敏感數據脫敏後滿足校驗要求。
要求數據使用(yòng)流程閉環開發測試使用(yòng)的數據，多(duō)為(wèi)從生産(chǎn)系統中(zhōng)獲取的數據，基于安(ān)全和效率考慮，需要将數據獲取、數據存儲、數據交付、數據管理(lǐ)、數據回收實現全流程的閉環管理(lǐ)。
要求對副本數據進行高可(kě)用(yòng)保護交付到開發測試環境的數據，雖說是經過處理(lǐ)的副本數據，但對于開發測試人員來講，該數據為(wèi)測試基準數據，需要考慮到副本數據的保護問題，一旦發生故障，能(néng)夠快速恢複副本數據，不影響副本數據的正常使用(yòng)。

解決方案

考慮到數據的多(duō)種獲取方式及數據的閉環管理(lǐ)，在生産(chǎn)域、備份域和測試域分(fēn)别部署一台敏捷數據管理(lǐ)平台ADM Server：生産(chǎn)域的ADM Server用(yòng)于直接備份生産(chǎn)數據，以獲取實時性的副本數據；備份域的ADM Server用(yòng)于從NBU/CommVault備份系統中(zhōng)獲取備份數據，以獲取任意時間點的副本數據；測試域的ADM Server用(yòng)于接收生産(chǎn)域或備份域處理(lǐ)後的副本數據，用(yòng)于測試環境的數據交付域。
生産(chǎn)域、備份域均屬于生産(chǎn)網絡，而測試域屬于測試網絡，兩個網絡是獨立的，考慮到安(ān)全性與數據的傳輸效率，需要将生産(chǎn)網絡與測試網絡單向打通。
生産(chǎn)域的ADM Server可(kě)用(yòng)于實時備份有(yǒu)頻繁交付數據需求的業務(wù)系統，可(kě)實現備份集備份、原格式備份兩種備份方式。
備份域的ADM Server可(kě)用(yòng)于從NBU/CommVault備份系統中(zhōng)獲取任意時間點的備份數據，并且在獲取數據的同時，也可(kě)以幫助用(yòng)戶解決備份數據恢複校驗的問題。
測試域的ADM Server可(kě)用(yòng)于滿足研發/測試環境的數據交付、副本數據版本管理(lǐ)、副本數據版本切換、副本數據回收等需求。

方案優勢

1.測試數據快速交付

敏捷數據管理(lǐ)平台ADM采用(yòng)創新(xīn)型技(jì )術——數據庫虛拟化技(jì )術幾分(fēn)鍾内創建完成虛拟數據庫，快速将已經脫敏過的數據作(zuò)為(wèi)黃金副本傳輸到開發測試網，有(yǒu)效減少開發測試場景中(zhōng)測試數據的準備時間，提高了開發測試環境搭建的效率；
多(duō)份虛拟數據庫讀寫操作(zuò)獨立，完全滿足測試環境多(duō)場景同步測試的需求。

2.測試數據存儲節約

ADM内置獨有(yǒu)的高效壓縮存儲池，壓縮比達3:1，顯著降低了基礎數據源獲取的存儲成本，一份基礎數據源，可(kě)挂載多(duō)份虛拟數據庫，節約了存儲成本10倍以上，快照共享降低了持續增長(cháng)的副本數據存儲成本。

3.測試數據動态快照版本管理(lǐ)

ADM快照功能(néng)，可(kě)以靈活對虛拟數據庫的狀态進行管理(lǐ)和維護，便于開發測試的數據版本叠代。動态快照的使用(yòng)保證了虛拟數據庫持續對外提供服務(wù)，不影響測試業務(wù)的連續性。

4.測試數據集中(zhōng)統一管理(lǐ)

測試數據具(jù)有(yǒu)數據副本多(duō)、數據版本多(duō)的特性，人為(wèi)管理(lǐ)容易形成較多(duō)的僵屍數據，造成存儲資源的浪費，通過ADM管理(lǐ)測試數據，可(kě)以形成閉環流程，集中(zhōng)統一管理(lǐ)測試數據的交付與版本管理(lǐ)，提升數據管理(lǐ)效率的同時，杜絕了僵屍數據的産(chǎn)生。

5.測試數據系統可(kě)視化管理(lǐ)

測試環境的數據，版本繁多(duō)，傳統人為(wèi)創建副本保存的測試數據，很(hěn)難形成有(yǒu)效的數據血統管理(lǐ)，通過ADM的部署，利用(yòng)可(kě)視化的結構拓撲圖，可(kě)以清晰展現數據版本間的血統關系，對數據的使用(yòng)一目了然。

6.數據脫敏保證金融數據安(ān)全

ADM平台具(jù)備數據脫敏管理(lǐ)模塊，可(kě)實現自動掃描識别敏感數據，精(jīng)準定位敏感數據源，提供豐富的仿真脫敏算法，保證脫敏後的數據關系一緻，異構和并發脫敏提升了數據脫敏的效率，降低了數據洩露的風險。 ADM的數據副本管理(lǐ)與數據脫敏管理(lǐ)可(kě)以實現良好的聯動，不僅能(néng)夠快速準備脫敏數據源，還能(néng)實現脫敏數據的快速分(fēn)發。