只需六步，看透資料中臺架構

本文將透過對資料中臺架構的介紹，讓大家瞭解資料中臺總體架構、包含的模組、模組之間的關係以及運轉機制。

作者 | Brian Merchant

譯者 | 譚開朗，責編 | 屠敏

資料中臺的目標是讓資料持續用起來，透過資料中臺提供的工具、方法和執行機制，把資料變為一種服務能力，讓資料更方便地被業務所使用。下圖所示為資料中臺總體架構圖，資料中臺是在底層儲存計算平臺與上層的資料應用之間的一整套體系。資料中臺遮蔽掉底層儲存平臺的計算技術複雜性，降低對技術人才的需求，讓資料的使用成本更低。透過資料中臺的資料匯聚、資料開發模組建立企業資料資產。透過資產管理與治理、資料服務把資料資產變為資料服務能力，服務於企業業務。資料安全體系、資料運營體系保障資料中臺可以長期健康、持續運轉。

資料中臺總體架構圖

資料匯聚

資料匯聚是資料中臺資料接入的入口。資料中臺本身幾乎不產生資料，所有資料來自於業務系統、日誌、檔案、網路等，這些資料分散在不同的網路環境和儲存平臺中，難以利用，很難產生業務價值。資料匯聚是資料中臺必須提供的核心工具，把各種異構網路、異構資料來源的資料能夠方便地採集到資料中臺進行集中儲存，為後續的加工建模做準備。資料匯聚方式一般有資料庫同步、埋點、網路爬蟲、訊息佇列等；從匯聚的時效性來分，有離線批次匯聚和實時採集。

資料開發

透過資料匯聚模組匯聚到中臺的資料，沒有經過什麼處理，基本是按照資料的原始狀態堆砌在一起的，這樣業務還是很難使用。資料開發是一整套資料加工以及加工過程管控的工具，有經驗的資料開發、演算法建模人員利用資料加工模組提供的功能，可以快速把資料加工成對業務有價值的形式，提供給業務使用。資料開發模組主要是面向開發、分析人員，提供離線、實時、演算法開發工具以及任務的管理、程式碼釋出、運維、監控、告警等一些列整合工具，方便使用，提升效率。

資料資產體系

有了資料匯聚、資料開發模組，中臺已經具備傳統數倉平臺的基本能力，可以做資料的匯聚以及各種資料開發，就可以建立企業的資料資產體系。之前說資料資產體系是中臺的血肉，開發、管理、使用的都是資料。大資料時代，資料量大，增長快，業務對資料的依賴也會越來越高，必須考慮資料的一致性和可複用性，垂直煙囪式的資料和資料服務的建設方式註定不能長久存在。不同的企業因業務不同導致資料不同，資料建設的內容也是不同的，但是建設方法可以相似，資料要統一建設，筆者建議資料按照貼源資料、統一數倉、標籤資料、應用資料的標準統一建設。

資料資產管理

透過資料資產體系建立起來的資料資產還是一套偏技術的資料體系，業務人員比較難理解。資產管理是以企業全員更好理解的方式，把企業的資料資產展現給企業全員（當然要考慮許可權和安全管控），資料資產管理包括對資料資產目錄、元資料、資料質量、資料血緣、資料生命週期等進行管理和展示，以一種更直觀的方式展現企業的資料資產，提升企業的資料意識。

資料服務體系

前面利用資料匯聚、資料開發建設企業資料資產，利用資料管理展現企業的資料資產，但是並沒有發揮資料的價值。資料服務體系就是把資料變為一種服務能力，透過資料服務讓資料參與到業務，啟用整個資料中臺，資料服務體系是資料中臺存在的價值所在。企業的資料服務是千變萬化的，中臺產品可以帶有一些標準服務，但是很難滿足企業的服務訴求，大部分服務還是需要透過中臺的能力快速定製。資料中臺的服務模組並沒有自帶很多服務，而是提供快速的服務生成能力以及服務的管控、鑑權、計量等功能。

運營體系和安全體系

透過前面的資料匯聚、資料開發、資料資產、資產管理、資料服務，已經完成了整個資料中臺的搭建和建設，也已經在業務中發揮一定的價值。運營體系和安全體系是資料中臺得以健康、持續運轉的基礎，如果沒有它們，資料中臺很可能像個一般專案一樣，一期搭建起平臺、建設部分資料、嘗試一兩個應用場景之後而止步，無法正常地持續運營，不能持續發揮資料應用價值。這也就完全達不到建設資料中臺的目標。

推薦閱讀：

什麼是資料中臺？什麼樣的企業需要建資料中臺？資料中臺應該如何架構與設計？建設資料中臺的系統方法論是什麼？一個完整的資料中臺有哪些組成部分？如何從0到1實現一個數據中臺？資料中臺應該如何運營？資料中臺的安全如何保障？

……

以上所有問題都能在本書中找到答案！

【End】