資料中臺與傳統大資料平臺有何不同？這篇文章可以幫忙解答

導讀：

我們可以這樣理解，傳統大資料平臺和資料倉庫是資料中臺的資料來源，建設資料中臺是為了更好地服務於業務部門。

圖1-1顯示了資訊化系統、資料倉庫、傳統大資料平臺、資料中臺之間的關係，其中的箭頭表示資料的主要流向。

▲圖1-1 資料中臺與傳統大資料平臺、資料倉庫的關係

資料中臺與傳統大資料平臺到底有什麼區別？為了敘述方便，我們先給出傳統大資料平臺的架構（見圖1-2）。

▲圖1-2 傳統大資料平臺

大資料基礎能力層：Hadoop、Spark、Hive、HBase、Flume、Sqoop、Kafka、 Elasticsearch等。

在大資料元件上搭建的 ETL流水線，包括資料分析、機器學習程式。

資料治理系統。

資料倉庫系統。

資料視覺化系統。

可以看到，這些是傳統大資料平臺的核心功能。在很多大資料專案裡，只要把這些系統搭起來，每天可以生成業務報表（包括實時大屏），就算大資料平臺搭建成功了。

但資料中臺應該是大資料平臺的一個超集。我們認為，在大資料平臺的基礎之上，資料中臺還應該提供下面的系統功能。

1. 全域性的資料應用資產管理

這裡所說的資料應用資產管理包括整個生態系統中的資料和應用。傳統的資料資產管理絕大部分只包括關係型資料庫中的資產（包括Hive），而一個數據中臺應該管理所有結構化、非結構化的資料資產，以及使用這些資料資產的應用。

如果傳統的資料資產管理提供的是資料目錄，那麼資料中臺提供的應該是擴充套件的資料及應用目錄。

要避免重複造輪子，首先要知道系統中有哪些輪子，因此維護一個系統中資料及資料應用的列表是很關鍵的。

2. 全域性的資料治理機制

與傳統的資料治理不一樣，資料中臺必須提供針對全域性的資料治理工具和機制。傳統資料倉庫中的資料建模和資料治理大多針對一個特定部門的業務，部分原因是全域性資料建模和治理週期太長，由於存在部門之間的協調問題，往往難度很大。

資料中臺提供的資料治理機制必須允許各個業務部門自主迭代，但前提是要有全域性一致的標準。阿里提出的

OneID

強調全域性統一的物件ID（例如使用者ID），就屬於這個機制。

3. 自助的、多租戶的資料應用開發及釋出

現有的絕大部分大資料平臺要求使用者具備一定的程式設計能力。

資料中臺強調的是為業務部門賦能

，而業務人員需要有一個自助的、可適應不同水平和能力要求的開發平臺。這個開發平臺要能夠保證資料隔離和資源隔離，這樣任何一個使用系統的人都不用擔心自己會對系統造成損害。

4. 資料應用運維

使用者應該可以很方便地將自己開發的資料應用自助釋出到生產系統中，而無須經過專門的資料團隊。因為我們需要共享這些應用及其產生的資料，所以需要有類似於CI/CD的專門系統來管理應用的程式碼質量和進行版本控制。

在資料應用執行過程中產生的資料也需要全程監控，以保證資料的完整性、正確性和實時性。

5. 資料應用整合

應該可以隨時整合新的資料應用。新的大資料應用、人工智慧工具不斷湧現，我們的系統應該能夠隨時支援這些新應用。如果資料中臺不能支援這些應用，各個業務部門可能又會打造自己的小叢集，造成新的資料孤島及應用孤島。

6. 資料即服務，模型即服務

資料分析的結果，不管是統計分析的結果，還是機器學習生成的模型，應該能夠很快地使用無程式碼的方式釋出，並供全機構使用。

7. 資料能力共享管理

大部分資料能力應當具有完善的共享管理機制、方便安全的共享機制以及靈活的反饋機制。最後決定資料如何使用的是獨立的個人，他們需要一套獲取資訊的機制，因此在機構內部必須要有這樣的共享機制，才能真正讓資料用起來。

8. 完善的運營指標

資料中臺強調的是可衡量的資料價值，因此，對於資料在系統中的使用方式、被使用的頻率、最後產生的效果，必須要有一定的運營指標，才能驗證資料的價值和資料中臺專案的效率。

綜合上面的討論，除了阿里巴巴提出的OneID、OneModel、OneService之外，我們認為

資料中臺還應該滿足以下兩個要求。

1. TotalPlatform

所有中臺資料及相關的應用應該在統一平臺中統一管理。

如果有資料儲存在中臺管理不到的地方，或者有人在中臺未知的情況下使用資料，我們就無法真正實現對資料的全域性管理。這要求資料中臺能快速支援新的資料格式和資料應用，便於資料工具的共享，而無須建立一個分離的系統。

2. TotalInsight

資料中臺應該能夠理解並管理系統中資料的流動，提供資料價值的定量衡量，明確各個部門的花費和產出。

整個中臺的運營是有序可控的，而不是一個黑盒子，使用者可以輕鬆理解全域性的資料資產和能力

，從系統中快速實現資料變現。

如圖1-3所示，資料中臺可以說是按照一定的規範要求建設的資料能力平臺，在資料倉庫、大資料平臺、資料服務、資料應用的建設中實現了符合OneID、OneModel、OneService的資料層。

這個資料層，加上在其上建立的業務能力層以及運營這個資料中臺需要的TotalPlatform、TotalInsight，形成我們看到的資料中臺。

▲圖1-3 資料中臺的五大要求