關於資料治理，你需要知道的一些基本概念

過去幾年裡，資料治理作為資料的核心管理手段，得到了政府、企業、個人的高度關注， 伴隨著理論、法律、政策、產業的一系列實質性變化 ，各方正在將資料治理納入到政務活動、企業治理、經營管理等領域， 資料治理的理念、法規、方法、工具也得到了蓬勃發展。

簡單來說，

資料治理就是實現資料價值的過程。通俗的理解就是讓企業的資料從不可控、不可用、不好用到可控、方便易用且對業務有極大幫助的過程。

這個過程怎麼實現？透過採集、傳輸、儲存等一系列標準化流程將原本零散的資料變成格式規範、結構統一的資料，同時對其進行嚴格規範的綜合資料監控，保證資料質量；然後對這些標準化的資料進行進一步的加工分析，形成具有指導意義的業務監控報表、業務監控模型等，來幫助企業進行輔助決策。

今天小億就來為大家普及一些與資料治理有關的基本概念。

一、

元資料

元資料是關於資料的資料，是為了描述資料的相關資訊而存在的資料。

元資料按照其描述物件的不同可以分為三大類，分別是“

技術元資料

”、“

業務元資料

”、“

管理元資料

”。

1.技術元資料

技術元資料主要是描述系統中技術領域的相關概念資訊，包括資料結構、資料處理方面的特徵描述，以及資料來源介面、資料倉庫、資料集市、儲存等全面資料處理環節的資訊。這類元資料主要被系統建設的技術人員使用。主要有以下幾類型別，如圖所示：

2.業務元資料

業務元資料主要用來描述記錄在系統中業務的相關概念等資訊，包括業務術語、資訊分類、指標定義、業務規則等內容。它提供了介於使用者和實際系統之間的語義層，使得不懂計算機技術的業務人員也能夠“讀懂”資料倉庫中的資料。這類元資料主要的使用者是業務人員和公司決策人員，主要有以下幾種型別，如圖所示：

3.管理元資料

管理元資料用來定義系統中涉及管理領域的相關概念等資訊，包括人員角色、崗位職責等內容，例如對專案管理、IT運維、IT資源裝置等相關資訊的描述，這裡元資料主要被企業IT部門的管理人員使用。利用此類元資料可以進行工作分配、網路資源等方面的管理。

管理元資料進一步細分又可以劃分出

認責元資料、稽核元資料、安全元資料、操作元資料、儲存元資料等分類

。例如操作元資料有系統執行日誌；訪問模式、訪問頻率和執行時間；程式名稱和描述；版本維護等；備份、歸檔時間、歸檔儲存資訊等。

不管分類如何變化，實質性內容都是圍繞資料的統一定義、資料的標準規範、資料的處理過程、資料

儲存要求、資料的安全管理要求等等內容進行規範管理。

二、

主資料

主資料是指滿足跨部門業務協同需要的，反映核心業務實體狀態屬性的基礎資訊。

舉個例子，公司的員工資訊，存在於很多業務系統裡，比如人力系統、財務系統、OA系統，以及考勤系統等，但每個系統所需要的資訊可能不一樣，財務系統需要員工開放資訊，比如從哪個銀行開戶，賬號是什麼，這樣方便打款；人力系統可能只是需要員工的一些入職資訊。

這樣的員工資訊就屬於主資料，它在很多企業業務系統被使用，同時還能反映這個員工本身的一些屬性。類比下，還有產品、物料、客商、客戶、供應商等主資料。

1.客商主資料

客商是指與企業有外部交易往來的實體組織，包括客戶和供應商。企業規模較大時，客戶與供應商就具有了較高的重合度，企業就會將這些外部交易物件作為“客商”來統一管理。

客商主資料則是指能滿足跨部門業務協同需要的，反映客商實體狀態屬性的基礎資訊。

我們可以把客商主資料看作是“神經中樞”，連結著企業的原材料採購、加工、產品包裝、質檢、銷售、倉庫物流、客戶滿意度評價等多個環節，它的及時性和有效性，影響著每個環節資訊的精準分析和決策，從而影響企業在市場競爭中的地位。

2.物料主資料

物料是我國生產領域中的一個專業術語，在生產領域流轉的一切材料包括：原材料、零部件、半成品、外協件、產成品以及生產過程中必然產生的邊角餘料、廢料以及各種其他廢物料。在財務核算上屬於資產類存貨科目的物品。

物料主資料包含了對所有企業所採購、生產和儲存在庫存中物料的描述，主要記錄某種物料的各種引數、屬性及其相關資訊，比如物料編碼、物料描述、物料型別和財務成本資訊等。

它是企業中有關物料資訊的物料資料程式碼庫，將所有的物料資料整合在單一的物料資料庫中，消除了資料冗餘的問題，而且不僅允許採購部門使用這些資料，而且其它應用部門 （例如庫存管理、物料計劃及控制、發票校驗等）也可以使用這些資料。

三、

資料標準

資料標準是指企業為保障資料的內外部使用和交換的一致性和準確性而制定的規範性約束。

而資料標準管理則是一套由管理制度、管控流程、技術工具共同組成的體系，是透過這套體系的推廣，應用統一的資料定義、資料分類、記錄格式和轉換、編碼等實現資料的標準化。

資料標準由

業務標準

、

技術標準

和

管理標準

組成。例如：資料項的業務定義、業務規則、質量規則為該資料的業務標準；資料項的名稱、編碼、型別、長度等為該資料的技術標準；資料的管理流程、管理部門、管理人員為該資料的管理標準。

1.業務標準規範

透過對實體資料的標準化定義，解決了資料不一致、不完整、不準確等問題，通知資料的內容範圍需要核定，主要和業務強關聯，由基礎指標和計算指標標準組成，具有特定的業務含義。

2.技術標準規範

資料範圍規範工作完成之後，需要對資料的編碼規則、命名規則進行規範，主要包括資料來源、資料項、邏輯模型標準、物理模型標準、元資料、公共碼值標準等；

3.管理標準規範

資料標準管理是一個涉及範圍廣、業務複雜、資料繁雜的工程。資料標準管理絕非是一個部門的事情，不能在企業的單一部門得到解決。資料管理制度章程是確保對標準資料管理進行有效實施的認責制度。建立標準資料管理制度和流程體系是需要明確標準資料的歸口部門和崗位，明確各崗位職責，明確每個標準資料的申請、審批、變更、共享的流程。需要從整個組織考慮，建立專業的資料管理組織體系，明確資料標準工作的目標和內容，並監督及考核資料標準的貫徹與執行。

四、

資料質量

資料質量是指在業務環境下，資料符合資料消費者的使用目的，資料質量需要滿足業務場景具體的需求。

資料質量包含兩個方面：

資料自身的質量

和

資料的過程質量

。

資料自身的質量

很好理解，比如資料必須真實準確地反映實際發生的業務，任何業務操作的資料都沒有被遺漏，資料存在各種約束條件，這種約束條件不能自相矛盾等等。

資料的過程質量

就是資料的使用過程符合標準規範，比如資料儲存：資料是否被安全地儲存到了合適的介質上，能夠保證資料不受外來因素的破壞。當然資料儲存只是資料使用過程的一個環節，除此之外還包括獲取、傳輸、應用和刪除等一系列的使用過程，這其實也是資料生命週期的各個階段。

1.資料質量管理

資料質量管理指對資料在每個階段裡可能引發的各類資料質量問題進行識別、度量、監控、預警等一系列管理活動，並透過改善和提高組織的管理水平確保資料質量的提升。

換句話說，資料質量管理是一個集方法論、管理、技術和業務為一體的解決方案，不是一時的資料治理方法，是一個不斷迴圈的管理過程。一方面反映出企業資料很難一次性就達到使用的標準規範，畢竟資料治理是一個相對漫長的過程；另一方面也反映出資料質量的重要性以及資料質量工作的零散性和瑣碎性。

2.資料質量評估

至於如何去評估資料質量管理的過程的好壞，我們可以從以下五個維度來進行資料質量評估：

（1）完整性：

描述資訊的完整程度，如電話號碼是否有空值；

（2）準確性：

描述資料和客觀實體的特徵是否相一致，如資料庫中記錄的電話和實際電話不一致；

（3）有效性：

資料是否滿足使用者定義條件、內容規範約束等，如年齡為-32歲，違反常理；

（4）一致性：

描述同一個資訊主體在不同資料集中的屬性是否相同，如崗位名稱在CRM系統中和人力系統中不一致；

（5）及時性：

描述從業務發生到相關資料能夠被使用的及時程度，如實時檢視使用者行為相關資料。

五個維度共同構成了資料質量評估的基本框架，每個維度都可以透過設定評估問卷隨機抽取一些問題然後收集相應的資料；注意收集資料的時候可以採用不同的方式，訪談、發放連結、隨機抽檢等等。

五、

資料指標

根據百度百科的定義，預期中打算達到的指數、規格、標準，一般用資料表示就是指標。

而

資料指標有別於傳統意義上的統計指標，它是透過對資料進行分析得到的一個彙總結果，是將業務單元精分和量化後的度量值，使得業務目標可描述、可度量、可拆解。

但只有對業務有參考價值的可統計的資料才能叫做指標，因為它反映了使用者做了哪些行為，給業務帶來了怎樣的結果指標。

1.資料指標的分類

（1）結果型指標

用於衡量使用者發生某個動作後所產生的結果，通常是延後知道的，很難進行干預。結果型指標更多的是監控資料異常，或者是監控某個場景下使用者需求是否被滿足。

（2）過程型指標

使用者在做某個動作時候所產生的指標，可以透過某些運營策略來影響這個過程指標，從而影響最終的結果，過程型指標更加關注使用者的需求為什麼被滿足或沒被滿足。

2.資料指標體系

資料指標體系是透過技術手段，從不同的“維度”梳理業務過程，將零散的、有關聯性的指標，系統化的組織起來，透過資料看板或介面形式，提供給運營、演算法等不同的業務方使用。

一個好的資料指標體系能幫助使用者準確快速地下結論，比如定義業務運作的好壞、能滿足多場景的歸因，即使出現異動，也能快速定位原因，最終提高發現問題、分析問題、解決問題的效率。

六、

資料資產

資料資產是指由企業擁有或者控制的，能夠為企業帶來未來經濟利益的，以物理或電子的方式記錄的資料資源，如檔案資料、電子資料等。但在企業中，並非所有的資料都構成資料資產，資料資產是能夠為企業產生價值的資料資源。

資料資產管理是對存量資料進行系統化梳理，與資料標準匹配，推動資料資源轉化為資料資產的過程，即指規劃、控制和提供資料及資訊的一組業務職能，包括開發、執行和監督有關資料的計劃、政策、方案、專案、流程、方法和程式，從而控制、保護、互動和提高資料資產的價值。資料資產管理需要充分融合業務、技術和管理，以確保資料資產保值增值。

▲資料治理實施步驟

在資料治理架構中，資料資產管理位於底層資料和資料管理與應用之間，處於承上啟下的重要地位。對上支撐資料安全管理等職能建設以價值發掘為導向的資料應用，對下實現底層資料的梳理、對接資料標準，達成企業內部“統一資料標準”的目標。

七、

資料交換與共享

出於各種原因，組織會選擇資料交換與共享。例如，內部與內部的資料交換共享，企業與企業之間的資料交換共享，以及政府或企業對個人或服務提供商的資料交換與共享。資料交換共享就是讓不同地方使用不同計算機、不同軟體的使用者能夠讀取他人資料並進行各種操作運算和分析。

也就是當資料從一個系統跨授權邊界訪問或傳遞到另一個系統時，就需要使用一個或多個協議來指定每個組織的責任、要訪問或交換的資料型別和影響界別、如何使用交換資料，以及在交換系統的兩端處理、儲存或傳輸資料時如何保證資料安全。

常見的資料交換/共享場景包括但不限於：在授權使用者之間共享資料和資訊；提供對資料的自定義訪問；合作進行聯合專案；提供完整的、短暫的、間歇性的、永久的或臨時的資料交換共享活動；透過交換共享減少資料收集工作量和成本；提供線上培訓；為關鍵資料和備份檔案提供安全儲存。

例如，某農發行資料交換平臺針對綜合業務系統、信貸、國際結算等源業務系統的資料透過億信資料交換平臺進行統一抽取，透過資料轉義、碼值轉換等實現資料標準化，並將處理後的資料以檔案或庫表等形式下發給消費系統。

（圖：農發行資料交換平臺架構圖）

八、資料安全

根據《資料安全法》第三條，“

資料安全是指透過採取必要措施，確保資料處於有效保護和合法利用的狀態，以及具備保障持續安全狀態的能力

。”

資料安全並不僅僅侷限於資料本身的安全，而是一個綜合概念。在資料從客戶端到服務端傳輸過程中，涉及很多風險因素，比如客戶端訪問主體的身份是否真實可靠，資料在傳輸過程中是否完整、防篡改，到達服務端後以明檔案儲存還是加密儲存，以及哪些使用者使用等等。

從整體來看，在資料生命週期的每個環節，包括

資料收集、儲存、使用、加工、傳輸、提供、公開等

，都存在三個重要概念：

資料處理主題、資料本身、資料處理行為

。

從資料來源頭上，要確保資料採集主題身份真實、可信；對於資料本身，在傳輸中要確保其真實性（資料來源真實可信）、完整性（資料未被非授權篡改）、機密性（資料未被非授權者獲得）、可用性（資料可被授權者正常使用）等；對於資料處理行為，要確保其傳送或接收行為、時間點的不可否認性。

九、

資料生命週期

資料的生命週期是指某個集合的資料從產生或獲取到銷燬的過程。資料生命週期分為：採集、儲存、整合、呈現與使用、分析與應用、歸檔和銷燬幾個階段。

在資料的生命週期中，資料價值決定著資料生命週期的長度，並且資料價值會隨著時間的變化而遞減。

資料生命週期管理是一種基於策略的方法，用於管理資訊系統的資料在整個生命週期內的流動：從資料建立和初始的儲存，直到它過時被刪除或銷燬。

資料生命週期管理的目標主要有4點：

①透過規範資料的生命週期管理，提高資料的整體管理水平，滿足監管要求；

②最佳化儲存結構，有效控制在線上資料規模，提高生產資料訪問效率；

③提高系統資源使用效率，確保系統安全、穩定、高效執行；

④做好歷史資料管理，為使用者的客戶服務和經營分析提供資料支撐。

這裡需要注意的是，資料的採集粒度與時效性、儲存方式、整合狀況、視覺化程式、分析的深度和應用銜接的程式，都會對資料價值的體現產生影響。所以需針對資料生命週期各個階段的特點採取不同的管理方式和控制手段。總之，在成本可控、可量化、可管理的前提下，從資料中挖掘出更多有效的資料價值。

與此同時，資料全生命週期管理與企業資料戰略也是密不可分的。資料戰略決定了資料採集策略和範圍、儲存和計算資源投入、資料整合能力、視覺化的程式和分析的廣度與深度等資源投入。

十、

小結

透過前文基本概念的介紹，想必大家已經對資料治理有一個整體清晰的認識。狹義上講，資料治理專注在資料本身。資料治理的目標，是對資料質量進行提高，同時確保資料的安全性，推進資料資源的整合、共享程序。

廣義上講，資料治理是對資料實現全生命週期管理。只要是為整個資料生命期而展開的業務、技術、管理活動，都屬於資料治理的範疇，包括但不限於傳統資料整合和儲存環節的工作（如資料採集、清洗、轉換等）、資料資產目錄、資料標準、質量、安全、資料開發、資料價值、資料服務與應用等。

業界很多廠商都開發了相關軟體工具，但多是單獨功能呈現的軟體，而睿治資料治理平臺是由億信華辰完全自主研發的、開創性的、一站式綜合資料治理整體解決方案。

睿治資料治理平臺融合資料整合、資料交換、實時計算儲存、元資料管理、資料標準管理、資料質量管理、主資料管理、資料資產管理、資料安全管理、資料生命週期管理十大產品模組，打通資料治理各個環節，十大產品模組可獨立或任意組合使用，快速滿足政府、企業各類不同的資料治理場景。

睿治資料治理平臺架構圖