UGC產品下架頻發，企業該如何走出內容稽核的困局

原創：威脅獵人

某國民種草APP由於涉及內容違規，從安卓應用市場消失了，應該算是最近最火的話題。

作為C2C的種草平臺，該APP不僅允許使用者線上分享種草清單，還可以釋出購買連結，讓消費者接受安利的同時可以直接購買商品。二者相結合，就成了完美的導流神器。

其實平臺本身只是一個單純的內容分享社群，所有人都可以來發布任何內容，像半佛仙人文章裡提到的一樣，對於一起C2C的UGC平臺來說，只要是能夠釋出內容的地方，內容失控的風險都是存在的。評論區、使用者暱稱、私信區、論壇。。。。。都可能被不法分子利用成為其釋出違禁商品、色情引流、博彩詐騙等，從而導致平臺內容的失控。

圖片來自網路：違規資訊

內容失控的問題其實也是屬於反欺詐風控的一部分，所以本篇文章會從兩個方面出發，談談企業進行內容治理的現狀：一是黑灰產如何利用UGC類平臺進行釋出違規資訊，並進行引流詐騙；二是企業在遇到這類問題的時候，會採取怎樣的解決方案。

1

為什麼黑灰產釋出大量的違禁資訊，

企業很難識別？

在網際網路黑灰產中，無論是行跡匆匆的羊毛黨，還是浪跡論壇的水軍，擁有各個平臺的賬號都是他們進入“職場”的第一步，批次註冊大量賬號就因此成為了所有惡意行為的源頭。目前，這條黑色產業鏈已經形成上中下游的明確分工。首先，處於中游的號商會從上游的卡商那裡購入一批手機號，然後利用接碼平臺、貓池、打碼平臺、其他自動化工具等批次註冊虛假賬號；隨後，將賬號售賣給下游用於薅羊毛、刷量、傳播違禁內容等非法獲利行為。

圖片來網路：貓池

圖為：接碼/打碼平臺

內容平臺散步違禁內容的源頭正是這樣一批賬號。許多平臺都會透過設定安全防護策略，或實名認證的方式在註冊/登入環節對它們進行源頭的過濾。但平臺風控和黑產突破始終是一個持續博弈的過程，當黑產發現，利用新註冊的賬號釋出廣告等違規內容很快就會被平臺發現並封號之後，他們會先讓賬號過上一段“正常人”的日子，在平臺監控真的認為他們的“正常人”後，再撕下偽裝的面具，在平臺作惡，這種行為就是“養號”。

“養號黨”利用群控技術+自動化指令碼批次操控多個賬號在平臺發帖、留言或者點贊，這一切都是為了模擬正常個人使用者的行為，逃過平臺的風控規則。

圖片來自網路：群控現場

根據威脅獵人的持續監控發現，剛註冊的新賬號根據不同平臺可獲利益不同，售價會在0。1-10元不等，在“養了”半年或者更長時間之後，價格就會翻上一番，達到1-100元或者更高的價格。如果賬號“擁有了自己的姓名”，價格還能夠進一步提升，只要從“料商”處買來身份證等實名資訊繫結賬號就能實現，此時的賬號售價可以直接翻倍，達到10-200元或者更高（比如微信賬號）。

圖為：威脅獵人反欺詐情報監測平臺監測到的賬號售賣情況

被“養過”的賬號隨後被買到下游黑產手中，用於廣告營銷、傳播違規資訊等途徑，於是就有了內容平臺上出現的黑賬號。它們因為模擬成正常賬號逃過了平臺的防護規則。

之後，透過不斷轉變敏感詞彙的表現形式（如，微信可以變成威信、VX等），黑產就能繞過平臺對敏感詞彙的過濾規則，利用自動化指令碼就能批次釋出違規內容。

圖為：違規資訊

不過，其實現在黑產的日子也不那麼好過了，這和平臺採取的打擊措施有關。

許多內容平臺，在受到黑產的侵害後，會馬上加大對內容的稽核力度，透過風控策略攔截惡意賬號，或者組建稽核團隊、搭建資料模型來打擊平臺作弊行為。

2

防範違規內容產生的基礎措施

監管部門加大監管力度，內容平臺提高自我稽核力度已是目前的常態。強監管下，企業或強化自身稽核能力，或與第三方合作探索提升內容安全的方式，但其底層邏輯是比較固定的，就是利用風控加持內容稽核體系。

1、利用反欺詐風控體系，從源頭攔截黑賬號

前面說到的機器稽核和人工稽核機制，都是在違規內容出現之後進行內容管理的一種方式。

但在與黑產攻防對抗的過程中，我們發現，如果能在黑賬號進入平臺時、釋出違規內容前就進行攔截，就能解決很大一部分違規問題。

在平臺上釋出違規內容的賬號，通常是黑產在髮卡平臺先買入一批手機號，然後利用自動化工具批次註冊的。如果平臺能夠透過賬號識別體系，在黑產註冊或登入當下就識別並攔截，就能阻止進一步的作惡。

我們在建立反欺詐體系建立過程中，透過對黑產業鏈核心節點的布控，能夠掌握大量的黑產所利用的虛假手機號和惡意IP資源。當黑產利用這些資源進行賬號的註冊時，就可以在註冊或登入環節進行風險賬號的攔截或降權處置。

這一層防護體系，就能從源頭上解決違規內容的產生。對於漏網之魚，只要補充內容稽核機制，大多數平臺的內容安全問題基本都能解決。

2、補充內容稽核機制，過濾違規內容

1.利用機器稽核過濾違規內容

目前，違規資訊主要會以四種主要的形式出現在平臺上，那就是文字、圖片、影片和音訊。

文字內容相對來說會比其他三種內容的處理成本低，平臺可以自己維護一套動態文字庫，持續收集和更新敏感違規詞彙，也可以聯絡安全服務商接入一套外部文字庫。其中的邏輯都是一樣的，就是透過文字詞庫過濾的形式，篩選出違規的文字內容，然後進行後續的人工處理或直接刪除等操作。

而對於除文字外的圖片、影片和音訊，往往和人工智慧、機器學習技術掛鉤。要搭建一整套智慧稽核體系，需要比較高的成本。因此，對於這類內容，部分平臺會選擇接入安全服務商的服務。

圖為：機器稽核涉及的智慧技術

以圖片稽核為例。在圖片上會出現兩種違規形式：

一種是圖片本身的內容是違規屬性的，比如，圖片中出現有色情、武器、暴力場景的畫面；

另一種是人為後期給圖片加入了違規資訊，比如，圖片上添加了推廣二維碼、微訊號碼、電話號碼等內容。

針對這兩類圖片，利用第三方的智慧識別技術就能進行識別。而服務商只要不斷利用收集到的圖片資料資訊對模型進行組合訓練，保證模型的快速迭代，就能進一步提升識別的準確率。

2.人工輔助稽核，降低誤判率

充分利用人工智慧技術對違規內容進行識別，在很大的程度上，其實就是為了節省人力。但實際上，不管行業把人工智慧技術吹得多牛X，就現階段來說，這項智慧技術都會有不夠智慧的時候，還是少不了人工的輔助。

圖為：人工稽核+機器稽核相輔的稽核機制

就拿“掃碼”這個詞兒來說，它可以變成扌彐 石馬，少馬，掃**碼等各種形式，人工智慧並不能精準識別所有變體。另外，對敏感內容的過濾規則設定還不能過於嚴格，不然，就會出現誤殺正常內容的情況。

在這樣的情況下，人工稽核就是一個必不可少的環節。

不同的平臺可以利用機器稽核機制設定不同的稽核策略，然後對違規內容的可判性打上不同程度的標籤，然後進行相應的處理。

比如，對於確定是違規的內容，可以標為【高危】，直接刪除或封號處理；對於涉嫌違規的內容，可以標為【中危】，然後給予文字警告；對於命中少量違規內容，但無法準確判定性質的可以標為【低危】，對於低危的內容就可以由人工稽核處理，避免造成誤殺。

人工稽核的環節對於所有做內容的平臺都至關重要。目前，比較大型的內容平臺，甚至會自己設立人審機制，少則十幾人，多則數千人，專門稽核平臺內容。

3

寫在最後

在具體的實踐中，不同平臺會有不同的內容展示形式，最終的解決方案和規則設定就會因“平臺”而異了。但不論什麼平臺，都需要認識到的一點是，黑產的攻擊手段總是在不斷進化，為了躲避攔截策略，會不斷出現新的內容釋出形式，平臺方只有持續關注內容管理解決方案，業務安全方只有不斷迭代防護技術，才能在這場“貓鼠遊戲”中佔據上風。

4

關於我們

威脅獵人是一家反欺詐服務&內容安全服務提供商，基於領先的反欺詐技術、海量的資料、豐富的安全經驗積累，解決網際網路行業記憶體在的安全問題。並先後推出業務反欺詐、內容安全等系列服務。我們擁有一整套國內領先的業務安全情報監控與預警體系，形成了強大的黑灰產布控能力。目前已為騰訊、百度、阿里、華為等網際網路企業提供業務安全服務。

閱讀原文