「阿里雲」徐若晨：邊緣容器雲平臺的探索和實踐

在數字化轉型速度不斷提升的今天，大頻寬、低時延、高併發的場景不斷湧現，終端使用者對於網路內容反應速率要求提升，對於CDN的應用需求也在不斷攀升。而今正值中國CDN發展十年轉型期，提升CDN核心競爭力，以CDN為切入點帶動邊緣計算、分散式雲計算、音影片直播、雲遊戲等服務，為使用者打造更高質量的CDN服務將成為新時代產業競爭的關鍵所在。

8月25日，以“新徵程，耀一起”為主題的2022亞太內容分發大會暨CDN峰會在北京隆重開幕，本屆大會由亞太CDN產業聯盟、眾視Tech聯合主辦。亞太CDN產業聯盟攜手阿里雲、騰訊雲、網宿科技、火山引擎、天翼雲、中興通訊、金山雲等內容分發領域頭部企業，為行業破舊立新、閃耀新徵程發出最強音！

在8月25日下午舉辦的【邊緣計算論壇】上，阿里雲技術專家 徐若晨發表了題為《邊緣容器雲平臺的探索和實踐》的主題演講，基於阿里雲大規模邊緣容器雲平臺展開介紹阿里雲邊緣容器雲平臺的發展背景、歷程、設計與架構，深入解析了阿里雲邊緣容器雲平臺上的典型業務場景與實踐案例，本文為整理內容。

立足於使用者視角構建“雲邊端”一體化平臺

從使用者視角出發，當前在邊緣側業務面臨挑戰眾多：

· 自建邊緣機房交付週期長、資產重；

· 邊緣叢集常態化裁撤、割接，SLA難保障；

· 單叢集業務規模小、彈性差；

· 屬地性應用多，叢集維護成本高、難度大；

透過在中心和客戶現場之間，構建起邊緣雲這一層服務，就能夠解決以上問題。邊緣云為使用者帶來的對應方面價值主要體現在：

· 提升效率：為終端提供距離更近、時延更低的算力資源，支援時效性強、互動性強的業務場景，實現秒級算力交付；

· 降低成本：透過終端上移這一手段有效提升部分業務靈活性，實現按量付費、彈性擴容，降低客戶的成本；

· 易運維：採用雲原生交付方式，提升邊緣應用可運維性，降低客戶運維投入

· 低時延、提升使用者體驗：基於海量低延時的邊緣叢集資源覆蓋，為客戶提供時延更低的體驗；

基於“雲-邊-端”的架構模式，邊緣雲實現了雲端算力下沉與終端算力上移：

· 雲端算力下沉：透過將應用、算力分散式部署邊緣，從而解除安裝掉中心Region核心服務的負載。考慮到中心Region頻寬的成本遠高於邊緣，因此對於頻寬較大的業務，在邊緣雲實現流量的收斂再回到中心，能夠大幅度縮減頻寬的成本，為客戶提供離終端更近的算力資源，提升業務互動性與時效性；

· 終端算力上移：對終端應用進行瘦身的同時為應用開發者提供標準化運維與雲邊體驗一致的開發過程，幫助快速開發、迭代。對比終端應用，邊緣雲擁有更加豐富的生態，提升業務靈活性。除此之外，邊緣上提供專屬GPU硬體，進一步最佳化應用效能。

深度解析邊緣容器雲平臺架構 精準應對技術挑戰

邊緣容器雲平臺技術挑戰

邊緣容器雲平臺的技術挑戰主要是來自於三方面：

首先是叢集規模小而多。受限於邊緣的物理環境，單個叢集的規模通常有限。隨著資源的進一步下沉，終端算力的進一步上移，各類資源被納管到邊緣雲中，資源規模迅速增長，邊緣規模呈現出小型化、廣覆蓋的特點，為資源管控、彈性排程帶來技術挑戰；

二是邊緣環境複雜。處於邊緣的裝置工作狀態與條件對比資料中心更差，往往存在弱網、斷網等情況，對於邊緣自治、雲邊協同、邊邊協同、跨節點遷移能力、故障逃逸能力提出較高要求；

三是邊緣基礎設施異構。出於成本考量、業務定製化需求的考量，硬體作業系統、網路結構等方面存在明顯異構場景，給資源的雲化納管工作造成困難；

邊緣容器雲平臺架構

物理資源層包括多雲融合資源、MEC、ARM陣列、自有節點、多雲融合資源等，上層為資源建設與運維平臺，提供基礎的IaaS服務。

中間層從下往上，首先由異構資源納管部分負責將IaaS資源以k8s節點形式接入k8s叢集中；正如前文所述，單一的或少量的k8s叢集無法容納所有資源，所以基於異構資源納管層需要構建多叢集管理與排程融合能力，為上層提供標準的k8s介面；在標準k8s介面的基礎上進行邊緣能力的加強，包括邊緣容器映象、邊緣工作負載、邊緣服務網格、邊緣應用管理等。

最頂層是邊緣能力開放層，透過提供OpenAPI、開發者工具、能力開放平臺等，使得使用者、開發者可以透過開放層去使用阿里雲邊緣容器平臺的各項能力來管理自己的業務。

針對中間層的邊緣容器雲平臺將展開進行介紹：

異構資源納管

異構資源納管核心功能是將邊緣資源以k8s節點形式接入叢集中，如圖所示為標準化接入流程，適配了MEC、ARM等各種業務場景。接入過程中同時感知叢集水位分佈與邊緣資源網路狀態等多維度指標，選擇最優接入叢集，基於元件預置等技術方案減少接入過程中如元件安裝、下載等時間成本，加速接入流程。

多叢集管理

多叢集管理流程如圖所示，客戶透過虛擬叢集建立工作負載與pod，基於全域融合排程器，實時感知資源叢集狀態選擇最優排程結果，將結果反饋租戶虛擬叢集中，利用同步器進行向下同步生產工作。

過程中將k8s叢集分為兩類，資源叢集與為租戶建立的獨立虛擬叢集。透過多層樹狀拓撲結構使每一個獨立虛擬叢集能夠透過原生k8s語義使用全域邊緣資源，並且提升了租戶間的隔離性。

對於k8s叢集的讀操作透過統一事件匯流排完成，而非直接對k8s叢集進行操作。因此每個k8s叢集都能有效控制叢集上的客戶端數量，減少伺服器上list-watch的消耗，並且使系統具備水平擴充套件能力。

全域融合排程在模型中作為k8s叢集的總排程器，類比於大腦這一角色，有效實現了全域資源的多維度實時感知與多層次排程。

邊緣特性增強

由於邊緣資源單叢集數量較多，因此需要透過單元化管理的概念將其對映到邊緣的多個叢集上，同時完成單元間的並行分發，以此提升業務釋出效率。阿里雲透過自研適配邊緣場景的工作負載，對每一臺機器上的每一個pod版本更新實現精準控制，使得系統更契合邊緣異構場景上的容器與多開場景。

基於阿里雲內容分發網路的技術與生態優勢，構建出具備全網快取與加速能力的邊緣映象服務，對於大規模流量併發提供支援，實現容器擴容，提高建立速度。

穩定性體系

基於阿里雲內容分發網路構建的管控命令傳播網路，使管控命令可以低延遲，高觸達地下發到機器上執行。目前所有的雲邊管控操作都透過雲邊管控通道實現，在邊緣節點出現異常的情況下，將按照異常上報，由中心進行處理策略匹配工作，熔斷檢查，最後將自動化處理策略下發至邊緣節點形成閉環。

風控中心元件除去前文提到的熔斷檢查工作，還具備高危操作攔截能力，如k8s叢集中大量node刪除、pod物件刪除、工作負載刪除、許可權修改、大規模標籤修改等，幫助客戶業務實現穩定執行，為系統保駕護航。

兩大典型業務場景 構建邊緣容器雲平臺最佳實踐

中心業務下沉

日誌閘道器下沉場景，包括httpdns、內容安全識別下沉，本質都是中心業務的下沉。

終端透過請求排程尋找邊緣節點，透過邊緣閘道器服務將日誌上報到容器中，此處請求排程與容器排程是協同工作的。例如業務容器CPU記憶體消耗的水位，將會影響請求排程的策略生成，水位高的情況下對請求排程節點進行修改。此外，請求排程同時影響容器排程，例如在叢集副本數不夠的情況下，觸發容器排程對容器進行擴容操作。二者相互協同工作實現日誌下沉。

中心下沉場景業務邏輯本質是透過雲邊端協同操作，節省中心頻寬成本，降低接入延時，為客戶打造最佳使用體驗。

終端上雲

機頂盒上雲是終端上雲場景的一類典型應用場景，同類場景還包括雲手機、雲遊戲等。

管理員透過應用管理中心，透過阿里雲自研工作負載與多叢集管理等方式將容器執行在邊緣伺服器上。如圖所示為一組多開容器例項，透過自研工作負載精準控制每一個伺服器上的每一個容器版本。同時，阿里雲與英特爾合作，於伺服器上安裝Intle Server dGPU，對終端流化渲染效能實現進一步提升。

終端上雲場景中，核心應用上移幫助終端瘦身，將更多的應用運維與管理開發工作集中在邊緣，實現了對業務靈活性與使用效能的最佳化。