突破連接壁壘,火山引擎邊緣云網(wǎng)絡(luò)的先行之路
在萬物互聯(lián)時代,信息不局限于人與人之間的交流,大量的機(jī)器設(shè)備也需要進(jìn)行信息交流。就在去年,我國率先迎來了“物超人”的歷史性時刻,即物聯(lián)網(wǎng)連接數(shù)超越了人聯(lián)網(wǎng)連接數(shù)。邊緣云的發(fā)展進(jìn)入到“黃金十年”。
“要致富,先修路。”這句話在當(dāng)下也是極具說服力的。邊緣云的“修路”,則要依托網(wǎng)絡(luò),網(wǎng)絡(luò)連接了算力,連接了數(shù)據(jù),連接了場景,連接了多云。就像火山引擎邊緣云網(wǎng)絡(luò)產(chǎn)品研發(fā)負(fù)責(zé)人韓偉在接受 51CTO 采訪時所說,“邊緣云的發(fā)展,網(wǎng)絡(luò)是一定要先行的。只要網(wǎng)絡(luò)出去,算力就能出去,這也是火山引擎邊緣云所持續(xù)突破的目標(biāo),即讓連接和計算無處不在”。
網(wǎng)絡(luò)是支撐邊緣云的關(guān)鍵基礎(chǔ)設(shè)施
邊緣云的目標(biāo)是在網(wǎng)絡(luò)的邊緣側(cè)提供IT基礎(chǔ)設(shè)施和云服務(wù),將數(shù)據(jù)處理和計算能力從云計算中心向網(wǎng)絡(luò)邊緣延伸,在靠近客戶的位置提供計算、存儲和網(wǎng)絡(luò)資源,以實現(xiàn)更低的延遲、更快的響應(yīng)時間和更好的數(shù)據(jù)安全性。
邊緣云網(wǎng)絡(luò)是一張融合的分布式網(wǎng)絡(luò),覆蓋了云邊緣、近場邊緣和現(xiàn)場邊緣,面向客戶數(shù)字化應(yīng)用和業(yè)務(wù)需求提供 1ms 到 40ms 廣域網(wǎng)絡(luò)接入,相比中心云具有低延遲、低成本、廣覆蓋等特征,具備強(qiáng)網(wǎng)絡(luò)調(diào)度屬性及擴(kuò)展性。由于邊緣網(wǎng)絡(luò)覆蓋范圍更廣,用戶可以選擇就近接入,因此邊緣網(wǎng)絡(luò)天然具備了低延遲的優(yōu)勢。用戶就近接入后,由于整個傳輸鏈路更短,結(jié)合云上帶寬調(diào)度與復(fù)用,從帶寬消耗的成本上也更加具有競爭優(yōu)勢。另外,邊緣云具有海量分布式節(jié)點以及豐富的業(yè)務(wù)場景,通過核心節(jié)點間的專線覆蓋,可以給用戶帶來更好的體驗。
在擴(kuò)展性方面,由于中心云 Region 規(guī)模大,所以擴(kuò)展成本很高,建設(shè)周期也非常長。而邊緣節(jié)點相對比較靈活,可以根據(jù)不同業(yè)務(wù)訴求建設(shè)邊緣節(jié)點,通過網(wǎng)絡(luò)協(xié)同海量分布式節(jié)點,快速滿足業(yè)務(wù)發(fā)展的需求。
通過將網(wǎng)絡(luò)接入、計算、存儲以及智能化數(shù)據(jù)分析等工作放在邊緣處理,邊緣云能夠降低響應(yīng)時延,減輕云端壓力,降低帶寬成本,并基于云網(wǎng)智能調(diào)度能力,對外提供內(nèi)容分發(fā)網(wǎng)絡(luò)、聯(lián)網(wǎng)與加速等網(wǎng)絡(luò)產(chǎn)品服務(wù)。因此,網(wǎng)絡(luò)在邊緣云中處于非常關(guān)鍵的位置,是支撐邊緣計算及云上產(chǎn)品的關(guān)鍵基礎(chǔ)設(shè)施。
由內(nèi)及外,內(nèi)外統(tǒng)一的邊緣云網(wǎng)絡(luò)
火山引擎是一朵后起之秀的云,雖然發(fā)布時間相對較晚,但在內(nèi)部已經(jīng)服務(wù)了諸多高流量的復(fù)雜業(yè)務(wù),積累了豐富的技術(shù)實踐和業(yè)務(wù)拓展經(jīng)驗。這兩年,火山引擎逐步完善邊緣云的技術(shù)體系和產(chǎn)品體系,以更好地滿足不斷發(fā)展和變化的市場需求。
韓偉所在的技術(shù)團(tuán)隊,就是負(fù)責(zé)火山引擎邊緣云網(wǎng)絡(luò)的產(chǎn)品規(guī)劃、研發(fā)設(shè)計、上線交付以及售后服務(wù)等環(huán)節(jié),整體把控邊緣云網(wǎng)絡(luò)的需求合理性及研發(fā)交付,保障邊緣云網(wǎng)絡(luò)產(chǎn)品的服務(wù)能力。
韓偉表示,火山引擎邊緣云網(wǎng)絡(luò)的早期主要為抖音集團(tuán)提供服務(wù),集團(tuán)所有流量的接入以及網(wǎng)絡(luò)調(diào)度優(yōu)化體系、網(wǎng)絡(luò)優(yōu)化庫都是由這個團(tuán)隊負(fù)責(zé)。并且,集團(tuán)內(nèi)部圖片緩存及靜態(tài)文件加速、動靜態(tài)混合加速等相關(guān)業(yè)務(wù)也是基于邊緣云網(wǎng)絡(luò)服務(wù)構(gòu)建。
其次,火山引擎邊緣云網(wǎng)絡(luò)與中心云的業(yè)務(wù)有較好的互補(bǔ),互相聯(lián)動。例如,CDN 流量主要是下行,存儲業(yè)務(wù)更多是上行,通過對象存儲 TOS 和邊緣云結(jié)合,通過帶寬上下行復(fù)用的方式,可以極大地降低成本。
再者,火山引擎邊緣云網(wǎng)絡(luò)也在持續(xù)向端及更廣的地域進(jìn)行延伸,持續(xù)向近場與現(xiàn)場邊緣覆蓋,并提供全鏈路的體驗優(yōu)化。例如,在集團(tuán)抖音業(yè)務(wù)上,邊緣云流量接入體系中會有較多的網(wǎng)絡(luò)傳輸及調(diào)度優(yōu)化策略,業(yè)務(wù)在接入過程中可以進(jìn)行網(wǎng)絡(luò)診斷及配置調(diào)優(yōu),從而讓用戶得到更好的服務(wù)體驗。在游戲相關(guān)場景中,通過在端側(cè) SDK 的網(wǎng)絡(luò)診斷及配置優(yōu)化,結(jié)合云上加速能力,可以給游戲業(yè)務(wù)及用戶提供更好的網(wǎng)絡(luò)傳輸服務(wù)。
此外,火山引擎邊緣云也是內(nèi)外統(tǒng)一的云,內(nèi)部業(yè)務(wù)和外部業(yè)務(wù)看到的產(chǎn)品和技術(shù)是一致的。韓偉表示,“集團(tuán)業(yè)務(wù)實際上也是我們的客戶,只不過集團(tuán)客戶相對體量會比較大。也正是因為邊緣云經(jīng)過了集團(tuán)業(yè)務(wù)規(guī)?;尿炞C,才有了今天具備一定規(guī)模并且經(jīng)歷了充分安全與穩(wěn)定驗證的火山引擎邊緣云”。
據(jù)了解,火山引擎邊緣云在全球有 1300 多個節(jié)點,覆蓋了 50 多個國家,全網(wǎng)的帶寬儲備已經(jīng)達(dá)到 110T 以上,并建設(shè)了覆蓋中國大陸、東南亞、及歐美等主要區(qū)域的全球骨干網(wǎng)絡(luò),可以幫助用戶實現(xiàn)全球業(yè)務(wù)就近接入。
基于全球豐富的邊緣算力與網(wǎng)絡(luò)資源覆蓋,火山引擎邊緣云網(wǎng)絡(luò)團(tuán)隊通過智能選路、協(xié)議優(yōu)化等技術(shù),提供內(nèi)容分發(fā)網(wǎng)絡(luò)、全站加速、全球加速、游戲加速、SD-WAN+ 等場景服務(wù),助力企業(yè)實現(xiàn)高可用、高品質(zhì)、高安全的全球網(wǎng)絡(luò)連接與加速。
關(guān)鍵技術(shù)探索,多層面保障網(wǎng)絡(luò)運(yùn)行
邊緣云是能夠在靠近用戶的地方提供高效、可靠的計算和存儲服務(wù)。然而,邊緣云網(wǎng)絡(luò)的建設(shè)和管理也需要一系列的關(guān)鍵技術(shù)支持。韓偉將火山引擎邊緣云網(wǎng)絡(luò)的關(guān)鍵技術(shù)總結(jié)為三類。
第一類是支撐邊緣云網(wǎng)絡(luò)的技術(shù)底座,是支撐邊緣云的關(guān)鍵部分,負(fù)責(zé)底層數(shù)據(jù)轉(zhuǎn)發(fā)。火山引擎邊緣云提供了多種形態(tài)的數(shù)據(jù)面轉(zhuǎn)發(fā)組件,包括主機(jī)網(wǎng)絡(luò)、融合網(wǎng)關(guān)和負(fù)載均衡等。
在主機(jī)網(wǎng)絡(luò)層,向上支撐了多種虛擬機(jī)和容器,以及場景化的算力服務(wù),并提供了租戶隔離、網(wǎng)絡(luò)虛擬化、安全防火墻等能力,以確保用戶網(wǎng)絡(luò)的安全隔離及自主可控;
在融合網(wǎng)關(guān)層,火山引擎邊緣云將所有公網(wǎng)流量的入口、安全以及跨域互聯(lián)等相關(guān)場景進(jìn)行了小型化設(shè)計,并融入到融合網(wǎng)關(guān)中實現(xiàn),通過融合技術(shù)來滿足邊緣云上不同節(jié)點之間的場景需求、靈活性需求及成本需求;
在負(fù)載均衡層面,火山引擎邊緣云采用軟硬一體的技術(shù)策略,研發(fā)了P4公網(wǎng)導(dǎo)流網(wǎng)關(guān),單機(jī)可以跑到 3.2T ;單個負(fù)載均衡設(shè)備可以達(dá)到 800G 的吞吐,解決了像 CDN 大帶寬以及文件存儲等大流量的問題。
在安全領(lǐng)域,火山引擎邊緣云團(tuán)隊與安全團(tuán)隊協(xié)同支撐了邊緣云的所有安全相關(guān)需求,例如在基礎(chǔ)設(shè)施層面,實現(xiàn)了 DDOS 能力,高級威脅檢測和 WAF 相關(guān)能力,以滿足邊緣計算節(jié)點、CDN及 DCDN 等產(chǎn)品的安全需求。
在數(shù)據(jù)轉(zhuǎn)發(fā)的同時,為了解決路徑擇優(yōu)的問題,火山引擎邊緣云在基礎(chǔ)轉(zhuǎn)發(fā)平面之上構(gòu)建了網(wǎng)絡(luò)加速和調(diào)度平臺,這是邊緣云分布式節(jié)點之間互聯(lián)互通的核心技術(shù)。為了解決網(wǎng)絡(luò)不穩(wěn)定時快速發(fā)現(xiàn)和定位問題,火山引擎邊緣云實現(xiàn)了路徑探測和端探測,設(shè)計了基于成本、質(zhì)量、水位和容量的多維度調(diào)度體系,滿足不同業(yè)務(wù)場景的需求;此外,火山引擎邊緣云設(shè)有 Netlab 網(wǎng)絡(luò)優(yōu)化實驗室,基于 Netlab 的技術(shù)儲備將傳輸優(yōu)化、私有協(xié)議等相關(guān)技術(shù)融入到加速體系中,并在應(yīng)用代理和協(xié)議棧傳輸?shù)确矫孢M(jìn)行了較多創(chuàng)新與探索,從而提高了公網(wǎng)傳輸加速能力,以及因丟包產(chǎn)生抖動時快速恢復(fù)能力。
最上層則是面向業(yè)務(wù)的配置中臺體系,火山引擎邊緣云將網(wǎng)絡(luò)配置抽象成分層架構(gòu),稱為網(wǎng)絡(luò)配置中臺,包括面向用戶側(cè)的業(yè)務(wù)語義轉(zhuǎn)換,面向設(shè)備側(cè)通用的高性能配置下發(fā)通道、設(shè)備水位檢測等,以及圍繞集團(tuán)中間件抽象出的配置通用服務(wù)。通過網(wǎng)絡(luò)配置中臺,可以有效降低網(wǎng)絡(luò)產(chǎn)品研發(fā)過程中南向配置下發(fā)、設(shè)備管理、彈性伸縮等很多重復(fù)工作,幫助火山引擎邊緣云實現(xiàn)新產(chǎn)品的快速上線。
從面向用戶側(cè)的控制臺到 OpenAPI,再到整個數(shù)據(jù)轉(zhuǎn)發(fā)面進(jìn)行配置下發(fā),從而確保網(wǎng)絡(luò)配置下發(fā)的一致性及高效性。此外,火山引擎邊緣云還在外圍搭建了智能網(wǎng)絡(luò)服務(wù)體系,幫助用戶更好地用好云,管好云。
解決復(fù)雜網(wǎng)絡(luò)挑戰(zhàn)難題,保障用戶體驗
面向海量數(shù)據(jù)的爆發(fā),新的應(yīng)用形態(tài)對時延和成本的極致要求,邊緣云已逐步成為新一代應(yīng)用的基礎(chǔ)設(shè)施。從分布式的屬性上看,邊緣云強(qiáng)調(diào)的是更低的成本、更低的延遲及更廣的覆蓋。如果邊緣節(jié)點覆蓋的密度更高,接入的用戶將會得到更好的體驗。
然而,隨著節(jié)點覆蓋面的增加,網(wǎng)絡(luò)也會更加分散,節(jié)點之間的協(xié)同也會變得更加復(fù)雜。于是,火山引擎邊緣云會根據(jù)業(yè)務(wù)的覆蓋面以及節(jié)點建設(shè)情況,采用專線、BGP多線進(jìn)行邊緣節(jié)點建設(shè),從而形成一張融合的分布式復(fù)雜網(wǎng)絡(luò)。
融合的分布式復(fù)雜網(wǎng)絡(luò),也對火山引擎邊緣云團(tuán)隊帶來了不小的管理難題。例如,用戶從源節(jié)點到目標(biāo)節(jié)點時,可能會經(jīng)過不同的路徑,由于許多節(jié)點間轉(zhuǎn)發(fā)時公網(wǎng)傳輸是不可控的,因此如何快速定位問題成為了挑戰(zhàn)難題。其次,不同節(jié)點規(guī)模、網(wǎng)絡(luò)線路覆蓋都有會有較大差異,節(jié)點協(xié)同及網(wǎng)絡(luò)轉(zhuǎn)發(fā)上會面臨更高的復(fù)雜度。如何保障用戶的體驗,實現(xiàn)快速定位、快速發(fā)現(xiàn)、快速恢復(fù)的能力呢?
火山引擎邊緣云團(tuán)隊逐一來破解這些難題。站在服務(wù)的角度來看,私網(wǎng)是相對容易可控的,所以目標(biāo)是能直接定位問題。而對于公網(wǎng),有一段是不可控的,所以需要在可控范圍內(nèi)定位問題,在不可控范圍內(nèi)盡量做到快速定界,即判斷是私網(wǎng)的問題,還是公網(wǎng)的問題。確定是云上問題還是網(wǎng)絡(luò)運(yùn)營商問題,從而對應(yīng)地進(jìn)行解決。
韓偉指出,為了快速判斷問題,火山引擎邊緣云在網(wǎng)絡(luò)層、傳輸層和應(yīng)用層采用了不同的方法,并將三者結(jié)合使用。
在網(wǎng)絡(luò)層,火山引擎邊緣云將云上所有場景的網(wǎng)絡(luò)路徑、網(wǎng)絡(luò)節(jié)點、網(wǎng)絡(luò)組件等環(huán)節(jié)進(jìn)行埋點、著色、路徑跟蹤和診斷,從而直接定位問題所在。
在傳輸層,火山引擎邊緣云通過刻畫全鏈路網(wǎng)絡(luò)傳輸,快速定位問題。由于代理場景可能會將一個連接分為幾個部分,火山引擎邊緣云通過應(yīng)用請求的日志監(jiān)控、協(xié)議棧五元組信息及刻畫連接期間的傳輸行為,在請求發(fā)出后,可以將代理前后的五元組信息、傳輸行為及應(yīng)用側(cè)請求關(guān)聯(lián)到一起,一旦發(fā)生丟包問題,就可以快速分析多階段連接及請求傳輸行為,從而確定問題所在。
在應(yīng)用層,通過豐富的應(yīng)用日志聚合用戶的客戶端信息、接入地域、請求資源及響應(yīng)延遲等情況,結(jié)合網(wǎng)絡(luò)層和傳輸層的路徑跟蹤以及傳輸刻畫,直接定位問題。
此外,為了提高用戶的體驗,韓偉團(tuán)隊做了很多邊緣云網(wǎng)絡(luò)的調(diào)度以及傳輸協(xié)議的優(yōu)化。一是讓用戶可以就近地接入,降低延遲等帶來的影響;二是在互聯(lián)調(diào)度方面,火山引擎邊緣云通過節(jié)點間 full mesh 探測,掌握每個節(jié)點的網(wǎng)絡(luò)延遲及健康情況,并根據(jù)成本、質(zhì)量、節(jié)點容量、水位等情況編排最佳的轉(zhuǎn)發(fā)路徑。
持續(xù)突破,讓連接與計算無處不在
火山引擎邊緣云的未來發(fā)展策略是更深的融合和更廣的連接。更深的融合則是從縱向強(qiáng)調(diào)云邊端的融合,將邊緣云下沉到邊緣、近場,乃至現(xiàn)場,解決更多的場景問題,實現(xiàn)云邊端調(diào)度一體化、數(shù)據(jù)一體化、運(yùn)維一體化和安全一體化。更廣的連接則是從橫向覆蓋更廣的場景,更廣的區(qū)域,甚至覆蓋全球。
在火山引擎邊緣云整體的發(fā)展前行中,網(wǎng)絡(luò)需要更好地滿足邊緣云在融合和連接兩方面的需求;同時,未來的網(wǎng)絡(luò)需要具備更高的彈性、調(diào)度能力和加速能力,這些會成為邊緣云的核心競爭力。韓偉所在的邊緣云網(wǎng)絡(luò)團(tuán)隊也將持續(xù)布局網(wǎng)絡(luò)基礎(chǔ)資源的建設(shè),并在傳輸優(yōu)化和調(diào)度方面進(jìn)行持續(xù)探索,通過網(wǎng)絡(luò)實驗室進(jìn)行更多的創(chuàng)新與業(yè)務(wù)實踐。此外,火山引擎邊緣云網(wǎng)絡(luò)團(tuán)隊還將在可觀測領(lǐng)域發(fā)力,將網(wǎng)絡(luò)傳輸路徑刻畫得更加細(xì)致,并期望將這些能力輸出給外部用戶,讓用戶也具備可觀測的能力;最后,構(gòu)建網(wǎng)絡(luò)生態(tài)是邊緣云網(wǎng)絡(luò)發(fā)展的關(guān)鍵,需要解決網(wǎng)絡(luò)開放和應(yīng)用透明接入等問題。火山引擎邊緣云網(wǎng)絡(luò)團(tuán)隊將與更多的產(chǎn)業(yè)伙伴協(xié)同配合,在邊緣云上輸出更多的產(chǎn)品和解決方案,覆蓋更豐富的場景,滿足用戶多樣化的需求。
韓偉指出,邊緣云的發(fā)展中,網(wǎng)絡(luò)一定是先行的;無論是生態(tài)還是場景的構(gòu)建,網(wǎng)絡(luò)都會先行一步。“我們也會在網(wǎng)絡(luò)自身上發(fā)力,讓邊緣云在連接與計算兩大方向上變得更加扎實。只要網(wǎng)絡(luò)出去,算力就能出去,這是我們持續(xù)突破的目標(biāo),最終實現(xiàn)'讓連接與計算無處不在'”。
- 上一篇
多接入邊緣計算將如何影響智慧城市的未來
多接入邊緣計算,也稱為MEC,是一種邊緣計算方法,用于運(yùn)行人工智能(AI)工作負(fù)載、內(nèi)容交付網(wǎng)絡(luò)、云游戲、增強(qiáng)現(xiàn)實和虛擬現(xiàn)實、車聯(lián)網(wǎng)以及其他需要更高帶寬連接和更低延遲的高級應(yīng)用。
- 下一篇
無服務(wù)器計算如何加速云平臺的采用
云平臺的普及已經(jīng)加速,因為企業(yè)不必?fù)?dān)心在建立和維護(hù)專屬數(shù)據(jù)中心方面的資本投資。如今,企業(yè)可以根據(jù)需要從云提供商獲取計算和存儲容量,然后根據(jù)業(yè)務(wù)需求增加或減少。云平臺提供無與倫比的可擴(kuò)展性、成本節(jié)約、可訪問性、可靠性、安全性和易用性,使其成為尋求靈活高效計算環(huán)境的企業(yè)和個人的絕佳選擇。