數(shù)據(jù)中心網(wǎng)絡與互聯(lián)網(wǎng)、局域網(wǎng)的區(qū)別與聯(lián)系
數(shù)據(jù)中心網(wǎng)絡
數(shù)據(jù)中心網(wǎng)絡(data center network)指的是連接數(shù)據(jù)中心內(nèi)部的海量服務器、連接分布式數(shù)據(jù)中心以及連接數(shù)據(jù)中心與終端用戶之間的網(wǎng)絡。數(shù)據(jù)中心網(wǎng)絡是伴隨著互聯(lián)網(wǎng)服務規(guī)模的增長、升級,以及云計算等新型服務模式的出現(xiàn)而形成的。對于一個互聯(lián)網(wǎng)公司而言,當其提供的服務規(guī)模較小時,僅需一臺或幾臺服務器就足夠了,這時并不需要復雜的網(wǎng)絡技術;但當其所提供的互聯(lián)網(wǎng)服務增加到很大的規(guī)模(如谷歌、亞馬遜、阿里巴巴、騰訊等公司)時,則需要幾十萬臺甚至數(shù)百萬臺服務器才能提供用戶所需的互聯(lián)網(wǎng)服務,這時就誕生了數(shù)據(jù)中心網(wǎng)絡。
數(shù)據(jù)中心網(wǎng)絡可以分為三個部分:
1、數(shù)據(jù)中心內(nèi)部網(wǎng)絡。主要是連接數(shù)據(jù)中心內(nèi)的海量服務器,支持數(shù)據(jù)中心服務器之間的通信需求。這部分網(wǎng)絡可以被視為一種“計算機局域網(wǎng)”,而這部分流量經(jīng)常被稱為數(shù)據(jù)中心的“東西流量”。
2、分布式數(shù)據(jù)中心之間的網(wǎng)絡。一個互聯(lián)網(wǎng)業(yè)務提供商可能修建了多個數(shù)據(jù)中心(為了異地災備、降低延遲等多種考慮),連接這些分布式數(shù)據(jù)中心之間的網(wǎng)絡,也是數(shù)據(jù)中心網(wǎng)絡的組成部分。這部分網(wǎng)絡一般是專線(自建或租用)連接,但也不排除使用電信運營商的公共互聯(lián)網(wǎng)。
3、連接數(shù)據(jù)中心和終端用戶之間的網(wǎng)絡。大部分情況下,數(shù)據(jù)中心與終端用戶之間是通過電信運營商的接入網(wǎng)絡來互通的,但當前許多互聯(lián)網(wǎng)公司所修建的數(shù)據(jù)中心已經(jīng)離用戶越來越近,部分互聯(lián)網(wǎng)公司甚至有過自建網(wǎng)絡直聯(lián)用戶的做法(比如谷歌公司曾經(jīng)的“谷歌光纖”項目)。數(shù)據(jù)中心與終端用戶之間的流量,經(jīng)常被稱為數(shù)據(jù)中心的“南北流量”。
數(shù)據(jù)中心網(wǎng)絡與互聯(lián)網(wǎng)的關系
互聯(lián)網(wǎng)(Internet)是對“網(wǎng)絡”進行“互聯(lián)”的“網(wǎng)絡”。IP協(xié)議(Internet Protocol)是互聯(lián)網(wǎng)最核心的協(xié)議,圍繞互聯(lián)網(wǎng)“開放與互聯(lián)”的使命而設計,是互聯(lián)網(wǎng)取得巨大成功的重要原因之一。以IP協(xié)議為核心的互聯(lián)網(wǎng)技術,也將成為打通行業(yè)網(wǎng)絡“孤島”、連接不同行業(yè)網(wǎng)絡的關鍵技術,是貫通“新基建”中5G網(wǎng)絡、工業(yè)互聯(lián)網(wǎng)、衛(wèi)星互聯(lián)網(wǎng)、數(shù)據(jù)中心網(wǎng)絡等不同網(wǎng)絡的“血管”,是更“全局”、更“基礎”的基礎設施技術。
世界上并不存在所謂的“互聯(lián)網(wǎng)運營商”,因為互聯(lián)網(wǎng)本身是一個完全分布式的架構(gòu)。我們常說的互聯(lián)網(wǎng)服務提供商(Internet Service Provider,ISP),其實是為不具備網(wǎng)絡部署能力的機構(gòu)或個人提供互聯(lián)網(wǎng)接入”服務的公司,一旦網(wǎng)絡部署完成,ISP并不能成為這些網(wǎng)絡的“管理者”或“運營者”(ISP可以協(xié)助運維)。從理論上講,任何一個“網(wǎng)絡”要想加入“互聯(lián)網(wǎng)”,只要申請到IP地址、AS號等基本互聯(lián)網(wǎng)資源就可以了,數(shù)據(jù)中心網(wǎng)絡也是一樣。如今,很多大型互聯(lián)網(wǎng)公司的數(shù)據(jù)中心網(wǎng)絡都有完全獨立的AS號、IP地址段等。
數(shù)據(jù)中心網(wǎng)絡已經(jīng)成為互聯(lián)網(wǎng)基礎設施的重要組成部分。值得注意的是,數(shù)據(jù)中心網(wǎng)絡加入互聯(lián)網(wǎng)的部分,既包括傳統(tǒng)意義上的“計算機局域網(wǎng)”(即單個數(shù)據(jù)中心的內(nèi)部網(wǎng)絡),也包括傳統(tǒng)意義上的“廣域網(wǎng)”(即分布式數(shù)據(jù)中心之間的網(wǎng)絡)。如果互聯(lián)網(wǎng)公司直接提供光纖到戶服務,那就相當于把電信運營商直接“旁路”了(這種做法并不經(jīng)濟,因此“谷歌光纖”項目被停掉了)。
因為加入了互聯(lián)網(wǎng),所以數(shù)據(jù)中心網(wǎng)絡的所有行規(guī)則與互聯(lián)網(wǎng)無異了,這些運行規(guī)則包括但不限于:(1)通過運行域間路由協(xié)議,向外發(fā)布數(shù)據(jù)中心網(wǎng)絡的IP地址前綴及路由;(2)數(shù)據(jù)中心網(wǎng)絡內(nèi)的每臺服務器都分配一個IP地址;(3)數(shù)據(jù)中心網(wǎng)絡中的每個節(jié)點運行TCP/IP協(xié)議棧,與互聯(lián)網(wǎng)其他部分交互的報文都要封裝一個IP頭部。當然,數(shù)據(jù)中心網(wǎng)絡內(nèi)部服務器之間交互的流量,其協(xié)議棧的選擇相對靈活,比如可以采用“大二層網(wǎng)絡”(用MAC地址轉(zhuǎn)發(fā)),也可以采用RoCE(RDMA over Converged Ethernet)協(xié)議棧,但就算在這兩種情況下,一般也會給報文封裝PP頭部(但不一定用P地址來轉(zhuǎn)發(fā))。
數(shù)據(jù)中心內(nèi)部網(wǎng)絡與傳統(tǒng)局域網(wǎng)的區(qū)別
數(shù)據(jù)中心內(nèi)部網(wǎng)絡本質(zhì)上屬于計算機局域網(wǎng),與園區(qū)網(wǎng)、企業(yè)辦公網(wǎng)絡等其他的傳統(tǒng)計算機局域網(wǎng)相比,存在以下特點:
1、數(shù)據(jù)中心內(nèi)部網(wǎng)絡的流量主要是機器產(chǎn)生的,而傳統(tǒng)的園區(qū)網(wǎng)、企業(yè)網(wǎng)的流量主要是人產(chǎn)生的。數(shù)據(jù)中心把大規(guī)模的服務器進行互聯(lián)通信,不管是數(shù)據(jù)中心網(wǎng)絡的內(nèi)部流量,還是數(shù)據(jù)中心與終端用戶之間的通信流量,都是機器產(chǎn)生的。因此數(shù)據(jù)中心網(wǎng)絡的流量往往具有突發(fā)性強、缺乏規(guī)律性的特點,流量的可預測性不強。
2、數(shù)據(jù)中心內(nèi)部網(wǎng)絡的鏈路密集、拓撲規(guī)整性強。與園區(qū)網(wǎng)、企業(yè)網(wǎng)等相比,數(shù)據(jù)中心網(wǎng)絡主要是把海量服務器進行互聯(lián),這些服務器都被密集地放置,因此服務器之間的鏈路也非常密集。為了讓這些服務器進行更好的互聯(lián)通信,服務器之間的互聯(lián)拓撲也往往具有較強的規(guī)整性,比如fat-tree(胖樹)、VL2、BCube等拓撲。
3、數(shù)據(jù)中心內(nèi)部網(wǎng)絡的端到端帶寬極高、延遲極低。由于當前的互聯(lián)網(wǎng)服務規(guī)模不斷增加,數(shù)據(jù)中心網(wǎng)絡產(chǎn)生的流量極高,服務器之間的端到帶寬當前已經(jīng)達到100Gbps,未來還會繼續(xù)增長;而園區(qū)網(wǎng)、企業(yè)網(wǎng)的端到端帶寬大部分情況下是在MGBps級別。由于數(shù)據(jù)中心網(wǎng)絡連接的服務器之間距離很近,帶寬又極高,因此服務器之間的端到延遲極低,往往在微秒級別;而園區(qū)網(wǎng)、企業(yè)網(wǎng)的端到端延遲較高,一般在毫秒級別。
數(shù)據(jù)中心內(nèi)部網(wǎng)絡與超級計算機內(nèi)部網(wǎng)絡的區(qū)別
由于數(shù)據(jù)中心是把大量服務器(計算節(jié)點)相連,讓人很容易將其與超級計算機聯(lián)想到一起。但是,數(shù)據(jù)中心網(wǎng)絡與超級計算機的內(nèi)部網(wǎng)絡還存在以下區(qū)別:
1、大部分數(shù)據(jù)中心是商業(yè)公司所擁有的,因此在技術選擇上更看重“性價比”,而非“絕對性能”。所以,數(shù)據(jù)中心網(wǎng)絡往往采用TCP/IP/Ethernet這樣的互聯(lián)網(wǎng)技術協(xié)議棧,因為這一類協(xié)議棧所對應的硬件設備成本較低。而超級計算機的內(nèi)部網(wǎng)絡主要看重性能,采用的是InfiniBand這樣的通信協(xié)議棧。
2、由于數(shù)據(jù)中心網(wǎng)絡側(cè)重于“性價比”的考慮,往往采用較為“廉價”的硬件設備,因此網(wǎng)絡協(xié)議的設計中需要考慮容錯性。這與數(shù)據(jù)中心MapReduce、HDFS等分布式計算或分布式存儲系統(tǒng)的設計思想一致,即通過軟件上的設計,在相對“低端”“不可靠”的硬件設備上實現(xiàn)高性能的系統(tǒng)性能。而超級計算機的內(nèi)部網(wǎng)絡往往通過硬件手段(比如備份硬件)來解決容錯問題。