凌華科技aTCA-6200服務(wù)器刀片完美搭配Intel® DPDK技術(shù) 顯著提升包轉(zhuǎn)發(fā)服務(wù)性能

Jack Lin,平臺(tái)集成&驗(yàn)證部 經(jīng)理

Yunxia Guo, 軟件系統(tǒng)工程師

Xiang Li, 軟件系統(tǒng)工程師 

前言 

近年來(lái)，隨著市場(chǎng)和技術(shù)的發(fā)展，越來(lái)越多的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)開(kāi)始向基于通用計(jì)算平臺(tái)或模塊化計(jì)算平臺(tái)的架構(gòu)方向融合，用以支持和提供多樣的網(wǎng)絡(luò)單元和豐富的功能，如應(yīng)用處理、控制處理、包處理、信號(hào)處理等。除了節(jié)約成本和縮短產(chǎn)品上市時(shí)間之外，在機(jī)架式系統(tǒng)和不同尺寸的網(wǎng)絡(luò)設(shè)備上，此架構(gòu)還可以提供模塊化架構(gòu)的靈活性以及隨需而定的系統(tǒng)組件獨(dú)立升級(jí)能力。在傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)中，交換模塊處理In-band和out-of-band系統(tǒng)模塊之間的路由交換，處理器模塊提供應(yīng)用層和控制層功能，包處理模塊用于數(shù)據(jù)平面，DSP模塊提供定制化的信號(hào)層功能。通過(guò)使用Intel® DPDK（Intel® Data Plane Development Kit，Intel® 數(shù)據(jù)平面開(kāi)發(fā)套件）,基于Intel® x86架構(gòu)的處理器模塊不僅可以實(shí)現(xiàn)傳統(tǒng)的處理應(yīng)用和控制功能，還可以實(shí)現(xiàn)智能和高效的包處理。 

該白皮書(shū)以IP轉(zhuǎn)發(fā)作為包處理的一個(gè)典型示例，說(shuō)明了如何將凌華科技aTCA-6200刀片式服務(wù)器與Intel® DPDK技術(shù)整合為單一平臺(tái)，提供所需的處理性能，并實(shí)現(xiàn)包處理服務(wù)性能的提升。首先，我們來(lái)比較在沒(méi)有使用Intel® DPDK做任何優(yōu)化時(shí)，采用原生 Linux（Native Linux） IP轉(zhuǎn)發(fā)時(shí)aTCA-6200的第三層轉(zhuǎn)發(fā)性能。然后，我們?cè)俜治霾捎肐ntel® DPDK技術(shù)之后所獲得的IP轉(zhuǎn)發(fā)性能提升的原因。較后，我們將介紹凌華科技基于Intel® DPDK技術(shù)的自己的開(kāi)發(fā)工具包，該工具包可以協(xié)助用戶輕松地開(kāi)發(fā)自己的基于Intel® DPDK的應(yīng)用程序。

 凌華科技aTCA-6200 

凌華科技aTCA-6200是一款高集成度的AdvancedTCA處理器刀片，支持2個(gè)Intel® Xeon® E5-2648L處理器（Sandy Bridge-EP，32nm），每一個(gè)處理器可以較多提供8核20MB的共享緩存。通過(guò)使用Intel®超線程技術(shù)（Intel® HT技術(shù)），每個(gè)處理器可以較多支持16個(gè)物理線程。除此之外，aTCA-6200還支持8通道的DDR3-1600 VLP RDIMM內(nèi)存，每個(gè)處理器可以支持較大64GB的系統(tǒng)內(nèi)存。aTCA-6200還包含了豐富的網(wǎng)絡(luò)I/O接口，包含2個(gè)兼容PICMG 3.1 option 1/9的10GbE口（XAUI，10GBase-KX4），以及較多6個(gè)10/100/1000BASE-T千兆以太網(wǎng)端口，可分別連接至前面板，AdvancedTCA Base接口通道和后走線千兆以太網(wǎng)口。

凌華科技aTCA-6200處理器刀片主要針對(duì)運(yùn)營(yíng)商級(jí)別的安全和電信應(yīng)用，同樣在網(wǎng)絡(luò)基礎(chǔ)設(shè)施中也可作為IMS服務(wù)器、媒體網(wǎng)關(guān)、包檢測(cè)服務(wù)器、流量管理服務(wù)器和WLAN接入點(diǎn)控制器等。

下圖1的功能示意圖展示了凌華科技aTCA-6200的詳細(xì)架構(gòu)。

圖1：aTCA-6200功能示意圖

Intel DPDK 

Intel® DPDK（Intel® Data Plane Development Kit，Intel® 數(shù)據(jù)平面開(kāi)發(fā)套件）是一個(gè)專為Intel®架構(gòu)處理器提供的輕量級(jí)運(yùn)行環(huán)境。它提供了低功耗和Run-to-Completion(RTC，運(yùn)行到完成)模式，以此較大限度的提升數(shù)據(jù)包的處理性能。而且Intel® DPDK還包含了優(yōu)化的和高效的函數(shù)庫(kù)，為用戶提供豐富的選擇，例如我們熟知的環(huán)境抽象層（EAL，Environment Abstraction Layer）,它負(fù)責(zé)初始化和分配低級(jí)資源，同時(shí)隱藏來(lái)自應(yīng)用和函數(shù)庫(kù)的環(huán)境特性，并且獲取低級(jí)資源，如內(nèi)存空間，PCI設(shè)備，定時(shí)器和控制臺(tái)。

環(huán)境抽象層（EAL）提供優(yōu)化的輪詢模式驅(qū)動(dòng)(PMD，Poll Mode Driver)，內(nèi)存和緩存管理，定時(shí)器，調(diào)試和包處理API，其中有些功能也可以由Linux操作系統(tǒng)提供。為使應(yīng)用層間的相互協(xié)作更加便利，環(huán)境抽象層（EAL）與標(biāo)準(zhǔn)的GNU C Library(GLIBC)一起，提供集成了更高級(jí)別應(yīng)用的完整API。 

下圖2為軟件層級(jí)結(jié)構(gòu)圖。

圖 2:在Linux應(yīng)用環(huán)境中的EAL和GLIBC

測(cè)試拓?fù)浣Y(jié)構(gòu) 

為了測(cè)量aTCA-6200在第三層進(jìn)行處理和轉(zhuǎn)發(fā)IP包的速度，我們使用圖3中所示的環(huán)境進(jìn)行測(cè)試。

圖3： IP轉(zhuǎn)發(fā)測(cè)試環(huán)境

如圖3所示，兩片凌華科技aTCA-3400交換刀片，通過(guò)使用FASTPATH®網(wǎng)絡(luò)軟件，為安裝在凌華科技aTCA-8505機(jī)箱中的3片處理器刀片上自帶的10GbE Fabric和1GbE Base接口通道提供了無(wú)阻礙的互連交換，并支持全網(wǎng)（Full-Mesh）拓?fù)浣Y(jié)構(gòu)。因此，每個(gè)aTCA-3400交換刀片可以提供至少一個(gè)Fabric和Base接口，用以連接到每個(gè)處理器刀片，例如安裝在第5槽的aTCA-6200刀片(被測(cè)設(shè)備)。 

Lxia XM12測(cè)試系統(tǒng)，兼容RFC 2544吞吐量基準(zhǔn)，通常被用來(lái)作為包數(shù)據(jù)的模擬器，用以發(fā)送不同幀大小的IP數(shù)據(jù)包，并收集較終的統(tǒng)計(jì)數(shù)據(jù)，如每秒幀數(shù)和吞吐量。

根據(jù)上圖所示的測(cè)試環(huán)境拓?fù)浣Y(jié)構(gòu)，aTCA-6200作為處理器刀片，包含了四個(gè)千兆以太網(wǎng)口：兩個(gè)來(lái)自前面板（Flow 1和Flow 2），另外兩個(gè)是通過(guò)aTCA-3400 Base交換實(shí)現(xiàn)的Base接口（Flow 3和Flow 4）。除了這4個(gè)1GbE的接口之外，aTCA-6200還有2個(gè)10GbE的接口通過(guò)aTCA-3400交換板連至lxia XM12（Flow 5和Flow 6）。

在這個(gè)測(cè)試配置中，aTCA-6200作為被測(cè)設(shè)備（DUT），負(fù)責(zé)接收來(lái)自lxia測(cè)試系統(tǒng)的IPv4數(shù)據(jù)包，并在第三層處理這些數(shù)據(jù)包（例如數(shù)據(jù)包解封裝，IPv4報(bào)頭校驗(yàn)和驗(yàn)證，路由表查找和數(shù)據(jù)包封裝），然后根據(jù)路由表查找結(jié)果將數(shù)據(jù)包返回至lxia XM12。所有的六個(gè)流向都是雙向的：例如，lxia XM12通過(guò)1/2/3/4/5/6接口發(fā)送幀數(shù)據(jù)給aTCA-6200，并分別通過(guò)1/2/3/4/5/6接口接收幀數(shù)據(jù)。

 測(cè)試方法 

為了評(píng)估Intel® DPDK如何在凌華科技aTCA-6200上實(shí)現(xiàn)包轉(zhuǎn)發(fā)服務(wù)的提升，在下面的兩個(gè)測(cè)試案例中我們使用了基于Intel® DPDK的IP包轉(zhuǎn)發(fā)應(yīng)用： 

在Native Linux下的性能 

在這個(gè)測(cè)試環(huán)境中，aTCA-6200安裝了64位Ubuntu Server 11.10。同目前Linux其他版本一樣，IP轉(zhuǎn)發(fā)功能默認(rèn)是禁用的，需啟用IP轉(zhuǎn)發(fā)功能，同時(shí)使用以下命令禁用ufw服務(wù)。

# sudo ufw disable

# sysctl net.ipv4.ip_forward

net.ipv4.ip_forward = 0 

同上，將net.ipv4.ip_forward設(shè)置為0，當(dāng)前內(nèi)核配置下的IP轉(zhuǎn)發(fā)功能將被禁用。但是通過(guò)以下命令可以立即啟用： 

# sysctl -w net.ipv4.ip_forward = 1

or

# echo 1 > /proc/sys/net/ipv4/ip_forward  

如果在/etc/sysctl.conf中將net.ipv4.ip_forward設(shè)置為1，并重啟網(wǎng)絡(luò)服務(wù)，IP轉(zhuǎn)發(fā)功能將默認(rèn)啟用，如下所示： 

#echo "net.ipv4.ip_forward = 1">/etc/sysctl.conf

# /etc/init.d/network restart 

 使用Intel® DPDK后的性能  

Intel® DPDK可以在不同的模式下運(yùn)行，如裸機(jī)（Bare Metal），帶裸機(jī)實(shí)時(shí)（Bare Metal Run-Time）的Linux和Linux 用戶空間（User Space）。在較初的開(kāi)發(fā)階段，Linux用戶空間（User Space）模式是較容易使用的，請(qǐng)參看Intel Data Plane Development Kit - Getting Started Guide for Linux。中的相關(guān)描述。下圖4描述了Intel® DPDK在Linux用戶空間（User Space）模式下的詳細(xì)功能。  

圖4：Intel® DPDK 運(yùn)行在Linux User Space模式下

如需在aTCA-6200處理器刀片中建立Intel® DPDK，請(qǐng)?jiān)谠搩?nèi)核中設(shè)置如下參數(shù)： 

GLIBC >=2.7 

啟用HPET和HPET MMAP配置選項(xiàng) 

# grep HPET /boot/config-`uname -r`

CONFIG_HPET_TIMER=y

CONFIG_HPET_EMULATE_RTC=y

CONFIG_HPET=y

CONFIG_HPET_MMAP=y  

HUGETLBFS enabled: 

# mkdir /mnt/huge

# mount -t hugetlbfs nodev /mnt/huge

# echo 1024 > /sys/kernel/mm/hugepages/hugepages-\ 2048kB/nr_hugepages  

相關(guān)閱讀:

• ...2014/12/09 14:34·基于凌華科技PCI-9846和LabVIEW數(shù)據(jù)采集分析系統(tǒng)
• ...2014/06/17 10:19·基于凌華科技PCI-9846高速數(shù)字化儀的 水輪機(jī)空化聲發(fā)射信號(hào)監(jiān)測(cè)系統(tǒng)研究
• ...2013/11/29 10:36·凌華科技PCI-9846高速數(shù)字化儀在諧波檢測(cè)中的應(yīng)用
• ...2013/09/06 11:46·基于凌華科技PCI-9846高速數(shù)字化儀的復(fù)雜超聲場(chǎng)自動(dòng)檢測(cè)與分析
• ...2013/08/05 11:35·凌華科技攜全系列工業(yè)級(jí)移動(dòng)計(jì)算解決方案
• ...2013/07/30 10:30·基于凌華科技PCI-9846 的航空導(dǎo)航VOR信號(hào)綜測(cè)儀設(shè)計(jì)