Remote Direct Memory Access (RDMA) für Intel® Ethernet-Geräte

Mit Remote Direct Memory Access (oder RDMA) kann ein Netzwerkgerät Daten direkt an den und von dem Anwendungsspeicher eines anderen Systems übertragen. In manchen Netzwerkumgebungen lässt sich dadurch der Durchsatz erhöhen und die Latenz verringern.

• Geräte mit Intel® Ethernet der 800er Reihe unterstützen sowohl iWARP als auch RoCEv2.
• Geräte mit Intel® Ethernet der X722er Reihe unterstützen lediglich iWARP.

Der Hauptunterschied liegt darin, dass RDMA von iWARP über TCP und von RoCEv2 über UDP verarbeitet wird.

Bei Geräten mit RDMA-Funktionen wird RDMA auf den folgenden Betriebssystemen unterstützt:

• Linux*
• FreeBSD*
• VMware* ESXi*
• Microsoft* Windows Server*

Um Leistungsabfall durch Paketverlust zu vermeiden, aktivieren Sie Flusssteuerung auf Verbindungsebene oder prioritäre Flusssteuerung auf allen Netzwerkschnittstellen und Switches.

HINWEISE: Wenn Sie bei Systemen, die unter einem Microsoft*-Windows*-Server-Betriebssystem laufen, die *QoS/Priorität Durchflusssteuerung aktivieren, wird diese die Linklevel-Durchflusssteuerung deaktivieren. Im Multiport-Modus mit mehr als 4 Ports unterstützen Geräte auf Basis der Intel® Ethernet 800 Reihe kein RDMA. Auf Linux-Systemen sind RDMA und Link-Aggregation (LAG, auch als Bonding bezeichnet) mit den meisten Geräten nicht kompatibel. Wird RDMA aktiviert, funktioniert die Bündelung nicht. Auf Geräten der Intel Ethernet 810 Reihe sind RDMA und LAG kompatibel, wenn alle folgenden Aussagen wahr sind: RDMA-Technik ist auf RoCEv2 eingestellt. Die LAG-Konfiguration ist Active-Backup. Das Bonding erfolgt zwischen zwei Ports im gleichen Gerät. Die QoS-Konfiguration der beiden Ports passt sich vor dem Bonding der Geräte an.

RDMA auf Linux oder FreeBSD

Für Intel Ethernet Geräte, die RDMA auf Linux oder FreeBSD unterstützen, sind die in der folgenden Tabelle angegebenen Treiber zu verwenden.

Grundlegende Installationsanleitungen

Im Wesentlichen besteht die Installation und Konfiguration von RDMA auf Linux oder FreeBSD aus den folgenden Schritten. Weitere Einzelheiten finden Sie in der README-Datei innerhalb des entsprechenden Tarball-Archivs des RDMA-Treibers.

1. Den Basistreiber installieren.
2. Den RDMA-Treiber installieren.
3. Jegliche Bibliotheken für den RDMA Benutzermodus installieren und patchen. Die genauen Schritte variieren nach Betriebssystem; weitere Informationen finden Sie in der Readme-Datei für den RDMA-Treiber.
4. Flusssteuerung auf Ihrem Gerät aktivieren. Weitere Einzelheiten und Informationen zu unterstützten Modi finden Sie in der README-Datei für den Basistreiber.
5. Bei Verwendung von RoCE die Flusssteuerung (PFC oder LFC) auf dem Gerät und dem Endpunkt, mit dem Ihr System verbunden ist, aktivieren. Näheres hierzu erfahren Sie in Ihrer Switch-Dokumentation und für Linux im Konfigurationsleitfaden für Intel® Ethernet Linux Flow Control der Produktreihe 800 für RDMA-Anwendungsfälle.

RDMA für virtualisierte Umgebungen in Linux

Auf der Intel Ethernet 800 Serie basierende Geräte unterstützen RDMA in einer Linux-VF auf unterstützten Windows- oder Linux-Hosts Lesen Sie die README-Datei im Linux-RDMA-Treiber-Tarball, um weitere Informationen über das Laden und Konfigurieren von RDMA in einer Linux-VF zu erhalten.

RDMA auf Microsoft Windows

RDMA für Network Direct (ND) Benutzermodusanwendungen

Über Network Direct (ND) erhalten Benutzermodusanwendungen Zugriff auf RDMA-Funktionen.

HINWEIS: Benutzermodusanwendungen setzten möglicherweise Komponenten wie Microsoft* HPC Pack oder Intel MPI Library voraus. Weitere Einzelheiten finden Sie in der Dokumentation zu Ihrer Anwendung.

RDMA Network Direct Kernel (NDK)

Die RDMA Network Direct Kernel-(NDK-)Funktionalität ist in den Basisnetzwerktreibern von Intel enthalten. Es müssen zu diesem Zweck keine weiteren Funktionen installiert werden.

RDMA-Routing über IP-Subnetze

Wenn Sie die NDK RDMA-Funktionalität in Subnetzen freischalten möchten, müssen Sie bei der Installation der Basistreiber auf dem Bildschirm „RDMA Configuration Options“ (RDMA Konfigurationsoptionen) die Option „Enable RDMA routing across IP Subnets“ (RDMA-Routing in IP-Subnetzen aktivieren) wählen.

Aktivierung der prioritären Flusssteuerung (PFC) auf einem Server, der unter einem Microsoft*-Windows*-Betriebssystem läuft

Um Leistungsabfall durch Paketverlust zu vermeiden, aktivieren Sie die prioritäre Flusssteuerung (PFC) oder die Linklevel-Durchflusssteuerung auf allen Netzwerkschnittstellen und Switches.

ANMERKUNG: Wenn Sie bei Systemen, die unter einem Microsoft-Windows-Betriebssystem laufen, die *QoS/Priorität Durchflusssteuerung aktivieren, wird diese die Linklevel-Durchflusssteuerung deaktivieren.

Verwenden Sie die folgenden PowerShell*-Befehle, um PFC auf Microsoft Windows Server zu aktivieren:

Install-WindowsFeature -Name Data-Center-Bridging -IncludeManagementTools
New-NetQoSPolicy "SMB" -NetDirectPortMatchCondition 445 -PriorityValue8021Action 3
Enable-NetQosFlowControl -Priority 3
Disable-NetQosFlowControl -Priority 0,1,2,4,5,6,7
New-NetQosTrafficClass -Name "SMB" -Priority 3 -BandwidthPercentage 60 -Algorithm ETS
Set-NetQosDcbxSetting -Willing $FALSE
Enable-NetAdapterQos -Name "Slot1 4 2 Port 1"

Überprüfen der RDMA-Funktion mit Microsoft PowerShell

Mit dem folgenden Microsoft PowerShell-Befehl können Sie überprüfen, ob RDMA auf den Netzwerkschnittstellen aktiviert ist:

Get-NetAdapterRDMA

Mit dem folgenden PowerShell-Befehl können Sie überprüfen, ob die Netzwerkschnittstellen RDMA unterstützen und Multichannel aktiviert ist:

Get-SmbClientNetworkInterface

Mit dem folgenden PowerShell-Befehl können Sie überprüfen, ob Network Direct im Betriebssystem aktiviert ist:

Get-NetOffloadGlobalSetting | Select NetworkDirect

Mit netstat können Sie sicherstellen, dass jede RDMA-fähige Netzwerkschnittstelle an Port 445 einen Listener hat (Windows* Client-Betriebssysteme mit RDMA-Unterstützung posten unter Umständen keine Listener). Zum Beispiel:

netstat.exe -xan | ? {$_ -match "445"}

RDMA für virtualisierte Umgebungen in Windows

Zur Aktivierung der RDMA-Funktionalität auf virtuellen Adaptern, die mit einem VMSwitch verbunden sind, sind folgende Schritte erforderlich:

• Aktivieren Sie die erweiterten Eigenschaften von SR-IOV (Single Root IO Virtualization) und VMQ (Virtual Machine Queues) auf jedem Port.
• Legen Sie die Anzahl der VFs fest, für die RDMA-Funktionen aktiviert werden sollen. Sie können bis zu 32 VFs für RDMA-Funktionen aktivieren.

Unter bestimmten Umständen können Sie diese Einstellungen standardmäßig deaktivieren. Sie können diese Optionen im Einstellungsbereich des Adapters von Intel PROSet ACU oder auf der Registerkarte „Erweitert“ der Adaptereigenschaften manuell konfigurieren. Alternativ können Sie die folgenden PowerShell-Befehle verwenden:

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword *SRIOV -RegistryValue 1

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword *VMQ -RegistryValue 1

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword RdmaMaxVfsEnabled -RegistryValue <1-32>

Konfiguration von RDMA Guest Support (NDK-Modus 3)

Im NDK-Modus 3 können Windows*-Komponenten im Kernelmodus auf RDMA-Funktionen in Hyper-V-Gastpartitionen zugreifen. So wird NDK-Modus 3 auf einem Intel Ethernetgerät aktiviert:

1. Aktivieren Sie SR-IOV im BIOS oder UEFI Ihres Systems.
2. Aktivieren Sie die erweiterte Einstellung für SR-IOV auf dem Gerät.
3. Aktivieren Sie SR-IOV auf dem mit dem Gerät verbundenen VMSwitch, indem Sie für alle physischen Funktionen auf demselben Gerät die folgenden Schritte durchführen:
   New-VMSwitch -Name <Switchname> -NetAdapterName <Gerätename>
-EnableIov $true
4. Konfigurieren Sie die Anzahl der virtuellen Funktionen (VF) für RDMA auf dem Gerät über die erweiterte Einstellung „RdmaMaxVfsEnabled“. Alle physischen Funktionen müssen auf den gleichen Wert gesetzt werden. Der Wert ist die maximale Anzahl von VF mit gleichzeitiger RDMA-Unterstützung für das gesamte Gerät. Wenn mehr VF aktiviert werden, stehen begrenzte RDMA-Ressourcen aus physischen Funktionen (PF) und anderen VF zur Verfügung.
   Set-NetAdapterAdvancedProperty -Name <Gerätename> -RegistryKeyword RdmaMaxVfsEnabled -RegistryValue <Value: 0 - 32>
5. Deaktivieren Sie alle PF-Adapter auf dem Host und aktivieren Sie sie neu. Dies ist erforderlich, wenn das Registrierungs-Schlüsselwort „RdmaMaxVfsEnabled“ geändert oder ein VMSwitch erstellt oder verworfen wird.
   Get-NetAdapterRdma | Disable-NetAdapter
Get-NetAdapterRdma | Enable-NetAdapter
6. Erstellen Sie VM Netzwerkadapter für VM, die RDMA VF-Unterstützung erfordern.
   Add-VMNetworkAdapter -VMName <VM-Name> -VMNetworkAdapterName <Gerätename> -SwitchName <Switchname>
7. Falls Sie die Verwendung von Microsoft* Windows* 10 Creators Update (RS2) oder höher auf einer Gastpartition planen, setzen Sie das RDMA-Weight auf dem VM-Netzwerkadapter, indem Sie den folgenden Befehl auf dem Host eingeben:
   Set-VMNetworkAdapterRdma -VMName <VM-Name> -VMNetworkAdapterName <Gerätename> -RdmaWeight 100
8. Setzen Sie das SR-IOV-Weight auf dem VM-Netzwerkadapter (Hinweis: SR-IOV-Weight muss auf 0 gesetzt werden, bevor RdmaWeight auf 0 gesetzt wird):
   Set-VMNetworkAdapter -VMName <VM-Name> -VMNetworkAdapterName <Gerätename> -IovWeight 100
9. Installieren Sie den VF-Netzwerkadapter mit dem PROSET Installer in der VM.
10. Aktivieren Sie RDMA auf dem VF-Treiber und Hyper-V-Netzwerkadapter über PowerShell in der VM:
    Set-NetAdapterAdvancedProperty -Name <Gerätename> -RegistryKeyword RdmaVfEnabled -RegistryValue 1
Get-NetAdapterRdma | Enable-NetAdapterRdma

RDMA für NDK-Funktionen wie SMB Direct (Server Message Block)

NDK ermöglicht die Verwendung von RDMA-Funktionen (wie SMB Direct Storage) durch Windows* Komponenten.

Testen von NDK: Microsoft Windows SMB Direct with DiskSPD

In diesem Abschnitt wird die empfohlene Methode beschrieben, um die Funktionalität und Leistung von RDMA für Intel Ethernet auf Microsoft Windows-Betriebssystemen zu testen.

SMB Direct ist eine Speicherworkload. Daher kann es vorkommen, dass die Leistung der Benchmark auf die Geschwindigkeit des Speichergeräts anstatt der getesteten Netzwerkschnittstelle begrenzt ist. Intel empfiehlt die Verwendung des schnellstmöglichen Speichersystems, um die echte Leistungsfähigkeit der untersuchten Netzwerkgeräte zu testen.

Testanleitung:

1. Konfigurieren und verbinden Sie mindestens zwei Server, auf denen ein unterstütztes Microsoft* Windows Server*-Betriebssystem ausgeführt wird, mit mindestens einem RDMA-fähigen Intel® Ethernet-Gerät pro Server.
2. Richten Sie auf dem als SMB Server vorgesehenen Server eine SMB-Freigabe ein. Es kann vorkommen, dass die Leistung der Benchmark auf die Geschwindigkeit des Speichergeräts anstatt der getesteten Netzwerkschnittstelle begrenzt ist. Die Einrichtung des Speichersystems wird in diesem Dokument nicht behandelt. Sie können den folgenden PowerShell-Befehl verwenden:
   New-SmbShare -Name <SMBsharename> -Path <SMBsharefilepath> -FullAccess <domainname>\Administrator,Everyone
   
   Zum Beispiel:
   New-SmbShare -Name RAMDISKShare -Path R:\RAMDISK -FullAccess group\Administrator,Everyone
   
   
3. Laden Sie unter folgendem Link das Microsoft-Dienstprogramm Diskspd herunter: https://gallery.technet.microsoft.com/DiskSpd-a-robust-storage-6cd2f223
4. Wählen Sie mit CMD oder Powershell den Ordner DiskSpd und führen Sie Tests aus. (Einzelheiten zu den Parametern finden Sie in der Dokumentation zu Diskspd)
   
   Beispiel: Festlegen der Blockgröße auf 4K, Test 60 Sekunden lang laufen lassen, Deaktivieren von sämtlichem Hardware- und Software-Caching, Latenzstatistiken messen und anzeigen, 16 sich überlappende IOs und 16 Threads pro Target verwenden, 0 % wahlfreie Schreibzugriffe und 100 % Lesezugriffe, und Generieren einer 10-GB-Testdatei unter „\\<SMBserverTestIP>\<SMBsharename>\test.dat“:
   .\diskspd.exe -b4K -d60 -h -L -o16 -t16 -r -w0 -c10G \\<SMBserverTestIP>\<SMBsharename>\test.dat
   
   
5. Kontrollieren Sie mit Perfmon-Zählern wie „RDMA Activity“ und „SMB Direct Connection“, dass RDMA-Traffic läuft. Weitere Informationen finden Sie in der Dokumentation von Microsoft*.

RDMA Windows Performance Monitoring

Sie können mit perfmom oder einem anderen Leistungsüberwachungs-Tool RDMA-Statistiken und Werte überwachen. Weitere Informationen finden Sie in der Dokumentation von Microsoft*. Das Register-IntelEthernetRDMACounterSet-Cmdlet registriert die RDMA-Statistikzähler für das jeweilige Gerät bei perfmon. In Konfiguration mit Windows PowerShell finden Sie weitere Informationen zur Installation und Verwendung von Ethernet Cmdlets von Intel. Sie können den folgenden PowerShell-Befehl verwenden, um die RDMA-Statistiken für alle unterstützten Geräte zu registrieren:

Register-IntelEthernetRDMACounterSet

Sie können das folgende PowerShell Cmdlet verwenden, um die RDMA-Statistiken zu entfernen:

Unregister-IntelEthernetRDMACounterSet