インテル® イーサネット・デバイス用リモート・ダイレクト・メモリー・アクセス (RDMA)

リモート・ダイレクト・メモリー・アクセス (RDMA) は、ネットワーク・デバイスが別のシステムのアプリケーション・メモリーと直接データを転送できるようにすることで、特定のネットワーク環境でスループットを向上させ、レイテンシーを短縮します。

• インテル® イーサネット 800 シリーズのデバイスは iWARP と RoCEv2 の両方をサポートします。
• インテル® イーサネット X722 シリーズのデバイスは iWARP のみサポートします。

主な違いは、iWARP は TCP で RDMA を実行し、RoCEv2 は UDP を使用することです。

RDMA 機能を備えたデバイスでは、RDMA は次のオペレーティング・システムでサポートされています。

• Linux*
• FreeBSD*
• VMware* ESXi*
• Microsoft* Windows Server*

パケットのドロップによるパフォーマンスの低下を防ぐには、すべてのネットワーク・インターフェイスおよびスイッチでリンクレベルのフロー制御または優先度のフロー制御を有効にします。

注: Microsoft* Windows Server* オペレーティング・システム実行しているシステムでは、*QoS/優先度のフロー制御を有効にすると、リンクレベルのフロー制御が無効になります。 インテル® イーサネット 800 シリーズベースのデバイスは、5 ポート以上のマルチポート・モードで動作している場合、RDMA をサポートしません。 Linux システムでは、RDMA とリンク・アグリゲーション (LAG、ボンディングとも呼ばれる) は、ほとんどのデバイスで互換性がありません。RDMA が有効になっている場合、ボンディングは機能しません。 インテル® イーサネット 810 シリーズ・デバイスでは、次の条件が満たされる場合 RDMA と LAG は互換性があります。 RDMA テクノロジーが RoCEv2 に設定されている。 LAG 構成がアクティブ / バックアップである。 ボンディングは同一のデバイス内の 2 つのポート間である。 2 つのポートの QoS 構成は、デバイスのボンディング前に一致している。

Linux* または FreeBSD* での RDMA

Linux* または FreeBSD* で RDMA をサポートするインテル® イーサネット・デバイスでは、次の表に示すドライバーを使用してください。

基本的なインストール手順

Linux* または FreeBSD* で RDMA をインストールおよび設定する一通りの手順は次のとおりです。詳細については、該当する RDMA ドライバーの tarball 内の README ファイルを参照してください。

1. ベースドライバーをインストールします。
2. RDMA ドライバーをインストールします。
3. ユーザーモード RDMA ライブラリーをインストールし、パッチを適用します。正確な手順は OS によって異なります。詳細については、 RDMA ドライバーの readme を参照してください。
4. デバイスでフロー制御を有効にします。詳細とサポートされているモードについては、ベースドライバーの README を参照してください。
5. RoCE を使用している場合は、システムが接続されているデバイスとエンドポイントでフロー制御 (PFC または LFC) を有効にしてください。詳細については、スイッチのドキュメントを参照してください。Linux の場合は、RDMA 使用事例のためのインテル® イーサネット 800 シリーズ Linux* フロー制御構成ガイドを参照してください。

Linux の仮想環境向け RDMA

インテル® イーサネット 800 シリーズ搭載デバイスは、対応する Windows* または Linux* ホスト上で Linux* VF の RDMA をサポートします。Linux* VF で RDMA をロードおよび構成する方法の詳細については、Linux* RDMA ドライバー tarball 内の README ファイルを参照してください。

Microsoft* Windows* での RDMA

Network Direct (ND) 用 RDMA ユーザーモードのアプリケーション

Network Direct (ND) はユーザーモードのアプリケーションで RDMA 機能を使用可能にします。

注: ユーザーモードのアプリケーションは、Microsoft* HPC Pack またはインテル® MPI ライブラリーなどで前提条件をもつことがあります。詳細については、アプリケーションのドキュメントを参照してください。

RDMA Network Direct Kernel (NDK)

RDMA Network Direct Kernel (NDK) 機能は、インテルベースのネットワーク・ドライバーに含まれており、追加機能をインストールする必要はありません。

IP サブネット全体に渡る RDMA ルーティング

サブネット全体で NDK の RDMA 機能を有効化したい場合は、ベースドライバーのインストール中に RDMA 構成オプション画面で [IP サブネット全体で RDMA ルーティングを有効にする] を選択する必要があります。

Microsoft* Windows Server* オペレーティング・システムでの優先フロー制御 (PFC) の有効化

パケットのドロップによるパフォーマンスの低下を防ぐには、すべてのネットワーク・インターフェイスおよびスイッチで優先フロー制御 (PFC) またはリンクレベルのフロー制御を有効にします。

注：Microsoft* Windows Server* オペレーティング・システムを実行しているシステムでは、*QoS/優先度のフロー制御を有効にすると、リンクレベルのフロー制御が無効になります。

次の PowerShell* コマンドを使用して、Microsoft* Windows Server* の PFC を有効にします。

Install-WindowsFeature -Name Data-Center-Bridging -IncludeManagementTools
New-NetQoSPolicy "SMB" -NetDirectPortMatchCondition 445 -PriorityValue8021Action 3
Enable-NetQosFlowControl -Priority 3
Disable-NetQosFlowControl -Priority 0,1,2,4,5,6,7
New-NetQosTrafficClass -Name "SMB" -Priority 3 -BandwidthPercentage 60 -Algorithm ETS
Set-NetQosDcbxSetting -Willing $FALSE
Enable-NetAdapterQos -Name "Slot1 4 2 Port 1"

Microsoft* PowerShell* を使用した RDMA 操作の検証

次の Microsoft* PowerShell* コマンドを使用して、ネットワーク・インターフェイスで RDMA が有効になっているか確認できます:

Get-NetAdapterRDMA

次の PowerShell* コマンドを使用して、ネットワーク・インターフェイスが RDMA 対応でありマルチチャネルが有効になっているか確認できます:

Get-SmbClientNetworkInterface

次の PowerShell* コマンドを使用して、オペレーティング・システムで Network Direct が有効になっているか確認できます:

Get-NetOffloadGlobalSetting | Select NetworkDirect

Netstat を使用して、各 RDMA 対応ネットワーク・インターフェイスのポート 445 にリスナーがあることを確認します (RDMA をサポートする Windows* クライアント OS はリスナーをポストできない場合があります)。例:

netstat.exe -xan | ? {$_ -match "445"}

Windows* 仮想環境用の RDMA

VMSwitch 接続された仮想アダプターで RDMA 機能を有効にするには、以下を行う必要があります。

• 各ポートで SR-IOV (シングルルート I/O 仮想化) および VMQ (仮想マシンキュー) の詳細プロパティーを有効にします。
• RDMA 機能を有効にする VF の数を設定します。RDMA 機能により、最大 32 VF を有効にできます。

特定の状況下では、これらの設定をデフォルトで無効にすることができます。これらのオプションは、アダプターのプロパティー・ダイアログ・ボックスの [詳細設定] タブ内にあるインテル® PROSet ACU の [アダプターの設定] パネル、または次の PowerShell コマンドを使用して手動で設定できます。

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword *SRIOV -RegistryValue 1

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword *VMQ -RegistryValue 1

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword RdmaMaxVfsEnabled -RegistryValue <1-32>

RDMA ゲストサポートの設定 (NDK モード 3)

NDK モード 3 はカーネルモード Windows* コンポーネントが Hyper-V* ゲスト・パーティション内で RDMA 機能を使用できるようにします。インテル® イーサネット・デバイスで NDK モード 3 を有効にするには、次の手順に従ってください:

1. システムの BIOS または UEFI で SR-IOV を有効にします。
2. デバイスで SR-IOV 詳細設定を有効にします。
3. 同じデバイスのすべての物理関数に対して次の手順を実行して、デバイスにバインドされている VMSwitch で SR-IOV を有効にします。
   New-VMSwitch -Name <switch_name> -NetAdapterName <device_name>
-EnableIov $true
4. "RdmaMaxVfsEnabled" 詳細設定を設定することにより、デバイス上の RDMA 仮想関数 (VF) の数を設定します。すべての物理関数を同じ値に設定する必要があります。この値はデバイス全体で RDMA を一度に実行できる仮想関数 (VF) の最大数です。さらに多くの仮想関数 (VF) を有効にすると、物理関数 (PF) とほかの VF から RDMA リソースが制限されます。
   Set-NetAdapterAdvancedProperty -Name <device_name> -RegistryKeyword RdmaMaxVfsEnabled -RegistryValue <Value: 0 - 32>
5. ホストですべての物理関数 (PF) アダプターを無効にして、それらを再度有効にします。これはレジストリーのキーワード “RdmaMaxVfsEnabled” が変更された場合、または VMSwitch を作成または破棄するときに必要です。
   Get-NetAdapterRdma | Disable-NetAdapter
Get-NetAdapterRdma | Enable-NetAdapter
6. RDMA VF サポートを必要とする仮想マシン用の VM ネットワーク・アダプターを作成します。
   Add-VMNetworkAdapter -VMName <vm_name> -VMNetworkAdapterName <device_name> -SwitchName <switch_name>
7. ゲスト・パーティションで Microsoft* Windows* 10 Creators Update (RS2) 以降を使用する予定の場合は、ホストで次のコマンドを入力して、VM ネットワーク・アダプターに RDMA のウェイトを設定してください。
   Set-VMNetworkAdapterRdma -VMName <vm_name> -VMNetworkAdapterName <device_name> -RdmaWeight 100
8. VM ネットワーク・アダプターで SR-IOV ウェイトを設定します (注: RDMA ウェイトを 0 に設定する前に SR-IOV ウェイトを 0 に設定する必要があります):
   Set-VMNetworkAdapter -VMName <vm_name> -VMNetworkAdapterName <device_name> -IovWeight 100
9. VM の PROSET インストーラーを使用して VF ネットワーク・アダプターをインストールします。
10. VM の PowerShell を使用して、VF ドライバーと Hyper-V ネットワーク・アダプターで RDMA を有効にします:
    Set-NetAdapterAdvancedProperty -Name <device_name> -RegistryKeyword RdmaVfEnabled -RegistryValue 1
Get-NetAdapterRdma | Enable-NetAdapterRdma

SMB ダイレクト (サーバー・メッセージ・ブロック) など NDK 機能用の RDMA

NDK は、Windows* コンポーネント (SMB ダイレクト・ストレージなど) が RDMA 機能を使用できるようにします。

DiskSPD を使用して NDK: Microsoft* Windows* SMB ダイレクトをテストする

このセクションでは、インテルのイーサネット機能と、Microsoft* Windows* オペレーティング・システムでのパフォーマンスを調べるために推奨される RDMA のテスト方法を説明します。

SMB ダイレクトはストレージ・ワークロードなので、ベンチマークのパフォーマンスは、テストされるネットワーク・インターフェイスではなく、ストレージデバイスの速度に制限される可能性があります。テスト中のネットワーク・デバイスの真の性能をテストするために、インテルは可能な限り最速のストレージを使用することを推奨します。

テストの手順:

1. サポートされている Microsoft* Windows Server* オペレーティング・システムを実行している少なくとも 2 台のサーバーをセットアップして、接続します。各サーバーに少なくとも 1 つの RDMA 対応インテル® イーサネット・デバイスが必要です。
2. SMB サーバーとして指定したシステムで、SMB 共有を設定します。ベンチマークのパフォーマンスは、テストされるネットワーク・インターフェイスではなく、ストレージデバイスの速度に制限される可能性があることに注意してください。ストレージのセットアップについては、本書では取り扱いません。次の PowerShell* コマンドを使用できます:
   New-SmbShare -Name <SMBsharename> -Path <SMBsharefilepath> -FullAccess <domainname>\Administrator,Everyone
   
   例:
   New-SmbShare -Name RAMDISKShare -Path R:\RAMDISK -FullAccess group\Administrator,Everyone
   
   
3. 次のサイトから Microsoft* ユーティリティー Diskspd をダウンロードしてインストールします: https://gallery.technet.microsoft.com/DiskSpd-a-robust-storage-6cd2f223
4. CMD または Powershell* を利用して DiskSpd フォルダーに cd を実行し、テストを実行します。(パラメーターの詳細については、Diskspd のドキュメントを参照してください)
   
   例: ブロックのサイズを 4K に設定してテストを 60 秒間実行。すべてのハードウェアとソフトウェアのキャッシュを無効にし、レイテンシーの統計を測定・表示。ターゲットごとに 16 の重複した IO と 16 スレッドを活用し、ランダム 0% 書き込みおよび 100% 読み取りで 10GB テストファイルを "\\<SMBserverTestIP>\<SMBsharename>\test.dat" に作成:
   .\diskspd.exe -b4K -d60 -h -L -o16 -t16 -r -w0 -c10G \\<SMBserverTestIP>\<SMBsharename>\test.dat
   
   
5. 「RDMA Activity」や「SMB Direct Connection」などの perfmon カウンターを使用して RDMA トラフィックが実行されていることを検証します。詳細については、Microsoft* のドキュメントを参照してください。

RDMA Windows パフォーマンス監視

perfmon またはその他のパフォーマンス監視ツールを使用して、RDMA カウンターと統計情報を監視および表示できます。詳細については、Microsoft* のドキュメントを参照してください。Register-IntelEthernetRDMACounterSet cmdlet を使用して、特定のデバイスの RDMA 統計カウンターを perfmon に登録します。インテル® イーサネット cmdlet のインストール方法および使用方法に関する詳細については、Windows PowerShell による構成を参照してください。次の PowerShell コマンドを使用して、すべての対応デバイスの RDMA 統計情報を登録できます。

Register-IntelEthernetRDMACounterSet

次の PowerShell cmdlet を使用して、RDMA 統計情報を登録解除できます。

Unregister-IntelEthernetRDMACounterSet