前言
在去年 Microsoft Ignite 2016 大會上,在 Meet Windows Server 2016 and System Center 2016 議程中展示 S2D (Storage Spaces Direct) 的儲存效能表現。在當時展示的運作環境中,每台 S2D 叢集節點配置的是 Chelsio T580CR 40GbE (iWARP) 網路介面卡,整個 S2D 叢集共有 16 台節點主機,最後打出高達「600 萬 IOPS」的儲存效能表現。
S2D 支援 10 / 25 / 40 / 100 GbE 網路環境
現在,Microsoft S2D 軟體定義儲存技術已經支援 10 / 25 / 40 / 100 GbE 網路環境。同時,Chelsio 也已經發行 T6 系列 100GbE 的網路介面卡。S2D 使用 100 GbE iWARP 的儲存效能輸送量
因此,Microsoft 官方也為 S2D 叢集節點主機配置 Chelsio T6 100GbE 網路介面卡,來測試在這樣的網路環境中 S2D 的儲存效能輸送量為多少。下列便是此次的 S2D 測試環境說明:4 台 S2D 叢集節點主機 (Dell R730xd),每台硬體配置如下:
- CPU: E5-2660 v3 2.60 GHz *2 (每顆 10 Cores / 20 執行緒)。
- Memory: 256 GB DDR4 2133 MHz (16 GB * 16 DIMM)。
- Storage: 3.2TB NVME Samsung PM1725 *4 (PCIe 3.0 x8)。
- NIC: Chelsio T6 100GbE (Dual Port PCIe 3.0 x16)。
- Cabling: QSFP28 Passive Copper Cabling。
- BIOS Power: Performance Power Plan。
- OS: Windows Server 2016、S2D (Storage Spaces Direct)、High Performance Power Plan。
- DCB 組態設定: 因為採用的 Chelsio T6 100GbE 為 RDMA 中的 iWARP,所以無須組態設定 DCB (PFC)。
工作負載
- DISKSPD。
- VM Fleet。
- 80 VMs (16 GB VHDX),每台 S2D 叢集節點運作 20 Azure A1 Sized VMs (1 vCPU、1.75 GB RAM)。
- 512 KB 100% Random Read (每台 VM 的 Queue Depth 為 3)。
IOPS 輸送量效能測試結果
下列便是採用 VMFleet 進行 IOPS 輸送量效能測試結果,從結果數據中可以看到總頻寬輸送量高達「83 GB/s」,也就是說每台 VM 虛擬主機使用超過 1GB/s 的輸送量,同時整個 Read Latency 也「< 1.5 ms」。參考資源
- Server Storage at Microsoft - Storage Spaces Direct throughput with iWARP
- Terminator 6 ASIC | Chelsio Communications
- High Performance S2D with Chelsio 100GbE
- Windows SMB 3.1.1 Performance at 100Gbps
- Dell - BIOS Performance and Power Tuning Guidelines
- Chelsio - Cable Compatibility Guide
- Chelsio T6 Adapters Interop Matrix
- Mellanox - LinkX 100Gb/s Passive Copper Cables