前言
VMware vSAN HCI (Hyper-Converged Infrastructures) 運作架構，演變至今已經進入第六代。本文主要焦點將會說明，在 VMware vSAN HCI 超融合運作架構中「Storage Network」的重要性。一般來說， 在乙太網路運作環境中採用「TCP/IP」通訊協定，做為跨主機時的通訊協定，以避免網路傳輸發生不可靠的情況時能夠確保資料一致性，然而這樣的通訊協定及傳輸方式在VMware vSAN HCI 超融合運作架構中，當發生 Network Packet Loss 或 Network Latency 時會對 vSAN 儲存效能造成非常大的影響!!
Network Packet Loss 影響 IOPS 儲存效能
去年在 Las Vegas 舉辦的 VMworld 當中，VMware 的高級解決方案架構師 Andreas Scherr 提到，在 VMware vSAN HCI 超融合運作架構中，不同的 Network Packet Loss 情況 (例如，ESXi 主機網卡品質、網路卡驅動程式、網路線材品質、網路交換器……等，都可能導致 Packet Loss )，將會造成不同程度的 VMware vSAN IOPS 儲存效能下降：- 1 % Network Packet Loss 導致 IOPS 下降 10 %。
- 2 % Network Packet Loss 導致 IOPS 下降 32 %。
- 5 % Network Packet Loss 導致 IOPS 下降 77 %。
- 10 % Network Packet Loss 導致 IOPS 下降 92 %。
圖、Network Packet Loss 導致 vSAN HCI IOPS 儲存效能下降
Network Latency 影響 IOPS 儲存效能
同樣的，在 VMware vSAN HCI 超融合運作架構中，不同程度的 Network Latency 情況 (例如，網路堆疊延遲、儲存堆疊延遲)，也會導致 VMware vSAN IOPS 儲存效能下降：- 5 ms Network Latency 導致 IOPS 下降 30 %。
- 10 ms Network Latency 導致 IOPS 下降 50 %。
圖、Network Latency 導致 vSAN HCI IOPS 儲存效能下降
如何觀察 vSAN Storage Network 是否發生 Packet Loss
那麼在 VMware vSAN HCI 超融合運作架構中，是否有簡單的方式可以得知 vSAN Storage Network 發生 Network Packet Loss？ 從 vSAN 6.6 版本開始，在 vSAN Performance Service 當中便新增 Tracking Packet Loss Rates 效能指標，管理人員可以透過 vSphere Web Client 管理介面中，直接查看「ESXi 實體網路卡」或者是「vSAN VMkernel Adapters」當中，有關 Tracking Packet Loss Rates 效能指標的情況。
圖、查看 ESXi 實體網路卡的 Packet Loss Rates 效能指標
圖、查看 vSAN VMkernel Adapters 的 Packet Loss Rates 效能指標
VMware vSAN 支援 RDMA 嗎？
事實上，在最新的 VMware vSphere 6.5 版本中，擔任 Hypervisor 角色的 ESXi 已經正式支援 RDMA (Remote Direct Memory Access) 當中的 RoCE (RDMA over Converged Ethernet)，以便於達到「Kernel Bypass、Zero Copy、CPU Offloading」的目的。同時，您應該從本文討論的內容可知 Storage Network 的高速及穩定性，對於 VMware vSAN HCI 運作架構的儲存效能影響非常巨大。但是，在目前最新的 vSAN 6.6 版本當中「尚未」支援整合 RDMA 機制 (相關資訊請參考站內文章 vSphere 6.5 支援 RDMA (RoCE v1 及 RoCE v2))，個人猜測在下一版本的 VMware vSAN 當中，Storage Network 一定會整合 RDMA 機制，以避免 Storage Network 的不穩定進而影響 VMware vSAN HCI 運作架構的儲存效能 👻。