[站長著作] 微軟 S2D 軟體定義儲存技術實戰 ~ 不自量力の Weithenn

[博客來 - 限時 5 折特價 280 元]

即日起，博客來網路書店針對本書推出 5 折特價活動 (1 本才 280 元)，有興趣的朋友可以參考看看。 💪

書籍簡介

還在為了規劃儲存設備規模大小而苦惱嗎？

實作微軟 S2D 軟體定義儲存技術，一次整合運算及儲存資源。Microsoft S2D 軟體定義儲存技術，最小運作規模只要 2 台 S2D 叢集節點主機，即可建構出不輸中階儲存設備的 IOPS 儲存效能，並且 S2D 單一叢集最大規模 16 台及高達 600 萬 IOPS 儲存效能。同時，整合 S2D HCI 超融合部署架構，能夠一次解決 VM 虛擬主機和 Container 容器及其他工作負載，在運算及儲存資源方面整合的煩惱。

軟體定義資料中心（Software Defined Data Center，SDDC）

根據 Gartner 的研究結果顯示，過往 IT 人員所熟知及打造 Mode 1 的現代化資料中心（Data Center Modernization）所遭遇的挑戰，主要在於管理及打造企業或組織中有關運算資源、儲存資源、網路資源、硬體設備、虛擬化技術⋯⋯等虛實整合。

隨著企業及組織朝向商業數位化模式不斷發展，知名的市調機構 Gartner 所屬分析師在 2015 下半年期間，針對 100 位企業及組織中負責領導IT基礎架構的主管調查結果顯示，有 2/3 以上的企業及組織開始建構及整合 Mode 2 的敏捷式 IT 基礎架構（Infrastructure Agility）。

所謂「基礎架構敏捷化」（Infrastructure Agility），便是著重於IT基礎架構中「Mode 2」的部分也就是因應商業數位化的需求，這些範圍包括：

將敏捷（Agility）最佳實務概念，充分導入至現代化資料中心的IT基礎架構當中，讓工作流程及技術人員能夠快速因應現在新興的商業數位化需求。
深入了解各項使用案例、決策考量、微服務（Micro-Service）、容器引擎⋯⋯等最佳實務概念。
將單純的虛擬化運作環境，發展成軟體定義（Software-Defined）的基礎架構以達成敏捷的目的，也就是打造「軟體定義資料中心」（Software-Defined Data Center，SDDC）。
充份利用彈性的雲端基礎架構部署新世代應用程式（Next-Generation Applications）。
建構邊緣資料中心（Edge Data Center）平台，以便因應商業數位化及 IoT 物聯網。
加強巨量資料分析、Web 應用程式、IoT 物聯網⋯⋯等部署作業，以便因應現代化行動至上的商務模式。

簡單來說，不管是 Mode 1 的現代化資料中心或是新興 Mode 2 的基礎架構敏捷化，在企業或組織的資料中心內硬體資源的組成，不外乎就是「CPU、記憶體、儲存、網路」等 4 大硬體資源，而這 4 大硬體資源又可以簡單劃分為3大類也就是運算、儲存、網路。

那麼，接下來我們來看看 Mode 2 基礎架構敏捷化定義中，透過軟體定義（Software-Defined）的運作概念，如何將「運算、儲存、網路」等硬體資源，轉換成 SDC 軟體定義運算、SDS 軟體定義儲存、SDN 軟體定義網路，幫助企業及組織打造成快速因應商業數位化需求的強大IT 基礎架構，最終達成 SDDC 軟體定義資料中心的目標。

軟體定義運算（Software Defined Compute，SDC）

軟體定義運算（Software Defined Compute，SDC），與 SDS 軟體定義儲存及 SDN 軟體定義網路技術相較之下，為基礎架構硬體資源當中最為成熟的技術。事實上，許多企業及組織在建構軟體定義式的IT基礎架構時，最先投入的便是 SDC 軟體定義運算的部分。

然而，談到 SDC 軟體定義運算便無法不談到 x86 伺服器虛擬化（x86 Server Virtualization）技術，在 x86 伺服器虛擬化技術尚未風行前，企業及組織的應用程式及營運服務便直接運作在 x86 硬體伺服器上，這樣的運作架構雖然讓應用程式及營運服務，可以直接獨佔整台 x86 硬體伺服器所有硬體資源，所以能夠提供良好的工作負載能力。但是，卻容易產生「供應商鎖定」（Vendor Lock-in）的情況，舉例來說，倘若原本的應用程式及營運服務運作於 Dell 硬體伺服器上，但是該台 x86 硬體伺服器發生故障損壞事件時，需要將其上的應用系統或營運服務遷移至它牌硬體伺服器時（例如：HPE 或 Lenovo）是非常困難的。

事實上，談到虛擬化技術一般 IT 管理人員通常都會聯想到 VM 虛擬主機，然而這個情況從 2013 年 Docker 的出現而發生重大的改變。其實，Docker 並非是「容器」（Container）技術，而是一項用來管理及調度容器環境的技術，讓 IT 管理人員能夠不用費心處理容器的管理作業，便能達到輕量級作業系統虛擬化解決方案的目的。

微軟官方也在 Windows Server 2016 雲端作業系統中，與 Docker 合作推出 Windows Server Container 及 Hyper-V Container 技術，讓 Hyper-V 虛擬化平台成為同時運作 VM 虛擬主機及 Container 容器的最佳運作環境，輕鬆幫助管理人員達成 Bimodal IT 的雙重 IT 基礎架構，幫助企業及組織在傳統及新興架構之間找到最佳平衡點。

軟體定義儲存（Software Defined Storage，SDS）

軟體定義儲存（Software Defined Storage，SDS），為企業及組織帶來儲存資源的潛在好處，便是能夠提升靈活性並降低整體維運成本。因此，企業及組織的 CXO 們應尋找及確認能夠更好提供「總體擁有成本」（Total Cost of Ownership，TCO）的 SDS 軟體定義儲存解決方案，同時選擇的 SDS 解決方案必須具備效率及可擴充性等特性，以便因應不斷增加的資料量並且能夠擺脫儲存設備的硬體限制。

目前，在 SDS 軟體定義儲存解決方案市場中尚未有明確的市場領導者出現。雖然，SDS 軟體定義儲存解決方案具備可程式性及自動化等好處，但是仍須考量對於「運算」及「網路」所造成的影響。同時，所建立的 SDS 儲存資源必須要能夠融入 IT 基礎架構中而非再以孤島的方式運作。

在微軟新世代 Windows Server 2016 雲端作業系統當中，SDS 軟體定義儲存技術是由 Windows Server 2012 R2 當中的 Storage Spaces 技術演化而來，在 Windows Server vNext 開發時期稱為 Storage Spaces Shared Nothing，在 Windows Server 2016 的正式名稱則為 S2D（Storage Spaces Direct）。

軟體定義網路（Software Defined Network，SDN）

根據 CIO 的調查結果顯示，有 86% 的企業及組織 CIO 正計畫將內部資料中心及基礎架構進入 Bimodal IT 環境（相較於往年增加 20%），透過將過去 3 層式網路架構遷移至 Spine- Leaf 網路架構讓整體網路環境簡單化，並結合軟體定義網路（Software Defined Network，SDN）技術，以 SDN Network Control Plane 來管理 Mode 2 的資料中心，以便因應東-西（East-West）向的網路流量，並採用模組化架構以便輕鬆進行自動化部署，同時結合 Ansible、Puppet、Chef 等自動化組態設定工具，讓企業及組織的網路架構更適合 DevOps 環境，並往基礎架構即程式碼（Infrastructure as Code）的方向進前。

微軟新世代 Windows Server 2016 雲端作業系統當中，「軟體定義網路」（Software Defined Network，SDN）技術內的重要角色「網路控制器」（Network Controller），以及透過 SDN 技術管理「網路功能虛擬化」（Network Functions Virtualization，NFV）運作環境，進而幫助企業或組織在資料中心內建構網路虛擬化環境。

網路購書

本書導讀

本書共有 7 個章節，由一開始簡介 SDDC 軟體定義資料中心願景開始，一路從 S2D 簡介及運作環境需求、S2D 底層運作架構、規劃設計最佳化 S2D 運作架構、實戰 S2D 環境建置、IOPS 效能測試、S2D 維運管理免煩惱。

第 1 章、SDDC 軟體定義資料中心

了解 SDDC 願景中重要的組成元件，包括 SDC 軟體定義運算、SDS 軟體定義儲存、SDN 軟體定義網路。

1.1 SDDC 軟體定義資料中心
1.2 軟體定義運算（SDC）
1.2.1 x86 虛擬化技術
1.2.2 全虛擬化技術
1.2.3 半虛擬化技術
1.2.4 CPU 硬體輔助虛擬化
1.2.5 容器技術
1.2.6 Microsoft SDC 軟體定義運算技術
1.2.7 伺服器虛擬化技術市場趨勢
1.2.8 基礎建設的重要性
1.3 軟體定義儲存（SDS）
1.3.1 Microsoft SDS 軟體定義儲存技術
1.4 軟體定義網路（SDN）
1.4.1 Microsoft SDN 軟體定義網路技術

圖 1-1、Mode 1 現代化資料中心示意圖

圖片來源： Gartner 官網 – Data Center Modernization and Consolidation Key Initiative Overview

第 2 章、S2D 簡介及運作環境需求

深入剖析 S2D 部署模式 HCI 超融合式與融合式運作架構的差別，以及建構 S2D 環境時應該採用 RAID 還是 HBA、採用 SSD 或 HDD、採用一般 TCP/IP 或 RDMA、採用 NTFS 或 ReFS 檔案系統等議題。

2.1 S2D 運作架構及部署模式
2.1.1 超融合式架構（Hyper-Converged）
2.1.2 融合式架構（Converged）
2.2 Windows Server 2016 版本
2.2.1 Windows Server 2016 軟體授權
2.2.2 Windows Server 2016 標準版
2.2.3 Windows Server 2016 資料中心版
2.3 如何配置硬體元件
2.3.1 Microsoft HCL 硬體相容性
2.3.2 採用 HBA 控制器或 RAID 卡？
2.3.3 採用 DAS / JBOD / NAS / SAN 儲存設備？
2.3.4 採用 SSD 固態硬碟或 HDD 機械式硬碟？
2.3.5 採用 TCP/IP 乙太網路或 RDMA？
2.3.6 採用 NTFS 或 ReFS 檔案系統？

圖 2-20、啟用 RDMA 特色功能，可提升 2 倍的 IOPS 儲存效能

圖片來源： Channel 9 – DiscoverStorage Spaces Direct, the ultimate software-defined storage for Hyper-V（BRK3088）

第 3 章、S2D 運作架構

深入剖析 S2D 底層運作架構元件，例如：SSB 軟體式儲存匯流排、SSB 頻寬管理機制、SBC 儲存匯流排快取機制、Storage Pool、ReFS Real-Time Tiering、SMB Direct、RoCE、iWARP、Infiniband、SMB MultiChannel 等技術內容。

3.1 S2D 儲存堆疊運作架構
3.1.1 SSB（Software Storage Bus）
3.1.2 SBC（Storage Bus Cache）
3.1.3 Storage Pool
3.1.4 ReFS Real-Time Tiering
3.2 SMB 3
3.2.1 SMB Direct（RDMA）
3.2.2 RoCE
3.2.3 iWARP
3.2.4 Infiniband
3.3 SMB 多重通道
3.4 容錯及儲存效率
3.4.1 鏡像（Mirror）
3.4.2 同位（Parity）
3.4.3 混合式復原（Mixed Resiliency）

圖 3-10、Hybrid 儲存架構資料快取示意圖

圖片來源： Microsoft Docs – Understanding the cache in Storage Spaces Direct

第 4 章、S2D 規劃設計

一步一步帶領你挑選 CPU 處理器、記憶體、NVMe 快閃儲存、SSD 固態硬碟、HBA 硬碟控制器、RDMA 網路卡、10GbE 網路交換器、了解 SSD 與 HDD 比例原則、S2D 叢集大/中/小型運作規模等最佳配置建議。

4.1 S2D 運作規模大小及限制
4.2 如何挑選實體伺服器硬體元件
4.2.1 如何挑選 CPU 處理器
4.2.2 如何挑選 RAM 規格
4.2.3 如何挑選 SSD 固態硬碟
4.2.4 SSD 與 HDD 如何搭配及比例原則
4.2.5 如何挑選 HBA 硬碟控制器
4.2.6 如何挑選 RDMA 網路卡
4.2.7 如何挑選網路交換器
4.3 實體伺服器環境及數量建議
4.3.1 小型運作規模
4.3.2 中型運作規模
4.3.3 大型運作規模

圖 4-19、Hybrid 儲存架構配置示意圖

圖片來源： Microsoft Docs – Choosing drives for Storage Spaces Direct

第 5 章、S2D 安裝及設定

手把手帶領你建構 S2D 運作環境，包括安裝 Windows Server 2016、設定 10GbE 網路交換器、啟用 DCB/PFC 特色功能、啟用 SMB Direct（RDMA）、啟用 SMB QoS 原則、建立 SET ( Switch Embedded Teaming )、檢查 RDMA 運作狀態、檢查 SMB MultiChannel 運作狀態、建立 S2D 叢集、啟用 Storage Spaces Direct 機制、建立三向鏡像磁碟區、建立雙同位磁碟區、建立雙向鏡像磁碟區、建立單同位磁碟區、建立混合式復原磁碟區、部署 VM 虛擬主機、Storage Pool 最佳化等最佳化組態配置。

5.1 安裝 Windows Server 2016 作業系統
5.1.1 系統基礎設定
5.1.2 安裝相關角色及功能
5.2 設定 10GbE 網路交換器
5.2.1 啟用 DCB / PFC 功能
5.3 啟用 SMB Direct（RDMA）功能
5.3.1 啟用 SMB 網路 QoS 原則
5.3.2 建立 SET 網路卡小組
5.3.3 檢查 RDMA 運作狀態
5.4 建構 S2D 軟體定義儲存環境
5.4.1 加入網域
5.4.2 確保已安裝最新安全性更新
5.4.3 檢查 SMB Direct 及 SMB MultiChannel 運作狀態
5.4.4 執行容錯移轉叢集檢查工具
5.4.5 建立容錯移轉叢集
5.4.6 設定容錯移轉叢集仲裁機制
5.4.7 啟用 Storage Spaces Direct 機制
5.4.8 建立三向鏡像磁碟區
5.4.9 建立雙同位磁碟區
5.4.10 建立雙向鏡像磁碟區
5.4.11 建立單同位磁碟區
5.4.12 建立混合式磁碟區
5.5 部署 VM 虛擬主機
5.6 Storage Pool 最佳化

圖 5-119、在 S2D 叢集中建立 5 種不同「容錯機制 / 儲存效率 / 容錯網域」需求的磁碟區

第 6 章、S2D 效能測試

從了解 IOPS 儲存效能的估算開始，慢慢深入如何進行 IOPS 儲存效能測試，並透過開源工具 VMFleet 進行 S2D 環境 IOPS 儲存效能測試。

6.1 什麼是 IOPS？
6.2 儲存效能測試基礎概念
6.3 VMFleet 效能測試工具
6.4 IOPS 效能測試

圖 6-41、採用「三向鏡像」在壓測情境 2 時 S2D 叢集的儲存效能表現

第 7 章、S2D 維運管理

深入了解 S2D 如何因應各式各樣硬體故障事件、如何查詢 S2D 運作健康狀態、S2D 叢集節點主機如何進入維護模式、如何整合 CAU 叢集感知更新機制安裝微軟最新安全性更新、實戰水平擴充 S2D 叢集運作規模（2台 → 3台 → 4台）、實戰擴充 CSVFS 磁碟區空間等維運管理議題。

7.1 S2D 如何因應硬體故障事件
7.1.1 發生 1 個錯誤網域時
7.1.2 發生 2 個錯誤網域時
7.1.3 發生 3 個錯誤網域時
7.2 S2D 健康狀態
7.3 S2D 維護模式
7.3.1 S2D 叢集節點主機進入維護模式
7.3.2 S2D 叢集節點主機離開維護模式
7.3.3 CAU 叢集感知更新
7.4 水平擴充 S2D 叢集運作規模
7.4.1 擴充 S2D 叢集規模（2 台 → 3 台）
7.4.2 擴充 S2D 叢集規模（3 台 → 4 台）
7.5 擴充 CSVFS 磁碟區空間

圖 7-6、發生 2 個錯誤網域時，S2D 叢集仍然能夠正常運作資料仍可持續存取

圖片來源： Microsoft Docs - Fault tolerance and storage efficiency in Storage Spaces Direct

附錄、S2D 解決方案

最後，我們進一步介紹市場上各家硬體伺服器供應商的 S2D 解決方案。（供應商名稱以英文字母順序排序）。

A.1 簡介 S2D 解決方案
A.2 Dell EMC – S2D 解決方案
A.3 Fujitsu – S2D 解決方案
A.4 HPE – S2D 解決方案
A.5 Intel – S2D 解決方案
A.6 Lenovo – S2D 解決方案
A.7 QCT – S2D 解決方案
A.8 Supermicro – S2D 解決方案