︿
Top


網管人雜誌

本文刊載於 網管人雜誌第 221 期 - 2024 年 6 月 1 日出刊,NetAdmin 網管人雜誌 為一本介紹 Trend Learning 趨勢觀念、Solution Learning 解決方案、Technology Learning 技術應用的雜誌,下列筆記為本站投稿網管人雜誌獲得刊登的文章,網管人雜誌於每月份 1 日出刊您可於各大書店中看到它,或透過城邦出版人讀者服務網進行訂閱。





本文目錄






前言

在前一篇技術專欄中,已經帶領讀者實際部署和建構 Nutanix 單節點叢集,讓企業和組織的管理人員,能夠透過極小型的運作環境進行研究和測試作業。然而,在實務上,企業和組織不可能將重要的營運服務,運作在只有單節點的叢集架構中。

因此,在本文中將部署和建構 Nutanix 多節點叢集環境,以便管理人員後續能夠實作 HCI 超融合基礎架構(如圖 1 所示),以及其它進階特色功能和災難演練的部份。

圖 1、Nutanix HCI 超融合基礎架構運作示意圖





實戰演練 – 部署 Nutanix 多節點叢集

建立巢狀式虛擬化環境

在實戰演練小節中,將會安裝和部署「3 台」Nutanix 節點主機後,建構 Nutanix 多節點叢集環境,並且透過 Prism Element 圖形化管理介面或指令,進行叢集基礎架構的基本組態設定,確保叢集運作環境的穩定性和高可用性。

由於,在企業或組織的地端資料中心內,可能並未具備足夠的硬體資源可供實戰演練和功能測試,所以 IT 管理人員同樣可以透過 「巢狀式虛擬化」(Nested Virtualization)機制的幫助下,輕鬆建構 Nutanix 多節點叢集運作環境。

然而,在本刊 <第 218 期 - 測試 Nutanix 社群版,實作超融合單節點叢集> 技術專欄中,已經詳細說明,如何建立巢狀式虛擬化環境、部署擔任 Nutanix 的 Guest Hypervisor 虛擬主機、安裝 Nutanix AHV 虛擬化平台的部份,因此本文便不再贅述。



部署 3 節點 Nutanix 叢集

順利部署 3 台 Nutanix 節點主機後,管理人員可以從 Console 登入,或是透過 SSH Client 登入 AHV虛擬化平台,以及 CVM 主機運作環境。在本文實作環境中,3 台 Nutanix 主機的 AHV IP 位址為「10.10.75.21、10.10.75.22、10.10.75.23」,CVM IP 位址為「10.10.75.31、10.10.75.32、10.10.75.33」。

管理人員只要登入其中一台 CVM 主機,並使用 ping 指令確認 3 台 Nutanix 主機之間,AHV 和 CVM 主機皆通訊無誤後,便可以鍵入「cluster -s 10.10.75.31,10.10.75.32,10.10.75.33 create」指令,執行部署多節點主機的 Nutanix 叢集工作任務。
請注意,建立 Nutanix 叢集必須使用所有 CVM 主機的 IP 位址,而非 AHV 主機的 IP 位址。

部署 Nutanix 多節點叢集需要等待一段時間才完成,在部署過程中,可以看到其中一台 CVM 主機,將會自動擔任 ZeusLeader 角色,並負責整個 Nutanix 叢集的總指揮中心,一旦 3 台 Nutanix 節點主機,將叢集系統服務順利啟動完成後,系統將出現「INFO MainThread cluster:3104 Success!」訊息,表示 Nutanix 多節點叢集已經部署和啟動完成(如圖 2 所示)。當然,管理人員想要再次確認叢集狀態時,只要執行「cluster status」指令即可進行確認。

圖 2、部署並啟動 Nutanix 多節點叢集

多節點 Nutanix 叢集部署完畢後,請執行「ncli cluster info」指令,查詢 Nutanix 叢集組態設定資訊,舉例來說,目前 Cluster Name 欄位為「Unnamed」,也就是尚未組態設定 Nutanix 叢集名稱,Node Count 欄位為「3」,表示此 Nutanix 叢集目前擁有 3 台節點主機,NCC Version 欄位為「ncc-4.6.2.1」表示目前的 NCC 版本,以及 Cluster Version 欄位為「6.5.2」為叢集目前使用的 AOS 版本(如圖 3 所示)。

圖 3、查詢 Nutanix 叢集組態設定資訊

預設情況下,在多節點叢集運作架構中,會有多台 AHV 虛擬化平台和多台 CVM 主機,倘若仍需要一台一台主機逐一 SSH 登入進行管理的話,那麼除了造成管理上的麻煩之外,也可能因為人為操作錯誤的關係,例如,打錯字或貼錯指令……等,造成叢集管理上的困擾。

因此,如何快速簡單且一致性的管理便相形重要,在 Nutanix 叢集環境中,提供便利的「allssh」指令,能夠一次管理所有 CVM 主機,以及「hostssh」指令一次管理所有 AHV 虛擬化平台,達到快速管理的目的(如圖 4 所示)。

圖 4、透過 allssh 和 hostssh 一次管理 CVM 或 AHV 虛擬化平台

舉例來說,當管理人員想要查詢目前 Nutanix 叢集中,所有 CVM 主機的 DNS 名稱解析伺服器的組態設定時,只要執行「allssh cat /etc/resolv.conf」指令即可,想要查看所有 AHV 虛擬化平台的 DNS 組態設定時,只要執行「hostssh cat /etc/resolv.conf」指令即可(如圖 5 所示)。

圖 5、快速查詢叢集中 CVM 和 AHV 的 DNS 組態設定內容



設定 DNS 名稱解析伺服器

預設情況下,在多節點 Nutanix 叢集架構中,只要透過「任一台 CVM IP 位址」即可連線 Prism Element(PE)管理介面(後續簡稱為 PE),在登入 PE 管理介面之前,請執行「allssh "netstat -tunpl | grep 9440"」指令,確認所有 CVM 主機的 PE 管理介面服務(Port 9440)已經正常運作。

開啟瀏覽器,鍵入任一 CVM 主機的 IP 位址,例如,https://10.10.75.31:9440,倘若嘗試登入 PE 管理介面時,遭遇「NET::ERR_CERT_INVALID」網頁警告訊息的話,只要在錯誤網頁中空白處,直接鍵入「thisisunsafe」,即可順利看到 PE 管理介面的登入畫面,並使用預設管理帳號「admin」預設密碼「nutanix/4u」,登入後系統便會提示變更管理密碼,變更後會再度回到登入介面以新的管理密碼登入。

倘若,無法順利通過 NEXT Credentials 驗證視窗時,記得檢查在 My Nutanix 帳號中,是否針對 Community Edition 區塊,點選「Activate」鈕進行啟用,或者是多節點 Nutanix 叢集運作環境中,防火牆是否允許 TCP 通訊協定 Port 80 或 8443 網路封包通過,一旦 Pulse 遙測服務順利啟動後,即可看到 PE 儀表板管理介面(如圖 6 所示)。

圖 6、順利登入 Prism Element 儀表板管理介面

預設情況下,叢集採用的 DNS 名稱解析伺服器,為網際網路上的「8.8.8.8 和 8.8.4.4」。本文實作環境中,內部使用的 DNS 名稱解析伺服器為「10.10.75.10」,在進行組態設定之前,請先執行「allssh "nc -vz 10.10.75.10 53"」指令,確認所有 CVM 主機,都能夠和內部 DNS 名稱解析伺服器進行溝通。

確認與 DNS 名稱解析伺服器溝通無誤後,在 PE 管理介面中,依序點選「Settings > Network > Name Servers」後,按下 Add 鈕新增「10.10.75.10」DNS 名稱解析伺服器,並將預設的「8.8.8.8 和 8.8.4.4」刪除(如圖 7 所示),管理人員可以切換到 CVM 主機,執行「ncli cluster get-name-servers」指令,再次確認叢集的 DNS 名稱解析伺服器組態設定是否套用生效。

圖 7、組態設定 Nutanix 叢集 DNS 名稱解析伺服器

事實上,在 PE 管理介面為 Nutanix 叢集,組態設定 DNS 名稱解析伺服器之後,系統將會自動同步套用至所有 AHV 和 CVM 主機中,管理人員可以在 CVM 主機上,執行「allssh "cat /etc/resolv.conf"」指令,可以發現 Nutanix 叢集中,所有 CVM 主機已經自動套用生效,使用指定的內部 DNS 名稱解析伺服器,執行「hostssh "cat /etc/resolv.conf"」指令,同樣可以發現所有 AHV 主機,也自動套用內部 DNS 名稱解析伺服器(如圖 8 所示)。

圖 8、叢集中所有 CVM 和 AHV 主機,自動套用生效使用內部 DNS 名稱解析伺服器



設定叢集名稱和 VIP 位址

在預設情況下,雖然順利部署好 Nutanix 叢集,然而透過執行「ncli cluster info」指令,或登入 PE 管理介面後可以發現,預設的叢集名稱為「Unnamed」,並且也未組態設定叢集的 VIP(Virtual IP)位址,所以只能透過任一台 CVM 主機的 IP 位址,連線及登入至 PE 管理介面。

請在登入 PE 管理介面後,依序點選「Settings > General > Cluster Details」,將 Cluster Name 欄位中的預設值 Unnamed 刪除,鍵入本文實作環境的叢集名稱「ntnx-cluster」,在 Virtual IP 欄位填入「10.10.75.20」叢集 VIP 位址後,按下 Save 鈕存檔(如圖 9 所示)。

圖 9、組態設定叢集名稱和 VIP 位址

一旦組態設定套用生效後,管理人員便可以登出現有採用 CVM IP 位址連線的 PE 管理介面,改為採用叢集名稱搭配 VIP 位址名稱解析的網址登入,本文實作環境請在網址列鍵入「https://ntnx-cluster.lab.weithenn.org:9440」,順利通過使用者身份驗證程序並登入 PE 管理介面後,可以看到叢集名稱也已經套用生效為「ntnx-cluster」(如圖 10 所示)。

圖 10、採用叢集名稱搭配 VIP 位址名稱解析登入 PE 管理介面

值得注意的是,在剛才組態設定叢集資訊頁面中,FQDN 欄位和 VIP 欄位只能擇一填寫,無法同時使用。簡單來說,當管理人員日後部署 Prism Central(PC)管理平台時,可以部署多台 PC 主機,搭配組態設定「DNS 名稱解析輪循」(DNS Round-Robin)功能,即可填入 FQDN 欄位達到多台 PC 主機負載平衡的功能,同樣的情境下,採用 VIP 機制時雖然能提供容錯的彈性機制,但卻無法提供負載平衡功能。



設定時區和 NTP 時間校對

預設情況下,叢集的時區組態設定值為「UTC 格林威治標準時間」,並且在目前的 PE 管理介面中,並沒有提供組態設定叢集時區的部份。請登入任一台 CVM 主機後,執行「ncli cluster info | grep Timezone」指令,查詢目前單點叢集的時區組態設定,執行「timedatectl list-timezones | grep Asia/Taipei」指令,確認系統是否支援「UTC+8」的「Asia/Taipei」台北時區。

確認系統支援台北時區後,執行「ncli cluster set-timezone timezone="Asia/Taipei"」指令,組態設定叢集為台北時區時,系統會詢問是否要套用新的時區設定,請鍵入「y」確認進行變更,系統提示必須重新啟動 CVM 主機,或是重新啟動叢集所有服務後,新的日誌事件時間才能套用新的時區。

值得注意的是,從 AOS 5.18 和 pc.2020.8 版本開始,CVM 主機和 PC 管理平台中的服務日誌時間戳記,仍會強制使用 UTC 時區,即便管理人員變更時區。此外,和設定 DNS 名稱解析伺服器不同的是,時區的組態設定僅會套用至 CVM 主機,而不會套用至 AHV 虛擬化平台中,詳細資訊請參考 Nutanix KB1050 知識庫文章

由於多節點叢集已經正常運作,採用重新啟動 CVM 主機方式的話,一次只能重新啟動一台 CVM 主機,然後等待資料區塊重新同步完成後,才能再重新啟動另一台 CVM 主機,這樣的處理方式需要等待時間太久,所以改為選擇重新啟動叢集服務方式,請執行「cluster stop」指令,在系統詢問是否確認停止叢集服務時,鍵入「I agree」確認停止所有叢集服務。

待所有 CVM 主機的叢集服務都停止後,執行「cluster status |grep -v DOWN」指令,確認每台 CVM 主機,僅剩下必要的「Zeus、Scavenger、Xmount、VipMonitor」服務為啟動之外,其餘服務皆為停止狀態。

確認無誤後,即可執行「cluster start」指令啟動叢集服務。此時,系統就像在建構叢集服務時一樣的動作,許多的叢集服務依序啟動,直到所有叢集服務啟動完成為止,執行「cluster status |grep -v UP」指令,確認所有 CVM 主機的叢集服務皆已順利啟動,並執行「ncc health_checks system_checks cluster_services_down_check」指令,檢查是否有叢集服務未啟動成功的情況發生(如圖 11 所示)。

圖 11、透過 ncc 指令檢查叢集服務的健康情況

預設情況下,叢集採用的 NTP 時間校對伺服器,為網際網路上的「1.pool.ntp.org 和 0.pool.ntp.org」,本文實作環境中,使用內部的 NTP 時間校對伺服器為「10.10.75.10」,在組態設定之前,請先執行「allssh "nc -vz 10.10.75.10 -u 123"」指令,確認所有 CVM 主機,都能和內部 NTP 時間校對伺服器進行溝通。值得注意的是,nc 指令預設情況下採用「TCP」通訊協定,但 NTP 時間校對伺服器使用「UDP」通訊協定,所以指令必須加上「-u」參數,才能讓 nc 指令使用 udp 協定進行測試作業(如圖 12 所示)。

圖 12、確認所有 CVM 主機能和內部 NTP 時間校對伺服器進行溝通

請在 PE 管理介面中,依序點選「Settings > Network > NTP Servers」,將預設值「1.pool.ntp.org 和 0.pool.ntp.org」NTP 時間校對伺服器刪除,按下 Add 鈕新增內部「10.10.75.10」的 NTP 時間校對伺服器(如圖 13 所示)。

圖 13、組態設定叢集使用內部 NTP 時間校對伺服器

原則上,組態設定完成後,系統便會自動找內部 NTP 時間校對伺服器進行對時作業,倘若管理人員希望立即執行對時的動作,請執行「allssh "/usr/sbin/ntpdate -t 10 -q 10.10.75.10"」指令,立即和內部 NTP 時間校對伺服器進行時間校對作業,然後執行「allssh "date"」指令,確認 CVM 主機的時間校對情況,詳細資訊請參考 Nutanix KB4519 知識庫文章

此時,AHV 虛擬化平台仍為 UTC 時區,管理人員可以執行「hostssh "timedatectl set-timezone Asia/Taipei"」指令,將叢集中所有 AHV 虛擬化平台的時區,組態設定為 Asia/Taipei,然後執行「hostssh "timedatectl"」指令,確認時區組態設定是否套用生效。



變更 AHV 和 CVM 主機名稱

預設情況下,系統自動命名 AHV 主機名稱的格式為「NTNX-<block_serial>-<position-in-block>」,而 CVM 主機名稱則是建構於 AHV 主機名稱之上,會在 AHV 主機名稱結尾加上「-CVM」,以本文實作環境來講,第一台 AHV 主機名稱為「NTNX-da1a87c0-A」,而 CVM 主機名稱為「NTNX-da1a87c0-A-CVM」。

在變更 AHV 主機名稱的部份,請在 CVM 主機上,執行「change_ahv_hostname --host_ip="10.10.75.21" --host_name="NTNX-Node01-AHV"」指令,即可指定將本文實作環境中,第一台 AHV 主機名稱變更為「NTNX-Node01-AHV」,管理人員即可依據同樣的方式,變更叢集中其它台 AHV 主機名稱,變更完成後可以執行「hostssh "hostname"」指令,查看所有 AHV 主機名稱是否套用生效,或在 PE 管理介面中點選「Hardware」項目,即可看到叢集中所有 AHV 主機名稱(如圖 14 所示)。

圖 14、查看叢集中所有 AHV 主機名稱

至於變更 CVM 主機名稱的部份,必須遵照系統命名規則,開頭為「NTNX-」結尾為「-CVM」,請執行「sudo /usr/local/nutanix/cluster/bin/change_cvm_hostname NTNX-Node01-CVM」指令,系統會提醒必須重新啟動才能套用生效,按下 Y 鍵後便會重新啟動,重新啟動後可發現 CVM 主機名稱順利變更為「NTNX-Node01-CVM」,詳細資訊請參考 Nutanix KB3517 知識庫文章

然而,管理人員將會發現,雖然 SSH 登入後 CVM 主機名稱已經變更,但是在 AHV 虛擬化平台中,使用指令「virsh list」指令查看 CVM 主機資訊時,或是在 PE 管理介面中,看到的 CVM 主機名稱仍然是未變更前的舊名稱?(如圖 15 所示)

圖 15、在 PE 管理介面中,發現 CVM 主機仍使用未變更前的舊有主機名稱

此時,只要登入別台 CVM 主機,執行「change_cvm_display_name --cvm_ip="10.10.75.31" --cvm_name="NTNX-Node01-CVM"」指令,系統詢問必須重新啟動 CVM 主機才能套用生效,請按下 Y 鍵即可,當 CVM 主機重新啟動完成後,管理人員即可發現,在 AHV 虛擬化平台中查看 CVM 主機資訊時,或是在 PE 管理介面中看到的 CVM 主機名稱,便會是變更後的主機名稱(如圖 16 所示)。

圖 16、在 PE 管理介面中,順利看到變更後的 CVM 主機名稱



變更預設管理密碼

在預設環境下,雖然使用系統預設密碼仍然能正常運作,但是此舉容易導致企業和組織發生資安風險,所以在 PE 管理介面中,倘若管理人員未變更相關預設管理密碼時,那麼在 Critical Alerts 事件中,將會不斷提醒管理人員應該變更預設管理密碼(如圖 17 所示)。

圖 17、系統提醒管理人員應該變更預設管理密碼

那麼有哪些系統管理帳號和密碼,是官方建議變更以降低資安風險,下列將條列系統相關的管理帳號和建議變更預設密碼,詳細資訊請參考 Nutanix KB6153 知識庫文章
  • Nutanix Controller VM(CVM):建議變更本機「nutanix」管理帳號的預設密碼。
  • Hypervisor :採用 AHV 虛擬化平台時,建議變更本機「root,admin,nutanix」管理帳號的預設密碼,採用 ESXi 虛擬化平台時,建議變更「root」預設密碼,採用 Hyper-V 虛擬化平台時,建議變更「administrator」預設密碼。
  • Prism Central :建議變更 Prism GUI 的「admin」帳號預設管理密碼,以及本機「nutanix」管理帳號的預設密碼。
  • Out-of-Band Management(IPMI):建議變更遠端管理「ADMIN」帳號預設管理密碼。
  • File Server VMs(FSVMs):建議變更本機「nutanix」管理帳號的預設密碼。

那麼多的系統預設管理帳號和密碼,應該如何一次性且快速的進行檢查 ?管理人員可以透過 ncc 指令,搭配「default_password_check,pc_default_password_check,file_server_default_password_check」參數,即可進行快速檢查作業。

舉例來說,管理人員可以在任一 CVM 主機上,執行「ncc health_checks system_checks default_password_check」指令,即可檢查系統中包含 CVM 的管理帳號是否採用預設密碼,系統將會檢查「/etc/shadown」檔案內容,比對並確認是否採用預設密碼。習慣圖形介面操作的管理人員,可以在 PE 管理介面中,依序點選「Health > Actions > Run NCC Checks > All Checks > Run」即可。

那麼該如何快速變更這些系統管理帳號的預設密碼呢 ? 首先,在變更 CVM 本機 nutanix 管理帳號密碼的部份,只要登入其中一台 CVM 管理主機,並且執行「sudo passwd nutanix」指令,在系統提示後鍵入二次新的密碼,那麼叢集中所有的 CVM 主機將會自動同步並採用新的密碼。

在變更 AHV 虛擬化平台中,本機「root,admin,nutanix」管理帳號的預設密碼的部份,官方也提供相關 Script 進行處理,舉例來說,變更「root」密碼時,請在任一台 CVM 管理主機中,執行「echo -e "CHANGING ALL AHV HOST ROOT PASSWORDS.\nPlease input new password: "; read -rs password1; echo "Confirm new password: "; read -rs password2; if [ "$password1" == "$password2" ]; then for host in $(hostips); do echo Host $host; echo $password1 | ssh root@$host "passwd --stdin root"; done; else echo "The passwords do not match"; fi」指令(如圖 18 所示),即可一次變更叢集中所有 AHV 虛擬化平台中本機 root 帳號的預設密碼。

圖 18、一次變更叢集中所有 AHV 虛擬化平台中本機 root 帳號的預設密碼

至於 PE 管理介面 admin 帳號管理密碼的部份,只要登入後依序點選右上角的「admin > Change Password」,然後填入目前的密碼以及二次新的密碼後,按下 Save 鈕即可。倘若,管理人員忘記 admin 帳號的管理密碼,或是密碼錯誤次數太多導致帳號被鎖定時,只要在任一台 CVM 主機中,執行「ncli user reset-password user-name="admin" password="YOUR-NEW-PASSWORD"」指令,即可重設 admin 帳號的管理密碼並解除鎖定狀態。

確認變更所有管理帳號的預設密碼後,請再次執行 ncc 檢查指令,或是在 PE 管理介面再次執行檢查作業,一旦通過檢查作業後,便可以在 PE 管理介面的 Health 健康狀態區塊中,看到顯示為綠色 GOOD 圖示,且原先在 Critical Alerts 區塊中,出現的警告事件也會消失(如圖 19 所示)。

圖 19、PE 管理介面顯示 Nutanix 叢集恢復至健康狀態



PE 外觀設定

在 PE 管理介面外觀組態設定的部份,只要登入後依序點選「Settings > Appearance」即可。首先,在 PE 管理介面操作語系的部份,預設使用 English,並額外支援「簡體中文、日語、韓語」等語系,在 UI Settings 頁面中,可以選擇佈景主題格式,以及組態設定閒置時預設登出時間,值得注意的是,admin 管理帳號的閒置登出時間最大僅能設定「1 hour」(如圖 20 所示),即便設定更久時間仍是無效的,最後在 Welcome Banner 頁面中,企業和組織可以根據需求將歡迎訊息以 HTML 格式貼上,並勾選「Enable Banner」選項後存檔離開即可。

圖 20、組態設定 PE 管理介面預設閒置操作登出時間





結語

透過本文的深入剖析和實戰演練後,企業和組織即便在沒有專屬的 Nutanix 硬體伺服器情況下,也能透過巢狀式虛擬化技術,輕鬆建構出 Nutanix 多節點叢集基礎架構,後續也將和讀者分享部署 Nutanix 管理平台 Prism Central(PC)的最佳作法。
文章標籤: ,