醫院數據中心存儲系統對稱雙活解決方案是在傳統鏡像備份方案的基礎上,采用四控存儲+鏡像的雙活方案。兩臺存儲互為鏡像,互為冗余,當一臺存儲故障發生故障時,另一臺存儲直接接管。進一步提升數據的可靠性和業務系統的連續性,真正做到RTO、RPO為零。
1.1 傳統鏡像備份方案
傳統的基于存儲鏡像功能的災備方案使用同樣的硬件和軟件環境創建一個與生產存儲完全相同的鏡像存儲,并通過存儲硬件鏡像功能將生產存儲設備上的數據復制到鏡像存儲。
存儲鏡像功能可以進一步分為同步鏡像和異步鏡像。采用同步鏡像功能時,主站點把來自主機的數據寫往本機磁盤的同時,將該數據轉發給備份站點,只有兩個站點的存儲都擁有數據的拷貝以后,生產存儲才會返回一個I/O完成指示。同步鏡像能夠在備份站點中保持最新的數據,可以做到RPO為0。而異步鏡像在主站點完成寫操作后立刻向上層通報成功,那么這樣備份站點在數據更新上會有延遲,主站點出現問題后會造成數據丟失。如圖3.2所示。
圖3.2 傳統鏡像備份方案
基于存儲鏡像的災備方案主要優勢有:
(1)鏡像存儲可以為生產存儲設備上所有的數據(數據庫和文件系統)提供備份。
(2)能夠提供數據零丟失或接近于零丟失(同步鏡像可以做到數據零丟失)。
(3)基于存儲設備實現鏡像或復制,一般對主機業務性能影響較低。
(4)當需要進行災備的服務器數量較多時,通過存儲的統一鏡像或復制功能,不需要在每一臺服務器上安裝復制軟件,降低總成本。
主存儲故障切換過程:
(1)手動斷開鏡像關系,將鏡像卷提升為可訪問狀態。
(2)手動建立服務器與鏡像存儲之間的連接路徑。
(3)手動在服務器上掃描發現的鏡像LUN,識別為磁盤。因為UUID不一樣,需要手動將應用的訪問位置指向到新磁盤,并啟動一致性檢查。
根據它的切換過程可以看到這種備份方案的不足,因為生產卷與鏡像卷是兩個獨立的卷,擁有不同的UUID,被服務器認為是兩個LUN,服務器與鏡像存儲之間沒有訪問路徑,必須手動設置連接訪問路徑,鏡像卷平時不可見,必須手動執行提升操作,才可被服務器訪問。所以當主存儲發生故障時,必須手動進行故障切換操作,無法做到自動切換。
1.2 對稱雙活方案介紹
對稱雙活方案是對傳統鏡像備份方案的升級,它可以在一個數據中心內部實現,也可以在兩個數據中心之間。
(1)一個數據中心內部的雙活實現
在一個數據中心內部具體的組網連接如圖3.4,3.5所示。
圖3.4 雙活架構圖 圖3.5 控制引擎之間組網
如圖3.4所示,對稱雙活方案系統由兩臺存儲陣列組成,分別對應存儲引擎A、引擎B。整個系統架構為全冗余架構,保障了數據的安全可靠。存儲引擎A和B上的卷可配置為雙活鏡像對,中間通過萬兆以太網鏈路進行高速數據同步,數據完全一致。由于采用虛擬卷技術,雙活鏡像對中的兩個卷對外形成一個虛擬卷。對服務器而言,雙活鏡像對就是可以通過多條路徑訪問的同一個數據卷,服務器可以同時對雙活鏡像對中兩個卷進行讀寫訪問。組成雙活鏡像系統的兩臺存儲互為冗余,當其中一臺存儲陣列發生故障時,可由另一臺存儲陣列直接接管業務。整個切換過程所需的時間為秒級,真正實現數據零丟失和業務零停頓,RTO和RPO都接近于零。服務器訪問雙活存儲系統可根據實際需要,選用FC、iSCSI方式,服務器訪問存儲的SAN網絡與數據同步的萬兆網絡相互獨立,互不干擾。
如圖3.5所示,存儲之間的鏡像通道采用10GE鏈路,每個控制器上都配置10GE IO接口卡,采用光纖交叉直連的方式,一共需要四根直連光纖,建議鏈路長度不超過300米。
方案中兩臺存儲要求配置完全一樣,其中包括了控制器型號、緩存大小、接口配置;與對稱雙活相關空間的硬盤配置兩端必須完全一致,包括硬盤種類、RAID類型、空間大小;與對稱雙活無關空間的硬盤配置,可以兩端不一樣。
對稱雙活在寫IO的時候,生產覺、鏡像卷可同時接受寫IO,鏡像卷的寫IO會通過鏡像通道傳到對端引擎,完成寫操作。在讀IO的時候,生產卷、鏡像卷可同時響應度IO,并發讀寫。如圖3.4所示。
圖3.4 讀寫IO示意圖
對稱雙活故障的切換過程:如果任一引擎中任一控制器故障,業務將通過雙控故障切換機制切換到該引擎中另外一個控制器上;如果任一引擎中兩個控制器同時故障,將通過SDAS的引擎故障檢測機制,觸發引擎間切換,業務切換到另外一個引擎上。同時,針對計劃內維護需求,當任一引擎中兩個控制器需要同時重啟或關機時,也會觸發引擎間切換,業務切換到另外一個引擎上。
(2)兩個數據中心之間的雙活實現
對稱雙活解決方案可以布置在一個數據中心內部,也可以在兩個數據中心之間,如果兩個數據中心之間的距離在幾十公里以內,鏈路的延遲小于5ms,就能夠實現雙活。如圖3.5、3.6所示。
圖3.5數據中心之間雙活示意圖 圖3.6 控制引擎之間組網
如上圖,存儲與服務器之間的連接可以選用FC或者iSCSI網絡,數據中心之間采用10GE鏈路,數據中心內部部署10GE以太網交換機,采用光纖互連。在兩個數據中心之間需提供第三方的仲裁者,用于存儲故障的判斷。
1.3 虛擬化網關雙活方案介紹
基于虛擬化引擎方案通過增加虛擬化引擎的方式,主機通過存儲虛擬化引擎向兩套存儲同時鏡像寫數據,保證兩臺存儲數據一致,并可以在一臺存儲損壞時,將業務自動切換到另外一臺存儲上,從而保障業務的連續性。如圖3.8所示。
圖3.8 虛擬化引擎原理圖
基于虛擬化引擎方案,可打破存儲設備的品牌限制,統一分配資源。存儲網絡層透明,完全在SAN網絡層實現存儲資源整合。無需在主機端安裝任何代理或特殊驅動程序,不影響主機的性能,任何可以使用普通磁盤的主機系統,均可以立即使用虛擬池中所提供的存儲資源。
例如,EMC、IBM、華為的雙活解決方案都是基于虛擬化引擎,所有數據流經過虛擬化引擎,兩地數據實時同步。不足之處在于,增加虛擬化引擎的成本,同時增加架構的復雜度和故障點,性能下降,與存儲存在兼容性的風險。而且IBM的虛擬化引擎SVC不支持IP。
1.4 虛擬化網關雙活方案與對稱雙活方案優劣性對比
簡單了解了虛擬化網關雙活解決方案和對稱雙活方案后,對它們的優劣性進行一些對比分析,如下表:
對比項 |
存儲虛擬化 |
對稱雙活 |
數據可靠性 |
全冗余配置,但虛擬化引擎為新故障點。 |
全冗余配置,無單點故障。 |
業務連續性 |
較好 |
好 |
對主機影響 |
對主機性能沒有影響 |
對主機性能沒有影響 |
是否可異構 |
支持異構 |
不支持異構 |
實施復雜度 |
需增加硬件,實施較為簡單 |
無需增加軟硬件,實施簡單方便 |
投資成本 |
較高 |
成本低 |
從上表可以發現,存儲虛擬化解決方案,對數據可靠性和業務連續的支持也較好,對存儲品牌異構的支持更加徹底,實施也較為簡單,但其缺點存儲虛擬化引擎容易成為性能瓶頸和新的故障點,購買成本一般也較高。推薦場景是在用戶已有多臺舊的生產存儲,有存儲資源虛擬化整合需求,且采購容量許可不大的情況下。
對稱雙活存儲解決方案,在數據可靠性和業務連續上的表現較好,而且投資成本低,方案實施簡單,不需第三方軟硬件,對前端主機的性能沒有影響,而且通過引擎之間的負載均衡,還能夠提升整個存儲系統的數據讀寫效率,綜合考慮下來最佳。缺陷是只支持同型號的產品和配置,沒有異構存儲整合能力。所以推薦場景是用戶在新建數據中心,想搭建雙活存儲環境,通過架構升級實現本地數據保護的情況下。
1.5 對稱雙活方案特點
相比傳統雙活實現方式,對稱雙活的特點。
1.雙活工作模式,支持同時并發讀寫。
對稱雙活存儲系統中的兩臺存儲陣列同時處于工作模式,組成雙活鏡像對的數據卷可同時被服務器進行讀寫訪問。得益于系統內部高效的數據同步技術,在兩臺存儲同時進行數據寫入時,數據的一致性也能得到有效保證。這種高效的雙活工作模式,不僅有效的利用了兩臺存儲陣列的資源,而且大大提高了故障切換的速度。
2.快速故障切換,無須人工干預
對稱雙活存儲系統中的兩臺存儲陣列相互冗余,當其中一臺存儲陣列發生故障時,可由另一臺存儲陣列直接接管。對于服務器而言,由于看到的是一個虛擬卷,因此存儲陣列的故障切換僅相當于一次存儲訪問路徑切換,切換速度為秒級,業務無須中斷,且不需任何人工干預。
3.專用萬兆以太網傳輸,高速數據同步
對稱雙活存儲系統中的兩臺存儲陣列采用萬兆以太網進行數據同步。兩臺存儲陣列上配置萬兆以太網接口卡,通過光纖直接連接。任何一臺存儲陣列上寫入的數據會通過萬兆以太網同步到對端存儲陣列。基于萬兆以太網絡的數據同步,不僅保證了數據同步速率,而且簡化了對網絡鏈路的要求。
4. 虛擬卷技術,服務器不需要額外第三方的軟件。
對稱雙活存儲系統采用了虛擬卷技術,組成雙活鏡像對的數據卷雖然物理位置在兩臺存儲陣列上,但被虛擬成了一個邏輯卷。對服務器而言,雙活鏡像卷就是一個普通的數據卷,只不過可以通過多條路徑訪問。服務器上不需安裝任何的第三方軟件,只需通過服務器操作系統中自帶的多路徑軟件(支持ALUA),就可以實現對數據卷的正常讀寫和故障切換控制,實施非常的簡單方便。不占用服務器資源。
5.單陣列雙控冗余,雙活四控高可靠
對稱雙活存儲系統是一個高度可靠的系統。每一臺存儲陣列本身就是一臺雙控冗余存儲陣列,其自身具備了很高的可用性。通過兩臺雙控存儲陣列組成雙活存儲系統,這個系統相當于具備了四個控制器的冗余保護,而且有兩份完全相同的數據,并且可以實時切換,這為應用系統提供了非常高的業務連續性保障。
6. 支持遠距離擴展,實現雙活數據中心。
對稱雙活存儲系統基于萬兆以太網的光纖互連,并且能夠與主流應用廠商的雙機、集群系統兼容。因此,雙活鏡像存儲系統不僅可以部署在一個數據中心內部,也可部署在相距數十公里的兩個數據中心之間。在一個數據中心內部,可實現雙服務器+雙陣列的高可用部署;在兩個數據中心之間,通過配合遠距離集群軟件(比如VMware FT),可實現雙數據中心的自動故障切換。
1.6 IP遠程復制功能
(1)網絡復制概述
復制是宏杉科技MS系列存儲提供的存儲功能選項。它可實現兩臺MS系列所管理的資源(SAN資源或者組)之間的數據復制。遠程復制功能支持在遠程辦公地點與數據中心之間通過IP網絡對關鍵業務數據進行策略性增量復制,實現數據的異地備份,并在發生意外災難時對數據進行快速恢復,確保用戶業務的持續性。
復制軟件支持多點到
遠程復制是在兩臺MS系列存儲所管理的資源之間進行數據同步。這兩臺MS系列存儲分別稱為源服務器和目標服務器,它們所處的站點分別稱為生產中心和災備中心,其中,災備中心為生產中心提供數據備份。
如圖所示,當條件滿足預設策略時,生產中心的MS系列存儲啟動數據復制,把源磁盤的數據復制到災備中心的副本磁盤中,為源磁盤生成遠端數據副本。
(2)復制策略
復制是將更改的數據從源磁盤傳輸到副本磁盤,以便同步磁盤。它有策略性復制和自適應復制兩種方式。
l 策略性復制
策略性復制將根據設置的條件(按預定的時間周期或閾值)觸發復制。啟動初始復制,以后每隔設置的時間就觸發復制。假如客戶希望盡可能小的影響當前業務系統的性能,則建議使用周期性觸發,每天半夜或間隔幾小時開始執行復制。周期最短為10分鐘。
l 持續復制
持續復制功能支持在遠程辦公地點和數據中心之間通過IP網絡對關鍵業務數據進行自適應復制,在遠端網絡中保存數據的完整副本。
持續復制支持兩種復制方法:策略性復制和不間斷復制。如下圖所示,配置持續復制時,需要先創建一個獨立、專用的不間斷復制資源,以提高數據磁盤的訪問速度。初始狀態下,持續復制采用不間斷復制方法。在生產中心,當應用服務器寫入數據時,MS系列存儲同時把數據寫入源磁盤和不間斷復制資源。數據進入不間斷復制資源后,就會被自動持續寫入副本磁盤,實現對源磁盤持續的數據保護。
如果不間斷復制資源被占滿,那么系統將自動切換為策略性復制,當策略性復制觸發的復制或執行手動同步復制完成時,系統會自動切換回不間斷復制。
(3)復制速率
MS系列存儲數據復制通過IP網絡實現,只要IP可達,數據復制即可實現。但在不同的網絡環境下,復制的速率會有較大影響。下表給出了在特定數據庫環境下,復制的傳輸速率參考值。
測試環境:40公里距離,MPLS VPN網絡,Oracle數據庫
網絡帶寬 |
2Mbps |
10Mbps |
30Mbps |
50Mbps |
100Mbps |
1000Mbps |
壓縮傳輸(MB/s) |
0.211 |
1.090 |
3.251 |
5.002 |
10.015 |
23.894 |
同步量(GB/小時) |
0.741 |
3.83 |
11.429 |
17.585 |
35.1 |
84.0 |
復制帶寬利用率(%) |
84.4 |
87.2 |
86.7 |
80.03 |
80.12 |
19.16 |
由上表可得知如下結論:
l 155Mb以下帶寬的IP鏈路,可充分利用帶寬
l 小帶寬鏈路下,復制壓縮效果明顯,可達2-3倍,不過壓縮比與數據格式相關
1.7 空軍醫院HIS、PACS系統核心存儲項目
1.8 湖北省榮軍醫院HIS業務系統升級項目
1.9 吉林大學第三醫院HIS、PACS、虛擬化平臺雙活存儲項目
1.10 吉林省人民醫院HIS系統雙活存儲項目