智汇工业-智慧工业、智能制造及工业智能、工业互联门户网站,专业的工业“互联网+”传媒

公檢法卷宗類海量文件基于NAS存儲數據異地容災難訣竅

來源:網絡

點擊:1385

A+ A-

所屬頻道:新聞中心

關鍵詞: 異地容災,海量文件存儲,NAS

    海量小文件,例如2000萬數據量,如何確保復制數據在主備兩端的一致性?傳統的災備方式,在第一次全鏡像的同時,如何確保鏡像過程中增量部分的同步?

    數據存儲是門大學問,比如用戶的關鍵業務數據存儲,通常是在大型數據庫的基礎上進行存儲與管理,其相應的數據存儲形式主要是數據塊(Block),中小型數據庫則可能會采用文件形式(file)。

    但是作為辦公自動化OA、卷宗類海量內部文檔管理、多集群前端業務平臺、互聯網業務平臺、財務系統、工資系統等需要文件級(file)的集中存儲與共享時,則有更專業的需求:一是充分利用現有的網絡資源;二是提供強勁的存儲容量的擴展;三是多臺服務器對海量文件級的數據讀寫;四是降低存儲資源開銷及整體擁有的成本。

    如何解決上述文件級(file)數據集中存儲與共享的用戶需求,NAS網絡共享存儲給出了漂亮的解決方案,并且順利解決企業用戶海量數據文件(file)與數據塊(Block)兩種形式并存的難題。因此,很多像互聯網這樣對外提供服務的多集群前端互聯網業務平臺,以及公檢法擁有海量卷宗文件的用戶,會欣然接受NAS存儲架構作為文件的存儲形式。

    公檢法卷宗類海量文件基于NAS存儲數據異地容災難訣竅

    比如用戶有基于互聯網業務的平臺,用戶的基數非常大,因此前端就要做負載均衡和多集群業務。在這樣背景下,如何解決海量非結構化數據在多臺節點中保持數據的一致性,困難相當大。

    那么用戶大多使用的方案是多個前端業務的集群,共享同一個NAS存儲的目錄,它們擁有共同寫與讀的機制,確保不會寫沖突。這樣的讀寫機制確保了文件的唯一性,這個方案可以快捷擴展前端集群節點的數量,以增加用戶對實際的訪問量的需求。

    NAS存儲架構下的數據容災難題

    從數據安全管理角度來看,從NAS上復制文件是一件讓人頭痛的事情。如果使用NAS廠商的相關復制功能,那么就必須有一套相同的NAS系統復制。而現有的NAS系統只能在文件管理系統層次進行復制。這決定了要么就全部復制,要么就什么都不復制。但是在實際環境中,用戶更希望針對特定文件進行相應的管理。比如,對相關的文件進行實時的備份,但是因為前端業務集群服務器主機可能會同時讀寫同一個NAS文件夾中的數據,造成無法實現數據的實時保護。

    另外,海量小文件,例如2000萬數據量,如何確保復制數據在主備兩端的一致性?傳統的災備方式,在第一次全鏡像的同時,如何確保鏡像過程中增量部分的同步?這些都是困擾整個NAS架構下海量小文件進行數據容災的難題。

    基于NAS的定時同步方案

    從下面定時同步方案的拓撲圖來看,它是在基于NAS存儲集群架構拓撲圖上增加了一個備份節點。數據復制的流程首先是將業務端的NFS共享存儲目錄掛載至災備機,提供只讀機制,其次,通過英方控制臺,下發定時復制的策略,通過英方將災備機上的生產目錄數據復制至災備目錄里,進行一致性比對或執行復制規則,定時或手動執行。

    公檢法卷宗類海量文件基于NAS存儲數據異地容災難訣竅

    該方案的優點是對源端的業務架構沒有任何的改變,它只是把目錄映射到災備服務器上,災備服務器同時掛載一個映射的只讀目錄,另外還有一個存儲數據的災備目錄。它要做的就是把生產數據產生變化的目錄的數據進行定時的比對,并且將缺少的文件同步到備端的存儲上去。

    由于該方案需要定時做掃描的差異對比,因此數據同步需要時間,所以無法做到實時的數據同步,只能做到定時的數據同步。那么隨著NAS存儲數據的大量增加,可能僅就掃描和差異對比,就耗費大量時間。目前這種解決方案,主要是針對用戶數據量不是特別大的NAS目錄,例如數據文件的數量在百萬級別,并且用戶讀寫不是很頻繁,可以把定時的時間縮短即可實現。

    基于NAS的實時同步方案

    在實時同步方案中,數據復制的流程首先是在3臺前端業務服務器上面都安裝英方軟件客戶端;其次是單獨使用1臺服務器只讀該NAS存儲中對應文件夾,命名“英方NAS監控服務器”;最后是當這3臺服務器有任何1臺服務器對NAS數據進行修改時,英方客戶端會將修改的文件名和該文件的存儲路徑發送給“英方NAS監控服務器”,由該服務器實時讀取數據,并發送給容災端。

    公檢法卷宗類海量文件基于NAS存儲數據異地容災難訣竅

    英方i2COOPY實時復制在一般服務器下能夠做到毫秒級數據同步,在NAS服務器集群環境下,i2COOPY通過在生產端指定一個服務器作為其他服務器IO變化的合并節點,能夠在備端的服務器達到秒級同步讀寫的目的。

    該解決方案是旁路監聽,因此對主業務的節點變化是安裝客戶端,但是客戶端本身不產生性能開銷,只是監控對應服務器會對目錄當中的某個文件進行修改。比如集群中有三臺服務器,第一臺修改完了,會傳輸到英方NAS監控服務器上,然后會優先進行傳輸,當第二臺修改完后,就會進入文件隊列傳輸的等待過程,依次類推……英方監控服務器得到更改確定的指令后,會第一時間去讀對應目錄下的名稱,然后經過TCP/IP網絡發送到容災端的服務器。

    該方案既解決了實時同步的問題,又解決了海量數據情況下數據復制時間窗口的問題,確保當生產環境NAS存儲出現故障時,數據安全,業務連續。

    實時同步方案的六大優勢

    這兩個方案均能滿足不同用戶NAS存儲數據容災的需求,具體的方案選擇要根據用戶的生產環境與數據量進行綜合分析判斷。不過,在NAS存儲架構下的海量文件的數據容災,英方股份高級售前技術顧問李毅總結了六大優勢:

    1)、無備份窗口,可實現實時的數據傳輸;

    2)、對用戶現有的業務架構無調整,只增加同步主機、災備主機,同時在客戶的業務環境上安裝客戶端,如果使用存儲級的復制,需要對存儲本身進行調整;

    3)、對用戶的資源系統沒有多余的開銷,因為去同步主機才會產生數據的讀取,對源端的業務沒有壓力,對I/O的消耗比較小;

    4)、備端數據可見,因為主備端的數據與文件目錄同樣,可隨時查看數據的一致性;

    5)、當用戶需要容災演練,查看備端海量的數據的啟動時間非常短;

    6)、彌補現有解決方案中無法針對使用NAS作為存儲冗余架構的不足,英方提供全場景解決方案,能夠滿足用戶同時做實時數據復制備份、非結構數據同步、高可用等容災備份的綜合需求,而之前很多對NAS存儲數據做復制都是定時的。

    實戰:海量文件的數據容災落地方案

    1、某金融用戶前端業務集群案例

    公檢法卷宗類海量文件基于NAS存儲數據異地容災難訣竅

    某金融用戶異地容災拓撲圖

    該用戶擁有大量的互聯網業務平臺,用戶希望實現本地到同城災備機房的實時數據復制。

    實際上用戶的業務運行在本地的IDC機房,在本地建有容災的機房,中間通過千兆網絡進行數據的傳輸。用戶平時就有很多的數據要進行復制備份,同時也要實現NAS存儲架構下的數據復制,據統計,用戶在NAS存儲下的數據量是1.6T,海量文件的數量在2000萬左右。在生產業務方面,用戶實際的運行業務一共有10個,有8個業務因為數據量沒有達到千萬級別,所以英方通過定時同步的方案,實現增量數據的比對;另外核心業務是2個互聯網業務的集群,集群服務器一共有7臺,共享同一個目錄,寫入數據非常頻率,每天大約以20萬的數據在增加。

    在這樣的生產環境下,用戶通過英方實時同步的方案,非常好地實現了基于NAS下的廣域網的數據的快速復制。經過現場的實時測算,用戶的延遲大部分時間是在5秒以下,這其中要考慮用戶的業務量非常頻繁,另外用戶的部分業務數據放在本地,所以千兆網絡不僅要進行異地的數據傳輸,還要支持本地業務的運行,整個網絡的日常生產占用率非常高,能達到秒級同步在業內已經無人能敵。

    2、某廳級檢察院海量小文件案例

    該檢察院用戶是典型的卷宗類海量小文件容災場景,用戶小文件數量在8000萬左右,數據量約7T,前端業務集群共有7臺服務器,共享同一個目錄,進行電子化檔案的存儲。用戶不會對數據進行修改和刪除,但是數據量會持續地增加,另外數據是電子性的檔案,每份檔案都是非常關鍵,不能出現任何的丟失。

    該檢察院用戶已經在本地進行容災保護,希望通過英方的方案實現異地的容災級別的保護。用戶生產中心與災備中心相隔幾百公里,通過專線連接,巨大的數據量使得用戶第一次的數據同步就花費了一個星期。同時通過英方基于NAS的實時同步方案,在每臺服務器上安裝客戶端,監控服務器會觀察生產端不斷發生的數據變化,將截獲到的數據變化同步到災備服務器中。

    這些擁有海量小文件的用戶,要實現基于NAS存儲架構下的異地定時或實時同步數據容災,目前業內的解決方案鳳毛麟角。英方在備端同步在時間上達到秒級別的容災要求,已經成功應用于公檢法、互聯網多集群前端業務平臺、電信運營商等領域,并且英方能夠提供全場景的容災需求,擁有很多典型的定制化的容災備份的解決方案。

    (審核編輯: 林靜)

    聲明:除特別說明之外,新聞內容及圖片均來自網絡及各大主流媒體。版權歸原作者所有。如認為內容侵權,請聯系我們刪除。

    主站蜘蛛池模板: 压滤机_板框压滤机_生产厂家陕西华星佳洋装备制造有限公司 | 天津高压泵-高压清洗机-高压柱塞泵-厂家-价格-天津高压泵格瑞德 天津翻译公司盖章|022-58385822| 翰文博译(天津)商务咨询有限公司 | 立式加工中心_龙门加工中心_卧式加工中心-山东威达重工股份有限公司 | 无锡鑫润杰金属科技有限公司| 交通标志牌-交通标牌-铝圆牌-铝三角片-铝滑槽-公路警示指示牌-方牌-高速道路反光牌毛坯-交通设施安全警示标识牌-路名指示限速限高牌-厂家加工交通标牌铝板半成品毛坯-上海吕盟铝业有限公司 | 双合金_注塑机_螺杆|炮筒|料管|料筒-广东海驰德塑胶机械有限公司 | 衡水一体化污水处理设备|循环水旁滤器|加药装置|钢厂浊环净化装置|河北欧意科技集团有限公司 | 小程序商城,_电商系统源码,直播商城定制开发电商系统源码,电商系统,java电商系统 | 消防栓保温罩,玻璃钢灭火器箱,玻璃钢消防沙箱-潍坊辰阳玻璃钢有限公司 | 智能锁十大品牌_指纹锁_智能锁加盟_开换锁-锁当家【官网】 | 铸铁平台,三维柔性焊接平台,划线平台,大理石平台,检验平板,花岗石平台_泊头市恒量机械设备有限公司 | 呼吸家官网|肺功能检测仪生产厂家|国产肺功能仪知名品牌|肺功能检测仪|肺功能测试仪|婴幼儿肺功能仪|弥散残气肺功能仪|肺功能测试系统|广州红象医疗科技有限公司|便携式肺功能仪|大肺功能仪|呼吸康复一体机|儿童肺功能仪|肺活量计|医用简易肺功能仪|呼吸康复系统|肺功能仪|弥散肺功能仪(大肺)|便携式肺功能检测仪|肺康复|呼吸肌力测定肺功能仪|肺功能测定仪|呼吸神经肌肉刺激仪|便携式肺功能 | 世博磁力泵,耐腐蚀磁力泵,耐酸碱磁力泵,氟塑料磁力泵-苏州冠裕机电科技有限公司 | 泡酒配方大全-泡药酒专业的网站-泡酒之家 | 南通海拓机械有限公司|剪板机|折弯机|卷板机|开卷校平线 | 西宁佳越信息科技发展有限公司- 西门子伺服电机维修_西门子变频器维修_西门子伺服驱动器维修_数控系统维修_PL维修-上海仰光电子 | 宁波明驰同步带有限公司| 自动_链条式_电动推杆_电动开窗器厂家_山东鑫宏玺智能科技有限公司 | 江西新华电脑学院_南昌新华电脑中专学校_新华电脑培训学校_官方网站 | 上海建发物资有限公司 | 气体报警器,有毒气体报警器,可燃气体探测器,乙炔气体报警器,可燃气体检漏仪,便携式气体检测仪,气体报警控制器-山东如特安防设备有限公司 | 嘉兴市南湖斋食品股份有限公司_南湖斋| 途远VR+_成都VR全景制作_成都360全景漫游_成都720全景航拍_成都途远科技有限公司 | 桥梁支座更换_桥梁检测车租赁_高空作业车出租_支座更换_伸缩缝安装_隧道防水_养护加固_维修_出租_衡水庆兴桥梁养护工程有限公司 桥梁养护|桥梁维修加固|隧道裂缝修补|支座更换|管道堵水气囊|衡水众拓路桥养护有限公司 | 锌铝合金压铸-深圳压铸加工-铝挤压拉伸-压铸模具厂-广东誉格精密技术有限公司 | 华网,华网资讯,华网头条,华人网络家园 | 粮食烘干机|玉米烘干机|稻谷烘干机|小麦烘干机|大型连续烘干塔|500吨连续烘干塔|钢板仓|-郑州新光矿山机械制造有限公司 | 生物质蒸发器_燃气蒸发器_燃气锅炉价格|厂家直销-山东泰锅锅炉设备有限公司 | 威海保温板,威海泡沫,威海EPS,威海EPP-威海东兴泡塑科技有限公司 | 回收求购煤矿机械矿山设备,二手液压支架,刮板输送机-华建智能再生资源公司 | 乐清人才网_乐清招聘网_求职找工作平台 | 精品中文字幕在线观看,粉嫩av一区二区三区,最近中文字幕在线看免费视频,亚洲高清在线观看,日本一区二区视频手机免费看,国产黄色小视频,亚洲高清免费视频,国产精品一区二区欧美视频,亚洲人免费视频,亚洲视频在线观看免费,国产免费高清综合视频,中文字幕永久在线 | 真空机器人维修_晶圆机械手保养_半导体机械臂维修_面板机器人保养_AMHS改造-广州市广科智能技术有限公司 | 山东净化车间_净化工程_净化公司-山东海蓝净化装饰工程有限公司 山东金起起重机械有限公司[官网]-金桥银路悬臂吊,金起龙门吊,山东金起起重行吊,单梁起重机 | 医用空气净化消毒机,医用床单位消毒机,无磁空气消毒机,紫外线空气消毒机厂家-南昌市扬帆环保设备有限公司 | 潍坊劲昊磁电科技有限公司-电磁除铁器,永磁除铁器,管道式除铁器,金属探测仪,磁滚筒,输送设备,给料设备,破碎设备 | 宁波管道安装_宁波工业冷风机_宁波冷风机厂家_宁波厂房通风降温_「浙江甬风机电」 | 辽宁闻天香食品有限公司 | 锌铝合金压铸-深圳压铸加工-铝挤压拉伸-压铸模具厂-广东誉格精密技术有限公司 | 小型生活污水处理设备_MBR膜生物反应器_口腔医院/脱脂污水处理设备_酸洗磷化/喷涂废水处理设备-上海台江环保 | 水上游乐设备 - 郑州亿浪水上乐园设备有限公司 |