
DT(Data Technology)時代,隨著企業的發展,不斷產生的非結構化數據規模越來越龐大。企業降低成本和提升效率需求的攀升,促使其不斷尋找新的解決方案,創造新的價值,應對新的挑戰。
本期華云大咖說與您一同分享對象存儲在金融行業的應用,助力金融企業探尋存儲發展路線圖,幫助企業更好地使用對象存儲。
核心觀點:
1.我們正在進入從IT時代到DT時代的轉型階段。我們熟悉的IT是信息技術,是以控制管理、積累數據為主。DT時代,它是以數據創新、激發生產力為主的技術。DT時代依托于大數據采集,采用傳統大數據加工轉變為快數據加工。優先豐富精準的指標體系形成推動社會進步、提升幸福指數的深數據。
2.隨著數字化轉型升級和新技術的普遍應用,海量非結構化數據以每年60%—80%的速率增長,這不僅給數據存儲行業帶來前所未有的機遇與挑戰,如何解決數據存儲更多、更快、更穩定,實現可擴展的需求,也成為當前迫在眉睫需要解決的問題。
3.目前,傳統NAS存儲面對海量非結構化數據的新問題包括:海量小文件性能、數據安全、大容量空間管理、價值挖掘。
4.對象存儲是用來描述解決和處理離散單元的方法的通用術語。對象在一個層結構中不會再有層級結構,是以擴展元數據為特征的。
5.對象存儲和文件系統在接口上的本質區別是對象存儲不支持和fread和fwrite類似的隨機位置讀寫操作,即一個文件PUT到對象存儲里以后,如果要讀取,只能GET整個文件,如果要修改一個對象,只能重新PUT一個新的到對象存儲里,覆蓋之前的對象或者形成一個新的版本。
6.對象存儲與熟悉的塊和文件存儲略有不同。它將數據整理到可靈活調整大小的數據容器中,也就是對象。這些對象存儲在可能跨多個位置的平面命名空間中。每個對象都包含數據(未解釋的字節序列)和元數據(獨一無二的 ID 再加上描述該對象的一組可擴展屬性)。
7.此方式的優勢在于,可以基于任何屬性引用和查詢數據。此外,不同于很容易放錯地方的紙質停車票據,您可以通過多種方式找到正確的“票據”,而且還可以根據需要采用安全或簡單的方式使用票據。標識符標記支持大量文件索引,高出文件系統幾個數量級,因而對象存儲成為分布在各地并且包含幾十億個文件的企業存儲的理想選擇。
8.目前,金融是對象存儲需求最大的行業。以銀行為例,銀行的票證單據電子化存檔系統對存儲分為在線和近線兩部分,在線數據通常保留3年,3年后再歸檔至近線存儲進行長期保存,以便后續檢索與查詢。由于歸檔數據需要保存15年,銀行預測未來全行數據量將超過100PB。而當前采用光盤塔設備歸檔,存在歸檔速度慢、查詢響應時間長達30分鐘、無法大規模擴容等問題,需要為金融行業搭建接口標準化、規范化、高可用、高可靠、高性能的分布式云存儲平臺。
9.對象存儲使用典型場景包括:文檔云、云盤、內容和媒體服務、批處理、容錯和高可用性、大規模處理和超大數據集、文件同步、日志分析等。