改變數(shù)據(jù)中心面貌的5大數(shù)據(jù)挑戰(zhàn)

     新的數(shù)據(jù)中心架構(gòu)提出了新的數(shù)據(jù)挑戰(zhàn)：數(shù)據(jù)采集將如何驅(qū)動從邊緣到核心的數(shù)據(jù)中心架構(gòu)的發(fā)展。

數(shù)據(jù)顯然不再是以往的樣子。作為數(shù)字化轉(zhuǎn)型的一部分，各種組織正在尋找數(shù)據(jù)的新用途。從飛機引擎的數(shù)據(jù)到雜貨店的消費數(shù)據(jù)，每個行業(yè)都有大量的例子，數(shù)據(jù)成為企業(yè)競爭優(yōu)勢的關鍵所在。人們將這些數(shù)據(jù)稱之為新數(shù)據(jù)，這與人們最熟悉的財務和ERP數(shù)據(jù)截然不同。那些原有的數(shù)據(jù)大部分是交易性的，而且是從內(nèi)部資源中捕獲的，而新數(shù)據(jù)推動了客戶機/服務器的革命。

新的數(shù)據(jù)既是交易型的，也是非結(jié)構(gòu)化的，公開可用，以及私下收集的，其價值來源于對其進行匯總和分析的能力。粗略地說，人們可以將這些新數(shù)據(jù)分為兩類：大數(shù)據(jù)——用于批量分析的大量聚合數(shù)據(jù)集，快速數(shù)據(jù)——從許多來源收集的用于推動立即決策的數(shù)據(jù)。大數(shù)據(jù)和快速數(shù)據(jù)模式正在推動數(shù)據(jù)中心的全新架構(gòu)的發(fā)展。

以下介紹數(shù)據(jù)中心新架構(gòu)所提出的五個主要的數(shù)據(jù)挑戰(zhàn)：

(1) 數(shù)據(jù)捕獲正在推動數(shù)據(jù)中心架構(gòu)從邊緣到核心的發(fā)展：

從源頭獲取新的數(shù)據(jù)。這些數(shù)據(jù)來自海洋，來自石油和天然氣勘探，也可能來自于衛(wèi)星軌道、天氣應用、電話、圖片、視頻和推特或電影的場景中。從源頭收集的數(shù)據(jù)量將比人們目前所知道的高出幾個數(shù)量級。

(2) 數(shù)據(jù)規(guī)模正在推動數(shù)據(jù)中心的自動化發(fā)展：

大型云提供商的規(guī)模已經(jīng)十分龐大，他們必須在自動化和智能化方面投入大量資金來管理基礎設施。任何人工管理在其運營規(guī)模上成本高昂。

(3) 移動數(shù)據(jù)正在改變?nèi)蚓W(wǎng)絡：

如果數(shù)據(jù)無處不在，那么必須移動數(shù)據(jù)才能進行匯總和分析。當人們認為并且希望網(wǎng)絡在40到100 Gbps的速度可以滿足互聯(lián)網(wǎng)帶寬要求時，數(shù)據(jù)移動的需求卻可能會增加100倍到1000倍。

(4) 數(shù)據(jù)價值是革命性存儲：

毫無疑問，數(shù)據(jù)對組織來說越來越有價值，數(shù)據(jù)在較長時間內(nèi)的實用性隨著機器學習和基于人工智能(AI)的分析而日益增長。這意味著更多的數(shù)據(jù)需要存儲更長的時間，并且數(shù)據(jù)必須是可以整體處理的，以便有效分析。

(5) 數(shù)據(jù)分析是未來計算密集型體系結(jié)構(gòu)的驅(qū)動因素：

通過分析的性質(zhì)，特別是機器學習，組織必須保留更多的數(shù)據(jù)，以便將其聚合到大數(shù)據(jù)存儲庫中。當應用于多個更大的數(shù)據(jù)源時，這些類型的分析提供了更好的答案。而分析和機器學習是一種計算密集型操作，因此大數(shù)據(jù)集上的分析驅(qū)動大量的高速處理。與此同時，分析的計算密集性促使組織推出從內(nèi)存數(shù)據(jù)庫到100 PB級別的對象存儲多種新方式來存儲和訪問數(shù)據(jù)。

新的數(shù)據(jù)在源頭被采集。從源頭收集的數(shù)據(jù)量將比人們目前所熟悉的高出幾個數(shù)量級。例如，一輛自動駕駛汽車每天將產(chǎn)生高達4TB的數(shù)據(jù)。而全球的汽車數(shù)量數(shù)以億計，人們在未來必須應對這種新的數(shù)據(jù)沖擊。

很明顯，人們不能從源頭采集所有的數(shù)據(jù)，并嘗試通過當今的網(wǎng)絡將其傳輸?shù)郊械奈恢眠M行處理和存儲。這推動了數(shù)據(jù)中心全新模式的發(fā)展，不同的環(huán)境以不同類型的數(shù)據(jù)為特征，這種新的“邊緣計算”環(huán)境被優(yōu)化，以便在傳輸?shù)揭粋€獨立的核心數(shù)據(jù)中心環(huán)境之前，對大量數(shù)據(jù)進行捕獲、存儲，以及部分分析。

新的邊緣計算環(huán)境將推動計算基礎架構(gòu)各個方面的根本性變革：從CPU到GPU甚至MPU(微處理單元)，從低功耗的小型閃存存儲到物聯(lián)網(wǎng)(IoT)網(wǎng)絡和協(xié)議，不需要寶貴的IP地址。

以下來看不同的數(shù)據(jù)采集例子。在生物信息學領域，數(shù)據(jù)在源頭上得到爆炸式增長。在X光檢查乳腺癌的情況下，拍攝這些圖像的系統(tǒng)正在從二維圖像轉(zhuǎn)變成三維圖像。二維圖像需要大約20MB的容量來存儲，而三維圖像則需要多達3GB的存儲容量，這意味著存儲這些圖像所需的容量增加了150倍。不幸的是，大多數(shù)存儲二維圖像的數(shù)字存儲系統(tǒng)根本無法經(jīng)濟有效地存儲三維圖像。以往的存儲系統(tǒng)被大數(shù)據(jù)庫取代才能使數(shù)據(jù)蓬勃發(fā)展。

另外，組織希望對這些圖像執(zhí)行的處理類型是基于機器學習的，并且比以前任何類型的圖像處理計算強大得多。最重要的是，為了進行機器學習，研究人員必須匯集大量的圖像進行處理才能有效。處理這些圖像意味著要跨組織來移動或共享圖像，這些圖像需要從源頭獲取數(shù)據(jù)，保存在可訪問的表單中(不是磁帶上)，聚合成大型圖像庫，然后用于大規(guī)模的機器學習分析。

圖像可能以原始形式存儲，但元數(shù)據(jù)通常在源頭添加。另外，可以在源頭完成一些處理以實現(xiàn)“信噪比”的最大化?？梢灾С诌@些圖像的最終架構(gòu)的特點是：(1)在源頭存儲數(shù)據(jù)。(2)將數(shù)據(jù)復制到共享存儲庫(通常在公共云中)。(3)從共享的存儲庫處理資源以分析和處理數(shù)據(jù)。(4)采用網(wǎng)絡連接以便結(jié)果可以返回給研究人員。這個新的工作流程正在推動包含多個存儲位置的數(shù)據(jù)架構(gòu)發(fā)展，并根據(jù)需要移動數(shù)據(jù)并在多個位置進行處理。

對于制造行業(yè)的物聯(lián)網(wǎng)用例，這種數(shù)據(jù)架構(gòu)的變化更加劇烈。例如，在西部數(shù)據(jù)公司，人們從全球各地的機器收集數(shù)據(jù)。這些數(shù)據(jù)被發(fā)送到一個存儲在三個位置的中央大數(shù)據(jù)存儲庫，一部分數(shù)據(jù)被推送到亞馬遜的Apache Hadoop數(shù)據(jù)庫中進行快速數(shù)據(jù)分析處理。其結(jié)果可供全公司的工程師進行可視化和后處理。對源數(shù)據(jù)進行處理，以提高該數(shù)據(jù)的信噪比，并對數(shù)據(jù)進行歸一化。對數(shù)據(jù)執(zhí)行額外的處理，因為它在邏輯上集中的位置收集在對象存儲庫中。

由于這些數(shù)據(jù)必須長期受到保護，因此需要進行擦除編碼，并分布在三個不同的地點。最后，數(shù)據(jù)一旦進入亞馬遜平臺，將再次使用分析處理。而支持制造用例的體系結(jié)構(gòu)是一種邊緣到核心的體系結(jié)構(gòu)，在許多位置都可以進行大數(shù)據(jù)和快速數(shù)據(jù)處理，而且這些組件是專門為此過程的每個步驟所需的處理類型而構(gòu)建的。

由于集中式數(shù)據(jù)的概念不再適用，這些用例需要一種新的數(shù)據(jù)架構(gòu)方法。人們需要有一個邏輯上集中的數(shù)據(jù)視圖，同時可以在任何工作流程的多個步驟中靈活地處理數(shù)據(jù)。數(shù)據(jù)量將會非常大，盲目地將全部的數(shù)據(jù)推送到一個中央存儲庫將會帶來成本和時間方面更多的限制。智能體系結(jié)構(gòu)需要開發(fā)人員了解如何在考慮到數(shù)據(jù)規(guī)模、傳輸成本以及處理要求的權(quán)衡的情況下逐步處理數(shù)據(jù)。

數(shù)據(jù)需要存儲在適合其預期用途的環(huán)境中。人們稱之為“數(shù)據(jù)蓬勃發(fā)展的環(huán)境”。大數(shù)據(jù)集需要共享，不僅用于協(xié)同處理，還要匯總用于機器學習，還要在云端之間進行分離，以便進行計算和分析。以數(shù)據(jù)中心為中心的架構(gòu)解決大數(shù)據(jù)存儲問題并不是一個好方法。為了從未來的大數(shù)據(jù)集獲得最大的價值，需要采用一種邊緣到核心的架構(gòu)，并與混合云體系結(jié)構(gòu)相結(jié)合。