2.2 電力大數(shù)據(jù)技術體系

前面所述的國內外各個廠商均在大數(shù)據(jù)技術的發(fā)展過程中做出了突出的貢獻。其中，涉及大數(shù)據(jù)存儲、計算的具體技術，諸如 NoSQL數(shù)據(jù)庫技術、HDFS 分布式文件存儲系統(tǒng)、MapReduce分布式計算技術等，這些技術將成為大數(shù)據(jù)技術在電力領域中應用的典型技術基礎。涉及大數(shù)據(jù)分析平臺開發(fā)技術的，諸如 Hadoop 平臺、HANA平臺等的架構，將是開發(fā)適用于電網公司大數(shù)據(jù)分析處理平臺的藍本。而大數(shù)據(jù)技術在工商業(yè)領域應用的案例，如中國移動公司投訴智能識別系統(tǒng)、百度疾病預測、阿里巴巴淘寶客戶行為分析平臺等的應用,將為電力領域高級應用的開發(fā)提供寶貴經驗。因此，電網公司大數(shù)據(jù)技術的架構將依托這些國內外廠商的技術集合開發(fā)而成。

2.2.1電力大數(shù)據(jù)技術架構

電力大數(shù)據(jù)技術架構不是面向具體功能的，而是面向全部需求的需求（元需求），關注設計的設汁（元設計）. 解決開發(fā)之共性，簡化開發(fā)之過程，提供應用之舞臺，可謂應用之母。架構是體系化的，完備的。能夠滿足一類軟件全部元需求的運行平臺和構建平臺，具體功能運行于其上，可以做到一通百通。大數(shù)據(jù)技術通過近些年在各行各業(yè)的普及和發(fā)展，逐漸形成了各具特色的技術架構。例如，Oracle 的大數(shù)據(jù)一體用的是以 Hadoop分布式數(shù)據(jù)庫為基礎，通過大數(shù)據(jù)連接器在 HDFS 與Oracle 的 NoSQL 數(shù)據(jù)庫之間建立鏈接，形成數(shù)據(jù)捕獲、數(shù)椐組織、數(shù)據(jù)分 析的三層技術架構。而對于IBM 公司的大數(shù)椐架構則是以數(shù)據(jù)整合與治理層為信息集成層，Hadoo生態(tài)系統(tǒng)、流式計算、數(shù)據(jù)倉庫為相互協(xié)作的數(shù)據(jù)處理分析層，再往上為數(shù)據(jù)可視發(fā)現(xiàn)、流計算、系統(tǒng)管理的應用基礎層，最上方則是具體的分析應用層。
通過對這些典型大數(shù)據(jù)廠商所采用技術架構的分析和研究，我們總結出了典型的大數(shù)據(jù)技術架構，即以 Hadoop 生態(tài)系統(tǒng)為藍本的，包含數(shù)據(jù)存儲層、數(shù)據(jù)管理層、數(shù)據(jù)計算層、數(shù)據(jù)應用分析層的四層典型技術架構。

圖 2 - 1 大數(shù)據(jù)的四層典型技術架構

在最底層的數(shù)據(jù)存儲層中，通常包含HDFS分布式文件存儲系統(tǒng)、非關系型數(shù)據(jù)庫，若有實時性的數(shù)據(jù)需求，在此層中還可以配置具有極高數(shù)據(jù)處理速率的內存數(shù)據(jù)庫。
對干數(shù)據(jù)管理層，其目的是為了協(xié)調下層各種類型數(shù)據(jù)庫間的數(shù)據(jù)流動和協(xié)調配合問題. 例如大數(shù)據(jù)連接器技術用于在傳統(tǒng)關系數(shù)據(jù)庫和分布式處理系統(tǒng)之間相互傳輸信息，從而實現(xiàn)大數(shù)據(jù)數(shù)椐源的相互轉化，并為大數(shù)據(jù)分析提供便利。

對于數(shù)據(jù)計算層，則主要包含實時計算、批量計算和流式計算三種主要的計算模式，以滿足各種計算需求。
最上層的應用分析層則包含數(shù)據(jù)可視化技木、數(shù)據(jù)分析挖掘技術、模式識別技術和圖像處理技術等。

書名：電力大數(shù)據(jù)：能源互聯(lián)網時代的電力企業(yè)轉型與價值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業(yè)出版社