大數據技術 BIG DATA  

      未來20年社會變革的核心動力將是從信息中獲取情報。信息將成為21世紀的原油,將以前所未有的形式驅動經濟前行；數據正在變成幾乎和資本勞力一樣的重要的經濟原料。

      大數據技術(big data)或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。

      大數據的特點有四個層面:

      第一，數據體量巨大。從TB級別,躍升到PB級別。

      第二，數據類型繁多。包括網絡日志、視頻、圖片、地理位置信息等等。

      第三，處理速度快。1秒定律，可從各種類型的數據中快速獲得高價值的信息，這一點也是和傳統的數據挖掘技術有著本質的不同。

      第四，只要合理利用數據并對其進行正確、準確的分析,將會帶來很高的價值回報。業界將其歸納為4個“V” ——Volume (大量）、Variety（多樣）、Velocity（高速）、Value（價值）。

      大數據技術的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那么這種產業實現盈利的關鍵，在于提高對數據的“加工能力”， 通過“加工”實現數據的“增值”。

      中環信息不僅僅提供大數據基礎平臺，而且基于對業務的深刻理解將領域大數據需求封裝為功能服務套件，建立大數據服務組件平臺，屏蔽大數據開發應用的復雜性，助力企業快速構建大數據應用，實現數據增值服務。

大數據基礎平臺 BIG DATA PLATFORM

1）數據集成棧：提供一體化數據集成工具將傳統IT架構中的數據清洗、加載到大數據框架，提供可靠的數據資源管理。

2）數據治理棧：基于Hadoop分布式文件系統、列存儲等技術支持橫向無限擴展;提供統一的存儲、計算等資源管理。

3）分布式內存管理：將集群節點內存作為分布式關鍵數據存儲,極大提升數據計算與分析性能。

4）高性能彈性計算：統一抽象數據集RDD結合DAG高效的數據數據處理計劃調度，構造了基于內存的M/R計算引擎。

5）SQL支持棧：提供基于Hive/HBase的高性能SQL支持,滿足高性能查詢、統計與分析需求,且直接支持關系型數據庫。

6）挖掘分析棧：提供高性能并行化數據分析和數據挖掘算法滿足領域大數據分析挖掘需求。

7）流計算與圖計算：流計算以流水線方式處理海量數據,滿足實時計算分析需求；圖計算滿足海量數據關系分析需求。

8）知識檢索棧：分布式實時搜索與知識管理引擎，可對大數據進行深度搜索,提供搜索建議、分組統計、自動聚類。

9）作業調度棧：實現多環節大數據作業流程的組裝、協同與調度。

10）管理監控棧：提供全局門戶實現對大數據集群運行狀況的一體化管理控制。

大數據套裝軟件 BIG DATA SERVICE SUITE

1）數據集成套件：提供可視化工具，實現數據從關系型數據庫、文件、日志、消息等數據源高效提取到大數據集群中。

2）數據治理套件：提供圖形化可配置工具，實現大數據處理、清洗、轉換以及標準化校驗等的治理工作。

3）查詢統計套件：提供查詢統計套件，方便的實現大數據的關聯查詢以及指標統計等。

4）即席分析套件：提供數值分析組件庫，為用戶提供需求驅動的自助數值分析建模與分析預測。

5）數據挖掘套件：提供可擴展的數據挖掘套件庫；實現自定義數據集海量數據的數據建模、模型管理以及數據預測。

6）流計算圖計算：基于海量實時數據實現高性能數據異常監測、窗口活動累計分析等功能。

7）信息檢索套件：實現大數據的信息檢索、分類等。

8）作業協同套件：實現大數據作業的圖形化編排、流程化組裝及定時調度等。

大數據增值分析服務 VALUE-ADDED SERVICE

      以客戶的業務需求為驅動,在企業級大數據存儲與服務、企業級運行監控、實時風險監測、高性能計算、行為分析、趨勢預測、業務流程優化等方面提供傳統IT方案無法比擬的高性能、高價值解決方案，實現數據增值。

1）時間序列分析:

不考慮其他因素影響，依據數據的時間序列規律進行分析、建模、預測。

2）灰色模型預測:

描述不確定性的理論方法，依據數據之間的發展趨勢分析、建模、預測。

3）多元回歸模型:

研究一個因變量與多個自變量之間相互關系，從而建立模型進行預測。

4）人工神經網絡:

模擬生物神經網絡，依據輸入輸出計算神經元之間關系，建立預測模型。