上海證券交易所股票代碼：603019
您可以同時關注中科曙光微信公眾號
使用微信掃一掃即可登錄！ 查閱資料更方便、 快捷！
2025年1月
服務熱線：400-810-0466
發布時間: 2017-11-23
經過多年的信息化建設，企事業單位已經積累了大量的數據。但目前數據中心在構建時仍大多采用傳統的技術手段，如集中式服務器構建，數據處理以單節點模式為主，缺少實際并行計算處理能力。這導致數據中心無法對海量非結構化數據進行有效存儲、處理及分析，以及提供大數據環境下全訪問、全類型的數據存儲及處理服務和為企業數據資產深度分析挖掘提供數據支撐。
為解決以上問題，曙光開發了基于大數據技術的全業務統一數據中心數據分析平臺，以充分發揮大數據技術在數據存儲、并行計算、大規模數據分析挖掘、線性擴展、全類型數據支撐等方面的優勢。
五大層次支撐總體架構
根據信息系統以及數據現狀的調研分析，曙光設計了基于大數據技術的全業務數據中心數據分析平臺的總體架構，包括數據接入、數據存儲、數據計算、統一分析服務、系統管理五個層次。
總體架構圖
數據接入層主要實現數據的采集接入和清洗轉換兩個功能。采集接入主要是將數據從各個業務系統數據源和外部環境數據導入到統一分析存儲系統中；數據清洗是發現并糾正數據文件中可識別錯誤的一道程序，針對數據審查過程中發現的明顯錯誤值、缺失值、異常值、可疑數據，選用適當的方法進行清理，使臟數據變成干凈數據，有利于后續的統計分析得出可靠結論。
數據存儲層采用分布式文件系統存儲方式，將數據存儲總體上劃分為緩沖區、統一視圖、數據倉庫、數據集市、實時采集、熱點數據6個部分。
數據計算層提供分布式運行引擎和協同計算功能，及離線計算、實時計算等能力，可滿足各類業務應用不同時效性數據計算需求。
統一分析服務層為業務人員提供數據挖掘工具和自助式分析服務，以滿足易用、快速、靈活拖拽的業務報表和大數據挖掘應用，同時提供數據路由、數據網關等功能，實現對外提供統一的數據服務及展現服務。
該系統通過標準化分析數據接口及數據跨庫查詢服務等功能建設，實現基于數據跨庫查詢服務的多查詢、多表或視圖聯接合并機制。如圖所示，提供具備數據模型定義可配置、數據發布快速等特性的數據接口服務，從而促進業務應用系統與統一分析服務間的標準化集成，支撐全業務數據中心統一分析服務組件建設。
四大優勢全方位保障平臺運行
該系統采用Hadoop生態體系與自主研發的MPP并行數據庫解析技術，解決了傳統數據中心擴展性差，建設成本高、數據存儲、計算處理及分析挖掘能力有限等問題。
在數據集成方面，支持非實時數據、實時數據與非結構化數據的全量接入，并能對數據中心的所有的數據集成任務進行調度及作業監控。
在數據存儲方面，基于混合架構存放不同性質的數據，并提供了不同的數據服務。
在分析服務方面，提供了指標多維分析與固定報表展示功能，以及數據挖掘模型的管理、訓練、評估及發布等，并通過批量數據服務、異步數據推送、數據實時服務等方式，為外圍系統提供數據支撐。
在系統管理方面，通過研發數據管理平臺實現了元數據管理、系統監控、接口監控、運行調度、運維輔助等功能。
此外，該系統克服了傳統技術擴展性不強、建設成本高、計算處理及分析挖掘能力有限的缺點，能滿足企業大數據環境下對全類型數據存儲、處理、分析及應用的需求，從而實現大數據環境下全業務、全層級、全類型數據資產的集中整合、存儲、分析與應用，適用于大數據集成融合分析業務場景，可廣泛應用于能源、環境、氣象、政府等行業大數據統一分析應用。
400-810-0466
Support@sugon.com
津公網安備 12011602000521號
注冊 /
