大數據平台
大數據平台
在數位化浪潮幾乎席捲了所有行業的時代大環境下,數據中台成為數位化轉型的重要抓手之一,大數碼集團已經協助多個零售企業完成了大數據平臺的建設:
大數據平臺能力
大數碼集團自主研發的大數據平臺,囊括了大數據基礎服務、數據分析及展現、數據應用開發、人工智慧等產品與服務。經歷過錘煉和業務驗證,可以幫助許多企業迅速建立自己的大數據應用能力;
01 數據雲門戶
02 實時計算平台
03 數據平台開發
04 大數據基礎服務平台
05 數據集成
06 元數據管理平台
07 數據探查
08 機器學習平台
09 準確時計算平台
10 Kafka服務化
數據探查平臺
大數碼集團自主研發的數據探查平臺,主要用來提供給數據開發和業務數據分析人員進行線上的數據探查和數據分析,主要解決了如下四類問題:
堡壘機許可權收緊後,提供使用者對hive表數據的訪問途徑
結合中繼數據管理系統,保障數據訪問的安全性
提供使用者進行原始數據分析的能力
資源進行隔離,保障平臺的穩定性
數據集成能力
大數碼集團的數據集成能力,提供穩定高效、彈性伸縮的數據同步平臺,支援集群化、服務化、多租戶、水準擴展,提供四通八達的數據傳輸交互服務,讓數據不再成為孤島
與其他同類產品比較,數據集成有諸多優勢:
與其他同類產品比較,數據集成有諸多優勢:
1
多
1.多樣的數據通道支援
2.齊全的數據傳輸方式
3.豐富的數據處理外掛程式
2
快
1.高效的調用方式
2.強勁的傳送速率
3.強大的吞吐能力
3
好
1.健壯的傳輸通道
2.智慧的錯誤檢測
3.自動的傳輸恢復
4
省
1. 無須構建,即入即用
2. 動態分配,彈性伸縮
3. 按需付費,按量付費
批量數據同步
數據集成支援雲上,主要數據存儲產品的傳輸能力,支援用戶按需購買數據傳輸通道,支援用戶全鏈路流控防護,支援傳輸自訂加工轉換,數據集成支援傳輸業務數據收集和展示。
定時任務調度
數據集成支持多時間維度(天、小時、分鐘)的離線任務定時調度,幾步完成數據增量抽取。
任務出錯報警
任務出錯時數據集成通過預定義方式告知使用者任務失敗,可自訂規則來配置告警規則。
即時計算平臺
基於Storm平臺打造的一款擁有任務便捷管理、快速部署上線、全方位監控且多租戶應用隔離能力的即時流計算服務平臺。Storm處理的是每次傳入的一個事件,因而基於Storm搭建的即時計算平臺能應用於對時間要求很高的(微秒級別)業務場景,如實時監控類的業務
准即時計算平臺 | 提供簡便、高效的任務管理功能,包括任務記錄的管理以及任務運行包的多版本管理功能; 提供平臺級和任務級的告警配置,支援任務按照不同的業務要求來靈活選擇配置; 提供基於任務維度的運行監控管理,監控項包括任務意外終止、處理超時、調度超時等等; 提供羽量級的圖表展示功能,包括基於任務的運行情況視圖以及基於平臺的CPU資源視圖; |
機器學習平臺 | 機器學習平臺(MLAAS)是集數據業務挖掘、數據分析、數據業務建模為一體的智慧型機器學習平臺。 機器學習平臺(MLAAS)依託底層平臺強大的計算能力,同時應用先進的大數據技術,通過提供視覺化、流程化、配置化的高效數據採擷工具、完備的數據預處理手段和全面的演算法模型應用平臺,加快企業大數據採擷的速度,降低大數據採擷落地成本,説明力企業數據價值的快速變現! MLAAS平臺在注重大數據採擷能力的同時,也一直在用戶體驗上下功夫,努力降低平臺的使用門檻,減輕用戶的學習及使用成本。平臺實驗採用視覺化技術,通過在頁面上進行簡單的“拖、拉、配”等方式即可完成複雜的數據採擷流程。遮罩專業技術,數據信手拈來! |
中繼數據管理平臺 | Hive倉庫中繼數據資訊展示平臺,實現數據資源價值的最大化利用; 提供Hive表的訪問授權審批流程,實現自動化的許可權審批,提高工作效率,提高數據安全審計能力; 增加數據表的治理規則,有效識別臨時表、垃圾表、歷史遺留表,提升數據倉庫治理能力; 在提供Hive中繼數據的同時,也提供了kafka即時中繼數據的檢索能力; |