一站式數據工場 Data Studio
提供數據的存儲,集成,加工,治理,共享的全方位治理能力,解決了傳統數據平臺建設過程中,多工具,多界面的問題
800-828-1089
產品特色
-
數據融合支持主流的RDBMS數據庫、NOSQL、大數據計算系統;支持MySQL、Oracle等分片并行提高同步速率;支持同步速度帶寬控制、并發數控制,全量和增量數據同步,屏蔽引擎層的復雜配置;支持頁面可視化配置字段映射關系
-
數據開發基于Web的開發平臺,提高開發效率’ 結合任務調度工作流,便捷完成整個ETL鏈路的開發;愉悅的WebIDE編程體驗,支持代碼自動補全,代碼版本控制
-
數據質量配置化的數據規則校驗,支持表級字段級校驗;支持任務的定時運行,質量任務的閾值設定;支持數據質量報告的定時出具支持JAVA語義
-
任務調度分布式數據任務調度; 集群環境下支持任務的故障轉移,支持多種任務路由策略; 支持DAG式的任務依賴關系; 支持任務郵件告警
-
離線計算引擎打通了多個計算存儲引擎如:Spark、Hive、關系型數據庫和HBase等,對外提供統一REST/WebSocket/JDBC接口,提交執行SQL、Pyspark、HiveQL、Scala等腳本的計算中間件。支持統一變量、UDF、函數、用戶資源文件管理,具備高并發、高性能、高可用的大數據作業/請求全生命周期管理能力
-
數據管理管理數據中臺中數據的授權,審核,對于元數據包括表,字段,存儲等信息的查詢,用戶可以向數據管理員申請需要的數據授權,管理員進行審批后放開數據使用權限給數據開發人員,數據授權操作記錄可追溯,保障數據使用的安全性
技術特性
-
高可靠分布式任務調度,可靠性達到99.99%。
-
高性能數據融合支持各類異構數據源,同步性能比同類型工具提升30%
-
自定義基于JAVA語義的數據質量校驗規則,用戶可自定義質量邏輯規則,支持復雜的數據校驗邏輯
-
多語言數據任務支持SQL、Python、Shell等任務類型,覆蓋所有數據開發場景
使用場景
通過達科一站式數據工場 Data Studio可實現跨部門數據的傳輸、加載、清洗、轉換和整合,支持用戶進行自定義調度和圖形化監控,實現統一調度、統一監控,滿足運維可視化需求,提高運維管理工作效率。
1、數據加工:
實現大數據環境的ETL全鏈路調度,支持SQL,數據同步,Shell,python,數據質量等運行任務;
2、數據規范:
支持對全業務、全系統范圍數據制定統一的標準;
3、數據質量:
支持進行數據質量校驗,從而解決數據臟、亂、差問題;
4、數據集成:
支持具有海量數據處理能力的數據集成能力;
達科一站式數據工場 Data Studio使用流程: