產品特色

                              • 數據融合
                                支持主流的RDBMS數據庫、NOSQL、大數據計算系統;支持MySQL、Oracle等分片并行提高同步速率;支持同步速度帶寬控制、并發數控制，全量和增量數據同步,屏蔽引擎層的復雜配置;支持頁面可視化配置字段映射關系
                              • 數據開發
                                基于Web的開發平臺，提高開發效率’ 結合任務調度工作流，便捷完成整個ETL鏈路的開發;愉悅的WebIDE編程體驗，支持代碼自動補全,代碼版本控制
                              • 數據質量
                                配置化的數據規則校驗，支持表級字段級校驗;支持任務的定時運行，質量任務的閾值設定;支持數據質量報告的定時出具支持JAVA語義
                              • 任務調度
                                分布式數據任務調度; 集群環境下支持任務的故障轉移，支持多種任務路由策略; 支持DAG式的任務依賴關系; 支持任務郵件告警
                              • 離線計算引擎
                                打通了多個計算存儲引擎如：Spark、Hive、關系型數據庫和HBase等，對外提供統一REST/WebSocket/JDBC接口，提交執行SQL、Pyspark、HiveQL、Scala等腳本的計算中間件。支持統一變量、UDF、函數、用戶資源文件管理，具備高并發、高性能、高可用的大數據作業/請求全生命周期管理能力
                              • 數據管理
                                管理數據中臺中數據的授權，審核，對于元數據包括表，字段，存儲等信息的查詢，用戶可以向數據管理員申請需要的數據授權，管理員進行審批后放開數據使用權限給數據開發人員，數據授權操作記錄可追溯，保障數據使用的安全性

                              　

                              技術特性

                              • 高可靠
                                分布式任務調度，可靠性達到99.99%。
                              • 高性能
                                數據融合支持各類異構數據源，同步性能比同類型工具提升30%
                              • 自定義
                                基于JAVA語義的數據質量校驗規則，用戶可自定義質量邏輯規則，支持復雜的數據校驗邏輯
                              • 多語言
                                數據任務支持SQL、Python、Shell等任務類型，覆蓋所有數據開發場景

                               

                              使用場景

                              通過達科一站式數據工場 Data Studio可實現跨部門數據的傳輸、加載、清洗、轉換和整合，支持用戶進行自定義調度和圖形化監控，實現統一調度、統一監控，滿足運維可視化需求，提高運維管理工作效率。

                              1、數據加工：

                              實現大數據環境的ETL全鏈路調度，支持SQL，數據同步，Shell，python，數據質量等運行任務；

                              2、數據規范：

                              支持對全業務、全系統范圍數據制定統一的標準；

                              3、數據質量：

                              支持進行數據質量校驗，從而解決數據臟、亂、差問題；

                              4、數據集成：

                              支持具有海量數據處理能力的數據集成能力；

                              達科一站式數據工場 Data Studio使用流程：

                              久久精品中文无码资源站