優(yōu)刻得UDTS數據集成服務助企業(yè)分析決策

近期，UCloud優(yōu)刻得UDTS在數據傳輸的基礎上，上線了數據集成服務，可實現(xiàn)多個數據源合并，打通數據孤島以獲得數據的統(tǒng)一視圖，方便業(yè)務進行數據分析決策;助力企業(yè)靈活調整業(yè)務架構，優(yōu)化現(xiàn)有的數據庫服務;快速實現(xiàn)分庫分表合并、自定義沖突處理策略、方便業(yè)務構建數據看板。

背景

出于不同業(yè)務的數據存儲和應用需求不同，企業(yè)通常會將不同業(yè)務產生的數據分別存儲在獨立的數據庫中。隨著業(yè)務架構的不斷調整，以及受開發(fā)過程的影響，原先分開存儲的數據庫逐漸暴露出一些問題：

數據分散在不同的數據庫實例上，形成獨立的數據孤島，難以實現(xiàn)數據的聚合分析。傳統(tǒng)的通過MySQL主從關系同步數據的方式，在MySQL5.7版本之前無法建立多對一的增量同步關系。MySQL5.7版本雖然推出了多源復制功能，但功能單一，無法進行不同庫表間的映射，且配置過程復雜，當源數量較多時容易出錯。

數據庫分庫分表之后存在多個數據庫實例，難以再合并到統(tǒng)一的庫表中。傳統(tǒng)的數據庫遷移工具無法處理合并過程中產生的數據沖突問題。

數據量越來越大，在不影響業(yè)務的前提下很難調整數據庫架構。在線修改字段類型或者字段名，要么受限于數據庫功能，要么可能給業(yè)務帶來較大影響而難以調整。

UCloud優(yōu)刻得一站式數據集成解決方案多源數據聚合

針對數據庫分散，難以聚合的問題。UCloud優(yōu)刻得UDTS推出數據集成服務，可輕松幫助用戶完成多源聚合。單個任務可支持多達10個數據源聚合，同時可支持不同類型網絡環(huán)境下的數據源，包括外網、內網以及專線。

舉例:假設現(xiàn)在有兩個數據源，分別是10.10.10.100:3306和10.10.10.120:3306，聚合模式如下圖所示：

考慮到大多數據源都承載著在線業(yè)務，為了避免多源聚合對線上業(yè)務的影響，UCloud優(yōu)刻得UDTS數據集成服務還支持針對每個數據源獨立限速。

數據庫合庫合表

數據庫合庫合表通常存在以下難點:

數據庫實例分散

數據可能存在沖突

對不同的數據庫需要不同的數據沖突解決方法

針對以上這些問題，UCloud優(yōu)刻得UDTS數據集成服務在多源聚合的基礎上，提供以下方式解決：

1.自定義基礎數據

對于每個數據源，都可指定“是否保留目標庫的原數據”，如果選擇“是”，在導入數據表時，會保留原有數據庫表定義及數據。

而如果選擇了不保留數據，則在導入數據時，會根據映射規(guī)則先清理對應的表及其數據。

2.自動解決數據沖突

在創(chuàng)建任務時可對每個數據源獨立定義數據沖突解決策略，在數據集成時，可根據自己的數據沖突解決策略來處理沖突數據。當前提供“保留”與“替換”兩種策略。

保留: 當數據發(fā)生沖突時，保留目標庫中的原數據，而丟棄當前數據。

當使用保留規(guī)則時，導入數據使用INSERTIGNORE INTO , 比如INSERTIGNORE INTO table VALUES(1, "name", 18)，當有重復數據時，保留原有的數據，新插入的數據會被忽略。

替換: 當發(fā)生數據沖突時，使用新的數據替換目標庫中原來的數據。

當使用替換規(guī)則時，導入數據使用REPLACEINTO ，比如REPLACEINTO table VALUES(1, "name", 18)，老的數據將會被新數據覆蓋，集成任務中有多個子任務(多個源往同一個目標數據庫同步)時，需要注意順序。

數據庫架構調整

在開發(fā)的過程中，難免會遇到數據庫改名、表變更等問題，但等到數據庫架構要調整的時候，才發(fā)現(xiàn)累積了一堆“陳年舊債”。通過UCloud優(yōu)刻得UDTS數據集成服務的全量+增量，不僅可以將全量數據按映射規(guī)則遷移到目標庫中，還可動態(tài)實現(xiàn)增量數據的庫表名稱的映射。

避免用戶對數據源鎖庫鎖表的擔憂，UCloud優(yōu)刻得UDTS數據集成服務還提供了NoLock模式，在此模式下數據集成服務運行的過程中不會對源庫表進行任何的鎖操作。

數據集成服務案例1、數據脫敏

某教育企業(yè)，使用UCloud優(yōu)刻得UDTS數據集成服務，將數據脫敏處理后，再交由內部其它部⻔進行數據分析，提取數據的有效價值。既避免了敏感數據泄漏風險，又幫助企業(yè)更快、更精準的決策。

2、數據合并

某金融企業(yè)使用UCloud優(yōu)刻得UDTS數據集成服務，將前期拆分后的數據庫合并，方便進行后續(xù)的業(yè)務開發(fā)和分析。

3、架構調整


某交友軟件為了適應新的架構，通過UCloud優(yōu)刻得UDTS數據集成服務對數據庫db和table進行了重新調整，適應了新的環(huán)境。

架構的調整不僅僅是對現(xiàn)有數據庫的改名，還依賴于存量數據的變更、增量數據的同步、業(yè)務的回滾等。

總結

總的來說，UCloud優(yōu)刻得UDTS數據集成服務帶給企業(yè)的價值主要體現(xiàn)在以下三個方面：

多源數據聚合，數據合并，構建 BI數據看板，提取數據價值；

同構數據整合，自動處理數據沖突。

數據庫架構在線調整，提升業(yè)務整體性能。

UCloud優(yōu)刻得UDTS數據集成服務目前正在免費公測期，歡迎前往控制臺開啟體驗～