優(yōu)刻得UDTS數(shù)據(jù)集成服務(wù)助企業(yè)分析決策

近期，UCloud優(yōu)刻得UDTS在數(shù)據(jù)傳輸?shù)幕A(chǔ)上，上線了數(shù)據(jù)集成服務(wù)，可實(shí)現(xiàn)多個(gè)數(shù)據(jù)源合并，打通數(shù)據(jù)孤島以獲得數(shù)據(jù)的統(tǒng)一視圖，方便業(yè)務(wù)進(jìn)行數(shù)據(jù)分析決策;助力企業(yè)靈活調(diào)整業(yè)務(wù)架構(gòu)，優(yōu)化現(xiàn)有的數(shù)據(jù)庫服務(wù);快速實(shí)現(xiàn)分庫分表合并、自定義沖突處理策略、方便業(yè)務(wù)構(gòu)建數(shù)據(jù)看板。

背景

出于不同業(yè)務(wù)的數(shù)據(jù)存儲(chǔ)和應(yīng)用需求不同，企業(yè)通常會(huì)將不同業(yè)務(wù)產(chǎn)生的數(shù)據(jù)分別存儲(chǔ)在獨(dú)立的數(shù)據(jù)庫中。隨著業(yè)務(wù)架構(gòu)的不斷調(diào)整，以及受開發(fā)過程的影響，原先分開存儲(chǔ)的數(shù)據(jù)庫逐漸暴露出一些問題：

數(shù)據(jù)分散在不同的數(shù)據(jù)庫實(shí)例上，形成獨(dú)立的數(shù)據(jù)孤島，難以實(shí)現(xiàn)數(shù)據(jù)的聚合分析。傳統(tǒng)的通過MySQL主從關(guān)系同步數(shù)據(jù)的方式，在MySQL5.7版本之前無法建立多對(duì)一的增量同步關(guān)系。MySQL5.7版本雖然推出了多源復(fù)制功能，但功能單一，無法進(jìn)行不同庫表間的映射，且配置過程復(fù)雜，當(dāng)源數(shù)量較多時(shí)容易出錯(cuò)。

數(shù)據(jù)庫分庫分表之后存在多個(gè)數(shù)據(jù)庫實(shí)例，難以再合并到統(tǒng)一的庫表中。傳統(tǒng)的數(shù)據(jù)庫遷移工具無法處理合并過程中產(chǎn)生的數(shù)據(jù)沖突問題。

數(shù)據(jù)量越來越大，在不影響業(yè)務(wù)的前提下很難調(diào)整數(shù)據(jù)庫架構(gòu)。在線修改字段類型或者字段名，要么受限于數(shù)據(jù)庫功能，要么可能給業(yè)務(wù)帶來較大影響而難以調(diào)整。

UCloud優(yōu)刻得一站式數(shù)據(jù)集成解決方案多源數(shù)據(jù)聚合

針對(duì)數(shù)據(jù)庫分散，難以聚合的問題。UCloud優(yōu)刻得UDTS推出數(shù)據(jù)集成服務(wù)，可輕松幫助用戶完成多源聚合。單個(gè)任務(wù)可支持多達(dá)10個(gè)數(shù)據(jù)源聚合，同時(shí)可支持不同類型網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)源，包括外網(wǎng)、內(nèi)網(wǎng)以及專線。

舉例:假設(shè)現(xiàn)在有兩個(gè)數(shù)據(jù)源，分別是10.10.10.100:3306和10.10.10.120:3306，聚合模式如下圖所示：

考慮到大多數(shù)據(jù)源都承載著在線業(yè)務(wù)，為了避免多源聚合對(duì)線上業(yè)務(wù)的影響，UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務(wù)還支持針對(duì)每個(gè)數(shù)據(jù)源獨(dú)立限速。

數(shù)據(jù)庫合庫合表

數(shù)據(jù)庫合庫合表通常存在以下難點(diǎn):

數(shù)據(jù)庫實(shí)例分散

數(shù)據(jù)可能存在沖突

對(duì)不同的數(shù)據(jù)庫需要不同的數(shù)據(jù)沖突解決方法

針對(duì)以上這些問題，UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務(wù)在多源聚合的基礎(chǔ)上，提供以下方式解決：

1.自定義基礎(chǔ)數(shù)據(jù)

對(duì)于每個(gè)數(shù)據(jù)源，都可指定“是否保留目標(biāo)庫的原數(shù)據(jù)”，如果選擇“是”，在導(dǎo)入數(shù)據(jù)表時(shí)，會(huì)保留原有數(shù)據(jù)庫表定義及數(shù)據(jù)。

而如果選擇了不保留數(shù)據(jù)，則在導(dǎo)入數(shù)據(jù)時(shí)，會(huì)根據(jù)映射規(guī)則先清理對(duì)應(yīng)的表及其數(shù)據(jù)。

2.自動(dòng)解決數(shù)據(jù)沖突

在創(chuàng)建任務(wù)時(shí)可對(duì)每個(gè)數(shù)據(jù)源獨(dú)立定義數(shù)據(jù)沖突解決策略，在數(shù)據(jù)集成時(shí)，可根據(jù)自己的數(shù)據(jù)沖突解決策略來處理沖突數(shù)據(jù)。當(dāng)前提供“保留”與“替換”兩種策略。

保留: 當(dāng)數(shù)據(jù)發(fā)生沖突時(shí)，保留目標(biāo)庫中的原數(shù)據(jù)，而丟棄當(dāng)前數(shù)據(jù)。

當(dāng)使用保留規(guī)則時(shí)，導(dǎo)入數(shù)據(jù)使用INSERTIGNORE INTO , 比如INSERTIGNORE INTO table VALUES(1, "name", 18)，當(dāng)有重復(fù)數(shù)據(jù)時(shí)，保留原有的數(shù)據(jù)，新插入的數(shù)據(jù)會(huì)被忽略。

替換: 當(dāng)發(fā)生數(shù)據(jù)沖突時(shí)，使用新的數(shù)據(jù)替換目標(biāo)庫中原來的數(shù)據(jù)。

當(dāng)使用替換規(guī)則時(shí)，導(dǎo)入數(shù)據(jù)使用REPLACEINTO ，比如REPLACEINTO table VALUES(1, "name", 18)，老的數(shù)據(jù)將會(huì)被新數(shù)據(jù)覆蓋，集成任務(wù)中有多個(gè)子任務(wù)(多個(gè)源往同一個(gè)目標(biāo)數(shù)據(jù)庫同步)時(shí)，需要注意順序。

數(shù)據(jù)庫架構(gòu)調(diào)整

在開發(fā)的過程中，難免會(huì)遇到數(shù)據(jù)庫改名、表變更等問題，但等到數(shù)據(jù)庫架構(gòu)要調(diào)整的時(shí)候，才發(fā)現(xiàn)累積了一堆“陳年舊債”。通過UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務(wù)的全量+增量，不僅可以將全量數(shù)據(jù)按映射規(guī)則遷移到目標(biāo)庫中，還可動(dòng)態(tài)實(shí)現(xiàn)增量數(shù)據(jù)的庫表名稱的映射。

避免用戶對(duì)數(shù)據(jù)源鎖庫鎖表的擔(dān)憂，UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務(wù)還提供了NoLock模式，在此模式下數(shù)據(jù)集成服務(wù)運(yùn)行的過程中不會(huì)對(duì)源庫表進(jìn)行任何的鎖操作。

數(shù)據(jù)集成服務(wù)案例1、數(shù)據(jù)脫敏

某教育企業(yè)，使用UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務(wù)，將數(shù)據(jù)脫敏處理后，再交由內(nèi)部其它部⻔進(jìn)行數(shù)據(jù)分析，提取數(shù)據(jù)的有效價(jià)值。既避免了敏感數(shù)據(jù)泄漏風(fēng)險(xiǎn)，又幫助企業(yè)更快、更精準(zhǔn)的決策。

2、數(shù)據(jù)合并

某金融企業(yè)使用UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務(wù)，將前期拆分后的數(shù)據(jù)庫合并，方便進(jìn)行后續(xù)的業(yè)務(wù)開發(fā)和分析。

3、架構(gòu)調(diào)整


某交友軟件為了適應(yīng)新的架構(gòu)，通過UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務(wù)對(duì)數(shù)據(jù)庫db和table進(jìn)行了重新調(diào)整，適應(yīng)了新的環(huán)境。

架構(gòu)的調(diào)整不僅僅是對(duì)現(xiàn)有數(shù)據(jù)庫的改名，還依賴于存量數(shù)據(jù)的變更、增量數(shù)據(jù)的同步、業(yè)務(wù)的回滾等。

總結(jié)

總的來說，UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務(wù)帶給企業(yè)的價(jià)值主要體現(xiàn)在以下三個(gè)方面：

多源數(shù)據(jù)聚合，數(shù)據(jù)合并，構(gòu)建 BI數(shù)據(jù)看板，提取數(shù)據(jù)價(jià)值；

同構(gòu)數(shù)據(jù)整合，自動(dòng)處理數(shù)據(jù)沖突。

數(shù)據(jù)庫架構(gòu)在線調(diào)整，提升業(yè)務(wù)整體性能。

UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務(wù)目前正在免費(fèi)公測(cè)期，歡迎前往控制臺(tái)開啟體驗(yàn)～