作為一種 Schema Free 文檔數據庫,MongoDB 因其靈活的數據模型,支撐業務快速迭代研發,廣受開發者歡迎并被廣泛使用。在企業使用 MongoDB 承載應用的過程中,會因為業務上云/跨云/下云/跨機房遷移/跨地域遷移、或數據庫版本升級、數據庫整合、數據庫拆分、容災等業務場景,存在 MongoDB 遷移或同步的業務訴求。
在 MongoDB 遷移的過程中,其遷移時間、遷移數據準確性及遷移過程中業務的停機要求無疑是影響遷移能否成功的關鍵因素。由此,如何選擇合適的遷移工具,提供高效、安全、準確的遷移能力至關重要。
01 傳統數據遷移方案
傳統的 MongoDB 遷移一般基于 mongodump 及 mongorestore 等導入導出工具進行數據搬遷,使用這種搬遷工具一般存在如下問題:
停機時間長:由于 mongodump/mongorestore 不支持增量數據的采集復制,在 MongoDB 遷移期間,要求業務停機,停服時間通常高達數小時/上天,對業務的挑戰極大。特別當遷移難度較高時,通常反復多次遷移,業務停服時間更不可控。
可靠性不高:不提供遷移過程的觀測、診斷與修復能力,遷移過程中出現錯誤一般需要重新遷移,遷移難度較高。
數據準確性難保障:此類工具因不提供對應的質量檢測能力,所以遷移的數據質量一般難以保障。
大數據量遷移挑戰:因其容災能力不足,不能很好支撐大數據量、大表的遷移。
02 NineData 數據遷移方案
為解決用戶面臨的 MongoDB 遷移問題,玖章算術旗下的云原生智能數據管理平臺 NineData 推出了 MongoDB 業務不停服數據遷移能力。NineData 實現了完全自動化的全量數據遷移,以及增量數據的采集復制能力。其中,增量數據遷移能力,能夠在結構遷移及全量數據遷移期間,實時監聽采集源 MongoDB 數據變更產生的 oplog,并在完成全量遷移后,將變更數據實時復制到目標 MongoDB,實現源/目標 MongoDB 的動態復制。基于變更數據遷移能力,在 MongoDB 數據遷移過程中,業務可以正常提供服務,無需停服。最終,業務可根據需要選擇對應時間點切換到目標 MongoDB,具體流程如下圖。
NineData數據遷移方案
除了提供業務不停服的遷移能力外,NineData 提供的 MongoDB 還具有如下能力:
?? 大數據量或大表的遷移能力
基于智能分片、動態攢批、并發遷移、表級斷點續傳等多種技術能力,提供強勁遷移能力。
?? 數據一致性對比
NineData 提供了 MongoDB 的數據對比能力,能夠進行高效的一致性對比,快速識別差異數據,并提供對應的訂正腳本,快速訂正修復差異內容,有效保障遷移數據質量。
?? 可觀測可干預能力
NineData 提供詳細的遷移狀態、進展及詳情信息,當出現遷移異常時,會提供多種診斷修復能力,幫助您保障任務穩定性。同時,提供遷移限流能力,您可根據業務需要,自定義遷移速度,保障 MongoDB 的穩定性。
03 一分鐘啟動全自動化遷移
雖然提供了比較強大的 MongoDB 遷移能力,但是 NineData 使用起來非常簡單,只需要花 1 分鐘時間完成任務配置,即可以完全自動化完成數據的遷移及同步過程。下面我們來看下整個任務的配置過程:
3.1 配置復制任務
基于上述操作,完成復制數據源、復制對象及復制類型的選擇后,即可快速啟動 MongoDB 的全自動化遷移。當完成任務啟動后,NineData 會自動進行全量數據遷移及增量數據復制。
當數據遷移完成后,也可以配置對應的數據對比進行數據一致性的校驗,快速發現、定位并修復差異數據。下面會對剛才遷移的 mongodb 數據進行數據一致性校驗。
3.2 全量數據對比
NineData全量數據對比
如圖片所示,針對剛才遷移的 MongoDB 數據可以通過配置運行數據對比任務,進行精準、完整的數據對比。數據對比過程中,NineData 會對每個 Document 的內容進行精準對比,并快速發現差異內容,并針對性提供訂正腳本。
至此,當數據遷移完成、數據校驗及業務驗證通過后,業務可以選擇一個低峰期進行 MongoDB 的停機切換,切換到新的數據庫,至此完成整個遷移過程。
04 寫在最后
當然,除了 MongoDB 遷移外,NineData 支持 MongoDB 實例間的長期復制,可應用于數據容災、讀寫分離、測試數據構建等業務場景。同時,NineData 也已支持數十種常見數據庫的遷移復制。NineData 提供即開即用的 SAAS 模式,及企業專屬集群模式,滿足企業最高的數據安全合規要求。當前,NineData 已在運營商、金融、制造業、地產、電商等多個行業完成大規模應用實踐。如果您感興趣的話,可以登錄官網https://www.ninedata.cloud/dbmigration,立即開始免費使用。
審核編輯 黃宇
-
數據庫
+關注
關注
7文章
3794瀏覽量
64362 -
數據遷移
+關注
關注
0文章
72瀏覽量
6947 -
mongodb
+關注
關注
0文章
22瀏覽量
365
發布評論請先 登錄
相關推薦
評論