十年前就在使用SAP的客戶詢問我當時突然出現的新事物：大數據。五年前，變成了數據湖和機器學習?，F在一切都是關于數據集成，當然還有人工智能。有時處理數據的基本方法已經改變或者發展。有時只是名字的改變。例如，在過去十年中，數據湖演變成數據網格（Data Meshes)，當你想到它時，它只不過是一個相互連接的稍微復雜的數據湖。

那么有一個問題:如何集成SAP數據？

十年前很熱門的一個話題現在仍然很熱門:如何將SAP數據與Hadoop集群或企業多云集成?每個超大規模云廠商都有一個現成的答案，但是如果您是SAP客戶，您不會對其中的每一個都100%滿意。這就是為什么我們創建了解決方案SNP Glue。

近期的Glue系列文章，我們將深入探討將SAP與您選擇的云技術集成所面臨的挑戰，以及我們如何應對這些挑戰。我們將自己的技術構建為中間件是有充分理由的，從各種SAP數據源的增量捕獲到性能和靈活性。

第一篇文章中，我將介紹背景，而在后續的文章中，將詳細介紹云廠商以及SNP Glue與它們進行技術集成的功能。

為什么要將SAP與云數據倉庫或數據湖集成?

現在最顯而易見的答案是“這樣你就可以在這些數據上釋放現代人工智能的力量”……

然而，公平地說，雖然這在某種程度上可能是正確的，但現實往往要簡單得多!

在SNP，我們看到兩種客戶案例:

第一種是單一集成場景，就像一個專門的應用程序來幫助用戶處理供應鏈的單一方面?；蛘邇x表盤?；蛘咭愿叨冗x擇性的方式向外部審計人員提供數據。

第二個是大規模的SAP集成，每個生產系統中幾乎所有SAP應用程序表都需要對云中的數據湖可用。

用例是多重的，包括報告、指示板、審計、供應鏈優化、預測性維護、減少客戶流失等等。顯然，在SAP數據副本上實現這樣的用例(其中一些個人數據可能因GDPR原因而匿名!)有許多優點，最明顯的是避免對SAP的任何性能影響。其他優點是更容易混合來自多個數據源的數據，并為AI/ML使用云特定功能。

顯然，當一項技術能夠很好地擴展到第二種情況時，您也可以覆蓋第一種情況。然而，考慮到SAP ERP的巨大范圍，集成的技術需要非常強大。

這樣的軟件需要涵蓋這些不同的方面和特性。最明顯的是實現真正的可擴展性。SNP Glue可以將數以萬計的SAP表從多個SAP生產系統復制到云中，從而使數據可用于廣泛的用例。初始滿載和增量，理想情況下以大規模并行的方式。使用SNP Glue, SNP客戶完全可以實現這一點，例如，近乎實時地從一長串SAP系統(包括ERP和BW)中復制50,000個SAP表到云中的數據湖。

如果沒有良好的CDC(更改數據捕獲)，即增量復制，您將需要定期執行全負載。數據將不斷過時。CDC可以針對不同的SAP數據源使用不同的技術來實現，例如，數據庫觸發器適用于ERP，但不適用于SAP BW。

為了獲得良好的性能并最大程度地減少數據在必須經過的不同躍點鏈中的潛在“故障點”，您需要將目標定位在 SAP 數據源和數據存儲（例如 Snowflake）之間建立直接的連接。通過減少中間人、潛在的故障點，從而使集成變得更加穩固。

根據數據源、SAP模塊或應用程序以及場景，您需要區分“應用程序集成”和“數據集成”。應用程序集成將更多地在源端由事件驅動(例如通過SAP Business Events、SAP bapi)，而在接收端由事件代理驅動(例如Kafka)。對于數據集成場景，您需要考慮使用原始SAP表來擴展集成解決方案并覆蓋盡可能多的領域。

SAP數據-關鍵且復雜

SAP數據往往是“特殊的”。在技術層面和應用層面都是如此。例如，一旦您必須根據貨幣鍵將小數點插入SAP金額字段，而貨幣鍵在同一數據庫表中找不到，您就會知道我所說的“技術困難”是什么意思。集成解決方案不僅需要擴展和執行，還需要能夠覆蓋這些技術(不用說，SNP Glue就可以)。此外，對于任何SAP集成解決方案，我建議不要忘記與數據目錄集成的必要性。

在應用程序級別，SAP 數據的性質在結構化數據（例如 SAP ERP 表）、非結構化數據（例如 SAP 存檔或 SAP 過賬附件）、非 ERP 數據（例如 SAP BW 查詢）或直接訪問 SAP 事務代碼輸出之間差異很大。一個好的集成解決方案應該能夠處理許多這些數據源，而不僅僅是表。

ETL to ELT

最后，對于大規模場景，您還需要從古老的 ETL 范式（提取-轉換-加載）更改為 ELT 范式，其中數據首先遷移（提取和加載），然后才轉換（即過濾、清理、豐富、與其他源相結合等）。但是，這并不意味著 SAP 集成解決方案中不需要任何 ETL 功能。例如，在提取數據時應該可以直接屏蔽一些個人數據（同樣，不用說，SNP Glue 不僅如此，而且通過原生SAP 集成還可以做到這一點）。

SNP Glue涵蓋了所有類型的數據目標。我們的解決方案最初是為了將SAP與基于Hadoop的數據湖集成而構建的，現已發展到涵蓋anyDB和anyCloud：

anyDB, i.e. Oracle, SAP DB, SAP ASE, SAP IQ, Microsoft SQL Server, DB2, DB4, DB6, …

anyCloud, i.e. AWS (e.g. redshift), Azure (e.g. Azure SQL), GCP (e.g. BigQuery), and Snowflake

anyTargets, 更多數據源和數據目標平臺將在下期介紹中闡述

最后，關于如何安裝和部署SNP Glue。這相當簡單：SNP Glue 部署為基于 ABAP 的插件，適用于所有類型的 SAP 部署：

經典的SAP本地部署安裝

托管SAP以及基于私有云的SAP 安裝

SAP Rise

與此同時，我們正在推出其他功能，以最小的SAP占用空間添加基于云原生的本機部署，以及原生非SAP功能，以便能夠利用SAP Netweaver以外的數據源，具有極大的靈活性和可擴展性。

審核編輯 黃宇