大規(guī)模網(wǎng)絡(luò)環(huán)境和大數(shù)據(jù)相關(guān)技術(shù)的發(fā)展對傳統(tǒng)數(shù)據(jù)融合分析技術(shù)提出了新的挑戰(zhàn)。針對目前多源數(shù)據(jù)融合分析過程靈活性差，處理效率低的問題，提出了一種基于相似連接的多源數(shù)據(jù)并行預(yù)處理方法，該方法采用了分治和并行的思想。首先，通過對多源數(shù)據(jù)中的相似語義進行統(tǒng)一，對個性語義進行保留的預(yù)處理方法提高了靈活性;其次，提出了一種改進的并行MapReduce框架，提高了相似連接的效率。實驗結(jié)果表明，所提方法在保證數(shù)據(jù)完整性的基礎(chǔ)上，使總的數(shù)據(jù)量減小了32%.與傳統(tǒng)的MapReduce框架相比，改進后的框架在耗費時間方面減小了43. 91%，因此該方法可以有效提高多源數(shù)據(jù)融合分析的效率.

　　多源數(shù)據(jù)的預(yù)處理過程是網(wǎng)絡(luò)環(huán)境進行安全分析的重要環(huán)節(jié)，根據(jù)實際的應(yīng)用采取相應(yīng)的具體措施山。一般性地，包括數(shù)據(jù)清理、數(shù)據(jù)格式轉(zhuǎn)換、數(shù)椐簡約等過程。其中數(shù)據(jù)清洗作為一個重要的環(huán)節(jié)，通過按照一定規(guī)則篩選數(shù)據(jù)，去除數(shù)據(jù)中的冗余部分。好的數(shù)據(jù)清洗方法不僅能夠降低系統(tǒng)處理數(shù)據(jù)所需的時間，并且能夠提高數(shù)據(jù)分析結(jié)果的準確度。為了對數(shù)據(jù)源進行靈活的數(shù)據(jù)清洗，盡量保留數(shù)據(jù)源的個性屬性，本文采用基于相似連接的數(shù)據(jù)清洗方法。相似連接在相似對象匹配問題中得到廣泛應(yīng)用，如互聯(lián)網(wǎng)、數(shù)據(jù)分析、數(shù)據(jù)庫等，匹配對象也日益多樣，如串、圖、字符串和集合等。為了適應(yīng)各種各樣的場景和對象，相似連接相關(guān)算法也得到了優(yōu)化和改進。無論是基于單行串行數(shù)據(jù)還是集合數(shù)據(jù)，或是基于樹結(jié)構(gòu)還是圖結(jié)構(gòu)，優(yōu)化和改進的方案主要以提高效率和靈活性或伸縮性為主。為了解決單行申行的相似連接候選集過多的問題，等提出了一種基于劃分的傳遞性的相似連接，該方法在相似匹配過程中利用傳遞性沒有使用全部子串，從而減少了匹配的候選集數(shù)目，提升了匹配的效率。為了提升算法的靈活性與伸縮性，Wang等提出了種快速相似連接算法，該算法既考慮到了相似的準確度，又考慮到了相似連接屬性的模糊度，可以進行靈活的篩選;然而隨著大數(shù)據(jù)與云計算等的出現(xiàn)，由于數(shù)據(jù)量的龐大導(dǎo)致算法效率低，這也是相似連接算法面臨的難題之一。