色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何利用Flood多維索引技術(shù)實(shí)現(xiàn)優(yōu)化數(shù)據(jù)存儲(chǔ)布局

牽手一起夢(mèng) ? 來(lái)源:學(xué)術(shù)頭條 ? 作者:佚名 ? 2020-09-22 16:38 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在多維索引表格(multi-dimensional table)上進(jìn)行掃描和篩選是現(xiàn)代分析型數(shù)據(jù)庫(kù)引擎的關(guān)鍵技術(shù)。為了對(duì)這些操作進(jìn)行優(yōu)化,數(shù)據(jù)庫(kù)常建立起聚類的索引結(jié)構(gòu)(indexes),如R-Trees,Z-ordering等,然而這些索引結(jié)構(gòu)在不同的數(shù)據(jù)集以及查詢集合(query workload)下很難進(jìn)行統(tǒng)一優(yōu)化。在本篇論文中,提出了名為Flood的多維學(xué)習(xí)索引結(jié)構(gòu)。通過(guò)同時(shí)優(yōu)化索引結(jié)構(gòu)以及存儲(chǔ)布局,這種結(jié)構(gòu)自動(dòng)地調(diào)整自身以適應(yīng)具體數(shù)據(jù)集和查詢集合。該工作用來(lái)為端到端學(xué)習(xí)型數(shù)據(jù)庫(kù)系統(tǒng)構(gòu)建索引模塊。

論文背景

在多維索引表格上進(jìn)行掃描和篩選是現(xiàn)代分析型數(shù)據(jù)庫(kù)引擎的關(guān)鍵技術(shù)之一。如果數(shù)據(jù)完全根據(jù)其中某一個(gè)屬性(attribute)進(jìn)行組織,即不會(huì)涉及到多個(gè)屬性同時(shí)被訪問(wèn)的情況,那么通過(guò)建立平衡樹或者進(jìn)行簡(jiǎn)單二分搜索的方法已經(jīng)足夠。然而,如果數(shù)據(jù)需要通過(guò)不同屬性進(jìn)行篩選,那么通過(guò)建立多層索引的方法是不足以解決問(wèn)題的。多層索引所帶來(lái)的存儲(chǔ)代價(jià)是的這項(xiàng)技術(shù)只能被應(yīng)用在很小的范圍內(nèi)。另一種解決方案是建立起多維索引(multi-dimensional indexes)對(duì)數(shù)據(jù)進(jìn)行組織管理。如Redshift以及Spark-SQL使用Z-ordering技術(shù)來(lái)對(duì)數(shù)據(jù)進(jìn)行布局,一些空間數(shù)據(jù)庫(kù)則嘗試使用R-tree來(lái)進(jìn)行索引。然而,現(xiàn)有的多維索引技術(shù)有著顯著的缺點(diǎn)。首先,這些技術(shù)都非常難以根據(jù)實(shí)際的數(shù)據(jù)集進(jìn)行優(yōu)化。其次,沒(méi)有一項(xiàng)方案可以作為所有問(wèn)題的統(tǒng)一解決方法。不同的數(shù)據(jù)集以及查詢集合將會(huì)決定使用不同的多維索引技術(shù)。

為了解決上述缺點(diǎn),本文提出了名為Flood的基于內(nèi)存的學(xué)習(xí)多維索引。該索引方案的重點(diǎn)在于自動(dòng)地同時(shí)優(yōu)化數(shù)據(jù)存儲(chǔ)布局以及索引的結(jié)構(gòu),以此來(lái)獲得優(yōu)于其他所有多維索引的索引速度。Flood框架有以下兩個(gè)重點(diǎn)idea:

1. 使用一個(gè)下采樣的查詢集合,即一小部分查詢樣例構(gòu)成的查詢集合樣本,以此來(lái)學(xué)習(xí)不同維度屬性在查詢過(guò)程中的使用頻率。基于該信息,F(xiàn)lood框架自動(dòng)地調(diào)節(jié)數(shù)據(jù)存儲(chǔ)布局,以此優(yōu)化索引性能。

2. 使用一個(gè)累計(jì)分布函數(shù)CDF(Calculative Distribution Function)模型來(lái)將多維上可能的傾斜數(shù)據(jù)映射到一個(gè)均勻空間中。這個(gè)平滑(Flatten)過(guò)程使得每一個(gè)存儲(chǔ)的存儲(chǔ)單元儲(chǔ)存的數(shù)據(jù)量基本一致。以此更快地進(jìn)行索引。

Flood框架的主要貢獻(xiàn)有三:

1. 提出了第一個(gè)學(xué)習(xí)型多維索引,F(xiàn)lood框架。Flood從一個(gè)篩選斷言集合,即一個(gè)下采樣的查詢集合中學(xué)習(xí)查詢集合的分布函數(shù),以此調(diào)節(jié)數(shù)據(jù)存儲(chǔ)布局。

2. 使用三個(gè)真實(shí)數(shù)據(jù)集評(píng)估了多個(gè)不同的多維索引結(jié)構(gòu),實(shí)驗(yàn)顯示Flood框架大大優(yōu)于其他的多維索引結(jié)構(gòu)。

3. 實(shí)驗(yàn)顯示出Flood框架在不同的Filter Predicates上都實(shí)現(xiàn)了搜索加速,其索引結(jié)構(gòu)的建立速度與其他多維索引的建立速度相當(dāng)。

論文模型

如何利用Flood多維索引技術(shù)實(shí)現(xiàn)優(yōu)化數(shù)據(jù)存儲(chǔ)布局

多維索引查詢的難點(diǎn)在于同時(shí)對(duì)Y和Z兩個(gè)屬性進(jìn)行篩選,對(duì)其中某一個(gè)維度進(jìn)行排序的二分搜索無(wú)法順利完成該任務(wù)。

數(shù)據(jù)布局

如果把整個(gè)多維空間看作一個(gè)歐幾里得空間的話,不同于單維數(shù)據(jù),多維數(shù)據(jù)不可以基于一個(gè)維度,或者屬性進(jìn)行排序,這導(dǎo)致很多單維上可以使用的索引方法在多維索引上并不適用。但是如果將整個(gè)空間分成一個(gè)個(gè)小的格子,在單獨(dú)一個(gè)格子內(nèi)使用統(tǒng)一維度進(jìn)行排序,則在訪問(wèn)該格子內(nèi)的數(shù)據(jù)中就可以通過(guò)使用單維索引技術(shù)加速索引。

模型基本操作

1. 映射查找存儲(chǔ)塊(Projection):通過(guò)查詢中的篩選條件得到需要遍歷的數(shù)據(jù)網(wǎng)格,并且將索引范圍約束在這些網(wǎng)格當(dāng)中。

2. 凝練查找范圍(Refinement):對(duì)按照某一維度進(jìn)行排序的網(wǎng)格數(shù)據(jù)進(jìn)行進(jìn)一步篩選,根據(jù)查找篩選條件對(duì)排序維度的限制進(jìn)一步縮小檢索的范圍。

3. 進(jìn)行搜索。

網(wǎng)格優(yōu)化

網(wǎng)格分割需要決定每一個(gè)維度所應(yīng)該分割的子空間個(gè)數(shù)。Flood框架可以通過(guò)學(xué)習(xí)選擇合適的網(wǎng)格個(gè)數(shù)以及決定哪一個(gè)維度作為排序維度,即在網(wǎng)格內(nèi)對(duì)數(shù)據(jù)進(jìn)行排序的維度。

數(shù)據(jù)學(xué)習(xí)優(yōu)化索引結(jié)構(gòu)

1. 數(shù)據(jù)平滑化

根據(jù)CDF模型,對(duì)空間進(jìn)行不均勻的劃分,達(dá)到每一個(gè)網(wǎng)格的數(shù)據(jù)點(diǎn)數(shù)量基本一致。實(shí)驗(yàn)顯示當(dāng)數(shù)據(jù)量方差較小時(shí),索引的速度有所加快。

2. 快速查找范圍凝練(使用機(jī)器學(xué)習(xí)方法)

在凝練搜索范圍的過(guò)程中,通過(guò)使用學(xué)習(xí)索引模型,RMI(Recursive Model Index),這一個(gè)多層線性回歸模型的索引結(jié)構(gòu),加速范圍索引的速度。論文中稱之為piecewise linear model。

實(shí)驗(yàn)

本文在Sales,OSM,Perform三個(gè)真實(shí)數(shù)據(jù)上進(jìn)行了試驗(yàn)。

同時(shí),還驗(yàn)證了數(shù)據(jù)扁平化等優(yōu)化方法在提升索引速度上的有效性。

責(zé)任編輯:gt

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 內(nèi)存
    +關(guān)注

    關(guān)注

    8

    文章

    3126

    瀏覽量

    75316
  • 數(shù)據(jù)庫(kù)
    +關(guān)注

    關(guān)注

    7

    文章

    3935

    瀏覽量

    66362
  • 引擎
    +關(guān)注

    關(guān)注

    1

    文章

    366

    瀏覽量

    23016
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    HarmonyOS NEXT應(yīng)用元服務(wù)布局優(yōu)化利用布局邊界減少布局計(jì)算

    、SDK 4.0.10.9條件下測(cè)試得到,不同設(shè)備類型數(shù)據(jù)可能存在差異,測(cè)試數(shù)據(jù)旨在體現(xiàn)性能優(yōu)化趨勢(shì),僅供參考。 由上數(shù)據(jù)可以發(fā)現(xiàn): ?首次繪制時(shí),三種情況
    發(fā)表于 06-26 11:13

    HarmonyOS NEXT應(yīng)用元服務(wù)布局優(yōu)化精簡(jiǎn)節(jié)點(diǎn)數(shù)

    中出現(xiàn)該規(guī)則相關(guān)問(wèn)題,可參考本章節(jié)提供的優(yōu)化建議進(jìn)行調(diào)整。 布局階段是采用遞歸遍歷所有節(jié)點(diǎn)的方式進(jìn)行組件位置和大小的計(jì)算, 如果嵌套層級(jí)過(guò)深,將帶來(lái)了更多的中間節(jié)點(diǎn),在布局測(cè)算階段下,額外的節(jié)點(diǎn)數(shù)將導(dǎo)致
    發(fā)表于 06-26 10:21

    HarmonyOS NEXT應(yīng)用元服務(wù)布局優(yōu)化精簡(jiǎn)節(jié)點(diǎn)數(shù)

    中出現(xiàn)該規(guī)則相關(guān)問(wèn)題,可參考本章節(jié)提供的優(yōu)化建議進(jìn)行調(diào)整。 布局階段是采用遞歸遍歷所有節(jié)點(diǎn)的方式進(jìn)行組件位置和大小的計(jì)算, 如果嵌套層級(jí)過(guò)深,將帶來(lái)了更多的中間節(jié)點(diǎn),在布局測(cè)算階段下,額外的節(jié)點(diǎn)數(shù)將導(dǎo)致
    發(fā)表于 06-26 10:21

    HarmonyOS NEXT應(yīng)用元服務(wù)布局優(yōu)化ArkUI框架執(zhí)行流程

    應(yīng)用組件樹。當(dāng)用戶執(zhí)行交互(滑動(dòng),點(diǎn)擊等行為)時(shí)會(huì)觸發(fā)界面修改,界面的修改本質(zhì)上是通過(guò)觸發(fā)這棵組件樹的重新渲染,來(lái)實(shí)現(xiàn)應(yīng)用界面更新的過(guò)程。 應(yīng)用界面更新的過(guò)程主要分為兩個(gè)過(guò)程: 數(shù)據(jù)處理過(guò)程和UI
    發(fā)表于 06-23 09:41

    鴻蒙5開發(fā)寶藏案例分享---優(yōu)化應(yīng)用時(shí)延問(wèn)題

    就不用加班改bug了?** 趕緊整理出來(lái)分享給大家,附詳細(xì)代碼解析!** ?** 案例1:布局層級(jí)優(yōu)化(Flex vs 相對(duì)布局)** 問(wèn)題 :留言箱列表加載1024條數(shù)據(jù)時(shí)卡頓(10
    發(fā)表于 06-13 10:08

    鴻蒙Next實(shí)現(xiàn)瀑布流布局

    設(shè)計(jì)思路 鴻蒙 Next 的瀑布流布局可以通過(guò)自定義組件結(jié)合 Column、Row 等容器組件實(shí)現(xiàn)。其核心思路是將數(shù)據(jù)分成若干列,每列獨(dú)立滾動(dòng)展示,且根據(jù)數(shù)據(jù)項(xiàng)高度動(dòng)態(tài)調(diào)整
    發(fā)表于 06-10 14:17

    MRAM存儲(chǔ)替代閃存,F(xiàn)PGA升級(jí)新技術(shù)

    優(yōu)化的架構(gòu)設(shè)計(jì)和成熟的制程技術(shù),具備內(nèi)置的硬擦除器、錯(cuò)誤檢測(cè)和校正機(jī)制,為用戶提供了可靠的開發(fā)環(huán)境。用戶可利用最新的Radiant工具,直接實(shí)現(xiàn)MRAM的編程接口,支持多種
    發(fā)表于 03-08 00:10 ?689次閱讀

    嵌入式系統(tǒng)存儲(chǔ)的軟件優(yōu)化策略

    寫入,整體擦除。 實(shí)際軟件開發(fā)過(guò)程中,根據(jù)如上數(shù)據(jù)特點(diǎn),為保證產(chǎn)品穩(wěn)定性在如下3個(gè)階段給出優(yōu)化方案: ·產(chǎn)品開發(fā)前做對(duì)應(yīng)存儲(chǔ)方案選型,能夠提前評(píng)估出風(fēng)險(xiǎn)。通過(guò)實(shí)際應(yīng)用場(chǎng)景產(chǎn)品的目標(biāo)壽命, 評(píng)估出
    發(fā)表于 02-28 14:17

    嵌入式系統(tǒng)中的代碼優(yōu)化與壓縮技術(shù)

    以及資源利用效率。 一、代碼優(yōu)化的重要性 嵌入式設(shè)備往往資源有限,如內(nèi)存空間小、處理器性能相對(duì)較弱。高效的代碼能夠在有限資源下實(shí)現(xiàn)更強(qiáng)大的功能。以智能家居中的溫度傳感器節(jié)點(diǎn)為例,其運(yùn)行的代碼若未經(jīng)
    發(fā)表于 02-26 15:00

    【「基于大模型的RAG應(yīng)用開發(fā)與優(yōu)化」閱讀體驗(yàn)】RAG基本概念

    World graph)和PQ(Product Quantization)量化復(fù)合索引技術(shù)。這種技術(shù)組合能夠在百萬(wàn)級(jí)別的數(shù)據(jù)規(guī)模下,實(shí)現(xiàn)
    發(fā)表于 02-08 00:22

    創(chuàng)建唯一索引的SQL命令和技巧

    在創(chuàng)建唯一索引時(shí),以下是一些SQL命令和技巧,可以幫助優(yōu)化性能: 使用合適的索引類型:對(duì)于需要保證唯一性的列,使用UNIQUE索引來(lái)避免重復(fù)數(shù)據(jù)
    的頭像 發(fā)表于 01-09 15:21 ?523次閱讀

    SSM框架的性能優(yōu)化技巧 SSM框架中RESTful API的實(shí)現(xiàn)

    : 緩存可以顯著提高系統(tǒng)的響應(yīng)速度。 在SSM中,可以使用Redis或Memcached等緩存技術(shù)來(lái)緩存頻繁訪問(wèn)的數(shù)據(jù),如數(shù)據(jù)庫(kù)查詢結(jié)果、用戶信息等。 同時(shí),也可以利用Spring
    的頭像 發(fā)表于 12-17 09:10 ?809次閱讀

    如何優(yōu)化EEPROM的數(shù)據(jù)存儲(chǔ)策略

    。它廣泛應(yīng)用于需要存儲(chǔ)少量數(shù)據(jù)的場(chǎng)合,如微控制器、傳感器和嵌入式系統(tǒng)中。優(yōu)化EEPROM的數(shù)據(jù)存儲(chǔ)策略可以提高
    的頭像 發(fā)表于 12-16 17:21 ?1422次閱讀

    如何優(yōu)化emc存儲(chǔ)性能

    在當(dāng)今的數(shù)據(jù)中心環(huán)境中,存儲(chǔ)性能對(duì)于業(yè)務(wù)連續(xù)性和數(shù)據(jù)訪問(wèn)速度至關(guān)重要。EMC作為領(lǐng)先的存儲(chǔ)解決方案提供商,其產(chǎn)品線涵蓋了從入門級(jí)到企業(yè)級(jí)的存儲(chǔ)
    的頭像 發(fā)表于 11-01 15:57 ?1015次閱讀

    優(yōu)化TPS546xx的布局實(shí)現(xiàn)熱性能

    電子發(fā)燒友網(wǎng)站提供《優(yōu)化TPS546xx的布局實(shí)現(xiàn)熱性能.pdf》資料免費(fèi)下載
    發(fā)表于 10-12 10:31 ?0次下載
    <b class='flag-5'>優(yōu)化</b>TPS546xx的<b class='flag-5'>布局</b>以<b class='flag-5'>實(shí)現(xiàn)</b>熱性能
    主站蜘蛛池模板: 永久免费精品精品永久-夜色 | qvod电影资源 | 漂亮的保姆3中文版完整版 漂亮的保姆3集电影免费观看中文 | 人善交XUANWEN200喷水 | 亚洲男人片片在线观看 | 亚洲国产高清在线观看视频 | 中文字幕亚洲乱码熟女在线 | 小小水蜜桃视频高清在线播放 | 嫩交18xxxx| 97超级碰久久久久香蕉人人 | 色多多旧版污污破解版 | 精品国产在天天线在线麻豆 | 免费在线视频a | 亚瑟天堂久久一区二区影院 | 人人妻免费线 | 无人区乱码区1卡2卡三卡在线 | 久久久亚洲国产精品主播 | 精品久久久久中文字幕日本 | 女人被躁到高潮嗷嗷叫小 | 4k岛国精品午夜高清在线观看 | 69国产精品成人无码视频 | 在线色av| 午夜办公室在线观看高清电影 | 国产A级毛片久久久久久久 国产a级黄色毛片 | 亚洲国产高清视频在线观看 | 一个人HD高清在线观看免费视频 | 人人妻免费线 | 亚洲欧美国产综合在线一区 | 精品日韩二区三区精品视频 | 亚洲国产剧情中文视频在线 | 精品亚洲一区二区在线播放 | 亚洲精品福利一区二区在线观看 | 亚洲人成人77777在线播放 | 国产3级在线| 夜色视频社区 | 国产品无码一区二区三区在线 | 午夜日本大胆裸艺术 | 思思99热久久精品在线6 | 国产精品亚洲国产三区 | 伊人香蕉在线播放视频免费 | 欧美多人群p刺激交换电影 欧美多毛的大隂道 |

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品