hdfs知識(shí)

• 

  HBase集群數(shù)據(jù)在線遷移方案探索

  一、背景 訂單本地化系統(tǒng)目前一個(gè)月的訂單的讀寫(xiě)已經(jīng)切至jimkv存儲(chǔ)，對(duì)應(yīng)的HBase集群已下線。但存儲(chǔ)全量數(sh...

  2024-06-12 標(biāo)簽： 接口 編程 數(shù)據(jù)遷移 1377 0

• 

  基于Clickhouse構(gòu)建新一代日志存儲(chǔ)系統(tǒng)

  服務(wù)重啟變得特別慢且 Sys cpu 被打滿，原因是在服務(wù)重啟的過(guò)程中需要并發(fā)的加載 HDFS 上 Part 的元數(shù)據(jù)，

  2024-03-12 標(biāo)簽： TCP 存儲(chǔ)系統(tǒng) HDFS 1068 0

• 

  Alluxio是如何助力AI大模型訓(xùn)練的呢？

  隨著云原生技術(shù)的飛速發(fā)展，各大公有云廠商提供的云服務(wù)也變得越來(lái)越標(biāo)準(zhǔn)、可靠和易用。憑借著云原生技術(shù)，用戶不僅可以在不同的

  2023-08-17 標(biāo)簽： 存儲(chǔ)器 緩存器 機(jī)器學(xué)習(xí) 2179 0

• 

  Apache Doris巨大飛躍：存算分離新架構(gòu)介紹

  歷史上，數(shù)據(jù)分析需求的不斷提升（更大的數(shù)據(jù)規(guī)模、更快的處理速度、更低的使用成本）和計(jì)算基礎(chǔ)設(shè)施的不斷進(jìn)化（從專用的高...

  2023-08-04 標(biāo)簽： 存儲(chǔ)器 計(jì)算機(jī) 耦合器 1441 0

• 

  存算分離架構(gòu)設(shè)計(jì)與遷移實(shí)踐

  今天的案例分享來(lái)自社區(qū)用戶一面數(shù)據(jù)，這是一家通過(guò)解讀電商平臺(tái)和社交媒體渠道的海量數(shù)據(jù)，為全球快消巨頭（如寶潔、聯(lián)合...

  2023-07-26 標(biāo)簽： 存儲(chǔ)器 MYSQL數(shù)據(jù)庫(kù) tpc 1371 0

• 8種主流數(shù)據(jù)遷移工具技術(shù)選型

  ETL(是Extract-Transform-Load的縮寫(xiě)，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過(guò)程)，對(duì)于企業(yè)應(yīng)用來(lái)...

  2023-04-20 標(biāo)簽： ETL JAVA語(yǔ)言 HDFS 1305 0

• 分析Hive與Spark分區(qū)策略的異同點(diǎn)

  隨著技術(shù)的不斷的發(fā)展，大數(shù)據(jù)領(lǐng)域?qū)τ诤Ａ繑?shù)據(jù)的存儲(chǔ)和處理的技術(shù)框架越來(lái)越多。在離線數(shù)據(...

  2023-04-11 標(biāo)簽： 數(shù)據(jù)存儲(chǔ) IOPs HDFS 1160 0

• 大數(shù)據(jù)計(jì)算框架簡(jiǎn)介

  Hadoop是目前世界上應(yīng)用最廣泛的大數(shù)據(jù)工具。Hadoop具有高容錯(cuò)率，且其硬件價(jià)格低，可以使用普通PC服務(wù)器（個(gè)人理

  2023-03-20 標(biāo)簽： JAVA PC服務(wù)器 編程語(yǔ)言 2569 0

• 分布式文件系統(tǒng)的設(shè)計(jì)框架

  因?yàn)镠DFS系統(tǒng)（分布式文件系統(tǒng)）可由數(shù)百或數(shù)千個(gè)存儲(chǔ)文件數(shù)據(jù)片段的服務(wù)器組成，即HDFS系統(tǒng...

  2023-03-20 標(biāo)簽： 服務(wù)器 存儲(chǔ)數(shù)據(jù) HDFS 1191 0

• 大數(shù)據(jù)應(yīng)用的開(kāi)發(fā)流程

  大數(shù)據(jù)常見(jiàn)處理流程包括：原始數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)存儲(chǔ)、統(tǒng)計(jì)分析、存儲(chǔ)至數...

  2023-02-22 標(biāo)簽： 數(shù)據(jù)庫(kù) 機(jī)器學(xué)習(xí) python 5926 0

展開(kāi)查看更多