探究超大Transformer語言模型的分布式訓(xùn)練框架

NVIDIA Megatron 是一個(gè)基于 PyTorch 的框架，用于訓(xùn)練基于 Transformer 架構(gòu)的巨型語言模型。本系列文章將詳細(xì)介紹Meg...

2021-10-20 標(biāo)簽：數(shù)據(jù)NVIDIA交換機(jī) 2446 0

美國(guó)制裁讓鴻蒙加速，三大巨頭系統(tǒng)之戰(zhàn)才剛剛開始

芯片與操作系統(tǒng)，被看做是智能手機(jī)最為關(guān)鍵的兩大環(huán)節(jié)。多年來，諾基亞、三星等手機(jī)巨頭都曾希望在操作系統(tǒng)上有所突破，但均以失敗告終，如果華為能夠在蘋果與安卓...

2020-09-18 標(biāo)簽：華為分布式鴻蒙系統(tǒng) 2430 0

分布式是何概念，坐席協(xié)作KVM又是什么

一、分布式是何概念？ 純正的分布式架構(gòu)應(yīng)該滿足兩個(gè)條件： 第一，系統(tǒng)一定是基于IP架構(gòu)的，分布式系統(tǒng)由于基于不同的網(wǎng)絡(luò)、操作系統(tǒng)、計(jì)算機(jī)硬件和編程語言，...

2020-07-03 標(biāo)簽：分布式KVM 2383 0

中國(guó)工商銀行首次在阿里/螞蟻?zhàn)灾餮邪l(fā)的數(shù)據(jù)庫上運(yùn)行重要業(yè)務(wù)系統(tǒng)

從支付寶官方獲悉，近日，中國(guó)工商銀行重要業(yè)務(wù)系統(tǒng)——對(duì)公（法人）理財(cái)系統(tǒng)完成從大型主機(jī)到分布式架構(gòu)改造，順暢運(yùn)行在金融級(jí)分布式數(shù)據(jù)庫OceanBase之上。

2020-09-27 標(biāo)簽：數(shù)據(jù)庫分布式阿里 2368 0

華為HarmonyOS系統(tǒng)流轉(zhuǎn)帶來的魔法

華為鴻蒙系統(tǒng)桌面HarmonyOS采用分布式編程框架和原子化服務(wù)卡牌。

2021-06-02 標(biāo)簽：華為分布式鴻蒙系統(tǒng) 2366 0

Redis分布式鎖有什么特性

今天我們聊聊分布式鎖。 1. 分布式鎖是什么？ 我們的手機(jī)有鎖、車有鎖、家門有鎖、貴重物品會(huì)鎖進(jìn)保險(xiǎn)箱。可以說，鎖在我們生活中無處不在，時(shí)刻保護(hù)著我們的...

2021-10-12 標(biāo)簽：分布式Redis 2359 0

訊維分布式可視化顯控系統(tǒng)軟件2.0版本 全新升級(jí)優(yōu)化上線

近日，訊維對(duì)其核心產(chǎn)品—分布式可視化顯控系統(tǒng)的2.0版本控制軟件進(jìn)行了全新的升級(jí)與優(yōu)化，并于2021年1月正式上線。此次升級(jí)與優(yōu)化內(nèi)容包括軟件界面風(fēng)格、...

2021-01-22 標(biāo)簽：分布式可視化顯控系統(tǒng) 2349 0

分布式節(jié)點(diǎn)的性能優(yōu)勢(shì)

隨著大數(shù)據(jù)、云計(jì)算和人工智能等技術(shù)的快速發(fā)展，分布式節(jié)點(diǎn)在處理海量數(shù)據(jù)和復(fù)雜任務(wù)方面具有顯著優(yōu)勢(shì)。訊維分布式節(jié)點(diǎn)作為一種新興的技術(shù)架構(gòu)，以其高性能、高可...

2023-08-23 標(biāo)簽：節(jié)點(diǎn)分布式 2229 0

龍?jiān)措娏εc聯(lián)盛、傲普攜手開創(chuàng)分布式能源領(lǐng)域的新篇章

2021年1月21日上午，烏蘭察布市興和縣縣委書記付海青、龍?jiān)措娏瘓F(tuán)計(jì)劃部主任李予州、龍?jiān)磧?nèi)蒙公司總經(jīng)理徐占等一行七人前來聯(lián)盛新能源集團(tuán)上海總部考察交...

2021-01-22 標(biāo)簽：光伏儲(chǔ)能分布式 2226 0

數(shù)據(jù)中心備用電源三種配置方案深度解析

在這里我們將從油機(jī)系統(tǒng)效率、油機(jī)可靠性、油機(jī)配套設(shè)施、油機(jī)配置的總體經(jīng)濟(jì)性等多個(gè)方面進(jìn)行初步分析，分別列出三種油機(jī)配置方式的相關(guān)情況。為我們廣大的數(shù)據(jù)中...

2022-12-09 標(biāo)簽：電源數(shù)據(jù)中心分布式 2147 0

IPFS存儲(chǔ)的選型問題

做SDS存儲(chǔ)的都知道，現(xiàn)在IPFS挖礦項(xiàng)目很多。雖然西瓜哥平時(shí)不太關(guān)心區(qū)塊鏈的東西，但I(xiàn)PFS挖礦，對(duì)存儲(chǔ)的需求很大，因此經(jīng)常有朋友和我探討關(guān)于IPFS...

2021-01-06 標(biāo)簽：分布式對(duì)象存儲(chǔ)挖礦 2074 0

分布式節(jié)點(diǎn)的技術(shù)特點(diǎn)

隨著信息技術(shù)的發(fā)展，分布式節(jié)點(diǎn)技術(shù)在各個(gè)領(lǐng)域得到了廣泛應(yīng)用。訊維作為一家專注于分布式節(jié)點(diǎn)的廠家，其產(chǎn)品在市場(chǎng)上具有較高的知名度和市場(chǎng)份額。本文將介紹訊維...

2023-08-23 標(biāo)簽：節(jié)點(diǎn)分布式 2045 0

分布式鎖三個(gè)屬性和兩大類

“分布式鎖”這個(gè)問題快被說爛了，奈何筆者實(shí)在沒有找到一個(gè)滿意的答案，故記錄自己尋找答案、總結(jié)的過程。分布式鎖的設(shè)計(jì)涉及了許多分布式系統(tǒng)相關(guān)的問題，許多地...

2021-10-22 標(biāo)簽：數(shù)據(jù)分布式 1955 0