高能物理社區(qū)利用 PICMG 的 MicroTCA.4 硬件標(biāo)準(zhǔn)在 DESY 等粒子加速器上進(jìn)行定時和同步、數(shù)據(jù)采集和控制。但隨著這些研究中心實驗的推進(jìn)，支持系統(tǒng)的性能必須不斷發(fā)展。MicroTCA 等標(biāo)準(zhǔn)如何支持前沿用例的需求并保持適用于更廣泛的市場？

位于漢堡的 DESY 研究中心擁有 PETRA 等圓形加速器和世界上最長的線性粒子加速器 2.1 英里 XFEL。這些系統(tǒng)用于研究量子粒子、薄膜化學(xué)反應(yīng)、繪制 COVID-19 等病毒結(jié)構(gòu)圖等物理實驗。

說支持這些加速器的電子設(shè)備很復(fù)雜是輕描淡寫的。例如，XFEL 每秒 10 次以 4.5 MHz 的重復(fù)頻率產(chǎn)生 2，700 個 X 射線脈沖（圖 1）。這意味著激光每秒發(fā)射 27，000 個脈沖，其亮度比傳統(tǒng) X 射線高出多個數(shù)量級。成像探測器從這些爆炸中捕獲 10 GBps 的數(shù)據(jù)，以支持測量小至 0.05 nm 的原子級波長并需要飛秒分辨率的實驗。

［圖 1. XFEL X 射線以 4.5 MHz 的重復(fù)頻率產(chǎn)生 2，700 個 X 射線脈沖，每秒 10 次。］

管理 XFEL、Karabo 的控制系統(tǒng)由 DESY 工程師內(nèi)部開發(fā)。但 Karabo 靈敏的計時、測量和前端數(shù)據(jù)采集平臺背后的快速電子設(shè)備是一個開放的行業(yè)標(biāo)準(zhǔn)：MicroTCA.4 （μTCA.4）。

“XFEL 完全由 μTCA 控制——所有快速電子設(shè)備，”負(fù)責(zé)圍繞 μTCA 標(biāo)準(zhǔn)化 DESY 加速器控制系統(tǒng)的工程師 Kay Rehlich 說。“還有很多其他系統(tǒng)涉及較慢的東西，但快速動態(tài)光束的東西，如高精度定時、機器保護、診斷和射頻——所有這些都是在 μTCA 中完成的。”

有超過 35 μTCA.4 系統(tǒng)分布在 XFEL 數(shù)英里長的范圍內(nèi)。μTCA 平臺最初設(shè)計為電信級解決方案，由于集成了可靠性功能，例如遠(yuǎn)程監(jiān)控和控制、自動故障檢測以及冗余冷卻和電源，因此可以 24/7 全天候運行一年或更長時間。

μTCA 機箱接受稱為 AdvancedMC （AMC） 的插卡，它支持一系列模塊化功能。在 DESY，AMC 托管用于數(shù)字化、同步和處理數(shù)據(jù)的 FPGA。然后數(shù)據(jù)通過背板的高速 PCIe 和以太網(wǎng)互連發(fā)送到系統(tǒng)外，以控制服務(wù)器和其他設(shè)備。

對于高能物理應(yīng)用的更具體需求，.4 擴展還支持特殊的時鐘和觸發(fā)拓?fù)洹Ｔ?XFEL 定時系統(tǒng)中，這提供了參考頻率來調(diào)整采樣率并確定性地分布 X 射線激光器的脈沖模式信息。

μTCA 基本規(guī)范中沒有的后轉(zhuǎn)換模塊 （RTM） 插入機箱背面的 AMC 對面，以支持物理應(yīng)用的額外 I/O 要求（圖 3）。

［圖 3. MicroTCA.4 擴展規(guī)范添加了以物理為中心的功能，例如支持額外 I/O 的后轉(zhuǎn)換模塊 （RTM）。］

MicroTCA，滿足現(xiàn)代要求

盡管該系統(tǒng)非常復(fù)雜，但時間在流逝，XFEL 是在 10 多年前設(shè)計和實施的。這包括成像探測器，它每秒拍攝加速器的 27，000 個 X 射線脈沖。

“驅(qū)動數(shù)據(jù)最多的系統(tǒng)是大型 2D 圖像檢測器，它們基本上拍攝 X 射線圖像，”負(fù)責(zé)歐洲 XFEL 加速器的電子和電氣工程組負(fù)責(zé)人 Patrick Gessler 博士說。“這些探測器一次只能拍攝 350 到 800 張圖像，但它們?nèi)阅墚a(chǎn)生大約 10 GBps 的數(shù)據(jù)。

“我們已經(jīng)無法可視化在 10 赫茲周期內(nèi)生成的數(shù)百張圖像，”Gessler 解釋說。“現(xiàn)在新的 3D 技術(shù)即將面世。這自然意味著我們必須處理越來越多的數(shù)據(jù)。

“還有不同種類的檢測器，稱為 0D 檢測器，它們只是具有多個通道的 ADC 或數(shù)字化儀，”他繼續(xù)說道。“目前，我們擁有高達(dá) 10 GSps 的數(shù)字化儀系統(tǒng)，但實驗者希望超越這一點，并在很多很多通道上擁有更高的垂直分辨率。”

數(shù)據(jù)不會在 μTCA 機箱中收集，只是數(shù)字化并傳輸?shù)酵泄芊?wù)器，來自世界各地的科學(xué)家可以在那里對其進(jìn)行分析。但是 μTCA 是端到端系統(tǒng)中的一個數(shù)據(jù)管道——當(dāng) DESY 安裝可能需要 TBps 傳輸速度的下一代探測器時，它可能會爆裂。

“我們在 μTCA 系統(tǒng)中使用 CPU 來控制 AMC，同時也從它們那里獲取數(shù)據(jù)。我們進(jìn)行一些預(yù)處理，然后將其發(fā)送出去，如果是數(shù)據(jù)，通常通過 10 GbE 或 1 GbE 進(jìn)入控制系統(tǒng)，”Gessler 繼續(xù)說道。“這意味著目前的瓶頸是 10 GbE，因為它是我們從 μTCA 板條箱中獲得的最高速度。”

當(dāng)標(biāo)準(zhǔn)不是那么簡單時

μTCA 基本規(guī)范的 2.0 版目前支持 40GBASE-KR4，以通過背板提供峰值 40 Gbps 數(shù)據(jù)傳輸。但是 40GBASE-KR4 只是四個 10GBASE-KR 通道的集合，因此從端口密度的角度來看，它實際上并沒有提高帶寬。

這并不意味著沒有選擇。例如，英特爾今年早些時候終于在其第 11 代芯片組上發(fā)布了對 PCIe Gen 4 的支持，該芯片組在 16 條通道上提供高達(dá) 32 GBps 的數(shù)據(jù)傳輸。五年多來，25GBASE-T 通道已組合形成 100 GbE AdvancedTCA 系統(tǒng)，即 μTCA 的老大哥。在電氣背板技術(shù)方面，這些技術(shù)都不是最先進(jìn)的：

PCIe Gen 5 規(guī)范于 2019 年完成

2014 年 IEEE 標(biāo)準(zhǔn)化 100 Gbps 銅跡線以太網(wǎng)

PAM4 信令現(xiàn)已在能夠以 56 Gbps 和 112 Gbps 數(shù)據(jù)速率傳輸 PCIe 或以太網(wǎng)信號的互連解決方案中商用。

根據(jù) Rehlich 的說法，DESY 及其合作伙伴目前正在運行模擬，并且“非常確定我們可以使用 4 個 25 Gbps 通道和 PCIe Gen 4 實現(xiàn) 100 GbE”。從表面上看，這將在不完全修改 μTCA 標(biāo)準(zhǔn)的情況下提供一定程度的帶寬緩解。但這只是表面。

“如果您想要更快的通信，無論是 PCI Express Gen 4 或 5 還是 100G 以太網(wǎng)，您都需要控制所有 μTCA 通信的板條箱中的開關(guān)，”Rehlich 解釋說。“這些將消耗比我們現(xiàn)在在定義的每個 AMC 插槽 80 W 中所能提供的更多的功率。”

研究中心的工程師正在考慮將 μTCA 系統(tǒng)總功耗增加一倍至 2 kW。這不僅可以實現(xiàn)網(wǎng)絡(luò)交換，還可以使用可用于執(zhí)行 AI 的高性能 FPGA 和 GPU 計算解決方案。

然而，這就是事情開始瓦解的地方。第一個問題是這些更高性能的計算和連接解決方案產(chǎn)生的串?dāng)_會對更敏感的車載電子設(shè)備產(chǎn)生負(fù)面影響。

“如果我們還想將它用于非常敏感的信號，我不確定μTCA 板條箱中有多少處理和超高速系統(tǒng)是有價值的，”Gessler 說。“我們在板條箱中直接安裝了數(shù)字化儀，可以接收敏感的低壓模擬信號。風(fēng)險可能是，如果你將非常強大的計算系統(tǒng)與非常高的速度和許多非常敏感的信號結(jié)合在一個非常緊湊的機箱上，你最終可能會妥協(xié)其中一個，對嗎？”

所有這些都應(yīng)該在同一個系統(tǒng)中嗎？更進(jìn)一步，對于這個用例來說，標(biāo)準(zhǔn)甚至是正確的選擇嗎？

當(dāng)標(biāo)準(zhǔn)成熟時：平衡市場需求

DESY 的情況是行業(yè)標(biāo)準(zhǔn)的少數(shù)缺點之一，即需要達(dá)成某種程度的共識。一般來說，推動行業(yè)標(biāo)準(zhǔn)達(dá)成共識的是市場。對接誰的市場？

μTCA 標(biāo)準(zhǔn)服務(wù)于具有較長生命周期要求的市場，例如工業(yè)控制、網(wǎng)絡(luò)基礎(chǔ)設(shè)施以及測試和測量。更長的部署周期意味著在給定的時間內(nèi)準(zhǔn)備升級的套接字更少，因此臨界質(zhì)量需要更長的時間才能圍繞某些技術(shù)要求增長。

同時，與許多其他板級和系統(tǒng)級標(biāo)準(zhǔn)一樣，該標(biāo)準(zhǔn)的設(shè)計考慮了 x86 架構(gòu)。如前所述，英特爾的第 11 代處理器是第一個支持 PCIe Gen 4 的處理器，這標(biāo)志著英特爾服務(wù)器（第二代 Sandy Bridge）和臺式機（第三代 Ivy Bridge）芯片組上引入 PCIe Gen 3 已有十年。

盡管如此，所有這些應(yīng)用程序和芯片組升級到當(dāng)前最先進(jìn)的技術(shù)（如 PCIe Gen 5 和某種類型的背板上的 100+ GbE 速度）只是時間問題。如果像 μTCA 這樣的標(biāo)準(zhǔn)要繼續(xù)下去，像高能物理這樣的標(biāo)準(zhǔn)必須推動它達(dá)到這些性能水平。

Jan Marjonovic 是 DESY MicroTCA 技術(shù)實驗室的高級 FPGA 開發(fā)人員，該研究所的一個部門旨在“為 MicroTCA 尋找新的用例，并成為其他研究所和公司的服務(wù)提供商”。Marjonovic 表示，從 DESY 的角度來看，目標(biāo)是“擴大安裝基礎(chǔ)，擴大用戶群，然后向社區(qū)尋求幫助”。

雖然高能物理市場是最活躍的 μTCA 社區(qū)之一，但就出貨量而言，它是一個較小的市場。話雖如此，他們在粒子加速器、量子計算儀器、原子聚變和裂變設(shè)備等方面的總投資高達(dá)數(shù)十億美元，而使用像 μTCA 這樣的標(biāo)準(zhǔn)有助于保護這些投資。

也就是說，如果像 μTCA 這樣的標(biāo)準(zhǔn)可以繼續(xù)支持他們的需求。

“μTCA.4 一直是一個小眾產(chǎn)品，而且它仍將是一個小眾產(chǎn)品，”Marjonovic 說。“但如果 DESY 是唯一使用 μTCA 的人，這將不是一個標(biāo)準(zhǔn)。至少有 20 或 30 家機構(gòu)已經(jīng)在使用它，當(dāng)你去車間時，那里有很多人。

“至少，有一個足夠大的市場來維持迎合物理市場的技術(shù)供應(yīng)商。這已經(jīng)是第一個里程碑，”他繼續(xù)說道。“物理學(xué)界需要自己的標(biāo)準(zhǔn)，以便公司可以合作和共同建設(shè)。”

加速器可以加速標(biāo)準(zhǔn)嗎？

VadaTech、NAT Europe、Samtec 等 μTCA 技術(shù)供應(yīng)商都積極參與了前面提到的全通道仿真，以確定 μTCA 系統(tǒng)中更高功率和更高速度互連的可行性。當(dāng)然，運行測試和實施新的業(yè)務(wù)、工程和制造策略是兩件不同的事情。如果您正在等待市場趕上該技術(shù)，則尤其如此。當(dāng)您處理旨在支持互操作性以及在一定程度上支持向后兼容性的標(biāo)準(zhǔn)時，情況更是如此。

DESY 工程師和物理界的其他成員了解這一點，并在維護它方面擁有既得利益。畢竟，Rehlich 指出，“選擇 μTCA 的原因之一是所有非常不同的子系統(tǒng)都可以使用相同的標(biāo)準(zhǔn)，從而簡化軟件開發(fā)。如果你有一個統(tǒng)一的、標(biāo)準(zhǔn)化的系統(tǒng)，那么你也可以比擁有一個異構(gòu)系統(tǒng)更好地標(biāo)準(zhǔn)化你的軟件和固件。”

但是，當(dāng)標(biāo)準(zhǔn)成熟，市場面臨平衡性能和需求時，如何以及何時向前發(fā)展是必須回答的問題。

“在最壞的情況下，我們會采取中間步驟，”Rehlich 說。“我們可以進(jìn)行 4x 25 GbE 和 PCIe Gen 4，同時我們?yōu)楦碌?μTCA.4 規(guī)范制定所有定義并定義協(xié)議。今年我們可以解決這個問題。

“我們希望將其作為一個可行的標(biāo)準(zhǔn)，因此我們必須遵循技術(shù)正在做的事情以及這些天的 CPU。英特爾 CPU 提供 PCI Express Gen 4，因此板條箱應(yīng)該能夠做到這一點，”他解釋道。“現(xiàn)在 FPGA 具有更高的功率和更高的性能，所以我認(rèn)為必須遵循標(biāo)準(zhǔn)。

“現(xiàn)在不是制定全新標(biāo)準(zhǔn)的時候，”控制系統(tǒng)資深人士繼續(xù)說道。“當(dāng)我們在背板上進(jìn)行光通信時，這是生成全新標(biāo)準(zhǔn)的好時機，但這種技術(shù)尚不可用。所以，我認(rèn)為我們必須遵守我們必須確保的標(biāo)準(zhǔn)，以確保人們不會失去他們對技術(shù)的投資，他們購買的所有電子產(chǎn)品，當(dāng)然還有知識。”

作者：Brandon Lewis，Chad Cox

審核編輯：郭婷