Groq推出了大模型推理芯片，以每秒500tokens的速度引起轟動，超越了傳統GPU和谷歌TPU。該芯片采用了全球首個LPU方案，解決了計算密度和內存帶寬的瓶頸，推理速度提高了10倍，成本降低十分之一，性價比提高了100倍。芯片搭載了230MB大SRAM，內存帶寬高達80TB/s，算力強大，支持多種機器學習框架進行推理。 Groq在演示中展示了多種模型的強大性能，并宣稱在三年內將超越英偉達。產品特色包括API訪問速度快、支持多種開源LLM模型、價格優勢等，成為大模型推理領域的新興力量。

Groq 公司的創始于2016年，旗艦產品是 Groq Tensor Streaming Processor Chip（TSP）和相應的軟件，主要應用于人工智能、機器學習、深度學習等領域。目標市場包括人工智能和機器學習超大規模應用、政府部門、高性能計算集群、自動駕駛車輛以及高性能邊緣設備。

Groq產品以其出色的推理性能、對多種開源LLM模型的支持以及具有競爭力的價格政策等特色，成為一個引人注目的選擇。這個芯片到底是怎么做的呢？

Part 1

Groq的做法

隨著人工智能（AI）和高性能計算（HPC）的融合發展，對于同時處理AI和HPC工作負載的需求日益增加。在這一背景下，Groq公司推出了其最新的AI推理加速器，旨在簡化計算、提高效率，并實現更高的可擴展性，軟件定義張量流多處理器（TSP），采用了一種全新的硬件軟件結合的方法，為人工智能、機器學習和深度學習應用提供更高效的計算支持。

Groq AI推理加速器的設計思想是結合了HPC與AI的工作負載需求，提供了一種創新的可擴展計算架構。

相比傳統的GPU，GroqChip 1具有更簡化的編程模型，更高的響應速度以及更可靠的執行。該芯片擁有多個特色組件，包括高速網絡、數據交換器、指令控制、SRAM內存以及Groq TruePoint矩陣，使其具備了強大的計算能力和靈活性。

傳統的 CPU 架構在控制邏輯方面隱藏了大量復雜性，如緩存、預取、亂序執行和分支預測，但這些控制邏輯會減少可用于原始計算的面積。

與此相反，Groq 公司重新審視了硬件軟件的合約，創造出了更加可預測和基于流的硬件，并將更多的控制權交給了軟件。

硬件（CPU）定義了軟件，但隨著數據流型計算需求的增長以及摩爾定律和 Dennard 縮放的減速，CPU“抽象”不再是軟件開發的唯一基礎。因此，Hennessy 和 Patterson 提出了“計算機體系結構的新黃金時代”的觀點，Lattner 提出了“編譯器的新黃金時代”的觀點，Karpathy 則提出了“軟件 2.0”的概念，這都預示著硬件與軟件的抽象合約已經重新開啟，實現了“軟件定義硬件”的機會。

GroqChip 的可擴展架構以簡化計算，通過使用大量單級劃分 SRAM 和顯式分配張量，實現了可預測的性能。

此外，Groq 公司設計了功能劃分的微體系結構，重新組織了多核網格，使得編譯器可以對程序執行進行精確控制，從而提高了執行效率。

Groq AI推理加速器支持各種規模的計算節點，從單個卡片到整個機架，都能實現高效的并行計算。

通過GroqRack和GroqNode等組件的組合，用戶可以根據實際需求靈活搭建計算集群，實現對不同規模工作負載的處理。

Groq 公司提供了強大的編譯器支持，通過在編譯時和運行時之間建立靜態-動態接口和硬件-軟件接口，賦予了軟件更多的數據編排權力。該編譯器能夠實現 SOTA（State of the Art）級別的性能，對于一些重要的矩陣操作如通用矩陣乘法（GEMM），Cholesky 分解等，取得了令人矚目的成果。

在系統拓撲結構方面，Groq 公司采用了低直徑網絡 Dragonfly，以最小化網絡中的跳數，提高了數據傳輸效率。

同時，通過 Chip-to-Chip（C2C）鏈接和流量控制，實現了多芯片間的通信。此外，Groq 公司還提出了一種多芯片間的分區和流水線并行執行的方法，以進一步提高多芯片系統的性能。

Part 2

實際案例

除了傳統的計算流體動力學（CFD）應用外，Groq AI推理加速器還可應用于圖神經網絡（GNN）等領域。GNN廣泛應用于非歐幾里得數據的建模和預測，例如化學分子結構、社交媒體推薦系統等。Groq芯片在處理這類非結構化數據時表現出色，通過深度學習算法的加速，能夠大幅提升模型訓練和推理的效率。軟件定義張量流多處理器提供了一種全新的硬件軟件結合的方法，通過重新審視硬件軟件合約，將更多的控制權交給了軟件，從而實現了更高效的計算性能。隨著人工智能和深度學習應用的不斷發展，這種方法將有望在未來的計算領域發揮重要作用。

在實際應用中，Groq AI推理加速器已經在化學分子屬性預測、藥物發現等領域取得了顯著的成果。

借助其高性能和可擴展性，Groq芯片在處理大規模數據集時能夠實現極大的加速，從而提升了科學研究和工程實踐的效率。

小結

總的來說，Groq AI推理加速器以其創新的設計思想和強大的性能，在處理融合HPC與AI工作負載的應用中展現出了巨大的潛力。隨著對于高性能計算和人工智能技術的不斷發展，相信Groq芯片將在各個領域展現出更廣泛的應用前景。

?

審核編輯：劉清