完善資料讓更多小伙伴認識你，還能領取20積分哦，立即完善>
標簽 > 大模型
以大模型作為基礎模型支撐AI產業應用邏輯已經被證明實用性，AI大模型為AI落地應用提供了一種通用化的解決方案；各自各樣參數不一、面向不同行業、面向不同任務的“大模型”也陸續發布，大模型已經成為整個AI 界追逐的寵兒，AI大模型有效果好、泛化性強、研發流程標準化程度高等特點。
文章：2444個 瀏覽：2818次 帖子：14個
一般而言，大模型(Large Language Models)指的是包含超大規模參數的神經網絡模型。大模型通常能夠學習到更細微的模式和規律，具有更強的泛...
開源大模型FLM-101B：訓練成本最低的超100B參數大模型
近期，一支來自中國的研究團隊正是針對這些問題提出了解決方案，他們推出了FLM-101B模型及其配套的訓練策略。FLM-101B不僅大幅降低了訓練成本，而...
從 GPT-3，Gopher 到 LLaMA，大模型有更好的性能已成為業界的共識。但相比之下，單個 GPU 的顯存大小卻增長緩慢，這讓顯存成為了大模型訓...
揭秘英偉達A100、A800、H100、H800 GPU如何實現高性能大模型的百倍訓練加速
摘要：本文主要介紹大模型的內部運行原理、我國算力發展現狀。大模型指具有巨大參數量的深度學習模型，如GPT-4。其通過在大規模數據集上進行訓練，能夠產生更...
用LLM根據用戶query生成k個“假答案”。（大模型生成答案采用sample模式，保證生成的k個答案不一樣，不懂LLM生成答案原理的同學可以看我這篇文...
一般而言，越復雜的任務，越充裕的資源，應該是各自用更加專業的方案來做各自的上限才會比較高，大模型能提供的，是一個基礎的、快速的、zero shot或者f...
這種編碼方式又叫做 Sinusoidal編碼 。直覺上看，第個位置的表征向量維度是 ，這個向量的奇數位置元素使用余弦值，偶數位置元素使用正弦值。
對于位置編碼，常規的做法是在計算 query，key 和 value 向量之前，會計算一個位置編碼向量 加到詞嵌入 上，位置編碼向量 同樣也是 維向量，...
ChatGPT模型發布后，因其流暢的對話表達、極強的上下文存儲、豐富的知識創作及其全面解決問題的能力而風靡全球，刷新了大眾對人工智能的認知。提示學習（P...
Kubernetes是一個在大量節點上管理容器的系統，其主要功能總結起來，就是在想要啟動容器的時候，負責“找一個「空閑」節點，啟動容器”。但是它默認考慮...
當前語言大模型的參數量已達千億以上，訓練數據集的規模也達到了TB級別。業界典型的自然語言大模型有GPT、LLAMA、PaLM、文心、悟道、源等。如果用“...
中科大&字節提出UniDoc：統一的面向文字場景的多模態大模型
如上圖所示，UniDoc基于預訓練的視覺大模型及大語言模型，將文字的檢測、識別、spotting(圖中未畫出)、多模態理解等四個任務，通過多模態指令微調...
除了提高性能之外，還能縮短提示時間，確保類似性能。另外，微調目前僅支持處理4000 tokens，這也是此前微調型號的兩倍。16k tokens微調將于...
數據并行是最常見的并行形式，因為它很簡單。在數據并行訓練中，數據集被分割成幾個碎片，每個碎片被分配到一個設備上。這相當于沿批次（Batch）維度對訓練過...
答案是不會。原因是LLM作為語言模型，它的注意力機制是一個單向注意力機制(通過引入 Masked Attention實現)，模型在第一輪對話的輸出跟輸入...
0x0. 前言 這篇文章來解析一下Megaton-LM涉及到的一個優化gradient_accumulation_fusion。這里fusion的意思是...
風口浪尖行穩致遠 - 英偉達等企業如何順應高性能計算大模型浪潮
關鍵詞:PLM;NLP;Transformer;ChatGPT;BERT;RNN;CNN;自注意力機制;多頭注意力機制;?Decoder Only ;E...
大型語言模型（如 GPT-4）在解決特定任務和提取因果關系方面表現出色，但缺乏抽象的因果推理能力。它們傾向于從數據中提取已知的因果模式，而無法生成新的因果見解。
換一批
編輯推薦廠商產品技術軟件/工具OS/語言教程專題
| 電機控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動駕駛 | TI | 瑞薩電子 |
| BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 無刷電機 | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
| 直流電機 | PID | MOSFET | 傳感器 | 人工智能 | 物聯網 | NXP | 賽靈思 |
| 步進電機 | SPWM | 充電樁 | IPM | 機器視覺 | 無人機 | 三菱電機 | ST |
| 伺服電機 | SVPWM | 光伏發電 | UPS | AR | 智能電網 | 國民技術 | Microchip |
| 開關電源 | 步進電機 | 無線充電 | LabVIEW | EMC | PLC | OLED | 單片機 |
| 5G | m2m | DSP | MCU | ASIC | CPU | ROM | DRAM |
| NB-IoT | LoRa | Zigbee | NFC | 藍牙 | RFID | Wi-Fi | SIGFOX |
| Type-C | USB | 以太網 | 仿真器 | RISC | RAM | 寄存器 | GPU |
| 語音識別 | 萬用表 | CPLD | 耦合 | 電路仿真 | 電容濾波 | 保護電路 | 看門狗 |
| CAN | CSI | DSI | DVI | Ethernet | HDMI | I2C | RS-485 |
| SDI | nas | DMA | HomeKit | 閾值電壓 | UART | 機器學習 | TensorFlow |
| Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
關注我們的微信
下載發燒友APP
電子發燒友觀察
版權所有 ? 湖南華秋數字科技有限公司
長沙市望城經濟技術開發區航空路6號手機智能終端產業園2號廠房3層（0731-88081133）
電子發燒友 （電路圖） 湘公網安備43011202000918
工商網監
湘ICP備2023018690號-1
