2023/10/26 19:30 – 21:00

1. 利用 NVIDIA TensorRT-LLM 加速大模型推理

• NVIDIA TensorRT-LLM 簡介：產品定位，與原有產品的關系

• 現支持的模型

• 現支持的主要功能，如 KV-cache，各種量化方法等

• 性能

• 未來路線圖

2. 基于 NVIDIA Triton 推理服務器端到端部署 LLM serving

• NVIDIA TensorRT-LLM 的任務調度方案，in-flight batching 的基礎原理

• NVIDIA Triton 推理服務器的 TensorRT-LLM backend 介紹

• 基于 Triton 端到端部署 LLM 的完整解決方案（以 Llama 2 70B 為例）

• 相關 benchmark 參考結果

3. 金融行業 AI 應用場景分享與 NVIDIA 加速計算解決方案介紹

• 金融行業 AI 應用場景及客戶案例

• NLP/LLM 在金融行業的潛在應用場景

• NVIDIA 針對金融場景的加速計算解決方案

季光

NVIDIA GPU 加速計算專家團隊經理

盧翔龍

NVIDIA 資深解決方案架構師

史永明

NVIDIA 工程與解決方案架構經理

微信識別上方二維碼，注冊參加本次活動

快速上手 TensorRT-LLM 的資源如下:

• 訪問 GitHub 倉庫,獲取開源代碼：https://github.com/NVIDIA/TensorRT-LLM

• 探索 TensorRT-LLM 的示例代碼：https://github.com/NVIDIA/TensorRT-LLM/tree/release/0.5.0/examples

  benchmark：https://nvidia.github.io/TensorRT-LLM/performance.html

  以及用戶手冊：https://nvidia.github.io/TensorRT-LLM/index.html