許多企業（OpenAI、AI21、CoHere 等）正在提供 LLM 作為服務，因為它們在商業、科學和金融環境中具有誘人的潛力。雖然 GPT-4 和其他 LLM 在諸如問答等任務上展示了破紀錄的性能，但它們在高吞吐量應用程序中的使用可能會非常昂貴。例如，使用 GPT-4 協助客戶服務可能會使小型企業每月花費超過 21,000 美元，而 ChatGPT 預計每天花費超過 700,000 美元。使用最大的 LLM 需要付出高昂的貨幣代價，并對環境和社會產生嚴重的負面影響。

研究表明，許多 LLM 可以通過 API 以各種定價獲得。使用 LLM API 的成本通常分為三個部分：

提示成本（與提示的持續時間成比例）
生成成本（與生成長度成比例）
每個問題的固定費用。
鑒于價格和質量的廣泛差異，從業者可能很難決定如何最好地使用所有可用的 LLM 工具。此外，如果服務中斷，則依賴單個 API 提供者是不可靠的，這可能發生在意外高需求的情況下。

上傳失敗，網絡異常。

重試

當前模型級聯和 FrugalML 等模型集成范例未考慮 LLM 的局限性，這些范例是為具有固定標簽集的預測任務開發的。

斯坦福大學最近的研究提出了一個名為 FrugalGPT 的預算友好型框架的概念，它利用 LLM API 來處理自然語言查詢。

及時適應、LLM 近似和 LLM 級聯是降低成本的三種主要方法。為了節省開支，提示適應調查了確定哪些提示最有效的方法。通過近似復雜且昂貴的 LLM，可以開發更簡單且更具成本效益的替代方案，其性能與原始方案一樣好。 LLM 級聯的關鍵思想是為各種查詢動態選擇合適的 LLM API。

實施并評估了基于 LLM 級聯構建的 FrugalGPT 基本版本，以展示這些想法的潛力。對于每個數據集和任務，FrugalGPT 學習如何自適應地將數據集中的問題分類到 LLM 的各種組合，例如 ChatGPT、GPT-3 和 GPT-4。與最好的單個 LLM API 相比，FrugalGPT 節省了高達 98% 的推理成本，同時在下游任務上保持相同的性能。另一方面，FrugalGPT 可以以相同的價格實現高達 4% 的性能提升。

FrugalGPT 的 LLM 級聯技術需要對標記示例進行訓練。此外，為了使級聯有效，訓練和測試示例應該具有相同或相似的分布。此外，掌握LLM級聯也需要時間和精力。

FrugalGPT 尋求性能和成本之間的平衡，但其他因素，包括延遲、公平性、隱私和環境影響，在實踐中更為重要。該團隊認為，未來的研究應側重于在不犧牲性能或成本效益的情況下將這些功能納入優化方法。 LLM 生成的結果的不確定性也需要仔細量化以用于風險關鍵型應用。