1. 確認請求中的“IMAGE”張量映射到預處理模型中的輸入“RAW_IMAGE”。
2. 檢查集合中的模型，并向預處理模型發(fā)送內(nèi)部請求，因為所需的所有輸入張量都已就緒。
3. 識別內(nèi)部請求的完成，收集輸出張量并將內(nèi)容映射到“預處理圖像”，這是集成中已知的唯一名稱。
4. 將新收集的張量映射到集合中模型的輸入。在這種情況下，“classification_model”和“segmentation_model”的輸入將被映射并標記為就緒。
5. 檢查需要新收集的張量的模型，并向輸入就緒的模型發(fā)送內(nèi)部請求，在本例中是分類模型和分割模型。請注意，響應將根據(jù)各個模型的負載和計算時間以任意順序排列。
6. 重復步驟 3-5，直到不再發(fā)送內(nèi)部請求，然后用集成輸出名稱的張量去響應推理請求。

1. 使用 image_prepoecess_model 模型，將原始圖像處理成preprocessed_image 數(shù)據(jù)；
2. 將 preprocessed_image 數(shù)據(jù)傳遞給 classification_model 模型，執(zhí)行圖像分類推理，最終返回“CLASSIFICATION”結果；
3. 將 preprocessed_image 數(shù)據(jù)傳遞給 segmentation_model 模型，執(zhí)行語義分割推理計算，最終返回“SEGMENTATION”結果；

• 支持一個或多個模型的流水線以及這些模型之間輸入和輸出張量的連接；
• 處理多個模型的模型拼接或數(shù)據(jù)流，例如“數(shù)據(jù)處理->推理->數(shù)據(jù)后處理”等；
• 收集每個步驟中的輸出張量，并根據(jù)規(guī)范將其作為其他步驟的輸入張量；
• 所集成的模型能繼承所涉及模型的特征，在請求方的元數(shù)據(jù)必須符合集成中的模型；

1. 在模型倉里為流水線創(chuàng)建一個新的“組合模型”文件夾，例如為“ensemble_model”；
2. 在目路下創(chuàng)建新的 config.pbtxt，并且使用“platform: "ensemble"”來定義這個模型要執(zhí)行集成功能；
3. 定義集成模型：

name:"ensemble_model"
platform: "ensemble"
max_batch_size: 1
input [
  {
    name: "IMAGE"
    data_type: TYPE_STRING
    dims: [ 1 ]
  }
]
output [
  {
    name: "CLASSIFICATION"
    data_type: TYPE_FP32
    dims: [ 1000 ]
  },
  {
    name: "SEGMENTATION"
    data_type: TYPE_FP32
    dims: [ 3, 224, 224 ]
  }
]

ensemble_scheduling{
  step [
    {
      model_name: "image_preprocess_model"
      model_version: -1
      input_map {
        key: "RAW_IMAGE"
        value: "IMAGE"
      }
      output_map {
        key: "PREPROCESSED_OUTPUT"
        value: "preprocessed_image"
      }
    },
    {
      model_name: "classification_model"
      model_version: -1
      input_map {
        key: "FORMATTED_IMAGE"
        value: "preprocessed_image"
      }
      output_map {
        key: "CLASSIFICATION_OUTPUT"
        value: "CLASSIFICATION"
      }
    },
    {
      model_name: "segmentation_model"
      model_version: -1
      input_map {
        key: "FORMATTED_IMAGE"
        value: "preprocessed_image"
      }
      output_map {
        key: "SEGMENTATION_OUTPUT"
        value: "SEGMENTATION"
      }
    }
  ]
}

• 這是 Triton 服務器用來執(zhí)行用戶定義模型流水線的抽象形式，由于沒有與集成模型關聯(lián)的物理實例，因此不能為其指定 instance_group 字段；
• 不過集成模型內(nèi)容所組成的個別模型（例如image_preprocess_model），可以在其配置文件中指定 instance_group，并在集成接收到多個請求時單獨支持并行執(zhí)行。
• 由于集成模型將繼承所涉及模型的特性，因此在請求起點的元數(shù)據(jù)（本例為“IMAGE”）必須符合集成中的模型，如果其中一個模型是有狀態(tài)模型，那么集成模型的推理請求應該包含有狀態(tài)模型中提到的信息，這些信息將由調(diào)度器提供給有狀態(tài)模型。