熱插拔即帶電插拔，在虛擬化場景下，熱插拔就是在虛擬機運行過程中對磁盤網卡等設備進行動態調整。

常見的熱插拔機制有 ACPI 機制的熱插拔，PCIe-Native 機制的熱插拔。ACPI 機制的熱插拔依賴 ACPI 表，在 ACPI 表中會存放設備熱插拔相關的信息。PCIe-Native 機制的熱插拔是 PCI 規范中定義的，設備一般是熱插到 Root Port 設備上，Root Port 設備可以認為是一個虛擬的橋設備，對應一個插槽。Root Port 設備本身不支持熱插拔，因此需要在啟動虛擬機前提前配置。

目前，StratoVirt 標準機型中實現了基于 PCIe-Native 機制的熱插拔。支持熱插拔的設備包括磁盤、網卡、PCI 直通設備。

熱插拔的整體流程如下：

對于熱插主要分為兩步：

1. 用戶通過 QMP 下發 device_add 命令，StratoVirt 收到命令后會進行設備的實例化，然后插入到對應的 Root Port 設備上。
2. Root Port 設備更新相關的寄存器配置，然后發送中斷通知虛擬機內驅動處理。

對于熱拔也可以分為兩步：

1. 用戶通過 QMP 下發 device_del 命令，StratoVirt 收到命令后，更新 Root Port 中的寄存器，然后發送中斷通知虛擬機內驅動處理。
2. 虛擬機內驅動處理后會回寫寄存器，觸發 StratoVirt 側銷毀相應設備。

具體實現

在 StratoVirt 的 pci/src/hotplug.rs 文件中定義了熱插拔特性，其中 plug 函數對應熱插操作，用于熱插設備。unplug_request 函數對應熱拔操作，用于發起熱拔設備請求，這里只是通知虛擬機內驅動去處理熱拔請求，還未移除設備，可以理解為是一個異步請求。當虛擬機內驅動處理完成后，寫寄存器觸發設備下線后，會回調 unplug 函數用于銷毀設備。

pub trait HotplugOps: Send {    /// Plug device, usually called when hot plug device in device_add.    fn plug(&mut self, dev: &Arc>) -> Result<()>;
    /// Unplug device request, usually called when hot unplug device in device_del.    /// Only send unplug request to the guest OS, without actually removing the device.    fn unplug_request(&mut self, dev: &Arc>) -> Result<()>;
    /// Remove the device.    fn unplug(&mut self, dev: &Arc>) -> Result<()>;}

熱插實現

StratoVirt 里通過給 RootPort 實現了 HotplugOps 特性，使得 PCI 設備能夠熱插到 Root Port 設備上。

設備熱插的主要實現邏輯在 plug 函數里。首先獲取了設備的 devfn 號，也就是 Device 號和 Function 號，目前熱插只支持 Device 號和 Function 號都為 0 的設備。因此這里做了判斷。

然后會在 RootPort 設備的 PCI 配置空間中的 PCI Express Capability（PCI 配置空間和 PCI Express Capability 寄存器定義可以參考 PCI 規范）中設置 Slot 狀態寄存器和 Link 狀態寄存器，然后通過 hotplug_event_notify 函數發送中斷通知虛擬機。這里熱插設備主要是通過 Attention Button Pressed（對應 PCI_EXP_HP_EV_ABP）事件觸發的。

這里簡單介紹下不同標記位的含義。

impl HotplugOps for RootPort {    fn plug(&mut self, dev: &Arc>) -> Result<()> {        let devfn = dev            .lock()            .unwrap()            .devfn()            .chain_err(|| "Failed to get devfn")?;        // Only if devfn is equal to 0, hot plugging is supported.        if devfn == 0 {            let offset = self.config.ext_cap_offset;            le_write_set_value_u16(                &mut self.config.config,                (offset + PCI_EXP_SLTSTA) as usize,                PCI_EXP_SLTSTA_PDS | PCI_EXP_HP_EV_PDC | PCI_EXP_HP_EV_ABP,            )?;            le_write_set_value_u16(                &mut self.config.config,                (offset + PCI_EXP_LNKSTA) as usize,                PCI_EXP_LNKSTA_NLW | PCI_EXP_LNKSTA_DLLLA,            )?;            self.hotplug_event_notify();        }        Ok(())    }}

在 hotplug_event_notify 函數中會調用 MSIX 中斷的 notify 函數發送中斷到虛擬機內，虛擬機內 pciehp 驅動收到中斷后會處理相關的熱插請求。

fn hotplug_event_notify(&mut self) {    if let Some(msix) = self.config.msix.as_mut() {        msix.lock()            .unwrap()            .notify(0, self.dev_id.load(Ordering::Acquire));    } else {        error!("Failed to send interrupt: msix does not exist");    }}

熱拔實現

對于設備熱拔請求的邏輯主要在 unplug_request 函數，該函數負責更新寄存器，并且通過調用 hotplug_event_notify 函數發送中斷通知虛擬機內驅動處理設備熱拔請求。

unplug_request 函數里主要是清零了 Link 狀態寄存器中的 PCI_EXP_LNKSTA_DLLLA 標記位，并且在 Slot 狀態寄存器中的設置了 PCI_EXP_HP_EV_ABP 標記位。從這里也可以發現，其實無論是熱插請求還是熱拔請求，都是通過 Attention Button Pressed（對應 PCI_EXP_HP_EV_ABP）事件觸發的，虛擬機內驅動會根據設備的在位狀態來判斷是熱插請求還是熱拔請求。

impl HotplugOps for RootPort {    fn unplug_request(&mut self, dev: &Arc>) -> Result<()> {        let devfn = dev            .lock()            .unwrap()            .devfn()            .chain_err(|| "Failed to get devfn")?;        if devfn != 0 {            return self.unplug(dev);        }
        let offset = self.config.ext_cap_offset;        le_write_clear_value_u16(            &mut self.config.config,            (offset + PCI_EXP_LNKSTA) as usize,            PCI_EXP_LNKSTA_DLLLA,        )?;
        let mut slot_status = PCI_EXP_HP_EV_ABP;        if let Some(&true) = FAST_UNPLUG_FEATURE.get() {            slot_status |= PCI_EXP_HP_EV_PDC;        }        le_write_set_value_u16(            &mut self.config.config,            (offset + PCI_EXP_SLTSTA) as usize,            slot_status,        )?;        self.hotplug_event_notify();        Ok(())    }}

對于熱拔設備，StratoVirt 側在更新寄存器發送中斷通知虛擬機內驅動后，實際上還沒有真正的移除設備，而是等到虛擬機內驅動處理后回寫寄存器通知 StratoVirt 側下線設備后，才會真正銷毀設備。

虛擬機內驅動寫 Root Port 寄存器會調用到 write_config 函數，在 write_config 函數里會調用 do_unplug 函數來處理熱拔設備相關的邏輯。

    fn write_config(&mut self, offset: usize, data: &[u8]) {        ...
        self.do_unplug(offset, end, old_ctl);    }

do_unplug 函數里首先保證了寫入的寄存器是 Slot Control 寄存器，否則直接返回，不做處理。然后判斷在設備當前在位的情況下，寫入的寄存器標記位為 PCI_EXP_SLTCTL_PWR_IND_OFF 和 PCI_EXP_SLTCTL_PCC 時，并且這兩個標記位發生了變化，也就是寫入之前的沒有這兩個標記位，上述條件都滿足時，會調用 remove_devices 函數開始真正銷毀設備。

fn do_unplug(&mut self, offset: usize, end: usize, old_ctl: u16) {    let cap_offset = self.config.ext_cap_offset;    // Only care the write config about slot control    if !ranges_overlap(        offset,        end,        (cap_offset + PCI_EXP_SLTCTL) as usize,        (cap_offset + PCI_EXP_SLTCTL + 2) as usize,    ) {        return;    }
    let status =        le_read_u16(&self.config.config, (cap_offset + PCI_EXP_SLTSTA) as usize).unwrap();    let val = le_read_u16(&self.config.config, offset).unwrap();    // Only unplug device when the slot is on    // Don't unplug when slot is off for guest OS overwrite the off status before slot on.    if (status & PCI_EXP_SLTSTA_PDS != 0)        && (val as u16 & PCI_EXP_SLTCTL_PCC == PCI_EXP_SLTCTL_PCC)        && (val as u16 & PCI_EXP_SLTCTL_PWR_IND_OFF == PCI_EXP_SLTCTL_PWR_IND_OFF)        && (old_ctl & PCI_EXP_SLTCTL_PCC != PCI_EXP_SLTCTL_PCC            || old_ctl & PCI_EXP_SLTCTL_PWR_IND_OFF != PCI_EXP_SLTCTL_PWR_IND_OFF)    {        self.remove_devices();
        if let Err(e) = self.update_register_status() {            error!("{}", e.display_chain());            error!("Failed to update register status");        }    }
    self.hotplug_command_completed();    self.hotplug_event_notify();}

在調用 remove_devices 函數移除設備之后，調用 update_register_status 函數更新寄存器的狀態，主要是清理了 Link 狀態和設備在位狀態，并且設置了 Presence Detect Changed（對應 PCI_EXP_HP_EV_PDC）標記位表示設備在位狀態發生了變化。

/// Update register when the guest OS trigger the removal of the device.fn update_register_status(&mut self) -> Result<()> {    let cap_offset = self.config.ext_cap_offset;    le_write_clear_value_u16(        &mut self.config.config,        (cap_offset + PCI_EXP_SLTSTA) as usize,        PCI_EXP_SLTSTA_PDS,    )?;    le_write_clear_value_u16(        &mut self.config.config,        (cap_offset + PCI_EXP_LNKSTA) as usize,        PCI_EXP_LNKSTA_DLLLA,    )?;    le_write_set_value_u16(        &mut self.config.config,        (cap_offset + PCI_EXP_SLTSTA) as usize,        PCI_EXP_SLTSTA_PDC,    )?;    Ok(())}

在更新完寄存器后，在 hotplug_command_completed 還會設置 Command Completed（對應 PCI_EXP_HP_EV_CCI）表示命令處理完成，最后再發送中斷通知虛擬機內驅動。至此，整個設備熱拔流程就結束了。

fn hotplug_command_completed(&mut self) {    if let Err(e) = le_write_set_value_u16(        &mut self.config.config,        (self.config.ext_cap_offset + PCI_EXP_SLTSTA) as usize,        PCI_EXP_HP_EV_CCI,    ) {        error!("{}", e.display_chain());        error!("Failed to write command completed");    }}

總結

PCIe Native 機制的熱插拔主要是通過 Root Port 設備上的寄存器來表示不同狀態，通過中斷來通知虛擬機，從而實現了設備的熱插拔。

審核編輯：湯梓紅