故障現(xiàn)象

某資源池在運(yùn)行過程中一臺虛擬機(jī)出現(xiàn)業(yè)務(wù)異常，通過查看日志和異常記錄，判斷為虛擬機(jī)發(fā)生時(shí)鐘跳變問題，如下圖所示。

故障分析

檢查時(shí)鐘跳變異常的原因可能有如下四個(gè)：

虛擬機(jī)和時(shí)鐘源時(shí)間是否正常同步。

是否發(fā)生過時(shí)鐘跳變，導(dǎo)致虛擬機(jī)同步發(fā)生時(shí)鐘跳變。

虛擬機(jī)是否發(fā)生過重啟，導(dǎo)致時(shí)鐘和硬件同步。

虛擬機(jī)是否有其他的時(shí)鐘源，導(dǎo)致時(shí)鐘在兩個(gè)時(shí)鐘源中變化。

根據(jù)分析原因，進(jìn)行問題排查：

1. 檢查虛擬機(jī)是否和時(shí)鐘源正常時(shí)鐘同步。

登錄到虛擬機(jī)內(nèi)部，通過ntpq -np命令查看虛擬機(jī)和時(shí)鐘源的同步狀態(tài)正常，未有大的偏差，如下圖所示。

2. 檢查時(shí)鐘源服務(wù)器，確認(rèn)是否發(fā)生過時(shí)鐘跳變等情況。

聯(lián)系時(shí)鐘源服務(wù)廠家，通過檢查時(shí)鐘源日志和其他業(yè)務(wù)系統(tǒng)時(shí)鐘日志，未發(fā)現(xiàn)時(shí)鐘中斷和跳變情況，初步判斷該跳變情況只發(fā)生在問題虛擬機(jī)上。

3. 檢查虛擬機(jī)是否發(fā)生過重啟，有無和硬件時(shí)鐘發(fā)生同步。

通過執(zhí)行uptime命令檢查虛擬機(jī)內(nèi)部狀態(tài)，近期未發(fā)生重啟現(xiàn)象，如下圖所示。

4. 檢查虛擬機(jī)是否有其他時(shí)鐘源，導(dǎo)致虛擬機(jī)時(shí)鐘跳變。

a. 通過執(zhí)行ntpq -np命令查看目前虛擬機(jī)內(nèi)部只有一個(gè)時(shí)鐘源，因此需要查看是否有同步計(jì)算節(jié)點(diǎn)配置。

b. 登錄虛擬機(jī)內(nèi)部，執(zhí)行ps -ef|grep qemu-guest-agent進(jìn)程，查看存在qemu客戶端，如下圖所示。

c. 登錄計(jì)算節(jié)點(diǎn)系統(tǒng)，通過執(zhí)行systemctl status qga.service和rpm -qa | grep qemu命令，確認(rèn)計(jì)算節(jié)點(diǎn)qemu對應(yīng)服務(wù)是否正常在線，如下圖所示。

d. 登錄計(jì)算節(jié)點(diǎn)系統(tǒng)，通過virsh list命令讀取虛擬機(jī)的ID，執(zhí)行virsh dumpxml ID|grep "nova:name" 命令確認(rèn)虛擬機(jī)，執(zhí)行virsh dumpxml ID|grep -A5 -B5 guest_agent命令確認(rèn)虛擬機(jī)配置，如下圖所示。

e. 檢查配置文件，確認(rèn)當(dāng)前虛擬機(jī)和計(jì)算節(jié)點(diǎn)是10分鐘發(fā)生一次強(qiáng)制同步，如下圖所示。其中“interal = 10 unit= minute ”代表10分鐘。

5. 經(jīng)過排查，確認(rèn)虛擬機(jī)每10分鐘周期強(qiáng)制和計(jì)算節(jié)點(diǎn)時(shí)間同步，由于計(jì)算節(jié)點(diǎn)時(shí)鐘和時(shí)鐘源有偏差，導(dǎo)致虛擬機(jī)發(fā)生時(shí)鐘跳變影響業(yè)務(wù)。

故障處理

1. 虛擬機(jī)時(shí)鐘同步服務(wù)器默認(rèn)不打開，只有虛擬機(jī)重啟時(shí)候會觸發(fā)一次強(qiáng)制同步。

2. 如果需要打開虛擬機(jī)時(shí)鐘同步，則需要在虛擬機(jī)上安裝QGA插件，同時(shí)在虛擬機(jī)中把QGA插件的時(shí)鐘同步開關(guān)打開。

3. 業(yè)務(wù)上線前必須明確時(shí)鐘同步方案，通常虛擬機(jī)需要直接同步時(shí)鐘源，不同步計(jì)算節(jié)點(diǎn)，避免時(shí)鐘跳變。

審核編輯：湯梓紅