0. 引言

系統(tǒng)內(nèi)存是硬件系統(tǒng)中必不可少的部分，定時查看系統(tǒng)內(nèi)存資源運行情況，可以幫助我們及時發(fā)現(xiàn)內(nèi)存資源是否存在異常占用，確保業(yè)務(wù)的穩(wěn)定運行。

例如：定期查看公司的網(wǎng)站服務(wù)器內(nèi)存使用情況，可以確保服務(wù)器的資源是否夠用，或者發(fā)現(xiàn)服務(wù)器內(nèi)存被占用異?？梢约皶r解決，避免因內(nèi)存不夠?qū)е聼o法訪問網(wǎng)站或訪問速度慢的問題。

因此，對于 Linux 管理員來說，在日常工作中能夠熟練在 Linux 系統(tǒng)下檢查內(nèi)存的運行狀況就變得尤為重要！

查看內(nèi)存的運行狀態(tài)并非難事，但是針對不同的情況使用正確的方式查看呢？

一口君整理了幾個 個非常實用的 Linux 內(nèi)存查看方法

1、free命令

2、 vmstat命令

3、 /proc/meminfo 命令

4、 top命令

5、 htop 命令

6、查看進程內(nèi)存信息

Linux內(nèi)存總覽圖

該圖很好的描述了OS內(nèi)存的使用和分配等詳細信息。建議大家配合該圖來一起學(xué)習(xí)和理解內(nèi)存的一些概念。

一、free命令

free 命令可以顯示當前系統(tǒng)未使用的和已使用的內(nèi)存數(shù)目，還可以顯示被內(nèi)核使用的內(nèi)存緩沖區(qū)。

1. free 命令語法：

free[options]

free 命令選項：

-b#以Byte為單位顯示內(nèi)存使用情況；
-k#以KB為單位顯示內(nèi)存使用情況；
-m#以MB為單位顯示內(nèi)存使用情況；
-g#以GB為單位顯示內(nèi)存使用情況。
-o#不顯示緩沖區(qū)調(diào)節(jié)列；
-s<間隔秒數(shù)>#持續(xù)觀察內(nèi)存使用狀況；
-t#顯示內(nèi)存總和列；
-V#顯示版本信息。

2. free 命令實例

free-t#以總和的形式顯示內(nèi)存的使用信息
free-h-s10#周期性的查詢內(nèi)存使用信息，每10s執(zhí)行一次命令

free-h-c10#輸出10次
在版本 v3.2.8，就是輸出一次！需要配合-s 使用。
在版本 v3.3.10，不加-s，就默認1秒輸出一次。
free-V#查看版本號

v3.2.8

v3.3.10

下面先解釋一下輸出的內(nèi)容：

二、vmstat 指令

vmstat命令是最常見的Linux/Unix監(jiān)控工具，用于查看系統(tǒng)的內(nèi)存存儲信息，是一個報告虛擬內(nèi)存統(tǒng)計信息的小工具，屬于sysstat包。

vmstat 命令報告包括：進程、內(nèi)存、分頁、阻塞 IO、中斷、磁盤、CPU。

可以展現(xiàn)給定時間間隔的服務(wù)器的狀態(tài)值,包括服務(wù)器的CPU使用率，內(nèi)存使用，虛擬內(nèi)存交換情況,IO讀寫情況。

這個命令是我查看Linux/Unix最喜愛的命令，一個是Linux/Unix都支持，二是相比top，我可以看到整個機器的CPU,內(nèi)存,IO的使用情況，而不是單單看到各個進程的CPU使用率和內(nèi)存使用率(使用場景不一樣)。

1. 命令格式：

vmstat-s(參數(shù))

2. 舉例

一般vmstat工具的使用是通過兩個數(shù)字參數(shù)來完成的，第一個參數(shù)是采樣的時間間隔數(shù)，單位是秒，第二個參數(shù)是采樣的次數(shù)，如:

root@local:~#vmstat21
procs-----------memory-------------swap-------io-----system------cpu----
rbswpdfreebuffcachesisobiboincsussyidwa
10034984723158363819540000120001000

2表示每個兩秒采集一次服務(wù)器狀態(tài)，1表示只采集一次。

實際上，在應(yīng)用過程中，我們會在一段時間內(nèi)一直監(jiān)控，不想監(jiān)控直接結(jié)束vmstat就行了,例如:這表示vmstat每2秒采集數(shù)據(jù)，按下ctrl + c結(jié)束程序，這里采集了3次數(shù)據(jù)我就結(jié)束了程序。

3. 常見問題處理

常見問題及解決方法

如果r經(jīng)常大于4，且id經(jīng)常少于40，表示cpu的負荷很重。

如果pi，po長期不等于0，表示內(nèi)存不足。

如果disk經(jīng)常不等于0，且在b中的隊列大于3，表示io性能不好。

1.如果在processes中運行的序列(process r)是連續(xù)的大于在系統(tǒng)中的CPU的個數(shù)表示系統(tǒng)現(xiàn)在運行比較慢,有多數(shù)的進程等待CPU。

2.如果r的輸出數(shù)大于系統(tǒng)中可用CPU個數(shù)的4倍的話,則系統(tǒng)面臨著CPU短缺的問題,或者是CPU的速率過低,系統(tǒng)中有多數(shù)的進程在等待CPU,造成系統(tǒng)中進程運行過慢。

3.如果空閑時間(cpu id)持續(xù)為0并且系統(tǒng)時間(cpu sy)是用戶時間的兩倍(cpu us)系統(tǒng)則面臨著CPU資源的短缺。

當發(fā)生以上問題的時候請先調(diào)整應(yīng)用程序?qū)PU的占用情況.使得應(yīng)用程序能夠更有效的使用CPU.同時可以考慮增加更多的CPU. 關(guān)于CPU的使用情況還可以結(jié)合mpstat, ps aux top prstat –a等等一些相應(yīng)的命令來綜合考慮關(guān)于具體的CPU的使用情況,和那些進程在占用大量的CPU時間.一般情況下，應(yīng)用程序的問題會比較大一些.比如一些sql語句不合理等等都會造成這樣的現(xiàn)象.

4. 內(nèi)存問題現(xiàn)象:

內(nèi)存的瓶頸是由scan rate (sr)來決定的.scan rate是通過每秒的始終算法來進行頁掃描的.如果scan rate(sr)連續(xù)的大于每秒200頁則表示可能存在內(nèi)存缺陷.同樣的如果page項中的pi和po這兩欄表示每秒頁面的調(diào)入的頁數(shù)和每秒調(diào)出的頁數(shù).如果該值經(jīng)常為非零值,也有可能存在內(nèi)存的瓶頸,當然,如果個別的時候不為0的話,屬于正常的頁面調(diào)度這個是虛擬內(nèi)存的主要原理.

解決辦法:

1.調(diào)節(jié)applications & servers使得對內(nèi)存和cache的使用更加有效.

2.增加系統(tǒng)的內(nèi)存.

3.Implement priority paging in s in pre solaris 8 versions by adding line "set priority paging=1" in /etc/system. Remove this line if upgrading from Solaris 7 to 8 & retaining old /etc/system file.

關(guān)于內(nèi)存的使用情況還可以結(jié)ps aux top prstat –a等等一些相應(yīng)的命令來綜合考慮關(guān)于具體的內(nèi)存的使用情況,和那些進程在占用大量的內(nèi)存.

一般情況下，如果內(nèi)存的占用率比較高,但是,CPU的占用很低的時候,可以考慮是有很多的應(yīng)用程序占用了內(nèi)存沒有釋放,但是,并沒有占用CPU時間,可以考慮應(yīng)用程序,對于未占用CPU時間和一些后臺的程序,釋放內(nèi)存的占用。

r 表示運行隊列(就是說多少個進程真的分配到CPU)，我測試的服務(wù)器目前CPU比較空閑，沒什么程序在跑，當這個值超過了CPU數(shù)目，就會出現(xiàn)CPU瓶頸了。

這個也和top的負載有關(guān)系，一般負載超過了3就比較高，超過了5就高，超過了10就不正常了，服務(wù)器的狀態(tài)很危險。

top的負載類似每秒的運行隊列。如果運行隊列過大，表示你的CPU很繁忙，一般會造成CPU使用率很高。

5. 常見性能問題分析

IO/CPU/men連鎖反應(yīng)

1.free急劇下降
2.buff和cache被回收下降，但也無濟于事
3.依舊需要使用大量swap交換分區(qū)swpd
4.等待進程數(shù)，b增多
5.讀寫IO，bibo增多
6.siso大于0開始從硬盤中讀取
7.cpu等待時間用于IO等待，wa增加

內(nèi)存不足

1.開始使用swpd，swpd不為0
2.siso大于0開始從硬盤中讀取

io瓶頸

1.讀寫IO，bibo增多超過2000
2.cpu等待時間用于IO等待，wa增加超過20
3.sy系統(tǒng)調(diào)用時間長，IO操作頻繁會導(dǎo)致增加>30%
4.waio等待時間長
iowait%<20%????????????良好
????iowait%?<35%????????????一般
????iowait%?>50%
5.進一步使用iostat觀察

CPU瓶頸：load,vmstat中r列

1.反應(yīng)為CPU隊列長度
 2.一段時間內(nèi)，CPU正在處理和等待CPU處理的進程數(shù)之和，直接反應(yīng)了CPU的使用和申請情況。
 3.理想的load average：核數(shù)*CPU數(shù)*0.7
 CPU個數(shù)：grep 'physicalid'/proc/cpuinfo|sort-u
核數(shù)：grep 'coreid'/proc/cpuinfo|sort-u|wc-l
4.超過這個值就說明已經(jīng)是CPU瓶頸了

三、/proc/meminfo

用途：用于從/proc文件系統(tǒng)中提取與內(nèi)存相關(guān)的信息。這些文件包含有 系統(tǒng)和內(nèi)核的內(nèi)部信息。其實 free 命令中的信息都來自于 /proc/meminfo 文件。/proc/meminfo 文件包含了更多更原始的信息，只是看起來不太直觀。

1. 查看方法：

cat/proc/meminfo

2. 實例及信息解釋

peng@ubuntu:~$cat/proc/meminfo
MemTotal:2017504kB//所有可用的內(nèi)存大小，
物理內(nèi)存減去預(yù)留位和內(nèi)核使用。系統(tǒng)從加電開始到引導(dǎo)完成，firmware/BIOS要預(yù)留一
些內(nèi)存，內(nèi)核本身要占用一些內(nèi)存，最后剩下可供內(nèi)核支配的內(nèi)存就是MemTotal。這個值
在系統(tǒng)運行期間一般是固定不變的，重啟會改變。
MemFree: 511052 kB //表示系統(tǒng)尚未使用的內(nèi)存。
MemAvailable:640336kB//真正的系統(tǒng)可用內(nèi)存，
系統(tǒng)中有些內(nèi)存雖然已被使用但是可以回收的，比如cache/buffer、slab都有一部分可
以回收，所以這部分可回收的內(nèi)存加上MemFree才是系統(tǒng)可用的內(nèi)存
Buffers:114348kB//用來給塊設(shè)備做緩存的內(nèi)存，(文件系統(tǒng)的metadata、pages)
Cached:162264kB//分配給文件緩沖區(qū)的內(nèi)存,例如vi一個文件，就會將未保存的內(nèi)容寫到該緩沖區(qū)
SwapCached:3032kB//被高速緩沖存儲用的交換空間（硬盤的swap）的大小
Active:555484kB//經(jīng)常使用的高速緩沖存儲器頁面文件大小
Inactive:295984kB//不經(jīng)常使用的高速緩沖存儲器文件大小
Active(anon):381020kB//活躍的匿名內(nèi)存
Inactive(anon):244068kB//不活躍的匿名內(nèi)存
Active(file):174464kB//活躍的文件使用內(nèi)存
Inactive(file):51916kB//不活躍的文件使用內(nèi)存
Unevictable:48kB//不能被釋放的內(nèi)存頁
Mlocked:48kB//系統(tǒng)調(diào)用mlock
SwapTotal:998396kB//交換空間總內(nèi)存
SwapFree:843916kB//交換空間空閑內(nèi)存
Dirty:128kB//等待被寫回到磁盤的
Writeback:0kB//正在被寫回的
AnonPages:572776kB//未映射頁的內(nèi)存/映射到用戶空間的非文件頁表大小
Mapped:119816kB//映射文件內(nèi)存
Shmem:50212kB//已經(jīng)被分配的共享內(nèi)存
Slab:113700kB//內(nèi)核數(shù)據(jù)結(jié)構(gòu)緩存
SReclaimable:68652kB//可收回slab內(nèi)存
SUnreclaim:45048kB//不可收回slab內(nèi)存
KernelStack:8812kB//內(nèi)核消耗的內(nèi)存
PageTables:27428kB//管理內(nèi)存分頁的索引表的大小
NFS_Unstable:0kB//不穩(wěn)定頁表的大小
Bounce:0kB//在低端內(nèi)存中分配一個臨時buffer作為跳轉(zhuǎn)，把位
于高端內(nèi)存的緩存數(shù)據(jù)復(fù)制到此處消耗的內(nèi)存
WritebackTmp:0kB//FUSE用于臨時寫回緩沖區(qū)的內(nèi)存
CommitLimit:2007148kB//系統(tǒng)實際可分配內(nèi)存
Committed_AS:3567280kB//系統(tǒng)當前已分配的內(nèi)存
VmallocTotal:34359738367kB//預(yù)留的虛擬內(nèi)存總量
VmallocUsed:0kB//已經(jīng)被使用的虛擬內(nèi)存
VmallocChunk:0kB//可分配的最大的邏輯連續(xù)的虛擬內(nèi)存
HardwareCorrupted:0kB//表示“中毒頁面”中的內(nèi)存量
即hasfailed的內(nèi)存(通常由ECC標記).ECC代表“糾錯碼”.ECCmemory能夠糾正小錯誤并檢測較大錯誤;
在具有非ECC內(nèi)存的典型PC上,內(nèi)存錯誤未被檢測到.如果使用ECC檢測到無法糾正的錯誤(在內(nèi)存或緩存中,
具體取決于系統(tǒng)的硬件支持),則Linux內(nèi)核會將相應(yīng)的頁面標記為中毒.
AnonHugePages:0kB//匿名大頁
【/proc/meminfo的AnonHugePages==所有進程的/proc//smaps中AnonHugePages之和】
ShmemHugePages:0kB//用于共享內(nèi)存的大頁
ShmemPmdMapped:0kB
CmaTotal:0kB//連續(xù)內(nèi)存區(qū)管理總量
CmaFree:0kB//連續(xù)內(nèi)存區(qū)管理空閑量
HugePages_Total:0//預(yù)留HugePages的總個數(shù)
HugePages_Free:0//池中尚未分配的HugePages數(shù)量，
真正空閑的頁數(shù)等于HugePages_Free-HugePages_Rsvd
HugePages_Rsvd:0//表示池中已經(jīng)被應(yīng)用程序分配但尚未使用的HugePages數(shù)量
HugePages_Surp:0//這個值得意思是當開始配置了20個大頁，現(xiàn)在修改配置為16，那么這個參數(shù)就會顯示為4，一般不修改配置，這個值都是0
Hugepagesize:2048kB//大內(nèi)存頁的size
//指直接映射(directmapping)的內(nèi)存大小，從代碼上來看，值記錄管理頁表占用的內(nèi)存,就是描述線性映射空間中，有多個空間分別使用了2M/4K/1G頁映射
DirectMap4k:96128kB
DirectMap2M:2000896kB
DirectMap1G:0kB

注意這個文件顯示的單位是kB而不是KB，1kB=1000B,但是實際上應(yīng)該是KB，1KB=1024B

還可以使用命令 less /proc/meminfo 直接讀取該文件。通過使用 less 命令，可以在長長的輸出中向上和向下滾動，找到你需要的內(nèi)容。

從中我們可以很清晰明了的看出內(nèi)存中的各種指標情況，例如 MemFree的空閑內(nèi)存和SwapFree中的交換內(nèi)存。

3. 代碼實例

負責(zé)輸出/proc/meminfo的源代碼是：

fs/proc/meminfo.c:meminfo_proc_show()

staticintmeminfo_proc_show(structseq_file*m,void*v)
{
structsysinfoi;
unsignedlongcommitted;
longcached;
longavailable;
unsignedlongpages[NR_LRU_LISTS];
intlru;

si_meminfo(&i);
si_swapinfo(&i);
committed=percpu_counter_read_positive(&vm_committed_as);

cached=global_node_page_state(NR_FILE_PAGES)-
total_swapcache_pages()-i.bufferram;
if(cached>10);
show_val_kb(m,"VmallocUsed:",0ul);
show_val_kb(m,"VmallocChunk:",0ul);

#ifdefCONFIG_MEMORY_FAILURE
seq_printf(m,"HardwareCorrupted:%5lukB
",
atomic_long_read(&num_poisoned_pages)<

	

	四、top 指令

	用途：用于打印系統(tǒng)中的CPU和內(nèi)存使用情況。輸出結(jié)果中，可以很清晰的看出已用和可用內(nèi)存的資源情況。top 最好的地方之一就是發(fā)現(xiàn)可能已經(jīng)失控的服務(wù)的進程 ID 號（PID）。有了這些 PID，你可以對有問題的任務(wù)進行故障排除（或 kill）。

	語法

	
top[-][ddelay][q][c][S][s][i][n][b]


	

	參數(shù)說明：

	
d:改變顯示的更新速度，或是在交談式指令列(interactivecommand)按s
q:沒有任何延遲的顯示速度，如果使用者是有superuser的權(quán)限，則top將會以最高的優(yōu)先序執(zhí)行
c:切換顯示模式，共有兩種模式，一是只顯示執(zhí)行檔的名稱，另一種是顯示完整的路徑與名稱
S:累積模式，會將己完成或消失的子進程(deadchildprocess)的CPUtime累積起來
s:安全模式，將交談式指令取消,避免潛在的危機
i:不顯示任何閑置(idle)或無用(zombie)的進程
n:更新的次數(shù)，完成后將會退出top
b:批次檔模式，搭配"n"參數(shù)一起使用，可以用來將top的結(jié)果輸出到檔案內(nèi)


	

	舉例

	第一行，任務(wù)隊列信息，同 uptime 命令的執(zhí)行結(jié)果

	系統(tǒng)時間：0210運行時間：up 2:26 min,當前登錄用戶：1 user負載均衡(uptime) load average: 0.00, 0.06, 0.07average后面的三個數(shù)分別是1分鐘、5分鐘、15分鐘的負載情況。load average數(shù)據(jù)是每隔5秒鐘檢查一次活躍的進程數(shù)，然后按特定算法計算出的數(shù)值。如果這個數(shù)除以邏輯CPU的數(shù)量，結(jié)果高于5的時候就表明系統(tǒng)在超負荷運轉(zhuǎn)了

	第二行，Tasks — 任務(wù)（進程）

	總進程:229 total, 運行:1 running, 休眠:163 sleeping, 停止: 0 stopped, 僵尸進程: 0 zombie

	第三行，cpu狀態(tài)信息

	0.7%us【user space】— 用戶空間占用CPU的百分比。1.0%sy【sysctl】— 內(nèi)核空間占用CPU的百分比。0.0%ni【】— 改變過優(yōu)先級的進程占用CPU的百分比97.9%id【idolt】— 空閑CPU百分比0.3%wa【wait】— IO等待占用CPU的百分比0.0%hi【Hardware IRQ】— 硬中斷占用CPU的百分比0.0%si【Software Interrupts】— 軟中斷占用CPU的百分比

	第四行,內(nèi)存狀態(tài)

	2017504 total,  653616 free, 1154200 used,  209688 buff/cache【緩存的內(nèi)存量】

	第五行，swap交換分區(qū)信息

	998396 total,  771068 free,  227328 used.  635608 avail Mem

	第七行以下：各進程（任務(wù)）的狀態(tài)監(jiān)控

	PID — 進程idUSER — 進程所有者PR — 進程優(yōu)先級NI — nice值。負值表示高優(yōu)先級，正值表示低優(yōu)先級VIRT — 進程使用的虛擬內(nèi)存總量，單位kb。VIRT=SWAP+RESRES — 進程使用的、未被換出的物理內(nèi)存大小，單位kb。RES=CODE+DATASHR — 共享內(nèi)存大小，單位kbS —進程狀態(tài)。D=不可中斷的睡眠狀態(tài) R=運行 S=睡眠 T=跟蹤/停止 Z=僵尸進程%CPU — 上次更新到現(xiàn)在的CPU時間占用百分比%MEM — 進程使用的物理內(nèi)存百分比TIME+ — 進程使用的CPU時間總計，單位1/100秒COMMAND — 進程名稱（命令名/命令行）

	常用實例

	顯示進程信息

	
#top


	

	顯示完整命令

	
#top-c


	

	以批處理模式顯示程序信息

	
#top-b


	

	以累積模式顯示程序信息

	
#top-S


	

	設(shè)置信息更新次數(shù)

	
top-n2


	

	//表示更新兩次后終止更新顯示

	設(shè)置信息更新時間

	
#top-d3


	

	//表示更新周期為3秒

	顯示指定的進程信息

	
#top-p139


	

	//顯示進程號為139的進程信息，CPU、內(nèi)存占用率等

	顯示更新十次后退出

	
top-n10


	

	五、htop 指令

	htop 它類似于 top 命令，但可以讓你在垂直和水平方向上滾動，所以你可以看到系統(tǒng)上運行的所有進程，以及他們完整的命令行。

	可以不用輸入進程的 PID 就可以對此進程進行相關(guān)的操作 (killing, renicing)。

	htop快照：可以使用快捷鍵

	
F1,h,?:查看htop使用說明，
F2,s:設(shè)置選項
F3,/:搜索進程
F4,:過濾器，輸入關(guān)鍵字搜索
F5,t:顯示屬性結(jié)構(gòu)
F6,<,>:選擇排序方式
F7,[,:減少進程的優(yōu)先級(nice)
F8，]:增加進程的優(yōu)先級(nice)
F9，k:殺掉選中的進程
F10，q:退出htop
u:顯示所有用戶，并可以選中某一特定用戶的進程
U：取消標記所有的進程


	

	第1行-第4行：顯示CPU當前的運行負載，有幾核就有幾行，我的是1核

	Mem：顯示內(nèi)存的使用情況，3887M大概是3.8G，此時的Mem不包含buffers和cached的內(nèi)存，所以和free -m會不同Swp：顯示交換空間的使用情況，交換空間是當內(nèi)存不夠和其中有一些長期不用的數(shù)據(jù)時，ubuntu會把這些暫時放到交換空間中

	其他信息可以參考top命令說明。

	PS：如果你終端沒安裝 htop,先通過指令來安裝。sudo apt-get updatesudo apt install htop

	六、查看制定進程的內(nèi)存

	通過/proc/procid/status查看進程內(nèi)存

	
peng@ubuntu:~$cat/proc/4398/status
Name:kworker/0:0//進程名
Umask:0000
State:I(idle)//進程的狀態(tài)
//R(running)","S(sleeping)","D(disksleep)","T(stopped)","T(tracingstop)","Z(zombie)",or"X(dead)"
Tgid:4398//線程組的ID,一個線程一定屬于一個線程組(進程組).
Ngid:0
Pid:4398//進程的ID,更準確的說應(yīng)該是線程的ID.
PPid:2//當前進程的父進程
TracerPid:0//跟蹤當前進程的進程ID,如果是0,表示沒有跟蹤
Uid:0000
Gid:0000
FDSize:64//當前分配的文件描述符,該值不是上限，如果打開文件超過64個文件描述符,將以64進行遞增
Groups://啟動這個進程的用戶所在的組
NStgid:4398
NSpid:4398
NSpgid:0
NSsid:0
Threads:1
SigQ:0/7640
SigPnd:0000000000000000
ShdPnd:0000000000000000
SigBlk:0000000000000000
SigIgn:ffffffffffffffff
SigCgt:0000000000000000
CapInh:0000000000000000
CapPrm:0000003fffffffff
CapEff:0000003fffffffff
CapBnd:0000003fffffffff
CapAmb:0000000000000000
NoNewPrivs:0
Seccomp:0
Speculation_Store_Bypass:vulnerable
Cpus_allowed:00000000,00000000,00000000,00000001
Cpus_allowed_list:0
Mems_allowed:00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000001
Mems_allowed_list:0
voluntary_ctxt_switches:5
nonvoluntary_ctxt_switches:0


	

	總結(jié)：

	確定內(nèi)存使用情況是Linux運維工程師必要的技能，尤其是某個應(yīng)用程序變得異常和占用系統(tǒng)內(nèi)存時。當發(fā)生這種情況時，知道有多種工具可以幫助你進行故障排除十分方便的。

	

	   審核編輯：彭靜