色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Linux系統CPU 100%異常排查實踐與總結

jf_TEuU2tls ? 來源:浩道linux ? 2023-02-23 09:54 ? 次閱讀

今天浩道跟大家分享linux硬核干貨,工作中當你服務器CPU達到100%時,該如何排查異常故障呢?

昨天下午突然收到運維郵件報警,顯示數據平臺服務器cpu利用率達到了98.94%,而且最近一段時間一直持續在70%以上,看起來像是硬件資源到瓶頸需要擴容了,但仔細思考就會發現咱們的業務系統并不是一個高并發或者CPU密集型的應用,這個利用率有點太夸張,硬件瓶頸應該不會這么快就到了,一定是哪里的業務代碼邏輯有問題。

2、排查思路

2.1定位高負載進程pid

首先登錄到服務器使用top命令確認服務器的具體情況,根據具體情況再進行分析判斷。

7682e9d2-b30c-11ed-bfe3-dac502259ad0.png

通過觀察load average,以及負載評判標準(8核),可以確認服務器存在負載較高的情況;

76a18068-b30c-11ed-bfe3-dac502259ad0.jpg

觀察各個進程資源使用情況,可以看出進程id為682的進程,有著較高的CPU占比

2.2定位具體的異常業務

這里咱們可以使用 pwdx 命令根據 pid 找到業務進程路徑,進而定位到負責人和項目:

76c7b288-b30c-11ed-bfe3-dac502259ad0.jpg

可得出結論:該進程對應的就是數據平臺的web服務。

2.3定位異常線程及具體代碼行

傳統的方案一般是4步:

1、top oder by with P:1040 // 首先按進程負載排序找到 maxLoad(pid)

2、top -Hp 進程PID:1073 // 找到相關負載 線程PID

3、printf “0x%x ”線程PID:0x431 // 將線程PID轉換為 16進制,為后面查找 jstack 日志做準備

4、jstack 進程PID | vim +/十六進制線程PID - // 例如:jstack 1040|vim +/0x431 -

但是對于線上問題定位來說,分秒必爭,上面的 4 步還是太繁瑣耗時了,之前介紹過淘寶的oldratlee 同學就將上面的流程封裝為了一個工具:show-busy-java-threads.sh,可以很方便的定位線上的這類問題:

76f8a582-b30c-11ed-bfe3-dac502259ad0.jpg

可得出結論:是系統中一個時間工具類方法的執行cpu占比較高,定位到具體方法后,查看代碼邏輯是否存在性能問題。

※如果線上問題比較緊急,可以省略 2.1、2.2 直接執行 2.3,這里從多角度剖析只是為了給大家呈現一個完整的分析思路。

3、根因分析

經過前面的分析與排查,最終定位到一個時間工具類的問題,造成了服務器負載以及cpu使用率的過高。

  • 異常方法邏輯:是把時間戳轉成對應的具體的日期時間格式;

  • 上層調用:計算當天凌晨至當前時間所有秒數,轉化成對應的格式放入到set中返回結果;

  • 邏輯層:對應的是數據平臺實時報表的查詢邏輯,實時報表會按照固定的時間間隔來,并且在一次查詢中有多次(n次)方法調用。

那么可以得到結論,如果現在時間是當天上午10點,一次查詢的計算次數就是 10*60*60*n次=36,000*n次計算,而且隨著時間增長,越接近午夜單次查詢次數會線性增加。由于實時查詢、實時報警等模塊大量的查詢請求都需要多次調用該方法,導致了大量CPU資源的占用與浪費。

4、解決方案

定位到問題之后,首先考慮是要減少計算次數,優化異常方法。排查后發現,在邏輯層使用時,并沒有使用該方法返回的set集合中的內容,而是簡單的用set的size數值。確認邏輯后,通過新方法簡化計算(當前秒數-當天凌晨的秒數),替換調用的方法,解決計算過多的問題。上線后觀察服務器負載和cpu使用率,對比異常時間段下降了30倍,恢復至正常狀態,至此該問題得已解決。

772c5ed6-b30c-11ed-bfe3-dac502259ad0.jpg

5、總結

  • 在編碼的過程中,除了要實現業務的邏輯,也要注重代碼性能的優化。一個業務需求,能實現,和能實現的更高效、更優雅其實是兩種截然不同的工程師能力和境界的體現,而后者也是工程師的核心競爭力。

  • 在代碼編寫完成之后,多做 review,多思考是不是可以用更好的方式來實現。

  • 線上問題不放過任何一個小細節!細節是魔鬼,技術的同學需要有刨根問題的求知欲和追求卓越的精神,只有這樣,才能不斷的成長和提升。

附上show-busy-java-threads.sh腳本:

#!/bin/bash
# @Function
# Find out the highest cpu consumed threads of java, and print the stack of these threads.
#
# @Usage
#   $ ./show-busy-java-threads.sh
#
# @author Jerry Lee


readonly PROG=`basename $0`
readonly -a COMMAND_LINE=("$0" "$@")


usage() {
    cat <
Usage: ${PROG} [OPTION]...
Find out the highest cpu consumed threads of java, and print the stack of these threads.
Example: ${PROG} -c 10


Options:
    -p, --pid       find out the highest cpu consumed threads from the specifed java process,
                    default from all java process.
    -c, --count     set the thread count to show, default is 5
    -h, --help      display this help and exit
EOF
    exit $1
}


readonly ARGS=`getopt -n "$PROG" -a -o ch -l count:,pid:,help -- "$@"`
[ $? -ne 0 ] && usage 1
eval set -- "${ARGS}"


while true; do
    case "$1" in
    -c|--count)
        count="$2"
        shift 2
        ;;
    -p|--pid)
        pid="$2"
        shift 2
        ;;
    -h|--help)
        usage
        ;;
    --)
        shift
        break
        ;;
    esac
done
count=${count:-5}


redEcho() {
    [ -c /dev/stdout ] && {
        # if stdout is console, turn on color output.
        echo -ne "33[1;31m"
        echo -n "$@"
        echo -e "33[0m"
    } || echo "$@"
}


yellowEcho() {
    [ -c /dev/stdout ] && {
        # if stdout is console, turn on color output.
        echo -ne "33[1;33m"
        echo -n "$@"
        echo -e "33[0m"
    } || echo "$@"
}


blueEcho() {
    [ -c /dev/stdout ] && {
        # if stdout is console, turn on color output.
        echo -ne "33[1;36m"
        echo -n "$@"
        echo -e "33[0m"
    } || echo "$@"
}


# Check the existence of jstack command!
if ! which jstack &> /dev/null; then
    [ -z "$JAVA_HOME" ] && {
        redEcho "Error: jstack not found on PATH!"
        exit 1
    }
    ! [ -f "$JAVA_HOME/bin/jstack" ] && {
        redEcho "Error: jstack not found on PATH and $JAVA_HOME/bin/jstack file does NOT exists!"
        exit 1
    }
    ! [ -x "$JAVA_HOME/bin/jstack" ] && {
        redEcho "Error: jstack not found on PATH and $JAVA_HOME/bin/jstack is NOT executalbe!"
        exit 1
    }
    export PATH="$JAVA_HOME/bin:$PATH"
fi


readonly uuid=`date +%s`_${RANDOM}_$$


cleanupWhenExit() {
    rm /tmp/${uuid}_* &> /dev/null
}
trap "cleanupWhenExit" EXIT


printStackOfThreads() {
    local line
    local count=1
    while IFS=" " read -a line ; do
        local pid=${line[0]}
        local threadId=${line[1]}
        local threadId0x="0x`printf %x ${threadId}`"
        local user=${line[2]}
        local pcpu=${line[4]}


        local jstackFile=/tmp/${uuid}_${pid}


        [ ! -f "${jstackFile}" ] && {
            {
                if [ "${user}" == "${USER}" ]; then
                    jstack ${pid} > ${jstackFile}
                else
                    if [ $UID == 0 ]; then
                        sudo -u ${user} jstack ${pid} > ${jstackFile}
                    else
                        redEcho "[$((count++))] Fail to jstack Busy(${pcpu}%) thread(${threadId}/${threadId0x}) stack of java process(${pid}) under user(${user})."
                        redEcho "User of java process($user) is not current user($USER), need sudo to run again:"
                        yellowEcho "    sudo ${COMMAND_LINE[@]}"
                        echo
                        continue
                    fi
                fi
            } || {
                redEcho "[$((count++))] Fail to jstack Busy(${pcpu}%) thread(${threadId}/${threadId0x}) stack of java process(${pid}) under user(${user})."
                echo
                rm ${jstackFile}
                continue
            }
        }
        blueEcho "[$((count++))] Busy(${pcpu}%) thread(${threadId}/${threadId0x}) stack of java process(${pid}) under user(${user}):"
        sed "/nid=${threadId0x} /,/^$/p" -n ${jstackFile}
    done
}




ps -Leo pid,lwp,user,comm,pcpu --no-headers | {
    [ -z "${pid}" ] &&
    awk '$4=="java"{print $0}' ||
    awk -v "pid=${pid}" '$1==pid,$4=="java"{print $0}'
} | sort -k5 -r -n | head --lines "${count}" | printStackOfThreads

審核編輯 :李倩


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • cpu
    cpu
    +關注

    關注

    68

    文章

    10855

    瀏覽量

    211603
  • Linux
    +關注

    關注

    87

    文章

    11296

    瀏覽量

    209348
  • 服務器
    +關注

    關注

    12

    文章

    9129

    瀏覽量

    85339

原文標題:Linux 系統 CPU 100% 異常排查實踐與總結

文章出處:【微信號:浩道linux,微信公眾號:浩道linux】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    Linux系統CPU占用率100%的排查思路

    今天浩道跟大家分享linux硬核干貨,工作中當你服務器CPU達到100%時,干著急是沒有用的,該查問題還得自己去查。本文將給大家羅列排查異常
    的頭像 發表于 01-23 10:26 ?5944次閱讀
    <b class='flag-5'>Linux</b><b class='flag-5'>系統</b><b class='flag-5'>CPU</b>占用率<b class='flag-5'>100</b>%的<b class='flag-5'>排查</b>思路

    設計與總結報告寫作基本要求

    設計與總結報告寫作基本要求
    發表于 08-01 01:01

    Flink Checkpoint 問題排查實用指南

    Checkpoint 失敗,或者 Checkpoint 慢的情況,本文會統一聊一聊Flink 中 Checkpoint 異常的情況(包括失敗和慢),以及可能的原因和排查思路。1. Checkpoint 流程
    發表于 09-17 16:25

    Linux驅動之基本理論常識總結

    0 引言前面Linux專題中關于Linux系統編程總結了17篇博文,主要是為了提高Linux下的C編程應用能力,熟悉
    發表于 07-01 10:38

    CPU PG異常檢修

    CPU PG異常檢修 一、CPU PG信號示例圖              
    發表于 04-26 16:29 ?2377次閱讀
    <b class='flag-5'>CPU</b> PG<b class='flag-5'>異常</b>檢修

    PIC單片機的一些學習心得與總結

    PIC單片機的一些學習心得與總結
    發表于 01-14 12:33 ?12次下載

    直放站干擾排查實錄分析

    干擾的排查表面上是一項技術工作,實際情況卻并不完全是這樣,還有許多技術外的東西起著主導性的作用。精細的管理、完善的臺站資料數據庫,可以使根據現象結合資料線索從理論上推斷干擾源地點成為可能。技術上
    發表于 12-13 05:47 ?2299次閱讀

    cpu利用率異常排查實踐與總結

    昨天下午突然收到運維郵件報警,顯示數據平臺服務器cpu利用率達到了98.94%,而且最近一段時間一直持續在70%以上,看起來像是硬件資源到瓶頸需要擴容了,但仔細思考就會發現這個利用率有點太夸張,一定是哪里的業務代碼邏輯有問題。
    的頭像 發表于 11-15 15:33 ?3805次閱讀

    Linux CPU的性能應該如何優化

    Linux系統中,由于成本的限制,往往會存在資源上的不足,例如 CPU、內存、網絡、IO 性能。本文,就對 Linux 進程和 CPU
    的頭像 發表于 01-18 08:52 ?3375次閱讀

    Linux系統命令及shell腳本實踐指南

    Linux系統命令及shell腳本實踐指南資料下載。
    發表于 06-01 14:47 ?28次下載

    在Kubernetes集群發生網絡異常時如何排查

    本文將引入一個思路:“在 Kubernetes 集群發生網絡異常時如何排查”。文章將引入 Kubernetes 集群中網絡排查的思路,包含網絡異常模型,常用工具,并且提出一些案例以供學
    的頭像 發表于 09-02 09:45 ?4782次閱讀

    分享排查Linux系統CPU占用的一個Shell腳本

    眾所周知,Linux系統CPU占用100%這個異常現象還是經常遇到的,因此分析其導致異常原因是解
    的頭像 發表于 09-04 09:17 ?1826次閱讀
    分享<b class='flag-5'>排查</b><b class='flag-5'>Linux</b><b class='flag-5'>系統</b><b class='flag-5'>CPU</b>占用的一個Shell腳本

    Java怎么排查oom異常

    據量的應用中。要排查OOM異常,需要經過以下幾個步驟: 理解OOM異常的原因:OOM異常通常有以下幾個原因:內存泄露、內存溢出、內存不足以容納所需的數據等。理解OOM
    的頭像 發表于 12-05 13:47 ?1237次閱讀

    如何在Linux系統中檢查CPU使用率

    首先在Linux系統中檢查CPU使用率。可以通過在命令行中輸入top或htop命令來查看當前系統中各個進程的CPU使用率。如果
    發表于 01-06 10:42 ?1310次閱讀
    如何在<b class='flag-5'>Linux</b><b class='flag-5'>系統</b>中檢查<b class='flag-5'>CPU</b>使用率

    Linux服務器CPU飆升的原因

    首先在Linux系統中檢查CPU使用率。可以通過在命令行中輸入top或htop命令來查看當前系統中各個進程的CPU使用率。如果
    發表于 02-28 11:00 ?1913次閱讀
    <b class='flag-5'>Linux</b>服務器<b class='flag-5'>CPU</b>飆升的原因
    主站蜘蛛池模板: 不卡的在线AV网站| 看免费人成va视频全| 欧美手机在线播放| 亚洲蜜芽在线观看精品一区| 国产叼嘿久久精品久久| 高清大胆欧美videossexo| 午夜国产免费视频亚洲| 中文字幕网站在线观看| 国产精品久久欧美一区| 欧美白人战黑吊| 与邻居换娶妻子2在线观看| 国产精品永久免费视频观看| 拍戏被CAO翻了H| 91区国产福利在线观看午夜| 黄小飞二人转| 性色香蕉AV久久久天天网| 电影 qvod| 欧美一区二区视频在线观看| 中文无码字慕在线观看| 国产一区91| 婷婷色色狠狠爱| 成人公开免费视频| 女生扒开下面| 91精品国产91| 久久亚洲成a人片| 亚洲偷偷自拍免费视频在线| 国产亚洲精品久久精品录音| 四虎4hu亚洲精品| 俄罗斯bbbbbbbbb大片| 囚禁固定在调教椅上扩张H| 99视频免费看| 男人网站在线| 99久久精品免费精品国产| 露露的性战k8经典| 中字幕久久久人妻熟女天美传媒| 精品国产午夜福利在线观看蜜月| 丫鬟粗大狠狠贯穿h| 国产看黄网站又黄又爽又色| 天天影视网网色色欲| 高H内射NP古文| 少妇久久久久久被弄高潮|