天下武功,唯快不破。
編程也不例外,你的代碼跑的快,你能快速找出代碼慢的原因,你的碼功就高。
今天分享一個超級實用的 Python 性能分析工具 pyinstrument ,可以快速找到代碼運行最慢的部分,幫助提高代碼的性能。支持 Python 3.7+ 且能夠分析異步代碼,僅需一條命令即可顯示具體代碼的耗時。經常寫 Python 的小伙伴一定要用一下。
安裝
pipinstallpyinstrument
簡單的使用
在程序的開始,啟動 pyinstrument 的 Profiler,結束時關閉 Profiler 并打印分析結果如下:
frompyinstrumentimportProfiler
profiler=Profiler()
profiler.start()
#這里是你要分析的代碼
profiler.stop()
profiler.print()
比如這段代碼 123.py,我們可以清楚的看到是列表推導式比較慢:
frompyinstrumentimportProfiler
profiler=Profiler()
profiler.start()
#這里是你要分析的代碼
a=[iforiinrange(100000)]
b=(iforiinrange(100000))
profiler.stop()
profiler.print()
上述分析需要修改源代碼,如果你使用命令行工具,就不需要修改源代碼,只需要執行 pyinstrument xxxx.py
即可:
比如有這樣一段排序的程序 c_sort.py:
importsys
importtime
importnumpyasnp
arr=np.random.randint(0,10,10)
defslow_key(el):
time.sleep(0.01)
returnel
arr=list(arr)
foriinrange(10):
arr.sort(key=slow_key)
print(arr)
這段代碼里面故意放了一句 time.sleep(0.01) 來延遲性能,看看 pyinstrument
能否識別,命令行執行 pyinstrument c_sort.py
:
從結果來看,程序運行了 1.313 秒,而 sleep 就運行了 1.219 秒,很明顯是瓶頸,現在我們把它刪除,再看看結果:
刪除之后,性能最慢的就是 numpy 模塊的初始化代碼 __init__.py
了,不過這些代碼不是自己寫的,而且并不是特別慢,就不需要去關心了。
分析 Flask 代碼
Web 應用也可以使用這個來找出性能瓶頸,比如 flask,只需要在請求之前記錄時間,在請求之后統計時間,只需要在 flask 的請求攔截器里面這樣寫:
fromflaskimportFlask,g,make_response,request
app=Flask(__name__)
@app.before_request
defbefore_request():
if"profile"inrequest.args:
g.profiler=Profiler()
g.profiler.start()
@app.after_request
defafter_request(response):
ifnothasattr(g,"profiler"):
returnresponse
g.profiler.stop()
output_html=g.profiler.output_html()
returnmake_response(output_html)
假如有這樣一個 API:
@app.route("/dosomething")
defdo_something():
importrequests
requests.get("http://google.com")
return"Googlesayshello!"
為了測試這個 API 的瓶頸,我們可以在 url 上加一個參數 profile 就可以:http://127.0.0.1:5000/dosomething?profile
,哪一行代碼執行比較慢,結果清晰可見:
分析 Django 代碼
分析 Django 代碼也非常簡單,只需要在 Django 的配置文件的 MIDDLEWARE 中添加
"pyinstrument.middleware.ProfilerMiddleware",
然后就可以在 url 上加一個參數 profile 就可以:
如果你不希望所有人都能看到,只希望管理員可以看到,settings.py 可以添加這樣的代碼:
defcustom_show_pyinstrument(request):
returnrequest.user.is_superuser
PYINSTRUMENT_SHOW_CALLBACK="%s.custom_show_pyinstrument"%__name__
如果不想通過 url 后面加參數的方式查看性能分析,可以在 settings.py 文件中添加:
PYINSTRUMENT_PROFILE_DIR='profiles'
這樣,每次訪問一次 Django 接口,就會將分析結果以 html 文件形式保存在 項目目錄下的 profiles 文件夾中。
分析異步代碼
簡單的異步代碼分析:
async_example_simple.py:
importasyncio
frompyinstrumentimportProfiler
asyncdefmain():
p=Profiler()
withp:
print("Hello...")
awaitasyncio.sleep(1)
print("...World!")
p.print()
asyncio.run(main())
復雜一些的異步代碼分析:
importasyncio
importtime
importpyinstrument
defdo_nothing():
pass
defbusy_wait(duration):
end_time=time.time()+duration
whiletime.time()ifprofile:
p=pyinstrument.Profiler()
p.start()
busy_wait(0.1)
sleep_start=time.time()
awaitasyncio.sleep(when)
print(f"sleptfor{time.time()-sleep_start:.3f}seconds")
busy_wait(0.1)
print(what)
ifprofile:
p.stop()
p.print(show_all=True)
loop=asyncio.get_event_loop()
loop.create_task(say("firsthello",2,profile=True))
loop.create_task(say("secondhello",1,profile=True))
loop.create_task(say("thirdhello",3,profile=True))
loop.run_forever()
loop.close()
工作原理
Pyinstrument 每 1ms 中斷一次程序,并在該點記錄整個堆棧。它使用 C 擴展名和 PyEval_SetProfile 來做到這一點,但只每 1 毫秒讀取一次讀數。你可能覺得報告的樣本數量有點少,但別擔心,它不會降低準確性。默認間隔 1ms 是記錄堆棧幀的下限,但如果在單個函數調用中花費了很長時間,則會在該調用結束時進行記錄。如此有效地將這些樣本“打包”并在最后記錄。
Pyinstrument 是一個統計分析器,并不跟蹤,它不會跟蹤您的程序進行的每個函數調用。相反,它每 1 毫秒記錄一次調用堆棧。與其他分析器相比,統計分析器的開銷比跟蹤分析器低得多。
比如說,我想弄清楚為什么 Django 中的 Web 請求很慢。如果我使用 cProfile,我可能會得到這個:
151940functioncalls(147672primitivecalls)in1.696seconds
Orderedby:cumulativetime
ncallstottimepercallcumtimepercallfilename:lineno(function)
10.0000.0001.6961.696profile:0(at0x1053d6a30,file"./manage.py",line2>)
10.0010.0011.6931.693manage.py:2()
10.0000.0001.5861.586__init__.py:394(execute_from_command_line)
10.0000.0001.5861.586__init__.py:350(execute)
10.0000.0001.1421.142__init__.py:254(fetch_command)
430.0130.0001.1240.026__init__.py:1()
3880.0080.0001.0620.003re.py:226(_compile)
1580.0050.0001.0480.007sre_compile.py:496(compile)
10.0010.0011.0421.042__init__.py:78(get_commands)
1530.0010.0001.0360.007re.py:188(compile)
106/1020.0010.0001.0300.010__init__.py:52(__getattr__)
10.0000.0001.0291.029__init__.py:31(_setup)
10.0000.0001.0211.021__init__.py:57(_configure_logging)
20.0020.0011.0110.505log.py:1()
看完是不是還是一臉懵逼,通常很難理解您自己的代碼如何與這些跟蹤相關聯。Pyinstrument 記錄整個堆棧,因此跟蹤昂貴的調用要容易得多。它還默認隱藏庫框架,讓您專注于影響性能的應用程序/模塊:
_.___/_______/_Recorded:1435Samples:131
/_//_////_///_/////_'///Duration:3.131CPUtime:0.195
/_/v3.0.0b3
Program:examples/django_example/manage.pyrunserver--nothreading--noreload
3.131manage.py:2
└─3.118execute_from_command_linedjango/core/management/__init__.py:378
[473frameshidden]django,socketserver,selectors,wsgi...
2.836selectselectors.py:365
0.126_get_responsedjango/core/handlers/base.py:96
└─0.126hello_worlddjango_example/views.py:4
最后的話
本文分享了 pyinstrument 的用法,有了這個性能分析神器,以后優化代碼可以節省很多時間了,這樣的效率神器很值得分享,畢竟人生苦短,能多點時間干點有意思的不香么?
責任編輯:haq
-
編程
+關注
關注
88文章
3621瀏覽量
93785 -
代碼
+關注
關注
30文章
4793瀏覽量
68701
原文標題:效率神器:快速定位運行最慢的代碼
文章出處:【微信號:LinuxHub,微信公眾號:Linux愛好者】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論