一、多核并發編程方式
(1)多線程。
在一個進程中開啟多線程,為了充分利用多核,一般設置工作線程的個數為 cpu 的核心數。memcached 就是采用這種方式。
多線程在一個進程當中,所以數據共享來自進程當中的虛擬內存;這里會涉及到很多臨界資源的訪問,所以需要考慮加鎖。
(2)多進程。
在一臺機器當中,開啟多個進程充分利用多核,一般設置工作進程的個數為 cpu 的核心數。nginx 就是采用這種方式,nginx 當中的 worker 進程,通過共享內存來進行共享數據;也需要考慮使用鎖。
(3)CSP。
以 go 語言為代表,并發實體是協程(用戶態線程、輕量級線程);內部也是采用多少個核心開啟多少個線程來充分利用多核。
(4)Actor。
erlang 從語言層面支持 actor 并發模型,并發實體是 actor(在skynet 中稱之為服務);skynet 采用 c + lua來實現 actor 并發模型;底層也是通過采用多少個核心開啟多少個內核線程來充分利用多核。
二、skynet
2.1、skynet簡介
它是一個輕量級游戲服務器框架,但也不僅僅用于游戲。
輕量級體現在:
- 實現了 actor 模型,以及相關的腳手架(工具集):actor 間數據共享機制以及c 服務擴展機制。
- 實現了服務器框架的基礎組件。實現了 reactor 并發網絡庫;并提供了大量連接的接入方案;基于自身網絡庫,實現了常用的數據庫驅動(異步連接方案),并融合了 lua 數據結構;實現了網關服務;時間輪用于處理定時消息。
skynet抽象了actor并發模型,用戶層抽象進程;sknet通過消息的方式共享內存;通過消息驅動actor運行。
skynet的actor模型使用lua虛擬,lua虛擬機非常小(只有幾十kb),代價不高;每個actor對應一個lua虛擬機;系統中不能啟動過多的進程就是因為資源受限,lua虛擬機占用的資源很少,可以開啟很多個,這就能抽象出很多個用戶層的進程。lua虛擬機可以共享一些數據,比如常量,達到資源復用。
抽象進程而不抽象線程的原因在于進程有獨立的工作空間,隔離的運行環境。
sknet的所有actor都是對等的,通過公平調度實現。
2.2、環境準備
ubuntu:
# 或者
sudo apt-get install git build-essential libreadline-dev autoconf
centos:
mac:
2.3、編譯安裝
cd skynet
# centos or ubuntu
make linux
# mac
make macosx
2.4、Actor 模型
有消息的 actor 為活躍的 actor,沒有消息為非活躍的 actor。
定義:
- 用于并行計算;
- Actor 是最基本的計算單元;
- 基于消息計算;
- Actor 通過消息進行溝通。
組成:
- 隔離的環境。主要通過 lua 虛擬機來實現。
- 消息隊列。用來存放有序(先后到達)的消息。
- 回調函數。用來運行 Actor;從 Actor 的消息隊列中取出消息,并作為該回調函數的參數來運行 Actor。
2.5、消息隊列
Actor 模型基于消息計算,在 skynet 框架中,消息包含 Actor(之間)消息、網絡消息以及定時消息。
生產者生產消息,消息放入消息隊列中,由線程池去消費消息。
2.6、actor公平調度
所有的actor都是對等的,每個actor都有自己的消息隊列;skynet的并發實體是actor,因此需要公平的調度actor。
skynet會有非常的actor,公平調度就非常重要;采用兩級隊列。
首先,查找活躍的消息隊列(有消息的消息隊列);
然后,通過隊列組織所有活躍的消息隊列;
最后,調度隊列。
線程池從一級隊列取出一個消息,消費消息,消費完消息后如果還有消息,則添加到一級隊列的末尾。因為用戶問題造成消息不均勻,在應用上不一定公平;skynet在工作線程賦予權重來解決這個問題。
static int weight[] = {
-1, -1, -1, -1, 0, 0, 0, 0,
1, 1, 1, 1, 1, 1, 1, 1, // 1/2
2, 2, 2, 2, 2, 2, 2, 2, // 1/4
3, 3, 3, 3, 3, 3, 3, 3, }; // 1/8
當工作線程的權重為 -1 時,該工作線程每次只 pop 一條消息;當工作線程的權重為 0 時,該工作線程每次消費完所有的消息;當工作線程的權重為 1 時,每次消費消息隊列中二分之一的消息;當工作線程的權重為 2 時,每次消費消息隊列中四分之一 的消息;以此類推;通過這種方式,完成消息隊列梯度消費,從而不至于讓某些隊列過長。
三、skynet的使用
github 上打開 skynet 點擊 wiki 里面有所有函數的詳細說明。
3.1、第一個skynet程序
(1)在sknet源碼的父目錄下創建一個config文件,用于定制skynet的行為。 內容可參考如下:
logger=nil
harbor=0
start="main"
lua_path="./skynet/lualib/?.lua;./skynet/lualib/?/init.lua;"
luaservice="./skynet/service/?.lua;./app/?.lua"
lualoader="./skynet/lualib/loader.lua"
cpath="./skynet/cservice/?.so"
lua_cpath="./skynet/luaclib/?.so"
參數說明:
(2)在app文件下面創建main.lua。每次啟動時都是從skynet.start(…)中運行,相當于入口函數。
skynet.start(function()
-- body
print("hello skynet")
end)
(3)編寫一個自己項目的makefile。首先編譯skynet的源碼,如果有自己的c代碼直接加入makefile文件。
all:
cd $(SKYNET_PATH) && $(MAKE) PLAT='linux'
clean:
cd $(SKYNET_PATH) && $(MAKE) clean
(4)編譯,執行自己的makefile。
(5)執行skynet,指定config。
[:00000003] LAUNCH snlua launcher
[:00000004] LAUNCH snlua cdummy
[:00000005] LAUNCH harbor 0 4
[:00000006] LAUNCH snlua datacenterd
[:00000007] LAUNCH snlua service_mgr
[:00000008] LAUNCH snlua main
hello skynet
[:00000002] KILL self
可以看到打印了hello skynet。
3.2、skynet網絡消息
skynet 當中采用一個 socket 線程來處理網絡信息;skynet 基于 reactor 網絡模型。
網絡消息驅動actor運行。需要skynet.socket模塊。
首先綁定一個監聽 listenfd,然后調用socket.start(listenfd, function)綁定fd到進程函數function中處理。
示例:
main.lua
local socket=require "skynet.socket"
skynet.start(function()
-- body
print("hello skynet")
local listenfd=socket.listen("0.0.0.0",8888);
socket.start(listenfd,function(clientfd,addr)
-- body
print("receive a client: ",clientfd,addr);
end)
end)
[:00000003] LAUNCH snlua launcher
[:00000004] LAUNCH snlua cdummy
[:00000005] LAUNCH harbor 0 4
[:00000006] LAUNCH snlua datacenterd
[:00000007] LAUNCH snlua service_mgr
[:00000008] LAUNCH snlua main
hello skynet
[:00000002] KILL self
receive a client: 2 192.168.0.105:50024
3.3、skynet定時消息
定時任務推送給定時線程,定時線程檢測完時間后往消息隊列推送一個消息,然后actor開始執行callback函數。
使用示例: main.lua
skynet.start(function()
-- body
print("hello skynet")
skynet.timeout(100,function()
-- body
print("timer 1s");
end)
end)
3.4、skynet actor間消息
所有的服務都是通過消息來交換數據。actor間消息通信通過將消息放到對方的消息隊列實現。
示例,創建兩個lua文件。
main發送“ping”給slave,協程掛起;slave回復“pong”給main,協程喚醒。整個過程使用協程實現異步操作,消除異步中的回調。
main.lua
skynet.start(function()
-- body
print("hello skynet")
local slave=skynet.newservice("slave")
local response=skynet.call(slave,"lua","ping")
print("main ",response)
end)
slave.lua
local CMD={}
function CMD.ping()
-- body
skynet.retpack("pong")
end
skynet.start(function()
skynet.dispatch("lua",function(session,source,cmd,...)
local func=assert(CMD[cmd])
func(...)
end)
end)
執行效果:
[:00000003] LAUNCH snlua launcher
[:00000004] LAUNCH snlua cdummy
[:00000005] LAUNCH harbor 0 4
[:00000006] LAUNCH snlua datacenterd
[:00000007] LAUNCH snlua service_mgr
[:00000008] LAUNCH snlua main
hello skynet
[:00000009] LAUNCH snlua slave
main pong
[:00000002] KILL self
四、vscode調試skynet
首先要知道整個系統/框架 是怎么應用的。skynet會自己產生一個skynet執行程序,需要指定配置文件來啟動服務。
項目下的.vscode文件夾需要如下三個文件。
launch.json
"version": "0.2.0",
"configurations": [
{
"name": "啟動 app",
"type": "cppdbg",
"request": "launch",
"program": "${workspaceFolder}/skynet/skynet",
"args": ["config"],
"stopAtEntry": false,
"cwd": "${workspaceFolder}",
"environment": [],
"externalConsole": false,
"MIMode": "gdb",
"setupCommands": [
{
"description": "為 gdb 啟用整齊打印",
"text": "-enable-pretty-printing",
"ignoreFailures": true
},
{
"description": "將反匯編風格設置為 Intel",
"text": "-gdb-set disassembly-flavor intel",
"ignoreFailures": true
}
],
"preLaunchTask": "build-skynet",
"miDebuggerPath": "/usr/bin/gdb"
}
]
}
settings.json
"C_Cpp.default.configurationProvider": "ms-vscode.makefile-tools",
"files.associations": {
"string.h": "c",
"stdlib.h": "c",
"pthread.h": "c"
},
}
tasks.json
"tasks": [
{
"type": "cppbuild",
"label": "build-skynet",
"command": "/usr/bin/make",
"args": [],
"options": {
"cwd": "${workspaceFolder}"
},
"problemMatcher": [
"$gcc"
],
"group": {
"kind": "build",
"isDefault": true
},
"detail": "..."
}
],
"version": "2.0.0"
}
實現這三個文件就可以開始調試了。
skynet是一個網絡服務,需要處理網絡連接,需要知道數據是怎么流向,理解框架的運行機制(多線程并發);所有的actor的運行都是由線程池來驅動,actor的運行又是由消息隊列的消息驅動(網絡消息、定時消息、actor間消息)。
線程池從消息隊列中取出消息,找到回調函數,驅動actor運行。
總結
不要通過共享內存來通信,而應該通過通信來共享內存。CSP 和 Actor 都符合這一哲學;通過通信來共享數據,其實是一種解耦合的過程。并lua發實體之間可以分別開發并單獨優化,而它們唯一的耦合在于消息;這能讓我們快速地進行開發;同時也符合我們開發的思路,將一個大的問題拆分成若干個小問題。
actor模型是在用戶層抽象了進程。
actor調度:將活躍的 actor 通過全局隊列組織起來;actor 當中的消息隊列有消息就是活躍的 actor; 線程池去全局隊列中取出 actor 的消息隊列,接著運行actor。
-
服務器
+關注
關注
12文章
9123瀏覽量
85324 -
內存
+關注
關注
8文章
3019瀏覽量
74003 -
模型
+關注
關注
1文章
3226瀏覽量
48807 -
虛擬機
+關注
關注
1文章
914瀏覽量
28160
發布評論請先 登錄
相關推薦
評論