這篇文章會通過一條SQL更新語句的執行流程讓大家清楚地明白:
- 什么是InnoDB頁?緩存頁又是什么?為什么這么設計?
- 什么是表空間?不同存儲引擎的表在文件系統的底層表示上有什么區別?
- Buffer Pool是什么?為什么需要?有哪些我們需要掌握的細節?
- MySQL的三種日志文件redo日志、undo日志、binlog分別是什么?為什么需要這么多種類型的日志?
正文開始!
之前我們講過了一條SQL查詢語句是如何執行的,那么插入(INSERT)、更新(UPDATE)和刪除(DELETE)操作的流程又是什么樣子呢?
其實對于MySQL而言,只有兩種通常意義的操作,一種是Query(查詢),另一種是Update(更新),后者包含了我們平常使用的INSERT、UPDATE和DELETE操作。
那么MySQL的更新流程和查詢流程有什么區別呢?
其實基本的流程是一致的,也要經過 處理連接 、 解析優化 、存儲引擎幾個步驟。主要區別在更新操作涉及到了MySQL更多的細節。
注:我們接下來的所有描述,針對的都是InnoDB存儲引擎,如果涉及到其他存儲引擎,將會特殊說明
1. 一些需要知道的概念
對于MySQL任何存儲引擎來說,數據都是存儲在磁盤中的,存儲引擎要操作數據,必須先把磁盤中的數據加載到內存中才可以。
那么問題來了,一次性從磁盤中加載多少數據到內存中合適呢?當獲取記錄時,InnoDB存儲引擎需要一條條地把記錄從磁盤中讀取出來嗎?
當然不行!我們知道磁盤的讀寫速度和內存讀寫速度差了幾個數量級,如果我們需要讀取的數據恰好運行在磁盤的不同位置,那就意味著會產生多次I/O操作。
因此,無論是操作系統也好,MySQL存儲引擎也罷,都有一個預讀取的概念。概念的依據便是統治計算機界的局部性原理。
空間局部性:如果當前數據是正在被使用的,那么與該數據空間地址臨近的其他數據在未來有更大的可能性被使用到,因此可以優先加載到寄存器或主存中提高效率
就是當磁盤上的一塊數據被讀取的時候,我們干脆多讀一點,而不是用多少讀多少。
1.1 InnoDB頁
InnoDB存儲引擎將數據劃分為若干個頁,以頁作為磁盤和內存之間交互的最小單位。InnoDB中頁的大小默認為16KB。也就是默認情況下,一次最少從磁盤中讀取16KB的數據到內存中,一次最少把內存中16KB的內容刷新到磁盤上。
對于InnoDB存儲引擎而言,所有的數據(存儲用戶數據的索引、各種元數據、系統數據)都是以頁的形式進行存儲的。
1.2 表空間
為了更好地管理頁,MySQL又設計了「表空間」的概念。表空間又有很多類型,具體類型我們不需要知道,我們只需要知道,一個表空間可以劃分成很多個InnoDB頁,InnoDB表數據都存儲在某個表空間的頁中。
為了方便我們定位,MySQL貼心地為表空間設計了一個唯一標識——表空間ID(space ID)。同理,InnoDB頁也有自己的唯一編號——頁號(page number)。
因此,我們可以這么認為。給定表空間ID和頁號以及頁的偏移量,我們就可以定位到InnoDB頁的某條記錄,也就是數據庫表的某條記錄。
1.2.1 數據表在文件系統中的表示
為了更好地讓大家理解這個抽象的概念,我創建了名為test
的數據庫,在其下分別創建了3張表t_user_innodb
,t_user_myisam
,t_user_memory
,對應的存儲引擎分別為InnoDB
、MyISAM
、MEMORY
。
進入MySQL的數據目錄,找到test
目錄,看一下test
數據庫下所有表對應的本地文件目錄
drwxr-x--- 2 mysql mysql 4096 Jan 26 09:28 .
drwxrwxrwt 6 mysql mysql 4096 Jan 26 09:24 ..
-rw-r----- 1 mysql mysql 67 Jan 26 09:24 db.opt
-rw-r----- 1 mysql mysql 8556 Jan 26 09:28 t_user_innodb.frm
-rw-r----- 1 mysql mysql 98304 Jan 26 09:28 t_user_innodb.ibd
-rw-r----- 1 mysql mysql 8556 Jan 26 09:27 t_user_memory.frm
-rw-r----- 1 mysql mysql 0 Jan 26 09:28 t_user_myisam.MYD
-rw-r----- 1 mysql mysql 1024 Jan 26 09:28 t_user_myisam.MYI
-rw-r----- 1 mysql mysql 8556 Jan 26 09:28 t_user_myisam.frm
1.2.2 InnoDB是如何存儲表數據的
「表空間」是InnoDB存儲引擎獨有的概念。
我們看到t_user_innodb
表在數據庫對應的test
目錄下會生成以下兩個文件
- t_user_innodb.frm
- t_user_innodb.ibd
其中,t_user_innodb.ibd就是t_user_innodb
表對應的表空間在文件系統上的表示;t_user_innodb.frm用來描述表的結構,如表有哪些列,列的類型是什么等。
1.2.3 MyISAM是如何存儲表數據的
和InnoDB不同,MyISAM沒有表空間的概念,表的數據和索引全都直接存放在對應的數據庫子目錄下,可以看到t_user_myisam
對應了三個文件
- t_user_myisam.MYD
- t_user_myisam.MYI
- t_user_myisam.frm
其中,t_user_myisam.MYD表示表的數據文件,也就是我們實際看到的數據表的內容;t_user_myisam.MYI表示表的索引文件,為該表創建的索引都會存放在這個文件中;t_user_myisam.frm用來描述表的結構。
1.2.4 MEMORY是如何存儲表數據的
MEMORY存儲引擎對應的數據表只有一個描述表結構的文件t_user_memory.frm。
2. 緩沖池Buffer Pool
為了更好的利用局部性原理帶給我們的優勢,InnoDB在處理客戶端請求時,如果需要訪問某個頁的數據,會把該數據所在的頁的全部數據加載到內存中。哪怕是只需要訪問一個頁中的一條數據,也需要加載整個頁。
從磁盤中加載數據到內存中的操作太昂貴了!有什么辦法可以提高數據操作的效率呢?緩存!
為了緩存磁盤的頁,InnoDB在MySQL服務器啟動時會向操作系統申請一片連續的內存區域,這片內存區域就是 Buffer Pool 。
很容易理解,為了更好地緩存頁數據,Buffer Pool對應的一片連續內存空間也被劃分為若干個頁,而且默認情況下,Buffer Pool頁的大小和InnoDB頁大小一樣,都是16KB。為了區分兩種不同的頁,我們將Buffer Pool中的頁面稱為緩沖頁。
讀取數據的時候,InnoDB先判斷數據是否在Buffer Pool中,如果是,則直接讀取數據進行操作,不用再次從磁盤加載;如果不是,則從磁盤加載到Buffer Pool中,然后讀取數據進行操作。
修改數據的時候,也是將數據先寫到Buffer Pool緩沖頁中,而不是每次更新操作都直接寫入磁盤。當緩沖頁中的數據和磁盤文件不一致的時候,緩沖頁被稱為臟頁。
那么臟頁是什么時候被同步到磁盤呢?
InnoDB中有專門的后臺線程每隔一段時間會把臟頁的多個修改刷新到磁盤上,這個動作叫做「刷臟」。
3. redo日志
3.1 為什么需要redo日志
不定時刷臟又帶來一個問題。如果臟頁的數據還沒有刷新到磁盤上,此時數據庫突然宕機或重啟,這些數據就會丟失。
首先想到的最簡單粗暴的解決方案就是在事務提交之前,把該事務修改的所有頁面都刷新到磁盤。但是上文說過,頁是內存和磁盤交互的最小單位,如果只修改了1個字節,卻要刷新16KB的數據到磁盤上,不得不說太浪費了,此路不通!
所以,必須要有一個持久化的措施。
為了解決這個問題,InnoDB把對所有頁的更新操作(再強調一遍,包含INSERT、UPDATE、DELETE)專門寫入一個日志文件。
當有未同步到磁盤中的數據時,數據庫在啟動的時候,會根據這個日志文件進行數據恢復。我們常說的關系型數據庫的ACID
特性中的D
(持久性),就是通過這個日志來實現的。
這個日志文件就是大名鼎鼎的 redo日志 。
「re」在英文中的詞根含義是“重新”,redo就是「重新做」的意思,顧名思義就是MySQL根據這個日志文件重新進行操作
這就出現了一個有意思的問題,刷新磁盤和寫redo日志都是進行磁盤操作,為什么不直接把數據刷新到磁盤中呢?
3.2 磁道尋址
我們需要稍微了解一下磁道尋址的過程。磁盤的構造如下圖所示。
每個硬盤都有若干個盤片,上圖的硬盤有4個盤片。
每個盤片的盤面上有一圈圈的同心圓,叫做「磁道」。
從圓心向外畫直線,可以將磁道劃分為若干個弧段,每個磁道上一個弧段被稱之為一個「扇區」(右上圖白色部分)。數據是保存在扇區當中的,扇區是硬盤讀寫的最小單元,如果要讀寫數據,必須找到對應的扇區,這個過程叫做「尋址」。
3.2.1 隨機I/O
如果我們需要的數據是隨機分散在磁盤上不同盤片的不同扇區中,那么找到相應的數據需要等到磁臂旋轉到指定的盤片然后繼續尋找對應的扇區,才能找到我們所需要的一塊數據,持續進行此過程直到找完所有數據,這個就是隨機I/O,讀取數據速度非常慢。
3.2.2 順序I/O
假設我們已經找到了第一塊數據,并且其他所需的數據就在這一塊數據之后,那么就不需要重新尋址,可以依次拿到我們所需的數據,這個就叫順序 I/O。
現在回答之前的問題。因為刷臟是隨機I/O,而記錄日志是順序I/O(連續寫的),順序I/O效率更高,本質上是數據集中存儲和分散存儲的區別。因此先把修改寫入日志文件,在保證了內存數據的安全性的情況下,可以延遲刷盤時機,進而提升系統吞吐。
3.3 redo日志的系統變量
redo日志位于MySQL數據目錄下,默認有ib_logfile0
和ib_logfile1
兩個文件,如下圖所示。
可以發現,兩個redo日志文件的大小都是50331648,默認48MB。為什么這個大小是固定的呢?因為如果我們要使用順序I/O,就必須在申請磁盤空間的時候一次性決定申請的空間大小,這樣才能保證申請的磁盤空間在地址上的連續性。
這也就決定了redo日志的舊數據會被覆蓋,一旦文件被寫滿,就會觸發Buffer Pool臟頁到磁盤的同步,以騰出額外空間記錄后面的修改。
可以通過以下指令查看redo日志的系統屬性。
mysql> show variables like 'innodb_log%';
+-----------------------------+----------+
| Variable_name | Value |
+-----------------------------+----------+
| innodb_log_buffer_size | 16777216 |
| innodb_log_checksums | ON |
| innodb_log_compressed_pages | ON |
| innodb_log_file_size | 50331648 |
| innodb_log_files_in_group | 2 |
| innodb_log_group_home_dir | ./ |
| innodb_log_write_ahead_size | 8192 |
+-----------------------------+----------+
參數名稱 | 含義 |
---|---|
innodb_log_file_size | 指定每個redo日志文件的大小,默認48MB |
innodb_log_files_in_group | 指定redo日志文件的數量,默認2 |
innodb_log_group_home_dir | 指定redo文件的路徑,如果不指定,則默認為datadir目錄 |
介紹到這里,讀者朋友可以發現,我們剛才探索的是如何讓已經提交的事務保持持久化,但是如果某些事務偏偏在執行到一半的時候出現問題怎么辦?
事務的原子性要求事務中的所有操作要么都成功,要么都失敗,不允許存在中間狀態。就好比我在寫這篇文章的時候,會時不時地敲一下ctrl+Z
返回到上一步或者過去好幾步之前的狀態,MySQL也需要“留一手”,把事務回滾時需要的東西都記錄下來。
比如,插入數據的時候,至少應該把新增的這條記錄的主鍵的值記錄下來,這樣回滾的時候只要把這個主鍵值對應的記錄刪除就可以了。
MySQL又一個鼎鼎大名的日志—— undo日志 ,正式登場!
-
編程
+關注
關注
88文章
3619瀏覽量
93773 -
SQL
+關注
關注
1文章
766瀏覽量
44159 -
MySQL
+關注
關注
1文章
816瀏覽量
26605
發布評論請先 登錄
相關推薦
評論