色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

37年歷史的PostgreSQL數據庫將進行重大架構變更

jf_WZTOguxH ? 來源:InfoQ ? 2023-06-25 15:54 ? 次閱讀

在瞬息萬變的開源世界中,軟件項目來得快、去得也快。如今獲得廣泛追捧的工具,很可能在短時間后就被更好的成果取代,再也無人問津。但即使在這樣殘酷的環境下,也有不少項目能夠長期保持生命力。

PostgreSQL 數據庫系統就是其中的典型,其歷史可以追溯到 1986 年的伯克利 POSTGRES 項目。經過幾十年的發展,作為一款跨平臺、免費和開源的數據庫軟件,PostgreSQL 應用已經相當廣泛:根據 Stack Overflow 2023 開發者調查數據顯示,PostgreSQL 甚至超越了 MySQL,成為開發人員首選。

對擁有如此悠久歷史的大型代碼庫做根本性變更絕非易事,但項目開發團隊正在認真考慮這種可能性,希望讓 PostgreSQL 脫離長久以來的面向進程模型。

任何 PostgreSQL 實例都是以大量協作進程的形式保持運行,其中包含一個用于所有接入客戶端的進程。這些進程使用精心設計的庫通過多個共享內存區域進行彼此通信,而這個庫的作用就是在內存設置各異、映射地址不同的所有進程之間建立起復雜的數據結構。

多年以來,這套模型一直兢兢業業地支撐整個項目。但隨著項目發展,現實世界正在發生巨大變化。因此,PostgreSQL 開發團隊意識到必須盡快調整、順應現實的潮流。

一份提案

今年 6 月初,Heikki Linnakangas 在經過一系列線下討論之后,發布了將 PostgreSQL 轉為線程模型的提案。

89bbb4cc-1250-11ee-962d-dac502259ad0.png

我覺得現在大家已經達成了強烈共識,比以往任何時候都更支持這項重大調整。實現這個目標需要投入大量精力、討論很多細節,但團隊高層對這個基本思路沒有異議。 這封電子郵件的發布,就是想把這種沉默的共識變成明確的發展路線。

其中簡要概括了這項遷移所涉及的種種挑戰,并低調地承認轉化過程“肯定無法通過單一版本徹底完成”。但郵件中沒有提到推動這項重大變更的原因,好在隨著討論的進行,相關信息很快得到了補充。正如 Andres Freund(PostgreSQL Developer & Committer,EnterpriseDB 高級數據庫架構師)指出的那樣:

我認為原有流程模型開始產生諸多限制,這個問題在大型設備上體現得尤其明顯。跨進程上下文切換所帶來的開銷,原本就比在同一進程內的不同線程間切換要更高——我估計這種開銷還將持續提升。面對大量連接,整個體系最終一定會因 TLB 未命中而浪費大量時間。這是進程模型無法跨進程共享 TLB 的天然屬性造成的必然結果。

他還提到,進程模型也增加了開發成本,迫使項目不得不維護大量重復代碼,包括在同一地址空間內保留本不必要的多種內存管理機制。在隨后的消息中,他還補充稱由于線程全部運行在同一地址空間之內,因此可以更高效地實現狀態共享。

89e34316-1250-11ee-962d-dac502259ad0.png

但有部分開發人員反映,Linnakangas 所說的“強烈共識”可能并沒有那么強烈。Postgres 的主要貢獻者 Tom Lane 表示,“我認為這將是一場災難,大量原有代碼將受到影響。”他隨后補充稱,此次調整將帶來“巨大”成本,產生“不止一個安全級 bug”,也無法證明其收益超過成本投入。有人提出,目前還有其他一些高優先級工作值得早做打算。也有人擔心隨著進程模型被淘汰,原本基于各獨立進程的隔離性將被打破,導致系統的整體健壯性受到破壞。

盡管如此,大部分 PostgreSQL 開發者還是以謹慎樂觀的態度支持、至少愿意嘗試這一改動。EnterpriseDB 副總裁、首席數據庫科學家,PostgreSQL 主要貢獻者 Robert Haas 表示,PostgreSQL 在大型系統上的擴展性確實不佳,主要就是因為所有進程都在消耗資源。“其他很多數據庫并不存在這個問題。如果不進行某種重大的架構變更,PostgreSQL 將無法克服這個難題。”

也許單純轉向線程模型可能還不夠,但他認為這將為其他后續改進開個好頭。

從提案到現實

將 PostgreSQL 服務器的核心轉移至單一地址空間,幾乎必然帶來諸多挑戰。正如 Haas 等研究人員所指出,其中最大的問題就是服務器“目前正頻繁使用全局變量”。具體來講,當每個服務器進程都擁有自己的集合時,全局變量就能良好運作;而在用線程加以替代時則會引發問題。根據 Konstantin Knizhnik 的說法,PostgreSQL 服務器目前使用約 2000 個全局變量。

開發團隊隨后討論了該問題的幾種解決思路。首先是將所有全局變量拉入統一的“會話狀態”結構,而這套結構具備線程本地化屬性。但考慮到需要創建并維護的是需要容納 2000 個變量成員的復雜結構時,這個提議因為可行性太低而很快失去了吸引力。另一種方法是直接把所有全局變量放入線程本地存儲內,這種方法倒是簡單可行,但大量使用線程本地存儲會導致性能損失,損耗轉為線程模型帶來的收益。Haas 指出,對全局變量做明確標記(包括將其放入線程本地存儲)本身也有積極的意義,可說為減少全局變量的使用開了個好頭。Freund 贊同這個觀點,并表示即使后續沒有全面轉向線程模型,這項調整也將有所回報。

但 Freund 也警告稱,將全局變量轉移至線程本地存儲只是這項工作中最簡單的部分:

在此之后,重新設計 postmaster、定義如何處理擴展庫、擴展兼容性、開發工具以實現線程化 postgres、在會話生命周期內建立新的內存分配和釋放機制(以往是通過退出進程實現內存釋放)、保證變更的可審查性和可移植性等等,全都是更加困難的工作。

這里還有一個討論熱度不高、但卻非常有趣的觀點,即 Knizhnik 已經完成了 PostgreSQL 的線程端口。他說全局變量的問題并不是那么難以解決。他在配置數據、錯誤處理、信號等方面遇到的麻煩還更多。另外,支持由外部維護的擴展也是個重大挑戰。可盡管如此,他還是認可轉向線程模型所帶來的一系列顯著回報,只是提醒項目決策層在采取任何行動之前,務必要認真做好研究分析。

PostgreSQL 開發團隊還想到了另一個復雜問題,即是否可能同時支持基于進程和基于線程兩種模式。在繼續支持進程模式的同時引入線程架構不僅極為困難,而且會顯著增加項目的總體維護負擔。但 Haas 堅持認為,PostgreSQL 絕對不可能徹底放棄對進程模式的支持。畢竟線程在一部分用例中的性能反而更差,也有不少重要擴展無法在線程模式下正常運行。他強調稱,只有在確認線程架構運行良好之后,才可能認真討論要不要徹底放棄進程支持。

目前無論是從郵件討論還是從社交媒體平臺投票結果來看,大多數 PostgreSQL 開發者認同架構轉換的理論收益。

89fccfac-1250-11ee-962d-dac502259ad0.png

并且,數據庫管理系統 Peloton 早在 2015 年就已經嘗試讓 PostgreSQL 多線程化了。至于 PostgreSQL 本身,從討論到具體實施落地還有很長的路要走,更重要的是,需要有人主動請纓、表示愿意投入時間來推進這項工作。

8a22fe7a-1250-11ee-962d-dac502259ad0.png

Peloton 的《Postgres 架構變更公告》:

最初,Postgres 采用的是多進程架構。其中主進程名為 Postmaster,負責處理 Postgres 接收到的請求,以及啟動、關閉等系統層面的操作。請注意,Postmaster 本身并不執行這些操作,而會派生出子進程來執行操作。再有,處理用戶查詢的 backend 也是由 Postmaster 分叉而來。這種架構非常適合基于磁盤的數據庫,因為磁盤可以作為大容量共享存儲。由于 peloton 充當主內存數據庫,多進程架構導致不同后端和 peloton 數據庫間的信息共享變得極其困難。在早期的嘗試中,我們曾考慮用共享內存讓 peloton 從每個分叉的 backend 處獲取查詢計劃和其他信息。但結果證明其性能慢得令人無法接受,因此我們最終決定將 Postgres 轉為多線程架構!

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據庫
    +關注

    關注

    7

    文章

    3816

    瀏覽量

    64472
  • 架構
    +關注

    關注

    1

    文章

    515

    瀏覽量

    25492
  • MySQL
    +關注

    關注

    1

    文章

    816

    瀏覽量

    26613

原文標題:這將是一場災難?37年歷史的PostgreSQL數據庫將進行重大架構變更

文章出處:【微信號:AI前線,微信公眾號:AI前線】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    數據庫加密辦法

    ,當我們聊到數據加密的時候,可以從這些角度入手來提高數據的安全性。 TDE手段 TDE也就是透明數據加密,是一種在數據庫級別進行加密的技術。
    的頭像 發表于 12-24 09:47 ?88次閱讀

    如何使用cmp進行數據庫管理的技巧

    使用 cmp 命令進行數據庫管理可能不是最直觀的方法,因為 cmp 通常用于比較兩個文件是否相同。然而,如果你的意圖是使用 cmp 來檢查數據庫文件或備份文件的一致性,以下是一些技巧和步驟,可以幫助
    的頭像 發表于 12-17 09:31 ?124次閱讀

    數據庫數據恢復—Mysql數據庫表記錄丟失的數據恢復流程

    Mysql數據庫故障: Mysql數據庫表記錄丟失。 Mysql數據庫故障表現: 1、Mysql數據庫表中無任何數據或只有部分
    的頭像 發表于 12-16 11:05 ?172次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—Mysql<b class='flag-5'>數據庫</b>表記錄丟失的<b class='flag-5'>數據</b>恢復流程

    數據庫事件觸發的設置和應用

    數據庫無論對于生產管理還是很多的實際應用都非常重要。小編這次聊一下數據庫事件觸發的應用。示例使用了postgresql和Python。
    的頭像 發表于 12-13 15:14 ?149次閱讀

    數據庫數據恢復—MYSQL數據庫ibdata1文件損壞的數據恢復案例

    mysql數據庫故障: mysql數據庫文件ibdata1、MYI、MYD損壞。 故障表現:1、數據庫無法進行查詢等操作;2、使用mysqlcheck和myisamchk無法修復
    的頭像 發表于 12-09 11:05 ?171次閱讀

    不用編程不用電腦,快速實現多臺Modbus協議的PLC、智能儀表對接SQL數據庫

    的參數按照任務組自動生成SQL命令語句,實現多設備SQL命令與數據庫軟件對接,支持MySQL、SQLServer、PostgreSQL、Oracle等。
    的頭像 發表于 12-09 10:53 ?244次閱讀
    不用編程不用電腦,快速實現多臺Modbus協議的PLC、智能儀表對接SQL<b class='flag-5'>數據庫</b>

    數據庫數據恢復—通過拼接數據庫碎片恢復SQLserver數據庫

    一個運行在存儲上的SQLServer數據庫,有1000多個文件,大小幾十TB。數據庫每10天生成一個NDF文件,每個NDF幾百GB大小。數據庫包含兩個LDF文件。 存儲損壞,數據庫
    的頭像 發表于 10-31 13:21 ?251次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—通過拼接<b class='flag-5'>數據庫</b>碎片恢復SQLserver<b class='flag-5'>數據庫</b>

    數據庫數據恢復—SQL Server數據庫出現823錯誤的數據恢復案例

    SQL Server數據庫故障: SQL Server附加數據庫出現錯誤823,附加數據庫失敗。數據庫沒有備份,無法通過備份恢復數據庫
    的頭像 發表于 09-20 11:46 ?365次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—SQL Server<b class='flag-5'>數據庫</b>出現823錯誤的<b class='flag-5'>數據</b>恢復案例

    恒訊科技分析:跨境電商網站有哪些數據庫系統是推薦使用的?

    聞名,適合處理大量的數據和高并發請求,是電商網站常用的數據庫之一 。 2、PostgreSQLPostgreSQL是一個高度可擴展的開源對象關系
    的頭像 發表于 08-12 15:01 ?376次閱讀

    恒訊科技分析:sql數據庫怎么用?

    SQL數據庫的使用通常包括以下幾個基本步驟: 1、選擇數據庫系統: 選擇適合您需求的SQL數據庫系統,如MySQL、PostgreSQL、Microsoft SQL Server、SQ
    的頭像 發表于 07-15 14:40 ?372次閱讀

    MongoDB數據恢復—MongoDB數據庫文件損壞的數據恢復案例

    的情況下,數據庫文件拷貝到其他分區。拷貝完成后原MongoDB數據庫所在分區進行了格式化操作,然后
    的頭像 發表于 04-23 14:48 ?417次閱讀
    MongoDB<b class='flag-5'>數據</b>恢復—MongoDB<b class='flag-5'>數據庫</b>文件損壞的<b class='flag-5'>數據</b>恢復案例

    華為云多模數據庫 GeminiDB 架構與應用實踐直播問答實錄

    龍通過直播(鏈接見文末)的方式,分享了《華為云多模數據庫 GeminiDB 的技術架構及應用實踐》,對 GeminiDB 的技術特性、架構優勢等進行了全方位解讀。整場直播干貨滿滿,讓觀
    的頭像 發表于 04-08 18:25 ?1175次閱讀

    PostgreSQL數據庫連接報錯故障分析

    數據庫的密碼設置錯誤或未設置,在連接到本地服務后,重新設置即可。本次錯誤就是大意密碼錯打了一個字母。
    的頭像 發表于 03-15 10:00 ?1558次閱讀
    <b class='flag-5'>PostgreSQL</b><b class='flag-5'>數據庫</b>連接報錯故障分析

    GSMA最新資訊:IMEI數據庫平臺品牌更新與鏈接地址變更告知

    GSMA最新資訊:IMEI數據庫平臺品牌更新與鏈接地址變更告知
    的頭像 發表于 02-19 17:07 ?583次閱讀
    GSMA最新資訊:IMEI<b class='flag-5'>數據庫</b>平臺品牌更新與鏈接地址<b class='flag-5'>變更</b>告知

    數據庫數據恢復】Oracle數據庫ASM實例無法掛載的數據恢復案例

    oracle數據庫ASM磁盤組掉線,ASM實例不能掛載。數據庫管理員嘗試修復數據庫,但是沒有成功。
    的頭像 發表于 02-01 17:39 ?533次閱讀
    【<b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復】Oracle<b class='flag-5'>數據庫</b>ASM實例無法掛載的<b class='flag-5'>數據</b>恢復案例
    主站蜘蛛池模板: 打扑克床上视频不用下载免费观看| 国产精品爽爽久久久久久蜜桃| 色欲AV精品人妻一区二区三区| 成人性生交大片免费看中文 | 持田香织abc| 天天影视网网色色欲| 成人免费小视频| 午夜伦午夜伦锂电影| 久久99精品AV99果冻传媒| 亚洲高清毛片一区二区| 久久人人爽人人片AV人成| 草莓视频免费在线观看| 亚洲精品第一页中文字幕| 门鱼电影完整版免费版| 国产精品成人啪精品视频免费观看| 日韩在线av免费视久久| 国模玲玲自拍337p| 97精品在线播放| 亚洲国产精品嫩草影院永久| 免费夜色污私人影院网站| 国产欧美一区二区三区免费| 99热久久视频只有精品6国产| 先锋影音 av| 任你懆视频 这里只有精品| 久久99re热在线观看视频| 俄罗斯人与动ZOOZ| 4388成人| 强壮的公次次弄得我高潮韩国电影 | 0951影音在线| 香蕉久久一区二区三区啪啪| 免费观看美女的网站| 国语自产精品一区在线视频观看 | 亚洲精品天堂在线| 区一区二视频免费观看| 久久久无码精品无码国产人妻丝瓜 | 宝贝好紧好爽再搔一点试視頻| 亚洲欧洲精品成人久久曰影片 | 亚洲欧洲自拍偷拍| 无码欧美喷潮福利XXXX| 国产在线自天天人人| 亚洲色欲色欲综合网站|