binary_log 是一個用于 C++ 的快速二進制記錄器。

Highlights

• 以緊湊的二進制格式記錄消息
• 快速地
  • 每秒數億條日志
  • 基本數據類型的平均延遲為2-7 ns
  • 查看基準
• 提供解包器來壓縮日志消息
• 使用?fmtlib?格式化日志
• 同步日志記錄 - 不是線程安全的
• Header-only library
  • 此處提供單個頭文件版本
• 需要 C++20

Usage and Performance

以下代碼將 10 億個整數記錄到文件中。

#include <binary_log/binary_log.hpp>

int main()
{
  binary_log::binary_log log("log.out");

  for (int i = 0; i < 1E9; ++i)
    BINARY_LOG(log, "Hello logger, msg number: {}", i);
}

在一個現代工作站桌面上，上述代碼的執行時間為~3.5秒。

foo@bar:~/dev/binary_log$ time ./build/examples/billion_integers/billion_integers

real    0m3.561s
user    0m2.422s
sys     0m1.141s

foo@bar:~/dev/binary_log$ ls -lart log.out*
-rw-r--r-- 1 pranav pranav          6 Dec  6 07:52 log.out.runlength
-rw-r--r-- 1 pranav pranav         32 Dec  6 07:52 log.out.index
-rw-r--r-- 1 pranav pranav 4999934337 Dec  6 07:52 log.out

設計目標和決策

• 實現單線程同步記錄器 - 不提供線程安全
  • 如果用戶想要多線程行為，用戶可以選擇并實現自己的排隊解決方案
  • 有許多眾所周知的無鎖隊列可用于此目的（moody::concurrentqueue、atomic_queue等）——讓用戶選擇他們想要使用的技術。
  • 進入無鎖隊列的延遲足夠大
    • 不關心多線程場景的用戶不應該為此付出代價
    • 查看atomic_queue benchmarks，在許多最先進的多生產者、多消費者隊列中發送和接收 4 字節整數（在 2 個線程之間，使用 2 個隊列）的平均往返延遲約為150-250 納秒。
• 避免多次寫入靜態信息
  • 靜態信息示例：格式字符串、格式參數的數量以及每個格式參數的類型
  • 將靜態信息存儲在“索引”文件中
  • 將動態信息存儲在日志文件中（盡可能參考索引文件）
• 在運行時 hot path?中做盡可能少的工作
  • 沒有任何形式的格式
  • 所有格式化都將使用解壓縮二進制日志的解包器脫機進行

運作方式

binary_log?將日志拆分為三個文件：