Pgit: Tôi đã nhập hạt nhân Linux vào PostgreSQL

Máy chủ

Hetzner Dedicated "Server Auction" từ trung tâm dữ liệu Phần Lan (HEL1):

Cài đặt hệ điều hành

installimage của Hetzner với Ubuntu 24.04 LTS. Hai thay đổi so với cấu hình mặc định: RAID 0 (SWRAIDLEVEL 0) để có lưu lượng tối đa (không cần dự phòng cho công việc phân tích tạm thời) và bố cục phân vùng đơn giản:

PART /boot ext3 1024M
PART swap swap 4G
PART / ext4 all

Điều này cung cấp khoảng 3,5 TB dung lượng lưu trữ khả dụng trên hai ổ SSD 1,92 TB.

Tinh chỉnh hệ điều hành

Sau khi khởi động vào image đã cài đặt:

# --- Các gói phần mềm ---
apt update && apt upgrade -y
apt install -y \
  tmux btop htop iotop \
  cpufrequtils numactl \
  git curl wget unzip \
  build-essential \
  ufw \
  linux-tools-common linux-tools-$(uname -r)
# --- CPU governor → performance (tất cả 48 luồng) ---
for cpu in /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor; do
    echo performance > "$cpu"
done
cat > /etc/default/cpufrequtils << 'EOF'
GOVERNOR="performance"
EOF
systemctl enable cpufrequtils
systemctl restart cpufrequtils
# --- Tắt các biện pháp giảm thiểu Kernel ---
sed -i 's/GRUB_CMDLINE_LINUX_DEFAULT="consoleblank=0"/GRUB_CMDLINE_LINUX_DEFAULT="consoleblank=0 mitigations=off"/' /etc/default/grub.d/hetzner.cfg
update-grub
# --- sysctl ---
cat >> /etc/sysctl.conf << 'EOF'
vm.swappiness = 1
vm.dirty_ratio = 5
vm.dirty_background_ratio = 2
kernel.numa_balancing = 1
EOF
sysctl -p
# --- Vô hiệu hóa Transparent Huge Pages ---
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
cat > /etc/systemd/system/disable-thp.service << 'EOF'
[Unit]
Description=Disable Transparent Huge Pages
DefaultDependencies=no
After=sysinit.target local-fs.target
Before=basic.target
[Service]
Type=oneshot
ExecStart=/bin/sh -c 'echo never > /sys/kernel/mm/transparent_hugepage/enabled && echo never > /sys/kernel/mm/transparent_hugepage/defrag'
[Install]
WantedBy=basic.target
EOF
systemctl daemon-reload
systemctl enable disable-thp
# --- noatime ---
sed -i 's|relatime|noatime|g' /etc/fstab
mount -o remount,noatime /
# --- Tường lửa ---
ufw default deny incoming
ufw default allow outgoing
ufw allow ssh
ufw --force enable
# --- Go 1.26.0 ---
wget https://go.dev/dl/go1.26.0.linux-amd64.tar.gz
rm -rf /usr/local/go && tar -C /usr/local -xzf go1.26.0.linux-amd64.tar.gz
rm go1.26.0.linux-amd64.tar.gz
echo 'export PATH=$PATH:/usr/local/go/bin:$HOME/go/bin' >> ~/.bashrc
source ~/.bashrc
# --- Docker ---
apt install -y docker.io
systemctl enable docker
systemctl start docker
# --- Khởi động lại để áp dụng các thay đổi ---
reboot

Container pg-xpatch

Đã tải xuống image Docker pg-xpatch mới nhất chuẩn:

docker pull ghcr.io/imgajeed76/pg-xpatch:latest

Phiên bản pgit

pgit v4 với một vài thay đổi cục bộ chưa được phát hành tại thời điểm nhập. Đến khi bạn đọc bài viết này, chúng đã được đưa vào phiên bản mới nhất, vì vậy mọi thứ ở đây đều có thể tái tạo bằng lệnh go install thông thường. Thay đổi chính là bản sửa lỗi sắp xếp seq, thay thế việc hack dấu thời gian đơn điệu bằng cột seq INTEGER NOT NULL rõ ràng để sắp xếp commit. Điều này giúp việc giải nén chuỗi delta nhanh hơn đáng kể khi quét tuần tự. Danh sách thay đổi đầy đủ:

• db/schema.go — Đã thêm cột seq INTEGER NOT NULL, order_by => 'seq' trong xpatch.configure()
• db/commits.go — Đã thêm trường Seq vào struct, cập nhật tất cả các lệnh INSERT/COPY
• cli/import.go — Điền vào Seq (đánh số từ 1), xóa bỏ hack dấu thời gian đơn điệu
• repo/commit.go — pgit commit tính toán MAX(seq)+1, bao gồm seq trong INSERT
• cli/analyze.go — Cờ --timeout (thay thế giới hạn cứng 5 phút), ORDER BY seq ASC trong các truy vấn
• cli/local.go — Hiển thị image container thực tế thay vì DefaultImage cố định
• container/runtime.go — Hàm GetContainerImage() mới
• Dọn dẹp tài liệu/văn bản trong README, sql.go, commits.go, ulid.go, config/reflect.go

Cấu hình pgit

# --- PostgreSQL core ---
pgit config --global container.shared_buffers 64GB
pgit config --global container.effective_cache_size 400GB
pgit config --global container.work_mem 256MB
pgit config --global container.wal_buffers 512MB
pgit config --global container.max_wal_size 32GB
pgit config --global container.checkpoint_timeout 60min
pgit config --global container.max_connections 50
pgit config --global container.port 5433
pgit config --global container.shm_size 450g
# --- Parallelism (24c/48t EPYC 7401P) ---
pgit config --global container.max_worker_processes 28
pgit config --global container.max_parallel_workers 24
pgit config --global container.max_parallel_per_gather 12
# --- xpatch content cache (350 GB) ---
pgit config --global container.xpatch_cache_size_mb 358400            # 350 GB
pgit config --global container.xpatch_cache_max_entries 41000000      # 31.5M cần thiết + 30%
pgit config --global container.xpatch_cache_max_entry_kb 16384        # 16 MB max cho mỗi mục
pgit config --global container.xpatch_cache_slot_size_kb 4            # mặc định, phù hợp với nhiều kích thước
pgit config --global container.xpatch_cache_partitions 24             # một cho mỗi lõi
# --- xpatch sub-caches ---
pgit config --global container.xpatch_group_cache_size_mb 256         # 85K nhóm cần 4 MB (62×)
pgit config --global container.xpatch_tid_cache_size_mb 4096          # 25.8M hàng cần 1.1 GB (3.7×)
pgit config --global container.xpatch_seq_tid_cache_size_mb 4096      # 25.8M hàng cần 1.5 GB (2.7×)
# --- xpatch insert / encoding ---
pgit config --global container.xpatch_insert_cache_slots 256          # 24 worker × nhóm đồng thời
pgit config --global container.xpatch_encode_threads 2                # ×24 worker = 48 HW threads
pgit config --global container.xpatch_warm_cache_workers 24           # một cho mỗi lõi
# --- Import ---
pgit config --global import.workers 24

Cơ sở lý luận cấu hình

Các chỉ số cơ sở của Git

Trước khi import, chúng tôi đã clone kernel và đo lường kho lưu trữ git gốc:

cd /root
git clone --single-branch --branch master https://github.com/torvalds/linux.git
cd /root/linux
git rev-list --count HEAD                                              # 1,428,882
git gc --quiet && du -sb .git/objects/pack/*.pack                      # 6,213,222,259 (5.79 GB)
git cat-file --batch-all-objects --batch-check='%(objecttype) %(objectsize)' \
  | awk '{sum += $2} END {printf "%.2f GB\n", sum/1024/1024/1024}'     # 144.43 GB
time git fast-export --reencode=yes --show-original-ids master \
  > /root/linux.fastexport                                             # 17m18s, 126 GB
time git gc --aggressive --quiet && du -sb .git/objects/pack/*.pack    # 24m46s, 2,093,181,079 (1.95 GB)

Quy trình import

Đã khởi động container pg-xpatch bằng pgit local start (kiểm tra khởi động bị timeout vì việc cấp phát 450 GB bộ nhớ chia sẻ mất chút thời gian, nhưng sau đó nó vẫn khởi động). Đã đợi cơ sở dữ liệu sẵn sàng bằng docker logs pgit-local -f.

cd /root/linux-analysis
pgit init
time pgit import /root/linux --branch master --fastexport /root/linux.fastexport

Lưu ý: Bảng thứ hai đã loại bỏ overhead của PostgreSQL khỏi từng thành phần, do đó các hàng sẽ không cộng lại khớp với bảng tổng dung lượng trên đĩa ở trên.

171.525 đường dẫn được gộp thành 137.600 nhóm delta (phát hiện đổi tên/sao chép). Khử trùng lặp blob 7.9x: 24.4 triệu tham chiếu tệp chỉ trỏ đến 3.1 triệu phiên bản nội dung duy nhất.

Btrfs có 7 mục trong top 30, tất cả đều tỏa ra từ ctree.h. Tệp tiêu đề đó là trung tâm liên kết của toàn bộ hệ thống tệp Btrfs.

Các con số này chỉ tính từ tin nhắn commit, không phải mã nguồn. Sử dụng regex ranh giới từ của PostgreSQL (\y) để tránh kết quả dương tính giả ("ass" trùng với "class", "hell" trùng với "shell"):

Và trong mã nguồn, một số "viên ngọc" quý:

Các chiến binh cuối tuần:

Jonathan Cameron và Christophe JAILLET thực hiện hơn một nửa công việc kernel của họ vào cuối tuần. Họ là những người đóng góp không chuyên, duy trì các driver trong thời gian rảnh rỗi.

Những người tận tụy với một tệp duy nhất:

Toàn bộ sự nghiệp kernel của Connor McAdams (89 commit) là một driver card âm thanh Creative Labs duy nhất (patch_ca0132.c). Lydia Wang (63 commit) dành trọn tâm huyết cho codec âm thanh VIA. Hai người riêng biệt, Pavel Rojtberg và Cameron Gutman, đã độc lập dành sự đóng góp kernel của họ chỉ cho driver bộ điều khiển Xbox (xpad.c).

Hành trình sự nghiệp:

James Bottomley (người duy trì SCSI) đã commit từ 19 tên miền email khác nhau trong 20 năm. Git log của anh ấy CHÍNH LÀ sơ yếu lý lịch của anh ấy: SteelEye → HP → Parallels → Odin → và nhiều hơn nữa. Linus có 12 tên miền. David S. Miller có 11.

Commit vào ngày Giáng sinh:

Kernel chưa bao giờ có một ngày Giáng sinh nào với số lượng commit bằng 0 trong suốt 21 năm qua. Năm 2008 ghi nhận 157 commit vào ngày 25 tháng 12 (trong đợt cao điểm hợp nhất x86). Ngay cả trong ngày Giáng sinh yên tĩnh nhất (năm 2005, với 1 commit), vẫn có ai đó đang làm việc.

Ngày bận rộn nhất:

Ngày 18 tháng 11 năm 2022: 662 commit. Một cá nhân (Uwe Kleine-König) đã thực hiện 583 trong số đó trong một đợt chuyển đổi kiểu trả về platform_driver hàng loạt. Ngày bận rộn thứ hai là 30 tháng 1 năm 2008 (640 commit): ba lập trình viên duy trì hơn 600 commit/ngày trong ba ngày liên tiếp trong quá trình hợp nhất x86.

Khoảng cách về văn hóa ghi chú commit (commit message):

Jeff Garzik trung bình viết 161 byte cho mỗi thông điệp commit. Filipe Manana (Btrfs) trung bình viết 1.950 byte. Một khoảng cách gấp 12 lần. Toàn bộ hệ thống con quản lý bộ nhớ (mm/) thường có xu hướng viết dài dòng: 3 người đóng góp hàng đầu đều nằm trong top 5 người viết thông điệp dài nhất. Khi các lỗi của bạn tinh vi và gây hậu quả nghiêm trọng, bạn buộc phải giải thích chi tiết.

Driver GPU là "thỏi nam châm" thu hút các lệnh hoàn tác (revert):

drm/amd/display (191 lượt revert) + drm/amdgpu (127) + drm/i915 (147) = 516 lượt revert liên quan đến GPU, chiếm gần 10% tổng số lượt revert trong toàn bộ kernel. Mã nguồn hiển thị (display code) có các tương tác phần cứng phức tạp, các máy trạng thái quản lý điện năng và các API userspace nhạy cảm với hồi quy (regression).

# Storage & compression (2.1s)
pgit stats --xpatch
# Churn (2.3s)
pgit analyze churn --limit 30
# Hotspots (1.8s)
pgit analyze hotspots --depth 1 --limit 25
# Authors (34.3s)
pgit analyze authors --limit 30 --timeout 60m
# Activity (9.4s)
pgit analyze activity --period year --limit 25 --timeout 60m
# Coupling (48.3s)
pgit analyze coupling --limit 30 --timeout 60m
# Merge hierarchy (4.6s)
pgit sql "SELECT committer_name, COUNT(*) as merged,
  SUM(CASE WHEN author_name = committer_name THEN 1 ELSE 0 END) as self_authored
  FROM pgit_commits GROUP BY committer_name ORDER BY merged DESC LIMIT 15"
# Corporate contributions (5.4s)
pgit sql "SELECT
  CASE
    WHEN author_email LIKE '%%@intel.com' THEN 'Intel'
    WHEN author_email LIKE '%%@redhat.com' THEN 'Red Hat'
    WHEN author_email LIKE '%%@kernel.org' THEN 'kernel.org'
    -- ... (full domain mapping)
  END as org,
  COUNT(*) as commits, COUNT(DISTINCT author_email) as authors
  FROM pgit_commits GROUP BY org ORDER BY commits DESC"
# Fixes: tag evolution (4.5s)
pgit sql "SELECT EXTRACT(YEAR FROM authored_at)::int as year,
  SUM(CASE WHEN message ~* 'Fixes:\s+[0-9a-f]{12}' THEN 1 ELSE 0 END) as fixes_commits,
  COUNT(*) as total
  FROM pgit_commits GROUP BY year ORDER BY year"
# Most-fixed commits (4.9s)
pgit sql "SELECT SUBSTRING(message FROM 'Fixes:\s+([0-9a-f]{12})') as broken_commit,
  COUNT(*) as times_fixed
  FROM pgit_commits
  WHERE message ~* 'Fixes:\s+[0-9a-f]{12}'
  GROUP BY broken_commit ORDER BY times_fixed DESC LIMIT 10"
# Profanity with word boundaries (~5s)
pgit sql "WITH words(word) AS (VALUES ('fuck'),('shit'),('damn'),('stupid'),('crap'),('ugly'),('hack'),('workaround'))
  SELECT w.word, COUNT(*) as cnt
  FROM pgit_commits c, words w
  WHERE c.message ~* ('\y' || w.word || '\y')
  GROUP BY w.word ORDER BY cnt DESC"
# Source code search
pgit search "fuck" --path "*.c" --path "*.h"
pgit search "fuck" --path "*.c" --path "*.h" --all
# Triple reverts (5.7s)
pgit sql "SELECT author_name, authored_at::date, LEFT(message, 200)
  FROM pgit_commits
  WHERE message ILIKE 'Revert \"Revert \"Revert%%'"
# Kent Overstreet trajectory (4.1s)
pgit sql "SELECT EXTRACT(YEAR FROM authored_at)::int as year, COUNT(*)
  FROM pgit_commits WHERE author_name = 'Kent Overstreet'
  GROUP BY year ORDER BY year"
# Weekend warriors (1m 41s)
pgit sql "SELECT author_name, COUNT(*) as weekend_commits,
  (SELECT COUNT(*) FROM pgit_commits c2 WHERE c2.author_name = c.author_name) as total
  FROM pgit_commits c WHERE EXTRACT(DOW FROM authored_at) IN (0, 6)
  GROUP BY author_name ORDER BY weekend_commits DESC LIMIT 15"