@xdev-asia/xdev-knowledge-mcp 1.0.36

package/content/series/devsecops/postgresql-high-availability-voi-patroni-etcd/chapters/01-phan-1-tong-quan-nen-tang/lessons/02-bai-1-tong-quan-ve-postgresql-high-availability.md

@@ -0,0 +1,230 @@
+---
+id: 019c9617-fb5e-71a4-b3a1-a77a7c225818
+title: 'Bài 1: Tổng quan về PostgreSQL High Availability'
+slug: bai-1-tong-quan-ve-postgresql-high-availability
+description: >-
+  Tìm hiểu lý do cần High Availability, so sánh các giải pháp HA phổ biến
+  (Patroni, Repmgr, Pacemaker) và nắm vững kiến trúc tổng quan của hệ thống
+  PostgreSQL HA.
+duration_minutes: 110
+is_free: true
+video_url: null
+sort_order: 1
+section_title: "Phần 1: Tổng quan & Nền tảng"
+course:
+  id: 019c9617-fad7-7170-97f5-55c1940af2f5
+  title: PostgreSQL High Availability với Patroni & etcd
+  slug: postgresql-high-availability-voi-patroni-etcd
+---
+<h2 id="m%E1%BB%A5c-ti%C3%AAu-b%C3%A0i-h%E1%BB%8Dc">Mục tiêu bài học</h2><p>Sau bài học này, bạn sẽ:</p><ul><li>Hiểu được tại sao High Availability (HA) quan trọng cho hệ thống database</li><li>Nắm vững các phương pháp triển khai HA cho PostgreSQL</li><li>So sánh được ưu nhược điểm của Patroni, Repmgr và Pacemaker</li><li>Hiểu kiến trúc tổng quan của hệ thống PostgreSQL HA</li></ul><hr><h2 id="1-t%E1%BA%A1i-sao-c%E1%BA%A7n-high-availability">1. Tại sao cần High Availability?</h2><h3 id="11-v%E1%BA%A5n-%C4%91%E1%BB%81-v%E1%BB%9Bi-single-point-of-failure-spof">1.1. Vấn đề với Single Point of Failure (SPOF)</h3><p>Trong một hệ thống database truyền thống với single server:</p><figure class="kg-card kg-image-card kg-card-hascaption"><img src="/storage/uploads/2025/11/single-point-of-failure-spof-93370e03.jpeg" class="kg-image" alt="" loading="lazy" width="2000" height="1091" sizes="(min-width: 720px) 720px"><figcaption><span style="white-space: pre-wrap;">Single Point of Failure (SPOF)</span></figcaption></figure><p><strong>Hậu quả khi database server gặp sự cố:</strong></p><ul><li><strong>Downtime</strong>: Ứng dụng không thể truy cập dữ liệu</li><li><strong>Mất doanh thu</strong>: Mỗi phút downtime có thể tốn hàng triệu đồng</li><li><strong>Mất uy tín</strong>: Người dùng không thể sử dụng dịch vụ</li><li><strong>Mất dữ liệu</strong>: Nếu không có backup kịp thời</li></ul><h3 id="12-c%C3%A1c-nguy%C3%AAn-nh%C3%A2n-g%C3%A2y-downtime-ph%E1%BB%95-bi%E1%BA%BFn">1.2. Các nguyên nhân gây downtime phổ biến</h3>
+<!--kg-card-begin: html-->
+<table>
+<thead>
+<tr>
+<th>Nguyên nhân</th>
+<th>Tỷ lệ</th>
+<th>Ảnh hưởng</th>
+</tr>
+</thead>
+<tbody>
+<tr>
+<td>Lỗi phần cứng (disk, RAM, CPU)</td>
+<td>30%</td>
+<td>Cao</td>
+</tr>
+<tr>
+<td>Lỗi mạng</td>
+<td>20%</td>
+<td>Trung bình</td>
+</tr>
+<tr>
+<td>Lỗi phần mềm/bug</td>
+<td>25%</td>
+<td>Cao</td>
+</tr>
+<tr>
+<td>Maintenance có kế hoạch</td>
+<td>15%</td>
+<td>Có thể kiểm soát</td>
+</tr>
+<tr>
+<td>Lỗi con người</td>
+<td>10%</td>
+<td>Cao</td>
+</tr>
+</tbody>
+</table>
+<!--kg-card-end: html-->
+<h3 id="13-high-availability-l%C3%A0-g%C3%AC">1.3. High Availability là gì?</h3><p><strong>High Availability (HA)</strong> là khả năng hệ thống duy trì hoạt động liên tục ngay cả khi một hoặc nhiều thành phần gặp sự cố.</p><p><strong>Các chỉ số đo lường HA:</strong></p>
+<!--kg-card-begin: html-->
+<table>
+<thead>
+<tr>
+<th>Availability</th>
+<th>Downtime/năm</th>
+<th>Downtime/tháng</th>
+<th>Mức độ</th>
+</tr>
+</thead>
+<tbody>
+<tr>
+<td>99% (2 nines)</td>
+<td>3.65 ngày</td>
+<td>7.2 giờ</td>
+<td>Thấp</td>
+</tr>
+<tr>
+<td>99.9% (3 nines)</td>
+<td>8.76 giờ</td>
+<td>43.2 phút</td>
+<td>Trung bình</td>
+</tr>
+<tr>
+<td>99.99% (4 nines)</td>
+<td>52.56 phút</td>
+<td>4.32 phút</td>
+<td>Cao</td>
+</tr>
+<tr>
+<td>99.999% (5 nines)</td>
+<td>5.26 phút</td>
+<td>25.9 giây</td>
+<td>Rất cao</td>
+</tr>
+</tbody>
+</table>
+<!--kg-card-end: html-->
+<h3 id="14-l%E1%BB%A3i-%C3%ADch-c%E1%BB%A7a-ha">1.4. Lợi ích của HA</h3><p><strong>Business Benefits:</strong></p><ul><li>Giảm thiểu downtime và mất doanh thu</li><li>Tăng độ tin cậy của hệ thống</li><li>Cải thiện trải nghiệm người dùng</li><li>Đáp ứng SLA (Service Level Agreement)</li></ul><p><strong>Technical Benefits:</strong></p><ul><li>Tự động failover khi primary server gặp sự cố</li><li>Zero-downtime maintenance</li><li>Load balancing cho read queries</li><li>Disaster recovery</li><li>Data protection</li></ul><hr><h2 id="2-c%C3%A1c-ph%C6%B0%C6%A1ng-ph%C3%A1p-ha-cho-postgresql">2. Các phương pháp HA cho PostgreSQL</h2><h3 id="21-log-shipping-wal-shipping">2.1. Log-Shipping (WAL Shipping)</h3><figure class="kg-card kg-image-card kg-card-hascaption"><img src="/storage/uploads/2025/11/log-shipping-wal-shipping-1-d17d26c9.png" class="kg-image" alt="" loading="lazy" width="2000" height="1091" sizes="(min-width: 720px) 720px"><figcaption><span style="white-space: pre-wrap;">Log-Shipping (WAL Shipping)</span></figcaption></figure><p><strong>Cách hoạt động:</strong></p><ul><li>Primary server ghi WAL (Write-Ahead Log) files</li><li>WAL files được copy sang standby server</li><li>Standby server replay WAL để đồng bộ dữ liệu</li></ul><p><strong>Ưu điểm:</strong></p><ul><li>Đơn giản, dễ setup</li><li>Ít tốn tài nguyên</li></ul><p><strong>Nhược điểm:</strong></p><ul><li>Recovery Time Objective (RTO) cao (phút → giờ)</li><li>Không có automatic failover</li><li>Data loss có thể xảy ra</li><li>Standby không thể query (warm standby)</li></ul><h3 id="22-streaming-replication">2.2. Streaming Replication</h3><p><strong>Cách hoạt động:</strong></p><ul><li>Primary stream WAL records realtime đến standby</li><li>Standby apply changes ngay lập tức</li><li>Standby có thể serve read queries (hot standby)</li></ul><figure class="kg-card kg-image-card kg-card-hascaption"><img src="/storage/uploads/2025/11/log-shipping-wal-shipping-14c7348d.png" class="kg-image" alt="" loading="lazy" width="2000" height="1091" sizes="(min-width: 720px) 720px"><figcaption><span style="white-space: pre-wrap;">Log-Shipping (WAL Shipping)</span></figcaption></figure><p><strong>Ưu điểm:</strong></p><ul><li>Latency thấp (&lt; 1 giây)</li><li>Hot standby có thể serve read queries</li><li>Synchronous mode giảm data loss</li></ul><p><strong>Nhược điểm:</strong></p><ul><li>Vẫn cần manual failover</li><li>Cần công cụ bên ngoài để tự động hóa</li></ul><h3 id="23-logical-replication">2.3. Logical Replication</h3><p><strong>Cách hoạt động:</strong></p><ul><li>Replicate ở mức logical (tables, rows)</li><li>Cho phép replicate selective data</li><li>Publisher → Subscriber model</li></ul><p><strong>Ưu điểm:</strong></p><ul><li>Replication giữa các PostgreSQL versions khác nhau</li><li>Selective replication (chỉ một số tables)</li><li>Multi-master có thể (với BDR)</li></ul><p><strong>Nhược điểm:</strong></p><ul><li>Overhead cao hơn physical replication</li><li>Không phải giải pháp HA chính (thường dùng cho data distribution)</li></ul><h3 id="24-shared-storage-san">2.4. Shared Storage (SAN)</h3><figure class="kg-card kg-image-card kg-card-hascaption"><img src="/storage/uploads/2025/11/shared-storage-san-c198e575.png" class="kg-image" alt="" loading="lazy" width="2000" height="1091" sizes="(min-width: 720px) 720px"><figcaption><span style="white-space: pre-wrap;">Shared Storage (SAN)</span></figcaption></figure><p><strong>Ưu điểm:</strong></p><ul><li>Failover nhanh (chỉ cần start PostgreSQL)</li><li>Không có data loss</li></ul><p><strong>Nhược điểm:</strong></p><ul><li>Đắt (cần SAN infrastructure)</li><li>SAN trở thành single point of failure</li><li>Phức tạp để maintain</li></ul><hr><h2 id="3-so-s%C3%A1nh-patroni-vs-repmgr-vs-pacemaker">3. So sánh: Patroni vs Repmgr vs Pacemaker</h2><h3 id="31-patroni">3.1. Patroni</h3><p><strong>Đặc điểm:</strong></p><ul><li>Python-based</li><li>Sử dụng DCS (etcd, Consul, ZooKeeper) để lưu cluster state</li><li>REST API cho management</li><li>Automatic failover thông minh</li><li>Template-based configuration</li></ul><p><strong>Ưu điểm:</strong></p><ul><li>✅ Dễ cài đặt và cấu hình</li><li>✅ REST API mạnh mẽ</li><li>✅ Tích hợp tốt với Kubernetes</li><li>✅ Active development, community lớn</li><li>✅ Automatic leader election</li><li>✅ Rolling restart, zero-downtime updates</li></ul><p><strong>Nhược điểm:</strong></p><ul><li>❌ Phụ thuộc vào DCS (thêm component)</li><li>❌ Cần học DCS (etcd/Consul)</li></ul><p><strong>Use cases phù hợp:</strong></p><ul><li>Cloud-native applications</li><li>Kubernetes deployments</li><li>Microservices architecture</li><li>Cần automation cao</li></ul><h3 id="32-repmgr">3.2. Repmgr</h3><p><strong>Đặc điểm:</strong></p><ul><li>Open-source tool từ 2ndQuadrant (EnterpriseDB)</li><li>Standalone tool, không cần DCS</li><li>Witness node cho quorum voting</li><li>Command-line based management</li></ul><p><strong>Ưu điểm:</strong></p><ul><li>✅ Không cần DCS bên ngoài</li><li>✅ Đơn giản hơn Patroni</li><li>✅ Documentation tốt</li><li>✅ Mature và stable</li></ul><p><strong>Nhược điểm:</strong></p><ul><li>❌ Ít tính năng automation hơn Patroni</li><li>❌ Không có REST API</li><li>❌ Community nhỏ hơn</li><li>❌ Failover phức tạp hơn</li></ul><p><strong>Use cases phù hợp:</strong></p><ul><li>Traditional infrastructure</li><li>Đơn giản, ít nodes</li><li>Không muốn thêm DCS</li></ul><h3 id="33-pacemaker-corosync">3.3. Pacemaker + Corosync</h3><p><strong>Đặc điểm:</strong></p><ul><li>High Availability cluster framework (Linux-HA)</li><li>Quản lý nhiều loại resources, không chỉ PostgreSQL</li><li>Voting quorum mechanism</li><li>Fencing/STONITH để tránh split-brain</li></ul><p><strong>Ưu điểm:</strong></p><ul><li>✅ Mature, production-proven (20+ years)</li><li>✅ Quản lý nhiều services (PostgreSQL, web server, etc.)</li><li>✅ Fencing mechanism mạnh mẽ</li><li>✅ Hỗ trợ shared storage</li></ul><p><strong>Nhược điểm:</strong></p><ul><li>❌ Rất phức tạp để setup và maintain</li><li>❌ Learning curve cao</li><li>❌ Configuration dạng XML khó đọc</li><li>❌ Debugging khó khăn</li></ul><p><strong>Use cases phù hợp:</strong></p><ul><li>Enterprise environment</li><li>Cần quản lý nhiều services</li><li>Có shared storage (SAN)</li><li>Team có kinh nghiệm với Pacemaker</li></ul><h3 id="34-b%E1%BA%A3ng-so-s%C3%A1nh-t%E1%BB%95ng-quan">3.4. Bảng so sánh tổng quan</h3>
+<!--kg-card-begin: html-->
+<table>
+<thead>
+<tr>
+<th>Tiêu chí</th>
+<th>Patroni</th>
+<th>Repmgr</th>
+<th>Pacemaker</th>
+</tr>
+</thead>
+<tbody>
+<tr>
+<td><strong>Độ phức tạp</strong></td>
+<td>Trung bình</td>
+<td>Thấp</td>
+<td>Cao</td>
+</tr>
+<tr>
+<td><strong>Learning curve</strong></td>
+<td>Trung bình</td>
+<td>Thấp</td>
+<td>Rất cao</td>
+</tr>
+<tr>
+<td><strong>Setup time</strong></td>
+<td>Nhanh</td>
+<td>Nhanh</td>
+<td>Chậm</td>
+</tr>
+<tr>
+<td><strong>Automatic failover</strong></td>
+<td>✅ Xuất sắc</td>
+<td>✅ Tốt</td>
+<td>✅ Xuất sắc</td>
+</tr>
+<tr>
+<td><strong>REST API</strong></td>
+<td>✅ Có</td>
+<td>❌ Không</td>
+<td>❌ Không</td>
+</tr>
+<tr>
+<td><strong>Kubernetes support</strong></td>
+<td>✅ Xuất sắc</td>
+<td>⚠️ Limited</td>
+<td>❌ Không</td>
+</tr>
+<tr>
+<td><strong>Community</strong></td>
+<td>⭐⭐⭐⭐⭐</td>
+<td>⭐⭐⭐</td>
+<td>⭐⭐⭐⭐</td>
+</tr>
+<tr>
+<td><strong>Documentation</strong></td>
+<td>⭐⭐⭐⭐⭐</td>
+<td>⭐⭐⭐⭐</td>
+<td>⭐⭐⭐</td>
+</tr>
+<tr>
+<td><strong>Dependencies</strong></td>
+<td>DCS (etcd/Consul)</td>
+<td>None</td>
+<td>None</td>
+</tr>
+<tr>
+<td><strong>Best for</strong></td>
+<td>Modern/Cloud</td>
+<td>Simple setups</td>
+<td>Enterprise/Complex</td>
+</tr>
+</tbody>
+</table>
+<!--kg-card-end: html-->
+<h3 id="35-khuy%E1%BA%BFn-ngh%E1%BB%8B">3.5. Khuyến nghị</h3><p><strong>Chọn Patroni nếu:</strong></p><ul><li>Triển khai trên cloud hoặc Kubernetes</li><li>Cần automation và REST API</li><li>Team có kinh nghiệm với modern DevOps tools</li><li>✅ <strong>Đây là lựa chọn phổ biến nhất hiện nay</strong></li></ul><p><strong>Chọn Repmgr nếu:</strong></p><ul><li>Setup đơn giản, ít nodes (2-3)</li><li>Không muốn phụ thuộc vào DCS</li><li>Team quen với PostgreSQL traditional tools</li></ul><p><strong>Chọn Pacemaker nếu:</strong></p><ul><li>Môi trường enterprise phức tạp</li><li>Đã có sẵn Pacemaker infrastructure</li><li>Cần quản lý nhiều services cùng lúc</li><li>Có shared storage (SAN)</li></ul><hr><h2 id="4-ki%E1%BA%BFn-tr%C3%BAc-t%E1%BB%95ng-quan-h%E1%BB%87-th%E1%BB%91ng-patroni-etcd">4. Kiến trúc tổng quan hệ thống Patroni + etcd</h2><h3 id="41-ki%E1%BA%BFn-tr%C3%BAc-3-node-cluster">4.1. Kiến trúc 3-node cluster</h3><figure class="kg-card kg-image-card kg-card-hascaption"><img src="/storage/uploads/2025/11/kie-n-tru-c-to-ng-quan-he-tho-ng-patroni-etcd-d34eb94c.jpeg" class="kg-image" alt="" loading="lazy" width="2000" height="1091" sizes="(min-width: 720px) 720px"><figcaption><span style="white-space: pre-wrap;">Kiến trúc tổng quan hệ thống Patroni + etcd</span></figcaption></figure><h3 id="42-c%C3%A1c-th%C3%A0nh-ph%E1%BA%A7n-ch%C3%ADnh">4.2. Các thành phần chính</h3><h4 id="postgresql"><strong>PostgreSQL</strong></h4><ul><li>Database engine chính</li><li>Một node là Leader (read/write)</li><li>Các node khác là Replica (read-only)</li><li>Sử dụng Streaming Replication để đồng bộ</li></ul><h4 id="patroni"><strong>Patroni</strong></h4><ul><li>Quản lý lifecycle của PostgreSQL</li><li>Monitor health của nodes</li><li>Thực hiện automatic failover</li><li>Expose REST API (:8008) để query cluster state</li><li>Đọc/ghi configuration vào DCS</li></ul><h4 id="etcd-dcsdistributed-configuration-store"><strong>etcd (DCS - Distributed Configuration Store)</strong></h4><ul><li>Lưu trữ cluster state và configuration</li><li>Leader election (quyết định node nào là Leader)</li><li>Distributed lock mechanism</li><li>3 nodes etcd tạo thành quorum (majority voting)</li></ul><h4 id="haproxy-optional-nh%C6%B0ng-khuy%E1%BA%BFn-ngh%E1%BB%8B"><strong>HAProxy (optional nhưng khuyến nghị)</strong></h4><ul><li>Load balancer</li><li>Route write traffic → Leader</li><li>Route read traffic → Replicas (round-robin)</li><li>Health check và tự động route khi failover</li></ul><h3 id="43-lu%E1%BB%93ng-ho%E1%BA%A1t-%C4%91%E1%BB%99ng">4.3. Luồng hoạt động</h3><p><strong>1. Normal Operations (Trạng thái bình thường)</strong></p><pre><code>1. Application gửi query → HAProxy
+2. HAProxy kiểm tra health check
+3. Route write → Leader, read → Replicas
+4. Patroni trên mỗi node:
+   - Gửi heartbeat vào etcd mỗi 10s
+   - Update health status
+   - Maintain leader lease
+</code></pre><p><strong>2. Leader Failure Detection</strong></p><pre><code>1. Node 1 (Leader) gặp sự cố → stop heartbeat
+2. etcd phát hiện: leader lease expired (30s)
+3. Patroni trên Node 2 và Node 3 nhận ra
+4. Leader election được trigger
+</code></pre><p><strong>3. Automatic Failover Process</strong></p><pre><code>Timeline: 0s  ──────────► 30s ──────► 45s ──────► 60s
+          │              │           │            │
+      Leader dies    etcd detects  New leader  Applications
+                     lease expire   elected     reconnect
+                                   (Node 2)
+                                   
+Node 1:   LEADER ──────► DOWN ──────────────────► STANDBY (sau khi recover)
+Node 2:   REPLICA ─────────────────► LEADER ────► LEADER
+Node 3:   REPLICA ──────────────────────────────► REPLICA
+</code></pre><p><strong>4. Sau Failover</strong></p><pre><code>- Node 2 trở thành Leader mới
+- Node 3 vẫn là Replica, đổi replication source sang Node 2
+- HAProxy tự động detect và route traffic sang Node 2
+- Node 1 (khi recover) sẽ join lại như Replica
+</code></pre><h3 id="44-c%C3%A1c-scenario-quan-tr%E1%BB%8Dng">4.4. Các scenario quan trọng</h3><h4 id="scenario-1-planned-switchover"><strong>Scenario 1: Planned Switchover</strong></h4><pre><code class="language-bash"># Admin muốn maintenance Node 1 (Leader)
+$ patronictl switchover postgres-cluster
+
+# Patroni sẽ:
+1. Tạm dừng ghi vào Leader hiện tại
+2. Đợi Replica sync hoàn toàn (zero lag)
+3. Promote Replica → Leader
+4. Demote Leader cũ → Replica
+5. Zero data loss, downtime &lt; 5s
+</code></pre><h4 id="scenario-2-split-brain-prevention"><strong>Scenario 2: Split-brain Prevention</strong></h4><pre><code>Tình huống: Network partition giữa nodes
+
+etcd quorum (3 nodes):
+- Partition A: Node 1, Node 2 (2 nodes = majority)
+- Partition B: Node 3 (1 node = minority)
+
+Kết quả:
+✅ Partition A: Tiếp tục hoạt động, có thể elect leader
+❌ Partition B: Không thể elect leader (không đủ quorum)
+
+→ Tránh được 2 leaders cùng tồn tại!
+</code></pre><h4 id="scenario-3-node-recovery"><strong>Scenario 3: Node Recovery</strong></h4><pre><code>Node 1 recover sau khi die:
+
+1. Patroni start và đọc cluster state từ etcd
+2. Nhận ra Node 2 đang là Leader
+3. Tự động rejoin như Replica
+4. Sử dụng pg_rewind để sync data nếu có divergence
+5. Bắt đầu streaming replication từ Node 2
+</code></pre><h3 id="45-c%E1%BA%A5u-h%C3%ACnh-timeline-th%C3%B4ng-s%E1%BB%91-quan-tr%E1%BB%8Dng">4.5. Cấu hình timeline (thông số quan trọng)</h3><pre><code class="language-yaml"># patroni.yml
+bootstrap:
+  dcs:
+    ttl: 30                    # Leader lease time (30s)
+    loop_wait: 10              # Check interval (10s)
+    retry_timeout: 10          # Retry time
+    maximum_lag_on_failover: 1048576  # Max lag for failover candidate (1MB)
+</code></pre><p><strong>Giải thích:</strong></p><ul><li><code>ttl: 30</code>: Leader phải renew lease mỗi 30s, nếu không sẽ bị coi là dead</li><li><code>loop_wait: 10</code>: Patroni check health mỗi 10s</li><li>Failover trigger: khi (ttl - loop_wait) hết → ~20-30s</li></ul><hr><h2 id="5-t%E1%BB%95ng-k%E1%BA%BFt">5. Tổng kết</h2><h3 id="key-takeaways">Key Takeaways</h3><ol><li><strong>High Availability là bắt buộc</strong> cho production systems để giảm downtime và mất dữ liệu</li><li><strong>Streaming Replication + Automatic Failover</strong> là phương pháp HA phổ biến nhất cho PostgreSQL</li><li><strong>Patroni là lựa chọn tốt nhất</strong> cho hầu hết use cases hiện đại:<ul><li>Dễ setup và maintain</li><li>Automatic failover thông minh</li><li>REST API mạnh mẽ</li><li>Tích hợp tốt với cloud/K8s</li></ul></li><li><strong>Kiến trúc 3-node</strong> với Patroni + etcd cung cấp:<ul><li>Automatic failover (RTO &lt; 30s)</li><li>Zero data loss với sync replication</li><li>Split-brain prevention</li><li>Scalability cho read workloads</li></ul></li></ol><h3 id="b%C3%A0i-t%E1%BA%ADp-v%E1%BB%81-nh%C3%A0">Bài tập về nhà</h3><ol><li>Tính toán downtime cho hệ thống của bạn với các mức availability khác nhau (99%, 99.9%, 99.99%)</li><li>Vẽ kiến trúc HA cho use case cụ thể của bạn (số nodes, data centers, RTO/RPO requirements)</li><li>So sánh chi phí giữa việc sử dụng HA và chấp nhận downtime cho business của bạn</li></ol><h3 id="chu%E1%BA%A9n-b%E1%BB%8B-cho-b%C3%A0i-ti%E1%BA%BFp-theo">Chuẩn bị cho bài tiếp theo</h3><p>Bài 2 sẽ đi sâu vào <strong>Streaming Replication</strong> - nền tảng của PostgreSQL HA:</p><ul><li>Cơ chế hoạt động chi tiết của WAL</li><li>Synchronous vs Asynchronous replication</li><li>Replication slots</li><li>Lab: Setup replication thủ công</li></ul><hr><h2 id="t%C3%A0i-li%E1%BB%87u-tham-kh%E1%BA%A3o">Tài liệu tham khảo</h2><ul><li><a href="https://www.postgresql.org/docs/current/high-availability.html">PostgreSQL Official Documentation - High Availability</a></li><li><a href="https://github.com/patroni/patroni">Patroni GitHub Repository</a></li><li><a href="https://etcd.io/docs/">etcd Documentation</a></li><li><a href="https://www.postgresql.org/docs/current/warm-standby.html">PostgreSQL Streaming Replication</a></li></ul>

package/content/series/devsecops/postgresql-high-availability-voi-patroni-etcd/chapters/01-phan-1-tong-quan-nen-tang/lessons/03-bai-2-streaming-replication-trong-postgresql.md

@@ -0,0 +1,295 @@
+---
+id: 019c9617-fb63-72fe-8fb4-4839e41ca6b5
+title: 'Bài 2: Streaming Replication trong PostgreSQL'
+slug: bai-2-streaming-replication-trong-postgresql
+description: >-
+  Khám phá cơ chế Streaming Replication, WAL logging, sự khác biệt
+  Synchronous/Asynchronous replication và thực hành setup Primary-Standby cơ
+  bản.
+duration_minutes: 190
+is_free: true
+video_url: null
+sort_order: 2
+section_title: "Phần 1: Tổng quan & Nền tảng"
+course:
+  id: 019c9617-fad7-7170-97f5-55c1940af2f5
+  title: PostgreSQL High Availability với Patroni & etcd
+  slug: postgresql-high-availability-voi-patroni-etcd
+---
+<h2>Mục tiêu bài học</h2><p>Sau bài học này, bạn sẽ:</p><ul><li><p>Hiểu sâu về cơ chế Streaming Replication trong PostgreSQL</p></li><li><p>Nắm vững Write-Ahead Logging (WAL) và vai trò của nó</p></li><li><p>Phân biệt Synchronous và Asynchronous Replication</p></li><li><p>Hiểu và sử dụng Replication Slots</p></li><li><p>Thực hành setup replication thủ công (Primary-Standby)</p></li></ul><hr><h2>1. Cơ chế hoạt động của Streaming Replication</h2><h3>1.1. Tổng quan</h3><p>Streaming Replication là phương pháp PostgreSQL replicate dữ liệu từ Primary server sang một hoặc nhiều Standby servers theo thời gian thực.</p><img class="editor-image" src="/storage/uploads/2025/11/f6e3a1a3-3f18-42e3-be8c-0f08f390ef7a-1-201-a-2fa81322.jpeg" alt="" width="2000" height="1091"><p><span>How Streaming Replication Works</span></p><h3>1.2. Các thành phần chính</h3><h4><strong>WAL Sender (trên Primary)</strong></h4><ul><li><p>Process chuyên gửi WAL records đến Standby</p></li><li><p>Một WAL sender cho mỗi Standby connection</p></li><li><p>Monitoring: <code>SELECT * FROM pg_stat_replication;</code></p></li></ul><h4><strong>WAL Receiver (trên Standby)</strong></h4><ul><li><p>Process nhận WAL records từ Primary</p></li><li><p>Ghi WAL vào local WAL files</p></li><li><p>Gửi feedback về Primary (LSN position, status)</p></li></ul><h4><strong>Startup Process (trên Standby)</strong></h4><ul><li><p>Replay WAL records vào data files</p></li><li><p>Giống như recovery process</p></li><li><p>Có thể phục vụ read queries (Hot Standby)</p></li></ul><h3>1.3. Luồng dữ liệu chi tiết</h3><img class="editor-image" src="/storage/uploads/2025/11/8b88784b-6c24-4f45-9500-5855b0e29c28-1-201-a-7eac3520.jpeg" alt="" width="2000" height="1116"><p><span>Transaction Commit Flow</span></p><p><strong>Thời gian thực tế:</strong></p><ul><li><p>Asynchronous: ~0-100ms lag</p></li><li><p>Synchronous: ~1-10ms lag (tùy network latency)</p></li></ul><hr><h2>2. Write-Ahead Logging (WAL)</h2><h3>2.1. WAL là gì?</h3><p><strong>Write-Ahead Logging</strong> là kỹ thuật logging trong đó:</p><blockquote><p>"Mọi thay đổi phải được ghi vào log TRƯỚC KHI ghi vào data files"</p></blockquote><p><strong>Nguyên tắc WAL:</strong></p><img class="editor-image" src="/storage/uploads/2025/11/0fb19919-ac30-491c-a84f-22dcae2e7769-1-201-a-46f1cbed.jpeg" alt="" width="2000" height="1091"><p><span>Write-Ahead Logging (WAL)</span></p><h3>2.2. WAL Files Structure</h3><p><strong>Vị trí:</strong> <code>$PGDATA/pg_wal/</code></p><pre><code class="language-bash">$ ls -lh $PGDATA/pg_wal/
+-rw------- 1 postgres postgres 16M Nov 24 10:00 000000010000000000000001
+-rw------- 1 postgres postgres 16M Nov 24 10:15 000000010000000000000002
+-rw------- 1 postgres postgres 16M Nov 24 10:30 000000010000000000000003</code></pre><p><strong>Đặc điểm:</strong></p><ul><li><p>Mỗi file: 16MB (default)</p></li><li><p>Tên file: Timeline ID + Segment Number</p></li><li><p>Format: <code>TTTTTTTTXXXXXXXXYYYYYYYY</code></p><ul><li><p>TTTTTTTT: Timeline (8 hex digits)</p></li><li><p>XXXXXXXX: Log file number (8 hex)</p></li><li><p>YYYYYYYY: Segment number (8 hex)</p></li></ul></li></ul><h3>2.3. LSN (Log Sequence Number)</h3><p><strong>LSN</strong> là vị trí trong WAL stream, format: <code>X/Y</code></p><ul><li><p>X: WAL file number</p></li><li><p>Y: Offset trong file</p></li></ul><pre><code class="language-sql">-- Kiểm tra LSN hiện tại
+SELECT pg_current_wal_lsn();  -- Primary
+-- Output: 0/3000060
+
+SELECT pg_last_wal_receive_lsn();  -- Standby (received)
+SELECT pg_last_wal_replay_lsn();   -- Standby (applied)</code></pre><h3>2.4. WAL Configuration Parameters</h3><pre><code class="language-ini"># postgresql.conf
+
+# WAL Settings
+wal_level = replica              # minimal, replica, or logical
+                                 # replica: cho streaming replication
+
+wal_log_hints = on              # Cần thiết cho pg_rewind
+
+# WAL Writing
+wal_buffers = 16MB              # WAL buffer size trong shared memory
+wal_writer_delay = 200ms        # WAL writer sleep time
+
+# WAL Files Management
+min_wal_size = 80MB            # Tối thiểu WAL files giữ lại
+max_wal_size = 1GB             # Trigger checkpoint khi vượt
+
+# Checkpoints
+checkpoint_timeout = 5min       # Tối đa giữa 2 checkpoints
+checkpoint_completion_target = 0.9  # Spread checkpoint writes</code></pre><h3>2.5. WAL và Crash Recovery</h3><p><strong>Khi PostgreSQL crash:</strong></p><pre><code>1. Server restart
+2. PostgreSQL đọc last checkpoint location
+3. Replay tất cả WAL records từ checkpoint → crash point
+4. Khôi phục database về trạng thái consistent
+5. Ready to accept connections</code></pre><p><strong>Ví dụ:</strong></p><pre><code>Timeline:
+10:00 ─── Checkpoint ─── 10:05 ─── 10:08 (CRASH)
+          (LSN: 0/1000)          (LSN: 0/3000)
+          
+Recovery:
+- Bắt đầu từ LSN 0/1000
+- Replay WAL → LSN 0/3000
+- Database consistent tại 10:08</code></pre><hr><h2>3. Synchronous vs Asynchronous Replication</h2><h3>3.1. Asynchronous Replication (Default)</h3><p><strong>Cách hoạt động:</strong></p><img class="editor-image" src="/storage/uploads/2025/11/7a5d3d41-da90-40d2-b04b-fa1fe50f873b-1-201-a-665ad87b.jpeg" alt="" width="2000" height="1091"><p><span>Asynchronous Replication (Default)</span></p><p><strong>Đặc điểm:</strong></p><ul><li><p>✅ <strong>Performance cao</strong>: Primary không đợi Standby</p></li><li><p>✅ <strong>Latency thấp</strong>: Commit time không phụ thuộc network</p></li><li><p>❌ <strong>Có thể mất data</strong>: Nếu Primary crash trước khi Standby nhận WAL</p></li><li><p>❌ <strong>RPO &gt; 0</strong>: Recovery Point Objective không phải zero</p></li></ul><p><strong>Configuration:</strong></p><pre><code class="language-ini"># postgresql.conf (Primary)
+synchronous_commit = off  # hoặc local</code></pre><p><strong>Use cases:</strong></p><ul><li><p>Standby ở datacenter khác (high latency)</p></li><li><p>Ưu tiên performance hơn data safety</p></li><li><p>Acceptable data loss (vài giây)</p></li></ul><h3>3.2. Synchronous Replication</h3><p><strong>Cách hoạt động:</strong></p><img class="editor-image" src="/storage/uploads/2025/11/8c85cd1b-7a04-4482-8836-43cd3f49ee48-1-201-a-d0a9ce1a.jpeg" alt="" width="2000" height="1091"><p><span>Synchronous Replication</span></p><p><strong>Đặc điểm:</strong></p><ul><li><p>✅ <strong>Zero data loss</strong>: Transaction chỉ commit khi Standby confirm</p></li><li><p>✅ <strong>RPO = 0</strong>: Hoàn hảo cho critical data</p></li><li><p>❌ <strong>Performance impact</strong>: ~2-10ms overhead mỗi commit</p></li><li><p>❌ <strong>Availability risk</strong>: Primary block nếu Standby fail</p></li></ul><p><strong>Configuration:</strong></p><pre><code class="language-ini"># postgresql.conf (Primary)
+synchronous_commit = on              # on, remote_write, remote_apply
+synchronous_standby_names = 'standby1,standby2'  # Tên standbys
+
+# recovery.conf hoặc postgresql.auto.conf (Standby)
+primary_conninfo = 'host=primary port=5432 user=replicator application_name=standby1'</code></pre><p><strong>Synchronous Commit Levels:</strong></p><table style="min-width: 100px;"><colgroup><col style="min-width: 25px;"><col style="min-width: 25px;"><col style="min-width: 25px;"><col style="min-width: 25px;"></colgroup><tbody><tr><th colspan="1" rowspan="1"><p>Level</p></th><th colspan="1" rowspan="1"><p>Ý nghĩa</p></th><th colspan="1" rowspan="1"><p>Data Safety</p></th><th colspan="1" rowspan="1"><p>Performance</p></th></tr><tr><td colspan="1" rowspan="1"><p><code>off</code></p></td><td colspan="1" rowspan="1"><p>Không đợi Standby</p></td><td colspan="1" rowspan="1"><p>Thấp</p></td><td colspan="1" rowspan="1"><p>Cao nhất</p></td></tr><tr><td colspan="1" rowspan="1"><p><code>local</code></p></td><td colspan="1" rowspan="1"><p>Chỉ đợi local disk</p></td><td colspan="1" rowspan="1"><p>Trung bình</p></td><td colspan="1" rowspan="1"><p>Cao</p></td></tr><tr><td colspan="1" rowspan="1"><p><code>remote_write</code></p></td><td colspan="1" rowspan="1"><p>Đợi Standby write vào OS cache</p></td><td colspan="1" rowspan="1"><p>Khá tốt</p></td><td colspan="1" rowspan="1"><p>Trung bình</p></td></tr><tr><td colspan="1" rowspan="1"><p><code>on</code></p></td><td colspan="1" rowspan="1"><p>Đợi Standby flush vào disk</p></td><td colspan="1" rowspan="1"><p>Tốt</p></td><td colspan="1" rowspan="1"><p>Chậm hơn</p></td></tr><tr><td colspan="1" rowspan="1"><p><code>remote_apply</code></p></td><td colspan="1" rowspan="1"><p>Đợi Standby apply changes</p></td><td colspan="1" rowspan="1"><p>Tốt nhất</p></td><td colspan="1" rowspan="1"><p>Chậm nhất</p></td></tr></tbody></table><h3>3.3. Quorum-based Synchronous Replication</h3><p><strong>PostgreSQL 9.6+: Flexible synchronous replication</strong></p><pre><code class="language-ini"># Chờ ANY 1 trong 2 standbys
+synchronous_standby_names = 'ANY 1 (standby1, standby2)'
+
+# Chờ FIRST 2 trong 3 standbys
+synchronous_standby_names = 'FIRST 2 (standby1, standby2, standby3)'
+
+# Chờ ALL standbys (giống cũ)
+synchronous_standby_names = 'standby1, standby2'</code></pre><p><strong>Ví dụ: ANY 1</strong></p><pre><code>3 Standbys: standby1 (DC1), standby2 (DC2), standby3 (DC3)
+
+Transaction commit khi:
+✅ Primary committed + ANY 1 standby acknowledged
+
+Scenario:
+- standby1: ACK trong 5ms
+- standby2: ACK trong 100ms (slow network)
+- standby3: DOWN
+
+→ Transaction commit sau 5ms (chờ standby1)
+→ Performance tốt + Data safety</code></pre><h3>3.4. So sánh Sync vs Async</h3><table style="min-width: 75px;"><colgroup><col style="min-width: 25px;"><col style="min-width: 25px;"><col style="min-width: 25px;"></colgroup><tbody><tr><th colspan="1" rowspan="1"><p>Tiêu chí</p></th><th colspan="1" rowspan="1"><p>Async</p></th><th colspan="1" rowspan="1"><p>Sync</p></th></tr><tr><td colspan="1" rowspan="1"><p><strong>Commit latency</strong></p></td><td colspan="1" rowspan="1"><p>~1ms</p></td><td colspan="1" rowspan="1"><p>~5-10ms</p></td></tr><tr><td colspan="1" rowspan="1"><p><strong>Data loss risk</strong></p></td><td colspan="1" rowspan="1"><p>Có (vài giây)</p></td><td colspan="1" rowspan="1"><p>Không</p></td></tr><tr><td colspan="1" rowspan="1"><p><strong>RPO</strong></p></td><td colspan="1" rowspan="1"><p>Seconds</p></td><td colspan="1" rowspan="1"><p>Zero</p></td></tr><tr><td colspan="1" rowspan="1"><p><strong>RTO</strong></p></td><td colspan="1" rowspan="1"><p>~30-60s</p></td><td colspan="1" rowspan="1"><p>~30-60s</p></td></tr><tr><td colspan="1" rowspan="1"><p><strong>Primary performance</strong></p></td><td colspan="1" rowspan="1"><p>100%</p></td><td colspan="1" rowspan="1"><p>95-98%</p></td></tr><tr><td colspan="1" rowspan="1"><p><strong>Network dependency</strong></p></td><td colspan="1" rowspan="1"><p>Thấp</p></td><td colspan="1" rowspan="1"><p>Cao</p></td></tr><tr><td colspan="1" rowspan="1"><p><strong>Use case</strong></p></td><td colspan="1" rowspan="1"><p>Read replicas, Reporting</p></td><td colspan="1" rowspan="1"><p>Critical data, Financial</p></td></tr></tbody></table><hr><h2>4. Replication Slots</h2><h3>4.1. Vấn đề trước khi có Replication Slots</h3><p><strong>Scenario:</strong></p><pre><code>1. Primary generates WAL files
+2. Checkpoint happens → Old WAL cleaned up
+3. Standby offline vài giờ
+4. Standby comes back online
+5. ❌ WAL files needed đã bị xóa
+6. ❌ Standby không thể catch up
+7. ❌ Cần rebuild Standby từ đầu</code></pre><h3>4.2. Replication Slots giải quyết vấn đề</h3><p><strong>Replication Slot</strong> đảm bảo Primary giữ WAL files cho đến khi Standby consume.</p><img class="editor-image" src="/storage/uploads/2025/11/a9f3c963-8471-4e6c-90cd-5d325edeefeb-1-201-a-4fcc4afb.jpeg" alt="" width="2000" height="1091"><p><strong>Replication Slot</strong></p><h3>4.3. Tạo và quản lý Replication Slots</h3><p><strong>Tạo slot trên Primary:</strong></p><pre><code class="language-sql">-- Physical replication slot
+SELECT * FROM pg_create_physical_replication_slot('standby1_slot');
+
+-- Xem danh sách slots
+SELECT slot_name, slot_type, active, restart_lsn, confirmed_flush_lsn
+FROM pg_replication_slots;
+
+-- Output:
+ slot_name     | slot_type | active | restart_lsn | confirmed_flush_lsn
+---------------+-----------+--------+-------------+--------------------
+ standby1_slot | physical  | t      | 0/3000000   | NULL</code></pre><p><strong>Sử dụng slot trên Standby:</strong></p><p>ini</p><pre><code class="language-ini"># postgresql.auto.conf (Standby)
+primary_slot_name = 'standby1_slot'</code></pre><p><strong>Xóa slot:</strong></p><p>sql</p><pre><code class="language-sql">SELECT pg_drop_replication_slot('standby1_slot');</code></pre><h3>4.4. Monitoring Replication Slots</h3><p>sql</p><pre><code class="language-sql">-- Kiểm tra slot status
+SELECT 
+    slot_name,
+    active,
+    pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn)) as retained_wal
+FROM pg_replication_slots;
+
+-- Cảnh báo nếu retained_wal quá lớn (&gt;10GB)</code></pre><h3>4.5. Lưu ý quan trọng</h3><p>⚠️ <strong>Rủi ro:</strong></p><ul><li><p>Nếu Standby offline lâu với slot → Primary giữ WAL mãi</p></li><li><p>Có thể lấp đầy disk của Primary</p></li><li><p>Cần monitoring và alert</p></li></ul><p><strong>Best practice:</strong></p><p>sql</p><pre><code class="language-sql">-- Set max WAL size để bảo vệ Primary
+ALTER SYSTEM SET max_slot_wal_keep_size = '100GB';  -- PostgreSQL 13+
+
+-- Hoặc tự động drop inactive slot sau 24h
+SELECT pg_drop_replication_slot(slot_name)
+FROM pg_replication_slots
+WHERE NOT active 
+  AND pg_current_wal_lsn() - restart_lsn &gt; 100*1024*1024*1024;  -- 100GB</code></pre><hr><h2>5. Lab: Setup Streaming Replication thủ công</h2><h3>5.1. Mục tiêu Lab</h3><p>Tạo PostgreSQL cluster với:</p><ul><li><p>1 Primary server</p></li><li><p>1 Standby server</p></li><li><p>Streaming replication (asynchronous)</p></li><li><p>Hot standby (read queries)</p></li></ul><h3>5.2. Môi trường</h3><pre><code>Primary:  192.168.1.101 (node1)
+Standby:  192.168.1.102 (node2)
+PostgreSQL: 14
+OS: Ubuntu 22.04</code></pre><h3>5.3. Bước 1: Cài đặt PostgreSQL (cả 2 nodes)</h3><p>bash</p><pre><code class="language-bash"># Install PostgreSQL 14
+sudo apt update
+sudo apt install -y postgresql-14 postgresql-contrib-14
+
+# Stop service
+sudo systemctl stop postgresql</code></pre><h3>5.4. Bước 2: Cấu hình Primary (node1)</h3><p><strong>Tạo replication user:</strong></p><p>bash</p><pre><code class="language-bash">sudo -u postgres psql</code></pre><p>sql</p><pre><code class="language-sql">-- Tạo user cho replication
+CREATE ROLE replicator WITH REPLICATION LOGIN PASSWORD 'repl_password';
+
+-- Exit
+\q</code></pre><p><strong>Cấu hình postgresql.conf:</strong></p><p>bash</p><pre><code class="language-bash">sudo nano /etc/postgresql/14/main/postgresql.conf</code></pre><p>ini</p><pre><code class="language-ini"># Connection
+listen_addresses = '*'
+port = 5432
+
+# Replication
+wal_level = replica
+max_wal_senders = 5
+max_replication_slots = 5
+wal_keep_size = 1GB
+
+# Hot Standby (không cần cho primary nhưng tốt để có sẵn)
+hot_standby = on
+
+# Archive (optional, recommended)
+archive_mode = on
+archive_command = 'test ! -f /var/lib/postgresql/14/archive/%f &amp;&amp; cp %p /var/lib/postgresql/14/archive/%f'</code></pre><p><strong>Tạo archive directory:</strong></p><p>bash</p><pre><code class="language-bash">sudo mkdir -p /var/lib/postgresql/14/archive
+sudo chown postgres:postgres /var/lib/postgresql/14/archive</code></pre><p><strong>Cấu hình pg_hba.conf:</strong></p><p>bash</p><pre><code class="language-bash">sudo nano /etc/postgresql/14/main/pg_hba.conf</code></pre><p>ini</p><pre><code class="language-ini"># Replication connections
+host    replication     replicator      192.168.1.102/32        md5
+host    replication     replicator      127.0.0.1/32            md5</code></pre><p><strong>Start Primary:</strong></p><p>bash</p><pre><code class="language-bash">sudo systemctl start postgresql
+sudo systemctl status postgresql</code></pre><p><strong>Tạo replication slot:</strong></p><p>bash</p><pre><code class="language-bash">sudo -u postgres psql</code></pre><p>sql</p><pre><code class="language-sql">SELECT pg_create_physical_replication_slot('standby_slot');
+SELECT * FROM pg_replication_slots;
+\q</code></pre><h3>5.5. Bước 3: Setup Standby (node2)</h3><p><strong>Stop PostgreSQL và backup data cũ:</strong></p><p>bash</p><pre><code class="language-bash">sudo systemctl stop postgresql
+sudo mv /var/lib/postgresql/14/main /var/lib/postgresql/14/main.bak</code></pre><p><strong>Base backup từ Primary:</strong></p><p>bash</p><pre><code class="language-bash"># Sử dụng pg_basebackup
+sudo -u postgres pg_basebackup \
+    -h 192.168.1.101 \
+    -D /var/lib/postgresql/14/main \
+    -U replicator \
+    -P \
+    -v \
+    -R \
+    -X stream \
+    -C -S standby_slot
+
+# Options giải thích:
+# -h: Primary host
+# -D: Data directory
+# -U: Replication user
+# -P: Show progress
+# -v: Verbose
+# -R: Tạo standby.signal và postgresql.auto.conf
+# -X stream: Stream WAL during backup
+# -C: Create replication slot
+# -S: Slot name</code></pre><p><strong>Output mẫu:</strong></p><pre><code>pg_basebackup: initiating base backup, waiting for checkpoint to complete
+pg_basebackup: checkpoint completed
+pg_basebackup: write-ahead log start point: 0/2000028 on timeline 1
+pg_basebackup: starting background WAL receiver
+pg_basebackup: created replication slot "standby_slot"
+24567/24567 kB (100%), 1/1 tablespace
+pg_basebackup: write-ahead log end point: 0/2000100
+pg_basebackup: syncing data to disk ...
+pg_basebackup: base backup completed</code></pre><p><strong>Kiểm tra standby.signal đã được tạo:</strong></p><p>bash</p><pre><code class="language-bash">ls -l /var/lib/postgresql/14/main/standby.signal
+# File này đánh dấu đây là standby server</code></pre><p><strong>Kiểm tra postgresql.auto.conf:</strong></p><p>bash</p><pre><code class="language-bash">sudo cat /var/lib/postgresql/14/main/postgresql.auto.conf</code></pre><p>ini</p><pre><code class="language-ini"># Được tạo tự động bởi pg_basebackup -R
+primary_conninfo = 'user=replicator password=repl_password host=192.168.1.101 port=5432 sslmode=prefer sslcompression=0 krbsrvname=postgres target_session_attrs=any'
+primary_slot_name = 'standby_slot'</code></pre><p><strong>Start Standby:</strong></p><p>bash</p><pre><code class="language-bash">sudo systemctl start postgresql
+sudo systemctl status postgresql</code></pre><h3>5.6. Bước 4: Verify Replication</h3><p><strong>Trên Primary (node1):</strong></p><p>sql</p><pre><code class="language-sql">sudo -u postgres psql
+
+-- Kiểm tra replication status
+SELECT 
+    client_addr,
+    state,
+    sync_state,
+    replay_lsn,
+    pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), replay_lsn)) as lag
+FROM pg_stat_replication;
+
+-- Output:
+ client_addr   |   state   | sync_state | replay_lsn  |  lag
+---------------+-----------+------------+-------------+-------
+ 192.168.1.102 | streaming | async      | 0/3000060   | 0 bytes</code></pre><p><strong>Trên Standby (node2):</strong></p><p>sql</p><pre><code class="language-sql">sudo -u postgres psql
+
+-- Kiểm tra standby status
+SELECT pg_is_in_recovery();  -- Should return 't' (true)
+
+-- Kiểm tra replication lag
+SELECT 
+    pg_last_wal_receive_lsn() AS receive,
+    pg_last_wal_replay_lsn() AS replay,
+    pg_size_pretty(pg_wal_lsn_diff(pg_last_wal_receive_lsn(), pg_last_wal_replay_lsn())) AS lag;
+
+-- Output:
+   receive   |   replay    |  lag
+-------------+-------------+--------
+ 0/3000060   | 0/3000060   | 0 bytes</code></pre><h3>5.7. Bước 5: Test Replication</h3><p><strong>Trên Primary - Tạo test data:</strong></p><p>sql</p><pre><code class="language-sql">-- Tạo database và table
+CREATE DATABASE testdb;
+\c testdb
+
+CREATE TABLE users (
+    id SERIAL PRIMARY KEY,
+    name VARCHAR(100),
+    created_at TIMESTAMP DEFAULT NOW()
+);
+
+INSERT INTO users (name) VALUES 
+    ('Alice'),
+    ('Bob'),
+    ('Charlie');
+
+SELECT * FROM users;</code></pre><p><strong>Trên Standby - Verify data:</strong></p><p>sql</p><pre><code class="language-sql">\c testdb
+
+-- Read queries hoạt động
+SELECT * FROM users;
+
+-- Output:
+ id |  name   |       created_at
+----+---------+------------------------
+  1 | Alice   | 2024-11-24 10:30:15
+  2 | Bob     | 2024-11-24 10:30:15
+  3 | Charlie | 2024-11-24 10:30:15
+
+-- Write queries bị reject
+INSERT INTO users (name) VALUES ('David');
+-- ERROR: cannot execute INSERT in a read-only transaction</code></pre><h3>5.8. Bước 6: Monitoring Queries</h3><p><strong>Replication delay monitoring:</strong></p><p>sql</p><pre><code class="language-sql">-- Trên Primary
+CREATE OR REPLACE FUNCTION replication_lag_bytes()
+RETURNS TABLE(client_addr INET, lag_bytes BIGINT) AS $$
+BEGIN
+    RETURN QUERY
+    SELECT 
+        c.client_addr,
+        pg_wal_lsn_diff(pg_current_wal_lsn(), c.replay_lsn)::BIGINT
+    FROM pg_stat_replication c;
+END;
+$$ LANGUAGE plpgsql;
+
+-- Sử dụng
+SELECT * FROM replication_lag_bytes();</code></pre><p><strong>Alert nếu lag &gt; 10MB:</strong></p><p>sql</p><pre><code class="language-sql">SELECT client_addr, 
+       pg_size_pretty(lag_bytes) as lag
+FROM replication_lag_bytes()
+WHERE lag_bytes &gt; 10*1024*1024;</code></pre><h3>5.9. Troubleshooting Common Issues</h3><p><strong>Issue 1: Standby không connect được Primary</strong></p><p>bash</p><pre><code class="language-bash"># Check logs
+sudo tail -f /var/lib/postgresql/14/main/log/postgresql-*.log
+
+# Common errors:
+# - "FATAL: password authentication failed"
+#   → Check pg_hba.conf và password
+
+# - "FATAL: no pg_hba.conf entry for replication"
+#   → Add replication entry vào pg_hba.conf
+
+# - Connection refused
+#   → Check firewall, listen_addresses</code></pre><p><strong>Issue 2: Replication lag tăng cao</strong></p><p>sql</p><pre><code class="language-sql">-- Kiểm tra WAL sender busy
+SELECT * FROM pg_stat_activity 
+WHERE backend_type = 'walsender';
+
+-- Kiểm tra I/O trên Standby
+SELECT * FROM pg_stat_bgwriter;</code></pre><p><strong>Issue 3: Slot bị fill up disk</strong></p><p>sql</p><pre><code class="language-sql">-- Kiểm tra retained WAL
+SELECT 
+    slot_name,
+    pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn)) as retained
+FROM pg_replication_slots;
+
+-- Drop inactive slot nếu cần
+SELECT pg_drop_replication_slot('standby_slot');</code></pre><hr><h2>6. Best Practices</h2><h3>6.1. Configuration Tuning</h3><p>ini</p><pre><code class="language-ini"># Primary - postgresql.conf
+
+# Network buffer (nếu có nhiều standbys)
+max_wal_senders = 10  # Tùy số standbys + 2 dự phòng
+
+# WAL retention
+wal_keep_size = 2GB  # Giữ đủ WAL cho standby catch up
+max_slot_wal_keep_size = 10GB  # Limit slot retention (PG 13+)
+
+# Archive (backup strategy)
+archive_mode = on
+archive_command = 'cp %p /backup/archive/%f'
+
+# Checkpoint tuning
+checkpoint_timeout = 15min
+checkpoint_completion_target = 0.9</code></pre><h3>6.2. Monitoring Checklist</h3><p>✅ <strong>Replication lag</strong> (bytes và time) ✅ <strong>Standby connection status</strong> ✅ <strong>WAL sender processes</strong> ✅ <strong>Disk space</strong> (pg_wal/ và archive/) ✅ <strong>Replication slots</strong> (retained WAL) ✅ <strong>Checkpoint performance</strong></p><h3>6.3. Security Recommendations</h3><p>ini</p><pre><code class="language-ini"># Use SSL for replication
+ssl = on
+ssl_cert_file = '/path/to/server.crt'
+ssl_key_file = '/path/to/server.key'
+
+# Standby connection string
+primary_conninfo = '... sslmode=require sslcompression=1'</code></pre><p>ini</p><pre><code class="language-ini"># pg_hba.conf - Use hostssl
+hostssl replication replicator 192.168.1.0/24 md5</code></pre><hr><h2>7. Tổng kết</h2><h3>Key Takeaways</h3><ol><li><p><strong>Streaming Replication</strong> là nền tảng của PostgreSQL HA:</p><ul><li><p>Realtime WAL streaming</p></li><li><p>Hot Standby cho read queries</p></li><li><p>Basis cho Patroni automated failover</p></li></ul></li><li><p><strong>WAL (Write-Ahead Logging)</strong>:</p><ul><li><p>Ghi log trước khi ghi data</p></li><li><p>Crash recovery mechanism</p></li><li><p>Replication transport format</p></li></ul></li><li><p><strong>Synchronous vs Asynchronous</strong>:</p><ul><li><p>Async: Performance cao, có thể mất data</p></li><li><p>Sync: Zero data loss, performance impact</p></li><li><p>Quorum-based: Balance giữa 2 cái</p></li></ul></li><li><p><strong>Replication Slots</strong>:</p><ul><li><p>Đảm bảo WAL không bị xóa sớm</p></li><li><p>Critical cho standby stability</p></li><li><p>Cần monitoring để tránh disk full</p></li></ul></li></ol><p></p>