Container không phải máy ảo. Nó là process Linux bị giới hạn bằng cgroup và cô lập bằng namespace. Nên mọi thứ bạn gặp trên Kubernetes — OOMKilled, CPU throttle, zombie process, pod không shutdown sạch — đều là hiện tượng Linux. Trang này dạy phần Linux mà DevOps thực sự dùng, không dạy Linux nói chung.
Mười mục theo thứ tự phụ thuộc: bản đồ (1) → process và signal (2) → RAM và OOM killer (3) → cgroup, nơi Kubernetes gặp Linux (4) → systemd (5) → user và SSH (6) → mạng (7) → đĩa (8) → log (9) → playbook điều tra (10).
Linux rất rộng. Nhưng khi bạn vận hành ứng dụng trên EKS, chỉ một số vùng kiến thức được dùng hàng ngày. Bấm từng tầng để xem nó quyết định điều gì trong cluster của bạn.
| Sự thật | Hệ quả trong Kubernetes |
|---|---|
| Container là process, không phải máy ảo | Không có kernel riêng, không có init thật sự trừ khi bạn tự dựng. Container dùng chung kernel
của node. Nên sysctl bên trong container phần lớn là của node, và một container làm
kernel panic thì cả node đi theo. |
| Giới hạn tài nguyên do cgroup áp, không do runtime tự biết | JVM/Python/.NET phải chủ động đọc cgroup mới biết mình bị giới hạn bao nhiêu. JDK cũ hơn 8u191 không đọc được nên tính heap theo RAM của node — đúng sự cố "JDK cũ không đọc cgroup" trong tài liệu JVM. |
| RAM là tài nguyên không nén được | Thiếu CPU thì chậm; thiếu RAM thì kernel giết process. Đây là lý do
limits.memory phải tính cho trường hợp xấu nhất, còn limits.cpu thì được
phép đặt cao để cho burst. |
Phần lớn sự cố "pod mất request khi deploy" và "pod mất 30 giây mới chết" đều nằm ở đây: PID 1 trong container và cách nó xử lý signal.
| Trạng thái | Ký hiệu | Nghĩa và khi nào bạn thấy nó |
|---|---|---|
| Running | R | Đang chạy hoặc sẵn sàng chạy trên CPU. Nhiều process R hơn số core = load average cao. |
| Sleeping | S | Chờ sự kiện (I/O, network, timer). Trạng thái bình thường của phần lớn thread trong web app. |
| Uninterruptible | D | Chờ I/O không thể ngắt. Nhiều process D = đĩa hoặc network storage đang nghẽn. kill -9 cũng không giết được. |
| Zombie | Z | Đã chết nhưng cha chưa gọi wait() để thu exit code. Chiếm một slot PID. Tích nhiều là tràn bảng PID. |
| Stopped | T | Bị SIGSTOP. Hiếm gặp trong container. |
Bấm từng lệnh để xem output mẫu và cách đọc nó.
| Signal | Số | Bắt được? | Dùng khi nào |
|---|---|---|---|
SIGTERM | 15 | Có | Kubernetes gửi cái này trước khi xoá pod. App nên bắt nó để dừng nhận request mới, xử lý xong request đang chạy, đóng kết nối DB, rồi thoát. |
SIGKILL | 9 | Không | Kernel giết ngay, không cho dọn dẹp. Kubernetes gửi sau khi hết terminationGracePeriodSeconds. OOM killer cũng dùng cái này — nên OOMKilled không có log. |
SIGINT | 2 | Có | Ctrl+C. Ít liên quan trong container. |
SIGHUP | 1 | Có | Theo truyền thống dùng để yêu cầu reload config. nginx, HAProxy dùng. |
SIGQUIT | 3 | Có | Với JVM, kill -3 <pid> in thread dump ra stdout mà không giết process. Cực hữu ích khi điều tra treo. |
SIGSTOP | 19 | Không | Đóng băng process. Dùng khi muốn giữ nguyên trạng để chụp trạng thái. |
SIGTERM, thì
SIGTERM bị bỏ qua hoàn toàn. Pod sẽ nằm im tới khi hết grace period rồi bị
SIGKILL. Mọi request đang xử lý bị cắt giữa đường.
# shell form: Docker chạy thành /bin/sh -c "java -jar app.jar"
# => PID 1 là sh, KHÔNG forward SIGTERM cho java
CMD java -jar /app/app.jar
# exec form: java trở thành PID 1, nhận SIGTERM trực tiếp
CMD ["java", "-jar", "/app/app.jar"]
#!/bin/sh
# entrypoint.sh — dùng exec để THAY THẾ sh bằng java, giữ nguyên PID 1
set -e
echo "starting with JAVA_OPTS=$JAVA_OPTS"
exec java $JAVA_OPTS -jar /app/app.jar
#^^^^ thiếu chữ exec này là mất signal
subprocess, hoặc app chạy ffmpeg), process con chết sẽ thành zombie vì app của bạn
không gọi wait(). Dùng tini hoặc đặt
shareProcessNamespace/spec.containers[].securityContext phù hợp. Cách gọn nhất:
ENTRYPOINT ["/sbin/tini", "--", "java", "-jar", "/app/app.jar"]
server:
shutdown: graceful
spring:
lifecycle:
timeout-per-shutdown-phase: 25s
Spring dừng nhận request mới, chờ request đang chạy xong.
Đặt nhỏ hơn terminationGracePeriodSeconds.
gunicorn app:app \
--graceful-timeout 25 \
--timeout 30 \
-k uvicorn.workers.UvicornWorker
Gunicorn master bắt SIGTERM và cho worker
hoàn thành request. FastAPI dùng lifespan để dọn tài nguyên.
builder.Services.Configure
<HostOptions>(o =>
o.ShutdownTimeout =
TimeSpan.FromSeconds(25));
.NET bắt SIGTERM sẵn qua
IHostApplicationLifetime. Dùng ApplicationStopping để dọn.
spec:
template:
spec:
# Phải LỚN HƠN thời gian app cần để xử lý xong request dài nhất
terminationGracePeriodSeconds: 45
containers:
- name: app
lifecycle:
preStop:
exec:
# Chờ 5s để kube-proxy/ALB kịp gỡ pod khỏi backend
# trước khi app bắt đầu từ chối request. Tránh mất request.
command: ["sh", "-c", "sleep 5"]
sleep 5 trong preStop: việc gỡ pod khỏi Endpoints và việc gửi
SIGTERM xảy ra song song, không tuần tự. Trong vài trăm ms tới vài giây, ALB hoặc
kube-proxy ở node khác vẫn còn gửi request tới pod đã bắt đầu shutdown. sleep 5 tạo
khoảng đệm để quá trình gỡ backend hoàn tất trước. Đây là cách sửa phổ biến nhất cho hiện tượng
"có 502/504 lẻ tẻ mỗi lần deploy".
java -jar app.jar ở dòng cuối thay vì exec java -jar app.jar. Hậu quả?Linux báo cáo bộ nhớ bằng nhiều chỉ số khác nhau, và chúng không thay thế được nhau.
Dùng sai chỉ số là nguyên nhân số một của việc đặt limits.memory sai.
| Chỉ số | Xem ở đâu | Nghĩa là gì | Gây OOMKilled? |
|---|---|---|---|
| VSZ virtual size |
ps cột VSZ |
Tổng không gian địa chỉ ảo đã đặt chỗ, kể cả phần chưa bao giờ chạm tới. JVM đặt chỗ rất nhiều nên VSZ thường vài chục GB. Con số này gần như vô dụng để đánh giá RAM. | Không |
| RSS resident set size |
ps cột RSS |
RAM vật lý process đang thực sự chiếm. Gồm heap, stack, thư viện đã nạp, và phần page cache được map vào process. Gần với thực tế nhưng không phải con số kernel dùng để kill. | Gián tiếp |
| Working set | container_memory_working_set_bytes |
Đây là con số Kubernetes dùng. Bằng memory.current của cgroup trừ đi phần
page cache không hoạt động (inactive file). Gồm anonymous memory + page cache đang hoạt động. |
CÓ — chính nó |
| Page cache | memory.stat dòng file |
Nội dung file kernel giữ lại cho lần đọc sau. Thu hồi được: thiếu RAM thì kernel nhả ngay. Nhưng vẫn bị tính vào working set nếu đang active, nên làm pod trông tốn RAM. | Không trừ dirty page |
limits.memory so với working set, không so với RSS, không so
với -Xmx. Và working set gồm cả những thứ JVM không kiểm soát: thread stack, metaspace,
direct buffer, page cache. Đó là lý do pod đặt -Xmx2048M lại chiếm 2,3–2,7 GiB — chi tiết
đã phân tích trong tài liệu JVM, trang 2.
free -m mà không bị lừa total used free shared buff/cache available
Mem: 15896 4210 512 120 11174 11320
Swap: 0 0 0
| Cột | Đọc thế nào |
|---|---|
free = 512 | Đừng lo khi cột này nhỏ. Linux coi RAM rỗi là RAM bị lãng phí nên dùng gần hết làm cache. Cột này nhỏ là bình thường. |
buff/cache = 11174 | Page cache và buffer. Phần lớn thu hồi được ngay khi có ai cần RAM. |
available = 11320 | Đây là cột cần xem. Lượng RAM có thể cấp cho process mới mà không phải swap. Cột này xuống thấp mới là lúc lo. |
Swap = 0 | EKS node mặc định không có swap. Kubernetes trước đây yêu cầu tắt swap. Nghĩa là hết RAM là OOM ngay, không có vùng đệm. |
Có hai loại OOM hoàn toàn khác nhau, và nhầm chúng dẫn tới sửa sai hướng:
Nguyên nhân: working set của một container vượt
memory.max (tức limits.memory).
Phạm vi: chỉ process trong cgroup đó bị xét. Node vẫn có thể còn rất nhiều RAM rỗi.
Dấu hiệu: exit code 137,
Reason: OOMKilled, không có log của app.
Sửa: nâng limits.memory, hoặc giảm RAM mà app dùng.
Nguyên nhân: toàn bộ node hết RAM. Kernel phải chọn một process bất kỳ để giết.
Cách chọn: theo oom_score, tính từ lượng RAM đang dùng
và oom_score_adj. Pod QoS BestEffort bị chọn trước, rồi Burstable,
cuối cùng mới tới Guaranteed.
Dấu hiệu: nhiều pod trên cùng node chết gần như cùng lúc.
Sửa: nâng requests.memory cho đúng, thêm node, kiểm
pod nào thiếu limit.
SIGTERM, có event Evicted, và không có exit code 137. Kubelet chọn pod
dùng vượt requests.memory nhiều nhất. Chi tiết so sánh ba cơ chế nằm ở
tài liệu JVM, trang 7.
| QoS class | Điều kiện | Mức độ an toàn |
|---|---|---|
| Guaranteed | requests = limits cho mọi container, cả CPU và memory |
Bị evict cuối cùng. Nhưng với pod Java thì đặt limits.cpu = requests.cpu
lại gây throttle lúc khởi động — phải cân nhắc, xem
tài liệu JVM, trang 9. |
| Burstable | Có requests nhưng khác limits |
Mức phổ biến nhất trong thực tế. Bị evict nếu dùng vượt request. Nên đặt request sát mức dùng thật để tự bảo vệ. |
| BestEffort | Không khai requests và limits | Bị giết đầu tiên. Đừng để service production ở mức này. Đây cũng là lý do sidecar thiếu limit kéo cả pod xuống hạng. |
Khi app ghi file, dữ liệu vào page cache trước và được đánh dấu dirty (bẩn), chờ kernel ghi xuống đĩa. Dirty page không thu hồi được ngay vì chưa an toàn để bỏ. Nên:
# Xem lượng dirty page đang chờ ghi
grep -E 'Dirty|Writeback' /proc/meminfo
# Dirty: 184320 kB <- 180 MiB chờ ghi xuống đĩa
# Writeback: 4096 kB
-XX:+HeapDumpOnOutOfMemoryError với
HeapDumpPath trỏ vào filesystem của container. Khi OOM xảy ra, JVM ghi file dump bằng cả
kích thước heap (ví dụ 2 GiB). Lượng dirty page đó đẩy working set vượt limits.memory →
container bị SIGKILL giữa lúc đang dump. Mất dump, và người điều tra chỉ thấy
exit 137 nên đi tìm rò rỉ ngoài heap — sai hướng hoàn toàn.
HeapDumpPath trỏ vào một volume riêng (emptyDir hoặc EBS), và
limits.memory phải có biên ít nhất bằng -Xmx.
free chỉ còn 300 MB nhưng available là 9 GB. Kết luận?Đây là mục quan trọng nhất của trang này. Mọi dòng resources: bạn viết trong
YAML cuối cùng biến thành vài file text trong /sys/fs/cgroup. Hiểu phép biến đổi đó là
hiểu vì sao pod hành xử như nó đang hành xử.
| YAML bạn viết | File cgroup v2 tương ứng | Ý nghĩa |
|---|---|---|
limits.cpu: 2000m |
cpu.max = 200000 100000 |
200.000 µs CPU cho mỗi chu kỳ 100.000 µs (100 ms). Tức dùng được 2 core song song. Vượt là bị treo tới hết chu kỳ. |
requests.cpu: 500m |
cpu.weight ≈ 20 |
Chỉ là trọng số khi node tranh chấp CPU. Node rỗi thì không chặn gì cả. Dùng để xếp node và làm mẫu số cho ngưỡng HPA/KEDA. |
limits.memory: 3584Mi |
memory.max = 3758096384 |
Trần cứng. Working set vượt là cgroup OOM killer ra tay ngay. |
requests.memory: 2560Mi |
memory.low (v2) / dùng bởi scheduler |
Lượng RAM được bảo đảm. Dùng vượt mức này là vào diện bị kubelet evict khi node chật. |
Đây là bộ lệnh đầu tiên nên chạy khi
kubectl exec vào pod để điều tra tài nguyên.
Linux không cấp CPU theo giây mà theo chu kỳ 100 ms. Đây là lý do pod bị throttle nặng trong khi CPU trung bình mới dùng 55% của limit:
limits.cpu = 500m → quota = 50 ms cho mỗi chu kỳ 100 ms
Chu kỳ 1: cần 30 ms → dùng 30 ms, còn dư 20 ms → DƯ BỊ BỎ, không để dành
Chu kỳ 2: cần 80 ms → dùng 50 ms, THROTTLE 30 ms cuối chu kỳ
Chu kỳ 3: cần 25 ms → dùng 25 ms, dư 25 ms → lại bỏ
...
Trung bình cả giây: 45 ms / 50 ms = 90% quota → "CPU chưa đầy!"
Nhưng chu kỳ 2 đã bị treo 30 ms → request đó cộng thêm 30 ms độ trễ vô hình
cpu.stat — con số thật$ cat /sys/fs/cgroup/cpu.stat
usage_usec 184203891
user_usec 142882013
system_usec 41321878
nr_periods 892451 <- tổng số chu kỳ đã trôi qua
nr_throttled 94318 <- số chu kỳ bị treo
throttled_usec 2847193021 <- tổng thời gian bị treo
Tỉ lệ throttle = nr_throttled / nr_periods = 94318 / 892451 = 10,6%
^^^^ trên 10% là đã ảnh hưởng độ trễ rõ rệt
Câu PromQL tương đương để dùng trên Grafana:
rate(container_cpu_cfs_throttled_periods_total[5m])
/ rate(container_cpu_cfs_periods_total[5m])
| Runtime | Đọc được cgroup từ | Hành vi và cờ cần biết |
|---|---|---|
| Java | 8u191+ / 11+ (cgroup v2: 15+, backport 11.0.16+) | -XX:+UseContainerSupport bật sẵn. JVM lấy limits.memory để tính
heap mặc định (1/4), và lấy limits.cpu để quyết số thread GC và
ForkJoinPool. Hệ quả: limits.cpu dưới 1000m làm JVM tưởng chỉ có
1 core và thu nhỏ hàng loạt thread pool. Ép bằng
-XX:ActiveProcessorCount=2 nếu buộc phải đặt limit thấp. |
| .NET | Core 3.0+ | Tự đọc cgroup. Environment.ProcessorCount theo limits.cpu. GC server
mode mặc định bật ở ASP.NET Core và tạo heap theo số core — limit thấp làm GC đổi hành vi. Cờ:
DOTNET_GCHeapHardLimitPercent, DOTNET_gcServer. |
| Python | Không tự đọc | CPython không đọc cgroup. os.cpu_count() trả về số core của node,
không phải limit. Nên gunicorn --workers $(nproc) trên node 64 core sẽ tạo 64 worker
trong container 500m CPU → throttle thảm hoạ. Phải đặt số worker tường minh. |
| Node.js | Một phần | os.cpus() trả số core node. Heap V8 mặc định không theo cgroup — phải đặt
--max-old-space-size tường minh. |
# SAI — trên node 64 core sẽ tạo 129 worker trong container 1 CPU
CMD gunicorn app:app --workers $(( $(nproc) * 2 + 1 ))
# ĐÚNG — đặt tường minh, hoặc đọc từ biến môi trường do Helm chèn
CMD gunicorn app:app --workers ${GUNICORN_WORKERS:-4} --threads 2
Công thức đặt worker cho Python: workers ≈ limits.cpu (số core) × 2 + 1, nhưng trần ở mức
RAM cho phép vì mỗi worker là một process riêng, nhân bản toàn bộ bộ nhớ app.
| Namespace | Cô lập cái gì | Liên quan tới Kubernetes thế nào |
|---|---|---|
pid | Bảng process | App của bạn thấy mình là PID 1. Mặc định mỗi container một PID namespace; shareProcessNamespace: true cho các container trong pod thấy nhau — hữu ích để debug bằng sidecar. |
net | Interface, route, iptables, port | Mọi container trong một pod chia sẻ net namespace. Đó là lý do chúng gọi nhau qua localhost và không được trùng port. |
mnt | Cây mount | Mỗi container thấy filesystem riêng từ image. Volume là mount được chèn vào namespace này. |
uts | Hostname | hostname trong pod trả về tên pod. Dùng để phân biệt replica trong log. |
ipc | Shared memory, semaphore | Chia sẻ trong pod. Quan trọng nếu app dùng /dev/shm — mặc định chỉ 64 MB, Chrome headless và một số thư viện ML sẽ chết vì thiếu. |
user | Map UID/GID | Ít dùng trong EKS mặc định. Liên quan tới rootless container và Pod Security Standards. |
/dev/shm: mặc định container chỉ có 64 MB shared memory. Nếu app
dùng Chrome headless (Puppeteer, Selenium), PyTorch DataLoader, hoặc PostgreSQL trong container, nó sẽ
lỗi khó hiểu. Sửa bằng volume:
volumes:
- name: dshm
emptyDir:
medium: Memory
sizeLimit: 1Gi
volumeMounts:
- name: dshm
mountPath: /dev/shm
Lưu ý: emptyDir.medium: Memory tính vào limits.memory của
pod, nên phải nâng limit tương ứng.
limits.cpu: 1000m, chạy trên node 64 core, dùng --workers $(nproc). Chuyện gì xảy ra?Trên EKS bạn ít chạy app bằng systemd, nhưng kubelet, containerd và kube-proxy đều là systemd unit. Khi node NotReady, đây là chỗ đầu tiên phải xem. Mục này cũng cần nếu bạn còn service chạy trên EC2 thuần.
| Unit | Vai trò và khi nào cần xem |
|---|---|
kubelet.service | Agent nói chuyện với control plane, quản lý pod trên node, thực hiện probe và eviction. Node NotReady gần như luôn là kubelet có vấn đề — hết đĩa, hết inode, không kết nối được API server, hoặc cert hết hạn. |
containerd.service | Container runtime thật sự tạo và chạy container. Lỗi pull image, lỗi tạo container đều ở đây. |
kubelet.service → /etc/kubernetes/kubelet/kubelet-config.json | Nơi đặt ngưỡng eviction (evictionHard), maxPods, và systemReserved. Thay đổi phải qua launch template hoặc Karpenter, không sửa tay. |
amazon-ssm-agent | Cho phép vào node bằng SSM Session Manager — cách đúng để truy cập node EKS mà không mở SSH. |
# Trạng thái và log gần nhất của một unit
systemctl status kubelet
# Unit có đang chạy không, có bật lúc boot không
systemctl is-active kubelet
systemctl is-enabled kubelet
# Khởi động lại, nạp lại config (không khởi động lại process)
sudo systemctl restart kubelet
sudo systemctl reload nginx
# Sau khi sửa file .service phải reload daemon trước
sudo systemctl daemon-reload
# Liệt kê unit đang lỗi — lệnh đầu tiên khi node có vấn đề
systemctl --failed
# Xem thứ tự khởi động chậm ở đâu
systemd-analyze blame | head
# Log của unit, theo thời gian thực
journalctl -u kubelet -f
journalctl -u kubelet --since "15 min ago" --no-pager
journalctl -u kubelet -p err -b # chỉ lỗi, trong lần boot này
Dùng khi bạn chạy app trên EC2 thuần, hoặc viết agent chạy trên node.
[Unit]
Description=My application
# Chỉ khởi động sau khi có mạng thật sự (không chỉ là network.target)
After=network-online.target
Wants=network-online.target
[Service]
Type=simple
User=appuser
Group=appuser
WorkingDirectory=/opt/myapp
# Nạp biến môi trường từ file (chmod 600, chỉ appuser đọc được)
EnvironmentFile=/etc/myapp/env
ExecStart=/usr/bin/java -jar /opt/myapp/app.jar
# Reload không cần restart (nếu app hỗ trợ)
ExecReload=/bin/kill -HUP $MAINPID
# Chết thì tự khởi động lại, nhưng có giới hạn để không loop vô hạn
Restart=on-failure
RestartSec=5s
StartLimitBurst=5
StartLimitIntervalSec=120
# Thời gian chờ graceful shutdown. Phải lớn hơn thời gian app cần
TimeoutStopSec=45
KillSignal=SIGTERM
# Chỉ gửi signal cho process chính, không cho cả process group
KillMode=mixed
# ---- Giới hạn tài nguyên: đây chính là cgroup, giống Kubernetes ----
MemoryMax=3584M
MemoryHigh=3072M
CPUQuota=200%
TasksMax=4096
LimitNOFILE=65536
# ---- Hardening: giảm bề mặt tấn công ----
NoNewPrivileges=true
PrivateTmp=true
ProtectSystem=strict
ProtectHome=true
ReadWritePaths=/var/log/myapp /opt/myapp/data
[Install]
WantedBy=multi-user.target
MemoryMax và CPUQuota: hai dòng này tạo ra đúng cùng loại
cgroup mà Kubernetes dùng cho limits. CPUQuota=200% tương đương
limits.cpu: 2000m. Hiểu được điều này nghĩa là bạn đã hiểu bản chất
resources.limits, chỉ khác giao diện khai báo.
# 1. Vào node bằng SSM (không cần SSH, không cần mở port)
aws ssm start-session --target i-0abc123def456
# 2. kubelet còn sống không, lỗi gì
sudo systemctl status kubelet
sudo journalctl -u kubelet -p err --since "30 min ago" --no-pager | tail -40
# 3. Nguyên nhân số 1: hết đĩa hoặc hết inode
df -h /
df -i /
# 4. Nguyên nhân số 2: image cũ chiếm đĩa
sudo du -sh /var/lib/containerd
# 5. Nguyên nhân số 3: không gọi được API server
curl -sk https://kubernetes.default.svc/healthz # từ trong pod
sudo journalctl -u kubelet | grep -i 'unauthorized\|certificate\|timeout'
# 6. Kiểm cgroup và pressure của node
cat /proc/pressure/memory
cat /proc/pressure/io
/proc/pressure/* (PSI) là chỉ số bị bỏ qua nhưng rất hữu ích. Nó cho biết
phần trăm thời gian các task bị đình trệ vì thiếu RAM, CPU hoặc I/O. Khác với load average,
PSI phân biệt rõ nghẽn vì cái gì:
$ cat /proc/pressure/io
some avg10=24.31 avg60=18.92 avg300=12.44 total=8472910283
full avg10=11.08 avg60=8.21 avg300=5.13 total=3918472010
# ^^^^^^ 11% thời gian MỌI task bị chặn vì I/O → đĩa đang là nút cổ chai
Phần này quyết định hai thứ: container của bạn có chạy non-root được không (yêu cầu bảo mật gần như bắt buộc hiện nay), và người ta vào được node bằng cách nào.
$ ls -l /opt/app
-rwxr-xr-- 1 appuser appgroup 4096 Nov 5 10:23 app.jar
│└┬┘└┬┘└┬┘ └──┬──┘ └───┬──┘
│ │ │ │ │ └─ group sở hữu
│ │ │ │ └─ user sở hữu
│ │ │ └─ other: r-- = đọc
│ │ └─ group: r-x = đọc + thực thi
│ └─ owner: rwx = đọc + ghi + thực thi
└─ loại: -=file d=directory l=symlink
Dạng số: rwx=7 rw-=6 r-x=5 r--=4 -wx=3 -w-=2 --x=1 ---=0
0754 = owner rwx, group r-x, other r--
| Quyền trên directory | Nghĩa thực tế (khác với file) |
|---|---|
r (read) | Liệt kê được tên file bên trong. Nhưng không đọc được metadata nếu thiếu x. |
x (execute) | Đi xuyên qua được directory. Thiếu x là không truy cập được gì bên trong, dù biết đường dẫn chính xác. Đây là lỗi hay gặp khi mount volume. |
w (write) | Tạo, xoá, đổi tên file bên trong. Xoá file chỉ cần quyền ghi trên directory, không cần quyền trên file. |
FROM eclipse-temurin:21-jre-alpine
# Tạo user không đặc quyền với UID cố định (quan trọng cho volume permission)
RUN addgroup -g 10001 app && adduser -u 10001 -G app -S -H app
WORKDIR /app
COPY --chown=10001:10001 target/app.jar app.jar
# Chuyển sang non-root TRƯỚC khi chạy
USER 10001
EXPOSE 8080
ENTRYPOINT ["java", "-jar", "/app/app.jar"]
FROM python:3.12-slim
RUN groupadd -g 10001 app && useradd -u 10001 -g app -M -s /usr/sbin/nologin app
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY --chown=10001:10001 . .
USER 10001
# Python ghi .pyc vào thư mục source — tắt đi để không cần quyền ghi
ENV PYTHONDONTWRITEBYTECODE=1 PYTHONUNBUFFERED=1
CMD ["gunicorn", "-b", "0.0.0.0:8000", "--workers", "4", "app:app"]
FROM mcr.microsoft.com/dotnet/aspnet:8.0-alpine
WORKDIR /app
COPY --chown=app:app ./publish .
# Image .NET 8+ đã có sẵn user 'app'
USER app
# Mặc định .NET 8 listen port 8080 khi chạy non-root (không còn 80)
ENV ASPNETCORE_HTTP_PORTS=8080
ENTRYPOINT ["dotnet", "MyApp.dll"]
spec:
template:
spec:
securityContext:
runAsNonRoot: true
runAsUser: 10001
runAsGroup: 10001
# Mọi volume được chown sang group này — cách sửa lỗi permission trên PVC
fsGroup: 10001
seccompProfile:
type: RuntimeDefault
containers:
- name: app
securityContext:
allowPrivilegeEscalation: false
readOnlyRootFilesystem: true
capabilities:
drop: ["ALL"]
# readOnlyRootFilesystem = true thì phải cấp volume cho mọi chỗ cần ghi
volumeMounts:
- name: tmp
mountPath: /tmp
- name: dump
mountPath: /dump
volumes:
- name: tmp
emptyDir: {}
- name: dump
emptyDir:
sizeLimit: 3Gi
/tmp. Khi bật readOnlyRootFilesystem, JVM cần
/tmp cho hsperfdata và memory-mapped file. Phải mount emptyDir.fsGroup để kubelet
tự chown, hoặc dùng initContainer chạy root chỉ để chown.AmazonSSMManagedInstanceCore và agent SSM (AL2/AL2023 đã có sẵn).
# Liệt kê node quản lý được bằng SSM
aws ssm describe-instance-information \
--query 'InstanceInformationList[].{Id:InstanceId,Name:ComputerName}' --output table
# Mở shell vào node
aws ssm start-session --target i-0abc123def456
# Cách nhanh hơn: debug pod có quyền xem host, không cần vào node
kubectl debug node/ip-10-0-3-117.ap-southeast-1.compute.internal \
-it --image=public.ecr.aws/amazonlinux/amazonlinux:2023
# Filesystem của node được mount ở /host
chroot /host
# Không bao giờ cho root đăng nhập trực tiếp
PermitRootLogin no
# Chỉ dùng key, bỏ hẳn password
PasswordAuthentication no
KbdInteractiveAuthentication no
PubkeyAuthentication yes
# Giới hạn ai được vào
AllowGroups ssh-users
# Cắt phiên treo
ClientAliveInterval 300
ClientAliveCountMax 2
LoginGraceTime 30
MaxAuthTries 3
# Tắt những thứ không dùng
X11Forwarding no
AllowAgentForwarding no
PermitTunnel no
# Kiểm tra cú pháp TRƯỚC khi restart — sai cú pháp là mất quyền vào máy
sudo sshd -t && sudo systemctl reload sshd
# SAI: cấp toàn quyền, không kiểm soát được
# deploy ALL=(ALL) NOPASSWD: ALL
# ĐÚNG: chỉ cho đúng việc cần làm
deploy ALL=(root) NOPASSWD: /bin/systemctl restart myapp, \
/bin/systemctl status myapp, \
/usr/bin/journalctl -u myapp *
# Luôn dùng visudo để kiểm cú pháp, tránh khoá mình ra ngoài
sudo visudo -f /etc/sudoers.d/deploy
# Kiểm tra user được làm gì
sudo -l -U deploy
Phần lớn sự cố "service gọi service kia bị timeout" nằm ở tầng này. Mục này đi từ lệnh cơ bản tới các bẫy đặc thù của EKS: DNS 5 giây, conntrack đầy, và giới hạn IP của VPC CNI.
| Lệnh nên dùng | Thay cho | Dùng để làm gì |
|---|---|---|
ip a / ip -br a | ifconfig | Xem interface và IP. Trong pod sẽ thấy eth0 là veth nối ra node. |
ip r | route -n | Bảng định tuyến. Xem gateway mặc định của pod. |
ss -tulpn | netstat -tulpn | Port đang listen và process nào giữ. Lệnh dùng nhiều nhất khi app "không nhận request". |
ss -tn state established | netstat -an | Kết nối đang mở. Đếm được để phát hiện rò rỉ connection pool. |
ss -tn -o state time-wait | wc -l | — | Số kết nối TIME_WAIT. Cao bất thường = app tạo/đóng kết nối liên tục thay vì dùng keep-alive. |
dig / nslookup | — | Kiểm DNS. Trong cluster dùng để xác nhận service discovery hoạt động. |
curl -v --max-time 5 | — | Kiểm HTTP end-to-end. Luôn đặt timeout để không treo. |
mtr -rwzc 20 host | traceroute | Đường đi và nơi mất gói. Dùng khi nghi vấn đề giữa AZ hoặc ra ngoài internet. |
Mỗi pod có /etc/resolv.conf trỏ vào CoreDNS, kèm ndots:5:
nameserver 172.20.0.10
search prod.svc.cluster.local svc.cluster.local cluster.local ap-southeast-1.compute.internal
options ndots:5
ndots:5 nghĩa là gì: tên nào có ít hơn 5 dấu chấm sẽ được thử lần lượt với
từng domain trong search trước khi thử như tên tuyệt đối. Gọi
api.github.com (2 dấu chấm) sẽ sinh ra 4 truy vấn thất bại trước khi truy vấn
đúng:
api.github.com.prod.svc.cluster.local → NXDOMAIN
api.github.com.svc.cluster.local → NXDOMAIN
api.github.com.cluster.local → NXDOMAIN
api.github.com.ap-southeast-1.compute.internal → NXDOMAIN
api.github.com → OK (cuối cùng!)
Với service gọi API ngoài nhiều, đây là nguồn tải lớn lên CoreDNS và cộng độ trễ vào mọi request.
api.github.com.
— dấu chấm cuối báo đây là FQDN, bỏ qua toàn bộ search.ndots cho pod đó:
dnsConfig:
options:
- name: ndots
value: "2"kube-proxy dùng iptables/IPVS, và mọi kết nối đi qua NAT đều được ghi vào bảng conntrack. Bảng này có trần. Đầy thì gói mới bị drop im lặng — không có lỗi rõ ràng, chỉ là timeout ngẫu nhiên.
# Số entry hiện tại và trần
conntrack -C
sysctl net.netfilter.nf_conntrack_max
# Kernel log khi bảng đầy — dòng cần tìm
dmesg -T | grep -i 'conntrack table full'
# [Wed Nov 5 09:14:22 2026] nf_conntrack: table full, dropping packet
# Phân bố theo trạng thái, xem có bất thường không
conntrack -L 2>/dev/null | awk '{print $4}' | sort | uniq -c | sort -rn
| Dấu hiệu | Nguyên nhân và cách sửa |
|---|---|
| Timeout ngẫu nhiên, không theo quy luật, nhiều pod cùng node | conntrack đầy. Nâng nf_conntrack_max, hoặc giảm số kết nối ngắn bằng cách bật
keep-alive và dùng connection pool. |
Rất nhiều entry ở trạng thái TIME_WAIT |
App tạo kết nối mới cho mỗi request. Sửa ở tầng app: dùng HTTP client có connection pool
(Java: HttpClient tái sử dụng; Python: requests.Session;
.NET: IHttpClientFactory). |
| Chỉ xảy ra khi gọi service ngoài VPC | NAT Gateway có giới hạn 55.000 kết nối đồng thời tới mỗi đích. Cần thêm NAT Gateway hoặc dùng VPC Endpoint cho dịch vụ AWS. |
maxPods = (số ENI × (số IP mỗi ENI − 1)) + 2
m5.large : 3 ENI × (10 − 1) + 2 = 29 pod
m5.xlarge : 4 ENI × (15 − 1) + 2 = 58 pod
m5.2xlarge : 4 ENI × (15 − 1) + 2 = 58 pod
c6g.4xlarge: 8 ENI × (30 − 1) + 2 = 234 pod
Hệ quả: node m5.large có 2 core và 8 GB RAM nhưng chỉ chạy được 29 pod. Nếu service của bạn
nhiều pod nhỏ, bạn hết IP trước khi hết CPU/RAM — pod mới nằm Pending với lý do
FailedScheduling. Bật prefix delegation trên VPC CNI để tăng số IP mỗi ENI lên
nhiều lần.
kubectl set env daemonset aws-node -n kube-system \
ENABLE_PREFIX_DELEGATION=true
# MTU của pod và node phải khớp. VPC hỗ trợ jumbo frame 9001 trong cùng VPC,
# nhưng chỉ 1500 khi đi qua internet gateway hoặc peering.
ip link show eth0 | grep mtu
# Triệu chứng MTU sai: TCP handshake OK, request nhỏ OK,
# nhưng response LỚN thì treo vĩnh viễn (black hole).
# Kiểm bằng cách gửi gói đúng kích thước, không cho phân mảnh:
ping -M do -s 8972 10.0.3.117 # 8972 + 28 byte header = 9000
ping -M do -s 1472 api.github.com # 1472 + 28 = 1500
Nếu gói lớn bị mất mà gói nhỏ vẫn qua, gần như chắc chắn là vấn đề MTU hoặc ICMP bị chặn làm Path MTU Discovery không hoạt động.
api.stripe.com bị cộng thêm độ trễ DNS ở mỗi request. Nguyên nhân khả dĩ nhất?Node EKS hết đĩa là một trong những nguyên nhân phổ biến nhất của NotReady và
ImagePullBackOff. Mục này cũng giải thích overlayfs — lý do image nhiều layer lại chậm.
| Loại | Kiểm bằng | Nguyên nhân thường gặp |
|---|---|---|
| Hết dung lượng | df -h |
Image cũ không được dọn, log ghi ra file không rotate, heap dump để lại, emptyDir phình. |
| Hết inode | df -i |
Rất nhiều file nhỏ. df -h báo còn trống nhưng vẫn không tạo được file.
Thường do cache của npm/pip, hoặc log chia quá nhỏ. Đây là trường hợp dễ bỏ sót nhất. |
# Luôn kiểm cả hai
df -h /
df -i /
# Tìm thủ phạm: 10 thư mục lớn nhất, không đi xuyên mount point
sudo du -xh --max-depth=2 / 2>/dev/null | sort -rh | head -10
# Tìm file lớn nhất
sudo find / -xdev -type f -size +500M -exec ls -lh {} \; 2>/dev/null
# Đếm file để tìm chỗ ăn inode
sudo find / -xdev -printf '%h\n' 2>/dev/null | sort | uniq -c | sort -rn | head
rm, Linux không giải phóng dung lượng cho tới khi process đó đóng fd
hoặc chết. du không thấy file đó nhưng df vẫn tính.
# Tìm file đã xoá mà vẫn bị giữ
sudo lsof +L1 | head
# COMMAND PID USER FD TYPE SIZE/OFF NLINK NODE NAME
# java 1234 app 3w REG 2147483648 0 98234 /var/log/app/app.log (deleted)
# ^ NLINK=0 nghĩa là đã xoá
# Sửa: restart process, hoặc truncate qua /proc nếu không thể restart
sudo truncate -s 0 /proc/1234/fd/3
# 1. Xem containerd chiếm bao nhiêu
sudo du -sh /var/lib/containerd
# 2. Dọn image không còn container nào dùng (an toàn)
sudo crictl rmi --prune
# 3. Xem image đang có, sắp theo kích thước
sudo crictl images | sort -k4 -h
# 4. Dọn log journald quá hạn
sudo journalctl --vacuum-time=3d
sudo journalctl --vacuum-size=500M
# 5. Kiểm ngưỡng eviction của kubelet — đây là lý do pod bị evict
grep -A5 evictionHard /etc/kubernetes/kubelet/kubelet-config.json
nodefs.available<10%,
imagefs.available<15%, nodefs.inodesFree<5%. Chạm ngưỡng thì kubelet
bắt đầu garbage-collect image trước, rồi mới evict pod. Nên "pod bị evict" có thể hoàn
toàn không liên quan tới RAM — hãy xem cả đĩa.
Image Docker gồm nhiều layer chỉ đọc. Container thêm một layer ghi được ở trên. overlayfs ghép chúng lại thành một cây file duy nhất:
┌─────────────────────────────┐
│ upperdir (container layer) │ ← ghi được, mất khi container chết
├─────────────────────────────┤
│ lowerdir layer N (COPY . .) │ ┐
│ lowerdir layer 2 (pip inst) │ ├ chỉ đọc, chia sẻ giữa các container
│ lowerdir layer 1 (base OS) │ ┘ cùng dùng image đó
└─────────────────────────────┘
↓ merged
Cây file container thấy
| Hệ quả | Nghĩa thực tế |
|---|---|
| Copy-on-write | Sửa một file từ layer dưới thì toàn bộ file được copy lên upperdir trước. Sửa 1 byte của file 500 MB là copy 500 MB. Đây là lý do không nên ghi vào file lớn nằm trong image. |
| Layer được chia sẻ | 10 pod cùng image chỉ tốn 1 bản layer chỉ đọc trên node. Đó là lý do nên để các service dùng chung base image — tiết kiệm đĩa và tăng tốc pull. |
| Xoá file không giảm image | RUN rm -rf /cache ở layer sau không làm image nhỏ lại; file vẫn nằm ở layer trước, chỉ bị đánh dấu whiteout. Phải xoá trong cùng một RUN. Chi tiết ở chặng 03 · Docker. |
| Ghi nhiều làm chậm | Workload ghi nhiều (DB, cache file) nên dùng volume thay vì container layer. emptyDir hoặc EBS nhanh hơn overlayfs đáng kể. |
# Thiết bị nào đang bận. %util gần 100 và await cao = nghẽn
iostat -xz 2 5
# Process nào đang đọc/ghi nhiều nhất
sudo iotop -oPa
# Chỉ số PSI chính xác hơn load average cho I/O
cat /proc/pressure/io
# Trên EBS, chú ý burst credit của gp2 — hết credit là IOPS tụt thẳng xuống baseline.
# gp3 không có cơ chế burst nên ổn định hơn, nên dùng gp3.
Trong container có đúng một quy tắc về log: ghi ra stdout/stderr, không ghi ra file. Mục này giải thích vì sao, và cách đọc log ở ba tầng: container, node, cluster.
| Ghi ra file | Ghi ra stdout |
|---|---|
| Mất khi pod chết — đúng lúc bạn cần nhất | Đã được container runtime thu, còn lại sau khi pod chết (kubectl logs --previous) |
| Chiếm đĩa node, có thể làm node NotReady | Có rotation do kubelet quản lý |
| Tạo page cache, đẩy working set lên, làm pod trông tốn RAM | Không tạo page cache đáng kể trong container |
| Phải cấu hình thêm sidecar hoặc agent để thu | Fluent Bit / CloudWatch agent thu tự động |
Cần quyền ghi → chống lại readOnlyRootFilesystem | Không cần quyền ghi file nào |
<!-- logback-spring.xml -->
<appender name="JSON"
class="ch.qos.logback.core.
ConsoleAppender">
<encoder class="net.logstash.
logback.encoder.
LogstashEncoder"/>
</appender>
<root level="INFO">
<appender-ref ref="JSON"/>
</root>
import structlog, logging, sys
logging.basicConfig(
stream=sys.stdout,
level=logging.INFO,
format="%(message)s")
structlog.configure(
processors=[
structlog.processors.
add_log_level,
structlog.processors.
TimeStamper(fmt="iso"),
structlog.processors.
JSONRenderer()])
builder.Host.UseSerilog(
(ctx, cfg) => cfg
.ReadFrom.Configuration(
ctx.Configuration)
.Enrich.FromLogContext()
.WriteTo.Console(
new RenderedCompact
JsonFormatter()));
level,
trace_id, user_id mà không cần regex. Trong Loki đó là khác biệt giữa
|~ "error.*timeout" (chậm, dễ sai) và | json | level="error" (nhanh, chính xác).
Không có trace_id thì log của một request bị trộn lẫn giữa hàng nghìn request khác. Đây là thứ phân biệt log dùng được và log chỉ để ngắm.
# Java: Micrometer Tracing tự chèn traceId/spanId vào MDC
# application.yml
management:
tracing:
sampling:
probability: 0.1 # 10% request, đủ để điều tra mà không nổ chi phí
logging:
pattern:
level: "%5p [${spring.application.name},%X{traceId:-},%X{spanId:-}]"
# ---- Tầng 1: container (nhanh nhất, dùng khi pod còn sống) ----
kubectl logs -n prod deploy/order-service --tail=200
kubectl logs -n prod pod/order-service-7d9f8b-x4k2m -c app -f
kubectl logs -n prod pod/order-service-7d9f8b-x4k2m --previous # container ĐÃ CHẾT
kubectl logs -n prod -l app=order-service --max-log-requests=10 --tail=50 # mọi pod
# ---- Tầng 2: node (khi pod đã bị xoá hẳn) ----
sudo ls /var/log/pods/
sudo tail -f /var/log/pods/prod_order-service-*/app/0.log
sudo journalctl -u kubelet --since "10 min ago" | grep order-service
# ---- Tầng 3: cluster (Loki / CloudWatch, khi cần nhìn lịch sử) ----
# LogQL — lọc theo field vì log đã là JSON
{namespace="prod", app="order-service"} | json | level="ERROR"
{namespace="prod"} | json | trace_id="4bf92f3577b34da6a3ce929d0e0e4736"
sum by (level) (count_over_time({namespace="prod", app="order-service"} | json [5m]))
kubectl logs --previous. Nó đọc log của
container đã chết lần trước, nơi chứa stack trace gây ra cái chết. Không có nó thì bạn chỉ thấy
log của container mới khởi động — hoàn toàn vô dụng cho việc điều tra. Nhưng nhớ: nếu pod bị
OOMKilled thì thường không có gì trong log vì SIGKILL không cho app kịp ghi.
/var/log/myapp/*.log {
daily
rotate 14
size 100M
compress
delaycompress
missingok
notifempty
# copytruncate: copy rồi cắt file gốc, giữ nguyên fd của app đang mở.
# Dùng khi app KHÔNG hỗ trợ nhận SIGHUP để mở lại file.
# Nhược điểm: có thể mất vài dòng log giữa lúc copy và truncate.
copytruncate
su root root
}
# Thử nghiệm mà không thực sự rotate
sudo logrotate -d /etc/logrotate.d/myapp
# Buộc rotate ngay để kiểm tra
sudo logrotate -f /etc/logrotate.d/myapp
Mục này là checklist để dùng khi có sự cố. Nguyên tắc: thu thập bằng chứng theo thứ tự loại trừ được nhiều nhánh sai nhất, thay vì đoán từ triệu chứng bề mặt.
kubectl describe → exit code → logs --previous →
working set so với limit → throttle → trong container.
USE = Utilization, Saturation, Errors. Bấm lần lượt để đi qua chuỗi lệnh chuẩn.
| Triệu chứng | Nghi gì | Lệnh xác nhận |
|---|---|---|
Pod CrashLoopBackOff, exit 137, không log |
cgroup OOM — working set vượt limits.memory |
|
Pod exit 1, log có OutOfMemoryError |
Hết một vùng nhớ bên trong JVM, không phải cgroup | |
Pod Running nhưng trả 500 hàng loạt, restart = 0 |
JVM đã OOM mà thiếu ExitOnOutOfMemoryError |
|
| p95/p99 cao nhưng p50 bình thường | CPU throttle, hoặc GC pause | |
| Nhiều pod trên cùng node chết gần như cùng lúc | Node hết RAM → kubelet evict, hoặc system OOM | |
Pod Pending dù node còn CPU và RAM |
Hết IP của VPC CNI, hoặc không khớp affinity/taint | |
| Deploy xong có 502/504 lẻ tẻ vài giây | Thiếu preStop sleep, hoặc app không bắt SIGTERM |
|
| Timeout ngẫu nhiên giữa các service, không theo quy luật | conntrack đầy, hoặc DNS chậm vì ndots |
|
Node NotReady |
Hết đĩa, hết inode, hoặc kubelet mất kết nối API | |
ImagePullBackOff |
Sai tag, thiếu quyền ECR, hoặc node hết đĩa | |
Image distroless hoặc scratch không có sh. Dùng ephemeral container —
nó chia sẻ namespace với container đích nên thấy được process, mạng và (nếu cần) filesystem của nó.
# Gắn một container debug vào pod đang chạy
kubectl debug -it order-service-7d9f8b-x4k2m \
--image=nicolaka/netshoot \
--target=app \
--share-processes
# Trong đó: thấy process của app, dùng chung network namespace
ps aux # thấy cả java của container app
ss -tulpn # port của app
curl -s localhost:8080/actuator/health
nslookup payment-service
# Với JVM: lấy thread dump và heap info mà không restart pod
kubectl exec order-service-7d9f8b-x4k2m -- jcmd 1 Thread.print > threads.txt
kubectl exec order-service-7d9f8b-x4k2m -- jcmd 1 GC.heap_info
kubectl exec order-service-7d9f8b-x4k2m -- jcmd 1 VM.native_memory summary
VM.native_memory summary cần bật trước: thêm
-XX:NativeMemoryTracking=summary vào JAVA_OPTS. Đây là cách duy nhất
để biết chính xác vùng nào ngoài heap đang phình khi nghi rò rỉ native. Chi phí khoảng 5-10% hiệu năng,
nên thường chỉ bật ở môi trường thấp hoặc khi đang điều tra.
# Cách 1: gỡ label để pod rời khỏi Service + ReplicaSet không quản nữa.
# Pod vẫn chạy, không nhận traffic, ReplicaSet tạo pod mới bù vào.
kubectl label pod order-service-7d9f8b-x4k2m app-
kubectl label pod order-service-7d9f8b-x4k2m quarantine=true
# Cách 2: copy file ra trước khi pod chết
kubectl cp prod/order-service-7d9f8b-x4k2m:/dump/heap.hprof ./heap.hprof
# Cách 3: chụp toàn bộ trạng thái vào một file để phân tích sau
kubectl describe pod order-service-7d9f8b-x4k2m > evidence.txt
kubectl logs order-service-7d9f8b-x4k2m --previous >> evidence.txt
kubectl get events -n prod --sort-by=.lastTimestamp >> evidence.txt
# 1. Toàn cảnh node trong 1 giây
uptime && free -m && df -h / | tail -1
# 2. Pod nào restart nhiều nhất toàn cluster
kubectl get pods -A --sort-by='.status.containerStatuses[0].restartCount' | tail -15
# 3. Pod nào dùng RAM nhiều nhất
kubectl top pod -A --sort-by=memory | head -15
# 4. Event gần nhất toàn cluster — thường trả lời ngay câu "vừa xảy ra gì"
kubectl get events -A --sort-by=.lastTimestamp | tail -30
# 5. Node nào đang có vấn đề
kubectl get nodes -o wide
kubectl describe nodes | grep -E 'Name:|MemoryPressure|DiskPressure|PIDPressure'
# 6. So resource khai báo với mức dùng thật
kubectl get pod X -o jsonpath='{.spec.containers[*].resources}' | jq
kubectl top pod X --containers
# 7. Đọc cgroup thật trong container
kubectl exec X -- sh -c 'cat /sys/fs/cgroup/memory.max /sys/fs/cgroup/cpu.max'
# 8. Process nào trong container ăn CPU
kubectl exec X -- top -b -n1 | head -12
# 9. Kiểm kết nối từ pod ra ngoài
kubectl exec X -- sh -c 'time curl -so /dev/null -w "%{http_code} %{time_total}s\n" https://api.ext.com/health'
# 10. Xem pod bị gì mà không Ready
kubectl get pod X -o jsonpath='{range .status.conditions[*]}{.type}={.status} {.reason}{"\n"}{end}'
-Xmx. Hướng điều tra đúng?