Tài liệu học về cách JVM dùng CPU và RAM khi chạy trong container, và cách nhận ra mặt từng sự cố trên dashboard.
Mười trang theo thứ tự dạy học, đọc lần lượt từ đầu: khái niệm nền (1–4) → vì sao số pod Java tự nhân lên mà chẳng liên quan tới tải (5) → giả lập 21 sự cố (6) → tra cứu khi pod chết (7–8) → đặt request và limit cho CPU và RAM (9–10).
Số liệu minh hoạ lấy từ một service Spring Boot thật đang chạy production, nên các con số là mức bạn sẽ gặp ngoài thực tế chứ không phải ví dụ cho tròn số. Phần mô phỏng ở trang 6 tính CPU, throttle, heap, GC và RAM ngoài heap tác động lẫn nhau theo đúng thứ tự nguyên nhân - kết quả thật, nên mỗi sự cố hiện ra giống như dashboard trên Grafana.
Java không chạy trực tiếp trên CPU. Giữa code và CPU có một lớp trung gian tên là JVM (Java Virtual Machine). Hiểu lớp trung gian này làm gì thì mới hiểu vì sao nó cần nhiều RAM.
Bấm vào từng bước để xem nó dùng vùng RAM nào.
Ứng dụng của bạn chỉ chiếm một phần. JVM còn phải chứa các thứ phục vụ cho ba việc ở trên:
| Việc JVM làm | Phải chứa gì trong RAM | Tên vùng nhớ |
|---|---|---|
| Giữ dữ liệu ứng dụng | Mọi object bạn new ra: entity, DTO, chuỗi, danh sách, cache | Heap |
| Biết các class có gì | Tên class, danh sách method, chữ ký, annotation. Spring sinh thêm nhiều class proxy nên vùng này phình theo framework | Metaspace |
| Chạy nhanh | Mã máy mà JIT đã dịch từ bytecode của những đoạn code chạy nhiều | CodeCache |
| Đọc ghi mạng, file | Bộ đệm nằm ngoài heap để khỏi phải copy dữ liệu. Netty, Kafka client, NIO dùng cái này | Direct buffer |
| Chạy nhiều luồng | Mỗi thread một stack riêng, mặc định khoảng 1 MB. 200 thread là 200 MB | Native (thread stack) |
| Dọn rác | GC cần bảng ghi chép riêng để biết object nào đang được ai tham chiếu | Native (GC structures) |
-Xmx2048M mà pod lại chiếm 2,3–2,7 GiB. -Xmx chỉ
giới hạn dòng đầu tiên của bảng trên. Năm dòng còn lại nằm ngoài tầm với của -Xmx,
và chúng cộng thêm khoảng 650 MB nữa. Trang 2 bóc tách con số đó.
Số liệu thật từ pod cust-portal-transaction-workflow-service-5486cbd9-2rpfb.
Cấu hình: -Xms1024M -Xmx2048M, requests.memory 2560Mi,
limits.memory 3584Mi. Bấm vào khối màu để xem từng phần là gì.
-Xmx | 2048 MiB | heap tối đa, chỉ là một phần |
requests.memory | 2560 MiB | RAM khai báo để xếp node |
limits.memory | 3584 MiB | vượt là bị OOMKilled |
Lỗi hay gặp nhất là đặt ngưỡng scale của KEDA bằng đúng -Xmx. Trang 4
giải thích vì sao việc đó làm pod không bao giờ co lại.
Ngoài heap = Working set − Heap committed
= 2365 − 1710 = 655 MiB
Nếu heap đầy = Xmx + Ngoài heap
= 2048 + 655 = 2703 MiB
= 75% của limit 3584
Dòng thứ hai là con số quan trọng nhất khi đặt limit: nó là mức RAM pod sẽ chiếm khi heap giãn hết, dù hôm nay nó chưa giãn tới đó.
| Phần | Thu hồi được? | Nghĩa là gì |
|---|---|---|
| Native thật | Không | Thread stack, bảng ghi chép của GC, vùng làm việc của JIT, bộ nhớ do thư viện gọi
malloc cấp. Phần này tăng đều mà không dừng là dấu hiệu rò rỉ ngoài heap —
loại rò rỉ mà heap dump không nhìn thấy. |
| Page cache | Có | Hệ điều hành giữ lại nội dung file vừa đọc ghi cho lần sau nhanh hơn. Nó bị tính vào working set nên làm pod trông tốn RAM, nhưng khi thiếu RAM thì kernel tự nhả. Thấy phần này lớn thì không cần lo. |
Đây là lý do dashboard tách hai dải riêng thay vì gộp thành một ô “native / khác”: một cái là bệnh, một cái lành tính, gộp lại thì không phân biệt được.
GC (Garbage Collection) là cơ chế JVM tự dọn những object không ai dùng nữa, để bạn không phải giải phóng bộ nhớ bằng tay. Mô phỏng dưới đây chạy đúng theo cách G1 — bộ GC mà service của bạn đang dùng — hoạt động.
Object mới sinh vào đây. Đầy thì GC chạy. Trên biểu đồ Grafana, Eden tạo hình răng cưa rất đặc trưng: đầy lên rồi về gần 0, liên tục. Thấy răng cưa là JVM đang khoẻ.
Vùng trung chuyển. Object sống qua một lần GC thì vào đây chờ. Sống qua vài lần nữa mới được lên Old. Vùng này nhỏ và dao động nhẹ.
Object sống lâu: cache, connection pool, bean của Spring. Vùng này chỉ đi lên trong điều kiện bình thường. Nó tăng mãi không dừng mới là dấu hiệu rò rỉ.
| Chỉ số | Của bạn | Đọc ra sao |
|---|---|---|
| GC pause (% thời gian) | 0,03 % | Phần trăm thời gian ứng dụng bị dừng để dọn rác. Dưới 1% là tốt, 1–5% bắt đầu ảnh hưởng độ trễ, trên 10% là ứng dụng đang vật lộn với bộ nhớ. Mức 0,03% của bạn là rất khoẻ — heap đang thừa chỗ. |
| Live data sau GC / Old Gen | 41 % | Dọn xong còn lại bao nhiêu. Đây là lượng bộ nhớ ứng dụng thật sự cần. Dưới 50% là dư dả. Sát 100% nghĩa là dọn mà không ra chỗ trống — heap quá nhỏ hoặc có rò rỉ. |
G1 chia heap thành các ô bằng nhau gọi là region. Kích thước ô bằng heap chia 2048:
Xmx 2048 MB → region = 2048 / 2048 = 1 MB
object ≥ 1/2 region = 512 KB → bị coi là "humongous"
Object humongous bị đưa thẳng vào Old Gen, không qua Eden, và GC thường không dọn được — chỉ Full GC mới dọn. Nên nếu service của bạn hay trả về danh sách lớn hoặc chuỗi JSON lớn, Old Gen sẽ phình lên trông y như rò rỉ bộ nhớ, dù code không sai gì cả.
Dấu hiệu nhận ra: panel “GC pause theo loại” xuất hiện dòng
G1 Humongous Allocation — pod của bạn có, ở mức 0,01%. Cách giảm: đặt
-XX:G1HeapRegionSize=4m để ngưỡng humongous nâng từ 512 KB lên 2 MB. Nên thử ở môi trường
thấp trước.
limits.cpu: 500m → quota = 50 ms CPU cho mỗi chu kỳ 100 ms
limits.cpu: 2000m → quota = 200 ms CPU cho mỗi chu kỳ 100 ms (dùng được 2 core song song)
requests.cpu → chỉ dùng để XẾP NODE và chia CPU khi node tranh chấp. KHÔNG chặn.
limits.cpu → trần cứng. Vượt là bị treo (throttled).
Request không đến đều mà đến thành cụm. Kéo thanh để xem cùng một mức CPU trung bình nhưng độ gom cụm khác nhau thì throttle khác nhau thế nào.
| Bước | Chuyện gì xảy ra |
|---|---|
| 1. Thread bị treo | Thread đang xử lý request bị dừng giữa đường tới hết chu kỳ 100 ms. Request đó cộng thêm vài chục ms độ trễ một cách vô hình — code không có gì chậm cả. |
| 2. Hàng đợi dài ra | Request mới vẫn vào. Tomcat thread pool đầy, request xếp hàng ở accept queue. Độ trễ p95 và p99 bật lên trước khi p50 kịp đổi. |
| 3. Timeout và 5xx | Client hoặc ALB hết kiên nhẫn, cắt kết nối. Trên dashboard hiện thành 504 ở ALB chứ không phải lỗi trong app. |
| 4. GC cũng bị throttle | Đây là chỗ CPU kéo RAM theo. Thread GC cũng cần CPU; bị throttle thì GC pause dài ra, dọn chậm hơn, heap dồn lại — và heap dồn thì GC phải chạy nhiều hơn. Vòng xoáy. |
| 5. Health check fail | /actuator/health cũng phải xếp hàng. Quá timeoutSeconds là pod bị đánh NotReady, bị gỡ khỏi endpoints, tải dồn sang pod còn lại — rồi pod đó cũng throttle. Lan ra cả service. |
container_cpu_cfs_throttled_periods_total chia cho ..._periods_total > 10%limits.cpu. Tỉ lệ limit/request khoảng 3 – 4 lần là lành mạnh, cho phép burst mà vẫn kiểm soát được.limits.cpu bằng requests.cpu. Đặt bằng nhau là tự bỏ khả năng burst, và JVM lúc khởi động cần burst rất nhiều để JIT biên dịch.-XX:ActiveProcessorCount. JVM đọc số CPU từ limit; limit 500m làm JVM tưởng chỉ có 1 core và co thread pool của GC, ForkJoinPool lại — ảnh hưởng cả những thứ không liên quan.startupProbe thay vì nâng limit vĩnh viễn.Đây là phần giải thích sự cố thật đã xảy ra với service này. Hiểu được trang này là hiểu được 80% các câu hỏi “sao RAM cao mà không giảm”.
-Xms1024M là heap lúc khởi động, -Xmx2048M là trần. Khi có tải, JVM xin thêm
RAM từ hệ điều hành để giãn heap. Nhưng khi hết tải, nó không trả lại ngay:
Khoảng cách giữa hai đường là RAM mà JVM đang giữ nhưng không dùng. Nó giữ vì lần sau cần thì có sẵn, khỏi phải xin lại. Đứng từ góc Kubernetes thì đó vẫn là RAM pod chiếm, vẫn tính vào working set.
Service có đặt -XX:G1PeriodicGCInterval=300000 để định kỳ trả RAM, nhưng cờ này
chỉ chạy khi JVM rỗi — cụ thể là khi suốt 5 phút không có lần GC nào. Service có traffic liên tục
thì GC xảy ra thường xuyên, nên cờ đó thực tế chưa bao giờ chạy. Đó là lý do đường xanh dương trên biểu đồ
thật nằm phẳng hàng giờ mà không nhả.
Cấu hình KEDA của service là memory Utilization 80, mà utilization tính theo
requests.memory:
ngưỡng = 80% × requests.memory 2560Mi = 2048 MiB ← đúng bằng -Xmx2048M !
mà pod ở trạng thái ổn định chiếm = Xmx 2048 + ngoài heap 655 = 2703 MiB
tỉ lệ = 2703 / 2048 = 1,32 → luôn > 1, mãi mãi
Nghĩa là ngưỡng này yêu cầu pod dùng RAM ít hơn chính cái heap bạn đã cấp cho nó. Điều đó không
thể xảy ra. Hệ quả: autoscaler cứ thêm pod cho tới khi chạm max rồi ghim ở đó, bất kể tải cao thấp.
Hai thanh này độc lập nhau — và đó chính là vấn đề. Heap committed không phụ thuộc tải hiện tại: nó giãn khi có tải rồi ở đó luôn. Kéo thanh bên phải về 1024 để xem trạng thái pod vừa khởi động (giống lúc 14:30), kéo lên 2048 để xem pod đã chạy vài giờ.
Số pod dưới đây là trạng thái cân bằng — nơi autoscaler dừng lại nếu điều kiện giữ nguyên đủ lâu. Đường đi tới đó có thể qua nhiều bậc (thực tế đã đi 3 → 5 rồi mới tính tiếp), vì HPA giới hạn mỗi nhịp 60 giây chỉ được thêm 1 pod hoặc 50%.
Nếu giữ cả hai trigger (cpu 70% + memory 80%)
Nếu chỉ giữ trigger CPU
| Thời điểm | Chuyện gì xảy ra |
|---|---|
| 05:00 – 09:00 | 3 pod, heap chưa giãn, mỗi pod chiếm 1,5–1,75 GiB |
| 09:00 – 10:00 | có tải, heap giãn tới trần, mỗi pod lên 2,6–2,7 GiB |
| ~10:00 | trung bình vượt ngưỡng → trigger memory đòi thêm → 3 pod lên 5 pod |
| 10:00 – 14:30 | đứng yên ở 5 pod. Trigger CPU suốt cả ngày chưa một lần nào đòi quá 3 pod |
| ~14:30 | ít nhất 3 pod bị thay (node bị thay thế). Pod mới có heap nguội nên trung bình memory sụt → HPA cắt về 3 pod — đúng lúc tải cao nhất ngày |
Mô phỏng một pod Java. Engine tính CPU, throttle, heap, GC và RAM ngoài heap tác động lẫn nhau theo đúng thứ tự nhân quả thật, nên các sự cố hiện ra y như trên dashboard.
Kéo thanh lúc đang chạy cũng được — đó là cách thấy sự cố
xuất hiện rồi biến mất. Ví dụ đang throttle thì kéo limits.cpu lên xem đường cam tụt thế nào.
Đây là cặp bị nhầm nhiều nhất. Cùng có chữ OOM, nhưng ai giết, giết vì sao, và cách sửa đều khác.
| Ai giết | Linux kernel (cgroup memory controller) |
| Vì sao | Working set vượt limits.memory |
| Exit code | 137 (128 + SIGKILL 9) |
| Thấy ở đâu | kubectl describe pod → Last State: Terminated, Reason: OOMKilled |
| Log của app | Không có gì. SIGKILL không bắt được, JVM chết tức thì giữa câu |
| Heap dump | Không có. Đây là lý do sự cố này khó điều tra |
| Heap lúc chết | Có thể vẫn khoẻ — thủ phạm là phần ngoài heap |
Nâng -Xmx ở đây là làm nặng thêm:
heap to hơn thì working set to hơn, chết sớm hơn.
| Ai báo | Chính JVM, dưới dạng một Java exception |
| Vì sao | Một vùng nhớ bên trong JVM hết chỗ: heap, Metaspace, direct buffer, thread stack |
| Exit code | 1 nếu có -XX:+ExitOnOutOfMemoryError; không có cờ này thì JVM vẫn sống và trả 500 cho từng request |
| Thấy ở đâu | Log của app, có stack trace đầy đủ |
| Log của app | java.lang.OutOfMemoryError: <loại> — loại nói rõ vùng nào hết |
| Heap dump | Có, nếu bật -XX:+HeapDumpOnOutOfMemoryError và có HeapDumpPath trỏ vào volume |
| Working set | Có thể còn xa limit — chỉ là trần JVM tự đặt bị đụng |
Không bật ExitOnOutOfMemoryError là trường hợp
tệ nhất: pod vẫn Running, vẫn Ready, vẫn nhận traffic, và trả lỗi cho mọi request.
Hai cột trên là chuyện bên trong pod. Nhưng pod còn có thể chết vì node hết RAM, dù bản thân nó chưa vượt limit. Đây là cơ chế hay bị gán nhầm thành OOMKilled nhất.
| OOMKilled | Evicted | |
|---|---|---|
| Ai quyết định | Kernel, cgroup của container | kubelet, nhìn RAM cả node |
| Điều kiện | Working set pod > limits.memory | RAM còn lại của node xuống dưới ngưỡng giữ lại |
| Working set lúc chết | Đã chạm limit | Có thể còn xa limit |
| Exit code | 137 | Không có. Pod chuyển Status: Failed |
| Reason | OOMKilled | Evicted, message The node was low on resource: memory |
| Chọn pod nào | Không chọn — pod nào vượt limit thì pod đó chết | Chọn: pod dùng vượt requests.memory nhiều nhất, QoS Burstable trước Guaranteed |
| Thường xảy ra | Một pod lẻ | Nhiều pod trên cùng node gần như cùng lúc |
| Sửa bằng | Nâng limits.memory, hoặc giảm RAM dùng | Nâng requests.memory — nâng limit không giúp gì |
Điểm phản trực giác: với Evicted thì requests.memory mới là thứ
bảo vệ bạn, không phải limits.memory. Request là mức “được bảo đảm”; dùng trong
mức request thì kubelet gần như không chọn bạn. Service đang đặt request 2560Mi trong khi dùng thật
~2365–2703 MiB — tức có lúc vượt request, nên nằm trong diện bị evict khi node chật.
| Dòng log | Vùng nào hết | Nguyên nhân thường gặp |
|---|---|---|
OutOfMemoryError: Java heap space | Heap, đụng -Xmx | Rò rỉ heap, hoặc heap đặt nhỏ hơn nhu cầu thật. Phân biệt bằng đường live data sau GC: đi lên mãi là rò rỉ, phẳng ở mức cao là heap nhỏ |
OutOfMemoryError: GC overhead limit exceeded | Heap, nhưng chết vì GC quay vòng | GC chiếm trên 98% thời gian mà thu lại dưới 2% heap. Thường là triệu chứng sớm của hai nguyên nhân ở dòng trên |
OutOfMemoryError: Metaspace | Metaspace, đụng MaxMetaspaceSize | Rò rỉ classloader, hoặc sinh class động quá nhiều (proxy, bytecode generation, script engine) |
OutOfMemoryError: Direct buffer memory | Direct buffer, đụng MaxDirectMemorySize | Netty hoặc Kafka client không giải phóng buffer, hoặc trần đặt thấp hơn nhu cầu |
OutOfMemoryError: unable to create new native thread | Native — hết chỗ cho thread stack | Tạo thread không giới hạn, thiếu thread pool. Mỗi thread khoảng 1 MB stack |
OutOfMemoryError: Compressed class space | Compressed class space, đụng CompressedClassSpaceSize | Cùng nguyên nhân với Metaspace (nhiều classloader) nhưng là vùng khác, trần khác. Vùng nào chạm trần trước thì báo lỗi vùng đó. Nâng MaxMetaspaceSize không cứu được cái này |
exit code trước, đừng xem log trước.
137 thì đi tìm phần ngoài heap và so working set với limit.
1 kèm stack trace thì đọc loại OutOfMemoryError để biết vùng nào hết.
Pod Running mà trả 500 hàng loạt thì nghi JVM đã OOM nhưng không có cờ thoát.
trần lý thuyết = Xmx
+ MaxMetaspaceSize
+ ReservedCodeCacheSize
+ MaxDirectMemorySize
+ native (thread stack + GC + JIT)
+ page cache
Service của bạn: 2048 + 384 + 128 + 768 + ~232 + ~20 = 3580 MiB
limits.memory = 3584 MiB
dư = 4 MiB ← 99,9% !
Nghĩa là nếu mọi vùng cùng dùng hết trần của nó thì pod chết vì OOMKilled. Thực tế không bao giờ
mọi vùng cùng đầy, nên pod vẫn chạy — nhưng bạn đang không có biên an toàn nào. Hạ
MaxDirectMemorySize từ 768m về 128m (dùng thật chỉ 18 MiB) lấy lại ngay 640 MiB biên.
Nhiều sự cố trông giống nhau trên dashboard. Cột “phân biệt với” là cột quan trọng nhất — nó chỉ ra chỉ số duy nhất tách được hai thứ dễ nhầm.
| Sự cố | Thấy gì trên dashboard | Bằng chứng xác nhận | Phân biệt với | Sửa |
|---|---|---|---|---|
| CPU throttle hiệu năng |
p95/p99 cao, p50 bình thường. CPU đóng trần phẳng ở mức limit. Throughput không tăng dù tải tăng | cfs_throttled_periods / periods > 10% |
Thiếu CPU thật: throttle thì node vẫn còn CPU rỗi, chỉ limit chặn. Xem CPU của node | Nâng limits.cpu, giữ tỉ lệ limit/request 3–4 lần |
| Thiếu CPU thật dung lượng |
CPU dùng sát limit, throttle cao, và node cũng hết CPU. Hàng đợi dài ra liên tục | CPU của node > 85% và nhiều pod cùng throttle | CPU throttle: nếu node còn rỗi thì chỉ là limit chặn, nâng limit là xong | Thêm pod (trigger CPU), hoặc tối ưu code. Nâng limit không cứu được |
| Heap quá nhỏ sẽ chết |
GC pause % leo từ 1% lên 10–40%. Throughput sụt. Heap used dao động sát trần Xmx | Live data sau GC phẳng ở mức cao (trên 80% Old Gen) và không tăng tiếp | Rò rỉ heap: rò rỉ thì live data đi lên mãi; heap nhỏ thì live data phẳng | Nâng -Xmx, và nâng limits.memory theo đúng mức tăng |
| Rò rỉ heap sẽ chết |
Live data sau GC đi lên theo giờ hoặc ngày, kể cả lúc ít request. Kết cục: Java heap space |
Đường live data có độ dốc dương ổn định qua nhiều lần GC | Humongous allocation: cái này cũng làm Old Gen phình, nhưng panel GC pause có dòng G1 Humongous Allocation |
Lấy heap dump, phân tích. Nâng Xmx chỉ dời thời điểm chết |
| Rò rỉ ngoài heap OOMKilled |
Working set đi lên mãi nhưng heap hoàn toàn bình thường. GC pause thấp. Rồi pod chết không log | exit code 137 và dải “Native thật” trong panel phân rã đi lên |
Page cache: cũng làm working set cao nhưng kernel tự nhả, không bao giờ gây OOMKilled | Native Memory Tracking (-XX:NativeMemoryTracking=summary), kiểm thư viện JNI |
| Metaspace đầy sẽ chết |
Panel non-heap: dải Metaspace tăng đều. Heap không có gì lạ | OutOfMemoryError: Metaspace, hoặc Metaspace tiến tới MaxMetaspaceSize |
Nạp class bình thường: class loading lành mạnh sẽ phẳng ra sau vài phút; rò rỉ thì tăng tuyến tính mãi | Theo dõi 7 ngày. Phẳng ra thì nâng trần; tăng mãi thì sửa code |
| Direct buffer đầy sẽ chết |
Dải direct trong panel phân rã tăng. Thường kèm hoạt động mạng hoặc Kafka nhiều | OutOfMemoryError: Direct buffer memory |
Native thật: direct có metric riêng trong Micrometer, native thì phải tính bằng phép trừ | Kiểm việc release buffer của Netty/Kafka. Nâng MaxDirectMemorySize là tạm thời |
| Quá nhiều thread sẽ chết |
Số thread đi lên mãi. Native thật tăng theo (mỗi thread ~1 MB stack) | unable to create new native thread, hoặc jvm_threads_live tăng tuyến tính |
Rò rỉ native khác: xem jvm_threads_live có tăng không. Không tăng thì là native khác |
Dùng thread pool có giới hạn, đừng new Thread() mỗi request |
| Humongous allocation hiệu năng |
Old Gen phình nhanh, trông y như rò rỉ. GC thường không dọn được | Panel GC pause có dòng G1 Humongous Allocation |
Rò rỉ heap thật: humongous thì Full GC dọn được, rò rỉ thì không | -XX:G1HeapRegionSize=4m để ngưỡng nâng từ 512 KB lên 2 MB. Hoặc chia nhỏ response |
| CodeCache đầy âm thầm |
Throughput sụp, p95 bật lên. Heap bình thường, working set bình thường, không restart | Log có CodeCache is full. Compiler has been disabled, hoặc
jvm_memory_used_bytes{id=~".*Code.*"} đóng trần |
CPU throttle: throttle thì cfs_throttled cao; CodeCache đầy thì throttle
bình thường mà CPU mỗi request tự nhiên tăng 8 lần |
Nâng -XX:ReservedCodeCacheSize. JDK mới mặc định 240m, đặt tay 128m dễ chạm trần |
| Humongous allocation hiệu năng |
Old Gen phình nhanh, trông y như rò rỉ | Panel GC pause có dòng G1 Humongous Allocation |
Rò rỉ heap: humongous thì Full GC dọn được nên live data thành răng cưa ở mức cao; rò rỉ thì dọn mấy cũng không xuống | -XX:G1HeapRegionSize=4m nâng ngưỡng humongous từ 512 KB lên 2 MB, hoặc chia nhỏ response |
| OOM mà pod không chết tệ nhất |
Pod Running, Ready, restart count = 0, nhưng 5xx gần 100% |
Log có OutOfMemoryError mà pod chưa restart lần nào |
Lỗi phụ thuộc bên ngoài: cái đó 5xx nhưng heap bình thường; cái này heap đã đầy | Thêm -XX:+ExitOnOutOfMemoryError để pod chết hẳn cho Kubernetes restart |
| Limit đặt thiếu OOMKilled |
Chạy bình thường nhiều giờ rồi chết. Heap, live data, native đều không có gì bất thường | Xmx + ngoài heap > limits.memory. Tính trước khi deploy là thấy |
Rò rỉ: rò rỉ có đường đi lên; cái này mọi đường đều phẳng, chỉ heap committed giãn dần tới Xmx | Nâng limits.memory lên Xmx + ngoài heap + 15% |
| Bị kubelet evict node |
Pod chết nhưng working set chưa chạm limit. Thường nhiều pod trên cùng node chết một lúc | describe pod: Reason: Evicted, message node was low on resource: memory.
Không có exit 137 |
OOMKilled: OOMKilled là exit 137 và working set đã vượt limit. Evict thì chưa | Nâng requests.memory sát mức dùng thật — pod dùng vượt request nhiều nhất bị chọn trước |
| Heap dump làm chết lần hai chẩn đoán sai |
Log có OutOfMemoryError rồi Dumping heap, sau đó exit 137. File dump hỏng hoặc không có |
Hai sự kiện liền nhau: OOM trong heap, rồi OOMKilled ngay sau | Rò rỉ ngoài heap: cả hai đều ra exit 137, nhưng cái này có OutOfMemoryError trong log trước khi chết |
HeapDumpPath trỏ volume riêng, và limit phải có biên ít nhất bằng Xmx để dump ghi xong |
| Page cache cao báo động giả |
Working set cao, gần limit, nhưng không bao giờ chết. Heap phẳng | working set − RSS lớn. Thường kèm ghi log ra file hoặc đọc file nhiều |
Rò rỉ native: native thật không thu hồi được nên sẽ dẫn tới OOMKilled; page cache thì không | Không cần làm gì. Nếu muốn working set gọn hơn thì ghi log ra stdout thay vì ra file |
| Compressed class space đầy sẽ chết |
Giống Metaspace đầy: nhiều class được nạp. Nhưng Metaspace vẫn còn rộng | Log ghi Compressed class space, không phải Metaspace |
Metaspace đầy: đọc đúng chữ trong log. Hai vùng khác nhau, hai trần khác nhau —
nâng MaxMetaspaceSize không cứu được CCS |
Nâng -XX:CompressedClassSpaceSize, nhưng gốc vẫn là rò rỉ classloader |
| Sidecar kéo cả pod chết chẩn đoán sai |
Pod chết mà container app hoàn toàn bình thường: heap ổn, working set của app xa limit | Tách metric theo nhãn container: sidecar mới là cái phình |
Lỗi của app: nếu chỉ xem tổng của pod thì không bao giờ thấy. Phải xem từng container | Đặt limits.memory cho mọi container, kể cả sidecar. Thiếu limit ở một
container là pod không còn trần ở cấp pod |
| CrashLoopBackOff suy giảm theo bậc |
Pod chết rồi sống lại nhiều lần. Tỉ lệ lỗi lên xuống thất thường, không liên tục | increase(kube_pod_container_status_restarts_total[1h]) tăng, pod ở trạng thái
CrashLoopBackOff |
Một lần chết lẻ: cái này lặp lại, và backoff tăng gấp đôi nên pod càng về sau càng vắng lâu — năng lực tụt theo bậc chứ không tụt đều | Tìm nguyên nhân chết lần ĐẦU qua kubectl logs --previous. Backoff chỉ là hệ quả |
| JDK cũ không đọc cgroup chết ngay |
Pod OOMKilled rất sớm, gần như ngay sau khi khởi động, dù code không có gì | Xmx báo lớn hơn cả limits.memory — con số vô lý mà không ai cố ý đặt |
Limit đặt thiếu: cái đó Xmx vẫn nhỏ hơn limit, chỉ là cộng thêm ngoài heap mới vượt | Nâng JDK lên 8u191 hoặc mới hơn, hoặc đặt -Xmx tường minh thay vì để JVM tự tính |
| Pod vừa khởi động bình thường |
CPU bật cao đột ngột, độ trễ cao vài chục giây đầu, RAM thấp rồi bò lên | Trùng thời điểm pod mới xuất hiện. CPU về bình thường sau 1–2 phút | Sự cố thật: sự cố không tự hết sau 2 phút. Cái này tự hết | Không phải lỗi. Nhưng nới startupProbe và cho burst CPU đủ rộng |
| Heap nhỏ ↔ Rò rỉ heap | Độ dốc của đường live data sau GC. Phẳng = nhỏ. Dốc lên = rò rỉ |
| CPU throttle ↔ Thiếu CPU thật | CPU của node. Node rỗi = chỉ limit chặn. Node đầy = thiếu thật |
| Rò rỉ native ↔ Page cache | Hiệu RSS trừ JVM. Native = RSS − (heap+non-heap+direct). Page cache = WS − RSS |
Nhập số đo từ dashboard, công cụ tính ra bộ cấu hình. Mọi con số tính theo đúng công thức ở mục 10 của tài liệu hướng dẫn.
| Thay đổi | Lý do |
|---|---|
Bỏ type: memory khỏi kedaTriggersRaw |
Chỉ số memory của JVM là hàm của chính cấu hình JVM, không phải của tải. Nó hội tụ về một hằng số vượt ngưỡng nên trigger này không bao giờ thoả mãn được. Trang 4 có phép tính. |
-Xms đặt bằng -Xmx |
Hết nhịp giãn heap 1024 → 2048 vốn kéo dài 4–5 giờ mỗi lần pod khởi động lại. GC hành xử
giống nhau từ phút đầu. Vì request đã giữ chỗ RAM rồi nên không mất gì thật. |
MaxDirectMemorySize hạ về sát mức dùng thật |
Đây là mức trần nên không chiếm RAM sẵn, nhưng nếu để quá cao thì phép tính
Xmx + non-heap + MaxDirectMemorySize vượt limit về lý thuyết, làm mọi tính toán capacity sai. |
Thêm -XX:HeapDumpPath |
Service đã bật HeapDumpOnOutOfMemoryError nhưng không chỉ chỗ ghi, nên file dump rơi
vào thư mục làm việc của container và mất theo pod. Bật tính năng mà không bao giờ nhận được kết quả. |
Bỏ G1PeriodicGCInterval khi đã đặt Xms = Xmx |
G1 không được phép nhả heap xuống dưới -Xms, nên khi Xms bằng Xmx thì cờ này thành
vô nghĩa. Mà kể cả trước đó nó cũng chưa từng chạy, vì chỉ kích hoạt khi JVM rỗi 5 phút không GC. |
Trang này rút gọn từ HUONG_DAN_JVM_MEMORY_POD.docx trong cùng thư mục. Đọc trang này trước để có bản đồ, rồi mới tra tài liệu đầy đủ khi cần chi tiết từng panel.
requests.cpu, nên
đặt requests.cpu sai là autoscaler sai. Đây không còn là chuyện tiết kiệm tài nguyên,
nó quyết định service có giãn ra được khi tải tăng hay không.
Số đo thật của service cho thấy vấn đề ngay:
requests.cpu đang đặt = 500m
ngưỡng KEDA (70%) = 350m / pod
CPU thật mỗi pod lúc đỉnh = 0,359 core / 3 pod ≈ 120m ← chỉ 34% của ngưỡng
→ tỉ lệ = 120 / 350 = 0,34. Cần tải tăng khoảng 3 lần mới chạm ngưỡng scale out.
Đặt đúng: request = 120 / 0,7 = 171m → 200m, ngưỡng = 140m
tỉ lệ ở tải thường = 120/140 = 0,86 → còn biên, mà chỉ cần
tải tăng 28% là scale out. Nhạy hơn gần 8 lần, và trả lại
300m giữ chỗ mỗi pod.
Nghĩa là sau khi bỏ trigger memory, service sẽ nằm ở min và gần như không bao giờ
giãn ra. Ba pod đủ cho tải hôm nay, nhưng autoscaler mất hết độ nhạy: tải tăng 50% nó vẫn không
phản ứng. Nguyên nhân là requests.cpu cao gấp 4 lần mức dùng thật.
| Quy tắc | Vì sao |
|---|---|
requests.cpu = P95 mỗi pod ÷ mức sử dụng mục tiêu |
Phải suy ngược từ ngưỡng, không phải nhân hệ số vào P95. Vì
ngưỡng = mục tiêu × request, nên muốn tải thường nằm ngay dưới ngưỡng thì
request = P95 ÷ mục tiêu. Với mục tiêu 70% thì đó là P95 × 1,43.
Làm ngược lại (ví dụ request = P95 × 1,3) sẽ cho
ngưỡng = 0,7 × 1,3 × P95 = 0,91 × P95 — ngưỡng thấp hơn
tải thường, nên autoscaler thêm pod ngay ở tải bình thường rồi không bao giờ thu lại. |
limits.cpu = 3 – 4 × requests.cpu |
Limit sinh ra quota CFS. JVM cần burst rất mạnh ở hai lúc: khởi động (JIT biên dịch, đo được 860m trong khi lúc chạy chỉ 120m) và khi GC chạy. Tỉ lệ 3–4 lần cho đủ burst mà vẫn có trần. |
| Ngưỡng KEDA chọn theo mức sử dụng mục tiêu 60 – 75% | Thấp hơn 60% thì scale out quá sớm, tốn tiền. Cao hơn 75% thì lúc autoscaler phản ứng, pod đã
quá tải rồi — mà thêm pod mới còn mất 1–6 phút (chờ node, chờ startupProbe). |
Đừng đặt limits.cpu = requests.cpu |
Đây là lỗi hay gặp nhất. Đặt bằng nhau là bỏ hẳn khả năng burst: pod bị throttle ngay lúc khởi
động, startupProbe fail, pod restart, rồi lặp lại. Nhìn ra ngoài giống app bị lỗi. |
limits.cpu để quyết định số threadVới -XX:+UseContainerSupport (service đang bật), JVM lấy số CPU khả dụng
từ limit rồi dùng con số đó để tự đặt:
| Số thread GC | Limit nhỏ → ít thread GC → GC pause dài hơn |
ForkJoinPool.commonPool | Mặc định = số CPU − 1. Limit 1 core → pool chỉ còn 0–1 thread, mọi parallelStream() và CompletableFuture mặc định bị tuần tự hoá |
| Thread pool của thư viện | Netty, Jetty, driver DB đều mặc định theo số CPU |
Hệ quả: hạ limits.cpu xuống dưới 1000m làm JVM tưởng chỉ
có 1 core và thu nhỏ hàng loạt thứ không liên quan. Nên giữ limit từ 1000m trở lên cho
pod Java, hoặc nếu buộc phải thấp hơn thì đặt -XX:ActiveProcessorCount=2 cho tường minh.
requests.cpu | limits.cpu | |
|---|---|---|
| Tác dụng chính | Giữ chỗ trên node, quyết định pod xếp được vào node nào | Trần cứng, sinh quota CFS mỗi chu kỳ 100 ms |
| Khi node rỗi | Pod dùng vượt request thoải mái | Không được vượt limit, dù node rỗi |
| Khi node tranh chấp | Chia CPU theo tỉ lệ request (cpu.shares) | Vẫn là trần |
| Vai trò với autoscaler | Mẫu số của ngưỡng KEDA | Không liên quan tới autoscaler |
| Đặt sai thì | Autoscaler mất nhạy, hoặc giữ chỗ vô ích làm tăng chi phí node | Throttle, p95 cao, startupProbe fail |
Đi từ triệu chứng bạn nhìn thấy, không phải từ nguyên nhân. Mỗi dòng có câu PromQL để kiểm ngay trên Grafana Explore.
| Triệu chứng | Nghi gì | Kiểm bằng |
|---|---|---|
| Exit 137, không có log | OOMKilled — working set vượt limit | |
Exit 1, log có Java heap space | Rò rỉ heap, hoặc Xmx nhỏ | dốc lên = rò rỉ |
Exit 1, log có Metaspace | Rò rỉ classloader | |
| Pod restart đều đặn theo chu kỳ | Rò rỉ chậm — chu kỳ restart chính là thời gian để chạm trần | |
Pod Running nhưng trả 500 hàng loạt | JVM đã OOM mà không có ExitOnOutOfMemoryError |
Đọc log tìm OutOfMemoryError. Đây là trạng thái tệ nhất vì pod vẫn nhận traffic |
| Triệu chứng | Nghi gì | Kiểm bằng |
|---|---|---|
| p95 cao, p50 bình thường | CPU throttle, hoặc GC pause | |
| Độ trễ tăng dần theo giờ rồi về sau khi restart | Rò rỉ làm GC ngày càng nặng | |
| Chậm đồng loạt mọi pod cùng lúc | Phụ thuộc bên ngoài (DB, API khác), không phải JVM | Xem tầng 20 Slow & Timeout, soi trace |
| Chậm chỉ ở một pod | Pod đó throttle, hoặc nằm trên node đang tranh chấp | So CPU từng pod, và xem pod nằm node nào |
| Triệu chứng | Nghi gì | Kiểm bằng |
|---|---|---|
| Pod ghim ở max dù tải thấp | Trigger memory trên app Java — chỉ số này không bao giờ xuống dưới ngưỡng | Panel “Số pod mỗi trigger đòi hỏi” ở dashboard 30 |
| Pod tụt về min ngay sau deploy | Pod mới có heap nguội, kéo trung bình memory xuống | So thời điểm tụt với thời điểm pod mới xuất hiện |
| Nhiều pod chết cùng lúc, replicaset không đổi | Node bị thay (Karpenter drift hoặc expiry), không phải deploy | |
| Số pod không tăng dù CPU cao | Đã chạm maxReplicaCount, hoặc pod mới Pending vì anti-affinity chờ node |
|
Tài liệu cùng thư mục: GIAI THICH VE JVM.html (nền tảng, đọc trước) · HUONG_DAN_JVM_MEMORY_POD.docx (chi tiết từng panel) · Dashboard 30 trong golive-v2.