Chặng cuối: nơi mọi thứ trước đó hội tụ. EKS không chạy một mình — nó cần VPC đúng cách, IAM đúng cách, và một tập add-on. Trang này đi qua từng phần với cấu hình cụ thể, kèm phần chi phí vì đó là câu hỏi sẽ được hỏi.
Mười mục: kiến trúc tổng thể (1) → VPC và mạng (2) → IAM và IRSA (3) → node: Karpenter và Graviton (4) → add-on bắt buộc (5) → ECR (6) → observability (7) → chi phí (8) → nâng cấp cluster (9) → checklist (10).
Bấm từng tầng để xem nó gồm gì, ai chịu trách nhiệm, và nó liên quan tới chặng nào trong bộ tài liệu này.
| Phần | AWS lo | Bạn lo |
|---|---|---|
| Control plane | Toàn bộ | Chọn phiên bản, quyết định thời điểm nâng, cấu hình endpoint access và logging. |
| Node (managed node group) | AMI và vòng đời | Chọn instance type, kích hoạt nâng AMI, xử lý khi node NotReady. |
| Node (Karpenter) | Chỉ EC2 | Toàn bộ: NodePool, EC2NodeClass, disruption budget, hạn dùng AMI. |
| Add-on (EKS add-on) | Đóng gói | Chọn phiên bản, kiểm tương thích trước khi nâng. Nâng add-on không tương thích là nguyên nhân sự cố cluster thật. |
| Ứng dụng | Không | Toàn bộ — nội dung của bảy chặng trước. |
| Quyết định | Khuyến nghị | Vì sao quan trọng |
|---|---|---|
| Kích thước subnet | /19 hoặc lớn hơn cho subnet pod |
Không đổi được sau khi dựng. VPC CNI cấp IP thật cho mỗi pod nên hết IP là pod Pending. |
| Kiến trúc CPU | arm64 (Graviton) | Rẻ hơn khoảng 20% với hiệu năng tương đương. Nhưng image phải có bản arm64. |
| Compute | Karpenter | Cấp node nhanh hơn, chọn được instance tối ưu, consolidation tiết kiệm đáng kể. |
| Endpoint access | Private, hoặc public có giới hạn CIDR | Public hoàn toàn nghĩa là API server của bạn tiếp xúc internet. |
| Một cluster hay nhiều | Tách prod khỏi non-prod | Namespace không phải ranh giới bảo mật đủ mạnh cho production. |
| Quản lý hạ tầng | Terraform hoặc OpenTofu | Dựng bằng tay thì không tái lập được và không ai biết ai đổi gì. |
Phần dễ làm sai nhất vì hậu quả xuất hiện muộn — thường là lúc bạn scale lên và pod bắt
đầu Pending dù node còn thừa tài nguyên.
Subnet /24 = 251 IP khả dụng → khoảng 240 pod. Hết rất nhanh.
Subnet /22 = 1019 IP → khoảng 1000 pod
Subnet /19 = 8187 IP → khoảng 8000 pod ← nên dùng cho subnet pod
Và subnet KHÔNG mở rộng được sau khi tạo. Hết IP thì phải thêm subnet mới
(được, nhưng phải cấu hình lại CNI và Karpenter), hoặc dựng VPC mới.
maxPods = (số ENI × (số IP mỗi ENI − 1)) + 2
m5.large : 3 ENI × (10 − 1) + 2 = 29 pod ← 2 core, 8 GB nhưng chỉ 29 pod!
m5.xlarge : 4 ENI × (15 − 1) + 2 = 58 pod
m6g.2xlarge : 4 ENI × (15 − 1) + 2 = 58 pod
c6g.4xlarge : 8 ENI × (30 − 1) + 2 = 234 pod
/28 (16 IP) cho mỗi ENI slot:
kubectl set env daemonset aws-node -n kube-system \
ENABLE_PREFIX_DELEGATION=true \
WARM_PREFIX_TARGET=1
# m5.large: từ 29 pod lên 110 pod
# Lưu ý: cần khởi động lại node (hoặc chờ Karpenter thay) để có hiệu lực,
# và subnet cần đủ không gian liên tục để cấp prefix /28.
VPC: 10.0.0.0/16 (65.536 IP)
┌─ AZ a ──────────────────┬─ AZ b ──────────────────┬─ AZ c ──────────────────┐
│ Public 10.0.0.0/24 │ Public 10.0.1.0/24 │ Public 10.0.2.0/24 │ ← ALB, NAT GW
│ (251 IP, đủ cho LB) │ │ │
├─────────────────────────┼─────────────────────────┼─────────────────────────┤
│ Private 10.0.32.0/19 │ Private 10.0.64.0/19 │ Private 10.0.96.0/19 │ ← node + pod
│ (8187 IP) │ (8187 IP) │ (8187 IP) │
├─────────────────────────┼─────────────────────────┼─────────────────────────┤
│ Data 10.0.128.0/24 │ Data 10.0.129.0/24 │ Data 10.0.130.0/24 │ ← RDS, ElastiCache
└─────────────────────────┴─────────────────────────┴─────────────────────────┘
Tách subnet Data riêng: RDS và ElastiCache không cần nhiều IP, và tách ra
cho phép đặt NACL và route riêng — pod gọi được DB, nhưng DB không gọi ra internet.
# Mọi subnet dùng cho cluster
kubernetes.io/cluster/<tên-cluster> = shared # hoặc "owned"
# Subnet PUBLIC — để ALB Controller tạo được internet-facing LB
kubernetes.io/role/elb = 1
# Subnet PRIVATE — để tạo được internal LB
kubernetes.io/role/internal-elb = 1
# Subnet PRIVATE — để Karpenter biết đặt node ở đâu
karpenter.sh/discovery = <tên-cluster>
# Kiểm tra tag hiện tại
aws ec2 describe-subnets \
--filters "Name=vpc-id,Values=vpc-0abc123" \
--query 'Subnets[].{Id:SubnetId,AZ:AvailabilityZone,CIDR:CidrBlock,Tags:Tags}' \
--output json | jq
| Chế độ | Nghĩa | Đánh đổi |
|---|---|---|
Public | API server tiếp xúc internet | Tránh cho production. Dễ dùng nhưng API server của bạn phơi ra internet. |
Public + Privatecó giới hạn CIDR | Public nhưng chỉ cho IP trong danh sách | Thực dụng nhất. Giới hạn theo CIDR của VPN và office. Node dùng đường private. |
Private | Chỉ truy cập được từ trong VPC | An toàn nhất. Nhưng cần bastion/SSM hoặc VPN để chạy kubectl, và CI phải nằm trong
VPC hoặc qua VPN. |
aws eks update-cluster-config \
--name prod-eks \
--resources-vpc-config \
endpointPublicAccess=true,\
endpointPrivateAccess=true,\
publicAccessCidrs=203.0.113.0/24,198.51.100.0/24
Không có endpoint, mọi lưu lượng tới dịch vụ AWS đi qua NAT Gateway — và NAT tính phí theo GB. Pull image từ ECR là lưu lượng lớn và thường xuyên nhất.
# Gateway endpoint — MIỄN PHÍ, tạo trước tiên
aws ec2 create-vpc-endpoint --vpc-id vpc-0abc123 \
--service-name com.amazonaws.ap-southeast-1.s3 \
--route-table-ids rtb-private-a rtb-private-b rtb-private-c
# Interface endpoint — có phí giờ nhưng thường vẫn rẻ hơn NAT
for svc in ecr.api ecr.dkr sts logs secretsmanager ssm ssmmessages ec2messages elasticloadbalancing; do
aws ec2 create-vpc-endpoint --vpc-id vpc-0abc123 \
--vpc-endpoint-type Interface \
--service-name com.amazonaws.ap-southeast-1.$svc \
--subnet-ids subnet-priv-a subnet-priv-b subnet-priv-c \
--security-group-ids sg-vpce \
--private-dns-enabled
done
ecr.api (gọi API),
ecr.dkr (giao thức Docker registry), và s3 gateway endpoint — vì layer
image thực sự nằm trên S3. Thiếu endpoint S3 thì pull image vẫn đi qua NAT và bạn vẫn trả phí cho phần
lớn lưu lượng.
# Luồng tối thiểu cần mở:
ALB SG → Node SG : port 8080 (hoặc dải NodePort nếu target-type=instance)
Node SG → Node SG : ALL (pod gọi pod qua nhiều port động)
Node SG → Control plane : 443
Control plane → Node SG : 443, 10250 (kubelet), 53 (DNS tới CoreDNS)
Node SG → RDS SG : 5432
Node SG → ElastiCache SG : 6379
Node SG → 0.0.0.0/0 : 443 (qua NAT hoặc VPC endpoint)
# Quy tắc: tham chiếu SG theo ID, KHÔNG dùng CIDR cho lưu lượng nội bộ.
# Tham chiếu SG tự cập nhật khi IP thay đổi; CIDR thì không.
aws ec2 authorize-security-group-ingress \
--group-id sg-node \
--protocol tcp --port 8080 \
--source-group sg-alb
| Triệu chứng | Nguyên nhân thường gặp |
|---|---|
Pod Pending, node còn thừa CPU/RAM |
Hết IP trong subnet, hoặc chạm maxPods. Bật prefix delegation. |
| ALB không được tạo, Ingress không có địa chỉ | Thiếu tag kubernetes.io/role/elb trên subnet public. Đọc log ALB Controller. |
| Karpenter không cấp node | Thiếu tag karpenter.sh/discovery, hoặc chạm quota EC2 của account. |
| Pull image rất chậm hoặc timeout | Thiếu VPC endpoint cho ECR và S3; lưu lượng dồn qua NAT Gateway. |
| Timeout ngẫu nhiên tới dịch vụ ngoài | NAT Gateway giới hạn 55.000 kết nối đồng thời tới mỗi đích. Hoặc conntrack đầy — xem chặng 01, mục 7. |
| DNS chậm ở mọi request | ndots:5. Thêm dấu chấm cuối cho domain ngoài, hoặc bật NodeLocal DNSCache. |
| Pod không gọi được RDS | Security group của RDS chưa cho phép Node SG. Hoặc pod ở subnet không có route tới subnet Data. |
ecr.api và ecr.dkr nhưng chi phí NAT vẫn cao khi pull image. Thiếu gì?Câu hỏi cốt lõi: pod gọi được S3, Secrets Manager, SQS mà không cần access key bằng cách nào. Câu trả lời là IRSA — và hiểu nó giải thích luôn vì sao phải chặn IMDS.
| Cách | Cơ chế | Đánh giá |
|---|---|---|
| Access key trong Secret | Key tĩnh tiêm vào biến môi trường | Tránh. Key tồn tại lâu dài, phải luân chuyển tay, rò rỉ là dùng được ngay và khó phát hiện. |
| IAM role của node | Pod gọi IMDS lấy credential của node | Tránh. Mọi pod trên node dùng chung quyền — pod nhỏ nhất cũng có quyền rộng nhất mà node cần. |
| IRSA khuyến nghị |
ServiceAccount map sang IAM role qua OIDC | Quyền theo từng pod, credential tạm thời tự hết hạn. Đã ổn định nhiều năm, hoạt động mọi nơi. |
| EKS Pod Identity | Agent trên node cấp credential theo association | Mới hơn, cấu hình đơn giản hơn IRSA (không cần sửa trust policy khi đổi cluster). Nhưng cần add-on và không dùng được ngoài EKS. |
1. Pod khởi động. kubelet mount một JWT vào pod:
/var/run/secrets/eks.amazonaws.com/serviceaccount/token
Token này do API server ký, chứa: namespace, tên ServiceAccount, audience.
2. AWS SDK trong pod đọc hai biến môi trường mà EKS tự tiêm:
AWS_ROLE_ARN (từ annotation của ServiceAccount)
AWS_WEB_IDENTITY_TOKEN_FILE (đường dẫn token ở trên)
3. SDK gọi sts:AssumeRoleWithWebIdentity, đưa token lên.
4. STS xác minh token bằng OIDC provider của cluster, rồi đối chiếu
trust policy của role: "sub" trong token có khớp ServiceAccount cho phép không?
5. Khớp → STS trả credential TẠM THỜI (mặc định 1 giờ). SDK tự làm mới.
# 1. Bật OIDC provider cho cluster (chỉ làm một lần)
eksctl utils associate-iam-oidc-provider --cluster prod-eks --approve
# Lấy OIDC issuer URL để dùng trong trust policy
aws eks describe-cluster --name prod-eks \
--query 'cluster.identity.oidc.issuer' --output text
# https://oidc.eks.ap-southeast-1.amazonaws.com/id/EXAMPLED539D4633E53DE1B716D3041E
# 2. Tạo role + ServiceAccount bằng eksctl (cách nhanh nhất)
eksctl create iamserviceaccount \
--cluster prod-eks \
--namespace prod \
--name order-service \
--attach-policy-arn arn:aws:iam::123456789012:policy/OrderServicePolicy \
--approve \
--region ap-southeast-1
{
"Version": "2012-10-17",
"Statement": [{
"Effect": "Allow",
"Principal": {
"Federated": "arn:aws:iam::123456789012:oidc-provider/oidc.eks.ap-southeast-1.amazonaws.com/id/EXAMPLED539D4633E53DE1B716D3041E"
},
"Action": "sts:AssumeRoleWithWebIdentity",
"Condition": {
"StringEquals": {
"oidc.eks.ap-southeast-1.amazonaws.com/id/EXAMPLED539D4633E53DE1B716D3041E:aud": "sts.amazonaws.com",
"oidc.eks.ap-southeast-1.amazonaws.com/id/EXAMPLED539D4633E53DE1B716D3041E:sub": "system:serviceaccount:prod:order-service"
}
}
}]
}
StringEquals cho sub, không dùng StringLike với
wildcard.
# SAI — mọi ServiceAccount trong MỌI namespace assume được role này
"StringLike": { "...:sub": "system:serviceaccount:*:*" }
# SAI — mọi ServiceAccount trong namespace prod
"StringLike": { "...:sub": "system:serviceaccount:prod:*" }
# ĐÚNG — đúng một ServiceAccount
"StringEquals": { "...:sub": "system:serviceaccount:prod:order-service" }
Với wildcard, bất kỳ ai tạo được một ServiceAccount (hoặc deploy được một pod) trong namespace đó đều
lấy được quyền của role. Đây là lỗ hổng leo thang quyền phổ biến nhất trên EKS.
apiVersion: v1
kind: ServiceAccount
metadata:
name: order-service
namespace: prod
annotations:
eks.amazonaws.com/role-arn: arn:aws:iam::123456789012:role/prod-order-service
# Tuỳ chọn: kéo dài thời hạn token nếu tác vụ chạy lâu
eks.amazonaws.com/token-expiration: "86400"
# Xác minh IRSA hoạt động — chạy TRONG pod
kubectl exec -n prod deploy/order-service -- env | grep AWS
# AWS_ROLE_ARN=arn:aws:iam::123456789012:role/prod-order-service
# AWS_WEB_IDENTITY_TOKEN_FILE=/var/run/secrets/eks.amazonaws.com/serviceaccount/token
# AWS_STS_REGIONAL_ENDPOINTS=regional
# Danh tính thật mà pod đang dùng
kubectl exec -n prod deploy/order-service -- \
aws sts get-caller-identity
# Arn phải là .../prod-order-service/botocore-session-...
# Nếu trả về role của NODE thì IRSA KHÔNG hoạt động.
169.254.169.254, nó lấy được credential của IAM role gắn với
node — thường rộng hơn nhiều so với role của pod. Điều này vô hiệu hoá toàn bộ lợi ích của IRSA.
# Thử xem pod của bạn có lấy được credential node không
kubectl exec -n prod deploy/order-service -- \
curl -s --max-time 3 http://169.254.169.254/latest/meta-data/iam/security-credentials/
# Nếu trả về tên role → LỖ HỔNG. Pod đang có quyền của node.
Ba lớp phòng vệ, nên dùng cả ba:
# 1. Giới hạn hop limit: gói IMDS không ra khỏi node vào container
# (Karpenter EC2NodeClass)
spec:
metadataOptions:
httpEndpoint: enabled
httpTokens: required # bắt buộc IMDSv2
httpPutResponseHopLimit: 1 # KEY: container không tới được IMDS
# 2. NetworkPolicy chặn egress tới IMDS
egress:
- to:
- ipBlock:
cidr: 0.0.0.0/0
except: [169.254.169.254/32]
# 3. Role của node chỉ có quyền tối thiểu: AmazonEKSWorkerNodePolicy,
# AmazonEC2ContainerRegistryReadOnly, AmazonEKS_CNI_Policy.
# ĐỪNG gắn thêm quyền S3, Secrets Manager vào role node.
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "S3ReadWriteOwnPrefix",
"Effect": "Allow",
"Action": ["s3:GetObject", "s3:PutObject", "s3:DeleteObject"],
"Resource": "arn:aws:s3:::my-app-uploads/orders/*"
},
{
"Sid": "S3ListOnlyOwnPrefix",
"Effect": "Allow",
"Action": "s3:ListBucket",
"Resource": "arn:aws:s3:::my-app-uploads",
"Condition": {
"StringLike": { "s3:prefix": "orders/*" }
}
},
{
"Sid": "SecretsOwnPathOnly",
"Effect": "Allow",
"Action": "secretsmanager:GetSecretValue",
"Resource": "arn:aws:secretsmanager:ap-southeast-1:123456789012:secret:prod/order-service/*"
},
{
"Sid": "SqsOwnQueueOnly",
"Effect": "Allow",
"Action": [
"sqs:ReceiveMessage",
"sqs:DeleteMessage",
"sqs:GetQueueAttributes",
"sqs:ChangeMessageVisibility"
],
"Resource": "arn:aws:sqs:ap-southeast-1:123456789012:orders"
},
{
"Sid": "KmsOnlyForTheseServices",
"Effect": "Allow",
"Action": ["kms:Decrypt", "kms:GenerateDataKey"],
"Resource": "arn:aws:kms:ap-southeast-1:123456789012:key/abc-123",
"Condition": {
"StringEquals": {
"kms:ViaService": [
"s3.ap-southeast-1.amazonaws.com",
"secretsmanager.ap-southeast-1.amazonaws.com"
]
}
}
}
]
}
s3:ListBucket theo
s3:prefix (nếu không, quyền list là cho cả bucket dù quyền đọc chỉ ở một prefix),
và kms:ViaService để khoá KMS chỉ dùng được qua đúng dịch vụ bạn dự định — chặn việc lạm
dụng khoá để giải mã thứ khác.
Trước đây việc cấp quyền kubectl làm qua ConfigMap aws-auth —
sửa sai là mất quyền vào cluster và rất khó phục hồi. EKS Access Entry thay thế nó bằng API thật.
# Chuyển sang chế độ API (giữ cả aws-auth trong lúc chuyển đổi)
aws eks update-cluster-config --name prod-eks \
--access-config authenticationMode=API_AND_CONFIG_MAP
# Cấp quyền cho một IAM role
aws eks create-access-entry \
--cluster-name prod-eks \
--principal-arn arn:aws:iam::123456789012:role/PlatformEngineer \
--type STANDARD \
--kubernetes-groups platform-team
aws eks associate-access-policy \
--cluster-name prod-eks \
--principal-arn arn:aws:iam::123456789012:role/PlatformEngineer \
--policy-arn arn:aws:eks::aws:cluster-access-policy/AmazonEKSClusterAdminPolicy \
--access-scope type=cluster
# Quyền hẹp hơn: chỉ đọc, chỉ ở một namespace
aws eks associate-access-policy \
--cluster-name prod-eks \
--principal-arn arn:aws:iam::123456789012:role/Developer \
--policy-arn arn:aws:eks::aws:cluster-access-policy/AmazonEKSViewPolicy \
--access-scope type=namespace,namespaces=dev,staging
# Xem ai có quyền gì
aws eks list-access-entries --cluster-name prod-eks
Đây là nơi quyết định phần lớn hoá đơn. Ba lựa chọn cộng lại thường giảm được hơn một nửa chi phí compute: Graviton, Spot, và consolidation của Karpenter.
| Cách | Đặc điểm | Phù hợp khi |
|---|---|---|
| Karpenter khuyến nghị |
Chọn instance type tối ưu cho đúng pod đang chờ. Cấp node trong khoảng 40–60 giây. Consolidation gom pod và xoá node rỗi. | Mặc định cho workload động. Tiết kiệm nhất và linh hoạt nhất. |
| Managed node group | Auto Scaling Group với instance type định trước. Cấp node chậm hơn (vài phút). | Workload ổn định, hoặc cần kiểm soát chặt loại instance. Dùng cho node chạy chính Karpenter. |
| Fargate | Không quản node. Mỗi pod một "node" ảo riêng. | Workload thưa, chạy ngắn. Đắt hơn đáng kể cho tải liên tục, và không hỗ trợ DaemonSet nên agent log/metric phải làm theo cách khác. |
t4g.medium) chỉ để chạy Karpenter, CoreDNS và
các controller hệ thống. Mọi node khác do Karpenter cấp.
apiVersion: karpenter.k8s.aws/v1
kind: EC2NodeClass
metadata:
name: default
spec:
amiFamily: AL2023
amiSelectorTerms:
- alias: al2023@latest
role: KarpenterNodeRole-prod-eks
subnetSelectorTerms:
- tags:
karpenter.sh/discovery: prod-eks
securityGroupSelectorTerms:
- tags:
karpenter.sh/discovery: prod-eks
# BẢO MẬT: chặn container lấy credential của node qua IMDS
metadataOptions:
httpEndpoint: enabled
httpProtocolIPv6: disabled
httpTokens: required # bắt buộc IMDSv2
httpPutResponseHopLimit: 1 # container không tới được IMDS
blockDeviceMappings:
- deviceName: /dev/xvda
ebs:
volumeSize: 100Gi
volumeType: gp3 # gp3, KHÔNG gp2 — gp2 hết burst credit là IOPS tụt
iops: 3000
throughput: 125
encrypted: true
deleteOnTermination: true
# Dự trữ tài nguyên cho hệ thống để node không bị kiệt
kubelet:
systemReserved:
cpu: 100m
memory: 200Mi
ephemeral-storage: 1Gi
kubeReserved:
cpu: 200m
memory: 500Mi
ephemeral-storage: 3Gi
evictionHard:
memory.available: 5%
nodefs.available: 10%
nodefs.inodesFree: 5%
maxPods: 110 # cần ENABLE_PREFIX_DELEGATION=true
tags:
Environment: prod
ManagedBy: karpenter
CostCenter: platform
apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
name: general-spot
spec:
weight: 100 # ưu tiên pool này trước
template:
metadata:
labels:
workload-type: general
spec:
requirements:
- key: karpenter.sh/capacity-type
operator: In
values: ["spot"]
- key: kubernetes.io/arch
operator: In
values: ["arm64"] # Graviton: rẻ hơn khoảng 20%
- key: karpenter.k8s.aws/instance-category
operator: In
values: ["c", "m", "r"]
- key: karpenter.k8s.aws/instance-generation
operator: Gt
values: ["5"]
- key: karpenter.k8s.aws/instance-size
operator: NotIn
values: ["nano", "micro", "small"]
nodeClassRef:
group: karpenter.k8s.aws
kind: EC2NodeClass
name: default
expireAfter: 720h # node tự hết hạn sau 30 ngày → luôn có AMI vá mới
disruption:
consolidationPolicy: WhenEmptyOrUnderutilized
consolidateAfter: 1m
budgets:
- nodes: "10%" # tối đa 10% node bị thay cùng lúc
# KHÔNG thay node trong giờ cao điểm
- nodes: "0"
schedule: "0 9 * * mon-fri"
duration: 10h
limits:
cpu: "1000"
memory: 4000Gi
---
apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
name: critical-ondemand
spec:
weight: 10 # chỉ dùng khi pod yêu cầu tường minh
template:
spec:
taints:
- key: workload
value: critical
effect: NoSchedule # chỉ pod có toleration mới vào
requirements:
- key: karpenter.sh/capacity-type
operator: In
values: ["on-demand"]
- key: kubernetes.io/arch
operator: In
values: ["arm64"]
nodeClassRef:
group: karpenter.k8s.aws
kind: EC2NodeClass
name: default
disruption:
consolidationPolicy: WhenEmpty # KHÔNG gom node đang có pod
consolidateAfter: 5m
minAvailable nhỏ hơn số replica.topologySpreadConstraints qua AZ — mất một node không mất
service.SIGTERM, preStop sleep, grace
period đủ dài. Xem chặng 01, mục 2.requirements, càng ít khả năng bị thu hồi đồng loạt.| Bước | Việc cần làm |
|---|---|
| 1. Kiểm image | Build multi-arch: docker buildx build --platform linux/amd64,linux/arm64.
Xem chặng 03, mục 5. |
| 2. Kiểm dependency nhị phân | Java và .NET gần như luôn ổn. Python cần wheel arm64 — phần lớn thư viện phổ biến đã có. Thư viện có native code tự biên dịch cần kiểm riêng. |
| 3. Chạy song song | Thêm NodePool arm64 với weight thấp, cho một phần workload sang đó, so metric
p95 và throughput. |
| 4. Chuyển hẳn | Đổi requirements sang chỉ arm64. Giữ một pool amd64 nhỏ cho workload chưa chuyển
được. |
# Kiểm nhanh image đã có bản arm64 chưa
docker buildx imagetools inspect $ECR/order-service:a3f8c21 | grep -A2 Platform
# Pod nào đang chạy trên kiến trúc nào
kubectl get nodes -L kubernetes.io/arch,karpenter.sh/capacity-type,node.kubernetes.io/instance-type
# Vì sao pod không được cấp node — log của Karpenter nói rõ lý do
kubectl logs -n kube-system -l app.kubernetes.io/name=karpenter --tail=100 -f
# Node Karpenter đang quản
kubectl get nodeclaims
kubectl describe nodeclaim <tên>
# Nguyên nhân thường gặp khi Karpenter không cấp node:
# 1. Thiếu tag karpenter.sh/discovery trên subnet hoặc security group
# 2. Chạm limits của NodePool (cpu/memory)
# 3. Chạm quota EC2 của account (vCPU limit theo loại instance)
# 4. Không có instance type nào thoả requirements + pod resources
# 5. Hết IP trong subnet
# 6. Spot không còn capacity cho các loại đã khai → thêm nhiều loại hơn
# Kiểm quota
aws service-quotas get-service-quota --service-code ec2 \
--quota-code L-34B43A08 # Standard Spot instance requests
aws service-quotas get-service-quota --service-code ec2 \
--quota-code L-1216C47A # Running On-Demand Standard instances
EKS mới dựng gần như trống. Danh sách dưới đây là tập tối thiểu để chạy được ứng dụng production, theo đúng thứ tự cài.
| Thứ tự | Add-on | Bắt buộc? | Làm gì |
|---|---|---|---|
| 1 | VPC CNI | Có | Cấp IP VPC cho pod. Nhớ bật ENABLE_PREFIX_DELEGATION và
ENABLE_NETWORK_POLICY. |
| 2 | CoreDNS | Có | DNS trong cluster. Cần ít nhất 2 replica và PDB. |
| 3 | kube-proxy | Có | Dựng iptables cho Service. |
| 4 | Pod Identity Agent | Nên | Cần nếu dùng EKS Pod Identity thay IRSA. |
| 5 | Karpenter | Nên | Cấp node. Cài bằng Helm, không phải EKS add-on. |
| 6 | AWS Load Balancer Controller | Có | Biến Ingress thành ALB. Không có nó thì Ingress không làm gì cả. |
| 7 | EBS CSI Driver | Nếu dùng PVC | Cấp EBS volume. Từ EKS 1.23 không còn tích hợp sẵn. |
| 8 | External Secrets Operator | Có | Kéo secret từ Secrets Manager. Xem chặng 02, mục 3. |
| 9 | Metrics Server | Có | kubectl top và HPA đều cần. Thiếu nó thì HPA không hoạt động. |
| 10 | KEDA | Nên | Scale theo tín hiệu nghiệp vụ. Xem chặng 04, mục 6. |
| 11 | cert-manager | Nếu cần TLS nội bộ | TLS giữa các service. TLS phía ngoài dùng ACM với ALB. |
| 12 | external-dns | Tuỳ | Tự tạo bản ghi Route53 từ Ingress. |
| 13 | ArgoCD | Có | GitOps. Xem chặng 07. |
| 14 | kube-prometheus-stack | Có | Prometheus, Grafana, Alertmanager. |
aws eks create-addon (EKS add-on). Số còn lại cài
bằng Helm qua ArgoCD, trong thư mục infra/ của repo GitOps — để chúng được version hoá và
nâng cấp theo quy trình như mọi thứ khác.
aws eks create-addon --cluster-name prod-eks \
--addon-name vpc-cni \
--addon-version v1.19.0-eksbuild.1 \
--service-account-role-arn arn:aws:iam::123456789012:role/AmazonEKSVPCCNIRole \
--resolve-conflicts OVERWRITE \
--configuration-values '{
"env": {
"ENABLE_PREFIX_DELEGATION": "true",
"WARM_PREFIX_TARGET": "1",
"ENABLE_NETWORK_POLICY": "true",
"ENABLE_POD_ENI": "false",
"AWS_VPC_K8S_CNI_EXTERNALSNAT": "false"
}
}'
ENABLE_NETWORK_POLICY mặc định là false. Nghĩa là NetworkPolicy bạn
tạo không có tác dụng gì và không có cảnh báo nào. Đây là một trong những lỗi bảo mật âm
thầm nhất trên EKS: bạn tưởng đã phân đoạn mạng, thực tế mọi pod vẫn gọi được mọi pod.
# Kiểm tra
kubectl get ds aws-node -n kube-system -o yaml | grep -A1 ENABLE_NETWORK_POLICY
aws eks create-addon --cluster-name prod-eks \
--addon-name coredns \
--addon-version v1.11.4-eksbuild.1 \
--configuration-values '{
"replicaCount": 3,
"resources": {
"requests": {"cpu": "100m", "memory": "128Mi"},
"limits": {"cpu": "500m", "memory": "256Mi"}
},
"podDisruptionBudget": {"maxUnavailable": 1},
"tolerations": [{"key": "CriticalAddonsOnly", "operator": "Exists"}]
}'
# 1. IAM policy
curl -o iam-policy.json https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/v2.10.0/docs/install/iam_policy.json
aws iam create-policy --policy-name AWSLoadBalancerControllerIAMPolicy \
--policy-document file://iam-policy.json
# 2. IRSA
eksctl create iamserviceaccount \
--cluster prod-eks --namespace kube-system \
--name aws-load-balancer-controller \
--attach-policy-arn arn:aws:iam::123456789012:policy/AWSLoadBalancerControllerIAMPolicy \
--approve
# 3. Helm
helm repo add eks https://aws.github.io/eks-charts
helm upgrade --install aws-load-balancer-controller eks/aws-load-balancer-controller \
-n kube-system \
--set clusterName=prod-eks \
--set serviceAccount.create=false \
--set serviceAccount.name=aws-load-balancer-controller \
--set region=ap-southeast-1 \
--set vpcId=vpc-0abc123 \
--set replicaCount=2 \
--set enableShield=false \
--set enableWaf=true \
--set enableWafv2=true
# Debug khi Ingress không tạo được ALB — log nói rõ nguyên nhân
kubectl logs -n kube-system deploy/aws-load-balancer-controller --tail=50
kubectl describe ingress order-service -n prod
# Nguyên nhân thường gặp:
# 1. Thiếu tag kubernetes.io/role/elb trên subnet public
# 2. Thiếu tag kubernetes.io/cluster/<tên> trên subnet
# 3. Ít hơn 2 subnet ở 2 AZ khác nhau (ALB yêu cầu tối thiểu 2 AZ)
# 4. Chạm quota số ALB trong region
# 5. certificate-arn trỏ tới cert ở region khác
helm repo add external-secrets https://charts.external-secrets.io
helm upgrade --install external-secrets external-secrets/external-secrets \
-n external-secrets --create-namespace \
--set installCRDs=true \
--set replicaCount=2 \
--set serviceAccount.annotations."eks\.amazonaws\.com/role-arn"=arn:aws:iam::123456789012:role/eso-secrets-reader
apiVersion: external-secrets.io/v1beta1
kind: ClusterSecretStore
metadata:
name: aws-secrets-manager
spec:
provider:
aws:
service: SecretsManager
region: ap-southeast-1
auth:
jwt:
serviceAccountRef:
name: external-secrets
namespace: external-secrets
apiVersion: external-secrets.io/v1beta1
kind: ExternalSecret
metadata:
name: order-service
namespace: prod
spec:
refreshInterval: 1h
secretStoreRef:
name: aws-secrets-manager
kind: ClusterSecretStore
target:
name: order-service
creationPolicy: Owner
data:
- secretKey: SPRING_DATASOURCE_USERNAME
remoteRef:
key: prod/order-service/db
property: username
- secretKey: SPRING_DATASOURCE_PASSWORD
remoteRef:
key: prod/order-service/db
property: password
subPath — nó chặn việc cập nhật).metadata:
annotations:
reloader.stakater.com/auto: "true"
helm repo add metrics-server https://kubernetes-sigs.github.io/metrics-server/
helm upgrade --install metrics-server metrics-server/metrics-server \
-n kube-system --set replicas=2
# Xác minh — thiếu cái này thì HPA báo "unknown" và không scale
kubectl top nodes
kubectl top pods -A --sort-by=memory | head
Phần cơ chế tag và lifecycle đã nói ở chặng 03, mục 6. Mục này tập trung vào phần AWS: quyền, mã hoá, replication và pull-through cache.
aws ecr create-repository \
--repository-name order-service \
--image-scanning-configuration scanOnPush=true \
--image-tag-mutability IMMUTABLE \
--encryption-configuration encryptionType=KMS,kmsKey=arn:aws:kms:ap-southeast-1:123456789012:key/abc \
--region ap-southeast-1
| Thiết lập | Vì sao |
|---|---|
IMMUTABLE |
Quan trọng nhất. ECR từ chối push lại tag đã tồn tại. Nghĩa là tag
a3f8c21 vĩnh viễn chỉ một ảnh — không ai, kể cả do nhầm lẫn trong CI, thay đổi được
nội dung của một tag đã deploy. |
scanOnPush=true |
Quét lỗ hổng tự động. Kết hợp với quét trong CI (Trivy) để có hai lớp. |
encryptionType=KMS |
Mã hoá bằng khoá bạn quản lý thay vì khoá mặc định của AWS. Cần nếu có yêu cầu tuân thủ. |
# Bật Enhanced scanning (dùng Amazon Inspector) cho cả registry
aws ecr put-registry-scanning-configuration \
--scan-type ENHANCED \
--rules '[{
"scanFrequency": "CONTINUOUS_SCAN",
"repositoryFilters": [{"filter": "*", "filterType": "WILDCARD"}]
}]'
# Xem kết quả quét của một ảnh
aws ecr describe-image-scan-findings \
--repository-name order-service \
--image-id imageTag=a3f8c21 \
--query 'imageScanFindings.findingSeverityCounts'
CONTINUOUS_SCAN đáng bật. Khác với quét một lần lúc push, nó quét lại khi có CVE
mới được công bố. Nghĩa là bạn biết được ảnh đang chạy production vừa trở thành dễ bị tấn công — thông
tin mà quét-lúc-push không bao giờ cho bạn.
# Lưu credential Docker Hub (tên secret PHẢI bắt đầu bằng ecr-pullthroughcache/)
aws secretsmanager create-secret \
--name ecr-pullthroughcache/dockerhub \
--secret-string '{"username":"myuser","accessToken":"dckr_pat_..."}'
aws ecr create-pull-through-cache-rule \
--ecr-repository-prefix dockerhub \
--upstream-registry-url registry-1.docker.io \
--credential-arn arn:aws:secretsmanager:ap-southeast-1:123456789012:secret:ecr-pullthroughcache/dockerhub-AbCdEf
# Cache cho các registry công khai khác (không cần credential)
aws ecr create-pull-through-cache-rule \
--ecr-repository-prefix quay --upstream-registry-url quay.io
aws ecr create-pull-through-cache-rule \
--ecr-repository-prefix ecr-public --upstream-registry-url public.ecr.aws
# Sau đó đổi FROM trong Dockerfile:
# FROM python:3.12-slim
# → FROM 123456789012.dkr.ecr.ap-southeast-1.amazonaws.com/dockerhub/library/python:3.12-slim
Ba lợi ích: không bị Docker Hub rate-limit (vấn đề thật khi CI build nhiều lần mỗi giờ), pull nhanh hơn vì ở cùng region, và ảnh được ECR quét lỗ hổng như ảnh của bạn.
aws ecr put-replication-configuration --replication-configuration '{
"rules": [{
"destinations": [
{"region": "us-east-1", "registryId": "123456789012"},
{"region": "ap-northeast-1", "registryId": "123456789012"}
],
"repositoryFilters": [
{"filter": "order-service", "filterType": "PREFIX_MATCH"}
]
}]
}'
{
"Version": "2012-10-17",
"Statement": [{
"Sid": "AllowPullFromProdAccount",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::999988887777:root"
},
"Action": [
"ecr:BatchGetImage",
"ecr:GetDownloadUrlForLayer",
"ecr:BatchCheckLayerAvailability"
]
}]
}
aws ecr set-repository-policy \
--repository-name order-service \
--policy-text file://repo-policy.json
AmazonEC2ContainerRegistryReadOnly). Không ai có
ecr:* trên *. Xem policy mẫu cho agent CI ở
chặng 06, mục 8.
# Dung lượng từng repo — tìm repo phình
aws ecr describe-repositories --query 'repositories[].repositoryName' --output text \
| tr '\t' '\n' | while read r; do
size=$(aws ecr describe-images --repository-name "$r" \
--query 'sum(imageDetails[].imageSizeInBytes)' --output text 2>/dev/null)
cnt=$(aws ecr describe-images --repository-name "$r" \
--query 'length(imageDetails)' --output text 2>/dev/null)
printf '%-40s %8.1f GB %4s ảnh\n' "$r" "$(echo "$size/1073741824" | bc -l)" "$cnt"
done | sort -k2 -rn
# Ảnh không tag (layer mồ côi) — thường chiếm nhiều hơn bạn nghĩ
aws ecr list-images --repository-name order-service \
--filter tagStatus=UNTAGGED --query 'length(imageIds)'
# Ảnh nào đang được dùng trong cluster — để biết ảnh nào an toàn xoá
kubectl get pods -A -o jsonpath='{range .items[*]}{.spec.containers[*].image}{"\n"}{end}' \
| sort -u
ImagePullBackOff — và thường vào lúc tệ nhất.
Phần nguyên lý (bốn metric vàng, cardinality, nối log với trace) đã nói ở chặng 02, mục 9. Mục này là lựa chọn công cụ trên AWS và cấu hình cụ thể.
| Trụ cột | Tự quản trong cluster | Dịch vụ AWS |
|---|---|---|
| Metric | Prometheus (kube-prometheus-stack) + Grafana Toàn quyền, rẻ hơn ở quy mô lớn, nhưng phải tự lo lưu trữ dài hạn và tính sẵn sàng. |
Amazon Managed Prometheus (AMP) + Amazon Managed Grafana Không phải vận hành, lưu trữ bền. Tính phí theo lượng mẫu nạp và truy vấn. |
| Log | Loki + Fluent Bit Rẻ đáng kể ở lượng lớn vì chỉ index label. Nhưng phải quản S3 và retention. |
CloudWatch Logs Dễ nhất, tích hợp sẵn. Thường là mục chi phí lớn nhất nếu không kiểm soát. |
| Trace | Tempo Dùng S3, chi phí thấp. Tích hợp tốt với Grafana. |
AWS X-Ray Tích hợp sẵn với dịch vụ AWS. Tính phí theo trace. |
prometheus:
prometheusSpec:
retention: 15d
retentionSize: 80GiB
resources:
requests: { cpu: 500m, memory: 4Gi }
limits: { cpu: 2000m, memory: 8Gi }
storageSpec:
volumeClaimTemplate:
spec:
storageClassName: gp3
resources:
requests:
storage: 100Gi
# Quét ServiceMonitor ở MỌI namespace, không chỉ namespace của chart
serviceMonitorSelectorNilUsesHelmValues: false
podMonitorSelectorNilUsesHelmValues: false
ruleSelectorNilUsesHelmValues: false
# Ghi dữ liệu dài hạn sang AMP (nếu muốn giữ nhiều hơn 15 ngày)
remoteWrite:
- url: https://aps-workspaces.ap-southeast-1.amazonaws.com/workspaces/ws-abc/api/v1/remote_write
sigv4:
region: ap-southeast-1
queueConfig:
maxSamplesPerSend: 1000
maxShards: 200
# Chỉ gửi metric cần giữ lâu — giảm chi phí đáng kể
writeRelabelConfigs:
- sourceLabels: [__name__]
regex: '(kube_pod_container_resource.*|container_memory_working_set_bytes|container_cpu_usage_seconds_total|jvm_.*|http_server_requests.*|up)'
action: keep
grafana:
adminPassword: "" # dùng ExternalSecret thay vì để ở đây
persistence:
enabled: true
storageClassName: gp3
size: 10Gi
ingress:
enabled: true
ingressClassName: alb
annotations:
alb.ingress.kubernetes.io/scheme: internal
hosts: [grafana.internal.example.com]
additionalDataSources:
- name: Loki
type: loki
url: http://loki-gateway.observability.svc.cluster.local
- name: Tempo
type: tempo
url: http://tempo.observability.svc.cluster.local:3100
alertmanager:
config:
route:
receiver: slack-default
group_by: [alertname, namespace]
group_wait: 30s
group_interval: 5m
repeat_interval: 4h
routes:
- matchers: [severity="critical"]
receiver: pagerduty
continue: true
receivers:
- name: slack-default
slack_configs:
- channel: '#alerts'
send_resolved: true
- name: pagerduty
pagerduty_configs:
- routing_key_file: /etc/alertmanager/secrets/pagerduty-key
# node-exporter và kube-state-metrics bật sẵn — cả hai đều cần
nodeExporter: { enabled: true }
kubeStateMetrics: { enabled: true }
serviceMonitorSelectorNilUsesHelmValues: false là dòng hay bị bỏ sót. Mặc định
Prometheus chỉ quét ServiceMonitor có label của chính chart. Thiếu dòng này thì ServiceMonitor bạn khai
trong chart của service bị bỏ qua im lặng — metric không xuất hiện mà không có lỗi nào.
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: jvm-alerts
namespace: observability
spec:
groups:
- name: jvm
rules:
# Cảnh báo TRƯỚC khi OOMKilled, còn kịp xử lý
- alert: PodMemoryNearLimit
expr: |
container_memory_working_set_bytes{container!="",container!="POD"}
/ on(namespace,pod,container)
kube_pod_container_resource_limits{resource="memory"} > 0.90
for: 10m
labels: { severity: warning }
annotations:
summary: "{{ $labels.namespace }}/{{ $labels.pod }} dùng trên 90% memory limit"
description: "Còn ít biên trước khi OOMKilled. Kiểm phần ngoài heap nếu heap vẫn thấp."
- alert: ContainerOOMKilled
expr: |
increase(kube_pod_container_status_restarts_total[10m]) > 0
and on(namespace,pod,container)
kube_pod_container_status_last_terminated_reason{reason="OOMKilled"} == 1
for: 0m
labels: { severity: critical }
annotations:
summary: "{{ $labels.namespace }}/{{ $labels.pod }} bị OOMKilled"
# Nguyên nhân thầm lặng của p95 cao
- alert: CPUThrottlingHigh
expr: |
rate(container_cpu_cfs_throttled_periods_total{container!=""}[5m])
/ rate(container_cpu_cfs_periods_total{container!=""}[5m]) > 0.25
for: 15m
labels: { severity: warning }
annotations:
summary: "{{ $labels.namespace }}/{{ $labels.pod }} bị throttle trên 25% chu kỳ"
description: "Nâng limits.cpu. Node vẫn có thể còn CPU rỗi — đây là limit tự chặn."
# GC overhead, KHÔNG alert heap usage
- alert: JVMGCOverheadHigh
expr: |
sum by (namespace,pod) (rate(jvm_gc_pause_seconds_sum[5m]))
/ sum by (namespace,pod) (rate(jvm_gc_pause_seconds_count[5m]) > 0) > 0.10
for: 15m
labels: { severity: warning }
annotations:
summary: "{{ $labels.namespace }}/{{ $labels.pod }} dành trên 10% thời gian cho GC"
description: "Heap quá nhỏ hoặc có rò rỉ. Xem độ dốc của jvm_gc_live_data_size_bytes."
# Rò rỉ heap: live data sau GC dốc lên liên tục
- alert: JVMHeapLeakSuspected
expr: |
deriv(jvm_gc_live_data_size_bytes[1h]) > 0
and
jvm_gc_live_data_size_bytes / jvm_memory_max_bytes{area="heap"} > 0.80
for: 2h
labels: { severity: warning }
annotations:
summary: "Nghi rò rỉ heap ở {{ $labels.namespace }}/{{ $labels.pod }}"
- alert: JVMMetaspaceNearLimit
expr: |
jvm_memory_used_bytes{area="nonheap",id=~".*Metaspace.*"}
/ jvm_memory_max_bytes{area="nonheap",id=~".*Metaspace.*"} > 0.90
for: 30m
labels: { severity: warning }
- alert: PodCrashLooping
expr: increase(kube_pod_container_status_restarts_total[1h]) > 3
for: 5m
labels: { severity: critical }
annotations:
summary: "{{ $labels.namespace }}/{{ $labels.pod }} restart trên 3 lần trong 1 giờ"
description: "Tìm nguyên nhân chết lần ĐẦU: kubectl logs --previous"
helm repo add fluent https://fluent.github.io/helm-charts
helm upgrade --install fluent-bit fluent/fluent-bit -n observability \
--set 'config.outputs=[OUTPUT]\n Name loki\n Match kube.*\n host loki-gateway\n labels job=fluentbit, namespace=$kubernetes[namespace_name], pod=$kubernetes[pod_name], container=$kubernetes[container_name]'
pod_name vào label là bình thường (số pod hữu hạn), nhưng đưa
trace_id hay request_id vào label sẽ làm Loki sụp. Những giá trị đó nằm
trong nội dung log JSON và được truy vấn bằng | json | trace_id="...".
# Container Insights gửi rất nhiều metric. Chỉ bật phần cần.
aws eks create-addon --cluster-name prod-eks \
--addon-name amazon-cloudwatch-observability \
--configuration-values '{
"containerLogs": {"enabled": false},
"agent": {"config": {"logs": {"metrics_collected": {"kubernetes": {
"enhanced_container_insights": false
}}}}}
}'
# Đặt retention cho MỌI log group — mặc định là "không bao giờ hết hạn"
for lg in $(aws logs describe-log-groups --query 'logGroups[].logGroupName' --output text); do
aws logs put-retention-policy --log-group-name "$lg" --retention-in-days 30
done
# Tìm log group tốn nhiều nhất
aws logs describe-log-groups \
--query 'reverse(sort_by(logGroups,&storedBytes))[:10].{Name:logGroupName,GB:storedBytes}' \
--output table
Câu hỏi sẽ được hỏi, nên nên có con số. Mục này là bức tranh chi phí của một cluster EKS và những đòn tiết kiệm có hiệu quả thực sự.
| Khoản | Cách tính | Ghi chú |
|---|---|---|
| Control plane | Theo giờ cho mỗi cluster | Khoản cố định, như nhau mọi cluster. Đây là lý do không nên tạo một cluster cho mỗi đội — gộp bằng namespace, chỉ tách prod khỏi non-prod. |
| EC2 node | Theo giờ × loại instance | Thường là khoản lớn nhất, 60–80% hoá đơn. Đây là nơi đáng tối ưu nhất. |
| EBS volume | Theo GB-tháng | Root volume của mỗi node cộng PVC. Dùng gp3 thay gp2: rẻ hơn và không có cơ chế burst credit. |
| NAT Gateway | Theo giờ + theo GB xử lý | Khoản bị bỏ qua nhiều nhất. Phần theo GB có thể vượt phần theo giờ nếu pull image nhiều. VPC endpoint giải quyết phần lớn. |
| ALB | Theo giờ + LCU | Gom nhiều Ingress vào một ALB bằng group.name — tiết kiệm rõ rệt so với mỗi
service một LB. |
| Truyền dữ liệu | Theo GB | Cross-AZ có phí. Service gọi nhau qua nhiều AZ tạo ra khoản này. Cân nhắc
topologyAwareHints để ưu tiên endpoint cùng AZ. |
| CloudWatch Logs | Theo GB nạp + GB lưu | Dễ trở thành khoản lớn thứ hai. Đặt retention, và cân nhắc Loki trên S3. |
| ECR | Theo GB-tháng | Nhỏ nếu có lifecycle policy. Lớn dần nếu không — ảnh không tag tích lại. |
| Mức | Biện pháp | Chi tiết |
|---|---|---|
| Rất cao | Spot cho workload chịu được gián đoạn | Giảm 60–70% giá instance. Cần PDB, nhiều replica, graceful shutdown, và đa dạng instance type. Dùng cho worker, CI agent, môi trường dev. |
| Rất cao | Đặt requests đúng |
Đây là đòn bị đánh giá thấp nhất. requests.cpu cao gấp 4 lần mức dùng thật nghĩa
là bạn trả tiền cho 4 lần số node cần thiết. Xem công thức ở
chặng 04, mục 5. |
| Cao | Graviton (arm64) | Rẻ hơn khoảng 20% với hiệu năng tương đương. Chi phí chuyển đổi thấp nếu image đã multi-arch. |
| Cao | Karpenter consolidation | Gom pod và xoá node rỗi liên tục. Thường giảm 20–30% số node so với Cluster Autoscaler. |
| Cao | VPC endpoint cho ECR và S3 | Cắt phần lớn lưu lượng NAT. Gateway endpoint cho S3 miễn phí. |
| Trung bình | Savings Plan cho phần tải cố định | Giảm thêm khoảng 20–30% cho phần baseline. Cam kết 1–3 năm nên chỉ áp cho phần chắc chắn dùng. |
| Trung bình | Gom Ingress vào một ALB | alb.ingress.kubernetes.io/group.name. Nhiều service một ALB. |
| Trung bình | Retention cho log và lifecycle cho ECR | Dữ liệu tích lại là chi phí tăng đều mà không ai nhìn. |
| Trung bình | Tắt môi trường dev ngoài giờ | CronJob scale mọi Deployment về 0 lúc 19h, scale lại lúc 8h. Cắt khoảng 60% chi phí dev. |
| Thấp | gp3 thay gp2 | Rẻ hơn một chút, nhưng lợi ích chính là hiệu năng ổn định (không có burst credit cạn). |
requests.cpu: 500m trong khi P95 thật là 120m đang chiếm chỗ gấp 4 lần mức cần. Với 20
service và 3 replica mỗi service, đó là hơn 20 core bị giữ chỗ vô ích — tương đương vài node. Hãy đo
trước khi tối ưu giá.
# CPU P95 thật của từng container trong 7 ngày
quantile_over_time(0.95,
sum by (namespace, pod, container) (
rate(container_cpu_usage_seconds_total{container!="",container!="POD"}[5m])
)[7d:5m]
)
# So với requests đã khai — tỉ lệ dưới 0,3 là đang giữ chỗ quá nhiều
sum by (namespace, container) (
quantile_over_time(0.95,
rate(container_cpu_usage_seconds_total{container!=""}[5m])[7d:5m])
)
/ sum by (namespace, container) (
kube_pod_container_resource_requests{resource="cpu"}
)
# Memory đỉnh thật trong 7 ngày
max_over_time(
container_memory_working_set_bytes{container!="",container!="POD"}[7d]
)
# Tổng CPU đã giữ chỗ nhưng không dùng — con số này quy ra tiền trực tiếp
sum(kube_pod_container_resource_requests{resource="cpu"})
- sum(rate(container_cpu_usage_seconds_total{container!=""}[5m]))
apiVersion: batch/v1
kind: CronJob
metadata:
name: scale-down-dev
namespace: kube-system
spec:
schedule: "0 19 * * 1-5" # 19h các ngày trong tuần
timeZone: "Asia/Ho_Chi_Minh"
concurrencyPolicy: Forbid
jobTemplate:
spec:
template:
spec:
serviceAccountName: scaler
restartPolicy: OnFailure
containers:
- name: kubectl
image: bitnami/kubectl:1.31
command:
- sh
- -c
- |
set -e
# Lưu số replica hiện tại vào annotation để sáng mai phục hồi đúng
kubectl get deploy -n dev -o json | jq -r \
'.items[] | "\(.metadata.name) \(.spec.replicas)"' \
| while read name rep; do
kubectl annotate deploy "$name" -n dev \
"scaler/original-replicas=$rep" --overwrite
done
kubectl scale deploy --all -n dev --replicas=0
---
apiVersion: batch/v1
kind: CronJob
metadata:
name: scale-up-dev
namespace: kube-system
spec:
schedule: "0 8 * * 1-5"
timeZone: "Asia/Ho_Chi_Minh"
jobTemplate:
spec:
template:
spec:
serviceAccountName: scaler
restartPolicy: OnFailure
containers:
- name: kubectl
image: bitnami/kubectl:1.31
command:
- sh
- -c
- |
set -e
kubectl get deploy -n dev -o json | jq -r \
'.items[] | select(.metadata.annotations["scaler/original-replicas"]) |
"\(.metadata.name) \(.metadata.annotations["scaler/original-replicas"])"' \
| while read name rep; do
kubectl scale deploy "$name" -n dev --replicas="$rep"
done
replicas: 0 lệch với Git và kéo về. Hai cách xử lý: thêm
ignoreDifferences cho /spec/replicas ở Application của dev (nên làm, vì dev
cũng dùng HPA), hoặc để CronJob sửa trực tiếp vào Git thay vì vào cluster.
# Bật cost allocation tag (làm một lần, dữ liệu có sau khoảng 24h)
aws ce update-cost-allocation-tags-status --cost-allocation-tags-status \
TagKey=Environment,Status=Active \
TagKey=Service,Status=Active \
TagKey=CostCenter,Status=Active
# Chi phí theo tag trong tháng
aws ce get-cost-and-usage \
--time-period Start=2026-11-01,End=2026-11-30 \
--granularity MONTHLY --metrics UnblendedCost \
--group-by Type=TAG,Key=Service
requests — và nhờ đó chỉ ra chính xác service nào đang giữ chỗ quá nhiều.
EKS hỗ trợ mỗi phiên bản Kubernetes khoảng 14 tháng ở chế độ standard. Nâng cấp mỗi năm một lần là bắt buộc, không phải tuỳ chọn. Mục này là quy trình để việc đó không thành sự cố.
1. Kiểm tra API đã bị loại bỏ (trước mọi thứ)
2. Nâng control plane (AWS làm, khoảng 20-30 phút)
3. Nâng add-on (VPC CNI → CoreDNS → kube-proxy)
4. Nâng node (Karpenter drift hoặc managed node group)
5. Kiểm tra ứng dụng
Control plane được phép đi TRƯỚC node tối đa 2 phiên bản minor.
Node KHÔNG được mới hơn control plane.
# Công cụ của AWS: kiểm tra vấn đề tương thích đã biết
eksctl utils update-cluster-logging --cluster prod-eks --enable-types all
aws eks list-insights --cluster-name prod-eks
aws eks describe-insight --cluster-name prod-eks --id <insight-id>
# Tìm API sắp bị loại bỏ trong manifest của bạn
# pluto quét cả file YAML và Helm release đang chạy
pluto detect-all-in-cluster -o wide
pluto detect-files -d ./gitops-config/ --target-versions k8s=v1.32.0
# kubent (kube-no-trouble) — tương tự, quét từ nhiều nguồn
kubent --target-version 1.32
# Kiểm xem có ai còn gọi API cũ không — dữ liệu THỰC TẾ, đáng tin hơn quét tĩnh
# (cần bật audit log của control plane)
aws logs filter-log-events \
--log-group-name /aws/eks/prod-eks/cluster \
--filter-pattern '{ $.requestURI = "*v1beta1*" }' \
--start-time $(( ($(date +%s) - 604800) * 1000 )) \
--query 'events[].message' | jq -r '.[] | fromjson | .user.username' | sort -u
# Xem phiên bản hiện tại và các bản khả dụng
aws eks describe-cluster --name prod-eks --query 'cluster.version'
aws eks describe-addon-versions --kubernetes-version 1.32 \
--query 'addons[].{Name:addonName,Versions:addonVersions[0].addonVersion}' --output table
# Nâng MỘT phiên bản minor mỗi lần. Không nhảy từ 1.30 lên 1.32.
aws eks update-cluster-version --name prod-eks --kubernetes-version 1.31
# Theo dõi (20-30 phút)
aws eks describe-update --name prod-eks --update-id <update-id>
# Thứ tự: VPC CNI → CoreDNS → kube-proxy
# Xem phiên bản tương thích với Kubernetes 1.31
aws eks describe-addon-versions --kubernetes-version 1.31 --addon-name vpc-cni \
--query 'addons[].addonVersions[].{Version:addonVersion,Default:compatibilities[0].defaultVersion}' \
--output table
aws eks update-addon --cluster-name prod-eks \
--addon-name vpc-cni --addon-version v1.19.2-eksbuild.1 \
--resolve-conflicts PRESERVE # PRESERVE giữ cấu hình bạn đã đổi
aws eks update-addon --cluster-name prod-eks \
--addon-name coredns --addon-version v1.11.4-eksbuild.2 \
--resolve-conflicts PRESERVE
aws eks update-addon --cluster-name prod-eks \
--addon-name kube-proxy --addon-version v1.31.3-eksbuild.2 \
--resolve-conflicts PRESERVE
--resolve-conflicts OVERWRITE sẽ xoá cấu hình bạn đã tuỳ chỉnh. Nếu bạn đã bật
ENABLE_PREFIX_DELEGATION và ENABLE_NETWORK_POLICY, dùng
OVERWRITE sẽ đưa chúng về mặc định — và NetworkPolicy ngừng hoạt động im lặng. Dùng
PRESERVE, rồi kiểm lại cấu hình sau khi nâng:
kubectl get ds aws-node -n kube-system -o yaml | grep -E 'PREFIX_DELEGATION|NETWORK_POLICY'
# --- Với Karpenter: node tự thay nhờ drift detection ---
# Karpenter phát hiện AMI của node không còn khớp amiSelectorTerms và thay dần,
# tôn trọng disruption.budgets và PDB.
kubectl get nodeclaims -o custom-columns=\
'NAME:.metadata.name,READY:.status.conditions[?(@.type=="Ready")].status,DRIFT:.status.conditions[?(@.type=="Drifted")].status'
# Buộc thay ngay một node
kubectl delete nodeclaim <tên>
# --- Với managed node group ---
aws eks update-nodegroup-version \
--cluster-name prod-eks --nodegroup-name system \
--force-upgrade-version false # false: tôn trọng PDB, dừng nếu không drain được
# Theo dõi
aws eks describe-update --name prod-eks --nodegroup-name system --update-id <id>
--force-upgrade-version false. Với true, AWS sẽ xoá pod bất chấp
PodDisruptionBudget — tức là có thể mất toàn bộ replica của một service cùng lúc. Với
false, nếu PDB chặn thì quá trình nâng dừng lại và báo lỗi, để bạn xử lý. Đó là hành vi
đúng: thà nâng cấp thất bại còn hơn mất dịch vụ.
# Node đã lên phiên bản mới và đều Ready
kubectl get nodes -o custom-columns=\
'NAME:.metadata.name,VERSION:.status.nodeInfo.kubeletVersion,STATUS:.status.conditions[?(@.type=="Ready")].status'
# Không pod nào lỗi
kubectl get pods -A --field-selector status.phase!=Running,status.phase!=Succeeded
# Add-on hệ thống khoẻ
kubectl get pods -n kube-system
kubectl -n kube-system logs ds/aws-node --tail=30 | grep -i error
# Cấu hình CNI còn nguyên sau khi nâng
kubectl get ds aws-node -n kube-system -o yaml | grep -E 'PREFIX_DELEGATION|NETWORK_POLICY'
# NetworkPolicy còn hoạt động — thử thật, đừng tin là nó hoạt động
kubectl run np-test --image=nicolaka/netshoot -n prod --rm -it --restart=Never \
-- curl -s --max-time 3 http://some-blocked-service:8080 || echo "bị chặn đúng như mong đợi"
# ArgoCD không có app nào Degraded
argocd app list -o wide | grep -v 'Synced.*Healthy'
# Metric vẫn chảy
kubectl top nodes
kubectl top pods -A | head
| Phiên bản | Thay đổi cần chú ý |
|---|---|
| 1.25 | PodSecurityPolicy bị loại bỏ. Phải chuyển sang Pod
Security Admission (label trên namespace). Xem
chặng 04, mục 8. |
| 1.26 | CRI dockershim đã bỏ từ 1.24; các annotation và flag liên
quan tới Docker ngừng tác dụng. |
| 1.27 | seccompProfile mặc định thay đổi hành vi với một số profile
tuỳ chỉnh. |
| 1.29 | Một số API flowcontrol và batch beta bị loại.
Kiểm CronJob và các operator dùng API beta. |
| 1.30+ | ValidatingAdmissionPolicy dần thay webhook cho trường hợp
đơn giản. Kiểm phiên bản Kyverno/Gatekeeper. |
| 1.31+ | Nhiều tính năng cgroup v1 bị loại bỏ dần. Đảm bảo node dùng AL2023 hoặc Bottlerocket (cgroup v2), và JDK đủ mới để đọc cgroup v2 — xem chặng 01, mục 4. |
Tháng 1: Nâng cluster DEV lên phiên bản mới nhất − 1
Để chạy 2 tuần, theo dõi mọi bất thường
Tháng 2: Nâng STAGING
Chạy full regression test
Để chạy 2-4 tuần
Tháng 3: Nâng PROD
Chọn cửa sổ thời gian thấp tải
Có người trực trong 24h sau đó
Mỗi tháng: nâng add-on và AMI theo bản vá (patch), không chờ tới kỳ nâng minor.
Karpenter với expireAfter: 720h làm việc này gần như tự động.
--resolve-conflicts OVERWRITE. Rủi ro lớn nhất?| Hạng mục | Vì sao | |
|---|---|---|
| ☐ | Subnet pod là /19 hoặc lớn hơn, ở ít nhất 3 AZ |
Không đổi được sau khi dựng. VPC CNI cấp IP thật cho mỗi pod. |
| ☐ | Bật ENABLE_PREFIX_DELEGATION |
Tăng số pod mỗi node nhiều lần. Thiếu nó thì m5.large chỉ chạy 29 pod. |
| ☐ | Subnet có đủ tag: cluster/<tên>, role/elb,
role/internal-elb, karpenter.sh/discovery |
Thiếu tag là ALB Controller và Karpenter không hoạt động, với thông báo lỗi không rõ ràng. |
| ☐ | Endpoint control plane là private, hoặc public có giới hạn CIDR | Public hoàn toàn nghĩa là API server tiếp xúc internet. |
| ☐ | Có VPC endpoint cho ecr.api, ecr.dkr, s3,
sts, logs, secretsmanager |
Thiếu endpoint S3 thì lưu lượng pull image vẫn qua NAT và vẫn bị tính phí. |
| ☐ | Security group tham chiếu theo SG ID, không dùng CIDR cho lưu lượng nội bộ | Tham chiếu SG tự cập nhật khi IP đổi. |
| Hạng mục | Vì sao | |
|---|---|---|
| ☐ | Dùng IRSA hoặc Pod Identity, không dùng access key | Không có key tồn tại lâu dài để rò rỉ. |
| ☐ | Trust policy dùng StringEquals cho sub, không wildcard |
Wildcard cho phép mọi ServiceAccount trong namespace assume role — lỗ hổng leo thang quyền phổ biến nhất trên EKS. |
| ☐ | httpPutResponseHopLimit: 1 và httpTokens: required |
Chặn pod lấy credential của node qua IMDS — nếu không, IRSA mất ý nghĩa. |
| ☐ | Role của node chỉ có ba policy cơ bản của EKS | Đừng gắn quyền S3 hay Secrets Manager vào role node. |
| ☐ | Bật ENABLE_NETWORK_POLICY trên VPC CNI |
Mặc định false: NetworkPolicy không có tác dụng và không có cảnh báo nào. |
| ☐ | Namespace có label Pod Security restricted |
Chặn pod privileged, hostPath, hostNetwork từ admission. |
| ☐ | Dùng EKS Access Entry thay aws-auth ConfigMap |
Sửa sai aws-auth là mất quyền vào cluster và rất khó phục hồi. |
| ☐ | Bật audit log của control plane | Cần cho điều tra, và cần để kiểm API cũ trước khi nâng cấp. |
| ☐ | Bật mã hoã secret trong etcd bằng KMS | Secret của Kubernetes chỉ base64; không có lớp này thì nó gần như trần trong etcd. |
| Hạng mục | Vì sao | |
|---|---|---|
| ☐ | Có managed node group nhỏ cho Karpenter và controller hệ thống | Karpenter là pod trong cluster nên cần node để chạy. |
| ☐ | EC2NodeClass dùng gp3, không gp2 |
gp2 hết burst credit là IOPS tụt thẳng xuống baseline. |
| ☐ | Có systemReserved và kubeReserved |
Không có thì pod ăn hết RAM node và kubelet chết theo. |
| ☐ | expireAfter khoảng 720h |
Node tự hết hạn nên luôn có AMI vá bảo mật mới. |
| ☐ | Có disruption.budgets chặn thay node giờ cao điểm |
Consolidation có thể thay node bất cứ lúc nào, kể cả lúc cao tải. |
| ☐ | Spot khai nhiều instance category và size | Ghim một loại là rủi ro bị thu hồi đồng loạt. |
| ☐ | Workload quan trọng dùng on-demand với taint riêng | Không để database hay job dài chạy trên Spot. |
| Hạng mục | Vì sao | |
|---|---|---|
| ☐ | CoreDNS có 3 replica và PDB | Mặc định 2 replica; cả hai nằm trên node bị consolidate là DNS cả cluster gián đoạn. |
| ☐ | Có Metrics Server | Thiếu nó thì HPA báo unknown và không scale. |
| ☐ | serviceMonitorSelectorNilUsesHelmValues: false |
Thiếu dòng này thì ServiceMonitor của service bị bỏ qua im lặng. |
| ☐ | ECR repo bật IMMUTABLE, scanOnPush, có lifecycle policy |
Và lifecycle phải có rule giữ N ảnh gần nhất theo số lượng, không chỉ theo thời gian. |
| ☐ | Mọi CloudWatch log group có retention | Mặc định là giữ vĩnh viễn — nguồn chi phí âm thầm lớn nhất. |
| ☐ | Hạ tầng quản lý bằng Terraform/OpenTofu, không dựng tay | Để tái lập được và biết ai đổi gì. |
| ☐ | Add-on không phải add-on của EKS thì cài qua ArgoCD trong infra/ |
Để chúng được version hoá như mọi thứ khác. |
| Hạng mục | Vì sao | |
|---|---|---|
| ☐ | Có lịch nâng cấp mỗi năm, không để trôi quá 2 phiên bản | Khoảng cách càng lớn thì breaking change tích lại càng nhiều. |
| ☐ | Nâng cấp bằng --resolve-conflicts PRESERVE, và kiểm lại cấu hình sau đó |
OVERWRITE xoá cấu hình tuỳ chỉnh và tắt NetworkPolicy im lặng. |
| ☐ | Managed node group nâng với --force-upgrade-version false |
true bỏ qua PDB và có thể mất toàn bộ replica cùng lúc. |
| ☐ | Kiểm API cũ bằng cả quét tĩnh (pluto) và audit log |
Quét tĩnh không thấy API cũ mà controller bên thứ ba đang gọi. |
| ☐ | requests được right-size theo P95 thật trong 7 ngày |
Đòn tiết kiệm bị đánh giá thấp nhất — requests quyết định số node. |
| ☐ | Có cost allocation tag và OpenCost/Kubecost | Chi phí AWS theo tag không nói namespace nào đang tiêu bao nhiêu. |
| ☐ | Có runbook khôi phục thảm hoạ, đã diễn tập | Xem chặng 07, mục 7 — năm thứ không nằm trong Git. |
Pending lúc scale, và không sửa được mà không dựng lại VPCENABLE_NETWORK_POLICY chưa bật → tưởng đã phân đoạn mạng, thực tế thì khôngOVERWRITE → cấu hình tuỳ chỉnh bị xoá im lặngImagePullBackOff khi thay nodeTám chặng này phủ từ process Linux tới hoá đơn AWS. Nếu muốn đi sâu hơn, ba hướng đáng cân nhắc:
| Progressive delivery | Argo Rollouts hoặc Flagger: canary và blue-green tự động, dựa trên metric thật. Bước tiếp theo logic sau khi đã có GitOps vững. |
| Service mesh | Istio hoặc Linkerd: mTLS giữa service, load balancing ở tầng request (giải quyết vấn đề gRPC ở chặng 04, mục 3), retry và circuit breaker tập trung. Chi phí vận hành đáng kể — chỉ làm khi có nhu cầu rõ ràng. |
| Platform engineering | Backstage hoặc Port làm cổng tự phục vụ cho developer: tạo service mới, xem trạng thái deploy, đọc runbook ở một chỗ. Đáng làm khi số service vượt khả năng theo dõi thủ công. |
Và đừng bỏ qua JVM, CPU và RAM — toàn tập: nó là phần đi sâu nhất của bộ tài liệu này, với 21 sự cố mô phỏng được mà bạn sẽ gặp lại trong thực tế.