Image là đơn vị bạn sẽ build hàng chục lần mỗi ngày trong CI và pull hàng nghìn lần trên cluster. Image nhỏ hơn và có layer xếp đúng thứ tự làm CI nhanh hơn, pod khởi động nhanh hơn, hoá đơn ECR thấp hơn, và bề mặt bị tấn công nhỏ hơn. Trang này đi từ cơ chế layer tới Dockerfile sản xuất cho Java, Python và .NET.
Tám mục: layer và cơ chế (1) → multi-stage build (2) → Dockerfile theo runtime (3) → image nhỏ và an toàn (4) → cache và tốc độ CI (5) → tagging và ECR (6) → debug image (7) → checklist (8).
Mỗi chỉ thị tạo filesystem trong Dockerfile sinh ra một layer chỉ đọc. Hiểu layer là
hiểu vì sao đổi một dòng code lại phải tải lại 400 MB, và vì sao rm -rf không làm image nhỏ lại.
| Tạo layer mới | Chỉ đổi metadata (không tạo layer) |
|---|---|
RUN, COPY, ADD |
ENV, ARG, LABEL, EXPOSE,
USER, WORKDIR, CMD, ENTRYPOINT,
VOLUME, STOPSIGNAL, HEALTHCHECK |
Nghĩa là gộp ENV lại cho gọn không giúp giảm kích thước image. Chỉ có
RUN, COPY, ADD là đáng tối ưu.
FROM python:3.12-slim
WORKDIR /app
COPY . . <- code đổi là miss ở đây
RUN pip install -r requirements.txt <- luôn chạy lại
# Sửa một dòng code
# → layer COPY miss
# → pip install chạy lại từ đầu
# → build mất 3-5 phút MỖI LẦN
FROM python:3.12-slim
WORKDIR /app
COPY requirements.txt . <- chỉ đổi khi thêm thư viện
RUN pip install -r requirements.txt <- được cache
COPY . . <- code đổi chỉ miss từ đây
# Sửa một dòng code
# → chỉ layer COPY . . bị rebuild
# → build mất 10-20 giây
Bấm từng tầng để xem nên đặt gì ở đó và vì sao.
rm -rf ở layer sau không làm image nhỏ lạiRUN apt-get update \
&& apt-get install -y build-essential
RUN rm -rf /var/lib/apt/lists/*
# Layer 1: +180 MB (gói + cache apt)
# Layer 2: +0 MB, chỉ ghi "whiteout"
# đánh dấu file đã xoá
# Image cuối: VẪN chứa 180 MB ở layer 1
# → ai pull image vẫn phải tải 180 MB
RUN apt-get update \
&& apt-get install -y --no-install-recommends \
build-essential \
&& rm -rf /var/lib/apt/lists/*
# Một layer duy nhất: +120 MB
# Cache apt bị xoá TRƯỚC khi layer
# được chốt lại → không bao giờ
# có trong image
Nguyên tắc: mọi file tạm phải được xoá trong cùng chỉ thị RUN đã tạo ra
nó. Layer là bất biến — một khi đã chốt thì không có cách nào lấy lại dung lượng.
┌──────────────────────────────┐
│ upperdir — container layer │ ghi được, MẤT khi container chết
├──────────────────────────────┤
│ layer 5: COPY app.jar │ ┐
│ layer 4: RUN pip install │ │ chỉ đọc
│ layer 3: RUN apt-get install │ ├ CHIA SẺ giữa mọi container
│ layer 2: base OS │ │ cùng dùng image này
│ layer 1: scratch │ ┘
└──────────────────────────────┘
↓ merged
Cây file mà container thấy
| Hệ quả | Ý nghĩa vận hành |
|---|---|
| Layer được chia sẻ | 10 pod cùng image chỉ tốn 1 bản layer chỉ đọc trên node. Đây là lý do nên để các service dùng chung base image: tiết kiệm đĩa node và pull nhanh hơn nhiều. |
| Copy-on-write | Sửa file từ layer dưới thì cả file được copy lên upperdir trước. Sửa 1 byte của file 500 MB là copy 500 MB. Không ghi vào file lớn nằm trong image. |
| Ghi vào container layer chậm | Workload ghi nhiều (DB, cache file, log file) phải dùng volume. emptyDir nhanh hơn
overlayfs đáng kể. |
| Ít layer không phải lúc nào cũng tốt | Gộp mọi thứ vào một RUN cho image nhỏ nhất nhưng mất hết cache. Cân bằng:
gộp những thứ thay đổi cùng nhịp, tách những thứ khác nhịp. |
RUN wget big.tar.gz rồi dòng sau RUN rm big.tar.gz. Image cuối cùng?Đây là kỹ thuật mang lại lợi ích lớn nhất với công sức nhỏ nhất. Môi trường build cần compiler, SDK, test framework. Môi trường chạy chỉ cần runtime và artifact. Multi-stage cho bạn dùng cả hai mà chỉ ship cái thứ hai.
| Runtime | Single-stage | Multi-stage | Giảm |
|---|---|---|---|
| Java (Maven) | ~780 MB (JDK + Maven + repo .m2) | ~190 MB (JRE + jar) | khoảng 75% |
| Python | ~1,1 GB (gcc + build deps) | ~180 MB (slim + venv) | khoảng 84% |
| .NET | ~820 MB (SDK) | ~110 MB (runtime-deps + app) | khoảng 87% |
Con số phụ thuộc ứng dụng, nhưng tỉ lệ giảm thì khá nhất quán. Lợi ích kép: image nhỏ hơn và không còn compiler trong image production — bớt một lượng lớn CVE và bớt công cụ cho kẻ tấn công nếu chúng vào được container.
# ---------- Stage 1: build ----------
FROM maven:3.9-eclipse-temurin-21 AS builder
WORKDIR /build
COPY pom.xml .
RUN mvn -B dependency:go-offline # cache dependency riêng
COPY src ./src
RUN mvn -B clean package -DskipTests
# ---------- Stage 2: runtime ----------
FROM eclipse-temurin:21-jre-alpine
WORKDIR /app
# CHỈ copy artifact từ stage build — compiler, Maven, .m2 không theo vào
COPY --from=builder /build/target/app.jar app.jar
ENTRYPOINT ["java", "-jar", "/app/app.jar"]
FROM maven:3.9-eclipse-temurin-21 AS builder
WORKDIR /build
COPY pom.xml .
RUN mvn -B dependency:go-offline
COPY src ./src
RUN mvn -B clean package -DskipTests
# Stage test: chỉ build khi được gọi tường minh
FROM builder AS test
RUN mvn -B test
RUN mvn -B verify -DskipUnitTests # integration test
FROM eclipse-temurin:21-jre-alpine AS runtime
COPY --from=builder /build/target/app.jar /app/app.jar
ENTRYPOINT ["java", "-jar", "/app/app.jar"]
# Trong CI: chạy test, rồi build runtime — cả hai dùng chung cache của stage builder
docker build --target test -t myapp:test .
docker build --target runtime -t myapp:1.2.3 .
Với Java, jar của Spring Boot chứa cả thư viện (ít đổi) và code của bạn (đổi mỗi commit). Gộp chung thành một layer 60 MB nghĩa là mỗi lần deploy phải pull lại 60 MB. Tách ra thì chỉ pull vài trăm KB.
FROM eclipse-temurin:21 AS extractor
WORKDIR /tmp
COPY --from=builder /build/target/app.jar app.jar
# Spring Boot có sẵn chế độ layered jar
RUN java -Djarmode=layertools -jar app.jar extract
FROM eclipse-temurin:21-jre-alpine
WORKDIR /app
# Thứ tự quan trọng: ít đổi trước, hay đổi sau
COPY --from=extractor /tmp/dependencies/ ./
COPY --from=extractor /tmp/spring-boot-loader/ ./
COPY --from=extractor /tmp/snapshot-dependencies/ ./
COPY --from=extractor /tmp/application/ ./ <- chỉ layer này đổi mỗi commit
ENTRYPOINT ["java", "org.springframework.boot.loader.launch.JarLauncher"]
application/ cỡ vài trăm KB thay vì cả
jar 60 MB. Trên cluster có hàng chục node, điều này giảm đáng kể thời gian rollout và lưu lượng từ ECR.
pom.xml cần bật:
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<configuration><layers><enabled>true</enabled></layers></configuration>
</plugin>
# BuildKit tự phát hiện hai stage này không phụ thuộc nhau và build SONG SONG
FROM node:20-alpine AS frontend
WORKDIR /fe
COPY frontend/package*.json ./
RUN npm ci
COPY frontend/ ./
RUN npm run build
FROM maven:3.9-eclipse-temurin-21 AS backend
WORKDIR /be
COPY pom.xml .
RUN mvn -B dependency:go-offline
COPY src ./src
RUN mvn -B package -DskipTests
FROM eclipse-temurin:21-jre-alpine
COPY --from=backend /be/target/app.jar /app/app.jar
COPY --from=frontend /fe/dist /app/static
ENTRYPOINT ["java", "-jar", "/app/app.jar"]
gcc, make, git. Image cuối có chúng không?Ba Dockerfile dưới đây dùng được ngay, có chú thích từng quyết định. Chúng đã áp dụng mọi
nguyên tắc ở mục 1 và 2: thứ tự layer tối ưu, multi-stage, non-root, exec form, và tương thích
readOnlyRootFilesystem.
# syntax=docker/dockerfile:1.7
# ============ Stage 1: build ============
FROM maven:3.9-eclipse-temurin-21 AS builder
WORKDIR /build
# Cache dependency riêng: pom.xml đổi ít hơn src/ nhiều
COPY pom.xml .
# BuildKit cache mount: repo .m2 được giữ GIỮA CÁC LẦN BUILD, không nằm trong layer
RUN --mount=type=cache,target=/root/.m2 \
mvn -B dependency:go-offline
COPY src ./src
RUN --mount=type=cache,target=/root/.m2 \
mvn -B clean package -DskipTests -Dspring-boot.repackage.layers.enabled=true
# ============ Stage 2: tách layer của jar ============
FROM eclipse-temurin:21-jre-alpine AS extractor
WORKDIR /tmp
COPY --from=builder /build/target/*.jar app.jar
RUN java -Djarmode=layertools -jar app.jar extract
# ============ Stage 3: runtime ============
FROM eclipse-temurin:21-jre-alpine
# dumb-init làm PID 1: reap zombie và forward signal đúng cách
RUN apk add --no-cache dumb-init tzdata \
&& addgroup -g 10001 app \
&& adduser -u 10001 -G app -S -H -s /sbin/nologin app
WORKDIR /app
# Thứ tự: ít đổi → hay đổi. Chỉ layer cuối thay đổi mỗi commit.
COPY --from=extractor --chown=10001:10001 /tmp/dependencies/ ./
COPY --from=extractor --chown=10001:10001 /tmp/spring-boot-loader/ ./
COPY --from=extractor --chown=10001:10001 /tmp/snapshot-dependencies/ ./
COPY --from=extractor --chown=10001:10001 /tmp/application/ ./
USER 10001
EXPOSE 8080
# JAVA_TOOL_OPTIONS được JVM đọc tự động, không cần script hợp tác.
# Giá trị thật sẽ do Helm/ConfigMap ghi đè lúc chạy.
ENV JAVA_TOOL_OPTIONS="\
-XX:+UseContainerSupport \
-XX:MaxRAMPercentage=70.0 \
-XX:+ExitOnOutOfMemoryError \
-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/dump \
-Djava.security.egd=file:/dev/./urandom \
-Dfile.encoding=UTF-8"
# exec form + dumb-init: SIGTERM tới đúng JVM
ENTRYPOINT ["dumb-init", "--", "java", "org.springframework.boot.loader.launch.JarLauncher"]
MaxRAMPercentage thay cho -Xmx cố định: JVM tính heap theo phần trăm
limits.memory mà cgroup báo. Đặt 70% để chừa chỗ cho metaspace, code cache, thread stack
và native — những phần -Xmx không kiểm soát. Ưu điểm: đổi
limits.memory trong Helm là heap tự điều chỉnh, không phải sửa hai chỗ.
-Xms = -Xmx tường minh vẫn tốt hơn — nó bỏ được nhịp giãn heap kéo dài hàng giờ.
# syntax=docker/dockerfile:1.7
# ============ Stage 1: build ============
# Dùng image đầy đủ (không slim) vì cần gcc để biên dịch wheel
FROM python:3.12 AS builder
# Tạo venv riêng để copy nguyên khối sang stage runtime
ENV VIRTUAL_ENV=/opt/venv
RUN python -m venv $VIRTUAL_ENV
ENV PATH="$VIRTUAL_ENV/bin:$PATH"
WORKDIR /build
COPY requirements.txt .
# Cache mount cho pip: tải lại nhanh khi thêm thư viện
RUN --mount=type=cache,target=/root/.cache/pip \
pip install --no-cache-dir -r requirements.txt
# ============ Stage 2: runtime ============
# slim: Debian tối giản. KHÔNG dùng Alpine cho Python — xem ghi chú bên dưới.
FROM python:3.12-slim
# Chỉ cài thư viện RUNTIME, không cài compiler
RUN apt-get update \
&& apt-get install -y --no-install-recommends \
libpq5 \
tini \
&& rm -rf /var/lib/apt/lists/* \
&& groupadd -g 10001 app \
&& useradd -u 10001 -g app -M -s /usr/sbin/nologin app
# Copy venv đã build xong — không có gcc, không có header
ENV VIRTUAL_ENV=/opt/venv
COPY --from=builder --chown=10001:10001 $VIRTUAL_ENV $VIRTUAL_ENV
ENV PATH="$VIRTUAL_ENV/bin:$PATH"
WORKDIR /app
COPY --chown=10001:10001 ./app ./app
COPY --chown=10001:10001 gunicorn.conf.py .
USER 10001
EXPOSE 8000
ENV PYTHONUNBUFFERED=1 \
PYTHONDONTWRITEBYTECODE=1 \
PYTHONFAULTHANDLER=1 \
PROMETHEUS_MULTIPROC_DIR=/tmp/prometheus \
GUNICORN_WORKERS=4 \
GUNICORN_THREADS=2
# tini reap zombie — quan trọng nếu app gọi subprocess
ENTRYPOINT ["tini", "--"]
CMD ["gunicorn", "-c", "gunicorn.conf.py", "app.main:app"]
manylinux). Hệ quả:
pip install không tìm được wheel phù hợp nên biên dịch từ source. Build
numpy, pandas, scipy, cryptography mất nhiều phút
thay vì vài giây.python:3.12-slim (Debian) là lựa chọn đúng trong gần như mọi trường hợp. Chỉ cân nhắc
Alpine nếu app thuần Python không có dependency nhị phân nào.
# syntax=docker/dockerfile:1.7
# ============ Stage 1: build ============
FROM mcr.microsoft.com/dotnet/sdk:8.0 AS builder
WORKDIR /src
# Copy riêng file project để cache restore
COPY ["MyApp/MyApp.csproj", "MyApp/"]
COPY ["MyApp.Domain/MyApp.Domain.csproj", "MyApp.Domain/"]
RUN --mount=type=cache,target=/root/.nuget/packages \
dotnet restore "MyApp/MyApp.csproj"
COPY . .
RUN --mount=type=cache,target=/root/.nuget/packages \
dotnet publish "MyApp/MyApp.csproj" \
-c Release \
-o /app/publish \
--no-restore \
/p:PublishReadyToRun=true \
/p:UseAppHost=false
# ============ Stage 2: runtime ============
# aspnet: có ASP.NET runtime. Dùng runtime-deps nếu publish self-contained.
FROM mcr.microsoft.com/dotnet/aspnet:8.0-alpine
RUN apk add --no-cache icu-libs tzdata tini
WORKDIR /app
# Image .NET 8 đã có sẵn user 'app' (UID 64198)
COPY --from=builder --chown=app:app /app/publish .
USER app
EXPOSE 8080
ENV ASPNETCORE_HTTP_PORTS=8080 \
DOTNET_gcServer=1 \
DOTNET_GCHeapHardLimitPercent=4B \
DOTNET_TieredPGO=1 \
DOTNET_DbgEnableMiniDump=1 \
DOTNET_DbgMiniDumpType=2 \
DOTNET_DbgMiniDumpName=/dump/coredump.%p
ENTRYPOINT ["tini", "--", "dotnet", "MyApp.dll"]
| Image | Kích thước | Dùng khi |
|---|---|---|
dotnet/sdk | ~820 MB | Chỉ dùng cho stage build. Không bao giờ dùng làm runtime. |
dotnet/aspnet | ~220 MB | Mặc định cho web API. Có ASP.NET runtime sẵn. |
dotnet/aspnet:8.0-alpine | ~110 MB | Nhỏ hơn đáng kể. .NET hỗ trợ Alpine chính thức và ổn định — khác với Python. Cần icu-libs nếu dùng globalization. |
dotnet/runtime-deps | ~85 MB | Chỉ có thư viện hệ thống. Dùng khi publish self-contained hoặc Native AOT. |
chiseled | ~50 MB | Ubuntu chiseled: không shell, non-root sẵn. An toàn nhất nhưng khó debug — cần ephemeral container. |
Không có file này, toàn bộ thư mục (kể cả .git, node_modules,
file build cục bộ) được gửi vào build context. Kết quả: build chậm, và nguy cơ secret lọt vào image.
# Git và CI
.git
.github
.gitlab-ci.yml
Jenkinsfile
# Secret và cấu hình cục bộ — QUAN TRỌNG NHẤT
.env
.env.*
*.pem
*.key
*.p12
secrets/
appsettings.Development.json
# Artifact build cục bộ (phải build trong container, không copy từ máy)
target/
build/
dist/
bin/
obj/
*.jar
*.dll
# Dependency cục bộ
node_modules/
.venv/
venv/
__pycache__/
*.pyc
.m2/
# IDE và hệ điều hành
.idea/
.vscode/
*.iml
.DS_Store
Thumbs.db
# Docker và tài liệu
Dockerfile*
docker-compose*.yml
.dockerignore
README.md
docs/
# Test và coverage
coverage/
.pytest_cache/
.coverage
htmlcov/
TestResults/
.git là rủi ro bảo mật thật. Nếu nó vào image, toàn bộ lịch sử repo
đi theo — kể cả secret đã từng commit rồi xoá ở commit sau. Ai pull được image là lấy được. Dòng
.git trong .dockerignore là dòng quan trọng nhất của file đó.
numpy, pandas?Image nhỏ không chỉ là tiết kiệm đĩa. Nó pull nhanh hơn (pod khởi động nhanh hơn khi scale hoặc thay node), và có ít phần mềm hơn nên ít CVE hơn. Hai mục tiêu này thường đi cùng nhau.
| Loại | Cỡ nền | Có shell? | Đánh đổi |
|---|---|---|---|
ubuntu, debian | ~75–120 MB | Có | Dễ dùng, đủ công cụ. Nhiều gói không cần nên nhiều CVE phải vá. |
*-slim | ~30–80 MB | Có | Điểm cân bằng tốt nhất cho phần lớn trường hợp. Vẫn có apt,
sh, curl để debug. |
alpine | ~7 MB | Có (busybox) |
Rất nhỏ. Nhưng musl libc gây vấn đề với Python và một số thư viện nhị phân. |
distroless | ~2–20 MB | Không | Chỉ runtime và thư viện cần thiết. Rất ít CVE. Không kubectl exec được —
phải dùng ephemeral container. |
chiseled (.NET) | ~50 MB | Không | Tương tự distroless, do Canonical làm cho .NET. Non-root sẵn. |
scratch | 0 MB | Không | Hoàn toàn trống. Chỉ dùng cho binary tĩnh (Go, Rust, .NET Native AOT). |
-slim hoặc -alpine (trừ Python thì
dùng slim). Chuyển sang distroless khi đội đã quen dùng
kubectl debug để điều tra — vì mất shell là mất cách debug quen thuộc, và lúc có sự cố
không phải lúc để học công cụ mới.
FROM maven:3.9-eclipse-temurin-21 AS builder
WORKDIR /build
COPY pom.xml .
RUN --mount=type=cache,target=/root/.m2 mvn -B dependency:go-offline
COPY src ./src
RUN --mount=type=cache,target=/root/.m2 mvn -B package -DskipTests
# Distroless Java: chỉ có JRE, không shell, không package manager
FROM gcr.io/distroless/java21-debian12:nonroot
WORKDIR /app
COPY --from=builder /build/target/app.jar app.jar
# User 'nonroot' = UID 65532, đã có sẵn trong image
USER 65532
EXPOSE 8080
# Không có shell nên ENTRYPOINT PHẢI là exec form — không có cách khác
ENTRYPOINT ["java", "-jar", "/app/app.jar"]
exec vào được, nhưng
kubectl debug vẫn hoạt động vì nó gắn một container khác vào cùng namespace:
kubectl debug -it POD --image=nicolaka/netshoot --target=app --share-processes
# Trong đó thấy process của app, dùng chung network namespace.
# Filesystem của app ở /proc/1/root/ nếu đã --share-processes
# Trivy: phổ biến nhất, nhanh, quét cả OS package và thư viện ứng dụng
trivy image --severity HIGH,CRITICAL --exit-code 1 myapp:1.2.3
# Chỉ báo lỗ hổng ĐÃ CÓ BẢN VÁ — tránh chặn pipeline vì CVE không sửa được
trivy image --severity HIGH,CRITICAL --ignore-unfixed --exit-code 1 myapp:1.2.3
# Xuất báo cáo cho Jenkins hiển thị
trivy image --format template --template "@contrib/junit.tpl" \
-o trivy-report.xml myapp:1.2.3
# Quét Dockerfile tìm cấu hình sai (chạy root, dùng tag latest, ...)
trivy config --severity HIGH,CRITICAL Dockerfile
# Quét secret bị commit — chạy trên source, không trên image
trivy fs --scanners secret .
gitleaks detect --source . --redact
main, chỉ cảnh báo ở nhánh feature.--ignore-unfixed) → ghi nhận, không chặn. Chặn vì thứ không
sửa được chỉ khiến cả đội học cách bỏ qua cổng chất lượng..trivyignore kèm lý do và ngày hết hạn, để
ngoại lệ không tồn tại vĩnh viễn.# CVE-2023-12345 — chỉ ảnh hưởng khi dùng module XML mà app không dùng.
# Đánh giá: 2026-10-14 bởi đội platform. Xem lại: 2027-01-14.
CVE-2023-12345
# CVE-2024-99999 — chờ bản vá upstream của base image.
# Theo dõi: https://github.com/example/issue/123. Xem lại: 2026-12-01.
CVE-2024-99999
| Nguyên tắc | Dockerfile | Kubernetes |
|---|---|---|
| Chạy non-root | USER 10001 |
runAsNonRoot: truerunAsUser: 10001 |
| Filesystem chỉ đọc | Không ghi vào /app lúc chạy |
readOnlyRootFilesystem: true + emptyDir cho /tmp |
| Bỏ mọi capability | — | capabilities: drop: ["ALL"] |
| Không leo thang quyền | Không dùng file setuid | allowPrivilegeEscalation: false |
| Tag bất biến | FROM image@sha256:... |
Image tag theo git SHA, không dùng latest |
| Không secret trong image | .dockerignore loại .env,
.git |
Secret qua ConfigMap/Secret/ESO |
ARG. Giá trị ARG nằm trong lịch sử
image và đọc được bằng docker history:
# SAI — token nằm vĩnh viễn trong metadata image
ARG NPM_TOKEN
RUN npm install
# Kiểm chứng: docker history --no-trunc myapp:1.0 | grep NPM_TOKEN
# ĐÚNG — BuildKit secret mount, không bao giờ vào layer hay metadata
RUN --mount=type=secret,id=npmtoken \
NPM_TOKEN=$(cat /run/secrets/npmtoken) npm install
# Build với:
# docker build --secret id=npmtoken,env=NPM_TOKEN -t myapp:1.0 .
| Mức | Kỹ thuật | Ghi chú |
|---|---|---|
| Rất cao | Multi-stage build | Giảm 75–87%. Làm trước mọi thứ khác. |
| Rất cao | Base image nhỏ hơn (slim/alpine/distroless) | Giảm hàng trăm MB. Đổi một dòng FROM. |
| Cao | --no-install-recommends với apt |
Debian cài kèm rất nhiều gói "đề xuất" mà bạn không cần. |
| Cao | .dockerignore đầy đủ |
Vừa giảm cỡ vừa tăng tốc build vừa tránh lọt secret. |
| Trung bình | Xoá cache trong cùng RUN |
rm -rf /var/lib/apt/lists/*, --no-cache-dir của pip. |
| Trung bình | jlink tạo JRE tối giản (Java) |
JRE chỉ chứa module app dùng. Giảm 60–80 MB. Cần xác định module đúng. |
| Thấp | Gộp nhiều RUN thành một |
Giảm ít mà mất cache. Chỉ gộp những thứ đổi cùng nhịp. |
FROM eclipse-temurin:21 AS jre-builder
# Phân tích module mà app thực sự dùng
COPY --from=builder /build/target/app.jar /tmp/app.jar
RUN jdeps --ignore-missing-deps --print-module-deps --multi-release 21 \
/tmp/app.jar > /tmp/modules.txt \
&& jlink \
--add-modules "$(cat /tmp/modules.txt),jdk.crypto.ec,jdk.unsupported" \
--strip-debug --no-man-pages --no-header-files --compress=2 \
--output /javaruntime
FROM debian:12-slim
ENV JAVA_HOME=/opt/java/openjdk
ENV PATH="${JAVA_HOME}/bin:${PATH}"
COPY --from=jre-builder /javaruntime $JAVA_HOME
COPY --from=builder /build/target/app.jar /app/app.jar
ENTRYPOINT ["java", "-jar", "/app/app.jar"]
jdk.crypto.ec và jdk.unsupported phải thêm tay —
jdeps không phát hiện được chúng vì chúng được nạp bằng reflection. Thiếu
jdk.crypto.ec là TLS handshake lỗi, và lỗi đó chỉ xuất hiện lúc chạy.
Trên máy lập trình viên, cache Docker có sẵn nên build nhanh. Trong CI, mỗi job thường bắt đầu trên agent sạch — không có cache. Đây là lý do build trong CI chậm gấp nhiều lần, và là vấn đề cần giải quyết tường minh.
| Tầng | Cơ chế | Phù hợp với |
|---|---|---|
| Layer cache từ registry | --cache-from / --cache-to |
Agent CI không giữ trạng thái. Cache nằm trong ECR, mọi agent dùng được. |
| Cache mount của BuildKit | RUN --mount=type=cache |
Thư mục dependency: .m2, .nuget, pip cache. Không nằm trong layer. |
| Cache của agent | Volume hoặc thư mục bền trên agent | Agent cố định (Jenkins node tĩnh). Nhanh nhất nhưng không dùng được với agent động. |
# Tạo repo riêng cho cache, tách khỏi repo image để lifecycle policy khác nhau
aws ecr create-repository --repository-name myapp-cache
# Build với cache đọc từ ECR và ghi lại vào ECR
docker buildx build \
--cache-from type=registry,ref=$ECR/myapp-cache:buildcache \
--cache-to type=registry,ref=$ECR/myapp-cache:buildcache,mode=max \
--tag $ECR/myapp:$GIT_SHA \
--tag $ECR/myapp:latest \
--push \
.
# mode=max: cache CẢ layer trung gian của mọi stage (kể cả stage build).
# Dung lượng lớn hơn nhưng hiệu quả cao hơn nhiều với multi-stage.
# mode=min: chỉ cache layer của image cuối. Mặc định, ít hiệu quả.
mode=max mới đáng. Với multi-stage, phần tốn thời gian nhất
(mvn dependency:go-offline, pip install, dotnet restore) nằm ở
stage build — và mode=min không cache stage đó. Nhớ đặt lifecycle policy cho repo cache
để nó không phình vô hạn.
# Java: repo .m2 không nằm trong layer, nhưng được giữ lại giữa các build
RUN --mount=type=cache,target=/root/.m2,sharing=locked \
mvn -B dependency:go-offline
# Python: pip cache
RUN --mount=type=cache,target=/root/.cache/pip \
pip install -r requirements.txt
# .NET: NuGet packages
RUN --mount=type=cache,target=/root/.nuget/packages \
dotnet restore
# Node: npm cache
RUN --mount=type=cache,target=/root/.npm \
npm ci
# sharing=locked: nhiều build song song không ghi đè nhau (quan trọng trong CI)
# sharing=shared (mặc định): nhanh hơn nhưng có thể xung đột
# sharing=private: mỗi build một cache riêng
buildkitd như một Deployment
trong cluster với PVC, agent kết nối tới nó qua docker buildx create --driver remote.--cache-from), chậm hơn cache cục bộ nhưng
hoạt động với mọi agent.Node Graviton (arm64) trên EKS rẻ hơn x86 khoảng 20% với hiệu năng tương đương cho phần lớn workload. Nhưng image phải có bản arm64.
# Build cho cả hai kiến trúc, tạo manifest list
docker buildx create --name multiarch --use --bootstrap
docker buildx build \
--platform linux/amd64,linux/arm64 \
--cache-from type=registry,ref=$ECR/myapp-cache:buildcache \
--cache-to type=registry,ref=$ECR/myapp-cache:buildcache,mode=max \
--tag $ECR/myapp:$GIT_SHA \
--push \
.
# Kiểm tra manifest đã có cả hai
docker buildx imagetools inspect $ECR/myapp:$GIT_SHA
# BuildKit in thời gian từng bước
DOCKER_BUILDKIT=1 docker build --progress=plain -t myapp:test . 2>&1 | tee build.log
# Xem layer nào lớn nhất
docker history --human --format "{{.Size}}\t{{.CreatedBy}}" myapp:1.2.3 | sort -rh | head
# Phân tích image chi tiết (file nào chiếm chỗ, layer nào trùng lặp)
dive myapp:1.2.3
# So hai image để biết layer nào đổi
docker buildx imagetools inspect $ECR/myapp:v1 --raw | jq '.layers[].digest'
docker buildx imagetools inspect $ECR/myapp:v2 --raw | jq '.layers[].digest'
| Triệu chứng | Nguyên nhân và cách sửa |
|---|---|
| Build context mất vài phút để gửi | Thiếu .dockerignore, đang gửi cả .git và
node_modules. Kiểm bằng dòng Sending build context ở đầu log. |
| Cài dependency chạy lại mỗi build dù không đổi | COPY . . đặt trước bước cài. Tách file khai báo dependency ra copy trước. |
| Cache có nhưng vẫn miss từ layer đầu | Base image dùng tag động (:21, :latest) và upstream vừa đẩy bản mới.
Ghim bằng digest: FROM eclipse-temurin:21-jre-alpine@sha256:... |
| Build arm64 chậm gấp 10 lần | Đang emulate bằng QEMU. Dùng agent native arm64. |
| Push lên ECR rất lâu | Layer quá lớn hoặc quá nhiều. Dùng layered jar (Java), kiểm bằng
docker history. |
| Mỗi build pull lại base image | Agent sạch mỗi lần. Dùng ECR pull-through cache để không ra internet, hoặc agent có cache bền. |
--cache-to type=registry với multi-stage build. Vì sao phải đặt mode=max?Chiến lược tag quyết định bạn có truy vết được "pod này chạy từ commit nào" hay không. Đây là nền tảng cho GitOps ở chặng 07.
latest. Lý do:
latest hôm nay khác latest hôm qua. Pod
đang chạy không nói được nó từ commit nào.latest — tức là vẫn
ảnh mới.imagePullPolicy: Always.Một lần build, gắn nhiều tag cho cùng một digest:
$ECR/myapp:a3f8c21 ← git SHA ngắn. DÙNG CÁI NÀY ĐỂ DEPLOY.
$ECR/myapp:1.4.2 ← semver, cho release chính thức
$ECR/myapp:1.4 ← minor, trỏ bản patch mới nhất
$ECR/myapp:main-a3f8c21 ← nhánh + SHA, dễ đọc khi điều tra
$ECR/myapp:build-1847 ← số build của Jenkins, nối với log CI
$ECR/myapp:latest ← CHỈ để tiện pull tay, KHÔNG deploy
Và luôn ghi lại digest — thứ duy nhất bất biến thật sự:
$ECR/myapp@sha256:9f2a...e41b
| Ngữ cảnh | Dùng tag | Lý do |
|---|---|---|
| Deploy production | git SHA hoặc digest | Bất biến, truy vết được, rollback được. Đây là tag ghi vào values.yaml. |
| Manifest GitOps | git SHA | Commit trong repo cấu hình chính là bản ghi "ai deploy gì lúc nào". |
| Release cho khách | semver | Con người đọc được, nói được về tương thích. |
| Yêu cầu bảo mật cao | digest @sha256: |
Tag có thể bị trỏ lại ảnh khác; digest thì không thể. |
| Dev thử cục bộ | latest hoặc tên nhánh |
Tiện, và không ảnh hưởng gì tới production. |
# Tạo repo với quét lỗ hổng tự động và TAG BẤT BIẾN
aws ecr create-repository \
--repository-name myapp \
--image-scanning-configuration scanOnPush=true \
--image-tag-mutability IMMUTABLE \
--encryption-configuration encryptionType=KMS \
--region ap-southeast-1
IMMUTABLE là thiết lập đáng giá nhất. Nó khiến ECR từ chối việc push lại một
tag đã tồn tại. Hệ quả: tag a3f8c21 vĩnh viễn chỉ một ảnh duy nhất. Không ai (kể cả do
nhầm lẫn trong CI) có thể thay đổi nội dung của một tag đã deploy. Đánh đổi: không dùng được tag
latest theo cách thông thường — phải để repo riêng hoặc bỏ hẳn latest.
{
"rules": [
{
"rulePriority": 1,
"description": "Giữ 10 ảnh release gần nhất (tag semver)",
"selection": {
"tagStatus": "tagged",
"tagPrefixList": ["v"],
"countType": "imageCountMoreThan",
"countNumber": 10
},
"action": { "type": "expire" }
},
{
"rulePriority": 2,
"description": "Giữ ảnh của nhánh main 30 ngày",
"selection": {
"tagStatus": "tagged",
"tagPrefixList": ["main-"],
"countType": "sinceImagePushed",
"countUnit": "days",
"countNumber": 30
},
"action": { "type": "expire" }
},
{
"rulePriority": 3,
"description": "Ảnh không tag (layer mồ côi) xoá sau 1 ngày",
"selection": {
"tagStatus": "untagged",
"countType": "sinceImagePushed",
"countUnit": "days",
"countNumber": 1
},
"action": { "type": "expire" }
}
]
}
aws ecr put-lifecycle-policy \
--repository-name myapp \
--lifecycle-policy-text file://lifecycle-policy.json
# Thử nghiệm TRƯỚC khi áp — xem ảnh nào sẽ bị xoá
aws ecr start-lifecycle-policy-preview \
--repository-name myapp \
--lifecycle-policy-text file://lifecycle-policy.json
aws ecr get-lifecycle-policy-preview --repository-name myapp
ImagePullBackOff — và đó là lúc 2
giờ sáng. Cách phòng: luôn có rule giữ N ảnh gần nhất theo số lượng, không chỉ theo thời gian.
# Tạo cache cho Docker Hub, ECR Public, Quay
aws ecr create-pull-through-cache-rule \
--ecr-repository-prefix dockerhub \
--upstream-registry-url registry-1.docker.io \
--credential-arn arn:aws:secretsmanager:...:secret:ecr-pullthroughcache/dockerhub
# Sau đó đổi FROM trong Dockerfile:
# FROM python:3.12-slim
# → FROM 123456789012.dkr.ecr.ap-southeast-1.amazonaws.com/dockerhub/library/python:3.12-slim
Lợi ích: không bị Docker Hub rate-limit (vấn đề thật khi CI build nhiều), pull nhanh hơn vì trong cùng region, và image được quét bởi ECR. Đáng làm nếu pipeline của bạn build thường xuyên.
# Ký ảnh bằng cosign (keyless, dùng OIDC của CI)
cosign sign --yes $ECR/myapp@sha256:9f2a...e41b
# Xác minh trước khi deploy
cosign verify $ECR/myapp@sha256:9f2a...e41b \
--certificate-identity-regexp '.*' \
--certificate-oidc-issuer https://token.actions.githubusercontent.com
# Tạo SBOM để biết image chứa gì
syft $ECR/myapp:a3f8c21 -o spdx-json > sbom.json
cosign attest --predicate sbom.json --type spdxjson $ECR/myapp@sha256:9f2a...e41b
Kết hợp với admission controller (Kyverno hoặc OPA Gatekeeper) để cluster từ chối ảnh không có chữ ký hợp lệ. Đây là bước nâng cao, nên làm sau khi những thứ cơ bản đã ổn.
latest làm rollback vô hiệu?Những lệnh dùng khi image build được nhưng container không chạy, hoặc chạy sai so với mong đợi.
# Cấu hình đầy đủ: ENTRYPOINT, CMD, USER, ENV, WORKDIR
docker inspect myapp:1.2.3 | jq '.[0].Config'
# Lịch sử layer — tìm layer lớn và tìm secret bị lọt
docker history --no-trunc --human myapp:1.2.3
# Kiến trúc thật của image (hay sai khi build trên Mac M-series)
docker inspect myapp:1.2.3 --format '{{.Os}}/{{.Architecture}}'
# Phân tích chi tiết: file nào chiếm chỗ, layer nào trùng lặp
dive myapp:1.2.3
# Liệt kê file trong image mà không chạy container
docker create --name tmp myapp:1.2.3 && docker export tmp | tar -tv | head -50
docker rm tmp
# Triệu chứng trên cluster:
# exec /usr/local/bin/python: exec format error
# standard_init_linux.go:228: exec user process caused: exec format error
# Nguyên nhân: image build ra arm64 nhưng node EKS là amd64 (hoặc ngược lại).
# Sửa: luôn chỉ định platform tường minh
docker build --platform linux/amd64 -t myapp:1.2.3 .
# Hoặc build cả hai bằng buildx (xem mục 5)
# 1. Exit code nói nguyên nhân
docker ps -a --filter name=myapp --format '{{.Names}}\t{{.Status}}'
docker inspect myapp --format '{{.State.ExitCode}} {{.State.Error}}'
# 2. Log của lần chạy cuối
docker logs --tail 100 myapp
# 3. Ghi đè ENTRYPOINT để vào xem bên trong
docker run --rm -it --entrypoint sh myapp:1.2.3
# Trong đó kiểm:
# ls -la /app → file có đúng chỗ không
# id → đang chạy user nào
# ls -la /app/app.jar → quyền đọc có đủ không
# env | sort → biến môi trường có đúng không
# java -version → runtime có hoạt động không
# 4. Thử chính lệnh ENTRYPOINT bằng tay để thấy lỗi đầy đủ
docker run --rm myapp:1.2.3 java -jar /app/app.jar
| Exit code | Nghĩa | Nguyên nhân thường gặp |
|---|---|---|
0 | Kết thúc bình thường | Với service thì đây là lỗi: process chạy xong rồi thoát. Thường do CMD là lệnh
một lần, hoặc app không giữ được foreground. |
1 | Lỗi ứng dụng | Exception lúc khởi động: thiếu cấu hình, không kết nối được DB, port đã bị dùng. Đọc log. |
125 | Lỗi chính Docker | Cờ không hợp lệ, image không tồn tại. |
126 | Lệnh không thực thi được | Thiếu bit execute, hoặc shebang sai trong script.
chmod +x hoặc COPY --chmod=755. |
127 | Không tìm thấy lệnh | Binary không có trong image, hoặc không có trong PATH. Hay gặp khi đổi sang
distroless mà ENTRYPOINT vẫn gọi sh. |
137 | SIGKILL (128+9) |
OOMKilled. Working set vượt limits.memory. Xem
chặng 01, mục 3. |
139 | SIGSEGV (128+11) |
Segmentation fault. Thường do thư viện nhị phân không khớp (musl vs glibc), hoặc lỗi trong native code. |
143 | SIGTERM (128+15) |
Bị yêu cầu dừng và đã dừng. Bình thường khi scale down hoặc rolling update. |
# Mô phỏng giới hạn tài nguyên của pod để thấy trước vấn đề
docker run --rm -it \
--memory=3584m --memory-swap=3584m \
--cpus=2 \
--user 10001:10001 \
--read-only \
--tmpfs /tmp:rw,size=256m \
--cap-drop ALL \
--security-opt no-new-privileges \
-e SPRING_PROFILES_ACTIVE=prod \
-p 8080:8080 \
myapp:1.2.3
# Kiểm runtime có đọc đúng giới hạn không — bước này phát hiện sớm
# phần lớn vấn đề cgroup đã nói ở chặng 01 mục 4
docker run --rm myapp:1.2.3 sh -c 'nproc; cat /sys/fs/cgroup/memory.max'
docker run --rm myapp:1.2.3 java -XshowSettings:vm -version
docker run --rm myapp:1.2.3 python -c "import os; print(os.cpu_count())"
docker run --rm myapp:1.2.3 dotnet --info | grep -i arch
--memory, --cpus, --user, --read-only giống
securityContext của pod. Phần lớn lỗi "chạy local thì được mà lên cluster thì chết" là do
non-root, read-only filesystem, hoặc giới hạn tài nguyên — và cả ba đều mô phỏng được bằng Docker.
#!/usr/bin/env bash
set -euo pipefail
IMAGE="${1:?usage: verify-image.sh <image>}"
fail() { echo "FAIL: $*" >&2; exit 1; }
echo "== 1. Kiến trúc =="
arch=$(docker inspect "$IMAGE" --format '{{.Architecture}}')
[[ "$arch" == "amd64" || "$arch" == "arm64" ]] || fail "kiến trúc lạ: $arch"
echo "== 2. Không chạy root =="
user=$(docker inspect "$IMAGE" --format '{{.Config.User}}')
[[ -n "$user" && "$user" != "root" && "$user" != "0" ]] || fail "image chạy root"
echo "== 3. ENTRYPOINT là exec form =="
ep=$(docker inspect "$IMAGE" --format '{{json .Config.Entrypoint}}')
[[ "$ep" != "null" ]] || fail "thiếu ENTRYPOINT (hoặc dùng shell form qua CMD)"
grep -qE '"(/bin/)?sh","-c"' <<<"$ep" && fail "ENTRYPOINT dùng shell form, sẽ mất SIGTERM"
echo "== 4. Không có secret trong history =="
docker history --no-trunc "$IMAGE" \
| grep -iE '(password|secret|token|api[_-]?key|BEGIN .*PRIVATE KEY)' \
&& fail "phát hiện chuỗi giống secret trong image history"
echo "== 5. Quét lỗ hổng =="
trivy image --severity HIGH,CRITICAL --ignore-unfixed --exit-code 1 "$IMAGE"
echo "== 6. Container khởi động được =="
cid=$(docker run -d --rm -p 18080:8080 "$IMAGE")
trap 'docker stop "$cid" >/dev/null 2>&1 || true' EXIT
for i in $(seq 1 30); do
if curl -fsS http://localhost:18080/actuator/health/readiness >/dev/null 2>&1; then
echo "OK: readiness xanh sau ${i}s"; exit 0
fi
sleep 1
done
fail "readiness không xanh trong 30 giây"
| Hạng mục | Vì sao | |
|---|---|---|
| ☐ | Dùng multi-stage build | Giảm 75–87% kích thước và loại compiler khỏi image production. |
| ☐ | Base image là -slim, -alpine hoặc distroless |
Trừ Python thì tránh Alpine — musl làm pip biên dịch lại wheel. |
| ☐ | Base image ghim bằng digest @sha256: |
Tag động làm build không tái lập được và làm miss cache bất ngờ. |
| ☐ | Có .dockerignore loại .git, .env |
.git mang theo toàn bộ lịch sử, kể cả secret đã xoá ở commit sau. |
| ☐ | File khai báo dependency copy trước mã nguồn | Quyết định build mất 20 giây hay 5 phút. |
| ☐ | Xoá cache trong cùng RUN đã tạo ra nó |
Layer bất biến — xoá ở layer sau không lấy lại được dung lượng. |
| ☐ | Java: dùng layered jar | Deploy chỉ pull lại vài trăm KB thay vì cả jar 60 MB. |
| Hạng mục | Vì sao | |
|---|---|---|
| ☐ | ENTRYPOINT dùng exec form (dạng mảng JSON) |
Shell form làm /bin/sh thành PID 1 và nuốt SIGTERM → pod luôn bị
SIGKILL. |
| ☐ | Script bọc ngoài kết thúc bằng exec <lệnh> |
Thiếu exec là mất signal, dù dùng exec form. |
| ☐ | Có init process (tini/dumb-init) nếu app sinh process con |
Không có thì process con chết thành zombie và tích dần tới tràn bảng PID. |
| ☐ | App listen 0.0.0.0, không phải 127.0.0.1 |
Listen localhost thì probe và Service không tới được — pod Ready nhưng trả 503. |
| ☐ | Port ứng dụng > 1024 | Non-root không bind được port thấp. Đây là lý do .NET 8 đổi mặc định sang 8080. |
| Hạng mục | Vì sao | |
|---|---|---|
| ☐ | Có USER với UID số (không phải tên) |
Kubernetes runAsNonRoot cần UID số để xác minh. Tên user không kiểm được. |
| ☐ | Không ghi vào filesystem lúc chạy, hoặc đã mount volume cho chỗ cần ghi | Để bật được readOnlyRootFilesystem. JVM cần /tmp. |
| ☐ | Secret lúc build dùng --mount=type=secret, không dùng ARG |
ARG lưu vào metadata và đọc được bằng docker history. |
| ☐ | Quét trivy trong CI, chặn CRITICAL có bản vá |
Dùng --ignore-unfixed để không chặn vì thứ không sửa được. |
| ☐ | Không cài curl, wget, netcat trong image production |
Chúng là công cụ sẵn có cho kẻ tấn công nếu vào được container. Dùng
kubectl debug khi cần. |
| ☐ | Dump (heap/core) trỏ vào volume riêng | Ghi dump vào filesystem container làm dirty page đẩy working set vượt limit → mất dump và OOMKilled lần hai. |
| Hạng mục | Vì sao | |
|---|---|---|
| ☐ | Tag theo git SHA, không deploy bằng latest |
Không có tag bất biến thì không truy vết và không rollback được. |
| ☐ | ECR repo bật IMMUTABLE và scanOnPush |
Đảm bảo một tag vĩnh viễn chỉ một ảnh. |
| ☐ | Có lifecycle policy, gồm rule giữ N ảnh gần nhất theo số lượng | Chỉ dùng rule theo thời gian có thể xoá ảnh của service ổn định lâu không deploy. |
| ☐ | Có registry cache (--cache-from/to với mode=max) |
Agent CI sạch mỗi lần nên không có cache cục bộ. |
| ☐ | Chỉ định --platform tường minh |
Tránh exec format error khi build trên Mac Apple Silicon. |
ENTRYPOINT shell form → pod không nhận SIGTERM, mất request mỗi lần deploylatest → không biết đang chạy gì, không rollback đượcCOPY . . trước bước cài dependency → CI chậm gấp 10 lần không cần thiết.git trong .dockerignore → rò rỉ toàn bộ lịch sử repo