Tăng tốc khởi động EC2 và Lambda
Trong bài này
- Mục tiêu và tình huống
- Đơn giản
- Kỹ sư vận hành
- Kiến trúc sư
- Hình dung như
- Cơ chế: thời gian đi đâu mất
- Ca A · Lambda cold start thông thường
- Ca B · EC2 scale-out không có warm pool
- Thử nghiệm: đổi một điều kiện, đoán kết quả
- Năm ca giải pháp: khi nào hiệu quả, khi nào hết tác dụng
- Ca C · SnapStart rút cold start Java
- Ca D · Warm pool rút thời gian scale-out
- Ca E · Request vượt Provisioned Concurrency
- Ca F · Warm pool cạn giữa đợt tăng tải
- Ca G · SnapStart dùng lại kết nối cũ, rồi sửa
- Bộ công cụ tăng tốc
- Khi nào dùng, khi nào không
- Nên đầu tư tăng tốc
- Chưa cần hoặc chọn thứ khác
- Những hiểu nhầm thường gặp
- Tự kiểm tra
- Câu 1
- Câu 2
- Câu 3
- Bài chuyển giao
- Thuật ngữ cốt lõi
- Nguồn và phần chưa kiểm chứng
Cả Lambda lẫn EC2 đều chậm lúc khởi động, vì phải dựng môi trường và chạy phần khởi tạo trước khi xử lý được việc đầu tiên. Mỗi tính năng tăng tốc chỉ làm một trong ba việc: dời phần việc đó ra khỏi đường đi của request, tái dùng kết quả đã chụp, hoặc bớt việc phải làm.
Mục tiêu và tình huống
Sau bài này bạn giải thích được vì sao khởi động chậm, chọn được một tính năng cho một tình huống cụ thể, và dự đoán khi nào nó hết tác dụng. Điều kiện đầu vào: biết Lambda và EC2 Auto Scaling ở mức cơ bản.
Đơn giản
Mỗi lần có khách mà chưa có ai sẵn sàng, khách phải đợi người ta chuẩn bị xong. Tăng tốc nghĩa là chuẩn bị trước khi khách đến.
Kỹ sư vận hành
Một API đặt vé chạy trên Lambda và một nhóm web trên EC2 Auto Scaling. Lúc 9 giờ sáng tải tăng năm lần; request đầu tiên và instance mới là những thứ chậm. Ràng buộc: chi phí giữ tài nguyên nhàn rỗi phải thấp.
Kiến trúc sư
Ba đòn bẩy, mỗi đòn một giá. Làm trước (Provisioned Concurrency, warm pool) trả tiền cho sức chứa nhàn rỗi. Chụp lại (SnapStart, AMI dựng sẵn) trả bằng ràng buộc về trạng thái. Làm ít đi (tối ưu INIT) trả bằng công sức kỹ thuật.
Hình dung như
Nhà hàng giờ cao điểm phải nhóm lửa và sơ chế rồi mới nấu món đầu tiên; bếp đã nấu sẵn thì ra món ngay. Lambda và EC2 lúc scale-out cũng vậy: tạo môi trường, chạy INIT hoặc user data, rồi mới xử lý được việc. Bản chụp hoặc pool dựng sẵn bỏ qua phần đó.
| Đời thực | AWS |
|---|---|
| Nhóm lửa và sơ chế | Tạo môi trường cộng INIT (Lambda), boot cộng user data (EC2) |
| Giữ sẵn đầu bếp đứng bếp | Provisioned Concurrency: môi trường INIT sẵn, bạn trả tiền cả lúc vắng khách |
| Đông lạnh nồi đã sơ chế | SnapStart: chụp môi trường đã INIT, hâm lại khi cần |
| Nhân viên nghỉ ở phòng bên | Warm pool: instance khởi tạo xong, ở trạng thái Stopped hoặc Hibernated chờ vào ca |
Cơ chế: thời gian đi đâu mất
| Dịch vụ | Pha 1 | Pha 2 (thường dài nhất) | Pha 3 |
|---|---|---|---|
| Lambda | Tạo môi trường (tải code, khởi động runtime) | INIT: code ngoài handler | Handler |
| EC2 Auto Scaling | Launch cộng boot OS | User data, cài dependency | App start cộng health check |
Ca A · Lambda cold start thông thường
Hàm API Java đặt vé, 9 giờ sáng chưa có môi trường rảnh. Số minh hoạ: tạo môi trường 500 ms, INIT 1800 ms, handler 200 ms.
Tổng ≈ 2,5 s
3 / 3
Request đầu tiên · không có môi trường rảnh
- Request đến nhưng chưa có execution environment nào rảnh; Lambda tải code và khởi động runtime mất 500 ms, nằm trong đường đi của request.
- Pha INIT chạy code ngoài handler: nạp class, tạo SDK client, mở kết nối. Ca này 1800 ms, chiếm 72 phần trăm tổng thời gian và là phần đắt nhất.
- Handler chạy 200 ms. Người dùng chờ tổng 2,5 giây dù logic nghiệp vụ chỉ cần 0,2 giây.
Bài học: phần INIT 1800 ms là mục tiêu chính vì nó lặp lại ở mỗi môi trường mới và không liên quan logic nghiệp vụ.
Ca B · EC2 scale-out không có warm pool
Nhóm web cần thêm instance lúc 9 giờ sáng. Số minh hoạ: boot OS 40 giây, user data 90 giây, app cộng health check 50 giây.
InService ≈ 180 s
3 / 3
Instance mới · không có warm pool
- Alarm kích hoạt scale-out, Auto Scaling group gọi EC2 RunInstances từ AMI trong launch template; instance pending rồi boot hệ điều hành mất 40 giây.
- User data cài package, kéo artifact, ghi dữ liệu xuống đĩa: 90 giây. Đây là phần có thể nén bằng AMI dựng sẵn hoặc warm pool.
- Ứng dụng khởi động và qua health check, instance mới InService. Tổng khoảng 180 giây trong lúc tải vẫn đang tăng.
Bài học: 90 giây user data không phụ thuộc lượng tải, nên làm nó sau khi tải tới là lãng phí. Đó chính là phần warm pool hoặc AMI dựng sẵn nhắm vào.
Thử nghiệm: đổi một điều kiện, đoán kết quả
Lab kéo-thả của bản gốc không được đưa vào blog, nên hãy tự đoán rồi đối chiếu. Các sơ đồ Ca ở trên có nút "Tự chạy" để xem từng pha bật lên theo đúng tỉ lệ thời gian.
Đặt Provisioned Concurrency bằng 5 khi có 10 request đồng thời: 5 request vẫn cold start vì chỉ 5 môi trường được INIT sẵn, request chậm nhất vẫn khoảng 2,5 giây, không đổi so với khi tắt PC. Giá trị của PC nằm ở 5 request còn lại chỉ mất 0,2 giây. Bật thêm SnapStart thì 5 request kia còn khoảng 0,5 giây.
Kéo số request lên 20 với PC bằng 10 rồi bật SnapStart: PC bằng 10 không hạ được request chậm nhất khi SnapStart tắt, vì request thứ 11 trở đi vẫn đi qua cold start đầy đủ.
Mô hình khai báo: request và instance đến cùng lúc, không tái dùng môi trường; 500 ms tạo môi trường, 200 ms handler, 300 ms restore, warm start 60 giây (Stopped) hoặc 40 giây (Hibernated) đều là giả định minh hoạ. Mô hình không tính phí, không tính việc Lambda tự tái dùng môi trường, và không mô phỏng thời gian chụp snapshot.
Năm ca giải pháp: khi nào hiệu quả, khi nào hết tác dụng
| Ca | Điều kiện | Điểm rẽ nhánh | Kết quả |
|---|---|---|---|
| C · SnapStart | Lambda Java, INIT nặng | Restore snapshot thay vì INIT lại | 0,5 s thay vì 2,5 s |
| D · Warm pool | EC2 boot dài, tải dự đoán được | Việc nặng làm sẵn lúc nằm pool | khoảng 60 s thay vì 180 s |
| E · PC bị vượt | PC bằng 2, có 3 request | Request thứ 3 không còn môi trường sẵn | Request 3 vẫn mất 2,5 s |
| F · Pool cạn | Cần 3 instance, pool có 2 | Instance thứ 3 không có trong pool | Khởi động lạnh 180 s |
| G · SnapStart sai trạng thái | Kết nối mở lúc INIT | Kết nối cũ không còn hợp lệ sau restore | Lỗi, rồi sửa bằng mở lại kết nối |
Ca C · SnapStart rút cold start Java
Cùng hàm Java ở Ca A, nay bật SnapStart cho version đã publish. Hỗ trợ Java 11 trở lên, Python 3.12 trở lên, .NET 8 trở lên (kiểm tra danh sách hiện hành).
Tổng ≈ 0,5 s
4 / 4
Lúc publish version (một lần)
Request đầu tiên sau publish
- Bạn publish một version: Lambda chạy INIT ngay lúc này, chưa có request nào đang chờ.
- Lambda chụp snapshot Firecracker microVM (bộ nhớ cộng đĩa) của môi trường đã INIT xong, mã hoá và cache lại.
- Request đầu tiên đến: Lambda không INIT lại mà restore snapshot, 300 ms.
- Handler chạy 200 ms. Tổng 0,5 giây thay vì 2,5 giây ở Ca A, giảm 80 phần trăm trong ví dụ minh hoạ này.
Bài học: INIT vẫn chạy, nhưng một lần lúc publish thay vì mỗi lần cold start. Java không tính thêm phí SnapStart; runtime khác tính phí cache và restore.
Ca D · Warm pool rút thời gian scale-out
Cùng nhóm web ở Ca B, nay thêm warm pool với instance Stopped. Root device phải là EBS.
InService ≈ 60 s
4 / 4
Nền · instance trong warm pool
Lúc scale-out · lấy từ pool
- Trước giờ cao điểm, warm pool khởi chạy instance và chạy hết user data trong lúc lifecycle hook giữ instance lại; việc nặng làm xong ở nền.
- Instance được stop. Ở trạng thái Stopped bạn chỉ trả phí EBS và Elastic IP, không trả phí instance.
- Scale-out xảy ra: instance start lại từ pool, 35 giây, không chạy lại phần cài đặt nặng.
- App khởi động và qua health check: 25 giây. InService sau khoảng 60 giây thay vì 180 giây ở Ca B.
Bài học: bạn trả phí EBS cho instance Stopped để mua lại 120 giây mỗi lần scale-out. Tài liệu AWS cảnh báo: nếu boot lần đầu không gây chậm đáng kể thì không cần warm pool.
Ca E · Request vượt Provisioned Concurrency
PC bằng 2, ba request đồng thời. Giả định: cả ba đến cùng lúc.
Req 3: 2,5 s
3 / 3
Request 1–2 · trong Provisioned Concurrency
Request 3 · vượt quá PC = 2
- Bạn đặt PC bằng 2: Lambda INIT sẵn 2 môi trường trước giờ cao điểm. Request 1 và 2 đến cùng lúc, mỗi request chiếm một môi trường có sẵn, chỉ còn chạy handler 200 ms.
- Request 3 đến khi cả 2 môi trường đang bận. Nó vượt PC nên Lambda dựng môi trường mới theo cách thường: tạo môi trường cộng INIT.
- Handler chạy xong sau 2,5 giây. PC chỉ che đúng số môi trường bạn cấu hình, phần vượt vẫn chịu cold start.
Bài học: cấu hình PC theo số đồng thời đỉnh bạn muốn bảo vệ, đo bằng metric, không theo số trung bình. Phần vượt vẫn chịu cold start.
Ca F · Warm pool cạn giữa đợt tăng tải
Cần 3 instance, warm pool có 2. Cũng gặp cold start nếu một Availability Zone hết capacity.
Instance 3 ≈ 180 s
2 / 2
Instance 1–2 · lấy từ warm pool (pool = 2)
Instance 3 · warm pool đã cạn
- Đợt tăng tải cần 3 instance mới, nhưng warm pool chỉ có 2. Instance 1 và 2 được lấy từ pool: warm start, InService sau khoảng 60 giây.
- Pool đã hết, nên instance được launch thẳng vào Auto Scaling group, tức là cold start đầy đủ: instance 3 lên sau 180 giây.
Bài học: kích thước pool mặc định là max capacity trừ desired capacity; nếu đỉnh tải lớn hơn, đặt MaxGroupPreparedCapacity hoặc chấp nhận phần dư lên chậm.
Ca G · SnapStart dùng lại kết nối cũ, rồi sửa
Hàm mở kết nối DB trong phần INIT. Trạng thái kết nối mở lúc INIT không được đảm bảo sau khi resume từ snapshot.
Tổng ≈ 0,7 s
5 / 5
Request sau restore · code chưa sửa
Request sau restore · đã sửa code
- Code mở kết nối DB lúc INIT, nên kết nối đó nằm trong snapshot. Request đến, Lambda restore snapshot 300 ms.
- Handler dùng kết nối từ snapshot. Trạng thái kết nối không được đảm bảo sau restore, nên lệnh gọi lỗi hoặc treo (600 ms ở ví dụ này).
- Cách sửa: vẫn restore 300 ms, nhưng mở lại kết nối ngay khi resume, trong handler hoặc hook after-restore.
- Thêm 200 ms mở kết nối mới, chạy ngay sau restore trước khi vào nghiệp vụ.
- Handler dùng kết nối mới và chạy xong, tổng 0,7 giây. SnapStart vẫn nhanh hơn nhiều so với 2,5 giây, nhưng bạn phải tự xử lý trạng thái không được snapshot giữ nguyên.
Bài học: mở lại kết nối trong handler hoặc hook after-restore; đừng dùng hostname làm định danh duy nhất; tránh gắn source port cố định. Triệu chứng: lỗi kết nối chỉ ở request đầu sau restore, không ở môi trường đã ấm.
Bộ công cụ tăng tốc
| Lambda | Giảm pha nào | Đánh đổi | Dùng khi |
|---|---|---|---|
| SnapStart | INIT thành restore | Chỉ vài runtime; phải xử lý trạng thái sau restore | Java, Python, .NET; INIT nặng, tải theo đợt |
| Provisioned Concurrency | Cả tạo môi trường và INIT | Trả tiền cả lúc nhàn rỗi; chỉ che số đã cấu hình | Cần độ trễ ổn định, tải dự đoán được |
| Giảm việc ở INIT | INIT | Công sức code, không tốn tiền hạ tầng | Luôn nên làm trước, mọi runtime |
| Hiểu hoá đơn INIT | Không giảm thời gian | AWS đã chuẩn hoá tính phí INIT cho managed runtime | Khi cold start thường xuyên làm tăng chi phí |
| EC2 | Giảm pha nào | Đánh đổi | Dùng khi |
|---|---|---|---|
| Warm pool (Stopped) | Boot cộng user data | Phí EBS và EIP; cần root EBS; không hỗ trợ weighted mixed group | Boot dài, scale-out đột ngột |
| Warm pool (Hibernated) | Boot cộng user data cộng khởi tạo app | Phải thoả điều kiện hibernation; lưu RAM xuống EBS | Khởi tạo app trong bộ nhớ rất lâu |
| Instance reuse policy | Scale-out lần sau | Phải quản lý kích thước pool | Tải lên xuống nhiều lần trong ngày |
| AMI dựng sẵn (golden AMI) | User data, cài dependency | Phải rebuild AMI khi đổi phiên bản | Phần cài đặt cố định, không cần pool |
| Họ T: CPU credit (khác loại) | Không giảm boot | Burst CPU khi đang chạy, hết credit thì bị giới hạn | Tải thấp có đỉnh ngắn; không phải giải pháp khởi động |
Khi nào dùng, khi nào không
Nên đầu tư tăng tốc
- Request đầu tiên chạm SLA độ trễ (API cho người dùng).
- INIT hoặc user data dài hơn phần xử lý thật.
- Tải tăng đột ngột nhưng dự đoán được.
- Đã đo và cold start chiếm phần lớn p99.
Chưa cần hoặc chọn thứ khác
- Tác vụ nền chịu được vài giây chậm thì bỏ qua.
- Tải đều, ít cold start thì tối ưu INIT là đủ.
- Tải bất định, không muốn trả tiền chờ thì dùng SnapStart hoặc chấp nhận.
- Boot nhanh sẵn thì warm pool chỉ thêm chi phí.
| Tình huống | Chọn | Vì sao |
|---|---|---|
| API Java, p99 cao sau deploy, ngân sách chặt | SnapStart, rồi tối ưu INIT | Không phí SnapStart cho Java; giảm INIT lặp lại |
| API cần độ trễ cố định trong giờ làm việc | Provisioned Concurrency theo lịch | Che đúng số đồng thời đỉnh |
| Web EC2 boot 3 phút, tải tăng 9 giờ sáng hằng ngày | Warm pool Stopped (hoặc golden AMI) | Làm trước phần nặng, chỉ trả phí EBS |
| Instance giữ nhiều dữ liệu trong RAM sau khởi tạo | Warm pool Hibernated | RAM được lưu rồi nạp lại |
Những hiểu nhầm thường gặp
| Hiểu nhầm | Thực tế |
|---|---|
| SnapStart dùng được cho mọi runtime | Java, Python, .NET; kiểm tra danh sách hiện hành |
| Có Provisioned Concurrency là hết cold start | Chỉ trong số môi trường đã cấu hình |
| SnapStart giữ nguyên mọi trạng thái | Kết nối, hostname, số ngẫu nhiên có thể lỗi thời |
| Warm pool nên để Running cho nhanh | Tài liệu khuyên tránh: tính phí như instance chạy |
| Warm pool đảm bảo mọi instance mới ấm | Pool cạn thì launch lạnh |
| CPU burst của họ T làm boot nhanh hơn | Burst là CPU lúc chạy, không rút ngắn boot |
Tự kiểm tra
Câu 1
Hàm Lambda Java 17 dùng Spring, request đầu sau mỗi lần deploy mất 3 giây. Tải thất thường, team muốn giảm độ trễ nhưng không muốn trả tiền giữ sẵn sức chứa. Chọn gì trước?
Trả lời: bật SnapStart trên version đã publish. Java được hỗ trợ SnapStart, INIT chạy một lần lúc publish và không tính thêm phí SnapStart cho Java. Provisioned Concurrency hiệu quả nhưng vi phạm ràng buộc chi phí nhàn rỗi; tăng timeout chỉ che lỗi quá hạn; chuyển sang EC2 đổi vấn đề chứ không giải quyết.
Câu 2
Một hàm đặt Provisioned Concurrency bằng 50, giờ cao điểm có 120 request đồng thời. Điều gì mô tả đúng 70 request vượt quá?
Trả lời: chúng chạy trên môi trường mới và chịu cold start như khi không có PC. Môi trường sẵn sàng chỉ có 50; phần còn lại cần tạo môi trường mới, giống request 3 ở Ca E. PC không tự tăng theo tải, và phần vượt không bị từ chối.
Câu 3
Auto Scaling group có warm pool 4 instance Stopped, một đợt tải cần thêm 10 instance. Kết quả nào đúng?
Trả lời: 4 instance warm start, 6 instance khởi động lạnh. Pool có 4 thì chỉ 4 được lấy từ pool; 6 còn lại launch thẳng vào group, giống Ca F. Pool không tự lớn và Auto Scaling không bỏ qua yêu cầu.
Bài chuyển giao
Dịch vụ ECS trên EC2 mất 4 phút để tải mô hình 2 GB, tải tăng gấp ba lúc 9 giờ sáng mỗi ngày. Bạn chọn gì và vì sao?
Tiêu chí chấm: nhận ra phần nặng (tải mô hình) không phụ thuộc tải nên làm trước được; chọn warm pool, golden AMI chứa sẵn mô hình, hoặc scheduled scaling trước 9 giờ, và nêu đánh đổi phí; nêu giới hạn rằng pool cạn thì cold start, và ECS cần cấu hình riêng để instance không đăng ký cụm quá sớm.
Thuật ngữ cốt lõi
| Thuật ngữ | Ý nghĩa |
|---|---|
| Cold start | Request phải chờ môi trường mới được tạo và khởi tạo trước khi chạy handler |
| INIT | Pha chạy code ngoài handler của Lambda: nạp thư viện, tạo client, mở kết nối |
| SnapStart | Chụp snapshot môi trường Firecracker microVM sau INIT lúc publish; môi trường mới restore từ snapshot |
| Provisioned Concurrency | Số môi trường Lambda được INIT sẵn và giữ ấm; trả tiền cả lúc nhàn rỗi |
| Warm pool | Nhóm instance đã khởi tạo xong nằm cạnh Auto Scaling group ở trạng thái Stopped, Running hoặc Hibernated |
| Lifecycle hook | Điểm dừng cho phép chạy việc tuỳ chỉnh trước khi instance được stop hoặc đưa vào phục vụ |
| InService | Trạng thái instance đã thuộc nhóm và nhận tải |
Nguồn và phần chưa kiểm chứng
- Lambda SnapStart và best practices: cơ chế snapshot, runtime hỗ trợ, lưu ý kết nối và hostname.
- EC2 Auto Scaling warm pools: trạng thái, kích thước pool, giới hạn, pool cạn.
- AWS Compute Blog: chuẩn hoá tính phí INIT.
Khởi động chậm là chi phí của việc làm mọi thứ sau khi tải đã tới. Mỗi tính năng tăng tốc dời một phần việc đó sang trước, hoặc bỏ nó đi. Nhưng làm trước chỉ che đúng phần bạn đã chuẩn bị. Đo trước, rồi chọn đòn bẩy rẻ nhất che đủ đỉnh tải.
Bài viết liên quan
AWS IAM policy: theo request, tìm Deny
Theo dõi hoạt ảnh AWS IAM để hiểu các loại policy, boundary, KMS, truy cập khác account và vì sao một Deny khớp thắng mọi Allow.
Tăng tốc trên AWS: chọn đúng dịch vụ cho từng đoạn đường
Sáu dịch vụ tăng tốc AWS — CloudFront, Global Accelerator, S3TA, VPN, DAX, ENA/EFA — chọn theo đoạn đường chậm, khả năng cache và giao thức.
Gắn AWS WAF đúng chỗ và khoá đường vòng
AWS WAF gắn được vào đâu, ALB khác NLB thế nào, giới hạn kiểm tra body và cách khoá origin, kèm sáu tình huống và ví dụ cấu hình.
