0

Bẫy chi phí AWS #23: Kinesis 10 shard cho chắc, trả $110/tháng cho 9 shard ngồi chơi

"Tạo 10 shard cho chắc ăn." Nghe rất an toàn, và mình hiểu tâm lý đó: không ai muốn bị gọi dậy lúc 2 giờ sáng vì stream bị throttle. Nhưng thực tế là bạn đang trả tiền cho 9 shard ngồi chơi, 24 giờ mỗi ngày, khoảng $110 mỗi tháng cho một stream.

Giá trong bài là giá tham khảo region us-east-1.

Bối cảnh

Team dựng Kinesis Data Streams cho clickstream, chọn chế độ provisioned với 10 shard "cho chắc". Traffic thực tế chỉ vài trăm record mỗi giây.

Vì sao tốn tiền

  1. Ở chế độ provisioned, mỗi shard tính $0,015/giờ, dù có dữ liệu chảy qua hay không. Shard giống như một làn đường bạn thuê theo giờ: có xe chạy hay không vẫn phải trả.
  2. Mỗi shard nhận được tối đa 1 MB/giây hoặc 1.000 record/giây ở chiều ghi. Traffic vài trăm record mỗi giây (và dung lượng nhỏ) thì 1 shard đã đủ.
  3. Tạo 10 shard nghĩa là 9 shard rảnh rỗi suốt 24/7. Con số mỗi giờ nhỏ nên lúc tạo không ai thấy đắt, nhưng nó chạy liên tục 730 giờ mỗi tháng.

Hóa đơn

  • 10 shard × 730 giờ × $0,015
  • = $109,5 ≈ $110/tháng (chưa tính phí PUT payload)

Cách sửa

  • Tính số shard theo traffic thật: shard = max(MB/giây ÷ 1, record/giây ÷ 1.000), cộng thêm một chút dự phòng.
  • Theo dõi metric IncomingBytes và IncomingRecords (và WriteProvisionedThroughputExceeded) để điều chỉnh dần.
  • Traffic khó dự đoán: dùng chế độ on-demand, Kinesis tự scale.
  • Nếu thật ra chỉ cần một hàng đợi, không cần nhiều consumer đọc lại dữ liệu: cân nhắc SQS.

Giảm shard bằng CLI. Mỗi lần chỉ giảm được tối đa một nửa, nên đi theo bậc 10 → 5 → 3 → 2 → 1:

# Mỗi lần giảm tối đa một nửa: 10 → 5 → 3 → 2 → 1
aws kinesis update-shard-count \
  --stream-name clickstream \
  --target-shard-count 5 \
  --scaling-type UNIFORM_SCALING

Sau khi sửa: 1 shard × 730 giờ × $0,015 ≈ $11/tháng. Từ $110 xuống $11, giảm khoảng 90%.

Lưu ý

Thay đổi số shard không diễn ra tức thì: resharding mất vài phút và bị giới hạn số lần mỗi ngày. Nếu traffic tăng đột biến theo mùa (sale, sự kiện, Tết), giữ provisioned sát nút là rủi ro; on-demand thường an toàn hơn dù đơn giá cao hơn. Và nếu consumer dùng Lambda, kiểm tra parallelization factor trước khi giảm shard, vì số shard cũng ảnh hưởng tới độ song song xử lý.

Checklist cho account của bạn

  • Kinesis > Data streams: stream nào đang provisioned, bao nhiêu shard?
  • So IncomingRecords/IncomingBytes đỉnh với capacity (1.000 record/giây, 1 MB/giây mỗi shard): đang dùng bao nhiêu %?
  • Stream nào thật ra chỉ đang được dùng như hàng đợi?

Lời kết

Đây là bài 23/25 của series "Bẫy chi phí AWS". Bản video ngắn có sơ đồ chuyển động nằm trên page Trà Đá Tech: https://www.facebook.com/profile.php?id=61596642752252

Team bạn chọn provisioned hay on-demand cho Kinesis, và vì sao? Hãy chia sẻ trong phần bình luận nhé.

Nếu thấy bài viết hữu ích, hãy upvote và follow để theo dõi các bài tiếp theo.

Bài tiếp theo: PoC đã kết thúc nhưng bị bỏ quên, lặng lẽ lấy đi $13.700 mỗi năm


All rights reserved

Viblo
Hãy đăng ký một tài khoản Viblo để nhận được nhiều bài viết thú vị hơn.
Đăng kí