RDS phình to như quả bóng sắp nổ, chèn ép không gian lưu trữ cốt lõi. Nhưng chớ vứt bỏ đống dữ liệu rác đó đi! Bởi ẩn sâu trong đống rác Clickstream và Log ấy chính là Thiên Cơ chỉ lối cho vương triều thịnh vượng.
Tông môn phát triển, bá tánh ra vào tấp nập sinh ra hàng tỷ mảnh vụn thông tin. Chứa trong Database giao dịch truyền thống (RDS) gây ra Data Gravity (Lực hút hố đen dữ liệu) làm đè sập hệ thống. Ta phải xây dựng trận pháp bói toán Big Data để đãi cát tìm vàng, khai thác hành vi của khách nhân nhằm đem lại tài lộc.
Không dùng RDS đắt đỏ để chứa rác, ta đổ tất cả xuống đáy S3 Data Lake (Hồ Dữ Liệu):
- Dung nạp vạn vật: Bất kể JSON, CSV, ảnh chụp hay log nát bét... S3 nuốt trọn không cần định hình cấu trúc (Schema-on-read).
- Tử huyệt Đầm Lầy Dữ Liệu (Data Swamp): Vứt đồ vô tội vạ không phân loại sẽ biến biển chứa thành đầm lầy đen ngòm. Bạn sẽ chết chìm dưới đáy mà không tìm nổi thứ mình cần.
AWS Glue là binh đoàn tinh linh Serverless dọn dẹp biển hỗn mang:
- Crawler (Nhện Tinh Dò Thám): Bò qua đáy hồ S3, tự động đọc lén dữ liệu để lập ra cuốn Mục lục khổng lồ Glue Data Catalog. Giờ đây Tông chủ có thể phân vùng dữ liệu rõ ràng.
- ETL Jobs (Luyện Hóa Tạp Chất): Tẩy rửa bùn đất dơ bẩn, ép mỏng dữ liệu sang định dạng cột Parquet siêu tiết kiệm dung lượng giúp đọc ghi nhanh gấp trăm lần.
S3 chỉ là cái túi chứa đồ, nó không biết trả lời câu hỏi. Amazon Athena xuất thế giúp bói toán tức thời:
- Vô Hình Vô Tướng (Serverless): Không cần dựng bầy EC2 cài đặt Spark/Hadoop cồng kềnh. Gõ lệnh SQL và nhận kết quả trực tiếp từ S3 chỉ sau vài giây.
- Luật Tính Phí Khắc Nghiệt: Thu 5 USD cho mỗi TB dữ liệu bị Athena càn quét. Tránh dùng câu lệnh SELECT * quét bừa bãi kẻo cạn kiệt linh thạch tông môn!
Khi Tông môn nâng cấp thành Đại Đế chế với bầy Trưởng lão phân tích dữ liệu chuyên nghiệp (BI Analysts), Athena trở nên quá tải. Ta triệu hồi thần thú Amazon Redshift:
- Thiên Cơ Các (Data Warehouse): Lưu trữ dạng cột chuyên biệt cho việc đọc dữ liệu lịch sử (OLAP). Xử lý phân tán song song (MPP) cho phép Redshift tính toán hàng chục tỷ dòng doanh thu trong 3 giây.
- Chi phí đắt đỏ: Yêu cầu duy trì tài nguyên phần cứng lớn, thích hợp làm lõi phân tích cho các Tông môn tài chính hùng mạnh.
| Pháp Bảo / Nơi Chốn | Đặc Tỉểm Cốt Lõi | Mô Phỏng Ẩn Dụ | Dùng Để Làm Gì? |
|---|---|---|---|
| Amazon RDS | Ghi/Đọc từng dòng cực nhanh (OLTP) | Sổ thu ngân tại quầy thanh toán | Lưu tài khoản, số dư linh thạch, giao dịch trực tuyến. |
| S3 Data Lake | Chứa vạn vật, siêu rẻ, rác hay vàng đều nhận | Đáy biển hỗn mang vô hạn | Chứa toàn bộ Log thô, clickstream chưa phân tích. |
| Amazon Athena | SQL trực tiếp lên S3, Serverless | Lên đồng bói toán di động | Phân tích nhanh, làm báo cáo đột xuất (Ad-hoc). |
| Amazon Redshift | Columnar Storage, xử lý MPP siêu tốc (OLAP) | Thiên Cơ Các vĩ đại tối thượng | Chạy thống kê khổng lồ, Dashboard BI vẽ biểu đồ 24/7. |
Đừng bao giờ để đám Trưởng lão Bói toán (Data Analysts) chạy những câu lệnh SQL khổng lồ thẳng vào hệ thống RDS đang chạy thực tế của Tông môn. Khách nhân sẽ bị lag, web sẽ sập!
Hãy dùng keo Glue bơm dữ liệu thô ra Biển S3, rồi cho đám Trưởng lão tha hồ bói toán khai phá ở đó.