Dự báo nội mùa (S2S) ngày nóng cực đoan EHD/EHDE cho Việt Nam
— Báo cáo kỹ thuật tổng hợp và so sánh 3 phương án đầu vào —

Mục lục

1. Bài toán, định nghĩa và mục tiêu

Mục tiêu. Dự báo nội mùa (subseasonal-to-seasonal) khả năng xảy ra ngày nóng cực đoan (Extreme Heat Day — EHD) tại từng ô lưới 0.25° trên lãnh thổ Việt Nam, hạn tới 45 ngày, từ sản phẩm gốc của các mô hình dự báo động lực toàn cầu.

Định nghĩa

• EHD (ngày): Tx ≥ min(Tx90p cục bộ cửa sổ 31 ngày, 35 °C) — tức hợp của "ngày nóng" (Tx≥35 °C) và "ngày sóng nhiệt" (Tx≥phân vị 90 cục bộ).
• EHDE (tuần, tại 1 ô lưới): có ít nhất một ngày EHD trong tuần đó.
• EHDE vùng (EXP1): vùng S_i được coi là có EHDE nếu tỉ lệ ô báo EHDE P_i = m_i/n_i vượt ngưỡng phủ (mặc định 20%).
• Cửa sổ tuần (theo hạn ngày kể từ init): W1 = 0–10 (11 ngày), W2 = 11–17, W3 = 18–24, W4 = 25–31, W5 = 32–38, W6 = 39–45.

Chỉ tiêu nghiệp vụ (đã hiệu chỉnh — xem hộp bên dưới)

2. Ba phương án và ba nguồn số liệu

3. Xử lý số liệu: từ dữ liệu thô đến "cube" huấn luyện

3.1 Tải dữ liệu

EC_0.25_org dùng lại bộ ECMWF S2S 0.25° đã tải sẵn của dự án ../HW (không phải nội suy của 1.5° — bộ 0.25° mang thêm 5.3% phương sai ở quy mô <1.5°, RMS ~0.99 K).

3.2 Căn thời gian và gộp về cube

• Căn ngày: bucket các bước 06/12/18Z của ngày D + 00Z ngày D+1 → Tx ngày mô hình. (Đã kiểm chứng cách A vs B chỉ chênh ~0.0002 tương quan.)
• Cube EC_1.5→SD: hình dạng (2080 init, 46 hạn, 40 biến, 541 điểm). mx2t6 = Tx đã hạ quy mô (BCSD "đóng băng"); 39 biến còn lại nội suy song tuyến 1.5°→0.25° (điền ô thô rỗng trước khi nội suy để tránh NaN×0=NaN); mn2t6 từ trường nhiệt tối thiểu.
• Cube CFSv2: flux (3086, 46, 16, 32, 27) + pgb gộp tuần.
• Ghi cube bằng tofile tuần tự (tránh ghi strided chậm trên Lustre).

4. Đặc trưng & hai quy tắc bất di bất dịch

Chuẩn hoá vật lý (ec_z)

Mỗi biến được chuyển thành dị thường chuẩn hoá so với khí hậu học của chính mô hình theo (biến, hạn, ngày-trong-năm, ô lưới). Chính chuẩn hoá này cho phép gộp 541 ô + mọi mùa vào một mô hình duy nhất mà không để chu kỳ mùa trở thành tín hiệu trội. Khí hậu học (mean/std) chỉ khớp trên năm huấn luyện để tránh rò rỉ.

Bộ đặc trưng tốt nhất — F3 (81 cột/tuần)

• 40 biến EC (z-score) gộp từ 46 hạn ngày về cửa sổ tuần (min/mean/max…);
• 20 PC EOF trường quy mô lớn: H500 (×10) + T850 (×10) — căn theo init; bất biến với độ phân giải;
• toạ độ/vùng, ngưỡng thr_obs/thr_mod, biến pha mùa doy_cos/doy_sin, lead.

5. Kiến trúc mô hình AI & danh sách cấu hình

Kiến trúc Ope1b (hiện thực của EXP3): mô hình gộp toàn quốc (một bộ cho cả 541 ô) + ngưỡng riêng từng ô lưới, gồm 2 tầng cổng. Riêng cho từng cửa sổ tuần W1–W6.

Đặc trưng F3 (81 cột, gộp tuần)
   │
   ├─ TẦNG 1 — CỔNG "có/không sự kiện" (regression Sev + bỏ phiếu)
   │     8 họ hồi quy Sev × 9 mức phân vị (ZQ) = 72 thành viên
   │     mỗi thành viên "bật" nếu Sev dự báo ≥ ngưỡng ô  →  đếm M/72
   │     p_gate = M/N ;  p_gate < p1(ô)  ⇒  KẾT LUẬN nEHDE, DỪNG
   │        (p1 chốt riêng từng ô sao cho rò rỉ ngoài mẫu ≤ 5% số sự kiện)
   │
   └─ TẦNG 2 — PHÂN LOẠI yEHDE (chỉ các mẫu qua cổng)
         6 họ phân loại  →  trung bình xác suất
         so với ngưỡng riêng ô = phân vị (1 − r·base_rate(ô))
         r theo cửa sổ:  W1 = 0.84 ;  W2–W6 = 1.00

5.1 Tầng 1 — 8 họ hồi quy độ nghiêm trọng Sev (zoo_s1)

5.2 Tầng 2 — 6 họ phân loại yEHDE (zoo_s2)

5.3 Hạ tầng tính toán

• Môi trường: conda activate ehd (Python 3.11, scikit-learn 1.9, LightGBM 4.7, torch 2.6 CPU).
• Job nặng chạy đa node qua SLURM array (1 fold/node, tối đa 11 node × 20 core).
• Output lớn nằm trên /work (36 TB) — /home chật ⇒ outputs/ là symlink.

6. Hạ quy mô & hiệu chỉnh Tx (downscaling / bias correction)

Với hai nguồn thô (EC 1.5°, CFSv2) phải hạ quy mô Tx về lưới 0.25°. BCSD được chọn làm phương án nền (baseline) sau khi vượt nội suy song tuyến và quantile-mapping.

EC 1.5° → 0.25° — RMSE (°C) trên 541 điểm đất, theo tuần

CFSv2 → 0.25° — thang hạ quy mô (W1)

7. Đánh giá EHD/EHDE trên toàn tập kiểm định

Đánh giá theo từng ô lưới, gộp toàn quốc trên năm kiểm định (không dùng trong huấn luyện). Với EC: 416 init × 541 ô = 225 056 quyết định/tuần. Với CFS: 726 init.

7.1 EC_0.25_org (../HW ope1b) — 416 init

W1 đạt trọn bộ chỉ tiêu (POD 0.652>0.6, FAR 0.198<0.2, POFD 0.102<0.2, CSI 0.562>0.4). W2–W6 không có ngưỡng nào cho FAR<0.2.

7.2 EC_1.5→SD (dự án hiện tại) — 416 init, cùng code chấm điểm

Trùng khít EC_0.25_org mọi tuần (|ΔCSI| ≤ 0.010 từ W1 đến W6). W1 đạt 4.5/5 chỉ tiêu — chỉ FAR 0.201 sát ngưỡng 0.2. Đây là bằng chứng cốt lõi: 1.5° + BCSD tái tạo ~98% kỹ năng của 0.25° gốc.

7.3 CFSv2 (../HW_CFS_raw) — 726 init

8. So sánh trực tiếp 3 phương án

8.1 Kỹ năng EHDE tuần 1 (W1) — hạn có ý nghĩa nghiệp vụ

CSI theo tuần (cấp ô lưới, toàn quốc)

 0.56 EC25 ●
 0.55 EC15  ●
 0.44 CFS      ●
      W1        W2        W3        W4        W5        W6
EC25 .562 ───── .391 ─── .322 ─── .308 ─── .302 ─── .290
EC15 .553 ───── .387 ─── .331 ─── .317 ─── .300 ─── .286
CFS  .437 ───── .234 ─── .205 ─── .189 ─── .185 ─── .190

Xếp hạng bền vững mọi tuần:  EC_0.25 ≈ EC_1.5→SD  >  CFSv2

8.2 Ba nhận định so sánh

• EC_0.25_org ≈ EC_1.5→SD. Chênh lệch |ΔCSI| ≤ 0.010 ở mọi tuần — nằm trong nhiễu lấy mẫu. ⇒ Độ phân giải nguồn (0.25 vs 1.5°) không là nút thắt; BCSD phục hồi gần trọn phần thông tin quy mô nhỏ.
• EC > CFSv2 ở mọi hạn, mọi chỉ số. Chênh lệch là do chất lượng mô hình động lực (ECMWF mạnh hơn CFSv2 về AUC nền), không phải do độ phân giải hay pipeline — cả hai dùng chung kiến trúc AI và cùng BCSD.
• Cả 3 đều chỉ đạt ở W1. Từ W2 trở đi mọi hệ chạm trần thông tin; sản phẩm W2–W6 phát hành dạng trường xác suất để người dùng tự chọn ngưỡng theo chi phí bỏ sót/báo động sai.

9. Điều kiện vận hành thời gian thực (real-time)

Cả ba đã chạy thử bản tin nghiệp vụ cho init 29/08/2026 00Z (cùng cấu trúc URL), tái sử dụng đúng mô hình đã huấn luyện trên hindcast.

9.1 Chuỗi vận hành (ví dụ EC_1.5→SD — src/sd/)

download_ec15_rt.py        # tải control forecast 1.5° init mới nhất (login node, internet)
  → grib_to_netcdf          # convert GRIB → NetCDF
  → build_ec_all_sd_rt.py   # EC_all lưới 0.25° đầy đủ: 39 biến nội suy + mn2t6
                            #   + mx2t6 = BCSD "đóng băng" (hệ số học từ hindcast)
  → operational_forecast    # nạp model_W1..W6.joblib, chạy cổng 2 tầng, sinh xác suất + nhị phân
  → make_forecast_html      # bản đồ W1–W6 + trường xác suất

9.2 Điều kiện & ràng buộc vận hành (chung)

9.3 Kết quả bản tin 29/08/2026 (W1)

10. Kết luận & khuyến nghị nghiệp vụ

Hướng còn mở (chưa đụng hoặc chưa cạn)

• Quá tán không gian ở hạn dài (W4–W6 quá phát trạng thái "cả nước cùng bật" ~25 lần) — hai cách chữa đã thử đều làm mất kỹ năng; chưa có lời giải.
• Tổ hợp trễ (lagged ensemble: nhiều init liên tiếp cùng ngày hiệu lực) — nguồn thông tin bất định duy nhất chưa khai thác.
• Nâng hạ quy mô Tx từ BCSD lên AI-LightGBM (kỳ vọng cải thiện nhỏ vì SD đã ≈ native).
• Mạng nơ-ron không gian (CNN) thay mô hình gộp điểm — code có sẵn, chưa kiểm thử đầy đủ.

11. Phụ lục

11.1 Định nghĩa chỉ số (từ bảng ngẫu nhiên a,b,c,d)

MAE/RMSE/ME/CORR đánh giá theo giá trị (°C) cho khâu Tx; POD/POFD/FAR/FBI/CSI/SEDI/EDI đánh giá theo khả năng phát hiện sự kiện EHD/EHDE.

11.2 Các bẫy kỹ thuật đã vấp (tránh lặp)

• Chained indexing arr[:,:,a:b][...,idx]=True gán vào bản sao tạm ⇒ mọi metric NaN.
• NaN×0=NaN trong matmul nội suy: một ô thô rỗng đầu độc toàn trường ⇒ fill_coarse_nan().
• Ngưỡng chặn tuyệt đối lên đại lượng có đơn vị vật lý (sd>1e-3 xoá sạch prate) ⇒ dùng ngưỡng tương đối.
• find -type d không đi theo symlink ⇒ đếm sai số năm dữ liệu (dùng find -L).
• Mảng prob dùng chung inner-val và test ⇒ fold sau ghi đè fold trước (phải tách 2 mảng).
• pkill -f "<script>" khớp cả dòng lệnh của chính nó ⇒ tự giết shell.

11.3 Sản phẩm bản tin (đã publish)

11.4 Ký hiệu bộ số liệu (thống nhất)

Báo cáo tự sinh từ nhật ký kỹ thuật của ba dự án (developing.txt, STATUS.md, RESUME.md) và các file kết quả JSON đã kiểm định. Mọi con số trích trực tiếp từ output đánh giá; khác biệt tập năm kiểm định giữa EC (4 năm) và CFS (3 năm) đã được ghi chú. Ngày 05/09/2026.