Toàn bộ 13 năm flux, 3086 init, kiểm định 2001/2006/2009. Cắt ngưỡng tại chính ngưỡng EHD địa phương (chưa dò δ).
Chấm hai lần: theo giá trị (°C) và theo sự kiện
Tuần
Bậc
ME
MAE
RMSE
CORR
exc_ratio
POD
FAR
CSI
SEDI
W1
D0
0.005
2.046
2.648
0.753
1.009
0.601
0.404
0.427
0.364
W1
D1
0.037
0.973
1.316
0.932
1.012
0.684
0.324
0.515
0.553
W1
D2
-0.060
1.115
1.471
0.913
0.777
0.506
0.349
0.398
0.397
W2
D0
-0.367
2.423
3.163
0.689
0.980
0.421
0.570
0.270
0.159
W2
D1
-0.013
1.496
2.121
0.844
0.950
0.446
0.530
0.297
0.239
W2
D2
-0.146
1.498
2.035
0.846
0.586
0.263
0.551
0.199
0.135
W3
D0
-0.420
2.549
3.343
0.662
0.967
0.393
0.594
0.249
0.109
W3
D1
-0.004
1.624
2.277
0.816
0.925
0.396
0.572
0.259
0.151
W3
D2
-0.157
1.554
2.115
0.832
0.566
0.234
0.587
0.176
0.083
W4
D0
-0.537
2.616
3.402
0.676
0.934
0.370
0.604
0.236
0.084
W4
D1
-0.072
1.650
2.293
0.821
0.880
0.368
0.582
0.243
0.126
W4
D2
-0.104
1.601
2.175
0.828
0.550
0.216
0.607
0.162
0.052
W5
D0
-0.500
2.644
3.467
0.651
0.924
0.369
0.601
0.237
0.074
W5
D1
-0.007
1.724
2.446
0.791
0.895
0.369
0.588
0.241
0.099
W5
D2
-0.094
1.580
2.139
0.833
0.567
0.233
0.589
0.175
0.069
W6
D0
-0.446
2.666
3.495
0.640
0.942
0.369
0.609
0.234
0.052
W6
D1
-0.034
1.765
2.534
0.781
0.933
0.383
0.589
0.247
0.094
W6
D2
-0.114
1.604
2.189
0.826
0.571
0.228
0.602
0.169
0.046
Điều quan trọng nhất ở bảng này là cột exc_ratio (tỷ số tần suất vượt ngưỡng mô hình/quan trắc). D2 có MAE ngang hoặc tốt hơn D1 nhưng exc_ratio sụp còn 0.55–0.78 ở mọi tuần: hồi quy co trường về khí hậu học, trường bị co rồi cắt ngưỡng Tx90p thì gần như không sinh sự kiện, nên CSI thua D1 khắp nơi. RMSE hoàn toàn không nhìn thấy điều này. Kết luận: chọn BCSD (D1). Muốn dùng ML thì phải là bộ phân loại P(EHD), không phải hồi quy giá trị rồi cắt ngưỡng.
2. Biến cao không và mô hình phi tuyến mua được gì
SƠ BỘ. Tập pgb hiện chỉ có 1999–2004 trên đĩa local, nên năm kiểm định rút còn 2001 tháng 1–8 (phủ trọn mùa nóng, thiếu tháng 9–12 tức phần “ấm bất thường mùa đông”). Sẽ chạy lại trên đủ 13 năm khi việc trích pgb qua NAS hoàn tất.
AUC trên năm kiểm định. L = hồi quy logistic, G = LightGBM; flux = 16 biến bề mặt, both = thêm 27 biến cao không
Tuần
L_flux
L_both
G_flux
G_both
AUC cần
Khoảng cách
cao không mua
phi tuyến mua
W1
0.7647
0.7811
0.7614
0.7874
0.8577
-0.0703
+0.0164
-0.0032
W2
0.6085
0.6090
0.5841
0.5977
0.8924
-0.2834
+0.0004
-0.0244
W3
0.5599
0.5699
0.5689
0.5535
0.8916
-0.3216
+0.0100
+0.0090
W4
0.5284
0.5373
0.5602
0.5496
0.8873
-0.3271
+0.0089
+0.0318
W5
0.5138
0.5039
0.5598
0.5426
0.8876
-0.3277
-0.0099
+0.0461
W6
0.5167
0.5008
0.5150
0.5070
0.8867
-0.3700
-0.0159
-0.0017
Tốt nhất ở W1 là 0.787 so với 0.858 cần có — còn thiếu 0.070. Biến cao không mua được +0.016 ở W1 và ~0 ở nơi khác; phi tuyến âm ở W1–W2. W4–W5 có vẻ được +0.03…+0.05 nhưng đó là dao động quanh mức ngẫu nhiên (AUC 0.51–0.56), không có ý nghĩa nghiệp vụ. Đây là giới hạn THÔNG TIN, không phải giới hạn phương pháp.
3. Chốt ngưỡng ngoài mẫu
Điểm số = D1 − ngưỡng EHD địa phương; phát báo khi điểm số ≥ δ. δ là tham số tự do duy nhất, chốt trên năm huấn luyện rồi áp nguyên si sang năm kiểm định. Quy mô vùng theo EXP1: một vùng có EHDE = 1 khi hơn 20% số ô của nó có EHD = 1.
Quy mô VÙNG (EXP1)
Bốn quy tắc chốt δ. Hàng VA là kết quả ngoài mẫu — đó là con số duy nhất đáng tin.
Tuần
Quy tắc
δ
Tập
POD
POFD
FAR
FBI
CSI
EDI
SEDI
nền
W1
csi
-0.35
huấn luyện
0.892
0.450
0.254
1.195
0.685
0.750
0.619
0.5976
W1
csi
-0.35
KIỂM ĐỊNH
0.907
0.474
0.221
1.164
0.722
0.769
0.617
0.6486
W1
fbi
-0.00
huấn luyện
0.802
0.299
0.201
1.003
0.667
0.691
0.661
0.5976
W1
fbi
-0.00
KIỂM ĐỊNH
0.812
0.328
0.179
0.990
0.690
0.686
0.644
0.6486
W1
far
+0.05
huấn luyện
0.785
0.278
0.193
0.972
0.661
0.682
0.664
0.5976
W1
far
+0.05
KIỂM ĐỊNH
0.794
0.310
0.175
0.962
0.680
0.671
0.641
0.6486
W1
box
+0.30
huấn luyện
0.693
0.197
0.161
0.825
0.612
0.632
0.654
0.5976
W1
box
+0.30
KIỂM ĐỊNH
0.695
0.222
0.147
0.815
0.621
0.611
0.629
0.6486
W2
csi
-0.95
huấn luyện
0.857
0.632
0.455
1.570
0.500
0.495
0.350
0.4697
W2
csi
-0.95
KIỂM ĐỊNH
0.865
0.684
0.416
1.480
0.535
0.446
0.294
0.5264
W2
fbi
-0.00
huấn luyện
0.615
0.343
0.387
1.003
0.443
0.375
0.381
0.4697
W2
fbi
-0.00
KIỂM ĐỊNH
0.582
0.396
0.380
0.939
0.429
0.263
0.266
0.5264
W2
far
+4.75
huấn luyện
0.008
0.002
0.179
0.010
0.008
0.146
0.147
0.4697
W2
far
+4.75
KIỂM ĐỊNH
0.004
0.003
0.421
0.007
0.004
0.019
0.019
0.5264
W2
box
không có ngưỡng nào đạt hộp chỉ tiêu trên năm huấn luyện
W3
csi
-1.80
huấn luyện
0.922
0.827
0.506
1.867
0.474
0.400
0.197
0.4668
W3
csi
-1.80
KIỂM ĐỊNH
0.926
0.861
0.457
1.707
0.520
0.326
0.148
0.5244
W3
fbi
-0.00
huấn luyện
0.569
0.375
0.430
0.997
0.398
0.269
0.275
0.4668
W3
fbi
-0.00
KIỂM ĐỊNH
0.527
0.441
0.432
0.928
0.376
0.122
0.123
0.5244
W3
far
+5.30
huấn luyện
0.005
0.001
0.192
0.007
0.005
0.131
0.131
0.4668
W3
far
+5.30
KIỂM ĐỊNH
0.002
0.003
0.571
0.005
0.002
-0.033
-0.033
0.5244
W3
box
không có ngưỡng nào đạt hộp chỉ tiêu trên năm huấn luyện
W4
csi
-3.95
huấn luyện
0.977
0.960
0.525
2.057
0.470
0.283
0.084
0.4705
W4
csi
-3.95
KIỂM ĐỊNH
0.988
0.962
0.471
1.868
0.526
0.534
0.155
0.5224
W4
fbi
-0.00
huấn luyện
0.551
0.395
0.446
0.995
0.381
0.218
0.223
0.4705
W4
fbi
-0.00
KIỂM ĐỊNH
0.501
0.417
0.433
0.882
0.362
0.116
0.120
0.5224
W4
far
+6.00
huấn luyện
0.002
0.001
0.278
0.002
0.002
0.077
0.078
0.4705
W4
far
+6.00
KIỂM ĐỊNH
0.002
0.000
0.200
0.002
0.002
0.091
0.091
0.5224
W4
box
không có ngưỡng nào đạt hộp chỉ tiêu trên năm huấn luyện
W5
csi
-2.70
huấn luyện
0.960
0.910
0.511
1.963
0.479
0.395
0.150
0.4757
W5
csi
-2.70
KIỂM ĐỊNH
0.961
0.953
0.467
1.802
0.522
0.096
0.031
0.5311
W5
fbi
-0.00
huấn luyện
0.549
0.404
0.448
0.995
0.380
0.204
0.208
0.4757
W5
fbi
-0.00
KIỂM ĐỊNH
0.511
0.448
0.437
0.906
0.366
0.088
0.090
0.5311
W5
far
+6.00
huấn luyện
0.002
0.001
0.444
0.003
0.002
0.025
0.025
0.4757
W5
far
+6.00
KIỂM ĐỊNH
0.002
0.002
0.400
0.004
0.002
0.022
0.023
0.5311
W5
box
không có ngưỡng nào đạt hộp chỉ tiêu trên năm huấn luyện
W6
csi
-4.00
huấn luyện
0.974
0.962
0.527
2.061
0.467
0.205
0.061
0.4696
W6
csi
-4.00
KIỂM ĐỊNH
0.983
0.973
0.464
1.835
0.531
0.241
0.064
0.5333
W6
fbi
-0.00
huấn luyện
0.541
0.401
0.455
0.994
0.373
0.197
0.202
0.4696
W6
fbi
-0.00
KIỂM ĐỊNH
0.539
0.456
0.425
0.939
0.386
0.120
0.120
0.5333
W6
far
+6.00
huấn luyện
0.001
0.001
0.524
0.003
0.001
0.002
0.002
0.4696
W6
far
+6.00
KIỂM ĐỊNH
0.001
0.000
0.000
0.001
0.001
0.340
0.340
0.5333
W6
box
không có ngưỡng nào đạt hộp chỉ tiêu trên năm huấn luyện
Quy mô ĐIỂM
Bốn quy tắc chốt δ. Hàng VA là kết quả ngoài mẫu — đó là con số duy nhất đáng tin.
Tuần
Quy tắc
δ
Tập
POD
POFD
FAR
FBI
CSI
EDI
SEDI
nền
W1
csi
-0.45
huấn luyện
0.817
0.413
0.398
1.358
0.530
0.628
0.557
0.4328
W1
csi
-0.45
KIỂM ĐỊNH
0.833
0.439
0.385
1.354
0.548
0.637
0.549
0.4572
W1
fbi
-0.00
huấn luyện
0.673
0.253
0.330
1.004
0.505
0.552
0.567
0.4328
W1
fbi
-0.00
KIỂM ĐỊNH
0.684
0.276
0.324
1.012
0.515
0.544
0.553
0.4572
W1
far
+1.05
huấn luyện
0.302
0.056
0.195
0.376
0.282
0.413
0.442
0.4328
W1
far
+1.05
KIỂM ĐỊNH
0.311
0.069
0.209
0.393
0.288
0.392
0.421
0.4572
W1
box
không có ngưỡng nào đạt hộp chỉ tiêu trên năm huấn luyện
W2
csi
-1.15
huấn luyện
0.791
0.586
0.602
1.990
0.360
0.391
0.306
0.3284
W2
csi
-1.15
KIỂM ĐỊNH
0.795
0.627
0.585
1.913
0.375
0.339
0.255
0.3593
W2
fbi
-0.00
huấn luyện
0.474
0.257
0.526
0.999
0.310
0.290
0.314
0.3284
W2
fbi
-0.00
KIỂM ĐỊNH
0.446
0.283
0.530
0.950
0.297
0.220
0.239
0.3593
W2
far
+6.00
huấn luyện
0.001
0.000
0.322
0.002
0.001
0.101
0.101
0.3284
W2
far
+6.00
KIỂM ĐỊNH
0.001
0.000
0.486
0.001
0.001
0.040
0.040
0.3593
W2
box
không có ngưỡng nào đạt hộp chỉ tiêu trên năm huấn luyện
W3
csi
-1.70
huấn luyện
0.838
0.724
0.642
2.340
0.335
0.294
0.189
0.3251
W3
csi
-1.70
KIỂM ĐỊNH
0.842
0.759
0.619
2.209
0.356
0.230
0.141
0.3570
W3
fbi
-0.00
huấn luyện
0.425
0.274
0.572
0.994
0.271
0.205
0.223
0.3251
W3
fbi
-0.00
KIỂM ĐỊNH
0.396
0.294
0.572
0.925
0.259
0.138
0.151
0.3570
W3
far
+6.00
huấn luyện
0.001
0.000
0.374
0.002
0.001
0.084
0.084
0.3251
W3
far
+6.00
KIỂM ĐỊNH
0.000
0.000
0.739
0.001
0.000
-0.029
-0.029
0.3570
W3
box
không có ngưỡng nào đạt hộp chỉ tiêu trên năm huấn luyện
W4
csi
-2.70
huấn luyện
0.910
0.860
0.660
2.676
0.329
0.231
0.108
0.3275
W4
csi
-2.70
KIỂM ĐỊNH
0.924
0.862
0.627
2.477
0.362
0.306
0.139
0.3570
W4
fbi
-0.00
huấn luyện
0.407
0.283
0.588
0.987
0.258
0.169
0.184
0.3275
W4
fbi
-0.00
KIỂM ĐỊNH
0.368
0.284
0.582
0.880
0.243
0.114
0.126
0.3570
W4
far
+6.00
huấn luyện
0.001
0.000
0.553
0.001
0.001
0.033
0.033
0.3275
W4
far
+6.00
KIỂM ĐỊNH
0.001
0.000
0.387
0.002
0.001
0.071
0.071
0.3570
W4
box
không có ngưỡng nào đạt hộp chỉ tiêu trên năm huấn luyện
W5
csi
-2.70
huấn luyện
0.917
0.861
0.655
2.657
0.335
0.266
0.123
0.3310
W5
csi
-2.70
KIỂM ĐỊNH
0.913
0.886
0.628
2.456
0.359
0.137
0.060
0.3648
W5
fbi
-0.00
huấn luyện
0.402
0.290
0.593
0.988
0.254
0.153
0.167
0.3310
W5
fbi
-0.00
KIỂM ĐỊNH
0.369
0.303
0.588
0.895
0.241
0.090
0.099
0.3648
W5
far
+6.00
huấn luyện
0.001
0.000
0.567
0.002
0.001
0.029
0.029
0.3310
W5
far
+6.00
KIỂM ĐỊNH
0.001
0.001
0.488
0.002
0.001
0.041
0.041
0.3648
W5
box
không có ngưỡng nào đạt hộp chỉ tiêu trên năm huấn luyện
W6
csi
-3.15
huấn luyện
0.930
0.896
0.665
2.778
0.326
0.204
0.085
0.3265
W6
csi
-3.15
KIỂM ĐỊNH
0.934
0.915
0.628
2.508
0.363
0.129
0.051
0.3677
W6
fbi
-0.00
huấn luyện
0.397
0.284
0.596
0.984
0.250
0.153
0.167
0.3265
W6
fbi
-0.00
KIỂM ĐỊNH
0.383
0.320
0.589
0.933
0.247
0.086
0.094
0.3677
W6
far
+6.00
huấn luyện
0.001
0.000
0.624
0.002
0.001
0.014
0.014
0.3265
W6
far
+6.00
KIỂM ĐỊNH
0.001
0.000
0.390
0.001
0.001
0.061
0.061
0.3677
W6
box
không có ngưỡng nào đạt hộp chỉ tiêu trên năm huấn luyện
Ô xanh là vùng đạt POD > 0.6 và POFD < 0.2. Chỉ đường W1 quy mô vùng đi qua nó.
4. Điểm làm việc đề nghị cho W1 theo vùng
Bootstrap khối NĂM, 5000 lần, ngưỡng giữ cố định (khoảng tin cậy 90%)
Chỉ số
δ=+0.30 (quy tắc box)
δ=+0.40 (có biên an toàn)
Chỉ tiêu
POD
0.695 [0.656–0.744]
0.653 [0.610–0.704]
> 0.60
POFD
0.222 [0.194–0.285]
0.185 [0.162–0.238]
< 0.20
FAR
0.147 [0.132–0.176]
0.133 [0.117–0.164]
< 0.20
FBI
0.815 [0.780–0.883]
0.753 [0.717–0.820]
~ 1
CSI
0.621 [0.582–0.659]
0.593 [0.551–0.636]
> 0.40
EDI
0.611 [0.576–0.640]
0.596 [0.555–0.632]
—
SEDI
0.629 [0.590–0.650]
0.626 [0.582–0.653]
—
đạt trọn hộp chỉ tiêu
15.0% số lần
58.7% số lần
—
Từng năm kiểm định tại δ = +0.40
Năm
n init
POD
POFD
FAR
FBI
CSI
2001
336
0.593
0.156
0.141
0.691
0.541
2006
88
0.728
0.330
0.196
0.905
0.619
2009
302
0.691
0.179
0.106
0.773
0.638
gộp
726
0.653
0.185
0.133
0.753
0.593
Hai điều phải cân nhắc trước khi dùng. (1) “FBI ≈ 1” và “POFD < 0.2” mâu thuẫn nhau trên đường cong này. Tại FBI = 1 (δ = 0) thì POFD là 0.328, gấp 1.8 lần chỉ tiêu. Ngược lại điểm đạt chỉ tiêu có FBI 0.75, tức phát báo thiếu 25%. Tôi ưu tiên POFD vì nó là con số định lượng trong bộ chỉ tiêu, còn “FBI ~ 1” nêu định tính — nhưng đây là lựa chọn của người dùng, không phải của tôi. (2) 2006 chi phối đuôi trên của POFD. Năm này chỉ có 88 init (năm flux thưa) và POFD 0.330; một mình nó đẩy bách phân vị 95 của POFD lên 0.238. Ba năm kiểm định là quá ít để bootstrap khối năm cho kết luận chắc — đó là giới hạn của cách chia mẫu, bootstrap không sửa được.
5. Kết luận
Trạng thái so với bộ chỉ tiêu
Sản phẩm
Kết luận
W1, quy mô vùng (EXP1)
ĐẠT tại δ = +0.40: POD 0.653, POFD 0.185, FAR 0.133, CSI 0.593 — ngoài mẫu
W1, quy mô điểm
KHÔNG đạt ở bất kỳ ngưỡng nào
W2–W6, cả hai quy mô
KHÔNG đạt; không tồn tại δ nào cho FAR < 0.2 ngay cả trên năm huấn luyện
Đề nghị. W1 phát báo nhị phân theo vùng ở δ = +0.40. W2–W6 và toàn bộ sản phẩm theo điểm phát dưới dạng trường xác suất đã hiệu chuẩn, kèm ghi rõ trần tín hiệu — vì khoảng cách AUC 0.25–0.36 là giới hạn thông tin của CFS chứ không phải chuyện dò ngưỡng hay đổi lớp mô hình.
Hướng còn lại chưa thử và có cơ sở: dùng bộ phân loại P(EHD) rồi mới gộp vùng, thay vì gộp vùng từ trường tất định D1 — vì mục 1 đã chỉ ra hồi quy giá trị là sai lớp mô hình cho bài toán sự kiện.