[ens] '(untagged)': 6633074 out-of-fold rows in the reference distribution [ens] '_lgbmF3': 6633074 out-of-fold rows in the reference distribution [ens] '_mlp': 6633074 out-of-fold rows in the reference distribution [ens] W1 weights [0.0, 0.8, 0.2] out-of-fold AUC 0.9763 (equal 0.9711) [ens] W2 weights [0.1, 0.8, 0.1] out-of-fold AUC 0.9407 (equal 0.9339) [ens] W3 weights [0.1, 0.8, 0.1] out-of-fold AUC 0.9294 (equal 0.9218) [ens] W4 weights [0.1, 0.8, 0.1] out-of-fold AUC 0.9244 (equal 0.9155) [ens] W5 weights [0.1, 0.8, 0.1] out-of-fold AUC 0.9227 (equal 0.9140) [ens] W6 weights [0.1, 0.8, 0.1] out-of-fold AUC 0.9200 (equal 0.9096) [ens] 4 x oof_*.npz -> /home/tanpv/Progs/claude/HW/outputs/AI_Results/shards_ens [ens] 120 x pred_*.npz -> /home/tanpv/Progs/claude/HW/outputs/AI_Results/shards_ens [weights] out-of-fold base rate 0.0754 raw -> 0.0121 after undoing the thinning [thr] rule A, max weighted CSI : {'W1': 0.9705, 'W2': 0.9469, 'W3': 0.935, 'W4': 0.9295, 'W5': 0.9319, 'W6': 0.9253} [thr] rule B, FBI ~ 1 : {'W1': 0.9774, 'W2': 0.9674, 'W3': 0.9641, 'W4': 0.9633, 'W5': 0.9625, 'W6': 0.9616} [thr] capable frame, FBI ~ 1 : {'W1': 0.987, 'W2': 0.977, 'W3': 0.9737, 'W4': 0.9725, 'W5': 0.972, 'W6': 0.9711} daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.537 0.007 0.501 1.077 0.349 0.343 0.981 W2 0.014 0.360 0.010 0.670 1.089 0.208 0.201 0.956 W3 0.014 0.326 0.011 0.713 1.139 0.180 0.173 0.944 W4 0.014 0.319 0.010 0.702 1.071 0.182 0.175 0.943 W5 0.014 0.326 0.011 0.703 1.101 0.184 0.177 0.943 W6 0.013 0.320 0.011 0.720 1.142 0.176 0.169 0.938 ALL 0.014 0.380 0.010 0.655 1.101 0.221 0.214 0.955 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.761 0.082 0.475 1.448 0.451 0.396 0.933 W2 0.106 0.580 0.119 0.632 1.576 0.291 0.226 0.846 W3 0.106 0.538 0.149 0.700 1.792 0.239 0.169 0.789 W4 0.107 0.551 0.141 0.682 1.731 0.252 0.183 0.795 W5 0.106 0.572 0.147 0.685 1.817 0.255 0.185 0.797 W6 0.105 0.542 0.159 0.713 1.890 0.231 0.160 0.765 ALL 0.106 0.605 0.128 0.641 1.686 0.291 0.224 0.840 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.559 0.014 0.316 0.817 0.444 0.425 0.968 W2 0.039 0.394 0.012 0.437 0.699 0.302 0.287 0.951 W3 0.039 0.334 0.014 0.501 0.669 0.250 0.235 0.941 W4 0.039 0.341 0.013 0.494 0.675 0.256 0.241 0.939 W5 0.039 0.364 0.013 0.476 0.695 0.273 0.258 0.942 W6 0.038 0.338 0.014 0.518 0.700 0.248 0.233 0.934 ALL 0.041 0.396 0.013 0.445 0.714 0.301 0.285 0.947 daily_capable_own_fbi1 base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.664 0.052 0.398 1.104 0.461 0.414 0.933 W2 0.106 0.494 0.083 0.586 1.193 0.291 0.233 0.846 W3 0.106 0.461 0.105 0.657 1.342 0.245 0.183 0.789 W4 0.107 0.469 0.097 0.634 1.283 0.259 0.198 0.795 W5 0.106 0.464 0.101 0.648 1.320 0.250 0.189 0.797 W6 0.105 0.457 0.110 0.672 1.392 0.236 0.173 0.765 ALL 0.106 0.516 0.088 0.590 1.257 0.296 0.238 0.840 daily_capable_own_csi base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.740 0.074 0.457 1.364 0.456 0.402 0.933 W2 0.106 0.673 0.162 0.669 2.037 0.285 0.213 0.846 W3 0.106 0.677 0.253 0.759 2.813 0.216 0.134 0.789 W4 0.107 0.749 0.316 0.779 3.395 0.206 0.118 0.795 W5 0.106 0.733 0.270 0.757 3.018 0.223 0.139 0.797 W6 0.105 0.705 0.324 0.796 3.459 0.188 0.100 0.765 ALL 0.106 0.715 0.219 0.721 2.565 0.251 0.172 0.840 daily_all_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.542 0.008 0.504 1.094 0.350 0.343 0.981 W2 0.014 0.357 0.011 0.688 1.147 0.200 0.193 0.956 W3 0.014 0.322 0.012 0.732 1.203 0.171 0.164 0.944 W4 0.014 0.313 0.011 0.726 1.144 0.171 0.164 0.943 W5 0.014 0.317 0.012 0.726 1.156 0.172 0.165 0.943 W6 0.013 0.311 0.012 0.741 1.198 0.165 0.157 0.938 ALL 0.014 0.376 0.011 0.673 1.151 0.212 0.205 0.955 daily_capable_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.665 0.052 0.398 1.105 0.462 0.414 0.933 W2 0.106 0.500 0.087 0.594 1.234 0.289 0.230 0.846 W3 0.106 0.458 0.113 0.675 1.408 0.235 0.171 0.789 W4 0.107 0.474 0.102 0.644 1.331 0.255 0.193 0.795 W5 0.106 0.460 0.110 0.670 1.392 0.238 0.175 0.797 W6 0.105 0.450 0.122 0.697 1.486 0.221 0.156 0.765 ALL 0.106 0.516 0.094 0.605 1.307 0.288 0.228 0.840 daily_all_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.540 0.007 0.498 1.076 0.351 0.345 0.981 W2 0.014 0.358 0.010 0.672 1.093 0.206 0.200 0.956 W3 0.014 0.324 0.012 0.722 1.165 0.176 0.169 0.944 W4 0.014 0.314 0.011 0.714 1.100 0.176 0.169 0.943 W5 0.014 0.331 0.011 0.709 1.139 0.183 0.176 0.943 W6 0.013 0.323 0.012 0.727 1.181 0.174 0.167 0.938 ALL 0.014 0.380 0.010 0.661 1.121 0.218 0.212 0.955 daily_capable_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.666 0.052 0.398 1.106 0.463 0.415 0.933 W2 0.106 0.490 0.084 0.590 1.195 0.288 0.230 0.846 W3 0.106 0.456 0.107 0.664 1.360 0.240 0.177 0.789 W4 0.107 0.475 0.100 0.639 1.315 0.258 0.197 0.795 W5 0.106 0.468 0.107 0.659 1.372 0.246 0.183 0.797 W6 0.105 0.462 0.117 0.682 1.454 0.232 0.168 0.765 ALL 0.106 0.517 0.091 0.597 1.283 0.293 0.234 0.840 by region, mean over W4-W6 region n_evt POD POFD FAR FBI CSI AUC -- daily_capable -- S1 546 0.269 0.119 0.810 1.414 0.126 0.688 S2 336 0.247 0.112 0.822 1.390 0.115 0.673 S3 2136 0.324 0.174 0.839 2.018 0.120 0.680 S4 9138 0.310 0.141 0.822 1.736 0.128 0.682 S5 4440 0.268 0.130 0.754 1.089 0.147 0.672 S6 7873 0.743 0.146 0.597 1.846 0.353 0.856 S7 8867 0.869 0.167 0.608 2.215 0.370 0.898 -- daily_capable_own_region_thr -- S1 546 0.256 0.110 0.805 1.313 0.125 0.688 S2 336 0.253 0.118 0.826 1.455 0.115 0.673 S3 2136 0.282 0.145 0.834 1.701 0.116 0.680 S4 9138 0.276 0.122 0.817 1.509 0.124 0.682 S5 4440 0.242 0.115 0.751 0.970 0.140 0.672 S6 7873 0.601 0.099 0.554 1.348 0.344 0.856 S7 8867 0.702 0.098 0.529 1.491 0.393 0.898 ########## rule A - threshold maximises weighted CSI ########## daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.589 0.010 0.542 1.285 0.347 0.340 0.981 W2 0.014 0.484 0.018 0.733 1.812 0.208 0.199 0.956 W3 0.014 0.472 0.025 0.794 2.295 0.167 0.158 0.944 W4 0.014 0.503 0.028 0.799 2.500 0.168 0.158 0.943 W5 0.014 0.505 0.026 0.790 2.408 0.174 0.164 0.943 W6 0.013 0.486 0.030 0.818 2.668 0.153 0.143 0.938 ALL 0.014 0.513 0.022 0.754 2.084 0.200 0.191 0.955 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.802 0.100 0.511 1.642 0.436 0.377 0.933 W2 0.106 0.719 0.190 0.690 2.317 0.277 0.201 0.846 W3 0.106 0.703 0.278 0.769 3.047 0.210 0.126 0.789 W4 0.107 0.748 0.313 0.778 3.373 0.206 0.119 0.795 W5 0.106 0.762 0.303 0.770 3.319 0.214 0.128 0.797 W6 0.105 0.723 0.347 0.803 3.674 0.183 0.094 0.765 ALL 0.106 0.748 0.242 0.731 2.785 0.246 0.165 0.840 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.607 0.018 0.360 0.949 0.452 0.432 0.968 W2 0.039 0.527 0.025 0.536 1.136 0.328 0.309 0.951 W3 0.039 0.522 0.034 0.617 1.365 0.284 0.262 0.941 W4 0.039 0.544 0.037 0.628 1.461 0.284 0.262 0.939 W5 0.039 0.551 0.034 0.607 1.402 0.298 0.277 0.942 W6 0.038 0.527 0.041 0.661 1.554 0.260 0.238 0.934 ALL 0.041 0.549 0.032 0.575 1.293 0.315 0.294 0.947 [calibration] mean forecast probability 0.0134 vs observed rate 0.0136 [probabilistic] Brier skill score against sample climatology W1 BSS = 0.3306 AUC = 0.981 W2 BSS = 0.1489 AUC = 0.956 W3 BSS = 0.1271 AUC = 0.944 W4 BSS = 0.1312 AUC = 0.943 W5 BSS = 0.1230 AUC = 0.943 W6 BSS = 0.1236 AUC = 0.938 [done] -> /home/tanpv/Progs/claude/HW/outputs/ai_verification_ens.nc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc [done] -> /home/tanpv/Progs/claude/HW/ehd_ai_results.html === done ===