[ens] '(untagged)': 6633074 out-of-fold rows in the reference distribution [ens] '_lgbmF3': 6633074 out-of-fold rows in the reference distribution [ens] '_mlp': 6633074 out-of-fold rows in the reference distribution [ens] 4 x oof_*.npz -> /home/tanpv/Progs/claude/HW/outputs/AI_Results/shards_ens [ens] 120 x pred_*.npz -> /home/tanpv/Progs/claude/HW/outputs/AI_Results/shards_ens [weights] out-of-fold base rate 0.0754 raw -> 0.0121 after undoing the thinning [thr] rule A, max weighted CSI : {'W1': 0.9516, 'W2': 0.9381, 'W3': 0.9292, 'W4': 0.9188, 'W5': 0.9248, 'W6': 0.9262} [thr] rule B, FBI ~ 1 : {'W1': 0.9614, 'W2': 0.9591, 'W3': 0.9556, 'W4': 0.9555, 'W5': 0.9558, 'W6': 0.9561} [thr] capable frame, FBI ~ 1 : {'W1': 0.9685, 'W2': 0.9691, 'W3': 0.9655, 'W4': 0.9657, 'W5': 0.9661, 'W6': 0.9661} daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.475 0.007 0.529 1.008 0.310 0.303 0.975 W2 0.014 0.360 0.010 0.672 1.098 0.207 0.200 0.950 W3 0.014 0.336 0.011 0.704 1.136 0.187 0.180 0.938 W4 0.014 0.334 0.011 0.695 1.096 0.190 0.183 0.935 W5 0.014 0.342 0.011 0.703 1.152 0.189 0.182 0.938 W6 0.013 0.333 0.011 0.705 1.128 0.186 0.179 0.929 ALL 0.014 0.373 0.010 0.659 1.095 0.217 0.210 0.948 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.616 0.062 0.460 1.141 0.404 0.353 0.911 W2 0.106 0.527 0.096 0.605 1.334 0.291 0.231 0.829 W3 0.106 0.508 0.121 0.668 1.528 0.251 0.186 0.777 W4 0.107 0.518 0.119 0.658 1.516 0.259 0.194 0.780 W5 0.106 0.538 0.129 0.670 1.629 0.257 0.191 0.789 W6 0.105 0.518 0.133 0.685 1.645 0.244 0.177 0.759 ALL 0.106 0.544 0.106 0.621 1.437 0.288 0.225 0.822 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.465 0.013 0.351 0.717 0.371 0.353 0.956 W2 0.039 0.378 0.013 0.467 0.710 0.284 0.269 0.942 W3 0.039 0.328 0.014 0.517 0.680 0.243 0.228 0.931 W4 0.039 0.331 0.013 0.496 0.656 0.250 0.235 0.928 W5 0.039 0.360 0.013 0.483 0.696 0.269 0.254 0.934 W6 0.038 0.336 0.014 0.503 0.676 0.251 0.236 0.923 ALL 0.041 0.371 0.014 0.463 0.690 0.281 0.266 0.937 daily_capable_own_fbi1 base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.572 0.051 0.428 1.001 0.401 0.353 0.911 W2 0.106 0.469 0.074 0.570 1.091 0.289 0.234 0.829 W3 0.106 0.459 0.091 0.627 1.229 0.259 0.200 0.777 W4 0.107 0.453 0.089 0.623 1.201 0.259 0.201 0.780 W5 0.106 0.476 0.099 0.637 1.313 0.259 0.199 0.789 W6 0.105 0.457 0.094 0.636 1.258 0.254 0.195 0.759 ALL 0.106 0.489 0.080 0.581 1.166 0.292 0.235 0.822 daily_capable_own_csi base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.654 0.074 0.487 1.275 0.404 0.350 0.911 W2 0.106 0.628 0.156 0.676 1.939 0.272 0.200 0.829 W3 0.106 0.600 0.202 0.739 2.304 0.222 0.145 0.777 W4 0.107 0.678 0.253 0.757 2.795 0.218 0.135 0.780 W5 0.106 0.700 0.250 0.751 2.815 0.225 0.143 0.789 W6 0.105 0.638 0.240 0.761 2.675 0.210 0.129 0.759 ALL 0.106 0.650 0.185 0.706 2.210 0.254 0.179 0.822 ########## rule A - threshold maximises weighted CSI ########## daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.530 0.010 0.576 1.250 0.308 0.301 0.975 W2 0.014 0.458 0.018 0.738 1.752 0.200 0.191 0.950 W3 0.014 0.433 0.022 0.784 2.006 0.168 0.159 0.938 W4 0.014 0.479 0.026 0.799 2.382 0.165 0.156 0.935 W5 0.014 0.490 0.025 0.789 2.321 0.173 0.164 0.938 W6 0.013 0.459 0.025 0.802 2.320 0.160 0.151 0.929 ALL 0.014 0.479 0.020 0.753 1.939 0.195 0.186 0.948 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.671 0.079 0.499 1.338 0.402 0.346 0.911 W2 0.106 0.617 0.149 0.669 1.865 0.275 0.204 0.829 W3 0.106 0.595 0.195 0.734 2.239 0.225 0.148 0.777 W4 0.107 0.659 0.233 0.748 2.614 0.223 0.142 0.780 W5 0.106 0.671 0.224 0.738 2.563 0.232 0.153 0.789 W6 0.105 0.638 0.239 0.761 2.673 0.210 0.129 0.759 ALL 0.106 0.644 0.177 0.699 2.138 0.258 0.184 0.822 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.523 0.019 0.403 0.876 0.386 0.366 0.956 W2 0.039 0.486 0.024 0.553 1.088 0.304 0.285 0.942 W3 0.039 0.446 0.030 0.625 1.188 0.256 0.236 0.931 W4 0.039 0.497 0.036 0.641 1.384 0.264 0.242 0.928 W5 0.039 0.527 0.032 0.603 1.328 0.293 0.272 0.934 W6 0.038 0.467 0.035 0.651 1.339 0.250 0.228 0.923 ALL 0.041 0.493 0.029 0.584 1.185 0.291 0.270 0.937 [calibration] mean forecast probability 0.0133 vs observed rate 0.0136 [probabilistic] Brier skill score against sample climatology W1 BSS = 0.2884 AUC = 0.975 W2 BSS = 0.1435 AUC = 0.950 W3 BSS = 0.1333 AUC = 0.938 W4 BSS = 0.1317 AUC = 0.935 W5 BSS = 0.1322 AUC = 0.938 W6 BSS = 0.1347 AUC = 0.929 [done] -> /home/tanpv/Progs/claude/HW/outputs/ai_verification_ens.nc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc [done] -> /home/tanpv/Progs/claude/HW/ehd_ai_results.html === done ===