[ens] '(untagged)': 9826259 out-of-fold rows in the reference distribution [ens] '_lgbmF3': 9826259 out-of-fold rows in the reference distribution [ens] '_mlp': 9826259 out-of-fold rows in the reference distribution [ens] 4 x oof_*.npz -> /home/tanpv/Progs/claude/HW/outputs/AI_Results/shards_ens [ens] 120 x pred_*.npz -> /home/tanpv/Progs/claude/HW/outputs/AI_Results/shards_ens [ens] 120 x oofpred_*.npz -> /home/tanpv/Progs/claude/HW/outputs/AI_Results/shards_ens [weights] out-of-fold base rate 0.4333 raw -> 0.1029 after undoing the thinning [thr] rule A, max weighted CSI : {'W1': 0.7954, 'W2': 0.6851, 'W3': 0.636, 'W4': 0.6021, 'W5': 0.6153, 'W6': 0.6106} [thr] rule B, FBI ~ 1 : {'W1': 0.8375, 'W2': 0.7874, 'W3': 0.7533, 'W4': 0.7443, 'W5': 0.7463, 'W6': 0.7468} [thr] capable frame, FBI ~ 1 : {'W1': 0.831, 'W2': 0.8295, 'W3': 0.8156, 'W4': 0.8189, 'W5': 0.8253, 'W6': 0.8264} daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.097 0.560 0.046 0.433 0.988 0.392 0.349 0.915 W2 0.097 0.341 0.076 0.677 1.053 0.199 0.148 0.773 W3 0.094 0.278 0.088 0.754 1.131 0.150 0.098 0.705 W4 0.094 0.264 0.093 0.773 1.164 0.139 0.086 0.677 W5 0.093 0.267 0.091 0.768 1.152 0.142 0.090 0.672 W6 0.094 0.250 0.088 0.774 1.103 0.135 0.084 0.656 ALL 0.095 0.349 0.078 0.679 1.088 0.201 0.150 0.767 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.212 0.647 0.075 0.301 0.926 0.506 0.416 0.904 W2 0.212 0.576 0.140 0.475 1.097 0.379 0.266 0.817 W3 0.212 0.578 0.188 0.548 1.279 0.340 0.215 0.778 W4 0.212 0.577 0.211 0.575 1.359 0.324 0.193 0.762 W5 0.211 0.608 0.220 0.575 1.430 0.334 0.202 0.771 W6 0.211 0.601 0.222 0.580 1.431 0.328 0.195 0.749 ALL 0.212 0.602 0.167 0.509 1.225 0.371 0.251 0.812 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.387 0.641 0.099 0.196 0.798 0.554 0.392 0.874 W2 0.297 0.432 0.134 0.424 0.751 0.328 0.191 0.757 W3 0.295 0.343 0.156 0.521 0.716 0.250 0.114 0.686 W4 0.296 0.361 0.161 0.515 0.744 0.261 0.121 0.682 W5 0.295 0.359 0.154 0.507 0.727 0.262 0.125 0.674 W6 0.296 0.326 0.156 0.532 0.696 0.238 0.103 0.655 ALL 0.311 0.422 0.144 0.431 0.741 0.319 0.175 0.733 daily_capable_own_fbi1 base_rate POD POFD FAR FBI CSI ETS AUC W1 0.212 0.658 0.079 0.309 0.951 0.508 0.418 0.904 W2 0.212 0.518 0.111 0.443 0.930 0.367 0.264 0.817 W3 0.212 0.500 0.131 0.494 0.989 0.336 0.228 0.778 W4 0.212 0.492 0.133 0.501 0.986 0.329 0.220 0.762 W5 0.211 0.508 0.134 0.497 1.009 0.338 0.229 0.771 W6 0.211 0.488 0.131 0.500 0.976 0.328 0.220 0.749 ALL 0.212 0.539 0.116 0.445 0.972 0.376 0.271 0.812 daily_capable_own_csi base_rate POD POFD FAR FBI CSI ETS AUC W1 0.212 0.710 0.101 0.347 1.087 0.516 0.419 0.904 W2 0.212 0.632 0.173 0.504 1.274 0.385 0.264 0.817 W3 0.212 0.618 0.223 0.573 1.449 0.338 0.204 0.778 W4 0.212 0.611 0.240 0.593 1.502 0.323 0.186 0.762 W5 0.211 0.628 0.240 0.588 1.525 0.331 0.195 0.771 W6 0.211 0.622 0.245 0.596 1.537 0.325 0.187 0.749 ALL 0.212 0.643 0.195 0.530 1.369 0.373 0.246 0.812 daily_all_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.097 0.562 0.047 0.435 0.994 0.393 0.348 0.915 W2 0.097 0.345 0.080 0.684 1.091 0.197 0.146 0.773 W3 0.094 0.284 0.096 0.765 1.209 0.147 0.094 0.705 W4 0.094 0.265 0.099 0.782 1.218 0.136 0.082 0.677 W5 0.093 0.273 0.093 0.769 1.181 0.143 0.090 0.672 W6 0.094 0.244 0.089 0.780 1.109 0.131 0.079 0.656 ALL 0.095 0.351 0.081 0.687 1.121 0.198 0.147 0.767 daily_capable_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.212 0.664 0.081 0.312 0.965 0.510 0.419 0.904 W2 0.212 0.531 0.115 0.446 0.959 0.372 0.268 0.817 W3 0.212 0.517 0.143 0.507 1.048 0.338 0.225 0.778 W4 0.212 0.514 0.150 0.520 1.070 0.330 0.216 0.762 W5 0.211 0.518 0.147 0.514 1.066 0.335 0.222 0.771 W6 0.211 0.497 0.145 0.521 1.037 0.323 0.210 0.749 ALL 0.212 0.551 0.126 0.459 1.019 0.375 0.268 0.812 daily_all_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.097 0.560 0.046 0.433 0.987 0.392 0.348 0.915 W2 0.097 0.342 0.078 0.681 1.072 0.198 0.146 0.773 W3 0.094 0.277 0.090 0.758 1.147 0.148 0.096 0.705 W4 0.094 0.266 0.098 0.780 1.213 0.137 0.083 0.677 W5 0.093 0.263 0.095 0.778 1.185 0.137 0.084 0.672 W6 0.094 0.246 0.092 0.784 1.136 0.130 0.078 0.656 ALL 0.095 0.348 0.080 0.686 1.110 0.198 0.146 0.767 daily_capable_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.212 0.664 0.080 0.309 0.962 0.512 0.421 0.904 W2 0.212 0.528 0.115 0.447 0.954 0.370 0.266 0.817 W3 0.212 0.512 0.137 0.498 1.020 0.339 0.229 0.778 W4 0.212 0.514 0.148 0.516 1.063 0.332 0.218 0.762 W5 0.211 0.520 0.145 0.510 1.061 0.337 0.225 0.771 W6 0.211 0.504 0.143 0.514 1.037 0.329 0.217 0.749 ALL 0.212 0.551 0.124 0.455 1.012 0.378 0.271 0.812 by region, mean over W4-W6 region n_evt POD POFD FAR FBI CSI AUC -- daily_capable -- S1 845 0.224 0.123 0.764 0.948 0.130 0.646 S2 468 0.239 0.159 0.824 1.361 0.113 0.611 S3 2886 0.336 0.195 0.801 1.692 0.143 0.641 S4 19399 0.429 0.235 0.699 1.427 0.215 0.659 S5 7179 0.472 0.240 0.642 1.317 0.256 0.676 S6 18786 0.678 0.212 0.447 1.227 0.438 0.802 S7 16990 0.817 0.208 0.488 1.596 0.460 0.871 -- daily_capable_own_region_thr -- S1 845 0.199 0.109 0.763 0.838 0.121 0.646 S2 468 0.212 0.119 0.799 1.053 0.115 0.611 S3 2886 0.257 0.142 0.794 1.246 0.129 0.641 S4 19399 0.350 0.173 0.678 1.085 0.201 0.659 S5 7179 0.369 0.172 0.622 0.977 0.230 0.676 S6 18786 0.586 0.127 0.359 0.915 0.441 0.802 S7 16990 0.735 0.124 0.387 1.199 0.502 0.871 ########## rule A - threshold maximises weighted CSI ########## daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.097 0.621 0.062 0.480 1.196 0.395 0.346 0.915 W2 0.097 0.481 0.143 0.736 1.820 0.205 0.141 0.773 W3 0.094 0.435 0.183 0.803 2.204 0.157 0.089 0.705 W4 0.094 0.451 0.229 0.830 2.659 0.141 0.068 0.677 W5 0.093 0.447 0.218 0.826 2.568 0.143 0.072 0.672 W6 0.094 0.432 0.233 0.839 2.691 0.133 0.060 0.656 ALL 0.095 0.492 0.168 0.765 2.093 0.189 0.122 0.767 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.212 0.710 0.101 0.346 1.085 0.516 0.419 0.904 W2 0.212 0.706 0.233 0.551 1.572 0.378 0.243 0.817 W3 0.212 0.719 0.330 0.631 1.947 0.323 0.169 0.778 W4 0.212 0.750 0.393 0.660 2.209 0.305 0.141 0.762 W5 0.211 0.772 0.387 0.652 2.217 0.316 0.154 0.771 W6 0.211 0.753 0.423 0.677 2.334 0.292 0.124 0.749 ALL 0.212 0.733 0.293 0.598 1.823 0.350 0.203 0.812 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.387 0.700 0.136 0.236 0.916 0.576 0.402 0.874 W2 0.297 0.610 0.243 0.485 1.185 0.388 0.211 0.757 W3 0.295 0.557 0.303 0.565 1.282 0.323 0.133 0.686 W4 0.296 0.632 0.362 0.577 1.493 0.339 0.133 0.682 W5 0.295 0.613 0.368 0.589 1.491 0.326 0.120 0.674 W6 0.296 0.607 0.389 0.604 1.532 0.315 0.104 0.655 ALL 0.311 0.624 0.304 0.519 1.297 0.373 0.174 0.733 [calibration] mean forecast probability 0.1015 vs observed rate 0.0950 [probabilistic] Brier skill score against sample climatology W1 BSS = 0.3263 AUC = 0.915 W2 BSS = 0.1088 AUC = 0.773 W3 BSS = 0.0612 AUC = 0.705 W4 BSS = 0.0477 AUC = 0.677 W5 BSS = 0.0443 AUC = 0.672 W6 BSS = 0.0364 AUC = 0.656 [done] -> /home/tanpv/Progs/claude/HW/outputs/ai_verification_ens.nc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc [done] -> /home/tanpv/Progs/claude/HW/ehd_ai_results.html === done ===