[ens] '(untagged)': 9826259 out-of-fold rows in the reference distribution [ens] '_lgbmF3': 9826259 out-of-fold rows in the reference distribution [ens] '_mlp': 9826259 out-of-fold rows in the reference distribution [ens] W1 weights [0.0, 0.7, 0.3] out-of-fold AUC 0.9032 (equal 0.8983) [ens] W2 weights [0.3, 0.5, 0.2] out-of-fold AUC 0.7364 (equal 0.7343) [ens] W3 weights [0.4, 0.5, 0.1] out-of-fold AUC 0.6708 (equal 0.6659) [ens] W4 weights [0.4, 0.5, 0.1] out-of-fold AUC 0.6484 (equal 0.6441) [ens] W5 weights [0.4, 0.5, 0.1] out-of-fold AUC 0.6336 (equal 0.6303) [ens] W6 weights [0.4, 0.6, 0.0] out-of-fold AUC 0.6249 (equal 0.6184) [ens] 4 x oof_*.npz -> /home/tanpv/Progs/claude/HW/outputs/AI_Results/shards_ens [ens] 120 x pred_*.npz -> /home/tanpv/Progs/claude/HW/outputs/AI_Results/shards_ens [ens] 120 x oofpred_*.npz -> /home/tanpv/Progs/claude/HW/outputs/AI_Results/shards_ens [weights] out-of-fold base rate 0.4333 raw -> 0.1029 after undoing the thinning [thr] rule A, max weighted CSI : {'W1': 0.8564, 'W2': 0.6888, 'W3': 0.6469, 'W4': 0.624, 'W5': 0.6427, 'W6': 0.6474} [thr] rule B, FBI ~ 1 : {'W1': 0.8816, 'W2': 0.7936, 'W3': 0.7706, 'W4': 0.762, 'W5': 0.7611, 'W6': 0.7798} [thr] capable frame, FBI ~ 1 : {'W1': 0.9123, 'W2': 0.8414, 'W3': 0.8237, 'W4': 0.8302, 'W5': 0.8368, 'W6': 0.8544} daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.097 0.564 0.046 0.428 0.986 0.396 0.352 0.917 W2 0.097 0.334 0.073 0.671 1.018 0.199 0.149 0.773 W3 0.094 0.269 0.086 0.755 1.097 0.147 0.096 0.706 W4 0.094 0.255 0.086 0.765 1.089 0.139 0.089 0.683 W5 0.093 0.268 0.087 0.759 1.112 0.145 0.094 0.674 W6 0.094 0.246 0.083 0.767 1.054 0.136 0.086 0.661 ALL 0.095 0.346 0.074 0.672 1.052 0.203 0.153 0.769 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.212 0.733 0.106 0.349 1.126 0.526 0.428 0.908 W2 0.212 0.601 0.150 0.481 1.157 0.386 0.271 0.820 W3 0.212 0.565 0.184 0.548 1.250 0.336 0.212 0.778 W4 0.212 0.577 0.208 0.572 1.348 0.326 0.196 0.761 W5 0.211 0.614 0.222 0.574 1.443 0.336 0.203 0.770 W6 0.211 0.614 0.226 0.579 1.458 0.333 0.199 0.758 ALL 0.212 0.627 0.176 0.511 1.282 0.379 0.257 0.815 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.387 0.658 0.114 0.215 0.838 0.557 0.390 0.875 W2 0.297 0.415 0.125 0.417 0.711 0.320 0.188 0.756 W3 0.295 0.323 0.140 0.510 0.658 0.242 0.113 0.687 W4 0.296 0.322 0.146 0.519 0.668 0.239 0.108 0.680 W5 0.295 0.332 0.137 0.497 0.660 0.250 0.121 0.673 W6 0.296 0.305 0.137 0.516 0.630 0.230 0.104 0.658 ALL 0.311 0.405 0.134 0.422 0.701 0.313 0.174 0.733 daily_capable_own_fbi1 base_rate POD POFD FAR FBI CSI ETS AUC W1 0.212 0.670 0.077 0.299 0.956 0.521 0.431 0.908 W2 0.212 0.523 0.112 0.442 0.938 0.370 0.267 0.820 W3 0.212 0.508 0.133 0.493 1.002 0.340 0.230 0.778 W4 0.212 0.491 0.133 0.501 0.983 0.329 0.220 0.761 W5 0.211 0.513 0.140 0.505 1.037 0.337 0.226 0.770 W6 0.211 0.496 0.134 0.502 0.996 0.331 0.222 0.758 ALL 0.212 0.545 0.117 0.445 0.983 0.379 0.274 0.815 daily_capable_own_csi base_rate POD POFD FAR FBI CSI ETS AUC W1 0.212 0.718 0.098 0.336 1.081 0.527 0.431 0.908 W2 0.212 0.637 0.173 0.503 1.281 0.387 0.266 0.820 W3 0.212 0.609 0.229 0.583 1.461 0.329 0.194 0.778 W4 0.212 0.617 0.245 0.596 1.526 0.323 0.185 0.761 W5 0.211 0.634 0.243 0.589 1.542 0.333 0.195 0.770 W6 0.211 0.634 0.246 0.592 1.553 0.331 0.193 0.758 ALL 0.212 0.648 0.196 0.530 1.379 0.375 0.248 0.815 daily_all_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.097 0.565 0.046 0.429 0.990 0.397 0.353 0.917 W2 0.097 0.338 0.077 0.680 1.055 0.197 0.146 0.773 W3 0.094 0.273 0.091 0.764 1.156 0.145 0.093 0.706 W4 0.094 0.257 0.093 0.776 1.150 0.136 0.084 0.683 W5 0.093 0.272 0.089 0.761 1.138 0.146 0.094 0.674 W6 0.094 0.242 0.084 0.771 1.057 0.133 0.083 0.661 ALL 0.095 0.347 0.077 0.679 1.081 0.200 0.150 0.769 daily_capable_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.212 0.676 0.078 0.302 0.968 0.523 0.433 0.908 W2 0.212 0.537 0.117 0.448 0.973 0.374 0.269 0.820 W3 0.212 0.518 0.142 0.505 1.046 0.339 0.227 0.778 W4 0.212 0.511 0.149 0.520 1.066 0.329 0.215 0.761 W5 0.211 0.533 0.153 0.517 1.103 0.339 0.224 0.770 W6 0.211 0.506 0.146 0.519 1.052 0.328 0.215 0.758 ALL 0.212 0.558 0.126 0.457 1.029 0.380 0.272 0.815 daily_all_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.097 0.565 0.046 0.429 0.988 0.397 0.353 0.917 W2 0.097 0.334 0.075 0.677 1.035 0.196 0.146 0.773 W3 0.094 0.267 0.086 0.758 1.102 0.145 0.094 0.706 W4 0.094 0.259 0.091 0.773 1.140 0.138 0.086 0.683 W5 0.093 0.266 0.090 0.767 1.143 0.142 0.090 0.674 W6 0.094 0.247 0.089 0.777 1.108 0.133 0.082 0.661 ALL 0.095 0.346 0.077 0.679 1.076 0.200 0.150 0.769 daily_capable_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.212 0.678 0.078 0.299 0.967 0.526 0.436 0.908 W2 0.212 0.532 0.115 0.446 0.960 0.372 0.268 0.820 W3 0.212 0.516 0.136 0.496 1.024 0.342 0.232 0.778 W4 0.212 0.508 0.143 0.511 1.039 0.332 0.220 0.761 W5 0.211 0.534 0.151 0.513 1.098 0.342 0.227 0.770 W6 0.211 0.511 0.145 0.515 1.054 0.331 0.218 0.758 ALL 0.212 0.558 0.124 0.452 1.019 0.382 0.275 0.815 by region, mean over W4-W6 region n_evt POD POFD FAR FBI CSI AUC -- daily_capable -- S1 845 0.314 0.165 0.756 1.283 0.159 0.657 S2 468 0.297 0.185 0.814 1.600 0.129 0.630 S3 2886 0.330 0.200 0.808 1.723 0.138 0.643 S4 19399 0.451 0.244 0.696 1.484 0.222 0.663 S5 7179 0.506 0.251 0.637 1.393 0.268 0.680 S6 18786 0.665 0.199 0.437 1.181 0.438 0.798 S7 16990 0.813 0.199 0.478 1.557 0.466 0.873 -- daily_capable_own_region_thr -- S1 845 0.275 0.130 0.735 1.038 0.156 0.657 S2 468 0.250 0.148 0.807 1.295 0.122 0.630 S3 2886 0.252 0.151 0.807 1.300 0.123 0.643 S4 19399 0.343 0.171 0.678 1.066 0.199 0.663 S5 7179 0.383 0.171 0.611 0.986 0.239 0.680 S6 18786 0.582 0.129 0.365 0.918 0.436 0.798 S7 16990 0.763 0.130 0.389 1.249 0.514 0.873 ########## rule A - threshold maximises weighted CSI ########## daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.097 0.611 0.057 0.465 1.143 0.399 0.352 0.917 W2 0.097 0.480 0.145 0.739 1.837 0.204 0.139 0.773 W3 0.094 0.423 0.181 0.805 2.171 0.154 0.086 0.706 W4 0.094 0.433 0.214 0.827 2.502 0.141 0.070 0.683 W5 0.093 0.430 0.199 0.818 2.366 0.147 0.077 0.674 W6 0.094 0.415 0.212 0.832 2.464 0.136 0.065 0.661 ALL 0.095 0.479 0.159 0.759 1.990 0.191 0.125 0.769 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.212 0.769 0.128 0.383 1.246 0.520 0.416 0.908 W2 0.212 0.737 0.260 0.567 1.703 0.375 0.234 0.820 W3 0.212 0.703 0.322 0.631 1.903 0.320 0.167 0.778 W4 0.212 0.728 0.372 0.655 2.109 0.306 0.145 0.761 W5 0.211 0.756 0.368 0.645 2.130 0.318 0.159 0.770 W6 0.211 0.749 0.411 0.672 2.285 0.295 0.130 0.758 ALL 0.212 0.743 0.294 0.596 1.839 0.354 0.207 0.815 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.387 0.704 0.144 0.245 0.933 0.573 0.396 0.875 W2 0.297 0.600 0.242 0.488 1.174 0.382 0.206 0.756 W3 0.295 0.536 0.290 0.564 1.231 0.317 0.130 0.687 W4 0.296 0.587 0.330 0.572 1.373 0.329 0.131 0.680 W5 0.295 0.561 0.318 0.575 1.321 0.319 0.125 0.673 W6 0.296 0.559 0.341 0.592 1.369 0.309 0.109 0.658 ALL 0.311 0.597 0.281 0.510 1.219 0.368 0.175 0.733 [calibration] mean forecast probability 0.0999 vs observed rate 0.0950 [probabilistic] Brier skill score against sample climatology W1 BSS = 0.3452 AUC = 0.917 W2 BSS = 0.1076 AUC = 0.773 W3 BSS = 0.0628 AUC = 0.706 W4 BSS = 0.0521 AUC = 0.683 W5 BSS = 0.0492 AUC = 0.674 W6 BSS = 0.0415 AUC = 0.661 [done] -> /home/tanpv/Progs/claude/HW/outputs/ai_verification_ens.nc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc [done] -> /home/tanpv/Progs/claude/HW/ehd_ai_results.html === done ===