=== national model: logreg / F1 tag='' phases: finalize === --- finalize --- [weights] out-of-fold base rate 0.0754 raw -> 0.0121 after undoing the thinning [thr] rule A, max weighted CSI : {'W1': 0.8937, 'W2': 0.8879, 'W3': 0.8961, 'W4': 0.8934, 'W5': 0.8843, 'W6': 0.9068} [thr] rule B, FBI ~ 1 : {'W1': 0.909, 'W2': 0.9184, 'W3': 0.9222, 'W4': 0.9325, 'W5': 0.9381, 'W6': 0.9453} daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.371 0.009 0.625 0.989 0.229 0.223 0.928 W2 0.014 0.317 0.012 0.725 1.153 0.173 0.166 0.902 W3 0.014 0.304 0.012 0.749 1.211 0.159 0.152 0.888 W4 0.014 0.312 0.012 0.735 1.178 0.168 0.160 0.880 W5 0.014 0.313 0.014 0.765 1.332 0.155 0.147 0.890 W6 0.013 0.294 0.013 0.764 1.244 0.151 0.143 0.878 ALL 0.014 0.323 0.012 0.723 1.167 0.175 0.168 0.897 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.446 0.040 0.432 0.786 0.333 0.289 0.825 W2 0.106 0.403 0.059 0.552 0.900 0.269 0.219 0.770 W3 0.106 0.396 0.067 0.587 0.960 0.253 0.201 0.732 W4 0.107 0.400 0.064 0.575 0.940 0.260 0.208 0.736 W5 0.106 0.402 0.070 0.595 0.995 0.253 0.200 0.751 W6 0.105 0.378 0.062 0.584 0.909 0.247 0.197 0.731 ALL 0.106 0.408 0.059 0.548 0.904 0.273 0.223 0.762 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.337 0.014 0.433 0.596 0.268 0.250 0.902 W2 0.039 0.309 0.016 0.569 0.717 0.220 0.204 0.892 W3 0.039 0.292 0.020 0.626 0.781 0.196 0.179 0.880 W4 0.039 0.283 0.018 0.611 0.729 0.196 0.180 0.870 W5 0.039 0.305 0.020 0.623 0.809 0.203 0.186 0.882 W6 0.038 0.280 0.019 0.634 0.764 0.189 0.172 0.869 ALL 0.041 0.303 0.018 0.583 0.726 0.213 0.196 0.882 ########## rule A - threshold maximises weighted CSI ########## daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.411 0.011 0.661 1.210 0.228 0.221 0.928 W2 0.014 0.380 0.018 0.770 1.651 0.167 0.159 0.902 W3 0.014 0.353 0.018 0.791 1.687 0.151 0.143 0.888 W4 0.014 0.384 0.022 0.804 1.954 0.149 0.140 0.880 W5 0.014 0.420 0.030 0.837 2.575 0.133 0.123 0.890 W6 0.013 0.392 0.024 0.820 2.175 0.141 0.132 0.878 ALL 0.014 0.392 0.020 0.784 1.817 0.162 0.153 0.897 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.489 0.050 0.465 0.914 0.343 0.295 0.825 W2 0.106 0.466 0.078 0.584 1.121 0.282 0.226 0.770 W3 0.106 0.445 0.088 0.624 1.184 0.256 0.198 0.732 W4 0.107 0.476 0.102 0.643 1.332 0.256 0.195 0.736 W5 0.106 0.515 0.124 0.670 1.563 0.252 0.186 0.751 W6 0.105 0.492 0.102 0.637 1.355 0.264 0.203 0.731 ALL 0.106 0.481 0.087 0.604 1.216 0.278 0.219 0.762 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.373 0.018 0.483 0.721 0.277 0.256 0.902 W2 0.039 0.379 0.026 0.627 1.015 0.231 0.212 0.892 W3 0.039 0.336 0.028 0.674 1.030 0.198 0.179 0.880 W4 0.039 0.366 0.032 0.683 1.155 0.205 0.184 0.870 W5 0.039 0.422 0.043 0.718 1.499 0.203 0.181 0.882 W6 0.038 0.356 0.034 0.704 1.206 0.193 0.172 0.869 ALL 0.041 0.372 0.030 0.657 1.085 0.217 0.196 0.882 [calibration] mean forecast probability 0.0120 vs observed rate 0.0136 [probabilistic] Brier skill score against sample climatology W1 BSS = 0.1283 AUC = 0.928 W2 BSS = 0.0975 AUC = 0.902 W3 BSS = 0.0930 AUC = 0.888 W4 BSS = 0.1055 AUC = 0.880 W5 BSS = 0.0841 AUC = 0.890 W6 BSS = 0.0751 AUC = 0.878 [done] -> /home/tanpv/Progs/claude/HW/outputs/ai_verification.nc === done ===