=== national model: lgbm_clf / F3 tag='_lgbmF3' stratify: none phases: finalize === --- finalize --- [weights] out-of-fold base rate 0.0754 raw -> 0.0121 after undoing the thinning [thr] rule A, max weighted CSI : {'W1': 0.6575, 'W2': 0.5507, 'W3': 0.4861, 'W4': 0.4514, 'W5': 0.4511, 'W6': 0.453} [thr] rule B, FBI ~ 1 : {'W1': 0.7084, 'W2': 0.6683, 'W3': 0.6508, 'W4': 0.6418, 'W5': 0.6362, 'W6': 0.6271} [thr] capable frame, FBI ~ 1 : {'W1': 0.7847, 'W2': 0.7312, 'W3': 0.7075, 'W4': 0.6981, 'W5': 0.693, 'W6': 0.6831} daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.533 0.008 0.513 1.093 0.342 0.335 0.980 W2 0.014 0.356 0.010 0.672 1.086 0.206 0.199 0.955 W3 0.014 0.313 0.011 0.726 1.143 0.171 0.164 0.942 W4 0.014 0.301 0.011 0.721 1.080 0.169 0.162 0.943 W5 0.014 0.300 0.011 0.719 1.066 0.170 0.163 0.941 W6 0.013 0.294 0.011 0.736 1.115 0.161 0.155 0.937 ALL 0.014 0.366 0.010 0.667 1.097 0.211 0.204 0.954 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.759 0.083 0.478 1.454 0.447 0.392 0.931 W2 0.106 0.605 0.128 0.639 1.677 0.292 0.225 0.843 W3 0.106 0.537 0.161 0.716 1.891 0.228 0.156 0.782 W4 0.107 0.538 0.154 0.705 1.824 0.235 0.164 0.790 W5 0.106 0.539 0.152 0.704 1.824 0.236 0.166 0.786 W6 0.105 0.511 0.164 0.732 1.904 0.213 0.141 0.753 ALL 0.106 0.597 0.135 0.656 1.735 0.279 0.211 0.834 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.556 0.014 0.327 0.827 0.438 0.419 0.967 W2 0.039 0.413 0.013 0.444 0.743 0.310 0.295 0.952 W3 0.039 0.352 0.015 0.520 0.733 0.255 0.239 0.942 W4 0.039 0.360 0.016 0.527 0.760 0.257 0.241 0.940 W5 0.039 0.384 0.015 0.498 0.764 0.278 0.262 0.940 W6 0.038 0.350 0.016 0.541 0.762 0.248 0.232 0.935 ALL 0.041 0.410 0.015 0.466 0.768 0.302 0.285 0.947 daily_capable_own_fbi1 base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.662 0.053 0.403 1.109 0.458 0.410 0.931 W2 0.106 0.471 0.091 0.618 1.235 0.267 0.208 0.843 W3 0.106 0.424 0.111 0.687 1.356 0.219 0.157 0.782 W4 0.107 0.435 0.100 0.658 1.273 0.237 0.176 0.790 W5 0.106 0.402 0.099 0.676 1.241 0.218 0.158 0.786 W6 0.105 0.383 0.107 0.704 1.296 0.200 0.139 0.753 ALL 0.106 0.480 0.090 0.612 1.239 0.273 0.214 0.834 daily_capable_own_csi base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.728 0.071 0.452 1.329 0.454 0.402 0.931 W2 0.106 0.723 0.191 0.689 2.323 0.278 0.202 0.843 W3 0.106 0.735 0.304 0.777 3.298 0.206 0.120 0.782 W4 0.107 0.791 0.352 0.789 3.740 0.200 0.110 0.790 W5 0.106 0.793 0.346 0.787 3.720 0.202 0.113 0.786 W6 0.105 0.733 0.358 0.806 3.778 0.181 0.092 0.753 ALL 0.106 0.748 0.253 0.740 2.881 0.239 0.157 0.834 daily_all_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.539 0.008 0.516 1.114 0.342 0.336 0.980 W2 0.014 0.349 0.011 0.687 1.115 0.198 0.191 0.955 W3 0.014 0.304 0.012 0.739 1.168 0.163 0.156 0.942 W4 0.014 0.295 0.011 0.737 1.120 0.162 0.155 0.943 W5 0.014 0.283 0.011 0.737 1.076 0.158 0.151 0.941 W6 0.013 0.278 0.011 0.751 1.120 0.151 0.144 0.937 ALL 0.014 0.359 0.010 0.679 1.118 0.204 0.197 0.954 daily_capable_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.663 0.053 0.403 1.110 0.458 0.410 0.931 W2 0.106 0.470 0.091 0.620 1.237 0.266 0.207 0.843 W3 0.106 0.423 0.114 0.693 1.380 0.216 0.153 0.782 W4 0.107 0.425 0.103 0.669 1.283 0.228 0.167 0.790 W5 0.106 0.387 0.103 0.692 1.256 0.207 0.146 0.786 W6 0.105 0.372 0.112 0.718 1.319 0.191 0.129 0.753 ALL 0.106 0.475 0.092 0.621 1.251 0.267 0.208 0.834 daily_all_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.536 0.008 0.511 1.095 0.343 0.337 0.980 W2 0.014 0.355 0.010 0.673 1.083 0.205 0.198 0.955 W3 0.014 0.312 0.011 0.728 1.146 0.170 0.163 0.942 W4 0.014 0.300 0.011 0.725 1.090 0.168 0.161 0.943 W5 0.014 0.297 0.011 0.724 1.078 0.167 0.160 0.941 W6 0.013 0.294 0.011 0.738 1.122 0.161 0.154 0.937 ALL 0.014 0.365 0.010 0.668 1.102 0.210 0.203 0.954 daily_capable_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.661 0.053 0.403 1.107 0.457 0.409 0.931 W2 0.106 0.473 0.091 0.617 1.236 0.268 0.209 0.843 W3 0.106 0.428 0.110 0.684 1.353 0.222 0.160 0.782 W4 0.107 0.435 0.100 0.659 1.275 0.237 0.176 0.790 W5 0.106 0.402 0.101 0.679 1.252 0.217 0.157 0.786 W6 0.105 0.386 0.108 0.705 1.306 0.201 0.139 0.753 ALL 0.106 0.481 0.090 0.612 1.242 0.273 0.215 0.834 ########## rule A - threshold maximises weighted CSI ########## daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.585 0.010 0.556 1.319 0.338 0.331 0.980 W2 0.014 0.482 0.019 0.740 1.852 0.203 0.195 0.955 W3 0.014 0.481 0.027 0.802 2.431 0.163 0.154 0.942 W4 0.014 0.518 0.030 0.809 2.708 0.162 0.152 0.943 W5 0.014 0.516 0.030 0.807 2.673 0.164 0.154 0.941 W6 0.013 0.464 0.028 0.816 2.513 0.152 0.142 0.937 ALL 0.014 0.515 0.023 0.763 2.168 0.194 0.185 0.954 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.801 0.102 0.518 1.662 0.430 0.370 0.931 W2 0.106 0.754 0.213 0.703 2.542 0.270 0.192 0.843 W3 0.106 0.747 0.318 0.782 3.427 0.203 0.116 0.782 W4 0.107 0.802 0.364 0.792 3.850 0.198 0.108 0.790 W5 0.106 0.806 0.361 0.791 3.856 0.199 0.109 0.786 W6 0.105 0.731 0.356 0.805 3.756 0.182 0.092 0.753 ALL 0.106 0.776 0.270 0.746 3.049 0.237 0.153 0.834 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.606 0.020 0.378 0.974 0.443 0.422 0.967 W2 0.039 0.541 0.026 0.544 1.188 0.329 0.309 0.952 W3 0.039 0.569 0.037 0.620 1.496 0.295 0.273 0.942 W4 0.039 0.593 0.043 0.642 1.660 0.287 0.264 0.940 W5 0.039 0.589 0.042 0.638 1.630 0.289 0.266 0.940 W6 0.038 0.535 0.042 0.661 1.577 0.262 0.239 0.935 ALL 0.041 0.574 0.035 0.590 1.399 0.314 0.292 0.947 [calibration] mean forecast probability 0.0126 vs observed rate 0.0136 [probabilistic] Brier skill score against sample climatology W1 BSS = 0.3134 AUC = 0.980 W2 BSS = 0.1550 AUC = 0.955 W3 BSS = 0.1208 AUC = 0.942 W4 BSS = 0.1240 AUC = 0.943 W5 BSS = 0.1185 AUC = 0.941 W6 BSS = 0.1112 AUC = 0.937 [importance] normalised tree gain, top 25 doy_cos 0.0969 doy_sin 0.0733 lat 0.0716 lon 0.0534 lead 0.0430 h50006 0.0337 t85010 0.0313 h50003 0.0284 h50009 0.0252 h50001 0.0246 t85001 0.0243 h50004 0.0240 t85009 0.0238 h50010 0.0221 t85002 0.0214 h50007 0.0210 t85006 0.0210 t85004 0.0205 h50005 0.0204 t85003 0.0203 t85008 0.0199 t85005 0.0196 h50008 0.0192 z_st100 0.0186 t85007 0.0179 [done] -> /home/tanpv/Progs/claude/HW/outputs/ai_verification_lgbmF3.nc === done ===