--- finalize lgbm_clf / F3 tag=_lgbmF3 --- [weights] out-of-fold base rate 0.0754 raw -> 0.0121 after undoing the thinning [thr] rule A, max weighted CSI : {'W1': 0.6575, 'W2': 0.5507, 'W3': 0.4861, 'W4': 0.4514, 'W5': 0.4511, 'W6': 0.453} [thr] rule B, FBI ~ 1 : {'W1': 0.7084, 'W2': 0.6683, 'W3': 0.6508, 'W4': 0.6418, 'W5': 0.6362, 'W6': 0.6271} [thr] capable frame, FBI ~ 1 : {'W1': 0.7847, 'W2': 0.7312, 'W3': 0.7075, 'W4': 0.6981, 'W5': 0.693, 'W6': 0.6831} daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.533 0.008 0.513 1.093 0.342 0.335 0.980 W2 0.014 0.356 0.010 0.672 1.086 0.206 0.199 0.955 W3 0.014 0.313 0.011 0.726 1.143 0.171 0.164 0.942 W4 0.014 0.301 0.011 0.721 1.080 0.169 0.162 0.943 W5 0.014 0.300 0.011 0.719 1.066 0.170 0.163 0.941 W6 0.013 0.294 0.011 0.736 1.115 0.161 0.155 0.937 ALL 0.014 0.366 0.010 0.667 1.097 0.211 0.204 0.954 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.759 0.083 0.478 1.454 0.447 0.392 0.931 W2 0.106 0.605 0.128 0.639 1.677 0.292 0.225 0.843 W3 0.106 0.537 0.161 0.716 1.891 0.228 0.156 0.782 W4 0.107 0.538 0.154 0.705 1.824 0.235 0.164 0.790 W5 0.106 0.539 0.152 0.704 1.824 0.236 0.166 0.786 W6 0.105 0.511 0.164 0.732 1.904 0.213 0.141 0.753 ALL 0.106 0.597 0.135 0.656 1.735 0.279 0.211 0.834 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.556 0.014 0.327 0.827 0.438 0.419 0.967 W2 0.039 0.413 0.013 0.444 0.743 0.310 0.295 0.952 W3 0.039 0.352 0.015 0.520 0.733 0.255 0.239 0.942 W4 0.039 0.360 0.016 0.527 0.760 0.257 0.241 0.940 W5 0.039 0.384 0.015 0.498 0.764 0.278 0.262 0.940 W6 0.038 0.350 0.016 0.541 0.762 0.248 0.232 0.935 ALL 0.041 0.410 0.015 0.466 0.768 0.302 0.285 0.947 daily_capable_own_fbi1 base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.662 0.053 0.403 1.109 0.458 0.410 0.931 W2 0.106 0.471 0.091 0.618 1.235 0.267 0.208 0.843 W3 0.106 0.424 0.111 0.687 1.356 0.219 0.157 0.782 W4 0.107 0.435 0.100 0.658 1.273 0.237 0.176 0.790 W5 0.106 0.402 0.099 0.676 1.241 0.218 0.158 0.786 W6 0.105 0.383 0.107 0.704 1.296 0.200 0.139 0.753 ALL 0.106 0.480 0.090 0.612 1.239 0.273 0.214 0.834 daily_capable_own_csi base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.728 0.071 0.452 1.329 0.454 0.402 0.931 W2 0.106 0.723 0.191 0.689 2.323 0.278 0.202 0.843 W3 0.106 0.735 0.304 0.777 3.298 0.206 0.120 0.782 W4 0.107 0.791 0.352 0.789 3.740 0.200 0.110 0.790 W5 0.106 0.793 0.346 0.787 3.720 0.202 0.113 0.786 W6 0.105 0.733 0.358 0.806 3.778 0.181 0.092 0.753 ALL 0.106 0.748 0.253 0.740 2.881 0.239 0.157 0.834 daily_all_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.539 0.008 0.516 1.114 0.342 0.336 0.980 W2 0.014 0.349 0.011 0.687 1.115 0.198 0.191 0.955 W3 0.014 0.304 0.012 0.739 1.168 0.163 0.156 0.942 W4 0.014 0.295 0.011 0.737 1.120 0.162 0.155 0.943 W5 0.014 0.283 0.011 0.737 1.076 0.158 0.151 0.941 W6 0.013 0.278 0.011 0.751 1.120 0.151 0.144 0.937 ALL 0.014 0.359 0.010 0.679 1.118 0.204 0.197 0.954 daily_capable_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.663 0.053 0.403 1.110 0.458 0.410 0.931 W2 0.106 0.470 0.091 0.620 1.237 0.266 0.207 0.843 W3 0.106 0.423 0.114 0.693 1.380 0.216 0.153 0.782 W4 0.107 0.425 0.103 0.669 1.283 0.228 0.167 0.790 W5 0.106 0.387 0.103 0.692 1.256 0.207 0.146 0.786 W6 0.105 0.372 0.112 0.718 1.319 0.191 0.129 0.753 ALL 0.106 0.475 0.092 0.621 1.251 0.267 0.208 0.834 daily_all_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.536 0.008 0.511 1.095 0.343 0.337 0.980 W2 0.014 0.355 0.010 0.673 1.083 0.205 0.198 0.955 W3 0.014 0.312 0.011 0.728 1.146 0.170 0.163 0.942 W4 0.014 0.300 0.011 0.725 1.090 0.168 0.161 0.943 W5 0.014 0.297 0.011 0.724 1.078 0.167 0.160 0.941 W6 0.013 0.294 0.011 0.738 1.122 0.161 0.154 0.937 ALL 0.014 0.365 0.010 0.668 1.102 0.210 0.203 0.954 daily_capable_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.661 0.053 0.403 1.107 0.457 0.409 0.931 W2 0.106 0.473 0.091 0.617 1.236 0.268 0.209 0.843 W3 0.106 0.428 0.110 0.684 1.353 0.222 0.160 0.782 W4 0.107 0.435 0.100 0.659 1.275 0.237 0.176 0.790 W5 0.106 0.402 0.101 0.679 1.252 0.217 0.157 0.786 W6 0.105 0.386 0.108 0.705 1.306 0.201 0.139 0.753 ALL 0.106 0.481 0.090 0.612 1.242 0.273 0.215 0.834 by region, mean over W4-W6 region n_evt POD POFD FAR FBI CSI AUC -- daily_capable -- S1 546 0.337 0.157 0.818 1.853 0.134 0.697 S2 336 0.277 0.150 0.847 1.810 0.109 0.664 S3 2136 0.331 0.190 0.849 2.186 0.116 0.673 S4 9138 0.327 0.159 0.831 1.941 0.125 0.675 S5 4440 0.319 0.181 0.781 1.461 0.149 0.663 S6 7873 0.664 0.136 0.607 1.690 0.327 0.838 S7 8867 0.792 0.151 0.607 2.015 0.357 0.884 -- daily_capable_own_region_thr -- S1 546 0.266 0.106 0.793 1.286 0.131 0.697 S2 336 0.208 0.098 0.828 1.211 0.104 0.664 S3 2136 0.251 0.141 0.845 1.624 0.106 0.673 S4 9138 0.259 0.116 0.820 1.438 0.119 0.675 S5 4440 0.211 0.113 0.772 0.927 0.123 0.663 S6 7873 0.498 0.093 0.585 1.199 0.293 0.838 S7 8867 0.583 0.090 0.554 1.308 0.338 0.884 ########## rule A - threshold maximises weighted CSI ########## daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.585 0.010 0.556 1.319 0.338 0.331 0.980 W2 0.014 0.482 0.019 0.740 1.852 0.203 0.195 0.955 W3 0.014 0.481 0.027 0.802 2.431 0.163 0.154 0.942 W4 0.014 0.518 0.030 0.809 2.708 0.162 0.152 0.943 W5 0.014 0.516 0.030 0.807 2.673 0.164 0.154 0.941 W6 0.013 0.464 0.028 0.816 2.513 0.152 0.142 0.937 ALL 0.014 0.515 0.023 0.763 2.168 0.194 0.185 0.954 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.801 0.102 0.518 1.662 0.430 0.370 0.931 W2 0.106 0.754 0.213 0.703 2.542 0.270 0.192 0.843 W3 0.106 0.747 0.318 0.782 3.427 0.203 0.116 0.782 W4 0.107 0.802 0.364 0.792 3.850 0.198 0.108 0.790 W5 0.106 0.806 0.361 0.791 3.856 0.199 0.109 0.786 W6 0.105 0.731 0.356 0.805 3.756 0.182 0.092 0.753 ALL 0.106 0.776 0.270 0.746 3.049 0.237 0.153 0.834 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.606 0.020 0.378 0.974 0.443 0.422 0.967 W2 0.039 0.541 0.026 0.544 1.188 0.329 0.309 0.952 W3 0.039 0.569 0.037 0.620 1.496 0.295 0.273 0.942 W4 0.039 0.593 0.043 0.642 1.660 0.287 0.264 0.940 W5 0.039 0.589 0.042 0.638 1.630 0.289 0.266 0.940 W6 0.038 0.535 0.042 0.661 1.577 0.262 0.239 0.935 ALL 0.041 0.574 0.035 0.590 1.399 0.314 0.292 0.947 [calibration] mean forecast probability 0.0126 vs observed rate 0.0136 [probabilistic] Brier skill score against sample climatology W1 BSS = 0.3134 AUC = 0.980 W2 BSS = 0.1550 AUC = 0.955 W3 BSS = 0.1208 AUC = 0.942 W4 BSS = 0.1240 AUC = 0.943 W5 BSS = 0.1185 AUC = 0.941 W6 BSS = 0.1112 AUC = 0.937 [importance] normalised tree gain, top 25 doy_cos 0.0969 doy_sin 0.0733 lat 0.0716 lon 0.0534 lead 0.0430 h50006 0.0337 t85010 0.0313 h50003 0.0284 h50009 0.0252 h50001 0.0246 t85001 0.0243 h50004 0.0240 t85009 0.0238 h50010 0.0221 t85002 0.0214 h50007 0.0210 t85006 0.0210 t85004 0.0205 h50005 0.0204 t85003 0.0203 t85008 0.0199 t85005 0.0196 h50008 0.0192 z_st100 0.0186 t85007 0.0179 [done] -> /home/tanpv/Progs/claude/HW/outputs/ai_verification_lgbmF3.nc --- finalize mlp / F3 tag=_mlp --- [weights] out-of-fold base rate 0.0754 raw -> 0.0121 after undoing the thinning [thr] rule A, max weighted CSI : {'W1': 0.7485, 'W2': 0.6351, 'W3': 0.5138, 'W4': 0.4937, 'W5': 0.4698, 'W6': 0.4505} [thr] rule B, FBI ~ 1 : {'W1': 0.7988, 'W2': 0.7622, 'W3': 0.726, 'W4': 0.7283, 'W5': 0.721, 'W6': 0.7228} [thr] capable frame, FBI ~ 1 : {'W1': 0.8434, 'W2': 0.8154, 'W3': 0.7793, 'W4': 0.7816, 'W5': 0.776, 'W6': 0.7732} daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.457 0.006 0.498 0.910 0.315 0.309 0.975 W2 0.014 0.299 0.009 0.677 0.925 0.184 0.178 0.944 W3 0.014 0.253 0.010 0.736 0.960 0.148 0.142 0.928 W4 0.014 0.216 0.009 0.748 0.858 0.132 0.126 0.926 W5 0.014 0.242 0.009 0.737 0.921 0.144 0.138 0.925 W6 0.013 0.236 0.011 0.773 1.037 0.131 0.124 0.910 ALL 0.014 0.299 0.009 0.679 0.933 0.183 0.177 0.941 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.652 0.066 0.460 1.209 0.419 0.367 0.918 W2 0.106 0.472 0.098 0.636 1.296 0.259 0.198 0.818 W3 0.106 0.427 0.116 0.696 1.403 0.216 0.152 0.757 W4 0.107 0.370 0.107 0.707 1.262 0.195 0.134 0.756 W5 0.106 0.412 0.115 0.702 1.381 0.209 0.146 0.764 W6 0.105 0.396 0.134 0.742 1.532 0.185 0.119 0.711 ALL 0.106 0.472 0.102 0.646 1.335 0.253 0.192 0.808 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.547 0.017 0.363 0.858 0.417 0.397 0.959 W2 0.039 0.429 0.017 0.489 0.839 0.304 0.287 0.941 W3 0.039 0.357 0.021 0.596 0.884 0.234 0.216 0.925 W4 0.039 0.367 0.020 0.577 0.868 0.245 0.227 0.922 W5 0.039 0.396 0.019 0.547 0.874 0.268 0.251 0.928 W6 0.038 0.363 0.025 0.635 0.995 0.222 0.204 0.911 ALL 0.041 0.416 0.020 0.529 0.885 0.284 0.266 0.933 daily_capable_own_fbi1 base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.581 0.049 0.416 0.994 0.411 0.363 0.918 W2 0.106 0.392 0.072 0.606 0.995 0.245 0.191 0.818 W3 0.106 0.358 0.087 0.672 1.094 0.207 0.150 0.757 W4 0.107 0.291 0.078 0.693 0.947 0.175 0.122 0.756 W5 0.106 0.328 0.085 0.687 1.046 0.191 0.135 0.764 W6 0.105 0.328 0.103 0.727 1.201 0.175 0.116 0.711 ALL 0.106 0.397 0.076 0.618 1.041 0.242 0.187 0.808 daily_capable_own_csi base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.695 0.079 0.489 1.359 0.417 0.362 0.918 W2 0.106 0.607 0.158 0.686 1.933 0.261 0.189 0.818 W3 0.106 0.671 0.278 0.777 3.011 0.201 0.116 0.757 W4 0.107 0.716 0.328 0.793 3.462 0.191 0.103 0.756 W5 0.106 0.752 0.344 0.795 3.663 0.192 0.103 0.764 W6 0.105 0.693 0.388 0.826 3.992 0.161 0.070 0.711 ALL 0.106 0.689 0.246 0.751 2.767 0.224 0.142 0.808 daily_all_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.454 0.006 0.500 0.907 0.312 0.306 0.975 W2 0.014 0.288 0.009 0.696 0.945 0.174 0.167 0.944 W3 0.014 0.244 0.010 0.744 0.952 0.143 0.136 0.928 W4 0.014 0.206 0.009 0.758 0.850 0.125 0.119 0.926 W5 0.014 0.231 0.009 0.745 0.905 0.138 0.132 0.925 W6 0.013 0.225 0.011 0.783 1.034 0.124 0.117 0.910 ALL 0.014 0.290 0.009 0.688 0.930 0.177 0.171 0.941 daily_capable_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.579 0.049 0.415 0.989 0.410 0.363 0.918 W2 0.106 0.387 0.075 0.620 1.018 0.237 0.183 0.818 W3 0.106 0.355 0.088 0.676 1.097 0.204 0.147 0.757 W4 0.107 0.287 0.079 0.696 0.946 0.173 0.120 0.756 W5 0.106 0.328 0.085 0.686 1.044 0.191 0.135 0.764 W6 0.105 0.326 0.104 0.731 1.211 0.173 0.113 0.711 ALL 0.106 0.395 0.077 0.622 1.045 0.239 0.184 0.808 daily_all_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.453 0.006 0.503 0.910 0.310 0.305 0.975 W2 0.014 0.292 0.009 0.681 0.917 0.180 0.174 0.944 W3 0.014 0.252 0.010 0.741 0.972 0.147 0.140 0.928 W4 0.014 0.213 0.009 0.757 0.877 0.128 0.122 0.926 W5 0.014 0.240 0.009 0.740 0.924 0.143 0.136 0.925 W6 0.013 0.232 0.011 0.779 1.050 0.128 0.121 0.910 ALL 0.014 0.295 0.009 0.685 0.939 0.180 0.173 0.941 daily_capable_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.582 0.050 0.418 1.000 0.411 0.363 0.918 W2 0.106 0.387 0.074 0.616 1.006 0.239 0.185 0.818 W3 0.106 0.359 0.088 0.673 1.098 0.206 0.150 0.757 W4 0.107 0.287 0.079 0.697 0.947 0.173 0.119 0.756 W5 0.106 0.329 0.085 0.686 1.046 0.191 0.136 0.764 W6 0.105 0.326 0.103 0.729 1.202 0.174 0.114 0.711 ALL 0.106 0.396 0.077 0.621 1.045 0.240 0.185 0.808 by region, mean over W4-W6 region n_evt POD POFD FAR FBI CSI AUC -- daily_capable -- S1 546 0.137 0.085 0.856 0.956 0.076 0.570 S2 336 0.134 0.073 0.848 0.881 0.077 0.584 S3 2136 0.197 0.121 0.857 1.375 0.090 0.598 S4 9138 0.254 0.136 0.844 1.628 0.107 0.642 S5 4440 0.214 0.131 0.795 1.042 0.117 0.629 S6 7873 0.535 0.105 0.598 1.333 0.298 0.824 S7 8867 0.571 0.105 0.599 1.423 0.308 0.860 -- daily_capable_own_region_thr -- S1 546 0.115 0.074 0.861 0.828 0.067 0.570 S2 336 0.140 0.080 0.854 0.958 0.077 0.584 S3 2136 0.177 0.110 0.858 1.248 0.085 0.598 S4 9138 0.194 0.101 0.841 1.221 0.096 0.642 S5 4440 0.143 0.086 0.792 0.689 0.093 0.629 S6 7873 0.437 0.079 0.578 1.035 0.274 0.824 S7 8867 0.464 0.079 0.578 1.098 0.284 0.860 ########## rule A - threshold maximises weighted CSI ########## daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.525 0.009 0.545 1.154 0.322 0.315 0.975 W2 0.014 0.428 0.017 0.737 1.626 0.195 0.187 0.944 W3 0.014 0.429 0.024 0.805 2.207 0.155 0.145 0.928 W4 0.014 0.417 0.026 0.817 2.278 0.146 0.136 0.926 W5 0.014 0.458 0.028 0.819 2.531 0.149 0.140 0.925 W6 0.013 0.432 0.034 0.852 2.917 0.124 0.114 0.910 ALL 0.014 0.455 0.022 0.776 2.034 0.176 0.168 0.941 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.711 0.084 0.500 1.420 0.416 0.359 0.918 W2 0.106 0.607 0.158 0.686 1.932 0.261 0.189 0.818 W3 0.106 0.614 0.230 0.760 2.555 0.209 0.128 0.757 W4 0.107 0.628 0.251 0.770 2.734 0.202 0.120 0.756 W5 0.106 0.675 0.264 0.768 2.909 0.209 0.126 0.764 W6 0.105 0.632 0.314 0.809 3.300 0.172 0.086 0.711 ALL 0.106 0.650 0.205 0.727 2.381 0.238 0.160 0.808 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.615 0.023 0.418 1.056 0.427 0.405 0.959 W2 0.039 0.561 0.033 0.593 1.378 0.309 0.288 0.941 W3 0.039 0.567 0.053 0.697 1.870 0.246 0.222 0.925 W4 0.039 0.590 0.058 0.708 2.020 0.243 0.218 0.922 W5 0.039 0.644 0.061 0.703 2.166 0.255 0.230 0.928 W6 0.038 0.612 0.077 0.760 2.547 0.209 0.181 0.911 ALL 0.041 0.599 0.051 0.667 1.801 0.272 0.247 0.933 [calibration] mean forecast probability 0.0119 vs observed rate 0.0136 [probabilistic] Brier skill score against sample climatology W1 BSS = 0.2387 AUC = 0.975 W2 BSS = 0.1335 AUC = 0.944 W3 BSS = 0.1001 AUC = 0.928 W4 BSS = 0.0919 AUC = 0.926 W5 BSS = 0.0972 AUC = 0.925 W6 BSS = 0.0807 AUC = 0.910 [done] -> /home/tanpv/Progs/claude/HW/outputs/ai_verification_mlp.nc --- finalize lgbm_clf / F3 tag=_reg --- [weights] out-of-fold base rate 0.0754 raw -> 0.0121 after undoing the thinning [thr] rule A, max weighted CSI : {'W1': 0.5068, 'W2': 0.3894, 'W3': 0.3184, 'W4': 0.2785, 'W5': 0.262, 'W6': 0.2837} [thr] rule B, FBI ~ 1 : {'W1': 0.5987, 'W2': 0.5813, 'W3': 0.5712, 'W4': 0.5683, 'W5': 0.5597, 'W6': 0.5476} [thr] capable frame, FBI ~ 1 : {'W1': 0.674, 'W2': 0.6418, 'W3': 0.6276, 'W4': 0.6225, 'W5': 0.6171, 'W6': 0.6008} daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.514 0.008 0.535 1.105 0.323 0.317 0.979 W2 0.014 0.313 0.011 0.715 1.101 0.175 0.168 0.956 W3 0.014 0.248 0.011 0.769 1.076 0.136 0.129 0.942 W4 0.014 0.242 0.011 0.765 1.030 0.135 0.128 0.942 W5 0.014 0.246 0.011 0.763 1.038 0.138 0.131 0.942 W6 0.013 0.256 0.012 0.770 1.113 0.138 0.131 0.939 ALL 0.014 0.322 0.010 0.702 1.080 0.183 0.176 0.954 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.708 0.080 0.488 1.383 0.423 0.367 0.918 W2 0.106 0.470 0.108 0.659 1.380 0.246 0.184 0.823 W3 0.106 0.371 0.120 0.732 1.382 0.184 0.120 0.748 W4 0.107 0.364 0.117 0.730 1.348 0.183 0.120 0.752 W5 0.106 0.376 0.119 0.729 1.384 0.187 0.123 0.756 W6 0.105 0.387 0.134 0.746 1.522 0.181 0.115 0.727 ALL 0.106 0.469 0.110 0.665 1.398 0.243 0.180 0.810 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.576 0.016 0.343 0.876 0.443 0.423 0.968 W2 0.039 0.455 0.017 0.482 0.878 0.320 0.303 0.956 W3 0.039 0.373 0.020 0.566 0.858 0.251 0.234 0.945 W4 0.039 0.385 0.019 0.554 0.864 0.260 0.243 0.943 W5 0.039 0.389 0.018 0.542 0.849 0.267 0.250 0.945 W6 0.038 0.369 0.022 0.596 0.913 0.239 0.221 0.938 ALL 0.041 0.432 0.019 0.506 0.873 0.300 0.282 0.950 daily_capable_own_fbi1 base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.620 0.059 0.444 1.116 0.414 0.364 0.918 W2 0.106 0.374 0.082 0.649 1.066 0.221 0.165 0.823 W3 0.106 0.292 0.088 0.717 1.032 0.168 0.112 0.748 W4 0.107 0.285 0.086 0.718 1.009 0.165 0.110 0.752 W5 0.106 0.295 0.088 0.716 1.037 0.169 0.113 0.756 W6 0.105 0.318 0.102 0.731 1.181 0.170 0.111 0.727 ALL 0.106 0.386 0.082 0.641 1.077 0.228 0.173 0.810 daily_capable_own_csi base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.741 0.091 0.508 1.506 0.420 0.362 0.918 W2 0.106 0.729 0.217 0.714 2.552 0.258 0.179 0.823 W3 0.106 0.727 0.339 0.797 3.588 0.188 0.100 0.748 W4 0.107 0.748 0.369 0.805 3.841 0.183 0.092 0.752 W5 0.106 0.765 0.360 0.799 3.808 0.189 0.100 0.756 W6 0.105 0.717 0.377 0.817 3.923 0.171 0.080 0.727 ALL 0.106 0.738 0.275 0.758 3.054 0.223 0.139 0.810 daily_all_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.515 0.008 0.540 1.119 0.321 0.315 0.979 W2 0.014 0.305 0.011 0.729 1.125 0.168 0.160 0.956 W3 0.014 0.236 0.012 0.791 1.130 0.125 0.118 0.942 W4 0.014 0.229 0.012 0.788 1.081 0.124 0.117 0.942 W5 0.014 0.242 0.012 0.779 1.092 0.131 0.124 0.942 W6 0.013 0.248 0.013 0.787 1.164 0.129 0.122 0.939 ALL 0.014 0.315 0.011 0.718 1.118 0.175 0.168 0.954 daily_capable_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.623 0.060 0.448 1.129 0.414 0.363 0.918 W2 0.106 0.367 0.086 0.664 1.092 0.213 0.156 0.823 W3 0.106 0.279 0.099 0.750 1.117 0.152 0.093 0.748 W4 0.107 0.273 0.094 0.743 1.065 0.153 0.095 0.752 W5 0.106 0.288 0.097 0.741 1.112 0.158 0.100 0.756 W6 0.105 0.306 0.111 0.755 1.247 0.158 0.097 0.727 ALL 0.106 0.380 0.089 0.663 1.127 0.217 0.160 0.810 daily_all_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.520 0.008 0.535 1.118 0.325 0.319 0.979 W2 0.014 0.311 0.011 0.718 1.104 0.174 0.167 0.956 W3 0.014 0.247 0.012 0.774 1.092 0.134 0.127 0.942 W4 0.014 0.240 0.011 0.771 1.045 0.133 0.126 0.942 W5 0.014 0.248 0.011 0.764 1.052 0.138 0.131 0.942 W6 0.013 0.257 0.012 0.773 1.129 0.137 0.130 0.939 ALL 0.014 0.323 0.011 0.705 1.093 0.182 0.175 0.954 daily_capable_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.628 0.060 0.445 1.132 0.417 0.367 0.918 W2 0.106 0.374 0.084 0.652 1.076 0.220 0.164 0.823 W3 0.106 0.292 0.092 0.727 1.069 0.164 0.107 0.748 W4 0.107 0.279 0.090 0.728 1.029 0.160 0.103 0.752 W5 0.106 0.304 0.091 0.716 1.073 0.172 0.115 0.756 W6 0.105 0.326 0.106 0.734 1.225 0.172 0.111 0.727 ALL 0.106 0.390 0.085 0.646 1.103 0.228 0.171 0.810 by region, mean over W4-W6 region n_evt POD POFD FAR FBI CSI AUC -- daily_capable -- S1 546 0.467 0.254 0.840 2.919 0.135 0.673 S2 336 0.527 0.347 0.871 4.068 0.116 0.624 S3 2136 0.167 0.094 0.846 1.085 0.087 0.648 S4 9138 0.173 0.075 0.814 0.933 0.098 0.668 S5 4440 0.275 0.185 0.809 1.441 0.127 0.605 S6 7873 0.712 0.173 0.647 2.021 0.309 0.826 S7 8867 0.374 0.109 0.703 1.256 0.198 0.814 -- daily_capable_own_region_thr -- S1 546 0.275 0.121 0.809 1.440 0.127 0.673 S2 336 0.217 0.107 0.834 1.307 0.104 0.624 S3 2136 0.275 0.152 0.844 1.758 0.111 0.648 S4 9138 0.238 0.106 0.819 1.315 0.115 0.668 S5 4440 0.162 0.095 0.787 0.760 0.101 0.605 S6 7873 0.448 0.103 0.636 1.230 0.251 0.826 S7 8867 0.271 0.078 0.698 0.899 0.167 0.814 ########## rule A - threshold maximises weighted CSI ########## daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.597 0.012 0.585 1.438 0.324 0.317 0.979 W2 0.014 0.519 0.023 0.765 2.210 0.193 0.184 0.956 W3 0.014 0.514 0.034 0.828 2.985 0.148 0.138 0.942 W4 0.014 0.552 0.040 0.839 3.421 0.143 0.132 0.942 W5 0.014 0.576 0.041 0.839 3.586 0.144 0.133 0.942 W6 0.013 0.521 0.038 0.843 3.313 0.137 0.127 0.939 ALL 0.014 0.551 0.030 0.796 2.704 0.175 0.165 0.954 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.782 0.108 0.538 1.693 0.409 0.348 0.918 W2 0.106 0.729 0.217 0.714 2.552 0.258 0.179 0.823 W3 0.106 0.714 0.326 0.794 3.466 0.190 0.102 0.748 W4 0.107 0.756 0.375 0.806 3.898 0.182 0.091 0.752 W5 0.106 0.790 0.390 0.806 4.082 0.184 0.093 0.756 W6 0.105 0.720 0.380 0.818 3.951 0.170 0.080 0.727 ALL 0.106 0.752 0.283 0.760 3.134 0.222 0.137 0.810 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.648 0.023 0.403 1.085 0.451 0.430 0.968 W2 0.039 0.640 0.037 0.591 1.565 0.332 0.311 0.956 W3 0.039 0.644 0.054 0.674 1.976 0.276 0.252 0.945 W4 0.039 0.686 0.062 0.693 2.233 0.270 0.244 0.943 W5 0.039 0.701 0.063 0.693 2.281 0.272 0.246 0.945 W6 0.038 0.653 0.061 0.702 2.190 0.257 0.232 0.938 ALL 0.041 0.661 0.050 0.642 1.849 0.302 0.278 0.950 [calibration] mean forecast probability 0.0130 vs observed rate 0.0136 [probabilistic] Brier skill score against sample climatology W1 BSS = 0.2631 AUC = 0.979 W2 BSS = 0.1360 AUC = 0.956 W3 BSS = 0.1040 AUC = 0.942 W4 BSS = 0.1041 AUC = 0.942 W5 BSS = 0.1057 AUC = 0.942 W6 BSS = 0.1036 AUC = 0.939 [importance] normalised tree gain, top 25 doy_cos 0.0835 doy_sin 0.0700 lon 0.0356 lat 0.0347 lead 0.0332 t85010 0.0286 h50006 0.0284 h50003 0.0255 h50009 0.0241 t85001 0.0237 h50004 0.0228 z_st100 0.0227 h50001 0.0223 t85009 0.0221 t85004 0.0211 h50007 0.0209 h50005 0.0207 h50010 0.0202 h50008 0.0202 t85006 0.0200 t85003 0.0195 h50002 0.0192 t85007 0.0192 t85008 0.0192 t85002 0.0191 [done] -> /home/tanpv/Progs/claude/HW/outputs/ai_verification_reg.nc --- finalize lgbm_clf / F3 tag=_sea --- [weights] out-of-fold base rate 0.0754 raw -> 0.0121 after undoing the thinning [thr] rule A, max weighted CSI : {'W1': 0.4399, 'W2': 0.3302, 'W3': 0.2627, 'W4': 0.2472, 'W5': 0.2313, 'W6': 0.2451} [thr] rule B, FBI ~ 1 : {'W1': 0.5316, 'W2': 0.4943, 'W3': 0.4801, 'W4': 0.4711, 'W5': 0.4711, 'W6': 0.4541} [thr] capable frame, FBI ~ 1 : {'W1': 0.6176, 'W2': 0.5657, 'W3': 0.5453, 'W4': 0.533, 'W5': 0.53, 'W6': 0.5123} daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.527 0.008 0.535 1.134 0.328 0.321 0.975 W2 0.014 0.330 0.012 0.721 1.181 0.178 0.171 0.951 W3 0.014 0.260 0.012 0.776 1.162 0.137 0.129 0.937 W4 0.014 0.266 0.013 0.775 1.179 0.139 0.132 0.939 W5 0.014 0.252 0.012 0.770 1.095 0.137 0.130 0.936 W6 0.013 0.265 0.012 0.775 1.179 0.139 0.131 0.933 ALL 0.014 0.335 0.011 0.710 1.153 0.184 0.177 0.949 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.752 0.084 0.484 1.457 0.441 0.385 0.924 W2 0.106 0.558 0.130 0.661 1.647 0.267 0.200 0.826 W3 0.106 0.429 0.149 0.746 1.688 0.190 0.120 0.757 W4 0.107 0.445 0.148 0.736 1.686 0.199 0.129 0.770 W5 0.106 0.431 0.139 0.731 1.603 0.198 0.130 0.765 W6 0.105 0.442 0.161 0.755 1.807 0.187 0.116 0.738 ALL 0.106 0.531 0.131 0.675 1.631 0.253 0.186 0.818 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.579 0.018 0.369 0.918 0.432 0.412 0.965 W2 0.039 0.444 0.019 0.520 0.926 0.300 0.283 0.949 W3 0.039 0.382 0.022 0.588 0.927 0.247 0.229 0.937 W4 0.039 0.403 0.023 0.585 0.971 0.257 0.239 0.936 W5 0.039 0.400 0.022 0.584 0.962 0.256 0.238 0.936 W6 0.038 0.380 0.024 0.609 0.973 0.239 0.220 0.931 ALL 0.041 0.439 0.021 0.536 0.945 0.291 0.273 0.944 daily_capable_own_fbi1 base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.674 0.061 0.431 1.184 0.447 0.396 0.924 W2 0.106 0.443 0.097 0.647 1.254 0.244 0.184 0.826 W3 0.106 0.307 0.104 0.740 1.181 0.164 0.104 0.757 W4 0.107 0.326 0.103 0.725 1.188 0.175 0.115 0.770 W5 0.106 0.324 0.102 0.727 1.187 0.174 0.114 0.765 W6 0.105 0.331 0.116 0.750 1.320 0.166 0.104 0.738 ALL 0.106 0.425 0.094 0.651 1.216 0.237 0.178 0.818 daily_capable_own_csi base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.752 0.084 0.484 1.458 0.441 0.385 0.924 W2 0.106 0.700 0.200 0.706 2.379 0.261 0.184 0.826 W3 0.106 0.762 0.361 0.800 3.808 0.188 0.098 0.757 W4 0.107 0.803 0.365 0.792 3.862 0.198 0.107 0.770 W5 0.106 0.803 0.379 0.800 4.003 0.191 0.100 0.765 W6 0.105 0.771 0.387 0.810 4.056 0.180 0.089 0.738 ALL 0.106 0.764 0.277 0.754 3.102 0.229 0.145 0.818 daily_all_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.527 0.009 0.541 1.149 0.325 0.319 0.975 W2 0.014 0.317 0.012 0.738 1.212 0.167 0.160 0.951 W3 0.014 0.241 0.013 0.793 1.166 0.125 0.118 0.937 W4 0.014 0.250 0.013 0.788 1.177 0.130 0.122 0.939 W5 0.014 0.237 0.012 0.786 1.108 0.126 0.119 0.936 W6 0.013 0.248 0.013 0.789 1.175 0.129 0.121 0.933 ALL 0.014 0.323 0.012 0.722 1.163 0.175 0.168 0.949 daily_capable_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.669 0.060 0.431 1.176 0.444 0.394 0.924 W2 0.106 0.444 0.097 0.647 1.256 0.245 0.185 0.826 W3 0.106 0.312 0.103 0.736 1.179 0.167 0.107 0.757 W4 0.107 0.330 0.103 0.722 1.188 0.177 0.117 0.770 W5 0.106 0.321 0.102 0.728 1.182 0.173 0.113 0.765 W6 0.105 0.323 0.117 0.755 1.318 0.162 0.099 0.738 ALL 0.106 0.423 0.094 0.651 1.213 0.236 0.177 0.818 daily_all_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.537 0.008 0.527 1.135 0.336 0.329 0.975 W2 0.014 0.348 0.012 0.706 1.183 0.190 0.183 0.951 W3 0.014 0.297 0.012 0.739 1.138 0.161 0.154 0.937 W4 0.014 0.292 0.012 0.745 1.146 0.158 0.150 0.939 W5 0.014 0.287 0.011 0.736 1.090 0.159 0.152 0.936 W6 0.013 0.291 0.012 0.751 1.171 0.155 0.148 0.933 ALL 0.014 0.359 0.011 0.686 1.143 0.201 0.194 0.949 daily_capable_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.677 0.059 0.424 1.175 0.452 0.402 0.924 W2 0.106 0.473 0.095 0.627 1.267 0.263 0.203 0.826 W3 0.106 0.353 0.097 0.699 1.171 0.194 0.135 0.757 W4 0.107 0.373 0.100 0.691 1.207 0.203 0.143 0.770 W5 0.106 0.364 0.099 0.696 1.200 0.198 0.139 0.765 W6 0.105 0.364 0.111 0.721 1.306 0.188 0.126 0.738 ALL 0.106 0.455 0.090 0.626 1.217 0.258 0.200 0.818 by region, mean over W4-W6 region n_evt POD POFD FAR FBI CSI AUC -- daily_capable -- S1 546 0.288 0.105 0.779 1.302 0.143 0.688 S2 336 0.333 0.127 0.795 1.628 0.145 0.669 S3 2136 0.379 0.194 0.833 2.272 0.131 0.670 S4 9138 0.353 0.156 0.817 1.928 0.137 0.677 S5 4440 0.317 0.187 0.788 1.497 0.146 0.653 S6 7873 0.530 0.138 0.663 1.572 0.260 0.810 S7 8867 0.537 0.127 0.657 1.563 0.265 0.854 -- daily_capable_own_region_thr -- S1 546 0.286 0.105 0.780 1.299 0.142 0.688 S2 336 0.298 0.107 0.786 1.390 0.142 0.669 S3 2136 0.288 0.135 0.820 1.602 0.125 0.670 S4 9138 0.291 0.115 0.800 1.453 0.134 0.677 S5 4440 0.181 0.107 0.789 0.858 0.108 0.653 S6 7873 0.366 0.100 0.674 1.120 0.208 0.810 S7 8867 0.407 0.096 0.655 1.182 0.229 0.854 ########## rule A - threshold maximises weighted CSI ########## daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.613 0.012 0.592 1.500 0.325 0.317 0.975 W2 0.014 0.502 0.024 0.776 2.239 0.183 0.174 0.951 W3 0.014 0.507 0.034 0.831 3.008 0.145 0.135 0.937 W4 0.014 0.545 0.036 0.828 3.178 0.150 0.140 0.939 W5 0.014 0.554 0.038 0.835 3.356 0.146 0.135 0.936 W6 0.013 0.507 0.035 0.834 3.048 0.143 0.133 0.933 ALL 0.014 0.544 0.029 0.792 2.615 0.177 0.168 0.949 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.815 0.115 0.544 1.786 0.414 0.351 0.924 W2 0.106 0.760 0.241 0.727 2.779 0.252 0.170 0.826 W3 0.106 0.763 0.363 0.800 3.819 0.188 0.098 0.757 W4 0.107 0.810 0.374 0.795 3.945 0.196 0.105 0.770 W5 0.106 0.820 0.401 0.805 4.209 0.187 0.095 0.765 W6 0.105 0.770 0.385 0.809 4.039 0.180 0.090 0.738 ALL 0.106 0.792 0.296 0.759 3.285 0.227 0.141 0.818 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.657 0.026 0.429 1.151 0.440 0.417 0.965 W2 0.039 0.616 0.040 0.615 1.601 0.310 0.288 0.949 W3 0.039 0.635 0.054 0.680 1.983 0.270 0.246 0.937 W4 0.039 0.649 0.058 0.687 2.075 0.267 0.242 0.936 W5 0.039 0.677 0.062 0.697 2.230 0.265 0.239 0.936 W6 0.038 0.608 0.058 0.706 2.065 0.247 0.222 0.931 ALL 0.041 0.641 0.050 0.647 1.817 0.295 0.270 0.944 [calibration] mean forecast probability 0.0129 vs observed rate 0.0136 [probabilistic] Brier skill score against sample climatology W1 BSS = 0.2391 AUC = 0.975 W2 BSS = 0.1158 AUC = 0.951 W3 BSS = 0.0759 AUC = 0.937 W4 BSS = 0.0765 AUC = 0.939 W5 BSS = 0.0657 AUC = 0.936 W6 BSS = 0.0773 AUC = 0.933 [importance] normalised tree gain, top 25 doy_cos 0.0667 lat 0.0621 lon 0.0495 doy_sin 0.0370 lead 0.0298 h50006 0.0256 t85010 0.0239 h50003 0.0231 t85001 0.0224 h50009 0.0217 z_st100 0.0206 h50004 0.0205 h50001 0.0203 t85009 0.0198 h50010 0.0197 h50007 0.0194 t85005 0.0185 t85006 0.0185 t85004 0.0185 t85008 0.0184 h50008 0.0182 t85002 0.0178 z_sm100 0.0178 h50005 0.0175 t85003 0.0172 [done] -> /home/tanpv/Progs/claude/HW/outputs/ai_verification_sea.nc --- finalize cnn / MAP tag=_cnn --- [weights] out-of-fold base rate 0.0121 raw -> 0.0121 after undoing the thinning [thr] rule A, max weighted CSI : {'W1': 0.6809, 'W2': 0.5994, 'W3': 0.5376, 'W4': 0.471, 'W5': 0.4242, 'W6': 0.4438} [thr] rule B, FBI ~ 1 : {'W1': 0.7724, 'W2': 0.7602, 'W3': 0.7606, 'W4': 0.7584, 'W5': 0.741, 'W6': 0.7179} [thr] capable frame, FBI ~ 1 : {'W1': 0.7544, 'W2': 0.7442, 'W3': 0.7308, 'W4': 0.7252, 'W5': 0.7009, 'W6': 0.6873} daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.241 0.003 0.508 0.490 0.193 0.188 0.936 W2 0.014 0.168 0.007 0.741 0.647 0.113 0.108 0.908 W3 0.014 0.121 0.007 0.808 0.629 0.080 0.075 0.890 W4 0.014 0.108 0.005 0.756 0.442 0.081 0.077 0.898 W5 0.014 0.085 0.005 0.820 0.472 0.061 0.057 0.894 W6 0.013 0.057 0.005 0.856 0.395 0.043 0.039 0.890 ALL 0.014 0.140 0.005 0.727 0.511 0.102 0.097 0.906 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.308 0.026 0.416 0.527 0.252 0.216 0.835 W2 0.106 0.231 0.043 0.610 0.593 0.170 0.129 0.766 W3 0.106 0.176 0.048 0.695 0.579 0.126 0.086 0.715 W4 0.107 0.150 0.034 0.653 0.432 0.117 0.084 0.711 W5 0.106 0.119 0.040 0.740 0.457 0.089 0.055 0.695 W6 0.105 0.078 0.034 0.785 0.363 0.061 0.032 0.662 ALL 0.106 0.189 0.036 0.619 0.495 0.144 0.109 0.744 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.277 0.008 0.345 0.423 0.242 0.227 0.921 W2 0.039 0.220 0.010 0.537 0.476 0.175 0.163 0.907 W3 0.039 0.201 0.013 0.607 0.511 0.153 0.140 0.892 W4 0.039 0.171 0.009 0.565 0.393 0.140 0.129 0.896 W5 0.039 0.151 0.010 0.626 0.404 0.121 0.110 0.889 W6 0.038 0.129 0.009 0.634 0.353 0.106 0.096 0.890 ALL 0.041 0.196 0.010 0.541 0.427 0.159 0.147 0.900 daily_capable_own_fbi1 base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.333 0.028 0.419 0.573 0.269 0.231 0.835 W2 0.106 0.245 0.046 0.611 0.630 0.177 0.135 0.766 W3 0.106 0.212 0.055 0.685 0.671 0.145 0.101 0.715 W4 0.107 0.191 0.040 0.639 0.529 0.143 0.105 0.711 W5 0.106 0.175 0.049 0.703 0.590 0.124 0.083 0.695 W6 0.105 0.107 0.041 0.765 0.454 0.079 0.045 0.662 ALL 0.106 0.221 0.042 0.615 0.575 0.163 0.124 0.744 daily_capable_own_csi base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.428 0.040 0.438 0.761 0.321 0.277 0.835 W2 0.106 0.444 0.091 0.632 1.208 0.252 0.193 0.766 W3 0.106 0.655 0.360 0.822 3.687 0.163 0.073 0.715 W4 0.107 0.672 0.399 0.833 4.017 0.155 0.062 0.711 W5 0.106 0.676 0.411 0.837 4.148 0.151 0.059 0.695 W6 0.105 0.648 0.441 0.853 4.395 0.136 0.043 0.662 ALL 0.106 0.573 0.268 0.798 2.835 0.176 0.092 0.744 daily_all_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.219 0.003 0.515 0.452 0.178 0.174 0.936 W2 0.014 0.142 0.006 0.765 0.603 0.097 0.092 0.908 W3 0.014 0.093 0.007 0.839 0.574 0.063 0.058 0.890 W4 0.014 0.086 0.005 0.795 0.420 0.065 0.061 0.898 W5 0.014 0.064 0.005 0.859 0.452 0.046 0.042 0.894 W6 0.013 0.047 0.005 0.880 0.395 0.035 0.031 0.890 ALL 0.014 0.118 0.005 0.754 0.480 0.087 0.082 0.906 daily_capable_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.294 0.026 0.425 0.511 0.242 0.206 0.835 W2 0.106 0.192 0.039 0.631 0.520 0.145 0.107 0.766 W3 0.106 0.127 0.044 0.746 0.500 0.093 0.056 0.715 W4 0.107 0.121 0.034 0.703 0.407 0.094 0.062 0.711 W5 0.106 0.094 0.040 0.784 0.434 0.070 0.037 0.695 W6 0.105 0.070 0.034 0.804 0.356 0.054 0.026 0.662 ALL 0.106 0.162 0.035 0.647 0.460 0.125 0.091 0.744 daily_all_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.185 0.005 0.641 0.514 0.139 0.134 0.936 W2 0.014 0.116 0.007 0.809 0.609 0.078 0.073 0.908 W3 0.014 0.059 0.006 0.885 0.515 0.041 0.036 0.890 W4 0.014 0.050 0.004 0.856 0.347 0.039 0.035 0.898 W5 0.014 0.033 0.004 0.890 0.298 0.026 0.023 0.894 W6 0.013 0.027 0.003 0.902 0.279 0.022 0.019 0.890 ALL 0.014 0.088 0.005 0.798 0.435 0.065 0.061 0.906 daily_capable_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.243 0.028 0.489 0.476 0.197 0.163 0.835 W2 0.106 0.165 0.038 0.659 0.485 0.125 0.090 0.766 W3 0.106 0.103 0.042 0.772 0.453 0.076 0.042 0.715 W4 0.107 0.092 0.029 0.728 0.338 0.074 0.046 0.711 W5 0.106 0.071 0.035 0.807 0.365 0.055 0.025 0.695 W6 0.105 0.057 0.031 0.820 0.317 0.045 0.019 0.662 ALL 0.106 0.133 0.033 0.678 0.412 0.104 0.072 0.744 by region, mean over W4-W6 region n_evt POD POFD FAR FBI CSI AUC -- daily_capable -- S1 546 0.020 0.019 0.903 0.207 0.017 0.580 S2 336 0.009 0.006 0.875 0.071 0.008 0.546 S3 2136 0.012 0.004 0.769 0.051 0.011 0.552 S4 9138 0.028 0.012 0.813 0.150 0.025 0.522 S5 4440 0.049 0.010 0.568 0.113 0.046 0.537 S6 7873 0.173 0.046 0.668 0.522 0.128 0.785 S7 8867 0.224 0.080 0.742 0.867 0.136 0.824 -- daily_capable_own_region_thr -- S1 546 0.038 0.028 0.874 0.306 0.030 0.580 S2 336 0.146 0.108 0.883 1.250 0.069 0.546 S3 2136 0.044 0.022 0.828 0.257 0.036 0.552 S4 9138 0.065 0.025 0.798 0.320 0.052 0.522 S5 4440 0.070 0.016 0.590 0.171 0.064 0.537 S6 7873 0.147 0.042 0.681 0.463 0.112 0.785 S7 8867 0.105 0.054 0.807 0.545 0.073 0.824 ########## rule A - threshold maximises weighted CSI ########## daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.345 0.005 0.531 0.735 0.248 0.243 0.936 W2 0.014 0.303 0.012 0.748 1.203 0.159 0.152 0.908 W3 0.014 0.317 0.019 0.813 1.689 0.133 0.125 0.890 W4 0.014 0.388 0.030 0.849 2.569 0.122 0.112 0.898 W5 0.014 0.451 0.044 0.878 3.685 0.107 0.096 0.894 W6 0.013 0.396 0.039 0.877 3.220 0.104 0.093 0.890 ALL 0.014 0.365 0.023 0.823 2.055 0.136 0.126 0.906 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.429 0.040 0.439 0.766 0.321 0.277 0.835 W2 0.106 0.407 0.078 0.616 1.061 0.246 0.191 0.766 W3 0.106 0.445 0.126 0.704 1.504 0.216 0.150 0.715 W4 0.107 0.513 0.201 0.767 2.198 0.191 0.114 0.711 W5 0.106 0.594 0.288 0.804 3.025 0.173 0.088 0.695 W6 0.105 0.536 0.274 0.813 2.867 0.161 0.077 0.662 ALL 0.106 0.482 0.157 0.732 1.802 0.208 0.137 0.744 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.365 0.011 0.370 0.580 0.301 0.283 0.921 W2 0.039 0.356 0.020 0.584 0.856 0.237 0.220 0.907 W3 0.039 0.384 0.034 0.689 1.234 0.208 0.187 0.892 W4 0.039 0.460 0.055 0.746 1.810 0.195 0.171 0.896 W5 0.039 0.510 0.073 0.782 2.336 0.181 0.154 0.889 W6 0.038 0.472 0.065 0.775 2.095 0.180 0.154 0.890 ALL 0.041 0.421 0.043 0.707 1.440 0.209 0.185 0.900 [calibration] mean forecast probability 0.0115 vs observed rate 0.0136 [probabilistic] Brier skill score against sample climatology W1 BSS = 0.1012 AUC = 0.936 W2 BSS = 0.0673 AUC = 0.908 W3 BSS = 0.0515 AUC = 0.890 W4 BSS = 0.0561 AUC = 0.898 W5 BSS = 0.0500 AUC = 0.894 W6 BSS = 0.0450 AUC = 0.890 [done] -> /home/tanpv/Progs/claude/HW/outputs/ai_verification_cnn.nc --- finalize ensemble / F3 tag=_ens --- [weights] out-of-fold base rate 0.0754 raw -> 0.0121 after undoing the thinning [thr] rule A, max weighted CSI : {'W1': 0.9705, 'W2': 0.9469, 'W3': 0.935, 'W4': 0.9295, 'W5': 0.9319, 'W6': 0.9253} [thr] rule B, FBI ~ 1 : {'W1': 0.9774, 'W2': 0.9674, 'W3': 0.9641, 'W4': 0.9633, 'W5': 0.9625, 'W6': 0.9616} [thr] capable frame, FBI ~ 1 : {'W1': 0.987, 'W2': 0.977, 'W3': 0.9737, 'W4': 0.9725, 'W5': 0.972, 'W6': 0.9711} daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.537 0.007 0.501 1.077 0.349 0.343 0.981 W2 0.014 0.360 0.010 0.670 1.089 0.208 0.201 0.956 W3 0.014 0.326 0.011 0.713 1.139 0.180 0.173 0.944 W4 0.014 0.319 0.010 0.702 1.071 0.182 0.175 0.943 W5 0.014 0.326 0.011 0.703 1.101 0.184 0.177 0.943 W6 0.013 0.320 0.011 0.720 1.142 0.176 0.169 0.938 ALL 0.014 0.380 0.010 0.655 1.101 0.221 0.214 0.955 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.761 0.082 0.475 1.448 0.451 0.396 0.933 W2 0.106 0.580 0.119 0.632 1.576 0.291 0.226 0.846 W3 0.106 0.538 0.149 0.700 1.792 0.239 0.169 0.789 W4 0.107 0.551 0.141 0.682 1.731 0.252 0.183 0.795 W5 0.106 0.572 0.147 0.685 1.817 0.255 0.185 0.797 W6 0.105 0.542 0.159 0.713 1.890 0.231 0.160 0.765 ALL 0.106 0.605 0.128 0.641 1.686 0.291 0.224 0.840 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.559 0.014 0.316 0.817 0.444 0.425 0.968 W2 0.039 0.394 0.012 0.437 0.699 0.302 0.287 0.951 W3 0.039 0.334 0.014 0.501 0.669 0.250 0.235 0.941 W4 0.039 0.341 0.013 0.494 0.675 0.256 0.241 0.939 W5 0.039 0.364 0.013 0.476 0.695 0.273 0.258 0.942 W6 0.038 0.338 0.014 0.518 0.700 0.248 0.233 0.934 ALL 0.041 0.396 0.013 0.445 0.714 0.301 0.285 0.947 daily_capable_own_fbi1 base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.664 0.052 0.398 1.104 0.461 0.414 0.933 W2 0.106 0.494 0.083 0.586 1.193 0.291 0.233 0.846 W3 0.106 0.461 0.105 0.657 1.342 0.245 0.183 0.789 W4 0.107 0.469 0.097 0.634 1.283 0.259 0.198 0.795 W5 0.106 0.464 0.101 0.648 1.320 0.250 0.189 0.797 W6 0.105 0.457 0.110 0.672 1.392 0.236 0.173 0.765 ALL 0.106 0.516 0.088 0.590 1.257 0.296 0.238 0.840 daily_capable_own_csi base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.740 0.074 0.457 1.364 0.456 0.402 0.933 W2 0.106 0.673 0.162 0.669 2.037 0.285 0.213 0.846 W3 0.106 0.677 0.253 0.759 2.813 0.216 0.134 0.789 W4 0.107 0.749 0.316 0.779 3.395 0.206 0.118 0.795 W5 0.106 0.733 0.270 0.757 3.018 0.223 0.139 0.797 W6 0.105 0.705 0.324 0.796 3.459 0.188 0.100 0.765 ALL 0.106 0.715 0.219 0.721 2.565 0.251 0.172 0.840 daily_all_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.542 0.008 0.504 1.094 0.350 0.343 0.981 W2 0.014 0.357 0.011 0.688 1.147 0.200 0.193 0.956 W3 0.014 0.322 0.012 0.732 1.203 0.171 0.164 0.944 W4 0.014 0.313 0.011 0.726 1.144 0.171 0.164 0.943 W5 0.014 0.317 0.012 0.726 1.156 0.172 0.165 0.943 W6 0.013 0.311 0.012 0.741 1.198 0.165 0.157 0.938 ALL 0.014 0.376 0.011 0.673 1.151 0.212 0.205 0.955 daily_capable_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.665 0.052 0.398 1.105 0.462 0.414 0.933 W2 0.106 0.500 0.087 0.594 1.234 0.289 0.230 0.846 W3 0.106 0.458 0.113 0.675 1.408 0.235 0.171 0.789 W4 0.107 0.474 0.102 0.644 1.331 0.255 0.193 0.795 W5 0.106 0.460 0.110 0.670 1.392 0.238 0.175 0.797 W6 0.105 0.450 0.122 0.697 1.486 0.221 0.156 0.765 ALL 0.106 0.516 0.094 0.605 1.307 0.288 0.228 0.840 daily_all_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.540 0.007 0.498 1.076 0.351 0.345 0.981 W2 0.014 0.358 0.010 0.672 1.093 0.206 0.200 0.956 W3 0.014 0.324 0.012 0.722 1.165 0.176 0.169 0.944 W4 0.014 0.314 0.011 0.714 1.100 0.176 0.169 0.943 W5 0.014 0.331 0.011 0.709 1.139 0.183 0.176 0.943 W6 0.013 0.323 0.012 0.727 1.181 0.174 0.167 0.938 ALL 0.014 0.380 0.010 0.661 1.121 0.218 0.212 0.955 daily_capable_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.666 0.052 0.398 1.106 0.463 0.415 0.933 W2 0.106 0.490 0.084 0.590 1.195 0.288 0.230 0.846 W3 0.106 0.456 0.107 0.664 1.360 0.240 0.177 0.789 W4 0.107 0.475 0.100 0.639 1.315 0.258 0.197 0.795 W5 0.106 0.468 0.107 0.659 1.372 0.246 0.183 0.797 W6 0.105 0.462 0.117 0.682 1.454 0.232 0.168 0.765 ALL 0.106 0.517 0.091 0.597 1.283 0.293 0.234 0.840 by region, mean over W4-W6 region n_evt POD POFD FAR FBI CSI AUC -- daily_capable -- S1 546 0.269 0.119 0.810 1.414 0.126 0.688 S2 336 0.247 0.112 0.822 1.390 0.115 0.673 S3 2136 0.324 0.174 0.839 2.018 0.120 0.680 S4 9138 0.310 0.141 0.822 1.736 0.128 0.682 S5 4440 0.268 0.130 0.754 1.089 0.147 0.672 S6 7873 0.743 0.146 0.597 1.846 0.353 0.856 S7 8867 0.869 0.167 0.608 2.215 0.370 0.898 -- daily_capable_own_region_thr -- S1 546 0.256 0.110 0.805 1.313 0.125 0.688 S2 336 0.253 0.118 0.826 1.455 0.115 0.673 S3 2136 0.282 0.145 0.834 1.701 0.116 0.680 S4 9138 0.276 0.122 0.817 1.509 0.124 0.682 S5 4440 0.242 0.115 0.751 0.970 0.140 0.672 S6 7873 0.601 0.099 0.554 1.348 0.344 0.856 S7 8867 0.702 0.098 0.529 1.491 0.393 0.898 ########## rule A - threshold maximises weighted CSI ########## daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.589 0.010 0.542 1.285 0.347 0.340 0.981 W2 0.014 0.484 0.018 0.733 1.812 0.208 0.199 0.956 W3 0.014 0.472 0.025 0.794 2.295 0.167 0.158 0.944 W4 0.014 0.503 0.028 0.799 2.500 0.168 0.158 0.943 W5 0.014 0.505 0.026 0.790 2.408 0.174 0.164 0.943 W6 0.013 0.486 0.030 0.818 2.668 0.153 0.143 0.938 ALL 0.014 0.513 0.022 0.754 2.084 0.200 0.191 0.955 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.802 0.100 0.511 1.642 0.436 0.377 0.933 W2 0.106 0.719 0.190 0.690 2.317 0.277 0.201 0.846 W3 0.106 0.703 0.278 0.769 3.047 0.210 0.126 0.789 W4 0.107 0.748 0.313 0.778 3.373 0.206 0.119 0.795 W5 0.106 0.762 0.303 0.770 3.319 0.214 0.128 0.797 W6 0.105 0.723 0.347 0.803 3.674 0.183 0.094 0.765 ALL 0.106 0.748 0.242 0.731 2.785 0.246 0.165 0.840 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.607 0.018 0.360 0.949 0.452 0.432 0.968 W2 0.039 0.527 0.025 0.536 1.136 0.328 0.309 0.951 W3 0.039 0.522 0.034 0.617 1.365 0.284 0.262 0.941 W4 0.039 0.544 0.037 0.628 1.461 0.284 0.262 0.939 W5 0.039 0.551 0.034 0.607 1.402 0.298 0.277 0.942 W6 0.038 0.527 0.041 0.661 1.554 0.260 0.238 0.934 ALL 0.041 0.549 0.032 0.575 1.293 0.315 0.294 0.947 [calibration] mean forecast probability 0.0134 vs observed rate 0.0136 [probabilistic] Brier skill score against sample climatology W1 BSS = 0.3306 AUC = 0.981 W2 BSS = 0.1489 AUC = 0.956 W3 BSS = 0.1271 AUC = 0.944 W4 BSS = 0.1312 AUC = 0.943 W5 BSS = 0.1230 AUC = 0.943 W6 BSS = 0.1236 AUC = 0.938 [done] -> /home/tanpv/Progs/claude/HW/outputs/ai_verification_ens.nc --- html --- map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc map: base_rate map: pod map: pofd map: far map: fbi map: csi map: ets map: auc [done] -> /home/tanpv/Progs/claude/HW/ehd_ai_results.html -rw-r--r-- 1 tanpv staff 7349038 Aug 28 17:20 /home/tanpv/Progs/claude/HW/ehd_ai_results.html === done ===