--- finalize (shared with the row pipeline) --- [weights] out-of-fold base rate 0.0121 raw -> 0.0121 after undoing the thinning [thr] rule A, max weighted CSI : {'W1': 0.6809, 'W2': 0.5994, 'W3': 0.5376, 'W4': 0.471, 'W5': 0.4242, 'W6': 0.4438} [thr] rule B, FBI ~ 1 : {'W1': 0.7724, 'W2': 0.7602, 'W3': 0.7606, 'W4': 0.7584, 'W5': 0.741, 'W6': 0.7179} [thr] capable frame, FBI ~ 1 : {'W1': 0.7544, 'W2': 0.7442, 'W3': 0.7308, 'W4': 0.7252, 'W5': 0.7009, 'W6': 0.6873} daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.241 0.003 0.508 0.490 0.193 0.188 0.936 W2 0.014 0.168 0.007 0.741 0.647 0.113 0.108 0.908 W3 0.014 0.121 0.007 0.808 0.629 0.080 0.075 0.890 W4 0.014 0.108 0.005 0.756 0.442 0.081 0.077 0.898 W5 0.014 0.085 0.005 0.820 0.472 0.061 0.057 0.894 W6 0.013 0.057 0.005 0.856 0.395 0.043 0.039 0.890 ALL 0.014 0.140 0.005 0.727 0.511 0.102 0.097 0.906 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.308 0.026 0.416 0.527 0.252 0.216 0.835 W2 0.106 0.231 0.043 0.610 0.593 0.170 0.129 0.766 W3 0.106 0.176 0.048 0.695 0.579 0.126 0.086 0.715 W4 0.107 0.150 0.034 0.653 0.432 0.117 0.084 0.711 W5 0.106 0.119 0.040 0.740 0.457 0.089 0.055 0.695 W6 0.105 0.078 0.034 0.785 0.363 0.061 0.032 0.662 ALL 0.106 0.189 0.036 0.619 0.495 0.144 0.109 0.744 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.277 0.008 0.345 0.423 0.242 0.227 0.921 W2 0.039 0.220 0.010 0.537 0.476 0.175 0.163 0.907 W3 0.039 0.201 0.013 0.607 0.511 0.153 0.140 0.892 W4 0.039 0.171 0.009 0.565 0.393 0.140 0.129 0.896 W5 0.039 0.151 0.010 0.626 0.404 0.121 0.110 0.889 W6 0.038 0.129 0.009 0.634 0.353 0.106 0.096 0.890 ALL 0.041 0.196 0.010 0.541 0.427 0.159 0.147 0.900 daily_capable_own_fbi1 base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.333 0.028 0.419 0.573 0.269 0.231 0.835 W2 0.106 0.245 0.046 0.611 0.630 0.177 0.135 0.766 W3 0.106 0.212 0.055 0.685 0.671 0.145 0.101 0.715 W4 0.107 0.191 0.040 0.639 0.529 0.143 0.105 0.711 W5 0.106 0.175 0.049 0.703 0.590 0.124 0.083 0.695 W6 0.105 0.107 0.041 0.765 0.454 0.079 0.045 0.662 ALL 0.106 0.221 0.042 0.615 0.575 0.163 0.124 0.744 daily_capable_own_csi base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.428 0.040 0.438 0.761 0.321 0.277 0.835 W2 0.106 0.444 0.091 0.632 1.208 0.252 0.193 0.766 W3 0.106 0.655 0.360 0.822 3.687 0.163 0.073 0.715 W4 0.107 0.672 0.399 0.833 4.017 0.155 0.062 0.711 W5 0.106 0.676 0.411 0.837 4.148 0.151 0.059 0.695 W6 0.105 0.648 0.441 0.853 4.395 0.136 0.043 0.662 ALL 0.106 0.573 0.268 0.798 2.835 0.176 0.092 0.744 daily_all_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.219 0.003 0.515 0.452 0.178 0.174 0.936 W2 0.014 0.142 0.006 0.765 0.603 0.097 0.092 0.908 W3 0.014 0.093 0.007 0.839 0.574 0.063 0.058 0.890 W4 0.014 0.086 0.005 0.795 0.420 0.065 0.061 0.898 W5 0.014 0.064 0.005 0.859 0.452 0.046 0.042 0.894 W6 0.013 0.047 0.005 0.880 0.395 0.035 0.031 0.890 ALL 0.014 0.118 0.005 0.754 0.480 0.087 0.082 0.906 daily_capable_by_region base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.294 0.026 0.425 0.511 0.242 0.206 0.835 W2 0.106 0.192 0.039 0.631 0.520 0.145 0.107 0.766 W3 0.106 0.127 0.044 0.746 0.500 0.093 0.056 0.715 W4 0.107 0.121 0.034 0.703 0.407 0.094 0.062 0.711 W5 0.106 0.094 0.040 0.784 0.434 0.070 0.037 0.695 W6 0.105 0.070 0.034 0.804 0.356 0.054 0.026 0.662 ALL 0.106 0.162 0.035 0.647 0.460 0.125 0.091 0.744 daily_all_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.185 0.005 0.641 0.514 0.139 0.134 0.936 W2 0.014 0.116 0.007 0.809 0.609 0.078 0.073 0.908 W3 0.014 0.059 0.006 0.885 0.515 0.041 0.036 0.890 W4 0.014 0.050 0.004 0.856 0.347 0.039 0.035 0.898 W5 0.014 0.033 0.004 0.890 0.298 0.026 0.023 0.894 W6 0.013 0.027 0.003 0.902 0.279 0.022 0.019 0.890 ALL 0.014 0.088 0.005 0.798 0.435 0.065 0.061 0.906 daily_capable_by_season base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.243 0.028 0.489 0.476 0.197 0.163 0.835 W2 0.106 0.165 0.038 0.659 0.485 0.125 0.090 0.766 W3 0.106 0.103 0.042 0.772 0.453 0.076 0.042 0.715 W4 0.107 0.092 0.029 0.728 0.338 0.074 0.046 0.711 W5 0.106 0.071 0.035 0.807 0.365 0.055 0.025 0.695 W6 0.105 0.057 0.031 0.820 0.317 0.045 0.019 0.662 ALL 0.106 0.133 0.033 0.678 0.412 0.104 0.072 0.744 ########## rule A - threshold maximises weighted CSI ########## daily_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.014 0.345 0.005 0.531 0.735 0.248 0.243 0.936 W2 0.014 0.303 0.012 0.748 1.203 0.159 0.152 0.908 W3 0.014 0.317 0.019 0.813 1.689 0.133 0.125 0.890 W4 0.014 0.388 0.030 0.849 2.569 0.122 0.112 0.898 W5 0.014 0.451 0.044 0.878 3.685 0.107 0.096 0.894 W6 0.013 0.396 0.039 0.877 3.220 0.104 0.093 0.890 ALL 0.014 0.365 0.023 0.823 2.055 0.136 0.126 0.906 daily_capable base_rate POD POFD FAR FBI CSI ETS AUC W1 0.106 0.429 0.040 0.439 0.766 0.321 0.277 0.835 W2 0.106 0.407 0.078 0.616 1.061 0.246 0.191 0.766 W3 0.106 0.445 0.126 0.704 1.504 0.216 0.150 0.715 W4 0.107 0.513 0.201 0.767 2.198 0.191 0.114 0.711 W5 0.106 0.594 0.288 0.804 3.025 0.173 0.088 0.695 W6 0.105 0.536 0.274 0.813 2.867 0.161 0.077 0.662 ALL 0.106 0.482 0.157 0.732 1.802 0.208 0.137 0.744 weekly_all base_rate POD POFD FAR FBI CSI ETS AUC W1 0.050 0.365 0.011 0.370 0.580 0.301 0.283 0.921 W2 0.039 0.356 0.020 0.584 0.856 0.237 0.220 0.907 W3 0.039 0.384 0.034 0.689 1.234 0.208 0.187 0.892 W4 0.039 0.460 0.055 0.746 1.810 0.195 0.171 0.896 W5 0.039 0.510 0.073 0.782 2.336 0.181 0.154 0.889 W6 0.038 0.472 0.065 0.775 2.095 0.180 0.154 0.890 ALL 0.041 0.421 0.043 0.707 1.440 0.209 0.185 0.900 [calibration] mean forecast probability 0.0115 vs observed rate 0.0136 [probabilistic] Brier skill score against sample climatology W1 BSS = 0.1012 AUC = 0.936 W2 BSS = 0.0673 AUC = 0.908 W3 BSS = 0.0515 AUC = 0.890 W4 BSS = 0.0561 AUC = 0.898 W5 BSS = 0.0500 AUC = 0.894 W6 BSS = 0.0450 AUC = 0.890 [done] -> /home/tanpv/Progs/claude/HW/outputs/ai_verification_cnn.nc === done ===