[points] 21 testbed points: [9, 17, 84, 107, 160, 173, 214, 237, 247, 307, 315, 322, 370, 374, 392, 394, 404, 410, 439, 457, 480] [regions] [3, 3, 3, 3, 3, 3, 3] [gate wk] yEHDE fraction = 0.3528 [gate reg] yEHDE fraction = 0.2693 === pooled_ensemble (baseline, national model at these points) === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.338 0.078 0.681 1.057 0.196 0.145 0.763 thr_point_week 0.098 0.340 0.080 0.685 1.078 0.196 0.144 0.763 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.245 0.090 0.774 1.084 0.133 0.081 0.661 thr_point_week 0.096 0.248 0.092 0.776 1.108 0.133 0.080 0.661 === F1 | train 1607418 rows | valid 401856 rows | dropped 6/0 non-finite | 7s [point 17] 18 arms, 76544 train rows, base 0.1087, 314s [point 9] 18 arms, 76543 train rows, base 0.0952, 320s [point 307] 18 arms, 76544 train rows, base 0.0986, 331s [point 404] 18 arms, 76544 train rows, base 0.1054, 332s [point 315] 18 arms, 76543 train rows, base 0.1632, 334s [point 247] 18 arms, 76544 train rows, base 0.1453, 335s [point 84] 18 arms, 76544 train rows, base 0.1027, 337s [point 322] 18 arms, 76543 train rows, base 0.1367, 338s [point 173] 18 arms, 76543 train rows, base 0.0945, 339s [point 107] 18 arms, 76544 train rows, base 0.1347, 339s [point 160] 18 arms, 76544 train rows, base 0.0862, 342s [point 370] 18 arms, 76544 train rows, base 0.0998, 342s [point 214] 18 arms, 76543 train rows, base 0.0947, 347s [point 394] 18 arms, 76544 train rows, base 0.0889, 348s [point 237] 18 arms, 76544 train rows, base 0.1084, 351s [point 439] 18 arms, 76544 train rows, base 0.0953, 352s [point 410] 18 arms, 76544 train rows, base 0.0931, 354s [point 457] 18 arms, 76543 train rows, base 0.0949, 357s [point 374] 18 arms, 76544 train rows, base 0.1070, 362s [point 392] 18 arms, 76544 train rows, base 0.0891, 364s [point 480] 18 arms, 76544 train rows, base 0.0965, 189s === F1/lgbm_s/hard_reg_k950 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.322 0.076 0.684 1.021 0.190 0.139 0.746 thr_point_week 0.098 0.321 0.076 0.687 1.025 0.188 0.138 0.746 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.225 0.087 0.784 1.039 0.124 0.073 0.639 thr_point_week 0.096 0.223 0.088 0.786 1.045 0.123 0.071 0.639 === F1/lgbm_s/hard_reg_k990 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.323 0.076 0.683 1.022 0.190 0.140 0.746 thr_point_week 0.098 0.322 0.076 0.685 1.024 0.189 0.139 0.746 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.227 0.086 0.781 1.038 0.125 0.074 0.635 thr_point_week 0.096 0.225 0.087 0.784 1.042 0.124 0.073 0.635 === F1/lgbm_s/hard_reg_k995 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.325 0.076 0.683 1.024 0.191 0.141 0.747 thr_point_week 0.098 0.323 0.076 0.687 1.029 0.189 0.138 0.747 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.227 0.087 0.782 1.041 0.125 0.074 0.636 thr_point_week 0.096 0.224 0.088 0.787 1.049 0.123 0.071 0.636 === F1/lgbm_s/hard_wk_k950 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.325 0.077 0.686 1.035 0.190 0.139 0.746 thr_point_week 0.098 0.323 0.076 0.686 1.029 0.189 0.139 0.746 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.226 0.088 0.784 1.050 0.124 0.073 0.640 thr_point_week 0.096 0.224 0.087 0.785 1.044 0.123 0.072 0.640 === F1/lgbm_s/hard_wk_k990 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.327 0.076 0.683 1.033 0.192 0.141 0.749 thr_point_week 0.098 0.325 0.076 0.685 1.031 0.190 0.139 0.749 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.229 0.087 0.782 1.049 0.126 0.074 0.638 thr_point_week 0.096 0.226 0.088 0.784 1.047 0.124 0.073 0.638 === F1/lgbm_s/hard_wk_k995 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.327 0.076 0.684 1.033 0.191 0.141 0.749 thr_point_week 0.098 0.324 0.077 0.687 1.035 0.189 0.139 0.749 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.228 0.087 0.782 1.044 0.125 0.074 0.637 thr_point_week 0.096 0.225 0.088 0.785 1.046 0.123 0.072 0.637 === F1/lgbm_s/single === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.326 0.076 0.684 1.032 0.191 0.141 0.749 thr_point_week 0.098 0.325 0.076 0.685 1.032 0.190 0.140 0.749 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.229 0.087 0.781 1.047 0.126 0.075 0.637 thr_point_week 0.096 0.227 0.087 0.783 1.048 0.125 0.074 0.637 === F1/lgbm_s/soft_reg === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.332 0.075 0.676 1.024 0.196 0.146 0.758 thr_point_week 0.098 0.333 0.076 0.677 1.033 0.196 0.145 0.758 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.231 0.086 0.777 1.033 0.128 0.077 0.648 thr_point_week 0.096 0.235 0.086 0.775 1.043 0.130 0.079 0.648 === F1/lgbm_s/soft_wk === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.330 0.075 0.679 1.028 0.194 0.144 0.755 thr_point_week 0.098 0.328 0.076 0.682 1.032 0.192 0.142 0.755 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.238 0.087 0.774 1.053 0.131 0.080 0.650 thr_point_week 0.096 0.235 0.087 0.776 1.050 0.130 0.078 0.650 === F1/logreg/hard_reg_k950 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.320 0.076 0.686 1.021 0.188 0.138 0.737 thr_point_week 0.098 0.324 0.076 0.684 1.026 0.190 0.140 0.737 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.242 0.090 0.777 1.085 0.131 0.079 0.661 thr_point_week 0.096 0.244 0.089 0.775 1.082 0.133 0.080 0.661 === F1/logreg/hard_reg_k990 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.317 0.075 0.687 1.013 0.187 0.137 0.737 thr_point_week 0.098 0.323 0.076 0.685 1.024 0.190 0.139 0.737 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.239 0.089 0.778 1.077 0.130 0.078 0.660 thr_point_week 0.096 0.243 0.089 0.776 1.081 0.132 0.080 0.660 === F1/logreg/hard_reg_k995 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.316 0.075 0.687 1.012 0.186 0.136 0.737 thr_point_week 0.098 0.322 0.076 0.685 1.023 0.190 0.139 0.737 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.239 0.089 0.779 1.078 0.130 0.078 0.660 thr_point_week 0.096 0.242 0.089 0.775 1.079 0.132 0.080 0.660 === F1/logreg/hard_wk_k950 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.322 0.075 0.684 1.019 0.190 0.139 0.735 thr_point_week 0.098 0.325 0.075 0.682 1.022 0.191 0.141 0.735 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.244 0.089 0.775 1.083 0.133 0.081 0.661 thr_point_week 0.096 0.246 0.089 0.772 1.078 0.134 0.082 0.661 === F1/logreg/hard_wk_k990 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.318 0.075 0.686 1.014 0.187 0.137 0.737 thr_point_week 0.098 0.322 0.076 0.685 1.022 0.189 0.139 0.737 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.241 0.089 0.777 1.078 0.131 0.079 0.660 thr_point_week 0.096 0.243 0.089 0.775 1.080 0.132 0.080 0.660 === F1/logreg/hard_wk_k995 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.317 0.075 0.687 1.012 0.187 0.137 0.737 thr_point_week 0.098 0.322 0.076 0.685 1.022 0.189 0.139 0.737 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.239 0.089 0.778 1.077 0.130 0.078 0.660 thr_point_week 0.096 0.243 0.089 0.776 1.082 0.132 0.080 0.660 === F1/logreg/single === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.315 0.075 0.688 1.012 0.186 0.136 0.737 thr_point_week 0.098 0.322 0.076 0.686 1.023 0.189 0.139 0.737 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.237 0.090 0.780 1.077 0.129 0.077 0.659 thr_point_week 0.096 0.242 0.089 0.776 1.080 0.132 0.080 0.659 === F1/logreg/soft_reg === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.318 0.076 0.687 1.017 0.187 0.137 0.740 thr_point_week 0.098 0.327 0.078 0.687 1.044 0.191 0.140 0.740 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.242 0.089 0.776 1.078 0.132 0.080 0.662 thr_point_week 0.096 0.247 0.090 0.774 1.095 0.134 0.081 0.662 === F1/logreg/soft_wk === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.313 0.074 0.687 1.000 0.186 0.136 0.737 thr_point_week 0.098 0.320 0.075 0.686 1.017 0.188 0.138 0.737 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.248 0.088 0.769 1.072 0.136 0.084 0.669 thr_point_week 0.096 0.252 0.089 0.767 1.082 0.138 0.085 0.669 === F3 | train 1607418 rows | valid 401856 rows | dropped 6/0 non-finite | 6s [point 17] 18 arms, 76544 train rows, base 0.1087, 391s [point 173] 18 arms, 76543 train rows, base 0.0945, 396s [point 84] 18 arms, 76544 train rows, base 0.1027, 402s [point 315] 18 arms, 76543 train rows, base 0.1632, 405s [point 9] 18 arms, 76543 train rows, base 0.0952, 406s [point 307] 18 arms, 76544 train rows, base 0.0986, 406s [point 107] 18 arms, 76544 train rows, base 0.1347, 409s [point 394] 18 arms, 76544 train rows, base 0.0889, 412s [point 237] 18 arms, 76544 train rows, base 0.1084, 414s [point 247] 18 arms, 76544 train rows, base 0.1453, 415s [point 322] 18 arms, 76543 train rows, base 0.1367, 419s [point 439] 18 arms, 76544 train rows, base 0.0953, 419s [point 214] 18 arms, 76543 train rows, base 0.0947, 427s [point 374] 18 arms, 76544 train rows, base 0.1070, 430s [point 410] 18 arms, 76544 train rows, base 0.0931, 431s [point 160] 18 arms, 76544 train rows, base 0.0862, 432s [point 404] 18 arms, 76544 train rows, base 0.1054, 431s [point 370] 18 arms, 76544 train rows, base 0.0998, 432s [point 457] 18 arms, 76543 train rows, base 0.0949, 432s [point 392] 18 arms, 76544 train rows, base 0.0891, 436s [point 480] 18 arms, 76544 train rows, base 0.0965, 240s === F3/lgbm_s/hard_reg_k950 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.336 0.081 0.692 1.088 0.191 0.139 0.753 thr_point_week 0.098 0.333 0.082 0.694 1.088 0.189 0.137 0.753 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.240 0.092 0.783 1.105 0.129 0.076 0.655 thr_point_week 0.096 0.236 0.093 0.786 1.104 0.126 0.073 0.655 === F3/lgbm_s/hard_reg_k990 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.335 0.082 0.693 1.092 0.191 0.139 0.752 thr_point_week 0.098 0.333 0.082 0.694 1.089 0.190 0.138 0.752 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.240 0.093 0.784 1.111 0.128 0.075 0.649 thr_point_week 0.096 0.238 0.092 0.784 1.105 0.128 0.075 0.649 === F3/lgbm_s/hard_reg_k995 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.336 0.082 0.693 1.093 0.191 0.139 0.753 thr_point_week 0.098 0.334 0.082 0.695 1.093 0.190 0.137 0.753 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.238 0.093 0.785 1.108 0.127 0.075 0.650 thr_point_week 0.096 0.236 0.093 0.786 1.104 0.127 0.074 0.650 === F3/lgbm_s/hard_wk_k950 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.338 0.083 0.695 1.107 0.191 0.138 0.752 thr_point_week 0.098 0.334 0.083 0.696 1.100 0.189 0.137 0.752 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.240 0.095 0.788 1.130 0.127 0.073 0.652 thr_point_week 0.096 0.238 0.094 0.788 1.122 0.126 0.073 0.652 === F3/lgbm_s/hard_wk_k990 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.338 0.082 0.693 1.099 0.192 0.139 0.755 thr_point_week 0.098 0.335 0.082 0.694 1.097 0.190 0.138 0.755 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.238 0.093 0.786 1.111 0.127 0.074 0.651 thr_point_week 0.096 0.236 0.093 0.787 1.108 0.126 0.073 0.651 === F3/lgbm_s/hard_wk_k995 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.336 0.082 0.694 1.096 0.191 0.138 0.754 thr_point_week 0.098 0.333 0.082 0.696 1.095 0.189 0.137 0.754 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.239 0.094 0.786 1.117 0.127 0.074 0.650 thr_point_week 0.096 0.238 0.094 0.787 1.120 0.127 0.073 0.650 === F3/lgbm_s/single === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.335 0.082 0.694 1.093 0.190 0.138 0.754 thr_point_week 0.098 0.334 0.082 0.695 1.097 0.190 0.137 0.754 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.237 0.093 0.787 1.111 0.126 0.073 0.650 thr_point_week 0.096 0.237 0.093 0.787 1.113 0.126 0.073 0.650 === F3/lgbm_s/soft_reg === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.340 0.081 0.687 1.085 0.195 0.143 0.764 thr_point_week 0.098 0.342 0.082 0.690 1.103 0.194 0.142 0.764 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.242 0.091 0.780 1.099 0.130 0.078 0.664 thr_point_week 0.096 0.244 0.093 0.781 1.113 0.130 0.077 0.664 === F3/lgbm_s/soft_wk === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.339 0.083 0.694 1.107 0.192 0.139 0.759 thr_point_week 0.098 0.338 0.084 0.696 1.112 0.190 0.138 0.759 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.247 0.094 0.782 1.134 0.131 0.078 0.664 thr_point_week 0.096 0.246 0.094 0.783 1.131 0.130 0.077 0.664 === F3/logreg/hard_reg_k950 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.333 0.082 0.695 1.093 0.189 0.137 0.744 thr_point_week 0.098 0.335 0.082 0.694 1.096 0.191 0.138 0.744 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.251 0.092 0.775 1.116 0.135 0.082 0.674 thr_point_week 0.096 0.253 0.092 0.774 1.117 0.136 0.083 0.674 === F3/logreg/hard_reg_k990 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.331 0.081 0.692 1.075 0.190 0.138 0.744 thr_point_week 0.098 0.334 0.081 0.693 1.088 0.191 0.139 0.744 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.248 0.091 0.774 1.098 0.134 0.082 0.673 thr_point_week 0.096 0.250 0.091 0.773 1.105 0.135 0.082 0.673 === F3/logreg/hard_reg_k995 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.331 0.081 0.693 1.076 0.189 0.138 0.743 thr_point_week 0.098 0.334 0.081 0.693 1.086 0.190 0.138 0.743 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.248 0.091 0.775 1.101 0.134 0.081 0.672 thr_point_week 0.096 0.249 0.091 0.774 1.102 0.134 0.082 0.672 === F3/logreg/hard_wk_k950 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.337 0.082 0.693 1.096 0.191 0.139 0.743 thr_point_week 0.098 0.336 0.082 0.692 1.093 0.191 0.139 0.743 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.254 0.092 0.772 1.113 0.137 0.084 0.675 thr_point_week 0.096 0.253 0.091 0.771 1.106 0.136 0.084 0.675 === F3/logreg/hard_wk_k990 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.331 0.081 0.693 1.078 0.190 0.138 0.743 thr_point_week 0.098 0.334 0.082 0.693 1.089 0.190 0.138 0.743 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.249 0.091 0.774 1.101 0.134 0.082 0.672 thr_point_week 0.096 0.251 0.091 0.773 1.105 0.135 0.083 0.672 === F3/logreg/hard_wk_k995 === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.330 0.081 0.693 1.076 0.189 0.137 0.743 thr_point_week 0.098 0.333 0.081 0.693 1.086 0.190 0.138 0.743 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.248 0.091 0.775 1.100 0.134 0.081 0.672 thr_point_week 0.096 0.249 0.091 0.774 1.103 0.134 0.082 0.672 === F3/logreg/single === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.329 0.080 0.693 1.073 0.189 0.137 0.743 thr_point_week 0.098 0.334 0.081 0.692 1.084 0.191 0.139 0.743 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.247 0.091 0.775 1.098 0.133 0.081 0.671 thr_point_week 0.096 0.249 0.091 0.774 1.099 0.134 0.082 0.671 === F3/logreg/soft_reg === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.333 0.080 0.691 1.076 0.191 0.139 0.747 thr_point_week 0.098 0.341 0.082 0.691 1.103 0.194 0.141 0.747 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.251 0.090 0.770 1.091 0.136 0.084 0.675 thr_point_week 0.096 0.256 0.091 0.769 1.107 0.138 0.085 0.675 === F3/logreg/soft_wk === daily, all rows base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.098 0.329 0.081 0.695 1.078 0.188 0.136 0.744 thr_point_week 0.098 0.333 0.082 0.694 1.086 0.190 0.138 0.744 W4 onward base_rate POD POFD FAR FBI CSI ETS AUC thr_week 0.096 0.258 0.090 0.765 1.101 0.140 0.088 0.683 thr_point_week 0.096 0.260 0.090 0.764 1.100 0.141 0.089 0.683 [done] -> /home/tanpv/Progs/claude/HW/outputs/AI_Results/pointwise.json === done ===