Last dimension | Dimension = 2 | Next dimension
| Δ fopt f101, 2-D |
1e1 2.0 |
1e0 8.0 |
1e-1 10 |
1e-2 11 |
1e-3 14 |
1e-5 20 |
1e-7 23 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.5 (2) | 4.9 (2) | 32 (27) | 79 (24) | 122 (42) | 183 (44) | 249 (30) | 15/15 |
| AMALGAM bosman noisy | 1.8 (2) | 2.6 (2) | 5.0 (2) | 7.5 (3) | 8.3 (2) | 9.4 (0.8) | 12 (2) | 15/15 |
| BAYEDA gallagher noisy | 1.8 (3) | 4.9 (7) | 108 (106) | 151 (460) | 166 (361) | 164 (452) | 189 (348) | 8/15 |
| BFGS ros noisy | 128 (217) | 249 (144) | 1939 (972) | 1.0e4 (5379) | ∞ | ∞ | ∞7926 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 4.7 (9) | 2.5 (2) | 5.8 (3) | 7.8 (2) | 8.8 (3) | 11 (2) | 13 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.9 (3) | 2.0 (1) | 3.9 (3) | 5.6 (2) | 6.0 (1) | 5.9 (0.9) | 7.1 (1) | 15/15 |
| DASA korosec noisy | 51 (53) | 33 (44) | 40 (49) | 47 (51) | 50 (36) | 45 (14) | 50 (23) | 15/15 |
| DE-PSO garcia-nieto noisy | 2.4 (3) | 5.4 (5) | 20 (5) | 26 (5) | 34 (6) | 36 (3) | 44 (8) | 15/15 |
| EDA-PSO el-abd noisy | 1.2 (2) | 3.9 (3) | 13 (5) | 18 (4) | 23 (6) | 31 (6) | 58 (13) | 15/15 |
| FULLNEWUOA ros noisy | 2.9 (2) | 1.3 (0.3) | 1.4 (0.1) | 1.4 (0.3) | 1.1 (0.2) | 0.98 (0.3)★2 | 0.99 (0.2)★4 | 15/15 |
| GLOBAL pal noisy | 1.3 (1) | 6.2 (4) | 22 (10) | 27 (6) | 23 (0.2) | 17 (0.2) | 17 (14) | 13/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.6 (4) | 1.9 (3) | 4.3 (2) | 6.4 (3) | 6.4 (1.0) | 7.6 (2) | 9.0 (1) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.1 (2) | 5.1 (5) | 13 (5) | 23 (10) | 29 (3) | 26 (2) | 26 (2) | 15/15 |
| MCS huyer noisy | 0.90 (0.5) | 1.1 (0.4) | 1.2 (0.6) | 1.5 (1.0) | 1.3 (0.8) | 201 (125) | 1197 (1522) | 7/15 |
| ONEFIFTH auger noisy | 3.0 (2) | 2.3 (2) | 3.5 (2) | 5.2 (2) | 5.5 (3) | 5.9 (2) | 7.3 (0.7) | 15/15 |
| PSO Bounds el-abd noisy | 2.5 (2) | 2.6 (2) | 11 (9) | 41 (19) | 116 (93) | 236 (38) | 321 (100) | 15/15 |
| PSO el-abd noisy | 2.0 (2) | 3.6 (5) | 13 (7) | 31 (20) | 53 (20) | 86 (15) | 124 (22) | 15/15 |
| RANDOMSEARCH auger noisy | 1.7 (2) | 3.7 (4) | 34 (34) | 331 (264) | 3225 (3928) | 3.1e5 (5e5) | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 1.8 (2) | 1 (0.4) | 1 (0.0) | 1.0 (0.4) | 1.0 (0.3) | 1.6 (0.6) | 1.8 (0.3) | 15/15 |
| VNS garcia-martinez noisy | 2.3 (0.8) | 6.0 (7) | 14 (7) | 17 (2) | 16 (3) | 14 (2) | 15 (1) | 15/15 |
| iAMALGAM bosman noisy | 2.2 (2) | 1.9 (2) | 4.0 (2) | 6.0 (1) | 6.6 (2) | 7.0 (1) | 8.3 (2) | 15/15 |
| Δ fopt f102, 2-D |
1e1 2.0 |
1e0 7.0 |
1e-1 11 |
1e-2 17 |
1e-3 19 |
1e-5 25 |
1e-7 31 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.9 (3) | 4.4 (8) | 19 (26) | 67 (19) | 91 (24) | 154 (33) | 188 (31) | 15/15 |
| AMALGAM bosman noisy | 2.0 (1) | 3.4 (2) | 4.3 (3) | 4.9 (2) | 6.0 (3) | 8.0 (2) | 8.8 (1) | 15/15 |
| BAYEDA gallagher noisy | 1.6 (2) | 5.8 (9) | 8.8 (8) | 69 (180) | 98 (170) | 88 (204) | 77 (69) | 11/15 |
| BFGS ros noisy | 89 (83) | 340 (251) | 1008 (607) | ∞ | ∞ | ∞ | ∞7914 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.2 (3) | 2.8 (2) | 4.6 (4) | 5.4 (2) | 7.0 (3) | 8.6 (1) | 9.4 (0.9) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.2 (1) | 1.9 (2) | 2.9 (2) | 3.7 (1) | 4.3 (2) | 4.9 (1) | 5.3 (1) | 15/15 |
| DASA korosec noisy | 63 (98) | 57 (40) | 49 (49) | 42 (47) | 44 (21) | 44 (33) | 47 (12) | 15/15 |
| DE-PSO garcia-nieto noisy | 2.4 (1) | 5.0 (6) | 12 (4) | 17 (4) | 24 (10) | 28 (5) | 35 (3) | 15/15 |
| EDA-PSO el-abd noisy | 1.6 (2) | 3.7 (5) | 10 (5) | 12 (4) | 17 (3) | 27 (5) | 43 (10) | 15/15 |
| FULLNEWUOA ros noisy | 3.6 (2) | 1.7 (0.6) | 1.5 (0.3) | 1.0 (0.3) | 1.0 (0.2) | 1.00 (0.2)★ | 1.0 (0.2)★2 | 15/15 |
| GLOBAL pal noisy | 2.5 (2) | 5.0 (5) | 17 (11) | 18 (3) | 17 (0.1) | 13 (0.1) | 11 (0.2) | 13/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.8 (4) | 3.2 (3) | 4.8 (5) | 5.7 (2) | 6.2 (3) | 6.8 (1) | 7.5 (0.6) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.1 (2) | 5.9 (6) | 11 (9) | 15 (2) | 21 (4) | 21 (2) | 19 (2) | 15/15 |
| MCS huyer noisy | 0.90 (0.5) | 1.2 (0.9) | 1.1 (0.8) | 1.2 (1.0) | 1.5 (0.4) | 348 (800) | 3582 (6412) | 1/15 |
| ONEFIFTH auger noisy | 2.0 (3) | 2.3 (2) | 3.1 (2) | 3.1 (1.0) | 4.0 (0.9) | 4.9 (1) | 5.4 (0.9) | 15/15 |
| PSO Bounds el-abd noisy | 2.9 (3) | 6.6 (4) | 14 (12) | 31 (22) | 83 (59) | 181 (46) | 243 (35) | 15/15 |
| PSO el-abd noisy | 2.7 (2) | 2.9 (4) | 10 (7) | 18 (7) | 41 (14) | 64 (13) | 90 (20) | 15/15 |
| RANDOMSEARCH auger noisy | 1.8 (3) | 4.6 (4) | 24 (13) | 139 (297) | 3127 (3423) | 2.6e5 (2e5) | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 1.8 (2) | 1.0 (0.3) | 0.98 (0.4) | 0.98 (0) | 1.4 (0.8) | 4.5 (0.2) | 4.3 (8) | 15/15 |
| VNS garcia-martinez noisy | 2.3 (0.8) | 7.0 (6) | 12 (5) | 11 (2) | 12 (2) | 12 (2) | 12 (2) | 15/15 |
| iAMALGAM bosman noisy | 2.4 (2) | 3.3 (3) | 4.0 (2) | 4.2 (2) | 4.8 (2) | 5.9 (2) | 6.7 (2) | 15/15 |
| Δ fopt f103, 2-D |
1e1 2.0 |
1e0 8.0 |
1e-1 9.0 |
1e-2 9.0 |
1e-3 9.0 |
1e-5 10 |
1e-7 14 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.8 (2) | 4.5 (3) | 46 (44) | 112 (69) | 199 (88) | 408 (66) | 6440 (1e4) | 15/15 |
| AMALGAM bosman noisy | 1.3 (1) | 2.3 (2) | 5.9 (3) | 8.1 (4) | 12 (4) | 180 (19) | 324 (401) | 15/15 |
| BAYEDA gallagher noisy | 2.4 (2) | 2.5 (2) | 85 (123) | 188 (449) | 203 (340) | 210 (110) | 257 (511) | 9/15 |
| BFGS ros noisy | 7.7 (2) | 3.4 (7) | 4.7 (5) | 4.8 (6) | 4.8 (5) | 4.3 (5) | 3.1 (0.2) | 15/15 |
| BIPOP-CMA-ES hansen noisy | 3.5 (3) | 3.0 (3) | 6.2 (5) | 10 (4) | 14 (2) | 23 (4) | 23 (5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.9 (1) | 1.7 (1) | 4.2 (2) | 6.3 (3) | 14 (11) | 75 (60) | 147 (111) | 15/15 |
| DASA korosec noisy | 38 (32) | 21 (26) | 39 (44) | 132 (98) | 269 (264) | 2968 (3011) | 1.8e4 (2e4) | 8/15 |
| DE-PSO garcia-nieto noisy | 1.4 (1) | 2.6 (3) | 14 (10) | 25 (25) | 36 (15) | 87 (55) | 220 (112) | 10/15 |
| EDA-PSO el-abd noisy | 2.0 (2) | 3.3 (3) | 9.3 (7) | 21 (13) | 32 (11) | 192 (321) | 1.3e4 (1e4) | 1/15 |
| FULLNEWUOA ros noisy | 2.9 (3) | 1.5 (0.4) | 1.5 (0.2) | 1.7 (0.2) | 1.7 (0.2) | 1.7 (0.2) | 1.2 (0.2) | 15/15 |
| GLOBAL pal noisy | 1.8 (0.9) | 3.0 (4) | 24 (10) | 31 (7) | 36 (0.3) | 38 (0.3) | 50 (39) | 8/15 |
| IPOP-SEP-CMA-ES ros noisy | 3.8 (4) | 3.2 (4) | 5.5 (2) | 8.2 (3) | 12 (5) | 18 (4) | 18 (3) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.5 (2) | 3.7 (2) | 14 (5) | 28 (14) | 49 (12) | 71 (10) | 60 (17) | 15/15 |
| MCS huyer noisy | 0.90 (0.5) | 1.0 (0.3) | 1.4 (1) | 1.9 (1) | 2.0 (1) | 102 (251) | 121 (180) | 15/15 |
| ONEFIFTH auger noisy | 1.9 (2) | 1.5 (2) | 4.4 (0.7) | 7.6 (8) | 11 (3) | 76 (32) | 281 (287) | 15/15 |
| PSO Bounds el-abd noisy | 2.2 (2) | 3.8 (3) | 18 (11) | 57 (43) | 222 (97) | 5590 (5217) | 4.2e4 (4e4) | 3/15 |
| PSO el-abd noisy | 3.1 (1) | 3.4 (3) | 12 (8) | 39 (16) | 107 (31) | 759 (2073) | 2.7e4 (3e4) | 2/15 |
| RANDOMSEARCH auger noisy | 2.2 (5) | 2.9 (3) | 35 (56) | 330 (393) | 3896 (8167) | 3.0e5 (3e5) | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 2.2 (2) | 0.98 (0) | 1.0 (0.1) | 1.0 (0.1) | 1.0 (0.1) | 0.98 (0.2) | 0.97 (0.6) | 15/15 |
| VNS garcia-martinez noisy | 2.3 (1) | 6.6 (5) | 15 (7) | 22 (4) | 25 (3) | 29 (5) | 28 (3) | 15/15 |
| iAMALGAM bosman noisy | 2.3 (2) | 2.5 (1) | 4.2 (2) | 7.0 (1) | 10 (2) | 226 (403) | 831 (1091) | 15/15 |
| Δ fopt f104, 2-D |
1e1 5.0 |
1e0 15 |
1e-1 194 |
1e-2 240 |
1e-3 248 |
1e-5 256 |
1e-7 263 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 11 (9) | 19 (35) | 5.5 (4) | 11 (6) | 19 (6) | 38 (12) | 58 (21) | 15/15 |
| AMALGAM bosman noisy | 6.2 (4) | 6.3 (1) | 1.1 (0.4) | 1.3 (0.6) | 1.6 (0.8) | 1.9 (0.8) | 2.2 (1) | 15/15 |
| BAYEDA gallagher noisy | 6.2 (7) | 27 (5) | 32 (37) | ∞ | ∞ | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 208 (412) | 378 (405) | 217 (280) | ∞ | ∞ | ∞ | ∞6213 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 26 (6) | 12 (5) | 2.5 (2) | 3.5 (3) | 3.8 (2) | 4.6 (2) | 4.9 (0.8) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 9.4 (7) | 12 (13) | 1.9 (2) | 2.4 (3) | 3.0 (3) | 3.2 (3) | 3.3 (1) | 15/15 |
| DASA korosec noisy | 96 (26) | 157 (79) | 94 (44) | 129 (106) | 219 (245) | 2103 (2542) | 4.4e4 (4e4) | 1/15 |
| DE-PSO garcia-nieto noisy | 16 (13) | 19 (17) | 4.6 (3) | 6.4 (3) | 8.3 (7) | 23 (39) | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 6.3 (6) | 12 (7) | 7.1 (9) | 18 (8) | 36 (12) | 65 (14) | 97 (14) | 15/15 |
| FULLNEWUOA ros noisy | 6.7 (27) | 10 (10) | 1.1 (2) | 1.00 (2) | 1.00 (0.8) | 1.00 (1) | 1.0 (2) | 15/15 |
| GLOBAL pal noisy | 10 (7) | 13 (9) | 1.4 (0.4) | 1.4 (0.1) | 1.4 (0.1) | 1.4 (0.1) | 1.5 (0.1) | 15/15 |
| IPOP-SEP-CMA-ES ros noisy | 5.3 (5) | 20 (58) | 7.7 (14) | 7.7 (8) | 7.6 (10) | 7.7 (8) | 7.7 (7) | 15/15 |
| MA-LS-CHAIN molina noisy | 8.4 (6) | 8.6 (6) | 1.9 (1) | 2.6 (0.8) | 3.3 (0.7) | 3.5 (2) | 3.9 (1) | 15/15 |
| MCS huyer noisy | 1.1 (0.8) | 0.97 (0.8) | 5.7 (14) | 40 (42) | 80 (36) | 2871 (4053) | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 5.5 (2) | 12 (9) | 1.8 (3) | 10 (7) | 21 (12) | 240 (204) | 3029 (5659) | 10/15 |
| PSO Bounds el-abd noisy | 7.1 (7) | 14 (12) | 4.5 (4) | 8.9 (8) | 27 (13) | 59 (18) | 87 (24) | 15/15 |
| PSO el-abd noisy | 5.7 (9) | 8.0 (10) | 3.2 (2) | 5.0 (3) | 8.1 (5) | 17 (6) | 28 (8) | 15/15 |
| RANDOMSEARCH auger noisy | 7.5 (10) | 16 (25) | 8.6 (8) | 120 (88) | 1588 (866) | 1.1e5 (8e4) | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 3.7 (3) | 3.6 (2) | 4.5 (3) | 13 (14) | 28 (26) | 87 (118) | 136 (117) | 1/15 |
| VNS garcia-martinez noisy | 8.9 (8) | 14 (3) | 2.3 (2) | 2.3 (1) | 2.5 (1) | 2.7 (2) | 3.0 (0.6) | 15/15 |
| iAMALGAM bosman noisy | 4.4 (3) | 5.9 (5) | 1.00 (0.9) | 1.3 (0.9) | 1.4 (0.5) | 1.7 (1) | 1.9 (0.9) | 15/15 |
| Δ fopt f105, 2-D |
1e1 5.0 |
1e0 15 |
1e-1 357 |
1e-2 371 |
1e-3 381 |
1e-5 397 |
1e-7 410 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 4.4 (4) | 22 (32) | 3.7 (2) | 8.0 (3) | 13 (6) | 26 (10) | 38 (4) | 15/15 |
| AMALGAM bosman noisy | 6.0 (3) | 122 (277) | 5.6 (14) | 5.8 (14) | 5.9 (12) | 6.0 (13) | 6.0 (11) | 15/15 |
| BAYEDA gallagher noisy | 9.4 (9) | 29 (7) | 14 (6) | 71 (70) | ∞ | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 152 (320) | 331 (418) | 71 (78) | 219 (179) | ∞ | ∞ | ∞5658 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 5.9 (3) | 5.6 (4) | 1.1 (0.2) | 2.6 (3) | 3.6 (4) | 3.8 (3) | 4.1 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 12 (33) | 15 (28) | 2.0 (2) | 3.9 (1) | 6.6 (3) | 6.7 (6) | 6.6 (4) | 15/15 |
| DASA korosec noisy | 101 (260) | 296 (780) | 55 (58) | 104 (113) | 347 (445) | 2265 (3230) | 5.6e4 (9e4) | 0/15 |
| DE-PSO garcia-nieto noisy | 6.2 (7) | 14 (13) | 1.5 (1.0) | 3.3 (3) | 5.8 (2) | 18 (16) | 147 (190) | 1/15 |
| EDA-PSO el-abd noisy | 6.6 (6) | 11 (14) | 2.0 (2) | 8.7 (6) | 19 (5) | 41 (4) | 60 (11) | 15/15 |
| FULLNEWUOA ros noisy | 5.2 (3) | 18 (13) | 2.7 (3) | 8.3 (5) | 11 (11) | 17 (23) | 48 (44) | 5/15 |
| GLOBAL pal noisy | 5.1 (5) | 14 (11) | 1.00 (0.1) | 1.0 (0.0) | 1.00 (0.3) | 1.00 (0.3) | 1.0 (0.1) | 15/15 |
| IPOP-SEP-CMA-ES ros noisy | 41 (4) | 52 (183) | 6.3 (4) | 9.3 (5) | 9.3 (5) | 9.1 (3) | 9.0 (5) | 15/15 |
| MA-LS-CHAIN molina noisy | 6.4 (7) | 11 (9) | 1.5 (1.0) | 4.7 (5) | 6.6 (7) | 8.7 (9) | 8.7 (9) | 15/15 |
| MCS huyer noisy | 1.1 (0.9) | 0.98 (0.8)★ | 3.2 (7) | 26 (40) | 116 (125) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 11 (3) | 18 (21) | 3.1 (2) | 10 (5) | 31 (13) | 220 (354) | 2006 (1993) | 8/15 |
| PSO Bounds el-abd noisy | 5.3 (4) | 8.6 (5) | 2.3 (1) | 8.7 (8) | 19 (10) | 39 (21) | 52 (5) | 15/15 |
| PSO el-abd noisy | 5.0 (4) | 11 (8) | 1.8 (1) | 3.6 (1) | 6.4 (2) | 13 (6) | 19 (4) | 15/15 |
| RANDOMSEARCH auger noisy | 7.9 (4) | 32 (29) | 8.3 (7) | 68 (58) | 548 (721) | ∞ | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 3.4 (2) | 6.0 (5) | 1.6 (2) | 5.7 (10) | 7.6 (4) | 22 (25) | 34 (28) | 4/15 |
| VNS garcia-martinez noisy | 10 (8) | 13 (3) | 3.5 (19) | 8.2 (20) | 8.2 (17) | 12 (20) | 14 (10) | 15/15 |
| iAMALGAM bosman noisy | 3.5 (2) | 23 (2) | 7.2 (25) | 8.0 (6) | 8.0 (13) | 8.0 (10) | 7.9 (6) | 15/15 |
| Δ fopt f106, 2-D |
1e1 5.0 |
1e0 15 |
1e-1 139 |
1e-2 280 |
1e-3 352 |
1e-5 490 |
1e-7 650 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 11 (20) | 15 (19) | 7.2 (4) | 8.2 (5) | 14 (8) | 72 (65) | 1447 (1687) | 4/15 |
| AMALGAM bosman noisy | 5.0 (4) | 5.9 (7) | 16 (0.3) | 13 (29) | 11 (15) | 17 (19) | 27 (61) | 15/15 |
| BAYEDA gallagher noisy | 6.6 (8) | 32 (9) | 17 (16) | 95 (32) | 161 (99) | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 14 (22) | 13 (11) | 2.5 (2) | 2.1 (2) | 1.8 (2) | 1.8 (2) | 1.4 (1) | 15/15 |
| BIPOP-CMA-ES hansen noisy | 8.6 (2) | 18 (42) | 3.3 (3) | 2.8 (2) | 2.6 (1) | 2.4 (1) | 2.0 (1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 5.4 (3) | 6.5 (13) | 1.2 (0.8) | 1.7 (1) | 3.0 (4) | 6.6 (4) | 16 (7) | 9/15 |
| DASA korosec noisy | 104 (14) | 167 (247) | 105 (87) | 165 (129) | 151 (137) | 3095 (3493) | ∞2e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 19 (16) | 19 (11) | 5.1 (2) | 5.6 (5) | 10 (12) | 40 (39) | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 5.4 (7) | 9.4 (9) | 5.1 (4) | 12 (10) | 19 (8) | 43 (15) | 1019 (940) | 0/15 |
| FULLNEWUOA ros noisy | 5.4 (3) | 5.1 (7) | 1 (1) | 1.0 (1) | 1.0 (1) | 1.00 (1) | 1.0 (1) | 15/15 |
| GLOBAL pal noisy | 8.0 (11) | 11 (8) | 2.1 (0.9) | 1.3 (0.1) | 1.1 (0.1) | 1.2 (0.3) | 1.9 (2) | 10/15 |
| IPOP-SEP-CMA-ES ros noisy | 5.6 (3) | 11 (14) | 4.4 (4) | 2.9 (1) | 2.5 (0.4) | 2.0 (0.3) | 1.6 (0.3) | 15/15 |
| MA-LS-CHAIN molina noisy | 6.2 (4) | 10 (11) | 2.9 (1) | 2.5 (1) | 2.3 (1) | 2.4 (0.8) | 2.1 (0.6) | 15/15 |
| MCS huyer noisy | 1.1 (0.7) | 1.0 (0.9)★ | 8.0 (19) | 39 (33) | 77 (125) | 747 (497) | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 5.5 (4) | 10 (9) | 3.3 (4) | 8.7 (19) | 19 (12) | 200 (117) | 4386 (3400) | 2/15 |
| PSO Bounds el-abd noisy | 11 (4) | 11 (5) | 7.3 (7) | 11 (9) | 52 (152) | 152 (132) | 934 (855) | 2/15 |
| PSO el-abd noisy | 3.5 (7) | 9.2 (7) | 4.1 (3) | 5.0 (1) | 8.0 (4) | 138 (174) | 507 (1336) | 2/15 |
| RANDOMSEARCH auger noisy | 6.8 (9) | 22 (11) | 20 (21) | 130 (141) | 1463 (1868) | 5.9e4 (7e4) | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 3.8 (3) | 7.0 (13) | 2.6 (0.2) | 7.7 (3) | 12 (33) | 74 (78) | ∞5028 | 0/15 |
| VNS garcia-martinez noisy | 11 (7) | 17 (13) | 3.8 (3) | 2.2 (2) | 2.1 (0.7) | 1.7 (0.8) | 1.5 (0.5) | 15/15 |
| iAMALGAM bosman noisy | 5.7 (6) | 62 (0.9) | 16 (22) | 17 (22) | 16 (22) | 20 (23) | 43 (36) | 15/15 |
| Δ fopt f107, 2-D |
1e1 2.0 |
1e0 13 |
1e-1 28 |
1e-2 113 |
1e-3 158 |
1e-5 255 |
1e-7 421 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.3 (2) | 3.5 (5) | 12 (14) | 10 (5) | 12 (5) | 16 (4) | 15 (2) | 15/15 |
| AMALGAM bosman noisy | 2.0 (0.8) | 1.8 (1) | 2.2 (2) | 1.0 (0.2) | 1.00 (0.3) | 1.0 (0.3) | 1.9 (4) | 15/15 |
| BAYEDA gallagher noisy | 2.2 (0.6) | 1.2 (2) | 3.9 (4) | 4.2 (2) | 4.4 (2) | 4.7 (2) | 4.4 (2) | 15/15 |
| BFGS ros noisy | 88 (107) | 111 (65) | 300 (310) | 879 (528) | 657 (787) | 407 (546) | ∞7053 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 10 (7) | 3.7 (4) | 2.9 (4) | 1.2 (0.6) | 1.2 (0.6) | 1.2 (0.2) | 1.0 (0.2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 31 (108) | 7.3 (17) | 7.7 (6) | 2.9 (3) | 2.4 (3) | 3.7 (5) | 6.3 (8) | 15/15 |
| DASA korosec noisy | 189 (245) | 136 (256) | 329 (408) | 194 (154) | 439 (446) | 1408 (1028) | 4105 (6207) | 4/15 |
| DE-PSO garcia-nieto noisy | 2.6 (2) | 4.8 (7) | 6.4 (4) | 3.0 (1) | 3.8 (0.9) | 3.6 (0.5) | 3.1 (0.4) | 15/15 |
| EDA-PSO el-abd noisy | 1.6 (2) | 2.9 (1) | 4.9 (2) | 2.5 (1) | 4.4 (2) | 9.3 (3) | 10 (2) | 15/15 |
| FULLNEWUOA ros noisy | 11 (2) | 10 (20) | 21 (56) | 6.9 (6) | 10 (11) | 19 (10) | 28 (27) | 9/15 |
| GLOBAL pal noisy | 2.3 (3) | 2.8 (3) | 6.8 (4) | 4.9 (2) | 4.4 (3) | 4.6 (3) | 8.0 (6) | 2/15 |
| IPOP-SEP-CMA-ES ros noisy | 37 (3) | 16 (54) | 8.5 (2) | 2.7 (13) | 2.1 (0.2) | 2.1 (2) | 1.5 (1) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.0 (1) | 1.7 (3) | 4.6 (3) | 2.8 (1) | 3.8 (2) | 4.5 (2) | 3.0 (2) | 15/15 |
| MCS huyer noisy | 0.90 (0.4) | 1.0 (0.5) | 0.99 (0.4) | 18 (22) | 57 (21) | 1385 (1603) | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 7.4 (3) | 8.2 (14) | 8.2 (6) | 4.3 (6) | 3.6 (5) | 3.2 (3) | 4.6 (3) | 15/15 |
| PSO Bounds el-abd noisy | 1.6 (0.6) | 2.2 (2) | 5.0 (6) | 5.2 (3) | 8.5 (4) | 19 (8) | 20 (4) | 15/15 |
| PSO el-abd noisy | 1.8 (2) | 2.3 (2) | 4.2 (4) | 3.2 (2) | 4.9 (2) | 7.1 (2) | 6.8 (1) | 15/15 |
| RANDOMSEARCH auger noisy | 1.9 (2) | 2.8 (4) | 13 (8) | 19 (18) | 280 (409) | 1.8e4 (2e4) | 7.0e4 (1e5) | 1/15 |
| SNOBFIT huyer noisy | 1.9 (1) | 1.1 (0.8) | 6.5 (13) | 6.6 (11) | 6.5 (10) | 6.4 (4) | 7.3 (9) | 11/15 |
| VNS garcia-martinez noisy | 2.3 (1) | 82 (5) | 42 (137) | 18 (1) | 15 (54) | 10 (15) | 6.3 (9) | 15/15 |
| iAMALGAM bosman noisy | 2.2 (2) | 47 (346) | 32 (72) | 8.4 (0.4) | 6.2 (21) | 11 (18) | 6.8 (8) | 15/15 |
| Δ fopt f108, 2-D |
1e1 2.0 |
1e0 30 |
1e-1 202 |
1e-2 1425 |
1e-3 3422 |
1e-5 7369 |
1e-7 15979 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.3 (2) | 1.0 (0.3) | 1.9 (3) | 1.3 (1) | 1.1 (0.6) | 1.9 (0.5) | 1.5 (0.2) | 15/15 |
| AMALGAM bosman noisy | 1.7 (2) | 1.0 (2) | 32 (37) | 6.2 (5) | 4.3 (6) | 5.9 (6) | 7.3 (9) | 15/15 |
| BAYEDA gallagher noisy | 2.8 (6) | 10 (34) | 18 (20) | 18 (15) | 16 (21) | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 26 (34) | 6.8 (7) | 4.2 (2) | 5.0 (6) | 7.0 (7) | ∞ | ∞1623 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 84 (436) | 10 (24) | 5.5 (9) | 1.5 (2) | 1.0 (0.5) | 1.00 (0.6) | 1.00 (0.7) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 50 (72) | 14 (16) | 8.8 (6) | 4.5 (5) | 11 (12) | ∞ | ∞2e4 | 0/15 |
| DASA korosec noisy | 155 (401) | 93 (146) | 89 (70) | 66 (28) | 100 (201) | 2257 (1360) | ∞1e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.2 (4) | 2.9 (5) | 1.9 (1) | 2.4 (3) | 5.4 (5) | ∞ | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 1.7 (1) | 1.1 (2) | 1.7 (2) | 1.0 (1) | 1.2 (0.9) | 1.6 (0.5) | 1.2 (0.2) | 15/15 |
| FULLNEWUOA ros noisy | 56 (88) | 53 (71) | 42 (55) | 42 (57) | ∞ | ∞ | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 1.6 (1) | 1.4 (3) | 1.3 (1) | 1.2 (1) | 4.8 (6) | ∞ | ∞3766 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 541 (0.9) | 73 (45) | 29 (28) | 6.5 (5) | 4.5 (4) | 5.5 (5) | 19 (18) | 1/15 |
| MA-LS-CHAIN molina noisy | 2.4 (2) | 1.0 (2) | 1.6 (2) | 1.0 (1) | 1.00 (0.7) | 1.4 (0.6) | 1.2 (0.6) | 6/15 |
| MCS huyer noisy | 0.90 (0.4) | 3.3 (2) | 2.8 (1) | 5.5 (6) | 11 (11) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 33 (19) | 9.4 (13) | 9.0 (11) | 3.4 (2) | 3.9 (6) | 31 (27) | 398 (1097) | 1/15 |
| PSO Bounds el-abd noisy | 2.5 (4) | 1.1 (2) | 1.0 (1) | 1.3 (0.9) | 5.6 (1.0) | 4.6 (2) | 2.8 (4) | 14/15 |
| PSO el-abd noisy | 2.2 (2) | 1.1 (1) | 1.3 (2) | 1.3 (1) | 1.9 (0.4) | 2.6 (1) | 1.8 (0.8) | 15/15 |
| RANDOMSEARCH auger noisy | 2.7 (3) | 1.3 (0.6) | 1.8 (1) | 1.7 (2) | 8.9 (15) | 483 (488) | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 1.1 (0.6) | 1.2 (2) | 3.6 (2) | 2.8 (2) | 10 (7) | ∞ | ∞5028 | 0/15 |
| VNS garcia-martinez noisy | 2.3 (1) | 46 (2) | 16 (53) | 9.4 (5) | 5.4 (2) | 3.0 (3) | 4.4 (7) | 15/15 |
| iAMALGAM bosman noisy | 2.3 (3) | 48 (97) | 20 (26) | 8.0 (16) | 10 (10) | 10 (9) | 8.0 (4) | 15/15 |
| Δ fopt f109, 2-D |
1e1 2.0 |
1e0 10 |
1e-1 13 |
1e-2 67 |
1e-3 68 |
1e-5 96 |
1e-7 96 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.8 (4) | 4.1 (4) | 24 (28) | 11 (9) | 60 (83) | 2425 (2494) | 7.5e4 (5e4) | 1/15 |
| AMALGAM bosman noisy | 2.2 (2) | 2.9 (2) | 4.5 (2) | 14 (48) | 36 (2) | 104 (150) | 286 (200) | 15/15 |
| BAYEDA gallagher noisy | 2.4 (2) | 4.3 (5) | 12 (10) | 9.2 (3) | 13 (17) | 17 (15) | 29 (15) | 13/15 |
| BFGS ros noisy | 13 (45) | 8.0 (9) | 7.3 (5) | 1.4 (3) | 1.4 (4) | 1.0 (2) | 1.0 (3) | 15/15 |
| BIPOP-CMA-ES hansen noisy | 2.9 (4) | 1.9 (2) | 4.0 (3) | 1.5 (0.6) | 2.3 (0.5) | 3.4 (0.9) | 5.4 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 3.6 (3) | 2.4 (2) | 9.0 (13) | 16 (13) | 61 (32) | 2970 (1823) | ∞2e4 | 0/15 |
| DASA korosec noisy | 87 (42) | 198 (225) | 458 (681) | 439 (554) | 5655 (6290) | 1.9e5 (2e5) | ∞1e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.5 (2) | 5.3 (4) | 18 (8) | 7.5 (5) | 13 (4) | 76 (80) | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 2.1 (2) | 3.0 (4) | 8.5 (5) | 4.8 (2) | 45 (36) | 3795 (3453) | ∞2e5 | 0/15 |
| FULLNEWUOA ros noisy | 3.6 (1) | 1.1 (0.2) | 3.2 (7) | 1.0 (0.8) | 1 (1) | 1.5 (3) | 1.5 (1) | 15/15 |
| GLOBAL pal noisy | 1.9 (2) | 2.6 (3) | 18 (9) | 7.9 (5) | 12 (14) | 61 (69) | ∞3512 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 3.0 (2) | 2.4 (3) | 3.7 (2) | 1.4 (0.8) | 2.4 (0.8) | 3.3 (1.0) | 4.5 (1) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.0 (2) | 2.3 (2) | 10 (4) | 4.6 (1) | 9.4 (9) | 16 (6) | 24 (11) | 15/15 |
| MCS huyer noisy | 0.90 (0.4) | 0.95 (0.4) | 0.97 (0.9) | 15 (38) | 35 (92) | 38 (39) | 87 (234) | 15/15 |
| ONEFIFTH auger noisy | 3.1 (3) | 1.7 (1) | 4.5 (3) | 3.1 (2) | 31 (37) | 858 (640) | 5.0e4 (6e4) | 0/15 |
| PSO Bounds el-abd noisy | 1.6 (2) | 2.0 (2) | 12 (12) | 230 (23) | 1507 (4427) | 1.4e4 (1e4) | 2.9e4 (4e4) | 0/15 |
| PSO el-abd noisy | 2.7 (2) | 2.4 (1) | 11 (7) | 9.4 (8) | 511 (809) | 4675 (1676) | ∞2e5 | 0/15 |
| RANDOMSEARCH auger noisy | 2.2 (1) | 2.6 (2) | 22 (20) | 58 (43) | 490 (291) | 6.7e4 (8e4) | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 1.5 (1) | 0.98 (0.5) | 2.5 (4) | 1.6 (4) | 16 (38) | 39 (65) | 210 (118) | 3/15 |
| VNS garcia-martinez noisy | 2.3 (1) | 4.7 (6) | 11 (5) | 3.0 (0.5) | 4.1 (0.7) | 4.7 (1) | 6.2 (1) | 15/15 |
| iAMALGAM bosman noisy | 2.5 (4) | 1.7 (2) | 2.9 (2) | 13 (25) | 29 (32) | 101 (116) | 323 (263) | 15/15 |
| Δ fopt f110, 2-D |
1e1 7.0 |
1e0 34 |
1e-1 623 |
1e-2 1301 |
1e-3 2319 |
1e-5 8407 |
1e-7 9154 |
#succ 14/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 6.9 (5) | 7.2 (6) | 1.5 (0.8) | 2.1 (1) | 2.3 (0.7) | 1.4 (0.6) | 2.4 (1.0) | 15/15 |
| AMALGAM bosman noisy | 4.3 (3) | 67 (181) | 22 (14) | 16 (4) | 9.2 (10) | 2.6 (4) | 2.4 (5) | 15/15 |
| BAYEDA gallagher noisy | 5.8 (6) | 19 (31) | 10 (14) | 44 (21) | ∞ | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 63 (42) | 90 (62) | 43 (37) | 41 (29) | ∞ | ∞ | ∞3675 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 4.2 (0.9) | 13 (61) | 4.0 (9) | 5.5 (7) | 3.4 (2) | 1.3 (0.5) | 1.5 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 3.3 (4) | 9.4 (9) | 1.7 (2) | 2.8 (6) | 2.4 (2) | 5.8 (6) | 32 (45) | 1/15 |
| DASA korosec noisy | 154 (179) | 114 (75) | 32 (34) | 47 (74) | 105 (87) | 268 (147) | 2085 (2860) | 1/15 |
| DE-PSO garcia-nieto noisy | 11 (5) | 6.9 (3) | 1.0 (0.8) | 1.0 (0.5) | 1.00 (0.5) | 1.4 (1) | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 5.4 (4) | 6.4 (7) | 1.6 (2) | 3.2 (2) | 3.3 (1) | 1.9 (0.4) | 2.6 (0.4) | 15/15 |
| FULLNEWUOA ros noisy | 26 (55) | 17 (19) | 2.8 (3) | 8.5 (8) | ∞ | ∞ | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 5.0 (4) | 4.7 (5) | 1.3 (1) | 2.0 (2) | 6.1 (5) | ∞ | ∞1528 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.9 (2) | 28 (39) | 4.5 (4) | 4.4 (10) | 3.8 (7) | 1.1 (0.4) | 1.0 (0.6) | 14/15 |
| MA-LS-CHAIN molina noisy | 6.2 (5) | 5.9 (3) | 1.2 (0.9) | 2.1 (2) | 2.2 (2) | 1.0 (0.7) | 1.9 (2) | 10/15 |
| MCS huyer noisy | 1.0 (0.6) | 1.0 (2) | 1.9 (4) | 10 (19) | 93 (95) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 5.0 (17) | 7.0 (8) | 1.6 (3) | 2.8 (7) | 6.4 (7) | 10 (14) | 49 (28) | 8/15 |
| PSO Bounds el-abd noisy | 7.6 (12) | 12 (13) | 2.0 (2) | 2.8 (2) | 3.1 (2) | 2.2 (0.6) | 3.0 (0.5) | 15/15 |
| PSO el-abd noisy | 5.9 (8) | 6.6 (5) | 1.1 (0.8) | 1.5 (0.6) | 1.4 (0.5) | 1.2 (3) | 1.6 (2) | 15/15 |
| RANDOMSEARCH auger noisy | 5.6 (4) | 11 (12) | 5.9 (2) | 22 (53) | 176 (259) | 3560 (4996) | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 5.7 (11) | 7.9 (33) | 2.8 (6) | 3.4 (2) | 5.3 (5) | ∞ | ∞5028 | 0/15 |
| VNS garcia-martinez noisy | 6.0 (5) | 5.4 (1) | 7.3 (15) | 9.0 (4) | 5.5 (4) | 2.3 (2) | 3.2 (2) | 15/15 |
| iAMALGAM bosman noisy | 103 (761) | 22 (0.8) | 9.0 (13) | 6.6 (11) | 4.1 (4) | 1.4 (1) | 1.3 (2) | 15/15 |
| Δ fopt f111, 2-D |
1e1 24 |
1e0 119 |
1e-1 718 |
1e-2 5415 |
1e-3 12718 |
1e-5 61860 |
1e-7 1.7e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.9 (0.8) | 4.1 (5) | 2.7 (3) | 1.1 (0.9) | 1.0 (0.6) | 1.0 (1) | 1.00 (0.9) | 15/15 |
| AMALGAM bosman noisy | 1.0 (1) | 7.6 (25) | 8.3 (10) | 6.3 (14) | 5.5 (8) | 3.2 (4) | 2.1 (3) | 15/15 |
| BAYEDA gallagher noisy | 2.0 (4) | 6.4 (17) | 36 (32) | 10 (16) | ∞ | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 7.7 (5) | 8.2 (14) | ∞ | ∞ | ∞ | ∞ | ∞1305 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 7.4 (46) | 6.0 (14) | 2.4 (4) | 1.5 (1) | 4.2 (8) | 3.1 (5) | 1.3 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 7.4 (6) | 6.5 (8) | 4.0 (1) | 3.6 (4) | 7.6 (12) | ∞ | ∞2e4 | 0/15 |
| DASA korosec noisy | 125 (132) | 91 (94) | 88 (27) | 39 (27) | 114 (104) | ∞ | ∞1e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 3.3 (3) | 5.7 (5) | 5.7 (4) | 11 (16) | ∞ | ∞ | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 1.4 (2) | 2.1 (3) | 2.2 (2) | 1.1 (0.4) | 4.7 (9) | 6.4 (10) | 17 (15) | 0/15 |
| FULLNEWUOA ros noisy | 27 (31) | 27 (52) | 31 (20) | 35 (34) | ∞ | ∞ | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 1.9 (2) | 2.2 (2) | 2.4 (4) | 1.8 (2) | 3.5 (2) | ∞ | ∞3222 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 12 (11) | 16 (33) | 7.4 (12) | 2.6 (1) | 2.8 (3) | 4.6 (3) | ∞2e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.7 (2) | 1.3 (0.4) | 2.2 (3) | 1.00 (0.9) | 1.2 (2) | 2.2 (3) | ∞2e4 | 0/15 |
| MCS huyer noisy | 1.4 (2) | 1.00 (1) | 4.3 (3) | 5.5 (3) | 56 (94) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 14 (19) | 11 (18) | 5.6 (5) | 2.1 (3) | 5.7 (10) | 21 (15) | 82 (92) | 0/15 |
| PSO Bounds el-abd noisy | 1.7 (1) | 1.3 (1) | 21 (71) | 3.2 (0.4) | 2.3 (1) | 2.3 (5) | 1.5 (1) | 2/15 |
| PSO el-abd noisy | 1.9 (2) | 2.0 (3) | 1.00 (2) | 4.2 (3) | 4.6 (6) | 5.6 (6) | 8.2 (6) | 0/15 |
| RANDOMSEARCH auger noisy | 1.5 (1) | 2.7 (2) | 5.5 (12) | 4.3 (5) | 28 (24) | 484 (307) | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 2.8 (3) | 4.1 (5) | 10 (10) | 6.4 (4) | 5.6 (8) | 1.2 (0.8) | ∞5028 | 0/15 |
| VNS garcia-martinez noisy | 79 (6) | 62 (75) | 22 (23) | 5.6 (5) | 4.1 (4) | 2.5 (2) | 47 (123) | 6/15 |
| iAMALGAM bosman noisy | 1.4 (1) | 28 (29) | 21 (29) | 10 (5) | 6.2 (6) | 3.1 (5) | 3.1 (4) | 14/15 |
| Δ fopt f112, 2-D |
1e1 5.0 |
1e0 15 |
1e-1 625 |
1e-2 1043 |
1e-3 1154 |
1e-5 1373 |
1e-7 1531 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 10 (8) | 14 (10) | 1.6 (1) | 3.5 (2) | 7.6 (3) | 879 (772) | 4.7e4 (2e4) | 0/15 |
| AMALGAM bosman noisy | 4.7 (3) | 63 (4) | 14 (19) | 11 (13) | 26 (44) | 56 (74) | 91 (104) | 15/15 |
| BAYEDA gallagher noisy | 4.9 (4) | 26 (135) | 4.8 (8) | ∞ | ∞ | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 39 (21) | 46 (29) | 3.4 (3) | 12 (4) | 16 (28) | 39 (41) | ∞7923 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 40 (107) | 43 (100) | 1.7 (3) | 1.6 (1) | 1.7 (2) | 1.7 (2) | 1.7 (1.0) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 4.7 (4) | 12 (12) | 1.9 (3) | 3.0 (4) | 13 (12) | ∞ | ∞2e4 | 0/15 |
| DASA korosec noisy | 153 (362) | 154 (368) | 26 (20) | 71 (81) | 270 (344) | ∞ | ∞1e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 8.0 (10) | 12 (16) | 1.2 (0.8) | 3.8 (8) | 8.7 (11) | ∞ | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 8.8 (7) | 9.0 (9) | 1.9 (2) | 6.0 (3) | 23 (22) | 2127 (2695) | ∞2e5 | 0/15 |
| FULLNEWUOA ros noisy | 3.3 (1) | 15 (8) | 1.3 (2) | 2.5 (2) | 7.4 (11) | 25 (18) | 53 (37) | 2/15 |
| GLOBAL pal noisy | 8.7 (5) | 16 (9) | 1.2 (0.9) | 3.0 (4) | 2.9 (1) | 7.0 (11) | ∞1921 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 5.8 (4) | 9.1 (17) | 1.1 (0.8) | 1.0 (0.2) | 1.0 (0.2) | 1.0 (0.2) | 1.0 (0.2) | 15/15 |
| MA-LS-CHAIN molina noisy | 6.8 (9) | 7.5 (8) | 1.00 (0.8) | 1.7 (1) | 2.8 (0.9) | 3.9 (6) | 10 (10) | 8/15 |
| MCS huyer noisy | 1.1 (0.9) | 0.97 (0.7) | 7.7 (0.1) | 31 (30) | 87 (95) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 3.7 (3) | 14 (25) | 1.9 (3) | 4.5 (7) | 16 (17) | 798 (622) | ∞2e6 | 0/15 |
| PSO Bounds el-abd noisy | 6.7 (5) | 8.5 (9) | 1.7 (1) | 6.2 (12) | 46 (106) | 1053 (2026) | ∞2e5 | 0/15 |
| PSO el-abd noisy | 8.8 (7) | 9.3 (9) | 1.6 (1) | 4.6 (6) | 89 (109) | 971 (985) | ∞2e5 | 0/15 |
| RANDOMSEARCH auger noisy | 6.4 (5) | 13 (34) | 5.6 (4) | 28 (31) | 298 (318) | 9812 (2e4) | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 3.2 (5) | 10 (9) | 2.5 (5) | 7.1 (8) | 62 (35) | ∞ | ∞5028 | 0/15 |
| VNS garcia-martinez noisy | 10 (17) | 13 (5) | 1.3 (1) | 1.0 (2) | 1.00 (1.0) | 1.00 (0.4) | 1.0 (0.4) | 15/15 |
| iAMALGAM bosman noisy | 4.3 (4) | 100 (260) | 14 (14) | 19 (25) | 35 (44) | 67 (85) | 101 (137) | 15/15 |
| Δ fopt f113, 2-D |
1e1 5.0 |
1e0 31 |
1e-1 87 |
1e-2 140 |
1e-3 174 |
1e-5 174 |
1e-7 876 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.1 (2) | 4.3 (4) | 12 (8) | 11 (4) | 13 (6) | 13 (6) | 4.1 (1) | 15/15 |
| AMALGAM bosman noisy | 2.1 (3) | 1.1 (0.5) | 1.0 (0.5) | 1.00 (0.3) | 1.0 (0.4) | 1.0 (0.3) | 1.00 (0.1) | 15/15 |
| BAYEDA gallagher noisy | 2.3 (3) | 2.3 (6) | 30 (91) | 26 (35) | 69 (77) | 69 (65) | 20 (28) | 2/15 |
| BFGS ros noisy | 76 (101) | 92 (41) | 260 (181) | ∞ | ∞ | ∞ | ∞5265 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 4.9 (6) | 6.5 (11) | 13 (15) | 14 (15) | 12 (10) | 12 (11) | 2.5 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 11 (30) | 7.5 (6) | 11 (13) | 17 (21) | 19 (20) | 19 (18) | 4.4 (4) | 15/15 |
| DASA korosec noisy | 211 (122) | 187 (228) | 382 (551) | 595 (481) | 774 (614) | 774 (1021) | 381 (579) | 15/15 |
| DE-PSO garcia-nieto noisy | 4.1 (3) | 5.5 (6) | 5.2 (3) | 5.8 (2) | 7.1 (2) | 7.1 (2) | 1.6 (0.4) | 14/15 |
| EDA-PSO el-abd noisy | 2.4 (4) | 2.6 (2) | 6.8 (6) | 19 (16) | 26 (8) | 26 (10) | 7.3 (2) | 15/15 |
| FULLNEWUOA ros noisy | 10 (15) | 4.9 (5) | 17 (34) | 26 (28) | 48 (31) | 48 (42) | 15 (13) | 7/15 |
| GLOBAL pal noisy | 3.9 (4) | 4.1 (4) | 5.6 (3) | 5.7 (3) | 7.7 (7) | 7.7 (17) | 1.7 (1) | 6/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.0 (3) | 13 (45) | 32 (55) | 27 (39) | 27 (30) | 27 (21) | 5.3 (3) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.5 (2) | 2.7 (2) | 5.7 (6) | 7.2 (4) | 10 (6) | 10 (9) | 2.3 (2) | 15/15 |
| MCS huyer noisy | 0.95 (0.6) | 1.2 (1) | 6.1 (2) | 37 (17) | 76 (66) | 76 (79) | 57 (58) | 1/15 |
| ONEFIFTH auger noisy | 13 (28) | 5.7 (9) | 6.5 (5) | 8.9 (14) | 15 (26) | 15 (19) | 3.7 (3) | 15/15 |
| PSO Bounds el-abd noisy | 3.3 (3) | 2.0 (3) | 4.3 (4) | 11 (7) | 13 (7) | 13 (10) | 5.0 (2) | 15/15 |
| PSO el-abd noisy | 4.5 (4) | 2.6 (2) | 3.6 (3) | 5.1 (3) | 5.9 (4) | 5.9 (2) | 1.6 (0.7) | 15/15 |
| RANDOMSEARCH auger noisy | 2.7 (2) | 4.8 (5) | 19 (3) | 54 (39) | 165 (196) | 165 (177) | 127 (87) | 12/15 |
| SNOBFIT huyer noisy | 1.7 (1) | 4.1 (12) | 10 (18) | 20 (18) | 20 (13) | 20 (13) | 5.1 (3) | 9/15 |
| VNS garcia-martinez noisy | 2.5 (2) | 25 (2) | 64 (93) | 52 (90) | 43 (67) | 43 (75) | 8.6 (11) | 15/15 |
| iAMALGAM bosman noisy | 2.7 (1) | 1.0 (0.8) | 20 (57) | 13 (23) | 10 (18) | 10 (26) | 2.1 (3) | 15/15 |
| Δ fopt f114, 2-D |
1e1 9.0 |
1e0 43 |
1e-1 698 |
1e-2 2475 |
1e-3 5343 |
1e-5 5343 |
1e-7 8680 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.5 (2) | 3.1 (3) | 1.8 (2) | 1.3 (0.6) | 1.00 (0.6) | 1.00 (0.5) | 1.00 (0.3) | 15/15 |
| AMALGAM bosman noisy | 1.8 (1) | 1.5 (0.8) | 6.1 (9) | 3.1 (5) | 2.8 (3) | 2.8 (3) | 2.8 (5) | 15/15 |
| BAYEDA gallagher noisy | 2.1 (3) | 38 (93) | 37 (56) | 23 (28) | ∞ | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 9.5 (15) | 7.1 (8) | 6.9 (12) | ∞ | ∞ | ∞ | ∞1545 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.2 (4) | 7.7 (16) | 2.3 (2) | 1.7 (3) | 1.8 (1) | 1.8 (2) | 1.5 (0.7) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 18 (25) | 8.0 (13) | 6.2 (9) | 4.5 (6) | 4.0 (6) | 4.0 (10) | 7.9 (5) | 2/15 |
| DASA korosec noisy | 217 (240) | 221 (176) | 106 (87) | 90 (30) | 125 (109) | 125 (190) | 158 (259) | 3/15 |
| DE-PSO garcia-nieto noisy | 1.3 (0.6) | 7.7 (16) | 3.3 (6) | 3.1 (4) | 5.5 (3) | 5.5 (9) | 7.0 (19) | 0/15 |
| EDA-PSO el-abd noisy | 1.6 (2) | 2.1 (1) | 1.6 (2) | 2.0 (4) | 1.1 (1) | 1.1 (1) | 1.0 (0.8) | 15/15 |
| FULLNEWUOA ros noisy | 89 (97) | 94 (119) | 40 (45) | 18 (25) | 18 (22) | 18 (13) | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 2.4 (2) | 2.6 (3) | 2.0 (2) | 2.6 (3) | 3.1 (4) | 3.1 (4) | 6.5 (5) | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 15 (5) | 29 (64) | 4.6 (4) | 5.3 (9) | 3.7 (6) | 3.7 (2) | 3.1 (2) | 7/15 |
| MA-LS-CHAIN molina noisy | 1.8 (2) | 2.8 (3) | 1.0 (0.8) | 1.00 (0.9) | 1.2 (1) | 1.2 (1) | 1.3 (0.5) | 11/15 |
| MCS huyer noisy | 1.2 (3) | 5.4 (6) | 3.4 (6) | 7.0 (16) | 17 (25) | 17 (12) | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 24 (48) | 13 (15) | 7.2 (3) | 7.0 (4) | 6.4 (5) | 6.4 (6) | 6.4 (9) | 15/15 |
| PSO Bounds el-abd noisy | 1 (0.9) | 0.99 (0.9) | 73 (215) | 30 (1) | 15 (19) | 15 (10) | 10 (23) | 11/15 |
| PSO el-abd noisy | 0.99 (1) | 1.7 (3) | 23 (72) | 22 (41) | 12 (11) | 12 (19) | 7.4 (3) | 11/15 |
| RANDOMSEARCH auger noisy | 1.2 (0.5) | 1.5 (1) | 1.9 (1) | 4.3 (3) | 4.7 (3) | 4.7 (3) | 20 (10) | 10/15 |
| SNOBFIT huyer noisy | 1.5 (0.9) | 3.8 (7) | 2.6 (2) | 2.5 (4) | 2.9 (4) | 2.9 (4) | 2.6 (3) | 2/15 |
| VNS garcia-martinez noisy | 1.4 (1) | 90 (309) | 12 (19) | 7.9 (7) | 6.1 (3) | 6.1 (9) | 4.1 (6) | 15/15 |
| iAMALGAM bosman noisy | 29 (100) | 64 (91) | 23 (30) | 10 (9) | 5.2 (3) | 5.2 (5) | 3.5 (4) | 15/15 |
| Δ fopt f115, 2-D |
1e1 3.0 |
1e0 13 |
1e-1 225 |
1e-2 360 |
1e-3 394 |
1e-5 394 |
1e-7 543 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.9 (3) | 11 (14) | 4.4 (3) | 6.6 (5) | 10 (6) | 10 (5) | 16 (17) | 15/15 |
| AMALGAM bosman noisy | 2.6 (4) | 3.0 (1) | 7.5 (27) | 4.8 (14) | 4.4 (6) | 4.4 (9) | 11 (23) | 15/15 |
| BAYEDA gallagher noisy | 7.9 (7) | 30 (6) | 28 (31) | 157 (172) | 144 (129) | 144 (140) | 104 (88) | 1/15 |
| BFGS ros noisy | 98 (139) | 142 (115) | 199 (326) | ∞ | ∞ | ∞ | ∞3051 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 5.2 (3) | 4.6 (7) | 1.2 (0.6) | 2.2 (2) | 2.6 (1) | 2.6 (2) | 2.1 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 5.3 (7) | 14 (13) | 2.4 (3) | 4.2 (3) | 16 (16) | 16 (18) | 25 (8) | 4/15 |
| DASA korosec noisy | 153 (393) | 414 (903) | 111 (116) | 228 (214) | 584 (647) | 584 (659) | 1572 (937) | 4/15 |
| DE-PSO garcia-nieto noisy | 5.8 (4) | 8.8 (5) | 1.6 (0.6) | 3.4 (6) | 3.9 (4) | 3.9 (3) | 4.3 (3) | 8/15 |
| EDA-PSO el-abd noisy | 3.5 (3) | 4.3 (4) | 2.1 (2) | 4.3 (6) | 17 (21) | 17 (36) | 64 (189) | 7/15 |
| FULLNEWUOA ros noisy | 3.2 (0.8) | 7.0 (4) | 1.8 (3) | 2.9 (4) | 8.0 (12) | 8.0 (11) | 9.3 (9) | 8/15 |
| GLOBAL pal noisy | 5.0 (6) | 6.5 (7) | 1.9 (1) | 3.1 (4) | 4.6 (3) | 4.6 (4) | 13 (18) | 1/15 |
| IPOP-SEP-CMA-ES ros noisy | 5.1 (5) | 7.2 (6) | 1.00 (0.7) | 1.0 (0.5) | 1.00 (0.8) | 1.00 (0.8) | 1.00 (0.3) | 15/15 |
| MA-LS-CHAIN molina noisy | 4.4 (4) | 3.8 (3) | 1.3 (0.7) | 2.9 (2) | 3.4 (2) | 3.4 (3) | 4.7 (6) | 14/15 |
| MCS huyer noisy | 1.1 (0.6) | 4.3 (4) | 2.5 (6) | 52 (24) | 87 (108) | 87 (76) | 449 (343) | 0/15 |
| ONEFIFTH auger noisy | 6.2 (5) | 15 (16) | 2.4 (1) | 3.7 (3) | 5.5 (6) | 5.5 (5) | 14 (17) | 15/15 |
| PSO Bounds el-abd noisy | 6.8 (10) | 5.7 (5) | 3.0 (2) | 44 (142) | 166 (135) | 166 (262) | 377 (373) | 6/15 |
| PSO el-abd noisy | 4.9 (5) | 6.0 (5) | 66 (223) | 72 (225) | 120 (188) | 120 (51) | 281 (473) | 4/15 |
| RANDOMSEARCH auger noisy | 3.2 (4) | 4.6 (6) | 5.5 (9) | 23 (33) | 89 (50) | 89 (89) | 255 (188) | 11/15 |
| SNOBFIT huyer noisy | 2.2 (1) | 0.98 (0.4) | 2.1 (4) | 7.5 (16) | 22 (28) | 22 (13) | 63 (57) | 1/15 |
| VNS garcia-martinez noisy | 4.2 (4) | 25 (78) | 2.1 (0.7) | 1.6 (0.5) | 1.7 (3) | 1.7 (3) | 1.4 (1) | 15/15 |
| iAMALGAM bosman noisy | 3.3 (3) | 27 (1) | 14 (25) | 8.8 (11) | 12 (6) | 12 (13) | 14 (6) | 15/15 |
| Δ fopt f116, 2-D |
1e1 49 |
1e0 101 |
1e-1 155 |
1e-2 206 |
1e-3 275 |
1e-5 1041 |
1e-7 1788 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 3.6 (2) | 14 (5) | 23 (6) | 33 (11) | 45 (32) | 30 (47) | 27 (27) | 15/15 |
| AMALGAM bosman noisy | 1.2 (1) | 1.00 (0.4) | 1.0 (0.4) | 1.00 (0.2) | 1.0 (0.3) | 1.0 (3) | 1.00 (1) | 15/15 |
| BAYEDA gallagher noisy | 10 (21) | 63 (89) | 109 (130) | 280 (359) | ∞ | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 60 (51) | 407 (249) | ∞ | ∞ | ∞ | ∞ | ∞2784 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 15 (49) | 61 (45) | 62 (53) | 51 (55) | 39 (25) | 11 (7) | 6.4 (7) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 8.1 (3) | 10 (20) | 29 (48) | 49 (73) | 109 (103) | 273 (394) | 159 (103) | 0/15 |
| DASA korosec noisy | 44 (46) | 131 (131) | 501 (434) | 1034 (1084) | 1906 (1525) | 1.8e4 (3e4) | ∞1e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 6.9 (6) | 13 (20) | 15 (28) | 24 (23) | 31 (73) | 18 (15) | 16 (12) | 2/15 |
| EDA-PSO el-abd noisy | 5.1 (8) | 18 (21) | 30 (17) | 46 (21) | 64 (86) | 29 (30) | 27 (45) | 14/15 |
| FULLNEWUOA ros noisy | 11 (7) | 17 (12) | 44 (29) | 106 (94) | 318 (204) | ∞ | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 3.5 (3) | 8.3 (8) | 12 (17) | 37 (59) | 28 (37) | 10 (12) | 18 (14) | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 17 (15) | 40 (34) | 41 (30) | 32 (14) | 24 (5) | 6.5 (1) | 3.9 (2) | 15/15 |
| MA-LS-CHAIN molina noisy | 3.3 (5) | 11 (11) | 23 (18) | 43 (62) | 49 (45) | 22 (16) | 15 (7) | 8/15 |
| MCS huyer noisy | 1.0 (0.7) | 13 (26) | 86 (79) | 733 (808) | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 3.2 (2) | 12 (8) | 20 (27) | 64 (51) | 129 (146) | 352 (331) | 1451 (1554) | 3/15 |
| PSO Bounds el-abd noisy | 13 (12) | 413 (500) | 280 (212) | 234 (504) | 188 (370) | 82 (149) | 63 (145) | 11/15 |
| PSO el-abd noisy | 5.9 (3) | 35 (107) | 124 (8) | 102 (536) | 84 (262) | 28 (54) | 20 (5) | 14/15 |
| RANDOMSEARCH auger noisy | 5.5 (7) | 29 (46) | 281 (221) | 2691 (3750) | 9170 (9716) | ∞ | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 5.0 (13) | 8.9 (14) | 48 (41) | 105 (75) | 123 (247) | ∞ | ∞5028 | 0/15 |
| VNS garcia-martinez noisy | 67 (143) | 75 (82) | 55 (60) | 50 (44) | 39 (37) | 13 (11) | 16 (25) | 15/15 |
| iAMALGAM bosman noisy | 6.7 (0.5) | 24 (33) | 23 (28) | 19 (28) | 14 (19) | 4.1 (6) | 2.5 (4) | 15/15 |
| Δ fopt f117, 2-D |
1e1 167 |
1e0 1346 |
1e-1 6454 |
1e-2 13914 |
1e-3 28223 |
1e-5 36420 |
1e-7 43231 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.6 (2) | 1.1 (1) | 1.1 (0.4) | 1.00 (0.3) | 1.3 (1) | 2.8 (2) | 7.9 (7) | 15/15 |
| AMALGAM bosman noisy | 4.9 (0.2) | 10 (13) | 4.5 (4) | 4.6 (6) | 2.6 (1) | 2.9 (2) | 4.1 (4) | 15/15 |
| BAYEDA gallagher noisy | 17 (24) | 42 (39) | ∞ | ∞ | ∞ | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 4.9 (6) | 6.2 (15) | 2.7 (2) | ∞ | ∞ | ∞ | ∞1218 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 6.7 (13) | 3.8 (5) | 2.1 (2) | 1.6 (1) | 1.0 (1) | 1 (0.4) | 1 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 5.0 (10) | 1.8 (2) | 2.1 (4) | 10 (12) | 10 (10) | ∞ | ∞2e4 | 0/15 |
| DASA korosec noisy | 58 (122) | 51 (47) | 46 (45) | 118 (56) | 314 (223) | ∞ | ∞1e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 3.6 (6) | 1.9 (2) | 4.1 (6) | ∞ | ∞ | ∞ | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 1.2 (1) | 6.0 (2) | 2.4 (5) | 2.5 (6) | 4.6 (8) | 17 (18) | 21 (28) | 1/15 |
| FULLNEWUOA ros noisy | 25 (23) | 14 (14) | 31 (33) | 14 (9) | ∞ | ∞ | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 2.3 (2) | 1.3 (0.7) | 1.9 (1) | 1.8 (1) | ∞ | ∞ | ∞3953 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 10 (17) | 5.4 (5) | 2.8 (4) | 1.9 (2) | 1.2 (1) | 4.0 (4) | ∞2e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.2 (0.8) | 1.0 (1) | 1.00 (0.5) | 1.7 (3) | 1.9 (5) | ∞ | ∞2e4 | 0/19 |
| MCS huyer noisy | 1.0 (0.4) | 1.4 (2) | 4.2 (6) | 8.4 (11) | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 6.3 (9) | 2.3 (2) | 1.9 (2) | 4.0 (4) | 8.2 (4) | 97 (86) | 662 (1480) | 0/15 |
| PSO Bounds el-abd noisy | 1.6 (2) | 55 (149) | 21 (16) | 17 (18) | 21 (19) | 37 (28) | 67 (64) | 1/15 |
| PSO el-abd noisy | 4.6 (21) | 55 (75) | 12 (32) | 13 (18) | 11 (14) | 24 (55) | 66 (59) | 0/15 |
| RANDOMSEARCH auger noisy | 2.8 (3) | 3.2 (4) | 4.4 (2) | 31 (20) | 116 (121) | ∞ | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 3.5 (1) | 2.6 (3) | 5.1 (11) | 2.5 (4) | ∞ | ∞ | ∞5028 | 0/15 |
| VNS garcia-martinez noisy | 41 (60) | 11 (7) | 5.6 (3) | 4.5 (4) | 3.8 (7) | 29 (34) | 412 (387) | 5/15 |
| iAMALGAM bosman noisy | 11 (18) | 5.7 (9) | 4.5 (5) | 3.4 (5) | 2.0 (3) | 3.3 (2) | 6.5 (5) | 15/15 |
| Δ fopt f118, 2-D |
1e1 21 |
1e0 103 |
1e-1 132 |
1e-2 503 |
1e-3 584 |
1e-5 776 |
1e-7 972 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 11 (7) | 13 (6) | 20 (7) | 12 (8) | 60 (76) | 2412 (1978) | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 3.0 (1) | 1 (0.3) | 1.0 (0.1) | 1.6 (0.4) | 4.0 (12) | 14 (14) | 20 (25) | 15/15 |
| BAYEDA gallagher noisy | 5.9 (4) | 28 (30) | 66 (68) | 113 (115) | ∞ | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 17 (21) | 16 (28) | 59 (52) | 49 (55) | 42 (44) | 45 (37) | 56 (70) | 1/15 |
| BIPOP-CMA-ES hansen noisy | 15 (16) | 7.7 (8) | 7.4 (6) | 2.4 (1) | 2.2 (0.4) | 2.1 (0.3) | 1.9 (0.3) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 18 (38) | 11 (13) | 21 (25) | 12 (6) | 45 (64) | ∞ | ∞2e4 | 0/15 |
| DASA korosec noisy | 127 (90) | 111 (104) | 239 (401) | 120 (81) | 1332 (2102) | ∞ | ∞1e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 14 (5) | 15 (34) | 29 (17) | 13 (10) | 19 (28) | ∞ | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 9.0 (9) | 15 (14) | 41 (31) | 49 (106) | 195 (389) | 1777 (1837) | ∞2e5 | 0/15 |
| FULLNEWUOA ros noisy | 2.3 (3) | 2.8 (4) | 7.3 (5) | 3.5 (4) | 7.5 (8) | 221 (124) | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 9.4 (7) | 3.6 (3) | 3.1 (0.9) | 1.5 (0.9) | 2.8 (2) | 4.9 (3) | ∞1567 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 17 (27) | 6.2 (4) | 6.1 (3) | 1.9 (0.5) | 1.7 (0.2) | 1.4 (0.4) | 1.3 (0.3) | 15/15 |
| MA-LS-CHAIN molina noisy | 6.9 (4) | 6.2 (5) | 7.6 (3) | 2.6 (0.8) | 2.7 (2) | 3.8 (0.4) | 3.9 (8) | 15/15 |
| MCS huyer noisy | 1.3 (1) | 1.3 (1) | 41 (67) | 38 (67) | 151 (141) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 17 (13) | 19 (11) | 41 (41) | 43 (16) | 143 (212) | 5451 (9318) | ∞2e6 | 0/15 |
| PSO Bounds el-abd noisy | 12 (11) | 149 (5) | 136 (407) | 176 (232) | 369 (797) | ∞ | ∞2e5 | 0/15 |
| PSO el-abd noisy | 9.5 (19) | 9.4 (17) | 42 (176) | 80 (220) | 195 (266) | 1187 (1611) | ∞2e5 | 0/15 |
| RANDOMSEARCH auger noisy | 14 (9) | 46 (46) | 253 (425) | 336 (229) | 3449 (4173) | ∞ | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 1.00 (0.5) | 1.0 (5) | 4.1 (8) | 6.7 (9) | 19 (23) | 95 (154) | ∞5028 | 0/15 |
| VNS garcia-martinez noisy | 14 (9) | 3.7 (1.0) | 3.4 (1) | 1.0 (0.2) | 1.00 (0.3) | 1.0 (0.1) | 1.0 (0.3) | 15/15 |
| iAMALGAM bosman noisy | 2.3 (1) | 3.4 (16) | 8.9 (17) | 5.0 (8) | 8.5 (10) | 14 (17) | 35 (21) | 15/15 |
| Δ fopt f119, 2-D |
1e1 1 |
1e0 11 |
1e-1 71 |
1e-2 176 |
1e-3 1040 |
1e-5 4767 |
1e-7 10082 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.2 (2) | 1.8 (2) | 2.9 (2) | 7.1 (5) | 3.0 (0.5) | 1.9 (0.8) | 8.5 (10) | 15/15 |
| AMALGAM bosman noisy | 2.3 (2) | 76 (1) | 13 (87) | 12 (30) | 3.3 (7) | 1.2 (2) | 1.0 (0.8) | 15/15 |
| BAYEDA gallagher noisy | 1.9 (0) | 6.1 (1) | 4.4 (3) | 4.0 (3) | 2.1 (2) | 3.9 (5) | ∞4000 | 0/15 |
| BFGS ros noisy | 60 (53) | 57 (96) | 159 (148) | 573 (1038) | ∞ | ∞ | ∞7089 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 5.3 (11) | 2.8 (1) | 1.2 (0.7) | 1.0 (0.7) | 1.6 (0.7) | 2.0 (2) | 3.0 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.1 (2) | 11 (19) | 7.9 (10) | 7.2 (11) | 1.6 (2) | 2.4 (2) | 6.6 (8) | 3/15 |
| DASA korosec noisy | 127 (118) | 276 (394) | 167 (181) | 357 (244) | 204 (318) | 600 (788) | 1771 (2059) | 0/15 |
| DE-PSO garcia-nieto noisy | 2.2 (2) | 2.5 (4) | 3.6 (2) | 3.7 (1) | 1.00 (0.3) | 1 (0.5) | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 1.7 (2) | 2.3 (3) | 2.6 (2) | 4.9 (2) | 3.1 (2) | 2.9 (1) | 32 (75) | 3/15 |
| FULLNEWUOA ros noisy | 4.5 (4) | 8.5 (0.3) | 4.8 (7) | 13 (17) | 11 (9) | 38 (48) | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 2.2 (2) | 2.2 (3) | 4.1 (2) | 4.3 (5) | 1.6 (3) | 2.0 (2) | ∞1319 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.3 (6) | 2.2 (3) | 1.0 (0.6) | 3.8 (8) | 1.3 (3) | 1.7 (0.7) | 1.2 (0.5) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.3 (0.8) | 2.5 (4) | 2.6 (2) | 4.3 (3) | 1.4 (0.9) | 1.0 (0.4) | 2.1 (2) | 6/15 |
| MCS huyer noisy | 1.4 (1) | 0.98 (1) | 1.2 (1) | 40 (51) | 145 (69) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 15 (73) | 22 (39) | 7.3 (9) | 3.6 (3) | 1.1 (0.7) | 3.3 (3) | 11 (7) | 15/15 |
| PSO Bounds el-abd noisy | 2.9 (3) | 2.0 (2) | 3.3 (2) | 5.5 (6) | 3.6 (2) | 4.0 (3) | 45 (48) | 3/15 |
| PSO el-abd noisy | 2.7 (1) | 2.9 (3) | 2.5 (0.8) | 3.5 (3) | 1.5 (0.3) | 4.4 (8) | 47 (60) | 2/15 |
| RANDOMSEARCH auger noisy | 2.3 (1) | 2.1 (2) | 6.9 (8) | 77 (51) | 375 (343) | ∞ | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 2.7 (2) | 1.3 (1) | 3.2 (4) | 4.0 (5) | 2.7 (2) | 2.6 (4) | 7.4 (6) | 0/15 |
| VNS garcia-martinez noisy | 3.0 (2) | 4.1 (3) | 2.8 (0.4) | 1.8 (0.3) | 2.5 (3) | 2.4 (3) | 6.6 (7) | 15/15 |
| iAMALGAM bosman noisy | 2.0 (2) | 2.0 (3) | 7.8 (13) | 12 (30) | 4.5 (4) | 2.1 (2) | 1.6 (2) | 15/15 |
| Δ fopt f120, 2-D |
1e1 1 |
1e0 11 |
1e-1 374 |
1e-2 2514 |
1e-3 5724 |
1e-5 75406 |
1e-7 1.9e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.6 (2) | 1.1 (1) | 2.0 (2) | 1.2 (0.8) | 2.0 (1) | 1.3 (2) | 6.1 (5) | 9/15 |
| AMALGAM bosman noisy | 1.7 (2) | 1.4 (1) | 6.4 (6) | 7.3 (9) | 10 (9) | 6.9 (6) | 21 (9) | 2/15 |
| BAYEDA gallagher noisy | 1.6 (1) | 3.1 (2) | 22 (32) | ∞ | ∞ | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 11 (13) | 21 (22) | 14 (12) | 10 (14) | ∞ | ∞ | ∞1662 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 6.2 (9) | 11 (43) | 2.3 (5) | 1.1 (1) | 1.0 (0.7) | 1.00 (0.5) | 1.0 (0.6) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 3.6 (8) | 14 (21) | 3.4 (6) | 9.0 (9) | 52 (38) | ∞ | ∞2e4 | 0/15 |
| DASA korosec noisy | 120 (172) | 317 (804) | 61 (53) | 73 (100) | 312 (214) | 229 (224) | ∞1e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.1 (3) | 3.3 (4) | 2.2 (1) | 4.0 (4) | ∞ | ∞ | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 2.5 (2) | 1.0 (1) | 1.1 (1) | 1.4 (0.9) | 3.0 (3) | 4.2 (5) | ∞2e5 | 0/15 |
| FULLNEWUOA ros noisy | 67 (134) | 79 (101) | 17 (15) | 76 (144) | ∞ | ∞ | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 2.1 (2) | 2.1 (2) | 1.1 (0.6) | 3.8 (6) | ∞ | ∞ | ∞3741 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.1 (2) | 36 (8) | 14 (27) | 5.1 (3) | 5.0 (4) | ∞ | ∞2e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 2.3 (3) | 2.2 (2) | 1.00 (2) | 1.0 (0.8) | 1.8 (1) | 3.9 (4) | ∞2e4 | 0/15 |
| MCS huyer noisy | 1.4 (1) | 4.0 (7) | 3.1 (3) | 14 (20) | 41 (41) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 16 (4) | 26 (38) | 4.8 (4) | 5.3 (3) | 10 (18) | 22 (18) | ∞2e6 | 0/15 |
| PSO Bounds el-abd noisy | 2.0 (2) | 3.1 (4) | 1.1 (0.7) | 7.0 (41) | 6.5 (18) | 4.9 (5) | ∞2e5 | 0/15 |
| PSO el-abd noisy | 2.7 (2) | 2.5 (4) | 39 (268) | 7.0 (2) | 5.8 (4) | 4.2 (4) | ∞2e5 | 0/15 |
| RANDOMSEARCH auger noisy | 2.1 (2) | 2.2 (2) | 2.2 (2) | 5.9 (3) | 26 (24) | ∞ | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 2.4 (6) | 2.6 (1) | 2.0 (2) | 3.9 (6) | ∞ | ∞ | ∞5028 | 0/15 |
| VNS garcia-martinez noisy | 3.0 (2) | 4.1 (3) | 20 (21) | 5.9 (5) | 4.9 (4) | 8.1 (7) | 258 (387) | 0/15 |
| iAMALGAM bosman noisy | 1.9 (1) | 58 (123) | 26 (24) | 14 (9) | 15 (15) | 17 (14) | 156 (156) | 0/15 |
| Δ fopt f121, 2-D |
1e1 1 |
1e0 7.0 |
1e-1 42 |
1e-2 144 |
1e-3 327 |
1e-5 1120 |
1e-7 1702 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.8 (1) | 5.0 (6) | 9.4 (8) | 18 (16) | 90 (53) | 3528 (3751) | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 2.0 (1) | 2.8 (4) | 1.4 (0.8) | 22 (25) | 30 (34) | 38 (52) | 155 (201) | 14/15 |
| BAYEDA gallagher noisy | 1.9 (1) | 4.8 (8) | 10 (23) | 4.8 (8) | 4.7 (6) | 53 (44) | ∞4000 | 0/15 |
| BFGS ros noisy | 31 (160) | 34 (68) | 16 (11) | 15 (9) | 27 (14) | 48 (56) | ∞7770 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 4.3 (5) | 3.5 (1) | 1.4 (0.9) | 1.00 (0.6) | 1.3 (0.6) | 2.0 (1) | 2.6 (1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 4.7 (2) | 8.0 (12) | 14 (22) | 20 (22) | 61 (55) | ∞ | ∞2e4 | 0/15 |
| DASA korosec noisy | 219 (735) | 274 (156) | 228 (133) | 877 (699) | 5460 (9787) | ∞ | ∞1e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 3.1 (2) | 4.2 (6) | 5.1 (5) | 4.1 (2) | 5.4 (4) | ∞ | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 2.2 (2) | 4.0 (5) | 3.2 (2) | 15 (15) | 179 (206) | ∞ | ∞2e5 | 0/15 |
| FULLNEWUOA ros noisy | 5.6 (4) | 1.6 (0.7) | 1.7 (3) | 1.5 (2) | 8.9 (7) | 25 (35) | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 2.5 (2) | 2.6 (2) | 7.6 (1) | 5.2 (4) | 10 (7) | ∞ | ∞3574 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.2 (7) | 5.3 (5) | 1.8 (3) | 1.1 (0.5) | 1.0 (0.6) | 1.2 (0.2) | 1.00 (0.1) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.3 (0.8) | 4.6 (6) | 4.0 (2) | 4.1 (2) | 4.4 (1) | 7.1 (7) | 38 (13) | 1/15 |
| MCS huyer noisy | 1.4 (1) | 1.0 (1) | 1.00 (0.9) | 99 (78) | 513 (615) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 4.5 (4) | 4.8 (9) | 4.3 (4) | 10 (14) | 58 (14) | 5520 (7150) | ∞2e6 | 0/15 |
| PSO Bounds el-abd noisy | 3.1 (3) | 3.1 (4) | 7.4 (12) | 236 (702) | 401 (545) | 1246 (1518) | ∞2e5 | 0/15 |
| PSO el-abd noisy | 2.2 (2) | 3.3 (4) | 6.2 (2) | 89 (236) | 310 (490) | 2527 (1562) | ∞2e5 | 0/15 |
| RANDOMSEARCH auger noisy | 2.3 (2) | 2.7 (3) | 9.4 (9) | 69 (100) | 833 (1381) | 2.7e4 (4e4) | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 2.6 (1) | 1.9 (0.8) | 2.2 (6) | 11 (19) | 73 (51) | ∞ | ∞5028 | 0/15 |
| VNS garcia-martinez noisy | 3.0 (2) | 6.5 (4) | 4.0 (0.6) | 1.7 (0.6) | 1.6 (0.6) | 1.00 (0.2) | 1.1 (0.2) | 15/15 |
| iAMALGAM bosman noisy | 2.3 (2) | 2.2 (2) | 15 (100) | 11 (18) | 25 (50) | 64 (72) | 247 (289) | 15/15 |
| Δ fopt f122, 2-D |
1e1 3.0 |
1e0 95 |
1e-1 523 |
1e-2 1411 |
1e-3 2244 |
1e-5 4351 |
1e-7 9561 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.0 (2) | 2.9 (4) | 4.4 (2) | 4.0 (0.7) | 4.3 (0.4) | 4.1 (0.4) | 3.3 (1.0) | 15/15 |
| AMALGAM bosman noisy | 2.5 (2) | 14 (31) | 6.6 (14) | 4.8 (5) | 3.7 (4) | 2.9 (2) | 1.9 (0.5) | 15/15 |
| BAYEDA gallagher noisy | 1.7 (2) | 3.3 (6) | 3.4 (2) | 10 (16) | ∞ | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 45 (89) | 40 (71) | ∞ | ∞ | ∞ | ∞ | ∞6855 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 2.7 (4) | 2.0 (1) | 1.00 (1) | 1.00 (0.8) | 1.00 (1) | 1.0 (1) | 1.0 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 15 (50) | 5.1 (14) | 9.2 (10) | 9.3 (9) | 60 (74) | ∞ | ∞2e4 | 0/15 |
| DASA korosec noisy | 311 (723) | 171 (142) | 297 (330) | 964 (957) | 7747 (1e4) | ∞ | ∞1e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 0.98 (1) | 2.6 (2) | 2.0 (0.5) | 1.5 (0.4) | 1.9 (1) | 6.9 (10) | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 2.8 (2) | 1.2 (0.9) | 8.9 (5) | 8.6 (1) | 10 (1) | 9.0 (1) | 5.7 (0.4) | 15/15 |
| FULLNEWUOA ros noisy | 11 (22) | 7.0 (13) | 20 (32) | 62 (101) | ∞ | ∞ | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 1.8 (0.7) | 1.8 (2) | 3.3 (5) | ∞ | ∞ | ∞ | ∞1903 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 3.8 (1) | 15 (14) | 5.0 (8) | 2.4 (3) | 2.5 (2) | 1.6 (1) | 1.2 (0.4) | 14/15 |
| MA-LS-CHAIN molina noisy | 1.6 (1) | 2.1 (3) | 3.6 (3) | 3.1 (1) | 2.7 (0.8) | 2.7 (0.8) | 3.0 (1) | 1/15 |
| MCS huyer noisy | 1.4 (1) | 1.0 (2) | 23 (13) | 239 (301) | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 20 (34) | 3.5 (2) | 7.2 (9) | 16 (12) | 65 (47) | 2144 (1347) | ∞2e6 | 0/15 |
| PSO Bounds el-abd noisy | 1.7 (2) | 1.3 (0.9) | 3.6 (2) | 6.1 (3) | 6.9 (3) | 7.8 (3) | 6.5 (2) | 15/15 |
| PSO el-abd noisy | 2.1 (3) | 3.5 (8) | 11 (6) | 7.0 (1) | 5.6 (0.8) | 4.8 (3) | 3.1 (3) | 15/15 |
| RANDOMSEARCH auger noisy | 2.4 (4) | 2.9 (3) | 58 (65) | 1408 (888) | ∞ | ∞ | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 1.8 (0.8) | 2.5 (3) | 3.2 (1) | 3.1 (1) | 6.1 (4) | ∞ | ∞5028 | 0/15 |
| VNS garcia-martinez noisy | 2.2 (2) | 27 (68) | 15 (22) | 6.9 (8) | 6.1 (6) | 16 (8) | 59 (102) | 15/15 |
| iAMALGAM bosman noisy | 1.7 (2) | 19 (47) | 6.6 (7) | 7.8 (13) | 7.5 (4) | 6.0 (4) | 3.8 (3) | 15/15 |
| Δ fopt f123, 2-D |
1e1 3.0 |
1e0 211 |
1e-1 6371 |
1e-2 24855 |
1e-3 38734 |
1e-5 1.0e5 |
1e-7 2.2e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.7 (2) | 1.2 (2) | 1.0 (0.7) | 1.6 (0.7) | 7.6 (10) | 338 (236) | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.8 (1) | 22 (66) | 6.0 (9) | 13 (15) | 50 (84) | ∞ | ∞2e6 | 0/15 |
| BAYEDA gallagher noisy | 2.7 (1) | 23 (34) | ∞ | ∞ | ∞ | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 6.7 (6) | 7.1 (6) | ∞ | ∞ | ∞ | ∞ | ∞1584 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 55 (42) | 5.2 (7) | 1.2 (0.9) | 1.0 (0.3) | 1.0 (0.6) | 1.0 (0.5) | 1.00 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 21 (25) | 7.7 (19) | 10 (10) | 5.8 (9) | ∞ | ∞ | ∞2e4 | 0/15 |
| DASA korosec noisy | 137 (14) | 77 (58) | 52 (67) | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.8 (2) | 2.7 (6) | 2.1 (3) | ∞ | ∞ | ∞ | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 1.7 (2) | 1.4 (1) | 1.2 (1) | 6.5 (9) | ∞ | ∞ | ∞2e5 | 0/15 |
| FULLNEWUOA ros noisy | 76 (123) | 27 (18) | 31 (22) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 1.7 (1) | 1.3 (0.8) | 1.4 (3) | ∞ | ∞ | ∞ | ∞3713 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 78 (102) | 23 (23) | 4.7 (8) | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 2.4 (2) | 1.2 (0.8) | 1.2 (1) | 12 (9) | ∞ | ∞ | ∞2e4 | 0/15 |
| MCS huyer noisy | 1.0 (1) | 1.8 (3) | 8.7 (9) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 69 (202) | 8.7 (5) | 4.9 (6) | 38 (35) | 350 (402) | ∞ | ∞2e6 | 0/15 |
| PSO Bounds el-abd noisy | 2.4 (2) | 1.2 (3) | 5.9 (16) | 6.1 (19) | 36 (30) | ∞ | ∞2e5 | 0/15 |
| PSO el-abd noisy | 2.6 (1) | 3.2 (6) | 3.9 (0.7) | 7.0 (13) | 36 (27) | ∞ | ∞2e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.9 (3) | 1.0 (0.5) | 5.3 (6) | 156 (133) | ∞ | ∞ | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 1.3 (1) | 3.0 (2) | 2.6 (2) | 2.9 (4) | 1.9 (1) | ∞ | ∞5028 | 0/15 |
| VNS garcia-martinez noisy | 2.2 (2) | 46 (56) | 5.1 (4) | 5.7 (2) | 45 (55) | ∞ | ∞2e7 | 0/15 |
| iAMALGAM bosman noisy | 2.2 (2) | 57 (12) | 7.6 (8) | 25 (27) | 133 (123) | 298 (175) | ∞2e6 | 0/15 |
| Δ fopt f124, 2-D |
1e1 4.0 |
1e0 64 |
1e-1 316 |
1e-2 680 |
1e-3 1991 |
1e-5 5595 |
1e-7 9019 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.3 (1) | 2.5 (4) | 5.8 (4) | 174 (161) | 3927 (5501) | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.2 (1) | 11 (73) | 8.3 (13) | 12 (17) | 23 (17) | 44 (28) | 454 (663) | 5/15 |
| BAYEDA gallagher noisy | 1.4 (1) | 3.3 (5) | 2.8 (2) | 2.9 (1) | 9.4 (7) | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 43 (12) | 77 (42) | ∞ | ∞ | ∞ | ∞ | ∞7197 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.0 (4) | 3.0 (0.6) | 1.0 (0.4) | 1.00 (1.0) | 1.0 (2) | 1.5 (1) | 3.1 (5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.7 (2) | 4.9 (3) | 5.7 (2) | 88 (151) | 141 (98) | ∞ | ∞2e4 | 0/15 |
| DASA korosec noisy | 98 (99) | 165 (74) | 771 (648) | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.3 (0.8) | 3.9 (1) | 4.2 (3) | 8.9 (12) | ∞ | ∞ | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 0.88 (0.8) | 2.0 (0.9) | 9.2 (4) | 1324 (2382) | ∞ | ∞ | ∞2e5 | 0/15 |
| FULLNEWUOA ros noisy | 2.2 (2) | 5.4 (7) | 9.1 (21) | 49 (41) | ∞ | ∞ | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 1.1 (0.8) | 2.7 (1) | 6.7 (14) | 24 (36) | ∞ | ∞ | ∞2299 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.3 (1) | 2.2 (1) | 1.5 (2) | 1.6 (0.6) | 1.3 (1) | 1.0 (0.9) | 1.0 (0.4) | 15/15 |
| MA-LS-CHAIN molina noisy | 1.8 (2) | 2.1 (2) | 2.7 (1) | 42 (51) | 143 (171) | ∞ | ∞2e4 | 0/15 |
| MCS huyer noisy | 0.88 (1) | 0.99 (0.4) | 96 (127) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 9.0 (28) | 5.6 (3) | 6.0 (13) | 36 (26) | 2027 (2082) | ∞ | ∞2e6 | 0/15 |
| PSO Bounds el-abd noisy | 1.2 (0.8) | 1.8 (1) | 112 (11) | 430 (457) | ∞ | ∞ | ∞2e5 | 0/15 |
| PSO el-abd noisy | 1.2 (1) | 1.8 (2) | 13 (15) | 564 (308) | 466 (402) | ∞ | ∞2e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.2 (2) | 5.9 (6) | 84 (45) | 2914 (2580) | 1.5e4 (8790) | ∞ | ∞2e6 | 0/15 |
| SNOBFIT huyer noisy | 1.8 (1) | 3.4 (6) | 8.2 (14) | 107 (133) | ∞ | ∞ | ∞5028 | 0/15 |
| VNS garcia-martinez noisy | 1.6 (2) | 26 (0.6) | 13 (35) | 22 (0.1) | 21 (22) | 219 (187) | 337 (262) | 15/15 |
| iAMALGAM bosman noisy | 1.6 (2) | 5.6 (0.2) | 10 (18) | 23 (31) | 30 (10) | 106 (187) | 666 (581) | 3/15 |
| Δ fopt f125, 2-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 149 |
1e-3 1150 |
1e-5 3854 |
1e-7 7556 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1 (0) | 4.3 (5) | 77 (72) | 3.6 (2) | 1.5 (0.8) | 1.6 (2) | 1.6 (1) | 15/15 |
| AMALGAM bosman noisy | 1.1 (0.5) | 3.3 (4) | 38 (44) | 1.00 (0.9) | 13 (19) | 5.5 (3) | 2.9 (2) | 15/15 |
| BAYEDA gallagher noisy | 1.3 (0.5) | 5.5 (8) | 32 (27) | 1.5 (2) | 1 (2) | 3.4 (3) | ∞4000 | 0/15 |
| BFGS ros noisy | 11 (26) | 87 (200) | 727 (720) | 40 (23) | 49 (95) | ∞ | ∞7944 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.1 (0) | 5.1 (5) | 34 (41) | 1.9 (1) | 3.0 (4) | 1.9 (0.9) | 1.3 (0.9) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1 (0) | 3.5 (3) | 84 (146) | 3.9 (2) | 4.4 (4) | 4.0 (4) | 3.2 (5) | 4/15 |
| DASA korosec noisy | 3.9 (0) | 275 (519) | 2398 (3663) | 64 (45) | 91 (62) | 116 (114) | 218 (244) | 3/15 |
| DE-PSO garcia-nieto noisy | 1.6 (0.5) | 5.6 (2) | 115 (108) | 2.5 (3) | 1.7 (1) | 1.00 (0.9) | 1.00 (1) | 3/15 |
| EDA-PSO el-abd noisy | 1.2 (0.5) | 3.9 (3) | 52 (48) | 1.4 (1) | 1.9 (1) | 2.4 (2) | 2.1 (1) | 15/15 |
| FULLNEWUOA ros noisy | 1.8 (3) | 7.3 (6) | 66 (41) | 2.5 (2) | 3.5 (2) | 2.7 (2) | 12 (14) | 1/15 |
| GLOBAL pal noisy | 1.1 (0.2) | 4.7 (4) | 56 (67) | 2.3 (3) | 1.4 (1.0) | 1.5 (3) | 1.4 (1) | 3/15 |
| IPOP-SEP-CMA-ES ros noisy | 1 (0) | 2.7 (6) | 198 (20) | 4.3 (9) | 5.4 (4) | 3.3 (2) | 2.4 (2) | 11/15 |
| MA-LS-CHAIN molina noisy | 1.2 (0.8) | 5.6 (4) | 44 (51) | 2.0 (1) | 4.0 (3) | 2.1 (0.4) | 1.9 (3) | 14/24 |
| MCS huyer noisy | 1 (0) | 1 (0) | 1 (0)★3 | 1.2 (2) | 8.0 (3) | 13 (17) | 15 (22) | 2/15 |
| ONEFIFTH auger noisy | 3.0 (1) | 22 (7) | 132 (232) | 5.4 (7) | 4.2 (4) | 3.0 (2) | 6.5 (8) | 15/15 |
| PSO Bounds el-abd noisy | 1.3 (0.5) | 4.0 (3) | 32 (28) | 1.6 (3) | 2.5 (1) | 1.8 (2) | 2.2 (0.3) | 15/15 |
| PSO el-abd noisy | 1.1 (0) | 5.1 (4) | 43 (34) | 2.2 (1) | 7.4 (6) | 6.1 (0.9) | 3.5 (0.6) | 15/15 |
| RANDOMSEARCH auger noisy | 1.1 (0) | 4.1 (3) | 53 (46) | 3.2 (4) | 4.4 (10) | 12 (5) | 156 (148) | 4/15 |
| SNOBFIT huyer noisy | 1.2 (0.5) | 4.9 (2) | 31 (29) | 4.2 (7) | 4.3 (5) | 2.4 (3) | 1.6 (2) | 4/15 |
| VNS garcia-martinez noisy | 1.2 (0.5) | 2.2 (2) | 44 (33) | 1.7 (0.8) | 9.3 (9) | 4.0 (3) | 2.4 (2) | 15/15 |
| iAMALGAM bosman noisy | 1.2 (0.2) | 4.7 (2) | 502 (19) | 13 (21) | 20 (15) | 7.2 (10) | 4.2 (4) | 15/15 |
| Δ fopt f126, 2-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 301 |
1e-3 3417 |
1e-5 11056 |
1e-7 36387 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1 (0) | 4.6 (6) | 47 (21) | 1.3 (1) | 1.6 (0.9) | 2.0 (2) | 1.4 (0.6) | 15/15 |
| AMALGAM bosman noisy | 1.1 (0.5) | 5.0 (4) | 41 (27) | 8.3 (16) | 10 (8) | 9.1 (18) | 5.3 (3) | 15/15 |
| BAYEDA gallagher noisy | 1.1 (0.2) | 3.6 (5) | 339 (114) | 37 (50) | 7.6 (11) | 5.1 (9) | ∞4000 | 0/15 |
| BFGS ros noisy | 2.0 (4) | 17 (18) | 167 (250) | 7.7 (7) | ∞ | ∞ | ∞1761 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1 (0) | 4.8 (2) | 42 (23) | 1.4 (1) | 1.5 (2) | 2.6 (3) | 2.5 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.1 (0) | 2.8 (2) | 231 (218) | 1.9 (4) | 3.9 (3) | 6.2 (6) | ∞2e4 | 0/15 |
| DASA korosec noisy | 3.7 (1) | 416 (789) | 3427 (3312) | 50 (49) | 59 (39) | 68 (83) | 79 (145) | 3/15 |
| DE-PSO garcia-nieto noisy | 1.2 (0.2) | 4.7 (3) | 64 (62) | 3.6 (7) | 3.3 (0.7) | 2.6 (4) | 1.6 (3) | 0/15 |
| EDA-PSO el-abd noisy | 1.2 (1) | 3.5 (3) | 33 (34) | 1.2 (1) | 1.5 (0.8) | 2.8 (4) | 3.2 (3) | 9/15 |
| FULLNEWUOA ros noisy | 19 (136) | 132 (274) | 557 (328) | 8.9 (9) | 17 (23) | ∞ | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 1.1 (0) | 3.7 (5) | 57 (64) | 1.7 (3) | 2.4 (5) | 1.5 (1) | ∞3893 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.1 (0.2) | 18 (44) | 590 (1362) | 7.8 (9) | 7.4 (8) | 5.0 (1) | 8.2 (7) | 0/15 |
| MA-LS-CHAIN molina noisy | 1.3 (0.5) | 6.3 (8) | 53 (19) | 1.3 (0.8) | 1.0 (0.9) | 1.0 (1) | 1.00 (1) | 2/15 |
| MCS huyer noisy | 1 (0) | 1 (0) | 1 (0)★3 | 1.6 (2) | 3.4 (3) | 7.1 (5) | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 2.1 (0) | 39 (74) | 225 (290) | 2.5 (3) | 4.7 (5) | 8.3 (9) | 8.0 (7) | 15/15 |
| PSO Bounds el-abd noisy | 1.1 (0.5) | 6.7 (6) | 51 (121) | 1.0 (0.6) | 4.6 (0.3) | 4.1 (7) | 2.6 (3) | 11/15 |
| PSO el-abd noisy | 1.3 (0.5) | 5.2 (1) | 57 (30) | 1.2 (1) | 11 (29) | 6.9 (15) | 4.2 (3) | 9/15 |
| RANDOMSEARCH auger noisy | 1 (0) | 2.9 (2) | 31 (44) | 1.8 (2) | 1.6 (1.0) | 4.2 (3) | 13 (17) | 5/15 |
| SNOBFIT huyer noisy | 1.3 (0.5) | 6.9 (4) | 56 (94) | 5.9 (6) | 10 (22) | 3.1 (2) | 2.0 (2) | 0/15 |
| VNS garcia-martinez noisy | 1.2 (0.5) | 2.2 (0.5) | 67 (119) | 17 (56) | 7.0 (5) | 5.4 (4) | 5.4 (3) | 15/15 |
| iAMALGAM bosman noisy | 1.1 (0) | 4.7 (6) | 956 (3166) | 20 (20) | 10 (12) | 14 (19) | 8.4 (14) | 14/15 |
| Δ fopt f127, 2-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 186 |
1e-3 1185 |
1e-5 6771 |
1e-7 7277 |
#succ 13/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.1 (0.2) | 6.3 (9) | 43 (22) | 2.0 (0.4) | 3.7 (5) | 7.1 (4) | 90 (76) | 11/15 |
| AMALGAM bosman noisy | 1.3 (0.8) | 4.7 (2) | 28 (26) | 11 (11) | 16 (23) | 10 (17) | 17 (11) | 15/15 |
| BAYEDA gallagher noisy | 1.1 (0) | 6.1 (6) | 50 (32) | 1 (0.6) | 1.0 (0.6) | 4.1 (8) | ∞4000 | 0/15 |
| BFGS ros noisy | 5.2 (0) | 54 (79) | 584 (1049) | 15 (12) | 45 (108) | ∞ | ∞7398 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.1 (0) | 5.3 (4) | 32 (72) | 1.9 (2) | 2.8 (2) | 1.7 (2) | 2.2 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.1 (0) | 6.5 (8) | 139 (333) | 5.1 (7) | 12 (13) | 14 (7) | ∞2e4 | 0/15 |
| DASA korosec noisy | 14 (0) | 172 (376) | 2172 (1496) | 86 (135) | 212 (253) | 438 (314) | 2416 (1733) | 1/15 |
| DE-PSO garcia-nieto noisy | 1.3 (0.5) | 3.1 (3) | 27 (20) | 1.7 (1) | 1.6 (2) | 2.0 (2) | 4.0 (5) | 0/15 |
| EDA-PSO el-abd noisy | 1.3 (1) | 3.7 (2) | 40 (30) | 2.1 (2) | 6.4 (7) | 12 (12) | 116 (134) | 0/15 |
| FULLNEWUOA ros noisy | 1.4 (2) | 13 (4) | 84 (84) | 2.0 (1) | 5.3 (12) | 7.2 (11) | 22 (24) | 1/15 |
| GLOBAL pal noisy | 1.3 (0.2) | 5.7 (5) | 66 (70) | 2.4 (2) | 7.7 (9) | ∞ | ∞3834 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.1 (0.5) | 4.9 (6) | 47 (24) | 2.8 (6) | 3.7 (8) | 1.0 (0.9) | 1.00 (0.9) | 13/15 |
| MA-LS-CHAIN molina noisy | 1.1 (0.5) | 7.3 (8) | 44 (36) | 1.3 (0.8) | 3.3 (4) | 3.2 (7) | 20 (17) | 1/15 |
| MCS huyer noisy | 1 (0) | 1 (0) | 1 (0)★3 | 3.2 (7) | 5.6 (5) | 6.4 (4) | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 1.9 (4) | 6.3 (7) | 64 (54) | 2.2 (2) | 7.1 (8) | 8.4 (3) | 88 (104) | 4/15 |
| PSO Bounds el-abd noisy | 1 (0) | 7.5 (11) | 44 (48) | 1.4 (1) | 89 (212) | 37 (38) | 125 (89) | 1/15 |
| PSO el-abd noisy | 1.4 (0.5) | 4.3 (3) | 35 (48) | 2.2 (2) | 30 (20) | 16 (24) | 86 (55) | 0/15 |
| RANDOMSEARCH auger noisy | 1.1 (0) | 4.4 (4) | 56 (60) | 2.7 (2) | 6.1 (4) | 11 (9) | 113 (70) | 5/15 |
| SNOBFIT huyer noisy | 1 (0) | 4.7 (5) | 36 (28) | 3.8 (7) | 11 (8) | 11 (6) | 10 (6) | 0/15 |
| VNS garcia-martinez noisy | 1.2 (0.5) | 2.2 (0.5) | 48 (70) | 7.5 (22) | 26 (31) | 8.0 (10) | 12 (15) | 15/15 |
| iAMALGAM bosman noisy | 1.1 (0) | 2.8 (2) | 27 (16) | 7.9 (15) | 10 (21) | 13 (11) | 38 (18) | 15/15 |
| Δ fopt f128, 2-D |
1e1 2.0 |
1e0 41 |
1e-1 134 |
1e-2 314 |
1e-3 387 |
1e-5 593 |
1e-7 620 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.2 (1) | 2.2 (2) | 2.2 (2) | 2.3 (2) | 2.7 (2) | 4.5 (1) | 6.2 (1) | 15/15 |
| AMALGAM bosman noisy | 0.90 (0.8) | 48 (1) | 32 (90) | 14 (25) | 12 (22) | 9.0 (15) | 10 (15) | 15/15 |
| BAYEDA gallagher noisy | 1 (0.6) | 4.8 (3) | 3.4 (2) | 5.2 (8) | 11 (8) | 18 (22) | 45 (85) | 2/15 |
| BFGS ros noisy | 11 (25) | 65 (61) | 59 (26) | 60 (38) | 271 (324) | ∞ | ∞7350 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.1 (2) | 7.9 (10) | 8.4 (13) | 5.1 (11) | 7.9 (17) | 5.4 (6) | 5.5 (4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.7 (1) | 16 (16) | 6.7 (7) | 3.0 (2) | 2.5 (2) | 1.9 (1) | 2.0 (2) | 15/15 |
| DASA korosec noisy | 45 (12) | 168 (206) | 138 (155) | 72 (107) | 75 (51) | 178 (80) | 401 (274) | 14/15 |
| DE-PSO garcia-nieto noisy | 0.93 (0.6) | 3.9 (5) | 4.4 (8) | 2.4 (7) | 2.2 (1.0) | 1.9 (0.7) | 2.4 (0.5) | 14/15 |
| EDA-PSO el-abd noisy | 1 (0.4) | 3.5 (6) | 2.2 (1) | 1.7 (1) | 2.6 (3) | 4.6 (1) | 5.8 (2) | 15/15 |
| FULLNEWUOA ros noisy | 2.8 (3) | 21 (22) | 13 (8) | 10 (15) | 10 (10) | 11 (10) | 15 (27) | 9/15 |
| GLOBAL pal noisy | 1.4 (2) | 1.0 (1) | 1.0 (0.9) | 1.00 (2) | 1.0 (0.1) | 1.0 (3) | 1.0 (1) | 15/15 |
| IPOP-SEP-CMA-ES ros noisy | 0.93 (0.2) | 29 (39) | 41 (36) | 21 (32) | 17 (17) | 14 (11) | 14 (15) | 14/15 |
| MA-LS-CHAIN molina noisy | 1.5 (1) | 1.6 (2) | 2.1 (4) | 1.8 (2) | 3.2 (2) | 3.0 (2) | 3.2 (2) | 15/15 |
| MCS huyer noisy | 1.3 (0.8) | 2.2 (2) | 1.9 (1) | 1.1 (0.7) | 1.1 (0.9) | 8.8 (20) | 82 (203) | 5/15 |
| ONEFIFTH auger noisy | 1.6 (2) | 11 (13) | 7.6 (12) | 3.7 (3) | 3.7 (4) | 2.7 (2) | 3.4 (4) | 15/15 |
| PSO Bounds el-abd noisy | 1.2 (0.8) | 1.9 (3) | 108 (0.7) | 46 (0.8) | 38 (388) | 28 (170) | 29 (82) | 14/15 |
| PSO el-abd noisy | 1.4 (2) | 2.4 (5) | 1.6 (2) | 1.2 (0.9) | 1.2 (0.6) | 1.5 (0.9) | 2.3 (1) | 15/15 |
| RANDOMSEARCH auger noisy | 1 (0.6) | 1.4 (0.8) | 1.8 (2) | 3.2 (4) | 8.8 (8) | 31 (30) | 540 (517) | 14/15 |
| SNOBFIT huyer noisy | 1.7 (2) | 4.8 (7) | 3.3 (5) | 3.0 (3) | 2.8 (2) | 3.6 (7) | 5.6 (8) | 12/15 |
| VNS garcia-martinez noisy | 0.90 (0.8) | 74 (2) | 59 (79) | 29 (29) | 25 (22) | 17 (13) | 16 (15) | 15/15 |
| iAMALGAM bosman noisy | 0.93 (0.5) | 110 (111) | 79 (140) | 41 (31) | 33 (29) | 22 (38) | 21 (30) | 15/15 |
| Δ fopt f129, 2-D |
1e1 2.0 |
1e0 65 |
1e-1 220 |
1e-2 523 |
1e-3 1902 |
1e-5 5944 |
1e-7 10661 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 0.97 (1) | 1.1 (1) | 1.5 (2) | 1.9 (3) | 1.4 (0.9) | 1.2 (1) | 1.2 (0.6) | 15/15 |
| AMALGAM bosman noisy | 1.3 (2) | 58 (96) | 48 (86) | 41 (91) | 14 (7) | 10 (10) | 6.1 (6) | 15/15 |
| BAYEDA gallagher noisy | 1.2 (0.5) | 5.9 (17) | 21 (18) | 21 (23) | 30 (26) | ∞ | ∞4000 | 0/15 |
| BFGS ros noisy | 7.2 (7) | 5.3 (7) | 5.4 (3) | 15 (16) | 13 (14) | ∞ | ∞1659 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.6 (2) | 12 (8) | 5.4 (4) | 4.4 (4) | 3.1 (0.9) | 2.5 (2) | 1.7 (3) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.1 (0.8) | 10 (9) | 7.2 (12) | 7.7 (9) | 3.1 (3) | 2.4 (4) | 6.3 (8) | 3/15 |
| DASA korosec noisy | 16 (26) | 88 (76) | 118 (48) | 80 (62) | 36 (42) | 48 (43) | 132 (164) | 6/15 |
| DE-PSO garcia-nieto noisy | 1.2 (1) | 3.8 (3) | 4.1 (7) | 3.3 (5) | 2.6 (4) | ∞ | ∞4040 | 0/15 |
| EDA-PSO el-abd noisy | 1.1 (0.4) | 1.8 (3) | 1.0 (2) | 1.00 (1) | 1 (1) | 1.2 (1) | 1.00 (0.6) | 15/15 |
| FULLNEWUOA ros noisy | 29 (53) | 38 (50) | 18 (29) | 59 (116) | 22 (12) | 32 (31) | ∞1e4 | 0/15 |
| GLOBAL pal noisy | 1.4 (2) | 1.0 (0.9) | 1.2 (0.8) | 2.0 (2) | 1.2 (0.6) | 1.0 (0.9) | 5.1 (8) | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.4 (0.5) | 20 (21) | 37 (59) | 35 (16) | 11 (14) | 5.8 (3) | 3.3 (4) | 5/15 |
| MA-LS-CHAIN molina noisy | 1.1 (1) | 1.0 (2) | 1.2 (1.0) | 1.8 (2) | 1.9 (2) | 1.5 (0.8) | 1.7 (2) | 9/15 |
| MCS huyer noisy | 1.4 (1) | 3.2 (3) | 2.1 (0.9) | 2.9 (2) | 2.1 (4) | 7.7 (10) | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 1.3 (1) | 7.4 (20) | 6.1 (3) | 7.9 (13) | 3.0 (2) | 3.8 (4) | 6.1 (4) | 15/15 |
| PSO Bounds el-abd noisy | 1.4 (1) | 1.2 (2) | 66 (455) | 140 (382) | 53 (132) | 18 (34) | 10 (9) | 10/15 |
| PSO el-abd noisy | 1.2 (2) | 222 (2) | 144 (6) | 62 (192) | 29 (53) | 15 (21) | 11 (28) | 10/15 |
| RANDOMSEARCH auger noisy | 1 (0.8) | 1.0 (1) | 1.00 (1) | 1.3 (2) | 1.6 (2) | 3.5 (1) | 21 (31) | 15/15 |
| SNOBFIT huyer noisy | 1.2 (0.8) | 3.6 (5) | 2.7 (3) | 1.9 (1) | 1.3 (2) | 1.0 (0.9) | 1.6 (1) | 4/15 |
| VNS garcia-martinez noisy | 0.90 (0.8) | 17 (54) | 48 (52) | 23 (19) | 11 (9) | 4.7 (3) | 3.0 (2) | 15/15 |
| iAMALGAM bosman noisy | 1.0 (0.6) | 56 (137) | 30 (44) | 30 (57) | 11 (7) | 9.3 (12) | 5.8 (2) | 15/15 |
| Δ fopt f130, 2-D |
1e1 2.0 |
1e0 45 |
1e-1 198 |
1e-2 497 |
1e-3 797 |
1e-5 1772 |
1e-7 4442 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.3 (1) | 1.0 (0.8) | 1.0 (2) | 1.5 (2) | 1.5 (0.8) | 4.1 (5) | 15 (20) | 15/15 |
| AMALGAM bosman noisy | 0.93 (0.5) | 45 (166) | 39 (73) | 16 (32) | 17 (34) | 20 (28) | 8.1 (11) | 15/15 |
| BAYEDA gallagher noisy | 1 (0.4) | 2.9 (4) | 9.0 (15) | 11 (9) | 10 (7) | 10 (12) | 13 (10) | 0/15 |
| BFGS ros noisy | 10 (26) | 22 (7) | 15 (23) | 14 (14) | 12 (15) | 20 (17) | 25 (26) | 1/15 |
| BIPOP-CMA-ES hansen noisy | 1.1 (0.5) | 24 (56) | 21 (28) | 10 (9) | 6.5 (11) | 3.0 (5) | 1.2 (1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.2 (0.9) | 11 (12) | 4.3 (2) | 1.8 (2) | 3.1 (5) | 4.0 (5) | 4.7 (3) | 7/15 |
| DASA korosec noisy | 46 (91) | 85 (88) | 88 (77) | 67 (51) | 63 (103) | 323 (258) | 699 (900) | 2/15 |
| DE-PSO garcia-nieto noisy | 1.5 (2) | 2.3 (3) | 2.6 (10) | 1.8 (0.8) | 1.8 (2) | 2.5 (3) | 2.3 (2) | 3/15 |
| EDA-PSO el-abd noisy | 1.2 (0.8) | 2.1 (1) | 2.5 (1) | 6.2 (2) | 7.3 (20) | 21 (26) | 141 (175) | 2/15 |
| FULLNEWUOA ros noisy | 1.8 (2) | 10 (15) | 5.0 (7) | 3.1 (4) | 3.9 (3) | 3.8 (4) | 6.2 (5) | 3/15 |
| GLOBAL pal noisy | 1.0 (0.5) | 2.3 (4) | 1.5 (1) | 1.5 (2) | 1.4 (0.9) | 1 (0.4) | 1.1 (1) | 4/15 |
| IPOP-SEP-CMA-ES ros noisy | 0.77 (0.2) | 7.8 (10) | 14 (4) | 7.9 (14) | 5.9 (5) | 2.8 (8) | 1.1 (1) | 14/15 |
| MA-LS-CHAIN molina noisy | 1.2 (2) | 2.4 (2) | 1.6 (0.7) | 2.1 (3) | 2.2 (0.8) | 2.1 (1) | 1.0 (0.9) | 15/15 |
| MCS huyer noisy | 1.3 (0.6) | 2.2 (3) | 1.1 (1) | 1 (1) | 1.0 (0.5) | 17 (45) | 50 (40) | 2/15 |
| ONEFIFTH auger noisy | 1.7 (2) | 6.8 (4) | 4.1 (4) | 2.4 (2) | 2.5 (2) | 3.9 (6) | 6.0 (5) | 15/15 |
| PSO Bounds el-abd noisy | 1.3 (0.9) | 2.0 (1) | 158 (254) | 203 (303) | 171 (254) | 134 (116) | 83 (77) | 4/15 |
| PSO el-abd noisy | 1.3 (0.9) | 335 (1) | 111 (24) | 111 (196) | 148 (458) | 112 (206) | 70 (206) | 3/15 |
| RANDOMSEARCH auger noisy | 0.97 (0.8) | 1.6 (1) | 1.5 (3) | 2.1 (2) | 4.1 (4) | 15 (9) | 38 (61) | 13/15 |
| SNOBFIT huyer noisy | 0.77 (0.4) | 2.4 (3) | 1.4 (1) | 1.1 (1) | 2.0 (3) | 8.1 (8) | 7.4 (4) | 2/15 |
| VNS garcia-martinez noisy | 0.90 (0.8) | 157 (197) | 60 (91) | 34 (36) | 24 (23) | 17 (21) | 11 (19) | 15/15 |
| iAMALGAM bosman noisy | 1.2 (1) | 87 (112) | 72 (136) | 38 (14) | 27 (28) | 21 (50) | 13 (21) | 15/15 |
Previous dimension | Dimension = 3 | Next dimension
| Δ fopt f101, 3-D |
1e1 4.0 |
1e0 13 |
1e-1 19 |
1e-2 20 |
1e-3 28 |
1e-5 33 |
1e-7 38 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.9 (3) | 21 (14) | 59 (40) | 116 (52) | 132 (20) | 196 (14) | 243 (28) | 15/15 |
| AMALGAM bosman noisy | 2.5 (2) | 5.4 (6) | 7.3 (4) | 10 (3) | 10 (3) | 12 (3) | 15 (3) | 15/15 |
| BAYEDA gallagher noisy | 2.5 (4) | 53 (20) | 134 (83) | 233 (302) | 217 (376) | 199 (229) | 227 (200) | 7/15 |
| BFGS ros noisy | 146 (188) | 807 (667) | 4125 (4284) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 4.4 (4) | 4.1 (4) | 5.3 (1) | 8.2 (3) | 7.8 (1) | 10 (0.9) | 12 (1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.8 (4) | 3.2 (2) | 3.6 (1) | 4.8 (0.8) | 4.4 (0.9) | 5.5 (0.6) | 6.5 (1.0) | 15/15 |
| DASA korosec noisy | 48 (35) | 26 (14) | 31 (13) | 34 (16) | 32 (13) | 40 (22) | 42 (18) | 15/15 |
| DE-PSO garcia-nieto noisy | 3.5 (2) | 11 (6) | 17 (1) | 24 (4) | 25 (6) | 35 (8) | 40 (3) | 15/15 |
| EDA-PSO el-abd noisy | 1.2 (0.4) | 7.4 (5) | 12 (4) | 24 (11) | 41 (13) | 99 (32) | 149 (38) | 15/15 |
| FULLNEWUOA ros noisy | 3.6 (1) | 1.7 (0.3) | 1.4 (0.2) | 1.4 (0.2) | 1.1 (0.2) | 1.0 (0.1) | 1 (0.1)★4 | 15/15 |
| GLOBAL pal noisy | 2.6 (3) | 17 (11) | 16 (0.2) | 16 (0.1) | 12 (0.2) | 11 (0.2) | 10 (0.1) | 13/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.8 (3) | 2.8 (2) | 4.4 (1) | 6.6 (2) | 5.9 (2) | 7.8 (2) | 9.3 (2) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.2 (2) | 8.4 (4) | 15 (7) | 23 (5) | 20 (0.8) | 20 (3) | 20 (2) | 15/15 |
| MCS huyer noisy | 0.90 (0.6) | 1.0 (0.1) | 1.4 (2) | 2.4 (3) | 2.0 (1) | 1668 (1668) | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 2.7 (2) | 3.0 (0.5) | 3.5 (0.8) | 4.8 (0.8) | 4.4 (0.7) | 5.3 (0.7) | 6.2 (1.0) | 15/15 |
| PSO Bounds el-abd noisy | 1.8 (2) | 7.8 (8) | 30 (27) | 107 (25) | 132 (48) | 228 (32) | 298 (43) | 15/15 |
| PSO el-abd noisy | 1.6 (2) | 7.8 (6) | 18 (4) | 40 (9) | 44 (15) | 72 (17) | 97 (29) | 15/15 |
| RANDOMSEARCH auger noisy | 1.8 (0.8) | 17 (17) | 357 (470) | 1.1e4 (2e4) | 2.7e5 (4e5) | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 1.6 (1) | 1.1 (0.5) | 1 (0) | 1.0 (0.2) | 1 (0.3) | 1.5 (0.2) | 1.7 (0.2) | 15/15 |
| VNS garcia-martinez noisy | 2.4 (2) | 8.6 (5) | 10 (1) | 12 (2) | 11 (2) | 12 (1) | 13 (0.7) | 15/15 |
| iAMALGAM bosman noisy | 2.7 (1) | 3.0 (1) | 4.4 (0.8) | 6.5 (1) | 6.3 (1) | 8.2 (2) | 10 (0.9) | 15/15 |
| Δ fopt f102, 3-D |
1e1 4.0 |
1e0 12 |
1e-1 23 |
1e-2 28 |
1e-3 32 |
1e-5 39 |
1e-7 48 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.9 (3) | 14 (15) | 53 (24) | 83 (31) | 121 (14) | 166 (10) | 194 (9) | 15/15 |
| AMALGAM bosman noisy | 2.2 (3) | 5.1 (3) | 5.6 (2) | 6.5 (1) | 7.7 (1) | 10 (2) | 11 (2) | 15/15 |
| BAYEDA gallagher noisy | 2.4 (3) | 17 (10) | 113 (141) | 104 (109) | 193 (191) | 211 (155) | 183 (251) | 7/15 |
| BFGS ros noisy | 125 (154) | 1502 (2256) | 7065 (5925) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.5 (2) | 3.2 (2) | 4.5 (2) | 5.5 (1) | 6.6 (1) | 8.3 (1) | 9.2 (0.8) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.3 (1) | 2.6 (2) | 2.9 (0.5) | 3.4 (1) | 4.1 (1) | 4.9 (1) | 5.2 (1.0) | 15/15 |
| DASA korosec noisy | 32 (17) | 30 (18) | 31 (15) | 39 (19) | 39 (14) | 48 (14) | 52 (24) | 15/15 |
| DE-PSO garcia-nieto noisy | 0.90 (0.5) | 11 (7) | 15 (6) | 17 (2) | 21 (6) | 29 (3) | 33 (3) | 15/15 |
| EDA-PSO el-abd noisy | 2.2 (2) | 8.3 (4) | 11 (4) | 15 (5) | 30 (10) | 82 (23) | 118 (19) | 15/15 |
| FULLNEWUOA ros noisy | 2.8 (2) | 1.7 (0.5) | 1.1 (0.1) | 1 (0.2) | 1.0 (0.4) | 1.0 (0.2)★4 | 1.0 (0.2)★4 | 15/15 |
| GLOBAL pal noisy | 2.6 (4) | 14 (11) | 14 (0.2) | 12 (0.1) | 11 (0.1) | 9.3 (0.2) | 8.1 (0.2) | 13/15 |
| IPOP-SEP-CMA-ES ros noisy | 3.4 (3) | 3.5 (2) | 3.9 (1) | 4.9 (0.8) | 5.2 (1) | 6.6 (1.0) | 7.2 (0.7) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.5 (3) | 10 (5) | 12 (4) | 16 (3) | 20 (2) | 19 (7) | 17 (3) | 15/15 |
| MCS huyer noisy | 0.90 (0.6) | 1.0 (0.5) | 1.4 (3) | 38 (89) | 139 (276) | 5772 (1e4) | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 3.5 (4) | 3.1 (1) | 2.6 (1) | 3.2 (0.9) | 3.6 (0.6) | 4.3 (0.6) | 4.7 (0.6) | 15/15 |
| PSO Bounds el-abd noisy | 2.2 (2) | 7.8 (5) | 19 (20) | 73 (39) | 114 (28) | 185 (35) | 229 (52) | 15/15 |
| PSO el-abd noisy | 2.3 (2) | 6.9 (5) | 15 (4) | 26 (12) | 38 (21) | 64 (9) | 80 (10) | 15/15 |
| RANDOMSEARCH auger noisy | 1.3 (0.8) | 11 (15) | 313 (246) | 5720 (9203) | 3.0e5 (2e5) | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 0.93 (0.4) | 1.5 (0.4) | 0.99 (0.5) | 1.2 (0.5) | 1.4 (0.4) | 2.0 (0.3) | 2.2 (0.3) | 15/15 |
| VNS garcia-martinez noisy | 2.4 (3) | 10 (6) | 10 (2) | 9.4 (1) | 10 (1) | 10 (1) | 11 (0.6) | 15/15 |
| iAMALGAM bosman noisy | 2.0 (2) | 3.0 (1) | 3.2 (0.7) | 4.2 (1) | 5.6 (3) | 7.1 (2) | 7.8 (0.6) | 15/15 |
| Δ fopt f103, 3-D |
1e1 4.0 |
1e0 13 |
1e-1 19 |
1e-2 19 |
1e-3 19 |
1e-5 23 |
1e-7 43 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.3 (2) | 19 (21) | 71 (20) | 123 (18) | 202 (56) | 2025 (2980) | 2.4e5 (2e5) | 0/15 |
| AMALGAM bosman noisy | 4.5 (5) | 6.4 (1) | 7.7 (2) | 13 (10) | 57 (309) | 345 (385) | 619 (974) | 15/15 |
| BAYEDA gallagher noisy | 2.0 (0.9) | 17 (18) | 139 (247) | 311 (408) | 324 (317) | 445 (718) | 325 (351) | 4/15 |
| BFGS ros noisy | 3.1 (1) | 3.7 (0.1) | 2.6 (7) | 2.6 (7) | 2.6 (3) | 2.1 (3) | 1.2 (3) | 15/15 |
| BIPOP-CMA-ES hansen noisy | 4.6 (3) | 4.0 (3) | 5.4 (2) | 7.9 (3) | 12 (2) | 15 (1) | 12 (1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 3.0 (1) | 3.2 (2) | 5.0 (11) | 7.8 (11) | 25 (28) | 66 (59) | 169 (205) | 15/15 |
| DASA korosec noisy | 53 (45) | 33 (68) | 49 (86) | 128 (53) | 438 (516) | 1.6e4 (2e4) | 1.0e6 (1e6) | 0/15 |
| DE-PSO garcia-nieto noisy | 1.7 (6) | 12 (5) | 17 (6) | 29 (4) | 64 (7) | 122 (142) | 193 (145) | 6/15 |
| EDA-PSO el-abd noisy | 1.7 (2) | 6.7 (3) | 11 (3) | 22 (4) | 102 (154) | 8116 (7935) | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 3.2 (1) | 1.6 (0.4) | 1.3 (0.1) | 1.3 (0.3) | 2.0 (5) | 2.8 (3) | 1.8 (2) | 15/15 |
| GLOBAL pal noisy | 1.8 (3) | 12 (11) | 14 (7) | 17 (0.2) | 20 (0.3) | 36 (15) | 33 (32) | 5/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.0 (4) | 4.2 (3) | 5.2 (2) | 7.6 (1) | 10 (3) | 13 (2) | 9.2 (1) | 15/15 |
| MA-LS-CHAIN molina noisy | 3.2 (3) | 7.8 (6) | 13 (5) | 24 (7) | 35 (11) | 36 (7) | 25 (6) | 15/15 |
| MCS huyer noisy | 0.90 (0.6) | 1 (0.4) | 1.3 (1) | 2.0 (2) | 2.1 (2) | 88 (218) | 86 (291) | 15/15 |
| ONEFIFTH auger noisy | 3.0 (4) | 2.8 (1) | 3.7 (4) | 7.2 (4) | 14 (9) | 161 (185) | 872 (756) | 15/15 |
| PSO Bounds el-abd noisy | 2.1 (1) | 6.1 (5) | 32 (25) | 96 (33) | 249 (156) | 2.8e4 (5e4) | ∞3e5 | 0/15 |
| PSO el-abd noisy | 2.3 (2) | 7.5 (6) | 18 (9) | 58 (8) | 346 (1005) | 2.4e4 (3e4) | ∞3e5 | 0/15 |
| RANDOMSEARCH auger noisy | 3.0 (4) | 18 (12) | 318 (326) | 1.2e4 (2e4) | 5.4e5 (7e5) | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 2.1 (2) | 1.1 (0.3) | 1.0 (0.0) | 1.0 (0.0) | 1.0 (0.0) | 1.0 (0.8) | 0.99 (2) | 15/15 |
| VNS garcia-martinez noisy | 2.4 (3) | 9.4 (8) | 12 (3) | 14 (2) | 17 (3) | 20 (3) | 13 (2) | 15/15 |
| iAMALGAM bosman noisy | 2.3 (2) | 3.5 (2) | 4.4 (3) | 6.9 (4) | 9.4 (3) | 227 (398) | 809 (721) | 15/15 |
| Δ fopt f104, 3-D |
1e1 30 |
1e0 207 |
1e-1 602 |
1e-2 637 |
1e-3 648 |
1e-5 658 |
1e-7 668 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 21 (17) | 11 (4) | 9.1 (5) | 21 (10) | 29 (7) | 46 (8) | 62 (19) | 15/15 |
| AMALGAM bosman noisy | 3.2 (2) | 1.8 (1) | 1.3 (0.5) | 1.6 (0.6) | 1.8 (0.5) | 2.2 (0.3) | 2.4 (0.5) | 15/15 |
| BAYEDA gallagher noisy | 7.4 (5) | 18 (31) | 141 (152) | ∞ | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 3188 (4537) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6652 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.2 (1) | 3.4 (5) | 2.2 (0.7) | 2.7 (2) | 3.0 (1) | 3.4 (2) | 3.6 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.0 (0.5) | 2.7 (4) | 1.9 (2) | 2.2 (1) | 2.4 (2) | 2.4 (1) | 2.5 (2) | 15/15 |
| DASA korosec noisy | 27 (51) | 21 (33) | 48 (34) | 138 (174) | 324 (172) | 2905 (1476) | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 8.7 (5) | 4.1 (2) | 4.9 (3) | 9.3 (7) | 44 (80) | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 7.0 (8) | 14 (16) | 17 (2) | 33 (10) | 44 (11) | 78 (17) | 111 (15) | 15/15 |
| FULLNEWUOA ros noisy | 1.7 (0.6) | 1 (1) | 1.0 (0.7) | 1.0 (0.9) | 1.00 (0.9) | 1.0 (0.7) | 1.0 (1) | 15/15 |
| GLOBAL pal noisy | 10 (1) | 1.7 (0.3) | 1.0 (0.1) | 1.0 (0.1) | 1.0 (0.4) | 1.0 (0.3) | 1.1 (0.4) | 12/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.6 (2) | 1.7 (0.8) | 5.4 (8) | 5.3 (7) | 5.4 (2) | 5.5 (7) | 5.5 (0.5) | 15/15 |
| MA-LS-CHAIN molina noisy | 5.7 (2) | 2.6 (1) | 3.1 (1) | 3.4 (1) | 3.8 (4) | 4.4 (4) | 4.5 (5) | 15/15 |
| MCS huyer noisy | 0.99 (0.9) | 7.5 (12) | 39 (32) | 557 (265) | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 1.8 (0.6) | 2.6 (4) | 6.6 (5) | 20 (28) | 37 (30) | 513 (433) | 2908 (3864) | 2/15 |
| PSO Bounds el-abd noisy | 10 (10) | 11 (4) | 45 (249) | 266 (398) | 392 (592) | 800 (1249) | 856 (2187) | 6/15 |
| PSO el-abd noisy | 6.2 (4) | 5.5 (5) | 6.5 (4) | 15 (12) | 26 (18) | 60 (34) | 101 (54) | 15/15 |
| RANDOMSEARCH auger noisy | 47 (55) | 167 (50) | 2671 (1709) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 1.8 (0.4) | 7.4 (6) | 13 (10) | 55 (99) | 114 (105) | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 6.6 (1.0) | 2.4 (3) | 1.3 (0.2) | 1.5 (2) | 1.7 (1) | 1.8 (0.3) | 1.9 (0.2) | 15/15 |
| iAMALGAM bosman noisy | 2.3 (1) | 13 (31) | 5.0 (11) | 5.0 (7) | 5.1 (4) | 5.3 (7) | 5.4 (10) | 15/15 |
| Δ fopt f105, 3-D |
1e1 28 |
1e0 507 |
1e-1 1070 |
1e-2 3228 |
1e-3 3247 |
1e-5 3271 |
1e-7 3297 |
#succ 5/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 28 (10) | 4.9 (2) | 4.7 (2) | 2.9 (1) | 4.5 (2) | 8.0 (2) | 11 (3) | 15/15 |
| AMALGAM bosman noisy | 3.2 (1) | 3.5 (10) | 2.8 (5) | 1.4 (3) | 1.4 (2) | 1.5 (3) | 1.6 (3) | 15/15 |
| BAYEDA gallagher noisy | 25 (109) | 15 (12) | ∞ | ∞ | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 906 (869) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6020 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 4.1 (4) | 1.00 (2) | 2.5 (4) | 1.0 (0.8) | 1.2 (0.7) | 1.3 (0.9) | 1.3 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.1 (1) | 1.4 (1) | 3.4 (5) | 1.9 (2) | 4.9 (9) | 10 (9) | 10 (12) | 10/15 |
| DASA korosec noisy | 22 (19) | 16 (15) | 34 (36) | 32 (25) | 94 (145) | 709 (808) | 4359 (4125) | 1/15 |
| DE-PSO garcia-nieto noisy | 7.6 (4) | 1.2 (0.6) | 2.5 (2) | 2.1 (1) | 8.6 (23) | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 6.9 (4) | 5.9 (6) | 9.1 (5) | 6.1 (1) | 9.0 (3) | 16 (3) | 23 (5) | 15/15 |
| FULLNEWUOA ros noisy | 1.4 (0.3) | 1.2 (2) | 3.0 (3) | 4.7 (5) | 6.7 (9) | 21 (21) | 45 (46) | 0/15 |
| GLOBAL pal noisy | 11 (0.4) | 1.1 (1) | 1.0 (1) | 1.0 (0.9) | 1.00 (2) | 1.00 (1) | 1.0 (1) | 5/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.8 (1) | 3.6 (3) | 5.2 (7) | 1.8 (2) | 2.0 (0.7) | 2.0 (2) | 2.0 (2) | 15/15 |
| MA-LS-CHAIN molina noisy | 7.1 (2) | 1.5 (0.8) | 11 (4) | 4.8 (4) | 5.2 (2) | 5.4 (11) | 5.4 (8) | 13/15 |
| MCS huyer noisy | 1.00 (0.7) | 4.5 (6) | 37 (30) | 104 (213) | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 2.8 (2) | 1.6 (2) | 3.9 (3) | 5.0 (6) | 12 (8) | 102 (85) | 1498 (2047) | 3/15 |
| PSO Bounds el-abd noisy | 14 (11) | 46 (3) | 27 (6) | 51 (117) | 54 (27) | 79 (95) | 84 (74) | 9/15 |
| PSO el-abd noisy | 10 (11) | 50 (166) | 29 (73) | 13 (48) | 20 (27) | 31 (15) | 42 (29) | 14/15 |
| RANDOMSEARCH auger noisy | 50 (57) | 88 (58) | 1408 (826) | 6269 (4237) | ∞ | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 1.8 (0.9) | 1.7 (3) | 10 (13) | 11 (11) | 10 (14) | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 7.8 (1) | 12 (26) | 8.5 (20) | 3.4 (6) | 3.7 (7) | 5.7 (10) | 8.1 (0.2) | 15/15 |
| iAMALGAM bosman noisy | 2.1 (1) | 4.9 (9) | 3.7 (3) | 1.3 (2) | 1.3 (1.0) | 1.3 (2) | 1.4 (2) | 15/15 |
| Δ fopt f106, 3-D |
1e1 29 |
1e0 68 |
1e-1 156 |
1e-2 443 |
1e-3 759 |
1e-5 1294 |
1e-7 1447 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 21 (21) | 29 (15) | 37 (14) | 25 (12) | 55 (46) | 1874 (1711) | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 3.7 (1) | 18 (5) | 30 (122) | 34 (62) | 31 (52) | 27 (55) | 43 (67) | 15/15 |
| BAYEDA gallagher noisy | 7.4 (4) | 32 (47) | ∞ | ∞ | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 12 (9) | 18 (17) | 23 (26) | 13 (10) | 8.0 (7) | 7.5 (8) | 7.6 (15) | 13/15 |
| BIPOP-CMA-ES hansen noisy | 3.0 (2) | 7.1 (12) | 6.9 (5) | 3.3 (2) | 2.1 (0.7) | 1.5 (0.7) | 1.5 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.9 (0.7) | 5.5 (6) | 6.1 (7) | 6.2 (2) | 7.2 (5) | 19 (30) | 97 (114) | 1/15 |
| DASA korosec noisy | 14 (10) | 151 (291) | 191 (246) | 267 (283) | 545 (372) | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 11 (4) | 12 (6) | 34 (31) | 200 (160) | ∞ | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 7.5 (6) | 44 (58) | 69 (18) | 52 (65) | 461 (568) | 3326 (1913) | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 1.2 (0.3) | 1.0 (0.2) | 1.00 (0.7)★2 | 1.0 (1) | 1.0 (1) | 1.4 (1) | 1.6 (1) | 15/15 |
| GLOBAL pal noisy | 9.3 (3) | 6.9 (4) | 3.8 (2) | 2.1 (0.9) | 1.3 (0.7) | 3.7 (5) | 16 (20) | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.8 (0.9) | 7.6 (12) | 7.1 (3) | 3.0 (0.7) | 1.9 (0.4) | 1.2 (0.2) | 1.2 (0.3) | 15/15 |
| MA-LS-CHAIN molina noisy | 6.3 (5) | 8.4 (3) | 7.0 (4) | 3.4 (2) | 2.4 (0.1) | 1.6 (0.1) | 1.6 (0.4) | 15/15 |
| MCS huyer noisy | 0.99 (0.9) | 23 (42) | 225 (234) | 813 (587) | 982 (988) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 2.1 (1) | 3.5 (3) | 24 (55) | 32 (21) | 104 (131) | 1239 (803) | 3.0e4 (2e4) | 0/15 |
| PSO Bounds el-abd noisy | 11 (4) | 33 (12) | 174 (487) | 621 (1026) | 477 (802) | ∞ | ∞3e5 | 0/15 |
| PSO el-abd noisy | 7.9 (4) | 14 (7) | 235 (1462) | 913 (728) | 1703 (1665) | ∞ | ∞3e5 | 0/15 |
| RANDOMSEARCH auger noisy | 43 (17) | 591 (600) | 9139 (1e4) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 1.9 (1) | 3.6 (5) | 63 (87) | 160 (227) | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 7.1 (2) | 8.1 (8) | 5.6 (3) | 2.3 (1) | 1.5 (0.9) | 1.00 (0.4) | 1.00 (0.5) | 15/15 |
| iAMALGAM bosman noisy | 2.4 (0.4) | 37 (71) | 41 (36) | 24 (32) | 22 (18) | 25 (7) | 51 (59) | 15/15 |
| Δ fopt f107, 3-D |
1e1 6.0 |
1e0 47 |
1e-1 153 |
1e-2 232 |
1e-3 325 |
1e-5 505 |
1e-7 685 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.1 (0.7) | 4.3 (7) | 9.0 (6) | 13 (4) | 14 (3) | 16 (2) | 18 (3) | 15/15 |
| AMALGAM bosman noisy | 1.6 (2) | 1.6 (0.8) | 7.8 (0.5) | 5.8 (0.6) | 4.6 (24) | 8.0 (14) | 6.3 (6) | 15/15 |
| BAYEDA gallagher noisy | 2.2 (2) | 4.2 (4) | 4.0 (4) | 6.2 (0.7) | 6.8 (2) | 7.1 (2) | 7.4 (1) | 11/15 |
| BFGS ros noisy | 85 (75) | 312 (230) | ∞ | ∞ | ∞ | ∞ | ∞8808 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.9 (4) | 1.8 (2) | 1.00 (0.4) | 1.0 (0.3) | 1.0 (0.4) | 1.00 (0.3) | 1 (0.3) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 17 (58) | 10 (13) | 13 (8) | 16 (13) | 19 (14) | 61 (74) | 142 (142) | 2/15 |
| DASA korosec noisy | 277 (437) | 553 (831) | 1412 (1903) | 4964 (4006) | 2.6e4 (4e4) | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.4 (4) | 3.1 (2) | 2.5 (1) | 3.5 (0.9) | 3.3 (0.7) | 3.6 (0.5) | 3.6 (0.7) | 15/15 |
| EDA-PSO el-abd noisy | 1.5 (1) | 2.2 (2) | 6.1 (8) | 23 (12) | 32 (8) | 38 (4) | 42 (5) | 15/15 |
| FULLNEWUOA ros noisy | 25 (87) | 21 (14) | 40 (64) | 85 (100) | 131 (184) | 607 (683) | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 1.6 (1) | 4.8 (3) | 6.5 (11) | 11 (14) | 22 (12) | 31 (32) | ∞2003 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 56 (4) | 8.0 (0.9) | 5.0 (16) | 3.9 (11) | 3.2 (0.3) | 4.2 (3) | 3.8 (2) | 15/15 |
| MA-LS-CHAIN molina noisy | 1.6 (1) | 3.0 (2) | 4.0 (3) | 5.8 (2) | 5.8 (2) | 5.0 (2) | 4.6 (2) | 15/15 |
| MCS huyer noisy | 2.3 (0.4) | 0.99 (0.8) | 13 (17) | 81 (96) | 672 (847) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 13 (6) | 17 (36) | 14 (16) | 18 (9) | 27 (39) | 184 (310) | 777 (475) | 15/15 |
| PSO Bounds el-abd noisy | 0.98 (0.2) | 2.9 (2) | 5.4 (4) | 10 (7) | 14 (5) | 20 (7) | 22 (4) | 15/15 |
| PSO el-abd noisy | 1.2 (1) | 1.4 (0.7) | 2.0 (1) | 4.3 (1) | 5.4 (2) | 6.2 (2) | 7.2 (1) | 15/15 |
| RANDOMSEARCH auger noisy | 1.9 (2) | 4.3 (4) | 58 (56) | 983 (1480) | 2.2e4 (4e4) | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 2.4 (3) | 3.6 (5) | 5.9 (3) | 7.8 (11) | 8.8 (7) | 15 (16) | 35 (35) | 2/15 |
| VNS garcia-martinez noisy | 1.6 (2) | 2.3 (1) | 1.8 (0.4) | 1.6 (0.4) | 4.2 (22) | 3.1 (14) | 2.8 (0.2) | 15/15 |
| iAMALGAM bosman noisy | 3.3 (7) | 16 (0.5) | 14 (17) | 23 (24) | 16 (30) | 12 (8) | 11 (5) | 15/15 |
| Δ fopt f108, 3-D |
1e1 6.0 |
1e0 98 |
1e-1 1966 |
1e-2 5527 |
1e-3 10825 |
1e-5 17187 |
1e-7 32181 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.3 (0.6) | 1.7 (2) | 1.8 (1) | 1.5 (0.5) | 1.7 (1.0) | 2.7 (1) | 3.1 (2) | 15/15 |
| AMALGAM bosman noisy | 1.2 (1) | 45 (106) | 11 (11) | 9.2 (8) | 13 (18) | 19 (11) | 32 (39) | 10/15 |
| BAYEDA gallagher noisy | 2.3 (2) | 25 (32) | ∞ | ∞ | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 37 (41) | 32 (32) | ∞ | ∞ | ∞ | ∞ | ∞2524 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 35 (124) | 7.5 (12) | 1.2 (1) | 1.0 (1) | 1.00 (2) | 1.0 (0.7) | 1.0 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 70 (177) | 21 (20) | 7.2 (4) | 25 (43) | ∞ | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 495 (206) | 352 (197) | 229 (188) | 660 (789) | 3417 (4528) | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 4.3 (13) | 6.0 (11) | 6.0 (4) | ∞ | ∞ | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 1.5 (1) | 2.0 (4) | 1.0 (1.0) | 2.2 (4) | 2.6 (3) | 7.2 (12) | 6.6 (4) | 10/15 |
| FULLNEWUOA ros noisy | 80 (87) | 179 (167) | 50 (41) | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 2.1 (3) | 4.8 (6) | 2.6 (2) | 10 (9) | ∞ | ∞ | ∞3820 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 172 (407) | 44 (50) | 7.0 (7) | 6.0 (5) | 3.7 (3) | ∞ | ∞3e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.8 (2) | 2.8 (4) | 1.0 (0.9) | 1.4 (0.5) | 1.5 (0.6) | 5.0 (4) | 20 (18) | 0/15 |
| MCS huyer noisy | 3.1 (4) | 3.9 (6) | 8.8 (5) | 135 (66) | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 23 (16) | 39 (53) | 13 (21) | 43 (20) | 278 (146) | ∞ | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 2.2 (2) | 2.6 (9) | 1 (1) | 22 (28) | 35 (58) | 41 (48) | 64 (62) | 1/15 |
| PSO el-abd noisy | 0.97 (2) | 1.0 (2) | 13 (39) | 12 (21) | 11 (22) | 23 (31) | 42 (27) | 2/15 |
| RANDOMSEARCH auger noisy | 1.0 (0.5) | 3.1 (5) | 2.7 (3) | 36 (50) | 369 (346) | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 1.4 (2) | 4.3 (5) | 4.0 (4) | 13 (13) | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 1.6 (1) | 69 (215) | 10 (9) | 8.4 (9) | 13 (24) | 148 (170) | 490 (707) | 2/15 |
| iAMALGAM bosman noisy | 89 (326) | 57 (43) | 20 (22) | 17 (13) | 16 (11) | 44 (41) | 102 (132) | 5/15 |
| Δ fopt f109, 3-D |
1e1 4.0 |
1e0 21 |
1e-1 93 |
1e-2 145 |
1e-3 193 |
1e-5 251 |
1e-7 251 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.9 (2) | 12 (10) | 15 (8) | 37 (38) | 634 (1232) | 1.4e5 (2e5) | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 3.0 (2) | 37 (1) | 9.3 (57) | 25 (47) | 52 (60) | 122 (104) | 209 (195) | 15/15 |
| BAYEDA gallagher noisy | 2.2 (3) | 26 (4) | 37 (65) | 25 (52) | 21 (16) | 21 (13) | 36 (19) | 7/15 |
| BFGS ros noisy | 35 (106) | 8.5 (5) | 2.1 (2) | 1.3 (1) | 1 (0.5) | 1.0 (0.6) | 1.0 (2) | 15/15 |
| BIPOP-CMA-ES hansen noisy | 2.6 (2) | 2.2 (1) | 1.2 (0.2) | 1.5 (0.4) | 1.6 (0.4) | 2.4 (0.8) | 3.5 (1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.6 (4) | 5.4 (5) | 2.6 (2) | 47 (46) | 409 (857) | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 176 (432) | 394 (1054) | 1753 (791) | 1.1e4 (2e4) | 2.0e5 (2e5) | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.8 (3) | 6.3 (2) | 4.3 (2) | 7.0 (4) | 14 (11) | 349 (331) | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 1.8 (3) | 3.7 (0.6) | 3.0 (2) | 112 (226) | 1408 (768) | ∞ | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 5.8 (3) | 2.1 (0.2) | 1.4 (1) | 1.6 (0.6) | 1.7 (2) | 1.7 (2) | 1.7 (2) | 15/15 |
| GLOBAL pal noisy | 4.1 (6) | 10 (6) | 3.7 (0.2) | 4.6 (2) | 25 (50) | ∞ | ∞1494 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 3.1 (2) | 1.7 (1) | 1.0 (0.3) | 1.0 (0.3) | 1.7 (4) | 2.5 (0.7) | 3.6 (1) | 15/15 |
| MA-LS-CHAIN molina noisy | 3.0 (1) | 5.3 (3) | 3.1 (0.9) | 5.8 (2) | 10 (14) | 26 (30) | 56 (67) | 15/15 |
| MCS huyer noisy | 0.90 (0.6) | 0.98 (0.6) | 19 (14) | 82 (121) | 114 (91) | 156 (229) | 187 (259) | 10/15 |
| ONEFIFTH auger noisy | 3.5 (3) | 1.8 (0.7) | 3.3 (4) | 27 (31) | 384 (562) | 8.2e4 (9e4) | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 2.0 (2) | 3.6 (3) | 13 (12) | 3146 (2093) | 2.2e4 (2e4) | ∞ | ∞3e5 | 0/15 |
| PSO el-abd noisy | 1.9 (3) | 8.2 (2) | 12 (15) | 286 (344) | 2937 (4927) | 1.8e4 (2e4) | ∞3e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.4 (1) | 9.3 (11) | 103 (107) | 2510 (921) | 4.8e4 (1e5) | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 2.4 (2) | 1.1 (0.8) | 2.5 (0.5) | 17 (18) | 60 (69) | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 2.4 (3) | 5.7 (4) | 2.4 (0.3) | 2.1 (0.7) | 2.4 (0.6) | 3.0 (0.4) | 4.3 (0.7) | 15/15 |
| iAMALGAM bosman noisy | 2.2 (2) | 2.0 (0.9) | 8.1 (28) | 18 (36) | 47 (18) | 143 (94) | 486 (325) | 15/15 |
| Δ fopt f110, 3-D |
1e1 56 |
1e0 922 |
1e-1 6277 |
1e-2 20456 |
1e-3 35327 |
1e-5 61979 |
1e-7 63571 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 9.5 (7) | 2.6 (1) | 1.0 (0.1) | 1.2 (1) | 1.00 (1) | 1.6 (2) | 2.5 (2) | 15/15 |
| AMALGAM bosman noisy | 2.2 (1) | 8.5 (28) | 33 (34) | 26 (28) | 16 (17) | 9.1 (8) | 8.9 (10) | 15/15 |
| BAYEDA gallagher noisy | 7.8 (7) | 4.8 (6) | 14 (24) | 4.2 (6) | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 223 (359) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3868 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 2.0 (2) | 3.0 (3) | 5.6 (5) | 2.9 (2) | 1.7 (1) | 1.00 (0.5) | 1.00 (0.6) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 6.7 (8) | 2.5 (2) | 2.2 (2) | 3.7 (4) | 13 (20) | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 269 (406) | 115 (169) | 173 (174) | 179 (140) | 240 (449) | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 5.1 (2) | 1.0 (0.7) | 1.9 (1) | 1.0 (0.9) | 2.5 (2) | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 3.9 (2) | 4.3 (4) | 43 (108) | ∞ | ∞ | ∞ | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 15 (14) | 10 (8) | 8.5 (14) | 7.4 (11) | 8.8 (14) | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 6.5 (0.6) | 1.6 (1) | 1.7 (3) | ∞ | ∞ | ∞ | ∞1269 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 7.6 (0.9) | 3.9 (5) | 10 (20) | 6.1 (6) | 3.5 (6) | 3.2 (4) | 6.8 (10) | 1/15 |
| MA-LS-CHAIN molina noisy | 4.0 (2) | 1.1 (0.5) | 6.5 (8) | 16 (8) | 9.2 (9) | ∞ | ∞4e4 | 0/15 |
| MCS huyer noisy | 1.0 (0.9) | 5.9 (7) | 8.6 (14) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 6.8 (10) | 2.7 (2) | 1.6 (0.6) | 2.0 (2) | 4.1 (4) | 63 (43) | 687 (731) | 0/15 |
| PSO Bounds el-abd noisy | 5.6 (4) | 26 (164) | 73 (108) | 30 (40) | 35 (27) | ∞ | ∞3e5 | 0/15 |
| PSO el-abd noisy | 5.3 (2) | 25 (83) | 97 (202) | 59 (73) | 55 (81) | 72 (116) | ∞3e5 | 0/15 |
| RANDOMSEARCH auger noisy | 16 (22) | 55 (60) | 203 (418) | 2076 (1907) | ∞ | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 2.9 (1) | 4.2 (4) | 3.4 (7) | 3.6 (3) | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 34 (0.9) | 20 (20) | 16 (19) | 8.4 (8) | 7.6 (3) | 6.8 (4) | 11 (5) | 15/15 |
| iAMALGAM bosman noisy | 1.6 (0.4) | 8.4 (5) | 8.5 (18) | 11 (9) | 10 (8) | 5.8 (12) | 5.7 (5) | 15/15 |
| Δ fopt f111, 3-D |
1e1 174 |
1e0 3475 |
1e-1 29972 |
1e-2 75886 |
1e-3 1.9e5 |
1e-5 1.4e6 |
1e-7 1.5e6 |
#succ 14/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 4.8 (3) | 1.3 (0.4) | 1.00 (1) | 1.0 (0.9) | 1.00 (1) | 1.2 (1) | 6.1 (3) | 2/15 |
| AMALGAM bosman noisy | 1.0 (0.4) | 4.2 (7) | 7.0 (0.9) | 16 (16) | 22 (21) | 9.1 (16) | 30 (26) | 0/15 |
| BAYEDA gallagher noisy | 45 (52) | 11 (9) | ∞ | ∞ | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 150 (141) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1832 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 4.1 (5) | 1.4 (1) | 3.1 (6) | 13 (21) | 6.2 (8) | 1.00 (1) | 1.0 (0.3) | 14/15 |
| CMA-ESPLUSSEL auger noisy | 17 (31) | 9.3 (8) | 15 (11) | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 352 (409) | 251 (193) | 207 (304) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 4.2 (5) | 3.4 (3) | ∞ | ∞ | ∞ | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 5.0 (6) | 2.9 (3) | 19 (22) | 57 (76) | ∞ | ∞ | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 96 (139) | 25 (17) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 4.3 (3) | 3.0 (2) | 2.0 (3) | ∞ | ∞ | ∞ | ∞4285 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 24 (15) | 5.1 (3) | 4.5 (2) | 5.9 (7) | ∞ | ∞ | ∞3e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 2.4 (3) | 1.0 (0.6) | 1.7 (2) | 8.9 (9) | ∞ | ∞ | ∞4e4 | 0/15 |
| MCS huyer noisy | 7.4 (13) | 7.5 (8) | 5.3 (4) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 11 (10) | 5.3 (11) | 8.7 (11) | 36 (63) | ∞ | ∞ | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 2.9 (4) | 1.6 (2) | 4.5 (6) | 8.9 (21) | 10 (11) | ∞ | ∞3e5 | 0/15 |
| PSO el-abd noisy | 1.8 (1) | 11 (1) | 8.4 (13) | 16 (18) | 10 (8) | ∞ | ∞3e5 | 0/15 |
| RANDOMSEARCH auger noisy | 8.9 (6) | 19 (21) | 80 (153) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 8.6 (34) | 6.4 (8) | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 46 (52) | 6.0 (5) | 6.4 (4) | 8.1 (8) | 9.3 (6) | 28 (29) | ∞3e7 | 0/15 |
| iAMALGAM bosman noisy | 32 (106) | 11 (10) | 13 (11) | 13 (17) | 12 (10) | 15 (25) | 30 (22) | 1/15 |
| Δ fopt f112, 3-D |
1e1 29 |
1e0 338 |
1e-1 1568 |
1e-2 2478 |
1e-3 2849 |
1e-5 3105 |
1e-7 3534 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 27 (20) | 7.4 (3) | 5.3 (3) | 37 (15) | 1364 (1898) | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 4.0 (1) | 12 (41) | 24 (31) | 63 (65) | 80 (67) | 138 (58) | 171 (107) | 15/15 |
| BAYEDA gallagher noisy | 7.6 (7) | 22 (22) | ∞ | ∞ | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 70 (74) | 43 (33) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.0 (2) | 1.0 (0.9) | 1.00 (0.6) | 1 (0.4) | 1.0 (0.4) | 1.1 (0.5) | 1.2 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 3.3 (4) | 2.6 (3) | 6.4 (5) | 29 (25) | ∞ | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 89 (137) | 61 (59) | 87 (93) | 1236 (1264) | 7025 (1e4) | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 7.7 (4) | 3.5 (2) | 16 (10) | ∞ | ∞ | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 6.0 (3) | 6.4 (6) | 61 (109) | 1777 (1513) | ∞ | ∞ | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 2.2 (2) | 1.7 (0.8) | 5.6 (7) | 13 (20) | 49 (40) | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 11 (0.7) | 2.0 (2) | 2.4 (2) | ∞ | ∞ | ∞ | ∞1121 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.7 (2) | 2.5 (4) | 1.2 (0.7) | 1.1 (1.0) | 1.00 (0.3) | 1.0 (0.3) | 1.0 (0.9) | 15/15 |
| MA-LS-CHAIN molina noisy | 6.9 (3) | 1.8 (1) | 2.7 (1) | 6.2 (6) | 18 (16) | 95 (83) | ∞4e4 | 0/15 |
| MCS huyer noisy | 0.99 (1.0) | 11 (8) | 50 (40) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 2.5 (0.8) | 2.1 (2) | 3.2 (3) | 23 (15) | 315 (295) | ∞ | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 12 (21) | 7.8 (4) | 174 (340) | 196 (246) | 1508 (1553) | ∞ | ∞3e5 | 0/15 |
| PSO el-abd noisy | 7.7 (9) | 77 (446) | 397 (777) | 341 (515) | ∞ | ∞ | ∞3e5 | 0/15 |
| RANDOMSEARCH auger noisy | 41 (34) | 161 (140) | 962 (1333) | 8311 (1e4) | ∞ | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 2.1 (0.7) | 5.9 (7) | 6.1 (4) | 30 (36) | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 7.9 (2) | 3.2 (3) | 1.3 (0.3) | 1.1 (0.9) | 1.0 (0.9) | 1.1 (0.8) | 1.0 (0.6) | 15/15 |
| iAMALGAM bosman noisy | 2.4 (0.5) | 4.9 (10) | 51 (85) | 58 (27) | 74 (64) | 142 (126) | 202 (218) | 15/15 |
| Δ fopt f113, 3-D |
1e1 26 |
1e0 126 |
1e-1 1948 |
1e-2 3093 |
1e-3 3236 |
1e-5 3236 |
1e-7 3428 |
#succ 12/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 3.1 (8) | 7.2 (4) | 1.5 (0.8) | 1.8 (0.7) | 2.1 (0.6) | 2.1 (0.2) | 2.2 (0.7) | 15/15 |
| AMALGAM bosman noisy | 1.1 (1) | 1.0 (0.3) | 1.9 (4) | 2.1 (2) | 2.0 (2) | 2.0 (3) | 1.9 (3) | 15/15 |
| BAYEDA gallagher noisy | 1.9 (1) | 2.8 (3) | 3.4 (5) | 8.5 (7) | 8.2 (11) | 8.2 (7) | 8.0 (8) | 0/15 |
| BFGS ros noisy | 97 (51) | 709 (591) | ∞ | ∞ | ∞ | ∞ | ∞6004 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.8 (2) | 2.4 (6) | 2.4 (6) | 1.9 (3) | 1.9 (2) | 1.9 (1) | 1.8 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 16 (14) | 12 (12) | 2.5 (2) | 6.8 (3) | 22 (23) | 22 (22) | 22 (45) | 4/15 |
| DASA korosec noisy | 227 (239) | 528 (260) | 116 (75) | 795 (1636) | 1024 (618) | 1024 (1282) | 1364 (2922) | 3/15 |
| DE-PSO garcia-nieto noisy | 3.4 (4) | 2.9 (3) | 1.0 (0.2) | 1.00 (0.1) | 1.0 (1) | 1.0 (1) | 1.0 (1) | 12/15 |
| EDA-PSO el-abd noisy | 2.2 (2) | 3.7 (3) | 2.4 (1) | 3.6 (0.9) | 3.7 (1) | 3.7 (0.8) | 4.4 (0.7) | 15/15 |
| FULLNEWUOA ros noisy | 10 (6) | 14 (24) | 7.7 (13) | 16 (25) | 95 (81) | 95 (94) | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 1.8 (1) | 3.9 (2) | 2.3 (4) | 4.2 (5) | ∞ | ∞ | ∞1236 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 27 (94) | 16 (30) | 3.5 (3) | 3.0 (2) | 2.9 (3) | 2.9 (3) | 3.1 (3) | 15/15 |
| MA-LS-CHAIN molina noisy | 1.8 (3) | 3.6 (4) | 2.4 (0.4) | 2.0 (4) | 2.1 (0.3) | 2.1 (0.5) | 2.1 (0.4) | 14/15 |
| MCS huyer noisy | 2.3 (3) | 2.7 (3) | 3.8 (3) | 50 (57) | 225 (147) | 225 (170) | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 11 (5) | 7.3 (8) | 2.1 (3) | 14 (43) | 23 (27) | 23 (25) | 28 (36) | 15/15 |
| PSO Bounds el-abd noisy | 1.6 (2) | 2.9 (2) | 1.6 (2) | 2.3 (1) | 2.6 (1.0) | 2.6 (1) | 2.8 (0.6) | 15/15 |
| PSO el-abd noisy | 1.4 (1) | 3.8 (4) | 1.2 (0.9) | 10 (49) | 12 (24) | 12 (46) | 11 (25) | 14/15 |
| RANDOMSEARCH auger noisy | 3.0 (2) | 17 (13) | 28 (20) | 519 (935) | 1315 (1776) | 1315 (1309) | 4165 (5470) | 1/15 |
| SNOBFIT huyer noisy | 1.0 (1) | 8.0 (5) | 4.7 (6) | 6.9 (7) | 6.6 (6) | 6.6 (12) | 6.2 (10) | 3/15 |
| VNS garcia-martinez noisy | 3.2 (3) | 11 (32) | 5.8 (7) | 6.2 (3) | 6.8 (6) | 6.8 (5) | 6.4 (7) | 15/15 |
| iAMALGAM bosman noisy | 26 (1) | 17 (31) | 4.8 (2) | 4.6 (9) | 4.6 (5) | 4.6 (8) | 4.4 (6) | 15/15 |
| Δ fopt f114, 3-D |
1e1 26 |
1e0 1015 |
1e-1 6279 |
1e-2 18884 |
1e-3 28324 |
1e-5 28324 |
1e-7 32580 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.3 (0.6) | 1.4 (1) | 1.1 (0.7) | 1.4 (1) | 1.1 (0.8) | 1.1 (0.6) | 1.4 (1) | 15/15 |
| AMALGAM bosman noisy | 2.8 (3) | 8.5 (10) | 7.1 (9) | 4.8 (4) | 3.4 (3) | 3.4 (3) | 3.1 (3) | 15/15 |
| BAYEDA gallagher noisy | 19 (115) | 12 (9) | ∞ | ∞ | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 19 (21) | 34 (50) | ∞ | ∞ | ∞ | ∞ | ∞2308 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 15 (24) | 1.7 (1) | 1.2 (2) | 1.4 (0.7) | 1.00 (1) | 1.00 (0.7) | 1.0 (0.6) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 26 (26) | 5.3 (3) | 12 (14) | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 527 (815) | 115 (75) | 524 (355) | 942 (1514) | 1315 (821) | 1315 (798) | 1143 (1214) | 0/15 |
| DE-PSO garcia-nieto noisy | 3.4 (0.9) | 2.5 (3) | 4.5 (5) | 4.8 (8) | 3.2 (2) | 3.2 (4) | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 2.8 (2) | 1.1 (1) | 2.6 (1) | 2.9 (1) | 4.1 (5) | 4.1 (3) | 6.3 (4) | 10/15 |
| FULLNEWUOA ros noisy | 94 (100) | 41 (32) | 50 (67) | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 2.4 (3) | 1.1 (0.5) | 2.8 (3) | ∞ | ∞ | ∞ | ∞3873 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 26 (93) | 8.5 (14) | 2.3 (1) | 2.1 (1) | 2.0 (1) | 2.0 (2) | 2.5 (4) | 4/15 |
| MA-LS-CHAIN molina noisy | 0.98 (0.6) | 1.00 (1.0) | 1.0 (0.9) | 1.00 (1) | 1.0 (0.3) | 1.0 (0.4) | 1.3 (0.8) | 9/15 |
| MCS huyer noisy | 4.9 (4) | 3.6 (7) | 8.1 (8) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 25 (51) | 8.1 (11) | 14 (11) | 46 (78) | 51 (82) | 51 (67) | 226 (354) | 3/15 |
| PSO Bounds el-abd noisy | 1.8 (3) | 22 (75) | 33 (60) | 20 (13) | 17 (53) | 17 (22) | 20 (17) | 5/15 |
| PSO el-abd noisy | 4.9 (14) | 45 (148) | 27 (36) | 45 (44) | 30 (36) | 30 (45) | 61 (81) | 2/15 |
| RANDOMSEARCH auger noisy | 1.8 (2) | 2.1 (3) | 12 (12) | 107 (136) | 128 (95) | 128 (193) | 1333 (2578) | 0/15 |
| SNOBFIT huyer noisy | 2.2 (3) | 5.7 (5) | 12 (15) | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 52 (186) | 13 (13) | 10 (8) | 7.9 (8) | 13 (15) | 13 (10) | 15 (17) | 15/15 |
| iAMALGAM bosman noisy | 119 (118) | 17 (36) | 13 (15) | 8.8 (9) | 6.0 (4) | 6.0 (2) | 5.5 (2) | 15/15 |
| Δ fopt f115, 3-D |
1e1 12 |
1e0 118 |
1e-1 593 |
1e-2 841 |
1e-3 890 |
1e-5 890 |
1e-7 1246 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 6.6 (7) | 7.8 (7) | 4.0 (1) | 49 (68) | 66 (89) | 66 (80) | 204 (492) | 15/15 |
| AMALGAM bosman noisy | 3.1 (1) | 1.0 (0.5) | 4.7 (4) | 6.8 (0.1) | 8.2 (7) | 8.2 (10) | 6.9 (8) | 15/15 |
| BAYEDA gallagher noisy | 4.2 (6) | 7.9 (4) | 31 (23) | 48 (48) | 96 (116) | 96 (133) | 69 (66) | 0/15 |
| BFGS ros noisy | 187 (302) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4992 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 2.8 (3) | 1.5 (0.4) | 2.3 (3) | 3.8 (5) | 4.1 (9) | 4.1 (7) | 3.6 (5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 4.7 (3) | 4.8 (6) | 4.7 (5) | 30 (27) | 49 (35) | 49 (39) | 78 (67) | 0/15 |
| DASA korosec noisy | 367 (628) | 481 (728) | 874 (822) | 5338 (5173) | 1.4e4 (7213) | 1.4e4 (1e4) | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 7.1 (7) | 3.5 (3) | 5.0 (8) | 5.2 (7) | 6.1 (11) | 6.1 (3) | 6.5 (3) | 4/15 |
| EDA-PSO el-abd noisy | 3.5 (4) | 2.6 (2) | 41 (5) | 103 (217) | 321 (288) | 321 (380) | 487 (756) | 0/15 |
| FULLNEWUOA ros noisy | 1.3 (0.4) | 1.8 (1) | 2.7 (7) | 15 (23) | 26 (12) | 26 (31) | 28 (18) | 4/15 |
| GLOBAL pal noisy | 3.7 (4) | 4.6 (4) | 3.8 (4) | 31 (43) | ∞ | ∞ | ∞1802 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.8 (3) | 1.4 (0.6) | 1.0 (0.7) | 1.0 (0.8) | 1.0 (0.7) | 1.0 (0.7) | 1.0 (0.6) | 15/15 |
| MA-LS-CHAIN molina noisy | 5.6 (5) | 2.6 (1) | 1.9 (2) | 4.6 (7) | 6.2 (8) | 6.2 (2) | 6.6 (8) | 13/15 |
| MCS huyer noisy | 1.0 (0.4) | 3.2 (3) | 48 (55) | 845 (624) | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 2.9 (1) | 2.8 (3) | 6.1 (7) | 24 (30) | 53 (60) | 53 (54) | 131 (65) | 14/15 |
| PSO Bounds el-abd noisy | 4.3 (9) | 395 (1273) | 189 (253) | 429 (890) | 571 (834) | 571 (1332) | 412 (510) | 2/15 |
| PSO el-abd noisy | 4.2 (2) | 4.1 (2) | 96 (156) | 280 (777) | 576 (361) | 576 (761) | 1030 (767) | 2/15 |
| RANDOMSEARCH auger noisy | 7.0 (6) | 21 (18) | 59 (75) | 1713 (2721) | 5135 (6645) | 5135 (4991) | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 1.9 (1) | 5.3 (7) | 11 (18) | 85 (130) | 81 (103) | 81 (69) | 58 (58) | 0/15 |
| VNS garcia-martinez noisy | 6.7 (7) | 2.6 (3) | 2.2 (3) | 1.9 (2) | 2.0 (3) | 2.0 (2) | 1.5 (2) | 15/15 |
| iAMALGAM bosman noisy | 2.1 (1) | 12 (22) | 7.1 (14) | 8.0 (9) | 10 (15) | 10 (12) | 8.6 (8) | 15/15 |
| Δ fopt f116, 3-D |
1e1 169 |
1e0 2642 |
1e-1 4419 |
1e-2 6154 |
1e-3 7143 |
1e-5 9614 |
1e-7 11370 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 9.4 (5) | 1.6 (0.4) | 2.9 (3) | 3.9 (2) | 5.3 (2) | 9.2 (5) | 14 (12) | 15/15 |
| AMALGAM bosman noisy | 1.00 (0.6) | 1.7 (3) | 1.4 (2) | 1.00 (0.9) | 1.00 (1.0) | 1.0 (0.7) | 1.00 (0.6) | 15/15 |
| BAYEDA gallagher noisy | 24 (36) | 6.9 (10) | 10 (7) | ∞ | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 302 (326) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3444 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 8.8 (6) | 2.4 (3) | 3.4 (3) | 3.0 (2) | 3.1 (2) | 2.4 (1) | 2.1 (1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 16 (19) | 6.7 (5) | 19 (22) | 72 (95) | ∞ | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 532 (755) | 281 (222) | 2798 (3000) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 4.9 (2) | 1.1 (0.5) | 2.3 (2) | 4.5 (7) | 6.1 (7) | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 17 (14) | 3.5 (1) | 30 (20) | 61 (63) | 171 (74) | 128 (273) | 109 (297) | 3/15 |
| FULLNEWUOA ros noisy | 35 (48) | 14 (11) | 68 (51) | 49 (68) | ∞ | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 7.1 (3) | 2.8 (4) | 3.5 (3) | 5.7 (8) | 4.9 (5) | ∞ | ∞1970 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 22 (32) | 3.6 (4) | 3.0 (2) | 2.6 (1) | 2.3 (0.9) | 1.7 (1) | 1.6 (1) | 13/15 |
| MA-LS-CHAIN molina noisy | 8.3 (12) | 2.1 (3) | 4.4 (8) | 8.1 (3) | 14 (14) | 13 (26) | 29 (34) | 2/15 |
| MCS huyer noisy | 4.2 (4) | 5.3 (5) | 37 (63) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 19 (23) | 7.9 (9) | 23 (21) | 70 (89) | 411 (373) | ∞ | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 285 (1334) | 102 (142) | 105 (86) | 103 (110) | 280 (493) | ∞ | ∞3e5 | 0/15 |
| PSO el-abd noisy | 277 (445) | 45 (174) | 124 (108) | 154 (209) | 599 (1081) | 450 (593) | 388 (310) | 1/15 |
| RANDOMSEARCH auger noisy | 48 (41) | 87 (50) | 1333 (850) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 14 (13) | 13 (17) | 8.0 (9) | 5.8 (7) | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 43 (71) | 10 (5) | 13 (17) | 11 (12) | 15 (14) | 17 (25) | 15 (17) | 15/15 |
| iAMALGAM bosman noisy | 5.3 (0.3) | 1.0 (1.0) | 1.0 (2) | 1.1 (1) | 1.6 (3) | 1.3 (0.6) | 1.2 (0.9) | 15/15 |
| Δ fopt f117, 3-D |
1e1 2392 |
1e0 14361 |
1e-1 39508 |
1e-2 56448 |
1e-3 61720 |
1e-5 73678 |
1e-7 80041 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.00 (0.5) | 1.0 (0.8) | 1.2 (0.6) | 3.2 (4) | 4.8 (4) | 30 (12) | 452 (279) | 0/15 |
| AMALGAM bosman noisy | 5.8 (5) | 2.6 (2) | 2.4 (3) | 4.5 (4) | 5.5 (11) | 13 (11) | 23 (44) | 10/15 |
| BAYEDA gallagher noisy | 36 (21) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 11 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1772 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 2.9 (3) | 1.1 (1) | 1.0 (0.4) | 1.0 (0.6) | 1.00 (0.5) | 1.0 (0.5) | 1.00 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 6.0 (4) | 5.1 (11) | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 85 (117) | 158 (298) | 437 (521) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 4.7 (3) | 6.1 (11) | ∞ | ∞ | ∞ | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 2.5 (1) | 8.9 (12) | 17 (24) | 75 (78) | 69 (91) | ∞ | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 22 (17) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 2.6 (2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3515 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.2 (3) | 3.7 (4) | 11 (8) | 8.0 (8) | ∞ | ∞ | ∞3e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.5 (2) | 1.7 (3) | 2.9 (5) | 5.8 (7) | 11 (7) | ∞ | ∞4e4 | 0/15 |
| MCS huyer noisy | 2.0 (2) | 8.4 (10) | 18 (31) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 7.2 (9) | 7.1 (7) | 40 (28) | 170 (221) | ∞ | ∞ | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 47 (96) | 25 (42) | 22 (20) | 36 (74) | 34 (30) | ∞ | ∞3e5 | 0/15 |
| PSO el-abd noisy | 13 (3) | 16 (28) | ∞ | ∞ | ∞ | ∞ | ∞3e5 | 0/15 |
| RANDOMSEARCH auger noisy | 3.0 (4) | 10 (13) | 356 (607) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 2.2 (2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 7.4 (5) | 3.3 (2) | 8.6 (10) | 27 (21) | 142 (85) | 2537 (2181) | ∞3e7 | 0/15 |
| iAMALGAM bosman noisy | 5.8 (14) | 2.6 (4) | 3.0 (3) | 4.5 (6) | 6.9 (6) | 8.8 (8) | 16 (19) | 10/15 |
| Δ fopt f118, 3-D |
1e1 109 |
1e0 205 |
1e-1 712 |
1e-2 853 |
1e-3 1008 |
1e-5 1283 |
1e-7 1593 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 14 (7) | 19 (4) | 13 (13) | 282 (184) | 4121 (4912) | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.3 (0.4) | 1.00 (0.3) | 4.8 (6) | 6.5 (20) | 8.4 (17) | 20 (17) | 41 (39) | 15/15 |
| BAYEDA gallagher noisy | 115 (179) | 125 (204) | ∞ | ∞ | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 60 (35) | 219 (291) | ∞ | ∞ | ∞ | ∞ | ∞9936 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 4.6 (4) | 5.1 (3) | 2.3 (1) | 2.3 (0.5) | 2.2 (0.5) | 2.1 (0.3) | 1.9 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 3.1 (5) | 5.1 (6) | 7.1 (5) | 105 (106) | ∞ | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 248 (559) | 1566 (1586) | 4334 (3306) | 1.7e4 (2e4) | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 8.1 (5) | 18 (12) | 22 (24) | ∞ | ∞ | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 25 (21) | 45 (15) | 161 (226) | 493 (625) | 1978 (1774) | ∞ | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 1 (0.8) | 2.7 (3) | 5.8 (6) | 18 (18) | 135 (181) | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 3.3 (0.3) | 2.8 (2) | 1.8 (2) | 13 (8) | ∞ | ∞ | ∞1293 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 6.5 (5) | 5.0 (3) | 1.7 (0.6) | 1.6 (0.5) | 1.7 (0.4) | 1.6 (0.2) | 1.4 (0.1) | 15/15 |
| MA-LS-CHAIN molina noisy | 4.8 (1) | 6.9 (3) | 4.2 (1) | 5.8 (2) | 14 (14) | 32 (28) | 61 (66) | 4/15 |
| MCS huyer noisy | 6.3 (5) | 76 (96) | 507 (214) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 11 (21) | 20 (9) | 52 (45) | 230 (255) | 3821 (1514) | ∞ | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 12 (11) | 1010 (1099) | 850 (1268) | 1505 (1254) | 4396 (3869) | ∞ | ∞3e5 | 0/15 |
| PSO el-abd noisy | 10 (4) | 756 (740) | 1226 (1263) | 4932 (7649) | 4178 (3646) | ∞ | ∞3e5 | 0/15 |
| RANDOMSEARCH auger noisy | 69 (82) | 1017 (606) | 2.0e4 (6886) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 9.2 (21) | 58 (53) | 100 (120) | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 3.1 (1) | 2.9 (2) | 1.0 (0.8) | 1.0 (0.5) | 1.00 (0.2) | 1.00 (0.2) | 1.0 (0.3) | 15/15 |
| iAMALGAM bosman noisy | 1.0 (0.4) | 7.5 (18) | 4.0 (7) | 5.4 (6) | 20 (28) | 51 (15) | 84 (35) | 15/15 |
| Δ fopt f119, 3-D |
1e1 2.0 |
1e0 66 |
1e-1 421 |
1e-2 610 |
1e-3 2005 |
1e-5 12038 |
1e-7 15719 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.6 (1) | 2.7 (2) | 3.9 (1) | 6.3 (2) | 3.4 (0.5) | 3.3 (4) | 58 (100) | 12/15 |
| AMALGAM bosman noisy | 1.9 (2) | 19 (0.6) | 3.3 (0.2) | 2.6 (8) | 4.5 (5) | 1.0 (0.8) | 1.00 (0.8) | 15/15 |
| BAYEDA gallagher noisy | 2.2 (3) | 5.8 (10) | 2.4 (2) | 3.5 (2) | 2.3 (0.7) | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 99 (80) | 94 (79) | 308 (376) | ∞ | ∞ | ∞ | ∞8996 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.6 (4) | 2.5 (0.7) | 1.00 (0.5) | 1.0 (2) | 1.2 (0.7) | 2.5 (1) | 2.8 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 13 (88) | 11 (19) | 6.9 (4) | 11 (7) | 21 (20) | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 308 (239) | 465 (426) | 413 (374) | 2682 (4316) | 1.9e4 (1e4) | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.3 (3) | 2.4 (2) | 1.4 (0.6) | 2.2 (1) | 1.0 (0.3) | 1.8 (1) | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 1.7 (2) | 1.0 (1) | 2.6 (4) | 14 (9) | 7.9 (2) | 2.5 (0.3) | 128 (158) | 0/15 |
| FULLNEWUOA ros noisy | 4.3 (5) | 7.7 (7) | 18 (16) | 41 (72) | 154 (219) | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 2.3 (2) | 1.8 (2) | 2.8 (3) | 7.3 (3) | 6.4 (16) | ∞ | ∞1909 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.3 (4) | 17 (20) | 3.7 (12) | 3.9 (8) | 2.7 (2) | 1.2 (0.2) | 1.1 (0.1) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.6 (6) | 1.6 (2) | 2.2 (1) | 3.4 (1) | 1.6 (0.8) | 1.5 (0.5) | 42 (42) | 0/15 |
| MCS huyer noisy | 7.2 (8) | 1.3 (0.5) | 3.8 (6) | 91 (127) | 355 (605) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 14 (36) | 5.2 (9) | 5.1 (8) | 22 (28) | 30 (61) | 424 (499) | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 2.6 (2) | 1.8 (0.9) | 2.5 (2) | 7.1 (5) | 4.8 (1) | 16 (32) | 128 (249) | 0/15 |
| PSO el-abd noisy | 1.8 (3) | 1.6 (2) | 1.4 (0.6) | 2.4 (0.9) | 2.0 (0.9) | 24 (33) | 281 (282) | 0/15 |
| RANDOMSEARCH auger noisy | 1.6 (2) | 2.6 (3) | 33 (39) | 992 (805) | ∞ | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 2.5 (2) | 2.6 (4) | 3.1 (10) | 5.8 (3) | 8.5 (7) | 6.2 (5) | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 1.1 (0.8) | 27 (2) | 4.7 (0.1) | 4.7 (11) | 3.3 (6) | 4.1 (3) | 106 (151) | 15/15 |
| iAMALGAM bosman noisy | 2.6 (2) | 11 (40) | 4.8 (3) | 13 (17) | 5.1 (6) | 1.7 (1) | 2.1 (1) | 15/15 |
| Δ fopt f120, 3-D |
1e1 2.0 |
1e0 81 |
1e-1 1802 |
1e-2 6937 |
1e-3 31935 |
1e-5 1.2e5 |
1e-7 2.7e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.6 (2) | 2.3 (2) | 2.1 (1) | 3.4 (1) | 2.1 (1) | 11 (7) | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 2.7 (2) | 38 (53) | 20 (18) | 17 (14) | 12 (7) | 76 (127) | ∞3e6 | 0/15 |
| BAYEDA gallagher noisy | 2.1 (2) | 20 (75) | 47 (40) | ∞ | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 53 (24) | 50 (105) | ∞ | ∞ | ∞ | ∞ | ∞2576 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 24 (84) | 10 (9) | 1.5 (1) | 1.0 (1.0) | 1.0 (1) | 1.00 (0.7) | 1.00 (0.6) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 51 (132) | 23 (26) | 8.9 (15) | 64 (40) | ∞ | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 283 (614) | 434 (1207) | 327 (370) | 5433 (5623) | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.5 (2) | 2.8 (4) | 6.4 (4) | ∞ | ∞ | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 2.1 (2) | 2.5 (4) | 2.4 (2) | 6.0 (11) | 4.6 (9) | ∞ | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 154 (83) | 74 (65) | 85 (136) | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 1.7 (2) | 2.3 (2) | 4.9 (5) | 8.1 (7) | ∞ | ∞ | ∞3880 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 198 (62) | 32 (84) | 9.4 (17) | 4.7 (5) | 4.5 (10) | ∞ | ∞3e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 2.6 (4) | 1.3 (1) | 1 (0.8) | 2.1 (0.7) | 1.5 (0.8) | ∞ | ∞4e4 | 0/15 |
| MCS huyer noisy | 7.3 (22) | 4.3 (8) | 6.5 (5) | 31 (25) | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 37 (53) | 18 (32) | 13 (21) | 90 (127) | 660 (1151) | ∞ | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 2.5 (3) | 266 (1852) | 43 (209) | 20 (23) | 13 (19) | 36 (34) | ∞3e5 | 0/15 |
| PSO el-abd noisy | 2.1 (2) | 0.99 (2) | 21 (65) | 15 (23) | 8.4 (5) | 37 (49) | ∞3e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.9 (2) | 2.0 (2) | 7.1 (13) | 147 (174) | ∞ | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 2.1 (2) | 6.4 (8) | 4.2 (3) | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 1.1 (0.6) | 126 (173) | 17 (7) | 16 (17) | 17 (6) | 774 (446) | ∞3e7 | 0/15 |
| iAMALGAM bosman noisy | 2.5 (3) | 56 (102) | 21 (13) | 15 (9) | 17 (17) | 107 (200) | 163 (186) | 0/15 |
| Δ fopt f121, 3-D |
1e1 2.0 |
1e0 41 |
1e-1 116 |
1e-2 250 |
1e-3 699 |
1e-5 2297 |
1e-7 3321 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.1 (2) | 3.4 (7) | 13 (9) | 110 (93) | 1489 (1720) | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 2.4 (2) | 1.3 (0.7) | 8.0 (1) | 25 (33) | 15 (12) | 54 (30) | 142 (75) | 14/15 |
| BAYEDA gallagher noisy | 2.7 (2) | 4.3 (1) | 25 (52) | 14 (7) | 8.7 (7) | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 66 (42) | 21 (25) | 30 (22) | 60 (49) | 101 (97) | ∞ | ∞9920 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.7 (2) | 0.99 (0.7) | 1.00 (0.3) | 1.0 (0.4) | 1.0 (0.5) | 1.9 (0.5) | 2.5 (0.8) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.0 (2) | 1.8 (5) | 7.1 (13) | 47 (24) | 291 (172) | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 300 (690) | 221 (185) | 1929 (1823) | 4.3e4 (6e4) | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.5 (3) | 2.3 (2) | 5.0 (3) | 6.0 (2) | 23 (21) | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 2.4 (2) | 1.8 (1) | 15 (14) | 635 (512) | ∞ | ∞ | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 4.6 (4) | 2.2 (3) | 3.4 (7) | 6.8 (8) | 88 (34) | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 1.5 (1) | 3.7 (3) | 5.5 (4) | 29 (27) | ∞ | ∞ | ∞2534 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 5.3 (4) | 1.1 (0.7) | 1.2 (0.9) | 1.2 (0.7) | 1.5 (2) | 1.1 (0.2) | 1.00 (0.3) | 15/15 |
| MA-LS-CHAIN molina noisy | 1.9 (2) | 2.1 (2) | 3.8 (0.8) | 5.7 (2) | 10 (8) | 67 (74) | ∞4e4 | 0/15 |
| MCS huyer noisy | 2.3 (2) | 1.4 (1) | 45 (47) | 2847 (3650) | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 5.5 (8) | 1.4 (2) | 7.9 (6) | 46 (46) | 637 (664) | ∞ | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 2.7 (3) | 2.1 (2) | 209 (19) | 2233 (3099) | ∞ | ∞ | ∞3e5 | 0/15 |
| PSO el-abd noisy | 3.1 (2) | 1.6 (1) | 14 (43) | 778 (885) | 6343 (8369) | ∞ | ∞3e5 | 0/15 |
| RANDOMSEARCH auger noisy | 2.6 (2) | 3.7 (5) | 100 (152) | 2191 (2033) | 6.1e4 (9e4) | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 2.6 (2) | 1.0 (0.3) | 8.4 (8) | 32 (37) | 49 (53) | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 1.1 (0.6) | 2.7 (2) | 2.2 (0.6) | 1.8 (0.7) | 1.2 (0.5) | 1.0 (0.3) | 1.1 (0.4) | 15/15 |
| iAMALGAM bosman noisy | 3.4 (2) | 19 (49) | 7.6 (0.6) | 20 (16) | 25 (15) | 79 (40) | 216 (112) | 14/15 |
| Δ fopt f122, 3-D |
1e1 6.0 |
1e0 357 |
1e-1 1802 |
1e-2 4317 |
1e-3 7595 |
1e-5 12242 |
1e-7 19009 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1 (0.8) | 3.0 (3) | 3.6 (0.6) | 3.4 (1) | 3.2 (1) | 4.9 (1) | 12 (6) | 15/15 |
| AMALGAM bosman noisy | 2.0 (0.8) | 2.2 (0.3) | 5.2 (6) | 3.2 (2) | 2.7 (2) | 2.4 (1) | 3.8 (3) | 15/15 |
| BAYEDA gallagher noisy | 1.4 (1) | 2.1 (2) | 3.1 (2) | ∞ | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 41 (55) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8740 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 27 (0.8) | 2.3 (3) | 1.0 (1) | 1.0 (1) | 1.0 (0.6) | 1.00 (0.5) | 1.00 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 18 (17) | 10 (7) | 35 (47) | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 62 (60) | 395 (332) | 1.0e4 (1e4) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 3.5 (5) | 2.0 (0.9) | 2.4 (0.5) | 6.8 (9) | ∞ | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 1.8 (4) | 3.1 (3) | 5.4 (0.9) | 4.6 (0.7) | 6.9 (0.6) | 11 (12) | 11 (8) | 8/15 |
| FULLNEWUOA ros noisy | 13 (36) | 12 (12) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 2.9 (5) | 3.1 (2) | 25 (23) | ∞ | ∞ | ∞ | ∞3360 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 55 (403) | 3.2 (7) | 3.6 (4) | 2.3 (1) | 2.5 (0.5) | 2.4 (1) | 3.5 (2) | 6/15 |
| MA-LS-CHAIN molina noisy | 1.4 (2) | 1.6 (3) | 2.6 (0.8) | 2.8 (2) | 2.7 (0.8) | 3.8 (2) | ∞4e4 | 0/15 |
| MCS huyer noisy | 1.0 (2) | 1.7 (1) | 84 (125) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 11 (1) | 8.4 (6) | 50 (23) | 1291 (842) | 5555 (1e4) | ∞ | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 2.1 (1) | 131 (421) | 116 (128) | 67 (69) | 50 (51) | 45 (50) | 72 (95) | 2/15 |
| PSO el-abd noisy | 1.1 (1) | 1.0 (0.9) | 27 (1) | 29 (53) | 26 (30) | 28 (35) | 51 (84) | 1/15 |
| RANDOMSEARCH auger noisy | 0.97 (1) | 6.7 (9) | 1030 (2220) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 2.2 (2) | 3.0 (3) | 5.6 (10) | 17 (14) | 10 (9) | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 1.8 (1) | 8.9 (36) | 9.4 (11) | 9.0 (12) | 11 (6) | 156 (112) | 2553 (2230) | 3/15 |
| iAMALGAM bosman noisy | 1.5 (1) | 5.1 (7) | 12 (13) | 10 (9) | 6.9 (4) | 6.9 (6) | 6.9 (5) | 15/15 |
| Δ fopt f123, 3-D |
1e1 5.0 |
1e0 1546 |
1e-1 21830 |
1e-2 50182 |
1e-3 93159 |
1e-5 1.9e5 |
1e-7 4.4e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.2 (0.8) | 1.2 (0.8) | 4.0 (3) | 217 (169) | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 2.7 (4) | 32 (7) | 21 (23) | 416 (344) | ∞ | ∞ | ∞3e6 | 0/15 |
| BAYEDA gallagher noisy | 2.4 (3) | 55 (67) | ∞ | ∞ | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 27 (31) | 23 (34) | ∞ | ∞ | ∞ | ∞ | ∞2568 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 32 (54) | 1.4 (2) | 1 (0.9) | 1 (0.5) | 1.00 (0.6) | 1.0 (0.6) | 1.00 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 29 (104) | 8.5 (8) | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 292 (448) | 88 (85) | 1707 (1957) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.3 (0.9) | 5.5 (7) | ∞ | ∞ | ∞ | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 2.5 (1) | 2.2 (4) | 17 (19) | ∞ | ∞ | ∞ | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 141 (201) | 47 (29) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 1.2 (0.8) | 1.2 (1) | ∞ | ∞ | ∞ | ∞ | ∞4210 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 14 (8) | 9.1 (8) | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.7 (2) | 1.1 (0.5) | 7.2 (10) | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| MCS huyer noisy | 4.1 (11) | 3.2 (5) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 35 (38) | 6.6 (10) | 111 (65) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 2.0 (2) | 15 (49) | 20 (26) | ∞ | ∞ | ∞ | ∞3e5 | 0/15 |
| PSO el-abd noisy | 2.3 (0.7) | 31 (0.4) | 22 (35) | 88 (188) | ∞ | ∞ | ∞3e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.8 (3) | 1.0 (1) | 94 (83) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 1.8 (0.7) | 1.7 (2) | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 2.1 (2) | 11 (17) | 31 (20) | 569 (409) | 2138 (867) | ∞ | ∞3e7 | 0/15 |
| iAMALGAM bosman noisy | 0.99 (1) | 18 (21) | 30 (77) | 153 (287) | ∞ | ∞ | ∞3e6 | 0/15 |
| Δ fopt f124, 3-D |
1e1 4.0 |
1e0 196 |
1e-1 926 |
1e-2 3416 |
1e-3 7091 |
1e-5 12902 |
1e-7 14882 |
#succ 14/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.8 (2) | 4.7 (2) | 27 (30) | 2.1e4 (1e4) | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.8 (0.9) | 1.00 (2) | 4.0 (6) | 4.8 (5) | 10 (10) | 54 (29) | 156 (173) | 12/15 |
| BAYEDA gallagher noisy | 2.5 (2) | 1.4 (0.9) | 2.9 (3) | 1.9 (2) | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 85 (93) | 81 (108) | ∞ | ∞ | ∞ | ∞ | ∞9956 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 2.3 (1) | 1.5 (0.2) | 1.0 (0.9) | 1.2 (0.6) | 1.3 (0.9) | 1.3 (0.6) | 2.3 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 15 (25) | 4.1 (8) | 34 (19) | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 295 (411) | 252 (349) | 4.1e4 (4e4) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 3.4 (5) | 2.2 (1.0) | 4.0 (1) | ∞ | ∞ | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 1.8 (2) | 1.4 (1) | 225 (279) | ∞ | ∞ | ∞ | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 10 (25) | 2.6 (3) | 17 (16) | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 1.7 (2) | 3.6 (3) | ∞ | ∞ | ∞ | ∞ | ∞1870 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 3.9 (3) | 3.4 (5) | 1.1 (0.5) | 1 (1) | 1.00 (0.8) | 1.00 (0.4) | 1.0 (0.2) | 14/15 |
| MA-LS-CHAIN molina noisy | 2.1 (2) | 1.5 (2) | 2.7 (2) | 58 (71) | 89 (43) | ∞ | ∞4e4 | 0/15 |
| MCS huyer noisy | 0.90 (0.8) | 6.6 (13) | 170 (372) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 9.3 (23) | 2.6 (1) | 29 (30) | 1877 (1977) | ∞ | ∞ | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 2.1 (2) | 3.9 (6) | 730 (1809) | ∞ | ∞ | ∞ | ∞3e5 | 0/15 |
| PSO el-abd noisy | 1.9 (1) | 1.6 (1) | 359 (554) | ∞ | ∞ | ∞ | ∞3e5 | 0/15 |
| RANDOMSEARCH auger noisy | 3.0 (2) | 11 (11) | 4459 (9141) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 1.8 (2) | 1.7 (2) | 76 (126) | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 2.6 (2) | 1.1 (0.1) | 4.0 (0.3) | 14 (16) | 12 (13) | 263 (261) | 888 (999) | 12/15 |
| iAMALGAM bosman noisy | 2.0 (2) | 3.8 (0.2) | 11 (4) | 11 (8) | 19 (16) | 107 (128) | 184 (146) | 10/15 |
| Δ fopt f125, 3-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 4419 |
1e-3 24677 |
1e-5 36351 |
1e-7 38000 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.1 (0) | 9.5 (4) | 520 (510) | 1.00 (1.0) | 1.4 (2) | 1.7 (0.8) | 2.7 (4) | 15/15 |
| AMALGAM bosman noisy | 1.2 (0.5) | 6.7 (8) | 103 (111) | 3.8 (5) | 2.9 (3) | 2.0 (2) | 1.9 (2) | 15/15 |
| BAYEDA gallagher noisy | 1 (0) | 10 (12) | 314 (203) | 2.0 (2) | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 6.3 (1) | 174 (280) | 1.2e4 (6969) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.1 (0) | 9.3 (11) | 592 (90) | 1.6 (2) | 1.0 (0.9) | 1.00 (0.8) | 1.0 (1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.3 (0.2) | 76 (9) | 773 (626) | 3.4 (2) | 5.2 (5) | 12 (7) | ∞3e4 | 0/15 |
| DASA korosec noisy | 14 (0) | 1900 (1450) | 1.4e4 (1e4) | 120 (137) | 327 (437) | 990 (439) | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.6 (0.8) | 11 (24) | 537 (398) | 1.7 (2) | 3.6 (6) | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 1.2 (0.5) | 10 (14) | 277 (366) | 2.3 (4) | 4.0 (5) | 20 (28) | 52 (36) | 2/15 |
| FULLNEWUOA ros noisy | 2.1 (2) | 11 (4) | 279 (316) | 1.1 (1) | 3.7 (3) | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 1.2 (0) | 8.3 (6) | 418 (304) | 1.7 (2) | 2.2 (3) | ∞ | ∞3881 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1 (0) | 11 (3) | 511 (204) | 3.1 (5) | 18 (23) | 12 (16) | ∞3e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.1 (0.2) | 7.8 (7) | 236 (112) | 1.3 (0.3) | 1.2 (0.6) | 2.8 (3) | 5.7 (2) | 2/15 |
| MCS huyer noisy | 1 (0) | 1 (0)★ | 1 (0)★4 | 1.6 (1) | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 2.1 (4) | 68 (121) | 725 (969) | 3.0 (3) | 7.9 (4) | 30 (43) | 244 (184) | 3/15 |
| PSO Bounds el-abd noisy | 1.1 (0) | 9.1 (10) | 745 (1698) | 8.6 (20) | 6.3 (9) | 11 (19) | 34 (22) | 3/15 |
| PSO el-abd noisy | 1.2 (0.5) | 16 (20) | 443 (350) | 8.8 (8) | 36 (69) | 55 (54) | 52 (49) | 2/15 |
| RANDOMSEARCH auger noisy | 1 (0) | 12 (9) | 705 (600) | 15 (23) | 51 (54) | ∞ | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 1.3 (0.5) | 15 (15) | 348 (223) | 2.1 (3) | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 1.4 (0.5) | 23 (17) | 232 (189) | 4.5 (4) | 5.9 (3) | 11 (6) | 22 (31) | 15/15 |
| iAMALGAM bosman noisy | 1.1 (0) | 7.7 (4) | 1529 (5132) | 5.9 (7) | 6.3 (12) | 7.0 (5) | 7.4 (9) | 15/15 |
| Δ fopt f126, 3-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 13498 |
1e-3 1.1e5 |
1e-5 6.3e5 |
1e-7 9.6e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.1 (0.2) | 8.0 (8) | 650 (593) | 1.3 (1) | 3.4 (2) | 2.3 (2) | 5.7 (5) | 7/15 |
| AMALGAM bosman noisy | 1.3 (1) | 8.0 (10) | 4795 (9606) | 4.2 (2) | 6.4 (4) | 67 (37) | ∞3e6 | 0/15 |
| BAYEDA gallagher noisy | 1.3 (0.2) | 12 (7) | 5691 (1e4) | 6.3 (5) | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 3.9 (22) | 67 (132) | 5165 (8084) | ∞ | ∞ | ∞ | ∞2800 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1 (0) | 16 (37) | 973 (864) | 1.0 (1) | 1.0 (0.6) | 1.00 (1) | 1.00 (0.7) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1 (0) | 156 (186) | 1509 (1596) | 4.7 (6) | ∞ | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 9.3 (0) | 664 (1071) | 2.6e4 (1e4) | 129 (145) | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.3 (0.8) | 12 (6) | 1506 (1151) | 3.3 (2) | ∞ | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 1.2 (0) | 10 (6) | 907 (1248) | 4.4 (12) | 8.5 (10) | ∞ | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 16 (2) | 245 (269) | 1.1e4 (2e4) | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 1.1 (0.5) | 7.9 (10) | 520 (274) | ∞ | ∞ | ∞ | ∞3822 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1 (0) | 8.9 (16) | 3200 (2616) | 5.7 (5) | 4.0 (5) | ∞ | ∞3e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.1 (0.5) | 8.9 (7) | 267 (398) | 1.0 (0.6) | 5.9 (6) | ∞ | ∞4e4 | 0/15 |
| MCS huyer noisy | 1 (0) | 1 (0)★ | 1 (0)★4 | 5.1 (5) | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 1.3 (0.2) | 68 (103) | 1369 (813) | 5.0 (9) | 17 (10) | 72 (64) | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 1.1 (0.5) | 12 (15) | 4.6e4 (8e4) | 13 (30) | 8.3 (19) | 7.2 (6) | ∞3e5 | 0/15 |
| PSO el-abd noisy | 1.3 (0.5) | 6.5 (8) | 762 (2474) | 5.7 (4) | 38 (60) | ∞ | ∞3e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1 (0) | 6.5 (6) | 648 (934) | 4.6 (4) | 20 (16) | 71 (70) | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 1.1 (0.5) | 13 (18) | 1058 (1875) | 1.6 (2) | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 1.4 (0.5) | 23 (17) | 8186 (1e4) | 10 (6) | 19 (34) | 23 (28) | 126 (91) | 1/15 |
| iAMALGAM bosman noisy | 1 (0) | 16 (5) | 3598 (7574) | 3.2 (4) | 12 (11) | 33 (14) | 45 (31) | 1/15 |
| Δ fopt f127, 3-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 3505 |
1e-3 39085 |
1e-5 45347 |
1e-7 45996 |
#succ 8/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1 (0) | 13 (5) | 488 (353) | 8.1 (6) | 19 (20) | 768 (1020) | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.2 (0) | 8.9 (11) | 144 (129) | 10 (8) | 4.3 (4) | 13 (10) | 26 (17) | 14/15 |
| BAYEDA gallagher noisy | 1.3 (0.5) | 10 (22) | 226 (161) | 1.0 (0.5) | 2.3 (4) | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 1 (0) | 188 (162) | 5140 (7656) | ∞ | ∞ | ∞ | ∞9748 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1 (0) | 8.9 (7) | 117 (99) | 1.3 (0.5) | 1.00 (3) | 1.5 (0.9) | 1.5 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.5 (2) | 11 (21) | 923 (458) | 20 (21) | ∞ | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 20 (0) | 874 (1362) | 2.3e4 (3e4) | 559 (799) | 920 (803) | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.5 (0.5) | 11 (12) | 308 (293) | 3.5 (5) | 2.3 (2) | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 1.5 (1) | 9.0 (6) | 544 (687) | 29 (68) | 55 (47) | ∞ | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 1.7 (2) | 13 (8) | 274 (358) | 2.4 (2) | 2.0 (3) | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 1.3 (0.8) | 7.7 (8) | 642 (304) | 14 (14) | ∞ | ∞ | ∞3640 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.1 (0) | 10 (12) | 416 (2406) | 3.0 (3) | 1.0 (0.7) | 1.0 (0.7) | 1.00 (0.9) | 8/15 |
| MA-LS-CHAIN molina noisy | 1.1 (0.2) | 8.9 (6) | 147 (162) | 3.2 (3) | 8.3 (8) | ∞ | ∞4e4 | 0/15 |
| MCS huyer noisy | 1 (0) | 1 (0)★2 | 1 (0)★4 | 7.3 (11) | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 1.1 (0) | 48 (142) | 1025 (987) | 12 (9) | 27 (17) | 463 (804) | ∞3e6 | 0/15 |
| PSO Bounds el-abd noisy | 1.3 (0.8) | 10 (12) | 2.2e4 (8e4) | 58 (104) | 35 (39) | ∞ | ∞3e5 | 0/15 |
| PSO el-abd noisy | 1.1 (0.2) | 12 (27) | 1403 (3550) | 36 (38) | ∞ | ∞ | ∞3e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.1 (0.2) | 13 (16) | 593 (640) | 20 (7) | 61 (75) | 452 (447) | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 1.3 (0.5) | 8.9 (8) | 898 (376) | 4.7 (5) | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 1.4 (0.5) | 23 (17) | 292 (32) | 20 (22) | 12 (17) | 23 (27) | 24 (28) | 15/15 |
| iAMALGAM bosman noisy | 1.2 (0.5) | 11 (6) | 2257 (136) | 10 (8) | 11 (7) | 28 (22) | 60 (90) | 9/15 |
| Δ fopt f128, 3-D |
1e1 6.0 |
1e0 426 |
1e-1 1125 |
1e-2 1346 |
1e-3 1917 |
1e-5 2715 |
1e-7 4340 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.2 (1) | 1.00 (0.6) | 1.1 (0.4) | 1.5 (2) | 1.8 (1.0) | 2.1 (1) | 1.8 (0.4) | 15/15 |
| AMALGAM bosman noisy | 1.3 (0.8) | 7.9 (17) | 21 (41) | 19 (30) | 13 (21) | 10 (17) | 6.1 (4) | 15/15 |
| BAYEDA gallagher noisy | 1.4 (0.7) | 3.0 (0.9) | 7.1 (8) | 33 (24) | 47 (49) | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 51 (104) | 36 (41) | 55 (71) | ∞ | ∞ | ∞ | ∞8860 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 2.1 (3) | 11 (2) | 14 (25) | 15 (10) | 11 (15) | 7.7 (16) | 4.9 (9) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.3 (2) | 3.0 (5) | 2.3 (3) | 3.1 (4) | 2.9 (2) | 4.7 (2) | 3.9 (4) | 12/15 |
| DASA korosec noisy | 73 (294) | 90 (158) | 103 (62) | 135 (296) | 165 (188) | 343 (399) | 960 (1107) | 0/15 |
| DE-PSO garcia-nieto noisy | 1.5 (2) | 3.9 (5) | 4.0 (11) | 3.7 (8) | 2.7 (3) | 2.1 (2) | 1.4 (2) | 9/15 |
| EDA-PSO el-abd noisy | 1.4 (2) | 52 (3) | 43 (3) | 37 (169) | 26 (1.0) | 20 (56) | 13 (35) | 13/15 |
| FULLNEWUOA ros noisy | 9.2 (9) | 5.9 (4) | 4.1 (3) | 6.1 (5) | 4.5 (6) | 6.2 (8) | 35 (38) | 2/15 |
| GLOBAL pal noisy | 1.3 (2) | 1.1 (1) | 1.0 (2) | 1.00 (3) | 1.00 (1) | 1.00 (1) | 1.00 (2) | 6/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.6 (3) | 8.4 (11) | 13 (30) | 11 (12) | 8.1 (6) | 6.1 (6) | 4.8 (5) | 11/15 |
| MA-LS-CHAIN molina noisy | 0.92 (1) | 1.1 (3) | 1.8 (3) | 2.5 (3) | 2.1 (0.9) | 2.0 (1) | 1.3 (0.3) | 15/15 |
| MCS huyer noisy | 4.4 (5) | 1.4 (0.8) | 1.3 (0.8) | 3.9 (2) | 5.5 (4) | 59 (56) | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 3.7 (2) | 5.6 (6) | 3.7 (3) | 4.1 (4) | 3.9 (2) | 3.2 (3) | 5.3 (7) | 15/15 |
| PSO Bounds el-abd noisy | 1.3 (2) | 110 (352) | 68 (133) | 58 (59) | 41 (78) | 30 (56) | 20 (35) | 12/15 |
| PSO el-abd noisy | 1.5 (2) | 110 (530) | 76 (214) | 67 (167) | 47 (18) | 34 (61) | 22 (91) | 12/15 |
| RANDOMSEARCH auger noisy | 2.0 (1) | 1.0 (1) | 2.5 (4) | 18 (27) | 49 (82) | 1196 (1436) | ∞3e6 | 0/15 |
| SNOBFIT huyer noisy | 1.8 (3) | 2.0 (2) | 1.5 (1) | 2.3 (1) | 2.6 (2) | 3.1 (2) | 8.3 (13) | 2/15 |
| VNS garcia-martinez noisy | 2.1 (3) | 29 (39) | 26 (12) | 22 (11) | 15 (11) | 11 (8) | 7.1 (3) | 15/15 |
| iAMALGAM bosman noisy | 1.9 (1) | 22 (26) | 23 (35) | 21 (10) | 17 (17) | 12 (15) | 7.6 (9) | 15/15 |
| Δ fopt f129, 3-D |
1e1 5.0 |
1e0 362 |
1e-1 3392 |
1e-2 7851 |
1e-3 11584 |
1e-5 28362 |
1e-7 38534 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 0.96 (0.9) | 2.4 (3) | 1.00 (1) | 1.1 (0.9) | 1.4 (0.3) | 1.00 (0.3) | 1.00 (0.5) | 15/15 |
| AMALGAM bosman noisy | 1.4 (2) | 38 (53) | 18 (11) | 22 (28) | 24 (18) | 14 (15) | 10 (17) | 15/15 |
| BAYEDA gallagher noisy | 1.7 (2) | 15 (37) | 25 (26) | ∞ | ∞ | ∞ | ∞6000 | 0/15 |
| BFGS ros noisy | 25 (17) | 9.1 (5) | 5.4 (5) | ∞ | ∞ | ∞ | ∞2612 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.1 (3) | 5.8 (3) | 1.8 (2) | 1.1 (2) | 1.0 (0.7) | 3.5 (11) | 2.7 (8) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.8 (4) | 16 (11) | 4.1 (9) | 7.5 (8) | 8.5 (14) | ∞ | ∞3e4 | 0/15 |
| DASA korosec noisy | 90 (177) | 158 (239) | 91 (78) | 86 (92) | 143 (188) | 639 (621) | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.0 (2) | 3.8 (5) | 3.3 (3) | 5.4 (3) | ∞ | ∞ | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 1.4 (1) | 1.8 (2) | 17 (45) | 18 (13) | 18 (5) | 12 (6) | 9.3 (13) | 8/15 |
| FULLNEWUOA ros noisy | 142 (213) | 44 (21) | 16 (31) | 18 (29) | 12 (16) | ∞ | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 1.1 (1) | 1.6 (2) | 1.2 (0.9) | 2.5 (3) | ∞ | ∞ | ∞4243 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.7 (5) | 25 (15) | 10 (13) | 9.4 (16) | 6.7 (10) | 7.1 (9) | 11 (10) | 0/15 |
| MA-LS-CHAIN molina noisy | 1.6 (2) | 1.00 (2) | 1.8 (3) | 1.6 (3) | 1.7 (3) | 1.9 (2) | 2.5 (3) | 6/15 |
| MCS huyer noisy | 6.0 (5) | 3.3 (2) | 2.1 (4) | 4.1 (3) | 10 (14) | 25 (21) | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 6.9 (15) | 6.2 (9) | 3.1 (3) | 3.1 (4) | 5.0 (7) | 31 (36) | 199 (246) | 4/15 |
| PSO Bounds el-abd noisy | 1.7 (2) | 133 (218) | 60 (111) | 44 (57) | 31 (58) | 17 (22) | 13 (10) | 6/15 |
| PSO el-abd noisy | 1.7 (2) | 148 (207) | 61 (91) | 51 (81) | 41 (39) | 23 (28) | 22 (33) | 4/15 |
| RANDOMSEARCH auger noisy | 1.6 (1) | 1.6 (2) | 1.1 (0.9) | 1.7 (2) | 6.8 (4) | 146 (126) | 1091 (740) | 1/15 |
| SNOBFIT huyer noisy | 3.1 (4) | 2.7 (4) | 1.1 (0.8) | 1.00 (1.0) | 1.9 (1) | 1.2 (1) | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 2.5 (3) | 40 (32) | 11 (7) | 9.5 (8) | 8.8 (10) | 4.8 (5) | 4.5 (4) | 15/15 |
| iAMALGAM bosman noisy | 1.6 (1) | 56 (64) | 7.5 (9) | 5.8 (9) | 7.8 (17) | 6.0 (3) | 7.1 (4) | 15/15 |
| Δ fopt f130, 3-D |
1e1 6.0 |
1e0 245 |
1e-1 515 |
1e-2 916 |
1e-3 1502 |
1e-5 11944 |
1e-7 14346 |
#succ 12/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 0.98 (1) | 2.4 (5) | 2.5 (2) | 4.1 (7) | 4.3 (5) | 9.0 (11) | 183 (333) | 3/15 |
| AMALGAM bosman noisy | 1.3 (1) | 92 (248) | 135 (158) | 110 (85) | 69 (79) | 10 (11) | 11 (5) | 15/15 |
| BAYEDA gallagher noisy | 1.3 (0.7) | 5.7 (8) | 33 (27) | 27 (31) | 17 (22) | 7.2 (5) | 6.2 (9) | 1/15 |
| BFGS ros noisy | 31 (42) | 33 (32) | 63 (40) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.8 (0.9) | 24 (21) | 44 (99) | 44 (142) | 46 (14) | 5.9 (2) | 4.9 (5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.0 (3) | 6.0 (5) | 7.0 (4) | 8.8 (6) | 15 (21) | 8.3 (10) | 30 (28) | 1/15 |
| DASA korosec noisy | 38 (112) | 128 (132) | 235 (259) | 743 (775) | 793 (376) | 1532 (1362) | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.3 (0.7) | 6.1 (13) | 5.6 (9) | 8.0 (6) | 6.3 (5) | 1.7 (2) | ∞6040 | 0/15 |
| EDA-PSO el-abd noisy | 1.6 (2) | 1.4 (2) | 5.6 (13) | 37 (21) | 97 (120) | 179 (208) | ∞3e5 | 0/15 |
| FULLNEWUOA ros noisy | 2.1 (2) | 4.1 (6) | 6.4 (9) | 5.5 (4) | 7.7 (10) | 7.0 (5) | ∞2e4 | 0/15 |
| GLOBAL pal noisy | 1.2 (0.5) | 1 (0.7) | 1.0 (0.6) | 1.00 (0.9) | 1.00 (0.7) | 1.0 (2) | 2.6 (3) | 1/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.8 (2) | 5.0 (12) | 23 (32) | 15 (19) | 9.2 (15) | 1.2 (2) | 1.00 (1) | 12/15 |
| MA-LS-CHAIN molina noisy | 2.1 (3) | 9.3 (52) | 10 (25) | 7.1 (15) | 6.8 (16) | 1 (2) | 1.7 (2) | 11/15 |
| MCS huyer noisy | 2.7 (2) | 3.9 (7) | 7.5 (6) | 10 (14) | 19 (26) | 62 (92) | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 2.6 (2) | 3.7 (3) | 2.8 (2) | 4.9 (2) | 5.2 (3) | 7.0 (9) | 145 (141) | 6/15 |
| PSO Bounds el-abd noisy | 1.7 (2) | 95 (3) | 390 (875) | 293 (335) | 236 (249) | 165 (226) | 145 (174) | 0/15 |
| PSO el-abd noisy | 1.4 (2) | 5.8 (7) | 152 (296) | 128 (166) | 115 (164) | 104 (84) | 298 (209) | 0/15 |
| RANDOMSEARCH auger noisy | 1.2 (1) | 2.1 (5) | 4.4 (4) | 15 (28) | 62 (98) | 303 (261) | 3024 (1098) | 0/15 |
| SNOBFIT huyer noisy | 1.3 (0.7) | 4.6 (3) | 5.8 (11) | 12 (15) | 15 (12) | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 2.1 (2) | 83 (104) | 102 (205) | 61 (72) | 52 (88) | 10 (6) | 9.5 (26) | 15/15 |
| iAMALGAM bosman noisy | 0.92 (0.8) | 54 (4) | 74 (157) | 60 (37) | 47 (67) | 9.0 (4) | 11 (15) | 15/15 |
Previous dimension | Dimension = 5 | Next dimension
| Δ fopt f101, 5-D |
1e1 11 |
1e0 37 |
1e-1 44 |
1e-2 49 |
1e-3 62 |
1e-5 69 |
1e-7 75 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 12 (11) | 42 (18) | 76 (18) | 119 (17) | 125 (13) | 178 (21) | 224 (15) | 15/15 |
| AMALGAM bosman noisy | 5.2 (4) | 5.6 (2) | 10 (2) | 13 (4) | 13 (3) | 18 (2) | 21 (2) | 15/15 |
| BAYEDA gallagher noisy | 6.2 (4) | 23 (10) | 64 (10) | 89 (255) | 118 (204) | 123 (113) | 126 (136) | 10/15 |
| BFGS ros noisy | 742 (1867) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.2 (3) | 3.1 (1) | 4.6 (1) | 6.0 (0.7) | 6.1 (0.7) | 8.0 (0.5) | 10 (0.8) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.9 (2) | 2.0 (0.9) | 2.6 (0.4) | 3.2 (0.5) | 3.2 (0.6) | 4.3 (0.6) | 5.3 (0.4) | 15/15 |
| DASA korosec noisy | 19 (15) | 15 (8) | 18 (6) | 21 (4) | 23 (5) | 27 (7) | 32 (5) | 15/15 |
| DE-PSO garcia-nieto noisy | 7.5 (4) | 11 (3) | 16 (3) | 21 (3) | 23 (4) | 31 (2) | 38 (5) | 15/15 |
| EDA-PSO el-abd noisy | 4.1 (4) | 8.0 (4) | 102 (33) | 268 (60) | 318 (51) | 486 (61) | 625 (58) | 15/15 |
| FULLNEWUOA ros noisy | 3.3 (0.4) | 1.3 (0.3) | 1.3 (0.1) | 1.2 (0.2) | 1.00 (0.2) | 1 (0.1)★3 | 1.00 (0.1)★4 | 15/15 |
| GLOBAL pal noisy | 11 (6) | 8.1 (0.3) | 7.7 (0.4) | 7.4 (0.3) | 6.1 (0.2) | 6.2 (0.6) | 6.4 (0.5) | 14/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.2 (3) | 3.0 (1) | 4.1 (1) | 4.9 (1) | 5.1 (0.9) | 6.4 (0.4) | 7.7 (0.8) | 15/15 |
| MA-LS-CHAIN molina noisy | 6.9 (3) | 7.5 (1) | 13 (3) | 15 (2) | 15 (4) | 20 (5) | 23 (2) | 15/15 |
| MCS huyer noisy | 1 (0.1) | 1.00 (2) | 70 (115) | 166 (362) | 920 (638) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 2.9 (2) | 1.8 (0.6) | 2.4 (0.4) | 3.0 (0.6) | 3.1 (0.7) | 3.8 (0.7) | 4.5 (0.6) | 15/15 |
| PSO Bounds el-abd noisy | 4.9 (4) | 13 (4) | 53 (14) | 114 (32) | 142 (71) | 218 (35) | 328 (114) | 15/15 |
| PSO el-abd noisy | 4.2 (4) | 7.8 (4) | 17 (6) | 29 (6) | 36 (5) | 57 (5) | 76 (5) | 15/15 |
| RANDOMSEARCH auger noisy | 10 (10) | 460 (607) | 1.9e5 (1e5) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 2.0 (2) | 1.1 (0.5) | 1.0 (0.3) | 1 (0.2) | 1.1 (0.2) | 1.5 (0.3) | 1.8 (0.2) | 15/15 |
| VNS garcia-martinez noisy | 7.4 (8) | 6.8 (1) | 7.5 (0.8) | 8.2 (1) | 7.9 (1.0) | 9.1 (1) | 11 (0.8) | 15/15 |
| iAMALGAM bosman noisy | 3.3 (2) | 3.4 (1.0) | 5.1 (0.6) | 6.8 (0.8) | 7.1 (0.7) | 10 (0.9) | 12 (1) | 15/15 |
| Δ fopt f102, 5-D |
1e1 11 |
1e0 35 |
1e-1 50 |
1e-2 66 |
1e-3 72 |
1e-5 86 |
1e-7 99 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 6.6 (8) | 51 (20) | 73 (8) | 92 (10) | 107 (9) | 148 (15) | 173 (12) | 15/15 |
| AMALGAM bosman noisy | 5.7 (9) | 6.0 (3) | 7.6 (3) | 8.7 (2) | 10 (2) | 13 (3) | 15 (3) | 15/15 |
| BAYEDA gallagher noisy | 12 (6) | 23 (10) | 59 (108) | 114 (448) | 124 (72) | 117 (58) | 133 (125) | 8/15 |
| BFGS ros noisy | 898 (2584) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 2.8 (2) | 3.1 (1.0) | 4.0 (0.6) | 4.3 (0.4) | 5.1 (0.3) | 6.3 (0.5) | 7.2 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.6 (2) | 2.4 (0.4) | 2.5 (0.5) | 2.6 (0.4) | 3.1 (0.4) | 3.7 (0.4) | 4.2 (0.4) | 15/15 |
| DASA korosec noisy | 42 (16) | 23 (16) | 22 (12) | 23 (7) | 26 (12) | 32 (11) | 38 (13) | 15/15 |
| DE-PSO garcia-nieto noisy | 7.8 (7) | 9.0 (4) | 13 (3) | 15 (2) | 18 (4) | 24 (4) | 28 (4) | 15/15 |
| EDA-PSO el-abd noisy | 4.9 (0.8) | 8.4 (3) | 96 (71) | 180 (65) | 270 (67) | 385 (39) | 473 (44) | 15/15 |
| FULLNEWUOA ros noisy | 3.3 (0.9) | 1.4 (0.1) | 1.2 (0.2) | 1 (0.1) | 1.0 (0.2) | 1.00 (0.2)★3 | 1.00 (0.2)★4 | 15/15 |
| GLOBAL pal noisy | 8.2 (10) | 9.0 (0.4) | 6.8 (0.2) | 5.5 (0.2) | 5.3 (0.2) | 5.0 (0.1) | 5.1 (0.2) | 13/15 |
| IPOP-SEP-CMA-ES ros noisy | 3.2 (2) | 2.9 (1) | 3.2 (0.4) | 3.6 (0.5) | 4.1 (0.6) | 5.0 (0.5) | 5.7 (0.5) | 15/15 |
| MA-LS-CHAIN molina noisy | 7.0 (4) | 8.3 (3) | 12 (6) | 12 (4) | 13 (6) | 16 (5) | 17 (2) | 15/15 |
| MCS huyer noisy | 1.0 (0.1) | 1.0 (1) | 118 (151) | 501 (975) | 9724 (8682) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 2.9 (1) | 2.2 (0.7) | 2.2 (0.5) | 2.3 (0.5) | 2.7 (0.3) | 3.2 (0.6) | 3.9 (0.5) | 15/15 |
| PSO Bounds el-abd noisy | 4.1 (4) | 15 (11) | 48 (13) | 82 (18) | 116 (37) | 177 (63) | 245 (61) | 15/15 |
| PSO el-abd noisy | 4.0 (2) | 11 (8) | 15 (5) | 23 (8) | 31 (6) | 45 (7) | 55 (4) | 15/15 |
| RANDOMSEARCH auger noisy | 4.2 (3) | 437 (341) | 1.7e5 (1e5) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 2.0 (2) | 1.2 (0.6) | 1.0 (0.3) | 1.0 (0.2) | 1.3 (0.3) | 1.7 (0.4) | 2.1 (0.4) | 15/15 |
| VNS garcia-martinez noisy | 7.1 (6) | 6.7 (1) | 6.1 (1) | 6.2 (0.6) | 6.7 (1) | 7.5 (0.7) | 8.1 (1) | 15/15 |
| iAMALGAM bosman noisy | 2.8 (1) | 2.8 (1) | 4.2 (0.9) | 4.9 (0.5) | 6.1 (0.7) | 7.4 (0.5) | 8.5 (0.3) | 15/15 |
| Δ fopt f103, 5-D |
1e1 11 |
1e0 28 |
1e-1 30 |
1e-2 30 |
1e-3 31 |
1e-5 35 |
1e-7 115 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 8.1 (18) | 60 (13) | 120 (22) | 185 (31) | 242 (47) | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 5.0 (2) | 6.9 (2) | 12 (3) | 17 (5) | 22 (4) | 353 (454) | 406 (394) | 15/15 |
| BAYEDA gallagher noisy | 12 (21) | 59 (108) | 133 (177) | 357 (341) | 364 (640) | 435 (283) | 143 (152) | 7/15 |
| BFGS ros noisy | 7.5 (7) | 4.1 (3) | 3.8 (11) | 3.8 (7) | 3.7 (7) | 3.3 (5) | 1 (2) | 15/15 |
| BIPOP-CMA-ES hansen noisy | 3.5 (4) | 4.7 (1) | 7.3 (2) | 10 (0.9) | 13 (1) | 17 (2) | 6.9 (0.9) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.4 (2) | 2.5 (1) | 4.2 (0.9) | 6.8 (1) | 29 (33) | 361 (230) | 1126 (1064) | 3/15 |
| DASA korosec noisy | 16 (5) | 19 (8) | 67 (112) | 423 (553) | 2696 (1531) | 1.7e6 (4e6) | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 12 (11) | 14 (5) | 25 (6) | 40 (12) | 71 (14) | 407 (188) | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 4.2 (3) | 10 (4) | 120 (81) | 463 (86) | 1094 (892) | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 2.8 (1) | 1.6 (0.2) | 1.8 (0.3) | 1.8 (0.2) | 2.6 (0.2) | 2.4 (0.3) | 4.8 (5) | 15/15 |
| GLOBAL pal noisy | 6.4 (9) | 11 (0.3) | 11 (0.3) | 12 (0.3) | 16 (11) | 38 (28) | 33 (53) | 3/15 |
| IPOP-SEP-CMA-ES ros noisy | 3.4 (3) | 3.9 (1.0) | 5.9 (1) | 8.0 (2) | 10 (1) | 14 (3) | 5.7 (1) | 15/15 |
| MA-LS-CHAIN molina noisy | 6.0 (5) | 11 (2) | 19 (3) | 26 (4) | 33 (12) | 49 (17) | 22 (11) | 15/15 |
| MCS huyer noisy | 1 (0.1) | 0.99 (1) | 101 (84) | 101 (167) | 130 (162) | 134 (143) | 232 (239) | 12/15 |
| ONEFIFTH auger noisy | 3.0 (3) | 2.4 (0.5) | 3.6 (0.7) | 5.2 (2) | 27 (16) | 528 (1057) | 3654 (3084) | 13/15 |
| PSO Bounds el-abd noisy | 4.2 (4) | 18 (10) | 85 (53) | 2812 (8337) | 1.5e4 (8093) | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 3.5 (1) | 8.2 (3) | 26 (12) | 100 (53) | 1433 (647) | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 6.2 (4) | 822 (473) | 2.9e5 (2e5) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 1.6 (1) | 1.0 (0.2) | 0.99 (0.5) | 0.99 (0.4) | 1.0 (0.4) | 1.00 (0.4) | 3.5 (11) | 14/15 |
| VNS garcia-martinez noisy | 7.5 (6) | 8.5 (1) | 11 (1) | 13 (3) | 16 (2) | 20 (3) | 7.9 (1) | 15/15 |
| iAMALGAM bosman noisy | 2.7 (1) | 4.5 (2) | 7.5 (2) | 12 (2) | 55 (51) | 380 (251) | 696 (403) | 15/15 |
| Δ fopt f104, 5-D |
1e1 173 |
1e0 773 |
1e-1 1287 |
1e-2 1574 |
1e-3 1768 |
1e-5 2040 |
1e-7 2284 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 18 (5) | 18 (17) | 29 (19) | 37 (13) | 40 (17) | 48 (22) | 71 (34) | 15/15 |
| AMALGAM bosman noisy | 2.1 (0.4) | 3.6 (9) | 2.8 (0.5) | 2.6 (9) | 2.5 (8) | 2.4 (0.6) | 2.3 (0.5) | 15/15 |
| BAYEDA gallagher noisy | 21 (16) | 184 (149) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7878 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.4 (0.2) | 1.9 (0.3) | 2.0 (0.3) | 2.0 (0.2) | 2.0 (0.2) | 1.9 (0.5) | 1.8 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.0 (2) | 3.7 (3) | 4.1 (5) | 4.8 (6) | 4.4 (2) | 3.9 (3) | 3.5 (3) | 15/15 |
| DASA korosec noisy | 11 (19) | 35 (60) | 46 (51) | 88 (146) | 186 (140) | 3164 (1343) | 1.5e4 (1e4) | 1/15 |
| DE-PSO garcia-nieto noisy | 4.5 (2) | 10 (11) | 55 (66) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 32 (21) | 39 (8) | 53 (5) | 72 (6) | 93 (10) | 128 (7) | 157 (5) | 15/15 |
| FULLNEWUOA ros noisy | 1.1 (3) | 1.8 (2) | 1.7 (1) | 1.4 (2) | 1.4 (2) | 1.3 (2) | 1.2 (2) | 15/15 |
| GLOBAL pal noisy | 2.2 (0.3) | 2.0 (2) | 3.4 (2) | 3.7 (3) | 3.3 (5) | 2.9 (2) | 2.6 (1) | 3/15 |
| IPOP-SEP-CMA-ES ros noisy | 5.4 (0.2) | 14 (10) | 8.7 (6) | 7.7 (6) | 7.0 (4) | 6.1 (4) | 5.5 (3) | 15/15 |
| MA-LS-CHAIN molina noisy | 3.6 (0.5) | 7.1 (6) | 5.1 (0.6) | 4.7 (3) | 4.4 (3) | 4.1 (3) | 3.8 (3) | 15/15 |
| MCS huyer noisy | 1.5 (0.5) | 923 (728) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 1.1 (0.1) | 4.3 (3) | 12 (12) | 25 (31) | 63 (88) | 981 (1577) | 9878 (1e4) | 0/15 |
| PSO Bounds el-abd noisy | 17 (11) | 2600 (5657) | 5447 (5633) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 5.7 (1) | 171 (1294) | 190 (124) | 1494 (2004) | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 9055 (1e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 1.3 (0.5) | 91 (66) | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 2.0 (0.6) | 7.4 (11) | 5.6 (6) | 5.9 (0.2) | 11 (38) | 10 (4) | 9.0 (26) | 15/15 |
| iAMALGAM bosman noisy | 1.5 (0.4) | 1.0 (0.7) | 1.00 (0.3) | 1.00 (0.3) | 1.0 (0.2) | 1.0 (0.3) | 1.0 (0.2) | 15/15 |
| Δ fopt f105, 5-D |
1e1 167 |
1e0 1436 |
1e-1 5174 |
1e-2 9998 |
1e-3 10388 |
1e-5 10824 |
1e-7 11202 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 22 (5) | 7.0 (2) | 5.1 (2) | 4.6 (3) | 6.0 (2) | 9.4 (5) | 17 (3) | 15/15 |
| AMALGAM bosman noisy | 2.4 (1) | 11 (14) | 3.3 (4) | 1.8 (2) | 1.8 (2) | 1.7 (2) | 1.7 (2) | 15/15 |
| BAYEDA gallagher noisy | 28 (46) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7224 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.7 (0.4) | 3.7 (3) | 1.7 (0.5) | 1.00 (0.5) | 1.0 (0.3) | 1.0 (0.6) | 1.0 (0.3) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.5 (2) | 4.4 (2) | 4.1 (3) | 11 (8) | 34 (77) | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 17 (13) | 16 (13) | 12 (9) | 22 (41) | 101 (84) | 702 (1144) | 6622 (9039) | 0/15 |
| DE-PSO garcia-nieto noisy | 5.3 (2) | 16 (18) | 14 (21) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 40 (23) | 20 (4) | 13 (2) | 12 (1.0) | 18 (2) | 31 (5) | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 1.7 (4) | 1.6 (1) | 4.5 (3) | 9.3 (8) | 31 (39) | ∞ | ∞5e4 | 0/15 |
| GLOBAL pal noisy | 2.2 (0.8) | 1.00 (2) | 1.0 (1) | ∞ | ∞ | ∞ | ∞1014 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.3 (0.2) | 18 (15) | 5.0 (7) | 2.6 (2) | 2.6 (2) | 2.5 (0.5) | 2.4 (2) | 14/15 |
| MA-LS-CHAIN molina noisy | 3.8 (0.6) | 58 (85) | 44 (25) | 33 (31) | 32 (29) | 31 (25) | 30 (40) | 5/15 |
| MCS huyer noisy | 1.6 (0.6) | 516 (792) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 1.00 (0.6) | 1.7 (1) | 1.3 (2) | 4.3 (5) | 16 (13) | 173 (192) | 6491 (3906) | 0/15 |
| PSO Bounds el-abd noisy | 15 (5) | 1398 (2002) | 1355 (628) | 701 (888) | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 6.4 (2) | 64 (177) | 629 (966) | 701 (375) | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.4e4 (8162) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 2.5 (0.6) | 49 (71) | 14 (13) | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 27 (91) | 42 (55) | 31 (31) | 24 (27) | 26 (33) | 25 (28) | 24 (27) | 15/15 |
| iAMALGAM bosman noisy | 1.5 (0.4) | 8.0 (9) | 2.8 (3) | 1.5 (2) | 1.5 (0.8) | 1.5 (1) | 1.5 (0.7) | 15/15 |
| Δ fopt f106, 5-D |
1e1 92 |
1e0 529 |
1e-1 1050 |
1e-2 1770 |
1e-3 2666 |
1e-5 2887 |
1e-7 3087 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 41 (5) | 20 (8) | 37 (29) | 107 (86) | 413 (538) | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 4.4 (0.7) | 8.8 (14) | 5.3 (6) | 11 (18) | 12 (18) | 28 (23) | 78 (35) | 15/15 |
| BAYEDA gallagher noisy | 44 (37) | 269 (373) | 136 (226) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 19 (17) | 54 (56) | 104 (196) | 207 (122) | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.3 (1) | 4.3 (5) | 3.2 (2) | 2.3 (0.3) | 1.6 (0.7) | 1.7 (0.6) | 1.7 (1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.1 (0.9) | 4.0 (2) | 8.6 (6) | 22 (8) | 85 (87) | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 19 (29) | 31 (34) | 48 (47) | 321 (382) | 1.3e4 (1e4) | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 9.4 (3) | 35 (33) | 142 (261) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 75 (55) | 58 (7) | 6734 (7024) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 0.99 (0.6) | 1.00 (0.6) | 1.0 (2) | 1.7 (2) | 3.1 (4) | 18 (12) | 31 (22) | 5/15 |
| GLOBAL pal noisy | 3.9 (0.5) | 1.3 (0.9) | 1.0 (1.0) | 1 (0.8) | 1.4 (0.9) | 13 (10) | ∞2153 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.2 (0.6) | 3.0 (1) | 2.1 (1) | 1.4 (0.4) | 1.0 (0.3) | 1.0 (0.3) | 1.0 (0.4) | 15/15 |
| MA-LS-CHAIN molina noisy | 6.3 (0.3) | 3.9 (2) | 3.7 (3) | 3.1 (4) | 2.8 (1) | 3.5 (3) | 4.5 (2) | 15/15 |
| MCS huyer noisy | 2.7 (1) | 1348 (733) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 1.4 (0.9) | 6.5 (7) | 17 (10) | 38 (56) | 259 (315) | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 29 (11) | 1910 (710) | 3114 (5117) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 11 (4) | 363 (479) | 3099 (5953) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.3e4 (7283) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 2.5 (1) | 18 (26) | 20 (19) | 40 (54) | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 4.2 (2) | 11 (0.8) | 6.3 (18) | 7.7 (25) | 5.2 (0.1) | 4.9 (15) | 4.6 (14) | 15/15 |
| iAMALGAM bosman noisy | 2.5 (0.5) | 9.1 (15) | 10 (13) | 11 (8) | 13 (8) | 43 (54) | 138 (101) | 15/15 |
| Δ fopt f107, 5-D |
1e1 40 |
1e0 228 |
1e-1 453 |
1e-2 692 |
1e-3 940 |
1e-5 1376 |
1e-7 1850 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.7 (4) | 10 (3) | 12 (2) | 13 (3) | 13 (2) | 14 (2) | 15 (2) | 15/15 |
| AMALGAM bosman noisy | 1.7 (1) | 5.8 (33) | 18 (21) | 12 (13) | 11 (10) | 11 (8) | 11 (7) | 15/15 |
| BAYEDA gallagher noisy | 2.5 (7) | 6.7 (6) | 7.1 (3) | 7.7 (2) | 7.7 (2) | 27 (24) | ∞1e4 | 0/15 |
| BFGS ros noisy | 147 (107) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.7 (2) | 1.00 (0.7) | 1.00 (0.1) | 1.00 (0.3) | 1.00 (0.3) | 1.0 (0.1) | 1.0 (0.2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 21 (30) | 42 (48) | 207 (246) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 593 (745) | 3024 (3454) | 3.6e4 (6e4) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 3.2 (3) | 3.1 (2) | 3.6 (1) | 3.9 (1) | 3.7 (2) | 5.2 (2) | 5.4 (3) | 11/15 |
| EDA-PSO el-abd noisy | 1.6 (4) | 11 (6) | 20 (8) | 27 (3) | 29 (4) | 32 (3) | 34 (4) | 15/15 |
| FULLNEWUOA ros noisy | 85 (139) | 246 (267) | 1373 (1787) | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 2.6 (2) | 12 (14) | ∞ | ∞ | ∞ | ∞ | ∞3707 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 5.6 (2) | 10 (12) | 5.6 (12) | 11 (15) | 11 (9) | 9.5 (7) | 8.9 (4) | 15/15 |
| MA-LS-CHAIN molina noisy | 1.9 (2) | 5.0 (4) | 6.8 (2) | 6.9 (1) | 7.0 (0.7) | 6.0 (1) | 5.0 (1.0) | 15/15 |
| MCS huyer noisy | 3.8 (3) | 4.2 (3) | 72 (115) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 31 (39) | 58 (34) | 649 (997) | 6775 (5557) | 7.5e4 (4e4) | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 1.00 (0.6) | 5.4 (5) | 32 (5) | 67 (5) | 105 (148) | 83 (190) | 70 (80) | 13/15 |
| PSO el-abd noisy | 1.3 (2) | 2.6 (1) | 4.3 (3) | 4.8 (2) | 6.6 (6) | 10 (2) | 10 (5) | 15/15 |
| RANDOMSEARCH auger noisy | 4.5 (1) | 48 (38) | 1.3e4 (1e4) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 1.5 (2) | 13 (10) | 36 (24) | 53 (58) | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 2.7 (2) | 8.0 (0.6) | 6.3 (0.6) | 6.6 (13) | 10 (8) | 8.7 (14) | 9.1 (8) | 15/15 |
| iAMALGAM bosman noisy | 33 (235) | 31 (29) | 28 (35) | 26 (21) | 22 (20) | 22 (20) | 30 (13) | 15/15 |
| Δ fopt f108, 5-D |
1e1 87 |
1e0 5144 |
1e-1 14469 |
1e-2 24649 |
1e-3 30935 |
1e-5 58628 |
1e-7 80667 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.1 (1) | 1.00 (1.0) | 4.5 (6) | 13 (16) | 35 (40) | 1243 (1322) | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 75 (158) | 12 (14) | 17 (7) | 20 (6) | 31 (27) | 169 (240) | 454 (727) | 0/15 |
| BAYEDA gallagher noisy | 18 (29) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 56 (113) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4338 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 6.0 (11) | 1.0 (0.7) | 1.00 (0.6) | 1.00 (0.6) | 1.0 (0.5) | 1.0 (0.5) | 1.0 (0.2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 24 (23) | 15 (21) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 255 (373) | 460 (391) | ∞ | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.3 (5) | 9.3 (5) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 4.9 (23) | 11 (30) | 41 (25) | 295 (259) | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 77 (119) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 1.4 (4) | 3.6 (4) | ∞ | ∞ | ∞ | ∞ | ∞4429 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 104 (206) | 6.7 (12) | 7.6 (9) | 10 (8) | ∞ | ∞ | ∞5e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.3 (1) | 1.0 (1) | 3.9 (4) | 17 (14) | ∞ | ∞ | ∞1e5 | 0/15 |
| MCS huyer noisy | 15 (22) | 6.1 (7) | 51 (29) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 24 (37) | 30 (32) | 833 (1020) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 413 (4) | 86 (171) | 96 (138) | 287 (274) | 229 (182) | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 415 (15) | 48 (50) | 71 (123) | 287 (172) | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.00 (0.5) | 4.1 (4) | 477 (574) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 3.5 (4) | 6.5 (14) | 5.0 (9) | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 60 (2) | 11 (8) | 44 (34) | 445 (178) | 4916 (4945) | ∞ | ∞3e7 | 0/15 |
| iAMALGAM bosman noisy | 125 (223) | 16 (22) | 26 (23) | 33 (28) | 42 (35) | 81 (86) | 212 (221) | 3/15 |
| Δ fopt f109, 5-D |
1e1 11 |
1e0 57 |
1e-1 216 |
1e-2 375 |
1e-3 572 |
1e-5 873 |
1e-7 946 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 5.2 (4) | 28 (5) | 42 (46) | 3532 (3819) | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 3.7 (4) | 3.4 (1) | 19 (75) | 20 (34) | 36 (28) | 71 (56) | 167 (179) | 15/15 |
| BAYEDA gallagher noisy | 8.6 (12) | 41 (93) | 24 (35) | 24 (47) | 22 (26) | 17 (21) | 19 (24) | 3/15 |
| BFGS ros noisy | 39 (44) | 13 (10) | 3.4 (3) | 2.5 (1) | 1.7 (3) | 1.1 (1) | 1.0 (1) | 15/15 |
| BIPOP-CMA-ES hansen noisy | 3.5 (2) | 2.2 (0.9) | 1.1 (0.6) | 1.00 (0.3) | 1.1 (0.3) | 1.1 (0.3) | 1.5 (0.2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.5 (2) | 6.5 (9) | 26 (39) | 428 (584) | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 315 (339) | 2843 (5022) | 4.3e4 (6e4) | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 10 (6) | 6.7 (3) | 5.7 (4) | 25 (42) | 126 (162) | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 3.1 (2) | 4.9 (2) | 551 (2073) | 2.0e4 (1e4) | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 5.6 (0.8) | 5.0 (7) | 6.1 (9) | 13 (10) | 21 (23) | 22 (22) | 20 (25) | 12/15 |
| GLOBAL pal noisy | 8.1 (10) | 7.0 (3) | 5.1 (5) | 53 (40) | 35 (55) | ∞ | ∞1136 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.1 (5) | 2.3 (1) | 1.0 (0.4) | 1.1 (0.3) | 1 (0.3) | 1 (0.3) | 1.2 (0.2) | 15/15 |
| MA-LS-CHAIN molina noisy | 5.8 (6) | 5.9 (2) | 5.1 (2) | 12 (5) | 20 (15) | 72 (51) | 430 (311) | 1/15 |
| MCS huyer noisy | 1 (0.1) | 12 (22) | 22 (34) | 32 (50) | 121 (188) | 372 (372) | 344 (198) | 2/15 |
| ONEFIFTH auger noisy | 2.7 (2) | 5.4 (3) | 13 (8) | 295 (361) | 1.4e4 (1e4) | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 3.6 (3) | 643 (6591) | 2731 (2901) | 1.9e4 (2e4) | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 4.1 (3) | 130 (4) | 1409 (2315) | 2.0e4 (3e4) | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 11 (11) | 319 (193) | 2.2e4 (8601) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 2.4 (0.8) | 1 (0.8) | 3.6 (6) | 16 (21) | 35 (35) | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 7.3 (7) | 4.2 (0.7) | 1.6 (0.2) | 1.5 (0.2) | 1.3 (0.2) | 1.3 (0.3) | 1.8 (0.4) | 15/15 |
| iAMALGAM bosman noisy | 2.6 (2) | 2.3 (0.5) | 16 (8) | 33 (77) | 65 (71) | 182 (100) | 405 (281) | 15/15 |
| Δ fopt f110, 5-D |
1e1 949 |
1e0 33625 |
1e-1 1.2e5 |
1e-2 5.6e5 |
1e-3 5.9e5 |
1e-5 6.0e5 |
1e-7 6.1e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 4.4 (1) | 1.00 (0.8) | 1.0 (0.7) | 1.0 (1) | 1.8 (0.9) | 8.3 (4) | 38 (44) | 0/15 |
| AMALGAM bosman noisy | 4.7 (7) | 74 (148) | 83 (108) | 18 (25) | 17 (18) | 17 (10) | 17 (11) | 6/15 |
| BAYEDA gallagher noisy | 1.9 (0.4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4836 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.00 (0.8) | 4.8 (5) | 3.7 (3) | 1.00 (0.9) | 1 (0.8) | 1.0 (0.5) | 1 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 20 (26) | 22 (26) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 3649 (4477) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.7 (1) | 1.0 (2) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 11 (2) | 221 (178) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 144 (124) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 9.0 (14) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2135 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.9 (10) | 6.1 (12) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.9 (0.7) | 11 (16) | 15 (11) | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MCS huyer noisy | 8.3 (17) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 21 (17) | 33 (44) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 42 (2) | 60 (60) | 59 (54) | 13 (14) | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 2.4 (4) | 30 (49) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1873 (3376) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 8.5 (11) | 2.1 (3) | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 3.4 (11) | 8.8 (18) | 11 (14) | 10 (12) | 28 (32) | 162 (252) | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 4.7 (5) | 9.1 (8) | 46 (53) | 12 (10) | 17 (10) | 20 (10) | 25 (43) | 4/15 |
| Δ fopt f111, 5-D |
1e1 6856 |
1e0 6.1e5 |
1e-1 8.8e6 |
1e-2 2.3e7 |
1e-3 2.3e7 |
1e-5 3.1e7 |
1e-7 3.1e7 |
#succ 3/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.5 (1) | 1.0 (0.9) | 2.5 (4) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 6.6 (12) | 4.5 (2) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2862 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.5) | 2.5 (3) | 1.00 (0.6) | 1 (0.8) | 1.00 (0.6) | 1.0 (0.7) | 1.00 (0.6) | 3/15 |
| CMA-ESPLUSSEL auger noisy | 105 (71) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 3528 (4720) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 22 (48) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 3.5 (0.8) | 5.4 (7) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4431 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.9 (5) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.4 (0.9) | 1.4 (2) | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MCS huyer noisy | 22 (26) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 128 (177) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 111 (165) | 12 (5) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 38 (129) | 3.4 (4) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 210 (270) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 11 (7) | 3.6 (3) | 5.4 (7) | 20 (20) | ∞ | ∞ | ∞3e7 | 0/15 |
| iAMALGAM bosman noisy | 7.2 (3) | 3.7 (3) | 2.5 (3) | 3.2 (2) | ∞ | ∞ | ∞5e6 | 0/15 |
| Δ fopt f112, 5-D |
1e1 107 |
1e0 1684 |
1e-1 3421 |
1e-2 4162 |
1e-3 4502 |
1e-5 5132 |
1e-7 5596 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 33 (9) | 19 (22) | 330 (413) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 3.5 (0.6) | 30 (36) | 185 (172) | 271 (326) | 262 (264) | 381 (322) | 352 (179) | 15/15 |
| BAYEDA gallagher noisy | 45 (26) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 914 (1073) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 4.0 (0.9) | 1 (0.6) | 1.2 (0.5) | 1.2 (0.2) | 1.3 (0.2) | 1.3 (0.2) | 1.3 (0.2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 3.2 (6) | 6.8 (7) | 101 (133) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 79 (76) | 338 (285) | 5557 (4597) | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 7.4 (3) | 40 (70) | 44 (20) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 62 (36) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 1.00 (1)★ | 6.3 (10) | 18 (15) | 153 (82) | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 4.1 (1) | 1.7 (1) | 7.0 (10) | ∞ | ∞ | ∞ | ∞1374 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.0 (0.3) | 2.5 (2) | 1.7 (1) | 1.5 (1) | 1.5 (0.9) | 1.4 (0.8) | 1.4 (0.8) | 15/15 |
| MA-LS-CHAIN molina noisy | 5.4 (0.6) | 15 (20) | 114 (200) | 421 (330) | 389 (548) | ∞ | ∞1e5 | 0/15 |
| MCS huyer noisy | 41 (351) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 2.4 (2) | 4.5 (6) | 65 (68) | 2423 (2538) | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 29 (13) | 1203 (825) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 8.3 (2) | 1931 (1856) | 2047 (1790) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.9e4 (3e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 2.7 (0.6) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 4.5 (4) | 1.1 (0.4) | 1.00 (0.3) | 1.00 (0.4) | 1.0 (0.3) | 1.0 (0.3) | 1.0 (0.3) | 15/15 |
| iAMALGAM bosman noisy | 2.3 (1) | 91 (153) | 341 (303) | 424 (317) | 432 (334) | 438 (285) | 571 (253) | 13/15 |
| Δ fopt f113, 5-D |
1e1 133 |
1e0 1883 |
1e-1 8081 |
1e-2 24021 |
1e-3 24128 |
1e-5 24128 |
1e-7 24402 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 5.9 (3) | 2.6 (0.8) | 2.0 (1) | 1.1 (0.7) | 1.5 (0.5) | 1.5 (0.8) | 1.6 (0.6) | 15/15 |
| AMALGAM bosman noisy | 1.1 (0.9) | 4.6 (9) | 2.4 (3) | 1.00 (0.6) | 1.0 (1.0) | 1.0 (0.8) | 1.0 (0.9) | 15/15 |
| BAYEDA gallagher noisy | 3.3 (3) | 2.6 (1) | 3.2 (4) | 6.1 (5) | 6.1 (7) | 6.1 (8) | 6.0 (9) | 0/15 |
| BFGS ros noisy | 184 (218) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7752 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.5 (0.6) | 1.3 (3) | 1.7 (3) | 1.1 (2) | 1.1 (1) | 1.1 (1) | 1.1 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 8.6 (5) | 40 (16) | 92 (54) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 534 (933) | 2685 (4068) | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 3.1 (2) | 1.0 (0.7) | 1.00 (0.7) | 1.1 (1) | 1.4 (1) | 1.4 (2) | 1.4 (1) | 4/15 |
| EDA-PSO el-abd noisy | 4.4 (2) | 3.4 (2) | 17 (79) | 11 (10) | 15 (21) | 15 (10) | 15 (46) | 9/15 |
| FULLNEWUOA ros noisy | 18 (18) | 57 (36) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 4.1 (5) | 10 (14) | 7.3 (13) | ∞ | ∞ | ∞ | ∞4482 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 16 (39) | 6.7 (8) | 3.3 (1) | 1.2 (0.4) | 1.3 (0.2) | 1.3 (0.5) | 1.3 (0.5) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.2 (0.8) | 1.5 (1) | 4.9 (3) | 3.4 (5) | 5.3 (16) | 5.3 (7) | 5.3 (8) | 8/15 |
| MCS huyer noisy | 1.5 (2) | 9.0 (20) | 92 (130) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 13 (11) | 32 (47) | 231 (484) | 1399 (1627) | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 2.5 (2) | 21 (2) | 56 (62) | 33 (78) | 43 (31) | 43 (42) | 43 (26) | 5/15 |
| PSO el-abd noisy | 471 (2580) | 182 (266) | 415 (325) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 8.7 (4) | 352 (396) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 7.7 (7) | 18 (29) | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 28 (193) | 13 (18) | 13 (16) | 7.3 (4) | 15 (55) | 15 (32) | 15 (32) | 15/15 |
| iAMALGAM bosman noisy | 1.00 (0.4) | 4.7 (5) | 4.2 (5) | 1.6 (2) | 1.8 (2) | 1.8 (1) | 1.8 (2) | 15/15 |
| Δ fopt f114, 5-D |
1e1 767 |
1e0 14720 |
1e-1 56311 |
1e-2 78890 |
1e-3 83272 |
1e-5 83272 |
1e-7 84949 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.2 (0.8) | 1.6 (2) | 7.0 (8) | 35 (82) | 63 (97) | 63 (76) | 96 (120) | 6/15 |
| AMALGAM bosman noisy | 17 (20) | 7.1 (5) | 5.7 (3) | 14 (8) | 19 (35) | 19 (21) | 20 (24) | 14/15 |
| BAYEDA gallagher noisy | 6.9 (10) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3936 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 2.2 (2) | 1.00 (0.6) | 1.00 (0.8) | 1.0 (0.6) | 1.0 (0.1) | 1.0 (0.6) | 1 (0.7) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 7.2 (9) | 24 (30) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 257 (407) | 1088 (703) | ∞ | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 4.7 (3) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 21 (7) | 28 (34) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 60 (63) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 2.7 (5) | 4.5 (3) | ∞ | ∞ | ∞ | ∞ | ∞4458 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 15 (19) | 4.6 (5) | 12 (13) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.3 (2) | 1.6 (2) | 5.8 (4) | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MCS huyer noisy | 2.2 (1) | 7.5 (12) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 13 (15) | 70 (68) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 102 (164) | 137 (127) | 125 (180) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 1.00 (0.7) | 27 (56) | 39 (42) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 2.7 (2) | 34 (17) | 1305 (910) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 3.5 (3) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 34 (41) | 14 (5) | 143 (195) | 1250 (1098) | 5356 (5260) | 5356 (4520) | 5251 (5512) | 1/15 |
| iAMALGAM bosman noisy | 11 (7) | 14 (24) | 15 (15) | 28 (22) | 43 (37) | 43 (40) | 42 (57) | 12/15 |
| Δ fopt f115, 5-D |
1e1 64 |
1e0 485 |
1e-1 1829 |
1e-2 2274 |
1e-3 2550 |
1e-5 2550 |
1e-7 2970 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 13 (7) | 6.8 (3) | 25 (44) | 9619 (9850) | 1.3e4 (7843) | 1.3e4 (2e4) | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.8 (0.8) | 4.1 (0.4) | 2.9 (2) | 5.6 (6) | 5.0 (4) | 5.0 (5) | 6.5 (2) | 15/15 |
| BAYEDA gallagher noisy | 5.8 (2) | 21 (17) | 78 (139) | 63 (66) | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 2201 (1536) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞9702 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.5 (1.0) | 2.6 (1) | 6.5 (7) | 6.6 (6) | 5.9 (4) | 5.9 (5) | 5.7 (5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 4.7 (6) | 7.4 (8) | 42 (59) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 414 (767) | 2746 (1078) | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 4.8 (3) | 5.5 (6) | 6.5 (5) | 65 (106) | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 7.7 (11) | 19 (9) | 183 (149) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 0.99 (2) | 2.8 (2) | 17 (14) | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 4.3 (0.2) | 4.7 (10) | ∞ | ∞ | ∞ | ∞ | ∞1535 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.4 (0.9) | 1.5 (1) | 1.00 (0.3) | 1.00 (1) | 1 (0.6) | 1 (0.4) | 1.00 (0.9) | 15/15 |
| MA-LS-CHAIN molina noisy | 3.0 (2) | 3.2 (4) | 30 (81) | 72 (115) | 152 (157) | 152 (78) | 284 (311) | 1/15 |
| MCS huyer noisy | 1.4 (0.3) | 43 (82) | 405 (239) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 1.7 (1) | 11 (17) | 64 (106) | 3044 (4671) | 1.4e4 (3e4) | 1.4e4 (2e4) | 2.5e4 (2e4) | 0/15 |
| PSO Bounds el-abd noisy | 5.1 (8) | 398 (532) | 1108 (1295) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 2.6 (1) | 194 (292) | 583 (451) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 22 (29) | 906 (727) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 4.6 (11) | 17 (15) | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 3.4 (1.0) | 1.0 (0.5) | 4.4 (4) | 5.7 (5) | 5.3 (6) | 5.3 (6) | 5.2 (5) | 15/15 |
| iAMALGAM bosman noisy | 1.5 (0.8) | 4.2 (10) | 8.7 (13) | 19 (17) | 20 (17) | 20 (14) | 18 (12) | 15/15 |
| Δ fopt f116, 5-D |
1e1 5730 |
1e0 14472 |
1e-1 22311 |
1e-2 26243 |
1e-3 26868 |
1e-5 30329 |
1e-7 31661 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.5 (0.6) | 2.4 (2) | 4.5 (4) | 14 (27) | 26 (19) | 277 (231) | 2334 (2764) | 0/15 |
| AMALGAM bosman noisy | 1.00 (1) | 1.00 (1) | 1.00 (0.8) | 1.0 (0.7) | 1.0 (0.7) | 1.0 (0.8) | 1.0 (0.5) | 15/15 |
| BAYEDA gallagher noisy | 12 (13) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4710 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.2 (1) | 2.0 (3) | 1.9 (1.0) | 2.1 (1) | 2.1 (1) | 2.0 (2) | 2.0 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 37 (40) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 1339 (1303) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.9 (3) | 4.7 (5) | 3.2 (6) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 25 (65) | 96 (147) | 147 (168) | 268 (186) | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 4.5 (5) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4309 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.5 (2) | 2.5 (1) | 2.7 (2) | 2.3 (1) | 2.3 (1) | 2.1 (1.0) | 2.0 (1) | 10/15 |
| MA-LS-CHAIN molina noisy | 2.6 (0.8) | 5.6 (7) | 14 (16) | 69 (65) | ∞ | ∞ | ∞1e5 | 0/15 |
| MCS huyer noisy | 16 (20) | 49 (45) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 40 (32) | 1554 (2073) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 133 (175) | 146 (130) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 241 (262) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1741 (1473) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 14 (21) | 22 (10) | 52 (63) | 199 (289) | 256 (267) | 572 (567) | 914 (2635) | 10/15 |
| iAMALGAM bosman noisy | 4.0 (4) | 3.2 (3) | 2.5 (2) | 2.4 (2) | 2.4 (1) | 2.6 (1) | 2.6 (1) | 15/15 |
| Δ fopt f117, 5-D |
1e1 26686 |
1e0 76052 |
1e-1 1.1e5 |
1e-2 1.3e5 |
1e-3 1.4e5 |
1e-5 1.7e5 |
1e-7 1.9e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 3.1 (4) | 9.3 (10) | 79 (88) | 571 (428) | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 5.6 (4) | 5.9 (6) | 8.4 (5) | 10 (5) | 15 (5) | 45 (52) | 370 (548) | 1/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2820 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.00 (0.6) | 1.00 (0.7) | 1 (0.3) | 1.00 (0.6) | 1.0 (0.6) | 1.00 (0.5) | 1.0 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 28 (28) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 28 (69) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4132 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 8.7 (10) | 10 (7) | 6.7 (5) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 2.2 (1.0) | 24 (23) | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MCS huyer noisy | 12 (12) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 132 (182) | 927 (970) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 123 (155) | 93 (104) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 57 (56) | 96 (151) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 236 (579) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 21 (18) | 270 (255) | 4570 (3423) | ∞ | ∞ | ∞ | ∞3e7 | 0/15 |
| iAMALGAM bosman noisy | 4.3 (2) | 9.0 (5) | 12 (6) | 17 (14) | 32 (23) | 67 (51) | ∞5e6 | 0/15 |
| Δ fopt f118, 5-D |
1e1 429 |
1e0 1217 |
1e-1 1555 |
1e-2 1774 |
1e-3 1998 |
1e-5 2430 |
1e-7 2913 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 13 (3) | 32 (54) | 938 (872) | 4.1e4 (6e4) | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.00 (0.1) | 2.6 (7) | 3.6 (6) | 4.9 (5) | 10 (7) | 30 (27) | 54 (59) | 15/15 |
| BAYEDA gallagher noisy | 99 (41) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.2 (1.0) | 2.0 (0.6) | 1.9 (0.7) | 2.1 (0.5) | 2.1 (0.4) | 2.0 (0.2) | 1.8 (0.2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 8.0 (8) | 22 (40) | 230 (268) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 1337 (970) | 2.7e4 (4e4) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 17 (27) | 38 (40) | 97 (129) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 112 (295) | 317 (310) | 911 (1940) | 3961 (3030) | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 1.3 (0.9) | 5.9 (6) | 70 (64) | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 1.8 (0.7) | 3.0 (3) | ∞ | ∞ | ∞ | ∞ | ∞3450 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 3.8 (0.9) | 2.0 (0.6) | 1.8 (0.5) | 1.7 (0.4) | 1.7 (0.2) | 1.6 (0.2) | 1.4 (0.3) | 15/15 |
| MA-LS-CHAIN molina noisy | 4.1 (3) | 14 (21) | 44 (104) | 86 (119) | 130 (94) | 365 (193) | 637 (1459) | 0/15 |
| MCS huyer noisy | 143 (207) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 36 (44) | 530 (709) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 1765 (2050) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 796 (2042) | 2673 (2876) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.5e4 (2e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 87 (102) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 1.8 (0.5) | 1.0 (0.4) | 1.00 (0.2) | 1.0 (0.4) | 1.0 (0.2) | 1.00 (0.4) | 1.0 (0.4) | 15/15 |
| iAMALGAM bosman noisy | 2.7 (8) | 3.1 (6) | 7.7 (13) | 11 (5) | 22 (18) | 60 (65) | 130 (70) | 15/15 |
| Δ fopt f119, 5-D |
1e1 12 |
1e0 657 |
1e-1 1136 |
1e-2 2363 |
1e-3 10372 |
1e-5 35296 |
1e-7 49747 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.0 (2) | 1.9 (1) | 4.8 (2) | 4.6 (1) | 2.0 (0.7) | 29 (10) | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.4 (2) | 4.6 (0.1) | 10 (17) | 10 (6) | 2.7 (3) | 1.0 (0.4) | 1.0 (0.5) | 15/15 |
| BAYEDA gallagher noisy | 2.1 (2) | 2.5 (4) | 4.6 (10) | 4.2 (3) | 7.1 (15) | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 213 (194) | 125 (206) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.9 (2) | 1.0 (0.9) | 1.00 (2) | 1.0 (0.8) | 1.0 (0.5) | 1.5 (0.9) | 2.3 (1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 17 (22) | 15 (14) | 139 (136) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 209 (235) | 747 (1195) | 1.5e4 (1e4) | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.5 (2) | 1.0 (0.5) | 2.8 (3) | 3.8 (3) | 1.8 (2) | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 1.4 (2) | 1.9 (1) | 8.6 (1) | 8.5 (1.0) | 2.8 (0.3) | 205 (269) | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 12 (10) | 23 (19) | 261 (398) | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 0.98 (0.8) | 4.7 (7) | ∞ | ∞ | ∞ | ∞ | ∞4527 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.4 (4) | 11 (8) | 8.5 (16) | 5.9 (8) | 2.5 (1) | 1.7 (1) | 2.8 (2) | 2/15 |
| MA-LS-CHAIN molina noisy | 1.6 (0.9) | 1.3 (1) | 4.0 (2) | 3.3 (2) | 1.3 (0.8) | 4.7 (3) | ∞1e5 | 0/15 |
| MCS huyer noisy | 3.4 (7) | 2.0 (1) | 43 (40) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 15 (11) | 12 (19) | 259 (226) | 3927 (2784) | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 1.7 (2) | 56 (191) | 73 (1) | 44 (4) | 17 (14) | 97 (90) | ∞5e5 | 0/15 |
| PSO el-abd noisy | 1.8 (2) | 71 (388) | 120 (245) | 60 (213) | 18 (25) | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.4 (0.8) | 12 (6) | 6446 (1e4) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 1.7 (2) | 4.1 (4) | 21 (25) | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 2.7 (2) | 8.2 (16) | 7.3 (17) | 10 (8) | 4.6 (2) | 129 (176) | 1.2e4 (1e4) | 0/15 |
| iAMALGAM bosman noisy | 1.3 (0.7) | 2.8 (3) | 9.1 (8) | 19 (15) | 6.7 (5) | 3.8 (2) | 3.6 (2) | 15/15 |
| Δ fopt f120, 5-D |
1e1 16 |
1e0 2900 |
1e-1 18698 |
1e-2 34491 |
1e-3 72438 |
1e-5 3.3e5 |
1e-7 5.5e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.5 (0.6) | 1.00 (0.8) | 2.8 (3) | 53 (39) | 1008 (1035) | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.5 (1) | 13 (29) | 16 (17) | 35 (59) | 66 (36) | ∞ | ∞5e6 | 0/15 |
| BAYEDA gallagher noisy | 1.2 (1) | 49 (67) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 40 (62) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4344 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 17 (40) | 1.1 (1) | 1.0 (0.7) | 1.00 (0.6) | 1.0 (0.8) | 1.00 (0.5) | 1.0 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 29 (46) | 9.4 (8) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 845 (994) | 264 (176) | ∞ | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.3 (1) | 5.0 (6) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 1.2 (1) | 14 (1) | 23 (40) | 64 (80) | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 152 (145) | 63 (70) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 1.0 (0.8) | 1.8 (4) | ∞ | ∞ | ∞ | ∞ | ∞4374 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 48 (175) | 11 (19) | 5.9 (8) | 21 (29) | ∞ | ∞ | ∞5e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.0 (1) | 1.2 (2) | 5.1 (4) | 26 (31) | ∞ | ∞ | ∞1e5 | 0/15 |
| MCS huyer noisy | 3.7 (10) | 8.5 (9) | 38 (53) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 54 (59) | 21 (29) | 345 (289) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 1.0 (0.8) | 88 (175) | 77 (80) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 2.0 (1) | 119 (218) | 44 (77) | 204 (199) | 103 (131) | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.1 (0.8) | 2.3 (4) | 546 (1049) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 1.2 (1.0) | 3.3 (7) | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 2.0 (2) | 11 (20) | 41 (57) | 739 (700) | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 1.2 (1) | 24 (107) | 34 (30) | 52 (36) | 130 (173) | ∞ | ∞5e6 | 0/15 |
| Δ fopt f121, 5-D |
1e1 9.0 |
1e0 111 |
1e-1 273 |
1e-2 533 |
1e-3 1583 |
1e-5 3870 |
1e-7 6195 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 0.96 (1) | 11 (6) | 153 (139) | 1.3e4 (5228) | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 2.0 (2) | 1.8 (0.8) | 12 (39) | 25 (19) | 26 (8) | 42 (14) | 99 (61) | 15/15 |
| BAYEDA gallagher noisy | 2.9 (1) | 23 (51) | 25 (20) | 18 (38) | 29 (30) | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 40 (20) | 72 (59) | 372 (488) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 2.6 (3) | 1.1 (0.4) | 1 (0.2) | 1.00 (0.1) | 1.1 (0.3) | 2.0 (0.3) | 2.2 (0.2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.5 (2) | 10 (13) | 59 (37) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 171 (387) | 3110 (3294) | 1.9e5 (3e5) | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 4.4 (6) | 2.9 (2) | 5.9 (3) | 62 (38) | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 2.1 (2) | 10 (6) | 2054 (1900) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 3.1 (1) | 10 (16) | 33 (27) | 150 (187) | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 1.8 (4) | 3.5 (1.0) | 11 (24) | ∞ | ∞ | ∞ | ∞1891 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.2 (1) | 1.0 (0.7) | 1.1 (0.3) | 1.3 (0.4) | 1.1 (0.3) | 1.2 (0.4) | 1.1 (0.1) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.7 (3) | 3.7 (2) | 5.2 (1) | 40 (16) | 121 (96) | ∞ | ∞1e5 | 0/15 |
| MCS huyer noisy | 1.4 (2) | 11 (7) | 176 (141) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 2.9 (3) | 4.5 (5) | 49 (53) | 2237 (4337) | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 1.7 (2) | 703 (3386) | 3754 (3239) | 1.4e4 (1e4) | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 1.5 (1) | 378 (368) | 2263 (2599) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 2.3 (2) | 53 (76) | 2.0e4 (2e4) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 1.5 (1) | 1.9 (3) | 24 (12) | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 3.6 (2) | 1.9 (0.5) | 1.3 (0.3) | 1.3 (0.4) | 1.00 (0.3) | 1.0 (0.2) | 1.0 (0.2) | 15/15 |
| iAMALGAM bosman noisy | 2.1 (3) | 1.1 (0.5) | 5.6 (0.2) | 41 (66) | 49 (23) | 115 (67) | 215 (93) | 15/15 |
| Δ fopt f122, 5-D |
1e1 10 |
1e0 1727 |
1e-1 9190 |
1e-2 21579 |
1e-3 30087 |
1e-5 53743 |
1e-7 1.1e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.0 (2) | 2.9 (2) | 2.8 (1) | 4.9 (2) | 20 (26) | 639 (1212) | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.3 (2) | 4.9 (8) | 5.6 (2) | 3.5 (4) | 3.6 (2) | 3.8 (0.8) | 2.6 (2) | 15/15 |
| BAYEDA gallagher noisy | 1.3 (2) | 2.3 (1) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 88 (56) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 2.2 (4) | 1.0 (1) | 1.00 (0.7) | 1.00 (0.8) | 1.00 (0.5) | 1.00 (0.5) | 1.00 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 21 (26) | 59 (44) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 415 (897) | 3198 (4138) | ∞ | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 3.4 (6) | 2.9 (4) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 1.2 (0.8) | 10 (1) | 33 (69) | 96 (145) | 234 (283) | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 30 (21) | 110 (97) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 1.4 (1) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4286 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.1 (4) | 8.1 (8) | 3.6 (4) | 3.3 (3) | 3.3 (3) | 14 (14) | 6.7 (13) | 0/15 |
| MA-LS-CHAIN molina noisy | 1.6 (3) | 4.3 (3) | 4.8 (2) | 6.8 (2) | 61 (32) | ∞ | ∞1e5 | 0/15 |
| MCS huyer noisy | 2.8 (2) | 13 (27) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 18 (16) | 72 (79) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 1.7 (2) | 77 (146) | 55 (113) | 158 (186) | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 1.0 (0.8) | 48 (6) | 121 (194) | 330 (405) | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 2.0 (2) | 101 (141) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 2.0 (2) | 13 (14) | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 3.4 (2) | 18 (25) | 34 (27) | 122 (270) | 1755 (2959) | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 1.3 (0.5) | 12 (18) | 14 (10) | 9.0 (4) | 7.1 (3) | 5.7 (0.7) | 3.6 (2) | 15/15 |
| Δ fopt f123, 5-D |
1e1 11 |
1e0 16066 |
1e-1 81505 |
1e-2 2.3e5 |
1e-3 3.4e5 |
1e-5 6.7e5 |
1e-7 2.2e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.2 (2) | 2.1 (2) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.8 (2) | 8.7 (11) | 146 (151) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| BAYEDA gallagher noisy | 2.8 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 47 (43) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4482 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 8.3 (9) | 1.00 (0.8) | 1.0 (0.4) | 1.0 (0.6) | 1.0 (0.5) | 1.00 (0.9) | 1.00 (0.9) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 28 (77) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 425 (836) | 3043 (4672) | ∞ | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.6 (4) | 9.2 (10) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 1.7 (1) | 33 (18) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 115 (165) | 18 (8) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 1.4 (1) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4159 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 6.2 (5) | 5.5 (7) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.4 (1) | 2.4 (2) | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MCS huyer noisy | 6.4 (19) | 21 (9) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 23 (28) | 23 (29) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 1.2 (1) | 70 (69) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 1.7 (2) | 48 (40) | 87 (81) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.0 (1) | 15 (10) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 3.5 (5) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 3.1 (2) | 28 (27) | 3272 (3565) | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 2.2 (6) | 19 (10) | 163 (95) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| Δ fopt f124, 5-D |
1e1 10 |
1e0 202 |
1e-1 1040 |
1e-2 8974 |
1e-3 20478 |
1e-5 45337 |
1e-7 95200 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.4 (2) | 14 (18) | 3.3e4 (7e4) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 2.0 (1) | 25 (63) | 15 (11) | 10 (16) | 10 (10) | 19 (6) | 17 (14) | 15/15 |
| BAYEDA gallagher noisy | 1.7 (4) | 8.7 (6) | 6.9 (8) | 3.0 (5) | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 71 (78) | 988 (1927) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.5 (2) | 1.1 (0.6) | 1.00 (0.3) | 1.2 (1) | 1.1 (0.9) | 1.2 (1) | 1.0 (1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 4.6 (12) | 33 (26) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 314 (180) | 2.0e4 (9265) | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.0 (2) | 10 (6) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 1.9 (2) | 269 (576) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 5.2 (10) | 45 (75) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 1.6 (2) | 21 (15) | ∞ | ∞ | ∞ | ∞ | ∞4078 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.7 (1) | 1.0 (0.6) | 3.9 (8) | 1.0 (1) | 1.0 (0.6) | 1.00 (0.6) | 1.9 (1) | 3/15 |
| MA-LS-CHAIN molina noisy | 1.7 (4) | 5.1 (3) | 869 (2311) | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MCS huyer noisy | 0.97 (0.9) | 16 (18) | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 4.6 (10) | 35 (83) | 3.4e4 (4e4) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 1.5 (1) | 1383 (2590) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 1.2 (2) | 931 (3111) | 6841 (7452) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.9 (2) | 956 (792) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 1.0 (1.0) | 18 (37) | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 3.4 (1) | 21 (73) | 30 (44) | 41 (53) | 69 (45) | 5405 (7729) | ∞3e7 | 0/15 |
| iAMALGAM bosman noisy | 1.1 (2) | 15 (25) | 40 (26) | 18 (14) | 17 (11) | 57 (23) | 35 (52) | 13/15 |
| Δ fopt f125, 5-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 1.3e5 |
1e-3 2.4e5 |
1e-5 2.4e5 |
1e-7 2.5e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.3 (0.5) | 35 (56) | 1.0e4 (6296) | 3.5 (3) | 137 (183) | 290 (340) | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.1 (0.2) | 37 (38) | 6775 (1e4) | 3.2 (2) | 13 (19) | 23 (31) | 22 (28) | 9/15 |
| BAYEDA gallagher noisy | 1.2 (0) | 42 (48) | 3189 (2504) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 37 (165) | 2366 (1326) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.1 (0.2) | 17 (10) | 3443 (3956) | 1.00 (1) | 1.00 (0.3) | 1.0 (0.5) | 1.0 (0.7) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1 (0) | 143 (139) | 4.6e4 (6e4) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 36 (41) | 6469 (6874) | 1.2e6 (1e6) | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1 (0) | 35 (24) | 1.2e4 (5990) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 1.1 (0) | 31 (28) | 9214 (1e4) | 7.7 (5) | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 3.9 (10) | 26 (14) | 5566 (5675) | 4.8 (3) | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 1.3 (0.5) | 35 (39) | 1.3e4 (2e4) | ∞ | ∞ | ∞ | ∞4660 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1 (0) | 22 (11) | 1.2e4 (1e4) | 5.8 (4) | ∞ | ∞ | ∞5e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.3 (0.5) | 35 (46) | 4747 (8997) | 1.2 (1) | ∞ | ∞ | ∞1e5 | 0/15 |
| MCS huyer noisy | 1 (0) | 1 (0)★2 | 1 (0)★4 | 1.7 (2) | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 2.5 (5) | 210 (167) | 3.3e4 (5e4) | 177 (147) | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 1.2 (0.2) | 27 (22) | 2.2e4 (3e4) | 7.9 (10) | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 1.2 (0.5) | 50 (58) | 7.0e4 (3e5) | 28 (31) | 30 (33) | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1.1 (0) | 60 (122) | 1.5e5 (1e5) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 1.3 (0.5) | 30 (36) | 1.1e4 (1e4) | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 1 (0) | 52 (36) | 2.6e4 (2e4) | 27 (43) | 252 (312) | 2489 (1924) | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 1.2 (0.5) | 24 (17) | 6356 (9294) | 5.9 (7) | 29 (54) | 53 (58) | 52 (77) | 5/15 |
| Δ fopt f126, 5-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 8.8e5 |
1e-3 ∞ |
1e-5 ∞ |
1e-7 ∞ |
#succ 0/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.2 (0.2) | 30 (14) | 4.2e4 (4e4) | ∞ | 0/15 | |||
| AMALGAM bosman noisy | 1 (0) | 45 (23) | 3.0e4 (1e4) | 84 (50) | 0/15 | |||
| BAYEDA gallagher noisy | 1.2 (0) | 29 (26) | ∞ | ∞ | 0/15 | |||
| BFGS ros noisy | 5.4 (30) | 458 (268) | ∞ | ∞ | 0/15 | |||
| BIPOP-CMA-ES hansen noisy | 1 (0) | 160 (96) | 1.3e4 (6653) | 2.1 (2) | 0/15 | |||
| CMA-ESPLUSSEL auger noisy | 1 (0) | 408 (754) | 1.6e5 (1e5) | ∞ | 0/15 | |||
| DASA korosec noisy | 2.9 (7) | 3253 (5376) | 2.4e6 (3e6) | ∞ | 0/15 | |||
| DE-PSO garcia-nieto noisy | 1.1 (0.2) | 51 (45) | 1.4e5 (2e5) | ∞ | 0/15 | |||
| EDA-PSO el-abd noisy | 1 (0) | 34 (26) | 4.7e4 (5e4) | ∞ | 0/15 | |||
| FULLNEWUOA ros noisy | 2.6 (0) | 1743 (2145) | ∞ | ∞ | 0/15 | |||
| GLOBAL pal noisy | 1 (0) | 42 (35) | 6.2e4 (8e4) | ∞ | 0/15 | |||
| IPOP-SEP-CMA-ES ros noisy | 1 (0) | 108 (237) | 4.0e4 (5e4) | ∞ | 0/15 | |||
| MA-LS-CHAIN molina noisy | 1.1 (0.5) | 35 (38) | 9399 (6520) | 1.0 (1) | 0/15 | |||
| MCS huyer noisy | 1 (0) | 1 (0)★2 | 1 (0)★4 | ∞ | 0/15 | |||
| ONEFIFTH auger noisy | 18 (6) | 432 (284) | 2.4e5 (1e5) | ∞ | 0/15 | |||
| PSO Bounds el-abd noisy | 1.3 (1) | 26 (40) | 3.6e5 (4e5) | ∞ | 0/15 | |||
| PSO el-abd noisy | 1.2 (0.5) | 40 (32) | 2.1e5 (3e5) | ∞ | 0/15 | |||
| RANDOMSEARCH auger noisy | 1.1 (0) | 43 (30) | 1.2e5 (8e4) | 82 (98) | 0/15 | |||
| SNOBFIT huyer noisy | 1.3 (0.5) | 90 (127) | ∞ | ∞ | 0/15 | |||
| VNS garcia-martinez noisy | 1 (0) | 56 (42) | 1.2e5 (1e5) | 677 (458) | 0/15 | |||
| iAMALGAM bosman noisy | 1 (0) | 38 (63) | 6.9e4 (9e4) | 42 (60) | 0/15 |
| Δ fopt f127, 5-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 1.3e5 |
1e-3 3.4e5 |
1e-5 3.9e5 |
1e-7 4.0e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.4 (1) | 46 (23) | 2.5e4 (2e4) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.1 (0.2) | 40 (19) | 2694 (7686) | 2.2 (2) | 5.1 (2) | 14 (17) | 26 (14) | 5/15 |
| BAYEDA gallagher noisy | 1.3 (0.5) | 35 (38) | 2190 (1638) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 7.8 (0) | 1333 (900) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1 (0) | 19 (8) | 2136 (1514) | 1.2 (2) | 1.00 (1) | 1.0 (0.7) | 1.0 (0.8) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.3 (1) | 51 (127) | 5.5e4 (7e4) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 61 (196) | 4369 (4234) | 2.8e6 (2e6) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.3 (0.2) | 36 (22) | 1.5e4 (1e4) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 1.3 (0.5) | 32 (18) | 6.3e4 (2e5) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 4.1 (10) | 25 (3) | 1.1e4 (2e4) | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 1.1 (0) | 37 (32) | ∞ | ∞ | ∞ | ∞ | ∞4081 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1 (0) | 19 (9) | 3749 (5389) | 1 (2) | 2.2 (3) | ∞ | ∞5e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.2 (0.2) | 39 (38) | 8559 (2e4) | 7.0 (9) | ∞ | ∞ | ∞1e5 | 0/15 |
| MCS huyer noisy | 1 (0) | 1 (0)★ | 1 (0)★4 | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 1.1 (0) | 65 (109) | 3.6e4 (7e4) | 554 (778) | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 1.2 (0.5) | 44 (62) | 1.3e5 (4e5) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 1 (0) | 40 (30) | 1.5e5 (4e5) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 1 (0) | 47 (23) | 1.2e5 (9e4) | 545 (729) | ∞ | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 1.3 (0.8) | 24 (28) | 2.2e4 (3e4) | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 1 (0) | 52 (59) | 2.7e4 (5e4) | 14 (11) | 117 (96) | 212 (103) | 209 (187) | 6/15 |
| iAMALGAM bosman noisy | 1.3 (1) | 24 (12) | 9757 (9796) | 3.9 (3) | 17 (25) | 40 (38) | 179 (171) | 1/15 |
| Δ fopt f128, 5-D |
1e1 111 |
1e0 4248 |
1e-1 7808 |
1e-2 10500 |
1e-3 12447 |
1e-5 17217 |
1e-7 21162 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.7 (1) | 1.0 (0.8) | 1.00 (1) | 1.00 (0.4) | 1.00 (1) | 1.00 (0.5) | 1.00 (0.4) | 15/15 |
| AMALGAM bosman noisy | 1.2 (1) | 46 (54) | 46 (131) | 35 (24) | 30 (28) | 22 (21) | 18 (17) | 15/15 |
| BAYEDA gallagher noisy | 1.3 (2) | 2.8 (4) | 19 (17) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 88 (83) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 2.2 (1) | 6.9 (3) | 10 (11) | 7.8 (22) | 6.6 (27) | 4.8 (14) | 3.9 (4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 9.1 (13) | 4.6 (4) | 6.8 (7) | 11 (26) | 17 (46) | 19 (11) | ∞5e4 | 0/15 |
| DASA korosec noisy | 233 (303) | 176 (67) | 398 (354) | 2436 (2685) | 4198 (3861) | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.8 (3) | 4.4 (4) | 3.9 (4) | 2.9 (3) | 2.5 (4) | 1.8 (2) | 1.5 (3) | 4/15 |
| EDA-PSO el-abd noisy | 1.4 (2) | 33 (90) | 44 (128) | 33 (84) | 28 (20) | 21 (37) | 17 (6) | 9/15 |
| FULLNEWUOA ros noisy | 15 (23) | 11 (18) | 36 (50) | 57 (81) | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 1.0 (1) | 1.6 (2) | 2.3 (3) | 1.7 (1) | 4.8 (5) | ∞ | ∞4428 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 6.8 (0.8) | 13 (7) | 7.6 (1) | 5.7 (5) | 4.8 (7) | 3.5 (2) | 2.8 (2) | 9/15 |
| MA-LS-CHAIN molina noisy | 1.1 (0.9) | 1.3 (2) | 1.3 (0.9) | 1.5 (1) | 1.6 (0.9) | 1.4 (1) | 1.3 (0.9) | 15/15 |
| MCS huyer noisy | 4.6 (5) | 2.3 (3) | 3.6 (4) | 9.5 (19) | 59 (66) | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 7.5 (6) | 5.8 (4) | 8.4 (7) | 10 (14) | 26 (32) | 135 (209) | 1034 (1122) | 0/15 |
| PSO Bounds el-abd noisy | 2.2 (4) | 104 (59) | 129 (144) | 132 (214) | 111 (191) | 81 (131) | 66 (53) | 4/15 |
| PSO el-abd noisy | 1.9 (2) | 50 (59) | 73 (64) | 55 (60) | 46 (100) | 34 (36) | 27 (30) | 7/15 |
| RANDOMSEARCH auger noisy | 1.8 (2) | 4.1 (4) | 41 (85) | 714 (815) | 5953 (1e4) | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 2.4 (1.0) | 3.3 (4) | 4.7 (6) | 7.1 (6) | 6.0 (4) | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 1.0 (0.7) | 13 (25) | 12 (12) | 8.7 (9) | 7.4 (5) | 5.5 (3) | 5.0 (4) | 15/15 |
| iAMALGAM bosman noisy | 8.2 (26) | 34 (96) | 21 (30) | 16 (40) | 15 (9) | 11 (25) | 8.9 (12) | 15/15 |
| Δ fopt f129, 5-D |
1e1 64 |
1e0 10710 |
1e-1 59443 |
1e-2 2.3e5 |
1e-3 2.8e5 |
1e-5 5.1e5 |
1e-7 5.8e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 3.3 (4) | 2.7 (3) | 1.7 (3) | 1.00 (0.9) | 1.00 (0.6) | 1.00 (1.0) | 1.00 (1) | 15/15 |
| AMALGAM bosman noisy | 2.7 (2) | 19 (33) | 12 (11) | 4.2 (3) | 4.8 (8) | 3.3 (3) | 4.2 (3) | 12/15 |
| BAYEDA gallagher noisy | 27 (159) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 85 (106) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4338 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 12 (17) | 7.1 (19) | 9.2 (58) | 4.8 (22) | 3.9 (24) | 2.2 (0.2) | 1.9 (0.1) | 13/15 |
| CMA-ESPLUSSEL auger noisy | 34 (57) | 5.7 (12) | 5.9 (11) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 229 (321) | 143 (164) | 399 (476) | ∞ | ∞ | ∞ | ∞3e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 5.7 (4) | 14 (28) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 5.3 (3) | 36 (36) | 11 (10) | 9.0 (6) | 12 (11) | 6.7 (5) | 12 (5) | 1/15 |
| FULLNEWUOA ros noisy | 128 (37) | 58 (54) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 1.5 (0.5) | 1.7 (3) | 1 (0.7) | ∞ | ∞ | ∞ | ∞4321 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 42 (85) | 9.2 (9) | 3.8 (5) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.5 (1) | 1.0 (3) | 1.6 (3) | 1.7 (1) | 6.5 (6) | 3.6 (5) | ∞1e5 | 0/15 |
| MCS huyer noisy | 10 (8) | 4.9 (6) | 2.8 (2) | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 29 (26) | 6.8 (6) | 9.0 (7) | 23 (41) | ∞ | ∞ | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 2.8 (3) | 129 (210) | 34 (34) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 1.0 (2) | 132 (210) | 34 (34) | 15 (23) | ∞ | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 2.8 (3) | 1.3 (1) | 5.7 (5) | 36 (36) | 259 (360) | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 5.3 (5) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 2.2 (4) | 16 (15) | 8.9 (9) | 7.0 (7) | 8.9 (9) | 26 (42) | 241 (243) | 1/15 |
| iAMALGAM bosman noisy | 25 (2) | 25 (11) | 13 (11) | 4.3 (5) | 4.7 (8) | 5.8 (4) | 8.6 (9) | 5/15 |
| Δ fopt f130, 5-D |
1e1 55 |
1e0 812 |
1e-1 3034 |
1e-2 8198 |
1e-3 32823 |
1e-5 33889 |
1e-7 34528 |
#succ 10/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.4 (1) | 7.7 (31) | 4.5 (10) | 4.8 (5) | 19 (30) | 2120 (2951) | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 2.1 (1.0) | 156 (127) | 139 (545) | 52 (30) | 13 (51) | 14 (29) | 15 (49) | 15/15 |
| BAYEDA gallagher noisy | 2.5 (2) | 174 (336) | 47 (34) | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BFGS ros noisy | 34 (26) | 112 (111) | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.9 (1) | 57 (82) | 55 (127) | 20 (37) | 5.1 (7) | 5.0 (6) | 5.0 (7) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.7 (3) | 6.8 (6) | 4.6 (3) | 6.0 (4) | 6.8 (5) | ∞ | ∞5e4 | 0/15 |
| DASA korosec noisy | 146 (162) | 548 (1053) | 1475 (578) | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 4.5 (2) | 12 (16) | 5.7 (8) | 3.1 (4) | 1 (1) | 4.4 (5) | ∞1e4 | 0/15 |
| EDA-PSO el-abd noisy | 5.0 (13) | 315 (774) | 113 (165) | 128 (107) | 107 (194) | ∞ | ∞5e5 | 0/15 |
| FULLNEWUOA ros noisy | 3.0 (5) | 7.0 (5) | 3.0 (2) | 3.0 (4) | 2.4 (2) | ∞ | ∞4e4 | 0/15 |
| GLOBAL pal noisy | 2.5 (2) | 1 (1) | 1.00 (2) | 1.00 (2) | 1.1 (2) | ∞ | ∞2511 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.00 (0.8) | 27 (38) | 11 (12) | 4.1 (7) | 1.0 (2) | 1.0 (1) | 1.0 (0.8) | 10/15 |
| MA-LS-CHAIN molina noisy | 2.4 (1) | 27 (65) | 17 (41) | 8.2 (22) | 2.1 (1) | 2.5 (2) | 2.9 (3) | 8/15 |
| MCS huyer noisy | 4.0 (6) | 21 (26) | 29 (33) | 40 (85) | ∞ | ∞ | ∞5e4 | 0/15 |
| ONEFIFTH auger noisy | 3.3 (5) | 5.8 (7) | 3.1 (2) | 6.6 (5) | 7.0 (7) | 377 (209) | ∞5e6 | 0/15 |
| PSO Bounds el-abd noisy | 3.1 (5) | 575 (776) | 476 (721) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| PSO el-abd noisy | 1.7 (2) | 384 (512) | 332 (536) | 255 (752) | 107 (114) | ∞ | ∞5e5 | 0/15 |
| RANDOMSEARCH auger noisy | 3.2 (3) | 31 (37) | 110 (143) | 532 (505) | 2262 (800) | ∞ | ∞5e6 | 0/15 |
| SNOBFIT huyer noisy | 1.5 (2) | 3.8 (4) | 5.3 (3) | 9.1 (16) | 2.3 (2) | ∞ | ∞5001 | 0/15 |
| VNS garcia-martinez noisy | 1.7 (0.4) | 120 (284) | 106 (90) | 70 (28) | 18 (30) | 18 (23) | 17 (26) | 15/15 |
| iAMALGAM bosman noisy | 1.4 (0.9) | 133 (237) | 55 (101) | 23 (42) | 6.4 (10) | 7.5 (10) | 7.5 (11) | 15/15 |
Previous dimension | Dimension = 10 | Next dimension
| Δ fopt f101, 10-D |
1e1 26 |
1e0 40 |
1e-1 181 |
1e-2 185 |
1e-3 194 |
1e-5 210 |
1e-7 226 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 70 (15) | 133 (23) | 50 (6) | 72 (7) | 89 (6) | 123 (11) | 155 (12) | 15/15 |
| AMALGAM bosman noisy | 17 (7) | 30 (12) | 11 (6) | 15 (4) | 19 (6) | 24 (5) | 28 (5) | 15/15 |
| BAYEDA gallagher noisy | 53 (17) | 81 (30) | 45 (34) | 86 (55) | 108 (106) | 135 (120) | 139 (198) | 8/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 5.4 (1) | 7.8 (1) | 2.5 (0.4) | 3.3 (0.3) | 4.0 (0.2) | 5.1 (0.3) | 6.1 (0.3) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 3.0 (1) | 4.2 (1) | 1.4 (0.3) | 1.8 (0.2) | 2.2 (0.3) | 2.9 (0.3) | 3.5 (0.2) | 15/15 |
| DASA korosec noisy | 30 (14) | 34 (12) | 10 (2) | 13 (3) | 14 (4) | 18 (1) | 21 (4) | 15/15 |
| DE-PSO garcia-nieto noisy | 16 (6) | 27 (6) | 11 (2) | 16 (3) | 21 (4) | 31 (4) | 41 (5) | 15/15 |
| EDA-PSO el-abd noisy | 25 (51) | 378 (102) | 182 (32) | 279 (46) | 363 (28) | 508 (32) | 640 (32) | 15/15 |
| FULLNEWUOA ros noisy | 4.0 (0.6) | 4.1 (0.7) | 1.00 (0.2) | 1.0 (0.2) | 1.00 (0.1)★ | 1.0 (0.1)★4 | 1.0 (0.1)★4 | 15/15 |
| GLOBAL pal noisy | 13 (0.2) | 11 (2) | 3.0 (1) | 3.3 (0.5) | 3.7 (2) | 4.1 (1) | 5.0 (0.6) | 15/15 |
| IPOP-SEP-CMA-ES ros noisy | 5.1 (2) | 6.5 (1) | 2.1 (0.2) | 2.8 (0.4) | 3.3 (0.3) | 4.3 (0.4) | 5.1 (0.5) | 15/15 |
| MA-LS-CHAIN molina noisy | 11 (4) | 19 (6) | 8.3 (2) | 11 (3) | 13 (3) | 16 (2) | 18 (2) | 15/15 |
| MCS huyer noisy | 1 (0.2)★4 | 1 (0.9)★3 | 20 (14) | 874 (757) | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 3.1 (0.7) | 3.7 (0.5) | 1.2 (0.3) | 1.5 (0.3) | 1.8 (0.2) | 2.4 (0.3) | 2.9 (0.3) | 15/15 |
| PSO Bounds el-abd noisy | 13 (10) | 141 (25) | 95 (50) | 152 (51) | 218 (78) | 285 (67) | 485 (282) | 15/15 |
| PSO el-abd noisy | 8.9 (3) | 25 (14) | 12 (1) | 18 (3) | 25 (4) | 35 (4) | 45 (5) | 15/15 |
| RANDOMSEARCH auger noisy | 2203 (1323) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 4.6 (2) | 3.9 (3) | 1.0 (0.3) | 1.1 (0.2) | 1.3 (0.2) | 1.6 (0.2) | 1.9 (0.2) | 15/15 |
| VNS garcia-martinez noisy | 12 (2) | 11 (2) | 3.3 (0.2) | 4.0 (0.3) | 4.5 (0.3) | 5.7 (0.3) | 6.7 (0.3) | 15/15 |
| iAMALGAM bosman noisy | 8.1 (2) | 13 (2) | 5.0 (0.6) | 6.9 (0.6) | 8.3 (0.6) | 11 (0.7) | 14 (0.9) | 15/15 |
| Δ fopt f102, 10-D |
1e1 26 |
1e0 41 |
1e-1 197 |
1e-2 208 |
1e-3 226 |
1e-5 265 |
1e-7 304 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 68 (16) | 131 (11) | 46 (8) | 64 (8) | 78 (4) | 101 (4) | 119 (6) | 15/15 |
| AMALGAM bosman noisy | 17 (7) | 30 (9) | 10 (4) | 13 (5) | 15 (5) | 17 (4) | 20 (4) | 15/15 |
| BAYEDA gallagher noisy | 50 (27) | 73 (23) | 24 (5) | 37 (27) | 41 (25) | 61 (40) | 63 (33) | 12/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 4.9 (2) | 7.1 (2) | 2.3 (0.3) | 2.9 (0.3) | 3.2 (0.4) | 4.0 (0.4) | 4.5 (0.2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 3.1 (2) | 4.0 (0.6) | 1.2 (0.2) | 1.6 (0.1) | 1.9 (0.2) | 2.3 (0.2) | 2.6 (0.2) | 15/15 |
| DASA korosec noisy | 30 (11) | 34 (14) | 10 (4) | 13 (3) | 15 (4) | 18 (6) | 22 (6) | 15/15 |
| DE-PSO garcia-nieto noisy | 17 (4) | 26 (4) | 9.5 (3) | 14 (2) | 18 (2) | 24 (4) | 29 (5) | 15/15 |
| EDA-PSO el-abd noisy | 44 (53) | 385 (69) | 177 (11) | 248 (14) | 313 (15) | 403 (12) | 468 (9) | 15/15 |
| FULLNEWUOA ros noisy | 4.2 (0.8) | 4.2 (0.5) | 1.0 (0.1) | 1.00 (0.1) | 1.0 (0.1)★4 | 1.0 (0.1)★4 | 1.0 (0.1)★4 | 15/15 |
| GLOBAL pal noisy | 13 (0.3) | 10 (2) | 2.9 (0.5) | 3.8 (2) | 4.3 (2) | 7.2 (5) | 26 (32) | 2/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.1 (2) | 6.1 (1) | 1.9 (0.3) | 2.3 (0.3) | 2.7 (0.3) | 3.2 (0.3) | 3.6 (0.2) | 15/15 |
| MA-LS-CHAIN molina noisy | 11 (4) | 21 (8) | 8.2 (3) | 11 (2) | 12 (2) | 13 (2) | 14 (1) | 15/15 |
| MCS huyer noisy | 0.99 (0.2)★3 | 1.00 (0.8)★3 | 412 (812) | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 3.0 (1.0) | 4.0 (2) | 1.2 (0.2) | 1.5 (0.4) | 1.7 (0.2) | 2.7 (0.4) | 4.5 (3) | 15/15 |
| PSO Bounds el-abd noisy | 12 (5) | 97 (43) | 88 (50) | 139 (51) | 187 (56) | 223 (71) | 438 (233) | 15/15 |
| PSO el-abd noisy | 9.1 (6) | 1765 (11) | 373 (2538) | 360 (3) | 337 (2214) | 298 (1889) | 269 (3) | 14/15 |
| RANDOMSEARCH auger noisy | 3065 (2000) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 6.0 (2) | 7.6 (7) | 1.8 (0.4) | 2.1 (2) | 2.1 (2) | 3.6 (0.5) | 5.3 (0.7) | 10/15 |
| VNS garcia-martinez noisy | 12 (3) | 11 (0.9) | 3.1 (0.5) | 3.6 (0.4) | 4.1 (0.5) | 4.6 (0.4) | 5.0 (0.3) | 15/15 |
| iAMALGAM bosman noisy | 7.1 (2) | 13 (2) | 4.6 (0.5) | 6.1 (0.6) | 7.3 (0.6) | 8.9 (0.5) | 10 (0.5) | 15/15 |
| Δ fopt f103, 10-D |
1e1 26 |
1e0 47 |
1e-1 126 |
1e-2 141 |
1e-3 360 |
1e-5 363 |
1e-7 364 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 68 (28) | 111 (9) | 75 (3) | 97 (13) | 2.5e4 (1e4) | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 17 (5) | 27 (8) | 16 (7) | 19 (5) | 30 (43) | 230 (246) | 381 (169) | 15/15 |
| BAYEDA gallagher noisy | 44 (24) | 66 (10) | 62 (122) | 80 (73) | 49 (70) | 58 (42) | 67 (29) | 10/15 |
| BFGS ros noisy | 12 (48) | 6.5 (6) | 2.9 (10) | 2.6 (5) | 1.00 (2) | 1.0 (2) | 1 (0.8) | 15/15 |
| BIPOP-CMA-ES hansen noisy | 5.5 (2) | 6.1 (0.6) | 3.6 (0.6) | 4.2 (0.6) | 2.2 (0.2) | 3.1 (0.2) | 4.2 (0.2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 3.5 (1) | 3.6 (0.6) | 2.5 (0.4) | 6.0 (4) | 23 (6) | 711 (761) | ∞1e5 | 0/15 |
| DASA korosec noisy | 21 (11) | 22 (9) | 39 (49) | 1133 (1117) | 2.4e5 (3e5) | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 18 (5) | 21 (5) | 17 (4) | 72 (73) | 150 (102) | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 37 (47) | 349 (95) | 275 (22) | 1530 (25) | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 3.9 (0.4) | 3.4 (0.5) | 1.4 (0.3) | 1.9 (0.3) | 1.4 (3) | 7.5 (7) | 20 (28) | 15/15 |
| GLOBAL pal noisy | 25 (24) | 17 (13) | 7.1 (7) | 6.9 (6) | 2.7 (2) | 2.7 (3) | 2.7 (3) | 15/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.8 (1) | 5.6 (1) | 3.0 (0.3) | 3.6 (0.4) | 1.9 (0.2) | 2.7 (0.3) | 3.5 (0.2) | 15/15 |
| MA-LS-CHAIN molina noisy | 10 (3) | 18 (6) | 12 (3) | 15 (2) | 8.6 (2) | 17 (7) | 30 (62) | 15/15 |
| MCS huyer noisy | 1.0 (0.2) | 1 (0.5) | 14 (40) | 15 (36) | 13 (14) | 50 (62) | 174 (244) | 5/15 |
| ONEFIFTH auger noisy | 3.5 (2) | 3.6 (0.5) | 1.9 (0.3) | 7.8 (14) | 46 (59) | 7791 (9370) | 4.1e5 (5e5) | 0/15 |
| PSO Bounds el-abd noisy | 11 (3) | 108 (205) | 1461 (350) | 4.6e4 (4e4) | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 9.1 (2) | 1539 (4) | 583 (3) | 2294 (1921) | 1.9e4 (1e4) | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 1654 (866) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 3.9 (1) | 2.5 (1) | 1.00 (0.7) | 1.0 (0.6) | 1.4 (0.3) | 5.5 (10) | 7.7 (4) | 7/15 |
| VNS garcia-martinez noisy | 11 (1) | 9.4 (0.8) | 4.7 (0.6) | 5.3 (0.6) | 2.6 (0.3) | 3.8 (0.3) | 5.0 (0.5) | 15/15 |
| iAMALGAM bosman noisy | 7.5 (3) | 12 (2) | 7.4 (1) | 9.3 (1) | 7.3 (9) | 198 (173) | 1017 (865) | 15/15 |
| Δ fopt f104, 10-D |
1e1 610 |
1e0 9987 |
1e-1 16641 |
1e-2 18419 |
1e-3 19364 |
1e-5 20764 |
1e-7 22011 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 24 (2) | 14 (9) | 14 (6) | 16 (9) | 21 (11) | 51 (35) | 111 (147) | 7/15 |
| AMALGAM bosman noisy | 4.3 (1) | 1.4 (0.2) | 1.00 (0.1) | 1 (0.1) | 1.0 (0.7) | 1.0 (0.1) | 1.0 (0.1) | 15/15 |
| BAYEDA gallagher noisy | 35 (25) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 2.7 (2) | 1.8 (2) | 1.3 (0.6) | 1.3 (0.4) | 1.3 (0.5) | 1.2 (0.5) | 1.2 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.1 (2) | 5.5 (6) | 19 (20) | 80 (72) | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 11 (9) | 2.1 (3) | 7.2 (12) | 23 (25) | 78 (61) | 1898 (2472) | ∞9e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 8.2 (20) | 30 (24) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 72 (7) | 18 (1) | 17 (0.7) | 22 (1.0) | 28 (1) | 40 (1) | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 1.2 (2) | 1.6 (3) | 2.6 (2) | 2.5 (2) | 6.4 (6) | 11 (8) | 14 (30) | 4/15 |
| GLOBAL pal noisy | 1.4 (0.9) | 1.0 (1) | 1.4 (2) | 2.8 (2) | ∞ | ∞ | ∞3171 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.00 (0.4) | 5.7 (2) | 3.6 (1) | 3.3 (1.0) | 3.2 (0.8) | 3.0 (1.0) | 2.8 (0.8) | 15/15 |
| MA-LS-CHAIN molina noisy | 4.3 (1.0) | 34 (45) | 21 (9) | 20 (17) | 19 (16) | 18 (19) | 17 (17) | 11/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 1.3 (1) | 5.2 (2) | 10 (16) | 32 (46) | 66 (89) | 1203 (926) | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 53 (28) | 662 (553) | 398 (765) | 766 (801) | 729 (684) | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 7.0 (4) | 401 (250) | 429 (361) | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 13 (25) | 7.3 (12) | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 16 (1) | 54 (35) | 51 (22) | 46 (83) | 45 (24) | 42 (52) | 40 (19) | 15/15 |
| iAMALGAM bosman noisy | 2.1 (0.1) | 2.5 (4) | 1.6 (2) | 1.5 (0.6) | 1.5 (2) | 1.5 (2) | 1.4 (1) | 15/15 |
| Δ fopt f105, 10-D |
1e1 950 |
1e0 21491 |
1e-1 70146 |
1e-2 72570 |
1e-3 74217 |
1e-5 78195 |
1e-7 79729 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 16 (4) | 10 (13) | 5.3 (2) | 6.9 (5) | 12 (23) | 19 (22) | 42 (25) | 9/15 |
| AMALGAM bosman noisy | 2.3 (0.2) | 3.9 (3) | 1.2 (2) | 1.2 (2) | 1.2 (1) | 1.2 (2) | 1.2 (2) | 15/15 |
| BAYEDA gallagher noisy | 18 (6) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (1) | 2.9 (0.8) | 1.0 (0.7) | 1.00 (0.7) | 1.00 (0.5) | 1.00 (0.6) | 1.0 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.8 (1) | 4.5 (4) | 4.4 (5) | 20 (21) | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 18 (31) | 3.1 (2) | 2.6 (3) | 17 (14) | 54 (78) | 1415 (1684) | ∞8e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 3.4 (0.8) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 45 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 1.2 (3) | 4.4 (5) | 6.4 (6) | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 1.6 (2) | 1 (2) | ∞ | ∞ | ∞ | ∞ | ∞2807 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.00 (0.2) | 32 (40) | 20 (40) | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 5.2 (16) | 163 (174) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 1.7 (2) | 8.7 (7) | 10 (14) | 45 (35) | 171 (98) | 1846 (1503) | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 98 (272) | 316 (269) | 205 (249) | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 80 (265) | 303 (419) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 11 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 18 (0.4) | 313 (226) | 302 (283) | 651 (920) | 732 (1023) | 1216 (1341) | 4868 (4081) | 1/15 |
| iAMALGAM bosman noisy | 1.2 (0.1) | 9.5 (10) | 3.0 (2) | 2.9 (2) | 2.9 (2) | 2.8 (1) | 2.8 (3) | 15/15 |
| Δ fopt f106, 10-D |
1e1 288 |
1e0 3425 |
1e-1 7705 |
1e-2 8190 |
1e-3 8501 |
1e-5 8968 |
1e-7 9372 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 48 (11) | 140 (192) | 141 (234) | 1465 (1382) | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 8.6 (2) | 35 (54) | 45 (36) | 86 (251) | 208 (279) | 426 (263) | 622 (677) | 12/15 |
| BAYEDA gallagher noisy | 104 (173) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 2.9 (0.5) | 1.7 (0.1) | 1.0 (0.2) | 1.1 (0.3) | 1.2 (0.0) | 1.2 (0.2) | 1.2 (0.2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 3.5 (3) | 24 (36) | 40 (62) | 171 (153) | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 11 (5) | 6.6 (7) | 29 (52) | 4000 (3639) | ∞ | ∞ | ∞1e7 | 0/15 |
| DE-PSO garcia-nieto noisy | 17 (19) | 85 (86) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 160 (19) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 1.0 (0.7)★ | 1.00 (0.8) | 8.1 (10) | 89 (114) | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 2.6 (2) | 5.4 (8) | ∞ | ∞ | ∞ | ∞ | ∞3282 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.1 (0.2) | 2.0 (1) | 1.0 (0.6) | 1 (0.3) | 1.00 (0.3) | 1.00 (0.3) | 1.00 (0.0) | 15/15 |
| MA-LS-CHAIN molina noisy | 8.3 (2) | 5.7 (1) | 4.9 (5) | 6.5 (3) | 8.2 (4) | 14 (10) | 32 (32) | 9/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 2.4 (2) | 18 (13) | 61 (84) | 372 (683) | 1.7e4 (2e4) | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 316 (893) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 13 (1) | 1948 (1533) | 1818 (1330) | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 14 (22) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 4.6 (0.8) | 11 (17) | 4.8 (15) | 4.6 (7) | 4.5 (7) | 4.3 (13) | 4.2 (0.2) | 15/15 |
| iAMALGAM bosman noisy | 4.4 (0.9) | 21 (19) | 17 (22) | 46 (81) | 90 (135) | 343 (392) | 813 (462) | 9/15 |
| Δ fopt f107, 10-D |
1e1 945 |
1e0 2255 |
1e-1 3871 |
1e-2 5207 |
1e-3 7352 |
1e-5 11340 |
1e-7 14303 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 3.2 (1) | 6.0 (2) | 8.0 (3) | 11 (5) | 14 (4) | 26 (19) | 86 (54) | 12/15 |
| AMALGAM bosman noisy | 5.8 (19) | 13 (16) | 15 (6) | 14 (11) | 12 (3) | 10 (18) | 9.4 (10) | 15/15 |
| BAYEDA gallagher noisy | 3.0 (2) | 4.0 (0.9) | 4.5 (0.6) | 29 (20) | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (1) | 1.00 (0.8) | 1.00 (0.5) | 1.0 (0.4) | 1.0 (0.4) | 1.0 (0.5) | 1.0 (0.6) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 231 (249) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 1.1e4 (9878) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 2.7 (1) | 13 (10) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 9.2 (25) | 44 (46) | 30 (85) | 37 (0.4) | 40 (68) | 28 (66) | 24 (0.6) | 12/15 |
| FULLNEWUOA ros noisy | 226 (300) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 77 (82) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5439 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 12 (19) | 16 (14) | 16 (8) | 14 (13) | 12 (8) | 8.2 (4) | 13 (14) | 6/15 |
| MA-LS-CHAIN molina noisy | 2.2 (3) | 6.1 (2) | 6.9 (2) | 7.8 (2) | 7.7 (2) | 6.3 (1.0) | 5.8 (1) | 15/15 |
| MCS huyer noisy | 28 (55) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 241 (402) | 6.3e4 (1e5) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 84 (23) | 237 (234) | 557 (966) | 1293 (1488) | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 465 (582) | 261 (240) | 267 (348) | 242 (421) | 256 (126) | 309 (390) | 1034 (1031) | 0/15 |
| RANDOMSEARCH auger noisy | 38 (54) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 11 (10) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 28 (50) | 27 (45) | 36 (29) | 42 (52) | 65 (85) | 203 (245) | 963 (477) | 15/15 |
| iAMALGAM bosman noisy | 3.9 (7) | 26 (31) | 42 (25) | 53 (21) | 45 (4) | 30 (3) | 27 (2) | 15/15 |
| Δ fopt f108, 10-D |
1e1 10015 |
1e0 31433 |
1e-1 47589 |
1e-2 77508 |
1e-3 1.1e5 |
1e-5 1.8e5 |
1e-7 3.1e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.2 (2) | 464 (588) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 19 (22) | 33 (33) | 77 (34) | 85 (98) | 319 (263) | ∞ | ∞1e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8426 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.8) | 1.00 (0.5) | 1.00 (0.4) | 1.0 (0.5) | 1.00 (0.5) | 1.0 (0.7) | 1.00 (0.7) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 30 (33) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 639 (530) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 29 (25) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 94 (102) | 453 (326) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 143 (110) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4573 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 45 (33) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.1 (1) | 237 (215) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | 27 (39) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 95 (84) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 119 (208) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 189 (247) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 4.1 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 48 (32) | 4283 (2604) | ∞ | ∞ | ∞ | ∞ | ∞5e7 | 0/15 |
| iAMALGAM bosman noisy | 18 (21) | 61 (55) | 97 (71) | 156 (130) | 1333 (1602) | ∞ | ∞1e7 | 0/15 |
| Δ fopt f109, 10-D |
1e1 28 |
1e0 286 |
1e-1 499 |
1e-2 824 |
1e-3 1159 |
1e-5 1786 |
1e-7 2415 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 68 (23) | 57 (102) | 1.4e5 (2e5) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 16 (14) | 4.1 (2) | 12 (2) | 43 (20) | 53 (36) | 91 (70) | 159 (48) | 15/15 |
| BAYEDA gallagher noisy | 43 (18) | 11 (2) | 11 (4) | 17 (13) | 21 (17) | 17 (26) | ∞2e4 | 0/15 |
| BFGS ros noisy | 270 (220) | 49 (124) | 28 (77) | 17 (23) | 12 (19) | 10 (10) | 7.3 (16) | 10/15 |
| BIPOP-CMA-ES hansen noisy | 4.6 (2) | 1.1 (0.3) | 1.1 (0.2) | 1.1 (0.2) | 1.1 (0.2) | 1.2 (0.1) | 1.2 (0.1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 8.9 (14) | 53 (131) | 1406 (1913) | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 1562 (1647) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 17 (6) | 7.5 (2) | 46 (83) | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 39 (43) | 1.1e4 (3600) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 27 (33) | 24 (31) | 2915 (4108) | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 13 (6) | 6.3 (5) | ∞ | ∞ | ∞ | ∞ | ∞2795 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 4.8 (1) | 1.00 (0.3) | 1.00 (0.2) | 1.0 (0.3) | 1.0 (0.3) | 1.00 (0.2) | 1.0 (0.2) | 15/15 |
| MA-LS-CHAIN molina noisy | 10 (5) | 4.5 (0.9) | 10 (14) | 184 (224) | 3163 (2373) | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | 1.00 (0.3)★3 | 19 (74) | 73 (120) | 200 (243) | 231 (202) | 322 (353) | 238 (439) | 1/15 |
| ONEFIFTH auger noisy | 5.8 (7) | 7.7 (11) | 1866 (2042) | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 2579 (2e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 162 (990) | 4072 (9551) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 2352 (2540) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 6.5 (4) | 18 (20) | 142 (119) | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 11 (1) | 1.6 (0.1) | 1.5 (0.2) | 1.4 (0.1) | 1.3 (0.2) | 1.3 (0.1) | 1.3 (0.1) | 15/15 |
| iAMALGAM bosman noisy | 8.2 (2) | 2.1 (0.2) | 10 (9) | 54 (71) | 126 (141) | 273 (140) | 447 (248) | 15/15 |
| Δ fopt f110, 10-D |
1e1 11224 |
1e0 3.3e7 |
1e-1 7.0e7 |
1e-2 1.6e8 |
1e-3 ∞ |
1e-5 ∞ |
1e-7 ∞ |
#succ 0/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 15 (10) | 1.0 (0.9) | 1 (2) | ∞ | 0/15 | |||
| AMALGAM bosman noisy | 6.5 (1) | ∞ | ∞ | ∞ | 0/15 | |||
| BAYEDA gallagher noisy | 4.3 (3) | ∞ | ∞ | ∞ | 0/15 | |||
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | 0/15 | |||
| BIPOP-CMA-ES hansen noisy | 1.00 (0.8) | 4.9 (7) | 2.3 (3) | 1 (2) | 0/15 | |||
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | 0/15 | |||
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | 0/15 | |||
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | 0/15 | |||
| EDA-PSO el-abd noisy | 83 (93) | ∞ | ∞ | ∞ | 0/15 | |||
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | 0/15 | |||
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | 0/15 | |||
| IPOP-SEP-CMA-ES ros noisy | 13 (18) | ∞ | ∞ | ∞ | 0/15 | |||
| MA-LS-CHAIN molina noisy | 7.4 (5) | ∞ | ∞ | ∞ | 0/15 | |||
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | 0/15 | |||
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | 0/15 | |||
| PSO Bounds el-abd noisy | 372 (442) | ∞ | ∞ | ∞ | 0/15 | |||
| PSO el-abd noisy | 613 (986) | ∞ | ∞ | ∞ | 0/15 | |||
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | 0/15 | |||
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | 0/15 | |||
| VNS garcia-martinez noisy | 39 (27) | 3.6 (3) | ∞ | ∞ | 0/15 | |||
| iAMALGAM bosman noisy | 20 (15) | ∞ | ∞ | ∞ | 0/15 |
| Δ fopt f111, 10-D |
1e1 82927 |
1e0 ∞ |
1e-1 ∞ |
1e-2 ∞ |
1e-3 ∞ |
1e-5 ∞ |
1e-7 ∞ |
#succ 0/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | 0/15 | ||||||
| AMALGAM bosman noisy | 16 (17) | 0/15 | ||||||
| BAYEDA gallagher noisy | ∞ | 0/15 | ||||||
| BFGS ros noisy | ∞ | 0/15 | ||||||
| BIPOP-CMA-ES hansen noisy | 1.0 (0.8) | 0/15 | ||||||
| CMA-ESPLUSSEL auger noisy | ∞ | 0/15 | ||||||
| DASA korosec noisy | ∞ | 0/15 | ||||||
| DE-PSO garcia-nieto noisy | ∞ | 0/15 | ||||||
| EDA-PSO el-abd noisy | ∞ | 0/15 | ||||||
| FULLNEWUOA ros noisy | ∞ | 0/15 | ||||||
| GLOBAL pal noisy | ∞ | 0/15 | ||||||
| IPOP-SEP-CMA-ES ros noisy | ∞ | 0/15 | ||||||
| MA-LS-CHAIN molina noisy | ∞ | 0/15 | ||||||
| MCS huyer noisy | ∞ | 0/15 | ||||||
| ONEFIFTH auger noisy | ∞ | 0/15 | ||||||
| PSO Bounds el-abd noisy | ∞ | 0/15 | ||||||
| PSO el-abd noisy | ∞ | 0/15 | ||||||
| RANDOMSEARCH auger noisy | ∞ | 0/15 | ||||||
| SNOBFIT huyer noisy | ∞ | 0/15 | ||||||
| VNS garcia-martinez noisy | ∞ | 0/15 | ||||||
| iAMALGAM bosman noisy | 35 (23) | 0/15 |
| Δ fopt f112, 10-D |
1e1 884 |
1e0 11583 |
1e-1 16109 |
1e-2 17394 |
1e-3 18239 |
1e-5 19461 |
1e-7 20444 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 30 (39) | 1457 (1013) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 6.6 (27) | 296 (89) | 245 (73) | 243 (140) | 233 (59) | 220 (45) | 210 (99) | 15/15 |
| BAYEDA gallagher noisy | 23 (23) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.2 (0.5) | 1.00 (0.2) | 1.00 (0.1) | 1.1 (0.1) | 1.1 (0.1) | 1.1 (0.1) | 1.1 (0.1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 8.1 (9) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 320 (390) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 15 (8) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 304 (1076) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 4.5 (5) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 2.5 (2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2806 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.00 (2) | 1.2 (0.4) | 1.0 (0.1) | 1.00 (0.1) | 1.00 (0.3) | 1.00 (0.2) | 1.00 (0.1) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.9 (1) | 281 (324) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 7.4 (8) | 757 (1288) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 1.6e4 (3e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 1356 (1980) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 40 (40) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 1.2 (0.3) | 4.9 (5) | 3.7 (0.1) | 3.6 (10) | 3.4 (6) | 3.3 (3) | 3.2 (0.1) | 15/15 |
| iAMALGAM bosman noisy | 2.2 (3) | 395 (188) | 342 (17) | 319 (74) | 306 (53) | 325 (140) | 310 (45) | 14/15 |
| Δ fopt f113, 10-D |
1e1 4469 |
1e0 27633 |
1e-1 1.0e5 |
1e-2 1.1e5 |
1e-3 1.1e5 |
1e-5 1.1e5 |
1e-7 1.1e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.4 (1) | 5.9 (3) | 7.3 (7) | 43 (27) | 72 (46) | 72 (45) | 83 (87) | 6/15 |
| AMALGAM bosman noisy | 1.8 (6) | 2.9 (3) | 1.2 (0.6) | 1.4 (1) | 1.6 (2) | 1.6 (1) | 1.6 (2) | 15/15 |
| BAYEDA gallagher noisy | 2.3 (1) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.00 (0.4) | 1.00 (1.0) | 1.0 (0.9) | 1.00 (0.5) | 1.0 (1) | 1.0 (1.0) | 1.00 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 323 (319) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 1.4e4 (1e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 6.3 (11) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 58 (168) | 73 (109) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5618 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 7.4 (7) | 17 (13) | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 2.2 (1) | 7.0 (14) | 16 (16) | 67 (124) | 67 (97) | 67 (37) | 65 (43) | 1/15 |
| MCS huyer noisy | 133 (208) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 1185 (1872) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 1457 (2237) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 153 (117) | 514 (688) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 4193 (4238) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 14 (24) | 64 (106) | 364 (342) | 7095 (9214) | 7084 (4431) | 7084 (5156) | 6872 (3791) | 1/15 |
| iAMALGAM bosman noisy | 3.1 (6) | 4.7 (7) | 3.4 (0.5) | 4.1 (3) | 4.1 (0.5) | 4.1 (2) | 3.9 (2) | 15/15 |
| Δ fopt f114, 10-D |
1e1 36612 |
1e0 1.3e5 |
1e-1 3.3e5 |
1e-2 3.9e5 |
1e-3 3.9e5 |
1e-5 3.9e5 |
1e-7 4.1e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 10 (7) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 5.7 (10) | 11 (4) | 30 (16) | 123 (92) | 122 (282) | 122 (58) | 183 (190) | 2/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7513 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.00 (1) | 1.0 (0.3) | 1.00 (0.9) | 1.0 (0.5) | 1.0 (0.8) | 1.0 (0.4) | 1.0 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 1785 (2528) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 179 (212) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4152 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 10 (17) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 2025 (1024) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 517 (656) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 193 (270) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e7 | 0/15 |
| iAMALGAM bosman noisy | 12 (14) | 20 (18) | 29 (28) | 184 (168) | 182 (327) | 182 (224) | 175 (246) | 1/15 |
| Δ fopt f115, 10-D |
1e1 398 |
1e0 2899 |
1e-1 8595 |
1e-2 12320 |
1e-3 12602 |
1e-5 12602 |
1e-7 12807 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 11 (0.7) | 492 (363) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.8 (0.3) | 3.9 (3) | 3.6 (4) | 4.3 (1) | 4.3 (1) | 4.3 (2) | 4.2 (2) | 15/15 |
| BAYEDA gallagher noisy | 11 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.00 (0.3) | 4.5 (5) | 6.9 (6) | 5.5 (4) | 5.4 (4) | 5.4 (4) | 5.6 (4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 12 (7) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 8309 (2e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 7.0 (13) | 16 (26) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 27 (5) | 4837 (5692) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 3.7 (2) | 143 (103) | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 4.1 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5140 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.0 (0.5) | 1.00 (0.6) | 1.00 (0.5) | 1.00 (0.3) | 1.00 (0.6) | 1.00 (0.5) | 1.0 (0.5) | 15/15 |
| MA-LS-CHAIN molina noisy | 3.7 (2) | 42 (50) | 257 (247) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | 298 (578) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 17 (8) | 2887 (891) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 1423 (1625) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 641 (644) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 6.5e4 (8e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 89 (78) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 1.9 (3) | 13 (13) | 38 (83) | 56 (10) | 64 (86) | 64 (67) | 65 (105) | 15/15 |
| iAMALGAM bosman noisy | 1.4 (0.3) | 1.5 (3) | 4.4 (6) | 13 (11) | 14 (9) | 14 (10) | 14 (11) | 15/15 |
| Δ fopt f116, 10-D |
1e1 71444 |
1e0 1.1e5 |
1e-1 1.1e5 |
1e-2 1.1e5 |
1e-3 1.2e5 |
1e-5 1.2e5 |
1e-7 1.7e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 15 (15) | 160 (105) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.0 (0.3) | 1.00 (0.2) | 1.0 (1) | 1 (0.5) | 1.0 (1) | 1.00 (1) | 1.0 (1) | 15/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7865 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.3 (0.4) | 1.3 (1.0) | 1.6 (0.9) | 1.7 (0.9) | 1.7 (0.9) | 1.7 (0.7) | 1.3 (0.6) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 196 (115) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4603 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 33 (42) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 1437 (1123) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e7 | 0/15 |
| iAMALGAM bosman noisy | 2.8 (2) | 2.7 (1) | 3.0 (1) | 3.4 (0.5) | 3.5 (3) | 3.7 (2) | 2.8 (0.3) | 15/15 |
| Δ fopt f117, 10-D |
1e1 2.3e5 |
1e0 4.0e5 |
1e-1 4.9e5 |
1e-2 6.3e5 |
1e-3 6.5e5 |
1e-5 7.2e5 |
1e-7 7.9e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 7.0 (9) | 6.5 (4) | 13 (14) | 30 (29) | 104 (106) | ∞ | ∞1e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5214 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.7) | 1.0 (0.5) | 1.00 (0.4) | 1.0 (0.3) | 1.0 (0.4) | 1.0 (0.2) | 1.00 (0.2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3734 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MA-LS-CHAIN molina noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e7 | 0/15 |
| iAMALGAM bosman noisy | 10 (0.9) | 14 (7) | 24 (24) | 51 (51) | 107 (155) | ∞ | ∞1e7 | 0/15 |
| Δ fopt f118, 10-D |
1e1 1348 |
1e0 3241 |
1e-1 4345 |
1e-2 5298 |
1e-3 6097 |
1e-5 7070 |
1e-7 8063 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 258 (401) | 2.2e4 (2e4) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.3 (0.5) | 2.9 (0.1) | 4.4 (4) | 10 (10) | 12 (11) | 20 (16) | 34 (25) | 15/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.2 (0.9) | 2.2 (0.6) | 2.2 (0.6) | 2.1 (0.4) | 2.0 (0.4) | 1.9 (0.2) | 1.8 (0.1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 347 (116) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 14 (19) | 433 (432) | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 50 (51) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 3.4 (0.3) | 2.1 (0.7) | 1.8 (0.5) | 1.7 (0.4) | 1.5 (0.3) | 1.5 (0.2) | 1.4 (0.2) | 15/15 |
| MA-LS-CHAIN molina noisy | 16 (33) | 133 (225) | 779 (748) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 5.0e4 (5e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 1.0e4 (1e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 1.7 (0.5) | 1.00 (0.4) | 1.00 (0.2) | 1.00 (0.1) | 1.00 (0.2) | 1.00 (0.1) | 1.00 (0.3) | 15/15 |
| iAMALGAM bosman noisy | 1.0 (0.3) | 2.2 (4) | 5.1 (4) | 18 (25) | 30 (19) | 59 (5) | 143 (87) | 15/15 |
| Δ fopt f119, 10-D |
1e1 128 |
1e0 3122 |
1e-1 4969 |
1e-2 11200 |
1e-3 36536 |
1e-5 3.0e5 |
1e-7 4.0e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 3.4 (4) | 4.1 (2) | 8.0 (0.4) | 11 (5) | 44 (24) | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 2.1 (2) | 8.5 (9) | 14 (24) | 8.3 (10) | 3.9 (4) | 1.2 (0.6) | 1.1 (0.3) | 15/15 |
| BAYEDA gallagher noisy | 6.6 (8) | 2.6 (2) | 4.1 (2) | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.6) | 1 (0.7) | 1.0 (0.6)★2 | 1.00 (0.5) | 1.00 (0.9) | 1.0 (0.4) | 1.00 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 88 (105) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 1083 (469) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 5.9 (1) | 6.6 (4) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 4.6 (8) | 83 (241) | 111 (356) | 83 (160) | 180 (144) | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 160 (295) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 8.7 (10) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5513 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 34 (3) | 11 (8) | 13 (18) | 7.1 (0.1) | 20 (35) | ∞ | ∞1e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.8 (0.7) | 3.2 (1.0) | 8.8 (5) | 9.3 (3) | 9.1 (6) | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | 18 (24) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 44 (75) | 4.6e4 (7e4) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 563 (3908) | 889 (2402) | 2845 (2314) | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 1.4 (2) | 234 (401) | 330 (767) | 376 (277) | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 7.5 (2) | 4.7e4 (5e4) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 7.6 (11) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 2.6 (1) | 18 (18) | 41 (33) | 179 (250) | 2870 (2457) | ∞ | ∞7e7 | 0/15 |
| iAMALGAM bosman noisy | 1.4 (1) | 10 (14) | 38 (23) | 24 (8) | 13 (0.9) | 2.4 (1) | 2.2 (0.2) | 15/15 |
| Δ fopt f120, 10-D |
1e1 471 |
1e0 39910 |
1e-1 74629 |
1e-2 1.6e5 |
1e-3 4.4e5 |
1e-5 1.3e6 |
1e-7 2.5e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.7 (2) | 48 (33) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 6.4 (0.4) | 16 (7) | 39 (20) | 130 (115) | ∞ | ∞ | ∞1e7 | 0/15 |
| BAYEDA gallagher noisy | 13 (34) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | 263 (242) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8470 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 4.1 (4) | 1.0 (0.3) | 1.0 (0.6) | 1.0 (1) | 1.0 (0.5) | 1.00 (0.4) | 1.0 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 64 (48) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 462 (246) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 21 (36) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 329 (2) | 164 (238) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 309 (344) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 2.3 (1) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4595 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 98 (67) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.0 (0.3) | 18 (35) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | 59 (92) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 46 (33) | 3661 (3320) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 774 (532) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 333 (1069) | 351 (407) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 2.0 (2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 4.1 (7) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 97 (52) | 385 (424) | ∞ | ∞ | ∞ | ∞ | ∞6e7 | 0/15 |
| iAMALGAM bosman noisy | 15 (34) | 29 (25) | 98 (79) | 287 (186) | ∞ | ∞ | ∞1e7 | 0/15 |
| Δ fopt f121, 10-D |
1e1 72 |
1e0 317 |
1e-1 631 |
1e-2 1475 |
1e-3 3676 |
1e-5 9995 |
1e-7 18211 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 10 (7) | 81 (134) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 3.2 (1) | 11 (2) | 30 (35) | 44 (35) | 32 (15) | 46 (43) | 43 (27) | 15/15 |
| BAYEDA gallagher noisy | 8.6 (5) | 22 (34) | 30 (63) | 64 (78) | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | 572 (320) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.1 (0.9) | 1.0 (0.2) | 1.1 (0.3) | 1.1 (0.2) | 1.1 (0.2) | 1.9 (0.2) | 2.1 (0.2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 4.0 (4) | 41 (46) | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 581 (936) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 4.6 (2) | 8.8 (4) | 139 (87) | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 2.3 (3) | 9443 (7100) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 10 (34) | 144 (201) | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 3.8 (2) | 18 (9) | ∞ | ∞ | ∞ | ∞ | ∞3228 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.0 (0.9) | 1 (0.5) | 1 (0.2) | 1.0 (0.3) | 1.2 (0.1) | 1.1 (0.4) | 1.00 (0.2) | 15/15 |
| MA-LS-CHAIN molina noisy | 2.5 (0.9) | 4.8 (0.9) | 43 (49) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | 7.1 (18) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 3.3 (3) | 54 (43) | 2.8e4 (3e4) | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 4.9 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 1.7 (1.0) | 7448 (7468) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 10 (11) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 4.4 (5) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 3.5 (1) | 1.6 (0.3) | 1.4 (0.2) | 1.1 (0.1) | 1.00 (0.2) | 1.00 (0.1) | 1.0 (0.1) | 15/15 |
| iAMALGAM bosman noisy | 1.6 (0.9) | 3.4 (6) | 21 (45) | 72 (41) | 94 (74) | 127 (149) | 123 (68) | 15/15 |
| Δ fopt f122, 10-D |
1e1 55 |
1e0 11563 |
1e-1 33165 |
1e-2 97901 |
1e-3 1.4e5 |
1e-5 4.4e5 |
1e-7 8.2e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.0 (3) | 17 (18) | 691 (1114) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.7 (1) | 4.2 (2) | 10 (6) | 6.2 (6) | 5.0 (2) | 2.3 (2) | 5.4 (4) | 13/15 |
| BAYEDA gallagher noisy | 1.4 (2) | 2.4 (3) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | 144 (85) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.7 (2) | 1.00 (1) | 1.0 (0.3) | 1.00 (0.9) | 1.00 (0.3) | 1.00 (1.0) | 1.00 (0.6) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 24 (33) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 348 (1016) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 3.8 (5) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 3.4 (15) | 203 (727) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 65 (142) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 2.4 (2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5526 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 39 (1) | 18 (14) | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.2 (0.7) | 17 (8) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | 3.3 (9) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 21 (28) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 4.1 (11) | 577 (562) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 1.7 (2) | 607 (1023) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 2.8 (5) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 4.3 (7) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 3.7 (3) | 152 (158) | 2.9e4 (2e4) | ∞ | ∞ | ∞ | ∞7e7 | 0/15 |
| iAMALGAM bosman noisy | 1.0 (1) | 11 (9) | 27 (10) | 11 (0.4) | 8.6 (5) | 3.4 (2) | 7.0 (4) | 11/15 |
| Δ fopt f123, 10-D |
1e1 40 |
1e0 94387 |
1e-1 3.9e5 |
1e-2 6.6e5 |
1e-3 1.3e6 |
1e-5 3.3e6 |
1e-7 1.0e7 |
#succ 7/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.4 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 3.0 (2) | 34 (45) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| BAYEDA gallagher noisy | 9.3 (6) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | 145 (93) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞9086 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 18 (39) | 1.0 (0.4) | 1.0 (0.5) | 1.00 (0.7) | 1.0 (0.7) | 1.00 (0.7) | 1.0 (0.4) | 7/15 |
| CMA-ESPLUSSEL auger noisy | 137 (454) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 292 (413) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 64 (128) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 3.7 (9) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 349 (391) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 5.0 (6) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4427 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 163 (392) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.00 (0.6) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | 37 (112) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 76 (58) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 6.1 (12) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 2.8 (6) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 3.1 (6) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 5.4 (10) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 353 (627) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e7 | 0/15 |
| iAMALGAM bosman noisy | 5.9 (18) | 79 (78) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| Δ fopt f124, 10-D |
1e1 37 |
1e0 614 |
1e-1 10452 |
1e-2 34296 |
1e-3 52887 |
1e-5 1.4e5 |
1e-7 3.3e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.8 (4) | 7184 (4363) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 2.5 (3) | 6.7 (2) | 4.9 (5) | 4.6 (4) | 7.6 (3) | 7.9 (5) | 7.4 (9) | 14/15 |
| BAYEDA gallagher noisy | 2.8 (0.3) | 10 (3) | 2.7 (3) | 8.7 (8) | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | 468 (790) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.8 (0.8) | 1.0 (0.3) | 1.00 (1) | 1.00 (0.7) | 1.00 (0.3) | 1.00 (0.5) | 1.00 (0.6) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 9.0 (7) | 2377 (1222) | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 214 (233) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 3.6 (3) | 50 (60) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 2.3 (2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 9.3 (17) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 3.2 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5337 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.8 (1) | 5.5 (13) | 2.3 (2) | 1.5 (0.8) | 1.5 (0.9) | 5.3 (5) | ∞1e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.7 (1) | 127 (135) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | 1.0 (1) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 6.9 (3) | 1.2e4 (2e4) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 2.5 (2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 1.3 (2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 2.5 (5) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 2.0 (1.0) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 4.1 (2) | 1.5 (0.3) | 8.6 (24) | 46 (28) | 523 (486) | ∞ | ∞6e7 | 0/15 |
| iAMALGAM bosman noisy | 1.5 (1) | 12 (35) | 16 (4) | 17 (10) | 26 (35) | 17 (13) | 8.6 (6) | 15/15 |
| Δ fopt f125, 10-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 1.1e6 |
1e-3 3.0e6 |
1e-5 6.4e6 |
1e-7 6.4e6 |
#succ 13/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.1 (0.2) | 490 (406) | 3.4e7 (5e7) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.1 (0) | 158 (56) | 1.1e6 (2e6) | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| BAYEDA gallagher noisy | 1.1 (0) | 220 (155) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | 1.7 (0) | 4.1e4 (4e4) | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1 (0) | 113 (18) | 5.0e5 (3e5) | 1.00 (0.6) | 1.0 (0.5) | 1.00 (1) | 1.0 (0.4) | 13/15 |
| CMA-ESPLUSSEL auger noisy | 1 (0) | 2996 (3573) | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 2.9 (0) | 8.9e4 (5e4) | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.1 (0.2) | 288 (121) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 1 (0) | 312 (200) | 7.0e6 (5e6) | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 10 (33) | 235 (313) | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 1.3 (0.2) | 1179 (1165) | ∞ | ∞ | ∞ | ∞ | ∞5495 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1 (0) | 89 (70) | 7.3e5 (8e5) | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.1 (0) | 167 (70) | 8.5e5 (1e6) | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | 1 (0) | 1 (0)★4 | 1 (0)★4 | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 1 (0) | 2981 (2893) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 1.2 (0.2) | 324 (496) | 1.5e7 (3e7) | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 1.1 (0.5) | 250 (283) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 1 (0) | 1428 (2817) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 1.1 (0) | 383 (453) | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 1.4 (1) | 298 (183) | 2.2e7 (1e7) | ∞ | ∞ | ∞ | ∞8e7 | 0/15 |
| iAMALGAM bosman noisy | 1.2 (0.2) | 113 (94) | 1.9e6 (2e6) | 134 (169) | ∞ | ∞ | ∞1e7 | 0/15 |
| Δ fopt f126, 10-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 ∞ |
1e-3 ∞ |
1e-5 ∞ |
1e-7 ∞ |
#succ 0/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1 (0) | 509 (460) | ∞ | 0/15 | ||||
| AMALGAM bosman noisy | 1.3 (0.5) | 218 (69) | 4.9e7 (6e7) | 0/15 | ||||
| BAYEDA gallagher noisy | 1.1 (0) | 310 (195) | ∞ | 0/15 | ||||
| BFGS ros noisy | 6.1 (0) | 1.6e4 (8140) | ∞ | 0/15 | ||||
| BIPOP-CMA-ES hansen noisy | 1 (0) | 867 (983) | 3.9e6 (2e6) | 0/15 | ||||
| CMA-ESPLUSSEL auger noisy | 1 (0) | 4455 (6477) | ∞ | 0/15 | ||||
| DASA korosec noisy | 1.2 (0) | 1.1e5 (2e5) | ∞ | 0/15 | ||||
| DE-PSO garcia-nieto noisy | 1.1 (0) | 1023 (1557) | ∞ | 0/15 | ||||
| EDA-PSO el-abd noisy | 1 (0) | 2600 (2078) | 1.5e7 (2e7) | 0/15 | ||||
| FULLNEWUOA ros noisy | 28 (44) | 7.1e4 (9e4) | ∞ | 0/15 | ||||
| GLOBAL pal noisy | 1.1 (0) | 1506 (1219) | ∞ | 0/15 | ||||
| IPOP-SEP-CMA-ES ros noisy | 1.1 (0) | 1.3e4 (7965) | ∞ | 0/15 | ||||
| MA-LS-CHAIN molina noisy | 1.1 (0) | 189 (60) | ∞ | 0/15 | ||||
| MCS huyer noisy | 1 (0) | 1 (0)★4 | 1 (0)★4 | 0/15 | ||||
| ONEFIFTH auger noisy | 1 (0) | 6820 (1e4) | ∞ | 0/15 | ||||
| PSO Bounds el-abd noisy | 1 (0) | 1.5e5 (1e6) | ∞ | 0/15 | ||||
| PSO el-abd noisy | 1.3 (0.5) | 955 (366) | ∞ | 0/15 | ||||
| RANDOMSEARCH auger noisy | 1.1 (0) | 985 (1035) | ∞ | 0/15 | ||||
| SNOBFIT huyer noisy | 1.2 (0.5) | 666 (398) | ∞ | 0/15 | ||||
| VNS garcia-martinez noisy | 1.4 (0) | 1.8e4 (6e4) | ∞ | 0/15 | ||||
| iAMALGAM bosman noisy | 1.3 (0.5) | 196 (125) | 3.3e7 (3e7) | 0/15 |
| Δ fopt f127, 10-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 8.0e5 |
1e-3 1.3e6 |
1e-5 2.1e6 |
1e-7 2.1e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1 (0) | 373 (308) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1 (0) | 153 (80) | 1.3e5 (7e4) | 5.5 (6) | 25 (27) | 34 (26) | 34 (58) | 2/15 |
| BAYEDA gallagher noisy | 1.2 (0.2) | 237 (162) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | 60 (0) | 5.8e4 (6e4) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1 (0) | 54 (29) | 8.5e4 (2e5) | 1.00 (1.0) | 1.00 (0.7) | 1.00 (0.4) | 1.00 (0.7) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1 (0) | 790 (614) | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 10 (22) | 5.8e4 (7e4) | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.1 (0) | 275 (140) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 1.1 (0) | 92 (46) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 1 (0) | 69 (4) | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 1.1 (0) | 884 (1031) | ∞ | ∞ | ∞ | ∞ | ∞5106 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1 (0) | 47 (38) | 3.7e4 (4e4) | 1.8 (2) | ∞ | ∞ | ∞1e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.1 (0) | 130 (46) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | 1 (0) | 1 (0)★4 | 1 (0)★4 | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 2.5 (3) | 854 (562) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 1 (0) | 534 (560) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 1.1 (0.2) | 565 (1329) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 1.1 (0.5) | 1175 (1389) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 1 (0) | 245 (214) | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 1.4 (0.5) | 224 (30) | 3.8e5 (6e5) | 93 (86) | ∞ | ∞ | ∞7e7 | 0/15 |
| iAMALGAM bosman noisy | 1 (0) | 90 (44) | 4.0e5 (2e5) | 15 (17) | 23 (36) | 21 (46) | 21 (32) | 3/15 |
| Δ fopt f128, 10-D |
1e1 9151 |
1e0 1.4e5 |
1e-1 1.4e5 |
1e-2 1.4e5 |
1e-3 2.9e5 |
1e-5 3.8e5 |
1e-7 5.3e5 |
#succ 9/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 3.8 (4) | 1.7 (2) | 1.9 (1) | 2.0 (1) | 1.1 (0.9) | 1.0 (0.5) | 1.0 (1) | 15/15 |
| AMALGAM bosman noisy | 5.0 (9) | 5.1 (7) | 5.4 (7) | 5.4 (5) | 2.8 (3) | 2.1 (2) | 1.6 (2) | 15/15 |
| BAYEDA gallagher noisy | 2.6 (3) | 2.2 (0.8) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.00 (1) | 6.4 (4) | 6.6 (19) | 6.4 (0.6) | 3.2 (0.6) | 2.4 (1) | 1.8 (0.2) | 14/15 |
| CMA-ESPLUSSEL auger noisy | 25 (27) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 397 (516) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 5.2 (7) | 1 (0.6) | 1.00 (1) | 1.0 (0.6) | 1 (2) | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 312 (382) | 101 (105) | 100 (87) | 97 (106) | 48 (54) | 37 (56) | 27 (30) | 1/15 |
| FULLNEWUOA ros noisy | 77 (82) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 8.6 (9) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5483 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 11 (15) | 3.2 (1) | 4.9 (5) | 10 (8) | 5.0 (4) | 3.8 (4) | 2.8 (2) | 1/15 |
| MA-LS-CHAIN molina noisy | 4.1 (3) | 2.9 (2) | 3.0 (4) | 3.1 (3) | 1.6 (2) | 1.2 (0.7) | 1.0 (0.6) | 9/15 |
| MCS huyer noisy | 14 (22) | 4.1 (8) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 36 (53) | 122 (227) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 224 (332) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 230 (213) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 11 (12) | 1063 (1268) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 4.0 (3) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 31 (22) | 9.0 (8) | 9.1 (5) | 11 (7) | 7.0 (7) | 13 (15) | 14 (10) | 14/15 |
| iAMALGAM bosman noisy | 14 (11) | 6.0 (7) | 11 (10) | 11 (10) | 5.7 (6) | 4.4 (3) | 3.3 (3) | 15/15 |
| Δ fopt f129, 10-D |
1e1 53967 |
1e0 1.4e6 |
1e-1 1.4e6 |
1e-2 1.4e6 |
1e-3 1.4e6 |
1e-5 1.4e6 |
1e-7 1.5e6 |
#succ 14/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.0 (3) | 26 (29) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 12 (13) | 6.1 (11) | 14 (11) | 23 (11) | 23 (16) | 31 (25) | 102 (106) | 1/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8668 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.00 (2) | 1.00 (0.9) | 1.0 (3) | 1.0 (0.4) | 1.0 (0.9) | 1.0 (0.5) | 1.00 (6) | 14/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 357 (258) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 5.5 (6) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 261 (389) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4317 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 13 (10) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.7 (1) | 5.3 (11) | ∞ | ∞ | ∞ | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 21 (17) | 108 (59) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 259 (246) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 260 (255) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 1.3 (1) | 32 (28) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 42 (45) | 69 (54) | ∞ | ∞ | ∞ | ∞ | ∞7e7 | 0/15 |
| iAMALGAM bosman noisy | 12 (20) | 18 (31) | 47 (98) | 100 (106) | 99 (150) | 98 (74) | 97 (189) | 1/15 |
| Δ fopt f130, 10-D |
1e1 481 |
1e0 5878 |
1e-1 37470 |
1e-2 70516 |
1e-3 70910 |
1e-5 72192 |
1e-7 73340 |
#succ 10/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 6.7 (3) | 9.0 (18) | 67 (107) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 8.0 (0.6) | 166 (279) | 35 (32) | 19 (23) | 19 (23) | 20 (23) | 20 (23) | 15/15 |
| BAYEDA gallagher noisy | 17 (14) | 23 (32) | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BFGS ros noisy | 100 (97) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 4.9 (8) | 34 (59) | 18 (96) | 10 (5) | 10 (9) | 9.5 (5) | 9.4 (49) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.5 (3) | 6.5 (11) | 11 (10) | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| DASA korosec noisy | 588 (559) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 8.3 (12) | 10 (11) | 1.8 (1) | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| EDA-PSO el-abd noisy | 380 (815) | 684 (552) | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| FULLNEWUOA ros noisy | 6.7 (18) | 8.3 (8) | 5.1 (4) | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| GLOBAL pal noisy | 1.0 (0.2) | 1.0 (0.8) | 1.0 (1) | ∞ | ∞ | ∞ | ∞5890 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.3 (0.3) | 11 (10) | 1.9 (2) | 1.0 (0.9) | 1.00 (2) | 1.0 (2) | 1.0 (2) | 10/15 |
| MA-LS-CHAIN molina noisy | 4.7 (2) | 19 (64) | 7.1 (11) | 3.9 (4) | 5.2 (6) | ∞ | ∞5e5 | 0/15 |
| MCS huyer noisy | 32 (32) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| ONEFIFTH auger noisy | 1.7 (1) | 4.6 (6) | 24 (14) | 457 (612) | ∞ | ∞ | ∞1e7 | 0/15 |
| PSO Bounds el-abd noisy | 772 (1041) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| PSO el-abd noisy | 182 (529) | 681 (1021) | 193 (124) | ∞ | ∞ | ∞ | ∞1e6 | 0/15 |
| RANDOMSEARCH auger noisy | 159 (104) | 2.4e4 (2e4) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| SNOBFIT huyer noisy | 2.2 (2) | 12 (10) | ∞ | ∞ | ∞ | ∞ | ∞5036 | 0/15 |
| VNS garcia-martinez noisy | 97 (243) | 214 (515) | 38 (47) | 20 (29) | 20 (24) | 20 (26) | 19 (31) | 15/15 |
| iAMALGAM bosman noisy | 1.0 (0.2) | 4.4 (8) | 1.5 (2) | 1.8 (4) | 8.4 (16) | 12 (15) | 21 (16) | 15/15 |
Previous dimension | Dimension = 20 | Next dimension
| Δ fopt f101, 20-D |
1e1 59 |
1e0 425 |
1e-1 571 |
1e-2 677 |
1e-3 700 |
1e-5 739 |
1e-7 783 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 101 (16) | 32 (2) | 38 (3) | 45 (1) | 56 (1) | 79 (3) | 101 (3) | 15/15 |
| AMALGAM bosman noisy | 57 (35) | 15 (4) | 17 (6) | 18 (6) | 21 (4) | 26 (8) | 31 (6) | 15/15 |
| BAYEDA gallagher noisy | 109 (14) | 26 (2) | 27 (3) | 30 (4) | 48 (15) | 58 (55) | 765 (1201) | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 6.1 (1) | 1.5 (0.2) | 1.6 (0.1) | 1.8 (0.1) | 2.1 (0.1) | 2.7 (0.2) | 3.3 (0.1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 4.4 (0.4) | 1.00 (0.1) | 1.0 (0.1) | 1.1 (0.1) | 1.3 (0.1) | 1.7 (0.1) | 2.1 (0.1) | 15/15 |
| DASA korosec noisy | 22 (5) | 5.1 (0.9) | 5.3 (0.5) | 6.1 (1) | 7.8 (0.8) | 12 (0.8) | 16 (2) | 15/15 |
| DE-PSO garcia-nieto noisy | 23 (7) | 8.5 (2) | 14 (1) | 21 (5) | 33 (12) | 107 (81) | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 258 (67) | 100 (7) | 120 (11) | 142 (8) | 173 (12) | 236 (10) | 292 (6) | 15/15 |
| FULLNEWUOA ros noisy | 5.8 (0.7) | 1.4 (0.2) | 1.2 (0.1) | 1.00 (0.1) | 1.00 (0.1)★2 | 1.0 (0.1)★4 | 1.00 (0.1)★4 | 15/15 |
| GLOBAL pal noisy | 9.1 (5) | 3.0 (3) | 4.5 (3) | 6.2 (4) | 7.3 (5) | 19 (13) | 246 (265) | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 5.5 (1) | 1.4 (0.2) | 1.4 (0.1) | 1.5 (0.2) | 1.8 (0.2) | 2.4 (0.2) | 2.9 (0.1) | 15/15 |
| MA-LS-CHAIN molina noisy | 17 (6) | 5.3 (1) | 5.9 (0.7) | 6.5 (0.6) | 7.9 (0.7) | 10 (0.5) | 11 (0.9) | 15/15 |
| MCS huyer noisy | 1.0 (0.3)★4 | 283 (330) | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 4.9 (0.6) | 1.0 (0.1) | 1.00 (0.1) | 1.0 (0.3) | 1.2 (0.3) | 1.5 (0.6) | 1.9 (0.1) | 15/15 |
| PSO Bounds el-abd noisy | 91 (68) | 169 (128) | 184 (45) | 203 (74) | 229 (80) | 296 (54) | 880 (82) | 15/15 |
| PSO el-abd noisy | 16 (9) | 7.3 (3) | 10 (1) | 12 (1) | 15 (1) | 22 (2) | 28 (3) | 15/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | 52 (36) | 36 (66) | 27 (7) | 25 (40) | 103 (98) | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 8.5 (1) | 1.9 (0.1) | 1.9 (0.2) | 2.0 (0.1) | 2.3 (0.2) | 2.9 (0.1) | 3.5 (0.1) | 15/15 |
| iAMALGAM bosman noisy | 23 (3) | 6.3 (0.4) | 7.0 (0.4) | 7.7 (0.3) | 9.3 (0.3) | 12 (0.6) | 15 (0.6) | 15/15 |
| Δ fopt f102, 20-D |
1e1 231 |
1e0 399 |
1e-1 579 |
1e-2 755 |
1e-3 921 |
1e-5 1157 |
1e-7 1407 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 27 (4) | 34 (3) | 38 (4) | 40 (3) | 44 (3) | 53 (4) | 59 (5) | 15/15 |
| AMALGAM bosman noisy | 16 (8) | 19 (6) | 19 (5) | 19 (5) | 19 (5) | 19 (4) | 19 (5) | 15/15 |
| BAYEDA gallagher noisy | 27 (3) | 27 (3) | 27 (7) | 30 (27) | 29 (1) | 37 (18) | 426 (455) | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.6 (0.4) | 1.6 (0.2) | 1.6 (0.2) | 1.6 (0.1) | 1.6 (0.1) | 1.8 (0.1) | 1.8 (0.1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.00 (0.1) | 1.00 (0.1)★ | 1.00 (0.1)★3 | 1.0 (0.1) | 1.0 (0.1) | 1.1 (0.1) | 1.6 (0.5) | 15/15 |
| DASA korosec noisy | 7.5 (3) | 7.4 (2) | 7.9 (2) | 8.1 (4) | 9.3 (2) | 17 (7) | 34 (38) | 15/15 |
| DE-PSO garcia-nieto noisy | 6.3 (1) | 8.8 (1) | 13 (2) | 19 (2) | 33 (7) | 171 (217) | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 68 (7) | 463 (12) | 365 (8) | 314 (8) | 288 (548) | 275 (867) | 265 (711) | 14/15 |
| FULLNEWUOA ros noisy | 1.6 (0.2) | 1.7 (0.1) | 1.3 (0.1) | 1.1 (0.1) | 1.00 (0.2) | 1.0 (0.1)★ | 1.00 (0.1)★4 | 15/15 |
| GLOBAL pal noisy | 2.9 (0.2) | 5.4 (3) | 13 (27) | 51 (20) | ∞ | ∞ | ∞1e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.6 (0.2) | 1.5 (0.1) | 1.4 (0.1) | 1.4 (0.1) | 1.4 (0.1) | 1.5 (0.1) | 1.6 (0.1) | 15/15 |
| MA-LS-CHAIN molina noisy | 5.1 (0.8) | 6.3 (1) | 6.9 (2) | 6.8 (0.5) | 6.4 (0.1) | 6.5 (0.7) | 6.4 (0.6) | 15/15 |
| MCS huyer noisy | 8.3 (4) | 803 (552) | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 2.6 (2) | 4.0 (4) | 5.6 (3) | 14 (14) | 20 (12) | 294 (299) | 6650 (7893) | 9/15 |
| PSO Bounds el-abd noisy | 19 (5) | 266 (224) | 635 (336) | 516 (905) | 445 (148) | 393 (898) | 635 (93) | 14/15 |
| PSO el-abd noisy | 4.5 (1) | 369 (1255) | 258 (11) | 201 (2) | 168 (547) | 138 (434) | 118 (356) | 14/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | 72 (73) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 2.3 (0.3) | 2.0 (0.3) | 1.9 (0.2) | 1.8 (0.1) | 1.8 (0.1) | 1.9 (0.1) | 2.0 (0.1) | 15/15 |
| iAMALGAM bosman noisy | 5.6 (0.5) | 6.4 (0.7) | 6.7 (0.5) | 6.8 (0.4) | 7.0 (0.3) | 7.8 (0.3) | 8.2 (0.3) | 15/15 |
| Δ fopt f103, 20-D |
1e1 65 |
1e0 417 |
1e-1 629 |
1e-2 1043 |
1e-3 1313 |
1e-5 1893 |
1e-7 2464 |
#succ 14/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 93 (24) | 34 (3) | 36 (7) | 3612 (2452) | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 62 (27) | 17 (5) | 15 (4) | 11 (3) | 19 (60) | 81 (56) | 115 (50) | 15/15 |
| BAYEDA gallagher noisy | 101 (16) | 27 (4) | 29 (4) | 25 (11) | 26 (0.9) | 23 (11) | ∞4e4 | 0/15 |
| BFGS ros noisy | 47 (71) | 8.3 (9) | 5.9 (7) | 3.5 (5) | 2.8 (4) | 2.0 (2) | 1.5 (2) | 15/15 |
| BIPOP-CMA-ES hansen noisy | 5.5 (1.0) | 1.6 (0.1) | 1.5 (0.1) | 1.2 (0.1) | 1.2 (0.0) | 1.2 (0.1) | 1.2 (0.1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 3.7 (0.5) | 1.0 (0.1) | 2.5 (2) | 12 (18) | 688 (190) | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | 17 (1) | 6.3 (6) | 87 (140) | 5749 (3026) | ∞ | ∞ | ∞9e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 20 (6) | 9.0 (1) | 38 (49) | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 250 (59) | 103 (11) | 107 (11) | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | 5.2 (0.5) | 1.5 (0.2) | 1.1 (0.2) | 1.2 (0.1) | 7.8 (12) | 97 (109) | 554 (497) | 1/15 |
| GLOBAL pal noisy | 17 (12) | 3.9 (5) | 4.0 (6) | 2.4 (2) | 2.0 (3) | 1.4 (0.8) | 1.1 (1) | 14/15 |
| IPOP-SEP-CMA-ES ros noisy | 5.1 (0.8) | 1.4 (0.2) | 1.3 (0.1) | 1.0 (0.1) | 1.0 (0.1) | 1.0 (0.0) | 1.0 (0.0) | 15/15 |
| MA-LS-CHAIN molina noisy | 14 (5) | 5.1 (0.9) | 5.7 (0.6) | 4.7 (0.3) | 6.0 (1) | 35 (59) | 480 (406) | 2/15 |
| MCS huyer noisy | 1.0 (0.4)★2 | 29 (24) | 26 (16) | 15 (10) | 35 (23) | 91 (127) | 455 (568) | 1/15 |
| ONEFIFTH auger noisy | 3.4 (0.5) | 1.1 (0.7) | 1.7 (0.8) | 21 (62) | 4309 (6565) | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | 88 (46) | 2524 (3622) | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | 14 (4) | 439 (2399) | 1655 (2386) | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | 9.0 (8) | 1.4 (1) | 1 (0.9) | 1.00 (3) | 1.7 (2) | 3.5 (2) | 8.6 (10) | 2/15 |
| VNS garcia-martinez noisy | 7.7 (0.6) | 1.8 (0.2) | 1.6 (0.2) | 1.2 (0.1) | 1.3 (0.1) | 1.3 (0.1) | 1.3 (0.1) | 15/15 |
| iAMALGAM bosman noisy | 21 (2) | 6.0 (0.7) | 7.6 (0.5) | 10 (9) | 21 (27) | 164 (91) | 422 (375) | 15/15 |
| Δ fopt f104, 20-D |
1e1 23690 |
1e0 85656 |
1e-1 1.7e5 |
1e-2 1.8e5 |
1e-3 1.8e5 |
1e-5 1.9e5 |
1e-7 2.0e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 60 (158) | 19 (17) | 12 (15) | 17 (37) | 24 (37) | 124 (244) | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 4.7 (4) | 1.9 (1) | 1.0 (0.6) | 1.00 (0.6) | 1.00 (0.6) | 1.00 (0.6) | 1.00 (0.6) | 15/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 10 (6) | 3.2 (3) | 1.7 (0.9) | 1.7 (1) | 1.6 (1) | 1.6 (1) | 1.6 (1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 28 (23) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | 2.8 (2) | 3.6 (3) | 4.3 (5) | 22 (15) | 44 (66) | ∞ | ∞1e7 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | 20 (24) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | 1.0 (1.0) | 1.00 (1) | 1.7 (1) | 1.7 (2) | ∞ | ∞ | ∞2e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 592 (783) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 45 (43) | 439 (450) | 774 (933) | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | 1189 (1119) | 330 (333) | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | 338 (295) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| iAMALGAM bosman noisy | 32 (20) | 10 (7) | 4.9 (1) | 4.8 (1) | 4.7 (4) | 4.6 (2) | 4.5 (3) | 15/15 |
| Δ fopt f105, 20-D |
1e1 1.9e5 |
1e0 6.1e5 |
1e-1 6.3e5 |
1e-2 6.4e5 |
1e-3 6.5e5 |
1e-5 6.6e5 |
1e-7 6.7e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 8.3 (20) | 4.0 (7) | 5.5 (6) | 10 (7) | 21 (24) | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 120 (48) | 46 (31) | 45 (64) | 57 (41) | 57 (23) | 56 (28) | 56 (61) | 7/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 2.7 (2) | 1.0 (0.6) | 1.00 (0.6) | 1.00 (0.6) | 1.0 (0.2) | 1.00 (0.3) | 1.00 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 15 (21) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | 1.4 (1) | 4.6 (5) | 51 (59) | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | 7.2 (17) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | 1 (1) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 146 (78) | 49 (33) | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 343 (423) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | 68 (81) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| iAMALGAM bosman noisy | 1480 (3311) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| Δ fopt f106, 20-D |
1e1 11480 |
1e0 21668 |
1e-1 23746 |
1e-2 24788 |
1e-3 25470 |
1e-5 26492 |
1e-7 27360 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 76 (218) | 134 (155) | 935 (706) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 641 (269) | 1268 (495) | 1206 (1093) | 1176 (654) | 1520 (1403) | 1467 (630) | 1423 (1285) | 7/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.4) | 1.3 (0.8) | 1.4 (1) | 1.4 (0.6) | 1.5 (0.2) | 1.5 (0.7) | 1.5 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 15 (20) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | 2.8 (3) | 12 (12) | 317 (115) | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | 3.3 (6) | 12 (9) | 28 (26) | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | 1.9 (2) | 5.4 (11) | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.1 (0.4) | 1.0 (0.0) | 1.0 (0.2) | 1.00 (0.2) | 1.0 (0.2) | 1.00 (0.0) | 1.0 (0.1) | 15/15 |
| MA-LS-CHAIN molina noisy | 8.2 (2) | 18 (11) | 29 (12) | 160 (265) | 1131 (2061) | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 8.0 (26) | 214 (138) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | 2451 (2918) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | 2440 (2003) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 1.0 (0.2) | 3.1 (9) | 3.0 (0.2) | 2.9 (0.2) | 2.8 (14) | 2.8 (7) | 2.7 (0.1) | 15/15 |
| iAMALGAM bosman noisy | 132 (83) | 6087 (1e4) | 1.2e4 (2e4) | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| Δ fopt f107, 20-D |
1e1 8571 |
1e0 13582 |
1e-1 16226 |
1e-2 21100 |
1e-3 27357 |
1e-5 52486 |
1e-7 65052 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 9.2 (6) | 67 (54) | 819 (1871) | 3522 (3555) | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 10 (9) | 25 (11) | 43 (33) | 38 (28) | 36 (28) | 23 (12) | 21 (11) | 15/15 |
| BAYEDA gallagher noisy | 2.4 (0.8) | 22 (22) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.8) | 1.00 (0.3) | 1.0 (0.7) | 1.00 (0.4) | 1 (0.4) | 1.0 (0.9) | 1.00 (0.7) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 3453 (4200) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7740 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 24 (14) | 31 (15) | 185 (234) | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 11 (4) | 27 (9) | 41 (16) | 46 (15) | 44 (9) | 34 (32) | 226 (152) | 1/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 261 (419) | 7615 (4858) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| iAMALGAM bosman noisy | 19 (25) | 105 (10) | 93 (8) | 75 (56) | 59 (24) | 37 (2) | 39 (20) | 15/15 |
| Δ fopt f108, 20-D |
1e1 58063 |
1e0 97228 |
1e-1 2.0e5 |
1e-2 4.0e5 |
1e-3 4.5e5 |
1e-5 6.3e5 |
1e-7 9.0e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 30 (35) | 163 (362) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.3) | 1.0 (0.6) | 1.0 (0.5) | 1.00 (0.5) | 1.0 (0.3) | 1.00 (0.4) | 1.0 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5766 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| iAMALGAM bosman noisy | 76 (46) | 270 (385) | 671 (1552) | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| Δ fopt f109, 20-D |
1e1 333 |
1e0 632 |
1e-1 1138 |
1e-2 1679 |
1e-3 2287 |
1e-5 3583 |
1e-7 4952 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 20 (3) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 9.1 (2) | 26 (62) | 46 (56) | 67 (26) | 63 (52) | 65 (17) | 69 (45) | 15/15 |
| BAYEDA gallagher noisy | 20 (5) | 23 (33) | 25 (4) | 27 (24) | 24 (23) | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | 607 (435) | 493 (673) | 563 (711) | 382 (412) | 280 (504) | 179 (225) | 129 (87) | 1/15 |
| BIPOP-CMA-ES hansen noisy | 1.2 (0.2) | 1.2 (0.2) | 1.1 (0.1) | 1.1 (0.1) | 1.1 (0.1) | 1.1 (0.2) | 1.0 (0.1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 11 (17) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | 4.2e4 (3e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 7.2 (5) | 97 (51) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 2538 (6839) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | 23 (38) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | 3.0 (1) | 191 (159) | ∞ | ∞ | ∞ | ∞ | ∞8660 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1 (0.3) | 1.00 (0.1)★ | 1.00 (0.2) | 1.0 (0.2) | 1.0 (0.2) | 1.00 (0.2) | 1.00 (0.1) | 15/15 |
| MA-LS-CHAIN molina noisy | 3.9 (1) | 4.9 (1) | 858 (1145) | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | 20 (8) | 280 (570) | 985 (949) | 667 (1025) | 490 (534) | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 5.7 (8) | 3846 (5737) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | 2.4e4 (1e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | 2634 (5100) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | 16 (20) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 1.6 (0.4) | 1.4 (0.1) | 1.2 (0.1) | 1.2 (0.2) | 1.2 (0.2) | 1.2 (0.1) | 1.2 (0.1) | 15/15 |
| iAMALGAM bosman noisy | 4.0 (0.4) | 8.5 (16) | 20 (28) | 63 (39) | 311 (275) | 428 (264) | 368 (97) | 15/15 |
| Δ fopt f110, 20-D |
1e1 ∞ |
1e0 ∞ |
1e-1 ∞ |
1e-2 ∞ |
1e-3 ∞ |
1e-5 ∞ |
1e-7 ∞ |
#succ 0/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 0/15 | |||||||
| AMALGAM bosman noisy | 0/15 | |||||||
| BAYEDA gallagher noisy | 0/15 | |||||||
| BFGS ros noisy | 0/15 | |||||||
| BIPOP-CMA-ES hansen noisy | 0/15 | |||||||
| CMA-ESPLUSSEL auger noisy | 0/15 | |||||||
| DASA korosec noisy | 0/15 | |||||||
| DE-PSO garcia-nieto noisy | 0/15 | |||||||
| EDA-PSO el-abd noisy | 0/15 | |||||||
| FULLNEWUOA ros noisy | 0/15 | |||||||
| GLOBAL pal noisy | 0/15 | |||||||
| IPOP-SEP-CMA-ES ros noisy | 0/15 | |||||||
| MA-LS-CHAIN molina noisy | 0/15 | |||||||
| MCS huyer noisy | 0/15 | |||||||
| ONEFIFTH auger noisy | 0/15 | |||||||
| PSO Bounds el-abd noisy | 0/15 | |||||||
| PSO el-abd noisy | 0/15 | |||||||
| RANDOMSEARCH auger noisy | 0/15 | |||||||
| SNOBFIT huyer noisy | 0/15 | |||||||
| VNS garcia-martinez noisy | 0/15 | |||||||
| iAMALGAM bosman noisy | 0/15 |
| Δ fopt f111, 20-D |
1e1 ∞ |
1e0 ∞ |
1e-1 ∞ |
1e-2 ∞ |
1e-3 ∞ |
1e-5 ∞ |
1e-7 ∞ |
#succ 0/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 0/15 | |||||||
| AMALGAM bosman noisy | 0/15 | |||||||
| BAYEDA gallagher noisy | 0/15 | |||||||
| BFGS ros noisy | 0/15 | |||||||
| BIPOP-CMA-ES hansen noisy | 0/15 | |||||||
| CMA-ESPLUSSEL auger noisy | 0/15 | |||||||
| DASA korosec noisy | 0/15 | |||||||
| DE-PSO garcia-nieto noisy | 0/15 | |||||||
| EDA-PSO el-abd noisy | 0/15 | |||||||
| FULLNEWUOA ros noisy | 0/15 | |||||||
| GLOBAL pal noisy | 0/15 | |||||||
| IPOP-SEP-CMA-ES ros noisy | 0/15 | |||||||
| MA-LS-CHAIN molina noisy | 0/15 | |||||||
| MCS huyer noisy | 0/15 | |||||||
| ONEFIFTH auger noisy | 0/15 | |||||||
| PSO Bounds el-abd noisy | 0/15 | |||||||
| PSO el-abd noisy | 0/15 | |||||||
| RANDOMSEARCH auger noisy | 0/15 | |||||||
| SNOBFIT huyer noisy | 0/15 | |||||||
| VNS garcia-martinez noisy | 0/15 | |||||||
| iAMALGAM bosman noisy | 0/15 |
| Δ fopt f112, 20-D |
1e1 25552 |
1e0 64124 |
1e-1 69621 |
1e-2 72175 |
1e-3 73557 |
1e-5 76137 |
1e-7 78238 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 263 (71) | 783 (1026) | 926 (799) | 916 (1247) | 1220 (1020) | 1182 (1060) | 1151 (1937) | 3/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1 (0.3) | 1.1 (0.1) | 1.1 (0.8) | 1.2 (0.4) | 1.2 (0.1) | 1.2 (0.7) | 1.2 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞9e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | 2.2 (3) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞9159 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.1 (0.2) | 1.00 (0.3) | 1.0 (0.5) | 1.00 (0.1) | 1.0 (0.5) | 1.0 (0.1) | 1.00 (0.3) | 15/15 |
| MA-LS-CHAIN molina noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 5295 (4305) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 1.2 (2) | 2.6 (1) | 2.6 (10) | 2.6 (1) | 2.6 (1) | 2.5 (5) | 2.5 (5) | 15/15 |
| iAMALGAM bosman noisy | 543 (647) | 556 (624) | 517 (449) | 500 (390) | 492 (394) | 476 (337) | 464 (469) | 7/15 |
| Δ fopt f113, 20-D |
1e1 50123 |
1e0 3.6e5 |
1e-1 5.6e5 |
1e-2 5.9e5 |
1e-3 5.9e5 |
1e-5 5.9e5 |
1e-7 5.9e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 34 (53) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 2.7 (3) | 1.2 (0.6) | 1.2 (1) | 2.0 (0.5) | 2.0 (1) | 2.0 (0.5) | 2.0 (0.5) | 15/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.00 (1) | 1.00 (0.6) | 1.00 (0.4) | 1.0 (0.4) | 1.00 (0.4) | 1.00 (0.4) | 1 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7397 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 12 (14) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 26 (38) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 1086 (1206) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| iAMALGAM bosman noisy | 5.1 (4) | 4.3 (0.3) | 4.1 (2) | 5.2 (2) | 5.2 (2) | 5.2 (2) | 5.2 (2) | 15/15 |
| Δ fopt f114, 20-D |
1e1 2.1e5 |
1e0 1.1e6 |
1e-1 1.4e6 |
1e-2 1.6e6 |
1e-3 1.6e6 |
1e-5 1.6e6 |
1e-7 1.6e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 12 (5) | 34 (40) | 62 (48) | 89 (89) | 89 (64) | 89 (153) | 89 (48) | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.5) | 1.00 (0.5) | 1.00 (0.3) | 1.00 (0.4) | 1.00 (0.3) | 1.00 (0.3) | 1.0 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5172 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| iAMALGAM bosman noisy | 42 (59) | 260 (183) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| Δ fopt f115, 20-D |
1e1 2405 |
1e0 30268 |
1e-1 91749 |
1e-2 1.3e5 |
1e-3 1.3e5 |
1e-5 1.3e5 |
1e-7 1.3e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 316 (329) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 2.2 (1) | 1.2 (2) | 1.00 (0.6) | 1.00 (0.1) | 1.0 (0.2) | 1.0 (0.1) | 1.0 (0.1) | 15/15 |
| BAYEDA gallagher noisy | 22 (17) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (2) | 6.5 (4) | 3.9 (2) | 3.0 (1) | 3.0 (2) | 3.0 (1) | 3.0 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 19 (20) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 3540 (4832) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | 116 (69) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6763 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.3 (1) | 1.00 (0.5) | 1.9 (2) | 1.4 (0.8) | 1.4 (2) | 1.4 (1) | 1.4 (2) | 9/15 |
| MA-LS-CHAIN molina noisy | 5.7 (1) | 465 (462) | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 1.2e5 (6e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 4.6 (0.8) | 100 (111) | 351 (287) | 1190 (1234) | 1189 (2334) | 1189 (1309) | 1169 (746) | 1/15 |
| iAMALGAM bosman noisy | 1.3 (0.1) | 1.7 (0.8) | 2.4 (2) | 7.0 (2) | 7.0 (0.3) | 7.0 (0.3) | 6.9 (2) | 15/15 |
| Δ fopt f116, 20-D |
1e1 5.0e5 |
1e0 6.9e5 |
1e-1 8.9e5 |
1e-2 1.0e6 |
1e-3 1.0e6 |
1e-5 1.1e6 |
1e-7 1.1e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.00 (0.5) | 1.00 (0.6) | 1.00 (0.8) | 1.0 (0.7) | 1.2 (0.9) | 1.4 (0.4) | 1.4 (0.4) | 15/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.4 (1.0) | 1.2 (0.6) | 1.1 (0.5) | 1.00 (0.4) | 1.00 (0.5) | 1.0 (0.4) | 1.0 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5877 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| iAMALGAM bosman noisy | 3.7 (1) | 2.9 (2) | 2.5 (0.8) | 2.5 (1) | 2.5 (1) | 2.4 (1) | 2.6 (1) | 15/15 |
| Δ fopt f117, 20-D |
1e1 1.8e6 |
1e0 2.5e6 |
1e-1 2.6e6 |
1e-2 2.8e6 |
1e-3 2.9e6 |
1e-5 3.2e6 |
1e-7 3.6e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 14 (10) | 17 (11) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞9660 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.5) | 1.00 (0.2) | 1.00 (0.3) | 1.00 (0.1) | 1.0 (0.2) | 1.0 (0.2) | 1.00 (0.2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4506 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| iAMALGAM bosman noisy | 36 (28) | 118 (83) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| Δ fopt f118, 20-D |
1e1 6908 |
1e0 11786 |
1e-1 17514 |
1e-2 22206 |
1e-3 26342 |
1e-5 30062 |
1e-7 32659 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.4 (0.3) | 1.9 (0.2) | 2.9 (2) | 6.8 (6) | 7.3 (4) | 8.8 (6) | 8.8 (4) | 15/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.9 (0.5) | 1.8 (0.4) | 1.6 (0.2) | 1.6 (0.1) | 1.5 (0.2) | 1.6 (0.1) | 1.6 (0.1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.2 (0.3) | 1.8 (0.3) | 1.4 (0.2) | 1.3 (0.2) | 1.1 (0.2) | 1.1 (0.2) | 1.0 (0.2) | 15/15 |
| MA-LS-CHAIN molina noisy | 474 (793) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 1.00 (0.3) | 1.0 (0.3) | 1.0 (0.5) | 1.00 (0.2) | 1.00 (0.2) | 1.00 (0.2) | 1.00 (0.6) | 15/15 |
| iAMALGAM bosman noisy | 2.4 (3) | 4.4 (3) | 6.9 (5) | 14 (8) | 34 (18) | 47 (18) | 44 (2) | 15/15 |
| Δ fopt f119, 20-D |
1e1 2771 |
1e0 29365 |
1e-1 35930 |
1e-2 63288 |
1e-3 4.1e5 |
1e-5 1.4e6 |
1e-7 1.9e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 3.6 (2) | 55 (90) | 965 (714) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1 (0.3) | 6.8 (4) | 12 (14) | 15 (6) | 3.1 (0.6) | 1.00 (0.1) | 1.00 (0.1) | 15/15 |
| BAYEDA gallagher noisy | 2.7 (3) | 3.9 (4) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.6 (1) | 1.0 (0.7) | 1.00 (1) | 1.0 (0.2) | 1.0 (0.2) | 1.3 (0.3) | 1.1 (0.3) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | 2.7e4 (2e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 13 (9) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 682 (782) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | 1046 (686) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7547 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 41 (62) | 20 (17) | 83 (110) | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 2.5 (2) | 47 (85) | 189 (134) | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | 87 (110) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 7268 (2e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | 1998 (2166) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | 1097 (902) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | 1781 (1881) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 143 (86) | 1267 (2185) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| iAMALGAM bosman noisy | 4.2 (4) | 22 (23) | 44 (3) | 35 (22) | 7.5 (3) | 2.8 (0.1) | 2.1 (0.1) | 15/15 |
| Δ fopt f120, 20-D |
1e1 36040 |
1e0 1.8e5 |
1e-1 2.8e5 |
1e-2 8.5e5 |
1e-3 1.6e6 |
1e-5 6.7e6 |
1e-7 1.4e7 |
#succ 13/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 6.7 (6) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 5.5 (6) | 57 (131) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.6) | 1.00 (0.9) | 1.0 (0.6) | 1.0 (0.3) | 1.0 (0.5) | 1.00 (0.4) | 1.0 (0.2) | 13/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 376 (256) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5808 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 41 (62) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.3 (0.9) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | 15 (22) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 2481 (2659) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | 125 (122) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 454 (389) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| iAMALGAM bosman noisy | 10 (10) | 119 (52) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| Δ fopt f121, 20-D |
1e1 249 |
1e0 769 |
1e-1 1426 |
1e-2 3433 |
1e-3 9304 |
1e-5 34434 |
1e-7 57404 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 12 (6) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 6.3 (0.7) | 6.0 (1) | 47 (52) | 36 (8) | 25 (16) | 15 (13) | 20 (3) | 15/15 |
| BAYEDA gallagher noisy | 20 (6) | 33 (33) | 43 (46) | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.2 (0.5) | 1.0 (0.3) | 1.2 (0.3) | 1.1 (0.1) | 1.1 (0.2) | 1.3 (0.1) | 1.9 (0.1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 33 (41) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | 7.6e4 (6e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 7.7 (7) | 134 (200) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 2035 (2011) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | 73 (123) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | 4.8 (5) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7639 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.00 (0.4) | 1.0 (0.2) | 1.00 (0.2) | 1.00 (0.2) | 1.2 (0.3) | 1 (0.2) | 1.00 (0.1) | 15/15 |
| MA-LS-CHAIN molina noisy | 3.9 (0.9) | 97 (186) | 9692 (4283) | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | 16 (20) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 16 (20) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | 4060 (6036) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | 1754 (2428) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | 2.6e4 (4e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 1.8 (0.3) | 1.2 (0.2) | 1.3 (0.3) | 1.1 (0.1) | 1.0 (0.1) | 1.1 (0.7) | 1.2 (0.5) | 15/15 |
| iAMALGAM bosman noisy | 3.4 (0.8) | 12 (15) | 57 (61) | 149 (150) | 121 (156) | 50 (31) | 39 (17) | 15/15 |
| Δ fopt f122, 20-D |
1e1 692 |
1e0 52008 |
1e-1 1.4e5 |
1e-2 3.8e5 |
1e-3 7.9e5 |
1e-5 2.0e6 |
1e-7 5.8e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 2.3 (2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.4 (0.9) | 16 (11) | 19 (12) | 11 (3) | 5.8 (0.2) | 6.6 (8) | 5.4 (6) | 7/15 |
| BAYEDA gallagher noisy | 2.4 (2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | 664 (646) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.8 (0.2) | 1.00 (0.4) | 1.0 (0.8) | 1.00 (0.6) | 1.00 (0.5) | 1.0 (0.4) | 1.0 (0.7) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 148 (110) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | 1100 (2133) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 3.1 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 23 (68) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | 182 (437) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | 8.4 (9) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7491 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 65 (102) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.0 (2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | 16 (7) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 196 (458) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | 736 (1468) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | 4.7 (10) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | 12 (10) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | 7.3 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 3.1 (0.7) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| iAMALGAM bosman noisy | 1.00 (0.8) | 44 (21) | 32 (2) | 16 (7) | 10 (2) | 14 (10) | 24 (34) | 1/15 |
| Δ fopt f123, 20-D |
1e1 1063 |
1e0 5.3e5 |
1e-1 1.5e6 |
1e-2 3.3e6 |
1e-3 5.3e6 |
1e-5 2.7e7 |
1e-7 1.6e8 |
#succ 0/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 3.1 (2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.9 (2) | 548 (472) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| BAYEDA gallagher noisy | 14 (10) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 5.7 (4) | 1.00 (0.8) | 1 (0.4) | 1.00 (0.6) | 1.00 (0.5) | 1.00 (1) | 1 (1) | 0/15 |
| CMA-ESPLUSSEL auger noisy | 130 (164) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | 619 (324) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 269 (403) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 5215 (2430) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | 248 (230) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | 7.3 (10) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6228 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 154 (67) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.00 (2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | 58 (116) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 199 (249) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | 2204 (4324) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | 733 (1412) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | 7.4 (11) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | 7.0 (11) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 405 (653) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| iAMALGAM bosman noisy | 12 (16) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| Δ fopt f124, 20-D |
1e1 192 |
1e0 1959 |
1e-1 40840 |
1e-2 64491 |
1e-3 1.3e5 |
1e-5 3.9e5 |
1e-7 8.0e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 4.9 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 4.6 (2) | 11 (22) | 3.3 (1.0) | 5.0 (4) | 4.5 (4) | 3.3 (2) | 2.3 (2) | 15/15 |
| BAYEDA gallagher noisy | 8.7 (8) | 13 (4) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.1 (0.3) | 1.0 (0.5) | 1 (1) | 1.00 (0.5) | 1.0 (0.3) | 1.00 (0.5) | 1.0 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 14 (30) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | 467 (456) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 3.6 (1) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 7.6 (11) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | 117 (411) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | 4.1 (6) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6813 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.0 (0.5) | 7.1 (6) | 2.2 (1) | 1.9 (0.6) | 2.2 (1.0) | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.2 (0.7) | 1.5e4 (1e4) | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | 12 (43) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 66 (70) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | 35 (0.4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | 158 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | 46 (104) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | 6.7 (4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 1.9 (0.3) | 1.00 (0.1) | 8.1 (2) | 984 (756) | ∞ | ∞ | ∞9e6 | 0/15 |
| iAMALGAM bosman noisy | 2.8 (2) | 7.8 (2) | 19 (12) | 27 (17) | 17 (7) | 6.2 (3) | 4.3 (0.8) | 15/15 |
| Δ fopt f125, 20-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 1.2e7 |
1e-3 2.5e7 |
1e-5 8.0e7 |
1e-7 8.1e7 |
#succ 4/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1 (0) | 2470 (1183) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.1 (0.5) | 1013 (364) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| BAYEDA gallagher noisy | 1.1 (0.5) | 1796 (454) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | 53 (388) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1 (0) | 383 (261) | 9.8e6 (7e6) | 1.00 (0.4) | 1.0 (1) | 1 (0.8) | 1.0 (0.8) | 4/15 |
| CMA-ESPLUSSEL auger noisy | 1 (0) | 1.9e5 (3e5) | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | 1.1 (0) | 2.4e7 (3e7) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.2 (0.2) | 7833 (2e4) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 1.2 (0.5) | 3.1e5 (1e6) | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | 1.7 (3) | 856 (1214) | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | 1.1 (0.5) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7722 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1 (0) | 2.0e4 (5e4) | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.2 (0.5) | 1496 (980) | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | 1 (0) | 1 (0)★4 | 1 (0)★4 | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 1 (0) | 6.5e5 (4e5) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | 1.1 (0.5) | 1.4e6 (2e6) | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | 1.1 (0.2) | 2.9e5 (3e5) | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | 1 (0) | 5.9e5 (7e5) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | 1.1 (0) | 1629 (1351) | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 1 (0) | 4.2e4 (494) | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 1.1 (0.2) | 681 (288) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| Δ fopt f126, 20-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 ∞ |
1e-3 ∞ |
1e-5 ∞ |
1e-7 ∞ |
#succ 0/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1 (0) | 2474 (1380) | ∞ | 0/15 | ||||
| AMALGAM bosman noisy | 1 (0) | 1320 (536) | ∞ | 0/15 | ||||
| BAYEDA gallagher noisy | 1 (0) | 3.3e4 (2e4) | ∞ | 0/15 | ||||
| BFGS ros noisy | 23 (84) | ∞ | ∞ | 0/15 | ||||
| BIPOP-CMA-ES hansen noisy | 1 (0) | 5781 (4909) | ∞ | 0/15 | ||||
| CMA-ESPLUSSEL auger noisy | 1 (0) | 1.4e6 (1e6) | ∞ | 0/15 | ||||
| DASA korosec noisy | 81 (292) | 7.7e7 (5e7) | ∞ | 0/15 | ||||
| DE-PSO garcia-nieto noisy | 1.1 (0) | ∞ | ∞ | 0/15 | ||||
| EDA-PSO el-abd noisy | 1.2 (0.5) | 2.3e6 (2e6) | ∞ | 0/15 | ||||
| FULLNEWUOA ros noisy | 311 (69) | ∞ | ∞ | 0/15 | ||||
| GLOBAL pal noisy | 1.1 (0) | ∞ | ∞ | 0/15 | ||||
| IPOP-SEP-CMA-ES ros noisy | 1 (0) | 1.8e5 (1e5) | ∞ | 0/15 | ||||
| MA-LS-CHAIN molina noisy | 1.1 (0.2) | 2511 (1621) | ∞ | 0/15 | ||||
| MCS huyer noisy | 1 (0) | 1 (0)★4 | 1 (0)★4 | 0/15 | ||||
| ONEFIFTH auger noisy | 1 (0) | 3.1e6 (4e6) | ∞ | 0/15 | ||||
| PSO Bounds el-abd noisy | 1 (0) | ∞ | ∞ | 0/15 | ||||
| PSO el-abd noisy | 1.1 (0.2) | 3.1e6 (4e6) | ∞ | 0/15 | ||||
| RANDOMSEARCH auger noisy | 1.1 (0) | 3.2e5 (4e5) | ∞ | 0/15 | ||||
| SNOBFIT huyer noisy | 1 (0) | 1422 (3085) | ∞ | 0/15 | ||||
| VNS garcia-martinez noisy | 1 (0) | 1.3e6 (1e6) | ∞ | 0/15 | ||||
| iAMALGAM bosman noisy | 1.1 (0.2) | 5691 (1600) | ∞ | 0/15 |
| Δ fopt f127, 20-D |
1e1 1 |
1e0 1 |
1e-1 1 |
1e-2 1.6e6 |
1e-3 4.4e6 |
1e-5 7.3e6 |
1e-7 7.4e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.3 (0.5) | 1427 (477) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.1 (0.2) | 756 (168) | 1.5e6 (2e6) | 13 (12) | ∞ | ∞ | ∞2e7 | 0/15 |
| BAYEDA gallagher noisy | 1.1 (0.5) | 1607 (661) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | 140 (173) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1 (0) | 176 (41) | 9.0e5 (1e6) | 1.00 (0.8) | 1.00 (0.8) | 1.0 (0.5) | 1.0 (0.7) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1 (0) | 3.0e4 (4e4) | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | 1 (0) | 7.5e7 (5e7) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1.1 (0.5) | 946 (603) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 1.1 (0) | 9.7e5 (7e5) | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | 1 (0) | 1360 (2150) | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | 1.1 (0.2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5998 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1 (0) | 181 (143) | 1.7e5 (2e5) | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 1.1 (0) | 416 (287) | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | 1 (0) | 1 (0)★4 | 1 (0)★4 | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 1.3 (1) | 2.8e4 (5265) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | 1.1 (0.5) | 2.3e6 (3e6) | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | 1 (0) | 1.2e6 (1e6) | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | 1.3 (0.5) | 5.2e5 (5e5) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | 1.1 (0.5) | 1704 (844) | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 1 (0) | 346 (122) | 1.1e6 (6e5) | ∞ | ∞ | ∞ | ∞3e7 | 0/15 |
| iAMALGAM bosman noisy | 1 (0) | 560 (208) | 3.3e6 (3e6) | 19 (29) | 67 (77) | 41 (38) | 40 (53) | 1/15 |
| Δ fopt f128, 20-D |
1e1 1.4e5 |
1e0 1.3e7 |
1e-1 1.7e7 |
1e-2 1.7e7 |
1e-3 1.7e7 |
1e-5 1.7e7 |
1e-7 1.7e7 |
#succ 9/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 239 (232) | 5.3 (12) | 4.3 (9) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 16 (13) | 1.2 (1) | 1.1 (2) | 1.1 (1) | 1.1 (0.7) | 1.1 (0.8) | 1.1 (1) | 10/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (2) | 1.00 (2) | 1.00 (2) | 1.0 (0.6) | 1.00 (2) | 1.0 (3) | 1.00 (1) | 9/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7535 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 21 (11) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | 213 (249) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 1996 (3614) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| iAMALGAM bosman noisy | 62 (91) | 4.9 (7) | 17 (11) | 17 (30) | 17 (12) | 17 (34) | 17 (10) | 1/15 |
| Δ fopt f129, 20-D |
1e1 7.8e6 |
1e0 4.1e7 |
1e-1 4.2e7 |
1e-2 4.2e7 |
1e-3 4.2e7 |
1e-5 4.2e7 |
1e-7 4.2e7 |
#succ 5/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 18 (21) | 7.1 (9) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (1) | 1 (1) | 1.0 (0.9) | 1.00 (1) | 1.0 (1) | 1.00 (0.8) | 1.00 (0.6) | 5/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6171 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| MA-LS-CHAIN molina noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| iAMALGAM bosman noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| Δ fopt f130, 20-D |
1e1 4904 |
1e0 93149 |
1e-1 2.5e5 |
1e-2 2.5e5 |
1e-3 2.5e5 |
1e-5 2.6e5 |
1e-7 2.6e5 |
#succ 7/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 17 (16) | 757 (376) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 7.1 (19) | 217 (399) | 81 (99) | 83 (136) | 83 (80) | 83 (45) | 85 (133) | 8/15 |
| BAYEDA gallagher noisy | 10 (9) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BFGS ros noisy | 137 (135) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.9 (4) | 33 (70) | 14 (32) | 14 (14) | 14 (29) | 14 (14) | 14 (20) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2.5 (3) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| DASA korosec noisy | 7522 (8741) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 6.3 (8) | 6.3 (5) | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| EDA-PSO el-abd noisy | 5715 (7341) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| FULLNEWUOA ros noisy | 19 (27) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| GLOBAL pal noisy | 1.0 (0.4) | 1 (1) | ∞ | ∞ | ∞ | ∞ | ∞6855 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 2.0 (3) | 1.7 (0.8) | 1.00 (1) | 1.00 (2) | 1 (2) | 1.0 (1.0) | 1.0 (1) | 7/15 |
| MA-LS-CHAIN molina noisy | 24 (0.5) | 87 (156) | 32 (42) | 38 (39) | 118 (179) | ∞ | ∞2e6 | 0/15 |
| MCS huyer noisy | 37 (34) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| ONEFIFTH auger noisy | 4.2 (5) | 198 (370) | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| PSO Bounds el-abd noisy | 5711 (6117) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| PSO el-abd noisy | 1632 (2345) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e6 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| SNOBFIT huyer noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5066 | 0/15 |
| VNS garcia-martinez noisy | 69 (110) | 78 (200) | 48 (34) | 48 (38) | 48 (119) | 48 (57) | 47 (41) | 10/15 |
| iAMALGAM bosman noisy | 5.6 (3) | 74 (132) | 38 (56) | 42 (97) | 67 (84) | 126 (127) | 322 (336) | 3/15 |
Previous dimension | Dimension = 40 | First dimension
| Δ fopt f101, 40-D |
1e1 584 |
1e0 905 |
1e-1 1255 |
1e-2 1575 |
1e-3 1913 |
1e-5 2556 |
1e-7 3237 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 29 (5) | 37 (3) | 41 (3) | 45 (3) | 48 (3) | 55 (3) | 68 (4) | 15/15 |
| AMALGAM bosman noisy | 37 (16) | 40 (13) | 39 (10) | 38 (11) | 36 (5) | 37 (10) | 35 (3) | 15/15 |
| BAYEDA gallagher noisy | 40 (3) | 39 (2) | 38 (3) | 38 (3) | 41 (1) | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e5 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.5 (0.2) | 1.5 (0.1) | 1.5 (0.1) | 1.5 (0.1) | 1.5 (0.0) | 1.5 (0.0) | 1.5 (0.0) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.00 (0.1) | 1.00 (0.1) | 1.0 (0.1)★2 | 1.00 (0.1)★2 | 1.00 (0.1)★4 | 1.0 (0.1)★4 | 1.0 (0.1)★4 | 15/15 |
| DASA korosec noisy | 5.0 (0.8) | 5.7 (0.5) | 6.4 (0.4) | 7.2 (0.4) | 7.7 (0.5) | 8.2 (0.3) | 8.5 (0.3) | 15/15 |
| DE-PSO garcia-nieto noisy | 10 (2) | 31 (5) | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.4 (0.2) | 1.4 (0.1) | 1.4 (0.1) | 1.4 (0.1) | 1.4 (0.0) | 1.4 (0.0) | 1.4 (0.1) | 15/15 |
| ONEFIFTH auger noisy | 2.6 (3) | 2.3 (1.0) | 2.3 (2) | 2.8 (2) | 3.4 (3) | 4.7 (3) | 13 (16) | 15/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 11 (1) | 12 (0.5) | 13 (0.3) | 13 (0.5) | 13 (0.3) | 13 (0.2) | 13 (0.3) | 15/15 |
| Δ fopt f102, 40-D |
1e1 821 |
1e0 1286 |
1e-1 1742 |
1e-2 2211 |
1e-3 2629 |
1e-5 3557 |
1e-7 4504 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 23 (3) | 28 (2) | 32 (2) | 35 (1) | 38 (2) | 43 (2) | 59 (4) | 15/15 |
| AMALGAM bosman noisy | 30 (7) | 27 (6) | 27 (9) | 26 (6) | 27 (6) | 26 (6) | 26 (3) | 15/15 |
| BAYEDA gallagher noisy | 29 (3) | 28 (2) | 28 (2) | 28 (1) | 28 (0.6) | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.1 (0.1) | 1.1 (0.1) | 1.1 (0.1) | 1.1 (0.1) | 1.1 (0.0) | 1.1 (0.0) | 1.1 (0.0) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.3 (1) | 1.1 (0.1) | 1.0 (0.5) | 1.5 (0.9) | 3.7 (5) | 31 (28) | ∞4e5 | 0/15 |
| DASA korosec noisy | 14 (15) | 16 (14) | 102 (86) | 1247 (1362) | 6.6e4 (1e5) | ∞ | ∞1e7 | 0/15 |
| DE-PSO garcia-nieto noisy | 7.1 (2) | 23 (3) | 227 (184) | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.00 (0.2) | 1.00 (0.2) | 1.0 (0.1) | 1.0 (0.1) | 1.0 (0.1) | 1.00 (0.1)★2 | 1.0 (0.0)★4 | 15/15 |
| ONEFIFTH auger noisy | 3868 (7055) | 4.4e5 (7e5) | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 8.0 (0.6) | 8.7 (0.5) | 9.1 (0.2) | 9.2 (0.1) | 10 (0.2) | 10 (0.2) | 10 (0.1) | 15/15 |
| Δ fopt f103, 40-D |
1e1 529 |
1e0 1223 |
1e-1 1693 |
1e-2 2161 |
1e-3 2720 |
1e-5 3818 |
1e-7 4963 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 34 (5) | 28 (1) | 121 (188) | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 47 (17) | 30 (4) | 26 (6) | 24 (6) | 22 (5) | 68 (50) | 128 (45) | 15/15 |
| BAYEDA gallagher noisy | 44 (4) | 29 (2) | 28 (2) | 31 (1) | 29 (15) | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | 48 (44) | 29 (40) | 21 (18) | 17 (20) | 13 (19) | 10 (5) | 8.0 (5) | 13/15 |
| BIPOP-CMA-ES hansen noisy | 1.7 (0.1) | 1.1 (0.1) | 1.1 (0.1) | 1.1 (0.1) | 1.1 (0.1) | 1.1 (0.0) | 1.1 (0.0) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1.1 (0.1) | 1.1 (1) | 5.3 (6) | 1286 (1211) | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | 6.1 (5) | 5.1 (5) | 258 (316) | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| DE-PSO garcia-nieto noisy | 12 (4) | 62 (30) | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.5 (0.1) | 1.0 (0.1) | 1.00 (0.0) | 1.00 (0.0)★3 | 1.0 (0.0)★3 | 1.00 (0.0)★4 | 1.0 (0.0)★3 | 15/15 |
| ONEFIFTH auger noisy | 1 (0.1) | 1.0 (0.3) | 6.5 (4) | 2.3e4 (1e4) | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 13 (0.8) | 9.1 (0.5) | 12 (4) | 21 (13) | 49 (26) | 350 (355) | 562 (159) | 15/15 |
| Δ fopt f104, 40-D |
1e1 3.1e6 |
1e0 3.6e6 |
1e-1 3.7e6 |
1e-2 3.7e6 |
1e-3 3.7e6 |
1e-5 3.7e6 |
1e-7 3.8e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.0 (2) | 3.4 (5) | 9.5 (18) | 20 (34) | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 4.1 (3) | 3.7 (2) | 3.7 (2) | 3.7 (3) | 3.7 (3) | 3.7 (2) | 3.7 (2) | 15/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.1 (1) | 1.00 (0.8) | 1.0 (0.9) | 1.00 (0.4) | 1 (0.8) | 1.00 (1) | 1.0 (0.9) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | 4.9 (8) | 31 (31) | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 18 (15) | 20 (49) | 23 (13) | 28 (25) | 28 (30) | 27 (28) | 27 (37) | 5/15 |
| Δ fopt f105, 40-D |
1e1 5.6e6 |
1e0 5.9e6 |
1e-1 6.0e6 |
1e-2 6.1e6 |
1e-3 6.1e6 |
1e-5 6.2e6 |
1e-7 6.3e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.4 (2) | 3.6 (5) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.3) | 1.0 (0.3) | 1.00 (0.4) | 1.00 (0.4) | 1.00 (0.3) | 1 (0.2) | 1.00 (0.3) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| Δ fopt f106, 40-D |
1e1 69253 |
1e0 90821 |
1e-1 95524 |
1e-2 98075 |
1e-3 99526 |
1e-5 1.0e5 |
1e-7 1.0e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 38 (63) | 162 (83) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e5 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.2) | 1.2 (0.0) | 1.3 (0.1) | 1.3 (0.2) | 1.3 (0.7) | 1.3 (0.0) | 1.3 (0.2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | 14 (28) | 200 (477) | ∞ | ∞ | ∞ | ∞ | ∞3e7 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.0 (0.1) | 1.00 (0.1) | 1.0 (0.3) | 1.00 (0.4) | 1.00 (0.0) | 1.00 (0.4) | 1.00 (0.1) | 15/15 |
| ONEFIFTH auger noisy | 8311 (1e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| Δ fopt f107, 40-D |
1e1 38382 |
1e0 57745 |
1e-1 74911 |
1e-2 86794 |
1e-3 97700 |
1e-5 1.2e5 |
1e-7 1.4e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 15 (7) | 48 (20) | 50 (7) | 45 (6) | 41 (6) | 36 (6) | 32 (3) | 15/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.2)★3 | 1.0 (0.5) | 1.0 (0.5) | 1.0 (0.2) | 1.0 (0.1) | 1 (0.3) | 1.00 (0.1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 130 (57) | 114 (11) | 143 (66) | 166 (34) | 149 (7) | 130 (6) | 111 (7) | 15/15 |
| Δ fopt f108, 40-D |
1e1 2.1e5 |
1e0 5.6e5 |
1e-1 9.4e5 |
1e-2 1.5e6 |
1e-3 1.8e6 |
1e-5 2.8e6 |
1e-7 4.3e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 134 (142) | 519 (392) | 634 (674) | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.5) | 1.0 (0.7) | 1.0 (0.4) | 1.0 (0.9) | 1.00 (0.9) | 1.00 (0.5) | 1.0 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 272 (161) | 522 (605) | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| Δ fopt f109, 40-D |
1e1 841 |
1e0 1456 |
1e-1 2504 |
1e-2 3671 |
1e-3 4958 |
1e-5 7525 |
1e-7 10054 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.4e4 (2e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 16 (3) | 16 (4) | 15 (5) | 46 (62) | 128 (65) | 152 (117) | 149 (107) | 15/15 |
| BAYEDA gallagher noisy | 28 (2) | 26 (3) | 23 (1) | 46 (55) | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.2) | 1.1 (0.2) | 1.1 (0.1) | 1.1 (0.1) | 1.0 (0.1) | 1.0 (0.1) | 1.0 (0.1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 386 (630) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 60 (55) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.00 (0.1) | 1.00 (0.1) | 1.0 (0.1) | 1.00 (0.1) | 1.00 (0.1) | 1.00 (0.1) | 1.00 (0.1) | 15/15 |
| ONEFIFTH auger noisy | 1552 (1954) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 10 (6) | 27 (32) | 87 (102) | 233 (237) | 493 (225) | 415 (62) | 352 (320) | 15/15 |
| Δ fopt f110, 40-D |
1e1 ∞ |
1e0 ∞ |
1e-1 ∞ |
1e-2 ∞ |
1e-3 ∞ |
1e-5 ∞ |
1e-7 ∞ |
#succ 0/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 0/15 | |||||||
| AMALGAM bosman noisy | 0/15 | |||||||
| BAYEDA gallagher noisy | 0/15 | |||||||
| BFGS ros noisy | 0/15 | |||||||
| BIPOP-CMA-ES hansen noisy | 0/15 | |||||||
| CMA-ESPLUSSEL auger noisy | 0/15 | |||||||
| DASA korosec noisy | 0/15 | |||||||
| DE-PSO garcia-nieto noisy | 0/15 | |||||||
| IPOP-SEP-CMA-ES ros noisy | 0/15 | |||||||
| ONEFIFTH auger noisy | 0/15 | |||||||
| RANDOMSEARCH auger noisy | 0/15 | |||||||
| iAMALGAM bosman noisy | 0/15 |
| Δ fopt f111, 40-D |
1e1 ∞ |
1e0 ∞ |
1e-1 ∞ |
1e-2 ∞ |
1e-3 ∞ |
1e-5 ∞ |
1e-7 ∞ |
#succ 0/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 0/15 | |||||||
| AMALGAM bosman noisy | 0/15 | |||||||
| BAYEDA gallagher noisy | 0/15 | |||||||
| BFGS ros noisy | 0/15 | |||||||
| BIPOP-CMA-ES hansen noisy | 0/15 | |||||||
| CMA-ESPLUSSEL auger noisy | 0/15 | |||||||
| DASA korosec noisy | 0/15 | |||||||
| DE-PSO garcia-nieto noisy | 0/15 | |||||||
| IPOP-SEP-CMA-ES ros noisy | 0/15 | |||||||
| ONEFIFTH auger noisy | 0/15 | |||||||
| RANDOMSEARCH auger noisy | 0/15 | |||||||
| iAMALGAM bosman noisy | 0/15 |
| Δ fopt f112, 40-D |
1e1 1.8e5 |
1e0 2.5e5 |
1e-1 2.7e5 |
1e-2 2.7e5 |
1e-3 2.8e5 |
1e-5 2.8e5 |
1e-7 2.9e5 |
#succ 14/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.1 (0.1) | 1.5 (1.0) | 1.5 (0.9) | 1.5 (0.5) | 1.5 (0.9) | 1.5 (0.9) | 1.5 (0.9) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞1e7 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.0 (0.1) | 1.0 (0.8) | 1.0 (0.1) | 1.0 (0.8) | 1.0 (0.1) | 1 (0.1) | 1.00 (0.4) | 14/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| Δ fopt f113, 40-D |
1e1 4.4e5 |
1e0 2.5e6 |
1e-1 2.7e6 |
1e-2 3.0e6 |
1e-3 3.0e6 |
1e-5 3.0e6 |
1e-7 3.0e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 3.2 (2) | 2.1 (1) | 2.1 (1) | 2.1 (1) | 2.1 (1) | 2.1 (1) | 2.1 (2) | 15/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.6) | 1.00 (0.3) | 1.0 (0.1) | 1.0 (0.1) | 1.0 (0.4) | 1.0 (0.4) | 1.00 (0.4) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 15 (1.0) | 5.1 (2) | 5.3 (1.0) | 5.1 (0.3) | 5.1 (0.3) | 5.1 (0.4) | 5.1 (0.3) | 15/15 |
| Δ fopt f114, 40-D |
1e1 1.7e6 |
1e0 6.5e6 |
1e-1 1.0e7 |
1e-2 1.2e7 |
1e-3 1.2e7 |
1e-5 1.2e7 |
1e-7 1.2e7 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 62 (30) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.00 (0.6) | 1.00 (0.5) | 1.00 (0.6) | 1.0 (0.4) | 1.0 (0.2) | 1.0 (0.6) | 1.0 (0.6) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 355 (262) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| Δ fopt f115, 40-D |
1e1 20541 |
1e0 1.9e5 |
1e-1 3.7e5 |
1e-2 4.2e5 |
1e-3 4.2e5 |
1e-5 4.2e5 |
1e-7 4.2e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.1 (0.3) | 1 (0.9) | 1.00 (0.5) | 1.0 (0.0) | 1.0 (0.1) | 1.0 (0.0) | 1.00 (0.0) | 15/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.8 (3) | 6.6 (3) | 4.1 (2) | 4.0 (2) | 4.0 (2) | 4.0 (2) | 4.0 (2) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.1 (0.3) | 29 (65) | 15 (29) | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 1.0 (0.5) | 3.4 (3) | 4.5 (0.7) | 6.0 (2) | 6.0 (3) | 6.0 (3) | 5.9 (3) | 15/15 |
| Δ fopt f116, 40-D |
1e1 4.2e6 |
1e0 4.3e6 |
1e-1 4.5e6 |
1e-2 4.7e6 |
1e-3 4.8e6 |
1e-5 5.1e6 |
1e-7 5.4e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.0 (0.1) | 1.00 (0.1) | 1.00 (0.1) | 1.00 (0.1) | 1 (0.1) | 1.00 (0.1) | 1.00 (0.1) | 15/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.7) | 1.3 (1.0) | 1.3 (0.4) | 1.3 (0.8) | 1.3 (0.5) | 1.2 (0.6) | 1.2 (0.6) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 3.6 (0.7) | 3.8 (0.2) | 3.7 (0.2) | 3.6 (0.2) | 3.5 (0.2) | 3.4 (0.2) | 3.3 (0.1) | 15/15 |
| Δ fopt f117, 40-D |
1e1 8.4e6 |
1e0 1.2e7 |
1e-1 1.4e7 |
1e-2 1.5e7 |
1e-3 1.7e7 |
1e-5 1.9e7 |
1e-7 2.1e7 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 23 (19) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.00 (0.6) | 1.00 (0.5) | 1.00 (0.3) | 1.00 (0.2) | 1.0 (0.5) | 1.00 (0.2) | 1.0 (0.3) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 71 (66) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| Δ fopt f118, 40-D |
1e1 39183 |
1e0 47888 |
1e-1 81836 |
1e-2 96249 |
1e-3 1.1e5 |
1e-5 1.2e5 |
1e-7 1.3e5 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.00 (0.2) | 1.00 (0.1)★2 | 2.0 (0.9) | 3.2 (4) | 10 (14) | 16 (14) | 16 (15) | 15/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.1) | 1.4 (0.2) | 1.1 (0.1) | 1.1 (0.1) | 1.2 (0.1) | 1.3 (0.1) | 1.4 (0.1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞2e7 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.1 (0.4) | 1.4 (0.4) | 1 (0.2) | 1.00 (0.2) | 1.0 (0.1) | 1.0 (0.1) | 1.0 (0.1) | 15/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 1.8 (1) | 6.5 (6) | 7.3 (5) | 18 (11) | 23 (11) | 24 (4) | 23 (3) | 15/15 |
| Δ fopt f119, 40-D |
1e1 42381 |
1e0 1.2e5 |
1e-1 1.6e5 |
1e-2 5.3e5 |
1e-3 2.1e6 |
1e-5 1.0e7 |
1e-7 1.3e7 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 50 (37) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 4.8 (7) | 17 (15) | 24 (2) | 8.8 (6) | 3.9 (3) | 1.2 (0.5) | 1.3 (0.1) | 15/15 |
| BAYEDA gallagher noisy | 2.2 (2) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.8) | 1.00 (0.8) | 1.00 (0.6) | 1.0 (0.7) | 1.0 (0.6) | 1.00 (0.5) | 1.0 (0.3) | 15/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 5.5 (6) | 57 (36) | 84 (15) | 27 (0.9) | 7.0 (0.4) | 1.5 (0.1) | 1.5 (0.1) | 15/15 |
| Δ fopt f120, 40-D |
1e1 1.6e5 |
1e0 7.1e5 |
1e-1 1.7e6 |
1e-2 3.4e6 |
1e-3 1.1e7 |
1e-5 4.3e7 |
1e-7 2.4e8 |
#succ 3/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 17 (8) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.00 (0.5) | 1.0 (0.8) | 1 (0.7) | 1.0 (0.2) | 1.0 (0.7) | 1.00 (0.9) | 1 (0.9) | 3/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 64 (55) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| Δ fopt f121, 40-D |
1e1 728 |
1e0 1739 |
1e-1 3362 |
1e-2 8180 |
1e-3 27554 |
1e-5 97381 |
1e-7 2.0e5 |
#succ 14/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1644 (3115) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 14 (2) | 13 (3) | 37 (56) | 131 (227) | 72 (58) | 21 (13) | 11 (10) | 15/15 |
| BAYEDA gallagher noisy | 33 (3) | 35 (3) | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞9e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.1 (0.2) | 1.1 (0.2) | 1.1 (0.2) | 1.0 (0.1) | 1.00 (0.1) | 1.6 (0.1) | 2.0 (0.1) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 2431 (3920) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞7e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 28 (29) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.00 (0.2) | 1.0 (0.3) | 1.00 (0.1) | 1.0 (0.1) | 1.0 (0.1) | 1.0 (0.2) | 1.0 (0.1) | 14/15 |
| ONEFIFTH auger noisy | 4.8e4 (4e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 8.3 (7) | 28 (9) | 100 (81) | 309 (26) | 128 (77) | 113 (107) | 65 (40) | 15/15 |
| Δ fopt f122, 40-D |
1e1 4936 |
1e0 2.7e5 |
1e-1 6.4e5 |
1e-2 1.1e6 |
1e-3 2.8e6 |
1e-5 1.2e7 |
1e-7 3.3e7 |
#succ 11/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 7.9 (9) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.6 (0.8) | 29 (15) | 25 (10) | 22 (20) | 13 (4) | ∞ | ∞4e7 | 0/15 |
| BAYEDA gallagher noisy | 3.1 (1.0) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.8 (2) | 1.00 (0.4) | 1.00 (0.7) | 1.0 (0.4) | 1.00 (0.7) | 1.00 (0.8) | 1.00 (0.7) | 11/15 |
| CMA-ESPLUSSEL auger noisy | 1155 (1074) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 53 (46) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 114 (157) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | 1.5e4 (2e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | 1196 (1885) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 1 (0.4) | 51 (24) | 60 (23) | 39 (1) | 15 (0.7) | 50 (94) | ∞4e7 | 0/15 |
| Δ fopt f123, 40-D |
1e1 13229 |
1e0 2.4e6 |
1e-1 9.4e6 |
1e-2 1.6e7 |
1e-3 2.4e7 |
1e-5 2.3e8 |
1e-7 7.3e8 |
#succ 0/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 20 (40) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1.00 (0.5)★2 | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 3.3 (2) | 1.00 (0.5) | 1.00 (0.5) | 1.0 (0.6) | 1.0 (0.4) | 1.00 (1) | 1 (0.7) | 0/15 |
| CMA-ESPLUSSEL auger noisy | 434 (265) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | 1.4e4 (2e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | 473 (696) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 11 (11) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| Δ fopt f124, 40-D |
1e1 570 |
1e0 30165 |
1e-1 2.1e5 |
1e-2 2.6e5 |
1e-3 3.7e5 |
1e-5 1.1e6 |
1e-7 2.2e6 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 13 (1) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 10 (3) | 1.4 (0.6) | 5.4 (3) | 4.6 (3) | 3.5 (0.9) | 1.3 (0.6) | 1.0 (0.5) | 15/15 |
| BAYEDA gallagher noisy | 20 (5) | 5.2 (5) | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞9e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.3) | 1.0 (1) | 1.0 (0.2) | 1.0 (1) | 1.0 (0.4) | 1.00 (0.4) | 1.00 (0.3) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 497 (257) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | 1.6e5 (1e5) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 8.2 (10) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.0 (0.4) | 3.2 (3) | 1.4 (2) | 1.5 (0.9) | 2.5 (2) | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | 4639 (7866) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | 1.2e4 (2e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 4.6 (0.5) | 3.5 (4) | 16 (9) | 27 (3) | 19 (2) | 6.4 (1) | 3.3 (0.4) | 15/15 |
| Δ fopt f125, 40-D |
1e1 1 |
1e0 4611 |
1e-1 1.1e8 |
1e-2 1.1e8 |
1e-3 5.4e8 |
1e-5 ∞ |
1e-7 ∞ |
#succ 0/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.2 (0.8) | 1.8 (2) | ∞ | ∞ | ∞ | 0/15 | ||
| AMALGAM bosman noisy | 1 (0) | 1.4 (0.4) | ∞ | ∞ | ∞ | 0/15 | ||
| BAYEDA gallagher noisy | 1.1 (0.2) | 2.0 (0.4) | ∞ | ∞ | ∞ | 0/15 | ||
| BFGS ros noisy | 1 (0) | ∞ | ∞ | ∞ | ∞ | 0/15 | ||
| BIPOP-CMA-ES hansen noisy | 1 (0) | 1.8 (1) | 1.00 (1) | 1 (0.6) | 1 (0.6) | 0/15 | ||
| CMA-ESPLUSSEL auger noisy | 1 (0) | ∞ | ∞ | ∞ | ∞ | 0/15 | ||
| DASA korosec noisy | 7.1 (0) | ∞ | ∞ | ∞ | ∞ | 0/15 | ||
| DE-PSO garcia-nieto noisy | 1 (0) | 244 (447) | ∞ | ∞ | ∞ | 0/15 | ||
| IPOP-SEP-CMA-ES ros noisy | 1 (0) | 1279 (1388) | ∞ | ∞ | ∞ | 0/15 | ||
| ONEFIFTH auger noisy | 3.5 (10) | ∞ | ∞ | ∞ | ∞ | 0/15 | ||
| RANDOMSEARCH auger noisy | 1 (0) | ∞ | ∞ | ∞ | ∞ | 0/15 | ||
| iAMALGAM bosman noisy | 1 (0) | 1.0 (0.2) | ∞ | ∞ | ∞ | 0/15 |
| Δ fopt f126, 40-D |
1e1 1 |
1e0 8740 |
1e-1 ∞ |
1e-2 ∞ |
1e-3 ∞ |
1e-5 ∞ |
1e-7 ∞ |
#succ 0/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.1 (1) | 10 (6) | 0/15 | |||||
| AMALGAM bosman noisy | 1.1 (0.2) | 1.00 (0.2) | 0/15 | |||||
| BAYEDA gallagher noisy | 1.1 (0.5) | ∞ | 0/15 | |||||
| BFGS ros noisy | 28 (102) | ∞ | 0/15 | |||||
| BIPOP-CMA-ES hansen noisy | 1 (0) | 2.8 (2) | 0/15 | |||||
| CMA-ESPLUSSEL auger noisy | 1 (0) | ∞ | 0/15 | |||||
| DASA korosec noisy | 1 (0) | ∞ | 0/15 | |||||
| DE-PSO garcia-nieto noisy | 1.1 (0.2) | ∞ | 0/15 | |||||
| IPOP-SEP-CMA-ES ros noisy | 1 (0) | ∞ | 0/15 | |||||
| ONEFIFTH auger noisy | 1 (0) | ∞ | 0/15 | |||||
| RANDOMSEARCH auger noisy | 1.1 (0) | ∞ | 0/15 | |||||
| iAMALGAM bosman noisy | 1 (0) | 4.3 (4) | 0/15 |
| Δ fopt f127, 40-D |
1e1 1 |
1e0 702 |
1e-1 1.8e6 |
1e-2 1.1e7 |
1e-3 1.5e7 |
1e-5 2.6e7 |
1e-7 2.7e7 |
#succ 15/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | 1.1 (0.2) | 7.1 (4) | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 1 (0) | 7.0 (1) | 2.3 (0.2) | 56 (88) | ∞ | ∞ | ∞4e7 | 0/15 |
| BAYEDA gallagher noisy | 1.2 (0.2) | 13 (2) | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | 302 (482) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞9e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1 (0) | 1.0 (0.4) | 2.4 (3) | 1.00 (0.9) | 1.00 (0.6) | 1.00 (0.6) | 1.0 (0.5) | 15/15 |
| CMA-ESPLUSSEL auger noisy | 1 (0) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | 1 (0) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 1 (0) | 53 (91) | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1 (0) | 1.1 (0.5) | 1 (0.4) | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | 1 (0) | 8.4e5 (8e5) | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | 1.1 (0) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 1.2 (0.5) | 4.0 (0.8) | 3.5 (5) | 8.7 (9) | ∞ | ∞ | ∞4e7 | 0/15 |
| Δ fopt f128, 40-D |
1e1 4.1e6 |
1e0 3.8e7 |
1e-1 1.1e8 |
1e-2 1.1e8 |
1e-3 1.1e8 |
1e-5 1.1e8 |
1e-7 1.1e8 |
#succ 4/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 10 (16) | 3.4 (2) | 2.4 (3) | 2.4 (4) | 2.4 (4) | 2.4 (2) | 2.4 (1.0) | 2/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (2) | 1.00 (1) | 1.00 (2) | 1.0 (0.7) | 1 (1) | 1.00 (2) | 1 (0.8) | 4/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 32 (19) | 4.8 (9) | 2.5 (2) | 2.5 (3) | 2.5 (2) | 2.5 (5) | 2.5 (2) | 2/15 |
| Δ fopt f129, 40-D |
1e1 3.5e7 |
1e0 3.8e7 |
1e-1 1.0e8 |
1e-2 1.0e8 |
1e-3 1.0e8 |
1e-5 1.0e8 |
1e-7 1.0e8 |
#succ 2/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| BAYEDA gallagher noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞3e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (0.7) | 1.0 (0.9) | 1 (0.8) | 1 (0.5) | 1.00 (0.9) | 1.0 (2) | 1 (1.0) | 2/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| ONEFIFTH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| Δ fopt f130, 40-D |
1e1 12699 |
1e0 2.8e5 |
1e-1 1.7e6 |
1e-2 1.7e6 |
1e-3 1.7e6 |
1e-5 1.7e6 |
1e-7 1.7e6 |
#succ 3/15 |
|---|---|---|---|---|---|---|---|---|
| ALPS hornby noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞5e6 | 0/15 |
| AMALGAM bosman noisy | 7.5 (0.3) | 101 (77) | 95 (113) | 95 (137) | 95 (71) | 95 (100) | 95 (106) | 3/15 |
| BAYEDA gallagher noisy | 3.8 (2) | 1.00 (1) | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BFGS ros noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| BIPOP-CMA-ES hansen noisy | 1.0 (2) | 24 (0.6) | 7.9 (8) | 7.9 (6) | 7.9 (14) | 7.9 (7) | 7.9 (11) | 13/15 |
| CMA-ESPLUSSEL auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e5 | 0/15 |
| DASA korosec noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞6e6 | 0/15 |
| DE-PSO garcia-nieto noisy | 12 (9) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞8e4 | 0/15 |
| IPOP-SEP-CMA-ES ros noisy | 1.00 (2) | 1.6 (2) | 1.00 (2) | 1.00 (0.9) | 1 (1) | 1 (0.9) | 1.00 (2) | 3/15 |
| ONEFIFTH auger noisy | 2.2e4 (2e4) | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| RANDOMSEARCH auger noisy | ∞ | ∞ | ∞ | ∞ | ∞ | ∞ | ∞4e7 | 0/15 |
| iAMALGAM bosman noisy | 3.4 (10) | 66 (113) | 40 (68) | 50 (54) | 68 (31) | 97 (119) | 97 (130) | 3/15 |