Overview page

Table showing the ERT in number of evaluations divided by the best ERT of the reference algorithm

Last dimension | Dimension = 2 | Next dimension

Δ fopt
f1, 2-D		 1e1
2.0		 1e0
6.0		 1e-1
6.0		 1e-2
6.0		 1e-3
6.0		 1e-5
6.0		 1e-7
6.0		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.1 (3)2.7 (2)3.8 (0.5)6.1 (0.2)6.7 (0.2)8.8 (1)11 (0.2)15/15
BIPOP-saACM-k loshchilov 4.6 (4)4.0 (3)8.1 (5)11 (1)14 (2)17 (1)20 (2)15/15
CGA-grid100 holtschulte 2.1 (2)3.3 (4)59 (64)242 (265)854 (844)4905 (3348)4.5e4 (3e4)1/15
CGA-grid16 holtschulte 1.6 (2)9.0 (8)29 (18)65 (52)215 (179)1271 (1044)1.4e4 (1e4)3/15
CGA-ring100 holtschulte 2.0 (2)5.9 (6)26 (35)139 (108)434 (185)2157 (1187)1.3e4 (1e4)3/15
CGA-ring16 holtschulte 1.4 (1)4.5 (5)23 (15)60 (44)139 (110)1018 (513)1.9e4 (2e4)4/15
CMAES Hutter hutter 3.8 (6)3.6 (5)7.4 (3)12 (5)16 (4)33 (17)98 (103)3/15
DE Pal pal 1.7 (2)2.8 (2)11 (6)19 (13)29 (14)50 (9)68 (16)15/15
GA-100 holtschulte 2.2 (2)4.1 (4)35 (26)93 (74)268 (167)3024 (3011)1.3e4 (2e4)1/15
HCMA loshchilov 2.7 (1)1 (0)1 (0)★1 (0)★41 (0)★41 (0)★41 (0)★415/15
HILL holtschulte 4.3 (5)3.7 (3)9.2 (7)36 (28)122 (129)785 (580)7793 (7118)7/15
HMLSL pal 1.6 (0.8)1.3 (0.5)1.8 (0.5)1.9 (0.5)2.2 (0.8)2.8 (0.8)3.0 (0.2)15/15
IP-10DDr liao 1.7 (2)3.6 (2)7.7 (3)12 (1)16 (3)24 (2)33 (3)15/15
IP-500 liao 1.7 (2)3.6 (2)7.7 (3)12 (1)16 (3)24 (2)33 (3)15/15
IPOP400D auger 1.4 (1)2.3 (2)6.1 (4)11 (4)15 (7)26 (6)36 (6)15/15
IP liao 1.7 (2)3.6 (2)7.7 (3)12 (1)16 (3)24 (2)33 (3)15/15
MEMPSODE voglis 2.8 (2)5.2 (4)15 (8)21 (7)27 (11)47 (19)71 (21)15/15
MLSL pal 1.6 (0.8)1.3 (0.5)1.8 (0.5)1.9 (0.5)2.2 (0.8)2.8 (0.8)3.0 (0.2)15/15
OQNLP pal 4.0 (3)2.1 (0.3)2.7 (0.6)3.0 (0.6)3.1 (0.8)3.2 (0.8)3.3 (0.8)15/15
P-DCN tran 0.93 (0.8)8.3 (12)19 (15)25 (14)33 (14)90 (40)196 (62)15/15
P-zero tran 0.93 (0.8)5.7 (6)13 (10)18 (12)23 (15)64 (35)408 (225)15/15
PRCGA sawyerr 1.9 (2)5.4 (7)19 (12)36 (34)67 (47)127 (163)192 (166)15/15
SMAC-BBOB hutter 1.4 (1)1.1 (0.7)2.0 (0.5)2.9 (1)5.3 (2)72 (41)∞2000/15
U-DCN tran 0.93 (0.8)4.2 (3)15 (11)39 (31)97 (50)292 (277)1630 (2511)15/15
U-zero tran 0.93 (0.8)4.8 (3)15 (14)53 (36)171 (166)1077 (1012)1.8e4 (1e4)15/15
fmincon pal 1.6 (0.8)1.3 (0.5)1.8 (0.5)1.9 (0.5)2.2 (0.8)2.8 (0.8)3.0 (0.2)15/15
fminunc pal 1.9 (2)1 (0.2)1.1 (0.2)1.2 (0)1.2 (0)1.2 (0)1.2 (0)15/15
lmm-CMA-ES auger 1.8 (3)2.0 (1)3.3 (0.6)4.0 (0.8)5.0 (0.9)6.2 (1)8.2 (0.6)15/15
simplex pal 12 (15)8.4 (4)11 (4)13 (4)15 (3)17 (3)19 (3)15/15
tany liao 2.6 (2)2.1 (2)6.7 (3)11 (2)15 (2)23 (2)31 (4)15/15
texp liao 4.6 (6)3.2 (3)6.0 (2)9.3 (3)13 (6)22 (4)31 (6)15/15

Δ fopt
f2, 2-D		 1e1
16		 1e0
19		 1e-1
25		 1e-2
25		 1e-3
26		 1e-5
28		 1e-7
29		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.1 (0.4)3.0 (0.5)2.6 (0.2)2.8 (0.2)2.9 (0.3)3.1 (0.4)3.6 (0.4)15/15
BIPOP-saACM-k loshchilov 7.2 (3)7.3 (2)6.0 (2)6.4 (2)6.5 (2)6.8 (2)7.4 (2)15/15
CGA-grid100 holtschulte 107 (62)286 (155)607 (663)3056 (4106)1.2e4 (1e4)∞∞1e50/15
CGA-grid16 holtschulte 138 (206)321 (189)882 (1349)2759 (2063)8639 (1e4)5.3e4 (5e4)∞1e50/15
CGA-ring100 holtschulte 107 (84)345 (529)963 (866)2355 (2101)5867 (6952)2.4e4 (4e4)∞1e50/15
CGA-ring16 holtschulte 62 (65)272 (421)1016 (1042)4251 (3969)2.6e4 (5e4)∞∞1e50/15
CMAES Hutter hutter 20 (21)38 (41)61 (49)∞∞∞∞2060/15
DE Pal pal 10 (4)12 (4)12 (2)14 (3)16 (2)19 (3)22 (3)15/15
GA-100 holtschulte 88 (143)284 (373)496 (460)3091 (4963)6331 (6398)5.2e4 (6e4)∞1e50/15
HCMA loshchilov 2.8 (4)4.5 (4)4.8 (3)5.6 (3)5.7 (3)5.9 (3)6.2 (3)15/15
HILL holtschulte 80 (72)162 (160)627 (964)5400 (5821)1.7e4 (1e4)∞∞1e50/15
HMLSL pal 1.5 (0.4)1.5 (0.5)1.3 (0.4)1.4 (0.5)1.6 (0.4)2.1 (0.8)2.8 (0.8)15/15
IP-10DDr liao 17 (14)26 (3)23 (2)25 (1)25 (2)26 (1)27 (1)15/15
IP-500 liao 17 (14)26 (3)23 (2)25 (1)25 (2)26 (1)27 (1)15/15
IPOP400D auger 13 (11)19 (9)16 (6)18 (4)19 (3)20 (3)21 (3)15/15
IP liao 17 (14)26 (3)23 (2)25 (1)25 (2)26 (1)27 (1)15/15
MEMPSODE voglis 33 (65)64 (55)64 (29)69 (25)67 (24)62 (22)60 (21)15/15
MLSL pal 1.5 (0.4)1.5 (0.5)1.3 (0.4)1.4 (0.5)1.6 (0.4)2.1 (0.8)2.8 (0.8)15/15
OQNLP pal 2.1 (0.9)3.6 (2)3.0 (1)3.1 (1)3.2 (1)3.2 (1)17 (30)6/15
P-DCN tran 8.5 (4)16 (14)28 (21)49 (34)89 (97)278 (269)1592 (369)15/15
P-zero tran 11 (8)26 (20)30 (17)102 (94)259 (403)2380 (2587)2.7e4 (3e4)7/15
PRCGA sawyerr 15 (6)18 (8)25 (16)38 (47)53 (58)92 (141)108 (135)15/15
SMAC-BBOB hutter 3.5 (3)11 (13)36 (28)∞∞∞∞2000/15
U-DCN tran 64 (99)173 (254)202 (216)1524 (2285)1812 (2285)3444 (6477)2.1e4 (5e4)11/15
U-zero tran 206 (279)859 (879)2370 (3723)8581 (9993)1.7e4 (2e4)1.7e5 (3e5)4.9e5 (4e5)0/15
fmincon pal 1.5 (0.4)1.5 (0.5)1.3 (0.4)1.4 (0.5)1.6 (0.4)2.1 (0.8)2.8 (0.8)15/15
fminunc pal 1.9 (2)3.0 (2)3.2 (1)3.6 (1)3.7 (1)3.9 (1)4.0 (1)15/15
lmm-CMA-ES auger 3.1 (2)4.9 (2)4.5 (0.7)4.9 (0.5)4.9 (0.5)4.9 (0.5)5.3 (0.7)15/15
simplex pal 3.7 (0.7)4.6 (2)4.5 (1)5.2 (0.7)5.2 (0.8)5.4 (0.6)5.7 (0.6)15/15
tany liao 10 (13)21 (11)20 (8)23 (2)24 (2)25 (2)27 (2)15/15
texp liao 9.2 (12)20 (11)18 (9)21 (9)23 (3)24 (2)25 (3)15/15

Δ fopt
f3, 2-D		 1e1
15		 1e0
271		 1e-1
445		 1e-2
446		 1e-3
450		 1e-5
454		 1e-7
464		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.2 (1)0.81 (1)0.82 (0.9)0.86 (0.9)0.94 (1.0)1.0 (1.0)1.1 (1)15/15
BIPOP-saACM-k loshchilov 6.3 (11)2.8 (3)4.7 (5)6.1 (6)6.3 (6)6.3 (6)6.9 (6)15/15
CGA-grid100 holtschulte 9.5 (11)10 (8)19 (18)51 (39)221 (186)∞∞1e50/15
CGA-grid16 holtschulte 5.9 (6)3.4 (3)5.4 (4)18 (15)53 (65)540 (666)∞1e50/15
CGA-ring100 holtschulte 12 (11)6.4 (3)10 (6)19 (15)50 (28)260 (267)∞1e50/15
CGA-ring16 holtschulte 6.4 (7)2.4 (1)4.7 (6)17 (17)34 (27)310 (278)∞1e50/15
CMAES Hutter hutter 4.2 (4)3.5 (5)3.3 (4)6.9 (7)6.8 (8)∞∞2060/15
DE Pal pal 3.6 (3)0.98 (0.2)0.81 (0.3)0.96 (0.3)1.1 (0.3)1.4 (0.3)1.6 (0.3)15/15
GA-100 holtschulte 5.7 (6)4.9 (2)8.9 (8)26 (19)51 (35)1589 (1300)∞1e50/15
HCMA loshchilov 2.2 (1)0.63 (0.2)↑10.94 (0.2)↑10.97 (0.1)↑11.00 (0.2)↑11.1 (0.2)1.1 (0.2)15/15
HILL holtschulte 2.3 (2)1.3 (0.9)2.7 (2)8.5 (5)33 (28)447 (468)∞1e50/15
HMLSL pal 5.8 (5)1.1 (0.9)1.7 (1.0)1.9 (1)2.0 (1)2.1 (2)2.1 (2)15/15
IP-10DDr liao 3.0 (2)2.9 (4)5.0 (6)5.2 (6)5.4 (6)5.5 (6)5.6 (6)15/15
IP-500 liao 3.0 (2)2.9 (4)4.9 (5)5.0 (5)5.2 (5)5.4 (5)5.6 (5)15/15
IPOP400D auger 2.4 (2)3.5 (4)9.5 (10)12 (14)12 (14)12 (15)12 (11)4/15
IP liao 3.0 (2)2.9 (4)4.9 (5)5.0 (5)5.2 (5)5.4 (5)5.6 (5)15/15
MEMPSODE voglis 5.2 (4)4.7 (8)8.2 (8)8.4 (9)8.4 (9)8.6 (9)8.9 (8)15/15
MLSL pal 6.1 (5)1.4 (2)4.7 (5)4.7 (5)4.6 (5)4.6 (5)4.5 (5)15/15
OQNLP pal 12 (8)1.9 (1)2.1 (2)2.2 (2)2.2 (2)2.2 (2)2.1 (2)15/15
P-DCN tran 13 (4)123 (197)283 (409)282 (408)280 (404)279 (400)277 (390)15/15
P-zero tran 25 (12)180 (292)419 (337)418 (336)415 (334)414 (327)433 (293)15/15
PRCGA sawyerr 3.1 (4)5.4 (11)7.5 (12)8.0 (12)8.6 (12)9.3 (12)10 (12)15/15
SMAC-BBOB hutter 3.0 (3)2.5 (2)3.3 (4)∞∞∞∞2000/15
U-DCN tran 4.5 (4)3.3 (3)3.1 (3)4.4 (4)7.3 (5)244 (752)1063 (2158)12/15
U-zero tran 4.5 (3)3.7 (3)7.5 (8)13 (9)73 (90)779 (1062)1.2e4 (1e4)0/15
fmincon pal 5.7 (5)1.3 (2)6.9 (8)6.9 (8)6.9 (7)6.8 (7)6.7 (7)15/15
fminunc pal 5.0 (4)2.3 (1)5.5 (7)5.5 (7)5.5 (7)5.4 (7)5.3 (7)15/15
lmm-CMA-ES auger 2.6 (0.9)1.8 (2)3.1 (3)3.5 (4)4.1 (4)4.2 (5)4.1 (5)9/15
simplex pal 14 (7)3.0 (2)8.9 (7)8.9 (7)8.8 (7)8.8 (7)8.6 (7)15/15
tany liao 2.8 (2)3.0 (3)5.2 (7)6.7 (8)7.4 (9)7.6 (9)7.6 (9)15/15
texp liao 4.0 (4)4.2 (4)5.9 (8)6.2 (8)6.3 (8)6.6 (8)6.7 (8)15/15

Δ fopt
f4, 2-D		 1e1
22		 1e0
344		 1e-1
459		 1e-2
496		 1e-3
523		 1e-5
544		 1e-7
566		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.8 (1)1.8 (3)11 (37)14 (34)22 (32)21 (31)21 (30)15/15
BIPOP-saACM-k loshchilov 2.7 (2)7.8 (9)26 (24)38 (41)75 (80)108 (184)105 (178)15/15
CGA-grid100 holtschulte 14 (12)12 (9)20 (9)43 (36)162 (123)∞∞1e50/15
CGA-grid16 holtschulte 6.0 (5)2.7 (1)6.8 (5)23 (25)44 (27)2751 (1976)∞1e50/15
CGA-ring100 holtschulte 12 (10)6.9 (3)12 (6)30 (22)62 (36)1344 (1103)∞1e50/15
CGA-ring16 holtschulte 5.3 (5)3.2 (2)4.6 (4)14 (11)42 (33)1328 (1864)∞1e50/15
CMAES Hutter hutter 2.2 (2)8.8 (11)6.6 (5)∞∞∞∞2060/15
DE Pal pal 3.2 (3)0.92 (0.5)7.2 (0.6)6.8 (0.5)6.6 (0.5)6.6 (0.4)6.6 (0.4)14/15
GA-100 holtschulte 6.9 (6)4.6 (2)8.7 (8)24 (14)100 (72)908 (768)∞1e50/15
HCMA loshchilov 2.0 (1)1.4 (3)4.5 (11)11 (10)11 (10)11 (9)11 (8)15/15
HILL holtschulte 1.7 (2)1.4 (1)3.8 (3)12 (11)24 (17)440 (473)∞1e50/15
HMLSL pal 4.7 (4)1.2 (0.6)5.5 (1)5.2 (2)5.0 (2)4.9 (2)4.7 (2)15/15
IP-10DDr liao 10 (16)13 (15)91 (144)99 (131)94 (125)91 (120)88 (115)15/15
IP-500 liao 10 (16)8.3 (8)32 (30)76 (50)77 (49)83 (52)82 (51)15/15
IPOP400D auger 4.1 (2)6.0 (7)24 (29)22 (23)21 (21)20 (21)20 (21)2/15
IP liao 10 (16)8.3 (8)33 (30)78 (57)80 (56)100 (63)101 (63)15/15
MEMPSODE voglis 3.6 (2)2.6 (4)8.6 (9)8.2 (8)8.0 (8)7.9 (7)11 (7)15/15
MLSL pal 4.9 (5)1.6 (1)13 (15)12 (14)11 (13)11 (12)10 (12)14/15
OQNLP pal 8.7 (6)6.2 (7)11 (10)10 (10)10 (9)10 (9)9.2 (16)6/15
P-DCN tran 5.4 (4)208 (300)517 (418)479 (387)454 (367)438 (354)425 (338)15/15
P-zero tran 2.5 (1)141 (386)552 (39)511 (36)485 (35)471 (34)516 (87)15/15
PRCGA sawyerr 2.8 (2)4.0 (5)10 (14)16 (18)20 (16)24 (24)26 (23)15/15
SMAC-BBOB hutter 2.5 (3)8.4 (9)∞∞∞∞∞2000/15
U-DCN tran 3.7 (2)2.4 (2)3.1 (3)4.6 (3)8.9 (8)64 (54)542 (462)11/15
U-zero tran 3.2 (2)3.0 (3)7.6 (4)19 (17)61 (80)693 (848)1.6e4 (1e4)1/15
fmincon pal 4.6 (4)2.4 (4)9.4 (9)8.8 (8)8.3 (8)8.0 (7)7.7 (7)14/15
fminunc pal 3.5 (3)2.8 (3)10 (13)10 (12)9.2 (12)8.9 (11)8.5 (11)15/15
lmm-CMA-ES auger 2.2 (2)4.3 (5)51 (40)47 (74)45 (29)43 (44)41 (46)1/15
simplex pal 11 (5)3.0 (2)13 (12)12 (11)11 (11)11 (10)10 (10)15/15
tany liao 4.3 (3)7.6 (9)112 (130)138 (155)137 (147)131 (142)127 (136)15/15
texp liao 1.0 (1)11 (16)113 (139)193 (150)195 (131)192 (107)184 (103)15/15

Δ fopt
f5, 2-D		 1e1
4.0		 1e0
4.0		 1e-1
4.0		 1e-2
4.0		 1e-3
4.0		 1e-5
4.0		 1e-7
4.0		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.1 (0.2)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.5 (0)15/15
BIPOP-saACM-k loshchilov 3.2 (2)5.5 (3)5.8 (2)6.1 (2)6.1 (2)6.1 (2)6.1 (2)15/15
CGA-grid100 holtschulte 5.0 (5)71 (46)93 (84)93 (84)93 (84)93 (84)93 (84)15/15
CGA-grid16 holtschulte 3.8 (5)31 (17)37 (26)38 (26)38 (26)38 (26)38 (26)15/15
CGA-ring100 holtschulte 5.6 (4)61 (46)86 (44)86 (44)86 (44)86 (44)86 (44)15/15
CGA-ring16 holtschulte 5.0 (4)28 (14)36 (22)36 (22)36 (22)36 (22)36 (22)15/15
CMAES Hutter hutter 3.2 (2)5.7 (4)6.1 (4)6.1 (4)6.1 (4)6.1 (4)6.1 (4)15/15
DE Pal pal 4.0 (3)32 (17)75 (16)120 (27)170 (20)247 (27)347 (26)15/15
GA-100 holtschulte 4.7 (5)48 (29)61 (33)65 (33)65 (33)65 (33)65 (33)15/15
HCMA loshchilov 1.1 (0.2)1.6 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)15/15
HILL holtschulte 3.2 (4)7.0 (4)7.9 (5)8.0 (5)8.0 (5)8.0 (5)8.0 (5)15/15
HMLSL pal 1 (0)2.8 (0)3.5 (0)4.2 (0)4.2 (0)5.0 (0)5.8 (0)15/15
IP-10DDr liao 1.6 (0.1)4.0 (0.5)4.2 (0.5)4.2 (0.5)4.2 (0.5)4.2 (0.5)4.2 (0.5)15/15
IP-500 liao 1.6 (0.1)4.0 (0.5)4.2 (0.5)4.2 (0.5)4.2 (0.5)4.2 (0.5)4.2 (0.5)15/15
IPOP400D auger 3.2 (1)5.4 (3)6.1 (2)6.1 (2)6.1 (2)6.1 (2)6.1 (2)15/15
IP liao 1.6 (0.1)4.0 (0.5)4.2 (0.5)4.2 (0.5)4.2 (0.5)4.2 (0.5)4.2 (0.5)15/15
MEMPSODE voglis 2.3 (1)7.1 (4)9.1 (7)9.2 (7)9.2 (7)9.2 (7)9.2 (7)15/15
MLSL pal 1 (0)2.8 (0)3.5 (0)4.2 (0)4.2 (0)5.0 (0)5.8 (0)15/15
OQNLP pal 3.8 (0)4.5 (0)4.5 (0)4.5 (0)4.5 (0)4.5 (0)4.5 (0)15/15
P-DCN tran 2.2 (1)89 (69)123 (72)134 (78)144 (72)180 (85)218 (70)15/15
P-zero tran 2.8 (2)55 (48)74 (54)82 (56)89 (52)106 (49)120 (48)15/15
PRCGA sawyerr 104 (61)1039 (907)2211 (1520)3194 (1446)4512 (2015)1.2e4 (1e4)1.9e5 (2e5)1/15
SMAC-BBOB hutter 0.95 (0.1)1.2 (0.2)1.2 (0.2)1.2 (0.2)1.2 (0.2)1.2 (0.2)1.2 (0.2)15/15
U-DCN tran 2.2 (1)104 (77)590 (1086)1636 (2796)2298 (2888)5.4e5 (7e5)3.6e6 (5e6)1/15
U-zero tran 1.8 (0.5)52 (28)972 (466)1.4e4 (2057)1.5e5 (7e4)∞∞2e60/15
fmincon pal 1 (0)2.8 (0)3.5 (0)4.2 (0)4.2 (0)5.0 (0)5.8 (0)15/15
fminunc pal 1.8 (0)3.2 (0)3.2 (0)3.2 (0)3.2 (0)3.2 (0)3.2 (0)15/15
lmm-CMA-ES auger 3.4 (1)5.5 (2)5.7 (2)5.7 (2)5.7 (2)5.7 (2)5.7 (2)15/15
simplex pal 10 (0.1)40 (45)40 (45)40 (45)40 (45)40 (45)40 (45)15/15
tany liao 1.9 (0.2)6.3 (3)9.4 (6)9.4 (6)9.4 (6)9.4 (6)9.4 (6)15/15
texp liao 5.2 (0.9)46 (31)48 (30)48 (30)48 (30)48 (30)48 (30)15/15

Δ fopt
f6, 2-D		 1e1
13		 1e0
23		 1e-1
41		 1e-2
54		 1e-3
67		 1e-5
95		 1e-7
124		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 4.1 (4)4.6 (3)4.2 (2)4.3 (1)4.4 (1)4.3 (1)4.3 (0.9)15/15
BIPOP-saACM-k loshchilov 2.6 (3)3.9 (4)4.0 (3)4.5 (4)4.3 (3)4.3 (3)4.7 (2)15/15
CGA-grid100 holtschulte 3.3 (3)22 (23)78 (52)349 (349)1558 (2246)∞∞1e50/15
CGA-grid16 holtschulte 3.5 (4)17 (17)37 (26)155 (141)827 (1196)3322 (2758)∞1e50/15
CGA-ring100 holtschulte 3.0 (4)13 (15)63 (56)137 (92)612 (534)4942 (6579)∞1e50/15
CGA-ring16 holtschulte 2.8 (4)13 (9)25 (15)85 (78)222 (252)3367 (3253)∞1e50/15
CMAES Hutter hutter 2.4 (3)3.5 (2)4.1 (3)4.5 (3)15 (14)32 (28)∞2060/15
DE Pal pal 1.7 (2)3.4 (2)5.0 (3)7.2 (4)8.5 (3)9.5 (3)10 (4)15/15
GA-100 holtschulte 2.4 (2)16 (15)40 (27)132 (111)621 (392)7467 (7117)∞1e50/15
HCMA loshchilov 3.0 (2)5.8 (3)4.6 (2)4.7 (2)4.6 (1)4.9 (2)4.8 (2)15/15
HILL holtschulte 1.6 (1)5.5 (4)11 (11)43 (34)218 (311)2032 (1891)∞1e50/15
HMLSL pal 1.6 (1.0)1.6 (0.6)1.3 (0.7)1.1 (0.5)1.1 (0.4)1.1 (0.5)1.4 (1)15/15
IP-10DDr liao 1.4 (1)3.7 (3)3.8 (2)3.7 (2)3.8 (1)4.1 (1)4.3 (0.9)15/15
IP-500 liao 1.4 (1)3.7 (3)3.8 (2)3.7 (2)3.8 (1)4.1 (1)4.3 (0.9)15/15
IPOP400D auger 2.4 (4)4.3 (3)3.7 (1)3.8 (1)4.2 (1)4.3 (0.9)4.2 (0.7)15/15
IP liao 1.4 (1)3.7 (3)3.8 (2)3.7 (2)3.8 (1)4.1 (1)4.3 (0.9)15/15
MEMPSODE voglis 3.2 (2)4.1 (2)4.8 (3)5.5 (3)6.0 (2)6.9 (2)10 (3)15/15
MLSL pal 1.6 (1.0)1.6 (0.6)1.3 (0.7)1.1 (0.5)1.1 (0.4)1.1 (0.5)1.4 (1)15/15
OQNLP pal 2.3 (1)2.5 (2)1.8 (1)1.6 (0.7)1.4 (0.6)2.3 (2)3.6 (3)15/15
P-DCN tran 3.8 (5)6.6 (6)5.9 (3)6.5 (3)12 (7)32 (18)206 (69)15/15
P-zero tran 4.3 (9)8.1 (7)6.6 (5)6.6 (4)11 (7)76 (56)2728 (2131)14/15
PRCGA sawyerr 2.2 (2)26 (43)108 (116)153 (214)157 (191)175 (228)176 (185)15/15
SMAC-BBOB hutter 1.2 (1.0)9.2 (9)∞∞∞∞∞2000/15
U-DCN tran 1.5 (2)6.2 (5)15 (17)97 (38)160 (142)3077 (3184)4.8e4 (6e4)1/15
U-zero tran 0.95 (0.9)12 (19)40 (69)152 (173)2582 (635)1.3e4 (2e4)2.3e5 (3e5)0/15
fmincon pal 1.6 (1.0)1.6 (0.6)1.3 (0.7)1.1 (0.5)1.1 (0.5)1.1 (0.4)1.6 (2)15/15
fminunc pal 1.8 (2)2.5 (2)1.8 (1)1.9 (0.8)1.8 (0.9)2.0 (1)1.9 (1)15/15
lmm-CMA-ES auger 2.2 (2)2.5 (2)2.5 (0.8)2.6 (0.8)2.7 (1)2.7 (0.7)2.7 (0.6)15/15
simplex pal 4.5 (3)4.3 (2)2.9 (0.9)2.5 (1)2.2 (0.7)1.9 (0.6)1.7 (0.5)15/15
tany liao 1.5 (2)2.9 (2)2.9 (0.9)3.1 (0.4)3.2 (0.8)3.9 (0.6)4.1 (0.5)15/15
texp liao 2.3 (2)3.8 (3)3.6 (2)4.0 (2)4.1 (2)4.4 (2)4.8 (1)15/15

Δ fopt
f7, 2-D		 1e1
3.0		 1e0
21		 1e-1
60		 1e-2
193		 1e-3
217		 1e-5
217		 1e-7
241		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 4.6 (4)3.8 (3)2.7 (2)1.2 (0.8)1.2 (0.7)1.2 (0.7)1.4 (0.6)15/15
BIPOP-saACM-k loshchilov 5.7 (4)4.8 (5)3.0 (2)1.2 (0.9)1.4 (0.9)1.4 (0.9)1.5 (0.9)15/15
CGA-grid100 holtschulte 6.8 (7)8.6 (12)19 (15)44 (32)75 (120)75 (120)106 (110)10/15
CGA-grid16 holtschulte 4.5 (5)4.7 (6)11 (14)18 (11)46 (73)46 (73)64 (110)12/15
CGA-ring100 holtschulte 4.4 (5)7.5 (7)16 (14)16 (12)33 (24)33 (24)57 (47)15/15
CGA-ring16 holtschulte 7.4 (10)4.2 (4)10 (12)19 (26)25 (38)25 (38)27 (35)15/15
CMAES Hutter hutter 6.3 (6)4.4 (4)2.7 (4)1.5 (2)1.7 (2)1.7 (1)2.4 (3)3/15
DE Pal pal 4.9 (7)3.1 (2)3.5 (2)1.5 (0.6)1.7 (0.4)1.7 (0.4)2.0 (0.7)15/15
GA-100 holtschulte 2.6 (3)4.3 (4)12 (10)15 (18)23 (20)23 (20)39 (41)15/15
HCMA loshchilov 3.0 (2)3.9 (5)2.7 (2)1.6 (1)1.7 (0.9)1.7 (0.9)1.7 (0.9)15/15
HILL holtschulte 6.6 (10)7.0 (9)10 (10)44 (74)71 (96)71 (96)70 (96)15/15
HMLSL pal 4.2 (5)3.5 (2)4.5 (3)2.8 (2)3.2 (2)3.2 (2)3.4 (1)15/15
IP-10DDr liao 4.3 (5)7.2 (12)4.1 (5)1.7 (2)1.7 (2)1.7 (2)1.8 (1)15/15
IP-500 liao 4.3 (5)7.2 (12)4.1 (5)1.7 (2)1.7 (2)1.7 (2)1.8 (1)15/15
IPOP400D auger 3.4 (4)3.5 (3)3.5 (3)1.6 (1)1.5 (1)1.5 (1)1.6 (1)15/15
IP liao 4.3 (5)7.2 (12)4.1 (5)1.7 (2)1.7 (2)1.7 (2)1.8 (1)15/15
MEMPSODE voglis 5.9 (8)16 (23)25 (22)10 (8)11 (9)11 (9)11 (9)15/15
MLSL pal 5.1 (5)6.6 (9)18 (16)56 (54)135 (238)135 (99)122 (206)7/15
OQNLP pal 6.9 (5)2.7 (3)3.4 (1)1.6 (0.6)1.8 (0.5)1.8 (0.5)2.1 (0.8)13/15
P-DCN tran 24 (32)1.5e4 (5e4)5153 (2e4)1603 (5182)1426 (4608)1426 (4609)1284 (4151)13/15
P-zero tran 11 (18)1.5e4 (5e4)5289 (2e4)1645 (5185)1463 (4613)1463 (4611)1318 (4151)13/15
PRCGA sawyerr 3.8 (2)5.6 (2)7.0 (8)3.9 (4)4.6 (4)4.6 (4)5.0 (4)15/15
SMAC-BBOB hutter 2.1 (2)1.1 (0.9)1.1 (0.7)2.5 (2)14 (14)14 (10)∞2000/15
U-DCN tran 6.0 (8)4.0 (3)41 (37)111 (210)272 (271)272 (271)248 (245)15/15
U-zero tran 5.4 (5)3.9 (5)70 (108)122 (90)193 (206)193 (206)183 (191)15/15
fmincon pal 4.1 (5)5.9 (5)16 (18)58 (49)196 (368)196 (147)177 (147)6/15
fminunc pal 5.3 (5)3.9 (4)28 (21)80 (60)125 (145)125 (137)136 (105)7/15
lmm-CMA-ES auger 3.7 (4)2.2 (3)1.3 (1)0.58 (0.6)0.60 (0.5)0.60 (0.5)0.60 (0.5)★15/15
simplex pal 5.8 (6)4.1 (2)6.8 (8)7.8 (11)11 (13)11 (13)10 (11)15/15
tany liao 3.9 (3)6.0 (9)5.7 (7)2.1 (2)2.0 (2)2.0 (2)2.0 (2)15/15
texp liao 4.1 (4)4.0 (6)4.2 (3)1.6 (1.0)1.5 (0.7)1.5 (0.7)1.7 (0.8)15/15

Δ fopt
f8, 2-D		 1e1
5.0		 1e0
12		 1e-1
37		 1e-2
46		 1e-3
86		 1e-5
94		 1e-7
112		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 6.6 (5)13 (17)9.1 (7)9.1 (6)5.3 (3)5.7 (3)5.3 (2)15/15
BIPOP-saACM-k loshchilov 4.6 (4)9.4 (11)5.5 (5)5.7 (4)3.3 (2)3.4 (2)3.0 (2)15/15
CGA-grid100 holtschulte 6.2 (6)27 (34)57 (23)510 (729)1218 (1466)∞∞1e50/15
CGA-grid16 holtschulte 11 (12)33 (25)67 (80)452 (500)1163 (1297)∞∞1e50/15
CGA-ring100 holtschulte 8.9 (8)27 (20)50 (40)176 (154)383 (315)2758 (2419)∞1e50/15
CGA-ring16 holtschulte 9.1 (10)17 (17)45 (38)197 (168)568 (878)1.5e4 (2e4)∞1e50/15
CMAES Hutter hutter 10 (6)9.1 (10)11 (12)15 (17)12 (11)∞∞2060/15
DE Pal pal 7.3 (7)12 (12)10 (6)12 (7)9.0 (2)11 (2)12 (2)15/15
GA-100 holtschulte 8.1 (9)17 (20)30 (25)102 (85)326 (290)7563 (6649)∞1e50/15
HCMA loshchilov 2.1 (0.8)7.2 (8)7.1 (5)7.6 (3)4.4 (2)4.4 (2)3.8 (1)15/15
HILL holtschulte 10 (10)43 (85)43 (57)456 (773)1368 (1825)∞∞1e50/15
HMLSL pal 2.6 (2)4.0 (3)1.9 (1)1.8 (1)1.0 (0.7)1.1 (0.5)0.95 (0.5)15/15
IP-10DDr liao 3.3 (3)6.2 (6)9.0 (4)9.4 (3)5.9 (1)6.3 (2)6.0 (1)15/15
IP-500 liao 3.3 (3)6.2 (6)9.0 (4)9.4 (3)5.9 (1)6.3 (2)6.0 (1)15/15
IPOP400D auger 3.7 (4)10 (15)8.3 (7)10 (5)5.9 (2)6.3 (2)5.8 (2)15/15
IP liao 3.3 (3)6.2 (6)9.0 (4)9.4 (3)5.9 (1)6.3 (2)6.0 (1)15/15
MEMPSODE voglis 13 (8)25 (24)22 (27)30 (18)19 (9)18 (8)16 (5)15/15
MLSL pal 2.6 (2)4.0 (3)1.9 (1)1.8 (1)1.0 (0.7)1.1 (0.5)0.95 (0.5)15/15
OQNLP pal 2.7 (2)2.9 (4)1.8 (2)1.8 (1)1.1 (0.7)1.1 (0.7)1.5 (0.7)14/15
P-DCN tran 14 (12)41 (37)46 (52)60 (69)46 (53)114 (84)1553 (1691)15/15
P-zero tran 51 (71)114 (241)58 (91)65 (90)46 (45)262 (378)3.7e4 (5e4)3/15
PRCGA sawyerr 5.1 (5)5.0 (3)50 (147)112 (195)99 (150)162 (147)193 (124)15/15
SMAC-BBOB hutter 2.7 (3)5.0 (6)24 (22)∞∞∞∞2000/15
U-DCN tran 10 (8)11 (9)37 (70)274 (348)2187 (4647)1.4e5 (2e5)∞2e60/15
U-zero tran 5.9 (5)16 (20)146 (330)1480 (2125)5645 (7599)6.8e4 (8e4)∞2e60/15
fmincon pal 2.6 (2)4.0 (3)1.9 (1)1.8 (1)1.0 (0.7)1.1 (0.5)0.95 (0.5)15/15
fminunc pal 1.9 (2)2.2 (3)1.5 (1)1.6 (0.9)0.95 (0.5)0.94 (0.5)0.83 (0.4)15/15
lmm-CMA-ES auger 2.7 (2)3.8 (3)2.5 (1)2.7 (1)1.6 (0.6)1.7 (0.6)1.5 (0.5)15/15
simplex pal 6.8 (7)5.2 (5)2.9 (2)2.8 (1)1.6 (0.8)1.7 (0.7)1.5 (0.6)15/15
tany liao 5.3 (4)6.0 (5)7.9 (2)8.8 (2)5.7 (0.8)5.9 (0.8)5.8 (0.9)15/15
texp liao 5.9 (4)3.5 (2)6.6 (5)8.9 (2)5.5 (0.8)6.0 (0.9)5.7 (0.9)15/15

Δ fopt
f9, 2-D		 1e1
1		 1e0
18		 1e-1
30		 1e-2
44		 1e-3
68		 1e-5
81		 1e-7
92		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 17 (18)7.2 (7)10 (7)9.0 (5)6.7 (4)6.5 (3)6.5 (3)15/15
BIPOP-saACM-k loshchilov 25 (22)5.3 (4)7.2 (5)6.8 (3)4.7 (2)4.2 (2)3.9 (2)15/15
CGA-grid100 holtschulte 59 (80)23 (22)86 (124)564 (801)2730 (2636)∞∞1e50/15
CGA-grid16 holtschulte 53 (50)15 (18)37 (51)441 (931)3595 (3653)∞∞1e50/15
CGA-ring100 holtschulte 30 (24)24 (14)60 (55)133 (113)403 (379)8402 (1e4)∞1e50/15
CGA-ring16 holtschulte 40 (26)10 (7)32 (28)246 (250)1163 (2039)∞∞1e50/15
CMAES Hutter hutter 24 (34)7.5 (6)9.5 (14)16 (13)22 (25)∞∞2060/15
DE Pal pal 37 (31)7.1 (6)9.1 (6)12 (6)10 (4)12 (3)13 (3)15/15
GA-100 holtschulte 34 (30)9.4 (10)22 (24)111 (189)542 (708)5475 (6128)∞1e50/15
HCMA loshchilov 18 (10)4.4 (6)6.7 (5)5.7 (3)4.2 (2)3.9 (2)3.6 (1)15/15
HILL holtschulte 36 (30)14 (11)70 (80)378 (470)1245 (1760)5657 (5916)∞1e50/15
HMLSL pal 1 (0)0.61 (0)↑00.77 (0)↑00.75 (0)↑00.60 (0.0)↑00.61 (0.0)↑00.61 (0.0)↑015/15
IP-10DDr liao 30 (17)6.1 (4)10 (9)10 (6)7.4 (4)7.1 (4)7.1 (3)15/15
IP-500 liao 30 (17)6.1 (4)10 (9)10 (6)7.4 (4)7.1 (4)7.1 (3)15/15
IPOP400D auger 1 (0)1.6 (1)6.5 (4)6.8 (2)5.2 (0.9)5.4 (1)5.5 (1.0)15/15
IP liao 30 (17)6.1 (4)10 (9)10 (6)7.4 (4)7.1 (4)7.1 (3)15/15
MEMPSODE voglis 54 (66)19 (31)20 (27)26 (20)22 (12)21 (9)19 (7)15/15
MLSL pal 1 (0)0.61 (0)↑00.77 (0)↑00.75 (0)↑00.60 (0.0)↑00.61 (0.0)↑00.61 (0.0)↑015/15
OQNLP pal 1 (0)0.53 (0.0)↑00.99 (0.0)0.88 (0.1)↑10.78 (0.1)↑00.78 (0.0)↑00.75 (0.0)↑015/15
P-DCN tran 31 (38)36 (88)79 (92)78 (77)60 (70)189 (140)1688 (2611)10/15
P-zero tran 21 (18)63 (108)84 (71)87 (56)72 (38)584 (777)1.2e4 (1e4)5/15
PRCGA sawyerr 30 (27)4.3 (3)62 (83)114 (151)104 (119)143 (148)170 (112)15/15
SMAC-BBOB hutter 1 (0)4.2 (4)23 (17)∞∞∞∞2000/15
U-DCN tran 18 (20)5.6 (6)47 (74)663 (941)3187 (3258)3.2e4 (6e4)3.1e5 (3e5)1/15
U-zero tran 22 (26)16 (17)145 (204)1945 (3589)7568 (1e4)4.4e4 (5e4)∞2e60/15
fmincon pal 1 (0)0.61 (0)↑00.77 (0)↑00.75 (0)↑00.60 (0.0)↑00.61 (0.0)↑00.61 (0.0)↑015/15
fminunc pal 1 (0)0.39 (0)★↑00.93 (0)↑00.95 (0.0)↑00.74 (0.1)↑00.73 (0.0)↑00.68 (0.0)↑015/15
lmm-CMA-ES auger 1 (0)2.2 (2)2.8 (2)2.7 (1)2.0 (0.8)1.9 (0.6)1.8 (0.6)15/15
simplex pal 1 (0)1.4 (0.0)2.3 (0.8)2.1 (0.3)1.6 (0.2)1.5 (0.2)1.5 (0.1)15/15
tany liao 20 (18)5.2 (4)7.9 (6)9.2 (2)6.7 (2)6.7 (2)6.9 (1)15/15
texp liao 14 (5)2.2 (2)8.0 (5)8.4 (4)6.3 (3)6.4 (2)6.3 (2)15/15

Δ fopt
f10, 2-D		 1e1
30		 1e0
46		 1e-1
54		 1e-2
61		 1e-3
68		 1e-5
82		 1e-7
98		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 7.9 (5)7.5 (3)7.2 (1)7.1 (1)6.7 (1)6.2 (0.7)5.8 (0.8)15/15
BIPOP-saACM-k loshchilov 3.8 (2)3.0 (0.9)2.7 (0.6)2.5 (0.5)2.5 (0.4)2.3 (0.3)2.2 (0.4)15/15
CGA-grid100 holtschulte 309 (507)2491 (2340)2.6e4 (2e4)∞∞∞∞1e50/15
CGA-grid16 holtschulte 45 (37)759 (1019)5871 (3948)2.4e4 (2e4)∞∞∞1e50/15
CGA-ring100 holtschulte 58 (71)208 (272)1697 (2006)4101 (4142)∞∞∞1e50/15
CGA-ring16 holtschulte 62 (60)268 (358)2856 (2875)7559 (7857)∞∞∞1e50/15
CMAES Hutter hutter 10 (6)12 (11)28 (31)∞∞∞∞2060/15
DE Pal pal 11 (4)11 (4)11 (3)12 (2)12 (3)14 (2)14 (2)15/15
GA-100 holtschulte 384 (720)1406 (1343)2900 (2583)2.4e4 (3e4)∞∞∞1e50/15
HCMA loshchilov 3.5 (2)3.7 (0.8)3.4 (0.6)3.2 (0.5)3.1 (0.6)2.9 (0.5)2.7 (0.4)15/15
HILL holtschulte 264 (430)687 (1143)4669 (4204)2.4e4 (3e4)∞∞∞1e50/15
HMLSL pal 0.70 (0.2)↑10.52 (0.2)↑00.50 (0.1)↑00.51 (0.1)↑01.2 (2)11 (23)27 (34)15/15
IP-10DDr liao 12 (8)11 (5)10 (4)10 (4)10 (1)8.7 (1)8.1 (0.7)15/15
IP-500 liao 12 (8)11 (5)10 (4)10 (4)10 (1)8.7 (1)8.1 (0.7)15/15
IPOP400D auger 6.0 (5)6.8 (4)7.8 (3)7.9 (1)7.4 (1)6.8 (0.9)6.3 (0.7)15/15
IP liao 12 (8)11 (5)10 (4)10 (4)10 (1)8.7 (1)8.1 (0.7)15/15
MEMPSODE voglis 22 (34)31 (22)29 (15)26 (12)25 (11)25 (14)29 (14)15/15
MLSL pal 0.70 (0.2)↑10.52 (0.2)↑00.50 (0.1)↑00.51 (0.1)↑00.99 (1)5.5 (5)91 (175)8/15
OQNLP pal 1.2 (0.7)1.5 (0.7)1.3 (0.7)2.4 (4)7.9 (10)17 (18)54 (65)5/15
P-DCN tran 390 (593)675 (888)840 (863)897 (669)1361 (1240)1.7e4 (2e4)1.3e5 (2e5)1/15
P-zero tran 382 (874)955 (1108)1282 (1164)1347 (1119)1530 (973)2.7e4 (3e4)3.1e5 (4e5)1/15
PRCGA sawyerr 88 (127)658 (1035)869 (1033)1351 (1495)1662 (1372)3181 (3555)5856 (5070)2/15
SMAC-BBOB hutter 1.3 (1)3.0 (3)53 (53)∞∞∞∞2000/15
U-DCN tran 162 (241)1287 (2239)5746 (9023)4.7e4 (6e4)2.1e5 (2e5)∞∞2e60/15
U-zero tran 267 (453)994 (1358)9883 (2e4)3.4e4 (4e4)1.2e5 (1e5)∞∞2e60/15
fmincon pal 0.70 (0.2)↑10.52 (0.2)↑00.50 (0.1)↑00.51 (0.1)↑01.0 (2)12 (29)120 (170)9/15
fminunc pal 1.1 (0.9)1.2 (0.8)1.3 (0.7)1.5 (0.6)1.5 (0.3)6.9 (8)153 (164)7/15
lmm-CMA-ES auger 2.4 (1)1.9 (0.9)1.9 (0.6)1.9 (0.3)1.8 (0.3)1.7 (0.2)1.5 (0.2)15/15
simplex pal 2.4 (2)2.3 (1)2.2 (0.6)2.1 (0.6)2.0 (0.4)1.9 (0.3)1.7 (0.3)15/15
tany liao 8.9 (8)8.8 (5)10 (0.7)10 (0.6)9.3 (0.9)8.7 (0.8)7.9 (0.5)15/15
texp liao 9.4 (6)11 (0.9)10 (0.9)9.1 (1)8.7 (0.8)8.0 (0.5)7.6 (0.7)15/15

Δ fopt
f11, 2-D		 1e1
35		 1e0
45		 1e-1
50		 1e-2
62		 1e-3
67		 1e-5
81		 1e-7
97		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 6.5 (4)7.6 (1)7.7 (1)6.7 (0.8)6.7 (0.8)6.1 (0.7)5.8 (0.6)15/15
BIPOP-saACM-k loshchilov 2.8 (1)2.8 (1.0)3.0 (0.6)2.6 (0.6)2.6 (0.6)2.4 (0.5)2.2 (0.4)15/15
CGA-grid100 holtschulte 87 (128)1227 (1383)6112 (9091)1.1e4 (1e4)∞∞∞1e50/15
CGA-grid16 holtschulte 97 (124)807 (996)5405 (6236)2.4e4 (3e4)∞∞∞1e50/15
CGA-ring100 holtschulte 37 (25)197 (216)1177 (1018)5381 (4294)2.2e4 (2e4)∞∞1e50/15
CGA-ring16 holtschulte 48 (46)557 (580)4830 (5500)7066 (9121)1.0e4 (1e4)∞∞1e50/15
CMAES Hutter hutter 5.2 (3)22 (18)20 (21)∞∞∞∞2060/15
DE Pal pal 8.9 (5)10 (3)10 (3)10 (4)12 (2)14 (1)14 (1)15/15
GA-100 holtschulte 28 (18)2325 (3023)8934 (8015)2.4e4 (2e4)∞∞∞1e50/15
HCMA loshchilov 2.6 (2)3.6 (0.7)3.7 (0.9)3.2 (0.6)3.1 (0.6)2.9 (0.5)2.6 (0.5)15/15
HILL holtschulte 125 (201)478 (622)2260 (3346)1.2e4 (9274)∞∞∞1e50/15
HMLSL pal 0.63 (0.4)0.57 (0.3)↑00.59 (0.2)↑10.54 (0.2)↑10.61 (0.3)↑011 (10)16 (14)15/15
IP-10DDr liao 8.1 (6)12 (1)12 (0.9)10 (0.6)10 (0.7)9.2 (0.5)8.3 (0.4)15/15
IP-500 liao 8.1 (6)12 (1)12 (0.9)10 (0.6)10 (0.7)9.2 (0.5)8.3 (0.4)15/15
IPOP400D auger 5.3 (4)8.2 (4)9.1 (2)8.0 (1)7.8 (1)7.3 (0.7)6.7 (1.0)15/15
IP liao 8.1 (6)12 (1)12 (0.9)10 (0.6)10 (0.7)9.2 (0.5)8.3 (0.4)15/15
MEMPSODE voglis 21 (29)38 (24)37 (16)30 (13)28 (12)29 (10)31 (6)15/15
MLSL pal 0.63 (0.4)0.57 (0.3)↑00.59 (0.2)↑10.54 (0.2)↑10.61 (0.3)↑08.8 (6)64 (145)9/15
OQNLP pal 1.3 (0.5)1.7 (1)2.8 (4)5.6 (5)10 (8)18 (15)51 (48)5/15
P-DCN tran 159 (242)410 (450)577 (511)568 (495)1149 (1018)1.3e4 (2e4)8.8e4 (1e5)2/15
P-zero tran 174 (512)680 (829)1102 (908)1164 (890)1698 (1250)1.5e4 (2e4)1.5e5 (2e5)0/15
PRCGA sawyerr 42 (86)330 (682)678 (801)1309 (1529)2422 (2807)4226 (6041)6044 (6863)2/15
SMAC-BBOB hutter 1.4 (1)4.7 (4)60 (60)∞∞∞∞2000/15
U-DCN tran 21 (18)709 (1148)9666 (8745)4.4e4 (8e4)2.0e5 (2e5)∞∞2e60/15
U-zero tran 104 (133)675 (384)1.1e4 (2e4)4.1e4 (4e4)4.2e5 (7e5)∞∞2e60/15
fmincon pal 0.63 (0.4)0.57 (0.3)↑00.59 (0.2)↑10.54 (0.2)↑10.61 (0.3)↑03.9 (3)73 (97)12/15
fminunc pal 0.80 (0.6)1.4 (0.8)1.6 (0.3)1.4 (0.4)1.7 (0.4)3.8 (4)61 (127)12/15
lmm-CMA-ES auger 2.0 (1)2.0 (1.0)2.2 (0.4)1.9 (0.3)1.8 (0.3)1.7 (0.3)1.6 (0.2)15/15
simplex pal 1.9 (0.9)2.5 (0.7)2.5 (0.2)2.1 (0.2)2.1 (0.2)1.9 (0.1)1.7 (0.1)15/15
tany liao 5.6 (7)10 (5)12 (1)10 (0.9)10 (1)8.9 (0.4)8.3 (0.6)15/15
texp liao 8.0 (6)11 (1)12 (1)10 (0.9)10 (1)9.0 (1)8.2 (0.8)15/15

Δ fopt
f12, 2-D		 1e1
35		 1e0
46		 1e-1
75		 1e-2
94		 1e-3
105		 1e-5
153		 1e-7
195		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 5.3 (5)8.7 (3)6.4 (1)5.6 (1)5.5 (1)4.5 (1)4.0 (1)15/15
BIPOP-saACM-k loshchilov 4.7 (2)5.3 (3)3.8 (3)4.3 (4)4.5 (5)4.0 (4)4.9 (5)15/15
CGA-grid100 holtschulte 89 (58)793 (1008)1314 (1492)2652 (3409)4534 (4774)∞∞1e50/15
CGA-grid16 holtschulte 109 (196)529 (579)1196 (1687)7196 (5981)1.4e4 (2e4)∞∞1e50/15
CGA-ring100 holtschulte 51 (38)178 (398)513 (526)1474 (2622)6702 (5987)∞∞1e50/15
CGA-ring16 holtschulte 38 (46)218 (197)1393 (1661)4403 (5053)1.3e4 (1e4)∞∞1e50/15
CMAES Hutter hutter 13 (11)21 (26)20 (19)32 (35)∞∞∞2060/15
DE Pal pal 7.5 (6)15 (12)14 (10)16 (10)16 (10)16 (12)16 (12)15/15
GA-100 holtschulte 30 (25)380 (493)865 (1512)1488 (2705)2139 (2913)∞∞1e50/15
HCMA loshchilov 3.4 (3)5.7 (5)5.8 (6)5.1 (5)5.1 (4)4.6 (6)4.3 (6)15/15
HILL holtschulte 80 (101)410 (526)1695 (3012)2679 (2630)6766 (1e4)∞∞1e50/15
HMLSL pal 0.84 (0.4)1.0 (0.9)1.00 (1)0.96 (2)0.98 (2)2.8 (2)16 (20)15/15
IP-10DDr liao 9.2 (7)14 (17)14 (12)14 (12)13 (12)11 (12)10 (11)15/15
IP-500 liao 9.2 (7)14 (17)14 (12)14 (12)13 (12)11 (12)10 (11)15/15
IPOP400D auger 6.2 (5)9.4 (6)8.0 (6)6.8 (5)7.2 (8)5.5 (5)4.7 (4)13/15
IP liao 9.2 (7)14 (17)14 (12)14 (12)13 (12)11 (12)10 (11)15/15
MEMPSODE voglis 21 (30)30 (23)21 (12)17 (10)16 (8)13 (4)13 (8)15/15
MLSL pal 0.84 (0.4)1.0 (0.9)1.00 (1)0.96 (2)0.98 (2)2.4 (2)17 (26)12/15
OQNLP pal 1.6 (1)2.5 (3)3.0 (4)3.9 (3)8.1 (9)22 (21)47 (54)4/15
P-DCN tran 73 (168)209 (368)207 (259)317 (259)479 (706)6372 (7269)2.9e4 (4e4)3/15
P-zero tran 62 (131)296 (321)434 (290)528 (424)714 (579)6518 (7837)7.0e4 (1e5)0/15
PRCGA sawyerr 32 (73)275 (442)514 (520)727 (1149)685 (848)496 (405)519 (450)8/15
SMAC-BBOB hutter 3.3 (2)6.8 (6)40 (45)∞∞∞∞2000/15
U-DCN tran 41 (33)439 (800)1067 (853)1.2e4 (3e4)1.9e4 (2e4)8.5e4 (1e5)1.4e5 (1e5)1/15
U-zero tran 73 (104)966 (1443)6644 (1e4)1.0e4 (1e4)2.3e4 (3e4)1.9e5 (2e5)∞2e60/15
fmincon pal 0.84 (0.4)1.0 (0.9)1.00 (1)0.96 (2)0.98 (2)1.4 (2)12 (7)12/15
fminunc pal 1.1 (0.9)1.7 (3)1.7 (2)1.7 (2)1.6 (2)1.9 (2)41 (135)12/15
lmm-CMA-ES auger 1.9 (1)3.6 (4)3.5 (3)3.4 (3)3.4 (3)3.2 (3)2.9 (2)14/15
simplex pal 2.4 (0.9)3.0 (2)2.3 (2)2.1 (2)2.0 (2)1.6 (1)1.4 (1)15/15
tany liao 9.4 (6)10 (5)8.2 (4)8.3 (4)8.0 (4)6.8 (6)6.1 (7)15/15
texp liao 6.9 (6)10 (6)9.4 (8)10 (11)10 (10)8.0 (8)7.4 (7)15/15

Δ fopt
f13, 2-D		 1e1
23		 1e0
35		 1e-1
46		 1e-2
60		 1e-3
71		 1e-5
95		 1e-7
122		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.8 (2)5.9 (3)5.8 (2)5.6 (1)5.5 (0.7)6.0 (1.0)5.7 (0.9)15/15
BIPOP-saACM-k loshchilov 3.2 (2)3.2 (0.9)3.2 (0.8)2.9 (0.8)2.8 (0.8)2.7 (0.6)2.7 (1.0)15/15
CGA-grid100 holtschulte 23 (21)157 (186)3656 (2893)2.4e4 (2e4)∞∞∞1e50/15
CGA-grid16 holtschulte 14 (24)158 (199)1186 (1148)1.1e4 (1e4)∞∞∞1e50/15
CGA-ring100 holtschulte 15 (17)93 (97)411 (197)2871 (3662)∞∞∞1e50/15
CGA-ring16 holtschulte 10 (7)177 (155)1499 (1590)5442 (7692)∞∞∞1e50/15
CMAES Hutter hutter 3.1 (2)5.5 (4)8.8 (7)51 (64)∞∞∞2060/15
DE Pal pal 4.8 (2)8.0 (3)10 (4)11 (2)13 (3)14 (4)15 (2)15/15
GA-100 holtschulte 10 (12)86 (123)831 (1105)2754 (2820)2.1e4 (2e4)∞∞1e50/15
HCMA loshchilov 2.9 (3)3.7 (0.9)3.6 (1)3.2 (0.8)3.3 (0.7)3.2 (0.7)3.0 (0.5)15/15
HILL holtschulte 13 (18)150 (283)1986 (1533)1.2e4 (9745)∞∞∞1e50/15
HMLSL pal 0.76 (0.3)0.72 (0.3)0.74 (0.2)↑10.73 (0.1)↑10.76 (0.2)29 (24)43 (5)15/15
IP-10DDr liao 4.3 (6)7.6 (7)10 (5)8.5 (4)9.3 (1.0)8.5 (0.7)9.1 (2)15/15
IP-500 liao 4.3 (6)7.6 (7)10 (5)8.5 (4)9.3 (1.0)8.5 (0.7)9.1 (2)15/15
IPOP400D auger 3.6 (3)6.8 (5)7.0 (3)6.9 (2)6.8 (2)7.4 (2)7.1 (2)15/15
IP liao 4.3 (6)7.6 (7)10 (5)8.5 (4)9.3 (1.0)8.5 (0.7)9.1 (2)15/15
MEMPSODE voglis 12 (19)26 (28)25 (21)21 (11)19 (10)15 (7)102 (16)15/15
MLSL pal 0.76 (0.3)0.72 (0.3)0.74 (0.2)↑10.73 (0.1)↑10.76 (0.2)380 (484)∞2e40/15
OQNLP pal 1.2 (0.6)1.1 (0.5)0.95 (0.3)1.3 (0.4)2.3 (2)10 (11)386 (334)0/15
P-DCN tran 20 (29)81 (104)159 (184)285 (232)950 (1076)5.9e4 (6e4)∞2e60/15
P-zero tran 37 (100)145 (243)221 (265)544 (592)2865 (3161)∞∞2e60/15
PRCGA sawyerr 33 (62)149 (174)726 (1310)827 (976)2076 (1955)1.7e4 (2e4)∞1e50/15
SMAC-BBOB hutter 1.5 (1)6.3 (6)∞∞∞∞∞2000/15
U-DCN tran 10 (10)322 (490)8278 (1e4)4.4e4 (4e4)8.8e4 (1e5)∞∞2e60/15
U-zero tran 10 (11)456 (1071)7861 (1e4)2.0e4 (3e4)2.0e5 (2e5)∞∞2e60/15
fmincon pal 0.76 (0.3)0.72 (0.3)0.74 (0.2)↑10.73 (0.1)↑10.76 (0.2)181 (153)∞2e40/15
fminunc pal 5.1 (5)12 (14)128 (248)382 (332)724 (646)∞∞2e40/15
lmm-CMA-ES auger 2.0 (2)3.1 (2)3.2 (2)2.9 (0.9)2.8 (0.7)2.9 (0.5)2.8 (0.5)15/15
simplex pal 4.0 (2)3.9 (2)3.5 (1.0)3.0 (0.8)2.7 (0.7)2.2 (0.5)2.0 (0.5)15/15
tany liao 5.8 (8)11 (6)10 (5)9.3 (2)8.9 (1)8.3 (0.7)9.1 (1)15/15
texp liao 7.3 (9)9.0 (6)9.2 (6)8.4 (3)8.9 (2)8.2 (1.0)7.9 (2)15/15

Δ fopt
f14, 2-D		 1e1
1		 1e0
7.0		 1e-1
16		 1e-2
24		 1e-3
38		 1e-5
67		 1e-7
90		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.3 (3)5.1 (6)5.1 (2)5.6 (3)6.0 (2)5.7 (0.8)6.3 (1)15/15
BIPOP-saACM-k loshchilov 3.7 (4)3.6 (4)3.8 (2)3.8 (1)3.2 (0.6)2.9 (0.4)2.9 (0.2)15/15
CGA-grid100 holtschulte 1.7 (0.5)3.4 (3)34 (40)73 (80)1022 (1316)∞∞1e50/15
CGA-grid16 holtschulte 1.8 (1)4.8 (9)14 (12)40 (25)1092 (1385)∞∞1e50/15
CGA-ring100 holtschulte 2.0 (1)4.4 (4)34 (25)88 (51)293 (245)∞∞1e50/15
CGA-ring16 holtschulte 2.9 (2)3.4 (4)12 (7)27 (20)942 (1510)2.2e4 (2e4)∞1e50/15
CMAES Hutter hutter 1.9 (2)2.7 (3)3.6 (2)4.6 (2)12 (9)46 (70)∞2060/15
DE Pal pal 2.4 (2)3.9 (4)7.0 (3)7.8 (2)8.4 (2)10 (3)13 (2)15/15
GA-100 holtschulte 2.9 (3)2.4 (2)30 (19)57 (31)161 (209)2.2e4 (2e4)∞1e50/15
HCMA loshchilov 3.2 (4)3.2 (6)3.1 (3)5.0 (4)4.2 (3)3.6 (0.8)3.3 (0.5)15/15
HILL holtschulte 5.3 (6)2.7 (2)3.9 (4)47 (72)695 (1387)∞∞1e50/15
HMLSL pal 2.7 (3)1.1 (0.9)1.0 (0.5)1.0 (0.4)0.93 (0.3)1.1 (0.2)21 (20)15/15
IP-10DDr liao 1.6 (1)2.0 (2)3.6 (2)4.3 (0.9)5.0 (2)7.4 (0.8)8.1 (0.7)15/15
IP-500 liao 1.6 (1)2.0 (2)3.6 (2)4.3 (0.9)5.0 (2)7.4 (0.8)8.1 (0.7)15/15
IPOP400D auger 1.1 (0)2.2 (2)3.0 (1)3.8 (2)4.0 (2)5.8 (2)6.9 (1)15/15
IP liao 1.6 (1)2.0 (2)3.6 (2)4.3 (0.9)5.0 (2)7.4 (0.8)8.1 (0.7)15/15
MEMPSODE voglis 3.3 (3)3.7 (3)5.5 (2)6.8 (4)11 (10)11 (6)17 (14)15/15
MLSL pal 2.7 (3)1.1 (0.9)1.0 (0.5)1.0 (0.4)0.93 (0.3)1.1 (0.2)382 (536)4/15
OQNLP pal 4.8 (6)2.2 (2)1.6 (0.8)1.4 (0.6)1.2 (0.3)2.0 (3)11 (12)5/15
P-DCN tran 2.0 (2)6.5 (7)7.8 (5)10 (6)12 (6)745 (970)3.0e4 (4e4)7/15
P-zero tran 2.0 (2)6.2 (9)6.5 (5)6.7 (4)11 (8)906 (1225)3.2e4 (3e4)1/15
PRCGA sawyerr 2.1 (2)2.4 (2)6.0 (4)13 (3)24 (36)199 (149)1047 (1337)7/15
SMAC-BBOB hutter 1.1 (0)1.9 (1)2.7 (1)4.4 (1)12 (14)∞∞2000/15
U-DCN tran 2.0 (2)3.2 (4)10 (9)87 (184)2038 (4094)8.9e4 (9e4)∞2e60/15
U-zero tran 2.0 (2)2.5 (2)12 (10)238 (440)4571 (6855)2.1e5 (2e5)∞2e60/15
fmincon pal 2.7 (3)1.1 (0.9)1.0 (0.5)1.0 (0.4)0.93 (0.3)1.1 (0.2)473 (588)1/15
fminunc pal 2.2 (2)1.8 (2)1.5 (1)1.4 (1)1.2 (0.6)1.0 (0.4)241 (288)5/15
lmm-CMA-ES auger 1.3 (0)1.9 (2)1.9 (0.6)2.1 (0.6)2.1 (0.5)2.1 (0.3)2.3 (0.4)15/15
simplex pal 11 (16)8.4 (6)4.8 (2)4.0 (1)2.9 (0.5)2.1 (0.3)1.8 (0.2)15/15
tany liao 2.3 (3)2.1 (2)3.3 (1)4.2 (0.8)5.9 (2)7.5 (0.8)7.8 (0.9)15/15
texp liao 4.1 (8)2.6 (2)2.7 (2)4.1 (2)5.4 (3)7.8 (0.9)7.8 (0.7)15/15

Δ fopt
f15, 2-D		 1e1
37		 1e0
291		 1e-1
1033		 1e-2
1066		 1e-3
1113		 1e-5
1231		 1e-7
1412		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.4 (2)2.6 (2)2.3 (3)2.9 (3)3.3 (5)3.1 (4)2.8 (4)15/15
BIPOP-saACM-k loshchilov 1.1 (0.7)1.3 (1)2.3 (4)2.3 (4)2.3 (4)2.1 (3)1.9 (3)15/15
CGA-grid100 holtschulte 2.7 (4)18 (16)42 (48)166 (302)607 (584)∞∞1e50/15
CGA-grid16 holtschulte 4.7 (5)13 (22)24 (26)42 (47)95 (116)1218 (1056)∞1e50/15
CGA-ring100 holtschulte 3.1 (5)11 (12)9.0 (4)38 (21)116 (116)1215 (1015)∞1e50/15
CGA-ring16 holtschulte 3.1 (2)25 (46)15 (23)31 (38)67 (70)1192 (1279)∞1e50/15
CMAES Hutter hutter 0.99 (0.8)2.5 (1)2.9 (5)∞∞∞∞2060/15
DE Pal pal 1.6 (1)2.2 (1)6.8 (19)6.8 (19)6.7 (18)6.2 (16)5.5 (14)13/15
GA-100 holtschulte 2.7 (3)9.3 (12)9.0 (10)48 (54)182 (207)∞∞1e50/15
HCMA loshchilov 1.1 (0.8)1.7 (1)1.7 (2)1.7 (2)1.7 (2)1.6 (2)1.4 (1)15/15
HILL holtschulte 2.6 (2)42 (44)19 (20)27 (23)67 (92)595 (689)∞1e50/15
HMLSL pal 3.0 (2)1.4 (1.0)5.2 (10)5.1 (10)4.9 (9)4.4 (8)3.9 (7)14/15
IP-10DDr liao 1.1 (0.7)2.8 (3)3.2 (4)3.4 (3)3.3 (3)3.1 (3)2.8 (3)15/15
IP-500 liao 1.1 (0.7)2.7 (3)2.8 (4)3.2 (3)3.1 (3)2.9 (3)2.7 (3)15/15
IPOP400D auger 0.95 (0.9)2.4 (3)1.6 (2)1.6 (1)1.5 (1)1.4 (1)1.3 (2)9/15
IP liao 1.1 (0.7)2.7 (3)2.8 (4)3.2 (3)3.1 (3)2.9 (3)2.7 (3)15/15
MEMPSODE voglis 1.6 (1)4.8 (5)6.6 (5)6.4 (5)6.4 (5)5.9 (4)6.3 (9)15/15
MLSL pal 2.6 (2)1.7 (2)2.0 (3)1.9 (3)1.8 (3)1.7 (2)1.4 (2)15/15
OQNLP pal 4.6 (4)1.3 (1)0.91 (0.4)0.89 (0.4)0.86 (0.3)0.79 (0.3)↑10.91 (0.9)14/15
P-DCN tran 5.8 (13)1279 (3437)1788 (1506)1733 (2467)1660 (1920)1504 (1024)1316 (1420)8/15
P-zero tran 4.9 (6)827 (2223)3455 (5491)3348 (3571)3209 (4037)2913 (4864)2568 (3628)5/15
PRCGA sawyerr 1.4 (1)2.8 (5)8.7 (9)8.9 (9)8.9 (8)9.2 (11)9.0 (9)15/15
SMAC-BBOB hutter 1.4 (1)1.9 (2)∞∞∞∞∞2000/15
U-DCN tran 2.0 (3)24 (30)71 (117)72 (113)85 (108)479 (570)5862 (6806)1/15
U-zero tran 1.4 (1)69 (115)43 (48)54 (51)100 (53)546 (880)1.0e4 (8392)1/15
fmincon pal 3.3 (2)1.6 (1)1.2 (1)1.2 (1)1.1 (1)1.0 (0.9)0.91 (0.8)15/15
fminunc pal 3.0 (2)1.5 (1)2.8 (3)2.8 (3)2.6 (3)2.4 (3)2.1 (2)15/15
lmm-CMA-ES auger 0.75 (0.5)1.2 (1)0.72 (0.7)0.82 (0.9)0.80 (0.7)0.74 (0.7)0.71 (0.8)12/15
simplex pal 4.8 (3)3.5 (3)4.3 (4)4.2 (4)4.0 (4)3.7 (4)3.2 (3)15/15
tany liao 0.92 (0.6)2.9 (3)2.6 (1)2.7 (1)2.7 (1)2.5 (1.0)2.3 (0.8)15/15
texp liao 1.1 (0.9)3.6 (4)4.0 (5)4.6 (6)4.5 (6)4.2 (6)3.7 (5)15/15

Δ fopt
f16, 2-D		 1e1
9.0		 1e0
50		 1e-1
174		 1e-2
326		 1e-3
358		 1e-5
409		 1e-7
538		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.8 (3)4.5 (10)3.9 (6)2.5 (4)2.6 (4)2.5 (3)2.1 (2)15/15
BIPOP-saACM-k loshchilov 3.1 (2)2.7 (2)1.6 (2)1.2 (1)1.2 (1.0)1.6 (1)1.5 (1)15/15
CGA-grid100 holtschulte 2.7 (4)2.3 (3)25 (28)244 (287)631 (781)3559 (2995)∞1e50/15
CGA-grid16 holtschulte 2.9 (4)11 (4)29 (26)97 (156)455 (698)∞∞1e50/15
CGA-ring100 holtschulte 3.7 (5)7.9 (9)21 (20)47 (46)147 (165)1058 (1374)∞1e50/15
CGA-ring16 holtschulte 2.7 (2)5.2 (4)15 (16)73 (173)322 (411)816 (697)2747 (2788)0/15
CMAES Hutter hutter 4.1 (5)3.1 (3)2.3 (2)4.6 (6)4.2 (3)∞∞2060/15
DE Pal pal 2.6 (4)5.8 (9)5.1 (5)5.2 (4)6.0 (3)6.0 (3)5.0 (2)15/15
GA-100 holtschulte 2.3 (2)4.4 (6)11 (7)146 (167)604 (575)3475 (4340)∞1e50/15
HCMA loshchilov 3.0 (2)7.3 (10)4.6 (4)2.9 (2)2.9 (2)2.9 (2)2.5 (2)15/15
HILL holtschulte 2.9 (3)10 (18)29 (43)76 (90)330 (530)∞∞1e50/15
HMLSL pal 8.1 (8)5.7 (7)5.4 (6)10 (9)31 (34)34 (31)29 (23)14/15
IP-10DDr liao 2.5 (2)3.1 (2)6.2 (9)4.7 (5)4.4 (4)4.1 (4)3.3 (3)15/15
IP-500 liao 2.5 (2)3.1 (2)6.2 (9)4.7 (5)4.4 (4)4.1 (4)3.3 (3)15/15
IPOP400D auger 2.7 (4)3.7 (3)4.0 (5)2.9 (4)3.0 (2)3.1 (4)2.8 (5)9/15
IP liao 2.5 (2)3.1 (2)6.2 (9)4.7 (5)4.4 (4)4.1 (4)3.3 (3)15/15
MEMPSODE voglis 3.8 (4)10 (11)8.8 (6)6.9 (4)6.4 (3)11 (15)11 (15)15/15
MLSL pal 9.2 (10)10 (10)7.0 (10)18 (19)108 (114)847 (1128)∞2e40/15
OQNLP pal 16 (15)12 (9)10 (13)13 (11)37 (37)∞∞37440/15
P-DCN tran 4.1 (3)2861 (13)1770 (5747)946 (3068)1400 (4191)1275 (2468)2560 (3717)9/15
P-zero tran 3.4 (3)4601 (1e4)1793 (5747)958 (3068)876 (2794)1047 (2557)8255 (1e4)3/15
PRCGA sawyerr 3.7 (5)8.7 (3)10 (11)10 (8)22 (41)28 (35)25 (41)15/15
SMAC-BBOB hutter 1.9 (3)1.9 (2)3.9 (6)∞∞∞∞2000/15
U-DCN tran 2.6 (3)3.4 (3)9.2 (16)28 (51)407 (708)1.4e4 (3e4)1.5e4 (2e4)3/15
U-zero tran 2.4 (4)4.2 (6)19 (18)123 (108)875 (1399)8867 (9652)∞2e60/15
fmincon pal 9.1 (8)7.3 (9)9.5 (12)15 (12)113 (128)422 (514)∞2e40/15
fminunc pal 13 (10)12 (17)20 (14)35 (22)112 (108)∞∞2e40/15
lmm-CMA-ES auger 2.4 (2)2.4 (4)1.9 (3)1.5 (2)1.5 (2)1.4 (1)1.1 (1)14/15
simplex pal 15 (4)5.8 (3)4.0 (6)2.8 (4)2.8 (4)3.1 (4)2.6 (4)15/15
tany liao 1.7 (2)2.8 (2)3.9 (3)2.4 (2)2.3 (2)2.3 (1)2.1 (2)15/15
texp liao 2.4 (2)6.6 (10)3.5 (4)2.9 (3)2.9 (3)2.8 (3)2.3 (2)15/15

Δ fopt
f17, 2-D		 1e1
3.0		 1e0
61		 1e-1
133		 1e-2
275		 1e-3
396		 1e-5
1086		 1e-7
1657		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.3 (2)2.0 (2)1.6 (0.8)1.2 (1.0)1.5 (1)1.3 (0.5)1.0 (0.1)15/15
BIPOP-saACM-k loshchilov 9.2 (7)1.7 (1)1.5 (0.8)1.2 (0.7)1.6 (1)1.7 (1)2.0 (2)15/15
CGA-grid100 holtschulte 1.7 (1)5.1 (4)50 (60)435 (413)1787 (1527)∞∞1e50/15
CGA-grid16 holtschulte 1.7 (2)3.8 (4)18 (30)194 (297)1791 (2020)∞∞1e50/15
CGA-ring100 holtschulte 2.6 (2)4.9 (5)26 (16)77 (47)1175 (1186)∞∞1e50/15
CGA-ring16 holtschulte 2.2 (2)2.1 (2)15 (14)115 (148)513 (637)∞∞1e50/15
CMAES Hutter hutter 2.8 (4)0.78 (0.5)1.1 (0.5)1.8 (2)∞∞∞2060/15
DE Pal pal 2.6 (3)1.6 (0.8)2.3 (0.8)1.7 (0.5)2.2 (0.4)1.4 (0.3)1.2 (0.2)15/15
GA-100 holtschulte 1.5 (1)3.2 (3)14 (9)254 (367)3679 (3283)∞∞1e50/15
HCMA loshchilov 2.2 (2)3.0 (4)2.4 (2)2.3 (2)2.3 (2)2.9 (1)2.7 (2)15/15
HILL holtschulte 3.6 (8)1.9 (1)15 (26)122 (134)659 (551)∞∞1e50/15
HMLSL pal 10 (15)17 (30)19 (13)15 (7)13 (7)9.4 (4)7.0 (3)14/15
IP-10DDr liao 2.1 (2)5.0 (7)3.3 (3)1.9 (2)1.8 (1)1.2 (0.5)0.95 (0.4)15/15
IP-500 liao 2.1 (2)5.0 (7)3.3 (3)1.9 (2)1.8 (1)1.2 (0.5)0.95 (0.4)15/15
IPOP400D auger 1.7 (2)1.7 (0.6)2.6 (3)1.8 (2)1.8 (1)1.5 (0.7)7.3 (15)0/15
IP liao 2.1 (2)5.0 (7)3.3 (3)1.9 (2)1.8 (1)1.2 (0.5)0.95 (0.4)15/15
MEMPSODE voglis 2.1 (2)2.3 (2)5.7 (12)7.5 (7)7.1 (8)8.1 (4)6.4 (6)15/15
MLSL pal 11 (15)58 (57)68 (76)307 (479)1199 (1076)∞∞3e40/15
OQNLP pal 22 (24)3.5 (0.9)7.0 (4)10 (4)70 (70)53 (65)∞39360/15
P-DCN tran 6.2 (5)9.1 (14)5.4 (6)4.2 (3)18 (20)2320 (2757)1534 (2725)6/15
P-zero tran 2.3 (2)27 (62)15 (29)10 (14)43 (76)6166 (7148)∞2e60/15
PRCGA sawyerr 1.4 (2)0.96 (1.0)4.1 (5)11 (17)10 (20)7.9 (10)6.0 (7)15/15
SMAC-BBOB hutter 1.3 (0.8)1.8 (2)22 (30)∞∞∞∞2000/15
U-DCN tran 2.6 (3)3.3 (4)36 (87)2896 (5688)3141 (3048)∞∞2e60/15
U-zero tran 2.3 (2)3.3 (3)15 (18)1164 (2884)3257 (5621)∞∞2e60/15
fmincon pal 10 (16)31 (40)89 (64)410 (425)∞∞∞3e40/15
fminunc pal 4.7 (5)4.8 (6)26 (32)236 (147)755 (1030)∞∞2e40/15
lmm-CMA-ES auger 2.3 (2)0.88 (0.5)1.1 (1)0.83 (0.5)0.78 (0.4)1.7 (2)1.3 (1)8/15
simplex pal 16 (16)4.1 (3)13 (10)48 (66)50 (61)284 (249)186 (204)1/15
tany liao 2.7 (4)0.70 (0.4)2.5 (3)1.7 (2)1.6 (1)1.4 (0.2)1.1 (0.5)15/15
texp liao 26 (62)3.7 (5)6.0 (6)3.2 (3)2.9 (2)1.7 (1)1.3 (0.7)15/15

Δ fopt
f18, 2-D		 1e1
19		 1e0
134		 1e-1
666		 1e-2
1249		 1e-3
1708		 1e-5
2438		 1e-7
2858		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.9 (2)3.3 (3)1.5 (2)1.2 (0.9)0.99 (0.6)1.1 (0.7)1.3 (1)15/15
BIPOP-saACM-k loshchilov 4.4 (1)4.5 (4)1.6 (2)1.0 (1)1.0 (0.8)1.2 (0.6)1.2 (0.7)15/15
CGA-grid100 holtschulte 2.9 (5)17 (19)118 (136)569 (932)855 (907)∞∞1e50/15
CGA-grid16 holtschulte 2.2 (4)16 (24)84 (78)∞∞∞∞1e50/15
CGA-ring100 holtschulte 4.1 (6)11 (12)31 (22)204 (158)∞∞∞1e50/15
CGA-ring16 holtschulte 3.0 (3)8.0 (13)96 (108)345 (507)∞∞∞1e50/15
CMAES Hutter hutter 1.4 (1)1.5 (1)1.5 (2)∞∞∞∞2060/15
DE Pal pal 1.9 (2)1.9 (1)5.2 (0.3)3.2 (0.2)2.6 (0.2)2.2 (0.2)2.2 (0.2)14/15
GA-100 holtschulte 2.1 (3)8.7 (9)71 (98)250 (158)872 (688)∞∞1e50/15
HCMA loshchilov 1.5 (1)3.1 (2)1.3 (1)1.2 (0.9)1.2 (0.9)1.8 (2)2.0 (1)15/15
HILL holtschulte 2.2 (2)17 (24)59 (81)1135 (881)∞∞∞1e50/15
HMLSL pal 15 (17)29 (37)10 (6)7.2 (6)6.1 (5)8.2 (9)7.7 (9)13/15
IP-10DDr liao 1.4 (1)7.1 (8)3.3 (1)1.9 (0.7)1.6 (0.5)1.3 (0.4)1.4 (0.7)15/15
IP-500 liao 1.4 (1)7.1 (8)3.1 (1)1.8 (0.7)1.5 (0.5)1.3 (0.4)1.4 (0.5)15/15
IPOP400D auger 1.9 (2)5.1 (6)2.7 (3)1.5 (2)1.4 (1)3.0 (3)4.0 (6)2/15
IP liao 1.4 (1)7.1 (8)3.1 (1)1.8 (0.7)1.5 (0.5)1.3 (0.4)1.4 (0.5)15/15
MEMPSODE voglis 4.5 (2)18 (19)8.1 (5)6.8 (3)6.6 (2)6.3 (3)7.6 (5)15/15
MLSL pal 16 (23)35 (42)53 (51)214 (194)∞∞∞4e40/15
OQNLP pal 7.9 (6)4.0 (3)3.2 (3)22 (17)∞∞∞40650/15
P-DCN tran 6.5 (9)228 (133)49 (30)32 (16)131 (249)3540 (3486)1.0e4 (1e4)1/15
P-zero tran 4.1 (6)2071 (3983)421 (805)250 (447)769 (856)∞∞2e60/15
PRCGA sawyerr 1.7 (1)14 (25)7.6 (8)15 (16)19 (26)33 (40)31 (34)7/15
SMAC-BBOB hutter 1.2 (1)3.7 (3)∞∞∞∞∞2000/15
U-DCN tran 2.3 (2)24 (13)252 (274)3494 (4438)7796 (8752)∞∞2e60/15
U-zero tran 2.8 (3)29 (25)204 (253)7009 (1e4)∞∞∞2e60/15
fmincon pal 22 (9)33 (34)48 (40)406 (447)∞∞∞4e40/15
fminunc pal 4.2 (3)13 (9)22 (28)∞∞∞∞2e40/15
lmm-CMA-ES auger 1.8 (0.8)2.6 (4)1.1 (1.0)0.80 (0.7)0.87 (0.7)1.1 (0.7)0.97 (0.5)8/15
simplex pal 7.2 (3)4.7 (2)6.4 (6)34 (45)25 (35)65 (90)55 (53)2/15
tany liao 1.7 (1)6.7 (8)2.9 (2)1.9 (1)1.5 (0.8)1.3 (0.7)1.3 (0.6)15/15
texp liao 7.8 (19)8.8 (7)2.7 (1)1.9 (2)1.5 (2)1.4 (1)1.6 (1)15/15

Δ fopt
f19, 2-D		 1e1
1		 1e0
1		 1e-1
26		 1e-2
216		 1e-3
227		 1e-5
252		 1e-7
276		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 5.8 (5)26 (22)9.0 (11)18 (27)22 (27)31 (30)29 (28)15/15
BIPOP-saACM-k loshchilov 4.1 (4)21 (20)4.6 (8)13 (18)16 (21)17 (19)15 (17)15/15
CGA-grid100 holtschulte 3.9 (4)67 (129)22 (21)22 (17)49 (95)581 (669)5166 (4620)0/15
CGA-grid16 holtschulte 3.7 (5)42 (38)11 (12)24 (53)61 (54)360 (362)5126 (3986)1/15
CGA-ring100 holtschulte 4.1 (4)28 (38)19 (21)19 (18)38 (40)440 (397)1179 (891)0/15
CGA-ring16 holtschulte 6.7 (6)51 (36)13 (12)20 (24)33 (36)428 (465)1644 (1144)1/15
CMAES Hutter hutter 4.3 (4)53 (94)11 (15)14 (16)13 (17)∞∞2060/15
DE Pal pal 5.5 (5)47 (48)8.5 (7)71 (186)70 (92)67 (81)62 (74)11/15
GA-100 holtschulte 6.5 (8)40 (38)15 (13)20 (15)56 (58)358 (340)∞1e50/15
HCMA loshchilov 5.5 (3)45 (42)10 (13)17 (24)22 (22)22 (20)21 (18)15/15
HILL holtschulte 12 (10)36 (18)10 (8)32 (40)50 (66)387 (250)1717 (2351)0/15
HMLSL pal 1 (0)1 (0)0.65 (0)↑00.15 (0)↑00.18 (0)↑00.23 (0)↑00.28 (0.0)↑015/15
IP-10DDr liao 4.1 (4)24 (26)13 (32)15 (25)16 (24)26 (26)24 (24)15/15
IP-500 liao 4.1 (4)24 (26)13 (32)16 (21)17 (19)18 (27)17 (27)15/15
IPOP400D auger 1 (0)1 (0)3.4 (3)13 (22)16 (17)15 (10)14 (16)5/15
IP liao 4.1 (4)24 (26)13 (32)16 (21)17 (19)18 (27)17 (27)15/15
MEMPSODE voglis 7.6 (5)40 (33)14 (11)47 (106)46 (101)50 (90)49 (81)15/15
MLSL pal 1 (0)1 (0)0.65 (0)↑00.15 (0)↑00.18 (0)↑00.23 (0)↑00.28 (0.0)↑015/15
OQNLP pal 1 (0)1 (0)0.46 (0)↑08.7 (8)8.3 (8)7.5 (8)7.0 (8)11/15
P-DCN tran 4.5 (2)42 (28)11 (10)6.0e4 (7e4)5.7e4 (9e4)5.2e4 (6e4)4.7e4 (5e4)2/15
P-zero tran 4.5 (2)27 (29)10 (17)1.3e5 (2e5)1.2e5 (1e5)1.1e5 (1e5)1.0e5 (1e5)1/15
PRCGA sawyerr 3.2 (4)30 (34)3.0 (3)11 (14)13 (19)23 (22)37 (33)15/15
SMAC-BBOB hutter 1 (0)1 (0)6.6 (6)6.5 (9)∞∞∞2000/15
U-DCN tran 4.6 (2)33 (39)12 (14)53 (69)156 (196)560 (766)1.0e4 (2e4)2/15
U-zero tran 4.5 (2)36 (42)11 (12)117 (134)213 (238)2214 (2742)1.0e5 (2e5)0/15
fmincon pal 1 (0)1 (0)0.65 (0)↑00.15 (0)↑00.18 (0)↑00.23 (0)↑00.28 (0.0)↑015/15
fminunc pal 1 (0)1 (0)0.56 (0.1)↑08.9 (10)8.6 (10)7.8 (9)7.2 (8)15/15
lmm-CMA-ES auger 1 (0)1 (0)5.2 (10)6.1 (6)6.7 (7)6.9 (8)7.2 (10)8/15
simplex pal 1 (0)1 (0)0.34 (0.0)★↑09.2 (9)8.8 (9)8.1 (8)7.4 (7)15/15
tany liao 2.8 (2)19 (15)28 (26)26 (35)30 (41)28 (36)26 (32)15/15
texp liao 3.6 (4)15 (13)21 (26)12 (12)15 (18)15 (16)14 (14)15/15

Δ fopt
f20, 2-D		 1e1
4.0		 1e0
61		 1e-1
365		 1e-2
366		 1e-3
366		 1e-5
370		 1e-7
375		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.9 (4)11 (24)10 (10)10 (11)12 (10)12 (10)12 (10)15/15
BIPOP-saACM-k loshchilov 2.1 (2)6.0 (5)5.5 (6)6.2 (6)8.0 (10)8.0 (10)7.9 (9)15/15
CGA-grid100 holtschulte 2.7 (2)19 (17)37 (68)162 (296)566 (431)∞∞1e50/15
CGA-grid16 holtschulte 1.9 (2)7.3 (5)34 (48)81 (156)105 (150)951 (1231)∞1e50/15
CGA-ring100 holtschulte 1.9 (2)16 (11)7.6 (7)21 (18)67 (28)464 (342)∞1e50/15
CGA-ring16 holtschulte 4.0 (5)5.3 (4)3.7 (2)8.2 (6)26 (21)245 (218)3993 (3467)0/15
CMAES Hutter hutter 2.0 (3)4.6 (7)3.9 (5)4.0 (5)4.1 (6)8.3 (9)∞2060/15
DE Pal pal 2.8 (3)51 (4)74 (83)75 (110)75 (109)75 (108)74 (107)9/15
GA-100 holtschulte 2.0 (2)8.2 (5)5.5 (3)14 (11)63 (46)1254 (1081)∞1e50/15
HCMA loshchilov 1.6 (1)6.1 (4)8.9 (8)10 (8)12 (24)12 (24)13 (23)15/15
HILL holtschulte 5.0 (6)6.3 (6)33 (55)37 (57)55 (69)309 (215)3956 (2600)0/15
HMLSL pal 2.0 (0)5.5 (3)1.7 (2)2.0 (2)2.0 (2)2.0 (2)2.0 (2)15/15
IP-10DDr liao 2.9 (3)17 (45)21 (15)21 (15)21 (14)21 (14)21 (14)15/15
IP-500 liao 2.9 (3)13 (30)14 (6)15 (6)20 (8)22 (9)22 (9)15/15
IPOP400D auger 1.8 (2)18 (20)29 (41)62 (68)62 (60)62 (101)61 (65)1/15
IP liao 2.9 (3)13 (30)14 (6)15 (6)20 (8)22 (9)22 (9)15/15
MEMPSODE voglis 3.6 (2)8.5 (14)2.8 (3)2.9 (3)3.1 (3)3.3 (3)4.7 (4)15/15
MLSL pal 2.0 (0)6.4 (3)2.8 (3)2.8 (3)2.8 (3)2.8 (3)2.8 (3)15/15
OQNLP pal 3.2 (0)12 (8)4.0 (2)4.0 (2)4.0 (2)4.0 (2)4.0 (2)15/15
P-DCN tran 4.2 (4)2.0e4 (3e4)6880 (1e4)6861 (1e4)6862 (9563)6791 (5598)6706 (7999)7/15
P-zero tran 4.7 (5)4.9e4 (7e4)8241 (8230)8218 (1e4)8218 (1e4)8145 (1e4)8111 (1e4)6/15
PRCGA sawyerr 1.6 (2)17 (16)23 (39)24 (39)25 (39)28 (42)31 (39)15/15
SMAC-BBOB hutter 0.98 (0.8)2.7 (3)∞∞∞∞∞2000/15
U-DCN tran 1.8 (1)5.8 (6)3.6 (3)5.8 (7)13 (14)44 (70)1085 (902)3/15
U-zero tran 2.5 (2)13 (21)14 (16)23 (34)44 (20)283 (111)1.2e4 (1e4)5/15
fmincon pal 2.0 (0)4.7 (3)2.5 (3)2.5 (3)2.5 (3)2.5 (3)2.5 (2)15/15
fminunc pal 1.8 (0)7.8 (7)2.7 (2)2.7 (2)2.8 (2)2.7 (2)2.7 (2)15/15
lmm-CMA-ES auger 1.9 (2)14 (17)14 (16)15 (13)15 (13)15 (18)15 (11)4/15
simplex pal 8.3 (0.1)14 (11)4.7 (5)4.7 (5)4.8 (5)4.7 (5)4.7 (4)15/15
tany liao 1.1 (1)19 (28)15 (14)16 (14)16 (14)17 (14)17 (14)15/15
texp liao 2.2 (2)20 (29)11 (15)18 (33)23 (33)23 (33)23 (32)15/15

Δ fopt
f21, 2-D		 1e1
2.0		 1e0
51		 1e-1
174		 1e-2
276		 1e-3
290		 1e-5
324		 1e-7
330		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.3 (0.8)4.8 (6)6.4 (11)4.1 (7)6.3 (7)5.8 (6)5.9 (6)15/15
BIPOP-saACM-k loshchilov 1.2 (2)7.6 (11)5.2 (8)3.5 (5)3.4 (5)3.2 (4)3.2 (4)15/15
CGA-grid100 holtschulte 0.93 (0.8)1.2 (1)2.0 (2)4.4 (5)7.1 (6)46 (54)173 (213)9/15
CGA-grid16 holtschulte 0.90 (0.5)1.4 (1)13 (15)10 (21)14 (33)38 (54)91 (119)13/15
CGA-ring100 holtschulte 1.5 (0.8)1.3 (1)1.7 (2)2.2 (3)3.9 (4)15 (12)80 (62)14/15
CGA-ring16 holtschulte 0.93 (0.8)3.1 (5)1.8 (2)2.1 (2)3.2 (4)14 (17)55 (79)13/15
CMAES Hutter hutter 1.0 (1)2.0 (2)0.99 (1)1.4 (1)1.4 (1)2.1 (2)2.9 (2)3/15
DE Pal pal 1.7 (2)1.6 (2)58 (115)37 (73)36 (69)32 (93)32 (61)12/15
GA-100 holtschulte 0.83 (0.5)1.8 (3)1.6 (2)2.0 (2)3.5 (4)14 (11)32 (20)15/15
HCMA loshchilov 1.7 (2)3.7 (4)5.8 (9)3.8 (6)6.1 (10)7.4 (10)7.4 (9)15/15
HILL holtschulte 1.4 (2)11 (15)98 (289)62 (182)59 (174)59 (165)107 (151)12/15
HMLSL pal 1.9 (2)2.1 (3)1.4 (2)0.94 (1.0)1.0 (0.9)0.97 (0.8)1.0 (0.8)15/15
IP-10DDr liao 2.2 (2)7.3 (8)12 (16)13 (17)14 (15)17 (15)16 (14)15/15
IP-500 liao 2.2 (2)7.3 (8)13 (25)13 (18)41 (58)126 (176)557 (632)13/15
IPOP400D auger 1.2 (2)6.3 (8)3.7 (5)2.5 (3)2.4 (4)2.3 (3)2.4 (3)12/15
IP liao 2.2 (2)7.3 (8)13 (25)13 (18)74 (99)126 (371)570 (524)14/15
MEMPSODE voglis 1.6 (2)1.7 (2)1.8 (3)1.3 (2)1.4 (2)1.4 (1)2.1 (3)15/15
MLSL pal 1.9 (2)1.4 (1)1.1 (1)0.68 (0.9)0.69 (0.9)0.68 (0.8)0.75 (0.8)15/15
OQNLP pal 3.6 (5)2.0 (2)0.97 (0.8)0.70 (0.5)0.76 (0.5)0.74 (0.5)0.85 (0.7)15/15
P-DCN tran 1.1 (1)3.4e4 (4e4)1.3e4 (2e4)8282 (1e4)7882 (2e4)7056 (1e4)6928 (9091)7/15
P-zero tran 1.1 (1)4.5e4 (5e4)1.3e4 (2e4)8360 (1e4)7956 (1e4)7122 (9376)6993 (1e4)7/15
PRCGA sawyerr 1.4 (1)6.9 (3)9.0 (12)6.0 (7)6.5 (7)7.1 (12)9.3 (13)15/15
SMAC-BBOB hutter 0.77 (0.8)1.2 (0.9)0.49 (0.4)↑00.49 (0.5)0.79 (0.8)8.9 (12)∞2000/15
U-DCN tran 1.1 (1)0.56 (0.5)0.49 (0.6)1.4 (2)2.6 (4)12 (16)35 (39)15/15
U-zero tran 1.1 (1)0.73 (2)1.5 (2)3.6 (5)8.3 (9)23 (24)132 (199)15/15
fmincon pal 1.9 (2)1.4 (1)0.78 (0.7)0.60 (0.5)0.59 (0.4)↑10.58 (0.3)↑10.65 (0.4)15/15
fminunc pal 2.5 (2)1.4 (0.8)0.62 (0.3)↑00.44 (0.2)↑00.53 (0.2)↑00.54 (0.2)↑00.59 (0.2)↑015/15
lmm-CMA-ES auger 0.83 (0.8)1.5 (2)2.7 (5)1.8 (3)1.7 (3)1.8 (3)1.8 (3)12/15
simplex pal 13 (19)3.3 (2)1.3 (0.8)0.84 (0.5)0.82 (0.5)0.77 (0.4)0.78 (0.4)15/15
tany liao 1.8 (2)10 (11)10 (11)12 (16)13 (18)12 (16)12 (16)15/15
texp liao 2.2 (2)14 (30)18 (25)12 (16)11 (15)10 (13)10 (13)15/15

Δ fopt
f22, 2-D		 1e1
5.0		 1e0
27		 1e-1
168		 1e-2
218		 1e-3
249		 1e-5
289		 1e-7
306		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.2 (2)5.8 (10)4.3 (4)3.5 (3)3.3 (3)3.3 (2)3.2 (2)15/15
BIPOP-saACM-k loshchilov 1.9 (3)9.1 (22)5.9 (9)5.6 (7)5.4 (6)5.5 (5)5.2 (5)15/15
CGA-grid100 holtschulte 0.92 (0.6)2.2 (2)2.8 (3)8.8 (13)21 (22)77 (68)393 (512)5/15
CGA-grid16 holtschulte 1.2 (0.9)3.7 (4)2.0 (2)4.5 (5)10 (15)33 (41)281 (303)8/15
CGA-ring100 holtschulte 1.1 (0.9)2.9 (4)2.4 (3)4.3 (4)8.4 (7)43 (30)104 (69)10/15
CGA-ring16 holtschulte 1.4 (0.8)5.5 (9)3.3 (3)4.5 (4)6.9 (5)41 (41)280 (264)6/15
CMAES Hutter hutter 1.5 (2)7.9 (6)3.6 (4)14 (8)12 (13)10 (7)10 (16)0/15
DE Pal pal 1.3 (2)3.7 (4)18 (2)14 (1)13 (1)12 (1)12 (1)14/15
GA-100 holtschulte 1.3 (2)3.0 (4)2.3 (3)7.5 (8)15 (11)74 (126)178 (231)9/15
HCMA loshchilov 2.2 (2)4.4 (6)3.5 (5)3.2 (4)3.3 (3)3.0 (3)2.9 (2)15/15
HILL holtschulte 1.6 (2)271 (11)45 (3)36 (3)35 (14)66 (73)350 (423)5/15
HMLSL pal 2.9 (1)3.7 (3)1.2 (0.8)0.99 (0.6)0.93 (0.5)0.91 (0.5)0.93 (0.4)15/15
IP-10DDr liao 1.3 (0.9)11 (13)10 (12)23 (14)22 (13)33 (93)31 (88)15/15
IP-500 liao 1.3 (0.9)11 (13)8.5 (10)10 (14)13 (15)402 (83)492 (78)13/15
IPOP400D auger 1.2 (1)8.1 (13)3.3 (4)4.9 (5)4.3 (6)4.4 (4)4.3 (5)10/15
IP liao 1.3 (0.9)11 (13)8.5 (10)10 (14)13 (15)265 (701)1021 (3270)13/15
MEMPSODE voglis 1.8 (2)2.8 (2)2.3 (3)2.9 (3)2.9 (3)5.2 (6)10 (9)15/15
MLSL pal 2.8 (1)2.8 (3)0.96 (0.8)0.81 (0.6)0.76 (0.5)0.73 (0.5)0.78 (0.5)15/15
OQNLP pal 3.4 (2)4.2 (4)1.4 (0.8)1.2 (0.5)1.1 (0.4)1.0 (0.3)1.3 (0.5)14/15
P-DCN tran 2.0 (2)1.2e4 (4e4)1.1e4 (1e4)8112 (1e4)7103 (1e4)6122 (1e4)5786 (6628)8/15
P-zero tran 1.9 (1)1.4e4 (4e4)1.1e4 (1e4)8619 (9177)7547 (1e4)6505 (8652)6146 (1e4)8/15
PRCGA sawyerr 0.89 (1)1.9 (2)4.3 (8)13 (14)20 (16)27 (27)41 (73)15/15
SMAC-BBOB hutter 1.5 (2)1.1 (1)0.91 (1.0)0.91 (0.7)1.3 (1)10 (11)∞2000/15
U-DCN tran 1.3 (2)3.1 (3)1.3 (2)2.3 (2)8.1 (11)29 (33)272 (228)14/15
U-zero tran 1.2 (2)3.8 (5)2.4 (2)5.3 (6)13 (22)61 (100)695 (1496)13/15
fmincon pal 2.9 (1)3.8 (3)0.87 (0.7)0.70 (0.5)0.67 (0.4)0.66 (0.4)↑00.71 (0.3)↑115/15
fminunc pal 2.3 (0.9)2.9 (3)0.88 (0.7)0.76 (0.5)0.77 (0.4)0.74 (0.3)0.77 (0.4)15/15
lmm-CMA-ES auger 1.5 (2)3.7 (5)2.5 (4)3.2 (5)3.1 (4)3.0 (3)2.9 (3)12/15
simplex pal 12 (14)7.0 (4)1.5 (0.7)1.2 (0.5)1.1 (0.4)1.00 (0.4)0.98 (0.3)15/15
tany liao 1.5 (2)3.1 (8)5.9 (7)9.1 (21)36 (22)33 (19)31 (18)15/15
texp liao 2.3 (3)21 (33)11 (16)9.2 (13)10 (16)8.9 (14)9.0 (13)15/15

Δ fopt
f23, 2-D		 1e1
8.0		 1e0
193		 1e-1
234		 1e-2
263		 1e-3
299		 1e-5
348		 1e-7
379		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.7 (2)7.1 (9)13 (12)20 (17)18 (15)17 (13)16 (12)15/15
BIPOP-saACM-k loshchilov 1.9 (2)5.7 (11)11 (11)11 (11)11 (10)12 (12)12 (17)15/15
CGA-grid100 holtschulte 2.4 (3)10 (13)772 (753)∞∞∞∞1e50/15
CGA-grid16 holtschulte 1.6 (1)13 (14)3015 (2828)∞∞∞∞1e50/15
CGA-ring100 holtschulte 2.2 (2)11 (14)3065 (3632)∞∞∞∞1e50/15
CGA-ring16 holtschulte 1.9 (2)13 (14)1405 (1566)∞∞∞∞1e50/15
CMAES Hutter hutter 1.9 (2)15 (10)∞∞∞∞∞2060/15
DE Pal pal 2.3 (2)3.8 (3)11 (4)14 (4)15 (3)16 (4)16 (4)15/15
GA-100 holtschulte 1.6 (2)17 (29)3047 (4572)∞∞∞∞1e50/15
HCMA loshchilov 2.4 (2)7.0 (6)14 (8)13 (7)11 (6)10 (5)10 (5)15/15
HILL holtschulte 3.3 (3)13 (24)1044 (1099)∞∞∞∞1e50/15
HMLSL pal 4.4 (8)1.7 (1)2.2 (1)2.2 (2)2.2 (1)35 (25)49 (11)15/15
IP-10DDr liao 1.7 (2)6.7 (11)14 (20)13 (18)12 (16)11 (14)10 (13)15/15
IP-500 liao 1.7 (2)6.7 (11)14 (20)13 (18)12 (16)11 (14)10 (13)15/15
IPOP400D auger 2.2 (2)14 (18)23 (16)21 (18)25 (26)32 (39)30 (17)2/15
IP liao 1.7 (2)6.7 (11)14 (20)13 (18)12 (16)11 (14)10 (13)15/15
MEMPSODE voglis 1.6 (2)4.7 (8)14 (16)14 (14)13 (11)18 (25)18 (23)15/15
MLSL pal 4.4 (8)1.5 (1)1.9 (1)2.4 (1)2.6 (2)90 (92)∞3e40/15
OQNLP pal 8.9 (11)2.7 (1)5.1 (5)12 (12)87 (104)∞∞62970/15
P-DCN tran 1.7 (2)4.1 (3)53 (51)3382 (5223)7037 (1e4)7802 (1e4)3.6e4 (5e4)1/15
P-zero tran 1.1 (0.8)6.9 (11)312 (425)5464 (7573)2.2e4 (2e4)∞∞2e60/15
PRCGA sawyerr 2.4 (3)5.4 (5)30 (32)60 (55)65 (66)75 (62)100 (86)14/15
SMAC-BBOB hutter 1.9 (2)15 (13)∞∞∞∞∞2000/15
U-DCN tran 1.6 (2)10 (8)920 (1505)2.4e4 (2e4)∞∞∞2e60/15
U-zero tran 1.7 (2)13 (22)2381 (2381)3.4e4 (2e4)∞∞∞2e60/15
fmincon pal 4.4 (8)2.0 (3)3.3 (4)3.6 (4)4.0 (3)85 (115)∞3e40/15
fminunc pal 5.0 (7)3.9 (5)37 (57)287 (343)571 (662)∞∞2e40/15
lmm-CMA-ES auger 2.1 (2)3.0 (2)4.0 (4)3.6 (5)3.3 (3)3.0 (3)2.9 (2)12/15
simplex pal 22 (18)1.7 (1)1.5 (0.8)1.4 (0.7)1.3 (0.6)1.2 (0.5)1.2 (0.5)15/15
tany liao 2.3 (2)6.7 (11)13 (15)12 (14)11 (12)10 (10)11 (13)15/15
texp liao 2.0 (1)5.2 (6)18 (23)17 (21)15 (18)14 (16)14 (15)15/15

Δ fopt
f24, 2-D		 1e1
18		 1e0
857		 1e-1
8515		 1e-2
23399		 1e-3
24113		 1e-5
24721		 1e-7
24721		 #succ
5/15
BIPOP-aCMA-STEP loshchilov 2.6 (2)10 (16)12 (11)16 (16)24 (33)24 (32)24 (32)15/15
BIPOP-saACM-k loshchilov 1.8 (2)10 (7)15 (12)14 (15)14 (14)14 (14)14 (14)15/15
CGA-grid100 holtschulte 2.2 (2)38 (64)79 (124)∞∞∞∞1e50/15
CGA-grid16 holtschulte 1.8 (3)172 (204)166 (220)62 (67)∞∞∞1e50/15
CGA-ring100 holtschulte 2.2 (3)12 (9)19 (15)∞∞∞∞1e50/15
CGA-ring16 holtschulte 3.2 (4)70 (64)82 (137)∞∞∞∞1e50/15
CMAES Hutter hutter 2.8 (2)1.7 (2)∞∞∞∞∞2060/15
DE Pal pal 1.3 (1)71 (70)13 (22)6.9 (8)6.7 (10)6.6 (8)6.6 (8)3/15
GA-100 holtschulte 1.5 (2)232 (355)165 (244)∞∞∞∞1e50/15
HCMA loshchilov 1.5 (2)8.5 (18)25 (40)31 (37)35 (39)39 (41)39 (40)13/15
HILL holtschulte 2.1 (2)189 (215)78 (102)61 (46)59 (68)∞∞1e50/15
HMLSL pal 2.7 (3)2.0 (2)1.3 (2)2.0 (2)2.0 (3)1.9 (2)1.9 (2)7/15
IP-10DDr liao 1.7 (2)185 (258)338 (499)261 (297)362 (412)353 (604)353 (395)3/15
IP-500 liao 1.7 (2)1588 (2864)∞∞∞∞∞2e60/15
IPOP400D auger 1.6 (2)3.5 (4)∞∞∞∞∞16010/15
IP liao 1.7 (2)2034 (3061)∞∞∞∞∞2e60/15
MEMPSODE voglis 2.2 (2)21 (47)2.6 (5)1.3 (2)1.2 (2)1.2 (2)1.5 (2)15/15
MLSL pal 2.5 (3)2.4 (2)3.5 (5)2.4 (3)2.4 (3)2.3 (3)2.3 (2)5/15
OQNLP pal 9.1 (2)3.7 (3)2.0 (2)0.74 (0.9)0.72 (0.6)0.71 (0.9)0.75 (0.9)4/15
P-DCN tran 1.5 (2)4668 (8752)470 (529)172 (171)167 (269)163 (203)171 (283)4/15
P-zero tran 12 (1)4669 (5834)472 (530)173 (193)170 (169)243 (166)568 (555)1/15
PRCGA sawyerr 1.3 (2)11 (17)4.8 (6)3.8 (4)3.7 (5)3.7 (3)3.8 (4)11/15
SMAC-BBOB hutter 1.8 (2)∞∞∞∞∞∞2000/15
U-DCN tran 1.5 (2)13 (25)138 (148)286 (235)1165 (1078)∞∞2e60/15
U-zero tran 1.4 (1)11 (14)191 (216)557 (919)1167 (1140)∞∞2e60/15
fmincon pal 2.2 (2)2.2 (2)3.6 (4)4.4 (4)4.3 (4)4.2 (5)4.2 (5)3/15
fminunc pal 3.2 (3)2.0 (2)3.1 (6)6.5 (8)6.3 (7)6.1 (8)6.1 (8)2/15
lmm-CMA-ES auger 1.6 (3)1.5 (1)∞∞∞∞∞16110/15
simplex pal 8.5 (4)4.1 (4)3.2 (2)7.4 (12)7.2 (10)7.0 (7)7.0 (7)2/15
tany liao 1.7 (1)85 (88)92 (117)117 (133)113 (169)110 (84)110 (123)8/15
texp liao 1.7 (1)4.6 (6)2.7 (5)3.5 (5)3.9 (4)3.8 (4)3.8 (4)15/15

Previous dimension | Dimension = 3 | Next dimension

Δ fopt
f1, 3-D		 1e1
4.0		 1e0
8.0		 1e-1
8.0		 1e-2
8.0		 1e-3
8.0		 1e-5
8.0		 1e-7
8.0		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.5 (2)3.9 (0.7)4.8 (0.5)6.7 (0.2)7.4 (0.2)10 (0.2)13 (0.2)15/15
BIPOP-saACM-k loshchilov 3.1 (3)5.5 (3)10 (2)11 (2)12 (2)16 (2)20 (2)15/15
CGA-grid100 holtschulte 2.9 (3)41 (42)210 (85)668 (357)1634 (1166)2.3e4 (2e4)2.7e5 (3e5)0/15
CGA-grid16 holtschulte 3.7 (5)14 (9)42 (22)100 (41)311 (236)3346 (2305)4.2e4 (3e4)0/15
CGA-ring100 holtschulte 2.6 (4)40 (31)129 (64)332 (148)720 (321)3298 (920)1.8e4 (2e4)3/15
CGA-ring16 holtschulte 3.6 (6)14 (8)45 (32)107 (54)223 (84)1245 (495)1.2e4 (5315)2/15
CMAES Hutter hutter 3.6 (4)5.8 (4)14 (5)17 (4)22 (5)41 (30)283 (208)0/15
DE Pal pal 2.4 (2)10 (7)20 (9)33 (9)48 (11)74 (14)102 (12)15/15
GA-100 holtschulte 2.6 (2)25 (21)102 (46)224 (74)528 (345)3022 (2131)6.2e4 (8e4)0/15
HCMA loshchilov 1.6 (0.9)1 (0)1 (0)★1 (0)★31 (0)★41 (0)★41 (0)★415/15
HILL holtschulte 5.5 (5)6.1 (6)13 (7)38 (25)162 (128)1358 (760)2.0e4 (2e4)3/15
HMLSL pal 0.98 (0.5)1.3 (0.5)1.8 (0.5)1.9 (0.5)2.3 (0.8)3.0 (0.8)3.3 (1)15/15
IP-10DDr liao 1.8 (2)6.0 (2)10 (3)16 (3)23 (3)35 (2)47 (4)15/15
IP-500 liao 1.8 (2)6.0 (2)10 (3)16 (3)23 (3)35 (2)47 (4)15/15
IPOP400D auger 2.4 (3)5.2 (4)11 (4)17 (4)23 (7)34 (6)45 (7)15/15
IP liao 1.8 (2)6.0 (2)10 (3)16 (3)23 (3)35 (2)47 (4)15/15
MEMPSODE voglis 2.5 (3)7.9 (3)11 (1)12 (1)14 (1)17 (1)20 (1)15/15
MLSL pal 0.98 (0.5)1.3 (0.5)1.8 (0.5)1.9 (0.5)2.3 (0.8)3.0 (0.8)3.3 (1)15/15
OQNLP pal 2.7 (2)1.9 (0.3)2.4 (0.5)2.7 (0.6)2.8 (0.6)2.9 (0.6)2.9 (0.6)15/15
P-DCN tran 2.9 (3)23 (14)36 (13)43 (12)55 (18)137 (51)291 (112)15/15
P-zero tran 2.2 (2)15 (10)25 (14)29 (15)38 (13)95 (33)515 (393)15/15
PRCGA sawyerr 1.4 (2)10 (9)34 (25)58 (40)163 (306)472 (401)555 (710)15/15
SMAC-BBOB hutter 0.93 (0.6)1.3 (0.4)2.0 (0.6)3.2 (0.5)13 (19)∞∞3000/15
U-DCN tran 2.6 (3)12 (10)41 (19)102 (55)190 (134)558 (505)1305 (682)15/15
U-zero tran 2.3 (2)8.3 (5)34 (15)116 (73)327 (211)3006 (1733)3.0e4 (2e4)15/15
fmincon pal 0.98 (0.5)1.3 (0.5)1.8 (0.5)1.9 (0.5)2.3 (0.8)3.0 (0.8)3.3 (1)15/15
fminunc pal 1.3 (1)0.99 (0.2)1.0 (0.2)1.1 (0)1.1 (0)1.1 (0)1.1 (0)15/15
lmm-CMA-ES auger 1.5 (1)2.3 (1)3.0 (0.9)4.1 (0.8)5.0 (0.8)6.2 (0.8)8.1 (0.9)15/15
simplex pal 10 (12)14 (13)22 (10)24 (9)26 (7)31 (6)34 (6)15/15
tany liao 2.4 (3)5.7 (2)11 (3)16 (5)23 (5)37 (5)51 (4)15/15
texp liao 2.6 (2)4.7 (3)8.4 (6)16 (7)20 (6)33 (8)45 (7)15/15

Δ fopt
f2, 3-D		 1e1
38		 1e0
42		 1e-1
43		 1e-2
44		 1e-3
45		 1e-5
47		 1e-7
48		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.8 (0.4)2.0 (0.5)2.2 (0.4)2.4 (0.1)2.6 (0.3)2.9 (0.3)3.3 (0.2)15/15
BIPOP-saACM-k loshchilov 4.2 (1)4.3 (1)4.5 (0.8)4.8 (0.8)5.0 (0.7)5.5 (0.7)6.0 (0.8)15/15
CGA-grid100 holtschulte 184 (101)371 (267)1466 (1045)7207 (8294)∞∞∞2e50/15
CGA-grid16 holtschulte 102 (97)276 (342)900 (1138)4453 (5569)2.4e4 (2e4)∞∞2e50/15
CGA-ring100 holtschulte 112 (46)283 (179)1230 (1310)4167 (5114)1.1e4 (9748)∞∞2e50/15
CGA-ring16 holtschulte 53 (51)304 (273)925 (1058)6294 (8582)1.1e4 (1e4)∞∞2e50/15
CMAES Hutter hutter 22 (12)35 (23)∞∞∞∞∞3030/15
DE Pal pal 8.4 (2)11 (1)13 (1)15 (2)17 (1)21 (2)25 (1)15/15
GA-100 holtschulte 102 (72)409 (375)1714 (2038)3051 (2632)8181 (8449)∞∞2e50/15
HCMA loshchilov 2.3 (3)2.9 (3)3.4 (3)3.6 (3)3.8 (3)4.1 (3)4.5 (3)15/15
HILL holtschulte 66 (98)200 (226)878 (1102)1826 (1806)5929 (5171)∞∞2e50/15
HMLSL pal 1.3 (0.6)1.4 (0.5)1.5 (0.5)1.7 (0.5)1.8 (0.5)3.0 (2)5.3 (5)15/15
IP-10DDr liao 13 (7)19 (7)21 (4)22 (3)23 (3)24 (4)25 (3)15/15
IP-500 liao 13 (7)19 (7)21 (4)22 (3)23 (3)24 (4)25 (3)15/15
IPOP400D auger 10 (6)15 (7)17 (3)19 (3)19 (3)20 (2)22 (3)15/15
IP liao 13 (7)19 (7)21 (4)22 (3)23 (3)24 (4)25 (3)15/15
MEMPSODE voglis 3.8 (2)4.3 (1)4.9 (1)5.0 (1)5.3 (1)5.6 (1)6.0 (0.9)15/15
MLSL pal 1.3 (0.6)1.4 (0.5)1.5 (0.5)1.7 (0.5)1.8 (0.5)2.9 (2)4.7 (4)15/15
OQNLP pal 1.4 (0.5)1.9 (0.9)2.0 (1.0)2.1 (1)2.3 (0.9)2.4 (0.9)41 (60)5/15
P-DCN tran 13 (12)19 (15)37 (34)83 (76)177 (182)438 (438)791 (1026)15/15
P-zero tran 14 (9)23 (10)41 (22)108 (76)364 (410)2956 (4098)2.7e4 (2e4)9/15
PRCGA sawyerr 16 (7)27 (31)33 (41)171 (79)361 (913)670 (896)685 (855)15/15
SMAC-BBOB hutter 26 (28)∞∞∞∞∞∞3000/15
U-DCN tran 88 (58)156 (155)191 (172)2931 (3494)2958 (3387)3166 (3205)1.0e4 (1e4)13/15
U-zero tran 180 (140)589 (664)1363 (1358)3859 (4198)2.5e4 (4e4)4.4e5 (5e5)∞3e60/15
fmincon pal 1.3 (0.6)1.4 (0.5)1.5 (0.5)1.7 (0.5)1.8 (0.5)2.8 (2)4.6 (3)15/15
fminunc pal 2.2 (1)3.1 (1)3.9 (0.7)4.1 (0.7)4.3 (0.8)4.4 (0.8)4.6 (0.8)15/15
lmm-CMA-ES auger 3.2 (1)3.8 (0.7)4.1 (0.8)4.3 (0.8)4.3 (0.8)4.6 (0.8)4.9 (0.8)15/15
simplex pal 8.8 (4)11 (4)11 (4)11 (4)12 (4)12 (3)12 (3)15/15
tany liao 13 (8)17 (6)21 (2)22 (2)22 (2)23 (2)25 (2)15/15
texp liao 14 (7)20 (6)21 (6)22 (3)23 (3)24 (3)25 (2)15/15

Δ fopt
f3, 3-D		 1e1
38		 1e0
822		 1e-1
830		 1e-2
835		 1e-3
842		 1e-5
847		 1e-7
853		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.6 (1)0.30 (0.1)↑00.62 (0.1)↑10.64 (0.1)↑10.66 (0.1)↑10.73 (0.1)↑10.77 (0.1)↑115/15
BIPOP-saACM-k loshchilov 3.9 (3)2.6 (2)13 (16)13 (16)13 (17)13 (17)15 (17)15/15
CGA-grid100 holtschulte 26 (20)10 (7)34 (25)113 (87)1309 (1288)∞∞2e50/15
CGA-grid16 holtschulte 8.3 (8)3.1 (2)8.5 (6)23 (13)66 (53)2548 (3365)∞2e50/15
CGA-ring100 holtschulte 25 (15)6.2 (2)13 (6)25 (10)52 (24)836 (753)∞2e50/15
CGA-ring16 holtschulte 7.7 (5)2.3 (0.9)5.1 (3)14 (10)57 (52)1246 (1278)∞2e50/15
CMAES Hutter hutter 4.0 (3)2.7 (3)5.5 (6)∞∞∞∞3030/15
DE Pal pal 4.2 (3)0.87 (0.3)6.2 (0.4)6.4 (0.4)6.4 (0.4)6.6 (0.4)6.8 (0.3)14/15
GA-100 holtschulte 14 (7)3.5 (2)8.5 (6)28 (28)66 (46)∞∞2e50/15
HCMA loshchilov 2.0 (1)0.81 (2)1.0 (2)1.0 (2)1.1 (2)1.1 (2)1.2 (2)15/15
HILL holtschulte 2.6 (2)1.1 (1)3.0 (2)15 (10)25 (13)640 (624)∞2e50/15
HMLSL pal 8.5 (6)1.4 (0.8)7.0 (1.0)7.1 (1.0)7.0 (1.0)7.0 (1.0)7.0 (0.9)14/15
IP-10DDr liao 3.3 (2)4.8 (4)18 (16)18 (16)18 (16)18 (16)18 (15)15/15
IP-500 liao 3.3 (2)5.0 (4)17 (20)20 (28)21 (29)21 (29)22 (30)15/15
IPOP400D auger 5.5 (3)2.6 (3)∞∞∞∞∞20070/15
IP liao 3.3 (2)5.0 (4)17 (20)47 (28)49 (29)51 (29)53 (30)15/15
MEMPSODE voglis 26 (33)3.7 (2)8.8 (7)9.4 (7)9.4 (7)10 (7)10 (7)15/15
MLSL pal 7.7 (6)6.3 (6)76 (84)75 (89)75 (70)74 (76)74 (103)6/15
OQNLP pal 10 (7)2.7 (2)10 (7)10 (9)10 (11)10 (9)10 (5)7/15
P-DCN tran 72 (204)155 (182)362 (425)360 (422)357 (418)356 (415)355 (411)15/15
P-zero tran 102 (249)115 (19)172 (98)171 (98)170 (98)176 (95)255 (219)15/15
PRCGA sawyerr 4.9 (2)2.9 (3)8.7 (7)9.0 (7)10 (8)11 (8)12 (8)15/15
SMAC-BBOB hutter 7.5 (5)5.4 (6)∞∞∞∞∞3000/15
U-DCN tran 5.9 (4)2.9 (2)4.2 (2)5.2 (4)7.6 (3)19 (16)391 (425)13/15
U-zero tran 3.2 (2)2.6 (3)7.5 (6)19 (11)80 (57)618 (456)2.5e4 (2e4)0/15
fmincon pal 12 (13)8.4 (11)85 (73)85 (125)84 (99)84 (97)83 (76)6/15
fminunc pal 8.2 (7)9.1 (16)57 (62)57 (71)56 (72)56 (42)56 (61)7/15
lmm-CMA-ES auger 3.9 (5)1.5 (1)16 (24)16 (23)16 (17)16 (14)16 (17)2/15
simplex pal 15 (7)7.3 (7)106 (130)105 (107)104 (90)104 (87)103 (172)5/15
tany liao 10 (14)4.0 (5)19 (17)21 (20)21 (20)21 (20)21 (20)15/15
texp liao 12 (13)5.0 (5)14 (15)14 (15)14 (15)14 (15)14 (15)15/15

Δ fopt
f4, 3-D		 1e1
40		 1e0
808		 1e-1
866		 1e-2
921		 1e-3
952		 1e-5
1015		 1e-7
1044		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.4 (2)7.8 (14)795 (1732)748 (1629)724 (1576)679 (1478)661 (1437)13/15
BIPOP-saACM-k loshchilov 6.1 (10)100 (259)2770 (2643)3358 (4799)3445 (3148)3231 (2887)3141 (4928)9/15
CGA-grid100 holtschulte 42 (34)18 (7)46 (32)121 (118)737 (915)∞∞2e50/15
CGA-grid16 holtschulte 11 (4)4.4 (2)10 (6)28 (16)86 (52)∞∞2e50/15
CGA-ring100 holtschulte 33 (14)7.8 (3)14 (4)33 (17)88 (41)2198 (1478)∞2e50/15
CGA-ring16 holtschulte 11 (3)2.5 (1)4.9 (3)15 (10)70 (66)1030 (1139)∞2e50/15
CMAES Hutter hutter 12 (14)∞∞∞∞∞∞3030/15
DE Pal pal 6.7 (2)1.1 (0.4)26 (35)25 (33)24 (32)23 (30)23 (29)11/15
GA-100 holtschulte 21 (8)6.9 (4)15 (11)26 (23)90 (87)1085 (1689)∞2e50/15
HCMA loshchilov 4.3 (2)78 (202)728 (1733)686 (1629)666 (1576)626 (1727)610 (1437)13/15
HILL holtschulte 2.8 (2)1.6 (1)5.9 (3)20 (14)36 (16)1068 (1130)∞2e50/15
HMLSL pal 8.1 (6)1.8 (1)19 (35)18 (33)18 (48)17 (30)16 (29)12/15
IP-10DDr liao 7.6 (14)55 (64)696 (790)654 (743)633 (719)594 (674)578 (656)15/15
IP-500 liao 7.6 (14)349 (381)∞∞∞∞∞3e60/15
IPOP400D auger 7.6 (13)17 (18)∞∞∞∞∞20070/15
IP liao 7.6 (14)1099 (1773)1.5e4 (2e4)∞∞∞∞3e60/15
MEMPSODE voglis 12 (9)6.9 (5)14 (6)14 (4)13 (4)13 (5)13 (4)15/15
MLSL pal 11 (15)32 (46)563 (799)530 (575)513 (436)481 (358)467 (624)1/15
OQNLP pal 22 (35)13 (14)47 (37)44 (48)43 (41)40 (29)40 (46)2/15
P-DCN tran 123 (197)108 (147)198 (216)186 (203)181 (196)171 (182)199 (185)15/15
P-zero tran 709 (1037)67 (85)91 (81)86 (76)83 (73)87 (72)155 (91)15/15
PRCGA sawyerr 13 (8)8.0 (10)30 (36)29 (34)34 (40)39 (47)43 (46)14/15
SMAC-BBOB hutter 34 (42)∞∞∞∞∞∞3000/15
U-DCN tran 6.4 (4)3.5 (3)4.9 (3)8.0 (5)13 (9)48 (44)99 (177)13/15
U-zero tran 5.8 (6)2.7 (2)12 (13)45 (41)112 (90)727 (443)2.0e4 (4e4)0/15
fmincon pal 16 (16)11 (16)278 (285)261 (293)253 (219)237 (249)231 (201)2/15
fminunc pal 19 (21)21 (23)565 (482)531 (596)514 (658)482 (607)469 (449)1/15
lmm-CMA-ES auger 4.6 (5)35 (39)33 (33)31 (39)30 (33)28 (39)27 (25)1/15
simplex pal 17 (15)25 (33)145 (212)137 (197)132 (81)124 (118)121 (166)4/15
tany liao 5.6 (2)36 (64)438 (917)412 (862)398 (834)374 (782)364 (760)15/15
texp liao 11 (13)57 (92)546 (906)513 (852)600 (824)563 (773)548 (751)15/15

Δ fopt
f5, 3-D		 1e1
7.0		 1e0
7.0		 1e-1
7.0		 1e-2
7.0		 1e-3
7.0		 1e-5
7.0		 1e-7
7.0		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.1 (0.1)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)15/15
BIPOP-saACM-k loshchilov 2.6 (2)4.9 (2)5.4 (2)5.4 (2)5.4 (2)5.4 (2)5.4 (2)15/15
CGA-grid100 holtschulte 29 (37)120 (77)144 (84)146 (84)146 (84)146 (84)146 (84)15/15
CGA-grid16 holtschulte 11 (12)33 (24)42 (25)43 (25)43 (25)43 (25)43 (25)15/15
CGA-ring100 holtschulte 18 (15)101 (35)121 (22)125 (22)126 (36)126 (36)126 (36)15/15
CGA-ring16 holtschulte 11 (8)26 (10)32 (7)32 (8)32 (8)32 (8)32 (8)15/15
CMAES Hutter hutter 3.7 (2)5.3 (3)5.6 (3)5.6 (3)5.6 (3)5.6 (3)5.6 (3)15/15
DE Pal pal 12 (10)46 (18)94 (10)143 (22)196 (37)298 (19)400 (29)15/15
GA-100 holtschulte 18 (14)71 (12)97 (18)98 (19)98 (19)98 (19)98 (19)15/15
HCMA loshchilov 1.1 (0.3)1.4 (0.4)1.5 (0.4)1.5 (0.4)1.5 (0.4)1.5 (0.4)1.5 (0.4)15/15
HILL holtschulte 4.4 (3)7.4 (6)7.6 (6)7.6 (6)7.6 (6)7.6 (6)7.6 (6)15/15
HMLSL pal 1.9 (0)3.0 (0)4.1 (0)4.1 (0)4.7 (0)4.7 (0)5.3 (0)15/15
IP-10DDr liao 2.5 (3)11 (30)13 (31)15 (31)15 (31)15 (31)15 (31)15/15
IP-500 liao 2.5 (3)11 (30)13 (31)15 (31)15 (31)15 (31)15 (31)15/15
IPOP400D auger 3.7 (2)5.8 (3)6.0 (2)6.0 (2)6.0 (2)6.0 (2)6.0 (2)15/15
IP liao 2.5 (3)11 (30)13 (31)15 (31)15 (31)15 (31)15 (31)15/15
MEMPSODE voglis 2.1 (2)12 (5)13 (5)13 (5)13 (5)13 (5)13 (5)15/15
MLSL pal 1.9 (0)3.0 (0)4.1 (0)4.1 (0)4.7 (0)4.7 (0)5.3 (0)15/15
OQNLP pal 2.6 (0)2.9 (0)2.9 (0)2.9 (0)2.9 (0)2.9 (0)2.9 (0)15/15
P-DCN tran 8.3 (7)65 (60)81 (63)93 (54)102 (47)130 (46)179 (39)15/15
P-zero tran 24 (37)75 (60)89 (69)95 (70)101 (68)115 (65)132 (60)15/15
PRCGA sawyerr 137 (28)2188 (1731)3756 (2252)5775 (4119)1.3e4 (6491)∞∞2e50/15
SMAC-BBOB hutter 0.88 (0.3)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)15/15
U-DCN tran 10 (9)122 (137)453 (242)2906 (3690)5034 (5259)3.3e5 (5e5)6.3e6 (9e6)0/15
U-zero tran 7.0 (3)81 (77)773 (307)7533 (1e4)2.5e5 (2e5)∞∞3e60/15
fmincon pal 1.9 (0)3.0 (0)4.1 (0)4.1 (0)4.7 (0)4.7 (0)5.3 (0)15/15
fminunc pal 1.3 (0)3.0 (0)3.0 (0)3.0 (0)3.0 (0)3.0 (0)3.0 (0)15/15
lmm-CMA-ES auger 2.6 (0.8)4.0 (2)4.1 (2)4.1 (2)4.1 (2)4.1 (2)4.1 (2)15/15
simplex pal 15 (10)41 (49)41 (49)41 (49)41 (49)41 (49)41 (49)15/15
tany liao 3.1 (2)6.4 (4)7.4 (5)7.7 (6)7.7 (6)7.7 (6)7.7 (6)15/15
texp liao 9.4 (8)27 (23)33 (30)37 (31)37 (31)38 (31)38 (31)15/15

Δ fopt
f6, 3-D		 1e1
34		 1e0
56		 1e-1
90		 1e-2
117		 1e-3
149		 1e-5
215		 1e-7
265		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.7 (2)3.2 (2)3.2 (0.9)3.1 (0.9)3.1 (0.3)2.9 (0.4)3.0 (0.3)15/15
BIPOP-saACM-k loshchilov 3.3 (2)4.2 (2)3.6 (2)3.6 (2)3.3 (2)3.1 (2)4.6 (1)15/15
CGA-grid100 holtschulte 10 (13)70 (42)311 (290)1206 (1301)4466 (3523)∞∞2e50/15
CGA-grid16 holtschulte 5.1 (5)16 (11)71 (66)443 (553)1949 (1976)1.0e4 (1e4)∞2e50/15
CGA-ring100 holtschulte 8.7 (13)35 (18)95 (50)251 (140)696 (584)1.0e4 (2e4)∞2e50/15
CGA-ring16 holtschulte 4.8 (6)13 (7)33 (19)353 (664)680 (1260)2222 (1964)∞2e50/15
CMAES Hutter hutter 2.0 (1)3.2 (0.9)3.0 (0.5)12 (11)∞∞∞3030/15
DE Pal pal 3.3 (3)6.1 (2)7.5 (2)9.2 (2)10 (2)11 (1)13 (2)15/15
GA-100 holtschulte 10 (7)26 (14)77 (43)254 (320)1890 (1913)∞∞2e50/15
HCMA loshchilov 2.9 (2)5.8 (2)4.9 (2)4.8 (2)4.5 (2)4.3 (1)5.8 (1)15/15
HILL holtschulte 3.3 (4)21 (27)145 (175)370 (642)886 (1365)3122 (2894)∞2e50/15
HMLSL pal 1.5 (1)1.5 (0.7)1.3 (0.5)1.2 (0.6)1.2 (0.6)1.1 (0.5)1.2 (0.4)15/15
IP-10DDr liao 2.2 (1)3.0 (1)2.9 (0.9)3.1 (0.6)3.2 (0.8)3.0 (0.4)3.1 (0.4)15/15
IP-500 liao 2.2 (1)3.0 (1)2.9 (0.9)3.1 (0.6)3.2 (0.8)3.0 (0.4)3.1 (0.4)15/15
IPOP400D auger 2.0 (2)2.8 (2)3.1 (1)3.1 (0.8)3.1 (0.5)3.0 (0.5)3.2 (0.4)15/15
IP liao 2.2 (1)3.0 (1)2.9 (0.9)3.1 (0.6)3.2 (0.8)3.0 (0.4)3.1 (0.4)15/15
MEMPSODE voglis 2.0 (1.0)2.1 (0.8)1.7 (0.6)1.5 (0.4)1.5 (0.6)1.4 (0.4)1.5 (0.4)15/15
MLSL pal 1.5 (1)1.5 (0.7)1.3 (0.5)1.2 (0.6)1.2 (0.6)1.1 (0.5)1.2 (0.4)15/15
OQNLP pal 1.4 (0.7)1.7 (1)2.0 (0.8)2.0 (2)2.8 (2)3.6 (2)4.5 (2)12/15
P-DCN tran 8.8 (8)11 (8)9.1 (6)10 (5)23 (18)157 (302)212 (241)15/15
P-zero tran 11 (18)12 (13)11 (10)15 (12)36 (44)786 (1627)6476 (2e4)7/15
PRCGA sawyerr 7.3 (14)41 (121)51 (80)118 (118)155 (134)199 (130)220 (136)15/15
SMAC-BBOB hutter 1.1 (1)36 (51)∞∞∞∞∞3000/15
U-DCN tran 3.6 (3)14 (13)47 (41)175 (306)508 (792)7234 (7936)7.6e4 (8e4)0/15
U-zero tran 3.4 (3)25 (35)138 (134)1458 (2397)3446 (3495)1.3e4 (3e4)∞3e60/15
fmincon pal 1.5 (1)1.5 (0.7)1.2 (0.5)1.2 (0.6)1.2 (0.6)1.1 (0.5)1.2 (0.4)15/15
fminunc pal 2.4 (2)3.3 (2)2.5 (1.0)2.2 (0.8)2.1 (0.8)2.1 (1)3.4 (2)15/15
lmm-CMA-ES auger 2.6 (3)3.2 (2)2.9 (2)3.3 (2)3.1 (1)3.3 (2)3.7 (1)15/15
simplex pal 5.8 (5)7.3 (3)4.8 (2)4.3 (2)3.7 (2)2.9 (1)2.6 (0.8)15/15
tany liao 1.8 (0.9)2.5 (0.7)3.0 (1)3.4 (0.8)3.5 (0.7)3.4 (0.3)3.5 (0.3)15/15
texp liao 1.8 (0.9)3.1 (2)3.1 (0.8)3.4 (0.7)3.8 (0.6)3.4 (0.4)3.5 (0.5)15/15

Δ fopt
f7, 3-D		 1e1
11		 1e0
65		 1e-1
342		 1e-2
464		 1e-3
482		 1e-5
482		 1e-7
535		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.1 (3)2.1 (2)1.0 (0.8)0.99 (0.9)1.1 (0.8)1.1 (0.8)1.1 (0.9)15/15
BIPOP-saACM-k loshchilov 2.6 (2)1.9 (1)0.75 (0.6)0.95 (0.8)1.0 (0.8)1.0 (0.8)1.2 (0.8)15/15
CGA-grid100 holtschulte 5.8 (4)24 (17)76 (73)166 (183)375 (465)375 (607)884 (765)4/15
CGA-grid16 holtschulte 6.4 (6)8.6 (7)54 (43)112 (179)225 (248)225 (390)209 (269)9/15
CGA-ring100 holtschulte 3.5 (4)14 (7)8.6 (6)32 (23)92 (171)92 (157)96 (158)13/15
CGA-ring16 holtschulte 5.2 (7)5.2 (4)8.2 (9)72 (143)111 (156)111 (154)104 (154)13/15
CMAES Hutter hutter 2.8 (2)1.6 (0.9)0.84 (1.0)0.87 (0.8)0.87 (0.5)0.87 (0.4)1.1 (1)1/15
DE Pal pal 4.2 (3)2.9 (2)1.3 (0.6)1.7 (0.5)2.0 (0.6)2.0 (0.6)2.1 (0.8)15/15
GA-100 holtschulte 4.9 (5)7.3 (5)8.6 (4)22 (17)61 (126)61 (126)63 (119)15/15
HCMA loshchilov 1.9 (2)2.0 (2)0.84 (0.4)1.0 (0.8)1.1 (0.9)1.1 (0.9)1.1 (0.8)15/15
HILL holtschulte 6.2 (7)9.4 (16)44 (56)173 (344)249 (241)249 (326)229 (329)9/15
HMLSL pal 3.9 (4)5.1 (3)2.4 (1)3.3 (1)3.9 (2)3.9 (2)3.8 (2)15/15
IP-10DDr liao 4.3 (2)4.0 (3)1.5 (1)1.2 (1)1.2 (1)1.2 (1)1.2 (0.9)15/15
IP-500 liao 4.3 (2)4.0 (3)1.5 (1)1.2 (1)1.2 (1)1.2 (1)1.2 (0.9)15/15
IPOP400D auger 1.8 (2)1.3 (0.9)0.99 (1)1.1 (0.9)1.2 (1.0)1.2 (1.0)1.1 (1.0)15/15
IP liao 4.3 (2)4.0 (3)1.5 (1)1.2 (1)1.2 (1)1.2 (1)1.2 (0.9)15/15
MEMPSODE voglis 6.5 (3)22 (22)12 (7)12 (5)13 (5)13 (5)13 (6)15/15
MLSL pal 4.9 (6)23 (26)174 (170)∞∞∞∞3e40/15
OQNLP pal 5.0 (6)4.2 (2)2.2 (1)4.3 (5)4.9 (3)4.9 (4)5.7 (3)5/15
P-DCN tran 41 (72)648 (523)151 (99)112 (72)111 (69)111 (69)100 (63)15/15
P-zero tran 15 (22)123 (206)101 (98)76 (73)74 (71)74 (71)66 (65)15/15
PRCGA sawyerr 2.7 (4)7.2 (5)7.3 (7)7.8 (8)20 (17)20 (17)18 (16)14/15
SMAC-BBOB hutter 1.2 (1)0.92 (0.5)0.81 (0.7)∞∞∞∞3000/15
U-DCN tran 7.1 (9)18 (17)312 (521)1071 (1165)4021 (6676)4021 (3272)3624 (5952)10/15
U-zero tran 4.6 (4)29 (77)278 (385)455 (685)621 (1193)621 (1193)566 (1074)15/15
fmincon pal 5.2 (4)22 (16)125 (229)951 (1104)∞∞∞3e40/15
fminunc pal 4.2 (4)25 (32)140 (153)∞∞∞∞3e40/15
lmm-CMA-ES auger 1.5 (1)2.2 (3)1.1 (1)1.0 (1)1.1 (1)1.1 (1)1.0 (1.0)15/15
simplex pal 3.0 (3)8.0 (6)20 (18)103 (133)277 (253)277 (283)249 (200)3/15
tany liao 3.3 (3)1.6 (0.8)0.84 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.0 (0.5)15/15
texp liao 2.3 (1)5.0 (8)2.1 (2)2.1 (2)2.2 (2)2.2 (2)2.1 (1)15/15

Δ fopt
f8, 3-D		 1e1
27		 1e0
45		 1e-1
152		 1e-2
179		 1e-3
188		 1e-5
198		 1e-7
208		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 4.7 (1)8.2 (5)4.0 (1)4.1 (1)4.3 (1)4.6 (1)4.8 (1)15/15
BIPOP-saACM-k loshchilov 2.9 (2)4.5 (2)2.0 (0.9)2.0 (0.7)2.1 (0.6)2.1 (0.6)2.2 (0.6)15/15
CGA-grid100 holtschulte 32 (25)129 (84)1716 (2216)6111 (5164)∞∞∞2e50/15
CGA-grid16 holtschulte 11 (8)299 (203)4079 (4929)5803 (4728)∞∞∞2e50/15
CGA-ring100 holtschulte 24 (19)62 (38)105 (75)420 (451)1511 (1890)∞∞2e50/15
CGA-ring16 holtschulte 9.3 (6)34 (26)785 (504)2326 (2931)3316 (4787)∞∞2e50/15
CMAES Hutter hutter 3.7 (3)10 (13)30 (44)∞∞∞∞3030/15
DE Pal pal 6.7 (4)14 (18)9.4 (5)11 (6)13 (3)17 (4)20 (4)15/15
GA-100 holtschulte 14 (10)48 (31)237 (303)2587 (3118)1.1e4 (8976)∞∞2e50/15
HCMA loshchilov 2.5 (2)6.6 (3)2.6 (1)2.5 (1)2.5 (1)2.6 (1.0)2.6 (1)15/15
HILL holtschulte 4.0 (3)552 (1670)1661 (1481)5550 (5234)∞∞∞2e50/15
HMLSL pal 1.1 (0.4)1.5 (2)0.63 (0.5)0.62 (0.5)0.64 (0.4)0.68 (0.4)0.68 (0.4)15/15
IP-10DDr liao 3.0 (1)8.6 (8)5.0 (3)5.1 (2)5.4 (2)5.8 (2)6.0 (2)15/15
IP-500 liao 3.0 (1)8.6 (8)5.0 (3)5.1 (2)5.4 (2)5.8 (2)6.0 (2)15/15
IPOP400D auger 2.7 (2)7.3 (6)4.2 (3)4.5 (2)4.7 (2)5.0 (2)5.4 (2)15/15
IP liao 3.0 (1)8.6 (8)5.0 (3)5.1 (2)5.4 (2)5.8 (2)6.0 (2)15/15
MEMPSODE voglis 3.0 (0.3)2.9 (2)1.1 (0.7)1.1 (0.6)1.1 (0.6)1.2 (0.5)1.3 (0.5)15/15
MLSL pal 1.1 (0.4)1.5 (2)0.63 (0.5)0.62 (0.5)0.64 (0.4)0.68 (0.4)0.68 (0.4)15/15
OQNLP pal 1.1 (0.7)1.5 (1)0.68 (0.3)0.72 (0.3)0.75 (0.3)0.78 (0.3)2.9 (4)11/15
P-DCN tran 12 (11)167 (537)198 (182)341 (274)989 (880)4245 (2488)1.4e4 (9720)3/15
P-zero tran 49 (13)583 (1164)520 (458)1520 (887)2270 (884)7.6e4 (5e4)∞3e60/15
PRCGA sawyerr 4.1 (3)42 (66)258 (259)568 (549)1267 (1924)3126 (2615)6374 (5729)1/15
SMAC-BBOB hutter 3.3 (3)10 (7)9.3 (10)∞∞∞∞3000/15
U-DCN tran 9.2 (6)284 (208)2664 (3426)5.1e4 (6e4)1.0e5 (1e5)∞∞3e60/15
U-zero tran 7.7 (5)79 (37)5.9e4 (5e4)2.3e5 (2e5)∞∞∞3e60/15
fmincon pal 1.1 (0.4)1.5 (2)0.63 (0.5)0.62 (0.5)0.65 (0.4)0.69 (0.4)0.68 (0.4)15/15
fminunc pal 1.00 (0.7)1.5 (1.0)0.73 (0.3)↑10.73 (0.2)↑10.76 (0.2)↑10.76 (0.2)↑10.76 (0.2)↑115/15
lmm-CMA-ES auger 1.7 (0.6)2.1 (0.8)1.1 (0.3)1.2 (0.2)1.2 (0.2)1.3 (0.2)1.3 (0.2)15/15
simplex pal 4.5 (4)4.7 (3)1.8 (0.9)1.9 (0.6)1.9 (0.6)2.0 (0.5)2.0 (0.5)15/15
tany liao 2.3 (1)7.0 (5)4.7 (2)5.0 (2)5.3 (2)5.6 (2)5.9 (2)15/15
texp liao 2.7 (1)7.0 (9)4.7 (4)5.0 (2)5.3 (2)5.6 (2)5.7 (2)15/15

Δ fopt
f9, 3-D		 1e1
21		 1e0
65		 1e-1
127		 1e-2
149		 1e-3
159		 1e-5
169		 1e-7
178		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 4.4 (2)7.4 (8)5.9 (5)5.9 (4)5.9 (3)6.2 (3)6.3 (3)15/15
BIPOP-saACM-k loshchilov 2.9 (2)2.6 (2)2.4 (1.0)2.4 (0.9)2.4 (0.8)2.5 (0.8)2.5 (0.7)15/15
CGA-grid100 holtschulte 30 (19)258 (230)1526 (1935)7212 (5778)1.4e4 (2e4)∞∞2e50/15
CGA-grid16 holtschulte 17 (13)554 (1175)2465 (4133)1.5e4 (2e4)∞∞∞2e50/15
CGA-ring100 holtschulte 30 (28)47 (31)200 (99)860 (837)1920 (2594)1.3e4 (1e4)∞2e50/15
CGA-ring16 holtschulte 13 (7)59 (65)1585 (3263)1.4e4 (1e4)∞∞∞2e50/15
CMAES Hutter hutter 3.4 (1)6.7 (7)∞∞∞∞∞3030/15
DE Pal pal 8.5 (4)10 (6)11 (5)12 (5)14 (4)18 (5)22 (6)15/15
GA-100 holtschulte 16 (11)39 (22)392 (593)2284 (2604)1.3e4 (2e4)∞∞2e50/15
HCMA loshchilov 2.7 (3)4.2 (2)3.1 (1)3.0 (1)3.0 (1)3.0 (1)3.0 (1)15/15
HILL holtschulte 7.1 (8)426 (1282)2607 (4090)1.4e4 (2e4)1.4e4 (1e4)∞∞2e50/15
HMLSL pal 0.52 (0)↑00.45 (0)↑00.41 (0)↑00.48 (0)↑00.50 (0)↑00.52 (0)↑00.54 (0)↑015/15
IP-10DDr liao 4.2 (3)6.9 (5)6.3 (4)6.6 (3)6.8 (3)7.0 (3)7.2 (3)15/15
IP-500 liao 4.2 (3)6.9 (5)6.3 (4)6.6 (3)6.8 (3)7.0 (3)7.2 (3)15/15
IPOP400D auger 2.6 (1.0)3.6 (2)3.8 (2)4.4 (1)4.6 (1)4.9 (1)5.3 (1)15/15
IP liao 4.2 (3)6.9 (5)6.3 (4)6.6 (3)6.8 (3)7.0 (3)7.2 (3)15/15
MEMPSODE voglis 3.7 (0.5)2.4 (1)1.6 (0.9)1.6 (0.7)1.6 (0.6)1.7 (0.6)1.7 (0.6)15/15
MLSL pal 0.52 (0)↑00.45 (0)↑00.41 (0)↑00.48 (0)↑00.50 (0)↑00.52 (0)↑00.54 (0)↑015/15
OQNLP pal 0.48 (0)↑00.21 (0.0)↑00.38 (0.0)↑00.48 (0.0)↑00.53 (0.0)↑00.58 (0.0)↑00.60 (0.0)↑015/15
P-DCN tran 13 (15)459 (1370)318 (703)550 (625)1181 (853)5377 (5276)1.9e4 (2e4)6/15
P-zero tran 13 (13)1312 (3139)911 (1817)1281 (1569)2946 (2670)4.7e4 (6e4)2.5e5 (2e5)0/15
PRCGA sawyerr 4.8 (4)23 (61)393 (482)1097 (953)2406 (3178)1.8e4 (2e4)∞2e50/15
SMAC-BBOB hutter 6.9 (6)69 (67)∞∞∞∞∞3000/15
U-DCN tran 14 (13)255 (158)3798 (4941)2.4e4 (2e4)4.8e4 (9e4)∞∞3e60/15
U-zero tran 10 (7)903 (1789)2.0e4 (2e4)3.0e5 (2e5)∞∞∞3e60/15
fmincon pal 0.52 (0)↑00.45 (0)↑00.41 (0)↑00.48 (0)↑00.50 (0)↑00.52 (0)↑00.54 (0)↑015/15
fminunc pal 0.43 (0)★↑00.14 (0)★4↑00.38 (0.0)↑00.45 (0.0)↑00.48 (0.0)↑00.51 (0.0)↑00.51 (0.0)↑015/15
lmm-CMA-ES auger 1.6 (0.6)1.6 (0.8)1.4 (0.5)1.5 (0.4)1.5 (0.4)1.6 (0.4)1.6 (0.4)15/15
simplex pal 1.3 (0.0)1.1 (0.4)1.5 (0.3)1.5 (0.2)1.5 (0.2)1.5 (0.2)1.6 (0.2)15/15
tany liao 3.0 (1)5.6 (6)5.6 (3)6.1 (3)6.2 (2)6.5 (2)6.8 (2)15/15
texp liao 1.9 (1)5.0 (5)5.8 (3)6.4 (3)6.5 (2)6.8 (2)7.0 (2)15/15

Δ fopt
f10, 3-D		 1e1
114		 1e0
152		 1e-1
168		 1e-2
180		 1e-3
194		 1e-5
218		 1e-7
242		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.6 (1)3.8 (0.7)3.7 (0.6)3.8 (0.5)3.7 (0.6)3.7 (0.5)3.7 (0.4)15/15
BIPOP-saACM-k loshchilov 1.5 (0.3)1.3 (0.3)1.3 (0.2)1.3 (0.2)1.3 (0.1)1.3 (0.2)1.3 (0.2)15/15
CGA-grid100 holtschulte 1260 (1659)1.4e4 (1e4)∞∞∞∞∞2e50/15
CGA-grid16 holtschulte 1584 (1399)∞∞∞∞∞∞2e50/15
CGA-ring100 holtschulte 166 (134)3265 (4554)∞∞∞∞∞2e50/15
CGA-ring16 holtschulte 612 (684)3090 (3947)∞∞∞∞∞2e50/15
CMAES Hutter hutter 9.3 (7)∞∞∞∞∞∞3030/15
DE Pal pal 9.2 (5)10 (5)12 (4)14 (4)16 (4)19 (3)21 (4)15/15
GA-100 holtschulte 1284 (1987)4168 (3904)1.3e4 (2e4)∞∞∞∞2e50/15
HCMA loshchilov 1.9 (0.3)1.7 (0.2)1.6 (0.2)1.6 (0.2)1.6 (0.2)1.5 (0.2)1.5 (0.2)15/15
HILL holtschulte 1382 (1822)6692 (8388)∞∞∞∞∞2e50/15
HMLSL pal 0.45 (0.3)↑00.39 (0.2)↑00.40 (0.2)↑00.41 (0.2)↑00.83 (0.2)↑110 (19)40 (67)15/15
IP-10DDr liao 5.3 (3)5.8 (1)5.8 (0.5)5.7 (0.6)5.6 (0.5)5.4 (0.5)5.3 (0.4)15/15
IP-500 liao 5.3 (3)5.8 (1)5.8 (0.5)5.7 (0.6)5.6 (0.5)5.4 (0.5)5.3 (0.4)15/15
IPOP400D auger 4.4 (2)4.1 (1)4.3 (0.7)4.3 (0.5)4.3 (0.4)4.3 (0.3)4.2 (0.3)15/15
IP liao 5.3 (3)5.8 (1)5.8 (0.5)5.7 (0.6)5.6 (0.5)5.4 (0.5)5.3 (0.4)15/15
MEMPSODE voglis 1.8 (0.9)1.6 (0.6)1.5 (0.6)1.5 (0.6)1.5 (0.6)1.4 (0.5)1.4 (0.4)15/15
MLSL pal 0.45 (0.3)↑00.39 (0.2)↑00.40 (0.2)↑00.41 (0.2)↑00.91 (0.2)↑15.1 (6)76 (135)10/15
OQNLP pal 0.45 (0.1)↑00.45 (0.2)↑10.68 (0.5)2.3 (3)3.9 (4)17 (29)122 (94)1/15
P-DCN tran 697 (784)2190 (3786)4292 (5472)9830 (9638)1.8e4 (3e4)9.7e4 (1e5)1.8e5 (1e5)0/15
P-zero tran 1573 (1799)1.0e4 (2e4)2.8e4 (4e4)5.0e4 (6e4)6.8e4 (7e4)2.0e5 (3e5)∞3e60/15
PRCGA sawyerr 557 (800)1989 (2416)2935 (3096)8283 (1e4)1.6e4 (1e4)∞∞2e50/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞3000/15
U-DCN tran 1360 (1792)1.3e4 (2e4)1.2e5 (9e4)∞∞∞∞3e60/15
U-zero tran 1.2e4 (2e4)2.8e4 (3e4)∞∞∞∞∞3e60/15
fmincon pal 0.45 (0.3)↑00.39 (0.2)↑00.40 (0.2)↑00.41 (0.2)↑00.45 (0.2)↑09.1 (18)95 (159)10/15
fminunc pal 0.72 (0.3)0.95 (0.3)1.2 (0.4)1.2 (0.4)1.5 (1)6.7 (9)83 (144)5/15
lmm-CMA-ES auger 1.0 (0.5)1.1 (0.3)1.1 (0.2)1.1 (0.2)1.1 (0.1)1.1 (0.1)1.0 (0.1)★15/15
simplex pal 2.9 (1)2.7 (1)2.8 (0.9)2.9 (0.6)2.7 (0.6)2.5 (0.5)2.4 (0.5)15/15
tany liao 4.7 (2)5.5 (2)5.8 (0.5)5.7 (0.6)5.5 (0.3)5.3 (0.5)5.2 (0.4)15/15
texp liao 3.5 (3)4.4 (2)4.8 (2)5.0 (1)4.9 (0.8)4.8 (0.7)4.7 (0.6)15/15

Δ fopt
f11, 3-D		 1e1
67		 1e0
105		 1e-1
227		 1e-2
263		 1e-3
277		 1e-5
302		 1e-7
327		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 6.7 (3)5.3 (1)2.7 (0.5)2.6 (0.3)2.6 (0.4)2.7 (0.3)2.8 (0.3)15/15
BIPOP-saACM-k loshchilov 2.6 (0.6)2.0 (0.4)0.97 (0.1)0.90 (0.1)0.91 (0.2)0.94 (0.2)0.97 (0.2)15/15
CGA-grid100 holtschulte 695 (1678)3367 (4729)9905 (7434)∞∞∞∞2e50/15
CGA-grid16 holtschulte 275 (474)1072 (1328)4865 (5617)∞∞∞∞2e50/15
CGA-ring100 holtschulte 72 (87)589 (509)1509 (2056)∞∞∞∞2e50/15
CGA-ring16 holtschulte 54 (46)927 (790)2839 (3143)8153 (8127)∞∞∞2e50/15
CMAES Hutter hutter 65 (78)∞∞∞∞∞∞3030/15
DE Pal pal 9.3 (4)11 (3)8.3 (2)8.8 (2)10 (2)13 (2)15 (2)15/15
GA-100 holtschulte 652 (1130)2597 (2087)9360 (6278)∞∞∞∞2e50/15
HCMA loshchilov 2.6 (2)2.3 (0.2)1.1 (0.1)1.0 (0.1)1.0 (0.1)1.0 (0.1)1.1 (0.1)15/15
HILL holtschulte 197 (142)503 (553)∞∞∞∞∞2e50/15
HMLSL pal 0.35 (0.1)↑00.27 (0.1)↑00.15 (0.0)↑00.15 (0.0)↑00.60 (1)10 (24)49 (58)15/15
IP-10DDr liao 10 (6)8.4 (2)4.5 (0.9)4.1 (0.7)4.1 (0.7)4.1 (0.6)4.1 (0.6)15/15
IP-500 liao 10 (6)8.4 (2)4.5 (0.9)4.1 (0.7)4.1 (0.7)4.1 (0.6)4.1 (0.6)15/15
IPOP400D auger 8.4 (5)7.4 (2)3.8 (0.6)3.5 (0.5)3.5 (0.4)3.5 (0.4)3.5 (0.3)15/15
IP liao 10 (6)8.4 (2)4.5 (0.9)4.1 (0.7)4.1 (0.7)4.1 (0.6)4.1 (0.6)15/15
MEMPSODE voglis 3.0 (1)2.7 (0.5)1.4 (0.3)1.3 (0.3)1.2 (0.2)1.2 (0.2)1.2 (0.2)15/15
MLSL pal 0.35 (0.1)↑00.27 (0.1)↑00.15 (0.0)↑00.15 (0.0)↑02.1 (1)9.2 (17)201 (251)2/15
OQNLP pal 0.73 (0.2)↑10.52 (0.1)↑00.37 (0.1)↑11.6 (2)5.5 (6)36 (42)∞1e40/15
P-DCN tran 138 (291)481 (309)333 (163)414 (167)756 (390)8308 (6694)∞3e60/15
P-zero tran 528 (637)1095 (640)720 (334)773 (427)1530 (1165)3.5e4 (3e4)∞3e60/15
PRCGA sawyerr 155 (186)965 (1039)4750 (4948)4169 (3422)∞∞∞2e50/15
SMAC-BBOB hutter 5.7 (5)41 (41)∞∞∞∞∞3000/15
U-DCN tran 143 (138)769 (974)1.2e4 (1e4)∞∞∞∞3e60/15
U-zero tran 194 (153)1909 (2140)7122 (6741)5.0e4 (5e4)1.6e5 (2e5)∞∞3e60/15
fmincon pal 0.35 (0.1)↑00.27 (0.1)↑00.15 (0.0)↑00.15 (0.0)↑01.4 (0.6)37 (69)179 (208)1/15
fminunc pal 0.85 (0.6)0.92 (0.2)0.79 (0.7)1.6 (1)4.6 (7)55 (77)406 (652)1/15
lmm-CMA-ES auger 1.4 (0.9)1.6 (0.5)0.88 (0.2)0.80 (0.2)↑10.79 (0.2)↑10.79 (0.2)↑00.79 (0.2)★↑015/15
simplex pal 4.8 (4)5.4 (2)2.7 (0.7)2.5 (0.6)2.4 (0.5)2.3 (0.5)2.2 (0.5)15/15
tany liao 10 (5)8.0 (2)4.2 (0.7)3.9 (0.5)3.9 (0.5)3.9 (0.3)3.9 (0.5)15/15
texp liao 8.7 (5)7.9 (1)4.0 (0.7)3.6 (0.7)3.6 (0.5)3.6 (0.5)3.6 (0.5)15/15

Δ fopt
f12, 3-D		 1e1
65		 1e0
168		 1e-1
338		 1e-2
401		 1e-3
445		 1e-5
696		 1e-7
790		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 12 (16)8.4 (9)5.7 (5)5.6 (5)5.5 (5)4.2 (3)4.8 (6)15/15
BIPOP-saACM-k loshchilov 3.2 (2)3.6 (6)2.9 (3)3.0 (3)4.3 (3)6.1 (11)12 (19)15/15
CGA-grid100 holtschulte 983 (1365)2845 (3767)∞∞∞∞∞2e50/15
CGA-grid16 holtschulte 1781 (1868)5953 (7143)∞∞∞∞∞2e50/15
CGA-ring100 holtschulte 336 (271)711 (586)919 (1135)∞∞∞∞2e50/15
CGA-ring16 holtschulte 727 (1215)1979 (1607)3061 (3929)∞∞∞∞2e50/15
CMAES Hutter hutter 6.5 (5)27 (30)∞∞∞∞∞3030/15
DE Pal pal 27 (26)27 (27)21 (18)21 (15)21 (15)17 (11)17 (10)15/15
GA-100 holtschulte 1015 (2335)3749 (4673)6389 (7544)∞∞∞∞2e50/15
HCMA loshchilov 3.9 (4)4.6 (5)2.8 (2)2.6 (2)3.2 (2)4.1 (8)14 (20)15/15
HILL holtschulte 2086 (2917)2497 (2679)6487 (3883)∞∞∞∞2e50/15
HMLSL pal 0.89 (0.3)0.77 (0.8)0.66 (0.6)0.67 (0.6)0.68 (0.6)4.9 (4)16 (27)14/15
IP-10DDr liao 8.0 (8)6.8 (6)4.8 (4)4.9 (3)5.0 (3)4.2 (2)4.3 (2)15/15
IP-500 liao 8.0 (8)6.8 (6)4.8 (4)4.9 (3)5.0 (3)4.2 (2)4.3 (2)15/15
IPOP400D auger 5.9 (6)7.0 (8)4.4 (4)4.9 (4)5.2 (9)3.5 (4)3.3 (2)8/15
IP liao 8.0 (8)6.8 (6)4.8 (4)4.9 (3)5.0 (3)4.2 (2)4.3 (2)15/15
MEMPSODE voglis 3.5 (3)2.6 (2)1.8 (1)1.6 (1)1.6 (1)1.2 (1.0)1.6 (1.0)15/15
MLSL pal 0.89 (0.3)0.77 (0.8)0.66 (0.6)0.67 (0.6)0.68 (0.6)3.2 (6)31 (78)6/15
OQNLP pal 1.3 (1)1.4 (1)11 (29)10 (25)12 (23)42 (40)106 (159)0/15
P-DCN tran 1.8e4 (2e4)1.6e4 (2e4)2.0e4 (2e4)5.0e4 (4e4)9.5e4 (1e5)∞∞3e60/15
P-zero tran 2.6e4 (5e4)4.9e4 (5e4)5.8e4 (4e4)1.0e5 (9e4)∞∞∞3e60/15
PRCGA sawyerr 86 (129)213 (248)245 (328)364 (335)686 (810)∞∞9e40/15
SMAC-BBOB hutter 22 (20)∞∞∞∞∞∞3000/15
U-DCN tran 1.2e4 (2e4)2.7e4 (4e4)5.8e4 (6e4)1.1e5 (2e5)∞∞∞3e60/15
U-zero tran 1.4e4 (2e4)3.6e4 (7e4)3.6e4 (4e4)5.0e4 (4e4)9.9e4 (1e5)∞∞3e60/15
fmincon pal 0.88 (0.3)0.77 (0.8)0.65 (0.6)0.66 (0.6)0.68 (0.6)1.8 (4)10 (14)8/15
fminunc pal 0.93 (1)0.80 (0.8)0.64 (0.5)0.63 (0.5)0.67 (0.4)1.4 (2)32 (40)5/15
lmm-CMA-ES auger 2.3 (1)1.6 (1)1.4 (1)1.4 (1)1.4 (1)1.2 (1)1.2 (1)13/15
simplex pal 3.8 (3)2.9 (2)1.9 (1)1.8 (1)1.8 (1)1.4 (0.8)1.4 (0.8)15/15
tany liao 7.5 (5)7.4 (7)5.4 (5)5.5 (4)5.5 (3)4.5 (3)4.6 (3)15/15
texp liao 10 (10)10 (10)7.2 (6)6.9 (6)6.8 (5)5.3 (4)5.2 (4)15/15

Δ fopt
f13, 3-D		 1e1
49		 1e0
85		 1e-1
108		 1e-2
136		 1e-3
215		 1e-5
281		 1e-7
365		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 4.2 (2)4.0 (2)4.2 (1)4.2 (0.9)3.1 (0.5)3.4 (0.4)3.4 (0.5)15/15
BIPOP-saACM-k loshchilov 2.1 (0.9)1.6 (0.4)1.7 (0.4)1.7 (0.3)1.3 (0.4)1.3 (0.3)1.2 (0.2)15/15
CGA-grid100 holtschulte 602 (864)4373 (5008)∞∞∞∞∞2e50/15
CGA-grid16 holtschulte 245 (493)5043 (4430)9717 (1e4)∞∞∞∞2e50/15
CGA-ring100 holtschulte 58 (34)393 (155)2849 (2509)1.6e4 (2e4)∞∞∞2e50/15
CGA-ring16 holtschulte 44 (30)2154 (3552)6349 (5826)∞∞∞∞2e50/15
CMAES Hutter hutter 4.0 (2)10 (9)∞∞∞∞∞3030/15
DE Pal pal 6.1 (2)9.0 (4)15 (3)17 (3)16 (3)18 (4)19 (3)15/15
GA-100 holtschulte 45 (22)1021 (923)4632 (3780)∞∞∞∞2e50/15
HCMA loshchilov 2.4 (1)2.2 (1)2.5 (0.4)2.2 (0.5)1.6 (0.3)1.5 (0.3)1.4 (0.2)15/15
HILL holtschulte 421 (845)2218 (3921)9774 (1e4)∞∞∞∞2e50/15
HMLSL pal 0.90 (0.2)0.70 (0.1)↑00.75 (0.1)↑00.75 (0.1)↑00.76 (0.1)↑126 (22)45 (7)15/15
IP-10DDr liao 3.8 (2)6.6 (4)7.3 (3)6.9 (2)5.0 (0.8)5.5 (1.0)5.2 (0.7)15/15
IP-500 liao 3.8 (2)6.6 (4)7.3 (3)6.9 (2)5.0 (0.8)5.5 (1.0)5.2 (0.7)15/15
IPOP400D auger 4.1 (3)4.7 (2)5.0 (2)5.7 (1)4.6 (0.9)4.4 (0.8)4.3 (0.6)12/15
IP liao 3.8 (2)6.6 (4)7.3 (3)6.9 (2)5.0 (0.8)5.5 (1.0)5.2 (0.7)15/15
MEMPSODE voglis 2.9 (1)2.1 (0.9)2.4 (1)2.1 (0.9)1.5 (0.5)1.5 (0.9)1.5 (0.9)15/15
MLSL pal 0.90 (0.2)0.70 (0.1)↑00.75 (0.1)↑00.75 (0.1)↑00.84 (0.1)↑1114 (160)∞4e40/15
OQNLP pal 1.3 (0.4)1.0 (0.4)0.96 (0.3)1.3 (0.5)7.2 (7)435 (596)∞92100/15
P-DCN tran 149 (179)1372 (1906)1.8e4 (3e4)4.0e4 (3e4)6.3e4 (7e4)1.6e5 (1e5)∞3e60/15
P-zero tran 3394 (3821)8682 (1e4)5.2e4 (9e4)1.5e5 (2e5)∞∞∞3e60/15
PRCGA sawyerr 9.5 (4)408 (333)641 (1319)1469 (1532)1678 (2715)3701 (5300)5758 (6989)1/15
SMAC-BBOB hutter 1.6 (0.8)8.7 (7)∞∞∞∞∞3000/15
U-DCN tran 4170 (6996)3.1e4 (4e4)6.5e4 (7e4)∞∞∞∞3e60/15
U-zero tran 701 (471)4.9e4 (4e4)1.3e5 (2e5)∞∞∞∞3e60/15
fmincon pal 0.90 (0.2)0.70 (0.1)↑00.75 (0.1)↑00.75 (0.1)↑00.79 (0.1)↑1156 (256)∞3e40/15
fminunc pal 1.0 (0.3)1.0 (0.2)1.1 (0.2)1.0 (0.2)1.5 (1)1917 (2530)∞4e40/15
lmm-CMA-ES auger 1.4 (0.4)1.8 (0.9)1.8 (0.5)1.8 (0.4)1.3 (0.3)1.3 (0.3)1.3 (0.3)15/15
simplex pal 6.5 (7)7.1 (3)6.8 (2)5.9 (2)3.9 (1)3.3 (1)2.7 (0.9)15/15
tany liao 3.4 (2)5.3 (3)5.9 (3)6.9 (1)5.1 (1)5.2 (0.6)4.9 (0.8)15/15
texp liao 3.4 (2)5.5 (3)6.5 (2)6.4 (1)4.8 (0.8)4.9 (1.0)4.8 (0.6)15/15

Δ fopt
f14, 3-D		 1e1
2.0		 1e0
17		 1e-1
28		 1e-2
43		 1e-3
71		 1e-5
110		 1e-7
194		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 4.1 (6)3.5 (2)4.1 (2)4.1 (1)4.0 (1.0)5.1 (0.9)4.1 (0.5)15/15
BIPOP-saACM-k loshchilov 3.2 (4)2.7 (2)3.1 (0.7)3.3 (0.9)2.7 (0.5)2.5 (0.5)1.9 (0.2)15/15
CGA-grid100 holtschulte 2.6 (2)18 (28)58 (36)277 (531)3553 (2987)∞∞2e50/15
CGA-grid16 holtschulte 2.6 (3)8.3 (7)16 (7)192 (381)4137 (4781)∞∞2e50/15
CGA-ring100 holtschulte 3.5 (2)9.2 (8)54 (32)105 (63)560 (672)∞∞2e50/15
CGA-ring16 holtschulte 2.0 (2)7.6 (7)16 (9)76 (110)2382 (2360)∞∞2e50/15
CMAES Hutter hutter 3.5 (4)2.6 (2)3.8 (1)3.7 (2)4.9 (3)∞∞3030/15
DE Pal pal 1.5 (2)3.5 (3)7.7 (3)8.6 (2)10 (2)16 (5)17 (3)15/15
GA-100 holtschulte 2.2 (2)7.5 (6)28 (15)68 (42)387 (333)9391 (1e4)∞2e50/15
HCMA loshchilov 4.7 (4)1.9 (2)3.5 (3)4.4 (0.8)3.5 (0.5)3.1 (0.4)2.3 (0.2)15/15
HILL holtschulte 5.1 (4)2.8 (2)5.9 (4)93 (96)3732 (4232)∞∞2e50/15
HMLSL pal 1.5 (1)0.73 (0.2)0.79 (0.2)0.83 (0.2)0.69 (0.2)↑10.86 (0.2)36 (19)15/15
IP-10DDr liao 2.6 (4)2.7 (2)3.7 (1)4.4 (2)5.3 (2)8.0 (1)7.0 (0.8)15/15
IP-500 liao 2.6 (4)2.7 (2)3.7 (1)4.4 (2)5.3 (2)8.0 (1)7.0 (0.8)15/15
IPOP400D auger 1.8 (3)2.1 (1)3.6 (2)4.3 (1)4.7 (1)6.3 (1)5.8 (0.8)15/15
IP liao 2.6 (4)2.7 (2)3.7 (1)4.4 (2)5.3 (2)8.0 (1)7.0 (0.8)15/15
MEMPSODE voglis 3.9 (3)3.4 (2)3.4 (0.6)2.8 (0.5)2.0 (0.4)1.8 (0.2)1.3 (0.1)★15/15
MLSL pal 1.5 (1)0.73 (0.2)0.79 (0.2)0.83 (0.2)0.69 (0.2)↑10.86 (0.2)1073 (1588)0/15
OQNLP pal 3.0 (4)1.4 (0.6)1.3 (0.6)1.2 (0.5)0.98 (0.3)5.3 (4)104 (178)0/15
P-DCN tran 1.8 (2)10 (10)11 (8)10 (3)22 (17)4819 (5020)2.2e5 (2e5)0/15
P-zero tran 1.7 (2)8.2 (8)9.1 (6)10 (6)42 (75)1.9e4 (2e4)∞3e60/15
PRCGA sawyerr 2.2 (2)5.0 (4)9.2 (6)40 (70)99 (100)1197 (1144)1.2e4 (2e4)0/15
SMAC-BBOB hutter 1.1 (1)1.9 (1)4.2 (1)9.2 (5)∞∞∞3000/15
U-DCN tran 2.1 (2)3.9 (3)14 (9)68 (72)890 (993)∞∞3e60/15
U-zero tran 1.7 (2)3.3 (2)12 (10)112 (136)1.9e4 (2e4)3.9e5 (4e5)∞3e60/15
fmincon pal 1.5 (1)0.73 (0.2)0.79 (0.2)0.83 (0.2)0.69 (0.2)↑10.86 (0.2)662 (853)0/15
fminunc pal 1.7 (2)0.92 (0.6)1.0 (0.6)1.0 (0.5)0.87 (0.3)0.89 (0.2)165 (216)0/15
lmm-CMA-ES auger 1.9 (2)1.7 (0.6)1.6 (0.5)1.7 (0.4)1.8 (0.5)2.1 (0.2)1.7 (0.2)15/15
simplex pal 9.4 (11)7.3 (4)6.8 (2)5.2 (1)3.5 (0.7)2.8 (0.3)1.9 (0.2)15/15
tany liao 3.0 (4)2.2 (2)3.4 (1.0)3.7 (1)5.0 (1)7.2 (2)6.8 (0.4)15/15
texp liao 3.1 (6)2.2 (2)2.9 (2)3.8 (2)4.9 (2)6.9 (2)6.1 (0.7)15/15

Δ fopt
f15, 3-D		 1e1
121		 1e0
1372		 1e-1
6285		 1e-2
8282		 1e-3
8429		 1e-5
8787		 1e-7
9041		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.2 (0.6)1.6 (1)1.6 (1)1.2 (1)1.2 (1)1.2 (1)1.2 (1.0)15/15
BIPOP-saACM-k loshchilov 1.5 (0.9)1.8 (2)0.80 (0.8)0.62 (0.6)0.62 (0.6)0.61 (0.6)0.60 (0.6)15/15
CGA-grid100 holtschulte 10 (8)118 (130)∞∞∞∞∞2e50/15
CGA-grid16 holtschulte 4.0 (5)92 (116)71 (78)57 (71)78 (89)∞∞2e50/15
CGA-ring100 holtschulte 7.1 (6)42 (34)44 (32)48 (37)128 (200)∞∞2e50/15
CGA-ring16 holtschulte 3.4 (3)61 (80)68 (66)53 (45)56 (53)∞∞2e50/15
CMAES Hutter hutter 1.2 (0.7)∞∞∞∞∞∞3030/15
DE Pal pal 1.7 (1.0)2.7 (2)2.2 (5)1.7 (4)1.8 (4)1.7 (3)1.7 (3)13/15
GA-100 holtschulte 5.4 (4)62 (101)32 (26)26 (29)40 (55)∞∞2e50/15
HCMA loshchilov 1.8 (0.9)1.2 (1)0.76 (0.5)0.59 (0.4)↑10.59 (0.4)↑10.58 (0.4)↑10.57 (0.4)↑115/15
HILL holtschulte 3.2 (5)144 (208)338 (406)258 (245)257 (231)∞∞2e50/15
HMLSL pal 2.9 (1)1.4 (0.9)2.4 (5)1.8 (4)1.8 (4)1.7 (4)1.7 (4)13/15
IP-10DDr liao 1.6 (0.6)2.6 (3)1.9 (2)1.4 (2)1.4 (2)1.4 (2)1.4 (2)15/15
IP-500 liao 1.6 (0.6)2.6 (3)1.5 (1)1.2 (1)1.2 (1)1.2 (1)1.2 (1)15/15
IPOP400D auger 0.91 (0.6)1.5 (2)2.2 (4)1.7 (2)1.7 (2)1.6 (1)1.6 (1)1/15
IP liao 1.6 (0.6)2.6 (3)1.5 (1)1.2 (1)1.2 (1)1.2 (1)1.2 (1)15/15
MEMPSODE voglis 7.9 (14)5.4 (4)4.2 (3)3.2 (2)3.1 (2)3.0 (2)2.9 (2)15/15
MLSL pal 2.5 (1)4.9 (4)6.2 (7)4.7 (5)4.6 (4)4.4 (4)4.3 (6)8/15
OQNLP pal 3.0 (0.3)1.5 (1)0.71 (0.6)0.54 (0.5)0.53 (0.7)0.51 (0.4)0.53 (0.4)10/15
P-DCN tran 2739 (5597)1449 (2232)6701 (6205)5086 (5252)4997 (7029)4794 (4438)4660 (5143)1/15
P-zero tran 4308 (1e4)1844 (2136)3387 (3748)2570 (3170)2526 (3418)2430 (2680)2381 (2695)1/15
PRCGA sawyerr 2.4 (1)16 (18)19 (27)18 (28)18 (26)23 (22)23 (29)9/15
SMAC-BBOB hutter 2.3 (2)∞∞∞∞∞∞3000/15
U-DCN tran 4.4 (4)430 (1097)574 (726)436 (735)429 (456)421 (427)720 (666)3/15
U-zero tran 10 (9)356 (428)836 (943)639 (625)637 (665)1116 (1197)∞3e60/15
fmincon pal 3.1 (1)4.3 (5)7.7 (10)5.8 (5)5.7 (9)5.5 (8)5.4 (6)7/15
fminunc pal 2.8 (2)3.4 (4)14 (14)11 (8)11 (10)10 (9)10 (7)5/15
lmm-CMA-ES auger 1.3 (2)0.74 (0.6)0.79 (0.9)0.60 (0.8)0.59 (0.6)0.57 (0.8)0.56 (0.8)5/15
simplex pal 4.7 (1)5.9 (6)14 (24)11 (14)11 (12)10 (14)10 (12)5/15
tany liao 1.1 (0.6)1.8 (2)1.4 (1)1.1 (0.9)1.1 (0.9)1.1 (0.8)1.1 (0.8)15/15
texp liao 2.2 (4)2.1 (2)2.1 (2)1.7 (1)1.7 (1)1.7 (1)1.6 (1)15/15

Δ fopt
f16, 3-D		 1e1
41		 1e0
319		 1e-1
582		 1e-2
789		 1e-3
1864		 1e-5
3204		 1e-7
3361		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.9 (2)2.0 (3)2.4 (3)3.1 (3)1.4 (1)0.86 (0.7)0.86 (0.7)15/15
BIPOP-saACM-k loshchilov 2.3 (2)3.1 (3)2.8 (4)3.2 (3)1.4 (1)0.93 (1)1.1 (1.0)15/15
CGA-grid100 holtschulte 1.5 (1)14 (15)300 (265)830 (1236)∞∞∞2e50/15
CGA-grid16 holtschulte 1.2 (2)16 (19)73 (76)842 (1174)579 (581)∞∞2e50/15
CGA-ring100 holtschulte 1.3 (2)7.2 (6)23 (12)114 (127)136 (193)∞∞2e50/15
CGA-ring16 holtschulte 1.2 (1)2.9 (4)76 (194)305 (292)∞∞∞2e50/15
CMAES Hutter hutter 1.1 (1)1.1 (1)1.9 (2)2.9 (4)2.4 (3)∞∞3030/15
DE Pal pal 1.2 (2)4.4 (3)9.2 (6)12 (9)7.9 (6)4.9 (3)4.8 (3)14/15
GA-100 holtschulte 1.9 (2)4.6 (3)194 (240)803 (675)1146 (1569)∞∞2e50/15
HCMA loshchilov 1.3 (1)3.4 (4)3.2 (3)2.8 (2)1.2 (1)0.78 (0.6)0.79 (0.6)15/15
HILL holtschulte 1.4 (2)10 (13)98 (130)305 (240)529 (684)∞∞2e50/15
HMLSL pal 3.0 (3)6.4 (5)18 (13)55 (38)37 (36)25 (24)24 (21)9/15
IP-10DDr liao 1.1 (1)2.0 (3)2.1 (2)2.6 (3)2.3 (3)1.4 (2)1.4 (2)15/15
IP-500 liao 1.1 (1)2.0 (3)2.1 (2)2.6 (3)117 (3)68 (2)65 (2)14/15
IPOP400D auger 1.4 (2)3.5 (4)3.2 (3)4.7 (6)3.2 (4)1.9 (2)1.8 (2)4/15
IP liao 1.1 (1)2.0 (3)2.1 (2)2.6 (3)6.0 (3)3.7 (2)3.6 (2)15/15
MEMPSODE voglis 2.0 (1)16 (14)17 (15)20 (7)11 (4)8.1 (4)9.0 (4)15/15
MLSL pal 3.3 (4)5.0 (8)40 (49)171 (207)∞∞∞4e40/15
OQNLP pal 5.0 (3)11 (14)26 (47)164 (163)69 (51)∞∞84250/15
P-DCN tran 0.92 (1)680 (31)715 (2170)552 (1613)445 (807)1289 (2107)5864 (1e4)2/15
P-zero tran 3.1 (0.8)4797 (9404)3110 (5258)2493 (3094)1329 (2006)2925 (2886)6427 (5758)1/15
PRCGA sawyerr 1.7 (2)4.8 (1)21 (36)54 (64)37 (53)39 (45)54 (50)8/15
SMAC-BBOB hutter 0.64 (0.7)0.68 (0.6)3.7 (3)∞∞∞∞3000/15
U-DCN tran 1.0 (1)18 (3)40 (69)2078 (3801)6725 (9286)∞∞3e60/15
U-zero tran 1.2 (1)3.7 (6)237 (396)2002 (2440)4928 (5239)∞∞3e60/15
fmincon pal 3.3 (3)7.0 (6)24 (24)133 (135)316 (373)∞∞4e40/15
fminunc pal 4.6 (4)21 (14)66 (60)784 (752)∞∞∞4e40/15
lmm-CMA-ES auger 1.4 (1)2.1 (2)2.3 (2)2.0 (2)0.93 (0.7)0.69 (0.9)0.68 (1.0)8/15
simplex pal 7.3 (2)2.9 (3)7.6 (9)15 (9)10 (6)11 (10)15 (12)9/15
tany liao 1.5 (3)3.0 (3)2.9 (3)2.3 (2)1.0 (0.9)0.67 (0.6)0.67 (0.5)15/15
texp liao 2.2 (3)3.0 (3)2.3 (2)1.9 (1)0.87 (0.5)0.61 (0.3)↑10.63 (0.3)↑115/15

Δ fopt
f17, 3-D		 1e1
4.0		 1e0
78		 1e-1
282		 1e-2
491		 1e-3
1134		 1e-5
2347		 1e-7
3469		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.4 (2)4.2 (6)1.6 (2)1.6 (1)0.80 (0.6)1.0 (0.8)1.0 (0.6)15/15
BIPOP-saACM-k loshchilov 4.9 (5)3.0 (0.9)2.1 (2)2.5 (2)1.5 (0.9)1.6 (2)1.6 (1)15/15
CGA-grid100 holtschulte 2.8 (3)20 (11)160 (184)2210 (2666)∞∞∞2e50/15
CGA-grid16 holtschulte 2.9 (5)33 (8)206 (297)1436 (1718)∞∞∞2e50/15
CGA-ring100 holtschulte 3.2 (4)11 (5)35 (22)158 (116)∞∞∞2e50/15
CGA-ring16 holtschulte 2.1 (2)5.3 (4)87 (179)298 (461)963 (805)∞∞2e50/15
CMAES Hutter hutter 2.4 (3)1.4 (1)0.95 (0.6)3.0 (4)∞∞∞3030/15
DE Pal pal 2.5 (3)2.6 (1)2.6 (1.0)2.8 (1)1.8 (0.5)1.6 (0.4)1.5 (0.4)15/15
GA-100 holtschulte 3.0 (3)7.6 (6)17 (15)315 (270)∞∞∞2e50/15
HCMA loshchilov 3.8 (4)2.0 (1)2.0 (2)2.2 (2)1.5 (0.9)1.7 (1)1.6 (1)15/15
HILL holtschulte 5.0 (5)141 (10)118 (287)450 (450)1962 (2414)∞∞2e50/15
HMLSL pal 20 (44)17 (36)14 (12)13 (10)7.9 (5)5.1 (3)7.0 (9)13/15
IP-10DDr liao 2.2 (2)2.9 (0.6)1.5 (0.4)1.6 (2)1.2 (1)1.3 (0.7)1.2 (0.5)15/15
IP-500 liao 2.2 (2)2.9 (0.6)1.5 (0.4)1.6 (2)1.2 (1)1.3 (0.7)1.2 (0.5)15/15
IPOP400D auger 1.1 (2)1.2 (0.6)1.3 (0.3)1.8 (2)0.96 (0.9)2.7 (4)4.1 (6)2/15
IP liao 2.2 (2)2.9 (0.6)1.5 (0.4)1.6 (2)1.2 (1)1.3 (0.7)1.2 (0.5)15/15
MEMPSODE voglis 2.9 (2)30 (29)22 (9)20 (10)13 (5)10 (4)15 (12)15/15
MLSL pal 21 (46)53 (67)274 (382)∞∞∞∞6e40/15
OQNLP pal 13 (16)7.0 (6)26 (23)62 (50)110 (137)∞∞89290/15
P-DCN tran 2.2 (2)6146 (2e4)9893 (1e4)5687 (7690)2496 (2958)8339 (8300)∞3e60/15
P-zero tran 2.1 (2)1.9e4 (4e4)2.1e4 (3e4)1.2e4 (2e4)7359 (1e4)∞∞3e60/15
PRCGA sawyerr 1.3 (1)2.8 (2)15 (36)30 (31)29 (30)20 (14)20 (22)13/15
SMAC-BBOB hutter 1.7 (2)2.2 (2)∞∞∞∞∞3000/15
U-DCN tran 2.0 (2)7.3 (6)2122 (4551)6059 (1e4)8260 (1e4)∞∞3e60/15
U-zero tran 2.1 (2)33 (15)2147 (6603)1.8e4 (2e4)1.8e4 (2e4)∞∞3e60/15
fmincon pal 19 (33)100 (116)248 (288)∞∞∞∞5e40/15
fminunc pal 9.0 (16)7.8 (6)493 (645)∞∞∞∞3e40/15
lmm-CMA-ES auger 0.85 (1)1.5 (2)0.92 (1)1.1 (0.9)0.67 (0.8)0.52 (0.6)0.56 (0.7)10/15
simplex pal 22 (29)21 (20)132 (151)211 (268)∞∞∞3e40/15
tany liao 2.7 (2)1.2 (0.4)1.7 (0.4)1.5 (2)0.89 (0.8)0.89 (0.7)0.97 (0.6)15/15
texp liao 18 (15)3.5 (5)2.3 (3)2.2 (2)1.5 (0.9)0.99 (0.2)0.83 (0.1)↑015/15

Δ fopt
f18, 3-D		 1e1
40		 1e0
145		 1e-1
1289		 1e-2
3084		 1e-3
3523		 1e-5
4738		 1e-7
5527		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.1 (2)2.2 (0.8)0.64 (0.7)0.48 (0.4)↑10.68 (0.6)0.71 (0.3)0.67 (0.3)15/15
BIPOP-saACM-k loshchilov 1.3 (0.9)2.7 (3)1.2 (0.8)0.63 (0.5)0.68 (0.5)0.97 (0.4)1.4 (1)15/15
CGA-grid100 holtschulte 4.7 (6)254 (386)∞∞∞∞∞2e50/15
CGA-grid16 holtschulte 5.2 (3)324 (783)528 (574)∞∞∞∞2e50/15
CGA-ring100 holtschulte 6.3 (8)27 (22)56 (64)345 (219)∞∞∞2e50/15
CGA-ring16 holtschulte 3.6 (3)10 (7)208 (260)∞∞∞∞2e50/15
CMAES Hutter hutter 1.3 (0.9)2.2 (2)1.7 (2)∞∞∞∞3030/15
DE Pal pal 1.8 (1)3.5 (2)1.2 (0.6)0.90 (0.4)1.1 (0.4)2.3 (0.5)2.3 (0.4)14/15
GA-100 holtschulte 2.9 (3)25 (9)72 (93)328 (231)∞∞∞2e50/15
HCMA loshchilov 1.5 (1)2.1 (1)1.1 (0.8)0.75 (0.7)0.76 (0.6)1.1 (0.4)1.3 (1)15/15
HILL holtschulte 2.9 (3)138 (188)787 (688)∞∞∞∞2e50/15
HMLSL pal 8.5 (6)15 (14)4.7 (2)3.2 (1)3.9 (1)5.0 (2)5.2 (2)14/15
IP-10DDr liao 3.1 (1)6.5 (10)1.2 (1)1.2 (0.9)1.1 (0.6)0.96 (0.5)0.90 (0.4)15/15
IP-500 liao 3.1 (1)6.5 (10)1.2 (1)1.2 (0.9)1.1 (0.6)0.96 (0.5)0.90 (0.4)15/15
IPOP400D auger 1.0 (1.0)3.3 (6)1.3 (1)1.6 (2)1.8 (2)3.0 (3)2.6 (3)2/15
IP liao 3.1 (1)6.5 (10)1.2 (1)1.2 (0.9)1.1 (0.6)0.96 (0.5)0.90 (0.4)15/15
MEMPSODE voglis 14 (21)34 (15)19 (26)11 (11)11 (10)11 (7)23 (19)15/15
MLSL pal 10 (6)109 (99)∞∞∞∞∞5e40/15
OQNLP pal 7.8 (3)18 (20)13 (9)∞∞∞∞91120/15
P-DCN tran 36 (22)1.0e4 (1e4)4657 (6983)2027 (2188)5548 (6166)∞∞3e60/15
P-zero tran 37 (5)1.8e4 (2e4)1.5e4 (3e4)1.4e4 (2e4)1.2e4 (2e4)∞∞3e60/15
PRCGA sawyerr 2.0 (2)45 (93)35 (43)45 (47)136 (170)220 (305)406 (504)1/15
SMAC-BBOB hutter 1.1 (0.9)10 (11)∞∞∞∞∞3000/15
U-DCN tran 2.8 (4)1546 (2997)3147 (3695)∞∞∞∞3e60/15
U-zero tran 2.3 (3)822 (1278)3073 (4845)6697 (6395)1.2e4 (1e4)∞∞3e60/15
fmincon pal 8.2 (4)168 (110)572 (850)∞∞∞∞5e40/15
fminunc pal 4.9 (3)70 (76)∞∞∞∞∞3e40/15
lmm-CMA-ES auger 0.75 (0.4)1.8 (2)0.94 (1)0.74 (0.7)0.77 (0.6)0.64 (0.3)0.96 (1)5/15
simplex pal 9.2 (1)31 (32)40 (37)∞∞∞∞4e40/15
tany liao 1.6 (0.9)3.0 (2)1.7 (2)1.3 (0.9)1.3 (0.6)1.1 (0.5)1.0 (0.5)15/15
texp liao 1.5 (1)4.7 (8)2.2 (2)1.7 (0.8)1.6 (0.7)1.4 (0.5)1.3 (0.5)15/15

Δ fopt
f19, 3-D		 1e1
1		 1e0
1		 1e-1
109		 1e-2
6764		 1e-3
7367		 1e-5
7399		 1e-7
7441		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 8.0 (9)676 (772)57 (90)3.7 (5)4.6 (5)4.6 (5)4.6 (5)15/15
BIPOP-saACM-k loshchilov 6.5 (6)247 (408)40 (39)2.3 (2)2.7 (3)2.7 (3)2.7 (3)15/15
CGA-grid100 holtschulte 11 (11)590 (699)123 (152)69 (94)143 (153)286 (370)∞2e50/15
CGA-grid16 holtschulte 5.7 (6)466 (430)217 (489)42 (73)73 (49)∞∞2e50/15
CGA-ring100 holtschulte 7.1 (9)451 (495)77 (77)21 (24)67 (74)293 (243)∞2e50/15
CGA-ring16 holtschulte 11 (10)319 (268)48 (18)16 (16)47 (36)289 (380)∞2e50/15
CMAES Hutter hutter 10 (12)150 (152)41 (33)∞∞∞∞3030/15
DE Pal pal 11 (10)191 (166)22 (18)2.9 (3)6.2 (5)7.4 (11)7.5 (9)9/15
GA-100 holtschulte 4.9 (6)373 (532)58 (42)13 (11)51 (53)302 (522)∞2e50/15
HCMA loshchilov 9.3 (8)126 (249)38 (40)2.4 (2)2.7 (2)2.8 (2)2.8 (2)15/15
HILL holtschulte 13 (12)531 (307)81 (107)96 (134)139 (216)140 (175)297 (262)0/15
HMLSL pal 1 (0)1 (0)0.16 (0)↑010 (8)14 (14)16 (19)16 (24)6/15
IP-10DDr liao 10 (14)179 (258)152 (271)7.5 (9)10 (8)10 (8)10 (8)15/15
IP-500 liao 10 (14)179 (258)152 (271)5.7 (7)7.0 (8)7.0 (8)7.0 (8)15/15
IPOP400D auger 1 (0)1 (0)27 (23)4.2 (5)3.9 (3)3.9 (5)3.9 (4)1/15
IP liao 10 (14)179 (258)152 (271)5.7 (7)7.0 (8)7.0 (8)7.0 (8)15/15
MEMPSODE voglis 14 (8)1190 (1882)78 (50)5.7 (4)24 (21)24 (20)25 (20)14/15
MLSL pal 1 (0)1 (0)0.16 (0)↑029 (33)36 (44)36 (45)36 (40)3/15
OQNLP pal 1 (0)1 (0)0.11 (0)★4↑00.80 (0.9)1.6 (2)1.6 (1)2.0 (2)5/15
P-DCN tran 16 (15)407 (347)171 (364)1263 (1888)2724 (4442)2726 (4967)2761 (2611)2/15
P-zero tran 12 (10)946 (1374)2391 (4329)2884 (3881)∞∞∞3e60/15
PRCGA sawyerr 4.5 (3)108 (64)12 (5)7.4 (10)10 (12)34 (22)61 (54)3/15
SMAC-BBOB hutter 1 (0)1 (0)∞∞∞∞∞3000/15
U-DCN tran 12 (12)360 (556)354 (922)255 (389)391 (498)1313 (1065)5820 (8063)0/15
U-zero tran 9.2 (6)268 (224)306 (725)369 (336)1302 (1731)5850 (6285)∞3e60/15
fmincon pal 1 (0)1 (0)0.16 (0)↑031 (45)59 (55)59 (57)59 (68)2/15
fminunc pal 1 (0)1 (0)0.16 (0.0)↑04.8 (4)8.3 (7)8.3 (5)8.2 (9)8/15
lmm-CMA-ES auger 1 (0)1 (0)27 (44)1.4 (1)2.0 (3)2.0 (2)2.0 (2)2/15
simplex pal 1 (0)1 (0)0.14 (0.0)↑03.5 (3)14 (13)14 (9)14 (9)6/15
tany liao 7.3 (7)157 (118)178 (266)10 (13)11 (12)11 (12)11 (12)15/15
texp liao 2.7 (1)60 (48)136 (298)7.2 (7)7.5 (9)7.5 (9)7.5 (9)15/15

Δ fopt
f20, 3-D		 1e1
8.0		 1e0
385		 1e-1
2291		 1e-2
2398		 1e-3
2481		 1e-5
2573		 1e-7
2776		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 4.5 (2)3.2 (4)6.9 (7)6.8 (7)6.7 (7)6.7 (7)6.3 (6)15/15
BIPOP-saACM-k loshchilov 2.1 (2)2.1 (2)3.6 (3)3.8 (3)3.7 (3)3.6 (3)3.3 (3)15/15
CGA-grid100 holtschulte 6.3 (8)8.0 (7)58 (79)111 (85)419 (453)∞∞2e50/15
CGA-grid16 holtschulte 3.4 (4)4.0 (4)41 (56)62 (70)92 (100)870 (1064)∞2e50/15
CGA-ring100 holtschulte 4.2 (6)6.3 (3)5.2 (3)9.3 (4)19 (9)122 (103)∞2e50/15
CGA-ring16 holtschulte 6.2 (6)2.2 (1)18 (33)19 (32)22 (31)74 (67)787 (919)0/15
CMAES Hutter hutter 2.8 (3)2.6 (2)∞∞∞∞∞3030/15
DE Pal pal 5.2 (5)2.0 (1)31 (46)29 (32)29 (30)28 (58)26 (27)7/15
GA-100 holtschulte 7.7 (9)3.9 (3)6.8 (2)9.2 (4)16 (8)102 (100)∞2e50/15
HCMA loshchilov 1.2 (0.2)4.2 (5)3.2 (3)3.1 (3)3.1 (3)3.1 (3)2.9 (3)15/15
HILL holtschulte 5.6 (4)8.2 (16)27 (35)27 (51)30 (34)103 (140)803 (608)0/15
HMLSL pal 2.0 (0)1.6 (1)14 (26)13 (19)13 (12)12 (18)11 (22)10/15
IP-10DDr liao 4.0 (1)4.6 (4)15 (11)14 (11)14 (11)13 (10)12 (9)15/15
IP-500 liao 4.0 (1)4.6 (4)10 (0.8)10 (1)10 (0.7)10 (0.8)10 (0.7)15/15
IPOP400D auger 1.2 (0.9)10 (10)∞∞∞∞∞20070/15
IP liao 4.0 (1)4.6 (4)10 (0.8)10 (1)10 (0.7)10 (0.8)10 (0.7)15/15
MEMPSODE voglis 4.6 (4)7.0 (6)15 (22)14 (21)14 (20)13 (19)13 (18)15/15
MLSL pal 2.0 (0)1.5 (2)2.4 (2)2.3 (2)2.2 (2)2.2 (2)2.0 (2)15/15
OQNLP pal 1.9 (0)2.0 (2)5.0 (5)4.8 (5)4.6 (4)4.4 (6)4.1 (6)4/15
P-DCN tran 4.4 (4)485 (927)1.9e4 (2e4)1.8e4 (2e4)1.8e4 (2e4)1.7e4 (3e4)1.6e4 (2e4)1/15
P-zero tran 7.7 (6)3221 (3569)6083 (6031)5812 (5449)5618 (9371)5418 (3912)5041 (6204)2/15
PRCGA sawyerr 1.7 (1)8.1 (13)21 (27)21 (25)21 (26)21 (24)21 (22)14/15
SMAC-BBOB hutter 0.99 (0.5)5.7 (4)∞∞∞∞∞3000/15
U-DCN tran 3.7 (2)8.7 (2)376 (683)360 (641)348 (618)345 (647)389 (564)7/15
U-zero tran 2.8 (2)30 (18)258 (417)247 (396)247 (383)331 (360)1942 (1621)0/15
fmincon pal 2.0 (0)1.6 (1)5.9 (8)5.7 (8)5.5 (7)5.3 (6)4.9 (7)13/15
fminunc pal 1.1 (0)2.2 (2)6.0 (7)5.8 (7)5.6 (7)5.4 (6)5.0 (6)13/15
lmm-CMA-ES auger 1.5 (0.8)8.6 (7)13 (16)12 (12)12 (9)12 (14)11 (17)1/15
simplex pal 6.0 (0.1)3.6 (3)9.3 (9)8.9 (11)8.6 (9)8.3 (10)7.7 (9)12/15
tany liao 3.1 (2)8.5 (8)15 (17)15 (16)14 (15)14 (15)13 (14)15/15
texp liao 0.99 (0.3)2.5 (2)21 (25)21 (24)21 (23)20 (23)19 (21)15/15

Δ fopt
f21, 3-D		 1e1
6.0		 1e0
184		 1e-1
425		 1e-2
439		 1e-3
458		 1e-5
469		 1e-7
482		 #succ
14/15
BIPOP-aCMA-STEP loshchilov 2.5 (3)8.1 (16)12 (7)12 (7)12 (7)12 (7)12 (7)15/15
BIPOP-saACM-k loshchilov 1.0 (0.9)8.6 (20)7.8 (12)7.8 (12)7.6 (12)7.5 (11)7.4 (11)15/15
CGA-grid100 holtschulte 1.3 (2)10 (7)30 (9)47 (49)105 (167)284 (357)815 (741)4/15
CGA-grid16 holtschulte 1.1 (0.9)2.4 (4)11 (17)20 (35)29 (36)91 (93)240 (235)7/15
CGA-ring100 holtschulte 1.5 (2)4.0 (4)3.1 (3)7.6 (3)11 (6)34 (15)158 (156)11/15
CGA-ring16 holtschulte 1.5 (2)4.1 (3)3.5 (2)4.5 (3)6.6 (6)22 (22)83 (68)15/15
CMAES Hutter hutter 2.1 (0.9)2.2 (3)1.7 (2)1.7 (1)1.7 (2)1.7 (2)1.7 (1)5/15
DE Pal pal 2.1 (2)2.2 (3)23 (71)22 (68)22 (66)22 (64)22 (63)13/15
GA-100 holtschulte 0.86 (0.8)3.0 (3)3.1 (2)5.0 (2)7.1 (4)15 (5)38 (23)15/15
HCMA loshchilov 2.2 (2)3.3 (7)7.5 (5)7.9 (5)7.8 (5)7.9 (5)7.7 (5)15/15
HILL holtschulte 5.5 (9)186 (412)130 (183)126 (173)122 (168)127 (166)169 (221)12/15
HMLSL pal 4.1 (6)2.4 (2)1.7 (1)1.8 (1)1.7 (1)1.8 (1)1.8 (1)15/15
IP-10DDr liao 1.6 (1)4.9 (5)9.5 (15)12 (15)11 (14)11 (14)11 (14)15/15
IP-500 liao 1.6 (1)4.9 (5)18 (15)44 (56)62 (154)62 (154)61 (149)15/15
IPOP400D auger 2.0 (1)5.3 (7)3.3 (5)3.3 (6)3.3 (5)3.3 (5)3.4 (4)10/15
IP liao 1.6 (1)4.9 (5)15 (15)38 (59)131 (60)221 (64)217 (63)15/15
MEMPSODE voglis 2.3 (2)7.8 (13)18 (11)19 (11)18 (12)18 (14)25 (52)15/15
MLSL pal 4.0 (6)1.2 (0.9)1.5 (2)1.5 (2)1.4 (2)1.4 (2)1.5 (2)15/15
OQNLP pal 4.0 (4)1.5 (1)1.8 (3)1.9 (2)1.8 (2)1.8 (3)2.4 (2)13/15
P-DCN tran 1.5 (2)3.3e4 (4e4)4.6e4 (6e4)4.4e4 (6e4)4.3e4 (6e4)4.2e4 (4e4)4.0e4 (5e4)2/15
P-zero tran 1.4 (2)1.9e4 (1e4)1.4e4 (3e4)1.4e4 (2e4)1.3e4 (2e4)1.3e4 (1e4)1.2e4 (2e4)5/15
PRCGA sawyerr 0.71 (0.9)9.2 (9)15 (20)18 (19)27 (29)41 (39)47 (54)15/15
SMAC-BBOB hutter 1.2 (1)0.74 (0.5)0.56 (0.4)1.3 (1)2.4 (2)∞∞3000/15
U-DCN tran 1.2 (2)2.9 (5)2.9 (3)4.1 (4)6.2 (5)15 (14)32 (27)15/15
U-zero tran 0.98 (1)7.5 (10)11 (18)13 (22)17 (20)40 (48)119 (122)15/15
fmincon pal 4.3 (6)1.6 (2)1.1 (1)1.1 (1)1.1 (1)1.1 (1)1.2 (1)15/15
fminunc pal 4.6 (7)1.9 (2)1.7 (1)1.7 (1)1.6 (1)1.7 (1)1.7 (1)15/15
lmm-CMA-ES auger 2.2 (2)2.1 (3)2.2 (3)2.6 (4)2.5 (3)2.6 (4)2.8 (2)10/15
simplex pal 19 (21)2.4 (1)1.6 (1)1.6 (1)1.6 (1)1.6 (1)1.6 (1)15/15
tany liao 1.1 (1)4.9 (6)9.5 (13)10 (13)10 (12)10 (12)10 (12)15/15
texp liao 1.3 (2)4.9 (6)8.6 (11)10 (13)10 (12)10 (12)10 (12)15/15

Δ fopt
f22, 3-D		 1e1
18		 1e0
170		 1e-1
354		 1e-2
362		 1e-3
384		 1e-5
401		 1e-7
414		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.4 (1.0)6.9 (7)11 (16)12 (16)15 (20)14 (20)14 (19)15/15
BIPOP-saACM-k loshchilov 2.4 (1)4.5 (5)15 (17)15 (16)15 (15)14 (15)14 (14)15/15
CGA-grid100 holtschulte 1.7 (2)2.7 (3)41 (17)109 (206)154 (208)935 (1024)2593 (3611)2/15
CGA-grid16 holtschulte 1.8 (2)7.4 (4)83 (213)138 (219)167 (313)323 (410)880 (1038)3/15
CGA-ring100 holtschulte 2.0 (2)3.3 (4)4.6 (5)8.3 (5)43 (13)194 (225)377 (401)8/15
CGA-ring16 holtschulte 3.0 (3)4.2 (8)92 (218)96 (210)106 (195)343 (397)516 (469)3/15
CMAES Hutter hutter 3.0 (3)1.7 (2)2.0 (2)2.0 (2)2.6 (4)5.4 (8)5.4 (4)2/15
DE Pal pal 1.4 (1)56 (177)86 (85)85 (84)81 (118)79 (76)77 (146)10/15
GA-100 holtschulte 1.7 (1)65 (3)39 (39)55 (85)127 (238)239 (299)424 (599)8/15
HCMA loshchilov 1.3 (1)3.5 (8)12 (12)23 (12)22 (11)27 (38)26 (37)15/15
HILL holtschulte 2.1 (2)298 (459)335 (640)358 (611)427 (416)796 (1033)1621 (1471)2/15
HMLSL pal 2.3 (3)1.7 (2)1.4 (1)1.4 (1)1.4 (1)1.4 (1)1.5 (0.9)15/15
IP-10DDr liao 1.7 (2)3.4 (3)11 (26)47 (37)45 (39)43 (38)42 (36)15/15
IP-500 liao 1.7 (2)3.4 (3)41 (120)108 (246)163 (232)1578 (3741)1824 (3630)12/15
IPOP400D auger 2.0 (3)8.5 (11)40 (41)40 (29)38 (50)36 (40)35 (30)2/15
IP liao 1.7 (2)3.4 (3)37 (113)101 (213)351 (814)1883 (3761)1824 (3623)12/15
MEMPSODE voglis 1.2 (0.9)17 (26)23 (37)24 (38)22 (36)22 (35)21 (33)15/15
MLSL pal 2.0 (2)1.3 (0.8)1.7 (2)1.7 (2)1.6 (2)1.6 (2)1.8 (2)15/15
OQNLP pal 3.0 (4)3.3 (6)1.8 (2)1.8 (2)1.7 (2)1.7 (2)2.9 (5)10/15
P-DCN tran 2.0 (3)1.2e4 (8826)2.3e4 (3e4)2.3e4 (4e4)2.1e4 (3e4)2.1e4 (3e4)2.0e4 (3e4)4/15
P-zero tran 2.3 (2)3.5e4 (4e4)5.5e4 (5e4)5.4e4 (7e4)5.1e4 (7e4)4.9e4 (6e4)4.7e4 (6e4)2/15
PRCGA sawyerr 1.5 (2)9.4 (20)31 (63)59 (116)69 (109)113 (135)129 (148)15/15
SMAC-BBOB hutter 0.80 (0.8)0.58 (0.6)1.4 (2)2.1 (2)5.3 (4)∞∞3000/15
U-DCN tran 1.4 (2)2.3 (2)4.3 (4)21 (41)51 (90)180 (322)587 (884)14/15
U-zero tran 1.8 (2)3.5 (3)5.3 (7)106 (109)136 (151)1871 (3647)3730 (6211)9/15
fmincon pal 2.4 (3)1.1 (0.8)0.93 (0.9)0.96 (0.9)0.96 (0.8)1.00 (0.8)1.1 (0.8)15/15
fminunc pal 1.8 (2)1.2 (1.0)0.86 (0.5)0.90 (0.5)0.90 (0.3)0.98 (0.5)1.1 (0.4)15/15
lmm-CMA-ES auger 1.3 (1)5.1 (10)10 (13)13 (11)12 (16)12 (15)11 (19)5/15
simplex pal 10 (9)3.3 (3)1.9 (1)2.0 (1)1.9 (1)1.8 (1.0)1.8 (1.0)15/15
tany liao 1.4 (2)8.3 (9)20 (25)39 (65)58 (109)60 (105)58 (102)15/15
texp liao 5.1 (2)11 (12)12 (19)12 (19)11 (18)11 (17)11 (17)15/15

Δ fopt
f23, 3-D		 1e1
3.0		 1e0
407		 1e-1
906		 1e-2
1215		 1e-3
2214		 1e-5
2293		 1e-7
2393		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 5.1 (5)5.2 (4)5.3 (5)4.3 (4)2.4 (2)2.5 (2)2.5 (2)15/15
BIPOP-saACM-k loshchilov 3.0 (3)7.9 (9)5.8 (6)5.2 (5)2.9 (3)3.1 (3)3.3 (3)15/15
CGA-grid100 holtschulte 3.6 (2)22 (20)2439 (1490)∞∞∞∞2e50/15
CGA-grid16 holtschulte 2.8 (4)20 (20)1201 (1325)∞∞∞∞2e50/15
CGA-ring100 holtschulte 2.8 (3)33 (36)2412 (2939)∞∞∞∞2e50/15
CGA-ring16 holtschulte 3.6 (5)9.4 (9)1192 (1477)∞∞∞∞2e50/15
CMAES Hutter hutter 3.2 (3)∞∞∞∞∞∞3030/15
DE Pal pal 3.6 (4)6.3 (6)18 (5)21 (4)13 (3)13 (3)13 (3)15/15
GA-100 holtschulte 4.1 (3)23 (22)1195 (1283)∞∞∞∞2e50/15
HCMA loshchilov 6.4 (7)5.3 (5)6.1 (6)5.0 (4)3.2 (3)3.3 (3)3.5 (3)15/15
HILL holtschulte 5.5 (6)15 (28)2420 (2525)∞∞∞∞2e50/15
HMLSL pal 12 (14)1.7 (2)3.7 (4)3.0 (3)4.2 (5)∞∞6e40/15
IP-10DDr liao 3.3 (4)5.2 (4)6.8 (8)5.2 (6)2.9 (3)3.0 (3)3.0 (3)15/15
IP-500 liao 3.3 (4)5.2 (4)6.8 (8)5.2 (6)2.9 (3)3.0 (3)3.0 (3)15/15
IPOP400D auger 3.6 (4)5.1 (6)7.2 (8)5.5 (7)4.3 (5)4.2 (4)6.1 (7)2/15
IP liao 3.3 (4)5.2 (4)6.8 (8)5.2 (6)2.9 (3)3.0 (3)3.0 (3)15/15
MEMPSODE voglis 2.3 (3)3.8 (6)8.6 (7)8.5 (10)5.0 (5)6.0 (6)5.7 (6)15/15
MLSL pal 13 (14)1.2 (0.9)2.7 (3)4.8 (6)4.1 (3)150 (136)∞5e40/15
OQNLP pal 12 (29)2.1 (3)16 (28)27 (22)42 (34)∞∞1e40/15
P-DCN tran 3.1 (4)6.7 (4)1299 (1823)1.0e4 (8240)2.0e4 (2e4)∞∞3e60/15
P-zero tran 3.3 (4)15 (9)1215 (1653)1.6e4 (2e4)∞∞∞3e60/15
PRCGA sawyerr 3.9 (4)7.5 (9)31 (27)85 (109)99 (72)153 (115)151 (142)4/15
SMAC-BBOB hutter 3.0 (3)∞∞∞∞∞∞3000/15
U-DCN tran 2.5 (2)11 (11)4413 (5940)∞∞∞∞3e60/15
U-zero tran 2.3 (2)24 (28)4660 (5996)∞∞∞∞3e60/15
fmincon pal 11 (13)0.95 (0.7)2.4 (2)4.2 (3)4.4 (3)50 (62)∞5e40/15
fminunc pal 10 (18)3.0 (4)66 (110)∞∞∞∞4e40/15
lmm-CMA-ES auger 4.8 (4)2.5 (4)3.7 (3)4.0 (3)2.2 (3)2.2 (3)2.1 (2)5/15
simplex pal 69 (90)2.0 (1)2.1 (1)1.9 (1)1.4 (2)1.5 (2)1.5 (1)15/15
tany liao 2.5 (2)7.1 (6)7.4 (5)5.7 (4)3.2 (2)3.3 (2)3.3 (2)15/15
texp liao 3.2 (3)4.3 (4)4.4 (3)3.5 (2)2.0 (1)2.1 (1)2.1 (1)15/15

Δ fopt
f24, 3-D		 1e1
97		 1e0
10391		 1e-1
1.0e5		 1e-2
3.6e5		 1e-3
3.6e5		 1e-5
3.6e5		 1e-7
3.6e5		 #succ
2/15
BIPOP-aCMA-STEP loshchilov 2.2 (1)6.2 (10)9.0 (8)5.2 (5)7.3 (7)7.3 (9)7.3 (10)10/15
BIPOP-saACM-k loshchilov 1.6 (1)3.3 (4)9.0 (12)5.7 (7)7.2 (7)7.2 (7)8.2 (7)10/15
CGA-grid100 holtschulte 8.5 (9)210 (263)∞∞∞∞∞2e50/15
CGA-grid16 holtschulte 6.7 (6)101 (120)∞∞∞∞∞2e50/15
CGA-ring100 holtschulte 10 (8)27 (36)∞∞∞∞∞2e50/15
CGA-ring16 holtschulte 5.9 (6)42 (42)∞∞∞∞∞2e50/15
CMAES Hutter hutter 1.6 (1)∞∞∞∞∞∞3030/15
DE Pal pal 3.1 (3)24 (20)3.9 (7)1.1 (2)1.1 (1)1.1 (1)1.1 (1)2/15
GA-100 holtschulte 4.6 (4)∞∞∞∞∞∞2e50/15
HCMA loshchilov 1.6 (0.8)6.5 (10)10 (15)10 (26)10 (12)10 (11)10 (15)8/15
HILL holtschulte 5.3 (7)96 (99)∞∞∞∞∞2e50/15
HMLSL pal 2.4 (2)10 (10)2.7 (2)0.78 (0.8)0.78 (1)0.79 (0.6)0.79 (1)3/15
IP-10DDr liao 2.2 (3)115 (155)136 (165)61 (57)61 (82)61 (65)61 (80)2/15
IP-500 liao 2.2 (3)∞∞∞∞∞∞3e60/15
IPOP400D auger 2.0 (1)2.8 (3)∞∞∞∞∞20140/15
IP liao 2.2 (3)∞∞∞∞∞∞3e60/15
MEMPSODE voglis 9.2 (11)31 (33)3.5 (4)1.0 (1.0)1.1 (1.0)1.1 (1.0)1.1 (1.0)14/15
MLSL pal 2.0 (1)2.2 (2)∞∞∞∞∞3e40/15
OQNLP pal 4.1 (1)0.67 (0.9)0.24 (0.3)0.17 (0.3)0.17 (0.2)0.17 (0.2)0.17 (0.3)2/15
P-DCN tran 51 (111)1159 (1948)119 (102)35 (40)35 (33)35 (52)35 (36)3/15
P-zero tran 309 (348)∞∞∞∞∞∞3e60/15
PRCGA sawyerr 2.7 (3)5.1 (5)4.5 (3)7.1 (6)∞∞∞2e50/15
SMAC-BBOB hutter 4.3 (5)∞∞∞∞∞∞3000/15
U-DCN tran 5.0 (6)143 (166)∞∞∞∞∞3e60/15
U-zero tran 4.4 (4)466 (329)∞∞∞∞∞3e60/15
fmincon pal 1.9 (1)2.7 (5)∞∞∞∞∞4e40/15
fminunc pal 3.4 (2)3.0 (3)∞∞∞∞∞4e40/15
lmm-CMA-ES auger 1.5 (1)0.84 (1.0)∞∞∞∞∞20100/15
simplex pal 5.5 (2)7.0 (6)∞∞∞∞∞4e40/15
tany liao 1.8 (1)57 (52)75 (99)122 (82)122 (107)122 (117)122 (176)1/15
texp liao 1.7 (1)2.2 (2)4.2 (4)2.4 (2)2.4 (2)2.4 (2)2.4 (2)15/15

Previous dimension | Dimension = 5 | Next dimension

Δ fopt
f1, 5-D		 1e1
11		 1e0
12		 1e-1
12		 1e-2
12		 1e-3
12		 1e-5
12		 1e-7
12		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.1 (0.9)4.5 (0)6.0 (0.6)7.4 (0.6)8.5 (0.8)11 (0.2)14 (0.6)15/15
BIPOP-saACM-k loshchilov 3.7 (2)7.8 (2)10 (0.9)11 (0.8)13 (1)16 (1)20 (2)15/15
CGA-grid100 holtschulte 16 (27)154 (35)458 (166)1135 (725)3333 (2190)7.4e4 (8e4)∞2e50/15
CGA-grid16 holtschulte 11 (12)38 (26)99 (46)263 (142)641 (300)6061 (2215)3.0e5 (2e5)0/15
CGA-ring100 holtschulte 12 (13)109 (46)320 (78)662 (253)1256 (522)4291 (956)4.8e4 (4e4)0/15
CGA-ring16 holtschulte 6.7 (7)28 (12)67 (16)154 (50)271 (120)2085 (1080)4.7e4 (3e4)0/15
CMAES Hutter hutter 1.9 (1)8.4 (3)15 (3)23 (5)28 (5)66 (25)∞5060/15
DE Pal pal 4.9 (3)21 (7)40 (6)62 (6)80 (7)122 (9)160 (8)15/15
GA-100 holtschulte 6.1 (4)71 (32)175 (68)388 (101)882 (250)5282 (1934)1.5e5 (2e5)0/15
HCMA loshchilov 1.1 (0)1 (0)★31 (0)★41 (0)★41 (0)★41 (0)★41 (0)★415/15
HILL holtschulte 4.3 (3)8.4 (6)22 (8)62 (22)213 (110)2667 (1319)3.9e4 (2e4)0/15
HMLSL pal 0.71 (0.3)1.4 (0.5)2.1 (0)2.1 (0.2)2.6 (0.2)3.5 (0.2)3.9 (0.5)15/15
IP-10DDr liao 3.0 (1)7.6 (1)13 (3)21 (4)27 (3)41 (4)54 (6)15/15
IP-500 liao 3.0 (1)7.6 (1)13 (3)21 (4)27 (3)41 (4)54 (6)15/15
IPOP400D auger 2.2 (1)7.0 (3)14 (3)20 (3)25 (3)38 (3)52 (3)15/15
IP liao 3.0 (1)7.6 (1)13 (3)21 (4)27 (3)41 (4)54 (6)15/15
MEMPSODE voglis 5.7 (4)7.4 (0)7.4 (0)7.4 (0)7.4 (0)7.4 (0)7.6 (0.2)15/15
MLSL pal 0.71 (0.3)1.4 (0.5)2.1 (0)2.1 (0.2)2.6 (0.2)3.5 (0.2)3.9 (0.5)15/15
OQNLP pal 1.7 (0.1)1.8 (0.1)2.2 (0.3)2.4 (0.1)2.5 (0.1)2.6 (0.0)2.6 (0.0)15/15
P-DCN tran 7.5 (12)28 (20)42 (20)50 (20)65 (26)203 (48)502 (149)15/15
P-zero tran 11 (14)30 (26)41 (30)47 (28)55 (28)136 (36)675 (240)15/15
PRCGA sawyerr 4.1 (7)25 (12)49 (18)85 (25)168 (66)358 (461)1786 (3343)15/15
SMAC-BBOB hutter 0.91 (0.3)1.5 (0.3)2.4 (0.4)3.6 (0.9)121 (105)∞∞5000/15
U-DCN tran 3.1 (3)21 (12)85 (46)190 (94)373 (151)862 (558)2321 (1730)15/15
U-zero tran 3.2 (3)14 (8)55 (44)180 (120)388 (308)4106 (2947)3.9e4 (2e4)15/15
fmincon pal 0.71 (0.3)1.4 (0.5)2.1 (0)2.1 (0.2)2.6 (0.2)3.5 (0.2)3.9 (0.5)15/15
fminunc pal 1.0 (0.3)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)15/15
lmm-CMA-ES auger 1.6 (0.9)2.9 (0.3)3.6 (0.4)4.4 (0.6)5.1 (0.5)6.8 (0.6)8.5 (0.7)15/15
simplex pal 21 (37)64 (27)77 (22)84 (14)87 (12)92 (12)96 (12)15/15
tany liao 2.7 (2)7.5 (2)16 (4)24 (4)31 (3)45 (3)57 (3)15/15
texp liao 2.7 (2)6.8 (3)13 (6)21 (6)29 (4)45 (4)56 (4)15/15

Δ fopt
f2, 5-D		 1e1
83		 1e0
87		 1e-1
88		 1e-2
89		 1e-3
90		 1e-5
92		 1e-7
94		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.4 (0.2)1.5 (0.2)1.8 (0.2)2.0 (0.2)2.2 (0.3)2.5 (0.2)2.8 (0.3)15/15
BIPOP-saACM-k loshchilov 3.6 (0.8)4.0 (0.7)4.1 (0.7)4.4 (0.7)4.6 (0.7)5.0 (0.7)5.4 (0.7)15/15
CGA-grid100 holtschulte 322 (261)1251 (1249)4920 (6318)∞∞∞∞2e50/15
CGA-grid16 holtschulte 127 (144)349 (339)948 (871)4265 (4774)2.0e4 (2e4)∞∞2e50/15
CGA-ring100 holtschulte 138 (70)241 (109)1459 (1699)2893 (3575)1.3e4 (2e4)∞∞2e50/15
CGA-ring16 holtschulte 68 (39)251 (172)716 (706)3640 (3526)6295 (8293)∞∞2e50/15
CMAES Hutter hutter ∞∞∞∞∞∞∞5060/15
DE Pal pal 11 (1)13 (1)15 (1)18 (2)20 (1)25 (1)30 (1)15/15
GA-100 holtschulte 89 (71)294 (214)2078 (1923)9299 (9484)4.1e4 (5e4)∞∞2e50/15
HCMA loshchilov 1.5 (0.2)1.6 (0.1)1.8 (0.1)2.0 (0.1)2.2 (0.3)2.5 (0.2)2.8 (0.2)15/15
HILL holtschulte 95 (73)303 (212)1209 (1456)5841 (5691)1.3e4 (1e4)∞∞2e50/15
HMLSL pal 1.9 (1)2.1 (1)2.3 (1)2.4 (1)2.6 (1)3.9 (1)5.6 (7)15/15
IP-10DDr liao 13 (4)17 (5)19 (4)20 (3)21 (3)23 (3)24 (3)15/15
IP-500 liao 13 (4)17 (5)19 (4)20 (3)21 (3)23 (3)24 (3)15/15
IPOP400D auger 13 (6)15 (3)17 (2)18 (2)19 (2)20 (1)21 (2)15/15
IP liao 13 (4)17 (5)19 (4)20 (3)21 (3)23 (3)24 (3)15/15
MEMPSODE voglis 3.6 (3)4.2 (3)4.6 (3)4.7 (3)4.7 (3)5.0 (3)5.2 (3)15/15
MLSL pal 1.9 (1)2.1 (1)2.3 (1)2.4 (1)2.6 (1)3.7 (1)5.1 (5)15/15
OQNLP pal 2.0 (0.8)2.5 (1)2.6 (1)2.7 (1)2.8 (1)3.0 (1)131 (129)3/15
P-DCN tran 20 (9)28 (9)47 (23)76 (56)139 (99)212 (111)612 (820)15/15
P-zero tran 16 (10)21 (11)44 (32)120 (77)225 (134)2833 (3665)1.8e4 (2e4)7/15
PRCGA sawyerr 13 (4)38 (62)52 (89)80 (98)353 (339)747 (1082)1104 (1456)15/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞5000/15
U-DCN tran 107 (161)194 (192)265 (226)397 (240)1226 (856)1344 (776)7420 (6776)12/15
U-zero tran 176 (247)783 (969)1970 (1624)7824 (6426)2.0e4 (2e4)∞∞5e60/15
fmincon pal 1.8 (1)1.8 (0.9)2.0 (1.0)2.1 (1)2.4 (1)3.1 (2)4.0 (2)15/15
fminunc pal 4.5 (2)5.8 (2)6.6 (2)6.9 (2)7.1 (2)7.4 (2)7.6 (2)15/15
lmm-CMA-ES auger 3.2 (0.8)4.0 (0.8)4.4 (0.9)4.6 (1)4.8 (1)5.0 (1)5.4 (1)15/15
simplex pal 19 (12)25 (9)28 (4)28 (4)28 (3)28 (3)28 (3)15/15
tany liao 15 (3)17 (3)18 (2)19 (1)20 (1)22 (1.0)23 (1)15/15
texp liao 15 (4)18 (4)20 (2)21 (2)22 (2)23 (2)24 (2)15/15

Δ fopt
f3, 5-D		 1e1
716		 1e0
1622		 1e-1
1637		 1e-2
1642		 1e-3
1646		 1e-5
1650		 1e-7
1654		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 0.27 (0.1)↑00.29 (0.1)↑00.32 (0.1)↑00.34 (0.1)↑00.35 (0.1)↑00.39 (0.1)↑00.42 (0.1)↑015/15
BIPOP-saACM-k loshchilov 1.1 (0.9)12 (15)94 (38)94 (38)94 (38)94 (38)95 (38)15/15
CGA-grid100 holtschulte 5.3 (4)19 (7)56 (21)401 (337)∞∞∞2e50/15
CGA-grid16 holtschulte 1.1 (0.5)4.2 (2)11 (5)35 (18)129 (102)∞∞2e50/15
CGA-ring100 holtschulte 4.4 (1)7.4 (2)16 (4)28 (12)56 (21)∞∞2e50/15
CGA-ring16 holtschulte 0.98 (0.3)1.9 (0.7)5.7 (4)17 (8)36 (22)∞∞2e50/15
CMAES Hutter hutter 1.2 (0.8)∞∞∞∞∞∞5060/15
DE Pal pal 1.2 (0.4)1.7 (0.3)1.9 (0.3)2.1 (0.3)2.3 (0.3)2.5 (0.3)2.8 (0.4)15/15
GA-100 holtschulte 2.3 (0.6)4.1 (2)11 (5)33 (13)77 (25)2257 (2159)∞2e50/15
HCMA loshchilov 0.29 (0.1)↑03.0 (5)55 (87)54 (87)55 (87)55 (86)55 (86)15/15
HILL holtschulte 0.36 (0.2)↑01.4 (1.0)4.6 (3)18 (13)46 (19)∞∞2e50/15
HMLSL pal 1.3 (0.2)2.2 (1)3.2 (1.0)3.2 (1)3.2 (1)3.3 (1)3.3 (1)15/15
IP-10DDr liao 0.99 (1)15 (21)60 (67)60 (67)60 (67)61 (67)61 (67)15/15
IP-500 liao 0.99 (1)18 (11)257 (433)258 (434)258 (433)259 (432)259 (432)15/15
IPOP400D auger 1.2 (2)∞∞∞∞∞∞28050/15
IP liao 0.99 (1)48 (11)2690 (6111)2683 (3815)2676 (3047)2671 (4550)2665 (6066)8/15
MEMPSODE voglis 3.6 (3)9.2 (6)15 (6)15 (6)15 (6)15 (6)15 (6)15/15
MLSL pal 5.6 (5)279 (257)∞∞∞∞∞6e40/15
OQNLP pal 8.6 (13)41 (46)∞∞∞∞∞1e40/15
P-DCN tran 7.5 (11)26 (29)153 (178)152 (178)152 (177)155 (176)166 (173)15/15
P-zero tran 9.4 (9)44 (27)111 (41)111 (41)111 (41)116 (41)223 (75)15/15
PRCGA sawyerr 1.3 (0.6)7.1 (5)17 (18)19 (19)19 (19)23 (24)26 (24)15/15
SMAC-BBOB hutter 5.1 (3)∞∞∞∞∞∞5000/15
U-DCN tran 0.85 (0.5)3.6 (2)5.4 (3)8.1 (3)10 (4)65 (62)374 (678)13/15
U-zero tran 0.62 (0.5)2.4 (1)8.4 (5)35 (29)88 (61)1027 (650)∞5e60/15
fmincon pal 5.2 (6)122 (148)∞∞∞∞∞6e40/15
fminunc pal 5.3 (5)253 (242)∞∞∞∞∞6e40/15
lmm-CMA-ES auger 0.45 (0.1)↑15.3 (7)∞∞∞∞∞28060/15
simplex pal 12 (7)698 (777)692 (716)690 (801)688 (1102)686 (1044)685 (637)1/15
tany liao 0.94 (1)7.2 (8)51 (41)51 (41)51 (41)51 (40)52 (40)15/15
texp liao 1.1 (1)10 (12)42 (35)43 (35)43 (35)43 (34)44 (34)15/15

Δ fopt
f4, 5-D		 1e1
809		 1e0
1633		 1e-1
1688		 1e-2
1758		 1e-3
1817		 1e-5
1886		 1e-7
1903		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 0.26 (0.1)↑00.60 (0.3)↑00.85 (0.2)1.1 (0.3)1.3 (0.3)1.6 (0.3)1.9 (0.2)15/15
BIPOP-saACM-k loshchilov 1.7 (1)9029 (1e4)∞∞∞∞∞5e60/15
CGA-grid100 holtschulte 7.2 (3)24 (11)58 (37)708 (603)∞∞∞2e50/15
CGA-grid16 holtschulte 1.6 (0.6)5.4 (3)17 (7)44 (28)302 (252)∞∞2e50/15
CGA-ring100 holtschulte 5.0 (1)10 (2)19 (5)34 (11)86 (42)∞∞2e50/15
CGA-ring16 holtschulte 1.1 (0.4)2.7 (1)7.0 (5)19 (11)66 (47)∞∞2e50/15
CMAES Hutter hutter 1.1 (1)∞∞∞∞∞∞5060/15
DE Pal pal 1.3 (0.4)12 (31)165 (163)159 (171)154 (234)149 (186)148 (79)4/15
GA-100 holtschulte 2.5 (0.7)5.9 (3)15 (5)34 (16)182 (147)∞∞2e50/15
HCMA loshchilov 0.29 (0.1)↑074 (28)457 (1482)439 (1423)425 (1376)410 (1326)406 (1314)13/15
HILL holtschulte 0.48 (0.2)↑12.1 (2)7.8 (4)27 (15)88 (87)∞∞2e50/15
HMLSL pal 1.5 (0.7)13 (31)93 (104)90 (143)87 (97)84 (106)83 (79)6/15
IP-10DDr liao 2.6 (3)2722 (2555)4.3e4 (6e4)4.1e4 (3e4)4.0e4 (4e4)3.8e4 (5e4)3.8e4 (4e4)1/15
IP-500 liao 2.6 (3)∞∞∞∞∞∞5e60/15
IPOP400D auger 1.5 (2)∞∞∞∞∞∞28050/15
IP liao 2.6 (3)∞∞∞∞∞∞5e60/15
MEMPSODE voglis 3.2 (3)12 (4)23 (16)25 (22)24 (21)23 (21)24 (23)15/15
MLSL pal 22 (24)∞∞∞∞∞∞6e40/15
OQNLP pal 25 (27)∞∞∞∞∞∞2e40/15
P-DCN tran 42 (46)74 (116)210 (286)201 (275)195 (266)189 (258)189 (255)15/15
P-zero tran 24 (9)81 (40)139 (52)134 (50)131 (49)132 (58)256 (95)15/15
PRCGA sawyerr 2.0 (1)11 (8)32 (34)33 (32)34 (31)46 (41)55 (55)15/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞5000/15
U-DCN tran 1.1 (0.7)6.1 (4)8.2 (6)10 (6)12 (6)89 (192)876 (1356)8/15
U-zero tran 0.76 (0.4)4.7 (2)12 (10)31 (31)112 (97)1134 (559)∞5e60/15
fmincon pal 12 (10)∞∞∞∞∞∞7e40/15
fminunc pal 27 (40)∞∞∞∞∞∞6e40/15
lmm-CMA-ES auger 1.1 (1)∞∞∞∞∞∞28100/15
simplex pal 40 (34)∞∞∞∞∞∞8e40/15
tany liao 2.0 (2)3010 (4041)∞∞∞∞∞5e60/15
texp liao 1.6 (2)5051 (2550)∞∞∞∞∞5e60/15

Δ fopt
f5, 5-D		 1e1
10		 1e0
10		 1e-1
10		 1e-2
10		 1e-3
10		 1e-5
10		 1e-7
10		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.2 (0)1.2 (0)1.2 (0)1.2 (0)1.2 (0)1.2 (0)1.2 (0)15/15
BIPOP-saACM-k loshchilov 4.9 (2)6.3 (2)6.4 (2)6.4 (2)6.4 (2)6.4 (2)6.4 (2)15/15
CGA-grid100 holtschulte 116 (69)247 (102)264 (76)264 (76)264 (76)264 (76)264 (76)15/15
CGA-grid16 holtschulte 28 (11)46 (14)49 (12)50 (15)51 (14)51 (14)51 (14)15/15
CGA-ring100 holtschulte 94 (31)171 (26)190 (42)201 (42)201 (42)201 (42)201 (42)15/15
CGA-ring16 holtschulte 20 (10)41 (14)47 (12)47 (12)48 (12)48 (12)48 (12)15/15
CMAES Hutter hutter 4.0 (2)5.5 (2)5.6 (1)5.6 (1)5.6 (1)5.6 (1)5.6 (1)15/15
DE Pal pal 29 (14)108 (17)193 (31)295 (22)389 (26)572 (37)771 (41)15/15
GA-100 holtschulte 55 (19)100 (12)121 (27)124 (27)124 (27)124 (27)124 (27)15/15
HCMA loshchilov 1.3 (0.1)1.4 (0.2)1.5 (0.3)1.5 (0.3)1.5 (0.3)1.5 (0.3)1.5 (0.3)15/15
HILL holtschulte 7.6 (4)11 (5)11 (4)11 (4)11 (4)11 (4)11 (4)15/15
HMLSL pal 2.5 (0)4.3 (0)5.5 (0)5.5 (0)6.1 (0)6.7 (0)87 (159)15/15
IP-10DDr liao 6.2 (3)23 (18)30 (25)34 (31)41 (33)45 (43)46 (43)15/15
IP-500 liao 6.2 (3)23 (18)30 (25)34 (31)41 (33)45 (43)46 (43)15/15
IPOP400D auger 4.0 (1)5.9 (3)6.2 (3)6.2 (3)6.2 (3)6.2 (3)6.2 (3)15/15
IP liao 6.2 (3)23 (18)30 (25)34 (31)41 (33)45 (43)46 (43)15/15
MEMPSODE voglis 10 (6)14 (5)14 (6)14 (6)14 (6)14 (6)14 (6)15/15
MLSL pal 2.5 (0)4.3 (0)5.5 (0)5.5 (0)6.1 (0)6.7 (0)18 (16)14/15
OQNLP pal 2.3 (0)2.4 (0)2.4 (0)2.4 (0)2.4 (0)2.4 (0)2.4 (0)15/15
P-DCN tran 37 (29)118 (77)132 (74)145 (74)168 (69)219 (50)290 (56)15/15
P-zero tran 50 (58)101 (85)113 (84)120 (84)129 (84)146 (81)162 (81)15/15
PRCGA sawyerr 318 (422)1999 (2627)4233 (3688)1.1e4 (9942)7.0e4 (1e5)∞∞3e50/15
SMAC-BBOB hutter 0.88 (0.1)★40.91 (0.1)★40.95 (0.1)★30.95 (0.1)★30.95 (0.1)★30.95 (0.1)★30.95 (0.1)★315/15
U-DCN tran 25 (18)240 (136)988 (587)1733 (970)3.7e4 (8e4)2.6e5 (4e5)1.5e6 (2e6)2/15
U-zero tran 19 (15)217 (97)2697 (1161)3.6e4 (1e4)2.5e5 (1e5)∞∞5e60/15
fmincon pal 2.5 (0)4.3 (0)5.5 (0)5.5 (0)6.1 (0)6.7 (0)25 (16)13/15
fminunc pal 1.9 (0)2.5 (0)3.1 (0)3.1 (0)3.1 (0)3.1 (0)3.1 (0)15/15
lmm-CMA-ES auger 3.4 (0.9)4.8 (1)5.0 (1)5.0 (1)5.0 (1)5.0 (1)5.0 (1)15/15
simplex pal 74 (77)89 (97)90 (97)90 (97)90 (97)90 (97)90 (97)15/15
tany liao 8.6 (7)32 (24)40 (27)47 (27)54 (31)62 (42)65 (53)15/15
texp liao 12 (11)36 (18)49 (24)58 (31)67 (36)76 (50)88 (71)15/15

Δ fopt
f6, 5-D		 1e1
114		 1e0
214		 1e-1
281		 1e-2
404		 1e-3
580		 1e-5
1038		 1e-7
1332		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.4 (0.9)2.1 (0.5)2.2 (0.5)1.9 (0.4)1.6 (0.3)1.2 (0.2)1.2 (0.2)15/15
BIPOP-saACM-k loshchilov 2.4 (2)2.2 (1)2.5 (1.0)2.3 (0.9)1.9 (0.6)1.4 (0.3)1.5 (0.5)15/15
CGA-grid100 holtschulte 29 (22)252 (190)964 (866)∞∞∞∞2e50/15
CGA-grid16 holtschulte 8.3 (7)47 (44)400 (517)780 (869)2957 (3011)∞∞2e50/15
CGA-ring100 holtschulte 17 (10)53 (24)136 (76)284 (97)1527 (1269)∞∞2e50/15
CGA-ring16 holtschulte 4.7 (4)11 (8)46 (45)386 (562)682 (918)∞∞2e50/15
CMAES Hutter hutter 1.9 (0.5)1.9 (0.4)4.3 (5)∞∞∞∞5060/15
DE Pal pal 2.5 (1)5.1 (2)7.6 (1)8.6 (2)8.9 (2)8.1 (2)8.9 (3)15/15
GA-100 holtschulte 11 (7)31 (17)104 (86)951 (765)3096 (2802)∞∞2e50/15
HCMA loshchilov 2.5 (2)2.3 (1)2.9 (1)2.5 (0.8)2.0 (0.6)1.5 (0.4)1.4 (0.4)15/15
HILL holtschulte 2.8 (1)13 (11)192 (349)483 (415)832 (885)∞∞2e50/15
HMLSL pal 1.2 (0.6)1.1 (0.4)1.2 (0.5)1.0 (0.5)0.85 (0.3)0.73 (0.2)0.71 (0.2)↑115/15
IP-10DDr liao 1.6 (0.5)1.8 (0.4)2.1 (0.3)1.9 (0.2)1.6 (0.2)1.2 (0.1)1.2 (0.1)15/15
IP-500 liao 1.6 (0.5)1.8 (0.4)2.1 (0.3)1.9 (0.2)1.6 (0.2)1.2 (0.1)1.2 (0.1)15/15
IPOP400D auger 2.2 (1)2.3 (0.6)2.3 (0.5)2.0 (0.5)1.7 (0.3)1.3 (0.2)1.3 (0.2)15/15
IP liao 1.6 (0.5)1.8 (0.4)2.1 (0.3)1.9 (0.2)1.6 (0.2)1.2 (0.1)1.2 (0.1)15/15
MEMPSODE voglis 3.3 (3)2.9 (2)2.8 (2)2.3 (1)1.8 (1)2.2 (2)3.7 (1)15/15
MLSL pal 1.2 (0.6)1.1 (0.4)1.2 (0.5)1.0 (0.5)0.85 (0.3)0.73 (0.2)0.71 (0.2)↑115/15
OQNLP pal 0.98 (0.7)0.99 (0.5)1.00 (0.4)1.3 (0.6)2.3 (2)7.3 (14)20 (20)2/15
P-DCN tran 7.6 (7)7.6 (4)8.3 (5)13 (7)23 (16)74 (88)410 (303)14/15
P-zero tran 7.3 (7)6.4 (5)8.8 (10)12 (11)109 (104)1887 (3585)6887 (7578)4/15
PRCGA sawyerr 7.1 (3)202 (355)243 (357)327 (386)410 (407)362 (293)337 (318)10/15
SMAC-BBOB hutter 5.2 (6)∞∞∞∞∞∞5000/15
U-DCN tran 7.7 (9)96 (188)293 (492)1254 (449)2098 (4416)3874 (5054)5.3e4 (5e4)1/15
U-zero tran 6.5 (7)77 (173)1679 (1400)4706 (1e4)8128 (1e4)9428 (1e4)∞5e60/15
fmincon pal 1.2 (0.5)1.1 (0.6)1.2 (0.6)1.0 (0.5)0.85 (0.4)0.67 (0.3)↑10.68 (0.2)↑015/15
fminunc pal 1.8 (2)2.2 (1)2.6 (0.9)2.5 (0.8)2.1 (0.5)1.8 (0.8)6.4 (9)14/15
lmm-CMA-ES auger 4.0 (4)4.3 (3)4.5 (3)3.9 (2)4.8 (3)5.4 (4)∞28040/15
simplex pal 15 (7)13 (6)13 (7)12 (10)16 (16)20 (21)43 (46)7/15
tany liao 1.5 (0.7)1.9 (0.5)2.1 (0.4)1.9 (0.3)1.6 (0.2)1.3 (0.1)1.3 (0.1)15/15
texp liao 1.7 (1.0)2.0 (0.6)2.2 (0.5)2.0 (0.4)1.7 (0.3)1.3 (0.2)1.3 (0.2)15/15

Δ fopt
f7, 5-D		 1e1
24		 1e0
324		 1e-1
1171		 1e-2
1451		 1e-3
1572		 1e-5
1572		 1e-7
1597		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 6.2 (3)1.5 (1)1.0 (0.8)0.91 (0.7)0.95 (0.7)0.95 (0.7)0.97 (0.7)15/15
BIPOP-saACM-k loshchilov 3.6 (1)1.2 (1)0.80 (0.6)0.75 (0.5)0.72 (0.5)0.72 (0.5)0.90 (0.6)15/15
CGA-grid100 holtschulte 39 (38)74 (83)266 (276)1184 (1292)2287 (2067)2287 (2425)2252 (2544)1/15
CGA-grid16 holtschulte 13 (10)97 (110)401 (413)2515 (3704)2321 (2783)2321 (2783)2299 (2583)1/15
CGA-ring100 holtschulte 27 (27)19 (11)42 (40)173 (159)319 (371)319 (374)322 (269)5/15
CGA-ring16 holtschulte 13 (8)104 (276)436 (481)717 (768)1075 (2104)1075 (673)1059 (1720)2/15
CMAES Hutter hutter 4.1 (3)1.6 (1)0.92 (0.8)0.99 (0.7)0.92 (0.7)0.92 (1)1.5 (1)2/15
DE Pal pal 8.9 (9)2.8 (1)1.7 (1)2.7 (0.9)2.8 (0.8)2.8 (0.8)3.0 (1)15/15
GA-100 holtschulte 21 (20)11 (10)58 (112)131 (140)271 (282)271 (439)269 (315)6/15
HCMA loshchilov 3.4 (4)1.0 (0.3)0.68 (0.5)0.79 (0.7)0.82 (0.7)0.82 (0.7)0.85 (0.6)15/15
HILL holtschulte 20 (25)117 (200)300 (425)1227 (1075)2331 (2385)2331 (3300)2294 (3835)1/15
HMLSL pal 15 (3)3.8 (2)8.7 (1)8.8 (2)8.5 (2)8.5 (2)8.8 (2)14/15
IP-10DDr liao 5.2 (2)1.1 (0.4)1.2 (0.9)1.1 (0.8)1.2 (0.7)1.2 (0.7)1.3 (0.8)15/15
IP-500 liao 5.2 (2)1.1 (0.4)1.2 (0.9)1.1 (0.8)1.2 (0.7)1.2 (0.7)1.3 (0.8)15/15
IPOP400D auger 4.1 (3)1.3 (1)0.98 (0.7)0.91 (0.7)0.87 (0.6)0.87 (0.6)0.88 (0.6)15/15
IP liao 5.2 (2)1.1 (0.4)1.2 (0.9)1.1 (0.8)1.2 (0.7)1.2 (0.7)1.3 (0.8)15/15
MEMPSODE voglis 19 (14)7.5 (6)6.5 (2)8.5 (2)9.0 (2)9.0 (2)17 (12)15/15
MLSL pal 63 (60)1097 (1356)∞∞∞∞∞5e40/15
OQNLP pal 26 (28)48 (49)28 (37)∞∞∞∞22890/15
P-DCN tran 111 (229)1694 (2332)1569 (2310)1271 (2168)1176 (1729)1176 (2002)1157 (1695)12/15
P-zero tran 214 (257)2795 (7713)1284 (2125)1053 (1830)983 (1726)983 (1589)968 (1895)13/15
PRCGA sawyerr 9.3 (5)17 (17)22 (22)40 (65)45 (68)45 (68)46 (62)14/15
SMAC-BBOB hutter 2.3 (2)0.88 (0.8)3.1 (5)∞∞∞∞5000/15
U-DCN tran 20 (22)1131 (41)1422 (2286)4704 (7439)9510 (1e4)9510 (9005)9362 (8334)4/15
U-zero tran 11 (12)1486 (2961)2969 (3227)4578 (7836)6280 (6805)6280 (7084)6187 (7544)6/15
fmincon pal 60 (71)1085 (1788)∞∞∞∞∞5e40/15
fminunc pal 54 (64)∞∞∞∞∞∞5e40/15
lmm-CMA-ES auger 3.3 (2)0.92 (1.0)0.94 (0.8)0.91 (0.7)0.90 (0.6)0.90 (0.6)1.2 (1)13/15
simplex pal 45 (38)154 (165)648 (888)∞∞∞∞5e40/15
tany liao 3.4 (2)1.7 (2)1.3 (1)1.2 (1.0)1.1 (0.9)1.1 (0.9)1.1 (0.9)15/15
texp liao 2.7 (2)2.1 (2)1.4 (0.7)1.3 (0.7)1.2 (0.6)1.2 (0.6)1.3 (0.6)15/15

Δ fopt
f8, 5-D		 1e1
73		 1e0
273		 1e-1
336		 1e-2
372		 1e-3
391		 1e-5
410		 1e-7
422		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 4.3 (2)4.3 (4)4.7 (3)4.7 (3)4.8 (3)5.0 (3)5.2 (3)15/15
BIPOP-saACM-k loshchilov 2.2 (0.8)2.2 (2)2.3 (2)2.3 (2)2.3 (1)2.3 (1)2.4 (1)15/15
CGA-grid100 holtschulte 114 (86)1141 (1852)∞∞∞∞∞2e50/15
CGA-grid16 holtschulte 33 (20)632 (1146)2095 (2620)4614 (3944)∞∞∞2e50/15
CGA-ring100 holtschulte 58 (11)141 (66)560 (492)2201 (2352)4632 (4277)∞∞2e50/15
CGA-ring16 holtschulte 17 (8)624 (917)3005 (3352)4429 (4527)∞∞∞2e50/15
CMAES Hutter hutter 3.1 (1)6.6 (6)∞∞∞∞∞5060/15
DE Pal pal 8.0 (2)7.6 (2)17 (3)22 (4)26 (4)36 (6)46 (6)15/15
GA-100 holtschulte 34 (20)487 (469)4870 (7066)4450 (3857)9182 (1e4)∞∞2e50/15
HCMA loshchilov 2.3 (2)2.8 (3)2.8 (3)2.7 (2)2.7 (2)2.7 (2)2.7 (2)15/15
HILL holtschulte 8.6 (6)721 (1603)1517 (1679)9493 (7728)∞∞∞2e50/15
HMLSL pal 1.0 (0.3)1.3 (2)1.2 (2)1.1 (1)1.1 (1)1.1 (1)1.1 (1)15/15
IP-10DDr liao 3.2 (1.0)4.3 (2)5.1 (1)5.4 (1)5.5 (1)5.8 (1)6.1 (1)15/15
IP-500 liao 3.2 (1.0)4.3 (2)5.1 (1)5.4 (1)5.5 (1)5.8 (1)6.1 (1)15/15
IPOP400D auger 3.0 (0.9)2.9 (1)3.7 (1)3.9 (0.9)4.0 (0.8)4.3 (0.8)4.6 (0.8)15/15
IP liao 3.2 (1.0)4.3 (2)5.1 (1)5.4 (1)5.5 (1)5.8 (1)6.1 (1)15/15
MEMPSODE voglis 3.0 (1)4.1 (5)3.6 (4)3.4 (4)3.8 (5)3.7 (5)3.8 (5)15/15
MLSL pal 1.0 (0.3)1.0 (1.0)0.99 (0.8)0.97 (0.7)0.95 (0.7)0.97 (0.6)0.96 (0.6)15/15
OQNLP pal 0.90 (0.4)0.71 (0.3)↑10.75 (0.2)↑10.76 (0.2)↑10.78 (0.2)↑10.78 (0.2)↑127 (34)0/15
P-DCN tran 23 (25)6802 (1e4)6653 (7502)7687 (1e4)9251 (6575)1.4e4 (6877)∞5e60/15
P-zero tran 18 (19)2865 (9158)3234 (7751)7969 (7057)1.8e5 (2e5)1.7e5 (2e5)∞5e60/15
PRCGA sawyerr 11 (4)518 (811)9466 (1e4)8754 (9040)1.7e4 (3e4)∞∞5e50/15
SMAC-BBOB hutter 4.6 (2)∞∞∞∞∞∞5000/15
U-DCN tran 17 (16)714 (1964)4012 (4028)1.1e4 (8142)1.9e5 (2e5)∞∞5e60/15
U-zero tran 16 (9)7826 (1e4)∞∞∞∞∞5e60/15
fmincon pal 1.0 (0.3)1.1 (1)1.0 (0.9)0.99 (0.8)0.97 (0.7)0.99 (0.7)0.98 (0.7)15/15
fminunc pal 1.2 (0.6)0.90 (0.3)0.87 (0.3)0.87 (0.2)0.87 (0.2)0.88 (0.2)0.88 (0.2)15/15
lmm-CMA-ES auger 1.6 (0.3)1.7 (2)1.8 (1)1.8 (1)1.8 (1)1.8 (1)1.8 (1)15/15
simplex pal 8.8 (5)4.9 (3)4.7 (2)4.8 (2)4.7 (2)4.6 (2)4.8 (2)15/15
tany liao 2.7 (0.7)3.7 (1)4.6 (1)4.9 (1)5.0 (1)5.3 (1)5.6 (1)15/15
texp liao 2.6 (0.7)4.7 (2)5.6 (2)5.8 (2)5.9 (2)6.1 (2)6.4 (2)15/15

Δ fopt
f9, 5-D		 1e1
35		 1e0
127		 1e-1
214		 1e-2
263		 1e-3
300		 1e-5
335		 1e-7
369		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 7.0 (2)7.6 (2)6.4 (2)5.9 (1)5.6 (1)5.5 (0.8)5.4 (0.8)15/15
BIPOP-saACM-k loshchilov 4.6 (0.9)3.8 (1)3.0 (0.8)2.7 (0.6)2.5 (0.6)2.4 (0.5)2.3 (0.4)15/15
CGA-grid100 holtschulte 311 (215)1.3e4 (9652)1.7e4 (2e4)∞∞∞∞2e50/15
CGA-grid16 holtschulte 57 (41)1.3e4 (2e4)1.6e4 (1e4)∞∞∞∞2e50/15
CGA-ring100 holtschulte 136 (47)1261 (1718)4949 (4980)∞∞∞∞2e50/15
CGA-ring16 holtschulte 30 (11)2428 (3033)∞∞∞∞∞2e50/15
CMAES Hutter hutter 6.0 (3)9.2 (8)∞∞∞∞∞5060/15
DE Pal pal 24 (10)24 (9)30 (6)34 (9)38 (10)49 (14)57 (16)15/15
GA-100 holtschulte 57 (22)2015 (2982)1.6e4 (2e4)∞∞∞∞2e50/15
HCMA loshchilov 5.6 (5)5.4 (6)4.0 (4)3.5 (3)3.2 (3)3.0 (2)2.8 (2)15/15
HILL holtschulte 13 (11)4153 (3163)∞∞∞∞∞2e50/15
HMLSL pal 0.93 (0)↑10.64 (0.1)↑00.61 (0.1)↑00.59 (0.0)↑00.57 (0.0)↑00.56 (0.0)↑00.54 (0.0)↑015/15
IP-10DDr liao 6.1 (2)10 (10)8.6 (6)8.0 (5)7.6 (5)7.4 (4)7.2 (4)15/15
IP-500 liao 6.1 (2)10 (10)8.6 (6)8.0 (5)7.6 (5)7.4 (4)7.2 (4)15/15
IPOP400D auger 4.9 (2)9.0 (4)7.4 (3)6.9 (2)6.4 (2)6.4 (2)6.7 (4)13/15
IP liao 6.1 (2)10 (10)8.6 (6)8.0 (5)7.6 (5)7.4 (4)7.2 (4)15/15
MEMPSODE voglis 5.8 (2)7.5 (11)4.8 (7)4.1 (6)3.8 (6)3.6 (6)3.4 (5)15/15
MLSL pal 0.93 (0)↑10.64 (0.1)↑00.61 (0.1)↑00.59 (0.0)↑00.57 (0.0)↑00.56 (0.0)↑00.54 (0.0)↑015/15
OQNLP pal 0.71 (0.0)↑00.51 (8e-3)↑00.52 (7e-3)↑00.55 (0.0)↑00.54 (0.0)↑00.53 (0.0)↑01.3 (0.0)10/15
P-DCN tran 441 (968)2.7e4 (4e4)1.7e4 (1e4)1.7e4 (1e4)1.9e4 (3e4)5.1e4 (5e4)2.0e5 (2e5)0/15
P-zero tran 677 (1878)3145 (607)3476 (1371)3.0e4 (4e4)2.4e5 (1e5)∞∞5e60/15
PRCGA sawyerr 11 (5)957 (744)∞∞∞∞∞5e50/15
SMAC-BBOB hutter 12 (9)∞∞∞∞∞∞5000/15
U-DCN tran 64 (58)3.1e4 (4e4)2.3e4 (2e4)2.9e4 (3e4)7.2e4 (1e5)∞∞5e60/15
U-zero tran 373 (54)1.4e4 (2e4)3.4e5 (4e5)∞∞∞∞5e60/15
fmincon pal 0.93 (0)↑10.64 (0.1)↑00.61 (0.1)↑00.59 (0.0)↑00.57 (0.0)↑00.56 (0.0)↑00.54 (0.0)↑015/15
fminunc pal 0.54 (0)★4↑00.25 (0)★4↑00.50 (0.0)↑00.51 (0.0)★3↑00.50 (0.0)★2↑00.49 (0.0)★3↑00.47 (0.0)★4↑015/15
lmm-CMA-ES auger 2.7 (0.9)3.4 (2)2.6 (2)2.4 (1)2.2 (1)2.1 (1)1.9 (0.9)15/15
simplex pal 5.0 (3)3.8 (2)3.6 (0.9)3.2 (0.8)2.9 (0.7)2.8 (0.6)2.6 (0.5)15/15
tany liao 5.2 (2)11 (13)8.7 (8)8.1 (7)7.6 (6)7.6 (6)7.4 (5)15/15
texp liao 3.0 (2)8.1 (4)7.4 (2)6.9 (2)6.6 (2)6.5 (1)6.4 (1)15/15

Δ fopt
f10, 5-D		 1e1
349		 1e0
500		 1e-1
574		 1e-2
607		 1e-3
626		 1e-5
829		 1e-7
880		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.8 (0.6)2.2 (0.2)2.1 (0.2)2.1 (0.1)2.1 (0.2)1.8 (0.1)1.9 (0.1)15/15
BIPOP-saACM-k loshchilov 0.78 (0.1)↑00.61 (0.1)↑00.58 (0.1)↑00.59 (0.1)↑00.62 (0.1)↑00.53 (0.1)↑00.55 (0.1)↑015/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞2e50/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞2e50/15
CGA-ring100 holtschulte 1.0e4 (1e4)∞∞∞∞∞∞2e50/15
CGA-ring16 holtschulte ∞∞∞∞∞∞∞2e50/15
CMAES Hutter hutter ∞∞∞∞∞∞∞5060/15
DE Pal pal 23 (9)26 (6)29 (6)37 (4)42 (5)44 (4)52 (6)15/15
GA-100 holtschulte 3070 (3163)∞∞∞∞∞∞2e50/15
HCMA loshchilov 1.1 (0.2)0.81 (0.1)↑10.76 (0.1)↑00.75 (0.1)↑00.77 (0.1)↑00.64 (0.1)↑00.65 (0.1)↑015/15
HILL holtschulte 1.0e4 (1e4)∞∞∞∞∞∞2e50/15
HMLSL pal 0.28 (0.1)↑00.23 (0.1)↑00.22 (0.1)↑00.23 (0.1)↑00.60 (0.2)↑118 (37)104 (116)8/15
IP-10DDr liao 3.4 (0.9)3.1 (0.6)3.1 (0.3)3.1 (0.3)3.2 (0.3)2.6 (0.2)2.7 (0.2)15/15
IP-500 liao 3.4 (0.9)3.1 (0.6)3.1 (0.3)3.1 (0.3)3.2 (0.3)2.6 (0.2)2.7 (0.2)15/15
IPOP400D auger 3.6 (1.0)3.0 (0.4)2.8 (0.3)2.8 (0.3)2.8 (0.3)2.3 (0.2)2.4 (0.2)15/15
IP liao 3.4 (0.9)3.1 (0.6)3.1 (0.3)3.1 (0.3)3.2 (0.3)2.6 (0.2)2.7 (0.2)15/15
MEMPSODE voglis 3.7 (7)3.5 (6)3.2 (5)3.5 (5)4.6 (8)7.5 (9)11 (8)15/15
MLSL pal 0.28 (0.1)↑00.23 (0.1)↑00.22 (0.1)↑00.23 (0.1)↑00.60 (0.2)↑116 (15)129 (142)3/15
OQNLP pal 0.38 (0.3)↑00.41 (0.3)↑10.89 (2)1.5 (2)6.5 (6)120 (167)∞2e40/15
P-DCN tran 7429 (1e4)6.6e4 (5e4)1.3e5 (2e5)1.2e5 (1e5)1.2e5 (8e4)∞∞5e60/15
P-zero tran 2.3e4 (3e4)1.4e5 (2e5)∞∞∞∞∞5e60/15
PRCGA sawyerr 5559 (4711)∞∞∞∞∞∞5e50/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞5000/15
U-DCN tran 9.9e4 (1e5)∞∞∞∞∞∞5e60/15
U-zero tran 2.1e5 (2e5)∞∞∞∞∞∞5e60/15
fmincon pal 0.28 (0.1)↑00.22 (0.0)↑00.21 (0.0)↑00.21 (0.0)↑01.8 (0.3)19 (20)150 (151)2/15
fminunc pal 0.99 (0.5)1.0 (0.3)1.0 (0.3)1.1 (0.4)1.1 (0.4)2.4 (2)92 (119)5/15
lmm-CMA-ES auger 0.77 (0.3)0.67 (0.2)↑00.65 (0.1)↑00.65 (0.1)↑00.66 (0.1)↑00.54 (0.1)↑00.55 (0.1)↑015/15
simplex pal 5.5 (2)4.5 (2)4.3 (0.8)4.3 (0.6)4.3 (0.6)3.3 (0.4)3.2 (0.4)15/15
tany liao 3.4 (0.9)3.1 (0.6)2.9 (0.4)3.0 (0.3)3.0 (0.3)2.5 (0.3)2.6 (0.2)15/15
texp liao 3.4 (1)3.1 (0.7)3.1 (0.4)3.1 (0.3)3.1 (0.3)2.6 (0.2)2.6 (0.2)15/15

Δ fopt
f11, 5-D		 1e1
143		 1e0
202		 1e-1
763		 1e-2
977		 1e-3
1177		 1e-5
1467		 1e-7
1673		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 5.8 (1)5.0 (0.6)1.4 (0.2)1.2 (0.1)1.1 (0.1)0.97 (0.1)0.94 (0.1)15/15
BIPOP-saACM-k loshchilov 2.0 (0.3)1.6 (0.2)0.46 (0.1)↑00.38 (0.0)↑00.34 (0.0)↑00.30 (0.0)↑00.29 (0.0)↑015/15
CGA-grid100 holtschulte 2791 (2854)∞∞∞∞∞∞2e50/15
CGA-grid16 holtschulte 750 (559)4200 (5879)∞∞∞∞∞2e50/15
CGA-ring100 holtschulte 188 (219)3939 (4361)4712 (2212)∞∞∞∞2e50/15
CGA-ring16 holtschulte 295 (407)1713 (2190)∞∞∞∞∞2e50/15
CMAES Hutter hutter 24 (30)∞∞∞∞∞∞5060/15
DE Pal pal 23 (13)36 (13)16 (5)17 (5)18 (5)20 (6)23 (6)15/15
GA-100 holtschulte 202 (93)1651 (1655)∞∞∞∞∞2e50/15
HCMA loshchilov 2.6 (0.3)2.0 (0.3)0.56 (0.1)↑00.46 (0.1)↑00.40 (0.1)↑00.35 (0.0)↑00.34 (0.0)↑015/15
HILL holtschulte 196 (191)844 (845)4822 (5570)∞∞∞∞2e50/15
HMLSL pal 0.24 (0.1)↑00.21 (0.1)↑00.07 (0.0)↑00.07 (0.0)↑01.0 (2)76 (129)441 (532)2/15
IP-10DDr liao 7.3 (4)7.1 (0.7)2.1 (0.2)1.8 (0.1)1.6 (0.1)1.4 (0.1)1.3 (0.1)15/15
IP-500 liao 7.3 (4)7.1 (0.7)2.1 (0.2)1.8 (0.1)1.6 (0.1)1.4 (0.1)1.3 (0.1)15/15
IPOP400D auger 7.8 (2)7.0 (1)2.1 (0.3)1.8 (0.2)1.5 (0.2)1.4 (0.1)1.3 (0.1)15/15
IP liao 7.3 (4)7.1 (0.7)2.1 (0.2)1.8 (0.1)1.6 (0.1)1.4 (0.1)1.3 (0.1)15/15
MEMPSODE voglis 1.4 (0.2)7.0 (11)3.5 (3)3.7 (2)3.4 (2)4.0 (0.6)5.4 (2)15/15
MLSL pal 0.24 (0.1)↑00.21 (0.1)↑00.07 (0.0)↑00.07 (0.0)↑01.4 (2)56 (57)868 (1168)0/15
OQNLP pal 0.41 (0.1)↑00.94 (1)0.53 (0.9)2.1 (3)4.7 (2)142 (241)∞3e40/15
P-DCN tran 605 (500)895 (629)312 (165)318 (206)619 (310)1.2e4 (1e4)∞5e60/15
P-zero tran 779 (854)1262 (813)479 (270)474 (174)797 (227)5.1e4 (7e4)∞5e60/15
PRCGA sawyerr 1327 (1665)∞∞∞∞∞∞3e50/15
SMAC-BBOB hutter 15 (18)∞∞∞∞∞∞5000/15
U-DCN tran 239 (213)2583 (3030)8585 (5710)∞∞∞∞5e60/15
U-zero tran 446 (536)2843 (3797)9231 (5334)∞∞∞∞5e60/15
fmincon pal 0.24 (0.1)↑00.22 (0.1)↑00.07 (0.0)↑00.07 (0.0)↑01.1 (3)59 (110)∞1e50/15
fminunc pal 0.90 (0.4)1.7 (2)1.5 (1)2.8 (4)19 (24)288 (185)∞1e50/15
lmm-CMA-ES auger 1.9 (0.6)1.8 (0.5)0.54 (0.1)↑00.45 (0.1)↑00.38 (0.1)↑00.34 (0.0)↑00.32 (0.0)↑015/15
simplex pal 8.5 (6)11 (5)4.0 (1)3.1 (1)2.8 (2)2.3 (1)2.1 (1)15/15
tany liao 8.0 (1)7.1 (0.7)2.1 (0.2)1.8 (0.1)1.5 (0.1)1.4 (0.1)1.3 (0.1)15/15
texp liao 6.8 (3)6.7 (1)2.0 (0.3)1.7 (0.2)1.5 (0.1)1.3 (0.1)1.3 (0.1)15/15

Δ fopt
f12, 5-D		 1e1
108		 1e0
268		 1e-1
371		 1e-2
413		 1e-3
461		 1e-5
1303		 1e-7
1494		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 7.0 (4)4.7 (3)5.0 (3)5.1 (3)5.1 (3)2.3 (1)2.3 (1)15/15
BIPOP-saACM-k loshchilov 3.0 (0.9)1.9 (2)2.2 (3)2.3 (3)2.4 (3)1.2 (1)1.3 (1)15/15
CGA-grid100 holtschulte 3819 (2603)∞∞∞∞∞∞2e50/15
CGA-grid16 holtschulte 836 (1686)6618 (6297)∞∞∞∞∞2e50/15
CGA-ring100 holtschulte 1020 (677)1997 (1055)∞∞∞∞∞2e50/15
CGA-ring16 holtschulte 604 (1184)1171 (985)4717 (3587)∞∞∞∞2e50/15
CMAES Hutter hutter 17 (12)28 (24)∞∞∞∞∞5060/15
DE Pal pal 61 (18)50 (20)70 (47)84 (60)94 (58)58 (44)64 (72)11/15
GA-100 holtschulte 1061 (1939)2351 (1565)9846 (1e4)∞∞∞∞2e50/15
HCMA loshchilov 4.7 (6)4.4 (8)5.9 (11)5.7 (10)5.9 (12)6.1 (7)5.7 (6)15/15
HILL holtschulte 4978 (3609)6170 (6058)9644 (1e4)∞∞∞∞2e50/15
HMLSL pal 1.3 (0.4)0.94 (0.6)0.89 (0.7)0.91 (0.7)0.93 (0.8)3.3 (2)30 (33)8/15
IP-10DDr liao 7.9 (5)5.9 (3)6.0 (3)6.2 (4)6.3 (4)2.8 (2)2.8 (2)15/15
IP-500 liao 7.9 (5)5.9 (3)6.0 (3)6.2 (4)6.3 (4)2.8 (2)2.8 (2)15/15
IPOP400D auger 9.4 (9)9.3 (11)12 (8)12 (7)20 (17)7.5 (8)8.9 (8)3/15
IP liao 7.9 (5)5.9 (3)6.0 (3)6.2 (4)6.3 (4)2.8 (2)2.8 (2)15/15
MEMPSODE voglis 7.5 (12)4.8 (5)5.2 (7)5.3 (6)5.0 (6)7.7 (6)11 (11)15/15
MLSL pal 1.3 (0.4)0.94 (0.6)0.89 (0.7)0.91 (0.7)0.93 (0.8)1.5 (2)38 (91)5/15
OQNLP pal 1.2 (1)0.95 (0.8)1.2 (1)2.3 (3)20 (27)21 (26)328 (291)0/15
P-DCN tran 1.2e4 (2e4)2.8e4 (3e4)1.9e5 (3e5)∞∞∞∞5e60/15
P-zero tran 9.3e4 (2e5)1.2e5 (2e5)8.8e4 (8e4)∞∞∞∞5e60/15
PRCGA sawyerr 214 (617)296 (547)1402 (2216)2982 (3603)4284 (3640)∞∞3e50/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞5000/15
U-DCN tran 1.7e4 (2e4)3.7e4 (7e4)8.8e4 (1e5)∞∞∞∞5e60/15
U-zero tran 2.4e4 (5e4)3.8e4 (5e4)8.9e4 (1e5)∞∞∞∞5e60/15
fmincon pal 1.3 (0.4)0.94 (0.5)0.90 (0.7)0.91 (0.7)0.93 (0.7)1.0 (0.9)29 (30)5/15
fminunc pal 1.0 (1)1.1 (1.0)1.2 (0.9)1.2 (0.8)1.5 (1)2.4 (4)80 (106)3/15
lmm-CMA-ES auger 1.5 (0.8)1.3 (1)1.4 (2)1.6 (2)1.7 (2)0.92 (0.8)0.95 (0.8)13/15
simplex pal 11 (7)6.6 (3)8.3 (4)7.9 (3)8.7 (11)4.6 (7)4.2 (6)15/15
tany liao 6.2 (4)7.1 (5)7.5 (7)8.2 (5)8.2 (5)3.7 (2)3.7 (2)15/15
texp liao 11 (10)8.7 (9)8.3 (8)8.6 (8)8.5 (8)3.7 (3)3.7 (3)15/15

Δ fopt
f13, 5-D		 1e1
132		 1e0
195		 1e-1
250		 1e-2
319		 1e-3
1310		 1e-5
1752		 1e-7
2255		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.4 (1)3.9 (2)4.2 (0.8)3.9 (0.6)1.1 (0.2)1.1 (0.1)1.1 (0.2)15/15
BIPOP-saACM-k loshchilov 1.4 (0.5)1.3 (0.4)1.3 (0.4)1.2 (0.3)0.36 (0.1)↑00.37 (0.1)↑00.34 (0.1)↑015/15
CGA-grid100 holtschulte 8040 (8770)9286 (1e4)∞∞∞∞∞2e50/15
CGA-grid16 holtschulte 1006 (1431)1.8e4 (2e4)∞∞∞∞∞2e50/15
CGA-ring100 holtschulte 152 (52)755 (366)∞∞∞∞∞2e50/15
CGA-ring16 holtschulte 730 (962)5302 (7051)∞∞∞∞∞2e50/15
CMAES Hutter hutter 3.4 (2)13 (11)∞∞∞∞∞5060/15
DE Pal pal 11 (4)23 (10)43 (15)57 (18)20 (7)26 (7)28 (5)15/15
GA-100 holtschulte 1722 (1902)8935 (9754)∞∞∞∞∞2e50/15
HCMA loshchilov 1.6 (1)1.6 (0.4)1.6 (0.6)1.6 (0.5)0.45 (0.1)↑00.42 (0.1)↑00.38 (0.1)↑015/15
HILL holtschulte 2193 (2397)5703 (7281)∞∞∞∞∞2e50/15
HMLSL pal 0.74 (0.1)↑00.76 (0.1)↑00.80 (0.1)↑00.78 (0.1)↑02.0 (3)21 (22)164 (134)0/15
IP-10DDr liao 4.7 (4)5.8 (4)5.7 (3)5.3 (2)1.6 (0.7)1.9 (0.8)1.9 (0.8)15/15
IP-500 liao 4.7 (4)5.8 (4)5.7 (3)5.3 (2)1.6 (0.7)1.9 (0.8)1.9 (0.8)15/15
IPOP400D auger 3.4 (2)4.6 (2)4.8 (2)5.3 (2)1.4 (0.5)2.0 (1)18 (16)1/15
IP liao 4.7 (4)5.8 (4)5.7 (3)5.3 (2)1.6 (0.7)1.9 (0.8)1.9 (0.8)15/15
MEMPSODE voglis 3.8 (9)3.0 (9)2.5 (7)2.1 (5)2.9 (0.5)2.6 (0.5)2.1 (0.4)15/15
MLSL pal 0.74 (0.1)↑00.76 (0.1)↑00.80 (0.1)↑00.78 (0.1)↑04.2 (0.5)50 (59)∞7e40/15
OQNLP pal 0.95 (0.4)0.89 (0.2)0.83 (0.2)3.1 (2)8.4 (14)∞∞3e40/15
P-DCN tran 3.4e4 (4e4)3.6e5 (4e5)2.8e5 (3e5)∞∞∞∞5e60/15
P-zero tran 7.6e4 (1e5)1.7e5 (2e5)2.8e5 (2e5)∞∞∞∞5e60/15
PRCGA sawyerr 118 (3)695 (980)2367 (2397)2345 (3475)1743 (2373)∞∞3e50/15
SMAC-BBOB hutter 4.2 (5)∞∞∞∞∞∞5000/15
U-DCN tran 1.4e4 (3e4)5.1e4 (4e4)2.8e5 (3e5)∞∞∞∞5e60/15
U-zero tran 2.5e4 (5e4)1.7e5 (1e5)2.8e5 (3e5)2.3e5 (3e5)∞∞∞5e60/15
fmincon pal 0.74 (0.1)↑00.76 (0.1)↑00.80 (0.1)↑00.77 (0.1)↑04.1 (1)61 (77)∞7e40/15
fminunc pal 0.93 (0.2)1.00 (0.2)0.98 (0.1)0.96 (0.1)4.9 (4)167 (254)∞7e40/15
lmm-CMA-ES auger 1.3 (0.4)1.8 (0.7)1.7 (0.4)1.8 (0.6)0.50 (0.1)↑00.49 (0.1)↑00.57 (0.1)↑114/15
simplex pal 16 (15)17 (15)17 (14)19 (15)5.0 (4)5.1 (4)10 (10)13/15
tany liao 3.9 (3)5.5 (3)5.9 (2)5.9 (2)1.6 (0.4)1.7 (0.2)1.7 (0.3)15/15
texp liao 3.7 (3)5.4 (3)6.5 (2)5.9 (1)1.6 (0.3)1.7 (0.3)1.7 (0.4)15/15

Δ fopt
f14, 5-D		 1e1
10		 1e0
41		 1e-1
58		 1e-2
90		 1e-3
139		 1e-5
251		 1e-7
476		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.9 (4)3.4 (1)4.4 (1)4.3 (1)4.3 (0.8)4.3 (0.8)3.3 (0.4)15/15
BIPOP-saACM-k loshchilov 1.4 (1)2.5 (0.8)3.0 (0.8)2.6 (0.6)2.1 (0.5)1.8 (0.3)1.3 (0.1)15/15
CGA-grid100 holtschulte 1.9 (2)54 (38)117 (54)685 (558)∞∞∞2e50/15
CGA-grid16 holtschulte 0.79 (0.7)12 (7)24 (13)455 (707)∞∞∞2e50/15
CGA-ring100 holtschulte 1.7 (1)27 (12)72 (24)156 (41)2269 (2328)∞∞2e50/15
CGA-ring16 holtschulte 1.7 (3)8.3 (3)16 (7)117 (45)2.7e4 (3e4)∞∞2e50/15
CMAES Hutter hutter 1.6 (2)2.3 (1)3.9 (1)3.8 (0.7)10 (7)∞∞5060/15
DE Pal pal 2.1 (2)6.2 (3)11 (3)12 (2)16 (7)36 (12)46 (9)15/15
GA-100 holtschulte 1.6 (1)14 (9)37 (11)71 (33)3511 (4191)∞∞2e50/15
HCMA loshchilov 1.6 (0.6)1.5 (2)2.6 (2)3.4 (0.6)2.7 (0.3)2.2 (0.3)1.5 (0.2)15/15
HILL holtschulte 1.9 (2)2.2 (1)7.3 (6)218 (303)2.5e4 (3e4)∞∞2e50/15
HMLSL pal 0.67 (0.3)↑10.53 (0.2)↑00.64 (0.2)↑00.65 (0.2)↑00.67 (0.2)↑00.72 (0.1)↑072 (24)15/15
IP-10DDr liao 1.2 (1)2.4 (1)3.7 (1.0)4.1 (0.7)4.7 (0.9)5.7 (0.4)4.6 (0.4)15/15
IP-500 liao 1.2 (1)2.4 (1)3.7 (1.0)4.1 (0.7)4.7 (0.9)5.7 (0.4)4.6 (0.4)15/15
IPOP400D auger 1.0 (1)1.8 (0.8)3.4 (0.9)3.6 (0.7)4.3 (0.7)4.9 (0.9)4.1 (0.4)15/15
IP liao 1.2 (1)2.4 (1)3.7 (1.0)4.1 (0.7)4.7 (0.9)5.7 (0.4)4.6 (0.4)15/15
MEMPSODE voglis 2.6 (2)2.9 (0.4)2.4 (0.2)1.8 (0.2)1.4 (0.1)2.2 (0.1)23 (2)15/15
MLSL pal 0.67 (0.3)↑10.53 (0.2)↑00.64 (0.2)↑00.65 (0.2)↑00.67 (0.2)↑00.72 (0.1)↑0792 (1644)0/15
OQNLP pal 1.3 (0.9)0.94 (0.3)1.0 (0.2)0.95 (0.2)0.80 (0.2)↑17.0 (9)∞2e40/15
P-DCN tran 2.0 (2)9.2 (4)10 (3)10 (4)112 (191)5.4e4 (4e4)∞5e60/15
P-zero tran 3.1 (4)11 (7)11 (5)11 (5)80 (54)∞∞5e60/15
PRCGA sawyerr 1.1 (1)6.7 (3)15 (3)52 (4)578 (782)6784 (4827)∞3e50/15
SMAC-BBOB hutter 0.61 (0.6)2.6 (2)11 (7)∞∞∞∞5000/15
U-DCN tran 1.2 (0.7)6.8 (5)23 (12)92 (99)1264 (1064)∞∞5e60/15
U-zero tran 1.5 (2)3.6 (2)11 (6)766 (832)2.6e5 (2e5)∞∞5e60/15
fmincon pal 0.67 (0.3)↑10.53 (0.2)↑00.64 (0.2)↑00.65 (0.2)↑00.67 (0.2)↑00.72 (0.1)↑0797 (968)0/15
fminunc pal 0.70 (0.6)0.84 (0.6)1.1 (0.4)1.0 (0.3)0.88 (0.3)0.84 (0.2)1710 (1484)0/15
lmm-CMA-ES auger 0.61 (0.6)1.5 (0.7)1.6 (0.5)1.8 (0.5)1.9 (0.3)1.8 (0.2)1.4 (0.1)15/15
simplex pal 6.3 (4)15 (11)17 (6)12 (3)8.9 (2)5.6 (1)3.8 (1)15/15
tany liao 0.92 (1)2.6 (1)3.9 (2)4.3 (0.6)4.5 (1)5.5 (0.7)4.2 (0.4)15/15
texp liao 0.91 (1)1.9 (1)3.0 (1)3.7 (1)3.8 (0.6)4.9 (0.7)4.0 (0.3)15/15

Δ fopt
f15, 5-D		 1e1
511		 1e0
9310		 1e-1
19369		 1e-2
19743		 1e-3
20073		 1e-5
20769		 1e-7
21359		 #succ
14/15
BIPOP-aCMA-STEP loshchilov 1.6 (2)0.88 (0.9)1.1 (0.7)1.1 (0.7)1.1 (0.7)1.1 (0.7)1.1 (0.7)15/15
BIPOP-saACM-k loshchilov 1.6 (2)0.97 (0.4)0.98 (0.9)0.97 (0.8)0.96 (0.8)0.94 (0.8)0.93 (0.8)15/15
CGA-grid100 holtschulte 334 (502)∞∞∞∞∞∞2e50/15
CGA-grid16 holtschulte 131 (251)∞∞∞∞∞∞2e50/15
CGA-ring100 holtschulte 19 (5)198 (168)∞∞∞∞∞2e50/15
CGA-ring16 holtschulte 44 (74)383 (342)∞∞∞∞∞2e50/15
CMAES Hutter hutter 1.9 (2)∞∞∞∞∞∞5060/15
DE Pal pal 4.5 (3)6.5 (4)5.9 (6)7.9 (7)7.9 (7)7.7 (8)7.5 (5)8/15
GA-100 holtschulte 9.2 (5)122 (129)∞∞∞∞∞2e50/15
HCMA loshchilov 1.7 (2)0.96 (1)0.96 (0.7)0.95 (0.7)0.94 (0.7)0.92 (0.6)0.90 (0.6)15/15
HILL holtschulte 142 (246)∞∞∞∞∞∞2e50/15
HMLSL pal 2.3 (1)5.5 (6)10 (9)10 (17)10 (9)10 (10)10 (10)6/15
IP-10DDr liao 1.5 (0.6)1.1 (0.9)0.85 (0.4)0.85 (0.4)0.85 (0.4)0.85 (0.4)0.86 (0.4)15/15
IP-500 liao 1.5 (0.6)1.1 (0.9)0.86 (0.4)0.86 (0.4)0.86 (0.4)0.87 (0.4)0.87 (0.4)15/15
IPOP400D auger 1.9 (2)1.1 (0.9)2.2 (2)∞∞∞∞28130/15
IP liao 1.5 (0.6)1.1 (0.9)0.86 (0.4)0.86 (0.4)0.86 (0.4)0.87 (0.4)0.87 (0.4)15/15
MEMPSODE voglis 14 (15)4.4 (4)5.6 (4)5.5 (4)5.4 (4)5.2 (4)5.1 (4)15/15
MLSL pal 10 (7)∞∞∞∞∞∞6e40/15
OQNLP pal 12 (12)∞∞∞∞∞∞1e40/15
P-DCN tran 6.4e4 (9e4)∞∞∞∞∞∞5e60/15
P-zero tran 4.5e4 (4e4)∞∞∞∞∞∞5e60/15
PRCGA sawyerr 23 (24)157 (199)∞∞∞∞∞3e50/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞5000/15
U-DCN tran 515 (62)2163 (1752)∞∞∞∞∞5e60/15
U-zero tran 1552 (2756)∞∞∞∞∞∞5e60/15
fmincon pal 8.2 (9)45 (66)∞∞∞∞∞6e40/15
fminunc pal 8.8 (12)∞∞∞∞∞∞6e40/15
lmm-CMA-ES auger 1.2 (1.0)1.1 (1)1.1 (1)2.1 (2)2.1 (2)2.0 (3)2.0 (2)1/15
simplex pal 20 (21)122 (139)∞∞∞∞∞8e40/15
tany liao 1.8 (2)0.76 (0.6)0.80 (0.5)0.80 (0.6)0.80 (0.6)0.80 (0.6)0.81 (0.5)15/15
texp liao 2.1 (2)0.94 (0.9)0.76 (0.8)0.77 (0.8)0.78 (0.7)0.79 (0.7)0.80 (0.7)15/15

Δ fopt
f16, 5-D		 1e1
120		 1e0
612		 1e-1
2662		 1e-2
10163		 1e-3
10449		 1e-5
11644		 1e-7
12095		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 4.6 (10)3.3 (4)1.8 (2)0.67 (0.7)0.69 (0.8)0.66 (0.7)0.65 (0.7)15/15
BIPOP-saACM-k loshchilov 2.1 (2)3.9 (4)2.0 (2)0.93 (0.8)0.95 (0.8)0.93 (0.7)0.96 (0.7)15/15
CGA-grid100 holtschulte 2.6 (2)185 (335)641 (1054)∞∞∞∞2e50/15
CGA-grid16 holtschulte 2.1 (3)98 (209)388 (260)∞∞∞∞2e50/15
CGA-ring100 holtschulte 3.1 (4)23 (19)66 (77)169 (147)∞∞∞2e50/15
CGA-ring16 holtschulte 1.5 (1.0)6.4 (3)117 (144)346 (424)∞∞∞2e50/15
CMAES Hutter hutter 2.5 (3)6.1 (5)∞∞∞∞∞5060/15
DE Pal pal 3.3 (3)32 (28)183 (185)∞∞∞∞1e50/15
GA-100 holtschulte 3.2 (3)75 (207)119 (145)167 (244)∞∞∞2e50/15
HCMA loshchilov 2.9 (2)3.6 (4)2.3 (2)0.67 (0.5)0.70 (0.6)0.66 (0.5)0.82 (0.8)15/15
HILL holtschulte 2.9 (2)373 (526)∞∞∞∞∞2e50/15
HMLSL pal 4.4 (2)45 (30)530 (536)∞∞∞∞1e50/15
IP-10DDr liao 2.0 (2)2.2 (3)1.1 (1)0.48 (0.5)↑10.58 (0.5)↑10.67 (0.3)↑10.67 (0.3)↑115/15
IP-500 liao 2.0 (2)2.2 (3)1.1 (1)0.48 (0.5)↑10.58 (0.5)↑10.67 (0.3)↑10.67 (0.3)↑115/15
IPOP400D auger 3.0 (2)3.1 (4)1.9 (2)∞∞∞∞28130/15
IP liao 2.0 (2)2.2 (3)1.1 (1)0.48 (0.5)↑10.58 (0.5)↑10.67 (0.3)↑10.67 (0.3)↑115/15
MEMPSODE voglis 3.0 (2)32 (31)28 (12)13 (13)31 (17)29 (15)95 (171)11/15
MLSL pal 4.7 (3)70 (54)∞∞∞∞∞9e40/15
OQNLP pal 12 (19)243 (269)118 (123)∞∞∞∞2e40/15
P-DCN tran 1.1 (0.7)1846 (4086)7523 (1e4)3329 (4059)3290 (3142)∞∞5e60/15
P-zero tran 5.5 (16)7998 (1e4)1.2e4 (2e4)6895 (8241)∞∞∞5e60/15
PRCGA sawyerr 3.1 (2)40 (27)46 (92)34 (43)139 (158)∞∞3e50/15
SMAC-BBOB hutter 0.42 (0.3)↑03.8 (5)∞∞∞∞∞5000/15
U-DCN tran 1.7 (1.0)90 (82)1913 (2385)3199 (4058)∞∞∞5e60/15
U-zero tran 1.3 (0.9)600 (1236)2031 (4378)1489 (2563)∞∞∞5e60/15
fmincon pal 4.1 (2)61 (53)496 (525)∞∞∞∞9e40/15
fminunc pal 12 (12)154 (186)∞∞∞∞∞1e50/15
lmm-CMA-ES auger 2.0 (2)2.1 (2)1.8 (2)0.70 (0.7)0.92 (1)1.1 (1)1.1 (1)3/15
simplex pal 6.3 (1)20 (18)44 (42)145 (149)∞∞∞1e50/15
tany liao 1.9 (1)2.1 (3)0.90 (0.6)0.54 (0.7)0.62 (0.7)0.59 (0.6)0.59 (0.6)15/15
texp liao 1.1 (1)1.5 (2)1.2 (1)0.56 (0.4)↑00.70 (0.3)↑10.68 (0.3)↑10.70 (0.3)↑115/15

Δ fopt
f17, 5-D		 1e1
5.0		 1e0
215		 1e-1
899		 1e-2
2861		 1e-3
3669		 1e-5
6351		 1e-7
7934		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 5.7 (6)1.1 (0.5)1.4 (2)0.80 (0.6)0.88 (0.5)0.94 (0.4)1.0 (0.4)15/15
BIPOP-saACM-k loshchilov 5.1 (3)2.1 (0.9)1.7 (2)0.97 (0.6)1.00 (0.4)1.3 (0.7)1.7 (1)15/15
CGA-grid100 holtschulte 3.8 (3)29 (18)836 (875)∞∞∞∞2e50/15
CGA-grid16 holtschulte 4.4 (6)101 (69)167 (289)595 (807)∞∞∞2e50/15
CGA-ring100 holtschulte 4.0 (6)16 (3)37 (22)145 (143)∞∞∞2e50/15
CGA-ring16 holtschulte 6.2 (8)3.7 (2)117 (143)1277 (1922)∞∞∞2e50/15
CMAES Hutter hutter 4.2 (6)0.92 (0.4)0.73 (0.6)∞∞∞∞5060/15
DE Pal pal 5.6 (5)2.6 (1)2.3 (0.9)1.4 (0.6)1.7 (0.6)3.1 (0.9)3.2 (0.9)14/15
GA-100 holtschulte 3.7 (7)6.8 (2)32 (9)∞∞∞∞2e50/15
HCMA loshchilov 2.3 (2)1.4 (0.4)1.4 (2)0.88 (0.6)0.91 (0.5)1.5 (0.6)1.7 (1)15/15
HILL holtschulte 40 (20)411 (735)1148 (1450)∞∞∞∞2e50/15
HMLSL pal 27 (35)11 (8)8.2 (8)4.9 (3)5.3 (2)4.6 (2)6.9 (6)13/15
IP-10DDr liao 3.3 (3)0.78 (0.2)0.77 (0.2)↑10.48 (0.6)0.75 (0.5)1.1 (0.4)1.3 (0.4)15/15
IP-500 liao 3.3 (3)0.78 (0.2)0.77 (0.2)↑10.48 (0.6)0.75 (0.5)1.1 (0.4)1.3 (0.4)15/15
IPOP400D auger 2.1 (2)0.77 (0.4)0.93 (2)0.59 (0.5)0.93 (0.8)3.1 (4)5.2 (5)1/15
IP liao 3.3 (3)0.78 (0.2)0.77 (0.2)↑10.48 (0.6)0.75 (0.5)1.1 (0.4)1.3 (0.4)15/15
MEMPSODE voglis 7.2 (4)17 (20)36 (13)22 (35)27 (33)23 (19)104 (111)13/15
MLSL pal 25 (36)125 (136)∞∞∞∞∞1e50/15
OQNLP pal 15 (19)134 (123)∞∞∞∞∞2e40/15
P-DCN tran 4.5 (5)4.7e4 (6e4)7.8e4 (1e5)∞∞∞∞5e60/15
P-zero tran 5.9 (8)3.3e4 (4e4)2.3e4 (3e4)1.2e4 (9175)∞∞∞5e60/15
PRCGA sawyerr 2.0 (2)2.9 (2)7.2 (10)23 (30)64 (78)78 (56)77 (81)2/15
SMAC-BBOB hutter 2.6 (4)3.3 (3)∞∞∞∞∞5000/15
U-DCN tran 4.3 (4)6.0 (9)5088 (9918)2.5e4 (4e4)∞∞∞5e60/15
U-zero tran 2.7 (2)33 (56)4878 (7968)2.5e4 (3e4)∞∞∞5e60/15
fmincon pal 21 (26)171 (166)∞∞∞∞∞1e50/15
fminunc pal 11 (17)25 (21)∞∞∞∞∞6e40/15
lmm-CMA-ES auger 1.8 (2)0.51 (0.3)↑00.48 (0.6)0.47 (0.3)↑10.65 (0.6)1.2 (0.6)2.6 (3)1/15
simplex pal 66 (74)129 (110)∞∞∞∞∞8e40/15
tany liao 3.8 (7)1.1 (0.6)1.1 (2)0.74 (0.6)0.71 (0.5)0.83 (0.7)0.93 (0.6)15/15
texp liao 49 (7)3.0 (7)2.8 (6)1.2 (2)1.2 (2)1.1 (0.7)1.1 (0.6)15/15

Δ fopt
f18, 5-D		 1e1
103		 1e0
378		 1e-1
3968		 1e-2
8451		 1e-3
9280		 1e-5
10905		 1e-7
12469		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.3 (0.6)1.0 (0.3)0.55 (0.5)0.45 (0.4)↑00.70 (0.3)0.96 (1.0)0.94 (0.9)15/15
BIPOP-saACM-k loshchilov 1.4 (0.8)3.2 (5)0.77 (0.5)0.66 (0.3)0.70 (0.3)0.98 (0.7)1.0 (0.7)15/15
CGA-grid100 holtschulte 16 (14)978 (1341)921 (977)∞∞∞∞2e50/15
CGA-grid16 holtschulte 8.6 (12)461 (591)∞∞∞∞∞2e50/15
CGA-ring100 holtschulte 8.0 (4)32 (15)78 (57)∞∞∞∞2e50/15
CGA-ring16 holtschulte 3.6 (3)453 (661)273 (315)∞∞∞∞2e50/15
CMAES Hutter hutter 1.3 (0.6)0.93 (0.3)0.94 (1)∞∞∞∞5060/15
DE Pal pal 1.9 (1.0)4.9 (3)1.5 (0.8)1.6 (0.5)2.3 (0.6)4.1 (1)5.3 (4)13/15
GA-100 holtschulte 5.4 (4)14 (9)116 (114)∞∞∞∞2e50/15
HCMA loshchilov 1.3 (1)2.1 (0.9)0.74 (0.5)0.61 (0.4)0.69 (0.3)0.94 (0.3)0.96 (0.6)15/15
HILL holtschulte 36 (19)453 (673)415 (457)∞∞∞∞2e50/15
HMLSL pal 10 (8)10 (7)5.1 (3)4.2 (1)5.2 (1)6.9 (2)14 (11)5/15
IP-10DDr liao 1.1 (0.4)1.8 (0.3)0.56 (0.5)0.84 (0.5)1.0 (0.3)0.97 (0.3)1.0 (0.1)15/15
IP-500 liao 1.1 (0.4)1.8 (0.3)0.56 (0.5)0.84 (0.5)1.0 (0.3)0.97 (0.3)1.0 (0.1)15/15
IPOP400D auger 0.85 (0.5)1.4 (0.7)0.95 (0.7)1.4 (2)∞∞∞28030/15
IP liao 1.1 (0.4)1.8 (0.3)0.56 (0.5)0.84 (0.5)1.0 (0.3)0.97 (0.3)1.0 (0.1)15/15
MEMPSODE voglis 8.9 (6)30 (31)40 (87)41 (53)41 (49)44 (46)308 (341)6/15
MLSL pal 20 (36)1205 (1224)∞∞∞∞∞1e50/15
OQNLP pal 14 (27)190 (192)∞∞∞∞∞2e40/15
P-DCN tran 194 (273)2.9e4 (2e4)8440 (2e4)∞∞∞∞5e60/15
P-zero tran 938 (2558)4.0e4 (7e4)1.8e4 (2e4)∞∞∞∞5e60/15
PRCGA sawyerr 2.5 (3)3.4 (2)23 (52)48 (50)205 (263)∞∞3e50/15
SMAC-BBOB hutter 1.7 (2)19 (17)∞∞∞∞∞5000/15
U-DCN tran 2.5 (3)6283 (6723)8405 (8402)∞∞∞∞5e60/15
U-zero tran 2.2 (2)7026 (1e4)8805 (1e4)∞∞∞∞5e60/15
fmincon pal 16 (17)959 (960)∞∞∞∞∞1e50/15
fminunc pal 11 (14)411 (490)∞∞∞∞∞7e40/15
lmm-CMA-ES auger 0.52 (0.3)↑00.52 (0.1)★↑00.38 (0.2)↑10.43 (0.3)1.4 (2)3.8 (4)∞28050/15
simplex pal 25 (24)754 (1154)∞∞∞∞∞8e40/15
tany liao 0.96 (0.4)1.8 (0.7)1.2 (1)0.76 (0.6)1.0 (0.7)1.1 (0.7)1.0 (0.6)15/15
texp liao 1.3 (0.8)2.8 (5)0.81 (0.6)0.76 (0.6)0.88 (0.4)0.90 (0.4)0.98 (0.4)15/15

Δ fopt
f19, 5-D		 1e1
1		 1e0
1		 1e-1
242		 1e-2
1.0e5		 1e-3
1.2e5		 1e-5
1.2e5		 1e-7
1.2e5		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 21 (12)850 (1002)139 (107)1.3 (1)1.4 (1)1.4 (1)1.4 (1)15/15
BIPOP-saACM-k loshchilov 20 (23)1590 (994)76 (97)1.2 (1)1.2 (1)1.2 (1)1.2 (1)15/15
CGA-grid100 holtschulte 39 (34)4.8e4 (1e5)1.5e4 (1e4)∞∞∞∞2e50/15
CGA-grid16 holtschulte 50 (50)1.6e4 (2e4)4688 (6639)∞∞∞∞2e50/15
CGA-ring100 holtschulte 49 (55)6741 (5378)3412 (3269)∞∞∞∞2e50/15
CGA-ring16 holtschulte 31 (24)5321 (5646)3364 (3761)34 (35)29 (17)29 (21)∞2e50/15
CMAES Hutter hutter 14 (18)2283 (1746)∞∞∞∞∞5060/15
DE Pal pal 34 (28)3306 (1883)1087 (1145)∞∞∞∞1e50/15
GA-100 holtschulte 41 (37)3511 (2624)1122 (940)∞∞∞∞2e50/15
HCMA loshchilov 15 (6)1195 (1448)99 (105)0.90 (1)0.80 (0.9)0.86 (0.9)0.86 (0.9)15/15
HILL holtschulte 42 (32)1.1e4 (1e4)6889 (8215)∞∞∞∞2e50/15
HMLSL pal 1 (0)1 (0)0.17 (0.0)↑014 (17)13 (16)12 (19)12 (10)1/15
IP-10DDr liao 13 (14)1466 (1310)519 (658)4.0 (4)4.0 (3)4.0 (3)4.0 (3)15/15
IP-500 liao 13 (14)1466 (1310)484 (576)2.4 (2)2.4 (2)2.4 (2)2.4 (2)15/15
IPOP400D auger 1 (0)1 (0)173 (142)∞∞∞∞28050/15
IP liao 13 (14)1466 (1310)484 (576)2.3 (2)2.4 (2)2.4 (2)2.4 (2)15/15
MEMPSODE voglis 60 (24)7494 (7112)154 (80)3.1 (2)13 (13)13 (14)16 (17)10/15
MLSL pal 1 (0)1 (0)0.17 (0.0)↑0∞∞∞∞1e50/15
OQNLP pal 1 (0)1 (0)0.10 (0)★4↑00.30 (0.3)3.5 (3)3.6 (3)∞3e40/15
P-DCN tran 44 (40)5.0e5 (9e5)6.5e4 (5e4)679 (775)619 (643)618 (598)∞5e60/15
P-zero tran 27 (16)2.2e6 (3e6)3.1e5 (3e5)∞∞∞∞5e60/15
PRCGA sawyerr 14 (12)502 (302)55 (5)∞∞∞∞3e50/15
SMAC-BBOB hutter 1 (0)1 (0)∞∞∞∞∞5000/15
U-DCN tran 32 (30)1.3e4 (1e4)4.9e4 (9e4)∞∞∞∞5e60/15
U-zero tran 27 (20)7251 (6858)3.2e4 (4e4)∞∞∞∞5e60/15
fmincon pal 1 (0)1 (0)0.17 (0.0)↑0∞∞∞∞1e50/15
fminunc pal 1 (0)1 (0)0.13 (0.0)↑0∞∞∞∞8e40/15
lmm-CMA-ES auger 1 (0)1 (0)56 (50)∞∞∞∞28050/15
simplex pal 1 (0)1 (0)0.18 (0.0)↑0∞∞∞∞1e50/15
tany liao 13 (16)2343 (3986)392 (388)2.8 (3)3.9 (5)3.9 (5)3.9 (5)15/15
texp liao 3.5 (2)1812 (2224)746 (669)2.9 (2)3.7 (4)3.7 (4)3.7 (4)15/15

Δ fopt
f20, 5-D		 1e1
16		 1e0
851		 1e-1
38111		 1e-2
51362		 1e-3
54470		 1e-5
54861		 1e-7
55313		 #succ
14/15
BIPOP-aCMA-STEP loshchilov 4.1 (3)7.6 (9)2.7 (1)2.0 (1.0)2.0 (0.9)2.0 (0.9)2.0 (0.9)15/15
BIPOP-saACM-k loshchilov 3.8 (3)5.5 (7)1.6 (1)1.2 (0.9)1.2 (0.8)1.2 (0.8)1.3 (0.9)15/15
CGA-grid100 holtschulte 41 (44)14 (7)14 (12)15 (16)68 (79)∞∞2e50/15
CGA-grid16 holtschulte 13 (8)8.1 (3)8.7 (14)7.1 (9)7.2 (7)∞∞2e50/15
CGA-ring100 holtschulte 32 (17)7.4 (2)1.4 (2)1.4 (1)2.1 (1)22 (24)∞2e50/15
CGA-ring16 holtschulte 8.5 (6)3.3 (0.5)10 (15)7.7 (13)7.7 (8)21 (29)∞2e50/15
CMAES Hutter hutter 4.2 (3)∞∞∞∞∞∞5060/15
DE Pal pal 7.7 (4)2.3 (2)2.4 (4)1.8 (3)1.7 (2)1.7 (2)1.7 (2)8/15
GA-100 holtschulte 18 (12)4.1 (1)10 (13)7.6 (11)7.6 (16)66 (59)∞2e50/15
HCMA loshchilov 0.88 (0.2)5.2 (7)1.6 (1)1.2 (0.8)1.1 (0.8)1.1 (0.8)1.2 (0.7)15/15
HILL holtschulte 5.7 (4)4.4 (8)18 (30)14 (23)13 (16)16 (14)∞2e50/15
HMLSL pal 1.4 (0)2.3 (1)4.1 (5)3.0 (3)2.9 (4)2.8 (3)2.8 (3)6/15
IP-10DDr liao 3.4 (1)12 (11)6.2 (5)4.7 (4)4.4 (4)4.4 (4)4.4 (4)15/15
IP-500 liao 3.4 (1)12 (11)2.1 (3)1.6 (2)1.5 (2)1.5 (2)1.5 (2)15/15
IPOP400D auger 2.1 (2)15 (15)∞∞∞∞∞28050/15
IP liao 3.4 (1)12 (11)1.7 (2)1.3 (1)1.3 (1)1.3 (1)1.3 (1)15/15
MEMPSODE voglis 5.7 (2)3.6 (5)5.5 (8)4.1 (6)3.9 (5)3.9 (5)4.2 (5)15/15
MLSL pal 1.4 (0)7.2 (10)21 (27)16 (17)15 (17)15 (12)15 (13)1/15
OQNLP pal 1.2 (0)5.8 (6)3.5 (5)2.6 (3)2.4 (2)2.4 (3)2.4 (4)1/15
P-DCN tran 8.6 (8)336 (964)1837 (3149)1363 (2117)1285 (1308)1276 (1663)1266 (1220)1/15
P-zero tran 15 (10)371 (908)∞∞∞∞∞5e60/15
PRCGA sawyerr 4.9 (4)25 (44)44 (59)33 (35)31 (28)31 (31)31 (25)3/15
SMAC-BBOB hutter 0.77 (0.3)∞∞∞∞∞∞5000/15
U-DCN tran 4.5 (3)5.6 (8)367 (593)272 (344)257 (277)255 (411)261 (272)4/15
U-zero tran 4.0 (2)17 (29)527 (560)391 (488)369 (437)371 (480)390 (478)0/15
fmincon pal 1.4 (0)6.4 (9)10 (8)7.7 (11)7.3 (7)7.2 (12)7.2 (7)2/15
fminunc pal 0.81 (0)↑04.6 (4)∞∞∞∞∞6e40/15
lmm-CMA-ES auger 1.8 (1)15 (19)∞∞∞∞∞28140/15
simplex pal 8.3 (4)5.4 (3)27 (19)20 (30)19 (19)19 (20)19 (32)1/15
tany liao 3.0 (2)12 (10)5.0 (5)5.8 (8)5.5 (7)5.5 (7)5.4 (7)15/15
texp liao 1.6 (0.6)17 (19)7.1 (6)5.3 (5)5.0 (4)5.0 (4)5.0 (4)15/15

Δ fopt
f21, 5-D		 1e1
41		 1e0
1157		 1e-1
1674		 1e-2
1692		 1e-3
1705		 1e-5
1729		 1e-7
1757		 #succ
14/15
BIPOP-aCMA-STEP loshchilov 2.2 (2)5.8 (8)8.0 (11)8.1 (11)8.0 (11)8.0 (11)8.0 (11)15/15
BIPOP-saACM-k loshchilov 2.7 (2)1.5 (1)4.1 (7)4.0 (7)4.0 (7)4.0 (7)3.9 (7)15/15
CGA-grid100 holtschulte 3.2 (3)170 (192)244 (276)318 (332)421 (665)647 (536)2119 (2383)0/15
CGA-grid16 holtschulte 2.6 (3)267 (378)414 (527)411 (742)420 (452)436 (742)963 (1103)2/15
CGA-ring100 holtschulte 5.3 (5)2.6 (1)3.5 (2)7.1 (3)11 (5)29 (17)81 (48)8/15
CGA-ring16 holtschulte 2.7 (2)95 (163)87 (155)86 (97)87 (149)95 (222)119 (105)9/15
CMAES Hutter hutter 2.2 (2)1.1 (1)2.1 (2)2.1 (2)2.1 (2)2.1 (2)4.3 (3)1/15
DE Pal pal 2.5 (2)1.9 (2)23 (31)24 (45)24 (73)24 (32)24 (57)11/15
GA-100 holtschulte 3.8 (4)65 (109)133 (150)133 (185)133 (184)139 (147)163 (205)8/15
HCMA loshchilov 1.2 (1)5.2 (6)11 (27)11 (27)11 (27)11 (26)11 (26)15/15
HILL holtschulte 6.8 (6)345 (540)416 (681)412 (375)411 (587)411 (445)428 (685)4/15
HMLSL pal 2.3 (3)0.88 (0.7)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)15/15
IP-10DDr liao 1.6 (1)11 (12)14 (18)14 (18)14 (18)14 (17)14 (17)15/15
IP-500 liao 1.6 (1)8.6 (9)51 (11)51 (11)50 (12)50 (12)50 (12)15/15
IPOP400D auger 2.5 (2)5.2 (7)3.7 (5)3.6 (4)3.6 (5)3.6 (6)3.7 (4)5/15
IP liao 1.6 (1)8.7 (9)290 (491)362 (1013)458 (1469)452 (1447)445 (1423)13/15
MEMPSODE voglis 5.0 (5)14 (15)11 (11)11 (11)10 (10)10 (10)14 (22)15/15
MLSL pal 2.8 (5)0.74 (0.7)1.3 (2)1.3 (2)1.3 (2)1.4 (2)1.4 (2)15/15
OQNLP pal 1.6 (2)1.3 (2)1.8 (2)1.8 (2)1.8 (4)1.8 (2)8.8 (9)2/15
P-DCN tran 1.9e4 (6e4)1.2e4 (1e4)∞∞∞∞∞5e60/15
P-zero tran 8713 (3)1.2e4 (2e4)∞∞∞∞∞5e60/15
PRCGA sawyerr 2.9 (4)31 (71)38 (81)39 (83)42 (76)52 (89)70 (91)13/15
SMAC-BBOB hutter 1.2 (1)0.48 (0.5)0.65 (0.7)1.4 (2)4.3 (4)∞∞5000/15
U-DCN tran 2.7 (3)435 (446)906 (1517)897 (1571)892 (1543)885 (2925)880 (1441)12/15
U-zero tran 2.9 (1)236 (396)1410 (1780)1395 (2956)1386 (1822)1375 (1708)1398 (1594)11/15
fmincon pal 2.6 (4)0.82 (1)0.94 (1)0.94 (1)0.95 (1)0.97 (1)1.0 (1)15/15
fminunc pal 2.3 (5)0.84 (0.7)0.98 (1)1.00 (1)1.0 (1)1.1 (1.0)1.1 (1.0)15/15
lmm-CMA-ES auger 2.1 (1)1.3 (1)1.5 (2)1.5 (2)1.6 (2)1.9 (2)1.9 (2)8/15
simplex pal 16 (15)2.3 (1)3.6 (4)3.5 (4)3.5 (4)3.5 (4)3.5 (4)15/15
tany liao 1.6 (1)3.8 (5)9.3 (8)9.3 (8)9.3 (8)9.2 (8)9.2 (8)15/15
texp liao 1.1 (0.6)13 (16)23 (24)23 (24)23 (24)23 (24)23 (23)15/15

Δ fopt
f22, 5-D		 1e1
71		 1e0
386		 1e-1
938		 1e-2
980		 1e-3
1008		 1e-5
1040		 1e-7
1068		 #succ
14/15
BIPOP-aCMA-STEP loshchilov 8.1 (11)20 (36)21 (33)21 (32)21 (31)20 (31)20 (30)15/15
BIPOP-saACM-k loshchilov 9.1 (13)6.5 (9)23 (16)23 (16)22 (15)21 (15)21 (15)15/15
CGA-grid100 holtschulte 5.5 (6)128 (331)544 (801)731 (773)1680 (2457)∞∞2e50/15
CGA-grid16 holtschulte 5.1 (7)686 (817)662 (920)1162 (1108)3483 (3038)3458 (4688)∞2e50/15
CGA-ring100 holtschulte 5.5 (3)11 (11)36 (33)116 (147)201 (371)830 (1056)∞2e50/15
CGA-ring16 holtschulte 2.5 (2)93 (308)320 (295)421 (478)753 (916)3374 (4688)3322 (3862)0/15
CMAES Hutter hutter 1.9 (1)4.3 (4)∞∞∞∞∞5060/15
DE Pal pal 3.5 (2)69 (130)96 (161)93 (154)92 (100)91 (97)90 (141)8/15
GA-100 holtschulte 5.9 (5)242 (327)439 (518)524 (703)525 (579)816 (683)∞2e50/15
HCMA loshchilov 3.3 (6)5.5 (5)13 (24)18 (30)17 (30)17 (29)24 (47)15/15
HILL holtschulte 6.7 (10)456 (649)321 (466)452 (561)731 (808)∞∞2e50/15
HMLSL pal 3.6 (3)2.1 (2)1.3 (0.8)1.3 (0.8)1.3 (0.7)1.4 (0.7)1.5 (0.8)14/15
IP-10DDr liao 7.4 (11)42 (53)43 (59)41 (56)40 (55)39 (53)39 (52)15/15
IP-500 liao 7.4 (11)92 (27)580 (280)989 (2551)962 (2595)934 (2404)910 (2349)13/15
IPOP400D auger 4.9 (10)8.0 (10)14 (13)13 (19)13 (16)13 (12)12 (11)3/15
IP liao 7.4 (11)33 (27)1315 (2897)4602 (5368)5753 (9921)5580 (4955)5436 (4697)7/15
MEMPSODE voglis 4.6 (3)7.9 (10)42 (36)42 (35)41 (34)40 (33)52 (44)15/15
MLSL pal 2.7 (3)1.8 (3)1.4 (1)1.3 (1)1.3 (1)1.4 (1)1.5 (1)15/15
OQNLP pal 2.8 (2)2.5 (3)2.9 (3)2.8 (4)2.8 (5)2.7 (4)9.4 (11)2/15
P-DCN tran 2.6e4 (4e4)1.9e4 (3e4)2.1e4 (2e4)2.0e4 (3e4)2.0e4 (3e4)1.9e4 (4e4)1.9e4 (3e4)3/15
P-zero tran 2.6e4 (5e4)3.6e4 (4e4)2.1e4 (3e4)2.0e4 (2e4)2.0e4 (3e4)1.9e4 (2e4)1.9e4 (3e4)3/15
PRCGA sawyerr 3.3 (3)110 (243)298 (359)416 (455)421 (375)888 (842)2322 (2465)1/15
SMAC-BBOB hutter 0.90 (0.8)0.92 (1.0)3.7 (3)3.6 (4)7.4 (6)∞∞5000/15
U-DCN tran 1.9 (1)327 (164)1145 (2741)1125 (2550)1129 (2481)1256 (2529)1469 (2365)13/15
U-zero tran 4.8 (6)1107 (459)1458 (2755)1511 (2624)1832 (2756)5410 (5308)3.5e4 (2e4)0/15
fmincon pal 2.2 (3)1.3 (1)1.0 (1)0.99 (1.0)1.00 (0.9)1.1 (0.8)1.2 (0.9)15/15
fminunc pal 3.3 (3)1.2 (1)1.4 (1)1.4 (1)1.4 (1)1.5 (1)1.5 (1)15/15
lmm-CMA-ES auger 2.5 (3)3.8 (5)13 (17)13 (16)12 (17)12 (20)12 (13)3/15
simplex pal 11 (10)5.1 (3)3.3 (3)3.2 (3)3.1 (3)3.1 (3)3.0 (3)15/15
tany liao 12 (9)29 (51)91 (93)87 (89)85 (87)82 (84)80 (82)15/15
texp liao 22 (9)13 (24)18 (20)18 (19)18 (19)17 (19)17 (18)15/15

Δ fopt
f23, 5-D		 1e1
3.0		 1e0
518		 1e-1
14249		 1e-2
27890		 1e-3
31654		 1e-5
33030		 1e-7
34256		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.8 (2)8.6 (6)1.7 (2)0.94 (0.9)0.93 (0.8)0.91 (0.8)0.90 (0.8)15/15
BIPOP-saACM-k loshchilov 2.0 (2)12 (14)1.0 (0.9)0.88 (0.6)0.79 (0.5)1.0 (0.9)1.1 (1)15/15
CGA-grid100 holtschulte 3.0 (2)60 (74)∞∞∞∞∞2e50/15
CGA-grid16 holtschulte 2.2 (3)40 (30)∞∞∞∞∞2e50/15
CGA-ring100 holtschulte 1.8 (2)23 (27)∞∞∞∞∞2e50/15
CGA-ring16 holtschulte 3.0 (2)26 (29)∞∞∞∞∞2e50/15
CMAES Hutter hutter 1.6 (1)∞∞∞∞∞∞5060/15
DE Pal pal 1.9 (2)31 (27)∞∞∞∞∞1e50/15
GA-100 holtschulte 2.3 (2)45 (46)∞∞∞∞∞2e50/15
HCMA loshchilov 8.1 (8)13 (10)1.2 (0.9)0.69 (0.5)0.63 (0.4)1.0 (0.8)1.1 (1)15/15
HILL holtschulte 2.5 (3)49 (45)∞∞∞∞∞2e50/15
HMLSL pal 9.2 (11)2.4 (2)1.7 (2)11 (19)45 (40)∞∞1e50/15
IP-10DDr liao 2.1 (2)7.2 (5)1.7 (1)1.1 (0.9)0.96 (0.8)0.94 (0.8)0.93 (0.8)15/15
IP-500 liao 2.1 (2)7.2 (5)2.0 (1)1.2 (0.9)1.1 (0.8)1.1 (0.8)1.1 (0.8)15/15
IPOP400D auger 4.8 (5)24 (27)2.8 (3)∞∞∞∞28130/15
IP liao 2.1 (2)7.2 (5)2.0 (1)1.2 (0.9)1.1 (0.8)1.1 (0.8)1.1 (0.8)15/15
MEMPSODE voglis 3.4 (3)3.4 (3)3.4 (3)3.8 (4)3.5 (4)11 (22)10 (21)15/15
MLSL pal 9.2 (11)1.9 (2)2.0 (2)9.2 (11)22 (21)∞∞1e50/15
OQNLP pal 29 (47)5.6 (4)8.0 (7)∞∞∞∞4e40/15
P-DCN tran 3.6 (3)3.2 (4)970 (790)∞∞∞∞5e60/15
P-zero tran 3.6 (3)29 (62)2398 (2360)∞∞∞∞5e60/15
PRCGA sawyerr 1.9 (2)39 (50)201 (204)∞∞∞∞2e50/15
SMAC-BBOB hutter 1.6 (2)∞∞∞∞∞∞5000/15
U-DCN tran 3.4 (2)10 (17)∞∞∞∞∞5e60/15
U-zero tran 3.2 (2)43 (50)1527 (1278)∞∞∞∞5e60/15
fmincon pal 7.2 (6)1.6 (2)1.2 (2)3.8 (4)10 (12)∞∞1e50/15
fminunc pal 9.1 (16)10 (10)82 (77)∞∞∞∞8e40/15
lmm-CMA-ES auger 1.9 (2)10 (13)2.9 (5)1.5 (1)1.3 (1)1.3 (2)1.2 (1)1/15
simplex pal 63 (104)3.0 (1)2.2 (2)7.4 (8)23 (16)22 (25)43 (45)0/15
tany liao 1.7 (1)7.5 (6)5.2 (5)3.1 (3)2.7 (2)2.7 (2)2.6 (2)15/15
texp liao 3.0 (3)7.0 (7)6.4 (8)4.2 (4)3.8 (4)3.6 (3)3.5 (3)14/15

Δ fopt
f24, 5-D		 1e1
1622		 1e0
2.2e5		 1e-1
6.4e6		 1e-2
9.6e6		 1e-3
9.6e6		 1e-5
1.3e7		 1e-7
1.3e7		 #succ
3/15
BIPOP-aCMA-STEP loshchilov 2.5 (2)1.7 (3)0.62 (0.7)0.65 (0.5)0.90 (0.9)1.0 (1)1.0 (1)4/15
BIPOP-saACM-k loshchilov 2.1 (2)0.85 (1)0.86 (1)0.91 (2)0.90 (1)0.68 (0.8)0.68 (0.6)6/15
CGA-grid100 holtschulte 93 (100)∞∞∞∞∞∞2e50/15
CGA-grid16 holtschulte 106 (159)∞∞∞∞∞∞2e50/15
CGA-ring100 holtschulte 19 (17)∞∞∞∞∞∞2e50/15
CGA-ring16 holtschulte 13 (12)∞∞∞∞∞∞2e50/15
CMAES Hutter hutter ∞∞∞∞∞∞∞5060/15
DE Pal pal 9.5 (8)∞∞∞∞∞∞1e50/15
GA-100 holtschulte 15 (16)∞∞∞∞∞∞2e50/15
HCMA loshchilov 1.4 (1)2.7 (5)0.73 (0.8)0.88 (0.7)1.1 (0.9)0.80 (0.9)0.80 (0.5)5/15
HILL holtschulte 38 (72)∞∞∞∞∞∞2e50/15
HMLSL pal 1.8 (2)∞∞∞∞∞∞1e50/15
IP-10DDr liao 2.0 (2)104 (113)∞∞∞∞∞5e60/15
IP-500 liao 2.0 (2)∞∞∞∞∞∞5e60/15
IPOP400D auger 1.6 (4)0.19 (0.2)∞∞∞∞∞28050/15
IP liao 2.0 (2)∞∞∞∞∞∞5e60/15
MEMPSODE voglis 6.8 (7)4.4 (6)0.20 (0.2)0.27 (0.3)0.27 (0.2)0.20 (0.2)0.23 (0.2)9/15
MLSL pal 3.4 (2)4.2 (5)∞∞∞∞∞6e40/15
OQNLP pal 0.73 (0.5)0.17 (0.3)0.02 (0.0)0.01 (0.0)0.01 (0.0)0.01 (1e-2)0.01 (1e-2)2/15
P-DCN tran 1155 (1730)∞∞∞∞∞∞5e60/15
P-zero tran ∞∞∞∞∞∞∞5e60/15
PRCGA sawyerr 6.5 (2)3.0 (3)∞∞∞∞∞3e50/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞5000/15
U-DCN tran 709 (989)∞∞∞∞∞∞5e60/15
U-zero tran 575 (655)∞∞∞∞∞∞5e60/15
fmincon pal 3.0 (3)∞∞∞∞∞∞7e40/15
fminunc pal 5.8 (6)∞∞∞∞∞∞7e40/15
lmm-CMA-ES auger 0.88 (0.9)∞∞∞∞∞∞28060/15
simplex pal 13 (7)5.9 (8)∞∞∞∞∞9e40/15
tany liao 2.2 (2)20 (18)∞∞∞∞∞5e60/15
texp liao 1.4 (1)0.76 (1)0.50 (0.4)1.1 (1)1.1 (1)0.80 (0.5)0.80 (1)6/15

Previous dimension | Dimension = 10 | Next dimension

Δ fopt
f1, 10-D		 1e1
22		 1e0
23		 1e-1
23		 1e-2
23		 1e-3
23		 1e-5
23		 1e-7
23		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.3 (0)4.8 (0.5)6.2 (0.5)7.8 (0)9.4 (0.5)12 (0)15 (0)15/15
BIPOP-saACM-k loshchilov 4.8 (1.0)5.8 (0.4)7.1 (0.7)8.7 (0.8)10 (1)13 (1)16 (1)15/15
CGA-grid100 holtschulte 93 (62)295 (66)781 (192)2322 (868)6459 (2176)∞∞5e50/15
CGA-grid16 holtschulte 23 (8)59 (20)155 (64)406 (160)1114 (451)9433 (3827)∞5e50/15
CGA-ring100 holtschulte 63 (28)217 (38)490 (91)1019 (145)1886 (200)5854 (1284)∞5e50/15
CGA-ring16 holtschulte 16 (5)43 (9)107 (21)223 (41)516 (224)3834 (1321)3.2e5 (3e5)0/15
CMAES Hutter hutter 5.0 (2)11 (2)18 (3)24 (3)30 (3)53 (23)∞10020/15
DE Pal pal 17 (6)52 (6)88 (12)126 (7)161 (9)232 (13)304 (12)15/15
GA-100 holtschulte 33 (9)97 (24)240 (49)536 (128)1235 (333)6645 (1771)∞5e50/15
HCMA loshchilov 1 (0)0.97 (0.0)0.97 (0.0)0.99 (0.0)0.99 (0.0)0.99 (0.0)0.99 (0.0)15/15
HILL holtschulte 5.5 (2)13 (5)42 (22)137 (61)442 (249)3990 (1564)3.2e5 (4e5)0/15
HMLSL pal 0.65 (0.2)1.4 (0.5)1.9 (0.2)2.0 (0.5)2.6 (0.2)3.5 (0.2)4.1 (0.7)15/15
IP-10DDr liao 5.0 (2)11 (0.9)17 (2)24 (2)29 (2)43 (3)56 (3)15/15
IP-500 liao 5.0 (2)11 (0.9)17 (2)24 (2)29 (2)43 (3)56 (3)15/15
IPOP400D auger 4.5 (2)10 (2)17 (2)23 (3)30 (3)42 (3)55 (3)15/15
IP liao 5.0 (2)11 (0.9)17 (2)24 (2)29 (2)43 (3)56 (3)15/15
MEMPSODE voglis 4.4 (0.5)4.5 (0.2)4.5 (0.2)4.5 (0.2)4.5 (0.2)4.5 (0.2)4.5 (0.2)15/15
MLSL pal 0.65 (0.2)1.4 (0.5)1.9 (0.2)2.0 (0.5)2.6 (0.2)3.5 (0.2)4.1 (0.7)15/15
OQNLP pal 1.4 (0)1.4 (0.3)1.8 (0.3)1.9 (0.0)2.0 (0.0)2.0 (0.0)2.0 (0.0)15/15
P-DCN tran 25 (12)46 (10)57 (12)72 (13)107 (22)378 (97)1282 (508)15/15
P-zero tran 26 (13)45 (12)53 (12)60 (12)73 (16)208 (65)1552 (640)15/15
PRCGA sawyerr 23 (11)60 (15)96 (15)139 (25)187 (33)544 (124)1145 (131)15/15
SMAC-BBOB hutter 0.93 (0.2)1.6 (0.3)2.8 (0.5)5.9 (2)∞∞∞10000/15
U-DCN tran 10 (4)64 (30)192 (63)395 (132)897 (559)2493 (1447)5557 (3430)15/15
U-zero tran 6.2 (3)29 (13)86 (30)247 (56)702 (269)7433 (2373)7.8e4 (4e4)15/15
fmincon pal 0.65 (0.2)1.4 (0.5)1.9 (0.2)2.0 (0.5)2.6 (0.2)3.5 (0.2)4.1 (0.7)15/15
fminunc pal 1.0 (0)1 (0)1 (0)1 (0)1 (0)1 (0)1 (0)15/15
lmm-CMA-ES auger 3.2 (0.5)3.9 (0.1)4.6 (0.2)5.2 (0.3)5.7 (0.3)7.1 (0.3)8.4 (0.5)15/15
simplex pal 73 (28)116 (26)150 (76)257 (217)317 (250)801 (578)1873 (2211)14/15
tany liao 5.5 (2)13 (1)19 (2)26 (2)33 (3)48 (3)63 (5)15/15
texp liao 3.8 (1)11 (0.9)18 (3)25 (3)31 (2)45 (3)60 (4)15/15

Δ fopt
f2, 10-D		 1e1
187		 1e0
190		 1e-1
191		 1e-2
191		 1e-3
193		 1e-5
194		 1e-7
195		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.3 (0.1)1.5 (0.2)1.7 (0.2)1.9 (0.3)2.1 (0.2)2.4 (0.3)2.7 (0.2)15/15
BIPOP-saACM-k loshchilov 2.9 (0.2)3.1 (0.2)3.3 (0.2)3.5 (0.2)3.7 (0.3)4.1 (0.3)4.5 (0.3)15/15
CGA-grid100 holtschulte 815 (664)2413 (1531)1.9e4 (2e4)∞∞∞∞5e50/15
CGA-grid16 holtschulte 188 (143)587 (405)2668 (1882)1.9e4 (1e4)∞∞∞5e50/15
CGA-ring100 holtschulte 207 (68)367 (129)1181 (764)7040 (8482)∞∞∞5e50/15
CGA-ring16 holtschulte 164 (116)394 (355)1403 (1283)4487 (4314)∞∞∞5e50/15
CMAES Hutter hutter ∞∞∞∞∞∞∞10020/15
DE Pal pal 17 (0.8)21 (1)25 (1)30 (1)34 (1)42 (2)51 (2)15/15
GA-100 holtschulte 128 (64)493 (344)1662 (1334)∞∞∞∞5e50/15
HCMA loshchilov 1.3 (0.1)1.5 (0.2)1.7 (0.2)1.9 (0.3)2.1 (0.2)2.4 (0.3)2.7 (0.2)15/15
HILL holtschulte 120 (115)517 (369)2212 (2743)1.2e4 (1e4)3.8e4 (5e4)∞∞5e50/15
HMLSL pal 3.0 (0.9)3.3 (0.9)3.5 (1)3.7 (1)4.0 (1)5.4 (2)10 (12)15/15
IP-10DDr liao 22 (5)25 (4)28 (4)30 (2)30 (2)32 (2)33 (2)15/15
IP-500 liao 22 (5)25 (4)28 (4)30 (2)30 (2)32 (2)33 (2)15/15
IPOP400D auger 22 (5)26 (13)52 (39)75 (70)186 (199)∞∞48030/15
IP liao 22 (5)25 (4)28 (4)30 (2)30 (2)32 (2)33 (2)15/15
MEMPSODE voglis 1.6 (0.2)1.7 (0.3)1.7 (0.3)1.9 (0.3)2.0 (0.2)2.1 (0.2)★22.3 (0.3)★215/15
MLSL pal 3.0 (0.9)3.3 (0.9)3.5 (1)3.7 (1)4.0 (1)5.4 (2)7.9 (7)15/15
OQNLP pal 3.0 (1)3.6 (1)3.9 (1)4.0 (2)4.1 (2)4.3 (2)520 (476)0/15
P-DCN tran 19 (6)24 (9)41 (19)109 (80)148 (78)394 (259)2287 (2481)14/15
P-zero tran 16 (5)23 (7)49 (22)127 (82)287 (257)5781 (4499)7.2e4 (5e4)2/15
PRCGA sawyerr 18 (3)29 (5)95 (74)478 (394)724 (1333)2059 (2060)4246 (4137)10/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞10000/15
U-DCN tran 94 (79)182 (167)320 (233)421 (236)1306 (713)1.2e4 (2e4)4.7e4 (5e4)7/15
U-zero tran 183 (119)577 (382)2651 (3041)7119 (3495)2.1e4 (2e4)2.4e5 (3e5)∞1e70/15
fmincon pal 3.1 (2)3.3 (2)3.5 (2)3.8 (2)4.2 (2)5.6 (3)12 (20)15/15
fminunc pal 10 (3)12 (3)13 (2)14 (2)14 (2)14 (2)15 (2)15/15
lmm-CMA-ES auger 4.8 (1)5.5 (1)6.0 (0.9)6.3 (0.9)6.5 (0.9)7.0 (0.9)7.5 (0.9)15/15
simplex pal 2928 (2735)∞∞∞∞∞∞2e50/15
tany liao 22 (5)26 (3)27 (3)29 (2)30 (2)31 (2)33 (2)15/15
texp liao 19 (3)23 (4)25 (4)27 (2)28 (2)30 (2)31 (2)15/15

Δ fopt
f3, 10-D		 1e1
1739		 1e0
3600		 1e-1
3609		 1e-2
3636		 1e-3
3642		 1e-5
3646		 1e-7
3651		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 0.28 (0.0)↑00.29 (0.0)↑00.33 (0.0)↑00.34 (0.0)↑00.36 (0.0)↑00.38 (0.1)↑00.41 (0.0)↑015/15
BIPOP-saACM-k loshchilov 2.9 (2)429 (531)3693 (3667)3666 (3290)3660 (3956)3656 (4625)3652 (3192)8/15
CGA-grid100 holtschulte 15 (4)32 (6)87 (34)∞∞∞∞5e50/15
CGA-grid16 holtschulte 2.4 (0.7)6.5 (2)17 (6)52 (16)494 (467)∞∞5e50/15
CGA-ring100 holtschulte 7.1 (0.8)8.8 (2)16 (2)31 (10)78 (27)∞∞5e50/15
CGA-ring16 holtschulte 1.3 (0.3)2.2 (0.5)6.1 (2)22 (6)78 (36)∞∞5e50/15
CMAES Hutter hutter 8.6 (10)∞∞∞∞∞∞10020/15
DE Pal pal 10 (3)8.2 (0.8)29 (42)29 (41)29 (55)29 (28)30 (28)11/15
GA-100 holtschulte 3.2 (0.7)5.2 (2)13 (4)30 (11)112 (31)∞∞5e50/15
HCMA loshchilov 0.28 (0.0)↑00.29 (0.0)↑00.33 (0.0)↑00.34 (0.0)↑00.36 (0.0)↑00.38 (0.1)↑00.41 (0.0)↑015/15
HILL holtschulte 0.70 (0.3)↑11.8 (0.7)5.6 (2)18 (5)69 (33)∞∞5e50/15
HMLSL pal 4.5 (3)10 (3)39 (72)39 (71)39 (55)39 (30)39 (29)10/15
IP-10DDr liao 3.7 (3)161 (200)1049 (1447)1042 (1382)1040 (1371)1040 (1360)1039 (1380)13/15
IP-500 liao 3.7 (3)92 (89)567 (763)563 (758)563 (756)563 (755)563 (754)15/15
IPOP400D auger 12 (15)∞∞∞∞∞∞48150/15
IP liao 3.7 (3)4187 (4171)3.9e4 (4e4)3.9e4 (4e4)3.8e4 (6e4)3.8e4 (5e4)3.8e4 (3e4)1/15
MEMPSODE voglis 6.8 (3)16 (5)28 (14)28 (12)28 (12)29 (14)32 (18)15/15
MLSL pal ∞∞∞∞∞∞∞2e50/15
OQNLP pal 273 (390)∞∞∞∞∞∞7e40/15
P-DCN tran 83 (108)273 (391)389 (438)386 (435)385 (434)386 (434)396 (419)15/15
P-zero tran 178 (368)433 (478)977 (685)970 (679)969 (678)973 (668)1021 (607)15/15
PRCGA sawyerr 2.6 (1)9.4 (10)13 (12)16 (13)18 (13)55 (97)94 (121)12/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞10000/15
U-DCN tran 1.6 (1.0)6.1 (3)8.9 (5)16 (8)20 (11)68 (87)672 (1172)14/15
U-zero tran 1.1 (0.7)3.3 (1.0)11 (4)40 (21)144 (97)1100 (584)∞1e70/15
fmincon pal ∞∞∞∞∞∞∞2e50/15
fminunc pal ∞∞∞∞∞∞∞2e50/15
lmm-CMA-ES auger 2.0 (3)∞∞∞∞∞∞48080/15
simplex pal ∞∞∞∞∞∞∞2e50/15
tany liao 2.5 (3)151 (195)1042 (1152)1034 (1143)1033 (1142)1033 (1140)1032 (1138)14/15
texp liao 3.2 (2)230 (266)1441 (1272)1431 (1262)1429 (1260)1428 (1259)1426 (1257)14/15

Δ fopt
f4, 10-D		 1e1
2234		 1e0
3626		 1e-1
3660		 1e-2
3695		 1e-3
3707		 1e-5
3744		 1e-7
28767		 #succ
12/15
BIPOP-aCMA-STEP loshchilov 0.24 (0.0)↑00.63 (0.1)↑00.88 (0.1)↑11.1 (0.2)1.4 (0.2)1.7 (0.2)0.25 (0.0)↑015/15
BIPOP-saACM-k loshchilov 4.2 (4)∞∞∞∞∞∞1e70/15
CGA-grid100 holtschulte 15 (5)42 (15)264 (151)∞∞∞∞5e50/15
CGA-grid16 holtschulte 2.5 (0.7)8.5 (3)25 (9)83 (36)994 (1004)∞∞5e50/15
CGA-ring100 holtschulte 6.5 (1)11 (2)18 (4)37 (11)81 (35)∞∞5e50/15
CGA-ring16 holtschulte 1.4 (0.1)3.3 (1.0)8.9 (3)31 (21)91 (42)∞∞5e50/15
CMAES Hutter hutter ∞∞∞∞∞∞∞10020/15
DE Pal pal 8.0 (2)46 (56)774 (478)767 (961)765 (580)758 (895)99 (148)1/15
GA-100 holtschulte 3.2 (0.6)7.0 (2)16 (6)40 (15)253 (324)∞∞5e50/15
HCMA loshchilov 0.24 (0.0)↑00.63 (0.1)↑00.88 (0.1)↑11.1 (0.2)1.4 (0.2)1.7 (0.2)0.25 (0.0)↑015/15
HILL holtschulte 0.64 (0.2)↑12.7 (2)8.6 (3)40 (20)132 (177)∞∞5e50/15
HMLSL pal 4.6 (3)234 (290)∞∞∞∞∞2e50/15
IP-10DDr liao 5.6 (5)∞∞∞∞∞∞1e70/15
IP-500 liao 5.6 (5)∞∞∞∞∞∞1e70/15
IPOP400D auger 32 (33)∞∞∞∞∞∞48050/15
IP liao 5.6 (5)∞∞∞∞∞∞1e70/15
MEMPSODE voglis 8.1 (3)28 (16)81 (127)80 (126)80 (126)80 (124)13 (16)15/15
MLSL pal ∞∞∞∞∞∞∞2e50/15
OQNLP pal ∞∞∞∞∞∞∞7e40/15
P-DCN tran 101 (131)147 (110)218 (195)216 (194)216 (193)215 (190)29 (24)15/15
P-zero tran 123 (263)275 (181)632 (466)626 (462)624 (460)625 (457)95 (48)15/15
PRCGA sawyerr 3.7 (1)12 (5)20 (14)21 (13)24 (12)57 (41)12 (17)12/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞10000/15
U-DCN tran 1.8 (0.5)9.4 (5)12 (8)16 (10)39 (24)76 (81)74 (177)9/15
U-zero tran 1.1 (0.6)5.0 (2)17 (13)63 (27)191 (80)1620 (857)∞1e70/15
fmincon pal ∞∞∞∞∞∞∞2e50/15
fminunc pal ∞∞∞∞∞∞∞2e50/15
lmm-CMA-ES auger 10 (10)∞∞∞∞∞∞48130/15
simplex pal ∞∞∞∞∞∞∞2e50/15
tany liao 6.3 (4)∞∞∞∞∞∞1e70/15
texp liao 5.5 (3)∞∞∞∞∞∞1e70/15

Δ fopt
f5, 10-D		 1e1
20		 1e0
20		 1e-1
20		 1e-2
20		 1e-3
20		 1e-5
20		 1e-7
20		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)15/15
BIPOP-saACM-k loshchilov 4.7 (0.8)6.0 (1.0)6.1 (1)6.1 (1)6.1 (1)6.1 (1)6.1 (1)15/15
CGA-grid100 holtschulte 222 (93)348 (131)385 (113)389 (113)389 (107)389 (107)389 (107)15/15
CGA-grid16 holtschulte 41 (11)64 (12)70 (15)70 (15)70 (13)70 (13)70 (13)15/15
CGA-ring100 holtschulte 152 (30)214 (27)245 (32)248 (26)248 (26)248 (26)248 (26)15/15
CGA-ring16 holtschulte 28 (9)41 (8)45 (10)46 (10)46 (10)46 (10)46 (10)15/15
CMAES Hutter hutter 4.4 (1)5.6 (1.0)5.9 (1)5.9 (1)5.9 (1)5.9 (1)5.9 (1)15/15
DE Pal pal 119 (21)327 (26)556 (37)785 (36)1024 (45)1488 (50)1965 (63)15/15
GA-100 holtschulte 81 (10)119 (14)130 (15)133 (17)133 (17)133 (17)133 (17)15/15
HCMA loshchilov 1.2 (0.1)1.5 (0.5)1.6 (0.4)1.6 (0.5)1.6 (0.5)1.6 (0.5)1.6 (0.5)15/15
HILL holtschulte 8.0 (2)11 (3)12 (6)12 (6)12 (6)12 (6)12 (6)15/15
HMLSL pal 2.8 (0)5.0 (0)6.1 (0)6.1 (0)6.7 (0)7.2 (0)1812 (1193)15/15
IP-10DDr liao 13 (5)63 (32)87 (45)105 (51)124 (57)161 (72)185 (75)15/15
IP-500 liao 13 (5)63 (32)87 (45)105 (51)124 (57)161 (72)185 (75)15/15
IPOP400D auger 5.0 (2)6.2 (1)6.3 (1)6.3 (1)6.3 (1)6.3 (1)6.3 (1)15/15
IP liao 13 (5)63 (32)87 (45)105 (51)124 (57)161 (72)185 (75)15/15
MEMPSODE voglis 6.4 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)15/15
MLSL pal 2.8 (0)5.0 (0)6.1 (0)6.1 (0)6.7 (0)7.2 (0)89 (59)11/15
OQNLP pal 1.6 (0)1.7 (0)1.7 (0)1.7 (0)1.7 (0)1.7 (0)1.7 (0)15/15
P-DCN tran 83 (24)145 (69)161 (69)178 (65)205 (61)278 (65)357 (72)15/15
P-zero tran 76 (29)121 (72)132 (67)139 (68)144 (70)162 (70)180 (67)15/15
PRCGA sawyerr 1617 (1246)3231 (2162)5425 (3681)3.7e4 (4e4)2.2e5 (3e5)∞∞5e50/15
SMAC-BBOB hutter 0.60 (0.2)★4↑00.63 (0.2)★4↑00.63 (0.2)★4↑00.63 (0.2)★4↑00.63 (0.2)★4↑00.63 (0.2)★4↑00.63 (0.2)★4↑015/15
U-DCN tran 69 (23)520 (271)1557 (705)5083 (3985)2.0e4 (1e4)5.1e5 (8e5)∞1e70/15
U-zero tran 42 (13)476 (233)6667 (4179)6.8e4 (2e4)7.3e6 (6e6)∞∞1e70/15
fmincon pal 2.8 (0)5.0 (0)6.1 (0)6.1 (0)6.7 (0)7.2 (0)77 (60)11/15
fminunc pal 1.7 (0)2.8 (0)2.8 (0)2.8 (0)2.8 (0)2.8 (0)2.8 (0)15/15
lmm-CMA-ES auger 5.2 (2)6.2 (2)6.5 (3)6.5 (3)6.5 (3)6.5 (3)6.5 (3)15/15
simplex pal 108 (64)143 (114)144 (114)144 (113)144 (113)144 (113)144 (113)15/15
tany liao 16 (11)46 (28)71 (38)86 (40)102 (45)133 (58)158 (66)15/15
texp liao 29 (21)73 (49)99 (76)123 (77)148 (89)193 (121)226 (140)15/15

Δ fopt
f6, 10-D		 1e1
412		 1e0
623		 1e-1
826		 1e-2
1039		 1e-3
1292		 1e-5
1841		 1e-7
2370		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.9 (0.4)1.9 (0.3)1.8 (0.2)1.8 (0.3)1.7 (0.3)1.7 (0.2)1.6 (0.2)15/15
BIPOP-saACM-k loshchilov 2.0 (0.4)2.1 (0.4)2.1 (0.4)2.2 (0.5)2.0 (0.5)2.0 (0.4)2.0 (0.4)15/15
CGA-grid100 holtschulte 107 (69)694 (732)∞∞∞∞∞5e50/15
CGA-grid16 holtschulte 32 (13)208 (407)1341 (1103)1645 (2146)∞∞∞5e50/15
CGA-ring100 holtschulte 35 (10)92 (32)233 (139)1044 (734)5768 (6289)∞∞5e50/15
CGA-ring16 holtschulte 7.5 (2)25 (20)380 (617)1143 (1498)5722 (5128)∞∞5e50/15
CMAES Hutter hutter 1.7 (0.5)5.8 (7)∞∞∞∞∞10020/15
DE Pal pal 10 (3)16 (3)22 (7)25 (6)27 (9)28 (7)30 (7)15/15
GA-100 holtschulte 17 (5)45 (20)217 (207)957 (1294)5688 (4837)∞∞5e50/15
HCMA loshchilov 2.3 (0.7)2.4 (0.7)2.6 (1)2.7 (1)2.5 (0.9)2.4 (1)2.4 (0.8)15/15
HILL holtschulte 11 (18)152 (163)1364 (1415)3320 (4499)5683 (5998)∞∞5e50/15
HMLSL pal 1.4 (0.6)1.3 (0.5)1.4 (0.6)1.6 (0.7)1.7 (0.6)1.9 (0.7)2.1 (0.7)15/15
IP-10DDr liao 1.4 (0.2)1.6 (0.2)1.7 (0.2)1.8 (0.2)1.7 (0.2)1.7 (0.1)1.6 (0.1)15/15
IP-500 liao 1.4 (0.2)1.6 (0.2)1.7 (0.2)1.8 (0.2)1.7 (0.2)1.7 (0.1)1.6 (0.1)15/15
IPOP400D auger 1.7 (0.6)1.8 (0.4)1.8 (0.4)1.8 (0.2)1.7 (0.2)1.6 (0.1)1.6 (0.2)15/15
IP liao 1.4 (0.2)1.6 (0.2)1.7 (0.2)1.8 (0.2)1.7 (0.2)1.7 (0.1)1.6 (0.1)15/15
MEMPSODE voglis 1.9 (1)2.8 (1)3.6 (4)7.7 (5)7.9 (5)8.7 (8)25 (23)15/15
MLSL pal 1.4 (0.6)1.3 (0.5)1.4 (0.6)1.6 (0.7)1.7 (0.6)1.9 (0.7)2.1 (0.7)15/15
OQNLP pal 1.00 (0.5)1.2 (0.5)1.7 (0.8)3.6 (3)13 (24)1051 (1813)∞1e50/15
P-DCN tran 8.7 (6)9.0 (5)10 (5)408 (317)1080 (3212)1252 (2836)1986 (2638)10/15
P-zero tran 69 (11)82 (36)438 (581)1572 (4815)2178 (4055)5931 (1e4)2.9e4 (4e4)1/15
PRCGA sawyerr 15 (5)330 (806)886 (1024)2927 (2842)1.1e4 (1e4)∞∞1e60/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞10000/15
U-DCN tran 35 (35)205 (228)1114 (1854)1681 (2357)2528 (4189)6430 (9909)1.9e4 (2e4)0/15
U-zero tran 1463 (4381)4443 (8060)8343 (1e4)2.9e4 (4e4)3.3e4 (6e4)∞∞1e70/15
fmincon pal 1.3 (0.6)1.3 (0.6)1.4 (0.5)1.5 (0.4)1.6 (0.4)1.9 (0.4)2.2 (0.6)15/15
fminunc pal 2.4 (1)3.2 (1)3.9 (1)3.9 (1)3.9 (1)4.1 (2)65 (121)1/15
lmm-CMA-ES auger 5.5 (4)17 (18)∞∞∞∞∞48040/15
simplex pal 273 (200)∞∞∞∞∞∞2e50/15
tany liao 1.5 (0.3)1.7 (0.4)1.8 (0.2)1.9 (0.3)1.8 (0.2)1.8 (0.2)1.7 (0.2)15/15
texp liao 1.6 (0.4)1.9 (0.2)2.1 (0.2)2.1 (0.2)2.1 (0.2)2.0 (0.2)1.9 (0.2)15/15

Δ fopt
f7, 10-D		 1e1
172		 1e0
1611		 1e-1
4195		 1e-2
5099		 1e-3
5141		 1e-5
5141		 1e-7
5389		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.2 (0.9)1.4 (1)0.93 (0.4)0.86 (0.3)0.87 (0.3)0.87 (0.3)0.85 (0.3)15/15
BIPOP-saACM-k loshchilov 1.4 (0.5)0.71 (0.8)0.46 (0.3)↑10.52 (0.3)↑00.53 (0.3)↑10.53 (0.3)↑10.53 (0.3)↑115/15
CGA-grid100 holtschulte 349 (222)2281 (2471)∞∞∞∞∞5e50/15
CGA-grid16 holtschulte 87 (72)2228 (2232)∞∞∞∞∞5e50/15
CGA-ring100 holtschulte 36 (13)135 (177)1755 (1520)∞∞∞∞5e50/15
CGA-ring16 holtschulte 14 (12)661 (794)∞∞∞∞∞5e50/15
CMAES Hutter hutter 2.1 (0.5)2.9 (2)3.6 (3)∞∞∞∞10020/15
DE Pal pal 12 (5)6.1 (3)5.6 (2)7.0 (3)7.3 (3)7.3 (3)7.3 (3)15/15
GA-100 holtschulte 14 (6)205 (157)802 (972)∞∞∞∞5e50/15
HCMA loshchilov 2.2 (0.7)0.79 (0.7)0.55 (0.3)↑10.64 (0.6)0.68 (0.6)0.68 (0.6)0.70 (0.5)15/15
HILL holtschulte 70 (102)1341 (1424)∞∞∞∞∞5e50/15
HMLSL pal 17 (8)8.2 (5)7.5 (3)9.5 (4)10 (4)10 (4)10 (4)15/15
IP-10DDr liao 2.2 (0.9)2.1 (2)1.6 (0.9)1.6 (0.6)1.6 (0.5)1.6 (0.5)1.6 (0.5)15/15
IP-500 liao 2.2 (0.9)2.1 (2)1.6 (0.9)1.6 (0.6)1.6 (0.5)1.6 (0.5)1.6 (0.5)15/15
IPOP400D auger 1.9 (0.6)1.1 (0.6)8.4 (8)14 (13)14 (12)14 (16)13 (15)1/15
IP liao 2.2 (0.9)2.1 (2)1.6 (0.9)1.6 (0.6)1.6 (0.5)1.6 (0.5)1.6 (0.5)15/15
MEMPSODE voglis 48 (22)28 (32)32 (37)35 (31)35 (30)35 (30)41 (41)15/15
MLSL pal ∞∞∞∞∞∞∞1e50/15
OQNLP pal 160 (246)∞∞∞∞∞∞55090/15
P-DCN tran 336 (313)5066 (8308)3.3e4 (3e4)2.7e4 (3e4)2.7e4 (3e4)2.7e4 (2e4)2.6e4 (3e4)1/15
P-zero tran 914 (1227)2345 (3345)3094 (2071)2641 (3247)2619 (1962)2619 (2734)2499 (1871)8/15
PRCGA sawyerr 12 (7)609 (1029)871 (1101)∞∞∞∞5e50/15
SMAC-BBOB hutter 1.2 (0.7)0.74 (0.5)3.6 (5)∞∞∞∞10000/15
U-DCN tran 2091 (132)9593 (1e4)3.3e4 (3e4)∞∞∞∞1e70/15
U-zero tran 283 (184)6498 (5836)1.7e4 (9535)∞∞∞∞1e70/15
fmincon pal ∞∞∞∞∞∞∞1e50/15
fminunc pal ∞∞∞∞∞∞∞1e50/15
lmm-CMA-ES auger 1.1 (0.4)1.7 (2)2.8 (3)4.4 (6)4.4 (4)4.4 (5)4.2 (5)2/15
simplex pal 2919 (4005)∞∞∞∞∞∞1e50/15
tany liao 2.1 (0.7)1.9 (2)1.4 (0.9)1.2 (0.8)1.3 (0.7)1.3 (0.7)1.3 (0.7)15/15
texp liao 2.0 (0.5)2.4 (2)1.4 (0.7)1.4 (0.6)1.4 (0.6)1.4 (0.6)1.3 (0.6)15/15

Δ fopt
f8, 10-D		 1e1
326		 1e0
921		 1e-1
1114		 1e-2
1217		 1e-3
1267		 1e-5
1315		 1e-7
1343		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.1 (0.4)3.6 (0.6)3.8 (0.5)3.7 (0.4)3.8 (0.4)3.9 (0.4)4.0 (0.4)15/15
BIPOP-saACM-k loshchilov 1.3 (0.6)1.4 (0.2)1.3 (0.2)1.3 (0.2)1.3 (0.2)1.3 (0.2)1.4 (0.2)15/15
CGA-grid100 holtschulte 259 (204)2541 (3214)∞∞∞∞∞5e50/15
CGA-grid16 holtschulte 79 (79)900 (1393)1954 (1823)6049 (4211)∞∞∞5e50/15
CGA-ring100 holtschulte 64 (17)734 (1093)1396 (1347)5938 (7395)∞∞∞5e50/15
CGA-ring16 holtschulte 20 (11)3569 (3250)∞∞∞∞∞5e50/15
CMAES Hutter hutter 2.1 (0.6)∞∞∞∞∞∞10020/15
DE Pal pal 10 (1)31 (1)31 (1)32 (1)33 (1)36 (2)40 (3)14/15
GA-100 holtschulte 43 (29)∞∞∞∞∞∞5e50/15
HCMA loshchilov 1.7 (0.3)1.7 (0.3)1.6 (0.2)1.6 (0.2)1.6 (0.2)1.6 (0.2)1.6 (0.2)15/15
HILL holtschulte 16 (18)384 (548)1848 (2019)∞∞∞∞5e50/15
HMLSL pal 0.83 (0.2)1.4 (2)1.3 (2)1.2 (1)1.2 (1)1.2 (1)1.2 (1)15/15
IP-10DDr liao 2.4 (0.8)5.1 (2)5.1 (1)5.0 (1)5.1 (1)5.2 (1)5.3 (1)15/15
IP-500 liao 2.4 (0.8)5.1 (2)5.1 (1)5.0 (1)5.1 (1)5.2 (1)5.3 (1)15/15
IPOP400D auger 2.1 (1.0)6.0 (4)6.4 (5)9.2 (6)11 (11)27 (27)26 (31)2/15
IP liao 2.4 (0.8)5.1 (2)5.1 (1)5.0 (1)5.1 (1)5.2 (1)5.3 (1)15/15
MEMPSODE voglis 0.96 (0.2)2.0 (3)1.9 (3)1.9 (2)1.9 (2)1.9 (2)1.9 (2)15/15
MLSL pal 0.83 (0.2)0.91 (0.7)0.84 (0.6)0.81 (0.6)0.80 (0.5)0.80 (0.5)0.80 (0.5)15/15
OQNLP pal 0.73 (0.1)↑00.80 (0.6)0.76 (0.5)0.74 (0.4)0.73 (0.4)0.73 (0.4)431 (460)0/15
P-DCN tran 37 (30)5847 (5590)5381 (5003)5728 (9082)6677 (6857)9246 (4955)∞1e70/15
P-zero tran 5.7 (2)1866 (5457)2130 (4548)5269 (4247)∞∞∞1e70/15
PRCGA sawyerr 33 (37)2290 (4066)5986 (6957)1.2e4 (9861)∞∞∞1e60/15
SMAC-BBOB hutter 10 (12)∞∞∞∞∞∞10000/15
U-DCN tran 51 (33)734 (723)1719 (1449)3366 (1333)5316 (1428)∞∞1e70/15
U-zero tran 35 (44)6901 (8183)5.8e4 (7e4)1.2e5 (1e5)∞∞∞1e70/15
fmincon pal 0.83 (0.2)0.91 (0.8)0.84 (0.7)0.81 (0.6)0.80 (0.6)0.81 (0.6)0.81 (0.6)15/15
fminunc pal 1.3 (0.8)1.2 (0.2)1.1 (0.2)1.0 (0.2)1.0 (0.2)1.00 (0.2)0.99 (0.1)15/15
lmm-CMA-ES auger 1.2 (0.2)1.5 (0.3)1.5 (0.2)1.4 (0.2)1.4 (0.2)1.5 (0.2)1.5 (0.2)15/15
simplex pal 26 (22)222 (178)∞∞∞∞∞2e50/15
tany liao 2.2 (0.4)4.7 (1)4.8 (1.0)4.8 (0.9)4.8 (0.9)5.0 (0.8)5.1 (0.8)15/15
texp liao 2.0 (0.6)4.6 (0.8)4.7 (0.6)4.7 (0.6)4.8 (0.6)4.9 (0.6)5.1 (0.6)15/15

Δ fopt
f9, 10-D		 1e1
200		 1e0
648		 1e-1
857		 1e-2
993		 1e-3
1065		 1e-5
1138		 1e-7
1185		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.5 (1)5.8 (2)5.3 (1)5.0 (1)4.9 (1)4.9 (1)5.0 (0.9)15/15
BIPOP-saACM-k loshchilov 2.1 (0.7)2.1 (0.3)1.9 (0.2)1.7 (0.2)1.7 (0.2)1.6 (0.2)1.6 (0.2)15/15
CGA-grid100 holtschulte 540 (206)∞∞∞∞∞∞5e50/15
CGA-grid16 holtschulte 788 (1254)∞∞∞∞∞∞5e50/15
CGA-ring100 holtschulte 133 (25)5208 (6331)∞∞∞∞∞5e50/15
CGA-ring16 holtschulte 210 (17)∞∞∞∞∞∞5e50/15
CMAES Hutter hutter 2.8 (0.5)∞∞∞∞∞∞10020/15
DE Pal pal 21 (9)206 (94)457 (358)3003 (3877)∞∞∞2e50/15
GA-100 holtschulte 72 (29)∞∞∞∞∞∞5e50/15
HCMA loshchilov 2.4 (0.7)2.2 (0.4)1.9 (0.3)1.8 (0.3)1.7 (0.2)1.7 (0.2)1.7 (0.2)15/15
HILL holtschulte 216 (95)1.1e4 (1e4)∞∞∞∞∞5e50/15
HMLSL pal 0.49 (0.1)↑00.48 (0.0)↑00.48 (0.0)↑00.47 (0.0)↑00.46 (0.0)↑00.46 (0.0)↑00.46 (0.0)↑015/15
IP-10DDr liao 3.4 (0.8)6.6 (2)6.2 (1)5.9 (1)5.7 (1.0)5.7 (0.9)5.8 (0.9)15/15
IP-500 liao 3.4 (0.8)6.6 (2)6.2 (1)5.9 (1)5.7 (1.0)5.7 (0.9)5.8 (0.9)15/15
IPOP400D auger 3.1 (0.4)7.3 (4)8.0 (6)18 (12)23 (17)∞∞48030/15
IP liao 3.4 (0.8)6.6 (2)6.2 (1)5.9 (1)5.7 (1.0)5.7 (0.9)5.8 (0.9)15/15
MEMPSODE voglis 1.8 (0.4)4.1 (5)3.7 (4)3.4 (3)3.2 (3)3.3 (3)3.3 (3)15/15
MLSL pal 0.49 (0.1)↑00.48 (0.0)↑00.48 (0.0)↑00.47 (0.0)↑00.46 (0.0)↑00.46 (0.0)↑00.46 (0.0)↑015/15
OQNLP pal 0.86 (3e-3)↑00.39 (0.0)↑00.42 (1e-2)↑00.42 (8e-3)↑00.42 (8e-3)↑00.42 (8e-3)↑04.5 (5)7/15
P-DCN tran 414 (72)3568 (7631)5581 (6181)1.9e4 (2e4)1.4e5 (2e5)∞∞1e70/15
P-zero tran 1103 (9)8638 (7836)9056 (1e4)∞∞∞∞1e70/15
PRCGA sawyerr 20 (8)5077 (4350)∞∞∞∞∞1e60/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞10000/15
U-DCN tran 4841 (2820)9103 (8134)1.4e4 (7054)∞∞∞∞1e70/15
U-zero tran 4133 (3623)3.7e4 (3e4)∞∞∞∞∞1e70/15
fmincon pal 0.49 (0.1)↑00.48 (0.0)↑00.48 (0.0)↑00.46 (0.0)↑00.46 (0.0)↑00.45 (0.0)↑00.46 (0.0)↑015/15
fminunc pal 0.40 (0.0)★↑00.39 (0.0)↑00.41 (0.0)↑00.41 (0.0)↑00.41 (0.0)↑00.41 (0.0)↑00.40 (0.0)★↑015/15
lmm-CMA-ES auger 1.6 (0.3)2.1 (0.6)1.9 (0.5)1.9 (0.4)1.8 (0.4)1.8 (0.4)1.8 (0.4)14/15
simplex pal 79 (102)625 (663)3456 (4511)2983 (4249)∞∞∞2e50/15
tany liao 3.1 (0.7)6.3 (0.9)6.1 (0.6)5.8 (0.6)5.7 (0.6)5.7 (0.5)5.7 (0.5)15/15
texp liao 2.5 (0.6)6.5 (1)6.3 (1.0)5.9 (0.9)5.8 (0.8)5.8 (0.8)5.9 (0.7)15/15

Δ fopt
f10, 10-D		 1e1
1835		 1e0
2172		 1e-1
2455		 1e-2
2728		 1e-3
2802		 1e-5
4543		 1e-7
4739		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.5 (0.4)1.5 (0.2)1.4 (0.1)1.4 (0.1)1.4 (0.1)0.91 (0.1)↑10.94 (0.1)15/15
BIPOP-saACM-k loshchilov 0.29 (0.0)↑00.27 (0.0)↑00.25 (0.0)↑00.24 (0.0)↑00.25 (0.0)↑00.17 (0.0)★↑00.18 (0.0)★3↑015/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞5e50/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞5e50/15
CGA-ring100 holtschulte ∞∞∞∞∞∞∞5e50/15
CGA-ring16 holtschulte ∞∞∞∞∞∞∞5e50/15
CMAES Hutter hutter ∞∞∞∞∞∞∞10020/15
DE Pal pal ∞∞∞∞∞∞∞2e50/15
GA-100 holtschulte ∞∞∞∞∞∞∞5e50/15
HCMA loshchilov 0.38 (0.0)↑00.34 (0.0)↑00.32 (0.0)↑00.31 (0.0)↑00.31 (0.0)↑00.21 (0.0)↑00.22 (0.0)↑015/15
HILL holtschulte ∞∞∞∞∞∞∞5e50/15
HMLSL pal 0.23 (0.1)↑00.22 (0.1)↑00.21 (0.1)↑00.20 (0.1)↑00.21 (0.1)↑09.2 (22)600 (821)0/15
IP-10DDr liao 2.2 (0.4)2.2 (0.4)2.2 (0.3)2.1 (0.2)2.1 (0.2)1.3 (0.1)1.4 (0.1)15/15
IP-500 liao 2.2 (0.4)2.2 (0.4)2.2 (0.3)2.1 (0.2)2.1 (0.2)1.3 (0.1)1.4 (0.1)15/15
IPOP400D auger 2.3 (0.4)4.6 (5)15 (21)∞∞∞∞48030/15
IP liao 2.2 (0.4)2.2 (0.4)2.2 (0.3)2.1 (0.2)2.1 (0.2)1.3 (0.1)1.4 (0.1)15/15
MEMPSODE voglis 5.2 (5)5.4 (4)4.8 (4)4.3 (3)4.2 (3)10 (10)435 (547)5/15
MLSL pal 0.23 (0.1)↑00.22 (0.1)↑00.21 (0.1)↑00.20 (0.1)↑00.21 (0.1)↑010 (23)638 (717)0/15
OQNLP pal 0.62 (0.5)0.81 (0.9)0.98 (0.9)1.6 (2)9.2 (12)∞∞1e50/15
P-DCN tran ∞∞∞∞∞∞∞1e70/15
P-zero tran ∞∞∞∞∞∞∞1e70/15
PRCGA sawyerr ∞∞∞∞∞∞∞1e60/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞10000/15
U-DCN tran ∞∞∞∞∞∞∞1e70/15
U-zero tran ∞∞∞∞∞∞∞1e70/15
fmincon pal 0.23 (0.1)↑00.22 (0.1)↑00.21 (0.1)↑00.21 (0.1)↑00.22 (0.1)↑08.2 (23)626 (786)0/15
fminunc pal 0.76 (0.2)↑00.97 (0.2)1.1 (0.6)1.2 (0.6)1.3 (0.6)2.1 (2)189 (146)0/15
lmm-CMA-ES auger 0.49 (0.1)↑00.50 (0.1)↑00.48 (0.1)↑00.46 (0.0)↑00.47 (0.0)↑00.31 (0.0)↑00.32 (0.0)↑015/15
simplex pal 513 (652)∞∞∞∞∞∞2e50/15
tany liao 1.9 (0.6)2.1 (0.3)2.1 (0.2)2.0 (0.2)2.0 (0.1)1.3 (0.1)1.3 (0.1)15/15
texp liao 2.1 (0.4)2.1 (0.4)2.1 (0.2)2.0 (0.2)2.0 (0.2)1.3 (0.1)1.3 (0.1)15/15

Δ fopt
f11, 10-D		 1e1
266		 1e0
1041		 1e-1
2602		 1e-2
2954		 1e-3
3338		 1e-5
4092		 1e-7
4843		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 7.2 (0.7)2.1 (0.2)0.95 (0.1)0.89 (0.1)↑00.84 (0.1)↑00.76 (0.0)↑00.71 (0.0)↑015/15
BIPOP-saACM-k loshchilov 2.3 (0.3)0.63 (0.1)↑00.27 (0.0)↑00.25 (0.0)↑00.23 (0.0)↑00.21 (0.0)★3↑00.19 (0.0)★3↑015/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞5e50/15
CGA-grid16 holtschulte 3457 (3068)∞∞∞∞∞∞5e50/15
CGA-ring100 holtschulte 889 (268)∞∞∞∞∞∞5e50/15
CGA-ring16 holtschulte 661 (778)7172 (9966)∞∞∞∞∞5e50/15
CMAES Hutter hutter ∞∞∞∞∞∞∞10020/15
DE Pal pal 251 (68)702 (485)∞∞∞∞∞2e50/15
GA-100 holtschulte 366 (239)1324 (1526)2829 (3027)∞∞∞∞5e50/15
HCMA loshchilov 2.8 (0.3)0.76 (0.1)↑00.32 (0.0)↑00.29 (0.0)↑00.27 (0.0)↑00.24 (0.0)↑00.22 (0.0)↑015/15
HILL holtschulte 554 (246)2317 (2888)∞∞∞∞∞5e50/15
HMLSL pal 0.27 (0.0)↑00.09 (0.0)↑00.05 (9e-3)↑00.05 (0.0)↑02.5 (5)216 (253)∞2e50/15
IP-10DDr liao 13 (2)4.0 (0.3)1.7 (0.1)1.6 (0.1)1.5 (0.1)1.3 (0.1)1.2 (0.0)15/15
IP-500 liao 13 (2)4.0 (0.3)1.7 (0.1)1.6 (0.1)1.5 (0.1)1.3 (0.1)1.2 (0.0)15/15
IPOP400D auger 13 (2)3.8 (0.3)1.7 (0.1)2.1 (0.9)3.0 (2)8.8 (12)∞48030/15
IP liao 13 (2)4.0 (0.3)1.7 (0.1)1.6 (0.1)1.5 (0.1)1.3 (0.1)1.2 (0.0)15/15
MEMPSODE voglis 0.48 (0.0)↑00.15 (0.0)↑00.07 (0.0)↑00.08 (0.0)↑00.88 (3)17 (10)926 (1043)1/15
MLSL pal 0.27 (0.0)↑00.09 (0.0)↑00.05 (9e-3)↑00.05 (0.0)↑02.3 (3)219 (228)∞2e50/15
OQNLP pal 0.62 (0.5)0.50 (0.8)0.85 (0.7)1.6 (2)12 (14)∞∞7e40/15
P-DCN tran 1035 (1074)597 (426)332 (231)430 (248)831 (441)∞∞1e70/15
P-zero tran 1441 (1135)849 (606)518 (388)679 (310)1336 (749)∞∞1e70/15
PRCGA sawyerr 4.6e4 (7e4)∞∞∞∞∞∞9e50/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞10000/15
U-DCN tran 880 (671)2253 (1477)1.4e4 (1e4)∞∞∞∞1e70/15
U-zero tran 816 (809)4288 (3556)∞∞∞∞∞1e70/15
fmincon pal 0.27 (0.0)↑00.09 (0.0)↑00.05 (1e-2)↑00.05 (0.0)↑04.4 (10)132 (105)∞2e50/15
fminunc pal 1.0 (0.2)1.3 (1)1.6 (0.9)4.6 (3)60 (43)∞∞2e50/15
lmm-CMA-ES auger 2.9 (0.4)0.85 (0.1)↑10.38 (0.0)↑00.36 (0.0)↑00.33 (0.0)↑00.30 (0.0)↑00.27 (0.0)↑015/15
simplex pal 332 (387)∞∞∞∞∞∞2e50/15
tany liao 13 (2)4.0 (0.3)1.7 (0.1)1.6 (0.1)1.5 (0.1)1.3 (0.1)1.2 (0.1)15/15
texp liao 11 (2)3.3 (0.3)1.5 (0.1)1.4 (0.1)1.3 (0.1)1.2 (0.1)1.0 (0.1)15/15

Δ fopt
f12, 10-D		 1e1
515		 1e0
896		 1e-1
1240		 1e-2
1390		 1e-3
1569		 1e-5
3660		 1e-7
5154		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.5 (2)3.5 (3)4.1 (2)4.3 (2)4.4 (2)2.4 (0.9)2.0 (0.6)15/15
BIPOP-saACM-k loshchilov 1.0 (0.4)0.85 (0.5)0.96 (0.6)1.1 (0.5)1.2 (0.5)0.74 (0.2)↑10.63 (0.2)↑015/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞5e50/15
CGA-grid16 holtschulte 1078 (1082)∞∞∞∞∞∞5e50/15
CGA-ring100 holtschulte 508 (142)2049 (2379)∞∞∞∞∞5e50/15
CGA-ring16 holtschulte 331 (498)973 (670)5850 (4536)∞∞∞∞5e50/15
CMAES Hutter hutter 5.7 (5)∞∞∞∞∞∞10020/15
DE Pal pal 116 (67)374 (333)∞∞∞∞∞2e50/15
GA-100 holtschulte 463 (529)1214 (1486)6021 (6351)∞∞∞∞5e50/15
HCMA loshchilov 1.3 (0.3)1.1 (0.5)1.1 (0.8)1.2 (0.8)1.3 (0.7)0.76 (0.4)0.64 (0.3)↑115/15
HILL holtschulte 477 (593)1757 (1993)∞∞∞∞∞5e50/15
HMLSL pal 0.71 (0.3)0.75 (0.5)0.80 (0.4)0.80 (0.3)0.80 (0.3)20 (41)45 (78)3/15
IP-10DDr liao 4.6 (4)5.6 (5)6.2 (5)6.5 (5)6.6 (4)3.5 (2)2.8 (1)15/15
IP-500 liao 4.6 (4)5.6 (5)6.2 (5)6.5 (5)6.6 (4)3.5 (2)2.8 (1)15/15
IPOP400D auger 3.3 (4)7.3 (6)10 (10)12 (9)15 (12)20 (23)∞48030/15
IP liao 4.6 (4)5.6 (5)6.2 (5)6.5 (5)6.6 (4)3.5 (2)2.8 (1)15/15
MEMPSODE voglis 2.6 (2)3.3 (4)3.6 (3)4.6 (2)7.4 (8)8.9 (9)68 (111)11/15
MLSL pal 0.71 (0.3)0.75 (0.5)0.80 (0.4)0.80 (0.3)0.80 (0.3)0.80 (0.8)9.2 (21)8/15
OQNLP pal 0.82 (0.6)1.5 (0.8)6.0 (3)8.4 (18)20 (25)60 (47)∞1e50/15
P-DCN tran 7079 (9714)3.1e4 (3e4)1.1e5 (1e5)1.0e5 (2e5)∞∞∞1e70/15
P-zero tran 4864 (9711)3.1e4 (3e4)3.2e4 (4e4)1.0e5 (1e5)∞∞∞1e70/15
PRCGA sawyerr 249 (512)789 (1116)1178 (1581)4426 (8645)∞∞∞1e60/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞10000/15
U-DCN tran 7174 (9726)3.1e4 (4e4)1.1e5 (9e4)∞∞∞∞1e70/15
U-zero tran 1.7e4 (3e4)4.5e4 (6e4)5.4e4 (8e4)∞∞∞∞1e70/15
fmincon pal 0.72 (0.3)0.73 (0.5)0.80 (0.4)0.79 (0.3)0.79 (0.3)0.97 (0.7)3.3 (5)8/15
fminunc pal 0.40 (0.2)↑00.39 (0.3)↑00.62 (0.3)↑00.68 (0.2)↑00.71 (0.2)↑11.8 (1)17 (28)5/15
lmm-CMA-ES auger 0.86 (0.2)↑11.0 (0.9)1.3 (1)1.5 (1)1.7 (1)1.1 (1.0)1.1 (1)10/15
simplex pal 16 (11)34 (35)54 (51)156 (96)422 (488)∞∞2e50/15
tany liao 3.1 (2)3.9 (3)4.4 (2)4.9 (2)5.1 (2)2.8 (0.7)2.3 (0.5)15/15
texp liao 2.5 (0.2)3.4 (2)4.7 (2)5.1 (2)5.4 (2)3.0 (1)2.5 (0.9)15/15

Δ fopt
f13, 10-D		 1e1
387		 1e0
596		 1e-1
797		 1e-2
1014		 1e-3
4587		 1e-5
6208		 1e-7
7779		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.7 (2)3.9 (2)4.3 (2)4.1 (2)1.1 (0.5)1.1 (0.3)1.3 (0.5)15/15
BIPOP-saACM-k loshchilov 0.80 (0.3)0.73 (0.2)↑00.79 (0.2)↑10.72 (0.1)↑10.18 (0.0)↑00.17 (0.0)↑00.17 (0.0)↑015/15
CGA-grid100 holtschulte 3109 (2645)∞∞∞∞∞∞5e50/15
CGA-grid16 holtschulte 1594 (1665)∞∞∞∞∞∞5e50/15
CGA-ring100 holtschulte 180 (57)1026 (922)∞∞∞∞∞5e50/15
CGA-ring16 holtschulte 1244 (1317)3663 (4221)∞∞∞∞∞5e50/15
CMAES Hutter hutter 2.2 (0.4)12 (14)∞∞∞∞∞10020/15
DE Pal pal 22 (6)77 (33)422 (391)∞∞∞∞2e50/15
GA-100 holtschulte 192 (86)2589 (2500)∞∞∞∞∞5e50/15
HCMA loshchilov 1.1 (0.1)0.89 (0.1)0.84 (0.2)0.76 (0.1)↑00.21 (0.0)↑00.20 (0.1)↑00.19 (0.0)↑015/15
HILL holtschulte 940 (1092)2572 (3478)∞∞∞∞∞5e50/15
HMLSL pal 0.75 (0.1)↑00.73 (0.1)↑00.72 (0.1)↑00.70 (0.0)↑08.4 (18)482 (298)∞2e50/15
IP-10DDr liao 2.8 (3)4.4 (3)7.4 (5)7.0 (4)1.9 (0.8)1.9 (0.5)1.9 (0.5)15/15
IP-500 liao 2.8 (3)4.4 (3)7.4 (5)7.0 (4)1.9 (0.8)1.9 (0.5)1.9 (0.5)15/15
IPOP400D auger 2.9 (3)5.3 (3)6.4 (5)6.1 (3)3.0 (3)∞∞48030/15
IP liao 2.8 (3)4.4 (3)7.4 (5)7.0 (4)1.9 (0.8)1.9 (0.5)1.9 (0.5)15/15
MEMPSODE voglis 1.1 (0.1)1.5 (0.1)1.3 (0.2)1.3 (0.1)1.4 (2)7.2 (5)50 (64)15/15
MLSL pal 0.75 (0.1)↑00.73 (0.1)↑00.72 (0.1)↑00.70 (0.0)↑00.68 (0.7)49 (55)∞2e50/15
OQNLP pal 0.74 (0.2)↑10.69 (0.1)↑00.62 (0.1)★↑02.0 (1)10 (14)∞∞9e40/15
P-DCN tran 1.3e4 (2e4)4.6e4 (8e4)5.0e4 (5e4)1.4e5 (2e5)3.1e4 (4e4)∞∞1e70/15
P-zero tran 5.2e4 (6e4)2.3e5 (1e5)∞∞∞∞∞1e70/15
PRCGA sawyerr 586 (1296)4326 (2938)7841 (5606)1.3e4 (1e4)2846 (2613)∞∞1e60/15
SMAC-BBOB hutter 2.2 (2)∞∞∞∞∞∞10000/15
U-DCN tran 3.0e4 (5e4)6.7e4 (7e4)1.8e5 (2e5)∞∞∞∞1e70/15
U-zero tran 3.0e4 (6e4)1.1e5 (1e5)∞∞∞∞∞1e70/15
fmincon pal 0.76 (0.1)↑00.73 (0.1)↑00.73 (0.1)↑00.71 (0.0)↑00.60 (0.6)58 (66)∞2e50/15
fminunc pal 0.90 (0.3)0.99 (0.1)1.00 (0.1)0.98 (0.1)44 (44)485 (560)∞2e50/15
lmm-CMA-ES auger 1.1 (0.2)1.3 (0.4)1.4 (0.3)1.2 (0.3)0.32 (0.0)↑00.32 (0.1)↑00.32 (0.0)↑014/15
simplex pal 25 (22)62 (68)108 (119)693 (554)∞∞∞2e50/15
tany liao 3.0 (3)6.9 (3)6.2 (4)5.8 (3)1.4 (0.6)1.8 (0.7)2.0 (1.0)15/15
texp liao 3.3 (2)5.2 (4)6.8 (4)5.8 (3)1.5 (0.8)1.6 (0.5)1.7 (0.6)15/15

Δ fopt
f14, 10-D		 1e1
37		 1e0
98		 1e-1
133		 1e-2
205		 1e-3
392		 1e-5
687		 1e-7
4305		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.8 (2)3.5 (1.0)4.1 (0.9)4.3 (0.7)3.5 (0.5)3.7 (0.3)0.89 (0.1)↑115/15
BIPOP-saACM-k loshchilov 2.0 (2)2.3 (0.3)2.8 (0.6)2.6 (0.5)1.8 (0.4)1.6 (0.3)0.33 (0.1)↑015/15
CGA-grid100 holtschulte 23 (28)90 (46)166 (55)2647 (2467)∞∞∞5e50/15
CGA-grid16 holtschulte 5.5 (4)14 (6)33 (17)950 (831)∞∞∞5e50/15
CGA-ring100 holtschulte 13 (15)55 (16)105 (14)306 (126)∞∞∞5e50/15
CGA-ring16 holtschulte 5.2 (4)11 (2)21 (2)263 (289)∞∞∞5e50/15
CMAES Hutter hutter 2.2 (2)2.8 (0.6)3.3 (0.6)3.5 (0.6)19 (13)∞∞10020/15
DE Pal pal 4.7 (3)13 (3)19 (2)24 (6)49 (19)∞∞2e50/15
GA-100 holtschulte 9.4 (6)23 (5)40 (9)245 (222)∞∞∞5e50/15
HCMA loshchilov 1.0 (0.5)2.4 (2)3.1 (2)3.5 (0.9)2.2 (0.5)1.8 (0.3)0.38 (0.1)↑015/15
HILL holtschulte 2.7 (1)3.5 (1)8.7 (4)201 (184)∞∞∞5e50/15
HMLSL pal 0.60 (0.3)↑00.52 (0.1)↑00.64 (0.2)↑00.72 (0.2)↑00.59 (0.1)↑00.62 (0.1)↑0∞2e50/15
IP-10DDr liao 2.5 (2)3.0 (0.6)3.8 (0.5)3.9 (0.7)3.9 (0.6)5.5 (0.5)1.4 (0.1)15/15
IP-500 liao 2.5 (2)3.0 (0.6)3.8 (0.5)3.9 (0.7)3.9 (0.6)5.5 (0.5)1.4 (0.1)15/15
IPOP400D auger 0.97 (0.7)2.3 (0.5)3.3 (0.4)3.6 (0.5)3.7 (0.6)4.8 (0.7)∞48030/15
IP liao 2.5 (2)3.0 (0.6)3.8 (0.5)3.9 (0.7)3.9 (0.6)5.5 (0.5)1.4 (0.1)15/15
MEMPSODE voglis 2.5 (0.7)1.5 (0.2)1.3 (0.2)1.1 (0.2)0.72 (0.1)↑00.57 (0.1)↑071 (75)13/15
MLSL pal 0.60 (0.3)↑00.52 (0.1)↑00.64 (0.2)↑00.72 (0.2)↑00.59 (0.1)↑00.62 (0.1)↑0644 (444)0/15
OQNLP pal 0.99 (0.3)0.82 (0.2)0.88 (0.2)0.82 (0.1)↑00.57 (0.1)↑090 (105)∞3e40/15
P-DCN tran 6.9 (7)15 (6)14 (4)19 (10)470 (241)∞∞1e70/15
P-zero tran 7.5 (6)13 (6)12 (4)14 (5)1086 (1381)∞∞1e70/15
PRCGA sawyerr 4.4 (4)14 (5)20 (6)31 (18)2190 (2189)∞∞1e60/15
SMAC-BBOB hutter 1.4 (2)29 (36)∞∞∞∞∞10000/15
U-DCN tran 2.9 (1)12 (5)30 (15)146 (85)1089 (555)∞∞1e70/15
U-zero tran 2.5 (2)6.7 (2)18 (11)452 (288)∞∞∞1e70/15
fmincon pal 0.60 (0.3)↑00.52 (0.1)↑00.64 (0.2)↑00.72 (0.2)↑00.59 (0.1)↑00.61 (0.1)↑0650 (678)0/15
fminunc pal 0.68 (0.4)1.1 (0.6)1.3 (0.5)1.2 (0.4)0.86 (0.2)0.82 (0.2)∞2e50/15
lmm-CMA-ES auger 0.93 (0.9)1.9 (0.5)2.1 (0.6)2.1 (0.3)1.7 (0.3)1.7 (0.2)0.40 (0.0)↑015/15
simplex pal 20 (24)32 (8)48 (47)228 (302)545 (738)∞∞2e50/15
tany liao 1.7 (0.9)2.9 (0.8)3.7 (0.8)4.1 (0.7)3.9 (0.7)5.4 (0.4)1.4 (0.1)15/15
texp liao 1.3 (1)2.7 (0.7)3.7 (0.6)3.9 (0.6)3.8 (0.6)4.8 (0.4)1.3 (0.1)15/15

Δ fopt
f15, 10-D		 1e1
4774		 1e0
39246		 1e-1
73643		 1e-2
74669		 1e-3
75790		 1e-5
77814		 1e-7
79834		 #succ
12/15
BIPOP-aCMA-STEP loshchilov 1.0 (0.6)1.4 (1)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)15/15
BIPOP-saACM-k loshchilov 1.1 (0.9)1.0 (0.3)0.81 (0.4)0.80 (0.4)0.79 (0.4)0.77 (0.4)0.78 (0.4)15/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞5e50/15
CGA-grid16 holtschulte 1534 (1309)∞∞∞∞∞∞5e50/15
CGA-ring100 holtschulte 97 (146)∞∞∞∞∞∞5e50/15
CGA-ring16 holtschulte 1468 (1492)∞∞∞∞∞∞5e50/15
CMAES Hutter hutter 3.1 (2)∞∞∞∞∞∞10020/15
DE Pal pal 618 (649)∞∞∞∞∞∞2e50/15
GA-100 holtschulte 177 (210)∞∞∞∞∞∞5e50/15
HCMA loshchilov 0.73 (0.4)↑11.3 (0.4)0.96 (0.3)0.95 (0.3)0.93 (0.3)0.94 (0.3)0.92 (0.3)15/15
HILL holtschulte 1483 (1074)∞∞∞∞∞∞5e50/15
HMLSL pal 12 (18)∞∞∞∞∞∞2e50/15
IP-10DDr liao 1.1 (0.7)1.2 (0.7)0.90 (0.3)0.91 (0.3)0.91 (0.3)0.92 (0.3)0.93 (0.3)15/15
IP-500 liao 1.1 (0.7)1.2 (0.7)0.90 (0.3)0.90 (0.3)0.90 (0.3)0.91 (0.3)0.92 (0.3)15/15
IPOP400D auger 2.3 (3)∞∞∞∞∞∞48150/15
IP liao 1.1 (0.7)1.2 (0.7)0.90 (0.3)0.91 (0.3)0.91 (0.3)0.92 (0.3)0.93 (0.3)15/15
MEMPSODE voglis 13 (8)25 (20)54 (54)53 (58)52 (50)51 (58)50 (70)11/15
MLSL pal ∞∞∞∞∞∞∞2e50/15
OQNLP pal 95 (92)∞∞∞∞∞∞7e40/15
P-DCN tran ∞∞∞∞∞∞∞1e70/15
P-zero tran ∞∞∞∞∞∞∞1e70/15
PRCGA sawyerr 50 (107)∞∞∞∞∞∞1e60/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞10000/15
U-DCN tran ∞∞∞∞∞∞∞1e70/15
U-zero tran ∞∞∞∞∞∞∞1e70/15
fmincon pal 558 (719)∞∞∞∞∞∞2e50/15
fminunc pal ∞∞∞∞∞∞∞2e50/15
lmm-CMA-ES auger 0.47 (0.3)↑1∞∞∞∞∞∞48170/15
simplex pal ∞∞∞∞∞∞∞2e50/15
tany liao 0.80 (0.6)0.98 (0.5)0.88 (0.5)0.88 (0.5)0.89 (0.6)0.90 (0.5)0.90 (0.6)15/15
texp liao 0.90 (0.6)1.0 (1.0)0.87 (0.5)0.88 (0.5)0.90 (0.5)0.92 (0.5)0.95 (0.5)15/15

Δ fopt
f16, 10-D		 1e1
425		 1e0
7029		 1e-1
15779		 1e-2
45669		 1e-3
51151		 1e-5
65798		 1e-7
71570		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.8 (1)1.0 (1)1.1 (0.7)0.66 (0.3)0.75 (0.4)0.61 (0.3)↑10.57 (0.3)↑115/15
BIPOP-saACM-k loshchilov 2.6 (2)0.81 (0.7)0.74 (0.6)0.50 (0.4)0.58 (0.5)0.51 (0.4)↑10.56 (0.4)15/15
CGA-grid100 holtschulte 13 (10)1054 (1138)∞∞∞∞∞5e50/15
CGA-grid16 holtschulte 13 (11)∞∞∞∞∞∞5e50/15
CGA-ring100 holtschulte 8.6 (4)66 (42)463 (547)∞∞∞∞5e50/15
CGA-ring16 holtschulte 4.0 (3)998 (943)∞∞∞∞∞5e50/15
CMAES Hutter hutter 3.7 (3)1.0 (1)∞∞∞∞∞10020/15
DE Pal pal 33 (32)∞∞∞∞∞∞2e50/15
GA-100 holtschulte 14 (9)95 (148)∞∞∞∞∞5e50/15
HCMA loshchilov 2.7 (1)0.94 (0.7)0.84 (0.4)0.39 (0.2)↑00.39 (0.3)↑00.39 (0.2)↑00.44 (0.3)↑115/15
HILL holtschulte 52 (168)1033 (800)∞∞∞∞∞5e50/15
HMLSL pal 16 (9)∞∞∞∞∞∞2e50/15
IP-10DDr liao 1.8 (0.7)0.33 (0.4)0.69 (0.6)0.75 (0.7)0.85 (0.6)0.74 (0.5)0.73 (0.4)15/15
IP-500 liao 1.8 (0.7)0.33 (0.4)0.69 (0.6)0.75 (0.7)0.85 (0.6)0.74 (0.5)0.73 (0.4)15/15
IPOP400D auger 2.3 (1)2.1 (2)∞∞∞∞∞48030/15
IP liao 1.8 (0.7)0.33 (0.4)0.69 (0.6)0.75 (0.7)0.85 (0.6)0.74 (0.5)0.73 (0.4)15/15
MEMPSODE voglis 7.6 (12)44 (46)139 (173)77 (86)146 (163)175 (158)483 (356)0/15
MLSL pal 32 (33)∞∞∞∞∞∞2e50/15
OQNLP pal 59 (43)∞∞∞∞∞∞8e40/15
P-DCN tran 1.0 (0.8)2.0e4 (2e4)∞∞∞∞∞1e70/15
P-zero tran 5901 (1e4)∞∞∞∞∞∞1e70/15
PRCGA sawyerr 10 (7)173 (285)∞∞∞∞∞1e60/15
SMAC-BBOB hutter 1.2 (1)∞∞∞∞∞∞10000/15
U-DCN tran 4.7 (3)3376 (4898)∞∞∞∞∞1e70/15
U-zero tran 4.9 (7)3134 (2532)∞∞∞∞∞1e70/15
fmincon pal 17 (15)∞∞∞∞∞∞2e50/15
fminunc pal 294 (198)∞∞∞∞∞∞2e50/15
lmm-CMA-ES auger 1.3 (0.8)0.53 (0.7)0.80 (1)1.6 (2)∞∞∞48050/15
simplex pal 9.1 (5)∞∞∞∞∞∞2e50/15
tany liao 2.1 (0.7)0.46 (0.4)0.71 (0.4)0.48 (0.3)↑10.61 (0.5)0.59 (0.3)↑10.57 (0.3)↑015/15
texp liao 1.4 (1)0.40 (0.5)0.46 (0.3)↑10.54 (0.9)0.56 (0.8)0.49 (0.7)0.48 (0.6)15/15

Δ fopt
f17, 10-D		 1e1
26		 1e0
429		 1e-1
2203		 1e-2
6329		 1e-3
9851		 1e-5
20190		 1e-7
26503		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.5 (3)1.2 (0.4)1.1 (2)0.74 (0.8)1.2 (0.6)1.2 (1.0)1.4 (0.7)15/15
BIPOP-saACM-k loshchilov 2.8 (2)1.2 (0.4)0.58 (0.2)↑01.2 (0.6)1.2 (0.7)1.7 (0.9)2.8 (2)15/15
CGA-grid100 holtschulte 4.0 (5)4930 (5267)∞∞∞∞∞5e50/15
CGA-grid16 holtschulte 3.2 (3)975 (1171)∞∞∞∞∞5e50/15
CGA-ring100 holtschulte 6.3 (7)38 (18)3296 (4936)∞∞∞∞5e50/15
CGA-ring16 holtschulte 3.1 (3)307 (588)∞∞∞∞∞5e50/15
CMAES Hutter hutter 2.2 (2)1.2 (0.4)0.55 (0.4)∞∞∞∞10020/15
DE Pal pal 3.0 (3)6.9 (1)5.4 (1)4.0 (1)4.8 (4)5.1 (3)8.0 (7)10/15
GA-100 holtschulte 4.4 (4)8.3 (3)651 (1312)∞∞∞∞5e50/15
HCMA loshchilov 2.2 (2)1.5 (0.5)1.2 (2)1.0 (0.7)1.3 (0.6)1.4 (0.7)2.8 (2)15/15
HILL holtschulte 32 (21)2531 (2921)∞∞∞∞∞5e50/15
HMLSL pal 18 (18)10 (4)7.5 (2)5.7 (2)6.0 (2)6.5 (3)8.7 (5)10/15
IP-10DDr liao 1.5 (1)1.1 (0.4)0.71 (0.2)↑11.3 (1)1.1 (0.8)1.1 (0.8)1.2 (0.6)15/15
IP-500 liao 1.5 (1)1.1 (0.4)0.71 (0.2)↑11.3 (1)1.1 (0.8)1.1 (0.8)1.2 (0.6)15/15
IPOP400D auger 0.64 (0.7)0.99 (0.2)1.5 (1)0.72 (1.0)2.1 (3)∞∞48030/15
IP liao 1.5 (1)1.1 (0.4)0.71 (0.2)↑11.3 (1)1.1 (0.8)1.1 (0.8)1.2 (0.6)15/15
MEMPSODE voglis 25 (50)99 (44)488 (1148)579 (990)503 (773)566 (992)∞5e60/15
MLSL pal 17 (19)∞∞∞∞∞∞2e50/15
OQNLP pal 10 (14)∞∞∞∞∞∞1e50/15
P-DCN tran 1.6 (1)∞∞∞∞∞∞1e70/15
P-zero tran 1.8 (0.9)∞∞∞∞∞∞1e70/15
PRCGA sawyerr 2.2 (2)5.0 (3)125 (227)114 (174)201 (138)∞∞6e50/15
SMAC-BBOB hutter 0.80 (1)∞∞∞∞∞∞10000/15
U-DCN tran 1.9 (1)9349 (2e4)∞∞∞∞∞1e70/15
U-zero tran 1.5 (0.8)1.8e4 (2e4)6.6e4 (8e4)∞∞∞∞1e70/15
fmincon pal 20 (22)∞∞∞∞∞∞2e50/15
fminunc pal 15 (21)∞∞∞∞∞∞2e50/15
lmm-CMA-ES auger 0.64 (0.7)0.75 (0.3)0.55 (0.9)0.83 (0.8)6.9 (8)∞∞48100/15
simplex pal 34 (30)∞∞∞∞∞∞2e50/15
tany liao 1.6 (1)1.1 (0.3)0.85 (2)0.52 (0.6)0.75 (0.8)0.77 (0.3)0.84 (0.5)15/15
texp liao 1.8 (1)1.2 (0.4)1.1 (0.2)1.1 (1.0)0.99 (1)0.73 (0.4)0.90 (0.4)15/15

Δ fopt
f18, 10-D		 1e1
238		 1e0
836		 1e-1
7012		 1e-2
15928		 1e-3
27536		 1e-5
37234		 1e-7
42708		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.4 (0.3)2.5 (4)1.1 (1)0.96 (0.5)0.97 (0.8)0.98 (0.4)1.1 (0.4)15/15
BIPOP-saACM-k loshchilov 1.2 (0.4)2.9 (4)0.97 (0.8)0.84 (0.3)0.74 (0.5)1.0 (0.6)1.6 (0.5)15/15
CGA-grid100 holtschulte 59 (50)∞∞∞∞∞∞5e50/15
CGA-grid16 holtschulte 724 (1637)8406 (7327)∞∞∞∞∞5e50/15
CGA-ring100 holtschulte 16 (4)531 (649)∞∞∞∞∞5e50/15
CGA-ring16 holtschulte 4.3 (2)2406 (3738)∞∞∞∞∞5e50/15
CMAES Hutter hutter 1.2 (0.7)1.7 (1)∞∞∞∞∞10020/15
DE Pal pal 4.8 (2)13 (8)7.8 (7)15 (13)34 (36)∞∞2e50/15
GA-100 holtschulte 6.8 (2)179 (307)∞∞∞∞∞5e50/15
HCMA loshchilov 1.7 (0.4)3.9 (6)1.1 (0.7)0.74 (0.4)0.52 (0.2)↑01.1 (0.8)1.4 (1)15/15
HILL holtschulte 439 (1084)∞∞∞∞∞∞5e50/15
HMLSL pal 12 (6)21 (11)11 (5)33 (22)107 (116)∞∞2e50/15
IP-10DDr liao 0.96 (0.3)0.87 (0.2)0.51 (0.6)0.87 (0.7)0.94 (0.5)0.99 (0.3)1.00 (0.2)15/15
IP-500 liao 0.96 (0.3)0.87 (0.2)0.51 (0.6)0.87 (0.7)0.94 (0.5)0.99 (0.3)1.00 (0.2)15/15
IPOP400D auger 0.88 (0.3)1.8 (3)0.96 (1)4.3 (5)∞∞∞48030/15
IP liao 0.96 (0.3)0.87 (0.2)0.51 (0.6)0.87 (0.7)0.94 (0.5)0.99 (0.3)1.00 (0.2)15/15
MEMPSODE voglis 74 (43)521 (957)652 (1018)771 (797)824 (999)∞∞5e60/15
MLSL pal 307 (399)∞∞∞∞∞∞2e50/15
OQNLP pal 186 (211)∞∞∞∞∞∞1e50/15
P-DCN tran 5.1e4 (9e4)∞∞∞∞∞∞1e70/15
P-zero tran 1.7e5 (1e5)∞∞∞∞∞∞1e70/15
PRCGA sawyerr 4.2 (2)56 (103)100 (122)582 (384)∞∞∞5e50/15
SMAC-BBOB hutter 5.4 (6)∞∞∞∞∞∞10000/15
U-DCN tran 7.6 (11)∞∞∞∞∞∞1e70/15
U-zero tran 3778 (5053)∞∞∞∞∞∞1e70/15
fmincon pal 270 (302)∞∞∞∞∞∞2e50/15
fminunc pal 242 (173)∞∞∞∞∞∞2e50/15
lmm-CMA-ES auger 0.70 (0.2)↑00.63 (0.2)★↑00.86 (1.0)4.3 (4)∞∞∞48080/15
simplex pal 725 (808)∞∞∞∞∞∞2e50/15
tany liao 1.1 (0.3)1.4 (0.3)0.40 (0.4)0.64 (0.5)0.64 (0.4)0.93 (0.2)0.94 (0.0)↑015/15
texp liao 1.2 (0.3)3.7 (6)0.98 (0.8)1.1 (0.4)0.86 (0.4)0.77 (0.3)↑10.79 (0.1)↑115/15

Δ fopt
f19, 10-D		 1e1
1		 1e0
1		 1e-1
10609		 1e-2
9.8e5		 1e-3
1.4e6		 1e-5
1.4e6		 1e-7
1.4e6		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 104 (47)8407 (8070)7.5 (7)1.0 (0.5)0.98 (0.5)0.98 (0.5)0.98 (0.5)15/15
BIPOP-saACM-k loshchilov 53 (30)8766 (4838)8.2 (7)0.59 (0.4)0.61 (0.3)↑10.61 (0.3)↑10.61 (0.3)↑115/15
CGA-grid100 holtschulte 683 (482)3.5e6 (6e6)∞∞∞∞∞5e50/15
CGA-grid16 holtschulte 194 (188)2.3e6 (3e6)∞∞∞∞∞5e50/15
CGA-ring100 holtschulte 599 (316)4.3e5 (3e5)∞∞∞∞∞5e50/15
CGA-ring16 holtschulte 174 (132)9.6e5 (1e6)∞∞∞∞∞5e50/15
CMAES Hutter hutter 59 (50)∞∞∞∞∞∞10020/15
DE Pal pal 202 (114)2.9e6 (3e6)∞∞∞∞∞2e50/15
GA-100 holtschulte 338 (246)6.3e5 (8e5)∞∞∞∞∞5e50/15
HCMA loshchilov 24 (2)1.0e4 (9489)7.9 (6)0.69 (0.5)0.63 (0.3)↑00.63 (0.3)↑00.63 (0.3)↑015/15
HILL holtschulte 111 (98)1.2e6 (2e6)∞∞∞∞∞5e50/15
HMLSL pal 1 (0)1 (0)7.7e-3 (5e-5)↑0∞∞∞∞2e50/15
IP-10DDr liao 47 (49)7.8e4 (2e5)67 (86)2.7 (3)4.5 (4)4.4 (4)4.4 (6)13/15
IP-500 liao 47 (49)7.8e4 (2e5)67 (86)2.8 (1)3.1 (2)3.0 (2)3.0 (2)14/15
IPOP400D auger 1 (0)1 (0)∞∞∞∞∞48050/15
IP liao 47 (49)7.8e4 (2e5)67 (86)1.3 (0.8)1.0 (0.6)1.0 (0.5)1.0 (0.5)15/15
MEMPSODE voglis 964 (1326)2.5e4 (2e4)36 (24)73 (85)∞∞∞5e60/15
MLSL pal 1 (0)1 (0)7.7e-3 (5e-5)↑0∞∞∞∞2e50/15
OQNLP pal 1 (0)1 (0)4.8e-3 (5e-5)★4↑0∞∞∞∞6e40/15
P-DCN tran 208 (402)1.5e8 (1e8)∞∞∞∞∞1e70/15
P-zero tran 7.7e5 (4e5)∞∞∞∞∞∞1e70/15
PRCGA sawyerr 93 (80)759 (310)0.61 (0.2)↑0∞∞∞∞6e50/15
SMAC-BBOB hutter 1 (0)1 (0)∞∞∞∞∞10000/15
U-DCN tran 113 (95)1.2e7 (2e7)∞∞∞∞∞1e70/15
U-zero tran 105 (62)8.0e6 (8e6)∞∞∞∞∞1e70/15
fmincon pal 1 (0)1 (0)7.7e-3 (5e-5)↑0∞∞∞∞2e50/15
fminunc pal 1 (0)1 (0)8.0e-3 (1e-3)↑0∞∞∞∞2e50/15
lmm-CMA-ES auger 1 (0)1 (0)∞∞∞∞∞48050/15
simplex pal 1 (0)1 (0)0.02 (6e-3)↑0∞∞∞∞2e50/15
tany liao 32 (32)8111 (4429)34 (39)1.7 (2)2.6 (3)2.6 (3)2.6 (3)15/15
texp liao 4.0 (3)9109 (7070)19 (19)1.5 (1)1.8 (2)1.8 (2)1.8 (2)15/15

Δ fopt
f20, 10-D		 1e1
32		 1e0
15426		 1e-1
5.5e5		 1e-2
5.7e5		 1e-3
5.7e5		 1e-5
5.8e5		 1e-7
5.9e5		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 7.9 (2)3.0 (2)1.2 (0.8)1.2 (0.8)1.2 (0.8)1.2 (0.8)1.2 (0.8)15/15
BIPOP-saACM-k loshchilov 4.2 (0.3)1.0 (0.9)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)15/15
CGA-grid100 holtschulte 125 (69)3.9 (4)13 (14)13 (10)∞∞∞5e50/15
CGA-grid16 holtschulte 24 (11)0.50 (0.5)∞∞∞∞∞5e50/15
CGA-ring100 holtschulte 61 (17)0.92 (0.3)0.44 (0.5)0.47 (0.9)0.56 (0.5)13 (16)∞5e50/15
CGA-ring16 holtschulte 16 (4)0.25 (0.1)↑0∞∞∞∞∞5e50/15
CMAES Hutter hutter 5.1 (2)0.97 (1)∞∞∞∞∞10020/15
DE Pal pal 17 (7)0.75 (0.4)2.4 (2)2.3 (3)2.3 (4)2.3 (3)2.2 (2)2/15
GA-100 holtschulte 37 (9)0.55 (0.2)↑06.0 (9)5.8 (5)5.9 (8)13 (13)∞5e50/15
HCMA loshchilov 0.90 (0.2)0.87 (0.4)1.1 (0.5)1.1 (0.5)1.1 (0.5)1.1 (0.5)1.1 (0.5)15/15
HILL holtschulte 5.3 (3)0.22 (0.1)↑014 (16)13 (11)∞∞∞5e50/15
HMLSL pal 1.6 (0)0.57 (0.4)0.80 (1)0.77 (1.0)0.77 (1)0.76 (0.5)0.75 (0.9)5/15
IP-10DDr liao 6.2 (2)3.0 (2)8.1 (10)7.9 (10)7.8 (11)7.7 (10)7.6 (10)13/15
IP-500 liao 6.2 (2)3.0 (2)6.8 (8)6.6 (8)6.6 (8)6.5 (7)6.4 (7)14/15
IPOP400D auger 3.5 (2)∞∞∞∞∞∞48050/15
IP liao 6.2 (2)3.0 (2)0.85 (0.4)0.86 (0.4)0.87 (0.4)0.88 (0.4)0.88 (0.4)15/15
MEMPSODE voglis 3.8 (0.3)1.1 (0.8)3.2 (2)3.6 (4)3.5 (4)3.5 (4)3.4 (4)14/15
MLSL pal 1.6 (0)1.3 (1)∞∞∞∞∞2e50/15
OQNLP pal 0.91 (0)↑08.7 (14)∞∞∞∞∞4e40/15
P-DCN tran 20 (12)15 (21)∞∞∞∞∞1e70/15
P-zero tran 21 (9)25 (43)∞∞∞∞∞1e70/15
PRCGA sawyerr 10 (3)14 (27)∞∞∞∞∞9e50/15
SMAC-BBOB hutter 1.2 (0.6)∞∞∞∞∞∞10000/15
U-DCN tran 14 (13)1.4 (3)122 (139)118 (153)117 (91)115 (95)114 (156)2/15
U-zero tran 12 (9)1.1 (2)74 (97)72 (84)72 (88)72 (78)77 (98)0/15
fmincon pal 1.6 (0)1.1 (1)∞∞∞∞∞2e50/15
fminunc pal 1.1 (0)0.87 (0.9)∞∞∞∞∞2e50/15
lmm-CMA-ES auger 3.3 (0.8)∞∞∞∞∞∞48170/15
simplex pal 18 (5)4.1 (5)∞∞∞∞∞2e50/15
tany liao 5.7 (1)3.6 (2)2.7 (2)2.6 (2)2.6 (2)2.6 (2)2.5 (2)15/15
texp liao 2.1 (1)4.9 (4)7.4 (7)7.3 (7)7.2 (7)7.1 (6)7.0 (6)14/15

Δ fopt
f21, 10-D		 1e1
130		 1e0
2236		 1e-1
4392		 1e-2
4487		 1e-3
4618		 1e-5
5074		 1e-7
11329		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 11 (12)55 (63)62 (135)60 (132)59 (128)54 (116)24 (52)15/15
BIPOP-saACM-k loshchilov 2.6 (4)2.9 (3)1.9 (2)1.9 (2)1.8 (2)1.7 (1)0.75 (0.6)15/15
CGA-grid100 holtschulte 333 (108)399 (453)491 (618)771 (822)1558 (2003)∞∞5e50/15
CGA-grid16 holtschulte 302 (72)1465 (2624)∞∞∞∞∞5e50/15
CGA-ring100 holtschulte 20 (5)39 (112)32 (57)35 (57)38 (55)49 (51)35 (40)7/15
CGA-ring16 holtschulte 5.4 (2)454 (621)1595 (1537)1561 (1811)1518 (1841)1388 (1503)628 (728)1/15
CMAES Hutter hutter 3.7 (4)1.4 (2)1.6 (1)1.6 (2)1.6 (1)1.4 (2)0.66 (0.6)0/15
DE Pal pal 16 (10)136 (246)70 (91)69 (112)67 (163)62 (79)28 (27)6/15
GA-100 holtschulte 17 (5)337 (391)229 (142)225 (446)220 (352)209 (173)104 (144)5/15
HCMA loshchilov 1.8 (1)8.7 (13)24 (40)23 (39)22 (38)21 (35)9.3 (16)15/15
HILL holtschulte 1764 (2165)630 (742)740 (1195)725 (613)705 (758)644 (1084)295 (485)2/15
HMLSL pal 6.8 (11)3.1 (3)2.2 (3)2.1 (3)2.1 (3)1.9 (2)0.91 (1)11/15
IP-10DDr liao 3.5 (0.9)22 (41)37 (72)36 (71)35 (69)32 (63)15 (28)15/15
IP-500 liao 3.5 (0.9)23 (33)108 (141)105 (138)103 (134)94 (123)42 (55)15/15
IPOP400D auger 2.7 (0.9)3.6 (8)2.3 (3)2.3 (3)2.2 (3)2.1 (2)0.94 (1)5/15
IP liao 3.5 (0.9)379 (326)867 (1796)851 (1206)828 (1086)755 (998)339 (444)11/15
MEMPSODE voglis 27 (26)24 (33)48 (108)47 (105)46 (102)42 (93)19 (42)15/15
MLSL pal 2.7 (4)1.2 (1)0.89 (1)0.88 (1)0.87 (1)0.82 (1)0.40 (0.5)↑114/15
OQNLP pal 3.3 (6)2.2 (4)2.4 (4)2.3 (4)2.3 (5)2.1 (4)10 (8)0/15
P-DCN tran 2.8e4 (4e4)6.3e4 (1e5)3.2e4 (4e4)3.1e4 (3e4)3.0e4 (4e4)2.8e4 (3e4)1.2e4 (1e4)1/15
P-zero tran 5.1e4 (4e4)6.3e4 (8e4)3.2e4 (2e4)3.1e4 (3e4)3.0e4 (2e4)2.8e4 (3e4)1.2e4 (2e4)1/15
PRCGA sawyerr 636 (546)537 (873)274 (421)268 (387)262 (491)241 (504)112 (182)6/15
SMAC-BBOB hutter 2.8 (5)1.3 (1)1.6 (2)∞∞∞∞10000/15
U-DCN tran 10 (3)1.8e4 (2e4)1.5e4 (1e4)1.4e4 (2e4)1.4e4 (1e4)1.3e4 (2e4)5745 (7503)2/15
U-zero tran 5620 (844)6.3e4 (9e4)3.2e4 (2e4)3.1e4 (4e4)3.0e4 (3e4)2.8e4 (4e4)1.2e4 (2e4)1/15
fmincon pal 2.4 (3)0.98 (1.0)1.0 (2)0.99 (2)0.97 (1)0.92 (1)0.44 (0.6)15/15
fminunc pal 3.7 (4)0.79 (0.9)1.2 (2)1.2 (2)1.2 (2)1.2 (2)1.3 (2)9/15
lmm-CMA-ES auger 3.2 (3)2.1 (2)1.4 (1)1.4 (1)1.4 (2)1.3 (2)0.66 (0.9)7/15
simplex pal 14 (7)4.6 (4)8.8 (10)11 (10)11 (10)15 (6)8.2 (6)13/15
tany liao 7.5 (11)19 (35)56 (114)55 (112)54 (108)49 (99)22 (44)15/15
texp liao 4.0 (11)29 (48)19 (34)19 (33)19 (32)17 (30)7.9 (13)15/15

Δ fopt
f22, 10-D		 1e1
98		 1e0
2839		 1e-1
6353		 1e-2
6620		 1e-3
6798		 1e-5
8296		 1e-7
10351		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 44 (64)6.6 (7)155 (174)149 (167)145 (163)119 (133)95 (107)14/15
BIPOP-saACM-k loshchilov 8.2 (16)6.7 (8)44 (34)42 (32)41 (31)34 (26)27 (21)15/15
CGA-grid100 holtschulte 675 (1181)238 (329)1114 (1279)∞∞∞∞5e50/15
CGA-grid16 holtschulte 2315 (4985)534 (681)1108 (1338)∞∞∞∞5e50/15
CGA-ring100 holtschulte 24 (11)4.8 (5)82 (83)154 (139)1080 (1379)∞∞5e50/15
CGA-ring16 holtschulte 6.5 (3)89 (176)233 (308)320 (451)493 (474)858 (814)∞5e50/15
CMAES Hutter hutter 6.0 (8)0.85 (1)∞∞∞∞∞10020/15
DE Pal pal 172 (55)108 (142)448 (527)432 (408)422 (596)349 (235)282 (217)1/15
GA-100 holtschulte 381 (4)491 (621)∞∞∞∞∞5e50/15
HCMA loshchilov 6.7 (7)28 (27)53 (75)51 (72)50 (70)41 (58)41 (56)15/15
HILL holtschulte 1290 (2551)356 (445)331 (433)345 (283)1079 (1508)∞∞5e50/15
HMLSL pal 15 (15)6.4 (2)3.0 (0.9)2.9 (0.9)2.9 (0.9)2.4 (0.7)2.0 (0.6)8/15
IP-10DDr liao 24 (34)411 (664)1.1e4 (1e4)1.0e4 (7529)1.0e4 (9929)8271 (9624)6629 (7480)2/15
IP-500 liao 24 (34)1239 (2801)∞∞∞∞∞1e70/15
IPOP400D auger 3.8 (2)1.9 (3)11 (13)10 (12)10 (10)8.3 (11)6.7 (10)1/15
IP liao 24 (34)2490 (4405)∞∞∞∞∞1e70/15
MEMPSODE voglis 141 (169)21 (22)24 (34)23 (32)22 (32)18 (26)33 (23)15/15
MLSL pal 5.0 (5)0.51 (0.5)↑11.0 (1)1.0 (1)0.99 (1)0.85 (1)0.75 (0.9)14/15
OQNLP pal 3.3 (3)2.6 (4)2.8 (4)2.7 (5)2.8 (4)2.3 (3)∞3e40/15
P-DCN tran 8.9e4 (1e5)2.3e4 (3e4)2.2e4 (2e4)2.1e4 (3e4)2.1e4 (2e4)1.7e4 (2e4)1.4e4 (2e4)1/15
P-zero tran 3.7e4 (5e4)1.4e4 (1e4)1.0e4 (2e4)9821 (1e4)9567 (9193)7859 (7832)6361 (1e4)2/15
PRCGA sawyerr 1475 (4416)260 (428)591 (890)574 (563)577 (668)1578 (1678)∞1e60/15
SMAC-BBOB hutter 6.0 (10)5.0 (6)∞∞∞∞∞10000/15
U-DCN tran 24 (13)2406 (3524)3202 (5204)3099 (5359)3049 (3354)2593 (1888)2167 (2939)5/15
U-zero tran 6181 (1e4)4203 (5775)2386 (3585)2730 (2802)2786 (1541)4163 (3987)∞1e70/15
fmincon pal 5.6 (6)0.63 (0.6)0.69 (0.9)0.66 (0.8)0.66 (0.8)0.58 (0.7)0.54 (0.6)13/15
fminunc pal 5.0 (5)0.49 (0.5)0.86 (0.9)0.86 (0.9)0.87 (0.9)0.79 (0.7)0.80 (1)11/15
lmm-CMA-ES auger 2.5 (4)1.6 (2)11 (21)10 (10)10 (15)8.3 (8)6.7 (7)1/15
simplex pal 23 (6)3.8 (4)12 (10)15 (14)16 (11)27 (28)138 (166)1/15
tany liao 36 (66)378 (380)2997 (1616)2876 (2951)2801 (3464)2295 (2286)1840 (2344)6/15
texp liao 113 (365)22 (37)99 (93)95 (89)93 (87)76 (71)61 (57)15/15

Δ fopt
f23, 10-D		 1e1
3.0		 1e0
915		 1e-1
16425		 1e-2
1.8e5		 1e-3
2.0e5		 1e-5
2.1e5		 1e-7
2.1e5		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.4 (2)20 (12)2.9 (1)1.2 (2)1.3 (1)1.3 (1)1.3 (1)15/15
BIPOP-saACM-k loshchilov 2.7 (3)16 (14)1.6 (1)0.31 (0.3)↑00.35 (0.3)↑00.45 (0.4)↑00.63 (0.4)15/15
CGA-grid100 holtschulte 1.4 (1)207 (317)∞∞∞∞∞5e50/15
CGA-grid16 holtschulte 2.1 (1)113 (162)∞∞∞∞∞5e50/15
CGA-ring100 holtschulte 1.3 (1)56 (23)∞∞∞∞∞5e50/15
CGA-ring16 holtschulte 2.1 (2)73 (102)∞∞∞∞∞5e50/15
CMAES Hutter hutter 2.1 (3)∞∞∞∞∞∞10020/15
DE Pal pal 1.7 (2)256 (259)∞∞∞∞∞2e50/15
GA-100 holtschulte 1.6 (2)161 (193)∞∞∞∞∞5e50/15
HCMA loshchilov 6.2 (6)14 (12)1.5 (1)0.31 (0.2)↑10.44 (0.6)0.57 (0.5)0.65 (0.6)15/15
HILL holtschulte 2.2 (2)86 (109)∞∞∞∞∞5e50/15
HMLSL pal 5.8 (6)4.0 (4)32 (36)∞∞∞∞2e50/15
IP-10DDr liao 2.0 (2)16 (24)7.1 (9)10 (12)9.3 (11)9.1 (10)8.9 (10)15/15
IP-500 liao 2.0 (2)16 (24)7.1 (9)13 (18)12 (16)11 (16)11 (15)15/15
IPOP400D auger 2.0 (3)∞∞∞∞∞∞48150/15
IP liao 2.0 (2)16 (24)7.1 (9)28 (39)26 (34)25 (25)25 (38)12/15
MEMPSODE voglis 2.3 (2)11 (8)25 (24)403 (783)∞∞∞5e60/15
MLSL pal 5.8 (6)2.0 (2)30 (31)∞∞∞∞2e50/15
OQNLP pal 11 (10)3.4 (4)33 (36)∞∞∞∞8e40/15
P-DCN tran 1.6 (1)11 (15)∞∞∞∞∞1e70/15
P-zero tran 1.9 (2)427 (12)∞∞∞∞∞1e70/15
PRCGA sawyerr 2.0 (2)438 (528)∞∞∞∞∞5e50/15
SMAC-BBOB hutter 1.7 (2)∞∞∞∞∞∞10000/15
U-DCN tran 2.2 (3)116 (18)∞∞∞∞∞1e70/15
U-zero tran 1.9 (2)28 (19)∞∞∞∞∞1e70/15
fmincon pal 7.0 (7)2.6 (3)30 (34)∞∞∞∞2e50/15
fminunc pal 8.2 (9)31 (36)∞∞∞∞∞2e50/15
lmm-CMA-ES auger 1.7 (2)38 (48)∞∞∞∞∞48090/15
simplex pal 180 (257)2.9 (0.9)39 (37)∞∞∞∞2e50/15
tany liao 1.6 (1)24 (29)7.6 (7)14 (15)15 (15)15 (14)15 (14)14/15
texp liao 1.7 (2)18 (29)18 (27)16 (15)15 (13)14 (13)14 (13)15/15

Δ fopt
f24, 10-D		 1e1
98761		 1e0
1.0e6		 1e-1
7.5e7		 1e-2
7.5e7		 1e-3
7.5e7		 1e-5
7.5e7		 1e-7
7.5e7		 #succ
1/15
BIPOP-aCMA-STEP loshchilov 0.95 (2)1.1 (1.0)0.95 (1)0.98 (1)0.98 (1)0.98 (1.0)0.98 (2)2/15
BIPOP-saACM-k loshchilov 0.64 (0.9)1.6 (2)0.28 (0.3)0.47 (0.6)0.62 (0.7)0.62 (0.7)0.62 (0.8)3/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞5e50/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞5e50/15
CGA-ring100 holtschulte 74 (67)∞∞∞∞∞∞5e50/15
CGA-ring16 holtschulte 71 (65)∞∞∞∞∞∞5e50/15
CMAES Hutter hutter ∞∞∞∞∞∞∞10020/15
DE Pal pal ∞∞∞∞∞∞∞2e50/15
GA-100 holtschulte 72 (65)∞∞∞∞∞∞5e50/15
HCMA loshchilov 1.1 (2)1.3 (1)0.19 (0.2)0.27 (0.3)0.27 (0.3)0.34 (0.4)0.34 (0.5)5/15
HILL holtschulte ∞∞∞∞∞∞∞5e50/15
HMLSL pal 14 (18)∞∞∞∞∞∞2e50/15
IP-10DDr liao 179 (232)∞∞∞∞∞∞1e70/15
IP-500 liao ∞∞∞∞∞∞∞1e70/15
IPOP400D auger ∞∞∞∞∞∞∞48050/15
IP liao ∞∞∞∞∞∞∞1e70/15
MEMPSODE voglis 77 (101)12 (11)∞∞∞∞∞5e60/15
MLSL pal ∞∞∞∞∞∞∞2e50/15
OQNLP pal 0.76 (1)0.96 (1)∞∞∞∞∞7e40/15
P-DCN tran ∞∞∞∞∞∞∞1e70/15
P-zero tran ∞∞∞∞∞∞∞1e70/15
PRCGA sawyerr 19 (23)∞∞∞∞∞∞1e60/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞10000/15
U-DCN tran ∞∞∞∞∞∞∞1e70/15
U-zero tran ∞∞∞∞∞∞∞1e70/15
fmincon pal ∞∞∞∞∞∞∞2e50/15
fminunc pal 25 (27)∞∞∞∞∞∞2e50/15
lmm-CMA-ES auger 0.70 (0.6)∞∞∞∞∞∞48050/15
simplex pal ∞∞∞∞∞∞∞2e50/15
tany liao 32 (44)43 (49)∞∞∞∞∞1e70/15
texp liao 1.9 (3)1.4 (2)∞∞∞∞∞1e70/15

Previous dimension | Dimension = 20 | Next dimension

Δ fopt
f1, 20-D		 1e1
43		 1e0
43		 1e-1
43		 1e-2
43		 1e-3
43		 1e-5
43		 1e-7
43		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 4.2 (0.5)5.2 (0)7.3 (0)8.3 (0.5)10 (0)13 (0.5)16 (0)15/15
BIPOP-saACM-k loshchilov 3.7 (0.1)4.9 (0.8)6.2 (0.5)7.6 (0.6)8.9 (0.5)12 (0.7)15 (1)15/15
CGA-grid100 holtschulte 223 (85)574 (100)1496 (267)4236 (550)1.2e4 (3766)∞∞1e60/15
CGA-grid16 holtschulte 39 (11)105 (13)279 (67)704 (138)2128 (425)2.0e4 (4402)∞1e60/15
CGA-ring100 holtschulte 129 (20)333 (67)698 (61)1301 (139)2271 (203)8144 (2008)∞1e60/15
CGA-ring16 holtschulte 25 (4)67 (8)145 (19)329 (73)743 (185)6011 (1402)∞1e60/15
CMAES Hutter hutter 7.8 (1)14 (2)20 (2)26 (2)33 (2)48 (1)∞20060/15
DE Pal pal 62 (11)140 (15)220 (15)298 (23)377 (19)530 (20)687 (22)15/15
GA-100 holtschulte 56 (13)152 (19)359 (47)723 (106)1518 (285)9101 (1908)∞1e60/15
HCMA loshchilov 1.00 (0.0)1.0 (0.0)1.0 (0.0)1.0 (0.0)1.0 (0.0)1.0 (0.0)1.0 (0.0)15/15
HILL holtschulte 7.2 (2)21 (6)62 (14)188 (90)612 (183)5461 (1401)∞1e60/15
HMLSL pal 0.77 (0.2)1.7 (0.5)1.9 (0.2)2.2 (0.5)2.8 (0.2)3.7 (0.5)4.7 (0.5)15/15
IP-10DDr liao 7.5 (0.6)14 (0.7)20 (2)26 (1)32 (3)45 (2)57 (3)15/15
IP-500 liao 7.5 (0.6)14 (0.7)20 (2)26 (1)32 (3)45 (2)57 (3)15/15
IPOP400D auger 6.6 (0.8)13 (1)19 (1)25 (2)31 (2)44 (2)56 (3)15/15
IP liao 7.5 (0.6)14 (0.7)20 (2)26 (1)32 (3)45 (2)57 (3)15/15
MEMPSODE voglis 10 (7)16 (14)23 (23)25 (25)25 (25)25 (25)25 (25)15/15
MLSL pal 0.77 (0.2)1.7 (0.5)1.9 (0.2)2.2 (0.5)2.8 (0.2)3.7 (0.5)4.7 (0.5)15/15
OQNLP pal 1.2 (0)1.3 (0.2)1.7 (0.0)1.7 (0)1.8 (0.0)1.8 (0)1.8 (0)15/15
P-DCN tran 44 (14)63 (16)74 (17)89 (12)147 (38)702 (169)2421 (596)15/15
P-zero tran 45 (15)63 (15)71 (12)78 (10)100 (22)337 (79)2140 (550)15/15
PRCGA sawyerr 36 (6)72 (7)120 (27)182 (45)287 (152)1166 (1000)6963 (6562)15/15
SMAC-BBOB hutter 0.97 (0.1)1.7 (0.3)3.3 (0.5)14 (11)112 (144)∞∞20000/15
U-DCN tran 21 (5)111 (30)378 (97)838 (179)1589 (413)4632 (1517)1.0e4 (2945)15/15
U-zero tran 8.6 (2)37 (10)119 (26)364 (70)1029 (335)1.0e4 (3953)1.1e5 (3e4)13/15
fmincon pal 0.77 (0.2)1.7 (0.5)1.9 (0.2)2.2 (0.5)2.8 (0.2)3.7 (0.5)4.7 (0.5)15/15
fminunc pal 1 (0)1 (0)1 (0)1 (0)1 (0)1 (0)1 (0)15/15
lmm-CMA-ES auger 5.6 (0.2)6.3 (0.1)6.8 (0.1)7.3 (0.1)7.8 (0.1)8.9 (0.2)10 (0.2)15/15
simplex pal 185 (157)6.4e4 (8e4)∞∞∞∞∞4e50/15
tany liao 7.7 (0.9)15 (0.9)22 (1)29 (2)36 (1)49 (3)61 (4)15/15
texp liao 6.6 (1)13 (1)20 (2)26 (2)33 (2)47 (2)59 (4)15/15

Δ fopt
f2, 20-D		 1e1
385		 1e0
386		 1e-1
387		 1e-2
388		 1e-3
390		 1e-5
391		 1e-7
393		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.3 (0.1)1.5 (0.1)1.7 (0.1)1.8 (0.1)2.1 (0.2)2.4 (0.3)2.8 (0.2)15/15
BIPOP-saACM-k loshchilov 4.3 (0.9)4.6 (0.8)4.9 (0.8)5.1 (0.8)5.4 (0.7)5.7 (0.7)6.1 (0.6)15/15
CGA-grid100 holtschulte 1763 (663)∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 312 (163)1173 (531)3.8e4 (3e4)∞∞∞∞1e60/15
CGA-ring100 holtschulte 205 (44)510 (179)1620 (779)∞∞∞∞1e60/15
CGA-ring16 holtschulte 173 (72)571 (460)2012 (2314)1.9e4 (2e4)∞∞∞1e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞20060/15
DE Pal pal 34 (2)43 (2)51 (3)60 (2)68 (2)85 (2)102 (3)15/15
GA-100 holtschulte 219 (124)643 (532)2434 (2209)1.9e4 (2e4)∞∞∞1e60/15
HCMA loshchilov 1.3 (0.1)1.5 (0.1)1.7 (0.0)1.8 (0.1)2.1 (0.2)2.4 (0.3)2.8 (0.2)15/15
HILL holtschulte 174 (114)487 (255)1993 (1543)1.9e4 (2e4)∞∞∞1e60/15
HMLSL pal 5.1 (2)5.7 (2)6.1 (2)6.4 (2)7.2 (3)10 (3)15 (15)15/15
IP-10DDr liao 35 (4)42 (4)48 (4)50 (3)51 (2)52 (2)53 (2)15/15
IP-500 liao 35 (4)42 (4)48 (4)50 (3)51 (2)52 (2)53 (2)15/15
IPOP400D auger ∞∞∞∞∞∞∞88110/15
IP liao 35 (4)42 (4)48 (4)50 (3)51 (2)52 (2)53 (2)15/15
MEMPSODE voglis 15 (11)18 (10)18 (10)19 (11)21 (11)25 (8)45 (27)15/15
MLSL pal 5.1 (2)5.7 (2)6.1 (2)6.4 (2)7.2 (3)10 (3)13 (9)15/15
OQNLP pal 4.2 (2)5.3 (3)6.5 (3)12 (14)12 (14)13 (14)∞3e50/15
P-DCN tran 25 (6)32 (6)52 (14)110 (44)257 (164)1017 (1192)5820 (4270)13/15
P-zero tran 22 (3)28 (10)69 (64)221 (175)636 (212)4602 (2230)1.6e5 (2e5)2/15
PRCGA sawyerr 101 (96)200 (92)332 (266)698 (790)1401 (1248)5407 (5224)1.7e4 (2e4)4/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞20000/15
U-DCN tran 130 (48)374 (351)562 (333)679 (275)1534 (1731)2.1e4 (3e4)9.5e4 (8e4)3/15
U-zero tran 305 (203)1103 (917)4010 (1996)1.1e4 (8561)2.8e4 (1e4)∞∞2e70/15
fmincon pal 5.6 (3)6.0 (3)6.4 (2)6.8 (2)7.4 (3)10 (3)14 (8)15/15
fminunc pal 19 (4)24 (3)36 (28)46 (29)68 (53)81 (78)106 (116)15/15
lmm-CMA-ES auger 8.4 (1)11 (2)12 (2)12 (2)13 (2)14 (2)15 (2)15/15
simplex pal ∞∞∞∞∞∞∞4e50/15
tany liao 35 (4)42 (5)46 (4)48 (2)50 (3)52 (2)53 (2)15/15
texp liao 34 (5)41 (5)45 (5)47 (3)49 (2)50 (2)51 (2)15/15

Δ fopt
f3, 20-D		 1e1
5066		 1e0
7626		 1e-1
7635		 1e-2
7637		 1e-3
7643		 1e-5
7646		 1e-7
7651		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 0.26 (0.0)↑00.37 (0.1)↑00.46 (0.1)↑00.47 (0.1)↑00.49 (0.1)↑00.51 (0.1)↑00.53 (0.1)↑015/15
BIPOP-saACM-k loshchilov 20 (23)∞∞∞∞∞∞2e70/15
CGA-grid100 holtschulte 19 (3)54 (12)637 (550)∞∞∞∞1e60/15
CGA-grid16 holtschulte 3.4 (1.0)9.1 (2)31 (6)109 (26)∞∞∞1e60/15
CGA-ring100 holtschulte 7.2 (0.8)10 (0.9)18 (2)40 (12)131 (119)∞∞1e60/15
CGA-ring16 holtschulte 1.5 (0.3)3.4 (0.9)10 (3)33 (9)111 (79)∞∞1e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞20060/15
DE Pal pal ∞∞∞∞∞∞∞4e50/15
GA-100 holtschulte 3.5 (0.5)6.2 (2)18 (3)46 (12)203 (72)∞∞1e60/15
HCMA loshchilov 0.26 (0.0)↑00.37 (0.1)↑00.46 (0.1)↑00.47 (0.1)↑00.49 (0.1)↑00.51 (0.1)↑00.53 (0.1)↑015/15
HILL holtschulte 0.83 (0.4)3.1 (2)10 (2)28 (11)87 (25)∞∞1e60/15
HMLSL pal 219 (148)∞∞∞∞∞∞4e50/15
IP-10DDr liao 15 (16)∞∞∞∞∞∞2e70/15
IP-500 liao 15 (16)1.9e4 (2e4)∞∞∞∞∞2e70/15
IPOP400D auger ∞∞∞∞∞∞∞88010/15
IP liao 15 (16)∞∞∞∞∞∞2e70/15
MEMPSODE voglis 16 (11)68 (31)110 (49)110 (48)110 (49)110 (48)116 (48)15/15
MLSL pal ∞∞∞∞∞∞∞4e50/15
OQNLP pal ∞∞∞∞∞∞∞3e50/15
P-DCN tran 145 (75)541 (590)753 (690)752 (689)752 (689)752 (689)751 (688)15/15
P-zero tran 216 (157)283 (156)378 (171)378 (171)378 (171)381 (169)508 (147)15/15
PRCGA sawyerr 3.1 (0.7)8.8 (4)11 (4)18 (19)19 (19)68 (70)275 (255)5/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞20000/15
U-DCN tran 2.7 (1)9.5 (5)13 (4)21 (6)43 (26)138 (117)2113 (1742)5/15
U-zero tran 1.4 (0.3)4.8 (2)15 (6)55 (21)170 (81)1900 (536)∞2e70/15
fmincon pal ∞∞∞∞∞∞∞4e50/15
fminunc pal ∞∞∞∞∞∞∞4e50/15
lmm-CMA-ES auger ∞∞∞∞∞∞∞88040/15
simplex pal ∞∞∞∞∞∞∞4e50/15
tany liao 10 (7)3.8e4 (3e4)∞∞∞∞∞2e70/15
texp liao 8.5 (8)3.9e4 (5e4)∞∞∞∞∞2e70/15

Δ fopt
f4, 20-D		 1e1
4722		 1e0
7628		 1e-1
7666		 1e-2
7686		 1e-3
7700		 1e-5
7758		 1e-7
1.4e5		 #succ
9/15
BIPOP-aCMA-STEP loshchilov 0.42 (0.1)↑00.67 (0.1)↑00.90 (0.1)↑11.1 (0.1)1.5 (0.2)1.8 (0.2)0.11 (1e-2)↑015/15
BIPOP-saACM-k loshchilov 1.9e4 (2e4)∞∞∞∞∞∞2e70/15
CGA-grid100 holtschulte 29 (6)74 (12)∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 4.9 (1)13 (4)37 (12)216 (91)∞∞∞1e60/15
CGA-ring100 holtschulte 9.2 (0.6)12 (2)23 (4)52 (12)302 (210)∞∞1e60/15
CGA-ring16 holtschulte 2.3 (0.7)4.8 (2)16 (6)45 (17)373 (453)∞∞1e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞20060/15
DE Pal pal 620 (501)∞∞∞∞∞∞4e50/15
GA-100 holtschulte 4.7 (0.8)8.7 (2)23 (7)60 (17)641 (455)∞∞1e60/15
HCMA loshchilov 0.42 (0.1)↑00.67 (0.1)↑00.90 (0.1)↑11.1 (0.1)1.5 (0.2)1.8 (0.2)0.11 (1e-2)↑015/15
HILL holtschulte 1.3 (0.3)3.6 (1)13 (6)44 (18)191 (87)∞∞1e60/15
HMLSL pal 622 (530)∞∞∞∞∞∞4e50/15
IP-10DDr liao 2.9e4 (3e4)∞∞∞∞∞∞2e70/15
IP-500 liao ∞∞∞∞∞∞∞2e70/15
IPOP400D auger ∞∞∞∞∞∞∞88010/15
IP liao ∞∞∞∞∞∞∞2e70/15
MEMPSODE voglis 22 (12)127 (96)183 (101)183 (100)182 (100)181 (99)10 (5)15/15
MLSL pal ∞∞∞∞∞∞∞4e50/15
OQNLP pal ∞∞∞∞∞∞∞3e50/15
P-DCN tran 214 (249)337 (323)447 (313)446 (312)445 (312)444 (309)25 (17)15/15
P-zero tran 270 (152)263 (100)375 (134)374 (134)373 (134)374 (130)28 (7)15/15
PRCGA sawyerr 5.6 (2)15 (7)20 (12)21 (12)29 (26)193 (177)50 (58)0/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞20000/15
U-DCN tran 3.9 (2)12 (8)16 (6)28 (15)42 (15)219 (173)120 (116)5/15
U-zero tran 2.1 (0.6)6.9 (2)25 (6)78 (23)255 (69)3201 (1782)∞2e70/15
fmincon pal ∞∞∞∞∞∞∞4e50/15
fminunc pal ∞∞∞∞∞∞∞4e50/15
lmm-CMA-ES auger ∞∞∞∞∞∞∞88130/15
simplex pal ∞∞∞∞∞∞∞4e50/15
tany liao 6.1e4 (6e4)∞∞∞∞∞∞2e70/15
texp liao ∞∞∞∞∞∞∞2e70/15

Δ fopt
f5, 20-D		 1e1
41		 1e0
41		 1e-1
41		 1e-2
41		 1e-3
41		 1e-5
41		 1e-7
41		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.0 (0)1.0 (0)1.0 (0)1.0 (0)1.0 (0)1.0 (0)1.0 (0)15/15
BIPOP-saACM-k loshchilov 4.5 (0.9)5.2 (0.6)5.3 (0.8)5.3 (0.6)5.3 (0.6)5.3 (0.6)5.3 (0.6)15/15
CGA-grid100 holtschulte 343 (69)458 (68)477 (94)482 (89)482 (89)482 (89)482 (89)15/15
CGA-grid16 holtschulte 60 (20)74 (15)79 (14)80 (16)80 (16)80 (16)80 (16)15/15
CGA-ring100 holtschulte 185 (15)239 (25)261 (26)263 (28)263 (28)263 (28)263 (28)15/15
CGA-ring16 holtschulte 36 (5)47 (5)50 (5)51 (7)51 (7)51 (7)51 (7)15/15
CMAES Hutter hutter 5.6 (1)6.4 (1)6.6 (1)6.6 (1)6.6 (1)6.6 (1)6.6 (1)15/15
DE Pal pal 592 (66)1414 (101)2276 (131)3125 (193)3948 (156)5654 (195)7373 (221)15/15
GA-100 holtschulte 89 (12)117 (12)128 (17)132 (18)132 (18)132 (18)132 (18)15/15
HCMA loshchilov 1.2 (0.1)1.3 (0.3)1.4 (0.3)1.4 (0.3)1.4 (0.3)1.4 (0.3)1.4 (0.3)15/15
HILL holtschulte 11 (3)14 (5)15 (5)15 (5)15 (5)15 (5)15 (5)15/15
HMLSL pal 3.6 (0)5.1 (0)5.7 (0)6.2 (0)6.7 (0)7.2 (0)5359 (4195)14/15
IP-10DDr liao 50 (34)110 (92)163 (105)205 (122)231 (150)306 (242)400 (290)15/15
IP-500 liao 50 (34)110 (92)163 (105)205 (122)231 (150)306 (242)400 (290)15/15
IPOP400D auger 5.4 (1)6.3 (1)6.5 (1)6.5 (1)6.5 (1)6.5 (1)6.5 (1)15/15
IP liao 50 (34)110 (92)163 (105)205 (122)231 (150)306 (242)400 (290)15/15
MEMPSODE voglis 3.1 (0.3)3.1 (0.3)3.1 (0.3)3.1 (0.3)3.1 (0.3)3.1 (0.3)3.1 (0.3)15/15
MLSL pal 3.6 (0)5.1 (0)5.7 (0)6.2 (0)6.7 (0)7.2 (0)117 (92)1/15
OQNLP pal 1.3 (0)1.3 (0)1.3 (0)1.3 (0)1.3 (0)1.3 (0)1.3 (0)15/15
P-DCN tran 139 (31)188 (45)202 (47)217 (40)246 (29)333 (36)419 (34)15/15
P-zero tran 127 (20)162 (31)173 (31)178 (32)184 (30)198 (27)215 (29)15/15
PRCGA sawyerr 1.2e4 (1e4)∞∞∞∞∞∞1e60/15
SMAC-BBOB hutter 0.60 (0.1)★4↑00.62 (0.1)★4↑00.66 (0.2)★2↑10.66 (0.2)★2↑10.66 (0.2)★2↑10.66 (0.2)★2↑10.66 (0.2)★2↑115/15
U-DCN tran 172 (76)933 (287)3014 (1115)8376 (2696)1.6e4 (5606)1.3e6 (1e6)∞2e70/15
U-zero tran 91 (23)850 (331)1.1e4 (2379)1.3e5 (2e4)∞∞∞2e70/15
fmincon pal 3.6 (0)5.1 (0)5.7 (0)6.2 (0)6.7 (0)7.2 (0)102 (109)4/15
fminunc pal 2.1 (0)2.6 (0)2.6 (0)2.6 (0)2.6 (0)2.6 (0)2.6 (0)15/15
lmm-CMA-ES auger 5.0 (1)5.9 (1)6.1 (1)6.1 (1)6.1 (1)6.1 (1)6.1 (1)15/15
simplex pal 170 (93)225 (92)225 (93)225 (93)225 (93)225 (93)225 (93)15/15
tany liao 68 (88)133 (145)158 (156)183 (165)200 (171)233 (200)271 (210)15/15
texp liao 91 (121)175 (149)229 (203)277 (264)306 (281)354 (303)432 (321)15/15

Δ fopt
f6, 20-D		 1e1
1296		 1e0
2343		 1e-1
3413		 1e-2
4255		 1e-3
5220		 1e-5
6728		 1e-7
8409		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.6 (0.2)1.3 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)15/15
BIPOP-saACM-k loshchilov 1.6 (0.5)1.3 (0.4)1.2 (0.3)1.3 (0.3)1.4 (0.3)1.5 (0.3)1.7 (0.4)15/15
CGA-grid100 holtschulte 1211 (1647)∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 443 (639)1260 (1558)4176 (4175)∞∞∞∞1e60/15
CGA-ring100 holtschulte 53 (13)99 (36)257 (193)3517 (3760)∞∞∞1e60/15
CGA-ring16 holtschulte 29 (21)367 (414)1278 (1371)3424 (2820)∞∞∞1e60/15
CMAES Hutter hutter 4.4 (4)∞∞∞∞∞∞20060/15
DE Pal pal 49 (27)63 (18)65 (18)72 (16)114 (103)∞∞4e50/15
GA-100 holtschulte 21 (9)78 (62)331 (240)3395 (3584)∞∞∞1e60/15
HCMA loshchilov 1.7 (0.3)1.4 (0.2)1.3 (0.2)1.3 (0.2)1.4 (0.2)1.6 (0.3)1.7 (0.4)15/15
HILL holtschulte 271 (403)1852 (2017)4258 (3296)∞∞∞∞1e60/15
HMLSL pal 1.8 (1)1.5 (0.9)1.5 (0.9)1.7 (0.8)1.8 (0.7)2.1 (0.6)2.5 (0.6)15/15
IP-10DDr liao 1.3 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)15/15
IP-500 liao 1.3 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)15/15
IPOP400D auger 1.5 (0.4)1.2 (0.2)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.2 (0.1)16 (16)0/15
IP liao 1.3 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)15/15
MEMPSODE voglis 7.6 (3)7.6 (3)7.8 (4)13 (8)19 (8)28 (16)63 (58)15/15
MLSL pal 1.8 (1)1.5 (0.9)1.5 (0.9)1.7 (0.8)1.8 (0.7)2.1 (0.6)2.7 (0.6)15/15
OQNLP pal 1.0 (0.7)1.4 (0.6)1.5 (0.7)8.8 (13)51 (71)∞∞3e50/15
P-DCN tran 16 (3)17 (36)470 (100)1185 (2391)2005 (2396)4356 (4532)1.1e4 (1e4)0/15
P-zero tran 9.2 (4)826 (2659)3139 (4198)8193 (1e4)1.6e4 (1e4)∞∞2e70/15
PRCGA sawyerr 461 (772)2045 (1484)4301 (4231)∞∞∞∞2e60/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞20000/15
U-DCN tran 358 (384)2573 (3521)3425 (3507)4165 (4176)6585 (5273)∞∞2e70/15
U-zero tran 3012 (7715)7234 (1e4)8.2e4 (8e4)6.6e4 (8e4)5.5e4 (5e4)∞∞2e70/15
fmincon pal 1.6 (0.5)1.4 (0.5)1.4 (0.4)1.6 (0.4)1.7 (0.4)2.0 (0.4)2.4 (0.4)15/15
fminunc pal 2.4 (1)2.7 (0.7)2.8 (0.6)2.9 (0.6)3.1 (0.6)6.1 (5)724 (645)0/15
lmm-CMA-ES auger 18 (13)56 (50)∞∞∞∞∞88040/15
simplex pal ∞∞∞∞∞∞∞4e50/15
tany liao 1.4 (0.4)1.2 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.2)1.2 (0.1)1.2 (0.1)15/15
texp liao 1.4 (0.2)1.2 (0.2)1.2 (0.2)1.2 (0.2)1.2 (0.2)1.3 (0.2)1.3 (0.2)15/15

Δ fopt
f7, 20-D		 1e1
1351		 1e0
4274		 1e-1
9503		 1e-2
16523		 1e-3
16524		 1e-5
16524		 1e-7
16969		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.5 (1)3.2 (2)2.5 (1)1.5 (0.7)1.5 (0.7)1.5 (0.7)1.5 (0.7)15/15
BIPOP-saACM-k loshchilov 0.52 (0.2)↑01.2 (0.9)0.65 (0.3)0.55 (0.2)↑10.56 (0.2)↑10.56 (0.2)↑10.55 (0.2)↑115/15
CGA-grid100 holtschulte 5053 (5341)∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 2371 (3814)∞∞∞∞∞∞1e60/15
CGA-ring100 holtschulte 93 (121)∞∞∞∞∞∞1e60/15
CGA-ring16 holtschulte 842 (1368)∞∞∞∞∞∞1e60/15
CMAES Hutter hutter 1.3 (0.8)∞∞∞∞∞∞20060/15
DE Pal pal 21 (5)77 (78)67 (85)118 (96)118 (152)118 (151)115 (135)2/15
GA-100 holtschulte 175 (224)∞∞∞∞∞∞1e60/15
HCMA loshchilov 0.98 (0.9)1.1 (0.2)0.84 (0.4)0.57 (0.2)↑10.57 (0.2)↑10.57 (0.2)↑10.57 (0.2)↑115/15
HILL holtschulte 2235 (3162)∞∞∞∞∞∞1e60/15
HMLSL pal 21 (5)72 (69)65 (63)116 (100)175 (203)175 (212)343 (460)1/15
IP-10DDr liao 1.7 (2)6.2 (3)3.9 (2)2.4 (1.0)2.4 (1.0)2.4 (1.0)2.4 (1.0)15/15
IP-500 liao 1.7 (2)6.2 (3)3.9 (2)2.4 (1.0)2.4 (1.0)2.4 (1.0)2.4 (1.0)15/15
IPOP400D auger 1.0 (1)29 (49)∞∞∞∞∞88270/15
IP liao 1.7 (2)6.2 (3)3.9 (2)2.4 (1.0)2.4 (1.0)2.4 (1.0)2.4 (1.0)15/15
MEMPSODE voglis 26 (21)340 (370)369 (538)247 (306)266 (427)266 (350)417 (641)11/15
MLSL pal ∞∞∞∞∞∞∞2e50/15
OQNLP pal ∞∞∞∞∞∞∞2e40/15
P-DCN tran 1.7e4 (3e4)∞∞∞∞∞∞2e70/15
P-zero tran 2528 (2942)1.7e4 (2e4)∞∞∞∞∞2e70/15
PRCGA sawyerr 513 (856)∞∞∞∞∞∞1e60/15
SMAC-BBOB hutter 0.57 (0.3)↑0∞∞∞∞∞∞20000/15
U-DCN tran 1.8e4 (2e4)∞∞∞∞∞∞2e70/15
U-zero tran 2.1e4 (2e4)∞∞∞∞∞∞2e70/15
fmincon pal ∞∞∞∞∞∞∞2e50/15
fminunc pal ∞∞∞∞∞∞∞2e50/15
lmm-CMA-ES auger 0.48 (0.1)↑0∞∞∞∞∞∞88190/15
simplex pal ∞∞∞∞∞∞∞3e50/15
tany liao 1.0 (0.3)4.6 (2)3.2 (0.8)2.0 (0.5)2.0 (0.5)2.0 (0.5)1.9 (0.5)15/15
texp liao 1.6 (2)6.5 (4)3.7 (3)2.3 (2)2.3 (2)2.3 (2)2.2 (2)15/15

Δ fopt
f8, 20-D		 1e1
2039		 1e0
3871		 1e-1
4040		 1e-2
4148		 1e-3
4219		 1e-5
4371		 1e-7
4484		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.7 (1.0)4.1 (3)4.4 (3)4.4 (3)4.5 (3)4.5 (3)4.5 (2)15/15
BIPOP-saACM-k loshchilov 1.0 (0.1)0.97 (0.1)1.0 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)15/15
CGA-grid100 holtschulte 2244 (2019)∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 611 (874)1112 (1093)3657 (2847)∞∞∞∞1e60/15
CGA-ring100 holtschulte 3250 (6008)3670 (4585)3702 (5507)∞∞∞∞1e60/15
CGA-ring16 holtschulte 3367 (3521)3820 (4069)∞∞∞∞∞1e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞20060/15
DE Pal pal 13 (1)27 (52)27 (50)28 (49)29 (48)30 (46)32 (45)13/15
GA-100 holtschulte 1079 (1470)1829 (1873)∞∞∞∞∞1e60/15
HCMA loshchilov 1.3 (0.2)1.1 (0.1)1.2 (0.1)1.2 (0.1)1.2 (0.1)1.2 (0.1)1.2 (0.1)15/15
HILL holtschulte 260 (491)243 (260)1713 (2257)∞∞∞∞1e60/15
HMLSL pal 0.84 (0.2)↑11.0 (1)1.0 (1)1.0 (1)1.0 (1)1.0 (1)0.99 (1)15/15
IP-10DDr liao 4.1 (0.8)4.3 (0.3)4.6 (0.4)4.8 (0.3)4.8 (0.3)4.8 (0.3)4.9 (0.3)15/15
IP-500 liao 4.1 (0.8)4.3 (0.3)4.6 (0.4)4.8 (0.3)4.8 (0.3)4.8 (0.3)4.9 (0.3)15/15
IPOP400D auger 6.5 (5)∞∞∞∞∞∞88110/15
IP liao 4.1 (0.8)4.3 (0.3)4.6 (0.4)4.8 (0.3)4.8 (0.3)4.8 (0.3)4.9 (0.3)15/15
MEMPSODE voglis 6.4 (3)7.8 (5)8.2 (5)8.2 (5)8.6 (5)8.7 (6)8.5 (6)15/15
MLSL pal 0.84 (0.2)↑10.78 (0.5)0.79 (0.5)0.79 (0.5)0.79 (0.5)0.79 (0.5)0.78 (0.5)15/15
OQNLP pal 0.67 (0.1)↑00.68 (0.4)0.70 (0.4)0.71 (0.3)0.71 (0.3)0.70 (0.3)∞3e50/15
P-DCN tran 563 (316)1530 (2679)1717 (2463)2017 (2474)2408 (2348)3376 (2411)1.3e4 (1e4)1/15
P-zero tran 215 (128)653 (65)959 (81)3021 (156)∞∞∞2e70/15
PRCGA sawyerr 1116 (1745)1579 (2246)2138 (3218)6823 (7112)6759 (8533)∞∞2e60/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞20000/15
U-DCN tran 551 (579)767 (712)1198 (748)1824 (909)2494 (967)3.3e4 (4e4)∞2e70/15
U-zero tran 1382 (1246)2429 (4312)2.0e4 (2e4)∞∞∞∞2e70/15
fmincon pal 0.84 (0.2)↑10.84 (0.8)0.85 (0.7)0.85 (0.7)0.85 (0.7)0.84 (0.7)0.83 (0.7)15/15
fminunc pal 1.4 (0.3)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.0 (0.1)1.0 (0.1)15/15
lmm-CMA-ES auger 1.7 (0.5)2.1 (2)2.2 (1)2.2 (1.0)2.2 (1)2.2 (1)2.2 (1)12/15
simplex pal ∞∞∞∞∞∞∞4e50/15
tany liao 4.6 (1)5.1 (0.6)5.5 (0.6)5.6 (0.6)5.6 (0.6)5.6 (0.6)5.7 (0.5)15/15
texp liao 4.4 (0.9)5.0 (0.5)5.4 (0.4)5.5 (0.4)5.5 (0.4)5.5 (0.4)5.6 (0.4)15/15

Δ fopt
f9, 20-D		 1e1
1716		 1e0
3102		 1e-1
3277		 1e-2
3379		 1e-3
3455		 1e-5
3594		 1e-7
3727		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.9 (0.6)4.1 (0.4)4.3 (0.3)4.4 (0.4)4.5 (0.3)4.5 (0.3)4.5 (0.3)15/15
BIPOP-saACM-k loshchilov 1.3 (0.2)1.3 (0.2)1.4 (0.2)1.4 (0.2)1.4 (0.2)1.4 (0.2)1.4 (0.2)15/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞1e60/15
CGA-ring100 holtschulte ∞∞∞∞∞∞∞1e60/15
CGA-ring16 holtschulte ∞∞∞∞∞∞∞1e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞20060/15
DE Pal pal ∞∞∞∞∞∞∞4e50/15
GA-100 holtschulte ∞∞∞∞∞∞∞1e60/15
HCMA loshchilov 1.6 (0.3)1.5 (0.3)1.6 (0.3)1.6 (0.3)1.6 (0.3)1.6 (0.3)1.6 (0.3)15/15
HILL holtschulte ∞∞∞∞∞∞∞1e60/15
HMLSL pal 0.17 (0.0)↑00.34 (0.0)↑00.38 (0.0)↑00.39 (0.0)↑00.40 (0.0)↑00.40 (0.0)↑00.40 (0.0)↑015/15
IP-10DDr liao 5.0 (1)6.9 (5)7.2 (5)7.3 (5)7.3 (4)7.3 (4)7.2 (4)15/15
IP-500 liao 5.0 (1)6.9 (5)7.2 (5)7.3 (5)7.3 (4)7.3 (4)7.2 (4)15/15
IPOP400D auger 4.5 (0.8)∞∞∞∞∞∞88110/15
IP liao 5.0 (1)6.9 (5)7.2 (5)7.3 (5)7.3 (4)7.3 (4)7.2 (4)15/15
MEMPSODE voglis 8.8 (3)11 (5)15 (6)16 (8)17 (8)19 (4)20 (2)15/15
MLSL pal 0.17 (0.0)↑00.34 (0.0)↑00.38 (0.0)↑00.39 (0.0)↑00.40 (0.0)↑00.40 (0.0)↑00.40 (0.0)↑015/15
OQNLP pal 0.32 (1e-3)↑00.27 (1e-3)↑00.31 (1e-3)↑00.33 (1e-3)↑00.34 (4e-3)↑00.34 (4e-3)↑05.1 (7)4/15
P-DCN tran 1599 (1100)5403 (3477)∞∞∞∞∞2e70/15
P-zero tran 412 (296)4135 (6451)6471 (7727)∞∞∞∞2e70/15
PRCGA sawyerr 688 (1264)4337 (7142)∞∞∞∞∞2e60/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞20000/15
U-DCN tran 1.7e4 (2e4)9.3e4 (1e5)∞∞∞∞∞2e70/15
U-zero tran 4.0e4 (3e4)∞∞∞∞∞∞2e70/15
fmincon pal 0.17 (0.0)↑00.34 (0.0)↑00.38 (0.0)↑00.39 (0.0)↑00.40 (0.0)↑00.40 (0.0)↑00.40 (0.0)↑015/15
fminunc pal 0.16 (0.0)↑00.26 (0.0)↑00.30 (0.0)↑00.32 (0.0)↑00.33 (0.0)↑00.34 (0.0)↑00.33 (0.0)↑015/15
lmm-CMA-ES auger 2.1 (0.5)2.1 (0.2)2.2 (0.2)2.2 (0.2)2.4 (0.2)2.4 (0.2)2.7 (1)12/15
simplex pal ∞∞∞∞∞∞∞4e50/15
tany liao 5.0 (1)5.3 (0.7)5.7 (0.7)5.9 (0.7)6.0 (0.6)6.0 (0.6)6.0 (0.6)15/15
texp liao 4.8 (1)6.0 (0.6)6.3 (0.6)6.4 (0.6)6.5 (0.6)6.5 (0.5)6.5 (0.5)15/15

Δ fopt
f10, 20-D		 1e1
7413		 1e0
8661		 1e-1
10735		 1e-2
13641		 1e-3
14920		 1e-5
17073		 1e-7
17476		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.2 (0.2)1.2 (0.1)1.0 (0.1)0.85 (0.1)↑00.80 (0.1)↑00.74 (0.0)↑00.76 (0.0)↑015/15
BIPOP-saACM-k loshchilov 0.21 (0.0)↑00.20 (0.0)↑00.17 (0.0)↑00.14 (0.0)↑00.13 (0.0)↑00.13 (0.0)↑00.13 (0.0)↑015/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞1e60/15
CGA-ring100 holtschulte ∞∞∞∞∞∞∞1e60/15
CGA-ring16 holtschulte ∞∞∞∞∞∞∞1e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞20060/15
DE Pal pal ∞∞∞∞∞∞∞4e50/15
GA-100 holtschulte ∞∞∞∞∞∞∞1e60/15
HCMA loshchilov 0.25 (0.0)↑00.23 (0.0)↑00.20 (0.0)↑00.16 (0.0)↑00.15 (0.0)↑00.14 (0.0)↑00.15 (0.0)↑015/15
HILL holtschulte ∞∞∞∞∞∞∞1e60/15
HMLSL pal 0.13 (0.0)↑00.12 (0.0)↑00.11 (0.0)↑00.09 (0.0)↑00.12 (0.0)↑041 (49)∞4e50/15
IP-10DDr liao 1.8 (0.2)1.9 (0.2)1.7 (0.1)1.4 (0.1)1.3 (0.0)1.2 (0.0)1.2 (0.0)15/15
IP-500 liao 1.8 (0.2)1.9 (0.2)1.7 (0.1)1.4 (0.1)1.3 (0.0)1.2 (0.0)1.2 (0.0)15/15
IPOP400D auger ∞∞∞∞∞∞∞88110/15
IP liao 1.8 (0.2)1.9 (0.2)1.7 (0.1)1.4 (0.1)1.3 (0.0)1.2 (0.0)1.2 (0.0)15/15
MEMPSODE voglis 6.2 (4)6.8 (3)6.8 (5)6.0 (4)9.2 (7)59 (61)∞1e70/15
MLSL pal 0.13 (0.0)↑00.12 (0.0)↑00.11 (0.0)↑00.09 (0.0)↑00.12 (0.0)↑041 (54)∞4e50/15
OQNLP pal 0.54 (0.5)0.98 (0.9)3.6 (6)8.4 (11)61 (67)∞∞3e50/15
P-DCN tran ∞∞∞∞∞∞∞2e70/15
P-zero tran ∞∞∞∞∞∞∞2e70/15
PRCGA sawyerr ∞∞∞∞∞∞∞2e60/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞20000/15
U-DCN tran ∞∞∞∞∞∞∞2e70/15
U-zero tran ∞∞∞∞∞∞∞2e70/15
fmincon pal 0.15 (0.0)↑00.14 (0.0)↑00.12 (0.0)↑00.10 (0.0)↑00.10 (0.0)↑034 (56)∞4e50/15
fminunc pal 0.91 (0.2)1.1 (0.7)1.4 (0.6)1.7 (0.8)2.4 (2)10 (17)∞4e50/15
lmm-CMA-ES auger 0.46 (0.1)↑00.47 (0.1)↑00.41 (0.1)↑00.34 (0.0)↑00.33 (0.0)↑00.31 (0.0)↑00.32 (0.0)↑015/15
simplex pal ∞∞∞∞∞∞∞4e50/15
tany liao 1.8 (0.3)1.8 (0.2)1.6 (0.1)1.4 (0.1)1.3 (0.0)1.2 (0.0)1.2 (0.0)15/15
texp liao 1.7 (0.2)1.7 (0.2)1.6 (0.1)1.3 (0.1)1.2 (0.1)1.1 (0.1)1.1 (0.0)15/15

Δ fopt
f11, 20-D		 1e1
1002		 1e0
2228		 1e-1
6278		 1e-2
8586		 1e-3
9762		 1e-5
12285		 1e-7
14831		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 4.8 (0.4)2.4 (0.2)0.91 (0.1)↑00.71 (0.0)↑00.66 (0.0)↑00.57 (0.0)↑00.52 (0.0)↑015/15
BIPOP-saACM-k loshchilov 1.6 (0.4)0.77 (0.2)0.29 (0.1)↑00.22 (0.1)↑00.20 (0.0)↑00.17 (0.0)↑00.15 (0.0)↑015/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 2753 (2021)∞∞∞∞∞∞1e60/15
CGA-ring100 holtschulte 808 (199)∞∞∞∞∞∞1e60/15
CGA-ring16 holtschulte 470 (240)∞∞∞∞∞∞1e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞20060/15
DE Pal pal ∞∞∞∞∞∞∞4e50/15
GA-100 holtschulte 333 (121)∞∞∞∞∞∞1e60/15
HCMA loshchilov 1.7 (0.2)0.81 (0.1)↑00.30 (0.0)↑00.23 (0.0)↑00.21 (0.0)↑00.18 (0.0)↑00.16 (0.0)↑015/15
HILL holtschulte 577 (255)∞∞∞∞∞∞1e60/15
HMLSL pal 0.17 (0.0)↑00.10 (0.0)↑00.04 (9e-3)↑00.04 (0.0)↑01.2 (1)∞∞4e50/15
IP-10DDr liao 10 (0.6)5.1 (0.2)2.0 (0.1)1.5 (0.1)1.4 (0.0)1.2 (0.0)1.1 (0.0)15/15
IP-500 liao 10 (0.6)5.1 (0.2)2.0 (0.1)1.5 (0.1)1.4 (0.0)1.2 (0.0)1.1 (0.0)15/15
IPOP400D auger ∞∞∞∞∞∞∞88110/15
IP liao 10 (0.6)5.1 (0.2)2.0 (0.1)1.5 (0.1)1.4 (0.0)1.2 (0.0)1.1 (0.0)15/15
MEMPSODE voglis 4.5 (1.0)2.2 (0.2)0.81 (0.1)↑00.64 (0.1)↑00.81 (0.2)↑120 (16)9880 (1e4)0/15
MLSL pal 0.17 (0.0)↑00.10 (0.0)↑00.04 (9e-3)↑00.04 (0.0)↑00.86 (1)∞∞4e50/15
OQNLP pal 0.16 (0.0)↑00.18 (0.2)↑00.25 (0.2)↑10.62 (0.7)6.2 (6)∞∞1e50/15
P-DCN tran 457 (265)417 (172)211 (78)312 (218)850 (385)∞∞2e70/15
P-zero tran 676 (222)617 (254)349 (109)457 (145)1233 (468)∞∞2e70/15
PRCGA sawyerr 1.3e4 (9637)∞∞∞∞∞∞2e60/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞20000/15
U-DCN tran 786 (641)3035 (2507)6177 (6551)∞∞∞∞2e70/15
U-zero tran 1213 (560)7557 (5034)∞∞∞∞∞2e70/15
fmincon pal 0.16 (0.0)↑00.10 (0.0)↑00.04 (1e-2)↑00.04 (0.0)↑01.1 (2)228 (323)∞4e50/15
fminunc pal 0.51 (0.1)↑01.1 (0.7)0.97 (0.7)2.2 (2)81 (118)∞∞4e50/15
lmm-CMA-ES auger 2.1 (0.2)1.1 (0.1)0.43 (0.0)↑00.33 (0.0)↑00.31 (0.0)↑00.28 (0.0)↑00.25 (0.0)↑015/15
simplex pal ∞∞∞∞∞∞∞4e50/15
tany liao 9.4 (0.4)4.8 (0.2)1.9 (0.1)1.4 (0.1)1.3 (0.0)1.1 (0.0)0.99 (0.0)15/15
texp liao 8.4 (0.6)4.3 (0.3)1.7 (0.1)1.3 (0.1)1.2 (0.1)1.0 (0.1)0.90 (0.0)↑015/15

Δ fopt
f12, 20-D		 1e1
1042		 1e0
1938		 1e-1
2740		 1e-2
3156		 1e-3
4140		 1e-5
12407		 1e-7
13827		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.1 (3)3.6 (3)3.8 (3)4.0 (2)3.5 (2)1.5 (0.6)1.5 (0.6)15/15
BIPOP-saACM-k loshchilov 0.83 (0.1)↑10.93 (0.9)1.2 (0.9)1.2 (0.8)1.1 (0.6)0.51 (0.2)↑00.53 (0.2)↑015/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 2611 (2030)∞∞∞∞∞∞1e60/15
CGA-ring100 holtschulte 605 (147)2563 (2972)∞∞∞∞∞1e60/15
CGA-ring16 holtschulte 571 (506)7558 (8385)∞∞∞∞∞1e60/15
CMAES Hutter hutter 4.8 (3)∞∞∞∞∞∞20060/15
DE Pal pal 102 (112)235 (481)1028 (1187)∞∞∞∞4e50/15
GA-100 holtschulte 720 (623)7711 (6192)∞∞∞∞∞1e60/15
HCMA loshchilov 1.7 (1)1.7 (1)1.6 (1)1.6 (0.9)1.4 (0.7)0.60 (0.2)↑00.61 (0.2)↑015/15
HILL holtschulte 685 (512)2450 (3870)∞∞∞∞∞1e60/15
HMLSL pal 0.81 (0.5)0.89 (0.6)0.83 (0.5)0.83 (0.4)0.72 (0.4)8.8 (16)37 (65)2/15
IP-10DDr liao 2.6 (2)3.6 (3)4.1 (3)4.5 (3)4.1 (2)1.8 (0.6)1.9 (0.5)15/15
IP-500 liao 2.6 (2)3.6 (3)4.1 (3)4.5 (3)4.1 (2)1.8 (0.6)1.9 (0.5)15/15
IPOP400D auger 2.3 (1)3.1 (3)8.0 (6)10 (8)32 (27)∞∞88110/15
IP liao 2.6 (2)3.6 (3)4.1 (3)4.5 (3)4.1 (2)1.8 (0.6)1.9 (0.5)15/15
MEMPSODE voglis 5.7 (4)4.6 (3)5.8 (3)6.5 (5)8.0 (5)6.6 (7)124 (224)8/15
MLSL pal 0.81 (0.5)0.89 (0.6)0.83 (0.5)0.83 (0.4)0.72 (0.4)0.58 (0.5)11 (15)3/15
OQNLP pal 1.1 (0.5)2.5 (0.7)5.9 (16)10 (20)24 (49)∞∞3e50/15
P-DCN tran 7015 (9607)4.1e4 (6e4)1.0e5 (2e5)8.9e4 (1e5)6.8e4 (7e4)∞∞2e70/15
P-zero tran 6995 (9598)1.6e4 (2e4)4.7e4 (4e4)8.9e4 (9e4)∞∞∞2e70/15
PRCGA sawyerr 214 (226)1201 (1316)2841 (3455)∞∞∞∞2e60/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞20000/15
U-DCN tran 3163 (9622)1.2e4 (1e4)4.8e4 (7e4)∞∞∞∞2e70/15
U-zero tran 7487 (1e4)1.1e4 (1e4)1.0e5 (1e5)∞∞∞∞2e70/15
fmincon pal 0.81 (0.5)0.91 (0.5)0.84 (0.5)0.84 (0.4)0.85 (0.3)0.75 (0.8)14 (16)4/15
fminunc pal 0.61 (0.2)↑10.75 (0.5)0.80 (0.5)0.85 (0.4)0.94 (0.4)4.4 (4)61 (95)0/15
lmm-CMA-ES auger 1.1 (0.1)1.1 (0.7)1.3 (0.9)1.4 (1.0)1.7 (1)0.92 (0.7)2.2 (3)4/15
simplex pal ∞∞∞∞∞∞∞4e50/15
tany liao 2.4 (0.2)2.7 (2)3.7 (2)4.0 (3)3.9 (1)1.7 (0.5)1.8 (0.4)15/15
texp liao 2.3 (0.2)3.0 (3)3.4 (3)4.0 (2)3.8 (1)1.7 (0.5)1.8 (0.5)15/15

Δ fopt
f13, 20-D		 1e1
652		 1e0
2021		 1e-1
2751		 1e-2
3507		 1e-3
18749		 1e-5
24455		 1e-7
30201		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 5.0 (5)2.7 (2)4.4 (2)3.7 (2)0.89 (0.3)1.1 (0.6)1.1 (0.6)15/15
BIPOP-saACM-k loshchilov 1.1 (0.7)0.74 (0.5)0.85 (0.4)0.84 (0.6)0.17 (0.1)↑00.21 (0.1)↑00.22 (0.1)↑015/15
CGA-grid100 holtschulte 5138 (5367)∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 1142 (1606)7248 (1e4)∞∞∞∞∞1e60/15
CGA-ring100 holtschulte 275 (67)662 (427)∞∞∞∞∞1e60/15
CGA-ring16 holtschulte 960 (936)1613 (2112)∞∞∞∞∞1e60/15
CMAES Hutter hutter 2.9 (2)∞∞∞∞∞∞20060/15
DE Pal pal 50 (9)103 (112)2143 (2181)∞∞∞∞4e50/15
GA-100 holtschulte 518 (1186)1266 (1256)∞∞∞∞∞1e60/15
HCMA loshchilov 1.3 (0.1)0.90 (0.5)0.99 (0.7)1.1 (0.4)0.25 (0.1)↑00.27 (0.1)↑00.24 (0.1)↑015/15
HILL holtschulte 1220 (1546)7253 (6556)∞∞∞∞∞1e60/15
HMLSL pal 1.1 (0.2)0.82 (0.2)↑113 (4)61 (120)43 (85)∞∞4e50/15
IP-10DDr liao 2.4 (0.3)4.3 (5)6.4 (4)7.8 (4)1.7 (1)2.2 (0.9)2.3 (0.9)15/15
IP-500 liao 2.4 (0.3)4.3 (5)6.4 (4)7.8 (4)1.7 (1)2.2 (0.9)2.3 (0.9)15/15
IPOP400D auger 4.2 (5)3.5 (2)6.6 (8)18 (17)∞∞∞88130/15
IP liao 2.4 (0.3)4.3 (5)6.4 (4)7.8 (4)1.7 (1)2.2 (0.9)2.3 (0.9)15/15
MEMPSODE voglis 8.2 (2)4.7 (2)4.2 (2)4.3 (0.4)2.2 (1)23 (21)367 (311)1/15
MLSL pal 1.1 (0.2)0.68 (0.2)↑10.97 (1.0)1.6 (1)0.59 (0.7)∞∞4e50/15
OQNLP pal 1.1 (0.0)0.50 (0.0)↑00.48 (0.0)↑06.8 (5)22 (31)∞∞2e50/15
P-DCN tran 1.5e4 (2e4)1.5e4 (3e4)1.0e5 (1e5)∞∞∞∞2e70/15
P-zero tran 2.7e4 (5e4)4.0e4 (4e4)4.7e4 (6e4)8.0e4 (9e4)1.6e4 (2e4)∞∞2e70/15
PRCGA sawyerr 847 (1550)2814 (2962)4951 (5977)∞∞∞∞2e60/15
SMAC-BBOB hutter 21 (24)∞∞∞∞∞∞20000/15
U-DCN tran 2.7e4 (3e4)4.0e4 (4e4)1.0e5 (1e5)∞∞∞∞2e70/15
U-zero tran 5050 (2e4)1.6e4 (2e4)1.0e5 (1e5)∞∞∞∞2e70/15
fmincon pal 1.1 (0.2)0.58 (0.2)↑10.79 (0.6)1.3 (1)0.55 (0.7)∞∞4e50/15
fminunc pal 1.4 (0.2)0.96 (0.1)0.97 (0.0)0.98 (0.1)20 (27)∞∞4e50/15
lmm-CMA-ES auger 2.0 (0.2)1.0 (0.2)0.99 (0.2)0.94 (0.1)0.22 (0.0)↑00.21 (0.0)↑00.21 (0.0)↑015/15
simplex pal ∞∞∞∞∞∞∞4e50/15
tany liao 4.3 (6)4.8 (3)6.7 (6)7.7 (6)1.7 (1)2.0 (1)2.5 (1)15/15
texp liao 3.8 (4)4.3 (4)6.9 (6)7.3 (5)1.7 (0.7)2.0 (0.8)2.2 (0.3)15/15

Δ fopt
f14, 20-D		 1e1
75		 1e0
239		 1e-1
304		 1e-2
451		 1e-3
932		 1e-5
1648		 1e-7
15661		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 5.4 (1)3.3 (0.8)3.9 (0.7)4.2 (0.4)3.3 (0.4)3.9 (0.4)0.68 (0.0)↑015/15
BIPOP-saACM-k loshchilov 3.1 (0.7)1.8 (0.3)2.1 (0.5)2.1 (0.3)1.4 (0.2)1.3 (0.1)0.19 (0.0)↑015/15
CGA-grid100 holtschulte 100 (46)112 (21)258 (72)3.2e4 (5e4)∞∞∞1e60/15
CGA-grid16 holtschulte 22 (10)20 (4)43 (8)959 (917)∞∞∞1e60/15
CGA-ring100 holtschulte 50 (11)62 (6)122 (16)526 (230)∞∞∞1e60/15
CGA-ring16 holtschulte 11 (5)12 (2)23 (5)250 (209)∞∞∞1e60/15
CMAES Hutter hutter 3.8 (1)2.8 (0.5)3.6 (0.5)3.9 (0.4)∞∞∞20060/15
DE Pal pal 22 (7)29 (2)42 (4)85 (18)∞∞∞4e50/15
GA-100 holtschulte 19 (8)24 (6)47 (11)528 (350)∞∞∞1e60/15
HCMA loshchilov 1.3 (0.3)2.7 (1)2.9 (0.3)2.8 (0.2)1.7 (0.1)1.5 (0.1)0.21 (0.0)↑015/15
HILL holtschulte 3.5 (1)3.6 (0.9)10 (3)322 (253)∞∞∞1e60/15
HMLSL pal 0.74 (0.3)0.49 (0.1)↑00.65 (0.1)↑00.88 (0.1)0.65 (0.1)↑00.67 (0.1)↑0∞4e50/15
IP-10DDr liao 3.8 (0.7)2.7 (0.5)3.4 (0.4)4.2 (0.3)4.2 (0.4)6.3 (0.4)1.2 (0.1)15/15
IP-500 liao 3.8 (0.7)2.7 (0.5)3.4 (0.4)4.2 (0.3)4.2 (0.4)6.3 (0.4)1.2 (0.1)15/15
IPOP400D auger 2.5 (1)2.2 (0.4)3.1 (0.3)3.9 (0.4)3.9 (0.3)∞∞88110/15
IP liao 3.8 (0.7)2.7 (0.5)3.4 (0.4)4.2 (0.3)4.2 (0.4)6.3 (0.4)1.2 (0.1)15/15
MEMPSODE voglis 10 (14)11 (6)11 (6)10 (3)5.9 (1)4.3 (0.7)∞1e70/15
MLSL pal 0.74 (0.3)0.49 (0.1)↑00.65 (0.1)↑00.88 (0.1)0.65 (0.1)↑00.67 (0.1)↑0∞4e50/15
OQNLP pal 1.1 (0.0)0.62 (0.1)↑00.71 (0.1)↑00.76 (0.1)★↑00.52 (0.1)★3↑0∞∞7e40/15
P-DCN tran 22 (8)15 (3)14 (2)37 (20)1150 (358)∞∞2e70/15
P-zero tran 25 (9)15 (4)14 (3)21 (5)3204 (2946)∞∞2e70/15
PRCGA sawyerr 12 (5)16 (4)23 (6)126 (102)2132 (1878)∞∞2e60/15
SMAC-BBOB hutter 19 (26)∞∞∞∞∞∞20000/15
U-DCN tran 6.6 (3)15 (3)54 (15)470 (191)2815 (1042)∞∞2e70/15
U-zero tran 4.0 (2)6.2 (2)22 (7)728 (536)∞∞∞2e70/15
fmincon pal 0.74 (0.3)0.49 (0.1)↑00.65 (0.1)↑00.88 (0.1)0.65 (0.1)↑00.68 (0.1)↑0∞4e50/15
fminunc pal 1.0 (0.3)0.98 (0.4)1.2 (0.4)1.2 (0.3)0.86 (0.1)↑10.87 (0.1)↑1∞4e50/15
lmm-CMA-ES auger 3.0 (1)2.2 (0.4)2.8 (0.4)3.0 (0.3)2.1 (0.1)2.2 (0.1)0.35 (0.0)↑015/15
simplex pal 37 (6)8121 (8315)∞∞∞∞∞4e50/15
tany liao 3.6 (1)3.0 (0.5)3.8 (0.4)4.6 (0.5)4.5 (0.5)6.4 (0.5)1.2 (0.1)15/15
texp liao 1.6 (0.8)2.3 (0.3)3.2 (0.4)4.1 (0.3)4.1 (0.4)5.8 (0.4)1.1 (0.1)15/15

Δ fopt
f15, 20-D		 1e1
30378		 1e0
1.5e5		 1e-1
3.1e5		 1e-2
3.2e5		 1e-3
3.2e5		 1e-5
4.5e5		 1e-7
4.6e5		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 0.90 (0.8)1.5 (0.6)1.0 (0.6)1.0 (0.6)1.0 (0.6)0.76 (0.4)0.76 (0.4)15/15
BIPOP-saACM-k loshchilov 0.62 (0.4)1.8 (0.4)0.96 (0.5)0.96 (0.5)0.97 (0.5)0.71 (0.3)0.73 (0.3)15/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞1e60/15
CGA-ring100 holtschulte ∞∞∞∞∞∞∞1e60/15
CGA-ring16 holtschulte ∞∞∞∞∞∞∞1e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞20060/15
DE Pal pal ∞∞∞∞∞∞∞4e50/15
GA-100 holtschulte ∞∞∞∞∞∞∞1e60/15
HCMA loshchilov 1.0 (2)1.5 (0.8)0.90 (0.7)0.90 (0.7)0.90 (0.7)0.66 (0.5)0.66 (0.5)15/15
HILL holtschulte ∞∞∞∞∞∞∞1e60/15
HMLSL pal ∞∞∞∞∞∞∞4e50/15
IP-10DDr liao 1.1 (0.7)0.99 (0.5)0.70 (0.2)0.71 (0.2)0.71 (0.2)0.53 (0.2)↑00.54 (0.2)↑015/15
IP-500 liao 1.1 (0.7)0.99 (0.5)0.71 (0.2)↑10.71 (0.2)↑10.72 (0.2)↑10.53 (0.1)↑00.54 (0.1)↑015/15
IPOP400D auger ∞∞∞∞∞∞∞88110/15
IP liao 1.1 (0.7)0.99 (0.5)0.70 (0.2)0.71 (0.2)0.71 (0.2)0.53 (0.2)↑00.54 (0.2)↑015/15
MEMPSODE voglis 38 (23)∞∞∞∞∞∞1e70/15
MLSL pal ∞∞∞∞∞∞∞4e50/15
OQNLP pal ∞∞∞∞∞∞∞3e50/15
P-DCN tran ∞∞∞∞∞∞∞2e70/15
P-zero tran ∞∞∞∞∞∞∞2e70/15
PRCGA sawyerr 925 (1136)∞∞∞∞∞∞2e60/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞20000/15
U-DCN tran ∞∞∞∞∞∞∞2e70/15
U-zero tran ∞∞∞∞∞∞∞2e70/15
fmincon pal ∞∞∞∞∞∞∞4e50/15
fminunc pal ∞∞∞∞∞∞∞4e50/15
lmm-CMA-ES auger 4.3 (7)∞∞∞∞∞∞88070/15
simplex pal ∞∞∞∞∞∞∞4e50/15
tany liao 0.88 (0.5)1.0 (0.3)0.77 (0.2)↑10.78 (0.2)↑10.78 (0.2)↑10.58 (0.1)↑00.59 (0.1)↑015/15
texp liao 0.69 (0.4)0.75 (0.4)0.52 (0.2)↑00.53 (0.2)↑00.54 (0.2)↑00.41 (0.2)↑00.42 (0.2)↑015/15

Δ fopt
f16, 20-D		 1e1
1384		 1e0
27265		 1e-1
77015		 1e-2
1.4e5		 1e-3
1.9e5		 1e-5
2.0e5		 1e-7
2.2e5		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.3 (0.9)0.67 (0.6)1.0 (1.0)1.1 (0.7)1.1 (1)1.3 (1)1.2 (0.9)15/15
BIPOP-saACM-k loshchilov 1.3 (0.3)0.58 (0.3)↑10.46 (0.2)↑00.44 (0.3)↑00.41 (0.2)↑00.61 (0.5)1.0 (0.6)15/15
CGA-grid100 holtschulte 294 (378)∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 276 (364)∞∞∞∞∞∞1e60/15
CGA-ring100 holtschulte 16 (6)∞∞∞∞∞∞1e60/15
CGA-ring16 holtschulte 106 (298)∞∞∞∞∞∞1e60/15
CMAES Hutter hutter 2.1 (2)∞∞∞∞∞∞20060/15
DE Pal pal ∞∞∞∞∞∞∞4e50/15
GA-100 holtschulte 59 (2)∞∞∞∞∞∞1e60/15
HCMA loshchilov 1.8 (0.8)0.66 (0.5)0.52 (0.2)↑00.53 (0.4)↑10.49 (0.3)↑10.69 (0.5)1.1 (1)15/15
HILL holtschulte 322 (503)∞∞∞∞∞∞1e60/15
HMLSL pal 478 (564)∞∞∞∞∞∞4e50/15
IP-10DDr liao 1.2 (0.3)0.27 (0.3)↑00.42 (0.3)↑00.57 (0.4)0.78 (0.6)0.85 (0.6)0.79 (0.5)15/15
IP-500 liao 1.2 (0.3)0.27 (0.3)↑00.42 (0.3)↑00.57 (0.4)0.78 (0.6)0.83 (0.6)0.77 (0.5)15/15
IPOP400D auger 1.6 (0.5)∞∞∞∞∞∞88110/15
IP liao 1.2 (0.3)0.27 (0.3)↑00.42 (0.3)↑00.57 (0.4)0.78 (0.6)0.85 (0.6)0.79 (0.5)15/15
MEMPSODE voglis 8.5 (9)869 (732)∞∞∞∞∞1e70/15
MLSL pal 1274 (1293)∞∞∞∞∞∞4e50/15
OQNLP pal 642 (573)∞∞∞∞∞∞2e50/15
P-DCN tran 2687 (7225)∞∞∞∞∞∞2e70/15
P-zero tran 2.3e4 (3e4)∞∞∞∞∞∞2e70/15
PRCGA sawyerr 4.8 (2)∞∞∞∞∞∞2e60/15
SMAC-BBOB hutter 0.76 (0.5)∞∞∞∞∞∞20000/15
U-DCN tran 2758 (7230)∞∞∞∞∞∞2e70/15
U-zero tran 7414 (8799)∞∞∞∞∞∞2e70/15
fmincon pal 675 (709)∞∞∞∞∞∞4e50/15
fminunc pal ∞∞∞∞∞∞∞4e50/15
lmm-CMA-ES auger 1.2 (0.4)0.75 (1)∞∞∞∞∞88090/15
simplex pal 130 (121)∞∞∞∞∞∞4e50/15
tany liao 1.3 (0.4)0.29 (0.3)↑00.46 (0.1)↑00.49 (0.3)↑00.69 (0.5)0.73 (0.5)0.70 (0.4)15/15
texp liao 0.86 (0.3)0.16 (0.2)↑00.37 (0.2)↑00.38 (0.2)↑00.34 (0.2)↑10.47 (0.5)0.45 (0.4)15/15

Δ fopt
f17, 20-D		 1e1
63		 1e0
1030		 1e-1
4005		 1e-2
12242		 1e-3
30677		 1e-5
56288		 1e-7
80472		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 4.2 (2)2.0 (0.3)1.00 (2)1.1 (0.6)0.94 (0.3)1.0 (0.5)1.1 (0.4)15/15
BIPOP-saACM-k loshchilov 2.8 (1)3.3 (4)3.8 (3)2.2 (0.8)1.5 (0.6)1.7 (0.5)1.6 (0.5)15/15
CGA-grid100 holtschulte 25 (28)∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 21 (21)∞∞∞∞∞∞1e60/15
CGA-ring100 holtschulte 12 (10)1587 (2213)∞∞∞∞∞1e60/15
CGA-ring16 holtschulte 4.6 (2)∞∞∞∞∞∞1e60/15
CMAES Hutter hutter 1.8 (1)1.0 (0.5)0.91 (0.8)∞∞∞∞20060/15
DE Pal pal 8.2 (4)17 (3)14 (2)10 (5)10 (10)105 (108)∞4e50/15
GA-100 holtschulte 7.4 (3)8.9 (3)∞∞∞∞∞1e60/15
HCMA loshchilov 2.7 (4)2.8 (1)3.1 (3)2.1 (0.9)1.6 (0.9)1.8 (0.7)1.8 (0.8)15/15
HILL holtschulte 6895 (7954)∞∞∞∞∞∞1e60/15
HMLSL pal 24 (41)21 (7)18 (4)16 (9)15 (14)∞∞4e50/15
IP-10DDr liao 1.9 (0.8)0.78 (0.1)↑00.67 (0.1)↑11.1 (0.6)0.93 (0.4)1.1 (0.4)1.1 (0.5)15/15
IP-500 liao 1.9 (0.8)0.78 (0.1)↑00.67 (0.1)↑11.1 (0.6)0.93 (0.4)1.1 (0.4)1.1 (0.5)15/15
IPOP400D auger 0.79 (0.7)0.80 (0.2)0.80 (1)1.7 (1)∞∞∞88110/15
IP liao 1.9 (0.8)0.78 (0.1)↑00.67 (0.1)↑11.1 (0.6)0.93 (0.4)1.1 (0.4)1.1 (0.5)15/15
MEMPSODE voglis 39 (22)194 (137)2971 (4991)3341 (3269)∞∞∞1e70/15
MLSL pal 22 (30)∞∞∞∞∞∞4e50/15
OQNLP pal 100 (33)∞∞∞∞∞∞3e50/15
P-DCN tran 2.6 (2)∞∞∞∞∞∞2e70/15
P-zero tran 2.3e4 (7)∞∞∞∞∞∞2e70/15
PRCGA sawyerr 2.6 (2)490 (971)1170 (1778)∞∞∞∞2e60/15
SMAC-BBOB hutter 0.92 (1)∞∞∞∞∞∞20000/15
U-DCN tran 1.9 (1)∞∞∞∞∞∞2e70/15
U-zero tran 1.7 (0.7)∞∞∞∞∞∞2e70/15
fmincon pal 21 (28)∞∞∞∞∞∞4e50/15
fminunc pal 19 (38)∞∞∞∞∞∞4e50/15
lmm-CMA-ES auger 1 (1)1.4 (0.6)0.80 (1)1.7 (1)4.1 (6)∞∞88050/15
simplex pal 25 (15)∞∞∞∞∞∞4e50/15
tany liao 1.7 (0.8)0.96 (0.2)0.75 (0.2)↑10.86 (0.6)0.64 (0.5)0.67 (0.2)↑10.68 (0.2)↑015/15
texp liao 1.2 (0.9)0.96 (0.2)0.99 (2)0.99 (0.6)0.82 (0.5)0.82 (0.3)0.73 (0.2)↑015/15

Δ fopt
f18, 20-D		 1e1
621		 1e0
3972		 1e-1
19561		 1e-2
28555		 1e-3
67569		 1e-5
1.3e5		 1e-7
1.5e5		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.2 (0.2)1.0 (2)1.2 (0.7)1.4 (0.8)1.2 (0.6)1.2 (0.6)1.3 (0.6)15/15
BIPOP-saACM-k loshchilov 1.1 (0.5)3.2 (3)1.9 (0.6)2.3 (0.6)1.4 (0.8)1.4 (0.7)1.6 (0.8)15/15
CGA-grid100 holtschulte 1.1e4 (1e4)∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 2.4e4 (2e4)∞∞∞∞∞∞1e60/15
CGA-ring100 holtschulte 54 (49)∞∞∞∞∞∞1e60/15
CGA-ring16 holtschulte 814 (1209)∞∞∞∞∞∞1e60/15
CMAES Hutter hutter 0.93 (0.3)0.75 (0.5)∞∞∞∞∞20060/15
DE Pal pal 13 (5)19 (5)19 (13)∞∞∞∞4e50/15
GA-100 holtschulte 80 (2)∞∞∞∞∞∞1e60/15
HCMA loshchilov 1.4 (0.4)2.7 (3)1.3 (0.5)1.6 (0.8)1.1 (0.6)1.1 (0.6)1.2 (0.6)15/15
HILL holtschulte ∞∞∞∞∞∞∞1e60/15
HMLSL pal 18 (4)22 (6)20 (22)∞∞∞∞4e50/15
IP-10DDr liao 0.87 (0.2)0.46 (0.2)↑00.66 (0.4)↑01.4 (0.9)1.2 (0.8)0.96 (0.4)1.0 (0.4)15/15
IP-500 liao 0.87 (0.2)0.46 (0.2)↑00.66 (0.4)↑01.4 (0.9)1.2 (0.8)0.96 (0.4)1.0 (0.4)15/15
IPOP400D auger 0.74 (0.3)0.67 (0.3)↑13.1 (3)∞∞∞∞88110/15
IP liao 0.87 (0.2)0.46 (0.2)↑00.66 (0.4)↑01.4 (0.9)1.2 (0.8)0.96 (0.4)1.0 (0.4)15/15
MEMPSODE voglis 81 (61)659 (1268)2243 (2383)4974 (5431)∞∞∞1e70/15
MLSL pal ∞∞∞∞∞∞∞4e50/15
OQNLP pal 1713 (2817)∞∞∞∞∞∞3e50/15
P-DCN tran ∞∞∞∞∞∞∞2e70/15
P-zero tran ∞∞∞∞∞∞∞2e70/15
PRCGA sawyerr 3.9 (1)515 (513)∞∞∞∞∞2e60/15
SMAC-BBOB hutter 22 (23)∞∞∞∞∞∞20000/15
U-DCN tran 1.7e4 (2e4)∞∞∞∞∞∞2e70/15
U-zero tran 7.5e4 (1e5)∞∞∞∞∞∞2e70/15
fmincon pal ∞∞∞∞∞∞∞4e50/15
fminunc pal ∞∞∞∞∞∞∞4e50/15
lmm-CMA-ES auger 0.76 (0.3)1.5 (2)6.4 (8)∞∞∞∞88040/15
simplex pal ∞∞∞∞∞∞∞4e50/15
tany liao 0.85 (0.2)0.45 (0.1)↑00.48 (0.4)↑11.2 (0.8)0.92 (0.3)0.87 (0.2)0.86 (0.2)15/15
texp liao 0.97 (0.2)1.3 (2)0.85 (0.9)1.3 (0.5)0.84 (0.0)↑10.80 (0.4)0.80 (0.4)15/15

Δ fopt
f19, 20-D		 1e1
1		 1e0
1		 1e-1
3.4e5		 1e-2
4.7e6		 1e-3
6.2e6		 1e-5
6.7e6		 1e-7
6.7e6		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 259 (90)2.7e4 (2e4)1.2 (1)0.94 (0.7)0.86 (0.3)0.94 (0.3)0.94 (0.3)15/15
BIPOP-saACM-k loshchilov 148 (44)3.3e4 (3e4)0.72 (0.8)0.82 (0.5)0.76 (0.2)0.77 (0.3)0.77 (0.3)15/15
CGA-grid100 holtschulte 4258 (2178)∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 1200 (899)∞∞∞∞∞∞1e60/15
CGA-ring100 holtschulte 2654 (824)∞∞∞∞∞∞1e60/15
CGA-ring16 holtschulte 596 (184)∞∞∞∞∞∞1e60/15
CMAES Hutter hutter 180 (58)∞∞∞∞∞∞20060/15
DE Pal pal 1337 (554)∞∞∞∞∞∞4e50/15
GA-100 holtschulte 1023 (368)∞∞∞∞∞∞1e60/15
HCMA loshchilov 49 (6)3.5e4 (3e4)0.72 (0.7)1.0 (0.6)0.95 (0.4)0.96 (0.3)0.96 (0.3)15/15
HILL holtschulte 1100 (837)∞∞∞∞∞∞1e60/15
HMLSL pal 1 (0)1 (0)7.3e-4 (0)↑0∞∞∞∞4e50/15
IP-10DDr liao 178 (144)5.2e5 (2e5)4.0 (3)0.97 (0.9)0.84 (0.6)1.0 (0.9)1.0 (0.9)15/15
IP-500 liao 178 (144)5.2e5 (2e5)4.0 (3)11 (21)∞∞∞2e70/15
IPOP400D auger 1 (0)1 (0)∞∞∞∞∞88110/15
IP liao 178 (144)5.2e5 (2e5)4.0 (3)0.84 (0.4)0.67 (0.3)↑10.66 (0.3)↑10.66 (0.3)↑115/15
MEMPSODE voglis 4084 (4842)1.8e5 (1e5)134 (106)∞∞∞∞1e70/15
MLSL pal 1 (0)1 (0)7.3e-4 (0)↑0∞∞∞∞4e50/15
OQNLP pal 1 (0)1 (0)5.4e-4 (1e-6)★4↑0∞∞∞∞1e50/15
P-DCN tran 4.3e6 (1e7)∞∞∞∞∞∞2e70/15
P-zero tran 3.2e7 (4e7)∞∞∞∞∞∞2e70/15
PRCGA sawyerr 199 (20)931 (428)0.35 (0.2)↑0∞∞∞∞2e60/15
SMAC-BBOB hutter 1 (0)1 (0)∞∞∞∞∞20000/15
U-DCN tran 397 (212)2.9e8 (3e8)∞∞∞∞∞2e70/15
U-zero tran 317 (200)∞∞∞∞∞∞2e70/15
fmincon pal 1 (0)1 (0)7.3e-4 (0)↑0∞∞∞∞4e50/15
fminunc pal 1 (0)1 (0)6.5e-4 (3e-5)↑0∞∞∞∞4e50/15
lmm-CMA-ES auger 1 (0)1 (0)∞∞∞∞∞88050/15
simplex pal 1 (0)1 (0)0.18 (0.6)∞∞∞∞4e50/15
tany liao 130 (116)3.6e4 (3e4)3.7 (4)0.79 (0.4)0.69 (0.4)0.70 (0.4)0.70 (0.4)15/15
texp liao 3.3 (2)4.5e4 (5e4)2.0 (2)0.63 (0.5)0.67 (0.6)0.80 (0.8)0.80 (0.8)15/15

Δ fopt
f20, 20-D		 1e1
82		 1e0
46150		 1e-1
3.1e6		 1e-2
5.5e6		 1e-3
5.5e6		 1e-5
5.6e6		 1e-7
5.6e6		 #succ
14/15
BIPOP-aCMA-STEP loshchilov 6.3 (1)4.7 (2)1.0 (0.5)0.95 (0.3)0.95 (0.3)0.95 (0.3)0.95 (0.3)15/15
BIPOP-saACM-k loshchilov 2.8 (0.5)2.4 (2)1.1 (0.6)0.93 (0.3)0.93 (0.3)0.93 (0.3)0.94 (0.3)15/15
CGA-grid100 holtschulte 153 (61)3.2 (2)∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 27 (7)0.50 (0.2)↑0∞∞∞∞∞1e60/15
CGA-ring100 holtschulte 74 (14)0.65 (0.1)↑00.68 (0.8)0.53 (0.5)0.54 (0.6)1.3 (2)∞1e60/15
CGA-ring16 holtschulte 17 (3)0.17 (0.1)↑0∞∞∞∞∞1e60/15
CMAES Hutter hutter 4.7 (2)∞∞∞∞∞∞20060/15
DE Pal pal 36 (4)2.8 (1)∞∞∞∞∞4e50/15
GA-100 holtschulte 35 (7)0.39 (0.1)↑0∞∞∞∞∞1e60/15
HCMA loshchilov 0.77 (0.4)1.9 (1)1.2 (0.6)0.88 (0.3)0.88 (0.3)0.88 (0.3)0.88 (0.3)15/15
HILL holtschulte 5.6 (2)0.13 (0.1)↑04.6 (5)∞∞∞∞1e60/15
HMLSL pal 1.4 (0)1.6 (0.6)1.9 (3)∞∞∞∞4e50/15
IP-10DDr liao 5.4 (1)5.6 (3)0.91 (0.6)1.5 (1)1.5 (1)1.5 (1)1.5 (1)15/15
IP-500 liao 5.4 (1)5.8 (3)∞∞∞∞∞2e70/15
IPOP400D auger 3.8 (1)∞∞∞∞∞∞88010/15
IP liao 5.4 (1)5.6 (3)0.86 (0.4)0.66 (0.2)↑00.66 (0.2)↑00.66 (0.2)↑00.67 (0.2)↑015/15
MEMPSODE voglis 26 (15)1.1 (0.8)6.7 (10)27 (39)27 (38)27 (43)27 (21)1/15
MLSL pal 1.4 (0)11 (13)∞∞∞∞∞4e50/15
OQNLP pal 0.89 (0)↑023 (25)∞∞∞∞∞2e50/15
P-DCN tran 22 (5)11 (14)∞∞∞∞∞2e70/15
P-zero tran 22 (5)77 (145)∞∞∞∞∞2e70/15
PRCGA sawyerr 11 (5)10 (15)∞∞∞∞∞2e60/15
SMAC-BBOB hutter 1.0 (0.3)∞∞∞∞∞∞20000/15
U-DCN tran 16 (6)1.4 (0.6)93 (98)52 (58)52 (51)51 (36)51 (53)1/15
U-zero tran 9.4 (4)0.32 (0.3)↑1∞∞∞∞∞2e70/15
fmincon pal 1.4 (0)10 (10)∞∞∞∞∞4e50/15
fminunc pal 0.78 (0)↑02.0 (2)∞∞∞∞∞4e50/15
lmm-CMA-ES auger 3.6 (0.6)∞∞∞∞∞∞88200/15
simplex pal 88 (62)∞∞∞∞∞∞4e50/15
tany liao 5.5 (0.9)8.3 (4)0.81 (0.4)1.3 (2)1.3 (2)1.3 (2)1.3 (2)14/15
texp liao 2.6 (0.9)13 (7)48 (53)∞∞∞∞2e70/15

Δ fopt
f21, 20-D		 1e1
561		 1e0
6541		 1e-1
14103		 1e-2
14318		 1e-3
14643		 1e-5
15567		 1e-7
17589		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 4.8 (5)80 (95)53 (109)52 (108)51 (105)48 (99)43 (88)15/15
BIPOP-saACM-k loshchilov 2.1 (2)3.7 (5)20 (6)20 (6)19 (6)19 (6)17 (5)15/15
CGA-grid100 holtschulte 1276 (2240)∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 655 (895)612 (994)284 (319)281 (454)277 (342)271 (194)263 (286)0/15
CGA-ring100 holtschulte 14 (3)30 (77)29 (72)31 (36)34 (52)42 (67)54 (35)8/15
CGA-ring16 holtschulte 279 (891)230 (420)284 (337)280 (315)275 (427)262 (322)239 (270)3/15
CMAES Hutter hutter 2.5 (4)2.1 (2)0.98 (1)0.98 (1)0.97 (2)0.94 (1)0.85 (1)1/15
DE Pal pal 62 (7)94 (92)58 (85)57 (91)56 (116)54 (116)48 (68)5/15
GA-100 holtschulte 7.1 (2)612 (650)285 (585)281 (244)276 (393)265 (321)248 (212)3/15
HCMA loshchilov 0.76 (2)3.5 (5)49 (50)48 (49)47 (48)44 (45)39 (40)15/15
HILL holtschulte 2038 (4456)∞∞∞∞∞∞1e60/15
HMLSL pal 4.2 (9)11 (31)11 (15)11 (14)11 (15)10 (14)9.3 (12)7/15
IP-10DDr liao 6.3 (11)147 (189)430 (665)424 (655)414 (641)390 (603)345 (533)14/15
IP-500 liao 6.3 (11)856 (1529)2850 (2497)2807 (3507)2745 (3429)2582 (3212)2285 (2558)5/15
IPOP400D auger 5.8 (8)5.7 (4)4.3 (5)4.2 (4)4.2 (5)4.0 (3)3.5 (5)2/15
IP liao 6.3 (11)924 (1585)2859 (4254)2817 (3491)2755 (5121)2592 (3533)2295 (2843)5/15
MEMPSODE voglis 4.9 (7)20 (33)22 (25)21 (24)21 (24)20 (22)19 (20)15/15
MLSL pal 1.3 (2)1.0 (0.9)1.00 (2)0.99 (2)0.98 (2)0.94 (2)0.91 (1)8/15
OQNLP pal 0.55 (0.8)1.8 (3)2.0 (3)1.9 (3)1.9 (3)2.0 (2)∞5e40/15
P-DCN tran 2.4e4 (4e4)4.3e4 (5e4)2.0e4 (2e4)2.0e4 (2e4)1.9e4 (2e4)1.8e4 (2e4)1.6e4 (2e4)1/15
P-zero tran 5488 (2e4)2.0e4 (3e4)9218 (1e4)9080 (1e4)8878 (1e4)8351 (8030)7392 (1e4)2/15
PRCGA sawyerr 1215 (1780)3802 (3479)∞∞∞∞∞2e60/15
SMAC-BBOB hutter 3.5 (4)4.3 (5)∞∞∞∞∞20000/15
U-DCN tran 8916 (2e4)2.0e4 (3e4)9219 (1e4)9081 (1e4)8882 (9902)8362 (8993)7414 (7958)2/15
U-zero tran 1.8e4 (4e4)2.0e4 (3e4)9218 (8509)9080 (1e4)8880 (8195)8356 (9957)7407 (9665)2/15
fmincon pal 1.00 (2)0.62 (0.8)0.46 (0.6)0.46 (0.6)0.46 (0.6)0.46 (0.5)0.48 (0.5)9/15
fminunc pal 1.3 (2)0.82 (1)1.0 (0.6)1.0 (0.6)1.0 (0.6)1.0 (0.6)10 (18)4/15
lmm-CMA-ES auger 1.7 (2)1.8 (2)1.4 (2)1.4 (1)1.4 (2)1.3 (2)1.2 (1)5/15
simplex pal 11 (8)90 (78)∞∞∞∞∞4e50/15
tany liao 2.5 (5)51 (70)479 (752)471 (951)461 (696)434 (851)384 (744)12/15
texp liao 2.9 (4)47 (68)70 (94)69 (93)67 (91)64 (85)56 (76)15/15

Δ fopt
f22, 20-D		 1e1
467		 1e0
5580		 1e-1
23491		 1e-2
24163		 1e-3
24948		 1e-5
26847		 1e-7
1.3e5		 #succ
12/15
BIPOP-aCMA-STEP loshchilov 63 (74)220 (507)288 (396)280 (385)272 (373)252 (347)50 (69)14/15
BIPOP-saACM-k loshchilov 7.6 (10)221 (549)311 (479)303 (415)293 (430)273 (421)54 (77)13/15
CGA-grid100 holtschulte 3245 (3225)1170 (2195)∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 2456 (3754)1171 (1160)622 (702)∞∞∞∞1e60/15
CGA-ring100 holtschulte 17 (6)125 (180)∞∞∞∞∞1e60/15
CGA-ring16 holtschulte 333 (1071)494 (627)∞∞∞∞∞1e60/15
CMAES Hutter hutter 3.1 (3)2.5 (4)∞∞∞∞∞20060/15
DE Pal pal 584 (863)200 (323)∞∞∞∞∞4e50/15
GA-100 holtschulte 787 (1611)1166 (1523)∞∞∞∞∞1e60/15
HCMA loshchilov 11 (16)135 (194)486 (470)473 (940)458 (441)425 (386)85 (87)11/15
HILL holtschulte 780 (1071)1165 (1613)∞∞∞∞∞1e60/15
HMLSL pal 140 (428)64 (107)111 (106)108 (141)105 (148)97 (119)42 (47)1/15
IP-10DDr liao 96 (168)1871 (4482)∞∞∞∞∞2e70/15
IP-500 liao 525 (247)2405 (5376)∞∞∞∞∞2e70/15
IPOP400D auger 11 (15)10 (9)∞∞∞∞∞88010/15
IP liao 96 (168)2411 (3586)∞∞∞∞∞2e70/15
MEMPSODE voglis 29 (47)47 (93)279 (304)272 (231)263 (293)245 (329)75 (107)4/15
MLSL pal 3.2 (4)3.4 (4)4.3 (5)4.2 (5)4.1 (4)3.8 (4)0.82 (0.8)5/15
OQNLP pal 3.1 (4)5.4 (9)8.3 (8)8.1 (6)8.2 (9)27 (21)∞5e40/15
P-DCN tran 3.7e4 (7e4)2.3e4 (3e4)∞∞∞∞∞2e70/15
P-zero tran 2.9e4 (4e4)2.3e4 (3e4)∞∞∞∞∞2e70/15
PRCGA sawyerr 867 (1962)1121 (1222)∞∞∞∞∞2e60/15
SMAC-BBOB hutter 3.3 (4)∞∞∞∞∞∞20000/15
U-DCN tran 2.9e4 (4e4)∞∞∞∞∞∞2e70/15
U-zero tran 2.1e4 (4e4)∞∞∞∞∞∞2e70/15
fmincon pal 4.2 (3)3.1 (3)4.8 (6)4.7 (6)4.5 (6)4.3 (5)1.3 (1)5/15
fminunc pal 2.4 (3)3.2 (4)7.0 (13)6.8 (9)6.6 (8)6.2 (9)9.4 (9)1/15
lmm-CMA-ES auger 6.7 (11)4.7 (5)∞∞∞∞∞88110/15
simplex pal 64 (91)1073 (1078)∞∞∞∞∞4e50/15
tany liao 83 (23)1944 (2721)∞∞∞∞∞2e70/15
texp liao 62 (42)532 (830)502 (507)488 (625)473 (570)440 (527)88 (81)12/15

Δ fopt
f23, 20-D		 1e1
3.0		 1e0
1614		 1e-1
67457		 1e-2
3.7e5		 1e-3
4.9e5		 1e-5
8.1e5		 1e-7
8.4e5		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 2.4 (4)23 (26)0.69 (0.6)1.5 (2)2.3 (2)1.4 (1)1.5 (1)15/15
BIPOP-saACM-k loshchilov 3.4 (4)29 (36)0.74 (0.8)0.83 (1)2.7 (5)1.8 (3)1.9 (3)15/15
CGA-grid100 holtschulte 2.3 (2)2274 (2312)∞∞∞∞∞1e60/15
CGA-grid16 holtschulte 2.7 (3)459 (375)∞∞∞∞∞1e60/15
CGA-ring100 holtschulte 2.2 (3)274 (342)∞∞∞∞∞1e60/15
CGA-ring16 holtschulte 1.5 (2)264 (372)∞∞∞∞∞1e60/15
CMAES Hutter hutter 3.8 (4)∞∞∞∞∞∞20060/15
DE Pal pal 2.0 (1)∞∞∞∞∞∞4e50/15
GA-100 holtschulte 1.7 (2)1486 (1875)∞∞∞∞∞1e60/15
HCMA loshchilov 13 (10)23 (15)0.96 (0.7)1.0 (0.8)1.8 (2)1.1 (1)1.1 (1)15/15
HILL holtschulte 2.3 (1)1120 (1796)∞∞∞∞∞1e60/15
HMLSL pal 12 (15)6.4 (5)86 (92)∞∞∞∞4e50/15
IP-10DDr liao 1.8 (2)35 (39)5.3 (5)30 (29)71 (107)43 (36)41 (37)7/15
IP-500 liao 1.8 (2)35 (39)5.3 (5)29 (35)72 (82)44 (61)42 (47)7/15
IPOP400D auger 2.7 (3)81 (87)∞∞∞∞∞88010/15
IP liao 1.8 (2)35 (39)5.3 (5)40 (37)100 (146)60 (62)58 (78)5/15
MEMPSODE voglis 3.3 (4)25 (20)75 (60)∞∞∞∞1e70/15
MLSL pal 12 (15)3.4 (3)25 (32)∞∞∞∞4e50/15
OQNLP pal 57 (98)3.5 (4)∞∞∞∞∞2e50/15
P-DCN tran 2.2 (2)1083 (876)∞∞∞∞∞2e70/15
P-zero tran 2.3 (2)2304 (5643)∞∞∞∞∞2e70/15
PRCGA sawyerr 2.1 (2)2615 (1770)∞∞∞∞∞1e60/15
SMAC-BBOB hutter 1.8 (2)∞∞∞∞∞∞20000/15
U-DCN tran 2.3 (2)4711 (1e4)∞∞∞∞∞2e70/15
U-zero tran 2.6 (3)3936 (1e4)∞∞∞∞∞2e70/15
fmincon pal 11 (14)4.4 (5)90 (76)∞∞∞∞4e50/15
fminunc pal 19 (21)248 (241)∞∞∞∞∞4e50/15
lmm-CMA-ES auger 1.8 (2)∞∞∞∞∞∞88230/15
simplex pal 187 (242)1.9 (0.2)∞∞∞∞∞4e50/15
tany liao 1.8 (2)20 (23)3.0 (6)53 (47)55 (61)51 (64)49 (69)6/15
texp liao 1.4 (1)28 (36)28 (45)93 (84)182 (177)110 (127)106 (84)3/15

Δ fopt
f24, 20-D		 1e1
1.3e6		 1e0
7.5e6		 1e-1
5.2e7		 1e-2
5.2e7		 1e-3
5.2e7		 1e-5
5.2e7		 1e-7
5.2e7		 #succ
3/15
BIPOP-aCMA-STEP loshchilov 1.7 (2)0.90 (0.9)2.7 (3)2.7 (2)2.7 (3)2.7 (2)2.7 (3)2/15
BIPOP-saACM-k loshchilov 1.3 (1)0.93 (1)1.2 (2)1.2 (1)1.2 (1.0)1.2 (1)1.2 (0.9)4/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞1e60/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞1e60/15
CGA-ring100 holtschulte ∞∞∞∞∞∞∞1e60/15
CGA-ring16 holtschulte ∞∞∞∞∞∞∞1e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞20060/15
DE Pal pal ∞∞∞∞∞∞∞4e50/15
GA-100 holtschulte ∞∞∞∞∞∞∞1e60/15
HCMA loshchilov 0.88 (1)1.2 (1)5.7 (5)5.7 (7)5.7 (11)5.7 (5)5.7 (5)1/15
HILL holtschulte ∞∞∞∞∞∞∞1e60/15
HMLSL pal ∞∞∞∞∞∞∞4e50/15
IP-10DDr liao ∞∞∞∞∞∞∞2e70/15
IP-500 liao ∞∞∞∞∞∞∞2e70/15
IPOP400D auger ∞∞∞∞∞∞∞88110/15
IP liao ∞∞∞∞∞∞∞2e70/15
MEMPSODE voglis 31 (34)∞∞∞∞∞∞1e70/15
MLSL pal ∞∞∞∞∞∞∞4e50/15
OQNLP pal ∞∞∞∞∞∞∞3e50/15
P-DCN tran ∞∞∞∞∞∞∞2e70/15
P-zero tran ∞∞∞∞∞∞∞2e70/15
PRCGA sawyerr 21 (17)∞∞∞∞∞∞2e60/15
SMAC-BBOB hutter ∞∞∞∞∞∞∞20000/15
U-DCN tran ∞∞∞∞∞∞∞2e70/15
U-zero tran ∞∞∞∞∞∞∞2e70/15
fmincon pal ∞∞∞∞∞∞∞4e50/15
fminunc pal ∞∞∞∞∞∞∞4e50/15
lmm-CMA-ES auger ∞∞∞∞∞∞∞88170/15
simplex pal ∞∞∞∞∞∞∞4e50/15
tany liao 28 (22)∞∞∞∞∞∞2e70/15
texp liao 1.2 (1)0.68 (0.7)5.5 (6)5.5 (7)5.5 (8)5.5 (6)5.5 (8)1/15

Previous dimension | Dimension = 40 | First dimension

Δ fopt
f1, 40-D		 1e1
83		 1e0
83		 1e-1
83		 1e-2
83		 1e-3
83		 1e-5
83		 1e-7
83		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 4.5 (0)6.3 (0)7.4 (0)9.3 (0)11 (0)14 (0)17 (0)15/15
BIPOP-saACM-k loshchilov 3.1 (0.4)4.5 (0.4)5.4 (0.3)6.5 (0.4)7.8 (0.6)10 (0.6)12 (0.8)15/15
CGA-grid100 holtschulte 374 (55)923 (96)2326 (317)6547 (1157)1.9e4 (3250)∞∞2e60/15
CGA-grid16 holtschulte 60 (8)152 (17)412 (45)1146 (255)3334 (473)∞∞2e60/15
CGA-ring100 holtschulte 195 (13)456 (35)893 (69)1582 (116)2625 (203)1.1e4 (1295)∞2e60/15
CGA-ring16 holtschulte 36 (2)84 (7)188 (21)414 (44)1071 (226)9329 (1542)∞2e60/15
CMAES Hutter hutter 10 (1)16 (1)22 (1)28 (1)34 (1)46 (0.8)∞40070/15
GA-100 holtschulte 78 (8)206 (24)462 (47)990 (82)2192 (285)1.4e4 (3722)∞2e60/15
HILL holtschulte 11 (3)29 (8)95 (14)290 (77)892 (221)9553 (3143)∞2e60/15
IP-10DDr liao 9.1 (0.5)15 (0.7)21 (1)27 (1)33 (1)45 (1)57 (1)15/15
IP-500 liao 9.1 (0.5)15 (0.7)21 (1)27 (1)33 (1)45 (1)57 (1)15/15
IP liao 9.1 (0.5)15 (0.7)21 (1)27 (1)33 (1)45 (1)57 (1)15/15
MEMPSODE voglis 1.7 (0)★41.7 (0)★41.7 (0)★41.7 (0)★41.7 (0)★41.7 (0)★41.7 (0)★415/15
PRCGA sawyerr 46 (7)94 (9)160 (19)265 (84)469 (188)1529 (827)3922 (2468)15/15
tany liao 9.0 (0.5)15 (1)22 (1.0)28 (1)34 (0.8)47 (2)60 (2)15/15
texp liao 7.2 (0.8)12 (1)18 (1.0)24 (1)30 (1)43 (1)54 (2)15/15

Δ fopt
f2, 40-D		 1e1
796		 1e0
797		 1e-1
799		 1e-2
799		 1e-3
800		 1e-5
802		 1e-7
804		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.3 (0.0)★41.5 (0.1)★41.7 (0.1)★41.9 (0.2)★42.1 (0.2)★42.4 (0.2)★42.8 (0.2)★415/15
BIPOP-saACM-k loshchilov 7.4 (0.9)8.5 (1)9.2 (1)10 (1)10 (1)11 (1)11 (1)15/15
CGA-grid100 holtschulte 8963 (8210)∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte 617 (167)2820 (1736)∞∞∞∞∞2e60/15
CGA-ring100 holtschulte 287 (74)840 (286)3963 (2721)∞∞∞∞2e60/15
CGA-ring16 holtschulte 230 (121)772 (361)3174 (1516)∞∞∞∞2e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞40070/15
GA-100 holtschulte 353 (206)980 (397)6917 (8135)∞∞∞∞2e60/15
HILL holtschulte 246 (112)574 (157)5740 (3835)∞∞∞∞2e60/15
IP-10DDr liao 58 (6)72 (7)82 (9)89 (7)93 (5)98 (4)100 (2)15/15
IP-500 liao 58 (6)72 (7)82 (9)89 (7)93 (5)98 (4)100 (2)15/15
IP liao 58 (6)72 (7)82 (9)89 (7)93 (5)98 (4)100 (2)15/15
MEMPSODE voglis 8.7 (9)10 (9)10 (9)10 (9)10 (9)23 (0.9)24 (0.7)15/15
PRCGA sawyerr 67 (67)137 (92)306 (129)486 (211)1093 (569)2051 (1062)5252 (4522)4/15
tany liao 57 (6)71 (6)79 (5)85 (5)89 (5)94 (3)96 (2)15/15
texp liao 55 (6)66 (7)75 (5)80 (3)84 (4)89 (2)91 (2)15/15

Δ fopt
f3, 40-D		 1e1
15526		 1e0
15602		 1e-1
15612		 1e-2
15641		 1e-3
15646		 1e-5
15651		 1e-7
15656		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 0.23 (0.0)★4↑00.36 (0.1)↑00.43 (0.1)↑00.44 (0.1)↑00.46 (0.1)↑00.48 (0.1)↑00.50 (0.1)↑015/15
BIPOP-saACM-k loshchilov 1748 (1745)∞∞∞∞∞∞4e70/15
CGA-grid100 holtschulte 26 (4)82 (16)∞∞∞∞∞2e60/15
CGA-grid16 holtschulte 4.0 (0.6)13 (3)44 (9)261 (324)∞∞∞2e60/15
CGA-ring100 holtschulte 5.9 (0.3)11 (0.7)22 (3)50 (7)1909 (2045)∞∞2e60/15
CGA-ring16 holtschulte 1.6 (0.1)4.7 (0.6)14 (3)40 (14)308 (259)∞∞2e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞40070/15
GA-100 holtschulte 3.3 (0.5)8.5 (1)22 (4)63 (20)∞∞∞2e60/15
HILL holtschulte 1.1 (0.4)3.8 (1)13 (2)41 (12)253 (177)∞∞2e60/15
IP-10DDr liao ∞∞∞∞∞∞∞4e70/15
IP-500 liao 2753 (2613)∞∞∞∞∞∞4e70/15
IP liao ∞∞∞∞∞∞∞4e70/15
MEMPSODE voglis 35 (19)160 (87)282 (180)282 (180)282 (180)290 (180)290 (180)15/15
PRCGA sawyerr 3.8 (1)13 (11)18 (15)20 (14)43 (28)111 (130)197 (176)9/15
tany liao 7705 (7752)∞∞∞∞∞∞4e70/15
texp liao 6590 (1e4)∞∞∞∞∞∞4e70/15

Δ fopt
f4, 40-D		 1e1
15536		 1e0
15601		 1e-1
15659		 1e-2
15678		 1e-3
15703		 1e-5
15733		 1e-7
2.8e5		 #succ
6/15
BIPOP-aCMA-STEP loshchilov 0.40 (0.0)↑00.71 (0.0)↑01.0 (0.1)1.3 (0.1)1.6 (0.1)1.9 (0.1)0.11 (8e-3)↑015/15
BIPOP-saACM-k loshchilov ∞∞∞∞∞∞∞4e70/15
CGA-grid100 holtschulte 34 (5)143 (74)∞∞∞∞∞2e60/15
CGA-grid16 holtschulte 5.6 (0.9)19 (4)63 (21)∞∞∞∞2e60/15
CGA-ring100 holtschulte 6.8 (0.5)13 (1)26 (3)70 (16)∞∞∞2e60/15
CGA-ring16 holtschulte 2.2 (0.4)7.1 (1)20 (4)62 (17)1905 (2388)∞∞2e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞40070/15
GA-100 holtschulte 4.4 (0.8)12 (2)35 (7)91 (19)∞∞∞2e60/15
HILL holtschulte 1.5 (0.3)5.7 (0.8)20 (8)56 (14)∞∞∞2e60/15
IP-10DDr liao ∞∞∞∞∞∞∞4e70/15
IP-500 liao ∞∞∞∞∞∞∞4e70/15
IP liao ∞∞∞∞∞∞∞4e70/15
MEMPSODE voglis 104 (71)823 (307)2301 (2322)2298 (1969)2703 (3184)2700 (1317)240 (182)1/15
PRCGA sawyerr 6.6 (1)15 (5)16 (5)16 (5)25 (14)59 (38)10 (7)8/15
tany liao ∞∞∞∞∞∞∞4e70/15
texp liao ∞∞∞∞∞∞∞4e70/15

Δ fopt
f5, 40-D		 1e1
98		 1e0
116		 1e-1
120		 1e-2
121		 1e-3
121		 1e-5
121		 1e-7
121		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 0.84 (0)★4↑00.71 (0)★4↑00.68 (0)★4↑00.68 (0)★4↑00.68 (0)★4↑00.68 (0)★4↑00.68 (0)★4↑015/15
BIPOP-saACM-k loshchilov 3.1 (0.3)3.0 (0.3)2.9 (0.2)2.9 (0.2)2.9 (0.2)2.9 (0.2)2.9 (0.2)15/15
CGA-grid100 holtschulte 361 (58)363 (63)371 (62)375 (66)375 (66)375 (66)375 (66)15/15
CGA-grid16 holtschulte 65 (9)65 (10)67 (8)67 (8)67 (8)67 (8)67 (8)15/15
CGA-ring100 holtschulte 176 (9)180 (11)190 (13)190 (13)190 (13)190 (13)190 (13)15/15
CGA-ring16 holtschulte 32 (3)33 (3)35 (3)35 (5)35 (5)35 (5)35 (5)15/15
CMAES Hutter hutter 4.9 (0.7)4.8 (0.6)4.7 (0.6)4.7 (0.6)4.7 (0.6)4.7 (0.6)4.7 (0.6)15/15
GA-100 holtschulte 78 (8)84 (8)88 (8)90 (8)90 (8)90 (8)90 (8)15/15
HILL holtschulte 11 (3)12 (2)12 (2)11 (2)11 (2)11 (2)11 (2)15/15
IP-10DDr liao 249 (490)266 (430)298 (416)367 (495)504 (515)609 (514)640 (522)15/15
IP-500 liao 249 (490)266 (430)298 (416)367 (495)504 (515)609 (514)640 (522)15/15
IP liao 249 (490)266 (430)298 (416)367 (495)504 (515)609 (514)640 (522)15/15
MEMPSODE voglis 6.3 (0.8)6.1 (0.9)6.0 (0.9)6.0 (0.8)6.0 (0.8)6.0 (0.8)6.0 (0.8)15/15
PRCGA sawyerr 8.7e4 (1e5)∞∞∞∞∞∞2e60/15
tany liao 206 (299)238 (254)261 (270)273 (273)306 (324)345 (318)414 (319)15/15
texp liao 4977 (7126)1.1e4 (4e4)1.5e4 (5e4)1.9e4 (7e4)2.3e4 (9e4)3.2e4 (1e5)3.3e4 (1e5)15/15

Δ fopt
f6, 40-D		 1e1
3507		 1e0
5523		 1e-1
7168		 1e-2
9470		 1e-3
11538		 1e-5
15007		 1e-7
19222		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.6 (0.3)1.4 (0.2)1.4 (0.2)1.3 (0.2)1.3 (0.1)1.3 (0.1)1.3 (0.1)15/15
BIPOP-saACM-k loshchilov 1.4 (0.2)1.3 (0.2)1.4 (0.2)1.4 (0.1)1.5 (0.1)1.7 (0.3)1.8 (0.4)15/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte 1042 (1278)∞∞∞∞∞∞2e60/15
CGA-ring100 holtschulte 127 (37)253 (186)2076 (2565)∞∞∞∞2e60/15
CGA-ring16 holtschulte 279 (396)2537 (1835)∞∞∞∞∞2e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞40070/15
GA-100 holtschulte 80 (96)739 (782)∞∞∞∞∞2e60/15
HILL holtschulte 597 (688)5195 (7605)∞∞∞∞∞2e60/15
IP-10DDr liao 1.3 (0.1)1.3 (0.1)1.3 (0.1)1.2 (0.1)1.2 (0.1)1.3 (0.1)1.3 (0.1)15/15
IP-500 liao 1.3 (0.1)1.3 (0.1)1.3 (0.1)1.2 (0.1)1.2 (0.1)1.3 (0.1)1.3 (0.1)15/15
IP liao 1.3 (0.1)1.3 (0.1)1.3 (0.1)1.2 (0.1)1.2 (0.1)1.3 (0.1)1.3 (0.1)15/15
MEMPSODE voglis 20 (9)19 (4)17 (3)15 (9)13 (7)13 (6)31 (32)15/15
PRCGA sawyerr 3182 (3139)1.1e4 (2e4)∞∞∞∞∞4e60/15
tany liao 1.3 (0.1)1.3 (0.1)1.4 (0.1)1.3 (0.1)1.2 (0.1)1.3 (0.1)1.3 (0.1)15/15
texp liao 1.3 (0.2)1.4 (0.1)1.4 (0.1)1.4 (0.1)1.4 (0.1)1.5 (0.1)1.6 (0.1)15/15

Δ fopt
f7, 40-D		 1e1
10698		 1e0
17839		 1e-1
41037		 1e-2
66294		 1e-3
66294		 1e-5
66294		 1e-7
68145		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.1 (0.8)4.1 (2)2.3 (0.9)1.5 (0.6)1.5 (0.6)1.5 (0.6)1.4 (0.6)15/15
BIPOP-saACM-k loshchilov 1.2 (0.5)1.6 (0.9)0.93 (0.4)0.65 (0.3)↑10.65 (0.3)↑10.65 (0.3)↑10.64 (0.3)↑015/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-ring100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-ring16 holtschulte ∞∞∞∞∞∞∞2e60/15
CMAES Hutter hutter 5.6 (5)∞∞∞∞∞∞40070/15
GA-100 holtschulte ∞∞∞∞∞∞∞2e60/15
HILL holtschulte ∞∞∞∞∞∞∞2e60/15
IP-10DDr liao 6.2 (9)10 (7)4.8 (3)3.1 (2)3.1 (2)3.1 (2)3.0 (2)15/15
IP-500 liao 6.2 (9)10 (7)4.8 (3)3.1 (2)3.1 (2)3.1 (2)3.0 (2)15/15
IP liao 6.2 (9)10 (7)4.8 (3)3.1 (2)3.1 (2)3.1 (2)3.0 (2)15/15
MEMPSODE voglis 69 (43)3672 (4332)6861 (8658)4345 (4001)4345 (4454)4345 (5435)∞2e70/15
PRCGA sawyerr ∞∞∞∞∞∞∞2e60/15
tany liao 2.1 (2)6.8 (2)3.4 (1)2.2 (0.7)2.2 (0.7)2.2 (0.7)2.2 (0.7)15/15
texp liao 11 (10)87 (126)38 (55)24 (34)24 (34)24 (34)23 (33)15/15

Δ fopt
f8, 40-D		 1e1
7080		 1e0
10655		 1e-1
11012		 1e-2
11265		 1e-3
11430		 1e-5
11701		 1e-7
11969		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 5.6 (0.5)6.0 (0.4)6.1 (0.4)6.1 (0.4)6.1 (0.4)6.1 (0.4)6.1 (0.4)15/15
BIPOP-saACM-k loshchilov 1.6 (0.2)1.5 (0.1)1.5 (0.1)1.5 (0.1)1.5 (0.1)1.5 (0.1)1.5 (0.1)15/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-ring100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-ring16 holtschulte ∞∞∞∞∞∞∞2e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞40070/15
GA-100 holtschulte 1986 (1915)2658 (1783)∞∞∞∞∞2e60/15
HILL holtschulte 612 (847)799 (680)∞∞∞∞∞2e60/15
IP-10DDr liao 7.1 (0.8)7.0 (0.7)7.1 (0.6)7.2 (0.6)7.2 (0.6)7.2 (0.6)7.2 (0.6)15/15
IP-500 liao 7.1 (0.8)7.0 (0.7)7.1 (0.6)7.2 (0.6)7.2 (0.6)7.2 (0.6)7.2 (0.6)15/15
IP liao 7.1 (0.8)7.0 (0.7)7.1 (0.6)7.2 (0.6)7.2 (0.6)7.2 (0.6)7.2 (0.6)15/15
MEMPSODE voglis 19 (8)21 (8)23 (10)23 (10)24 (10)24 (9)28 (20)15/15
PRCGA sawyerr 1189 (1583)1557 (1877)∞∞∞∞∞4e60/15
tany liao 7.2 (0.9)6.3 (1)6.5 (2)6.6 (1)6.6 (1)6.6 (1)6.6 (1)15/15
texp liao 7.2 (0.7)7.1 (0.8)7.3 (0.8)7.3 (0.8)7.3 (0.7)7.3 (0.7)7.3 (0.7)15/15

Δ fopt
f9, 40-D		 1e1
6122		 1e0
12982		 1e-1
13300		 1e-2
13496		 1e-3
13651		 1e-5
13909		 1e-7
14142		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 6.1 (0.3)3.9 (0.2)4.0 (0.2)4.1 (0.2)4.1 (0.2)4.1 (0.2)4.1 (0.2)15/15
BIPOP-saACM-k loshchilov 1.8 (0.2)1.3 (0.7)1.3 (0.7)1.3 (0.7)1.3 (0.7)1.3 (0.7)1.3 (0.7)15/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-ring100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-ring16 holtschulte ∞∞∞∞∞∞∞2e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞40070/15
GA-100 holtschulte ∞∞∞∞∞∞∞2e60/15
HILL holtschulte ∞∞∞∞∞∞∞2e60/15
IP-10DDr liao 8.6 (1)6.9 (4)7.0 (4)7.1 (4)7.1 (4)7.1 (4)7.1 (4)15/15
IP-500 liao 8.6 (1)6.9 (4)7.0 (4)7.1 (4)7.1 (4)7.1 (4)7.1 (4)15/15
IP liao 8.6 (1)6.9 (4)7.0 (4)7.1 (4)7.1 (4)7.1 (4)7.1 (4)15/15
MEMPSODE voglis 35 (10)30 (16)31 (15)32 (18)32 (20)32 (20)35 (26)15/15
PRCGA sawyerr 1579 (1945)∞∞∞∞∞∞4e60/15
tany liao 8.6 (1)6.8 (3)6.9 (3)7.0 (3)7.0 (3)7.1 (3)7.1 (3)15/15
texp liao 8.3 (0.8)5.9 (0.4)6.1 (0.4)6.2 (0.4)6.2 (0.4)6.2 (0.3)6.2 (0.3)15/15

Δ fopt
f10, 40-D		 1e1
25536		 1e0
29762		 1e-1
35676		 1e-2
51579		 1e-3
56007		 1e-5
65128		 1e-7
70824		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.1 (0.1)1.2 (0.1)1.1 (0.1)0.79 (0.0)↑00.77 (0.0)↑00.71 (0.0)↑00.67 (0.0)↑015/15
BIPOP-saACM-k loshchilov 0.25 (0.0)↑00.23 (0.0)↑00.21 (0.0)↑00.15 (0.0)↑00.15 (0.0)↑00.13 (0.0)↑00.13 (1e-2)↑015/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-ring100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-ring16 holtschulte ∞∞∞∞∞∞∞2e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞40070/15
GA-100 holtschulte ∞∞∞∞∞∞∞2e60/15
HILL holtschulte ∞∞∞∞∞∞∞2e60/15
IP-10DDr liao 1.8 (0.2)1.9 (0.2)1.8 (0.1)1.3 (0.1)1.3 (0.1)1.2 (0.0)1.1 (0.0)15/15
IP-500 liao 1.8 (0.2)1.9 (0.2)1.8 (0.1)1.3 (0.1)1.3 (0.1)1.2 (0.0)1.1 (0.0)15/15
IP liao 1.8 (0.2)1.9 (0.2)1.8 (0.1)1.3 (0.1)1.3 (0.1)1.2 (0.0)1.1 (0.0)15/15
MEMPSODE voglis ∞∞∞∞∞∞∞2e70/15
PRCGA sawyerr ∞∞∞∞∞∞∞4e60/15
tany liao 1.8 (0.1)1.9 (0.2)1.7 (0.1)1.3 (0.1)1.3 (0.0)1.2 (0.0)1.1 (0.0)15/15
texp liao 1.6 (0.2)1.7 (0.2)1.6 (0.2)1.2 (0.1)1.2 (0.1)1.1 (0.0)1.0 (0.0)15/15

Δ fopt
f11, 40-D		 1e1
2368		 1e0
4855		 1e-1
11681		 1e-2
25315		 1e-3
29749		 1e-5
38949		 1e-7
48211		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 5.1 (0.3)2.7 (0.1)1.2 (0.0)0.58 (0.0)↑00.51 (0.0)↑00.43 (0.0)↑00.37 (0.0)↑015/15
BIPOP-saACM-k loshchilov 2.8 (1)1.4 (0.7)0.61 (0.3)↑10.29 (0.1)↑00.25 (0.1)↑00.20 (0.1)↑00.17 (0.1)↑015/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-ring100 holtschulte 1498 (909)∞∞∞∞∞∞2e60/15
CGA-ring16 holtschulte 606 (228)∞∞∞∞∞∞2e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞40070/15
GA-100 holtschulte 531 (197)∞∞∞∞∞∞2e60/15
HILL holtschulte 932 (865)∞∞∞∞∞∞2e60/15
IP-10DDr liao 13 (0.3)6.9 (0.2)3.1 (0.1)1.5 (0.0)1.3 (0.0)1.1 (0.0)0.94 (0.0)↑015/15
IP-500 liao 13 (0.3)6.9 (0.2)3.1 (0.1)1.5 (0.0)1.3 (0.0)1.1 (0.0)0.94 (0.0)↑015/15
IP liao 13 (0.3)6.9 (0.2)3.1 (0.1)1.5 (0.0)1.3 (0.0)1.1 (0.0)0.94 (0.0)↑015/15
MEMPSODE voglis 0.72 (0.1)★4↑01.2 (2)0.57 (0.9)0.35 (0.4)↑00.64 (0.6)17 (15)∞2e70/15
PRCGA sawyerr 2470 (1754)∞∞∞∞∞∞4e60/15
tany liao 12 (0.5)6.5 (0.1)2.9 (0.0)1.4 (0.0)1.3 (0.0)1.0 (0.0)0.87 (0.0)↑015/15
texp liao 10 (0.5)5.7 (0.1)2.5 (0.1)1.2 (0.0)1.1 (0.0)0.89 (0.0)↑00.76 (0.0)↑015/15

Δ fopt
f12, 40-D		 1e1
4169		 1e0
7452		 1e-1
9174		 1e-2
10751		 1e-3
13146		 1e-5
22758		 1e-7
25192		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.9 (2)2.2 (1)2.4 (1)2.3 (0.9)2.2 (0.8)1.5 (0.5)1.5 (0.4)15/15
BIPOP-saACM-k loshchilov 0.34 (0.0)↑10.54 (0.4)↑00.72 (0.3)0.74 (0.3)0.73 (0.2)↑00.55 (0.1)↑00.57 (0.1)↑015/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte 7174 (7076)∞∞∞∞∞∞2e60/15
CGA-ring100 holtschulte 434 (261)∞∞∞∞∞∞2e60/15
CGA-ring16 holtschulte 629 (767)1988 (3018)∞∞∞∞∞2e60/15
CMAES Hutter hutter 1.4 (0.7)∞∞∞∞∞∞40070/15
GA-100 holtschulte 710 (480)∞∞∞∞∞∞2e60/15
HILL holtschulte 539 (514)∞∞∞∞∞∞2e60/15
IP-10DDr liao 1.1 (0.1)2.4 (0.7)2.8 (0.8)2.9 (0.8)2.8 (0.7)2.1 (0.5)2.2 (0.5)15/15
IP-500 liao 1.1 (0.1)2.4 (0.7)2.8 (0.8)2.9 (0.8)2.8 (0.7)2.1 (0.5)2.2 (0.5)15/15
IP liao 1.1 (0.1)2.4 (0.7)2.8 (0.8)2.9 (0.8)2.8 (0.7)2.1 (0.5)2.2 (0.5)15/15
MEMPSODE voglis 1.2 (2)1.6 (3)5.0 (7)5.7 (8)7.5 (8)20 (14)253 (334)5/15
PRCGA sawyerr 386 (498)598 (944)2624 (2735)4846 (6286)∞∞∞4e60/15
tany liao 1.6 (2)2.2 (2)2.8 (1)2.9 (1)2.8 (1)2.1 (0.6)2.2 (0.6)15/15
texp liao 1.4 (1)2.0 (1)2.5 (2)2.7 (1)2.6 (1.0)2.0 (0.5)2.1 (0.4)15/15

Δ fopt
f13, 40-D		 1e1
2029		 1e0
6916		 1e-1
8734		 1e-2
11861		 1e-3
71936		 1e-5
98467		 1e-7
1.2e5		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.6 (0.1)2.2 (2)3.9 (4)6.3 (6)1.4 (1.0)1.8 (1)2.6 (1)15/15
BIPOP-saACM-k loshchilov 0.77 (0.8)0.55 (0.3)↑10.94 (1.0)2.0 (2)0.59 (0.4)↑10.72 (0.6)0.68 (0.6)15/15
CGA-grid100 holtschulte 1.5e4 (2e4)∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte 463 (515)∞∞∞∞∞∞2e60/15
CGA-ring100 holtschulte 212 (76)798 (898)∞∞∞∞∞2e60/15
CGA-ring16 holtschulte 1196 (1978)1326 (1150)∞∞∞∞∞2e60/15
CMAES Hutter hutter 2.1 (1)8.7 (9)∞∞∞∞∞40070/15
GA-100 holtschulte 505 (549)∞∞∞∞∞∞2e60/15
HILL holtschulte 585 (994)939 (1514)∞∞∞∞∞2e60/15
IP-10DDr liao 3.1 (4)2.9 (3)7.6 (8)9.3 (9)2.4 (1)2.5 (0.8)2.4 (0.8)15/15
IP-500 liao 3.1 (4)2.9 (3)7.6 (8)9.3 (9)2.4 (1)2.5 (0.8)2.4 (0.8)15/15
IP liao 3.1 (4)2.9 (3)7.6 (8)9.3 (9)2.4 (1)2.5 (0.8)2.4 (0.8)15/15
MEMPSODE voglis 1.4 (2)1.1 (1)1.5 (0.5)2.7 (2)1.8 (1)44 (65)408 (671)0/15
PRCGA sawyerr 769 (1001)1227 (1451)3064 (3661)4846 (4806)∞∞∞4e60/15
tany liao 2.6 (4)3.6 (5)8.1 (9)7.9 (7)1.9 (1)2.4 (0.6)2.5 (1.0)15/15
texp liao 1.5 (0.1)3.7 (3)8.0 (8)11 (6)2.2 (0.9)2.1 (0.9)2.6 (0.3)15/15

Δ fopt
f14, 40-D		 1e1
304		 1e0
616		 1e-1
777		 1e-2
1105		 1e-3
2207		 1e-5
4825		 1e-7
57711		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 3.6 (0.8)2.9 (0.4)3.4 (0.3)4.0 (0.3)3.6 (0.3)4.0 (0.3)0.60 (0.0)↑015/15
BIPOP-saACM-k loshchilov 2.1 (0.6)1.5 (0.3)1.5 (0.2)1.9 (0.2)1.4 (0.1)★41.2 (0.1)0.15 (9e-3)↑015/15
CGA-grid100 holtschulte 87 (20)118 (20)315 (61)∞∞∞∞2e60/15
CGA-grid16 holtschulte 15 (4)20 (3)51 (14)1459 (445)∞∞∞2e60/15
CGA-ring100 holtschulte 44 (8)62 (7)121 (14)740 (166)∞∞∞2e60/15
CGA-ring16 holtschulte 9.1 (2)11 (2)25 (3)433 (161)∞∞∞2e60/15
CMAES Hutter hutter 2.5 (0.5)2.4 (0.3)3.0 (0.3)5.9 (4)∞∞∞40070/15
GA-100 holtschulte 17 (4)24 (4)56 (8)655 (239)∞∞∞2e60/15
HILL holtschulte 2.9 (0.9)3.5 (0.6)12 (1)346 (118)∞∞∞2e60/15
IP-10DDr liao 2.2 (0.5)2.2 (0.2)2.8 (0.2)3.8 (0.3)4.5 (0.3)7.0 (0.3)1.2 (0.0)15/15
IP-500 liao 2.2 (0.5)2.2 (0.2)2.8 (0.2)3.8 (0.3)4.5 (0.3)7.0 (0.3)1.2 (0.0)15/15
IP liao 2.2 (0.5)2.2 (0.2)2.8 (0.2)3.8 (0.3)4.5 (0.3)7.0 (0.3)1.2 (0.0)15/15
MEMPSODE voglis 1.3 (0.3)1.1 (0.2)★31.2 (0.3)★1.9 (0.8)8.2 (4)13 (9)∞2e70/15
PRCGA sawyerr 8.2 (0.9)13 (2)26 (6)156 (88)2279 (2000)∞∞4e60/15
tany liao 2.1 (0.4)2.2 (0.3)2.9 (0.3)3.9 (0.4)4.7 (0.2)6.8 (0.5)1.1 (0.0)15/15
texp liao 1.4 (0.3)1.9 (0.2)2.6 (0.3)3.6 (0.3)4.2 (0.4)6.1 (0.4)1.00 (0.1)15/15

Δ fopt
f15, 40-D		 1e1
1.9e5		 1e0
7.9e5		 1e-1
1.0e6		 1e-2
1.1e6		 1e-3
1.1e6		 1e-5
1.1e6		 1e-7
1.1e6		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.0 (0.5)1.0 (0.4)1.1 (0.3)1.1 (0.3)1.1 (0.3)1.1 (0.3)1.1 (0.3)15/15
BIPOP-saACM-k loshchilov 0.81 (0.5)0.94 (0.5)1.1 (0.4)1.1 (0.4)1.1 (0.4)1.1 (0.4)1.1 (0.4)15/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-ring100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-ring16 holtschulte ∞∞∞∞∞∞∞2e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞40070/15
GA-100 holtschulte ∞∞∞∞∞∞∞2e60/15
HILL holtschulte ∞∞∞∞∞∞∞2e60/15
IP-10DDr liao 0.82 (0.3)0.74 (0.3)↑10.66 (0.2)↑00.67 (0.2)↑00.68 (0.2)↑00.69 (0.2)↑00.70 (0.2)↑015/15
IP-500 liao 0.82 (0.3)0.81 (0.6)1.2 (0.8)1.2 (0.8)1.2 (0.8)1.2 (0.8)1.2 (0.8)15/15
IP liao 0.82 (0.3)0.74 (0.3)↑10.66 (0.2)↑00.67 (0.2)↑00.68 (0.2)↑00.69 (0.2)↑00.70 (0.2)↑015/15
MEMPSODE voglis ∞∞∞∞∞∞∞2e70/15
PRCGA sawyerr ∞∞∞∞∞∞∞4e60/15
tany liao 0.84 (0.3)0.71 (0.2)↑00.66 (0.2)↑10.66 (0.2)↑10.67 (0.2)↑10.68 (0.2)↑10.69 (0.2)↑115/15
texp liao 0.67 (0.4)0.55 (0.2)↑00.56 (0.3)0.57 (0.3)0.58 (0.3)0.60 (0.3)0.62 (0.3)15/15

Δ fopt
f16, 40-D		 1e1
5244		 1e0
72122		 1e-1
3.2e5		 1e-2
7.1e5		 1e-3
1.4e6		 1e-5
2.0e6		 1e-7
2.0e6		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.0 (0.3)1.2 (0.7)0.76 (0.5)0.56 (0.3)↑10.56 (0.4)0.53 (0.3)↑00.53 (0.3)↑015/15
BIPOP-saACM-k loshchilov 0.94 (0.4)0.61 (0.2)↑00.57 (0.4)0.68 (0.6)0.42 (0.4)↑00.53 (0.4)0.58 (0.4)15/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte 5566 (6865)∞∞∞∞∞∞2e60/15
CGA-ring100 holtschulte 37 (30)∞∞∞∞∞∞2e60/15
CGA-ring16 holtschulte 1058 (1431)∞∞∞∞∞∞2e60/15
CMAES Hutter hutter 3.7 (3)∞∞∞∞∞∞40070/15
GA-100 holtschulte 339 (477)∞∞∞∞∞∞2e60/15
HILL holtschulte 5611 (4481)∞∞∞∞∞∞2e60/15
IP-10DDr liao 0.55 (0.1)↑00.20 (0.2)↑00.34 (0.2)↑00.37 (0.2)↑00.30 (0.2)↑00.32 (0.2)↑00.35 (0.2)↑015/15
IP-500 liao 0.55 (0.1)↑00.20 (0.2)↑00.34 (0.2)↑00.37 (0.2)↑00.30 (0.2)↑00.30 (0.2)↑00.34 (0.2)↑015/15
IP liao 0.55 (0.1)↑00.20 (0.2)↑00.34 (0.2)↑00.37 (0.2)↑00.30 (0.2)↑00.32 (0.2)↑00.35 (0.2)↑015/15
MEMPSODE voglis 7.5 (6)∞∞∞∞∞∞2e70/15
PRCGA sawyerr 120 (381)∞∞∞∞∞∞4e60/15
tany liao 0.58 (0.1)↑00.11 (0.0)↑00.24 (0.2)↑00.36 (0.2)↑00.29 (0.1)↑00.27 (0.2)↑00.28 (0.2)↑015/15
texp liao 0.45 (0.1)★↑00.22 (0.2)↑00.27 (0.1)↑00.25 (0.1)↑00.22 (0.2)↑00.20 (0.1)↑00.20 (0.1)↑015/15

Δ fopt
f17, 40-D		 1e1
399		 1e0
4220		 1e-1
14158		 1e-2
34948		 1e-3
51958		 1e-5
1.3e5		 1e-7
2.7e5		 #succ
14/15
BIPOP-aCMA-STEP loshchilov 1.7 (0.6)0.54 (0.1)↑01.0 (1)1.1 (0.5)1.1 (0.4)0.97 (0.6)0.99 (0.5)15/15
BIPOP-saACM-k loshchilov 0.99 (0.4)2.4 (0.4)8.4 (4)3.6 (2)2.8 (1)1.6 (0.8)1.1 (0.3)15/15
CGA-grid100 holtschulte 1550 (2637)∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte 976 (2525)∞∞∞∞∞∞2e60/15
CGA-ring100 holtschulte 11 (6)∞∞∞∞∞∞2e60/15
CGA-ring16 holtschulte 3.8 (3)∞∞∞∞∞∞2e60/15
CMAES Hutter hutter 1.0 (0.4)0.59 (0.2)↑01.0 (1.0)∞∞∞∞40070/15
GA-100 holtschulte 3.3 (0.8)717 (830)∞∞∞∞∞2e60/15
HILL holtschulte ∞∞∞∞∞∞∞2e60/15
IP-10DDr liao 0.81 (0.2)↑10.49 (0.1)↑10.95 (1)1.1 (0.5)1.1 (0.3)1.1 (0.7)0.92 (0.3)15/15
IP-500 liao 0.81 (0.2)↑10.49 (0.1)↑10.95 (1)1.1 (0.5)1.1 (0.3)1.1 (0.7)0.92 (0.3)15/15
IP liao 0.81 (0.2)↑10.49 (0.1)↑10.95 (1)1.1 (0.5)1.1 (0.3)1.1 (0.7)0.92 (0.3)15/15
MEMPSODE voglis 27 (18)279 (156)9316 (9890)8136 (9733)∞∞∞2e70/15
PRCGA sawyerr 1.5 (0.9)1400 (948)∞∞∞∞∞4e60/15
tany liao 0.59 (0.2)↑00.43 (0.1)↑00.47 (0.8)0.58 (0.4)↑10.75 (0.3)0.90 (0.5)0.76 (0.2)↑115/15
texp liao 0.31 (0.1)★2↑00.46 (0.1)↑10.92 (0.9)0.84 (0.4)↑10.86 (0.4)1.1 (0.6)0.78 (0.4)15/15

Δ fopt
f18, 40-D		 1e1
1442		 1e0
16998		 1e-1
47068		 1e-2
1.3e5		 1e-3
1.9e5		 1e-5
6.7e5		 1e-7
9.5e5		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.0 (0.2)0.50 (0.9)0.94 (0.4)0.74 (0.4)0.89 (0.3)↑10.69 (0.6)0.68 (0.5)15/15
BIPOP-saACM-k loshchilov 0.84 (0.2)3.3 (5)3.1 (1)1.6 (1)1.4 (0.6)0.90 (0.8)0.83 (0.9)14/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-ring100 holtschulte 9058 (1e4)∞∞∞∞∞∞2e60/15
CGA-ring16 holtschulte ∞∞∞∞∞∞∞2e60/15
CMAES Hutter hutter 1.0 (0.3)0.48 (0.4)∞∞∞∞∞40070/15
GA-100 holtschulte 108 (7)∞∞∞∞∞∞2e60/15
HILL holtschulte ∞∞∞∞∞∞∞2e60/15
IP-10DDr liao 0.81 (0.1)↑10.38 (0.1)↑11.1 (0.6)0.72 (0.3)0.93 (0.3)0.90 (1.0)0.84 (0.7)15/15
IP-500 liao 0.81 (0.1)↑10.38 (0.1)↑11.1 (0.6)0.72 (0.3)0.93 (0.3)0.97 (1)0.82 (0.8)15/15
IP liao 0.81 (0.1)↑10.38 (0.1)↑11.1 (0.6)0.72 (0.3)0.93 (0.3)0.90 (1.0)0.84 (0.7)15/15
MEMPSODE voglis 207 (137)1866 (2981)∞∞∞∞∞2e70/15
PRCGA sawyerr 3.9 (0.8)∞∞∞∞∞∞4e60/15
tany liao 0.79 (0.1)↑10.31 (0.0)↑10.86 (0.6)0.66 (0.2)↑00.69 (0.3)0.61 (0.4)0.57 (0.3)↑015/15
texp liao 0.70 (0.2)↑00.62 (0.8)0.75 (0.1)↑10.57 (0.2)↑10.67 (0.4)0.55 (0.4)0.45 (0.3)↑015/15

Δ fopt
f19, 40-D		 1e1
1		 1e0
1		 1e-1
1.4e6		 1e-2
1.7e7		 1e-3
2.6e7		 1e-5
4.5e7		 1e-7
4.5e7		 #succ
8/15
BIPOP-aCMA-STEP loshchilov 667 (113)6.6e4 (4e4)1.0 (1)0.97 (0.6)1.3 (2)1.2 (1)1.2 (1)8/15
BIPOP-saACM-k loshchilov 322 (106)6.7e4 (5e4)0.75 (0.9)1.1 (0.3)1.2 (0.9)1.5 (2)1.5 (1)7/15
CGA-grid100 holtschulte 1.2e5 (1e5)∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte 3.0e5 (4e5)∞∞∞∞∞∞2e60/15
CGA-ring100 holtschulte 8853 (3550)∞∞∞∞∞∞2e60/15
CGA-ring16 holtschulte 3831 (4042)∞∞∞∞∞∞2e60/15
CMAES Hutter hutter 419 (80)∞∞∞∞∞∞40070/15
GA-100 holtschulte 2508 (546)∞∞∞∞∞∞2e60/15
HILL holtschulte 2.3e5 (4e5)∞∞∞∞∞∞2e60/15
IP-10DDr liao 398 (306)1.4e5 (6e4)2.8 (3)0.74 (0.3)↑10.60 (0.2)↑10.35 (0.1)↑00.35 (0.1)↑015/15
IP-500 liao 398 (306)1.4e5 (6e4)2.8 (3)16 (13)∞∞∞4e70/15
IP liao 398 (306)1.4e5 (6e4)2.8 (3)0.74 (0.3)↑10.60 (0.2)↑10.35 (0.1)↑00.35 (0.1)↑015/15
MEMPSODE voglis 1.1e4 (7860)5.9e7 (6e7)∞∞∞∞∞2e70/15
PRCGA sawyerr 207 (6)715 (514)★40.77 (0.7)∞∞∞∞4e60/15
tany liao 306 (255)5.7e5 (7e4)3.4 (5)0.72 (0.5)0.55 (0.4)↑10.35 (0.2)↑00.35 (0.2)↑015/15
texp liao 7.1 (7)6.7e5 (3e5)1.6 (3)0.53 (0.2)↑10.42 (0.2)↑00.24 (0.1)↑00.25 (0.1)↑015/15

Δ fopt
f20, 40-D		 1e1
222		 1e0
1.3e5		 1e-1
1.6e8		 1e-2
∞		 1e-3
∞		 1e-5
∞		 1e-7
∞		 #succ
0/15
BIPOP-aCMA-STEP loshchilov 5.1 (0.7)8.0 (4)0.41 (0.4)∞∞∞∞4e70/15
BIPOP-saACM-k loshchilov 2.3 (0.4)9.1 (4)0.81 (0.6)∞∞∞∞4e70/15
CGA-grid100 holtschulte 141 (25)2.0 (1)∞∞∞∞∞2e60/15
CGA-grid16 holtschulte 23 (5)0.35 (0.2)↑0∞∞∞∞∞2e60/15
CGA-ring100 holtschulte 68 (7)0.48 (0.1)↑0∞∞∞∞∞2e60/15
CGA-ring16 holtschulte 13 (2)0.12 (0.0)↑0∞∞∞∞∞2e60/15
CMAES Hutter hutter 3.9 (0.7)∞∞∞∞∞∞40070/15
GA-100 holtschulte 31 (8)0.27 (0.1)↑0∞∞∞∞∞2e60/15
HILL holtschulte 6.2 (2)0.08 (0.0)↑0∞∞∞∞∞2e60/15
IP-10DDr liao 4.2 (0.4)16 (5)0.14 (0.1)↑03.5e7 (2e7) 3.5e7 (2e7) 3.5e7 (2e7) 3.5e7 (2e7) 12/15
IP-500 liao 4.2 (0.4)1377 (1066)∞∞∞∞∞4e70/15
IP liao 4.2 (0.4)16 (5)0.14 (0.1)↑03.5e7 (2e7) 3.5e7 (2e7) 3.5e7 (3e7) 3.5e7 (2e7) 12/15
MEMPSODE voglis 1.6 (0.3)★1.3 (0.6)∞∞∞∞∞2e70/15
PRCGA sawyerr 10 (2)7.3 (7)∞∞∞∞∞4e60/15
tany liao 4.1 (0.7)20 (11)0.16 (6e-3)↑01.4e8 (1e8) 1.4e8 (8e7) 1.4e8 (1e8) 1.4e8 (1e8) 4/15
texp liao 2.1 (0.5)52 (23)∞∞∞∞∞4e70/15

Δ fopt
f21, 40-D		 1e1
1044		 1e0
21144		 1e-1
1.0e5		 1e-2
1.0e5		 1e-3
1.0e5		 1e-5
1.0e5		 1e-7
1.0e5		 #succ
26/30
BIPOP-aCMA-STEP loshchilov 3.5 (5)151 (286)86 (160)86 (159)86 (159)85 (158)85 (157)14/15
BIPOP-saACM-k loshchilov 1.7 (2)40 (18)30 (53)30 (53)30 (53)30 (53)30 (53)15/15
CGA-grid100 holtschulte 741 (1920)621 (970)∞∞∞∞∞2e60/15
CGA-grid16 holtschulte 483 (958)1326 (1395)∞∞∞∞∞2e60/15
CGA-ring100 holtschulte 15 (3)145 (189)56 (89)56 (55)57 (54)59 (64)64 (98)4/15
CGA-ring16 holtschulte 3.6 (1)261 (237)55 (74)55 (99)55 (79)55 (59)58 (88)4/15
CMAES Hutter hutter 2.7 (2)2.7 (4)0.57 (0.4)0.57 (0.7)0.58 (0.5)0.58 (0.6)0.58 (0.6)1/15
GA-100 holtschulte 303 (958)379 (662)129 (189)129 (163)129 (143)131 (137)135 (126)2/15
HILL holtschulte 1279 (2874)379 (544)∞∞∞∞∞2e60/15
IP-10DDr liao 2.2 (0.2)1238 (1654)1723 (2357)1718 (1668)1713 (2614)1703 (2144)1695 (1475)3/15
IP-500 liao 2.2 (0.2)3785 (4730)∞∞∞∞∞4e70/15
IP liao 2.2 (0.2)2931 (4729)∞∞∞∞∞4e70/15
MEMPSODE voglis 2.3 (2)40 (40)22 (20)22 (19)22 (19)22 (19)43 (86)12/15
PRCGA sawyerr 272 (458)424 (519)204 (199)203 (260)203 (199)203 (235)203 (207)2/15
tany liao 0.71 (0.1)↑1390 (372)667 (489)665 (900)663 (790)659 (1084)657 (991)6/15
texp liao 1.1 (0.4)109 (280)60 (67)60 (67)60 (67)60 (66)59 (66)15/15

Δ fopt
f22, 40-D		 1e1
3090		 1e0
35442		 1e-1
6.5e5		 1e-2
6.5e5		 1e-3
6.5e5		 1e-5
6.5e5		 1e-7
6.5e5		 #succ
8/30
BIPOP-aCMA-STEP loshchilov 7.8 (16)391 (564)218 (143)218 (302)218 (262)217 (254)216 (203)4/15
BIPOP-saACM-k loshchilov 7.2 (4)430 (675)250 (170)249 (295)249 (297)248 (263)248 (338)3/15
CGA-grid100 holtschulte 574 (972)115 (141)∞∞∞∞∞2e60/15
CGA-grid16 holtschulte 742 (1133)790 (719)∞∞∞∞∞2e60/15
CGA-ring100 holtschulte 5.4 (2)39 (71)∞∞∞∞∞2e60/15
CGA-ring16 holtschulte 163 (324)226 (296)∞∞∞∞∞2e60/15
CMAES Hutter hutter 0.62 (0.7)0.49 (0.4)∞∞∞∞∞40070/15
GA-100 holtschulte 49 (2)113 (169)∞∞∞∞∞2e60/15
HILL holtschulte 740 (647)226 (324)∞∞∞∞∞2e60/15
IP-10DDr liao 388 (848)1290 (1693)∞∞∞∞∞4e70/15
IP-500 liao 3262 (9710)1290 (1693)∞∞∞∞∞4e70/15
IP liao 1109 (924)1290 (1693)∞∞∞∞∞4e70/15
MEMPSODE voglis 0.77 (0.9)50 (46)98 (131)98 (73)98 (129)97 (84)445 (421)0/15
PRCGA sawyerr 274 (593)382 (533)∞∞∞∞∞3e60/15
tany liao 87 (186)1017 (1129)∞∞∞∞∞4e70/15
texp liao 158 (294)477 (578)∞∞∞∞∞4e70/15

Δ fopt
f23, 40-D		 1e1
7.0		 1e0
11925		 1e-1
75453		 1e-2
6.6e5		 1e-3
1.3e6		 1e-5
3.2e6		 1e-7
3.4e6		 #succ
15/15
BIPOP-aCMA-STEP loshchilov 1.3 (2)9.4 (7)1.9 (1)1.1 (0.6)1.7 (1)0.81 (0.5)1.00 (0.8)15/15
BIPOP-saACM-k loshchilov 4.7 (4)8.9 (9)1.5 (1)1.3 (1)1.5 (1)1.1 (0.8)1.1 (0.8)15/15
CGA-grid100 holtschulte 0.96 (0.9)∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte 1.1 (0.6)1150 (1468)∞∞∞∞∞2e60/15
CGA-ring100 holtschulte 1.2 (2)163 (218)∞∞∞∞∞2e60/15
CGA-ring16 holtschulte 1.2 (0.7)1109 (1210)∞∞∞∞∞2e60/15
CMAES Hutter hutter 5.4 (7)∞∞∞∞∞∞40070/15
GA-100 holtschulte 1.4 (2)2386 (3564)∞∞∞∞∞2e60/15
HILL holtschulte 1.4 (1)727 (898)∞∞∞∞∞2e60/15
IP-10DDr liao 1.1 (2)20 (19)3.4 (3)24 (26)442 (305)∞∞4e70/15
IP-500 liao 1.1 (2)20 (19)3.4 (3)19 (19)86 (64)∞∞4e70/15
IP liao 1.1 (2)20 (19)3.4 (3)24 (26)442 (352)∞∞4e70/15
MEMPSODE voglis 77 (124)12 (8)∞∞∞∞∞2e70/15
PRCGA sawyerr 0.89 (0.6)3001 (2769)∞∞∞∞∞3e60/15
tany liao 0.78 (0.6)11 (9)1.9 (1)27 (32)141 (180)179 (188)173 (190)1/15
texp liao 1.4 (2)21 (31)8.0 (15)70 (81)∞∞∞4e70/15

Δ fopt
f24, 40-D		 1e1
5.8e6		 1e0
9.8e7		 1e-1
3.0e8		 1e-2
3.0e8		 1e-3
3.0e8		 1e-5
3.0e8		 1e-7
3.0e8		 #succ
1/15
BIPOP-aCMA-STEP loshchilov 2.6 (3)0.87 (0.7)1.9 (2)1.9 (3)1.9 (2)1.9 (2)1.9 (2)1/15
BIPOP-saACM-k loshchilov 2.4 (3)0.44 (0.4)∞∞∞∞∞4e70/15
CGA-grid100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-grid16 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-ring100 holtschulte ∞∞∞∞∞∞∞2e60/15
CGA-ring16 holtschulte ∞∞∞∞∞∞∞2e60/15
CMAES Hutter hutter ∞∞∞∞∞∞∞40070/15
GA-100 holtschulte ∞∞∞∞∞∞∞2e60/15
HILL holtschulte ∞∞∞∞∞∞∞2e60/15
IP-10DDr liao ∞∞∞∞∞∞∞4e70/15
IP-500 liao ∞∞∞∞∞∞∞4e70/15
IP liao ∞∞∞∞∞∞∞4e70/15
MEMPSODE voglis ∞∞∞∞∞∞∞2e70/15
PRCGA sawyerr ∞∞∞∞∞∞∞4e60/15
tany liao 47 (58)2.8 (3)1.9 (3)1.9 (2)1.9 (2)1.9 (2)1.9 (2)1/15
texp liao 2.4 (2)0.31 (0.3)∞∞∞∞∞4e70/15

Expected runtime (ERT in number of f-evaluations) divided by the respective best ERT measured during BBOB-2009 (when finite) in different dimensions. This ERT ratio and, in braces as dispersion measure, the half difference between 10 and 90%-tile of (bootstrapped) run lengths appear for each algorithm and target, the corresponding reference ERT  in the first row. The different target ∆f-values are shown in the top row. #succ is the number of trials that reached the (final) target fopt+ 10−8. The median number of conducted function evaluations is additionally given in italics, if the target in the last column was never reached. The best entry is marked by a star when the largest p-value of pairwise rank-sum tests with the other algorithms either obeys 0.01 < p ≤ 0.05 or 10−k−1 < p ≤ 10−k when the star is followed by the number k, with Bonferroni correction by the number of functions (24). A ↑ signifies the number of trials that were worse than the ERT of the best algorithm from BBOB 2009 shown only when less than 10 percent were worse and the ERT was better. Best results are printed in bold.